JP2015192713A - 端末装置及び表示方法 - Google Patents

Abstract

【課題】 プレイヤーの動作を効果的に確認することが可能な端末装置を提供する。【解決手段】本発明の一態様に係る端末装置は、センサーが取り付けられた測定対象物の動画像を取得する動画像取得手段と、前記センサーから前記測定対象物に関連したセンサーデータを取得するセンサーデータ取得手段と、前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する表示制御手段と、を具備する。【選択図】図１０

Description

本発明は、スポーツ等をしているプレイヤーの動作を解析する端末装置に関する。

プレイヤーのスイング（動作）を解析する端末装置として、ゴルフクラブに取り付けられたモーションセンサーから受信したセンサーデータを用いてプレイヤーのスイング（動作）の軌跡を視覚化する端末装置が知られている（非特許文献１）。

"Fullmiere（フルミエル）"、[online]、平成２５年、株式会社ＡＣＣＥＳＳ、［平成２６年３月１日検索］、インターネット<URL：http://www.fullmiere.com/>

上記従来の端末装置においては、プレイヤーは、画面に表示されたプレイヤー自身のスイング（動作）の軌跡を確認することができる。しかしながら、プレイヤーがプレイヤー自身の動作をより効果的に確認することを可能とする端末装置が望まれている。
そこで、本発明の様々な実施形態により、プレイヤーの動作を効果的に確認することが可能な端末装置を提供する。

本発明の一態様に係る端末装置は、センサーが取り付けられた測定対象物の動画像を取得する動画像取得手段と、前記センサーから前記測定対象物に関連したセンサーデータを取得するセンサーデータ取得手段と、前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する表示制御手段と、を具備する。
本発明の一態様に係るプログラムは、コンピュータを、センサーが取り付けられた測定対象物の動画像を取得する動画像取得手段、前記センサーから前記測 定対象物に関連したセンサーデータを取得するセンサーデータ取得手段、及び、前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する表示制御手段、として機能させるものである。
本発明の一態様に係る表示方法は、センサーが取り付けられた測定対象物の動画像を取得する段階と、前記センサーから前記測定対象物に関連したセンサーデータを取得する段階と、前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する段階と、を含む。

本発明の様々な実施形態によれば、プレイヤーの動作を効果的に確認することが可能な端末装置を提供することができる。

図１は、本発明の一実施形態に係る解析システムに含まれるセンサー１００の構成を示すブロック図である。 図２は、本発明の一実施形態に係る解析システムに含まれるカメラ２００の構成を示すブロック図である。 図３は、本発明の一実施形態に係る解析システムに含まれる端末装置３００の構成を示すブロック図である。 図４は、本発明の一実施形態に係る解析システムに含まれるセンサー１００がゴルフクラブに取り付けられた様子を示す模式図である。 図５は、本発明の一実施形態に係る解析システムにより行われる動作を示すフロー図である。 図６は、本発明の一実施形態に係る解析システムにおけるカメラ２００のプレビュー表示部２５０に表示されるプレビュー画面の一例を示す模式図である。 図７は、本発明の一実施形態に係る解析システムにおけるカメラ２００の傾きが水平である場合にプレイヤーとカメラ２００との間の適切な距離を説明する模式図である。 図８は、本発明の一実施形態に係る解析システムにおける被写体の高さが最も高くなる状態を説明する模式図である。 図９は、本発明の一実施形態に係る解析システムにおけるカメラ２００の傾きが水平でない場合にプレイヤーとカメラ２００との間の適切な距離を説明する模式図である。 図１０は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面の一例を示す図である。 図１１は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面の別の例を示す図である。 図１２は、本発明の一実施形態に係る解析システムにおいてスイング時におけるプレイヤーの理想的な姿勢を説明する模式図である。 図１３Ａは、本発明の一実施形態に係る解析システムにおいてスイングの測定開始から録画データとスイングの軌跡を示す動画像との座標重ね合わせ処理が完了するまでのプログラムフローを示す図である。 図１３Ｂは、本発明の一実施形態に係る解析システムにおいてスイングの測定開始から録画データとスイングの軌跡を示す動画像との座標重ね合わせ処理が完了するまでのプログラムフローを示す図である。 図１４は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面のさらに別の例を示す図である。 図１５は、図１４に示された線分を画面上の動画像と重ね合わせる際にプログラムが画面描画領域に線分を配置するプロセスを説明するフロー図である。 図１６は、センサーをゴルフクラブに取り付けてスイングした場合の、モーションセンサ１００の角速度センサのセンサ座標系でのＸ軸及びＺ軸のセンサーデータ、並びに、加速度センサのＹ軸のセンサーデータによる波形である。

添付図面を参照して本発明の様々な実施形態を説明する。なお、添付図面における共通する構成要素には同一の参照符号が付されている。

以下、プレイヤーの動作を解析する端末装置として、ゴルフクラブを握持したプレイヤーのスイングを解析する端末装置（携帯電話、スマートフォン、携帯情報端末及びラップトップコンピュータ等）を例にとって具体的に説明する。

本発明の一実施形態に係る解析システムは、測定対象物であるゴルフクラブに取り付けられるセンサー１００と、このゴルフクラブを握持してスイングをするプレイヤーの動画像を生成するカメラ（撮像部）２００と、センサー１００及びカメラ２００に接続された端末装置３００と、を含む。

図１は、本発明の一実施形態に係る解析システムに含まれるセンサー１００の構成を示すブロック図である。図２は、本発明の一実施形態に係る解析システムに含まれるカメラ２００の構成を示すブロック図である。図３は、本発明の一実施形態に係る解析システムに含まれる端末装置３００の構成を示すブロック図である。

図１を参照すると、センサー１００は、マイコン（ＣＰＵ）１１０と、モーションセンサー１２０と、通信部１３０と、操作ボタン１４０と、ＬＥＤ１５０と、を含む。

モーションセンサー１２０は、三軸（Ｘ軸、Ｙ軸及びＺ軸）方向の加速度を検出する加速度センサー、及び、三軸方向の角速度を検出する角速度センサーを含む。モーションセンサー１２０は、さらに地磁気センサーを含むものであってもよい。

マイコン（ＣＰＵ）１１０は、センサー１００における各部を制御する。また、マイコン１１０は、モーションセンサー１２０により検出された各データの同期をとり、バイアス補正や温度補正などの処理を施したデータをセンサーデータとして通信部１３０に出力する。さらに、マイコン１１０は、その他の様々な処理を行う。

通信部１３０は、端末装置３００との間において、例えば狭帯域の無線通信（広帯域の通信であってもよい）を行うことにより、データの送受信を行う。狭帯域の無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等を用いた無線通信である。

操作ボタン１４０は、プレイヤーに押圧されることにより、センサー１００と端末装置３００との間におけるデータの送受信を開始するように機能する。ＬＥＤ１５０は、端末装置３００側の解析準備が整っているか否か、又は、センサー１００と端末装置３００との間において通信エラーが発生していないか否か等に応じて点灯する。これにより、プレイヤーは、端末装置３００の表示部に表示されたエラー画面や操作指示を見なくとも、ＬＥＤ１５０の点灯状態を確認することにより、スイング動作の開始前に、スイング測定を継続すべきか中断すべきかを判断することができる。

このような構成を有するセンサー１００は、図４に示すように、例えば、ゴルフクラブＣのグリップ部分Ｇとシャフト部分Ｓとの境目付近に着脱自在に取り付けられる。このセンサー１００は、スイング時の衝撃や打球時の衝撃によってゴルフクラブＣから外れることを防止するために、ゴムバンドなどのホルダＨによってゴルフクラブＣに固定される。

次に、図２に示すように、カメラ２００は、処理部（ＣＰＵ）２１０と、ビデオカメラ制御部２２０と、カメラ部２３０と、通信部２４０と、プレビュー表示部２５０と、を含む。

ビデオカメラ部２２０は、カメラ部２３０を制御する。カメラ部２３０は、多数の撮像素子により形成されたものであり、ビデオカメラ部２２０に制御されることにより、撮像処理を実行し、静止画像及び／又は動画像を生成して通信部２４０に出力する。

処理部（ＣＰＵ）２１０は、カメラ２００における各部を制御する。また、処理部２１０は、その他の様々な処理を行う。

通信部２４０は、端末装置３００との間において、例えば狭帯域の無線通信（広帯域の通信であってもよい）を行うことにより、データの送受信を行う。狭帯域の無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等を用いた無線通信である。プレビュー表示部２５０は、後述するプレビュー画像等を表示する。

次に、図３に示すように、端末装置３００は、処理部（ＣＰＵ）３１０と、ＲＯＭ３２０と、ＲＡＭ３３０と、操作部３４０と、表示部３５０と、通信部３６０と、不揮発性メモリ３７０と、を含む。

ＲＯＭ３２０は、スイングの解析等を実行するアプリケーション（以下便宜上「特定アプリケーション」という。）及びこの特定アプリケーションを実行可能なシステムを記憶するメモリである。このようなアプリケーション及びシステム（を構成する多数の命令）は、ＣＰＵ３１０によってロードされ実行される。
ＲＡＭ３３０は、ＲＯＭ３２０に記憶された特定アプリケーション及びこの特定アプリケーションを実行するシステム（を構成する多数の命令）がＣＰＵ３１０により実行される間、データの書き込み及び読み込みをするために用いられるメモリである。

操作部３４０は、プレイヤー（ユーザー）からの操作を受け付ける入力ユニットである。操作部３４０から入力された情報は、特定アプリケーションを実行するシステムを経由して特定アプリケーションに通知される。
表示部３５０は、特定アプリケーション及びこの特定アプリケーションを実行するシステムにより指示された文字、アイコン及びボタン等のコンポーネント、並びに、ビデオデータの再生ビュー等を含む様々な情報を表示する。なお、端末装置３００は、表示部３５０に表示可能な情報を、表示部３５０においてではなく、端末装置３００とは別体として設けられた表示装置に表示するように構成されていてもよい。
通信部３６０は、センサー１００及びカメラ２００との間において、狭帯域の無線通信（広帯域の通信であってもよい）を行うことにより、データの送受信を行う。
不揮発性メモリ３７０は、特定アプリケーション及びこの特定アプリケーションを実行するシステムによって、データの書き込み及び読み込みが実行されるメモリである。この不揮発性メモリ３７０に書き込まれたデータは、特定アプリケーション及びこの特定アプリケーションを実行するシステムが終了した後でも、保存される。

処理部（ＣＰＵ）３１０は、スイングの解析等に関する様々な処理を行うものであって、例えば、カメラ距離算出部３１１、センサーデータ解析部３１２、センサー操作判定部３１３、ビデオデータ再生部３１４、ビデオデータ解析部３１５、ビデオデータ読み取り部３１６、ビデオデータ記録部３１７及び適正姿勢判定部３１８等の機能ブロックを含む。

カメラ距離算出部３１１は、特定アプリケーションに実装されたプログラムユニットであって、スイングの録画及びスイングの軌跡の測定に必要なプレイヤーとカメラ２００との間の適切な距離を計算するプログラムユニットである。
センサーデータ解析部３１２は、特定アプリケーションに実装されたプログラムユニットであって、センサー１００から受信したセンサーデータを、解析してスイングに関するデータに変換するプログラムユニットである。
センサー操作判定部３１３は、スイングの測定を行う際に、通信部３６０を介してセンサー１００から受信した操作ボタン１４０に対する操作の内容を判定するプログラムユニットである。

ビデオデータ再生部３１４は、カメラ２００により生成されたビデオデータ（動画像）を生成し、表示部３５０に描画するプログラムユニットである。
ビデオデータ解析部３１５は、カメラ２００により生成されたビデオデータ（動画像）を解析し、センサーデータ解析部３１２から受信したスイングに関するデータを用いて、動画像に対するトリミングを行うプログラムユニットである。
ビデオデータ記録部３１７は、ビデオデータ解析部３１５によりトリミングされたビデオデータを、センサーデータ解析部３１２により生成されたスイングに関するデータと関連付けて不揮発性メモリ３７０に記録するプログラムユニットである。
ビデオデータ読み取り部３１６は、ビデオデータ記録部３１７により不揮発性メモリ３７０に保存されたビデオデータ（動画像）を読み込みＲＡＭ３３０に保存するプログラムユニットである。
適正姿勢判定部３１８は、プレイヤーの身長、並びに、スイング開始時のクラブのライ角及びクラブ長を用いて適正な姿勢を計算するプログラムユニットである。

なお、図２及び図３には、図２に示したカメラ２００が図３に示した端末装置３００の外部に設けられる構成、すなわち、カメラ２００が端末装置３００とは別体として設けられる構成が示されているが、カメラ２００が端末装置３００に内蔵される構成、すなわち、カメラ２００が端末装置３００の内部に設けられる構成を採用することも可能である。この場合、通信部３６０と通信部２４０との間でなされるデータの送受信は、処理部３１０とビデオデータ記録部３１７との間において代行され、プレビュー表示部２５０は表示部３５０に含まれ、処理部（ＣＰＵ）３００は処理部（ＣＰＵ）３１０に含まれる。

次に、上記構成を有する解析システムにより行われる動作について図５を参照して説明する。図５は、本発明の一実施形態に係る解析システムにより行われる動作を示すフロー図である。

まず、端末装置３００の表示部３５０（すなわちディスプレイ）において（表示された動画像における）クラブヘッドが描く円が占める大きさと、表示部３５０において（センサーデータに基づいて表示された）スイングの軌跡が占める大きさとを、略一致させるために、ステップ（以下「ＳＴ」という。）５０１〜ＳＴ５０７において、以下に述べるとおり、プログラムによる自動調整が行われる。

まず、録画開始前に、プレイヤーに対向する位置に配置されたカメラ２００のプレビュー表示部２５０が、プレイヤーの頭の位置及び立ち位置（すなわち、人型の模式図６００）、並びに、ボールの位置及び水平線を図６（ａ）〜図６（ｄ）に示すようなプレビュー画面として表示することにより、プレイヤーの適切な立ち位置を誘導する。なお、図６（ａ）〜図６（ｄ）は、プレイヤーを、それぞれ、正面、背面、後方（右利きプレイヤーの場合）及び後方（左利きプレイヤーの場合）から撮影する場合にプレビュー表示部２５０に表示されるプレビュー画面の一例を示す。また、プレビュー表示部２５０に表示されるプレビュー画面には、例えば右上の位置に、カメラとプレイヤーとの間の適切な距離６１０も表示される。

プレビュー画面には、このように表示された人型の模式図６００及び適切な距離６１０に重ね合わせて、カメラ２００のカメラ部２３０により撮像されたプレイヤーの姿も表示される。これにより、プレイヤーは、プレビュー画面を見ながら、適切な立ち位置に立つことができるとともに、カメラ２００との間に適切な距離を確保することもできる。

なお、カメラ２００は、プレビュー表示部２５０に表示されるプレビュー画像を通信部２４０を介して端末装置３００の通信部３６０に逐次転送することにより、端末装置３００の表示部３５０においても同様のプレビュー画面が表示されるようにしてもよい。これにより、カメラ２００を操作する者（撮影者）が不在の場合であっても、プレイヤーは、端末装置３００の表示部３５０に表示されたプレビュー画面を見ることによって、適切な立ち位置に立つとともに、カメラ２００との間に適切な距離をおくこともできる。

プレビュー表示部２５０に表示される人型の模式図６００及び適切な距離６１０は、図３に示した端末装置３００において、カメラ距離算出部３１１により算出され、通信部３６０により、図２に示したカメラ２００の通信部２４０に送信されることによって、カメラ２００のプレビュー表示部２５０に表示される。

カメラ２００とプレイヤーとの間の適切な距離がカメラ距離算出部３１１によってどのように算出されるのかについて説明する。
まず、カメラ２００の傾きが水平である場合（すなわち、カメラ２００が地面に対して略平行である場合）について、図７を参照して説明する。カメラ２００の高さ及びアングルを固定すれば、クラブ長、被写体となるプレイヤーの身長、カメラ２００の焦点距離、カメラ２００の撮像素子サイズから、プレイヤー及びスイングの軌跡を画面内に収めるために、プレイヤーとカメラ２００との間に確保すべき適切な距離は、次の式（１）により算出される。
被写体までの距離［ｍ］＝（焦点距離［ｍｍ］×被写体の高さが最大になる高さ［ｍｍ］）÷撮像素子の縦のサイズ［ｍｍ］÷１０００ （１）

また、上記式（１）における「被写体の高さが最大になる高さ」（ＭＨ）は、次の式（２）により算出される。
ＭＨ＝ＰＨ×０.４２（握り軸到達距離）＋ＣＨ×ｓｉｎθ＋√（ＣＨ^２＋（ＰＨ×０.４２）^２）×ｓｉｎθ （２）
ここで、ＰＨは、プレイヤーの身長［ｍｍ］であり、ＣＨは、クラブ長［ｍｍ］であり、θはアドレス時のクラブ角度である。

被写体の高さが最大になる高さ（ＭＨ）については、図８を参照すると、ゴルフスイング中、被写体の高さが最も高くなるのは、図８（ａ）に示したときであると考えられる。すなわち、プレイヤーが右利きの場合、左腕８０２が肩口まで上昇して地面と略平行に延び、かつ、クラブ８０１が地面と垂直に延びた状態において、被写体の高さが最大になると考えられる。なお、図８（ｂ）に示すトップオブスイングの状態では、クラブ８０１のヘッドは、プレイヤーの頭上後方を指し、クラブ８０１は、地面と略平行に延びるため、被写体の高さは最大とはならない。したがって、プレイヤーの肩から握り軸までの長さとクラブを２辺とした３角形の長辺がアドレス時のライ角と平行に体の中心線上にあるときに、被写体の高さが最大になる。但し、実際のスイング動作において、上記の高さにクラブヘッドが上がることはなくとも、スイングアークが画面内に収まるための十分な高さが確保されていることになる。
なお、握り軸到達距離は、日本人の１９９１年〜１９９２年のデータによれば、男女ともにプレイヤーの身長に対して約４２％程度の長さであることが分かっている（http://riodb.ibase.aist.go.jp/dhbodydb/91-92/）。
プレイヤーは、一般的に、自分自身の握り軸到達距離を把握していないため、身長と一般的な比率（４２％）によって被写体の高さを推定するために必要な距離を割り出すことが考えられる。

次に、カメラ２００に傾きがある場合（すなわち、カメラ２００が地面に対して傾いている場合）について、図９を参照して説明する。カメラの傾きを（Ａ）とすると、被写体の高さが最大になる高さ（Ｂ）と、垂直画角による撮影高さと、地面とが成す三角形は、カメラの傾き（Ａ）と相似関係となる。したがって、カメラ２００に傾きがある場合の被写体までの距離は、次に示す式（３）によって算出される。
被写体までの距離［ｍ］＝上記式（１）により算出された被写体までの距離［ｍ］＋被写体の高さが最大になる高さ×ｔａｎΨ （３）
但し、Ψはカメラと地面とが成す角度である。

以上のように端末装置３００のカメラ距離算出部３１１が、カメラ２００とプレイヤーとの間に確保すべき適切な距離を算出するためには、図５に戻って説明すると、ＳＴ５０１において、プレイヤーは、端末装置３００の操作部３４０を使用して、プレイヤーの身長及び使用するクラブに関する情報（例えばクラブ長及びアドレス時のクラブ角度等）を設定する。これにより、これらの情報は、上記適切な距離を算出する際にカメラ距離算出部３１１により利用可能となる。
ＳＴ５０２において、カメラ距離算出部３１１は、カメラ２００の焦点距離及びカメラ２００の撮像素子の縦のサイズをカメラ２００又はプレイヤーによる操作部３４０に対する操作から取得する。
さらに、ＳＴ５０３において、カメラ距離算出部３１１は、カメラ２００の高さ、及び、カメラ２００とプレイヤーとの間に確保すべき適切な距離を計算する。

次に、ＳＴ５０４において、カメラ距離算出部３１１は、カメラ２００から受信した撮影する向き（正面、背面等）に関する情報及びカメラ２００の傾きに関する情報、並びに、予め設定され不揮発性メモリ３７０に記憶されているプレイヤーの利き手に関する情報に基づいて、上述した人型の模式図６００を計算する。

この後、ＳＴ５０５において、カメラ距離算出部３１１により算出された人型の模式図及び適切な距離、並びに、プレイヤーの身長及びカメラの高さが、上述したように、カメラ２００の通信部２４０に送信されることにより、ＳＴ５０６において、カメラ２００のプレビュー表示部２５０（場合によっては、端末装置３００の表示部３５０）にプレビュー画面として表示される。これにより、ＳＴ５０７において、プレイヤーは、カメラ２００のプレビュー表示部２５０に表示された内容に従って、プレイヤーとカメラ２００との間に指示された適切な距離を確保するように、カメラ２００を設定することができる。

次に、ＳＴ５０８〜ＳＴ５１５では、センサー１００を用いたスイングの測定、及び、カメラ２００を用いた録画が行われる。まず、ＳＴ５０８では、プレイヤーは、スイングの開始前に、センサー１００の操作ボタン１４０を押下する。センサー１００は、プレイヤーによる操作ボタン１４０に対する押下を検知すると、その旨を示す信号（第１特定信号）を通信部１３０を介して端末装置３００に送信する。端末装置３００は、センサー１００からの第１特定信号を、通信部３６０を介して受信してセンサー操作判定部３１３に出力する。センサー操作判定部３１３が第１特定信号を受信することを契機として、ＳＴ５０９において、ＣＰＵ３１０により実行される特定アプリケーションは、録画モードでカメラ２００を起動する。これにより、カメラ２００は、カメラ部２３０を用いた録画を開始する（よって、特定アプリケーションは、どの時刻にセンサー１００の操作ボタン１４０が押下されたかを識別することができる）。これにより、プレイヤーによるスイングの開始とカメラ２００による録画の開始とが同期して行われる。
また、ＳＴ５１０では、上記ＳＴ５０８においてセンサー１００の操作ボタン１４０が押下されることを契機として、センサー１００によるスイング測定も開始される。

ＳＴ５１１では、プレイヤーが予備動作（ワッグル）を行う。さらに、プレイヤーは、ＳＴ５１２においてスイングを行い、ＳＴ５１３において打球する。このとき、センサー１００は、ゴルフクラブによるボールに対するインパクト（打球）を検出すると、その旨を示す信号（第２特定信号）を通信部１３０を介して端末装置３００に送信して、ＳＴ５１４において、スイングの測定を終了する。端末装置３００がセンサー１００から第２特定信号を受信することを契機として、ＣＰＵ３１０により実行される特定アプリケーションは、ＳＴ５１５において、カメラ２００による録画を停止させる（よって、特定アプリケーションは、どの時刻にインパクトが生じたのかを識別することができる）。なお、カメラ２００が録画を停止するタイミングは、インパクトが生じたタイミングと略同時ではなく、プレイヤーのスイングが完了した後となるように適宜調整される。これにより、プレイヤーによるスイングの終了とカメラ２００による録画の終了とが同期して行われる。

ＳＴ５１６では、カメラ２００により生成された録画データ（ビデオデータ）が端末装置３００に転送及び記憶される一方、センサー１００により生成されたセンサーデータもまた端末装置３００に転送及び記憶される。

ＳＴ５１７では、端末装置３００のセンサーデータ解析部３１２が、記憶されたセンサーデータに対する解析処理を実行する。ここで、上述したＳＴ５０８〜ＳＴ５１５までの間において、センサー１００、カメラ２００及び端末装置３００の間においてやり取りされる一連の命令及び応答並びにデータ送受信のすべてに対してタイムスタンプが付与されている。よって、これらのタイムスタンプに基づいて、ＳＴ５１２〜ＳＴ５１４までを有効なスイング期間として識別することができる。得られた録画データの中からこの期間に対応する録画データ（ビデオデータ）を残すようにトリミングすることが好ましい。
このようなトリミングを実行するために、センサーデータ解析部３１２は、センサーデータに対して、本件出願人が日本国特許出願第２０１２−２５４６７２号において開示したワッグルの除去方法を用いることにより、スイングの開始時刻を割り出す。これにより、センサーデータ解析部３１２は、割り出した時刻と、ＳＴ５０９に対応する時刻〜ＳＴ５１２に対応する時刻（これらの時刻は上記タイムスタンプから識別することができる）との差分から、スイング開始前の録画データの削除期間を計算することができる。

ここで、上記ワッグルの除去方法について簡潔に説明する。本除去方法は、センサーデータからワッグルによるスイング軌跡を除去したスイング開始点を検出し、ワッグル動作によるセンサーデータをスイング解析に使用しないものである。
図１６は、センサーをゴルフクラブに取り付けてスイングした場合の、モーションセンサ１００の角速度センサのセンサ座標系でのＸ軸及びＺ軸のセンサーデータ、並びに、加速度センサのＹ軸のセンサーデータによる波形である。ここで、スイング状態判定部では、データ測定開始点から、角速度センサのＺ軸のセンサーデータのマイナスピーク値Ｚ１、角速度センサのＸ軸のセンサーデータのプラスピーク値Ｘ１を検出し、ＲＡＭ３３０に記憶する。インパクト点Ｔ１を検出した後、Ｘ軸のセンサーデータ及びＺ軸のセンサーデータが、ともにＲＡＭ３３０に記録したピーク値Ｚ１及びＸ１に対して符号が反転する点まで遡る。具体的には、図１６に示すように、Ｚ軸のセンサーデータがマイナスピーク値Ｚ１からプラスに転じる点Ｚ２、及びＸ軸のセンサーデータがプラスピーク値Ｘ１からマイナスに転じる点Ｘ２が検出される。そして、検出された点Ｚ２及びＸ２において、データ検出開始点との間で測定点が少ない方をスイング開始点Ｓと判定する。そして、スイングデータ解析処理において、判定されたスイング開始点より前の加速度センサのセンサーデータは、重力加速度のみとしてフィルタリングし、スイング解析には使用しないことにより、より正確な解析結果を得ることができる。
また、インパクト点Ｔ１の検出は、図１６の波形における加速度センサのＹ軸のセンサーデータの急激な減速又はマイナス方向のピークを検知することで判定される。また、通常、インパクトの際には、打球をすることで運動が一瞬停止し、センサーデータに大きな差分が発生すると考えられる。そのため、上記以外にも、図１６に示される加速度センサのＹ軸のセンサーデータの波形において、前後のセンサーデータの値に所定の差分がある場合にインパクトＴ１を検出したと判定してもよい。さらに、インパクトを判定する前後の差分定数をゴルフクラブやボールの種類によって変更することで、打球した際の衝撃度合いに応じて、打球したかどうか判定することができ、どのクラブ、どのボールにおいても正確にインパクトを検出することができる。以上、ワッグルの除去方法について説明した。なお、日本国特許出願第２０１２−２５４６７２号に記載された内容は、引用によりその内容の全体が本明細書に組み込まれる。

再度、図５に戻り、ＳＴ５１８では、ＳＴ５１７で計算された録画データの削除期間を用いて、得られた全録画データから不要な録画データ（すなわち、録画開始〜ワッグル終了後までの録画データ）が削除される。さらに、録画データにおけるスイングの開始のタイミングと、スイング軌跡の再生開始タイミングとが揃えられる。ここで、録画データ及びセンサーデータには、一定時間ごとに同一のタイムスタンプが付与されているため、センサーデータにおけるスイングの開始に対応する時刻を識別すれば、これと同一の時刻を録画データの再生開始に対応する時刻として用いることができ、これによって、録画データにおけるスイングの開始のタイミングと、スイング軌跡の再生開始タイミングとを揃えることができる。

次に、ＳＴ５１９では、トリミングが施された録画データと、対応するセンサーデータから生成された動画像とが、端末装置３００の表示部３５０に重ね合わせて表示される。図１０は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面の一例を示す図である。図１１は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面の別の例を示す図である。図１０及び図１１に例示されるように、プレイヤーがスイングする様子を捉えた録画データ（ビデオデータ）と、対応するセンサーデータから生成されたスイングの軌跡を示す動画像（アニメーション）とが、重ね合わせて表示されている。
なお、センサーデータは、ゴルフクラブに取り付けられたセンサー１００の３軸（Ｘ軸、Ｙ軸及びＺ軸）上の座標を対応する時刻に対応付けた情報を含むものであるので、これらの情報を用いれば、図１０及び図１１に例示されるようなスイングの軌跡を示す動画像を生成することができる。
なお、このようなスイングの様子を捉えた動画像とスイングの軌跡を示す動画像とを重ね合わせて表示するための具体的な手法については後述する。
また、別の実施形態では、センサーデータから生成されたスイングの軌跡を示す動画像を表示する際には、インパクト時の軌跡を他の軌跡と区別可能な態様で（例えば特定の色等により）表示することも可能である。なお、インパクトが生じた時刻は、上記のとおり認識可能であるので、その時刻に対応する画像を特別な態様で表示することも可能である。

このように、プレイヤーは、端末装置３００に指示されたとおりにカメラ２００を設置し、センサー１００を使用してスイング軌跡を測定しながら、録画を行うことにより、スイングの様子を捉えた動画像と、スイングの軌跡を示す動画像とを重ね合わせて見ることができるが、環境によっては、カメラ２００の向き及びプレイヤーとカメラ２００との距離を指示されたとおりに設置できない場合も考えられる。この場合には、選択的に、ＳＴ５２０において、実際のカメラ２００の位置やプレイヤーとカメラ２００との距離に応じて、スイングの軌跡を示す動画像を、録画データを見ながら手動で設定することにより、スイングの様子を捉えた動画像（画面上の位置）とスイングの軌跡を示す動画像（画面上の位置）とを一致させることもできる。

再度図５に戻り、ＳＴ５２１では、スイングの様子を捉えた動画像と、理想的な位置を示す画像とが重ね合わせて表示される。
図１２は、本発明の一実施形態に係る解析システムにおいてスイング時におけるプレイヤーの理想的な姿勢を説明する模式図である。図１２に示すように、打球の進行方向とは反対の方向からプレイヤーのスイングフォームを観察したとき、アドレス時のクラブと地面との角度、クラブの長さ、プレイヤーの身長、プレイヤーの身長に対する平均的な腕の長さから、アドレス時の理想的な姿勢を推定することができる。ゴルフのスイングは、アドレス時の姿勢をスイング中に保つことがよいフォームとされており、この理想的な姿勢を図１２に示すような線分を動画像に重ね合わせて表示させることにより、プレイヤーは、映像の解析をせずとも、自身のスイングフォームの良し悪しを理解するための手助けを得ることができる。これにより、プレイヤーは、ゴルフスイングの予備知識を有しなくとも、スイングのチェックを効率的に行うことができる。また、プレイヤーは、スイングプレーンがオンプレーンの範囲内にあるのか否かをも判定できるため、スイングプレーンの良し悪しも判定することができる。
なお、このようなスイングフォームを捉えた動画像と理想的な姿勢を示す線分とを重ね合わせて表示するための具体的な手法については後述する。

また、再度図５を参照すると、選択的に、ＳＴ５２２において、プレイヤーのスイングを点数化する処理が行われるようにしてもよい。

最後に、図５には、示されていないが、上述した解析システムの実行の結果として得られた計算結果（プレイヤーとカメラ２００との距離、プレイヤーの腕の長さ）、設定情報（身長、クラブ設定）、録画データ、センサーデータ等は、端末装置３００の不揮発性メモリ３７０に記録されるようにしてもよい。記録された各測定結果及び録画データは、ＲＤＢＭＳ形式によって関係付けられ、プレイヤー（ユーザー）は、測定日時や測定結果を検索キーとしてデータを検索することにより、過去のデータを閲覧することもできる。蓄積された過去のデータを現在のデータと比較乃至検証することが容易となるため、より効果的にゴルフスイングの練習を進めることができる。

次に、スイングの様子を捉えた動画像とスイングの軌跡を示す動画像とを重ね合わせて表示するための具体的な手法について、図１３Ａ及び図１３Ｂを参照して説明する。図１３Ａ及び図１３Ｂは、本発明の一実施形態に係る解析システムにおいてスイングの測定開始から録画データとスイングの軌跡を示す動画像との座標重ね合わせ処理が完了するまでのプログラムフローを示す図である。図１３Ａ及び図１３Ｂは、図５におけるＳＴ５０８〜ＳＴ５２０までの処理をプログラムレベルでフロー化した図に相当する。以下に述べる処理は、端末装置３００のＲＯＭ３２０に保存されたプログラムによって実行される。図１３Ａ及び図１３Ｂとプロセス全体のフローを示した図５との対応関係は、図１３Ａ及び図１３Ｂの下段に示されている。

ＳＴ１３０１では、端末装置３００がセンサー１００からセンサーデータの受信を開始する。ＳＴ１３０２〜ＳＴ１３０５では、端末装置３００は、センサー１００から継続的にセンサーデータを受信し、上記式（２）に使用するθ（アドレス時のクラブライ角）の計算に必要な静止状態の重力加速度を測定する。ＳＴ１３０６〜ＳＴ１３０８では、端末装置３００は、プレイヤーがスイングし、センサー１００がインパクトの衝撃を検出するまで、センサーデータを受信し続ける。ＳＴ１３０９では、端末装置３００がセンサー１００からセンサーデータの受信を終了する。

ＳＴ１３１０では、カメラ２００が端末装置３００に対してＳＴ５０９〜ＳＴ５１５の間に録画したビデオデータを転送する。ＳＴ１３１１では、端末装置３００は、受信したビデオデータを不揮発性メモリ３７０に保存する。

ＳＴ１３１２〜ＳＴ１３１５において、端末装置３００がセンサーデータからスイング軌道及びスイング速度等を計算する。その計算方法及び計算アルゴリズムは、例えば、上記において引用した日本国特許出願第２０１２−２５４６７２号に記載されたものを用いることができる。スイング軌道の各点の座標は原点からｍ単位で算出される。ＳＴ１３１６において、端末装置３００は、ＳＴ１３１２〜ＳＴ１３１５において計算されたスイングデータの計測時間に基づいてスイング前後のビデオデータをトリミングする。

ＳＴ１３１７において、端末装置３００は、スイング軌道をピクセルに変換するため、１ピクセルあたり何メートルとなるか、メートルとピクセルとの比率をカメラの水平画角及び被写体までの距離から算出する。カメラ２００と被写体とが図７（上段）のように相対しており、プレイヤーとカメラ２００とが並行している場合には、プレイヤー及びカメラ２００を真上から見た図７（下段）に示すように、水平方向の画角をθとしたときには、次の式が成り立つ。
平行なときの水平方向の幅（ｍ）＝２×被写体までの距離×ｔａｎ(θ／２)
一方、カメラ２００と被写体とが図９（上段）のように相対しているが、図９（下段）に示すようにカメラ２００とプレイヤーとが並行でない場合、水平方向のカメラ２００の傾きをΩとした場合には、次の式が成り立つ。
水平方向の幅（ｍ）＝平行なときの水平方向の幅／ｃｏｓ（Ω）
画面解像度は、デバイスにより取得できるため、
１ｍあたりのピクセルサイズ（ｐｘ／ｍ）＝水平方向の画面解像度÷水平方向の幅
となり、端末装置３００は、ピクセルとメートルとの比率を算出する。

ＳＴ１３１８では、端末装置３００は、ＳＴ１３１７において求められたメートルあたりのピクセル比率を元にスイングアークを画面上にプロットする。スイングアークの開始位置は、図５のＳＴ５０６で設定された人型の模式図の水平線と垂直線とが交差する点である原点Ｏである。原点Ｏが画面上のどこに配置されているか、画面上の座標平面が正面方向の座標平面か側面方向の座標平面かは、ＳＴ５０１の時点で設定されＲＡＭ３３０に保存されている。端末装置３００は、設定された座標平面及び原点位置から、スイングアークの座標をピクセルに変換してプロットする。端末装置３００は、スイングアークをプロットするメモリ領域として、ビデオデータとは別のメモリ領域を用い、スイングアークとビデオデータとの描画面の合成は、ＯｐｅｎＧＬ等の既知の画像合成技術を使用して実行可能である。

ＳＴ１３１９〜ＳＴ１３２２では、図９に例示されるとおり、実際のカメラの設置や距離を取ったときに、プレイヤーとカメラ２００とが確実に並行、垂直になる保障はない。したがって、ＳＴ１３１８にて合成された画像は、それらの傾きや計算上の距離と実際の距離との差分により、スイングアークとプレイヤーのスイングモーションにずれがあることが想定される。これらのずれはプログラムで自動で補正することができないため、垂直、水平、奥行き方向にユーザー操作によりスイングアークを調整するユーザーインターフェースを設け、ユーザーが、合成されたスイングアークの大きさや位置、傾きを微調整する。

ＳＴ１３２３では、端末装置３００は、ＳＴ１３１９〜ＳＴ１３２２までの調整結果を不揮発性メモリ３７０に保存する。ＳＴ１３２４では、端末装置３００は、ビデオ再生を開始し、時刻に応じたスイング軌道を再描画する。ビデオデータの再生と、スイング動作の開始時刻から再生速度にあわせてスイングアークをピクセルに順次プロットすることとによって、あたかもスイング動作に連動してスイングアークが表示されたように見える。

次に、スイングフォームを捉えた動画像と理想的な姿勢を示す線分とを重ね合わせて表示するための具体的な手法について、図１４及び図１５を参照して説明する。図１４は、本発明の一実施形態に係る解析システムにおける端末装置３００の表示部３５０に表示される画面のさらに別の例を示す図である。図１５は、図１４に示された線分を画面上の動画像と重ね合わせる際にプログラムが画面描画領域に線分を配置するプロセスを説明するフロー図である。

ＳＴ１５０１において、端末装置３００は、図５のＳＴ５０６で設定された原点Ｏから、ＳＴ５０１で設定されたクラブのライ角の傾きで画面上に描画される線分Ａを計算する。線分Ａの長さは、ＳＴ５０１で設定されたクラブ長である。

ＳＴ１５０２において、端末装置３００は、線分Ａ上で、センサー１００の装着点Ａ１から垂直方向に延びる線分Ｂを算出する。センサー１００の装着点Ａ１は、グリップ下部とされているので、線分Ａの端部であるＡ３から、線分Ａ上でグリップの長さ分離れた点となる。線分Ｂの長さは、プレイヤーの腕の長さに相当するため握り軸到達距離とする。クラブを支えるユーザーの両腕は地面に向かって真下に降りているのがよいフォームと考えられているので、線分Ｂは垂直方向と並行となる。

ＳＴ１５０３において、端末装置３００は、線分Ｂの端部Ｂ１から、円Ｄの大きさ及び位置を算出する。円Ｄはプレイヤーの頭の位置の目安となるため、円の直径をプレイヤーの身長の１／６とした大きさの円とする。但し、円Ｄ、線分Ｂ、線分Ａを組み合わせた、原点Ｏから垂直方向の長さがプレイヤーの身長を超える場合、端末装置３００は、線分Ａを算出した際に利用したライ角を、クラブ情報のライ角から実際にアドレスした際のライ角へ変更し、線分Ａ、線分Ｂ、円Ｄを再計算しプレイヤーの身長を超えないようにする。

ＳＴ１５０４において、端末装置３００は、線分Ａと直角となり、点Ｂ１から始まる線分Ｃを算出する。線分Ｃと線分Ａを延長した線が交わる点をＡ２とする。Ａ３上を通る水平線と線分Ｃとが交差する点をＢ２とする。線分Ｃは、Ａ２を通過しＢ１からＢ２までの直線の線分とする。

ＳＴ１５０５において、Ａ３から垂直線を降ろし、これを補助線Ｇとする。端末装置３００は、補助線Ｇと水平座標軸と交差する点を中点として水平方向に延びる線分Ｈを算出する。線分Ｈは足の位置の目安となる。線分Ｈの長さは握り軸到達距離の半分とする。

ＳＴ１５０６において、端末装置３００は、線分Ｈの先端部Ｈ１と補助線線分Ｇの中点Ｇ１とを結ぶ線分Ｉを算出する。ＳＴ１５０７において、端末装置３００は、Ｇ１と線分Ｂの先端部Ｂ２とを結ぶ線分Ｊを算出する。

ＳＴ１５０８において、端末装置３００は、Ａ４からＢ１を通る直線となる線分Ｅを算出する。ＳＴ１５０９において、端末装置３００は、線分Ａ、線分Ｅ、線分Ｂで囲まれる領域Ｆを算出する。

ＳＴ１５１０において、カメラ２００が水平方向、垂直方向に並行でない場合、線分と実際の画像はずれて表示されるため、端末装置３００は、ＳＴ１３２３において保存された傾斜情報を元に線分全体を投影して位置を調整する。
ＳＴ１５１１において、端末装置３００は、ＳＴ１５０１〜ＳＴ１５０９までに算出した線分、円、領域を描画する。各線分の長さの単位はｍとなっているため、端末装置３００は、ＳＴ１３１７で算出したピクセル比率を用いて、長さを変換して描画する。

ＳＴ１５１２において、端末装置３００は、線分の結合点を画面上でユーザー操作により移動できるＧＵＩを表示し調整させることも可能とする。
ＳＴ１５１３において、端末装置３００は、ＳＴ１５１２までに算出及び調整された線分の座標情報を不揮発メモリ３７０に保存する。かかる保存は、ユーザーが端末装置３００のＧＵＩ表示部を操作することを契機として行われる。

ＳＴ１５１４において、端末装置３００は、領域Ｆ内にあるスイングアークの座標点の割合からスイングを点数化することができる。領域Ｆは、ベンホーガンプレーンと称され、ヘッドがダウンスイング及びバックスイングで領域Ｆを通過するのがよいといわれている。よって、端末装置３００は、ヘッドが領域Ｆを通過する割合が多いほどスイングの点数を高得点となるようにする。

このように、１つの実施形態によれば、カメラにより生成されたビデオデータとセンサーデータから生成されたスイングの軌跡を示す動画像とをディスプレイ上に重ね合わせて表示するとともに、ビデオデータの再生の開始とスイングの軌跡の描画開始とを同期させることにより、ビデオデータにおける例えばクラブヘッドの部分がカメラの性能不足に起因して不鮮明な状態にあっても、スイングの軌跡がビデオデータにおける例えばクラブヘッドの位置に対応して描画されるため、カメラで録画したスイングモーションの不鮮明さを、センサーで計測したスイングの軌跡を描画することによって補完することができる。したがって、カメラの性能（例えばＦｌａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）が不十分であるために、ビデオデータにおけるクラブの動作がぶれてしまい、ビデオデータにおいてスイングが確認できないといった問題の発生を抑えることができる。

また、１つの実施形態によれば、プレイヤーがスイングの測定を開始すべくセンサーの操作ボタンを押下し、センサーがその旨を示す第１特定信号を端末装置に送信し、端末装置により実行されている特定アプリケーションが、第１特定信号を受信することを契機として、録画モードでカメラを起動してカメラに録画の開始を命令する。これにより、カメラは、プレイヤーによるスイング開始と同期して録画を開始する。また、センサーが、インパクトを検出して、その旨を示す第２特定信号を端末装置に送信し、端末装置により実行されている特定アプリケーションが、第２特定信号を受信することを契機として、カメラに対して録画の停止を命令する。これにより、プレイヤーによるスイングの終了と同期して、カメラは録画を終了する。したがって、プレイヤーは、カメラを別途操作するオペレータを必要とすることなく、１人で録画及びスイングの測定を実行することができる。また、プレイヤーは、セルフタイマーを用いることなく、スイングのタイミングに合わせて録画を開始することができる。

さらに、１つの実施形態によれば、端末装置により実行される特定アプリケーションは、プレイヤーがセンサーの操作ボタンを押下したことを、第１特定信号を受信することにより検出することができ、また、センサーがインパクトを検出したことを、第２特定信号を受信することにより検出することができる。よって、カメラによる録画の開始とセンサーによるスイングの測定とを同期させた場合、センサーにより生成されたセンサーデータを解析することにより、録画されたスイングモーションの中のどの時刻からどの時刻までを有効なスイングモーションとして残しておくべきかを判断することができる。これにより、カメラにより生成されたビデオデータから不要なデータを容易にトリミングすることができる。したがって、録画した映像を手動でトリミングしたり、録画した映像に手動でタイミングを設定するといった手間を省くことができる。

さらにまた、１つの実施形態によれば、ビデオデータと理想的な姿勢を示す線分とを重ね合わせて表示することにより、プレイヤーは映像を解析することなく（手動で線を引く必要もなく）スイングフォームの良し悪しを判断する手助けを得ることができる。また、プレイヤーは、ゴルフスイングの予備知識がなくとも、スイングのチェックを行うことができる。

なお、上述した様々な実施形態では、プレイヤーの動作を解析する端末装置の一例として、ゴルフクラブを握持したプレイヤーのスイングを解析する端末装置を挙げて説明したが、本明細書で開示した技術的思想は、ソフトボール（野球）に用いられるバット、卓球・テニスに用いられるラケット、新体操に用いられる様々な道具、ビリヤードに用いられるキュー、釣りに用いられる釣竿等の様々な道具（これらの道具にはセンサーが取り付けられる）を握持したプレイヤーの動作を解析する端末装置にも適用可能なものである。また、この場合、プレイヤーが取るべき適切な又は理想的な姿勢が存在するときには、そのような姿勢を示す又は示唆する線分や曲線等を、プレイヤーの動作を撮影したビデオデータに重ね合わせて表示することにより、プレイヤーは、自身の動作の良し悪しを簡単に判断することができる（例えば、野球の場合にはテイクバックからフォロースルーまでの間、目線の高さが変わらないことが望ましいため、目線の高さに水平に延びるガイド線を表示することにより、プレイヤーは、ビデオデータにおけるプレイヤーの目線がスイングの間において変化していないかをチェックすることができる）。さらには、本明細書で開示した技術的思想は、センサーが取り付けられた道具を用いたプレイヤーの動作を解析する場合のみならず、道具を用いないプレイヤーの動作を解析する場合にも及ぶものである。すなわち、本明細書で開示した手法は、身体に直接センサーが取り付けられたプレイヤーの動作（例えば、ダンス、空手、水泳、バレエ、陸上競技等をするプレイヤーの動作）を解析する場合にも適用可能なものである。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明されるデータ、テーブル又はデータベースが単一のメモリに格納される旨説明されたとしても、そのようなデータ、テーブル又はデータベースは、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

１００ センサー
２００ カメラ
３００ 端末装置

Claims (7)

1. センサーが取り付けられた測定対象物の動画像を取得する動画像取得手段と、
   前記センサーから前記測定対象物に関連したセンサーデータを取得するセンサーデータ取得手段と、
   前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する表示制御手段と、
   を具備することを特徴とする端末装置。
2. 前記表示制御手段は、前記動画像と前記測定対象物の軌跡を示す付加的な動画像とを同期させて表示する、請求項１に記載の端末装置。
3. 前記表示制御手段は、選択された期間について前記動画像と前記付加的な動画像とを同期させて表示する、請求項２に記載の端末装置。
4. 前記測定対象物の動画像を生成するために当該端末装置の内部又は外部に配置された撮像部を制御する制御手段をさらに具備し、
   前記制御手段は、前記センサーから第１特定信号を受信したことに基づいて前記撮像部に撮像動作を開始させ、前記センサーから第２特定信号を受信したことに基づいて前記撮像部に撮像動作を停止させる、請求項１から請求項３のいずれかに記載の端末装置。
5. 前記表示制御手段は、前記動画像と前記測定対象物の理想的な位置を示す付加的な画像とを重ね合わせて表示する、請求項１に記載の端末装置。
6. コンピュータを、
   センサーが取り付けられた測定対象物の動画像を取得する動画像取得手段、
   前記センサーから前記測定対象物に関連したセンサーデータを取得するセンサーデータ取得手段、及び、
   前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する表示制御手段、
   として機能させるプログラム。
7. センサーが取り付けられた測定対象物の動画像を取得する段階と、
   前記センサーから前記測定対象物に関連したセンサーデータを取得する段階と、
   前記動画像と前記センサーデータから生成された付加的な画像とを重ね合わせて表示する段階と、
   を含むことを特徴とする表示方法。

Images