JP2009163639A - オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム - Google Patents

Abstract

【課題】高精度にオブジェクトの軌道を識別する。
【解決手段】入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別装置において、前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段と、前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段と、前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段と、前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別手段とを有する。
【選択図】図２

Description

本発明は、オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラムに係り、特に高精度にオブジェクトの軌道を識別するオブジェクト軌道識別装置及び触覚提示方法に関する。

近年では、データ放送やインターネットを通じ、リアルタイムでスポーツのメタデータが配信されている。ここで、例えば、野球等では、投手が打者に投げる一球毎にカウントやスピード、コース等の詳細なメタデータが作成されている。特に、野球中継では、投手が直球、変化球を様々に織り交ぜながら投球し、勝負は配球の組み立てにより決まることが多いため、野球の知識がある視聴者は次に投げる球種を予想しながら視聴していることが多い。

このように、球種情報に対する関心は高く、現在では中継番組内のテロップ表示、データ放送、インターネット等で球種情報が配信されている。

また、この球種情報をメタデータとして保存することで、予め蓄積されるメタデータ群の中から所望するシーン検索や投球内容のデータ解析に利用することができる。

また、最近では、放送映像を解析してある物体（オブジェクト）の軌道や速度を判定する様々な研究が行われている。しかしながら、この技術を投手の投球に当てはめた場合、球種の識別に関しては直球、変化球等の大まかな軌道識別しか識別することができず、個別の球種を識別する手法は未だ確立されていない。

また、別の手法として、固定カメラを複数台使用し、ボールの３次元位置を求める技術も開発されている。しかしながら、撮影機材の制約や運用性を考慮すると、放送映像のみから球種を判定することが好ましい。更に、放送映像から判定できれば、識別アルゴリズムを受信機側に埋め込むことも可能となる。

そのため、現在では、球種メタデータは野球の知識や経験のある専門家により人手で付与されており、データ作成までに時間がかかったり、習熟が必要だったりする等の制約が生じている。

また、従来では、投球の軌道を表示する装置として、投球軌跡作画装置が存在する（例えば、特許文献１参照。）。この装置は、画像認識技術を利用し、放送用映像内からボール領域をリアルタイムで抽出・追跡することができる。

また、ホームベース付近を撮影した複数台のカメラの映像からボールがストライクゾーンに入ったか否かを画像処理で判定し、審判へ通知するストライクゾーンの自動判定手法も存在している（例えば、特許文献２参照。）。
特開２００５−１２３８２４号公報 特開平９−２９００３７号公報

ところで、現在の球種データのほとんどは、専門家が一球一球目視で確認して定めている。判定には、高い野球の知識が要求され、また人間が判定しているため主観が混入する恐れがある。

上述した特許文献１に示されている投球軌跡作画装置は、軌道を一目で把握できるものの、それがどのような球種なのかまでは判定することができない。したがって、現状では球種の判別は、軌道を見た解説者や視聴者の判断に委ねられてしまう。

また、特許文献２では、ボールがストライクゾーンへ入ったか否かを判定できるものの、球種まで判定することはできない。また、複数台のカメラを設置する必要があるが、設備の面からも既存の放送カメラだけで運用できることが好ましい。

本発明は、上述した問題点に鑑みなされたものであり、高精度にオブジェクトの軌道を識別するオブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別装置において、前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段と、前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段と、前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段と、前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別手段とを有することを特徴とする。

請求項１記載の発明によれば、高精度にオブジェクトの軌道を識別することができる。

請求項２に記載された発明は、前記映像中に含まれる背景領域を参照して、撮影方向・画角を補正する映像正規化手段を有し、前記動作特徴量抽出手段は、前記映像正規化手段により得られる正規化された映像から前記第２のオブジェクトを抽出することを特徴とする。

請求項２記載の発明によれば、第２のオブジェクトの動きをより正確に取得することができる。

請求項３に記載された発明は、前記第１のオブジェクトは、投手が投げる球であり、前記第２のオブジェクトは、捕手であることを特徴とする。

請求項３記載の発明によれば、野球中継における投手が投げる球の球種を高精度に取得することができる。

請求項４に記載された発明は、前記動作特徴量抽出手段は、前記第２のオブジェクトとして予め設定される映像内の特定の選手又はオブジェクトを追跡して動きベクトルを計測することを特徴とする。

請求項４記載の発明によれば、第２のオブジェクトの動きベクトルを取得することで、より第１のオブジェクトの軌道をより高精度に識別することができる。

請求項５に記載された発明は、前記文字特徴量抽出手段は、映像内からテロップ領域を抽出し、前記テロップ領域に含まれる文字情報を認識して球速値を取得することを特徴とする。

請求項５記載の発明によれば、球速値を特徴量とすることで、より正確に第１のオブジェクトの軌道を識別することができる。

請求項６に記載された発明は、入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別方法において、前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出ステップと、前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出ステップと、前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出ステップと、前記軌道特徴量抽出ステップ、前記動作特徴量抽出ステップ、及び前記文字特徴量抽出ステップとにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別ステップとを有することを特徴とする。

請求項６記載の発明によれば、高精度にオブジェクトの軌道を識別することができる。

請求項７に記載された発明は、入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別プログラムにおいて、コンピュータを、前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段、前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段、前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段、及び、前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別手段として機能させる。

請求項７記載の発明によれば、高精度にオブジェクトの軌道を識別することができる。また、実行プログラムをコンピュータにインストールすることにより、容易にオブジェクトの軌道の識別処理を実現することができる。

本発明によれば、高精度にオブジェクトの軌道を識別することができる。

＜本発明の概要＞
本発明は、取得した映像フレーム毎に画像から抽出した第１のオブジェクト（例えば、投手が投げた球等）位置から軌道を求める。更に、求めた軌跡データ以外に第１のオブジェクトの軌跡に対応して移動する第２のオブジェクト（例えば、投球動作中の捕手の動き等）の動き、及び映像中に表示される文字情報（例えば、テロップ表示される球速情報等）を特徴量として、そのオブジェクトの軌道（球種）を識別する。

以下に、上述したような特徴を有する本発明におけるオブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。

なお、以下に示す説明では、軌道を識別する第１のオブジェクトとして、例えば野球における投球の球種の軌跡を識別するものとし、投球内容については、図１に示す球種例に基づいて分類するものとする。図１は、本実施形態において識別する球種の一例を示す図である。

図１に示す球種データは、Ｔｙｐｅと、Ｋｉｎｄの２種類存在し、Ｔｙｐｅデータには、直球系、曲がる系、落ちる系の３種類が存在し、Ｋｉｎｄデータは、Ｔｙｐｅデータをより細分化した図１に示す９種類（ストレート、シュート、カーブ、スライダー、カットボール、フォーク、チェンジアップ、シンカー、特殊球）とする。なお、オブジェクトである球の軌道（球種）は、予め設定されるものであり、本発明においては、この種類に限定されるものではない。

＜オブジェクト軌道識別装置１０の概要構成例＞
図２は、本実施形態におけるオブジェクト軌道識別装置の概要構成の一例を示す図である。なお、図２に示すオブジェクト軌道識別装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用コンピュータ等により実現される。

図２に示すオブジェクト軌道識別装置１０は、投球軌跡生成蔵置１１と、軌跡特徴量抽出手段１１と、映像正規化手段１３と、動作特徴量抽出手段１４と、テロップ特徴量抽出手段（文字特徴量抽出手段）１５と、識別手段１６とを有するよう構成されている。

図１に示す投球軌跡作画装置１１は、投球軌跡作画装置１１は、カメラ又はＶＴＲ等から得られる映像信号から投球の映像を入力し、この映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、投手が打者に対して投げた球の軌跡データを生成する。また、投球軌跡作画装置１１は、オブジェクトの軌跡データを軌跡特徴量抽出手段１２に出力する。

軌跡特徴量抽出手段１２は、投球軌跡生成蔵置１１から入力された軌跡データから予め設定された複数種類の特徴量を送出する。なお、複数種類とは、投球間のカメラ操作等により撮影方向が若干変化するため、撮影方向の影響を受けない特徴量を複数選択して抽出する。また、軌跡特徴量抽出手段１２は、軌道特徴量を識別手段１６に出力する。

また、映像正規化手段１３は、カメラ又はＶＴＲ等により予め蓄積された映像中に含まれる特定人物（例えば、捕手）の位置を補正する。また、映像正規化手段１３は、正規化した信号を動作特徴量抽出手段１４に出力する。具体的には、映像正規化手段１３は、映像中の背景領域を参照し、撮影方向・画角を補正する。これにより、カメラ操作の影響を排除することができる。

また、映像正規化手段１３は、補正した映像動作特徴量抽出手段１４に出力する。映像動作特徴量抽出手段１４は、映像内の特定選手（例えば、捕手等）又はオブジェクト（例えば、バックフェンスの柱等）を追跡し、その動きベクトルを計測する。また、映像動作特徴量抽出手段１４は、計測により抽出した動きベクトルを識別手段１６に出力する。

また、テロップ特徴量抽出手段１５は、カメラ又はＶＴＲ等により予め蓄積された映像中に含まれるテロップ（文字情報）の特徴量を抽出する。具体的には、テロップ特徴量抽出手段１５は、映像中に表示された球速情報（球速値）を抽出する。また、テロップ特徴量抽出手段１５は、抽出した球速情報を識別手段１６に出力する。

識別手段１６は、軌跡特徴量抽出手段１２から得られる軌道特徴量と、動作特徴量抽出手段１４から得られる動きベクトルと、テロップ特徴量抽出手段１５により得られる球速値に基づいて、投手が投げた球（第１のオブジェクト）の球種（軌道）を識別する。つまり、識別手段１６は、軌跡データ以外にも投球直前の捕手の動きとテロップ表示される球速情報を特徴量に利用して識別を行う。これにより、高精度にオブジェクトの軌道を識別することができる。

次に、上述した各機能構成について、具体的に説明する。

＜投球軌跡作画装置１１の機能構成例＞
上述した投球軌跡作画装置１１の機能構成例について図を用いて説明する。図３は、投球軌跡作画装置の機能構成の一例を示す図である。図３に示す投球軌跡作画装置１１は、映像オブジェクト抽出装置２１と、映像遅延手段２２と、作画・画像合成手段２３とを有するよう構成されている。

また、映像オブジェクト抽出装置２１は、オブジェクト候補画像生成手段３１と、ボール選定手段３２と、抽出条件記憶手段３３と、位置予測手段３４と、探索領域設定手段３５とを有するよう構成されている。

オブジェクト候補画像生成手段３１は、入力されるカメラやＶＴＲ等の映像から、その映像を構成するフィールド画像毎に探索領域を切り出し、追跡対象となる映像オブジェクト（投球の画像）の候補を抽出したオブジェクト候補画像を生成するものである。このオブジェクト候補画像生成手段３１は、画像記憶部３１１，３１２と、差分画像生成部３１３，３１４と、候補画像生成部３１５とを有するよう構成されている。

なお、映像は、例えば１秒間に６０枚のフィールド画像から構成されている。そこで、オブジェクト候補画像生成手段３１は、このフィールド画像の中から映像オブジェクトの候補を抽出し、２値化することで、その映像オブジェクトの候補だけからなる画像（オブジェクト候補画像）を生成する。このオブジェクト候補画像は、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像である。

例えば、オブジェクト候補画像は、動きを伴った映像オブジェクト等、追跡対象となる映像オブジェクトを大まかに抽出した画像である。

画像記憶部３１１，３１２は、各種の信号／画像処理をするためのメモリであり、例えば、映像信号を１フィールド単位でデジタルデータとして記録するものである。画像記憶部３１１は、連続する３枚の入力されたフィールド画像のうち、中間の位置（現在）のフィールド画像（奇数フォールド及び偶数フィールド）を記憶する。ここで、記憶される現在のフィールド画像は、画像記憶部３１２、差分画像生成部３１３，３１４及びボール選択手段３２に出力される。

画像記憶部３１２は、連続する３枚のフィールド画像のうち、最初の位置（過去）のフィールド画像（奇数フィールド及び偶数フィールド）を記憶する。ここで、記憶される過去のフィールド画像は、差分画像生成部３１４に出力される。

差分画像生成部３１３は、画像記憶部３１１からの遅延させたフィールド画像（現在のフィールド画像）の輝度から、新たに入力したフィールド画像（未来のフィールド画像の輝度を差し引くことにより、差分画像１を生成する。

なお、ここでは、差分画像生成部３１３は、探索領域設定手段３５から入力さえる探索領域についての差分画像１を生成することとした。ここで、生成された差分画像１は、候補画像生成部３１５に出力される。

差分画像生成部３１４は、画像記憶部３１２からの遅延させたフィールド画像（過去のフィールド画像）の輝度から、画像記憶部３１１からの現在のフィールド画像の輝度を差し引くことによって差分画像２を生成する。

なお、ここでは、差分画像生成部３１４は、後述する探索領域設定手段３５から入力される探索領域についての差分画像２を生成することとする。ここで、生成された差分画像２は、候補画像生成部３１５に出力される。

候補画像生成部３１５は、探索領域の全が素に対して差分画像１及び差分画像２を、予め設定された輝度閾値と比較した、差分画像の画素値が予め設定された所定の条件を満たす場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”と判別することで２値化画像を生成するものである。

これにより、候補画像生成部３１５は、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで、生成された２値化画像は、映像オブジェクトの候補を抽出したオブジェクト候補画像としてボール選定手段３２に出力される。

ボール選定手段３２は、オブジェクト候補画像生成手段３１で生成されたオブジェクト候補画像の中から、抽出条件記憶手段２３に記憶されている抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここでは、ボール選定手段２２は、ラベリング部３２１と、特徴量解析部３２２と、フィルタ処理部３２３と、オブジェクト選択部３２４とを有するよう構成されている。

ラベリング部３２１は、オブジェクト候補画像生成手段３１で生成されたオブジェクト候補画像（２値化画像）の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。即ち、ラベリング部３２１は、映像オブジェクドの領域である”１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされる。ここで、ラベリングされたオブジェクト候補画像は、特徴量解析部３２２に出力される。

特徴量解析部３２２は、ラベリング部３２１で番号付けされた映像オブジェクトの候補毎に、映像オブジェクトの候補の位置座標や、映像オブジェクトの面積、輝度、色及び円形度等の特徴量（パラメータ）の値を算出するものである。ここで、算出された位置座標及び特徴量は、フィルタ処理部３２３に出力される。

位置は、例えば映像オブジェクトの重心位置を示す。面積は、例えば映像オブジェクトの画素数を示す。また、輝度は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、色は、映像オブジェクトにおける各画素のＲＧＢ値の平均値を示す。また、円形度は、映像オブジユクトの円形の度合いを示すものであって、円形に近い程大きな値を有する。

例えば、映像オブジェクトがボールのような円形の形状を有する場合には、円形度は１に近い値になる。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、
以下の（１）式で表される。
ｅ＝４πＳ／Ｌ^２ ・・・（１）
フィルタ処理部３２３は、特徴量解析部３２２が算出したパラメータの値を用いて、抽出条件記憶手段３３に記憶されている抽出条件情報に合致する映像オブジェクトか否かを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。即ち、このフィルタ処理部３２３は、映像オブジェクトの候補毎に抽出条件記憶手段３３に記憶されている抽出条件（例えば、面積、輝度、色及び円形度）や、後述する位置予測手段３４による予測位置に基づいて、特徴量解析部３２２で解析された特徴量をフィルタ（位置フィルタ、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）にかけることで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトの候補として選択する。

なお、画像記憶部３１１に記憶された現在のフィールド画像（奇数フィールド及び偶数フィールド）はボール選定手段３２に出力されており、フィルタ処理部３２３は、入力されたフィールド画像を１フレーム（２フィールド）分遅らせた画像を参照画像としてフィルタ処理を行う。

オブジェクト選択部３２４は、全てのフィルタを通過した映像オブジェクトの中で、一直前のフレーム画像から抽出された映像オブジェクトの位置座標に最も近い映像オブジェクトの候補をボールとして選択するものである。ここで、抽出した映像オブジェクトの位置はく現在の映像オブジェクトの位置情報として、抽出条件記憶手段２３に記憶されると共に、作画・画像合成手段２３に出力される。ここで、映像オブジェクトの位置には、映像オブジェクトの重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。

なお、オブジェクト選択部３２４は、抽出条件に適合した映像オブジェクトを選択できなかった場合は、その旨（抽出失敗）を作画・画像合成手段２３に出力する。

抽出条件記憶手段３３は、抽出（追跡）対象となる映像オブジェタトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶手段である。この抽出条件記憶手段３３は、種々の抽出条件を示す抽出条件情報と、映像オブジェクトの位置を示す位置情報とを記憶している。

抽出条件情報は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。

この抽出条件情報は、ボール選定手段３２のフィルタ処理部３２３が、オブジェクト候補画像生成手段３１で生成されたオブジェクト候補画像から抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。

なお、抽出条件情報には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として予め定めた初期値と、その許容範囲を示す闘値とを記憶しておく。これによって、ボール選定手段３２の各クィルタは、闘値外の値（特徴）を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

抽出条件記憶手段３３に記憶される位置情報は、追跡している映像オブジェクトの位置を示す情報である。この位置情報は、例えば、映像オブジェクトの重心座標とする。この重心座標は、ボール選定手段３２の特徴量解析部３２２によって算出される。なお、この位置情報は、後述する作画・画像合成手段２３が抽出に失敗した投球の位置を補間する際に参照されると共に、フィルタ処理部３２３によるフィルタ処理において抽出条件情報に合致する映像オブジェクトが複数存在ずる場合に、オブジェクト選択部３２４によって、位置情報で示した座標に最も近い映像オブジェクトを、抽出すべき映像オブジェクトとして決定するための抽出条件としても利用される。

位置予測手段３４は、ボール選定手段３２で選定された映像オブジェクトの位置（重心座標等）に基づいて、次に入力されるフィールド画像における映像オブジエグトの位置を予測し、予測された位置情報を探索領域設定手段３５に出力するものである。位置予測手段３４は、線形予測部３４１と、曲線予測部３４２と、切替部３４３とを有するよう構成されている。

線形予測部３４１は、所定数の連続したフィールド画像から抽出された映像オブジェクトの軌跡が直線になると仮定し、ボール選定手段３２のオブジェクト選択部３２４によって求められた位置情報に基づいて、動きベクトルを利用して、次に入力されるフィールド画像内の映像オブジェクトの位置を予測するものである。ここで、予測された位置情報は、切替部３４３の切り替えに応じて、探索領域設定手段３５に出力される。

この線形予測部３４１は、例えば重心座標にカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を適用することで、次フィールド画像（次フレーム）における映像オブジェクトの位置を予測ずる。カルマンフィルタは、時系列に観測される観測量に基づいて現在の状態を推定する「濾波」と、未来の状態を推定する「予測」とを行う漸化式を適用することで、時々刻々と変化ずる状態を推定するものである。

曲線予測部３４２は、所定数の連続したフィールド画像から抽出された映像オブジェクトの軌跡が最小自乗法で求めた２次曲線になると仮定し、ボール選定手段３２のオブジェクト選択部３２４によって求められた位置情報に基づいて、次に入力されるフィールド画像内の映像オブジエクトの位置を予測するものである。ここで、予測された位置情報は、切替部３４３の切り替えに応じて、探索領域設定手段３５に出力される。

この曲線予測部２４２は、ボール選定手段３２のオブジェクト選択部３２４から映像オブジェクトの位置情報が入力される度に、２曲線予測に利用する２次曲線（ｙ＝ａｘ^２＋ｂＸ＋ｃ）を更新すると共に、２次曲線の係数ａ、ｂを監視しており、係数ａ、ｂの符号が変化したか否か、及び、係数ａ、ｂの値が所定値を超えたか否かを判別し、判別結果を切替部３４３に出力する。

切替部３４３は、過去に抽出された映像オブジェクトの位置座標の数、又は、２次曲線の方程式に基づいて、線形予測部３４１による線形予測の位置情報と、曲線予測部３４２による曲線予測の位置情報との探索領域設定手段３５への出力を切り替えるものである。

ここで、切替部３４３は、例えば、映像オブジェクトの過去に抽出された位置座標が所定数以上である場合には曲線予測を選択し、この所定数より少ない場合には線形予測を選択する。この所定数は、例えば３個であり、曲線予測部３４２において特に正確な曲線を求めて予測する場合には５個以上が好適である。また、曲線予測部３４２が曲線予測を実行しているときに、２次曲線の方程式（ｙ＝ａｘ^２＋ｂｘ＋ｃ）の係数ａ、ｂの符号が変化した場合や、係数ａ、ｂの値が所定値を超えた場合には、切替部３４３は曲線予測から線形予測に切り替える。

探索領域設定手段３５は、位置予測手段３４によって予測された次フィールド（次フレーム）での映像オブジェクトの位置情報を利用して、フィールド画像中に所定範囲の映像オブジェクトの探索領域を設定するものである。この探索領域設定手段３５は、設定された探索領域の位置及び大きさを、探索領域情報としてオブジェクト候補画像生成手段３１へ出力する。（ここでは、探索領域の範囲の大きさと、映像オブジェクトが抽出される前の探索領域の位置の情報とが、探索領域の初期値として、例えば、図示していないマウスやキーボード等の入力手段等によって、探索領域設定手段３５に入力されることとした。

探索領域設定手段３５は、位置予測手段３４から予測された位置情報が入力されない場合には、初期値によって示される探索領域をオブジェクト候補画像生成手段３１に通知し、位置予測手段３４から位置情報が入力された場合には、この位置情報と、初期値によって示される探索領域の範囲の大きさの情報とに基づいて新たな探索領域を設定して、オブジェクト候補画像生成手段３１に通知する。

次に、映像遅延手段２２は、入力された映像に対して、上述した映像オブジェクト抽出装置２１における各処理が終了するまで、所定時間映像を遅延させる。また、映像遅延手段２２は、遅延させた映像を作画・画像合成部２３に出力する。

作画・画像合成手段２３は、具体的には作画部２３１と、画像合成部２３２とを有するよう構成されている。ここで、生成される軌跡データは、全フレームでボール位置が得られるとは限らず、左打者や広告領域等、ボールと、輝度・色が近い背景をボールが通過する際は、抽出に失敗する場合がある。

そのため、作画部２３１は、オブジェクト選択部３２４からの抽出失敗の通知に応じて、抽出条件記憶手段２３に記憶された過去のフィールド画像の映像オブジェクトの位置情報に基づいて、抽出に失敗したフィールド画像の映像オブジェクトの位置情報を内挿補間によって作画したり、予測に基づく再補足機能により作画する。

これにより、抽出失敗後も予測を継続することができ、抽出困難な背景通過後に再補足することが可能である。更に、抽出に失敗した区間のボール位置は内挿補間されるため、途中の抽出結果に関わらず、欠落のない軌跡データを取得できる。

また、画像合成部２３２は、オブジェクト選択部３２４からの映像オブジエクトの位置情報と、作画部２３１で求められた映像オブジエクトの位置情報とにより、映像に映像オブジェクトとして抽出された投球の軌跡を示す情報（軌跡データ）を合成して、合成映像を出力する。

ここで、例えば野球の左打者に対する投球の映像において、打者の領域をボールが通過した際のフィールド画像においては、抽出されない可能性があるが、この作画・画像合成部２３によって、投手の投球の位置情報の欠損のない軌跡データを生成することができる。

上述の処理により、投球軌跡生成装置１１は、入力されるフィールド画像から投球の映像オブジェクトを抽出してその位置座標を軌跡データとして出力することができる。この投球軌跡生成装置１１は、入力されるフィールド画像から投球の位置をリアルタイムで抽出することが可能である。更に、投球軌跡生成装置１１は、例えば投手の手から離れた球が捕手のミットまで（或いは打者のバットに当たるまで）の投球の位置（画像座標）を取得することができる。

なお、軌跡データは、１つの投球の映像オブジェクトの時系列の位置座標のデータであり、例えば、フィールド画像内の投球の映像オブジェクトの位置情報を、横軸及び縦軸方向の２次元座標とし、この２次元座標を時系列に並べたものとしてもよい。つまり、投手が捕手に対して投球する場合に、球を話してから捕手のミットに入るまでの軌跡データを、例えば、球が捕手のミットに入った場合は、打者のバットに当たったときの画像に合成することで、球の軌跡データを有する合成映像を取得することができる。

ここで、図４は、投球軌跡作画装置により生成された軌跡データの一例を示す図である。図４（ａ）に示す軌跡データは、投球軌跡作画装置１１により生成された画像の合成データであり、画像４０には、球の軌跡データ４１が合成されている。

また、図４（ｂ）に示すように軌跡データは、球種に応じて異なる軌道を描くことになる。したがって、本実施形態では、この軌跡データに対して軌跡特徴量を抽出する。なお、例えば、図４（ｂ）において、ストレートとシュート等の同系に属する球種は軌道も似通っており、主観的に識別しきい値を設定することが難しい。そこで、本実施形態では、学習アルゴリズムを用いた識別器等により特徴量を抽出する。

＜軌跡特徴量抽出手段１２について＞
軌跡特徴量抽出手段１２は、上述した投球軌跡作画装置１１により生成された軌跡データに対して軌跡特徴量を抽出する。

具体的には、投球間のカメラ操作により撮影方向が若干変化するため、撮影方向の影響を受けない以下の３２次元の特 徴量を用いた。
・軌跡の傾き（１次微係数）：全体、前半部、中間部、後半部
・軌跡の曲率（２次微係数）：全体、前半部、中間部、後半部
・フレーム間の動きベクトル（水平、垂直）：前半部、中間部、後半部（各４フレーム分）
これらの特徴量を集団学習アルゴリズムで学習し、球種識別器を作成する。実これにより、Ｔｙｐｅデータ３分類で高い識別精度が得られる。なお、Ｋｉｎｄデータ９分類の識別は、低い精度に留まった。投球数の少ない球種はより投球数の多い同系球種に誤判定される場合が多い。そのため、個別球種の再現率を向上させる必要がある。そこで、球種判定担当者の意見を参考に軌跡データ以外から得られる特徴量を検討する。

＜映像正規化手段１３及び動作特徴量抽出手段１４について＞
本実施形態では、上述した以外の特徴量を算出するために、捕手動作から特徴量を抽出する。具体的に説明すると、通常、捕手は、投球前にサインを出してボールのコースや球種を決定し、狙うべきコースへミットを構える。そこで、本実施形態では、この捕手の動作を分析することで球種をある程度絞り込む。

例えば、低めに構えた場合フォークの可能性が高く、投手から見て左に構えた場合はシュートの可能性が低い。そこで、捕手領域の特徴点を追跡し、その動きを特徴量に加えることとする。

ここで、本実施形態では、特徴点の追跡の一例として、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いる。ＳＩＦＴは、対象領域の拡大・縮小，回転及び照明変化に対する頑健性を備えており、カメラ操作や輝度調整が生じる本件に適した特徴点探索法である。

捕手動作を計測する上で投手や打者の動きは障害となる。そこでまず捕手の動作範囲（以下、「捕手領域」という）を画像中から切り出す（捕手領域の切り出し）。
ただし、投球の合間にカメラ操作が行われるため、捕手領域の位置，サイズは投球の度に若干変化する。そこで、映像正規化手段１３は、広告領域内の特徴点を参照し捕手領域を投球毎に自動更新（正規化）する。

＜映像正規化手段１３の機能構成例＞
次に、映像正規化手段１３の機能構成例について図を用いて説明する。図５は、映像正規化手段の機能構成の一例を示す図である。図５に示す映像正規化手段１３は、背景特徴点探索部５１と、背景特徴点記憶部５２と、対応点探索部５３と、変換行列算出部５４と、座標変換部５５と、テンプレート領域記憶部５６とを有するよう構成されている。

まず、背景特徴点探索部５１は、入力されるカメラ又はＶＴＲの映像信号から捕手の位置を把握するために基本映像のぶれを補正する基準となる背景特徴点を探索する。具体的には、背景特徴点探索部５１は、例えば、映像中にある広告の文字等が存在する位置を画像中の輝度や色度の変化により探索する。なお、広告以外の背景特徴点を用いてもよく、例えば、フェンスの網の部分と柱の部分とを基準に基準点を算出してもよい。

また、背景特徴点探索部５１は、背景特徴領域と捕手領域を選択する。ここで、図６は、背景特徴領域及び捕手領域を選択する一例を示す図である。背景特徴点探索部５１は、例えば、予め蓄積しておいた投球シーンのテンプレート画像６０等を用いて、背景特徴領域６１と、捕手領域６２の座標Ｐ_１＝（ｘ_Ｐ１，ｙ_Ｐ１），Ｐ_２＝（ｘ_Ｐ２，ｙ_Ｐ２）を設定する。

更に、背景特徴点探索部５１は、背景特徴領域６１の位置情報を背景特徴点記憶部５２に出力して保存しておく。

対応点探索部５３は、各投球シーンにて背景特徴領域６１としての広告領域内におけるＳＩＦＴ特徴量を求め、テンプレート画像中の特徴点との対応点を求める。ここで、対応探索部５３により、現フレーム画像からＭ個の特徴点が抽出され、テンプレート画像からＮ個の特徴点が抽出されたとすると、２枚の画像の特徴点は以下に示す（２）、（３）式に示すようになる。

また、対応点探索部５３は、現フレーム画像中の特徴点（ｍ番目）と、テンプレート画像中の特徴量とのユークリッド距離が最も小さくなる特徴点ｎ’を以下に示す（４）式により求め、その点を対応点とする。

ここで、図７は、広告領域における対応点の一例を示す図である。図７に示すように、画像７０から広告領域７１から設定される文字のエッジ等の特徴点を対応点とする。また、対応点探索部５３は、得られた対応点を変換行列算出部５４に出力する。

変換行列算出部５４は、対応点の位置関係から予め設定された拡大・縮小，平行移動に関するアフィン行列Ａを算出する。なお、変換行列算出部５４により酸算出される行列Ａは、例えば、以下に示す（５）式のように表すことができる。

なお、上述した（５）式の行列Ａにおけるａ、ｄは、拡大・縮小の割合（スケール変換）を示している。具体的には、ａによりｘ軸方向のスケール変換を行い、ｄによりｙ軸方向のスケール変換を行う。これにより、カメラのズーム操作に対応することができる。また、行列Ａにおけるｔｘ，ｔｙは、平行移動量を示している。具体的には、ｔｘがｘ軸方向の移動量を示し、ｔｙがｙ軸方向の移動量を示しています。このように、平行移動の変数を用いることで、カメラのパン、チルト操作に対応することができる。

また、変換行列算出部５４は、求めた行列Ａを座標変換部５５に出力する。座標変換部５５は、変換行列算出部５４から得られる行列Ａを用いてベクトルｐ_１＝（ｘ_Ｐ１，ｙ_Ｐ１，１），Ｐ_２＝（ｘ_Ｐ２，ｙ_Ｐ２，１）を座標変換する。また、座標変換部５５は、テンプレート領域記憶部５６に記憶された座標変換のテンプレートを用いて、現投球シーンにおける捕手領域Ｐ_１’，Ｐ_２’を定め、その正規化された映像を出力する。

＜動作特徴量抽出手段１４の機能構成例＞
次に、動作特徴量抽出手段１４における機能構成例について図を用いて説明する。なお、動作特徴抽出手段１４は、上述した捕手の動きから動作特徴量を抽出する。また、本実施形態では、動作特徴量の一例としてＳＩＦＴ特徴量を抽出する。

ここで、図８は、ＳＩＦＴ特徴量の概念の一例を示す図である。ＳＩＦＴは、特徴の抽出に適した点（キーポイント）の検出と、各キーポイントにおけるオリエンテーションの割り当ておよび特徴量記述の２段階からなる。

図８（ａ）において、画像８０中に各キーポイントにおいて、オリエンテーションとスケールを基準とした４×４のブロック８１を配置し、各ブロック内で８方向の勾配ヒストグラムを作成する。これにより、計１２８次元の勾配ヒストグラムが特徴量として作成される。更に、その特徴量の総和を抽出から矢印８２に示すような特徴量を抽出する。ここで、矢印８２は、始点がキーポイントの位置を示し、向きが主方向を示し、長さがスケールを示している。なお、このＳＩＦＴ特徴量は、スケールとオリエンテーションを考慮しているため、対象領域の拡大・縮小や回転にも頑健である。

また、図８（ｂ）には、ＳＩＦＴ特徴量を図示した例を示している。なお、図８（ｂ）の画像８３中に示す各矢印は、上述したように始点がキーポイントの位置、向きが主方向、長さがスケールをそれぞれ示している。

動作特徴量抽出手段１４は、最終的に図８（ｂ）に示す特徴量等を用いて捕手の軌跡の特徴量を算出する。ここで、図９は、動作特徴量抽出手段の機能構成の一例を示す図である。図９に示す動作特徴量抽出手段１４は、特徴点探索部９１と、特徴点記憶部９２と、対応点探索部９３と、動きベクトル算出部９４とを有するよう構成されている。

動作特徴量抽出手段１４は、映像正規化手段１３から正規化映像を入力すると、
捕手領域内の特徴点を追跡し，捕手の動きを計測するために、特徴点探索部９１は、映像中のある時刻ｔ及びｔ−１において予め設定されている捕手領域内におけるＳＩＦＴ特徴量を探索する。特徴点探索部９１は、取得したＳＩＦＴ特徴量を特徴点記憶部９２及び対応点探索部９３に出力する。したがって、特徴点記憶部９２は、映像中のある時刻ｔ及びｔ−１におけるＳＩＦＴ特徴量が蓄積される。

対応点探索部９３は、映像中のある時刻ｔ及びｔ−１における捕手の動作に関するＳＩＦＴ特徴量から２つの特徴量の対応点（ｐ_ｔ ^ｉ，ｐ_ｔ−１ ^ｉ）を求める。また、対応点探索部９３は、求めた対応点を動きベクトル算出部９４に出力する。

動きベクトル算出部１４は、以下に示す（６）式にしたがって、各対応点の動きベクトルの平均を求め、時刻ｔにおける捕手領域内の平均動きベクトルｖ_ｔを求める。最後に静止状態（時刻ｔ＝０）からミットを構えるまで（時刻ｔ＝ｍ）の動きベクトルの総和を求め、捕手動作を表す動きベクトルｖとする。

ここで図１０は、フレーム毎の動きベクトルの推移の一例を示す図である。図１０に示すように、画像１００には、捕手の動きベクトル１０１の推移が示されている。これらの動きベクトルは、投手が投球モーションに入ってから捕手のミットに球がキャッチされるまでの間で所定の時刻ｔとｔ−１と複数回行うことで取得される。なお、回数については、１秒間におけるフレーム数等により任意に設定することができる。

＜テロップ特徴量抽出手段１５の機能構成例＞
次に、本実施形態では、球種を識別する第３の特徴量として球速値を用いる。例えば、プロ野球の放送映像には、例えば、図４（ａ）に示すようにスピードガンで計測した球速テロップ（図４（ａ）では、「１３１ｋｍ／ｈ」）が即座に画面に所定時間表示される。この速度は、球種によって変化するため，球速値は、球種識別に有効である。そこで、本実施形態では、画像中の文字を認識し特徴量に追加する。

ここで、図１１は、テロップ特徴量抽出手段の機能構成の一例を示す図である。図１１に示すテロップ特徴量抽出手段１５は、テロップ探索部１１１と、文字認識部１１２とを有するよう構成されている。

テロップ探索部１１１は、カメラ又はＶＴＲ等の映像信号から画像中に含まれるテロップ領域を探索する。具体的には、例えば、一般にテロップ領域には、「強いエッジを有する」、「輝度が高い」、「色が均一」、「一定時間表示される」、「画像座標上の位置が不変」、「文字列が縦または横方向に並ぶ」等の特徴があるため、これらの特徴に基づいて映像内からテロップ領域を切り出す。

ここで、図１２は、テロップ探索部におけるテロップ領域抽出の流れの一例を示す図である。また、図１３は、テロップ領域抽出過程における画像の一例を示す図である。

図１２に示すように、まず現フレーム（時刻ｔ）の画像Ｉ_ｔからｍフレーム前までの画像Ｉ_ｔ−ｍのそれぞれについて、エッジ抽出を行い、エッジ画像Ｅ_ｔ〜Ｅ_ｔ−ｍを作成する。なお、エッジ抽出処理には、例えばＰｒｅｗｉｔｔオペレータ等を用いることができるが、他の手法でもよく特に限定されるものではない。ここで、作成されるエッジ画像１２０の一例を図１３（ａ）に示す。なお、図１３（ａ）に示すエッジ画像１２０では、画像中央の下部に球速テロップ１２１が表示されている。

次に、図１２に示すように、エッジ画像Ｅ_ｔ〜Ｅ_ｔ−ｍのうち隣り合う２枚のエッジ画像を用いて、その差分が小さく，且つ強いエッジを有する画素を真，その他
を偽と２値化した画像Ｓ_ｔ〜Ｓ_{ｔ−（ｍ−１）}を作成する。更に、画像Ｓ_ｔ〜Ｓ_{ｔ−（ｍ−１）}間で連続して真値を持つ画素を注目画素とする。縦方向及び横方向に注目画素をカウントし、両方向でカウント数が閾値を超えた画素をテロップ画素Ｔ_ｔとし、それらを包含する矩形領域をテロップ領域とする。ここで、図１３（ｂ）には、テロップ領域の検出状況を示している。図１３（ｂ）に示す画像１２２では、水平，垂直のそれぞれのライン１２３−１，１２３−２が交差している部分がテロップ画素となる。

テロップ探索部１１１は、上述した処理により得られたテロップ領域を文字認識部１１２に出力する。文字認識部１１２は、テロップ探索部１１１により得られたテロップ領域を予め設定された輝度閾値等により２値化し、２値化されたテロップ領域をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等の既存のソフトウェア等により画像内の文字、数値が認識してテロップ情報として球速値が得られる。

＜識別手段１６の機能構成例＞
次に、識別手段１６における機能構成例について説明する。識別手段１６では、軌道特徴量抽出手段１２により得られる球（オブジェクト）の軌道特徴量、動作特徴量抽出手段１４により得られる動きベクトル、テロップ特徴量抽出手段により得られる球速値に基づいて図１に示すような予め設定される球種のうち、特定の球種を選択する。

ここで、球種を識別するための手法としては、例えば教師付き集団学習アルゴリズムであるＲａｎｄｏｍ Ｆｏｒｅｓｔを用いた（例えば、Ｌｅｏ Ｂｒｅｉｍａｎ，“Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ”，Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，４５，ｐｐ．５−３２（２００１）等参照。）。Ｒａｎｄｏｍ Ｆｏｒｅｓｔは、高精度，高速，特徴量の重要度を算出可能，学習データのノイズに頑健等の特徴を有している。特に、軌跡データには誤抽出によってノイズが混入する恐れがあるため、本実施形態に適した学習手法である。ここで、図１４は、Ｒａｎｄｏｍ Ｆｏｒｅｓｔによる学習・識別の流れの一例を示す図である。

図１４に示すように、まず学習用正解付き特徴量データを含む母集団データ１３１から無作為復元抽出によるサブデータセット１３２を多数（１〜ｎ）作成する。続いて各サブデータセット１３２における決定木を作成する。ここで、分岐の各ノードで候補変数をランダムに選ぶことで、互いに異なる決定木が作成される。ここで、上述した３つの特徴量データを入力し、最終的に各決定木の判定を統合し、その多数決で球種を識別する。これにより、高精度に球種を識別することができる。

なお、識別手段１６においては、例えば、投手により球速、持ち球、変化球の曲がり具合等が異なり、また球場等の場所の違いによるカメラ位置によって軌道の形状が変化するため、これらを予め投手等の個人情報や球場等の位置情報等のパラメータを設定しておき、そのパラメータを含めて球種の識別を行うことで、より高精度に球種の識別を行うことができる。

また、識別手段１６により取得した球種情報は、例えばメタデータとして用いることで、映像シーン検索や投手のデータ分析等に活用することができる。

＜オブジェクト軌道識別装置１０のハードウェア構成例＞
ここで、上述したオブジェクト軌道識別装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。

したがって、オブジェクト軌道識別装置１０が備える各構成機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。

ここで、本発明におけるプログラムが実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図１５は、本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。

図１５におけるコンピュータ本体には、入力装置１４１と、出力装置１４２と、ドライブ装置１４３と、補助記憶装置１４４と、メモリ装置１４５と、各種制御を行うＣＰＵ１４６と、ネットワーク接続装置１４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置１４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。

出力装置１４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ１４６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体１４８等により提供される。プログラムを記録した記録媒体１４８は、ドライブ装置１４３にセット可能であり、記録媒体１４８に含まれる実行プログラムが、記録媒体１４８からドライブ装置１４３を介して補助記憶装置１４４にインストールされる。

補助記憶装置１４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置１４５は、ＣＰＵ１４６により補助記憶装置１４４から読み出された実行プログラム等を格納する。なお、メモリ装置１４５は、ＲＡＭやＲＯＭ等からなる。

ＣＰＵ１４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置１４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ１４６は、プログラムの実行中に必要な各種情報を補助記憶装置１４４から取得することができ、またＣＰＵ１４６は、処理結果等を格納することもできる。

ネットワーク接続装置１４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行したりすることで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的にオブジェクト軌道識別処理を実現することができる。また、プログラムをインストールすることにより、容易に本実施形態におけるオブジェクト軌道識別処理を取得することができる。

＜オブジェクト軌道識別処理手順例＞
次に、本発明における実行プログラムによる処理手順例についてフローチャートを用いて説明する。なお、以下の処理の説明では、オブジェクトの軌道識別の一例として野球中継における投手が打者に投げた球の球種を識別する例を用いるが本発明におけるオブジェクトの種類については特に限定されるものではない。

図１６は、本実施形態におけるオブジェクト軌道識別処理手順の一例を示すフローチャートである。図１６において、カメラ又はＶＴＲ等から得られる野球中継の映像信号から投手の投球映像を入力する（Ｓ０１）。

次に、捕手の動作を正確に取得するため、Ｓ０１により得られる入力映像の正規化を行う（Ｓ０２）。また、Ｓ０２の処理により得られる正規化映像から捕手動作による動作ベクトルを抽出する（Ｓ０３）。

次に、Ｓ０１の処理により入力した映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、投手が打者に対して投げた球の軌跡データを抽出する（Ｓ０４）。また、Ｓ０４の処理により得られる球の軌跡データから、上述したように球の軌道特徴量を抽出する（Ｓ０５）。

次に、入力映像からテロップ領域を抽出し（Ｓ０６）、テロップ領域を文字認識して球速値を抽出する（Ｓ０７）。

ここで、Ｓ０３、Ｓ０５、及びＳ０７の処理によりそれぞれ得られる捕手の動きベクトル、球の軌道特徴量、及び球速値に基づいて球種を識別する（Ｓ０８）。なお、Ｓ０８にて識別された球種は、画面上に所定時間表示する等の処理を行うことができる。

なお、Ｓ０８の処理において、識別を終了するか否かを判断し（Ｓ０９）、他の投球に対する球種の識別を継続する場合（Ｓ０９において、ＮＯ）、Ｓ０１に戻り、他の投球映像を入力して後続の処理を行う。また、球種の識別を行わない場合（Ｓ０９において、ＮＯ）、処理を終了する。なお、上述したＳ０２〜Ｓ０３の処理と、Ｓ０４〜Ｓ０５の処理と、Ｓ０６〜Ｓ０７の処理とは、順序を任意に入れ替えて処理されてもよい。

上述したオブジェクト軌道識別処理により、球種の識別を高精度に行うことができる。

＜有効性の検討＞
ここで、本発明手法の有効性を検討する。既に記録されたプロ野球中継の５試合分の試合映像から、４４７球分の投球シーンを用いて本手法の有効性を検討を行った。

なお、投手により球速、持ち球、変化球の曲がり具合等が異なるため、持ち球が多く、球種の割合が比較的均一なピッチャー１人を選定した。なお、対象投手の持ち球は、ストレート，シュート，カーブ，スライダー，カットボール，フォークの６種類とする。また、カメラ位置によって軌道の形状が変化するため、全て同じ球場での映像を用いる。

更に、１シーンあたりの特徴量は、特徴量３２次元に捕手動作ベクトル（水平，垂直）、球速値を加えた３５次元とした。また、全データの２／３を学習データとし、残りの１／３をテストデータとしたクロスバリデーションを５度行い、作成した識別器（識別手段）を評価した。

ここで、図１７は、特徴量評価結果の一例を示す図である。なお、図１７（ａ）は、従来手法（軌跡データのみの情報を用いて球種を判定）を用いた結果を示し、図１７（ｂ）は、本手法を用いた結果を示している。

図１７に示すように、本手法は従来手法に比べて正答率が約７．５％程度向上することがわかる。また、本手法では、全ての球種においてＦ値が５０％を超えている。つまり、特に従来手法では投球数の少ないスライダーやシュート等の適合率が低かったが、本手法を用いることで大きく改善されることがわかる。これにより、特徴量の有効性を示すことができる。

なお、識別手段におけるＲａｎｄｏｍ Ｆｏｒｅｓｔによる決定木作成の分岐指標は、一例としてｇｉｎｉ係数を用いたが、分岐によるｇｉｎｉ係数の減少量で各特徴量の重要度を評価することができる。

図１８は、特徴量の重要度の一例を示す図である。図１８に示すように、今回用いた特徴量では、球速値、軌道全体の曲率，軌道後半の傾きの順に高い結果を得ることができる。なお、捕手動作の重要度は突出した値ではないが、捕手動作を計測できないシーンが多数存在したことが一因と考えられる。また、放送映像では、他カメラからセンターカメラ映像へ切り替わるタイミングが捕手動作後になる場合があり、この場合には捕手動作特徴量が得られない。ただし、目立った重要度ではないが個々の球種識別率向上に貢献している。

上述したように本発明によれば、高精度にオブジェクトの軌道を識別することができる。具体的には、野球中継の放送映像を用いた球種の識別手法において、球の軌跡データから得られる特徴量だけでなく、ＳＩＦＴ特徴量の追跡による捕手動作及び球速値を特徴量に追加することで、球種間で高い識別精度を得ることができる。

なお、本発明は、上述した野球中継に適用されるだけでなく、例えば、ソフトボールやサッカー、ゴルフ等の球技全般に適用することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本実施形態において識別する球種の一例を示す図である。 本実施形態におけるオブジェクト軌道識別装置の概要構成の一例を示す図である。 投球軌跡作画装置の機能構成の一例を示す図である。 投球軌跡作画装置により生成された軌跡データの一例を示す図である。 映像正規化手段の機能構成の一例を示す図である。 背景特徴領域及び捕手領域を選択する一例を示す図である。 広告領域における対応点の一例を示す図である。 ＳＩＦＴ特徴量の概念の一例を示す図である。 動作特徴量抽出手段の機能構成の一例を示す図である。 フレーム毎の動きベクトルの推移の一例を示す図である。 テロップ特徴量抽出手段の機能構成の一例を示す図である。 テロップ探索部におけるテロップ領域抽出の流れの一例を示す図である。 テロップ領域抽出過程における画像の一例を示す図である。 Ｒａｎｄｏｍ Ｆｏｒｅｓｔによる学習・識別の流れの一例を示す図である。 本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態におけるオブジェクト軌道識別処理手順の一例を示すフローチャートである。 特徴量評価結果の一例を示す図である。 特徴量の重要度の一例を示す図である。

符号の説明

１０ オブジェクト軌道識別装置
１１ 投球軌跡生成蔵置
１２ 軌跡特徴量抽出手段
１３ 映像正規化手段
１４ 動作特徴量抽出手段
１５ テロップ特徴量抽出手段
１６ 識別手段
２１ 映像オブジェクト抽出装置
２２ 映像遅延手段
２３ 作画・画像合成手段
３１ オブジェクト候補画像生成手段
３２ ボール選定手段
３３ 抽出条件記憶手段
３４ 位置予測手段
３５ 探索領域設定手段
４０，７０，８０，８３，１００，１２２ 画像
４１ 球の軌跡データ
５１ 背景特徴点探索部
５２ 背景特徴点記憶部
５３ 対応点探索部
５４ 変換行列算出部
５５ 座標変換部
５６ テンプレート領域記憶部
６０ テンプレート画像
６１ 背景特徴領域
６２ 捕手領域
７１ 広告領域
８１ ブロック
８２ 矢印
９１ 特徴点探索部
９２ 特徴点記憶部
９３ 対応点探索部
９４ 動きベクトル算出部
１０１ 動きベクトル
１１１ テロップ探索部
１１２ 文字認識部
１２０ エッジ画像
１２１ 球速テロップ
１２３ ライン
１３１ 母集団データ
１３２ サブデータセット
１４１ 入力装置
１４２ 出力装置
１４３ ドライブ装置
１４４ 補助記憶装置
１４５ メモリ装置
１４６ ＣＰＵ
１４７ ネットワーク接続装置
１４８ 記録媒体
２３１ 作画部
２３２ 画像合成部
３１１，３１２ 画像記憶部
３１３，３１４ 差分画像生成部
３１５ 候補画像生成部
３２１ ラベリング部
３２２ 特徴量解析部
３２３ フィルタ処理部
３２４ オブジェクト選択部
３４１ 線形予測部
３４２ 曲線予測部
３４３ 切替部

Claims (7)

1. 入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別装置において、
   前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段と、
   前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段と、
   前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段と、
   前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別手段とを有することを特徴とするオブジェクト軌道識別装置。
2. 前記映像中に含まれる背景領域を参照して、撮影方向・画角を補正する映像正規化手段を有し、
   前記動作特徴量抽出手段は、前記映像正規化手段により得られる正規化された映像から前記第２のオブジェクトを抽出することを特徴とする請求項１に記載のオブジェクト軌道識別装置。
3. 前記第１のオブジェクトは、投手が投げる球であり、前記第２のオブジェクトは、捕手であることを特徴とする請求項１又は２に記載のオブジェクト軌道識別装置。
4. 前記動作特徴量抽出手段は、
   予め設定される映像内の特定の選手又はオブジェクトを追跡して動きベクトルを計測することを特徴とする請求項１乃至３の何れか１項に記載のオブジェクト軌道識別装置。
5. 前記文字特徴量抽出手段は、
   映像内からテロップ領域を抽出し、前記テロップ領域に含まれる文字情報を認識して球速情報を取得することを特徴とする請求項１乃至４の何れか１項の記載のオブジェクト軌道識別装置。
6. 入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別方法において、
   前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出ステップと、
   前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出ステップと、
   前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出ステップと、
   前記軌道特徴量抽出ステップ、前記動作特徴量抽出ステップ、及び前記文字特徴量抽出ステップとにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別ステップとを有することを特徴とするオブジェクト軌道識別方法。
7. 入力される映像中に含まれる時間と共に移動する第１のオブジェクトの軌道を識別するオブジェクト軌道識別プログラムにおいて、
   コンピュータを、
   前記映像を構成する時系列の画像内における第１のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段、
   前記第１のオブジェクトの軌跡に対応して移動する第２のオブジェクトを抽出して、抽出した第２のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段、
   前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段、及び、
   前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第１のオブジェクトの軌道を識別する識別手段として機能させるためのオブジェクト軌道識別プログラム。