JP2022049793A - 軌跡算出装置、軌跡算出方法、軌跡算出プログラム - Google Patents

Abstract

【課題】単眼カメラで撮像した動画像から目標とする動体の特定の点の位置を追跡して、その点の三次元位置の軌跡を得たい場合がある。しかしながら、従来技術では、追跡対象である特定の点が遮蔽された場合に精度高く追跡することが困難であった。【解決手段】本発明は、単眼カメラによる動画像から目標とする動体の特定の点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出するための装置、方法、プログラムを提供する。【選択図】図１

Description

本発明は、軌跡算出装置、軌跡算出方法、軌跡算出プログラムに関するものである。

従来から、動画像中の目標とする動体を追跡する技術は数多く提案されている。特許文献１に示されるような相互に同期をとった複数のカメラによる異なったアングルからの目標とする動体の追跡技術の他にも、特許文献２に示されるような単眼カメラによる動画像からの目標とする動体の追跡技術も提案されている。単眼カメラによれば、複数のカメラで同期をとる必要がなく撮像機材を簡便にできるなどの利点がある。

また、動体追跡技術においては、目標とする動体の一部が遮蔽された場合にも見失うことなく追跡を行うための技術が提案されている。特許文献３に記載の技術は、目標とする動体に追跡する特徴点を複数設定することで、目標とする動体の一部が遮蔽された場合にも遮蔽されていない特徴点を用いて見失うことなく追跡を行う技術である。特許文献４に記載の技術は、目標とする動体の動作を尤度モデルによって予測しながら、見失うことなく追跡を行う技術である。

なお、非特許文献１には、画像データからの２次元での人間の姿勢推定についての技術が開示されている。非特許文献１については、発明を実施するための形態の説明において触れる。

特開２００５－２３５１０４号公報 特許第６６９７１５０号公報 特開２００５－２５０９８９号公報 特開２００７－２７２４３６号公報

Ｚｈｅ Ｃａｏ Ｊｅ， ｅｔ ａｌ．，‘Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ’ ａｒＸｉｖ：１６１１．０８０５０ｖ２ ［ｃｓ．ＣＶ］ １４ Ａｐｒ ２０１７

ところで、動体の追跡において、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置を追跡して、その点の三次元位置の軌跡を得たい場合がある。例えば、単眼カメラによるフィギュアスケート競技の映像から、スケーターが装着したスケート靴のエッジがリンクの氷上に描く軌跡を算出する場合には、エッジとリンクの接点を追跡して、その点の三次元位置の軌跡を得る必要がある。

しかしながら、特許文献３や特許文献４に記載の技術では、目標とする動体の追跡を複数の点や領域でとらえており、追跡対象である特定の点（前述、フィギュアスケート競技の例では、エッジとリンクの接点）が遮蔽された場合に精度高く追跡することは困難である。

そこで、本発明は、例えば、フィギュアスケート競技においてスケーターが装着したスケート靴のエッジがリンクの氷上に描く軌跡を算出する場合のように、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出するための装置、方法、プログラムを提供することを目的とする。

本発明は、単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて特定点の軌跡を算出する軌跡算出装置であって、画像データから特定点を検出する検出部と、検出部が検出した特定点の三次元位置を算出する位置算出部と、位置算出部が算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、第１の特定点と第２の特定点の位置関係を算出して保持する位置関係算出部と、検出部が第１の特定点を検出できなかった場合に、位置算出部が算出した第２の特定点の三次元位置と、位置関係算出部が算出して保持する位置関係と、から第１の特定点の三次元位置を推定する位置推定部と、位置算出部が算出した第１の特定点の三次元位置と、位置推定部が推定した第１の特定点の三次元位置と、画像データが撮像された時刻と、から第１の特定点の軌跡を算出する軌跡算出部と、を備えることを特徴とする。

ここで、目標とする動体の特定点とは、撮像した画像データから目標とする動体について軌跡を算出するために特定する点をいう。例えば、後述する本発明の実施形態として説明するフィギュアスケート競技におけるスケーターが装着したスケート靴のエッジとリンクの接点などである。特定点については、本願書面において同様である。

ここで時刻とは、連続する時間の流れにおけるある一点をいい、ある時点や時間の区分を他の時点や時間の区分と区別するための情報である。時刻については、本願書面において同様である。

ここで、第１の特定点と第２の特定点の位置関係とは、第２の特定点の三次元位置から第１の特定点の三次元位置を推定するために用いる位置に基づく情報をいう。例えば、後述する本発明の実施形態として説明するフィギュアスケート競技では、第１の特定点をスケーターが装着したスケート靴のエッジとリンクの接点、第２の特定点をスケーターの頭頂の点としていることから、第１の特定点と第２の特定点の位置関係として氷面からスケーターの頭頂までの高さとしている。なお、第２の特定点の三次元位置から第１の特定点の三次元位置を推定することができればこれに限るものではない。また、第１の特定点と第２の特定点の位置関係については、本願書面において同様である。

本発明の一態様である軌跡算出装置は、位置算出部が算出した第１の特定点の三次元位置の時刻による変化が所与の条件に当てはまるかを判定し、所与の条件に当てはまる場合には、第１の特定点の三次元位置に基づく前記位置関係算出部による位置関係の算出及び軌跡算出部による第１の特定点の軌跡の算出を行わない指示を、所与の条件に当てはまらない場合には、第１の特定点の三次元位置に基づく位置関係算出部による位置関係の算出及び軌跡算出部による第１の特定点の軌跡の算出を行う指示をする判定部と、をさらに備えることを特徴とする。

ここで、所与の条件とは、撮像した画像データから目標とする動体の軌跡を算出するにあたって利用する第１の特定点と第２の特定点の位置関係の算出に相応しくない外れ値や異常値などを排除するために事前に与えられた条件をいう。本願書面において同様である。後述、本発明の実施形態においてフィギュアスケート競技を例にとって具体的に説明する。

本発明の一態様である軌跡算出装置は、位置算出部は、画像フレームに撮像された特定点の像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置とを結んだ直線を算出する存在直線算出部と、特定点が存在する可能性のある存在面を算出する存在面算出部と、を備え、存在直線算出部が算出した直線と、存在面と、が交わる点の三次元位置を、特定点の三次元位置として算出する、ことを特徴とする。

ここで、存在面とは、目標とする動体の特定点が存在する可能性のある三次元平面または曲面をいう。本願書面において同様である。後述する通り、画像フレームに撮像された目標とする動体の特定点の写像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置とを結んだ直線上に目標とする動体の特定点は位置することから、この直線と存在面の交点が目標とする動体の特定点であるとして三次元位置を算出する。詳細は、本発明の実施形態においてフィギュアスケート競技を例にとって具体的に説明する。

本発明は、単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて特定点の軌跡を算出する軌跡算出方法であって、画像データから特定点を検出する検出ステップと、検出ステップが検出した特定点の三次元位置を算出する位置算出ステップと、位置算出ステップが算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、第１の特定点と第２の特定点の位置関係を算出して保持する位置関係算出ステップと、検出ステップが第１の特定点を検出できなかった場合に、位置算出ステップが算出した第２の特定点の三次元位置と、位置関係算出ステップが算出して保持する位置関係と、から第１の特定点の三次元位置を推定する位置推定ステップと、位置算出ステップが算出した第１の特定点の三次元位置と、位置推定ステップが推定した第１の特定点の三次元位置と、画像データが撮像された時刻と、から前記第１の特定点の軌跡を算出する軌跡算出ステップと、を備えることを特徴とする。

本発明は、単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて特定点の軌跡をコンピュータに算出させる軌跡算出プログラムであって、画像データから特定点を検出する検出ステップと、検出ステップが検出した特定点の三次元位置を算出する位置算出ステップと、位置算出ステップが算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、第１の特定点と第２の特定点の位置関係を算出して保持する位置関係算出ステップと、検出ステップが第１の特定点を検出できなかった場合に、位置算出ステップが算出した第２の特定点の三次元位置と、位置関係算出ステップが算出して保持する位置関係と、から第１の特定点の三次元位置を推定する位置推定ステップと、位置算出ステップが算出した第１の特定点の三次元位置と、位置推定ステップが推定した第１の特定点の三次元位置と、画像データが撮像された時刻と、から第１の特定点の軌跡を算出する軌跡算出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出することができる。

軌跡算出装置のブロック図である。 軌跡算出装置のハードウェア構成図である。 フィギュアスケート競技の様子を模式的に描いた図である。 軌跡算出装置の動作を示すフローチャートである。 実施例の説明で使用する座標系を記述した図である。 位置算出処理について説明するフローチャートである。 存在直線算出部が行う存在直線算出処理について説明するための図である。 存在直線算出部が行う存在直線算出処理と、存在面算出部が行う存在面算出処理と、それに続いて位置算出部が行う第1の特定点の三次元位置を算出する処理について説明するための図である。 第1の特定点が検出された場合に、存在直線算出部が行う存在直線算出処理と、存在面算出部が行う存在面算出処理と、それに続いて位置算出部が行う第２の特定点の三次元位置を算出する処理について説明するための図である。 第1の特定点が検出されなかった場合に、存在直線算出部が行う存在直線算出処理と、存在面算出部が行う存在面算出処理と、それに続いて位置算出部が行う第２の特定点の三次元位置を算出する処理について説明するための図である。

本発明の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

本実施形態に係る軌跡算出装置、方法、プログラムは、例えば、フィギュアスケート競技においてスケーターが装着したスケート靴のエッジがリンクの氷上に描く軌跡を算出する場合のように、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出することができる。

図１は、軌跡算出装置のブロック図である。軌跡算出装置１は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。軌跡算出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。軌跡算出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。

軌跡算出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出するようにコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

図１に示すように、軌跡算出装置１は、検出部１０１、位置算出部１０２、判定部１０３、位置関係算出部１０４、位置推定部１０５及び軌跡算出部１０６を備えている。さらに、位置算出部１０２は、その内部に存在直線算出部１０７及び存在面算出部１０８を備えている。軌跡算出装置１には、外部から入力として、単眼カメラによって撮像された目標とする動体の画像又は動画の画像フレームが画像データとして与えられる。画像データは、撮像された時刻を情報として備えている。また、軌跡算出装置１は、目標とする動体の特定点の軌跡についての情報を外部へ出力する。

図１のブロック図に従って、軌跡算出装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については、実施例の中で後述する。

検出部１０１は、入力された画像データから、目標とする動体の特定点を検出する。

位置算出部１０２は、検出部１０１が検出した目標とする動体の特定点の三次元位置を算出する。位置算出部１０２は、画像フレームに撮像された目標とする動体の特定点の像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置とを結んだ直線を算出する存在直線算出部１０７と、目標とする動体の特定点が存在する可能性のある存在面を算出する存在面算出部１０８と、を備える。位置算出部１０２は、存在直線算出部１０７が算出した直線と、存在面算出部１０８が算出した存在面と、が交わる点の三次元位置を目標とする動体の特定点の三次元位置として算出する。なお、具体的な算出処理については、フィギュアスケート競技を具体例にとって実施例の中で後述する。

判定部１０３は、位置算出部１０２が算出した目標とする動体の第１の特定点の三次元位置の時刻による変化が所与の条件に当てはまるか判定し、所与の条件に当てはまる場合には第１の特定点の三次元位置を軌跡算出に使用しない指示を、所与の条件に当てはまらない場合には第１の特定点の三次元位置を軌跡算出に使用する指示を、軌跡算出部１０６に行う。なお、所与の条件や第１の特定点、第２の特定点は、目標とする動体や適用環境によって異なるものであるので、フィギュアスケート競技を具体例にとって実施例の中で詳細について後述する。

位置関係算出部１０４は、位置算出部１０２が算出した目標とする動体の第１の特定点の三次元位置と、第２の特定点の三次元位置とから、第１の特定点と第２の特定点の位置関係を算出して保持する。

位置推定部１０５は、検出部１０１が遮蔽などにより目標とする動体の第１の特定点を検出できなかった場合に、検出部１０１が検出した第２の特定点の三次元位置を算出して、位置関係算出部１０４が算出して保持する第１の特定点と第２の特定点の位置関係と、から第１の特定点の三次元位置を推定する。

軌跡算出部１０６は、位置算出部１０２が算出した目標とする動体の第１の特定点の三次元位置と、位置推定部１０６が推定した目標とする動体の第１の特定点の三次元位置と、画像データが撮像された時刻と、から目標とする動体の第１の特定点の軌跡を算出する。

次に、本実施形態に係る軌跡算出装置１の動作について説明する。説明理解の容易性を考慮して、単眼カメラで撮像したフィギュアスケート競技の画像からスケーターが装着したスケート靴のエッジがリンクの氷上に描く軌跡を算出する場合の軌跡算出装置１の動作を実施例として説明する。なお、これは例示であって、フィギュアスケート競技のみに本発明の適用を限るものではない。

図３は、本実施例において、好適な例として説明するフィギュアスケート競技の様子を模式的に描いた図である。本実施例では、図３のようにリンク全体を単眼カメラによって広角で捉えた画像が、軌跡算出装置１に入力として与えられるとして軌跡算出装置１の動作を説明する。

フィギュアスケート競技では、図３に示すように、リンクの氷面３０１に接したスケーターが装着したスケート靴のエッジが描く軌跡（図３では、氷面３０１とエッジの接点が３０２から３０４まで移動した際の軌跡３０６）が演技の優劣決定の大きな要素であって、フィギュアスケート競技を撮像した画像から軌跡３０６を得るニーズは大きい。また、近年、いわゆるスマートフォンなどのデバイスに内蔵されたカメラの高機能化もあり、単眼カメラによって簡便に動画像を撮像することも一般的になっている。

しかし、単眼カメラによる動画像の撮像において、図３に示すように、リンクの周壁３０７によって遮蔽されることで、スケーターが装着したスケート靴のエッジ３０４が写らず、エッジ３０４の位置が特定できないとの問題も起きる。本願発明に係る軌跡算出装置１は、単眼カメラで撮像した動画像から目標とする動体の特定点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出することができるため、フィギュアスケート競技において好適に採用されるものである。これは例示であって、フィギュアスケート競技のみに本発明の適用を限るものではない。

なお、図３における３０２および３０４は、リンクの氷面３０１とスケーターが装着したスケート靴のエッジの接点である。また、３０３および３０５は、スケーターの頭頂の点である。本実施例ではリンクの氷面３０１とスケーターが装着したスケート靴のエッジの接点を第１の特定点として、スケーターの頭頂の点を第２の特定点として、軌跡算出装置１の動作を説明する。

図４は、実施例に係る軌跡算出装置１の動作を示すフローチャートである。図４のフローチャートに従って実施例における軌跡算出装置１の動作を説明する。

軌跡算出装置１には、処理の対象となる撮像された時刻を情報として備えた複数の画像データが外部から入力される。軌跡算出装置１は、処理の対象となる画像データが入力された後に動作を開始する。動作の開始は、画像データの入力後に自動的であっても、明示的な命令によるものであってもよい。軌跡算出装置１は、入力された毎々の画像データについて撮像された時刻の順に読み込んで図４のフローチャートの処理を行う。

軌跡算出装置１は、動作を開始すると、検出部１０１が検出処理（Ｓ４０１）を実行する。検出処理（Ｓ４０１）では、入力された画像データから、撮像された目標とする動体の特定点を検出する。本実施例では、前述の通り、第１の特定点としてリンクの氷面３０１とスケーターが装着したスケート靴のエッジの接点、第２の特定点としてスケーターの頭頂の点をとる。

画像データからの特定点の検出については、画像データから特定点の二次元平面での座標が検出できれば方法は問わない。例えば、非特許文献１などで開示されている画像データからの２次元での人間の姿勢推定技術などによる。また、撮像対象のスケーターがあらかじめ特定点につけたマーカを画像データから検出する方法によってもよい。

次に、Ｓ４０２の処理で示す通り、検出処理（Ｓ４０１）において第１の特定点（リンクの氷面３０１とスケーターが装着したスケート靴のエッジの接点）が検出されたかどうかで処理が分岐する。まず、検出処理（Ｓ４０１）において第１の特定点が検出された場合の軌跡算出装置１の動作と処理の流れについて説明する。検出処理（Ｓ４０１）で画像データから第１の特定点が検出された場合には、画像フレームに設定した二次元座標系における第１の特定点の二次元座標を位置算出処理（Ｓ４０３）に引き渡す。検出部１０１による検出処理（Ｓ４０１）が終了すると、位置算出部１０２が位置算出処理（Ｓ４０３）を開始する。

ここで、位置算出部１０２が行う位置算出処理（Ｓ４０３）の説明に先立って、一旦、図４のフローチャートを離れ、本実施例の説明で使用する座標系について説明する。図５は、本実施例の説明で使用する座標系を記述した図である。

座標系ΣＸＹＺは、実三次元空間での三次元直交座標系である。本実施例においては、座標系ΣＸＹＺは、リンクの氷面３０１の形状が長軸方向、短軸方向の各々において対称である長円形であるとし、氷面３０１上であって長軸と短軸の交点を原点Ｏ（０，０，０）５０１とし、長軸方向にX軸を、短軸方向にY軸をとる三次元直交座標系とする。

また、本実施例では、座標系ΣＸＹＺで三次元座標が既知である複数の点（以下、基準点）として、氷面３０１の外縁とＸ軸の２つ交点（５０５と５０６）と、氷面３０１の外縁とＹ軸の２つ交点（５０７と５０８）について三次元座標を次の通り設定する。ここでは、リンクの長軸方向の長さが２Ａ、短軸方向の長さが２Ｂとした例である。Ａ及びＢは定数である。
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）

なお、これは例示であって、三次元座標系と基準点の設定をこれに限るものではない。三次元座標系と基準点の設定は、目標とする動体の運動特性や環境条件などにあわせて適したものを設定することが望ましい。本実施例では、後述の通り、カメラのレンズ中心の三次元位置座標とレンズの外部パラメーターを求めるために三次元位置座標が既知である基準点を利用する。

座標系Σｘｙｚは、カメラのレンズ中心に原点５０２を持つ三次元直交座標系である。座標系Σｕｖは、画像フレーム（撮像素子面）５０４に固定された原点５０３を持つ二次元直交座標系である。座標系Σｕｖは、座標系Σｘｙｚを平行移動した座標系で、ｘｙ座標軸とｕｖ座標軸は平行である。また、座標系Σｘｙｚのｚ軸と画像フレーム５０４の交点が座標系Σｕｖの原点５０３となる。座標系Σｘｙｚのｚ軸は画像フレーム５０４と直交する。

図４に戻り、位置算出部１０２が行う位置算出処理（Ｓ４０３）の説明に戻る。位置算出処理（Ｓ４０３）では、位置算出部１０２が第１の特定点であるリンクの氷面３０１とスケーターが装着したスケート靴のエッジの接点の三次元位置を算出する。

位置算出部１０２は、存在直線算出部１０７と存在面算出部１０８を備える。図６は、位置算出処理（Ｓ４０３）について説明するフローチャートである。位置算出処理（Ｓ４０３）では、存在直線算出部１０７が存在直線算出処理（Ｓ６０１）を、存在面算出部１０８が存在面算出処理（Ｓ６０２）を行った後、位置算出部１０２が存在直線算出処理（Ｓ６０１）で算出された直線と、存在面算出処理（Ｓ６０２）で算出された存在面の交点を特定点の三次元位置として算出する。

図７は、存在直線算出部１０７が行う存在直線算出処理（Ｓ６０１）について説明するための図である。図７を用いて、存在直線算出処理（Ｓ６０１）が行う画像フレームにおける目標とする特定点の像の三次元位置とカメラのレンズの光学中心点とを結んで構成される三次元直線の算出について説明する。

図７は、図５の座標系において三次元空間の目標とする特定点Ｐをカメラで撮像した様子を表した図である。三次元直交座標系ΣＸＹＺにおける目標とする特定点Ｐの三次元位置を、Ｐ（Ｘ，Ｙ，Ｚ）とする。目標とする特定点Ｐは、レンズ中心を三次元直交座標系Σｘｙｚの原点６０２にもつカメラで画像フレーム５０４に像Ｐ’として撮像される。画像フレーム５０４での二次元直交座標系Σｕｖにおける像Ｐ’の二次元位置をＰ’（ｕ，ｖ）とする。

図７では、レンズ中心（三次元直交座標系Σｘｙｚの原点５０２）の三次元直交座標系ΣＸＹＺにおける位置をＰ０（Ｘ０，Ｙ０，Ｚ０）とする。レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚのｚ軸が光軸にあたる。光軸は、画像フレーム５０４と直交し、その交点は画像フレームでの二次元直交座標系Σｕｖの原点５０３となる。原点５０３の二次元位置をＱ（ｕ０，ｖ０）とする。三次元直交座標系Σｘｙｚの原点５０２と二次元直交座標系Σｕｖの原点５０３の距離が焦点距離であって、長さをｄとする。

図７において、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚからみた像Ｐ’の位置は、Ｐ’（ｕ－ｕ０，ｖ－ｖ０，ｄ）となる。ここで、比例定数をｋ、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚから三次元空間における三次元直交座標系ΣＸＹＺへの座標変換行列をＲとする。本実施例では三次元空間における三次元直交座標系ΣＸＹＺにおけるカメラの位置座標とローテーションが与えられれば、座標変換行列Ｒを決定することができる。

ローテーションとは、いわゆるレンズの外部パラメーターであって、図７において座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーターである。ローテーションの値が決定することで、レンズの光軸が定まる。図７において、座標系Σｘｙｚのｚ軸が光軸である。

また、実施例においては、いわゆるレンズの内部パラメーター（焦点距離、レンズのひずみ、レンズ中心のずれ）は既知とする。図７において、カメラのレンズ中心（座標系Σｘｙｚの原点５０２）と座標系Σｕｖの原点５０３の距離が焦点距離となる。また、レンズのひずみ及びレンズ中心のずれは無いものとする。

レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズ中心（原点５０２）と像Ｐ’と目標とする特定点Ｐは同じ直線上にあることから次の式（数式１）が成り立つ。

Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ０（Ｘ０，Ｙ０，Ｚ０）＋ｋＲＰ’（ｕ－ｕ０，ｖ－ｖ０，ｄ）

なお、本実施例では、Ｐ’のＸ要素及びＹ要素であるｕ－ｕ０及びｖ－ｖ０は検出部１０１が位置算出部１０２に引き渡す二次元位置の座標から求めることができ、ｄは焦点距離であって既知である。

前式（数式１）は、三次元直交座標系Σｘｙｚにおけるレンズ中心と像Ｐ’と目標とする特定点Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける直線の式である。三次元直交座標系Σｘｙｚの原点５０２にレンズ中心を備えたカメラで特定点Ｐを撮像したときに、画像フレーム５０４の像Ｐ’の二次元直交座標系Σｕｖでの二次元座標を決定できれば、前式（数式１）が算出でき、三次元直交座標系ΣＸＹＺにおいて前式（数式１）で示される直線上に目標とする特定点Ｐが存在する。

カメラのレンズ中心の三次元位置座標とローテーションが事前に与えられていない場合には、三次元位置座標が既知である基準点を利用して、カメラのレンズ中心の三次元位置座標とレンズの外部パラメーターを求めて座標変換行列Ｒを決定する。前述の通り、本実施例では、基準点５０５、５０６、５０７および５０８の４点について三次元直交座標系ΣＸＹＺでの三次元座標が次の通り既知であり、二次元直交座標系Σｕｖにおける各基準点の像の二次元座標も計測することができる。
基準点５０５：（Ｘ，Ｙ，Ｚ）＝（Ａ，０，０）
基準点５０６：（Ｘ，Ｙ，Ｚ）＝（－Ａ，０，０）
基準点５０７：（Ｘ，Ｙ，Ｚ）＝（０，Ｂ，０）
基準点５０８：（Ｘ，Ｙ，Ｚ）＝（０，－Ｂ，０）

前述、図７を用いて、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズ中心（原点５０２）と像Ｐ’と目標Ｐは同じ直線上にあることから、三次元直交座標系Σｘｙｚにおけるレンズ中心と像Ｐ’と目標とする特定点Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける次の直線の式（数式１）を求めた。

Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ０（Ｘ０，Ｙ０，Ｚ０）＋ｋＲＰ’（ｕ－ｕ０，ｖ－ｖ０，ｄ）

上記の数式１において、Ｐ（Ｘ，Ｙ，Ｚ）をそれぞれの基準点とし、Ｐ’（ｕ，ｖ）をそれぞれの基準点に対応する画像フレームの像とし、ｄは既知であることから、三次元直交座標系ΣＸＹＺにおけるカメラのレンズ中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーションが算出される。

三次元直交座標系ΣＸＹＺにおけるカメラのレンズ中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーション（座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーター）の算出にあたっては、未知の要素の数が６であり、画像フレームの目標とする動体の像は二次元直交座標系Σｕｖの要素で与えられることから、基準点の数は３で足りる。しかしながら、基準点を増やすことによる算出精度の向上を考慮して、本実施形態では、基準点の数を４としている。基準点の数は計測したい空間や利用可能な基準点の配置に合わせて適した数とすることが望ましく、基準点の数を４に限るものではない。

本実施形態においては、非線形最小二乗法により、カメラの三次元座標系における位置座標とローテーションの算出処理を行う。なお、これは例示であって、処理の方法はこれに限るものではなく、カメラの三次元座標系における位置座標とローテーションが精度高く算出できれば他の処理の方法によってもよい。例えば、高い精度が期待できるＬＭ法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ Ｍｅｔｈｏｄ）による算出、基準点の数を増やしてＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）による算出なども考えられる。

図８は、図６に示す、存在直線算出部１０７が行う存在直線算出処理（Ｓ６０１）と、存在面算出部１０８が行う存在面算出処理（Ｓ６０２）と、それに続いて位置算出部１０２が行う第1の特定点の三次元位置を算出する処理（Ｓ６０３）について説明するための図である。図８を用いて、一連の処理について説明する。

画像フレーム５０４におけるスケーターが装着したスケート靴のエッジとリンクの接点８０１の像８０２の二次元直交座標系Σｕｖにおける二次元位置の座標が検出部１０１から位置算出部１０２に引き渡されるので、前述、図７を用いた説明の通り、存在直線算出処理（Ｓ６０１）で、レンズ中心（５０２）と第１の特定点８０１の像８０２を結ぶ直線が数式１により求められる。

存在面算出処理（Ｓ６０２）では、存在面算出部１０８が第１の特定点が存在する可能性のある存在面を算出する。本実施例では、第１の特定点は、スケーターが装着したスケート靴のエッジとリンクの接点８０１である。スケーターが装着したスケート靴のエッジとリンクの接点８０１は、リンクの氷面３０１に存在することから、存在面算出処理（Ｓ６０２）では、リンクの氷面３０１（三次元直交座標系ΣＸＹＺにおけるＺ＝０であるＸＹ平面）が存在面として算出される。

Ｓ６０３の処理では、第１の特定点（スケーターが装着したスケート靴のエッジとリンクの接点８０１）は、存在直線算出処理（Ｓ６０１）で算出された直線上に存在し、かつ、存在面算出処理（Ｓ６０２）で算出された存在面上に存在することから、両者の交点を第１の特定点として三次元位置の座標を算出する。なお、位置算出処理（Ｓ４０３）で算出される第１の特定点の三次元直交座標系ΣＸＹＺにおけるＺ座標の値は０となる。

図４のフローチャートに戻り、位置算出部１０２による第１の特定点についての位置算出処理（Ｓ４０３）が終了すると、判定部１０３が判定処理（Ｓ４０４）を開始する。判定処理（Ｓ４０４）は、位置算出部１０２が位置算出処理（Ｓ４０３）で算出した第１の特定点の三次元位置の時刻による変化が所与の条件に当てはまるか判定する。前述の通り、所与の条件とは、後述する位置関係算出処理（Ｓ４０７）が行う目標とする動体の軌跡を算出に利用する第１の特定点と第２の特定点の位置関係の算出に相応しくない外れ値や異常値などを排除するために事前に与えられた条件である。

フィギュアスケート競技を例にとった本実施例においては、スピン及びジャンプを排除するように所与の条件を定める。後述する位置関係算出処理（Ｓ４０７）では、第１の特定点であるスケーターが装着したスケート靴のエッジとリンクの接点がリンクの周壁などによって遮蔽された際に、第２の特定点であるスケーターの頭頂の三次元位置から第１の特定点であるスケーターが装着したスケート靴のエッジとリンクの接点の三次元位置を推定するための位置関係を算出するが、スピンにおいてはスケーターがしゃがんだり、仰け反ったりして第２の特定点であるスケーターの頭頂の位置が通常より低くなる場合が多く、ジャンプにおいては第２の特定点であるスケーターの頭頂の位置が通常より高くなる場合が多く、いずれも位置関係の算出に相応しくない。

軌跡算出装置１に順次入力される連続した撮像された時刻を備えた複数の画像データから算出された第１の特定点の三次元位置が、一定の時間の間、一定の位置範囲に収まっている場合はスピンであると判定する。例えば、撮像された時刻が連続した５フレームにおいて第１の特定点であるスケーターが装着したスケート靴のエッジとリンクの接点の三次元座標のＸ要素、Ｙ要素の値の変動が±１０以内であることを所与の条件として定めるなどである。

軌跡算出装置１に順次入力される連続した撮像された時刻を備えた複数の画像データから算出された第１の特定点の三次元座標のＸ要素、Ｙ要素の値が急激に変動した場合はジャンプであると判定する。前述、存在面算出処理（Ｓ６０２）では、第１の特定点はスケーターが装着したスケート靴のエッジとリンクの接点であるからリンクの氷面（三次元直交座標系ΣＸＹＺにおけるＺ＝０であるＸＹ平面）が存在面として算出される。しかし、ジャンプの際にはスケーターが装着したスケート靴のエッジはリンクの氷面に接していないため、リンクの氷面と存在直線算出処理（Ｓ６０１）で算出された直線の交点を第１の特定点とすると、スケーターが離陸した瞬間に第１の特定点の三次元座標のＸ要素、Ｙ要素の値がカメラのレンズ中心から遠ざかる向きに急激に変動する。また、スケーターが着陸した瞬間に第１の特定点の三次元座標のＸ要素、Ｙ要素の値がカメラのレンズ中心に近づく向きに急激に変動する。例えば、第１の特定点であるスケーターが装着したスケート靴のエッジとリンクの接点の三次元座標のＸ要素、Ｙ要素の値が撮像された時刻が連続した過去５フレームから求めた第１の特定点の三次元座標のＸ要素、Ｙ要素の値の多項式近似による予測値から±５０以上の変動であることを所与の条件として定めるなどである。

判定処理（Ｓ４０４）で所与の条件に当てはまると判定された場合には、当該画像データについて以降の処理は行わない。判定処理（Ｓ４０４）で所与の条件に当てはまらないと判定された場合には、判定処理（Ｓ４０４）を終了する。次に、Ｓ４０５の処理で示す通り、検出処理（Ｓ４０１）において第２の特定点（スケーターの頭頂の点）が検出されたかどうかで処理が分岐する。第２の特定点が検出されなかった場合には第１の特定点の三次元位置の情報を軌跡算出処理（Ｓ４１１）に引き渡して、軌跡算出部１０６が軌跡算出処理（Ｓ４１１）を開始する。第２の特定点が検出された場合には位置算出部１０２が第２の特定点についての位置算出処理（Ｓ４０６）を開始する。

位置算出部１０２が行う第２の特定点についての位置算出処理（Ｓ４０６）について説明する。位置算出処理（Ｓ４０６）では、位置算出部１０２が第２の特定点であるスケーターの頭頂の点の三次元位置を算出する。

前述の第１の特定点についての位置算出処理（Ｓ４０３）と同様に、第２の特定点についての位置算出処理（Ｓ４０６）においても、図６のフローチャートに従って処理が行われる。

図９は、第２の特定点についての位置算出処理（Ｓ４０６）において、存在直線算出部１０７が行う存在直線算出処理（Ｓ６０１）と、存在面算出部１０８が行う存在面算出処理（Ｓ６０２）と、それに続いて位置算出部１０２が行う第２の特定点の三次元位置を算出する処理（Ｓ６０３）について説明するための図である。図９を用いて、一連の処理について説明する。

存在直線算出処理（Ｓ６０１）では、画像フレーム５０４に撮像された第２の特定点９０１の像９０２と、カメラのレンズの中心５０２と、を結んだ直線を算出する。第２の特定点９０１は、この直線上に存在する。存在直線算出処理（Ｓ６０１）の具体的な内容については、前述、第１の特定点についての位置算出処理（Ｓ４０３）と同様であるため詳細な記載を省略する。

存在面算出処理（Ｓ６０２）では、存在面算出部１０８が第２の特定点９０１が存在する可能性のある存在面を算出する。本実施例では、第２の特定点９０１は、スケーターの頭頂の点である。スピンやジャンプを除いてスケーターが氷上を走行している場合、スケーターの頭頂の点である第２の特定点９０１は、第１の特定点（スケーターが装着したスケート靴のエッジとリンクの接点８０１）を通り、氷面に対して垂直（三次元直交座標系ΣＸＹＺのY軸方向）であって、カメラの投影面である画像フレーム５０４に平行な平面９０３に存在する可能性が極めて高い。存在面算出処理（Ｓ６０２）では、この平面９０３が存在面として算出される。

Ｓ６０３の処理では、第２の特定点９０１（スケーターの頭頂の点）は、存在直線算出処理（Ｓ６０１）で算出された直線（画像フレーム５０４に撮像された第２の特定点９０１の像９０２とカメラのレンズの中心５０２を結んだ直線）に存在し、かつ、存在面算出処理（Ｓ６０２）で算出された存在面９０３に存在する可能性が極めて高いことから、両者の交点を第２の特定点として三次元位置の座標を算出する。

位置算出部１０２による第２の特定点についての位置算出処理（Ｓ４０６）が終了すると、位置関係算出部１０４が位置関係算出処理（Ｓ４０７）を開始する。位置関係算出処理（Ｓ４０７）は、位置算出処理（Ｓ４０３）で算出された動体の第１の特定点の三次元位置と、位置算出処理（Ｓ４０６）で算出された第２の特定点の三次元位置とから、第１の特定点と第２の特定点の位置関係を算出して保持する。

第１の特定点と第２の特定点の位置関係とは、前述の通り、第２の特定点の三次元位置から第１の特定点の三次元位置を推定するために用いる位置に基づく情報をいうが、本実施例においては、氷面（三次元直交座標系ΣＸＹＺにおけるＺ＝０であるＸＹ平面）からスケーターの頭頂の点（第２の特定点）までの高さとしている。本実施例における第１の特定点と第２の特定点の位置関係の値は、第２の特定点の三次元直交座標系ΣＸＹＺにおけるＺ座標の値となる。存在面算出部１０８は、入力された各々の画像データについて位置関係算出処理（Ｓ４０７）を行うことで第１の特定点と第２の特定点の位置関係の値を算出するとともに、その平均値を算出して主記憶装置２０４または補助記憶装置２０５に保持する。本実施例において保持された第１の特定点と第２の特定点の位置関係の平均の値をHとする。なお、第１の特定点と第２の特定点の位置関係については、第２の特定点の三次元位置から第１の特定点の三次元位置を推定に利用することができればよく、氷面（三次元直交座標系ΣＸＹＺにおけるＺ＝０であるＸＹ平面）からスケーターの頭頂の点（第２の特定点）までの高さに限るものではない。また、第２の特定点の三次元位置から第１の特定点の三次元位置を精度高く推定できれはよく、平均値の利用に限定するものではない。

位置関係算出部１０４による位置関係算出処理（Ｓ４０７）が終了すると、軌跡算出部１０６が軌跡算出処理（Ｓ４１１）を開始するが、一旦、図４のフローチャートのＳ４０２の分岐処理まで戻り、検出処理（Ｓ４０１）において第１の特定点が検出されなかった場合の軌跡算出装置１の動作と処理の流れについて説明する。

検出処理（Ｓ４０１）において第１の特定点が検出されなかった場合、Ｓ４０８の処理で示す通り、検出処理（Ｓ４０１）において第２の特定点（スケーターの頭頂の点）が検出されたかどうかで処理が分岐する。Ｓ４０８の処理で第２の特定点が検出さなかったと判定された場合は、検出処理（Ｓ４０１）において第１の特定点と第２の特定点のいずれもが検出されなかったことになり、当該画像データについて以降の処理は行わない。Ｓ４０８の処理で第２の特定点が検出されたと判定された場合は、位置算出部１０２が第２の特定点についての位置算出処理（Ｓ４０９）を開始する。

位置算出部１０２が行う第２の特定点についての位置算出処理（Ｓ４０９）について説明する。位置算出処理（Ｓ４０９）では、位置算出部１０２が第２の特定点であるスケーターの頭頂の点の三次元位置を算出する。

前述の第１の特定点についての位置算出処理（Ｓ４０３）と同様に、第２の特定点についての位置算出処理（Ｓ４０９）においても、図６のフローチャートに従って処理が行われる。

図１０は、第２の特定点についての位置算出処理（Ｓ４０９）において、存在直線算出部１０７が行う存在直線算出処理（Ｓ６０１）と、存在面算出部１０８が行う存在面算出処理（Ｓ６０２）と、それに続いて位置算出部１０２が行う第２の特定点の三次元位置を算出する処理（Ｓ６０３）について説明するための図である。図１０を用いて、一連の処理について説明する。

存在直線算出処理（Ｓ６０１）では、画像フレーム５０４に撮像された第２の特定点１００１の像１００２と、カメラのレンズの中心５０２と、を結んだ直線を算出する。第２の特定点１００１は、この直線上に存在する。存在直線算出処理（Ｓ６０１）の具体的な内容については、前述、第１の特定点についての位置算出処理（Ｓ４０３）と同様であるため詳細な記載を省略する。

存在面算出処理（Ｓ６０２）では、存在面算出部１０８が第２の特定点１００１が存在する可能性のある存在面を算出する。本実施例では、第２の特定点１００１は、スケーターの頭頂の点である。第１の特定点の三次元位置が算出できている第２の特定点についての位置算出処理（Ｓ４０６）と異なり、位置算出処理（Ｓ４０９）においては、第１の特定点が検出されていないため、第１の特定点の三次元位置が算出できておらず、位置算出処理（Ｓ４０６）と同様に存在面を算出することができない。

位置算出処理（Ｓ４０９）において、存在面算出処理（Ｓ６０２）では、三次元直交座標系ΣＸＹＺにおけるＺ＝H（Hは、位置関係算出部１０４が算出して、保持する第１の特定点と第２の特定点の位置関係の平均の値）であるＸＹ平面（図６の１００３）を存在面として算出する。値Hは、第２の特定点のZ座標の平均値であって、スピンやジャンプを除いてスケーターが氷上を走行している場合のスケーターの頭頂の点の平均的な高さである。このことから、三次元直交座標系ΣＸＹＺにおけるＺ＝HであるＸＹ平面１００３にスケーターの頭頂の点１００１が存在する可能性が極めて高い。

第２の特定点（スケーターの頭頂の点１００１）は、存在直線算出処理（Ｓ６０１）で算出された直線（画像フレーム５０４に撮像された第２の特定点１００１の像１００２とカメラのレンズの中心５０２を結んだ直線）に存在し、かつ、存在面算出処理（Ｓ６０２）で算出された存在面１００３に存在する可能性が極めて高いことから、Ｓ６０３の処理では、両者の交点を第２の特定点として三次元位置の座標を算出する。なお、位置算出処理（Ｓ４１０）で算出される第２の特定点の三次元直交座標系ΣＸＹＺにおけるＺ座標の値はＨ（Ｈは、位置関係算出部１０４が算出して、保持する第１の特定点と第２の特定点の位置関係の平均の値）となる。

位置算出部１０２による第２の特定点についての位置算出処理（Ｓ４０９）が終了すると、位置推定部１０５が位置推定処理（Ｓ４１０）を開始する。位置推定処理（Ｓ４１０）は、位置算出処理（Ｓ４０９）で算出された第２の特定点の三次元位置と、位置関係算出処理（S４０７）で算出されて保持されている位置関係と、から第１の特定点の三次元位置を推定する。

図１０で、位置算出処理（Ｓ４０９）で算出された第２の特定点１００１の三次元位置の座標を仮にP（Ｘ１，Ｙ１，Ｈ）とする。このとき、第１の特定点１００４はスケーターが装着したスケート靴のエッジとリンクの接点であって、第２の特定点１００１（スケーターの頭頂の点）の真下にあると推定されることから、位置推定処理（Ｓ４１０）では、第１の特定点１００４の三次元位置の座標をQ（Ｘ１，Ｙ１，０）と推定する。位置推定部１０５による位置推定処理（Ｓ４１０）が終了すると、軌跡算出部１０６が軌跡算出処理（Ｓ４１１）を開始する。

図４のフローチャートに戻って、軌跡算出部１０６による軌跡算出処理（Ｓ４１１）を説明する。軌跡算出処理（Ｓ４１１）は、位置算出処理（Ｓ４０３）で算出された第１の特定点の三次元位置と、位置推処理（Ｓ４１０）で推定された第１の特定点の三次元位置と、第１の特定点の三次元位置の算出または推定のもととなった画像データが撮像された時刻と、から第１の特定点の軌跡を算出する。軌跡算出処理（Ｓ４１１）では、新たに算出もしくは推定された第１の特定点の三次元位置と算出または推定のもととなった画像データが撮像された時刻の情報を、既に算出もしくは推定された第１の特定点の三次元位置と算出または推定のもととなった画像データが撮像された時刻の情報群に追加する。これらの情報群から、軌跡算出処理（Ｓ４１１）では、撮像された時刻に基づいて時間軸にそって並べられた、算出または推定された第１の特定点の三次元直交座標系ΣＸＹＺにおける三次元座標について多項式による近似曲線などによって第１の特定点の軌跡が求められる。なお、軌跡の算出にあたっては適した近似方法を用いればよく、多項式近似に限定するものではない。

軌跡算出部１０６による軌跡算出処理（Ｓ４１１）が終了すると、軌跡算出装置１は次の画像データを取り込み、処理を繰り返す。取り込む画像データが無くなると処理を終了する。なお、本実施例では、画像データを取り込む毎に軌跡算出部１０６が軌跡算出処理（Ｓ４１１）を行うが、一旦すべての画像データについて第１の特定点の三次元位置の算出または推定を行った後に軌跡算出部１０６が軌跡算出処理（Ｓ４１１）を行う構成であってもよい。

以上が、実施例についての説明である。

次に、コンピュータを軌跡算出装置として機能させるための軌跡算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

軌跡算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、画像データなどの入力情報をコンピュータに取得させ、算出した軌跡の情報を数値や画像でコンピュータに出力させる。演算処理モジュールは、検出モジュール、位置算出モジュール、判定モジュール、位置関係算出モジュール、位置推定モジュール、軌跡算出モジュール、存在直線算出モジュール及び存在面算出モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、軌跡算出装置１の検出部１０１、位置算出部１０２、判定部１０３、位置関係算出部１０４、位置推定部１０５、軌跡算出部１０６、存在直線算出部１０７及び存在面算出部１０８の機能とそれぞれ同様である。

軌跡算出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、軌跡算出プログラムは、ネットワークを介して提供されてもよい。

以上、本実施形態に係る軌跡算出装置、軌跡算出方法及び軌跡算出プログラムによれば、単眼カメラで撮像した動画像から目標とする動体の特定の点の位置変化を追跡して、その点の三次元位置の軌跡を算出する場合において、追跡する目標とする動体の特定の点が遮蔽された場合にも見失うことなく三次元位置の軌跡を算出することができる。

１ 軌跡算出装置
１０１ 検出部
１０２ 位置算出部
１０３ 判定部
１０４ 位置関係算出部
１０５ 位置推定部
１０６ 軌跡算出部
１０７ 存在直線算出部
１０８ 存在面算出部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ リンクの氷面
３０２ 氷面とエッジの接点
３０３ スケーターの頭頂の点
３０４ 氷面とエッジの接点
３０５ スケーターの頭頂の点
３０６ 氷面とエッジの接点の軌跡
３０７ リンクの周壁
５０１ 三次元直交座標系ΣＸＹＺの原点（リンクの長軸と短軸の交点）
５０２ 三次元直交座標系Σｘｙｚの原点（カメラのレンズ中心）
５０３ 二次元直交座標系Σｕｖの原点（画像フレームに固定された原点）
５０４ 画像フレーム（撮像素子面）
５０５ 基準点
５０６ 基準点
５０７ 基準点
５０８ 基準点
８０１ 第１の特定点（スケーターが装着したスケート靴のエッジとリンクの接点）
８０２ 画像フレームにおけるスケーターが装着したスケート靴のエッジとリンクの接点の像
９０１ 第２の特定点（スケーターの頭頂の点）
９０２ 画像フレームにおけるスケーターの頭頂の点の像
９０３ 存在面
１００１ 第２の特定点（スケーターの頭頂の点）
１００２ 画像フレームにおけるスケーターの頭頂の点の像
１００３ 存在面
１００４ 第１の特定点（スケーターが装着したスケート靴のエッジとリンクの接点）

Claims (5)

1. 単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて該特定点の軌跡を算出する軌跡算出装置であって、
   前記画像データから前記特定点を検出する検出部と、
   前記検出部が検出した前記特定点の三次元位置を算出する位置算出部と、
   前記位置算出部が算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、該第１の特定点と該第２の特定点の位置関係を算出して保持する位置関係算出部と、
   前記検出部が前記第１の特定点を検出できなかった場合に、前記位置算出部が算出した前記第２の特定点の三次元位置と、前記位置関係算出部が算出して保持する前記位置関係と、から前記第１の特定点の三次元位置を推定する位置推定部と、
   前記位置算出部が算出した前記第１の特定点の三次元位置と、前記位置推定部が推定した前記第１の特定点の三次元位置と、前記画像データが撮像された時刻と、から前記第１の特定点の軌跡を算出する軌跡算出部と、
   を備えることを特徴とする軌跡算出装置。
2. 前記位置算出部が算出した前記第１の特定点の三次元位置の時刻による変化が所与の条件に当てはまるかを判定し、所与の条件に当てはまる場合には、該第１の特定点の三次元位置に基づく前記位置関係算出部による前記位置関係の算出及び前記軌跡算出部による該第１の特定点の軌跡の算出を行わない指示を、所与の条件に当てはまらない場合には、該第１の特定点の三次元位置に基づく前記位置関係算出部による前記位置関係の算出及び前記軌跡算出部による該第１の特定点の軌跡の算出を行う指示をする判定部と、
   をさらに備えることを特徴とする請求項１に記載の軌跡算出装置。
3. 前記位置算出部は、
   画像フレームに撮像された前記特定点の像についての三次元位置と前記単眼カメラのレンズの光学中心の三次元位置とを結んだ直線を算出する存在直線算出部と、
   前記特定点が存在する可能性のある存在面を算出する存在面算出部と、
   を備え、
   前記存在直線算出部が算出した直線と、前記存在面と、が交わる点の三次元位置を、前記特定点の三次元位置として算出する、
   ことを特徴とする請求項１または請求項２に記載の軌跡算出装置。
4. 単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて該特定点の軌跡を算出する軌跡算出方法であって、
   前記画像データから前記特定点を検出する検出ステップと、
   前記検出ステップが検出した前記特定点の三次元位置を算出する位置算出ステップと、
   前記位置算出ステップが算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、該第１の特定点と該第２の特定点の位置関係を算出して保持する位置関係算出ステップと、
   前記検出ステップが前記第１の特定点を検出できなかった場合に、前記位置算出ステップが算出した前記第２の特定点の三次元位置と、前記位置関係算出ステップが算出して保持する前記位置関係と、から前記第１の特定点の三次元位置を推定する位置推定ステップと、
   前記位置算出ステップが算出した前記第１の特定点の三次元位置と、前記位置推定ステップが推定した前記第１の特定点の三次元位置と、前記画像データが撮像された時刻と、から前記第１の特定点の軌跡を算出する軌跡算出ステップと、
   を備えることを特徴とする軌跡算出方法。
5. 単眼カメラにより撮像され、撮像された時刻を情報として備えた複数の画像データから目標とする動体の特定点の三次元位置を求めて該特定点の軌跡をコンピュータに算出させる軌跡算出プログラムであって、
   前記画像データから前記特定点を検出する検出ステップと、
   前記検出ステップが検出した前記特定点の三次元位置を算出する位置算出ステップと、
   前記位置算出ステップが算出した第１の特定点の三次元位置と、第２の特定点の三次元位置とから、該第１の特定点と該第２の特定点の位置関係を算出して保持する位置関係算出ステップと、
   前記検出ステップが前記第１の特定点を検出できなかった場合に、前記位置算出ステップが算出した前記第２の特定点の三次元位置と、前記位置関係算出ステップが算出して保持する前記位置関係と、から前記第１の特定点の三次元位置を推定する位置推定ステップと、
   前記位置算出ステップが算出した前記第１の特定点の三次元位置と、前記位置推定ステップが推定した前記第１の特定点の三次元位置と、前記画像データが撮像された時刻と、から前記第１の特定点の軌跡を算出する軌跡算出ステップと、
   をコンピュータに実行させることを特徴とする軌跡算出プログラム。

Images