JP2016207140A - 映像解析装置、映像解析方法、およびプログラム - Google Patents

Abstract

【課題】追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡する。
【解決手段】映像解析装置１は、仮説生成部１０および仮説検証部２０を備える。仮説生成部１０は、映像から追跡対象の候補を決定する。仮説検証部２０は、追跡対象の候補について追跡対象としての妥当性を検証する。この仮説検証部２０は、空間的信頼度計算部２１、時間的信頼度計算部２２、および判断部２３を備える。空間的信頼度計算部２１は、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、空間的信頼度ＳＲを求める。時間的信頼度計算部２２は、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、時間的信頼度ＴＲを求める。判断部２３は、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、追跡対象の候補が追跡対象であるか否かを判断する。
【選択図】図１

Description

本発明は、映像解析装置、映像解析方法、およびプログラムに関する。

近年、スポーツ中継では、カメラにより取得された映像から選手やボールを解析してＣＧ（Computer Graphics）を作成し、作成したＣＧを映像に重畳する技術が用いられている。この技術によれば、視聴者に、試合の状況を視覚的に分かりやすく伝えたり、高い演出効果を与えたりすることができる。

映像を解析する技術は、例えば、非特許文献１や非特許文献２で提案されている。非特許文献１に示されている技術は、サッカーの試合を対象としており、単眼カメラで撮影したパン動作を含む映像において、選手やボールの追跡を実現する。非特許文献２に示されている技術は、追跡対象のアピアランスモデルを用意し、モデルのパラメータが構成する空間における確信度分布で複数の仮説のそれぞれを表現し、各仮説の信頼度に基づいて追跡対象の追跡を実現する。

片岡裕雄，青木義満，"単眼カメラを用いたサッカー戦術解析のための複数選手とボールの追跡"，画像電子学会誌，Vol.41，No.2，pp.152-159，2012． 杉本晃宏，谷内清剛，松山隆司，"確信度付き仮説群の相互作用に基づく複数対象追跡"，情報処理学会論文誌，Vol.43, No.SIG4，pp.69-84，2002．

サッカーの試合では、フィールド内に存在しているボールは１つである。

これに対して、サッカーの練習では、複数のグループに分かれ、それぞれのグループが１つずつボールを用いることがある。また、サッカーの練習では、練習に用いられているボールだけでなく、練習に用いられていないボールも、フィールド内に存在していることがある。このような場合、フィールド内には複数のボールが存在していることになる。また、複数のボールのそれぞれは、同一の特徴（大きさや色合いなど）を有していることが多い。

以上より、非特許文献１に示されている技術は、例えばサッカーの試合におけるボールのように、追跡対象と同一の特徴を有するオブジェクトが映像中に存在していない場合には、追跡対象の追跡が可能である。しかし、例えばサッカーの練習におけるボールのように、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合には、追跡対象の追跡精度が低下してしまうことがあった。

また、非特許文献２に示されている技術は、追跡対象のアピアランスモデルがそれぞれ異なっていることを前提としており、追跡対象のアピアランスモデルが同一の場合については想定していない。このため、非特許文献１に示されている技術と同様に、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合に、追跡対象の追跡精度が低下してしまうことがあった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）であって、前記映像から、追跡対象の候補を決定する仮説生成手段（例えば、図１の仮説生成部１０に相当）と、前記仮説生成手段により決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、を備え、前記仮説検証手段は、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）と、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）と、前記空間的信頼度計算手段により求められた空間的信頼度ＳＲと、前記時間的信頼度計算手段により求められた時間的信頼度ＴＲと、に基づいて、前記仮説生成手段により決定された追跡対象の候補が前記追跡対象であるか否かを判断する判断手段（例えば、図１の判断部２３に相当）と、を備えることを特徴とする映像解析装置を提案している。

この発明によれば、仮説生成手段により、映像から追跡対象の候補を決定し、仮説検証手段により、仮説生成手段により決定された追跡対象の候補について、追跡対象としての妥当性を検証することとした。

ここで、追跡対象がカメラに近づいている場合には、カメラで取得された映像において、追跡対象の大きさは大きくなる。一方、追跡対象がカメラから遠ざかっている場合には、カメラで取得された映像において、追跡対象の大きさは小さくなる。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの大きさは、フレームごとに一定の割合で変化していくと仮定することができる。そこで、この発明によれば、さらに、仮説検証手段において、空間的信頼度計算手段により、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求めることとした。

また、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの位置は、フレームごとに一定の距離ずつ変化していくと仮定することができる。そこで、この発明によれば、さらに、仮説検証手段において、時間的信頼度計算手段により、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求めることとした。

さらに、この発明によれば、仮説検証手段において、判断手段により、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成手段により決定された追跡対象の候補が追跡対象であるか否かを判断することとした。

このため、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定と、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定と、を追跡対象の候補がどれだけ満たしているかに応じて、追跡対象を見つけることができる。したがって、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、上述の２つの仮定を用いて追跡対象を高精度に追跡することができる。

（２） 本発明は、（１）の映像解析装置について、ｋを、フレーム番号とし、ｉを、前記仮説生成手段により決定された追跡対象の候補のそれぞれを区別するための添字とし、Ｓ_ｉ、ｋを、ｋフレームにおいて追跡対象の候補ｉを表示する画素数とし、Ｋを、前記判断手段により前記追跡対象であると連続して判断されたフレーム数として、前記空間的信頼度計算手段は、以下の数式（１）により、前記空間的信頼度ＳＲを算出することを特徴とする映像解析装置を提案している。

この発明によれば、（１）の映像解析装置において、数式（１）を用いて空間的信頼度ＳＲを算出することができる。

（３） 本発明は、（１）または（２）の映像解析装置について、ｋを、フレーム番号とし、ａ_ｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の観測値とし、ａ_ｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の観測値とし、ａ_ｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の観測値とし、ｐ_ｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の予測値とし、ｐ_ｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の予測値とし、ｐ_ｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の予測値として、前記時間的信頼度計算手段は、以下の数式（２）により、前記時間的信頼度ＴＲを算出することを特徴とする映像解析装置を提案している。

この発明によれば、（１）または（２）の映像解析装置において、数式（２）を用いて時間的信頼度ＴＲを算出することができる。

（４） 本発明は、（１）から（３）のいずれかの映像解析装置について、前記判断手段は、前記空間的信頼度ＳＲが、予め定められた第１の閾値より大きいことと、前記時間的信頼度ＴＲが、予め定められた第２の閾値より大きいことと、のうち少なくともいずれかを満たす場合、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする映像解析装置を提案している。

この発明によれば、（１）から（３）のいずれかの映像解析装置において、判断手段により、空間的信頼度ＳＲが第１の閾値より大きいことと、時間的信頼度ＴＲが第２の閾値より大きいことと、のうち少なくともいずれかを満たす場合、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。

（５） 本発明は、（１）から（３）のいずれかの映像解析装置について、前記判断手段は、前記空間的信頼度ＳＲと前記時間的信頼度ＴＲとの加算結果が、予め定められた第３の閾値より大きい場合、当該空間的信頼度ＳＲおよび当該時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする映像解析装置を提案している。

この発明によれば、（１）から（３）のいずれかの映像解析装置において、判断手段により、空間的信頼度ＳＲと時間的信頼度ＴＲとの加算結果が第３の閾値より大きい場合、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。

（６） 本発明は、（４）または（５）の映像解析装置について、前記判断手段は、前記追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲのうち少なくともいずれかに乗算することを特徴とする映像解析装置を提案している。

この発明によれば、（４）または（５）の映像解析装置において、判断手段により、追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、空間的信頼度ＳＲおよび時間的信頼度ＴＲのうち少なくともいずれかに乗算することとした。このため、追跡対象として判断したフレーム数が大きくなるに従って、追跡対象の候補が追跡対象であるとする信頼性を高くすることができる。

（７） 本発明は、空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）、時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）、および判断手段（例えば、図１の判断部２３に相当）を有する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、仮説生成手段（例えば、図１の仮説生成部１０に相当）と、を備え、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）における映像解析方法であって、前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、前記第２のステップは、前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、を備えることを特徴とする映像解析方法を提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

（８） 本発明は、空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）、時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）、および判断手段（例えば、図１の判断部２３に相当）を有する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、仮説生成手段（例えば、図１の仮説生成部１０に相当）と、を備え、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）における映像解析方法を、コンピュータに実行させるためのプログラムであって、前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、前記第２のステップは、前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

本発明によれば、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡することができる。

本発明の一実施形態に係る映像解析装置のブロック図である。 本発明の一実施形態に係る映像解析装置のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の一実施形態に係る映像解析装置１のブロック図である。映像解析装置１は、カメラにより取得された映像において、追跡対象を追跡する。この映像解析装置１は、仮説生成部１０および仮説検証部２０を備える。

なお、本実施形態では、複数のカメラで映像が取得され、これら複数のカメラ間のキャリブレーションに必要なパラメータも取得されているものとする。

［仮説生成部１０の構成および動作］
仮説生成部１０は、カメラにより取得された映像から、追跡対象の候補を決定して、追跡対象の仮説を立てる。この仮説生成部１０は、追跡対象検出部１１および時間伝搬部１２を備える。

（追跡対象検出部１１の構成および動作）
追跡対象検出部１１は、追跡対象の候補を１つ以上仮定する。この追跡対象検出部１１は、単一フレーム処理または複数フレーム処理を行う。

まず、上述の単一フレーム処理について、以下に説明する。

例えばボールを追跡対象とした場合、ボールの色は競技によって異なる。また、同一のボールであっても、背景の色や日照条件といった撮影環境に応じて、映像内におけるボールの色情報が変化する。

そこで、単一フレーム処理では、追跡対象検出部１１は、まず、追跡対象を追跡する環境において取得された映像の中から、追跡対象を含む画像領域を、複数フレーム（例えば、５フレームから１０フレーム）に亘って予め切り出しておく。

追跡対象検出部１１は、次に、切り出した画像領域のそれぞれについて、色情報の平均値Ａｖｅ_ｎと、色情報の分散値Ｖａｒ_ｎと、を予め算出しておく。なお、ｎは、色空間（例えば、ＲＧＢ、ＹＵＶ、ＣＩＥ Ｌ＊ａ＊ｂなど）における色成分のそれぞれを示し、例えば処理フレームがＲＧＢ色空間で表現されている場合には、ｎ＝０を赤、ｎ＝１を緑、ｎ＝２を青としてもよい。

追跡対象検出部１１は、次に、処理フレームにおける画素ごとに、追跡対象の候補となる色情報を以下の数式（３）により求める。

数式（３）において、ｃｏｌ_ｎ（ｘ、ｙ）は、処理フレームにおける各画素の色成分ごとの色情報を示す。ｏｆｆｓｅｔ_ｎは、色成分ごとのオフセット値を示し、ゼロであってもよい。

追跡対象検出部１１は、次に、処理フレームにおける各画素のうち全てのｎにおいてＩ_ｎ（）＝１を満たす画素を、追跡対象の候補となる色情報を有している画素であると判定する。

追跡対象検出部１１は、次に、処理フレームにおいて、追跡対象の候補となる色情報を有していると判定した画素を含む領域のそれぞれに対してラベリングを施し、ラベルの画素数ｌａｂｅｌ_ｉが、以下の数式（４）を満たすか否かを判定する。言い換えると、追跡対象検出部１１は、処理フレームにおいて、全てのｎにおいてＩ_ｎ（）＝１を満たす画素が密集している領域を検索して、見つけた領域の画素数が以下の数式（４）を満たすか否かを判定する。

数式（４）において、Ｔｈ_ｍｉｎおよびＴｈ_ｍａｘは、予め定められた閾値を示す。具体的には、Ｔｈ_ｍｉｎは、追跡対象を表示する画素の数の下限値を示し、Ｔｈ_ｍａｘは、追跡対象を表示する画素の数の上限値を示す。

追跡対象検出部１１は、次に、数式（４）を満たすと判定したラベルの全てを、追跡対象の候補として仮定して、仮定した追跡対象の候補のそれぞれの状態ベクトルＸ_ｋを取得する。なお、追跡対象の候補の状態ベクトルＸ_ｋは、以下の数式（５）により表すことができる。

数式（５）において、ｘ_ｋは、ｋフレームにおける追跡対象の候補のｘ座標を示し、ｙ_ｋは、ｋフレームにおける追跡対象の候補のｙ座標を示し、ｚ_ｋは、ｋフレームにおける追跡対象の候補のｚ座標を示す。ｘ_ｋ・（ただし、「・」はｘの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｘ軸方向の速度を示し、ｙ_ｋ・（ただし、「・」はｙの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｙ軸方向の速度を示し、ｚ_ｋ・（ただし、「・」はｚの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｚ軸方向の速度を示す。ｘ_ｋ・・（ただし、「・・」はｘの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｘ軸方向の加速度を示し、ｙ_ｋ・・（ただし、「・・」はｙの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｙ軸方向の加速度を示し、ｚ_ｋ・・（ただし、「・・」はｚの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｚ軸方向の加速度を示す。

なお、ｙ軸は、鉛直方向に延在するものとする。また、ｚ軸は、鉛直方向と直交する平面上において奥行方向に延在するものとする。また、ｘ軸は、鉛直方向と直交する平面上においてｚ軸と直交する方向に延在するものとする。

次に、上述の複数フレーム処理について、以下に説明する。

例えばボールを追跡対象とした場合、映像に対するボールの大きさは非常に小さいため、ボールの色に似た色のオブジェクトが複数存在していると、ボールを識別するのが困難である。また、練習に用いられていないボールが映像中に存在している場合、追跡対象を認識する上で、練習に用いられていないボールの影響を受けやすい。

そこで、複数フレーム処理では、追跡対象検出部１１は、まず、（ｔ−１）フレームとｔフレームとの差分画像を生成し、閾値処理によって２値画像を得る。

追跡対象検出部１１は、次に、ｔフレームと（ｔ＋１）フレームとの差分画像を生成し、閾値処理によって２値画像を得る。

追跡対象検出部１１は、次に、上述の２つの２値画像を比較して、これら２つの２値画像の両方において真である領域を、動体領域として抽出する。

追跡対象検出部１１は、次に、抽出した動体領域のそれぞれに対してラベリングを施し、ラベルの画素数ｌａｂｅｌ_ｉが、上述の数式（４）を満たすか否かを判定する。

追跡対象検出部１１は、次に、数式（４）を満たすと判定したラベルの全てを、追跡対象の候補として仮定して、仮定した追跡対象の候補のそれぞれの状態ベクトルＸ_ｋを取得する。

（時間伝搬部１２の構成および動作）
時間伝搬部１２は、追跡対象検出部１１により仮定された追跡対象の候補を選別して、追跡対象の候補を決定する。この時間伝搬部１２は、追跡対象候補位置予測処理および追跡対象決定処理を行う。

まず、上述の追跡対象候補位置予測処理について、以下に説明する。

追跡対象候補位置予測処理では、時間伝搬部１２は、追跡対象検出部１１により追跡対象の候補を仮定したフレームをｋとすると、この追跡対象の候補の（ｋ＋１）フレームでの位置を予測する。この予測では、カルマンフィルタの予測と修正とを以下の数式（６）から（１６）を用いて繰り返して、後述のＦ_ｋ、Ｇ_ｋ、Ｈ_ｋ、Ｑ_ｋ、Ｒ_ｋのそれぞれの更新を繰り返し、追跡対象の候補の（ｋ＋１）フレームでの位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）を予測する。

数式（６）において、Ｘ_ｋ＋１は、（ｋ＋１）フレームにおける追跡対象の候補の状態ベクトルを示す。Ｇ_ｋは、時間遷移に関する雑音モデルの行列を示し、カメラで取得された映像から得ることの難しい風や揚力などの影響を、追跡対象の候補に対して与えるためのノイズを表す。ω_ｋは、平均ゼロの正規分布に従うプロセスノイズの共分散行列Ｑ_ｋを示し、上述のノイズの雑音を表す。Ｆ_ｋは、時間遷移に関するモデルの行列を示し、以下の数式（７）で求められる。

数式（７）において、ｆ_１１は、以下の数式（８）で表すことができ、ｆ_１２は、以下の数式（９）で表すことができ、ｆ_１３は、以下の数式（１０）で表すことができ、ｆ_１４は、以下の数式（１１）で表すことができる。ｆ_２１は、以下の数式（１２）で表すことができ、ｆ_２２は、以下の数式（１３）で表すことができ、ｆ_２３は、以下の数式（１４）で表すことができ、ｆ_２４は、以下の数式（１５）で表すことができる。

数式（８）から（１１）において、Δｔは、データの取得周期（フレームレート）を示す。数式（１２）から（１５）において、ｍは、追跡対象の質量を示し、ｐは、空気密度を示し、Ｃ_ｄは、抗力係数を示し、Ａは、追跡対象の前面投影面積を示す。

また、フレームｋにおいて、観測される追跡対象の位置Ｚ_ｋは、以下の数式（１６）を満たすものとする。

数式（１６）において、Ｈ_ｋは、状態空間から観測空間に変換するモデルの行列であり、ｖ_ｋは、平均ゼロの正規分布に従うプロセスノイズの共分散行列Ｒ_ｋを示す。

なお、上述のｘ_ｋ・・、ｙ_ｋ・・、ｚ_ｋ・・のそれぞれは、物体に一様に重力および抗力が働くと仮定した運動方程式をオイラー法で求めることで得られる式により、求めることができる。この式の導出については、数式（３０）から（３２）を用いて後述する。

なお、予測した（ｋ＋１）フレームでの追跡対象の候補の位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）が地面の下を示した場合、すなわちｙ_ｋ＋１がマイナスの値である場合には、追跡対象が地面でバウンドしたものとして、以下の数式（１７）から（１９）を用いてＦ_ｋの加速度成分を求め直し、位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）の予測をやり直す。

数式（１７）から（１９）において、ｘ’_ｋ＋１・（ただし、「・」はｘの直上にあるものとする）は、バウンド後の追跡対象の候補のｘ軸方向の速度を示し、ｙ’_ｋ＋１・（ただし、「・」はｙの直上にあるものとする）は、バウンド後の追跡対象の候補のｙ軸方向の速度を示し、ｚ’_ｋ＋１・（ただし、「・」はｚの直上にあるものとする）は、バウンド後の追跡対象の候補のｚ軸方向の速度を示す。ｅは、追跡対象と地面との間の反発係数を示し、λは、追跡対象と地面との間の滑り摩擦係数を示す。

ｙ_ｋ＋１がマイナスの値である場合、時間伝搬部１２は、具体的には、まず、数式（１７）から（１９）により、ｘ軸方向の速度、ｙ軸方向の速度、およびｚ軸方向の速度を求める。次に、数式（１３）の１行目の要素を、ｘ軸方向の加速度として求め、数式（１４）の２行目の要素を、ｙ軸方向の加速度として求め、数式（１５）の３行目の要素を、ｚ軸方向の加速度として求める。次に、数式（６）により、位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）の予測をやり直す。

次に、上述の追跡対象決定処理について、以下に説明する。

追跡対象決定処理では、時間伝搬部１２は、まず、（ｋ＋１）フレームの映像において追跡対象の候補が実際に出現するのは、追跡対象候補位置予測処理により予測した（ｋ＋１）フレームでの追跡対象の候補の位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）の近傍であるものと仮定する。そして、位置（ｘ_ｋ＋１、ｙ_ｋ＋１、ｚ_ｋ＋１）を中心とする探索範囲Ｔｈ_ｄｉｓｔの範囲内に対して、上述の単一フレーム処理または上述の複数フレーム処理を行う。この結果、追跡対象の候補を１つ探索することができた場合には、時間的に連続した追跡対象の候補である、言い換えると探索できた追跡対象の候補は実際の追跡対象であろうと判定し、探索できた追跡対象の候補を、追跡対象の候補として決定する。また、上述の結果、追跡対象の候補を２つ以上探索することができた場合には、探索できた追跡対象の候補の全てを、追跡対象の候補として仮定する。

以上によれば、仮説生成部１０により、追跡対象の候補が決定され、追跡対象の仮説が立てられることになる。

［仮説検証部２０の構成および動作］
仮説検証部２０は、仮説生成部１０により決定された追跡対象の候補について、追跡対象としての妥当性を検証して、仮説生成部１０により立てられた仮説を検証する。この仮説検証部２０は、空間的信頼度計算部２１、時間的信頼度計算部２２、および判断部２３を備える。

（空間的信頼度計算部２１の構成および動作）
まず、空間的信頼度計算部２１について、以下に説明する。

追跡対象がカメラに近づいている場合には、カメラで取得された映像において、追跡対象の大きさは大きくなる。一方、追跡対象がカメラから遠ざかっている場合には、カメラで取得された映像において、追跡対象の大きさは小さくなる。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの大きさは、フレームごとに一定の割合で変化していくと仮定することができる。

そこで、空間的信頼度計算部２１は、以下の数式（２０）を用いて、仮説生成部１０により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲ（Spatial Reliability）を算出する。

数式（２０）において、ｋは、フレーム番号を示し、ｉは、仮説生成部１０により決定された追跡対象の候補のそれぞれを区別するための添字を示す。Ｓ_ｉ、ｋは、ｋフレームにおいて追跡対象の候補ｉを表示する画素の数を表したものを示す。Ｋは、追跡対象を継続して追跡することのできたフレーム数を示す。

ここで、数式（２０）を用いた空間的信頼度ＳＲの算出は、仮説生成部１０により決定された追跡対象の候補ごとに、追跡対象に対して運動を加えるオブジェクト（例えば、上述の選手）から追跡対象の候補までの距離が閾値Ｔｈ_{ｈｕｍａｎ}以下になるまで繰り返される。

なお、追跡対象に対して運動を加えるオブジェクトは、空間的信頼度計算部２１により、以下の第１の処理および第２の処理を行って認識される。第１の処理では、空間的信頼度計算部２１は、上述のオブジェクトが存在していない状態でカメラにより取得された映像と、このオブジェクトが存在している状態でカメラにより取得された映像と、の差分画像を生成し、閾値処理によって２値画像を得てラベリングを施す。第２の処理では、空間的信頼度計算部２１は、ラベルの画素数ｌａｂｅｌ_ｏｂｊが以下の数式（２１）を満たすラベルを、上述のオブジェクトとして認識する。

数式（２１）において、Ｔｈ_{ｈｕｍａｎ，ｍｉｎ}およびＴｈ_{ｈｕｍａｎ，ｍａｘ}は、予め定められた閾値を示す。具体的には、Ｔｈ_{ｈｕｍａｎ，ｍｉｎ}は、上述のオブジェクトを表示する画素の数の下限値を示し、Ｔｈ_{ｈｕｍａｎ，ｍａｘ}は、上述のオブジェクトを表示する画素の数の上限値を示す。

（時間的信頼度計算部２２の構成および動作）
次に、時間的信頼度計算部２２について、以下に説明する。

上述のオブジェクトにより運動を加えられた追跡対象は、運動法則に従って移動する。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの位置は、フレームごとに一定の距離ずつ変化していくと仮定することができる。

このため、上述のオブジェクトにより運動を加えられた追跡対象が空中を移動している場合、この追跡対象には、移動方向と逆向きに抗力が作用するとともに、移動方向と直角方向に揚力が作用し、鉛直方向に重力が作用する。このため、追跡対象に対して、以下の数式（２２）から（２５）に示す運動方程式が成り立つ。なお、追跡対象のスピン量は、追跡対象に作用する揚力を求めるために必要であるが、カメラにより取得された映像から求めることは困難であるため、本実施形態では求めないものとする。

数式（２２）から（２５）において、ａ_ｘは、追跡対象のｘ軸方向の加速度を示し、ａ_ｙは、追跡対象のｙ軸方向の加速度を示し、ａ_ｚは、追跡対象のｚ軸方向の加速度を示す。Ｖは、追跡対象の速度成分を示し、Ｖ_ｘは、追跡対象のｘ軸方向の速度を示し、Ｖ_ｙは、追跡対象のｙ軸方向の速度を示し、Ｖ_ｚは、追跡対象のｚ軸方向の速度を示す。ｇは、重力加速度を示す。

ここで、時刻ｔにおいて位置ｘ（ｔ）に存在している追跡対象がΔｔ後の時刻（ｔ＋１）において位置ｘ（ｔ＋１）に移動しているものとすると、時刻ｔから時刻（ｔ＋１）までに間における追跡対象の速度は、以下の数式（２６）により表すことができる。

数式（２６）は、ｘ軸方向についての数式であるが、ｙ軸方向およびｚ軸方向について、数式（２６）と同様の数式がそれぞれ成り立つ。そこで、数式（２６）と、ｙ軸方向についての数式（２６）と同様の数式と、ｚ軸方向についての数式（２６）と同様の数式と、をそれぞれオイラー法で解くと、以下の数式（２７）から（２９）が得られる。

また、時刻（ｔ＋１）における追跡対象の加速度は、以下の数式（３０）から（３２）で表すことができ、時刻（ｔ＋１）における追跡対象の速度は、以下の数式（３３）から（３５）で表すことができる。

以上より、追跡対象に対して運動を加えるオブジェクトの近傍から最初に抽出された追跡対象の位置を（ｘ_０、ｙ_０）とすると、Δｔ後の追跡対象の位置を用いて追跡対象の速度（Ｖ_ｘ０、Ｖ_ｙ０、Ｖ_ｚ０）を求め、上述の数式（２２）から（３５）を繰り返し解くことで、次フレームにおける追跡対象の位置（ｐ_ｘ、ｐ_ｙ、ｐ_ｚ）を予測することができる。

そこで、時間的信頼度計算部２２は、上述の数式（２２）から（３５）を繰り返し解き、以下の数式（３６）を用いて、仮説生成部１０により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲ（Temporal Reliability）を算出する。

数式（３６）において、（ａ_ｘ、ａ_ｙ、ａ_ｚ）は、次フレームにおける追跡対象の観測値（絶対座標（グローバル座標））を示す。

（判断部２３の構成および動作）
次に、判断部２３について、以下に説明する。

判断部２３は、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成部１０により決定された追跡対象の候補が追跡対象であるか否かを判断する。具体的には、判断部２３は、以下の数式（３７）（３８）のうち少なくともいずれかを満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。これによれば、棄却された仮説において仮説生成部１０により決定された追跡対象の候補は、追跡対象ではないと判定されることになる。

数式（３７）（３８）において、Ｔｈ_ｓｒおよびＴｈ_ｔｒは、予め定められた閾値を示す。

なお、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（３９）を用いてもよい。数式（３９）を用いる場合には、判断部２３は、数式（３９）を満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。

数式（３９）において、ω_０およびω_１は、重み係数を示し、Ｔｈ_{ｒｅｊｅｃｔ}は、予め定められた閾値を示す。

また、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（４０）（４１）を用いてもよい。数式（４０）（４１）を用いる場合には、判断部２３は、数式（４０）（４１）のうち少なくともいずれかを満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。

数式（４０）（４１）において、ω_{ｃｏｎｔｉｎｕｅ}は、以下の数式（４２）により求めることができる。このω_{ｃｏｎｔｉｎｕｅ}は、追跡対象を継続して追跡することのできたフレーム数が大きくなるに従って小さくなる係数を示す。このω_{ｃｏｎｔｉｎｕｅ}によれば、追跡対象を継続して追跡することのできたフレーム数が大きくなるに従って、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説の信頼性が高いものとして扱うことができる。

数式（４２）において、μおよびβは、フレーム数だけＳＲ、ＴＲを減衰させるための定数を示す。μは、例えばμ＞０を満たすものとし、βは、例えば０＜β≦１を満たすものとしてもよい。

また、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（４３）を用いてもよい。数式（４３）を用いる場合には、判断部２３は、数式（４３）を満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。

以上によれば、仮説検証部２０により、仮説生成部１０により立てられた仮説が検証され、追跡対象としての信頼性が低い仮説が棄却されることになる。

なお、映像解析装置１は、追跡対象と、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説と、が１対１の関係になるまで、仮説生成部１０および仮説検証部２０による上述の処理を繰り返す。これによれば、追跡対象と１対１の関係になった仮説に関する追跡対象の候補が、実際の追跡対象であるとして追跡されることになる。なお、ｙ座標が閾値以下になった場合には、追跡対象が上述のようにバウンドする可能性があるため、仮説生成部１０および仮説検証部２０による処理の対象外としてもよい。

図２は、映像解析装置１のフローチャートである。

ステップＳ１において、映像解析装置１は、追跡対象検出部１１により、追跡対象の候補を１つ以上仮定し、ステップＳ２に処理を移す。

ステップＳ２において、映像解析装置１は、時間伝搬部１２により、ステップＳ１において仮定した追跡対象の候補を選別して、追跡対象の候補を決定し、ステップＳ３に処理を移す。

ステップＳ３において、映像解析装置１は、空間的信頼度計算部２１により、空間的信頼度ＳＲを算出し、ステップＳ４に処理を移す。

ステップＳ４において、映像解析装置１は、時間的信頼度計算部２２により、時間的信頼度ＴＲを算出し、ステップＳ５に処理を移す。

ステップＳ５において、映像解析装置１は、判断部２３により、ステップＳ３において算出した空間的信頼度ＳＲと、ステップＳ４において算出した時間的信頼度ＴＲと、に基づいて、ステップＳ２において決定した追跡対象の候補が追跡対象であるか否かを判断して、ステップＳ６に処理を移す。

ステップＳ６において、映像解析装置１は、判断部２３により、追跡対象と、ステップＳ５において追跡対象ではないとは判断しなかった追跡対象の候補と、が１対１の関係にあるか否かを判定する。１対１の関係にあると判定した場合には、図２に示した処理を終了し、追跡対象と１対１の関係にあると判定した追跡対象の候補が、実際の追跡対象であるとして追跡されることになる。１対１の関係にないと判定した場合には、ステップＳ１に処理を戻す。

以上の映像解析装置１によれば、以下の効果を奏することができる。

映像解析装置１は、判断部２３により、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成部１０により決定された追跡対象の候補が追跡対象であるか否かを判断する。このため、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定と、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定と、を追跡対象の候補がどれだけ満たしているかに応じて、追跡対象を見つけることができる。したがって、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、上述の２つの仮定を用いて追跡対象を高精度に追跡することができる。

また、映像解析装置１は、数式（２０）を用いて空間的信頼度ＳＲを算出することができる。

また、映像解析装置１は、数式（３６）を用いて時間的信頼度ＴＲを算出することができる。

また、映像解析装置１は、判断部２３により、閾値Ｔｈ_ｓｒや閾値Ｔｈ_ｔｒを用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。

また、映像解析装置１は、判断部２３により、閾値Ｔｈ_{ｒｅｊｅｃｔ}を用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することもできる。

また、映像解析装置１は、判断部２３により、係数ω_{ｃｏｎｔｉｎｕｅ}を用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することもできる。このため、追跡対象として判断したフレーム数が大きくなるに従って、追跡対象の候補が追跡対象であるとする信頼性を高くすることができる。

なお、本発明の映像解析装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像解析装置１に読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像解析装置１に設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した映像解析装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像解析装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、複数のカメラで映像が取得されるものとしたが、これに限らず、１つのカメラで映像が取得されるものとしてもよい。

また、上述の実施形態では、追跡対象検出部１１は、複数フレーム処理において動体領域を抽出する際に、２つの２値画像を用いることとした。しかし、これに限らず、１つの２値画像を用いることとしてもよい。ただし、１つの２値画像を用いる場合には、追跡対象が小さい場合に、追跡対象とノイズとの判別が困難になる可能性がある。このため、２つの２値画像を用いた方が、１つの２値画像を用いる場合と比べて、動体領域をより正確に抽出することが可能になる。

１・・・映像解析装置
１０・・・仮説生成部
１１・・・追跡対象検出部
１２・・・時間伝搬部
２０・・・仮説検証部
２１・・・空間的信頼度計算部
２２・・・時間的信頼度計算部
２３・・・判断部

Claims (8)

1. 映像中の追跡対象を追跡する映像解析装置であって、
   前記映像から、追跡対象の候補を決定する仮説生成手段と、
   前記仮説生成手段により決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する仮説検証手段と、を備え、
   前記仮説検証手段は、
   前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める空間的信頼度計算手段と、
   前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める時間的信頼度計算手段と、
   前記空間的信頼度計算手段により求められた空間的信頼度ＳＲと、前記時間的信頼度計算手段により求められた時間的信頼度ＴＲと、に基づいて、前記仮説生成手段により決定された追跡対象の候補が前記追跡対象であるか否かを判断する判断手段と、を備えることを特徴とする映像解析装置。
2. ｋを、フレーム番号とし、
   ｉを、前記仮説生成手段により決定された追跡対象の候補のそれぞれを区別するための添字とし、
   Ｓ_ｉ、ｋを、ｋフレームにおいて追跡対象の候補ｉを表示する画素数とし、
   Ｋを、前記判断手段により前記追跡対象であると連続して判断されたフレーム数として、
   前記空間的信頼度計算手段は、以下の数式（１）により、前記空間的信頼度ＳＲを算出することを特徴とする請求項１に記載の映像解析装置。
   

   
3. ｋを、フレーム番号とし、
   ａ_ｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の観測値とし、
   ａ_ｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の観測値とし、
   ａ_ｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の観測値とし、
   ｐ_ｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の予測値とし、
   ｐ_ｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の予測値とし、
   ｐ_ｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の予測値として、
   前記時間的信頼度計算手段は、以下の数式（２）により、前記時間的信頼度ＴＲを算出することを特徴とする請求項１または２に記載の映像解析装置。
   

   
4. 前記判断手段は、
   前記空間的信頼度ＳＲが、予め定められた第１の閾値より大きいことと、
   前記時間的信頼度ＴＲが、予め定められた第２の閾値より大きいことと、
   のうち少なくともいずれかを満たす場合、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする請求項１から３のいずれかに記載の映像解析装置。
5. 前記判断手段は、前記空間的信頼度ＳＲと前記時間的信頼度ＴＲとの加算結果が、予め定められた第３の閾値より大きい場合、当該空間的信頼度ＳＲおよび当該時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする請求項１から３のいずれかに記載の映像解析装置。
6. 前記判断手段は、前記追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲのうち少なくともいずれかに乗算することを特徴とする請求項４または５に記載の映像解析装置。
7. 空間的信頼度計算手段、時間的信頼度計算手段、および判断手段を有する仮説検証手段と、仮説生成手段と、を備え、映像中の追跡対象を追跡する映像解析装置における映像解析方法であって、
   前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、
   前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、
   前記第２のステップは、
   前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、
   前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、
   前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、を備えることを特徴とする映像解析方法。
8. 空間的信頼度計算手段、時間的信頼度計算手段、および判断手段を有する仮説検証手段と、仮説生成手段と、を備え、映像中の追跡対象を追跡する映像解析装置における映像解析方法を、コンピュータに実行させるためのプログラムであって、
   前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、
   前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、
   前記第２のステップは、
   前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、
   前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、
   前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、をコンピュータに実行させるためのプログラム。

Images