JP2021157299A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】画像に記録される被写体に関する情報を取得することができる情報処理装置、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理装置は、少なくとも２つの時間的に異なるそれぞれの画像に基づいて被写体を囲う第１認識枠を生成する認識部と、複数の第１認識枠と、その第１認識枠の中心位置と、画像の基準線とに基づいて、認識部によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測部と、第２認識枠に応じて被写体の正面の外形に応じた正面枠と背面枠とを生成する生成部と、定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、を備える。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、カメラで撮像した画像に記録される被写体を追跡する技術が存在する。特許文献１に記載された技術は、複数のカメラそれぞれで同一時刻に撮像されたフレームから被写体を検出し、フレーム内の物体の位置に基づいて実空間における物体の位置を算出する。特許文献１に記載された技術は、算出された被写体の位置に基づいて、次のフレームでの被写体の位置を予測する。

特開２０１９−１０９７６５号公報

特許文献１に記載された技術は、フレームに記録される被写体を追跡するものであり、被写体の追跡を以外のその他の情報を取得できてはない。また、特許文献１に記載された技術は、複数のカメラが必要になるため、複数のカメラを設置するコスト及び手間が必要になる。さらに、設置場所の状況によっては、複数のカメラを設置できない場合もある。

本発明は、画像に記録される被写体に関する情報を取得することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

一態様の情報処理装置は、時間的に連続して被写体を撮像して画像データを生成する定点撮像部と、定点撮像部によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識部と、複数の第１認識枠と、当該複数の第１認識枠の中心位置と、定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測部と、予測部によって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成部と、定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、を備える。

一態様の情報処理装置は、生成部によって生成された正面枠及び背面枠に基づいて、被写体の重心位置を取得する重心取得部と、重心取得部によって取得された重心位置を所定の座標系に変換することにより、被写体の位置を取得する位置取得部と、を備えることとしてもよい。

一態様の情報処理装置は、重心取得部によって取得された時間毎の被写体の複数の重心位置の変化に基づいて被写体の速度を取得する速度取得部を備えることとしてもよい。

一態様の情報処理装置は、サイズ取得部によって取得された被写体のサイズ、位置取得部によって取得された被写体の位置、及び、速度取得部によって取得された被写体の速度のうち、少なくとも１つを出力する出力部を備えることとしてもよい。

一態様の情報処理装置では、認識部は、画像上において被写体を囲う矩形の枠を第１認識枠として生成することとしてもよい。

一態様の情報処理装置では、予測部は、画像上において被写体を囲う矩形の枠を第２認識枠として生成することとしてもよい。

一態様の情報処理装置では、予測部は、基準線として、画像データに基づく画像の水平方向に延びる線を設定し、基準線の所定位置を端点として設定し、当該端点から複数の第１認識枠の各中心位置を通る中心線上を中心位置として第２認識枠を生成することとしてもよい。

一態様の情報処理装置では、生成部は、所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体が位置する場合、画像に対して第２認識枠の左下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第２認識枠の右上にある頂点に接するように矩形の背面枠を生成することとしてもよい。

一態様の情報処理装置では、生成部は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体が位置する場合、画像に対して第２認識枠の右下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第２認識枠の左上にある頂点に接するように矩形の背面枠を生成することとしてもよい。

一態様の情報処理装置では、サイズ取得部は、定点撮像部において生成される画像データに基づく画像内の位置と、当該位置における定点撮像部からの距離とを予め対応付けた結果に基づいて、定点撮像部から被写体までの距離を取得することとしてもよい。

一態様の情報処理方法では、コンピュータが、時間的に連続して被写体を撮像して画像データを生成する定点撮像ステップと、定点撮像ステップによって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識ステップと、複数の第１認識枠と、当該複数の第１認識枠の中心位置と、定点撮像ステップによって撮像される画像データに基づく画像の基準線とに基づいて、認識ステップによって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測ステップと、予測ステップによって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成ステップと、定点撮像ステップから被写体までの距離と、画像データに基づく画像のサイズと、生成ステップによって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得ステップと、を実行する。

一態様の情報処理プログラムは、コンピュータに、時間的に連続して被写体を撮像して画像データを生成する定点撮像機能と、定点撮像機能によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識機能と、複数の第１認識枠と、当該複数の第１認識枠の中心位置と、定点撮像機能によって撮像される画像データに基づく画像の基準線とに基づいて、認識機能によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測機能と、予測機能によって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成機能と、定点撮像機能から被写体までの距離と、画像データに基づく画像のサイズと、生成機能によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得機能と、を実現させる。

一態様の情報処理装置は、少なくとも２つの時間的に異なるそれぞれの画像に基づいて被写体を囲う第１認識枠を生成する認識部と、複数の第１認識枠と、その複数の第１認識枠の中心位置と、定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測部と、第２認識枠に応じて被写体の正面の外形に応じた正面枠と背面枠とを生成する生成部と、定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、を備えるので、画像に記録される被写体に関する情報を取得することができる。
また、一態様の情報処理方法及び情報処理プログラムは、一態様の情報処理装置と同様の効果を奏することができる。

一実施形態に係る情報処理装置について説明するためのブロック図である。 画像位置情報を取得する場合の説明に用いるための図である。 定点撮像部で撮像される画像の一例について説明するための図である。 Ｙ座標とピクセル数との関係を示すグラフである。 画像位置情報の一例について説明するためのグラフである。 Ｙ座標と画像の幅の比率との関係を示すグラフである。 第１〜９設定部について説明するためのブロック図である。 第１認識枠及び第２認識枠の一例について説明するための図である。 第１認識枠及び第２認識枠それぞれの中心位置について説明するための図である。 正面枠及び背面枠の一例について説明するための図である。 重心位置について説明するための図である。 被写体の速度を取得する際の重心位置の変化について説明するための図である。 一実施形態に係る情報処理方法であって、画像位置情報を取得する方法ついて説明するためのフローチャートである。 一実施形態に係る情報処理方法であって、被写体に関する情報を取得する方法について説明するためのフローチャートである。

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

図１は、一実施形態に係る情報処理装置１について説明するためのブロック図である。
情報処理装置１は、定点撮像部２１によって動画又は時間的に連続した静止画を撮像することにより生成された画像データに基づいて被写体２０１（図８，１０参照）を撮像する。被写体２０１は、例えば、一定の動きをする物体である。一定の動きをする物体には、略一定の動きをする物体も含まれ、例えば、直線的（略直線的）に移動する車両、人物及び動物等である。具体的な一例として、被写体２０１は、直線道路等を移動する物体であってよい。なお、被写体２０１は、移動する物体に限られず、静止する物体（例えば、車両、人物及び動物等）であってもよい。

情報処理装置１は、例えば、定点撮像部２１によって撮像された時間的に異なる同一の被写体２０１について物体認識を行い、その被写体２０１を囲う認識枠（第１認識枠２１０（図８参照））（ＲＯＩ：Ｒｅａｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を時間毎に複数生成する。情報処理装置１は、複数の第１認識枠２１０を利用して、それらの第１認識枠２１０を生成する際の基となる画像（フレーム又は静止画）を撮像した時間（例えば、過去の時間）よりも先となる時間（例えば、現在時間又は将来の時間）における被写体２０１の位置を予測して、その予測の位置に認識枠（第２認識枠２２０（図８参照））を生成する。情報処理装置１は、第１認識枠２１０及び第２認識枠２２０を利用して、被写体２０１のサイズ（例えば、垂直方向、横方向及び奥行方向の長さ）、被写体２０１の位置（例えば、現在の位置及び過去の位置等）、定点撮像部２１から被写体２０１までの距離及び被写体２０１の速度を取得する。

以下、情報処理装置１について詳細に説明する。
情報処理装置１は、定点撮像部２１、記憶部２２、設定部１２、認識部１３、予測部１４、生成部１５、サイズ取得部１６、重心取得部１７、位置取得部１８、速度取得部１９及び出力制御部２０を備える。設定部１２、認識部１３、予測部１４、生成部１５、サイズ取得部１６、重心取得部１７、位置取得部１８、速度取得部１９及び出力制御部２０は、情報処理装置１の制御部１１（一例として、演算処理装置）の一機能として実現されてもよい。上述した記憶部２２の他に、後述する通信部２３及び表示部２４は、本発明の「出力部」の一実施形態を構成してもよい。

定点撮像部２１は、時間的に連続して被写体を撮像して画像データを生成する。定点撮像部２１は、動画、又は、所定時間ごとに連続して静止画を撮像して動画データを生成する。定点撮像部２１は、所定の場所に配置されて、所定の方向を撮像する。
定点撮像部２１は、地面に固定されたポール等に設置され、又は、移動可能な三脚等に設置される。定点撮像部２１は、移動可能な三脚等に設置された場合、その三脚と共に移動させることが可能である。これにより、定点撮像部２１は、ユーザの所望の場所に容易に配置され、またユーザが必要とする期間のみ所望の場所に配置されることができる。

定点撮像部２１は、例えば、発電パネル（図示せず）又は電源（図示せず）の少なくとも一方から給電される。
発電パネルは、光を受けて発電を行う。発電パネルは、エネルギハーベスティング技術を利用したデバイス、すなわち、周囲の環境のエネルギを収穫して電力に変換するデバイスであってもよい。具体的な一例として、発電パネルは、太陽電池パネルであってよい。発電パネルで発電された電力は、例えば、バッテリなどに蓄電して、そのバッテリから定点撮像部２１に給電してもよい。
電源は、例えば、一次電池、二次電池又は商用電源等である。電源として一次電池又は二次電池が用いられる場合、その一次電池又は二次電池が交換可能なように定点撮像部２１に配される。また、電源として二次電池が用いられる場合、その二次電池が充電可能なように定点撮像部２１に配されてもよい。
なお、発電パネル又は電源は、定点撮像部２１の他に、制御部等に給電してもよい。

記憶部２２は、種々の情報及びプログラム等を記憶する装置である。記憶部２２は、被写体と、その被写体の特徴とを対応付けた対応関係（学習モデル）を記憶する。対応関係は、認識部１３において被写体を認識するときに用いられる。対応関係は、一例として、深層学習等が行われることにより生成される。すなわち、対応関係は、深層学習等が行われることに基づいて被写体の特徴が学習され、被写体と、被写体の特徴との関係を対応付けることにより生成される。学習モデルは、定点撮像部２１によって生成された画像データに基づいて制御部１１が生成してもよく、後述する通信部２３を介して外部装置（例えば、サーバ等）（図示せず）から取得してもよい。
また、記憶部２２は、定点撮像部２１において生成される画像データに基づく画像（フレーム又は静止画）内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた関係（画像位置情報）を記憶する。画像位置情報の生成方法については、後述する。

通信部２３は、外部装置（例えば、サーバ等）（図示せず）との間で情報の送受信が可能な装置である。

設定部１２は、後述する各部（機能）において、被写体２０１のサイズ、被写体２０１の位置、定点撮像部２１から被写体２０１までの距離及び被写体２０１の速度を取得するために、前段階となる設定を行う。すなわち、定点撮像部２１において生成される画像データに基づく画像（フレーム又は静止画）内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた関係を設定する。

まず、画像位置情報を取得する構成について説明する。情報処理装置１は、画像位置情報を予め取得しておくことにより、後述するように被写体２０１に関する被写体情報、すなわち、被写体２０１のサイズ、被写体２０１の位置、定点撮像部２１から被写体２０１までの距離及び被写体２０１の速度を取得することが可能になる。

まず、定点撮像部２１の撮像範囲内において物体（一例として、人物等）を移動させる。以下では、設定部１２によって設定が行われる際の物体の一例として「人物」を例示して説明する。この際、設定部１２は、定点撮像部２１によって生成された画像データに記録される人物の高さと、定点撮像部２１の画角とに基づいて、画像データ内の画像位置情報を設定する。すなわち、設定部１２は、定点撮像部２１によって撮像される画像に基づいて、画像内の位置に関する情報（画像位置情報）を取得する。詳しくは、設定部１２は、定点撮像部２１によって撮像された画像データに基づいて、後述する認識部１３が人物を認識した場合、人物の高さと、定点撮像部２１の画角とに基づいて、定点撮像部２１で撮像される画像内の位置情報（画像位置情報（定点撮像部２１から人物までの距離に関る情報））を取得する。

図２は、画像位置情報を取得する場合の説明に用いるための図である。
図３は、定点撮像部２１で撮像される画像の一例について説明するための図である。
図４は、Ｙ座標とピクセル数との関係を示すグラフである。図４の横軸はＹ座標を示し、縦軸は１ｍ当たりのピクセル数を示す。ここで、定点撮像部２１で撮像される画像内における奥行方向がＹ座標であり、その画像の幅方向がＸ座標である。
図５は、画像位置情報の一例について説明するためのグラフである。図５の横軸はＹ座標を示し、縦軸は、定点撮像部２１が配される地面の位置から任意のＹ座標の位置までの距離を示す。
図６は、Ｙ座標と画像の幅の比率との関係を示すグラフである。図６の横軸はＹ座標を示し、縦軸は画像の幅の比率を示す。
図７は、第１〜９設定部１２１〜１２９について説明するためのブロック図である。

ここで、図２では、Ｙ軸方向（Ｙ座標方向）が奥行方向になる。また、図２において、Ｙ軸方向（Ｙ座標方向）の所定位置にいる人物１１０を定点撮像部２１で撮像した場合、その所定位置における画像を符号１００ａで示す。画像１００ａの幅（Ｘ軸方向のサイズ）を符号ｗで示す。その画像１００ａの中心位置を符号Ｐｃとすると、定点撮像部２１から中心位置Ｐｃまでの距離を第１距離Ｌ１とし、中心位置Ｐｃから地面までの距離を第２距離Ｌ２とする。また、Ｙ軸方向に沿った、定点撮像部２１から画像１００ａの地面に対応する位置までの直線と、地面とのなす角を符号θとする。さらに、地面からの定点撮像部２１の高さをＨとし、定点撮像部２１が配される位置の地面位置をＰ０とし、Ｙ軸方向に沿った地面位置Ｐ０から画像１００ａまでの距離を第３距離Ｌ３とする。
設定部１２は、第３距離Ｌ３を取得して、定点撮像部２１で撮像される画像内の位置と第３距離Ｌ３とを対応付けることにより、画像位置情報を取得する。

具体的には、図７に示すように、設定部１２は、第１設定部１２１、第２設定部１２２、第３設定部１２３、第４設定部１２４、第５設定部１２５、第６設定部１２６、第７設定部１２７、第８設定部１２８及び第９設定部１２９を備える。

第１設定部１２１は、被写体の高さ、定点撮像部２１の画角及び定点撮像部２１で撮像される画像幅を予め取得する。
画像位置情報を取得するために、まず、定点撮像部２１の撮像範囲内で人物１１０を移動させる。この場合、例えば、不図示の入力装置を用いて、人物の身長（高さ）が入力される。第１設定部１２１は、入力された人物の身長を取得する。
また、第１設定部１２１は、定点撮像部２１が撮影する画角θ２を取得する。画角θ２は、例えば、不図示の入力装置を用いて入力される。第１設定部１２１は、入力された画角θ２を取得する。画角θ２は、定点撮像部２１の撮像素子（図示せず）の平面サイズ、及び、定点撮像部２１の撮像レンズ（図示せず）の焦点距離等によって定まる。
また、第１設定部１２１は、定点撮像部２１で得られる画像の幅（一例として、ピクセル数）を取得する。画像の幅（画像幅）は、例えば、不図示の入力装置を用いて入力される。

第２設定部１２２は、第１設定部１２１で取得された人物１１０の高さに基づいて、１ｍ当たりの、画像データを構成するピクセル数を取得する。
第２設定部１２２は、撮像範囲内で人物１１０を歩かせることにより、画像内の任意に位置において、定点撮像部２１で撮像される画像内での１ｍ当たりのピクセル数を取得する。すなわち、第２設定部１２２は、第１設定部１２１で取得された人の身長に基づいて画像１００ａ内における１ｍの大きさ（長さ）を取得し、さらに取得した１ｍの大きさ当たりの画像のピクセル数を取得する。
図３に例示する場合、定点撮像部２１に用いられる撮像素子（定点撮像部２１で得られる画像）のサイズは、１２８０ピクセル×９６０ピクセルである。第２設定部１２２は、図３に例示する画像に人物１１０（図３には図示せず）が記録される場合、人物１１０の高さと、撮像素子（画像）のピクセル数とに基づいて、１ｍの大きさ当たりのピクセル数を取得する。
なお、人物１１０が定点撮像部２１から遠ざかる方向に移動する場合、画像内の所定の位置において人物がその位置よりも遠ざからない無限点Ｐ１（図３参照）が存在する。画像内における無限点Ｐ１を含む水平線が基準線ＬＳとなる。

第３設定部１２３は、画像データに基づく画像の奥行方向の座標となるＹ座標と、第２設定部１２２で取得される被写体の１ｍ当たりのピクセル数との関係を取得する。
図３に例示する場合、画像の縦方向が実空間の奥行方向に対応し、その画像の縦方向の座標がＹ座標になる。また、図３に例示する場合、画像の横方向が実空間の幅方向に対応し、その画像の横方向の座標がＸ座標になる。そして、図３の左上のピクセルを原点の座標（０，０）とすると、右上のピクセルの座標が（１２８０，０）になる。図３の中心位置のピクセルの座標が（６４０，４８０）になる。図３の左下のピクセルの座標が（０，９６０）になり、右下のピクセルの座標が（１２８０，９６０）になる。

定点撮像部２１の撮像範囲内（座標（０，０）、座標（１２８０，０）、座標（１２８０，９６０）及び座標（０，９６０）で囲まれる範囲内）を、例えば、被写体（人物１１０）を縦横に歩かせることにより、第３設定部１２３は、複数のＹ座標の位置において１ｍ当たりのピクセル数を取得する。

図４に一例を示すように、第３設定部１２３によって取得されるＹ座標と１ｍ当たりのピクセル数との関係は線形になる。ここで、図２に示すように、Ｙ座標の数値は、定点撮像部２１に近づくに従って大きくなる。すなわち、Ｙ座標が大きくなるに従って（被写体が定点撮像部２１に近づくに従って）、１ｍ当たりのピクセル数は多くなる。換言すると、Ｙ座標が小さくなるに従って（被写体が定点撮像部２１から遠ざかるに従って）、１ｍ当たりのピクセル数は少なくなる。

第４設定部１２４は、第１設定部１２１によって取得された画像の幅と、第２設定部１２２で取得された１ｍ当たりのピクセル数とに基づいて所定位置における人物１１０を検出した画像１００ａの実際の幅ｗを取得する。
図２に例示するように、人物１１０がいるＹ座標の位置（Ｙ座標の方向の所定位置）における画像１００ａを考える。第４設定部１２４は、定点撮像部２１で撮像される画像の幅方向のピクセル数（図３に例示する場合では１２８０ピクセル）は第１設定部１２１によって取得されるため、１ｍ当たりのピクセル数に基づいて、そのＹ座標の所定位置における画像１００ａの幅ｗの実際の長さを取得する。

第５設定部１２５は、第４設定部１２４で取得された実際の画像の幅ｗと、第１設定部１２１で取得された画角θ２とに基づいて、定点撮像部２１から画像１００ａ内の中心位置Ｐｃまでの距離である第１距離を取得すると共に、地面から中心位置Ｐｃまでの距離である第２距離Ｌ２を取得する。
第５設定部１２５は、上述したＹ座標の所定位置における画像１００ａの幅ｗの実際の長さ、及び、定点撮像部２１の画角θ２に基づいて、定点撮像部２１から画像１００ａの中心位置Ｐｃまでの実際の距離（第１距離Ｌ１）を取得する。また、第５設定部１２５は、画像のピクセル数、１ｍ当たりのピクセル数、Ｙ座標の所定位置における画像１００ａの幅ｗの実際の長さ、及び、定点撮像部２１の画角に基づいて、画像１００ａの中心位置Ｐｃから地面までの実際の距離（第２距離Ｌ２）を取得する。

第６設定部１２６は、第５設定部１２５で取得された第１距離Ｌ１及び第２距離Ｌ２に基づいて、定点撮像部２１の撮像方向における中心線と地面とのなす角θを求める。すなわち、第６設定部１２６は、三角関数を利用することにより、第５設定部１２５で取得された第１距離Ｌ１及び第２距離Ｌ２に基づいて、地面と定点撮像部２１とのなす角θを求める。

第７設定部１２７は、第５設定部１２５で取得された第１距離Ｌ１及び第２距離Ｌ２と、第６設定部１２６で取得されたなす角θとに基づいて、地面から定点撮像部２１までの高さＨを取得する。すなわち、第７設定部１２７は、三角関数を利用することにより、第１距離Ｌ１、第２距離Ｌ２及びなす角θに基づいて、地面から定点撮像部２１までの高さＨを取得する。

第８設定部１２８は、第７設定部１２７で取得された地面から定点撮像部２１までの高さＨと、第６設定部１２６で取得されたなす角θとに基づいて、定点撮像部２１が配される撮像位置から被写体までの位置を取得し、さらに被写体のその位置を複数取得することに基づいて画像位置情報を取得する。
すなわち、第８設定部１２８は、地面から定点撮像部２１までの高さＨと、定点撮像部２１と地面とのなす角θとに基づいて、定点撮像部２１が配される地面位置Ｐ０からＹ座標の所定位置（画像１００ａ）までの距離Ｌ３を取得する。第８設定部１２８は、その距離Ｌ３と、画像内の所定位置におけるＹ座標とを対応付けることにより、画像内の位置に関する情報（画像位置情報）を取得する。また、第８設定部１２８は、人物１１０を定点撮像部２１の撮像範囲内を移動させて、撮像範囲内の任意の位置における定点撮像部２１が配される地面位置Ｐ０から被写体（人）１１０までの距離を取得することに基づいて、画像位置情報を取得する。第８設定部１２８は、画像位置情報を記憶部２２に記憶する。

画像位置情報は、定点撮像部２１で撮像される画像内の任意のピクセルの位置（座標）が、定点撮像部２１から何ｍの距離であるかを示す情報である。画像位置情報は、具体的な一例として、図３に示すピクセルの座標（６４０，４８０）は定点撮像部２１から１０ｍの距離がある、ピクセルの座標（６４０，７２０）は定点撮像部２１から１５ｍの距離がある、ピクセルの座標（６４０，８４０）は定点撮像部２１から２０ｍの距離があるという情報である。

図５に示すように、画像位置情報は、Ｙ座標が大きくなるに従って、定点撮像部２１が配される地面位置Ｐ０からの距離が近くなることを示す情報である。換言すると、画像位置情報は、Ｙ座標が小さくなるに従って、定点撮像部２１が配される地面位置Ｐ０からの距離が遠くなることを示す情報である。

ここで、第９設定部１２９は、第４設定部１２４で取得された複数の画像それぞれの実際の幅ｗのうち、Ｙ座標の方向における基準位置の幅と、Ｙ座標の方向の所定位置における幅とに基づいて、Ｙ座標に対する幅比率を取得する。
すなわち、第４設定部１２４では、実際の画像の幅ｗを取得する。人物１１０がいない位置（人が歩いていない位置に対応するＹ座標）においては、第４設定部１２４は、実際の画像の幅ｗを取得することができない。このため、第９設定部１２９は、第４設定部１２４でＹ座標の複数の位置で画像の幅ｗを取得した場合、その複数の位置での画像の幅ｗに基づいて、Ｙ座標の任意の位置における画像の幅を算出する。例えば、第９設定部１２９は、第４設定部１２４で取得された複数の画像の幅のうち１つをＹ座標の基準位置の画像の幅（基準幅）と設定し、複数の画像の幅のうち基準幅を除く他の画像の幅と、基準幅との比率（幅比率）を求める。第９設定部１２９は、第４設定部１２４で取得された複数の画像それぞれに基づいて、基準幅との比率（幅比率）を求める。この幅比率をグラフに示すと、図６のようになる。

図６に例示すように、Ｙ座標が大きくなるに従って（定点撮像部２１からの距離が近くなるに従って）、画像の幅比率は小さくなる。換言すると、Ｙ座標が小さくなるに従って（定点撮像部２１からの距離が遠くなるに従って）画像の幅比率は大きくなる。

上述した第５設定部１２５は、第４設定部１２４で画像の幅ｗが取得されていない位置でも、第９設定部１２９で取得される画像の幅比率を利用して、任意のＹ座標における画像の幅を取得できるので、第１距離Ｌ１及び第２距離Ｌ２を取得することができる。
これにより、画像位置情報の取得を終了する。

次に、上述した画像位置情報を利用して、被写体２０１に関する被写体情報を取得する構成について説明する。
図８は、第１認識枠２１０及び第２認識枠２２０の一例について説明するための図である。
図９は、第１認識枠２１０及び第２認識枠２２０それぞれの中心位置２１０ａ，２２０ａについて説明するための図である。
図１０は、正面枠２２０ｂ及び背面枠２２０ｃの一例について説明するための図である。
図１１は、重心位置ＰＧについて説明するための図である。
図１２は、被写体２０１の速度を取得する際の重心位置ＰＧの変化について説明するための図である。

認識部１３は、定点撮像部２１で生成された画像データに被写体２０１が記録される場合、記憶部２２に記憶される対応関係（学習モデル）に基づいて被写体２０１を認識する。すなわち、認識部１３は、対応関係（学習モデル）に基づいて、定点撮像部２１で生成された画像データに基づく画像から被写体２０１の特徴を抽出し、抽出した特徴から被写体２０１を認識する。また、認識部１３は、学習モデルを利用して被写体２０１を認識するばかりでなく、例えば、パターンマッチング等を行うことにより、被写体２０１を認識することとしてもよい。

認識部１３は、定点撮像部２１によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体２０１（図８，１０で示す場合には車両）をそれぞれ認識し、それぞれの時刻において被写体２０１を囲う複数の第１認識枠２１０（図８参照）を生成する。この場合、認識部１３は、画像上において被写体２０１を囲う矩形の枠を第１認識枠２１０として生成することとしてもよい。認識部１３は、定点撮像部２１によって動画が撮像される場合、時間的に異なる画像として、例えば、時間的に連続するフレーム、又は、所定時間毎のフレームに基づいて被写体２０１を認識する。認識部１３は、定点撮像部２１によって静止画が撮像される場合、時間的に異なる画像として、時間的に連続して撮像された静止画、又は、所定時間毎に撮像された静止画に基づいて被写体２０１を認識する。

第１認識枠２１０は、例えば、被写体２０１の周囲を囲う矩形の枠であってよく、また被写体２０１の外形に接する矩形の枠であってよい。認識部１３は、時間的に異なる画像（フレーム又は静止画）毎に第１認識枠２１０を生成する。認識部１３は、画像に複数の被写体２０１が記録される場合には、被写体２０１毎に第１認識枠２１０を生成する。

予測部１４は、複数の第１認識枠２１０と、その複数の第１認識枠２１０の中心位置２１０ａと、定点撮像部２１によって撮像される画像データに基づく画像の基準線ＬＳとに基づいて、認識部１３によって第１認識枠２１０を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体２０１を囲う第２認識枠２２０（図８参照）とその第２認識枠２２０の中心位置２２０ａ（図９参照）とを予測する。すなわち、図９に示すように、予測部１４は、上述した基準線ＬＳとして、画像データに基づく画像の水平方向に延びる線を設定し、基準線ＬＳの所定位置を端点（交点ＰＳ）として設定し、その端点（交点ＰＳ）から複数の第１認識枠２１０の各中心位置２１０ａを通る中心線上を中心位置２２０ａとして第２認識枠２２０を生成することとしてもよい。この場合、予測部１４は、画像上において被写体２０１を囲う矩形の枠を第２認識枠２２０として生成することとしてもよい。

予測部１４は、複数の第１認識枠２１０それぞれの中心位置２１０ａを通る線（第１延長線２３０）を生成して基準線ＬＳの方へ延長する。予測部１４は、第１延長線２３０と基準線ＬＳとの画像上の交点ＰＳを取得することとしてもよい。また、予測部１４は、基準線ＬＳ側とは反対方向に第１延長線２３０を伸ばし、その第１延長線２３０上に第２認識枠２２０の中心位置２２０ａが来るように、その第２認識枠２２０を生成する。一例として、予測部１４は、所定時間毎の４つの第１認識枠２１０に基づいて、時間的に所定時間分だけ先の第２認識枠２２０を生成する。なお、第２認識枠２２０は、現在時刻における被写体２０１の予想位置であってよい。これにより、被写体２０１が他の物体によって一時的に全部又は一部が隠れた場合でも、その被写体２０１を認識する（被写体２０１の位置を予測する）ことが可能になる。

なお、予測部１４は、第１延長線２３０と基準線ＬＳとの交点ＰＳを基準に、複数の第１認識枠２１０それぞれの四隅のうち少なくとも１つの角部を通る第２延長線２４０上に、第２認識枠２２０の対応する角部を配置することとしてもよい。一例として、予測部１４は、第１延長線２３０と基準線ＬＳとの交点ＰＳに対して、画像上において左下に被写体２０１が移動する場合、複数の第１認識枠２１０の左上と右下それぞれの角部を通る２つの第２延長線２４０を生成し、一方の第２延長線２４０上に第２認識枠２２０の左上の角部を配置し、他方の第２延長線２４０上に第２認識枠２２０の右下の角部を配置することとしてもよい。

同様に、交点ＰＳから右下に被写体２０１が移動する場合には、一例として、複数の第１認識枠２１０の右上と左下の角部を通る２つの第２延長線２４０を生成し、一方の第２延長線２４０上に第２認識枠２２０の右上の角部を配置し、他方の第２延長線２４０上に第２認識枠２２０の左下の角部を配置することとしてもよい。

同様に、交点ＰＳから下側に被写体２０１が移動する場合には、一例として、複数の第１認識枠２１０に右上と左上の角部を通る２つの第２延長線２４０を生成し、一方の第２延長線２４０上に第２認識枠２２０の左上の角部を配置し、他方の第２延長線２４０上に第２認識枠２２０の右上の角部を配置することとしてもよい。

生成部１５は、図１０に示すように、予測部１４によって生成される第２認識枠２２０に一部が接するように、被写体２０１の正面の外形に応じた正面枠２２０ｂと、被写体２０１の背面の外形に応じた背面枠２２０ｃとを生成する。上述した認識部１３は、被写体２０１の認識によって被写体２０１の形状も認識できる。生成部１５は、認識部１３による被写体２０１の形状の認識を利用して、被写体２０１の幅方向及び高さ方向の外形を取得することができる。生成部１５は、被写体２０１の幅方向及び高さ方向の外形に応じた矩形の正面枠２２０ｂを生成する。また、生成部１５は、第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳと、正面枠２２０ｂの４つの角部とを接続する接続線２５０上に、第２認識枠２２０とが交差する点に背面枠２２０ｃの角部が一致するようにその背面枠２２０ｃを設定する。

生成部１５は、所定位置としての交点（第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳ）を基準に、画像データに基づく画像の垂直方向に対して左側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の左下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の右上にある頂点に接するように矩形の背面枠２２０ｃを生成する。すなわち、生成部１５は、第２認識枠２２０の左下の角部と正面枠２２０ｂの左下の角部とを一致させ、第２認識枠２２０の左下の角部に接続する２つの辺と、正面枠２２０ｂの左下の角部に接続する２つの辺とを重ねる。この場合、生成部１５は、第２認識枠２２０の右上の角部と、背面枠２２０の右上の角部を一致させ、第２認識枠２２０の右上の角部に接続する２つの辺と、背面枠２２０ｃの右上の角に接続する２つの辺とを重ねる。

生成部１５は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の右下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の左上にある頂点に接するように矩形の背面枠２２０ｃを生成する。すなわち、生成部１５は、第２認識枠２２０の右下の角部と正面枠２２０ｂの右下の角部とを一致させ、第２認識枠２２０の右下の角部に接続する２つの辺と、正面枠２２０ｂの左下の角部に接続する２つの辺とを重ねる。この場合、生成部１５は、第２認識枠２２０の左上の角部と、背面枠２２０ｃの左上の角部とを一致させ、第２認識枠２２０に接続する２つの辺と背面枠２２０ｃの左上に接続する２つの辺とを重ねる。

サイズ取得部１６は、定点撮像部２１から被写体２０１までの距離と、画像データに基づく画像のサイズと、生成部１５によって生成された正面枠２２０ｂ及び背面枠２２０ｃの少なくとも一方のサイズとに基づいて、被写体２０１のサイズを取得する。サイズ取得部１６は、第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳの位置によって被写体２０１の幅方向と高さ方向のサイズが変わるため、適宜計算を行うことにより、被写体２０１のサイズを取得する。計算方法は如何なるものでもよいが、サイズ取得部１６は、例えば、以下のようにして被写体２０１のサイズを取得することとしてもよい。

サイズ取得部１６は、被写体２０１の画像上での幅方向のサイズを求める場合、第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳの画像上での座標（Ｘ座標）と、第２認識枠２２０の中心位置２２０ａの画像上での座標（Ｘ座標）と、画像サイズ（例えば、画像の水平方向のピクセル数）とに基づいて、第１の値を取得する。サイズ取得部１６は、第１の値に対して所定の第１係数を加算すると共に、その値に対して第２係数を加算することにより、第２の値を取得する。サイズ取得部１６は、第２の値に対して第２認識枠２２０の画像上での幅方向のサイズを乗算することにより、被写体２０１の画像上での幅方向のサイズ（正面枠２２０ｂの幅方向のサイズ）を取得する。
サイズ取得部１６は、被写体２０１の画像上での高さを求める場合にも、上述した被写体２０１の画像上での幅方向のサイズを求める場合と同様にして取得することができる。

ここで、サイズ取得部１６は、定点撮像部２１において生成される画像データに基づく画像内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた結果（設定部１２によって得られた結果）に基づいて、定点撮像部２１から被写体２０１までの距離を取得する。サイズ取得部１６は、取得した距離と、上述した画像上での被写体２０１のサイズとに基づいて、被写体２０１の幅方向及び高さ方向のサイズを取得する。また、サイズ取得部１６は、被写体２０１の奥行方向のサイズを、設定部１２によって得られた結果に基づいて取得する。

重心取得部１７は、生成部１５によって生成された正面枠２２０ｂ及び背面枠２２０ｃに基づいて、被写体２０１の重心位置ＰＧ（図１１参照）を取得する。重心取得部１７は、一例として、正面枠２２０ｂの４つの角部のうち地表面側の２つの角部（例えば、角部の画像上の座標等）と、背面枠２２０ｃの４つの角部のうち地表面側の２つの角部（例えば、角部の画像上の座標）とを利用して、被写体２０１の重心位置ＰＧ（画像上の座標）を取得する。この場合、重心取得部１７は、一例として、定点撮像部２１において生成される画像データに基づく画像内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた結果（設定部１２によって得られた結果（画像位置情報））に基づいて、定点撮像部２１から重心位置ＰＧまでの距離（一例として、画像上における水平方向（Ｘ方向）と垂直方法（Ｙ方向）の距離を取得することとしてもよい。なお、Ｘ方向の距離は、画像上の水平方向の中心線からの距離であってもよい。

位置取得部１８は、重心取得部１７によって取得された重心位置ＰＧを所定の座標系に変換することにより、被写体２０１の位置を取得する。位置取得部１８は、重心取得部１７によって取得された重心位置ＰＧ（画像上の重心位置）を、例えば、グローバル座標系に変換することにより、被写体２０１の位置を取得する。位置取得部１８は、例えば、定点撮像部２１の撮像方向（方位、及び、地表面を向く角度（垂線と定点撮像部２１の光軸のなす角））、及び、定点撮像部２１のグローバル座標系等を利用して、三角関数を用いることにより、グローバル座標系における被写体２０１の位置を取得する。

速度取得部１９は、重心取得部１７によって取得された時間毎の被写体２０１の複数の重心位置ＰＧ（ＰＧ１，ＰＧ２）の変化に基づいて被写体２０１の速度を取得する。速度取得部１９は、図１２に例示するように、時間的に異なる少なくとも２つの重心位置ＰＧ１，ＰＧ２に基づき、所定時間ｄｔの間に重心位置ＰＧ（ＰＧ１，ＰＧ２）がどれくらい移動したのかを算出することにより、被写体２０１の速度を取得することが可能である。この場合、速度取得部１９は、所定時間ｄｔにおけるＸ方向の変位ｄｘとｙ方向の変位ｄｙとに基づいて、ｘ方向の速度ＶｘとＹ方向の速度Ｖｙとを取得することとしてもよい。また、速度取得部１９は、時間的に異なる３つ以上の被写体２０１の重心位置ＰＧに基づいて、被写体２０１の平均速度を取得することとしてもよい。

出力制御部２０は、出力部を制御する。上述した出力部は、出力制御部２０の制御に基づいて、サイズ取得部１６によって取得された被写体２０１のサイズ、位置取得部１８によって取得された被写体２０１の位置、及び、速度取得部１９によって取得された被写体２０１の速度のうち、少なくとも１つを出力する。出力部は、例えば、上述した記憶部２２の他に、通信部２３及び表示部２４であってもよい。出力制御部２０は、サイズ取得部１６によって取得された被写体２０１のサイズ、重心取得部１７によって取得された被写体２０１の重心位置ＰＧ、位置取得部１８によって取得された被写体２０１の位置、及び、速度取得部１９によって取得された被写体２０１の速度に関する被写体情報を記憶部２２に記憶する。また、出力制御部２０は、例えば、外部にある装置（例えば、サーバ等）に被写体情報を送信するよう通信部２３を制御することとしてもよい。出力制御部２０は、例えば、被写体情報を表示部２４に表示することとしてもよい。

次に、一実施形態に係る情報処理方法について説明する。
まず、画像位置情報を取得する方法について説明する。
図１３は、一実施形態に係る情報処理方法であって、画像位置情報を取得する方法ついて説明するためのフローチャートである。

ステップＳＴ１１において、定点撮像部２１は、被写体を撮像する。

ステップＳＴ１２において、認識部１３は、予め学習した結果に基づいてステップＳＴ１１で撮像された被写体の特徴を抽出し、その抽出の結果に基づいて被写体を認識する。

ステップＳＴ１３において、設定部１２は、ステップＳＴ１１で撮像された被写体、すなわち、ステップＳＴ１２で認識された被写体の高さと、定点撮像部２１の画角とに基づいて、画像位置情報を取得する。
すなわち、設定部１２は、第１〜９設定部１２１〜１２９により、以下の処理を行う。
第１設定部１２１は、被写体の高さと、定点撮像部２１の画角と、定点撮像部２１で撮像される画像の幅を予め取得する。
第２設定部１２２は、被写体が移動する場合、第１設定部１２１で取得された被写体の高さに基づいて、１ｍ当たりのピクセル数を取得する。
第３設定部１２３は、画像の奥行方向の座標となるＹ座標と、第２設定部１２２で取得される被写体の１ｍ当たりのピクセル数との関係を取得する。
第４設定部１２４は、第１設定部１２１で取得される画像の幅と、第２設定部１２２で取得された１ｍ当たりのピクセル数とに基づいて所定位置における実際の画像の幅ｗを取得する。
第５設定部１２５は、第４設定部１２４で取得された実際の画像の幅ｗと、第１設定部１２１で取得された画角θ２とに基づいて、定点撮像部２１から画像内の中心位置Ｐｃまでの距離である第１距離Ｌ１と、地面から中心位置Ｐｃまでの距離である第２距離Ｌ２とを取得する。
第６設定部１２６は、第５設定部１２５で取得された第１距離Ｌ１及び第２距離Ｌ２に基づいて、地面と定点撮像部２１の撮像方向における中心線（Ｙ軸方向に沿う線）とのなす角θを求める。
第７設定部１２７は、第５設定部１２５で取得された第１距離Ｌ１及び第２距離Ｌ２と、第６設定部１２６で取得されたなす角θとに基づいて、地面から定点撮像部２１までの高さＨを取得する。
第８設定部１２８は、第７設定部１２７で取得された地面から定点撮像部２１までの高さＨと、第６設定部１２６で取得されたなす角θとに基づいて、定点撮像部２１が配される撮像位置から被写体までの位置を取得し、画像位置情報を取得する。
ここで、第９設定部１２９は、第４設定部１２４で取得された画像の幅のうち、Ｙ座標の方向における基準位置の幅と、Ｙ座標の方向の所定位置における幅とに基づいて、Ｙ座標に対する幅比率を取得することとしてもよい。

ステップＳＴ１４において、設定部１２は、ステップＳＴ１３で取得された画像位置情報を記憶部２２に記憶する。

次に、被写体２０１に関する情報を取得する方法について説明する。
図１４は、一実施形態に係る情報処理方法であって、被写体２０１に関する情報を取得する方法について説明するためのフローチャートである。

ステップＳＴ２１において、定点撮像部２１は、時間的に連続して被写体２０１を撮像して画像データを生成する。定点撮像部２１は、動画、又は、所定時間ごとに連続して静止画を撮像して動画データを生成する。被写体２０１は、例えば、一定（略一定）の動きをする物体である。一定の動きをする物体の一は、直線的（略直線的）に移動する物体である。なお、物体は静止していてもよい。物体の具体的な一例は、車両、人物及び動物等であってもよい。

ステップＳＴ２２において、認識部１３は、ステップＳＴ２１で生成された画像データに基づく少なくとも２つの時間的に異なる画像（フレーム又は静止画）から被写体２０１を認識し、それぞれの時刻において被写体２０１を囲う複数の第１認識枠２１０を生成する。この場合、認識部１３は、画像上において被写体２０１を囲う（例えば、被写体２０１の外形に接する）矩形の枠を第１認識枠２１０として生成することとしてもよい。

ステップＳＴ２３において、予測部１４は、ステップＳＴ２２で生成された複数の第１認識枠２１０に基づいて、第１認識枠２１０を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体２０１を囲う第２認識枠２２０を予測する。具体的には、予測部１４は、複数の第１認識枠２１０と、複数の第１認識枠２１０それぞれの中心位置２１０ａと、ステップＳＴ２１で生成される画像データに基づく画像の基準線ＬＳとに基づいて、第２認識枠２２０と、その第２認識枠２２０の中心位置２２０ａとを予測する。この場合、予測部１４は、画像上において被写体２０１を囲う矩形の枠を第２認識枠２２０として生成することとしてもよい。
上述した所定時刻は、現在時刻であってもよい。すなわち、第２認識枠２２０は、現在時刻における被写体２０１の予想位置であってよい。これにより、被写体２０１が他の物体によって一時的に全部又は一部が隠れた場合でも、その被写体２０１を認識する（被写体２０１の位置を予測する）ことが可能になる。

ステップＳＴ２４において、生成部１５は、ステップＳＴ２３によって生成される第２認識枠２２０に一部が接するように、被写体２０１の正面の外形に応じた正面枠２２０ｂと、被写体２０１の背面の外形に応じた背面枠２２０ｃとを生成する。
生成部１５は、第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳを基準にした画像の垂直方向に対して左側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の左下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の右上にある頂点に接するように矩形の背面枠２２０ｃを生成する。
又は、生成部１５は、第１，２延長線２３０，２４０と基準線ＬＳとの交点ＰＳを基準にした画像の垂直方向に対して右側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の右下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の左上にある頂点に接するように矩形の背面枠２２０ｃを生成する。

ステップＳＴ２５において、サイズ取得部１６は、定点撮像部２１から被写体２０１までの距離と、画像データに基づく画像のサイズ（例えば、ピクセル数）と、生成部１５によって生成された正面枠２２０ｂ及び背面枠２２０ｃの少なくとも一方のサイズとに基づいて、被写体２０１のサイズを取得する。

ステップＳＴ２６において、重心取得部１７は、ステップＳＴ２４で生成された正面枠２２０ｂ及び背面枠２２０ｃに基づいて、被写体２０１の重心位置ＰＧを取得する。
この場合、重心取得部１７は、一例として、定点撮像部２１において生成される画像データに基づく画像内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた結果（設定部１２によって得られた結果（画像位置情報））に基づいて、定点撮像部２１から重心位置ＰＧまでの距離（一例として、画像上における水平方向（Ｘ方向）と垂直方法（Ｙ方向）の距離）を取得することとしてもよい。なお、Ｘ方向の距離は、画像上の水平方向の中心線からの距離であってもよい。

ステップＳＴ２７において、位置取得部１８は、ステップＳＴ２６で取得された重心位置ＰＧを所定の座標系に変換することにより、被写体２０１の位置を取得する。所定の座標系は、例えば、グローバル座標系である。

ステップＳＴ２８において、速度取得部１９は、ステップＳＴ２６又はステップＳＴ２７で取得された被写体２０１の複数の重心位置ＰＧの変化に基づいて被写体２０１の速度を取得する。

なお、上述した実施形態では、第１認識枠２１０及び第２認識枠２２０に基づいて被写体２０１に関する情報を取得する例について説明した。しかし、本発明は、現在時刻における被写体２０１を認識できた場合には、第２認識枠２２０を第１認識枠２１０として被写体２０１に関する情報を取得することとしてもよい。

次に、本実施形態の効果について説明する。
情報処理装置１は、時間的に連続して被写体２０１を撮像して画像データを生成する定点撮像部２１と、定点撮像部２１によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体２０１をそれぞれ認識し、それぞれの時刻において被写体２０１を囲う複数の第１認識枠２１０を生成する認識部１３と、複数の第１認識枠２１０と、その複数の第１認識枠２１０の中心位置２１０ａと、定点撮像部２１によって撮像される画像データに基づく画像の基準線ＬＳとに基づいて、認識部１３によって第１認識枠２１０を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体２０１を囲う第２認識枠２２０とその第２認識枠２２０の中心位置２２０ａとを予測する予測部１４と、予測部１４によって生成される第２認識枠２２０に一部が接するように、被写体２０１の正面の外形に応じた正面枠２２０ｂと、被写体２０１の背面の外形に応じた背面枠２２０ｃとを生成する生成部１５と、定点撮像部２１から被写体２０１までの距離と、画像データに基づく画像のサイズと、生成部１５によって生成された正面枠２２０ｂ及び背面枠２２０ｃの少なくとも一方のサイズとに基づいて、被写体２０１のサイズを取得するサイズ取得部１６と、を備える。
これにより、情報処理装置１は、画像に記録される被写体２０１に関する情報を取得することができる。

情報処理装置１は、生成部１５によって生成された正面枠２２０ｂ及び背面枠２２０ｃに基づいて、被写体２０１の重心位置ＰＧを取得する重心取得部１７と、重心取得部１７によって取得された重心位置ＰＧを所定の座標系に変換することにより、被写体２０１の位置を取得する位置取得部１８と、を備えることとしてもよい。
所定の座標系は、一例として、グローバル座標系であってもよい。これにより、情報処理装置１は、被写体２０１の位置（座標）を取得することができる。

情報処理装置１は、重心取得部１７によって取得された時間毎の被写体２０１の複数の重心位置ＰＧの変化に基づいて被写体２０１の速度を取得する速度取得部１９を備えることとしてもよい。
これにより、情報処理装置１は、被写体２０１が移動する際に、その被写体２０１の重心位置ＰＧに基づいて速度を取得することができる。

情報処理装置１は、サイズ取得部１６によって取得された被写体２０１のサイズ、位置取得部１８によって取得された被写体２０１の位置、及び、速度取得部１９によって取得された被写体２０１の速度のうち、少なくとも１つを出力する出力部を備えることとしてもよい。
これにより、情報処理装置１は、取得した被写体２０１に関する情報を、通信部２３によって外部に送信し、表示部２４に表示し、及び、記憶部２２に記憶することができる。

情報処理装置１では、認識部１３は、画像上において被写体２０１を囲う矩形の枠を第１認識枠２１０として生成することとしてもよい。
これよりに、情報処理装置１は、例えば、学習モデル又はパターンマッチング等に基づいて被写体２０１を認識することができ、認識した被写体２０１に基づいた第１認識枠２１０（ＲＯＩ）を生成することができる。

情報処理装置１では、予測部１４は、画像上において被写体２０１を囲う矩形の枠を第２認識枠２２０として生成することとしてもよい。
これにより、情報処理装置１は、複数の第１認識枠２１０に基づいて、被写体２０１の第２認識枠２２０（ＲＯＩ）を生成することができる。

情報処理装置１では、予測部１４は、基準線ＬＳとして、画像データに基づく画像の水平方向に延びる線を設定し、基準線ＬＳの所定位置を端点として設定し、その端点から複数の第１認識枠２１０の各中心位置２１０ａを通る中心線上を中心位置２２０ａとして第２認識枠２２０を生成することとしてもよい。
これにより、情報処理装置１は、複数の第１認識枠２１０に基づいて、被写体２０１の移動方向に応じた第２認識枠２２０を生成することができる。

情報処理装置１では、生成部１５は、所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の左下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の右上にある頂点に接するように矩形の背面枠２２０ｃを生成することとしてもよい。
これにより、情報処理装置１は、被写体２０１の移動方向に、画像に対して左方向の成分がある場合に、正面枠２２０ｂ及び背面枠２２０ｃを生成することができる。

情報処理装置１では、生成部１５は、所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体２０１が位置する場合、画像に対して第２認識枠２２０の右下にある頂点に接するように矩形の正面枠２２０ｂを生成すると共に、画像に対して第２認識枠２２０の左上にある頂点に接するように矩形の背面枠２２０ｃを生成することとしてもよい。
これにより、情報処理装置１は、被写体２０１の移動方向に、画像に対して右方向の成分がある場合に、正面枠２２０ｂ及び背面枠２２０ｃを生成することができる。

情報処理装置１では、サイズ取得部１６は、定点撮像部２１において生成される画像データに基づく画像内の位置と、その位置における定点撮像部２１からの距離とを予め対応付けた結果に基づいて、定点撮像部２１から被写体２０１までの距離を取得することとしてもよい。
これにより、情報処理装置１は、その距離を、被写体２０１に関する情報を取得する際の基礎にすることができる。

情報処理方法では、コンピュータが、時間的に連続して被写体２０１を撮像して画像データを生成する定点撮像ステップと、定点撮像ステップによって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体２０１をそれぞれ認識し、それぞれの時刻において被写体２０１を囲う複数の第１認識枠２１０を生成する認識ステップと、複数の第１認識枠２１０と、その複数の第１認識枠２１０の中心位置２１０ａと、定点撮像ステップによって撮像される画像データに基づく画像の基準線ＬＳとに基づいて、認識ステップによって第１認識枠２１０を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体２０１を囲う第２認識枠２２０とその第２認識枠２２０の中心位置２２０ａとを予測する予測ステップと、予測ステップによって生成される第２認識枠２２０に一部が接するように、被写体２０１の正面の外形に応じた正面枠２２０ｂと、被写体２０１の背面の外形に応じた背面枠２２０ｃとを生成する生成ステップと、定点撮像ステップから被写体２０１までの距離と、画像データに基づく画像のサイズと、生成ステップによって生成された正面枠２２０ｂ及び背面枠２２０ｃの少なくとも一方のサイズとに基づいて、被写体２０１のサイズを取得するサイズ取得ステップと、を実行する。
これにより、情報処理方法は、画像に記録される被写体２０１に関する情報を取得することができる。

情報処理プログラムは、コンピュータに、時間的に連続して被写体２０１を撮像して画像データを生成する定点撮像機能と、定点撮像機能によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体２０１をそれぞれ認識し、それぞれの時刻において被写体２０１を囲う複数の第１認識枠２１０を生成する認識機能と、複数の第１認識枠２１０と、その複数の第１認識枠２１０の中心位置２１０ａと、定点撮像機能によって撮像される画像データに基づく画像の基準線ＬＳとに基づいて、認識機能によって第１認識枠２１０を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体２０１を囲う第２認識枠２２０とその第２認識枠２２０の中心位置２２０ａとを予測する予測機能と、予測機能によって生成される第２認識枠２２０に一部が接するように、被写体２０１の正面の外形に応じた正面枠２２０ｂと、被写体２０１の背面の外形に応じた背面枠２２０ｃとを生成する生成機能と、定点撮像機能から被写体２０１までの距離と、画像データに基づく画像のサイズと、生成機能によって生成された正面枠２２０ｂ及び背面枠２２０ｃの少なくとも一方のサイズとに基づいて、被写体２０１のサイズを取得するサイズ取得機能と、を実現させる。
これにより、情報処理プログラムは、画像に記録される被写体２０１に関する情報を取得することができる。

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の設定部１２、認識部１３、予測部１４、生成部１５、サイズ取得部１６、重心取得部１７、位置取得部１８、速度取得部１９及び出力制御部２０は、コンピュータの演算処理装置等による設定機能、認識機能、予測機能、生成機能、サイズ取得機能、重心取得機能、位置取得機能、速度取得機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の設定部１２、認識部１３、予測部１４、生成部１５、サイズ取得部１６、重心取得部１７、位置取得部１８、速度取得部１９及び出力制御部２０は、コンピュータの演算処理装置等を構成する設定回路、認識回路、予測回路、生成回路、サイズ取得回路、重心取得回路、位置取得回路、速度取得回路及び出力制御回路として実現されてもよい。
また、情報処理装置１の定点撮像部２１及び出力部（記憶部２２、通信部２３及び表示部２４）は、例えば、演算処理装置等の機能を含む定点撮像機能及び出力機能（記憶機能、通信機能及び表示機能）として実現されもよい。また、情報処理装置１の定点撮像部２１及び出力部（記憶部２２、通信部２３及び表示部２４）は、例えば、集積回路等によって構成されることにより定点撮像回路及び出力回路（記憶回路、通信回路及び表示回路）として実現されてもよい。また、情報処理装置１の定点撮像部２１及び出力部（記憶部２２、通信部２３及び表示部２４）は、例えば、複数のデバイスによって構成されることにより定点撮像装置及び出力装置（記憶装置、通信装置及び表示装置）として構成されてもよい。

１ 情報処理装置
１１ 制御部
１２ 設定部
１３ 認識部
１４ 予測部
１５ 生成部
１６ サイズ取得部
１７ 重心取得部
１８ 位置取得部
１９ 速度取得部
２０ 出力制御部
２１ 定点撮像部
２２ 記憶部
２３ 通信部
２４ 表示部

Claims (12)

1. 時間的に連続して被写体を撮像して画像データを生成する定点撮像部と、
   前記定点撮像部によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識部と、
   複数の第１認識枠と、当該複数の第１認識枠の中心位置と、前記定点撮像部によって撮像される画像データに基づく画像の基準線とに基づいて、認識部によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測部と、
   前記予測部によって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成部と、
   前記定点撮像部から被写体までの距離と、画像データに基づく画像のサイズと、前記生成部によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得部と、
   を備える情報処理装置。
2. 前記生成部によって生成された正面枠及び背面枠に基づいて、被写体の重心位置を取得する重心取得部と、
   前記重心取得部によって取得された重心位置を所定の座標系に変換することにより、被写体の位置を取得する位置取得部と、
   を備える請求項１に記載の情報処理装置。
3. 前記重心取得部によって取得された時間毎の被写体の複数の重心位置の変化に基づいて被写体の速度を取得する速度取得部を備える
   請求項２に記載の情報処理装置。
4. 前記サイズ取得部によって取得された被写体のサイズ、前記位置取得部によって取得された被写体の位置、及び、前記速度取得部によって取得された被写体の速度のうち、少なくとも１つを出力する出力部を備える
   請求項３に記載の情報処理装置。
5. 前記認識部は、画像上において被写体を囲う矩形の枠を第１認識枠として生成する
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記予測部は、画像上において被写体を囲う矩形の枠を第２認識枠として生成する
   請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記予測部は、
   基準線として、画像データに基づく画像の水平方向に延びる線を設定し、
   基準線の所定位置を端点として設定し、当該端点から複数の第１認識枠の各中心位置を通る中心線上を中心位置として第２認識枠を生成する
   請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記生成部は、
   所定位置を基準に、画像データに基づく画像の垂直方向に対して左側に被写体が位置する場合、画像に対して第２認識枠の左下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第２認識枠の右上にある頂点に接するように矩形の背面枠を生成する
   請求項７に記載の情報処理装置。
9. 前記生成部は、
   所定位置を基準に、画像データに基づく画像の垂直方向に対して右側に被写体が位置する場合、画像に対して第２認識枠の右下にある頂点に接するように矩形の正面枠を生成すると共に、画像に対して第２認識枠の左上にある頂点に接するように矩形の背面枠を生成する
   請求項７に記載の情報処理装置。
10. 前記サイズ取得部は、前記定点撮像部において生成される画像データに基づく画像内の位置と、当該位置における前記定点撮像部からの距離とを予め対応付けた結果に基づいて、定点撮像部から被写体までの距離を取得する
    請求項１〜９のいずれか１項に記載の情報処理装置。
11. コンピュータが、
    時間的に連続して被写体を撮像して画像データを生成する定点撮像ステップと、
    前記定点撮像ステップによって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識ステップと、
    複数の第１認識枠と、当該複数の第１認識枠の中心位置と、前記定点撮像ステップによって撮像される画像データに基づく画像の基準線とに基づいて、認識ステップによって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測ステップと、
    前記予測ステップによって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成ステップと、
    前記定点撮像ステップから被写体までの距離と、画像データに基づく画像のサイズと、前記生成ステップによって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得ステップと、
    を実行する情報処理方法。
12. コンピュータに、
    時間的に連続して被写体を撮像して画像データを生成する定点撮像機能と、
    前記定点撮像機能によって撮像された画像データに記録される少なくとも２つの時間的に異なる画像に基づいて被写体をそれぞれ認識し、それぞれの時刻において被写体を囲う第１認識枠を生成する認識機能と、
    複数の第１認識枠と、当該複数の第１認識枠の中心位置と、前記定点撮像機能によって撮像される画像データに基づく画像の基準線とに基づいて、認識機能によって第１認識枠を生成する際の画像の記録時刻よりも時間的に先となる所定時刻における被写体を囲う第２認識枠と当該第２認識枠の中心位置とを予測する予測機能と、
    前記予測機能によって生成される第２認識枠に一部が接するように、被写体の正面の外形に応じた正面枠と、被写体の背面の外形に応じた背面枠とを生成する生成機能と、
    前記定点撮像機能から被写体までの距離と、画像データに基づく画像のサイズと、前記生成機能によって生成された正面枠及び背面枠の少なくとも一方のサイズとに基づいて、被写体のサイズを取得するサイズ取得機能と、
    を実現させる情報処理プログラム。

Images