JP2021140383A - 推定プログラム、推定方法、および情報処理装置 - Google Patents

Abstract

【課題】撮影データからの物体検出の処理負荷を低減する。【解決手段】一実施形態に係る情報処理装置は、第１の時刻に撮影された第１のフレームの撮影画像において検出対象物が写る第１の領域と、第１の時刻よりも後の第２の時刻に撮影された第２のフレームの撮影画像において検出対象物が写る第２の領域とを特定する特定部と、第１の領域の面積と、第２の領域の面積とから、第１のフレームと、第２のフレームとの間の撮影時刻に撮影された複数の中間フレームのそれぞれについて線形補間により推定される検出対象物が写る領域の面積を決定する決定部と、複数の中間フレームのそれぞれについて線形補間により推定される面積の比に基づいて、複数の中間フレームの少なくとも１つの中間フレームにおいて検出対象物が写る領域を推定する推定部と、を含む。【選択図】図７

Description

本発明は、推定プログラム、推定方法、および情報処理装置に関する。

近年、監視カメラおよび車載カメラなどの多くの撮影装置が様々なところに設置されており、撮影装置により撮影された大量の撮影データを利用する試みがなされている。例えば、車載カメラで撮影された撮影データは、データセンターなどに蓄積され、これらの撮影データはトラフィックの分析や、車両の自動運転のアルゴリズム研究などに利用されている。

また、こうした撮影データを効率よく利用するために、撮影データに写る物体を検出する処理が行われている。例えば、深層学習やサポートベクターマシンなどの機械学習アルゴリズムで得られた学習済みモデルなどを用いて、車載カメラで撮影された撮影データから人物や車両などの検出対象物の検出が行われている。撮影データに含まれる連続する複数のフレームにおいて検出対象物を検出することで、例えば、検出対象物の動きを捉えることができ、事故の発生の監視や、事故原因の追究などに利用することができる。

これに関し、撮影データからの物体の検出に関連する技術が知られている（例えば、特許文献１から特許文献４）。

特開２０１４−０５０１００号公報 特開２０１７−０４６０２３号公報 特開２０１５−０３２１３３号公報 特開２００９−０５５４１０号公報

しかしながら、撮影データからの物体の検出は処理負荷が高く、大量の撮影データを取り扱う場合に、処理することが難しかったり、処理時間が確保できなかったりすることがある。そのため、撮影データからの物体検出の処理負荷を低減することのできる技術の提供が望まれている。

１つの側面では、本発明は、撮影データからの物体検出の処理負荷を低減することのできる技術を提供することを目的とする。

本発明の一つの態様の情報処理装置は、第１の時刻に撮影された第１のフレームの撮影画像において検出対象物が写る第１の領域と、第１の時刻よりも後の第２の時刻に撮影された第２のフレームの撮影画像において検出対象物が写る第２の領域とを特定する特定部と、第１の領域の面積と、第２の領域の面積とから、第１のフレームと、第２のフレームとの間の撮影時刻に撮影された複数の中間フレームのそれぞれについて線形補間により推定される検出対象物が写る領域の面積を決定する決定部と、複数の中間フレームのそれぞれについて線形補間により推定される面積の比に基づいて、複数の中間フレームの少なくとも１つの中間フレームにおいて検出対象物が写る領域を推定する推定部と、を含む。

撮影データからの物体検出の処理負荷を低減することができる。

撮影データにおいて検出対象の物体の写る領域を特定する例を示す図である。 線形補間による中間フレームでの検出対象物が写る領域の推定を例示する図である。 実施形態に係る情報処理装置のブロック構成を例示する図である。 実施形態に係る検出対象物が写る領域を示す長さの実測値の時間に応じた変化を例示する図である。 検出対象物が写る領域を示す長さの実測値と、線形補間により得られた長さの比較を例示する図である。 実施形態に係る時間経過に応じた矩形領域の辺の長さの変化と面積の変化との対応関係を例示する図である。 実施形態に係る面積比に基づく検出対象物が写る領域の推定について説明する図である。 実施形態に係る面積比に基づく検出対象物が写る領域の推定の精度を例示する図である。 実施形態に係る面積比に基づく検出対象物が写る領域の撮影画像上での表示位置を例示する図である。 実施形態に係る検出対象物が写る領域の推定処理の動作フローを例示する図である。 実施形態に係る検出対象物が写る領域の推定処理の流れを例示する図である。 実施形態に係る検出対象物のトラッキングを例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

図１は、撮影データにおいて検出対象の物体の写る領域を特定する例を示す図である。なお、検出対象の物体を、以下では検出対象物と呼ぶことがある。図１（ａ）は、撮影環境を例示しており、撮影装置１１０を備える車両１０１が示されている。また、図１（ａ）の例では、検出対象物１０２として人物と車両が示されており、撮影装置１１０を備える車両１０１の進行方向に対して、人物と車両は対向する方向に進行している。

また、図１（ｂ）は、第１の時刻において撮影装置１１０により撮影された撮影画像１２０を例示している。図１（ｂ）において、撮影画像１２０には検出対象物１０２として人物と車両とが写っている。そして、例えば、人物や車両などの検出対象物１０２を検出するように機械学習された学習済みモデルなどを用いて、撮影画像１２０から人物や車両などの検出対象物１０２が写る領域１５０を特定することができる。図１（ｂ）では、検出対象物１０２である人物と車両の周囲に領域１５０が検出されている。なお、検出対象物１０２は、人物と車両に限定されるものではなく、用途に応じて様々な対象に設定されてよい。

また、図１（ｃ）は、第２の時刻において撮影装置１１０により撮影された撮影画像１２０を例示している。第２の時刻は、図１（ｂ）の撮影画像１２０が撮影された第１の時刻よりも後の時刻であり、時間の経過に応じて検出対象物１０２である人物と車両は、図１（ｃ）ではより近くに写っている。

このように、例えば、撮影データの連続するフレームにおいて、検出対象物１０２の写る領域１５０を特定することで、検出対象物１０２の動きを捉えることが可能である。しかしながら、撮影データからの検出対象物１０２の検出は、処理負荷が高く、大量の撮影データを処理することが難しいことがある。或いは、処理にかかる時間が長くなるため、十分な処理時間を確保できないことがある。特に、撮影データが日々蓄積されるデータセンターなどで処理を行う場合には、処理対象の撮影データが次々に送られてくるため、検出対象物１０２の検出にかかる処理負荷が高いと処理できないことがある。そのため、検出対象物１０２の写る領域１５０の特定にかかる処理負荷を低減することのできる技術の提供が望まれている。

検出対象物１０２が写る領域１５０の特定にかかる処理負荷を低減する一つの手法として、一部のフレームで検出した検出対象物１０２の写る領域１５０の情報を用いて他のフレームでの検出対象物１０２の写る領域１５０を推定することが考えられる。例えば、連続する複数のフレームの最初および最後のフレームで検出された検出対象物１０２の写る領域１５０から、その間に撮影された中間フレームにおける検出対象物１０２の写る領域１５０を推定することができれば、処理の負荷を低減することができる。そして、こうした２点の間の値を推定する手法の１つに線形補間がある。

図２は、線形補間による中間フレームでの検出対象物１０２が写る領域１５０の推定を例示する図である。図２には、フレーム１からフレーム７の７つのフレームの撮影画像１２０が示されている。フレーム１の撮影画像１２０は、最も早い第１の時刻に撮影されており、フレーム１からフレーム７に向かって順次、撮影画像１２０が撮影されているものとする。フレーム７の撮影画像１２０は、最も遅い第２の時刻に撮影されている。

ここで、図２の複数のフレームの撮影画像１２０のそれぞれで、検出対象物１０２が写る領域１５０を検出したとする。図２では、検出対象物１０２が写る領域１５０として実際に検出された領域が、実線四角の枠２０１で示されている。

また、複数のフレームの最初のフレーム１と、最後のフレーム７の撮影画像１２０で検出した検出対象物１０２が写る領域１５０から、その間にあるフレーム２〜フレーム６での検出対象物１０２が写る領域１５０を線形補間により推定したとする。図２では、フレーム２〜フレーム６において線形補間で推定された検出対象物１０２が写る領域１５０が破線四角の枠２０２で示されている。

図２に示すように、枠２０２で示す線形補間で推定された検出対象物１０２が写る領域１５０の位置や大きさは、枠２０１で示す実際に検出された検出対象物１０２が写る領域１５０と大きく異なっている。この様に、検出対象物１０２の写る領域１５０を線形補間で推定しても高い精度が得られず、線形補間による推定は適さないことが分かる。そのため、よりも高い精度で検出対象物１０２の写る領域１５０を推定できる技術の提供が望まれている。

なお、検出対象物１０２の写る領域１５０の推定に利用可能な別の技術としてトラッキングがある。しかしながら、トラッキングは予測のための十分なデータがない状況では機能せず、例えば、車載カメラで撮影される対向車とのすれ違いの撮影データなどのように、検出対象物１０２がすぐに撮影範囲から外れてしまうような状況では利用に適さないことがある。また、別な例として、撮影装置１１０の画角内の位置と距離とを対応づけた奥行の情報を予め用意して、奥行の情報を利用して推定精度を高めることも考えられる。しかしながら、奥行きの情報は事前に撮影装置１１０の撮影画像内の点と、距離とを対応づけるキャリブレーション等の作業を行わないと利用できず、また、衝撃などで撮影装置１１０の向きが変わると再度キャリブレーションの作業が発生する。従って、検出対象物１０２の写る領域１５０を推定することのできるより適用のしやすい技術の提供も望まれている。

以下で述べる実施形態では、複数の中間フレームにおける検出対象物１０２の写る領域１５０の面積を線形補間により推定し、得られた複数の中間フレームのそれぞれについての面積の比に基づいて、検出対象物１０２の写る領域１５０を推定する。それにより、高い精度で検出対象物１０２の写る領域１５０を推定することができる。以下、実施形態を更に詳細に説明する。

図３は、実施形態に係る検出対象物１０２が写る領域１５０の推定処理を実行する情報処理装置３００のブロック構成を例示する図である。情報処理装置３００は、例えば、撮影装置１１０で撮影された撮影データを処理するコンピュータであってよい。例えば、情報処理装置３００は、データセンターに蓄積された撮影データを処理するコンピュータであってよく、或いは、データセンターに蓄積される前の撮影データを事前に処理するコンピュータであってもよい。更には、情報処理装置３００は、撮影装置１１０と接続されるカーナビゲーションシステムなどの車載器、モバイルコンピュータ、スマートフォン、タブレット端末、携帯電話機などであってもよい。情報処理装置３００は、撮影装置１１０と通信接続して撮影データを収集してよく、或いは、撮影装置１１０で撮影された撮影データを保持する別の通信装置から撮影データを収集してもよい。

情報処理装置３００は、例えば、制御部３０１、記憶部３０２、および通信部３０３を含む。制御部３０１は、例えば特定部３１１、決定部３１２、および推定部３１３などを含み、またその他の機能部を含んでもよい。情報処理装置３００の記憶部３０２は、例えば、撮影データなどの情報を記憶している。通信部３０３は、例えば、制御部３０１の指示に従って、車載カメラおよび監視カメラなどの撮影装置１１０、または撮影データを記憶する通信装置と通信し、撮影データを収集してよい。これらの各部の更なる詳細については後述する。

図４は、実施形態に係る検出対象物１０２が写る領域１５０を示す長さの実測値の時間に応じた変化を例示する図である。なお、図４では、検出対象物１０２が写る領域１５０を示す長さとして、検出対象物１０２が写る領域１５０の起点のＸ座標およびＹ座標、領域１５０の幅、並びに領域１５０の高さが例示されている。起点は、例えば、検出対象物１０２の左上の点など所定箇所に定められていてよく、また、座標系の原点は、撮影画像の左上の点など撮影画像の所定の位置に定められていてよい。Ｘ軸とＹ軸は、一例では、撮影画像１２０の縦方向とＸ軸とが一致していてよく、また、撮影画像１２０の横方向とＹ軸とが一致していてよい。なお、実施形態はこれに限定されるものではない。例えば、軸の方向は画像上の任意の方向に定められてよく、検出対象物１０２が写る領域１５０を示す長さに用いられる座標は、撮影画像上の所定の軸方向における原点から起点までの長さで表されてよい。また、検出対象物１０２が写る領域１５０を示す長さは、これらに限定されるものではない。別の実施形態では、検出対象物１０２が写る領域１５０の枠や形状を示すことができれば、その他の長さの組み合わせが用いられてもよい。例えば、検出対象物１０２が写る領域１５０の枠が円で表される場合、検出対象物１０２が写る領域１５０を示す長さは、撮影画像上の所定の点を原点とする円の中心の座標と、半径とであってもよい。

そして、図４（ａ）は、検出対象物１０２が写る領域１５０の起点のＸ座標の時間変化を例示している。図４（ａ）の縦軸は各フレームにおける起点のＸ座標を示しており、横軸は各フレームの撮影時間を示している。また、図４（ｂ）は、検出対象物１０２が写る領域１５０の起点のＹ座標の時間変化を示す図である。同様に、図４（ｃ）および図４（ｄ）は、それぞれ、検出対象物１０２が写る領域１５０の幅、および検出対象物１０２が写る領域１５０の高さの時間変化を示している。図４（ａ）から図４（ｄ）において、各フレームでの実測値は「〇」で示されている。

また、図５は、検出対象物１０２が写る領域１５０を示す長さの実測値と、線形補間により得られた長さの比較を例示する図である。図４で述べた検出対象物１０２が写る領域１５０を示す長さの実測値を示す「〇」が図５でも示されている。また、図５では、複数のフレームの最初のフレームと最後のフレームの値から線形補間により推定された中間フレームでの推定値が「△」で示されている。

図５に示すように、検出対象物１０２が写る領域１５０の起点のＸ座標（図５（ａ））およびＹ座標（図５（ｂ））、領域１５０の幅（図５（ｃ））および高さ（図５（ｄ））のいずれでも、実測値「〇」と推定値「△」との差が大きくでている。そのため、線形補間は検出対象物１０２の写る領域１５０の推定に適していないことが分かる。

ここで、図４の検出対象物１０２が写る領域１５０を示す長さの実測値「〇」の波形を解析すると、ほぼ２次曲線に従って変化していることが分かる。また、更に詳細に波形を解析すると、この２次曲線に従う変化は、撮影装置１１０と検出対象物１０２との相対速度が一定であり、かつ、撮影画像１２０において検出対象物１０２の縦横比の変化が所定の誤差範囲内である場合によく成り立つという結果が得られる。

そこで、本願の発明者は、検出対象物１０２が写る領域１５０を示す長さが、２次曲線に従って変化するように検出対象物１０２が写る領域１５０の位置を推定することを考えた。そして、本願の発明者は、例えば、時間に応じて辺の長さが所定の倍率で変化する矩形領域があった場合、その矩形領域の面積は時間に応じた辺の長さの変化の倍率の二乗で変化することに着目した。

図６は、実施形態に係る時間経過に応じた矩形領域６００の辺の長さの変化と、面積の変化との対応関係を例示する図である。図６に示すように、時間に応じて矩形領域６００の縦辺および横辺の長さが２倍および４倍に変化したとする。この場合に、面積は４倍、１６倍と、辺の長さの変化に対して２乗で変化する。

そこで、本願の発明者は、まず各中間フレームと対応する検出対象物１０２が写る領域１５０の面積を、線形補間による推定を用いて決定し、得られた面積の比に基づいて、各中間フレームで検出対象物１０２が写る領域１５０を高精度に推定できないかと考えた。

以下、実施形態に係る線形補間で決定した面積の比に基づく検出対象物１０２が写る領域１５０の推定について説明する。

例えば、フレームの時刻ｎにおける、検出対象物１０２の写る領域１５０の起点のＸ座標、Ｙ座標、検出対象物１０２の写る領域１５０の幅、検出対象物１０２の写る領域１５０の高さをそれぞれ、Ｘ_ｎ，Ｙ_ｎ，Ｗ_ｎ，Ｈ_ｎで表すものとする。

この場合に、時刻０から時刻ｍ＋１までの期間において、中間フレーム１，２，…，ｍにおける検出対象物１０２の写る領域１５０の面積Ａ_ｉ（ｉ＝０，１，２，…，ｍ＋１）を、線形補間により以下の式１で決定することができる。

なお、式１において、Ｗ_０×Ｈ_０は、時刻０において検出された検出対象物１０２が写る領域１５０の面積Ａ_０である。また、Ｗ_ｍ＋１×Ｈ_ｍ＋１は、時刻ｍ＋１において検出された検出対象物１０２が写る領域１５０の面積Ａ_ｍ＋１である。Ａ_ｉ（ｉ＝１，２，…，ｍ）は線形補間により決定された各中間フレームｉと対応する検出対象物１０２が写る領域１５０の面積である。

そして、実施形態では線形補間により求めた各中間フレームｉと対応する面積の比に基づいて、各中間フレームにおける検出対象物１０２が写る領域１５０を示す長さを推定するための係数ｄ_ｉ（ｉ＝１，２，…，ｍ）を以下の式２で求める。

式２において、係数ｄ_ｉは、１フレームからｍフレームまでの中間フレームのそれぞれについて決定した面積の総和に対して、１フレームからｉ番目までの中間フレームについて決定した面積の和が占める割合の面積比で表されている。なお、係数ｄ_ｉは、式変形すると、ｄ_ｉ＝α×ｉ^２＋β×ｉの形になり、ｉ＝０〜ｍ＋１の範囲で０〜１の値をとる２次曲線を表す。

そして、係数ｄ_ｉを用いてｉ番目の中間フレームの検出対象物１０２が写る領域１５０の起点のＸ座標：Ｘ_ｉ，Ｙ座標：Ｙ_ｉ，領域１５０の幅：Ｗ_ｉ，領域１５０の高さ：Ｈ_ｉ（ｉ＝１，２，…，ｍ）を以下の式３から式６でそれぞれ求めることができる。
Ｘ_ｉ＝Ｘ_０＋（Ｘ_ｍ＋１−Ｘ_０）×ｄ_ｉ …式３
Ｙ_ｉ＝Ｙ_０＋（Ｙ_ｍ＋１−Ｙ_０）×ｄ_ｉ …式４
Ｗ_ｉ＝Ｗ_０＋（Ｗ_ｍ＋１−Ｗ_０）×ｄ_ｉ …式５
Ｈ_ｉ＝Ｈ_０＋（Ｈ_ｍ＋１−Ｈ_０）×ｄ_ｉ …式６

以上の式３から式６で求められたＸ_ｉ，Ｙ_ｉ，Ｗ_ｉ，Ｈ_ｉの各値は、Ｘ_０からＸ_ｍ＋１、Ｙ_０からＹ_ｍ＋１、Ｗ_０からＷ_ｍ＋１、Ｈ_０からＨ_ｍ＋１の範囲においてそれぞれ２次曲線に従って変化する値をとる。

図７は、以上で述べた実施形態に係る面積比に基づく検出対象物１０２が写る領域１５０の推定について説明する図である。図７では、線形補間により推定された検出対象物１０２が写る領域１５０が点線の枠７０１で示されている。また、上述の式１〜式６により面積比に基づいて推定された検出対象物１０２が写る領域１５０が網掛けの点線の枠７０２で示されている。図７に示すように、枠７０１は、線形補間で推定されているため、距離が等間隔で並んでおり、また、枠７０１の辺の長さも時間の経過に対して均等な倍率で増加している。

一方、図７において、面積比に基づいて推定された枠７０２は、式３〜式６で表されるように、０フレームとｍ＋１フレームとの差分に係数ｄ_ｉを乗じて、０フレームの値に加算することで求められている。係数ｄ_ｉは、時間の経過に対して２次曲線に従って変化する値をとるため、係数ｄ_ｉを乗じることで枠７０２の位置や辺の長さも２次曲線に従って変化している。

図８は、以上で述べた実施形態に係る面積比に基づく検出対象物１０２が写る領域１５０の推定の精度を例示する図である。図８では、係数ｄ_ｉを用いて求めた検出対象物１０２が写る領域１５０を示す長さの値が「●」で示されている。また、図５と同様に、検出対象物１０２が写る領域１５０を示す長さの実測値が「〇」、線形補間による推定値が「△」で示されている。図８に示すように、検出対象物１０２が写る領域１５０の起点のＸ座標およびＹ座標、領域１５０の幅、領域１５０の高さのいずれでも、係数ｄ_ｉを用いて求めた値「●」は、線形補間による推定値「△」よりも実測値「〇」に近い値を取っている。従って、係数ｄｉを用いて面積比に基づいて検出対象物１０２が写る領域１５０を推定することで、２次曲線に従って高い精度で検出対象物１０２が写る領域１５０を推定することができる。

また、図９は、以上で述べた実施形態に係る面積比に基づく検出対象物１０２が写る領域１５０の撮影画像上での表示位置を例示する図である。図９では、実際に検出対象物１０２が写る領域１５０が実線四角の枠９０１で示されている。また、線形補間で得られた面積比に基づいて推定された検出対象物１０２が写る領域１５０が網掛けの破線四角の枠９０２で示されている。図９に示すように、枠９０１と枠９０２とは重なりがよく表示されており、高い精度で推定できていることが分かる。

以上のように、線形補間により決定した検出対象物１０２の写る領域１５０の面積の比に基づき、中間フレームにおける検出対象物１０２の写る領域１５０を推定することで、推定精度を向上させることができる。

図１０は、実施形態に係る検出対象物１０２の写る領域１５０の推定処理を例示する図である。制御部３０１は、例えば、検出対象物１０２の写る領域１５０の推定処理の実行指示が入力されると、図１０の動作フローを開始する。

ステップ１００１（以降、ステップを“Ｓ”と記載し、例えばＳ１００１と表記する）において制御部３０１は、処理対象の複数のフレームを読み込む。制御部３０１は、一例では、記憶部３０２に記憶されている連続する複数のフレームを読み込む。

Ｓ１００２において制御部３０１は、検出対象物１０２の写る領域１５０を特定する。例えば、制御部３０１は、処理対象の複数のフレームうちの第１のフレームと、第１のフレームよりも後の時刻に撮影された第２のフレームとから検出対象物１０２の写る領域１５０を特定する。なお、第１のフレームの撮影時刻と第２のフレームの撮影時刻との間には、少なくとも１つの中間フレームの撮影時刻が含まれていてよく、一例では、複数の中間フレームの撮影時刻が含まれている。また、第１のフレームは、例えば、複数のフレームの最初のフレームであり、第２のフレームは複数のフレームの最後のフレームである。

Ｓ１００３において制御部３０１は、第１のフレームと第２のフレームの撮影時刻の間の時刻に撮影されている中間フレームと対応する検出対象物の写る領域の面積を線形補間により決定する。例えば、制御部３０１は、上述の式１により中間フレームと対応する検出対象物の写る領域の面積を決定する。

Ｓ１００４において制御部３０１は、決定した中間フレームと対応する検出対象物の写る領域の面積の比に基づいて２次曲線に従う補正係数を求める。例えば、制御部３０１は、第１のフレームおよび第２のフレームにおいて検出された検出対象物１０２の写る領域１５０の面積と、Ｓ１００３で決定した中間フレームと対応する検出対象物の写る領域の面積を用いて、上述の式２により補正係数ｄ_ｉを求める。

Ｓ１００５において制御部３０１は、補正係数ｄ_ｉを用いて中間フレームにおける検出対象物１０２の写る領域１５０を推定する。例えば、制御部３０１は、上述の式３から式６により検出対象物１０２の写る領域１５０を示す長さをそれぞれ推定し、それによって、検出対象物１０２の写る領域１５０を推定する。検出対象物１０２が写る領域１５０を示す長さは、一例では、検出対象物１０２が写る領域１５０の所定箇所に定められた起点のＸ座標およびＹ座標、領域１５０の幅、並びに領域１５０の高さである。

Ｓ１００６において制御部３０１は、中間フレームに対して推定した検出対象物１０２の写る領域１５０を設定する。Ｓ１００７において制御部３０１は、検出対象物１０２の写る領域１５０の情報と対応づけられた複数のフレームを出力し、本動作フローは終了する。例えば、制御部３０１は、各フレームの画像のデータに検出対象物１０２の写る領域１５０の情報が付された複数のフレームを、記憶部３０２に記憶する。

図１１は、図１０で述べた実施形態に係る検出対象物１０２の写る領域１５０の推定処理の流れを例示する図である。制御部３０１は、例えば、図１１（ａ）に示すように、連続する複数のフレームを読み出す。そして、制御部３０１は、複数のフレームを所定の間隔で間引き、残りのフレームに対して検出対象物１０２の写る領域１５０の検出を実行する（図１１（ｂ））。例えば、図１１（ｂ）では、連続の複数のフレームの３個おきに検出対象物１０２の写る領域１５０の検出が実行されている。

続いて、制御部３０１は、検出した検出対象物１０２の写る領域１５０の情報を用いて、その間の間引いた中間フレームに上述の面積の比に基づく検出対象物１０２が写る領域１５０の推定を実行する。それによって、制御部３０１は、中間フレームにおける検出対象物１０２の写る領域１５０を面積の比に基づいて２次曲線に従うように推定する（図１１（ｃ））。その結果、図１１（ｄ）に示すように、全てのフレームで検出対象物１０２が写る領域１５０の検出処理を実行しなくても、中間フレームにおいて検出対象物１０２が写る領域１５０を補間することができる。従って、検出対象物１０２が写る領域１５０の特定にかかる処理負荷を削減することができる。また、処理負荷を低減できるため、情報処理装置３００の消費電力を削減することもできる。また更に、上述の実施形態によれば、各フレームにおいて検出対象物１０２が写る領域１５０を高い精度で設定することができる。

また更に、例えば、制御部３０１が、面積の比に基づき推定した検出対象物１０２が写る領域１５０の周辺領域をテンプレートマッチングなどの技術を用いて探索し、より正確に検出対象物１０２が写る領域１５０を特定することも考えられる。この場合にも、面積の比に基づき推定した検出対象物１０２が写る領域１５０は、実際に検出対象物１０２が写る領域１５０を高精度に推定したものであるため、探索範囲を狭く設定することが可能である。その結果、検出対象物１０２が写る領域１５０の特定にかかる処理負荷を削減することができる。

また、上述の実施形態では、２つのフレームで検出した検出対象物１０２が写る領域１５０の面積から、中間フレームと対応する検出対象物の写る領域の面積を線形補間により推定し、その推定した面積の比に基づいて、検出対象物１０２が写る領域１５０を推定している。数理的には、２次曲線の係数は、２次曲線上の点を３つ以上特定すれば決定することができる。しかしながら、３つの点を特定するために、少なくとも３つのフレームで検出対象物１０２が写る領域１５０の検出を行うことになる。一方、上述の実施形態では、２つのフレームで検出した検出対象物１０２が写る領域１５０の面積から、中間フレームにおける検出対象物１０２が写る領域１５０を２次曲線に従うように推定している。換言すると、２つのフレームで検出対象物１０２が写る領域１５０の検出を行えば、その間にある中間フレームにおける検出対象物１０２が写る領域１５０を推定することができる。そのため、２次曲線上の点を３つ以上特定して係数を決定し、中間フレームにおける検出対象物１０２が写る領域１５０を推定する場合と比較して、処理負荷を低減することができる。

なお、別な実施形態では、制御部３０１は、少なくとも１つの中間フレームで検出対象物１０２が写る領域１５０を検出してよい。そして、制御部３０１は、第１のフレームと、第２のフレームと、中間フレームとの３点における検出対象物１０２が写る領域１５０を示す長さの値から２次曲線の係数を求めてもよい。そして、制御部３０１は、得られた２次曲線に従って、中間フレームにおける検出対象物１０２が写る領域１５０を推定してもよい。

また、実施形態は、検出対象物１０２のトラッキング等の技術に利用することもできる。図１２は、実施形態に係る検出対象物１０２のトラッキングを例示する図である。トラッキングでは、例えば、予め検出された複数のフレームでの検出対象物１０２が写る領域１５０に基づいて、後続の予測フレームにおける検出対象物１０２が写る領域１５０の推定を行う。そのため、実施形態では制御部３０１は、例えば、上述の面積比に基づいて推定した検出対象物１０２が写る領域１５０の情報を用いて、予測フレームにおける検出対象物１０２が写る領域１５０の推定を行ってもよい。例えば、制御部３０１は、図１２のフレーム１と、フレーム５とにおいて検出対象物１０２の写る領域１５０を検出する。そして、制御部３０１は、フレーム１と、フレーム５の検出対象物１０２が写る領域１５０に基づいて、中間フレーム２から中間フレーム４における検出対象物１０２が写る領域１５０を推定する。続いて、制御部３０１は、中間フレーム２から中間フレーム４を含むフレーム１からフレーム５の検出対象物１０２が写る領域１５０を用いて、予測フレーム１および予測フレーム２で検出対象物１０２が写る領域１５０を予測してもよい。

例えば、以上のようにトラッキングに実施形態に係る検出対象物１０２が写る領域１５０の推定を利用することができ、検出対象物１０２が写る領域１５０の検出にかかる処理負荷を抑えつつも、高い精度で検出対象物１０２の動きを予測することが可能である。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。

また、上述の実施形態では、撮影装置１１０が車両１０１に取り付けられている場合を例に説明を行っているが、実施形態はこれに限定されるものではない。例えば、撮影装置１１０は、バイク、電車、飛行機などのその他の移動体に取り付けられていてもよく、或いは、監視カメラなどのように、所定の箇所に設置された撮影装置であってもよい。

また、上述の実施形態において、例えば、撮影装置１１０が移動体に設置されている場合に、移動体の速度、加速度、回転角などの情報を移動体に設置されたセンサで取得することができる。そして、例えば、移動体の加速、減速、転回などがセンサにより検知された場合に、制御部３０１は、上述の実施形態とは異なる処理や、更なる処理を実行してもよい。例えば、制御部３０１は、移動体の加速、減速、転回などがセンサにより検知された場合、検知された時刻周辺の全てのフレームで検出対象物１０２の検出を実行してもよい。また、別の実施形態では、制御部３０１は、移動体の加速、減速、転回などがセンサにより検知された場合、移動体の速度、加速度、回転角などの情報を用いて、検出対象物１０２が写る領域１５０の推定の際に更なる補正を行ってもよい。

また、上述の実施形態では、撮影データの連続する複数のフレームのうちから、検出対象物１０２の写る領域１５０の検出処理を間引く例を述べているが、実施形態はこれに限定されるものではない。別の実施形態では、撮影装置１１０による撮影間隔を長くし、撮影間隔の間の撮影画像の撮影をしていない時刻における検出対象物１０２の写る領域１５０を、上述の実施形態により推定してもよい。それにより、検出対象物１０２の位置を高精度に推定しつつも、撮影間隔を延ばすことができる。

なお、上述の実施形態において、例えば、Ｓ１００２の処理では制御部３０１は、特定部３１１として動作する。また、例えば、Ｓ１００３の処理では制御部３０１は、決定部３１２として動作する。例えば、Ｓ１００４〜Ｓ１００７の処理では制御部３０１は、推定部３１３として動作する。

図１３は、実施形態に係る情報処理装置３００を実現するためのコンピュータ１３００のハードウェア構成を例示する図である。図１３の情報処理装置３００を実現するためのハードウェア構成は、例えば、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、および入出力インタフェース１３０７を備える。なお、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、入出力インタフェース１３０７は、例えば、バス１３０８を介して互いに接続されている。

プロセッサ１３０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１３０１は、メモリ１３０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部３０１の一部または全部の機能を提供する。例えば、プロセッサ１３０１は、記憶装置１３０３に格納されているプログラムを読み出して実行することで、特定部３１１、決定部３１２、および推定部３１３として動作する。

メモリ１３０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１３０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置１３０４は、プロセッサ１３０１の指示に従って着脱可能記憶媒体１３０５にアクセスする。着脱可能記憶媒体１３０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

記憶部３０２は、例えばメモリ１３０２、記憶装置１３０３、および着脱可能記憶媒体１３０５を含んでよい。例えば、情報処理装置３００の記憶装置１３０３には、撮影データなどの情報が格納されている。

通信インタフェース１３０６は、プロセッサ１３０１の指示に従って、他の装置と通信する。一例では、通信インタフェース１３０６は、有線または無線通信で他の装置とデータを送受信してよい。例えば、情報処理装置３００は、車載カメラおよび監視カメラなどの撮影装置１１０、或いは他の通信装置と、通信インタフェース１３０６を介して通信し、撮影データを収集してよい。通信インタフェース１３０６は、上述の通信部３０３の一例である。

入出力インタフェース１３０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置３００に提供される。
（１）記憶装置１３０３に予めインストールされている。
（２）着脱可能記憶媒体１３０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図１３を参照して述べた情報処理装置３００を実現するためのコンピュータ１３００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部３０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

１０１ 車両
１０２ 検出対象物
１１０ 撮影装置
１２０ 撮影画像
１５０ 領域
３００ 情報処理装置
３０１ 制御部
３０２ 記憶部
３０３ 通信部
３１１ 特定部
３１２ 決定部
３１３ 推定部
１３００ コンピュータ
１３０１ プロセッサ
１３０２ メモリ
１３０３ 記憶装置
１３０４ 読取装置
１３０５ 着脱可能記憶媒体
１３０６ 通信インタフェース
１３０７ 入出力インタフェース
１３０８ バス

Claims (8)

1. 第１の時刻に撮影された第１のフレームの撮影画像において検出対象物が写る第１の領域と、前記第１の時刻よりも後の第２の時刻に撮影された第２のフレームの撮影画像において前記検出対象物が写る第２の領域とを特定し、
   前記第１の領域の面積と、前記第２の領域の面積とから、前記第１のフレームと、前記第２のフレームとの間の撮影時刻に撮影された複数の中間フレームのそれぞれについて線形補間により推定される前記検出対象物が写る領域の面積を決定し、
   前記複数の中間フレームのそれぞれについて線形補間により推定される前記面積の比に基づいて、前記複数の中間フレームの少なくとも１つの中間フレームにおいて前記検出対象物が写る領域を推定する、
   処理をコンピュータに実行させる推定プログラム。
2. 前記推定する処理は、前記複数の中間フレームのそれぞれについて線形補間により推定された前記面積の総和に対して、前記第１のフレームから前記少なくとも１つの中間フレームまでに含まれる中間フレームについて線形補間により推定された前記面積の和が占める割合に基づいて、前記少なくとも１つの中間フレームにおいて前記検出対象物が写る領域を推定する、
   請求項１に記載の推定プログラム。
3. 前記検出対象物が写る領域は、フレームの撮影画像内において前記検出対象物が写る領域を示す長さを用いて表され、
   前記推定する処理は、前記第１の領域を示す前記長さと前記第２の領域を示す前記長さとの差分に前記割合を乗じた値に、前記第１の領域を示す前記長さを加算することで前記少なくとも１つの中間フレームにおいて前記検出対象物が写る領域を示す前記長さを推定する、請求項２に記載の推定プログラム。
4. 前記検出対象物が写る領域を示す長さは、前記検出対象物が写る領域の幅および高さの少なくとも１つを含む、請求項３に記載の推定プログラム。
5. 前記検出対象物が写る領域を示す長さは、前記検出対象物が写る領域の半径を含む、請求項３に記載の推定プログラム。
6. 前記推定する処理は、撮影画像を撮影する撮影装置と前記検出対象物との相対速度が一定であり、かつ、撮影画像において前記検出対象物の縦横比の変化が所定の誤差範囲内である場合に実行される、請求項１から５のいずれか１項に記載の推定プログラム。
7. 第１の時刻に撮影された第１のフレームの撮影画像において検出対象物が写る第１の領域と、前記第１の時刻よりも後の第２の時刻に撮影された第２のフレームの撮影画像において前記検出対象物が写る第２の領域とを特定し、
   前記第１の領域の面積と、前記第２の領域の面積とから、前記第１のフレームと、前記第２のフレームとの間の撮影時刻に撮影された複数の中間フレームのそれぞれについて線形補間により推定される前記検出対象物が写る領域の面積を決定し、
   前記複数の中間フレームのそれぞれについて線形補間により推定される前記面積の比に基づいて、前記複数の中間フレームの少なくとも１つの中間フレームにおいて前記検出対象物が写る領域を推定する、
   ことを含む、コンピュータが実行する推定方法。
8. 第１の時刻に撮影された第１のフレームの撮影画像において検出対象物が写る第１の領域と、前記第１の時刻よりも後の第２の時刻に撮影された第２のフレームの撮影画像において前記検出対象物が写る第２の領域とを特定する特定部と、
   前記第１の領域の面積と、前記第２の領域の面積とから、前記第１のフレームと、前記第２のフレームとの間の撮影時刻に撮影された複数の中間フレームのそれぞれについて線形補間により推定される前記検出対象物が写る領域の面積を決定する決定部と、
   前記複数の中間フレームのそれぞれについて線形補間により推定される前記面積の比に基づいて、前記複数の中間フレームの少なくとも１つの中間フレームにおいて前記検出対象物が写る領域を推定する推定部と、
   を含む、情報処理装置。
   
   

Images