JP2007051976A

JP2007051976A - 車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法

Info

Publication number: JP2007051976A
Application number: JP2005238837A
Authority: JP
Inventors: Takashi Soga; 孝曽我
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-08-19
Filing date: 2005-08-19
Publication date: 2007-03-01

Abstract

【課題】障害物が一方のカメラの撮像範囲外に移動した場合に障害物までの距離を適切に算出することができるシステムを提供すること。
【解決手段】本発明に係る車載カメラシステムは、同一のオブジェクトを撮像する第１及び第２撮像部と、第１時刻に第１及び第２撮像部によって撮像された画像に基づいて、第１時刻でのオブジェクトまでの距離を算出する第１オブジェクト距離算出部と、第１時刻で第１及び第２撮像部の撮像範囲内に存在したオブジェクトが、第１時刻から所定時間後の第２時刻において第１撮像部の撮像範囲内で第２撮像部の撮像範囲外に移動すると、第１時刻と第２時刻に第１撮像部によって撮像された画像でのオブジェクト長の差を算出するオブジェクト長さ差算出部と、オブジェクト長の差及び第１オブジェクト距離算出部が算出した距離に基づいて第２時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出部とを備える。
【選択図】図２

Description

本発明は、車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法に関する。特に本発明は、車載された複数の撮像装置によりオブジェクトを撮像する車載カメラシステム及びオブジェクト位置検出方法、並びに、複数の撮像装置によりオブジェクトの位置を算出するオブジェクト位置検出システム及びオブジェクト位置検出方法に関する。

複数のカメラにより車両の周囲の異なる方向を撮影して、各カメラの画像を車載情報ＬＡＮを介して転送し、モニタに表示させるシステムが知られている（例えば、特許文献１参照。）。
特開平２００２−０６３６８１号公報

しかし、特許文献１には、複数のカメラによって得られた車両の周囲の画像から、車両の周囲の障害物の位置の変化を推定する技術については開示されていない。障害物が複数のカメラの撮像範囲内に位置していない場合であっても、障害物の位置を推定することができるのが望ましい。

そこで本発明は、上記の課題を解決することができる車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における車載カメラシステムは、同一のオブジェクトを撮像する第１撮像部及び第２撮像部と、第１の時刻に第１撮像部及び第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出部と、第１の時刻において第１撮像部及び第２撮像部の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部の撮像範囲内であって第２撮像部の撮像範囲外に移動した場合に、第１の時刻に第１撮像部によって撮像された画像におけるオブジェクトの長さと、第２の時刻に第１撮像部によって撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出部とを備える。

第１の時刻に第１撮像部及び第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトの方向を算出する第１オブジェクト方向算出部と、第１の時刻において第１撮像部及び第２撮像部の撮像範囲内に存在したオブジェクトが、第２の時刻において第１撮像部の撮像範囲内であって第２撮像部の撮像範囲外に移動した場合に、第１の時刻に第１撮像部によって撮像された画像におけるオブジェクトの位置と、第２の時刻に第１撮像部によって撮像された画像におけるオブジェクトの位置との差を算出するオブジェクト位置差算出部と、オブジェクト位置差算出部が算出した画像におけるオブジェクトの位置の差、及び第１オブジェクト方向算出部が算出した第１の時刻におけるオブジェクトの方向に基づいて、第２の時刻におけるオブジェクトまでの方向を算出する第２オブジェクト方向算出部とをさらに備えてよい。

第１の時刻に第１撮像部及び第２撮像部によってそれぞれ撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、第１の時刻において第１撮像部及び第２撮像部の撮像範囲内に存在したオブジェクトが、第２の時刻において第１撮像部の撮像範囲内であって第２撮像部の撮像範囲外に移動した場合に、第２の時刻に第１撮像部によって撮像されたオブジェクトの画像と、立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第２の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部とをさらに備えてよい。

第２オブジェクト距離算出部が算出した第２の時刻におけるオブジェクトまでの距離を運転者に通知するオブジェクト位置通知部をさらに備えてよい。

本発明の第２の形態におけるオブジェクト位置算出方法は、第１撮像部及び第２撮像部により同一のオブジェクトを撮像する撮像段階と、第１の時刻に撮像段階において撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出段階と、第１の時刻において第１撮像部及び第２撮像部における撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部における撮像範囲内であって第２撮像部における撮像範囲外に移動した場合に、第１の時刻に第１撮像部において撮像された画像におけるオブジェクトの長さと、第２の時刻に第１撮像部において撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出段階と、オブジェクト長さ差算出段階において算出された画像におけるオブジェクトの長さの差、及び第１オブジェクト距離算出段階において算出された第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出段階とを備える。

本発明の第３の形態におけるオブジェクト位置検出システムは、同一のオブジェクトを撮像する第１撮像部及び第２撮像部と、第１の時刻に第１撮像部及び第２撮像部によってそれぞれ撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、第１の時刻に第１撮像部及び第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出部と、第１の時刻において第１撮像部及び第２撮像部の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部の撮像範囲内であって第２撮像部の撮像範囲外に移動した場合に、立体画像生成部が生成したオブジェクトの立体画像、第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離、第１の時刻に第１撮像部によって撮像された平面画像、及び第２の時刻に第１撮像部によって撮像された平面画像に基づいて、第２の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出部とを備える。

オブジェクト位置算出部は、第２の時刻に第１撮像部によって撮像されたオブジェクトの画像と、立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第２の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部を有してよい。

オブジェクト位置算出部は、第１の時刻に第１撮像部によって撮像された平面画像におけるオブジェクトの長さと、第２の時刻に第１撮像部によって撮像された平面画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出部とを有してよい。

本発明の第４の形態におけるオブジェクト位置算出方法は、第１撮像部及び第２撮像部によって同一のオブジェクトを撮像する撮像段階と、第１の時刻に撮像段階において撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成段階と、第１の時刻に第１撮像部及び第２撮像部においてそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出段階と、第１の時刻において第１撮像部及び第２撮像部における撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部における撮像範囲内であって第２撮像部における撮像範囲外に移動した場合に、立体画像生成段階において生成されたオブジェクトの立体画像、第１オブジェクト距離算出段階において算出された第１の時刻におけるオブジェクトまでの距離、第１の時刻に第１撮像部において撮像された平面画像、及び第２の時刻に第１撮像部において撮像された平面画像に基づいて、第２の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出段階とを備える。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、一方のカメラの撮像範囲から障害物が外れた場合でも、障害物までの距離を適切に算出することができる車載カメラシステムを提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、この発明の一実施形態におけるオブジェクト位置検出システム１００の利用環境の一例を示す。本オブジェクト位置検出システム１００は、複数のカメラ１１０及び１２０、並びに表示装置１４０を備えている。本実施形態におけるオブジェクト位置検出システム１００は、車両１３０に搭載されて、この発明における車載カメラシステムとして機能する。オブジェクト位置検出システム１００は、車両１３０に設けられた複数のカメラ１１０及び１２０によって撮像された画像から、車両１３０に対する障害物１５０の位置を検出する。

そして、障害物１５０の車両１３０に対する相対的な移動によって、障害物１５０がカメラ１２０の撮像範囲の外に移動した場合に、障害物１５０がカメラ１１０の撮像範囲内にあれば、カメラ１１０によって撮像された障害物１５０の大きさの変化から車両１３０に対して障害物１５０が移動した量を算出する。また、オブジェクト位置検出システム１００は、カメラ１１０によって撮像された画像における障害物１５０の位置の変化から、車両１３０に対して障害物１５０が移動した移動方向を算出する。そして、オブジェクト位置検出システム１００は、障害物１５０がカメラ１２０の撮像範囲の外に移動したタイミングにおける障害物１５０の車両１３０からの距離及び方向を算出する。そして、表示装置１４０は、算出した車両１３０からの距離及び方向を表示して、１３０の運転者に通知する。

なお、オブジェクト位置検出システム１００では、複数のカメラ１１０及び１２０によって撮像された障害物１５０の画像から障害物１５０の３次元画像を予め生成して記憶しておく。そして、障害物１５０がカメラ１２０の撮像範囲の外に移動した場合に、３次元画像を各視点から見ることによって得られる障害物１５０の平面画像と、カメラ１１０に写った障害物１５０の平面画像を比較することによって、障害物１５０がカメラ１２０の撮像範囲の外に移動したタイミングにおける障害物１５０の方向を算出してもよい。なお、カメラ１１０は、車両１３０の前方、側面、後面のいずれから撮像してよい。

なお、表示装置１４０は、例えばカーナビゲーションシステムにおけるディスプレイであってよい。また、表示装置１４０は、車両１３０から障害物１５０までの距離及び方向を、数値、イメージ等によって表示してよい。他にも、表示装置１４０は、カメラ１１０による障害物１５０の画像を表示してもよい。また、表示装置１４０は、車両１３０のフロントガラス、ドアガラス、バックガラス等のガラス面に投影表示してよい。これにより、運転者は、視線を大きく動かすことなく、障害物１５０の位置を確認することができる。なお、表示装置１４０は、運転席の位置に対して障害物１５０が位置する方向に存在するガラスに投影表示してもよい。具体的には、表示装置１４０は、ガラス面における運転者の目線と障害物１５０との交点の近傍に投影表示してもよい。また、表示装置１４０は、障害物１５０の立体画像に基づいて、運転者から見た障害物１５０の画像を表示してよい。

以上説明したように、オブジェクト位置検出システム１００によると、車両１３０又は障害物１５０の移動によって、一方のカメラ１２０で障害物１５０を撮像することができなくなった場合に、一のカメラ１１０の撮像範囲内に障害物１５０があれば、障害物１５０の位置を適切に算出して運転者に提供することができる。

図２は、オブジェクト位置検出システム１００のブロック構成の一例を示す。本例におけるオブジェクト位置検出システム１００は、車載カメラシステムとして機能する。オブジェクト位置検出システム１００は、第１撮像部２１０、第２撮像部２２０、オブジェクト長さ差算出部２４０、第１オブジェクト距離算出部２４１、第２オブジェクト距離算出部２４２、オブジェクト位置差算出部２５０、第１オブジェクト方向算出部２５１、第２オブジェクト方向算出部２５２、オブジェクト方向算出部２５５、立体画像生成部２６０、及びオブジェクト位置通知部２７０を備える。

第１撮像部２１０及び第２撮像部２２０は、同一のオブジェクトを撮像する。具体的には、第１撮像部２１０及び第２撮像部２２０は、互いに異なる方向から同一のオブジェクトを撮像する。なお、図１に関連して説明した障害物１５０は、本実施形態におけるオブジェクトの一例である。

第１オブジェクト距離算出部２４１は、第１の時刻に第１撮像部２１０及び第２撮像部２２０によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する。具体的には、第１オブジェクト距離算出部２４１は、三角測量の原理を用いて、第１の時刻におけるオブジェクトまでの距離を算出する。

オブジェクト長さ差算出部２４０は、第１の時刻において第１撮像部２１０及び第２撮像部２２０の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部２１０の撮像範囲内であって第２撮像部２２０の撮像範囲外に移動した場合に、第１の時刻に第１撮像部２１０によって撮像された画像におけるオブジェクトの長さと、第２の時刻に第１撮像部２１０によって撮像された画像におけるオブジェクトの長さとの差を算出する。

そして、第２オブジェクト距離算出部２４２は、オブジェクト長さ差算出部２４０が算出した画像におけるオブジェクトの長さの差、及び第１オブジェクト距離算出部２４１が算出した第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する。このため、オブジェクトと第２撮像部２２０との相対位置の変化によって、第２の時刻においてオブジェクトが第２撮像部２２０の撮像範囲から外れてしまった場合であっても、オブジェクトまでの距離を的確に算出することができる。

第１オブジェクト方向算出部２５１は、第１の時刻に第１撮像部２１０及び第２撮像部２２０によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトの方向を算出する。具体的には、第１オブジェクト距離算出部２４１は、三角測量の原理を用いて、第１の時刻におけるオブジェクトまでの距離を算出する。

オブジェクト位置差算出部２５０は、第１の時刻において第１撮像部２１０及び第２撮像部２２０の撮像範囲内に存在したオブジェクトが、第２の時刻において第１撮像部２１０の撮像範囲内であって第２撮像部２２０の撮像範囲外に移動した場合に、第１の時刻に第１撮像部２１０によって撮像された画像におけるオブジェクトの位置と、第２の時刻に第１撮像部２１０によって撮像された画像におけるオブジェクトの位置との差を算出する。

そして、第２オブジェクト方向算出部２５２は、オブジェクト位置差算出部２５０が算出した画像におけるオブジェクトの位置の差、及び第１オブジェクト方向算出部２５１が算出した第１の時刻におけるオブジェクトの方向に基づいて、第２の時刻におけるオブジェクトまでの方向を算出する。このため、オブジェクトと第２撮像部２２０との相対位置の変化によって、第２の時刻においてオブジェクトが第２撮像部２２０の撮像範囲から外れてしまった場合であっても、オブジェクトが位置する方向を的確に算出することができる。

立体画像生成部２６０は、第１の時刻に第１撮像部２１０及び第２撮像部２２０によってそれぞれ撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する。具体的には、立体画像生成部２６０は、三角測量の原理を用いて、オブジェクトを構成する各領域の座標を算出することによって、立体画像を生成する。なお、立体画像生成部２６０は、オブジェクトの各領域の三次元空間における座標を立体画像として生成してよい。

そして、オブジェクト方向算出部２５５は、第１の時刻において第１撮像部２１０及び第２撮像部２２０の撮像範囲内に存在したオブジェクトが、第２の時刻において第１撮像部２１０の撮像範囲内であって第２撮像部２２０の撮像範囲外に移動した場合に、第２の時刻に第１撮像部２１０によって撮像されたオブジェクトの画像と、立体画像生成部２６０が生成したオブジェクトの立体画像とを比較することによって、第２の時刻におけるオブジェクトの方向を算出する。具体的には、オブジェクト方向算出部２５５は、立体画像生成部２６０が生成した立体画像に基づいて、視点位置を変えながら各視点からのオブジェクトの平面画像を生成して、生成したオブジェクトの平面画像と第１撮像部２１０によって撮像されたオブジェクトの平面画像とをマッチングすることによって、第２の時刻におけるオブジェクトの方向を算出する。

このように、オブジェクト方向算出部２５５が立体画像に基づいてオブジェクトの方向を算出するので、例えば車両１３０が車庫入れをしている場合等、車両１３０が直進している場合に比べて第１撮像部２１０及び第２撮像部２２０の撮像方向の空間的な変化の自由度が高い場合であっても、障害物の位置する方向を適切に算出することができる。

オブジェクト位置通知部２７０は、第２オブジェクト距離算出部２４２が算出した第２の時刻におけるオブジェクトまでの距離を運転者に通知する。また、オブジェクト位置通知部２７０は、第２オブジェクト距離算出部２４２が算出した第２の時刻におけるオブジェクトまでの方向を運転者に通知する。なお、オブジェクト位置通知部２７０は、例えば、図１に関連して説明した表示装置１４０として機能する。

以上説明したオブジェクト位置検出システム１００によれば、障害物１５０がと車両１３０との相位置が変化することによって、複数のカメラで障害物１５０を捉えることができなくなった場合であっても、車両１３０に対する障害物１５０の位置を特定することができる。このため、例えばハンドルの舵角、車両１３０のスピード等に基づいて障害物１５０の位置を特定するシステムに比べて、自転車等、車両１３０に対して移動する障害物１５０の位置を適切に特定することができる。

図３は、第２オブジェクト距離算出部２４２及び第２オブジェクト方向算出部２５２がオブジェクトの距離及び方向を特定する方法の一例を示す。オブジェクト３５０は、時刻ｔ１において、第１撮像部２１０及び第２撮像部２２０の撮像範囲内に位置する。そして、第１撮像部２１０及び第２撮像部２２０は、時刻ｔ１においてそれぞれ平面画像３１５及び３２５を撮像する。

その後、オブジェクト３５０が第１撮像部２１０及び第２撮像部２２０に対して移動することによって、時刻ｔ２において、オブジェクト３５０は第１撮像部２１０の撮像範囲内であって、第２撮像部２２０の撮像範囲外になる。時刻ｔ２において、第１撮像部２１０はオブジェクト３５０の画像を含む平面画像３１７を撮像し、第２撮像部２２０は、オブジェクト３５０の画像を含まない平面画像３２７を撮像する。

第１オブジェクト距離算出部２４１は、第１の時刻において撮像された平面画像３１５及び３２５のそれぞれにおいて、エッジ抽出等によってオブジェクト３５０の輪郭を抽出して、抽出した輪郭のパターンマッチング等によって、平面画像３１５及び３２５の双方に含まれるオブジェクト３５０の位置を特定する。なお、第１オブジェクト距離算出部２４１は、平面画像３１５及び３２５に含まれる色の一致度にさらに基づいて、平面画像３１５及び３２５の双方に含まれるオブジェクト３５０の位置を特定してもよい。

例えば、オブジェクト３５０の点Ｐ１は、平面画像３１５及び３２５における位置Ｐ１１及びＰ１２の位置に現れている。そして、第１オブジェクト距離算出部２４１は、平面画像３１５におけるＰ１の位置の画像に対応する撮像素子の位置と第１撮像部２１０の焦点とを結ぶ線３１１を算出する。第１オブジェクト距離算出部２４１は、第２撮像部２２０によって得られた平面画像３２５についても同様に、平面画像３２５におけるＰ２の位置の画像が得られる撮像素子の位置と第２撮像部２２０の焦点とを結ぶ線３２１を算出する。そして、第１オブジェクト距離算出部２４１は、線３２１と線３１１とが交わる点をＰ１の位置として算出する。

そして、オブジェクト長さ差算出部２４０は、平面画像３１５におけるオブジェクト３５０の像の長さｌ１と、平面画像３１７におけるオブジェクト３５０の像の長さｌ２とを算出する。そして、第２オブジェクト距離算出部２４２は、長さｌ１と長さｌ２の大きさの違いに基づいて、時刻ｔ１から時刻ｔ２にかけてオブジェクト３５０が移動した距離を算出する。具体的には、第２オブジェクト距離算出部２４２は、長さｌ１とｌ２との長さの比及び時刻ｔ１におけるオブジェクト３５０までの距離に基づいて、時刻ｔ２における第１撮像部２１０からオブジェクト３５０までの距離を算出する。

なお、第１撮像部２１０及び第２撮像部２２０が、車両１３０等の、２次元的な移動が主である移動体に搭載される場合には、オブジェクト長さ差算出部２４０は、移動体の移動平面に直交する方向の長さ成分の差を算出することが望ましい。例えば、第１オブジェクト距離算出部２４１は、オブジェクト３５０が人物である場合に、人物の体の幅を算出するのではなく、人物の背の高さを算出する。これにより、車両１３０の移動に応じたオブジェクト３５０までの距離を適切に算出することができる。また、オブジェクト長さ差算出部２４０は、人物の頭部等、オブジェクト３５０の一部の高さの差を算出してもよい。これにより、オブジェクト位置検出システム１００は、例えば、時刻ｔ１において人物の全身が写っており、時刻ｔ２において同じ人物の頭部だけが写っている場合でも、頭部の高さに基づいて時刻ｔ２における人物の位置を推定することができる。

また、第１オブジェクト方向算出部２５１は、平面画像３１５及び平面画像３２５から算出されるオブジェクト３５０の位置に基づいて、オブジェクト３５０の移動車両１３０において予め定められた基準点からＰ１への方向を算出する。そして、オブジェクト位置差算出部２５０は、平面画像３１５及び３１７におけるオブジェクト３５０の位置の、車両１３０の主となる移動平面上における位置の差（例えば、Ｐ１１からＰ２１のベクトルの水平方向成分Δｘ）を算出する。そして、第２オブジェクト方向算出部２５２は、当該位置の差に基づいて、時刻ｔ１から時刻ｔ２にかけて、オブジェクト３５０の移動方向と移動量（例えばベクトルΔＸ）を算出する。そして、第２オブジェクト方向算出部２５２は、第１の時刻に算出したオブジェクト３５０への方向と、第１の時刻におけるオブジェクト３５０までの距離と、オブジェクト３５０の移動方向及び移動量とに基づいて、第２の時刻において第１撮像部２１０からオブジェクト３５０への方向３２１を算出することができる。

なお、オブジェクト位置通知部２７０は、時刻ｔ２におけるオブジェクト３５０の距離及び方向を運転手に通知する場合に、算出された時刻ｔ２の位置から車両１３０に最も近い領域からの距離及び方向を通知してよい。例えば、オブジェクト位置通知部２７０は、予め車両１３０の空間情報を格納しておき、時刻ｔ２におけるオブジェクト３５０の距離及び方向、車両１３０の空間情報、及び第１撮像部２１０の位置に基づいて、オブジェクト３５０に最も近い車両１３０の位置を特定し、当該位置からオブジェクト３５０までの距離及び方向を運転手に通知してよい。

また、立体画像生成部２６０は、時刻ｔ１において撮像された平面画像３１５及び３２５から、画像における各領域の位置を算出することによって、オブジェクト３５０の３次元空間における座標を算出して、算出した座標情報を３次元画像として記憶する。そして、オブジェクト方向算出部２５５は、ｘ、ｙ、ｚ座標を所定の空間間隔で視点を変更しながら、立体画像生成部２６０が算出した座標情報に基づいて各視点から見たオブジェクト３５０の平面画像を生成する。そしてオブジェクト方向算出部２５５は、平面画像を所定の倍率で拡縮した画像と、第１撮像部２１０の画像とのオブジェクト３５０の画像とをマッチングすることによってオブジェクト３５０の画像の一致度を算出する。そして、オブジェクト方向算出部２５５は、最も高い一致度が算出された方向を、時刻ｔ２におけるオブジェクト３５０の方向として決定する。

立体画像生成部２６０によって、立体画像に基づいてオブジェクト３５０の位置を特定するので、第１撮像部２１０及び第２撮像部２２０に対してオブジェクト３５０が高い空間的自由度で移動する場合であっても、オブジェクト３５０の位置を適切に特定することができる。

図４は、オブジェクト位置検出システム１００の他の例のブロック構成を示す。本実施形態においては、オブジェクト位置検出システム１００は、オブジェクトまでの距離を算出する。オブジェクト位置検出システム１００は、第１撮像部２１０、第２撮像部２２０、第１オブジェクト距離算出部２４１、オブジェクト位置算出部２３０、立体画像生成部２６０、及びオブジェクト位置通知部２７０を備える。オブジェクト位置算出部２３０は、オブジェクト長さ差算出部２４０、第２オブジェクト距離算出部２４２、及びオブジェクト方向算出部２５５を有する。なお、本例において、第１撮像部２１０、第２撮像部２２０、第１オブジェクト距離算出部２４１、オブジェクト長さ差算出部２４０、第２オブジェクト距離算出部２４２の具体的な機能及び動作は、図１から図４に関連して説明したオブジェクト位置検出システム１００における第１撮像部２１０、第２撮像部２２０、第１オブジェクト距離算出部２４１、オブジェクト長さ差算出部２４０、第２オブジェクト距離算出部２４２の機能及び動作と同一であるので、説明を省略する。

オブジェクト位置算出部２３０は、第１の時刻において第１撮像部２１０及び第２撮像部２２０の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において第１撮像部２１０の撮像範囲内であって第２撮像部２２０の撮像範囲外に移動した場合に、立体画像生成部２６０が生成したオブジェクトの立体画像、第１オブジェクト距離算出部２４１が算出した第１の時刻におけるオブジェクトまでの距離、第１の時刻に第１撮像部２１０によって撮像された平面画像、及び第２の時刻に第１撮像部２１０によって撮像された平面画像に基づいて、第２の時刻におけるオブジェクトの位置を算出する。

具体的には、オブジェクト方向算出部２５５が算出する第２の時刻におけるオブジェクトの方向、及び第２オブジェクト距離算出部２４２が算出する第２の時刻におけるオブジェクトの位置を、第２の時刻におけるオブジェクトの位置として算出する。

オブジェクト位置通知部２７０は、オブジェクト位置算出部２３０が算出した第２の時刻におけるオブジェクトの位置をオブジェクト位置検出システム１００のユーザに通知する。本実施形態におけるオブジェクト位置検出システム１００によると、立体画像に基づいてオブジェクトの位置を算出するので、車両１３０等以外に、第１撮像部２１０及び第２撮像部２２０の設置場所の自由度をより高くすることができる。例えば、工業用ロボットのアームの先端等、空間的な移動自由度の高い機器に第１撮像部２１０及び第２撮像部２２０を設けることができる。

以上説明したように、本実施形態におけるオブジェクト位置検出システム１００によれば、複数のカメラでオブジェクトを撮像しておくことによって、オブジェクトが移動することで１つのカメラでしかオブジェクトを撮像できなくなった場合でも、オブジェクトの位置をユーザに提供することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

オブジェクト位置検出システム１００の利用環境の一例を示す図である。オブジェクト位置検出システム１００のブロック構成の一例を示す図である。オブジェクトの距離及び方向を特定する方法の一例を示す図である。オブジェクト位置検出システム１００のブロック構成の他の一例を示す図である。

符号の説明

１００オブジェクト位置検出システム
１１０カメラ
１２０カメラ
１３０車両
１４０表示装置
１５０障害物
２１０第１撮像部
２２０第２撮像部
２３０オブジェクト位置算出部
２４０オブジェクト長さ差算出部
２４１第１オブジェクト距離算出部
２４２第２オブジェクト距離算出部
２５０オブジェクト位置差算出部
２５１第１オブジェクト方向算出部
２５２第２オブジェクト方向算出部
２５５オブジェクト方向算出部
２６０立体画像生成部
２７０オブジェクト位置通知部

Claims

同一のオブジェクトを撮像する第１撮像部及び第２撮像部と、
第１の時刻に前記第１撮像部及び前記第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出部と、
第１の時刻において前記第１撮像部及び前記第２撮像部の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において前記第１撮像部の撮像範囲内であって前記第２撮像部の撮像範囲外に移動した場合に、第１の時刻に前記第１撮像部によって撮像された画像におけるオブジェクトの長さと、第２の時刻に前記第１撮像部によって撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、
前記オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び前記第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出部と
を備える車載カメラシステム。
第１の時刻に前記第１撮像部及び前記第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトの方向を算出する第１オブジェクト方向算出部と、
第１の時刻において前記第１撮像部及び前記第２撮像部の撮像範囲内に存在したオブジェクトが、第２の時刻において前記第１撮像部の撮像範囲内であって前記第２撮像部の撮像範囲外に移動した場合に、第１の時刻に前記第１撮像部によって撮像された画像におけるオブジェクトの位置と、第２の時刻に前記第１撮像部によって撮像された画像におけるオブジェクトの位置との差を算出するオブジェクト位置差算出部と、
前記オブジェクト位置差算出部が算出した画像におけるオブジェクトの位置の差、及び前記第１オブジェクト方向算出部が算出した第１の時刻におけるオブジェクトの方向に基づいて、第２の時刻におけるオブジェクトまでの方向を算出する第２オブジェクト方向算出部と
をさらに備える請求項１に記載の車載カメラシステム。
第１の時刻に前記第１撮像部及び前記第２撮像部によってそれぞれ撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、
第１の時刻において前記第１撮像部及び前記第２撮像部の撮像範囲内に存在したオブジェクトが、第２の時刻において前記第１撮像部の撮像範囲内であって前記第２撮像部の撮像範囲外に移動した場合に、第２の時刻に前記第１撮像部によって撮像されたオブジェクトの画像と、前記立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第２の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部と
をさらに備える請求項１に記載の車載カメラシステム。
前記第２オブジェクト距離算出部が算出した第２の時刻におけるオブジェクトまでの距離を運転者に通知するオブジェクト位置通知部
をさらに備える請求項１に記載の車載カメラシステム。
同一のオブジェクトを第１撮像部及び第２撮像部によって撮像する撮像段階と、
第１の時刻に前記撮像段階において撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出段階と、
第１の時刻において前記第１撮像部及び前記第２撮像部における撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において前記第１撮像部における撮像範囲内であって前記第２撮像部における撮像範囲外に移動した場合に、第１の時刻に前記第１撮像部において撮像された画像におけるオブジェクトの長さと、第２の時刻に前記第１撮像部において撮像された画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出段階と、
前記オブジェクト長さ差算出段階において算出された画像におけるオブジェクトの長さの差、及び前記第１オブジェクト距離算出段階において算出された第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出段階と
を備えるオブジェクト位置検出方法。
同一のオブジェクトを撮像する第１撮像部及び第２撮像部と、
第１の時刻に前記第１撮像部及び前記第２撮像部によってそれぞれ撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成部と、
第１の時刻に前記第１撮像部及び前記第２撮像部によってそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出部と、
第１の時刻において前記第１撮像部及び前記第２撮像部の撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において前記第１撮像部の撮像範囲内であって前記第２撮像部の撮像範囲外に移動した場合に、前記立体画像生成部が生成したオブジェクトの立体画像、前記第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離、第１の時刻に前記第１撮像部によって撮像された平面画像、及び第２の時刻に前記第１撮像部によって撮像された平面画像に基づいて、第２の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出部と
を備えるオブジェクト位置検出システム。
前記オブジェクト位置算出部は、
第２の時刻に前記第１撮像部によって撮像されたオブジェクトの画像と、前記立体画像生成部が生成したオブジェクトの立体画像とを比較することによって、第２の時刻におけるオブジェクトの方向を算出するオブジェクト方向算出部
を有する請求項６に記載のオブジェクト位置検出システム。
前記オブジェクト位置算出部は、
第１の時刻に前記第１撮像部によって撮像された平面画像におけるオブジェクトの長さと、第２の時刻に前記第１撮像部によって撮像された平面画像におけるオブジェクトの長さとの差を算出するオブジェクト長さ差算出部と、
前記オブジェクト長さ差算出部が算出した画像におけるオブジェクトの長さの差、及び前記第１オブジェクト距離算出部が算出した第１の時刻におけるオブジェクトまでの距離に基づいて、第２の時刻におけるオブジェクトまでの距離を算出する第２オブジェクト距離算出部と
を有する請求項６に記載のオブジェクト位置検出システム。
第１撮像部及び第２撮像部によって同一のオブジェクトを撮像する撮像段階と、
第１の時刻に前記撮像段階において撮像された２つの画像に基づいて、オブジェクトの立体画像を生成する立体画像生成段階と、
第１の時刻に前記第１撮像部及び前記第２撮像部においてそれぞれ撮像された２つの画像に基づいて、第１の時刻におけるオブジェクトまでの距離を算出する第１オブジェクト距離算出段階と、
第１の時刻において前記第１撮像部及び前記第２撮像部における撮像範囲内に存在したオブジェクトが、第１の時刻から所定時間が経過した第２の時刻において前記第１撮像部における撮像範囲内であって前記第２撮像部における撮像範囲外に移動した場合に、前記立体画像生成段階において生成されたオブジェクトの立体画像、前記第１オブジェクト距離算出段階において算出された第１の時刻におけるオブジェクトまでの距離、第１の時刻に前記第１撮像部において撮像された平面画像、及び第２の時刻に前記第１撮像部において撮像された平面画像に基づいて、第２の時刻におけるオブジェクトの位置を算出するオブジェクト位置算出段階と
を備えるオブジェクト位置検出方法。