JP2014203114A

JP2014203114A - 物体認識装置

Info

Publication number: JP2014203114A
Application number: JP2013076060A
Authority: JP
Inventors: 俊冨岡; Shun Omioka
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-04-01
Filing date: 2013-04-01
Publication date: 2014-10-27

Abstract

【課題】リアルタイム性を向上するとともに、検知対象物の認識精度を向上する。
【解決手段】車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影する第１、第２のカメラ１２、１３により一定期間内に撮影された各画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定し、各画像のいずれか一方に規定範囲外の明るさとなった領域が含まれると判定された場合、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した合成画像を用いて検知対象物の認識を行う。
【選択図】図１

Description

本発明は、車両周辺の画像から検知対象物を認識する物体認識装置に関するものである。

従来、車両前方を撮像するカメラで撮像したカメラ画像に画像処理を施し、カメラ画像に含まれる交通情報を認識して車両の乗員に警告等を行うシステムにおいて、車両前方画像から交通情報の存在する領域を分割し、その領域の明度分散を算出し、明度分散が所定値を越える領域が候補領域として認識されると、その候補領域における交通情報の認識が可能になる絞り値を、その候補領域の明度分散に基づいて算出し、その絞り値で車両前方を再撮像するようにして交通情報の認識性を向上させたものがある（例えば、特許文献１参照）。

特開２０１０−１９１５０５号公報

しかしながら、上記特許文献１に記載された装置は、車両前方をカメラで撮像した後、交通情報の認識が可能になる絞り値で車両前方を再撮像する手順となっているので撮影処理に時間がかかり、高いリアルタイム性が要求される危険警告に対して大きな遅延が生じてしまうといった問題がある。

また、１回目の撮影と２回目の撮影の間に時間差が生じるため、例えば、車両が高速で移動中の場合、１回目の撮影で生成されたカメラ画像と２回目の撮影で生成されたカメラ画像にズレが生じ、検知対象物の認識精度に悪影響を及ぼすという問題も発生する。

本発明は上記問題に鑑みたもので、リアルタイム性を向上するとともに、検知対象物の認識精度を向上することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影する第１、第２のカメラ（１２、１３）と、第１、第２のカメラにより一定期間内に撮影された各画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定する判定手段と、一定期間内に撮影された各画像のいずれか一方に規定範囲外の明るさとなった領域が含まれると判定された場合、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換する置換手段と、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した画像を用いて検知対象物の認識を行う物体認識手段と、を備えたことを特徴としている。

このような構成によれば、車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影する第１、第２のカメラ（１２、１３）を備え、第１、第２のカメラ（１２、１３）により一定期間内に撮影された各画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定し、一定期間内に撮影された各画像のいずれか一方に規定範囲外の明るさとなった領域が含まれると判定された場合、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換し、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した画像を用いて検知対象物の認識を行うので、リアルタイム性を向上するとともに、検知対象物の認識精度を向上することができる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

本発明の一実施形態に係る物体認識装置の構成を示す図である。本物体認識装置の制御部のフローチャートである。カメラの撮影画像に、規定範囲外の明るさとなった領域が含まれる様子を表した図である。

本発明の一実施形態に係る物体認識装置の構成を図１に示す。本物体認識装置は、照度計１１、第１カメラ１２、第２カメラ１３および制御部１０を備えている。また、制御部１０には、警報装置２０および運転支援装置２１が接続されている。

照度計１１は、車両周辺の照度を計測するものであり、車両周辺の照度に応じた信号を出力する。

第１カメラ１２および第２カメラ１３は、車両前方の同一の背景を含む画像を撮影するように車両のフロントバンパー等に取り付けられている。なお、本実施形態における第１、第２カメラ１２、１３のハード構成は全く同じとなっている。

また、第１、第２カメラ１２、１３は、それぞれ制御部１０からの指示に応じたシャッタースピードおよび絞り値で車両前方の画像を撮影し、撮影した画像を制御部１０へ出力する。なお、本実施形態では、第１カメラの撮影画像の範囲と、第２カメラ１３の撮影範囲が一致するようになっている。

制御部１０は、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃおよびフラッシュメモリ１０ｄを備えたコンピュータとして構成されており、ＣＰＵ１０ａはＲＯＭ１０ｃに記憶されたプログラムに従って各種処理を実施する。

警報装置２０は、モニタおよびスピーカ（いずれも図示せず）を有しており、制御部１０より入力された画像信号に応じた画像をモニタに表示させるとともに、制御部１０より入力された音声信号に応じた音声をスピーカより出力させる。

運転支援装置２１は、制御部１０より入力される信号に基づいて運転支援のための各種制御を行うものである。なお、運転支援装置２１としては、例えば、先行車両に追従して走行する追従走行システム、自動ブレーキによって車両を減速・停止させるセーフティシステム等がある。

本実施形態に係る物体認識装置は、第１、第２のカメラ１２、１３に露光量を異ならせて車両前方の同一の背景を撮影させ、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定し、規定範囲外の明るさとなった領域が含まれると判定された場合、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換し、この置換した画像を用いて検知対象物の認識を行う。

図２に、本物体認識装置の制御部１０のフローチャートを示す。車両のイグニッションスイッチがオン状態になると、本物体認識装置は動作状態となり、制御部１０は、図２に示す処理を周期的に実施する。

まず、車両前方の照度を特定する（Ｓ１００）。具体的には、照度計１１より入力される信号に基づいて車両前方の照度を特定する。

次に、第１、第２カメラ１２、１３のシャッタースピードを設定する（Ｓ１０２）。本実施形態では、第１、第２のカメラ１２、１３の露光量を互いに異ならせるため、第１カメラ１２のシャッタースピードを高速に設定し、第２カメラ１３のシャッタースピードを低速に設定する。なお、シャッタースピードを高速にすると、露光量は少なくなり、シャッタースピードを高速にすると、露光量は多くなる。また、ここでは、第１、第２のカメラ１２、１３の絞り値は同一値に設定する。

また、本実施形態では、更に、車両周辺の照度が高い場合、車両周辺の照度が低い場合と比較して、第１、第２のカメラ１２、１３の各シャッタースピードを速くするように変更する。

次に、第１、第２のカメラ１２、１３より撮影画像を取得する（Ｓ１０４）。具体的には、第１、第２のカメラ１２、１３により同時に撮影された車両前方の画像を取得する。

次に、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定する（Ｓ１０６）。具体的には、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方に、露光過剰で白くなった領域（露光過剰領域）または露光不足で黒くなった領域（露光不足領域）が含まれるか否かを判定する。本実施形態では、第１、第２のカメラ１２、１３により撮影された画像から露光過剰領域のピクセルまたは露光不足領域のピクセルを検出する処理を行い、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方の画像に、露光過剰領域のピクセルまたは露光不足領域のピクセルが検出された場合、規定範囲外の明るさとなった領域が含まれると判定する。

ここで、例えば、図３に示すように、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方の画像に、規定範囲外の明るさとなった領域が含まれる場合、Ｓ１０６の判定はＹＥＳとなり、次に、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換する（Ｓ１０８）。本実施形態では、規定範囲外の明るさとなった領域のピクセル座標と同一のピクセル座標の画像データを他方のカメラで撮影した画像から抽出し、この抽出した画像を、規定範囲外の明るさとなった領域を含む画像上に置換する。

次に、検知対象物を特定する（Ｓ１１０）。具体的には、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した合成画像を用いて検知対象物の認識を行う。本実施形態では、検知対象物（例えば、信号機、交通標識等）の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて検知対象物のパターン認識を行い、検知対象物を特定する。なお、特定された検知対象物との距離推定も行う。例えば、検知対象物として先行車両が特定された場合には、先行車両との距離推定も行う。また、検知対象物として先行車両が特定された場合には、先行車両を除外して先行車両より遠方に位置する背景を表示する画像を生成する先行車両画像除外処理等も行う。

次に、警告を行う（Ｓ１１２）。具体的には、警報装置１０に各種警告のための情報を送出して警告を行う。例えば、Ｓ１００にて、検知対象物として一時停止を表す標識が検出された場合、一時停止を警告するコマンドを警報装置１０に送出する。これにより、「この先、一時停止です。」といったメッセージがモニタに表示されるとともに、スピーカから音声出力される。

また、第１、第２のカメラ１２、１３により撮影された各画像に、規定範囲外の明るさとなった領域が含まれない場合には、Ｓ１０６の判定はＮＯとなり、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方の画像を用いて検知対象物を特定し（Ｓ１１０）、特定された検知対象物に基づいて警告を行う（Ｓ１１２）。

上記した構成によれば、車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影する第１、第２のカメラ１２、１３を備え、第１、第２のカメラ１２、１３により一定期間内に撮影された各画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定し、一定期間内に撮影された各画像のいずれか一方に規定範囲外の明るさとなった領域が含まれると判定された場合、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換し、規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した画像を用いて検知対象物の認識を行うので、リアルタイム性を向上するとともに、検知対象物の認識精度を向上することができる。

また、第１、第２のカメラは１２、１３、互いに異なるシャッタースピードで車両周辺の画像を撮影することで、車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影することができる。

また、車両周辺の照度を計測する照度計１１を備え、車両周辺の照度が高い場合、車両周辺の照度が低い場合と比較して、第１、第２のカメラの各シャッタースピードを速くするように変更することにより、第１、第２のカメラにより撮影された各画像が、露光過剰となってしまったり、露光不足となってしまったりすることを低減することが可能となり、より検知対象物の認識精度を向上することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態では、第１カメラ１２および第２カメラ１３を用いて、車両前方の同一の背景を撮影する例を示したが、車両前方以外の領域を撮影するように構成してもよい。

また、上記実施形態では、第１カメラ１２および第２カメラ１３を用いて、車両前方の同一の背景を撮影する例を示したが、例えば、２つのカメラから成るステレオカメラで車両前方の画像を撮影して車両前方の物体との距離を計測する距離計測装置に用いられるステレオカメラを利用して、第１カメラ１２および第２カメラ１３を構成してもよい。

また、上記実施形態では、Ｓ１０４にて、第１、第２のカメラ１２、１３により同時に撮影された車両前方の画像を取得する例を示したが、第１、第２のカメラ１２、１３より取得する画像は、必ずしも同時に撮影されたものである必要はなく、多少の時間間隔をあけて撮影されたものであってもよい。すなわち、Ｓ１０４にて、第１、第２のカメラ１２、１３から一定期間内に撮影された車両前方の画像を取得するように構成してもよい。

また、上記実施形態では、Ｓ１０２にて、制御部１０から第１、第２のカメラ１２、１３に対し、各シャッタースピードを互いに異ならせるように設定したが、第１、第２のカメラ１２、１３側の設定で、互いのシャッタースピードを予め異ならせておくようにしてもよい。

また、上記実施形態では、シャッタースピードを異ならせることにより、互いに異なる露光量で第１カメラ１２および第２カメラ１３に車両周辺を撮影させたが、例えば、絞り値を異ならせることにより、互いに異なる露光量で第１カメラ１２および第２カメラ１３に車両周辺を撮影させるようにしてもよい。なお、絞り値を大きくすると、絞りが絞られて露光量は少なくなり、絞り値を小さくすると、絞りが開かれて露光量は多くなる。この場合、互いのシャッタースピードを同じ値に設定してもよく、また、互いのシャッタースピードも異なる値に設定してもよい。

このように第１、第２のカメラ１２、１３の絞り値を異ならせる場合についても、制御部１０からの指示により絞り値を異ならせるようにしてもよく、第１、第２のカメラ１２、１３側の設定で、互いの絞り値を予め異ならせておくようにしてもよい。

また、上記実施形態では、Ｓ１０２にて、車両周辺の照度が高い場合、車両周辺の照度が低い場合と比較して、第１、第２のカメラの各シャッタースピードを速くするように変更したが、例えば、車両周辺の照度が高い場合、車両周辺の照度が低い場合と比較して、第１、第２のカメラの各絞り値を大きくするように変更してもよい。これにより、第１、第２のカメラにより撮影された各画像が、露光過剰となってしまったり、露光不足となってしまったりすることを低減することが可能となり、より検知対象物の認識精度を向上することができる。

また、上記実施形態では、Ｓ１０２にて、車両周辺の照度が高い場合、車両周辺の照度が低い場合と比較して、第１、第２のカメラの各シャッタースピードを速くするように変更したが、例えば、車速センサ（図示せず）より入力される車速信号に基づいて車両の車速を特定し、車両の車速が高い場合の方が車両の車速の低い場合よりも、第１、第２のカメラの各シャッタースピードを速くするように変更してもよい。これにより、第１、第２のカメラにより撮影された画像のぶれを低減することが可能である。

また、例えば、車速センサ（図示せず）より入力される車速信号に基づいて車両の車速を特定し、車両の車速が高い場合の方が車両の車速の低い場合よりも、第１、第２のカメラの各絞り値を大きくするように変更してもよい。これにより、第１、第２のカメラにより撮影された画像のぶれを低減することが可能となり、より検知対象物の認識精度を向上することができる。

また、上記実施形態では、Ｓ１１０にて、検知対象物が特定された場合、Ｓ１１２にて、警報装置１０に各種警告のための情報を送出して警告を行うようにしたが、例えば、更に、運転支援装置２１に対して各種信号を送出するようにしてもよい。

また、上記実施形態では、Ｓ１０６にて、第１、第２のカメラ１２、１３により撮影された画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定するようにしたが、例えば、シャッタースピードを低速に設定した第２のカメラ１２により撮影された画像に、露光過剰領域が含まれるか否かを判定するように構成してもよい。また、第２のカメラ１２により撮影された画像に、露光過剰領域が含まれると判定した場合、Ｓ１０８にて、露光過剰領域の画像を、第１のカメラ１２で撮影した画像を用いて置換し、Ｓ１１０にて、規定範囲外の明るさとなった領域の画像を、第１のカメラ１２で撮影した画像を用いて置換した合成画像を用いて検知対象物の認識を行うようにしてもよい。また、第２のカメラ１２により撮影された画像に、露光過剰領域が含まれない場合には、仮に、第１のカメラ１２により撮影された画像に、露光不足領域が含まれる場合でも、Ｓ１１０にて、第２のカメラ１３により撮影された画像を用いて検知対象物を特定するようにしてもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１０６が判定手段に相当し、Ｓ１０８が置換手段に相当し、Ｓ１１０が物体認識手段に相当し、照度計１１およびＳ１００が照度計測手段に相当し、Ｓ１０２が撮影制御手段に相当し、車速センサより入力される車速信号に基づいて車両の車速を特定する処理が車速特定手段に相当する。

１０制御部
１０ａＣＰＵ
１０ｂＲＡＭ
１０ｃＲＯＭ
１０ｄフラッシュメモリ
１１照度計
１２第１カメラ
１３第２カメラ
２０警報装置
２１運転支援装置

Claims

車両周辺の同一の背景を含む画像を、互いに異なる露光量で撮影する第１、第２のカメラ（１２、１３）と、
前記第１、第２のカメラにより一定期間内に撮影された各画像のいずれか一方に予め定められた規定範囲外の明るさとなった領域が含まれるか否かを判定する判定手段と、
前記一定期間内に撮影された各画像のいずれか一方に前記規定範囲外の明るさとなった領域が含まれると判定された場合、前記規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換する置換手段と、
前記規定範囲外の明るさとなった領域の画像を、他方のカメラで撮影した画像を用いて置換した画像を用いて検知対象物の認識を行う物体認識手段と、を備えたことを特徴とする物体認識装置。
前記第１、第２のカメラは、互いに異なるシャッタースピードで前記車両周辺の画像を撮影することを特徴とする請求項１に記載の物体認識装置。
前記第１、第２のカメラは、互いに異なる絞り値で前記車両周辺の画像を撮影することを特徴とする請求項１に記載の物体認識装置。
前記車両周辺の照度を計測する照度計測手段（１１）を備え、
前記車両周辺の照度が高い場合、前記車両周辺の照度が低い場合と比較して、前記第１、第２のカメラの各シャッタースピードを速くするように変更する撮影制御手段を備えたことを特徴とする請求項２に記載の物体認識装置。
前記車両周辺の照度を計測する照度計測手段（１１）を備え、
前記車両周辺の照度が高い場合、前記車両周辺の照度が低い場合と比較して、前記第１、第２のカメラの各絞り値を大きくするように変更する撮影制御手段を備えたことを特徴とする請求項３に記載の物体認識装置。
前記車両の車速を特定する車速特定手段を備え、
前記撮影制御手段は、前記車両の車速が高い場合の方が前記車両の車速が低い場合よりも、前記第１、第２のカメラの各シャッタースピードを速くするように変更することを特徴とする請求項４に記載の物体認識装置。
前記車両の車速を特定する車速特定手段を備え、
前記撮影制御手段は、前記車両の車速が高い場合の方が前記車両の車速が低い場合よりも、前記第１、第２のカメラの各絞り値を大きくするように変更することを特徴とする請求項５に記載の物体認識装置。