JP2014044730A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2014044730A JP2014044730A JP2013197500A JP2013197500A JP2014044730A JP 2014044730 A JP2014044730 A JP 2014044730A JP 2013197500 A JP2013197500 A JP 2013197500A JP 2013197500 A JP2013197500 A JP 2013197500A JP 2014044730 A JP2014044730 A JP 2014044730A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- pedestrian
- processing
- processing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】車載カメラで撮像した画像から物体を検知する画像処理装置を得ること。
【解決手段】画像処理装置は、車載カメラ111で撮像した画像を取得する画像取得手段101と、画像に複数の処理領域を設定する処理領域設定手段102とを備え、処理領域設定手段102は、複数の処理領域を一部重ねて設定し、処理領域内の歩行者Mを検知する。
【選択図】図1
【解決手段】画像処理装置は、車載カメラ111で撮像した画像を取得する画像取得手段101と、画像に複数の処理領域を設定する処理領域設定手段102とを備え、処理領域設定手段102は、複数の処理領域を一部重ねて設定し、処理領域内の歩行者Mを検知する。
【選択図】図1
Description
本発明は、車載カメラで撮像した車両周囲の画像から、自車に接近する可能性のある歩行者等の物体を検出する画像処理装置に関する。
従来より、車両に2台のカメラを搭載し、各カメラにより撮像された車両周囲の画像から抽出された同一の監視対象物の画像部分のずれ(視差)に基づいて、三角測量の原理により監視対象物と車両との距離を検出するようにした車両周囲監視装置が提案されている(例えば、特許文献1参照)。
かかる従来の車両周囲監視装置によれば、車両周辺の監視対象物と車両との距離を算出して、該距離により監視対象物の位置の画像座標から実空間座標への変換処理を行い、実空間における監視対象物の移動ベクトルを求めて、監視対象物と車両の接触可能性を判定している。
しかしながら、視差に基づいて監視対象物との距離を検出する場合には、2台のカメラを備えることによるコストアップを伴うと共に、両カメラの光軸調節を厳密に行わなければならない等の面倒な設置作業が必要となるという不都合があった。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、簡単な構成で自車と接触する可能性のある歩行者等の物体を容易に検出することが可能な画像処理装置を提供することにある。
上記課題を解決する本発明の画像処理装置は、車載カメラで撮像した画像を取得する画像取得手段と、前記画像に複数の処理領域を設定する処理領域設定手段とを備え、前記処理領域設定手段は、前記複数の処理領域を一部重ねて設定し、前記処理領域内の物体を検知する。
本発明によれば、簡単な構成で自車と接触する可能性のある歩行者等の物体を容易に検出することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
次に、本実施の形態に係わる車両周囲監視装置について図面を用いて説明する。
図1は本実施の形態に係わる車両周囲監視装置の構成を説明する図である。
車両周囲監視装置100は、歩行者が自車に対して相対的に接近する方向に移動しているか否かを監視するためのものであり、図示していない画像処理ECU内に構成されている。車両周囲監視装置100は、画像処理ECU内に構成されるものに限定されず、専用のECUや、車載カメラ111のECU等の他の車載ECUに構成されていてもよく、また、複数のECUの組み合わせによって構成されていてもよい。
図1は本実施の形態に係わる車両周囲監視装置の構成を説明する図である。
車両周囲監視装置100は、歩行者が自車に対して相対的に接近する方向に移動しているか否かを監視するためのものであり、図示していない画像処理ECU内に構成されている。車両周囲監視装置100は、画像処理ECU内に構成されるものに限定されず、専用のECUや、車載カメラ111のECU等の他の車載ECUに構成されていてもよく、また、複数のECUの組み合わせによって構成されていてもよい。
車両周囲監視装置100は、図1に示すように、車載カメラ111によって異なる時刻に撮像された複数の撮像画像を取得する撮像画像取得手段101と、撮像画像取得手段101で取得した撮像画像内に観測対象を検知するための処理領域を設定する処理領域設定手段102と、前記撮像画像間で前記処理領域内における観測対象の画像の大きさの変化率を算出する変化率算出手段103と、前記撮像画像間で前記処理領域内における観測対象の画像の変形の有無を判定する見かけ変形判定手段104と、変化率算出手段103で算出された変化率と見かけ変形判定手段104による見かけ変形判定の判定結果に基づいて、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する対象挙動解析手段105と、対象挙動解析手段105の解析結果に基づいて警報出力を行うか否かを判定する警報出力判定手段106を有する。
車両周囲監視装置100の入力側には、車両前方あるいは後方などの自車両周辺を観測するための車載カメラ111と、車両の各車輪の回転速度を得る車輪速センサ121と、ハンドルの回転角度を得る舵角センサ122と、ドライバの注視方向を検出する視線センサ123が接続されており、出力側には、警報音を出力するためのスピーカ112と、警報を出力した対象を表示するためのモニタ113が接続されている。車載カメラ111は、いわゆる単眼カメラであり、自車の周囲を撮像するために車両に取り付けられている。車載カメラ111は、車両後方を撮像するリアカメラに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラであってもよく、これらを全て備えたものであってもよい。
次に、車両周囲監視装置100の各構成について詳細に説明する。
撮像画像取得手段101は、車載カメラ111から出力されるアナログの映像信号を、デジタルデータに変換して画像メモリに取り込む。その際、撮像した時刻または画像メモリに取り込んだ時刻(以下、撮像時刻と呼ぶ)を、画像メモリに取り込んだ画像データと対応づけて保持することで、計算負荷による処理周期の変動の影響を受けず、単位時間あたりのパターンの拡大率を算出することができるという効果がある。なお、計算負荷を考慮せずに、予め定められた時間間隔をおいて定周期で撮像することもでき、その場合には撮像時刻の保持を省略しても構わない。撮像時刻の保持を省略することで、メモリ使用量の削減と映像取得処理の高速化の効果が期待できる。BT601規格などの一般的なアナログ映像信号の場合、デジタルデータに変換する仕様は定まっており、A/D変換ICチップなども市販されているため、ここでは詳細の変換方法は割愛する。
撮像画像取得手段101は、車載カメラ111から出力されるアナログの映像信号を、デジタルデータに変換して画像メモリに取り込む。その際、撮像した時刻または画像メモリに取り込んだ時刻(以下、撮像時刻と呼ぶ)を、画像メモリに取り込んだ画像データと対応づけて保持することで、計算負荷による処理周期の変動の影響を受けず、単位時間あたりのパターンの拡大率を算出することができるという効果がある。なお、計算負荷を考慮せずに、予め定められた時間間隔をおいて定周期で撮像することもでき、その場合には撮像時刻の保持を省略しても構わない。撮像時刻の保持を省略することで、メモリ使用量の削減と映像取得処理の高速化の効果が期待できる。BT601規格などの一般的なアナログ映像信号の場合、デジタルデータに変換する仕様は定まっており、A/D変換ICチップなども市販されているため、ここでは詳細の変換方法は割愛する。
図2は、撮像時刻t1、t2において車載カメラで撮像された画像、図3は、図2の状況を上方から俯瞰的にみた場合の模式図である。歩行者Mは、撮像時刻t1では、図3(a)の状況301に示すように、自車311から後方に離れた位置に立っており、図2(a)の画像201では小さく撮像されているが、撮像時刻t2では、図3(b)の状況302に示すように、自車311に対して相対的に接近する方向に移動しており、図2(b)の画像202では、画像201よりも大きく撮像されている。
処理領域設定手段102は、画像メモリ上に複数の処理領域を設定する。検知したい歩行者の距離および大きさを仮定すると、画像上で観測できる観測対象の大きさを算出することができる。この観測対象の大きさを有する処理領域を、互いに少しずつ重なるように画面上に並べて設定する。処理領域設定手段102は、後述する車両挙動解析手段105aからの車両挙動解析の結果に基づいて、各処理領域の位置を変化させる。例えば自車が旋回中には、画像中に設定した処理領域に対応する三次元空間中の位置と、自車両との相対関係が変化するため、一旦設定した処理領域を旋回量に合わせて再設定する。
図4を用いて、観測対象の大きさの算出方法について説明する。
図4は、処理領域設定方法を説明する図であり、図4(a)は車両と歩行者の位置関係を側方から示す図、図4(b)は図4(a)に示す状況を上方から俯瞰的に示す図である。
図4は、処理領域設定方法を説明する図であり、図4(a)は車両と歩行者の位置関係を側方から示す図、図4(b)は図4(a)に示す状況を上方から俯瞰的に示す図である。
車両401は、図1の車載カメラ111の例としてリアカメラ402を有している。車両401の後方には、歩行者Mが立っていると仮定する。図4(a)、(b)に示すように、リアカメラ402から歩行者Mまでの距離をD、歩行者Mの大きさを、幅W、高さHと仮定し、リアカメラ402の焦点距離をf、実世界の距離と画像上の距離の変換係数をcu,cvとする。また、画像上の歩行者Mの大きさを幅u、高さvとすると、以下の式が成り立つ。
W:D=u:f H:D=v:f
これより、
u=f×W÷D×cu
v=f×H÷D×cv
このu×vを1つの処理領域のサイズとする。
W:D=u:f H:D=v:f
これより、
u=f×W÷D×cu
v=f×H÷D×cv
このu×vを1つの処理領域のサイズとする。
このように定められたサイズの処理領域を、互いに一部が重なるように撮像画像内に配置する。この処理領域の重なり量は、例えば歩行者Mの幅uの50%として設定する。こうすることで、歩行者が処理領域の正確に中央に存在していない場合であっても、少なくとも領域の50%以上は歩行者領域のテクスチャが占めるため、歩行者後方の背景パターンの影響が少なくなり、都合良くパターンの拡大率を算出することができるようになる。
また、前述した処理領域設定手段102は、車両挙動解析の結果に基づいて各処理領域の位置を変化させる際、歩行者Mの移動量と自車の移動量に基づき算出される相対的な移動量を画像平面に投影した分だけ、処理領域を移動して設定する。こうすることで、自車が移動中であっても歩行者を同一の処理領域で捉え続けることができるようになる。
なお、歩行者Mの実環境中での移動量が十分少ないことが想定される場合、相対的な移動量に対して自車挙動に起因する割合が大きくなるため、自車の移動量のみに合わせて処理領域を移動して設定してもよい。また、十分に処理領域を密に配置している場合、各処理領域の位置自体を変える代わりに、計算される相対的な移動量に合わせて互いに異なる処理領域間での拡大率を計算してもよい。
車両挙動解析手段105aは、舵角センサ122で検出した操舵角、および車輪速センサ121から検出され、算出された車速・各車輪速・各タイヤの回転量などを入力として、車軸長・ホイールベースなどの知識を用いて、走行に伴う自車位置および旋回角度の変化量を計算する。この計算結果を蓄積することで、世界座標系における基準点からの自車位置を算出することができる。なお、世界座標系における基準点は、システム起動時や画像認識動作開始時などの地点が座標系原点になるようにリセットしたり、GPSシステムによる自車位置測位結果を用いて地球上の緯度経度に対して設定すればよい。
前述のように処理領域を設定することで、少なくとも仮定した距離において、検知対象となる歩行者の画像が、並べられた処理領域のいずれかに十分な大きさで含まれているため、後述する手段によって検知が容易となる。
また、最低限の処理領域個数で検知したい範囲をカバーできるため、処理にかかる計算コストを低減できる。すなわち、設定した距離付近での検知性能を上げるとともに、計算量を最適化することが可能となる。
また、魚眼レンズやアナモルフィックレンズのように、ある距離を仮定したときに1画素あたりに映る実際の物体の大きさが、画像上の中央部と周辺部で異なるような場合には、一律に処理領域を設定する代わりに、画像上の部位に適応させて処理領域を変化させることで、さらに設定した距離付近での検知性能を改善することが可能となる。
変化率算出手段103は、車載カメラ111によって異なる時刻に撮像されて撮像画像取得手段101で取得された複数の撮像画像に対し、その画像間で対応する処理領域内における観測対象の大きさの変化率を算出する。変化率の算出は、例えば動的計画法を用いることができる。
動的計画法は、2つのパターンの対応付けをとる手法である。二次元の画像パターンの輝度値分布を、適切な1軸を仮定して一次元に投影し、この投影された一次元波形に対して動的計画法を適用する。
画像による歩行者の検知では、脚部開閉や腕の振り具合、荷物の所持といった歩行状態によって見かけの形状が時々刻々と変化するため、単純に画像間の対応付けをとって変化率を算出することは困難である。したがって、二次元の画像パターンの輝度値分布を一次元に投影することで(例えば図5を参照)、画像の変形に対して頑健な対応付けが可能となり、対応づけられた時刻の異なる画像間での変化率を計測することができる。
ここで、歩行者は、肩や腰といった横幅よりも、身長方向の縦幅のほうが長いため、画像上で計測する際には、画像の縦軸(Y軸)上に投影することでより安定かつ高精度な変化率の計測が可能となる。すなわち、例えば拡大率が2%であるような場合、画像上で肩幅(水平)方向に50画素の歩行者が51画素になる際の1画素の変化よりも、画像上で身長(垂直)方向に200画素の歩行者が204画素になる際の4画素分の変化の方が、撮像の際の量子化誤差を考慮すると、観測が安定かつ誤差が少なくなる。したがって、観測対象の変化率を算出する場合には、身長方向である縦軸(Y軸)を投影に適切な軸として、縦軸への投影を組み合わせることで、変化率計測の安定性と精度を改善する効果がある。
なお、自車の加減速時や凹凸のある路面、勾配変化のある路面を走行するなど、車両のピッチ角が変化し、画像上では上下方向に対象が移動するような場合には、画像の横軸(X軸)上に投影し、幅の変化のみを観測するほうが、変化率計測の安定性と精度を改善できる。いずれの軸に投影するのが良いかは、車両のピッチ角度が変化状態にあるか否かを判断することで決定する。
例えば、アクセル開度のセンサや制動装置のセンサ,加速度センサ,車高センサなどのセンサ情報から得られる車両状態を時系列で観測し、車両状態の変化量が事前に設定した閾値より大きくなった場合にピッチ角が変化状態にあると判断できる。また、例えば白線やボッツドッツと呼ばれるレーン境界を画像上から抽出し、それらから算出される消失点座標のずれから車両のピッチ角が変化状態であることを推定することも可能である。
さらに、ローリングシャッタ方式のCMOSセンサのように画面全体で同時にシャッタ制御を行わず、画面の走査線毎に撮像タイミングが異なるような撮像デバイスにおいては、歩行中の歩行者の観測される位置が歪んで撮像されるため、走査線に直交する軸上に投影することで、時系列のズレを低減した拡大率の算出を行えるという効果がある。
図5、図6を用いて、変化率の算出方法の一例について説明する。
図5は、一次元の輝度値波形を示す図であり、図6は、一次元の輝度値波形から拡大率を算出する方法を説明する図である。図5(a)は、撮像時刻t1の画像の処理領域内における輝度値をY軸に投影した波形図、図5(b)は、撮像時刻t1よりも後の時刻、すなわち撮像時刻t1と異なる時刻である撮像時刻t2の画像の処理領域内における輝度値をY軸に投影した波形図である。
図5は、一次元の輝度値波形を示す図であり、図6は、一次元の輝度値波形から拡大率を算出する方法を説明する図である。図5(a)は、撮像時刻t1の画像の処理領域内における輝度値をY軸に投影した波形図、図5(b)は、撮像時刻t1よりも後の時刻、すなわち撮像時刻t1と異なる時刻である撮像時刻t2の画像の処理領域内における輝度値をY軸に投影した波形図である。
変化率算出手段103は、図5(a)、(b)に示すように、撮像時刻t1および撮像時刻t2における処理領域内の各画像501、502の輝度値を画像のY軸に対して投影し、一次元の輝度値波形521、522を生成する。大きさがu×vの処理領域内の各点の輝度値I(x,y)とすると、輝度値波形J(y)は次式で求められる。
J(y)=ΣI(i,j) (1≦x≦u,j=y)
撮像時刻t1および撮像時刻t2の画像に対する輝度値波形をJ1,J2とすると、
(rxi,ryi)=argmin Σ(J1(xm)−J2(yn))^2
1≦m≦u, 1≦n≦v, xm∈rxi, yn∈ryi
となる。
J(y)=ΣI(i,j) (1≦x≦u,j=y)
撮像時刻t1および撮像時刻t2の画像に対する輝度値波形をJ1,J2とすると、
(rxi,ryi)=argmin Σ(J1(xm)−J2(yn))^2
1≦m≦u, 1≦n≦v, xm∈rxi, yn∈ryi
となる。
このときのrxi,ryiの傾きφ’が、撮像時刻t1および撮像時刻t2の各画像間で対応する処理領域内の歩行者の大きさの変化率を表す。この傾きφ’から単位時間間隔(T−t1)における傾きφを算出し、単位時間間隔(T−t1)における変化率を算出することができる(変化率=1/傾きφ)。
撮像時刻t1および撮像時刻t2のときの、歩行者までの距離d1,d2、歩行者の画像上の大きさs1,s2とおき、時刻Tのときの歩行者までの距離をdT、歩行者の画像上の大きさをsTとする。また、t1とt2とで歩行者の移動速度が大きくは変わらないと仮定すると、以下の式が成立する。
d1×s1=d2×s2=dT×sT
φ=sT/s1
φ’=s2/s1
更に
φ=1/{1+{(T−t1)/(t2−t2)}×(s1/s2−1)}φ’
=(t2−t1)/{(T−t1)+(t2−T)×(s2/s1)}φ’
となる。
なお、対応する処理領域とは、例えば自車が静止中の場合には画像の同一座標で良いが、自車が旋回移動中の場合は自車旋回角度に応じて座標を移動させてもよい。
d1×s1=d2×s2=dT×sT
φ=sT/s1
φ’=s2/s1
更に
φ=1/{1+{(T−t1)/(t2−t2)}×(s1/s2−1)}φ’
=(t2−t1)/{(T−t1)+(t2−T)×(s2/s1)}φ’
となる。
なお、対応する処理領域とは、例えば自車が静止中の場合には画像の同一座標で良いが、自車が旋回移動中の場合は自車旋回角度に応じて座標を移動させてもよい。
例えば、図6(a)に示すように、撮像時刻t1における輝度値521を縦軸にとり、撮像時刻t2における輝度値522を横軸にとったグラフを作成すると、右肩上がりのグラフ線図が作成できる。このグラフ線図の任意の近似直線の傾斜角φが変化率となる。例えば撮像時刻t1とt2で歩行者Mの大きさが全く変わっていない場合には、傾斜角φは45度となるが、歩行者Mが車載カメラ111に接近するに応じて傾斜角φは小さくなり、変化率は大きくなる。
見かけ変形判定手段104は、観測対象の画像における脚部の見かけの変形を観測する脚部変形観測手段104aと、観測対象の画像における腕部の見かけの変形を観測する腕部変形観測手段104bを備えている。見かけの変形とは、実際には変形していない三次元空間中の物体を、異なる複数の視点で観測するとき、カメラで撮像する際の撮像平面上に投影されるプロセスにおいて、アフィン変換の関係をもつ異なる複数の形状として観測されることを指している。脚部や腕部は関節以外では曲がらず各リンク長も変わらないが、撮像し画像平面に投影されると画像上では角度や長さが、カメラと人物の位置関係によって変化して見える。
脚部変形観測手段104aでは、撮像時刻t1と撮像時刻t2において、処理領域内の下半分の見かけの変形を観測する。処理領域内に歩行者が含まれている場合、処理領域の下半分が脚部に相当するため、この下半分の見かけの変形の有無を判定することで、歩行者が静止しているのではなく、脚部を動かして歩行していることを見分けることができる。
歩行者の場合、脚部が変形するため、処理領域の下半分の画像の差分をとり、差分の輝度値を累積し、閾値と比較することで見かけが変形しているか否かを判定することができる。すなわち、撮像時刻t1と撮像時刻t2の大きさがu×vの処理領域内の各点の輝度値I1(x,y),I2(x,y)とし、変形している判定の閾値をThr1とすると、変形している場合は次式が成立する。
Σ|I1(i,j)−I2(i,j)| ≧ Thr1
1≦i≦u, v/2≦j≦v
Σ|I1(i,j)−I2(i,j)| ≧ Thr1
1≦i≦u, v/2≦j≦v
脚部変形観測手段104aでは、上記の式に従って処理領域の下半分に対して、輝度値差分絶対値の累積を閾値Thr1と比較し、式が成立している場合には脚部が変形していると判定し、式が成立していない場合には脚部が変形していないと判定する。
腕部変形観測手段104bでは、脚部変形観測手段104aと類似しているが、差分をとる領域が異なり、処理領域の上部1/8から1/2の間の領域について差分の輝度値を累積する。変形している判定の閾値をThr2とすると、変形している場合は次式が成立する。
Σ|I1(i,j)−I2(i,j)| ≧ Thr2
1≦i≦u, v/8≦j≦v/2
Σ|I1(i,j)−I2(i,j)| ≧ Thr2
1≦i≦u, v/8≦j≦v/2
腕部変形観測手段104bでは、上記の式に従って処理領域の上部領域に対して、輝度値差分絶対値の累積を閾値Thr2と比較し、式が成立している場合には腕部が変形していると判定し、式が成立していない場合には腕部が変形していないと判定する。なお、前述の式では処理領域の下半分の領域と上部1/8から1/2の間の領域を用いたが、人物形状を仮定してより柔軟に領域を設定しても構わない。
見かけ変形判定手段104は、脚部変形観測手段104aと腕部変形観測手段104bの少なくとも一方により、見かけが変形していると判定された場合に、観測対象の画像の変形があると判定する。
対象挙動解析手段105は、変化率算出手段103と見かけ変形判定手段104の結果に基づき、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する。例えば、変化率算出手段103により観測対象の画像が拡大する方向に変化していると判定され、かつ、見かけ変形判定手段104により観測対象の画像が変形していると判定された場合に、観測対象が自車に相対的に接近している歩行者であると判定する。
警報出力判定手段106は、対象挙動解析手段105の解析結果に基づき、警報を出力するか否かを判定する。警報としては、スピーカ112へ警報音を出力したり、モニタ113に表示することが行われる。また、視線センサ123によってドライバの注視方向が既に検出された歩行者の方向を向いていると判断される場合には、スピーカ112やモニタ113への出力を抑制するようにしてもよい。
上記構成を有する車両周囲監視装置100は、図示しない車両の電源装置からの電源供給が開始されると起動し、メモリのクリア等のシステムの初期化処理を行う。初期化完了後、接続されている映像入力手段および、センサ類との通信手段の機能が正常であるかどうか診断処理を行う。そして、初期化処理と診断処理の終了後、車両周辺監視機能の開始トリガの入力を待つ。
本実施の形態では、診断処理とは、撮像手段である車載カメラ111から同期信号が所定周期で得られているか、映像信号の輝度レベルが所定範囲内に収まっているか、車輪速センサ121や舵角センサ122との通信が正常に行われているか、を判断する。また、開始トリガとは、シフトポジションセンサから出力されたリバースを示す信号、車速を計測するセンサから得られた自車速が一定時間一定値以下であること、タッチパネルやスイッチなどによりユーザから指定したタイミングの3種類がある。
開始トリガが入力されると、撮像画像取得手段101を用いて車両周囲の撮像画像を取得する状態に移行し、開始トリガ以降は、所定の周期で撮像画像を取得するとともに、処理領域設定手段102,変化率算出手段103,見かけ変形判定手段104にそれぞれ入力される。
処理領域設定手段102では、変化率算出手段103で用いる1つの処理領域のサイズと、入力画像内での各処理領域の配置を決定する。例えば、水平画角38度,垂直画角30度で、720×480画素の解像度を持つ車載カメラ111において、40m先にいる身長160cm,肩幅60cmの歩行者を検出する場合、車載カメラ111の解像度が中央部と周辺部でほぼ同一であると考えると、この歩行者はおよそ横幅u=16画素(pixel),縦幅v=36画素(pixel)として観測されることになる。
この検知対象のサイズが1つの処理領域のサイズとなる。このように処理領域のサイズを設定することで、処理領域内に占める歩行者領域の割合を大きくすることができ、システムにとって必要な検知距離における検知性能を向上させることが可能となる。
また、このサイズの各処理領域を入力画像内で配置する際には、検出対象として仮定した距離の歩行者中心部が含まれる位置に配置することが望ましい。例えば、車載カメラ111が、歩行者の腰付近の高さに設置されている場合には、地平線が含まれるように各処理領域を配置することが好適である。このように処理領域を配置することで、歩行者の距離が仮定した距離と異なっていても、処理領域のおよそ中央部で歩行者領域を捉えることができ、各距離での歩行者の検知性能を向上させることが可能になる。
なお、車両近傍での検知性能を向上させるために、異なる複数の距離を仮定し、それらから計算される画像上の歩行者サイズが含まれるように1つの処理領域のサイズを設定してもよい。すなわち、前述のカメラで40m先の歩行者は16×36画素(pixel)であるが、20m先の歩行者は32×72画素(pixel)となる。
変化率算出手段103において、縦軸方向に投影して歩行者の画像の変化率を算出する場合には、処理領域の上部および下部に歩行者以外の背景画像が含まれていても問題ないが、左右部に背景画像が含まれると検知性能が低下することから、処理領域を16×72画素(pixel)と設定する。このように処理領域のサイズを設定することで、仮定する距離と異なる距離での歩行者の検知性能を向上させることが可能となる。
また、自車両の車速に応じて仮定する歩行者との距離を変更してもよい。例えば、TTC(衝突までの時間,Time To Collision)=2秒とおくと、時速40km/hで22m,時速60km/hで33mが、自車の走行にとって危険な距離となる。こうして仮定する歩行者との距離を自車走行速度に応じて変更することで、走行シーンに合った歩行者の検知を行うことができるようになる。例えば、低速走行時に遠方での過剰な検知を抑制したり、高速走行時に遠方での検知性能を向上したりすることが可能となり、利便性が高まる効果がある。
変化率算出手段103は、撮像画像取得手段101により画像を取得すると、まず画像メモリに蓄積し、次に取得した画像と蓄積された画像との間で前述した動的計画法を用いて、画像間の対応付けを算出する。本実施の形態では、入力画像と蓄積画像の処理領域を、それぞれ縦軸への投影後に、高さ方向の対応付けを動的計画法にて算出し、拡大率を算出することを考える。
例えば、処理領域のサイズを横幅N×縦幅15とし、入力画像の処理領域を縦軸に投影した一次元のパターンをI[15]、蓄積画像の処理領域を縦軸に投影した一次元のパターンをJ[15]としたとき、投影後のパターン列として下記が得られたとする。
I[15] = {0, 0, 4, 5, 4, 2, 3, 6, 8, 9, 9, 9, 3, 0, 0}
J[15] = {0, 4, 5, 5, 4, 2, 2, 3, 7, 8, 9, 9, 9, 3, 0}
I[15] = {0, 0, 4, 5, 4, 2, 3, 6, 8, 9, 9, 9, 3, 0, 0}
J[15] = {0, 4, 5, 5, 4, 2, 2, 3, 7, 8, 9, 9, 9, 3, 0}
このパターンの動的計画法での対応付けを行うと、I[2]とJ[1],I[12]とJ[13]が、それぞれ対応付けられることになる。ただし、I[0],J[0]はそれぞれの最初の要素、I[14],J[14]はそれぞれの最後の要素を指しているものとする。
また、この投影されたパターンの全体が歩行者領域のみで占められているわけではなく、上下部分には背景領域が混入している可能性があるため、変化率の計算では対応づけられている中央部分のみを取り出して使用する。上下部分の無効領域をどの程度に設定するかは処理領域設定手段での仮定により変わるが、本実施例では上下それぞれパターン長の約1割を除去した後の中央部分を用いるものとする。このときのJのIに対する拡大率は、(13−1+1)/(12−2+1)=1.18として計算される。この計算結果を対象挙動解析手段に送る。
こうして、一次元パターンに投影し、複数の撮像時刻間のパターン間の対応付けを算出し、対応付け結果の中央部分の拡大率を用いることで、仮定した検知対象の距離以外でも安定して変化率観測が可能となるという効果がある。
なお、対象が静止、もしくは自車両の移動速度よりも低速であるとき、車速や車輪速パルスなどからデッドレコニング法を用いて自車の移動量を算出すると、この移動量と変化率から、歩行者までの距離が計測できる。すなわち、自車と歩行者までの距離がXから(X−D)に移動する間の変化率がSの場合、対象までの距離をDとすると、次式が成り立つ。
X:(X−D)=S:1
X:(X−D)=S:1
自車が3m移動する間に拡大率が1.18の場合、歩行者までの距離は、19.67mと算出できる。こうして算出した距離は、拡大している対象が危険か否かを判断するために使うことができる。
見かけ変形判定手段104では、入力画像と蓄積画像とが見かけ上変形しているか否かを判定する。脚部変形観測手段104aでは、前述したように、処理領域を歩行者中心部が含まれる位置に配置しており、処理領域のうち地平線よりも下部を脚部領域として扱う。入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも下部の領域について、SAD(差分絶対値総和,Sum of Absolute Difference)を算出する。
腕部変形観測手段104bでは、脚部変形観測手段104aと類似しているが、差分をとる領域が異なり、処理領域のうち地平線よりも上側の領域の変形を判定する。前述したとおり、入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも上部の領域について、SADを算出する。見かけ変形判定手段104は、各SADと所定の閾値と大小を比較することで、見かけ上の変形が発生しているか否かを判定し、その判定結果を対象挙動解析手段105に送る。
対象挙動解析手段105は、変化率算出手段103で算出された歩行者の画像の変化率のみでは、自車が移動している場合には、静止している壁等と歩行者とが判別できない。したがって、自車の挙動を解析する車両挙動解析手段105aからの情報に基づいて歩行者の判別を行う。
車両挙動解析手段105aは、自車の舵角と車速、あるいは各タイヤの車輪回転が分かると、自車が動いた距離と姿勢を算出することができる。例えば、アッカーマン・ジャントゥモデルを用いると、車輪速センサ121と舵角センサ122の出力値V(t),δ(t)から、車両の位置(x,y)および回転角度θを求めることができる。アッカーマン・ジャントゥモデルは、車両の操舵輪における内輪と外輪の切れ角を同一とし、内輪と外輪の車軸中心に1輪にまとめた操舵輪として定義したモデルである。車両のホイールベースをLwとすると、以下の状態方程式が定義できる。
dx/dt=V(t)×cosθ(t)
dy/dt=V(t)×sinθ(t)
dθ/dt=V(t)×tanδ(t)÷Lw
これを解くことにより、自車の位置と回転角度を求めることができる。
dx/dt=V(t)×cosθ(t)
dy/dt=V(t)×sinθ(t)
dθ/dt=V(t)×tanδ(t)÷Lw
これを解くことにより、自車の位置と回転角度を求めることができる。
対象挙動解析手段105では、変化率算出手段103から得られた変化率が閾値以上、例えば、自車速が40km/hで走行中で、検知距離を20m以内と設定した場合には、1.05以上の拡大率の検知領域に含まれる領域で、さらに、脚部変形観測手段104aまたは、腕変形観測手段104bの少なくとも一方が変形していると判定していれば、観測対象は歩行者であると判定する。この判定結果は警報出力判定手段106に送られる。
警報出力判定手段106は、例えば、300msecなど一定の時間間隔に、対象挙動解析手段105から3回の歩行者接近の判定結果が来た場合、スピーカ112へ警報音を出力したり、撮像画像取得手段101で取得した画像中の処理領域部分に赤枠やアイコンを重畳してモニタ113に出力する。
以上、本実施の形態について詳述したが、本発明は、前記の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100 車両周囲監視装置
101 画像取得手段
102 処理領域設定手段
103 変化率算出手段
104 見かけ変形判定手段
104a 脚部変形判定手段
104b 腕部変形判定手段
105 対象挙動解析手段
106 警報出力判定手段
111 車載カメラ
M 歩行者
101 画像取得手段
102 処理領域設定手段
103 変化率算出手段
104 見かけ変形判定手段
104a 脚部変形判定手段
104b 腕部変形判定手段
105 対象挙動解析手段
106 警報出力判定手段
111 車載カメラ
M 歩行者
Claims (4)
- 車載カメラで撮像した画像を取得する画像取得手段と、
前記画像に複数の処理領域を設定する処理領域設定手段と、を備え、
前記処理領域設定手段は、前記複数の処理領域を一部重ねて設定し、
前記処理領域内の物体を検知することを特徴とする画像処理装置。 - 前記物体として歩行者を検知することを特徴とする請求項1に記載の画像処理装置。
- 前記処理領域のサイズは、前記車載カメラから前記歩行者までの仮定した距離と、前記歩行者の仮定した大きさとに基づいて設定されることを特徴とする請求項2に記載の画像処理装置。
- 自車の挙動を観測する車両挙動解析手段を備え、
前記処理領域設定手段は、前記車両挙動解析の結果に基づいて、前記処理領域の位置を変化させることを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197500A JP2014044730A (ja) | 2013-09-24 | 2013-09-24 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197500A JP2014044730A (ja) | 2013-09-24 | 2013-09-24 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011142258A Division JP5603835B2 (ja) | 2011-06-27 | 2011-06-27 | 車両周囲監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014044730A true JP2014044730A (ja) | 2014-03-13 |
Family
ID=50395904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013197500A Pending JP2014044730A (ja) | 2013-09-24 | 2013-09-24 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014044730A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047460A1 (ja) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | 物体検出装置 |
WO2016121406A1 (ja) * | 2015-01-28 | 2016-08-04 | 京セラ株式会社 | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 |
WO2020209046A1 (ja) * | 2019-04-10 | 2020-10-15 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
WO2022071323A1 (ja) * | 2020-09-29 | 2022-04-07 | Arithmer株式会社 | プログラム、情報処理方法、情報処理端末及び地図情報提供装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001204013A (ja) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | 物体検出装置 |
JP2008015771A (ja) * | 2006-07-05 | 2008-01-24 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および車両制御装置 |
JP2010128919A (ja) * | 2008-11-28 | 2010-06-10 | Hitachi Automotive Systems Ltd | 物体検知装置 |
JP2010152873A (ja) * | 2008-11-19 | 2010-07-08 | Clarion Co Ltd | 接近物体検知システム |
-
2013
- 2013-09-24 JP JP2013197500A patent/JP2014044730A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001204013A (ja) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | 物体検出装置 |
JP2008015771A (ja) * | 2006-07-05 | 2008-01-24 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および車両制御装置 |
JP2010152873A (ja) * | 2008-11-19 | 2010-07-08 | Clarion Co Ltd | 接近物体検知システム |
JP2010128919A (ja) * | 2008-11-28 | 2010-06-10 | Hitachi Automotive Systems Ltd | 物体検知装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047460A1 (ja) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | 物体検出装置 |
WO2016121406A1 (ja) * | 2015-01-28 | 2016-08-04 | 京セラ株式会社 | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 |
JPWO2016121406A1 (ja) * | 2015-01-28 | 2017-09-07 | 京セラ株式会社 | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 |
WO2020209046A1 (ja) * | 2019-04-10 | 2020-10-15 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP2020173584A (ja) * | 2019-04-10 | 2020-10-22 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP7258632B2 (ja) | 2019-04-10 | 2023-04-17 | 日立Astemo株式会社 | 物体検出装置 |
WO2022071323A1 (ja) * | 2020-09-29 | 2022-04-07 | Arithmer株式会社 | プログラム、情報処理方法、情報処理端末及び地図情報提供装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5603835B2 (ja) | 車両周囲監視装置 | |
JP4355341B2 (ja) | 深度データを用いたビジュアルトラッキング | |
JP4899424B2 (ja) | 物体検出装置 | |
JP4876118B2 (ja) | 立体物出現検知装置 | |
JP5109691B2 (ja) | 解析装置 | |
JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
JP4609603B2 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
JPWO2009099022A1 (ja) | 周辺監視装置及び周辺監視方法 | |
JP6032034B2 (ja) | 物体検知装置 | |
CN104918033A (zh) | 图像处理装置和图像处理方法 | |
JP2006338594A (ja) | 歩行者認識装置 | |
KR20060021922A (ko) | 두 개의 카메라를 이용한 장애물 감지 기술 및 장치 | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
JP2014044730A (ja) | 画像処理装置 | |
JP4553071B1 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
JP2010079639A (ja) | 車両の歩行者検出装置 | |
JP5783211B2 (ja) | 交通量計測装置および交通量計測方法 | |
JP5251814B2 (ja) | 運転支援装置 | |
JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
JP5785515B2 (ja) | 歩行者検出装置及び方法、並びに車両用衝突判定装置 | |
JP3994954B2 (ja) | 物体検出装置及び物体検出方法 | |
JP4742695B2 (ja) | 視線認識装置、及び視線認識方法 | |
JP5256508B2 (ja) | 3次元情報算出装置および3次元情報算出方法 | |
JP2009214790A (ja) | 撮像装置および方法、並びに、画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150317 |