JP2011053732A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2011053732A JP2011053732A JP2009199293A JP2009199293A JP2011053732A JP 2011053732 A JP2011053732 A JP 2011053732A JP 2009199293 A JP2009199293 A JP 2009199293A JP 2009199293 A JP2009199293 A JP 2009199293A JP 2011053732 A JP2011053732 A JP 2011053732A
- Authority
- JP
- Japan
- Prior art keywords
- vanishing point
- calculation
- foe
- candidate
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮影画像の消失点(FOE)を少ない計算負担で迅速に検出できるようにする。
【解決手段】領域決定手段34により車両1の撮像装置2が撮影した車両周囲の撮影画像から消失点(FOE)が存在する可能性がある候補領域を決定し、フロー算出手段35により撮影画像の算出対象領域のオプティカルフローを算出する。個別類似性演算手段36により候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算し、総合類似性演算手段37により各指標値に基づいて消失点候補画素それぞれの類似性の度合いの総合値を演算する。このとき、演算中の総合値が演算の終了した他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、演算制御手段39によりその消失点候補画素の演算を終了し、消失点決定手段38により、少ない計算負荷で絞り込んだ確度の高い候補領域から消失点(FOE)を決定する。
【選択図】図1
【解決手段】領域決定手段34により車両1の撮像装置2が撮影した車両周囲の撮影画像から消失点(FOE)が存在する可能性がある候補領域を決定し、フロー算出手段35により撮影画像の算出対象領域のオプティカルフローを算出する。個別類似性演算手段36により候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算し、総合類似性演算手段37により各指標値に基づいて消失点候補画素それぞれの類似性の度合いの総合値を演算する。このとき、演算中の総合値が演算の終了した他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、演算制御手段39によりその消失点候補画素の演算を終了し、消失点決定手段38により、少ない計算負荷で絞り込んだ確度の高い候補領域から消失点(FOE)を決定する。
【選択図】図1
Description
この発明は、車両(自車)の撮像装置が撮影した車両周囲(前方等)の撮影画像につき、背景と、他の車両(自転車等も含む)や人(歩行者等)等の動くものとを区別するための消失点(FOE:Focus Of Expansion)を求める画像処理装置に関する。
従来、車両の安全運転支援装置の一つとして、車両(自車)に搭載した撮像装置が撮影した車両周囲(前方等)の撮影画像から、他の車両(自転車等も含む)や人(歩行者等)等の動くものと自車との衝突の可能性を判定する衝突防止支援装置が提案されている。
この衝突防止支援装置を形成する従来の画像処理装置においては、撮影画像の道路に平行な各線分を算出し、それらの線分の延長線の交点の画素から、背景の流れ(オプティカルフロー)と前記動くものの動きとを区別するための消失点(FOE:Focus Of Expansion)を求めることが提案されている(例えば、特許文献1(請求項6、段落[0092]、[0129]、[0131]、図6等)参照)。
前記特許文献1に記載の画像処理装置の場合、道路に平行な各線分の延長線の交点の画素を特定するためには多元連立方程式を解く複雑な演算をする必要があり、計算負荷が膨大となる。また、車両挙動等に起因する撮像装置の振動等に基づき、実際には、たとえ静止した背景画のみであっても、前記延長線の全てが一点で交差することはほとんどなく、前記演算の解が1つに収束しないため、消失点の特定は容易ではない。
本発明は、撮影画像から計算負荷を軽くして精度よく消失点(FOE)が検出できるようにすることを目的とする。
上記した目的を達成するために、本発明の画像処理装置は、車両に搭載された撮像装置と、前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値に確定するまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値に確定した時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴としている(請求項1)。
請求項1の発明の場合、撮像装置が撮影した車両周囲の撮影画像につき、領域決定手段により画像の消失点(FOE)が存在する可能性がある候補領域を決定して抽出する。また、算出手段により、候補領域を除く各分割領域のうちの算出対象領域のオプティカルフローを算出する。そして、個別類似性演算手段により、候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと、各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算することにより、各消失点候補画素の消失点(FOE)としての確度を撮影画像の分割した各算出対象領域毎に個別に求めることができる。さらに、総合類似性演算手段により、消失点候補画素それぞれについてあらたなペアの前記指標値が演算される毎に演算された指標値を追加して最新の総合値を演算し、各消失点候補画素につき、個別類似性演算手段の各算出対象領域毎の個別の演算結果を総合して消失点(FOE)としての確度を求めることができる。このとき、演算制御手段により、各消失点候補画素それそれの演算中の総合値が他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、途中で演算を終了してつぎの消失点候補画素の総合値の演算に移るので、計算の無駄が無い。
そして、決定手段により、総合類似性演算手段の演算結果から消失点(FOE)である確度が最も高い消失点候補画素を消失点(FOE)に決定するため、撮影画像の道路に平行な線分の延長線の全ての交点を求めるような複雑な演算を行なうことなく、撮影画増から絞り込んだ確度の高い一部の候補領域についてのみ、各消失点候補画素毎に、撮影画像の他の領域のオプティカルフローと、その画素と他の領域とを結ぶ線分のベクトルとの類似性から、消失点(FOE)である可能性の確度を判断して消失点(FOE)を求めることができる。
そのため、極力少ない計算負担で迅速に精度よく消失点(FOE)を求めることができる。
つぎに、本発明をより詳細に説明するため、実施形態について、図1〜図18を参照して詳述する。
(一実施形態)
本発明の一実施形態について、図1〜図15を参照して説明する。
本発明の一実施形態について、図1〜図15を参照して説明する。
図1は車両(自車)1が備える本実施形態の衝突防止支援装置としての画像処理装置の構成を示し、本実施形態の場合、走行中の車両1の前方の他の車両(自転車等も含む)や人(歩行者等)等の動くもの(動的障害物)と車両1との衝突の可能性を判定するため、車両(自車)1に搭載した撮像装置(例えば単眼のCCDカメラからなる)2により車両1の前方を連続的に撮影し、その撮影画像をマイクロコンピュータ構成の処理装置(画像解析装置)3に送る。そして、処理装置3により消失点(FOE)を検出し、検出した消失点等の情報を後段の判定装置4に送って衝突の可能性を判定する。
つぎに、処理装置3における撮影画像の消失点(FOE)の決定方法について説明する。
まず、撮像装置2から送られてくる毎フレームの撮影画像は例えば640画素(横)×400画素(縦)である。
そして、撮影画像を処理して車両1の走行車線(自車線)方向に近づく動的障害物を検出する際、車両1が静止していると、撮影画像の背景が静止するので、例えば連続する2枚の撮影画像のずれている部分から動的障害物を簡単に検出できるが、車両1が動いている場合は、撮影画像全体に背景も含めて流れが発生するので、そのような手法では動的障害物を検出できない。
図2は車両1が前進している場合の撮影画像例を示し、図中の各矢印が撮影画像各部のオプティカルフローのフローベクトルであり、画面全体に流れが発生していることが分かる。
一方、撮影画像の各部のオプティカルフローのベクトル(フローベクトル)を求めると、その異同から、背景の部分と異なる動きを示す部分を動的障害物として検出することができる。なお、図2は撮影画像を均一なメッシュ(矩形)の領域に分割した場合の各領域のフローベクトルを矢印線で示したものである。
車両1が前進している場合、撮影画像の背景のフローベクトルは画像中心等の撮影画像の消失点(FOE)から外側に湧き出す向きのベクトルとして分布し、動的障害物のフローベクトルはその移動方向に応じた向きのベクトルになる(図2参照)。なお、車両1が後進する場合は、背景のフローベクトルは撮影画像の消失点(FOE)に向かう内側に収束する向きのベクトルとして分布する。そして、撮影画像の消失点(FOE)を決定して求めることにより、例えば撮影画像の各領域のフローベクトルが消失点(FOE)から湧き出す向き(又は消失点に向かう向き)のベクトルか否かから、走行中の車両1の撮影画像点から動的障害物を検出できる。
そして、本実施形態においては、撮像装置2の車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する。そのため、撮影画像を複数の領域(分割領域)に分け、周知のオプティカルフロー抽出方法により、分割領域の単位で撮影画像のオプティカルフローのベクトル(フローベクトル)を求め、各分割領域のフローベクトルの延長線が交わる点を含む分割領域を、消失点(FOE)が存在する領域(候補領域)に決定する。さらに、このようにして絞り込んで決定した確度の高い領域から、後述するベクトルの外積演算又は内積演算により消失点(FOE)を決定して求める。この場合、道路に平行な線分全ての延長線の交点を求めるような複雑な演算をすることなく画像の消失点(FOE)が存在する可能性が高い候補領域を絞り込んで決定し、絞り込んだ確度の高い候補領域から消失点(FOE)を求めるので、計算の負担が少なくなり、しかも、車両1の挙動等に起因する撮像装置2の振動等の影響が少なくなって消失点(FOE)の検出精度も向上する。
処理装置3は、まず前記候補領域を決定するため、図1に示すように、撮像装置2の撮影画像を複数の領域(分割領域)に分割する画面分割手段31と、各領域のオプティカルフローを算出するフロー算出手段32と、各領域のオプティカルフローを延長した延長線を求める本発明の延長手段33と、記撮影画像の所定数以上の前記延長線が通る領域を簡単な投票方式の多数決処理で画像の消失点(FOE)が存在する可能性がある候補領域に決定する領域決定手段34とを備える。なお、各手段31〜34は画像処理のソフトウェアにより形成される。
そして、画面分割手段31により撮影画像全体を適当な大きさの領域に分割する。本実施形態においては、撮影画像が640画素(横)×400画素(縦)であるとすると、撮影画像を、例えばm画素(横)×n画素(縦)の均一なメッシュ状の領域に分割する。なお、m×nは例えば4×4、8×8、16×16、・・・であり、その大きさは検出精度等から設定される。
図3は、撮影画像をm×nの画素数に分割して形成された均一な分割領域αを示す。
つぎに、フロー算出手段32により、本実施形態の場合、全ての分割領域αを算出対象領域とし、算出対象領域である各分割領域αついて、分割領域α毎に周知の抽出手法でフローベクトルV(α)を求めて各領域のオプティカルフローを算出する。なお、計算負荷をより少なくする場合は、例えば選択した一部の分割領域αを算出対象領域とし、それらの領域についてのみオプティカルフローを算出してもよい。
さらに、延長手段33により各分割領域αのオプティカルフローのフローベクトルV(α)を延ばして延長線を求める。車両1が前進している場合には、各分割領域αのオプティカルフローの外側向きのフローベクトルV(α)を逆の内側向きに直線状に延ばし、車両1が後進している場合には、各分割領域αのオプティカルフローの内側向きのフローベクトルV(α)を外側向きに直線状に延ばして延長線Laを求める。
図4は車両1が前進している場合の延長線Laの例を示し、各分割領域αを撮影画像の左上隅から行列順にαij=α11、α12、…、α21、α22、…とすると、図中の延長線Laは、撮影画像の右上隅の分割領域α11のオプティカルフローの外側向きのフローベクトルV(α)を、図4のように逆向き(内側向き)に直線状に延ばして求められる。
そして、領域決定手段34により延長線Laが通る各分割領域αを求める(図4の斜線を付した分割領域α)。このとき、延長線Laが通る分割領域αを全て求めてもよいが、マイクロコンピュータの処理負担を軽減して消失点の検出精度をより向上するため、本実施形態の場合、画面分割手段31が分割した各分割領域αのうちの延長線Laが中心部分から所定範囲を通過する分割領域αのみを延長線Laが通る分割領域αとして求める。具体的には、例えば各分割領域αの中心点で直交する十字状の2直線x、yを設定し、延長線Laが2直線x、yの少なくともいずれかと交差する分割領域αのみを延長線Laが通る分割領域αとして求める。すなわち、この十字状の2直線x、yの端をそれぞれ結ぶことにより形成される領域が上記の「中心部分から所定範囲」であるが、2直線x、yを通るか否かの簡単な判断で分割領域αとして求めるので、マイクロコンピュータの処理負担が少ない。なお、2直線x、yは直交するものに限られない。
図4の分割領域α11のフローベクトルV(α)の延長線Laの場合、延長線Laが2直線x、yの両方と交差する斜線を付した分割領域α22、α33、…は延長線Laが通る分割領域αとして求められるが、そうでない分割領域α23、α44、…は延長線Laが通る分割領域αとはみなされない。
つぎに、各分割領域αの延長線Laの交点を求め、その交点を含む分割領域αを候補領域βに決定するのでは、分割領域αの数の多元の連立方程式を解いたりする必要があり、計算負荷が大きくなる。また、車両1の走行により撮像装置2の位置が変動し、しかも、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なるので、前記連立方程式の解が1つに収束しないことがあり、消失点(FOE)が存在する候補領域βの決定が容易でない。
そこで、本実施形態においては、前記連立方程式を解いたりする代わりに、いわゆる投票方式の多数決処理により、簡単に所定数以上であって最も多くの延長線Laが通る分割領域αを消失点(FOE)が存在する候補領域βに決定する。すなわち、領域決定手段34は、延長線Laが求められると、その延長線Laが通る分割領域αに1票を投票する。
図5は図4の分割領域α11のフローベクトルV(α)の延長線Laについての投票結果を示し、「1」を付した斜線の分割領域αは1票投票されたことを示す。
そして、撮影画像の全ての算出対象領域について、すなわち、本実施形態の場合は全ての分割領域αについて、前記と同様にしてフローベクトルV(α)の延長線Laが通る各分割領域αを求めてそれらの分割領域αに1票を投票する。
図6は分割領域α28のフローベクトルV(α)に注目し、このフローベクトルV(α)の延長線Laが通る斜線の各分割領域αを示す。
図7は分割領域α11のフローベクトルV(α)の延長線Laについての投票結果に、分割領域α28のフローベクトルV(α)の延長線Laについての投票結果が加わった場合の投票結果例である。
ぞして、撮影画像の全ての分割領域(算出対象領域)αのフローベクトルV(α)の延長線Laについての投票が終了すると、領域決定手段34は、各分割領域αの投票数を開票し、投票数が一番多く、消失点(FOE)が存在する可能性が最も高い分割領域αを、その撮影画像の消失点(FOE)の候補領域βに決定する。この場合、投票方式の多数決処理により、分割領域αの数の多元の連立方程式を解いたりすることなく候補領域βが簡単に求められ、処理装置3の計算負荷が大きくならない。また、車両1の走行により撮像装置2の位置が変動したり、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なっていても、それらの影響はほとんど受けることがない。
なお、投票総数が設定総数より少ない場合(オプティカルフローの検出が良好でない場合)や、投票総数に対して一番多い得票数が設定した基準票数より少ない場合(消失点(FOE)が撮影画像の外にある場合)などには、交差する延長線Laが所定数より少ないので、消失点(FOE)が存在する分割領域αは無いと判断して候補領域βの決定は行なわない。
図8は以上説明した候補領域βの決定の処理手順例を示し、画面分割手段31が撮影画像を分割領域αに分割すると(ステップS1)、フロー算出手段32が各分割領域αのフローベクトルV(α)を算出し、延長手段33が各分割領域αについて延長線Laを作図し(ステップS2)、領域決定手段34は延長線Laが通る分割領域αを検出し(ステップS3)、延長線Laが通る分割領域αに1票を投票する(ステップS4)。そして、ステップS2〜ステップS4の処理を算出対象領域となった各分割領域αに対して繰り返し行なうと、ステップS5を介してステップS6に移行し、投票結果を開票して投票数が最も多い分割領域αを候補領域βに決定する(ステップS7)。
ところで、上述のように、撮影画像を均一に分割し、各分割領域αを同じ画素数の同一面積の領域として分割領域α毎のオプティカルフローのフローベクトルV(α)を求め、その延長線Laについての投票結果から同じ大きさの候補領域βを決定する代わりに、撮影画像を画像中心に至るほど細かくなるように分割し、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かく設定し、それらの分割領域α毎のオプティカルフローのフローベクトルV(α)を求め、その延長線Laについての投票結果から、画像中心に至る程小面積になる候補領域βを決定してもよい。
図9は本実施形態の分割領域αの一例を示し、撮影画像の周辺では大きく、中心に近づくほど細かくなっている。
車両1が直進(前進又は後進)している場合、撮像装置2の撮影画像の画像中心付近に消失点(FOE)が存在し、消失点(FOE)を中心に外側又は内側に向かってフローベクトルV(α)が分布する。このため、画像中心付近の画像密度は高く、物体が小さく見え、画像の周辺に至る程画像密度は低くなって物体は大きく見える。
そして、撮影画像の全域を複数の領域に分割してオプティカルフローを検出し、前記と同様にして消失点(FOE)を求める場合、撮影画像全域の分割領域を細かくすれば、各分割領域の画像密度が濃くなり、小さな物体についてのオプティカルフローフローも検出することが可能となり、より正確に消失点(FOE)を求めることができるが、その分計算負荷が増え、また、検出の誤りによるバラツキも大きくなる。
そのため、各分割領域αを均一な大きさのメッシュ領域とした場合は、計算負荷や検出の誤りによるばらつき等を考慮して、各分割領域αの大きさを適当に設定する必要がある。
そこで、撮影画像全体を不均一なメッシュ領域に分け、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かくなるように設定する。
このように設定して消失点(FOE)が存在する候補領域βを決定すると、撮影画面全体での計算負荷(計算時間)を、撮影画面全体を細かな領域に分割する場合より小さく(短く)し、画像密度が高い画像中心付近では極めて精密に、画像密度が低い画像の周辺(外縁部)では粗く、画像密度に応じた大きさの領域の単位で消失点(FOE)が存在する候補領域βを決定することができ、一層正確に消失点(FOE)の画素を検出できる。
図10は車両1が前進する際に、撮影画像に不均一なメッシュ状の分割領域αを設定した場合の一例を示し、各分割領域αを撮影画像の周辺では大きく、中心に近づくほど細かくすることにより、フローベクトルV(α)の矢印線は、周辺では粗く、画像中心に至るにしたがって密になっている。なお、撮像装置2の取り付け設定等に基づき、殆どの場合、消失点(FOE)は画像密度が高い撮影画像の中心(画面中央)付近に位置するが、図10の場合は、図2の場合と同様、車両1が上り坂等を走行しているので消失点(FOE)がたまたま撮影画像の中心(画面中央)より上方にずれている。
したがって、撮影画像に不均一なメッシュ状の分割領域αを設定した場合は、消失点(FOE)の検出精度が一層向上する利点がある。なお、前記不均一なメッシュ領域の形状や大きさ等は図10のものに限られるものではなく、実験等に基づいて適当に設定すればよい。
以上説明したようにして、消失点(FOE)の画素が存在する候補領域βを撮影画像から絞り込んで決定することにより、極めて少ない計算負荷で迅速に候補領域βが求まる。また、車両挙動等に起因する撮像装置2の振動等の影響が少なく、消失点(FOE)の検出精度も向上する。
そして、消失点(FOE)の画素が存在する候補領域βを絞り込んで決定すると、つぎには、その候補領域βから、極力少ない計算負荷で精度よく消失点(FOE)を検出して決定するため、図1に示すように、領域決定部34の後段にフロー算出手段(本発明の算出手段)35、個別類似性演算手段36、総合類似性演算手段37、消失点決定手段(本発明の決定手段)38を備え、演算手段36、37の演算を演算制御手段39により制御し、本実施形態の場合は、つぎに説明する外積演算を行なって、絞り込んだ候補領域βの消失点(FOE)の画素を決定して消失点(FOE)を検出する。なお、手段35〜39も画像処理のソフトウェアにより形成される。
領域決定手段34により消失点(FOE)の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段35は撮影画像の候補領域βを除く各分割領域αのうちの算出対象領域のオプティカルフローを算出する。ところで、本実施例の場合、算出対象領域は候補領域βを除く各分割領域αであり、フロー算出手段32により撮影画像の各分割領域αのフローベクトルV(α)は既に求められているので、フロー算出手段35は、フロー算出手段32により求められている候補領域βを除く各分割領域αのフローベクトルV(α)を次段の個別類似性演算手段36に渡す。なお、領域決定手段34により本実施形態と異なる手法で候補領域βを決定して求めてもよいが、このとき、フロー算出手段32が設けられておらず、撮影画像の各分割領域αのフローベクトルV(α)が求められていなければ、フロー算出手段35は、フロー算出手段33と同様にして候補領域βを除く各分割領域αのフローベクトルV(α)を求め、求めた各フローベクトルV(α)を次段の個別類似性演算手段36に渡す。
[外積演算]
個別類似性演算手段36は、候補領域βの各画素(m×n)を順次に消失点候補画素Pとし、候補領域βの消失点候補画素P毎に、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbのベクトル(前進の場合は消失点候補画素Pから各分割領域(算出対象領域)αに向かう外向きのベクトル、後進の場合はその逆の内向きのベクトル)と、各分割領域(算出対象領域)αのフローベクトルV(α)とについて単位ベクトルの外積を演算し、演算結果の外積の絶対値を、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbの向きと、各分割領域(算出対象領域)αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分LbおよびフローベクトルV(α)の座標値が既知であるので、それらの単位ベクトルは、簡単な2行2列の行列式の座標の引き算と各座標までの長さから求められる。
個別類似性演算手段36は、候補領域βの各画素(m×n)を順次に消失点候補画素Pとし、候補領域βの消失点候補画素P毎に、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbのベクトル(前進の場合は消失点候補画素Pから各分割領域(算出対象領域)αに向かう外向きのベクトル、後進の場合はその逆の内向きのベクトル)と、各分割領域(算出対象領域)αのフローベクトルV(α)とについて単位ベクトルの外積を演算し、演算結果の外積の絶対値を、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbの向きと、各分割領域(算出対象領域)αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分LbおよびフローベクトルV(α)の座標値が既知であるので、それらの単位ベクトルは、簡単な2行2列の行列式の座標の引き算と各座標までの長さから求められる。
図11は分割領域α55が候補領域βの場合において、分割領域α11と消失点候補画素Pとを結ぶ線分Lbと、分割領域α11のフローベクトルV(α)の例を示す。
図12は図11の線分Lbの単位ベクトルE(Lb)と、分割領域α28のフローベクトルV(α)の単位ベクトルE(α11)との外積(E(Lb)×E(α11))を示し、単位ベクトルE(Lb)、E(α11)が等しくなる程(似ている程)、外積(E(Lb)×E(α11))は小さくなる。
図13は分割領域α55が候補領域βの場合において、分割領域α28と消失点候補画素Pとを結ぶ線分Lbと、分割領域α28のオプティカルフローのフローベクトルV(α)の例を示す。
図14は図13の線分Lbの単位ベクトルE(Lb)と、分割領域α28フローベクトルV(α)の単位ベクトルE(α28)との外積(E(Lb)×E(α28))を示し、この場合も、単位ベクトルE(Lb)、E(α18)が等しくなる程(似ている程)、外積(E(Lb)×E(α28))は小さくなる。
総合類似性演算手段37は、消失点候補画素Pそれぞれにつき、あらたなペアの指標値としての外積演算の結果(外積)が得られる毎に、演算された外積の絶対値を当該消失点候補画素Pのそれまでの(過去の)類似性の度合いの総合値(外積の絶対値の和)sum_epに追加(加算)して最新の総合値sum_epを演算する。
このとき、線分Lbと消失点候補画素Pのオプティカルフローとが接近するにしたがって外積の絶対値は0に近づき、消失点(FOE)に近い消失点候補画素P程、外積の絶対値は小さくなって消失点(FOE)の確度が高くなる。
そこで、演算制御手段39は、各消失点候補画素Pの演算中の総合値sum_epが、演算の終了した他の消失点候補画素Pの総合値sum_epより消失点(FOE)である確度の低い値に確定するまでは、個別類似性演算手段36および総合類似性演算手段37の演算をくり返し、演算中の総合値sum_epが、他の消失点候補画素Pの演算の終了した総合値sum_epより大きくなり、消失点(FOE)である確度が低い値に確定した時点で個別類似性演算手段36および総合類似性演算手段37の演算を終了する。すなわち、各消失点候補画素Pの演算中の総合値sum_epが、全ての分割領域(算出対象領域)αの線分Lbについての外積の演算が終了した他の消失点候補画素Pの総合値sum_epより大きくなると、その消失点候補画素Pは消失点(FOE)である確度が前記他の消失点候補画素Pより低い値に確定するので、直ちに演算を終了してつぎの消失点候補画素Pについての総合値sum_epの演算に移行する。このようにすることで、無駄な演算を行なうことなく(計算負荷を後述する内積演算より軽くして)、迅速に総合値sum_epが最小となる消失点候補画素Pが求められる。
そして、総合類似性演算手段37が全ての消失点候補画素Pについて総合値sum_epの演算を終了すると、消失点決定手段38は、それらの演算結果から消失点(FOE)である確度が最も高い消失点候補画素Pを消失点(FOE)に決定する。すなわち、外積演算の場合、演算制御手段39の制御により、自動的に演算が正常に終了した最も小さい総合値sum_epのみが総合類似性演算手段37から消失点決定手段38に送られるので、消失点決定手段38は、総合値sum_epが送られてきた消失点候補画素Pを消失点(FOE)に決定する。
図15は以上説明した候補領域βから外積の演算で消失点(FOE)を決定する処理手順例を示し、フロー算出手段35からのフローベクトルV(α)に基づき、個別類似性演算手段36は、候補領域βの演算対象の消失点候補画素Pを設定すると(ステップQ1)、その消失点候補画素Pについて他の分割領域αに対する線分Lbの単位ベクトルE(Lb)、他の分割領域αのフローベクトルV(α)の単位ベクトルE(αij)を求め(ステップQ2、Q3)、それらの外積を演算して総合類似性演算手段37により総合値sum_epを求める(ステップQ4)。そして、演算中の総合値sum_epが既に演算の終了した他の消失点候補画素Pの総合値sum_epより大きくなると、演算を終了してつぎの消失点候補画素Pの総合値sum_epの演算に移る(ステップQ5)。このようにして全ての消失点候補画素Pについて総合値sum_epを演算すると、消出点決定手段38により、総合値sum_epが最小の消失点候補画素Pを消失点(FOE)に決定する(ステップQ6、Q7)。
そして、外積演算により決定した消失点(FOE)が処理装置3から判定装置4に送られ、判定装置4は例えば消失点(FOE)から撮影画像の各画素への線分の向き等から、他の車両(自転車等も含む)や人(歩行者等)等の動くものを認識し、連続する撮影画像についてのそれらの移動変化から自車1との衝突の可能性を判定し、判定結果を車内の警報装置や衝突防止支援の各種の制御装置に送る。
したがって、前記実施形態の場合、撮影画像の各分割領域(算出対象領域)αから絞り込んで決定した消失点(FOE)の画素が存在確度の高い候補領域βにつき、各消失点候補画素P毎の簡単なベクトルの外積演算または内積演算により、少ない計算負荷で迅速に候補領域βから消失点(FOE)の画素を決定して消失点(FOE)を検出することができる。
(他の実施形態)
他の実施形態について、図1、図11、図13および図16〜図18を参照して説明する。
他の実施形態について、図1、図11、図13および図16〜図18を参照して説明する。
本実施形態の場合、構成は一実施形態の場合と同じであるが、図1の個別類似性演算手段36、総合類似性演算手段37により、つぎに説明する内積演算を行なって、絞り込んだ候補領域βの消失点(FOE)の画素を決定して消失点(FOE)を検出する。
[内積演算]
一実施形態の外積演算の場合と同様、領域決定手段34により消失点(FOE)の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段35は、フロー算出手段32により求められている候補領域βを除く各分割領域αのフローベクトルV(α)を次段の個別類似性演算手段36に渡す。
一実施形態の外積演算の場合と同様、領域決定手段34により消失点(FOE)の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段35は、フロー算出手段32により求められている候補領域βを除く各分割領域αのフローベクトルV(α)を次段の個別類似性演算手段36に渡す。
個別類似性演算手段36は、候補領域βの各画素(m×n)を順次に消失点候補画素Pとし、候補領域βの消失点候補画素P毎に、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbのベクトルと、各分割領域(算出対象領域)αのフローベクトルV(α)とについて単位ベクトルの内積を演算し、演算結果の内積値を、各分割領域(算出対象領域)αと消失点候補画素Pとを結ぶ線分Lbの向きと、各分割領域(算出対象領域)αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分LbおよびフローベクトルV(α)の座標値が既知であるので、それらの単位ベクトルは、外積演算の場合と同様、簡単な2行2列の行列式の座標の引き算と各座標までの長さから求められる。また、前記内積の演算は2つのベクトルの周知の積和演算と同様の演算により比較的簡単に求められる。
図16は分割領域α55が候補領域βである図11の場合の分割領域α11と消失点候補画素Pとを結ぶ線分Lbの単位ベクトルE(Lb)と、フローベクトルV(α11)の単位ベクトルE(α11)との内積(E(Lb)・E(α11))を示し、単位ベクトルE(Lb)、E(α11)が等しくなる程(似ている程)、内積値(E(Lb)・E(α11))は大きくなる。
図17は同じく分割領域α55が候補領域βの場合において、図13のように分割領域α28と消失点候補画素Pとを結ぶ線分Lbと、分割領域α28のフローベクトルV(α)の内積(E(Lb)・E(α28))を示し、この場合も、単位ベクトルE(Lb)、E(α18)が等しくなる程(似ている程)、内積値(E(Lb)・E(α28))は大きくなる。
総合類似性演算手段37は、消失点候補画素Pそれぞれにつき、あらたなペアの指標値としての内積演算の結果(内積)が得られる毎に、演算された内積値を当該消失点候補画素Pのそれまでの(過去の)類似性の度合いの総合値(内積値の和)sum_ipに追加(加算)して最新の総合値sum_ipを演算し、各消失点候補画素Pについて、各分割領域(算出対象領域)αの内積の総合値sum_ipを順次演算する。このとき、演算が終了した総合値sum_ipは、消失点(FOE)である確度が最も高い消失点候補画素Pのものが最も大きくなる。
そして、演算制御手段39は、各消失点候補画素Pの演算中の総合値sum_ipが、演算の終了した他の消失点候補画素Pの総合値sum_ipより消失点(FOE)である確度の低い値に確定するまでは、個別類似性演算手段36および総合類似性演算手段37の演算をくり返し、演算中の総合値sum_ipが他の消失点候補画素Pの総合値sum_ipより消失点(FOE)である確度が低い値に確定した時点で個別類似性演算手段36および総合類似性演算手段37の演算を終了するが、内積演算の場合、各消失点候補画素Pの総合値sumが消失点(FOE)である確度に比例して増加し、各消失点候補画素Pの総合値sum_ipは、それぞれ全ての分割領域(算出対象領域)αの線分Lbについての内積の演算が終了するまでは確定しないので、演算制御手段39は、全ての分割領域(算出対象領域)αの線分Lbについての内積の演算が終了する毎に、消失点候補画素Pを変えて個別類似性演算手段36および総合類似性演算手段37の演算をくり返すように制御する。
つぎに、消失点決定手段38は、総合類似性演算手段37が全ての消失点候補画素Pについて総合値sum_ipの演算を終了すると、それらの演算結果から消失点(FOE)である確度が最も高い消失点候補画素Pを消失点(FOE)に決定する。すなわち、内積演算の場合、全ての消失点候補画素Pについての総合値sum_ipから最も大きな総合値sum_ipを選択し、選択した総合値sum_ipの消失点候補画素Pを消失点(FOE)に決定する。
図18は候補領域βから内積の演算で消失点(FOE)を決定する処理手順例を示し、フロー算出手段35からのフローベクトルV(α)に基づき、個別類似性演算手段36は、候補領域βの演算対象の消失点候補画素Pを設定すると(ステップR1)、その消失点候補画素Pについて他の分割領域αに対する線分Lbの単位ベクトルE(Lb)、他の分割領域αのフローベクトルV(α)の単位ベクトルE(αij)を求め(ステップR2、R3)、それらの内積を演算して総合類似性演算手段37により総合値sum_ipを求める(ステップR4)。そして、全ての消失点候補画素Pについて総合値sum_ipを演算すると(ステップR5)、消出点決定手段38により、総合値sum_ipが最も大きい消失点候補画素Pを消失点(FOE)に決定する(ステップR6)。
そして、本発明は上記した両実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、候補領域βの決定は、前記した投票方式の多数決処理以外の方法で行なってもよい。
また、候補領域βの消失点(FOE)の画素検出は、前記した内積演算、外積演算以外の演算方法で行なってもよい。
つぎに、撮像装置2の撮影画像の画素数や縦横の比、各分割領域αの画素数や縦横の比(或いは形状)等はどのようであってもよいのは勿論である。また、撮像装置2は車両1の後方の周囲を撮影するものであってもよく、この場合、車両1の前進、後進とフローベクトルV(α)の向きが前記した両実施形態とは異なるが、それ以外は同様であり、前記した両実施形態と同様にして消失点(FOE)を求めることができる。さらに、撮像装置2は車両1の左右側の周囲を斜め前向きや斜め後ろ向きに撮影するものであってもよく、これらの場合も前記した両実施形態の場合と略同様にして消失点(FOE)を求めることができる。
また、処理装置2等の構成や処理手順等が前記両実施形態と異なっていてもよいのも勿論である。
そして、本発明は、種々の車両の安全運転支援装置等の画像処理装置に適用することができる。
1 車両
2 撮像装置
31 画面分割手段
32 フロー算出手段
33 延長手段
34 領域決定手段
α 分割領域
β 候補領域
La 延長線
2 撮像装置
31 画面分割手段
32 フロー算出手段
33 延長手段
34 領域決定手段
α 分割領域
β 候補領域
La 延長線
Claims (1)
- 車両に搭載された撮像装置と、
前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、
前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、
前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、
前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、
演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値になるまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値になった時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、
前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009199293A JP2011053732A (ja) | 2009-08-31 | 2009-08-31 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009199293A JP2011053732A (ja) | 2009-08-31 | 2009-08-31 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011053732A true JP2011053732A (ja) | 2011-03-17 |
Family
ID=43942704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009199293A Withdrawn JP2011053732A (ja) | 2009-08-31 | 2009-08-31 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011053732A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014067276A (ja) * | 2012-09-26 | 2014-04-17 | Fuji Heavy Ind Ltd | 車両の衝突判定装置 |
JP2019032588A (ja) * | 2017-08-04 | 2019-02-28 | セコム株式会社 | 画像解析装置 |
WO2019146514A1 (ja) * | 2018-01-24 | 2019-08-01 | 株式会社小糸製作所 | 車載カメラシステム、車両用灯具、遠方の検出方法、車両用灯具の制御方法 |
-
2009
- 2009-08-31 JP JP2009199293A patent/JP2011053732A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014067276A (ja) * | 2012-09-26 | 2014-04-17 | Fuji Heavy Ind Ltd | 車両の衝突判定装置 |
JP2019032588A (ja) * | 2017-08-04 | 2019-02-28 | セコム株式会社 | 画像解析装置 |
JP7005213B2 (ja) | 2017-08-04 | 2022-01-21 | セコム株式会社 | 画像解析装置 |
WO2019146514A1 (ja) * | 2018-01-24 | 2019-08-01 | 株式会社小糸製作所 | 車載カメラシステム、車両用灯具、遠方の検出方法、車両用灯具の制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
JP6014440B2 (ja) | 移動物体認識装置 | |
JP6950170B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム | |
WO2014073322A1 (ja) | 物体検出装置及び物体検出方法 | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP5752618B2 (ja) | ステレオ視差算出装置 | |
JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
WO2014002692A1 (ja) | ステレオカメラ | |
US10776649B2 (en) | Method and apparatus for monitoring region around vehicle | |
JP6384802B2 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP6384803B2 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP2011053732A (ja) | 画像処理装置 | |
JP2010003253A (ja) | 運動推定装置 | |
JP2011053731A (ja) | 画像処理装置 | |
JP6833259B2 (ja) | 物体検知支援装置 | |
JP7064400B2 (ja) | 物体検知装置 | |
JP2010286985A (ja) | 物体検出装置および物体検出方法 | |
JP2005301892A (ja) | 複数のカメラによるレーン認識装置 | |
JP5472137B2 (ja) | 境界検出装置、および境界検出プログラム | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP2003271968A (ja) | 移動体検出装置および移動体検出方法 | |
KR20150042417A (ko) | 촬영부를 이용한 차선검출방법 및 차선검출시스템 | |
WO2023017635A1 (ja) | 演算装置、監視システム、視差算出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121106 |