JP2010056975A - リアカメラによる物体検知方式 - Google Patents

Abstract

【課題】リアカメラで撮影した画像で車両に近接している立体物や移動物体等の危険物体を検出して警告するに際して、画像処理負担が少なく、しかも撮影画像中に危険物体をわかりやすく大きく表示することができる「リアカメラによる物体検知方式」とする。
【解決手段】車両の後方を撮影するリアカメラの撮影画像を取り込み、車両に近接している近接領域の画像を平面投影処理し、異なる時刻の２個の平面投影画像の差分画像から危険物体を検出する。また、撮影画像について近接領域の周辺の領域である周辺領域の画像をエッジ処理して周辺領域の物体の画像を検出する。近接領域で検出した物体の座標から周辺領域での対応する物体を特定し、両物体の結合した画像を拡大テンプレートとして更新しながら記憶する。また、カメラ撮影画像には、その物体に対応する画像全体を危険物として大きく警告表示する。
【選択図】図１

Description

本発明は、車両の後方を撮影するカメラによる映像により、立体物や移動物体等の物体を容易に、かつ確実に検知し、警告を発することができるようにしたリアカメラによる物体検知方式に関する。

車両は運転者が車両の前方に座って運転しているので、車両の前方には充分注意しながら容易に走行することができる。しかしながら車両の後方はきわめて視界が悪く、多くのミラーによっても十分にその視界を補うことはできない。そのため車両の後方を撮影するリアカメラを搭載して、車両が後退するときにはそのカメラを起動し、撮影映像をモニタに表示できるようにしている。

このようなリアカメラは１つのカメラによりできる限り広い範囲を撮影することが望まれるため、超広角レンズを用いることが多い。したがってその撮影画像は撮影画角中心から周囲にいくにしたがって大きく歪んだ画像とならざるを得ず、これをモニタ画面に表示すると撮影した車両の周囲の画像は実際の状態とは大きく異なるため見にくくなり、そのため撮影画像にある程度の補正処理を行うこともあるが、それでも見にくい画面となっている。

そのため、単にカメラの撮影が像を表示するだけではなく、車両の後方においてその車両の走行に支障のある立体物を検出する技術が開発され、立体物の検出時には警告表示或いは警報を発する技術も開発されている。特にその立体物が人間であるときにはきわめて危険であるので、その立体物が移動するときには、例えば車両が後退時にほとんど停止しているような状態でもその移動している人間を検出して警告を発するようにすることも提案されている。

また、車両の後方を撮影するカメラとして、撮影視点を２個設けることにより、両視点での撮影映像を処理することによって立体映像を作成し、それにより車両の後方に存在する立体物を検出する手法も試みられている。しかしながらこの手法は立体画像の作成に多くの処理を必要とし、一般的に用いられるＣＰＵでは処理が重すぎ、リアルタイム性に乏しくなり、高性能のＣＰＵを用いると高価になってしまい、更にステレオカメラ自体も高価な物となる。

それに対して、例えば特開平１０−２２２６７９号公報（特許文献１）に開示されているような時系列差分画像による認識処理を行う技術が提案されている。即ちこの技術においては、車外撮影カメラで得られた道路上の物体が平面物か立体物かを識別するに際して、時刻Ｔ０で得られた画像と車両の走行状態から、画像内の物体が道路上の線や表示等の平面物であると仮定した場合において時刻Ｔ１で得られるであろう位置を算出し、実際に時刻Ｔ１で得られた画像と比較する。その結果両者が一致すれば平面物であると判定し、一致しない場合には立体物であると判別し、そのずれの量から立体物の高さを算出する技術である。
特開平１０−２２２６７９号公報

上記のように車両に搭載して車両の後方を撮影するリアカメラの撮影画像を時系列差分画像を用いる技術によって立体物を検出する処理は軽い一方、車両が移動した場合に３次元画像を正確に位置合わせを行うことは困難であり、更にその撮影画像を利用者が見たときに、自車両と立体物との距離感が直感的に理解しにくい、という問題もある。その対策として、例えば図８に示すような技術の開発が進められている。即ち、車両Ｃが時刻Ｔ０の時の図８（ａ）から、時刻Ｔ１の時の同図（ｂ）のように方向を変化させながら後退するとき、リアカメラによる撮影画像領域がＧ１からＧ２のように変化する際には、前記のような時系列差分画像処理を行うことができる範囲は、同図（ｃ）のように両撮影画像領域が重なっている重複撮影画像領域Ｇ３の範囲に限られる。したがってこの重複撮影画像領域Ｇ３において立体物の検出処理が行われることとなる。

その際には、例えば図８（ｄ）に示すようなリアカメラの撮影画像が得られているときにおいて、車両の周辺に特に立体物の検出処理を必要とする近接領域を区画する領域線Ｒを設定し、その中を近接領域Ｒａとするとき、この近接領域Ｒａについてこの領域内で前記のような時系列差分画像に基づいて立体物の検出処理を行う。なお、図８（ａ）〜（ｃ）においては車両の移動による時系列差分画像を得る場合を説明したが、同図（ｄ）では図面での説明の都合上車両が後退しようとして停止しているときに車両に近接して人間が移動している状態のリアカメラ撮影画像の例を示している。以降同様の趣旨でリアカメラの撮影画像例を示している。

図８（ｄ）のリアカメラ撮影画像例においては広角レンズによる撮影画像を補正して、ほぼ理想的な画像とした例を示しており、その画像の中で歩行者Ｈが車両に近接して歩いている状態が映し出されている。この歩行者Ｈの歩行位置はこれから車両が駐車しようとしている駐車領域内であり、このまま急速に後退すると歩行者に傷害を与える可能性がある。なお、図８（ｄ）の画像例中において、駐車領域において一点鎖線で示している線は、従来からリアカメラ撮影画像表示において表示している、車両が後退するときの走行範囲の目安を示す走行目安線Ｓであり、その走行範囲において、歩行者等の立体物が車両に接近している程度により、きわめて接近している範囲を示す第１危険ラインＬ１、ある程度接近していることを示す第２危険ラインＬ２を、実際には表示色を異ならせる等によって表示している。

図８（ｄ）の画像例における歩行者Ｈは、走行目安線Ｓ内において、第２危険ラインＬ２上を歩行しているため、この撮影画像に基づいて警告表示、或いはそれと共に警告音等を出力することが好ましい。そのための処理として、従来提案されている技術においては、前記近接領域Ｒａに平面投影を施し、この部分で時系列差分画像処理を行い、その差分データから歩行者を検出することとなる。

そのため、車両に接近して歩行している歩行者Ｈのように撮影画面中で特に高い物体は、本来は大きく表示されるにもかかわらず、前記平面投影処理を行う範囲では歩行者の足下部分しか平面投影処理を行う範囲に入っていない。そのため図８（ｅ）の平面視画像処理例の歩行者Ｈに示すように、歩行者の足の部分しか移動物体、或いは立体物の検出が行われず、そのためモニタに映し出せれるリアカメラ撮影画像においては、同図（ｄ）のように、歩行者Ｈの足の部分に危険物体を示す警告枠Ｋが示されるだけとなる。

そのため、これを見た運転者は画面中では警告枠が小さ過ぎて一見しただけではわからないことがあり、また、この足の部分が特に平面投影処理を行う近接領域Ｒａから外に出たときには、全く検出されることはないため、本来はリアカメラ撮影画像中で十分大きく表示されうる先に危険だった歩行者の状態を、運転者に参考情報として示すことはできなくなる。

したがって本発明は、前記従来技術におけるリアカメラによって車両後方を撮影した画像により、時系列差分画像処理によって車両に近接している立体物や移動物体等の危険物体を検出して警告するに際して、画像処理負担が少なく、したがって処理速度が速く、しかも撮影画像中に危険物体をわかりやすく表示し、車両からある程度離れてもその物体の状態を明示することができるようにしたリアカメラによる物体検知方式を提供することを主たる目的とする。

本発明に係るリアカメラによる物体検知方式は、前記課題を解決するため、車両の後方を撮影するカメラの撮影画像を取り込み、車両に近接している近接領域の画像を平面投影処理する近接領域内平面投影画像形成処理部と、異なる時刻において前記近接領域内平面投影画像形成処理部で得られた２個の平面投影画像の差分画像から物体の画像を検出する近接領域内物体検出部と、前記撮影画像について少なくとも前記近接領域の周辺の領域である周辺領域の画像をエッジ処理するエッジ処理部と、前記エッジ処理部で処理した画像により、前記周辺領域の物体の画像を検出する周辺領域内物体検出部と、前記周辺領域内物体検出部で検出した物体の画像に、前記近接領域内物体検出部で検出した物体に対応した画像が存在するとき、前記近接領域の物体と前記周辺領域の物体の両物体の画像を結合した画像をテンプレートとするテンプレート形成部と、前記カメラの撮影画像における前記テンプレートに対応する画像に対して識別可能な印を付与する画像表示部とを備えたことを特徴とする。

また、本発明に係る他のリアカメラによる物体検知方式は、前記リアカメラによる物体検知方式において、前記テンプレートと同様の画像が前記カメラの撮影画像に存在するか否かを検出するマッチング処理部を備え、前記マッチング処理部により前記テンプレートと同様の画像が存在することを検出したとき、近接領域内物体検出部で物体を検出しているか否かにかかわらず、当該画像に対して識別可能な印を付与することを特徴とする。

また、本発明に係る他のリアカメラによる物体検知方式は、前記リアカメラによる物体検知方式において、前記周辺領域物体検出部は、前記近接領域内物体検出部で検出した物体の画面上の座標により、前記エッジ処理部で処理した画像の中から、前記近接領域内物体検出部で検出した物体に対応する物体を検出することを特徴とする。

また、本発明に係る他のリアカメラによる物体検知方式は、前記リアカメラによる物体検知方式において、前記近接領域内で検出した物体が車両に近接した所定範囲内に存在するとき、警告表示または警報を出力することを特徴とする。

本発明は上記のように構成したので、リアカメラによって車両後方を撮影した画像により車両に近接している立体物や移動物体等の危険物体を検出して警告するに際して、画像処理負担が少なく、したがって処理速度が速く、しかも撮影画像中に危険物体をわかりやすく大きく表示することができる。また、危険物体がその後車両からある程度離れても、その物体の状態を明示することができ、より安全なリアカメラによる物体検知方式とすることができる。

リアカメラによって車両後方を撮影した画像により車両に近接している立体物や移動物体等の危険物体を検出して警告するに際して、画像処理負担が少なく、しかも撮影画像中に危険物体をわかりやすく表示するという目的を、車両の後方を撮影するカメラの撮影画像を取り込み、車両に近接している近接領域の画像を平面投影処理する近接領域内平面投影画像形成処理部と、異なる時刻において前記近接領域内平面投影画像形成処理部で得られた２個の平面投影画像の差分画像から物体の画像を検出する近接領域内物体検出部と、前記撮影画像について少なくとも前記近接領域の周辺の領域である周辺領域の画像をエッジ処理するエッジ処理部と、前記エッジ処理部で処理した画像により、前記周辺領域の物体の画像を検出する周辺領域内物体検出部と、前記周辺領域内物体検出部で検出した物体の画像に、前記近接領域内物体検出部で検出した物体に対応した画像が存在するとき、前記近接領域の物体と前記周辺領域の物体の両物体の画像を結合した画像をテンプレートとするテンプレート形成部と、前記カメラの撮影画像における前記テンプレートに対応する画像に対して識別可能な印を付与する画像表示部とを備えることにより実現した。

本発明の実施例を図面に沿って説明する。図１は本発明を実施する機能ブロック図であり、同図に示す実施例においてはカメラ撮影画像取込部１からリアカメラの撮影画像を取り込み、その後の各種画像処理に使用できるようにしている。画面領域分割設定部２は、例えば前記図８の従来技術と同様に、また図３（ａ）に示すように、リアカメラ撮影画像全体のうち、特に車両の後退に際して重要な位置である車両後方で車両近傍の領域であって、その後この領域を平面投影画像処理を行う近接領域（Ｉ）Ｒａと、それ以外の領域部分である周辺領域Ｒｂとを設定する。この設定は予め前記のような領域を任意に設定しておく。

近接領域内平面投影画像形成処理部３では、カメラ撮影画像取込部１で取り込んだ画像により、前記画面領域分割設定部２で設定している近接領域の部分の画像について、平面投影画像を形成する処理を行う。第１画像記憶部４では、近接領域内平面投影画像形成処理部３で得た時刻Ｔ０における平面投影画像を記憶する。また、第２画像記憶部５では、その後の時刻Ｔ０＋Δｔの時刻であるＴ１におけるカメラ撮影画像を取り込み、その画像についても同様の近接領域での平面投影画像を記憶する。その後、後述する処理が行われてこれらの画像を使用した後は、第２画像記憶部５に記憶していたデータを第１画像記憶部４に移し、その後の時刻Ｔ２における平面投影画像を第２画像記憶部５に順に記憶する。

近接領域内画像差分抽出部６では、第１画像記憶部４に記憶している最初の時刻における平面投影画像と、第２画像記憶部５に記憶している次の時刻における平面投影画像とを比較し、両画像の差分を抽出する。このとき、例えば車両が後退して移動している場合には、図８（ａ）〜（ｃ）に説明したような移動前の画像と移動後の画像との重なる部分における近接領域で差分抽出を行い、それによって立体物及び移動物体の差分抽出が行われる。それに対して車両が移動していないときには、撮影画像の領域が変化していないので全ての近接領域の画像部分が対象となり、その際には移動物体のみ差分検出がなされることとなる。

近接領域内物体検出部７においては、前記近接領域内画像差分抽出部６で抽出した差分データに基づき、前記のような立体物や移動物体の検出を行う。このときの処理は前記従来例とほぼ同様の処理が行われ、図４（ａ）に示すような時刻Ｔ０の時の第１画像Ｇ１と、同図（ｂ）に示すような時刻Ｔ１の時の第２画像Ｇ２との差分を抽出し、同図（ｃ）で黒枠で示すような平面投影差分画像Ｇ３が得られ、その画像の中で、歩行者Ｈの画像の一部である物体画像Ｂが得られる。その結果同図（ｂ）の画面中に枠で示す部分が従来と同様に検出された物体部分となる。

エッジ処理部８においては、カメラ撮影画像取込部１で取り込んだ画像について、画像のエッジ部分を検出するエッジ処理を行う。このときの処理は画面全体に行っても良いが、周辺領域部分のみについて行っても良い。このときの処理の態様は図５に示しており、同図（ａ）には時刻Ｔ０の画像についてエッジ処理を施した結果、歩行者Ｈの輪郭であるエッジＥ１が検出されている状態を示している。このとき、特に物体検出の注目する領域として、同図に示すように周辺領域Ｒｂでのエッジ検出部分が処理の注目部分Ｃ１とされる。また、図５（ｂ）には時刻Ｔ１の画像についてエッジ処理を施した結果、同様にして歩行者Ｈの輪郭であるエッジＥ２が検出された状態を示しており、このときに先の注目領域との関連で、注目領域Ｃ２が設定可能であり、重点的なエッジ検出による物体検出処理が行われる。

周辺領域内物体検出部９では、エッジ処理部８で検出したエッジ画像に基づき、画面領域分割設定部２で設定した周辺領域について、その領域内に物体が存在するか否かを判別する。図５の例においては特に同図（ｂ）のエッジ画像により、同図（ｃ）に示すような、周辺領域における物体と思われる画像のエッジＥ３を識別することができた状態を示している。ここではエッジ処理による物体識別がほぼ確実に行われたことにより、注目領域Ｃ３は狭めることができる。

同一物体有無判別部１０では、周辺領域内物体検出部９で検出したエッジ画像による各種物体と思われる物が、近接領域内物体検出部７で前記のようにして物体を検出したときに、その検出物体の画面内での座標を取得し、その座標位置に相当する周辺領域部分に物体と思われるエッジがほぼ連続して存在しているとき、同一物体であると判別する処理を行う。

テンプレート画像処理部１１では画面中の注目すべき物体をテンプレートとして扱う処理を行う。その中のテンプレート形成部１２では、特に同一物体有無判別部１０で近接領域で検出した物体と、周辺領域内物体検出部９でエッジ画面により物体として判別した物体とが同一物体であると判別したとき、両領域においてそれらの物体全体について特に注目する物体としてテンプレート化する処理を行う。それにより前記図４（ｂ）と同様の図を示す図６（ａ）のように差分画像Ｇ３が得られているとき、この部分の物体の画像を、同図（ｂ）に示すように仮テンプレートＰ’とする処理が行われる。

テンプレート形成部１２におけるテンプレート拡大処理部１３においては、図６（ｂ）のようにして得られた仮テンプレートＰ’と、同一物体有無判別部１０で同一物体の画像が存在すると判別した周辺領域Ｒｂ内のエッジ処理による物体画像とを結合することにより、図６（ｄ）のようにテンプレートの拡大処理を行い、これを最終的なテンプレートＰとする。テンプレート記憶部１４ではこのようにして得られたテンプレートの画像データを記憶する。このテンプレート記憶部１４に記憶されるテンプレートは、車両の移動、或いは物体の移動等によって時々刻々変化する。

テンプレート画像処理部１１におけるマッチング処理部１５では、テンプレート記憶部に記憶した最新のテンプレート画像データに基づき、特に立体物検出の基本データとなる近接領域での平面投影画像が得られなくなったとき、リアカメラの撮影画像全体の中で同様の画像が存在するかを検索するため、画像のマッチング処理を行う。それにより、例えば図７に示すように、近接領域Ｒａから歩行者Ｈが立ち去っている状態でも、テンプレートＰに基づいたマッチング処理がなされ、同図に示すように歩行者Ｈに対して未だ十分注意を要することを示す警告表示を行うことができる。

前記のような機能ブロックからなる本発明においては、例えば図２に示す作動フローにしたがって順に作動させることができる。図２に示すリアカメラ画像処理の例においては、最初リアカメラからの画像を取得し（ステップＳ１）、その後の第１の処理として、近接領域内での平面投影処理を行う（ステップＳ２）。なお、このときリアカメラの撮影画像全体について平面投影処理を行うことも可能であるが、処理負担の軽減のために近接領域内での平面投影を行うことが好ましい。

その後時刻Ｔ０とＴ１での撮影画像による平面投影画像によって差分処理を行う（ステップＳ３）。これらの処理は図１の近接領域内画像差分抽出部６において、前記のような作動によって行う。次いでこの差分データに基づき物体の検出を行い、物体が検出されたか否かを判別する（ステップＳ４）。

一方、前記ステップＳ１において画像の取得を行った後の第２の処理として、エッジ処理を行い（ステップＳ９）、その処理データに基づき、前記ステップＳ４で物体の検出がなされた後の処理としての、周辺領域の物体の判別を行う。この処理は図１の周辺領域内物体検出部９で、エッジ処理部８のデータを用い、また近接領域内物体検出部７で検出した物体の座標を用いて行われる。その後ステップＳ４において近接領域で検出された物体に対応する物体画像が、ステップＳ５で判断された周辺領域の物体の中に存在するか否かを判別する。

ここでは前記のように図１の同一物体有無判別部１０において行われる処理により判別を行い、ここで同一物体があると判別したときには、ステップＳ８でテンプレートの拡大処理を行い、その後テンプレートの更新処理を行う（ステップＳ７）。また、ステップＳ６で同一物体がないと判別したときには、車両の移動や物体の移動によって変化するテンプレートの更新を行う（ステップＳ７）。

前記ステップＳ４において近接領域において差分データから物体を検出しないときには、その後テンプレートは現在存在するか否かを判別し（ステップＳ１０）、テンプレートが存在するときには周辺領域の画像に対してマッチング処理を行い（ステップＳ１１）、マッチングする物体が存在するときにはその画像に識別しやすい表示を行う。また、前記のようなステップＳ７の処理の後、及びステップＳ１１の処理の後、及びステップＳ１０においてテンプレートが存在しないと判別したときには、ステップＳ１に戻って前記作動を繰り返す。これらのテンプレートに関連する処理は、図１のテンプレート画像処理部１１の各機能部によって、前記のようにして行う。

本発明の実施例の機能ブロック図である。 本発明の実施例の作動フロー図である。 カメラ撮影画像を近接領域と周辺領域に分割する例を示す図である。 近接領域の画像の平面投影処理により物体を検出する例を示す図である。 カメラ撮影画像のでエッジ処理と物体検出の例を示す図である。 テンプレート処理の例を示す図である。 テンプレートマッチング処理による物体識別例を示す図である。 従来の平面投影処理による差分画像抽出例を示す図である。

符号の説明

１ カメラ撮影画像取込部
２ 画面領域分割設定部
３ 近接領域内平面投影画像形成処理部
４ 第１画像記憶部
５ 第２画像記憶部
６ 近接領域内画像差分抽出部
７ 近接領域内物体検出部
８ エッジ処理部
９ 周辺領域内物体検出部
１０ 同一物体有無判別部
１１ テンプレート画像処理部
１２ テンプレート形成部
１３ テンプレート拡大処理部
１４ テンプレート記憶部
１５ マッチング処理部
１６ 画像表示部
１７ 警告出力部

Claims (4)

1. 車両の後方を撮影するカメラの撮影画像を取り込み、車両に近接している近接領域の画像を平面投影処理する近接領域内平面投影画像形成処理部と、
   異なる時刻において前記近接領域内平面投影画像形成処理部で得られた２個の平面投影画像の差分画像から物体の画像を検出する近接領域内物体検出部と、
   前記撮影画像について少なくとも前記近接領域の周辺の領域である周辺領域の画像をエッジ処理するエッジ処理部と、
   前記エッジ処理部で処理した画像により、前記周辺領域の物体の画像を検出する周辺領域内物体検出部と、
   前記周辺領域内物体検出部で検出した物体の画像に、前記近接領域内物体検出部で検出した物体に対応した画像が存在するとき、前記近接領域の検出物体と前記周辺領域の検出物体の両物体の画像を結合した画像をテンプレートとするテンプレート形成部と、
   前記カメラの撮影画像における前記テンプレートに対応する画像に対して識別可能な印を付与する画像表示部とを備えたことを特徴とするリアカメラによる物体検知方式。
2. 前記テンプレートと同様の画像が前記カメラの撮影画像に存在するか否かを検出するマッチング処理部を備え、
   前記マッチング処理部により前記テンプレートと同様の画像が存在することを検出したとき、近接領域内物体検出部で物体を検出しているか否かにかかわらず、当該画像に対して識別可能な印を付与することを特徴とする請求項１記載のリアカメラによる物体検知方式。
3. 前記周辺領域物体検出部は、前記近接領域内物体検出部で検出した物体の画面上の座標により、前記エッジ処理部で処理した画像の中から、前記近接領域内物体検出部で検出した物体に対応する物体を検出することを特徴とする請求項１記載のリアカメラによる物体検知方式。
4. 前記近接領域内で検出した物体が車両に近接した所定範囲内に存在するとき、警告表示または警報を出力することを特徴とする請求項１記載のリアカメラによる物体検知方式。

Images