JP2020030466A - 物体検知装置 - Google Patents

Abstract

【課題】自車両の周囲に存在する物体を、より良好に検知する。【解決手段】物体検知装置（２０）は、画像情報取得部（２７１）と特徴点抽出部（２７３）と点群抽出部（２７５）と障害物検知部（２７７）とを備える。画像情報取得部は、自車両（１０）の周囲の撮影画像に対応する画像情報を取得する。特徴点抽出部は、取得した画像情報に基づいて、撮影画像における特徴点（ＦＰ）を抽出する。点群抽出部は、特徴点の抽出結果から、所定条件で配列する複数の特徴点からなる点群（Ｇ）を抽出する。測距情報取得部は、測距センサ（２２）により測定された測距点（ＤＰ）との距離に対応する測距情報を取得する。障害物検知部は、第一点群（Ｇ１）および第二点群（Ｇ２）と測距点とが、撮影画像中にて所定位置関係にある場合に、第一点群と第二点群との間の領域を障害物として検知する。【選択図】図２

Description

本発明は、自車両に搭載されることで、当該自車両の周囲に存在する物体を検知するように構成された、物体検知装置に関する。

この種の装置として、例えば、特許文献１に記載されたものが知られている。特許文献１に記載の装置は、カメラの撮影画像と自車両の挙動とを利用して、周囲の障害物等の物体の三次元位置を検出する。具体的には、この装置は、まず、現在時刻のカメラの撮影画像と、この撮影画像の直前に撮像された撮影画像とを取得する。次に、この装置は、２つの撮影画像中において複数の特徴点をそれぞれ抽出し、各特徴点について複数の撮影画像間での対応付けを行う。その後、この装置は、撮影画像間での特徴点の移動量と、移動体移動量とに基づいて、特徴点の実空間での三次元位置を推定する。

特開２０１４−１４２２４１号公報

例えば、自車両と物体との相対移動方向とカメラの撮影方向とがほぼ一致し、且つ、当該物体がカメラの正面に位置する状況があり得る。このような状況においては、三次元位置を推定するために必要な、充分な視差が得られ難い。特に、当該物体が、上下方向に延設された細長いポール状の障害物である場合に、かかる問題が顕著に生じる。この場合、車両走行に伴う当該物体とカメラとの相対移動の前後で、当該物体の撮影画像中での状態変化が小さいためである。

本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、例えば、本発明は、自車両の周囲に存在する物体を、より良好に検知することが可能な構成を提供する。

請求項１に記載の物体検知装置（２０）は、自車両（１０）に搭載されることで、当該自車両の周囲に存在する物体（Ｂ）を検知するように構成されている。
この物体検知装置は、
前記自車両の周囲の撮影画像に対応する画像情報を取得する、画像情報取得部（２７１）と、
前記画像情報取得部にて取得した前記画像情報に基づいて、前記撮影画像における特徴点（ＦＰ）を抽出する、特徴点抽出部（２７３）と、
前記特徴点抽出部による前記特徴点の抽出結果から、所定条件で配列する複数の前記特徴点からなる点群（Ｇ）を抽出する、点群抽出部（２７５）と、
測距センサ（２２）により測定された測距点（ＤＰ）との距離に対応する測距情報を取得する、測距情報取得部（２７６）と、
前記点群抽出部によって抽出された２個の前記点群である第一点群（Ｇ１）および第二点群（Ｇ２）と、前記測距情報取得部によって取得された前記測距情報に対応する前記測距点とが、前記撮影画像中にて所定位置関係にある場合に、前記第一点群と前記第二点群との間の領域を障害物として検知する、障害物検知部（２７７）と、
を備えている。

上記構成において、前記画像情報取得部は、前記自車両の周囲の撮影画像に対応する前記画像情報を取得する。前記特徴点抽出部は、前記画像情報取得部にて取得した前記画像情報に基づいて、前記撮影画像における前記特徴点を抽出する。周知の通り、前記特徴点の三次元位置は、視点の異なる複数の前記撮影画像に基づいて、視差演算により取得することが可能である。

しかしながら、上記の通り、前記特徴点の三次元位置を取得あるいは推定するために必要な、充分な視差が得られ難い状況が発生し得る。このような状況においては、視差演算が困難となるため、前記特徴点の前記三次元位置が取得困難となる。すると、当該特徴点に対応する、前記自車両の周囲の前記障害物を検知することが困難となる。

この点、例えば、充分な視差が得られないために前記三次元位置が取得されなかった複数の前記特徴点とほぼ同一の方位にて、前記測距情報が取得された場合、当該測距情報に対応する位置には前記物体が存在する可能性が高い。この場合、前記測距情報取得部により前記物体との距離に対応する前記測距情報が取得され、且つ、取得された前記測距情報に対応する前記測距点の近傍にて複数の前記特徴点が所定の態様で配列する。

そこで、上記構成においては、前記点群抽出部は、前記特徴点抽出部による前記特徴点の前記抽出結果から、前記所定条件で配列する複数の前記特徴点からなる前記点群を抽出する。前記測距情報取得部は、前記測距センサにより測定された前記測距点との距離に対応する前記測距情報を取得する。前記障害物検知部は、前記点群抽出部によって抽出された２個の前記点群である前記第一点群および前記第二点群と、前記測距情報取得部によって取得された前記測距情報に対応する前記測距点とが、前記撮影画像中にて前記所定位置関係にある場合に、前記第一点群と前記第二点群との間の領域を前記障害物として検知する。

上記構成においては、前記所定条件で配列する前記第一点群および前記第二点群が抽出され、且つ、前記第一点群および前記第二点群と前記測距点とが前記撮影画像中にて所定位置関係にある場合に、前記第一点群と前記第二点群との間の領域を前記障害物として検知することができる。したがって、上記構成によれば、前記自車両の周囲に存在する前記物体を、より良好に検知することが可能となる。

なお、出願書類中の各欄において、各要素に括弧付きの参照符号が付されている場合がある。この場合、参照符号は、単に、同要素と後述する実施形態に記載の具体的構成との対応関係の一例を示すものである。よって、本発明は、参照符号の記載によって、何ら限定されるものではない。

実施形態に係る物体検知装置を搭載した車両の概略構成を示す平面図である。 図１に示された物体検知装置の概略的な機能構成を示すブロック図である。 図２に示された物体検知装置の動作概要を示す概念図である。 図２に示された物体検知装置の第一の動作例を示すフローチャートである。 図２に示された物体検知装置の第一の動作例を示すフローチャートである。 図２に示された物体検知装置の第二の動作例を示すフローチャートである。

（実施形態）
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。

（車両の全体構成）
図１を参照すると、車両１０は、いわゆる四輪自動車であって、平面視にて略矩形状の車体１１を備えている。以下、車両１０の車幅方向における中心を通り、且つ車両１０における車両全長方向と平行な仮想直線を、車両中心軸線Ｘと称する。図１において、車幅方向は図中左右方向である。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両１０の車高を規定する方向であって、車両１０を水平面に載置した場合の重力作用方向と平行な方向である。さらに、走行により車両１０が移動可能な、車高方向と直交する任意の方向を、車両１０の「並進方向」と称することがある。

説明の便宜上、車両１０における「前」「後」「左」「右」を、図１中にて矢印で示された通りに定義する。すなわち、車両全長方向は、前後方向と同義である。また、車幅方向は、左右方向と同義である。なお、車高方向は、車両１０の載置条件または走行条件により、重力作用方向と平行とはならない場合があり得る。もっとも、車高方向は多くの場合に重力作用方向に沿った方向となるため、車高方向と直交する「並進方向」は、「水平方向」、「面内方向」、「進入方向」、「進行方向」あるいは「進路方向」とも称され得る。

車体１１における前側の端部である前面部１２には、フロントバンパー１３が装着されている。車体１１における後側の端部である後面部１４には、リアバンパー１５が装着されている。車体１１における側面部１６には、ドアパネル１７が装着されている。図１に示す具体例においては、左右にそれぞれ２枚ずつ、合計４枚のドアパネル１７が設けられている。前側の左右一対のドアパネル１７のそれぞれには、ドアミラー１８が装着されている。

車両１０には、物体検知装置２０が搭載されている。物体検知装置２０は、車両１０に搭載されることで、当該車両１０の外側且つその周囲に存在する物体Ｂを検知するように構成されている。以下、物体検知装置２０を搭載した車両１０を、「自車両」と略称することがある。すなわち、物体検知装置２０は、自車両の並進方向に存在する物体Ｂを検知するように構成されている。

具体的には、物体検知装置２０は、撮像部２１と、ソナーセンサ２２と、レーダーセンサ２３と、車速センサ２４と、シフトポジションセンサ２５と、舵角センサ２６と、物体検知ＥＣＵ２７と、表示部２８と、音声出力部２９とを備えている。ＥＣＵはElectronic Control Unitの略である。以下、物体検知装置２０を構成する各部の詳細について説明する。なお、図示の簡略化のため、物体検知装置２０を構成する各部の間の電気接続関係は、図１においては省略されている。

撮像部２１は、自車両の周囲の画像を撮影して、撮影画像に対応する画像情報を生成および取得するように設けられている。本実施形態においては、撮像部２１は、デジタルカメラ装置であって、ＣＣＤ等のイメージセンサを備えている。ＣＣＤはCharge Coupled Deviceの略である。

本実施形態においては、車両１０には、複数の撮像部２１、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲが搭載されている。フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲのうちの、いずれかであることを特定しない場合に、以下、「撮像部２１」という単数形の表現、または「複数の撮像部２１」という表現が用いられることがある。

フロントカメラＣＦは、自車両の前方の画像に対応する画像情報を取得するように設けられている。具体的には、本実施形態においては、フロントカメラＣＦは、車両１０における車室内に配置された不図示のルームミラーに装着されている。

リアカメラＣＢは、自車両の後方の画像に対応する画像情報を取得するように、車体１１の後面部１４に装着されている。左側カメラＣＬは、自車両の左方の画像に対応する画像情報を取得するように、左側のドアミラー１８に装着されている。右側カメラＣＲは、自車両の右方の画像に対応する画像情報を取得するように、右側のドアミラー１８に装着されている。

複数の撮像部２１の各々は、物体検知ＥＣＵ２７に電気接続されている。すなわち、複数の撮像部２１の各々は、物体検知ＥＣＵ２７の制御下で画像情報を取得するとともに、取得した画像情報を物体検知ＥＣＵ２７にて受信可能に出力するようになっている。

ソナーセンサ２２は、物体Ｂ上の点との距離を測定する測距センサであって、車体１１に装着されている。すなわち、ソナーセンサ２２は、自車両の外側に向けて発信された探査波の、物体Ｂによる反射波を含む受信波を受信することで、物体Ｂとの距離に対応する信号を出力するように設けられている。具体的には、本実施形態においては、ソナーセンサ２２は、いわゆる超音波センサであって、超音波である探査波を自車両の外側に向けて発信するとともに、超音波を含む受信波を受信可能に構成されている。

物体検知装置２０は、少なくとも一個のソナーセンサ２２を備えている。具体的には、本実施形態においては、複数のソナーセンサ２２が設けられている。複数のソナーセンサ２２は、それぞれ、車両中心軸線Ｘから車幅方向におけるいずれか一方側にシフトして配置されている。また、複数のソナーセンサ２２のうちの少なくとも一部は、車両中心軸線Ｘと交差する方向に沿って探査波を発信するように設けられている。

具体的には、フロントバンパー１３には、ソナーセンサ２２としての、第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、および第四フロントソナーＳＦ４が装着されている。同様に、リアバンパー１５には、ソナーセンサ２２としての、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、および第四リアソナーＳＲ４が装着されている。また、車体１１の側面部１６には、ソナーセンサ２２としての、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４が装着されている。

第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、第四フロントソナーＳＦ４、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、第四リアソナーＳＲ４、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４のうちの、いずれかであることを特定しない場合に、以下、「ソナーセンサ２２」という単数形の表現、または「複数のソナーセンサ２２」という表現が用いられることがある。

或る一個のソナーセンサ２２を「第一ソナーセンサ」と称し、別の一個のソナーセンサ２２を「第二ソナーセンサ」と称して、「直接波」および「間接波」を、以下のように定義する。第一ソナーセンサに受信される受信波であって、第一ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「直接波」と称する。これに対し、第一ソナーセンサに受信される受信波であって、第二ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「間接波」と称する。

第一フロントソナーＳＦ１は、自車両の左前方に探査波を発信するように、フロントバンパー１３の前側表面における左端部に設けられている。第二フロントソナーＳＦ２は、自車両の右前方に探査波を発信するように、フロントバンパー１３の前側表面における右端部に設けられている。第一フロントソナーＳＦ１と第二フロントソナーＳＦ２とは、車両中心軸線Ｘを挟んで対称に配置されている。

第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、フロントバンパー１３の前側表面における中央寄りの位置にて、車幅方向に配列されている。第三フロントソナーＳＦ３は、自車両の略前方に探査波を発信するように、車幅方向について第一フロントソナーＳＦ１と車両中心軸線Ｘとの間に配置されている。第四フロントソナーＳＦ４は、自車両の略前方に探査波を発信するように、車幅方向について第二フロントソナーＳＦ２と車両中心軸線Ｘとの間に配置されている。第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、車両中心軸線Ｘを挟んで対称に配置されている。

上記の通り、車体１１の左側に装着された第一フロントソナーＳＦ１および第三フロントソナーＳＦ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一フロントソナーＳＦ１と第三フロントソナーＳＦ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

すなわち、第一フロントソナーＳＦ１は、自己が発信した探査波に対応する直接波と、第三フロントソナーＳＦ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三フロントソナーＳＦ３は、自己が発信した探査波に対応する直接波と、第一フロントソナーＳＦ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

同様に、車体１１の車幅方向における中央寄りに装着された第三フロントソナーＳＦ３および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

同様に、車体１１の右側に装着された第二フロントソナーＳＦ２および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二フロントソナーＳＦ２と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

第一リアソナーＳＲ１は、自車両の左後方に探査波を発信するように、リアバンパー１５の後側表面における左端部に設けられている。第二リアソナーＳＲ２は、自車両の右後方に探査波を発信するように、リアバンパー１５の後側表面における右端部に設けられている。第一リアソナーＳＲ１と第二リアソナーＳＲ２とは、車両中心軸線Ｘを挟んで対称に配置されている。

第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、リアバンパー１５の後側表面における中央寄りの位置にて、車幅方向に配列されている。第三リアソナーＳＲ３は、自車両の略後方に探査波を発信するように、車幅方向について第一リアソナーＳＲ１と車両中心軸線Ｘとの間に配置されている。第四リアソナーＳＲ４は、自車両の略後方に探査波を発信するように、車幅方向について第二リアソナーＳＲ２と車両中心軸線Ｘとの間に配置されている。第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、車両中心軸線Ｘを挟んで対称に配置されている。

上記の通り、車体１１の左側に装着された第一リアソナーＳＲ１および第三リアソナーＳＲ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一リアソナーＳＲ１と第三リアソナーＳＲ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

すなわち、第一リアソナーＳＲ１は、自己が発信した探査波に対応する直接波と、第三リアソナーＳＲ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三リアソナーＳＲ３は、自己が発信した探査波に対応する直接波と、第一リアソナーＳＲ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

同様に、車体１１の車幅方向における中央寄りに装着された第三リアソナーＳＲ３および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

同様に、車体１１の右側に装着された第二リアソナーＳＲ２および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二リアソナーＳＲ２と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、側面部１６の外側表面である車両側面から探査波を自車両の側方に発信するように設けられている。第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、それぞれ、直接波のみを受信可能に設けられている。

第一サイドソナーＳＳ１は、自車両の左方に探査波を発信するように、前後方向について左側のドアミラー１８と第一フロントソナーＳＦ１との間に配置されている。第二サイドソナーＳＳ２は、自車両の右方に探査波を発信するように、前後方向について右側のドアミラー１８と第二フロントソナーＳＦ２との間に配置されている。第一サイドソナーＳＳ１と第二サイドソナーＳＳ２とは、車両中心軸線Ｘを挟んで対称に設けられている。

第三サイドソナーＳＳ３は、自車両の左方に探査波を発信するように、前後方向について左後側のドアパネル１７と第一リアソナーＳＲ１との間に配置されている。第四サイドソナーＳＳ４は、自車両の右方に探査波を発信するように、前後方向について右後側のドアパネル１７と第二リアソナーＳＲ２との間に配置されている。第三サイドソナーＳＳ３と第四サイドソナーＳＳ４とは、車両中心軸線Ｘを挟んで対称に設けられている。

複数のソナーセンサ２２の各々は、物体検知ＥＣＵ２７に電気接続されている。すなわち、複数のソナーセンサ２２の各々は、物体検知ＥＣＵ２７の制御下で探査波を発信するとともに、受信波の受信結果に対応する信号を発生して物体検知ＥＣＵ２７にて受信可能に出力するようになっている。受信波の受信結果に対応する信号に含まれる情報を、以下「測距情報」と称する。測距情報には、受信波の受信強度に関連する情報、および、距離情報が含まれる。「距離情報」は、複数のソナーセンサ２２の各々と物体Ｂとの距離に関連する情報である。具体的には、例えば、距離情報には、探査波の発信から受信波の受信までの時間差に関連する情報が含まれる。

レーダーセンサ２３は、レーダー波を送受信するレーザーレーダーセンサまたはミリ波レーダーセンサであって、車体１１の前面部１２に装着されている。レーダーセンサ２３は、反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように構成されている。「反射点」は、物体Ｂの表面上における、レーダー波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダー波を反射した物体Ｂの、自車両に対する相対速度である。

車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６は、物体検知ＥＣＵ２７に電気接続されている。車速センサ２４は、自車両の走行速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。自車両の走行速度を、以下単に「車速」と称する。シフトポジションセンサ２５は、自車両のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。舵角センサ２６は、自車両の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。

物体検知ＥＣＵ２７は、車体１１の内側に配置されている。物体検知ＥＣＵ２７は、いわゆる車載マイクロコンピュータであって、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ、等を備えている。不揮発性ＲＡＭは、例えば、フラッシュＲＯＭ等である。物体検知ＥＣＵ２７のＣＰＵ、ＲＯＭ、ＲＡＭおよび不揮発性ＲＡＭを、以下単に「ＣＰＵ」、「ＲＯＭ」、「ＲＡＭ」および「不揮発性ＲＡＭ」と略称する。

物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭまたは不揮発性ＲＡＭからプログラムを読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述のルーチンに対応するものが含まれている。また、ＲＡＭおよび不揮発性ＲＡＭは、ＣＰＵがプログラムを実行する際の処理データを一時的に格納可能に構成されている。さらに、ＲＯＭおよび／または不揮発性ＲＡＭには、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。各種のデータには、例えば、初期値、ルックアップテーブル、マップ、等が含まれている。

物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作を実行するように構成されている。また、物体検知ＥＣＵ２７は、表示部２８および音声出力部２９の動作を制御することで、物体検知状態に伴う報知動作を行うようになっている。

表示部２８および音声出力部２９は、車両１０における車室内に配置されている。また、表示部２８および音声出力部２９は、物体検知ＥＣＵ２７に電気接続されている。表示部２８は、物体検知状態に伴う報知動作を、表示画面またはインジケータによる表示により行うように構成されている。音声出力部２９は、物体検知状態に伴う報知動作を、音声出力により行うように構成されている。

（物体検知ＥＣＵの機能構成）
図２を参照すると、物体検知ＥＣＵ２７は、マイクロコンピュータ上に実現される機能上の構成として、画像情報取得部２７１と、移動情報取得部２７２と、特徴点抽出部２７３と、三次元座標情報取得部２７４と、点群抽出部２７５と、測距情報取得部２７６と、障害物検知部２７７とを有している。

以下、本実施形態における、物体検知ＥＣＵ２７の機能構成の詳細について、図２のブロック図および図３の動作概要図を用いて説明する。図３は、車両１の後方に存在するポール状の物体Ｂを含む、リアカメラＣＢの撮影画像が処理される様子を示す。図３中、ＶＡは撮影画像の画角である。画角ＶＡは、撮像部２１の視野に対応する、撮影画像の最大範囲である。また、ＨＬは水平線すなわち地平線であり、ＤＬ１は実線状の道路区画線である第一区画線であり、ＤＬ２は破線状の道路区画線である第二区画線である。ＢＤは遠方の建物である。

画像情報取得部２７１は、自車両の周囲の撮影画像に対応する画像情報を取得するように設けられている。具体的には、画像情報取得部２７１は、撮像部２１により生成された画像情報を撮像部２１から受信するとともに、受信した画像情報を時系列で不揮発性ＲＡＭに格納するようになっている。

移動情報取得部２７２は、物体検知動作中の、自車両の移動方向および移動量を取得するように設けられている。具体的には、移動情報取得部２７２は、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６の出力に基づいて、自車両の移動方向および移動量を算出するとともに、算出結果を時系列で不揮発性ＲＡＭに格納するようになっている。

特徴点抽出部２７３は、画像情報取得部２７１にて取得した画像情報に基づいて、撮影画像における特徴点ＦＰを抽出するように設けられている。特徴点ＦＰは、撮影画像中の物体Ｂの形状を特徴付ける点である。換言すれば、特徴点ＦＰは、画角ＶＡ内における、特徴的な点すなわち画素である。具体的には、例えば、特徴点ＦＰは、隣接する画素との間での輝度変化が大きな画素である。

なお、特徴点ＦＰおよびその抽出手法は、本願の出願時点にて周知である。具体的には、特徴点ＦＰの検出手法として、周知の手法（例えば、Sobelフィルタ、Laplacianフィルタ、Canny法、等。）を用いることが可能である。したがって、本明細書においては、特徴点抽出部２７３による特徴点ＦＰの抽出手法の詳細については、説明を省略する。なお、特徴点ＦＰの「抽出」は、「検出」とも表現され得る。

三次元座標情報取得部２７４は、視点の異なる複数の撮影画像に基づいて、特徴点ＦＰの三次元位置を取得するように設けられている。なお、本実施形態においては、リアカメラＣＢ、フロントカメラＣＦ、左側カメラＣＬ、および右側カメラＣＲは、それぞれ１個ずつ設けられている。そこで、本実施形態においては、三次元座標情報取得部２７４は、画像情報取得部２７１により取得および格納された画像情報と、移動情報取得部２７２によって取得および格納された移動方向および移動量とに基づいて、物体Ｂ上の特徴点ＦＰにおける三次元座標情報を取得するように構成されている。

すなわち、三次元座標情報取得部２７４は、移動ステレオあるいは単眼移動ステレオの手法を用いて、自車両の周囲に存在する物体Ｂを認識するように構成されている。具体的には、三次元座標情報取得部２７４は、特定の方向に向けられた一個の撮像部２１における画像情報の履歴と、自車両の移動量とに基づいて、当該撮像部２１の向けられた方向に存在する物体Ｂを認識するようになっている。移動ステレオは、ＳＦＭとも称される。ＳＦＭはStructure from Motionの略である。

なお、移動ステレオあるいはＳＦＭについては、本願の出願時点において、すでに周知技術となっている。例えば、米国特許第７，４３３，４９４号明細書、同第８，０２７，５１４号明細書、等参照。必要に応じ、これらの記載は、技術的に矛盾しない限り、国内法令の許容する範囲において、記載内容が適宜参照により組み入れられる。したがって、本明細書においては、移動ステレオについての詳細については、説明を省略する。

点群抽出部２７５は、特徴点抽出部２７３による特徴点ＦＰの抽出結果から、所定条件で配列する複数の特徴点ＦＰからなる点群Ｇを抽出するように設けられている。本実施形態においては、「所定条件」は、複数の特徴点ＦＰが直線状に配列していることを含む。また、「所定条件」は、複数の特徴点ＦＰが水平線ＨＬと交差するように配列していることを含む。また、本実施形態においては、点群抽出部２７５は、所定の探索範囲ＲＳにて、点群Ｇを抽出するようになっている。探索範囲ＲＳは、測距情報取得部２７６によって取得された測距情報に対応する測距点ＤＰを基準とした、撮影画像中における所定範囲である。本実施形態においては、探索範囲ＲＳの形状は、矩形状に設定されている。探索範囲ＲＳの幅は、三角測量による測距点ＤＰの測距誤差を考慮した所定幅に設定されている。探索範囲ＲＳの高さは、計算負荷を考慮して、探索範囲ＲＳが水平線ＨＬと交差するような所定高さに設定されている。

測距情報取得部２７６は、ソナーセンサ２２により測定された測距点ＤＰとの距離に対応する測距情報を取得するように設けられている。すなわち、測距情報取得部２７６は、自車両の並進方向における物体Ｂの自車両に対する相対位置に対応する二次元位置情報、換言すれば、測距点ＤＰに対応する測距情報を取得するとともに、取得結果を時系列で不揮発性ＲＡＭに格納するようになっている。具体的には、測距情報取得部２７６は、自車両の外側に向けて発信された超音波である探査波の物体Ｂによる反射波を、自車両の車体１１に装着されたソナーセンサ２２にて受信した結果に基づいて、測距情報を取得するように構成されている。

本実施形態においては、測距情報取得部２７６は、探査波の物体Ｂによる反射波をソナーセンサ２２にて受信した結果に基づいて、測距情報を取得および格納するように設けられている。具体的には、測距情報取得部２７６は、測距点ＤＰに対応する測距情報を取得しつつ時系列で不揮発性ＲＡＭに格納するようになっている。「測距点ＤＰ」は、物体Ｂの表面上における、ソナーセンサ２２から発信された探査波を反射したと推定される点であって、レーダーセンサ２３における「反射点」に対応する点である。なお、測距点ＤＰの取得手法については、本願の出願時点にて周知である。したがって、かかる手法の詳細については、本明細書においては、説明を省略する。

障害物検知部２７７は、自車両の周囲の物体Ｂを障害物として検知するように設けられている。具体的には、障害物検知部２７７は、三次元座標情報取得部２７４により認識された物体Ｂを、障害物として検知するように構成されている。すなわち、障害物検知部２７７は、特徴点ＦＰの三次元位置を取得あるいは推定するために必要な、充分な視差が得られた特徴点ＦＰに基づいて、移動ステレオの手法により障害物を検知するようになっている。

また、障害物検知部２７７は、充分な視差が得られないために三次元座標情報取得部２７４により三次元位置が取得されなかった、複数の特徴点ＦＰを活用して、障害物を検知するように構成されている。具体的には、障害物検知部２７７は、第一点群Ｇ１および第二点群Ｇ２と、その近傍にて測距情報取得部２７６によって取得された測距情報に対応する測距点ＤＰとが、撮影画像中にて所定位置関係にある場合に、第一点群Ｇ１と第二点群Ｇ２との間の領域を障害物として検知するようになっている。第一点群Ｇ１および第二点群Ｇ２は、点群抽出部２７５によって抽出された、２個の点群Ｇである。本実施形態においては、「所定位置関係」は、第一点群Ｇ１および第二点群Ｇ２の、撮影画像中における測距点ＤＰからの距離が、所定距離以下であることを含む。

（作用・効果）
以下、本実施形態の物体検知装置２０すなわち物体検知ＥＣＵ２７における動作の概要について、本実施形態の構成により奏される効果とともに、図１〜図３を参照しつつ説明する。

複数の撮像部２１の各々、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲは、自車両の周囲の画像を撮影して、撮影画像に対応する画像情報を生成および取得する。また、複数の撮像部２１の各々は、取得した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力する。

複数のソナーセンサ２２の各々は、自車両の外側に向けて発信された探査波の反射波を含む受信波を受信することで、自車両の周囲に存在する物体Ｂ上の点との距離を測定する。また、複数のソナーセンサ２２の各々は、取得した測距情報を、物体検知ＥＣＵ２７により受信可能に出力する。

レーダーセンサ２３は、物体Ｂ上の反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。車速センサ２４は、車速に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。シフトポジションセンサ２５は、自車両のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。舵角センサ２６は、自車両の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。

物体検知ＥＣＵ２７は、複数の撮像部２１の各々から、画像情報を受信する。また、物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々から、測距情報を受信する。また、物体検知ＥＣＵ２７は、レーダーセンサ２３、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６からの出力信号を受信する。物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作を実行する。

具体的には、画像情報取得部２７１は、自車両の周囲の撮影画像に対応する画像情報を、複数の撮像部２１の各々から取得する。また、画像情報取得部２７１は、取得した画像情報を、時系列で不揮発性ＲＡＭに格納する。移動情報取得部２７２は、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６の出力に基づいて、自車両の移動方向および移動量を算出する。また、移動情報取得部２７２は、算出結果を時系列で不揮発性ＲＡＭに格納する。特徴点抽出部２７３は、画像情報取得部２７１にて取得した画像情報に基づいて、撮影画像における特徴点ＦＰを抽出する。

視点の異なる複数の撮影画像の各々で抽出された特徴点ＦＰにて、良好に視差演算可能に、充分な視差が得られる場合がある。この場合、三次元座標情報取得部２７４は、視点の異なる複数の撮影画像に基づいて、視差演算により特徴点ＦＰの三次元位置を取得する。障害物検知部２７７は、三次元座標情報取得部２７４により取得された三次元位置に基づいて、障害物を検知する。すなわち、障害物検知部２７７は、充分な視差が得られた特徴点ＦＰに基づいて、移動ステレオの手法により、障害物を検知する。

しかしながら、上記の通り、特徴点ＦＰの三次元位置を取得あるいは推定するために必要な、充分な視差が得られ難い状況が発生し得る。このような状況においては、視差演算が困難となるため、特徴点ＦＰの三次元位置が取得困難となる。すると、このような特徴点ＦＰに対応する、自車両の周囲の障害物を検知することが困難となる。特に、以下の（１）および（２）が成立する状況にて、このような問題が発生しやすい。（１）自車両と物体Ｂとの相対移動方向と、当該物体Ｂを撮像中の撮像部２１の撮影方向とが、ほぼ一致すること。（２）当該物体Ｂが、当該撮像部２１の正面に位置すること。図１および図３は、典型例として、後退中の自車両の真後ろにポール状の物体Ｂが存在し、当該物体ＢがリアカメラＣＢの正面に位置する状況を示す。

この点、例えば、充分な視差が得られないために三次元位置が取得されなかった複数の特徴点ＦＰとほぼ同一の方位にて、測距情報が取得される場合があり得る。具体的には、測距情報取得部２７６により物体Ｂとの距離に対応する測距情報が取得され、且つ、取得された測距情報に対応する測距点ＤＰの近傍にて複数の特徴点ＦＰが所定の態様で配列する。この場合、当該測距情報に対応する測距点ＤＰの位置には、物体Ｂが存在する可能性が高い。

そこで、本実施形態においては、点群抽出部２７５は、特徴点抽出部２７３による特徴点ＦＰの抽出結果から、所定条件で配列する複数の特徴点ＦＰからなる点群Ｇを抽出する。具体的には、点群抽出部２７５は、直線状に配列した複数の特徴点ＦＰのうち、水平線ＨＬと交差するものを、点群Ｇとして抽出する。

本実施形態においては、点群抽出部２７５による点群Ｇの抽出条件として、複数の特徴点ＦＰが直線状に配列していること、および、複数の特徴点ＦＰが水平線ＨＬと交差するように配列していることが挙げられている。これは、上記の典型例のようなポール状の物体Ｂの外形形状を考慮したものである。

すなわち、例えば、図３に示されているように、第一区画線ＤＬ１に対応する複数の特徴点ＦＰは、直線状に配列している。しかしながら、これらは、水平線ＨＬとは交差せず、水平線ＨＬよりも下側の領域のみにて配列する。第二区画線ＤＬ２に対応する複数の特徴点ＦＰについても同様である。遠方の建物ＢＤに対応する複数の特徴点ＦＰも、直線状に配列するものの、水平線ＨＬとは交差せず、水平線ＨＬよりも上側の領域のみにて配列する。天井の梁あるいは配管に対応する複数の特徴点ＦＰについても同様である。

これに対し、リアカメラＣＢの正面に位置するポール状の物体Ｂの、撮影画像における左側のエッジに対応する複数の特徴点ＦＰは、直線状に配列している。さらに、これら複数の特徴点ＦＰは、水平線ＨＬと交差しつつ、上下方向に配列する。すなわち、これら複数の特徴点ＦＰは、水平線ＨＬを跨るように、水平線ＨＬと交差する第一エッジ直線Ｌ１上に配列する。そこで、点群抽出部２７５は、これら複数の特徴点ＦＰによる第一点群Ｇ１を抽出する。

同様に、リアカメラＣＢの正面に位置するポール状の物体Ｂの、撮影画像における右側のエッジに対応する複数の特徴点ＦＰは、直線状に配列している。さらに、これら複数の特徴点ＦＰは、水平線ＨＬと交差しつつ上下方向に配列する。すなわち、これら複数の特徴点ＦＰは、水平線ＨＬを跨るように、水平線ＨＬと交差する第二エッジ直線Ｌ２上に配列する。そこで、点群抽出部２７５は、これら複数の特徴点ＦＰによる第二点群Ｇ２を抽出する。

測距情報取得部２７６は、ソナーセンサ２２により測定された測距点ＤＰとの距離に対応する測距情報を、ソナーセンサ２２から取得する。また、測距情報取得部２７６は、取得した測距情報を、時系列で不揮発性ＲＡＭに格納する。点群抽出部２７５は、測距点ＤＰを基準とした、撮影画像中における所定範囲である探索範囲ＲＳ内にて、点群Ｇを抽出する。探索範囲ＲＳを画角ＶＡの全体ではなくその一部に限定することにより、計算負荷の軽減および探索精度の向上が図られている。

障害物検知部２７７は、点群抽出部２７５によって抽出された２個の点群Ｇである第一点群Ｇ１および第二点群Ｇ２と、測距情報取得部２７６によって取得された測距情報に対応する測距点ＤＰとが、撮影画像中にて所定位置関係にある場合に、第一点群Ｇ１と第二点群Ｇ２との間の領域を物体Ｂすなわち障害物として検知する。

上記の通り、所定条件で配列する第一点群Ｇ１および第二点群Ｇ２が抽出され、且つ、第一点群Ｇ１および第二点群Ｇ２と測距点ＤＰとが撮影画像中にて所定位置関係にある場合がある。この場合、本実施形態の構成によれば、第一点群Ｇ１と第二点群Ｇ２との間の領域を障害物として検知することができる。したがって、かかる構成によれば、自車両の周囲に存在する障害物としての物体Ｂを、より良好に検知することが可能となる。

また、本実施形態の構成においては、障害物検知部２７７は、視差演算により三次元位置が取得された特徴点ＦＰに基づいて、通常のロジックである移動ステレオの手法により、障害物を検知する。一方、障害物検知部２７７は、三次元位置が取得されなかった特徴点ＦＰに基づいて、追加のロジックにより、障害物を検知する。かかる追加のロジックは、特徴点ＦＰの抽出結果と、測距情報とを用いるものであるため、センサフュージョンあるいは単にフュージョンとも称され得る。

すなわち、障害物検知部２７７は、以下の２条件が成立する場合、追加のロジックを用いて、第一点群Ｇ１と第二点群Ｇ２との間の領域を障害物として検知する。（条件１）三次元位置が取得されなかった複数の特徴点ＦＰにより、第一点群Ｇ１および第二点群Ｇ２が構成されていること。（条件２）測距情報取得部２７６によって取得された測距情報に対応する測距点ＤＰと第一点群Ｇ１および第二点群Ｇ２とが、撮影画像中にて所定位置関係にあること。かかる構成によれば、追加のロジックの適用対象が限定されるため、障害物の誤検出の発生が良好に抑制され得る。

（動作例）
以下、本実施形態の構成による、上記の動作概要に対応する具体的な動作例について、図４に示したフローチャートを用いて説明する。なお、図面中において、「ステップ」を単に「Ｓ」と略記する。物体検知ＥＣＵ２７のＣＰＵは、所定の起動条件成立中に、図４に示されたルーチンを、所定時間間隔で繰り返し起動する。

かかるルーチンが起動されると、まず、ステップ４０１にて、ＣＰＵは、画像情報を取得する。ここで取得される画像情報は、例えば、自車両の後退中は、リアカメラＣＢによって取得された画像情報である。すなわち、自車両が後退中の場合、ＣＰＵは、リアカメラＣＢによる画像情報を取得する。

次に、ステップ４０２にて、ＣＰＵは、取得した画像情報に基づいて、特徴点ＦＰを抽出する。続いて、ステップ４０３にて、ＣＰＵは、自車両の移動方向および移動量を取得する。続いて、ステップ４０４にて、ＣＰＵは、視差演算により特徴点ＦＰの三次元位置を取得すなわち算出する。

ステップ４０２にて抽出された多数の特徴点ＦＰの中には、上記の通り、視差演算により三次元位置が取得されるものと取得されないものとが生じる。そこで、ＣＰＵは、ステップ４０４に続いて、ステップ４０５およびステップ４０６を実行した後、本ルーチンを一旦終了する。ステップ４０５にて、ＣＰＵは、通常のロジックである単眼移動ステレオの手法により、自車両の周囲の物体Ｂの有無を判定する。また、ステップ４０６にて、ＣＰＵは、追加のロジックであるセンサフュージョンにより、自車両の周囲の物体Ｂの有無を判定する。

ステップ４０５の処理は、単眼移動ステレオにおける通常の処理である。かかる処理は、本願の出願時点において、すでに周知である。したがって、本明細書においては、ステップ４０５の処理内容の詳細については、説明を省略する。

図５は、図４におけるステップ４０６の処理内容の詳細を示したものである。かかる処理内容は、図５において、ステップ５０１〜ステップ５１０として示されている。これらについて、以下順に説明する。

まず、ステップ５０１にて、ＣＰＵは、残存特徴点を抽出する。残存特徴点とは、ステップ４０２にて抽出された多数の特徴点ＦＰのうち、自車両の周囲の物体Ｂの有無の判定に用いられていないものである。なお、初回のステップ５０１の処理実行時点において、残存特徴点は、ステップ４０２にて抽出された全ての特徴点ＦＰから、第一使用済特徴点を除外したものである。第一使用済特徴点とは、ステップ４０５にて、単眼移動ステレオの手法により、自車両の周囲の物体Ｂに対応付けられたものである。初回のステップ５０１の処理実行時点において、残存特徴点は、視差演算により三次元位置が取得されなかった特徴点ＦＰを含むとともに、視差演算により三次元位置が取得された特徴点ＦＰのうちステップ４０５にて物体Ｂに対応付けられなかったものをも含む。

次に、ステップ５０２にて、ＣＰＵは、測距情報を取得する。すなわち、ＣＰＵは、測距点ＤＰを１個取得する。続いて、ステップ５０３にて、ＣＰＵは、取得した測距点ＤＰの周囲に探索範囲ＲＳを設定する。また、ステップ５０４にて、ＣＰＵは、探索範囲ＲＳ内にて、点群Ｇを抽出する。

ステップ５０５にて、ＣＰＵは、ステップ５０４にて抽出した点群Ｇについて視差演算が成立するか否かを判定する。視差演算が成立する場合（すなわちステップ５０５＝ＹＥＳ）、ＣＰＵは、処理をステップ５０６に進行させる。ステップ５０６にて、ＣＰＵは、単眼移動ステレオの手法により、今回抽出した点群Ｇについて物体Ｂすなわち障害物を判定するとともに、残存特徴点から除外する。その後、ＣＰＵは、処理をステップ５０７に進行させる。

ステップ５０７にて、ＣＰＵは、残存特徴点が存在するか否かを判定する。残存特徴点が存在しない場合（すなわちステップ５０７＝ＮＯ）、ＣＰＵは、図４におけるステップ４０６の処理を終了する。一方、残存特徴点が存在する場合（すなわちステップ５０７＝ＹＥＳ）、ＣＰＵは、処理をステップ５０１に戻す。この場合、続くステップ５０２においては、前回取得されたものとは異なる測距点ＤＰが取得される。

ステップ５０４にて抽出した点群Ｇについて視差演算が成立しない場合（すなわちステップ５０５＝ＮＯ）、ＣＰＵは、処理をステップ５０８に進行させる。ステップ５０８にて、ＣＰＵは、位置関係条件が成立するか否かを判定する。位置関係条件とは、今回抽出した第一点群Ｇ１および第二点群Ｇ２と、測距点ＤＰとの位置関係が、所定位置関係にあることである。

位置関係条件が成立する場合（すなわちステップ５０８＝ＹＥＳ）、ＣＰＵは、処理をステップ５０９に進行させる。ステップ５０９にて、ＣＰＵは、今回抽出した点群Ｇすなわち第一点群Ｇ１および第二点群Ｇ２について、物体Ｂすなわち障害物を判定する。具体的には、第一点群Ｇ１と第二点群Ｇ２との間の領域を、物体Ｂすなわち障害物として判定する。また、ＣＰＵは、今回抽出した点群Ｇを、残存特徴点から除外する。その後、ＣＰＵは、処理をステップ５０７に進行させる。ステップ５０７における処理内容は、上記と同様である。

位置関係条件が成立しない場合（すなわちステップ５０８＝ＮＯ）、ＣＰＵは、処理をステップ５１０に進行させる。ステップ５１０にて、ＣＰＵは、今回抽出した点群Ｇについて、物体Ｂすなわち障害物に対応しないものとして判定するとともに、残存特徴点から除外する。その後、ＣＰＵは、処理をステップ５０７に進行させる。ステップ５０７における処理内容は、上記と同様である。

（変形例）
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。

本発明は、上記実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、物体検知装置２０を搭載する車両１０は、四輪自動車に限定されない。具体的には、車両１０は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車でもよい。

車両１０の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド自動車であってもよい。車体１１の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。ドアパネル１７の数も、特段の限定はない。

物体検知装置２０の適用対象についても、特段の限定はない。すなわち、例えば、物体検知装置２０は、駐車支援に適用され得る。あるいは、物体検知装置２０は、自動運転の定義におけるレベル２〜レベル５に相当する、半自動運転あるいは自動運転に対しても、好適に適用可能である。

撮像部２１を構成するイメージセンサは、ＣＣＤセンサに限定されない。すなわち、例えば、ＣＣＤセンサに代えて、ＣＭＯＳセンサが用いられ得る。ＣＭＯＳはComplementary MOSの略である。

撮像部２１の配置および個数は、上記の例に限定されない。すなわち、例えば、フロントカメラＣＦは、車室外に配置され得る。具体的には、例えば、フロントカメラＣＦは、車体１１の前面部１２に装着され得る。フロントカメラＣＦは、一個であってもよいし、二個であってもよい。すなわち、物体検知装置２０は、複眼ステレオカメラ構成を有していてもよい。例えば、左側カメラＣＬおよび右側カメラＣＲは、ドアミラー１８とは異なる位置に配置され得る。あるいは、左側カメラＣＬおよび右側カメラＣＲは、省略され得る。

ソナーセンサ２２の配置および個数は、上記の具体例に限定されない。すなわち、例えば、図１を参照すると、第三フロントソナーＳＦ３が車幅方向における中央位置に配置される場合、第四フロントソナーＳＦ４は省略される。同様に、第三リアソナーＳＲ３が車幅方向における中央位置に配置される場合、第四リアソナーＳＲ４は省略される。第三サイドソナーＳＳ３および第四サイドソナーＳＳ４は、省略され得る。

物体検知ＥＣＵ２７は、上記実施形態における物体検知装置２０の主要部を構成する。このため、撮像部２１、ソナーセンサ２２、レーダーセンサ２３、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、表示部２８、および音声出力部２９は、物体検知装置２０の構成要素ではなく、物体検知装置２０の付随的要素であるものと把握され得る。あるいは、撮像部２１およびソナーセンサ２２は、それぞれ、画像情報取得部２７１および測距情報取得部２７６を構成するものとして、物体検知装置２０の構成要素としても把握され得る。

上記実施形態においては、物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭ等からプログラムを読み出して起動する構成であった。しかしながら、本発明は、かかる構成に限定されない。すなわち、例えば、物体検知ＥＣＵ２７は、上記のような動作を可能に構成されたデジタル回路、例えばゲートアレイ等のＡＳＩＣであってもよい。ＡＳＩＣはAPPLICATION SPECIFIC INTEGRATED CIRCUITの略である。

本発明は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。すなわち、例えば、移動情報取得部２７２による、自車両の移動量の取得には、不図示の加速度センサの出力が用いられ得る。

上記の具体例においては、リアカメラＣＢによる撮影画像を用いた物体Ｂの検知動作について説明した。しかしながら、本発明は、かかる態様に限定されない。すなわち、例えば、本発明は、フロントカメラＣＦによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。同様に、本発明は、左側カメラＣＬおよび右側カメラＣＲによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。

特徴点ＦＰは、単一画素によって構成されていてもよいし、複数画素の集合体によって構成されていてもよい。特徴点ＦＰの検出の際に、輝度情報に代えて、あるいはこれとともに、彩度情報が用いられ得る。もっとも、ＲＧＢ各色の光学フィルタを介して画像情報を取得する場合、彩度情報はＲＧＢ各色の画像情報における輝度情報と同義となり得る。

三次元座標情報取得部２７４における処理内容は、単眼移動ステレオに限定されない。具体的には、例えば、複眼ステレオ処理、またはＳＦＭと複眼ステレオとの統合処理が用いられ得る。複眼ステレオ処理、またはＳＦＭと複眼ステレオとの統合処理については、本願の出願時において、すでに公知または周知である。

点群Ｇの抽出の際の、探索範囲ＲＳの高さは、画角ＶＡの高さと同一であってもよい。すなわち、探索範囲ＲＳは、点群Ｇの抽出範囲を画角ＶＡの幅方向に限定するものであってもよい。また、探索範囲ＲＳの形状は、矩形状に限定されない。すなわち、例えば、探索範囲ＲＳは、測距点ＤＰを中心とする楕円形状あるいは所定半径の円形状であってもよい。

測距情報取得部２７６は、ソナーセンサ２２の出力に代えて、あるいはこれとともに、レーダーセンサ２３の出力に基づいて、測距情報を取得してもよい。すなわち、探査波として、超音波または電磁波が用いられ得る。また、測距点ＤＰとして、レーダーセンサ２３により取得された反射点が用いられ得る。この場合、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点ＤＰの代替として用いられ得る。あるいは、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点ＤＰの補正要素として用いられ得る。

上記実施形態においては、所定位置関係すなわち位置関係条件は、第一点群Ｇ１および第二点群Ｇ２の、撮影画像中における測距点ＤＰからの距離が所定距離以下であることであった。しかしながら、本発明は、かかる態様に限定されない。

具体的には、例えば、所定位置関係は、以下の条件ＭＡ１および条件ＭＢ１のアンド条件を含むものであってもよい。（条件ＭＡ１）第一点群Ｇ１または第二点群Ｇ２の、撮影画像中における測距点ＤＰからの距離が、所定距離以下である。（条件ＭＢ１）第一点群Ｇ１と第二点群Ｇ２との、撮影画像中における間隔が、所定間隔以下である。

例えば、図３に示されているように、上下方向に延設された細長いポール状の物体Ｂの根元にて、三次元位置が取得可能な特徴点ＦＰが生じる場合がある。かかる特徴点ＦＰを参照特徴点ＦＰ０と称する。物体Ｂの根元は、路面あるいは地面と物体Ｂとが交差する位置とも称される。なお、参照特徴点ＦＰ０は、物体Ｂの根元のみならず、物体Ｂの表面における汚れあるいは模様に対応しても発生し得る。

上記のように、第一点群Ｇ１および第二点群Ｇ２とその近傍の測距点ＤＰとが撮影画像中にて所定位置関係にあるのみならず、当該測距点ＤＰとほぼ同一の方位にて参照特徴点ＦＰ０が検出された場合、物体Ｂすなわち障害物の存在確率が高くなる。そこで、所定位置関係は、参照特徴点ＦＰ０に関する条件をさらに含んでいてもよい。

具体的には、所定位置関係は、以下の条件ＭＡ２および条件ＭＢ２のアンド条件を含むものであってもよい。（条件ＭＡ２）三次元位置が取得された特徴点ＦＰである参照特徴点ＦＰ０が、第一点群Ｇ１と第二点群Ｇ２との間に存在すること。（条件ＭＢ２）距離差ΔＤが所定値ΔＤ０以下であること。距離差ΔＤは、参照特徴点ＦＰ０の自車両からの距離である参照距離と、測距点ＤＰの自車両からの距離である測距距離との差である。

すなわち、本変形例においては、位置関係条件は、第一位置関係条件に加えて、第二位置関係条件を含む。第一位置関係条件は、上記実施形態における位置関係条件である。第二位置関係条件は、条件ＭＡ２および条件ＭＢ２のアンド条件であって、参照特徴点ＦＰ０に関する条件である。

図６は、かかる変形例に対応して、図５のフローチャートの一部を変更したものである。なお、図５におけるステップ５０１〜５０６の処理は、本変形例においても同様である。すなわち、図６に対応する本変形例の処理も、図５におけるステップ５０１〜５０６の処理を含む。本変形例の処理は、上記実施形態の処理と、ステップ５０８以降の内容が異なるのみである。このため、図６においては、図５におけるステップ５０１〜５０６の処理は、図示が省略されている。

ステップ５０８にて、ＣＰＵは、第一位置関係条件が成立するか否かを判定する。第一位置関係条件は、今回抽出した第一点群Ｇ１および第二点群Ｇ２と、測距点ＤＰとの位置関係が、所定位置関係にあることである。すなわち、本変形例におけるステップ５０８の処理内容は、上記実施形態と同様である。

第一位置関係条件が成立しない場合（すなわちステップ５０８＝ＮＯ）、ＣＰＵは、処理をステップ５１０に進行させる。ステップ５１０にて、ＣＰＵは、今回抽出した点群Ｇについて、物体Ｂすなわち障害物に対応しないものとして判定するとともに、残存特徴点から除外する。その後、ＣＰＵは、処理をステップ５０７に進行させる。ステップ５０７における処理内容は、上記実施形態と同様である

第一位置関係条件が成立する場合（すなわちステップ５０８＝ＹＥＳ）、ＣＰＵは、処理をステップ５１１に進行させる。ステップ５１１にて、ＣＰＵは、第一点群Ｇ１と第二点群Ｇ２との間に参照特徴点ＦＰ０が存在するか否かを判定する。第一点群Ｇ１と第二点群Ｇ２との間に参照特徴点ＦＰ０が存在しない場合（すなわちステップ５１１＝ＮＯ）、ＣＰＵは、処理をステップ５１０に進行させる。

第一点群Ｇ１と第二点群Ｇ２との間に参照特徴点ＦＰ０が存在する場合（すなわちステップ５１１＝ＹＥＳ）、ＣＰＵは、処理をステップ５１２に進行させる。ステップ５１２にて、ＣＰＵは、距離差ΔＤが所定値ΔＤ０以下であるか否かを判定する。すなわち、ステップ５１１およびステップ５１２によって、第二位置関係条件の成否が判定される。

距離差ΔＤが所定値ΔＤ０以下である場合（すなわちステップ５１２＝ＹＥＳ）、ＣＰＵは、処理をステップ５０９に進行させる。ステップ５０９にて、ＣＰＵは、今回抽出した点群Ｇすなわち第一点群Ｇ１および第二点群Ｇ２について、物体Ｂすなわち障害物を判定する。その後、ＣＰＵは、処理をステップ５０７に進行させる。一方、距離差ΔＤが所定値ΔＤ０を超える場合（すなわちステップ５１２＝ＮＯ）、ＣＰＵは、処理をステップ５１０に進行させる。

「取得」という表現と、「推定」「検出」「検知」「算出」等の類似の表現とは、技術的に矛盾しない範囲内において、適宜置換可能である。「検出」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。各判定処理における不等号は、等号付きであってもよいし、等号無しであってもよい。すなわち、例えば、「所定値未満」と「所定値以下」とは、技術的に矛盾しない範囲内において、互いに置換され得る。

上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。

変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。

１０ 車両
２０ 物体検知装置
２７１ 画像情報取得部
２７２ 移動情報取得部
２７３ 特徴点抽出部
２７４ 三次元座標情報取得部
２７５ 点群抽出部
２７６ 測距情報取得部
２７７ 障害物検知部
Ｂ 物体

Claims (9)

1. 自車両（１０）に搭載されることで、当該自車両の周囲に存在する物体（Ｂ）を検知するように構成された、物体検知装置（２０）であって、
   前記自車両の周囲の撮影画像に対応する画像情報を取得する、画像情報取得部（２７１）と、
   前記画像情報取得部にて取得した前記画像情報に基づいて、前記撮影画像における特徴点（ＦＰ）を抽出する、特徴点抽出部（２７３）と、
   前記特徴点抽出部による前記特徴点の抽出結果から、所定条件で配列する複数の前記特徴点からなる点群（Ｇ）を抽出する、点群抽出部（２７５）と、
   測距センサ（２２）により測定された測距点（ＤＰ）との距離に対応する測距情報を取得する、測距情報取得部（２７６）と、
   前記点群抽出部によって抽出された２個の前記点群である第一点群（Ｇ１）および第二点群（Ｇ２）と、前記測距情報取得部によって取得された前記測距情報に対応する前記測距点とが、前記撮影画像中にて所定位置関係にある場合に、前記第一点群と前記第二点群との間の領域を障害物として検知する、障害物検知部（２７７）と、
   を備えた物体検知装置。
2. 前記点群抽出部は、直線状に配列した複数の前記特徴点を、前記点群として抽出する、
   請求項１に記載の物体検知装置。
3. 前記点群抽出部は、水平線（ＨＬ）と交差するように配列した複数の前記特徴点を、前記点群として抽出する、
   請求項１または２に記載の物体検知装置。
4. 前記点群抽出部は、前記測距情報取得部によって取得された前記測距情報に対応する前記測距点を基準とした、前記撮影画像中における所定範囲内にて、前記点群を抽出する、
   請求項１〜３のいずれか１つに記載の物体検知装置。
5. 前記所定位置関係は、前記第一点群および前記第二点群の、前記撮影画像中における前記測距点からの距離が、所定距離以下であることを含む、
   請求項１〜４のいずれか１つに記載の物体検知装置。
6. 前記所定位置関係は、
   前記第一点群または前記第二点群の、前記撮影画像中における前記測距点からの距離が、所定距離以下であり、且つ、
   前記第一点群と前記第二点群との、前記撮影画像中における間隔が、所定間隔以下であることを含む、
   請求項１〜４のいずれか１つに記載の物体検知装置。
7. 視点の異なる複数の前記撮影画像に基づいて前記特徴点の三次元位置を取得する、三次元情報取得部（２７４）をさらに備え、
   前記障害物検知部は、前記三次元位置が取得されなかった複数の前記特徴点により前記第一点群および前記第二点群が構成されており、且つ、前記測距情報取得部によって取得された前記測距情報に対応する前記測距点と前記第一点群および前記第二点群とが前記撮影画像中にて前記所定位置関係にある場合、前記第一点群と前記第二点群との間の前記領域を前記障害物として検知する、
   請求項１〜６のいずれか１つに記載の物体検知装置。
8. 前記所定位置関係は、前記三次元位置が取得された前記特徴点である参照特徴点（ＦＰ０）が前記第一点群と前記第二点群との間に存在し、且つ、前記参照特徴点の前記自車両からの距離である参照距離と前記測距点の前記自車両からの距離である測距距離との差が所定値以下であることを含む、
   請求項７に記載の物体検知装置。
9. 前記測距情報取得部は、前記自車両の外側に向けて発信された超音波である探査波の前記物体による反射波を、前記自車両の車体（１１）に装着された前記測距センサにて受信した結果に基づいて、前記測距情報を取得する、
   請求項１〜８のいずれか１つに記載の物体検知装置。

Images