JP2011014148A - 自動車用の障害物検知方法 - Google Patents

自動車用の障害物検知方法 Download PDF

Info

Publication number
JP2011014148A
JP2011014148A JP2010154353A JP2010154353A JP2011014148A JP 2011014148 A JP2011014148 A JP 2011014148A JP 2010154353 A JP2010154353 A JP 2010154353A JP 2010154353 A JP2010154353 A JP 2010154353A JP 2011014148 A JP2011014148 A JP 2011014148A
Authority
JP
Japan
Prior art keywords
image
detection
obstacle
roi2
roi1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010154353A
Other languages
English (en)
Other versions
JP5837287B2 (ja
Inventor
Siav Kuong Kuoch
コン クォ シアヴ
Lowik Chanussot
シャニュソー ロウィク
Julien Rebut
レビュー ジュリアン
Adrien Charpentier
シャルパンティエ アドリアン
Eric Dubois
デュボワ エリック
Benoist Fleury
フルーリー ベノア
Patrice Reilhac
レイヤック パトリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Vision SAS
Original Assignee
Valeo Vision SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Vision SAS filed Critical Valeo Vision SAS
Publication of JP2011014148A publication Critical patent/JP2011014148A/ja
Application granted granted Critical
Publication of JP5837287B2 publication Critical patent/JP5837287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9317—Driving backwards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】自動車の環境における障害物の検知方法を提供する。
【解決手段】方法は、環境の取得画像における形状認識により障害物の第１の検知を実施することによって、少なくとも１つの第１の対象領域を決定することと、前記環境の取得画像のシーケンスでの車両に対する動き検知により障害物の第２の検知を行うことによって、少なくとも１つの第２の対象領域を決定することと、それぞれ、所定の特徴に対して第１の対象領域および第２の対象領域に付与される第１の信頼性指数および第２の信頼性指数によって、検知された障害物を分類することと、前記信頼性指数に対して、また、前記対象領域に対して、検知された障害物での分類を確定し、その結果、確定された有効領域を得ることとの、各ステップを備える。
【選択図】図１

Description

本発明は、自動車の環境における障害物の検知方法に関する。
本発明は、また、この方法を利用する装置に関する。
本発明は、自動車の領域に特に用いられる。
自動車の領域において、自動車環境における障害物の検知方法の従来技術は、
カメラにより歩行者を検知することと、
検知された車両を危険性のカテゴリーに従って、移動速度と、考慮された車両の軸に対する位置とに応じて分類することと、
歩行者の存在を運転者に知らせるためのアラーム信号を送信することと、
の各ステップを含む。
この従来技術の欠点は、歩行者の検知および分類に適用しにくいことにある。
本発明は、車両だけではなくまた歩行者を正確に検知可能な、自動車の環境における障害物の検知方法を目的とする。
本発明の第１の目的によれば、この目的は、自動車の環境における障害物の検知方法により達成され、
前記環境の取得画像における形状認識により障害物の第１の検知を実施することによって、少なくとも１つの第１の対象領域を決定することと、
前記環境の取得画像のシーケンスでの車両に対する動き検知により障害物の第２の検知を行うことによって、少なくとも１つの第２の対象領域を決定することと、
それぞれ、所定の特徴に対して第１の対象領域および第２の対象領域に付与される第１の信頼性指数および第２の信頼性指数によって、検知された障害物を分類することと、
前記信頼性指数に対して、また、前記対象領域に対して、検知された障害物での分類を確定し、その結果、確定された有効領域を得ることとの、
各ステップを備えることを特徴とする。
以下に詳しく説明するように、形状認識による検知と動きの認識による検知とを組み合わせることによって、障害物を確実に検知および特定することができ、これらの検知に、信頼性指数を用いて１つのカテゴリーに属する確率を適用することによって、歩行者の検知を強化することができる。
限定的ではない実施形態によれば、検知方法は、さらに、以下のうちの１つまたは複数の追加特徴を含むことができる。
検知方法は、さらに、
第１の閾値よりも小さい検知範囲で１つまたは複数のセンサによる障害物の第３の検知を行って、所定の位置を得ることと、
所定の位置を基準目印に投影することと、
確定された有効領域を前記基準目印に投影することと、
得られた２つの投影を対応させて、この対応に応じて、分類された障害物に所定の位置を割り当てることと、
の各追加ステップを備える。
アクティブセンサ（遠隔センサ）による検知により、車両環境の取得画像において、検知された障害物の位置特定の精度を高めることができる。
基準目印が、画像目印である。このことによって、車両の目印における対象領域の距離推定の誤差の影響を最小化できる。
形状認識による第１の検知が、
取得画像の再帰的なサブサンプリングによる画像ピラミッドを構成することと、
各々のサブサンプリング画像に対して、
所定の障害物を示すラベルにより前記画像を走査することと、
前記画像におけるラベルの連続する各位置で、分類子の集合により内容を分析することとの、
各サブステップを備え、前記分類子が、事前学習段階のときに決定されている。
このことにより、画像が置かれている検知距離に応じて障害物を検知できる。分類子のアプリケーションの結果によって、障害物がラベル内にあるかどうか判断し、従って、障害物を検知することができる。本出願において、ラベルとは、画像内の検知ゾーンを意味する。この検知ゾーンは、所定の寸法と形状を有する。もちろん、ラベルには、異なる形状を付与することができる。本発明によるシステムは、このラベルの境界の内部で障害物の検知を行うものである。変形実施形態によれば、ラベルは、画像内でこのタイプの障害物が占有する面積にほぼ対応することにより、検知すべき障害物を示す。たとえば、歩行者を検知する場合、長い方の辺が垂直である長方形を選択することができる。このようにして、長方形の内部に画像が含まれるあらゆる歩行者が検知される。
形状認識による第１の検知が、さらに、サブサンプリング画像内で走査ゾーンを決定する追加サブステップを備える。このことにより、処理数が低減される。
動きを検知する第２の検知が、
画像シーケンスの各画像に対して再計算された背景画像を構成することと、
画像シーケンスの現行画像から背景画像を減算し（ｓｏｕｓｔｒａｉｒｅ）、結果として生じた１つの画像を得ることと、
閾値に応じて、結果として生じた画像で判別される動きを弁別することと、
弁別によって第２の対象領域を抽出することと、
の各サブステップを備える。
これによって、背景に属さない、動いている障害物を得られる。
動きを検知する第２の検知が、
取得画像の対象点を決定することと、
次の画像で上記対象点に従って、それらの移動を決定することと、
第２の対象領域で同様の移動を有する前記対象点を集めることと、
自動車の移動を決定することと、
自動車の移動の結果ではない画像で移動を有する第２の対象領域を確定することとの、
各サブステップを含む。
分類ステップが、
対象領域から特徴ベクトルを生成することと、
学習ステップのときに予め決められた決定境界との比較により前記特徴ベクトルを分類することと、
前記決定境界に対して特徴ベクトルの距離に応じて決定される組み合わせ信頼性指数を決定することと、
の各サブステップを備える。
これにより、１つの分類に属する確実性を示す信頼性指数を、分類された対象領域に結合することができる。
特徴ベクトルが、１つの対象領域の配向された勾配のヒストグラムである。ヒストグラムの使用は、簡単で実施しやすい。
確定ステップは、
分類された各々の対象領域が確率分布により示される画像に対応する確率マップを構成することと、
少なくとも１つの局部的な最大値を得るように、確率マップに集められた前記確率分布を累積することと、
確率マップの局部的な最大値の各々に最も近い対象領域を確定することと、
の各サブステップを備える。
確率マップの使用は、簡単で実施しやすい。これにより、歩行者を示すことができる領域で確率を累積することができる。
１つまたは複数のセンサによる検知が、超音波センサにより行われる。これによって、車両に近い検知がカバーされる。
１つまたは複数のセンサによる検知が、レーダセンサにより行われる。これによって、車両に遠い検知がカバーされる。
検知方法は、さらに、取得画像に投影変化を付与する追加ステップを含む。これによって、特に、画像の境界にある障害物について、取得画像におけるひずみを減らすことができる。
検知方法はさらに、取得画像のシーケンスで分類された対象領域の追加フォローアップステップを含む。これによって、確定された有効領域の存在を確認し、画像シーケンス全体でその位置を平滑化することができる。
本発明の第２の目的によれば、本発明は、自動車の環境における障害物の検知装置に関し、この装置は、
前記環境の取得画像における形状認識により障害物の第１の検知を行うことによって、少なくとも１つの第１の対象領域を決定し、
前記環境の取得画像のシーケンスでの車両に対する動き検知により障害物の第２の検知を行うことによって、少なくとも１つの第２の対象領域を決定し、
それぞれ、所定の特徴に対して第１の対象領域および第２の対象領域に付与される第１の信頼性指数および第２の信頼性指数によって、検知された障害物を分類し、
前記信頼性指数に対して、また、前記対象領域に対して、検知された障害物での分類を確定し、その結果、確定された有効領域を得ることが可能であることを特徴とする。
限定的ではない実施形態によれば、検知装置は、さらに、
所定の位置で、結果として生じた第１の閾値より小さい検知範囲で１つまたは複数のセンサにより障害物の第３の検知を実施し、
この所定の位置を基準目印に投影し、
確定された対象領域を前記基準目印に投影し、
得られた２つの投影を対応させて、この対応に応じて、分類された障害物に所定の位置を割り当てることができる。
本発明の第３の目的によれば、本発明は、情報処理ユニットにより実行可能な１つまたは複数の命令シーケンスを含み、前記命令シーケンスの実行により、上記の特徴の任意の１つに従ってこの方法を実施可能である、コンンピュータプログラム製品に関する。
本発明と、そのさまざまな用途は、添付図面を参照しながら、以下の説明を読めば、いっそう理解されるであろう。
この図は、本発明の少しも限定的ではなく例としてのみ示したものである。
本発明による検知方法の限定的ではない第１の実施形態を示すフローチャートである。 限定的ではない第１の実施形態による動き検知ステップを示す、図１の検知方法の限定的ではない第１の実施形態のフローチャートである。 限定的ではない第２の実施形態に従って動き検知ステップを示す、図１の検知方法の限定的ではない第１の実施形態のフローチャートである。 図２の第１の実施形態と図３の第２の実施形態とを組み合わせた動き検知ステップを示す、図１の検知方法の限定的ではない第１の実施形態のフローチャートである。 図１から４の検知方法の分類ステップの限定的ではない実施形態を示すフローチャートである。 図１から４の検知方法の確定ステップを示す、限定的ではない実施形態のフローチャートである。 図１から４の検知方法の投影変化ステップにより使用される画像と、結果として得られる画像とを概略的に示す図である。 図１から４の検知方法の投影変化ステップにより使用される画像と、結果として得られる画像とを概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１から４の検知方法の形状認識による検知ステップにより使用される画像を概略的に示す図である。 図１、２、４の検知方法の動きによる検知ステップの、限定的ではない第１の実施形態により使用される画像を概略的に示す図である。 図１、２、４の検知方法の動きによる検知ステップの、限定的ではない第１の実施形態により使用される画像を概略的に示す図である。 図１、２、４の検知方法の動きによる検知ステップの、限定的ではない第１の実施形態により使用される画像を概略的に示す図である。 図２１から２４の動き検知ステップで使用される、カメラ移動時の画像内の１点の移動を示す原理図である。 図１、３、４、５の検知方法の動き検知ステップの限定的ではない第２の実施形態で使用される画像を概略的に示す図である。 図１、３、４、５の検知方法の動き検知ステップの限定的ではない第２の実施形態で使用される画像を概略的に示す図である。 図１、３、４、５の検知方法の動き検知ステップの限定的ではない第２の実施形態で使用される画像を概略的に示す図である。 図１、３、４、５の検知方法の動き検知ステップの限定的ではない第２の実施形態で使用される画像を概略的に示す図である。 図１から４の検知方法の障害物分類ステップの限定的ではない実施形態により使用される配向勾配のヒストグラムを概略的に示す図である。 図１から４の検知方法の障害物分類ステップの限定的ではない実施形態を説明する信頼性指数分布を示す概略図である。 図１から４の検知方法の障害物分類ステップの限定的ではない実施形態を説明する信頼性指数分布を示す概略図である。 図１から４の検知方法の障害物分類の確定ステップの限定的ではない実施形態を説明する図である。 図２８の確定ステップでの使用を説明するガウス関数の３Ｄ概略図である。 図２８の確定ステップでの使用を説明するガウス関数の２Ｄ概略図である。 本発明による検知方法の限定的ではない第２の実施形態を示すフローチャートである。 限定的ではない第１の実施形態によるセンサによる検知ステップを示す、図３１の検知方法の限定的ではない第２の実施形態のフローチャートである。 限定的ではない第２の実施形態によるセンサによる検知ステップを示す、図３１の検知方法の限定的ではない第２の実施形態のフローチャートである。 図３２の第１の実施形態と図３３の第２の実施形態とを組み合わせたセンサによる検知ステップを示す、図３１の検知方法の限定的ではない第２の実施形態のフローチャートである。 図３２と３４の検知方法により使用される限定的ではない第１の実施形態に従って超音波センサによる検知装置を含む車両と、前記検知装置の検知ゾーンとを概略的に示す図である。 図３３と３４の検知方法により使用される限定的ではない第２の実施形態に従ってレーダセンサによる検知装置を含む車両と、前記検知装置の検知ゾーンとを概略的に示す図である。 図３５の超音波センサと図３６のレーダセンサとによる検知装置を含む車両と、個々の検知ゾーンとを概略的に示す図である。 図１から４の検知方法に従って使用される画像取得装置を含む車両と、前記取得装置の検知ゾーンとを概略的に示す図である。 図３８の画像取得装置と、図３５の超音波センサによる検知装置とを含む車両と、個々の検知ゾーンとを概略的に示す図である。 図３８の画像取得装置と、図３６のレーダセンサによる検知装置とを含む車両を概略的に示す図である。 図３８の画像取得装置と、図３５の超音波センサによる検知装置と、図３６のレーダセンサによる検知装置とを含む車両を概略的に示す図である。 障害物ならびに、図３５の超音波センサによる検知装置と図３６のレーダセンサによる検知装置とにより検知される位置パラメータを示す図である。 図３１から３４の検知方法の投影ステップによって得られる、障害物検知に関する位置と対象領域との基準目盛への投影を説明する図である。 図３１から３４の検知方法の投影ステップによって得られる、障害物検知に関する位置と対象領域との基準目盛への投影を説明する図である。 図３１から３４の方法を用いる検知装置の構造の限定的ではない実施形態を示す動作ブロック図である。
すべての図において、共通の要素には同じ参照符号を付している。
本発明による自動車の環境における障害物検知方法は、図１の限定的ではない第１の実施形態に記載されている。
自動車とは、あらゆるタイプの駆動車両を意味することに留意されたい。
最初の実施
この実施モードに従い、検出プロセスは、図1に示す下記のステップで構成する:
- 環境Eで得た画像Iの中で形状認識により障害物Oの1番目の検出をして、最低でも、1番目の対象地域ROI1を規定する（ステップ 検出_形状(ROI1, I )。
- 上述の環境Eで獲得したIの画像シーケンスSQに対する自動車Vに対する動作検出により、障害物Oの2番目の検出を行って、最低でも、ROI2の対象地域を検出する（ステップ検出_動作(RO12 SQ)。
- 一定の特性Cに対して1番目のROI1と2番目のROI2で使用した信頼の指数である1番目のIC1と2番目のIC2で検出した障害物Oを分類し（ステップ 分類(IC1, IC2, C)、
- 信頼指標IC1とIC2と対象地域ROI1とROI2に対して検出した物体Oに対する分類の有効性を確認する (ステップ 有効性_分類(IC1, IC2, ROI1, ROI2))。
非限定の実施モードでは、これ以外に、検出プロセスは、獲得した画像に、予想変化を適用する追加ステップもある（ステップ 修正（1））。
非限定の実施モードの場合、検出プロセスには、これ以外に、画像IのシーケンスSQ獲得ステップがある。このステップは、別のプロセスの初めのほうでも実施できることを特記する。
記載したプロセスの非限定の実施モードの記載の続きとして、プロセスは、画像獲得ステップと予想変化ステップも含む。
プロセスのステップの詳細を下記に挙げる。
1番目のステップでは、 自動車Vの環境Eの画像IのシーケンスSQを獲得する。
この獲得は、カメラCAMを使用して行う。
画像獲得方法は、専門家の間では良く知られているので、ここでは特記しない。
2番目のステップでは、 獲得した画像Iへ予想変化を適用する。これにより、カメラCAMによるひずみを相殺できる。このようにして、画像Iの縁にある障害物Oのゆがみを直す。図７と図8の図式の例のように、獲得した画像I1から、画像の修整である獲得した画像I2を得る。
3ステップでは、 上述の環境Eで獲得した画像Iの形状認識により、障害物Oの1番目の検出を行い、最低でも1番目の対象地域ROI1を規定する。
実施モードでは、 形状認識による1番目の検出は、＜アダブース＞と呼ばれる専門家の間では良く知られた方法を使用し、これは＜イスラエル 32000ハイファ、電気エンジニアリアリング・テクニオン部ならびにオーストラリア、ACT 0200 キャンベラ、オーストラリア国立大学、情報科学エンジニアリング研究学校のロン・メイヤーとグンナー・ラッチによるブースティングとてこの作用の序文＞に記載されている。
この方法は下記を基礎とする:
1) 下記を使用する学習初期ステップ :
- 規定サイズSzの参考レッテルVIGNを使った形状認識。本件の例の場合、歩行者である障害物Oを表すレッテルシリーズVIGNを基礎とする。同様に、非限定の例では、VIGNレッテルは、48*24 ピクセル PxのサイズSzである。レッテルシリーズには、歩行者のいるポジと呼ばれるレッテル全体と、歩行者のいないネガと呼ばれるレッテル全体がある、
- (英語で・・強い分類・と呼ぶ)強力な分類全体CLs全体を得ることができる遺伝アルゴリズム（英語で・遺伝アルゴリズム・）。この強力な分類CLsには、複数の弱い分類CLw（英語で・弱い分類・）を含む。弱い分類CLwと強力な分類CLsの獲得は、参考レッテルVIGNEシリーズのピクセル毎の比較を基礎とする。
強力な分類CLs毎に、一定の多数の弱い分類のために、レッテルシリーズVIGNに対する障害物の適切な検出率を表す重量を組み合わせている。
弱い分類 CLwは、同じレッテル内の１つのピクセルと他のピクセルの比較をする単一テストで構成している。これにも同じく重量を組み合わせている。
遺伝アルゴリズムにより、参考VIGNレッテルシリーズに使用した弱い分類CLwの組み合わせを計算し、それにより、強力な分類CLsに組み合わせた適切な検出率を達成できる。
この学習ステップは検出プロセスの初めで実施できることを特記する。
2) 図9から図16に示した ように、下記のステップを含む・アダブースト・・方法：
a) 獲得した画像の反復可能なサンプリングのもと、画像・・・のピラミッドを作る。
実際には、図9で示すように、サブサンプリングの画像lsrから起因する縮小縮尺SRを使用し、この画像について、もう一度縮小縮尺SRを使用し、同じ作業を続けていく。
非限定の実施モードの場合、図9から図14で示すように、繰り返すたびに、異なる縮小縮尺SRを使用する。これにより、到達したい障害物Oの検出距離が適応できるので、画像Iの中にある様々な距離の障害物に到達できる。
同様に、図9から図14に示した非限定の例の中で、
- 獲得した画像Iについて、SR1に適用した縮小縮尺は、1sr1でサブサンプリングした1番目の画像の結果で、1.2となる、
- lsr1でサブサンプリングした画像について、SR2に使用した縮小縮尺は、1sr2でサブサンプリングした2番目の画像の結果、2となる、
- lsr2でサブサンプリングした画像について、SR3に使用した結果、縮小縮尺は、1sr3でサブサンプリングした3番目の画像の結果、2.3となる、
- lsr3でサブサンプリングした画像について、SR4に使用した結果、縮小縮尺は、1sr4でサブサンプリングした2番目の画像の結果、3となる、
- lsr4でサブサンプリングした画像について、SR5に使用した結果、縮小縮尺は、1sr5でサブサンプリングした5番目の画像の結果、4となる、
- lsr5でサブサンプリングした画像について、SR6に使用した結果、縮小縮尺は、1sr6でサブサンプリングした6番目の画像の結果、5となる。
獲得した画像あるいは縮小した画像lsrの中で検出したい障害物Oの距離に従った縮小縮尺SRを採用したことを特記する。
上述の非限定の例により、対象自動車Vに対して0から9メートルの間にある障害物の検出を実施できる。
b) サブサンプリングした各画像lsrについて・
- 一定の障害物O、ここでは歩行者である代表的レッテルVIGNの付いたこの画像を走査する。レッテルVIGNには、歩行者の代表的Szの一定の大きさがある。非限定の例では、走査は、左から右へ上から下へ行う。
- 上述の画像lsrの中のレッテルVIGNの連続した位置で、ClsとClwの分類全体を使って画像の中身を分析する。この場合、2つの分類は、上述に記載したように、学習段階で決定する。
同様に、走査の際、画像lsrの中のレッテルの位置POSについて、図16（・アダブースト・方法の使用例）で示すように、下記のサブステップを実施する。
i) 通常のポジションPOSに、レッテルVIGNの上の1番目の強力な分類CLs0の弱い分類CLwを組み合わせる。
組み合わせた単一テストの有効性が確認済み、すなわちポジの弱い分類CLwの重量を加算する。
この加算分と強力な分類CLs0の重量と比較する。
ii) 結果がネガな場合（加算分が強力な分類CLs0の重量より小さい）、レッテルVIGNのポジションPOSを拒否する（ステップ拒否_ポジション）。これは、通常のポジションでのレッテルVIGNにはここでは歩行者である障害物Oが全くないことを意味する。レッテルの次のポジションPOSに移る。
iii) 結果がポジの場合（すなわち、加算分が強力な分類CLs0の重量より大きい）、次の強力な分類CLs1を適用し、ステップiを再び繰り返す。結果がポジである限り、次の強力な分類CLsnへ移る。
全ての強力な分類CLsがプラスの結果になった場合、通常のポジションでのレッテルVIGNに、ここでは歩行者である障害物Oがあることを意味する。この場合、レッテルVIGNのポジションPOSを記憶し（表示したステップ メモリー_ポジション）、次のレッテルVIGNに移る。
画像lsrの各ポジションPOSの レッテルVIGNのステップ i) からステップ iii)を繰り返す。 このようにして、万が一の場合でも、サブサンプリングした画像について、記憶したポジションPOS全体を得ることができる。
同様に、獲得した画像またはサブサンプリングした画像のレッテルVIGNの記憶したポジションPOS全体を得ることができる。レッテルVIGNEの記憶したポジションは、同様に、最初の対象地域ROI1を表す。
図9から図14では、レッテルは、長方形で範囲が限定されている。もちろん、長方形でなく別の形にすることも可能である。
縮小縮尺SRの値を上げれば上げるほど、自動車V近くのここでは歩行者である多くの障害物を検出できる。
同様に、1番目のサブサンプリングした画像lsr1について、検出されたのは遠い障害物（レッテルVIGNに入る）で、画像lsrl5と画像Isr6について、検出されたのは近い障害物（レッテルVIGNに入る）である。図9から図14の非限定の例の場合、歩行者Oは、画像lsr5と画像lsr6でのみ検出されている。何故なら、これらの2枚の画像において、歩行者はレッテルVIGNに含まれているからである。
他の実施モードでは、走査と分析のサブステップで、サブサンプリングのサブステップを変化できる。
c) 1番目の対象地域ROI1は、図15で示すように、計算された1番目の対象地域を使って、画像に組み合わせた縮小縮尺によりこのROI1を増幅して、最初に獲得した画像lの中で、再び位置決めされる。
非限定の実施モードの場合、形状認識による1番目の検出には、サブサンプリング画像lsrでの、走査ゾーンZbを決めるサブステップが含まれる。このサブステップを、同様に、サブサンプリング画像lsr2からlsr2までの各画像に適用する。これにより、処理時間を短くできる。事実、このようにして、レッテルVIGNの障害物Oを検出できないと分かっている画像lの中の場所の走査をしなくともすむ。なぜなら、
- 障害物Oは、レッテルVIGNより大きい。
- 障害物Oは、空を表す部分のゾーンの外の画像の一部の中にあることはない。
同様に、非限定の実施モードでは、走査ゾーンZbには下記が含まれる・
- レッテルVIGNを使って画像の中にいかなる障害物も検出できない境を決める上のラインHと、
- レッテルVIGNを使って画像の中にいかなる障害物も検出できない境を決める下のラインL。
図9から図14に見えるように、走査ゾーンZb1、 Zb2、 Zb3、 Zb4、 Zb5、 Z6 (2本の点線の水平線で表している)を Isr1、 Isr2、 Isr3、 Isr4、 lsr5、 Isr6のサブサンプリング画像に対して決定した。
非限定の例について・
- サブサンプリングの画像lsr1について、走査ゾーンZb1の下のラインは、10メートルの距離Dに配置した。
- サブサンプリングの画像lsr2について、走査ゾーンZb2の下のラインは、6メートルの距離Dに配置した。
- サブサンプリングの画像lsr3について、走査ゾーンZb3の下のラインは、3.5メートルの距離Dに配置した。
- サブサンプリングの画像lsr4について、走査ゾーンZb4の下のラインは、2メートルの距離Dに配置した。
- サブサンプリングの画像lsr5について、走査ゾーンZb5の下のラインは、1メートルの距離Dに配置した。
- サブサンプリングの画像lsr6について、走査ゾーンZb6の下のラインは、画像lsr6の下の境界に配置した。
4番目のステップの場合、 環境Ｅの獲得した画像lシーケンスの自動車Vに対する動作検出による障害物Oの2番目の検出を実施して、最低でも2番目の対象地域ROI2を規定する。
1番目の実施モード
非限定の1番目の実施モードでは、2番目の検出（図2に表すステップ検出_動作１ (Iref, Ires, Smax, H) )は、下記のサブステップを含む。
a) 画像シーケンスSQの画像lについて再計算した背景画像lrefを作る。
非限定の実施モードの場合、このステップは、・運転平均方法・と呼ばれ専門家の間で良く知られて、G.クリストジアノポロス、P.B.バーチ、R.C.D.ヤング、C.R.ヤングの文書、“運転平均モデルを使った、乱れた背景シーンから動く物体の分割”、SPIE誌、巻5822、pp.13-20 2005年に記載されている。
同様に、図17から図19の中で、最低でも1つの障害物Oがあり、ここでは一人の歩行者のいる通常の獲得した画像Ic（画像シーケンスの）について非限定の例で示したように、次のように、背景画像lrefを計算する：
Iref =α*Ic+(1-α)*Iref.
この式で、 αは学習のパーセンテージである。
非限定の例において、 SYMBOL 97 \f "Symbol" \s 12 = 0.05
この学習パーセンテージは、新しいlc画像の5％と前のlrefのパーセンテージの95％を保存していることを意味している。
別の言い方で言えば、背景は、画像の物体（障害物を含む）に従い、変化する。
背景の一番目の画像lrefは、獲得したシーケンスSQの中の1番目の獲得した画像lであることを特記する。
b) 合力画像であるlresの結果である画像シーケンスSQの中の通常画像から背景画像lrefを外す。
背景画像lrefを得た後、この背景画像lrefから通常の一番目の画像lcを取り除き、合力画像lresを得る。
このようにして、 Ires =絶対値 (Ic-Iref)になる。
このステップを画像シーケンスの獲得したIの画像全体に実施する。
c) 限界値Smaxに従い、合力画像lresの中の一定の動作を分離する。
非限定の実施バリエーションについて、上述の限界値Smaxと共に、合力画像の各ピクセルの強度を比較するが、これは、合力画像lresの中に動作があることを意味する。
d) 分離から、2番目の対象地域ROI2を引き離す。
このために、非限定実施バリエーションの場合、下記のやり方で、合力画像を二進法にする・
騒音BRの代表的最大強度限界値Sbrと、合力画像のピクセルPx全てを比較する。
- ピクセルPxの値が、強度限界値Sbrより小さい場合、非限定の例については、この値をゼロ（黒）の位置にする。
- 大きい場合、非限定の例について、この値を255（白）の位置にする。
非限定の例について、強度限界値Sbrを規定するため、
- 各合力画像lresから、灰色レベルの強度最大値を分離する。
- この最大値のパーセンテージと同じ強度限界値Sbrを設定するが、この場合、パーセンテージは騒音BRを表す。
非限定の例について、パーセンテージは20％である。
同様に、合力画像の二進化をしながら、騒音BRを消滅し、動いている障害物Oの代表的な2番目の対象地域ROI2を発生させる。
同様に、動いている障害物Oと騒音を区別する。
騒音BRは、風のせいで動く1本の木の土の影や、たとえば動いている雲のせいで画像に対する光度の変化になりえることを特記する。
非限定の実施モードの場合、2番目の検出DET_MVT1は、これ以外に、下記のステップを含む。
a) 互いに一致している各合力画像の対象地域ROI2を一つに集める。互いに交り合う対象地域ROI2は、同じ障害物Oを代表している。
b) 獲得したこれらの2番目の対象地域ROI2の周辺の長方形を規定するが、これらの長方形がこの場合2番目の対象地域ROI2を定義する。
非限定の実施モードの場合、長方形を規定するには、対象地域ROI2の最小先端と最大先端を採用する。
非限定の実施モードの場合、獲得した画像Ｉの水平HZの特性ラインの上にある対象地域ROI2（図17から図19までに表示）は、考慮しない。事実、歩行者のような障害物は水平線HZの上には一切ないことが分かっている。
2番目の実施モード
図3（ステップ 検出_動作2(Vmi, Vmv )）で表した非限定の実施モードの場合、動作による2番目の検出は下記のサブステップが含まれる。
A) 獲得した画像Iに対する対象点Ptlを規定する、
B) これらの対象点を次の画像l+1に対し追い、これらの移動を決定する、
C) 類似した移動Vmiを持つ上述の対象点Ptlの2番目の対象地域ROI2を1つに集める、
D) 自動車Vの移動Vmvを規定し、
E) 自動車Vmvの移動の結果ではない画像Iの中で、動作Vmiのある2番目の対象地域ROI2を分離する。
これらのサブステップを下記に記載する。
A) 対象点Ptlを規定する。
このため、非限定の実施モードで、＜ハリス・コーナー＞と呼ばれ専門家の間で良く知られている方法を使用する。対象点Ptlのポジションxとyを得る。
図21の非限定の図式の獲得した画像l1の例で分かるように、対象点Ptl（黒い点）を決定した。
B) 対象点 Ptlを追う。
次の画像l+1の画像lの対象点Ptlの追跡から、画像lと次の画像l+1のこれらの対象点Ptlの移動ベクターVmiを取り除く。
非限定実施モードについて、・リューカスとカナデ方法・と呼ばれ、専門家の間で良く知られ、B.DリューカスとT.タナカ著の“立体効果視覚を使った反復記録技術”、IJCAI'81 pp 674-679に書かれている方法を使用する。
次の獲得した画像l1+1に対する図22の非限定の図式例で分かるように、対象点Ptlの新しいポジジョン（白い点）を決め、対象点Ptlの移動ベクターVmiも決めた。例として、画像l1の一番目の障害物O1に対して、対象点Ptl1が次の画像l1+1に対し移動し、対象点Ptl1+1を与えた。別の瞬間に得た環境の同じ要素に対応するこれらの2つの対象点は、移動ベクターVmi1を与える。
サブステップAとＢは、S.S ビーチマンとJ.Lバロン著の西オンタリオ大学-ＡＣＭ 計算調査、27巻、No.3、1995年9月に詳しく書かれていることを特記する。この方法・・視覚の流れ・は、専門家の間ではよく知られているので、ここでは詳細を書かない。
C) 2番目の対象地域Rol2の再結集。
同様に、つぎのような同じ移動ベクターVmiを持つ対象点Ptlを1つに集める：
- 同じ方向に移動する、
- 同等の規格を持つ（ピクセルPxの数と同じ移動）。
このため、非限定な実施モードでは、関連構造部品のラベル付け（英語で・レベル張り・として専門家の間で知られている方法を使用する。
この再結集から、2番目の対象地域ROI2を決定する。このため、1つに集める移動ベクターの先端点を採用する。
図22の図式例の場合、下記と一致する2つの対象地域ROI21と ROI22がある・
- 移動を観察した歩行者である障害物 O1、
- 移動を観察した歩行者である障害物 O2

D) 自動車Vの移動 Vmvを決定する。
自動車Ｖの移動を決定するには、この自動車Vが与える路程値（車輪速度、横揺れ速度）を使用する。
自動車Vの移動は、図20に従い、自動車Vに固定したカメラCAMの移動が表す。図20の画像目印には、カメラCAMの点pから点p'の移動を表している。点 pは、点pの画像目印の投影で、点p'は、点p'の画像目印の投影であり、カメラCAM移動後はポジションPに一致する。
非限定の実施モードの場合、自動車Vに固定したカメラCAMの移動を表す下記の方程式を使用する:
Figure 2011014148
この方程式の中で、
Ωx:自動車縦揺れ角度
Ωy:自動車横揺れ角度
Ωz:自動車偏揺れ角度
F:カメラCAMの焦点
Ty:画像lと次の画像l+1の間の自動車の垂直移動
Tz:画像lと次の画像l+1の間の自動車の縦移動
Tx:画像lと次の画像l+1の間の自動車の横移動
Xn,Yn:カメラCAMの目印
Zn:カメラに対する障害物Oの距離
xn+1-xn:画像lと次の画像l+1の間の障害物O自動車の画像の横座標のポジションの差
yn+1-yn:画像lと次の画像l+1の間の対象物Oの画像に対する縦座標のポジションの差
非限定の実施モードの場合、自動車速度を、自動車が駐車状態の代表的な限界値以下の状況にする。非限定の例の場合、限界値は時速20キロである。
この場合、 SYMBOL 87 \f "Symbol" \s 12x = 0 と SYMBOL 87 \f "Symbol" \s 12y = 0となる。
また、非限定実施モードでは、ハンドルの角度に対する自動車の移動のみを考慮する。
このように、 Ty = 0となる。
非限定実施モードでは、距離Znは、先験的に障害物Oの幅に対して仮定して、ステップCで事前に計算した2番目の対象地域ROI2の幅から、計算する。
同様に、自動車移動と瞬間T+1のポジションから、瞬間T+1(xn+1, yn+1)での画像Iの障害物の新しいポジション予測し、自動車Vmvの移動により誘発された障害物Oの予想移動Vmpを決めることができる。ここでは、画像Iの障害物は動かないと予想する。
E)2番目の対象地域ROI2を分離する。
このために、この時、計算した2つの移動VmiとVmpを比較する。
Vmi=Vmpの場合、動かない移動ベクターVmiを組み合わせた2番目の対象地域ROI2は自動車Vについて移動しないと結論する。この場合、障害物Oを表す2番目の対象地域ROI2を考慮しない。
Vmi≠・・・の場合、 番目の対象地域ROI2は移動し、自動車Vについて移動すると結論する。この場合、障害物Oを表す2番目の対象地域ROI2を考慮する。
図23の図式例の場合、自動車に対して移動中の障害物O1に一致する唯一の対象地域ROI21のみをとっておく。
障害物O2に対応する対象地域ROI22は採用しなかった。事実、障害物O2は、自動車に対して動かない歩行者である。観察した歩行者の移動は、自動車の移動が原因ではなかった。
非限定の実施モードの場合、2番目の対象地域ROI2（考慮する）信頼指標IC2を組み合わせる。
非限定の実施バリエーションの場合、IC2=絶対値 ((Vmi-Vmp)/ Vmp)である。
同様に、比率が大きくなればなるほど、障害物Oが移動障害物である可能性が大である。
3番目の実施モード
2番目の対象地域は、図4で示したように、上述に記載した1番目と2番目の実施モードに従う動作検出による障害物の2番目の検出を行って規定する。
ステップ5では、 一定の特性Cと比較して、1番目ROI1と2番目ROI2の対象地域にそれぞれ信頼指数である１番目のIC1と２番目のIC2を適用して、検出した障害物Oを分類する。
対象地域ROI1とROI2は、ステップ3と4で規定した地域であることをもう一度伝える。
しかしながら、図3と図4に表す実施モードでは、2番目の実施モード(検出_動作2(Vmi, Vmv)に従い、動作検出により決めた2番目の対象地域ROI2 は、このステップでは使用しない。事実、この分類ステップでは、歩行者に限定される対象地域ROI1と ROI2 から、障害物Oを分類できるが、2番目のモードに従う動作検出DET_MVT2の際の対象地域ROI2は、歩行者だけを含むわけではない。
この分類ステップの前に、2つのタイプの集団を規定し、その内１つがつぎのような歩行者である。この決定は一般に記載した検出プロセスの初めのほう実施することを特記する。
一部が歩行者のような障害物を含み、一部は障害物を含まない参考レッテルVIGNrefの多数性Mから、上述のレッテルで検出した周辺の方向から、参考棒状グラフHISTREFを作る（サブステップ 作成_棒グラフ(VIGNref)。
同様に、非限定の実施モードの場合、一定の特性とは、方向を決めた勾配の棒状グラフである。非限定の実施モードの場合、9つの方向を使用する（360°に対する9つの方向と一致する）。これにより、計算時間と分類の質の間に適切な妥協ができる。
レッテルVIGNrefの周辺のピクセル毎に、方向を計算し、9つの方向が何処に属しているかを観察する。
レッテルVIGNref 周辺のピクセル全体に対して、方向規格NORMを加算する。このようにして、図25で表すような棒グラフを得ることができる。
同様に、図26で2D(DI1とDI2)での図式方法で表したように、2つのタイプの集団（歩行者を含む集団と歩行者なしの集団）に分けた参考棒グラフMを得る。ここでは9つの寸法の・棒グラフ・ベクターであり、もっと適切な表示とは、9つの寸法を使ったものであることを特記する。簡単に表したかったので、ここでは2つの寸法だけを表している。
これらの2つの集団を分けるため、学習アルゴリズムが決定の境界を決める。
非限定の実施モードの場合、この境界を、大幅な許容を持つ分離機を使って作る。この方法は、専門家の間では知られているSVM方法と呼ばれ（英語で・サポート-ベクターマシーン・）、コリーナ・コートとヴラディミル・ヴァプニック著でクルワー・アカデミック出版発行した文書に記載されている。
境界は、非限定の方法では、多項式の関数（たとえば図26）またはガウス関数である（たとえば図27）。
分類ステップは下記のサブステップを含む。
a) （1番目の実施モード 検出_動作1に従い形状認識と動作検出によりそれぞれ）事前ステップで決めた対象地域ROI1とROI2から、特性ベクター(C)を作る（図５に表示したサブステップ 作成_棒グラフ(ROI1とROI2)。
非限定の実施モードの場合、特性ベクターCは、対象地域ROI1とROI2の方向づけた勾配の棒状グラフである。非限定の例の場合、9つの方向を使用する。このように9つの値のある、・棒状グラフ・を得る。

b) この特性ベクターCを、学習ステップ時に事前に決めた決定境界DGと比較して分類する（上述に書いたように）（図5で表示したサブステップ 比較(HIST,DG))。
このため、・棒状グラフ・で得たベクターと決定境界DGと比較する。 境界から離れれば離れるほど、ある集団への帰属の可能性が高くなる。さらに、境界に近づくほど、この集団への帰属は曖昧になる。
c) この決定境界DGに対する特性ベクターの距離の関数ICに組み合わした信頼指数を決定する（図5で表したサブステップ 検出(IC1, IC2) )。
1番目と2番目の対象地域ROI1とROI2に使用したので、作成した・棒状グラフ・・HISTのベクターにも使用した1番目と2番目の信頼指数を規定する。
同様に、・棒状グラフ・ベクターが境界DGに近づくほど、組み合わせた信頼指数ICはたとえば0.5に近くなる（信頼指数の値が0と1の間の場合）。
反対に、・棒状グラフ・ベクターが地域POP1の境界DGに遠くなるほど、 集団POP1への帰属信頼指数IC1は高くなり、集団POP2の帰属信頼指数IC2は低くなる。
図26と図27の非限定の例の場合、最初のPOP1は、歩行者を表す1番目の集団である。この場合、指数が、この地域POP1で境界DGの遠くにある場合、信頼指数IC1は１に近い。
同様に、棒状グラフHISTベクターに対して、1番目と2番目の対象地域ROI1とROI2にそれぞれ使用した信頼指数IC1とIC2を使って障害物Oの分類を行う。この場合、分類は、歩行者か否か、障害物の帰属する集団を決めることができる。
6番目のステップの場合、 図28に明示したように、信頼指数IC1とIC2と対象地域ROI1とROI2に対して検出した物体Oの分類の有効性を確認する。
対象地域ROI1とROI2は、ステップ3と4で決めた地域で、信頼指数IC1とIC2は、ステップ4（2番目の実施モード 検出_動作2(Vmi, Vmv)に従う動作による検出から直接でたもの）とステップ５（分類の結果）で決めた信頼指数であることを再確認する。
非限定の実施モードの場合、有効性確認は図6で示したように下記のサブステップを含む。
a) 分類した各対象地域ROI1とROI2が、確立分配（図6に従うサブステップ 作成_P_地図(IC1, IC2, Dim) ）で表される画像Iに一致する確立地図P_MAPを作る。
このため、加算したガウス関数全体を基礎とした確立地図P_MAP を作る。この場合、ガウス関数は下記から作る:
- ガウス関数Gの最大値を表す指数である信頼指数 IC1 と IC2、
- ガウス関数Gの割り当てを表す寸法である、1番目と2番目の対象地域ROI1とROI2の寸法。採用する寸法は高さと幅である。
同様に、数学式でガウス関数Gを表すと、次の式になる・
Figure 2011014148
オイラーの数e。
ガウス関数Gは、鐘の形の対称的曲線のグラフで表す。
このようにして、下記を得る・
- a = 信頼指数IC1とIC2で表す鐘の高さと
- c = 対象地域ROI1とROI2のサイズ(幅)で表す鐘の幅、
- b =曲線頂上のポジション
同様に、確立地図P_MAPは、多数のガウス関数を含み、図29の非限定の例で示すように、一定のガウス関数は、互いに交わったり、しなかったりする。
b) 図6で示したように、少なくとも部分最大値を得るような方法で、確立地図内で、互いに交わった確立分配を加算する(サブステップ ADD_G(P_MAP, ICF)。
このため、互いに交わった確立地図P_MAPのガウス関数Gを加算する。
同様に、結果の信頼指数の多数性の結果として部分最大多数性を得る。部分最大値により、歩行者の可能性が最も大きい障害物Oの位置を得ることができる。
図29の非限定の図式例が示すように、ガウス関数Gの3つの最大値を得る。
非限定の実施モードにおいて、結果の信頼指数ICFは最大１になる。
c) 確立地図P_MAPの各部分最大値に最も近い対象地域ROI1とROI2の有効性を確認する(図6に示したサブステップ 有効性_分類(ROI1, ROI2, ICF)。
非限定の実施バリエーションについて、部分最大値に対して、頂上がこの部分最大値に最も近い（信頼性指数が部分最大値に使用された）対象地域ROI1とROI2 を選び、IC1とIC2に組み合わせた信頼性指数に対し、結果信頼性指数ICFを割り当てる。このバリエーションにより、前のステップで事前に決めたので既に存在する対象地域ROI1と ROI2を参照し、障害物O(または障害物Oに中心合わせした既存の対象地域)の正確な位置を決めることができる。
同様に、図30の図式の説明例（簡素化のために2次元）の場合、2つのガウス関数g1、g2と部分最大値gcがある。ガウス関数2は、頂上が部分最大値の最も近いものである。組み合わせた対象地域RO1は、従って有効性が確認される。
別の非限定実施バリエーションの場合、ガウス関数を加算した信頼性指数ICFを採用できる。この場合、対象地域RO1の選択は、この信頼性指数に中心を合わせた対象地域RO1である。
非限定の実施モードで、有効性確認ステップはこれ以外に、下記を行う追加サブステップが含まれる・
d) 図6に示す検出限界値SG（サブステップ 比較(G,SG)に対して合致するガウス関数の部分最大値を比較する。
各部分最大値がこの限界値より小さい場合、結果信頼性指数ICFはゼロである。同様に、歩行者は一切検出されないが、ガウス関数は騒音あるいは誤りの検出に相当すると評価する。この場合、加算に使用した対象地域ROIを一切とっておかない。
同様に、分類の有効性確認により、歩行者のいる分類ステップを実施した1番目と2番目の対象地域ROI1とROI2の中から有効性が確認済みの対象地域を選ぶことができる。
2番目の実施モード
2番目の実施モードに従い、1番目のモードで記載したステップ以外に、検出プロセスは、これ以外に、図31で示したように他の追加ステップがある：
7) 決定したポジションPOSでの1番目の結果限界値S1より小さい検出範囲で、センサー(1台または複数)を使い、3番目の障害物検出を実施する(ステップ 検出_センサ(POS, S1))。
8) 参考目印COORefについて、規定したポジションPOSを投影する(ステップ 投影_P1(POS, COORef))。
9) 上述の参考目印COORef について、有効性確認済みの対象地域ROIを投影し(ステップ 投影_P2(ROI1,ROI2)、
10) こうして得た2つの投影PJ1とPJ2を一致させ、一致の状態と有効性確認に従い、分類済み障害物Oに対して、規定ポジションPOSを割り当てる（ステップ 相関関係(PJ1, PJ2)。
非限定実施モードの場合、検出プロセスは、これ以外に、獲得した画像シーケンス上の障害物検出を確認する追加ステップがある(ステップ トラック(POS))。これにより、有効性確認済みの対象地域の存在を確認し、画像IのシーケンスSQについてポジションを滑らかにできる。
記載の続きとして、非限定実施モードに従い、プロセスには、この追加ステップが含まれる。
ステップの詳細を下記に記載する。
7番目のステップの場合、規定ポジションPOSの結果となる1番目の限界値S1より小さい検出範囲を使って、1台または複数のセンサで、障害物Oの3番目の検出を実施する。
・ 1番目の実施モード
図32で示した1番目の非限定実施モードの場合、3番目の検出は、超音波センサULSを使って実施する(ステップ 検出_センサ1(POS, S1))。1番目の限界値 S1は、超音波センサULSの最大検出範囲を表している。非限定の例の場合、1番目の限界値 S1は、この時4メートルである。超音波センサによる検出は、専門家の間ではよく知られているので、ここでは記載しない。図42の非限定の図式例で示すように、結果規定ポジションPOSには、障害物Oと自動車Vの超音波センサの間の距離Dulsと検出ゾーンZd（長方形の形をしている）がある。
・ 2番目の実施モード
図33で示した2番目の非限定実施モードの場合、3番目の検出は、レザーセンサーRADを使って実施する (ステップ 検出_センサT2(POS, S1))。 1番目の限界値 S1は、レザーセンサーRADの最大検出範囲を表す。非限定の例の場合、1番目の限界値S1は、この時60メートルである。レザーセンサーによる検出は、専門家の間ではよく知られているので、ここでは記載しない。ここでは、図42の非限定の図式による例が示すように、結果の規定ポジションPOSは、障害物Oと自動車Vのレザーセンサーの間の距離Dradと、障害物とレザーセンサーの軸AXradの間の角度βがあることの記載に限定する。
・ 3番目の実施モード
図34で示す3番目の非限定の実施モードの場合、3番目の検出は、超音波センサとレザーセンサーRADを使って実施する。この場合、3番目の検出は、超音波センサULSとレザーセンサーRADによる同じ障害物に対する検出を再結集するステップが含まれる (図34で示したサブステップ・グループ)。
非限定実施モードでは、この再結集は、このようにして得たセンサDulsとDradの距離の比較で行う。それぞれの距離Dulsを、それぞれの距離Dradと比較する。比較により得た距離の差Diff1が、一定の限界値S4より小さい場合、2つのタイプのセンサULSとRADにより検出された障害物Oは同じものと考える。非限定の例の場合、限界値S4は50センチである。
この場合 (Diff1 <= S4)、非限定実施モードについて、レザーセンサーRADが検出したポジションPOSのみを とっておく（レザーセンサーによる検出は、超音波センサULSの検出より一般に正確である）。
反対の場合 (Diff1 > S4)、検出は同じ障害物Oを対象としていないと考え、他の検出とそれらを1つにまとめられない限り、これらの検出をとっておく。
このようにして、2つの検出を取り除いた検出障害物Oのリストを得る。
超音波センサULSとレザーセンサーRADを同時に使用したセンサによる障害物を検出したことで、非常に幅の広い検出範囲を持つことができる。事実、図35で見ることができるように、超音波による検出カバーZulsにより、自動車近くと自動車前のゾーンをカバーでき、図36で示すように、検出カバーZradは自動車からもっと遠い自動車側面のゾーンをカバーできる。
レザーによるこの先ほどの検出により、ロスゾーンと呼ぶ検出しなかったゾーンがあることが分かる。
２つのULSとRADセンサによる検出により、図37で示すように、ロスゾーンZmをカバーすることができる。
さらに、超音波センサULSのみであれ（図39で示すように）、レザーセンサーRADだけであれ（図40で示すように）、超音波センサとレザーセンサー両方であれ(図41で示すように）、検出と組み合わせたカメラ（形状認識でああれ、運動検出であれ）を使った検出の実施のおかげで、自動車目印の中で検出した障害物をさらに正確に位置決定できる。
8番目のステップの場合、 規定ポジション POSを参考目印 COORefで計画する。
非限定実施モードでは、参考目印COORef は、画像目印XlとYlである。これにより、自動車目印を考慮した対策とは反対に、障害物Ｏの画像での距離計算の場合、検出ミスの衝撃を最小限に抑えることができる。
非限定の例の場合、画像目印XIと YIでポジションPOSの計画を実施するには、画像の 目印のポジションと自動車目印XvとYvのポジションの間の一致を知るだけでよいことを特記する。
非限定の例では、投影は下記の投影マトリックスMPに従い実施する。
通過マトリックス:
-3.353858 3.332719 1029.732666
-0.077005 1.159693 467.425964
-0.000233 0.009181 1.000000

式 [XI,YI ] = f(Xv,Yv)

xi' = Xv*50
yi' = Yv*50 -200

w =1/ (xi'*MP(3,1) + yi'*MP(3,2) + MP(3,3))
xi = (xi'*MP(1,1) +yi'*MP(1,2)+ MP(1,3)) * w)
yi = (xi'*MP(2,1) +yi'*MP(2,2)+ MP(2,3)) * w)
図43と図44の図式で示したように、超音波ULS であれ、レザーRADであれ、センサにより検出されたポジションPOSの障害物Oに一致する、1番目の投影PJ1を得る。
超音波センサにより決まった障害物OのポジションPOSの投影PJ1により、長方形が出来上がる。図43に示した例の場合、4つの長方形PJ11, PJ13、 PJ15、 PJ17 がある（点線）。
また、レザーセンサーRADにより決まった障害物OのポジションPOSの計画PJ1は点を作る。図44に示した例の場合、4つの点PJ12、 PJ14、 PJ16、 PJ18 がある。
2つのタイプのセンサー（レザーと超音波）を使用した場合も同様である。
2つの場合 (超音波センサかレザーセンサー)、このポジションPOSの投影ステップには、投影PJから組み合わせた投影ゾーンPJ1pを規定するサブステップがある。
非限定の実施モードの場合、投影ゾーンの幅PJ1pの幅は、投影PJ1に中心を合わせ、投影ゾーンの基礎は、図44で示すように、投影点PJ1に接するか（点の場合）、図43で示すように、投影長方形PJ1（長方形の場合）の底に接している。
非限定の例の場合、高さ1.7メートル幅0.7メートルと同等の投影ゾーンの寸法を採用する。この投影ゾーンPJ1pの寸法は、このように、歩行者の寸法に対応するように決定される。
同様に、図43で示した例の場合、4つの長方形PJ11、 PJ13、 PJ15、 PJ17に組み合わせた、4つの投影ゾーンPJ11p、 PJ13p、 PJ15p、 PJ17p がある。
同様に、図44で示した例の場合、4つの点PJ12、 PJ14、 PJ16、 PJ18に組み合わせた、4つの投影ゾーンPJ12、 PJ14p、 PJ16p、 PJ18p がある。
9番目のステップの場合、 上述の参照目印COORefに、有効確認済み対象地域を投影する。
図43と図44の図式で示すように、有効確認済み対象地域ROI1とROI2に一致する2番目の投影PJ2を得る。投影PJ2は、長方形の形状をしていることを特記する。表示した例では、PJ21、 PJ22、 PJ23の3つの長方形ができる（直線）。
10番目のステップの場合、 on得た2つの投影PJ1とPJ2を一致させ、一致させた状況に応じて、分類障害物Oの規定ポジションを割り当てる。
非限定実施モードの例の場合、一致させることは、下記の基準に従い、実施する2つの投影PJ1とPJ2の間の比較を意味する：
- 2つの投影PJ1とPJ2の間の覆い表面Sr
- 2つの投影PJ1とPJ2のサイズの間の高さの割合Rtと
- 2つの投影PJ1とPJ2の間の距離の差 Diff2
投影PJ1の距離は、センサCAPTの提供した距離DulsあるいはDradの距離であることを特記する。
さらに、投影PJ2の距離は、対象地域ROIで検出され、投影マトリックスMPで再計算された距離である。
非限定の例の場合、
- カバー表面Srは70％である。
- 比率 Rtは0.5と 1.5の間にあり、
- 差 Diff2は1メートルである
センサによる検出投影PJ1は、上述した投影ゾーンPJ1pで表す。従って、実際には、比較は、投影PJ1pゾーンと投影PJ2の間で実施する。
同様に、これらの基準が全て満たされた場合、2つの投影PJ1とPJ2の間の一致はポジである。反対の場合には、他の投影PJ2とPJ1と一致するまで、投影PJ1とPJ2をとっておく。
一致が見られない場合には、投影はネガとする。
図43の図式例の場合:
投影 PJ21と PJ11pは、
- 互いにまじりあう、
- カバー表面 Sr＞70％、
- 比率Rtは0.5と1.5の間にある。
- 差Diff2 < 1m.

- 投影 PJ22と PJ13pは、
- 互いにまじりあう、
-カバー表面 Sr＜70％、
- 比率Rtは 0.5と 1.5間にある、
- 差Diff2 > 1m.

- 投影 PJ23と PJ15pは
- 互いにまじりあう、
- カバー表面 Sr＜70％、
-比率Rtは 0.5と 1.5間にある
- 差Diff2 < 1m.

図44の図式例では、
- 投影 PJ21と PJ12pは
- 互いにまじりあう、
- カバー表面 Sr＞70％、
-比率Rtは 0.5と 1.5間にある
- 差Diff2 < 1m.

- 投影 PJ23と PJ16pは
- 互いにまじりあう、;
- カバー表面 Sr＜70％、
-比率Rtは 0.5と 1.5間にある
- 差Diff2 > 1m.
同様に、一致作業はポジの場合、対応する障害物Oは、歩行者であると推論し、非限定の実施モードで、下記を割り当てる：
- センサが検出した組み合わせたポジション POSと
- ステップ6で有効性を確認した対象地域ROI。
また、非限定実施モードで、組み合わせた信頼性指数を増加する。非限定の例における新しい信頼性指数は、IC=IC+(1-IC)/2である。
別の実施モードの場合、新しい信頼性指数に下記を組み合わせることができる・
- 自動車の目印（組み合わせた対象地域の）の中の予想ポジションと
- 組み合わせた規定投影ゾーン PJ1p。
しかしながら、センサが検出したポジション POS は、予想ポジションより正確で、対象地域ROIも同様に、規定投影ゾーンより正確であることを特記する。
投影PJ1やPJ2で一致が一切見られなかった場合・
- 非限定の実施モードについて、下記のテストを実施する。
- 投影がセンサ投影PJ1の場合、検出した障害物Oは歩行者ではないと推論する、
- 投影が対象地域ROIの投影PJ2の場合で、
- これに組み合わせた信頼性指数ICが信頼性限界値Scより大きい場合、
- この時、障害物は歩行者であると推論する。
- そうでない場合には、検出した障害物は歩行者ではなく、信頼性指数をゼロにする。

非限定の例の場合、信頼性限界値 Sc = 0.7である。
12番目のステップの場合、 獲得した画像のシーケンスSQに対して有効性を確認した対象地域の継続作業を行う。
非限定の実施モードの場合、このステップでは、専門家の間ではよく知られ、INRIAが開発した()と呼ばれ、 IEEE/RSJ、日本、仙台、2004年インテリジェントロボットシステム国際大会の文書に記載した方法を使用する。
この方法は、獲得した画像IのシーケンスSQの中から特に通常の画像と参考画像の間にある同じ模様の探求と、シーケンスSQの画像Iの一定数でこの模様の繰り返しを基礎としている。この方法により、障害物Oが他の画像Iで検出されたのに、シーケンスSQのある画像Iで検出されない場合について、障害物Oの検出ロスを防止できる。
同様に、記載した発明プロセスにより、形状認識だけでなく、動作認識を使い、さらには、センサ検出を使って、歩行者であれそうでない場合でも、障害物Oを信頼できる方法で検出できる。
発明プロセスは、自動車の環境Ｅで障害物Oの検出装置DISPにより実施し、この装置は、図45に図式で表す。
この装置 DISPは、自動車Vに搭載される。
この装置 DISPは下記に適している :
- 上述の環境Eでの獲得した画像Iに対する自動車Vに対する形状認識により、障害物Oの1番目の検出を実施して、最低でも1番目の対象地域RO1を規定する。
- 上述の環境Eでの獲得した画像Iのシーケンスについて自動車Vに対する動作検出により、障害物の2番目の検出を実施して、最低でも2番目の対象地域ROI2を規定する。
- 一定の特性Cに対する1番目と2番目の対象地域ROI1とROI2に、1番目IC1、2番目IC2の信頼性指数を適用して、それぞれ検出した障害物Oを分類し、
- 上述の信頼性指数IC1とIC2に対して、ならびに、対象地域ROI1とROI2に対して、検出した物体Oに対する分類の有効性を確認する。
-
この装置には、上述のステップに適した検査ユニットUCが付いている。
非限定の実施モードの場合、検出装置DISPはそれ以外に下記に適している：
- 規定ポジションPOSでの1番目の結果限界値S1より小さい検出範囲に対して、センサを使って、障害物Oの3番目の検出を実施する。
- 参考目印COORef に規定したポジションPOSを投影する。
- 上述の参考目印COORef に有効性確認済みの対象地域ROI1とROI2を投影して、
- こうして得た2つの投影PJ1とPJ2を一致させ、一致状況に応じて、分類した障害物Oに対し、規定ポジションPOSを割り当てる。
-
非限定の実施モードの場合、それ以外に、検出装置 DISPは下記に適している・
- 形状認識の1番目の検出の際：
- 獲得した画像Iの反復性サブサンプリングにより画像ピラミッドIsrを作る。
- 各サブサンプリングした画像Isrについて・
- 対象地域 ROIを決める、
- 対象地域ROIと一緒に上述の画像IsRを走査する。
- 上述の画像Isrの対象地域ROIの引き続くポジションについて、ClsとClwの分類器全体を使って、対象地域ROIの中身を分析する。これらの分類器は、事前学習段階で規定する。

- 動作による2番目の検出の際：
- 画像シーケンスSQの各画像Iについて、再計算した背景画像Irefを作る。
-合力画像としての結果の画像シーケンスSQの通常画像から背景画像Irefを取り除く、
- 限界値Smaxに従い、合力画像の一定の運動を分離し
- 分離から、2番目の対象地域ROI2を取り除く。
- 動作による2番目の検出の際：
- 獲得した画像Iに対して対象点Ptlを規定する。
- 次の画像I+1に対しこれらの対象点PtLを追い、移動を定義する。
- 類似移動Vmiを持つ上述の対象点Ptlの2番目の対象地域ROI2を一つに集めて、
- 自動車Vの移動 Vmvを規定し、
- 自動車Vmvから起因しない画像の動作Vmiを持つ2番目の対象地域ROI2を分離する。
- 分類ステップの際 :
- 対象地域ROIから特性ベクターCを作る、
- 学習ステップで事前に決めた決定境界DGを使い比較による上述の特性ベクターCを分類し、
- 上述の決定境界に対して、特性ベクターの距離の関数である組み合わせた信頼性指数ICを決定する。
- 有効性確認ステップの際：
- 分類した対象地域ROI1とROI2が、確立分配で表される画像Iに一致する確立地図P_MAP を作成する。
- 部分最大値を得る方法で、確立地図P_MAP の中で互いにまじりあう上述の確立分配を加算し、
- 確立地図P_MAP の部分最大値に最も近い対象地域ROI1とROI2の有効性を確認する。
- 獲得した画像Iの予想変化を適用する。
- 獲得したシーケンスSQの有効性を確認した地域を追跡する。
非限定の実施モードの場合、装置DISPは、上述のステップの実施に適した最低でも１つの検査ユニットを含む検査ユニット全体UCで構成している。非限定の実施バリエーションの場合、全体は、UC1、 UC2、 UC3の複数の検査ユニットを備えている。同様に、非限定の実施バリエーションの場合、検査ユニットUCは、カメラCAM、プロジェクターPJ、センサULSとRADあるいは自動車の計算機ECUに振り分けている場合もある。
図45の非限定の例の場合、1番目と2番目の検出機能は、カメラCAMの中に、センサによる検出機能はセンサCAPTに、他の機能は計算機ECUに配分されている。
非限定の実施モードでは、カメラCAMはVGAかWGAタイプであり、それぞれ、640*480ピクセルか752*480 ピクセルの大きさの画像を得ることができる。非限定の実施モードでは、開口角度φは130°である。もちろん、他の特性を持つ他のタイプのカメラも使用できる。
上述した検出プロセスは、にプログラミングしたマイクロ装置、ケーブルにつないだロジック、の電子コンポーネントを使って、実施できる。
同様に、調整装置DISPは、マイクロプロセッサー、ASICやコンピューターなどの情報処理装置で実施可能な1つまたは複数の指示シーケンスを持つコンピュータプログラムPG を備えることもできる。尚、これらの指示シーケンスの実施により、記載したプロセスの実施が可能になる。
このようなコンピュータプログラムPGは、ROMタイプの書き込み可能で消えないメモリーやEEPROMやフラッシュメモリーのような再書き込み可能で消えないメモリーに記録できる。このコンピュータプログラムPGは、工場で記入できるか、メモリーを記録したり、遠隔でダウンロードできる。指示シーケンスとは、機械の指示事項、あるいは実施の時に処理ユニットが翻訳する命令言語のシーケンスにもなりえる。
図45の非限定の例の場合、装置DISPの検査ユニットUC1、 UC2、 UC3のメモリーに記入される複数のコンピュータプログラム製品PG1、 PG2、 PG3がある。
もちろん、この発明は、上述の実施モードと例だけに制限されるものではない。
同様に、歩行者の検出の有効性が確認されない場合、たとえば、歩行者が自動車の近くにいることを運転手に警告し、運転手がブレーキをかけることのできる警告システムを設置できる。また、このような検出を受けた自動ブレーキシステムも設置できる。
同様に、検出プロセスは、自動車Vの前部と後部の検出に使用できる。
また、本発明は下記の長所を備えている：
- 下記により、実施する処理数を減らせる：
- 特殊検出ゾーン内の対象地域の定義（水平線の下や走査ゾーンの中）、
-特殊対象点を使って自動車に対する障害物移動の作成、
-画像全体に対してではなく、形状と動作認識で検出した障害物に対してだけの（カテゴリー別分布方法別）分類ステップの適用。
- 下記の組み合わせにより、歩行者の検出の信頼性を高める：
- 歩行者全体を認識できる形状認識検出、
- 見えるのは動いている身体の一部だけの歩行者など動いている障害物を認識できる動作検出。
- カメラや超音波センサやレザーセンサーなど自動車に通常搭載されているコンポーネントを使用する。
- 形状認識と運動認識により検出した全ての障害物を分類するカテゴリー別障害物分布方法を使用して、歩行者検出をもっとしっかりとしたものにする。
- 有効性確認ステップにより、歩行者検出に関する信頼性指数をアップし、万が一の場合次の処理のための検出数量を減らす（センサによる検出を使用する場合）。
- 画像シーケンス上の障害物の検出について、1番目と2番目の検出において、ある画像が別の画像から検出されなくなった場合、この検出を確認する。

Claims (16)

  1. 自動車の環境（Ｅ）における障害物（Ｏ）の検知方法であって、
    前記環境（Ｅ）の取得画像（Ｉ）における形状認識により障害物（Ｏ）の第１の検知を実施することによって、少なくとも１つの第１の対象領域（ＲＯＩ１）を決定することと、
    前記環境（Ｅ）の取得画像（Ｉ）のシーケンスでの車両（Ｖ）に対する動き検知により障害物の第２の検知を行うことによって、少なくとも１つの第２の対象領域（ＲＯＩ２）を決定することと、
    それぞれ、所定の特徴（Ｃ）に対して第１の対象領域（ＲＯＩ１）および第２の対象領域（ＲＯＩ２）に付与される第１の信頼性指数（ＩＣ１）および第２の信頼性指数（ＩＣ２）によって、検知された障害物（Ｏ）を分類することと、
    前記信頼性指数（ＩＣ１、ＩＣ２）に対して、また、前記対象領域（ＲＯＩ１、ＲＯＩ２）に対して、検知された障害物（Ｏ）での分類を確定し、その結果、確定された有効領域（ＲＯＩ１、ＲＯＩ２）を得ることとの、
    各ステップを備える方法。
  2. さらに、第１の閾値（Ｓ１）よりも小さい検知範囲で１つまたは複数のセンサ（ＵＬＳ；ＲＡＤ）による障害物（Ｏ）の第３の検知を行って、所定の位置（ＰＯＳ）を得ることと、
    所定の位置（ＰＯＳ）を基準目印（ＣＯＯＲｅｆ）に投影することと、
    確定された有効領域（ＲＯＩ１、ＲＯＩ２）を前記基準目印（ＣＯＯＲｅｆ）に投影することと、
    得られた２つの投影（ＰＪ１、ＰＪ２）を対応させて、この対応に応じて、分類された障害物（Ｏ）に所定の位置（ＰＯＳ）を割り当てることと、
    の各追加ステップを備える、請求項１に記載の方法。
  3. 基準目印が、画像目印（ＸＩ、ＹＩ）である、請求項２に記載の検知方法。
  4. 形状認識による第１の検知が、
    取得画像（Ｉ）の再帰的なサブサンプリングによる画像ピラミッド（Ｉｓｒ）を構成することと、
    各々のサブサンプリング画像（Ｉｓｒ）に対して、
    所定の障害物（Ｏ）を示すラベル（ＶＩＧＮ）により前記画像（Ｉｓｒ）を走査することと、
    前記画像（Ｉｓｒ）におけるラベル（ＶＩＧＮ）の連続する各位置で、分類子の集合（Ｃｌｓ、Ｃｌｗ）により内容を分析することとの、
    各サブステップを備え、前記分類子が、事前学習段階のときに決定されている、先行請求項に記載の検知方法。
  5. 形状認識による第１の検知が、さらに、サブサンプリング画像（Ｉｓｒ）内で走査ゾーン（Ｚｂ）を決定する追加サブステップを備えている、先行請求項に記載の方法。
  6. 動きを検知する第２の検知が、
    画像シーケンス（ＳＱ）の各画像（Ｉ）に対して再計算された背景画像（Ｉｒｅｆ）を構成することと、
    画像シーケンス（ＳＱ）の現行画像（Ｉｃ）から背景画像（Ｉｒｅｆ）を減算し、結果として生じた１つの画像（Ｉｒｅｓ）を得ることと、
    閾値（Ｓｍａｘ）に応じて、結果として生じた画像（Ｉｒｅｓ）で判別される動きを弁別することと、
    弁別によって第２の対象領域（ＲＯＩ２）を抽出することと、
    の各サブステップを備える先行請求項に記載の方法。
  7. 動きを検知する第２の検知が、
    取得画像（Ｉ）の対象点（ＰｔＩ）を決定することと、
    次の画像（Ｉ＋１）でこれらの対象点（ＰｔＩ）に従って、移動（Ｖｍｉ）を決定することと、
    第２の対象領域（ＲＯＩ２）で同様の移動（Ｖｍｉ）を有する前記対象点（ＰｔＩ）を集めることと、
    自動車（Ｖ）の移動（Ｖｍｖ）を決定することと、
    自動車（Ｖｍｖ）の移動の結果ではない画像で移動（Ｖｍｉ）を有する第２の対象領域（ＲＯＩ２）を確定することとの
    各サブステップを含んでいる、先行請求項のいずれか一項に記載の検知方法。
  8. 分類ステップが、
    対象領域（ＲＯＩ）から特徴ベクトル（Ｃ）を生成することと、
    学習ステップのときに予め決められた決定境界（ＤＧ）との比較により前記特徴ベクトル（Ｃ）を分類することと、
    前記決定境界（ＤＧ）に対して特徴ベクトルの距離に応じて決定される組み合わせ信頼性指数（ＩＣ）を決定することと、
    の各サブステップを備える、先行請求項のいずれか一項に記載の検知方法。
  9. 特徴ベクトル（Ｃ）が、１つの対象領域（ＲＯＩ１、ＲＯＩ２）の配向された勾配のヒストグラムである、先行請求項に記載の検知方法。
  10. 分類された各々の対象領域（ＲＯＩ１、ＲＯＩ２）が確率分布により示される画像（Ｉ）に対応する確率マップ（Ｐ＿ＭＡＰ）を構成することと、
    少なくとも１つの局部的な最大値を得るように、確率マップ（Ｐ＿ＭＡＰ）に集められた前記確率分布を累積することと、
    確率マップ（Ｐ＿ＭＡＰ）の局部的な最大値の各々に最も近い対象領域（ＲＯＩ１、ＲＯＩ２）を確定することと、
    の各サブステップを備える、先行請求項に記載の検知方法。
  11. １つまたは複数のセンサによる検知が、超音波センサ（ＵＬＳ）により行われる、請求項２から１０の少なくとも１つに記載の検知方法。
  12. １つまたは複数のセンサによる検知が、レーダセンサ（ＲＡＤ）により行われる、請求項２から１１の少なくとも1つに記載の検知方法。
  13. さらに、取得画像（Ｉ）に投影変化を付与する追加ステップを含む、先行請求項のいずれか一項に記載の検知方法。
  14. さらに、取得画像のシーケンス（ＳＱ）で分類された対象領域の追加フォローアップステップを含んでいる、先行請求項の少なくとも１つに記載の検知方法。
  15. 先行請求項のいずれか一項に記載の方法を実施するように構成された、自動車の環境（Ｅ）における障害物（Ｏ）の検知装置。
  16. 情報処理ユニットにより実行可能な１つまたは複数の命令シーケンスを含み、前記命令シーケンスの実行により、請求項１から１４のいずれか一項に記載の方法を実施可能である、コンピュータプログラム製品（ＰＧ）。
JP2010154353A 2009-07-06 2010-07-06 自動車用の障害物検知方法 Active JP5837287B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0954633 2009-07-06
FR0954633A FR2947657B1 (fr) 2009-07-06 2009-07-06 Procede de detection d'un obstacle pour vehicule automobile

Publications (2)

Publication Number Publication Date
JP2011014148A true JP2011014148A (ja) 2011-01-20
JP5837287B2 JP5837287B2 (ja) 2015-12-24

Family

ID=42199638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010154353A Active JP5837287B2 (ja) 2009-07-06 2010-07-06 自動車用の障害物検知方法

Country Status (4)

Country Link
US (1) US8379928B2 (ja)
EP (1) EP2275971B1 (ja)
JP (1) JP5837287B2 (ja)
FR (1) FR2947657B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190949A (ja) * 2012-03-13 2013-09-26 Toyota Central R&D Labs Inc 歩行者検出装置及びプログラム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009157828A1 (en) * 2008-06-25 2009-12-30 Autoliv Development Ab A method of detecting object in the vicinity of a vehicle
FR2940465B1 (fr) * 2008-12-18 2010-12-31 Valeo Vision Sas Procede de detection d'un objet cible pour vehicule automobile
JP5218168B2 (ja) * 2009-03-11 2013-06-26 ソニー株式会社 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム
DE102011105356A1 (de) * 2011-06-22 2012-12-27 Audi Ag Verfahren zur Auslösung wenigstens einer irreversiblen Rückhalteeinrichtung eines Kraftfahrzeugs
JP5518007B2 (ja) * 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
CN102880881A (zh) * 2012-09-25 2013-01-16 常州大学 一种基于二类支持向量机和遗传算法的轿车车型识别方法
US9672431B2 (en) 2012-11-09 2017-06-06 Analog Devices Global Object detection
US9460354B2 (en) * 2012-11-09 2016-10-04 Analog Devices Global Object detection
US20140192210A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Mobile device based text detection and tracking
CN103559498A (zh) * 2013-09-24 2014-02-05 北京环境特性研究所 基于多特征融合的快速人车目标分类方法
US9201421B1 (en) * 2013-11-27 2015-12-01 Google Inc. Assisted perception for autonomous vehicles
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
DE102014114221A1 (de) * 2014-09-30 2016-03-31 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
US9574387B2 (en) * 2014-11-21 2017-02-21 The Chamberlain Group, Inc. Alignment of obstacle detection components
US20160180158A1 (en) * 2014-12-18 2016-06-23 Magna Electronics Inc. Vehicle vision system with pedestrian detection
US10713506B2 (en) 2014-12-18 2020-07-14 Magna Electronics Inc. Vehicle vision system with 3D registration for distance estimation
JP6593588B2 (ja) * 2015-02-16 2019-10-23 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
US10819943B2 (en) * 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
JP6554169B2 (ja) * 2015-06-10 2019-07-31 株式会社日立製作所 物体認識装置及び物体認識システム
JP6539228B2 (ja) * 2015-06-16 2019-07-03 株式会社デンソー 車両制御装置、及び車両制御方法
US10139827B2 (en) * 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
CN109791198B (zh) * 2016-08-15 2023-08-15 代表亚利桑那大学的亚利桑那校董会 使用3d打印伦伯透镜的新颖汽车雷达
FR3062223B1 (fr) * 2017-01-25 2019-04-19 Valeo Schalter Und Sensoren Gmbh Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images
US10460053B2 (en) * 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
US10803751B2 (en) * 2017-04-26 2020-10-13 Mitsubishi Electric Corporation Processing device
US10416681B2 (en) * 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
US11093793B2 (en) 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
CN111158359B (zh) * 2019-12-02 2023-08-04 北京京东乾石科技有限公司 障碍物处理方法和装置
US20230048222A1 (en) * 2019-12-25 2023-02-16 Kyocera Corporation Information processing apparatus, sensing apparatus, mobile object, method for processing information, and information processing system
CN111338341B (zh) * 2020-02-24 2023-07-18 北京百度网讯科技有限公司 车辆避障方法和设备、电子设备、车辆及存储介质
DE102020105192B4 (de) * 2020-02-27 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
CN112699748B (zh) * 2020-12-21 2022-09-27 南京理工大学 基于yolo及rgb图像的人车距离估计方法
CN115214637B (zh) * 2021-04-01 2024-02-02 广州汽车集团股份有限公司 倒车制动辅助方法、辅助控制器、驾驶辅助系统和汽车
CN115661798B (zh) * 2022-12-23 2023-03-21 小米汽车科技有限公司 确定目标区域的方法、装置、车辆及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165421A (ja) * 2003-11-28 2005-06-23 Denso Corp センサフュージョンシステム及びそれを用いた車両制御装置
JP2006202184A (ja) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
WO2008088880A1 (en) * 2007-01-18 2008-07-24 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP2008276453A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 行動識別装置および行動識別方法
JP2008304344A (ja) * 2007-06-08 2008-12-18 Kumamoto Univ 物標検出装置
JP2009510542A (ja) * 2006-04-11 2009-03-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによって取得されたシーンのテスト画像内の人物を検出する方法及びシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165421A (ja) * 2003-11-28 2005-06-23 Denso Corp センサフュージョンシステム及びそれを用いた車両制御装置
JP2006202184A (ja) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2009510542A (ja) * 2006-04-11 2009-03-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによって取得されたシーンのテスト画像内の人物を検出する方法及びシステム
WO2008088880A1 (en) * 2007-01-18 2008-07-24 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP2008276453A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 行動識別装置および行動識別方法
JP2008304344A (ja) * 2007-06-08 2008-12-18 Kumamoto Univ 物標検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190949A (ja) * 2012-03-13 2013-09-26 Toyota Central R&D Labs Inc 歩行者検出装置及びプログラム

Also Published As

Publication number Publication date
FR2947657A1 (fr) 2011-01-07
US8379928B2 (en) 2013-02-19
JP5837287B2 (ja) 2015-12-24
EP2275971A1 (fr) 2011-01-19
US20110001615A1 (en) 2011-01-06
FR2947657B1 (fr) 2016-05-27
EP2275971B1 (fr) 2020-10-28

Similar Documents

Publication Publication Date Title
JP5837287B2 (ja) 自動車用の障害物検知方法
JP5835876B2 (ja) 自動車用の障害物検知方法
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8611585B2 (en) Clear path detection using patch approach
US8812226B2 (en) Multiobject fusion module for collision preparation system
US8232872B2 (en) Cross traffic collision alert system
JP6702340B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2008088880A1 (en) System and method for vehicle detection and tracking
US20110228981A1 (en) Method and system for processing image data
JP4755227B2 (ja) 物体を認識するための方法
CN110268417B (zh) 在摄像机图像中识别目标的方法
JP4407920B2 (ja) 障害物認識方法及び障害物認識装置
CN107389084A (zh) 行车路径规划方法及存储介质
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP5772321B2 (ja) 車両検出装置、車両検出方法及びプログラム
JP4567072B2 (ja) 車両周辺監視装置
CN110399859A (zh) 无人跨运车的基于多传感器融合的障碍物辨识方法和装置
JP7193942B2 (ja) 車両検知装置
JPH08147447A (ja) 車両認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140806

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140811

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141006

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150806

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151105

R150 Certificate of patent or registration of utility model

Ref document number: 5837287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250