JP2009265882A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2009265882A
JP2009265882A JP2008113858A JP2008113858A JP2009265882A JP 2009265882 A JP2009265882 A JP 2009265882A JP 2008113858 A JP2008113858 A JP 2008113858A JP 2008113858 A JP2008113858 A JP 2008113858A JP 2009265882 A JP2009265882 A JP 2009265882A
Authority
JP
Japan
Prior art keywords
vehicle
local region
region
image
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008113858A
Other languages
English (en)
Other versions
JP4486997B2 (ja
Inventor
Shinji Nagaoka
伸治 長岡
Makoto Aimura
誠 相村
Hideki Hashimoto
英樹 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008113858A priority Critical patent/JP4486997B2/ja
Priority to US12/988,551 priority patent/US8284253B2/en
Priority to CN200980114426.7A priority patent/CN102016954B/zh
Priority to EP09734224A priority patent/EP2278574A4/en
Priority to PCT/JP2009/000044 priority patent/WO2009130828A1/ja
Publication of JP2009265882A publication Critical patent/JP2009265882A/ja
Application granted granted Critical
Publication of JP4486997B2 publication Critical patent/JP4486997B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供する。
【解決手段】車両周辺監視装置10によれば、対象物領域A(k)の一部領域としての局所領域B(k)のサイズの変化率Rate(k)が算出される。具体的には、先時刻k−1における局所領域B(k−1)が拡大されて得られた拡大局所領域EB(γi)と、先時刻kよりも後の後時刻k−1における局所領域B(k)との相関度が最高になったときの当該拡大率が局所領域B(k)のサイズの変化率Rate(k)として算出される。局所領域B(k)は対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている画像領域である。そして、当該変化率Rate(k)を基礎とすることにより、対象物が動いている場合でも車両1から対象物までの距離Z(k)または位置P(k)が高精度で測定されうる。
【選択図】 図5

Description

本発明は、車載の撮像装置を通じて得られた画像を用いて、この車両の周辺を監視する装置に関する。
車両に搭載されているカメラにより異なる2つの時刻において撮像された画像に基づき、歩行者等の対象物の実空間位置を測定し、当該測定結果に基づいて車両と対象物との接触可能性の高低を判定する技術が提案されている(特許文献1参照)。車両が移動することにより車両に対する対象物の相対位置が変化するため、撮像画像における対象物のサイズが変化することを利用して、この対象物の実空間位置が測定されている。
特開2007−213561号公報
しかし、対象物が動いている場合、車両に対するこの対象物の相対位置に加えて、この対象物の形状または姿勢の変化が画像における対象物のサイズに影響するため、距離測定精度が低下する可能性がある。
そこで、本発明は、対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供することを解決課題とする。
第1発明の車両周辺監視装置は、車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、前記画像において対象物が存在する領域を対象物領域として設定し、前記対象物のうち動きが比較的少ない部分が存在する前記対象物領域の一部の領域を局所領域として設定する第1処理要素と、前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第2処理要素とを備えていることを特徴とする。
第1発明の車両周辺監視装置によれば、対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、車両から対象物までの距離または対象物の位置が高精度で測定されうる。なお、撮像装置を通じて得られた画像とは、撮像画像そのもののほか、撮像画像に画像処理が施されることにより得られる画像を包含する概念である。
第2発明の車両周辺監視装置は、第1発明の車両周辺監視装置において、前記第1処理要素が前記対象物の種類を判定し、前記対象物の種類に基づいて前記局所領域を設定することを特徴とする。
第2発明の車両周辺監視装置によれば、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、さまざまな種類の対象物の車両からの距離または位置が高精度で測定されうる。
第3発明の車両周辺監視装置は、第2発明の車両周辺監視装置において、前記第1処理要素が前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することを特徴とする。
第3発明の車両周辺監視装置によれば、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域のサイズの変化率を基礎とすることにより、対象物である歩行者の車両からの距離または位置が高精度で測定されうる。
第4発明の車両周辺監視装置は、第1発明の車両周辺監視装置において、前記第1処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、前記第2処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することを特徴とする。
第4発明の車両周辺監視装置によれば、先時刻における局所領域(以下、適宜「先局所領域」という。)が拡大されて得られた拡大局所領域と、先時刻よりも後の後時刻における局所領域(以下、適宜「後局所領域」という。)との相関度が最高になったときの当該拡大率が対象物領域のサイズの変化率として算出される。後局所領域との相関度が最高になったときの拡大局所領域は、先局所領域の後時刻における予測または推測未来像に相当する。そして、前記のように対象物のうち比較的動きが少ない部分が存在する局所領域のサイズの変化率を基礎とすることにより、対象物が動いている場合でも車両から対象物までの距離または位置が高精度で測定されうる。
本発明の車両周辺監視装置の実施形態について図面を用いて説明する。
図1に示されている車両(四輪自動車)1には、車両周辺監視装置10と、単一の赤外線カメラ(撮像装置)11が搭載されている。なお、赤外線カメラ11に代えて可視光等、他の波長領域に感度が調節されたカメラが撮像装置として採用されてもよい。図1に示されているように原点Oが車両1の前側に位置し、X軸、Y軸およびZ軸のそれぞれが車両1の左右方向、上下方向および前後方向のそれぞれに延びるように実空間座標系が定義されている。赤外線カメラ11は車両1の前方を撮像するために、車両1の前側に取り付けられている。また、図2に示されているように車両1には、車両1のヨーレート、速度およびブレーキの状態のそれぞれに応じた信号を出力するヨーレートセンサ13、速度センサ14およびブレーキセンサ15等の種々のセンサが搭載されている。さらに、図2に示されているように車両1には音声出力装置16および画像出力装置17が搭載されている。画像出力装置17としては、車両1のフロントウィンドウに画像を表示するHUD(ヘッドアップディスプレイ)のほか、車両1の走行状況を示す表示計またはナビゲーション装置を構成するディスプレイ装置等が採用されてもよい。
車両周辺監視装置10は赤外線カメラ11を通じて得られた画像を用いて車両1の周辺を監視する装置である。車両周辺監視装置10はコンピュータ(CPU,ROM,RAMならびにI/O回路およびA/D変換回路等の電子回路等により構成されている。)により構成されている。車両周辺監視装置10には、赤外線カメラ11、ヨーレートセンサ13、車速センサ14およびブレーキセンサ15等から出力されたアナログ信号がA/D変換回路を介してデジタル化されて入力される。当該入力データに基づき、メモリに格納されている「車両周辺監視プログラム」にしたがって、人間や他車両などの対象物の存在を認識する処理、車両1と認識した対象物との接触可能性の高低を判定する処理、および、この判定結果に応じて音声を音声出力装置16に出力させたり、画像を画像出力装置17に出力させたりする処理が当該コンピュータにより実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車載コンピュータに配信または放送され、そのRAM等の記憶装置に格納されてもよい。車両周辺監視装置10は一のECUにより構成されていてもよいが、分散制御システムを構成する複数のECUにより構成されていてもよい。
車両周辺監視装置10は図2に示されているように第1処理要素110と、第2処理要素120とを備えている。第1処理要素110は赤外線カメラ11を通じて得られた車両1の周辺状況を表わす画像において対象物が存在する領域を対象物領域として設定する。第1処理要素110は対象物のうち動きが比較的少ない部分が存在する対象物領域の一部の領域を局所領域として設定する。第2処理要素120は局所領域のサイズの変化率を算出し、局所領域のサイズの変化率に基づいて車両1から対象物までの距離を測定する。
前記構成の車両1および車両周辺監視装置10の機能について説明する。まず、第1処理要素110が赤外線カメラ11を通じて得られた画像に基づき、対象物領域を設定する。具体的には、赤外線カメラ11の出力信号である赤外線画像がA/D変換されることによりグレースケール画像が取得される(図3/S002)。また、グレースケール画像が2値化処理されることにより2値化画像が取得される(図3/S004)。2値化処理は、グレースケール画像を構成する各画素をその輝度が閾値以上であるか否かに応じて「1」(白)および「0」(黒)に区分する処理である。グレースケール画像および2値化画像はそれぞれ別の画像メモリに記憶される。さらに、2値化画像の高輝度領域を構成する「1」に区分されたまとまった画素群が、画像の縦方向(y方向)に1画素分の幅を有して横方向(x方向)延在するラインに分類され、各ラインがその位置(画像における2次元位置)の座標と長さ(画素数)とからなるランレングスデータに変換される(図3/S006)。そして、このランレングスデータにより表されるラインのうち、画像縦方向に重なりを有するライン群のそれぞれにラベル(識別子)が付され(図3/S008)、当該ライン群が対象物として検出される(図3/S010)。これにより、図4(a)に示されているように2値化画像において斜線で示されているような対象物(2値化対象物)が検出される。対象物には人間(歩行者)などの生物のほか、他車両などの人口構造物も含まれる。なお、同一物体の複数の局所部分が対象物として認識される場合もある。
また、第1処理要素110により、対象物の追跡処理、すなわち、演算処理周期ごとに検出された対象物が同一であるか否かを判定する処理が実行される(図3/S012)。たとえば、特開2001−6096号公報に記載されている手法にしたがって時刻k−1およびkのそれぞれの2値化画像において検出された対象物の形状やサイズ、グレースケール画像における輝度分布の相関性などに基づいて実行されうる。そして、これら対象物が同一であると判定された場合、時刻kにおける対象物のラベルが時刻k−1における対象物のラベルと同じラベルに変更される。
さらに、第1処理要素110により、2値化画像における対象物の重心位置および外接四角形の配置態様に基づき、グレースケール画像において対象物を表わす領域が「対象物領域」として設定される(図3/S014)。具体的には、まず、現在時刻kにおける車両1の周辺状況を表わすグレースケール画像において、対象物を基準として配置された複数のマスクが設定される。これにより、たとえば図4(a)に斜線で示されているように対象物の上下方向に並んで配置された複数の矩形状のマスクai+(i=1,2,‥)およびaj-(j=1,2,‥)が設定される。当該複数のマスクは、対象物の重心または中心を通り、画像において上下方向に延びる基準ライン(一点鎖線)の上に中心位置を有するように配置されている。また、過去時刻k−1における車両1の周辺状況を表わすグレースケール画像において当該複数のマスクai+およびaj-のそれぞれとの相関度が閾値以上となるマスクが探索される。これにより、たとえば図4(b)に示されているような過去画像において、現在画像における複数のマスクai+およびaj-との相関度が閾値以上のマスクai+およびaj-が探索される。そして、対象物と、当該複数のマスクのうち、時刻k−1および時刻kにおける対象物(または基準ライン)との位置関係が同一またはほぼ同一の連続するマスクとを含む領域が各時刻における対象物領域として設定される。これにより、たとえば図4(b)に示されているように対象物およびその下方に連続して配置されたマスクa1-〜a4-とを包含する、二重枠で囲まれている矩形状の領域が時刻k−1における対象物領域A(k−1)として設定される。
また、第1処理要素110により対象物の種類が判定される(図3/S016)。具体的には、対象物領域A(k)に含まれる対象物の形状と、記憶装置に格納されている形状パターンとのマッチングにより、対象物の種類が判定される。これにより、たとえば対象物の種類が「歩行者」およびその他の区分のうちいずれに分類されるかが判定される。対象物領域A(k)の一部の領域(後述する局所領域B(k)とは異なる。)に含まれる対象物の形状に基づいて対象物の種類が判定されてもよい。これにより、たとえば対象物領域A(k)の下部領域に、左右一対の上下方向に伸びるライン状の対象物(高輝度領域)が存在すると判定されたことを要件として、当該対象物の種類が歩行者(正確には歩行者の両脚)であることが判定される。
さらに、第1処理要素110により対象物の種類に基づき、局所領域B(k)が設定される(図3/S018)。具体的には、対象物のうち動きが比較的少ない部分が存在する対象物領域A(k)の一部の領域が局所領域B(k)として設定される。これにより、たとえば対象物の種類が「歩行者」である場合、図5上段および下段に示されているように歩行者のうち動きが比較的少ない上半身が存在する対象物領域A(k)の上部領域が局所領域B(k)として設定される。具体的には、局所領域B(k)は、その上端が対象物領域A(k)の上端に一致し、かつ、高さHが対象物領域A(k)の幅Wに略同等の略正方形状になるように設定される。なお、「歩行者」のほか、鹿等の「大型動物」等、対象物の動きに応じて形状または姿勢の変化量が比較的大きくなる部分と、当該変化量が比較的小さくなる部分との両方が併存するようなさまざまな種類に対象物が分類され、各種類に固有の局所領域B(k)が設定されてもよい。また、対象物の種類の判定が省略され、記憶装置に格納されている対象物領域A(k)に対する局所領域B(k)の配置方法が読み出され、当該配置方法にしたがって局所領域B(k)が設定されてもよい。
また、第2処理要素120により、局所領域B(k)のサイズ(対象物領域の縦幅、横幅または面積により表わされる。)の変化率Rate(k)が算出される(図3/S020)。具体的には、まず時刻k−1(先時刻または過去時刻)における対象物領域(第1対象物領域)B(k−1)が拡大されることによって得られた拡大対象物領域EBが得られる。これにより、たとえば図5上段に示されている先局所領域B(k−1)が複数の比率γ1、‥、γi、‥、γn(1<γ1<‥<γi<‥<γn)のそれぞれで拡大され、図5中段に示されている拡大局所領域EB(γ1)、‥、EB(γi)、‥、EB(γn)が得られる。なお、先局所領域B(k−1)は、その上端が対象物領域A(k−1)の上端に一致し、かつ、高さH’が対象物領域A(k−1)の幅W’に略同等の略正方形状になるように設定されている。また、複数の拡大局所領域EBのそれぞれと、時刻k(後時刻または現在時刻)における局所領域(後局所領域)B(k)との相関度が評価され、後局所領域B(k)との相関度が最高になる拡大局所領域EBの先局所領域B(k−1)からの拡大率が局所領域B(k)のサイズの変化率Rate(k)として算出される。これにより、たとえば図5中段に示されている拡大局所領域EB(γ1)、‥、EB(γi)、‥、EB(γn)のそれぞれのうち、図5下段に示されている後局所領域B(k)との相関度が最高になる拡大局所領域EB(γi)の当該拡大率γiが局所領域B(k)のサイズの変化率Rate(k)(>1)として算出される。また、後局所領域B(k)が複数の比率で縮小されることにより複数の縮小局所領域が得られ、当該複数の縮小局所領域のうち先局所領域B(k−1)との相関度が最高になる縮小局所領域の後局所領域B(k)からの縮小率の逆数が局所領域B(k)のサイズの変化率Rate(k)(>1)として算出されてもよい。
さらに、ヨーレートセンサ13および速度センサ14のそれぞれの出力に基づき、車両1の速度およびヨーレートが測定され、ヨーレートの測定値が積分されることにより、車両1の回頭角(方位角)が算出される(図3/S022)。また、変化率Rate(k)に加え、車両1の速度v(k)および指定期間ΔTに基づき、車両1の速度v(k)と比較して対象物の速度が無視できる程度に小さいとみなして、式(1)にしたがって車両1から対象物までの距離Z(k)が測定される(図3/S024)。
Z(k)=Rate(k)v(k)Δt/(1−Rate(k))‥(1)
また、車両周辺監視装置10により、車両1から対象物までの距離Z(k)に基づき、この対象物の実空間位置P(k)=(X(k),Y(k),Z(k)として算定される(図3/S026)。具体的には、車両1から各対象物までの補正後の距離Z(k)と、赤外線カメラ11の焦点距離fと、撮像画像における対象物に対応した領域の画像座標x(k)およびy(k)とに基づき、式(2)にしたがって実空間座標系におけるX座標X(k)およびY座標Y(k)が算定される。撮像画像の中心、右方向および下方向のそれぞれが、画像座標系における原点o、+x方向および+y方向として定義されている。また、ヨーレートセンサ15の出力に基づいて測定される回頭角に基づき、各対象物の実空間位置(X(k),Y(k),Z(k))が回頭角補正される。
X(k)=x(k)・Z(k)/f,
Y(k)=y(k)・Z(k)/f ‥(2)
また、異なる時刻における各対象物の実空間位置P(k)に基づき、たとえば特開2001−6096号公報に記載された衝突可能性の判定手法にしたがって、車両1と各対象物との接触可能性の高低または有無が判定される(図3/S028)。そして、車両1と対象物との接触可能性が高いと判定された場合(図3/S028‥YES)、「第1制御処理」が実行される(図3/S030)。具体的には、当該接触可能性の判定結果に応じた音声および画像(当該対象物を強調表示するためのフレームなど)のそれぞれが音声出力装置16および画像出力装置17のそれぞれを通じて出力される。なお、当該音声および画像のうち一方のみが出力されてもよい。また、車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部がアクチュエータにより操作され、車両1の走行挙動が操作される場合、音声および画像出力に加えてまたは代えて車両挙動が制御される。具体的には、車両1との接触可能性が高いと判定された対象物との接触を回避するように、または、回避が容易になるように車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部の動作が車両制御ユニット(図示略)により制御されてもよい。たとえば、運転者によるアクセルペダルの必要踏力が、対象物との接触を回避する必要がない通常の場合よりも大きくなるようにアクセル装置を制御して加速しにくくする。また、車両1と対象物との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行いうるようにする。さらに、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両1の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、対象物との接触を避けるための車両1の運転が容易になる。また、ブレーキセンサ15の出力に基づいて運転者による車両1のブレーキが操作されていないことが確認されたこと、または、速度センサ14または加速度センサ(図示略)の出力に基づいて車両1の減速度が閾値以下であることが確認されたことを要件として「第1制御処理」が実行されてもよい。
一方、車両1と対象物との接触可能性が低いと判定された場合(図3/S028‥NO)、「第2制御処理」が実行される(図3/S032)。具体的には、当該接触可能性の判定結果に応じた音声および画像のそれぞれが、第1制御処理とは異なる形態で音声出力装置16および画像出力装置17のそれぞれを通じて出力される。また、第1制御処理よりも弱い力によって車両挙動が制御される。なお、「第2制御処理」は省略されてもよい。
前記機能を発揮する車両周辺監視装置10によれば、対象物領域A(k)の一部領域としての局所領域B(k)のサイズの変化率Rate(k)が算出される(図3/S020参照)。具体的には、先時刻k−1における局所領域(先局所領域)B(k−1)が拡大されて得られた拡大局所領域EB(γi)と、先時刻kよりも後の後時刻k−1における局所領域(後局所領域)B(k)との相関度が最高になったときの当該拡大率が局所領域B(k)のサイズの変化率Rate(k)として算出される(図5参照)。後局所領域B(k)との相関度が最高になったときの拡大局所領域EB(γi)は、先局所領域B(k−1)の後時刻kにおける予測または推測未来像に相当する。また、局所領域B(k)は対象物のうち動きが少ない部分が存在する画像領域、すなわち、対象物の動きによるサイズの変動が最小限に抑制されている画像領域である。このため、画像における対象物の姿勢または形状が変化するように動いている同一対象物のサイズの変化率Rate(k)が高精度で算出される。そして、当該変化率Rate(k)を基礎とすることにより、対象物が動いている場合でも車両1から対象物までの距離Z(k)または位置P(k)が高精度で測定されうる(図3/S024,S026,図5参照)。また、対象物の種類の相違に応じてその動きが比較的少ない部分が相違することに鑑みて、対象物の動きによるサイズの変動が最小限に抑制されている局所領域B(k)のサイズの変化率を基礎とすることにより、歩行者等、さまざまな種類の対象物の車両1からの距離または位置が高精度で測定されうる(図3/S016,S018参照)。特に、対象物としての歩行者の上半身は下半身と比較して動きが少ないことに鑑みて、歩行者の動きによるサイズの変動が最小限に抑制されている局所領域B(k)のサイズの変化率を基礎とすることにより、対象物である歩行者の車両1からの距離Z(k)または位置P(k)が高精度で測定されうる。
本発明の車両の構成説明図 本発明の車両周辺監視装置の構成説明図 本発明の車両周辺監視装置の機能を示すフローチャート 対象物領域の設定方法に関する説明図 局所領域のサイズの変化率の算出方法に関する説明図
符号の説明
1‥車両、10‥車両周辺監視装置、11‥赤外線カメラ(撮像装置)

Claims (4)

  1. 車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、
    前記画像において対象物が存在する領域を対象物領域として設定し、前記対象物のうち動きが比較的少ない部分が存在する前記対象物領域の一部の領域を局所領域として設定する第1処理要素と、
    前記画像における前記局所領域のサイズの変化率を算出し、前記局所領域のサイズの変化率に基づいて前記車両から前記対象物までの距離を測定する第2処理要素とを備えていることを特徴とする車両周辺監視装置。
  2. 請求項1記載の車両周辺監視装置において、
    前記第1処理要素が前記対象物の種類を判定し、前記対象物の種類に基づいて前記局所領域を設定することを特徴とする車両周辺監視装置。
  3. 請求項2記載の車両周辺監視装置において、
    前記第1処理要素が前記対象物の種類が歩行者に該当するか否かを判定し、前記対象物の種類が歩行者に該当すると判定したことを要件として前記対象物領域の上部を前記局所領域として設定することを特徴とする車両周辺監視装置。
  4. 請求項1記載の車両周辺監視装置において、
    前記第1処理要素が先時刻における前記局所領域が拡大されることにより得られる拡大局所領域と、前記先時刻よりも後の後時刻における前記局所領域との相関度を評価し、
    前記第2処理要素が、前記相関度が最高となったときの前記先時刻における前記局所領域の拡大率を前記局所領域のサイズの変化率として算出することを特徴とする車両周辺監視装置。
JP2008113858A 2008-04-24 2008-04-24 車両周辺監視装置 Active JP4486997B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008113858A JP4486997B2 (ja) 2008-04-24 2008-04-24 車両周辺監視装置
US12/988,551 US8284253B2 (en) 2008-04-24 2009-01-08 Vehicle periphery monitoring apparatus
CN200980114426.7A CN102016954B (zh) 2008-04-24 2009-01-08 车辆周围监测装置
EP09734224A EP2278574A4 (en) 2008-04-24 2009-01-08 APPARATUS FOR MONITORING VEHICLE PERIPHERY
PCT/JP2009/000044 WO2009130828A1 (ja) 2008-04-24 2009-01-08 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008113858A JP4486997B2 (ja) 2008-04-24 2008-04-24 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2009265882A true JP2009265882A (ja) 2009-11-12
JP4486997B2 JP4486997B2 (ja) 2010-06-23

Family

ID=41216571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008113858A Active JP4486997B2 (ja) 2008-04-24 2008-04-24 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8284253B2 (ja)
EP (1) EP2278574A4 (ja)
JP (1) JP4486997B2 (ja)
CN (1) CN102016954B (ja)
WO (1) WO2009130828A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
JP2013002884A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置
KR20210012515A (ko) * 2019-07-25 2021-02-03 한미헬스케어 주식회사 구동 모드의 자동 전환을 통한 절전형 리딩 제어시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103189905B (zh) 2010-11-16 2015-09-02 本田技研工业株式会社 车辆周围监测装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
US9235990B2 (en) * 2011-11-25 2016-01-12 Honda Motor Co., Ltd. Vehicle periphery monitoring device
KR102451091B1 (ko) * 2015-07-08 2022-10-05 엘지이노텍 주식회사 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN108109474B (zh) * 2018-02-23 2024-03-19 哈尔滨莱特兄弟科技开发有限公司 一种模拟大飞机的脚舵装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US7672514B2 (en) * 2004-03-02 2010-03-02 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
AU2006230361A1 (en) * 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4970926B2 (ja) 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4173901B2 (ja) 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP2007334511A (ja) 2006-06-13 2007-12-27 Honda Motor Co Ltd 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2008113858A (ja) 2006-11-06 2008-05-22 Aruze Corp ゲームシステム
JP4315991B2 (ja) * 2007-04-20 2009-08-19 本田技研工業株式会社 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5480917B2 (ja) * 2010-01-14 2014-04-23 本田技研工業株式会社 車両周辺監視装置
US8994824B2 (en) 2010-01-14 2015-03-31 Honda Motor Co., Ltd. Vehicle periphery monitoring device
CN102713988A (zh) * 2010-01-14 2012-10-03 本田技研工业株式会社 车辆周围监测装置
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
CN102713988B (zh) * 2010-01-14 2015-02-25 本田技研工业株式会社 车辆周围监测装置
JPWO2011086807A1 (ja) * 2010-01-14 2013-05-16 本田技研工業株式会社 車両周辺監視装置
JP5687702B2 (ja) * 2010-08-31 2015-03-18 本田技研工業株式会社 車両周辺監視装置
US8965056B2 (en) 2010-08-31 2015-02-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
CN102985958A (zh) * 2010-08-31 2013-03-20 本田技研工业株式会社 车辆周围监测装置
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
CN102985958B (zh) * 2010-08-31 2015-04-01 本田技研工业株式会社 车辆周围监测装置
JP2013002884A (ja) * 2011-06-14 2013-01-07 Honda Motor Co Ltd 測距装置
KR20210012515A (ko) * 2019-07-25 2021-02-03 한미헬스케어 주식회사 구동 모드의 자동 전환을 통한 절전형 리딩 제어시스템
KR102225049B1 (ko) * 2019-07-25 2021-03-09 한미헬스케어 주식회사 구동 모드의 자동 전환을 통한 절전형 리딩 제어시스템

Also Published As

Publication number Publication date
EP2278574A4 (en) 2011-09-28
US8284253B2 (en) 2012-10-09
CN102016954A (zh) 2011-04-13
EP2278574A1 (en) 2011-01-26
US20110032358A1 (en) 2011-02-10
WO2009130828A1 (ja) 2009-10-29
JP4486997B2 (ja) 2010-06-23
CN102016954B (zh) 2017-06-23

Similar Documents

Publication Publication Date Title
JP4271720B1 (ja) 車両周辺監視装置
JP4486997B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4173901B2 (ja) 車両周辺監視装置
US8766816B2 (en) System for monitoring the area around a vehicle
US8189868B2 (en) Vehicle periphery monitoring device
JP4173902B2 (ja) 車両周辺監視装置
JP5687702B2 (ja) 車両周辺監視装置
WO2011108217A1 (ja) 車両の周辺監視装置
JP2008113296A (ja) 車両周辺監視装置
US8174578B2 (en) Vehicle periphery monitoring device
US7885430B2 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP2009075124A (ja) 距離検出装置
JP4716294B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4743797B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP2008052467A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム
JP4496383B2 (ja) 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム
JP2008042779A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4486997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350