JP2008052467A

JP2008052467A - 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム

Info

Publication number: JP2008052467A
Application number: JP2006227338A
Authority: JP
Inventors: Takayuki Tsuji; 孝之辻; Yuichi Nakanishi; 裕一中西; Izumi Kondo; いずみ近藤
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-08-24
Filing date: 2006-08-24
Publication date: 2008-03-06
Anticipated expiration: 2026-08-24
Also published as: JP4869835B2

Abstract

【課題】車載の撮像装置を通じて得られた画像において人間等の対象物体が遠景物体の空との境界部分に紛れ込んだ場合でも、この対象物体の存在および挙動を高精度で認識しうるシステム等を提供する。
【解決手段】本発明の車両周辺監視システム１０によれば、高ゲイン状態の第１赤外線カメラ１０１および第２赤外線カメラ１０２のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補Ｐ₁が認識される。一方、低ゲイン状態の第１赤外線カメラ１０１を通じて得られた第１画像において２次対象物体候補Ｐ₂が認識され、空間特性要件を満たす空間特性を有する２次対象物体候補Ｐ₂が対象物体Ｐとして認識される。
【選択図】図１

Description

本発明は、車載の撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムに関する。

車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
特開２００１−６０９６号公報

しかし、車両の周辺画像のグレースケール画像において図５に示されているように空Ｏの下方に拡がる森林等の遠景物体Ｑの、空Ｏとの境界部分の輝度が高くなる場合がある。したがって、図４に示されているようにグレースケール画像において高輝度となる対象物体（人間またはその頭部）Ｐが、遠景物体Ｑの当該境界部分に紛れ込んでしまい、この対象物体Ｐの存在および挙動を認識することが困難となる場合がある。これは、車両周辺の人間等の対象物体の存在を高い精度で認識するために車載の赤外線カメラのゲインが高く設定されていることが主な原因である。

そこで、本発明は、車載の撮像装置を通じて得られた画像において人間等の対象物体が遠景物体の空との境界部分に紛れ込んだ場合でも、この対象物体の存在、さらにはその挙動を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。

前記課題を解決するための第１発明の車両周辺監視システムは、高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識し、かつ、前記１次対象物体候補の実空間位置を測定する第１処理部と、低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の、該第１処理部により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理部とを備えていることを特徴とする。

第１発明の車両周辺監視システムによれば、高ゲインの第１画像および第２画像のうち少なくとも一方を用いて１次対象物体候補の存在が確実に認識される。これにより１次対象物体候補の実空間位置が高精度で測定されうる。「実空間」とは、たとえば移動装置の移動方向や位置の変化に伴って変動する座標系を意味する。

一方、低ゲインの第１画像では前記のような背景物体の空との境界部分における高輝度領域の出現が抑制される。これにより、１次対象物体候補に対応する２次対象物体候補の空間特性が、低ゲインの第１画像において高精度で認識されうる。また、２次対象物体候補の空間特性が対象物体の空間特性に応じた「空間特性要件」を満たすか否か、ひいては当該対象物体候補が対象物体に該当するか否かが精度よく判定されうる。第１発明において物体または物体候補の「空間特性」とは当該物体または物体候補の実空間位置に基づくサイズ、または当該サイズおよび形状に応じた特性を意味する。

このように高ゲインの第１および第２画像のうち少なくとも一方と、低ゲインの第１画像との併用によって、前記のように背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在が高精度で認識されうる。

また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記１次対象物体候補の時系列的な測定位置に基づき前記車両と該１次対象物体候補との接触可能性を評価し、前記第２処理部が該第１処理部により該車両との接触可能性が高いと評価された該１次対象物体候補に対応する前記２次対象物体候補の前記空間特性を認識することを特徴とする。

第２発明の車両周辺監視システムによれば、前記のように高ゲインの第１画像および第２画像において１次対象物体候補の実空間位置が高精度で測定されうる。したがって、時系列的に測定された１次対象物体候補の実空間位置に基づいて当該１次対象物体候補と車両との接触可能性が高精度で評価されうる。そして、車両と接触する可能性が高い１次対象物体候補に対応する２次対象物体候補の形状が、空間特性要件を満たすか否かに応じて、当該２次対象物体候補が対象物体に該当するか否かが高精度で認識されうる。

さらに、第３発明の車両周辺監視システムは、第１または第２発明の車両周辺監視システムにおいて、前記第１処理部により評価された前記車両との接触可能性の高低に応じて、前記第２処理部により認識された前記対象物体に関して当該車両に搭載されている機器の動作を異なる態様で制御する第３処理部をさらに備えていることを特徴とする。

第３発明の車両周辺監視システムによれば、前記のように高精度で評価された車両と１次対象物体候補との接触可能性に基づいて車載機器の動作が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。また、車載機器が後述する情報出力機器である場合、車両と対象物体との接触可能性の高低に応じて、異なる態様で当該対象物体の存在が強調等されて出力されうる。

また、第４発明の車両周辺監視システムは、第１または第２発明の車両周辺監視システムにおいて、前記第２処理部により認識された前記対象物体の存在を知らせるまたは強調する情報を前記車両に搭載されている情報出力機器に出力させる第３処理部をさらに備えていることを特徴とする。

第４発明の車両周辺監視システムによれば、前記のように対象物体の存在が高精度で認識されうるので、車両と当該対象物体との接触回避等の観点から、当該対象物体またはその部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、必要に応じて車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。

さらに、第５発明の車両周辺監視システムは、第１〜第４発明のうちいずれか１つの車両周辺監視システムにおいて、前記第２処理部が、前記２次対象物体候補の前記空間特性が前記空間特性要件を満たしていないと判定したことを要件として前記第１撮像装置のゲインをさらに低下させた上で当該判定を再実行することを特徴とする。

第５発明の車両周辺監視システムによれば、第１画像に前記のように背景物体の空との境界部分に出現した高輝度領域の影響により、２次対象物体候補が対象物体に該当するか否かが判定されえないような状況でも、当該影響を一度にまたは段階的なゲイン調節により排除して、対象物体の存在が高精度で認識されうる。

前記課題を解決するための第６発明の車両周辺監視システムは、高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識する第１処理部と、低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理部とを備えていることを特徴とする。

第６発明の車両周辺監視システムによれば、高ゲインの第１画像および第２画像のうち少なくとも一方を用いて１次対象物体候補の存在が確実に認識される。一方、低ゲインの第１画像では前記のような背景物体の空との境界部分における高輝度領域の出現が抑制される。これにより、１次対象物体候補に対応する２次対象物体候補の空間特性が低ゲインの第１画像において高精度で認識されうる。また、２次対象物体候補の空間特性が対象物体の空間特性に応じた「空間特性要件」を満たすか否か、ひいては当該対象物体候補が対象物体に該当するか否かが精度よく判定されうる。第６発明において物体または物体候補の「空間特性」とは当該物体または物体候補の形状に応じた特性を意味する。

前記課題を解決するための第７発明の車両は、第１および第２撮像装置と、第１〜第６発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。

第７発明の車両によれば、高ゲインの第１および第２画像のうち少なくとも一方と、低ゲインの第１画像との併用によって、前記のように背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在が高精度で認識されうる。

前記課題を解決するための第８発明の車両周辺監視プログラムは、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識し、かつ、前記１次対象物体候補の実空間位置を測定する第１処理機能と、低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の、該第１処理機能により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理機能とを車載コンピュータに付与することを特徴とする。

前記課題を解決するための第９発明の車両周辺監視プログラムは、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識する第１処理機能と、低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理機能とを車載コンピュータに付与することを特徴とする。

第８および第９発明のそれぞれの車両周辺監視プログラムによれば、高ゲインの第１および第２画像のうち少なくとも一方と、低ゲインの第１画像との併用によって、背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在を高精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。

前記課題を解決するための第１０発明の構築システムは、第１または第６発明の車両周辺監視システムを構成するため、第８または第９発明の車両周辺監視プログラムの一部または全部を前記車載コンピュータに配信または放送することを特徴とする。

本発明の方法によれば、高ゲインの第１および第２画像のうち少なくとも一方と、低ゲインの第１画像との併用によって、背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在を高精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構成されうる。

本発明の車両周辺監視システム、車両、車両周辺監視プログラム、および当該車両周辺監視システムの構築システムの実施形態について図面を用いて説明する。図１は本発明の車両周辺監視システム等の構成説明図であり、図２は本発明の車両周辺監視システムの構成説明図であり、図３〜図９は本発明の車両周辺監視システムの機能に関する説明図である。

本発明の車両、車両周辺監視システムおよびサーバの構成について図１を用いて説明する。

図１に示されている車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された第１赤外線カメラ（第１撮像装置）１０１および第２赤外線カメラ（第２撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。なお、第１赤外線カメラ１０１および第２赤外線カメラ１０２の左右の配置は、図１に示されている配置の反対であってもよい。

車両周辺監視システム１０は車載の２つの赤外線カメラ、すなわち第１赤外線カメラ１０１および第２赤外線カメラ１０２のそれぞれを通じて得られた画像に基づいて車両１の周辺、特に前方の対象物の存在および挙動を認識または監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ等）に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（構築システムを構成する。）２０からネットワークや人工衛星を介して当該車載コンピュータに配信（ダウンロード）または放送され、そのメモリ（ＥＥＰＲＯＭ、ＲＡＭ等）に格納されてもよい。

車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。

第１処理部１１は高ゲイン状態の第１赤外線カメラ１０１および第２赤外線カメラ１０２のそれぞれを通じて得られた第１画像および第２画像において１次対象物体候補Ｐ₁を認識する。また、第１処理部１１は第１画像および第２画像の視差を用いて１次対象物体候補Ｐ₁の実空間位置を測定する。さらに、第１処理部１１は１次対象物体候補Ｐ₁の時系列的な測定位置に基づき車両１と当該１次対象物体候補Ｐ₁との接触可能性を評価する。

第２処理部１２は第１処理部１１により認識された１次対象物体候補Ｐ₁に、低ゲイン状態の第１赤外線カメラ１０１を通じて得られた第１画像において対応する２次対象物体候補Ｐ₂を認識する。また、第２処理部１２は２次対象物体候補Ｐ₂の「空間特性」を認識する。また、第２処理部１２は２次対象物体候補Ｐ₂の空間特性が対象物体Ｐの空間特性に応じた「空間特性要件」を満たすか否かを判定し、当該空間特性要件を満たす空間特性を有する２次対象物体候補Ｐ₂を当該対象物体Ｐとして認識する。対象物体Ｐとしては人間、鹿等の動物、他の車両等が任意に選択されうる。

第３処理部１３は第１処理部１１により評価された１次対象物体候補Ｐ₁と車両１との接触可能性の高低に応じて、当該１次対象物体候補Ｐ₁に対応する２次対象物体候補Ｐ₂の中から第２処理部１２により空間特性要件を満たすと認識された２次対象物体候補Ｐ₂を対象物体Ｐとして認識する。また、第３処理部１３は対象物体Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力機器）１０４に表示させる等、車載機器の動作を制御する。

前記構成の車両１および車両周辺監視システム１０の機能について図３〜図９を用いて説明する。

まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。

具体的には、第１処理部１１はメモリから第１画像（高ゲイン）および第２画像（高ゲイン）を読み出す（図３／Ｓ１１１）。第１画像（高ゲイン）は、高ゲイン状態の第１赤外線カメラ１０１により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像がさらに２値化処理されることで得られ、当該メモリに格納されたものである。同様に第２画像（高ゲイン）は、高ゲインに設定（固定）されている第２赤外線カメラ１０２により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像がさらに２値化処理されることで得られ、当該メモリに格納されたものである。

また、第１処理部１１は第１画像（高ゲイン）および第２画像（高ゲイン）のそれぞれにおいて１次対象物体候補Ｐ₁を認識する（図３／Ｓ１１２）。具体的には、第１画像および第２画像が、前記特許文献１に開示されている手法と同様の手法によってランレングスデータ化される。そして、ランレングスデータ化されて得られた横に延びる複数のラインのうち、画像の縦方向に重なりがあり、かつ、長さの偏差が所定値以内である複数のライン群が１つの１次対象物体候補Ｐ₁として認識される。たとえば図４に示されているような２値化画像が得られた場合、当該手法によって図５に示されているような３つの１次対象物体候補（斜線部分）Ｐ₁₁〜Ｐ₁₃が認識される。

さらに、第１処理部１１は第１画像および第２画像の視差を利用して、第１処理部１１により認識された１次対象物体候補Ｐ₁の重心（または代表点）の実空間における位置を測定する（図３／Ｓ１１３）。この際、第１処理部１１はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正された１次対象物体候補Ｐ₁の測定位置は時系列的にメモリに格納される。ここで実空間位置とは、図１に示されているように第１赤外線カメラ１０１および第２赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。視差を利用した実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているのでここでは詳細な説明を省略する。

さらに、第１処理部１１は１次対象物体候補Ｐ₁の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした当該１次対象物体候補Ｐ₁の相対速度（大きさおよび向きを含む。）Ｖ_sを算出する（図３／Ｓ１１４）。

また、第１処理部１１は車両１と当該１次対象物体候補Ｐ₁との接触可能性を評価する（図３／Ｓ１１５）。たとえば、図８に示されているように第１赤外線カメラ１０１または第２赤外線カメラ１０２により監視可能な三角形領域Ａ₀よりも、車両１に対する１次対象物体候補Ｐ₁の相対速度ｖ_sと余裕時間Ｔとの積（ｖ_s×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ₁と、第１領域Ａ₁の左右の第２領域（侵入判定領域）Ａ_2LおよびＡ_2Rとが定義される。そして、１次対象物体候補Ｐ₁が第１領域Ａ₁にある場合や、１次対象物体候補Ｐ₁が左右の第２領域Ａ₂にあって、その相対速度ベクトルｖ_sに鑑みて第１領域Ａ₁に侵入してくることが予測される場合、この１次対象物体候補Ｐ₁と車両１とが接触する可能性が高く評価される。当該手法により、たとえば図５に示されている複数の１次対象物体候補Ｐ₁₁〜Ｐ₁₃のうち、１次対象物体候補Ｐ₁₁およびＰ₁₃のそれぞれと車両１との接触可能性が高いと評価される。

続いて第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。

第２処理部１２はメモリから第１画像（低ゲイン）を読み出し（図３／Ｓ１２１）、この第１画像（低ゲイン）におけるすべての２次対象物体候補Ｐ₂の「空間特性」を認識する（図３／Ｓ１２２）。なお、第１画像（低ゲイン）において認識された２次対象物体候補Ｐ₂のうち、第１処理部１１により車両１との接触可能性が高いと評価された１次対象物体候補Ｐ₁に対応する２次対象物体候補Ｐ₂についてのみ空間特性が認識されてもよい。たとえば２次対象物体候補Ｐ₂は（）、第１処理部１１により車両１との接触可能性が高いと評価された、図５に示されている１次対象物体候補Ｐ₁₁およびＰ₁₃に対応している。第１画像（低ゲイン）は、低ゲイン状態の第１赤外線カメラ１０１により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像がさらに２値化処理されることで得られ、当該メモリに格納されたものである。第１赤外線カメラ１０１のゲインは第２処理部１２により制御される。たとえば図６に示されている２値化画像が得られた場合、図７に示されているような２次対象物体候補（斜線部分）Ｐ₂が認識される。

２次対象物体候補Ｐ₂の空間特性は、当該２次対象物体候補Ｐ₂に対応する１次対象物体候補Ｐ₁について第１処理部１１により測定された実空間位置に基づく「サイズ」および当該２次対象物体候補Ｐ₂の「形状」の両方に応じた特性を意味する。たとえば、２次対象物体候補Ｐ₂の上部の実空間における横方向（Ｘ方向）のサイズおよび縦方向（Ｙ方向）のサイズのうち一方または両方と、第１画像（低ゲイン）において図７に示されている矩形状のマスクＭに含まれる２次対象物体候補Ｐ₂の上部の形状に応じた縦横比とが当該２次対象物体候補Ｐ₂の空間特性として認識される。当該縦横比は、たとえば図７に示されているような２次対象物体候補Ｐ₂の上部の上端および下端を上下の境界とするマスクＭに含まれている画像領域を横に走査したときの高輝度画素数の分布曲線（たとえば、ガウス分布曲線のような形状を有している。）において、所定値を超える部分の高さおよび幅の比として測定される。

また、第２処理部１２は２次対象物体候補Ｐ₂の空間特性が「空間特性要件」を満たすか否かを判定する（図３／Ｓ１２３）。空間特性要件は人間等の対象物体Ｐの標準的なサイズおよび形状に応じた空間特性に応じて設定され、メモリに格納されている。たとえば、２次対象物体候補Ｐ₂の上部の実空間における横方向（Ｘ方向）のサイズおよび縦方向（Ｙ方向）のサイズのうち一方または両方が、対象物体Ｐである人間の頭部の縦方向および横方向のそれぞれの標準的なサイズに応じて設定された範囲に含まれること、および前記縦横比が対象物体Ｐである人間の頭部の標準的な縦横比に応じた範囲に含まれることが空間特性要件として設定される。そして、第２処理部１２は２次対象物体候補Ｐ₂の形状が空間特性要件を満たすと判定した場合（図３／Ｓ１２３‥ＹＥＳ）、当該２次対象物体候補Ｐ₂を対象物体Ｐとして認識する（図３／Ｓ１２４）。

一方、第２処理部１２により空間特性要件を満たす空間特性を有する２次対象物体候補Ｐ₂が第１画像（低ゲイン）に存在しないと判定した場合（図３／Ｓ１２３‥ＮＯ）、後述の第３処理が実行されることなくそのまま処理が終了する。

次に、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。

第３処理部１３は、第２処理部１２により認識された対象物体Ｐに対応する１次対象物体候補Ｐ₁ついて、第１処理部１１により評価された車両１との接触可能性の高低をメモリから読み取って判定する（図３／Ｓ１３１）。そして、第３処理部１３は対象物体Ｐに対応する１次対象物体候補Ｐ₁と車両１との接触可能性が高いと判定した場合（図３／Ｓ１３１‥ＹＥＳ）、「第１制御処理」を実行する（図３／Ｓ１３２）。これにより、たとえば対象物体Ｐの存在を強調するため、図９に示されているように当該対象物体Ｐを囲む矩形状の橙色のフレームｆが「第１情報」としてＨＵＤ１０４に表示される。なお、対象物体Ｐの全部または大部分を包含するものであれば、フレームｆの形状やサイズは任意に変更されてもよい。また、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。

一方、第３処理部１３は対象物体Ｐに対応する１次対象物体候補Ｐ₁と車両１との接触可能性が低いと判定した場合（図３／Ｓ１３１‥ＮＯ）、「第２制御処理」を実行する（図３／Ｓ１３３）。これにより、たとえば対象物体Ｐの存在を控えめに強調するため、同じく図９に示されているように対象物体Ｐを囲む矩形状の黄色のフレームｆが「第２情報」としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または音量が小さい）音声がスピーカ（図示略）から出力されてもよい。

前記機能を発揮する本発明の車両周辺監視システム１０によれば、図４に示されているような第１画像（高ゲイン）および第２画像（高ゲイン）のそれぞれにおいて、図５に示されているような１次対象物体候補Ｐ₁₁〜Ｐ₁₃が確実に認識されうる。これにより、１次対象物体候補Ｐ₁の実空間位置が正確に測定され、かつ、時系列的な当該測定位置に基づいて車両１と１次対象物体候補Ｐ₁との接触可能性が高精度で評価されうる（図３／Ｓ１１１〜Ｓ１１５参照）。

一方、第１画像（低ゲイン）では、図６に示されているように、図４に示されているような背景物体Ｑの空Ｏとの境界部分における高輝度領域の出現が抑制される。これにより、１次対象物体候補Ｐ₁に対応する２次対象物体候補Ｐ₂の空間特性が第１画像（低ゲイン）において正確に認識されうる（図３／Ｓ１２２参照）。また、第１画像（低ゲイン）における２次対象物体候補Ｐ₂のサイズおよび形状に応じた空間特性が対象物体Ｐの空間特性に応じた空間特性要件を満たすか否か、ひいては当該２次対象物体候補Ｐ₂が対象物体Ｐに該当するか否かが精度よく判定されうる（図３／Ｓ１２３参照）。

このように高ゲインの第１および第２画像のうち少なくとも一方と、低ゲインの第１画像との併用によって、図４に示されているような背景物体Ｑの空Ｏとの境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両１の周辺にある対象物体Ｐの存在およびその挙動が高精度で認識されうる。

さらに、車両１と対象物体Ｐとの接触可能性が高い精度で評価されうるので、車両１と対象物体Ｐとの接触回避等の観点から、当該対象物体Ｐの存在を強調する第１または第２情報が適当にＨＵＤ１０４に表示（出力）されうる（図３／Ｓ１３２、Ｓ１３３、図９）。これにより、運転者に車両１の前方における対象物体Ｐの存在を認識させ、車両１と対象物体Ｐとの接触を回避するために車両１の減速や操舵等、車両１の挙動を適当に制御させることができる。

なお、前記実施形態では高ゲインの第１赤外線カメラ１０１および第２赤外線カメラ１０２のそれぞれを通じて得られた２つの赤外線画像が２値化処理されることで得られた２つの２値化画像を用いて１次対象物体候補Ｐ₁が認識された。そのほか、高ゲインの第１赤外線カメラ１０１および第２赤外線カメラ１０２のうち一方を通じて得られた１つの赤外線画像のみが２値化処理されることで得られた１つの２値化画像を用いて１次対象物体候補Ｐ₁が認識されてもよい。

また、前記実施形態では第１画像（高ゲイン）および第２画像（高ゲイン）の視差を用いて１次対象物体候補Ｐ₁の実空間位置が測定された（図３／Ｓ１１３）。そのほか、レーダーを用いる等、異なる手法によって１次対象物体候補Ｐ₁の実空間位置が測定されてもよい。

さらに、前記実施形態では車両１と１次対象物体候補Ｐ₁との接触可能性が評価され、当該接触可能性の高低に応じて第１制御処理または第２制御処理が実行される（図３／Ｓ１１５，Ｓ１３１〜Ｓ１３３参照）。そのほか、車両１との接触可能性とは無関係に対象物体Ｐの有無に応じて異なる制御処理が実行されてもよい。

また、前記実施形態では２次対象物体候補Ｐ₂の空間特性が当該２次対象物体候補Ｐ₂の「サイズ」および「形状」に応じた特性として定義され、空間特性要件が対象物体Ｐの標準的な「サイズ」および「形状」に基づいて定義されている。そのほか、２次対象物体候補Ｐ₂の空間特性が当該２次対象物体候補Ｐ₂の「サイズ」に応じた特性として定義され、空間特性要件が対象物体Ｐの標準的な「サイズ」に基づいて定義されてもよい。また、２次対象物体候補Ｐ₂の空間特性が当該２次対象物体候補Ｐ₂の「形状」に応じた特性として定義され、空間特性要件が対象物体Ｐの標準的な「形状」に基づいて定義されてもよい。２次対象物体候補Ｐ₂の空間特性が当該２次対象物体候補Ｐ₂の「形状」に応じた特性として定義されている場合、１次対象物体候補Ｐ₁の実空間位置の測定（図３／Ｓ１１３参照）が省略されてもよい。２次対象物体候補Ｐ₂の形状に応じた空間特性が空間特性要件を満たしているか否かが、テンプレートマッチング等、２次対象物体候補Ｐ₂の形状が対象物体Ｐの標準的な形状にどの程度類似しているかに応じて判定されてもよい。

さらに、前記実施形態では第２処理部１１により空間特性要件を満たす空間特性を有する２次対象物体候補Ｐ₂が低ゲインの第１画像に存在しないと判定された場合（図３／Ｓ１２３‥ＮＯ）、第３処理が実行されることなくそのまま処理が終了したが、他の実施形態としてこのような場合、第２処理部１２が第１赤外線カメラ１０１のゲインをさらに低下させた上で当該判定処理を再実行してもよい。さらに、第１赤外線カメラ１０１の初期ゲインが第２赤外線カメラ１０２のゲインと同一に設定され、第１処理部１１が空間特性要件を満たす２次対象物体候補Ｐ₂が低ゲインの第１画像に存在しないと判定したことを要件として（図３／Ｓ１１３‥ＮＯ）、第１赤外線カメラ１０１のゲインを一度にまたは複数回にわたって段階的に低下させてもよい。

また、前記実施形態では第１制御処理により対象物体Ｐの存在を強調する第１情報がＨＵＤ１０４に出力され、第２制御処理により対象物体Ｐの存在を強調する、第１情報とは異なる形態の第２情報がＨＵＤ１０４に出力される（図９参照）。そのほか、第１制御処理および第２制御処理として車両１の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器の動作が異なる態様で制御されてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と対象物体Ｐとの接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物体Ｐとの接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。

本発明の車両周辺監視システム等の構成説明図本発明の車両周辺監視システムの構成説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図本発明の車両周辺監視システムの機能説明図

符号の説明

１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ、１０１‥第１赤外線カメラ（第１撮像装置）、１０２‥第２赤外線カメラ（第２撮像装置）、１０４‥ＨＵＤ（情報出力機器（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ、Ｐ‥対象物体、Ｐ₁‥１次対象物体候補、Ｐ₂‥２次対象物体候補

Claims

車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、
高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識し、かつ、前記１次対象物体候補の実空間位置を測定する第１処理部と、
低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の、該第１処理部により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理部とを備えていることを特徴とする車両周辺監視システム。
前記第１処理部が前記１次対象物体候補の時系列的な測定位置に基づき前記車両と該１次対象物体候補との接触可能性を評価し、
前記第２処理部が該第１処理部により該車両との接触可能性が高いと評価された該１次対象物体候補に対応する前記２次対象物体候補の前記空間特性を認識することを特徴とする請求項１記載の車両周辺監視システム。
前記第１処理部により評価された前記車両との接触可能性の高低に応じて、前記第２処理部により認識された前記対象物体に関して当該車両に搭載されている機器の動作を異なる態様で制御する第３処理部をさらに備えていることを特徴とする請求項２記載の車両周辺監視システム。
前記第２処理部により認識された前記対象物体の存在を知らせるまたは強調する情報を前記車両に搭載されている情報出力機器に出力させる第３処理部をさらに備えていることを特徴とする請求項１または２記載の車両周辺監視システム。
前記第２処理部が、前記２次対象物体候補の前記空間特性が前記空間特性要件を満たしていないと判定したことを要件として前記第１撮像装置のゲインをさらに低下させた上で当該判定を再実行することを特徴とする請求項１〜４のうちいずれか１つに記載の車両周辺監視システム。
車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、
高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識する第１処理部と、
低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理部とを備えていることを特徴とする車両周辺監視システム。
前記第１撮像装置および前記第２撮像装置と、請求項１〜６のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、
高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識し、かつ、前記１次対象物体候補の実空間位置を測定する第１処理機能と、
低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の、該第１処理機能により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理機能とを車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、
高ゲイン状態の第１撮像装置および第２撮像装置のそれぞれを通じて得られた第１および第２画像のうち少なくとも一方を用いて１次対象物体候補を認識する第１処理機能と、
低ゲイン状態の該第１撮像装置を通じて得られた該第１画像において該１次対象物体候補に対応する２次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該２次対象物体候補を当該対象物体として認識する第２処理機能とを車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
請求項１または６記載の車両周辺監視システムを構築するため請求項８または９記載の車両周辺監視プログラムの一部または全部を前記車載コンピュータに配信または放送することを特徴とするシステム。