JP2016170513A - 移動体搭載機器制御装置、移動体及び移動体搭載機器制御プログラム - Google Patents

Abstract

【課題】移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境である場合に、移動体搭載機器が誤動作してしまうのを抑制することを課題とする。【解決手段】移動体の周囲を撮像領域として撮像する撮像手段が撮像した撮像画像データに基づいて所定の機器制御条件を判断し、該機器制御条件を満足するときに移動体搭載機器を制御する機器制御を実行する制御手段１０２，１０６とを有する移動体搭載機器制御装置において、移動体の周囲の環境情報を取得する環境情報取得手段１５１，１５２，１５３を有し、前記制御手段は、前記環境情報取得手段が取得した環境情報が所定の環境条件を満たすときに前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないという機器制御制限処理を実行する。【選択図】図１

Description

本発明は、移動体搭載機器制御装置、移動体及び移動体搭載機器制御プログラムに関するものである。

従来、車両、船舶、航空機などの移動体に搭載される撮像装置により撮像した撮像画像データに基づいて当該移動体の周囲に存在する認識対象物を認識し、その認識結果に応じて移動体搭載機器を制御する移動体搭載機器制御装置が知られている。

例えば、特許文献１には、ステレオカメラの撮像画像データに基づいて自車両前方に存在する障害物を認識し、その認識結果が所定の条件（機器制御条件）を満足すればステアリングトルクを制御して自車両と障害物との接触を回避する運転操作支援装置が開示されている。

ところが、ステレオカメラなどの撮像装置で撮像した撮像画像データに基づいて移動体周囲の認識対象物を認識する場合、移動体周囲に、霧、もや、煙霧、湯気、雲などが発生している環境下では、認識対象物の誤認識が発生することがあった。例えば、霧、もや、煙霧、湯気、雲などが局所的に発生して車両、人間、ガードレールのような認識対象物に近い形状をなすと、これを認識対象物として誤認識するおそれがある。また、霧、もや、煙霧、湯気、雲などが全体的に広がって視界を遮るような環境になると、これを壁面（認識対象物）として誤認識するおそれもある。このような誤認識が発生すると、従来の移動体搭載機器制御装置では、実際には存在しない認識対象物が存在するものとして、ブレーキ装置、アクセル装置、ステアリング（ハンドル）装置などの移動体搭載機器を制御してしまい、移動体搭載機器の誤動作を生じさせる。

上述した課題を解決するために、本発明は、移動体の周囲を撮像領域として撮像する撮像手段と、前記撮像手段が撮像した撮像画像データに基づいて所定の機器制御条件を判断し、該機器制御条件を満足するときに移動体搭載機器を制御する機器制御を実行する制御手段とを有する移動体搭載機器制御装置において、移動体の周囲の環境情報を取得する環境情報取得手段を有し、前記制御手段は、前記環境情報取得手段が取得した環境情報が所定の環境条件を満たすとき、前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないことを特徴とする。

本発明によれば、移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境である場合に、移動体搭載機器が誤動作してしまうのを抑制できるという優れた効果が奏される。

実施形態に係る車載機器制御システムおける走行支援制御に関わるブロック図である。 同車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 （ａ）及び（ｂ）は、同撮像ユニットにおける２つの撮像部でそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。 一般的な測距原理を示す説明図である。 実施形態の物体認識処理を説明するための処理ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 制御例１による制御の流れを示すフローチャートである。 制御例２による制御の流れを示すフローチャートである。 制御例３による制御の流れを示すフローチャートである。 制御例４による制御の流れを示すフローチャートである。 制御例４による他の制御の流れを示すフローチャートである。

以下、本発明に係る移動体搭載機器制御装置を、移動体である自動車に搭載されている車載機器（移動体搭載機器）の制御システムに適用した一実施形態について説明する。
図２は、本実施形態に係る自動車の車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車である自車両１００に搭載された撮像手段としての撮像ユニット１０１で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方に存在する物体を認識し、その認識結果を利用して各種車載機器の制御を行うものである。

本実施形態の車載機器制御システムには、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データを含む各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。この認識結果は、例えば、表示ユニット１０３やスピーカーを用いて自車両１００の運転者へ警告情報を報知する報知処理に利用されたり、車両走行制御ユニット１０６により、自車両１００の移動方向を変更する機器としての移動体搭載機器であるハンドル装置（ステアリング）や、自車両１００を増速させる機器としての移動体搭載機器であるアクセル装置、自車両１００を減速させる機器としての移動体搭載機器であるブレーキ装置（制動装置）を制御するなどの走行支援制御に利用されたりする。なお、表示ユニット１０３としては、液晶ディスプレイやＨＵＤ（Head-Up Display）などを用いることができる。

図３は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力するデータ出力手段としての信号処理部１１５Ａ，１１５Ｂとから構成されている。なお、信号処理部１１５Ａ，１１５Ｂは、画像センサ１１３Ａ，１１３Ｂ上に設けられていても良い。本実施形態の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。画像データは、例えば、１画素あたり、１２ビットのデータ量のものであり、０〜４０９５階調（画素値）をとる。

また、撮像ユニット１０１は、画像処理基板等からなる画像処理装置である処理ハードウェア部１２０を備えている。処理ハードウェア部１２０は、撮像画像データに対してリアルタイム性が要求される処理を主に実行するものである。具体的には、例えば、ガンマ補正等の輝度補正処理、２つの撮像部１１０Ａ，１１０Ｂの取り付け位置ズレなどに起因する撮像画像の歪みを補正する歪み補正処理（左右の撮像画像の平行化）、ブロックマッチングによる視差演算処理などが挙げられる。なお、輝度補正処理や歪み補正処理は必ずしも行う必要はない。

本実施形態の処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データの輝度補正処理を行う輝度補正処理部１２４、画像の歪みを補正する歪み補正処理部１２５、これらの補正処理後の輝度画像データから視差画像を得るために各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１などで構成される。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一点（同一対象物上の同じ箇所）に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一点までの距離を算出することができる。

図４（ａ）及び（ｂ）は、２つの撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。
図４（ａ）及び（ｂ）に示す例では、２つの撮像部１１０Ａ，１１０Ｂで互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図４（ａ）に示す画像）を基準画像とし、他方（図４（ｂ）に示す画像）を比較画像としている。そして、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３・・・というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一点に対応する対応点を基準画像及び比較画像の両方で特定するマッチング処理を行う。

図５は、一般的な測距原理を示す説明図である。
マッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一点に対応した各画像領域Ｗａ，Ｗｂ３内の対応点について、基準画像と比較画像とのズレ量を視差値として求める。具体的には、図５に示すように、基準画像内における注目画素の基線方向位置をＸＲとし、比較画像内における対応画素の基線方向位置をＸＬとしたとき、視差値Ｄは、Ｄ＝｜ＸＬ−ＸＲ｜から求めることができる。

なお、マッチング処理により求めた視差値Ｄを用いることで、基準画像内における注目画素に映し出されている撮像領域内の当該同一点（測定対象点）までの距離（基線から測定対象点までの距離）Ｚを、下記の式（１）より算出することができる。なお、下記の式（１）において、「Ｆ」は撮像部１１０Ａ，１１０Ｂの焦点距離であり、「Ｂ」は撮像部１１０Ａ，１１０Ｂ間の基線長である。
Ｚ ＝ Ｂ × Ｆ ／ Ｄ ・・・（１）

画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データや視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。ＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および処理ハードウェア部１２０の全体的な制御を担うとともに、他車両やガードレールその他の各種オブジェクト（認識対象物）の認識処理を実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果を外部へと出力する。外部に出力される認識処理結果のデータは、表示ユニット１０３等において警告情報を報知するために使用されたり、車両走行制御ユニット１０６において自車両１００の各種車両制御用アクチュエータの制御（ブレーキ制御、車速制御など）を行うための入力データとして使用されたりする。

図６は、本実施形態の物体認識処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂから出力される２つの輝度画像データは画像処理部１３１に出力される。この画像処理部１３１は、輝度画像データに対して輝度補正処理や歪み補正処理などの画像処理を実行するものであり、処理ハードウェア部１２０の輝度補正処理部１２４及び歪み補正処理部１２５によって構成される。

画像処理部１３１は、輝度画像データが入力されると、輝度補正処理部１２４による輝度補正処理を実行した後に、歪み補正処理部１２５による歪み補正処理を実行する。この歪み補正処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。

このようにして歪み補正処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素とその隣の画素からなるブロックを定義する。ここで、注目画素とともにブロックを構成する周辺画素としては、隣の画素のみに限らず、例えば、注目画素を中心とした３画素×３画素のブロック内に存在する画素を用いたり、注目画素に対してｘ方向に複数個分の画素を用いたりしてもよい。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして視差画像生成処理を行ったら、次に、Ｖマップ生成部１３３において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＶマップと呼ぶ。

具体的に説明すると、Ｖマップ生成部１３３は、視差画像生成部１３２で生成された視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図７（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、図７（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとり、Ｘ軸に視差値をとった二次元直交座標系上に、頻度を分布させたＶマップを得ることができる。このＶマップは、頻度に応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態では、視差画像生成部１３２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理を実行する。
例えば、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に一致している場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる認識対象物を映し出した画素であると言える。このような画素は、路面を映し出す画素が持つ特徴に合致するので、路面を映し出している画素であると推定することができる。

路面形状検出部１３４では、このような路面に対応する視差値が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

次に、Ｕマップ生成部１３６について説明する。Ｕマップ生成部１３６では、Ｕマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態のＵマップ生成部１３３では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから５ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

例えば、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する場合、Ｕマップにおいては、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。一方、他車両に対応する高頻度の点は、左右のガードレールの間で、Ｘ軸方向に略平行に延びる線分の状態で分布する。

次に、孤立領域検出部１３７について説明する。孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後、二値化処理を行う。その後、値のある座標のラベリングを行い、孤立領域を検出する。以下、それぞれの処理について説明する。

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、ノイズを含んでいる。そのため、ノイズを除去するためと、認識対象物（オブジェクト）を識別しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、認識対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各認識対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各認識対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。

このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。

このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている認識対象物（オブジェクト）と自車両との距離ｚとを用い、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する認識対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する認識対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する認識対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

具体的には、視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、視差画像上のオブジェクト領域として決定する。

次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さから、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の高さを計算できる。同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅から、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の幅を計算できる。また、当該オブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の奥行きは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから計算することができる。

オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。具体的には、オブジェクトタイプの分類を行うためのテーブルデータと比較して、自車両前方に存在する認識対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

次に、３次元位置決定部１４１について説明する。
３次元位置決定部１４１では、検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定する。

次に、ガードレール検出部１４２について説明する。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して近似直線を検出し、この近似直線からガードレールを検出する。

次に、本発明の特徴部分である走行支援制御について説明する。
図１は、本実施形態に係る車載機器制御システムにおける走行支援制御に関わるブロック図である。
車両走行制御ユニット１０６は、上述したように、画像解析ユニット１０２からの認識処理結果、すなわち、車両前方に存在する歩行者、自転車、他車両等のオブジェクトの３次元位置やガードレールの位置などの認識結果情報を取得し、各種車両制御用アクチュエータを制御して、ハンドル制御（ステアリング制御）、ブレーキ制御、車速制御などの走行支援制御を実施する。また、車両走行制御ユニット１０６には、画像解析ユニット１０２のほかにも、自車両１００に搭載されている車速センサ、加速度センサ、操舵角センサ、ブレーキ操作センサ、アクセル操作センサなどの各種センサからのセンシング結果が入力される。車両走行制御ユニット１０６は、これらのセンシング結果も利用して、各種車両制御用アクチュエータを制御する。

ここで、画像解析ユニット１０２が車両前方に存在する歩行者、自転車、他車両等のオブジェクトの３次元位置やガードレールの位置などの認識結果は、自車両１００の周囲（撮像領域）に、霧、もや、煙霧、湯気、雲などが発生している環境下では、誤認識を生じる場合がある。例えば、霧、もや、煙霧、湯気、雲などが局所的に発生して車両、人間、ガードレールのような認識対象物に近い形状をなすと、これを認識対象物として誤認識するおそれがある。また、霧、もや、煙霧、湯気、雲などが全体的に広がって視界を遮るような環境であると、これを壁面（認識対象物）として誤認識するおそれもある。このような誤認識が発生すると、実際には存在しない認識対象物が存在するものとして、ハンドル制御、ブレーキ制御、車速制御などの走行支援制御が実施されてしまう。

そこで、本実施形態においては、霧、もや、煙霧、湯気、雲などの発生と高い相関のある温度条件、湿度条件、地理的条件などの環境条件から、自車両周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境であるか否かを判断する。そして、自車両１００の周囲の温度、湿度、地理などの環境情報が所定の環境条件を満たすときには、自車両周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境であると判断し、走行支援制御が実施されにくくするか、又は、走行支援制御をオフにする。

以下、各種制御例について説明するが、説明の簡略化のため、画像解析ユニット１０２の認識処理により、車両前方に歩行者、自転車、他車両、ガードレール等の障害物が自車両１００の規定の距離内に存在することが認識されたときに、車両走行制御ユニット１０６がブレーキ装置を制御して自動ブレーキ制御を実行する場合を例に挙げて説明するが、その他の車載機器制御を実行する場合でも同様である。例えば、車両走行制御ユニット１０６がアクセル装置を制御して運転者によるアクセル操作を無効するような走行支援制御であってもよい。また、例えば、画像解析ユニット１０２の認識処理結果から障害物が存在しない自車両前方領域を把握し、その自車両前方領域に自車両１００を誘導するようにハンドル制御、アクセル制御、ブレーキ制御を実施するような走行支援制御であってもよい。

〔制御例１〕
自車両１００の周囲の温度が低温（例えば５度以下）になると、自車両１００の周囲の他車両から排出される排気ガスなどの水分を含む気体が冷やされて湯気となる。このような湯気が撮像されると、画像解析ユニット１０２の認識処理により認識対象物として誤認識され、誤って自動ブレーキ動作が実行されてしまうおそれがある。このように自動ブレーキ動作が誤実行されると、ブレーキ操作を行う必要がない状況下で自車両１００が急に減速することになり、運転に支障を来すことになる。本制御例１では、自車両１００の周囲の環境がこのような湯気を発生させる環境である場合には、自動ブレーキ制御をＯＦＦにして、自動ブレーキ動作が実行されないようにする。

図８は、本制御例１による制御の流れを示すフローチャートである。
本制御例１では、環境情報取得手段としての温度センサ１５１が環境情報として自車両１００の外気温を検出し、その検出温度が制御手段としての車両走行制御ユニット１０６に入力される（Ｓ１）。車両走行制御ユニット１０６は、このようにして取得した外気温が、例えば５℃以下であるという環境条件を満たすか否かを判断する（Ｓ２）。

このとき、５℃以下であるという環境条件を満たさない場合（Ｓ２のＮｏ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの湯気が発生する環境ではないと判断して、通常の自動ブレーキ制御の処理を継続する。これにより、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果を取得し（Ｓ８）、その認識処理結果が危険回避のための自動ブレーキ動作を必要とする所定の機器制御条件としての危険回避条件を満足するか否かを判断する（Ｓ９）。そして、危険回避条件を満足する場合（Ｓ９のＹｅｓ）、車両走行制御ユニット１０６は、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行し（Ｓ１０）、自車両１００を減速させる。

一方、５℃以下であるという環境条件を満たす場合（Ｓ２のＹｅｓ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの湯気が発生する環境ではあると判断して、自動ブレーキ制御をオフにする（Ｓ３）。これにより、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果が危険回避条件を満足すると判断されるような場合であっても、自動ブレーキ動作が実行されることはない。その結果、湯気による認識対象物の誤認識によって自動ブレーキ動作が誤動作することを回避できる。

また、車両走行制御ユニット１０６は、自動ブレーキ制御をオフにしたら、その旨を運転者へ通知する処理も行う（Ｓ４）。具体的には、例えば、車両走行制御ユニット１０６は、自動ブレーキ制御をオフにした旨の情報を表示ユニット１０３に送り、表示ユニット１０３は、その旨の内容を示すメッセージ画像やマーク画像を表示して、運転者に自動ブレーキ制御がオフであることを報知する。あるいは、音声や警告灯などによって、運転者に自動ブレーキ制御がオフであることを報知してもよい。このような報知を行うことで、運転者に、自動ブレーキ制御を頼ることなく運転するように注意を喚起させることができる。

その後、車両走行制御ユニット１０６は、温度センサ１５１から外気温を適宜取得し、外気温が１０℃以上であるという条件を満たしたら（Ｓ５のＹｅｓ）、誤認識を生じさせるほどの湯気が発生する環境ではなくなったと判断して、自動ブレーキ制御をオンにする（Ｓ６）。これにより、車両走行制御ユニット１０６は、画像解析ユニット１０２からの認識処理結果が危険回避条件を満足すれば自動ブレーキ動作を実行する自動ブレーキ制御が実施可能となる。

なお、本制御例１では、誤認識を生じさせるほどの湯気が発生する環境であるかどうかの判断を外気温のみに基づいて判断しているが、他の情報と組み合わせて判断してもよい。例えば、排気ガスの湯気が認識対象物として誤認識されるのは、多くの場合、近距離で先行車両が大きなアクセル操作を行うケースである。このようなケースは、停止中の先行車両が発進する際に起こることが多いので、例えば、停止中の自車両が発進してから一定速度に達するまで又は一定時間が経過するまでの期間を、車速センサやタイマー等の情報から把握し、その期間だけ外温度が環境条件を満たすか否かを判断するようにしてもよい。

また、画像解析ユニット１０２から認識処理結果を取得して危険回避条件を満足するか否かの判断処理は、比較的短いタイミング（１つ又は数個の撮像フレームごとに）で実行することが要求される。これに対し、温度センサ１５１から外気温を取得して５℃以下であるという環境条件や１０℃以上という条件を満たす否かの判断処理は、それほど短いタイミングである必要はなく、例えば１０分おき程度でよい。

また、本制御例１では、自動ブレーキ制御をオフにする環境条件（５℃以下）と自動ブレーキ制御をオンにする環境条件（１０℃以上）とが同じ条件ではなく、５℃のマージンを持たせている。これにより、自動ブレーキ制御のオン、オフが頻繁に起こらないようにすることができる。

また、本制御例１のように、外気温に応じて自動ブレーキ制御のオン、オフにする機能を、運転者の指示操作により又はその他の条件を満たすことで、オン、オフできるようにしてもよい。

〔制御例２〕
自車両１００の周囲の相対湿度が高い環境（例えば７５％以上）では、霧やもやが発生しやすい。この場合も、霧やもやが撮像されることで、画像解析ユニット１０２の認識処理により認識対象物として誤認識され、誤って自動ブレーキ動作が実行されてしまうおそれがある。本制御例２では、自車両１００の周囲の環境がこのような霧やもやを発生させる環境である場合には、自動ブレーキ制御をＯＦＦにして、自動ブレーキ動作が実行されないようにする。なお、上述した制御例１と同様の制御動作については、適宜説明を省略する。

図９は、本制御例２による制御の流れを示すフローチャートである。
本制御例２では、環境情報取得手段としての湿度センサ１５２が環境情報として自車両１００の外部の相対湿度（外湿度）を検出し、その外湿度が制御手段としての車両走行制御ユニット１０６に入力される（Ｓ１１）。車両走行制御ユニット１０６は、このようにして取得した外湿度が、例えば７５％以上であるという環境条件を満たすか否かを判断する（Ｓ１２）。

このとき、７５％以上であるという環境条件を満たさない場合（Ｓ１２のＮｏ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの霧やもやが発生する環境ではないと判断して、通常の自動ブレーキ制御の処理を継続する。一方、７５％以上であるという環境条件を満たす場合（Ｓ１２のＹｅｓ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの霧やもやが発生する環境ではあると判断して、自動ブレーキ制御をオフにする（Ｓ１３）。これにより、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果が危険回避条件を満足すると判断されるような場合であっても、自動ブレーキ動作が実行されることはない。その結果、霧やもやによる認識対象物の誤認識によって自動ブレーキ動作が誤動作することを回避できる。

その後、車両走行制御ユニット１０６は、湿度センサ１５２から外湿度を適宜取得し、外湿度が６０％以下であるという条件を満たしたら（Ｓ１５のＹｅｓ）、誤認識を生じさせるほどの霧やもやが発生する環境ではなくなったと判断して、自動ブレーキ制御をオンにする（Ｓ１６）。これにより、車両走行制御ユニット１０６は、画像解析ユニット１０２からの認識処理結果が危険回避条件を満足すれば自動ブレーキ動作を実行する自動ブレーキ制御が実施可能となる。

なお、本制御例２では、誤認識を生じさせるほどの霧やもやが発生する環境であるかどうかの判断を外湿度のみに基づいて判断しているが、他の情報と組み合わせて判断してもよい。例えば、自車両１００に搭載されているナビゲーション装置１５３からの情報に基づき、自車両の現在位置が霧やもやを発生しやすい地理的範囲内（海辺や湖畔の近く等）であるか否かの情報を取得して利用してもよい。また、自車両の現在位置が霧やもやを発生しやすい天候条件（雨の降った後など）や時期的条件（明け方など）を判断するための情報を利用してもよい。なお、天候条件を判断するための情報は、例えば、ナビゲーション装置１５３から取得される現在位置情報に用いて、外部の天気情報サーバから当該現在位置における天気情報を取得すればよい。

〔制御例３〕
上述した制御例１や制御例２では、湯気、霧、もや等により誤認識を生じ得る環境であると判断されると、自動ブレーキ制御をオフにするが、この場合、正常な認識処理結果に基づいて危険回避条件を満足すると判断されても自動ブレーキ動作が実行されない。本制御例３では、湯気、霧、もや等により誤認識を生じ得る環境であると判断されても、自動ブレーキ制御をオフにするのではなく、危険回避条件を満足しにくくすることで、自動ブレーキ動作の誤動作を抑制する。

図１０は、本制御例３による制御の流れを示すフローチャートである。
本制御例３では、前記制御例１と同様、温度センサ１５１から自車両１００の外気温が車両走行制御ユニット１０６に入力されると（Ｓ２１）、車両走行制御ユニット１０６は、取得した外気温が５℃以下であるという環境条件を満たすか否かを判断する（Ｓ２２）。５℃以下であるという環境条件を満たす場合（Ｓ２２のＹｅｓ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの湯気が発生する環境であると判断して、自動ブレーキ制御を制限する制限機能をオンにし（Ｓ２３）、その旨を運転者へ通知する（Ｓ２４）。一方、１０℃以上であるという環境条件を満たす場合（Ｓ２５のＹｅｓ）、車両走行制御ユニット１０６は、誤認識を生じさせるほどの湯気が発生する環境ではないと判断して、自動ブレーキ制御の制限機能をオフにし（Ｓ２６）。その旨を運転者へ通知する（Ｓ２７）。

本制御例３では、このように外気温に応じて自動ブレーキ制御の制限機能がオン、オフされる。自動ブレーキ制御の制限機能がオフであれば、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果を取得し（Ｓ２８）、その認識処理結果が危険回避条件を満足する場合には（Ｓ２９のＹｅｓ，Ｓ３０のＮｏ）、即座に、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行し（Ｓ３４）、自車両１００を減速させる。

一方、自動ブレーキ制御の制限機能がオンである場合、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果を取得し（Ｓ２８）、その認識処理結果が危険回避条件を満足する場合（Ｓ２９のＹｅｓ，Ｓ３０のＹｅｓ）、予め決められた待機時間Ｔｗが経過するのを待つ（Ｓ３１）。そして、待機時間Ｔｗが経過したら（Ｓ３１のＹｅｓ）、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果をあらためて取得し（Ｓ３２）、その認識処理結果が危険回避条件を満足するか否かを判断する（Ｓ３３）。

そして、この判断において危険回避条件を満足している場合には（Ｓ３３のＹｅｓ）、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行し（Ｓ３４）、自車両１００を減速させる。一方、この判断において危険回避条件を満足していない場合には（Ｓ３３のＮｏ）、自動ブレーキ動作は実行されない。

本制御例３においては、誤認識を生じさせるほどの湯気が発生する環境であると判断して自動ブレーキ制御の制限がオンになっている場合、認識処理結果から一度は危険回避条件を満たすと判断された場合でも、即座に自動ブレーキ動作を実行するのではなく、Ｔｗ秒間は待機する。誤認識を生じさせるような湯気は、霧散して、短時間のうちに誤認識を生じさせるほどの湯気ではなくなる場合が多い。したがって、湯気による誤認識で一度は危険回避条件を満たすと判断された場合、一定時間（Ｔｗ秒間）の経過後には危険回避条件を満たさないと判断されることが多い。

本制御例３によれば、認識処理結果から一度は危険回避条件を満たすと判断された場合でも、即座に自動ブレーキを実行するのではなく、Ｔｗ秒間の待機後もまだ危険回避条件を満たす場合に自動ブレーキ動作を実行するので、湯気による認識対象物の誤認識によって自動ブレーキ動作が誤動作することを抑制できる。なお、待機時間Ｔｗの値は、例えば０．５秒以上１秒以下の範囲内であるのが好ましい。これは、自車両１００が時速３０ｋｍで走行している場合に、４〜８ｍの距離を移動するのに相当する。待機時間Ｔｗの値は、自車両１００の速度によって可変としてもよい。

なお、待機時間Ｔｗが経過するまでの間に運転者によるアクセル操作で自車両１００が加速すると、仮に認識処理結果が誤認識でない場合には、Ｔｗ経過後に２回目の危険回避条件を満足して自動ブレーキ動作が実行された時点における危険回避余裕度が少なくなってしまう。よって、待機時間Ｔｗが経過するまでの期間、車両走行制御ユニット１０６は、アクセル装置を制御して、運転者によるアクセル操作を無効にする制御を行ってもよい。これによれば、待機時間Ｔｗが経過するまでの間に運転者によるアクセル操作で自車両１００が加速することがないので、危険回避余裕度が少なくなるのを抑制できる。

以上のように、本制御例３では、取得した外気温が５℃以下であるという環境条件を満たす場合、自動ブレーキ動作を実行させる条件（機器制御条件）が、危険回避条件を満たした後のＴｗ秒経過後もまだ危険回避条件を満たすという条件となっているが、Ｔｗ秒経過という要件に代えて、例えば所定期間内に危険回避条件を所定回数満たすというような要件としてもよい。

〔制御例４〕
本制御例４では、上述した制御例３と同様、湯気により誤認識を生じ得る環境であると判断されたら自動ブレーキ制御の制限機能をオンにするが、自動ブレーキ制御の制限がオンであっても、誤認識の可能性が低い場合には、即座に自動ブレーキ動作を実行させる。なお、上述した制御例３と同様の制御動作については、適宜説明を省略する。

図１１は、本制御例４による制御の流れを示すフローチャートである。
本制御例４では、前記制御例３と同様、自車両１００の外気温に応じて、車両走行制御ユニット１０６は、自動ブレーキ制御を制限する制限機能をオン又はオフにする（Ｓ４１〜Ｓ４７）。自動ブレーキ制御の制限機能がオフであれば、車両走行制御ユニット１０６は、画像解析ユニット１０２から認識対象物の認識処理結果を取得し（Ｓ４８）、その認識処理結果が危険回避条件を満足する場合には（Ｓ４９のＹｅｓ，Ｓ５０のＮｏ）、即座に、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行し（Ｓ５５）、自車両１００を減速させる。

一方、自動ブレーキ制御の制限機能がオンである場合、本制御例４では、車両走行制御ユニット１０６は、次に、運転者が危険回避操作中であるか否かを判断する（Ｓ５１）。詳しくは、自車両１００に搭載されている操舵角センサにより運転者によるハンドル操作角度を検出したり、ブレーキ操作センサにより運転者によるブレーキ操作の操作量を検出したり、アクセル操作センサにより運転者によるアクセル操作の操作量を検出したりする。そして、車両走行制御ユニット１０６は、これらの検出結果を取得し、これらの検出結果が所定の制限解除条件としての危険回避操作条件を満たす場合には、運転者が危険回避操作中であると判断する。危険回避操作条件の具体例としては、ブレーキ操作センサにより検出したブレーキ操作量が規定量以上であるという条件や、操舵角センサにより検出したハンドル操作角度が規定角度以上であるという条件などが挙げられる。

ただし、上述した制御例２のように、自車両１００の周囲の相対湿度に応じて、誤認識を生じさせるほどの霧やもやが発生する環境であるか否かを判断する場合、自車両１００が霧やもやの中を走行しているケースが考えられる。このようなケースでは、霧やもやは壁面のように誤認識されることから、認識した壁が誤認識ではなく正常な認識結果である場合、運転者が行う危険回避操作は主にブレーキ操作であり、ハンドル操作だけでは運転者が危険回避操作を行っているかどうかを正確に判断できない。よって、自車両１００の周囲の相対湿度に応じて誤認識を生じさせるほどの霧やもやが発生する環境であるか否かを判断する場合には、ブレーキ操作量に応じて危険回避操作が行われたか否かを判断するのが好ましい。

運転者が危険回避操作中である場合、運転者自身が自車両前方の回避すべき障害物を認識していることから、危険回避条件を満足している画像解析ユニット１０２による認識処理結果は、湯気による誤認識である可能性が低いものと考えられる。そのため、本制御例４では、運転者が危険回避操作中であると判断された場合（Ｓ５１のＹｅｓ）、車両走行制御ユニット１０６は、自動ブレーキ制御の制限機能はオンであるが、即座に、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行する（Ｓ５５）。

他方、運転者が危険回避操作中ではないと判断された場合には（Ｓ５１のＮｏ）、車両走行制御ユニット１０６は、上述した制御例３と同様、予め決められた待機時間Ｔｗが経過するのを待った上で（Ｓ５２）、画像解析ユニット１０２から認識対象物の認識処理結果をあらためて取得し（Ｓ５３）、その認識処理結果が危険回避条件を満足すれば（Ｓ５４のＹｅｓ）、自動ブレーキ動作を実行する（Ｓ５５）。

本制御例４においては、誤認識を生じさせるほどの湯気が発生する環境であると判断して自動ブレーキ制御の制限がオンになっている場合でも、運転者が危険回避操作中であると判断されたときには、湯気による誤認識である可能性が低いことから、即座に自動ブレーキ動作を実行する。よって、誤認識を生じさせるほどの湯気が発生する環境であっても、自動ブレーキ制御を適切に実行することが可能となる。

また、本制御例４では、自動ブレーキ制御の制限がオンになっている場合でも即座に自動ブレーキ動作を実行する条件として、危険回避操作中であるという条件を用いているが、その他の条件であってもよい。

例えば、危険回避操作中であるか否かの判断に代えて、図１２に示すように、画像解析ユニット１０２により認識した認識対象物の位置が自車両１００の前方右側又は前方左側であるか否かを判断するようにしてもよい（Ｓ５１’）。通常、誤認識を生じさせる湯気は、先行車両の排気ガスの湯気である場合が多く、その場合、湯気によって誤認識される認識対象物の位置は、自車両１００の前方正面となることが多い。一方で、回避すべき歩行者や他車両などの回避対象物は、自車両１００の前方へ横方向から入ってくるケースが多いので、認識対象物が適切に認識される場合、その認識対象物の位置は自車両１００の前方左側や前方右側である場合が多い。

このことから、図１２の例において、画像解析ユニット１０２により認識した認識対象物の位置が自車両１００の前方右側又は前方左側であると判断された場合（Ｓ５１’のＹｅｓ）、その認識対象物は排気ガスの湯気による誤認識である可能性が低く、歩行者や他車両などの回避すべき回避対象物である可能性が高い。そのため、この場合、車両走行制御ユニット１０６は、自動ブレーキ制御の制限機能はオンであるが、即座に、ブレーキ装置のアクチュエータを制御して自動ブレーキ動作を実行する（Ｓ５５）。なお、自車両１００の前方右側と前方左側のうち、運転者から歩行者等の回避対象物の視認性が悪い側だけに絞って、認識対象物の位置を判断するようにしてもよい。

なお、回避すべき歩行者や他車両などの回避対象物が自車両１００の前方へ横方向から入ってくるケースは、自車両１００の発進直後などの低速走行中（徐行中など）である場合が多い。そのため、図１２の例において、認識対象物の位置が自車両１００の前方右側又は前方左側であるという条件に加えて、例えば、自車両１００の速度が規定速度以下であるという条件や自車両１００が発進してから規定時間以下又は規定速度以下であるという条件を用いてもよい。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両１００等の移動体の周囲を撮像領域として撮像する撮像ユニット１０１等の撮像手段と、前記撮像手段が撮像した撮像画像データに基づいて危険回避条件等の所定の機器制御条件を判断し、該機器制御条件を満足するときにブレーキ装置等の移動体搭載機器を制御する自動ブレーキ制御等の機器制御を実行する処理ハードウェア部１２０、画像解析ユニット１０２、車両走行制御ユニット１０６等の制御手段とを有する車載機器制御システム等の移動体搭載機器制御装置において、移動体の周囲の外気温や外湿度等の環境情報を取得する温度センサ１５１や湿度センサ１５２等の環境情報取得手段を有し、前記制御手段は、前記環境情報取得手段が取得した環境情報が５℃以下や７５％以上等の所定の環境条件を満たすときに前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないという機器制御制限処理を実行することを特徴とする。
霧、もや、煙霧、湯気、雲などの発生状況は、温度条件、湿度条件、地理的条件などの環境条件と高い相関をもつ。したがって、移動体周囲の環境情報に基づき、移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境であるか否かを判断することが可能である。本態様によれば、環境情報取得手段で取得した環境情報が所定の環境条件を満たすと、所定の機器制御条件を満足しにくくなって機器制御が実行されにくくなるか、又は、その機器制御が実行されないようにする機器制御制限処理を実行する。これにより、移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境である場合に、移動体搭載機器が誤動作してしまうのを抑制できる。
一般に、移動体周囲の撮像データに基づいた移動体搭載機器の機器制御は、運転者の運転操作を補助する制御（自動ブレーキ制御、自動速度制御、ワイパー制御、ヘッドランプ制御などの走行支援制御）、あるいは、運転者の運転操作に関わりのない制御である。したがって、移動体搭載機器の機器制御が実行されにくくなり又は実行されない場合でも、運転に支障が出るほどの弊害は生じない。むしろ、移動体周囲の現状に反して移動体搭載機器が誤動作してしまうと、かえって運転者の運転に支障を与えかねない。よって、移動体搭載機器の機器制御が実行されにくくなり又は実行されない場合よりも、移動体搭載機器が誤動作してしまうのを避けることが重要である。

（態様Ｂ）
前記態様Ａにおいて、前記撮像手段は、共通の撮像領域を撮像する複数の撮像部１１０Ａ，１１０Ｂを備え、前記制御手段は、前記複数の撮像部によって撮像した複数の撮像画像データに基づいて視差情報を生成する視差情報生成処理を実行し、生成した視差情報に基づいて前記所定の機器制御条件を判断することを特徴とする。
これによれば、撮像領域内の認識対象物までの距離を含む３次元位置を把握することが可能となり、撮像領域内の認識対象物との衝突を回避するための機器制御などを適切に実行することが可能である。

（態様Ｃ）
前記態様Ａ又はＢにおいて、前記移動体搭載機器は、移動体の移動方向を変更するハンドル装置等の機器、移動体を増速させるアクセル装置等の機器、移動体を減速させるブレーキ装置等の機器のうちの少なくとも１つであることを特徴とする。
これによれば、これらの機器制御により、当該移動体と回避対象物との衝突を回避するための運転支援を実現できる。

（態様Ｄ）
前記態様Ｃにおいて、前記制御手段は、前記撮像手段が撮像した撮像画像データに基づいて移動体の移動方向前方に存在する回避対象物等の認識対象物を認識するための画像処理を実行し、該画像処理による認識結果に基づいて前記所定の機器制御条件を判断し、該機器制御条件を満足するときに当該移動体と該認識対象物との衝突を回避するように前記機器制御を実行することを特徴とする。
これによれば、当該移動体と回避対象物との衝突を回避するための運転支援を適切に実行することが可能である。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記制御手段は、運転者の操作情報が危険回避操作条件を満たす等の所定の制限解除条件を満たす場合には、前記環境情報取得手段が取得した環境情報が所定の環境条件を満たすときでも、前記機器制御制限処理を実行しないことを特徴とする。
移動体搭載機器の誤動作を招くほどの霧、もや、煙霧、湯気、雲などが発生する環境であっても、移動体搭載機器の誤動作が生じない場合もある。本態様によれば、所定の制限解除条件を適切に設定することで、移動体搭載機器の誤動作を招くほどの霧、もや、煙霧、湯気、雲などが発生する環境であっても、移動体搭載機器の適切な制御が可能となる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記機器制御制限処理は、前記所定の機器制御条件として、前記所定の機器制御条件と同じ条件を満足してから待機時間Ｔｗ等の所定時間を経過した後に該条件を満たすという条件を用いることにより、前記所定の機器制御条件を満足しにくくする処理であることを特徴とする。
移動体搭載機器の誤動作を引き起こすような霧、もや、煙霧、湯気、雲等は、霧散するなどして、短時間のうちに解消される場合が多い。したがって、所定の機器制御条件と同じ条件を満足してから所定時間を経過した後に再び当該条件を満たす場合には、移動体搭載機器の誤動作を引き起こすような霧、もや、煙霧、湯気、雲などが発生していない可能性が高い。本態様によれば、移動体搭載機器の誤動作を引き起こすような霧、もや、煙霧、湯気、雲などが発生し得る環境下であっても、移動体搭載機器を適切に制御することが可能となる。

（態様Ｇ）
前記態様Ｆにおいて、前記制御手段は、前記所定の機器制御条件と同じ条件を満足してから所定時間を経過するまでの期間、当該移動体の増速を禁止することを特徴とする。
これによれば、前記所定の機器制御条件と同じ条件を満足してから所定時間を経過するまでの期間中に移動体が増速して進んでしまうと、再び当該条件を満たすときに走行支援制御等の機器制御が実行される時点で、移動体が想定以上に進んでしまい、走行支援制御等の機器制御の余裕度が少なくなるおそれがある。本態様によれば、このような走行支援制御等の機器制御の余裕度が少なくなるおそれがなくなり、機器制御の実効性を確保できる。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記制御手段が前記機器制御制限処理を実行する場合、その旨を報知する報知手段を有することを特徴とする。
これによれば、機器制御制限処理が実行されていることを運転者等に知らせることができ、運転者の安全性を確保しやすくなる。

（態様Ｉ）
搭載されている機器を制御する制御装置を備えた移動体において、前記制御装置として、前記態様Ａ〜Ｈのいずれかの態様に係る移動体搭載機器制御装置を用いたことを特徴とする。
これによれば、移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境である場合に、移動体搭載機器が誤動作してしまうのを抑制できる。

（態様Ｊ）
移動体の周囲を撮像領域として撮像する撮像手段が撮像した撮像画像データに基づいて所定の機器制御条件を判断し、該機器制御条件を満足するときに移動体搭載機器を制御する機器制御を実行する制御手段を有する移動体搭載機器制御装置のコンピュータを該制御手段として機能させる移動体搭載機器制御プログラムであって、前記制御手段は、移動体の周囲の環境情報を取得する環境情報取得手段により取得された環境情報が所定の環境条件を満たすときに前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないという機器制御制限処理を実行することを特徴とする。
これによれば、移動体周囲の環境が霧、もや、煙霧、湯気、雲などを発生させる環境である場合に、移動体搭載機器が誤動作してしまうのを抑制できる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ 表示ユニット
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１５１ 温度センサ
１５２ 湿度センサ
１５３ ナビゲーション装置

特許第５２３９９４７号公報

Claims (10)

1. 移動体の周囲を撮像領域として撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像データに基づいて所定の機器制御条件を判断し、該機器制御条件を満足するときに移動体搭載機器を制御する機器制御を実行する制御手段とを有する移動体搭載機器制御装置において、
   移動体の周囲の環境情報を取得する環境情報取得手段を有し、
   前記制御手段は、前記環境情報取得手段が取得した環境情報が所定の環境条件を満たすときに前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないという機器制御制限処理を実行することを特徴とする移動体搭載機器制御装置。
2. 請求項１に記載の移動体搭載機器制御装置において、
   前記撮像手段は、共通の撮像領域を撮像する複数の撮像部を備え、
   前記制御手段は、前記複数の撮像部によって撮像した複数の撮像画像データに基づいて視差情報を生成する視差情報生成処理を実行し、生成した視差情報に基づいて前記所定の機器制御条件を判断することを特徴とする移動体搭載機器制御装置。
3. 請求項１又は２に記載の移動体搭載機器制御装置において、
   前記移動体搭載機器は、移動体の移動方向を変更する機器、移動体を増速させる機器、移動体を減速させる機器のうちの少なくとも１つであることを特徴とする警告装置。
4. 請求項３に記載の移動体搭載機器制御装置において、
   前記制御手段は、前記撮像手段が撮像した撮像画像データに基づいて移動体の移動方向前方に存在する認識対象物を認識するための画像処理を実行し、該画像処理による認識結果に基づいて前記所定の機器制御条件を判断し、該機器制御条件を満足するときに当該移動体と該認識対象物との衝突を回避するように前記機器制御を実行することを特徴とする移動体搭載機器制御装置。
5. 請求項１乃至４のいずれか１項に記載の移動体搭載機器制御装置において、
   前記制御手段は、所定の制限解除条件を満たす場合には、前記環境情報取得手段が取得した環境情報が所定の環境条件を満たすときでも、前記機器制御制限処理を実行しないことを特徴とする移動体搭載機器制御装置。
6. 請求項１乃至５のいずれか１項に記載の移動体搭載機器制御装置において、
   前記機器制御制限処理は、前記所定の機器制御条件として、前記所定の機器制御条件と同じ条件を満足してから所定時間を経過した後に該条件を満たすという条件を用いることにより、前記所定の機器制御条件を満足しにくくする処理であることを特徴とする移動体搭載機器制御装置。
7. 請求項６に記載の移動体搭載機器制御装置において、
   前記制御手段は、前記所定の機器制御条件と同じ条件を満足してから所定時間を経過するまでの期間、当該移動体の増速を禁止することを特徴とする移動体搭載機器制御装置。
8. 請求項１乃至７のいずれか１項に記載の移動体搭載機器制御装置において、
   前記制御手段が前記機器制御制限処理を実行する場合、その旨を報知する報知手段を有することを特徴とする移動体搭載機器制御装置。
9. 搭載されている機器を制御する制御装置を備えた移動体において、
   前記制御装置として、請求項１乃至８のいずれか１項に記載の移動体搭載機器制御装置を用いたことを特徴とする移動体。
10. 移動体の周囲を撮像領域として撮像する撮像手段が撮像した撮像画像データに基づいて所定の機器制御条件を判断し、該機器制御条件を満足するときに移動体搭載機器を制御する機器制御を実行する制御手段を有する移動体搭載機器制御装置のコンピュータを該制御手段として機能させる移動体搭載機器制御プログラムであって、
    前記制御手段は、移動体の周囲の環境情報を取得する環境情報取得手段により取得された環境情報が所定の環境条件を満たすときに前記所定の機器制御条件を満足しにくくするか又は該機器制御を実行しないという機器制御制限処理を実行することを特徴とする移動体搭載機器制御プログラム。

Images