JP2010224670A - 車両の周辺監視装置 - Google Patents

Abstract

【課題】効率的に検出すべき対象物を判定する。
【解決手段】車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置は、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、車両が走行している位置を検出する手段と、該検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、取得された特徴に基づいて、起動すべき判定処理を選択する選択手段と、撮像画像から抽出された対象物に対し、該選択した判定処理を実行して、該対象物を判定する手段と、を備える。上記特徴は、一実施例では、該位置の存在する道路の種別を表し、他の実施例では、該位置の存在する地域が、所定の条件を満たす街であるか否かを表す。
【選択図】図５

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物を判定する処理を必要に応じて実行する装置に関する。

車両の周辺には、歩行者、電柱や壁等の人工構造物などが存在しており、このような対象物は、車両の走行に影響を与えるおそれがあるため、従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像から対象物を検出し、その検出結果を車両の運転者に提供する装置が提案されている。また、車両の周辺には、鹿などの動物が存在することもあり、最近では、このような動物を他の対象物と区別して検出する手法も提案されている。たとえば、下記の特許文献１には、動物を検出する手法が開示されており、この手法によると、動物を表す所定形状の対象物を撮像画像から抽出することにより、動物を検出している。

特開２００７−３１０７０５号公報

歩行者および動物などの生体は、人工構造物に比べて通常高温であるため、赤外線カメラを用いれば、これらの生体を人工構造物から、ある程度区別して検出することができる。しかしながら、より高い精度でこれらの対象物を区別して判定するには、別個の対象物判定アルゴリズムが必要とされる。すなわち、歩行者用の判定アルゴリズム、動物用の判定アルゴリズムおよび人工構造物用の判定アルゴリズムが用意され、撮像された画像から抽出された対象物に対して、これらの判定アルゴリズムが適用される。より高い判定精度を実現しようとするほど、これらの判定アルゴリズムは複雑になると共に、その規模は増大する。その結果、処理負荷が大きくなり、処理効率が低下するおそれがある。

したがって、上記のような処理負荷の増大を抑制し、より効率的に、検出すべき対象物を判定することができる装置が所望されている。

この発明の一つの側面によると、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置には、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、該装置は、前記車両が走行している位置を検出する手段と、前記検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、取得された前記特徴に基づいて、起動すべき前記判定処理を選択する選択手段と、前記撮像画像から抽出された対象物に対し、前記選択した判定処理を実行して、該対象物を判定する手段と、を備える。

場所によっては、存在する対象物の種類が限られており、それをある程度予測することができる。この発明は、この知見に鑑みてなされたものであり、車両の現在の位置が存在する道路および地域の少なくとも一方に関する特徴に基づいて、起動すべき判定処理を選択する。したがって、予め用意されたすべての判定処理を実行する必要がなく、車両の現在位置の特徴に適合した判定処理のみを実行すればよいので、処理負荷の低減を図ることができる。また、その位置に存在する可能性のある対象物についての判定処理のみが行われるので、対象物の誤検出を抑制することができ、対象物の判定精度をより向上させることができる。

この発明の一実施形態によると、前記特徴は、前記検出された位置の存在する道路の種別を表しており、前記選択手段は、該道路の種別が、高速道路を表しているか否かに従って、前記起動すべき判定処理を選択する。

高速道路に存在しうる対象物は、通常限られる。たとえば歩行者は、通常、高速道路上には存在しない。したがって、高速道路を走行している間は、歩行者を判定する処理をスキップすることができ、これにより、処理負荷を低減することができる。また、高速道路に存在しうる対象物についての判定処理のみを行うので、対象物の誤検出を抑制することができ、対象物の判定精度を向上させることができる。

この発明の一実施形態によると、前記特徴は、前記検出された位置の存在する地域が、所定の条件を満たす街であるか否かを表しており、前記検出された位置の存在する地域が前記街でないことを前記特徴が表しているならば、前記選択手段は、動物を判定するための前記判定処理を選択する。

対象物によっては、存在しうる場所が通常限られる。たとえば、鹿等の大型の動物は、通常、人口がある程度存在する街には出没せず、たとえば山道のような道路に出没する。したがって、本願発明によれば、このような街以外の場所を走行している間のみ、動物を判定する処理を実行する。こうすることにより、処理負荷を低減することができる。また、動物が存在する可能性の高い場所で動物の判定処理を行うので、動物の誤検出を抑制することができ、動物の判定精度を上げることができる。

この発明の一実施形態によると、取得された前記特徴に基づいて、人工構造物を判定するための前記判定処理を変更する手段をさらに備える。

人工構造物の種類は多岐にわたり、すべての人工構造物を、より良好な精度で判定しようとすると、該人工構造物の種類毎にアルゴリズムを用意して実行する必要がある。他方、存在しうる人工構造物の種類や形状は、道路や地域によって限られることがある。たとえば、高速道路では、郵便ポストのような人工構造物は存在しない。本願発明によれば、車両の現在位置の存在する道路および地域の少なくとも一方に関する特徴に応じて人工構造物の判定処理を変更するので、存在する可能性の低い種類の人工構造物の判定処理を実行する必要がなく、よって処理負荷を低減することができる。また、存在する可能性の高い種類の人工構造物のみについて判定処理を行うことができるので、人工構造物の誤検出を抑制することができ、人工構造物の判定精度を向上させることができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の一実施例に従う、道路の種別および（または）「街」かどうかの情報に基づいて、起動すべき対象物の判定処理の切り替えを説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の第１の実施例に従う、対象物判定プロセスを示すフローチャート。 この発明の第２の実施例に従う、対象物判定プロセスを示すフローチャート。 この発明の第３の実施例に従う、対象物判定プロセスを示すフローチャート。 この発明の第４の実施例に従う、「街」かどうかをリアルタイムに判定する処理を説明するための図。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。

この実施例では、図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

さらに、ナビゲーションユニット５が、画像処理ユニット２に接続されている。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット５は、地図情報を記憶する地図情報記憶部７を備える。地図情報記憶部７は、任意の記憶装置（記録媒体やハードディスクドライブなど）に実現されることができる。ナビゲーションユニット５は、地図情報記憶部７に記憶された地図情報を読み出して、所定の表示装置（ＨＵＤ４でもよい）の表示画面上に表示することができる。

ここで、具体的な実施例を述べる前に、図３を参照して本願発明の原理を説明する。なお、以下の説明において、「判定処理」は、赤外線カメラ１Ｒ、１Ｌによって撮像された画像から抽出された対象物が何であるかを判定するための処理である。したがって、動物判定処理は、該対象物が動物かどうかを判定するための処理を示し、歩行者判定処理は、該対象物が歩行者（自転車を運転している人間を含み、以下同様）かどうかを判定するための処理を示す。

図３の（ａ）は、車両が走行している道路の種別に応じて起動する判定処理の種類を示す。高速道路では、歩行者の侵入が禁止されているので、歩行者は通常存在しない。他方、動物は、高速道路が走っている地域によっては出没するおそれがある。また、高速道路以外の道路では、その地域によっては、歩行者も動物も存在しうる。したがって、高速道路を走行しているときには、動物判定処理を実行するが、歩行者判定処理を実行しないようにし、高速道路以外を走行しているときには、動物および歩行者の両方の判定処理を実行する。

道路の種別は、ナビゲーションユニット５の地図情報内に、各道路の属性情報として予め設定されている。たとえば、地図情報の道路種別情報は、高速道路、都市高速道路、有料道路、一般道路（国道、県道、その他）等を示す。したがって、車両が現在走行している位置の道路の道路種別情報を地図情報から取得することにより、該道路が高速道路かどうかを判断することができる。この判断に基づいて、起動する判定処理の種類を切り替えればよい。

代替的に、地図情報に道路種別情報が設定されていない場合には、地図情報とは別個のテーブルに、各道路について高速道路かどうかを示す情報を設定し（たとえば、高速道路か否かを示すフラグを、各道路の名称に対応づけて設定することができる）、該テーブルをメモリ等の記憶装置に記憶することができる。車両が現在走行している位置の道路の名称を地図情報から取得し、該取得した名称に基づいて該テーブルを参照することにより、道路が高速道路かどうかを判断することができる。

図３の（ｂ）は、車両が走行している地域が「街」かどうかに応じて起動する判定処理の種類を示す。「街」は、或る程度の数の人口が存在する場所である。たとえば、東京などの都市部では、歩行者は存在するが、鹿などの大型の動物は、通常存在しない。また、比較的規模の小さい町や村でも、人間が頻繁に存在する場合には、このような大型動物はほとんど出没しない。他方、山道のような人間がほとんど存在しない場所では、このような動物が出没する可能性があり、歩行者等が存在することは少ない。したがって、「街」を走行しているときには、歩行者判定処理を実行し、動物判定処理を実行しないようにし、「街」以外を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。こうして、車両が走行している場所が「街」かどうかに応じて、判定処理の種類を切り替える。

「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で「街」かどうかを決定し、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。たとえば、人工密度が該所定値より小さくても、流入人口が所定値以上ならば、その地域には企業等の人間が比較的多く存在しており、よって「街」に分類されることができる。また、通常、ビルや家屋等の建物の数が多いほど、人間が多く存在するため、建物の数が所定値以上であれば「街」に分類し、そうでなければ「街」以外に分類するようにしてもよい。

代替的に、所定の動物（たとえば、鹿などの所定の大型動物）について、過去に出没したとの情報、生息地域の情報、およびこれらの動物の出没の可能性を示す標識が設置されている場所の情報等に基づいて、動物が出没する可能性のある地域を特定し、これらの地域については「街」以外に分類し、そうでない地域については「街」に分類するようにしてもよい。

こうして、各市区町村に、「街」か否かを示す情報が関連づけられて、地図情報に予め記憶されることができる（たとえば、「街」か否かを示すフラグを、その地名に対して設定する）。代替的に、地図情報とは別個のテーブルに、各市区町村について、街か否かを示す情報（上記のようなフラグでよい）を設定してメモリ等に記憶してもよい。地図情報または該テーブルを参照することにより、車両の走行している場所が「街」に分類されているか否かを判断することができる。

上で述べたような、道路の種別を表す情報および「街」かどうかを示す情報を、ユーザが登録することができるようにしてもよい。たとえば、表示装置上に表示された地図情報上で、ユーザが、「街」に分類されるべき市区町村を、たとえばタッチパネルを介して指定し、画像処理ユニット２は、該指定された地域に対し、「街」であることを示すフラグを設定して地図情報に記憶することができる。

また、ナビゲーションユニット５の通信機能を利用して、これらの情報をリアルタイムに取得するようにしてもよい。たとえば、車両は、所定のコンピュータ（サーバ等）と通信し、該サーバには、各道路および各市区町村について、道路種別情報および「街」かどうかを示す情報が記憶されている。車両は、車両の現在位置をサーバに送信し、サーバは、該現在位置について設定されているこれらの情報を、車両に知らせることができる。また、既存のＶＩＣＳシステム等の交通情報を車両に提供するシステムを利用し、該交通情報の一貫として、これらの情報を車両に送信するようにしてもよい。

図３の（ｃ）は、図３の（ａ）および（ｂ）を組み合わせた形態である。すなわち、高速道路であり、かつ「街」を走行しているときには、動物および歩行者のいずれの判定処理も実行しない。高速道路であり、かつ「街」以外の場所を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。高速道路以外の道路であり、かつ「街」を走行しているときには、歩行者判定処理を実行し、動物判定処理を実行しない。高速道路以外の道路であり、かつ「街」以外の場所を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。

図３に示すように、車両が走行している現在位置に応じて、起動すべき判定処理の種類を切り替えるので、すべての判定処理（この実施例では、動物と歩行者の両方）を常時実行する必要がない。したがって、画像処理ユニット２の処理負荷を軽減することができる。また、出現する可能性の高い対象物についての判定処理のみを実行し、他の判定処理を実行することによる誤判定を回避することができるので、該対象物を判定する精度を向上させることができる。

図４は、この発明の一実施例に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

ステップＳ１４において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、所定の温度より高い対象物が、白領域として抽出される。

ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。

ステップＳ１８において、抽出された対象物が何であるかを判定する対象物判定プロセスを実行する。このプロセスについては、後述される。

なお、以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡（トラッキング）すると共に、対象物への距離を、カメラ１Ｒおよび１Ｌの２枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開２００１−００６０９６号公報に記載されている。

図５は、この発明の第１の実施例に従う、図４のステップＳ１８で実行される対象物判定プロセスのより詳細なフローを示す。この実施例では、図３（ｃ）を参照して説明した、道路種別の情報と、「街」か否かを示す情報とを用いる。

ステップＳ２１において、図４のステップＳ１７で抽出された対象物が人工構造物かどうかを判定する人工構造物判定処理を実行する。この処理において、対象物が人工構造物であると判定されたならば（ステップＳ２１がＹｅｓ）、ステップＳ３６において、対象物は警報の対象ではないと判定する。

人工構造物ではないと判定されたならば（ステップＳ２１がＮｏ）、ステップＳ２２において、ナビゲーションユニット５を介して、車両の現在位置を取得する。ステップＳ２３において、ナビゲーションユニット５の地図情報から、該現在位置の道路の種別を取得する。前述したように、ナビゲーションユニット５の地図情報には、各道路について、その属性情報として道路の種別を表す情報が設定されている。

ステップＳ２４において、取得した道路種別情報に基づいて、現在位置の道路が高速道路かどうかを判断する。高速道路ならば（ステップＳ２４がＹｅｓ）、ステップＳ２５においてフラグＲｏａｄ＿ｆｌａｇに値１を設定し、高速道路でなければ（ステップＳ２４がＮｏ）、ステップＳ２６においてフラグＲｏａｄ＿ｆｌａｇに値２を設定する。

ステップＳ２７において、ナビゲーションユニット５の地図情報から、該現在位置が属する地域について設定されている「街」か否かを示す情報を取得する。前述したように、地図情報には、市区町村等の単位で、「街」かどうかを示す情報が設定されている。

ステップＳ２８において、取得した「街」か否かを示す情報に基づいて、現在位置の地域が「街」に分類されているかどうかを判断する。

「街」であると判断されたならば（ステップＳ２８がＹｅｓ）、ステップＳ２９においてフラグＴｏｗｎ＿ｆｌａｇに値１を設定し、「街」ではないと判断されたならば（ステップＳ２８がＮｏ）、ステップＳ３０においてフラグＴｏｗｎ＿ｆｌａｇに値２を設定する。

ステップＳ３１において、Ｒｏａｄ＿ｆｌａｇが値２であり、かつＴｏｗｎ＿ｆｌａｇが値１であるかどうかを判断する。この判断結果がＹｅｓであれば、車両は、高速道路以外の道路であり、かつ「街」である地域を走行中であることを示すので、図３（ｃ）に示されるように、ステップＳ３２において歩行者判定処理を起動し、図４のステップＳ１７で抽出された対象物が歩行者かどうかを判定する。

他方、この判断結果がＮｏであれば、ステップＳ３３において、Ｒｏａｄ＿ｆｌａｇが値１または２であり、かつＴｏｗｎ＿ｆｌａｇが値２であるかどうかを判断する。この判断結果がＹｅｓであれば、車両は、「街」以外の地域を走行中であることを示すので、図３（ｃ）に示されるように、ステップＳ３４において動物判定処理を起動し、図４のステップＳ１７で抽出された対象物が動物かどうかを判定する。

ステップＳ３３の判断結果がＮｏならば、車両は、高速道路であり、かつ「街」である地域を走行中であることを示すので、図３（ｃ）に示されるように、歩行者および動物のいずれの判定処理も実行することなく、ステップＳ３６において、対象物は警報対象物ではないと判定する。

ステップＳ３２において歩行者判定処理を実行した結果、抽出された対象物が歩行者ではないと判定された場合、および、ステップＳ３４において動物判定処理を実行した結果、抽出された対象物が動物ではないと判定された場合、ステップＳ３６において、対象物は警報対象物ではないと判定する。

他方、ステップＳ３２において歩行者判定処理を実行した結果、抽出された対象物が歩行者であると判定された場合、および、ステップＳ３４において動物判定処理を実行した結果、抽出された対象物が動物であると判定された場合、ステップＳ３５において、対象物は警報対象物であると判定する。

対象物が警報対象物であると判定されたならば、運転者に対して警報を出力する。警報は、任意の形態で出力されることができ、たとえば、ＨＵＤ４の表示画面４ａ上に撮像画像を表示し、該撮像画像上に撮像されている対象物を強調表示（たとえば、対象物を枠で囲んで表示）することができる。また、このような強調表示に加え、または強調表示に代えて、スピーカ３を介して対象物が存在することを運転者に知らせてもよい。

ここで、対象物が人工構造物かどうかを判定する人工構造物判定処理、歩行者かどうかを判定する歩行者判定処理、および動物かどうかを判定する動物判定処理は、任意の適切な手法で実現されることができる。たとえば、人工構造物判定処理については、特開２００７−３１０７０５号公報、特開２００８−２７６７８７号公報等に記載されている。たとえば、歩行者判定処理は、特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。たとえば、動物判定処理は、特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。

こうして、道路の種別に応じて、かつ「街」か否かに応じて、起動すべき判定処理の種類が限られるので、処理負荷を軽減することができる。また、存在する可能性の高い種類の対象物についての判定処理のみを実行するので、判定精度を向上させることができる。また、存在する可能性の低い種類の対象物の判定処理を実行すると、対象物を誤って検出するおそれがあるが、このような誤検出を抑制することができる。

なお、図３（ｃ）の代わりに図３（ａ）を用いる場合には、ステップＳ２７〜Ｓ３０は必要とされない。ステップＳ３１でＲｏａｄ＿ｆｌａｇの値のみを調べ、これが値１ならば、動物判定処理を実行し（Ｓ３４）、これが値２ならば、歩行者判定処理を実行すると共に（Ｓ３２）、動物判定処理を実行する（Ｓ３４）。なお、値２の場合、歩行者判定処理を先に実行し、対象物が歩行者ではないと判定された場合にのみ動物判定処理を実行するようにしてもよいし、または、動物判定処理を先に実行し、対象物が動物ではないと判定された場合にのみ歩行者判定処理を実行するようにしてもよい。

さらに、図３（ｃ）の代わりに図３（ｂ）を用いる場合には、ステップＳ２３〜Ｓ２６は必要とされない。ステップＳ３１でＴｏｗｎ＿ｆｌａｇの値のみを調べ、これが値１ならば、歩行者判定処理のみを実行し（Ｓ３２）、これが値２ならば、動物判定処理のみを実行すればよい（Ｓ３４）。

なお、上で述べた対象物の判定は、典型的には、画像処理ユニット２（図１）のＣＰＵがメモリに予め記憶された対象物判定のプログラムを実行することにより実現される。したがって、「判定処理」は、より具体的には、プログラム中に記述された判定のアルゴリズムを示すが、このアルゴリズムのプログラムへの実装形態は、任意である。すなわち、動物判定のアルゴリズムを、他の歩行者判定等のアルゴリズムとは別のプログラムに実装してもよいし、他の歩行者判定等のプログラムの一部として実装してもよい。いずれの場合にも、「動物判定処理を実行する」とは、動物判定のアルゴリズム部分を実行するということであり、「動物判定処理を実行しない」とは、動物判定のアルゴリズム部分を実行しないということであり、これは、歩行者や人工構造物の判定についても当てはまる。そして、このことは、以下の実施例についても同様である。

図６は、この発明の第２の実施例に従う、図４のステップＳ１８で実行される対象物判定プロセスのより詳細なフローである。図５に示す第１の実施例と同じ点は説明を省略し、異なる点のみを説明する。

第１の実施例と異なる点は、ステップＳ４１およびＳ４３が設けられている点である。ステップＳ３２の歩行者判定処理において、対象物が歩行者ではないと判定された場合（ステップＳ３２がＮｏ）、第１の実施例では、対象物は警報対象物ではないと判定していたが（Ｓ３６）、この第２の実施例では、ステップＳ４１において動物判定処理を実行する。また、ステップＳ３４の動物判定処理において、対象物が動物ではないと判定された場合（ステップＳ３４がＮｏ）、第１の実施例では、対象物は警報対象物ではないと判定していたが（Ｓ３６）、この第２の実施例では、ステップＳ４３において歩行者判定処理を実行する。

ここで、ステップＳ４１の動物判定処理は、Ｓ３４の動物判定処理とは異なっており、Ｓ３４の方を第１の動物判定処理と呼び、Ｓ４１の方を第２の動物判定処理と呼ぶ。ステップＳ４１において、第２の動物判定処理を実行した結果、抽出された対象物が動物であると判定したならば（ステップＳ４１がＹｅｓ）、ステップＳ３５において、対象物は警報対象物であると判定し、抽出された対象物が動物ではないと判定したならば（ステップＳ４１がＮｏ）、ステップＳ３６において、対象物は警報対象物ではないと判定する。

また、ステップＳ４３の歩行者判定処理は、Ｓ３２の歩行者判定処理とは異なっており、Ｓ３２の方を第１の歩行者判定処理と呼び、Ｓ４３の方を第２の歩行者判定処理と呼ぶ。ステップＳ４３において、第２の歩行者判定処理を実行した結果、抽出された対象物が歩行者であると判定したならば（ステップＳ４３がＹｅｓ）、ステップＳ３５において、対象物は警報対象物であると判定し、抽出された対象物が歩行者ではないと判定したならば（ステップＳ４３がＮｏ）、ステップＳ３６において、対象物は警報対象物ではないと判定する。

第２の動物判定処理は、そのアルゴリズムの規模が、第１の動物判定処理よりも小さく、よって処理負荷が、第１の動物判定処理に比べて軽減された形態となっている。

具体的には、Ｓ３４の第１の動物判定処理のアルゴリズムが、フルバージョンのアルゴリズムとすると、Ｓ４１の第２の動物判定処理のアルゴリズムは、該フルバージョンの処理ロジックの一部のみを含んでおり、縮小バージョンとなっている。したがって、第２の動物判定処理のアルゴリズムの規模（プログラムステップ数で計量的に図られることができる）は、第１の動物判定処理のアルゴリズムの規模より小さい。好ましくは、縮小バージョンは、フルバージョンに比べ、動物を判定するための基準がより緩やかになるよう作成される。

一例では、第１の動物判定処理（フルバージョンのアルゴリズム）では、形状および大きさの両方の観点から、対象物が動物かどうかを判定する。たとえば、形状判定では、所定の動物をモデル化して予め用意されたテンプレートを、撮像画像から抽出された対象物にマッチングする周知の形状マッチングを行う。大きさ判定では、抽出された対象物の車両からの距離値を算出し（この実施例では、図１に示すように一対のカメラを備えているので、周知の三角測量法等によって距離値を算出することができる）、該距離値に応じて該抽出された対象物の実空間での大きさを算出し、該大きさが、判定すべき所定の動物の大きさを表しているかどうかを判断する。形状マッチングを行った結果の類似度（相関の程度）が所定値より高く、かつ算出された大きさが、判定すべき動物の大きさを表す所定範囲内であれば、抽出された対象物を動物と判定する。

他方、第２の動物判定処理（縮小バージョンのアルゴリズム）では、上記のフルバージョンのアルゴリズムのうち、形状判定のみを行い、大きさ判定は行わない。形状マッチングを行った結果の類似度が所定値より高ければ、抽出された対象物は動物であると判定する。

フルバージョンと縮小バージョンの上記違いは一例であり、他の形態の違いであってもよい。たとえば、フルバージョンでは、形状判定、大きさ判定に加え、動き判定を取り入れてもよい。動き判定では、たとえば、対象物の移動速度が、判定すべき対象物の移動速度を表す所定範囲内であるかどうかを調べたり、また、対象物の下部を追跡して、足の動きが観測されるかどうかを調べたりすることができる。そして、縮小バージョンでは、形状判定、大きさ判定および動き判定のうちの１つまたは２つの判定を行うようにしてもよい。

また、フルバージョンの大きさ判定では、対象物の高さ方向の大きさおよび幅方向の大きさのそれぞれが所定範囲内かどうかを調べるのに対し、縮小バージョンの大きさ判定では、高さ方向および幅方向のいずれか一方の大きさのみを調べるようにしてもよい。さらに、大きさ判定等で用いる閾値を設定するための余裕範囲を、フルバージョンより縮小バージョンの方を広くすることにより、縮小バージョンにおける判定基準を緩めるようにしてもよい。たとえば、フルバージョンでは、対象物の高さが、上限値と下限値との間の所定範囲内にあるかどうかを調べるのに対し、縮小バージョンでは、該所定範囲の大きさをフルバージョンよりも大きく設定したり、また、下限値のみを用いて対象物の高さを調べるようにすることができる。

また、第２の歩行者判定処理と第１の歩行者判定処理との関係は、上記動物の場合と同様であり、第２の歩行者判定処理のアルゴリズムの規模は、第１の歩行者判定処理よりも小さく、よって処理負荷が、第１の歩行者判定処理に比べて軽減された形態となっている。具体的には、Ｓ３２の第１の歩行者判定処理のアルゴリズムが、フルバージョンのアルゴリズムとすると、Ｓ４３の第２の歩行者判定処理のアルゴリズムは、該フルバージョンの処理ロジックの一部のみを含んでおり、縮小バージョンとなっている。したがって、第２の歩行者判定処理のアルゴリズムの規模は、第１の歩行者判定処理のアルゴリズムの規模より小さい。好ましくは、縮小バージョンは、フルバージョンに比べ、歩行者を判定するための基準がより緩やかになるよう作成される。

上記動物で述べた、フルバーションのアルゴリズムと縮小バージョンのアルゴリズムのいくつかの例は、歩行者についても同様に適用されることができ、一例では、第１の歩行者判定処理（フルバージョン）では、形状および大きさの両方の観点から、対象物が歩行者かどうかを判定し、第２の歩行者判定処理（縮小バージョン）では、形状の観点からのみ、対象物が歩行者かどうかを判定する。他の例では、フルバージョンでは、形状、大きさおよび移動速度（歩行速度）の観点から判定し、縮小バージョンでは、そのうちの１または２つの観点から判定する。さらなる他の例では、大きさ判定等において、たとえば閾値の設定を介して、フルバージョンよりも縮小バージョンの判定基準を緩和してもよい。

また、歩行者の頭部は、楕円または円形形状で撮像され、検出しやすいという特徴を持つ。したがって、縮小バージョンでは、少なくとも頭部検出を行うことで歩行者を判定し、フルバージョンでは、該頭部検出に加え、他の形状判定、大きさ判定、動き判定のうちの任意のものを行うようにしてもよい。

第２の実施例による効果等について説明する。第１の実施例では、歩行者ではないと判定された場合、動物判定を行うことなく、警報対象物ではないと判定している。しかしながら、その地域において動物が全く出没しないとは言い切れないおそれがある。他方、動物が出没する可能性は低く、動物判定処理を常時行うと、処理負荷が増大する。したがって、この第２の実施例では、縮小バージョンの動物判定処理を行い、フルバージョンの動物判定処理を常時行うことに比べて処理負荷を軽減させる。このことは、歩行者判定についても同様にあてはまる。第１の実施例では、動物ではないと判定された場合、歩行者判定を行うことなく、警報対象物ではないと判定しているが、その地域において、歩行者が全く存在しないとは言い切れないおそれがある。他方、歩行者が存在する可能性は低く、歩行者判定を常時行うと、処理負荷が増大する。したがって、第２の実施例では、縮小バージョンの歩行者判定を行い、フルバージョンの歩行者判定を常時行うことに比べて処理負荷を軽減させる。

また、縮小バージョンを、フルバージョンよりも緩やかな判定基準とすることにより、縮小バージョンでも、動物または歩行者の可能性のある対象物については運転者に報知されることができ、しかも、縮小バージョンは、処理時間が比較的短いので、該報知を速やかに行うことができる。特に、形状マッチングによって比較的近距離の動物および歩行者は良好な精度で判定されることができるので、該形状マッチングを縮小バージョンに含めることにより、近距離に存在する動物および歩行者の判定精度については、フルバージョンを実行することと同様に維持することができる。

なお、第１の動物判定処理のアルゴリズムと第２の動物判定処理のアルゴリズムを、別個に用意してもよいし、代替的に、第１の動物判定処理のアルゴリズムのみを用意し、第２の動物判定処理を実行するときには、該アルゴリズムの一部のみを実行するようにしてもよい。これは、歩行者についても同様である。

また、図３（ｃ）の代わりに、図３（ａ）または（ｂ）の情報を用いてもよい点は、第１の実施例と同様である。ここで、図３（ａ）の情報を用いる場合においてＲｏａｄ＿ｆｌａｇの値が１であるとき（高速道路であるとき）、第１の実施例では動物判定処理のみを実行するが、この第２の実施例では、該動物判定処理（ステップＳ３４）において動物ではないと判定された場合には、ステップＳ４３で第２の歩行者判定処理を実行する。Ｒｏａｄ＿ｆｌａｇの値が２であるとき（高速道路でないとき）、第１の実施例と同様に、第１の歩行者判定処理（Ｓ３２）および第１の動物判定処理（Ｓ３４）を実行し、第２の歩行者判定処理（Ｓ４３）および第２の動物判定処理（Ｓ４１）は実行されない。

また、図３（ｂ）の情報を用いる場合においてＴｏｗｎ＿ｆｌａｇの値が１であるとき（「街」であるとき）、第１の実施例では歩行者判定処理のみを実行するが、第２の実施例では、該歩行者判定処理（ステップＳ３２）において歩行者ではないと判定された場合には、ステップＳ４１で第２の動物判定処理を実行することとなる。さらに、Ｔｏｗｎ＿ｆｌａｇの値が２であるとき（「街」でないとき）、第１の実施例では動物判定処理のみを実行するが、この第２の実施例では、該動物判定処理（ステップＳ３４）において動物ではないと判定された場合には、ステップＳ４３で第２の歩行者判定処理を実行する。

上の説明では、動物および歩行者の両方について、フルバージョンの第１の判定処理と縮小バージョンの第２の判定処理を設けることにより、判定精度を向上させているが、代替的に、このような第１および第２の判定処理を、動物および歩行者のいずれか一方についてのみ設けるようにしてもよい。

図７は、この発明の第３の実施例に従う、図４のステップＳ１８で実行される対象物判定プロセスのより詳細なフローである。第１の実施例と同じ点は説明を省略し、異なる点のみを説明する。

第１の実施例と異なる点は、ステップＳ２１の代わりに、ステップＳ５１およびＳ５３が設けられている点である。ステップＳ５１では、第１の人工構造物判定処理を行い、ステップＳ５３では、第２の人工構造物判定処理を行う。いずれのステップでも、対象物が人工構造物であると判定された場合には（ステップＳ５１，Ｓ５３がＹｅｓ）、ステップＳ３６において、対象物は警報対象物ではないと判定し、対象物が人工構造物ではないと判定された場合には（ステップＳ５１、Ｓ５３がＮｏ）、歩行者を判定するステップＳ３２または動物を判定するステップＳ３４にそれぞれ進む。

第１および第２の人工構造物判定処理は、人工構造物を判定している点では共通しているが、そのアルゴリズムは異なっており、この実施例では、判定対象となる人工構造物の種類が異なっている。

このような２種類の人工構造物判定処理を設ける理由について述べると、場所によって、存在する人工構造物の種類に特徴がある。たとえば、高速道路では、自動販売機や郵便ポストなどの人工構造物は存在せず、これらは、高速道路以外の場所に存在する。また、自動販売機は、日本では頻繁に存在するが、国によっては、存在しない場所もある。また、郵便ポストは、地域によって、また国によって、その形状が異なる。

対象物が人工構造物かどうかをより良好な精度で判定するためには、その対象物が、何の人工構造物かどうかを特定するのが好ましい。たとえば、対象物が郵便ポストと特定することができれば、その対象物が人工構造物であると確かに判定することができる。そのため、好ましくは、人工構造物判定処理には、それぞれの種類の人工構造物の特徴に基づいて、その種類の人工構造物を特定するためのアルゴリズムが含まれる。

典型的には、郵便ポスト、電柱、自動販売機等の形状はそれぞれ異なるので、形状判定を行う際には、異なるアルゴリズムが必要とされる。たとえば周知の形状マッチングを行って形状判定を行う場合、該形状マッチングで用いるテンプレートが異なるものとなる。また、これらの人工構造物の大きさは、それぞれ異なっているので、大きさ判定を行う際の閾値も異なることとなる。たとえば、郵便ポストを判定するためのアルゴリズムは、郵便ポストの形状をモデル化したテンプレートを用いて形状マッチングを行うと共に、抽出された対象物の高さおよび幅が、郵便ポストに相当する所定範囲内であるかどうかを判断する、という処理ロジックを含むことができる。動物の所で述べたように、他の車両のような移動体を判定する際には、対象物の移動速度を調べることも行われうる。

しかしながら、存在しうるすべての人工構造物の種類毎に作成された判定アルゴリズムを常時実行すると、処理負荷が増大する。人工構造物の種類が増えるほど、また人工構造物の種類を特定する精度を上げようとするほど、処理負荷は増大する。

したがって、上で述べたように、場所によって存在しうる人工構造物には特徴があるので、第３の実施例ではこの特徴を利用し、その場所に適した種類の人工構造物についてのみ判定処理を行う。こうすることにより、常時、人工構造物について用意されたすべての種類の判定アルゴリズムを実行する必要はなく、限られた種類の判定アルゴリズムを実行すればよいので、処理負荷を軽減することができる。また、存在する可能性の高い種類の人工構造物の判定処理のみを行うので、判定精度を上げることができる。また、存在する可能性の低い種類の人工構造物の判定処理を実行すると、対象物を誤って検出するおそれがあるが、このような誤検出を抑制することができる。

この第３の実施例では、ステップＳ３１がＹｅｓである場合、すなわち、車両が、高速道路ではない道路であって、かつ「街」を走行している場合に実行される第１の人工構造物判定処理は、このような街に存在しうる人工構造物を判定するための処理ロジックを含んでいる。他方、ステップＳ３３がＹｅｓである場合、すなわち、車両が、「街」ではない地域を走行している場合に実行される第２の人工構造物判定処理は、このような「街」ではない地域に存在しうる人工構造物を判定するための処理ロジックを含んでいる。「街」である地域の方が、「街」でない地域よりも人工構造物の種類は多いので、前者の方が、後者よりも、判定アルゴリズムの規模は大きくなっている。動物の所で述べたように、前者をフルバージョンとした場合、後者を、その一部の処理ロジックを含む縮小バージョンとしてもよい。

たとえば、第１の人工構造物判定処理では、電柱、ポスト、看板、他の車両、建物、自動販売機、信号機等の所定の種類の人工構造物を判定するようにし、第２の人工構造物判定処理では、そのうちの一部の種類のみの人工構造物を判定するようにすることができる。

なお、第２の実施例の所でも述べたように、第１の人工構造物判定処理のアルゴリズムと第２の人工構造物判定処理のアルゴリズムを別個に用意してもよいし、代替的に、第１の人工構造物判定処理のアルゴリズムのみを用意し、第２の人工構造物判定処理を実行するときには、該アルゴリズムの一部のみを実行するようにしてもよい。

第１の実施例と同様に、図３（ｃ）の代わりに、図３（ａ）の情報を用いてもよい。この場合、高速道路でなければ（Ｒｏａｄ＿ｆｌｇａが値２のとき）、第１の人工構造物判定処理を実行し、高速道路であれば（Ｒｏａｄ＿ｆｌａｇが値１のとき）、第２の人工構造物判定処理を実行する。ポストや自動販売機等の人工構造物は高速道路に存在しないので、第１の人工構造物判定処理ではこれらの人工構造物を判定するが、第２の人工構造物処理では、これらの人工構造物を判定する処理を除外し、たとえば他の車両のみを判定するようにすることができる。

また、図３（ｃ）の代わりに、図３（ｂ）の情報のみを用いてもよい。この場合、車両が「街」を走行している場合は（Ｔｏｗｎ＿ｆｌａｇが値１のとき）、第１の人工構造物判定処理を実行し、車両が「街」でない地域を走行している場合には（Ｔｏｗｎ＿ｆｌａｇが値２のとき）、第２の人工構造物判定処理を実行する。前者は、後者に比べて、存在しうる人工構造物の種類は多いので、前述したように、たとえば、第１の人工構造物判定処理では、所定種類の人工構造物を判定するのに対し、第２の人工構造物判定処理では、その一部の種類の人工構造物を判定するようにすることができる。

この発明の第４の実施例では、図３（ａ）から（ｃ）に示すような道路種別および「街」か否かを示す情報を、車両の走行中に検出可能な情報に基づいて取得する。

高速道路には所定の制限速度が存在することが多いので、高速道路であるか否かは、車速センサからの車速に基づいて判断することができる。車速センサは、車両に予め取り付けられている。たとえば、該制限速度以上の車速で走行したとき、高速道路と判定し、そうでない場合には、高速道路ではないと判定することができる。代替的に、該制限速度以上の車速による走行が所定時間以上継続した場合に高速道路と判定してもよい。この高速道路判定の処理を、図５〜図７のステップＳ２３の処理の代わりに実行することができる。該判定の結果に応じて、ステップＳ２５またはＳ２６でフラグＲｏａｄ＿ｆｌａｇに値１または値２を設定することにより、判定処理の切り替えを行う。

また、図８を参照すると、（ａ）は、「街」に分類された地域の幹線道路を走行している場合に撮像される画像の一例を示し、（ｂ）は、「街」以外に分類された地域の一般道路を走行している場合に撮像される画像の一例を示す。前者では、後者に比べ、符号１０１に示すように人工構造物が多く、これらの人工構造物のうちには、街灯やライト等の熱源を有するものも多い。この特性を利用し、図１４のステップＳ１７で撮像画像から抽出される対象物の個数を調べ、これが所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば（たとえば、抽出される対象物の個数が所定値以上の状態が、時間的に連続した所定数以上の撮像画像について得られたならば）、「街」と判定することができる。なお、ステップＳ１７で抽出された対象物の個数に代えて、該抽出された対象物のうち、車両から所定距離内に存在する対象物の個数を用いてもよい。
また、（ａ）と（ｂ）を比較して明らかなように、「街」を走行している場合に撮像される画像の輝度値は、「街」でない地域を走行している場合に比べて多岐にわたる。すなわち、「街」を走行しているときの撮像画像の方が、「街」でない地域を走行しているときの撮像画像に比べて輝度値の分散が大きい。したがって、撮像画像（グレースケール画像）について、輝度値の分散（または標準偏差でもよい）を算出し、これが所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば、「街」と判定することができる。なお、輝度値の分散は、撮像画像全体について求めたものでもよいし、撮像画像の所定部分、たとえば抽出された対象物が存在する画像領域部分について求めたものでもよい。

また、「街」では、符号１０３に示すように、往来する車両の数が、「街」でない地域に比べて比較的多い。したがって、自車両の周辺に存在する他の車両の台数を表すものとして、自車両に対する相対速度が所定値以上の対象物の個数を求める。該求めた個数が所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば、「街」を走行していると判定することができる。

ここで、対象物の相対速度は、任意の適切な手法で算出されることができる。 たとえば、撮像画像は、所定時間間隔毎に取得されるので、撮像画像から抽出された対象物を追跡（トラッキング）することができる。或る時点で取得された撮像画像から抽出された対象物Ａと、次の時点で取得された撮像画像から抽出された対象物Ｂとが、たとえば周知の形状マッチングを用いて同一かどうかを判断し、同一ならば、対象物Ａまでの距離値と対象物Ｂまでの距離値との間の変化に基づいて、該対象物の相対速度を算出することができる。

「街」かどうかの判定については、上記述べた複数の条件のうちの任意のものを組み合わせて判定してもよい。たとえば、これら複数の条件のうちの１つのみを用いて「街」かどうかを判定してもよいし、該複数の条件のうちの２つ以上の条件が満たされた場合に、「街」と判定してもよい。

この「街」か否かの判定の処理を、図５〜図７のステップＳ２７の処理の代わりに実行することができる。該判定の結果に応じて、ステップＳ２９またはＳ３０でフラグＴｏｗｎ＿ｆｌａｇに値１または値２を設定することにより、判定処理の切り替えを行う。

なお、本願発明は、上記の実施形態に限られるものではなく、様々な変形形態が可能である。たとえば、上記実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なテレビカメラを使用してもよい。しかしながら、赤外線カメラを用いることにより、対象物の抽出処理をより簡略化することができ、演算負荷を低減することができる。

また、上記の実施形態では、図１に示すように、２つの赤外線カメラを用いた構成となっているが、この発明は、１つの赤外線カメラまたは１つの可視カメラを用いて撮像された画像にも適用可能である。１つのカメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該カメラの撮像画像において対象物が撮像された位置から、対象物までの距離を推定するようにしてもよい。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ

Claims (4)

1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、
   前記車両が走行している位置を検出する手段と、
   前記検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、
   取得された前記特徴に基づいて、起動すべき前記判定処理を選択する選択手段と、
   前記撮像画像から抽出された対象物に対し、前記選択した判定処理を実行して、該対象物を判定する手段と、
   を備える、車両周辺監視装置。
2. 前記特徴は、前記検出された位置の存在する道路の種別を表しており、
   前記選択手段は、該道路の種別が、高速道路を表しているか否かに従って、前記起動すべき判定処理を選択する、
   請求項１に記載の車両周辺監視装置。
3. 前記特徴は、前記検出された位置の存在する地域が、所定の条件を満たす街であるか否かを表しており、
   前記検出された位置の存在する地域が前記街でないことを前記特徴が表しているならば、前記選択手段は、動物を判定するための前記判定処理を選択する、
   請求項１または２に記載の車両周辺監視装置。
4. 取得された前記特徴に基づいて、人工構造物を判定するための前記判定処理を変更する手段をさらに備える、
   請求項１から３のいずれかに記載の車両周辺監視装置。