JP2014178736A - 物体検出装置 - Google Patents

Abstract

【課題】検出対象物周辺の環境条件の変化に応じた柔軟な態様で画像認識を行うことで、検出対象物の検出性能を向上させる。
【解決手段】検出対象物の認識辞書と、認識辞書を用いて入力画像から検出対象物を認識するための画像認識手法とを、記憶部１１に複数種類記憶しておく。演算処理部１０は、搭載システム（例、車両）周辺の外部環境の状態と、搭載システム自体の作動状態とに関する情報を取得し（Ｓ１００）、入力画像の環境条件を判断する（Ｓ１０２）。つぎに、複数種類の認識辞書と画像認識手法との組合せからなる、環境条件の異なる複数種類の認識方式について、Ｓ１０２で判断された環境条件に応じて、それぞれの認識方式に対応する重み係数を設定する（Ｓ１０４）。そして、各認識方式に対応する重み係数をそれぞれ加味して、複数種類の認識方式の各個による画像認識処理を行い、各認識結果を総合して入力画像中の検出対象物を検出する（１０６）。
【選択図】 図３

Description

本発明は、画像認識用の辞書を用いて入力画像から検出対象物を検出する物体検出装置に関する。

従来、例えば車両の前方や後方に存在する人や他車両等の検出対象物を検出する技術として、カメラ等により撮像された入力画像に対し、検出対象物の基準データが記述された認識辞書を用いて画像認識アルゴリズムによる画像認識を行う技術が知られている。例えば、特許文献１には、撮像手段による撮像画像と、歩行者検出用のテンプレートデータ（認識辞書）とを照合して歩行者を検出する技術が記載されている。

特開２０１０−７９７１６号公報

検出対象物の画像認識に用いられる認識辞書は、所定の環境条件を想定して予め作成されたものである。しかしながら、撮像された入力画像における環境条件が、認識辞書が作成されたときに想定された環境条件とかけ離れていると、その認識辞書を用いた画像認識処理のロバスト性が低下し、検出対象物の検出性能が低下するという問題がある。

検出性能に影響する要因となる環境条件としては、例えば、日射状況（明るさ）、天気（降水）、昼夜の時間帯、背景の属性（都市部、郊外、山間部等）、灯火装置やワイパー等の作動の有無といったものが挙げられる。これらの環境条件が異なると、検出対象物の視認性が変化する。このため、検出対象物周辺の環境条件が様々に変化する入力画像に対して、同一条件の認識辞書や画像認識辞書を用いても、安定した検出性能を発揮できないおそれがある。

本発明は、上記問題を解決するためになされたものであり、検出対象物周辺の環境条件の変化に応じた柔軟な態様で画像認識を行うことで、検出対象物の検出性能を向上させる技術を提供することを目的とする。

上記目的を達成するためになされた本発明は、搭載システムに搭載される物体検出装置に関するものである。本発明の物体検出装置は、記憶手段と、取得手段と、判断手段と、設定手段と、検出手段とを備える。記憶手段は、検出対象物の基準データが記述された認識辞書と、認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための画像認識手法とを記憶する。ただし、記憶手段は、認識辞書及び画像認識手法の少なくとも何れかを複数種類記憶しているものとする。なお、ここでいう画像認識手法とは、認識辞書を用いる画像認識処理のアルゴリズムや、画像認識処理を行う事前に入力画像に対し明るさや色を調節するといった画像補正を含む概念である。

取得手段は、搭載システム周辺の外部環境の状態に関する情報、又は、搭載システム自体の作動状態に関する情報の少なくとも何れかを取得する。判断手段は、取得手段により取得された情報に応じて、入力画像に関する環境条件を判断する。設定手段は、記憶手段に記憶されている認識辞書と画像認識手法との組合せからなる、環境条件の異なる複数種類の認識方式について、判断手段により判断された環境条件に応じて、それぞれの認識方式に対応する重み係数を設定する。検出手段は、設定手段により設定された各認識方式に対応する重み係数をそれぞれ加味して、複数種類の認識方式の各個による画像認識処理を行い、複数の画像認識処理の演算結果を総合して、入力画像の中から検出対象物を検出する。

本発明は、複数種類の認識辞書と画像認識手法との組合せからなる複数種類の認識方式をそれぞれ駆使して画像認識処理を行うものであるが、検出対象物周辺の環境条件に応じて、各認識方式に対する重み付けを様々に変化させることができようになっている。例えば、外部の環状条件として夜間や雨等の情報が取得された場合、夜間に対し高い検出性能を示す認識方式や、雨に対し高い検出性能を示す認識方式に対して、それぞれ相対的に高い重み係数を付与して画像認識を行う構成にすることが考えられる。そうすることで、複数種類の認識方式による認識結果を総合的に評価した最終的な認識結果において、夜間及び雨という環境条件に対して好適な認識方式の影響度を高めることができ、結果的に検出対象物の認識率が向上する。このように、本発明よれば、検出対象物周辺の環境条件の変化に対して、高いロバスト性を有する画像認識を実現でき、検出対処物の検出性能を向上させることができる。

物体検出システムの概略構成を示すブロック図。 （ａ）複数の認識辞書と画像認識手法の一例を示す説明図。（ｂ）複数の認識方式の一例を示す説明図。 対象物検出処理の手順を示す説明図。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［物体検出システムの構成の説明］
実施形態の物体検出システムは、車両に搭載され、車両の前方に存在する人や車両、標識等の特定の検出対象物を検出するために用いられる。図１に示すように、物体検出システムは、物体検出装置１を備え、この物体検出装置１に対して、画像入力部２、環境・車両情報入力部３、及び、検出結果出力部４等を接続して構成されている。

物体検出装置１は、検出対象物を記述した認識辞書を用いた画像認識処理を行うことで入力画像の中から検出対象物の画像を検出する画像処理装置であり、演算処理部１０と記憶部１１とを備える。

演算処理部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，出入力インタフェース等を備えた情報処理装置で構成され、画像入力部２からの入力画像を処理して検出対象物の検出結果を出力する。演算処理部１０は、検出対象物の認識辞書を用いた周知の画像認識の手法により入力画像中の検出対象物の画像を検出する。本発明の特徴として、演算処理部１０は、予め用意されている複数種類の認識辞書及び画像認識手法の組合せからなる、複数種類の認識方式を用いて、入力画像に対する画像認識を行う。その際、各認識方式に対して、外部環境や自車両の作動状態から判断される環境条件に応じた重みをそれぞれ付与して、入力画像に対する画像認識を行う。なお、詳細な処理手順については後述する。

記憶部１１は、検出対象物の基準データを記述した認識辞書や、認識辞書を用いて画像認識処理を行う手法（アルゴリズムや画像補正）に関するプログラム等を記憶する記憶装置である。本実施形態では、同じ検出対象物について異なる環境条件で作成された複数種類の認識辞書が、記憶部１１に記憶されているものとする。これらの認識辞書は、天気、時間帯、明るさ、背景の属性といった外部環境や、自車両のヘッドライト、ワイパー等の作動状態による検出対象物周辺の環境条件の変化に応じて、画像の明るさ、コントラスト、色彩、鮮明さ等が変更されている。あるいは、降水時や強い日射に対応した歩行者用の認識辞書として、傘等の用具を使用した形態を記述した認識辞書を用意してもよい。

また、記憶部１１には、検出対象物に対する認識特性の異なる複数種類の画像認識手法を記述したプログラムが記憶されているものとする。これらの画像認識手法には、認識辞書と入力画像との幾何学情報の類似度に基づく画像認識のアルゴリズムや、画素の平均値やヒストグラムといった、画素値の類似度に基づく画像認識のアルゴリズム等、画像認識の仕組みの異なる複数の認識アルゴリズムが含まれる。また、認識アルゴリズムによる画像認識処理の検出率を向上させるために、画像認識処理の事前に入力画像の明るさ、コントラスト、色彩、鮮明さ等を調節する画像補正も画像認識手法に含まれる。

複数種類の認識辞書及び画像認識手法の一例を図２（ａ）に示す。図２（ａ）の事例では、外部環境や車両の作動状態による、検出対象物（人物）の明るさや鮮明さ等の環境条件が異なる状況を想定して作成された複数の認識辞書（ａ，ｂ，ｃ…）が用意されている。また、画像認識手法として、異なる認識アルゴリズム（α，β…）と、画像補正とが用意されている。

そして、本実施形態では、図２（ｂ）に例示されるように、入力画像に対する画像認識に用いる認識辞書及び画像認識手法の組合せを示す複数の認識方式（パターンＡ，Ｂ，Ｃ…）が記憶部１１に予め定義されているものとする。これらの認識方式は、認識辞書の作成に適用された環境条件や、入力画像の明るさや鮮明さ等の違いに対する画像認識アルゴリズムの認識特性を考慮して、予め想定された様々な環境条件において最適な検出性能を得られるように環境条件の類型別に作られている。

一例として、降水時を模して作成された認識辞書と、降水時の環境条件において好適な検出性能が得られる認識アルゴリズムとを組合せた認識方式を、降水時に対応する認識方式として用意することが考えらえる。雨以外の外部環境として、例えば、霧、曇り、晴れ、雨上がり、降り始め、日中、夕方、夜間、明るい場所、暗い場所、街中、郊外、山間等の様々な外部環境を想定した認識方式を用意してもよい。

あるいは、ヘッドライトが消灯（又は点灯）している環境条件を模して作成された認識辞書と、そのような環境条件において好適な検出性能が得られる認識アルゴリズムとを組合せた認識方式を、ヘッドライトの作動状態に対応する認識方式として用意することが考えられる。また、ワイパーが停止（又は作動）している環境条件を模して作成された認識辞書と、そのような環境条件において好適な検出性能の得られる認識アルゴリズムとを組合せた認識方式を、ワイパーの作動状態に対応する認識方式として用意することが考えられる。また、荒天時やワイパーが速く動作しているとき等、入力画像の鮮明さが著しく低下すると想定される条件下に対応する認識方式として、事前に入力画像の明るさやコントラスト、シャープネス等を調整する画像補正を加えることも考えられる。

図１の説明に戻る。画像入力部２は、車両の前方を撮影する車載カメラ等で構成される。画像入力部２によって撮影された画像は、入力画像として物体検出装置１の演算処理部１０に入力される。

環境・車両情報入力部３は、自車両周辺の外部環境、及び車両に設備された灯火装置及び前窓のワイパーの作動状態を特定するための各種情報を物体検出装置１に入力する車載機器類である。具体的には、自車両周辺の外部環境に関する情報を取得する構成として、レインセンサや照度センサ、外部機関から提供される天気情報や地域情報を受信する通信装置、地図データベースに格納されている地図情報を入力する入力装置等が挙げられる。あるいは、画像入力部２により撮像された入力画像から、周辺の明るさや背景、見通し等を判断するような構成であってもよい。また、自車両の作動状態に関する情報を取得する構成として、灯火装置の点滅を操作するためのライトスイッチ、及び、ワイパーを操作するためのワイパースイッチ等が挙げられる。

検出結果出力部４は、物体検出装置１による検出対象物の検出結果に応じて、例えば、人や車両が存在する旨の警報を運転者に対して提示したり、車両制御を行う車載機器である。この種の車載機器としては、車両の走行安全システムや運転支援システムの制御装置等が例示される。

［対象物検出処理の説明］
物体検出装置１の演算処理部１０が実行する対象物検出処理の手順について、図３の説明図を参照しながら説明する。

Ｓ１００では、演算処理部１０は、環境・車両情報入力部３から自車両周辺の外部環境を示す情報、及び灯火装置及びワイパー等の作動状態を示す車両情報を取得する。外部環境を示す情報としては、天気（例えば、雨、霧、曇り、晴れ、雨上がり、降り始め等）、時間帯（例えば、日中、夕方、夜間等）、周囲の明るさ、背景の属性（例えば、街中、郊外、山間等）等が挙げられる。また、灯火装置の作動状態を示す情報としては、ヘッドライトのオン、オフ、ハイビーム、ロービーム等が挙げられる。また、ワイパーの作動状態を示す情報としては、オン、オフ、動作速度、動作間隔等が挙げられる。

Ｓ１０２では、演算処理部１０は、Ｓ１００で取得した情報に基づいて認識対象の入力像における環境条件を判断する。次のＳ１０４では、演算処理部１０は、Ｓ１０２で判断した環境条件に基づき、環境条件の類型別に対応付けられている複数種類の認識方式について、それぞれの認識方式に対する重み係数を設定する。

具体的には、以下のようにして各認識方式に対する重み係数を設定することが考えられる。前提として、各認識方式に適用する重み係数を、外部環境及び車両の作動状態から判断される認識対象の環境条件の類型別の一覧にして記述したテーブルを記憶部１１に格納しておく。このようなテーブルでは、例えば、適用の対象となる環境条件と同じか類似する環境条件を想定して作られた認識方式に対応する重みを相対的に大きく設定しておくものとする。反対に、適用の対象となる環境条件とは異なる環境条件を想定して作られた認識方式に対応する重みを相対的に小さく設定しておくものとする。そして、記憶部１１に記憶されている重み係数のテーブルの中から、Ｓ１０２において判断された現在の環境条件に該当する重み係数を、各認識方式に対して設定する。

次のＳ１０６では、演算処理部１０は、Ｓ１０４で設定した重み係数を各認識方式に反映して、画像入力部２からの入力画像に対して各認識方式による画像認識処理を行うことで、入力画像内の検出対象物を検出する。具体的には、以下のようにして検出対象物を検出する。各認識方式別に、認識辞書を用いて入力画像を走査しながら、入力画像の所定領域ごとに、この認識辞書とセットになっている画像認識手法の認識アルゴリズムに従った画像認識を行う。複数の認識方式についてそれぞれ画像認識を行うことで、複数の認識結果のスコアを算出する。また、画像認識手法に画像補正が含まれる場合、その画像補正方法に従って、事前に入力画像に対する補正を行った上で画像認識を行う。なお、ここで算出される認識方式別のスコアには、各認識方式に設定されている重み係数が反映されているものとする。

重み係数を反映する方法としては、次のものが例示される。例えば、まず先に、認識方式による画像認識結果のスコアを暫定的に算出した上で、その認識方式に対応する重み係数を暫定スコアに加味して、その認識方式における最終的なスコアとする。あるいは、まず先に、認識辞書に記述されている検出対象物の特徴量に対して重み係数を反映することで、予め認識辞書のパラメータを補正してもよい。そして、重み係数が反映された認識辞書と、この認識辞書とセットになっている画像認識手法の認識アルゴリズムに従った画像認識を行い、認識結果のスコアを算出する。

そして、重み係数の反映された各認識方式による複数の認識結果のスコアを総合的に評価し、それを最終的な検出結果とする。次のＳ１０８では、演算処理部１０は、Ｓ１０６の画像認識処理において得られた検出対象物に関する検出結果を、検出結果出力部４に出力する。

［効果］
実施形態の物体検出装置１によれば、以下の効果を奏する。
複数種類の認識辞書と画像認識手法との組合せからなる複数種類の認識方式を駆使して画像認識処理を行うときに、外部環境や車両の作動状態に基づいて判断された環境条件に応じて、各認識方式に対する重み付けを様々に変化させることができる。そうすることで、複数種類の認識方式による認識結果を総合的に評価した最終的な認識結果において、現在の環境条件に対して好適な認識性能を示す認識方式の影響度を高めることができる。結果的に検出対象物の認識率が向上する。よって、検出対象物周辺の環境条件の変化に対して、高いロバスト性を有する画像認識を実現でき、検出対処物の検出性能を向上させることができる。

［変形例］
上述の実施形態では、認識辞書及び画像認識手法について、それぞれが複数種類用意されている事例について説明した。これに限らず、認識辞書のみを複数種類用意し、画像認識手法については１種類のみを固定的に用いることで、これらの組合せから複数種類の認識方式を構成してもよい。あるいは、認識辞書については１種類のみを固定的に用いて、画像認識手法のみを複数種類の用意することで、これらの組合せから複数種類の認識方式を構成してもよい。

また、上述の実施形態では、認識対象の環境条件を判断する材料として、外部環境の状態と、車両の作動状態との両方を用いる事例について説明した。これに限らず、外部環境の状態又は車両の作動状態の何れかを用いるような構成であってもよい。なお、本発明の物体検出装置が搭載される搭載システムは、上述の実施形態で説明した車両（自動車）に限らない。例えば、航空機、船舶、鉄道車両等の乗り物、あるいは、建築物等に設備される防犯機器や家電機器といった様々な搭載システムに対して、本発明の物体検出装置を適用できる。

１…物体検出装置、１０…演算処理部、１１…記憶部、２…画像入力部、３…環境・車両情報入力部、４…検出結果出力部。

Claims (3)

1. 検出対象物の基準データが記述された認識辞書と、前記認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための画像認識手法とを記憶し、かつ前記認識辞書及び前記画像認識手法の少なくとも何れかを複数種類記憶する記憶手段（１１）と、
   搭載システム周辺の外部環境の状態に関する情報、又は、前記搭載システム自体の作動状態に関する情報の少なくとも何れかを取得する取得手段（１０，Ｓ１００）と、
   前記取得手段により取得された情報に応じて、入力画像に関する環境条件を判断する判断手段（１０，Ｓ１０２）と、
   前記記憶手段に記憶されている認識辞書と画像認識手法との組合せからなる、環境条件の異なる複数種類の認識方式について、前記判断手段により判断された環境条件に応じて、それぞれの認識方式に対応する重み係数を設定する設定手段（１０，Ｓ１０４）と、
   前記設定手段により設定された各認識方式に対応する重み係数をそれぞれ加味して、前記複数種類の認識方式の各個による画像認識処理を行い、複数の画像認識処理の演算結果を総合して、入力画像の中から検出対象物を検出する検出手段（１０，Ｓ１０６）と、
   を備えることを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記搭載システムは車両であり、
   前記取得手段は、前記外部環境の状態に関する情報又は前記搭載システム自体の作動状態に関する情報として、天気、時間帯、明るさ、背景の属性、前記車両の灯火装置の作動状態、及び、ワイパーの作動状態の少なくとも何れかを示す情報を取得すること
   を特徴とする物体検出装置。
3. 請求項１又は請求項２に記載の物体検出装置において、
   前記記憶手段は、検出対象物の基準データが記述された環境条件の異なる複数種類の認識辞書と、前記認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための１種類の画像認識手法とを記憶し、
   前記設定手段は、前記判断手段により判断された環境条件に応じて、前記記憶手段に記憶されている各認識辞書に対応する重み係数を設定し、
   前記検出手段は、前記設定手段により設定された各認識辞書に対応する重み係数をそれぞれ加味して、前記複数種類の認識辞書の各個を前記画像認識手法に用いて画像認識処理を行い、複数の前記画像認識処理の演算結果を総合して、入力画像の中から検出対象物を検出すること、
   を特徴とする物体検出装置。