JP2017027302A - 物体認識装置及び物体認識方法 - Google Patents

Abstract

【課題】対象物の認識精度を向上させる。
【解決手段】物体認識装置１００は、対象物を含む画像を撮像して画像情報を取得する画像取得部と、画像情報から対象物を検出する対象検出部２１と、複数の評価項目ごとに対象物の状態情報を計測する計測部２２と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する判定部２３と、を備え、判定部２３は、認識対象に基づいて設定される複数の評価項目の重みに応じて、状態情報を評価する。
【選択図】図１

Description

本発明は、物体認識装置及び物体認識方法に関するものである。

特許文献１には、撮像された画像中に検出される立体物を幅や高さに基づいた大きさによって選別し、さらに輝度の繰り返しパターンによって選別することで、自車両の前方の立体物の中から走行誘導障害物を検出する物体認識装置が開示されている。

特開２００７−２８０１３２号公報

特許文献１に開示の物体認識装置は、大きさによって立体物を選別し、さらに輝度パターンによって選別するものであるため、大きさによって選別されなかった立体物は全て認識対象（走行誘導障害物）ではないと判定される。

このような物体認識装置では、例えば、特徴ある輝度パターンを有する一方、大きさにいくつかの種類がある物体を認識対象とする場合には、輝度パターンでは候補として選別されるにもかかわらず、大きさによる選別では候補から外れて、認識対象ではないと誤認識されるおそれがある。

本発明は、上記問題点に鑑みてなされたものであり、物体認識の認識精度を向上させることを目的とする。

第１の発明は、物体認識装置であって、対象物を含む画像を撮像して画像情報を取得する画像取得部と、画像情報から対象物を検出する対象検出部と、複数の評価項目ごとに対象物の状態情報を計測する計測部と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する判定部と、を備え、判定部は、認識対象に基づいて設定される複数の評価項目の重みに応じて、状態情報を評価することを特徴とする。

第１の発明では、認識対象に基づいて複数の評価項目の影響度に重みが設定される。よって、認識対象の特徴を表した評価項目に大きな重みを設定することにより、評価項目の影響度が全て同一である場合と比較して、誤認識が抑制される。

第２の発明は、判定部が、複数の前記認識対象について、それぞれの前記認識対象に基づいて設定された前記複数の評価項目の重みによって判定を行うことを特徴とする。

第２の発明によれば、それぞれの認識対象に基づいて設定される重みを用いて複数の認識対象のそれぞれについて、対象物が認識対象であるか否かの判定を判定部が行うことにより、対象物の種別が何であるかを特定することができる。

第３の発明は、判定部が、認識対象に基づいて設定される複数の評価項目の閾値と対象物の状態情報とを比較して、対象物の状態情報のそれぞれが閾値の範囲内にある場合には重みに応じたスコアを加算し、スコアの合計が予め定められたスコア閾値以上である場合には、対象物は認識対象であると判定することを特徴とする。

第４の発明は、物体認識方法であって、対象物を含む画像を撮像して画像情報を取得する工程と、画像情報から対象物を検出する工程と、複数の評価項目ごとに対象物の状態情報を計測する工程と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する工程と、を含み、判定では、認識対象に基づいて設定される複数の評価項目の重みに応じて、状態情報が評価されることを特徴とする。

第４の発明では、認識対象に基づいて複数の評価項目の影響度に重みが設定される。よって、認識対象の特徴を表した評価項目により対象物が認識対象であるかの判定が行われるため、誤認識が抑制される。

本発明によれば、物体認識の認識精度を向上させることができる。

本発明の実施形態に係る物体認識装置の構成を示すブロック図である。 本発明の実施形態に係る物体認識装置に用いられる評価項目と認識対象ごとの閾値との関係を示すマップ図である。 本発明の実施形態に係る物体認識装置に用いられる評価項目と認識対象ごとの重みとの関係を示すマップ図である。 本発明の実施形態に係る物体認識方法の手順を示すフローチャート図である。 本発明の実施形態に係る対象認識処理の手順を示すフローチャート図である。 本発明の実施形態に係る普通車判定処理の手順を示すフローチャート図である。

以下、添付図面を参照しながら本発明の実施形態に係る物体認識装置１００について説明する。

物体認識装置１００は、車両（図示省略）に搭載され、自車両の前方にある対象物が認識対象としての普通車、大型車、人、標識であるかを認識し、対象物の種別を特定する。物体認識装置１００は、自車両の前方にある対象物を認識することにより、運転者による安全走行を支援する。

まず、図１を参照して、物体認識装置１００の構成について説明する。

物体認識装置１００は、図１に示すように、自車両の前方の様子を撮像して画像情報を取得する画像取得部としてのステレオカメラ１０と、ステレオカメラ１０が取得した画像情報に基づき対象物を認識するコントローラ２０と、コントローラ２０の認識結果に基づき警報を発報する警報部３０と、を備える。

ステレオカメラ１０は、所定の距離間隔を持って設けられる二つの撮像部（図示省略）を有し、撮像部のそれぞれから取得した二つの可視画像の視差に基づき、画素ごとに距離情報を持った単一の距離画像を生成する。ステレオカメラ１０は、所定の時間間隔ごとに画像を撮像し、距離画像を生成する。距離画像は、撮像領域内の各物体のステレオカメラ１０からの距離を白黒の濃淡で表したものである。ステレオカメラ１０は、コントローラ２０に接続され、距離画像はコントローラ２０に入力される。

コントローラ２０は、ＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、及びＩ／Ｏインターフェース（入出力インターフェース）を備えたマイクロコンピュータで構成される。ＲＡＭはＣＰＵの処理におけるデータを記憶し、ＲＯＭはＣＰＵの制御プログラム等を予め記憶し、Ｉ／Ｏインターフェースは接続された機器との情報の入出力に使用される。

コントローラ２０は、画像情報から対象物を検出する対象検出部２１と、複数の評価項目ごとに対象物の状態情報を計測する計測部２２と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する判定部２３と、判定部２３の判定の基準となるデータを記憶する情報記憶部２４と、を備える。

対象検出部２１は、ステレオカメラ１０が取得した距離画像から自車両の前方にある対象物を検出する。具体的には、距離画像を画像処理することにより、画像中央の特定領域（例えば、白線によって区画される走行車線に相当する領域）内にある対象物を検出する。

計測部２２は、ステレオカメラ１０が取得する可視画像及び距離画像に基づいて、対象検出部２１が検出した対象物の各評価項目における状態情報を計測する。具体的には、計測部２２は、対象物の高さ、幅、面積、面積全体に対する赤色が占める面積（以下、「赤色面積」と称する。）、面積全体に対する肌色が占める面積（以下、「肌色面積」と称する。）といった評価項目ごとに対象物の状態情報を計測する。

対象物の高さ、幅、面積は、距離画像が取得した距離情報と、ステレオカメラ１０の設置位置や設置角度を基に演算することにより算出される。なお、対象物の面積とは、対象物を二次元に投影した投影面積のことであり、言い換えれば、対象物における距離画像に映し出された範囲の面積のことである。

情報記憶部２４には、各評価項目の閾値を規定するマップ（図２参照）及び判定部２３による判定に対する各評価項目の影響度の重みを規定するマップ（図３参照）が記憶される。各評価項目の閾値は、認識対象の各評価項目の値を実測したデータの蓄積に基づいて予め設定される。

重みは、認識対象の特徴を表す部分や他の認識対象との相違が表れる部分を考慮して、影響度の高い順に「２」、「１」、「０」の３通りの値が各評価項目に対して予め設定される。例えば、図３に示すように、普通車の場合には、形状の重みが大きくなるように設定される。また、普通車の場合には、車体の色彩に関わらずテールランプには一般的に赤色が使用されるため、赤色面積に高い重みが設定される。さらに、認識対象が人である場合には、他の認識対象よりも肌色面積が大きくなることが想定されるため、他の認識対象との相違部分である肌色面積の重みが他の認識対象と比較して大きく設定される。

判定部２３は、情報記憶部２４に記憶されるマップに基づいて、計測部２２が計測した対象物の状態情報が各評価項目の閾値範囲内であるか否かを判定する。判定部２３は、複数の認識対象のそれぞれについて判定を行う。

警報部３０は、判定部２３の判定結果に応じて、運転者の安全運転支援のための警報を発報する。

次に、図４から図６を参照して、物体認識装置１００による物体認識方法について説明する。

物体認識装置１００は、イグニッションスイッチのオン信号を受信した場合、つまり、自車両のエンジンが始動した場合に、以下の処理を所定の時間間隔ごとに実行する。

まず、図４を参照して、物体認識方法の全体の処理手順について説明する。

ステップ１０では、ステレオカメラ１０によって、自車両の前方にある対象物を含む画像を撮像する。

ステップ１１では、ステップ１０で撮像した２つの可視画像に基づいて、距離画像を生成する。

ステップ１２では、ステップ１１で生成した距離画像を二値化処理し、距離画像から対象物の検出を行う。具体的には、自車両からの距離が白黒の濃淡で表される距離画像において、自車両から所定の距離範囲にある物体に白色、それ以外には黒色を割り当て、白色の領域から対象物の抽出を行う。白色が割り当てられる所定の距離範囲とは、対象物が存在した場合に走行が阻害されるおそれがある自車両からの距離範囲である。

ステップ１３では、ステップ１２で距離画像から対象物を検出したか否かを判定する。対象物を検出しなかった場合には、自車両の走行を阻害するものはなく安全性は確保されているため、そのまま処理を終了する。

ステップ１３で対象物を検出した場合には、ステップ１４において、距離画像から対象物の高さ、幅、大きさを計測する。また、ステップ１４では、ステレオカメラ１０が撮像した可視画像から、対象物の色彩、具体的には肌色面積と赤色面積とを計測する。このようにステップ１４では、対象物の状態情報を計測する。対象物の色彩としては、例えば、ＨＳＶの組み合わせ（ＨＳＶ色空間）を用い、肌色面積は色相０〜４０、赤色面積は色相３２０〜３６０の面積を計測する。面積の計測には、色相だけでなく彩度や明度のパラメータを併せて用いてもよく、各色の面積を計測する色相の範囲等は、ユーザが任意に設定できる。

ステップ１５では、ステップ１４で計測した対象物の状態情報と予め認識対象ごとに設定される評価項目の閾値とを比較することにより対象物の種別を特定する対象認識処理を実行する。対象認識処理についての詳しい内容は、後に説明する。

ステップ１６では、ステップ１５において特定された認識対象に応じた警報を発報する。例えば、自車両から所定の距離範囲にある対象物が人であると認識した場合には、危険度が非常に高いことを警報し、直ちに衝突を回避するように運転者に促す。また、対象物が普通車であると認識した場合には、先行する車両に接近していることを警報し、車両間隔を確保するように運転者に促す。このように、認識対象に応じて警報を発報することにより、運転者は認識対象に応じた適切な運転操作を実行することができる。

次に、図５及び図６を参照して、対象認識処理について説明する。

対象認識処理では、想定される認識対象ごとに対象物が認識対象であるか否かを判定する判定処理を実行する。具体的には、対象物が普通車であるか否かを判定する普通車判定処理、対象物が大型車であるか否かを判定する大型車判定処理、対象物が人であるか否かを判定する人判定処理、対象物が標識であるか否かを判定する標識判定処理を実行する。認識対象ごとに実行される各判定処理は、閾値及び重みを規定したマップが認識対象ごとに異なるのみであり、その他の処理内容は同一である。このため、以下では、普通車判定処理のみ詳しく説明し、大型車判定処理、人判定処理、及び標識判定処理については、詳細な説明を省略する。

図５に示すように、対象認識処理は、まず、ステップ２０において、対象物が普通車であるか否かの判定をする普通車判定処理を実行する。

普通車判定処理では、図６に示すように、ステップ３０において、認識対象が普通車である場合の各評価項目の閾値及び各評価項目に設定される重みを規定したマップ（図２及び図３参照）を読み込む。対象物が普通車であるか否かの判定では、図３に示すように、幅及び大きさの重みが高さの重みよりも大きく設定される。また、色彩については、赤色面積の重みが比較的大きく設定され、肌色面積の重みがゼロに設定される。

次に、ステップ３１からステップ４０において、評価項目ごとに対象物の状態情報が閾値の範囲内であるか否かを判定し、閾値範囲内であれば基準スコアの「１」と評価項目の重みとを乗じた値を合計スコアに加算する。なお、合計スコアの初期値はゼロである。

具体的には、ステップ３１において、対象物の高さが普通車の高さの閾値１．３〜２．３［ｍ］の範囲内であるか否かを判定する。対象物の高さが閾値範囲内であれば、ステップ３２において、基準スコア「１」と普通車の高さに設定される重み「１」とを乗じた値「１」を合計スコアに加算する。対象物の高さが閾値の範囲外である場合には、スコアの加算をせず、ステップ３３に進む。

ステップ３３では、対象物の幅が普通車の幅の閾値１．５〜２．０［ｍ］の範囲内であるかを判定する。対象物の幅が閾値範囲内である場合には、ステップ３４で基準スコア「１」と幅に設定される重み「２」とを乗じた値「２」をスコアに加算する。

ステップ３５では、対象物の面積が普通車の面積の閾値１．７５〜４．４［ｍ²］の範囲内であるか否かを判定する。対象物の面積が閾値範囲内である場合には、ステップ３６で基準スコア「１」と面積に対して設定される重み「２」とを乗じた値「２」をスコアに加算する。

ステップ３７では、対象物の赤色面積が普通車の赤色面積の閾値５〜２０［％］の範囲内であるか否かを判定する。対象物の赤色面積が閾値範囲内である場合には、ステップ３８で基準スコア「１」と赤色面積に対して設定される重み「２」とを乗じた値「２」をスコアに加算する。

ステップ３９では、対象物の肌色面積が普通車の肌色面積の閾値の範囲内であるか否かを判定する。ここで、対象物が普通車であるか否かを判定する場合には、肌色面積の閾値は０〜１００［％］に設定され、肌色面積に対する重みは「０」に設定される。したがって、ステップ３９では肌色面積が閾値の範囲内であると判定し、ステップ４０において基準スコア「１」に重み「０」を乗じた値「０」をスコアに加算する。このように、閾値を想定される値の全範囲に設定すると共に重みをゼロに設定することにより、普通車であるか否かの判定に対する肌色面積の影響度をゼロにすることができる。

ステップ４１では、合計スコアがスコア閾値以上であるか否かを判定する。スコア閾値は、サンプリング試験を実施することにより、認識精度を確保するように認識対象ごとに予め設定される。合計スコアがスコア閾値以上であれば、ステップ４２において対象物は普通車であると判定する。

ステップ４１において、合計スコアがスコア閾値に達していないと判定した場合には、そのまま普通車判定処理を終了する。

普通車判定処理を終了すると、図５に示すように、ステップ２１において、ステップ２０で実行した普通車判定処理で対象物が普通車であると認識したか否かを判定する。対象物が普通車であると認識した場合には、対象物の種別が特定できたため、対象認識処理を終了する。

ステップ２１で対象物が普通車であると認識しなかった場合には、対象物が大型車であるか否かを判定する。具体的には、ステップ２０及び２１と同様に、ステップ２２において対象物が大型車であるか否かの判定を行う大型車用判定処理を実行し、ステップ２３において対象物が大型車であると認識したか否かを判定する。

対象物が大型車ではないと判定した場合には、ステップ２４において対象物が人であるか否かの判定を行う人判定処理を実行し、ステップ２５において対象物が人であると認識したか否かを判定する。

対象物が人ではないと判定した場合には、ステップ２６において対象物が標識であるか否かの判定を行う標識判定処理を実行し、ステップ２７において対象物が標識であると認識したか否かを判定する。

ステップ２７において、対象物が標識ではないと判定した場合、つまり対象物が普通車、大型車、人、標識のいずれでもない場合には、ステップ２８において対象物は想定した認識対象ではないと判定する。

以上のように、物体認識装置１００では、認識対象であるか否かの判定を行うための評価項目の影響度に認識対象に基づいた重みを設定して、重みに応じて状態情報を評価することにより対象物が認識対象であるか否かの判定を行う。よって、認識対象の特徴に基づいた重みを評価項目に設定することにより、重みの設定がなく評価項目間の影響度が全て同一である場合と比較して、物体認識をより精度よく行うことができる。

また、物体認識装置１００では、複数の認識対象に対しても同一の評価項目によって評価すると共に評価項目ごとにそれぞれの認識対象に基づいた重みを設定して、認識対象であるか否かの判定を行う。このように、認識対象ごとに異なる評価項目を設定して異なる状態情報をそれぞれ計測する必要がないため、重みの設定を変更するだけで異なる認識対象についても同一の処理方法で物体認識を行うことができる。

また、物体認識装置１００では、重みの設定を認識対象に基づいてそれぞれ設定し、対象物がそれぞれ想定される認識対象であるか否かの判定を行うことにより、同一の処理方法によって対象物の種別を特定することができる。

次に、上記実施形態の変形例について説明する。

上記実施形態では、物体認識装置１００は、移動体である車両に搭載されて車両の安全運転支援に利用されるものであり、想定される認識対象は普通車、大型車、人、標識である。物体認識装置１００は、これに限らず、その他の用途であってもよい。例えば、物体認識装置１００は、固定物に取り付けられてもよく、その他の移動体に取り付けられてもよい。また、認識対象も、上記４つの認識対象に限らず、ビルや橋等の建造物、軽車両、二輪車、動物、ボールなど用途に合わせて任意に選定してよい。

また、上記実施形態では、認識対象の一つとして普通車であるか否かを判定する。これに代えて、例えば、同じ普通車であっても、赤色の普通車であるか、青色の普通車であるかを判定するように、さらに詳細な認識を行ってもよい。

また、上記実施形態では、評価項目は、高さ、幅、大きさ、赤色面積、肌色面積である。これに代えて、評価項目は、物体認識装置１００の用途に合わせて任意に設定してよい。例えば、評価項目として、各種色彩の割合や配置パターン、凹凸の有無や量、文字やエンブレムの有無、左右又は上下の対称性の有無、丸み形状の有無やその曲率等様々な項目を設定することができる。つまり、評価項目は、ステレオカメラ１０が撮像する可視画像及び距離画像から計測可能な情報であれば、任意に設定することができる。

また、上記実施形態では、普通車判定処理、大型車判定処理、人判定処理、標識判定処理、の順に処理を実行し、先に実行する判定処理で合計スコアがスコア閾値以上となった場合には、その後の判定処理を実行しない。これに代えて、全ての判定処理を実行し、各判定処理で算出された合計スコアを比較することにより、対象物を特定するものでもよい。例えば、各判定処理において、スコア閾値を最大合計スコアの８割である第一閾値、５割である第二閾値、３割である第３閾値の３水準に設定する。各判定における合計スコアが第一閾値以上であれば、対象物が判定した認識対象である可能性（以下、「一致可能性」と称する。）が大であると判定する。同様に、合計スコアが第一閾値未満かつ第二閾値以上であれば一致可能性が中であると判定し、第二閾値未満かつ第三閾値以上であれば認識対象である一致可能性が少であると判定する。合計スコアが第三閾値未満であれば、判定した認識対象の可能性はないと判定する。このように、すべての判定処理を実行して判定された一致可能性を比較し、一致可能性が大と判定されたものを対象物であると特定してもよい。また、一致可能性が大であるとの判定結果が複数あった場合には、一致可能性が大となった判定結果をさらに比較して、対象物は、最大スコアに対する合計スコアの割合が最も高くなる判定処理で判定した認識対象であると特定してもよい。

以上の実施形態によれば、以下に示す効果を奏する。

物体認識装置１００は、認識対象であるか否かの判定に対する評価項目の影響度に対して、認識対象の特徴に応じた重みを設定することにより、重みの設定がなく評価項目間の影響度が全て同一である場合と比較して、物体認識の認識精度を向上させることができる。

また、物体認識装置１００は、認識対象が異なっても同一の評価項目によって評価すると共に認識対象に基づいて各評価項目に対する重みを変更することにより、異なる認識対象であっても同一の処理方法で対象物が認識対象であるか否かを判定することができる。さらに、認識対象に基づいて設定される評価項目の閾値と対象物の状態情報とを比較して、対象物が認識対象であるか否かの判定をそれぞれの認識対象について行うことにより、対象物の種別を特定することができる。

以下、本発明の実施形態の構成、作用、及び効果をまとめて説明する。

物体認識装置１００は、対象物を含む画像を撮像して画像情報を取得する画像取得部と、画像情報から対象物を検出する対象検出部２１と、複数の評価項目ごとに対象物の状態情報を計測する計測部２２と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する判定部２３と、を備え、判定部２３は、認識対象に基づいて設定される複数の評価項目の重みに応じて、状態情報を評価する。

この構成では、認識対象に基づいて複数の評価項目の影響度に重みが設定される。よって、認識対象の特徴部を表した評価項目に大きな重みを設定することにより、評価項目の影響度が全て同一である場合と比較して、誤認識が抑制される。したがって、物体認識の認識精度を向上させることができる。

また、物体認識装置１００は、判定部２３が、複数の認識対象について、それぞれの認識対象に基づいて設定された複数の評価項目の重みによって判定を行う。

この構成によれば、それぞれの認識対象に基づいて設定される重みを用いて複数の認識対象のそれぞれについて、対象物が認識対象であるか否かの判定を判定部２３が行うことにより、対象物の種別が何であるかを特定することができる。

また、物体認識装置１００は、判定部２３が、認識対象に基づいて設定される複数の評価項目の閾値と対象物の状態情報とを比較して、対象物の状態情報のそれぞれが閾値の範囲内にある場合には重みに応じたスコアを加算し、スコアの合計が予め定められたスコア閾値以上である場合には、対象物は認識対象であると判定する。

また、本実施形態に係る物体認識方法は、対象物を含む画像を撮像して画像情報を取得する工程と、画像情報から対象物を検出する工程と、複数の評価項目ごとに対象物の状態情報を計測する工程と、対象物の状態情報を評価して、対象物が認識対象であるか否かを判定する工程と、を含み、判定では、認識対象に基づいて設定される複数の評価項目の重みに応じて、状態情報が評価される。

この構成では、認識対象に基づいて複数の評価項目の影響度に重みが設定される。よって、認識対象の特徴部を表した評価項目により対象物が認識対象であるかの判定が行われるため、誤認識が抑制される。したがって、物体認識の認識精度を向上させることができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

１００…物体認識装置、１０…ステレオカメラ（画像取得部）、２１…対象検出部、２２…計測部、２３…判定部

Claims (4)

1. 対象物を含む画像を撮像して画像情報を取得する画像取得部と、
   前記画像情報から前記対象物を検出する対象検出部と、
   複数の評価項目ごとに前記対象物の状態情報を計測する計測部と、
   前記対象物の状態情報を評価して、前記対象物が認識対象であるか否かを判定する判定部と、を備え、
   前記判定部は、前記認識対象に基づいて設定される前記複数の評価項目の重みに応じて、前記状態情報を評価することを特徴とする物体認識装置。
2. 前記判定部は、複数の前記認識対象について、それぞれの前記認識対象に基づいて設定された前記複数の評価項目の重みによって判定を行うことを特徴とする請求項１に記載の物体認識装置。
3. 前記判定部は、前記認識対象に基づいて設定される前記複数の評価項目の閾値と前記対象物の前記状態情報とを比較して、前記対象物の前記状態情報のそれぞれが前記閾値の範囲内にある場合には前記重みに応じたスコアを加算し、前記スコアの合計が予め定められたスコア閾値以上である場合には、前記対象物は前記認識対象であると判定することを特徴とする請求項１または２に記載の物体認識装置。
4. 対象物を含む画像を撮像して画像情報を取得する工程と、
   前記画像情報から前記対象物を検出する工程と、
   複数の評価項目ごとに前記対象物の状態情報を計測する工程と、
   前記対象物の状態情報を評価して、前記対象物が前記認識対象であるか否かを判定する工程と、を含み、
   前記判定では、前記認識対象に基づいて設定される前記複数の評価項目の重みに応じて、前記状態情報が評価されることを特徴とする物体認識方法。

Images