JP2017165345A - 物体認識装置、物体認識方法、及び物体認識プログラム - Google Patents

Abstract

【課題】夜間走行時における走行環境の画像認識の精度を向上させることができる。
【解決手段】物体認識装置としての制御部１は、自車両の前方を撮影した映像を取得する映像取得部２と、自車両のヘッドライトの配光状態を取得する配光取得部３と、配光取得部３が取得したヘッドライトの配光状態に基づき、物体認識に用いる物体認識辞書としての認識辞書Qの認識条件を変更する変更部４と、映像取得部２が取得した映像に対して、変更部４が認識条件を変更した認識辞書Qに基づき物体認識を行う認識部５と、を備える。
【選択図】図３

Description

本発明は、物体認識装置、物体認識方法、及び物体認識プログラムに関する。

特許文献１は、夜間走行時に走行環境を高い精度で画像認識できるよう、対向車の光源を認識した場合と認識しない場合とで、車載カメラの露光量を切り替える技術を開示している。

特開２０１３−１４７１１２号公報

ところで、近年、走行環境の状況に応じてヘッドライトの配光態様を変更する所謂アダプティブヘッドライトが広く用いられるようになった。この事情に鑑み、認識アルゴリズム自体の改善が望まれている。

本発明の目的は、夜間走行時における走行環境の画像認識の精度を向上させる技術を提供することにある。

本発明は、自車両の前方の映像を取得する映像取得部と、前記自車両のヘッドライトの配光状態を取得する配光取得部と、前記ヘッドライトの前記配光状態に基づき、物体認識辞書の認識条件を変更する変更部と、前記映像取得部が取得した前記映像に対して、前記変更部が認識条件を変更した前記物体認識辞書に基づき物体認識を行う認識部と、を備えることを特徴とする、物体認識装置を提供する。

また、本発明は、自車両の前方の映像を取得する映像取得ステップと、前記自車両のヘッドライトの配光状態を取得する配光取得ステップと、前記ヘッドライトの前記配光状態に基づき、物体認識辞書の認識条件を変更する変更ステップと、前記映像取得ステップで取得した前記映像に対して、前記変更ステップで認識条件が変更された前記物体認識辞書に基づき物体認識を行う認識ステップと、を含む、物体認識方法を提供する。

本発明によれば、夜間走行時における走行環境の画像認識の精度を向上させることができる。

制御部の機能ブロック図である。（第１実施形態） ハイビーム状態の説明図である。（第１実施形態） ロービーム状態の説明図である。（第１実施形態） 一部遮光ハイビーム状態の説明図である。（第１実施形態） 物体認識方法のフローチャートである。（第１実施形態） 制御部の機能ブロック図である。（第２実施形態）

（第１実施形態）
以下、図１から図５を参照して、第１実施形態を説明する。

図１に示す制御部１は、物体認識装置である。制御部１は、走行時において、自車両の前方に存在する人物や先行車、対向車などの物体を画像認識する。制御部１は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。そして、CPUがROMに記憶されている物体認識プログラムを読み出して実行することで、物体認識プログラムは、CPUなどのハードウェアを、映像取得部２、配光取得部３、変更部４、認識部５、表示制御部６として機能させる。

映像取得部２は、自車両の前方を撮影した映像を取得する。自車両の前方の映像は、自車両の前方に向けて搭載された前方カメラ７から出力される。図２には、自車両の前方の映像Pを例示している。

配光取得部３は、例えばCAN（Controller Area Network）を通じて、自車両のヘッドライトの配光状態を取得する。ヘッドライトの配光状態は、ハイビーム状態、ロービーム状態、一部遮光ハイビーム状態を含む。ハイビーム状態でのヘッドライトの照射範囲Rを図２に例示する。ロービーム状態でのヘッドライトの照射範囲Rを図３に例示する。一部遮光ハイビーム状態でのヘッドライトの照射範囲Rを図４に例示する。ロービーム状態は、ハイビーム状態と比較して、ヘッドライトをやや下向きに照射する状態である。一部遮光ハイビーム状態は、自車両の走行車線に対してはハイビーム状態とし、対向車線に対してはロービーム状態とした状態である。一部遮光ハイビーム状態は、画像認識やミリ波レーダなどによって対向車が検出された場合、対向車をハイビームで照射しないように、対向車の方向のヘッドライトのみをロービームとする。

変更部４は、ヘッドライトの配光状態に基づき、物体認識辞書としての認識辞書Qの認識条件を変更する。ここで、認識辞書Qとは、映像取得部２が取得した映像を解析して、自車両の前方に存在する物体を認識する際に参照される辞書である。認識辞書Qは、物体を認識する認識アルゴリズムに応じて予め用意され、記憶部８に記憶されている。認識アルゴリズムは、例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを用いた認識手法がある。認識辞書Qは多数の正解画像と不正解画像の特徴量を機械学習させることにより生成できる。生成した辞書と取得映像間の類似度を計算することで対象物を認識することができる。

認識部５は、映像取得部２が取得した映像に対して、変更部４が認識条件を変更した認識辞書Qに基づき物体認識を行なう。

表示制御部６は、認識部５が認識した物体に応じて、例えばアイコンなどの画像を表示部９に表示する。表示部９は、例えば、ヘッドアップディスプレイ（Head-Up Display：HUD）などが挙げられる。

次に、図５を参照して、制御部１による物体認識方法を説明する。図５に示す処理を含めた物体認識処理は、自車両の動作中は継続される。また、ヘッドライトの配光状態に基づく物体認識処理は、自車両のヘッドライトの点灯により処理が開始される。

先ず、映像取得部２は、前方カメラ７から、自車両の前方の映像を取得する（S100）。映像取得部２が取得する映像は、一例としては毎秒６０フレームの映像であり、以下の処理は毎フレームごとに実行されても、所定フレーム毎に実行されてもよい。

次に、配光取得部３は、CANから、自車両のヘッドライトの配光状態を取得する（S110）。S110の処理は、図５のフローの順序によらず、ヘッドライトの配光状態を示す情報を常時取得してもよく、ヘッドライトの配光状態の変化時に配光状態を示す情報を取得してもよい。ヘッドライトの配光は、運転者の操作によって切り替えられる場合や、自車両の前方認識結果による自動配光制御などにより、配光状態が変化する。

次に、変更部４は、ヘッドライトの配光状態に基づき、認識辞書Qの認識条件を変更する（S120）。本実施形態では、変更部４は、ヘッドライトの配光状態に基づき、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。以下、重み付け係数について説明する。対象物を認識する際、まず取得映像を解析し、認識辞書Qとの類似度が一定値以上である領域を検索させるが、例えば取得映像内の対象物全体が明るく映る場合には類似度が高く、対象物全体または一部が暗く映る場合には類似度が低くなる場合がある。対象物全体または一部が暗く映る場合でも良好に対象物を認識させる為に、明るく映る分の類似度および暗く映る部分の類似度、それぞれに対して重みづけを持たせるのが重み付け係数である。重み付け係数は類似度そのものに反映してもよいし、類似度を算出するのに必要なファクターに対して反映してもよい。

具体的には、図２に示すように、ヘッドライトの配光状態がハイビーム状態であるとき、ヘッドライトは自車両の前方に存在する物体の全体に対して照射されると考えられる。図２の例は、自車両のヘッドライトとして例えば右ヘッドライトと左ヘッドライトとがある場合、右ヘッドライトと左ヘッドライトの双方がハイビーム状態であるときを示す。従って、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が認識位置全体で均一となるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。認識辞書Qが人物Sを検出するための専用の辞書である人物認識辞書である場合は、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が人物Sの上半身と下半身で同等となるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。即ち、変更部４は、人物Sの上半身に対して設定されている重み付け係数と、人物Sの下半身に対して設定されている重み付け係数を同等な値とする。

これに対し、図３に示すように、ヘッドライトの配光状態がロービーム状態であるとき、ヘッドライトは自車両の前方に存在する物体の下部のみに照射される場合があると考えられる。図３の例は、自車両のヘッドライトとして例えば右ヘッドライトと左ヘッドライトとがある場合、右ヘッドライトと左ヘッドライトの双方がロービーム状態であるときを示す。従って、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が、上方の認識位置である第２の認識位置としての上認識位置で低く、下方の認識位置である第１の認識位置としての下認識位置で高くなるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。認識辞書Qが人物認識辞書である場合は、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が、人物Sの上半身に対応する第２の認識位置としての上認識位置で低く、下半身に対応する第１の認識位置としての下認識位置で高くなるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。即ち、変更部４は、人物Sの上半身に対して設定されている重み付け係数を、人物Sの下半身に対して設定されている重み付け係数よりも小さな値とする。これにより、自車両の前方に人物Sがおり、人物Sの上半身にはヘッドライトが照射されておらず、人物Sの下半身にのみヘッドライトが照射されている場合であっても、精度よく、人物Sを認識することができるようになる。

また、図４に示すように、ヘッドライトの配光状態が、自車両の走行車線ではハイビーム状態であり、対向車線ではロービーム状態となる場合がある。この場合、自車両の走行車線では、ヘッドライトは自車両の前方に存在する物体の全体に対して均一に照射されると考えられる。図４の例は、自車両のヘッドライトとして例えば右ヘッドライトと左ヘッドライトとがある場合、左ヘッドライトがハイビーム状態であり、右ヘッドライトがロービーム状態であるときを示す。このような状態は、図４の場合における対向車線である自車両の右前方に対向車両を検出することで、対向車両にハイビームの光が直接照射されないように制御される。対向車両の検出は、図示しないミリ波レーダーや、映像取得部２が取得した映像に対して認識部５が記憶部８に記憶されている車両認識辞書を用いて対向車両を認識してもよい。従って、変更部４は、走行車線側、図４の場合においては左側に対して、認識辞書Qによる認識位置毎に設定されている重み付け係数が認識位置全体で均一となるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。認識辞書Qが人物認識辞書である場合は、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が人物Sの上半身と下半身で同等となるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。

一方で、対向車線側、図４の場合においては右側に対しては、ヘッドライトは自車両の前方に存在する物体の下部のみに照射されると考えられるので、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が、上方の認識位置である第２の認識位置としての上認識位置で低く、下方の認識位置である第１の認識位置としての下認識位置で高くなるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。認識辞書Qが人物認識辞書である場合は、変更部４は、認識辞書Qによる認識位置毎に設定されている重み付け係数が、人物Sの上半身に対応する第２の認識位置としての上認識位置で低く、下半身に対応する第１の認識位置としての下認識位置で高くなるように、認識辞書Qによる認識位置毎に設定されている重み付け係数を変更する。これにより、自車両の走行車線においても対向車線においても精度よく人物検出ができるようになる。

次に、認識部５は、映像取得部２が取得した映像に対して、変更部４で認識条件が変更された認識辞書Qに基づき、物体認識を行なう（S130）。認識部５による認識対象が人物である場合は、変更部４で認識条件が変更された人物認識辞書に基づき、人物認識を行う。

そして、認識部５が認識した物体に応じて、例えばアイコンなどの画像を表示部９に表示する。

以上に、第１実施形態を説明したが、上記第１実施形態は、以下の特徴を有する。

物体認識装置としての制御部１は、自車両の前方を撮影した映像を取得する映像取得部２と、自車両のヘッドライトの配光状態を取得する配光取得部３と、ヘッドライトの配光状態に基づき、物体認識辞書としての認識辞書Qの認識条件を変更する変更部４と、映像取得部２が取得した映像に対して、変更部４が認識条件を変更した認識辞書Qに基づき物体認識を行う認識部５と、を備える。以上の構成によれば、走行時における走行環境の画像認識の精度を向上させることができる。

即ち、ヘッドライトの配光状態が変化した場合など、ヘッドライトの配光状態によって車両や歩行者等の検出対象物に対する光の当たり方が変化するため、単一の辞書では検出率が低下してしまう。例えば、歩行者を検出している状態で配光状態が変化したり、検出対象の歩行者の一部分にヘッドライトの光が照射されていない場合適切に歩行者を検出できなくなる場合がある。様々な配光状態に対応するため、あらゆる配光パターンに対応した複数の辞書を同時に使って検出対象物の検出を行えばよいとも考えられる。しかし、この場合、計算コストが上昇してしまう。そこで、上記構成のように、配光状態に応じて最適な検出器とすることで、計算コストを抑制しつつ、検出対象物を確実に検出できるようになる。

また、変更部４は、ヘッドライトの配光状態に基づき、認識辞書Qによる認識位置毎に設定する重み付け係数を変更する。以上の構成によれば、認識部５は、検出対象物の一部分であってヘッドライトの光が照射される部分における物体認識に高い重み付けをすることで、検出対象物の一部しかヘッドライトの光が照射されていない場合であっても、その検出対象物を精度よく検出することができるようになる。

具体的には、認識辞書Qによる認識位置は、第１の認識位置としての下認識位置と、下認識位置よりも鉛直方向上方となる第２の認識位置としての上認識位置と、を含む。配光状態は、ハイビーム状態及びロービーム状態を含む。そして、変更部４は、ヘッドライトの配光状態がロービーム状態であるとき、下認識位置の重み付け係数を、上認識位置の重み付け係数よりも高くなるように変更する。以上の構成によれば、ヘッドライトの配光状態がロービーム状態であるときの、検出精度を高めることができる。

また、認識辞書Qは、人物認識辞書である場合は、人物認識辞書による認識位置は、人物Sの下半身に対応する第１の認識位置としての下認識位置と、人物Sの上半身に対応する第２の認識位置としての上認識位置と、を含む。配光状態は、ハイビーム状態及びロービーム状態を含む。そして、変更部４は、ヘッドライトの配光状態がロービーム状態であるとき、下認識位置の重み付け係数を、上認識位置の重み付け係数よりも高くなるように変更する。以上の構成によれば、ヘッドライトの配光状態がロービーム状態であるときの、人物Sの検出精度を高めることができる。

（第２実施形態）
以下、図６を参照して、第２実施形態を説明する。以下、第２実施形態が第１実施形態と異なる点を中心に説明し、重複する説明は省略する。

上記第１実施形態では、単一の認識辞書Qを用い、その認識辞書Qの認識位置毎に設定された重み付け係数を配光状態に応じて都度変更することとした。これに対し、本実施形態では、認識辞書Qの認識位置毎に設定された重み付け係数が相互に異なる複数の認識辞書Qとして、認識辞書Q1及び認識辞書Q2が予め記憶部８に記憶されているものとし、変更部４は、認識部５が物体認識を行なうに際し用いる認識辞書Qとして、ヘッドライトの配光状態に応じて、認識辞書Q1又は認識辞書Q2の何れかを選択することとしている。

認識辞書Q1は、ヘッドライトの配光状態がハイビーム状態であるときに選択すべき認識辞書である。認識辞書Q1では、認識辞書Q1による認識位置毎に設定されている重み付け係数が認識位置全体で均一となるように設定されている。

一方、認識辞書Q2は、ヘッドライトの配光状態がロービーム状態であるときに選択すべき認識辞書である。認識辞書Q2では、認識辞書Q2による認識位置毎に設定されている重み付け係数が、上方の認識位置である上認識位置（第２の認識位置）で低く下方の認識位置である下認識位置（第１の認識位置）で高くなるように設定されている。

そして、変更部４は、認識辞書Qの認識条件を変更するに際し（S120）、ヘッドライトの配光状態がハイビーム状態であるときは認識辞書Q1を選択することで実質的に認識辞書Qの認識条件を変更し、ヘッドライトの配光状態がロービーム状態であるときは認識辞書Q2を選択することで実質的に認識辞書Qの認識条件を変更する。また、図４に示すように、自車両の走行車線についてはヘッドライトの配光状態をハイビーム状態とし、対向車線についてはヘッドライトの配光状態をロービーム状態とするときは、変更部４は、映像取得部２が取得した映像を構成する各画像において、左側の領域では認識辞書Q1を選択し、右側の領域では認識辞書Q2を選択することになる。

以上に、第２実施形態を説明したが、上記第２実施形態は、以下の特徴を有する。

認識辞書Qによる認識位置は、第１の認識位置としての下認識位置と、下認識位置と異なる第２の認識位置としての上認識位置と、を含む。変更部４は、認識部５が物体認識に用いる認識辞書Qとして、ヘッドライトの配光状態に基づいて、下認識位置の重み付け係数及び上認識位置の重み付け係数が相互に異なる複数の認識辞書Q（認識辞書Q1、認識辞書Q2）から選択する。以上の構成によれば、ヘッドライトの配光状態に応じて複数の認識辞書Qから適した認識辞書Qを選択することで、認識辞書Qの認識条件を実質的に変更することができる。

また、上認識位置は、下認識位置よりも鉛直方向上方である。ヘッドライトの配光状態は、ハイビーム状態及びロービーム状態を含む。変更部４は、ヘッドライトの配光状態がロービーム状態であるとき、認識部５が物体認識に用いる認識辞書Qとして、複数の認識辞書Q（認識辞書Q1、認識辞書Q2）から、下認識位置の重み付け係数が上認識位置の重み付け係数よりも高い認識辞書Qを選択する。以上の構成によれば、ヘッドライトの配光状態がロービーム状態であるときの、物体認識の精度を向上することができる。

上記各実施形態においては、自車両のヘッドライトの構成が右ヘッドライトと左ヘッドライトとで構成され、双方またはいずれか一方の配光状態に対応して認識条件を変更した認識辞書を用いた物体認識について説明した。本発明の物体認識装置は、右ヘッドライトと左ヘッドライトによる配光制御に限らず、右ヘッドライトと左ヘッドライトの各々で独立した配光制御を行う場合にも適用可能である。

また、上記各実施形態は、夜間など、物体認識を行う対象に対してヘッドライトが照射されない部分の物体認識が困難となる程度に、ヘッドライトの照射部位と非照射部位とで明るさの差が生じる場合に特に有効である。このため、本発明に対しては、図示しない照度センサをさらに設け、照度センサによる自車両外の照度が所定照度未満の場合に適用してもよい。

１ 制御部
２ 映像取得部
３ 配光取得部
４ 変更部
５ 認識部
６ 表示制御部
７ 前方カメラ
８ 記憶部
９ 表示部
P 映像
Q 認識辞書
R 照射範囲
S 人物
Q1 認識辞書
Q2 認識辞書

Claims (8)

1. 自車両の前方を撮影した映像を取得する映像取得部と、
   前記自車両のヘッドライトの配光状態を取得する配光取得部と、
   前記配光取得部が取得した前記ヘッドライトの配光状態に基づき、物体認識に用いる物体認識辞書の認識条件を変更する変更部と、
   前記映像取得部が取得した映像に対して、前記変更部が認識条件を変更した前記物体認識辞書に基づき物体認識を行う認識部と、
   を備えることを特徴とする、物体認識装置。
2. 前記変更部は、前記配光取得部が取得した前記ヘッドライトの配光状態に基づき、前記物体認識辞書による認識位置毎に設定する重み付け係数を変更する、
   請求項１に記載の物体認識装置。
3. 前記物体認識辞書による前記認識位置は、第１の認識位置と、前記第１の認識位置よりも鉛直方向上方となる第２の認識位置と、を含み、
   前記ヘッドライトの配光状態は、ハイビーム状態及びロービーム状態を含み、
   前記変更部は、前記ヘッドライトの配光状態がロービーム状態であるとき、前記第１の認識位置の重み付け係数を、前記第２の認識位置の重み付け係数よりも高くなるように変更する、
   請求項２に記載の物体認識装置。
4. 前記物体認識辞書は、人物認識辞書であり、
   前記人物認識辞書による前記認識位置は、人物の下半身に対応する第１の認識位置と、人物の上半身に対応する第２の認識位置と、を含み、
   前記ヘッドライトの配光状態は、ハイビーム状態及びロービーム状態を含み、
   前記変更部は、前記ヘッドライトの配光状態がロービーム状態であるとき、前記第１の認識位置の重み付け係数を、前記第２の認識位置の重み付け係数よりも高くなるように変更する、
   請求項２に記載の物体認識装置。
5. 前記物体認識辞書による前記認識位置は、第１の認識位置と、前記第１の認識位置と異なる第２の認識位置と、を含み、
   前記変更部は、前記認識部が物体認識に用いる前記物体認識辞書として、前記ヘッドライトの配光状態に基づいて、前記第１の認識位置の重み付け係数及び前記第２の認識位置の重み付け係数が相互に異なる複数の物体認識辞書から選択する、
   請求項１に記載の物体認識装置。
6. 前記第２の認識位置は、前記第１の認識位置よりも鉛直方向上方であり、
   前記ヘッドライトの配光状態は、ハイビーム状態及びロービーム状態を含み、
   前記変更部は、前記ヘッドライトの配光状態がロービーム状態であるとき、前記認識部が物体認識に用いる前記物体認識辞書として、前記複数の物体認識辞書から、前記第１の認識位置の重み付け係数が前記第２の認識位置の重み付け係数よりも高い物体認識辞書を選択する、
   請求項５に記載の物体認識装置。
7. 自車両の前方の映像を撮影するカメラからの映像を取得する映像取得ステップと、
   前記自車両のヘッドライトの配光状態を取得する配光取得ステップと、
   前記配光取得ステップで取得した前記ヘッドライトの配光状態に基づき、物体認識に用いる物体認識辞書の認識条件を変更する変更ステップと、
   前記映像取得ステップで取得した映像に対して、前記変更ステップで認識条件が変更された前記物体認識辞書に基づき物体認識を行う認識ステップと、
   を含む、物体認識方法。
8. コンピュータに、請求項７に記載の物体認識方法を実行させるための、物体認識プログラム。

Images