JP2019117438A - 画像認識システム - Google Patents

Abstract

【課題】車両周辺に存在する物体を好適に画像認識する。【解決手段】画像認識システムは、車両周辺を第１の露光条件で撮像した第１の画像から、画像認識すべき対象物（５００）の位置に関する情報を算出する第１処理手段（３１０）と、対象物の位置に関する情報に基づいて、車両周辺を第１の露光条件とは異なる第２の露光条件で撮像した第２の画像から、対象物を含む部分画像を抽出する第２処理手段（３３０）と、部分画像を用いて、対象物が示す情報を画像認識する第３処理手段（３４０）とを備える。【選択図】図１

Description

本発明は、車両周辺に存在する物体を画像認識する画像認識システムの技術分野に関する。

この種のシステムとして、画像の一部を抽出して認識処理を実行するものが知られている。例えば特許文献１では、画像認識に用いる画像から部分画像を抽出して、部分画像の属性判定結果から最終的な認識結果を導き出す技術が開示されている。

その他の関連技術として、特許文献２では、画像認識の際に、輝度、明度、彩度又は色相の頻度を示す放射強度のヒストグラムをニューラルネットワークに入力して計算を実行する技術が開示されている。特許文献３では、画像認識の際に、フリッカー現象を抑制するために異なる露光条件で認識した画像を合成するという技術が開示されている。

特開２０１１−０２２９９１号公報 特開平０７−２７１９５６号公報 特開２０１６−１４３９０３号公報

信号機や電光標識を画像認識する場合、単一の露光条件で画像を撮像すると、フリッカー現象等によって、信号機や電光標識が消灯しているかのように撮像されてしまうおそれがある。フリッカー現象は、例えば露光条件を長くすることで抑制することができるとされているが、その場合ブラー現象が発生して画像認識が適切に行えなくなってしまうという技術的問題点が生ずる。また、電光標識は信号機よりも暗いため、信号機に最適な露光条件を選択すると、電光標識が暗くて撮像できなくなってしまい、電光標識に最適な露光条件を選択すると、信号機が色飽和して白くなり色識別ができなくなるという技術的問題点も生ずる。

なお、単純に異なる条件で撮像した複数の画像を利用して画像認識を実行しようとすると、画像認識処理における計算量や計算時間が増加してしまうという技術的問題点が生ずる。

本発明は、上記問題点に鑑みてなされたものであり、車両周辺に存在する物体を好適に画像認識することが可能な画像認識システムを提供することを課題とする。

本発明に係る画像認識システムの一態様では、車両周辺を第１の露光条件で撮像した第１の画像から、画像認識すべき対象物の位置に関する情報を算出する第１処理手段と、前記対象物の位置に関する情報に基づいて、車両周辺を前記第１の露光条件とは異なる第２の露光条件で撮像した第２の画像から、前記対象物を含む部分画像を抽出する第２処理手段と、前記部分画像を用いて、前記対象物が示す情報を画像認識する第３処理手段とを備える。

実施形態に係る画像認識システムの構成を示すブロック図である。 実施形態に係る画像認識システムの動作の流れを示すフローチャートである。 第１画像フレームにおける検出領域の一例を示す図である。 検出領域から推定される移動後領域の推定方法を示す図である。 第２画像フレームにおける移動後領域の一例を示す図である。 信号機の抽出画像の一例を示す図である。 電光標識の抽出画像の一例を示す図である。 複数の電光標識の抽出画像の一例を示す図である。

本発明の画像認識システムに係る実施形態を図面に基づいて説明する。

＜システム構成＞
まず、実施形態に係る画像認識システムの構成について、図１を参照して説明する。図１は、実施形態に係る画像認識システムの構成を示すブロック図である。

図１に示すように、本実施形態に係る画像認識システムは、車両に搭載されており、車両周辺に存在する対象物（例えば、信号機や電光標識等）を画像認識する処理を実行可能に構成されている。画像認識システムは、自車状態検出部１００と、カメラ２００と、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３００とを備えて構成されている。

自車状態検出部１００は、例えば車両の位置、方向、及び速度等に関する情報を検出可能なセンサ群として構成されている。自車状態検出部１００の検出結果は、ＥＣＵ１００における第１処理部３２０に出力される構成となっている。

カメラ２００は、車両周辺（特に、車両の前方）を撮像可能なカメラである。また、本実施形態に係るカメラ２００は特に、相異なる複数の露光条件で撮像を行うことが可能に構成されている。具体的には、カメラ２００は、第１の露光条件で第１画像フレームを撮像すると共に、第２の露光条件で第２画像フレームを撮像可能である。第２の露光条件は、単一の露光条件であってもよいし、２以上の複数の露光条件で撮像した複数の第２画像フレームであってもよい。第２画像フレームが複数の場合には、後述する第４処理部３３０が、どの露光条件を最終的な第２の露光条件として使用すべきかを判断する。第４処理部３３０は最終的に選択された第２の露光条件に対応する第２画像フレームを第２処理部３３０に出力する。カメラ２００の撮像画像は、ＥＣＵ１００における第１ニューラルネットワーク３１０、第３ニューラルネットワーク３６０及び第４処理部３７０に出力される構成となっている。

ＥＣＵ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算回路を有する制御ユニットとして構成されている。ＥＣＵ３００は、その機能を実現するための処理ブロックとして、第１ニューラルネットワーク３１０、第１処理部３２０、第２処理部３３０、第２ニューラルネットワーク３４０、第３処理部３５０、第３ニューラルネットワーク３６０、及び第４処理部３７０を備えている。

第１ニューラルネットワーク２１０は、カメラ２００の撮像画像を入力として処理し、撮像画像に含まれる信号機及び電光標識の位置座標及び種類を出力する。なお、第１ニューラルネットワーク２１０には、カメラ２００で撮像された第１画像フレーム（即ち、第１の露光条件で撮像された画像）が入力される。第１ニューラルネットワーク２１０は、後述する付記における「第１処理手段」の一具体例であり、第１画像フレームは、後述する付記における「第１の画像」の一具体例である。信号機及び電光標識は、後述する付記における「対象物」の一具体例である。第１ニューラルネットワーク２１０の処理結果は、大処理部３２０に出力される構成となっている。

第１処理部３２０は、自車状態検出部１００から入力される自車状態（例えば、車両の位置、方向、速度等）及び、第１ニューラルネットワーク３１０から入力される信号機及び電光標識の位置座標に基づいて、第１画像フレームにおいて検出された信号機や電光標識の第２画像フレームにおける位置座標を推定する。言い換えれば、第１処理部３２０は、相異なるタイミングで撮像される第１画像フレーム及び第２画像フレームについて、第１画像フレームにおいて検出された信号機や電光標識が、第２画像フレームのどの部分に位置することになるのかを推定する。なお、具体的な位置推定処理の内容については、既存の技術を適宜採用することができるため、詳細な説明を省略する。第１処理部３２０の推定結果は、第２処理部３３０に出力される構成となっている。

第３ニューラルネットワーク３６０は、カメラ２００で撮像された前記第１画像フレーム（即ち、第１の露光条件で撮像された画像）が入力され、第１画像フレームのシーン情報をクラス分類する。シーン情報とは、たとえば昼・夜間・夕方などの時間帯状態、順光・逆光などの光学的状態、晴天・雨天・降雪・積雪などの天候状態、通常道路・工事現場・トンネル・未舗装道路などの道路状態、などが含まれる。第３ニューラルネットワーク３６０は、第１画像フレームがそれぞれの条件のうち、どの条件に該当するかについてを確信度（Ｃｏｎｆｉｄｅｎｃｅ）を出力パラメータとして出力する。第２画像フレームの露光条件が複数存在する場合、第４処理部３７０は、自車状態検出部１００から入力される自車状態（例えば、時刻、ＧＰＳ座標等）及び、第３ニューラルネットワーク３６０から入力されるクラス分類の確信度情報に基づいて、第２処理部３３０に入力されるべき最終的な第２画像フレームの露光条件を、複数の露光条件の候補の中から選択し、選択した最終的な第２の露光条件に対応する第２画像フレームを第２処理部３３０に出力する。第２画像フレームの露光条件が単一である場合には、第４処理部３７０は前記第２画像フレームをそのまま第２処理部３３０に出力してもよいし、あるいは、カメラ２００から出力された第２画像フレームがそのまま第２処理部３３０に入力されてもよい。別の実施形態として、第４処理部３７０は、自車状態検出部１００から入力される自車状態（例えば、時刻、ＧＰＳ座標等）及び、第３ニューラルネットワーク３６０から入力されるクラス分類の確信度情報に基づいて、カメラ２００で第２画像フレームを撮影するときの露光条件を選択し、選択した露光条件情報をカメラ２００に送信し、カメラ２００が前記露光条件情報に基づき第２画像フレームを撮影し第２処理部に入力してもよい。

第２処理部３３０は、第１処理部３２０の推定結果（即ち、第２画像フレームにおける信号機や電光標識の位置情報）、第４処理部３７０、カメラ２００から入力される第２画像フレームに基づいて、第２画像フレームから抽出すべき領域（具体的には、信号機や電光標識を含む領域）を算出し、抽出すべき領域に相当する部分を抽出画像として抽出する。なお、信号機や電光標識が複数検出されている場合には、複数の抽出画像が抽出されてもよい。第２処理部３３０は、後述する付記における「第２処理手段」の一具体例であり、第２画像フレームは、後述する付記における「第２の画像」の一具体例である。また、抽出画像は、後述する付記における「部分画像」の一具体例である。第２処理部２２０の抽出結果は、第２ニューラルネットワーク３４０に出力される構成となっている。

第２ニューラルネットワーク３４０は、第２処理部３３０の抽出結果（即ち、信号機や電光標識を含む抽出画像）を入力とし、抽出画像に含まれる信号機の色、形状、座標、又は電光標識の内容、座標等の情報を出力する。第２ニューラルネットワーク３４０は、後述する付記における「第３処理手段」の一具体例である。第２ニューラルネットワーク３４０の処理結果は、第３処理部３５０に出力される構成となっている。

第３処理部３５０は、第２ニューラルネットワークの出力に基づいて、車両制御（例えば、自動運転や運転支援）に係る拘束条件を判定する。具体的には、第３処理部３５０は、車両が直進可能であるか否か、停止すべきであるか否か、右折又は左折可能であるか否か、最高速度や最高速度はどのくらいか等の条件を判定する。第３処理部の判定結果は、車両制御を実行する装置に出力され、その結果、判定結果に基づいた車両制御が実行されることになる。

＜動作説明＞
次に、本実施形態に係る画像認識システムの動作の流れについて、図２を参照して説明する。図２は、実施形態に係る画像認識システムの動作の流れを示すフローチャートである。なお、図２中の各処理は、ＥＣＵ３００で実行されるものである。

図２に示すように、本実施形態に係る画像認識システムの動作時には、まず第１ニューラルネットワーク３１０が、カメラ２００が撮像した第１画像フレームを取得する（ステップＳ１１）。第１画像フレームは、画像中に含まれる信号機や電光標識の存在を検出するのに最適化された第１の露光条件で撮像された画像データである。

続いて、第１ニューラルネットワーク３１０は、第１画像フレームにおける画像認識すべき対象物（即ち、信号機や電光標識等）を含む領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検出する（ステップＳ１２）。以下では、第１フレームにおけるＲＯＩの検出について、図３を参照して具体的に説明する。図３は、第１フレームにおける検出領域の一例を示す図である。

図３に示すように、カメラ２００で撮像された第１画像フレームに信号機５００が含まれているものとする。この場合、第１ニューラルネットワーク３１０は、対象物である信号機５００を含む領域を検出領域（ＲＯＩ）として検出する。検出領域は、対象物の外形を包含する矩形領域として検出されるが、ある程度のマージンを含んだ領域として検出されてもよい。また、現実的にあり得ない位置に検出されたＲＯＩ（例えば、道路位置から大きく外れている、空に浮かんでいる、自車両のレーンには関係ない位置に存在する等）については、除外するような処理を行ってもよい。

図２に戻り、ＲＯＩの検出処理後には、第１処理部３２０がＲＯＩを実際に検出したか否かを判定する（ステップＳ１３）。言い換えれば、第１画像フレームに画像認識すべき対象物が含まれていたか否かを判定する。なお、ＲＯＩが検出されなかった場合（ステップＳ１３：ＮＯ）、以降の処理は省略され、一連の処理が終了する。この場合、所定期間後にステップＳ１１から処理が再開されてもよい。

ＲＯＩが検出された場合（ステップＳ１３：ＹＥＳ）、第４処理部３７０は、第３ニューラルネットワーク３６０から入力されるクラス分類の確信度情報に基づいて、第２処理部３３０に入力されるべき最終的な第２画像フレームの露光条件を、複数の露光条件の候補の中から選択し、選択した最終的な第２の露光条件に対応する第２画像フレームを第２処理部３３０に出力する（ステップＳ９９９）。第２画像フレームの露光条件が単一である場合には、ステップＳ９９９は省略されてもよい。

続いて、第１処理部３２０は、自車状態検出部１００から自車状態を取得する（ステップＳ１４）。そして、第１処理部３２０は、取得した自車状態と、第１ニューラルネットワーク３１０の出力である検出領域に関する情報とに基づいて、検出領域の第２画像フレームにおける位置に相当する移動後領域を推定する（ステップＳ１５）。以下では、移動後領域の推定方法について、図４を参照して具体的に説明する。図４は、検出領域から推定される移動後領域の推定方法を示す図である。

図４に示すように、移動後領域は、検出領域を車両の移動ベクトルに基づいて動かした領域として推定される。具体的には、第１画像フレームを撮像したタイミングで車両前方に存在していた信号機５００が、第２画像フレームを撮像するタイミングでどのような位置に移動しているかを推定すればよい。なお、検出領域と移動後領域の大きさは互いに異なっていてもよい。

再び図２に戻り、移動後領域が推定されると、第２処理部３３０が第２画像フレームを第４処理部３７０又はカメラ２００から取得する（ステップＳ１６）。第２画像フレームは、第１画像フレームを撮像した際の第１の露光条件とは異なる第２の露光条件で撮像されている。第２の露光条件は、自車が現在おかれているシーンにおいて対象物が示す情報を画像認識するために第４処理部３７０によって最適化された露光条件である。

第２処理部３３０は、取得した第２画像フレームから、移動後領域に相当する部分を抽出する（ステップＳ１７）。言い換えれば、第２処理部３３０は、第２画像フレームから移動後領域を切り出す処理を実行する。ここで、第２画像フレームにおける移動後領域の抽出について、図５から図８を参照して具体的に説明する。図５は、第２画像フレームにおける移動後領域の一例を示す図である。図６は、信号機の抽出画像の一例を示す図である。図７は、電光標識の抽出画像の一例を示す図である。図８は、複数の電光標識の抽出画像の一例を示す図である。

図５に示すように、第２画像フレームにおける移動後領域は、第１処理部３２０が実行する推定処理によって、信号機５００の外形を包含する領域として推定されている。図に示す例では、第１画像フレーム内に存在していた信号機５００は、車両の走行によって、第２画像フレーム内では、わずかに車両に近い位置（即ち、手前側）に位置する状態となっている。

図６に示すように、第２画像フレームの移動後領域は、抽出画像として抽出される。抽出画像は、主に信号機５００を含む画像として抽出されるため、元の第２画像フレームと比べると、データ量が小さい一方で、信号機５００に関する情報は殆ど欠落することなく保持している。

図７に示すように、第２画像フレーム内に電光標識６００が存在していた場合には、電光標識６００の外形を包含する領域が抽出画像として抽出される。

図８に示すように、第２画像フレーム内に複数の電光標識７００及び７５０が存在していた場合には、複数の抽出画像が抽出される。具体的には、電光標識７００及び７５０の両方を含む抽出画像Ａ、電光標識７００のみを含む抽出画像Ｂ、及び電光標識７５０のみを含む抽出画像Ｃがそれぞれ抽出される。別の実施形態の態様として、第２画像フレーム内に複数の電光標識７００及び７５０が存在していた場合には、第２処理部は抽出画像Ａのみを抽出し、第２ニューラルネットワーク３４０が、抽出画像Ａをもとに電光標識７００の位置矩形および電光標識７５０の位置矩形それぞれを検出してもよい。

再び図２に戻り、抽出画像が抽出されると、第２ニューラルネットワーク３４０が抽出画像を用いて、対象物が示す情報を画像認識する（ステップＳ１８）。具体的には、第２ニューラルネットワーク３４０は、信号機の灯色、形状、座標や、電光標識の内容、座標等を画像認識結果として出力する。

続いて、第２ニューラルネットワーク３４０の画像認識結果を用いて、第３処理部３５０が、車両制御の拘束条件を判定する。例えば、第３処理部３５０は、車両前方に存在する信号機の灯色が赤であった場合、車両を停止させるべきであると判定する。また、第３処理部は、車両前方に存在する電光標識が制限時速４０ｋｍを示すものである場合、車速を４０ｋｍに制限すべきであると判定する。第３処理部３５０が、車両の制御装置（図示せず）に判定結果を出力することで、ＥＣＵ３００が実行する一連の処理は終了する。

車両の制御装置は、第３処理部３５０の判定結果に基づいて、車両の走行を自動的に又は半自動的に制御する。よって、本実施形態に係る画像認識システムが搭載された車両は、信号機の灯色や電光標識の内容に沿った走行を実現することが可能である。

＜技術的効果＞
次に、本実施形態に係る画像認識しシステムによって得られる技術的効果について説明する。

図１から図８を参照して説明したように、本実施形態に係る画像認識システムによれば、カメラ２００で撮像した画像をそのまま画像認識に利用するのではなく、対象物を含む領域が抽出され、抽出した抽出画像を利用して画像認識が実行される。抽出画像は、元の画像と比較すると、データ量が小さい一方で、対象物に関する情報の欠落は殆どない。このため、画像認識に要する計算量や計算時間を増加させることなく、好適に画像認識を実行することができる。

本実施形態に係る画像認識システムでは更に、抽出する領域を決定するために用いる第１画像フレームと、実際に画像認識に用いられる第２画像フレームとが相異なる露光条件で撮像される。具体的には、第１画像フレームは、対象物の存在を検出するために最適化された第１の露光条件で撮像される。一方、第２画像フレームは、画像認識をするために最適化された第２の露光条件で撮像される。従って、抽出領域の検出及び抽出画像の画像認識を最適な条件下で実行することができる。

本実施形態に係る画像認識システムでは更に、第２の露出条件として１乃至複数の露出条件によって１乃至複数の第２画像フレームが撮影され、第２の露出条件及び第２画像フレームが複数の場合には、第１画像フレームのシーン判定結果に基づいて第２画像フレームから１つの画像フレームが選択される。従って、第２画像フレームに基づく画像認識のために最適な露光条件を選択をすることができる。

なお、相異なる露光条件で撮像した複数の画像を利用することで、システムの処理負荷は多少増大するものの、すでに説明したように、本実施形態に係る画像認識システムでは、抽出画像を用いて画像認識が実行されるため、元の画像をそのまま画像認識する場合と比較すると、極めて低い処理負荷で画像認識を実行することが可能である。
＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。

（付記１）
付記１に記載の画像認識システムは、車両周辺を第１の露光条件で撮像した第１の画像から、画像認識すべき対象物の位置に関する情報を算出する第１処理手段と、前記対象物の位置に関する情報に基づいて、車両周辺を前記第１の露光条件とは異なる第２の露光条件で撮像した第２の画像から、前記対象物を含む部分画像を抽出する第２処理手段と、前記部分画像を用いて、前記対象物が示す情報を画像認識する第３処理手段とを備える。

付記１に記載の画像認識システムによれば、第１の露光条件で撮像した第１の画像を用いて、画像認識すべき対象物（例えば、信号機や電光標識等）の位置に関する情報が算出され、その位置に関する情報を用いて、第２の露光条件で撮像した第２の画像から対象物を含む部分画像が抽出される（言い換えれば、対象物を含む部分が切り出される）。なお、第１の画像の撮像時刻と第２の画像の撮像時刻とが異なる場合は、第１の画像における対象物の位置に関する情報に基づいて、第２の画像における対象物の位置に関する情報が推定されればよい。

その後、抽出された部分画像を用いて、対象物が示す情報（例えば、信号機の灯色や電光標識の内容等）が画像認識される。ここで特に、画像認識に用いる画像は部分画像（言い換えれば、元の撮像画像よりも小さい画像）であるため、元の撮像画像を用いる場合と比較すると、画像認識における処理負荷を小さくすることができる。また、第１の画像と第２の画像とは相異なる露光条件で撮像されているため、第１の画像における対象物の市に関する情報の算出、及び第２画像（部分画像）における対象物が示す情報の画像認識を、それぞれ最適な条件下で実行することができる。従って、システムの処理負荷の増大を防止しつつ、好適に対象物の画像認識を行うことができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像認識システムもまた本発明の技術的範囲に含まれるものである。

１００ 自車状態検出部
２００ カメラ
３００ ＥＣＵ
３１０ 第１ニューラルネットワーク
３２０ 第１処理部
３３０ 第２処理部
３４０ 第２ニューラルネットワーク
３５０ 第３処理部
３６０ 第３ニューラルネットワーク
３７０ 第４処理部
５００ 信号機
６００，７００，７５０ 電光標識

Claims (1)

1. 車両周辺を第１の露光条件で撮像した第１の画像から、画像認識すべき対象物の位置に関する情報を算出する第１処理手段と、
   前記対象物の位置に関する情報に基づいて、車両周辺を前記第１の露光条件とは異なる第２の露光条件で撮像した第２の画像から、前記対象物を含む部分画像を抽出する第２処理手段と、
   前記部分画像を用いて、前記対象物が示す情報を画像認識する第３処理手段と
   を備えることを特徴とする画像認識システム。