JP2019023787A - 画像認識システム - Google Patents

Abstract

【課題】単一の認識処理手段によっても、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して認識処理を提供する。【解決手段】画像認識システム１００は、第１撮影画像を生成する前方カメラ１０−１と、第２撮影画像を生成する右側カメラ１０−２と、それぞれの撮影画像の切出範囲を指定する切出範囲指定部１３と、指定された切出範囲に基づいてそれぞれの撮影画像が所定のサイズ（９００画素×６００画素）になるように、それぞれの画素削減率を算出する削減率算出部１４と、第１撮影画像の切出範囲及び画素削減率に従って第１撮影画像を加工して前記所定のサイズの第１画像を生成する画像加工部１１−１と、第２撮影画像の切出範囲及び画素削減率に従って第２撮影画像を加工して前記所定のサイズの第２画像を生成する画像加工部１１−２と、それぞれの画像に対して同一の認識モデルを用いて認識処理を行う認識処理部１７とを備えている。【選択図】図１

Description

本発明は、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対してそれぞれ認識処理を行う画像認識システムに関する。

撮影画像に対して認識処理を行って特定の対象を検出したり（物体検出）、画素が属する対象を判定したり（ピクセルラベリング）する場合には、撮影画像に対象が所望の大きさで映っていることが有利である。

このために、撮影画像から特定の対象が映っていると予想される一部範囲を切り出して当該切出部分について認識処理を行うことができる。このような撮影画像の一部範囲の切出しはデジタルズームとも呼ばれ、切出範囲の大きさは画角（ズーム倍率）に相当する。

特許文献１には、広い範囲の画像を低解像度で処理する手段と、狭い範囲の画像を高解像度で処理する手段を有し、そのいずれか一方を選択することで、近傍から遠方までの広い範囲を好ましい状態で監視できる監視装置が開示されている。

また、特許文献２には、車両が車道に隣接するか歩道に隣接するかを判定して、判定結果に応じて画角を変更することで、車両の側部及び後方にいる歩行者等の移動物体を効率的に検出する検出装置が開示されている。

特開２０００−２５１０８０号公報 特開２００６−３１５４８２号公報

しかしながら、上記の従来技術では、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して、単一の認識処理手段を用いて認識処理を行うことができなかった。

そこで、本発明は、単一の認識処理手段によっても、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して認識処理を行うことができる画像認識システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様の画像認識システムは、第１方向（例えば、前方）を向いて撮影された、画角が第１画角（例えば、１２００画素×８００画素）でサイズが所定サイズ（例えば、９００画素×６００画素）の第１画像を生成する第１画像生成部（１２−１）と、第２方向（例えば、右側）を向いて撮影された、画角が第２画角（例えば、９００画素×６００画素）でサイズが前記所定サイズ（例えば、９００画素×６００画素）の第２画像を生成する第２画像生成部（１２−２）と、前記第１画像及び前記第２画像に対して同一の認識モデルを用いて認識処理を行う認識処理部（１７）とを備えた構成を有している。

この構成により、互いに異なる方向を向いて撮影された第１画像と第２画像は、画角は異なるもののサイズが同じであるので、同一の認識モデルで認識処理を行うことができ、よって、単一の認識処理部によっても、互いに異なる画角で異なる方向を向いて撮影された複数の画像に対して認識処理を行うことができる。

また、本発明の他の態様の画像認識システムは、第１方向を向いて撮影された、画角が第１画角でサイズが所定サイズの第１画像を生成する第１画像生成部と、第２方向を向いて撮影された、画角が第２画角でサイズが前記所定サイズの第２画像を生成する第２画像生成部と、前記第１画像生成部の出力信号及び前記第２画像生成部の出力信号が入力される、同一の認識モデルを備える認識処理部とを備えた構成を有している。

この構成によっても、互いに異なる方向を向いて撮影された第１画像と第２画像は、画角は異なるもののサイズが同じであるので、同一の認識モデルで認識処理を行うことができ、よって、単一の認識処理部によっても、互いに異なる画角で異なる方向を向いて撮影された複数の画像に対して認識処理を行うことができる。

本発明の実施形態に係る画像認識システムの構成を示す図 本発明の実施形態に係る切出サイズと削減率との関係を説明する図 本発明の実施形態に係る切出サイズと削減率との関係を説明する図 本発明の実施形態に係る切出サイズと削減率との関係を説明する図 本発明の実施形態に係る車両が車道を走行している状況を示す図 本発明の実施形態に係る前方カメラによって得られる撮影画像の例を示す図 本発明の実施形態に係る右側カメラによって得られる撮影画像の例を示す図 本発明の実施形態に係る直進道路を走行している場合の認識対象物の想定距離の例を示す図 本発明の実施形態に係る車両が交差点に差し掛かっている場合の認識対象物の想定距離の例を示す図 本発明の実施形態に係る車両がカーブを走行している場合の認識対象物の想定距離を示す図 本発明の実施形態に係る撮影画像中の左側に切出範囲が設定されている状態を示す図

以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本発明の実施形態に係る画像認識システムの構成を示す図である。この画像認識システム１００は、車両に搭載される。画像認識システム１００は、車両の前方に前向きに設置される前方カメラ１０−１と、車両の右側方に右向きに設置される右側カメラ１０−２と、車両の左側方に左向きに設置される左側カメラ１０−３と、車両の後方に後向きに設置される後方カメラ１０−４とを備える。以下、前方カメラ１０−１、右側カメラ１０−２、左側カメラ１０−３、及び後方カメラ１０−４を総称してカメラ１０ともいう。

カメラ１０は、撮影を行って撮影画像を生成するデジタルカメラである。なお、本実施形態では、カメラ１０−１〜１０−４の撮像素子のサイズはいずれも同じであり、横１８００画素、縦１２００画素である。また、カメラ１０−１〜１０−４の光学系もすべて同じ構造である。よって、カメラ１０−１〜１０−４によって生成される撮影画像のサイズは、いずれも横１８００画素、縦１２００画素で同じであり、その光学系の画角も同じである。なお、カメラ１０は光学ズーム機能を備えていてもよい。

各カメラ１０−１〜１０−４にはそれぞれ、画像加工部１１−１〜１１−４が接続される。以下では、画像加工部１１−１〜１１−４を総称して画像加工部１１ともいう。画像加工部１１−１〜１１−４は、それぞれカメラ１０−１〜１０−４の撮影によって得られた撮影画像を加工する。カメラ１０−１と画像加工部１１−１とで画像生成部１２−１が構成され、カメラ１０−２と画像加工部１１−２とで画像生成部１２−２が構成され、カメラ１０−３と画像加工部１１−３とで画像生成部１２−３が構成され、カメラ１０−４と画像加工部１１−４とで画像生成部１２−４が構成される。以下では、画像生成部１２−１〜１２−４を総称して画像生成部１２ともいう。

画像認識システム１００は、さらに切出範囲指定部１３と、削減率算出部１４と、状況認識部１６と、認識処理部１７とを備えている。状況認識部１６は、外部から車両情報及び車両周辺情報を取得する。状況認識部１６は、認識処理部１７による認識結果も車両周辺情報として取得する。

切出範囲指定部１３は、カメラ１０−１〜１０−４でそれぞれ得られた撮影画像についてそれぞれの切出範囲を指定する。切出範囲は、撮影画像中の一部範囲又は全範囲であって、矩形の範囲である。切出範囲指定部１３は、切出位置と切出サイズを指定することで切出範囲を指定する。切出範囲指定部１３は、状況認識部１６にて認識された状況に基づいて切出範囲を指定する。切出範囲指定部１３は、状況に応じて種々の切出サイズを指定するが、このときのアスペクト比は一定とし、本実施形態では撮影画像のアスペクト比（３：２）で切出範囲を指定する。

削減率算出部１４は、切出範囲指定部１３にて指定された切出範囲に基づいて、当該切出範囲についての画素の削減率を算出する。削減率算出部１４は、具体的には、切出範囲指定部１３で指定された切出サイズに基づいて、画素削減率を算出する。削減率算出部１４は、切出範囲の切出サイズに関わらず、切り出した画像のサイズが同じになるように画素削減率を算出する。

画像加工部１１は、切出範囲指定部１３にて指定された切出範囲を切り出すとともに、削減率算出部１４で算出された画素削減率に従って画素を削減することで、切り出された画像のサイズを小さくする。画像加工部１１は、具体的には、画素削減率に従って画素を間引きすることで画素数を削減する。

図２〜４は、切出サイズと画素削減率との関係を説明する図である。図２〜４は、撮影画像の画素を模式的に示している。図２〜４においてハッチングを施した画素は間引き処理によって捨てられる画素である。図２〜４の例では、１８００画素×１２００画素の撮影画像から９００画素×６００画素の画像を得る場合の画像加工部１１の処理を示している。

図２は、切出範囲が１８００画素×１２００画素である（即ち、撮影画像の全体を切り出す）例を示している。画像加工部１１は、１８００画素×１２００画素の切出範囲が９００画素×６００画素になるように縦方向及び横方向にそれぞれ削減率１／２になるように間引き処理を行う。この画像加工によって、１８００画素×１２００画素の切出範囲（画角）についての９００画素×６００画素のサイズの画像が得られる。

図３は、切出範囲が１２００画素×８００画素である例を示している。画像加工部１１は、１８００画素×１２００画素の撮影画像から１２００画素×８００画素の切出範囲を切り出して、９００画素×６００画素になるように縦方向及び横方向にそれぞれ削減率３／４になるように間引き処理を行う。この画像加工によって、１２００画素×８００画素の切出範囲（画角）についての９００画素×６００画素のサイズの画像が得られる。

図４は、切出範囲が９００画素×６００画素である例を示している。画像加工部１１は、１８００画素×１２００画素の撮影画像から９００画素×６００画素の切出範囲を切り出す。この例の場合には、切出範囲がすでに９００画素×６００画素なので、画像加工部１１は間引き処理は行わない。この画像加工によって、９００画素×６００画素の切出範囲（画角）についての９００画素×６００画素のサイズの画像が得られる。

図５は、自車両Ｃ１、他車両Ｃ２、及び他車両Ｃ３が車道を走行している状況を示す図である。本実施形態の画像認識システム１００は自車両Ｃ１に搭載されている。自車両Ｃ１には、前方に前方カメラ１０−１が設置され、右側方に右側カメラ１０−２が設置されている。他車両Ｃ２は自車両Ｃ１の前方を走行しており、他車両Ｃ３は自車両Ｃ１の右側を走行している。図５に示すように、自車両Ｃ１から他車両Ｃ２までの距離は比較的遠く、自車両Ｃ１から他車両Ｃ３までの距離は比較的近い。

図６は、前方カメラ１０−１によって得られる撮影画像の例を示す図であり、図７は、右側カメラ１０−２によって得られる撮影画像の例を示す図である。自車両Ｃ１の前方にある他車両Ｃ２は、自車両Ｃ１から比較的遠距離にあるので、図６に示すように、撮影画像において他車両Ｃ２は比較的小さく映る。一方、自車両Ｃ１の右側にある他車両Ｃ３は、自車両Ｃ１から比較的近距離にあるので、図７に示すように、撮影画像において他車両Ｃ３は比較的大きく映る。

切出範囲指定部１３は、図５の例のように、前方カメラ１０−１で撮影される他車両が比較的遠距離にあると想定される場合には、比較的小さい切出サイズを指定する。図６の例では、切出サイズが最小の９００画素×６００画素に指定されている。これによって、図６に示すように比較的遠距離にある他車両Ｃ２が、切出範囲内に十分大きく、かつ、切出範囲内に収まるように映ることが期待できる。

即ち、切出範囲指定部１３は、他車両が遠距離にあると想定される状況では、切出サイズを小さくするデジタルズーム（ズームイン）を行い、他車両が近距離にあると想定される状況では、切出サイズを大きくするデジタルズーム（ズームアウト）を行う。このように、例えば前方カメラ１０−１の撮影画像と右側カメラ１０−２の撮影画像とでは、切出サイズ（ズーム倍率）が異なるが、上述のように、削減率算出部１４は、切出サイズに応じて画素削減率を算出するので、画像加工部１１がこの画素削減率に従って切出範囲について間引き処理を行うことで、いずれも同じサイズ（本実施形態では９００画素×６００画素）の画像が得られる。

以上のように、カメラ１０−１〜１０−４と画像加工部１１−１〜１１−４とからなる画像生成部１２−１〜１２−４は、それぞれ撮影画像の任意の切出範囲から画像を切り出すが、削減率算出部１４が切出サイズに応じた各撮影画像のそれぞれの画素削減率を算出し、各画像加工部１１−１〜１１−４がそれぞれ算出された画素削減率で間引き処理を行うので、その切出サイズに関わらず同じサイズの画像を得ることができる。

このように、本実施の形態では、画像加工部１１−１〜１１−４は、それぞれ異なる方向に向けられたカメラ１０−１〜１０−４の撮影画像から、それぞれ任意の大きさの切出範囲（画角）を切り出して、それぞれ画角に対応した画素削減率で間引き処理を行うので、画像生成部１２−１〜１２−４は、それぞれ切出範囲の大きさに応じて任意の画角解像度の画像を生成する。画像生成部１２−１〜１２−４は、それぞれサイズが同じで画角解像度の異なる画像を生成する。なお、当然ながら、画像生成部１２−１〜１２−４のいずれかにおいて画角解像度が同じになることがあってもよい。

ここで、画角解像度とは、単位画角当たりの画素数をいう。図２の例では、画角解像度は、９００画素／Ｒ（１８００）（＝６００画素／Ｒ（１２００））であり、図３の例では、画角解像度は、９００画素／Ｒ（１２００）（＝６００画素／Ｒ（８００））であり、図４の例では、画角解像度は、９００画素／Ｒ（９００）（＝６００画素／Ｒ（６００））である。ここで、Ｒ（ｘ）は、撮影画像のｘ画素に対応する画角を表す。なお、本実施の形態では、切出サイズが画角に対応するので、切出サイズに対する間引き後の画素数の比を画角解像度としてもよい。上記から明らかなように、画角解像度は、画素削減率に比例し、よって画角解像度が異なる画像とは、異なる削減率で撮影画像から間引きされた画像である。

このように、切出範囲指定部１３にて切出範囲が指定され、それに応じて削減率算出部１４で画素削減率が算出されると、画角解像度が決定する。このような切出範囲指定部１３と削減率算出部１４とで画角解像度決定部１５が構成される。画角解像度決定部１５は、状況認識部１６によって認識された状況に応じて、各カメラ１０について、それぞれ切出範囲を決定し、それに応じて画素削減率を算出することで、各画像生成部１２−１〜１２−４におけるそれぞれの画角解像度を決定する。

次に、状況に応じた切出範囲の指定について説明する。切出範囲指定部１３は、状況に応じて認識対象物の想定距離を設定する。この想定距離は、車両からの方向に応じて異なっている。切出範囲指定部１３は、各方向を向いているカメラ１０について、想定距離に応じて切出サイズを決定する。すなわち、切出範囲指定部１３は、想定距離が長い方向を向いているカメラの撮影画像については、比較的小さい切出サイズの（即ち、画角が小さく、ズーム倍率が高い）切出範囲を指定して、想定距離が短い方向を向いているカメラの撮影画像については、比較的大きい切出サイズの（即ち、画角が大きく、ズーム倍率が低い）切出範囲を指定する。

図８は、高速道路のような直進道路を走行している場合の認識対象物の想定距離の例を示す図である。状況認識部１６にて、速度が速く、かつ直進していることが認識されると、切出範囲指定部１３は、図８に示すように、車両の側方及び後方に短く、前方に長い想定距離を設定して、これに従って、前方カメラ１０−１の撮影画像については、比較的小さい切出サイズの（即ち、画角が小さく、ズーム倍率が高い）切出範囲を指定し、右側カメラ１０−２、左側カメラ１０−３、及び後方カメラ１０−４の撮影画像については、比較的大きい切出サイズの（即ち、画角が大きく、ズーム倍率が低い）切出範囲を指定する。

図９は、車両が交差点に差し掛かっている場合の認識対象物の想定距離の例を示す図である。状況認識部１６は、車両周辺の状況の情報として、車両の位置データ及び地図の情報を取得することで、車両が交差点に差し掛かっていることを認識する。あるいは、状況認識部１６は、後述する認識処理部１７の処理によって、前方に信号が検出されたときに、車両が交差点に差し掛かっていると認識する。このとき、切出範囲指定部１３は、図９に示すように、図８の場合と比較して側方に長い想定距離を設定して、これに従って、右側カメラ１０−２、及び左側カメラ１０−３のそれぞれの撮影画像について、図８の場合と比較して小さい切出範囲を指定する。また、状況認識部１６にて、図８の場合と比較して速度が遅いことが認識されると、前方カメラ１０−１の撮影画像について、図８の場合と比較して大きい切出範囲を指定する。

また、図示しないが、例えば、状況認識部１６は、車両が減速していること、又はギアがバックに入っていることを認識してよく、この場合には、切出範囲指定部１３がそれに応じて後方カメラ１０−４の撮影画像について大きな切出範囲を指定してよい。

図１０は、車両がカーブを走行している場合の認識対象物の想定距離を示す図である。状況認識部１６は、車両の速度が一定値以上であり、かつステアリング角度が所定の値以上であることを認識する。この場合には、切出範囲指定部１３は、図１０に示すように、カーブ方向に傾いた想定距離を設定する。図１０は、左カーブを曲がっている状況であるので、切出範囲指定部１３は、前方カメラ１０−１の撮影画像について比較的小さい切出範囲を指定するとともに、右側カメラ１０−２の撮影画像については大きい切出範囲を指定する一方で、左側カメラ１０−３の撮影画像については右側より小さい切出範囲を指定する。

また、図１０の状況では、状況認識部１６は、車両が左カーブを走行していることを認識するので、切出範囲指定部１３は、これに対応して、切出範囲の切出位置を撮影画像の内の左側に設定する。図１１は、撮影画像中の左側に切出範囲が設定されている状態を示す図である。すなわち、切出範囲指定部１３は、状況認識部１６が認識した状況に応じて切出範囲の切出位置を可変に指定する。

さらに、状況認識部１６は、車両の周辺情報として外部から周辺の他車両の速度に関する情報を取得する。また、状況認識部１６は、位置情報と地図情報から車両が一般道を走行しているのか高速道路を走行しているのかを認識して、一般道であれば他車両の速度を５０ｋｍ／ｈとし、高速道路であれば他車両の速度を８０ｋｍ／ｈと認識してもよい。さらに、状況認識部１６は、認識処理部１７にて制限速度の標識が認識された場合に、他車両の速度を当該制限速度に基づいて決定してもよい。

また、状況認識部１６は、自車両が交差点を右折又は左折をしている、あるいはしようとしていることを認識してもよい。具体的には、状況認識部１６は、ステアリングの角度に基づいて右折又は左折をしていることを認識してよい。また、状況認識部１６は、ウィンカーの起動状況を認識して右折又は左折しようとしていることを認識してもよい。さらに、状況認識部１６は、ナビゲーションに基づく予定経路と現在位置とに基づいて右折又は左折をしている、あるいはしようとしていることを認識してもよい。

さらに、状況認識部１６は、認識処理部１７の認識結果に基づいて、道路標識や信号機があることを認識してもよい。この場合には、切出範囲指定部１３は、道路標識や信号機の全体を大きく含む切出範囲を指定する。また、状況認識部１６は、現在位置と地図情報に基づいて道路標識や信号機の位置を認識して、それらの全体を大きく含むように切出範囲を指定してもよい。

認識処理部１７は、画像生成部１２−１〜１２−４からそれぞれ入力される画像に対して認識モデルを用いて認識処理を行う。上述のように、画像生成部１２−１〜１２−４では画角は異なるがサイズは統一された画像が生成され、これらが認識処理部１７に入力される。すなわち、認識処理部１７が認識処理を行う画像のサイズは統一されており、したがって、認識処理部１７は単一の認識モデルを用いることができる。

本実施形態の認識処理部１７は、認識モデルとして、機械学習モデルを採用する。機械学習モデルとしては、例えば、深層ニューラルネットワークモデルを採用する。このニューラルネットワークモデルは、特定の対象物体を検出して矩形枠で囲う検出処理を行うものであってもよいし、ピクセルラベリング（例えば、セマンティックセグメンテーション、デプス推定、境界推定等）を行うものであってもよい。ここで、検出処理、又はピクセルラベリングは、画像加工部１１、画角解像度決定部１５、及び認識処理部１７により、スライディングウィンドウの処理を行ってもよいし、ＦＣＮ（Fully Convolutional Networks）の処理を行ってもよい。なお、ＦＣＮに入力される画像のサイズは任意であるが、認識処理部１７に該当するＦＣＮの一部に入力される画像のサイズは統一されている。また、認識モデルは、この他に、例えばサポートベクターマシン（ＳＶＭ）、決定木等であってもよい。

上述のように、本実施形態の認識処理部１７の認識モデルは、互いに撮影方向が異なる複数のカメラ１０からそれぞれ得られた画像の何れについても認識処理を行う。このような認識モデルを学習する際には、学習用の画像として、撮影方向の異なる画像を用いる。ここで、認識モデルの学習に、単一方向の画像を元に得られた学習結果を融合して単一の認識モデルを作成するアンサンブル学習を採用してもよく、さらに、そのようにして作成された認識モデルを蒸留（distillation）によって圧縮してもよい。

なお、上述のように、認識モデルの学習には、撮影方向の異なる画像を用いることが望ましく、特に、本実施形態では全方位の画像を学習することが望ましいが、特定の方向からの画像のみを用いてもよい。

以上説明したように、本実施形態の画像認識システム１００によれば、車両に互いに異なる方向を向く複数のカメラ１０が設置され、複数の方向の画像に対して認識処理を行うことができる。この場合に、認識効率を向上させるために、方向毎に対象物体が存在すると予想される範囲を切り出して認識を行うことが有効であるが、本実施形態では、任意の切出範囲で撮影画像の一部を切り出した場合に、切出範囲の切出サイズに応じた画素削減率で間引き処理をするので、切出サイズに関わらずに画像のサイズを一定にすることができる。よって、認識モデルは、複数の画像サイズにそれぞれ応じて用意する必要がなく、認識モデルを用意するコスト（即ち、学習時間、推論時間、必要な記憶容量、動作検証に必要な時間等）を低減できる。

なお、上記の実施形態では、画像生成部１２−１〜１２−４のいずれにおいても、切出範囲指定部１３に指定された切出範囲を切り出して必要に応じて画素を間引きする画像加工を行う例を説明したが、一部の画像加工部の切出範囲が固定されており、それに対応して間引き処理の画素削減率も固定されていてもよい。また、上記の例では、画像加工部１１による切出処理と間引き処理によって、１８００画素×１２００画素の撮像画像から、９００画素×６００画素の画像を得たが、一部のカメラ１０の撮像素子が９００画素×６００画素である場合は、そのカメラ１０に対応する画像加工部１１は不要である。

また、上記の実施形態では、それぞれ異なる方向に向くカメラが４台設置されている例を説明したが、カメラは少なくとも２台であればよく、また、４台より多くてもよい。さらに、上記の実施形態では、認識処理部１７が単一の認識モデルを実装していたが、認識処理部１７が複数の認識器で構成されていてもよい。例えば、４台のカメラのうち、前方カメラ１０−１及び後方カメラ１０−４からの画像を、単一の認識モデルを有する認識器へ入力し、右側カメラ１０−２及び左側カメラ１０−３からの画像を、上記単一の認識モデルを有する認識器とは別の認識器へ入力するようにしてもよい。

あるいは、物体認識すべき目的に応じ、単一の認識モデルを有する認識器を複数としてもよい。具体的には、自車両前方の車両等（先行車や対向車）との衝突を監視、防止のために設けられる前方カメラの画像は単一の認識モデルを有する認識器へ入力させるようにする一方、自車両に対し側方および後方の車両等との衝突や異常接近を監視、防止するために設けられる右側カメラ１０−２、左側カメラ１０−３、及び後方カメラ１０−４の画像は、前方カメラ１０−１の画像用に設けられる上記単一の認識モデルを有する認識器とは別の単一のモデルを有する認識器へ入力させるようにしてよい。このような構成を備えることで、一般的に、自車両からの監視方向によって、フレームレートを異ならせる場合に、近似するフレームレートを有するカメラ群を効率よく同一の認識モデルで画像処理することが可能となる。具体的には、左右及び後方については、前方よりも低いフレームレートで撮影を行うことがあるが、このような場合には、上述のように、前方カメラ１０−１の画像を認識する認識器と右側カメラ１０−２、左側カメラ１０−３、及び後方カメラ１０−４の画像を認識する認識器とを分けてよい。

また、上記の実施形態では、異なるカメラ１０から得た複数の撮影画像について、それぞれ異なる画角解像度になるように加工を行った上で、共通の認識処理部１７にて認識処理を行ったが、同一のカメラ１０から得た撮影画像について、それぞれ異なる画角解像度になるように加工を行って、それらの加工によって得られた画像を単一の認識処理部１７で認識処理を行ってもよい。

また、上記の実施形態では、複数のカメラ１０は、撮像素子のサイズも光学系も同じであったが、上記のように撮像素子のサイズは異なっていてもよいし、光学系の画角が異なっていてもよい。

また、上記の実施形態では、複数のカメラ１０−１〜１０−４に対応して複数の画像加工部１１−１〜１１−４が設けられていたが、複数のカメラが１つの画像加工部を共有し、１つの画像加工部が各カメラで得られた撮影画像をそれぞれの画角解像度になるように加工してもよい。

また、上記の実施形態では、画像加工部１１が間引き処理を行っていたが、他の画像処理を用いてもよく、例えば、最近傍法、バイリニア法、バイキュービック法、Lanczos法等による補間処理を用いてもよい。

また、上記の実施形態では、切出範囲指定部１３が指定する切出範囲は、撮影画像中の一部範囲又は全範囲であったが、撮影画像の範囲を超える領域を切出範囲として指定してもよい。この場合、画像加工部１１は、撮影画像の範囲外の画素値に対し、０を代入してもよいし、学習用の画像の全画素値の平均値を代入してもよい。

また、上記の実施形態では、画像生成部１２の生成する画像サイズ、及び認識モデルは固定であったが、動的に変更してもよい。例えば、状況認識部１６にて、自車両の速度が十分遅いことが認識されると、画像生成部１２の生成する画像サイズを大きく変更し、認識モデルを演算回数が多くより高精度な認識が可能な認識モデルに変更してもよい。

１００ 画像認識システム
１０−１〜１０−４ カメラ
１１−１〜１１−４ 画像加工部
１２−１〜１２−４ 画像生成部
１３ 切出範囲指定部
１４ 削減率算出部
１５ 画角解像度決定部
１６ 状況認識部
１７ 認識処理部

Claims (9)

1. 第１方向を向いて撮影された、画角が第１画角でサイズが所定サイズの第１画像を生成する第１画像生成部と、
   第２方向を向いて撮影された、画角が第２画角でサイズが前記所定サイズの第２画像を生成する第２画像生成部と、
   前記第１画像及び前記第２画像に対して同一の認識モデルを用いて認識処理を行う認識処理部と、
   を備えた画像認識システム。
2. 前記第１画像生成部における第１画角解像度を決定する画角解像度決定部をさらに備え、
   前記第１画像生成部は、
   前記第１方向を向いた撮影によって第１撮影画像を生成する第１カメラと、
   前記第１画角解像度に従って前記第１撮影画像を加工して前記第１画像を生成する第１画像加工部と、
   を備える、請求項１に記載の画像認識システム。
3. 前記画角解像度決定部は、
   前記第１画角に対応する第１切出範囲を指定する切出範囲指定部と、
   前記第１切出範囲に基づいて前記第１撮影画像の第１画素削減率を算出する削減率算出部と、
   を備え、
   前記第１画像加工部は、前記第１撮影画像から前記第１切出範囲を切り出すとともに、前記第１画素削減率に従って前記第１画像の画素数を削減する、
   請求項２に記載の画像認識システム。
4. 前記画角解像度決定部は、さらに、前記第２画像生成部における第２画角解像度を決定し、
   前記第２画像生成部は、
   前記第２方向を向いた撮影によって第２撮影画像を生成する第２カメラと、
   前記第２画角解像度に従って前記第２撮影画像を加工して前記第２画像を生成する第２画像加工部と、
   を備える、請求項３に記載の画像認識システム。
5. 前記切出範囲指定部は、さらに、前記第２画角に対応する第２切出範囲を指定し、
   前記削減率算出部はさらに、前記第２切出範囲に基づいて前記第２撮影画像の第２画素削減率を算出し、
   前記第２画像加工部は、前記第２撮影画像から前記第２切出範囲を切り出すとともに、前記第２画素削減率に従って前記第２画像の画素数を削減する、
   請求項４に記載の画像認識システム。
6. 前記画像認識システムは、車両に搭載され、
   前記車両の状況及び前記車両の周辺の状況の少なくともいずれかを認識する状況認識部をさらに備え、
   前記画角解像度決定部は、前記車両の状況及び前記車両の周辺の状況の少なくともいずれかに基づいて、前記第１画角解像度を決定する、
   請求項２に記載の画像認識システム。
7. 前記状況認識部は、前記認識処理部の認識結果に基づいて前記車両の周辺の状況を認識する、請求項６に記載の画像認識システム。
8. 前記状況認識部は、前記車両の速度を認識し、
   前記画角解像度決定部は、前記車両の速度に基づいて、前記第１画角解像度を決定する、
   請求項６に記載の画像認識システム。
9. 第１方向を向いて撮影された、画角が第１画角でサイズが所定サイズの第１画像を生成する第１画像生成部と、
   第２方向を向いて撮影された、画角が第２画角でサイズが前記所定サイズの第２画像を生成する第２画像生成部と、
   前記第１画像生成部の出力信号及び前記第２画像生成部の出力信号が入力される、同一の認識モデルを備える認識処理部と、
   を備えた画像認識システム。