JP2019023787A - 画像認識システム - Google Patents
画像認識システム Download PDFInfo
- Publication number
- JP2019023787A JP2019023787A JP2017142506A JP2017142506A JP2019023787A JP 2019023787 A JP2019023787 A JP 2019023787A JP 2017142506 A JP2017142506 A JP 2017142506A JP 2017142506 A JP2017142506 A JP 2017142506A JP 2019023787 A JP2019023787 A JP 2019023787A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- angle
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
【課題】単一の認識処理手段によっても、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して認識処理を提供する。【解決手段】画像認識システム100は、第1撮影画像を生成する前方カメラ10−1と、第2撮影画像を生成する右側カメラ10−2と、それぞれの撮影画像の切出範囲を指定する切出範囲指定部13と、指定された切出範囲に基づいてそれぞれの撮影画像が所定のサイズ(900画素×600画素)になるように、それぞれの画素削減率を算出する削減率算出部14と、第1撮影画像の切出範囲及び画素削減率に従って第1撮影画像を加工して前記所定のサイズの第1画像を生成する画像加工部11−1と、第2撮影画像の切出範囲及び画素削減率に従って第2撮影画像を加工して前記所定のサイズの第2画像を生成する画像加工部11−2と、それぞれの画像に対して同一の認識モデルを用いて認識処理を行う認識処理部17とを備えている。【選択図】図1
Description
本発明は、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対してそれぞれ認識処理を行う画像認識システムに関する。
撮影画像に対して認識処理を行って特定の対象を検出したり(物体検出)、画素が属する対象を判定したり(ピクセルラベリング)する場合には、撮影画像に対象が所望の大きさで映っていることが有利である。
このために、撮影画像から特定の対象が映っていると予想される一部範囲を切り出して当該切出部分について認識処理を行うことができる。このような撮影画像の一部範囲の切出しはデジタルズームとも呼ばれ、切出範囲の大きさは画角(ズーム倍率)に相当する。
特許文献1には、広い範囲の画像を低解像度で処理する手段と、狭い範囲の画像を高解像度で処理する手段を有し、そのいずれか一方を選択することで、近傍から遠方までの広い範囲を好ましい状態で監視できる監視装置が開示されている。
また、特許文献2には、車両が車道に隣接するか歩道に隣接するかを判定して、判定結果に応じて画角を変更することで、車両の側部及び後方にいる歩行者等の移動物体を効率的に検出する検出装置が開示されている。
しかしながら、上記の従来技術では、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して、単一の認識処理手段を用いて認識処理を行うことができなかった。
そこで、本発明は、単一の認識処理手段によっても、異なる方向を向いて撮影された、画角の異なる複数の撮影画像に対して認識処理を行うことができる画像認識システムを提供することを目的とする。
上記目的を達成するために、本発明の一態様の画像認識システムは、第1方向(例えば、前方)を向いて撮影された、画角が第1画角(例えば、1200画素×800画素)でサイズが所定サイズ(例えば、900画素×600画素)の第1画像を生成する第1画像生成部(12−1)と、第2方向(例えば、右側)を向いて撮影された、画角が第2画角(例えば、900画素×600画素)でサイズが前記所定サイズ(例えば、900画素×600画素)の第2画像を生成する第2画像生成部(12−2)と、前記第1画像及び前記第2画像に対して同一の認識モデルを用いて認識処理を行う認識処理部(17)とを備えた構成を有している。
この構成により、互いに異なる方向を向いて撮影された第1画像と第2画像は、画角は異なるもののサイズが同じであるので、同一の認識モデルで認識処理を行うことができ、よって、単一の認識処理部によっても、互いに異なる画角で異なる方向を向いて撮影された複数の画像に対して認識処理を行うことができる。
また、本発明の他の態様の画像認識システムは、第1方向を向いて撮影された、画角が第1画角でサイズが所定サイズの第1画像を生成する第1画像生成部と、第2方向を向いて撮影された、画角が第2画角でサイズが前記所定サイズの第2画像を生成する第2画像生成部と、前記第1画像生成部の出力信号及び前記第2画像生成部の出力信号が入力される、同一の認識モデルを備える認識処理部とを備えた構成を有している。
この構成によっても、互いに異なる方向を向いて撮影された第1画像と第2画像は、画角は異なるもののサイズが同じであるので、同一の認識モデルで認識処理を行うことができ、よって、単一の認識処理部によっても、互いに異なる画角で異なる方向を向いて撮影された複数の画像に対して認識処理を行うことができる。
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
図1は、本発明の実施形態に係る画像認識システムの構成を示す図である。この画像認識システム100は、車両に搭載される。画像認識システム100は、車両の前方に前向きに設置される前方カメラ10−1と、車両の右側方に右向きに設置される右側カメラ10−2と、車両の左側方に左向きに設置される左側カメラ10−3と、車両の後方に後向きに設置される後方カメラ10−4とを備える。以下、前方カメラ10−1、右側カメラ10−2、左側カメラ10−3、及び後方カメラ10−4を総称してカメラ10ともいう。
カメラ10は、撮影を行って撮影画像を生成するデジタルカメラである。なお、本実施形態では、カメラ10−1〜10−4の撮像素子のサイズはいずれも同じであり、横1800画素、縦1200画素である。また、カメラ10−1〜10−4の光学系もすべて同じ構造である。よって、カメラ10−1〜10−4によって生成される撮影画像のサイズは、いずれも横1800画素、縦1200画素で同じであり、その光学系の画角も同じである。なお、カメラ10は光学ズーム機能を備えていてもよい。
各カメラ10−1〜10−4にはそれぞれ、画像加工部11−1〜11−4が接続される。以下では、画像加工部11−1〜11−4を総称して画像加工部11ともいう。画像加工部11−1〜11−4は、それぞれカメラ10−1〜10−4の撮影によって得られた撮影画像を加工する。カメラ10−1と画像加工部11−1とで画像生成部12−1が構成され、カメラ10−2と画像加工部11−2とで画像生成部12−2が構成され、カメラ10−3と画像加工部11−3とで画像生成部12−3が構成され、カメラ10−4と画像加工部11−4とで画像生成部12−4が構成される。以下では、画像生成部12−1〜12−4を総称して画像生成部12ともいう。
画像認識システム100は、さらに切出範囲指定部13と、削減率算出部14と、状況認識部16と、認識処理部17とを備えている。状況認識部16は、外部から車両情報及び車両周辺情報を取得する。状況認識部16は、認識処理部17による認識結果も車両周辺情報として取得する。
切出範囲指定部13は、カメラ10−1〜10−4でそれぞれ得られた撮影画像についてそれぞれの切出範囲を指定する。切出範囲は、撮影画像中の一部範囲又は全範囲であって、矩形の範囲である。切出範囲指定部13は、切出位置と切出サイズを指定することで切出範囲を指定する。切出範囲指定部13は、状況認識部16にて認識された状況に基づいて切出範囲を指定する。切出範囲指定部13は、状況に応じて種々の切出サイズを指定するが、このときのアスペクト比は一定とし、本実施形態では撮影画像のアスペクト比(3:2)で切出範囲を指定する。
削減率算出部14は、切出範囲指定部13にて指定された切出範囲に基づいて、当該切出範囲についての画素の削減率を算出する。削減率算出部14は、具体的には、切出範囲指定部13で指定された切出サイズに基づいて、画素削減率を算出する。削減率算出部14は、切出範囲の切出サイズに関わらず、切り出した画像のサイズが同じになるように画素削減率を算出する。
画像加工部11は、切出範囲指定部13にて指定された切出範囲を切り出すとともに、削減率算出部14で算出された画素削減率に従って画素を削減することで、切り出された画像のサイズを小さくする。画像加工部11は、具体的には、画素削減率に従って画素を間引きすることで画素数を削減する。
図2〜4は、切出サイズと画素削減率との関係を説明する図である。図2〜4は、撮影画像の画素を模式的に示している。図2〜4においてハッチングを施した画素は間引き処理によって捨てられる画素である。図2〜4の例では、1800画素×1200画素の撮影画像から900画素×600画素の画像を得る場合の画像加工部11の処理を示している。
図2は、切出範囲が1800画素×1200画素である(即ち、撮影画像の全体を切り出す)例を示している。画像加工部11は、1800画素×1200画素の切出範囲が900画素×600画素になるように縦方向及び横方向にそれぞれ削減率1/2になるように間引き処理を行う。この画像加工によって、1800画素×1200画素の切出範囲(画角)についての900画素×600画素のサイズの画像が得られる。
図3は、切出範囲が1200画素×800画素である例を示している。画像加工部11は、1800画素×1200画素の撮影画像から1200画素×800画素の切出範囲を切り出して、900画素×600画素になるように縦方向及び横方向にそれぞれ削減率3/4になるように間引き処理を行う。この画像加工によって、1200画素×800画素の切出範囲(画角)についての900画素×600画素のサイズの画像が得られる。
図4は、切出範囲が900画素×600画素である例を示している。画像加工部11は、1800画素×1200画素の撮影画像から900画素×600画素の切出範囲を切り出す。この例の場合には、切出範囲がすでに900画素×600画素なので、画像加工部11は間引き処理は行わない。この画像加工によって、900画素×600画素の切出範囲(画角)についての900画素×600画素のサイズの画像が得られる。
図5は、自車両C1、他車両C2、及び他車両C3が車道を走行している状況を示す図である。本実施形態の画像認識システム100は自車両C1に搭載されている。自車両C1には、前方に前方カメラ10−1が設置され、右側方に右側カメラ10−2が設置されている。他車両C2は自車両C1の前方を走行しており、他車両C3は自車両C1の右側を走行している。図5に示すように、自車両C1から他車両C2までの距離は比較的遠く、自車両C1から他車両C3までの距離は比較的近い。
図6は、前方カメラ10−1によって得られる撮影画像の例を示す図であり、図7は、右側カメラ10−2によって得られる撮影画像の例を示す図である。自車両C1の前方にある他車両C2は、自車両C1から比較的遠距離にあるので、図6に示すように、撮影画像において他車両C2は比較的小さく映る。一方、自車両C1の右側にある他車両C3は、自車両C1から比較的近距離にあるので、図7に示すように、撮影画像において他車両C3は比較的大きく映る。
切出範囲指定部13は、図5の例のように、前方カメラ10−1で撮影される他車両が比較的遠距離にあると想定される場合には、比較的小さい切出サイズを指定する。図6の例では、切出サイズが最小の900画素×600画素に指定されている。これによって、図6に示すように比較的遠距離にある他車両C2が、切出範囲内に十分大きく、かつ、切出範囲内に収まるように映ることが期待できる。
即ち、切出範囲指定部13は、他車両が遠距離にあると想定される状況では、切出サイズを小さくするデジタルズーム(ズームイン)を行い、他車両が近距離にあると想定される状況では、切出サイズを大きくするデジタルズーム(ズームアウト)を行う。このように、例えば前方カメラ10−1の撮影画像と右側カメラ10−2の撮影画像とでは、切出サイズ(ズーム倍率)が異なるが、上述のように、削減率算出部14は、切出サイズに応じて画素削減率を算出するので、画像加工部11がこの画素削減率に従って切出範囲について間引き処理を行うことで、いずれも同じサイズ(本実施形態では900画素×600画素)の画像が得られる。
以上のように、カメラ10−1〜10−4と画像加工部11−1〜11−4とからなる画像生成部12−1〜12−4は、それぞれ撮影画像の任意の切出範囲から画像を切り出すが、削減率算出部14が切出サイズに応じた各撮影画像のそれぞれの画素削減率を算出し、各画像加工部11−1〜11−4がそれぞれ算出された画素削減率で間引き処理を行うので、その切出サイズに関わらず同じサイズの画像を得ることができる。
このように、本実施の形態では、画像加工部11−1〜11−4は、それぞれ異なる方向に向けられたカメラ10−1〜10−4の撮影画像から、それぞれ任意の大きさの切出範囲(画角)を切り出して、それぞれ画角に対応した画素削減率で間引き処理を行うので、画像生成部12−1〜12−4は、それぞれ切出範囲の大きさに応じて任意の画角解像度の画像を生成する。画像生成部12−1〜12−4は、それぞれサイズが同じで画角解像度の異なる画像を生成する。なお、当然ながら、画像生成部12−1〜12−4のいずれかにおいて画角解像度が同じになることがあってもよい。
ここで、画角解像度とは、単位画角当たりの画素数をいう。図2の例では、画角解像度は、900画素/R(1800)(=600画素/R(1200))であり、図3の例では、画角解像度は、900画素/R(1200)(=600画素/R(800))であり、図4の例では、画角解像度は、900画素/R(900)(=600画素/R(600))である。ここで、R(x)は、撮影画像のx画素に対応する画角を表す。なお、本実施の形態では、切出サイズが画角に対応するので、切出サイズに対する間引き後の画素数の比を画角解像度としてもよい。上記から明らかなように、画角解像度は、画素削減率に比例し、よって画角解像度が異なる画像とは、異なる削減率で撮影画像から間引きされた画像である。
このように、切出範囲指定部13にて切出範囲が指定され、それに応じて削減率算出部14で画素削減率が算出されると、画角解像度が決定する。このような切出範囲指定部13と削減率算出部14とで画角解像度決定部15が構成される。画角解像度決定部15は、状況認識部16によって認識された状況に応じて、各カメラ10について、それぞれ切出範囲を決定し、それに応じて画素削減率を算出することで、各画像生成部12−1〜12−4におけるそれぞれの画角解像度を決定する。
次に、状況に応じた切出範囲の指定について説明する。切出範囲指定部13は、状況に応じて認識対象物の想定距離を設定する。この想定距離は、車両からの方向に応じて異なっている。切出範囲指定部13は、各方向を向いているカメラ10について、想定距離に応じて切出サイズを決定する。すなわち、切出範囲指定部13は、想定距離が長い方向を向いているカメラの撮影画像については、比較的小さい切出サイズの(即ち、画角が小さく、ズーム倍率が高い)切出範囲を指定して、想定距離が短い方向を向いているカメラの撮影画像については、比較的大きい切出サイズの(即ち、画角が大きく、ズーム倍率が低い)切出範囲を指定する。
図8は、高速道路のような直進道路を走行している場合の認識対象物の想定距離の例を示す図である。状況認識部16にて、速度が速く、かつ直進していることが認識されると、切出範囲指定部13は、図8に示すように、車両の側方及び後方に短く、前方に長い想定距離を設定して、これに従って、前方カメラ10−1の撮影画像については、比較的小さい切出サイズの(即ち、画角が小さく、ズーム倍率が高い)切出範囲を指定し、右側カメラ10−2、左側カメラ10−3、及び後方カメラ10−4の撮影画像については、比較的大きい切出サイズの(即ち、画角が大きく、ズーム倍率が低い)切出範囲を指定する。
図9は、車両が交差点に差し掛かっている場合の認識対象物の想定距離の例を示す図である。状況認識部16は、車両周辺の状況の情報として、車両の位置データ及び地図の情報を取得することで、車両が交差点に差し掛かっていることを認識する。あるいは、状況認識部16は、後述する認識処理部17の処理によって、前方に信号が検出されたときに、車両が交差点に差し掛かっていると認識する。このとき、切出範囲指定部13は、図9に示すように、図8の場合と比較して側方に長い想定距離を設定して、これに従って、右側カメラ10−2、及び左側カメラ10−3のそれぞれの撮影画像について、図8の場合と比較して小さい切出範囲を指定する。また、状況認識部16にて、図8の場合と比較して速度が遅いことが認識されると、前方カメラ10−1の撮影画像について、図8の場合と比較して大きい切出範囲を指定する。
また、図示しないが、例えば、状況認識部16は、車両が減速していること、又はギアがバックに入っていることを認識してよく、この場合には、切出範囲指定部13がそれに応じて後方カメラ10−4の撮影画像について大きな切出範囲を指定してよい。
図10は、車両がカーブを走行している場合の認識対象物の想定距離を示す図である。状況認識部16は、車両の速度が一定値以上であり、かつステアリング角度が所定の値以上であることを認識する。この場合には、切出範囲指定部13は、図10に示すように、カーブ方向に傾いた想定距離を設定する。図10は、左カーブを曲がっている状況であるので、切出範囲指定部13は、前方カメラ10−1の撮影画像について比較的小さい切出範囲を指定するとともに、右側カメラ10−2の撮影画像については大きい切出範囲を指定する一方で、左側カメラ10−3の撮影画像については右側より小さい切出範囲を指定する。
また、図10の状況では、状況認識部16は、車両が左カーブを走行していることを認識するので、切出範囲指定部13は、これに対応して、切出範囲の切出位置を撮影画像の内の左側に設定する。図11は、撮影画像中の左側に切出範囲が設定されている状態を示す図である。すなわち、切出範囲指定部13は、状況認識部16が認識した状況に応じて切出範囲の切出位置を可変に指定する。
さらに、状況認識部16は、車両の周辺情報として外部から周辺の他車両の速度に関する情報を取得する。また、状況認識部16は、位置情報と地図情報から車両が一般道を走行しているのか高速道路を走行しているのかを認識して、一般道であれば他車両の速度を50km/hとし、高速道路であれば他車両の速度を80km/hと認識してもよい。さらに、状況認識部16は、認識処理部17にて制限速度の標識が認識された場合に、他車両の速度を当該制限速度に基づいて決定してもよい。
また、状況認識部16は、自車両が交差点を右折又は左折をしている、あるいはしようとしていることを認識してもよい。具体的には、状況認識部16は、ステアリングの角度に基づいて右折又は左折をしていることを認識してよい。また、状況認識部16は、ウィンカーの起動状況を認識して右折又は左折しようとしていることを認識してもよい。さらに、状況認識部16は、ナビゲーションに基づく予定経路と現在位置とに基づいて右折又は左折をしている、あるいはしようとしていることを認識してもよい。
さらに、状況認識部16は、認識処理部17の認識結果に基づいて、道路標識や信号機があることを認識してもよい。この場合には、切出範囲指定部13は、道路標識や信号機の全体を大きく含む切出範囲を指定する。また、状況認識部16は、現在位置と地図情報に基づいて道路標識や信号機の位置を認識して、それらの全体を大きく含むように切出範囲を指定してもよい。
認識処理部17は、画像生成部12−1〜12−4からそれぞれ入力される画像に対して認識モデルを用いて認識処理を行う。上述のように、画像生成部12−1〜12−4では画角は異なるがサイズは統一された画像が生成され、これらが認識処理部17に入力される。すなわち、認識処理部17が認識処理を行う画像のサイズは統一されており、したがって、認識処理部17は単一の認識モデルを用いることができる。
本実施形態の認識処理部17は、認識モデルとして、機械学習モデルを採用する。機械学習モデルとしては、例えば、深層ニューラルネットワークモデルを採用する。このニューラルネットワークモデルは、特定の対象物体を検出して矩形枠で囲う検出処理を行うものであってもよいし、ピクセルラベリング(例えば、セマンティックセグメンテーション、デプス推定、境界推定等)を行うものであってもよい。ここで、検出処理、又はピクセルラベリングは、画像加工部11、画角解像度決定部15、及び認識処理部17により、スライディングウィンドウの処理を行ってもよいし、FCN(Fully Convolutional Networks)の処理を行ってもよい。なお、FCNに入力される画像のサイズは任意であるが、認識処理部17に該当するFCNの一部に入力される画像のサイズは統一されている。また、認識モデルは、この他に、例えばサポートベクターマシン(SVM)、決定木等であってもよい。
上述のように、本実施形態の認識処理部17の認識モデルは、互いに撮影方向が異なる複数のカメラ10からそれぞれ得られた画像の何れについても認識処理を行う。このような認識モデルを学習する際には、学習用の画像として、撮影方向の異なる画像を用いる。ここで、認識モデルの学習に、単一方向の画像を元に得られた学習結果を融合して単一の認識モデルを作成するアンサンブル学習を採用してもよく、さらに、そのようにして作成された認識モデルを蒸留(distillation)によって圧縮してもよい。
なお、上述のように、認識モデルの学習には、撮影方向の異なる画像を用いることが望ましく、特に、本実施形態では全方位の画像を学習することが望ましいが、特定の方向からの画像のみを用いてもよい。
以上説明したように、本実施形態の画像認識システム100によれば、車両に互いに異なる方向を向く複数のカメラ10が設置され、複数の方向の画像に対して認識処理を行うことができる。この場合に、認識効率を向上させるために、方向毎に対象物体が存在すると予想される範囲を切り出して認識を行うことが有効であるが、本実施形態では、任意の切出範囲で撮影画像の一部を切り出した場合に、切出範囲の切出サイズに応じた画素削減率で間引き処理をするので、切出サイズに関わらずに画像のサイズを一定にすることができる。よって、認識モデルは、複数の画像サイズにそれぞれ応じて用意する必要がなく、認識モデルを用意するコスト(即ち、学習時間、推論時間、必要な記憶容量、動作検証に必要な時間等)を低減できる。
なお、上記の実施形態では、画像生成部12−1〜12−4のいずれにおいても、切出範囲指定部13に指定された切出範囲を切り出して必要に応じて画素を間引きする画像加工を行う例を説明したが、一部の画像加工部の切出範囲が固定されており、それに対応して間引き処理の画素削減率も固定されていてもよい。また、上記の例では、画像加工部11による切出処理と間引き処理によって、1800画素×1200画素の撮像画像から、900画素×600画素の画像を得たが、一部のカメラ10の撮像素子が900画素×600画素である場合は、そのカメラ10に対応する画像加工部11は不要である。
また、上記の実施形態では、それぞれ異なる方向に向くカメラが4台設置されている例を説明したが、カメラは少なくとも2台であればよく、また、4台より多くてもよい。さらに、上記の実施形態では、認識処理部17が単一の認識モデルを実装していたが、認識処理部17が複数の認識器で構成されていてもよい。例えば、4台のカメラのうち、前方カメラ10−1及び後方カメラ10−4からの画像を、単一の認識モデルを有する認識器へ入力し、右側カメラ10−2及び左側カメラ10−3からの画像を、上記単一の認識モデルを有する認識器とは別の認識器へ入力するようにしてもよい。
あるいは、物体認識すべき目的に応じ、単一の認識モデルを有する認識器を複数としてもよい。具体的には、自車両前方の車両等(先行車や対向車)との衝突を監視、防止のために設けられる前方カメラの画像は単一の認識モデルを有する認識器へ入力させるようにする一方、自車両に対し側方および後方の車両等との衝突や異常接近を監視、防止するために設けられる右側カメラ10−2、左側カメラ10−3、及び後方カメラ10−4の画像は、前方カメラ10−1の画像用に設けられる上記単一の認識モデルを有する認識器とは別の単一のモデルを有する認識器へ入力させるようにしてよい。このような構成を備えることで、一般的に、自車両からの監視方向によって、フレームレートを異ならせる場合に、近似するフレームレートを有するカメラ群を効率よく同一の認識モデルで画像処理することが可能となる。具体的には、左右及び後方については、前方よりも低いフレームレートで撮影を行うことがあるが、このような場合には、上述のように、前方カメラ10−1の画像を認識する認識器と右側カメラ10−2、左側カメラ10−3、及び後方カメラ10−4の画像を認識する認識器とを分けてよい。
また、上記の実施形態では、異なるカメラ10から得た複数の撮影画像について、それぞれ異なる画角解像度になるように加工を行った上で、共通の認識処理部17にて認識処理を行ったが、同一のカメラ10から得た撮影画像について、それぞれ異なる画角解像度になるように加工を行って、それらの加工によって得られた画像を単一の認識処理部17で認識処理を行ってもよい。
また、上記の実施形態では、複数のカメラ10は、撮像素子のサイズも光学系も同じであったが、上記のように撮像素子のサイズは異なっていてもよいし、光学系の画角が異なっていてもよい。
また、上記の実施形態では、複数のカメラ10−1〜10−4に対応して複数の画像加工部11−1〜11−4が設けられていたが、複数のカメラが1つの画像加工部を共有し、1つの画像加工部が各カメラで得られた撮影画像をそれぞれの画角解像度になるように加工してもよい。
また、上記の実施形態では、画像加工部11が間引き処理を行っていたが、他の画像処理を用いてもよく、例えば、最近傍法、バイリニア法、バイキュービック法、Lanczos法等による補間処理を用いてもよい。
また、上記の実施形態では、切出範囲指定部13が指定する切出範囲は、撮影画像中の一部範囲又は全範囲であったが、撮影画像の範囲を超える領域を切出範囲として指定してもよい。この場合、画像加工部11は、撮影画像の範囲外の画素値に対し、0を代入してもよいし、学習用の画像の全画素値の平均値を代入してもよい。
また、上記の実施形態では、画像生成部12の生成する画像サイズ、及び認識モデルは固定であったが、動的に変更してもよい。例えば、状況認識部16にて、自車両の速度が十分遅いことが認識されると、画像生成部12の生成する画像サイズを大きく変更し、認識モデルを演算回数が多くより高精度な認識が可能な認識モデルに変更してもよい。
100 画像認識システム
10−1〜10−4 カメラ
11−1〜11−4 画像加工部
12−1〜12−4 画像生成部
13 切出範囲指定部
14 削減率算出部
15 画角解像度決定部
16 状況認識部
17 認識処理部
10−1〜10−4 カメラ
11−1〜11−4 画像加工部
12−1〜12−4 画像生成部
13 切出範囲指定部
14 削減率算出部
15 画角解像度決定部
16 状況認識部
17 認識処理部
Claims (9)
- 第1方向を向いて撮影された、画角が第1画角でサイズが所定サイズの第1画像を生成する第1画像生成部と、
第2方向を向いて撮影された、画角が第2画角でサイズが前記所定サイズの第2画像を生成する第2画像生成部と、
前記第1画像及び前記第2画像に対して同一の認識モデルを用いて認識処理を行う認識処理部と、
を備えた画像認識システム。 - 前記第1画像生成部における第1画角解像度を決定する画角解像度決定部をさらに備え、
前記第1画像生成部は、
前記第1方向を向いた撮影によって第1撮影画像を生成する第1カメラと、
前記第1画角解像度に従って前記第1撮影画像を加工して前記第1画像を生成する第1画像加工部と、
を備える、請求項1に記載の画像認識システム。 - 前記画角解像度決定部は、
前記第1画角に対応する第1切出範囲を指定する切出範囲指定部と、
前記第1切出範囲に基づいて前記第1撮影画像の第1画素削減率を算出する削減率算出部と、
を備え、
前記第1画像加工部は、前記第1撮影画像から前記第1切出範囲を切り出すとともに、前記第1画素削減率に従って前記第1画像の画素数を削減する、
請求項2に記載の画像認識システム。 - 前記画角解像度決定部は、さらに、前記第2画像生成部における第2画角解像度を決定し、
前記第2画像生成部は、
前記第2方向を向いた撮影によって第2撮影画像を生成する第2カメラと、
前記第2画角解像度に従って前記第2撮影画像を加工して前記第2画像を生成する第2画像加工部と、
を備える、請求項3に記載の画像認識システム。 - 前記切出範囲指定部は、さらに、前記第2画角に対応する第2切出範囲を指定し、
前記削減率算出部はさらに、前記第2切出範囲に基づいて前記第2撮影画像の第2画素削減率を算出し、
前記第2画像加工部は、前記第2撮影画像から前記第2切出範囲を切り出すとともに、前記第2画素削減率に従って前記第2画像の画素数を削減する、
請求項4に記載の画像認識システム。 - 前記画像認識システムは、車両に搭載され、
前記車両の状況及び前記車両の周辺の状況の少なくともいずれかを認識する状況認識部をさらに備え、
前記画角解像度決定部は、前記車両の状況及び前記車両の周辺の状況の少なくともいずれかに基づいて、前記第1画角解像度を決定する、
請求項2に記載の画像認識システム。 - 前記状況認識部は、前記認識処理部の認識結果に基づいて前記車両の周辺の状況を認識する、請求項6に記載の画像認識システム。
- 前記状況認識部は、前記車両の速度を認識し、
前記画角解像度決定部は、前記車両の速度に基づいて、前記第1画角解像度を決定する、
請求項6に記載の画像認識システム。 - 第1方向を向いて撮影された、画角が第1画角でサイズが所定サイズの第1画像を生成する第1画像生成部と、
第2方向を向いて撮影された、画角が第2画角でサイズが前記所定サイズの第2画像を生成する第2画像生成部と、
前記第1画像生成部の出力信号及び前記第2画像生成部の出力信号が入力される、同一の認識モデルを備える認識処理部と、
を備えた画像認識システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142506A JP2019023787A (ja) | 2017-07-24 | 2017-07-24 | 画像認識システム |
US16/041,046 US20190026923A1 (en) | 2017-07-24 | 2018-07-20 | Image recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142506A JP2019023787A (ja) | 2017-07-24 | 2017-07-24 | 画像認識システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019023787A true JP2019023787A (ja) | 2019-02-14 |
Family
ID=65023086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142506A Pending JP2019023787A (ja) | 2017-07-24 | 2017-07-24 | 画像認識システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190026923A1 (ja) |
JP (1) | JP2019023787A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012683A (ja) * | 2019-07-08 | 2021-02-04 | 株式会社東芝 | コンピュータビジョン方法およびシステム |
JP2021032042A (ja) * | 2019-08-29 | 2021-03-01 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
JP2021047353A (ja) * | 2019-09-20 | 2021-03-25 | 株式会社Jvcケンウッド | 撮像装置および撮像情報生成方法 |
JP2023016803A (ja) * | 2019-08-29 | 2023-02-02 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10824913B1 (en) * | 2018-11-21 | 2020-11-03 | Amazon Technologies, LLC | Training machine learning models for physical agents and robotic controls with simulations |
DE102019206581A1 (de) * | 2019-05-08 | 2020-11-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung |
US11823460B2 (en) * | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112012003685T5 (de) * | 2011-09-05 | 2014-07-10 | Mitsubishi Electric Corp. | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
US10474162B2 (en) * | 2016-07-01 | 2019-11-12 | Uatc, Llc | Autonomous vehicle localization using passive image data |
-
2017
- 2017-07-24 JP JP2017142506A patent/JP2019023787A/ja active Pending
-
2018
- 2018-07-20 US US16/041,046 patent/US20190026923A1/en not_active Abandoned
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012683A (ja) * | 2019-07-08 | 2021-02-04 | 株式会社東芝 | コンピュータビジョン方法およびシステム |
JP7035112B2 (ja) | 2019-07-08 | 2022-03-14 | 株式会社東芝 | コンピュータビジョン方法およびシステム |
JP2021032042A (ja) * | 2019-08-29 | 2021-03-01 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
JP2023016803A (ja) * | 2019-08-29 | 2023-02-02 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
JP7219192B2 (ja) | 2019-08-29 | 2023-02-07 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
JP7323694B2 (ja) | 2019-08-29 | 2023-08-08 | 株式会社奥村組 | 構造物の劣化状態診断方法 |
JP2021047353A (ja) * | 2019-09-20 | 2021-03-25 | 株式会社Jvcケンウッド | 撮像装置および撮像情報生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190026923A1 (en) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019023787A (ja) | 画像認識システム | |
KR102618662B1 (ko) | 자율 주행을 위한 3차원 특징 예측 | |
US11748620B2 (en) | Generating ground truth for machine learning from time series elements | |
CN112292286A (zh) | 骑乘者辅助系统和方法 | |
WO2021226921A1 (en) | Method and system of data processing for autonomous driving | |
US11308357B2 (en) | Training data generation apparatus | |
JP2017062638A (ja) | 画像認識処理装置、及びプログラム | |
JP2009033743A (ja) | 物体を認識するための方法 | |
WO2017212992A1 (ja) | 物体距離検出装置 | |
JP2019525540A (ja) | 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法 | |
Premachandra et al. | Road intersection moving object detection by 360-degree view camera | |
US20200118280A1 (en) | Image Processing Device | |
JP2018151999A (ja) | 物体距離検出装置 | |
US20130147983A1 (en) | Apparatus and method for providing location information | |
JP3226699B2 (ja) | 車両用周辺監視装置 | |
WO2019058755A1 (ja) | 物体距離検出装置 | |
KR101628931B1 (ko) | 차량용 블랙박스의 화각 제어 장치 및 방법 | |
JP5921596B2 (ja) | 画像処理装置および画像処理方法 | |
CN111194450A (zh) | 全景监视系统 | |
JP7323716B2 (ja) | 画像処理装置および画像処理方法 | |
JP3735468B2 (ja) | 移動体認識装置 | |
KR102497488B1 (ko) | 주행속도에 따른 인식범위조절이 가능한 자율주행 차량의 영상인식 장치 | |
KR20140071138A (ko) | 주행중인 차량에서의 접근 물체 인식 시스템 | |
CN115147787A (zh) | 图像处理装置以及图像处理方法、车辆用控制装置、存储介质 | |
JP2022026858A (ja) | 外界認識システム、および、外界認識方法 |