JP2021072592A - 物体検出装置、物体検出方法、及び物体検出プログラム - Google Patents
物体検出装置、物体検出方法、及び物体検出プログラム Download PDFInfo
- Publication number
- JP2021072592A JP2021072592A JP2019199782A JP2019199782A JP2021072592A JP 2021072592 A JP2021072592 A JP 2021072592A JP 2019199782 A JP2019199782 A JP 2019199782A JP 2019199782 A JP2019199782 A JP 2019199782A JP 2021072592 A JP2021072592 A JP 2021072592A
- Authority
- JP
- Japan
- Prior art keywords
- image
- object detection
- unit
- speed processing
- processing mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮影画像から物体を高速に検出する。【解決手段】第1物体検出部30は、非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する。切替部20は、第1物体検出部30により物体位置情報が出力された場合、高速処理モードに切り替える。画像トリミング部40は、高速処理モードにおいて、第1物体検出部30から出力された物体位置情報にもとづいて撮影画像からトリミング画像を抽出する。第2物体検出部60は、トリミング画像から物体を検出し、物体位置情報を出力する。はみ出し判定部70は、第2物体検出部60により検出された物体がトリミング画像からはみ出しているかどうかを判定する。切替部20は、第2物体検出部60により検出された物体がトリミング画像からはみ出していると判定された場合、非高速処理モードに切り替える。【選択図】図1
Description
本発明は、画像から物体を検出する技術に関する。
自動車に搭載されたドライブレコーダなどのカメラによって自動車の周囲の映像を撮影し、他の車両や歩行者、障害物などの物体をリアルタイムで検出して警告を出力することで衝突事故や人身事故の回避に役立てることができる。
特許文献1には、連続して取得される画像に含まれる被写体を検出し、被写体を追尾していることを示す追尾枠を表示して、撮影者に対して被写体の追尾状態を適切に認識させる被写体追尾装置が開示されている。
衝突事故や人身事故を回避するためには、撮影画像からリアルタイムで物体を正確に検出する必要がある。一般道路であれば少なくとも15fps(frames per second)、高速道路では少なくとも30fpsのフレームレートで物体検出ができなければ、事故防止に役立たない。ディープラーニングなどの学習アルゴリズムを用いて物体検出処理を行う場合、畳み込み演算に非常に時間がかかり、高速処理ができないという問題があった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像から物体を高速に検出する技術を提供することにある。
上記課題を解決するために、本発明のある態様の物体検出装置は、非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第1物体検出部(30)と、前記第1物体検出部により物体位置情報が出力された場合、高速処理モードに切り替える切替部(20)と、高速処理モードにおいて、第1物体検出部から出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミング部(40)と、前記トリミング画像から物体を検出し、物体位置情報を出力する第2物体検出部(60)と、前記第2物体検出部により検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定部(70)とを含む。前記切替部(20)は、前記第2物体検出部により検出された物体が前記トリミング画像からはみ出していると判定された場合、非高速処理モードに切り替える。
本発明の別の態様は、物体検出方法である。この方法は、非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第1物体検出ステップと、前記第1物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、前記高速処理モードにおいて、第1物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、前記トリミング画像から物体を検出し、物体位置情報を出力する第2物体検出ステップと、前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとを含む。前記切替ステップは、前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像から物体を高速に検出することができる。
図1は、本発明の実施の形態に係る物体検出システムの構成図である。物体検出システムは、撮影装置110、物体検出装置100、および表示装置120を含む。撮影装置110の一例は、車両に搭載されるドライブレコーダなどの車載カメラである。表示装置120の一例は、車両に搭載されるカーナビゲーションシステムやヘッドアップディスプレイなどの車載ディスプレイである。物体検出装置100は、ドライブレコーダの機能の一部として実装されてもよく、カーナビゲーションシステムやヘッドアップディスプレイの機能の一部として実装されてもよい。また、撮影装置110、物体検出装置100、および表示装置120のすべての機能を一つの装置として一体的に実装してもよい。
物体検出装置100は、画像取得部10、切替部20、第1物体検出部30、画像トリミング部40、解像度変更部50、第2物体検出部60、はみ出し判定部70、および物体検出モデル記憶部80を含む。
撮影装置110は、連続して撮影される画像を物体検出装置100の画像取得部10に供給する。
切替部20は、高速処理切替フラグの値により、非高速処理モードと高速処理モードを切り替える。高速処理切替フラグが0の場合、非高速処理モードであり、高速処理切替フラグが1の場合、高速処理モードである。高速処理切替フラグの初期値は0である。
高速処理切替フラグが0、すなわち非高速処理モードの場合、画像取得部10が取得した撮影画像は、第1物体検出部30に供給される。高速処理切替フラグが1、すなわち高速処理モードの場合、画像取得部10が取得した撮影画像は第1物体検出部30をスキップして画像トリミング部40に供給される。
非高速処理モードでは、第1物体検出部30が動作し、第1物体検出部30が出力する物体位置情報にもとづいて表示装置120が撮影画像に物体検出枠を重畳させて表示する。
高速処理モードでは、第1物体検出部30は動作せず、過去の画像フレームに対して第1物体検出部30が出力した物体位置情報を用いて、現在の画像フレームに対して、画像トリミング部40、解像度変更部50、および第2物体検出部60が動作し、第2物体検出部60が出力する物体位置情報にもとづいて表示装置120が撮影画像に物体検出枠を重畳させて表示する。
第1物体検出部30および第2物体検出部60は、学習済みの物体検出モデルを用いて、ディープラーニングなどの学習アルゴリズムにより画像から物体を検出する。第1物体検出部30および第2物体検出部60は、その処理の一部又は全部がAI(Artificial Intelligence)アクセラレータなどのニューラルネットワークの畳み込み演算に特化したASIC(Application Specific Integrated Circuit)によって実装されてもよい。
第1物体検出部30は、撮影画像全体から物体を検出するために、高解像度用の物体検出モデルを用いて、高解像度の撮影画像を入力して畳み込み演算を行う。ディープラーニングの畳み込み演算に入力される撮影画像の解像度は一例として縦448画素、横448画素の高解像度である。なお、撮影画像の解像度が縦448画素、横448画素よりも大きい場合、第1物体検出部30は、撮像画像の解像度を縦448画素、横448画素になるように低減する。高解像度の入力データを用いるため、検出精度は非常に高いが、演算量が大きく、計算に時間がかかる。
第2物体検出部60は、撮影画像からトリミングした画像から物体を検出するために、中解像度または低解像度用の物体検出モデルを用いて、中解像度または低解像度のトリミング画像を入力して畳み込み演算を行う。ディープラーニングの畳み込み演算に入力されるトリミング画像の解像度は一例として縦224画素、横224画素の中解像度または縦112画素、横112画素の低解像度である。中解像度用の物体検出モデルは、高解像度用の物体検出モデルの1/4の計算時間で演算することができる。低解像度用の物体検出モデルは、高解像度用の物体検出モデルの1/16の計算時間で演算することができる。よって中解像度または低解像度の入力データを用いるため、検出精度はやや低くなるが、演算量が大幅に減り、計算時間を短縮できる。
第1物体検出部30による非高速処理モードと、第2物体検出部60による高速処理モードとを組み合わせ、条件によって切り替えることにより、検出精度を保ちつつ、演算量を減らして計算速度を上げることができる。
非高速処理モードにおいて、第1物体検出部30は、物体検出モデル記憶部80に記憶された高解像度用の物体検出モデルを用いて、撮影画像全体から物体を検出する。第1物体検出部30は、撮影画像全体から検出された物体位置情報を画像トリミング部40および表示装置120に供給する。物体位置情報は、検出された物体を囲む枠(「物体検出枠」と呼ぶ)の座標値などで与えられる。
第1物体検出部30が物体位置情報を出力した場合、切替部20は、高速処理切替フラグを0から1に更新し、高速処理モードに切り替える。
高速処理モードにおいて、画像トリミング部40は、第1物体検出部30から与えられた物体位置情報にもとづいて、画像取得部10から取得した撮影画像から画像をトリミングして抽出する。トリミング画像は、検出された物体を囲む物体検出枠よりも大きめに抽出する。
画像トリミング部40は、抽出されたトリミング画像を解像度変更部50に供給する。解像度変更部50は、トリミング画像の解像度を変更する。たとえば、トリミング画像のサイズに応じて、縦224画素、横224画素の中解像度や縦112画素、横112画素の低解像度に低減させる。トリミング画像のアスペクト比が1:1以外である場合、解像度変更部50はトリミング画像のアスペクト比を1:1に変更する。例えば抽出されたトリミング画像が縦336画素×横392画素であった場合、トリミング画像の縦画素を2/3だけ低減して224画素にし、横画素を4/7だけ低減して224画素にする。ここで解像度を低減する方法としては、公知の画像圧縮処理技術や画素間引き処理技術を用いればよい。
物体検出装置100は、必ずしも解像度変更部50を備えていなくてもよい。解像度変更部50を備えない場合は、第2物体検出部60がトリミング画像の解像度を変更してもよい。また、物体検出モデルの対応する解像度及びアスペクト比によっては、トリミング画像の解像度を変更しなくてもよい。例えば抽出されたトリミング画像が縦224画素×横224画素であった場合、第2物体検出部60はトリミング画像の解像度を変更せずに中解像度用の物体検出モデルに入力する。
第2物体検出部60は、物体検出モデル記憶部80からトリミング画像の解像度に応じた物体検出モデルを用いて、トリミング画像から物体を検出する。トリミング画像が中解像度であれば、中解像度用の物体検出モデルを用い、トリミング画像が低解像度であれば、低解像度用の物体検出モデルを用いる。
第2物体検出部60は、トリミング画像から検出された物体の位置情報を表示装置120に供給する。物体位置情報は、物体検出枠の座標値などで与えられる。
非高速処理モードの場合、表示装置120は第1物体検出部30から供給された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する。高速処理モードの場合、表示装置120は第2物体検出部60から供給された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する。
非高速処理モードの場合、画像取得部10から取得した高解像度の撮影画像全体から第1物体検出部30が物体を検出し、画像トリミング部40、解像度変更部50、および第2物体検出部60の処理をスキップして、第1物体検出部30が物体位置情報を表示装置120に供給し、撮影画像に物体検出枠が表示される。
高速処理モードの場合、第1物体検出部30が動作しないため、過去の画像フレームに対して第1物体検出部30が出力した物体位置情報を用いて、画像トリミング部40が現在の画像フレームをトリミングして、解像度変更部50がトリミング画像の解像度を低減させる。解像度が低減されたトリミング画像から第2物体検出部60が物体を検出して物体位置情報を表示装置120に供給し、撮影画像に物体検出枠が表示される。
過去の画像フレームに対して第1物体検出部30が検出した物体位置情報を用いて現在の画像フレームがトリミングされるため、自車または検出された物体、もしくはその両方が移動することにより、検出された物体がトリミング画像からはみ出てしまうことがある。
はみ出し判定部70は、第2物体検出部60がトリミング画像から検出した物体がトリミング画像からはみ出しているかどうかを判定する。例えば第2物体検出部60が生成する物体位置情報が示す物体検出枠は、はみ出していない場合連続して撮影される画像ではほぼ一定のアスペクト比をもつため、はみ出し判定部70は、物体検出枠のアスペクト比を過去のフレームと比較し、変化の有無を監視することではみ出しているかどうかを判定する。物体がトリミング画像からはみ出している場合、切替部20は、高速処理切替フラグを1から0に変更する。切替部20は、高速処理切替フラグを0に更新すると、非高速処理モードに切り替え、次のフレームにおいては、第1物体検出部30が動作して再度撮影画像全体から物体が検出される。
物体がトリミング画像からはみ出していない場合、高速処理切替フラグは1のままであり、第1物体検出部30は引き続きスキップされ、過去の画像フレームにおいて第1物体検出部30により出力された物体位置情報にもとづいて現在の画像フレームがトリミングされ、解像度が低減されたトリミング画像から第2物体検出部60により物体が検出され、物体位置情報が出力される。
物体検出モデル記憶部80は、高解像度用・中解像度用・低解像度用の3種類の物体検出モデルを記憶している。なお物体検出モデル記憶部80は、4種類以上の異なる解像度が入力される物体検出モデルを記憶してもよい。物体検出モデルに入力される画像の解像度は上記の例に限らない。また、物体検出モデルに入力される画像のアスペクト比は上記の例の様に1:1であるとは限らない。例えば、高解像度用の物体検出モデルは縦2160画素×横4096画素などの4K解像度をもつ画像の入力に対応していてもよい。
図2は、図1の物体検出装置100による物体検出方法を説明する図である。
撮影画像200は、自車に搭載されたドライブレコーダなどの撮影装置110により撮影された前方の画像である。道路上に2台の対向車が撮影されている。
非高速処理モードにおいて、第1物体検出部30は、高解像度の物体検出モデル210を用いて撮影画像200の全体から物体を検出し、物体位置情報220を生成する。ここでは、道路上に2台の対向車が検出される。表示装置120は、第1物体検出部30により検出された物体位置情報220にもとづいて、2台の対向車の物体検出枠を撮影画像200に重畳させて表示する。
非高速処理モードにおいて、第1物体検出部30が物体位置情報220を生成した後、次のフレームでは高速処理モードに切り替えられる。
高速処理モードにおいて、画像トリミング部40は、第1物体検出部30により生成された物体位置情報220を用いて、次のフレームの撮影画像230からトリミング画像232、234を抽出する。ここで、物体位置情報220が示す物体検出枠よりも大きめにトリミング画像232、234を抽出する。具体的には、物体位置情報220が示す物体検出枠を上下左右それぞれ数画素から数十画素広げた大きさのトリミング画像232、234を抽出する。解像度変更部50は、トリミング画像232、234の解像度を変更する。自車から遠く比較的小さい物体検出枠である対向車のトリミング画像232は低解像度に、自車に近く比較的大きい物体検出枠である対向車のトリミング画像234は中解像度に変更する。
第2物体検出部60は、低解像度のトリミング画像232、中解像度のトリミング画像234から、それぞれの解像度に対応する物体検出モデル240を用いて物体を検出し、物体位置情報250を生成する。
自車に対する対向車の相対位置が変化することから、2台の対向車の位置はそれぞれのトリミング画像232、234内で変動する。第2物体検出部60により抽出された物体位置情報250は、第1物体検出部30により抽出された物体位置情報220とは異なるものになる。
表示装置120は、第2物体検出部60により検出された物体位置情報250にもとづいて、2台の対向車の物体検出枠を撮影画像200に重畳させて表示する。
2台の対向車がそれぞれのトリミング画像232、234からはみ出さない限り、高速処理モードが繰り返され、第2物体検出部60がトリミング画像232、234から中解像度または低解像度の物体検出モデル240を用いて物体を検出し、物体位置情報250を生成する。
2台の対向車のいずれかがトリミング画像232、234からはみ出したと判定されると、非高速処理モードに切り替えられ、第1物体検出部30が撮影画像200の全体から高解像度の物体検出モデル210を用いて物体を検出し、物体位置情報220を生成する。ここで、トリミング画像はトリミング画像232、234の2つに限らない。トリミング画像は1つでもよいし、3つ以上でもよい。いずれのトリミング画像数の場合においても、トリミング画像が1つでもはみ出したと判定されると、非高速処理モードに切替えられる。
図3(a)および図3(b)は、物体の向きに応じたトリミング画像の例を説明する図である。点線は物体検出枠を示し、実線はトリミング画像を示す。
図3(a)は、撮影画像で検出された車が前を向いている場合であり、図3(b)は、検出された車が左を向いている場合である。車が前または後ろを向いている場合は、車は画面上で上または下に移動する可能性が高いが、車が左または右を向いている場合は、車は画面上で左または右に移動する可能性が高い。
このように、撮影画像で車が検出される場合、検出された車の向きによって画面上で車が移動する方向が異なる。画像トリミング部40が撮影画像をトリミングする際、車が移動する方向に大きくトリミングすることで、車が移動してもトリミング画像内で検出することができ、高速処理モードを長く続けることができる。
図3(a)の場合、車が前を向いているため、物体検出枠280に比べてトリミング画像282の縦方向のサイズが大きく抽出されている。例えば画像トリミング部40は、横方向に比べて縦方向が数十画素から数百画素大きいトリミング画像282を抽出する。図3(b)の場合、車が横を向いているため、物体検出枠284に比べてトリミング画像286の横方向のサイズが大きく抽出されている。例えば画像トリミング部40は、縦方向に比べて横方向が数十画素から数百画素大きいトリミング画像286を抽出する。
第1物体検出部30は、検出された物体の位置情報から物体検出枠の形がわかるため、検出された車が前または後ろを向いているのか、横を向いているのかを判定することができる。例えば物体検出枠が縦方向に長い形であれば検出された車が前または後ろを向いている、物体検出枠が横方向に長い形であれば検出された車が横を向いていると判定する。第1物体検出部30は、検出された物体の位置情報の他に、検出された物体の向きの情報を画像トリミング部40に供給してもよい。
画像トリミング部40は、撮影画像に写された車体が正面であるか、背面であるか、側面であるかによって車の移動方向を予測して、トリミング画像の縦横のサイズを決定してもよい。あるいは、画像トリミング部40は、画像フレーム間の車体の動きから車の移動方向を予測して、トリミング画像の縦横のサイズを決定してもよい。
図4(a)および図4(b)は、物体が移動方向に動いた場合のトリミング画像の例を説明する図である。
図4(a)は、図3(a)のトリミング画像282内で車が前方に移動した場合を示す。実線のトリミング画像282内で、点線の物体検出枠280は下方向に移動している。トリミング画像282の縦方向のサイズを大きく抽出したため、車が前方に移動しても物体検出枠280はトリミング画像からはみ出すことがなく、高速処理モードを継続することができる。
図4(b)は、図3(b)のトリミング画像286内で車が左に移動した場合を示す。実線のトリミング画像286内で、点線の物体検出枠284は左方向に移動している。トリミング画像286の横方向のサイズを大きく抽出したため、車が左に移動しても物体検出枠284はトリミング画像からはみ出すことがなく、高速処理モードを継続することができる。
図5(a)および図5(b)は、物体の相対移動速度に応じたトリミング画像の例を説明する図である。自車に対して物体の相対移動速度が大きい場合、自車から撮影した画像内で物体は大きく移動する。第1物体検出部30が検出する物体の対象は、車だけでなく人物などを含んでいてもよい。また第1物体検出部30は、検出された物体の位置情報の他に、検出した物体が車であるか人物であるかの情報、道路上の停止板や標識の情報、などを画像トリミング部40に供給してもよい。画像トリミング部40は、図示しない速度計などから自車の速度を取得してもよい。
図5(a)は、道路上に停止板を出して一時停止している車を検出した場合を示す。前方の他車が自車と同じ方向に移動している場合、自車に対する他車の相対速度は小さくなる。しかし、停止している他車に対して自車が近づいている場合、自車に対する他車の相対移動速度は大きくなる。そこで、画像トリミング部40は自車が走行中かつ検出した車が一時停止していると判断した場合、点線の物体検出枠260に対して実線のトリミング画像262を図2に示すトリミング画像232、234よりも大きめに抽出することで、後続の画像フレームで検出される他車がトリミング画像262からはみ出さない。例えば画像トリミング部40は、点線の物体検出枠260を上下左右それぞれ数十画素から数百画素広げた大きさのトリミング画像262を抽出する。これにより、高速処理を継続して衝突事故を確実に回避することができる。
図5(b)は、道路に飛び出してきた人物を検出した場合を示す。人物の移動速度は小さいが、自車がスピードを出している場合、自車に対する人物の相対移動速度は大きくなる。そこで、画像トリミング部40は自車がスピードを出しているかつ人物を検出したと判断した場合、点線の物体検出枠270に対して実線のトリミング画像272を図2に示すトリミング画像232、234よりも大きめに抽出することで、後続の画像フレームで検出される児童がトリミング画像272からはみ出さない。例えば画像トリミング部40は、点線の物体検出枠270を上下左右それぞれ数十画素から数百画素広げた大きさのトリミング画像272を抽出する。これにより、高速処理を継続して人身事故を確実に回避することができる。
図6は、トリミング画像の別の例を説明する図である。撮影画像230において検出される2台の車に対するトリミング画像232、234の他に、撮影画像230の左右の端に端トリミング画像236、238が設けられている。これは、道路の左右から突然、人や車などが進入してくる場合に備えるためである。例えば端トリミング画像236は、横方向に撮影画像230の左端から数百画素の範囲とする。例えば端トリミング画像238は、横方向に撮影画像230の右端から数百画素の範囲とする。端トリミング画像236、238の縦方向は撮影画像230の上端から下端までを範囲としても良いし、上端付近や下端付近は含まない範囲でも良い。
非高速処理モードにおいて、第1物体検出部30が検出した2台の車の物体位置情報にもとづいてトリミング画像232、234が設定された後、高速処理モードでは、後続の画像フレームから同じトリミング画像232、234が切り出され、トリミング画像232、234内で2台の車の追跡が行われる。しかし、高速処理モードでは、撮影画像230の全体で物体を検出することがないため、突然、左右から物体が侵入してきた場合でも物体が検出されない。そこで、画像トリミング部40が撮影画像230の左右の端に端トリミング画像236、238をデフォールトで設定し、第2物体検出部60が高速処理モードにおいて左右の端の端トリミング画像236、238においても物体の検出を行い、はみ出し判定部70がはみ出しているかどうかを判定することで、万一、高速処理モードにおいて左右から物体が侵入してきた場合でも見逃すことを防止することができる。
図7は、実施の形態に係る物体検出装置100による物体検出手順を説明するフローチャートである。
初期設定において高速処理切替フラグは0に初期化される。
画像取得部10は、撮影画像を撮影装置110から取得する(S10)。
切替部20は、高速処理切替フラグにもとづいて高速処理モードであるかどうかを判定する(S20)。
高速処理切替フラグが0である非高速処理モードの場合(S20のN)、第1物体検出部30は、撮影画像全体から物体を検出し、物体位置情報を表示装置120に供給し(S30)、切替部20は高速処理切替フラグを1に変更し(S40)、ステップS100に進む。
高速処理切替フラグが1である高速処理モードの場合(S20のY)、ステップS50、S60、S70、S80、およびS90が実行される。
画像トリミング部40は、過去のフレームの第1物体検出部30が出力した物体位置情報にもとづいて現在の画像フレームからトリミング画像を抽出する(S50)。解像度変更部50は、トリミング画像のサイズに応じてトリミング画像の解像度を低減させる(S60)。第2物体検出部60は、解像度が低減されたトリミング画像から物体を検出し、物体位置情報を表示装置120に供給する(S70)。なお、ステップS60は必ずしも実行されなくてもよい。ステップS60を実行せずにステップS70に進んだ場合、第2物体検出部60はステップS50で抽出したトリミング画像から物体を検出する。
はみ出し判定部70は、第2物体検出部60により検出された物体がトリミング画像からはみ出しているかどうかを判定する(S80)。検出された物体がトリミング画像からはみ出している場合(S80のY)、切替部20は高速処理切替フラグを0に変更し(S90)、ステップS100に進む。検出された物体がトリミング画像からはみ出していない場合(S80のN)、高速処理切替フラグを更新せずに、ステップS100に進む。
表示装置120は、非高速処理モードの場合、第1物体検出部30により検出された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示し、高速処理モードの場合、第2物体検出部60により検出された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する(S100)。
変形例として、切替部20は、高速処理モードが所定の時間続いた場合、自動的に高速処理切替フラグを0に変更して、強制的に非高速処理モードに移行させてもよい。所定の時間を超えて高速処理モードが継続した場合、高速処理モードでは撮影画像全体から物体を検出しないために突然の物体の侵入を見逃すことが起こりうる。所定の時間が経過する度に高速処理切替フラグをリセットして、非高速処理モードに移行して撮影画像全体からの物体検出を行うことで、突然の物体の侵入の見逃しを回避することができる。所定の時間は例えば1秒とすることができる。また、高速道路走行時と一般道走行時など、走行条件によって所定の時間を可変にしてもよい。
以上説明した物体検出装置100の各種の処理は、CPUやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
以上述べたように、本発明の実施の形態によれば、常時、解像度の高い撮影画像から物体を検出する代わりに、撮影画像全体から検出された物体の位置情報をもとに切り出された解像度の低いトリミング画像から物体を検出し、トリミング画像から物体がはみ出した場合は、解像度の高い撮影画像全体から物体を検出し直すため、検出精度を保ちながら、演算量を大幅に減らして高速に物体を検出することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 画像取得部、 20 切替部、 30 第1物体検出部、 40 画像トリミング部、 50 解像度変更部、 60 第2物体検出部、 70 はみ出し判定部、 80 物体検出モデル記憶部、 100 物体検出装置、 110 撮影装置、 120 表示装置。
Claims (7)
- 非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第1物体検出部と、
前記第1物体検出部により物体位置情報が出力された場合、高速処理モードに切り替える切替部と、
前記高速処理モードにおいて、第1物体検出部から出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミング部と、
前記トリミング画像から物体を検出し、物体位置情報を出力する第2物体検出部と、
前記第2物体検出部により検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定部とを含み、
前記切替部は、前記第2物体検出部により検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出装置。 - 前記画像トリミング部は、前記撮影画像の左右の端に端トリミング画像をデフォールトで設定することを特徴とする請求項1に記載の物体検出装置。
- 前記切替部は、前記高速処理モードにおいて所定の時間が経過した場合に、非高速処理モードに強制的に切り替えることを特徴とする請求項1または2に記載の物体検出装置。
- 前記画像トリミング部は、前記第1物体検出部により検出された物体の移動方向に応じて前記トリミング画像の縦または横のサイズを決定することを特徴とする請求項1から3のいずれかに記載の物体検出装置。
- 前記撮影画像は車に搭載された撮影装置により撮影された画像であり、
前記画像トリミング部は、前記車に対する前記第1物体検出部により検出された物体の相対移動速度に応じて前記トリミング画像のサイズを決定することを特徴とする請求項1から4のいずれかに記載の物体検出装置。 - 非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第1物体検出ステップと、
前記第1物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、
前記高速処理モードにおいて、第1物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、
前記トリミング画像から物体を検出し、物体位置情報を出力する第2物体検出ステップと、
前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとを含み、
前記切替ステップは、前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出方法。 - 非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第1物体検出ステップと、
前記第1物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、
前記高速処理モードにおいて、第1物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、
前記トリミング画像から物体を検出し、物体位置情報を出力する第2物体検出ステップと、
前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとをコンピュータに実行させ、
前記切替ステップは、前記第2物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199782A JP7354773B2 (ja) | 2019-11-01 | 2019-11-01 | 物体検出装置、物体検出方法、及び物体検出プログラム |
PCT/JP2020/028495 WO2021084818A1 (ja) | 2019-11-01 | 2020-07-22 | 物体検出装置、物体検出方法、及び物体検出プログラム |
EP20881382.4A EP4054183A4 (en) | 2019-11-01 | 2020-07-22 | OBJECT DETECTION DEVICE, METHOD AND PROGRAM |
CN202080071726.8A CN114556423A (zh) | 2019-11-01 | 2020-07-22 | 物体检测装置、物体检测方法以及物体检测程序 |
US17/731,372 US20220254167A1 (en) | 2019-11-01 | 2022-04-28 | Object detection apparatus, object detection method, and object detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199782A JP7354773B2 (ja) | 2019-11-01 | 2019-11-01 | 物体検出装置、物体検出方法、及び物体検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021072592A true JP2021072592A (ja) | 2021-05-06 |
JP7354773B2 JP7354773B2 (ja) | 2023-10-03 |
Family
ID=75713473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019199782A Active JP7354773B2 (ja) | 2019-11-01 | 2019-11-01 | 物体検出装置、物体検出方法、及び物体検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220254167A1 (ja) |
EP (1) | EP4054183A4 (ja) |
JP (1) | JP7354773B2 (ja) |
CN (1) | CN114556423A (ja) |
WO (1) | WO2021084818A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021251298A1 (ja) * | 2020-06-12 | 2021-12-16 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4084991B2 (ja) | 2002-11-29 | 2008-04-30 | 富士通株式会社 | 映像入力装置 |
JP2007025739A (ja) | 2005-07-12 | 2007-02-01 | Alpine Electronics Inc | 車両用画像表示装置 |
JP5643552B2 (ja) | 2010-06-28 | 2014-12-17 | キヤノン株式会社 | 撮像装置 |
JP6330283B2 (ja) | 2013-09-30 | 2018-05-30 | 株式会社ニコン | 被写体追尾装置、撮像装置及び被写体追尾プログラム |
JP6027560B2 (ja) | 2014-02-18 | 2016-11-16 | 富士フイルム株式会社 | 自動追尾撮像装置 |
CN107730906A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 斑马线车辆不礼让行人行为的视觉检测系统 |
US20190145765A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Three Dimensional Object Detection |
US10575699B2 (en) * | 2018-01-05 | 2020-03-03 | Irobot Corporation | System for spot cleaning by a mobile robot |
CN108520247B (zh) * | 2018-04-16 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 对图像中的对象节点的识别方法、装置、终端及可读介质 |
-
2019
- 2019-11-01 JP JP2019199782A patent/JP7354773B2/ja active Active
-
2020
- 2020-07-22 EP EP20881382.4A patent/EP4054183A4/en active Pending
- 2020-07-22 CN CN202080071726.8A patent/CN114556423A/zh active Pending
- 2020-07-22 WO PCT/JP2020/028495 patent/WO2021084818A1/ja unknown
-
2022
- 2022-04-28 US US17/731,372 patent/US20220254167A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021251298A1 (ja) * | 2020-06-12 | 2021-12-16 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7354773B2 (ja) | 2023-10-03 |
US20220254167A1 (en) | 2022-08-11 |
CN114556423A (zh) | 2022-05-27 |
WO2021084818A1 (ja) | 2021-05-06 |
EP4054183A4 (en) | 2022-12-28 |
EP4054183A1 (en) | 2022-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9773176B2 (en) | Image processing apparatus and image processing method | |
US8050459B2 (en) | System and method for detecting pedestrians | |
EP2924653B1 (en) | Image processing apparatus and image processing method | |
US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
CN106611512B (zh) | 前车起步的处理方法、装置和系统 | |
WO2010058821A1 (ja) | 接近物体検知システム | |
US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN110378836B (zh) | 获取对象的3d信息的方法、系统和设备 | |
JP2010044561A (ja) | 乗物搭載用監視装置 | |
US20180012068A1 (en) | Moving object detection device, image processing device, moving object detection method, and integrated circuit | |
JP2015001979A (ja) | 車両運転用の警告方法および車両用の電子装置 | |
JP2012222776A (ja) | 画像処理装置、画像処理方法、及び運転支援システム | |
WO2021084818A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
EP3635684B1 (en) | Pyramidal optical flow tracker improvement | |
JP2014106740A (ja) | 車載用駐車枠認識装置 | |
KR20220136196A (ko) | 화상 처리 장치, 화상 처리 방법, 이동 장치, 및 저장 매체 | |
US20210049382A1 (en) | Non-line of sight obstacle detection | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
US20220408062A1 (en) | Display control apparatus, display control method, and program | |
JP3226699B2 (ja) | 車両用周辺監視装置 | |
CN111753663B (zh) | 目标检测方法及装置 | |
JP2022142515A (ja) | 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム | |
CN115088248A (zh) | 摄像装置、摄像系统和摄像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7354773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |