JP2015132969A - 移動体検出装置および移動体検出方法 - Google Patents
移動体検出装置および移動体検出方法 Download PDFInfo
- Publication number
- JP2015132969A JP2015132969A JP2014003894A JP2014003894A JP2015132969A JP 2015132969 A JP2015132969 A JP 2015132969A JP 2014003894 A JP2014003894 A JP 2014003894A JP 2014003894 A JP2014003894 A JP 2014003894A JP 2015132969 A JP2015132969 A JP 2015132969A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- captured image
- detected
- template
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 191
- 230000002093 peripheral effect Effects 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims description 78
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 230000012447 hatching Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 241000206601 Carnobacterium mobile Species 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
A.装置構成 :
図1には、本実施例の移動体検出装置100を搭載した車両1が示されている。本実施例の移動体検出装置100は、車両1の前方の画像を撮影する車載カメラ10と共に、車両1に搭載されている。車載カメラ10は、CMOSやCCDなどの画像センサーを搭載しており、移動体検出装置100の制御の元で、30Hzの一定周期で前方の画像の画像データを出力する。移動体検出装置100は、CPUやROM、RAMなどがバスで接続されたマイクロコンピューターによって主に構成されており、車載カメラ10が撮影した撮影画像を次々と読み込んで、撮影画像中に写った移動体(歩行者や、車両、自転車など)を検出する。
尚、本実施例では、車載カメラ10が一定周期で連続的に画像を撮影するものとして説明するが、所定の時間間隔で複数枚の画像を撮影すればよく、必ずしも連続的に画像を撮影する必要はない。例えば、所定の時間間隔で2枚、あるいは3枚の画像を撮影する場合でも、以下の説明は全く同様に当て嵌まる。
周辺領域検出部102は、撮影画像を受け取ると、その撮影画像中の周辺領域に写った移動体を検出する。詳細には後述するが、撮影画像の左右両側に設けられた一定範囲の領域が周辺領域として定められている。周辺領域に写った移動体を検出するに際しては、周辺領域検出部102は、記憶部104に予め記憶されているテンプレートを読み出して、撮影画像の周辺領域を探索することによって移動体を検出する。そして、得られた検出結果は記憶部104に記憶する。記憶部104に記憶されているテンプレートについては後述する。
中央領域検出部103は、撮影部101から撮影画像を受け取ると、その撮影画像中の中央領域に写った移動体を検出する。詳細には後述するが、撮影画像の中央に設けられた一定範囲の領域が中央領域として定められている。中央領域検出部103も、上述した周辺領域検出部102と同様に、移動体を検出するに際しては記憶部104からテンプレートを読み出して移動体を検出した後、検出結果を記憶部104に記憶する。
記憶部104は、移動体を検出するために用いるテンプレートが予め記憶されている。また、周辺領域検出部102や中央領域検出部103で移動体を検出した結果も、記憶部104に記憶される。尚、記憶部104は、周辺領域検出部102や中央領域検出部103によって得られた全ての検出結果を記憶しておく必要はなく、直近の所定回数分(例えば5回分)の検出結果を記憶していればよい。
予測部105は、周辺領域検出部102および中央領域検出部103による移動体の検出結果を記憶部104から読み出して、次に得られる撮影画像での移動体の検出結果を予測し、予測結果を中央領域検出部103に出力する。予測部105が移動体の検出結果を予測する方法については後述する。
尚、本実施例では撮影部101が本発明における「撮影手段」に対応し、周辺領域検出部102が本発明における「周辺領域検出手段」に対応し、中央領域検出部103が本発明における「中央領域検出手段」に対応する。更に、本実施例の記憶部104が本発明における「記憶手段」に対応し、予測部105が本発明における「予測手段」に対応する。
尚、本実施例では第1テンプレートTP1で検出される小さな歩行者が、本発明における「第1移動体」に対応し、第2テンプレートTP2で検出される大きな歩行者が、本発明における「第2移動体」に対応する。
更に、本実施例では、9つのテンプレートTPを、便宜的に、大きく第1テンプレートTP1および第2テンプレートTP2の2種類のテンプレートに分類したが、3種類以上のテンプレートに分類しても構わない。
図6には、第1実施例の移動体検出装置100が撮影画像中の移動体を検出する際に実行する移動体検出処理のフローチャートが示されている。
移動体検出処理では、先ず始めに車載カメラ10から撮影画像を取得する(S100)。そして、前回に取得した撮影画像が存在するか否かを判断する(S101)。前述したように撮影部101は、一定周期で車載カメラ10から撮影画像を取得しているから、通常の場合は、前回に取得した撮影画像が存在する(S101:yes)と判断される。一方、車載カメラ10や移動体検出装置100の電源投入直後は、前回に取得した撮影画像は存在しない(S101:no)と判断される。
また、車載カメラ10は必ずしも連続的に撮影画像を取得する必要はなく、所定の時間間隔で複数枚の撮影画像を単発的に撮影しても良い。この場合は、前回に画像を撮影してから、所定の時間間隔以上(あるいは所定時間より長い所定の基準時間以上)の時間が経過していた場合には、前回に取得した撮影画像は存在しない(S101:no)と判断してもよい。
これに対して、前回の撮影画像が存在しないと判断した場合は(S101:no)、前回の撮影画像についての検出結果を読み出すことなく、今回の撮影画像についての中央領域検出用のテンプレートを設定する(S103)。
先ず、図7に示すように撮影画像を、左右方向両側に設けた周辺領域RPと、中央部分に設けた中央領域RCとに分けて考える。すると、図7(a)中で斜線を付して示したように周辺領域RPに写った大きな歩行者は、破線の矢印で示すように中央領域RCに移動することが考えられる。その一方で、周辺領域RPに写ることなく、中央領域RCにいきなり大きな歩行者が写ることは考えにくい。従って、中央領域検出用のテンプレートとして、大きな歩行者を検出するためのテンプレート(第2テンプレートTP2)を設定するのは、周辺領域RPで大きな歩行者が検出された後でよいと考えられる。
また、中央領域RCに写ってはいるが、遠くに居るため小さすぎて検出できなかった歩行者が、次の撮影画像では検出可能な大きさになるまで近付いてくることも考えられる。従って、中央領域RCおよび周辺領域RPで小さな歩行者が検出されていない場合でも、小さな歩行者を検出する第1テンプレートTP1は、中央領域検出用のテンプレートとして設定しておく必要があると考えられる。
一方、前回に取得した撮影画像が存在していた場合(図6のS101で「yes」と判断した場合)は、移動体の検出結果が読み出されるので(S102参照)、その結果に基づいて、以下のようにして中央領域検出用のテンプレートを設定する。
また、周辺領域RPで第1移動体(この場合は小さな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる小さな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
更に、周辺領域RPで第2移動体(この場合は大きな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる大きな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを設定しておけばよい。
但し、中央領域RCの小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されていた場合には、第2テンプレートTP2中のテンプレートTP2aも中央領域検出用のテンプレートとして設定しておく。
周辺領域RPについては、車載カメラ10の死角に接しているので、死角から突然に大きな歩行者が現れたり、小さな歩行者が現れたりすることが起こり得る。もちろん、遠方から近付いてきた歩行者が周辺領域RPに小さく写ることも考えられる。
従って、図9に例示したテーブルに示されるように、周辺領域検出用のテンプレートについては、前回の撮影画像についての検出結果に拘わらず、常に第1テンプレートTP1と第2テンプレートTP2とを設定しておく。尚、図9のテーブルも、前述した図8のテーブルと同様に、記憶部104に予め記憶されている。
以上のようにして、中央領域検出用のテンプレートと、周辺領域検出用のテンプレートとを設定したら(図6のS103、S104)、設定したテンプレートを用いて、中央領域RCに写った移動体を検出する処理(中央領域検出処理S200)を開始し、続いて周辺領域RPに写った移動体を検出する処理(周辺領域検出処理S300)を開始する。
図10には、中央領域検出処理のフローチャートが示されている。中央領域検出処理(S200)を開始すると、先ず始めに、中央領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S201)。
続いて、選択したテンプレートの幅だけ、撮影画像の中央領域RCを拡張する(S202)。これは、次のような処理である。
図11(a)に示されるように、撮影画像中に中央領域RCを設定すると、中央領域RCの境界と、検出すべき移動体とが重なってしまうことがある。図11(a)に示した例では、中央領域RCの境界が重なるのは歩行者H4だけであるが、このようなことは検出しようとする全ての大きさの歩行者について起こり得る。そして、境界に重なった歩行者については、テンプレートを用いて中央領域RCを探索しても検出できない可能性がある。
そこで、中央領域RCに写った移動体を探索するに先立って、境界に重なった歩行者が中央領域RCに含まれるように境界を移動させて、中央領域RCを拡張しておく。また、この時の境界の移動量は、探索に用いるテンプレートの幅の半分に相当する分だけ、左右の境界を外側に移動させればよい。これは、たとえ様々な大きさの歩行者が境界上に存在したとしても、検出できるのはテンプレートに対応する大きさの歩行者だけなので、テンプレートの幅の半分程度、境界を外側に移動させれば十分なためである。
図11(b)に示した例では、テンプレートTP1dが選択されているため、そのテンプレートの幅の半分に相当する分だけ左右の境界を外側に移動させている。その結果、中央領域RCは、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S205:no)、図10の中央領域検出処理(S200)を終了して、図6の移動体検出処理に復帰する。そして、移動体検出処理では、中央領域検出処理(S200)から復帰すると続いて、周辺領域検出処理(S300)を開始する。
図12には、周辺領域検出処理のフローチャートが示されている。周辺領域検出処理(S300)の場合も、処理を開始すると先ず始めに、周辺領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S301)。
続いて、選択したテンプレートの幅だけ、撮影画像の周辺領域RPを拡張する(S302)。
撮影画像中に周辺領域RPを設定した場合も、前述した中央領域RCを設定した場合と同様に、周辺領域RPの境界が撮影画像中の移動体に重なってしまうことがある(図13(a)参照)。そして、境界が重なった歩行者については、テンプレートを用いて周辺領域RPを探索しても検出できない可能性がある。
そこで、周辺領域RPに写った移動体を探索するに先立って、境界が重なった歩行者が周辺領域RPに含まれるように境界を移動させておく。すなわち、撮影画像の左側に設けられた周辺領域RPと中央領域RCとの境界については右方向に移動させ、撮影画像の右側に設けられた周辺領域RPと中央領域RCとの境界については左方向に移動させる。また、境界の移動量については、前述した中央領域RCの境界を移動させる場合と同様に、探索に用いるテンプレートの幅の半分に相当する分だけ移動させればよい。
図13(b)に示した例では、テンプレートTP1dが選択されている。このため、撮影画像中の左側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が右方向に移動され、撮影画像中の右側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が左方向に移動されている。その結果、周辺領域RPの場合も、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
そして、拡張した周辺領域RP内を全て探索したら、検出結果を記憶部104に記憶する(S304)。周辺領域検出処理(S300)においても、前述した中央領域検出処理(S200)と同様に、検出結果としては、移動体が検出された位置と、その移動体を検出したテンプレート(従って、移動体の大きさ)とを記憶する。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S305:no)、図12の周辺領域検出処理(S300)を終了して、図6の移動体検出処理に復帰する。
これに対して、処理を終了すると判断した場合は(S105:yes)、図6に示した第1実施例の移動体検出処理を終了する。
また、中央領域検出用のテンプレートTPとしては、前回の撮影画像についての検出結果から、今回の撮影画像の中央領域RCでは移動体が検出される可能性はないと考えられるテンプレートTPが除かれるものの、残りの全てのテンプレートTPは中央領域検出用のテンプレートTPに設定される。このため、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
上述した第1実施例では、前回の撮影画像についての検出結果に基づいて、中央領域検出用のテンプレートTPを設定した。しかし、前回の撮影画像だけでなく、前々回の撮影画像についての検出結果も考慮して、中央領域検出用のテンプレートTPを設定しても良い。以下では、このような第2実施例の移動体検出処理について、第1実施例との相違点を中心として説明する。
前回の撮影画像中で移動体が検出されていた場合は(S153:yes)、前々回の撮影画像についての検出結果も記憶部104から読み出して(S154)、その移動体が前々回の撮影画像でも検出されているか否かを判断する(S155)。その結果、前々回の撮影画像でも検出されていた場合は(S155:yes)、前回の撮影画像中で検出された位置と、前々回の撮影画像中で検出された位置とに基づいて、今回の中央領域検出処理(S200)で、その移動体が中央領域RC中に検出されるか否かを予測する(S156)。
図16(a)に示した例では、前回の撮影画像中で検出された歩行者は細かい斜線を付して表示されており、前々回の撮影画像中で検出された歩行者は粗い斜線を付して表示されている。前述したように車載カメラ10は所定の時間間隔で画像を撮影しているから、前々回の撮影画像中で検出された歩行者の位置と、前回の撮影画像中で検出された歩行者の位置とが分かれば、今回の撮影画像中で歩行者が検出される大まかな範囲を予測することができる。
図16(a)中で太い破線で囲って示した範囲は、このようにして得られた予測範囲を表している。尚、移動体の検出漏れを防ぐ観点からは、移動体が検出される予測範囲を、余裕を持って広めに予測しておくことが望ましい。図16(a)に示した例では、予測範囲は中央領域RCに存在するから、この場合は、その移動体が中央領域RCで検出されると予測することができる。
すなわち、図16(c)に例示するように、前々回の撮影画像で歩行者(粗い斜線を付して表示)が検出された位置と、前回の撮影画像で歩行者(細かい斜線を付して表示)が検出された位置とに基づいて、太い破線で囲った予測範囲を予測することができる。そして、この場合も、予測範囲の一部が中央領域RC内に存在するから、その移動体は、今回の撮影画像中では中央領域RCで検出されるものと予測することができる。
図14のS156では、移動体が中央領域RCで検出されるか否かを、以上のようにして予測する。
また、移動体用のテンプレートTPを設定するに際しては、その移動体を検出したテンプレートTPだけでなく、そのテンプレートTPに隣接する大きさのテンプレートTPも設定しておくことが望ましい。例えば、その移動体がテンプレートTP1c(図5参照)で検出されていた場合は、テンプレートTP1bおよびテンプレートTP1dを中央領域検出用のテンプレートTPに設定しておくことが望ましい。
あるいは、前述した第1実施例と同様に、その移動体が第1テンプレートTP1で検出されていたのであれば第1テンプレートTP1を、第2テンプレートTP2で検出されていたのであれば第2テンプレートTP2を、中央領域検出用のテンプレートTPに設定するようにしても良い。
これに対して、前回の撮影画像が存在しない場合(S151:no)や、前回の撮影画像では移動体が検出されていない場合(S153:no)、あるいは、前回の撮影画像で検出された移動体が前々回の撮影画像では検出されていなかった場合(S155:no)は、上述した予測はできない。そこで、これらの場合は、前述した第1実施例の移動体検出処理と同様に、図8に例示したテーブルを参照することによって、中央領域検出用のテンプレートTPを設定する(S158)。
これに対して、処理を終了すると判断した場合は(S160:yes)、図14および図15に示した第2実施例の移動体検出処理を終了する。
また、移動体が検出される可能性のあるテンプレートTPは中央領域検出用のテンプレートTPとして設定されるので、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
上述した第1実施例および第2実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。
上述した第1実施例および第2実施例では、中央領域RCは中央領域検出用のテンプレートTPを用いて隈無く探索し、周辺領域RPは周辺領域検出用のテンプレートTPを用いて隈無く探索するものとして説明した。しかし、必ずしも中央領域RCあるいは周辺領域RPを隈無く探索する必要があるとは限らない。
また、図17(b)中に斜線を付して示したように、撮影画像中の下部に設けられた下部領域RLでは、小さな移動体が写っていることは考えにくい。そこで、中央領域検出用のテンプレートTPあるいは周辺領域検出用のテンプレートTPの中に、小さな移動体を検出するためのテンプレートTP(第1テンプレートTP1)が設定されていた場合には、第1テンプレートTP1については下部領域RLの探索を省略してもよい。
こうすれば、撮影画像中の移動体をより一層迅速に検出することが可能となる。
また、上述した第1実施例および第2実施例では、撮影画像は1つの車載カメラ10で撮影されているものとして説明した。しかし、撮影画像は1つの車載カメラ10で撮影されている必要はなく、複数の車載カメラ10で撮影した画像を合成してもよい。
また、上述した第1実施例あるいは第2実施例では、1つあるいは複数の車載カメラ10で得られた撮影画像を、中央領域RCと周辺領域RPとに分割するものとして説明した。しかし、3つ以上の車載カメラ10を用いて車両1の周辺を撮影している場合には、車載カメラ10で撮影した画像を、中央領域RCあるいは周辺領域RPとして用いることもできる。
例えば、図19に示した車両1は、前方を撮影する前方車載カメラ10Fと、車両1の左方向を撮影する左車載カメラ10Lと、車両1の右方向を撮影する右車載カメラ10Rとを備えている。このような場合は、前方車載カメラ10Fで得られた画像を、撮影画像の中央領域RCとして用い、左車載カメラ10Lおよび右車載カメラ10Rで得られた画像を、撮影画像の周辺領域RPとして用いてもよい。
101…撮影部、 102…周辺領域検出部、 103…中央領域検出部、
104…記憶部、 105…予測部、 RC…中央領域、
RH…上部領域、 RL…下部領域、 RP…周辺領域、
TP1…第1テンプレート、 TP2…第2テンプレート。
Claims (11)
- 車載カメラ(10)によって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置(100)であって、
前記撮影画像を所定の時間間隔で撮影する撮影手段(101)と、
前記撮影画像中の左右両側に設けられた周辺領域(RP)の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出手段(102)と、
前記撮影画像中の中央に設けられた中央領域(RC)の中から、前記第1移動体を前記移動体として検出する中央領域検出手段(103)と
を備え、
前記中央領域検出手段は、前回に撮影された前記撮影画像中の前記周辺領域で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
ことを特徴とする移動体検出装置。 - 請求項1に記載の移動体検出装置であって、
前記中央領域検出手段は、前回に撮影された前記撮影画像中の前記中央領域で前記第1移動体または前記第2移動体の少なくとも一方が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
ことを特徴とする移動体検出装置。 - 請求項1または請求項2に記載の移動体検出装置であって、
前回に撮影された前記撮影画像での前記移動体の検出結果と、前々回に撮影された前記撮影画像での前記移動体の検出結果とに基づいて、今回に撮影された前記撮影画像での前記移動体の検出結果を予測する予測手段(105)を備え、
前記中央領域検出手段は、前記中央領域で前記第2移動体が検出される旨が前記予測手段によって予測された場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
ことを特徴とする移動体検出装置。 - 請求項3に記載の移動体検出装置であって、
前記予測手段は、前回の前記撮影画像の前記周辺領域で前記第2移動体が検出された場合に、該第2移動体が検出された位置と、前々回の前記撮影画像中で該第2移動体が検出された位置とに基づいて、今回の前記撮影画像の前記中央領域で前記第2移動体が検出されるか否かを予測する手段である
ことを特徴とする移動体検出装置。 - 請求項3または請求項4に記載の移動体検出装置であって、
前記中央領域検出手段は、大きさの違いを識別した状態で前記第1移動体を検出する手段であり、
前記予測手段は、前回の前記撮影画像の前記中央領域で、所定の大きさよりも大きな前記第1移動体が検出されていた場合には、今回の前記撮影画像の前記中央領域で前記第2移動体が検出される旨を予測する手段である
ことを特徴とする移動体検出装置。 - 請求項1ないし請求項5の何れか一項に記載の移動体検出装置であって、
前記中央領域検出手段は、前回に撮影された前記撮影画像が存在しない場合には、前記前記第1移動体および前記第2移動体を前記移動体として検出する手段である
ことを特徴とする移動体検出装置。 - 請求項1ないし請求項6の何れか一項に記載の移動体検出装置であって、
隣接する領域を撮影する複数の前記車載カメラ(10L,10R)を備え、
前記撮影手段は、前記複数の車載カメラの画像を合成して前記撮影画像を生成する手段である
ことを特徴とする移動体検出装置。 - 請求項1ないし請求項7の何れか一項に記載の移動体検出装置であって、
前記周辺領域検出手段および前記中央領域検出手段は、前記撮影画像中の下部に設けられた下部領域(RL)については、前記第1移動体を除いて前記移動体を検出する手段である
ことを特徴とする移動体検出装置。 - 請求項1ないし請求項8の何れか一項に記載の移動体検出装置であって、
前記周辺領域検出手段および前記中央領域検出手段は、前記撮影画像中の上部に設けられた上部領域(RH)の該撮影画像については、前記第2移動体を除いて前記移動体を検出する手段である
ことを特徴とする移動体検出装置。 - 請求項1ないし請求項9の何れか一項に記載の移動体検出装置であって、
前記第1移動体の形状的な特徴を表す第1テンプレート(TP1)と、前記第2移動体の形状的な特徴を表す第2テンプレート(TP2)とが記憶された記憶手段(104)を備え、
前記周辺領域検出手段および前記中央領域検出手段は、
前記第1移動体を検出する場合には、前記撮影画像の中から前記第1テンプレートに合致する箇所を検出することによって該第1移動体を検出し、
前記第2移動体を検出する場合には、前記撮影画像の中から前記第2テンプレートに合致する箇所を検出することによって該第2移動体を検出する手段である
ことを特徴とする移動体検出装置。 - 車載カメラによって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出方法であって、
前記撮影画像を所定の時間間隔で撮影する撮影工程(S100,S150)と、
前記撮影画像中の左右両側に設けられた周辺領域の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出工程(S300)と、
前記撮影画像中の中央に設けられた中央領域の中から、前記第1移動体を前記移動体として検出する中央領域検出工程(S200)と、
前記周辺領域検出工程および前記中央領域検出工程での検出結果を記憶する記憶工程(S204,S304)と
を備え、
前記中央領域検出工程は、前回に撮影された前記撮影画像中の前記周辺領域で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する工程である
ことを特徴とする移動体検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003894A JP6331402B2 (ja) | 2014-01-14 | 2014-01-14 | 移動体検出装置および移動体検出方法 |
US15/111,141 US10192106B2 (en) | 2014-01-14 | 2015-01-09 | Moving object detection apparatus and moving object detection method |
PCT/JP2015/000070 WO2015107877A1 (ja) | 2014-01-14 | 2015-01-09 | 移動体検出装置および移動体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003894A JP6331402B2 (ja) | 2014-01-14 | 2014-01-14 | 移動体検出装置および移動体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015132969A true JP2015132969A (ja) | 2015-07-23 |
JP6331402B2 JP6331402B2 (ja) | 2018-05-30 |
Family
ID=53542774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014003894A Active JP6331402B2 (ja) | 2014-01-14 | 2014-01-14 | 移動体検出装置および移動体検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10192106B2 (ja) |
JP (1) | JP6331402B2 (ja) |
WO (1) | WO2015107877A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017056266A1 (ja) * | 2015-09-30 | 2018-03-15 | 株式会社小松製作所 | 撮像装置 |
JP2020135609A (ja) * | 2019-02-22 | 2020-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016114168A1 (de) * | 2016-08-01 | 2018-02-01 | Connaught Electronics Ltd. | Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug |
KR102535540B1 (ko) * | 2017-01-12 | 2023-05-23 | 모빌아이 비젼 테크놀로지스 엘티디. | 차량 움직임에 기반한 항법 |
CN109163707B (zh) * | 2018-09-06 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | 障碍物感知方法、系统、计算机设备、计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
JP4064044B2 (ja) * | 2000-08-29 | 2008-03-19 | 三菱電機株式会社 | 交通情報送信システム及び交通情報収集配信システム並びに交通情報収集配信方法 |
CN101231755B (zh) * | 2007-01-25 | 2013-03-06 | 上海遥薇(集团)有限公司 | 运动目标跟踪及数量统计方法 |
EP2674323B1 (en) * | 2007-04-30 | 2018-07-11 | Mobileye Vision Technologies Ltd. | Rear obstruction detection |
JP5178276B2 (ja) | 2008-03-27 | 2013-04-10 | ダイハツ工業株式会社 | 画像認識装置 |
KR101183781B1 (ko) * | 2009-12-22 | 2012-09-17 | 삼성전자주식회사 | 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말 |
US8406472B2 (en) * | 2010-03-16 | 2013-03-26 | Sony Corporation | Method and system for processing image data |
JP5475138B2 (ja) * | 2010-09-08 | 2014-04-16 | トヨタ自動車株式会社 | 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法 |
JP5267596B2 (ja) * | 2011-02-23 | 2013-08-21 | 株式会社デンソー | 移動体検出装置 |
JP2012220377A (ja) | 2011-04-11 | 2012-11-12 | Denso Corp | 物体識別装置、および物体識別プログラム |
JP5477394B2 (ja) * | 2012-01-10 | 2014-04-23 | 株式会社デンソー | 車両周辺監視装置 |
US20130245881A1 (en) * | 2012-03-14 | 2013-09-19 | Christopher G. Scarbrough | System and Method for Monitoring the Environment In and Around an Automobile |
DE102012210608A1 (de) * | 2012-06-22 | 2013-12-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erzeugen eines Steuerparameters für ein Abstandsassistenzsystem eines Fahrzeugs |
US9224062B2 (en) * | 2013-08-09 | 2015-12-29 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
JP6316559B2 (ja) * | 2013-09-11 | 2018-04-25 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
-
2014
- 2014-01-14 JP JP2014003894A patent/JP6331402B2/ja active Active
-
2015
- 2015-01-09 WO PCT/JP2015/000070 patent/WO2015107877A1/ja active Application Filing
- 2015-01-09 US US15/111,141 patent/US10192106B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017056266A1 (ja) * | 2015-09-30 | 2018-03-15 | 株式会社小松製作所 | 撮像装置 |
US11008735B2 (en) | 2015-09-30 | 2021-05-18 | Komatsu Ltd. | Image pick-up apparatus |
JP2020135609A (ja) * | 2019-02-22 | 2020-08-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US11610422B2 (en) | 2019-02-22 | 2023-03-21 | Canon Kabushiki Kaisha | Image processing method, apparatus, and storage medium for object detection |
JP7297463B2 (ja) | 2019-02-22 | 2023-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10192106B2 (en) | 2019-01-29 |
US20160335489A1 (en) | 2016-11-17 |
JP6331402B2 (ja) | 2018-05-30 |
WO2015107877A1 (ja) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6331402B2 (ja) | 移動体検出装置および移動体検出方法 | |
JP5964108B2 (ja) | 物体検出装置 | |
JP5058002B2 (ja) | 物体検出装置 | |
CN105827914A (zh) | 镜头清理的提示方法及装置 | |
JP2006338272A (ja) | 車両挙動検出装置、および車両挙動検出方法 | |
WO2016151976A1 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP4853444B2 (ja) | 移動物体検出装置 | |
JP2019003428A5 (ja) | ||
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
CN104239847A (zh) | 行车警示方法及车用电子装置 | |
JP2018038009A5 (ja) | ||
JP5849942B2 (ja) | 車載画像処理装置 | |
JP6384803B2 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP2016173795A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
JP2015171106A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
US10965877B2 (en) | Image generating method and electronic apparatus | |
JP2018010466A (ja) | 物体検知装置 | |
JP2021061546A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP2006285910A (ja) | 車載物体検出装置、および物体検出方法 | |
JP2017184136A5 (ja) | ||
JP2007317128A (ja) | 移動距離検出装置及び移動距離検出方法 | |
JP2005216200A (ja) | 他車検出装置及び他車検出方法 | |
JP2018147241A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6331402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |