JP2015132969A - 移動体検出装置および移動体検出方法 - Google Patents

移動体検出装置および移動体検出方法 Download PDF

Info

Publication number
JP2015132969A
JP2015132969A JP2014003894A JP2014003894A JP2015132969A JP 2015132969 A JP2015132969 A JP 2015132969A JP 2014003894 A JP2014003894 A JP 2014003894A JP 2014003894 A JP2014003894 A JP 2014003894A JP 2015132969 A JP2015132969 A JP 2015132969A
Authority
JP
Japan
Prior art keywords
moving body
captured image
detected
template
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014003894A
Other languages
English (en)
Other versions
JP6331402B2 (ja
Inventor
宗作 重村
Sosaku Shigemura
宗作 重村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014003894A priority Critical patent/JP6331402B2/ja
Priority to US15/111,141 priority patent/US10192106B2/en
Priority to PCT/JP2015/000070 priority patent/WO2015107877A1/ja
Publication of JP2015132969A publication Critical patent/JP2015132969A/ja
Application granted granted Critical
Publication of JP6331402B2 publication Critical patent/JP6331402B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮影画像に写った移動体を、漏れなく且つ迅速に検出する。【解決手段】所定の時間間隔で撮影画像が得られると、撮影画像の左右方向両側の周辺領域、および中央領域のそれぞれから移動体を検出する。ここで、周辺領域については、小さく写った移動体(第1移動体)と、大きく写った移動体(第2移動体)とを検出する。中央領域については第1移動体を検出するが、第2移動体は、前回の撮影画像の周辺領域で第2移動体が検出されていた場合に検出する。中央領域に第2移動体が写るのは周辺領域に写っていた移動体が移動して来た場合がほとんどである。従って、こうすれば、中央領域で無駄に第2移動体を検出することが無くなるので、迅速に移動体を検出することができる。【選択図】図7

Description

本発明は、車載カメラで撮影した画像の中から移動体を検出する技術に関する。
車載カメラを用いて、車両の前方あるいは周囲の画像を撮影し、得られた撮影画像に対してパターンマッチングを適用することによって、歩行者や車両などの移動体を検出する技術が知られている(例えば、特許文献1)。この技術では、歩行者の特徴的な形状を示すテンプレート(歩行者用テンプレート)や、車両の特徴的な形状を示すテンプレート(車両用テンプレート)を記憶しておき、撮影画像の中から、これらのテンプレートと一致する部分を抽出することによって、撮影画像に写った移動体を検出する。
当然ながら、歩行者や車両などの移動体は、撮影画像中の様々な箇所に写り得る。従って、移動体の検出漏れを回避しようとすると、撮影画像中でのテンプレートの位置を少しずつ移動させながら、撮影画像中の全ての箇所を探索してテンプレートと一致する部分を抽出する必要が生じる。また、移動体は様々な大きさで写り得る。従って、様々な大きさのテンプレートを用意しておき、それら様々な大きさのテンプレートについて、撮影画像中での位置を少しずつ移動させることによって、撮影画像に写った移動体を検出する必要がある。
特開2012−220377号公報
しかし、様々な大きさのテンプレートを用いて、撮影画像の全ての領域を隈無く探索したのでは、探索に要する時間が長くなってしまい、移動体を迅速に検出することが困難になるという問題があった。
この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、撮影画像に写った移動体を、検出漏れの虞を生じさせることなく、迅速に検出することが可能な技術の提供を目的とする。
上述した課題を解決するために本発明の移動体検出装置および移動体検出方法は、所定の時間間隔で撮影画像が得られると、撮影画像の周辺領域および中央領域のそれぞれから移動体を検出する。ここで、周辺領域については、所定の大きさよりも小さく写った第1移動体と、所定の大きさよりも大きく写った第2移動体とを検出する。また、中央領域については第1移動体を検出するが、第2移動体は、前回の撮影画像の周辺領域で第2移動体が検出されていた場合に検出することとしている。
詳細な理由については後述するが、撮影画像の中央領域に、所定の大きさよりも大きな第2移動体がいきなり写ることは、通常は起こり得ない。そして、中央領域に第2移動体が写るのは、それ以前に周辺領域に写っていた移動体が移動して来た場合がほとんどである。従って、周辺領域で第2移動体が検出された場合には、次の撮影画像中の中央領域でも第2移動体を検出するようにすれば、中央領域で第2移動体を検出する手間を省くことができるので、迅速に移動体を検出することができる。
また、上述した本発明の移動体検出装置においては、前回に撮影された撮影画像中の中央領域で第1移動体または第2移動体の少なくとも一方が検出されていた場合にも、次に撮影される撮影画像中の中央領域で、第1移動体および第2移動体を検出するようにしてもよい。
前回に撮影された撮影画像中の中央領域に第1移動体が写っていた場合には、その第1移動体が近付いてきて大きく写ることが考えられる。また、撮影画像中の中央領域に第2移動体が写っていた場合には、次の撮影画像中の中央領域にも同じように第2移動体が写っている可能性が高い。従って、前回の撮影画像の中央領域で第1移動体または第2移動体の少なくとも一方が検出されていた場合には、次の撮影画像中の中央領域で第1移動体および第2移動体を検出するようにしてやれば、洩れなく移動体を検出することが可能となる。
また、上述した本発明の移動体検出装置においては、前回に撮影された撮影画像での移動体の検出結果と、前々回に撮影された撮影画像での移動体の検出結果とに基づいて、今回に撮影された撮影画像での移動体の検出結果を予測してもよい。そして、今回の撮影画像の中央領域で第2移動体が検出される旨が予測された場合には、中央領域でも第1移動体および第2移動体を検出するようにしてもよい。
前回の撮影画像および前々回の撮影画像での移動体の検出結果があれば、今回の撮影画像での移動体の検出結果を予測することができる。従って、今回の撮影画像の中央領域で第2移動体が検出される旨が予測された場合には、中央領域でも第1移動体および第2移動体を検出するようにしてやれば、無駄に第2移動体を検出することがないので、迅速に移動体を検出することが可能となる。
また、今回の撮影画像の中央領域で第2移動体が検出されるか否かを予測する上述した本発明の移動体検出装置においては、次のようにして予測しても良い。すなわち、前回の撮影画像の周辺領域で第2移動体が検出されていた場合には、その移動体が検出された位置と、前々回の撮影画像中で検出されていた位置とに基づいて、今回の撮影画像の中央領域で、その第2移動体が検出されるか否かを予測するようにしてもよい。
中央領域に第2移動体が写るのは、周辺領域に写っていた移動体が移動してきた場合がほとんどである。従って、上述したようにして予測してやれば、今回の撮影画像の中央領域で第2移動体が検出されるか否かを、効率よく予測することが可能となる。
また、今回の撮影画像の中央領域で第2移動体が検出されるか否かを予測する上述した本発明の移動体検出装置においては、次のようにして予測しても良い。すなわち、中央領域内の第1移動体を検出する際には、大きさの違いを識別した状態で検出しておく。そして、前回の撮影画像の中央領域で、所定の大きさよりも大きな第1移動体が検出されていた場合には、今回の撮影画像の中央領域で第2移動体が検出される旨を予測するようにしてもよい。
こうすれば、前回の撮影画像の中央領域に小さく写っていた第1移動体が近付いてきたために、今回の撮影画像では大きく写った場合でも、その移動体を洩れなく検出することが可能となる。
また、上述した本発明の移動体検出装置においては、前回に撮影された撮影画像が存在しない場合には、中央領域においても、第1移動体および第2移動体を検出することとしてもよい。ここで「前回に撮影された撮影画像」とは、所定の時間間隔で撮影された撮影画像である。
前回に撮影された撮影画像が存在しない場合には、どのような大きさの移動体が、撮影画像中の何処に写っているかは分からない。従って、こうすることで、撮影画像中の移動体を洩れなく検出することが可能となる。
また、上述した本発明の移動体検出装置においては、複数の車載カメラによって得られた画像を合成して撮影画像を生成し、得られた撮影画像に対して上述した方法を適用して移動体を検出することとしてもよい。
複数の車載カメラの画像を合成すれば、撮影範囲の広い撮影画像が得られるが、撮影範囲が広い分だけ、移動体の検出に要する時間が長くなる。従って、このような撮影画像に対して上述した方法を適用して移動体を検出してやれば、迅速に移動体を検出することが可能となる。
また、上述した本発明の移動体検出装置においては、撮影画像中の第1移動体を検出するに際しては、撮影画像中の下部に設けられた下部領域を除いて検出することとしても良い。
撮影画像中の下部領域には移動体が大きく写ることが通常であり、下部領域に第1移動体が写ることは考えにくい。従って、撮影画像中の第1移動体を検出する際には、下部領域を除いて検出することとすれば、無駄な検出を省くことができるので、迅速に移動体を検出することが可能となる。
また、上述した本発明の移動体検出装置においては、撮影画像中の第2移動体を検出するに際しては、撮影画像中の上部に設けられた上部領域を除いて検出することとしても良い。
撮影画像中の上部領域には移動体が小さく写ることが通常であり、上部領域に第2移動体が写ることは考えにくい。従って、撮影画像中の第2移動体を検出する際には、上部領域を除いて検出することとすれば、無駄な検出を省くことができるので、迅速に移動体を検出することが可能となる。
また、上述した本発明の移動体検出装置においては、次のようにして移動体を検出することとしてもよい。先ず、第1移動体の形状的な特徴を表す第1テンプレートと、第2移動体の形状的な特徴を表す第2テンプレートとを予め記憶しておく。そして、第1移動体を検出する場合には、撮影画像の中で第1テンプレートに合致する箇所を検出することによって第1移動体を検出する。また、第2移動体を検出する場合には、撮影画像の中で第2テンプレートに合致する箇所を検出することによって第2移動体を検出することとしてもよい。
こうすれば、撮影画像中の移動体を確実に検出することが可能となる。
本実施例の移動体検出装置100を搭載した車両1を示す説明図である。 移動体検出装置100の大まかな内部構成を示す説明図である。 車載カメラ10で得られた撮影画像を例示した説明図である。 テンプレートTPを用いて撮影画像中の歩行者を検出する様子を示した説明図である。 歩行者を検出するための複数のテンプレートTPを例示した説明図である。 第1実施例の移動体検出処理のフローチャートである。 前回の撮影画像の検出結果に基づいて中央領域検出用のテンプレートを設定する際の基本的な考え方についての説明図である。 中央領域検出用のテンプレートを設定する際に参照するテーブルを例示した説明図である。 周辺領域検出用のテンプレートを設定する際に参照するテーブルを例示した説明図である。 中央領域検出処理のフローチャートである。 撮影画像の中央領域RCを拡張する様子を例示した説明図である。 周辺領域検出処理のフローチャートである。 撮影画像の周辺領域RPを拡張する様子を例示した説明図である。 第2実施例の移動体検出処理の前半部分のフローチャートである。 第2実施例の移動体検出処理の後半部分のフローチャートである。 第2実施例の移動体検出処理中で中央領域RCに移動体が検出されるか否かを予測する方法についての説明図である。 第1変形例についての説明図である。 第2変形例についての説明図である。 第3変形例についての説明図である。
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
A.装置構成 :
図1には、本実施例の移動体検出装置100を搭載した車両1が示されている。本実施例の移動体検出装置100は、車両1の前方の画像を撮影する車載カメラ10と共に、車両1に搭載されている。車載カメラ10は、CMOSやCCDなどの画像センサーを搭載しており、移動体検出装置100の制御の元で、30Hzの一定周期で前方の画像の画像データを出力する。移動体検出装置100は、CPUやROM、RAMなどがバスで接続されたマイクロコンピューターによって主に構成されており、車載カメラ10が撮影した撮影画像を次々と読み込んで、撮影画像中に写った移動体(歩行者や、車両、自転車など)を検出する。
尚、本実施例では、車載カメラ10が一定周期で連続的に画像を撮影するものとして説明するが、所定の時間間隔で複数枚の画像を撮影すればよく、必ずしも連続的に画像を撮影する必要はない。例えば、所定の時間間隔で2枚、あるいは3枚の画像を撮影する場合でも、以下の説明は全く同様に当て嵌まる。
図2には、移動体検出装置100の大まかな内部構成が示されている。図示されるように、本実施例の移動体検出装置100は、撮影部101と、周辺領域検出部102と、中央領域検出部103と、予測部105と、記憶部104とを備えている。尚、これら5つの「部」は、移動体検出装置100が撮影画像中の移動体を検出する機能に着目して、移動体検出装置100の内部を便宜的に分類した抽象的な概念であり、移動体検出装置100が物理的に5つの部分に区分されていることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIを含む電子回路として実現することもできし、更にはこれらの組合せとして実現することもできる。
撮影部101は、前述した車載カメラ10に接続されており、車載カメラ10の動作を制御すると共に、車載カメラ10が生成した撮影画像を取得する。撮影部101は、車載カメラ10から撮影画像を受け取ると内部のバッファーに一旦蓄えた後、その撮影画像を周辺領域検出部102および中央領域検出部103にそれぞれ出力する。
周辺領域検出部102は、撮影画像を受け取ると、その撮影画像中の周辺領域に写った移動体を検出する。詳細には後述するが、撮影画像の左右両側に設けられた一定範囲の領域が周辺領域として定められている。周辺領域に写った移動体を検出するに際しては、周辺領域検出部102は、記憶部104に予め記憶されているテンプレートを読み出して、撮影画像の周辺領域を探索することによって移動体を検出する。そして、得られた検出結果は記憶部104に記憶する。記憶部104に記憶されているテンプレートについては後述する。
中央領域検出部103は、撮影部101から撮影画像を受け取ると、その撮影画像中の中央領域に写った移動体を検出する。詳細には後述するが、撮影画像の中央に設けられた一定範囲の領域が中央領域として定められている。中央領域検出部103も、上述した周辺領域検出部102と同様に、移動体を検出するに際しては記憶部104からテンプレートを読み出して移動体を検出した後、検出結果を記憶部104に記憶する。
記憶部104は、移動体を検出するために用いるテンプレートが予め記憶されている。また、周辺領域検出部102や中央領域検出部103で移動体を検出した結果も、記憶部104に記憶される。尚、記憶部104は、周辺領域検出部102や中央領域検出部103によって得られた全ての検出結果を記憶しておく必要はなく、直近の所定回数分(例えば5回分)の検出結果を記憶していればよい。
予測部105は、周辺領域検出部102および中央領域検出部103による移動体の検出結果を記憶部104から読み出して、次に得られる撮影画像での移動体の検出結果を予測し、予測結果を中央領域検出部103に出力する。予測部105が移動体の検出結果を予測する方法については後述する。
尚、本実施例では撮影部101が本発明における「撮影手段」に対応し、周辺領域検出部102が本発明における「周辺領域検出手段」に対応し、中央領域検出部103が本発明における「中央領域検出手段」に対応する。更に、本実施例の記憶部104が本発明における「記憶手段」に対応し、予測部105が本発明における「予測手段」に対応する。
図3には、車載カメラ10で得られた撮影画像が例示されている。図示するように撮影画像には、様々な大きさの歩行者H1〜H9が、様々な位置に写っている。尚、図3に示した例では、移動体として専ら歩行者が写っているものとしているが、移動体は歩行者に限られるわけではなく自動車や二輪車などであってもよい。
このような撮影画像中に写った移動体を検出する手法としては、移動体の特徴的な形状を示すテンプレートを予め記憶しておき、パターンマッチングを用いてテンプレートと一致する箇所を撮影画像の中から抽出する手法が広く用いられてきた。例えば、図4に破線の矩形で示した歩行者用のテンプレートTPを、撮影画像中に適用する位置を少しずつ移動させて、テンプレートTPと特徴が一致する箇所を探索していけば、歩行者H4を検出することができる。もちろん、テンプレートTPよりも大きく写った歩行者H1〜H3は、テンプレートTPでは検出することができない。また、テンプレートTPに比べて小さすぎる歩行者H5〜H9もテンプレートTPでは検出することができない。従って、これらの歩行者については、別の大きさのテンプレートTPを用いて、同じようにして探索する必要がある。
図5には、歩行者を検出するために用いられる複数のテンプレートTPが例示されている。本実施例では、小さなテンプレートTPから大きなテンプレートTPまで、9種類のテンプレートTPが予め記憶されている。尚、以下では、便宜上、小さな5つのテンプレートTPを「第1テンプレートTP1」と称し、大きな4つのテンプレートTPを「第2テンプレートTP2」と称するものとする。また、第1テンプレートTP1に含まれる5つのテンプレートTPを、小さいものから順番に、TP1a,TP1b,TP1c,TP1d,TP1eと称して区別するものとする。第2テンプレートTP2についても同様に、小さいものから順番にTP2a,TP2b,TP2c,TP2dと称して区別するものとする。
尚、本実施例では第1テンプレートTP1で検出される小さな歩行者が、本発明における「第1移動体」に対応し、第2テンプレートTP2で検出される大きな歩行者が、本発明における「第2移動体」に対応する。
また、本実施例では、第1テンプレートTP1,第2テンプレートTP2は複数のテンプレートTPで構成されるものとしているが、必ずしも複数のテンプレートTPから構成されている必要はなく、例えば第1テンプレートTP1,第2テンプレートTP2の何れかは、1つのテンプレートTPで構成されていても良い。
更に、本実施例では、9つのテンプレートTPを、便宜的に、大きく第1テンプレートTP1および第2テンプレートTP2の2種類のテンプレートに分類したが、3種類以上のテンプレートに分類しても構わない。
図5に示した全てのテンプレートTPを用いて撮影画像を探索すれば、図3中の全ての歩行者H1〜H9を洩れなく検出することができる。しかし、全てのテンプレートTPについて、図4に示したようにして撮影画像を隈無く探索したのでは、時間が掛かりすぎて迅速に移動体を検出することが難しい。そこで、本実施例の移動体検出装置100では、次のような方法を用いて移動体を検出する。
B.第1実施例の移動体検出処理 :
図6には、第1実施例の移動体検出装置100が撮影画像中の移動体を検出する際に実行する移動体検出処理のフローチャートが示されている。
移動体検出処理では、先ず始めに車載カメラ10から撮影画像を取得する(S100)。そして、前回に取得した撮影画像が存在するか否かを判断する(S101)。前述したように撮影部101は、一定周期で車載カメラ10から撮影画像を取得しているから、通常の場合は、前回に取得した撮影画像が存在する(S101:yes)と判断される。一方、車載カメラ10や移動体検出装置100の電源投入直後は、前回に取得した撮影画像は存在しない(S101:no)と判断される。
また、車載カメラ10は必ずしも連続的に撮影画像を取得する必要はなく、所定の時間間隔で複数枚の撮影画像を単発的に撮影しても良い。この場合は、前回に画像を撮影してから、所定の時間間隔以上(あるいは所定時間より長い所定の基準時間以上)の時間が経過していた場合には、前回に取得した撮影画像は存在しない(S101:no)と判断してもよい。
前回の撮影画像が存在すると判断した場合は(S101:yes)、前回の撮影画像についての移動体の検出結果を記憶部104から読み出す(S102)。そして、前回の撮影画像についての検出結果に基づいて、今回の撮影画像についての中央領域検出用のテンプレートを設定する(S103)。詳細には後述するが、移動体検出装置100は、撮影画像を「周辺領域」と「中央領域」とに分けて、領域毎に移動体を検出している。中央領域検出用のテンプレートとは、撮影画像の中央領域に写った移動体を検出するために用いるテンプレートである。
これに対して、前回の撮影画像が存在しないと判断した場合は(S101:no)、前回の撮影画像についての検出結果を読み出すことなく、今回の撮影画像についての中央領域検出用のテンプレートを設定する(S103)。
図7には、前回の撮影画像の検出結果に基づいて、中央領域検出用のテンプレートを設定する基本的な考え方が示されている。
先ず、図7に示すように撮影画像を、左右方向両側に設けた周辺領域RPと、中央部分に設けた中央領域RCとに分けて考える。すると、図7(a)中で斜線を付して示したように周辺領域RPに写った大きな歩行者は、破線の矢印で示すように中央領域RCに移動することが考えられる。その一方で、周辺領域RPに写ることなく、中央領域RCにいきなり大きな歩行者が写ることは考えにくい。従って、中央領域検出用のテンプレートとして、大きな歩行者を検出するためのテンプレート(第2テンプレートTP2)を設定するのは、周辺領域RPで大きな歩行者が検出された後でよいと考えられる。
また、図7(b)に例示したように、小さな歩行者が周辺領域RPに写っていた場合にも、その歩行者がやがて中央領域RCに移動することが考えられる。従って、周辺領域RPで小さな歩行者が検出された場合には、中央領域検出用のテンプレートとして、小さな歩行者を検出するためのテンプレート(第1テンプレートTP1)を設定しておく必要があると考えられる。
更に、中央領域RCに写った歩行者は、次の撮影画像では近付いて来たために大きく写ることが考えられる。従って、図7(c)に斜線を付して示したように、周辺領域RPで小さな歩行者が検出された場合には、中央領域検出用のテンプレートとして、小さな歩行者を検出する第1テンプレートTP1だけでなく、大きな歩行者を検出する第2テンプレートTP2を設定しておく必要があると考えられる。
また、中央領域RCに写ってはいるが、遠くに居るため小さすぎて検出できなかった歩行者が、次の撮影画像では検出可能な大きさになるまで近付いてくることも考えられる。従って、中央領域RCおよび周辺領域RPで小さな歩行者が検出されていない場合でも、小さな歩行者を検出する第1テンプレートTP1は、中央領域検出用のテンプレートとして設定しておく必要があると考えられる。
以上、前回の撮影画像についての検出結果から、中央領域検出用のテンプレートを設定する基本的な考え方について説明した。図6の移動体検出処理のS103では、実際には、図8に示すテーブルを参照することによって、中央領域検出用のテンプレートを設定する。尚、図8のテーブルは、記憶部104に予め記憶されている。
先ず、前回に取得した撮影画像が存在しなかった場合(図6のS101で「no」と判断した場合)は、第1テンプレートTP1および第2テンプレートTP2を中央領域検出用のテンプレートに設定する。
一方、前回に取得した撮影画像が存在していた場合(図6のS101で「yes」と判断した場合)は、移動体の検出結果が読み出されるので(S102参照)、その結果に基づいて、以下のようにして中央領域検出用のテンプレートを設定する。
先ず始めに、中央領域RCで移動体が検出されていなかった場合について説明する。この場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。そして、周辺領域RPで移動体が検出されていない場合は、周辺領域RPから歩行者が移動してくることはないと考えて良いので、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
また、周辺領域RPで第1移動体(この場合は小さな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる小さな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
更に、周辺領域RPで第2移動体(この場合は大きな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる大きな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを設定しておけばよい。
次に、中央領域RCで第1移動体(この場合は小さな歩行者)が検出されていた場合について説明する。この場合は、中央領域RCに写った小さな歩行者と、遠方から近付いてきて中央領域RCに現れる小さな歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。そして、周辺領域RPで移動体が検出されていない場合は、周辺領域RPから歩行者が移動してくることはないと考えて良いので、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
但し、中央領域RCの小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されるような比較的大きな歩行者であった場合には、その歩行者が近付いてきた結果、テンプレートTP2aで検出されるような大きな歩行者として写ることも考えられる。そこで、中央領域RCで検出された小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されていた場合には、第2テンプレートTP2の中の小さなテンプレートTP2aも、念のために中央領域検出用のテンプレートとして設定しておく。図8中に(TP2a)と表示されているのは、このことを表している。
中央領域RCで小さな歩行者が検出されており、且つ、周辺領域RPでも第1移動体(小さな歩行者)が検出されていた場合には、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
但し、中央領域RCの小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されていた場合には、第2テンプレートTP2中のテンプレートTP2aも中央領域検出用のテンプレートとして設定しておく。
更に、中央領域RCで小さな歩行者が検出されており、且つ、周辺領域RPで第2移動体(大きな歩行者)が検出されていた場合は、中央領域RCの小さな歩行者と、周辺領域RPから移動してくる大きな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを設定しておけばよい。
最後に、中央領域RCで第2移動体(大きな歩行者)が検出されていた場合について説明する。この場合は、中央領域RCに写った大きな歩行者と、遠方から近付いてきて中央領域RCに現れる小さな歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。従って、この場合は、周辺領域RPでの移動体の検出結果に拘わらず、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを、中央領域検出用のテンプレートとして設定しておけばよい。
図6に示した移動体検出処理のS103では、以上のようにして、中央領域検出用のテンプレートを設定する。こうして、中央領域検出用のテンプレートを設定したら、今度は周辺領域検出用のテンプレートを設定する(S104)。
周辺領域RPについては、車載カメラ10の死角に接しているので、死角から突然に大きな歩行者が現れたり、小さな歩行者が現れたりすることが起こり得る。もちろん、遠方から近付いてきた歩行者が周辺領域RPに小さく写ることも考えられる。
従って、図9に例示したテーブルに示されるように、周辺領域検出用のテンプレートについては、前回の撮影画像についての検出結果に拘わらず、常に第1テンプレートTP1と第2テンプレートTP2とを設定しておく。尚、図9のテーブルも、前述した図8のテーブルと同様に、記憶部104に予め記憶されている。
以上のようにして、中央領域検出用のテンプレートと、周辺領域検出用のテンプレートとを設定したら(図6のS103、S104)、設定したテンプレートを用いて、中央領域RCに写った移動体を検出する処理(中央領域検出処理S200)を開始し、続いて周辺領域RPに写った移動体を検出する処理(周辺領域検出処理S300)を開始する。
B−1.中央領域検出処理 :
図10には、中央領域検出処理のフローチャートが示されている。中央領域検出処理(S200)を開始すると、先ず始めに、中央領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S201)。
続いて、選択したテンプレートの幅だけ、撮影画像の中央領域RCを拡張する(S202)。これは、次のような処理である。
図11には、撮影画像の中央領域RCを拡張する様子が例示されている。図11(a)が中央領域RCを拡張する前の状態を表しており、図11(b)が中央領域RCを拡張した後の状態を表している。
図11(a)に示されるように、撮影画像中に中央領域RCを設定すると、中央領域RCの境界と、検出すべき移動体とが重なってしまうことがある。図11(a)に示した例では、中央領域RCの境界が重なるのは歩行者H4だけであるが、このようなことは検出しようとする全ての大きさの歩行者について起こり得る。そして、境界に重なった歩行者については、テンプレートを用いて中央領域RCを探索しても検出できない可能性がある。
そこで、中央領域RCに写った移動体を探索するに先立って、境界に重なった歩行者が中央領域RCに含まれるように境界を移動させて、中央領域RCを拡張しておく。また、この時の境界の移動量は、探索に用いるテンプレートの幅の半分に相当する分だけ、左右の境界を外側に移動させればよい。これは、たとえ様々な大きさの歩行者が境界上に存在したとしても、検出できるのはテンプレートに対応する大きさの歩行者だけなので、テンプレートの幅の半分程度、境界を外側に移動させれば十分なためである。
図11(b)に示した例では、テンプレートTP1dが選択されているため、そのテンプレートの幅の半分に相当する分だけ左右の境界を外側に移動させている。その結果、中央領域RCは、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
こうして、選択したテンプレートの幅に相当するだけ中央領域RCを拡張したら、拡張した中央領域RC内でテンプレートの位置を少しずつ移動させることによって、移動体を検出する(図10のS203)。そして、拡張した中央領域RC内を全て探索したら、検出結果を記憶部104に記憶する(S204)。検出結果としては、移動体が検出された位置と、その移動体を検出したテンプレート(図11(b)に示した例ではテンプレートTP1d)とを記憶する。移動体を検出したテンプレートが分かれば、移動体の大まかな大きさを知ることができる。
続いて、中央領域検出用のテンプレートの中で未選択のテンプレートが存在するか否かを判断する(S205)。その結果、未選択のテンプレートが存在する場合(S205:yes)は、処理の先頭に戻って、新たなテンプレートを1つ選択した後(S201)、前述した続く一連の処理(S202〜S205)を開始する。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S205:no)、図10の中央領域検出処理(S200)を終了して、図6の移動体検出処理に復帰する。そして、移動体検出処理では、中央領域検出処理(S200)から復帰すると続いて、周辺領域検出処理(S300)を開始する。
B−2.周辺領域検出処理 :
図12には、周辺領域検出処理のフローチャートが示されている。周辺領域検出処理(S300)の場合も、処理を開始すると先ず始めに、周辺領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S301)。
続いて、選択したテンプレートの幅だけ、撮影画像の周辺領域RPを拡張する(S302)。
図13には、撮影画像の周辺領域RPを拡張する様子が例示されている。図13(a)は周辺領域RPを拡張する前の状態を表しており、図13(b)は周辺領域RPを拡張した後の状態を表している。
撮影画像中に周辺領域RPを設定した場合も、前述した中央領域RCを設定した場合と同様に、周辺領域RPの境界が撮影画像中の移動体に重なってしまうことがある(図13(a)参照)。そして、境界が重なった歩行者については、テンプレートを用いて周辺領域RPを探索しても検出できない可能性がある。
そこで、周辺領域RPに写った移動体を探索するに先立って、境界が重なった歩行者が周辺領域RPに含まれるように境界を移動させておく。すなわち、撮影画像の左側に設けられた周辺領域RPと中央領域RCとの境界については右方向に移動させ、撮影画像の右側に設けられた周辺領域RPと中央領域RCとの境界については左方向に移動させる。また、境界の移動量については、前述した中央領域RCの境界を移動させる場合と同様に、探索に用いるテンプレートの幅の半分に相当する分だけ移動させればよい。
図13(b)に示した例では、テンプレートTP1dが選択されている。このため、撮影画像中の左側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が右方向に移動され、撮影画像中の右側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が左方向に移動されている。その結果、周辺領域RPの場合も、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
こうして、選択したテンプレートの幅に相当するだけ周辺領域RPを拡張したら、拡張した周辺領域RP内でテンプレートの位置を少しずつ移動させることによって、移動体を検出する(図12のS303)。この時、左右の周辺領域RPの間には中央領域RCが存在するが、この中央領域RCの移動体は中央領域検出処理(S200)で既に検出済みなので、中央領域RCの部分は飛ばして検出すればよい(図13(b)参照)。
そして、拡張した周辺領域RP内を全て探索したら、検出結果を記憶部104に記憶する(S304)。周辺領域検出処理(S300)においても、前述した中央領域検出処理(S200)と同様に、検出結果としては、移動体が検出された位置と、その移動体を検出したテンプレート(従って、移動体の大きさ)とを記憶する。
続いて、周辺領域検出用のテンプレートの中で未選択のテンプレートが存在するか否かを判断する(S305)。その結果、未選択のテンプレートが存在する場合(S305:yes)は、処理の先頭に戻って新たなテンプレートを1つ選択した後(S301)、前述した続く一連の処理(S302〜S305)を開始する。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S305:no)、図12の周辺領域検出処理(S300)を終了して、図6の移動体検出処理に復帰する。
そして、移動体検出処理では、周辺領域検出処理(S300)から復帰すると、移動体検出処理を終了するか否かを判断する(図6のS105)。その結果、処理を終了しないと判断した場合は(S105:no)、移動体検出処理の先頭に戻って、新たな撮影画像を車載カメラ10から取得した後(S101)、上述した続く一連の処理を繰り返す。
これに対して、処理を終了すると判断した場合は(S105:yes)、図6に示した第1実施例の移動体検出処理を終了する。
以上に説明したように、第1実施例の移動体検出装置100は、撮影画像を中央領域RCと周辺領域RPとに分けて移動体を検出する。そして、周辺領域RPについては、全てのテンプレートTPを用いて移動体を検出するが、中央領域RCについては、前回の撮影画像についての検出結果に応じて設定した一部のテンプレートTPを用いて移動体を検出する。このため、従来のように、撮影画像の全領域を全てのテンプレートTPを用いて移動体を検出する場合に比べて、移動体の検出に要する時間を短縮することができる。
また、中央領域検出用のテンプレートTPとしては、前回の撮影画像についての検出結果から、今回の撮影画像の中央領域RCでは移動体が検出される可能性はないと考えられるテンプレートTPが除かれるものの、残りの全てのテンプレートTPは中央領域検出用のテンプレートTPに設定される。このため、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
C.第2実施例の移動体検出処理 :
上述した第1実施例では、前回の撮影画像についての検出結果に基づいて、中央領域検出用のテンプレートTPを設定した。しかし、前回の撮影画像だけでなく、前々回の撮影画像についての検出結果も考慮して、中央領域検出用のテンプレートTPを設定しても良い。以下では、このような第2実施例の移動体検出処理について、第1実施例との相違点を中心として説明する。
図14には、第2実施例の移動体検出処理のフローチャートが示されている。第2実施例の移動体検出処理でも、前述した第1実施例と同様に、先ず始めに車載カメラ10から撮影画像を取得し(S150)、続いて、前回に取得した撮影画像が存在するか否かを判断する(S151)。
前回の撮影画像が存在すると判断した場合は(S151:yes)、前回の撮影画像についての移動体の検出結果を記憶部104から読み出した後(S152)、前回の撮影画像中で移動体が検出されていたか否かを判断する(S153)。
前回の撮影画像中で移動体が検出されていた場合は(S153:yes)、前々回の撮影画像についての検出結果も記憶部104から読み出して(S154)、その移動体が前々回の撮影画像でも検出されているか否かを判断する(S155)。その結果、前々回の撮影画像でも検出されていた場合は(S155:yes)、前回の撮影画像中で検出された位置と、前々回の撮影画像中で検出された位置とに基づいて、今回の中央領域検出処理(S200)で、その移動体が中央領域RC中に検出されるか否かを予測する(S156)。
図16には、前回の撮影画像および前々回の撮影画像での移動体の検出結果に基づいて、今回の撮影画像に対する中央領域検出処理(S200)で中央領域RC中に検出されるか否かを予測する様子が例示されている。
図16(a)に示した例では、前回の撮影画像中で検出された歩行者は細かい斜線を付して表示されており、前々回の撮影画像中で検出された歩行者は粗い斜線を付して表示されている。前述したように車載カメラ10は所定の時間間隔で画像を撮影しているから、前々回の撮影画像中で検出された歩行者の位置と、前回の撮影画像中で検出された歩行者の位置とが分かれば、今回の撮影画像中で歩行者が検出される大まかな範囲を予測することができる。
図16(a)中で太い破線で囲って示した範囲は、このようにして得られた予測範囲を表している。尚、移動体の検出漏れを防ぐ観点からは、移動体が検出される予測範囲を、余裕を持って広めに予測しておくことが望ましい。図16(a)に示した例では、予測範囲は中央領域RCに存在するから、この場合は、その移動体が中央領域RCで検出されると予測することができる。
図16(b)に示した例では、前々回の撮影画像で歩行者(粗い斜線を付して表示)が検出された位置と、前回の撮影画像で歩行者(細かい斜線を付して表示)が検出された位置とがあまり離れていない。従って、その歩行者が今回の撮影画像中で検出される大まかな予測範囲は、図16(b)中に太い破線で示した範囲となる。この場合は、予測範囲は中央領域RC内には存在しないから、その移動体は中央領域RCでは検出されないと予測することができる。
上述した2つの例は、何れも周辺領域RPで歩行者が検出された場合であったが、中央領域RCで歩行者が検出された場合にも、その歩行者が中央領域RCで検出されるか否かを、同様にして予測することができる。
すなわち、図16(c)に例示するように、前々回の撮影画像で歩行者(粗い斜線を付して表示)が検出された位置と、前回の撮影画像で歩行者(細かい斜線を付して表示)が検出された位置とに基づいて、太い破線で囲った予測範囲を予測することができる。そして、この場合も、予測範囲の一部が中央領域RC内に存在するから、その移動体は、今回の撮影画像中では中央領域RCで検出されるものと予測することができる。
図14のS156では、移動体が中央領域RCで検出されるか否かを、以上のようにして予測する。
続いて、こうして得られた予測結果に基づいて、中央領域検出用のテンプレートTPを設定する(S157)。すなわち、前回および前々回の撮影画像で移動体が検出されていた場合には、その移動体が中央領域RCで検出されるか否かを予測し、中央領域RCで検出されると予測された場合には、その移動体用のテンプレートTPを中央領域検出用のテンプレートTPに設定する。また、その移動体が中央領域RCで検出されないと予測された場合には、その移動体用のテンプレートTPは中央領域検出用のテンプレートTPに設定しない。
尚、S156で移動体の検出が予測されていない場合でも、検出できないほど小さく写った移動体が近付いてきて、いきなり中央領域RC内に写る場合も起こり得る。そこで、S157では、S156での予測結果に拘わらず、テンプレートTP1aおよびテンプレートTP1b(あるいは第1テンプレートTP1)については中央領域検出用のテンプレートTPに設定しておく。
また、移動体用のテンプレートTPを設定するに際しては、その移動体を検出したテンプレートTPだけでなく、そのテンプレートTPに隣接する大きさのテンプレートTPも設定しておくことが望ましい。例えば、その移動体がテンプレートTP1c(図5参照)で検出されていた場合は、テンプレートTP1bおよびテンプレートTP1dを中央領域検出用のテンプレートTPに設定しておくことが望ましい。
あるいは、前述した第1実施例と同様に、その移動体が第1テンプレートTP1で検出されていたのであれば第1テンプレートTP1を、第2テンプレートTP2で検出されていたのであれば第2テンプレートTP2を、中央領域検出用のテンプレートTPに設定するようにしても良い。
以上では、前回の撮影画像で検出された移動体が、前々回の撮影画像でも検出されている場合(S155で「yes」と判断された場合)に、中央領域検出用のテンプレートTPを設定する処理について説明した。
これに対して、前回の撮影画像が存在しない場合(S151:no)や、前回の撮影画像では移動体が検出されていない場合(S153:no)、あるいは、前回の撮影画像で検出された移動体が前々回の撮影画像では検出されていなかった場合(S155:no)は、上述した予測はできない。そこで、これらの場合は、前述した第1実施例の移動体検出処理と同様に、図8に例示したテーブルを参照することによって、中央領域検出用のテンプレートTPを設定する(S158)。
以上のようにして中央領域検出用のテンプレートTPを設定したら、続いて周辺領域検出用のテンプレートTPを設定する(図15のS159)。周辺領域検出用のテンプレートTPについては、前述した第1実施例と同様に、図9に示したテーブルを参照して設定する。この結果、第2実施例においても、周辺領域検出用のテンプレートTPには、常に第1テンプレートTP1と第2テンプレートTP2とが設定される。
以上のようにして、中央領域検出用のテンプレートと、周辺領域検出用のテンプレートとを設定したら、前述した中央領域検出処理(S200)を開始して中央領域RCの移動体を検出し、続いて、周辺領域検出処理(S300)を開始して周辺領域RPの移動体を検出する。中央領域検出処理(S200)および周辺領域検出処理(S300)については、前述した第1実施例中で行われる処理と同様であるため、説明は省略する。
周辺領域検出処理(S300)を終了すると、第2実施例の移動体検出処理を終了するか否かを判断する(S160)。その結果、処理を終了しないと判断した場合は(S160:no)、移動体検出処理の先頭に戻って、新たな撮影画像を車載カメラ10から取得した後(図14のS151)、上述した続く一連の処理を繰り返す。
これに対して、処理を終了すると判断した場合は(S160:yes)、図14および図15に示した第2実施例の移動体検出処理を終了する。
以上に説明した第2実施例では、前回の撮影画像および前々回の撮影画像での移動体の検出結果に基づいて、今回に撮影された撮影画像中の中央領域RCで移動体が検出されるか否かを予測する。そして、予測結果に基づいて必要と考えられるテンプレートTPを、中央領域検出用のテンプレートTPを設定する。このため、撮影画像の全領域を全てのテンプレートTPを用いて移動体を検出する場合に比べて、移動体の検出に要する時間を大幅に短縮することができる。
また、移動体が検出される可能性のあるテンプレートTPは中央領域検出用のテンプレートTPとして設定されるので、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
D.変形例 :
上述した第1実施例および第2実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。
D−1.第1変形例 :
上述した第1実施例および第2実施例では、中央領域RCは中央領域検出用のテンプレートTPを用いて隈無く探索し、周辺領域RPは周辺領域検出用のテンプレートTPを用いて隈無く探索するものとして説明した。しかし、必ずしも中央領域RCあるいは周辺領域RPを隈無く探索する必要があるとは限らない。
例えば、図17(a)中に斜線を付して示したように、撮影画像中の上部に設けられた上部領域RHでは、大きな移動体が写っていることは考えにくい。そこで、中央領域検出用のテンプレートTPあるいは周辺領域検出用のテンプレートTPの中に、大きな移動体を検出するためのテンプレートTP(第2テンプレートTP2)が設定されていた場合には、第2テンプレートTP2については上部領域RHの探索を省略してもよい。
また、図17(b)中に斜線を付して示したように、撮影画像中の下部に設けられた下部領域RLでは、小さな移動体が写っていることは考えにくい。そこで、中央領域検出用のテンプレートTPあるいは周辺領域検出用のテンプレートTPの中に、小さな移動体を検出するためのテンプレートTP(第1テンプレートTP1)が設定されていた場合には、第1テンプレートTP1については下部領域RLの探索を省略してもよい。
こうすれば、撮影画像中の移動体をより一層迅速に検出することが可能となる。
D−2.第2変形例 :
また、上述した第1実施例および第2実施例では、撮影画像は1つの車載カメラ10で撮影されているものとして説明した。しかし、撮影画像は1つの車載カメラ10で撮影されている必要はなく、複数の車載カメラ10で撮影した画像を合成してもよい。
図18には、このような第2変形例が例示されている。図18(a)に例示した車両1には、主に左側の前方を撮影する左車載カメラ10Lと、主に右側の前方を撮影する右車載カメラ10Rの2つの車載カメラ10が搭載されている。そして、これら左車載カメラ10Lおよび右車載カメラ10Rで得られる撮影画像は、一部が重複している。
そこで、第2変形例の撮影部101(図2参照)は、左車載カメラ10Lで得られた撮影画像と、右車載カメラ10Rで得られた撮影画像とを合成して、図18(b)に示すような1つの撮影画像を合成する。そして、合成した撮影画像に対して、図示されるように中央領域RCと周辺領域RPとを設定して、これら中央領域RCおよび周辺領域RPに対して、上述した第1実施例あるいは第2実施例の移動体検出処理を実行しても良い。
D−3.第3変形例 :
また、上述した第1実施例あるいは第2実施例では、1つあるいは複数の車載カメラ10で得られた撮影画像を、中央領域RCと周辺領域RPとに分割するものとして説明した。しかし、3つ以上の車載カメラ10を用いて車両1の周辺を撮影している場合には、車載カメラ10で撮影した画像を、中央領域RCあるいは周辺領域RPとして用いることもできる。
例えば、図19に示した車両1は、前方を撮影する前方車載カメラ10Fと、車両1の左方向を撮影する左車載カメラ10Lと、車両1の右方向を撮影する右車載カメラ10Rとを備えている。このような場合は、前方車載カメラ10Fで得られた画像を、撮影画像の中央領域RCとして用い、左車載カメラ10Lおよび右車載カメラ10Rで得られた画像を、撮影画像の周辺領域RPとして用いてもよい。
こうすれば、撮影画像を分割して中央領域RCと周辺領域RPとを生成する必要がない。また、図19に示したように、左車載カメラ10Lと前方車載カメラ10Fとの撮影範囲の一部を重複させ、前方車載カメラ10Fと右車載カメラ10Rとの撮影範囲の一部を重複させておけば、移動体の検出時に中央領域RCや周辺領域RPを拡張する処理(図10のS202、図12のS302)が不要となる。このため、撮影画像中の移動体を迅速に検出することが可能となる。
以上、各種の実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
1…車両、 10…車載カメラ、 100…移動体検出装置、
101…撮影部、 102…周辺領域検出部、 103…中央領域検出部、
104…記憶部、 105…予測部、 RC…中央領域、
RH…上部領域、 RL…下部領域、 RP…周辺領域、
TP1…第1テンプレート、 TP2…第2テンプレート。

Claims (11)

  1. 車載カメラ(10)によって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置(100)であって、
    前記撮影画像を所定の時間間隔で撮影する撮影手段(101)と、
    前記撮影画像中の左右両側に設けられた周辺領域(RP)の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出手段(102)と、
    前記撮影画像中の中央に設けられた中央領域(RC)の中から、前記第1移動体を前記移動体として検出する中央領域検出手段(103)と
    を備え、
    前記中央領域検出手段は、前回に撮影された前記撮影画像中の前記周辺領域で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
    ことを特徴とする移動体検出装置。
  2. 請求項1に記載の移動体検出装置であって、
    前記中央領域検出手段は、前回に撮影された前記撮影画像中の前記中央領域で前記第1移動体または前記第2移動体の少なくとも一方が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
    ことを特徴とする移動体検出装置。
  3. 請求項1または請求項2に記載の移動体検出装置であって、
    前回に撮影された前記撮影画像での前記移動体の検出結果と、前々回に撮影された前記撮影画像での前記移動体の検出結果とに基づいて、今回に撮影された前記撮影画像での前記移動体の検出結果を予測する予測手段(105)を備え、
    前記中央領域検出手段は、前記中央領域で前記第2移動体が検出される旨が前記予測手段によって予測された場合には、前記第1移動体および前記第2移動体を前記移動体として検出する手段である
    ことを特徴とする移動体検出装置。
  4. 請求項3に記載の移動体検出装置であって、
    前記予測手段は、前回の前記撮影画像の前記周辺領域で前記第2移動体が検出された場合に、該第2移動体が検出された位置と、前々回の前記撮影画像中で該第2移動体が検出された位置とに基づいて、今回の前記撮影画像の前記中央領域で前記第2移動体が検出されるか否かを予測する手段である
    ことを特徴とする移動体検出装置。
  5. 請求項3または請求項4に記載の移動体検出装置であって、
    前記中央領域検出手段は、大きさの違いを識別した状態で前記第1移動体を検出する手段であり、
    前記予測手段は、前回の前記撮影画像の前記中央領域で、所定の大きさよりも大きな前記第1移動体が検出されていた場合には、今回の前記撮影画像の前記中央領域で前記第2移動体が検出される旨を予測する手段である
    ことを特徴とする移動体検出装置。
  6. 請求項1ないし請求項5の何れか一項に記載の移動体検出装置であって、
    前記中央領域検出手段は、前回に撮影された前記撮影画像が存在しない場合には、前記前記第1移動体および前記第2移動体を前記移動体として検出する手段である
    ことを特徴とする移動体検出装置。
  7. 請求項1ないし請求項6の何れか一項に記載の移動体検出装置であって、
    隣接する領域を撮影する複数の前記車載カメラ(10L,10R)を備え、
    前記撮影手段は、前記複数の車載カメラの画像を合成して前記撮影画像を生成する手段である
    ことを特徴とする移動体検出装置。
  8. 請求項1ないし請求項7の何れか一項に記載の移動体検出装置であって、
    前記周辺領域検出手段および前記中央領域検出手段は、前記撮影画像中の下部に設けられた下部領域(RL)については、前記第1移動体を除いて前記移動体を検出する手段である
    ことを特徴とする移動体検出装置。
  9. 請求項1ないし請求項8の何れか一項に記載の移動体検出装置であって、
    前記周辺領域検出手段および前記中央領域検出手段は、前記撮影画像中の上部に設けられた上部領域(RH)の該撮影画像については、前記第2移動体を除いて前記移動体を検出する手段である
    ことを特徴とする移動体検出装置。
  10. 請求項1ないし請求項9の何れか一項に記載の移動体検出装置であって、
    前記第1移動体の形状的な特徴を表す第1テンプレート(TP1)と、前記第2移動体の形状的な特徴を表す第2テンプレート(TP2)とが記憶された記憶手段(104)を備え、
    前記周辺領域検出手段および前記中央領域検出手段は、
    前記第1移動体を検出する場合には、前記撮影画像の中から前記第1テンプレートに合致する箇所を検出することによって該第1移動体を検出し、
    前記第2移動体を検出する場合には、前記撮影画像の中から前記第2テンプレートに合致する箇所を検出することによって該第2移動体を検出する手段である
    ことを特徴とする移動体検出装置。
  11. 車載カメラによって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出方法であって、
    前記撮影画像を所定の時間間隔で撮影する撮影工程(S100,S150)と、
    前記撮影画像中の左右両側に設けられた周辺領域の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出工程(S300)と、
    前記撮影画像中の中央に設けられた中央領域の中から、前記第1移動体を前記移動体として検出する中央領域検出工程(S200)と、
    前記周辺領域検出工程および前記中央領域検出工程での検出結果を記憶する記憶工程(S204,S304)と
    を備え、
    前記中央領域検出工程は、前回に撮影された前記撮影画像中の前記周辺領域で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する工程である
    ことを特徴とする移動体検出方法。
JP2014003894A 2014-01-14 2014-01-14 移動体検出装置および移動体検出方法 Active JP6331402B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014003894A JP6331402B2 (ja) 2014-01-14 2014-01-14 移動体検出装置および移動体検出方法
US15/111,141 US10192106B2 (en) 2014-01-14 2015-01-09 Moving object detection apparatus and moving object detection method
PCT/JP2015/000070 WO2015107877A1 (ja) 2014-01-14 2015-01-09 移動体検出装置および移動体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014003894A JP6331402B2 (ja) 2014-01-14 2014-01-14 移動体検出装置および移動体検出方法

Publications (2)

Publication Number Publication Date
JP2015132969A true JP2015132969A (ja) 2015-07-23
JP6331402B2 JP6331402B2 (ja) 2018-05-30

Family

ID=53542774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014003894A Active JP6331402B2 (ja) 2014-01-14 2014-01-14 移動体検出装置および移動体検出方法

Country Status (3)

Country Link
US (1) US10192106B2 (ja)
JP (1) JP6331402B2 (ja)
WO (1) WO2015107877A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017056266A1 (ja) * 2015-09-30 2018-03-15 株式会社小松製作所 撮像装置
JP2020135609A (ja) * 2019-02-22 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
CN109163707B (zh) * 2018-09-06 2019-11-26 百度在线网络技术(北京)有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2006202047A (ja) * 2005-01-20 2006-08-03 Toyota Motor Corp 移動物体検出装置及び移動物体検出方法
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2013008070A (ja) * 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JP4064044B2 (ja) * 2000-08-29 2008-03-19 三菱電機株式会社 交通情報送信システム及び交通情報収集配信システム並びに交通情報収集配信方法
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
EP2674323B1 (en) * 2007-04-30 2018-07-11 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP5178276B2 (ja) 2008-03-27 2013-04-10 ダイハツ工業株式会社 画像認識装置
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
US8406472B2 (en) * 2010-03-16 2013-03-26 Sony Corporation Method and system for processing image data
JP5475138B2 (ja) * 2010-09-08 2014-04-16 トヨタ自動車株式会社 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
JP5267596B2 (ja) * 2011-02-23 2013-08-21 株式会社デンソー 移動体検出装置
JP2012220377A (ja) 2011-04-11 2012-11-12 Denso Corp 物体識別装置、および物体識別プログラム
JP5477394B2 (ja) * 2012-01-10 2014-04-23 株式会社デンソー 車両周辺監視装置
US20130245881A1 (en) * 2012-03-14 2013-09-19 Christopher G. Scarbrough System and Method for Monitoring the Environment In and Around an Automobile
DE102012210608A1 (de) * 2012-06-22 2013-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines Steuerparameters für ein Abstandsassistenzsystem eines Fahrzeugs
US9224062B2 (en) * 2013-08-09 2015-12-29 Xerox Corporation Hybrid method and system of video and vision based access control for parking stall occupancy determination
JP6316559B2 (ja) * 2013-09-11 2018-04-25 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2006202047A (ja) * 2005-01-20 2006-08-03 Toyota Motor Corp 移動物体検出装置及び移動物体検出方法
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2013008070A (ja) * 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017056266A1 (ja) * 2015-09-30 2018-03-15 株式会社小松製作所 撮像装置
US11008735B2 (en) 2015-09-30 2021-05-18 Komatsu Ltd. Image pick-up apparatus
JP2020135609A (ja) * 2019-02-22 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11610422B2 (en) 2019-02-22 2023-03-21 Canon Kabushiki Kaisha Image processing method, apparatus, and storage medium for object detection
JP7297463B2 (ja) 2019-02-22 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US10192106B2 (en) 2019-01-29
US20160335489A1 (en) 2016-11-17
JP6331402B2 (ja) 2018-05-30
WO2015107877A1 (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
JP6331402B2 (ja) 移動体検出装置および移動体検出方法
JP5964108B2 (ja) 物体検出装置
JP5058002B2 (ja) 物体検出装置
CN105827914A (zh) 镜头清理的提示方法及装置
JP2006338272A (ja) 車両挙動検出装置、および車両挙動検出方法
WO2016151976A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP4853444B2 (ja) 移動物体検出装置
JP2019003428A5 (ja)
JP6617150B2 (ja) 物体検出方法及び物体検出装置
CN104239847A (zh) 行车警示方法及车用电子装置
JP2018038009A5 (ja)
JP5849942B2 (ja) 車載画像処理装置
JP6384803B2 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2016173795A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
US10965877B2 (en) Image generating method and electronic apparatus
JP2018010466A (ja) 物体検知装置
JP2021061546A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2006285910A (ja) 車載物体検出装置、および物体検出方法
JP2017184136A5 (ja)
JP2007317128A (ja) 移動距離検出装置及び移動距離検出方法
JP2005216200A (ja) 他車検出装置及び他車検出方法
JP2018147241A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R151 Written notification of patent or utility model registration

Ref document number: 6331402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250