JP2016015029A - 物体検出装置および物体検出プログラム - Google Patents

物体検出装置および物体検出プログラム Download PDF

Info

Publication number
JP2016015029A
JP2016015029A JP2014137006A JP2014137006A JP2016015029A JP 2016015029 A JP2016015029 A JP 2016015029A JP 2014137006 A JP2014137006 A JP 2014137006A JP 2014137006 A JP2014137006 A JP 2014137006A JP 2016015029 A JP2016015029 A JP 2016015029A
Authority
JP
Japan
Prior art keywords
state
information
object detection
detection device
likelihood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014137006A
Other languages
English (en)
Other versions
JP6340957B2 (ja
Inventor
邦博 後藤
Kunihiro Goto
邦博 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014137006A priority Critical patent/JP6340957B2/ja
Priority to CN201580034978.2A priority patent/CN106471522A/zh
Priority to US15/322,815 priority patent/US20170151943A1/en
Priority to PCT/JP2015/069187 priority patent/WO2016002900A1/ja
Priority to DE112015003089.1T priority patent/DE112015003089T5/de
Publication of JP2016015029A publication Critical patent/JP2016015029A/ja
Application granted granted Critical
Publication of JP6340957B2 publication Critical patent/JP6340957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】精度よく特定の物体を検出する物体検出装置および物体検出プログラムを提供する。【解決手段】物体検出装置においては、少なくとも物体の位置を含む物体情報を繰り返し取得しS130、S140、新たな物体についての物体情報を取得すると、この物体についての物体情報を、予め準備された複数の物体状態のうちのある物体状態と対応付けて設定するS150。そして、物体状態が設定された物体についての新たな物体情報が取得されると、新たな物体情報が予め物体状態毎に準備された状態遷移条件を満たすか否かを判定し、新たな物体情報が状態遷移条件を満たす場合、状態遷移条件が対応する新たな物体状態に物体状態を遷移させるS230、S240。また、物体状態が予め設定された要出力状態に遷移すると、この物体が特定の物体である旨を出力するS260、S330、S360。【選択図】図2

Description

本発明は、自車両の周囲に存在する特定の物体を検出する物体検出装置、および物体検出プログラムに関する。
上記の物体検出装置として、歩行者等の特定の物体を検出するための手法が多く提案されている。例えば、上記の物体検出装置には、物体の形状を検出するときの検出しやすさを示す値が低い(検出しにくい)ほど、特定の物体が検出されたと判定するための閾値を小さく設定し、特定の物体が検出されたと判定されやすくしたものがある(例えば、特許文献1参照)。
特開4937029号公報
しかしながら、上記物体検出装置では、閾値が小さく設定されると、信頼度が低い対象物であっても特定の物体であると判定されやすくなるため、特定の物体の誤検出が増える虞があった。
そこで、このような問題点を鑑み、自車両の周囲に存在する特定の物体を検出する物体検出装置において、より精度よく特定の物体を検出できるようにすることを本発明の目的とする。
本発明の物体検出装置において、物体情報取得手段は、少なくとも物体の位置を含む物体情報を繰り返し取得し、物体状態設定手段は、新たな物体についての物体情報が取得されると、この物体についての物体情報を、予め準備された複数の物体状態のうちのある物体状態と対応付けて設定する。そして、物体状態遷移手段は、物体状態が設定された物体についての新たな物体情報が取得されると、新たな物体情報が予め物体状態毎に準備された状態遷移条件を満たすか否かを判定し、新たな物体情報が状態遷移条件を満たす場合、状態遷移条件が対応する新たな物体状態に物体状態を遷移させる。また、出力手段は、物体状態が予め設定された要出力状態に遷移すると、該物体が特定の物体である旨を出力する。
このような物体検出装置によれば、状態遷移条件を満たすか否かによって物体状態を遷移させ、要出力状態に遷移すると特定の物体である旨を出力するので、精度よく特定の物体を検出できる。
なお、上記目的を達成するためには、プログラムとして構成してもよい。例えば、コンピュータを、物体検出装置を構成する各手段として実現するための物体検出プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
本発明が適用された物体検出装置1の概略構成を示すブロック図である。 処理部10のCPU11が実行する対象物検出処理を示すフローチャートである。 撮像画像中の歩行者候補矩形の一例を示す画像図である。 手法1による歩行者候補矩形の一例を示す画像図である。 手法2による歩行者候補矩形の一例を示す画像図である。 手法3による歩行者候補矩形の一例を示す画像図である。 手法4による歩行者候補矩形の一例を示す画像図である。 クラスティングの一例を示す画像図である。 対象物の状態を遷移させる際の遷移条件の一覧を示す表である。 対象物の状態の遷移方法を示す状態遷移図である。 得られた対象物の位置を示す画像図である。 時刻の変化と対象物の状態の遷移との関係の一例を示す表である(飛び出し情報なし)。 飛び出し情報が対応する対象物を含む状態を示す画像図である。 時刻の変化と対象物の状態の遷移との関係の一例を示す表である(飛び出し情報あり)。
以下に本発明にかかる実施の形態を図面と共に説明する。
[第1実施形態]
[本実施形態の構成]
本発明が適用された物体検出装置1は、例えば乗用車等の車両に搭載され、自車両の周囲に存在する歩行者等の特定の種別の物体を検出する機能を備えている。物体検出装置1は、図1に示すように、処理部10と、カメラ21と、制御対象26とを備えている。
カメラ21は、自車両の周囲、例えば、予め設定された周期(例えば30fps等)で自車両の進行方向を繰り返し撮像する周知のカメラとして構成されており、得られた撮像画像を処理部10に送る。
制御対象26は、処理部10から特定の物体が検出された旨の信号を受けると、自車両がこの特定の物体と衝突する際の衝撃を緩和させる作動を行う。例えば、制御対象26は、自車両のブレーキや操舵装置を作動させるアクチュエータとして構成されており、ブレーキを作動させたり、操舵装置を作動させたりすることで、特定の物体との衝突を避けたり、衝突の際の衝撃を緩和させたりする。
処理部10は、CPU11と、ROM、RAM等のメモリ12とを備えている。CPU11は、メモリ12に格納されたプログラムに基づいて、後述する対象物検出処理等の各種処理を実施する。
[本実施形態の処理]
このように構成された物体検出装置1において、処理部10は、図2に示す対象物検出処理を実施する。対象物検出処理は、カメラ21の撮像画像から特定の種別の物体を検出し、この特定の種別の物体と衝突する虞がある場合に、制御対象26を作動させる処理である。
なお、本実施形態においては、特定の種別の物体として歩行者を検出する例について説明する。本実施形態の対象物検出処理は、例えば自車両の電源が投入されると開始され、その後、繰り返し実施される処理である。
対象物検出処理では、図2に示すように、まず、情報取得処理を実施する(S110〜S140)。情報取得処理では、始めにカメラ21による撮像画像を取得し(S110)続いて飛び出し検出を行う(S120)。
飛び出し検出は、例えば、特開2014−029604号公報に記載されているような手法を用いる。すなわち、過去における撮像画像と今回得られた撮像画像とを用いて、撮像画像中の各特徴点におけるオプティカルフローを求め、このオプティカルフローが自車両の予想挙動と交差する場合に、飛び出して来る物体である旨の飛び出し情報を撮像画像中の座標と対応付けてメモリ12に記録する。
なお、パターン識別等を用いて物標を特定してから飛び出し検出を行ってもよいが、オプティカルフローを用いて飛び出し検出を行う手法では、物標を特定することなく飛び出しの有無を検出できるため、処理が簡素かつ高速で行えるというメリットがある。
続いて、対象物(歩行者らしい物標)を検出する(S130)。この処理では、取得した撮像画像中から種々の手法を用いて歩行者が含まれる領域を示す矩形(歩行者候補矩形)を検出する。
この際、図3に示すように、歩行者らしい物標ほど多くの矩形が得られる傾向を利用する。例えば、図3に示すように、歩行者においては多くの矩形によって囲まれているが、樹木や標識においては歩行者よりも囲まれた矩形の数が少なくなる。
歩行者候補矩形を得るための手法としては、例えば、下記の4つの手法を用いる。
[手法1]:予め設定された1または複数の大きさの矩形を撮像画像中において移動させつつ、その都度、1または複数の辞書を用いて矩形中に含まれる物標に対するパターン識別を実施する。この際、パターン識別による一致度が閾値以上であれば矩形を設定する。
この手法において設定された矩形は、図4に示す例では、矩形1〜矩形4の4つとなる。設定された矩形の数が多くなるほど、歩行者らしさが高いといえる。
[手法2]:[手法1]と同様にパターン識別を行う。ただし、図5に示すように、パターン識別による一致度が閾値(手法1よりも小さな値の閾値)以上のものについて、得られた矩形毎に歩行者らしさを表すスコアを対応付けておく。スコアが高くなるほど歩行者らしさが高いといえる。
[手法3]:[手法1]と同様にパターン識別を行う。ただし、図6に示すように、得られた矩形毎に利用した辞書を対応付けておく。ここで、利用する辞書としては、例えば、歩行者の上半身および下半身を含む全身の形状に対応する辞書A、歩行者の上半身の形状に対応する辞書B、歩行者の下半身の形状に対応する辞書Cが準備されている。
また、辞書A、辞書B、辞書Cの順で信頼性が高い辞書として設定されている。信頼性がより高い辞書を用いて歩行者らしいと認識されるほど歩行者らしさが高いといえる。
[手法4]:複数の異なる探索方法を利用してパターン識別を行う。例えば、図7に示すように、前回以前に歩行者候補矩形が得られた周辺のみを探索する手法(探索方法A)、飛び出し検出がされた位置の周辺のみを探索する手法(探索方法B)、[手法1]と同様の手法(探索方法C)等を用いる。
この例では、探索方法A、探索方法B、探索方法Cの順で信頼性が高い探索方法として設定されている。信頼性がより高い探索方法を用いて歩行者らしいと認識されるほど歩行者らしさが高いといえる。
なお、上記手法において歩行者候補矩形を得る際には、識別器として例えばSVM(Support vector machine)等が利用でき、特徴量として例えばHOG(Histgrams of Oriented Gradients)、Haar-like Feature等が利用できる。
続いて、クラスタリングを行う(S140)。この処理では、S130の処理にて得られた多数の歩行者候補矩形について、撮像画像中の位置およびサイズが類似するものを1つにまとめあげる処理を含む。
この際、[手法1]においては矩形の数、[手法2]においては矩形を得る際の最大スコアおよび平均スコア、[手法3]においては矩形を得る際に利用した最大の信頼度を有する辞書の種別、[手法4]においては矩形を得る際に利用した最大の信頼度を有する探索方法、についての情報が矩形の位置とともにメモリ12に記録される。
このようにクラスタリングを行うと、図8に示すように、複数の物体(破線枠)として認識される可能性があった対象物が、1つの対象物(実線枠)として認識されることになる。
続いて、対象物の追跡を行うか否かを判定する(S150)。この処理では、例えば、歩行者候補矩形が1つでも設定されていればこの矩形に含まれる対象物の追跡を行う旨の判定を行う。
対象物の追跡を行わない場合には(S150:NO)、後述するS230の処理に移行する。また、対象物の追跡を行う場合には(S150:YES)、検出した対象物について、「新規状態」の設定を行う(S160)。ここで、対象物の状態としては、複数の状態が予め準備されており、新規状態とは、これらの状態のうちの1つを示す。
対象物の状態としては、図9に示すように、新規状態、状態A、状態B、状態Cとが準備されており、各状態において他の状態に遷移するための条件が予め設定されている。新規状態を除くと、状態A、状態B、状態Cの順で歩行者である尤度が高く設定されている。また、新規状態は、最初だけに設定される特殊な状態である。
また、図10に示すように、各状態において、ある条件を満たすと消滅(つまり対象物の追跡を終了する)よう設定されている。なお、本実施形態においては、状態遷移の際に、上位への遷移条件は厳しく、下位への遷移条件は緩く設定している。
また、上位への遷移は1段階ずつしか許可しないが、下位への遷移については無制限に遷移できるよう設定している。なお、複数の対象物が存在する場合には、対象物毎にS160〜S330の処理を実施することになる。また、S170以下の処理をループ処理として繰り返す場合には、カメラ21から撮像画像が得られる毎に処理を繰り返す。
続いて、対象物の状態の読み出しを行う(S170)。この処理では、現在の対象物の状態、現在の状態の継続回数等の情報をメモリ12から読み出す。
続いて、情報取得処理を実施する(S180)。この処理では、前述の通り、S110〜S140の処理を再度実施する。
続いて、判定の対象となる対象物について、飛び出し情報があるか否かを判定する(S210)。飛び出し情報の有無の判定には、対象物の座標と、S120の処理において飛び出しが検出された物標の座標とが概ね一致するか否かを判定し、一致する場合に、対象物に飛び出し情報が存在すると判定する。
飛び出し情報がなければ(S210:NO)、後述するS230の処理に移行する。また、飛び出し情報があれば(S210:YES)、対象物の状態を遷移させるための遷移条件、および対象物であることを確定するための確定条件を変更する(S220)。
この処理では、対象物であるとより判定されやすくなるように条件を変更する。例えば、図9に示す閾値(TH1〜TH5)を小さな値に変更したり、対象物であると確定するための継続回数の閾値を少ない回数に変更したりする。なお、このように条件を変更するのは、S210の処理にて肯定判定された場合だけであり、次回の処理においてS210の処理を実施した際に否定判定された場合には、変更前の条件で判定を行う。
続いて、遷移条件が成立したか否かを判定する(S230)。この処理では、図9に示すように、[手法1]において検出された矩形の数(検出矩形数)と閾値との比較、[手法2]において得られた平均スコアと閾値との比較、[手法3]において利用された辞書の種別等が対象物の状態に応じて設定された遷移条件を満たすか否かを判定する。
また、この処理においては、新規に検出された対象物の有無についても判定する。この処理で、新規に検出された対象物が存在していれば、遷移条件が成立したか否かに拘わらず、肯定判定される。
遷移条件が成立していなければ(S230:NO)、後述するS250の処理に移行する。また、遷移条件が成立してれば(S230:YES)、図9において対応する状態に状態を遷移させる(S240)。また、この処理において、新規に検出された対象物の状態は、新規状態に設定される。
続いて、対象物の状態(同じ状態の継続回数(継続時間))を更新し(S250)、対象物が歩行者であるか否かの判定を行う(S260)。この処理では、状態Aが予め設定された継続回数(例えば3回)だけ連続していれば対象物が歩行者である(要出力状態)と判定する。また、対象物の状態が「消滅」であれば、対象物が歩行者でないと判定する。その他の状態である場合には、判定は未確定となる。
続いて、対象物の判定が終了したか否かを判定する(S330)。少なくとも1つの対象物が歩行者または歩行者でないと判定されていれば、対象物の判定が終了したと判定する。対象物の判定が終了していなければ(S330:NO)、S170の処理に戻る。
また、対象物の判定が終了していれば(S330:YES)、出力優先順位を判定する(S340)。ここで、出力優先順位とは、複数の歩行者が検出された場合に、出力を行う歩行者を何れかに設定するための優先順位である。例えば、飛び出し検出された歩行者や、自車両の予想進路に最も近い歩行者等に高い優先順位が設定される。
続いて、設定された歩行者についての位置や速度等の情報を出力し(S360)、対象物検出処理を終了する。なお、全ての対象物の状態が「消滅」に遷移していた場合には、S350、S360の処理を省略してもよい。
また、本処理の終了時において、対象物の判定が終了していない他の対象物が存在する場合には、S170の処理に戻るようにしてもよい。
このような対象物検出処理を実行すると、例えば、図11に示す例では、4つの対象物について状態の追跡が実施される。ある対象物についての状態は、例えば、図12に示すように、時刻1(初回の処理)においては新規状態となり、時刻2(2回目の処理)では消滅に遷移するか、状態Aに遷移する。その後、条件を満たすか否かに応じて状態が遷移することになる。
また、図13に示すように、左端の対象物について飛び出し情報が対応付けられている場合には、図14に示すように、飛び出し情報も加味した条件で判定を行う。つまり、飛び出し情報が存在する時刻において、S220の処理にて遷移条件や確定条件を変更して処理を行い、飛び出し情報が存在しない時刻においては、遷移条件や確定条件を変更することなく処理を行うことになる。
[本実施形態による効果]
以上のように詳述した物体検出装置1において、処理部10は、少なくとも物体の位置を含む物体情報(位置、形状)を繰り返し取得し、新たな物体についての物体情報が取得されると、この物体についての物体情報を、予め準備された複数の物体状態のうちのある物体状態と対応付けて設定する。そして、処理部10は、物体状態が設定された物体についての新たな物体情報が取得されると、新たな物体情報が予め物体状態毎に準備された状態遷移条件を満たすか否かを判定し、新たな物体情報が状態遷移条件を満たす場合、状態遷移条件が対応する新たな物体状態に物体状態を遷移させる。また、処理部10は、物体状態が予め設定された要出力状態に遷移すると、この物体が特定の物体である旨を出力する。
このような物体検出装置1によれば、状態遷移条件を満たすか否かによって物体状態を遷移させ、要出力状態に遷移すると特定の物体である旨を出力するので、精度よく特定の物体を検出できる。
また、上記の物体検出装置1において処理部10は、ある物体が特定の物体状態に遷移してからの継続時間を取得し、継続時間が予め設定された遷移判定時間を超えると、新たな物体状態に遷移させる。
このような物体検出装置1によれば、同じ物体状態の継続時間が遷移判定時間を超えるか否かということを状態遷移の条件とすることができる。
また、上記の物体検出装置1において処理部10は、物体状態が設定された物体について、この物体が飛び出してくるか否かに関する飛び出し情報を取得し、飛び出し情報の有無に応じて、状態遷移条件を変更する。
このような物体検出装置1によれば、飛び出し情報に応じて状態遷移条件を変更するので、特定の物体であると判定するための時間を短くする等、飛び出してくる物体に対応した処理を行うことができる。
また、上記の物体検出装置1において処理部10は、自車両の周囲を撮像した撮像画像中において探索領域を変更しつつ各探索領域内において予め設定された探索条件に合致する物標を探索し、探索条件に合致する物標のうちの、物体状態が設定された物体に対応する物標が検出された際の探索条件との合致の程度に応じて、物標が特定の物体である尤度に関する尤度関連値を求める。そして、処理部10は、尤度関連値を物体情報として取得する。
このような物体検出装置1によれば、探索条件との合致の程度に応じて得られる尤度関連値に基づいて特定の物体であるか否かを判定できるので、より精度よく特定の物体を検出することができる。
また、上記の物体検出装置1において処理部10は、尤度関連値として、パターン識別による尤度が予め設定された閾値よりも高いものの数を求める。
また、上記の物体検出装置1において処理部10は、尤度関連値として、パターン識別による尤度が予め設定された閾値よりも高いものについてスコアを求め、さらに、これらのスコアについて最大スコアまたは平均スコアを求める。
また、上記の物体検出装置1において処理部10は、尤度関連値として、パターン識別の際に利用する辞書の種別に応じた信頼度を求める。
このような物体検出装置1によれば、より精度よく特定の物体を検出することができる。
また、上記の物体検出装置1において処理部10は、尤度関連値として、利用する探索条件に応じて設定されるスコアを求める。
このような物体検出装置1によれば、利用する探索条件の信頼性の高さに応じたスコアを用いるので、より精度よく特定の物体を検出することができる。
また、上記の物体検出装置1において処理部10は、物体毎に物体状態を遷移させ、出力手段は、複数の物体について要出力状態に遷移した場合、予め設定された優先順位に従って要出力状態に遷移した物体のうちの1または複数を選択し、この選択した物体についてこの物体が特定の物体である旨を出力する。
このような物体検出装置1によれば、優先順位に従って自身にとってより出力を行うべき物体を選択し、この物体について特定の物体である旨を出力することができる。よって、多くの物体についての出力がされることで処理が煩雑になることを抑制することができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
例えば、上記実施形態において、特定の種別の物体として歩行者を検出するよう構成したが、例えば、樹木や車両等、歩行者以外の種別の物体を検出してもよい。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において処理部10が実行する処理のうちのS120の処理は本発明でいう飛び出し情報取得手段に相当し、上記実施形態におけるS130、S140の処理は本発明でいう物体情報取得手段に相当する。また、上記実施形態におけるS140の処理は本発明でいう関連値演算手段に相当し、上記実施形態におけるS150の処理は本発明でいう物体状態設定手段に相当する。
さらに、上記実施形態におけるS170の処理は本発明でいう継続時間取得手段に相当し、上記実施形態におけるS210、S220の処理は本発明でいう条件変更手段に相当する。また、上記実施形態におけるS230、S240の処理は本発明でいう物体状態遷移手段に相当し、上記実施形態におけるS260、S330、S360の処理は本発明でいう出力手段に相当する。
さらに、上記実施形態において、上述の手法1〜手法4にて用いた矩形の数、スコア、辞書の種別、探索方法の種別等は本発明でいう尤度関連値に相当する。
1…物体検出装置、10…処理部、11…CPU、12…メモリ、21…カメラ、26…制御対象。

Claims (10)

  1. 自車両に搭載され、自車両の周囲に存在する特定の物体を検出する物体検出装置(1)であって、
    少なくとも物体の位置を含む物体情報を繰り返し取得する物体情報取得手段(S130、S140)と、
    新たな物体についての物体情報が取得されると、この物体についての物体情報を、予め準備された複数の物体状態のうちのある物体状態と対応付けて設定する物体状態設定手段(S150)と、
    物体状態が設定された物体についての新たな物体情報が取得されると、新たな物体情報が予め物体状態毎に準備された状態遷移条件を満たすか否かを判定し、前記新たな物体情報が前記状態遷移条件を満たす場合、状態遷移条件が対応する新たな物体状態に物体状態を遷移させる物体状態遷移手段(S230、S240)と、
    前記物体状態が予め設定された要出力状態に遷移すると、該物体が前記特定の物体である旨を出力する出力手段(S260、S330、S360)と、
    を備えたことを特徴とする物体検出装置。
  2. 請求項1に記載の物体検出装置において、
    ある物体が特定の物体状態に遷移してからの継続時間を取得する継続時間取得手段(S170)を備え、
    前記物体状態遷移手段は、前記継続時間が予め設定された遷移判定時間を超えると、新たな物体状態に遷移させること
    を特徴とする物体検出装置。
  3. 請求項1または請求項2に記載の物体検出装置において、
    物体状態が設定された物体について、該物体が飛び出してくるか否かに関する飛び出し情報を取得する飛び出し情報取得手段(S120)と、
    前記飛び出し情報の有無に応じて、前記状態遷移条件を変更する条件変更手段(S210、S220)と、
    を備えたことを特徴とする物体検出装置。
  4. 請求項1〜請求項3の何れか1項に記載の物体検出装置において、
    自車両の周囲を撮像した撮像画像中において探索領域を変更しつつ各探索領域内において予め設定された探索条件に合致する物標を探索し、前記探索条件に合致する物標のうちの、物体状態が設定された物体に対応する物標が検出された際の前記探索条件との合致の程度に応じて、物標が前記特定の物体である尤度に関する尤度関連値を求める関連値演算手段(S140)を備え、
    前記物体情報取得手段は、前記尤度関連値を前記物体情報として取得すること
    を特徴とする物体検出装置。
  5. 請求項4に記載の物体検出装置において、
    前記関連値演算手段は、前記尤度関連値として、パターン識別による尤度が予め設定された閾値よりも高いものの数を求めること
    を特徴とする物体検出装置。
  6. 請求項4または請求項5に記載の物体検出装置において、
    前記関連値演算手段は、前記尤度関連値として、パターン識別による尤度が予め設定された閾値よりも高いものについてスコアを求め、さらに、これらのスコアについて最大スコアまたは平均スコアを求めること
    を特徴とする物体検出装置。
  7. 請求項4〜請求項6の何れか1項に記載の物体検出装置において、
    前記関連値演算手段は、前記尤度関連値として、パターン識別の際に利用する辞書の種別に応じた信頼度を求めること
    を特徴とする物体検出装置。
  8. 請求項4〜請求項7の何れか1項に記載の物体検出装置において、
    前記関連値演算手段は、前記尤度関連値として、利用する探索条件に応じて設定されるスコアを求めること
    を特徴とする物体検出装置。
  9. 請求項1〜請求項8の何れか1項に記載の物体検出装置において、
    前記物体状態遷移手段は、物体毎に物体状態を遷移させ、
    前記出力手段は、複数の物体について要出力状態に遷移した場合、予め設定された優先順位に従って要出力状態に遷移した物体のうちの1または複数を選択し、該選択した物体について該物体が前記特定の物体である旨を出力すること
    を特徴とする物体検出装置。
  10. コンピュータを、請求項1〜請求項9の何れか1項に期し彼の物体検出装置を構成する各手段として機能させるための物体検出プログラム。
JP2014137006A 2014-07-02 2014-07-02 物体検出装置および物体検出プログラム Active JP6340957B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014137006A JP6340957B2 (ja) 2014-07-02 2014-07-02 物体検出装置および物体検出プログラム
CN201580034978.2A CN106471522A (zh) 2014-07-02 2015-07-02 物体检测用方法及装置、以及计算机程序产品
US15/322,815 US20170151943A1 (en) 2014-07-02 2015-07-02 Method, apparatus, and computer program product for obtaining object
PCT/JP2015/069187 WO2016002900A1 (ja) 2014-07-02 2015-07-02 物体検出用方法および装置、ならびにコンピュータプログラム製品
DE112015003089.1T DE112015003089T5 (de) 2014-07-02 2015-07-02 Verfahren, vorrichtung und computerprogrammprodukt zur objektgewinnung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014137006A JP6340957B2 (ja) 2014-07-02 2014-07-02 物体検出装置および物体検出プログラム

Publications (2)

Publication Number Publication Date
JP2016015029A true JP2016015029A (ja) 2016-01-28
JP6340957B2 JP6340957B2 (ja) 2018-06-13

Family

ID=55019426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014137006A Active JP6340957B2 (ja) 2014-07-02 2014-07-02 物体検出装置および物体検出プログラム

Country Status (5)

Country Link
US (1) US20170151943A1 (ja)
JP (1) JP6340957B2 (ja)
CN (1) CN106471522A (ja)
DE (1) DE112015003089T5 (ja)
WO (1) WO2016002900A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
JP6708730B2 (ja) * 2016-02-23 2020-06-10 株式会社日立製作所 移動体
JP6239047B1 (ja) * 2016-06-17 2017-11-29 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP6340738B2 (ja) * 2016-09-13 2018-06-13 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
US10311593B2 (en) * 2016-11-16 2019-06-04 International Business Machines Corporation Object instance identification using three-dimensional spatial configuration
JP6509279B2 (ja) * 2017-05-31 2019-05-08 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
JP6745465B1 (ja) * 2019-03-06 2020-08-26 パナソニックIpマネジメント株式会社 車両及びカメラモジュール

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008189A (ja) * 1999-04-23 2001-01-12 Hitachi Ltd 移動物体監視装置
JP2009271758A (ja) * 2008-05-08 2009-11-19 Denso Corp 画像認識装置
JP2010117952A (ja) * 2008-11-13 2010-05-27 Masafumi Hagiwara 物体判別方法および物体判別装置
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
JP2012170483A (ja) * 2011-02-17 2012-09-10 Fujitsu Ltd 状態検知装置および状態検知方法
JP2014067117A (ja) * 2012-09-25 2014-04-17 Dainippon Printing Co Ltd 画像表示システムおよび画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
JP4240957B2 (ja) * 2002-08-30 2009-03-18 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP2007122218A (ja) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd 画像分析装置
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4497236B2 (ja) * 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
CN102473281B (zh) * 2009-09-03 2015-06-10 本田技研工业株式会社 车辆周围监测装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008189A (ja) * 1999-04-23 2001-01-12 Hitachi Ltd 移動物体監視装置
JP2009271758A (ja) * 2008-05-08 2009-11-19 Denso Corp 画像認識装置
JP2010117952A (ja) * 2008-11-13 2010-05-27 Masafumi Hagiwara 物体判別方法および物体判別装置
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
JP2012170483A (ja) * 2011-02-17 2012-09-10 Fujitsu Ltd 状態検知装置および状態検知方法
JP2014067117A (ja) * 2012-09-25 2014-04-17 Dainippon Printing Co Ltd 画像表示システムおよび画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上條 俊介: ""駅構内における姿勢・位置情報に基づいた行動把握フレームワーク"", 画像ラボ, vol. 24, no. 3, JPN6015029778, 10 March 2013 (2013-03-10), JP, pages 51 - 59, ISSN: 0003776209 *

Also Published As

Publication number Publication date
WO2016002900A1 (ja) 2016-01-07
JP6340957B2 (ja) 2018-06-13
CN106471522A (zh) 2017-03-01
DE112015003089T5 (de) 2017-03-30
US20170151943A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6340957B2 (ja) 物体検出装置および物体検出プログラム
US20160260226A1 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US9870510B2 (en) Apparatus and method for counting moving objects
JP6100635B2 (ja) 移動体検出装置
JP2006338272A (ja) 車両挙動検出装置、および車両挙動検出方法
JP5675233B2 (ja) 情報処理装置、その認識方法及びプログラム
US10210420B2 (en) Image processing method, image processing apparatus, and recording medium
JP5986949B2 (ja) 境界線認識装置
KR101234046B1 (ko) 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치
US9508000B2 (en) Object recognition apparatus
US9589213B2 (en) Apparatus for recognizing turnoff from vehicle roadway
JP2015185138A (ja) 移動物体検出装置、移動物体検出方法、及びプログラム
JP2019061505A (ja) 情報処理システム、制御システム、及び学習方法
JP2012220377A (ja) 物体識別装置、および物体識別プログラム
US20170190301A1 (en) Vehicle periphery monitoring device
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
JP5962193B2 (ja) 車両光源検出装置および車両光源検出プログラム
JP2013205410A (ja) 車両用外界認識装置およびそれを用いた車両システム
JP2016015043A (ja) 対象物認識装置
JP2014035560A (ja) 飛び出し検出装置
JP6564218B2 (ja) 車外環境認識装置
JP2012118683A (ja) 歩行者認識装置
JP5345999B2 (ja) レーンマーク認識装置
JP6077785B2 (ja) 対象物検出装置及びプログラム
WO2018016075A1 (ja) 運転支援装置、運転支援方法及び運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180430

R151 Written notification of patent or utility model registration

Ref document number: 6340957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250