JP2013186902A - 車輌検知方法及び装置 - Google Patents

車輌検知方法及び装置 Download PDF

Info

Publication number
JP2013186902A
JP2013186902A JP2013044478A JP2013044478A JP2013186902A JP 2013186902 A JP2013186902 A JP 2013186902A JP 2013044478 A JP2013044478 A JP 2013044478A JP 2013044478 A JP2013044478 A JP 2013044478A JP 2013186902 A JP2013186902 A JP 2013186902A
Authority
JP
Japan
Prior art keywords
symmetry
vehicle
degree
candidate area
vehicle candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013044478A
Other languages
English (en)
Other versions
JP6111745B2 (ja
Inventor
Dianchao Liu
リィウ ディエヌチャオ
Tong Liu
リィウ ティン
Yuan Liu
リィウ ユアヌ
Zhongchao Shi
ジョォンチャオ シ
Gane Wang
ガン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2013186902A publication Critical patent/JP2013186902A/ja
Application granted granted Critical
Publication of JP6111745B2 publication Critical patent/JP6111745B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車輌検知方法及び装置を提供する。
【解決手段】
該車輌検知方法は、車輌領域を含む視差画像を取得し、視差画像から車輌候補領域を取得し、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う。本発明の車輌検知方法は、照度条件への依存度が低く、距離に応じた段階の検知が可能であり、また、視差図における車輌対称性の特徴に応じた車輌検知が可能になるため、よりロバストで、正確かつ高効率な車輌検知が可能になる。
【選択図】図１

Description

本発明は、車輌検知に関し、特に、視差画像による車輌検知方法及び装置に関する。
運転補助システムの適用が普及してきているが、路上車輌検知システムは、運転補助システムのサブシステムであり、交通事故を防ぐための、車輌の有無、距離、速度等の検知或いは識別に役立つものである。
概括に言うと、通常、車輌検知方法には、特徴に基づく方法と、モデル構築による方法の、２種類がある。
特徴に基づく方法は、例えば、車輌エッジ、色、テクスチャ、対称性、シェーディング等の車輌特徴の組合せから、グレースケール画像中の車輌の位置決めを行う方法である。特徴に基づく方法は、照度条件の影響が大きく、車輌と背景の混合度合いが比較的に高い場合や、車輌前後に画像部分の重畳が存在する場合等は、正確な車輌検知が困難になる。
モデル構築による方法は、３次元再構築や、３次元モデル構築に関わる１立体視覚モデルを決定する方法であるが、演算資源の占有と、時間消耗が問題となる。
Broggi、A.、Cerri、P.等の人の、 “Multi−Resolution Vehicle Detection using Artificial Vision” テーマの、 Intelligent Vehicles Symposium、 ２００４ IEEE、 ３１０-３１４ページ、２００４年６月１４−１７日の文献には、グレースケール画像における対称性を用いた車輌検知方法が提案されている。該方法においては、グレースケール画像上で、物体の境界の対称性の判別を行い、画像を遍歴して対称中心を検索している。該方法は、画像全体の遍歴や、操作を行うため、効率が低く、グレースケール画像の複雑な背景への処理が比較的に困難となる。
Zhencheng HuとKeiichi Uchimurの、U-V-Disparity: An efficient algorithm for Stereovision Based Scene Analysis、というテーマの、 Proceedings of the IEEE Intelligent Vehicles Symposium ２００５の文献には、uv視差図を用いた線の検知により、原画像における面を決定し、車輌の分割と決定を行う、車輌検知方法が提案されている。該方法は、車輌への遮蔽や、例えば、２つの車輌のつながりが存在する場合の処理が困難となる。
本発明は、比較的にロバストで、迅速な車輌検知が可能な方法及び装置を提供することを目的とする。
本発明の一の方面においては、 車輌領域を含む視差画像を取得し、視差画像から車輌候補領域を取得し、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う、車輌検知方法を提供する。
本発明の他の方面においては、車輌領域を含む視差画像を取得する視差画像取得部と、視差画像から車輌候補領域を取得する車輌候補領域取得部と、車輌候補領域の対称度合いを決定する対称度合い決定部と、決定した車輌候補領域の対称度合いにより、車輌検知を行う、車輌検知部を有する、車輌検知装置を提供する。
車輌候補領域取得部は、視差画像中の所定の視差範囲内の連通領域を検出することにより、視差画像から車輌候補領域を取得するようにしてもよい。
車輌候補領域取得部は、車輌候補領域の対称度合いの決定結果に応じた、車輌候補領域の分割、或いは、車輌候補領域の統合を行うことができる。
対称度合い決定部は、車輌候補領域の外縁上の点の勾配により、車輌候補領域の対称度合いを算出するようにしてもよい。
対象度決定部による、車輌候補領域の対称度合い算出は、該車輌候補領域の対称軸を決定し；対称軸に対し、所定数の所定形状のサブ領域を所定の位置に対称的に配置し； 車輌候補領域の対応のサブ領域との重畳有無により、かつ、車輌候補領域の、両側の対応のサブ領域内の外縁に各々位置する部分により、対応の点のサンプリングと、勾配の算出を行い；算出された、両側の対応のサブ領域内の外縁に各々位置するサンプル点の勾配により、両側の対応のサブ領域内に位置する外縁間の対称度合いを算出し；各対応サブ領域に対応する候補車輌領域の対称度合いにより、車輌候補領域の対称度合いを算出するようにしてもよい。
また、代替的に、対称度合い決定部による、車輌候補領域の対称度合いの算出が、該車輌候補領域の対称軸を決定し；該対称軸に対し、車輌候補領域中の選出した外縁を、両側が対応するように、複数のサブセグメントに分割し； 対称軸の両側の対応サブセグメントに対し、点のサンプリングと、勾配の算出を各々行い；算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出し；全ての対応サブセグメントの対称度合いにより、車輌候補領域の対称度合いを算出するようにしてもよい。
算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出するステップにおいて、算出された対応サブセグメントのサンプル点の勾配により、対応サブセグメントの勾配方向のヒストグラムを取得し；対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出するようにしてもよい。
対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出するステップにおいて、対称軸の一方側のサブセグメントの勾配方向のヒストグラムを、対称軸の他方側に鏡像変換し；サブセグメントの鏡像変換後の勾配方向のヒストグラムと、対称軸の他方側の対応サブセグメントの勾配方向のヒストグラムとのマッチングを行い、マッチング度合いにより、該対称軸両側の対応サブセグメントの対称度合いを予測するようにしてもよい。
本発明の実施例による車輌検知方法においては、視差図が均一な深度情報と際立ったエッジを有する特徴を利用し、先ず、車輌候補領域を取得或いは分割してから、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う。本発明の実施例による車輌検知方法は、従来のグレースケール画像による車輌検知方法に比べて、照度条件にさほど依存することなく、距離に応じた段階的な検知が可能になり；また、大まかに車輌候補領域を取得または分割してから、車輌候補領域の対称度合いを算出することで、区分なしに画像全体を処理する方法に比べて、処理效率を向上することができ；視差図における車輌対称性の特徴を用いた車輌検知を行うことにより、よりロバストで、正確な車輌検知が可能になる。
本発明の１実施例による車輌検知方法の全体フローチャート。 多くの車輌を有する車輌候補領域の略図。 本発明の好適な実施例による、車輌候補領域の対称度合い決定の第１の算出方法のフローチャート。 車輌候補領域の外縁の初期時の略図。 図４の車輌候補領域外縁を細かく選択する場合の略図。 図５の車輌候補領域外縁を細かく選択する場合の略図。 本発明の好適な実施例の車輌候補領域の対称度合い決定の第２算出方法のフローチャート。 本発明の実施例によるサブ領域の配置図。 本発明の好適な実施例による、車輌候補領域の対称度合いを決定する第３算出方法のフローチャート。 対称軸移動による対称軸の最適化と、車輌候補領域の調整を示す略図。 例となる車輌候補領域左側の勾配方向ヒストグラム。 例となる車輌候補領域右側の勾配方向ヒストグラム。 例となる鏡像変換後の車輌候補領域左側の勾配方向ヒストグラム。 車輌候補領域の統合による新規車輌候補領域の取得図。 本発明の実施例による車輌検知装置の全体配置のブロック図。 本発明の実施例による車輌検知システムシステムの全体ハードウェアブロック図。
当業者の本発明への理解を容易とするために、以下、図面及び具体的な実施形態を組み合わせて、本発明を更に詳細に説明する。
以下、先ず、容易な理解のために、基本概念について説明する。
視差は、実際に、ある基線の両端から同一の遠隔物体までそれぞれ直線を引いた場合の、該２つの直線からなる夾角を指している。通常は、一定距離にある２つの点から同一の目標を観察する場合に生じる方向差を指している。目標から見たときの２つの点間の夾角を、該２つの点の視差角と称し、２点間の距離を、基線と称する。視差角と基線の長さが分かれば、目標と観察者間の距離が求められる。
視差図（disparity map）は、任意の１画像を基準としたとき、サイズが該基準画像のサイズとなり、要素値が視差値となる画像を指している。視差図は、シーンの距離情報が含まれている。視差図は、例えば、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における深度図から算出されてもよい。
通常の２次元視差図における１点座標は、（ｕ、ｖ）で表され、ここで、ｕは、横座標、ｖは、縦座標であり、点（ｕ、ｖ）における画素の画素値は、ｄ（ｕ、ｖ）で表され、該点（ｕ、ｖ）における視差を表している。本明細書では、該視差を深度ど称することがある。
以下、下記の順で、好適な実施例を説明する。
<１.第１実施例>
<１.１ 車輌検知方法の全体フロー>
<１.２、車輌候補領域の対称度合いの第１算出方法>
<１.３、車輌候補領域の対称度合いの第２算出方法>
<１.４、車輌候補領域の対称度合いの第３算出方法>
<１.５、勾配方向ヒストグラムによる対称度合い算出例>
<２、他の変形実施例>
<３、車輌検知装置の全体配置>
<４、車輌検知システムのハードウェア配置>
<５、まとめ>
<１.第１実施例>
<１.１車輌検知方法の全体フロー>
図１は、本発明の１実施例による車輌検知方法１００の全体フローチャートである。
ステップS１１０において、車輌領域を含む視差画像を取得する。
本発明は、任意の従来の視差図取得方法が用いられる。例えば、車載双眼カメラ、多眼カメラ、ステレオカメラで撮像し、車輌領域を含む視差図を算出することができ、具体的に、例えば、車載双眼カメラにより、左画像と右画像を撮影し、左画像と右画像から視差図が求められる。或いは、立体図から、深度図を取得し、深度図から視差図が求められる。
ステップS１２０において、視差画像から車輌候補領域を取得する。
該ステップは、以降のステップの詳細な車輌検知のための、大まかな車輌領域の抽出を目的とする。このように関心領域を決定することで、背景技術の文献１における画像全体への順次走査を防ぐことができ、以降の処理効率を著しく向上することができる。
具体的に、例えば、視差画像中の所定の視差範囲内の連通領域を検知することで、視差画像から車輌候補領域を検知することができる。ここで、視差値範囲とは、例えば、運転手への警告の観点から、当該車（運転手）と比較的に近い距離を範囲とし、例えば８００-６５０とすることができ、該範囲は、例えば、略１車輌の長さとなるようにしてもよい。このように、当該車との距離が近距離から遠距離の順に、順次画像遍歴を行うことで、階層による、需要に応じた車輌検知が可能になる。例えば、当該車との距離が２０ｍ以内の車輌のみの検知が必要な場合は、２０ｍの範囲を超えた遠方の車輌の検知は不要となる。連通領域については、必ずしも連通した閉鎖領域を指すものではなく、例えば、３辺が連通したものでも、或いは、大まかに検知した連通領域の高さと幅が所定の閾値を超えたものでもよい。連通領域の範囲と大きさは、需要に応じて任意に設定することができる。
なお、該ステップにおいては、適当にサイズフィルタを行うことができる。例えば、面積が過度に小さい連通領域は、ノイズの可能性があることから、除去してもよい。
なお、該ステップにおいては、さらに、位置フィルタを行うことができる。例えば、車輌は、空に出現することがないことから、所定の高さ閾値rh（例えば、rhは、普通車の高さを越えた数値）を用いて、路面からの高さがrhを越えた全ての点を除去することができる。高さがrhを超える点は、ビル等の建築物や、電信柱等を表す可能性があるからである。
なお、１連通領域の幅/高さの比が、例えば、０.８〜１.２等、適切な比例範囲を満足する場合、このような連通領域は、複数の車輌候補領域が含まれた領域とすることができる。例えば、図２に示されたブロック内の連通領域には、２つの車領域が含まれている。以降の図９により詳細に後述するように、例えば、図１０に示された対称軸の移動走査により、繋がっている車輌や、過大の車輌候補領域を更に分割することができる。
なお、例えば、路上セパレート線検知方法と組み合わせて検出したセパレート線により、車輌候補領域の検出範囲を定めることができる。
なお、以降に詳細に後述するように、車輌候補領域の取得には、車輌候補領域の対称度合いの決定結果による、車輌候補領域の分割或いは車輌候補領域の統合が含まれてもよい。
ステップS１３０において、車輌候補領域の対称度合いを決定する。
本発明は、１領域の対称性を算出可能な任意の方法が用いられる。例えば、公知のセンタリング対称軸により、左右の鏡像マッチングを行い、例えば、左右マッチング像素点間の像素値の差を算出し、全像素点に対し、絶対差値の和を求め、該絶対差値の和（選択的に、正規化を行ってもよい）により、領域の対称性を推測する。算出した特徴は、グレースケール値、境界値、或いは勾配値でもよい。
視差図においては、車輌外縁の点が最も突出し、不鮮明になるか、紛失しやすくなることがなく、また、車輌外縁がふちに位置し、勾配特徴も際立っているため、勾配の方向変化が激しく、勾配の大きさの絶対値も比較的に大きくなっていることから、車輌候補領域の外縁上の点の勾配により、車輌候補領域の対称度合いを算出することが好ましい。このため、車輌候補領域の外縁上の点の勾配により、車輌候補領域の対称度合いを算出する場合は、容易にノイズ影響を受けることがなく、より優れたロバスト性と正確性を得るようになる。
本発明の好適な実施例による車輌候補領域の対称度合いの決定方法例については、図３、７、９により、詳細に後述する。
ステップS１４０においては、決定した車輌候補領域の対称度合いにより、車輌検知を行う。
例えば、決定した車輌候補領域の対称度合いの数値と、所定の対称度合い閾値の比較を行い、車輌候補領域の対称度合いが所定の対称度合い閾値以上になる場合は、該車輌候補領域を車輌とする。ここで、所定の対称度合い閾値は、学習アルゴリズムによる学習から得られてもよく、経験から人為的に設定してもよい。
なお、決定した車輌候補領域の対称度合いと他の車輌検知方法の組み合わせにより、車輌検知を行ってもよい。例えば、既にグレースケール図から、グレースケール図に基づく車輌検知結果が得られた場合は、例えば、ステップS１４０で決定された車輌候補領域の対称度合いにより、グレースケール図に基づく車輌検知結果の検証を行ってもよい。例えば、グレースケール図に基づく車輌検知結果から、検知された車輌の領域対応の対称度合いが極めて低い場合は、該グレースケール図に基づいて検出した車輌を否定するか、除去してもよく、或いは、該検知した車輌の結果の正確率を減らしてもよく、例えば、該車輌の視差図の対称度合いを１つの重み付け手段とし、グレースケール図から検知した１車輌の視差図における対応領域の対称度合いが極めて低いと、該対称度合いを、ペナルティー因数とし、該検知結果の正確率を減らしてもよい。
もちろん、例えば、決定した車輌候補領域の対称度合いにより、さらに車輌の他の特徴により、対称度合いによる検知結果を検証するか、或いは、さらに本発明の実施例による対称度合い検知方法から検知された車輌に対し、該車輌領域の形状特徴が一般車輌の形状を満たしているか否か、該車輌領域に車のナンバープレート領域が存在するか否か、該車輌領域に対応するグレースケール図の領域の色が車輌の通常色特徴を満たしているか否か、等をチェックしてもよい。
本発明の実施例による車輌検知方法においては、視差図が均一な深度情報と際立ったエッジを有する特徴を利用し、先ず、車輌候補領域を取得或いは分割してから、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う。本発明の実施例による車輌検知方法は、従来のグレースケール画像による車輌検知方法に比べて、照度条件にさほど依存することなく、距離に応じた段階的な検知が可能になる。また、大まかに車輌候補領域を取得または分割してから、車輌候補領域の対称度合いを算出することで、区分なしに画像全体を処理する方法に比べて、処理效率を向上することができる。また、視差図における車輌対称性の特徴を用いた車輌検知を行うことにより、よりロバストで、正確な車輌検知が可能になる。
<１.２、車輌候補領域の対称度合いの第１算出方法>
図３は、本発明の好適な実施例により、車輌候補領域の対称度合いを決定する第１算出方法１３０のフローチャートである。該方法は、図１に示された車輌検知方法のステップS１３０に用いられる。
ステップS１３１において、該車輌候補領域の対称軸を決定する。
通常、対称軸は、車輌候補領域の水平中央位置と垂直に配置される。もちろん、画像の方向が図２に示されたものと垂直している場合は、車輌候補領域の垂直中央位置と水平に配置される必要がある。水平中央位置xcの算出に関しては、１算出例として、車輌候補領域の水平最左側点の横軸座標を、x１とし、水平最右側点の横軸座標を、x２としたとき、水平中央位置xcは、xc=(x１+x２)/２より求められる。代替例として、例えば、より複雑な算出例として、連通領域の最左側外縁と最右側外縁上の複数の対応点ペアの平均値を算出し、nの対応点ペアの、[点PL１(xl１、y１)、点PR１(xr１、y１)]、 [点PL２(xl２、y２)、点PR２xr２、y２)]、…[点PLn(xln、yn)、点PRn(xrn、yn)] （ここで、nは、２よりも大きい整数）がそれぞれ得られたとすると、水平中央位置xcは、xc=( xl１+ xr１+ xl２+ xr２…+xln+xrn)/２nより求められる。
しかし、前記対称軸位置の決定方法は、単なる例に過ぎず、本発明は、任意の１領域の対称軸の決定方法が用いられる。
ステップS１３２において、車輌候補領域の選択した外縁を、対称軸に対して両側が対応するように、複数のサブセグメントに分割する。
ここで、“選択した外縁”という言葉の意味は、車輌候補領域の外縁が比較的に不鮮明であるか、複数の外縁が存在する可能性があることを示唆している。例えば、図４に示されたブロック内の連通領域において、該連通領域の最外縁を簡単に選択してしまうと、本来は車ヘッド位置となるエッジを左側外縁とし、車テール位置となるエッジの右側外縁と比較することになり、これにより、該車輌候補領域の対称性が比較的に劣ってしまうおそれがある。
この場合の、簡単な解決方法としては、左側外縁と右側外縁の、視差図における深度が略同一となるようにし、即ち、視差図における視差が限りなく近くなるようにする。ここで、“略同一”或いは“限りなく近くなる”という言葉は、左側外縁と右側外縁間の視差値の差値が、所定の閾値未満になることと理解すべきであり、該所定の閾値は、需要に応じて設定することが可能である。このように、例えば、所定の閾値aにより、例えば、図５に示された内側ブロック中のエッジを、外縁として選択するか、或いは、さらに小さい値の所定の閾値bにより、例えば、図６に示された内側ブロック中のエッジを、外縁として選択することができる。このように、より優れた車輌領域対称性をより正確に得ることができる。
ここで、車輌領域の外縁を、複数のサブセグメントに分割してから、対称軸両側の左右対応サブセグメントに対して対称性を推察することは、以下の考慮に基づくものである。即ち、車輌外縁における、異なる部分は、対称性の考慮への貢献度が異なることから、例えば、車輌外縁は、通常、車トップの水平外縁部分と、車ウィンドー外縁部分と、車ウィンドー下の外縁部分に分けられ、各部分を、例えば、異なる長さ区間で分割することができ、例えば、車トップの水平エッジをより細かく分割し、即ち、サブセグメントをより緻密にする一方、車ウィンドー下方の外縁部分は、大まかに分割し、即ち、サブセグメントをよりまばらにすることができる。
ステップS１３３において、対称軸の両側の対応サブセグメントに対し、対応点のサンプリングと勾配の算出をそれぞれ行う。
ここで、対応点は、垂直座標が同一で水平座標が異なる対称軸両側の対応サブセグメント上の点を指してもよい。ここで、勾配算出は、以降の対称度合い算出で用いられる数値形式に基づき、単なる勾配方向でもよく、或いは、勾配の幅値でもよく、或いは、勾配方向と幅値の両方でもよい。
ステップS１３４において、算出した対応サブセグメントのサンプル点の勾配により、該対称軸両側の対応サブセグメントの対称度合いを算出する。
ここで、対応度算出においては、直接、対称軸両側の対応サブセグメント上の各対応サンプル点の勾配の平方差の和を求めることができる。もちろん、絶対差の和のような、他の差値算出方法を用いてもよい。
例えば、左右外縁をnのサブセグメントs１、s２、…、snに分割したとする。第iのサブセグメントに対し、miのサンプル点をサンプリングし、対称軸左右両側の第jのサンプル点の対応の勾配を、それぞれ、Gleft(i, j)とGright(i, j)とした場合（ここで、
（外1）
nとmは、それぞれ、2よりも大きい整数）、該サンプル点の対応の重みは、W(i、j)と表される。
例えば、サブセグメントiの対称度合いSymiは、下記式(１)から求められる。
ステップS１３５において、全対応サブセグメントの対称度合いにより、車輌候補領域の対称度合いを算出する。
例えば、全車輌候補領域の対称度合いSymは、下記式(２)から求められる。
式中、wiは、第iのサブセグメントの対称度合いの、全車輌候補領域の対称度合い算出における重みを表す。
これより、全車輌候補領域の対称度合いが得られる。
前記式(１)、(２)は、１例に過ぎず、対称軸両側がマッチングするほど、対称度合いが高くなるという特性を表す式であれば、他の対称度合い算出式でも、需要に応じて、選択することができる。
なお、該方法においては、サブセグメント分割ステップを省略し、直接、外縁に対し、等間隔または不等間隔のサンプリング及び勾配算出を行い、対称度合いの算出を行ってもよい。
<１.３、車輌候補領域の対称度合いの第２算出方法>
図７は、本発明の好適な実施例による車輌候補領域の対称度合いを決定する第２算出方法１３０’のフローチャートである。該方法は、図１に示された車輌検知方法のステップS１３０に用いられる。
図７に示された第２対称度合い算出方法の、図３に示された第１対称度合い算出方法との相違点は、主に、ステップS１３２’とステップS１３３’にある。このため、ここで、ステップS１３２’とステップS１３３’について、詳細に説明する一方、ステップS１３１は、図４及び図４への関連記載を参照することができるため、詳細な説明は割愛する。
先ず、理解が容易となるように、該第２対称度合い算出方法の発明動機について解釈する。図４に示された対称度合い算出方法においては、対称度合いが比較的に高い領域であれば、比較的に高い出力結果が得られるが、実際の状況とマッチしないケースもある。例えば、図１のステップS１２０から得られる車輌候補領域が、実際には１つの木であるが、該木が視差図では連通領域と表される可能性があり、かつ略三角形状であることから、比較的に高い対称度合い出力値が得られる。また、例えば、分割して得られた車輌候補領域が道路中央の交通交番であっても、高い対称度合い出力値が得られる可能性がある。
前述のような、木或いは交通交番等の、非車輌であるものの、視差図では対称性に優れた物体として表れるといったノイズを防ぐために、発明者は、車輌の形状に応じた、車輌エッジ収縮可能テンプレートを配置し、該車輌候補領域のエッジが該テンプレート範囲外であると、該車輌候補領域を排除するか、該車輌候補領域の対称度合いの尺度を下げることを考案した。該車輌エッジ伸縮可能テンプレートは、全体構成を車輌輪郭に近似するための所定数の所定形状のサブ領域により、近似を行うことができる。
ステップS１３２’において、対称軸に対し、所定数の所定形状のサブ領域を、所定の位置に対称的に配置する。
前記サブ領域の１配置例としては、例えば、図８に示されたように、図中の楕円形が各サブ領域を表し、該例においては、左右両側に対し、車トップ部に１サブ領域が配置され、車トップ部のコーナー位置に１サブ領域が配置され、車ウィンドー部分のエッジに１サブ領域が配置され、車ウィンドー下のエッジに１サブ領域が配置されている。このようなサブ領域全体で、普通車輌の形状輪郭を模擬しているが、一定の伸縮性がある。実際に領域を配置する場合は、対称度合いが算出される車輌候補領域の幅或いは高さにより、該輪郭を対応的に伸縮することができる。
なお、領域の数と形状は、需要に応じて、任意に設定することができ、例えば、左右両側にそれぞれ３つの数に限らず、４つ、５つ、６つ等にしてもよく、形状は、例えば正方形、円形等にしてもよい。
なお、図８における矢印は、各サンプル点の勾配ベクトルを表している。
ステップS１３３’において、車輌候補領域が対応サブ領域と重畳しているか否か、及び車輌候補領域がそれぞれ両側対応サブ領域内の外縁部内に位置しているか否かにより、対応点のサンプリングと勾配算出を行う。
例えば、車輌候補領域が１或いは複数のテンプレートサブ領域と重畳しない場合は、該車輌候補領域の形状がテンプレートで表される車輌とさほど似ていないことを意味し、この場合は、直接算出を終了し、該車輌候補領域を排除してもよい。或いは、該領域の対称度合いをマイナス値に設定し、即ち、最後の全体対称度合い算出におけるペナルティー因数としてもよい。
車輌候補領域が、それぞれ両側対応サブ領域内の外縁部分に位置している場合は、図４で説明したステップS１３３と同様に、対応点のサンプリングと勾配算出を行うことができる。
ステップS１３４’において、算出した各々両側対応サブ領域内に位置する外縁内のサンプル点の勾配により、両側対応サブ領域内に位置する外縁間の対称度合いを算出する。該ステップの動作は、図４を参照して説明したステップS１３４の動作と類似している。
ステップS１３５’において、各対応サブ領域に対応する候補車輌領域の対称度合いにより、車輌候補領域の対称度合いを算出する。該ステップの動作は、図４により説明したステップS１３５の動作と類似している。
図７に示された算出方法を用いて、対称度合い算出を行う場合、車輌形状の要素を考慮することで、非常に高い対称性を有するものの、普通車の形状と明らかに異なる車輌候補領域が、非常に高い対称度合い出力となることが防げる。
<１.４、車輌候補領域の対称度合い算出の第３算出方法>
図９は、本発明の好適な実施例による車輌候補領域の対称度合いを決定する第３算出方法１３００のフローチャートである。該方法は、図１に示された車輌検知方法のステップS１３０に用いることができる。
該第３実施例においては、対称軸の最適化及び車輌候補領域の調整が組み合わせられることから、例えば、１車輌候補領域を２つの車輌候補領域に分割することができる。
ステップS１３１０において、対称軸が所定の位置となるように初期的に指定する。
例えば、前述のように、初期対称軸を車輌候補領域の水平中央位置となるように指定する。
ステップS１３２０において、対称軸に対する車輌候補領域の対称度合いを算出する。車輌候補領域と対称軸の決定後は、例えば、図４或いは図７に示した方法を組合せて、車輌候補領域の対称度合いの算出を行うことができるが、本発明は、これに限られるものではなく、他の具体的な対称度合い算出方法も用いられる。
ステップS１３３０において、所定の歩幅で左へ或いは右へ対称軸を移動し、車輌候補領域を対応的に調整する。
図１０に示された例においては、例えば、初期対称軸は、短破線形式で表され、中央位置となっている。ステップS１３３０において、所定の歩幅で左へ或いは右へ対称軸を走査式に移動するとともに、車輌候補領域を対応的に調整し、例えば、左へ対称軸を移動する場合は、左側外縁と対称になる右側領域から推定右側外縁を検出し；右へ対称軸を移動する場合は、右側外縁と対称になる左側領域から推定左側外縁を検出する。
ステップS１３４０において、移動後の対称軸に対し、調整後の車輌候補領域の対称度合いを算出する。
ステップS１３５０において、所定の終了条件を満足するか否かを判定する。
所定の終了条件は、例えば、対称軸の移動回数が、所定の回数に達したか、対称軸が最外縁の外へ移動されたか、 対称度合いが所定の度合いまで持続的に低いか、等が挙げられる。
ステップS１３５０において、所定の終了条件を満足しないと判定されると、ステップS１３３０にフローが移行する。
ステップS１３５０において、所定の終了条件を満足すると判定されると、ステップS１３６０に進み、ここで、最高の対称度合いを有する対称軸、或いは所定の閾値を満足する対称度合いを有する対称軸を、最終対称軸とし、最終対称軸に対応する車輌候補領域を、最終車輌候補領域とし、最終対称軸に応じて算出された対称度合いを、算出した車輌候補領域の対称度合いとし、処理を終了する。
図１０を例に、最後に、長破線で示された２つの対称軸と、２つの調整後の車輌候補領域が得られる。もちろん、該調整後の車輌候補領域の対称度合いも求められる。実際に、車輌候補領域を更に２つの車輌候補領域に分割する場合の効果が得られる。
<１.５、勾配方向ヒストグラムの対称度合い算出例>
以下、図１１、１２、１３を参照して、勾配方向ヒストグラムによる対称度合い算出例を説明する。
ヒストグラムを用いて、統計意味上の対称軸に対する車輌候補領域の対称度合いを推察することができる。
各サンプル点に対し、各自の勾配の算出後、図１１に示されたような、車輌候補領域左側の勾配方向ヒストグラム、及び図１２に示されたような車輌候補領域右側の勾配方向ヒストグラムが得られる。ここで、横座標軸は、勾配方向を表し、角度で表され、縦座標は、勾配方向が決定値となるサンプル点の数を表す。
マッチングが容易となるように、式(３)により、左側の勾配方向を鏡像変換することができる。
鏡像変換後の車輌候補領域左側の勾配方向ヒストグラムは、図１３に示された通りである。
このように、図１２と図１３の車輌候補領域右側の勾配方向ヒストグラムと鏡像変換後の車輌候補領域左側の勾配方向ヒストグラムに対し、マッチング処理を施すことができる。
例えば、１つの算出方式として、右側ヒストグラム上の１線形柱が、鏡像となる左側ヒストグラム上に対応の線形柱が存在すると、例えば、３３０度の角度の位置に、線形柱が存在していると、該２つの線形柱の高さを減算し、換言すると、左右両側の勾配方向が３３０度となるサンプル点の数を減算するとともに、その絶対値を、３３０度の角度における左右候補領域の統計差とする。ここで、右側ヒストグラムと左側鏡像ヒストグラムに互いに対応する線形柱が存在することに関しては、必ずしも横座標（勾配方向）の完全同一を求めるものではなく、両方の差が所定の閾値範囲内のものであれば、同一と見なすことができる。なお、１角度における、右側領域に線形柱が存在し、左側車輌候補領域に線形柱が存在しない場合は、左側候補領域の、該角度におけるサンプル点の数をゼロとする。このように、各対応角度におけるサンプル点の数の差を加算し、さらに選択的に正規化を行うことで、例えば、左側のサンプル点の数で割り算後、逆数を取る等の処理を行うことで、左右対称度合いを表す数値が得られる。
なお、前記例においては、左側ヒストグラムの鏡像変換後の、右側ヒストグラムとのマッチングについて説明したが、代替的に、右側ヒストグラムの鏡像変換後の、左側ヒストグラムとのマッチングでもよいことは言うまでもない。
なお、前記勾配方向ヒストグラム算出においては、異なる角度のサンプル点の差に異なる重みをつけてもよい。
以上、勾配方向ヒストグラムによる対称度合い算出を行う方法について説明したが、これは一例に過ぎず、代替的に、勾配強さヒストグラムによる対称度合い算出でもよい。さらに、勾配方向と勾配強さの両方による対称度合い算出でもよい。
前記勾配ヒストグラム算出により、直観的に、かつロバストに、対称軸に対する車輌候補領域の左右対称度合いを推察することができる。
<２、他の変形実施例>
なお、発明者は、他の実施可能な変形実施例も考案している。
一の実施例においては、２つの車輌候補領域が、比較的に対称度合いが低く、近接している場合は、該２つの車輌候補領域を１つの車輌候補領域に統合し、統合後の車輌候補領域の対称度合いを推察するようにしている。これにより、視差図における１車輌が２つの連通領域に分割された場合の課題を解決することができる。図１４は、この場合の例を示した図である。ここで、実践ブロックにおける２つの初期車輌候補領域は、該変形実施例により、破線ブロックにおける１つの車輌候補領域に統合され、優れた対称性が得られることから、車輌の誤検知が防止できている。
他の実施例においては、１車輌候補領域の対称度合いが比較的に低い場合、前述のように、さらに車輌候補領域の視差値範囲を縮小して分割することで、前述の図４、５、６を参照して説明したように、正確な比較的に高い対称度合いの車輌候補領域を検出することができる。
他の実施例においては、１車輌候補領域の対称度合いが低く、かつ該車輌候補領域の面積が大きい場合、図９と図１０を参照して説明した対称軸の移動走査方法により、１車輌候補領域を２つの車輌候補領域に分割可能か否かを推察することができる。或いは、条件を満足する１車輌を検知してから、他の部分に対し、対称性の算出を一度行うことで、他の車輌の存在有無を判定することができる。
<３、車輌検知装置の全体配置>
図１５は、本発明の１実施例による車輌検知装置の全体配置８０００の全体ブロック図である。
図１５に示されたように、該車輌検知装置８０００は、車輌領域を含む視差画像を取得する視差画像取得部８１００と、視差画像から車輌候補領域を取得する車輌候補領域取得部８２００と、車輌候補領域の対称度合いを決定する対称度合い決定部８３００と、決定した車輌候補領域の対称度合いにより、車輌検知を行う、車輌検知部８４００を備えている。
車輌候補領域取得部８２００は、視差画像中の所定の視差範囲内の連通領域を検出することにより、視差画像から車輌候補領域を取得することができる。
車輌候補領域取得部８２００は、車輌候補領域の対称度合いの決定結果に応じた、車輌候補領域の分割、或いは、車輌候補領域の統合を行うことができる。
対称度合い決定部８３００は、車輌候補領域の外縁上の点の勾配により、車輌候補領域の対称度合いを算出することができる。
対象度決定部８３００による、車輌候補領域の対称度合い算出は、該車輌候補領域の対称軸を決定し；対称軸に対し、所定数の所定形状のサブ領域を所定の位置に対称的に配置し； 車輌候補領域の対応のサブ領域との重畳有無により、かつ、車輌候補領域の、両側の対応のサブ領域内の外縁に各々位置する部分により、対応の点のサンプリングと、勾配の算出を行い；算出された、両側の対応のサブ領域内の外縁に各々位置するサンプル点の勾配により、両側の対応のサブ領域内に位置する外縁間の対称度合いを算出し；各対応サブ領域に対応する候補車輌領域の対称度合いにより、車輌候補領域の対称度合いを算出するようにしてもよい。
代替的に、対称度合い決定部８３００による、車輌候補領域の対称度合いの算出は、該車輌候補領域の対称軸を決定し；該対称軸に対し、車輌候補領域中の選出した外縁を、両側が対応するように、複数のサブセグメントに分割し； 対称軸の両側の対応サブセグメントに対し、点のサンプリングと、勾配の算出を各々行い；算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出し；全ての対応サブセグメントの対称度合いにより、車輌候補領域の対称度合いを算出するようにしてもよい。
算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出するステップにおいて、算出された対応サブセグメントのサンプル点の勾配により、対応サブセグメントの勾配方向のヒストグラムを取得し；対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出するようにしてもよい。
対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出するステップにおいて、対称軸の一方側のサブセグメントの勾配方向のヒストグラムを、対称軸の他方側に鏡像変換し；サブセグメントの鏡像変換後の勾配方向のヒストグラムと、対称軸の他方側の対応サブセグメントの勾配方向のヒストグラムとのマッチングを行い、マッチング度合いにより、該対称軸両側の対応サブセグメントの対称度合いを予測するようにしてもよい。
本発明の実施例による車輌検知方法においては、視差図が均一な深度情報と際立ったエッジを有する特徴を利用し、先ず、車輌候補領域を取得或いは分割してから、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う。本発明の実施例による車輌検知方法は、従来のグレースケール画像による車輌検知方法に比べて、照度条件にさほど依存することなく、距離に応じた段階的な検知が可能になる。また、大まかに車輌候補領域を取得または分割してから、車輌候補領域の対称度合いを算出することで、区分なしに画像全体を処理する方法に比べて、処理效率を向上することができる。また、視差図における車輌対称性の特徴を用いた車輌検知を行うことにより、よりロバストで、正確な車輌検知が可能になる。
<４、車輌検知システムのハードウェア配置>
本発明は、さらに、車輌検知のハードウェアシステムとして実施されてもよい。図１６は、本発明の実施例による、車輌検知システム９０００の全体のハードウェアブロック図である。図１６に示されたように、車輌検知システム９０００は、外部から、ステレオカメラで撮像された左右画像や深度情報のような、関連画像や情報を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置９１００と、前述の本発明の実施例による車輌検知方法や、車輌検知装置を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等であり、インターネットのようなネットワーク（未図示）に接続可能であり、処理工程の需要に応じたネットワークからのウェブページ取得等が可能な、処理装置９２００と、外部へ前述の車輌検知の実施工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置９３００と、揮発或いは不揮発形式にて、前記車輌検知工程における視差画像と、対称軸と、対称度合いと、連通領域と、車輌エッジ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、半導体メモリ等の各種揮発または不揮発性メモリを含む記憶装置９４００を有する。
<５、まとめ>
本発明の実施例においては、車輌領域を含む視差画像を取得し、視差画像から車輌候補領域を取得し、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う、車輌検知方法を提供する。
また、本発明の実施例においては、車輌領域を含む視差画像を取得する視差画像取得部と、視差画像から車輌候補領域を取得する車輌候補領域取得部と、車輌候補領域の対称度合いを決定する対称度合い決定部と、決定した車輌候補領域の対称度合いにより、車輌検知を行う、車輌検知部を有する、車輌検知装置を提供する。
本発明の実施例による車輌検知方法においては、視差図が均一な深度情報と際立ったエッジを有する特徴を利用し、先ず、車輌候補領域を取得或いは分割してから、車輌候補領域の対称度合いを決定し、決定した車輌候補領域の対称度合いにより、車輌検知を行う。本発明の実施例による車輌検知方法は、従来のグレースケール画像による車輌検知方法に比べて、照度条件にさほど依存することなく、距離に応じた段階的な検知が可能になり、背景に依存する必要がない。また、大まかに車輌候補領域を取得または分割してから、車輌候補領域の対称度合いを算出することで、区分なしに画像全体を処理する方法に比べて、処理效率を向上することができる。また、視差図における車輌対称性の特徴を用いた車輌検知を行うことにより、よりロバストで、正確な車輌検知が可能になる。
なお、本発明の車輌候補検知方法及び装置においては、初期車輌候補領域を更に分割或いは統合することで、本来は１つの車輌候補領域となるべき領域が、例えば２つの車輌候補領域と初期決定される場合や、本来は２つの車輌候補領域となるべき領域が、１つの車輌候補領域と初期決定される場合の課題を解決することができる。
なお、視差によって更に細かく車輌候補領域を取得することで、車輌候補領域の画像の非対称の場合の課題を解決することができる。
前述の説明は、単に説明的なものであり、各種修正や代替が可能なことは言うまでもない。
例えば、前述の、図９と図１０を参照して説明した対称軸の移動においては、所定の歩幅で左向き或いは右向きの移動を行っているが、本発明は、これに限られるものではなく、該歩幅は、学習により取得してもよく、また、該歩幅は、隣同士で異なってもよく、しいては、ランダムに決定してもよい。
なお、前述の、図９と図１０を参照して説明した対称軸の移動においては、対称軸を決定してから、対応の車輌候補領域を調整しているが、これは一例に過ぎず、代替的に、対応可能な車輌左右外縁を検索してから、対応の対称軸を置いてもよい。
なお、前述の、図１を参照して説明した車輌検知方法においては、近距離から遠距離の順に段階的に車輌検知を行っているが、これは一例に過ぎず、需要に応じて、遠距離から近距離の順に段階的に車輌検知を行ってもよい。
なお、以上では、複数回にわたって、勾配方向を特徴とした対称度合いの算出を行っているが、これは一例に過ぎず、勾配強さを特徴とした対称度合いの算出、或いは勾配強さ及び勾配方向を特徴とした対称度合いの算出を行ってもよい。
なお、以上では、パラメータの人為的設定について説明したが、これは一例に過ぎず、本発明は、これに限られるものではなく、前述の各パラメータは、各種学習方法や、パラメータ最適化方法により取得可能である。
以上、具体的な実施例により、本発明の基本原理を説明したが、当業者が本発明の方法及び装置の全て、または任意のステップや各部を理解したうえ、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せで実現することが可能であることは、言うまでもなく、当業者は、本発明の説明のもと、基本プログラミング技能を用いて実現することができる。
このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。
また、本発明の装置及び方法において、各部や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行うことができるが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは独立に行われてもよい。
本発明は、前述の具体的な実施例で保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせ、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの補正、同等代替、改善等は、すべて本発明の保護範囲内のものとなる。

Claims (10)

  1. 車輌領域を含む視差画像を取得し、
    視差画像から車輌候補領域を取得し、
    車輌候補領域の対称度合いを決定し、
    決定した車輌候補領域の対称度合いにより車輌検知を行う、車輌検知方法。
  2. 視差画像中の所定の視差範囲内の連通領域を検出することにより、視差画像から車輌候補領域を取得する、請求項１に記載の車輌検知方法。
  3. 車輌候補領域の取得は、車輌候補領域の対称度合いの決定結果に応じて、車輌候補領域を分割或いは統合することを含む、請求項１に記載の車輌検知方法。
  4. 車輌候補領域の外縁上の点の勾配により、車輌候補領域の対称度合いを算出する、請求項１に記載の車輌検知方法。
  5. 車輌候補領域の対称度合いを算出するステップにおいて、
    該車輌候補領域の対称軸を決定し、
    対称軸に対し、所定数の所定形状のサブ領域を、所定の位置に対称的に配置し、
    車輌候補領域が対応のサブ領域と重畳しているか否かにより、車輌候補領域の、両側の対応のサブ領域内の外縁に各々位置する部分から、対応の点のサンプリングと勾配の算出を行い、
    算出された、両側の対応のサブ領域内の外縁に各々位置するサンプル点の勾配により、両側の対応のサブ領域内に位置する外縁間の対称度合いを算出し、
    各対応するサブ領域に対応する候補車輌領域の対称度合いにより、車輌候補領域の対称度合いを算出する、請求項４に記載の車輌検知方法。
  6. 車輌候補領域の対称度合いを算出するステップにおいて、
    該車輌候補領域の対称軸を決定し、
    該対称軸に対して両側が対応するように、車輌候補領域中の選出した外縁を、複数のサブセグメントに分割し、
    対称軸の両側の対応サブセグメントに対し、点のサンプリングと勾配の算出を各々行い、
    算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出し、
    全ての対応サブセグメントの対称度合いにより、車輌候補領域の対称度合いを算出する、請求項４に記載の車輌検知方法。
  7. 算出された、対応サブセグメントのサンプル点の勾配により、該対称軸の両側の対応サブセグメントの対称度合いを算出するステップにおいて、
    算出された対応サブセグメントのサンプル点の勾配により、対応サブセグメントの勾配方向のヒストグラムを取得し、
    対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出する、請求項６に記載の車輌検知方法。
  8. 対応サブセグメントの勾配方向のヒストグラムにより、該対称軸両側の対応サブセグメントの対称度合いを算出するステップにおいて、
    対称軸の一方側のサブセグメントの勾配方向のヒストグラムを、対称軸の他方側に鏡像変換し、
    サブセグメントの鏡像変換後の勾配方向のヒストグラムと、対称軸の他方側の対応サブセグメントの勾配方向のヒストグラムとのマッチングを行い、マッチング度合いにより、該対称軸両側の対応サブセグメントの対称度合いを予測する、請求項７に記載の車輌検知方法。
  9. 車輌候補領域の対称度合いを算出するステップにおいて、
    ステップa、対称軸の所定の位置を初期的に指定し、
    ステップb、対称軸に対する車輌候補領域の対称度合いを算出し、
    ステップc、所定の歩幅で対称軸を左へ或いは右へ移動するとともに、車輌候補領域を対応的に調整し、
    ステップd、移動後の対称軸に対し、調整後の車輌候補領域の対称度合いを算出し、
    ステップe、所定の終了条件を満足するまで、ステップc、dを繰り返し、
    前記繰り返しの終了後に、最高対称度合いを有する対称軸、或いは所定の閾値を満足する対称度合いを有する対称軸を最終対称軸とし、最終対称軸に対応する車輌候補領域を最終車輌候補領域とし、最終対称軸により算出された対称度合いを、算出された車輌候補領域の対称度合いとする、請求項４に記載の車輌検知方法。
  10. 車輌領域を含む視差画像を取得する視差画像取得部と、
    視差画像から車輌候補領域を取得する車輌候補領域取得部と、
    車輌候補領域の対称度合いを決定する対称度合い決定部と、
    決定した車輌候補領域の対称度合いにより車輌検知を行う車輌検知部と、を有する、車輌検知装置。
JP2013044478A 2012-03-07 2013-03-06 車輌検知方法及び装置 Active JP6111745B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210057550.8A CN103310213B (zh) 2012-03-07 2012-03-07 车辆检测方法和装置
CN201210057550 2012-03-07

Publications (2)

Publication Number Publication Date
JP2013186902A true JP2013186902A (ja) 2013-09-19
JP6111745B2 JP6111745B2 (ja) 2017-04-12

Family

ID=47912910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013044478A Active JP6111745B2 (ja) 2012-03-07 2013-03-06 車輌検知方法及び装置

Country Status (3)

Country Link
EP (1) EP2637126B1 (ja)
JP (1) JP6111745B2 (ja)
CN (1) CN103310213B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015197780A (ja) * 2014-04-01 2015-11-09 三菱プレシジョン株式会社 車両検知及び車両番号認識装置
WO2016170965A1 (ja) * 2015-04-20 2016-10-27 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
JP2022542949A (ja) * 2019-07-30 2022-10-07 華為技術有限公司 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ
JP7446543B1 (ja) 2022-08-08 2024-03-08 三菱電機株式会社 車両制御装置、プログラム及び車両制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902976B (zh) * 2014-03-31 2017-12-29 浙江大学 一种基于红外图像的行人检测方法
CN104361087B (zh) * 2014-11-17 2017-12-12 东方网力科技股份有限公司 一种基于图像的机动车辆检索方法及装置
CN104376561B (zh) * 2014-11-19 2017-04-12 青岛海信网络科技股份有限公司 一种安全带检测方法
CN108304750B (zh) * 2017-01-13 2020-11-06 比亚迪股份有限公司 前方车辆识别方法、装置及车辆
CN109960978A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于图像分层技术的车辆检测系统及装置
CN109584300B (zh) * 2018-11-20 2022-08-19 浙江大华技术股份有限公司 一种确定车头朝向角度的方法及装置
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110321828B (zh) * 2019-06-27 2022-07-01 四川大学 一种基于双目摄像机和车底阴影的前方车辆检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527427A (ja) * 2003-05-30 2006-11-30 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両から対象物を位置測定して追跡する方法および装置
WO2008065729A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection d'objet
JP2008151659A (ja) * 2006-12-18 2008-07-03 Fuji Heavy Ind Ltd 物体検出装置
JP2009037284A (ja) * 2007-07-31 2009-02-19 Daihatsu Motor Co Ltd 移動物認識装置
JP2009230530A (ja) * 2008-03-24 2009-10-08 Honda Motor Co Ltd 車両認識装置、車両、及び車両認識用プログラム
JP2009276906A (ja) * 2008-05-13 2009-11-26 Panasonic Corp 走行情報提供装置
JP2010277262A (ja) * 2009-05-27 2010-12-09 Konica Minolta Holdings Inc 画像処理装置および方法
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
JP2012043436A (ja) * 2010-08-17 2012-03-01 Fujitsu Ltd 対象検出装置、対象検出方法、分類器作成装置及び分類器作成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US7620208B2 (en) * 2005-02-09 2009-11-17 Siemens Corporate Research, Inc. System and method for detecting features from images of vehicles
CN101567097B (zh) * 2009-06-05 2011-05-04 上海大学 基于双行视差时空图的公交车客流自动计数方法及其系统
CN101754038B (zh) * 2009-12-09 2012-05-30 青岛海信网络科技股份有限公司 一种视差提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527427A (ja) * 2003-05-30 2006-11-30 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両から対象物を位置測定して追跡する方法および装置
WO2008065729A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection d'objet
JP2008151659A (ja) * 2006-12-18 2008-07-03 Fuji Heavy Ind Ltd 物体検出装置
JP2009037284A (ja) * 2007-07-31 2009-02-19 Daihatsu Motor Co Ltd 移動物認識装置
JP2009230530A (ja) * 2008-03-24 2009-10-08 Honda Motor Co Ltd 車両認識装置、車両、及び車両認識用プログラム
JP2009276906A (ja) * 2008-05-13 2009-11-26 Panasonic Corp 走行情報提供装置
JP2010277262A (ja) * 2009-05-27 2010-12-09 Konica Minolta Holdings Inc 画像処理装置および方法
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
JP2012043436A (ja) * 2010-08-17 2012-03-01 Fujitsu Ltd 対象検出装置、対象検出方法、分類器作成装置及び分類器作成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAQIAN LI, 外２名: ""Vehicle detection based on the stereo concept of (axis, width, disparity) symmetry map"", INTELLIGENT TRANSPORTATION SYSTEMS, 2008. ITSC 2008. 11TH INTERNATIONAL IEEE CONFERENCE ON, JPN6016046731, 12 October 2008 (2008-10-12), pages 778 - 783, XP031383479, ISSN: 0003495837 *
松島宏典, 外４名: ""ステレオ視を利用した識別器に基づく歩行者認識"", ＦＩＴ２００８ 第７回情報科学技術フォーラム 講演論文集 第３分冊 査読付き論文・一般論文 画像認識, JPN6016046727, 20 August 2008 (2008-08-20), pages 151 - 153, ISSN: 0003495836 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015197780A (ja) * 2014-04-01 2015-11-09 三菱プレシジョン株式会社 車両検知及び車両番号認識装置
WO2016170965A1 (ja) * 2015-04-20 2016-10-27 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
JP2016206837A (ja) * 2015-04-20 2016-12-08 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
US10373014B2 (en) 2015-04-20 2019-08-06 Hitachi, Ltd. Object detection method and image search system
JP2022542949A (ja) * 2019-07-30 2022-10-07 華為技術有限公司 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ
JP7305869B2 (ja) 2019-07-30 2023-07-10 華為技術有限公司 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ
JP7446543B1 (ja) 2022-08-08 2024-03-08 三菱電機株式会社 車両制御装置、プログラム及び車両制御方法

Also Published As

Publication number Publication date
JP6111745B2 (ja) 2017-04-12
EP2637126B1 (en) 2018-01-17
EP2637126A3 (en) 2015-02-18
CN103310213A (zh) 2013-09-18
CN103310213B (zh) 2016-05-25
EP2637126A2 (en) 2013-09-11

Similar Documents

Publication Publication Date Title
JP6111745B2 (ja) 車輌検知方法及び装置
CN109034047B (zh) 一种车道线检测方法及装置
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
US9378424B2 (en) Method and device for detecting road region as well as method and device for detecting road line
JP6131704B2 (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
US10477178B2 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
US20180131924A1 (en) Method and apparatus for generating three-dimensional (3d) road model
US10521694B2 (en) 3D building extraction apparatus, method and system
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
JP4341564B2 (ja) 対象物判定装置
JP6340781B2 (ja) 視差図による視差方向連続型物体検知方法及び装置
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
CN106326810B (zh) 道路场景识别方法及设备
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
EP3324359B1 (en) Image processing device and image processing method
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP2016194925A (ja) 道路境界物の検出方法及び装置
JP2018088151A (ja) 境界線推定装置
JP6361313B2 (ja) 車両検出方法及び装置
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
JP6397386B2 (ja) 領域分割処理装置、方法、及びプログラム
CN113838069A (zh) 基于平面度约束的点云分割方法和系统
CN104252707B (zh) 对象检测方法和装置
Kiran et al. Automatic hump detection and 3D view generation from a single road image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170227

R151 Written notification of patent or utility model registration

Ref document number: 6111745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151