JP2014164601A - 車両諸元計測処理装置、車両諸元計測方法及びプログラム - Google Patents

車両諸元計測処理装置、車両諸元計測方法及びプログラム Download PDF

Info

Publication number
JP2014164601A
JP2014164601A JP2013036122A JP2013036122A JP2014164601A JP 2014164601 A JP2014164601 A JP 2014164601A JP 2013036122 A JP2013036122 A JP 2013036122A JP 2013036122 A JP2013036122 A JP 2013036122A JP 2014164601 A JP2014164601 A JP 2014164601A
Authority
JP
Japan
Prior art keywords
feature
feature point
vehicle
measurement
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013036122A
Other languages
English (en)
Other versions
JP6021689B2 (ja
Inventor
Yohei Kojima
洋平 小島
Masahito Takuhara
雅人 宅原
Kenta Nakao
健太 中尾
Takuma Okazaki
拓馬 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2013036122A priority Critical patent/JP6021689B2/ja
Priority to MYPI2015702797A priority patent/MY180963A/en
Priority to SG11201506621YA priority patent/SG11201506621YA/en
Priority to PCT/JP2013/079255 priority patent/WO2014132490A1/ja
Priority to TW102139628A priority patent/TWI504858B/zh
Publication of JP2014164601A publication Critical patent/JP2014164601A/ja
Application granted granted Critical
Publication of JP6021689B2 publication Critical patent/JP6021689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】特徴点の検出についてロバストな画像処理によって車両の諸元(例えば、幅、長さ、高さ)を算出することができる技術を提供する。
【解決手段】画像処理装置は、フレーム画像について、車両の側面にある特徴点である諸元計測用特徴点#1、#2と、下面にある特徴点である諸元計測用特徴点#3とを検出し、諸元計測用特徴点#1、#2、#3に対してモーションステレオ処理を行うことにより車両の幅を算出する。画像処理装置によって検出される諸元計測用特徴点#1〜#3は、その位置が車両の側面又は下面において自由度を有するようにして検出される。
【選択図】図1A

Description

本発明は、車両諸元計測処理装置、車両諸元計測方法及びプログラムに関し、特に、車両諸元計測処理装置、車両諸元計測方法及びプログラムに関し、特に、車両の諸元(幅、長さ、高さ)を計測するための装置及び方法に関する。
高速道路、有料道路等の料金所には、通過する車両の車種を判別するための車種判別装置が設けられることがある。車種判別には様々な手法が用いられるが、近年では、車両の画像を撮影し、撮影した画像を用いて車種判別を行うことが検討されている。車両の画像からは車両に関する様々な情報を得ることができるため、車両の画像を用いた車種判別は、車種の判別の精度を高めるために有用である。
車両の画像を用いた車種判別においては、車両の画像から特徴点を抽出し、抽出された特徴点に基づいて車種の判別を行うことがある。例えば、非特許文献1(J Prokai, G Medioni, "3-D model based vehicle recognition," Applications of Computer Vision (WACV), 2009)は、CG(computer graphic)によって車両の車種ごとに特徴点を学習することで作成したテンプレートを登録したデータベースを事前に用意し、画像から抽出した特徴点と、データベースのテンプレートとのマッチング処理によって車種を推定する技術を開示している。しかしながら、この方法では、車両の車種毎にテンプレートを用意することが必要になる。
車両の画像を用いた車種判別の他の手法として、車両の諸元(例えば、幅、長さ、高さ)を画像処理によって算出し、算出された車両の諸元を車種判別のための情報として用いる技術が知られている。例えば、特許文献1(特開平11−86185号公報)は、撮影した車両の画像に対して補正を行うことで車両の正面及び側面の幾何補正画像を生成し、正面及び側面の幾何補正画像から車両の大きさを推定する技術を開示している。より具体的には、特許文献1に開示された技術では、タイヤと路面の接地位置が検出され、該接地位置と撮影装置の設置条件から車両の3次元空間での位置と進入角度が計算される。計算した車両の3次元空間での位置と進入角度に基づいて車両を撮影した画像に対して補正を行うことで車両の正面及び側面の幾何補正画像が生成され、生成された幾何補正画像から車両の大きさが推定される。
また、非特許文献2(A. Lai, G. Fung and N. Yung, "Vehicle type classification from visual-based dimension estimation" IEEE, Intelligent Transportation Systems, pages 201-206, 2001)は、画像における車両の見かけの大きさから車両の諸元を推定する技術を開示している。具体的には、非特許文献2に開示された技術では、画像のうち、車両の外形に対応する領域が六角形の領域として抽出される。その六角形の頂点のうち、路面近傍の位置にある3つの頂点の座標が算出され、その座標から車両の幅、長さが算出され、更に、車両の高さが、実空間で高さ方向に対応する該六角形の辺の長さから算出される。
車両の諸元を画像処理によって算出する手法においては、特徴点の抽出の確実性が求められないような画像処理、即ち、特徴点の検出についてロバストな画像処理で車両の諸元が算出可能であることが望ましい。特定の特徴点が算出できない場合に、車両の諸元が算出できない、又は、精度が低下するような手法は好ましくない。例えば、非特許文献2に開示された技術では、車両の外形に対応する六角形の頂点のうち路面近傍に対応する3つの頂点が特徴点として検知できなければ、車両の諸元を算出することができない。検出される特徴点の制約が強いことは、車両の諸元の画像処理による計測を不確実にしてしまう。
このような背景から、特徴点の検出についてロバストな画像処理によって車両の諸元(例えば、幅、長さ、高さ)を算出することができる技術の提供が求められている。
特開平11−86185号公報
J Prokai, G Medioni, "3-D model based vehicle recognition," Applications of Computer Vision (WACV), 2009 A. Lai, G. Fung and N. Yung, "Vehicle type classification from visual-based dimension estimation" IEEE, Intelligent Transportation Systems, pages 201-206, 2001
したがって、本発明の目的は、特徴点の検出についてロバストな画像処理によって車両の諸元(例えば、幅、長さ、高さ)を算出することができる技術を提供することにある。
本発明の一の観点では、車両諸元計測装置が、車両を逐次に撮影して車両のフレーム画像を取得する撮影装置と、フレーム画像に基づいて車両の幅を算出する画像処理装置とを具備している。画像処理装置は、フレーム画像のうちの少なくとも一について、車両の形状を近似する直方体の第1面にある特徴点である第1諸元計測用特徴点と、直方体の第2面にある特徴点である第2諸元計測用特徴点と、直方体の第3面にある特徴点である第3諸元計測用特徴点とを検出する特徴点検出手段と、第1諸元計測用特徴点、第2諸元計測用特徴点及び第3諸元計測用特徴点に基づいて車両の幅を算出する車両諸元算出手段とを備えている。ここで、第1面は、車両の第1側面に対応する直方体の面であり、第2面は、車両の第2側面に対応する直方体の面であり、第3面は、車両の下面に対応する直方体の面である。車両諸元算出手段は、第3諸元計測用特徴点の移動量から車両の移動量を算出し、車両の移動量を用いて第1諸元計測用特徴点及び第2諸元計測用特徴点に対してモーションステレオ処理を行うことによって第1諸元計測用特徴点及び第2諸元計測用特徴点の3次元座標を算出し、算出された第1諸元計測用特徴点及び第2諸元計測用特徴点の3次元座標から車両の幅を算出する。特徴点検出手段によって検出される第1諸元計測用特徴点の位置は、第1面の面内において自由度があり、特徴点検出手段によって検出される第2諸元計測用特徴点の位置は、第2面の面内において自由度がある。更に、特徴点検出手段によって検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度がある。
一実施形態では、特徴点検出手段が、フレーム画像から車両に対応する移動領域を抽出し、移動領域について、実空間において車両に接する線に対応しているフレーム画像内の線である接線を抽出し、抽出された接線の交点のうち第1面にある交点を第1諸元計測用特徴点として決定するように構成されてもよい。このとき、特徴点検出手段が、抽出された接線の交点のうち第2面にある交点を第2諸元計測用特徴点として決定するように構成されてもよく、抽出された接線の交点のうち第3面にある交点を第3諸元計測用特徴点として決定するように構成されてもよい。
一実施形態では、特徴点検出手段が、フレーム画像から車両に対応する移動領域を抽出し、移動領域について、実空間において車両に接する線に対応しているフレーム画像内の線である接線を抽出し、抽出された接線のうち第1面にある部分で構成された第1探索路に沿って特徴点を探索することにより第1諸元計測用特徴点を決定するように構成されてもよい。このとき、特徴点検出手段が、抽出された接線のうち第2面にある部分で構成された第2探索路に沿って特徴点を探索することにより第2諸元計測用特徴点を決定するように構成されてもよく、特徴点検出手段が、抽出された接線のうち第3面にある部分で構成された第3探索路に沿って特徴点を探索することにより第3諸元計測用特徴点を決定するように構成されてもよい。
一実施形態では、特徴点検出手段が、車両の第1側面に存在すると想定される部品の第1テンプレートと第1テンプレートにおける特徴点の位置を示す第1特徴点位置データとを含む第1テンプレートデータベースを有していてもよい。この場合、特徴点検出手段は、フレーム画像に対し第1テンプレートデータベースのテンプレートとのテンプレートマッチングにより最もマッチする第1テンプレートの位置である第1マッチング位置を求め、第1マッチング位置と第1特徴点位置データとから決定した位置に第1諸元計測用特徴点があるとして第1諸元計測用特徴点を検出するように構成されてもよい。
また、特徴点検出手段は、車両の第2側面に存在すると想定される部品の第2テンプレートと第2テンプレートにおける特徴点の位置を示す第2特徴点位置データとを含む第2テンプレートデータベースを有していてもよい。この場合、特徴点検出手段は、フレーム画像に対し第2テンプレートデータベースの第2テンプレートとのテンプレートマッチングにより最もマッチする第2テンプレートの位置である第2マッチング位置を求め、第2マッチング位置と第2特徴点位置データとから決定した位置に第2諸元計測用特徴点があるとして第2諸元計測用特徴点を検出するように構成されてもよい。
更に、特徴点検出手段は、車両の下面に存在すると想定される部品の第3テンプレートと第3テンプレートにおける特徴点の位置を示す第3特徴点位置データとを含む第3テンプレートデータベースを有していてもよい。この場合、特徴点検出手段は、フレーム画像に対し第3テンプレートデータベースの第3テンプレートとのテンプレートマッチングにより最もマッチする第3テンプレートの位置である第3マッチング位置を求め、第3マッチング位置と第3特徴点位置データとから決定した位置に第3諸元計測用特徴点があるとして第3諸元計測用特徴点を検出するように構成されてもよい。
本発明の他の観点において、車両諸元計測装置が、車両を逐次に撮影して車両のフレーム画像を取得する撮影装置と、フレーム画像に基づいて車両の長さを算出する画像処理装置とを具備している。画像処理装置は、フレーム画像のうちの少なくとも一について、車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、直方体の第4面にある特徴点である第4諸元計測用特徴点と、直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出する特徴点検出手段と、第3諸元計測用特徴点、第4諸元計測用特徴点及び第5諸元計測用特徴点に基づいて車両の長さを算出する車両諸元算出手段とを備えている。ここで、第3面は、車両の下面に対応する直方体の面であり、第4面は、車両の前面に対応する直方体の面であり、第5面は、車両の後面に対応する直方体の面である。車両諸元算出手段は、第3諸元計測用特徴点の移動量から車両の移動量を算出し、車両の移動量を用いて第4諸元計測用特徴点及び第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって第4諸元計測用特徴点及び第5諸元計測用特徴点の3次元座標を算出し、算出された第4諸元計測用特徴点及び第5諸元計測用特徴点の3次元座標から車両の長さを算出する。特徴点検出手段によって検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度がある。特徴点検出手段によって検出される第4諸元計測用特徴点の位置は、第4面の面内において自由度があり、特徴点検出手段によって検出される第5諸元計測用特徴点の位置は、第5面の面内において自由度がある。
本発明の更に他の観点において、車両諸元計測装置が、車両を逐次に撮影して車両のフレーム画像を取得する撮影装置と、フレーム画像に基づいて車両の高さを算出する画像処理装置とを具備する。画像処理装置は、フレーム画像のうちの少なくとも一について、車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、直方体の第6面にある特徴点である第6諸元計測用特徴点とを検出する特徴点検出手段と、第3諸元計測用特徴点及び第6諸元計測用特徴点に基づいて車両の高さを算出する車両諸元算出手段とを備えている。ここで、第3面は、車両の下面に対応する直方体の面であり、第6面は、車両の上面に対応する直方体の面である。車両諸元算出手段は、第3諸元計測用特徴点の移動量から車両の移動量を算出し、車両の移動量を用いて第3諸元計測用特徴点及び第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって第3諸元計測用特徴点及び第6諸元計測用特徴点の3次元座標を算出し、算出された第3諸元計測用特徴点及び第6諸元計測用特徴点の3次元座標から車両の高さを算出する。特徴点検出手段によって検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度があり、特徴点検出手段によって検出される第6諸元計測用特徴点の位置は、第6面の面内において自由度がある。
本発明の更に他の観点において、車両諸元計測方法が、
車両を逐次に撮影して車両のフレーム画像を取得するステップと、
フレーム画像について、車両の形状を近似する直方体の第1面にある特徴点である第1諸元計測用特徴点と、直方体の第2面にある特徴点である第2諸元計測用特徴点と、直方体の第3面にある特徴点である第3諸元計測用特徴点とを検出するステップと、
第1諸元計測用特徴点、第2諸元計測用特徴点及び第3諸元計測用特徴点に基づいて車両の幅を算出するステップとを具備している。ここで、第1面は、車両の第1側面に対応する直方体の面であり、第2面は、車両の第2側面に対応する直方体の面であり、第3面は、車両の下面に対応する直方体の面である。車両の幅を算出するステップは、
第3諸元計測用特徴点の移動量から車両の移動量を算出するステップと、
車両の移動量を用いて第1諸元計測用特徴点及び第2諸元計測用特徴点に対してモーションステレオ処理を行うことによって第1諸元計測用特徴点及び第2諸元計測用特徴点の3次元座標を算出するステップと、
算出された第1諸元計測用特徴点及び第2諸元計測用特徴点の3次元座標から車両の幅を算出するステップとを含む。該検出するステップにおいて検出される第1諸元計測用特徴点の位置は、第1面の面内において自由度があり、該検出するステップにおいて検出される第2諸元計測用特徴点の位置は、第2面の面内において自由度がある。また、該検出するステップにおいて検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度がある。
本発明の更に他の観点では、車両諸元計測方法が、
車両を逐次に撮影して車両のフレーム画像を取得するステップと、
フレーム画像のうちの少なくとも一について、車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、直方体の第4面にある特徴点である第4諸元計測用特徴点と、直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出するステップと、
第3諸元計測用特徴点、第4諸元計測用特徴点及び第5諸元計測用特徴点に基づいて車両の長さを算出するステップ
とを具備する。ここで、第3面は、車両の下面に対応する直方体の面であり、第4面は、車両の前面に対応する直方体の面であり、第5面は、車両の後面に対応する直方体の面である。車両の長さを算出するステップは、
第3諸元計測用特徴点の移動量から車両の移動量を算出するステップと、
車両の移動量を用いて第4諸元計測用特徴点及び第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって第4諸元計測用特徴点及び第5諸元計測用特徴点の3次元座標を算出するステップと、
算出された第4諸元計測用特徴点及び第5諸元計測用特徴点の3次元座標から車両の長さを算出するステップとを含む。該検出するステップにおいて検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度がある。また、該検出するステップにおいて検出される第4諸元計測用特徴点の位置は、第4面の面内において自由度があり、該検出するステップにおいて検出される第5諸元計測用特徴点の位置は、第5面の面内において自由度がある。
本発明の更に他の観点では、車両諸元計測方法が、
車両を逐次に撮影して車両のフレーム画像を取得するステップと、
フレーム画像のうちの少なくとも一について、車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、直方体の第6面にある特徴点である第6諸元計測用特徴点とを検出するステップと、
第3諸元計測用特徴点及び第6諸元計測用特徴点に基づいて車両の高さを算出するステップ
とを具備する。ここで、第3面は、車両の下面に対応する直方体の面であり、第6面は、車両の上面に対応する直方体の面である。車両の高さを算出するステップは、
第3諸元計測用特徴点の移動量から車両の移動量を算出するステップと、
車両の移動量を用いて第3諸元計測用特徴点及び第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって第3諸元計測用特徴点及び第6諸元計測用特徴点の3次元座標を算出するステップと、
算出された第3諸元計測用特徴点及び第6諸元計測用特徴点の3次元座標から車両の高さを算出するステップ
とを含む。検出するステップにおいて検出される第3諸元計測用特徴点の位置は、第3面の面内において自由度があり、検出するステップにおいて検出される第6諸元計測用特徴点の位置は、第6面の面内において自由度がある。
上記の車両諸元計測方法は、演算装置がプログラムを実行することによって行われても良い。
本発明によれば、特徴点の検出についてロバストな画像処理によって車両の諸元(例えば、幅、長さ、高さ)を算出することができる技術を提供することができる。
本発明の一実施形態において、車両の幅の計測に用いられる諸元計測用特徴点の位置を示す概念図である。 本実施形態において、車両の長さの計測に用いられる諸元計測用特徴点の位置を示す概念図である。 本実施形態において、車両の高さの計測に用いられる諸元計測用特徴点の位置を示す概念図である。 一実施形態における車両諸元計測処理装置のハードウェア構成の例を示すブロック図である。 本実施形態における、車両の諸元を算出するための画像処理を示すフローチャートである。 本実施形態における、車両の諸元を算出するための画像処理を示すフローチャートである。 本実施形態における移動特徴点の検出を概念的に示す図である。 本実施形態における移動特徴点のクラスタリングを概念的に示す図である。 本実施形態における移動領域の検出を概念的に示す図である。 本実施形態において、各移動領域について接線及び交点を求める手順を示す図である。 本実施形態において、各移動領域について接線及び交点を求める手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点から、車両の側面、下面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点から、車両の前面、後面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点から、車両の上面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点で決まる探索路にそって特徴点を探索することにより、車両の側面、下面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点で決まる探索路にそって特徴点を探索することにより、車両の前面、後面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、各移動領域について求められた接線及び交点で決まる探索路にそって特徴点を探索することにより、車両の上面にある諸元計測用特徴点を検出する手順を示す図である。 本実施形態において、車両の各面にある諸元計測用特徴点を検出するために用いられるテンプレートデータベースの内容を示す概念図である。 本実施形態において、テンプレートマッチングにより車両の各面にある諸元計測用特徴点を検出する手法を概念的に示す図である。 本実施形態における、車両の処理エリアへの進入及び退出の検出を概念的に示す図である。 本実施形態において行われるモーションステレオ処理を概念的に説明する図である。 本実施形態において行われるモーションステレオ処理を概念的に説明する図である。
まず、本発明の一実施形態の車両諸元計測方法の概略について説明する。本実施形態では、走行する車両の画像が逐次に撮影され(即ち、異なる時刻において車両の画像が撮像され)、該複数の画像について特徴点の検知と追尾が行われる。更に、特徴点についてモーションステレオ(motion stereo)処理が行われる。モーションステレオ処理とは、移動する物体について異なる時刻に画像を撮影すると共に、何らかの手法で該物体の移動距離を算出し(撮影された画像自体から算出してもよい)、撮影された画像と該物体の移動距離とから、物体と共に移動する3次元座標における物体の3次元座標を計算する技術である。同一場所から撮像された画像であっても物体の位置が該移動距離だけ異なるという情報から、一般的なステレオ処理と類似した手法により、物体の3次元座標が計算可能である。本発明では、モーションステレオ処理によって特徴点の3次元座標(厳密には、車両と共に移動する3次元座標における3次元座標)が計算され、その3次元座標から車両の諸元が算出される。
本実施形態における車両の諸元の計測処理の一つの特徴は、車両の幅、長さ、高さの算出に用いられる特徴点の抽出の手法にある。図1A〜図1Cは、それぞれ、車両の幅、長さ、高さの計測に用いられる特徴点を示す図である。本発明では、車両の外形を近似する直方体30が定義され、該直方体30の特定面に沿った位置にある特徴点が、車両の幅、長さ、高さの計測に用いられる特徴点として使用される。なお、直方体30は、あくまで仮想的に決定されるものである。図1A〜図1Cにおいて、記号v〜vは、直方体30の頂点を表わしている。なお、車両の幅、長さ、高さの計測に用いられる特徴点を、(後述されるような、画像から移動体を検知するために使用される特徴点(移動体検出用特徴点)と区別するために)、以下では、諸元計測用特徴点と呼ぶことにする。
詳細には、図1Aに図示されているように、車両の幅の算出においては次の3種類の諸元計測用特徴点が使用される:
諸元計測用特徴点#1:車両の側面31にある特徴点(厳密には、車両の側面31に対応する直方体30の面に沿った位置にある特徴点)
諸元計測用特徴点#2:車両の側面32にある特徴点(厳密には、車両の側面32に対応する直方体30の面に沿った位置にある特徴点
諸元計測用特徴点#3:車両の下面33にある特徴点(厳密には、車両の下面33に対応する直方体30の面に沿った位置にある特徴点)
ここで、側面31は、車両の2つの側面のうち、走行する車両を計測するカメラに対向する方の側面であり、側面32は、他方の側面である。側面31に対応する直方体30の面は、頂点v〜vを有しており、側面32に対応する直方体30の面は、頂点v〜vを有している。
本実施形態では、諸元計測用特徴点#1、#2、#3は、それぞれ、側面31、32、下面33にあるという条件を満たしていれば、任意の位置から抽出することが許容される。例えば、カメラに対向する側面31については、側面31の任意の位置にある特徴点が、諸元計測用特徴点#1として使用されることが許容される。
同様に、カメラと反対側の側面32についても、側面32の任意の位置にある特徴点が、諸元計測用特徴点#2として使用されることが許容される。ただし、側面32は実際には車両に隠れているので、実際には、辺v及び辺vに沿った車両の輪郭の任意の位置から抽出された特徴点が、側面32の上の特徴点として使用されることになる。
更に、下面33についても、下面33の任意の位置にある特徴点が、諸元計測用特徴点#3として使用されることが許容される。ただし、下面33は実際には車両に隠れているので、実際には、辺v及び辺vに沿った車両の輪郭の任意の位置から抽出された特徴点が、下面33の上の特徴点として使用されることになる。
後述されるように、抽出された諸元計測用特徴点#1〜#3のうち、下面33にある諸元計測用特徴点#3は、車両の移動距離を算出するために使用される。更に、算出された移動距離を用いて諸元計測用特徴点#1、#2についてモーションステレオ処理が行われ、車両とともに移動する3次元座標系における諸元計測用特徴点#1、#2の3次元座標(例えば、諸元計測用特徴点#3に対する相対座標)が算出され、算出された諸元計測用特徴点#1、#2の3次元座標から、車両の幅が算出される。
一方、図1Bに図示されているように、車両の長さの算出においては、次の3種類の諸元計測用特徴点が使用される:
諸元計測用特徴点#3:車両の下面33にある特徴点
諸元計測用特徴点#4:車両の前面34にある特徴点(厳密には、車両の前面34に対応する直方体30の面に沿った位置にある特徴点)
諸元計測用特徴点#5:車両の後面35にある特徴点(厳密には、車両の後面35に対応する直方体30の面に沿った位置にある特徴点)
諸元計測用特徴点#4、#5も、諸元計測用特徴点#1〜#3と同様に、前面34、後面35にあるという条件を満たしていれば、任意の位置から抽出することが許容される。ただし、実際に抽出される特徴点の位置は、カメラの配置によって異なる。カメラが、走行する車両を後ろから撮影するように配置されている場合、後面35がカメラに対向することになる。この場合、後面35については、後面35の任意の位置にある特徴点が、諸元計測用特徴点#5として使用されることが許容される一方で、実際には車両に隠れている前面34については、辺v及び辺vに沿った車両の輪郭の任意の位置から抽出された特徴点が、前面34の上の諸元計測用特徴点#4として使用されることになる。図1Bには、このようなカメラの配置の場合が図示されている。一方、カメラが、走行する車両を前から撮影するように配置されている場合、前面34がカメラに対向することになる。この場合、前面34については、前面34の任意の位置にある特徴点が、諸元計測用特徴点#4として使用されることが許容される一方で、実際には車両に隠れている後面35については、カメラから撮影可能な辺に沿った車両の輪郭の任意の位置から抽出された特徴点が、後面35の上の諸元計測用特徴点#5として使用されることになる。
車両の長さの算出においては、下面33にある諸元計測用特徴点#3に基づいて算出された車両の移動距離を用いて諸元計測用特徴点#4、#5についてモーションステレオ処理が行われる。これにより、車両とともに移動する3次元座標系における諸元計測用特徴点#4、#5の3次元座標(例えば、諸元計測用特徴点#3に対する相対座標)が算出される、算出された諸元計測用特徴点#4、#5の3次元座標から、車両の長さが算出される。
更に、図1Cに図示されているように、車両の高さの算出においては次の2種類の諸元計測用特徴点が使用される:
諸元計測用特徴点#3:車両の下面33にある特徴点(厳密には、車両の下面33に対応する直方体30の面に沿った位置にある特徴点)
諸元計測用特徴点#6:車両の上面36にある特徴点(厳密には、車両の上面36に対応する直方体30の面に沿った位置にある特徴点)
諸元計測用特徴点#1〜#5と同様に、諸元計測用特徴点#6も、上面36にあるという条件を満たしていれば、任意の位置から抽出することが許容される。道路を走行する車両を撮影する場合、通常、カメラは車両の上方に設置される(例えば、道路に設けられたガントリに設置される)ので、車両の上面36は、通常、その全体が撮影されることに留意されたい。
車両の高さの算出においては、下面33にある諸元計測用特徴点#3に基づいて算出された車両の移動距離を用いて諸元計測用特徴点#6についてモーションステレオ処理が行われる。これにより、車両とともに移動する3次元座標系における諸元計測用特徴点#3、#6の3次元座標(例えば、諸元計測用特徴点#3に対する相対座標)が算出され、算出された諸元計測用特徴点#3、#6の3次元座標から、車両の高さが算出される。
続いて、本発明の一実施形態における車両諸元計測処理装置及び車両諸元計測方法について、詳細に説明する。
図2は、本実施形態の車両諸元計測処理装置10の構成の例を示すブロック図である。車両諸元計測処理装置10は、カメラ1と、画像処理装置2とを備えている。カメラ1は、道路を走行する車両を撮影する撮像装置である。カメラ1は、車両の画像(フレーム画像)の画像データ21を生成し、生成した画像データ21を画像処理装置2に供給する。画像処理装置2は、カメラ1から受け取った画像データ21に対して画像処理を行って画像データ21の画像に撮影されている車両の諸元、より具体的には、車両の幅、長さ、高さを計測し、車両の幅、長さ、高さを示す車両諸元データ22を生成する。
画像処理装置2は、画像処理IC(integrated circuit)3と、外部インターフェース4と、外部記憶装置5と、メモリ6と、ROM(read only memory)7とを備えている。外部インターフェース4は、カメラ1に接続されており、カメラ1から受け取った画像データ21を、画像処理IC3に供給する。外部記憶装置5は、画像処理装置2における画像処理において生成されるデータを保存する。外部記憶装置5に保存されるデータは、車両諸元データ22を含んでいる。メモリ6は、画像処理IC3による演算処理のワーキングエリアとして使用される。ROM7は、画像処理IC3によって実行されるプログラムを保存している。ROM7に記憶されているプログラムは、車両の諸元を計測する画像処理を実行するためのプログラムである車両諸元計測処理プログラム7aを含んでいる。
なお、上記には、画像データ21から車両の諸元を算出するための画像処理装置2の構成が説明されているが、画像処理装置2において、車両諸元データ22を利用した車種判別も行われてもよい。この場合、車種判別に必要なプログラムは、ROM7にインストールされていてもよい。
画像処理IC3は、演算モジュール11と、画像入力インターフェース12と、データ入出力インターフェース13と、メモリコントローラ14と、ROMコントローラ15とを備えている。演算モジュール11と、画像入力インターフェース12と、データ入出力インターフェース13と、メモリコントローラ14と、ROMコントローラ15とは、内部バス16によって接続されている。演算モジュール11は、メモリ6をワーキングエリアとして使用しながら車両諸元計測処理プログラム7aを実行して、画像データ21から車両の諸元を算出するための画像処理を行う。画像入力インターフェース12は、カメラ1から画像データ21を受け取るインターフェースである。データ入出力インターフェース13は、外部記憶装置5へのアクセスを行うためのインターフェースである。メモリコントローラ14は、メモリ6へのアクセスを行うためのインターフェースである。また、ROMコントローラ15は、ROM7へのアクセスを行うためのインターフェースである。
以下に述べられる車両の諸元を算出するための画像処理は、図2に示されているハードウェアを用いて実行される。以下では、車両の諸元を算出するための画像処理について、詳細に説明する。
図3A、図3Bは、本発明の一実施形態における、車両の諸元を算出するための画像処理を示すフローチャートである。上述の車両諸元計測処理プログラム7aは、この画像処理を実行するためのプログラムコード群である。車両の諸元を算出するための画像処理は、大きく分けて、下記の3つのステージがある:
1.移動体検知用特徴点の検知及び追尾(図3AのステップS01〜S04)
2.移動体の検知、分離、及び、諸元計測用特徴点の検知及び追尾(図3AのステップS05〜S07)
3.諸元計測用特徴点に基づく車両の諸元の算出(図3BのステップS08〜S12)
以下、それぞれのステージについて、詳細に説明する。
1.移動体検知用特徴点の検知及び追尾
図3Aを参照して、まず、画像処理装置2の初期化が行われた後(ステップS01)、車両を撮影したフレーム画像の画像データ21が逐次に取り込まれる(ステップS02)。更に、画像データ21に示されているフレーム画像に含まれる特徴点が検知され、更に、各特徴点が追尾される(ステップS03)。ただし、ステップS03で検知され、追尾される特徴点は、上述の諸元計測用特徴点に一致するとは限らない。そこで、諸元計測用特徴点と区別するために、ステップS03で検知され、追尾される特徴点を、以下、移動体検知用特徴点と呼ぶ。ステップS03では、検知され、追尾される移動体検知用特徴点を列挙したリストである移動体検知用特徴点リスト23が生成される。移動体(多くの場合、車両)が進入してきた領域において新たに移動体検知用特徴点が検知されると、該移動体検知用特徴点が移動体検知用特徴点リスト23に追加される。また、画像の外に消えた移動体検知用特徴点又は追尾に失敗した移動体検知用特徴点は、移動体検知用特徴点リスト23から除去される。
画像データ21の取り込み(ステップS02)、及び、移動体検知用特徴点の検知及び追尾(ステップS03)は、画像処理装置2に終了信号が与えられるまで逐次に行われる。画像処理装置2に終了信号が与えられると(ステップS04)、画像処理装置2における画像処理が終了する。
2.移動体の検知、分離、及び、諸元計測用特徴点の検知及び追尾
このステージでは、移動体検知用特徴点リスト23に列挙されている移動体検知用特徴点、即ち、現在、追尾されている移動体検知用特徴点の中から、各車両に対応する特徴点が検出される。詳細には、まず、移動体検知用特徴点リスト23に列挙されている移動体検知用特徴点のうち、車両に対応する特徴点(即ち、車両に対応しない特徴点を除く特徴点)が、移動特徴点として検出される(ステップS05)。より具体的には、移動体検知用特徴点リスト23に列挙されている移動体検知用特徴点のうち、静止している特徴点、及び、移動しているが車両の動きとは異なる動きをしている特徴点が除去される。道路を走行する車両は、概ね道路の向きに動くので、このような動きをしない特徴点は、車両に対応していない特徴点であると判別可能である。
図4は、ステップS05における移動特徴点の検出の例を示す図である。図4の左図に示されているように、ステップS03において、一連の画像において特徴点41が検知され、更に、移動している特徴点41については追尾が行われる。図4の左図において、追尾が行われている特徴点41は、互いに線分で結ばれて図示されている。静止していると判断された特徴点は、移動体検知用特徴点リスト23から除去される。
更に、追尾されている特徴点のうち、下記の条件(1)〜(3)を満たす特徴点が、車両に対応する移動特徴点として検出される:
(1)所定数NSTD以上の連続したフレーム画像に渡って追尾ができていること(所定数NSTDは、パラメータとして与えられる)。
(2)開始点(当該特徴点について画像上で追尾が開始された位置)と、現在点(即ち、当該特徴点の画像上の最新の位置)とを結ぶベクトルの大きさが、μ×NTRC以上であること。ここで、μは、所定のパラメータ値(技術的には、単位時間当たりの移動量の閾値を意味している)であり、NTRCは、当該特徴点について追尾が行われているフレーム画像の数である。
(3)開始点から現在点に向かうベクトルと、開始点から画像の消失点に向かうベクトルとがなす角度が所定の閾値角度以下であること。ここでいう画像の消失点とは、車両の画像を透視図と近似した場合において、当該透視図に規定される消失点を意味している。図4の右図には、消失点43が図示されている。
図4の右図は、ステップS05において検出される移動特徴点の例を示している。図4の右図には、所定数以上の連続したフレーム画像に渡って追尾されている特徴点42a、42b、42cが図示されている。ここで、符号42a−1は、特徴点42aの開始点を示しており、符号42a−3は、特徴点42aの現在点を示している。符号42a−2は、開始点に対応するフレーム画像と現在点に対応するフレーム画像の間のフレーム画像における特徴点42aの位置を示している。同様に、符号42b−1は、特徴点42bの開始点を示しており、符号42b−3は、特徴点42bの現在点を示している。符号42b−2は、開始点に対応するフレーム画像と現在点に対応するフレーム画像の間のフレーム画像における特徴点42bの位置を示している。更に、符号42c−1は、特徴点42cの開始点を示しており、符号42c−3は、特徴点42cの現在点を示している。符号42c−2は、開始点に対応するフレーム画像と現在点に対応するフレーム画像の間のフレーム画像における特徴点42cの位置を示している。
特徴点42aについては、開始点42a−1と現在点42a−3とを結ぶベクトルの大きさが、μ×NTR以上であるかの判断、及び、開始点42a−1から現在点42a−3に向かうベクトルと開始点42a−1から消失点43に向かうベクトルの間の角度が、所定の閾値θTH1以下であるかの判断が行われる。これらの判断に基づき、特徴点42aが移動特徴点として抽出されるか否かが判断される。
特徴点42b、42cについても、同様の判断が行われる。以下では、ステップS05において、特徴点42a、42b、42cが移動特徴点として検出されたとして説明を行う。
図3Aに示されているように、移動特徴点の検出(ステップS05)の後、検出された移動特徴点のクラスタリングが行われる。(ステップS06)。図5を参照して、このクラスタリングは、各特徴点の消失点43までの距離と、開始点から現在点に向かうベクトルの向きとに基づいて行われる。なお、特徴点の消失点43までの距離としては、現在点から消失点43までの距離(図5では、距離Dとして図示されている)を用いても良いし、開始点から消失点43までの距離が用いられても良いし、また、特徴点の追尾の間の平均の距離が用いられても良い。このクラスタリングにより、1台の車両に対応する一群の特徴点が、同一のクラスタに分類される。
図5は、ステップS06におけるクラスタリングの例を示している。図5を参照して、ステップS05において、6つの特徴点:特徴点42a、42b、42c、42d、42e、42fが抽出されたとする。この場合、特徴点42a、42b、42c、42d、42e、42fのそれぞれについて、消失点43までの距離と、開始点から現在点に向かうベクトルの向きが算出される。図5では各特徴点の消失点43までの距離は、現在点から消失点43までの距離Dとして定義され、また、開始点から現在点に向かうベクトルの向きは、画像の水平方向からの角度として定義されている。
例えば、特徴点42aについては、現在点42a−3から消失点43までの距離と、開始点42a−1から現在点42a−3に向かうベクトルと画面の水平方向との角度θが算出される。他の特徴点42b、42c、42d、42e、42fについても、同様に、現在点から消失点43までの距離と、開始点から現在点に向かうベクトルの向きが算出される。算出された現在点から消失点43までの距離と開始点から現在点に向かうベクトルの向きに基づいて、特徴点42a、42b、42c、42d、42e、42fのクラスタリングが行われる。図5の例では、クラスタリングの結果、特徴点42a、42b、42cが、第1の車両に対応するクラスタに分類され、特徴点42d、42e、42fが、第2の車両に対応するクラスタに分類されることになる。
図3Aに示されているように、移動特徴点のクラスタリングの後、各車両に対応する移動領域が画像から抽出され、更に、各移動領域について諸元計測用特徴点の検出と追尾が行われる(ステップS07)。
まず、図6に示されているように、各クラスタの移動特徴点から、各画像において当該車両が撮影されている領域である移動領域が抽出される。移動領域は、各クラスタについて抽出される。移動領域は、画像における車両の輪郭に対応する多角形の形状の領域として抽出される。このとき、各クラスタの移動特徴点が、該多角形の頂点となるように移動領域が抽出される。
更に、各車両に対応する移動領域について、上述の諸元計測用特徴点を検出する処理、及び、追尾する処理が行われる。ここで、図1Aを参照して説明したように、諸元計測用特徴点#1、#2は、それぞれ、車両の側面31、32にある特徴点であり、諸元計測用特徴点#3は、車両の下面33にある特徴点である。また、諸元計測用特徴点#4は、車両の前面34にある特徴点であり、諸元計測用特徴点#5は、車両の後面35にある特徴点である。更に、諸元計測用特徴点#6は、車両の上面36にある特徴点である。抽出される諸元計測用特徴点#1の数は、必ずしも一つには限定されず、複数の諸元計測用特徴点#1が抽出されても良いことに留意されたい。他の諸元計測用特徴点#2〜#6についても同様である。
ここで、諸元計測用特徴点の追尾は、各フレーム画像について諸元計測用特徴点の検出し、フレーム画像の間で諸元計測用特徴点を対応づける手法によっても行われても良い。また、諸元計測用特徴点の追尾は、移動領域が最初に出現したフレーム画像(初期フレーム画像)について諸元計測用特徴点を検出し、後続のフレーム画像において該諸元計測用特徴点について動体追尾を行う手法によって行われても良い。
いずれの場合についても、少なくとも初期フレームについて諸元計測用特徴点を検出する処理が行われるので、以下では、まず、諸元計測用特徴点を検出する処理について説明する。諸元計測用特徴点を検出する処理は、下記の手法(1)〜(3)の少なくとも一つを利用して行われる。ここで、抽出される諸元計測用特徴点#1の数は、必ずしも一つには限定されず、複数の諸元計測用特徴点#1が抽出されても良いことに留意されたい。したがって、下記の手法(1)〜(3)の複数が用いられて複数の諸元計測用特徴点#1が抽出されても良い。他の諸元計測用特徴点#2〜#6についても同様である。
手法(1):
諸元計測用特徴点を検出する手法(1)では、各車両に接する接線を抽出すると共に該接線が交わる交点が求められる。諸元計測用特徴点は、求められた交点のうちから選択されて決定される。ここでいう「接線」とは、実空間において車両に接する接線に対応している画像内の線を意味している。図7A、図7Bは、車両に接する接線及びそれらの交点を求める処理の例を示している。該接線は、画像内においても移動領域に接する接線である場合もあるが(符号61〜66で示された接線)、必ずしも、それに限定されない(例えば、符号67〜69で示された接線)。
図7A、図7Bの(1)欄に図示されているように、手法(1)では、まず、実空間において、路面上にあり、且つ、車線に平行であるような線に対応する接線61、62が抽出される。実空間において、路面上にあり且つ車線に平行な線が画像においてどのような角度で撮像されるかは、カメラ1の空間的配置により決定されるから、予め分かっている情報である。この事実を利用して、路面上にあり且つ車線に平行な線に対応する接線が抽出される。ここで、接線61は、抽出された車線に平行な線に対応する接線のうち、(カメラ1から見たときに)車両の手前側にある接線であり、接線62は、車両の向こう側にある接線である。
更に、図7A、図7Bの(2)欄に図示されているように、実空間において、路面上にあり、且つ、車線に垂直であるような線に対応する接線が抽出される。実空間において車線に平行な線と同様に、実空間において車線に垂直な線が画像においてどのような角度で撮像されるかは、カメラ1の空間的配置により決定され、予め分かっている情報である。この事実を利用して、実空間において車線に垂直な線に対応する接線が抽出される。図7A、図7Bの(2)欄では、接線63は、抽出された車線に垂直な線に対応する接線のうち、(カメラ1から見たときに)車両の手前側にある接線であり、接線64は、車両の向こう側にある接線である。
加えて、接線61と接線63の交点51が求められ、接線62、64の交点52が求められる。
更に、図7A、図7Bの(3)欄に図示されているように、実空間において路面に垂直であるような線に対応する接線が抽出される。実空間において路面に垂直な線が画像においてどのような角度で撮像されるかは、予め分かっている情報であるから、この事実を利用して、実空間において、車線に垂直な線に対応する移動領域の接線を抽出することができる。図7A、図7Bの(3)欄では、抽出された路面に垂直であるような線に対応する接線のうち、車両の向こう側にある接線が符号65で示されており、車両の手前側にある接線が符号66、67で示されている。ここで、接線67は、車両の手前側にある接線61、63の交点51を通過するような線として抽出される。
加えて、(3)欄に図示されているように、接線61と接線65の交点53、接線64と接線65の交点54、接線63と接線66の交点55、及び、接線62と接線66の交点56が求められる。
更に、図7A、図7Bの(3)欄に図示されているように、実空間において路面の上方に離れて位置し、路面に平行な平面内にあり、且つ、車線に垂直又は平行な線に対応する接線68、69が抽出される。ここで、接線68は、車線に垂直な線に対応する接線であり、接線69は、車線に平行な線に対応する接線である。接線68は、交点56を通過するような線として抽出される。加えて、接線67、68の交点57が求められ、接線69は、交点57を通過するような線として抽出される。
図8A〜図8Cは、求められた交点のうちから各諸元計測用特徴点を決定する手法を示す図である。詳細には、図8Aは、車両の側面31、32にある諸元計測用特徴点#1、#2、及び、車両の下面33にある諸元計測用特徴点#3の決定方法を示す図である。また、図8Bは、車両の前面34にある諸元計測用特徴点#4、車両の後面35にある諸元計測用特徴点#5の決定方法を示す図である。図8Cは、車両の上面36にある諸元計測用特徴点#6の決定方法を示す図である。なお、車両の下面33にある諸元計測用特徴点#3の決定方法は、図8Aのみならず、図8B、図8Cにも図示されている。
図8Aを参照して、上述のようにして求められた交点のうち車両の側面31にある交点(即ち、交点51、53、54、57)から諸元計測用特徴点#1が選択される。ここで、交点51、53、54、57の全てが諸元計測用特徴点#1として決定されてもよく、また、交点51、53、54、57のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#1として決定されてもよい。
更に、車両の側面32にある交点(即ち、交点52、55、56)のうちから諸元計測用特徴点#2が選択される。ここで、交点52、55、56の全てが諸元計測用特徴点#2として決定されてもよく、また、交点52、55、56のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#2として決定されてもよい。
また、車両の下面33にある交点(即ち、交点51、53、55)のうちから諸元計測用特徴点#3が選択される。ここで、交点51、53、55の全てが諸元計測用特徴点#3として決定されてもよく、また、交点51、53、55のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#3として決定されてもよい。
更に、図8Bに図示されているように、車両の前面34にある交点(即ち、交点52、53、54)のうちから諸元計測用特徴点#4が選択される。ここで、交点52、53、54の全てが諸元計測用特徴点#4として決定されてもよく、また、交点52、53、54のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#4として決定されてもよい。
また、車両の後面35にある交点(即ち、交点51、55、56、57)のうちから諸元計測用特徴点#5が選択される。ここで、交点51、55、56、57の全てが諸元計測用特徴点#5として決定されてもよく、また、交点51、55、56、57のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#5として決定されてもよい。
更に、図8Cに図示されているように、車両の上面36にある交点(即ち、交点52、56、57)のうちから諸元計測用特徴点#6が選択される。ここで、交点52、56、57の全てが諸元計測用特徴点#6として決定されてもよく、また、交点52、56、57のうちから適宜に選択された一又は複数の交点が諸元計測用特徴点#6として決定されてもよい。
手法(2):
諸元計測用特徴点を検出する手法(2)では、手法(1)と同様にして接線、交点を求めた後、求められた接線及び交点で決まる探索路に沿って特徴点を探索することにより、より追尾しやすい特徴点が各面について探索される。この探索によって求められた特徴点が諸元計測用特徴点として決定される。図9A〜図9Cは、手法(2)において各諸元計測用特徴点を決定する手法を示す図である。
図9Aを参照して、側面31にある諸元計測用特徴点#1の決定においては、上記のようにして求められた接線のうち側面31にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。このとき、交点は、この探索路の決定の際に、接線のうち側面31にある部分を得るために用いられる。より具体的には、接線65のうち交点54と交点53とを結ぶ部分、接線62のうち交点53と交点51とを結ぶ部分、及び、及び、接線67のうち、交点51と交点57とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#1として決定される。決定される諸元計測用特徴点#1の数は1つでもよいし、複数であっても良い。
側面32にある諸元計測用特徴点#2の決定においては、求められた接線のうち側面32にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。より具体的には、接線66のうち交点55と交点56とを結ぶ部分、及び、接線62のうち交点56と交点52とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#2として決定される。決定される諸元計測用特徴点#2の数は1つでもよいし、複数であっても良い。
更に、下面33にある諸元計測用特徴点#3の決定においては、求められた接線のうちの下面33にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。より具体的には、接線61のうち交点53と交点51とを結ぶ部分、及び、接線63のうち交点51と交点55とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#2として決定される。決定される諸元計測用特徴点#2の数は1つでもよいし、複数であっても良い。
更に、図9Bを参照して、前面34にある諸元計測用特徴点#4の決定においては、上記のようにして求められた接線のうち前面34にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。より具体的には、接線65のうち交点53と交点54とを結ぶ部分、及び、接線64のうち交点54と交点52とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#4として決定される。決定される諸元計測用特徴点#4の数は1つでもよいし、複数であっても良い。
また、後面35にある諸元計測用特徴点#5の決定においては、求められた接線のうち後面35にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。より具体的には、接線66のうち交点55と交点56とを結ぶ部分、接線68のうち交点56と交点57とを結ぶ部分、接線67のうち交点57と交点51とを結ぶ部分、及び、接線63のうち交点51と交点55とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#5として決定される。決定される諸元計測用特徴点#5の数は1つでもよいし、複数であっても良い。
更に、図9Cを参照して、上面36にある諸元計測用特徴点#6の決定においては、求められた接線のうち上面36にある部分で構成される経路が探索路として定められ、この探索路の周辺について特徴点の探索が行われる。より具体的には、接線68のうち交点57と交点56とを結ぶ部分、及び、接線62のうち交点56と交点52とを結ぶ部分で構成される探索路の周辺について特徴点の探索が行われる。この探索によって得られた特徴点が、諸元計測用特徴点#6として決定される。決定される諸元計測用特徴点#6の数は1つでもよいし、複数であっても良い。
手法(3):
諸元計測用特徴点を検出する手法(3)では、車両の各面について、直接に(即ち、上述の手法(1)で求められるような接線、交点を参照せずに)特徴点の探索が行われる。この探索によって求められた特徴点が諸元計測用特徴点として決定される。図10〜図11は、手法(3)において諸元計測用特徴点を決定する手法を示す図である。
諸元計測用特徴点を検出する手法(3)が採用される場合、車両の各面に存在することが想定される部品のテンプレートのデータベースが用意され、該テンプレートを用いたテンプレートマッチングが行われる。図10は、用意されるテンプレートのデータベースの内容の例を概念的に示す図である。用意されるテンプレートのデータベースは、下記の6つのデータベースを含んでいる:
・カメラ側の側面31にある部品のテンプレートを含むテンプレートデータベース71
・カメラと反対側の側面32にある部品のテンプレートを含むテンプレートデータベース72
・下面33にある部品のテンプレートを含むテンプレートデータベース73
・前面34にある部品のテンプレートを含むテンプレートデータベース74
・後面35にある部品のテンプレートを含むテンプレートデータベース75
・上面36にある部品のテンプレートを含むテンプレートデータベース76
テンプレートデータベース71〜76のそれぞれにおいて、各部品のテンプレートには、該テンプレートにおける特徴点の位置を示す特徴点位置データが添付される。
例えば、テンプレートデータベース71については、側面31にあると想定される部品(例えば、タイヤ、窓、ミラー、ライト)の画像から作成されたテンプレートが登録され、更に、各テンプレートに特徴点の位置が指定される。図10の黒点は、各テンプレートに定められた特徴点を示している。複数の車種に対応するために、テンプレートデータベース71においては、各部品について複数のテンプレートが用意される。他のテンプレートデータベース72〜76についても同様に、各面にあると想定される部品の画像から作成されたテンプレートが登録され、各テンプレートに特徴点が指定される。テンプレートデータベース71〜76は、適宜の記憶手段、例えば、図2に図示されている外部記憶装置5に記憶される。
図11は、テンプレートマッチングによる諸元計測用特徴点の検出を概念的に説明する図である。なお、図11は、テンプレートデータベース75に登録されたテンプレートを用いた、後面35にある諸元計測用特徴点#5の検出を図示している。後面35にある諸元計測用特徴点#5では、処理対象のフレーム画像の全体に対して、テンプレートデータベース75に含まれるテンプレート(即ち、後面35にある部品のテンプレート)とのマッチング処理が行われる。各フレーム画像の各位置について各テンプレートについて類似度が求められ、各部品について、最もマッチするテンプレートと、該テンプレートの位置(マッチング位置)が算出される。更に、最もマッチするテンプレートの位置と、該テンプレートについて特徴点位置データによって指定された特徴点の位置から、諸元計測用特徴点の位置が決定される。このような手順により、諸元計測用特徴点が検出される。
以上には、後面35にある諸元計測用特徴点#5の検出について説明しているが、他の面(側面31、32、下面33、前面34、上面36)についても同様にしてテンプレートマッチングによる諸元計測用特徴点の検出が行われる。
上記の手法(1)〜(3)による諸元計測用特徴点の検出は、各フレーム画像について行われても良い。この場合、諸元計測用特徴点の追尾は、フレーム画像の間で諸元計測用特徴点を対応づける手法によっても行われる。
上記の手法(1)〜(3)による諸元計測用特徴点の検出は、移動領域が最初に出現したフレーム画像(初期フレーム画像)について行われても良い。この場合、後続のフレーム画像については、検出された諸元計測用特徴点について適宜のアルゴリズムを用いた動体追尾が行われる。ステップS07における諸元計測用特徴点の検出及び追尾は、以上のようにして行われる。
図3Aを再度に参照して、ステップS07における諸元計測用特徴点の検出と追尾が行われると、諸元計測用特徴点の検出と追尾の履歴データ、即ち、各時刻におけるフレーム画像における諸元計測用特徴点の位置を示すデータが諸元計測用特徴点リスト24に記録される。諸元計測用特徴点リスト24は、適宜の記憶手段(例えば、図2の外部記憶装置5)に記録される。諸元計測用特徴点リスト24は、画像に移動領域が出現する度に各移動領域について生成される。
3.諸元計測用特徴点に基づく車両の諸元の算出
諸元計測用特徴点の検出と追尾の処理が行われた後、その諸元計測用特徴点を用いて車両の諸元が算出される。より具体的には、図3Bに示されているように、まず、各車両の全体が各フレーム画像に規定された特定の処理エリアに進入した時点が検出され(ステップS08)、更に、該処理エリアから該車両全体が退出した時点が検出される(ステップS09)。図12は、車両の処理エリアへの進入と退出の検出について概念的に示した図である。各フレーム画像の特定の領域(例えば、フレーム画像の下部に規定された領域)が、処理エリア44として規定され、各車両に対応する移動領域の全体が、処理エリア44に進入した時点、及び、処理エリア44から退出した時点が検出される。
更に、諸元計測用特徴点リスト24に記録されている各移動領域(即ち、各車両)の諸元計測用特徴点の履歴データのうち、各車両の全体が処理エリア44に進入した時点と処理エリア44から退出した時点の間の時間についての履歴データを用いて、車両の諸元を示す車両諸元データ22が算出される(ステップS13)。車両諸元データ22の算出は、各車両の全体が処理エリア44に進入した時点と処理エリア44から退出した時点の間の時間の各時刻における、フレーム画像における諸元計測用特徴点の位置のデータに対してモーションステレオ処理が行われることによって行われる。モーションステレオ処理により、各時刻における諸元計測用特徴点の3次元座標(厳密には、車両と共に移動する3次元座標における3次元座標)が計算され、その3次元座標から車両の諸元が得られる。
図13A、図13Bは、本実施形態における、各諸元計測用特徴点の3次元座標を求めるためのモーションステレオ処理を説明する概念図である。図13Aを参照して、本実施形態におけるモーションステレオ処理では、車両の下面33にある諸元計測用特徴点#3のフレーム画像における移動量から、実空間内における車両の移動量dが算出される。実空間路面上にある点のフレーム画像における移動量と、当該点の実空間における移動量との対応関係は、カメラ1の空間的配置に基づいて事前に得ることができる。この事実を利用して、車両の下面33にある諸元計測用特徴点#3(これは、実空間において路面上にある点と近似できる)のフレーム画像における移動量から、諸元計測用特徴点#3の実空間における移動量dを算出することができる。
図13Bに図示されているように、モーションステレオ処理は、諸元計測用特徴点#1、〜#6が、算出された移動量dだけ移動しているという前提に基づいて行われる。即ち、諸元計測用特徴点#1〜#6の3次元座標は、諸元計測用特徴点#1〜#6が移動量dだけ移動しているとして行われたモーションステレオ処理により算出される。
各諸元計測用特徴点の3次元座標が算出されると、その3次元座標を用いて車両の諸元即ち、車両の幅、長さ、高さが算出される。車両の幅は、図1Aに示されているように、側面31、32にある諸元計測用特徴点#1、#2の3次元座標から算出される。また、図1Bに示されているように、車両の長さは、前面34及び後面35にある諸元計測用特徴点#4、#5の3次元座標から算出される。更に、図1Cに示されているように、車両の高さは、下面33及び上面36にある諸元計測用特徴点#3、#6の3次元座標から算出される。
更に、図3Bに示されているように、算出された車両の諸元を示す車両諸元データ22が生成される。車両諸元データ22は、外部記憶装置5に記憶される。その後、算出された車両の諸元が適宜の出力装置(例えば、表示装置)を用いて出力され(ステップS11)、諸元が算出された車両に対応する諸元計測用特徴点リスト24が削除される(ステップS12)。以上で、車両の諸元を算出するための処理が完了する。
以上に説明されているように、本実施形態では、車両の各面について諸元計測用特徴点が抽出され、その諸元計測用特徴点に対してモーションステレオ処理を行うことで各諸元計測用特徴点の3次元座標が算出される。算出された各諸元計測用特徴点の3次元座標から、車両の諸元(幅、長さ、高さ)が算出される。ここで、本実施形態における車両の諸元の計測処理では、車両の各面において抽出される諸元計測用特徴点の位置について一定の自由度があり、よって、ロバストな画像処理によって諸元計測用特徴点を検出可能である。このように、本実施形態における車両の諸元の計測処理によれば、ロバストな画像処理によって車両の諸元(例えば、幅、長さ、高さ)を算出することができる。
以上には、本発明の実施形態が具体的に記述されているが、本発明は、上記の実施形態には限定されない。本発明が、様々な変更と共に実施され得ることは、当業者には自明的であろう。例えば、上記には、車両の幅、長さ、高さの全てが算出される実施形態が記述されているが、車両の幅、長さ、高さの全てが算出されなくてもよい。本発明は、車両の幅、長さ、高さのうちの少なくとも一つを算出する場合に適用可能である。この場合、諸元計測用特徴点#1〜#6のうちの必要があるもののみが検出されてもよい。
1 :カメラ
2 :画像処理装置
4 :外部インターフェース
5 :外部記憶装置
6 :メモリ
7 :ROM
7a :車両諸元計測処理プログラム
10 :車両諸元計測処理装置
11 :演算モジュール
12 :画像入力インターフェース
13 :データ入出力インターフェース
14 :メモリコントローラ
15 :ROMコントローラ
16 :内部バス
21 :画像データ
22 :車両諸元データ
23 :移動体検知用特徴点リスト
24 :諸元計測用特徴点リスト
30 :直方体
31、32:側面
33 :下面
34 :前面
35 :後面
36 :上面
41、42a、42b、42c、42d:特徴点
43 :消失点
44 :処理エリア
51〜57:交点
61〜69:接線
71〜76:テンプレートデータベース

Claims (20)

  1. 車両を逐次に撮影して前記車両のフレーム画像を取得する撮影装置と、
    前記フレーム画像に基づいて前記車両の幅を算出する画像処理装置
    とを具備し、
    前記画像処理装置は、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第1面にある特徴点である第1諸元計測用特徴点と、前記直方体の第2面にある特徴点である第2諸元計測用特徴点と、前記直方体の第3面にある特徴点である第3諸元計測用特徴点とを検出する特徴点検出手段と、
    前記第1諸元計測用特徴点、前記第2諸元計測用特徴点及び前記第3諸元計測用特徴点に基づいて前記車両の幅を算出する車両諸元算出手段
    とを備え、
    前記第1面は、前記車両の第1側面に対応する前記直方体の面であり、
    前記第2面は、前記車両の第2側面に対応する前記直方体の面であり、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記車両諸元算出手段は、前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出し、前記車両の移動量を用いて前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標を算出し、算出された前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標から前記車両の幅を算出し、
    前記特徴点検出手段によって検出される前記第1諸元計測用特徴点の位置は、前記第1面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第2諸元計測用特徴点の位置は、前記第2面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度がある
    車両諸元計測装置。
  2. 請求項1に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、前記フレーム画像から前記車両に対応する移動領域を抽出し、前記移動領域について、実空間において前記車両に接する線に対応している前記フレーム画像内の線である接線を抽出し、抽出された前記接線の交点のうち前記第1面にある交点を前記第1諸元計測用特徴点として決定するように構成された
    車両諸元計測装置。
  3. 請求項2に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、前記抽出された前記接線の交点のうち前記第2面にある交点を前記第2諸元計測用特徴点として決定するように構成された
    車両諸元計測装置。
  4. 請求項2又は3に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、抽出された前記接線の交点のうち前記第3面にある交点を前記第3諸元計測用特徴点として決定するように構成された
    車両諸元計測装置。
  5. 請求項1に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、前記フレーム画像から前記車両に対応する移動領域を抽出し、前記移動領域について、実空間において前記車両に接する線に対応している前記フレーム画像内の線である接線を抽出し、抽出された前記接線のうち前記第1面にある部分で構成された第1探索路に沿って特徴点を探索することにより前記第1諸元計測用特徴点を決定するように構成された
    車両諸元計測装置。
  6. 請求項5に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、抽出された前記接線のうち前記第2面にある部分で構成された第2探索路に沿って特徴点を探索することにより前記第2諸元計測用特徴点を決定するように構成された
    車両諸元計測装置。
  7. 請求項5又は6に記載の車両諸元計測装置であって、
    前記特徴点検出手段が、抽出された前記接線のうち前記第3面にある部分で構成された第3探索路に沿って特徴点を探索することにより前記第3諸元計測用特徴点を決定するように構成された
    車両諸元計測装置。
  8. 請求項1に記載の車両諸元計測装置であって、
    前記特徴点検出手段は、前記車両の第1側面に存在すると想定される部品の第1テンプレートと前記第1テンプレートにおける特徴点の位置を示す第1特徴点位置データとを含む第1テンプレートデータベースを有しており、
    前記特徴点検出手段は、前記フレーム画像に対し前記第1テンプレートデータベースの前記テンプレートとのテンプレートマッチングにより最もマッチする前記第1テンプレートの位置である第1マッチング位置を求め、前記第1マッチング位置と前記第1特徴点位置データとから決定した位置に前記第1諸元計測用特徴点があるとして前記第1諸元計測用特徴点を検出するように構成された
    車両諸元計測装置。
  9. 請求項1又は8に記載の車両諸元計測装置であって、
    前記特徴点検出手段は、前記車両の第2側面に存在すると想定される部品の第2テンプレートと前記第2テンプレートにおける特徴点の位置を示す第2特徴点位置データとを含む第2テンプレートデータベースを有しており、
    前記特徴点検出手段は、前記フレーム画像に対し前記第2テンプレートデータベースの前記第2テンプレートとのテンプレートマッチングにより最もマッチする前記第2テンプレートの位置である第2マッチング位置を求め、前記第2マッチング位置と前記第2特徴点位置データとから決定した位置に前記第2諸元計測用特徴点があるとして前記第2諸元計測用特徴点を検出するように構成された
    車両諸元計測装置。
  10. 請求項8又は9に記載の車両諸元計測装置であって、
    前記特徴点検出手段は、前記車両の下面に存在すると想定される部品の第3テンプレートと前記第3テンプレートにおける特徴点の位置を示す第3特徴点位置データとを含む第3テンプレートデータベースを有しており、
    前記特徴点検出手段は、前記フレーム画像に対し前記第3テンプレートデータベースの前記第3テンプレートとのテンプレートマッチングにより最もマッチする前記第3テンプレートの位置である第3マッチング位置を求め、前記第3マッチング位置と前記第3特徴点位置データとから決定した位置に前記第3諸元計測用特徴点があるとして前記第3諸元計測用特徴点を検出するように構成された
    車両諸元計測装置。
  11. 請求項1に記載の車両諸元計測装置であって、
    前記特徴点検出手段は、前記フレーム画像について、前記直方体の第4面にある特徴点である第4諸元計測用特徴点と、前記直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出し、
    前記第4面は、前記車両の前面に対応する前記直方体の面であり、
    前記第5面は、前記車両の後面に対応する前記直方体の面であり、
    前記車両諸元算出手段は、前記車両の移動量を用いて前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標を算出し、算出された前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標から前記車両の長さを算出し、
    前記特徴点検出手段によって検出される前記第4諸元計測用特徴点の位置は、前記第4面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第5諸元計測用特徴点の位置は、前記第5面の面内において自由度がある
    車両諸元計測装置。
  12. 請求項1又は11に記載の車両諸元計測装置であって、
    前記特徴点検出手段は、前記フレーム画像について、前記直方体の第6面にある特徴点である第6諸元計測用特徴点を検出し、
    前記第6面は、前記車両の上面に対応する前記直方体の面であり、
    前記車両諸元算出手段は、前記車両の移動量を用いて前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標を算出し、算出された前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標から前記車両の高さを算出し、
    前記特徴点検出手段によって検出される前記第6諸元計測用特徴点の位置は、前記第6面の面内において自由度がある
    車両諸元計測装置。
  13. 車両を逐次に撮影して前記車両のフレーム画像を取得する撮影装置と、
    前記フレーム画像に基づいて前記車両の長さを算出する画像処理装置
    とを具備し、
    前記画像処理装置は、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第4面にある特徴点である第4諸元計測用特徴点と、前記直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出する特徴点検出手段と、
    前記第3諸元計測用特徴点、前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に基づいて前記車両の長さを算出する車両諸元算出手段
    とを備え、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第4面は、前記車両の前面に対応する前記直方体の面であり、
    前記第5面は、前記車両の後面に対応する前記直方体の面であり、
    前記車両諸元算出手段は、前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出し、前記車両の移動量を用いて前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標を算出し、算出された前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標から前記車両の長さを算出し、
    前記特徴点検出手段によって検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第4諸元計測用特徴点の位置は、前記第4面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第5諸元計測用特徴点の位置は、前記第5面の面内において自由度がある
    車両諸元計測装置。
  14. 車両を逐次に撮影して前記車両のフレーム画像を取得する撮影装置と、
    前記フレーム画像に基づいて前記車両の高さを算出する画像処理装置
    とを具備し、
    前記画像処理装置は、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第6面にある特徴点である第6諸元計測用特徴点とを検出する特徴点検出手段と、
    前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に基づいて前記車両の高さを算出する車両諸元算出手段
    とを備え、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第6面は、前記車両の上面に対応する前記直方体の面であり、
    前記車両諸元算出手段は、前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出し、前記車両の移動量を用いて前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標を算出し、算出された前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標から前記車両の高さを算出し、
    前記特徴点検出手段によって検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記特徴点検出手段によって検出される前記第6諸元計測用特徴点の位置は、前記第6面の面内において自由度がある
    車両諸元計測装置。
  15. 車両を逐次に撮影して前記車両のフレーム画像を取得するステップと、
    前記フレーム画像について、前記車両の形状を近似する直方体の第1面にある特徴点である第1諸元計測用特徴点と、前記直方体の第2面にある特徴点である第2諸元計測用特徴点と、前記直方体の第3面にある特徴点である第3諸元計測用特徴点とを検出するステップと、
    前記第1諸元計測用特徴点、前記第2諸元計測用特徴点及び前記第3諸元計測用特徴点に基づいて前記車両の幅を算出するステップ
    とを具備し、
    前記第1面は、前記車両の第1側面に対応する前記直方体の面であり、
    前記第2面は、前記車両の第2側面に対応する前記直方体の面であり、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記車両の幅を算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標から前記車両の幅を算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第1諸元計測用特徴点の位置は、前記第1面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第2諸元計測用特徴点の位置は、前記第2面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度がある
    車両諸元計測方法。
  16. 車両を逐次に撮影して前記車両のフレーム画像を取得するステップと、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第4面にある特徴点である第4諸元計測用特徴点と、前記直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出するステップと、
    前記第3諸元計測用特徴点、前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に基づいて前記車両の長さを算出するステップ
    とを具備し、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第4面は、前記車両の前面に対応する前記直方体の面であり、
    前記第5面は、前記車両の後面に対応する前記直方体の面であり、
    前記車両の長さを算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標から前記車両の長さを算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第4諸元計測用特徴点の位置は、前記第4面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第5諸元計測用特徴点の位置は、前記第5面の面内において自由度がある
    車両諸元計測方法。
  17. 車両を逐次に撮影して前記車両のフレーム画像を取得するステップと、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第6面にある特徴点である第6諸元計測用特徴点とを検出するステップと、
    前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に基づいて前記車両の高さを算出するステップ
    とを具備し、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第6面は、前記車両の上面に対応する前記直方体の面であり、
    前記車両の高さを算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標から前記車両の高さを算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第6諸元計測用特徴点の位置は、前記第6面の面内において自由度がある
    車両諸元計測方法。
  18. 演算装置に、下記ステップ:
    車両を逐次に撮影してすることで得られた前記車両のフレーム画像について、前記車両の形状を近似する直方体の第1面にある特徴点である第1諸元計測用特徴点と、前記直方体の第2面にある特徴点である第2諸元計測用特徴点と、前記直方体の第3面にある特徴点である第3諸元計測用特徴点とを検出するステップ、及び、
    前記第1諸元計測用特徴点、前記第2諸元計測用特徴点及び前記第3諸元計測用特徴点に基づいて前記車両の幅を算出するステップ
    を実行させ、
    前記第1面は、前記車両の第1側面に対応する前記直方体の面であり、
    前記第2面は、前記車両の第2側面に対応する前記直方体の面であり、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記車両の幅を算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第1諸元計測用特徴点及び前記第2諸元計測用特徴点の3次元座標から前記車両の幅を算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第1諸元計測用特徴点の位置は、前記第1面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第2諸元計測用特徴点の位置は、前記第2面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度がある
    プログラム。
  19. 演算装置に、下記ステップ:
    車両を逐次に撮影して前記車両のフレーム画像を取得するステップと、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第4面にある特徴点である第4諸元計測用特徴点と、前記直方体の第5面にある特徴点である第5諸元計測用特徴点とを検出するステップ、及び、
    前記第3諸元計測用特徴点、前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に基づいて前記車両の長さを算出するステップ
    を実行させ、
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第4面は、前記車両の前面に対応する前記直方体の面であり、
    前記第5面は、前記車両の後面に対応する前記直方体の面であり、
    前記車両の長さを算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第4諸元計測用特徴点及び前記第5諸元計測用特徴点の3次元座標から前記車両の長さを算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第4諸元計測用特徴点の位置は、前記第4面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第5諸元計測用特徴点の位置は、前記第5面の面内において自由度がある
    プログラム。
  20. 演算装置に、下記ステップ:
    車両を逐次に撮影して前記車両のフレーム画像を取得するステップと、
    前記フレーム画像のうちの少なくとも一について、前記車両の形状を近似する直方体の第3面にある特徴点である第3諸元計測用特徴点と、前記直方体の第6面にある特徴点である第6諸元計測用特徴点とを検出するステップと、
    前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に基づいて前記車両の高さを算出するステップ
    とを具備し
    前記第3面は、前記車両の下面に対応する前記直方体の面であり、
    前記第6面は、前記車両の上面に対応する前記直方体の面であり、
    前記車両の長さを算出するステップは、
    前記第3諸元計測用特徴点の移動量から前記車両の移動量を算出するステップと、
    前記車両の移動量を用いて前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点に対してモーションステレオ処理を行うことによって前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標を算出するステップと、
    算出された前記第3諸元計測用特徴点及び前記第6諸元計測用特徴点の3次元座標から前記車両の高さを算出するステップ
    とを含み、
    前記検出するステップにおいて検出される前記第3諸元計測用特徴点の位置は、前記第3面の面内において自由度があり、
    前記検出するステップにおいて検出される前記第6諸元計測用特徴点の位置は、前記第6面の面内において自由度がある
    プログラム。
JP2013036122A 2013-02-26 2013-02-26 車両諸元計測処理装置、車両諸元計測方法及びプログラム Active JP6021689B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013036122A JP6021689B2 (ja) 2013-02-26 2013-02-26 車両諸元計測処理装置、車両諸元計測方法及びプログラム
MYPI2015702797A MY180963A (en) 2013-02-26 2013-10-29 Vehicle dimension measurement processing apparatus, vehicle dimension measuring method, and storage medium
SG11201506621YA SG11201506621YA (en) 2013-02-26 2013-10-29 Vehicle dimension measurement processing apparatus, vehicle dimension measuring method, and storage medeum
PCT/JP2013/079255 WO2014132490A1 (ja) 2013-02-26 2013-10-29 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
TW102139628A TWI504858B (zh) 2013-02-26 2013-10-31 A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013036122A JP6021689B2 (ja) 2013-02-26 2013-02-26 車両諸元計測処理装置、車両諸元計測方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014164601A true JP2014164601A (ja) 2014-09-08
JP6021689B2 JP6021689B2 (ja) 2016-11-09

Family

ID=51427781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013036122A Active JP6021689B2 (ja) 2013-02-26 2013-02-26 車両諸元計測処理装置、車両諸元計測方法及びプログラム

Country Status (5)

Country Link
JP (1) JP6021689B2 (ja)
MY (1) MY180963A (ja)
SG (1) SG11201506621YA (ja)
TW (1) TWI504858B (ja)
WO (1) WO2014132490A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134814A (ja) * 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 点群データに基づく車両輪郭検出方法、および装置
JP2018055597A (ja) * 2016-09-30 2018-04-05 株式会社東芝 車種判別装置および車種判別方法
JP6472504B1 (ja) * 2017-12-14 2019-02-20 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP2020024094A (ja) * 2018-08-06 2020-02-13 三井住友建設株式会社 構造物の出来形計測方法及び計測システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956539B (zh) * 2016-04-27 2019-06-25 武汉大学 一种应用背景建模和双目视觉原理的人体身高测量方法
CN106352855A (zh) * 2016-09-26 2017-01-25 北京建筑大学 一种摄影测量方法及装置
CN111127541B (zh) * 2018-10-12 2024-02-27 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
CN111383325B (zh) * 2018-12-29 2023-06-30 深圳市丰驰顺行信息技术有限公司 车厢三维图像生成方法及装置
CN112013784B (zh) * 2019-05-28 2021-09-28 深圳中科飞测科技股份有限公司 一种检测方法和检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251284A (ja) * 1993-02-22 1994-09-09 Matsushita Electric Ind Co Ltd 車両諸元自動計測装置
JP2000048298A (ja) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd 車両検出装置
JP2007163173A (ja) * 2005-12-09 2007-06-28 Nagoya Electric Works Co Ltd 車両計測装置、車両計測方法および車両計測プログラム
JP2008008651A (ja) * 2006-06-27 2008-01-17 East Japan Railway Co 鉄道車両の出来形寸法の計測方法および計測システム、並びにその計測方法に用いられるターゲット、並びにその計測システムを具えた鉄道車両の出来形寸法検査システム
JP2010204047A (ja) * 2009-03-05 2010-09-16 Nec Corp 移動物体計測システム、移動物体計測装置、移動物体計測方法及びプログラム
US20120314030A1 (en) * 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
JP2013037394A (ja) * 2011-08-03 2013-02-21 Toshiba Corp 車両検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3948381B2 (ja) * 2002-09-30 2007-07-25 石川島播磨重工業株式会社 直方体計測方法及び直方体計測装置
CN101573257B (zh) * 2006-12-28 2011-08-10 株式会社丰田自动织机 停车辅助装置及方法、行车参数的计算方法及装置
TW201123097A (en) * 2009-12-23 2011-07-01 Gorilla Technology Inc Automatic traffic violation detection system and method of the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251284A (ja) * 1993-02-22 1994-09-09 Matsushita Electric Ind Co Ltd 車両諸元自動計測装置
JP2000048298A (ja) * 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd 車両検出装置
JP2007163173A (ja) * 2005-12-09 2007-06-28 Nagoya Electric Works Co Ltd 車両計測装置、車両計測方法および車両計測プログラム
JP2008008651A (ja) * 2006-06-27 2008-01-17 East Japan Railway Co 鉄道車両の出来形寸法の計測方法および計測システム、並びにその計測方法に用いられるターゲット、並びにその計測システムを具えた鉄道車両の出来形寸法検査システム
JP2010204047A (ja) * 2009-03-05 2010-09-16 Nec Corp 移動物体計測システム、移動物体計測装置、移動物体計測方法及びプログラム
US20120314030A1 (en) * 2011-06-07 2012-12-13 International Business Machines Corporation Estimation of object properties in 3d world
JP2013037394A (ja) * 2011-08-03 2013-02-21 Toshiba Corp 車両検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134814A (ja) * 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 点群データに基づく車両輪郭検出方法、および装置
JP2018055597A (ja) * 2016-09-30 2018-04-05 株式会社東芝 車種判別装置および車種判別方法
JP6472504B1 (ja) * 2017-12-14 2019-02-20 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP2019106149A (ja) * 2017-12-14 2019-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP2020024094A (ja) * 2018-08-06 2020-02-13 三井住友建設株式会社 構造物の出来形計測方法及び計測システム
JP7173779B2 (ja) 2018-08-06 2022-11-16 三井住友建設株式会社 構造物の出来形計測方法及び計測システム

Also Published As

Publication number Publication date
TW201433774A (zh) 2014-09-01
TWI504858B (zh) 2015-10-21
MY180963A (en) 2020-12-14
JP6021689B2 (ja) 2016-11-09
WO2014132490A1 (ja) 2014-09-04
SG11201506621YA (en) 2015-09-29

Similar Documents

Publication Publication Date Title
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
US7660436B2 (en) Stereo-vision based imminent collision detection
JP4328692B2 (ja) 物体検出装置
JP6328327B2 (ja) 画像処理装置及び画像処理方法
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
TWI595450B (zh) 物件偵測系統
KR102082254B1 (ko) 차량 인식 시스템
JP2014009975A (ja) ステレオカメラ
JP2019530924A (ja) カメラ画像からのオブジェクトの検出
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
US10982967B2 (en) Method and device for fast detection of repetitive structures in the image of a road scene
JP2017211765A (ja) 物体認識装置
Bota et al. A framework for object detection, tracking and classification in urban traffic scenarios using stereovision
WO2024004325A1 (ja) 外界認識装置及び外界認識方法
WO2024142571A1 (ja) 画像処理装置
Corneliu et al. Real-time pedestrian classification exploiting 2D and 3D information
JP2013142668A (ja) 位置推定装置及び位置推定方法
JP7493433B2 (ja) 移動量算出装置
KR101906999B1 (ko) 차량과 인접 차로의 객체 간 거리 계산 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160223

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R150 Certificate of patent or registration of utility model

Ref document number: 6021689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350