JP2010211277A - 駐車支援装置および駐車支援方法 - Google Patents

駐車支援装置および駐車支援方法 Download PDF

Info

Publication number
JP2010211277A
JP2010211277A JP2009053609A JP2009053609A JP2010211277A JP 2010211277 A JP2010211277 A JP 2010211277A JP 2009053609 A JP2009053609 A JP 2009053609A JP 2009053609 A JP2009053609 A JP 2009053609A JP 2010211277 A JP2010211277 A JP 2010211277A
Authority
JP
Japan
Prior art keywords
parking
mark
vehicle
feature point
lighting request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009053609A
Other languages
English (en)
Inventor
Hiroshi Katsunaga
浩史 勝永
Kazunori Shimazaki
和典 嶋▲崎▼
Tomio Kimura
富雄 木村
Yutaka Nakajima
豊 中島
Koji Higa
孝治 比嘉
Keisuke Inoue
啓介 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2009053609A priority Critical patent/JP2010211277A/ja
Priority to US13/202,004 priority patent/US20110298926A1/en
Priority to PCT/JP2010/052950 priority patent/WO2010101067A1/ja
Publication of JP2010211277A publication Critical patent/JP2010211277A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】固定目標を撮影して利用する駐車支援装置において、単純な画像認識処理を用いながら高い認識精度で固定目標を認識することができるものを提供する。
【解決手段】マークMは複数の発光体1を含む。複数の発光体1の集合によって特徴点C1〜C4が形成される。車両側装置20の点灯要求生成手段36は、各特徴点の点灯要求を順次生成し、これを駐車場側装置10に送信する。駐車場側装置10の表示制御装置11は、点灯要求に基づいて特徴点を点灯させる。車両側装置20の画像認識装置31は、特徴点を順次画像認識する。この結果を用いて、車両側装置20の位置パラメータ算出手段34がマークMに対するカメラの位置パラメータを算出する。
【選択図】図9

Description

この発明は、固定目標を撮影して利用する駐車支援装置に係り、特に撮影された固定目標の認識をより確実にする駐車支援装置および駐車支援方法に関する。
従来から、駐車場等にあらかじめ目標となるマークを固設しておき、これを駐車支援に用いる駐車支援装置が知られている。例えば特許文献1では、マークをカメラで撮像し、得られた画像で画像認識処理を行ってマークの座標を特定し、これを用いて車両と目標駐車位置との相対位置関係を求め、この相対位置関係に基づいて駐車軌跡を算出し、撮影された画像にこの駐車軌跡を重畳して表示することによって駐車支援を行う。
また、特許文献1には、このようなマークとして、LED等の発光体を用いることが開示されている。発光体を用いたマークは、ペイントやシート等のマークと比べて汚れに強く、擦れによる形状損失も受けにくいという利点がある。
国際公開第2008/081655号パンフレット
しかしながら、特許文献1のようにマークを撮影して画像認識処理を行う装置では、画像認識処理が複雑であり、また画像認識の精度にも改善の余地があるという問題があった。
たとえば、正方形等の単純な形状のみのマークでは、マークの方向が判別できず、このため車両の位置を決定することが困難である。すなわち、マークの方向を規定できるような複雑なマーク形状が必要となるが、このため画像認識処理が複雑となる。
さらに、カメラからのマークの見え方は一定ではなく、遮蔽物の存在、車両の種類、車体の構造、カメラの搭載位置、車両とマークとの距離や位置関係等によって変動する。このため、常にマークの全体が的確に撮影できるとは限らず、マークの画像認識の精度に改善の余地がある。
この発明はこのような問題点を解消するためになされたものであり、単純な画像認識処理を用いながら高い認識精度で固定目標を認識できる駐車支援装置および駐車支援方法を提供することを目的とする。
この発明に係る駐車支援装置は、車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを含み、目標駐車位置への駐車を支援する駐車支援装置であって、駐車場側装置は、複数の発光手段を備える固定目標であって、固定目標は目標駐車位置に対して所定の位置関係で固設され、複数の発光手段はそれぞれ固定目標に対して所定の位置関係で設けられる、固定目標と、車両側装置から送信される点灯要求を受信する駐車場側通信手段であって、点灯要求は複数の発光手段のうちいずれを点灯すべきかに関する情報を含む、駐車場側通信手段と、点灯要求に基づき、複数の発光手段を点灯させまたは消灯させる表示制御手段とを含み、車両側装置は、点灯要求を生成する点灯要求生成手段と、点灯要求を駐車場側装置に送信する車両側通信手段と、発光手段の少なくとも1つを撮影するためのカメラと、カメラにより撮影された発光手段の画像に基づいて特徴点を抽出すると共に、撮影された画像上における特徴点の2次元座標を認識する画像認識手段と、画像認識手段により認識された2組以上の2次元座標と、点灯要求とに基づいて、固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出する、位置パラメータ算出手段と、位置パラメータ算出手段により算出されたカメラの位置パラメータと、目標駐車位置に対する固定目標の所定の位置関係とに基づいて、車両と目標駐車位置との相対位置関係を特定する相対位置特定手段と、相対位置特定手段によって特定された相対位置関係に基づいて、車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段とを含む。
車両側装置からの点灯要求に従って、駐車場側装置が特定の発光手段を点灯させる。点灯した発光手段を車両側装置のカメラが撮影し、画像認識を行い、認識結果と点灯要求の内容とに基づいてカメラの位置および車両の位置を特定する。特定された車両の結果に基づき、車両を目標駐車位置へ案内する。
点灯要求生成手段は、異なる複数の点灯要求を順次生成してもよい。このようにすると、一時点では一つの特徴点のみが点灯することになり、同時に点灯する複数の特徴点を互いに誤って認識することがない。
画像認識手段が所定数の特徴点の2次元座標を認識していない場合、点灯要求生成手段は新たな点灯要求を生成してもよい。このようにすると、カメラの位置パラメータ算出を可能とするのに十分な数の特徴点、またはその精度を十分に高くする数の特徴点を認識するまで処理を繰り返すことができる。
点灯要求は、第1のサイズの特徴点を点灯させる第1の点灯要求と、第2のサイズの特徴点を点灯させる第2の点灯要求とを含み、第2のサイズは第1のサイズより小さく、第2の点灯要求に対応する特徴点の数は第1の点灯要求に対応する特徴点の数より多く、点灯要求生成手段は、位置パラメータに応じて、または相対位置関係に応じて、第1の点灯要求および第2の点灯要求のいずれかを生成してもよい。このようにすると、車両の位置に応じ、適切なサイズおよび数の特徴点を点灯させることができる。
1つの点灯要求は1つの特徴点に対応してもよい。
固定目標は、複数の固定目標部分を含み、固定目標部分は、それぞれ複数の発光手段を備え、1つの点灯要求は、固定目標部分のいずれかにおいて同時に点灯する複数の特徴点に対応し、点灯要求生成手段は、位置パラメータに応じて、または相対位置関係に応じて、異なる点灯要求を生成してもよい。このようにすると、車両の位置に応じ、適切な固定目標部分を点灯させることができる。
特徴点は円形であり、特徴点の2次元座標は特徴点が形成する円の中心の2次元座標であってもよい。このようにすると画像認識処理が簡素となる。
また、この発明に係る駐車支援方法は、車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを用いる駐車支援方法であって、車両側装置から駐車場側装置へと点灯要求を送信するステップと、点灯要求に基づいて、複数の発光手段を点灯させまたは消灯させるステップと、発光手段の少なくとも1つを撮影するステップと、撮影された発光手段の画像に基づいて固定目標の特徴点を抽出すると共に、撮影された画像上における特徴点の2次元座標を認識するステップと、認識された2組以上の2次元座標と、点灯要求とに基づいて、固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出するステップと、算出されたカメラの位置パラメータと、目標駐車位置に対する固定目標の所定の位置関係とに基づいて、車両と目標駐車位置との相対位置関係を特定するステップと、特定された相対位置関係に基づいて、車両を目標駐車位置へ誘導するための駐車軌跡を算出するステップとを含む。
この発明に係る駐車支援装置および駐車支援方法は、点灯要求に従って特徴点を点灯させるので、単純な画像認識処理を用いながら高い認識精度で固定目標を認識することができる。
実施の形態1に係る駐車支援装置の構成を概略的に示す図である。 実施の形態1に係る駐車支援装置の構成を示すブロック図である。 実施の形態1に係る駐車支援演算装置の構成を示す図である。 実施の形態1に係るマークの構成を示す図である。 マークの発光体が4つの特徴点を表示している状態を示す。 実施の形態1に係る駐車支援装置の大まかな動作を説明するフローチャートである。 実施の形態1に係る駐車支援装置の大まかな動作を説明する概略図である。 図6の駐車支援動作の詳細を説明するフローチャートである。 図6の駐車支援動作の詳細を説明する概略図である。 実施の形態2に係る駐車支援動作を説明するフローチャートである。 マークの発光体が、実施の形態3に係る9つの特徴点を表示している状態を示す図である。 実施の形態3に係る駐車支援動作を説明するフローチャートである。 実施の形態3に係る駐車支援動作を説明する概略図である。 実施の形態4に係る第1マークの構成を示す図である。 実施の形態4に係る駐車支援動作を説明するフローチャートである。 実施の形態4に係る駐車支援動作を説明する概略図である。 実施の形態4において、実施の形態1〜3と同様のマークを用いる構成を示す図である。 実施の形態5に係る駐車支援動作を説明する概略図である。 実施の形態6に係る駐車支援動作を説明する概略図である。 位置パラメータの算出に用いるマーク座標系を説明する図である。 位置パラメータの算出に用いる画像座標系を説明する図である。
実施の形態1.
以下、この発明の実施の形態1を添付図面に基づいて説明する。
図1および図2は、この発明の実施の形態1に係る駐車支援装置の構成を概略的に示す図である。駐車スペースSは、車両Vの運転者が車両Vを駐車しようとする所定の目標駐車位置である。この発明に係る駐車支援装置は、運転者に対してこの駐車に関する支援を行う。
駐車スペースSに関連して駐車場側装置10が設けられ、車両Vには車両側装置20が搭載される。
駐車場側装置10は、固定目標としてのマークMを含む。このマークMは、複数の発光体1(複数の発光手段)を備える、いわゆる電子掲示板状のマークである。発光体1としてはたとえばLEDを用いることができる。マークMは、駐車スペースSに対して所定の位置関係を有する所定の場所、たとえば床面に固設される。駐車スペースSに対するマークMの所定の位置関係はあらかじめ把握されており、また、マークMに対する発光体1のそれぞれの所定の位置関係もあらかじめ把握されている。したがって、駐車スペースSに対する発光体1のそれぞれの位置関係もあらかじめ把握されている。
駐車場側装置10は、マークMの発光体1を制御する表示制御装置(表示制御手段)11を含む。表示制御装置11は、発光体1のそれぞれを独立に点灯させまたは消灯させる制御を行う。また、駐車場側装置10は、車両側装置20と通信を行う駐車場側通信装置(駐車場側通信手段)12を備える。
車両側装置20は、マークMの発光体1のうち少なくとも1つを撮影するためのカメラ21およびカメラ22と、駐車場側装置10と通信を行う車両側通信装置(車両側通信手段)23と、これらと接続されて車両側装置20の動作を制御する制御装置30とを備える。
カメラ21およびカメラ22は、それぞれ車両Vに対して所定の位置関係を有する所定の場所に設置される。たとえば、カメラ21は車両Vのドアミラーに内蔵されており、車両Vが駐車スペースSの近傍の地点Aに位置するときに、駐車スペースSの床面に設置されたマークMを視野内に含むように設置されている。また、カメラ22は車両Vの後部に後方に向けて取り付けられ、車両VとマークMとの位置関係が図1とは異なる所定の関係となったときに、マークMを視野内に含むように設置されている。
また、車両側通信装置23は、上述の駐車場側通信装置12と互いに通信可能である。この通信は、非接触で行われるものであればどのようなものでもよいが、たとえば無線信号や光信号によって行うことができる。
制御装置30は、カメラ21およびカメラ22に接続され、撮影された画像から特徴点を抽出して、画像上における特徴点の2次元座標を認識する画像認識装置(画像認識手段)31を含む。また、制御装置30は、車両を駐車スペースへ誘導する駐車軌跡を算出し、この駐車軌跡に基づく運転操作の案内情報を映像・音声等によって車両の運転者に出力する案内制御装置(案内制御手段)33を含む。さらに、制御装置30は、画像認識装置31、車両側通信装置23および案内制御装置33を制御する駐車支援演算装置32を含む。
図3は、駐車支援演算装置32の構成を示す。駐車支援演算装置32は、特徴点を基準としたカメラ21またはカメラ22の位置パラメータを算出する、位置パラメータ算出手段34を含む。また、駐車支援演算装置32は、車両と駐車スペースとの相対位置関係を特定する相対位置特定手段35と、マークMの発光体1のうちいずれを点灯すべきかに関する情報を生成する点灯要求生成手段36と、相対位置特定手段35によって特定された相対位置関係に基づいて、車両Vを目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段37とを含む。
位置パラメータ算出手段34は、駐車スペースSに対するマークMの所定の位置関係と、マークMに対する発光体1のそれぞれの所定の位置関係とを記憶している。または、駐車スペースSに対する発光体1のそれぞれの位置関係を記憶している。
図4は、駐車スペースSに固設されるマークMの構成を示す。複数の発光体1がマークMの所定の領域内に固定配列されており、特定の発光体1を点灯させることで任意の形状を表示することができる。
図5は、マークMの発光体1が4つの特徴点C1〜C4を表示している状態を示す。発光体1のうち一部の発光体1aが点灯して発光しており(黒く塗りつぶした円で示す)、他の発光体1bは点灯せず発光していない状態を示す(白抜きの円で示す)。互いに近接する点灯している発光体1aの集合によって、特徴点C1〜C4のそれぞれが形成される。ここで、図5では特徴点C1〜C4は実際には点ではなく広がりを持った略円形の領域であるが、それぞれの特徴点の位置(すなわち、それぞれの特徴点に対応する2次元座標)はただ1つ決定することができる。たとえば、特徴点C1に対応する2次元座標は、特徴点C1が占める領域を円とみなして、特徴点C1が形成する円の中心の2次元座標とすることができる。特徴点C2〜C4についても同様である。
次に、図6のフローチャートと、図7の概略図とを参照して、実施の形態1における駐車支援装置の動作の流れについておおまかに説明する。
図7(a)は、駐車支援の開始前の状態を示す。車両Vは所定の開始位置に到達しておらず、マークMの発光体1はすべて消灯している。
運転者は、車両Vを操作して、駐車スペースSの近傍である所定の駐車支援開始位置に位置させる(ステップS1)。この所定の位置は、たとえば図7(b)に示す地点Aである。次に、運転者は、駐車支援装置に対して駐車支援動作の開始を指示する(ステップS2)。この指示は、たとえば特定のスイッチを投入することによって行われる。
この指示を受けると、車両側装置20は、車両側通信装置23を介して駐車場側装置10に対する接続要求を送信する(ステップS3)。この接続要求は駐車場側通信装置12を介して表示制御装置11によって受信される。表示制御装置11は、この接続要求を受信すると、正常に受信したことを示す肯定応答(ACK)を駐車場側通信装置12を介して車両側装置20に送信し(ステップS4)、駐車支援演算装置32は車両側通信装置23を介してこれを受信する。
上記のように、駐車場側装置10と車両側装置20との間の通信はすべて駐車場側通信装置12および車両側通信装置23を介して行われる。これは以下の記載においても同様である。
その後駐車支援動作が行われる(ステップS5)。運転者の運転操作に従って車両Vが走行し、これによって車両Vと駐車スペースSおよびマークMとの相対位置関係が変化する。この状態を図7(c)に示す。
車両Vが駐車スペースSに対して所定の終了位置に移動すると(ステップS6)、点灯要求生成手段36は、マークMの全体(すべての発光体1)を消灯させることを示す情報であるマーク消灯要求を生成し、これを駐車場側装置10に送信する(ステップS7)。表示制御装置11は、このマーク消灯要求に基づき、マークMの発光体1をすべて消灯させる(ステップS8)。この状態を図7(d)に示す。その後、表示制御装置11は、マークMの発光体1がすべて消灯していることを示す消灯通知として、肯定応答を送信する(ステップS9)。これによって駐車支援装置の動作が終了する(ステップS10)。
次に、図8のフローチャートと、図9の概略図とを参照して、図6のステップS5における駐車支援動作について、より詳細に説明する。図8は、ステップS5に含まれる詳細な動作の一部を示し、図9は図8の各時点におけるマークMの状態を示す。
図8の処理において、まず点灯要求生成手段36は、第1特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置10に送信する(ステップS101)。ここでは、第1特徴点は特徴点C1であるものとする。この時点の概略図を図9(a)に示す。
この点灯要求の形式はどのようなものでもよく、たとえば発光体1が点灯すべきかまたは消灯すべきかを示す情報を発光体1のすべてについて含むものとすることができる。あるいは、すべての発光体1のうち点灯すべきもののみを特定する情報を含むものとしてもよい。さらに、特徴点C1を表す識別情報を含むものであってもよく、この場合には、表示制御装置11がこの識別情報に応じて点灯すべき発光体1を特定してもよい。
次に、表示制御装置11は、第1特徴点の点灯要求に基づき、マークMの発光体1のうち特徴点C1を構成するものを点灯させ、他のものを消灯させる(ステップS102)。その後、表示制御装置11は、特徴点C1が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS103)。この時点の概略図を図9(b)に示す。
駐車支援演算装置32が特徴点C1が点灯していることを示す点灯通知を受信すると、画像認識装置31は特徴点C1の画像認識を行う(ステップS104)。このステップS104において、画像認識装置31は、カメラ21またはカメラ22により撮影された画像を入力として受け取り、この画像から特徴点C1を抽出し、画像上における特徴点C1の2次元座標を認識し取得する。この時点の概略図を図9(c)に示す。
ここで、カメラ21およびカメラ22のいずれが撮影した画像を用いるかは、周知技術を含む様々な方法によって決定することができる。たとえば、車両VとマークMとの位置関係に応じて運転者がいずれかのカメラを指定してもよく、運転者がそれぞれのカメラの画像を確認していずれかを指定してもよい。また、両方の画像について特徴点C1の座標を取得し、取得に成功した方の画像を用いてもよい。以下では例としてカメラ21による画像が用いられるものとする。
また、図5に関して説明したように、特徴点C1は広がりを持った領域であるが、画像認識装置31は特徴点C1の座標をただ1つに特定する。たとえば、特徴点C1が占める領域を円とみなし、その円の中心を特徴点C1の座標とすることができる。
なお、図5の例では特徴点C1〜C4の形状はすべて同一であるため、点灯している特徴点がいずれであるかは形状からは判別できないが、ステップS104の直前に送信された点灯要求(ステップS101)または直前に受信された肯定応答(ステップS103)が特徴点C1に関するものであるため、駐車支援演算装置32はこれが特徴点C1の座標であると認識する。
次に、ステップS101〜S104と同様の処理が、第2特徴点について行われる。
点灯要求生成手段36は、第2特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置10に送信する(ステップS105)。ここでは、第2特徴点は特徴点C2であるものとする。この時点の概略図を図9(d)に示す。このようにして、異なる複数の点灯要求が順次送信される。なお、図9(d)の時点ではマークMの点灯状態は変更されておらず、特徴点C1が表示されたままとなっている。
次に、表示制御装置11は、第2特徴点の点灯要求に基づき、マークMの発光体1のうち特徴点C2を構成するものを点灯させ、他のものを消灯させる(ステップS106)。その後、表示制御装置11は、特徴点C2が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS107)。この時点の概略図を図9(e)に示す。
駐車支援演算装置32は、特徴点C2が点灯していることを示す点灯通知を受信すると、画像認識装置31を制御して特徴点C2の画像認識を行わせる(ステップS108)。このステップS108において、画像認識装置31は、カメラ21により撮影された画像を入力として受け取り、この画像から特徴点C2を抽出し、画像上における特徴点C2の2次元座標を認識し取得する。この時点の概略図を図9(f)に示す。
なお、この時点では特徴点C1はすでに消灯しており、マークMは特徴点C2のみを表示しているので、画像認識装置31は複数の特徴点を互いに誤って認識することがない。すなわち、特徴点を互いに識別するために各特徴点に異なる形状を与えたり、マークMの方向を示す基準となる表示を設けたりする必要がない。このため、画像認識装置31による特徴点の認識処理を簡素なものとすることができ、また高い認識精度を得ることができる。
次に、ステップS101〜S104と同様の処理が、第3特徴点について行われる。
点灯要求生成手段36は、第3特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置10に送信する(ステップS109)。ここでは、第3特徴点は特徴点C3であるものとする。
次に、表示制御装置11は、第3特徴点の点灯要求に基づき、マークMの発光体1のうち特徴点C3を構成するものを点灯させ、他のものを消灯させる(ステップS110)。その後、表示制御装置11は、特徴点C3が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS111)。
駐車支援演算装置32は、特徴点C3が点灯していることを示す点灯通知を受信すると、画像認識装置31を制御して特徴点C3の画像認識を行わせる(ステップS112)。このステップS112において、画像認識装置31は、カメラ21により撮影された画像を入力として受け取り、この画像から特徴点C3を抽出し、画像上における特徴点C3の2次元座標を認識し取得する。
なお、この時点では特徴点C1およびC2はすでに消灯しており、マークMは特徴点C3のみを表示しているので、画像認識装置31は複数の特徴点を互いに誤って認識することがない。
次に、画像認識装置31により認識された特徴点C1〜C3のそれぞれの2次元座標に基づき、位置パラメータ算出手段34は、マークMを基準としたカメラ21の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する(ステップS113)。
ここで、ステップS113における位置パラメータ算出手段34による位置パラメータの算出方法を説明する。
位置パラメータの算出には、マーク座標系およびカメラ座標系を用いる。
図20は、マーク座標系を説明する図である。マーク座標系は、マークMおよびカメラ21の位置関係を表現する3次元の世界座標系である。この座標系について、たとえば図20のように、マークMの中心を原点としてXw軸、Yw軸およびZw軸を設定することができる(Zw軸は紙面手前方向に向かう軸である)。特徴点Cn(ただし1≦n≦3)の座標は、(Xwn,Ywn,Zwn)と表される。
図21は、カメラ座標系を説明する図である。カメラ座標系は、カメラ21により撮影された画像上のマークを表現する2次元の画像座標系である。この座標系について、たとえば図21のように、画像の左上を原点としてXm軸およびYm軸を設定することができる。特徴点Cnの座標は、(Xmn,Ymn)と表される。
画像座標系におけるマークMの特徴点Cnの座標値(Xmn,Ymn)は、所定の関数FおよびGを用いて次の連立式1のように表せる。
連立式1:
Xmn=F(Xwn,Ywn,Zwn,Ki,Lj)+DXn
Ymn=G(Xwn,Ywn,Zwn,Ki,Lj)+DYn
ただし、
Xwn,Ywn,Zwnは世界座標系におけるマークMの座標値であり、既知である。
Ki(1≦i≦6)は求めるべきカメラ21の位置パラメーターであり、K1はX座標、K2はY座標、K3はZ座標、K4はチルト角、K5はパン角、K6はスイング角を表す。
Lj(j≧1)は既知のカメラ内部パラメータである。たとえば、L1は焦点距離、L2は歪曲係数、L3はスケール因子、L4はレンズ中心を表す。
DXn,DYnは、関数F,Gを用いて算出された特徴点CnのX座標及びY座標と、画像認識装置31で認識された特徴点CnのX座標及びY座標との偏差であり、厳密には全てゼロとなるべき値であるが、画像認識の誤差や計算の精度等によって変動する値である。
なお、この例では1≦n≦3であるので、連立式1は6個の関係式を含むことになる。
このようにして、3個の特徴点C1〜C3のX座標及びY座標をそれぞれ表すことにより、未知数である6個の位置パラメータKi(1≦i≦6)に対して計6個の関係式が作成される。
そこで、偏差の二乗和:
S=Σ(DXn+DYn
を最小とするような位置パラメータKi(1≦i≦6)を求める。すなわちSを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
これにより、路面上のマークMとカメラ21との関係が、カメラ21の位置パラメータとして算出される。
なお、この例では算出しようとする位置パラメータKiの個数「6」に等しい数の関係式を作成して位置パラメータを決定しているが、より多くの特徴点を用いればより多くの関係式を作成することができ、さらに精度よく位置パラメータKiを得ることができる。たとえば、6個の位置パラメータKiに対して5個の特徴点により10個の関係式を作成してもよい。
このようにして算出されたカメラ21の位置パラメータを用いて、相対位置特定手段35は、車両Vと駐車スペースSとの相対位置関係を特定する(ステップS114)。
このステップS114における相対位置関係の特定は、次のように行われる。まず、位置パラメータ算出手段34で算出された位置パラメータと、予め把握されている車両Vに対するカメラ21の所定の位置関係とに基づいて、車両Vに対するマークMの位置関係を特定する。ここで、車両Vに対するマークMの位置関係は、車両Vに対して固定された車両基準点を基準とする3次元の車両座標系を用いて表すことができる。
たとえば、車両座標系におけるマークMの位置・角度は、所定の関数Hを用いて次のように一義で表すことができる。
Vi=H(Ki,Oi)
ただし、Oi(1≦i≦6)は車両座標系における車両基準点とカメラ位置とのオフセットパラメータであり、既知である。また、Vi(1≦i≦6)は車両座標系における車両基準点からみたマークMの位置および角度を表すパラメータである。
このようにして、路面上のマークMに対する車両Vの位置関係が算出される。
次に、駐車スペースSに対するマークMの所定の位置関係と、マークMに対する車両Vの位置関係とに基づいて、車両Vと駐車スペースSとの相対位置関係が特定される。
次に、案内制御装置33は、相対位置特定手段35により特定された車両Vと駐車スペースSとの相対位置関係に基づき、車両Vを駐車スペースSへ誘導するための案内情報を運転者に提示する(ステップS115)。ここでは、まず駐車軌跡算出手段37が、相対位置特定手段35によって特定された相対位置関係に基づいて、車両Vを目標駐車位置へ誘導するための駐車軌跡を算出し、次に案内制御装置33が、算出された駐車軌跡に沿って車両Vが走行するよう誘導する。これにより、運転者は、案内情報に従って運転操作を行うだけで、車両Vを適切な駐車軌跡に従って走行させ、駐車させることが可能となる。
図8のステップS101〜S115は、繰り返し実行される。これらの処理は、所定の時間間隔で繰り返されてもよく、車両Vの走行距離間隔に応じて繰り返されてもよく、運転者による運転操作(発進、停止、操舵角の変更等)に応じて繰り返されてもよい。このように処理を繰り返すことによって、初期のマークMの特徴点C1〜C3の認識誤差、タイヤの減り具合及び車両Vの傾き等の車両Vの状態、段差及び傾斜等の路面の状態などにほとんど影響されずに、最終的な目標駐車位置である駐車スペースSに精度よく駐車を行うことが可能となる。
また、車両Vと駐車スペースSとの距離が近づくほど、マークMを近くで大きく認識することができ、マークMの特徴点C1〜C3に対する解像度が向上すると共に互いの特徴点C1〜C3間の距離が広がるため、マークMと車両Vとの相対位置関係をより高精度に特定することができ、より精度よく駐車を行うことが可能となる。
なお、車両Vの走行中に図8の処理が実行される場合、異なる特徴点については画像認識が車両Vの異なる位置で行われる可能性があるが、このような場合には走行中の軌跡および走行距離に基づいて補正を行ってもよい。
また、車両Vの走行に伴ってカメラ21およびカメラ22とマークMとの相対位置関係が変化するため、マークMまたは各特徴点がそれぞれのカメラの視野から外れたり、再度同じカメラまたは別のカメラの視野内に入ったりする可能性がある。このような場合には、カメラ21およびカメラ22のいずれが撮影した画像を用いるかを、周知技術を含む様々な方法によって動的に変更してもよい。たとえば、車両VとマークMとの位置関係に応じて運転者がカメラを切り替えてもよく、運転者がそれぞれのカメラの画像を確認してカメラを切り替えてもよい。また、両方の画像について特徴点の画像認識を行い、より多くの特徴点を認識できた画像を用いてもよい。
なお、駐車場側装置10の表示制御装置11と、車両側装置20の制御装置30、画像認識装置31、駐車支援演算装置32、案内制御装置33、位置パラメータ算出手段34、相対位置特定手段35、点灯要求生成手段36および駐車軌跡算出手段37は、それぞれコンピュータから構成することができ、図6のステップS1〜S10および図8のステップS101〜S115の動作を駐車支援プログラムとして記録媒体等に記録することにより、各ステップをコンピュータに実行させることが可能となる。
なお、上述した実施の形態1では、マークMを基準としたカメラ21の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出しているので、マークMが配置されている駐車スペースSの床面と車両Vの現在位置の路面との間に段差や傾きが存在しても、マークMと車両Vの相対位置関係を正確に特定して精度の高い駐車支援を行うことができる。
ただし、マークMが配置されている駐車スペースSの床面と車両Vの現在位置の路面との間に傾きが存在しない場合には、少なくともマークMを基準としたカメラ21の3次元座標(x,y,z)とパン角(方向角)の4個のパラメータからなる位置パラメータを算出すればマークMと車両Vの相対位置関係を特定することができる。この場合には、マークMの最低2個の特徴点の2次元座標により4個の関係式を作成すれば、4個の位置パラメータを求めることができる。ただし、より多くの特徴点の2次元座標を用いれば、最小二乗法等により精度を向上させることができる。
さらに、マークMと車両Vとが同一平面上にあり、マークMが配置されている駐車スペースSの床面と車両Vの現在位置の路面との間に段差も傾きも存在しない場合には、少なくともマークMを基準としたカメラ21の2次元座標(x,y)とパン角(方向角)の3個のパラメータからなる位置パラメータを算出すれば、マークMと車両Vの相対位置関係を特定することができる。この場合にも、マークMの最低2個の特徴点の2次元座標により4個の関係式を作成すれば、3個の位置パラメータを求めることができるが、より多くの特徴点の2次元座標を用いれば最小二乗法等により精度よく3個の位置パラメータを算出することができる。
上述の実施の形態1では、車両Vは2つのカメラ(カメラ21およびカメラ22)を備えるが、カメラは1つのみでもよい。また、3つ以上のカメラを備え、画像認識に用いるカメラを実施の形態1と同様に適宜切り替えてもよい。
また、1つの特徴点が同時に複数のカメラに撮影されている場合には、特徴点を含むすべての画像について画像認識を行ってもよい。たとえば2つのカメラが同時に1つの特徴点を撮影している場合には、1つの特徴点から4個の関係式を作成することができるため、マークMに特徴点が1つあれば3次元座標(x,y,z)及びパン角(方向角)の4個のパラメータからなるカメラ21の位置パラメータを算出することができ、特徴点が2つあれば3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなるカメラ21の位置パラメータの算出が可能となる。
さらに、実施の形態1では特徴点は略円形であるが、これは十字や正方形等の他の形状としてもよく、また異なる数の発光体1で特徴点を形成してもよい。
また、上述の実施の形態1では、ステップS115において、案内制御装置33が案内情報を運転者に提示し、運転者による手動運転操作を促す。変形例として、ステップS115において、自動運転を行って車両Vを目標駐車位置に導くものであってもよい。この場合、車両Vは、自動運転を実行するために必要な周知の構成を備え、駐車軌跡算出手段37によって算出された駐車軌跡に沿って自動的に走行するものであってもよい。
このような構成は、たとえば、車両Vの走行に関する状態を検出するセンサと、操舵角を制御する操舵制御装置と、加速を制御する加速制御装置と、減速を制御する減速制御装置とを用いて実現することができる。これらの装置は、加速のためのアクセル制御信号、減速のためのブレーキ制御信号、ハンドル操舵のための操舵制御信号等の走行信号を出力して、車両Vを自動走行させる。あるいは、運転者のブレーキ操作、アクセル操作による車両Vの移動に対応させてハンドルを自動的に操舵するように構成してもよい。
実施の形態2.
実施の形態1では、図8に示すように、常に3つの固定された特徴点C1〜C3に対して画像認識を行った。実施の形態2は、実施の形態1において、画像認識の対象とする特徴点の数を、状況に応じて動的に変更するものである。
図10のフローチャートを参照して、実施の形態2における駐車支援装置の作用について説明する。なお、図10は図6のステップS5に含まれる詳細な動作の一部を示す。
図10の処理において、まず点灯要求生成手段36は、特徴点の番号を表す変数nに初期値として1を代入する(ステップS201)。次に、点灯要求生成手段36は、第n番目の特徴点の点灯要求を生成し、これを駐車場側装置10に送信する(ステップS202)。ここでは、n=1であるので第1特徴点の点灯要求が生成され送信される。たとえば第1特徴点は特徴点C1である。
次に、表示制御装置11は、受信した点灯要求に基づき、マークMの発光体1のうち対応する特徴点を構成するものを点灯させ、他のものを消灯させる(ステップS203)。ここでは、特徴点C1の点灯要求が受信されているので、表示制御装置11は特徴点C1を点灯させる。
その後、表示制御装置11は、点灯要求に対応する特徴点が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS204)。
点灯要求に対応する特徴点が点灯していることを示す点灯通知を駐車支援演算装置32が受信すると、画像認識装置31は第n特徴点の画像認識を行う(ステップS205)。ここでは、特徴点C1の画像認識が行われる。このステップS205において、画像認識装置31は、カメラ21またはカメラ22により撮影された画像を入力として受け取り、この画像から特徴点C1を抽出し、画像上における特徴点C1の2次元座標を認識し取得する。ここでは、特徴点C1の画像認識に成功し、2次元座標を取得できたものとする。
ここで、実施の形態2では、特徴点の画像認識に成功し特徴点の座標が正しく取得できる場合だけでなく、特徴点の座標が取得できない場合をも想定する。特徴点の座標が取得できない場合とは、たとえば遮蔽物の存在、車両の種類、車体の構造、カメラの搭載位置、車両とマークとの距離や位置関係等によって、特徴点が撮影されなかったり、撮影されても画像認識に十分な状態ではなかったりする場合が考えられる。
次に、画像認識装置31は、それまでに画像認識に成功した特徴点の数が3以上か否かを判定する(ステップS206)。この例では、画像認識に成功した特徴点の数は1(特徴点C1のみ)であり、すなわち3未満である。この場合、点灯要求生成手段36は変数nの値を1だけ増加させ(ステップS207)、ステップS202に処理を戻す。すなわち、第2特徴点(たとえば特徴点C2)についてステップS202〜S205の処理が行われる。ここでは特徴点C2の画像認識に成功したものとする。
その後再度ステップS206の判定が行われ、画像認識に成功した特徴点の数は2であるので、さらに第3特徴点(たとえば特徴点C3)についてステップS202〜S205の処理が行われる。ここで、カメラ21またはカメラ22と特徴点C3との間が車体の一部によって遮られ、特徴点C3の画像認識に失敗したとする。この場合、画像認識に成功した特徴点の数は2のままであるため、さらに第4特徴点(たとえば特徴点C4)についてステップS202〜S205の処理が行われる。ここでは特徴点C4の画像認識に成功したものとする。
続くステップS206において、認識に成功した特徴点の数は3以上であると判定される。この場合、位置パラメータ算出手段34は、画像認識装置31による認識が成功したすべての特徴点(この例では特徴点C1、C2、C4)の2次元座標に基づき、カメラ21またはカメラ22の位置パラメータを算出する(ステップS208)。この処理は実施の形態1における図8のステップS113と同様にして行われる。
このように、実施の形態2では、画像認識装置31が所定数の特徴点の2次元座標を認識していない場合、点灯要求生成手段36は新たな点灯要求を生成し、画像認識装置31は新たな特徴点の画像認識が行われる。よって、特徴点のいくつかに対する画像認識に失敗した場合であっても、追加の特徴点を点灯させて画像認識を行い、カメラの位置パラメータを算出するために十分な数の特徴点を確保することができる。
その後、実施の形態1と同様にして、相対位置特定手段35が車両Vと駐車スペースSとの相対位置関係を特定し、案内制御装置33が案内情報を運転者に提示する(図示せず)。
上述の実施の形態2において、カメラの位置パラメータを算出するために用いる特徴点の数は3以上である(ステップS206)が、これは異なる数であってもよい。すなわち、カメラの位置パラメータの算出精度や算出すべき位置パラメータの数に応じて、基準とする特徴点の数を増減してもよい。
なお、図5には4つの特徴点C1〜C4のみが示されているが、これらとは異なる位置に5番目以降の特徴点が表示されてもよい。その際、複数の特徴点の一部が重複する位置関係となってもよい。すなわち、同一の発光体1が複数の特徴点に属してもよい。このような場合であっても、一時点で点灯する特徴点は1つのみであるので、表示制御装置11および画像認識装置31の処理を変更する必要はない。
また、実施の形態2では、特徴点を十分な数だけ定義しておけば、マークMの一部のみしか撮影されない状態であっても、撮影できる部分に3つ以上の特徴点を点灯させることが可能となるので、これによってカメラの位置パラメータを算出することができる。このため、必ずしもマークMの全体を見やすい位置に設置する必要がない。たとえば、駐車場の奥の壁面にマークMが設置され、駐車場の側壁によってマークMの一部が遮蔽されやすい状況であっても、カメラの位置パラメータを適正に算出することができる。
さらに、マークMのサイズが大きく、その全体がカメラ21またはカメラ22の視野内に収まらない状況であっても、視野内において3つ以上の特徴点を点灯させ、カメラの位置パラメータを適正に算出することができる。
実施の形態3.
実施の形態1および2では、マークMとカメラ21またはカメラ22との距離にかかわらず、常に同一サイズの特徴点(たとえば図5の特徴点C1〜C4)を用いて画像認識を行った。実施の形態3では、マークMとカメラ21またはカメラ22との距離に応じて、異なるサイズおよび異なる数の特徴点を用いるものである。
図11は、マークMの発光体1が、実施の形態3で用いられる特徴点C11〜C19を表示している状態を示す。実施の形態3では、図5に示す特徴点C1〜C4と、図11に示す特徴点C11〜C19とを、マークMとカメラ21またはカメラ22との距離に応じて使い分ける。図5の特徴点C1〜C4を第1のサイズとすると、図11の特徴点C11〜C19は第1のサイズより小さい第2のサイズを有する。なお、特徴点のサイズは、たとえばその特徴点を構成する発光体1の数によって定義される。
また、図5の特徴点C1〜C4の数(第1の数)は4個であるが、図11の特徴点C11〜C19の数(第2の数)はこれより多い9個である。したがって、図5の特徴点C1〜C4をそれぞれ表示させる点灯要求の数(第1の点灯要求の数)は4個であり、図11の特徴点C11〜C19をそれぞれ表示させる点灯要求の数(第2の点灯要求の数)は9個となる。
次に、図12のフローチャートと、図13の概略図とを参照して、実施の形態3における駐車支援装置の作用について説明する。図12は図6のステップS5に含まれる詳細な動作の一部を示し、図13は各時点におけるマークMの状態および車両Vの位置を示す。
駐車支援動作におけるある時点において、車両Vと駐車スペースSおよびマークMとの相対位置関係は図13(a)に示すものであるとする。車両Vは地点Bにあり、カメラ22がマークMの全体を撮影可能であるとする。
まず、図12のステップS301〜S305に示すように、大型の特徴点によるカメラ位置特定処理が行われる。大型の特徴点は、たとえば図5の特徴点C1〜C4である。なお、図12のステップS301〜S304は、実施の形態1と同様に、特徴点の数(この場合4)だけ繰り返される。これによって画像認識装置31は、図5の特徴点C1〜C4それぞれの2次元座標を認識する。
ここでは、比較的大きい第1のサイズを有する特徴点C1〜C4を用いるので、カメラ22とマークMとの距離が大きい場合であっても各特徴点を明瞭に撮影することができ、画像認識を高精度で行うことができる。
次に、画像認識装置31により認識された特徴点C1〜C4のそれぞれの2次元座標に基づき、位置パラメータ算出手段34は、マークMを基準としたカメラ21の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する(ステップS305)。この処理は実施の形態1における図8のステップS113と同様にして行われる(ただし特徴点の数が4であるので8つの関係式を用いることになる)。
これに伴い、実施の形態1と同様にして、相対位置特定手段35が車両Vと駐車スペースSとの相対位置関係を特定し、案内制御装置33が案内情報を運転者に提示する(図示せず)。
さらに、位置パラメータ算出手段34は、算出されたカメラ22の位置パラメータに基づき、カメラ22とマークMとの距離を算出し、この距離が所定の閾値未満であるか否かを判定する(ステップS306)。距離が所定の閾値以上であると判定された場合には、処理はステップS301に戻り、大型の特徴点によるカメラ位置特定処理が繰り返される。
その後、運転者が案内制御装置33からの案内情報に従って車両Vを走行(たとえば後退)させ、車両Vと駐車スペースSおよびマークMとの相対位置関係は図13(b)に示すものとなったとする。車両Vは地点Cにあり、ここでカメラ22とマークMとの距離が所定の閾値未満となったとする。
ステップS306において、カメラ22とマークMとの距離が所定の閾値未満であると判定された場合には、ステップS307〜S311に示すように、多数の特徴点によるカメラ位置特定処理が実行される。多数の特徴点は、たとえば図11の特徴点C11〜C19である。なお、図12のステップS307〜S310は、実施の形態1と同様に、特徴点の数(この場合9)だけ繰り返される。これによって画像認識装置31は、図11の特徴点C11〜C19それぞれの2次元座標を認識する。
ここでは、比較的多数の特徴点C11〜C19を用いるので、位置パラメータを算出するための関係式の数を多数(この場合18)とすることができ、位置パラメータの精度を向上させることができる。
なお、特徴点C11〜C19のサイズは比較的小さい第2のサイズであるが、カメラ22がマークMに近づいているため、小さい特徴点であっても明瞭に撮影することができ、画像認識の精度を維持することができる。
上述の実施の形態3では、特徴点のパターンは図5に示すものと図11に示すものとの2種類のみであるが、3種類以上のパターンを用いてもよい。すなわち、特徴点のサイズを徐々に縮小させつつ特徴点の数を徐々に増加させるような多数のパターンを用い、距離に応じてこれらを切り替えつつ用いてもよい。
また、実施の形態3では、距離の判定には位置パラメータが用いられたが、これに代えて相対位置関係を用いてもよい。すなわち、車両Vと駐車スペースSとの相対位置関係に基づいて車両Vと駐車スペースSとの距離を決定し、この距離に基づいてステップS306の判定を行ってもよい。
実施の形態4.
実施の形態1〜3では、固定目標として1つのマークMのみを用いた。実施の形態4は、2つのマークを含むマークセットを固定目標として用いるものである。
図14に、実施の形態4に係る第1マークM1の構成を示す。複数の発光体1が第1マークM1の所定の形状に沿って固定配列されている。実施の形態1〜3とは異なり、実施の形態4に係る第1マークM1は、すべての発光体1が同時に点灯することによって所定の特徴点を表示する。図14では、発光体1は所定の線分を組み合わせた形状に配列されており、画像認識によってこれらの線分を認識し、各線分の交点を求めることにより、5つの特徴点C21〜C25を認識することができる。
第2マークM2も、図14に示す第1マークM1と同一の構成を有する。
次に、図15のフローチャートと、図16の概略図とを参照して、実施の形態4における駐車支援装置の作用について説明する。図15は図6のステップS5に含まれる詳細な動作の一部を示し、図16は各時点におけるマークセットMSの状態および車両Vの位置を示す。マークセットMSは実施の形態4における固定目標であり、複数の固定目標部分として第1マークM1および第2マークM2を含む。
駐車支援動作におけるある時点において、車両Vと駐車スペースSおよびマークセットMSとの相対位置関係は図16(a)に示すものであるとする。車両Vは地点Dにあり、カメラ22が第2マークM2の全体を撮影可能であるとする。
図15の処理において、まず点灯要求生成手段36は、第2マークM2を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置10に送信する(ステップS401)。この点灯要求は、たとえばマークセットMSに含まれる第1マークおよび第2マークM2のうち第2マークM2のみを点灯することを示すものであるが、マークセットMSに含まれるすべての発光体1のうち、第2マークM2を構成するもののみを点灯することを示すものであってもよい。
次に、表示制御装置11は、第2マークM2の点灯要求に基づき、第2マークM2を点灯させる(ステップS402)。その後、表示制御装置11は、第2マークM2が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS403)。図16(a)は、この時点の概略図である。
駐車支援演算装置32が第2マークM2が点灯していることを示す点灯通知を受信すると、画像認識装置31は第2マークM2に含まれる特徴点C21〜C25の画像認識を行う(ステップS404)。このステップS404において、画像認識装置31は、カメラ22により撮影された画像を入力として受け取り、この画像から第2マークM2の特徴点C21〜C25を抽出し、画像上における第2マークM2の特徴点C21〜C25の2次元座標を認識し取得する。すなわち、実施の形態4では、1つの点灯要求が、同時に点灯する複数の特徴点に対応することになる。これは、実施の形態1〜3において、1つの点灯要求が1つの特徴点に対応するものであることとは異なる。
なお、第1マークM1および第2マークM2の形状は同一であるが、ステップS404の直前に送信された点灯要求(ステップS401)または直前に受信された肯定応答(ステップS403)が第2マークM2に関するものであるため、駐車支援演算装置32はこれらが第2マークM2の画像に含まれる特徴点の座標であると認識する。
次に、画像認識装置31により認識された第2マークM2の特徴点C21〜C25のそれぞれの2次元座標に基づき、位置パラメータ算出手段34は、第2マークM2を基準としたカメラ21の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する(ステップS405)。この処理は実施の形態1における図8のステップS113と同様にして行われる(ただし特徴点の数が5であるので10の関係式を用いることになる)。
これに伴い、実施の形態1と同様にして、相対位置特定手段35が車両Vと駐車スペースSとの相対位置関係を特定し、案内制御装置33が案内情報を運転者に提示する(図示せず)。
さらに、位置パラメータ算出手段34は、算出されたカメラ22の位置パラメータに基づき、カメラ22と第2マークM2との距離を算出し、この距離が所定の閾値未満であるか否かを判定する(ステップS406)。距離が所定の閾値以上であると判定された場合には、処理はステップS404に戻り、第2マークM2が点灯した状態での画像認識およびカメラ位置特定処理が繰り返される。
その後、運転者が案内制御装置33からの案内情報に従って車両Vを走行(たとえば後退)させる。後退につれ、カメラ22が第2マークM2に接近し、カメラ22が撮影する画像における第2マークM2が大きくなる。ここで、車両Vと駐車スペースSおよびマークセットMSとの相対位置関係は図16(b)に示すものとなったとする。車両Vは地点Eにあり、ここでカメラ22と第2マークM2との距離が所定の閾値未満となったとする。
ステップS406において、カメラ22と第2マークM2との距離が所定の閾値未満であると判定された場合、点灯要求生成手段36は、第1マークM1の点灯要求を生成し、これを駐車場側装置10に送信する(ステップS407)。
次に、ステップS401〜S405と同様の処理が、第1マークM1について行われる。
すなわち、表示制御装置11は、第1マークM1の点灯要求に基づき、第1マークM1を点灯させるとともに、第2マークM2を消灯させる(ステップS408)。図16(b)はこの時点の概略図である。その後、表示制御装置11は、第1マークM1が点灯していることを示す点灯通知として、肯定応答を送信する(ステップS409)。
駐車支援演算装置32が第1マークM1が点灯していることを示す点灯通知を受信すると、画像認識装置31は第1マークM1に含まれる特徴点C21〜C25の画像認識を行う(ステップS410)。このステップS410において、画像認識装置31は、カメラ22により撮影された画像を入力として受け取り、この画像から第1マークM1の特徴点C21〜C25を抽出し、画像上における第1マークM1の特徴点C21〜C25の2次元座標を認識し取得する。
次に、画像認識装置31により認識された第1マークM1の特徴点C21〜C25のそれぞれの2次元座標に基づき、位置パラメータ算出手段34は、第1マークM1を基準としたカメラ21の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する(ステップS411)。
これに伴い、実施の形態1と同様にして、相対位置特定手段35が車両Vと駐車スペースSとの相対位置関係を特定し、案内制御装置33が案内情報を運転者に提示する(図示せず)。
このように、実施の形態4によれば、カメラとマークセットMSとの位置関係、とくにカメラとマークセットMSに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。たとえば、車両Vと駐車スペースSとが離れているときには、より車両Vに近い第2マークM2を点灯させてより明瞭に特徴点を認識することができ、車両Vと駐車スペースSとが近づき第2マークM2がカメラ22の視野に収まらなくなると第1マークM1を点灯させてより確実に特徴点を認識することができる。
上述の実施の形態4では、マークセットMSは第1マークM1および第2マークM2のみを含むが、これは3個以上のマークを含んでもよく、カメラと各マークとの距離に応じてこれらを切り替えつつ用いてもよい。
また、実施の形態4では、距離の判定には位置パラメータが用いられたが、これに代えて相対位置関係を用いてもよい。すなわち、車両Vと駐車スペースSとの相対位置関係に基づいて車両Vと駐車スペースSとの距離を決定し、この距離に基づいてステップS406の判定を行ってもよい。
また、第1マークM1および第2マークM2は、実施の形態1〜3と同様のマークMを用いて構成してもよい。図17はこのような構成を示す。マークMに含まれる発光体1のうち、図14に示す第1マークM1および第2マークM2に含まれる発光体1と対応する位置にある発光体1のみが点灯しており、第1マークM1および第2マークM2の特徴点C21〜C25と同様の処理によってマークMの特徴点C31〜C35を認識することができる。
さらに、ステップS406における判定は、カメラと第2マークM2との距離とは異なる値を基準としてもよい。たとえば、第2マークM2の特徴点C21〜C25のうち認識に成功したものの数を基準としてもよい。この場合、第2マークM2を用いた位置パラメータの算出ができなくなるか、または算出精度が低下した時点で第1マークM1に切り替わることになる。
なお、実施の形態4では、第1マークM1および第2マークM2いずれかにおけるすべての特徴点C21〜C25を同時に表示させ、これらを互いに区別して認識する画像認識技術を用いるものであるが、第1マークM1および第2マークM2に代えて実施の形態1〜3に係るマークMを用いれば、実施の形態1〜3のように特徴点を順次点灯させて個別に認識し、より簡素な画像認識技術を用いることもできる。
実施の形態5.
実施の形態4は、駐車スペースSに対して単一の方向からの駐車を支援することを想定していた。実施の形態5は、実施の形態4において、単一の駐車スペースに向かって双方向からの駐車について駐車支援を行うものである。
図18(a)に示すように、駐車スペースS’は互いに反対の方向D1およびD2のいずれからも駐車可能である。すなわち、駐車が完了した状態において、車両Vがいずれの方向を向くようにも駐車可能である。また、第1マークM1および第2マークM2は、たとえば駐車スペースS’において対称に配置される。すなわち、駐車スペースS’を180度回転させると、第1マークM1および第2マークM2が互いに入れ替わる位置となっている。
まず、図18(a)のように、車両Vが方向D1から駐車する場合を考える。この場合、まず第2マークM2が点灯する。車両Vの走行に伴って、特徴点の画像認識に用いるカメラと第2マークM2との距離が減少し、所定の閾値未満となると、第2マークM2は消灯し、第1マークM1が点灯する。この状態を図18(b)に示す。実施の形態4と同様に、カメラとマークセットMSに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。
逆に、車両Vが方向D2から駐車する場合には、まず第1マークM1が点灯する。この状態を図18(c)に示す。車両Vの走行に伴って、特徴点の画像認識に用いるカメラと第1マークM1との距離が減少し、所定の閾値未満となると、第1マークM1は消灯し、第2マークM2が点灯する。この状態を図18(d)に示す。実施の形態4と同様に、カメラとマークセットMSに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。
このように、実施の形態5では、車両Vの駐車方向に応じてマークセットMSに含まれる第1マークM1および第2マークM2の点灯順序を決定するので、いずれの方向から駐車する場合にも実施の形態4と同様の効果を得ることができる。
なお、方向D1およびD2のいずれに沿って駐車を行うか、すなわち第1マークM1および第2マークM2をどの順序で点灯させるかは、運転者がスイッチ等を操作して指示することができる。また、最初に第1マークM1および第2マークM2の双方に対して画像認識を行い、その結果に応じて車両側装置20の制御装置30が順序を決定してもよい。
実施の形態6.
実施の形態6は、実施の形態5において、単一のマークMのみを用いた駐車支援を行うものである。
図19(a)に示すように、駐車スペースS’は互いに反対の方向D1およびD2のいずれからも駐車可能である。マークMは駐車スペースS’の中央に配置されている。まず、車両Vが方向D1から駐車する場合を考える。この場合、たとえば図19(b)に示すように、まず第1特徴点として特徴点C1の画像認識を行い、次に第2特徴点として特徴点C2の画像認識を行い、最後に第3特徴点として特徴点C3の画像認識を行う。
次に、図19(c)に示すように、車両Vが方向D2から駐車する場合を考える。この場合、たとえば図19(d)に示すように、まず第1特徴点として特徴点C3の画像認識を行い、次に第2特徴点として特徴点C4の画像認識を行い、最後に第3特徴点として特徴点C1の画像認識を行う。すなわち、第1〜第3特徴点はそれぞれ図19(b)に示すものとは異なり、図19(b)に示す各特徴点をマークMを基準として180度回転させた位置に点灯することになる。このように、各特徴点は、車両Vが駐車される方向に応じた位置に点灯する。
このようにすると、カメラの位置パラメータを算出する際、駐車方向によって各特徴点の路面座標を変更する必要なく、常に同一の路面座標を用いることができる。たとえば、第1特徴点のマークMに対する位置関係は固定されるので、実施の形態1の連立式1におけるΔxm,Δym,Δzmとして常に同一の値を用いることができる。したがって、位置パラメータの算出処理を簡素なものとしつつ、双方向からの駐車支援を行うことができる。
上述の実施の形態6は2方向のみの駐車支援を行うものであるが、駐車スペースの形状に応じてさらに多数の方向からの駐車支援を行うこともできる。たとえば、駐車スペースが東西南北いずれからの駐車をも可能とする略正方形状のスペースであれば、駐車の方向に応じて各特徴点の位置を90度ずつ回転させたものとすることができる。
1(1a,1b) 発光体(発光手段)、10 駐車場側装置、11 表示制御装置(表示制御手段)、12 駐車場側通信装置(駐車場側通信手段)、20 車両側装置、
21,22 カメラ、23 車両側通信装置(車両側通信手段)、31 画像認識装置(画像認識手段)、33 案内制御装置(案内制御手段)、34 位置パラメータ算出手段、35 相対位置特定手段、36 点灯要求生成手段、C1〜C4,C11〜C19,C21〜C25,C31〜C35 特徴点、MS マークセット(固定目標)、M マーク(固定目標)、M1,M2 マーク(固定目標部分)、S,S’ 駐車スペース、V 車両。

Claims (8)

  1. 車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを含み、前記目標駐車位置への駐車を支援する駐車支援装置であって、
    前記駐車場側装置は、
    複数の発光手段を備える固定目標であって、前記固定目標は前記目標駐車位置に対して所定の位置関係で固設され、前記複数の発光手段はそれぞれ前記固定目標に対して所定の位置関係で設けられる、固定目標と、
    前記車両側装置から送信される点灯要求を受信する駐車場側通信手段であって、前記点灯要求は前記複数の発光手段のうちいずれを点灯すべきかに関する情報を含む、駐車場側通信手段と、
    前記点灯要求に基づき、前記複数の発光手段を点灯させまたは消灯させる表示制御手段と
    を含み、
    前記車両側装置は、
    前記点灯要求を生成する点灯要求生成手段と、
    前記点灯要求を前記駐車場側装置に送信する車両側通信手段と、
    前記発光手段の少なくとも1つを撮影するためのカメラと、
    前記カメラにより撮影された前記発光手段の画像に基づいて特徴点を抽出すると共に、撮影された前記画像上における前記特徴点の2次元座標を認識する画像認識手段と、
    前記画像認識手段により認識された2組以上の前記2次元座標と、前記点灯要求とに基づいて、前記固定目標を基準とした少なくとも2次元座標とパン角とを含む前記カメラの位置パラメータを算出する、位置パラメータ算出手段と、
    前記位置パラメータ算出手段により算出された前記カメラの位置パラメータと、前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて、前記車両と前記目標駐車位置との相対位置関係を特定する相対位置特定手段と、
    前記相対位置特定手段によって特定された相対位置関係に基づいて、前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段と
    を含む
    駐車支援装置。
  2. 前記点灯要求生成手段は、異なる複数の点灯要求を順次生成する、請求項1に記載の駐車支援装置。
  3. 前記画像認識手段が所定数の前記特徴点の前記2次元座標を認識していない場合、前記点灯要求生成手段は新たな点灯要求を生成する、請求項1または2に記載の駐車支援装置。
  4. 前記点灯要求は、第1のサイズの特徴点を点灯させる第1の点灯要求と、第2のサイズの特徴点を点灯させる第2の点灯要求とを含み、
    第2のサイズは第1のサイズより小さく、第2の点灯要求に対応する前記特徴点の数は第1の点灯要求に対応する前記特徴点の数より多く、
    前記点灯要求生成手段は、前記位置パラメータに応じて、または前記相対位置関係に応じて、前記第1の点灯要求および前記第2の点灯要求のいずれかを生成する
    請求項1〜3のいずれか一項に記載の駐車支援装置。
  5. 1つの前記点灯要求は1つの前記特徴点に対応する、請求項1〜4のいずれか一項に記載の駐車支援装置。
  6. 前記固定目標は、複数の固定目標部分を含み、
    前記固定目標部分は、それぞれ複数の発光手段を備え、
    1つの前記点灯要求は、前記固定目標部分のいずれかにおいて同時に点灯する複数の前記特徴点に対応し、
    前記点灯要求生成手段は、前記位置パラメータに応じて、または前記相対位置関係に応じて、異なる前記点灯要求を生成する
    請求項1〜4のいずれか一項に記載の駐車支援装置。
  7. 前記特徴点は円形であり、前記特徴点の前記2次元座標は前記特徴点が形成する円の中心の2次元座標である、請求項1〜6のいずれか一項に記載の駐車支援装置。
  8. 車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを用いる駐車支援方法であって、
    前記車両側装置から前記駐車場側装置へと点灯要求を送信するステップと、
    前記点灯要求に基づいて、複数の発光手段を点灯させまたは消灯させるステップと、
    前記発光手段の少なくとも1つを撮影するステップと、
    撮影された前記発光手段の画像に基づいて固定目標の特徴点を抽出すると共に、撮影された前記画像上における前記特徴点の2次元座標を認識するステップと、
    認識された2組以上の前記2次元座標と、前記点灯要求とに基づいて、前記固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出するステップと、
    算出された前記カメラの位置パラメータと、前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて、前記車両と前記目標駐車位置との相対位置関係を特定するステップと、
    特定された前記相対位置関係に基づいて、前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出するステップと
    を含む、駐車支援方法。
JP2009053609A 2009-03-06 2009-03-06 駐車支援装置および駐車支援方法 Withdrawn JP2010211277A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009053609A JP2010211277A (ja) 2009-03-06 2009-03-06 駐車支援装置および駐車支援方法
US13/202,004 US20110298926A1 (en) 2009-03-06 2010-02-25 Parking assistance apparatus and parking assistance method
PCT/JP2010/052950 WO2010101067A1 (ja) 2009-03-06 2010-02-25 駐車支援装置および駐車支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009053609A JP2010211277A (ja) 2009-03-06 2009-03-06 駐車支援装置および駐車支援方法

Publications (1)

Publication Number Publication Date
JP2010211277A true JP2010211277A (ja) 2010-09-24

Family

ID=42709626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009053609A Withdrawn JP2010211277A (ja) 2009-03-06 2009-03-06 駐車支援装置および駐車支援方法

Country Status (3)

Country Link
US (1) US20110298926A1 (ja)
JP (1) JP2010211277A (ja)
WO (1) WO2010101067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116012A (ja) * 2013-12-10 2015-06-22 矢崎総業株式会社 駐車支援システム及びワイヤレス給電システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8766818B2 (en) 2010-11-09 2014-07-01 International Business Machines Corporation Smart spacing allocation
DE102012208132A1 (de) * 2012-05-15 2013-11-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrzeuglokalisierung
KR101362326B1 (ko) * 2012-08-06 2014-02-24 현대모비스 주식회사 주차 정렬 기능을 갖는 차량 후방 카메라 시스템 및 이를 이용한 차량의 주차 지원 시스템
JP6329746B2 (ja) * 2013-10-04 2018-05-23 株式会社デンソーアイティーラボラトリ 交通制御システム、交通制御方法、およびプログラム
US20160264220A1 (en) * 2015-01-19 2016-09-15 William P. Laceky Boat loading system
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
CN109427211B (zh) * 2017-08-30 2021-08-03 京东方科技集团股份有限公司 一种辅助停车方法、装置及系统
CN107730908B (zh) * 2017-09-22 2023-11-07 智慧互通科技股份有限公司 一种路侧并发停车事件管理装置、系统及方法
JP7256463B2 (ja) * 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP2022114526A (ja) 2021-01-27 2022-08-08 トヨタ自動車株式会社 駐車支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP4222355B2 (ja) * 2005-09-29 2009-02-12 トヨタ自動車株式会社 駐車支援装置および車両と地上機器との間の電力授受方法
US20100066515A1 (en) * 2006-12-28 2010-03-18 Kabushiki Kaisha Toyota Jidoshokki Parking assistance apparatus, parking assistance apparatus part, parking assist method, parking assist program, vehicle travel parameter calculation method, vehicle travel parameter calculation program, vehicle travel parameter calculation apparatus and vehicle travel parameter calculation apparatus part
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JPWO2009016925A1 (ja) * 2007-07-31 2010-10-14 株式会社豊田自動織機 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116012A (ja) * 2013-12-10 2015-06-22 矢崎総業株式会社 駐車支援システム及びワイヤレス給電システム

Also Published As

Publication number Publication date
WO2010101067A1 (ja) 2010-09-10
US20110298926A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
WO2010101067A1 (ja) 駐車支援装置および駐車支援方法
JP5126069B2 (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
JPWO2009016925A1 (ja) 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム
CN108541246B (zh) 驾驶辅助方法、装置、信息提示装置和记录介质
US6587760B2 (en) Motor vehicle parking support unit and method thereof
CN2769853Y (zh) 车辆倒车辅助装置
US7363130B2 (en) Parking assist systems, methods, and programs
JP2008174192A (ja) 駐車支援方法及び駐車支援装置
US9683861B2 (en) Estimated route presentation apparatus and estimated route presentation method
WO2010100791A1 (ja) 駐車支援装置
JP2007176244A (ja) 駐車支援装置
JP2008174000A (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム
JPWO2017145364A1 (ja) 駐車支援装置
JP2012056534A (ja) 駐車支援装置
WO2010103961A1 (ja) 駐車支援装置
JP5013204B2 (ja) 駐車支援装置
JP4997183B2 (ja) 駐車を支援するための装置
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP2014106739A (ja) 車載画像処理装置
JP6496619B2 (ja) 車両用駐車支援装置
CN107539218A (zh) 显示控制装置
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP2014011630A (ja) ナビゲーション装置およびガイド線作成方法
JP5170058B2 (ja) 物体検出装置
CN115195600A (zh) 控制装置、控制装置的动作方法以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110903

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20121106