JP2015096411A - Parking support system - Google Patents
Parking support system Download PDFInfo
- Publication number
- JP2015096411A JP2015096411A JP2014189073A JP2014189073A JP2015096411A JP 2015096411 A JP2015096411 A JP 2015096411A JP 2014189073 A JP2014189073 A JP 2014189073A JP 2014189073 A JP2014189073 A JP 2014189073A JP 2015096411 A JP2015096411 A JP 2015096411A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road surface
- parking
- information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、車両に搭載され且つ該車両を自動走行させる自動運転ユニットと、前記自動運転ユニットと相互に通信可能であって前記車両とは別に設けられた駐車施設側の端末(駐車支援端末、駐車支援装置)とを備える駐車支援システムに関する。 The present invention includes an automatic driving unit mounted on a vehicle and automatically driving the vehicle, and a parking facility terminal (parking support terminal, which can communicate with the automatic driving unit and is provided separately from the vehicle). A parking assistance system comprising a parking assistance device).
近時、特許文献1に示すように、駐車施設側の管理センタが、車両状態情報を送信してきた自動運転機能を備える車両に対して、駐車場内の空き駐車位置までの走行経路を自動的に決定し、前記自動運転機能を利用し前記車両を空き駐車位置まで誘導する駐車場管理装置が開発されている。
Recently, as shown in
この特許文献1に係る駐車場管理装置では、車両と管理センタとの間で適時に通信を行うことで、車両を駐車場内の駐車位置に自動駐車させる装置及び方法が提案されている。特に、管理センタは、固定配置された複数のカメラ、いわゆる監視カメラ(インフラカメラともいう。)を用いて駐車施設内全体を撮影した各画像から、駐車場の状況(空き駐車スペースの有無等)又は車両の状態(走行、停車、駐車等)を認識する旨が開示されている。
In the parking lot management apparatus according to
ところが、このような複数のインフラカメラを備える駐車施設は、設置コスト及びメンテナンスコストが高くなり、その普及に難点がある。 However, such a parking facility equipped with a plurality of infrastructure cameras has a high installation cost and a maintenance cost, and there is a difficulty in spreading the parking facility.
特許文献2には、インフラカメラを使用することなく、運転者がアクセルやブレーキ操作を行い、フロントカメラ、バックカメラ及びサイドカメラ等の撮影画像を使用してステアリング操作が操舵制御電子制御ユニットにより自動で行われる車両を目標の駐車位置に駐車させるときの運転操作を支援する駐車支援装置が開示されている。この特許文献2には、駐車位置の路面の勾配を示す情報を駐車区画特性情報及び制御用パラメータとして駐車場サーバから送信され車両が受信し、車両後退時の駆動トルクを、その勾配に応じて適宜調整することも可能となると開示されている。
In
ところで、インフラカメラを使用することなく、車載カメラにより駐車施設内の路面を含む車両周辺状況を取得し、駐車施設内の前記路面を自動走行する際には、車載カメラにより取得(撮影)した画像を平面視画像に視点変換し、視点変換した画像情報に基づき自動走行処理を行うようになっている。 By the way, when using the in-vehicle camera to obtain the vehicle surroundings including the road surface in the parking facility without using the infrastructure camera, and automatically traveling on the road surface in the parking facility, the image acquired (captured) by the in-vehicle camera. Is converted into a planar view image, and automatic running processing is performed based on the image information subjected to the viewpoint conversion.
しかしながら、前記路面が勾配を有する傾斜路面である場合には、車両が平坦な(平面の)路面から傾斜路面が存在する位置に到達したときに、視点変換した画像情報に前記勾配を有する傾斜路面を原因として画像が歪んでしまうので正確な画像情報による自動走行を継続することができない。 However, when the road surface is an inclined road surface having a gradient, when the vehicle reaches a position where the inclined road surface exists from a flat (planar) road surface, the inclined road surface having the gradient in the image information converted from the viewpoint is converted. As a result, the image is distorted, so that it is not possible to continue automatic driving with accurate image information.
この発明はこのような課題を考慮してなされたものであり、車載カメラを搭載し自動運転ユニットを備える車両が、平坦路面から傾斜路面に至る路面及び傾斜路面、さらに傾斜路面から平坦路面に至る路面を正確な画像情報により円滑に自動走行することを可能とする駐車支援システムを提供することを目的とする。 The present invention has been made in consideration of such problems, and a vehicle equipped with an in-vehicle camera and equipped with an automatic driving unit is a road surface from an even road surface to an inclined road surface, an inclined road surface, and further from an inclined road surface to a flat road surface. It is an object of the present invention to provide a parking support system that enables smooth automatic driving on a road surface with accurate image information.
この発明に係る駐車支援システムは、車載カメラと自動運転ユニットを備えると共に自車位置検出機能を有する車両が、前記車載カメラにより車両周辺状況を取得しながら、駐車施設内を自動走行する駐車支援システムにおいて、前記車両が前記駐車施設内を自動走行する際に、前記自動運転ユニットは、前記駐車施設側の端末から当該駐車施設内の傾斜路面情報を取得し、自車の走行位置が傾斜路面に到達したと判定したとき、前記傾斜路面情報に基づいて前記車載カメラにより取得した撮影画像中の傾斜路面を平坦路面に座標変換して前記傾斜路面を自動走行することを特徴とする。 A parking support system according to the present invention includes a vehicle-mounted camera and an automatic driving unit, and a vehicle having a vehicle position detection function automatically travels in a parking facility while acquiring a vehicle surrounding situation using the vehicle-mounted camera. When the vehicle automatically travels within the parking facility, the automatic driving unit acquires the information on the inclined road surface in the parking facility from the terminal on the parking facility side, and the traveling position of the own vehicle is on the inclined road surface. When it is determined that the vehicle has arrived, the inclined road surface in the captured image acquired by the in-vehicle camera is coordinate-converted into a flat road surface based on the inclined road surface information, and the inclined road surface is automatically traveled.
この発明によれば、車載カメラと自動運転ユニットを備えると共に自車位置検出機能を有する車両が、駐車施設内を自動走行する際に、駐車施設側の端末から当該駐車施設内の傾斜路面情報を取得し、自車の走行位置が前記傾斜路面に到達したと判定したとき、前記傾斜路面情報に基づいて前記車載カメラにより取得した撮影画像中の傾斜路面を平坦路面に座標変換して前記傾斜路面を自動走行するようにしたので、平坦路面から傾斜路面に至る路面及び傾斜路面、さらに傾斜路面から平坦路面に至る路面を正確な画像情報により円滑に自動走行することができる。 According to the present invention, when a vehicle having an in-vehicle camera and an automatic driving unit and having a self-vehicle position detection function automatically travels in the parking facility, the road surface information in the parking facility is obtained from the terminal on the parking facility side. When it is determined that the traveling position of the vehicle has reached the inclined road surface, the inclined road surface is obtained by coordinate-converting the inclined road surface in the captured image acquired by the in-vehicle camera based on the inclined road surface information to a flat road surface. Thus, the road surface and the inclined road surface extending from the flat road surface to the inclined road surface, and the road surface extending from the inclined road surface to the flat road surface can be automatically and smoothly driven by accurate image information.
この場合、前記傾斜路面情報は、前記傾斜路面が存在する位置情報と前記傾斜路面の勾配情報とからなるようにすることが好ましい。 In this case, it is preferable that the inclined road surface information includes position information where the inclined road surface exists and gradient information of the inclined road surface.
なお、前記傾斜路面情報には、前記傾斜路面に物理的に接続されている障害物3次元配置情報を含み、前記撮影画像中の前記傾斜路面を前記平坦路面に座標変換する際に、併せて前記撮影画像中の前記障害物3次元配置情報に係わる障害物を座標変換して前記平坦路面に接続して前記傾斜路面を自動走行するように構成することで、傾斜路面に物理的に接続されている障害物を正確に認識して自動走行することができる。 The inclined road surface information includes obstacle three-dimensional arrangement information physically connected to the inclined road surface, and when the coordinate conversion is performed on the inclined road surface in the captured image to the flat road surface. The obstacle related to the obstacle three-dimensional arrangement information in the photographed image is coordinate-converted and connected to the flat road surface so as to automatically travel on the inclined road surface, thereby being physically connected to the inclined road surface. It is possible to drive automatically by accurately recognizing obstacles.
この場合、前記障害物3次元配置情報は、前記傾斜路面に物理的に接続されている縁石情報、壁情報、及び前記傾斜路面上の屋根情報のうち、少なくとも1つの情報を含むようにされる。 In this case, the obstacle three-dimensional arrangement information includes at least one information of curb information physically connected to the inclined road surface, wall information, and roof information on the inclined road surface. .
また、既知の傾斜路面情報に基づいて車載カメラにより取得した撮影画像中の傾斜路面を平坦路面に座標変換し前記傾斜路面を自動走行するようにした傾斜路面自動走行アルゴリズムは、平坦路面上に配設され、1次コイルを備える非接触充電給電部等の表面が水平面と略平行になっている段差物の位置に対し、車両下部に配設された2次コイルを備える扁平な非接触充電受電部の位置を位置合わせするために自動走行駐車する場合にも適用することができる。この場合、前記非接触充電給電部等の前記段差物の表面上のマーカが、厚み分直下の路面上にあると看倣した上で座標変換することで、前記非接触充電給電部等の前記段差物の位置に、車両下に配設される前記非接触充電受電部の位置を合わせて正確に自動駐車させることができる。 In addition, an inclined road surface automatic running algorithm that automatically transforms an inclined road surface in a captured image acquired by an in-vehicle camera based on known inclined road surface information to a flat road surface and automatically travels on the inclined road surface is arranged on the flat road surface. A flat non-contact charging power receiving device including a secondary coil disposed at the lower part of the vehicle with respect to the position of a stepped object, such as a non-contact charging power feeding unit provided with a primary coil, whose surface is substantially parallel to a horizontal plane. The present invention can also be applied to a case where automatic running parking is performed in order to align the positions of the parts. In this case, the marker on the surface of the stepped object such as the non-contact charging power supply unit is assumed to be on the road surface immediately below the thickness, and the coordinate conversion is performed so that the non-contact charging power supply unit or the like The position of the non-contact charging power receiving unit disposed under the vehicle can be matched with the position of the stepped object so that automatic parking can be performed accurately.
この発明によれば、車載カメラを搭載し自動運転ユニットを備えると共に自車位置検出機能を有する車両が、駐車施設内を自動走行する際に、駐車施設側の端末から当該駐車施設内の傾斜路面情報を取得し、自車の走行位置が前記傾斜路面に到達したと判定したとき、前記傾斜路面情報に基づいて前記車載カメラにより取得した撮影画像中の傾斜路面を平坦路面に座標変換して前記傾斜路面を自動走行するようにしたので、平坦路面から傾斜路面に至る路面及び傾斜路面中、さらに傾斜路面から平坦路面に至る路面を正確な画像情報により円滑に自動走行することができる。 According to the present invention, when a vehicle equipped with an in-vehicle camera and equipped with an automatic driving unit and having a self-vehicle position detection function automatically travels in the parking facility, the slope surface in the parking facility from the parking facility side terminal. When the information is acquired and it is determined that the traveling position of the vehicle has reached the inclined road surface, the inclined road surface in the captured image acquired by the in-vehicle camera is coordinate-converted to a flat road surface based on the inclined road surface information, Since the vehicle automatically travels on the inclined road surface, the road surface from the flat road surface to the inclined road surface and the road surface from the inclined road surface to the flat road surface can be smoothly and automatically traveled with accurate image information.
以下、この発明に係る駐車支援システムについて好適な実施形態(後述する[他の実施形態])を挙げ、添付の図面を参照して詳細に説明する。 Hereinafter, a preferred embodiment (another embodiment to be described later) of the parking assistance system according to the present invention will be given and described in detail with reference to the accompanying drawings.
この実施形態では、理解の便宜のために、この発明に係る駐車支援システムに関連する技術であるインフラカメラを用いた駐車支援システムについて説明する。 In this embodiment, for convenience of understanding, a parking support system using an infrastructure camera, which is a technology related to the parking support system according to the present invention, will be described.
図1は、この実施形態に係る駐車支援システム14(図2参照)に用いられる自動運転可能な車両100に取り付けられている各種センサの概略位置を示す概略平面図である。図2は、この実施形態に係る駐車支援システム14を示すブロック図である。図3は、例としての駐車施設12を示す概略平面図である。
FIG. 1 is a schematic plan view showing schematic positions of various sensors attached to a
図1において、車両100のフロントウインドシールド中、バックミラーと車内ルーフとの間に前方撮影用の車載カメラ(フロントカメラ)10(撮影装置)が設置されると共に、車両100の後面のテールゲート等の外面中央近傍に後方撮影用の車載カメラ(リアカメラ)20(撮影装置)が設置されている。車載カメラ10により車両前方の路面104(図3)を含む車両周辺画像を広角撮影することができる。また、車載カメラ20により車両後方の路面104(図3)を含む車両周辺画像を広角撮影することができる。なお、車載カメラ10は、車両前面のフロントグリル中央等の車室外に設置してもよい。
In FIG. 1, an in-vehicle camera (front camera) 10 (photographing device) for front photographing is installed between a rearview mirror and an in-car roof during a front windshield of a
車両100の重心近傍にヨーレートセンサ22が設置されている。ヨーレートセンサ22の出力(ヨーレート:角速度)を積分することにより車両100の向き、すなわち車両方向を検出することができる。このため、ヨーレートセンサ22は、車両方向センサとして機能する。車両方向センサとしては、ヨーレートセンサ22に代替して、地磁気センサや各種ジャイロを利用することができる。
A
車両100のステアリングシャフト(不図示)に操舵角センサ28が設置されている。操舵角センサ28により前輪30(右前輪30Rと左前輪30L)の(車両100の)舵角が検出される。
A
車両100の後輪24(右後輪24Rと左後輪24L)に近接して車輪速センサ26(右車輪速センサ26Rと左車輪速センサ26L)が設置されている。車輪速センサ26に基づき車速が検出されると共に、前後輪30、24の径を考慮して移動距離が検出される。従って、車輪速センサ26は、距離センサとしても機能する。
A wheel speed sensor 26 (right
図示しないダッシュボード等にGPSセンサ32(位置検出センサ)が設置されている。GPSセンサ32により車両100の位置(緯度、経度、高さ)が検出される。GPSセンサ32は車両100の位置センサとして機能するが、位置センサとしては、GPSセンサ32に代替して、あるいはGPSセンサ32と併用して、一定の距離あるいは一定の時間毎の走行距離と走行方位を車輪速センサ26とヨーレートセンサ22(位置検出センサ)により検出して座標原点からの自車位置を、いわゆる慣性航法により算出することもできる。なお、慣性航法の場合、スタート点位置、例えば、図3に示す入庫位置(入庫スペース、入庫空間)102(入庫位置102A、入庫位置102Bのいずれか)を前記座標原点に設定する。
A GPS sensor 32 (position detection sensor) is installed on a dashboard or the like (not shown). The position (latitude, longitude, height) of the
また、車両100の図示しないシフトノブの近傍にはシフト位置センサ34(前進・後進検出センサ)が設置されている。シフト位置センサ34により車両100の前進又は後進を検出することができる。
A shift position sensor 34 (forward / reverse detection sensor) is installed in the vicinity of a shift knob (not shown) of the
図2に示すように、上記の各種センサをまとめてセンサ50という。この場合、慣性航法による自車位置は、車内LAN等の車内通信線54で相互に接続されている統括ECU52により計算され、慣性航法が実行される。車両全体を制御する制御装置である統括ECU52は、車載駐車支援制御装置(車載駐車支援部)として機能する。なお、ECUは、電子制御装置(Electronic Control Unit)であって、マイクロコンピュータを含む計算機であり、CPU(中央処理装置)、メモリであるROM(EEPROMも含む。)、RAM(ランダムアクセスメモリ)、その他、A/D変換器、D/A変換器等の入出力装置、計時部としてのタイマ等を有しており、CPUがROMに記録されているプログラムを読み出し実行することで各種機能実現部(機能実現手段)、例えば制御部、演算部、及び処理部等として機能する。
As shown in FIG. 2, the various sensors are collectively referred to as a
統括ECU52は、自動運転ECU56に電気的に接続されると共に、車内通信線54を通じて、操舵制御ECU58、ブレーキECU60、及び駆動力ECU62に接続されている。統括ECU52と自動運転ECU56にて自動運転ユニット57が構成されるが、1つのECUにまとめてもよい。
The
自動運転ECU56の記憶部には、車両100の種別を記憶する車両種別記憶部64が設けられ、この車両種別記憶部64には、当該車両100の外接直方体(長方形モデル)に対応する車両100の大きさ(全長と、全幅と、全高)の寸法と、ホイールベース長と、トレッド幅とが、車両100の種別を規定する最小限情報として予め記憶されている。車両100の最小回転半径を前記最小限情報に含めておいてもよい。
The storage unit of the
駐車施設12の入口116近傍に設置されている駐車支援制御装置120が車両100の種別を取得する(後述する。)ために、車両100の大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅等とからなる情報を自動運転ECU56の車両種別記憶部64に直接的に記憶しておいてもよいが、これに代替して、駐車支援制御装置120がこれらの情報を間接的に得るための、車両のメーカー名、車両の名称、車両のグレードを車両の種別として車両種別記憶部64に記憶しておいてもよい。これら車両のメーカー名、車両の名称、及び車両のグレードからなる車両の識別情報を利用して、駐車支援制御装置120は、いわゆるインターネット上のビッグデータあるいは該当サーバ装置から前記インターネットを経由して当該車両100の大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅及び最小回転半径等を取得することができる。
In order for the parking
車両100の種別には、車両100の大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅と、最小回転半径の他、前後オーバーハング、最大重量、及びナンバープレート情報{プレートの大きさ、プレート上の登録番号等の表示(文字・数字等)}を含めてもよい。なお、ナンバープレート情報は、駐車支援制御装置120が、インフラカメラ106(後述)の撮影画像から認識し取得することができる。
The types of the
操舵制御ECU58は、車両100の操舵機構(不図示)を駆動制御して、この実施形態では前輪30の舵角を制御する。ブレーキECU60は、前後輪30、24の全4輪をそれぞれ独立にブレーキ制御し、停止を含めた車両100の挙動を制御する。
The
駆動力ECU62は、それぞれ不図示のエンジン及び(又は)モータを駆動制御してトランスミッションを通じて又は直接的に車両100の前輪30及び又は後輪24に回転駆動力を付与して車両100を走行させる制御を行う。
The driving
センサ50の情報は、統括ECU52、操舵制御ECU58、ブレーキECU60及び駆動力ECU62において、必要とされるものが共用される。
Information necessary for the
統括ECU52は、自動運転ECU56に電気的に接続されている。
The
図3に示すように、この実施形態において、車両100が自動運転される領域(エリア)である駐車施設12は、例えば、数10m四方の路面104を有し、略四角形の路面104の四隅に、広角な固定カメラであるインフラカメラ(監視カメラ)106(106a、106b、106c、106d)が設置されている。
As shown in FIG. 3, in this embodiment, the
上述したように、この実施形態では、インフラカメラ106を主に利用した駐車支援制御処理について説明し、後述する[他の実施形態]では、インフラカメラ106を使用しない車載カメラ10、20を利用した駐車支援制御処理について説明する。
As described above, in this embodiment, parking support control processing mainly using the
インフラカメラ106は、それぞれのインフラカメラ106a〜106dの視線(光軸)が、略四角形の路面104の対角線上内側下方を向くように取り付けられ、それぞれのインフラカメラ106が、駐車施設12の入口116(116A、116B)を含む路面104の略全域を撮影できるように構成され、設置調整されている。換言すれば、各インフラカメラ106a〜106dにより駐車施設12の入口116を含む駐車施設12内の車両100を含む移動体を全て撮影(広角撮影)でき、後述するように追跡乃至監視することができるようになっている。
The
インフラカメラ106は、乗降端末等の駐車支援制御装置120に電気的に接続され(図2参照)、インフラカメラ106で撮影された撮影画像108(図5等を参照して後述する。)に対して、各種の画像処理等が、駐車支援制御装置120により実行される。
The
例えば、図4に示すように、駐車施設12の路面104上に配置された車両100を撮影したとき、図5に模式的に示すように、インフラカメラ106a、106b、106c、106dに対応してそれぞれ撮影画像(車両抽出用画像ともいう。)108a、108b、108c、108dが抽出され、撮影画像108(108a〜108d)から駐車支援制御装置120の画像処理、ここでは、公知のフレーム間差分法等により、移動体である車両100を検出して車両100を切り出した撮影画像(車両画像)110(110a、110b、110c、110d)を取得することができる。なお、フレーム間差分法に限らず、予め、規定の光量下でインフラカメラ106により車両100等の移動体の存在しない入口116を含む路面104の撮影画像(基準撮影画像という。)を撮影しておき、移動体が進入した際の撮影画像108を光量補正した上で前記基準撮影画像との差分画像(差分法による画像)から移動体である車両100等を切り出す(検出する)こともできる。光量補正は、インフラカメラ106又は駐車支援制御装置120で実行することができる。
For example, as shown in FIG. 4, when the
駐車支援制御装置120は、車両100を切り出したとき、当該車両100の種別を検出(認識、追跡)するために当該車両100の大きさを表す外接直方体を設定し、車両寸法(全長と、全幅と、全高)を検出する。また、同時に、タイヤホイールとタイヤを検出し、ホイールベース長と、トレッド幅を得る。必要に応じて、前後オーバーハングを得る。なお、車両100が入口116又は入庫位置102に位置するときには、車両100の大きさを表す外接直方体を表す車両寸法(全長と、全幅と、全高)、及びホイールベース長と、トレッド幅を最小限情報として必ず取得し自己の記憶部118に記憶することができるようにインフラカメラ106の視野を予め調整している。
When the
その際、入口116及び入庫位置102を除く路面104上では、外接直方体が仮に検出できない場合でも、車両100の上面、側面、前面、及び背面の少なくとも1面(上面視等の1面視)が検出できるので、検出した一面とホイールベース長又はトレッド幅に基づき入庫位置102から駐車位置(駐車区画又は駐車位置空間ともいう。)121〜126まで自動走行する車両100を追跡することができる。
At that time, on the
図5に示すように、インフラカメラ106aによる撮影画像110aでは、車両100の右前部と右側面を確認(追跡)することができ、この撮影画像110aから駐車支援制御装置120によりタイヤホイールの形状、前輪30と後輪24との間のホイールベース長、前後オーバーハング、及び前面のエムブレムから前輪30Rのタイヤホイールまでの距離等の車両100の種別を表す特徴点パターン(特徴点又は特徴パターンともいう。)(車両100の種別)を抽出することができる。
As shown in FIG. 5, in the captured
インフラカメラ106bによる撮影画像110bでは、車両100の後部と後部上面を確認(追跡)することができ、この撮影画像110bから駐車支援制御装置120により後部バンパーに埋め込まれたリフレクタの形状、リフレクタ間の距離、リフレクタとエムブレム間の距離、及び後輪24R、24L間のトレッド幅等の車両100の特徴点パターン(車両100の種別)を抽出することができる。
In the captured
インフラカメラ106cによる撮影画像110cでは、車両100の前部を確認(追跡)することができ、この撮影画像110cから駐車支援制御装置120により前輪30R、30L間のトレッド幅、前面のエムブレムと前輪30までの距離、フロントランプの形状、及びエムブレムとナンバープレートとの間の距離等の車両100の特徴点パターン(車両100の種別)を抽出することができる。
In the captured
インフラカメラ106dによる撮影画像110dでは、車両100の左前部と左側面を確認することができ、この撮影画像110dから駐車支援制御装置120によりタイヤホイールの形状、ホイールベース長、及び前面のエムブレムから前輪30Lのタイヤホイールまでの距離等の車両100の特徴点パターン(車両の種別)を抽出することができる。
In the captured
さらに、例えば、図6に示すように、駐車施設12の路面104内に、ボールや人等の予め記憶している車両100の外観形状と明らかに異なる、車両100に対する移動障害物112(本例では移動するボール)、移動障害物114(本例では、人)が入ってきた場合、インフラカメラ106の撮影画像108に基づき、上述した差分法等によりこれら移動障害物112、114を駐車支援制御装置120により検出(認識)することができる。
Further, for example, as shown in FIG. 6, a moving
路面104上には、駐車施設12の入口(入口位置又は入口位置空間ともいう。)116を示す四角形の白線の区域、入庫位置(入庫区画又は入庫位置空間ともいう。)102(102A、102B)を示す四角形の白線の区画の他、駐車位置121〜126を示す四角形の白線の区画、及びT字状の白線のガイドライン128が引かれており、これら区画やライン情報の位置情報(座標情報又は地図情報ともいう。)は、予め駐車支援制御装置120の記憶部118に記憶されている。
On the
さらに、駐車支援制御装置120の記憶部118には、入庫位置102A、102Bに入庫した車両100の種別{車両100の大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅(正確には、操舵輪のトレッド幅であるが、通常、前輪30)}に応じた各移動経路(目標軌跡)が予め作成され記憶されている。また、最小回転半径は、ホイールベース長とトレッド幅に基づき予め設定(記憶)し、又は計算(予測)できるようにしている。なお、記憶部は、駐車支援制御装置120の記憶部118ではなく、通信回線で駐車支援制御装置120に接続される外部サーバ(外部配信部)の記憶部とし、この記憶部に記憶しておいて読み出すようにしてもよい。
Furthermore, in the
駐車支援制御装置120は、インフラカメラ106の撮影画像108、110により取得される、入口116及び入庫位置102に位置する車両100、及び路面104内のいずれの位置に存在する車両100の外接直方体の大きさ(全長と、全幅と、全高)あるいは外接直方体の一面、ホイールベース長、及びトレッド幅を前記車両の種別と比較する(いわゆるパターンマッチングする)ことにより当該車両100を検出(追跡)することができる。
The parking
駐車施設12の駐車支援制御装置120と車両100の自動運転ECU56とは、DSRC方式(狭域無線通信方式)等の双方向無線通信により情報の伝送を行うようになっている。
The parking
この実施形態に係る駐車支援システム14は、基本的に以上のように構成乃至作用するものであり、次に、上述の実施形態の駐車施設12における入口116上での処理及び入庫位置102から駐車位置121〜126への自動走行駐車動作等について、図7に示すフローチャートに基づいて詳しく説明する。
The
ステップS1にて、駐車支援制御装置120による初期処理が実行される。
In step S1, an initial process is performed by the parking
図8は、初期処理の詳細フローチャートを示している。 FIG. 8 shows a detailed flowchart of the initial process.
ステップS1Aにて、インフラカメラ106からの撮影画像108に基づき、駐車支援制御装置120により、車両100が入口116又は入庫位置102に入ったか(位置したか)否かが判定される。
In step S1A, based on the photographed
車両100が入口116又は入庫位置102に入ったことがインフラカメラ106の撮影画像108から駐車支援制御装置120により検出されると(ステップS1A:YES)、ステップS1Bにて車両100の種別が認識される。
When the parking
車両100の種別の認識は、以下に説明する2つの手法のいずれか一方を選択することができる。
The recognition of the type of the
車両種別の認識手法1:インフラカメラ106から車両100を撮影した撮影画像108を受信したとき、駐車支援制御装置120は、車両100の種別を問い合わせるリクエスト信号を車両100の自動運転ユニット57に送信する。自動運転ユニット57は、前記リクエスト信号を受信したとき、車両種別記憶部64に記憶されている車両100の種別{車両100の外接直方体に対応する車両100の大きさ(全長と、全幅と、全高)の寸法と、ホイールベース長と、トレッド幅}を駐車支援制御装置120に送信し、駐車支援制御装置120は、受信することで車両100の種別を認識し記憶部118に記憶する。
Vehicle type recognition method 1: When the captured
車両種別の認識手法2:インフラカメラ106から受信した撮影画像108に基づき、撮影画像108、110から車両100の外接直方体を設定し、設定した外接直方体から車両100の大きさ(全長と、全幅と、全高)の寸法を得ると共に、前記撮影画像110からホイールベース長と、トレッド幅及びナンバープレート情報を検出することで、車両100の種別を認識し記憶部118に記憶する。
Vehicle type recognition method 2: Based on the captured
ステップS1Bにて、車両100の種別を認識した後、ステップS1Cにて、認識した車両100の種別に基づき、車両100が空き駐車位置空間に駐車可能か否かを判定する。
After the type of the
ステップS1Cの判定にて、車両100が空き駐車位置空間に駐車可能な車両ではないと判定した場合(ステップS1C:NO)、ステップS1Dにて、駐車が可能でない旨を駐車支援制御装置120のスピーカ等の報知部より車両100の運転者に報知する。なお、報知する際に、自動運転ユニット57を通じ、車両100内の図示しない車載スピーカ(音生成装置)から報知あるいは車載ディスプレイにその旨を報知するようにすることもできる。
If it is determined in step S1C that the
図9のフローチャートは、図3に示した駐車施設12とは異なる駐車施設に適用されるステップS1Cの判定処理(「空き駐車位置空間に駐車可能か否か」)の変形例のフローチャートである。
The flowchart of FIG. 9 is a flowchart of a modification of the determination process (“whether parking is possible in an empty parking position space”) in step S1C applied to a parking facility different from the
この変形例のフローチャートが適用される駐車施設(不図示)は、車両100が入口又は入庫位置に位置しているとき、この車両100の現在位置から見て、手前側に、複数の大きい駐車位置空間から構成される駐車場(大型車用駐車場という。)が存在し、その奥に、狭路を経て、複数の小さい駐車空間から構成される駐車場(小型車用駐車場という。)がある場合を想定している。
A parking facility (not shown) to which the flowchart of this modification is applied has a plurality of large parking positions on the front side when the
この場合、上述したステップS1B(図8)の車両100の種別認識処理の後に、ステップS1Ca(図9)にて、車両100の種別に基づき、車両100が大きい駐車位置空間に駐車可能か否かが判定される。大きい駐車位置空間に駐車が可能でないと判定されると(ステップS1Ca:NO)、上述したステップS1D(図8)の報知処理が実行される。
In this case, whether or not the
その一方、ステップS1Caにて、車両100の種別に基づき、大きい駐車位置空間に駐車可能であると判定されると(ステップS1Ca:YES)、ステップS1Cbにて、車両100の種別に基づき、小さい駐車位置空間に駐車可能か否かが判定される。小さい駐車位置空間には駐車可能ではないと判定されると(ステップS1Cb:NO)、ステップS1Ceにて、大きい駐車位置空間の駐車場が選択される。
On the other hand, if it is determined in step S1Ca that parking is possible in a large parking position space based on the type of vehicle 100 (step S1Ca: YES), small parking is performed based on the type of
ステップS1Cbにて、車両100の種別に基づき、小さい駐車位置空間に駐車可能であると判定されると(ステップS1Cb:YES)、ステップS1Ccにて、車両100の種別に基づき、大きい駐車場の奥に存する狭路が通過可能か否かが判定される。狭路が通過可能ではないと判定されると(ステップS1Cc:NO)、ステップS1Ceにて、大きい駐車位置空間の駐車場が選択される。その一方、ステップS1Ccにて、狭路通行が可能と判定されると(ステップS1Cc:YES)、ステップS1Cdにて、小さい駐車位置空間の駐車場が選択される。
If it is determined in step S1Cb that parking is possible in a small parking position space based on the type of vehicle 100 (step S1Cb: YES), the depth of the large parking lot is determined based on the type of
図9のフローチャートにおいて、ステップS1Cd及びステップS1Ceの処理結果は、図8のフローチャートのステップS1C:YESの判定に対応し、図9のフローチャートにおいて、ステップS1Ca:NOの判定結果は、図8のフローチャートのステップS1C:NOの判定結果に対応する点に留意する。 In the flowchart of FIG. 9, the processing results of step S1Cd and step S1Ce correspond to the determination of step S1C: YES in the flowchart of FIG. 8, and in the flowchart of FIG. 9, the determination result of step S1Ca: NO is the flowchart of FIG. Note that this corresponds to the determination result of step S1C: NO.
次に、図8のステップS1Eにて、インフラカメラ106の撮影画像108から車両100が入庫位置102に入ったか否か、又は居るか否かが判定される。なお、以降、図3に示した駐車施設12を参照して入庫位置102から駐車位置空間121〜126までの自動駐車走行処理について説明する。
Next, in step S1E of FIG. 8, it is determined whether or not the
そこで、車両100が、例えば、図3に示すように、入庫位置102Aに入ったことが検出されると(ステップS1E:YES)、図7に示すステップS1の初期処理が終了するので、次に、ステップS2にて、インフラカメラ106からの撮影画像108に基づき、又は、自動運転ユニット57からのシフト位置センサ34による情報に基づき、駐車支援制御装置120により、車両100の向き(後進向きか前進向きか)が検出される。
Therefore, for example, when it is detected that the
次いで、ステップS3にて、駐車支援制御装置120に設置されている自動駐車開始ボタン(不図示)が車両100から降車した運転者等により押された等の操作結果により発生する駐車支援開始信号を受信したか否かが駐車支援制御装置120により判定される。
Next, in step S3, a parking support start signal generated by an operation result such as an automatic parking start button (not shown) installed in the parking
駐車支援開始信号を受信したとき(ステップS3:YES)、ステップS4にて、駐車支援制御装置120は、ステップS1Cにて選択した空き駐車位置(ここでは、駐車位置122とする。)までの移動経路(目標軌跡)を、入庫位置102Aに入庫している車両100の種別に基づき、作成乃至選択する。
When the parking support start signal is received (step S3: YES), in step S4, the parking
ここでは、例えば、図10に示すように、移動経路(目標軌跡)130が作成される。移動経路130は、基本的には、車両100のステアリングの舵角(直進では0[deg])と、この舵角を維持した車両100の走行距離との組み合わせの積算値として計算される。
Here, for example, as shown in FIG. 10, a movement route (target locus) 130 is created. The
次いで、ステップS5にて、駐車支援制御装置120から車両100の自動運転ECU56に対して自動走行開始指示及び移動経路130の情報(前記積算値)が送信される。
Next, in step S5, the automatic parking
車両100側の自動運転ECU56は、ステップS31にて、自動走行開始指示待ちの状態とされており、自動走行開始指示を受信したとき(ステップS31:YES)、ステップS32にて自動走行制御及び車両位置・方向検出処理を順次(所定走行距離毎あるいは所定時間毎)行う。
The
すなわち、ステップS32にて、車両位置は、操舵角センサ28と車輪速センサ26とヨーレートセンサ22の各出力に基づく慣性航法による走行の結果又はGPSセンサ32の順次受信位置により検出乃至算出する。慣性航法による走行軌跡の算出は、統括ECU52により実行され、算出結果が自動運転ECU56を介して駐車支援制御装置120に順次送信される。車両方向は、シフト位置センサ34によるシフト位置(前進位置、後進位置)により統括ECU52により検出される。
That is, in step S32, the vehicle position is detected or calculated from the result of traveling by inertial navigation based on the outputs of the
次いで、ステップS33にて、検出結果に基づく車両100の方向(前進位置に対応する前向き走行方向か、後進位置に対応する後ろ向き走行方向か)と、車両位置が順次自動運転ECU56を介して駐車支援制御装置120に送信される。
Next, in step S33, the direction of the
送信後、ステップS34にて、自動運転ECU56は、駐車支援制御装置120から自動走行終了指示を受信したか否かを判定し、受信していない場合には(ステップS34:NO)、ステップS32に戻り、ステップS32の処理を続行する。
After the transmission, in step S34, the
一方、車両位置・方向の情報の受信により、車両100の自動走行(自動駐車のための走行)を検出した駐車支援制御装置120は、ステップS6の車両認識・追跡処理を行う。
On the other hand, the parking
図11は、ステップS6の車両認識・追跡処理の詳細フローチャートである。 FIG. 11 is a detailed flowchart of the vehicle recognition / tracking process in step S6.
ステップS6aにて、駐車支援制御装置120は、自動運転ECU56からの車両位置・方向の情報を受信(取得)すると、次のステップS6bにて、インフラカメラ106からの撮影画像(上述した図5に示した撮影画像110a、110b、110c、110d等)に基づき、車両100の相対的な姿勢(各インフラカメラ106から見た車両100の見え方)を確定する。
In step S6a, when the parking
次いで、ステップS6cにて、ステップS6bで確定した姿勢から車両100の側面が見える撮影画像110があるか否かを判定し、側面が見える撮影画像110がある場合には(ステップS6c:YES)、ステップS6dにて、基本的には存在する筈である側面が見える撮影画像110から上述した側面に係る車両100の種別を判別する特徴点パターン(タイヤホイールの形状、ホイールベース長等)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、一致しないときには(ステップS6e:NO)、ステップS6fにて自動運転を中断させる。なお、ステップS6fにて、自動運転を中断させたときには、駐車支援制御装置120は、メンテナンス要員等にその旨を連絡する。この場合、メンテナンス要員によるいわゆるオフライン処理にて、故障原因を調査し、復旧させる。なお、実際上、ステップS6cの判定は、車両100が駐車施設12の路面104上のどの場所に位置していても4つのインフラカメラ106のいずれかの撮影画像108、110によって検出される筈であるので、通常、このステップS6cの判定は肯定的になる(成立する)。
Next, in step S6c, it is determined whether there is a captured
一方、ステップS6eにて、今回抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致しているときには、ステップS6gにて、駐車支援制御装置120は、自己の駐車施設12の地図を参照し、パターンマッチングに供した今回の撮影画像108、110に基づき、車両100の路面104上の現在位置(現在位置座標)を検出する。
On the other hand, when the feature point pattern (type of vehicle 100) extracted this time matches the feature point pattern (type of vehicle 100) extracted last time in step S6e, the parking
次いで、図7のフローチャートに戻り、そのステップS7にて、現在位置が駐車位置122であるか否かを判定し、駐車位置122ではない場合には(ステップS7:NO)、ステップS8にて、ステップS6gにて検出した現在位置を自動運転ECU56に送信する。なお、このとき、現在位置ではなく、あるいは現在位置と一緒に、指示した移動経路130に対する現在位置の位置ずれ量(偏差)を送信するようにしてもよい。
Next, returning to the flowchart of FIG. 7, in step S7, it is determined whether or not the current position is the
一方、図11のステップS6cにて、側面が見えなかったときには(ステップS6c:NO)、ステップS6hにて、車両100の前面が見える撮影画像108、110があるか否かを判定し、前面が見える撮影画像108、110がある場合には(ステップS6h:YES)、ステップS6iにて、ステップS6dの処理と同様に、撮影画像108、110から前面に係る特徴点パターン(エムブレムと前輪30までの距離等)(車両100の種別)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、以降、ステップS6e:YES、ステップS6g、及びステップS7:NOの各処理を経てステップS8(図7)での位置送信処理を行う。
On the other hand, when the side surface is not visible in step S6c of FIG. 11 (step S6c: NO), it is determined in step S6h whether or not there are captured
ステップS6hにて、前面が見えなかったときには(ステップS6h:NO)、後面が見える筈であるので、ステップS6jにて、ステップS6dの処理と同様に、インフラカメラ106の撮影画像110から後面に係る特徴点パターン(リフレクタ間の距離とリフレクタ形状等)(車両100の種別)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、以降、ステップS6e:YES、ステップS6g、及びステップS7:NOの各処理を経てステップS8での位置送信処理を行う。
In step S6h, when the front surface is not visible (step S6h: NO), the rear surface should be visible. Therefore, in step S6j, similar to the processing in step S6d, the captured
次いで、駐車支援制御装置120から自動運転ECU56を介して現在の車両位置又は車両位置のずれ量(偏差)を受領した統括ECU52は、再び、ステップS32にて、上述した自動走行制御及び車両位置・方向検出処理を順次(所定走行距離毎あるいは所定時間毎)行う。
Next, the
ただし、ステップS32の2回目以降の処理において、移動経路130と現在位置との間の位置ずれ量(偏差)を補正する距離補正処理及び舵角補正処理を行う。
However, in the second and subsequent processes in step S32, a distance correction process and a steering angle correction process for correcting a positional deviation amount (deviation) between the
以下、ステップS33にて車両位置・方向の送信処理を行い、ステップS6で車両認識・追跡処理を行う。 Thereafter, a vehicle position / direction transmission process is performed in step S33, and a vehicle recognition / tracking process is performed in step S6.
このようにして、ステップS7の判定、すなわち走行軌跡上で現在位置が駐車位置122になった(位置した)場合、図12に示すように、ステップS9にて、駐車支援制御装置120は、自動走行終了指示を送信する。
In this way, when the determination at step S7, that is, when the current position is (positioned) at the
ステップS34にて自動走行終了指示を受信した自動運転ECU56は、ステップS35にて統括ECU52を通じて自動走行を終了させ、駐車支援制御装置120に自動走行を終了した旨を送信してイグニッションスイッチ等のメインスイッチをオフ状態にする。
The
なお、この実施形態に係る駐車支援システム14では、駐車施設12の路面104上の全ての移動体を検出することが可能であるので、図13に示すように、入庫位置102A、102Bから同時に2台の車両100、100´を移動経路130、132に沿って駐車位置122、125に自動走行(2台同時協調自動走行)させて駐車させることができる。
In addition, in the
また、図14に示すように、駐車位置122、125から入庫位置102A、102Bまで車両100、100´を出庫するときにおいて、移動経路134、136が交錯した場合においても、駐車支援制御装置120が車両100、100´の現在位置と移動経路134、136を把握しているので、衝突判定(同一時刻に同一位置で車両100、100´が一部でも重なる可能性がある場合には、重なる可能性がない状態になるまで一方の車両(車両100又は車両100´)を停止させて他方の車両(車両100´又は車両100)のみを移動させ、重なる可能性がなくなった状態にて、停止させた一方の車両を再走行させる。)を行うことで、干渉を回避することができる。
In addition, as shown in FIG. 14, when the
この場合、ボール等の移動障害物142の位置や移動方向141及び移動速度を検出した場合には、移動障害物142の移動予測経路と移動経路134、136との干渉回避処理を行うようにすることもできる(2台同時協調自動走行による障害物回避支援制御。)。
In this case, when the position, moving
以上説明したように上述した実施形態に係る駐車支援システム14は、駐車施設12に配置され、車両100を撮影する少なくとも1つの固定カメラとしてのインフラカメラ106と、駐車施設12側に配置され、前記インフラカメラ106から送信される撮影画像108を受信し車両誘導情報としての移動経路130を作成する駐車支援制御装置120と、車両100に搭載され、駐車支援制御装置120から移動経路130の情報を受信し、受信した移動経路130の情報に基づき車両100を入庫位置102から駐車位置空間122まで自動走行させる自動運転ユニット57と、を備える。
As described above, the
駐車支援制御装置120は、車両100が駐車施設12の入口116A又は入庫位置102Aに配されたとき、車両100の種別を認識し、認識した車両100の種別に基づき、当該車両100が、駐車施設12内の駐車位置空間122に駐車可能な車両100であるか否かを判定する。
The parking
この実施形態によれば、駐車支援制御装置120は、車両100が駐車施設12の入口116A又は入庫位置102Aに配されたときに、車両100の種別を認識し、認識した車両100の種別に基づき、当該車両100が、駐車施設12内の駐車位置空間122に駐車可能な車両100であるか否かを判定するように構成したので、当該車両100が当該駐車施設12内の駐車位置空間122に駐車可能か否かを、処理負荷が少なく且つ瞬時に判定することができる。
According to this embodiment, the parking
この場合、車両100は、自己の車両100の種別を記憶する車両種別記憶部64をさらに備え、駐車支援制御装置120は、車両100が駐車施設12の入口116A又は入庫位置102Aに配されたときに、車両100の種別を認識する際、駐車施設12の入口116A又は入庫位置102Aにおいて、インフラカメラ106から車両100を撮影した撮影画像108を受信したとき、車両100の種別を問い合わせるリクエスト信号を車両100の自動運転ユニット57に送信し、自動運転ユニット57は、前記リクエスト信号を受信したとき、車両種別記憶部64に記憶されている車両100の種別を駐車支援制御装置120に送信し、駐車支援制御装置120は、受信した車両100の種別に基づき、当該車両100が、駐車施設12内の駐車位置空間122に駐車可能な車両100であるか否かを判定するようにしてもよい。
In this case, the
あるいは、インフラカメラ106は、車両100が駐車施設12の入口116A又は入庫位置102Aに配されたときに、車両100を撮影して駐車施設12の入口116A又は入庫位置102Aでの撮影画像108を駐車支援制御装置120に送信し、駐車施設12の入口116A又は入庫位置102Aでの前記撮影画像108を受信した駐車支援制御装置120は、受信した前記撮影画像108に基づき車両100の種別を認識し、駐車施設12内の駐車位置空間122に駐車可能な車両100であるか否かを判定するようにしてもよい。
Alternatively, the
この場合、車両100が駐車施設12内の駐車位置空間122に駐車可能な車両100ではないと判定したとき、その旨を駐車支援制御装置120の報知部から及び/又は自動運転ユニット57の報知部(車両100の車載スピーカや車載ディスプレイ)から報知することが好ましい。
In this case, when it is determined that the
さらに、駐車支援制御装置120は、車両100の駐車施設12の入口116A又は入庫位置102Aにおいて車両100の種別を認識したとき、認識した車両100の種別に応じた入庫位置102Aから駐車位置空間122までの移動経路130を車両誘導情報として生成し自動運転ユニット57に送信するよう構成してもよい。
Furthermore, when the parking assist
車両100の種別としては、車両100の大きさ(全長と、全幅と、全高)と、ホイールベース長と、トレッド幅と、を含むことが好ましいが、前記車両100の大きさ、ホイールベース長、トレッド幅、及びナンバープレート情報のうち、少なくとも1つを含むことでもよい。
The types of the
また、駐車支援制御装置120は、車両100が入庫位置102Aから駐車位置空間122への自動走行中に、インフラカメラ106の前記撮影画像108(110)から車両100の種別を認識し続け、認識し続ける車両100の種別に基づき、車両100が移動経路130に沿って移動しているか否かを追跡乃至監視することが好ましい。
In addition, the parking assist
ここで、駐車支援制御装置120は、車両100が入庫位置102Aから駐車位置122への自動走行中に、前記車両位置及び前記移動方向を含む車両情報と前記撮影画像108(110)とに基づき、車両100が移動経路130に沿って移動するよう自動運転ユニット57を通じて追跡(フィードバック制御)することで、車両100は移動経路130に沿って正確に走行し駐車することができる。
Here, the parking
さらに、駐車支援制御装置120は、車両100が移動経路134、136に沿っての自動走行中に、前記撮影画像108(110)により移動障害物142及び(車両100にとっての車両100´、又は車両100´にとっての車両100)が移動経路134、136に進入する可能性を検知したとき、車両100、100´と移動障害物142(100´、100)との干渉回避手法を計算して、自動運転ユニット57に送信することで、自動運転ユニット57を搭載する車両100、100´が、移動障害物142(100´、100)との干渉の回避、例えば、停車してやりすごす等の回避処理を円滑に行うことができる。
Furthermore, the parking assist
なお、車両100は、さらに車載カメラ20を有し、自動運転ユニット57は、車両100を駐車位置122に停止させる際、車載カメラ20による撮影画像108、110に基づき、車両100を停止させるように構成することで、車両100を駐車位置122に極めて正確に停止させることができる。
The
[他の実施形態]
次に、インフラカメラ106を使用した車両100の自動走行ではなく、車両100が、駐車施設12内の前記路面104を自動走行する際に、車載カメラ10、20により駐車施設12内の路面104を含む車両周辺状況を取得(撮影)し、取得(撮影)した撮影画像を自動運転ユニット57が平面視画像(平面視画像情報)に変換し、変換した平面視画像情報に基づき車両100の自動走行処理を行う技術に基づく駐車支援システムについて説明する。
[Other Embodiments]
Next, when the
この場合、自動運転ユニット57(ここでは、統括ECU52)は、車載カメラ10、20で撮影された撮影画像を、車両100の前進時には前方(フロントカメラである車載カメラ10の場合)又は後進時には後方(リアカメラである車載カメラ20の場合)の鉛直方向上方の所定高さの仮想の視点位置から見下ろした画像(平面視画像)となるように、画像の歪み等も補正しつつ視点変換(逆射影変換)を行う。
In this case, the automatic operation unit 57 (in this case, the overall ECU 52) captures images taken by the in-
ここで、図15、図16A、図16Bを参照して、リアカメラの車載カメラ20を例として、車載カメラ20の撮影画像の視点変換(座標変換、逆射影変換)の例について説明する。
Here, with reference to FIGS. 15, 16A, and 16B, an example of viewpoint conversion (coordinate conversion, reverse projection conversion) of a captured image of the in-
図15に示すように、路面104が平面(水平面)であって、路面104にペイント等で描かれた正方形状枠からなる路面マーカ202と車両100とが同一平面上にある場合、図16Aに示すように、車載カメラ20の取付位置Ca(撮影レンズの中心)から撮像した撮影画像200A(取付位置Caから見た路面映像)では、実際には正方形状枠からなる路面マーカ202が、台形状枠からなる路面マーカ画像202Aに見える。
As shown in FIG. 15, when the
なお、図15中、網点を付けた領域は、車載カメラ20の撮像素子に写る範囲を角度で表した画角(撮影画角)範囲に含まれる領域を示している。
In FIG. 15, a region with a halftone dot indicates a region included in a field angle (shooting field angle) range in which a range captured by the image sensor of the in-
路面マーカ画像202Aは、カメラ映像座標系Qa(xi,yi){原点座標Qa(0,0)は、車載カメラ20の光軸Laと路面104との交点}での撮影画像である。
The road
車載カメラ20から車両100の前後方向上、所定距離Y0(図15参照)だけ後方で、車両100の上下方向上、所定距離Z0だけ、上方の位置(仮想カメラ20vの視点位置Cb)から見下ろした平面視画像は、図16Bに示す平面視画像200Bになる。
From the in-
この場合、図16Bに示す視点変換後の平面視画像200Bは、車載カメラ20の取付位置Caから見た路面映像中の台形状の路面マーカ画像202A(図16A)が、仮想カメラ20vの視点位置Cbから見た仮想カメラ映像座標系Qb(xr,yr)での路面映像に逆射影変換した正しい形状の正方形状枠からなる路面マーカ画像202Bに変換される。
In this case, the
路面マーカ画像202Bは、仮想カメラ映像座標系Qb(xr,yr){原点座標Qb(0,0)は、仮想カメラ20vの光軸Lbと路面104との交点}での撮影画像である。
The road
そして、自動運転ユニット57は、視点変換した撮影画像200B(前記平面視画像又は処理画像という。)に基づき、車両100が走行可能な路面の他、走行不能な側壁、縁石、駐車している他車両、及び生け垣等の障害物(走行の手引きとなるランドマークとして利用する。)を認識し、車両100を、前記障害物を回避しながら前記走行可能な路面104上を自動走行させる。このようにして、自動運転ユニット57が、車両100を、例えば駐車施設12の入口116あるいは入庫位置102から目的の駐車位置122等まで自動走行させる。
Then, the automatic driving unit 57 is based on a photographed
ところが、車両100が自動走行しようとする路面が、平坦路面ではなく傾斜路面を含む場合には、視点変換を行ったときに、実際には、車幅方向の走行可能な路面幅が均一な路面であるのに、処理画像(平面視画像)中の走行路面が前方(又は後方)に行くに従い徐々に狭まったり、その逆に徐々に広がったりして、自動運転ユニット57が車両100を平面視画像に基づいて正確に自動運転することが困難な事態に至る。
However, when the road surface on which the
次に、図17を参照して、車両100が載っている平面(路面又は平坦路面ともいう。)Paと、車載カメラ20で撮像される路面マーカM(図17では点で表している。)が描かれた平面(路面、傾斜面又は傾斜路面ともいう。)Pbとが、実際には異なる(数学的に交差している)場合に、水平面に平行する平面Paと水平面(平面Pa)から傾いている傾斜面である平面(傾斜路面ともいう。)Pbとが、同一平面上にあると仮定して逆射影変換した場合に、路面マーカMの推定位置に生じる問題、すなわち距離誤差Eが発生する問題(この図17例では、車載カメラ20による撮影画像において、距離誤差E分近くに見える。)について、具体的に説明する。
Next, referring to FIG. 17, a plane (also referred to as a road surface or a flat road surface) Pa on which the
なお、図17例では、理解の便宜のために、平面Paと傾斜面Pbとの相違を、チルト角(俯角、傾斜角)Δθに限定して説明するが、チルト角Δθの他に、ヨー角、ロール角に変化がある場合であっても同様に説明することができる。 In the example of FIG. 17, for convenience of understanding, the difference between the plane Pa and the inclined plane Pb will be described by limiting to the tilt angle (decline angle, tilt angle) Δθ. Even when there is a change in the angle and roll angle, the same explanation can be made.
図17に示すように、車載カメラ20の撮像面20iは、焦点fを含むレンズの光軸Laに対して直角な平面上にある。
As shown in FIG. 17, the imaging surface 20i of the in-
焦点fから路面Paに降ろした垂線と路面Paとの交点位置のy座標yraをyra=0とし、平面Pbに対する傾斜面Pbのチルト角Δθが微小な角度であると仮定すると、図17中、線分Yg−yrb(yi1,Pb)の長さと線分Yg−yra(yi1,Pb)の長さとが等しいと看倣せる。そこで、傾斜面Pb上に描かれている路面マーカMのyra=0からのy座標yraを、y座標yra(yi1,Pb){=yrb(yi1,Pb)}と正しく認識したい。 Assuming that the y-coordinate yra of the intersection point of the perpendicular line dropped from the focal point f to the road surface Pa and the road surface Pa is yra = 0, and the tilt angle Δθ of the inclined surface Pb with respect to the plane Pb is a minute angle, FIG. It can be considered that the length of the line segment Yg-yrb (yi1, Pb) is equal to the length of the line segment Yg-yra (yi1, Pb). Therefore, it is desired to correctly recognize the y coordinate yra from yra = 0 of the road surface marker M drawn on the inclined surface Pb as the y coordinate yra (yi1, Pb) {= yrb (yi1, Pb)}.
この場合、傾斜面Pb上に描かれた路面マーカMは、車載カメラ20の撮像面20i上、光軸Laの交点位置(撮像面20iに沿う上方向の座標yi上での距離原点yi=0)から撮像面20i上の座標(距離)yi=yi1の位置に結像される。 In this case, the road surface marker M drawn on the inclined surface Pb is the intersection position of the optical axis La on the imaging surface 20i of the vehicle-mounted camera 20 (distance origin yi = 0 on the upper coordinate yi along the imaging surface 20i). ) To the position of coordinates (distance) yi = yi1 on the imaging surface 20i.
焦点fと撮像面20i上の座標(距離)yi1の位置を結ぶ線Lm(その延長線を含む)と、光軸Laと、のなす角をなす角βとする。 The angle β is an angle formed by a line Lm (including an extension line) connecting the focal point f and the position of the coordinate (distance) yi1 on the imaging surface 20i and the optical axis La.
なす角βは、焦点距離Fを考慮すると、次の(1)式で求められる。
β=arctan(yi1/F) …(1)
In consideration of the focal length F, the formed angle β can be obtained by the following equation (1).
β = arctan (yi1 / F) (1)
そうすると、原点であるy座標yra=0から、傾斜面Pb上に描かれている路面マーカMまでの推定距離が、焦点fの路面Paからの高さを焦点高さHとすると、次の(2)式の逆射影変換により、正しいと看倣した位置座標yra(yi1,Pb)より長さ(距離誤差)Eだけ手前の位置座標yra(yi1,Pa)までの距離と誤認識されてしまう。
yra(yi1,Pa)=H×tan(θ+β) …(2)
Then, if the estimated distance from the origin y coordinate yra = 0 to the road surface marker M drawn on the inclined surface Pb is the height H of the focal point f from the road surface Pa, the following height ( Due to the reverse projection transformation of equation (2), the position coordinate yra (yi1, Pb) regarded as correct is misrecognized as a distance from the position coordinate yra (yi1, Pa) before the length (distance error) E. .
yra (yi1, Pa) = H × tan (θ + β) (2)
つまり、次の(3)式で表される距離誤差Eが発生してしまう。なお、角度θは、車載カメラ20の光軸Laの垂線に対するなす角(なす角θともいう。)であるので、既知の角(車載カメラ20の取付角)である。
E=yra(yi1,Pb)−yra(yi1,Pa) …(3)
That is, a distance error E expressed by the following equation (3) occurs. Note that the angle θ is a known angle (mounting angle of the in-vehicle camera 20) because it is an angle (also referred to as an angle θ) formed with respect to the perpendicular of the optical axis La of the in-
E = yra (yi1, Pb) -yra (yi1, Pa) (3)
そこで、次に、図18を参照して、車両100が存在する路面(平面)Paと、車載カメラ20で撮像される路面マーカMが描かれた路面(傾斜面、傾斜路面)Pbとが、異なる場合、換言すれば、車両100の現在位置(yra=0)からの既知の距離Yg(既知の距離であることは後述する。)の位置に、車両100が載っている(存在している)平面(路面)Paに対してチルト角Δθの平面(傾斜面)Pbが接続されている(存在している)とき、車両100が載っている路面(平面)Paに沿うy座標yra上での距離誤差Eが発生しないで、傾斜面(平面)Pbのy座標yrb上の正しい座標位置yrb(yi1,Pb)を、誤差の殆どないと看倣される路面(平面)Pa上の位置座標yra(yi1,Pb)にあると算出する処理について説明する。
Then, referring to FIG. 18, next, a road surface (plane) Pa where the
図18に示すように、焦点fから平面Paに降ろした垂線の、傾斜面Pbの延長線との交点ip1の位置までの長さL1はL1=H−ΔHになる。ここでΔHは、次の(4)式により算出される。
ΔH=Yg×tanΔθ …(4)
As shown in FIG. 18, the length L1 of the perpendicular drawn from the focal point f to the plane Pa to the position of the intersection ip1 with the extended line of the inclined surface Pb is L1 = H−ΔH. Here, ΔH is calculated by the following equation (4).
ΔH = Yg × tan Δθ (4)
なお、yra=0から傾斜面Pbが始まる位置までの距離Yg(位置もYgとしている。)は、駐車支援制御装置120の記憶部118に記憶されている駐車支援地図情報に基づき既知の距離として求めることができる。
The distance Yg from yra = 0 to the position where the inclined surface Pb begins (the position is also Yg) is a known distance based on the parking assistance map information stored in the
次に、焦点fから傾斜面Pbの延長線に対して降ろした垂線と前記延長線との交点ip2の位置までの焦点fからの長さL2は、チルト角Δθが微小であるので、焦点fから平面Paに対して降ろした垂線と傾斜面Pbの延長線との交点ip1の位置までの焦点fからの長さL1に等しいと看倣す(L2≒L1)。 Next, since the tilt angle Δθ is very small, the length L2 from the focal point f2 to the position of the intersection point ip2 between the perpendicular line extending from the focal point f with respect to the extended line of the inclined surface Pb and the extended line, the focal point f Is assumed to be equal to the length L1 from the focal point f1 to the position of the intersection point ip1 between the perpendicular drawn from the plane Pa to the extended line of the inclined surface Pb (L2≈L1).
そうすると、傾斜面Pbに沿うy座標(軸)yrb上で、交点ip2の位置をゼロ値(原点)として交点ip2の位置から路面マーカMが描かれた座標位置yrb(yi1,Pb)までの線分ip2−yrb(yi1,Pb)の長さyrb(yi1,Pb)は、次の(5)式で算出できる。
yrb(yi1,Pb)=L2×tan(θ+Δθ+β)
≒L1×tan(θ+Δθ+β)
=(H−ΔH)×tan(θ+Δθ+β)…(5)
Then, on the y coordinate (axis) yrb along the inclined plane Pb, the line from the position of the intersection ip2 to the coordinate position yrb (yi1, Pb) where the road surface marker M is drawn with the position of the intersection ip2 as a zero value (origin) The length yrb (yi1, Pb) of the minute ip2-yrb (yi1, Pb) can be calculated by the following equation (5).
yrb (yi1, Pb) = L2 × tan (θ + Δθ + β)
≒ L1 × tan (θ + Δθ + β)
= (H−ΔH) × tan (θ + Δθ + β) (5)
なお、なす角βは(1)式により、なす角θは車載カメラ20の取付角として、チルト角Δθは、駐車支援地図情報(詳細は後述する)等から読み込むことができ、それぞれ全て既知の角度である。 The formed angle β can be read from the equation (1), the formed angle θ can be read from the parking assistance map information (details will be described later), etc. Is an angle.
チルト角Δθが微小であるので、図18において、それぞれ太い実線と破線で描いた、傾斜面Pb上、y座標(軸)yrb上の交点ip1から座標位置yrb(yi1,Pb)までの線分の長さと、これから求めようとする路面Paのy座標(軸)yra上の交点ip0から座標位置yra(yi1,Pb)までの線分の長さは、等しいと看倣す。 Since the tilt angle Δθ is very small, the line segments from the intersection ip1 on the inclined plane Pb and the y-coordinate (axis) yrb to the coordinate position yrb (yi1, Pb) are drawn in FIG. And the length of the line segment from the intersection point ip0 on the y coordinate (axis) yra of the road surface Pa to be obtained to the coordinate position yra (yi1, Pb) are assumed to be equal.
すなわち、傾斜面Pb上に描かれた路面マーカMを車両100が載っている(存在する)平面である路面Paに投影した座標位置yra(yi1,Pb)は、チルト角Δθが十分に小さいと看倣せる場合は、次の(6)式に示すように、長さを表す座標位置yrb(yi1,Pb)から、焦点fを路面マーカMが描かれた傾斜面Pbの延長線に投影した交点ip2と交点ip1間の長さΔyを差し引いた値に略等しいということが分かる。なお、長さΔyは、次の(7)式により算出できる。
yra(yi1,Pb)=yrb(yil,Pb)−Δy …(6)
Δy=(H−ΔH)×tan(Δθ) …(7)
That is, the coordinate position yra (yi1, Pb) obtained by projecting the road surface marker M drawn on the inclined surface Pb onto the road surface Pa on which the
yra (yi1, Pb) = yrb (yil, Pb) −Δy (6)
Δy = (H−ΔH) × tan (Δθ) (7)
実際上、図示しない駐車施設において、地上の1階の入口や入庫位置から2階の駐車位置あるいは地下の駐車位置に車両100を誘導する場合、又は2階の駐車位置あるいは地下の駐車位置から車両100を地上の1階の出口(上記入口や入庫位置と同じであってもよい。)に誘導する場合には、傾斜面を自動走行させる必要が存在する。
In practice, in a parking facility (not shown), when the
そこで、この発明に係る駐車支援システムの他の実施形態では、駐車支援制御装置120(駐車施設12側の端末)の記憶部118(図2参照)に、駐車施設12の地上の前記入口や入庫位置から地下や2階の駐車位置に至る経路の走行に必要な駐車支援地図情報(駐車支援地図データベース)を予め記憶しておく。
Therefore, in another embodiment of the parking support system according to the present invention, the above-mentioned entrance and storage on the ground of the
この駐車支援地図情報には、前記駐車施設12中の走行路面が、平坦路面であるか傾斜路面であるかを示す路面種別情報と、前記平坦路面の開始位置と終了位置の各3次元位置情報(路面幅情報も含まれる。)と、前記平坦路面に接続される前記傾斜路面の開始位置と終了位置の各3次元位置情報(路面幅情報も含まれる)と該傾斜路面の勾配情報と、走行路面(平坦路面と傾斜路面)に接続される障害物(側壁、縁石、生け垣、天井面)の3次元位置情報とが、予め記憶されている。なお、傾斜路面の開始位置3次元情報と終了位置3次元情報とが分かれば、傾斜路面の勾配は自動運転ユニット57で算出することができる。
The parking assistance map information includes road surface type information indicating whether the traveling road surface in the
実際上、連続的に変化する平面のパラメータを地図データとして厳密に表現することはデータ量が膨大となり実用的ではない。そこで、この[他の実施形態]では、図19に示すように、駐車施設12(図3に示した地図とは異なるが同じ符号を用いる。)内の路面104をマトリクス状のグリッドG(x,y)=G(1,1)、G(1,2)、…G(2,1)…(ここでは正方格子)に分割し、各グリッドG(x,y)内は、単一の特性(パラメータ)を持つ平面と看倣してグリッドG(x,y)(グリッド平面又は格子平面という。)毎に、特性表現(パラメータ表現)し駐車支援地図情報(駐車支援地図データベース)として記憶部118に格納している。
In practice, it is impractical to accurately express the parameters of a continuously changing plane as map data because the amount of data is enormous. Therefore, in this [other embodiment], as shown in FIG. 19, the
平面を表すパラメータとして、この[他の実施形態]では、基準面、例えば入庫位置102A(図3参照)からの高さh、緯線方向の傾き(勾配)Δθ、経線方向の傾き(勾配)Δφを利用している。つまり、各グリッドG(x,y)は、グリッド特性(グリッドパラメータ、格子特性)G(x,y,h,Δθ,Δφ)として記憶部118に記憶されている。つまり、入庫位置102Aのグリッド特性Gは、G(x,y,h,Δθ,Δφ)=G(0,0,0,0,0)=G0と表すことができる。
In this [other embodiment], the height h from the reference position, for example, the
なお、路面104には、図19に示すように、駐車誘導支援用の白線203、駐車位置121a〜126aを区画する区画線204が描かれていると共に、駐車縁石206が配置されていてもよい。
In addition, on the
また、駐車位置126aには、後述する、路面マーカ212が表面に描かれた段差物である非接触充電用地上パッド210が配置されている。
In addition, a non-contact
次に、基本的には以上のようにインフラが構成される路面104に傾斜面が含まれるこの[他の実施形態]の動作について図20のフローチャートを参照して説明する。この[他の実施形態]では、駐車施設12中、例えば、図3に示したインフラカメラ106が設置されていなくてもよいことに留意する。
Next, the operation of [another embodiment] in which an inclined surface is included in the
ステップS101の初期処理にて、車両100が駐車施設12の所定の入口116又は入庫位置102(いずれも図19には不図示)に停車した状態で、駐車支援制御装置120(乗降端末、駐車施管制装置)に設けられた自動駐車開始ボタン等が押下されると、駐車支援制御装置120と車両100の自動運転ユニット57との協調による自動走行による目標の駐車位置121〜126(図3)あるいは121a〜126a(図19)の1つへの駐車支援が開始され、駐車支援制御装置120により入口116又は入庫位置102から目標の駐車位置(121〜126あるいは121a〜126aの1つ)までの移動経路(目標軌跡)が設定される。なお、駐車支援の開始は、前記自動駐車開始ボタンの押下によらず、車両100の運転者が所持するスマートフォン等の携帯端末の操作や、車両100の、いわゆるキーレスキーやスマートエントリーキーの操作で代替することができる。
In the initial process of step S101, the
このとき、駐車支援制御装置120は、ステップS101にて、さらに、記憶部118から読み出した前記駐車支援地図情報に前記移動経路(目標経路)を設定した移動経路付き(目標経路付き)駐車支援地図情報を車両100の自動運転ユニット57のワーク用の記憶部(不図示)へ転送する。
At this time, in step S101, the parking
次いで、ステップS102にて、自動運転ユニット57は、自己のワーク用の前記記憶部に転送されて記憶されている前記移動経路付き駐車支援地図情報を参照し、自車位置が、例えば地上(1F)から地下駐車位置に向かう傾斜路面位置(傾斜路面開始位置)あるいは地上(1F)から2F駐車位置等に向かう傾斜路面位置(傾斜路面開始位置)に到達したか否かを判定する。 Next, in step S102, the automatic driving unit 57 refers to the parking support map with moving route transferred and stored in the storage unit for its work, and the vehicle position is, for example, on the ground (1F ) To an underground parking position (inclined road surface start position) or an inclined road surface position (inclined road surface start position) from the ground (1F) to a 2F parking position or the like is determined.
グリッド特性G(x,y,h,Δθ,Δφ)の傾き(勾配)(Δθ,Δφ)情報により傾斜路面位置(傾斜路面開始位置)に到達したと判定した場合には(ステップS102:YES)、ステップS103にて、既に読み込んでいる座標変換のための傾斜路面情報(座標変換情報)を自己のワーク用の前記記憶部から読み出す。 When it is determined that the slope road surface position (inclined road surface start position) has been reached based on the slope (gradient) (Δθ, Δφ) information of the grid characteristics G (x, y, h, Δθ, Δφ) (step S102: YES) In step S103, the already read slope road surface information (coordinate conversion information) for coordinate conversion is read from the storage unit for its own work.
ステップS102の判定にて自車位置が傾斜路面位置(傾斜路面開始位置)に到達していない場合(ステップS102:NO)及びステップS103にて傾斜路面情報(座標変換情報)を読み出したとき、自動運転ユニット57は、ステップS104にて、車載カメラ10、20からの走行路面を含む撮影画像を平面視画像に視点変換(平面Paの場合、図16A及び図16Bを参照、平面Paから傾斜面Pbを撮影した場合、図17及び図18参照)し、視点変換した平面視画像と前記駐車支援地図情報に基づく慣性航法による走行を実行する。
When the vehicle position has not reached the inclined road surface position (inclined road surface start position) in the determination of step S102 (step S102: NO) and when the inclined road surface information (coordinate conversion information) is read in step S103, automatic In step S104, the driving unit 57 converts the captured image including the traveling road surface from the in-
この場合、慣性航法による走行は、上述したように、一定の制御距離毎あるいは一定の制御時間毎の走行距離と走行方位を車輪速センサ26とヨーレートセンサ22により検出して座標原点(入口116又は入庫位置102)からの自車位置を算出(積算)する。そして、積算した自車位置の走行軌跡(制御量)と前記移動経路(目標軌跡で目標量)との差を補正して自車位置を修正する。この慣性航法による走行は、前記座標原点からの誤差が積算される。
In this case, as described above, the traveling by inertial navigation is performed by detecting the traveling distance and traveling direction for each fixed control distance or for each fixed control time by the
上記した[実施形態]及び、この[他の実施形態]では、前記慣性航法による走行と並列に、より長い距離又はより長い時間のタイミングで、いわゆるマップマッチング処理を行っている。 In the above-mentioned [Embodiment] and [Other Embodiments], a so-called map matching process is performed at a longer distance or a longer time in parallel with the traveling by the inertial navigation.
すなわち、このマップマッチング処理では、前記慣性航法による走行の前記一定の制御距離より長い一定の制御距離毎あるいは前記一定の制御時間より長い一定の制御時間毎に、駐車支援地図情報から計算した平面視画像中の特定のランドマークの形状等と車載カメラ10、20による撮影画像の平面視画像中の対応する特定のランドマークの形状等とのマッチング(マップマッチング、形状マッチング)を行い、自車位置を修正する(駐車支援地図の方位方向を自車方向に合わせて回転するイメージ)ように構成している。
That is, in this map matching process, the planar view calculated from the parking assistance map information every fixed control distance longer than the fixed control distance of traveling by the inertial navigation or every fixed control time longer than the fixed control time. Matching (map matching, shape matching) and the like of the specific landmark in the image with the corresponding specific landmark in the planar image of the image taken by the in-
なお、車載カメラ10、20による撮影画像に基づき、駐車支援地図情報に存在しない他車両(移動中あるいは駐車中)や前記移動障害物112、114(図6参照)を検出し、他車両も障害物に含めて走行する。
It should be noted that other vehicles (moving or parked) that do not exist in the parking support map information and the moving
次いで、ステップS105にて、車両100が目標の駐車位置に到達したか否かを判定し、目標の駐車位置に到達するまで(ステップS105:YES)、ステップS102からステップS104の処理を繰り返す。
Next, in step S105, it is determined whether or not the
以上説明したように上述した他の実施形態に係る駐車支援システム14(インフラカメラ106は不要)は、車載カメラ10(あるいは車載カメラ10と車載カメラ20)を搭載し自動運転ユニット57を備えると共に自車位置検出機能(慣性航法によってもよく、電波状態が良ければGPSセンサ32によってもよく、併用してもよい。)を有する車両(自車ともいう。)100が、車載カメラ10、20により車両周辺状況を取得しながら、駐車施設12内を自動走行する駐車支援システム14(インフラカメラ106は不要)において、車両100が前記駐車施設12内を自動走行する際に、例えば前記駐車施設12の入口116又は入庫位置102にて、自動運転ユニット57は、駐車施設12側の端末である駐車支援制御装置120から当該駐車施設12内の傾斜路面情報{グリッド特性G(x,y,h,Δθ,Δφ)}を含む駐車支援地図情報を取得し、自車100の走行位置が前記傾斜路面Pb位置に到達したと判定したとき(ステップS102:YES)、図17において、例えば、平坦路面Pa上の位置Ygの手前の位置に到達したと判定したとき、前記傾斜路面情報{グリッド特性G(x,y,h,Δθ,Δφ)}を含む駐車支援地図情報に基づいて車載カメラ10、20により取得した撮影画像中の傾斜路面Pb等を平坦路面Paに座標変換した平面視画像に視点変換して、前記傾斜路面Pbを自動走行するようにしている。
As described above, the parking assist system 14 (the
このため、平坦路面Paから傾斜路面Pbに至る路面、前記傾斜路面Pb、及び前記傾斜路面Pbから平坦路面Paに至る路面を正確な画像情報により円滑に(正確に)自動走行することができる。 For this reason, the road surface from the flat road surface Pa to the inclined road surface Pb, the inclined road surface Pb, and the road surface from the inclined road surface Pb to the flat road surface Pa can be smoothly (accurately) automatically traveled with accurate image information.
この場合、前記傾斜路面情報{グリッド特性G(x,y,h,Δθ,Δφ)}は、前記駐車施設12中、前記傾斜路面Pbが存在する位置情報(x,y,h)と前記傾斜路面Pbの勾配情報(Δθ,Δφ)とからなるようにすればよい。
In this case, the inclined road surface information {grid characteristics G (x, y, h, Δθ, Δφ)} is obtained from the positional information (x, y, h) where the inclined road surface Pb exists in the
なお、前記傾斜路面情報{グリッド特性G(x,y,h,Δθ,Δφ)}には、前記傾斜路面Pbに物理的に接続されている障害物3次元配置情報を含み、前記撮影画像中の前記傾斜路面Pbを前記平坦路面Paに座標変換する際に、併せて前記撮影画像中の前記障害物3次元配置情報に係わる障害物を座標変換して前記平坦路面Paに接続して前記傾斜路面Pbを自動走行するように構成することで、傾斜路面Pbに物理的に接続されている障害物を正確に認識して自動走行することができる。 The inclined road surface information {grid characteristics G (x, y, h, Δθ, Δφ)} includes obstacle three-dimensional arrangement information physically connected to the inclined road surface Pb, and is included in the captured image. When the coordinate of the inclined road surface Pb is converted to the flat road surface Pa, the obstacle related to the obstacle three-dimensional arrangement information in the captured image is also coordinate-converted and connected to the flat road surface Pa to the inclined road surface. By configuring the vehicle to automatically travel on the road surface Pb, it is possible to automatically travel by accurately recognizing an obstacle physically connected to the inclined road surface Pb.
この場合、前記障害物3次元配置情報は、前記傾斜路面Pbに物理的に接続されている縁石情報、壁情報、及び前記傾斜路面Pbから所定距離離れた上方の屋根情報のうち、少なくとも1つの情報を含むようにされている。 In this case, the obstacle three-dimensional arrangement information includes at least one of curb information physically connected to the slope road surface Pb, wall information, and roof information above a predetermined distance from the slope road surface Pb. Information is to be included.
[他の実施形態の変形例]
次に、図18例(平坦路面から傾斜路面への走行切り換え例)の変形例として、図21に示すように、例えばスマートホーム(不図示)等の水平面の非接触充電エリアの平面Pa上に、段差物である非接触充電用地上パッド210(図19も参照)が設置され、その非接触充電用地上パッド210の上面に路面マーカ212が描かれている場合の自動駐車(駐車支援)を例として説明する。
[Modifications of Other Embodiments]
Next, as a modification of the example of FIG. 18 (example of traveling switching from a flat road surface to an inclined road surface), as shown in FIG. 21, for example, on a plane Pa of a non-contact charging area on a horizontal surface such as a smart home (not shown). Automatic parking (parking support) when a non-contact charging ground pad 210 (see also FIG. 19), which is a stepped object, is installed and a
なお、非接触充電用地上パッド210には、例えば、図示しない交流電源に接続された1次側のリング状の給電コイルが内蔵されている。この場合、車両100aの、例えば後部座席下及びトランク下にかけての両後輪24の間には、2次側のリング状の受電コイル216が配設されている。
The
車両100aを、図21の位置から矢印方向に後進させることで、1次側の給電コイル(1次コイル)が描かれた路面マーカ212(平面視は円状枠又は長方形状枠あるいは正方形状枠)の設置位置と、車両100aが記憶している2次側の受電コイル216(2次コイル)の車載位置とを平面視的に同軸(垂直方向の軸)上に位置させた後、換言すれば前記給電コイルと前記受電コイルとを平面視的に同心となる位置に位置させた後、非接触充電用地上パッド210の1次側の前記給電コイルから車両100aの2次側の受電コイル216に対して電磁誘導等により電力を供給することで、高効率下に非接触充電用地上パッド210の給電コイル側から車両100aの受電コイル216側に電力を伝達することができる。このようにして、車両100a側では供給された受電コイル216に供給された電力を図示しない蓄電池に充電することができる。
By moving the
この場合、図22から分かるように、非接触充電用地上パッド210の上面(表面)に描かれた路面マーカMa(点とみる。)の路面Paに沿うy座標(軸)yra上の正しい位置座標は、座標位置yra(yi1,Pc)であり、路面マーカ212に沿う軸yrc上の路面マーカMaが描かれている対応する正しい位置座標は、y座標yrc(yi1,Pc)の位置であるが、非接触充電用地上パッド210の厚みΔH´があるので、路面マーカMaの位置を座標位置yra(yi1,Pa)と誤認してしまう。換言すれば、路面Paに沿う軸yra上で、原点yra=0からの正しい長さはyra(yi1,Pc)であるのに、それより長い長さyra(yi1,Pa)と誤認識してしまい、距離誤差Eが発生する。
In this case, as can be seen from FIG. 22, the correct position on the y coordinate (axis) yra along the road surface Pa of the road surface marker Ma (referred to as a point) drawn on the upper surface (front surface) of the
この図22例では、路面マーカMaが描かれている非接触充電用地上パッド210のパッド面が路面Paに平行な面Pcにあるので、チルト角Δθ(図17参照)は、Δθ=0値になる。
In the example of FIG. 22, since the pad surface of the
この場合、焦点fと撮像面20i上の座標(距離)yi1の位置を結ぶ線Lma(その延長線を含む)と、光軸Laと、のなす角βは、上記した(1)式を再掲した次の(8)式で求められる。
β=arctan(yi1/F) …(8)
In this case, the angle β formed by the line Lma (including the extension line) connecting the focal point f and the position of the coordinate (distance) yi1 on the imaging surface 20i and the optical axis La is the same as the above formula (1). The following equation (8) is obtained.
β = arctan (yi1 / F) (8)
y座標(軸)yrc上での路面マーカMのy座標位置yrc(yi1,Pc)は、次の(9)式で求められる。
yrc(yi1,Pc)=(H−ΔH´)×tan(θ+β) …(9)
The y coordinate position yrc (yi1, Pc) of the road surface marker M on the y coordinate (axis) yrc is obtained by the following equation (9).
yrc (yi1, Pc) = (H−ΔH ′) × tan (θ + β) (9)
チルト角ΔθがΔθ=0なので、yrc(yi1,Pc)とyra(yi1,Pc)とが同等になる。よって、次の(10)式によりyra(yi1,Pc)を求めることができる。
yra(yi1,Pc)=yrc(yi1,Pc) …(10)
Since the tilt angle Δθ is Δθ = 0, yrc (yi1, Pc) and yra (yi1, Pc) are equivalent. Therefore, yra (yi1, Pc) can be obtained by the following equation (10).
yra (yi1, Pc) = yrc (yi1, Pc) (10)
このように[他の実施形態の変形例]では、例えばスマートホーム(不図示)の水平面の非接触充電エリアの平面Pa上に、段差物である非接触充電用地上パッド210が設置され、その非接触充電用地上パッド210の上面に路面マーカ212(路面マーカMa)が描かれている場合であっても、正確に自動駐車(駐車支援)することができる。
Thus, in [Modification of Other Embodiments], for example, a non-contact
この場合、駐車支援システム14(インフラカメラ106は不要)は、車載カメラ10、20と自動運転ユニット57を備えると共に自車位置検出機能を有する車両100aが、車載カメラ10、20により車両周辺状況を取得しながら、駐車施設(スマートハウス等の家庭付設の駐車場等の駐車施設も含む)12内を自動走行する駐車支援システム14(インフラカメラ106は不要)において、車両100aが前記駐車施設12内を自動走行する際に、前記自動運転ユニット57は、当該駐車施設12内の段差物である非接触充電用地上パッド210とその路面マーカ(段差物を示すマーカ)212の路面位置情報と路面段差情報(厚みΔH´)を地図情報記憶手段(車載の記憶部あるいは外部のサーバ等の記憶部)から取得し、自車100aの走行位置が非接触充電用地上パッド210の位置に到達したと判定したとき、前記路面段差情報(厚みΔH´)に基づいて車載カメラ10、20により取得した撮影画像中の非接触充電用地上パッド210上の路面マーカ212を、面Pcより厚みΔH´分直下の走行路面(平面Pa)上にあると看倣した上で座標変換(視点変換、逆射影変換)することで、非接触充電用地上パッド210(非接触充電給電部)上に車両100aの受電コイル216(非接触受電部)の位置を正確な位置関係で自動駐車させ、車載の蓄電池を高効率下に充電させることができる。
In this case, the parking support system 14 (the
なお、この発明は、上述の実施形態及び他の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。 Note that the present invention is not limited to the above-described embodiment and other embodiments, and it is needless to say that various configurations can be adopted based on the description in this specification.
12…駐車施設 14…駐車支援システム
50…センサ 52…統括ECU
56…自動運転ECU 57…自動運転ユニット
100、100´、100a…車両
102、102A、102B…入庫位置
106、106a〜106d…インフラカメラ
108、108a〜108d、110、110a〜110d…撮影画像
120…駐車支援制御装置
121〜126、121a〜126a…駐車位置
130、132、134、136…移動経路
210…非接触充電用地上パッド
12 ...
56 ... Automatic driving ECU 57 ... Automatic driving
Claims (4)
前記車両が前記駐車施設内を自動走行する際に、前記自動運転ユニットは、前記駐車施設側の端末から当該駐車施設内の傾斜路面情報を取得し、自車の走行位置が傾斜路面に到達したと判定したとき、前記傾斜路面情報に基づいて前記車載カメラにより取得した撮影画像中の傾斜路面を平坦路面に座標変換して前記傾斜路面を自動走行する
ことを特徴とする駐車支援システム。 In a parking support system in which a vehicle having an in-vehicle camera and an automatic driving unit and having a vehicle position detection function acquires a vehicle surrounding situation by the in-vehicle camera, and automatically travels in a parking facility
When the vehicle automatically travels within the parking facility, the automatic driving unit acquires the information on the sloped road surface in the parking facility from the terminal on the parking facility side, and the traveling position of the vehicle has reached the sloped road surface. When the vehicle is determined to be, the parking assist system is characterized in that the inclined road surface in the captured image acquired by the in-vehicle camera is coordinate-converted into a flat road surface based on the inclined road surface information and automatically travels on the inclined road surface.
前記傾斜路面情報は、前記傾斜路面が存在する位置情報と前記傾斜路面の勾配情報とからなる
ことを特徴とする駐車支援システム。 In the parking assistance system according to claim 1,
The inclined road surface information includes position information where the inclined road surface exists and gradient information of the inclined road surface.
前記傾斜路面情報には、前記傾斜路面に物理的に接続されている障害物3次元配置情報を含み、前記撮影画像中の前記傾斜路面を前記平坦路面に座標変換する際に、併せて前記撮影画像中の前記障害物3次元配置情報に係わる障害物を座標変換して前記平坦路面に接続して前記傾斜路面を自動走行する
ことを特徴とする駐車支援システム。 In the parking assistance system according to claim 1 or 2,
The inclined road surface information includes three-dimensional arrangement information of obstacles physically connected to the inclined road surface, and when the coordinate of the inclined road surface in the captured image is converted to the flat road surface, the photographing is also performed. A parking support system, wherein an obstacle related to the three-dimensional arrangement information of the obstacle in the image is coordinate-transformed and connected to the flat road surface to automatically travel on the inclined road surface.
前記障害物3次元配置情報は、前記傾斜路面に物理的に接続されている縁石情報、壁情報、及び前記傾斜路面上の屋根情報のうち、少なくとも1つの情報を含む
ことを特徴とする駐車支援システム。 In the parking assistance system according to claim 3,
The obstacle three-dimensional arrangement information includes at least one of curb information physically connected to the inclined road surface, wall information, and roof information on the inclined road surface. system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014189073A JP2015096411A (en) | 2013-10-11 | 2014-09-17 | Parking support system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013214015 | 2013-10-11 | ||
JP2013214015 | 2013-10-11 | ||
JP2014189073A JP2015096411A (en) | 2013-10-11 | 2014-09-17 | Parking support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015096411A true JP2015096411A (en) | 2015-05-21 |
Family
ID=53373938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014189073A Pending JP2015096411A (en) | 2013-10-11 | 2014-09-17 | Parking support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015096411A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017057053A1 (en) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method |
JP2017526569A (en) * | 2014-06-17 | 2017-09-14 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Valley parking method and valley parking system |
JP2018090042A (en) * | 2016-12-01 | 2018-06-14 | 三菱電機株式会社 | Automatic parking device |
JP2019046100A (en) * | 2017-08-31 | 2019-03-22 | アイシン精機株式会社 | Parking support device |
CN109844762A (en) * | 2016-12-07 | 2019-06-04 | 歌乐株式会社 | Vehicle-mounted image processing apparatus |
JP2019214271A (en) * | 2018-06-12 | 2019-12-19 | Ihi運搬機械株式会社 | Automatic driving vehicle guiding method |
CN110991232A (en) * | 2019-10-28 | 2020-04-10 | 纵目科技(上海)股份有限公司 | Vehicle position correction method and system, storage medium and terminal |
WO2020095672A1 (en) * | 2018-11-08 | 2020-05-14 | 日立オートモティブシステムズ株式会社 | Vehicular control device, route distribution device, and vehicular guidance system |
CN111417556A (en) * | 2017-11-17 | 2020-07-14 | 爱信艾达株式会社 | Vehicle position estimation device and vehicle control device |
CN112009469A (en) * | 2019-05-28 | 2020-12-01 | 奥迪股份公司 | Vehicle driving assistance system, vehicle including the same, method, and medium |
US10860031B2 (en) | 2017-09-28 | 2020-12-08 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus |
JP2021071022A (en) * | 2019-11-01 | 2021-05-06 | 本田技研工業株式会社 | Vehicle transport control device, vehicle transport control method, and vehicle transport system |
CN113516867A (en) * | 2020-04-10 | 2021-10-19 | 奥迪股份公司 | Parking indication device, parking assistance system, parking management system and corresponding method |
CN113950612A (en) * | 2019-06-14 | 2022-01-18 | 宝马股份公司 | Road model manifold for a 2D path planner |
US11654894B2 (en) | 2019-01-16 | 2023-05-23 | Toyota Jidosha Kabushiki Kaisha | Automatic parking management apparatus |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01265399A (en) * | 1988-04-18 | 1989-10-23 | Nippon Denso Co Ltd | Road recognizing device for vehicle |
JP2001311623A (en) * | 2000-04-28 | 2001-11-09 | Pioneer Electronic Corp | Navigation device, and information record medium with navigation program recorded thereon readably by computer |
JP2007213143A (en) * | 2006-02-07 | 2007-08-23 | Hitachi Ltd | Bottom rubbing avoiding support device |
JP2007318460A (en) * | 2006-05-26 | 2007-12-06 | Alpine Electronics Inc | Vehicle upper viewpoint image displaying apparatus |
JP2009061795A (en) * | 2007-09-04 | 2009-03-26 | Fujitsu Ten Ltd | Parking assist control device |
JP2009290788A (en) * | 2008-05-30 | 2009-12-10 | Toyota Motor Corp | Parking support device |
JP2010030427A (en) * | 2008-07-29 | 2010-02-12 | Toyota Motor Corp | Parking support system and parking support device |
JP2010157910A (en) * | 2008-12-26 | 2010-07-15 | Toyota Motor Corp | Image display device |
JP2010186257A (en) * | 2009-02-10 | 2010-08-26 | Denso Corp | Parking support system, onboard parking support device, and marker with information |
JP2011175508A (en) * | 2010-02-25 | 2011-09-08 | Mazda Motor Corp | Parking support system |
-
2014
- 2014-09-17 JP JP2014189073A patent/JP2015096411A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01265399A (en) * | 1988-04-18 | 1989-10-23 | Nippon Denso Co Ltd | Road recognizing device for vehicle |
JP2001311623A (en) * | 2000-04-28 | 2001-11-09 | Pioneer Electronic Corp | Navigation device, and information record medium with navigation program recorded thereon readably by computer |
JP2007213143A (en) * | 2006-02-07 | 2007-08-23 | Hitachi Ltd | Bottom rubbing avoiding support device |
JP2007318460A (en) * | 2006-05-26 | 2007-12-06 | Alpine Electronics Inc | Vehicle upper viewpoint image displaying apparatus |
JP2009061795A (en) * | 2007-09-04 | 2009-03-26 | Fujitsu Ten Ltd | Parking assist control device |
JP2009290788A (en) * | 2008-05-30 | 2009-12-10 | Toyota Motor Corp | Parking support device |
JP2010030427A (en) * | 2008-07-29 | 2010-02-12 | Toyota Motor Corp | Parking support system and parking support device |
JP2010157910A (en) * | 2008-12-26 | 2010-07-15 | Toyota Motor Corp | Image display device |
JP2010186257A (en) * | 2009-02-10 | 2010-08-26 | Denso Corp | Parking support system, onboard parking support device, and marker with information |
JP2011175508A (en) * | 2010-02-25 | 2011-09-08 | Mazda Motor Corp | Parking support system |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017526569A (en) * | 2014-06-17 | 2017-09-14 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Valley parking method and valley parking system |
WO2017057053A1 (en) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method |
JP2018090042A (en) * | 2016-12-01 | 2018-06-14 | 三菱電機株式会社 | Automatic parking device |
CN109844762A (en) * | 2016-12-07 | 2019-06-04 | 歌乐株式会社 | Vehicle-mounted image processing apparatus |
JP2019046100A (en) * | 2017-08-31 | 2019-03-22 | アイシン精機株式会社 | Parking support device |
US10860031B2 (en) | 2017-09-28 | 2020-12-08 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus |
US11714421B2 (en) | 2017-09-28 | 2023-08-01 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus |
US11449066B2 (en) | 2017-09-28 | 2022-09-20 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus |
CN111417556A (en) * | 2017-11-17 | 2020-07-14 | 爱信艾达株式会社 | Vehicle position estimation device and vehicle control device |
JP2019214271A (en) * | 2018-06-12 | 2019-12-19 | Ihi運搬機械株式会社 | Automatic driving vehicle guiding method |
JP7130056B2 (en) | 2018-11-08 | 2022-09-02 | 日立Astemo株式会社 | Vehicle control device, route distribution device, vehicle guidance system |
JPWO2020095672A1 (en) * | 2018-11-08 | 2021-09-24 | 日立Astemo株式会社 | Vehicle control device, route distribution device, vehicle guidance system |
US20210380096A1 (en) * | 2018-11-08 | 2021-12-09 | Hitachi Astemo, Ltd. | Vehicle control device, route distribution device, vehicle guidance system |
WO2020095672A1 (en) * | 2018-11-08 | 2020-05-14 | 日立オートモティブシステムズ株式会社 | Vehicular control device, route distribution device, and vehicular guidance system |
JP7405194B2 (en) | 2019-01-16 | 2023-12-26 | トヨタ自動車株式会社 | Automatic parking management device, automatic parking management method, and computer program |
US11654894B2 (en) | 2019-01-16 | 2023-05-23 | Toyota Jidosha Kabushiki Kaisha | Automatic parking management apparatus |
CN112009469A (en) * | 2019-05-28 | 2020-12-01 | 奥迪股份公司 | Vehicle driving assistance system, vehicle including the same, method, and medium |
JP2022535503A (en) * | 2019-06-14 | 2022-08-09 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Road model manifold for 2D trajectory planning |
US20220242444A1 (en) * | 2019-06-14 | 2022-08-04 | Bayerische Motoren Werke Aktiengesellschaft | Roadmodel Manifold for 2D Trajectory Planner |
CN113950612A (en) * | 2019-06-14 | 2022-01-18 | 宝马股份公司 | Road model manifold for a 2D path planner |
CN110991232A (en) * | 2019-10-28 | 2020-04-10 | 纵目科技(上海)股份有限公司 | Vehicle position correction method and system, storage medium and terminal |
CN110991232B (en) * | 2019-10-28 | 2024-02-13 | 纵目科技(上海)股份有限公司 | Vehicle position correction method and system, storage medium and terminal |
JP2021071022A (en) * | 2019-11-01 | 2021-05-06 | 本田技研工業株式会社 | Vehicle transport control device, vehicle transport control method, and vehicle transport system |
JP7185612B2 (en) | 2019-11-01 | 2022-12-07 | 本田技研工業株式会社 | Vehicle transportation control device, vehicle transportation control method, and vehicle transportation system |
CN113516867A (en) * | 2020-04-10 | 2021-10-19 | 奥迪股份公司 | Parking indication device, parking assistance system, parking management system and corresponding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015096411A (en) | Parking support system | |
JP6047083B2 (en) | Parking assistance system | |
JP7058233B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
JP6169544B2 (en) | Driving support control device | |
CN102768808B (en) | The apparatus and method of auxiliary driver | |
JP2015075899A (en) | Parking support system | |
JP2021527586A (en) | Environmentally active sensing type parking lot automatic parking system | |
JP7139284B2 (en) | Vehicle control device, parking lot management device, vehicle control method, and program | |
CN111376853B (en) | Vehicle control system, vehicle control method, and storage medium | |
US20200283022A1 (en) | Vehicle control system, vehicle control method, and storage medium | |
JP7062496B2 (en) | Vehicle remote control method and vehicle remote control device | |
CN112927550B (en) | Automatic parking system | |
JP7159107B2 (en) | Parking lot management system, parking lot management device, parking lot management method, and program | |
JP7096183B2 (en) | Vehicle control systems, vehicle control methods, and programs | |
CN111667709B (en) | Vehicle control device, information providing system, vehicle control method, information providing method, and storage medium | |
US20200311622A1 (en) | Management device, management method, and storage medium | |
JP2019046100A (en) | Parking support device | |
CN111746513B (en) | Vehicle control device, vehicle control method, and storage medium | |
CN111932927B (en) | Management device, management method, and storage medium | |
JP7120962B2 (en) | Parking lot management device, parking lot management method, and program | |
JP2022143691A (en) | remote function selector | |
JP2022061226A (en) | Automatic parking system | |
CN115035707A (en) | Automatic parking system and control method thereof | |
CN111754005A (en) | Management device, management method, and storage medium | |
CN115230732A (en) | Remote function selection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170328 |