JP2018103751A - Parking support device - Google Patents

Parking support device Download PDF

Info

Publication number
JP2018103751A
JP2018103751A JP2016251379A JP2016251379A JP2018103751A JP 2018103751 A JP2018103751 A JP 2018103751A JP 2016251379 A JP2016251379 A JP 2016251379A JP 2016251379 A JP2016251379 A JP 2016251379A JP 2018103751 A JP2018103751 A JP 2018103751A
Authority
JP
Japan
Prior art keywords
marker
unit
parking
parking assistance
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016251379A
Other languages
Japanese (ja)
Other versions
JP6738722B2 (en
Inventor
岳人 原田
Takehito Harada
岳人 原田
前田 優
Masaru Maeda
優 前田
博彦 柳川
Hirohiko Yanagawa
博彦 柳川
陽平 鈴木
Yohei Suzuki
陽平 鈴木
俊也 熊野
Toshiya Kumano
俊也 熊野
昌也 岡田
Masaya Okada
昌也 岡田
浩章 竹田
Hiroaki Takeda
浩章 竹田
竜一 田中
Ryuichi Tanaka
竜一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2016251379A priority Critical patent/JP6738722B2/en
Publication of JP2018103751A publication Critical patent/JP2018103751A/en
Application granted granted Critical
Publication of JP6738722B2 publication Critical patent/JP6738722B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a parking support device which has high flexibility on setting of a target parking position.SOLUTION: The parking support device comprises an image acquisition unit, a storage unit, a recognition unit, and a parking position calculation unit. The image acquisition unit acquires a photographed image in which a circumference of a vehicle is photographed. The storage unit stores a shape of a marker, and a positional relationship of a position of the marker and a target parking position. The recognition unit recognizes a marker which has a shape corresponding to the shape stored in the storage unit in the photographed image. The parking position calculation unit calculates the target parking position based on the position of the marker recognized by the recognition unit, and the positional relationship stored in the storage unit.SELECTED DRAWING: Figure 2

Description

本開示は駐車支援装置に関する。   The present disclosure relates to a parking assistance device.

従来、以下のような駐車支援システムが知られている。駐車支援システムは、情報付マーカーと、車載駐車支援装置とを備える。情報付マーカーは、駐車スペースに設置される。情報付マーカーは、駐車スペース情報と、駐車動作可能スペース情報とを保持している。駐車スペース情報は、それを保持する情報付マーカーの位置を基準とする駐車スペースを示す情報である。車載駐車支援装置は、情報付マーカーから、駐車スペース情報と、駐車動作可能スペース情報とを取得する(特許文献1参照)。   Conventionally, the following parking assistance systems are known. The parking assistance system includes a marker with information and an in-vehicle parking assistance device. The marker with information is installed in the parking space. The marker with information holds parking space information and parking operable space information. Parking space information is information which shows the parking space on the basis of the position of the marker with information which holds it. The vehicle-mounted parking assistance device acquires parking space information and parking operable space information from the marker with information (see Patent Document 1).

特開2010−186257号公報JP 2010-186257 A

特許文献1記載の技術において、駐車スペースは、情報付マーカーの設置位置を基準として決められたスペースである。そのため、駐車スペースの位置を設定する際の自由度は必ずしも高くなかった。本開示は、目標駐車位置の設定に関する自由度が高い駐車支援装置を提供する。   In the technique described in Patent Document 1, the parking space is a space determined based on the installation position of the marker with information. For this reason, the degree of freedom in setting the position of the parking space is not necessarily high. The present disclosure provides a parking assistance device having a high degree of freedom regarding setting of a target parking position.

本開示の一態様は、車両の周囲を撮影した撮影画像を取得する画像取得ユニットと、マーカーの形態、及び、前記マーカーの位置と目標駐車位置との位置関係を記憶した記憶ユニットと、前記撮影画像において、前記記憶ユニットに記憶された前記形態に対応する形態を有するマーカーを認識する認識ユニットと、前記認識ユニットにより認識した前記マーカーの位置と、前記記憶ユニットに記憶された前記位置関係とに基づき、前記目標駐車位置を算出する駐車位置算出ユニットと、を備える駐車支援装置である。   One aspect of the present disclosure includes an image acquisition unit that acquires a captured image obtained by imaging the periphery of a vehicle, a storage unit that stores a positional relationship between the marker position and a target parking position, and the imaging In the image, a recognition unit for recognizing a marker having a form corresponding to the form stored in the storage unit, a position of the marker recognized by the recognition unit, and the positional relationship stored in the storage unit And a parking position calculation unit that calculates the target parking position.

本開示の一態様の駐車支援装置は、記憶ユニットに、マーカーの位置と目標駐車位置との位置関係(以下では位置関係Xとする)を記憶している。そして、本開示の一態様の駐車支援装置は、認識ユニットにより認識したマーカーの位置と、位置関係Xとに基づき、目標駐車位置を算出する。そのため、記憶ユニットに記憶された位置関係Xを変更すれば、目標駐車位置を変更することができる。よって、本開示の一態様の駐車支援装置によれば、目標駐車位置の設定に関する自由度が高い。   The parking assist device according to one aspect of the present disclosure stores the positional relationship between the marker position and the target parking position (hereinafter referred to as the positional relationship X) in the storage unit. And the parking assistance apparatus of 1 aspect of this indication calculates a target parking position based on the position of the marker recognized by the recognition unit, and the positional relationship X. FIG. Therefore, the target parking position can be changed by changing the positional relationship X stored in the storage unit. Therefore, according to the parking assistance device of one aspect of the present disclosure, the degree of freedom regarding the setting of the target parking position is high.

駐車支援装置1の構成を表すブロック図である。1 is a block diagram illustrating a configuration of a parking assistance device 1. FIG. 駐車支援装置1の機能的構成を表すブロック図である。2 is a block diagram illustrating a functional configuration of the parking assist device 1. FIG. 駐車支援装置1が実行する目標駐車位置算出処理を表すフローチャートである。It is a flowchart showing the target parking position calculation process which the parking assistance apparatus 1 performs. 駐車支援装置1が実行するマーカー認識処理を表すフローチャートである。It is a flowchart showing the marker recognition process which the parking assistance apparatus 1 performs. 図5Aはマーカー49の構成を表す平面図であり、図5Bは図5AにおけるVB-VB断面での断面図である。5A is a plan view showing the configuration of the marker 49, and FIG. 5B is a cross-sectional view taken along the VB-VB cross section in FIG. 5A. 画像探索範囲59を表す平面図である。5 is a plan view showing an image search range 59. FIG. 図7A〜図7Cは、それぞれ、マーカー49と目標駐車位置61との位置関係Xを表す説明図である。7A to 7C are explanatory diagrams showing the positional relationship X between the marker 49 and the target parking position 61, respectively. 図8A〜図8Cは、それぞれ、マーカー49と目標駐車位置61との位置関係Xを表す説明図である。8A to 8C are explanatory diagrams showing the positional relationship X between the marker 49 and the target parking position 61, respectively. 2つのマーカー49の形態が互いに異なる場合の効果を表す説明図である。It is explanatory drawing showing the effect when the form of the two markers 49 differs from each other. 駐車支援装置1が実行する障害物等記憶処理を表すフローチャートである。It is a flowchart showing storage processing, such as an obstacle, which the parking assistance apparatus 1 performs. 障害物67と、移動軌跡69と、マーカー49と、目標駐車位置61とを表す説明図である。It is explanatory drawing showing the obstruction 67, the movement locus | trajectory 69, the marker 49, and the target parking position 61. FIG. 駐車支援装置1が実行する目標駐車位置算出処理を表すフローチャートである。It is a flowchart showing the target parking position calculation process which the parking assistance apparatus 1 performs. 1つのマーカー49と目標駐車位置61との位置関係Xを表す説明図である。It is explanatory drawing showing the positional relationship X of one marker 49 and the target parking position 61. FIG. マーカー49の構成を表す平面図である。4 is a plan view illustrating a configuration of a marker 49. FIG. 画像探索範囲59を表す平面図である。5 is a plan view showing an image search range 59. FIG. 画像探索範囲59を表す平面図である。5 is a plan view showing an image search range 59. FIG.

本開示の実施形態を図面に基づき説明する。
<第1実施形態>
1.駐車支援装置1の構成
駐車支援装置1の構成を図1、図2に基づき説明する。駐車支援装置1は、車両に搭載される車載装置である。以下では、駐車支援装置1を搭載する車両を自車とする。
An embodiment of the present disclosure will be described with reference to the drawings.
<First Embodiment>
1. Configuration of Parking Support Device 1 The configuration of the parking support device 1 will be described with reference to FIGS. The parking assistance device 1 is an in-vehicle device mounted on a vehicle. Below, the vehicle carrying the parking assistance apparatus 1 is set as the own vehicle.

駐車支援装置1は、CPU3と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ5とする)と、を有する周知のマイクロコンピュータを中心に構成される。駐車支援装置1の各種機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、駐車支援装置1を構成するマイクロコンピュータの数は1つでも複数でもよい。   The parking assistance device 1 is configured around a known microcomputer having a CPU 3 and a semiconductor memory (hereinafter referred to as a memory 5) such as a RAM, a ROM, and a flash memory. Various functions of the parking assistance device 1 are realized by the CPU 3 executing a program stored in a non-transitional physical recording medium. In this example, the memory 5 corresponds to a non-transitional tangible recording medium that stores a program. Also, by executing this program, a method corresponding to the program is executed. Note that the number of microcomputers constituting the parking assistance apparatus 1 may be one or plural.

駐車支援装置1は、CPU3がプログラムを実行することで実現される機能の構成として、図2に示すように、画像取得ユニット7と、認識ユニット9と、駐車位置算出ユニット11と、画像変換ユニット13と、予測位置算出ユニット15と、車両位置取得ユニット17と、入力ユニット19と、投光指示ユニット21と、障害物検出ユニット23と、報知ユニット25と、移動軌跡算出ユニット27と、を備える。   As shown in FIG. 2, the parking assist device 1 has a function configuration realized by the CPU 3 executing a program, as shown in FIG. 2, an image acquisition unit 7, a recognition unit 9, a parking position calculation unit 11, and an image conversion unit. 13, a predicted position calculation unit 15, a vehicle position acquisition unit 17, an input unit 19, a light projection instruction unit 21, an obstacle detection unit 23, a notification unit 25, and a movement locus calculation unit 27. .

駐車支援装置1を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。   The method for realizing these elements constituting the parking assistance apparatus 1 is not limited to software, and some or all of the elements may be realized using one or a plurality of hardware. For example, when the above function is realized by an electronic circuit that is hardware, the electronic circuit may be realized by a digital circuit including a large number of logic circuits, an analog circuit, or a combination thereof.

図1に示すように、駐車支援装置1は、車載ネットワーク29により、他の装置等と接続している。駐車支援装置1は、車載ネットワーク29から、ステアリング情報、車速情報、シフト情報等を取得することができる。   As shown in FIG. 1, the parking assistance device 1 is connected to other devices and the like via an in-vehicle network 29. The parking assistance apparatus 1 can acquire steering information, vehicle speed information, shift information, and the like from the in-vehicle network 29.

自車は、駐車支援装置1に加えて、カメラ31、ソナー33、無線送受信機35、入力装置37、GPS39、及び照明装置41を備える。カメラ31は、自車の周囲を撮影し、撮影画像を生成する。カメラ31の数は、単数であってもよいし、複数であってもよい。   In addition to the parking assist device 1, the own vehicle includes a camera 31, a sonar 33, a wireless transceiver 35, an input device 37, a GPS 39, and a lighting device 41. The camera 31 captures the surroundings of the vehicle and generates a captured image. The number of cameras 31 may be singular or plural.

ソナー33は自車の周囲に存在する障害物を検出する。ソナー33の数は、単数であってもよいし、複数であってもよい。無線送受信機35は、自宅照明装置43との間で無線通信を行う。なお、自宅照明装置43は、車外に設置された照明装置である。自宅照明装置43は、その周囲に投光する。自宅照明装置43は投光装置に対応する。   The sonar 33 detects an obstacle existing around the vehicle. The number of sonars 33 may be singular or plural. The wireless transceiver 35 performs wireless communication with the home lighting device 43. The home lighting device 43 is a lighting device installed outside the vehicle. The home lighting device 43 projects light around it. The home lighting device 43 corresponds to a light projecting device.

入力装置37は、自車のドライバの入力操作を受け付ける。入力装置37は押しボタンを備えており、それを押すことが入力操作に対応する。ドライバはユーザに対応する。GPS39は自車の位置を表すGPS情報を取得する。照明装置41は自車に取り付けられており、自車の周囲に投光する。照明装置41は投光装置に対応する。ディスプレイ45、及びスピーカ47は自車の車室内に設けられている。   The input device 37 receives an input operation of the driver of the own vehicle. The input device 37 includes a push button, and pressing the button corresponds to an input operation. The driver corresponds to the user. The GPS 39 acquires GPS information indicating the position of the own vehicle. The illuminating device 41 is attached to the own vehicle and projects light around the own vehicle. The illumination device 41 corresponds to a light projecting device. The display 45 and the speaker 47 are provided in the passenger compartment of the own vehicle.

2.駐車支援装置1が実行する目標駐車位置算出処理
駐車支援装置1が実行する目標駐車位置算出処理を図3〜図9に基づき説明する。図3のステップ1では、車両位置取得ユニット17が、GPS39を用いてGPS情報を取得する。
2. Target parking position calculation process executed by the parking support apparatus 1 The target parking position calculation process executed by the parking support apparatus 1 will be described with reference to FIGS. In step 1 of FIG. 3, the vehicle position acquisition unit 17 acquires GPS information using the GPS 39.

ステップ2では、前記ステップ1で取得したGPS情報により表される自車の位置Pが、自宅の位置Pから所定の範囲内であるか否かを判断する。自車の位置Pが、自宅の位置Pから所定の範囲内である場合はステップ3に進み、それ以外の場合はステップ1に戻る。自宅の位置Pは基準位置に対応する。自宅の位置Pは予めメモリ5に記憶されている。メモリ5は記憶ユニットに対応する。 In step 2, the vehicle position P 1 represented by the acquired GPS information in the step 1 determines whether the home position P 2 is within a predetermined range. Position P 1 of the vehicle is, if the home position P 2 is within a predetermined range the process proceeds to step 3, otherwise return to step 1. Position P 2 of the home corresponding to the reference position. Position P 2 of the home are stored in advance in the memory 5. The memory 5 corresponds to a storage unit.

ステップ3では、投光指示ユニット21が、無線送受信機35を用いて、自宅照明装置43に対して投光を指示する。自宅照明装置43は、投光指示に応じて投光を行うとともに、アンサーバックを行う。また、投光指示ユニット21は、照明装置41に対しても、投光を指示する。照明装置41は、投光指示に応じて投光を行うとともに、アンサーバックを行う。   In step 3, the light projection instruction unit 21 instructs the home lighting device 43 to project light using the wireless transceiver 35. The home lighting device 43 performs projection according to the projection instruction and also performs answer back. The light projection instruction unit 21 also instructs the illumination device 41 to project light. The illuminating device 41 performs projection according to the projection instruction and also performs answer back.

ステップ4では、自宅照明装置43及び照明装置41からアンサーバックがあったか否かを投光指示ユニット21が判断する。自宅照明装置43及び照明装置41のうちの少なくとも一方からアンサーバックがあった場合はステップ5に進み、それ以外の場合はステップ3に戻る。   In step 4, the light projection instruction unit 21 determines whether or not there is an answer back from the home lighting device 43 and the lighting device 41. If there is an answer back from at least one of the home lighting device 43 and the lighting device 41, the process proceeds to step 5, and otherwise returns to step 3.

ステップ5では、画像取得ユニット7、認識ユニット9、画像変換ユニット13、及び予測位置算出ユニット15が、1つ目のマーカーを認識するためのマーカー認識処理を行う。図5A、図5Bに示すように、マーカー認識処理で認識するマーカー49は、路面51に取り付けられている。   In step 5, the image acquisition unit 7, the recognition unit 9, the image conversion unit 13, and the predicted position calculation unit 15 perform a marker recognition process for recognizing the first marker. As shown in FIGS. 5A and 5B, the marker 49 recognized by the marker recognition process is attached to the road surface 51.

図5Aに示すように、マーカー49は、平面視において、円形を有する。マーカー49は、黒色である内周部53と、白色である外縁部55とを備える。内周部53の形状は円形である。内周部53の直径は、マーカー49全体の直径より小さい。内周部53の中心は、マーカー49全体の中心と略一致する。すなわち、平面視において、内周部53の外周と、外縁部55の外周とは同心円を形成する。   As shown in FIG. 5A, the marker 49 has a circular shape in plan view. The marker 49 includes an inner peripheral portion 53 that is black and an outer edge portion 55 that is white. The shape of the inner peripheral part 53 is circular. The diameter of the inner peripheral portion 53 is smaller than the diameter of the entire marker 49. The center of the inner peripheral portion 53 substantially coincides with the center of the entire marker 49. That is, in plan view, the outer periphery of the inner peripheral portion 53 and the outer periphery of the outer edge portion 55 form a concentric circle.

図5Bに示すように、マーカー49は路面51よりも上方に突出している。マーカー49の上面を突出面52とする。突出面52が属する平面を突出平面57とする。突出平面57は路面51と平行であり、路面51よりも上方にある。   As shown in FIG. 5B, the marker 49 projects upward from the road surface 51. The upper surface of the marker 49 is a protruding surface 52. A plane to which the protruding surface 52 belongs is referred to as a protruding plane 57. The protruding plane 57 is parallel to the road surface 51 and is above the road surface 51.

マーカー49は路面51に2つ設けられている。2つのマーカー49同士の距離Rは一定であり、その距離Rは予めメモリ5に記憶されている。
マーカー認識処理を、図4に基づき説明する。図4のステップ11では、画像取得ユニット7が、カメラ31を用いて撮影画像を取得する。この撮影画像は自車の周囲を撮影した画像である。
Two markers 49 are provided on the road surface 51. The distance R between the two markers 49 is constant, and the distance R is stored in the memory 5 in advance.
The marker recognition process will be described with reference to FIG. In step 11 of FIG. 4, the image acquisition unit 7 acquires a captured image using the camera 31. This captured image is an image of the surroundings of the vehicle.

ステップ12では、画像変換ユニット13が、前記ステップ11で取得した撮影画像を鳥瞰画像に変換する。この鳥瞰画像は、突出平面57における鳥瞰画像である。
ステップ13では、直前の前記ステップ12で変換した鳥瞰画像(以下では現フレームとする)において、認識ユニット9がマーカーを抽出する。マーカーの抽出は以下のように行う。メモリ5には、予め、マーカーの形態が記憶されている。認識ユニット9は、現フレームの全体を探索し、メモリ5に記憶されているマーカーの形態に対応するマーカー49を抽出する。
In step 12, the image conversion unit 13 converts the captured image acquired in step 11 into a bird's-eye view image. This bird's-eye view image is a bird's-eye view image on the protruding plane 57.
In step 13, the recognition unit 9 extracts a marker from the bird's-eye view image converted in the previous step 12 (hereinafter referred to as the current frame). The marker is extracted as follows. The memory 5 stores a marker form in advance. The recognition unit 9 searches the entire current frame, and extracts a marker 49 corresponding to the marker form stored in the memory 5.

ステップ14では、過去の前記ステップ12で変換した鳥瞰画像(以下では過去フレームとする)で抽出したマーカー49の位置をメモリ5から読み出す。
ステップ15では、過去フレームを取得した時点から、現フレームを取得した時点までの自車の移動量及び移動方向を、予測位置算出ユニット15が算出する。予測位置算出ユニット15は、車載ネットワーク29から取得したステアリング情報、車速情報等を用いて、自車の移動量及び移動方向を算出する。
In step 14, the position of the marker 49 extracted from the bird's-eye image converted in the previous step 12 (hereinafter referred to as a past frame) is read from the memory 5.
In step 15, the predicted position calculation unit 15 calculates the amount and direction of movement of the vehicle from the time when the past frame is acquired to the time when the current frame is acquired. The predicted position calculation unit 15 uses the steering information, vehicle speed information, and the like acquired from the in-vehicle network 29 to calculate the amount and direction of movement of the host vehicle.

ステップ16では、予測位置算出ユニット15が、マーカーの予測位置を算出する。マーカーの予測位置とは、過去フレームで抽出したマーカー49の、現フレームでの予測位置である。予測位置算出ユニット15は、前記ステップ14で読み出したマーカー49の位置と、前記ステップ15で算出した自車の移動量及び移動方向とから、マーカーの予測位置を算出する。   In step 16, the predicted position calculation unit 15 calculates the predicted position of the marker. The predicted marker position is the predicted position of the marker 49 extracted in the past frame in the current frame. The predicted position calculation unit 15 calculates the predicted position of the marker from the position of the marker 49 read in step 14 and the movement amount and movement direction of the own vehicle calculated in step 15.

ステップ17では、前記ステップ13において現フレームから抽出したマーカー49が、前記ステップ16で算出したマーカーの予測位置から所定の範囲内にあるか否かを認識ユニット9が判断する。前記所定の範囲とは、マーカーの予測位置からの距離が所定の閾値以内の範囲である。   In step 17, the recognition unit 9 determines whether or not the marker 49 extracted from the current frame in step 13 is within a predetermined range from the predicted position of the marker calculated in step 16. The predetermined range is a range in which the distance from the predicted position of the marker is within a predetermined threshold.

現フレームから抽出したマーカー49が、マーカーの予測位置から所定の範囲内にある場合はステップ18に進み、それ以外の場合はステップ11に戻る。
ステップ18では、認識ユニット9が、前記ステップ13で抽出したマーカー49を、マーカー49として認識する。
If the marker 49 extracted from the current frame is within a predetermined range from the predicted position of the marker, the process proceeds to step 18; otherwise, the process returns to step 11.
In step 18, the recognition unit 9 recognizes the marker 49 extracted in step 13 as the marker 49.

図3に戻り、ステップ6では、前記ステップ5においてマーカー49を認識できたか否かを認識ユニット9が判断する。マーカー49を認識できた場合はステップ7に進み、それ以外の場合はステップ5に戻る。   Returning to FIG. 3, in step 6, the recognition unit 9 determines whether or not the marker 49 has been recognized in step 5. If the marker 49 can be recognized, the process proceeds to step 7; otherwise, the process returns to step 5.

ステップ7では、後述するステップ8において、2つ目のマーカー49を探索する範囲(以下では画像探索範囲59とする)を、認識ユニット9が限定する。図6に示すように、画像探索範囲59は、前記ステップ5の処理で認識したマーカー49を中心とし、半径が距離Rの円周に沿って設けられた、幅Wの帯状の範囲である。画像探索範囲59は、他のマーカー49を優先的に探索する領域に対応する。   In step 7, the recognition unit 9 limits the range in which the second marker 49 is searched (hereinafter referred to as the image search range 59) in step 8 described later. As shown in FIG. 6, the image search range 59 is a band-shaped range having a width W and provided along the circumference of the distance R with the marker 49 recognized in the process of step 5 as the center. The image search range 59 corresponds to an area where other markers 49 are searched preferentially.

ステップ8では、画像取得ユニット7、認識ユニット9、画像変換ユニット13、及び予測位置算出ユニット15が、2つ目のマーカー49を認識するためのマーカー認識処理を行う。本ステップ8の処理は、基本的には前記ステップ5の処理と同様である。ただし、前記ステップ13の処理において、前記ステップ7で設定した画像探索範囲59の中で、2つ目のマーカー49を探索し、抽出する。   In step 8, the image acquisition unit 7, the recognition unit 9, the image conversion unit 13, and the predicted position calculation unit 15 perform marker recognition processing for recognizing the second marker 49. The process of step 8 is basically the same as the process of step 5 described above. However, in the process of step 13, the second marker 49 is searched and extracted in the image search range 59 set in step 7.

ステップ9では、前記ステップ8において、2つ目のマーカー49を認識できたか否かを認識ユニット9が判断する。2つ目のマーカー49を認識できた場合はステップ10に進み、それ以外の場合はステップ5に戻る。   In step 9, the recognition unit 9 determines whether or not the second marker 49 has been recognized in step 8. If the second marker 49 can be recognized, the process proceeds to step 10; otherwise, the process returns to step 5.

ステップ10では、駐車位置算出ユニット11が、前記ステップ5、8の処理で認識した2つのマーカー49の位置を用いて、目標駐車位置を算出する。
2つのマーカー49の位置と、目標駐車位置との位置関係(以下では、位置関係Xとする)は、予めメモリ5に記憶されている。位置関係Xは、適宜設定することができる。位置関係Xとして、例えば、図7A〜図7C、図8A〜図8Cに示すものが挙げられる。なお、61は目標駐車位置である。63は自車である。
In step 10, the parking position calculation unit 11 calculates the target parking position using the positions of the two markers 49 recognized in the processing of steps 5 and 8.
The positional relationship between the positions of the two markers 49 and the target parking position (hereinafter referred to as positional relationship X) is stored in the memory 5 in advance. The positional relationship X can be set as appropriate. Examples of the positional relationship X include those shown in FIGS. 7A to 7C and FIGS. 8A to 8C. In addition, 61 is a target parking position. 63 is the own vehicle.

駐車位置算出ユニット11は、前記ステップ5、8の処理で認識した2つのマーカー49の位置と、位置関係Xとに基づき、目標駐車位置61を算出する。
すなわち、前記ステップ5、8の処理で認識した2つのマーカー49に対し、位置関係Xに含まれる2つのマーカーであって、マーカー同士の位置関係及びそれぞれのマーカーの形態において一致するものを特定する。そして、特定した2つのマーカーの位置と位置関係Xによって対応付けられた目標駐車位置61を算出する。
The parking position calculation unit 11 calculates the target parking position 61 based on the positions of the two markers 49 recognized in the processing of steps 5 and 8 and the positional relationship X.
That is, two markers included in the positional relationship X with respect to the two markers 49 recognized in the processing of Steps 5 and 8 above are identified in the positional relationship between the markers and the form of each marker. . And the target parking position 61 matched with the position of two specified markers and the positional relationship X is calculated.

なお、2つのマーカー49の形態は互いに異なることが好ましい。この場合、図9に示すように、前記ステップ5、8の処理で認識した2つのマーカー49の位置と、位置関係Xとに基づき、目標駐車位置61が一義的に決まり、誤った目標駐車位置65を算出してしまうことを抑制できる。   The two markers 49 are preferably different in form. In this case, as shown in FIG. 9, the target parking position 61 is uniquely determined based on the position of the two markers 49 recognized in the processing of steps 5 and 8 and the positional relationship X, and the erroneous target parking position is determined. It can suppress calculating 65.

本ステップ10において、マーカー49の位置は、以下のように決めることができる。まず、内周部53の中心と、マーカー49全体の中心とをそれぞれ算出する。次に、内周部53の中心と、マーカー49全体の中心との内分点を、マーカー49の位置とする。   In step 10, the position of the marker 49 can be determined as follows. First, the center of the inner peripheral portion 53 and the center of the entire marker 49 are calculated. Next, an internal dividing point between the center of the inner peripheral portion 53 and the center of the entire marker 49 is set as the position of the marker 49.

なお、駐車支援装置1は、目標駐車位置61をディスプレイ45に表示することで、目標駐車位置61への駐車を支援することができる。また、自車が搭載する運転支援装置(図示略)が、目標駐車位置61への駐車を支援することができる。   In addition, the parking assistance apparatus 1 can assist the parking to the target parking position 61 by displaying the target parking position 61 on the display 45. In addition, a driving support device (not shown) mounted on the host vehicle can support parking at the target parking position 61.

3.駐車支援装置1が実行する障害物等記憶処理
駐車支援装置1が実行する障害物等記憶処理を図10、図11に基づき説明する。この処理は、自車が目標駐車位置に駐車するときに実行される。
3. Obstacle storage process executed by the parking support apparatus 1 The obstacle storage process executed by the parking support apparatus 1 will be described with reference to FIGS. This process is executed when the host vehicle parks at the target parking position.

図10のステップ21では、入力装置37に対する入力操作があったか否かを入力ユニット19が判断する。入力操作とは、入力装置37の押しボタンを押す操作である。入力操作があった場合はステップ22に進み、それ以外の場合はステップ21の前に戻る。   In step 21 of FIG. 10, the input unit 19 determines whether or not an input operation has been performed on the input device 37. The input operation is an operation of pressing a push button of the input device 37. If there is an input operation, the process proceeds to step 22; otherwise, the process returns to step 21.

ステップ22では、障害物検出ユニット23がソナー33の探知座標を受信する。探知座標は、ソナー33で検出した障害物の位置を表す座標である。
ステップ23〜27の処理は前記ステップ5〜9と同様である。
In step 22, the obstacle detection unit 23 receives the detection coordinates of the sonar 33. The detection coordinates are coordinates representing the position of the obstacle detected by the sonar 33.
Steps 23 to 27 are the same as steps 5 to 9 described above.

ステップ28では、前記ステップ22で受信した探知座標が、障害物の存在を表すものであるか否かを障害物検出ユニット23が判断する。探知座標が、障害物の存在を表すものである場合はステップ29に進み、それ以外の場合はステップ30に進む。   In step 28, the obstacle detection unit 23 determines whether or not the detection coordinates received in step 22 indicate the presence of an obstacle. If the detected coordinates indicate the presence of an obstacle, the process proceeds to step 29. Otherwise, the process proceeds to step 30.

ステップ29では、前記ステップ22で受信した探知座標と、前記ステップ23、26で認識したマーカーの位置とに基づき、マーカーと障害物との位置関係をメモリ5に記憶する。   In step 29, the positional relationship between the marker and the obstacle is stored in the memory 5 based on the detection coordinates received in step 22 and the marker position recognized in steps 23 and 26.

ステップ30では、本ステップ30の処理を前回実行した時刻Tから現時点までに、自車が移動しているか否かを移動軌跡算出ユニット27が判断する。自車が移動している場合はステップ31に進み、それ以外の場合はステップ33に進む。   In step 30, the movement trajectory calculation unit 27 determines whether or not the own vehicle has moved from time T when the processing of step 30 was executed last time to the present time. If the host vehicle is moving, the process proceeds to step 31; otherwise, the process proceeds to step 33.

ステップ31では、前記時刻Tから現時点までの自車の移動軌跡を、移動軌跡算出ユニット27が算出する。時刻T以前の移動軌跡が既に存在していた場合は、本ステップ31で新たに算出した移動軌跡を加えて移動軌跡を更新する。   In step 31, the movement trajectory calculation unit 27 calculates the movement trajectory of the host vehicle from the time T to the present time. If a movement locus before time T already exists, the movement locus newly calculated in step 31 is added to update the movement locus.

ステップ32では、前記ステップ31で算出した移動軌跡を、移動軌跡算出ユニット27がメモリ5に記憶する。
ステップ33では、目標駐車位置61への駐車が完了したか否かを車両位置取得ユニット17が判断する。目標駐車位置61への駐車が完了した場合は本処理を終了し、それ以外の場合はステップ22に戻る。
In step 32, the movement locus calculation unit 27 stores the movement locus calculated in step 31 in the memory 5.
In step 33, the vehicle position acquisition unit 17 determines whether or not parking at the target parking position 61 is completed. If the parking at the target parking position 61 is completed, the present process is terminated. Otherwise, the process returns to step 22.

以上の処理の結果、図11に示すような、マーカー49と障害物67との位置関係(以下では障害物位置関係とする)がメモリ5に記憶される。また、マーカー49と、駐車が完了するまでの自車63の移動軌跡69との位置関係(以下では移動軌跡位置関係とする)がメモリ5に記憶される。駐車支援装置1は、これらを用いて駐車支援を行うことができる。   As a result of the above processing, the positional relationship between the marker 49 and the obstacle 67 (hereinafter referred to as the obstacle positional relationship) as shown in FIG. Further, the positional relationship between the marker 49 and the movement locus 69 of the host vehicle 63 until the parking is completed (hereinafter referred to as a movement locus position relationship) is stored in the memory 5. The parking assistance apparatus 1 can perform parking assistance using these.

上記の処理を行った後、自車63が目標駐車位置61に駐車を行っているとき、ソナー33を用いて、障害物を新たに検出する処理(以下では新規の検出処理とする)を行う。新規の検出処理の検出結果が、メモリ5に記憶された障害物位置関係と異なる場合がある。この場合、報知ユニット25は、ディスプレイ45及びスピーカ47を用いて報知を行う。   After performing the above processing, when the own vehicle 63 is parked at the target parking position 61, the sonar 33 is used to newly detect an obstacle (hereinafter referred to as a new detection processing). . The detection result of the new detection process may be different from the obstacle position relationship stored in the memory 5. In this case, the notification unit 25 performs notification using the display 45 and the speaker 47.

新規の検出処理の検出結果と、メモリ5に記憶された障害物位置関係とが異なる場合として、第1の場合と第2の場合とがある。第1の場合とは、新規の検出処理で障害物を新たに検出した位置には、メモリ5に記憶された障害物位置関係では障害物が存在しない場合である。第2の場合とは、新規の検出処理では障害物を検出しなかった位置に、メモリ5に記憶された障害物位置関係では障害物が存在する場合である。   As a case where the detection result of the new detection process is different from the obstacle positional relationship stored in the memory 5, there are a first case and a second case. The first case is a case where there is no obstacle at the position where the obstacle is newly detected by the new detection process in the obstacle position relationship stored in the memory 5. The second case is a case where an obstacle exists in the position of the obstacle stored in the memory 5 at a position where no obstacle has been detected in the new detection process.

報知ユニット25は、第1の場合と、第2の場合とでは、報知の態様を異ならせる。第1の場合における報知の態様は、第2の場合における報知の態様よりも強調された態様である。強調された態様として、ディスプレイ45に一層大きな警告、目立ち易い色の警告等を表示することが挙げられる。また、強調された態様として、スピーカ47の音を一層大きくする態様が挙げられる。   The notification unit 25 changes the notification mode in the first case and the second case. The notification mode in the first case is a mode that is more emphasized than the notification mode in the second case. As an emphasized aspect, it is possible to display a larger warning, a noticeable color warning, or the like on the display 45. Moreover, as an emphasized aspect, the aspect which makes the sound of the speaker 47 still louder is mentioned.

4.駐車支援装置1が奏する効果
(1A)駐車支援装置1は、メモリ5に、位置関係Xを記憶している。そして、駐車支援装置1は、認識ユニット9により認識したマーカー49の位置と、位置関係Xとに基づき、目標駐車位置61を算出する。そのため、メモリ5に記憶された位置関係Xを変更すれば、目標駐車位置61を変更することができる。よって、駐車支援装置1によれば、目標駐車位置61の設定に関する自由度が高い。
4). Effects of Parking Support Device 1 (1A) The parking support device 1 stores the positional relationship X in the memory 5. And the parking assistance apparatus 1 calculates the target parking position 61 based on the position of the marker 49 recognized by the recognition unit 9 and the positional relationship X. Therefore, if the positional relationship X stored in the memory 5 is changed, the target parking position 61 can be changed. Therefore, according to the parking assistance apparatus 1, the freedom degree regarding the setting of the target parking position 61 is high.

(1B)駐車支援装置1は、鳥瞰画像において、マーカー49を認識する。そのため、マーカー49を一層正確に認識することができる。
(1C)マーカー49は、路面51よりも上方に突出した突出面52を備える。マーカー49の認識に用いる鳥瞰画像は、突出面52の属する突出平面57における鳥瞰画像である。駐車支援装置1は、過去フレームにおけるマーカー49の位置と、自車の移動量及び移動方向とから、現フレームにおけるマーカー49の予測位置を算出する。認識ユニット9は、鳥瞰画像のうち、予測位置からの距離が所定の閾値以内の範囲でマーカー49を認識する。
(1B) The parking assistance apparatus 1 recognizes the marker 49 in the bird's-eye view image. Therefore, the marker 49 can be recognized more accurately.
(1C) The marker 49 includes a projecting surface 52 that projects upward from the road surface 51. The bird's-eye image used for recognizing the marker 49 is a bird's-eye image on the protruding plane 57 to which the protruding surface 52 belongs. The parking assistance apparatus 1 calculates the predicted position of the marker 49 in the current frame from the position of the marker 49 in the past frame and the amount and direction of movement of the host vehicle. The recognition unit 9 recognizes the marker 49 in a range in which the distance from the predicted position is within a predetermined threshold in the bird's-eye view image.

そのため、ノイズをマーカー49として認識してしまうことを抑制できる。その理由は以下のとおりである。路面51上にあるノイズは、突出平面57における鳥瞰画像において、時間の経過とともに不規則に移動する。そのため、ノイズは、予測位置からの距離が所定の閾値以内の範囲に存在しにくい。その結果、ノイズをマーカー49として認識してしまうことを抑制できる。   Therefore, it can be suppressed that noise is recognized as the marker 49. The reason is as follows. The noise on the road surface 51 moves irregularly with the passage of time in the bird's-eye view image on the protruding plane 57. For this reason, the noise is unlikely to exist in a range where the distance from the predicted position is within a predetermined threshold. As a result, it can be suppressed that noise is recognized as the marker 49.

(1D)駐車支援装置1は、2つのマーカー49の位置と目標駐車位置61との位置関係Xを記憶する。駐車支援装置1は、認識した2つのマーカー49の位置と、位置関係Xとに基づき、目標駐車位置61を算出する。そのため、目標駐車位置61を一層正確に算出できる。   (1D) The parking assistance apparatus 1 stores the positional relationship X between the positions of the two markers 49 and the target parking position 61. The parking assistance device 1 calculates the target parking position 61 based on the recognized positions of the two markers 49 and the positional relationship X. Therefore, the target parking position 61 can be calculated more accurately.

(1E)駐車支援装置1は、前記ステップ5、8の処理で認識した2つのマーカー49に対し、位置関係Xに含まれる2つのマーカーであって、マーカー同士の位置関係及びそれぞれのマーカーの形態において一致するものを特定する。そして、特定した2つのマーカーの位置と位置関係Xによって対応付けられた目標駐車位置61を算出する。そのため、目標駐車位置61を一層正確に算出できる。   (1E) The parking support apparatus 1 is two markers included in the positional relationship X with respect to the two markers 49 recognized in the processing of Steps 5 and 8, and the positional relationship between the markers and the form of each marker Identify matches in. And the target parking position 61 matched with the position of two specified markers and the positional relationship X is calculated. Therefore, the target parking position 61 can be calculated more accurately.

(1F)駐車支援装置1は、2つのマーカー49同士の距離Rをメモリ5に記憶している。駐車支援装置1は、前記ステップ5において1つ目のマーカー49を認識した場合、距離Rに基づき、画像探索範囲59を設定する。駐車支援装置1は、画像探索範囲59において2つ目のマーカー49を探索する。そのため、2つ目のマーカー49を効率的に探索することができる。   (1F) The parking assistance apparatus 1 stores the distance R between the two markers 49 in the memory 5. When the first marker 49 is recognized in step 5, the parking assistance device 1 sets the image search range 59 based on the distance R. The parking assistance device 1 searches for the second marker 49 in the image search range 59. Therefore, the second marker 49 can be searched efficiently.

(1G)駐車支援装置1は、自車の位置Pが自宅の位置Pから所定の範囲内であることを条件として、マーカー49を認識する。そのため、必要性が高い場合に限定してマーカー49を認識することができる。 (1G) the parking assist apparatus 1, on condition that the position P 1 of the vehicle is within a predetermined range from the position P 2 of the home, it recognizes the marker 49. Therefore, the marker 49 can be recognized only when the necessity is high.

(1H)駐車支援装置1は、カメラ31を用いて撮影するとき、自宅照明装置43及び照明装置41に投光を指示することができる。そのことにより、輝度及びコントラストが高い画像を得ることができる。   (1H) The parking assist device 1 can instruct the home lighting device 43 and the lighting device 41 to project light when shooting using the camera 31. As a result, an image with high brightness and contrast can be obtained.

(1I)駐車支援装置1は、自車63の周囲に存在する障害物67を検出することができる。そして、駐車支援装置1は、マーカー49の位置と、障害物67の位置との位置関係を記憶することができる。そのことにより、障害物67の位置に対応した駐車支援を行うことができる。   (1I) The parking assistance apparatus 1 can detect an obstacle 67 existing around the host vehicle 63. And the parking assistance apparatus 1 can memorize | store the positional relationship of the position of the marker 49 and the position of the obstruction 67. FIG. Thereby, parking assistance corresponding to the position of the obstacle 67 can be performed.

(1J)駐車支援装置1は、新規の検出処理の検出結果と、メモリ5に記憶された障害物位置関係とが異なる場合、報知を行う。そのことにより、過去に比べて変化している障害物67に対するドライバの注意を喚起することができる。   (1J) The parking assistance apparatus 1 performs notification when the detection result of the new detection process is different from the obstacle positional relationship stored in the memory 5. As a result, it is possible to alert the driver to the obstacle 67 that has changed compared to the past.

(1K)駐車支援装置1は、第1の場合と、第2場合とで、報知の態様を異ならせる。そのことにより、ドライバは、報知の態様から、障害物に関する状況を理解することができる。   (1K) The parking assistance apparatus 1 varies the notification mode in the first case and the second case. As a result, the driver can understand the situation regarding the obstacle from the notification mode.

(1L)駐車支援装置1が第1の場合に行う報知の態様は、第2の場合に行う報知の態様よりも強調された態様である。第1の場合の方が、第2の場合よりも危険度が高い。駐車支援装置1は、危険度が高い場合に、強調された態様の報知を行うことができる。   (1L) The mode of notification performed by the parking assistance device 1 in the first case is a mode that is more emphasized than the mode of notification performed in the second case. The first case is more dangerous than the second case. The parking assistance apparatus 1 can perform an enhanced mode notification when the degree of danger is high.

(1M)駐車支援装置1は、自車の移動軌跡69を算出する。そして、駐車支援装置1は、マーカー49の位置と、移動軌跡69との位置関係を記憶する。そのことにより、移動軌跡69も利用した駐車支援を行うことができる。
<第2実施形態>
1.第1実施形態との相違点
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
(1M) The parking assistance apparatus 1 calculates the movement locus 69 of the own vehicle. And the parking assistance apparatus 1 memorize | stores the positional relationship of the position of the marker 49 and the movement locus | trajectory 69. FIG. As a result, parking assistance using the movement locus 69 can also be performed.
Second Embodiment
1. Differences from the First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as those in the first embodiment indicate the same configuration, and the preceding description is referred to.

前述した第1実施形態では、目標駐車位置算出処理において、自車の位置Pが自宅の位置Pから所定の範囲内であることを条件として、以降の処理を実行する。これに対し、第2実施形態では、図12に示すように、入力装置37に入力操作があったことを条件として、以降の処理を実行する。図12におけるステップ42〜49の処理は、第1実施形態におけるステップ3〜10の処理と同様である。 In the first embodiment described above, the target parking position calculation process, the condition that the position P 1 of the vehicle is within a predetermined range from the position P 2 of the home to execute the subsequent processing. On the other hand, in the second embodiment, as shown in FIG. 12, the subsequent processing is executed on condition that an input operation has been performed on the input device 37. The process of steps 42 to 49 in FIG. 12 is the same as the process of steps 3 to 10 in the first embodiment.

2.駐車支援装置1が奏する効果
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1A)〜(1F)、(1H)〜(1M)を奏し、さらに、以下の効果を奏する。
2. Effects exhibited by the parking assist device 1 According to the second embodiment described in detail above, the effects (1A) to (1F) and (1H) to (1M) of the first embodiment described above are achieved, and the following effects are further achieved. Play.

(2A)駐車支援装置1は、入力装置37に入力操作があったことを条件として、マーカー49を認識する。そのため、必要性が高い場合に限定してマーカー49を認識することができる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(2A) The parking assist device 1 recognizes the marker 49 on the condition that the input device 37 has been input. Therefore, the marker 49 can be recognized only when the necessity is high.
<Other embodiments>
As mentioned above, although embodiment of this indication was described, this indication is not limited to the above-mentioned embodiment, and can carry out various modifications.

(1)図13に示すように、駐車支援装置1が認識するマーカー49は1つでもよい。この場合、位置関係Xは、1つのマーカー49の位置と、目標駐車位置61との位置関係である。また、駐車支援装置1が認識するマーカー49の数、及び位置関係Xに規定されるマーカー49の数は、3つ以上であってもよい。   (1) As shown in FIG. 13, the parking assist device 1 may recognize one marker 49. In this case, the positional relationship X is a positional relationship between the position of one marker 49 and the target parking position 61. The number of markers 49 recognized by the parking assistance device 1 and the number of markers 49 defined in the positional relationship X may be three or more.

(2)図14に示すように、マーカー49は、特定の方向を識別可能な形態を有していてもよい。内周部53は、一方に突出する凸部71を備える。マーカー49の形態は、凸部71の突出方向を基準とする特定の方向73を識別可能である。   (2) As shown in FIG. 14, the marker 49 may have a form capable of identifying a specific direction. The inner peripheral portion 53 includes a convex portion 71 protruding to one side. The form of the marker 49 can identify a specific direction 73 based on the protruding direction of the convex portion 71.

マーカー49は、特定の方向73を識別可能な形態を有している場合、前記ステップ7で画像探索範囲59を設定するとき、その特定の方向73に基づき、画像探索範囲59を設定することができる。   When the marker 49 has a form in which a specific direction 73 can be identified, when the image search range 59 is set in step 7, the image search range 59 can be set based on the specific direction 73. it can.

例えば、図15に示す画像探索範囲59を設定することができる。この画像探索範囲59は、マーカー49を含み、特定の方向73に平行な帯状の範囲である。なお、メモリ5には、特定の方向73上に2つ目のマーカー49が存在することが予め記憶されている。   For example, an image search range 59 shown in FIG. 15 can be set. The image search range 59 is a band-shaped range including the marker 49 and parallel to the specific direction 73. Note that the memory 5 stores in advance that the second marker 49 exists in a specific direction 73.

また、図16に示す画像探索範囲59を設定することができる。この画像探索範囲59は、マーカー49から見て、特定の方向73に存在し、且つ、マーカー49からの距離が距離Rである点を中心とする範囲である。なお、メモリ5には、特定の方向73上であり、マーカー49からの距離が距離Rの位置に2つ目のマーカー49が存在することが予め記憶されている。   Further, an image search range 59 shown in FIG. 16 can be set. The image search range 59 is a range centering on a point that exists in a specific direction 73 as viewed from the marker 49 and that has a distance R from the marker 49. Note that the memory 5 stores in advance that the second marker 49 exists in the position of the distance R from the marker 49 in the specific direction 73.

(3)マーカー49は、路面の模様であってもよい。路面の模様として、例えば、白線、「止まれ」等の文字の表示、横断歩道が存在することを意味する菱形の表示等が挙げられる。   (3) The marker 49 may be a road surface pattern. Examples of the road surface pattern include white lines, characters such as “stop”, and rhombuses indicating that a pedestrian crossing exists.

(4)目標駐車位置算出処理を実行するきっかけは、「自車の位置Pが、自宅の位置Pから所定の範囲内である」という条件と、「入力装置37に対する入力操作があった」という条件とのうちの一方が充足されることであってもよい。あるいは、目標駐車位置算出処理を実行するきっかけは、上記2つの条件の両方が充足されることであってもよい。 (4) The reason for executing the target parking position calculation process is that there is a condition that “the position P 1 of the vehicle is within a predetermined range from the position P 2 of the home” and “an input operation to the input device 37 has been performed. One of the above conditions may be satisfied. Alternatively, the trigger for executing the target parking position calculation process may be that both of the two conditions are satisfied.

(5)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。   (5) A plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.

(6)上述した駐車支援装置の他、当該駐車支援装置を構成要素とするシステム、当該駐車支援装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、駐車支援装置方法等、種々の形態で本開示を実現することもできる。   (6) In addition to the parking assistance device described above, a system including the parking assistance device as a constituent element, a program for causing a computer to function as the parking assistance device, and a non-transitional actual record such as a semiconductor memory in which the program is recorded The present disclosure can also be realized in various forms such as a medium and a parking assistance device method.

1…駐車支援装置、3…CPU、5…メモリ、7…画像取得ユニット、9…認識ユニット、11…駐車位置算出ユニット、13…画像変換ユニット、15…予測位置算出ユニット、17…車両位置取得ユニット、19…入力ユニット、21…投光指示ユニット、23…障害物検出ユニット、25…報知ユニット、27…移動軌跡算出ユニット、29…車載ネットワーク、31…カメラ、33…ソナー、35…無線送受信機、37…入力装置、39…GPS、41…照明装置、43…自宅照明装置、45…ディスプレイ、47…スピーカ、49…マーカー、51…路面、52…突出面、53…内周部、55…外縁部、57…突出平面、59…画像探索範囲、63…自車、67…障害物、69…移動軌跡、71…凸部、73…特定の方向 DESCRIPTION OF SYMBOLS 1 ... Parking assistance apparatus, 3 ... CPU, 5 ... Memory, 7 ... Image acquisition unit, 9 ... Recognition unit, 11 ... Parking position calculation unit, 13 ... Image conversion unit, 15 ... Predicted position calculation unit, 17 ... Vehicle position acquisition Unit: 19 ... Input unit, 21 ... Light projection instruction unit, 23 ... Obstacle detection unit, 25 ... Notification unit, 27 ... Movement trajectory calculation unit, 29 ... In-vehicle network, 31 ... Camera, 33 ... Sonar, 35 ... Wireless transmission / reception 37, input device, 39 ... GPS, 41 ... lighting device, 43 ... home lighting device, 45 ... display, 47 ... speaker, 49 ... marker, 51 ... road surface, 52 ... projecting surface, 53 ... inner periphery, 55 ... outer edge part, 57 ... projecting plane, 59 ... image search range, 63 ... own vehicle, 67 ... obstacle, 69 ... movement trajectory, 71 ... convex part, 73 ... specific direction

Claims (15)

車両の周囲を撮影した撮影画像を取得する画像取得ユニットと、
マーカーの形態、及び、前記マーカーの位置と目標駐車位置との位置関係を記憶した記憶ユニットと、
前記撮影画像において、前記記憶ユニットに記憶された前記形態に対応する形態を有するマーカーを認識する認識ユニットと、
前記認識ユニットにより認識した前記マーカーの位置と、前記記憶ユニットに記憶された前記位置関係とに基づき、前記目標駐車位置を算出する駐車位置算出ユニットと、
を備える駐車支援装置。
An image acquisition unit for acquiring captured images of the surroundings of the vehicle;
A storage unit storing the form of the marker and the positional relationship between the position of the marker and the target parking position;
A recognition unit for recognizing a marker having a form corresponding to the form stored in the storage unit in the captured image;
A parking position calculation unit that calculates the target parking position based on the position of the marker recognized by the recognition unit and the positional relationship stored in the storage unit;
A parking assistance device comprising:
請求項1に記載の駐車支援装置であって、
前記撮影画像を鳥瞰画像に変換する画像変換ユニットをさらに備え、
前記認識ユニットは、前記鳥瞰画像において、前記記憶ユニットに記憶された前記形態に対応する形態を有するマーカーを認識するように構成された駐車支援装置。
The parking assistance device according to claim 1,
An image conversion unit that converts the captured image into a bird's-eye view image;
The recognition unit is a parking assistance device configured to recognize a marker having a form corresponding to the form stored in the storage unit in the bird's-eye view image.
請求項2に記載の駐車支援装置であって、
前記マーカーは、路面よりも上方に突出した突出面を備え、
前記画像変換ユニットは、前記撮影画像を、前記突出面の属する平面における前記鳥瞰画像に変換するように構成され、
過去の前記鳥瞰画像における前記マーカーの位置と、前記車両の移動量及び移動方向とから、現時点における前記マーカーの予測位置を算出する予測位置算出ユニットをさらに備え、
前記認識ユニットは、前記鳥瞰画像のうち、前記予測位置からの距離が所定の閾値以内の範囲で前記マーカーを認識するように構成された駐車支援装置。
The parking assistance device according to claim 2,
The marker includes a protruding surface protruding upward from the road surface,
The image conversion unit is configured to convert the captured image into the bird's-eye view image on a plane to which the protruding surface belongs,
A prediction position calculation unit that calculates a predicted position of the marker at the present time from the position of the marker in the past bird's-eye view image and the movement amount and movement direction of the vehicle;
The recognition unit is a parking assistance device configured to recognize the marker in a range in which the distance from the predicted position is within a predetermined threshold in the bird's-eye view image.
請求項1〜3のいずれか1項に記載の駐車支援装置であって、
前記記憶ユニットは、2以上の前記マーカーの位置と前記目標駐車位置との前記位置関係を記憶し、
前記駐車位置算出ユニットは、前記認識ユニットにより認識した2以上の前記マーカーの位置と、前記記憶ユニットに記憶された前記位置関係とに基づき、前記目標駐車位置を算出するように構成された駐車支援装置。
It is the parking assistance device according to any one of claims 1 to 3,
The storage unit stores the positional relationship between two or more marker positions and the target parking position,
The parking position calculation unit is configured to calculate the target parking position based on the positions of the two or more markers recognized by the recognition unit and the positional relationship stored in the storage unit. apparatus.
請求項4に記載の駐車支援装置であって、
前記駐車位置算出ユニットは、前記認識ユニットにより認識した2以上の前記マーカーに対し、マーカー同士の位置関係及びそれぞれのマーカーの形態において一致する、前記記憶ユニットに記憶された2以上の前記マーカーを特定し、特定した2以上の前記マーカーの位置と前記位置関係によって対応付けられた前記目標駐車位置を算出するように構成された駐車支援装置。
The parking assistance device according to claim 4,
The parking position calculation unit identifies two or more markers stored in the storage unit that match in the positional relationship between the markers and the form of each marker for the two or more markers recognized by the recognition unit. And the parking assistance apparatus comprised so that the said target parking position matched with the position of two or more specified said markers and the said positional relationship might be calculated.
請求項4又は5に記載の駐車支援装置であって、
前記記憶ユニットに記憶された前記位置関係における2以上の前記マーカーのうち、少なくとも一部のマーカーは、特定の方向を識別可能な形態を有し、
前記認識ユニットは、前記特定の方向を識別可能な形態を有する前記マーカーを認識した場合、前記特定の方向に基づき、2以上の前記マーカーのうちの他の前記マーカーを優先的に探索する領域を設定するように構成された駐車支援装置。
It is a parking assistance device according to claim 4 or 5,
Of the two or more markers in the positional relationship stored in the storage unit, at least some of the markers have a form capable of identifying a specific direction,
When the recognition unit recognizes the marker having a form capable of identifying the specific direction, an area for preferentially searching for the other marker among the two or more markers based on the specific direction. A parking assistance device configured to set.
請求項4〜6のいずれか1項に記載の駐車支援装置であって、
前記記憶ユニットは、前記位置関係における2以上の前記マーカー同士の距離をさらに記憶し、
前記認識ユニットは、前記位置関係における2以上の前記マーカーのうちの一部のマーカーを認識した場合、前記記憶ユニットに記憶された前記距離に基づき、2以上の前記マーカーのうちの他の前記マーカーを優先的に探索する領域を設定するように構成された駐車支援装置。
The parking assistance device according to any one of claims 4 to 6,
The storage unit further stores a distance between the two or more markers in the positional relationship,
When the recognition unit recognizes a part of the two or more markers in the positional relationship, the other unit of the two or more of the markers is based on the distance stored in the storage unit. The parking assistance apparatus comprised so that the area | region which preferentially searches for may be set.
請求項1〜7のいずれか1項に記載の駐車支援装置であって、
前記車両の位置を取得する車両位置取得ユニットをさらに備え、
前記記憶ユニットは、前記車両の基準位置をさらに記憶し、
前記認識ユニットは、前記車両位置取得ユニットで取得した前記車両の位置が、前記基準位置から所定の範囲内であることを条件として、前記マーカーを認識するように構成された駐車支援装置。
The parking assistance device according to any one of claims 1 to 7,
A vehicle position acquisition unit for acquiring the position of the vehicle;
The storage unit further stores a reference position of the vehicle;
The parking assist device configured to recognize the marker on a condition that the position of the vehicle acquired by the vehicle position acquisition unit is within a predetermined range from the reference position.
請求項1〜7のいずれか1項に記載の駐車支援装置であって、
ユーザの入力を受け付ける入力ユニットをさらに備え、
前記認識ユニットは、前記入力ユニットに前記入力があることを条件として、前記マーカーを認識するように構成された駐車支援装置。
The parking assistance device according to any one of claims 1 to 7,
An input unit that accepts user input is further provided.
The parking assist device configured to recognize the marker on condition that the input unit has the input.
請求項1〜9のいずれか1項に記載の駐車支援装置であって、
前記車両の周囲に投光する投光装置に対し、前記撮影画像を取得するとき、投光を指示する投光指示ユニットをさらに備える駐車支援装置。
The parking assist device according to any one of claims 1 to 9,
The parking assistance apparatus further provided with the light projection instruction | indication unit which instruct | indicates light projection when acquiring the said picked-up image with respect to the light projection apparatus which projects around the said vehicle.
請求項1〜10のいずれか1項に記載の駐車支援装置であって、
前記車両の周囲に存在する障害物を検出する障害物検出ユニットをさらに備え、
前記記憶ユニットは、前記マーカーの位置と、前記障害物の位置との位置関係をさらに記憶する駐車支援装置。
It is the parking assistance device according to any one of claims 1 to 10,
An obstacle detection unit for detecting an obstacle present around the vehicle;
The storage unit further stores a positional relationship between the position of the marker and the position of the obstacle.
請求項11に記載の駐車支援装置であって、
前記障害物検出ユニットによる障害物の検出結果と、前記記憶ユニットに記憶された前記障害物の記憶とが異なる場合に報知を行う報知ユニットをさらに備える駐車支援装置。
The parking assistance device according to claim 11,
The parking assistance apparatus further provided with the alerting | reporting unit which alert | reports when the detection result of the obstacle by the said obstacle detection unit differs from the memory | storage of the said obstacle memorize | stored in the said memory | storage unit.
請求項12に記載の駐車支援装置であって、
前記障害物検出ユニットで障害物を検出した位置に、前記記憶ユニットが障害物を記憶していない第1の場合と、前記障害物検出ユニットで障害物を検出しない位置に、前記記憶ユニットが障害物を記憶している第2場合とで、前記報知ユニットによる報知の態様が異なる駐車支援装置。
The parking assist device according to claim 12,
In the first case where the obstacle is not stored in the position where the obstacle is detected by the obstacle detection unit, and in the position where the obstacle detection unit does not detect the obstacle, the storage unit is faulty. The parking assistance apparatus in which the mode of notification by the notification unit is different from that in the second case in which an object is stored.
請求項13に記載の駐車支援装置であって、
前記第1の場合における前記報知の態様は、前記第2の場合における前記報知の態様よりも強調された態様である駐車支援装置。
The parking assist device according to claim 13,
The parking assistance device according to the first aspect, wherein the notification mode is emphasized over the notification mode in the second case.
請求項1〜14のいずれか1項に記載の駐車支援装置であって、
前記車両の移動軌跡を算出する移動軌跡算出ユニットをさらに備え、
前記記憶ユニットは、前記マーカーの位置と、前記移動軌跡との位置関係をさらに記憶する駐車支援装置。
The parking assistance device according to any one of claims 1 to 14,
A movement locus calculating unit for calculating a movement locus of the vehicle;
The storage unit is a parking assistance device that further stores a positional relationship between the position of the marker and the movement locus.
JP2016251379A 2016-12-26 2016-12-26 Parking assistance device Active JP6738722B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016251379A JP6738722B2 (en) 2016-12-26 2016-12-26 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016251379A JP6738722B2 (en) 2016-12-26 2016-12-26 Parking assistance device

Publications (2)

Publication Number Publication Date
JP2018103751A true JP2018103751A (en) 2018-07-05
JP6738722B2 JP6738722B2 (en) 2020-08-12

Family

ID=62786113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251379A Active JP6738722B2 (en) 2016-12-26 2016-12-26 Parking assistance device

Country Status (1)

Country Link
JP (1) JP6738722B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068205A1 (en) * 2021-04-02 2022-10-05 Nio Technology (Anhui) Co., Ltd Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209996A (en) * 2002-12-26 2004-07-29 Mitsubishi Motors Corp Parking support device
JP2005014720A (en) * 2003-06-25 2005-01-20 Honda Motor Co Ltd Vehicle sense assist device
JP2008230560A (en) * 2007-03-23 2008-10-02 Pioneer Electronic Corp Parking assistance device, parking assistance control method, and parking assistance program
JP2009167645A (en) * 2008-01-14 2009-07-30 Toyota Motor Corp Parking supporting system and building
JP2010208358A (en) * 2009-03-06 2010-09-24 Toyota Industries Corp Parking assist apparatus
JP2010215029A (en) * 2009-03-13 2010-09-30 Toyota Industries Corp Parking support apparatus
JP2012076518A (en) * 2010-09-30 2012-04-19 Daihatsu Motor Co Ltd Vehicle controller
JP2013182551A (en) * 2012-03-05 2013-09-12 Nissan Motor Co Ltd Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method
JP2014100924A (en) * 2012-11-16 2014-06-05 Denso Corp Driving support device and driving support method
WO2014156166A1 (en) * 2013-03-29 2014-10-02 パナソニック株式会社 Parking assistance system and parking assistance method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209996A (en) * 2002-12-26 2004-07-29 Mitsubishi Motors Corp Parking support device
JP2005014720A (en) * 2003-06-25 2005-01-20 Honda Motor Co Ltd Vehicle sense assist device
JP2008230560A (en) * 2007-03-23 2008-10-02 Pioneer Electronic Corp Parking assistance device, parking assistance control method, and parking assistance program
JP2009167645A (en) * 2008-01-14 2009-07-30 Toyota Motor Corp Parking supporting system and building
JP2010208358A (en) * 2009-03-06 2010-09-24 Toyota Industries Corp Parking assist apparatus
JP2010215029A (en) * 2009-03-13 2010-09-30 Toyota Industries Corp Parking support apparatus
JP2012076518A (en) * 2010-09-30 2012-04-19 Daihatsu Motor Co Ltd Vehicle controller
JP2013182551A (en) * 2012-03-05 2013-09-12 Nissan Motor Co Ltd Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method
JP2014100924A (en) * 2012-11-16 2014-06-05 Denso Corp Driving support device and driving support method
WO2014156166A1 (en) * 2013-03-29 2014-10-02 パナソニック株式会社 Parking assistance system and parking assistance method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068205A1 (en) * 2021-04-02 2022-10-05 Nio Technology (Anhui) Co., Ltd Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor

Also Published As

Publication number Publication date
JP6738722B2 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
WO2019206270A1 (en) Distance measurement method, intelligent control method and apparatus, electronic device and storage medium
JP4783431B2 (en) Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium
JP4946228B2 (en) In-vehicle pedestrian detection device
US10078961B2 (en) Method and device for operating a traffic-infrastructure unit including a signal source
JP2018097766A (en) Image processing device and environment recognition device
CN107408288B (en) Warning device, warning method, and warning program
JP2017216575A (en) Monitoring device and monitoring system
US9536157B2 (en) Method for identification of a projected symbol on a street in a vehicle, apparatus and vehicle
JP6056540B2 (en) Peripheral vehicle identification system, feature amount transmission device, and peripheral vehicle identification device
JPWO2014084251A1 (en) In-vehicle image processing device
US10937319B2 (en) Information provision system, server, and mobile terminal
JP2002362302A (en) Pedestrian detecting device
JP4848644B2 (en) Obstacle recognition system
JP2019036100A (en) Driving support device
WO2017208601A1 (en) Image processing device and external recognition device
EP3462424B1 (en) Method and device for mobile illumination, and storage medium
JP6738722B2 (en) Parking assistance device
JP2008243013A (en) Imaging system
JP3999088B2 (en) Obstacle detection device
JP2001344699A (en) Vehicle position and posture detector and parking helping device using the same
JP2008052399A (en) Surround monitor system
US9159206B2 (en) Method and apparatus for locating a person during a man-down situation
JP2012054689A (en) Visible light data processing device, visible light communication system, visible light data processing method, and program thereof
WO2018047393A1 (en) Video output system
JP2007153098A (en) Device for detecting position and method for predicting position of peripheral vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250