JP2011175508A

JP2011175508A - Parking support system

Info

Publication number: JP2011175508A
Application number: JP2010039791A
Authority: JP
Inventors: Shinobu Kato; 忍加藤; Makoto Yoshida; 吉田　　誠; Koji Iwase; 耕二岩瀬; Kumiko Maebashi; 久美子前橋
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2011-09-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a parking support image including various obstacles, while minimizing a burden on a vehicle. <P>SOLUTION: A parking facility T includes a sensor or the like 19 for detecting an object in the parking facility T, a camera C for imaging a parking space 1 from above, and an image processing part 12 for generating parking support information including images of a vehicle V and surroundings captured by the camera C. The parking support image is transmitted from the image processing part 12 to the vehicle V by interactive communication. The image support image is generated to include data on a nonstationary object (for example, shopping cart and human being) detected by the sensor or the like 19. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像を利用して駐車支援を行う駐車支援システムに関するものである。 The present invention relates to a parking support system that performs parking support using an image.

駐車支援を行うために、車両（自車両）の周囲状況を撮像した映像を車両に搭載された表示手段に表示させることが行われている。特許文献１には、車両に装備された制御部によって、車両に搭載された車載カメラで撮像された映像に対して駐車施設に装備された施設側カメラで撮像された映像を加味した駐車支援情報を生成して、この駐車支援情報を車両に装備された表示手段に表示させることが開示されている。 In order to perform parking assistance, an image obtained by capturing the surrounding situation of a vehicle (the host vehicle) is displayed on a display unit mounted on the vehicle. Patent Document 1 discloses parking support information in which an image captured by a facility-side camera equipped in a parking facility is added to an image captured by an in-vehicle camera mounted on the vehicle by a control unit mounted on the vehicle. Is generated, and this parking support information is displayed on the display means equipped on the vehicle.

特許文献２には、車両に搭載された制御部によって、駐車施設に装備された施設側カメラでもって駐車場全体を上方から撮像した映像を得て、駐車場平面の作成と空き駐車スペースの検出を行って、車両の現在位置から空き駐車スペースまでの誘導経路を作成して、この誘導経路を車両に搭載された表示手段に表示することが開示されている。特許文献３には、自車両が後退するときに、自車両に搭載したカメラでは死角となる領域の映像を、他車両に搭載したカメラで撮像するようにして、この他車両で撮像された死角領域の映像を自車両に搭載された表示手段に表示することが開示されている。 In Patent Document 2, a control unit mounted on a vehicle obtains an image obtained by capturing the entire parking lot from above with a facility-side camera installed in the parking facility, and creates a parking lot plane and detects an empty parking space. To create a guide route from the current position of the vehicle to an empty parking space and display the guide route on a display means mounted on the vehicle. In Patent Document 3, when the host vehicle moves backward, an image of an area that becomes a blind spot with a camera mounted on the host vehicle is captured by a camera mounted on the other vehicle, and the blind spot captured by the other vehicle is captured. It is disclosed that an image of a region is displayed on a display means mounted on the host vehicle.

特開２００７−１４８４７２号公報JP 2007-148472 A 特開２００５−１８２５０４号公報JP 2005-182504 A 特開２００４−６４６９６号公報JP 2004-64696 A

しかしながら、従来の駐車支援システムにあっては、車両に駐車支援用の映像を撮像するための撮像手段を搭載する他、この撮像手段で撮像された映像を含む駐車支援要の映像を生成するための特別の制御部（つまりプログラム）や駐車支援情報生成のための膨大な各種データを記憶しておく必要がある。このことは、車両側にとってみれば、開発コストや製造コストがアップしたり複雑な制御を実行しなければならない等の原因となる。 However, in the conventional parking assistance system, in addition to mounting an imaging unit for imaging a parking assistance image on the vehicle, in order to generate a parking assistance necessary image including an image captured by the imaging unit. It is necessary to store a large amount of various data for generating a special control unit (that is, a program) and parking assistance information. From the viewpoint of the vehicle, this causes a development cost and a manufacturing cost to increase and complicated control must be executed.

また、駐車施設は、支柱や樹木等の既知の固定物が存在することも多いが、駐車の際に障害物となるこれらの固定物は駐車施設にとっては既知である一方、駐車しようとする車両（の運転者）にとってはその存在を知らないことも多く、駐車に際して誤って固定物に衝突させてしまう事態も生じやすいものとなる。このような駐車施設内の固定物を車両に搭載したカメラやレーダ等によって検出することは、カメラ等を装備するコストが極めて高くなると共に、カメラ等の撮像範囲に入らない（死角にある）固定物までを完全に検出することは難しいものとなる。さらに、駐車施設内には、既知の固定物以外に、駐車の際に障害物となる種々の非定常物、例えば買い物カートや人間等が存在することも多いが、これらを含めて全ての障害物を車両側で検知して駐車支援情報として生成することは非常に難しいものとなる。 In addition, parking facilities often have known fixed objects such as pillars and trees, but these fixed objects that become obstacles during parking are known to parking facilities, while vehicles to be parked In many cases, the driver will not know the existence of the vehicle, and the vehicle may accidentally collide with a fixed object during parking. Detecting such a fixed object in a parking facility with a camera or radar mounted on the vehicle makes it extremely expensive to equip the camera, etc., and does not enter the imaging range of the camera or the like (in a blind spot). It is difficult to detect everything completely. Furthermore, in addition to known fixed objects, there are many non-stationary objects that become obstacles when parking, such as shopping carts and humans. It is very difficult to detect an object on the vehicle side and generate it as parking assistance information.

本発明は以上のような事情を勘案してなされたもので、その目的は、駐車の際に障害物となる非定常物や既知の固定物を含む駐車支援用の画像を車両側の負担を極力少なくして提供できるようにした駐車支援システムを提供することにある。 The present invention has been made in consideration of the above-described circumstances, and the purpose of the present invention is to reduce the burden on the vehicle side for parking assistance images including unsteady objects and known fixed objects that become obstacles during parking. The object is to provide a parking support system that can be provided as much as possible.

前記目的を達成するため、本発明にあっては次のような第１の解決手法を採択してある。すなわち、特許請求の範囲における請求項１に記載のように、
駐車施設が、駐車施設内をセンシングして物体を検出する物体検出手段と、駐車施設内に入場した車両に搭載された車載側通信手段との間で双方向通信を行うための施設側通信手段と、駐車施設内における既知の固定物の位置データを記憶している記憶手段と、施設側制御手段と、を備え、
前記施設側制御手段は、前記車両およびその周辺における駐車施設の俯瞰画像中に、前記物体検出手段手段で検出された非定常物と前記記憶手段に記憶されている既知の固定物とが表示されるように処理した支援画像を生成して、該支援画像を前記双方向通信を介して車両側に送信する制御を行う、
ようにしてある。 In order to achieve the above object, the following first solution is adopted in the present invention. That is, as described in claim 1 in the claims,
Facility side communication means for the parking facility to perform bidirectional communication between the object detection means for sensing the inside of the parking facility and detecting an object, and the vehicle-mounted side communication means mounted on the vehicle entering the parking facility And storage means for storing position data of known fixed objects in the parking facility, and facility-side control means,
The facility-side control means displays unsteady objects detected by the object detection means and known fixed objects stored in the storage means in an overhead view of the parking facility in the vehicle and its surroundings. Generating a support image processed as described above, and performing control to transmit the support image to the vehicle side via the bidirectional communication.
It is like that.

上記解決手法によれば、車両およびその周辺の駐車施設の俯瞰画像となる支援画像が車両に提供されるが、この支援画像中には、既知の固定物の他、物体検出手段で検出された非定常物が含まれているので、駐車の際に、誤って非定常物や固定物に衝突してしまう事態を防止することができる。とりわけ、非定常物は、駐車施設内に設けた物体検出手段で検出するので、非定常物を死角なく（くまなく）検出することが可能であり、また駐車の際に障害となる既知の固定物の種類や位置等は駐車施設側において極めて正確に把握できるので、駐車しようとする車両にとって、障害物を確実に把握した状態で駐車の操作を行うことができ、障害物に誤って衝突してしまう事態を防止する上で極めて好ましいものとなる。以上に加えて、支援画像の生成は駐車施設側で行われるので、車両側で支援画像を生成する場合に比して、車両側の負担が極めて小さくてすむものとなる。 According to the above solution, a support image serving as a bird's-eye view of the vehicle and the surrounding parking facility is provided to the vehicle. In this support image, in addition to a known fixed object, an object detection unit detects the support image. Since an unsteady object is included, it is possible to prevent a situation where the object accidentally collides with an unsteady object or a fixed object during parking. In particular, unsteady objects are detected by the object detection means provided in the parking facility, so it is possible to detect unsteady objects without any blind spots, and a known fixed that becomes an obstacle during parking. Since the type and position of the object can be grasped very accurately on the parking facility side, it is possible for the vehicle to be parked to perform the parking operation in a state where the obstacle is reliably grasped, and the vehicle accidentally collides with the obstacle. This is extremely preferable in preventing the situation. In addition to the above, since the support image is generated on the parking facility side, the burden on the vehicle side is extremely small compared to the case where the support image is generated on the vehicle side.

上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載のとおりである。すなわち、
前記駐車施設が、前記双方向通信を介して、車両に搭載された表示手段を制御する車両側制御部に対して制御プログラムを送信するためのプログラム送信手段を有し、
前記車両側制御部は、受信した前記プログラムの実行に基づいて、前記支援画像を前記施設側制御部でもって設定した態様でもって前記表示手段に表示させる、
ようにしてある（請求項２対応）。この場合、支援画像を、車両側でとり得る表示態様に限定されることなく、駐車施設側で設定した態様、例えば移動物を強調して表示する等の表示態様とすることができ、駐車支援用の画像として好適なものとする上でより好ましいものとなる。また、制御プログラムが駐車施設側から提供されるので、車両側ではこの制御プログラムに対応したプログラムを有している必要がなくなり、車両側の負担がより軽減されることになる。 A preferred mode based on the above solution is as described in claim 2 and the following claims. That is,
The parking facility has a program transmission means for transmitting a control program to a vehicle-side control unit that controls a display means mounted on the vehicle via the bidirectional communication,
The vehicle-side control unit displays the support image on the display unit in a mode set by the facility-side control unit based on the received execution of the program.
(Corresponding to claim 2). In this case, the support image is not limited to the display mode that can be taken on the vehicle side, but can be set to a display mode set on the parking facility side, for example, a display mode that highlights moving objects, and parking support. It is more preferable for making it suitable as an image for use. Further, since the control program is provided from the parking facility side, the vehicle side does not need to have a program corresponding to the control program, and the burden on the vehicle side is further reduced.

前記支援画像が、前記非定常物と前記既知の固定物とが異なる表示態様でもって表示されるように生成される、ようにしてある（請求項３対応）。この場合、特に認識もれを生じやすい非定常物をより明確に車両（の運転者）に認識させる上で好ましいものとなる。 The support image is generated so that the unsteady object and the known fixed object are displayed in different display modes (corresponding to claim 3). In this case, it is preferable to make the vehicle (the driver) recognize the unsteady object that is likely to cause the recognition failure more clearly.

前記支援画像が、前記非定常物を静止物と移動物に分別して互いに異なる表示態様でもって表示されるように生成される、ようにしてある（請求項４対応）。この場合、特に危険な移動物をより明確に車両（の運転者）に認識させる上で好ましいものとなる。 The support image is generated so that the unsteady object is classified into a stationary object and a moving object and displayed in different display modes (corresponding to claim 4). In this case, it is preferable to make the vehicle (the driver) recognize a particularly dangerous moving object more clearly.

前記支援画像が、簡易な画像でしかも前記非定常物と前記既知の固定物とをシンボル化した表示態様でもって生成される、ようにしてある（請求項５対応）。この場合、支援画像のデータ容量を小さくしつつ、非定常物と既知の固定物とを強調して明確に表示する上で好ましいものとなる。 The support image is generated as a simple image and in a display form in which the unsteady object and the known fixed object are symbolized (corresponding to claim 5). In this case, it is preferable to clearly display the unsteady object and the known fixed object with emphasis while reducing the data capacity of the support image.

本発明によれば、駐車施設内の非定常物や既知の固定物を含む駐車支援用の俯瞰画像を、車両側の負担を極力少なくして車両に提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the overhead view image for parking assistance containing the unsteady thing in a parking facility or a known fixed thing can be provided to a vehicle by reducing the burden on the vehicle side as much as possible.

駐車施設の一例を示す図。The figure which shows an example of a parking facility. 駐車施設側と車両側とに装備されるシステムの一例を示す図。The figure which shows an example of the system with which the parking facility side and the vehicle side are equipped. 表示される駐車支援情報の一例を示す図。The figure which shows an example of the parking assistance information displayed. 表示される駐車支援情報の別の例を示す図。The figure which shows another example of the parking assistance information displayed. 本発明の制御例を示すフローチャート。The flowchart which shows the example of control of this invention.

図１において、Ｔは屋外に設置された駐車施設を示し、図中１は多数の駐車スペースであり、隣り合う駐車スペース１同士は区分線２で区画され、各駐車スペース１の後端（奥側）位置には車止め（用のブロックで縁石）３が設置されている。駐車施設Ｔの入口４には、開閉されるゲートバー５が設置され、車両Ｖは、入口４から開いたゲートバー５を通過して、走行路６を通って任意の駐車スペース１に到達できるようにされている。なお、駐車施設Ｔの出口は、図示を略すが入口４とは別の場所に設けられている。 In FIG. 1, T indicates a parking facility installed outdoors. In FIG. 1, reference numeral 1 denotes a large number of parking spaces, and adjacent parking spaces 1 are partitioned by a dividing line 2. A side stop is provided with a car stopper (curbstone with a block for use) 3. A gate bar 5 that is opened and closed is installed at the entrance 4 of the parking facility T so that the vehicle V can pass through the gate bar 5 opened from the entrance 4 and reach the arbitrary parking space 1 through the travel path 6. Has been. The exit of the parking facility T is provided at a location different from the entrance 4 although not shown.

入口４の脇には、管理棟７が設置され、この管理棟７内に、駐車施設側のコントローラＵＴが装備されている。また、駐車施設Ｔには、高い位置において、各駐車スペース１を上方から撮像する撮影手段としてのカメラＣ設けられている。なお、全駐車スペース１を上方から撮影するために１台のカメラＣでは不十分な場合は、複数のカメラＣを設けておけばよい。また、駐車施設Ｔには、センサ、カメラ、レーダ等の物体特に非定常物を検出するためのセンサ類１９が設置され、このセンサ類１９によって、検出された非定常物の大きさ（種類）や非定常物までの距離が検出可能とされている。なお、センサ類１９は、図１では１つのみ示されているが、実際には、駐車施設Ｔ内の非定常物をくまなく検出できるように、駐車施設Ｔの隅々まで検出できるように複数（多数）設置されているものである。 A management wing 7 is installed beside the entrance 4, and a controller UT on the parking facility side is equipped in the management wing 7. In addition, the parking facility T is provided with a camera C as a photographing means for imaging each parking space 1 from above at a high position. If one camera C is not sufficient for photographing the entire parking space 1 from above, a plurality of cameras C may be provided. The parking facility T is provided with sensors 19 for detecting objects such as sensors, cameras, radars, etc., particularly unsteady objects, and the size (type) of unsteady objects detected by the sensors 19. And the distance to unsteady objects can be detected. Although only one sensor 19 is shown in FIG. 1, in practice, it is possible to detect every corner of the parking facility T so that all the unsteady objects in the parking facility T can be detected. A plurality (multiple) are installed.

カメラＣで撮像された映像は、施設側コントローラＵＴに入力されて、施設側コントローラＵＴでもって、車両Ｖおよびその周辺の映像を含む駐車支援用の画像としての映像が生成される。そして、施設側コントローラＵＴでもって生成された駐車施設用の映像は、無線通信手段を介して車両Ｖに送信されて、車両Ｖに装備された表示手段に表示されるようになっている。 The video imaged by the camera C is input to the facility-side controller UT, and the facility-side controller UT generates a video image as a parking assistance image including the video image of the vehicle V and its surroundings. And the image | video for parking facilities produced | generated with the facility side controller UT is transmitted to the vehicle V via a radio | wireless communication means, and is displayed on the display means with which the vehicle V was equipped.

図２は、施設側コントローラＵＴと、車両Ｖに搭載された車両側コントローラＵＶのシステム構成例が示される。この図２において、施設側と車両側とで互いに無線によって双方向通信するために、施設側コントローラＵＴが無線通信部１１を有する一方、車両側コントローラＵＶが無線通信部３１を有する。 FIG. 2 shows a system configuration example of the facility-side controller UT and the vehicle-side controller UV mounted on the vehicle V. In FIG. 2, the facility-side controller UT includes the wireless communication unit 11, while the vehicle-side controller UV includes the wireless communication unit 31 in order to perform two-way communication between the facility side and the vehicle side wirelessly.

施設側コントローラＵＴは、映像処理部１２、障害物検出手部１３，車両挙動推定部１４、支援プログラム配布部１５，ネットワーク状態監視部１６、トリガ発生部１７を有する。また、施設側コントローラＵＴは、駐車施設を上方から見た詳細な地図データをデータベースとして記憶しているハードディスク等の記憶手段１８を有する。記憶手段１８に記憶されている地図データには、駐車施設Ｔ内に存在する各種の既知の固定物、例えば支柱、樹木、縁石、仕切壁、消火栓、建屋等々の大きさおよび位置が合わせて記憶されている。さらに、施設側コントローラＵＴには、前述した高所に設置されたカメラＣで撮像された映像の他、センサ類１９で検出された非定常物に関する情報が入力される。 The facility-side controller UT includes a video processing unit 12, an obstacle detection hand unit 13, a vehicle behavior estimation unit 14, a support program distribution unit 15, a network state monitoring unit 16, and a trigger generation unit 17. The facility-side controller UT includes a storage unit 18 such as a hard disk that stores detailed map data of the parking facility as viewed from above as a database. The map data stored in the storage means 18 stores the sizes and positions of various known fixed objects existing in the parking facility T, such as columns, trees, curbs, partition walls, fire hydrants, buildings, and the like. Has been. Furthermore, in addition to the video imaged by the camera C installed at the above-mentioned high place, the facility-side controller UT receives information related to the unsteady object detected by the sensors 19.

障害物検出部１３は、地図データを記憶した記憶手段１８とセンサ類１９とからの出力を受けて、検出された障害物としての非定常物と既知の固定物とに関する大きさ（種類）や位置を地図データ中に組み込んで、映像処理部１２に出力する。 The obstacle detection unit 13 receives the output from the storage means 18 storing the map data and the sensors 19, and the size (type) of the unsteady object as the detected obstacle and the known fixed object The position is incorporated into the map data and output to the video processing unit 12.

車両挙動推定部１４は、後述するように車両側から送信されてくる車体の寸法に関する車体情報や舵角、車速、現在選択されている変速段（特に後退段）等の運転情報に基づいて、その後、車両Ｖが現在位置からどのような移動軌跡をたどるかの予測（推定）を行って、その予測結果を映像処理部１２に出力する。映像処理部１２で生成された映像は、圧縮処理された後、無線通信部１１を介して車両Ｖ側に送信される。 As will be described later, the vehicle behavior estimation unit 14 is based on vehicle information related to the dimensions of the vehicle body transmitted from the vehicle side, steering information, steering speed, vehicle speed, driving information such as the currently selected shift speed (especially reverse speed), and the like. Thereafter, a prediction (estimation) of the movement locus of the vehicle V from the current position is performed, and the prediction result is output to the video processing unit 12. The video generated by the video processing unit 12 is compressed and transmitted to the vehicle V via the wireless communication unit 11.

映像処理部１２は、基本的に、カメラＣで撮像された映像つまり駐車施設を受ける車両Ｖおよびその周辺の映像を取り込む。また、映像処理部１２は、カメラＣで撮像された映像中に、障害物検出部１３で検出された障害物（非定常物および既知の固定物）を組み込む処理（合成）と、車両挙動推定部で予測されたその後の車両の移動軌跡を映像で示すための処理を行う。 The video processing unit 12 basically captures the video captured by the camera C, that is, the video of the vehicle V that receives the parking facility and its surroundings. In addition, the video processing unit 12 includes processing (synthesis) for incorporating obstacles (unsteady objects and known fixed objects) detected by the obstacle detection unit 13 in the video captured by the camera C, and vehicle behavior estimation. The processing for showing the moving trajectory of the subsequent vehicle predicted by the unit in the video is performed.

トリガ発生部１７は、駐車支援開始の信号を発生するためのもので、実施形態では、入口４近くに設置したスイッチ９（図１参照）を車両Ｖの運転者が操作したときに駐車施設を受ける意思があるということで、駐車施設開始信号を出力するようになっている。支援プログラム配布部１５は、車両Ｖでの制御に必要なプログラムを記憶していて（記憶手段）、トリガ発生部１７から駐車支援開始の信号を受けたときに、記憶しているプログラムを車両Ｖに向けて送信する。なお、ネットワーク状態監視部１６は、施設側コントローラＵＴが正常に作動しているか否かを監視するためのものであり、このネットワーク状態監視部１６には、例えばＧＰＳシステム等からの極めて正確な時刻情報が入力されるようになっている。 The trigger generation unit 17 is for generating a parking support start signal. In the embodiment, when the driver of the vehicle V operates the switch 9 (see FIG. 1) installed near the entrance 4, the parking facility is set. A parking facility start signal is output because there is an intention to receive it. The support program distribution unit 15 stores a program necessary for control by the vehicle V (storage means), and when receiving a parking support start signal from the trigger generation unit 17, the stored program is stored in the vehicle V. Send to. The network state monitoring unit 16 is for monitoring whether or not the facility-side controller UT is operating normally. The network state monitoring unit 16 includes, for example, an extremely accurate time from a GPS system or the like. Information is entered.

一方、車両側コントローラＵＶは、無線通信部３１の他、映像処理部３２，車両情報送信部３３，車両状態管理部３４、表示装置３５を有する。映像処理部３２は、無線通信部３１で受信した駐車支援用の圧縮された映像（映像信号）を解凍して、車両Ｖに搭載された表示装置３５に出力する。表示装置３５は、表示画面（ディスプレイ）３５ａと表示画面３５ａへの表示制御等を行う制御部３５ｂとを有する。勿論、表示画面３５ａは、運転者に目視し易い位置に設置されているものである（例えばナビゲーション用の表示画面を利用することができる）。なお、表示画面３５ａは１つに限らず複数であってもよく、例えば運転者が後方を向いたときに運転者によって目視可能なバックモニタを表示画面３５ａとして利用することもできる。 On the other hand, the vehicle-side controller UV includes a video processing unit 32, a vehicle information transmission unit 33, a vehicle state management unit 34, and a display device 35 in addition to the wireless communication unit 31. The video processing unit 32 decompresses the compressed video (video signal) for parking assistance received by the wireless communication unit 31 and outputs the decompressed video to the display device 35 mounted on the vehicle V. The display device 35 includes a display screen 35a and a control unit 35b that performs display control on the display screen 35a. Of course, the display screen 35a is installed at a position that is easily visible to the driver (for example, a display screen for navigation can be used). Note that the display screen 35a is not limited to one, and may be a plurality of display screens. For example, a back monitor that can be viewed by the driver when the driver turns to the rear can be used as the display screen 35a.

車両状態管理部３４は、例えばＧＰＳ等からの正確な位置と時刻の情報が入力され、また各種車両情報が入力される。車両情報としては、実施形態では、車体の寸法（例えば全長、全幅、全高、ホイールベース等）に関する車体情報と、車速、舵角、変速段（特に後退段）等の運転情報との両方を含むものとされている。この車体情報と運転情報とは、車両Ｖが駐車する際に、現在位置から所定時間後（例えば１〜３秒後）までの移動軌跡を推定するために必要なデータとされる。そして、車両状態管理部３４で入手された各種情報は、車両情報送信部３３から無線通信部３１を介して、施設側コントローラＵＴ（の車両挙動推定部１４）に送信される。 The vehicle state management unit 34 receives, for example, accurate position and time information from a GPS or the like, and various vehicle information. In the embodiment, the vehicle information includes both vehicle body information related to the dimensions of the vehicle body (for example, full length, full width, full height, wheelbase, etc.) and driving information such as vehicle speed, steering angle, and shift speed (especially reverse speed). It is supposed to be. The vehicle body information and the driving information are data necessary for estimating a movement locus from the current position to a predetermined time (for example, 1 to 3 seconds later) when the vehicle V is parked. Various information obtained by the vehicle state management unit 34 is transmitted from the vehicle information transmission unit 33 to the facility-side controller UT (the vehicle behavior estimation unit 14) via the wireless communication unit 31.

ここで、施設側コントローラＵＴにおける支援プログラム配布部１５から車両側コントローラＵＶに対して配布されるプログラムは、車両側コントローラＵＶの映像処理部３２での映像処理と車両情報送信部３３での車両情報送信を行うために必要なプログラムとされる。具体的には、映像処理部３２においては、施設側コントローラＵＴの映像処理部１２から出力される映像が圧縮されていることから、この圧縮映像を解凍（復元）して、通常の表示画面で表示可能な映像信号とするために必要なプログラムとされる。また、車両情報送信部３３においては、車両挙動推定部１４での移動軌跡の予測に必要な情報を選択して、施設側コントローラＵＴ側に送信するために必要なプログラムとされる。 Here, the programs distributed from the support program distribution unit 15 to the vehicle-side controller UV in the facility-side controller UT are the video processing in the video processing unit 32 and the vehicle information in the vehicle information transmission unit 33 of the vehicle-side controller UV. It is a program necessary for transmission. Specifically, in the video processing unit 32, since the video output from the video processing unit 12 of the facility-side controller UT is compressed, the compressed video is decompressed (restored) and displayed on a normal display screen. The program is necessary to obtain a displayable video signal. Further, the vehicle information transmission unit 33 is a program necessary for selecting information necessary for the prediction of the movement locus in the vehicle behavior estimation unit 14 and transmitting the information to the facility controller UT side.

図３は、車両Ｖに搭載された表示画面３５ａに表示される駐車支援用の画像としての映像例を示すものである。すなわち、表示画面３５ａに表示される映像は、施設側コントローラＵＴの映像処理部１２から出力される映像信号に対応していて、車両側コントローラＵＶの映像処理部３２から表示画面３５ａ（の制御部３５ｂ）へ出力される映像信号に対応しているものとなる。 FIG. 3 shows a video example as an image for parking assistance displayed on the display screen 35 a mounted on the vehicle V. That is, the video displayed on the display screen 35a corresponds to the video signal output from the video processing unit 12 of the facility-side controller UT, and the control unit of the display screen 35a (from the video processing unit 32 of the vehicle-side controller UV). It corresponds to the video signal output to 35b).

図３の例では、複数の駐車スペース１を区別するために、個別に１ａ、１ｂ、１ｃ・・・の符合を付してある。車両Ｖは、駐車スペース１ｃに駐車しようとしているが、左隣りの駐車スペース１ｂには他車両ＶＸ１が既に駐車しており（静止物）、右前方の駐車スペース１ｆには他車両ＶＸ２が駐車しようとしている最中となっている（移動物）。この他車両ＶＸ１およびＶＸ２は、車両Ｖにとっては障害物となっている。また、車両Ｖの周辺には、既知の固定物として例えば支柱Ｋ１、Ｋ２および仕切壁Ｋ３が位置し、非定常物のうち静止物として例えば買い物カートＺ１が位置し、非定常物のうち移動物として人間Ｍ１、Ｍ２が位置している。 In the example of FIG. 3, in order to distinguish the several parking space 1, the code | symbol of 1a, 1b, 1c ... is attached | subjected separately. The vehicle V is about to park in the parking space 1c, but the other vehicle VX1 is already parked in the parking space 1b on the left (stationary object), and the other vehicle VX2 is parked in the parking space 1f on the right front. (Moving objects). The other vehicles VX1 and VX2 are obstacles for the vehicle V. Further, in the vicinity of the vehicle V, for example, columns K1, K2 and a partition wall K3 are positioned as known fixed objects, for example, a shopping cart Z1 is positioned as a stationary object among unsteady objects, and a moving object among unsteady objects. As shown, humans M1 and M2 are located.

図３に示す車両Ｖとその周辺の映像は、車両Ｖの現在位置が、駐車スペース１ｃや他車両ＶＸ１、ＶＸ２との関係で、上方から（俯瞰的に）見た映像として示されるので、車両Ｖを運転する運転者は、表示画面３５ａを目視しつつハンドル操作を行う等によって、各種の障害物（他車両ＶＸ１、ＶＸ２、既知の固定物Ｋ１〜Ｋ３、非定常物Ｚ１、Ｍ１、Ｍ２）を確実に把握して、これらの障害物を避けつつ駐車することができる（駐車支援を受ける）。 The video of the vehicle V and its surroundings shown in FIG. 3 is shown as a video when the current position of the vehicle V is viewed from above (overhead view) in relation to the parking space 1c and other vehicles VX1, VX2. The driver who drives V performs various kinds of obstacles (other vehicles VX1, VX2, known fixed objects K1 to K3, unsteady objects Z1, M1, M2) by operating the steering wheel while viewing the display screen 35a. Can be parked while avoiding these obstacles (parking assistance).

車両Ｖの予測されたその後（所定時間後）の移動軌跡が、破線で示される。この破線で示す移動軌跡のうち、α１、α２は、車両Ｖの左右外側面位置を示すものであり、β１，β２は、車両Ｖの後端位置を示すものである。この移動軌跡をみると、そのままでは、図３左側の他車両ＶＸ２に衝突してしまう可能性はないものの、駐車スペース１ｃの左側に寄り過ぎた位置に駐車してしまう可能性が高いことが理解され、車両Ｖの運転者は、より大きくハンドルを切る（右側に切る）操作をするよう促されることになる。 A predicted movement locus of the vehicle V (after a predetermined time) is indicated by a broken line. Of the movement trajectory indicated by the broken lines, α1 and α2 indicate the left and right outer surface positions of the vehicle V, and β1 and β2 indicate the rear end position of the vehicle V. Looking at this movement trajectory, it is understood that although there is no possibility of colliding with the other vehicle VX2 on the left side of FIG. 3, it is highly likely that the vehicle is parked at a position that is too close to the left side of the parking space 1c. Thus, the driver of the vehicle V is prompted to perform an operation of turning the steering wheel more greatly (turning to the right side).

図４は、図３に対応した駐車支援用の別の画像例を示すものである。図４では、図３の映像を簡易化する共に、障害物をシンボル化して簡易に示すものとなっている。具体的には、区分線２を表示する他に、車両Ｖ、他車両ＶＸ１、ＶＸ２が、上方から見た外形線（外形線が大きさを示すことになる）中にハッチングを付して示すようにされて、駐車支援を受ける車両Ｖについては特に明確に示すべく、例えば二重の外形線で示すと共にその４隅を点滅表示させるようになっている。また、既知の固定物Ｋ１〜Ｋ３については、その外形線中にハッチングを付して示してある。さらに、非定常物のうち、静止物Ｚ１はその外形線にハッチングを付して示し、移動物となる他車両ＶＸ２と人間Ｍ１、Ｍ２についてはその移動方向を矢印で示すようにしてある。特に、人間Ｍ１、Ｍ２については、例えば二重丸でかつ実際の寸法よりも大きく表示して、他の物体と明確に区別できるような表示態様としてある。なお、図４では、予測される移動軌跡の表示は行わないようにしてあるが、移動軌跡の表示を行うようにすることもできる。 FIG. 4 shows another image example for parking assistance corresponding to FIG. In FIG. 4, the video of FIG. 3 is simplified, and obstacles are symbolized and shown in a simplified manner. Specifically, in addition to displaying the division line 2, the vehicle V and the other vehicles VX 1 and VX 2 are shown with hatching in an outline (the outline shows the size) viewed from above. For example, the vehicle V that receives parking assistance is indicated by, for example, a double outline and blinks at four corners thereof, in order to clearly show the vehicle. Further, the known fixed objects K1 to K3 are indicated by hatching in their outlines. Further, among the unsteady objects, the stationary object Z1 is indicated by hatching the outline thereof, and the moving direction of the other vehicle VX2 and the humans M1 and M2 that are moving objects is indicated by arrows. In particular, the humans M1 and M2 are displayed in such a manner that, for example, they are displayed as double circles and larger than their actual dimensions so that they can be clearly distinguished from other objects. In FIG. 4, the predicted movement locus is not displayed, but the movement locus may be displayed.

図４のような表示態様は、漫画あるいはイラスト的な表示態様となって、駐車に際して不用な表示が全てあるいは殆ど削除された極めて簡素な表示態様とされるが、その分通信容量をより小さくでき、かつ車両Ｖの周辺にある駐車支援を受ける車両ＢＶの運転者に対して障害物としての物体を明確に認識させる上で極めて好ましいものとなる。なお、図４のような表示態様は、滑らかな動画的な表示とすることもできるが、例えば毎秒数回程度表示内容を更新するコマ送り表示とすることもでき、こま送りの場合は、滑らかに映像が変化する動画の場合に比して、通信容量をはるかに小さくすることができる。 The display mode as shown in FIG. 4 becomes a cartoon or illustration-like display mode, which is an extremely simple display mode in which all or almost unnecessary display is deleted in parking, but the communication capacity can be reduced accordingly. In addition, it is extremely preferable for the driver of the vehicle BV receiving parking assistance around the vehicle V to clearly recognize the object as an obstacle. Note that the display mode as shown in FIG. 4 can be a smooth moving image display, but can also be a frame advance display that updates the display content several times per second, for example. The communication capacity can be made much smaller than in the case of a moving image whose video changes rapidly.

図５は、前述した図３あるいは図４に示すような映像表示を車両Ｖの表示画面３５ａに行わせるための制御例を示すものである。以下、図５について説明するが、以下の説明でＳはステップを示す。また、図中、左側のステップＳ１〜Ｓ１０は施設側コントローラＵＴの制御内容を示し、右側のステップＳ２１〜Ｓ２５は車両側コントローラＵＶの制御内容を示す。図４に示すような表示態様は、車両Ｖ側の表示用プログラムで対応できない場合でも、施設側コントローラＵＴ側から送信されるプログラムを利用して、車両Ｖの表示画面３５ａに表示させることが可能である。 FIG. 5 shows a control example for causing the display screen 35a of the vehicle V to display the video as shown in FIG. 3 or FIG. Hereinafter, FIG. 5 will be described. In the following description, S represents a step. In the drawing, steps S1 to S10 on the left side show the control contents of the facility side controller UT, and steps S21 to S25 on the right side show the control contents of the vehicle side controller UV. The display mode as shown in FIG. 4 can be displayed on the display screen 35a of the vehicle V using the program transmitted from the facility-side controller UT side even when the display program on the vehicle V side cannot cope. It is.

まず、Ｓ１において、管理棟７に装備された車両センサ８によって、車両Ｖが入口４に到達したか否かが判別される（車両センサ８については図１参照）。このＳ１の判別でＹＥＳのときは、Ｓ２において、駐車支援を受けるか否かの問い合わせ、および駐車支援を希望する場合にはスイッチ９を操作する旨の案内が、車両Ｖ（の運転者）に対してなされる（例えば音声案内）。この後、Ｓ３において、入口４にある車両Ｖの運転者が操作可能な位置に設けられた駐車支援確認スイッチ９が操作されたか否かが判別される。すなわち、駐車支援を受ける意思があるか否かの問い合わせを受けた車両ＢＶの運転者がスイッチ９を操作することによって、Ｓ３の判別がＹＥＳとなって、駐車支援の制御が開始される。上記Ｓ１〜Ｓ３の処理が、図２におけるトリガ発生部１７での制御内容に相当する。 First, in S1, it is determined whether or not the vehicle V has reached the entrance 4 by the vehicle sensor 8 installed in the management building 7 (see FIG. 1 for the vehicle sensor 8). If the determination in S1 is YES, in S2, an inquiry as to whether or not to receive parking assistance, and guidance for operating the switch 9 if parking assistance is desired are given to the vehicle V (the driver). (For example, voice guidance). Thereafter, in S3, it is determined whether or not the parking assistance confirmation switch 9 provided at a position where the driver of the vehicle V at the entrance 4 can operate. That is, when the driver of the vehicle BV that has received an inquiry as to whether or not there is an intention to receive parking assistance operates the switch 9, the determination in S3 becomes YES, and parking assistance control is started. The processes in S1 to S3 correspond to the control contents in the trigger generation unit 17 in FIG.

Ｓ３の判別でＹＥＳのときは、Ｓ４において、無線通信部１１を用いた双方向通信が開始される（車両側ではＳ２１が対応）。この後、Ｓ５において、駐車支援のためのプログラムが、双方向通信によって、施設側コントローラＵＴから車両側コントローラＵＶに送信される。Ｓ５での処理に対応して、車両側ではＳ２２で駐車支援用プログラムが受信されて、起動される。この後、車両側コントローラＵＶでは、Ｓ２３において、車両情報（車体寸法に関する車体情報と、車速、舵角、選択されている変速段等に関する運転情報）が、施設側コントローラＵＴに向けて送信され、これに対応して、施設側コントローラＵＴでは、Ｓ６において、車両情報を受信する。 If the determination in S3 is YES, bidirectional communication using the wireless communication unit 11 is started in S4 (S21 corresponds to the vehicle side). Thereafter, in S5, a program for parking assistance is transmitted from the facility-side controller UT to the vehicle-side controller UV by bidirectional communication. Corresponding to the processing at S5, the vehicle side receives the parking support program at S22 and starts it. Thereafter, in the vehicle-side controller UV, in S23, vehicle information (vehicle information relating to the vehicle body dimensions and driving information relating to the vehicle speed, the steering angle, the selected gear position, etc.) is transmitted to the facility-side controller UT, In response to this, the facility-side controller UT receives vehicle information in S6.

Ｓ６の後、Ｓ７において、カメラＣで撮像された映像を含む駐車支援情報が生成される（例えば図３、図４に示すような駐車支援の映像の生成）。生成された駐車支援の映像は、Ｓ８において、車両側コントローラＵＶに送信される。車両側コントローラＵＶでは、Ｓ２４において、駐車支援用の映像を受信して、表示画面３５ａに表示させる。 After S6, in S7, parking support information including a video captured by the camera C is generated (for example, generation of parking support video as shown in FIGS. 3 and 4). The generated parking assistance video is transmitted to the vehicle-side controller UV in S8. In S24, the vehicle-side controller UV receives parking assistance video and displays it on the display screen 35a.

Ｓ８の後、Ｓ９において、車両Ｖの駐車が完了したか否かが判別される。この判別は、例えば、カメラＣで撮像された車両Ｖの映像が、ある駐車スペース１内に存在し、かつ所定時間以上不動状態であることが確認されたときに、駐車完了であると判断することができる。このＳ９の判別でＮＯのときは、Ｓ６に戻って、前述した処理が繰り返される。また、Ｓ９の判別でＹＥＳのときは、Ｓ１０において、駐車支援を打ち切る（終了する）旨の信号が、車両側コントローラＵＶに向けて送信されて、施設側コントローラＵＴでの制御が終了される。車両側コントローラＵＶでは、駐車支援が打ち切る旨の信号を受信すると、車両側コントローラＵＶ側での駐車支援に関する制御が終了される（駐車支援終了を音声案内してもよい）。 After S8, in S9, it is determined whether or not the vehicle V has been parked. For example, when it is confirmed that the video of the vehicle V captured by the camera C exists in a certain parking space 1 and is in an immobile state for a predetermined time or more, it is determined that parking is completed. be able to. If the determination in S9 is NO, the process returns to S6 and the above-described processing is repeated. When the determination in S9 is YES, in S10, a signal to stop (end) the parking assistance is transmitted to the vehicle-side controller UV, and the control in the facility-side controller UT is ended. When the vehicle-side controller UV receives a signal indicating that the parking assistance is terminated, the control related to the parking assistance on the vehicle-side controller UV side is terminated (the parking assistance end may be voice-guided).

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能であり、例えば次のような場合をも含むものである。図５のＳ１〜Ｓ３の処理は、施設側コントローラＵＴとは別の施設側コントローラで行って、駐車支援開始スイッチ９がＯＮ操作されたときに、別の施設側コントローラから施設側コントローラＵＴに対して駐車支援開始のトリガ情報を送信して、このトリガ情報を受信したことを条件として、施設側コントローラＵＴでＳ４の制御から開始するようにすることもできる。図５のＳ１Ｓ３の処理を行うに際して、車両Ｖが入口４に到達した時点で駐車支援プログラムを車両Ｖに送信して、このプログラムの実行に基づいて、駐車支援を受けるか否かの問い合わせと、その応答（車両Ｖの運転者からの応答）を車両Ｖ側から施設側コントローラＵＴに対して送信させるようにすることもできる。さらに、入口４に到達した車両Ｖに対して、無条件に駐車支援を行うようにしてもよい。 Although the embodiment has been described above, the present invention is not limited to the embodiment, and can be appropriately changed within the scope described in the scope of claims. For example, the invention includes the following cases. . The processing of S1 to S3 in FIG. 5 is performed by a facility-side controller different from the facility-side controller UT, and when the parking support start switch 9 is turned on, the other facility-side controller performs the operation on the facility-side controller UT. On the condition that the trigger information for starting parking assistance is transmitted and the trigger information is received, the facility-side controller UT can start the control from S4. When performing the processing of S1S3 in FIG. 5, when the vehicle V reaches the entrance 4, a parking support program is transmitted to the vehicle V, and based on the execution of this program, an inquiry as to whether to receive parking support, The response (response from the driver of the vehicle V) can be transmitted from the vehicle V side to the facility-side controller UT. Furthermore, parking assistance may be performed unconditionally for the vehicle V that has reached the entrance 4.

カメラＣが斜めから駐車施設Ｔを撮像する場合に、真上から見た映像に変換する処理を行うのが好ましいものである（複数台のカメラＣを用いて撮像する場合も同じ）。駐車する可能性が低いと考えられる場合（例えば所定車速以上で直進しているときや、車両Ｖが駐車スペースの近くに位置しない場合等）は、例えば、駐車施設の地図データ上に車両Ｖの現在位置や既に駐車済みの駐車スペースを表示させて、駐車支援用の映像とすることもできる（駐車スペースの案内表示）。カメラＣは必ずしも必要としないものである（センサ類１９で代用する）。 When the camera C images the parking facility T from an oblique direction, it is preferable to perform a process of converting the image into a video viewed from directly above (the same applies when imaging using a plurality of cameras C). When it is considered that the possibility of parking is low (for example, when traveling straight ahead at a predetermined vehicle speed or higher or when the vehicle V is not located near the parking space), for example, the vehicle V is displayed on the map data of the parking facility. It is also possible to display the current position or a parking space that has already been parked and use it as an image for parking assistance (parking space guidance display). The camera C is not necessarily required (substitute with the sensors 19).

障害物の表示に際して、色分けによって、障害物の種類をより明確に（強調して）識別させるようにしてもよい。この場合、例えば、他車両ＶＸ１、ＶＸ２、既知の固定物Ｋ１〜Ｋ３、非定常物のうち静止物Ｚ１、非定常物のうち移動物Ｍ１、Ｍ２について色分け表示することができる。特に、移動物（人間や他車両で、特に人間）については、他の物体と明確に認識できるような色使いをしたり、この色分けに代えてあるいは色分けと共に点滅表示を行うこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。 When displaying an obstacle, the type of the obstacle may be identified more clearly (emphasized) by color coding. In this case, for example, the other vehicles VX1 and VX2, the known fixed objects K1 to K3, the stationary object Z1 among the unsteady objects, and the moving objects M1 and M2 among the unsteady objects can be displayed in different colors. In particular, for moving objects (humans and other vehicles, especially humans), it is possible to use colors that can be clearly recognized as other objects, or to perform blinking display instead of or in combination with this color classification. Of course, the object of the present invention is not limited to what is explicitly stated, but also implicitly includes providing what is substantially preferred or expressed as an advantage.

本発明は、車両の駐車支援を行うことができる。 The present invention can provide vehicle parking assistance.

Ｔ：駐車施設
Ｖ：車両（駐車希望する車両）
ＶＸ１、ＶＸ２：他車両
Ｋ１〜Ｋ３：既知の固定物
Ｚ１：非定常物（静止物）
Ｍ１、Ｍ２：非定常物（移動物）
Ｃ：カメラ（撮像手段）
ＵＴ：施設側コントローラ
ＵＶ：車両側コントローラ
１：駐車スペース
２：区分線
３：車止め
４：入口
５：ゲートバー
６：走行路
７：管理棟
８：車両センサ
９：スイッチ（駐車支援要請用）
１１：無線通信部
１２：映像処理部
１３：障害物検出部
１４：車両挙動推定部
１５：支援プログラム配布部
１７：トリガ発生部
１９：センサ類（非定常物検出）
３１：無線通信部
３２：映像処理部
３３：車両情報送信部
３４：車両状態管理部
３５：表示装置
３５ａ：表示画面
３５ｂ：制御部（表示画面制御用） T: Parking facility V: Vehicle (vehicle that wants to park)
VX1, VX2: Other vehicles K1 to K3: Known fixed object Z1: Unsteady object (stationary object)
M1, M2: Unsteady objects (moving objects)
C: Camera (imaging means)
UT: Facility side controller UV: Vehicle side controller 1: Parking space 2: Dividing line 3: Car stop 4: Entrance 5: Gate bar 6: Traveling path 7: Management building 8: Vehicle sensor 9: Switch (for parking support request)
11: Wireless communication unit 12: Video processing unit 13: Obstacle detection unit 14: Vehicle behavior estimation unit 15: Support program distribution unit 17: Trigger generation unit 19: Sensors (unsteady object detection)
31: Wireless communication unit 32: Video processing unit 33: Vehicle information transmission unit 34: Vehicle state management unit 35: Display device 35a: Display screen 35b: Control unit (for display screen control)

Claims

Facility side communication means for the parking facility to perform bidirectional communication between the object detection means for sensing the inside of the parking facility and detecting an object, and the vehicle-mounted side communication means mounted on the vehicle entering the parking facility And storage means for storing position data of known fixed objects in the parking facility, and facility-side control means,
The facility-side control means displays unsteady objects detected by the object detection means and known fixed objects stored in the storage means in an overhead view of the parking facility in the vehicle and its surroundings. Generating a support image processed as described above, and performing control to transmit the support image to the vehicle side via the bidirectional communication.
A parking assistance system characterized by that.

In claim 1,
The parking facility has a program transmission means for transmitting a control program to a vehicle-side control unit that controls a display means mounted on the vehicle via the bidirectional communication,
The vehicle-side control unit displays the support image on the display unit in a mode set by the facility-side control unit based on the received execution of the program.
A parking assistance system characterized by that.

In claim 1 or claim 2,
The parking assistance system, wherein the assistance image is generated so that the unsteady object and the known fixed object are displayed in different display modes.

In any one of Claims 1 thru | or 3,
The parking assistance system, wherein the assistance image is generated so that the unsteady object is classified into a stationary object and a moving object and displayed in different display modes.

In any one of Claims 1 thru | or 4,
The parking support system, wherein the support image is a simple image and is generated in a display form in which the unsteady object and the known fixed object are symbolized.