JP2018086928A - Vehicle guiding device and vehicle guiding method - Google Patents

Vehicle guiding device and vehicle guiding method Download PDF

Info

Publication number
JP2018086928A
JP2018086928A JP2016231239A JP2016231239A JP2018086928A JP 2018086928 A JP2018086928 A JP 2018086928A JP 2016231239 A JP2016231239 A JP 2016231239A JP 2016231239 A JP2016231239 A JP 2016231239A JP 2018086928 A JP2018086928 A JP 2018086928A
Authority
JP
Japan
Prior art keywords
vehicle
trajectory data
situation
data
guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016231239A
Other languages
Japanese (ja)
Other versions
JP6717174B2 (en
Inventor
千尋 三宮
Chihiro Sannomiya
千尋 三宮
景子 中野
Keiko Nakano
景子 中野
藤本 真吾
Shingo Fujimoto
真吾 藤本
栄輔 安達
Eisuke Adachi
栄輔 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016231239A priority Critical patent/JP6717174B2/en
Publication of JP2018086928A publication Critical patent/JP2018086928A/en
Application granted granted Critical
Publication of JP6717174B2 publication Critical patent/JP6717174B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To guide a vehicle by a suitable method in accordance with a situation.SOLUTION: A vehicle guiding device includes: sensor information acquiring means for acquiring sensor information from a sensor provided in a vehicle; storage means for storing track data that is data showing a traveling track when the vehicle moved in a predetermined place in the past in association with a situation when the vehicle moved; and guiding means for guiding the vehicle by using the track data corresponding to a current situation among the stored track data and the sensor information.SELECTED DRAWING: Figure 1

Description

本発明は、車両を誘導する装置に関する。   The present invention relates to an apparatus for guiding a vehicle.

車庫入れなどの、ある程度の運転技術を必要とする場面において、運転者をサポートするための技術が研究されている。例えば、特許文献1には、画像処理技術を用い、車両の誘導経路を算出したうえで、俯瞰映像に誘導経路を重畳して表示する駐車支援装置が開示されている。また、特許文献2には、自車両と駐車スペースとの位置関係に応じて、複数の駐車モードの中から適切なモードを選択し、誘導経路を決定する駐車支援装置が開示されている。かかる技術によると、車両と駐車スペースとの位置関係に応じて、誘導経路を動的に生成することができる。   Research is underway on technologies to support drivers in situations that require a certain level of driving skills, such as garage parking. For example, Patent Document 1 discloses a parking assistance device that uses an image processing technique to calculate a vehicle guidance route and displays the guidance route superimposed on the overhead video. Patent Document 2 discloses a parking assistance device that selects an appropriate mode from a plurality of parking modes according to the positional relationship between the host vehicle and a parking space, and determines a guidance route. According to this technique, the guidance route can be dynamically generated according to the positional relationship between the vehicle and the parking space.

特開2010−208483号公報JP 2010-208483 A 特開2014−125196号公報JP 2014-125196 A 特開2006−298115号公報JP 2006-298115 A 特開2014−141216号公報JP 2014-141216 A 特開2014−125195号公報JP 2014-125195 A

しかし、前述したような装置は、白線で駐車スペースが区切られている、車両の入口が容易に判別できる、といった環境では高い精度を発揮するが、車両の進入経路が画像上で判別しづらいような環境においては、十分な精度を得ることができない。   However, the device as described above provides high accuracy in an environment where parking spaces are separated by white lines and the entrance of the vehicle can be easily identified, but the approach route of the vehicle is difficult to distinguish on the image. In a difficult environment, sufficient accuracy cannot be obtained.

一方、自宅の車庫のように、車両を進入させるパターンが毎回同じである場合、車両の誘導経路を動的に生成するのではなく、過去の運転操作履歴に基づいて車両を誘導するという方法がある。例えば、特許文献3に記載の運転支援装置では、過去に駐車を行った際の運転操作情報を履歴として記憶し、同じ操作を行うよう運転者に指示することで車両の誘導を行っている。   On the other hand, when the pattern of entering the vehicle is the same every time as in a garage at home, there is a method of guiding the vehicle based on past driving operation history instead of dynamically generating the guidance route of the vehicle. is there. For example, in the driving support device described in Patent Document 3, driving operation information when parking in the past is stored as a history, and the driver is instructed to perform the same operation to guide the vehicle.

しかし、環境によっては、過去の運転と同じ方法で入庫することが必ずしも適さない場合がある。例えば、車庫の一部に荷物や自転車などの障害物が置かれている場合、当該障害物を避けて進入しなければならない。また、例えば、車庫の幅が狭く、入庫する場合は同乗者を事前に降車させる必要があるなど、同乗者の有無などによって車庫への進入経路が変わる場合がある。また、例えば、雨天の場合、荷物が濡れないように、トランクの開口部を屋根の下に持ってくるなど、駐車位置を調整しなければならない場合がある。
既存の技術では、このように、シチュエーションに応じて最適な経路で車両を誘導することが難しいという課題があった。
However, depending on the environment, it may not always be appropriate to enter the warehouse in the same manner as in past driving. For example, when an obstacle such as a luggage or a bicycle is placed in a part of a garage, it is necessary to enter the vehicle while avoiding the obstacle. In addition, for example, when the garage is narrow and it is necessary to get in, the entry route to the garage may change depending on the presence or absence of the passenger. In addition, for example, in the case of rain, it may be necessary to adjust the parking position by bringing the opening of the trunk under the roof to prevent the luggage from getting wet.
As described above, in the existing technology, there is a problem that it is difficult to guide the vehicle through an optimal route according to the situation.

本発明は上記の課題を考慮してなされたものであり、状況に応じて適切な方法で車両を誘導することを目的とする。   The present invention has been made in consideration of the above-described problems, and an object thereof is to guide a vehicle by an appropriate method according to the situation.

本発明に係る車両誘導装置は、
車両に備えられたセンサからセンサ情報を取得するセンサ情報取得手段と、所定の場所
において過去に前記車両が移動した際の走行軌跡を表すデータである軌跡データを、当該移動を行った際の状況を表す状況識別子と関連付けて記憶する記憶手段と、記憶された前記軌跡データのうち現在の状況に対応する軌跡データと、前記センサ情報と、を用いて車両の誘導を行う誘導手段と、を有することを特徴とする。
A vehicle guidance device according to the present invention includes:
A situation in which the sensor information acquisition means for acquiring the sensor information from the sensor provided in the vehicle and the trajectory data, which is data representing the travel trajectory when the vehicle has moved in the past at a predetermined location, are moved. Storage means for storing in association with the situation identifier representing the vehicle, and the guidance means for guiding the vehicle using the sensor information and the trajectory data corresponding to the current situation among the stored trajectory data. It is characterized by that.

センサは、空間中における車両の位置を把握するためのものであれば、どのような種類のものであってもよい。例えば、超音波距離センサ、レーザ距離センサ、LIDAR、高精度GPS装置などであってもよい。また、車体に取り付けられたカメラ(フロントカメラ、サイドカメラ、バックカメラ、これらの組み合わせ等)等であってもよい。この場合、画像そのものをセンサ情報としてもよいし、画像を解析することで得られた情報をセンサ情報としてもよい。また、カメラが取得する情報は、可視光像であってもよいし、赤外線像、距離画像などであってもよい。   The sensor may be of any type as long as it is for grasping the position of the vehicle in the space. For example, an ultrasonic distance sensor, a laser distance sensor, a LIDAR, a high-precision GPS device, or the like may be used. Moreover, the camera (front camera, side camera, back camera, these combination etc.) etc. which were attached to the vehicle body may be sufficient. In this case, the image itself may be sensor information, or information obtained by analyzing the image may be sensor information. The information acquired by the camera may be a visible light image, an infrared image, a distance image, or the like.

軌跡データとは、所定の場所(車両の誘導を行う場所)において、過去に車両が移動した際の走行軌跡を表すデータである。軌跡データは、例えば、タイヤの軌跡を表すデータであってもよいし、車体の軌跡(例えば、車体全体や代表点の軌跡)を表すデータであってもよい。また、軌跡データは、連続的な車両の位置を算出するためのデータであれば、必ずしも軌跡そのものを表すものでなくてもよい。例えば、カメラによって周期的に取得された画像の集合であってもよい。
軌跡データは、車両が移動した際の状況を表す識別子(状況識別子)と関連付けて記憶される。状況識別子が表す状況とは、例えば、誘導を行う場所(例えば、駐車場や駐車スペースの識別子)、運転者の識別子、同乗者の数、同乗者の着座位置、同乗者の識別子、天候、積荷の有無、積荷の量、積荷の種類や、これらの組み合わせなどであるが、車両の誘導経路に影響を与えうるものであれば、どのようなものであってもよい。
The trajectory data is data representing a travel trajectory when the vehicle has moved in the past at a predetermined location (a location where the vehicle is guided). The trajectory data may be, for example, data representing a tire trajectory, or data representing a vehicle trajectory (for example, the entire vehicle body or a representative point trajectory). Further, the trajectory data does not necessarily represent the trajectory itself as long as it is data for calculating a continuous vehicle position. For example, it may be a set of images periodically acquired by a camera.
The trajectory data is stored in association with an identifier (situation identifier) that represents the situation when the vehicle has moved. The situation represented by the situation identifier is, for example, a place where guidance is performed (for example, an identifier of a parking lot or a parking space), a driver identifier, the number of passengers, a passenger seating position, a passenger identifier, weather, cargo The presence / absence, the amount of cargo, the type of cargo, and combinations thereof may be any as long as they can affect the guidance route of the vehicle.

誘導手段は、記憶されている複数の軌跡データから、現在の状況に対応するものを選択し、車両の誘導を行う手段である。なお、状況の対比は、自動的に行ってもよいし、運転者に行わせてもよい。例えば、記憶されている軌跡データを、関連付いた状況識別子の説明とともに画面上に並べて表示し、運転者に選択させてもよい。また、現在の状況をセンシングし、適切なものを自動的に選択してもよい。これにより、シチュエーションに応じて適切な軌跡データを選択することができる。   The guiding means is means for selecting a vehicle corresponding to the current situation from a plurality of stored trajectory data and guiding the vehicle. The situation comparison may be performed automatically or may be performed by the driver. For example, the stored trajectory data may be displayed side by side on the screen together with a description of the associated situation identifier, and may be selected by the driver. Alternatively, the current situation may be sensed and an appropriate one may be automatically selected. Thereby, suitable locus data can be selected according to the situation.

なお、誘導手段が利用する軌跡データに関連付いた状況識別子は、必ずしも現在の状況と一致するものでなくてもよい。例えば、運転者が初心者である場合、本人の運転によって生成された軌跡データよりも、熟練者による運転によって生成された軌跡データのほうがより好ましい場合がある。   Note that the situation identifier associated with the trajectory data used by the guiding means does not necessarily match the current situation. For example, when the driver is a beginner, the trajectory data generated by driving by an expert may be more preferable than the trajectory data generated by driving himself.

車両の誘導は、具体的な運転操作を運転者に教示することで行ってもよいし、軌跡データとのずれ量を提示することで行ってもよい。また、車両に自動運転装置が搭載されている場合、当該自動運転装置に命令を発行することで行ってもよい。   The guidance of the vehicle may be performed by teaching a specific driving operation to the driver, or may be performed by presenting an amount of deviation from the trajectory data. Moreover, when the automatic driving device is mounted on the vehicle, the operation may be performed by issuing a command to the automatic driving device.

また、前記誘導手段は、前記センサ情報と前記軌跡データとを比較した結果に基づいて、車両の運転者に必要な運転操作を教示することを特徴としてもよい。   Further, the guiding means may teach a driving operation necessary for the driver of the vehicle based on a result of comparing the sensor information and the trajectory data.

例えば、必要なステアリングの操作量、アクセルやブレーキの加減などを教示することで、車両の位置を合わせる方法を直感的に伝達することができる。   For example, it is possible to intuitively transmit a method for adjusting the position of the vehicle by teaching a necessary amount of steering operation, acceleration / deceleration of an accelerator or a brake, and the like.

また、前記軌跡データは、前記車両が移動した際に検出した、車両周辺の物体に関する情報をさらに含み、前記誘導手段は、前記センサ情報と前記軌跡データとを比較した結果、前記軌跡データに含まれない物体を検出した場合に、前記車両の進行可否を前記車両の
運転者に確認することを特徴としてもよい。
The trajectory data further includes information on an object around the vehicle detected when the vehicle moves, and the guidance unit includes the trajectory data as a result of comparing the sensor information with the trajectory data. When an object that cannot be detected is detected, whether or not the vehicle can proceed may be confirmed with the driver of the vehicle.

車両周辺の物体に関する情報とは、距離センサ等によって取得された情報であってもよいし、画像を解析することで取得された情報であってもよい。また、画像そのものであってもよい。一般的に、機械にとって、過去に取得したデータに含まれていない物体を検出することは比較的容易であるが、それが車両の進行に影響を与える物体であるか否かを判定することは容易ではない。例えば、バックカメラが取得した画像に人が写っていた場合、車両の進路上に人がいるのか、安全な場所に人がいるのかを判定するためには特別な処理が必要となる。また、検出したものが人間であるのか、等身大ポスターであるのかを判定することも容易ではない。しかし、それらは、運転者にとっては自明であることが多い。そこで、相違点を検出した場合に、車両の進行可否を運転者に確認することで、コストをかけずに安全性を確保することができる。   Information related to objects around the vehicle may be information acquired by a distance sensor or the like, or may be information acquired by analyzing an image. Moreover, the image itself may be sufficient. In general, it is relatively easy for a machine to detect an object that is not included in data acquired in the past, but it is not possible to determine whether it is an object that affects the progress of the vehicle. It's not easy. For example, when a person is shown in the image acquired by the back camera, a special process is required to determine whether there is a person on the path of the vehicle or a person in a safe place. Also, it is not easy to determine whether the detected object is a human or a life-size poster. However, they are often obvious to the driver. Therefore, when a difference is detected, safety can be ensured without incurring cost by confirming with the driver whether the vehicle can proceed.

また、本発明に係る車両誘導装置は、記憶された複数の前記軌跡データから、関連付いた状況識別子が現在の状況と類似する前記軌跡データを抽出する抽出手段をさらに有することを特徴としてもよい。   In addition, the vehicle guidance device according to the present invention may further include an extracting unit that extracts the trajectory data having a related situation identifier similar to the current situation from the plurality of stored trajectory data. .

抽出は自動で行ってもよい。例えば、誘導を行う場所、運転者の識別子、同乗者の数、同乗者の着座位置、同乗者の識別子、天候、積荷の有無、積荷の量、積荷の種類などの状況を取得することで、現在の状況に最も適した軌跡データを自動的に選択することができる。もちろん、現在の状況を運転者に入力させ、抽出を半自動で行ってもよい。   Extraction may be performed automatically. For example, by obtaining the situation such as the location where guidance is performed, the driver's identifier, the number of passengers, the passenger's seating position, the passenger's identifier, the weather, the presence or absence of cargo, the amount of cargo, the type of cargo, etc. The trajectory data most suitable for the current situation can be automatically selected. Of course, the current situation may be input to the driver, and extraction may be performed semi-automatically.

また、前記抽出手段は、前記抽出した軌跡データから、誘導に使用する軌跡データを前記車両の運転者に選択させることを特徴としてもよい。   In addition, the extracting unit may cause the driver of the vehicle to select trajectory data used for guidance from the extracted trajectory data.

このように、抽出を一部自動で行い、最終的に使用する軌跡データはユーザに選択させるようにしてもよい。例えば、状況識別子が、状況を表す複数の項目によって定義される場合、一致する項目のみを用いてフィルタリングを行い、最終的にどれを使用するかを運転者に選択させてもよい。   Thus, extraction may be performed partially automatically, and the user may select the trajectory data to be finally used. For example, when the situation identifier is defined by a plurality of items representing the situation, filtering may be performed using only the matching items, and the driver may be finally selected which one to use.

また、前記抽出手段は、車両の運転者が前記軌跡データに対して行った評価にさらに基づいて前記軌跡データを抽出することを特徴としてもよい。   The extraction means may extract the trajectory data further based on an evaluation performed by the vehicle driver on the trajectory data.

評価は、点数によって行ってもよいし、文章を用いて行ってもよい。また、軌跡データを運転者に選択させる場合、評価の内容を提示してもよいし、評価の内容に基づいてソートやフィルタリングを行ってもよい。かかる構成によると、運転者の嗜好に合わせて車両の誘導を行うことができる。   The evaluation may be performed by a score or may be performed using a sentence. Moreover, when making a driver | operator select locus | trajectory data, the content of evaluation may be shown and you may sort and filter based on the content of evaluation. According to this configuration, the vehicle can be guided in accordance with the driver's preference.

また、本発明に係る車両誘導装置は、前記所定の場所において前記車両が移動した際に、当該移動に係る軌跡データと、当該移動が行われた際の状況を取得し、前記記憶手段に記憶されているデータとの類似度に基づいて、前記記憶手段に新規の軌跡データとして記憶させるか否かを決定する更新手段をさらに有することを特徴としてもよい。   In addition, the vehicle guidance device according to the present invention acquires trajectory data relating to the movement and a situation when the movement is performed when the vehicle moves at the predetermined location, and stores the acquired data in the storage unit. Further, it may be characterized by further comprising update means for determining whether or not the storage means stores new trajectory data on the basis of the similarity to the recorded data.

例えば、記憶されているいずれのデータとも状況が合致しない環境下で車両の移動が行われた場合、新規の軌跡データを登録してもよい。また、記憶されているいずれのデータとも軌跡が合致(略合致を含む)しない場合、新規の軌跡データを登録してもよい。
また、記憶されているいずれかのデータと状況が合致する環境下で車両の移動が行われ、かつ、軌跡が類似している場合、合致するデータを更新(アップデート)してもよい。
かかる構成によると、車両の誘導を行うためのデータを精度よく蓄積することができる。
For example, when the vehicle is moved in an environment where the situation does not match any of the stored data, new trajectory data may be registered. Further, when the locus does not match any of the stored data (including a substantially coincidence), new locus data may be registered.
Further, when the vehicle is moved in an environment where the situation matches any of the stored data and the locus is similar, the matching data may be updated (updated).
According to such a configuration, data for guiding the vehicle can be accumulated with high accuracy.

また、前記状況識別子は、車両の誘導を行う場所、運転者の識別子、天候、同乗者の有無、積荷の有無の少なくともいずれかを表すものであることを特徴としてもよい。
これらの要素は、車両の誘導経路に影響する可能性があるためである。
The situation identifier may represent at least one of a location where the vehicle is guided, an identifier of the driver, weather, presence / absence of a passenger, and presence / absence of cargo.
This is because these factors may affect the guidance route of the vehicle.

また、前記誘導手段は、前記運転者が行う運転操作のタイムラグを考慮して前記教示を行うことを特徴としてもよい。   In addition, the guidance unit may perform the teaching in consideration of a time lag of a driving operation performed by the driver.

装置が行う教示と、運転者が行う操作との間にはタイムラグが存在する。よって、現在の車両の状態と、軌跡データとの単なる差分を教示すると、車両の軌跡が振動的になり精度の高い誘導が行えなくなるおそれがある。よって、運転操作のタイムラグを考慮して教示を行うことが好ましい。例えば、車両の位置を予め予測し、教示内容を補正する制御を行うようにしてもよい。   There is a time lag between the teaching performed by the device and the operation performed by the driver. Therefore, if a simple difference between the current vehicle state and the trajectory data is taught, the trajectory of the vehicle may be vibrated and high-precision guidance cannot be performed. Therefore, it is preferable to teach in consideration of the time lag of the driving operation. For example, the position of the vehicle may be predicted in advance and control for correcting the teaching content may be performed.

なお、本発明は、上記手段の少なくとも一部を含む車両誘導装置として特定することができる。また、前記車両誘導装置が行う車両誘導方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。   In addition, this invention can be specified as a vehicle guidance apparatus containing at least one part of the said means. It can also be specified as a vehicle guidance method performed by the vehicle guidance device. The above processes and means can be freely combined and implemented as long as no technical contradiction occurs.

本発明によれば、状況に応じて適切な方法で車両を誘導することができる。   According to the present invention, the vehicle can be guided by an appropriate method according to the situation.

駐車スペースに入庫する車両の経路を説明する図。The figure explaining the path | route of the vehicle which enters into a parking space. 第一の実施形態に係る車両誘導装置100のシステム構成図。1 is a system configuration diagram of a vehicle guidance device 100 according to a first embodiment. 第一の実施形態における誘導情報テーブルの例。The example of the guidance information table in 1st embodiment. 第一の実施形態に係る車両誘導装置100の処理フローチャート図。The process flowchart figure of the vehicle guidance apparatus 100 which concerns on 1st embodiment. ステップS11で運転者に提示される画面の例。The example of the screen shown to a driver | operator by step S11. 第一の実施形態に係る車両誘導装置100の処理フローチャート図。The process flowchart figure of the vehicle guidance apparatus 100 which concerns on 1st embodiment. 必要な運転操作を運転者に教示するためのインタフェースの例。An example of an interface for teaching a driver of necessary driving operations. 車両の誘導経路を説明するための図。The figure for demonstrating the guidance route of a vehicle. 第二の実施形態における誘導情報テーブルの例。The example of the guidance information table in 2nd embodiment. 第二の実施形態に係る車両誘導装置100の処理フローチャート図。The process flowchart figure of the vehicle guidance apparatus 100 which concerns on 2nd embodiment. 未知の物体を検出した際に誘導を続行するか否かを確認する画面の例。The example of the screen which confirms whether guidance is continued when an unknown object is detected. 第四の実施形態における誘導情報テーブルの例。The example of the guidance information table in 4th embodiment.

(第一の実施形態)
<システム概要>
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る車両誘導装置は、駐車スペースに入庫する車両が適切な経路(軌跡)を辿れるように、運転者に運転操作指示を行う装置である。
(First embodiment)
<System overview>
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
The vehicle guidance device according to the first embodiment is a device that gives a driving operation instruction to a driver so that a vehicle entering the parking space can follow an appropriate route (trajectory).

まず、入庫する車両の経路について説明する。図1において、符号1001は誘導対象の車両であり、符号1002は駐車スペースを表す。また、点線は入庫する車両の経路を表す。本例では、家屋1003の前に設けられた駐車スペース1002に車両1001を入庫させるシーンを例に説明する。   First, the route of the vehicle to be stored will be described. In FIG. 1, reference numeral 1001 indicates a vehicle to be guided, and reference numeral 1002 indicates a parking space. The dotted line represents the route of the vehicle to be stored. In this example, a scene in which the vehicle 1001 is stored in the parking space 1002 provided in front of the house 1003 will be described as an example.

図1に示したように、車両1001を入庫させる場合、事前に車両の向きを反転させたうえで後退しながら入庫する必要がある(図示した例では3回の切り返しが必要になる)
。しかし、駐車スペースへの進入経路がずれると、車両が道路にはみ出したり、玄関ポーチないし建物に接触したりするおそれがある。このようなケースでは、従来は、切り返しを行う位置を運転者が記憶しておき、経験に基づいて操作を行わなければならなかった。
As shown in FIG. 1, when the vehicle 1001 is stored, it is necessary to reverse the direction of the vehicle in advance and store the vehicle 1001 while moving backward (in the illustrated example, it is necessary to switch back three times).
. However, if the approach route to the parking space deviates, there is a risk that the vehicle may protrude from the road or touch the entrance porch or building. In such a case, conventionally, the driver had to memorize the position to switch back and had to perform an operation based on experience.

第一の実施形態に係る車両誘導装置は、過去に車両が入庫した際の移動経路を記憶し、運転者に対して、当該移動経路をトレースするように運転操作指示を行うことで当該課題を解決する。また、本実施形態に係る車両誘導装置は、複数の移動経路を記憶しており、シチュエーションに応じて適切な移動経路を選択するという特徴を有している。これにより、例えば、「雨の日は屋根のある場所で乗降を行う」、「荷物がある場合は通路を確保できる位置に止める」といった柔軟な対応が可能になる。
以下、本実施形態に係る車両誘導装置について説明する。
The vehicle guidance device according to the first embodiment stores a movement route when a vehicle has entered in the past, and issues a driving operation instruction to the driver to trace the movement route. Solve. Moreover, the vehicle guidance device according to the present embodiment stores a plurality of movement routes, and has a feature of selecting an appropriate movement route according to the situation. As a result, for example, it is possible to flexibly respond such as “get on and off at a place with a roof on a rainy day” and “stop at a position where a passage can be secured if there is a load”.
Hereinafter, the vehicle guidance device according to the present embodiment will be described.

<システム構成>
図2は、本実施形態に係る車両誘導装置100のシステム構成図である。本実施形態に係る車両誘導装置100は、画像取得部101、制御部102、記憶部103、入出力部104、状況取得部105、車外カメラ110を有する。車外カメラ110は、車両に設置され、車外を撮像する複数のカメラからなる。
<System configuration>
FIG. 2 is a system configuration diagram of the vehicle guidance device 100 according to the present embodiment. The vehicle guidance device 100 according to the present embodiment includes an image acquisition unit 101, a control unit 102, a storage unit 103, an input / output unit 104, a situation acquisition unit 105, and an outside camera 110. The vehicle outside camera 110 is installed in a vehicle and includes a plurality of cameras that capture the outside of the vehicle.

車両誘導装置100は、CPU、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることで、以降に説明する機能が実現される。なお、図示した機能の全部または一部は、専用に設計された回路(半導体集積回路など)を用いて実行されてもよい。   The vehicle guidance device 100 can be configured as an information processing device having a CPU, a main storage device, and an auxiliary storage device. Functions described below are realized by loading a program stored in the auxiliary storage device into the main storage device and executing it by the CPU. Note that all or part of the illustrated functions may be executed using a circuit designed exclusively (such as a semiconductor integrated circuit).

画像取得部101は、接続された車外カメラ110から画像を取得する手段である。
車外カメラ110は、車両に設置された複数のカメラ(例えばフロントカメラ、バックカメラ、サイドカメラなど)で構成される。本実施形態では、車外カメラが取得した画像に基づいて車両の位置を推定するため、少なくとも進行方向と横方向を向いた二種類のカメラを有していることが好ましい。なお、本明細書では、説明を簡単にするために、バックカメラが取得した画像のみを用いて例示を行う。
The image acquisition unit 101 is a means for acquiring an image from the connected external camera 110.
The vehicle exterior camera 110 includes a plurality of cameras (for example, a front camera, a back camera, a side camera, etc.) installed in the vehicle. In the present embodiment, in order to estimate the position of the vehicle based on the image acquired by the camera outside the vehicle, it is preferable to have at least two types of cameras facing the traveling direction and the lateral direction. In the present specification, for the sake of simplicity of explanation, only the images acquired by the back camera are used for illustration.

制御部102は、車両誘導装置100全体の制御を司る手段である。具体的には、(1)入庫した車両の軌跡を表すデータ(以下、軌跡データ)を取得し、現在の状況と関連付けて、後述する記憶部103に記憶させる処理と、(2)現在の状況に対応する軌跡データを記憶部103から取得し、車両の誘導を行う処理と、を実行する。具体的な処理内容については後述する。   The control unit 102 is a unit that controls the entire vehicle guidance device 100. Specifically, (1) a process of acquiring data representing the trajectory of a vehicle that has been stored (hereinafter referred to as trajectory data) and storing the data in association with the current situation in a storage unit 103 described later; and (2) the current situation. The trajectory data corresponding to is acquired from the storage unit 103, and the vehicle is guided. Specific processing contents will be described later.

なお、本明細書における「状況」とは、例えば、駐車スペースの識別子、運転者の識別子、同乗者の有無、積荷の有無、天候など、車両が入庫する際の軌跡に影響を与える要素ないし当該要素の集合を表す。
また、本明細書における「軌跡」とは、車両の移動経路を表し、必ずしも車輪の軌跡である必要はない。軌跡は、例えば、車体を代表する点の移動経路であってもよいし、車体領域全体の軌跡であってもよい。本実施形態では、軌跡とは、車体を代表する点の移動軌跡(点の集合)であるものとする。
The “situation” in this specification refers to, for example, an element that affects the trajectory when a vehicle enters, such as an identifier of a parking space, an identifier of a driver, the presence or absence of a passenger, the presence or absence of cargo, and the weather. Represents a set of elements.
In addition, the “trajectory” in the present specification represents a moving route of the vehicle, and is not necessarily a wheel trajectory. The trajectory may be, for example, a movement path of a point representing the vehicle body or a trajectory of the entire vehicle body region. In the present embodiment, the trajectory is a movement trajectory (a set of points) of points representing the vehicle body.

記憶部103は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部103には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部103には、車両が入庫した際の軌跡を表す軌跡データが、当該車両が入庫した際の状況と関連付いて、誘導情報テーブルとして記憶される。   The storage unit 103 is means for temporarily or permanently storing data used by the apparatus. The storage unit 103 is preferably a storage medium that can read and write at high speed and has a large capacity. For example, a flash memory can be suitably used. In the storage unit 103, trajectory data representing the trajectory when the vehicle is received is stored as a guidance information table in association with the situation when the vehicle is received.

ここで、記憶部103に記憶されるデータについて説明する。図3は、記憶部103に記憶される誘導情報テーブルの例である。誘導情報テーブルは、軌跡データを、当該軌跡データに対応する状況と関連付けたテーブルである。   Here, data stored in the storage unit 103 will be described. FIG. 3 is an example of a guidance information table stored in the storage unit 103. The guidance information table is a table in which trajectory data is associated with a situation corresponding to the trajectory data.

図3の例では、「車庫ID」「運転者」「同乗者の有無」「荷物の有無」「天候」の5つを、入庫方法(例えば、道路からの進入経路や停止位置など)に影響を与える要素であるものとし、当該5つの要素からなる状況を定義している。当該5つの要素によって表されたデータが、本発明における状況識別子である。
誘導情報テーブルは、車両の誘導に用いられ、車両の入庫が完了するごとに、所定の条件下で更新される(具体的な方法は後述)。
In the example of FIG. 3, “garage ID”, “driver”, “passenger presence / absence”, “presence / absence of baggage”, and “weather” are affected by the entry method (for example, the approach route from the road and the stop position). Is defined as an element that provides the five elements. Data represented by the five elements is a situation identifier in the present invention.
The guidance information table is used for guidance of the vehicle, and is updated under a predetermined condition every time when the entry of the vehicle is completed (a specific method will be described later).

入出力部104は、車両誘導装置100が生成する画像等の各種情報を表示し、ユーザからの指示を取得する手段である。入出力部104は、典型的にはタッチパネルディスプレイであるが、これ以外であってもよい。   The input / output unit 104 is a unit that displays various information such as an image generated by the vehicle guidance device 100 and acquires an instruction from the user. The input / output unit 104 is typically a touch panel display, but may be other than this.

状況取得部105は、車両に備えられたセンサ(不図示)や、外部の情報ソースから取得した情報に基づいて、車両入庫時における状況を取得する手段である。状況取得部105が取得する状況は、誘導情報テーブルに記録されている状況と一致する。本例では、車庫ID、運転者の識別子、同乗者の有無、荷物の有無、天候の5つが取得対象である。   The situation acquisition unit 105 is a means for acquiring a situation at the time of vehicle entry based on a sensor (not shown) provided in the vehicle or information acquired from an external information source. The situation acquired by the situation acquisition unit 105 matches the situation recorded in the guidance information table. In this example, garage ID, driver identifier, presence / absence of passengers, presence / absence of luggage, and weather are five acquisition targets.

車庫IDは、駐車スペースの識別子である。車庫IDは、例えば、車両に設けられたGPS装置から得た位置情報に基づいて取得することができる。なお、位置情報が取得できない場合、画像取得部101が取得した画像に基づいて車庫IDを採番してもよい。例えば、車両の入庫が完了するごとに画像を取得して、過去に取得した画像との比較を行い、所定値以上の類似度が得られた場合に、同一の駐車スペースであると判断し、それ以外の場合、新規の駐車スペースであると判断するようにしてもよい。   The garage ID is an identifier of the parking space. The garage ID can be acquired based on position information obtained from a GPS device provided in the vehicle, for example. In addition, when position information cannot be acquired, you may number garage ID based on the image which the image acquisition part 101 acquired. For example, an image is acquired every time a vehicle is completed, compared with images acquired in the past, and when a similarity equal to or greater than a predetermined value is obtained, it is determined that the parking spaces are the same, In other cases, it may be determined that it is a new parking space.

運転者の識別子は、例えば、車両のイグニッションをオンにするためのインテリジェントキーを運転者ごとに用意し、無線通信によって取得することができる。この他にも、運転者の生体情報をセンシングした結果に基づいて判定するようにしてもよい。   For example, the driver identifier can be obtained by wireless communication by preparing an intelligent key for turning on the ignition of the vehicle for each driver. In addition, the determination may be made based on the result of sensing the driver's biological information.

同乗者の有無は、例えば、シートに設けられた着座センサによって判定することができる。また、車両が出発する前に、運転席以外のドアが開閉されたかを記録することで判定してもよい。この他にも、車両の走行経路などに基づいて、同乗者が乗車したことを推定してもよい。   The presence or absence of a passenger can be determined by, for example, a seating sensor provided on the seat. Alternatively, it may be determined by recording whether doors other than the driver's seat are opened or closed before the vehicle departs. In addition to this, it may be estimated that the passenger has boarded the vehicle based on the travel route of the vehicle.

荷物の有無は、例えば、荷室をセンシングした結果に基づいて判定することができる。また、車両が出発する前に、リアゲート等が開閉されたかを記録することで判定してもよい。この他にも、車両の走行経路など(例えば、車両の出発地点が小売店の駐車場であるか否か)に基づいて、荷物が積載されていることを推定してもよい。   The presence / absence of luggage can be determined based on, for example, the result of sensing a luggage compartment. Alternatively, it may be determined by recording whether the rear gate or the like has been opened or closed before the vehicle departs. In addition to this, it may be estimated that the load is loaded based on the travel route of the vehicle (for example, whether the departure point of the vehicle is a parking lot of a retail store).

天候は、例えば、車両に備えられたセンサ(降雨センサ等)によって判定することができる。また、ネットワークを通して気象情報を取得することで判定してもよい。   The weather can be determined by, for example, a sensor (rainfall sensor or the like) provided in the vehicle. Moreover, you may determine by acquiring weather information through a network.

なお、本実施形態では、5つの要素を用いて状況を表したが、入庫方法に影響を与える要素であれば、例示したもの以外を用いてもよい。また、センサは、必ずしも物理量を取得するものでなくてもよい。例えば、カメラが取得した画像を用いて状況を取得してもよい。   In addition, in this embodiment, although the situation was represented using five elements, as long as it is an element which affects the warehousing method, you may use what was illustrated. Moreover, the sensor does not necessarily need to acquire a physical quantity. For example, the situation may be acquired using an image acquired by a camera.

<初回入庫時における処理>
次に、軌跡データを生成する方法について説明する。
車両誘導装置100が搭載された車両が駐車スペース前に到着すると、運転者が装置を起動し、これにより、図4に示したフローチャートが開始される。
なお、車両が入庫する際、運転者は、以下の二パターンうちのいずれかを選択する。
(1)記憶部103に記憶されているデータを用いて誘導を行う
(2)誘導は行わず、軌跡データのみを記録する
ここではまず、誘導情報テーブルにデータが登録されていないケースについて、図4を参照しながら説明する。
<Processing at first goods receipt>
Next, a method for generating trajectory data will be described.
When the vehicle on which the vehicle guidance device 100 is mounted arrives in front of the parking space, the driver activates the device, whereby the flowchart shown in FIG. 4 is started.
Note that when the vehicle enters the vehicle, the driver selects one of the following two patterns.
(1) Guidance is performed using data stored in the storage unit 103. (2) Guidance is not performed, and only trajectory data is recorded. First, a case where data is not registered in the guidance information table is illustrated in FIG. This will be described with reference to FIG.

まず、ステップS11で、制御部102が、入出力部104を介して、記憶部103に記憶されているデータのうちいずれを用いて誘導を行うかを運転者に選択させる。図5は、選択を行う画面の例である。これに対して運転者が入力を行うと、処理はステップS12へ進む。なお、データが記憶されていない場合は、運転者が「誘導を利用しない」を選択したものとする(ステップS12−No)。   First, in step S <b> 11, the control unit 102 causes the driver to select which of the data stored in the storage unit 103 is used for guidance via the input / output unit 104. FIG. 5 is an example of a screen for performing selection. On the other hand, if a driver inputs, a process will progress to step S12. In addition, when data is not memorize | stored, it is assumed that the driver | operator selected "do not use guidance" (step S12-No).

誘導を利用しない場合、制御部102が、画像取得部101を介して周期的に車両周辺の画像を取得し、取得した画像を解析することで、車両の位置情報を取得し、これにより軌跡データを生成する(ステップS13)。軌跡は、例えば、車両を代表する点の集合によって表すことができる。生成された情報は、制御部102によって一時的に記憶される。
なお、入庫が完了した旨の操作を運転者が行うと、処理は図6(ステップS21)へ遷移する。入庫の完了は、入出力部104を介して運転者が装置に通知してもよいし、車両から取得可能な情報(例えばパーキングブレーキ情報など)を利用して装置自身が判定してもよい。
When the guidance is not used, the control unit 102 periodically acquires an image around the vehicle via the image acquisition unit 101, analyzes the acquired image, acquires the vehicle position information, and thereby the trajectory data. Is generated (step S13). The trajectory can be represented, for example, by a set of points representing the vehicle. The generated information is temporarily stored by the control unit 102.
When the driver performs an operation indicating that the warehousing has been completed, the process transitions to FIG. 6 (step S21). The completion of warehousing may be notified to the device by the driver via the input / output unit 104, or the device itself may determine using information that can be acquired from the vehicle (for example, parking brake information).

図6は、入庫が完了したタイミングで実行される処理のフローチャートである。
まず、ステップS21で、制御部102が、今回の入庫についての軌跡データを取得し、かつ、状況取得部105を介して現在の状況を取得する。
次に、ステップS22で、誘導情報テーブルに既存のデータが存在するか否かを確認する。ここで、データが1レコードも存在しない場合、処理はステップS25へ遷移し、新規のレコードが追加される。
FIG. 6 is a flowchart of processing executed at the timing when warehousing is completed.
First, in step S <b> 21, the control unit 102 acquires trajectory data for the current warehousing and acquires the current situation via the situation acquisition unit 105.
Next, in step S22, it is confirmed whether or not existing data exists in the guidance information table. Here, when no data record exists, the process proceeds to step S25, and a new record is added.

図4に戻り、二回目以降の入庫を行う際の処理について説明する。
二回目以降の入庫においては、記憶部103にレコードが記録されているため、ステップS11にて提供される画面(図5)にて、当該レコードに対応するデータが表示される。ここでも運転者は、いずれかの軌跡データを用いて誘導を受けるか、誘導を利用しないかを選択する。例えば、記録されているデータによって誘導を受けたい場合、いずれかのデータを選択すればよい。
Returning to FIG. 4, the processing when performing the second and subsequent warehousing will be described.
In the second and subsequent warehousing, since a record is recorded in the storage unit 103, data corresponding to the record is displayed on the screen (FIG. 5) provided in step S11. Again, the driver selects whether to receive guidance using any of the trajectory data or not to use guidance. For example, when it is desired to receive guidance based on recorded data, any data may be selected.

一方で、記録されている軌跡データに関連付いた状況と、現在の状況が異なっており、記録されているデータでは十分な誘導が受けられない場合、運転者は「誘導を利用しない」を選択することができる。例えば、前回は晴天かつ同乗者無しであったが、今回は雨天かつ同乗者がいるため、駐車位置を調整する必要があるようなケースである。
このような場合、前述した処理によって軌跡データが生成され、「雨天かつ同乗者あり」という状況に対応するレコードが新規作成される。
On the other hand, if the situation associated with the recorded trajectory data is different from the current situation, and the recorded data does not provide sufficient guidance, the driver selects “Do not use guidance” can do. For example, the last time was sunny and no passengers, but this time it was raining and there were passengers, so the parking position needs to be adjusted.
In such a case, the trajectory data is generated by the above-described processing, and a record corresponding to the situation “rainy and passengers” is newly created.

<車両の誘導方法>
次に、記憶された軌跡データを用いて車両を誘導する方法について説明する。
ステップS11にて、特定の軌跡データを用いて誘導を受ける旨の選択を行うと(ステ
ップS12−Yes)、制御部102は、選択された軌跡データを用いて、車両の誘導を開始する。
<Vehicle guidance method>
Next, a method for guiding the vehicle using the stored trajectory data will be described.
In step S11, if selection to receive guidance using specific trajectory data is performed (step S12-Yes), the control unit 102 starts guidance of the vehicle using the selected trajectory data.

まず、ステップS14で、制御部102が、軌跡データ(すなわちトレースすべき軌跡)と車両の現在位置とを比較し、ずれ量および当該ずれを補正するために必要な操作量を演算する。   First, in step S14, the control unit 102 compares the trajectory data (that is, the trajectory to be traced) and the current position of the vehicle, and calculates a deviation amount and an operation amount necessary to correct the deviation.

次に、ステップS15で、制御部102が、入出力部104を介して運転者に対して操作指示を行う。図7は、必要な運転操作を運転者に教示するためのインタフェースの例である。なお、教示の内容はステアリング操作のみであってもよいし、スロットルやブレーキ操作などを含んでいてもよい。また、次の停止位置までの距離を案内してもよい。   Next, in step S <b> 15, the control unit 102 issues an operation instruction to the driver via the input / output unit 104. FIG. 7 is an example of an interface for instructing a driver about a necessary driving operation. Note that the teaching content may be only a steering operation, or may include a throttle or a brake operation. Moreover, you may guide the distance to the next stop position.

なお、本例では、運転操作の内容を図形および文字で表示したが、車両を俯瞰した図形を生成し、誘導に用いている軌跡と現在の車両との関係をグラフィカルに表示するようにしてもよい。また、車両の向きをどちらに修正すべきかを、例示した方法以外によって教示してもよい。例えば、カメラが取得した画像に、修正すべき方向を重畳して表示するようにしてもよい。また、音声入出力手段を加え、音声によって操作を案内してもよい。   In this example, the contents of the driving operation are displayed with graphics and characters. However, a figure overlooking the vehicle is generated, and the relationship between the locus used for guidance and the current vehicle may be graphically displayed. Good. In addition, the direction of the vehicle to be corrected may be taught by a method other than the exemplified method. For example, the direction to be corrected may be superimposed and displayed on the image acquired by the camera. Further, voice input / output means may be added to guide the operation by voice.

ステップS16では、ステップS13と同様に、制御部102が軌跡データの生成を行う。   In step S16, as in step S13, the control unit 102 generates trajectory data.

なお、軌跡データは点の集合であるため、正確に軌跡をトレースさせようとすると、図8(A)のように車体がふらつくおそれがある。そこで、軌跡に一定のマージンを持たせ、マージンの範囲に収まるように誘導してもよい。例えば、図8(B)のように、左右にある程度の幅を持たせ、範囲内に収まっていれば同一軌跡であるとみなしてもよい。   Since the trajectory data is a set of points, there is a risk that the vehicle body will fluctuate as shown in FIG. 8A if the trajectory is traced accurately. Therefore, the trajectory may be given a certain margin and guided so as to be within the margin range. For example, as shown in FIG. 8B, a certain amount of width may be given to the left and right, and the same locus may be regarded as being within the range.

ステップS14〜S16の処理を繰り返すことで、選択された軌跡データと同一の軌跡によって入庫できるように、車両を誘導することができる。   By repeating the processes of steps S14 to S16, the vehicle can be guided so that the vehicle can be entered along the same locus as the selected locus data.

入庫が完了すると、処理は図6のステップS21へ遷移する。
先ほどの説明(一回目の入庫)では、ステップS22にて否定判定となったが、二回目以降の入庫では、記憶部103に軌跡データが記憶されているため、ステップS22にて肯定判定となる。
When the warehousing is completed, the process proceeds to step S21 in FIG.
In the above description (first warehousing), a negative determination is made in step S22. However, in the second and subsequent warehousing, since the trajectory data is stored in the storage unit 103, an affirmative determination is made in step S22. .

ステップS23およびS24は、直近に行われた入庫における軌跡および状況が、過去の入庫における軌跡および状況と類似しているか否かを判定するステップである。
具体的には、まず、ステップS23で、直近に行われた入庫における軌跡と、記憶部103に記憶されているいずれかの軌跡データとの類似度が所定値以上であるか否かを判定する。ここで、いずれの軌跡データとも類似しない場合、処理はステップS25へ遷移し、新規のレコードが登録される。
Steps S23 and S24 are steps for determining whether or not the trajectory and situation at the most recent warehousing are similar to the trajectory and situation at the past warehousing.
Specifically, first, in step S23, it is determined whether or not the degree of similarity between the trajectory in the most recent warehousing and any of the trajectory data stored in the storage unit 103 is greater than or equal to a predetermined value. . Here, if none of the trajectory data is similar, the process proceeds to step S25, and a new record is registered.

なお、軌跡同士の類似度は、既知の手法によって判定することができる。例えば、図8(C)に示したように、軌跡上の対応点同士を結んだ距離の平均値などを利用することができる。この際、軌跡上の対応点の組は、カメラによって取得された画像の類似度に基づいて特定してもよい。   Note that the degree of similarity between trajectories can be determined by a known method. For example, as shown in FIG. 8C, an average value of distances connecting corresponding points on the trajectory can be used. At this time, the set of corresponding points on the trajectory may be specified based on the similarity of images acquired by the camera.

一方、いずれかの軌跡データとの類似度が所定値以上であると判定された場合、当該軌跡データに関連付いた状況と、現在の状況との類似度が所定値以上であるか否かを判定する。この結果、状況が類似しない場合、処理はステップS25へ遷移し、新規のレコードが登録される。
なお、本実施形態では、状況は複数の要素で構成される。このため、各要素同士の類似度を求めたうえで、既知の手法によって全体的な類似度を算出するようにしてもよい。
On the other hand, if it is determined that the similarity with any of the trajectory data is greater than or equal to a predetermined value, whether or not the similarity between the situation associated with the trajectory data and the current situation is greater than or equal to a predetermined value. judge. As a result, if the situation is not similar, the process proceeds to step S25, and a new record is registered.
In the present embodiment, the situation is composed of a plurality of elements. For this reason, after obtaining the similarity between the elements, the overall similarity may be calculated by a known method.

軌跡および状況の双方が類似すると判定された場合、既に記憶されている軌跡データと同一の条件で車庫入れが行われたことを意味するため、データの追加は行わず、処理は終了する。   If it is determined that both the trajectory and the situation are similar, it means that the garage has been placed under the same conditions as the trajectory data that has already been stored, so that no data is added and the process ends.

以上に説明したように、第一の実施形態に係る車両誘導装置100は、車両が入庫した際の軌跡を蓄積し、次回以降の誘導において利用する。また、軌跡は、車両が入庫した際の状況と関連付いた状態で複数個が記憶され、運転者によってその都度選択される。すなわち、車両が入庫する際の状況に応じて、最適な軌跡を利用することができる。   As described above, the vehicle guidance device 100 according to the first embodiment accumulates the trajectory when the vehicle is received and uses it in the next and subsequent guidance. In addition, a plurality of trajectories are stored in a state associated with the situation when the vehicle enters, and is selected each time by the driver. That is, an optimal locus can be used according to the situation when the vehicle enters.

なお、第一の実施形態では、車外カメラが取得した画像のみに基づいて車両の位置を判定したが、他のセンシング手段を併用してもよい。例えば、複数の距離センサや高精度GPSなどを併用することで、より正確に車両の位置を取得できる。また、これらのセンサ手段をメインとして車両の位置検出を行い、車外カメラが取得した画像については補助的(例えば、運転者への情報提供用など)に利用するようにしてもよい。   In the first embodiment, the position of the vehicle is determined based only on the image acquired by the outside camera, but other sensing means may be used in combination. For example, the position of the vehicle can be acquired more accurately by using a plurality of distance sensors and high-precision GPS together. Further, the position of the vehicle may be detected mainly using these sensor means, and the image acquired by the outside camera may be used supplementarily (for example, for providing information to the driver).

(第一の実施形態の変形例)
第一の実施形態では、ステップS24で肯定判定だった場合、そのまま処理を終了したが、直近の入庫における軌跡データを用いて、記憶されている軌跡データを更新してもよい。例えば、今回の入庫における軌跡と、記憶されている軌跡データとが類似すると判定された場合、双方が同一の軌跡とみなされるよう、記憶されている軌跡データに関連付いたマージンを拡大してもよい。また、マージンは、全体的な値を底上げしてもよいし、特定の場所についてのみ拡大するようにしてもよい。
(Modification of the first embodiment)
In the first embodiment, if the determination in step S24 is affirmative, the processing is terminated as it is, but the stored trajectory data may be updated using the trajectory data in the latest warehousing. For example, if it is determined that the trajectory in the current warehousing and the stored trajectory data are similar, the margin associated with the stored trajectory data may be expanded so that both are regarded as the same trajectory. Good. Further, the margin may be raised to an overall value or may be enlarged only for a specific place.

また、第一の実施形態では、現在の車両の状態と、軌跡データとの差分を教示したが、かかる方法によると、運転操作のタイムラグに起因して車両の軌跡が振動的になるおそれがある。そこで、運転操作のタイムラグを考慮して教示を行うようにしてもよい。例えば、既知の手法によって車両の位置を予め予測し、教示内容を補正するようにしてもよい。   In the first embodiment, the difference between the current vehicle state and the trajectory data is taught. However, according to such a method, the trajectory of the vehicle may be vibrated due to the time lag of the driving operation. . Therefore, teaching may be performed in consideration of the time lag of the driving operation. For example, the position of the vehicle may be predicted in advance by a known method, and the teaching content may be corrected.

(第二の実施形態)
第一の実施形態では、記憶されている軌跡データに従って車両の誘導を行った。しかし、選択された状況が同じであっても、実際の駐車スペースの状況が必ずしも同じとは限らない。例えば、駐車場の敷地に余裕が無い場合、自転車などの障害物が置かれている可能性もある。しかし、障害物の検出は比較的容易に行えるが、それが、車両の進行に影響を与える物体であるか否かを機械に判定させるためにはコストがかかる。
第二の実施形態は、かかる課題に対応するものであり、記憶されているデータと、センシングしたデータとの間に相違点を検出した場合に、車両の進行可否を運転者に確認する実施形態である。
(Second embodiment)
In the first embodiment, the vehicle is guided according to the stored trajectory data. However, even if the selected situation is the same, the actual parking space situation is not necessarily the same. For example, if there is no room on the parking lot site, there is a possibility that an obstacle such as a bicycle is placed. However, although an obstacle can be detected relatively easily, it is costly to let the machine determine whether or not the object is an object that affects the progress of the vehicle.
The second embodiment corresponds to such a problem, and in the case where a difference is detected between the stored data and the sensed data, an embodiment for confirming with the driver whether or not the vehicle is advancing. It is.

第二の実施形態では、図9に示したように、軌跡データに、車外カメラが取得した複数の画像が関連付いて記録される。   In the second embodiment, as shown in FIG. 9, a plurality of images acquired by the camera outside the vehicle are recorded in association with the trajectory data.

図10は、図4に示した処理のうち、第二の実施形態における相違点を説明するフローチャートである。第二の実施形態では、ステップS16を実行した後で、現在位置に対応する画像を取得し、当該取得した画像と、車外カメラによって取得した現在の画像とを比較し、相違があるか否かを判定する(ステップS17)。ここで、相違の度合いが所定の閾値よりも大きいと判定された場合、運転者に対して当該相違点を提示し、誘導を続行するか否かを確認する(ステップS18)。例えば、図11のような画面を提示し、確認を
行うまで誘導を中断する。この結果、続行指示があった場合は、処理はステップS14へ戻り、誘導を続行する。中断指示があった場合、処理は終了し、誘導が中断される。
なお、続行指示があった場合、相違点として検出したオブジェクトについては引き続き追跡を行い、以降のループにおいて無視することが好ましい。
FIG. 10 is a flowchart for explaining differences in the second embodiment among the processes shown in FIG. In the second embodiment, after executing step S16, an image corresponding to the current position is acquired, and the acquired image is compared with the current image acquired by the vehicle camera, and whether there is a difference. Is determined (step S17). Here, when it is determined that the degree of difference is greater than the predetermined threshold, the difference is presented to the driver, and it is confirmed whether or not to continue the guidance (step S18). For example, a screen as shown in FIG. 11 is presented, and guidance is interrupted until confirmation is performed. As a result, if there is a continuation instruction, the process returns to step S14 to continue the guidance. If there is an interruption instruction, the process ends and the guidance is interrupted.
When a continuation instruction is given, it is preferable to continue tracking an object detected as a difference and ignore it in the subsequent loops.

第二の実施形態によると、過去に取得したセンシング結果と、現在のセンシング結果との相違点の検出のみを装置が行い、車両の誘導を続けてもよいか否かは運転者が判断する。かかる構成によると、低コスト性と安全性を両立させることができる。   According to the second embodiment, the device only detects the difference between the sensing result acquired in the past and the current sensing result, and the driver determines whether or not the vehicle guidance may be continued. According to this configuration, both low cost and safety can be achieved.

なお、第二の実施形態では、画像を用いてオブジェクトを検出したが、他のセンシング手段を用いてオブジェクトを検出しても構わない。   In the second embodiment, the object is detected using the image, but the object may be detected using other sensing means.

(第三の実施形態)
第一および第二の実施形態に係る車両誘導装置100は、車庫入れを行うごとに状況を判定し、過去の状況とは異なる状況を検出した場合に、自動的に新規の軌跡データを作成して記憶する。これにより、状況ごとに適した軌跡データを生成することができる。一方で、このような方法を用いた場合、装置に記憶される軌跡データの数が増加し、運転者が選択しづらくなる。第三の実施形態は、これに対応するため、誘導に用いる軌跡データをフィルタリングしたうえで運転者に提供する実施形態である。
(Third embodiment)
The vehicle guidance device 100 according to the first and second embodiments determines the situation every time when entering the garage, and automatically creates new trajectory data when a situation different from the past situation is detected. Remember. Thereby, trajectory data suitable for each situation can be generated. On the other hand, when such a method is used, the number of trajectory data stored in the device increases, making it difficult for the driver to select. In order to cope with this, the third embodiment is an embodiment in which the trajectory data used for guidance is filtered and provided to the driver.

第三の実施形態では、ステップS11にて軌跡データを選択する際に、全てのデータを表示するのではなく、状況取得部105が現在の状況を取得したうえで、制御部102が適切と考えられるデータのみを抽出して表示する。例えば、同乗者がいることが分かっている場合、図3に示したデータのうち、ID=2,3,4のみを抽出して表示する。また、現在の天候が雨であることが分かっている場合、図3に示したデータのうち、ID=2,4のみを抽出して表示する。本実施形態では、このように、装置が把握している現在の状況に基づいて自動的にフィルタリングを行い、最終的に使用する軌跡データは運転者が選択する。   In the third embodiment, when selecting trajectory data in step S11, the controller 102 considers that the controller 102 is appropriate after the situation acquisition unit 105 acquires the current situation, rather than displaying all the data. Extract only the data that can be displayed. For example, when it is known that there is a passenger, only ID = 2, 3, and 4 are extracted and displayed from the data shown in FIG. If it is known that the current weather is rain, only ID = 2, 4 are extracted and displayed from the data shown in FIG. In this embodiment, in this way, filtering is automatically performed based on the current situation grasped by the device, and the trajectory data to be finally used is selected by the driver.

なお、本例では、現在の状況に応じて自動的にフィルタリングを行ったが、フィルタリングの一部もしくは全部を手動で行ってもよい。また、フィルタリングを手動で行う場合、過去に行われたフィルタリングの結果を記憶しておき、利用するようにしてもよい。
また、画面表示を行う際に、フィルタリングが行われなかった項目のみを表示するようにしてもよい。かかる構成によると、表示されている軌跡データがどのような特徴を持っているのかを運転者が把握しやすくなる。
In this example, filtering is automatically performed according to the current situation, but part or all of the filtering may be performed manually. When filtering is performed manually, the result of filtering performed in the past may be stored and used.
In addition, when screen display is performed, only items for which filtering has not been performed may be displayed. According to this configuration, the driver can easily understand what characteristics the displayed trajectory data has.

(第四の実施形態)
第四の実施形態は、第三の実施形態に加え、更に軌跡データを評価する実施形態である。
第一ないし第三の実施形態では、状況が同じであっても、軌跡が異なれば、異なる軌跡データとして記憶される。このような場合、ステップS11において類似する軌跡データが数多く抽出され、判別がしづらくなるという欠点がある。
そこで、第四の実施形態では、「運転者による自己評価」「入庫に要した時間」の二つの基準によって軌跡データの評価を行い、ステップS11において、評価スコア順に表示を行う。
(Fourth embodiment)
In the fourth embodiment, in addition to the third embodiment, the trajectory data is further evaluated.
In the first to third embodiments, even if the situation is the same, if the trajectories are different, they are stored as different trajectory data. In such a case, a lot of similar locus data is extracted in step S11, which makes it difficult to discriminate.
Therefore, in the fourth embodiment, the trajectory data is evaluated based on two criteria of “self-evaluation by the driver” and “time required for warehousing”, and the display is performed in the order of evaluation scores in step S11.

図12は、第四の実施形態における誘導情報テーブルの例である。
運転者による自己評価は、入庫が完了したタイミングで行うことができる。また、自己評価は、例えば、入出力部104を介して行うことができる。
第四の実施形態では、自己評価と所要時間に基づいて軌跡データにスコアを付与し、ス
コアの高い順にソートして表示を行う。かかる構成によると、よりスムーズに入庫でき、運転者が気に入っている軌跡データを優先的に提供することができる。
FIG. 12 is an example of the guidance information table in the fourth embodiment.
Self-evaluation by the driver can be performed at the timing when the warehousing is completed. The self-evaluation can be performed through the input / output unit 104, for example.
In the fourth embodiment, a score is assigned to the trajectory data based on the self-evaluation and the required time, and the data is sorted and displayed in descending order of the score. According to such a configuration, it is possible to enter more smoothly and preferentially provide trajectory data that the driver likes.

なお、自己評価は、自己の運転に対する評価であってもよいし、軌跡データ自体に対する評価であってもよい。また、自己評価を入力する際に、軌跡データに付与するラベル(例:「雨の日の買い物帰りにオススメ」等)を入力し、当該ラベルを、図5の画面で表示するようにしてもよい。   Note that the self-evaluation may be an evaluation of the driver's own driving or an evaluation of the trajectory data itself. Also, when inputting self-assessment, a label to be added to the trajectory data (eg, “Recommended for shopping on rainy days”) is input, and the label is displayed on the screen of FIG. Good.

(変形例)
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、駐車スペースへの入庫を例示したが、本発明に係る車両誘導装置は、他の場所における車両の誘導に利用することもできる。例えば、狭隘道路における車両の通行を補助する装置として利用してもよい。
(Modification)
The above embodiment is merely an example, and the present invention can be implemented with appropriate modifications within a range not departing from the gist thereof.
For example, in the description of the embodiment, warehousing into a parking space has been illustrated, but the vehicle guidance device according to the present invention can also be used for guidance of vehicles in other places. For example, you may utilize as an apparatus which assists the passage of the vehicle on a narrow road.

また、実施形態の説明では、車両誘導装置100は車載装置であるものとしたが、車両誘導装置100の一部の機能を他の装置に持たせてもよい。例えば、記憶部103の機能を、ネットワークストレージ(クラウドサービスや、他のサーバ装置)に持たせてもよい。また、携帯型コンピュータ(スマートフォン等)において動作するアプリケーションとして車両誘導装置100を実装してもよい。   In the description of the embodiment, the vehicle guidance device 100 is an in-vehicle device. However, a part of the functions of the vehicle guidance device 100 may be provided to another device. For example, the function of the storage unit 103 may be provided in a network storage (cloud service or other server device). Moreover, you may mount the vehicle guidance apparatus 100 as an application which operate | moves in a portable computer (smartphone etc.).

また、実施形態の説明では、図6に示したように、軌跡および状況の類似度に基づいて新規データを追加するか否かを決定したが、当該判断を行わず、全て新規データとして追加するようにしてもよい。この場合、データを選択する際に、軌跡および状況が類似するデータをマージして提供するようにしてもよい。   Further, in the description of the embodiment, as shown in FIG. 6, it is determined whether or not new data is added based on the locus and the similarity of the situation. You may do it. In this case, when selecting data, data having similar trajectories and situations may be merged and provided.

また、実施形態の説明では、必要な運転操作を運転者に教示する例を挙げたが、自動運転装置に対する命令を発行することで車両の誘導を行ってもよい。   In the description of the embodiment, an example is given in which a driver is instructed about a necessary driving operation. However, the vehicle may be guided by issuing a command to the automatic driving device.

100 車両誘導装置
101 画像取得部
102 制御部
103 記憶部
104 入出力部
105 状況取得部
110 車外カメラ
DESCRIPTION OF SYMBOLS 100 Vehicle guidance device 101 Image acquisition part 102 Control part 103 Storage part 104 Input / output part 105 Situation acquisition part 110 Outside camera

Claims (10)

車両に備えられたセンサからセンサ情報を取得するセンサ情報取得手段と、
所定の場所において過去に前記車両が移動した際の走行軌跡を表すデータである軌跡データを、当該移動を行った際の状況を表す状況識別子と関連付けて記憶する記憶手段と、
記憶された前記軌跡データのうち現在の状況に対応する軌跡データと、前記センサ情報と、を用いて車両の誘導を行う誘導手段と、
を有する、車両誘導装置。
Sensor information acquisition means for acquiring sensor information from a sensor provided in the vehicle;
Storage means for storing trajectory data, which is data representing a travel trajectory when the vehicle has moved in the past at a predetermined location, in association with a situation identifier representing a situation when the movement is performed;
Guidance means for guiding the vehicle using the trajectory data corresponding to the current situation among the stored trajectory data and the sensor information;
A vehicle guidance device.
前記誘導手段は、前記センサ情報と前記軌跡データとを比較した結果に基づいて、車両の運転者に必要な運転操作を教示する、
請求項1に記載の車両誘導装置。
The guiding means teaches a driving operation necessary for a driver of the vehicle based on a result of comparing the sensor information and the trajectory data.
The vehicle guidance device according to claim 1.
前記軌跡データは、前記車両が移動した際に検出した、車両周辺の物体に関する情報をさらに含み、
前記誘導手段は、前記センサ情報と前記軌跡データとを比較した結果、前記軌跡データに含まれない物体を検出した場合に、前記車両の進行可否を前記車両の運転者に確認する、
請求項2に記載の車両誘導装置。
The trajectory data further includes information related to objects around the vehicle detected when the vehicle moves,
The guidance means confirms whether or not the vehicle can proceed when the object not included in the trajectory data is detected as a result of comparing the sensor information and the trajectory data.
The vehicle guidance device according to claim 2.
記憶された複数の前記軌跡データから、関連付いた状況識別子が現在の状況と類似する前記軌跡データを抽出する抽出手段をさらに有する、
請求項1から3のいずれかに記載の車両誘導装置。
An extraction means for extracting the trajectory data whose associated situation identifier is similar to the current situation from the plurality of stored trajectory data;
The vehicle guidance device according to any one of claims 1 to 3.
前記抽出手段は、前記抽出した軌跡データから、誘導に使用する軌跡データを前記車両の運転者に選択させる、
請求項4に記載の車両誘導装置。
The extraction means causes the driver of the vehicle to select trajectory data used for guidance from the extracted trajectory data.
The vehicle guidance device according to claim 4.
前記抽出手段は、車両の運転者が前記軌跡データに対して行った評価にさらに基づいて前記軌跡データを抽出する、
請求項4または5に記載の車両誘導装置。
The extraction means extracts the trajectory data further based on an evaluation performed by the vehicle driver on the trajectory data;
The vehicle guidance device according to claim 4 or 5.
前記所定の場所において前記車両が移動した際に、当該移動に係る軌跡データと、当該移動が行われた際の状況を取得し、前記記憶手段に記憶されているデータとの類似度に基づいて、前記記憶手段に新規の軌跡データとして記憶させるか否かを決定する更新手段をさらに有する、
請求項1から6のいずれかに記載の車両誘導装置。
When the vehicle moves at the predetermined place, the trajectory data related to the movement and the situation when the movement is performed are acquired, and based on the similarity between the data stored in the storage unit , Further comprising update means for determining whether or not to store as new trajectory data in the storage means,
The vehicle guidance device according to any one of claims 1 to 6.
前記状況識別子は、車両の誘導を行う場所、運転者の識別子、天候、同乗者の有無、積荷の有無の少なくともいずれかを表すものである、
請求項1から7のいずれかに記載の車両誘導装置。
The situation identifier represents at least one of the location where the vehicle is guided, the driver's identifier, the weather, the presence or absence of a passenger, and the presence or absence of cargo.
The vehicle guidance device according to any one of claims 1 to 7.
前記誘導手段は、前記運転者が行う運転操作のタイムラグを考慮して前記教示を行う、
請求項2に記載の車両誘導装置。
The guidance means performs the teaching in consideration of a time lag of a driving operation performed by the driver.
The vehicle guidance device according to claim 2.
車両誘導装置が行う車両誘導方法であって、
車両に備えられたセンサからセンサ情報を取得するセンサ情報取得ステップと、
所定の場所において過去に前記車両が移動した際の走行軌跡を表すデータである軌跡データを、当該移動を行った際の状況を表す状況識別子と関連付けて記憶する記憶装置から、現在の状況に対応する軌跡データを取得するデータ取得ステップと、
前記取得した軌跡データと、前記センサ情報と、を用いて車両の誘導を行う誘導ステップと、
を含む、車両誘導方法。
A vehicle guidance method performed by a vehicle guidance device,
A sensor information acquisition step of acquiring sensor information from a sensor provided in the vehicle;
Corresponding to the current situation from a storage device that stores trajectory data, which is data representing a travel trajectory when the vehicle has moved in the past at a predetermined location, in association with a situation identifier representing the situation at the time of the movement. A data acquisition step for acquiring trajectory data to be performed;
A guidance step of guiding the vehicle using the acquired trajectory data and the sensor information;
A vehicle guidance method including:
JP2016231239A 2016-11-29 2016-11-29 Vehicle guidance device and vehicle guidance method Expired - Fee Related JP6717174B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016231239A JP6717174B2 (en) 2016-11-29 2016-11-29 Vehicle guidance device and vehicle guidance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016231239A JP6717174B2 (en) 2016-11-29 2016-11-29 Vehicle guidance device and vehicle guidance method

Publications (2)

Publication Number Publication Date
JP2018086928A true JP2018086928A (en) 2018-06-07
JP6717174B2 JP6717174B2 (en) 2020-07-01

Family

ID=62494073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016231239A Expired - Fee Related JP6717174B2 (en) 2016-11-29 2016-11-29 Vehicle guidance device and vehicle guidance method

Country Status (1)

Country Link
JP (1) JP6717174B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054267A (en) * 2019-09-30 2021-04-08 アイシン精機株式会社 Parking support device
DE112020002514T5 (en) 2019-07-11 2022-02-24 Hitachi Astemo, Ltd. vehicle control device
WO2023002899A1 (en) * 2021-07-23 2023-01-26 株式会社デンソー Driving assistance device and driving assistance method
WO2023026601A1 (en) * 2021-08-23 2023-03-02 パナソニックIpマネジメント株式会社 Information processing device, parking assistance device, and method
JP7468463B2 (en) 2021-06-11 2024-04-16 トヨタ自動車株式会社 Image projection device, program, and image projection method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010208392A (en) * 2009-03-09 2010-09-24 Nissan Motor Co Ltd Parking support device and parking support method
WO2011132309A1 (en) * 2010-04-23 2011-10-27 トヨタ自動車株式会社 Parking support device
US20130032421A1 (en) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC Driving assistance apparatus for assistance with driving along narrow roadways
JP2015214225A (en) * 2014-05-09 2015-12-03 日産自動車株式会社 Parking support apparatus and parking support method
JP2015214223A (en) * 2014-05-09 2015-12-03 日産自動車株式会社 Parking assist system and parking assist method
JP2016060226A (en) * 2014-09-12 2016-04-25 アイシン精機株式会社 Parking support device, parking support method, and control program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010208392A (en) * 2009-03-09 2010-09-24 Nissan Motor Co Ltd Parking support device and parking support method
WO2011132309A1 (en) * 2010-04-23 2011-10-27 トヨタ自動車株式会社 Parking support device
US20130032421A1 (en) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC Driving assistance apparatus for assistance with driving along narrow roadways
JP2015214225A (en) * 2014-05-09 2015-12-03 日産自動車株式会社 Parking support apparatus and parking support method
JP2015214223A (en) * 2014-05-09 2015-12-03 日産自動車株式会社 Parking assist system and parking assist method
JP2016060226A (en) * 2014-09-12 2016-04-25 アイシン精機株式会社 Parking support device, parking support method, and control program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020002514T5 (en) 2019-07-11 2022-02-24 Hitachi Astemo, Ltd. vehicle control device
JP2021054267A (en) * 2019-09-30 2021-04-08 アイシン精機株式会社 Parking support device
JP7351172B2 (en) 2019-09-30 2023-09-27 株式会社アイシン parking assist device
JP7468463B2 (en) 2021-06-11 2024-04-16 トヨタ自動車株式会社 Image projection device, program, and image projection method
WO2023002899A1 (en) * 2021-07-23 2023-01-26 株式会社デンソー Driving assistance device and driving assistance method
WO2023026601A1 (en) * 2021-08-23 2023-03-02 パナソニックIpマネジメント株式会社 Information processing device, parking assistance device, and method

Also Published As

Publication number Publication date
JP6717174B2 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
JP6717174B2 (en) Vehicle guidance device and vehicle guidance method
CN108230731B (en) Parking lot navigation system and method
US10970747B2 (en) Access and control for driving of autonomous vehicle
US10429854B2 (en) Method and system for automatically controlling a following vehicle with a scout vehicle
US9874877B2 (en) Method and system for automatically controlling a following vehicle with a scout vehicle
US20220340127A1 (en) Automatic parking control method and apparatus
CN108140319B (en) Parking assistance method and parking assistance device
JP5987922B2 (en) Driving assistance device based on driver emotion
EP3694768B1 (en) Automatically parking a vehicle in a parking slot
US10902272B2 (en) Phrase recognition model for autonomous vehicles
JP2018197964A (en) Control method of vehicle, and device thereof
WO2016151749A1 (en) Automatic driving assistance device, control method, program, and storage medium
JP6852793B2 (en) Lane information management method, driving control method and lane information management device
CN109074738A (en) Parking aid
CN107953884A (en) Running control apparatus and method for autonomous vehicle
CN109774729A (en) Realize the quick stopping method and apparatus of automatic driving vehicle
JP5987923B2 (en) Driving assistance device based on driver emotion
CN107097782A (en) Method and system and corresponding vehicle, parking lot for asking for vehicle data
JP6090340B2 (en) Driver emotion estimation device
JP6410655B2 (en) Road shape detection system, road shape detection method, and computer program
CN113492841B (en) Parking control method and device and computer readable storage medium
CN108088451A (en) For controlling the apparatus and method in the path of vehicle
JP6149842B2 (en) Driver emotion estimation apparatus and method
CN113903189B (en) Parking space updating method, device and equipment of parking map
JP2008070128A (en) Driving history recording device and program used for the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R151 Written notification of patent or utility model registration

Ref document number: 6717174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees