JP2018116014A - Own vehicle position estimation device, control method, program and storage medium - Google Patents

Own vehicle position estimation device, control method, program and storage medium Download PDF

Info

Publication number
JP2018116014A
JP2018116014A JP2017008398A JP2017008398A JP2018116014A JP 2018116014 A JP2018116014 A JP 2018116014A JP 2017008398 A JP2017008398 A JP 2017008398A JP 2017008398 A JP2017008398 A JP 2017008398A JP 2018116014 A JP2018116014 A JP 2018116014A
Authority
JP
Japan
Prior art keywords
shape
vehicle position
vehicle
feature
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017008398A
Other languages
Japanese (ja)
Other versions
JP6889561B2 (en
Inventor
拓矢 菅原
Takuya Sugawara
拓矢 菅原
由和 栃木
Yoshikazu Tochigi
由和 栃木
淳一 竹田
Junichi Takeda
淳一 竹田
佑太 池田
Yuta Ikeda
佑太 池田
拓磨 川口
Takuma Kawaguchi
拓磨 川口
陽子 藤田
Yoko Fujita
陽子 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Geotechnologies Inc
Original Assignee
Pioneer Electronic Corp
Increment P Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp, Increment P Corp filed Critical Pioneer Electronic Corp
Priority to JP2017008398A priority Critical patent/JP6889561B2/en
Publication of JP2018116014A publication Critical patent/JP2018116014A/en
Application granted granted Critical
Publication of JP6889561B2 publication Critical patent/JP6889561B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an own vehicle position estimation device capable of estimating a highly accurate own vehicle position by utilizing map data.SOLUTION: A vehicle-mounted device detects point group data representing a shape of a feature existing around a vehicle based on output of a rider. Moreover, the vehicle-mounted device refers to a feature DB21 and generates polygon data indicating the shape of the feature recognized from the outline own vehicle position based on output of a GPS receiver or the like. Then, the vehicle-mounted device estimates a highly accurate own vehicle position based on the point group data and the polygon data.SELECTED DRAWING: Figure 4

Description

本発明は、地物の3次元データを用いた位置推定技術に関する。   The present invention relates to a position estimation technique using three-dimensional data of a feature.

従来から、建物などの地物の3次元データを生成する技術が知られている。例えば、特許文献1には、衛星写真や航空写真などのラスタ形式の画像データを解析して道路、河川、圃場等の区画を自動認識し、区画の情報をベクタ形式の画像データとして出力する技術が開示されている。   Conventionally, a technique for generating three-dimensional data of a feature such as a building is known. For example, Patent Document 1 discloses a technique for analyzing raster format image data such as satellite photographs and aerial photographs to automatically recognize sections such as roads, rivers, and farm fields, and outputting section information as vector format image data. Is disclosed.

特開2014−194722号公報JP 2014-194722 A

一般に、GPS受信機や自立測位センサなどの出力に基づく自車位置は、実際の自車位置とずれてしまう場合があり、このようなずれは正確な経路案内や自動運転制御の実行にとって障害となる。一方、特許文献1では地物の3次元データを自動生成するため、このような技術を地図整備に応用することで、地物の3次元データを含む地図データを生成することが可能である。そこで、本発明は、地図データを利用することで高精度な自車位置を推定することが可能な自車位置推定装置を提供することを主な目的とする。   In general, the vehicle position based on the output of a GPS receiver or a self-supporting positioning sensor may deviate from the actual vehicle position, and such a displacement is an obstacle to the execution of accurate route guidance and automatic driving control. Become. On the other hand, in Patent Document 1, since three-dimensional data of a feature is automatically generated, map data including the three-dimensional data of the feature can be generated by applying such a technique to map maintenance. Then, this invention makes it the main objective to provide the own vehicle position estimation apparatus which can estimate the own vehicle position with high precision using map data.

請求項1に記載の発明は、自車位置推定装置であって、車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、前記車両の概略自車位置を取得する取得手段と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置から認識される地物の形状である第2形状を生成する生成手段と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段と、を備える。   The invention according to claim 1 is an own vehicle position estimating device, wherein a detecting means for detecting a first shape which is a shape of a feature existing around the vehicle, and an approximate own vehicle position of the vehicle are acquired. An acquisition unit; a generation unit that refers to a feature database storing the position and shape of the feature, and generates a second shape that is a shape of the feature recognized from the approximate vehicle position; and the first shape and Estimation means for estimating a high-accuracy vehicle position of the vehicle based on the second shape.

請求項9に記載の発明は、自車位置推定装置が実行する制御方法であって、車両の周囲に存在する地物の形状である第1形状を検出する検出工程と、前記車両の概略自車位置を取得する取得工程と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成工程と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定工程と、を有する。   The invention according to claim 9 is a control method executed by the own vehicle position estimating device, wherein a detection step of detecting a first shape which is a shape of a feature existing around the vehicle, and a rough self of the vehicle. With reference to the acquisition step of acquiring the vehicle position and the feature database storing the position and shape of the feature, the features recognized from the approximate own vehicle position or a candidate position that is a peripheral position of the approximate own vehicle position. A generating step of generating a second shape that is a shape, and an estimating step of estimating a high-accuracy vehicle position of the vehicle based on the first shape and the second shape.

請求項10に記載の発明は、コンピュータが実行するプログラムであって、車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、前記車両の概略自車位置を取得する取得手段と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成手段と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段として前記コンピュータを機能させる。   The invention according to claim 10 is a program executed by a computer, and detects a first shape which is a shape of a feature existing around the vehicle, and acquires a rough own vehicle position of the vehicle. A second feature shape that is recognized from an acquisition means and a feature database that stores the position and shape of the feature, and is recognized from the approximate vehicle position or a candidate position that is a peripheral position of the approximate vehicle position; The computer is caused to function as a generation unit that generates a shape, and an estimation unit that estimates the vehicle position of the vehicle with high accuracy based on the first shape and the second shape.

自車位置推定システムの概略構成である。It is a schematic structure of the own vehicle position estimation system. 車載機のブロック構成を示す。The block configuration of the in-vehicle device is shown. 地物DBのデータ構造の一例を示す。An example of the data structure of feature DB is shown. 自車位置推定処理の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the own vehicle position estimation process. 高精度自車位置決定処理を示すフローチャートである。It is a flowchart which shows a highly accurate own vehicle position determination process. 自車位置周辺を表す俯瞰図である。It is a bird's-eye view showing the periphery of the own vehicle position. 概略自車位置周辺を表す俯瞰図である。It is a bird's-eye view showing the outline of the own vehicle position. 概略自車位置に基づく座標変換により点群データとポリゴンデータとを同一座標系により表した場合の被照射部位の相対位置関係を示す。The relative positional relationship of the irradiated site when the point cloud data and polygon data are expressed in the same coordinate system by coordinate transformation based on the approximate vehicle position is shown. (A)候補位置の設定例を示す。(B)候補位置P5を基準とした座標変換により点群データとポリゴンデータとを同一座標系により表した場合の被照射部位の相対位置関係を示す。(A) An example of setting candidate positions is shown. (B) The relative positional relationship of the irradiated parts when the point cloud data and the polygon data are represented in the same coordinate system by coordinate conversion with the candidate position P5 as a reference is shown. 変形例において参照される地物DBのデータ構造の一例を示す。An example of the data structure of feature DB referred in a modification is shown.

本発明の好適な実施形態によれば、自車位置推定装置であって、車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、前記車両の概略自車位置を取得する取得手段と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置から認識される地物の形状である第2形状を生成する生成手段と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段と、を備える。   According to a preferred embodiment of the present invention, there is provided an own vehicle position estimating device for detecting a first shape which is a shape of a feature existing around a vehicle, and an approximate own vehicle position of the vehicle. An acquisition means for acquiring, a generation means for generating a second shape which is a shape of the feature recognized from the approximate vehicle position, with reference to a feature database storing the position and shape of the feature, and the first Estimation means for estimating a high-accuracy host vehicle position of the vehicle based on the shape and the second shape.

上記自車位置推定装置は、検出手段と、取得手段と、生成手段と、推定手段とを備える。検出手段は、車両の周囲に存在する地物の形状である第1形状を検出する。取得手段は、車両の概略自車位置を取得する。ここで、「概略自車位置」は、後述する高精度自車位置を推定するまでの暫定的かつ概略的な自車位置を指す。生成手段は、地物の位置及び形状を記憶した地物データベースを参照し、概略自車位置から認識される地物の形状である第2形状を生成する。推定手段は、第1形状及び第2形状に基づいて、車両の高精度自車位置を推定する。この態様では、自車位置推定装置は、検出手段が検出した地物の形状と、地物データベースと概略自車位置から認識される地物の形状とに基づいて、自車位置を高精度に推定することができる。   The host vehicle position estimation apparatus includes a detection unit, an acquisition unit, a generation unit, and an estimation unit. The detecting means detects a first shape that is a shape of a feature existing around the vehicle. The acquisition means acquires a rough vehicle position of the vehicle. Here, the “approximate own vehicle position” refers to a provisional and approximate own vehicle position until a highly accurate own vehicle position to be described later is estimated. The generation means refers to a feature database that stores the position and shape of the feature, and generates a second shape that is the shape of the feature recognized from the approximate vehicle position. The estimating means estimates the vehicle position of the vehicle with high accuracy based on the first shape and the second shape. In this aspect, the host vehicle position estimation device accurately determines the host vehicle position based on the shape of the feature detected by the detection unit and the shape of the feature recognized from the feature database and the approximate host vehicle position. Can be estimated.

上記自車位置推定装置の一態様では、前記取得手段は、前記車両の方向を取得し、前記検出手段は、前記車両から前記方向に存在する地物の形状を前記第1形状として検出し、前記生成手段は、前記概略自車位置又は前記概略自車位置の周辺に設定された候補位置から前記方向に存在する地物の形状を前記第2形状として生成する。一般に、地物の全体形状のうち車両から検出可能な形状は車両から観察して表側に限定されており、車両から観察して裏側については検出できない。従って、この態様では、自車位置推定装置は、車両の方向に基づき、車両から検出可能な地物の形状を第2形状として生成することで、検出手段が検出する第1形状と好適に照合させることができる。   In one aspect of the host vehicle position estimation device, the acquisition unit acquires a direction of the vehicle, and the detection unit detects a shape of a feature existing in the direction from the vehicle as the first shape, The generation unit generates, as the second shape, a shape of a feature existing in the direction from the approximate vehicle position or a candidate position set around the approximate vehicle position. In general, the shape that can be detected from the vehicle is limited to the front side when observed from the vehicle, and the back side cannot be detected from the vehicle. Therefore, in this aspect, the vehicle position estimation device preferably matches the first shape detected by the detecting means by generating the shape of the feature that can be detected from the vehicle as the second shape based on the direction of the vehicle. Can be made.

上記自車位置推定装置の他の一態様では、前記推定手段は、前記第1形状と前記第2形状とが一致する場合、前記概略自車位置を前記高精度自車位置と推定し、前記第1形状と前記第2形状とが一致しない場合、前記概略自車位置の周辺に設定された候補位置から認識される地物の形状を第2形状とし、当該第2形状が前記第1形状と一致する候補位置を高精度自車位置と推定する。この態様により、自車位置推定装置は、高精度自車位置を好適に推定することができる。   In another aspect of the host vehicle position estimation device, the estimation unit estimates the approximate host vehicle position as the high-precision host vehicle position when the first shape and the second shape match, and When the first shape does not match the second shape, the shape of the feature recognized from the candidate positions set around the approximate vehicle position is the second shape, and the second shape is the first shape. Is estimated as a high-accuracy vehicle position. According to this aspect, the host vehicle position estimation apparatus can preferably estimate the high-precision host vehicle position.

上記自車位置推定装置の他の一態様では、前記生成手段は、複数の候補位置について第2形状を生成し、前記推定手段は、複数の第2形状のうち、前記第1形状との類似度が最大かつ所定閾値以上である第2形状を、前記第1形状と一致する第2形状と判定する。この態様により、自車位置推定装置は、複数設定した候補位置から実際の自車位置に最も近い候補位置を高精度自車位置として好適に選定することができる。   In another aspect of the host vehicle position estimation device, the generation unit generates a second shape for a plurality of candidate positions, and the estimation unit is similar to the first shape among a plurality of second shapes. The second shape having the maximum degree and not less than the predetermined threshold value is determined as the second shape that matches the first shape. According to this aspect, the host vehicle position estimation device can suitably select a candidate position closest to the actual host vehicle position as a high-accuracy host vehicle position from a plurality of set candidate positions.

上記自車位置推定装置の他の一態様では、前記生成手段は、前記概略自車位置又は前記概略自車位置の周辺に設定された前記高精度自車位置の候補位置から認識される地物のうち、予め決められた優先度の高い地物の形状を前記第2形状として生成する。この態様により、自車位置推定装置は、例えば、高精度自車位置の推定に好適な地物のみを対象として第2形状を生成することで、処理負荷を低減させたり、高精度自車位置の推定精度を高めたりすることが可能となる。好適には、前記優先度の高い地物は、所定値以上の高さを有する地物、及び、公共物の少なくとも1つを含む。   In another aspect of the host vehicle position estimation device, the generation unit recognizes a feature recognized from the approximate vehicle position or a candidate position of the high-accuracy host vehicle position set around the vehicle position. Among them, a shape of a feature having a predetermined high priority is generated as the second shape. With this aspect, the host vehicle position estimation device reduces the processing load by generating the second shape only for features suitable for estimating the host vehicle position with high accuracy, for example, and reduces the processing load. It is possible to improve the estimation accuracy. Preferably, the high priority feature includes at least one of a feature having a height equal to or higher than a predetermined value and a public feature.

上記自車位置推定装置の他の一態様では、前記検出手段は、外界センサにより地物の点群データを生成し、当該点群データに基づき特定される形状を前記第1形状とする。この態様により、自車位置推定装置は、車両の周囲に存在する地物の形状を好適に検出することができる。   In another aspect of the vehicle position estimation device, the detection means generates point cloud data of a feature by an external sensor, and a shape specified based on the point cloud data is the first shape. According to this aspect, the host vehicle position estimation device can preferably detect the shape of the feature existing around the vehicle.

上記自車位置推定装置の他の一態様では、前記取得手段は、GPS及び/又は自立センサにより取得される。この態様により、自車位置推定装置は、第2形状を生成するのに必要な自車位置である概略自車位置を好適に認識することができる。   In another aspect of the vehicle position estimation device, the acquisition unit is acquired by a GPS and / or a self-supporting sensor. According to this aspect, the own vehicle position estimation device can appropriately recognize the approximate own vehicle position that is the own vehicle position necessary to generate the second shape.

本発明の他の好適な実施形態によれば、自車位置推定装置が実行する制御方法であって、車両の周囲に存在する地物の形状である第1形状を検出する検出工程と、前記車両の概略自車位置を取得する取得工程と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成工程と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定工程と、を有する。自車位置推定装置は、この制御方法を実行することで、検出手段が検出した地物の形状と、地物データベースと概略自車位置から認識される地物の形状とに基づいて、自車位置を高精度に推定することができる。   According to another preferred embodiment of the present invention, there is provided a control method executed by the vehicle position estimation device, wherein a detection step of detecting a first shape which is a shape of a feature existing around the vehicle, With reference to the acquisition step of acquiring the approximate vehicle position of the vehicle and the feature database storing the position and shape of the feature, the vehicle is recognized from the approximate vehicle position or a candidate position that is a peripheral position of the approximate vehicle position. A generating step of generating a second shape that is a shape of the target feature, and an estimating step of estimating a high-accuracy vehicle position of the vehicle based on the first shape and the second shape. By executing this control method, the host vehicle position estimation device can detect the host vehicle based on the shape of the feature detected by the detection means and the shape of the feature recognized from the feature database and the approximate host vehicle position. The position can be estimated with high accuracy.

本発明の他の好適な実施形態によれば、コンピュータが実行するプログラムであって、車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、前記車両の概略自車位置を取得する取得手段と、地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成手段と、前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、検出手段が検出した地物の形状と、地物データベースと概略自車位置から認識される地物の形状とに基づいて、自車位置を高精度に推定することができる。好適には、上記プログラムは、記憶媒体に記憶される。   According to another preferred embodiment of the present invention, a program executed by a computer, detecting means for detecting a first shape, which is a shape of a feature existing around a vehicle, and the vehicle itself The shape of the feature recognized from the approximate own vehicle position or a candidate position that is a peripheral position of the approximate own vehicle position with reference to an acquisition means for acquiring a position and a feature database storing the position and shape of the feature Based on the first shape and the second shape, the computer is caused to function as an estimation means for estimating the vehicle position of the vehicle with high accuracy based on the first shape and the second shape. By executing this program, the computer can accurately determine the vehicle position based on the shape of the feature detected by the detection means and the shape of the feature recognized from the feature database and the vehicle position. Can be estimated. Preferably, the program is stored in a storage medium.

以下、図面を参照して本発明の好適な実施例について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

[自車位置推定システムの概要]
図1は、本実施例に係る自車位置推定システムの概略構成である。自車位置推定システムは、道路上を走行する車両と、車両と共に移動する車載機1とを備える。
[Outline of the vehicle position estimation system]
FIG. 1 is a schematic configuration of the vehicle position estimation system according to the present embodiment. The own vehicle position estimation system includes a vehicle traveling on a road and an in-vehicle device 1 that moves together with the vehicle.

車載機1は、車両に設置されたライダ(Lidar:Light Detection and Ranging、または、Laser Illuminated Detection And Ranging)30を有する。そして、車載機1は、ライダ30が出力する車両周辺の地物に関する点群データに基づき、自車位置を高精度に推定する。車載機1は、本発明における「自車位置推定装置」の一例である。   The in-vehicle device 1 includes a lidar (Light Detection and Ranging or Laser Illuminated Detection And Ranging) 30 installed in the vehicle. And the vehicle equipment 1 estimates a self-vehicle position with high precision based on the point cloud data regarding the feature around the vehicle which the rider 30 outputs. The in-vehicle device 1 is an example of the “own vehicle position estimation device” in the present invention.

ライダ30は、水平方向および垂直方向の所定の角度範囲に対してパルスレーザを出射することで、外界に存在する物体までの距離を離散的に測定し、当該物体の位置を示す3次元の点群データを生成する。この場合、ライダ30は、照射方向を変えながらパルスレーザを出射する出射部と、照射したパルスレーザの反射光(散乱光)を受光する受光部と、受光部が出力する受光信号に基づく点群データを出力する出力部とを有する。点群データは、受光部が受光したパルスレーザに対応する照射方向と、上述の受光信号に基づき特定される当該パルスレーザの応答遅延時間とに基づき生成される。ライダ30は、本発明における「外界センサ」の一例である。なお、ライダ30は、水平方向および垂直方向の両方向において走査を行う代わりに、走査面が水平方向に対して斜めになるようにパルスレーザの出射方向が水平方向から傾けられていてもよい。   The lidar 30 emits a pulse laser in a predetermined angular range in the horizontal direction and the vertical direction, thereby discretely measuring the distance to an object existing in the outside world, and a three-dimensional point indicating the position of the object Generate group data. In this case, the lidar 30 includes an emitting unit that emits a pulse laser while changing an irradiation direction, a light receiving unit that receives reflected light (scattered light) of the irradiated pulse laser, and a point group based on a light reception signal output from the light receiving unit. And an output unit for outputting data. The point cloud data is generated based on the irradiation direction corresponding to the pulse laser received by the light receiving unit and the response delay time of the pulse laser specified based on the light reception signal. The lidar 30 is an example of the “external sensor” in the present invention. In addition, instead of performing scanning in both the horizontal direction and the vertical direction, the lidar 30 may tilt the emission direction of the pulse laser from the horizontal direction so that the scanning surface is inclined with respect to the horizontal direction.

図2は、車載機1の機能的構成を示すブロック図である。車載機1は、主に、通信部11と、記憶部12と、センサ部13と、入力部14と、制御部15と、出力部16とを有する。これらの各要素は、バスラインを介して相互に接続されている。   FIG. 2 is a block diagram illustrating a functional configuration of the in-vehicle device 1. The in-vehicle device 1 mainly includes a communication unit 11, a storage unit 12, a sensor unit 13, an input unit 14, a control unit 15, and an output unit 16. Each of these elements is connected to each other via a bus line.

通信部11は、制御部15の制御に基づき、他の装置とデータ通信を行う。記憶部12は、制御部15が実行するプログラムや、制御部15が所定の処理を実行するのに必要な情報を記憶する。   The communication unit 11 performs data communication with other devices based on the control of the control unit 15. The storage unit 12 stores a program executed by the control unit 15 and information necessary for the control unit 15 to execute a predetermined process.

本実施例では、記憶部12は、地物DB21を含む地図データ20を記憶する。地物DB21は、道路周辺に存在する地物に関するデータベースである。図3は、地物DB21の概略的なデータ構造を示す。図3の例では、地物DB21には、道路周辺に存在する地物ごとに、当該地物の識別情報である「地物ID」と、地物の種類を表す「地物種類」と、地物の絶対的な位置を示す「位置情報」と、「ポリゴンデータ」とが関連付けられている。ここで、「ポリゴンデータ」は、地物の外形を多角形の面データにより表したデータである。地物DB21は、本発明における「地物データベース」の一例である。なお、地図データ20は、地物DB21の他、経路案内や自動運転制御などに用いられる道路データや施設情報などを記憶する。   In the present embodiment, the storage unit 12 stores map data 20 including the feature DB 21. The feature DB 21 is a database related to features existing around the road. FIG. 3 shows a schematic data structure of the feature DB 21. In the example of FIG. 3, the feature DB 21 includes, for each feature existing around the road, a “feature ID” that is identification information of the feature, a “feature type” that represents the type of the feature, “Position information” indicating the absolute position of the feature is associated with “polygon data”. Here, “polygon data” is data representing the outer shape of a feature by polygonal plane data. The feature DB 21 is an example of the “feature database” in the present invention. In addition to the feature DB 21, the map data 20 stores road data and facility information used for route guidance, automatic driving control, and the like.

再び図2を参照して車載機1の各要素について説明する。センサ部13は、車両の状態を検出する内界センサ及び車両の周辺環境を認識するための外界センサから構成され、前述したライダ30に加えて、車外風景を撮影するカメラ31と、GPS受信機32と、ジャイロセンサや速度センサなどの自立測位センサ33とを含む。本実施例では、GPS受信機32及び自立測位センサ33の出力は、車両の現在位置及び進行方向(即ち車両の向き)を特定するのに用いられる。以後では、GPS受信機32又は/及び自立測位センサ33の出力に基づき特定される車両の位置を、「概略自車位置」とも呼ぶ。   With reference to FIG. 2 again, each element of the vehicle-mounted device 1 will be described. The sensor unit 13 includes an internal sensor for detecting the state of the vehicle and an external sensor for recognizing the surrounding environment of the vehicle. In addition to the lidar 30 described above, a camera 31 for capturing a scene outside the vehicle, and a GPS receiver 32 and a self-supporting positioning sensor 33 such as a gyro sensor or a speed sensor. In the present embodiment, the outputs of the GPS receiver 32 and the self-supporting positioning sensor 33 are used to specify the current position of the vehicle and the traveling direction (that is, the direction of the vehicle). Hereinafter, the position of the vehicle specified based on the output of the GPS receiver 32 and / or the self-supporting positioning sensor 33 is also referred to as “substantially own vehicle position”.

入力部14は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ、音声入力装置等であり、出力部16は、例えば、制御部15の制御に基づき出力を行うディスプレイやスピーカ等である。   The input unit 14 is a button for operation by the user, a touch panel, a remote controller, a voice input device, or the like. The output unit 16 is, for example, a display or a speaker that performs output based on the control of the control unit 15.

制御部15は、プログラムを実行するCPUなどを含み、車載機1の全体を制御する。本実施例では、制御部15は、ライダ30が出力する点群データと、地物DB21から抽出するポリゴンデータとを比較することで、GPS受信機32等の出力から特定される概略自車位置を必要に応じて修正した高精度な自車位置(「高精度自車位置」とも呼ぶ。)を推定する。制御部15は、本発明における「検出手段」、「取得手段」、「生成手段」、「推定手段」及び本発明におけるプログラムを実行するコンピュータの一例である。   The control unit 15 includes a CPU that executes a program, and controls the entire vehicle-mounted device 1. In the present embodiment, the control unit 15 compares the point cloud data output from the rider 30 with the polygon data extracted from the feature DB 21, thereby determining the approximate vehicle position specified from the output of the GPS receiver 32 or the like. Is estimated as necessary with a high-accuracy vehicle position (also referred to as “high-accuracy vehicle position”). The control unit 15 is an example of a “detection unit”, “acquisition unit”, “generation unit”, “estimation unit”, and a computer that executes the program according to the present invention.

[自車位置推定処理]
次に、制御部15が実行する自車位置推定処理について説明する。概略的には、制御部15は、ライダ30の計測範囲内に存在する地物について、ライダ30が出力する点群データと、地物DB21のポリゴンデータとを同一座標系に変換して比較することで、高精度自車位置を推定する。
[Vehicle position estimation processing]
Next, the own vehicle position estimation process executed by the control unit 15 will be described. Schematically, the control unit 15 compares the point cloud data output from the lidar 30 and the polygon data in the feature DB 21 into the same coordinate system for features existing within the measurement range of the lidar 30 and compares them. Thus, the high-precision vehicle position is estimated.

(1)処理概要
図4は、自車位置推定処理の概要を示すフローチャートである。制御部15は、図4に示すフローチャートの処理を繰り返し実行する。
(1) Process Overview FIG. 4 is a flowchart showing an overview of the vehicle position estimation process. The control unit 15 repeatedly executes the process of the flowchart shown in FIG.

まず、制御部15は、ライダ30が出力する点群データを取得すると共に、GPS受信機32又は/及び自立測位センサ33の出力に基づき、概略自車位置と車両の進行方向とを検出する(ステップS101)。   First, the control unit 15 acquires the point cloud data output by the lidar 30 and detects the approximate vehicle position and the traveling direction of the vehicle based on the output of the GPS receiver 32 and / or the independent positioning sensor 33 ( Step S101).

次に、制御部15は、ステップS101で検出した車両の概略自車位置及び進行方向に基づき、ライダ30の計測範囲を推定する(ステップS102)。例えば、記憶部12は、車両の進行方向に対する相対的なライダ30の計測範囲の情報及びライダ30の最大測距距離の情報を予め記憶しておく。そして、制御部15は、記憶部12に記憶されたこれらの情報に基づき、車両の概略自車位置及び進行方向からライダ30の絶対座標(例えば緯度及び経度)での計測範囲を認識する。   Next, the control unit 15 estimates the measurement range of the rider 30 based on the approximate vehicle position and traveling direction of the vehicle detected in step S101 (step S102). For example, the storage unit 12 stores in advance information on the measurement range of the rider 30 relative to the traveling direction of the vehicle and information on the maximum distance measurement distance of the rider 30. Then, the control unit 15 recognizes the measurement range in the absolute coordinates (for example, latitude and longitude) of the rider 30 from the approximate vehicle position and traveling direction of the vehicle based on these pieces of information stored in the storage unit 12.

次に、制御部15は、地物DB21を参照し、ステップS102で推定したライダ30の計測範囲内に存在する地物のポリゴンデータを抽出する(ステップS103)。この場合、制御部15は、ライダ30の計測範囲内に存在する地物を地物DB21の位置情報等を参照して特定し、特定した地物のポリゴンデータを抽出する。この場合、制御部15は、ポリゴンデータの座標系を、上述の位置情報に基づき絶対的な3次元座標系(例えば緯度、経度、標高)に適宜変換する。   Next, the control unit 15 refers to the feature DB 21 and extracts polygon data of features existing within the measurement range of the lidar 30 estimated in step S102 (step S103). In this case, the control unit 15 specifies features existing within the measurement range of the rider 30 with reference to the position information of the feature DB 21 and extracts polygon data of the specified features. In this case, the control unit 15 appropriately converts the coordinate system of the polygon data into an absolute three-dimensional coordinate system (for example, latitude, longitude, altitude) based on the position information described above.

次に、制御部15は、ステップS101で検出した概略自車位置と車両の進行方向とに基づき、地物DB21に基づく地物のポリゴンデータと、ライダ30が出力した点群データとの座標系を統一する(ステップS104)。第1の例では、制御部15は、絶対座標系で表されたポリゴンデータを、ライダ30が出力する点群データと同一の相対座標系に変換する。この場合、制御部15は、概略自車位置と進行方向とに基づき、地物DB21に基づく地物のポリゴンデータを、車両の位置及び進行方向を基準とした相対座標系に変換する。第2の例では、制御部15は、ライダ30が出力する相対座標系の点群データを、地物DB21に基づくポリゴンデータと同一の絶対座標系に変換する。この場合、制御部15は、概略自車位置と進行方向とに基づき、ライダ30が出力する点群データを、絶対的な座標(例えば緯度、経度、標高)を用いた絶対座標系に変換する。   Next, the control unit 15 is a coordinate system between the polygon data of the feature based on the feature DB 21 and the point cloud data output by the lidar 30 based on the approximate vehicle position detected in step S101 and the traveling direction of the vehicle. Are unified (step S104). In the first example, the control unit 15 converts the polygon data expressed in the absolute coordinate system into the same relative coordinate system as the point cloud data output by the lidar 30. In this case, the control unit 15 converts the polygon data of the feature based on the feature DB 21 into a relative coordinate system based on the position and the traveling direction of the vehicle based on the approximate vehicle position and the traveling direction. In the second example, the control unit 15 converts the point group data in the relative coordinate system output from the lidar 30 into the same absolute coordinate system as the polygon data based on the feature DB 21. In this case, the control unit 15 converts the point cloud data output from the lidar 30 into an absolute coordinate system using absolute coordinates (for example, latitude, longitude, altitude) based on the approximate vehicle position and the traveling direction. .

次に、制御部15は、座標系を統一後の点群データと地図DB21に基づくポリゴンデータとの照合(マッチング)を行う(ステップS105)。このとき、好適には、制御部15は、地物DB21に登録されたポリゴンデータのうち車両からパルスレーザを照射可能な範囲のポリゴンデータのみを抽出し、抽出したポリゴンデータと上述の点群データとの照合を行うとよい。この抽出処理については、「(3)具体例」のセクションで詳しく説明する。また、制御部15は、点群データをポリゴンデータに変換し、変換後のポリゴンデータと地図DB21に基づくポリゴンデータとの照合を行ってもよい。以後では、説明の便宜上、特に言及がない限り、ポリゴンデータは、地図DB21に基づくポリゴンデータを指すものとする。   Next, the control unit 15 collates (matches) the point cloud data after unifying the coordinate system with polygon data based on the map DB 21 (step S105). At this time, preferably, the control unit 15 extracts only polygon data within a range in which the pulse laser can be irradiated from the vehicle from among the polygon data registered in the feature DB 21, and the extracted polygon data and the above point cloud data are extracted. It is good to check with. This extraction process will be described in detail in the section “(3) Specific Example”. Further, the control unit 15 may convert the point cloud data into polygon data, and collate the converted polygon data with polygon data based on the map DB 21. Hereinafter, for convenience of explanation, unless otherwise specified, the polygon data refers to polygon data based on the map DB 21.

ここで、ステップS104で説明した第1及び第2の例のいずれの場合においても、概略自車位置を用いて座標変換を行っている。よって、概略自車位置が実際の自車位置と異なる場合には、上述の点群データとポリゴンデータとが一致しなくなる。ステップS105において照合する点群データが示す形状は本発明における「第1形状」の一例であり、ステップS105において照合するポリゴンデータが示す形状は本発明における「第2形状」の一例である。   Here, in both cases of the first and second examples described in step S104, coordinate conversion is performed using the approximate vehicle position. Therefore, when the approximate vehicle position is different from the actual vehicle position, the point cloud data and the polygon data do not match. The shape indicated by the point cloud data to be collated in step S105 is an example of the “first shape” in the present invention, and the shape indicated by the polygon data to be collated in step S105 is an example of the “second shape” in the present invention.

そして、制御部15は、点群データとポリゴンデータとを照合した結果、これらが一致すると判断した場合(ステップS106;Yes)、概略自車位置をそのまま高精度自車位置とする(ステップS107)。例えば、この場合、制御部15は、公知の3次元パターンマッチング手法に基づき、点群データとポリゴンデータとの類似度を算出し、当該類似度が所定の閾値以上であった場合に、点群データとポリゴンデータとが一致すると判断する。そして、この場合には、制御部15は、概略自車位置は実際の自車位置と一致するとみなし、概略自車位置を高精度自車位置とする。   If the control unit 15 collates the point cloud data with the polygon data and determines that they match (step S106; Yes), the approximate vehicle position is directly used as the high-accuracy vehicle position (step S107). . For example, in this case, the control unit 15 calculates the similarity between the point cloud data and the polygon data based on a known three-dimensional pattern matching technique, and when the similarity is equal to or greater than a predetermined threshold, It is determined that the data matches the polygon data. In this case, the control unit 15 regards the approximate vehicle position as the actual vehicle position, and sets the approximate vehicle position as the high-accuracy vehicle position.

一方、制御部15は、点群データとポリゴンデータとを照合した結果、これらが一致しないと判断した場合(ステップS106;No)、概略自車位置は実際の自車位置とはずれていると判断する。よって、この場合、制御部15は、概略自車位置とは異なる位置に高精度自車位置を設定する処理である高精度自車位置決定処理を実行する(ステップS108)。   On the other hand, as a result of collating the point cloud data and the polygon data and determining that they do not match (step S106; No), the control unit 15 determines that the approximate vehicle position is deviated from the actual vehicle position. To do. Therefore, in this case, the control unit 15 executes a high-accuracy vehicle position determination process that is a process of setting the high-accuracy vehicle position at a position different from the approximate vehicle position (step S108).

(2)高精度自車位置決定処理
図5は、ステップS108で実行する高精度自車位置決定処理の一例を示すフローチャートである。
(2) High-Accuracy Own Vehicle Position Determination Process FIG. 5 is a flowchart showing an example of the high-accuracy own vehicle position determination process executed in step S108.

まず、制御部15は、概略自車位置周辺において、高精度自車位置の候補となる位置(「候補位置」とも呼ぶ。)を設定する(ステップS201)。この場合、例えば、制御部15は、概略自車位置が存在する道路及び当該道路に接続された道路上の所定個数分の位置を所定の規則に基づき抽出し、候補位置として設定する。   First, the control unit 15 sets a position (also referred to as “candidate position”) that is a candidate for a high-accuracy own-vehicle position around the approximate own-vehicle position (step S201). In this case, for example, the control unit 15 extracts a predetermined number of positions on the road where the approximate vehicle position exists and the road connected to the road based on a predetermined rule, and sets the extracted positions as candidate positions.

次に、制御部15は、各候補位置を基準として、ステップS103で抽出されたポリゴンデータと、ライダ30が出力する点群データとの座標系を統一する(ステップS202)。この場合、制御部15は、ステップS104で説明した第1の例又は第2の例のいずれによりステップS202の処理を実行してもよい。   Next, the control unit 15 unifies the coordinate system of the polygon data extracted in step S103 and the point cloud data output by the lidar 30 with each candidate position as a reference (step S202). In this case, the control unit 15 may execute the process of step S202 according to either the first example or the second example described in step S104.

そして、制御部15は、候補位置ごとに、座標系を統一した後の点群データとポリゴンデータとの照合を行う(ステップS203)。ここでは、制御部15は、公知の3次元パターンマッチング手法に基づき、候補位置ごとに、点群データとポリゴンデータとの類似度を算出する。そして、制御部15は、各候補位置のうち、類似度が最大となり、かつ、類似度が所定閾値以上となる候補位置を、高精度自車位置として設定する(ステップS204)。なお、制御部15は、算出した類似度のうち、最大となる類似度が上述の所定閾値未満である場合には、ステップS201で設定した候補位置のいずれも高精度自車位置とみなすことができないと判断し、既に設定した候補位置とは異なる候補位置を新たに設定し、ステップS202〜S204を再び実行する。   Then, the control unit 15 collates the point cloud data and the polygon data after unifying the coordinate system for each candidate position (step S203). Here, the control unit 15 calculates the similarity between the point cloud data and the polygon data for each candidate position based on a known three-dimensional pattern matching method. Then, the control unit 15 sets, as the high-accuracy own vehicle position, a candidate position having a maximum similarity and having a similarity equal to or greater than a predetermined threshold among the candidate positions (step S204). Note that if the maximum similarity among the calculated similarities is less than the predetermined threshold, the control unit 15 may regard any of the candidate positions set in step S201 as a high-accuracy vehicle position. It is determined that it cannot be performed, a candidate position different from the already set candidate positions is newly set, and steps S202 to S204 are executed again.

なお、ステップS108で実行する高精度自車位置決定処理はこれに限定されない。例えば、制御部15は、ステップS105での照合処理において、点群データとポリゴンデータとの位置のずれ量を検出し、検出したずれ量に基づき概略自車位置を補正することで高精度自車位置を算出してもよい。他の例では、制御部15は、ライダ30が出力した点群データ及びその時に検出された概略自車位置を少なくとも所定時間分だけ記憶部12に記憶させておき、記憶部12に記憶された各位置での点群データと地物DB21に基づくポリゴンデータとの照合を行う。そして、制御部15は、地物DB21に基づくポリゴンデータと一致する点群データが出力された概略自車位置を高精度自車位置とみなす。   Note that the high-accuracy host vehicle position determination process executed in step S108 is not limited to this. For example, the control unit 15 detects the amount of positional deviation between the point cloud data and the polygon data in the collating process in step S105, and corrects the approximate own vehicle position based on the detected amount of deviation, thereby high-accuracy own vehicle. The position may be calculated. In another example, the control unit 15 stores the point cloud data output by the rider 30 and the approximate vehicle position detected at that time in the storage unit 12 for at least a predetermined time and is stored in the storage unit 12. The point cloud data at each position and the polygon data based on the feature DB 21 are collated. And the control part 15 considers the approximate own vehicle position from which the point cloud data which correspond to the polygon data based on feature DB21 were output as a highly accurate own vehicle position.

(3)具体例
図6は、自車位置周辺を表す俯瞰図である。図6の例では、車両は、道路36上の位置「P1」に存在し、周囲には、地物20〜24(20、21、24は建物、22は電柱、23は郵便ポスト)が存在している。ここで、矢印25は、車両の進行方向を示し、一点鎖線「R1」は、ライダ30の計測範囲を示す。
(3) Specific Example FIG. 6 is an overhead view showing the vicinity of the vehicle position. In the example of FIG. 6, the vehicle exists at the position “P1” on the road 36, and the surrounding features 20 to 24 (20, 21, 24 are buildings, 22 are utility poles, and 23 are post boxes). doing. Here, the arrow 25 indicates the traveling direction of the vehicle, and the alternate long and short dash line “R1” indicates the measurement range of the rider 30.

ここで、ライダ30が出力する点群データは、計測範囲R1内であって、自車位置P1からライダ30により出射されるパルスレーザの被照射物に対して生成される。図6の例では、計測範囲R1内であって、パルスレーザが照射される地物20〜24の表面である被照射部位40〜44(太い破線参照)に対して点群データが生成される。被照射部位40〜44は、自車位置P1から出射されるパルスレーザが他の地物等により遮蔽されずに到達する部位であって、例えば公知の3次元コンピュータグラフィックス技術を用いたシミュレーションにより特定される。そして、制御部15は、図4のステップS101において、被照射部位40〜44の点群データをライダ30から取得する。   Here, the point cloud data output by the lidar 30 is generated for the irradiated object of the pulse laser emitted by the lidar 30 from the own vehicle position P1 within the measurement range R1. In the example of FIG. 6, point cloud data is generated for irradiated portions 40 to 44 (see thick broken lines) that are within the measurement range R1 and are the surfaces of the features 20 to 24 irradiated with the pulse laser. . The irradiated portions 40 to 44 are portions where the pulse laser emitted from the vehicle position P1 arrives without being shielded by other features and the like, for example, by simulation using a known three-dimensional computer graphics technique Identified. And the control part 15 acquires the point group data of the irradiated parts 40-44 from the rider 30 in step S101 of FIG.

図7は、概略自車位置周辺を表す俯瞰図である。位置「P2」は、図4のステップS101で検出された概略自車位置を示し、矢印26は、ステップS101で検出された車両の進行方向を示す。   FIG. 7 is a bird's-eye view showing the vicinity of the vehicle position. The position “P2” indicates the approximate vehicle position detected in step S101 in FIG. 4, and the arrow 26 indicates the traveling direction of the vehicle detected in step S101.

図7の例では、概略自車位置P2は、実際の自車位置P1よりも後方にずれている。この場合、制御部15は、ステップS102に従い、概略自車位置P2等に基づきライダ30の計測範囲「R2」を推定し、ステップS103に従い、計測範囲R2内に存在する地物20、22、23のポリゴンデータを地物DB21から抽出する。また、図7の例では、制御部15は、計測範囲R2内であって、概略自車位置P2からパルスレーザが出射されたと仮定した場合にパルスレーザが照射される地物の部位(「対象部位」とも呼ぶ。)に対応するポリゴンデータを抽出する。具体的には、制御部15は、地物20、22、23のポリゴンデータうち、太線により示される対象部位50、52、53に対応するポリゴンデータを抽出する。   In the example of FIG. 7, the approximate own vehicle position P2 is shifted rearward from the actual own vehicle position P1. In this case, the control unit 15 estimates the measurement range “R2” of the rider 30 based on the approximate vehicle position P2 and the like according to step S102, and according to step S103, the features 20, 22, and 23 existing within the measurement range R2. Polygon data is extracted from the feature DB 21. Further, in the example of FIG. 7, the control unit 15 is within the measurement range R2, and assuming that the pulse laser is emitted from the approximate vehicle position P2, the part of the feature irradiated with the pulse laser (“target” Polygon data corresponding to “part” is also extracted. Specifically, the control unit 15 extracts polygon data corresponding to the target parts 50, 52, and 53 indicated by bold lines from the polygon data of the features 20, 22, and 23.

図8は、概略自車位置P2に基づくステップS104の座標変換により点群データとポリゴンデータとを同一座標系により表した場合の被照射部位40〜44と対象部位50、52、53との相対位置関係を示す。   FIG. 8 shows the relative relationship between the irradiated portions 40 to 44 and the target portions 50, 52, and 53 when the point cloud data and the polygon data are represented by the same coordinate system by the coordinate transformation in step S 104 based on the approximate vehicle position P 2. Indicates the positional relationship.

図8に示すように、制御部15は、概略自車位置P2が自車位置P1に等しいと仮定し、概略自車位置P2及び検出した車両の進行方向に基づき、計測範囲R1と計測範囲R2とを一致させている。ここで、図4のステップS101で検出された概略自車位置P2は、図7に示したように、実際の自車位置P1よりも後方にずれていることから、同一の地物20に対応する被照射部位40と対象部位50とは一致しない。同様に、同一の地物22に対応する被照射部位42、52と地物23に対応する対象部位43、53についてもそれぞれ一致していない。よって、この場合、制御部15は、ステップS105での照合の結果、点群データとポリゴンデータとが一致しないとステップS106において判断し、ステップS108の高精度自車位置決定処理を行う。   As shown in FIG. 8, the control unit 15 assumes that the approximate vehicle position P2 is equal to the own vehicle position P1, and based on the approximate own vehicle position P2 and the detected traveling direction of the vehicle, the measurement range R1 and the measurement range R2 And match. Here, the rough own vehicle position P2 detected in step S101 of FIG. 4 is shifted rearward from the actual own vehicle position P1, as shown in FIG. 7, and therefore corresponds to the same feature 20. The irradiated site 40 and the target site 50 are not matched. Similarly, the irradiated portions 42 and 52 corresponding to the same feature 22 and the target portions 43 and 53 corresponding to the feature 23 do not match. Therefore, in this case, the control unit 15 determines in step S106 that the point cloud data and the polygon data do not match as a result of the collation in step S105, and performs the high-accuracy vehicle position determination process in step S108.

図9(A)は、図5に示す高精度自車位置決定処理のステップS201において設定する候補位置の設定例を示す。図9(A)では、制御部15は、概略自車位置P2が存在する道路36及び道路36と同一方向に延在する道路37上において、概略自車位置P2を中心としておよそ等間隔に4つの候補位置「P3」〜「P6」を設定している。なお、制御部15は、道路36と接続する他の道路38、39については、検出した車両の進行方向に沿った走行ができない道路であるため、候補位置を設置していない。   FIG. 9A shows a setting example of candidate positions set in step S201 of the high-accuracy own vehicle position determination process shown in FIG. In FIG. 9 (A), the control unit 15 sets the approximate vehicle position P2 to 4 at approximately equal intervals on the road 36 where the approximate vehicle position P2 exists and the road 37 extending in the same direction as the road 36. Two candidate positions “P3” to “P6” are set. The control unit 15 does not set candidate positions for the other roads 38 and 39 connected to the road 36 because the roads cannot travel along the detected traveling direction of the vehicle.

そして、制御部15は、設定した各候補位置P3〜P6のそれぞれを基準としてステップS202に基づきポリゴンデータと点群データとの座標系を統一し、ステップS203の照合処理を行う。   Then, the control unit 15 unifies the coordinate system of the polygon data and the point cloud data based on each of the set candidate positions P3 to P6 based on step S202, and performs the matching process in step S203.

図9(B)は、候補位置P5を基準とした座標変換により点群データとポリゴンデータとを同一座標系により表した場合の被照射部位40〜44と対象部位50〜54との相対位置関係を示す。この場合、制御部15は、候補位置P5が自車位置P1に等しいと仮定し、候補位置P5を自車位置とした場合のライダ30の計測範囲「R5」と計測範囲R1とを一致させるように座標変換を行っている。この場合、同一の地物20〜24に対応する被照射部位40〜44と被照射部位50〜54とは、それぞれ略同一位置及び同一形状となっている。そして、制御部15は、ステップS203での照合の結果、候補位置P5に対応する類似度が他の候補位置P3、P4、P6の類似度よりも高く、かつ、所定閾値以上であると判断し、候補位置P5を高精度自車位置とみなす。その後、制御部15は、高精度自車位置を自車位置とみなして種々の制御(例えば経路案内や自動運転制御など)を行う。   FIG. 9B shows the relative positional relationship between the irradiated portions 40 to 44 and the target portions 50 to 54 when the point cloud data and the polygon data are represented by the same coordinate system by the coordinate conversion based on the candidate position P5. Indicates. In this case, the control unit 15 assumes that the candidate position P5 is equal to the host vehicle position P1, and matches the measurement range “R5” of the rider 30 when the candidate position P5 is the host vehicle position with the measurement range R1. Coordinate conversion is performed. In this case, the irradiated portions 40 to 44 and the irradiated portions 50 to 54 corresponding to the same feature 20 to 24 have substantially the same position and the same shape, respectively. Then, as a result of the collation in step S203, the control unit 15 determines that the similarity corresponding to the candidate position P5 is higher than the similarities of the other candidate positions P3, P4, and P6 and is equal to or greater than a predetermined threshold. The candidate position P5 is regarded as a highly accurate vehicle position. Thereafter, the control unit 15 regards the high-accuracy host vehicle position as the host vehicle position and performs various controls (for example, route guidance and automatic driving control).

以上説明したように、本実施例に係る車載機1は、ライダ30の出力に基づき、車両の周囲に存在する地物の形状を示す点群データを検出する。また、車載機1は、地物DB21を参照し、GPS受信機32等の出力に基づく概略自車位置から認識される地物の形状を示すポリゴンデータを生成する。そして、車載機1は、上述の点群データとポリゴンデータとに基づいて、高精度自車位置を推定する。これにより、車載機1は、GPS受信機32や自立測位センサ33の出力に基づき認識される概略自車位置より正確な自車位置を好適に推定することができる。   As described above, the in-vehicle device 1 according to the present embodiment detects point cloud data indicating the shape of the feature existing around the vehicle based on the output of the rider 30. The in-vehicle device 1 refers to the feature DB 21 and generates polygon data indicating the shape of the feature recognized from the approximate vehicle position based on the output of the GPS receiver 32 or the like. And the vehicle equipment 1 estimates a highly accurate own vehicle position based on the above-mentioned point cloud data and polygon data. As a result, the in-vehicle device 1 can preferably estimate an accurate vehicle position from the approximate vehicle position recognized based on the outputs of the GPS receiver 32 and the self-supporting positioning sensor 33.

[変形例]
次に、実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
[Modification]
Next, a modified example suitable for the embodiment will be described. The following modifications may be applied in any combination to the above-described embodiments.

(変形例1)
制御部15は、予め地物ごとに定められた優先度に基づき、図4のステップS105又は図5のステップS203で照合させる対象となる地物を限定してもよい。
(Modification 1)
The control unit 15 may limit the features to be collated in step S105 of FIG. 4 or step S203 of FIG. 5 based on the priorities determined in advance for each feature.

図10は、本変形例において参照される地物DB21のデータ構造の一例を示す。図10の地物DB21には、「優先度」の項目が設けられている。「優先度」は、自車位置推定処理において照合対象とする地物を決定する際に参照される優先度である。この優先度は、例えば、対象となる地物の変更や消滅(撤去)の起こりにくさ、ライダ30のパルスレーザの遮蔽のされにくさ、及び変更や消滅等が生じた場合の地図データへの反映されやすさなどを考慮して予め設定される。好適には、所定高以上の高さを有する地物(例えば高層階ビル)、及び、郵便ポスト又は役所、警察署、消防署などの官公署、学校、図書館、病院、郵便局などの公共施設は、公共物として他の地物より高い優先度に設定されるとよい。   FIG. 10 shows an example of the data structure of the feature DB 21 referred to in this modification. In the feature DB 21 of FIG. 10, an item “priority” is provided. The “priority” is a priority that is referred to when determining a feature to be collated in the vehicle position estimation process. For example, the priority is determined so that the target feature is less likely to change or disappear (removal), the lidder 30 is less likely to be shielded by the pulse laser, and the map data to be changed or disappeared. It is set in advance in consideration of the ease of reflection. Preferably, features having a height higher than a predetermined height (for example, high-rise buildings) and public facilities such as post offices or public offices such as police stations and fire stations, schools, libraries, hospitals, post offices, etc. As a public object, it may be set to a higher priority than other features.

そして、制御部15は、図4のステップS103において、ライダ30の計測範囲内の地物が複数存在すると判断した場合、上述の優先度に基づき、地物DB21に基づくポリゴンデータを抽出する地物を限定する。例えば、この場合、制御部15は、優先度が最も高い地物に対応するポリゴンデータのみを地物DB21から抽出してもよく、優先度が所定値以上となる地物に対応するポリゴンデータのみを地物DB21から抽出してもよい。そして、制御部15は、この場合、ステップS105又はステップS203の照合処理では、ポリゴンデータが点群データの一部と一致する度合いを示す類似度を算出し、ポリゴンデータが点群データの一部と一致する概略自車位置又は候補位置を、高精度自車位置として設定する。   When the control unit 15 determines in step S103 in FIG. 4 that there are a plurality of features within the measurement range of the rider 30, the feature for extracting polygon data based on the feature DB 21 based on the above-described priority. Limit. For example, in this case, the control unit 15 may extract only the polygon data corresponding to the feature with the highest priority from the feature DB 21, and only the polygon data corresponding to the feature with the priority higher than a predetermined value. May be extracted from the feature DB 21. In this case, the control unit 15 calculates the similarity indicating the degree to which the polygon data matches a part of the point cloud data in the collation process in step S105 or step S203, and the polygon data is a part of the point cloud data. Is set as a high-accuracy own vehicle position.

このように、本変形例では、制御部15は、地物ごとの優先度に基づき、図4のステップS105又は図5のステップS203で照合させる対象となる地物を、照合処理に適した地物に限定する。これにより、処理負荷を低減させると共に照合処理の精度を高めることができる。   As described above, in the present modification, the control unit 15 determines the feature that is the target to be collated in step S105 in FIG. 4 or step S203 in FIG. 5 based on the priority for each feature. Limited to things. Thereby, the processing load can be reduced and the accuracy of the collation process can be increased.

なお、図10に示すように地物DB21に優先度の情報が含まれる代わりに、地物種類ごとの優先度を記録したテーブルが記憶部12に記憶されていてもよい。この場合、制御部15は、地物DB21の「地物種類」を参照して特定した地物種類から上述のテーブルを参照することで、各地物の優先度を決定する。   As shown in FIG. 10, instead of including the priority information in the feature DB 21, a table in which the priority for each feature type is recorded may be stored in the storage unit 12. In this case, the control unit 15 determines the priority of each feature by referring to the above-described table from the feature type specified by referring to the “feature type” in the feature DB 21.

(変形例2)
図4のフローチャートの処理を、車載機1の代わりに車両の図示しない制御部(ECU:Electronic Control Unit)が実行してもよい。この場合、車両の制御部は、ライダ30を含む種々のセンサと電気的に接続し、所定の記憶部に記憶された地物DB21を参照することで、図4のフローチャートを実行する。
(Modification 2)
The processing of the flowchart of FIG. 4 may be executed by a control unit (ECU: Electronic Control Unit) (not shown) of the vehicle instead of the in-vehicle device 1. In this case, the control unit of the vehicle electrically connects to various sensors including the rider 30, and executes the flowchart of FIG. 4 by referring to the feature DB 21 stored in a predetermined storage unit.

(変形例3)
車載機1は、ライダ30が出力する点群データを地物DB21に基づくポリゴンデータと照合する代わりに、カメラ31の出力に基づき生成した3次元データをポリゴンデータと照合させることで、自車位置の推定を行ってもよい。
(Modification 3)
The in-vehicle device 1 collates the three-dimensional data generated based on the output of the camera 31 with the polygon data instead of collating the point cloud data output from the lidar 30 with the polygon data based on the feature DB 21, thereby May be estimated.

この場合、例えば、カメラ31は、撮像素子を複数有する3次元計測カメラであり、制御部15は、図4のステップS101において、カメラ31の出力に基づき、3次元データを生成する。そして、制御部15は、ステップS104では、上述の3次元データと地物DB21に基づくポリゴンデータの座標系を統一し、ステップS105においてこれらを照合する。制御部15は、図5のステップS202及びステップS203においても同様に、上述の3次元データと地物DB21に基づくポリゴンデータの座標系を各候補位置に基づき統一し、ステップS203においてこれらの照合処理を行う。このように、車載機1は、ライダ30以外の外界センサの出力から得られた3次元データを対象とした場合であっても、本実施例に係る自車位置推定処理を行うことができる。   In this case, for example, the camera 31 is a three-dimensional measurement camera having a plurality of image sensors, and the control unit 15 generates three-dimensional data based on the output of the camera 31 in step S101 of FIG. In step S104, the control unit 15 unifies the coordinate system of the polygon data based on the above-described three-dimensional data and the feature DB 21, and collates them in step S105. Similarly, in step S202 and step S203 of FIG. 5, the control unit 15 unifies the coordinate system of the polygon data based on the above-described three-dimensional data and the feature DB 21 based on each candidate position, and in step S203, the matching processing is performed. I do. As described above, the in-vehicle device 1 can perform the vehicle position estimation process according to the present embodiment even when the on-vehicle device 1 is intended for the three-dimensional data obtained from the output of the external sensors other than the rider 30.

1 車載機
11 通信部
12 記憶部
13 センサ部
14 入力部
15 制御部
16 出力部
20 地図データ
21 地物DB
DESCRIPTION OF SYMBOLS 1 Onboard equipment 11 Communication part 12 Memory | storage part 13 Sensor part 14 Input part 15 Control part 16 Output part 20 Map data 21 Feature DB

Claims (11)

車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、
前記車両の概略自車位置を取得する取得手段と、
地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置から認識される地物の形状である第2形状を生成する生成手段と、
前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段と、を備える自車位置推定装置。
Detecting means for detecting a first shape which is a shape of a feature existing around the vehicle;
Obtaining means for obtaining a rough vehicle position of the vehicle;
Generating means for generating a second shape which is a shape of the feature recognized from the approximate vehicle position with reference to a feature database storing the position and shape of the feature;
A vehicle position estimation apparatus comprising: estimation means for estimating a highly accurate vehicle position of the vehicle based on the first shape and the second shape.
前記取得手段は、前記車両の方向を取得し、
前記検出手段は、前記車両から前記方向に存在する地物の形状を前記第1形状として検出し、
前記生成手段は、前記概略自車位置又は前記概略自車位置の周辺に設定された候補位置から前記方向に存在する地物の形状を前記第2形状として生成することを特徴とする請求項1に記載の自車位置推定装置。
The acquisition means acquires the direction of the vehicle,
The detection means detects the shape of a feature existing in the direction from the vehicle as the first shape,
2. The generation unit generates the shape of a feature existing in the direction as the second shape from the approximate vehicle position or candidate positions set around the approximate vehicle position. The vehicle position estimation device described in 1.
前記推定手段は、前記第1形状と前記第2形状とが一致する場合、前記概略自車位置を前記高精度自車位置と推定し、
前記第1形状と前記第2形状とが一致しない場合、前記概略自車位置の周辺に設定された候補位置から認識される地物の形状を第2形状とし、当該第2形状が前記第1形状と一致する候補位置を高精度自車位置と推定する請求項1または2に記載の自車位置推定装置。
The estimation means estimates the approximate vehicle position as the high-accuracy vehicle position when the first shape and the second shape match,
If the first shape and the second shape do not match, the shape of the feature recognized from the candidate positions set around the approximate vehicle position is set as the second shape, and the second shape is the first shape. 3. The vehicle position estimation apparatus according to claim 1, wherein a candidate position that matches the shape is estimated as a highly accurate vehicle position.
前記生成手段は、複数の候補位置について第2形状を生成し、
前記推定手段は、複数の第2形状のうち、前記第1形状との類似度が最大かつ所定閾値以上である第2形状を、前記第1形状と一致する第2形状と判定する請求項3に記載の自車位置推定装置。
The generating means generates a second shape for a plurality of candidate positions,
The estimation unit determines a second shape having a maximum similarity to the first shape and a predetermined threshold value or more among a plurality of second shapes as a second shape that matches the first shape. The vehicle position estimation device described in 1.
前記生成手段は、前記概略自車位置又は前記概略自車位置の周辺に設定された前記高精度自車位置の候補位置から認識される地物のうち、予め決められた優先度の高い地物の形状を前記第2形状として生成する請求項1乃至4のいずれか一項に記載の自車位置推定装置。   The generating means is a feature having a predetermined high priority among features recognized from candidate positions of the high-accuracy own vehicle position set in the vicinity of the approximate own vehicle position or the approximate own vehicle position. The vehicle position estimation device according to any one of claims 1 to 4, wherein the vehicle shape is generated as the second shape. 前記優先度の高い地物は、所定値以上の高さを有する地物、及び、公共物の少なくとも1つを含む請求項5に記載の自車位置推定装置。   6. The own vehicle position estimation device according to claim 5, wherein the high-priority features include at least one of a feature having a height equal to or higher than a predetermined value and a public property. 前記検出手段は、外界センサにより地物の点群データを生成し、当該点群データに基づき特定される形状を前記第1形状とする請求項1乃至6のいずれか一項に記載の自車位置推定装置。   The said detection means produces | generates the point cloud data of a feature with an external sensor, and makes the shape specified based on the said point cloud data into the said 1st shape, The own vehicle as described in any one of Claims 1 thru | or 6 Position estimation device. 前記取得手段は、GPS及び/又は自立センサにより取得される請求項1乃至7のいずれか一項に記載の自車位置推定装置。   The own vehicle position estimation apparatus according to any one of claims 1 to 7, wherein the acquisition unit is acquired by a GPS and / or a self-supporting sensor. 自車位置推定装置が実行する制御方法であって、
車両の周囲に存在する地物の形状である第1形状を検出する検出工程と、
前記車両の概略自車位置を取得する取得工程と、
地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成工程と、
前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定工程と、
を有する制御方法。
A control method executed by the vehicle position estimation device,
A detection step of detecting a first shape which is a shape of a feature existing around the vehicle;
An obtaining step of obtaining an approximate vehicle position of the vehicle;
Referring to the feature database storing the position and shape of the feature, a second shape that is a shape of the feature recognized from the approximate own vehicle position or a candidate position that is a peripheral position of the approximate own vehicle position is generated. Generation process;
An estimation step of estimating a high-accuracy host vehicle position of the vehicle based on the first shape and the second shape;
A control method.
コンピュータが実行するプログラムであって、
車両の周囲に存在する地物の形状である第1形状を検出する検出手段と、
前記車両の概略自車位置を取得する取得手段と、
地物の位置及び形状を記憶した地物データベースを参照し、前記概略自車位置又は当該概略自車位置の周辺位置である候補位置から認識される地物の形状である第2形状を生成する生成手段と、
前記第1形状及び前記第2形状に基づいて、前記車両の高精度自車位置を推定する推定手段
として前記コンピュータを機能させるプログラム。
A program executed by a computer,
Detecting means for detecting a first shape which is a shape of a feature existing around the vehicle;
Obtaining means for obtaining a rough vehicle position of the vehicle;
Referring to the feature database storing the position and shape of the feature, a second shape that is a shape of the feature recognized from the approximate own vehicle position or a candidate position that is a peripheral position of the approximate own vehicle position is generated. Generating means;
A program that causes the computer to function as estimation means for estimating a highly accurate vehicle position of the vehicle based on the first shape and the second shape.
請求項10に記載のプログラムを記憶した記憶媒体。   A storage medium storing the program according to claim 10.
JP2017008398A 2017-01-20 2017-01-20 Vehicle position estimation device, control method, program and storage medium Active JP6889561B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017008398A JP6889561B2 (en) 2017-01-20 2017-01-20 Vehicle position estimation device, control method, program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017008398A JP6889561B2 (en) 2017-01-20 2017-01-20 Vehicle position estimation device, control method, program and storage medium

Publications (2)

Publication Number Publication Date
JP2018116014A true JP2018116014A (en) 2018-07-26
JP6889561B2 JP6889561B2 (en) 2021-06-18

Family

ID=62985347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017008398A Active JP6889561B2 (en) 2017-01-20 2017-01-20 Vehicle position estimation device, control method, program and storage medium

Country Status (1)

Country Link
JP (1) JP6889561B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085062A1 (en) * 2018-10-24 2020-04-30 パイオニア株式会社 Measurement accuracy calculation device, host position estimation device, control method, program, and storage medium
WO2021019653A1 (en) * 2019-07-29 2021-02-04 日本電信電話株式会社 Relay server, relay method, and relay program
US10914840B2 (en) 2019-03-15 2021-02-09 Kabushiki Kaisha Toshiba Self position estimation apparatus
CN112455502A (en) * 2019-09-09 2021-03-09 中车株洲电力机车研究所有限公司 Train positioning method and device based on laser radar
JP2021047024A (en) * 2019-09-17 2021-03-25 株式会社東芝 Estimation device, estimation method, and program
JP2021047099A (en) * 2019-09-19 2021-03-25 日立オートモティブシステムズ株式会社 Vehicle own-location estimation device and own-location estimation method
CN114783172A (en) * 2021-01-22 2022-07-22 广州汽车集团股份有限公司 Method and system for identifying empty parking space of parking lot and computer readable storage medium
JP7424535B1 (en) 2023-05-31 2024-01-30 トヨタ自動車株式会社 remote control device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248364A (en) * 2006-03-17 2007-09-27 Pasuko:Kk Building shape change detection method and building shape change detection system
JP2013186551A (en) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd Traveling object position/attitude estimation device and method
JP2013257742A (en) * 2012-06-13 2013-12-26 Sumitomo Heavy Ind Ltd Moving body position estimation method and moving body
JP2014153192A (en) * 2013-02-08 2014-08-25 Aisin Aw Co Ltd Travel guide system, travel guide method, and computer program
US20140249752A1 (en) * 2011-09-30 2014-09-04 The Chancellor Masters And Scholars Of The University Of Oxford Localising a vehicle along a route
JP2015116899A (en) * 2013-12-18 2015-06-25 株式会社ゼンリンデータコム Simple type parking assist device, parking assist method, and parking assist program
JP2015206733A (en) * 2014-04-22 2015-11-19 日産自動車株式会社 Position detection apparatus and position detection method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248364A (en) * 2006-03-17 2007-09-27 Pasuko:Kk Building shape change detection method and building shape change detection system
US20140249752A1 (en) * 2011-09-30 2014-09-04 The Chancellor Masters And Scholars Of The University Of Oxford Localising a vehicle along a route
JP2013186551A (en) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd Traveling object position/attitude estimation device and method
JP2013257742A (en) * 2012-06-13 2013-12-26 Sumitomo Heavy Ind Ltd Moving body position estimation method and moving body
JP2014153192A (en) * 2013-02-08 2014-08-25 Aisin Aw Co Ltd Travel guide system, travel guide method, and computer program
JP2015116899A (en) * 2013-12-18 2015-06-25 株式会社ゼンリンデータコム Simple type parking assist device, parking assist method, and parking assist program
JP2015206733A (en) * 2014-04-22 2015-11-19 日産自動車株式会社 Position detection apparatus and position detection method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155284B2 (en) 2018-10-24 2022-10-18 パイオニア株式会社 Measurement accuracy calculation device, self-position estimation device, control method, program and storage medium
WO2020085062A1 (en) * 2018-10-24 2020-04-30 パイオニア株式会社 Measurement accuracy calculation device, host position estimation device, control method, program, and storage medium
JPWO2020085062A1 (en) * 2018-10-24 2021-09-02 パイオニア株式会社 Measurement accuracy calculation device, self-position estimation device, control method, program and storage medium
US10914840B2 (en) 2019-03-15 2021-02-09 Kabushiki Kaisha Toshiba Self position estimation apparatus
WO2021019653A1 (en) * 2019-07-29 2021-02-04 日本電信電話株式会社 Relay server, relay method, and relay program
JPWO2021019653A1 (en) * 2019-07-29 2021-02-04
US11917008B2 (en) 2019-07-29 2024-02-27 Nippon Telegraph And Telephone Corporation Relay server, relay method, and relay program
JP7279793B2 (en) 2019-07-29 2023-05-23 日本電信電話株式会社 Relay server, relay method and relay program
CN112455502A (en) * 2019-09-09 2021-03-09 中车株洲电力机车研究所有限公司 Train positioning method and device based on laser radar
JP7337617B2 (en) 2019-09-17 2023-09-04 株式会社東芝 Estimation device, estimation method and program
JP2021047024A (en) * 2019-09-17 2021-03-25 株式会社東芝 Estimation device, estimation method, and program
JP7289761B2 (en) 2019-09-19 2023-06-12 日立Astemo株式会社 Vehicle self-position estimation device and self-position estimation method
JP2021047099A (en) * 2019-09-19 2021-03-25 日立オートモティブシステムズ株式会社 Vehicle own-location estimation device and own-location estimation method
CN114783172A (en) * 2021-01-22 2022-07-22 广州汽车集团股份有限公司 Method and system for identifying empty parking space of parking lot and computer readable storage medium
CN114783172B (en) * 2021-01-22 2024-05-17 广州汽车集团股份有限公司 Parking lot empty space recognition method and system and computer readable storage medium
JP7424535B1 (en) 2023-05-31 2024-01-30 トヨタ自動車株式会社 remote control device

Also Published As

Publication number Publication date
JP6889561B2 (en) 2021-06-18

Similar Documents

Publication Publication Date Title
JP6889561B2 (en) Vehicle position estimation device, control method, program and storage medium
JP6608456B2 (en) Estimation apparatus, control method, program, and storage medium
WO2018181974A1 (en) Determination device, determination method, and program
CN108627175A (en) The system and method for vehicle location for identification
EP3147884B1 (en) Traffic-light recognition device and traffic-light recognition method
JP2017072422A (en) Information processing device, control method, program, and storage medium
CN106501829A (en) A kind of Navigation of Pilotless Aircraft method and apparatus
WO2017199333A1 (en) Information output device, terminal device, control method, program, and storage medium
JP7155284B2 (en) Measurement accuracy calculation device, self-position estimation device, control method, program and storage medium
US20220113139A1 (en) Object recognition device, object recognition method and program
WO2018212294A1 (en) Self-position estimation device, control method, program, and storage medium
JP2022176322A (en) Self-position estimation device, control method, program, and storage medium
JP2023075184A (en) Output device, control method, program, and storage medium
JP2017072423A (en) Estimation device, control method, program, and storage medium
JP2023054314A (en) Information processing device, control method, program, and storage medium
KR102105590B1 (en) System and method for improving accuracy of low-cost commercial GNSS Receiver
JP2023076673A (en) Information processing device, control method, program and storage medium
JP2022136145A (en) Data structure, information processing device, and map data generator
JP2020046411A (en) Data structure, storage device, terminal device, server device, control method, program, and storage medium
WO2019188877A1 (en) Information transmission device, data structure, control method, program, and storage medium
WO2019188874A1 (en) Data structure, information processing device, and map data generation device
WO2018221458A1 (en) Updating device, control method, program, and storage medium
WO2021112078A1 (en) Information processing device, control method, program, and storage medium
JP2019168985A (en) Control device, control method, program and storage medium
WO2018221456A1 (en) Route searching device, control method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210521

R150 Certificate of patent or registration of utility model

Ref document number: 6889561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250