JP2019100787A - 送信データのデータ構造、判定装置及び判定方法並びに判定プログラム - Google Patents

送信データのデータ構造、判定装置及び判定方法並びに判定プログラム Download PDF

Info

Publication number
JP2019100787A
JP2019100787A JP2017229994A JP2017229994A JP2019100787A JP 2019100787 A JP2019100787 A JP 2019100787A JP 2017229994 A JP2017229994 A JP 2017229994A JP 2017229994 A JP2017229994 A JP 2017229994A JP 2019100787 A JP2019100787 A JP 2019100787A
Authority
JP
Japan
Prior art keywords
data
feature
mirror
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017229994A
Other languages
English (en)
Inventor
誠 松丸
Makoto Matsumaru
誠 松丸
良司 野口
Ryoji Noguchi
良司 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2017229994A priority Critical patent/JP2019100787A/ja
Publication of JP2019100787A publication Critical patent/JP2019100787A/ja
Priority to JP2022178808A priority patent/JP2023021111A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】カーブミラーに関する情報を記録するために外部に送信する際の送信データのデータ構造等を提供する。【解決手段】送信データ1は、カーブミラー等である地物の位置を示す位置データTMO4と、地物がカーブミラー等であることを示す物体種別データTMO2と、を含む。車体端末が、LiDARセンサにより検出されたカーブミラー等の位置を示す位置データTMO4と、当該位置データTMO4により特定される地物がカーブミラー等であることを示す物体種別データTMO2と、を関連付けてサーバ装置へ送信して記録させる処理に用いられる送信データ1とする。【選択図】図3

Description

本願は、端末からサーバへ送信される送信データのデータ構造等の技術分野に関する。
自動運転車両では、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)センサなどのセンサで計測した地物位置と、自動運転用の地図データに記述された地物位置と、をマッチングして高精度に自車位置を推定する必要がある。利用する地物として標識や看板などがあり、これらの地物の位置を含む自動運転用の地図データは、安定した自動運転を行うために、現実に即して整備・更新を行う必要がある。
このための一技術として、地表面にレーザー光を出射し、その反射光を受光して得られた点群データを地図データの利用・更新等に活かすレーザー計測技術の開発が進められている。例えば、特許文献1には、点群データに建物や街路樹等、道路面以外のデータも多く含まれているところ、この中から道路面を計測しているデータを抽出する技術が開示されている。特許文献1の技術を用いることにより、地表面を計測した点群データから道路領域を判定することができる。また、特許文献1の技術を含む上記レーザー計測技術を用いれば、上記道路面以外に、道路脇等に設置されている標識などの地物を検出することも可能である。
特開2017−9378号公報
ここで、道路上には、車両の運転者からは視認できない、例えば車両が進行する道路に脇道から進入しようとする人や自転車を視認するためのカーブミラーが設置されている場合がある。カーブミラーは、上記レーザー計測技術に用いられるレーザー光の反射率が高い。従って、カーブミラーに上記人等が映っているタイミングで上記LiDARセンサからカーブミラーにレーザー光を出射すると、その反射光に含まれている上記人等の像により、その人等が、あたかもカーブミラーの位置に存在しているかのように検出されてしまう場合があるという問題点があった。この問題点は、当該人等の誤検出により、自動運転中の車両に対して不要なブレーキ操作が行われる等の問題点に繋がる。これらの問題点は、カーブミラーの位置が予め認識できていることで解決し得ると考えられる。
そこで本願は、こうした問題点及び要請に鑑みて為されたもので、その課題の一例は、カーブミラーに関する情報を、例えば地図に記録するために外部のサーバに送信する際の送信データのデータ構造等を提供することにある。
請求項1に記載の発明は、地物の位置を示す位置情報と、前記地物がミラーを有する地物であることを示すミラー情報と、を含み、移動体に搭載された端末から外部のサーバへ送信される送信データのデータ構造であって、前記端末が、検出手段により検出された前記地物の位置を示す前記位置情報と、当該位置情報により特定される前記地物がミラーを有する地物であることを示す前記ミラー情報と、を関連付けて前記サーバへ送信して記録させる処理に用いられる前記送信データのデータ構造である。
請求項8に記載の発明は、検出手段と、特定手段と、判定手段と、を備える判定装置において実行される判定方法であって、前記検出手段により物体を検出する検出工程と、前記検出された物体の前記検出手段における検出方向を前記特定手段により特定する特定工程と、前記検出された物体と、前記特定された検出方向と、に基づいて、前記物体がミラーを有する地物であるかを前記判定手段により判定する判定工程と、を含む判定方法である。
請求項9に記載の発明は、コンピュータを、物体を検出する検出手段、前記検出された物体の前記検出手段における検出方向を特定する特定手段、及び、前記検出された物体と、前記特定された検出方向に基づいて、前記物体がミラーを有する地物であるかを判定する判定手段、として機能させることを特徴とする判定プログラムである。
実施形態の送信データのデータ構造を示すブロック図である。 実施例の地図データ管理システムの概要構成を示すブロック図である。 (A)は実施例の送信データのフォーマットを例示する図である。(B)は実施例の地図データのフォーマットを例示する図である。 実施例のカーブミラー予測範囲の算出方法を説明するための図である。 (A)は実施例の地図データ管理システムによる送信データの送信処理の動作例を示すフローチャートである。(B)は実際のミラーの一例を示す図である。 実施例のカーブミラー等の情報を用いた処理の動作例を示すフローチャートである。 実施例のカーブミラー等の情報を用いた処理の動作例の詳細を示すフローチャートである。
本願発明を実施するための形態について、図1を用いて説明する。なお、図1は、本実施形態の送信データのデータ構造の構成を示すブロック図である。
図1に示すように、本実施形態のデータ構造は、地物の位置を示す位置情報1Aと、上記地物がミラーを有する地物であることを示すミラー情報1Bと、を含み、移動体に搭載された端末から外部のサーバへ送信される送信データ1のデータ構造である。
そして、この送信データ1は、上記端末が、検出手段により検出された地物の位置を示す位置情報1Aと、当該位置情報1Aにより特定される地物がミラーを有する地物であることを示すミラー情報1Bと、を関連付けてサーバへ送信して記録させる処理に用いられる。
以上説明したように、本実施形態の送信データ1のデータ構造は、位置情報1Aと、ミラー情報1Bと、を含み、上記端末が、位置情報1Aと、ミラー情報1Bと、を関連付けてサーバへ送信して記録させる処理に用いられるので、ミラーを有する地物に関する情報を例えば地図に記録するためにサーバに送信する際の送信データのデータ構造を提供することができる。
図2−図7を用いて実施例について説明する。なお以下に説明する実施例は、本実施形態を、地図データ管理システムSに適用した場合の実施例である。また、図2は実施例の地図データ管理システムの概要構成を示すブロック図であり、図3は実施例の地図データのフォーマットを例示する図等であり、図4は実施例のカーブミラー予測範囲の算出方法を説明するための図である。更に、図5は実施例の地図データ管理システムによる送信データの送信処理の動作例を示すフローチャート等であり、図6は実施例のカーブミラー等の情報を用いた処理の動作例を示すフローチャートであり、図7は実施例のカーブミラー等の情報を用いた処理の動作例の詳細を示すフローチャートである。
[1.地図データ管理システムSの構成及び概要]
図2に示すように、本実施例の地図データ管理システムSは、地図データを管理するサーバ装置100(実施形態のサーバの一例)と、複数の車両のそれぞれに搭載される車載端末200(実施形態の端末の一例)と、を含んで構成され、サーバ装置100と各車載端末200とは、例えばインターネット等のネットワークNWを介して諸データの授受が可能に接続されている。なお、図2では車載端末200を一台示しているが、地図データ管理システムSは複数の車載端末200を含んで構成してもよい。また、サーバ装置100についても複数の装置で構成してもよい。
車載端末200は、車載端末200と共に後述するLiDARセンサが搭載された車両において、LiDARセンサが自ら出射したレーザー光の、当該車両の周辺に存在する地物からの反射光を受光することにより当該地物を検出し、その検出結果に対応するデータ等を、後述する実施例のデータ構造を有する送信データとして、サーバ装置100に送信する。このとき、実施例の地物としては、道路脇の必要な箇所に国又は地方自治体等が設置したいわゆるカーブミラーに加えて、一個人が例えば自らが所有する駐車場と道路との境界部分に設置したミラーが挙げられる。以下の説明では、これらを纏めて「カーブミラー等」と称する。これに加えて車体端末200は、カーブミラー等による上記レーザー光の反射光に基づいて、当該カーブミラー等に対応した後述の処理を行う。
サーバ装置100は、複数の車載端末200それぞれから受信した複数の上記送信データに基づいて、サーバ装置100に記録されている後述の地図データを更新すると共に、いずれかの車載端末100からの要求に応じて、当該要求に対応する地図データを当該要求した車載端末200に送信する。なお、上記地図データの更新は、サーバ装置100から指示を受けた他の装置が行うこととしてもよい。
[2.車載端末200の構成]
次に、本実施例の車載端末200の構成について説明する。
図2に示すように、車載端末200は、大別して、制御部201と、記憶部202と、通信部203と、インターフェース部204を含んで構成されており、外部機器であるLiDARセンサ205及び内界センサ206に接続されている。
記憶部202は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等により構成されており、OS(Operating System)、実施例の処理プログラム、地図データ及び各種データ等を記憶する。地図データには、LiDARセンサ205による検出の対象となる地物について、その位置を示す地図位置情報と、当該地物と他の地物とを識別するための地物IDが記述されている。このとき、地図位置情報と地物IDは一の地物に紐付く情報であるため、地物IDは当該一の地物の位置を示す位置情報の一つということができる。なお、上記地物の例としては、本実施例のカーブミラー等の他に、例えば、車載端末200が搭載されている車両の周囲に存在する、人、他の車両、信号機、看板、建築物及び道路脇の植生等が挙げられる。また、記憶部202が記憶する地図データと同様の地図データ(即ち、地物ごとに、地図位置情報と地物IDが記述された地図データ)が、サーバ装置100の記憶部102にも記憶されており、車載装置200とサーバ装置100それぞれにおいて地物IDにより同一の地物を特定することができる。更に、記憶部202が記憶する地図データは、例えば全国の地図データを記憶しておくこととしてもよいし、車両の現在位置を含む一定地域に対応する地図データをサーバ装置100等から予め受信して記憶しておくこととしてもよい。
通信部203は、車載端末200とサーバ装置100との通信状態を制御する。
インターフェース部204は、上記LiDARセンサ205及び内界センサ206と、車載端末200と、の間でデータの授受を行う際のインターフェース機能を実現する。
LiDARセンサ205は、例えば車両のルーフ部分等に取り付けられ、一機能として、車両の周囲にレーザー光の照射点で円を描くようにパルス状のレーザー光(より具体的には、例えばパルス状の赤外線レーザー光)を出射し走査する。このときLiDARセンサ205は、例えばルーフ部分から下向きに一定の角度でレーザー光を出射する。そして、車両の周囲にある各地物の表面上の点で反射した光を受光し、各点における反射強度を示す反射強度データ、及び点群距離データ等を生成する。この反射強度データは、レーザー光の、地面や地物による反射強度を示すデータである。また、点群距離データは、レーザー光が照射された方向と、その方向に存在する地面や地物におけるレーザー光の照射点までの距離を示すデータである。これらの反射強度データと点群距離データを総称してセンサーデータと呼ぶ。なお、LiDARセンサ205は、車両フロント部やリア部などに複数取り付けられることで、それぞれが取得した視野範囲の反射強度データと点群距離データを合成して、車両の周囲のセンサーデータを生成してもよい。
LiDARセンサ205は、上記反射強度を測定すると即時にセンサーデータを生成し、インターフェース部204を介して車載端末200に送信する。制御部201は、LiDARセンサ205からセンサーデータを受信すると、受信したセンサーデータを、センサーデータの受信時の車両の位置(即ちLiDARセンサ205を含む車載端末200の位置)を示す測定位置情報と、センサーデータの受信時の日時を示す測定日時情報に対応付けて記憶部202に記憶させる。なお、制御部201は、記憶部202に記憶させたセンサーデータ、測定位置情報及び測定日時情報のうち、測定から所定時間が経過したもの、或いは、サーバ装置100に送信したものについては、記憶部202から削除してもよい。
内界センサ206は、車両に搭載される、衛星測位センサ(GNSS(Global Navigation Satellite System))、ジャイロセンサ、車速センサ等の総称である。
制御部201は、制御部201全体を制御するCPU(Central Processing Unit)と、制御部201を制御する制御プログラム等が予め記憶されているROM(Read Only Memory)と、各種データを一時的に格納するRAM(Random Access Memory)と、により構成されている。そして、CPUが、ROMや記憶部202に記憶された各種プログラムを読み出し実行することにより、実施例の地図データ管理システムSによる送信データの送信処理及び実施例のカーブミラー等の情報を用いた処理を含む各種機能を実現する。
制御部201は、推定自車位置情報を取得する。推定自車位置情報は、車載端末200外の装置が生成したものであってもよいし、制御部201が生成したものであってもよい。推定自車位置情報は、例えば、LiDARセンサ205で計測した地物位置と、自動運転用の地図データの地物位置と、をマッチングして生成したり、内界センサ206で検出した情報と上記地図データに基づいて生成したり、これらの組み合わせにより生成することができる。
また、制御部201は、推定自車位置情報と、LiDARセンサ205からのセンサーデータと、に基づいて、例えば道路脇に存在する地物のうちカーブミラー等を検出し、当該検出結果に相当する送信データ1を、実施例の送信データ1のデータ構造によりサーバ装置100に送信する。このカーブミラー等の検出処理については、後ほど図5を用いて詳述する。
ここで、実施例の上記送信データ1のデータ構造について、図3(A)を用いて説明する。
実施例のカーブミラー等を含む各地物それぞれについての実施例の送信データ1は、図3(A)に例示するように、基本情報TMBと、認識オブジェクト情報TMOと、特有情報TMSと、により構成されるデータ構造を備えている。
このうち基本情報TMBは、ヘッダTMB1と、車両メタデータTMB2と、位置データTMB3と、により構成されている。このときヘッダTMB1は、送信データ1としてのデータフォーマットのヴァージョンや送信データ1のデータを送信した時を示すタイムスタンプを示すデータである。車両メタデータTMB2は、車載装置200が搭載されている車両を他の車両から識別するための車両ID、当該車両の大きさを示すデータ及び車載端末200に接続されているセンサの種類を示すデータ等が含まれている。なお車両メタデータTMB2としては、車載端末200に接続されているセンサとして、実施例のLiDARセンサ205の他に、周囲を撮像して画像データを出力するカメラがあることを想定している。位置データTMB3は、ある物体(以下、当該物体を適宜「オブジェクト」と称する)を車載端末200で検出・認識したタイミングにおける当該車載端末200が搭載されている車両の位置を示すデータである。このとき当該位置は、一般には緯度及び経度により示されるものであり、これに加えて、高度(標高)データが含まれていてもよい。
次に認識オブジェクト情報TMOは、物体IDデータTMO1と、物体種別データTMO2と、検出日時データTMO3と、位置データTMO4と、形状データTMO5と、大きさデータTMO6と、により構成されている。このとき物体IDデータTMO1は、送信データ1によりその諸元等が送信される地物(以下、当該地物を適宜「送信対象地物」と称する)を他の地物から識別するためのIDデータである。この物体IDデータTMO1は、検出された地物が初めて検出されたものであった場合は、空白データとしてもよい。物体種別データTMO2は、送信対象地物の種類(例えば、「交通標識」、「信号機」、「カーブミラー」等の種類であり、「カーブミラー」においてはポールに取り付けられているミラーの個数によって種類を分けても良い)を特定するためのコードデータであり、今回の例ではカーブミラー等であることを示す値が設定される。検出日時データTMO3は、LiDARセンサ205を用いて送信対象地物を検出した日時を示すデータである。位置データTMO4は、送信対象地物が存在する位置として検出した緯度及び経度並びに高さ(標高)を示すデータである。形状データTMO5は、送信対象地物の形状(例えば、丸い形状、四角い形状、等の形状)を示すデータである。最後に大きさデータTMO6は、送信対象地物の特徴部分の縦横の大きさを示すデータである。なおカーブミラー等の場合、当該特徴部分とは、ミラーの部分である。また、大きさデータTMO6における横方向の大きさは、ミラー面と平行で且つミラーの直径と同じ長さの水平な線分の両端の位置を使って記述される。
更に特有情報TMSは、カーブミラー等に特有の情報として付加される情報であり、位置高さデータTMS1と、曲率データTMS2と、反射有無データTMS3と、により構成されている。このとき位置高さデータTMS1は、カーブミラー等におけるミラーの部分の地表からの高さを示すデータである。曲率データTMS2は上記ミラーの曲率を示すデータである。反射有無データTMS3は、カーブミラー等がミラーとして機能したか否かを示すデータである。
一方制御部201は、推定自車位置情報と、地図データで示されるカーブミラー等の地図位置情報に基づいて、自車両(即ちLiDARセンサ205)から見た実際のカーブミラー等の位置を予測する。このとき、制御部201は、ある程度の余裕を持って、カーブミラー等の位置が含まれる予測範囲を算出・設定する。なお以下の説明において、実施例のカーブミラー等の位置が含まれる予測範囲を、単に「カーブミラー予測範囲」と称する。
ここで、図4を用いて、カーブミラー予測範囲の設定方法について具体的に説明する。図4における座標系等は次の通りである。なお図4では、実施例のカーブミラー等に含まれるカーブミラーの位置が含まれるカーブミラー予測範囲について示している。
地図座標系:X,Y
車両座標系:X,Y
地図座標系におけるカーブミラー地図位置:mx,my
車両座標系におけるカーブミラー予測位置:lx,ly
地図座標系における推定自車位置:x,y
地図座標系における推定自車方位角:Ψ
なお、上記車両座標系とは、車体端末200が搭載されている車両の位置を基準(原点)とする座標系をいう。
制御部201は、推定自車位置情報の示す推定自車位置に基づき、車両の進行方向(例えば、10m先)にあるカーブミラーの地図位置情報の示すカーブミラー地図位置から、対応するカーブミラー予測範囲を算出する。ここで図4に示すように、車両Vが走行する道路(レーン)の左の道路脇に存在するカーブミラーを検出する場合において、当該カーブミラーの位置を含むカーブミラー予測範囲を算出する場合について具体的に説明する。まず、制御部201は、カーブミラー地図位置と推定自車位置に基づいてカーブミラー予測位置301を算出する。カーブミラー予測位置は、次の(1)式で求められる。
次に、制御部201は、カーブミラー予測位置301を基準にカーブミラー予測範囲311を設定する。具体的には、カーブミラー予測位置301を含む一定の範囲をカーブミラー予測範囲311とする。そして、制御部201は、センサーデータから、カーブミラー予測範囲311内の反射強度を示すカーブミラー等についてのセンサーデータ321を抽出する。
制御部201は、こうして抽出したセンサーデータ321を、カーブミラー地図位置に対応する地物IDと、センサーデータ321の抽出元であるセンサーデータに対応する測定日時情報と対応付けて、記憶部202に記憶する。このようにして得られたセンサーデータ321を含むカーブミラー等の情報を用いた実施例の処理については、後ほど図6を用いて詳述する。
[3.サーバ装置100の構成]
次に、サーバ装置100の構成について説明する。図2に示すように、サーバ装置100は、大別して、制御部101、記憶部102、通信部103、表示部104及び操作部105を含んで構成されている。
記憶部102は、例えばHDDやSSD等により構成されており、OS、上記地図データ、車載端末200から受信した送信データ及びその他各種データ等を記憶する。
通信部103は、車載端末200との通信状態を制御する。
表示部104は、例えば、液晶ディスプレイ等により構成されており、文字や画像等の情報を表示する。
操作部105は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部101に出力する。
制御部101は、制御部101全体を制御するCPUと、制御部101を制御する制御プログラム等が予め記憶されているROMと、各種データを一時的に格納するRAMと、により構成されている。そして、CPUが、ROMや記憶部102に記憶された各種プログラムを読み出し実行することにより、実施例の地図データ管理システムSによる送信データの受信処理を含む各種機能を実現する。
制御部101は、一又は複数の車載端末200それぞれから受信した複数の上記送信データを受信し、それらを用いて、対応する地物に対応する地図データを更新する。
ここで、実施例の地図データのデータ構造について、図3(B)を用いて説明する。
実施例の車載端末200及びサーバ装置100にそれぞれ記憶されている地図データFMは、図3(B)に例示するように、基本情報FMBと、特有情報FMSと、により構成されるデータ構造を備えている。
このうち基本情報FMBは、物体IDデータFMB1と、物体種別データFMB2と、位置データFMB3と、大きさデータFMB4と、により構成されている。このとき物体IDデータFMB1は、対応する地物を他の地物から識別するためのIDデータである。物体種別データFMB2は、上記物体種別データTMO2と同様に、対応する地物の種類を特定するためのコードデータであり、今回の例では「カーブミラー等」であることを示す値が設定される。位置データFMB3は、対応する地物が存在する位置の緯度及び経度並びに高さ(標高)を示すデータである。大きさデータFMB4は、上記大きさデータTMO6と同様に、対応する地物の特徴部分の縦横の大きさを示すデータである。なお、位置データFMB3に加えて、当該地物がどの道路リンクに属するのかを示す情報を付加してもよい。
次に、特有情報FMSは、カーブミラー等に特有の情報として付加される情報であり、曲率データFMS1と、観察対象データFMS2と、形状データFMS3と、所有者データFMS4と、使用不可時間帯データFMS5と、により構成されている。このとき曲率データFMS1は、上記曲率データTMS2と同様に、対応する地物がカーブミラー等である場合におけるそのミラーの曲率を示すデータである。観察対象データFMS2は、対応する地物がカーブミラー等である場合におけるそのミラーに映し出される対象物(例えば合流する脇道たる道路等)を示すデータであり、具体的には当該映し出される道路等を他の道路等と識別するための道路IDデータである。なお、カーブミラー等を見る方向(若しくはカーブミラー等を見るときの道路を示す道路IDデータ)と関連付けて、ミラーに映し出される対象物を登録することが好ましい。形状データFMS3は、上記形状データTMO5と同様に、対応する地物の形状を示すデータである。所有者データFMS4は、対応する地物がカーブミラー等である場合におけるその所有者(例えば、国又は地方自治体であるか、或いは個人所有であるかの区分)を示すデータである。使用不可時間帯データFMS5は、対応する地物がカーブミラー等である場合において、例えば車両から観て当該カーブミラー等の背後に太陽が位置する時間帯は、LiDARセンサ205では、そのカーブミラー等を使って、観察対象データFMS2が示す道路等に存在する物体などを検出できないので、その時間帯を示すデータである。なお、使用不可時間帯データFMS5としては、例えば車両に搭載されるであろうセンサの種類ごとに設けてもよい。例えば、センサとしてのカメラについては、ミラーに朝露が付着する時間帯が使用不可時間帯データFMS5として想定される。また例えば当該カーブミラー等の一部が季節によって街路樹により隠されてしまう場合は、その季節を示すデータを使用不可時間帯データFMS5としてもよい。なお、上記特有情報FMSのうち、観察対象データFMS2、所有者データFMS4及び使用不可時間帯データFMS5は、例えば、対応するカーブミラー等が設置された段階で、その設置者からの情報に基づいて地図データFM内に記述されるように構成することができる。
[4.地図データ管理システムSの動作例]
[4.1.カーブミラー等の検出時の動作例]
次に、図5(A)のフローチャートを用いて、地図データ管理システムSの動作例のうち、車載端末200によるカーブミラー等の検出時の動作例について説明する。なお、図5のフローチャートでは、一の車載端末200がそのLiDARセンサ205による検出結果を用いて上記送信データ1を生成し、これをサーバ装置100に送信する流れについて説明しているが、地図データ管理システムSに含まれる各車載端末200について同様の処理が実行される。また、図5(A)の車載端末200のステップS101〜ステップS105の処理は、定期的に(例えば、所定時間毎に、及び/又は、車載端末200が搭載された車両が所定距離移動する毎に)実行され、車載端末200によるステップS105の処理を受けて、サーバ装置100はステップS201〜ステップS202の処理を実行する。
まず、車載端末200の制御部201は、推定自車位置情報を取得する(ステップS101)。
次に、制御部201は、LiDARセンサ205からのセンサーデータに基づき、車載端末200が搭載されている車両の移動方向に沿って存在しているカーブミラー等(図4参照)と思われる地物を認識する(ステップS102)。このステップS102について具体的には、一般のカーブミラーでは、図5(B)に例示するように、ミラーMR1及びミラーMR2が固定されているポールPLには矢印付きの「注意」といったマークMKが備えられていることが多いことから、上記センサーデータに基づいて上記マークMKを検出することにより、当該マークMKが取り付けられている地物がカーブミラー等であると認識することができる。また例えば、制御部201は、LiDARセンサ205からのレーザー光の出射角度によっては検出し得ない位置に検出される物体の属性等に基づいてその地物がカーブミラー等であると認識することができる。より具体的には、例えば水平方向から上方に向かって出射したレーザー光により車両が検出された場合、その車両は、カーブミラー等のミラーに映った車両であると判断でき、これにより制御部201は、当該車両の位置がカーブミラー等のミラーの位置であると認識することができる。次に制御部201は、ステップS101で取得した推定自車位置情報の示す推定自車位置に対応する地図データFMから、ステップS102で認識した地物(カーブミラー等と思われる地物)の地図位置情報を取得する(ステップS103)。このとき、制御部201は、上述したように、車両の進行方向にあるカーブミラー等の地図位置情報と地物IDを取得する。
次に、制御部201は、ステップS102のセンサーデータに基づき、ステップS102で認識したカーブミラー等におけるミラーの曲率、その形状及び地表からの高さを判定する(ステップS104)。このとき制御部201は、ステップS102で認識したカーブミラー等に例えば白線が映っていたとすると、その歪み具合から、当該ミラーの曲率を判定することができる。その後制御部201は、ステップS104までに得られた各データを用いて、図3(A)に例示するデータ構造を有する送信データ1を生成し、サーバ装置100へ送信する。その後制御部201は、車載端末200としての送信データ1の生成及び送信処理を終了する。
これに対して、サーバ装置100の制御部101は、車載端末200から上記送信データ1を受信すると(ステップS201)、これを用いて記憶部102に記録されている地図データFMを更新する(ステップS202)。その後制御部101は、地図データ更新処理を終了する。これにより、サーバ装置100の記憶部102には、複数の車載端末200それぞれから送信された複数の送信データ1により更新された地図データFMが蓄積されることとなる。
なお、ステップS103において、地図データFMから地物の地図位置情報を取得できない場合には、ステップS102で認識した地物は、新たに設置された地物(この場合、カーブミラー等)であると判断し、地物IDは空白とし、これにより当該カーブミラー等についての送信データ1を受信したサーバ装置100の制御部101は、地図データFMに新たなカーブミラー等の情報を登録して、地図データFMを更新する。
[4.2.カーブミラー等の情報を用いた処理の動作例]
次に、図6及び図7のフローチャートを用いて、車体端末200による実施例のカーブミラー等の情報を用いた処理の動作例について説明する。また、当該実施例のカーブミラー等の情報を用いた処理は、定期的に(例えば、所定時間ごとに、及び/又は、車載端末200が搭載された車両が所定距離移動するごとに)実行される。
まず、車体端末200の制御部201は、図5(A)ステップS101と同様にして推定自車位置情報を取得する(ステップS211)。次に、制御部201は、地図データFMから、ステップS211で取得された推定自車位置情報により示される自車近辺に存在すカーブミラー等について、その位置データFMB3、その物体IDデータFMB1及びその他の情報を取得する(ステップS212。図3(B)参照。)。
次に、制御部201は、推定自車位置情報の示す推定自車位置と、カーブミラー等についての位置データFMB3が示すカーブミラー等の地図位置及び位置データFMB3が示す当該カーブミラー等の高さから、カーブミラー予測範囲を算出・設定する(ステップS213。図4参照。)。
次に、制御部201は、LiDARセンサ205が検出したセンサーデータのうち上記ステップS213で設定したカーブミラー予測範囲内のものを抽出し、その抽出結果に基づいて、カーブミラー等に向けて照射されたレーザー光があったか否かを判定する(ステップS214)。より具体的に制御部201は、まず、センサーデータと対応付けて記憶されている測定位置情報の測定位置と、LiDARセンサ205がレーザー光を出射する際の出射角に基づいて、カーブミラー予測範囲を含む範囲にレーザー光を出射して検出したセンサーデータを特定する。次いで、制御部201は、当該特定したセンサーデータにおけるカーブミラー予測範囲内の部分のうち、当該カーブミラー等の高さに相当する部分(即ち、当該カーブミラー等のミラーからの反射光のセンサーデータ。以下、同様。)を抽出する。例えば、制御部201は、車両方向を基準とするカーブミラー予測範囲の方位角θ(図4参照)に対応する部分のうち、上記車両座標系において得られた当該車両におけるLiDARセンサ205の位置までの高さと、上記地図座標系におけるカーブミラー等のミラーまでの高さと、の差分として得られる当該カーブミラー等の高さに相当する部分を抽出する。そして、制御部201は、その抽出結果に基づいて、カーブミラー等に向けて出射したレーザー光があるか否かを判定する。ステップS214の判定において、カーブミラー等に向けて出射したレーザー光がない場合(ステップS214:NO)、制御部201は上記ステップS211に戻って上述した処理を繰り返す。一方ステップS214の判定において、カーブミラー等に向けて出射したレーザー光があった場合(ステップS214:YES)、次に制御部201は、当該レーザー光の反射光から検出されたセンサーデータに基づいて、当該レーザー光の出射先にカーブミラー等が存在するか否かを判定する(ステップS215)。即ち制御部201は、例えば、前述のステップS102で行われたのと同じ手法により、レーザー光の出射先にカーブミラー等(のミラー)が存在することを判定することができる。ステップS215の判定において、レーザー光の出射先にカーブミラー等が存在しない場合(ステップS215:YES)、制御部201は、ステップS212で取得した物体IDデータFMB1により識別されるカーブミラー等が何らかの理由で存在しなくなっている旨を、当該物体IDデータFMB1と共にサーバ装置100に送信する(ステップS216)。上記ステップS215の判定で「YES」となる場合は、例えば、カーブミラー等が個人の所有によるもので、それが当該個人により撤去された場合が挙げられる。つまり、個人の所有によるカーブミラーであれば、カーブミラーが存在しなくなったことについての情報の信頼性を高いものとして扱うことができる。一方、国や地方公共団体が設置したカーブミラーであれば、カーブミラーが存在しなくなった可能性を低いと判断し、他の車両からも同様の情報が所定数以上集まった場合に、撤去されたと判断することができる。これによりサーバ装置100は、送信されてきた物体IDデータFMB1により示されるカーブミラー等の情報を、地図データFMから削除する等の処理を行う。その後、制御部201は、実施例のカーブミラー等の情報を用いた処理を終了する。
一方ステップS215の判定において、レーザー光の出射先にカーブミラー等が存在していた場合(ステップS215:NO)、制御部201は、当該カーブミラー等からの反射光のセンサーデータを用いた処理を実行する(ステップS217)。このとき、ステップS217の処理として具体的には、例えば、当該カーブミラー等に映っている物体についての処理を回避すべく、当該カーブミラー等からの反射光のセンサーデータを無視する処理がある。また例えば、カーブミラー等からの反射光のセンサーデータに基づき、そのカーブミラー等のミラーに映っている車両等を検出する処理がある。
ここで、ステップS217の処理としての、カーブミラー等のミラーに映っている車両等を検出する処理について、具体的に図7を用いて説明する。即ち、図7に示すように、ステップS217の処理としての、カーブミラー等のミラーに映っている車両等を検出する処理では、制御部201は、カーブミラー等からの反射光のセンサーデータにより、地物としての車両が検出されているか否かを判定する(ステップS2171)。ステップS2171の判定において車両が検出されない場合(ステップS2171:NO)、制御部201は図6に戻って実施例のカーブミラー等の情報を用いた処理を終了する。一方ステップS2171の判定において車両が検出されている場合(ステップS2171:YES)、制御部201は、当該反射強度の反射光が得られたレーザー光の出射方向を判定する(ステップS2172)。ステップS2172の判定において、当該レーザー光の出射方向が、カーブミラー等のミラーの方向に相当する位置である場合(ステップS2172:上方)、制御部201は、ステップS2171で検出された車両が、カーブミラー等のミラーに映った車両であると判定し、それに対応した、例えば車両の減速処理等を行う(ステップS2174)。この際、ステップS212で取得した物体IDデータFMB1により識別されるカーブミラーの観察対象データFMS2を参照することで、どの道路から車両が接近しつつあるか等を判断することができる。その後制御部201は、図6に戻って実施例のカーブミラー等の情報を用いた処理を終了する。一方ステップS2172の判定において、当該レーザー光の出射方向が、ミラーの方向に相当する位置でない場合(ステップS2172:上方以外)、制御部201は、ステップS2171で検出された車両が、通常の、例えば車体端末200が搭載されている車両が移動している道路又はその対向車線を移動している他の車両であると判定し、それに対応した、例えば車線変更処理等を行う(ステップS2173)。その後制御部201は、図6に戻って実施例のカーブミラー等の情報を用いた処理を終了する。
以上説明したように、本実施例における地図データ管理システムSにおける送信データ1は、カーブミラー等である地物の位置を示す位置データTMO4(実施形態の位置情報1Aの一例)と、地物がカーブミラー等であることを示す物体種別データTMO2(実施形態のミラー情報1Bの一例)と、を含み、車体端末200が、LiDARセンサ205(実施形態の検出手段の一例)により検出されたカーブミラー等の位置を示す位置データTMO4と、当該位置データTMO4により特定される地物がカーブミラー等であることを示す物体種別データTMO2と、を関連付けてサーバ装置100へ送信して記録させる処理に用いられる。
従って、カーブミラー等である地物に関する情報を記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
また送信データ1は、車体端末200が、LiDARセンサ205により検出された地物の位置を認識し、且つ、当該検出された地物がカーブミラー等であることを認識した(図5(A)ステップS102参照)後、当該地物の位置データTMO4と、当該地物の物体種別データTMO2と、を関連付けてサーバ装置100へ送信して記録させる処理に用いられるので、カーブミラー等である地物に関する情報を正確に記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
更に、送信データ1は、LiDARセンサ205により検出された地物をサーバ装置100で識別可能な識別情報としての物体IDデータTMO1を、車体端末200が記憶部202に記憶されている地図データFMから取得した場合、位置データTMO4と、物体種別データTMO2と、物体IDデータTMO1と、を関連付けてサーバ装置100へ送信して記録させる処理に用いられる。よって、地物を容易に識別できる状態でその地物に関する情報を正確に記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
更にまた、送信データ1には、カーブミラー等について形状データTMO5等が物体種別データTMO2に関連付けられて含まれるので、カーブミラー等である地物に関する情報をより詳細且つ正確に記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
また、送信データ1には、曲率データTMS2、形状データTMO5、及び大きさデータTMO6等が含まれるので、カーブミラー等である地物に関する情報を更に詳細且つ正確に記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
更に、送信データ1には、カーブミラー等の検出日時データTMO3が物体種別データTMO2に関連付けられて含まれるので、カーブミラー等である地物に関する情報を日時に対応させて記録するためにサーバ装置100に送信する際の送信データ1のデータ構造を提供することができる。
更にまた、制御部201(本願の「特定手段」の一例及び「判定手段」の一例)は、LiDARセンサ205で検出された地物の当該LiDARセンサ205における検出方向(当該地物で反射されたレーザー光の出射方向)を特定し、その検出された地物と、特定された検出方向と、に基づいて、その地物がカーブミラー等であるかを判定するので(図7参照)、LiDARセンサ205からのレーザー光を直接照射することができない位置にある車両等の物体の存在を、車体端末200において容易に認識することができる。
なお、上述した実施例では、車体端末200にLiDARセンサ205が接続されている場合について説明したが、これ以外に、可視光を撮像可能な例えばCMOS(Complementary Metal Oxide Semiconductor)センサを搭載したカメラが車体端末200に接続され、当該カメラの撮像データを用いて地物を検出する場合に本願を適用することも可能である。この場合、センサーデータとしては、撮像データである画像若しくは動画像が取り扱われ、画像認識処理によって地物の種別、位置、大きさなどの認識オブジェクト情報TMO及び特有情報TMSを認識することができる。
また、図5乃至図7に示すフローチャートに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得して記録しておき、これらを汎用のマイクロコンピュータ等により読み出して実行することで、当該マイクロコンピュータ等を実施例の制御部101又は制御部201として機能させることも可能である。
1 送信データ
1A 位置情報
1B ミラー情報
S 地図データ管理システム
100 サーバ装置
101、201 制御部
200 車載端末
205 LiDARセンサ
TMB 基本情報
TMO 認識オブジェクト情報
TMS 特有情報
TMB1 ヘッダ
TMB2 車両メタデータ
TMB3 位置データ
TMO1 物体IDデータ
TMO2 物体種別データ
TMO3 検出日時データ
TMO4 位置データ
TMO5 形状データ
TMO6 大きさデータ
TMS1 位置高さデータ
TMS2 曲率データ
TMS3 反射有無データ

Claims (9)

  1. 地物の位置を示す位置情報と、前記地物がミラーを有する地物であることを示すミラー情報と、を含み、移動体に搭載された端末から外部のサーバへ送信される送信データのデータ構造であって、
    前記端末が、検出手段により検出された前記地物の位置を示す前記位置情報と、当該位置情報により特定される前記地物がミラーを有する地物であることを示す前記ミラー情報と、を関連付けて前記サーバへ送信して記録させる処理に用いられることを特徴とする前記送信データのデータ構造。
  2. 請求項1に記載のデータ構造において、
    前記移動体に搭載された前記端末が、前記検出手段により検出された前記地物の位置を認識し、且つ、当該検出された前記地物が前記ミラーを有する当該地物であることを認識した後、当該地物の前記位置情報と、当該地物の前記ミラー情報と、を関連付けて前記サーバへ送信して記録させる処理に用いられることを特徴とする前記送信データのデータ構造。
  3. 請求項1又は請求項2に記載のデータ構造において、
    前記検出手段により検出された前記地物を前記サーバで識別可能な識別情報を、前記移動体に搭載された前記端末が地図データから取得した場合、当該地物の前記位置情報と、当該地物の前記ミラー情報と、当該地物の前記識別情報と、を関連付けて前記サーバへ送信して記録させる処理に用いられることを特徴とする前記送信データのデータ構造。
  4. 請求項1から請求項3のいずれか一項に記載のデータ構造において、
    前記送信データには、前記ミラーの属性情報が前記ミラー情報に関連付けられて含まれることを特徴とする前記送信データのデータ構造。
  5. 請求項4に記載のデータ構造において、
    前記ミラーの属性情報には、前記ミラーの曲率、前記ミラーの形状、及び前記ミラーのサイズのうち少なくともいずれか一つが含まれることを特徴とする前記送信データのデータ構造。
  6. 請求項1から請求項5のいずれか一項に記載のデータ構造において、
    前記送信データには、前記ミラーを有する地物の前記検出手段による検出日時が前記ミラー情報に関連付けられて含まれることを特徴とする前記送信データのデータ構造。
  7. 物体を検出する検出手段と、
    前記検出された物体の前記検出手段における検出方向を特定する特定手段と、
    前記検出された物体と、前記特定された検出方向と、に基づいて、前記物体がミラーを有する地物であるかを判定する判定手段と、
    を備えることを特徴とする判定装置。
  8. 検出手段と、特定手段と、判定手段と、を備える判定装置において実行される判定方法であって、
    前記検出手段により物体を検出する検出工程と、
    前記検出された物体の前記検出手段における検出方向を前記特定手段により特定する特定工程と、
    前記検出された物体と、前記特定された検出方向と、に基づいて、前記物体がミラーを有する地物であるかを前記判定手段により判定する判定工程と、
    を含むことを特徴とする判定方法。
  9. コンピュータを、
    物体を検出する検出手段、
    前記検出された物体の前記検出手段における検出方向を特定する特定手段、及び、
    前記検出された物体と、前記特定された検出方向に基づいて、前記物体がミラーを有する地物であるかを判定する判定手段、
    として機能させることを特徴とする判定プログラム。
JP2017229994A 2017-11-30 2017-11-30 送信データのデータ構造、判定装置及び判定方法並びに判定プログラム Pending JP2019100787A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017229994A JP2019100787A (ja) 2017-11-30 2017-11-30 送信データのデータ構造、判定装置及び判定方法並びに判定プログラム
JP2022178808A JP2023021111A (ja) 2017-11-30 2022-11-08 判定装置及び判定方法並びに判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229994A JP2019100787A (ja) 2017-11-30 2017-11-30 送信データのデータ構造、判定装置及び判定方法並びに判定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022178808A Division JP2023021111A (ja) 2017-11-30 2022-11-08 判定装置及び判定方法並びに判定プログラム

Publications (1)

Publication Number Publication Date
JP2019100787A true JP2019100787A (ja) 2019-06-24

Family

ID=66973387

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017229994A Pending JP2019100787A (ja) 2017-11-30 2017-11-30 送信データのデータ構造、判定装置及び判定方法並びに判定プログラム
JP2022178808A Pending JP2023021111A (ja) 2017-11-30 2022-11-08 判定装置及び判定方法並びに判定プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022178808A Pending JP2023021111A (ja) 2017-11-30 2022-11-08 判定装置及び判定方法並びに判定プログラム

Country Status (1)

Country Link
JP (2) JP2019100787A (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045051A (ja) * 2002-07-08 2004-02-12 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理システム
JP2007279958A (ja) * 2006-04-05 2007-10-25 Toyota Motor Corp 外部ミラー検出装置
JP2007279805A (ja) * 2006-04-03 2007-10-25 Matsushita Electric Ind Co Ltd 障害物衝突判断装置および障害物衝突警告システム
JP2009211624A (ja) * 2008-03-06 2009-09-17 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2010052688A (ja) * 2008-08-29 2010-03-11 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2016110629A (ja) * 2014-11-27 2016-06-20 パナソニックIpマネジメント株式会社 物体検出装置および道路反射鏡
WO2016117060A1 (ja) * 2015-01-22 2016-07-28 パイオニア株式会社 走行支援装置及び走行支援方法
JP2016151967A (ja) * 2015-02-18 2016-08-22 株式会社東芝 情報処理装置、道路構造物管理システム、及び道路構造物管理方法
JP2017097580A (ja) * 2015-11-24 2017-06-01 マツダ株式会社 物体検出装置
JP2017097581A (ja) * 2015-11-24 2017-06-01 マツダ株式会社 物体検出装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004045051A (ja) * 2002-07-08 2004-02-12 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理システム
JP2007279805A (ja) * 2006-04-03 2007-10-25 Matsushita Electric Ind Co Ltd 障害物衝突判断装置および障害物衝突警告システム
JP2007279958A (ja) * 2006-04-05 2007-10-25 Toyota Motor Corp 外部ミラー検出装置
JP2009211624A (ja) * 2008-03-06 2009-09-17 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2010052688A (ja) * 2008-08-29 2010-03-11 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2016110629A (ja) * 2014-11-27 2016-06-20 パナソニックIpマネジメント株式会社 物体検出装置および道路反射鏡
WO2016117060A1 (ja) * 2015-01-22 2016-07-28 パイオニア株式会社 走行支援装置及び走行支援方法
JP2016151967A (ja) * 2015-02-18 2016-08-22 株式会社東芝 情報処理装置、道路構造物管理システム、及び道路構造物管理方法
JP2017097580A (ja) * 2015-11-24 2017-06-01 マツダ株式会社 物体検出装置
JP2017097581A (ja) * 2015-11-24 2017-06-01 マツダ株式会社 物体検出装置

Also Published As

Publication number Publication date
JP2023021111A (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
JP7067536B2 (ja) 車両制御装置、方法および記憶媒体
CN112639918B (zh) 地图系统、车辆侧装置、方法和存储介质
CN106352867B (zh) 用于确定车辆自身位置的方法和设备
US9140792B2 (en) System and method for sensor based environmental model construction
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
US11531348B2 (en) Method and apparatus for the detection and labeling of features of an environment through contextual clues
US9576200B2 (en) Background map format for autonomous driving
CN104691447A (zh) 用于动态地聚焦车辆传感器的系统和方法
WO2017208396A1 (ja) 地物データ構造、記憶媒体、情報処理装置及び検出装置
CN110530377B (zh) 用于实施用于车辆的至少一个提高安全性的措施的方法和装置
JP2022016460A (ja) 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
CN112740224A (zh) 道路环境信息的自动化众包
US20210183237A1 (en) Method and device for providing a position of at least one object
JP2022173318A (ja) 地図データ構造、情報処理装置及び地図データ生成装置
JP2019101138A (ja) 地図データのデータ構造
JP2023021111A (ja) 判定装置及び判定方法並びに判定プログラム
CN106537172B (zh) 用于确定传感器的位置和/或定向的方法
JP2019168985A (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP2019101605A (ja) 送信データのデータ構造
TW202115616A (zh) 應用路側特徵辨識之圖資定位系統及方法
JP2022128469A (ja) 情報処理装置、制御方法、及びプログラム
WO2019107397A1 (ja) 地図データのデータ構造
EP3835724B1 (en) Self-location estimation method and self-location estimation device
WO2023286303A1 (ja) 車両制御装置
JP2022121579A (ja) 地図データのデータ構造

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220809