JP2022074672A - 地図更新装置及び地図更新方法 - Google Patents

地図更新装置及び地図更新方法 Download PDF

Info

Publication number
JP2022074672A
JP2022074672A JP2020184917A JP2020184917A JP2022074672A JP 2022074672 A JP2022074672 A JP 2022074672A JP 2020184917 A JP2020184917 A JP 2020184917A JP 2020184917 A JP2020184917 A JP 2020184917A JP 2022074672 A JP2022074672 A JP 2022074672A
Authority
JP
Japan
Prior art keywords
feature
map
reliability
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020184917A
Other languages
English (en)
Other versions
JP7327355B2 (ja
Inventor
雅浩 田中
Masahiro Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020184917A priority Critical patent/JP7327355B2/ja
Priority to US17/498,040 priority patent/US20220136859A1/en
Priority to CN202111252739.8A priority patent/CN114526744B/zh
Publication of JP2022074672A publication Critical patent/JP2022074672A/ja
Application granted granted Critical
Publication of JP7327355B2 publication Critical patent/JP7327355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3822Road feature data, e.g. slope data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】地図に表される地物に関する情報を適切に更新できる地図更新装置を提供する。【解決手段】地図更新装置は、車両から、車両に搭載された撮像部による画像に第1の地点に設けられた地物が表されている信頼度を表す信頼度情報を受信する通信部と、受信した複数の信頼度情報の総数に対する、地物が検出されたと判定される第1の閾値よりも低い第2の閾値未満の信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、第1の地点に設けられた地物が撤去されたと判定する地物状態判定部41と、地物が撤去されたと判定された場合に、地図から第1の地点に設けられた地物に関する情報を削除するよう、地図を更新する地図更新部42を有する。【選択図】図5

Description

本発明は、地図を更新する地図更新装置及び地図更新方法に関する。
車両の自動運転システムが車両を自動運転制御するために参照する高精度な道路地図には、道路に関する情報を正確に表していることが求められる。そこで、複数の車両から道路に関する情報を適宜収集し、収集した情報に基づいて道路地図を更新する技術が提案されている(例えば、特許文献1及び2を参照)。
例えば、特許文献1に開示された技術では、地図情報に基づいて車両を自動運転制御する車載装置は、自動運転制御から手動運転へのテイクオーバーが発生した場合、その発生位置を含むアップロード対象範囲を設定し、アップロード対象範囲に関する地図情報を外部装置にアップロードする。外部装置は、車載装置からアップロードされた地図情報に基づいて、外部地図情報を更新する。
また、特許文献2に開示された技術では、サーバ装置が記憶する高度化地図に、車載機の外界センサにより検出される対象となる地物ごとに、地物情報が登録されており、地物情報のデータ構造には、地物の検出に関する設定情報または環境情報が含まれるセンサ属性のフィールドが設けられている。そしてサーバ装置は、センサ属性のフィールドを、複数の車載機から受信した地物検出時の条件を示す条件情報を統計解析することで更新する。
特開2020-71053号公報 特開2020-73893号公報
地図に表された地物の何れかに関して、車両に搭載されたセンサでその地物を精度良く検出することが困難なことがある。このような場合、その地物が実際には存在しない可能性もあるので、地図上でその地物に関する情報を適切に更新することが求められる。
そこで、本発明は、地図に表される地物に関する情報を適切に更新できる地図更新装置を提供することを目的とする。
一つの実施形態によれば、地図更新装置が提供される。この地図更新装置は、少なくとも一つの車両から、その車両に搭載された撮像部により得られた画像に第1の地点に設けられた地物が表されている信頼度を表す信頼度情報を受信する通信部と、第1の地点に設けられた地物に関する情報を含む地図を記憶する記憶部と、第1の地点について受信した複数の信頼度情報の総数に対する、地物が検出されたと判定される第1の閾値よりも低い第2の閾値未満の信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、第1の地点に設けられた地物が撤去されたと判定する地物状態判定部と、地物が撤去されたと判定された場合に、地図から第1の地点に設けられた地物に関する情報を削除するよう、地図を更新する地図更新部を有する。
この地図更新装置において、通信部は、信頼度情報とともに、信頼度情報に含まれる信頼度が算出された画像が得られたときの車両の位置の精度を表す位置精度情報をさらに受信し、地物状態判定部は、信頼度情報に対応する位置精度情報に表される車両の位置の精度が所定精度よりも低い場合、その信頼度情報を、上記の比率を算出する信頼度情報として計数しないことが好ましい。
また、この地図更新装置において、地物状態判定部は、上記の比率が所定の比率閾値未満であり、かつ、複数の信頼度情報のそれぞれに表される信頼度のバラツキ度が所定のバラツキ度閾値以下である場合、その地物に検出精度が低下する要因が有ると判定することが好ましい。
あるいは、この地図更新装置は、上記の比率が所定の比率閾値未満であり、かつ、複数の信頼度情報のそれぞれに表される信頼度のバラツキ度が所定のバラツキ度閾値より高い場合、第1の地点を表す画像を送信することを指示する画像収集指示を、通信部を介して少なくとも一つの車両の何れかに送信する通知部をさらに有することが好ましい。
あるいは、この地図更新装置において、通信部は、少なくとも一つの車両から、その車両に搭載された撮像部により得られた画像に第2の地点に設けられた地物が表されている信頼度を表す信頼度情報をさらに受信し、地物状態判定部は、第2の地点について受信した複数の信頼度情報の総数に対する、第1の閾値よりも高い第3の閾値以上の信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、第2の地点に地物が新設されたと判定し、地図更新部は、地物が新設されたと判定された場合に地図において第2の地点に新設された地物に関する情報を追加するよう、地図を更新することが好ましい。
本発明の他の形態によれば、地図更新方法が提供される。この地図更新方法は、少なくとも一つの車両から、その車両に搭載された撮像部により得られた画像に第1の地点に設けられた地物が表されている信頼度を表す信頼度情報を受信し、第1の地点について受信した複数の信頼度情報の総数に対する、地物が検出されたと判定される第1の閾値よりも低い第2の閾値未満の信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、第1の地点に設けられた地物が撤去されたと判定し、地物が撤去されたと判定された場合に、第1の地点に設けられたその地物に関する情報を含む地図から、その地物に関する情報を削除するよう、地図を更新する、ことを含む。
本発明に係る地図更新装置は、地図に表される地物に関する情報を適切に更新できるという効果を奏する。
地図更新装置が実装される地図更新システムの概略構成図である。 地図更新システムに含まれる車両の概略構成図である。 車両に搭載される、データ取得装置のハードウェア構成図である。 地図更新装置の一例であるサーバのハードウェア構成図である。 地図更新処理に関連する、サーバのプロセッサの機能ブロック図である。 (a)は、着目する地物が表された地図の一例を示す図である。(b)は、着目する地物が撤去された例を示す図である。(c)は、着目する地物について検出精度が低下する要因が有る例を示す図である。 地図更新処理の動作フローチャートである。
以下、図を参照しつつ、地図更新装置、及び、地図更新装置にて実行される地図更新方法について説明する。この地図更新装置は、車両に搭載されたデータ取得装置から、車両のカメラにより生成された画像に検出対象となる地物が表されている確からしさを表す信頼度と、その地物の種類及び位置を含む信頼度情報を収集する。その際、車両に搭載されたデータ取得装置は、車両に搭載されたカメラにより得られた画像に基づいて、検出対象となる地物についての信頼度を算出する。そしてデータ取得装置は、その地物の種類、位置及び信頼度を含む信頼度情報を生成し、生成した信頼度情報を地図更新装置へ送信する。地図更新装置は、地図上において、何等かの地物が表された地点について、受信した複数の信頼度情報に基づいて、その地点の地物が撤去されたか否か、及び、その地物について車両に搭載されたカメラにより得られた画像から検出することが困難な要因が有るか否かを判定する。
なお、検出対象となる地物には、例えば、各種の道路標識、各種の道路標示、信号機及びその他の車両の走行に関連する地物が含まれる。
図1は、地図更新装置が実装される地図更新システムの概略構成図である。本実施形態では、地図更新システム1は、少なくとも一つの車両2と、地図更新装置の一例であるサーバ3とを有する。車両2は、例えば、サーバ3が接続される通信ネットワーク4とゲートウェイ(図示せず)などを介して接続される無線基地局5にアクセスすることで、無線基地局5及び通信ネットワーク4を介してサーバ3と接続される。なお、図1では、一つの車両2のみが図示されているが、地図更新システム1は複数の車両2を有してもよい。同様に、複数の無線基地局5が通信ネットワーク4に接続されていてもよい。
図2は、車両2の概略構成図である。車両2は、車両2の周囲を撮影するためのカメラ11と、GPS受信機12と、無線通信端末13と、データ取得装置14とを有する。カメラ11、GPS受信機12、無線通信端末13及びデータ取得装置14は、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
カメラ11は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ11は、例えば、車両2の前方を向くように、例えば、車両2の車室内に取り付けられる。そしてカメラ11は、所定の撮影周期(例えば1/30秒~1/10秒)ごとに車両2の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ11により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両2には、撮影方向または焦点距離が異なる複数のカメラ11が設けられてもよい。
カメラ11は、画像を生成する度に、その生成した画像を、車内ネットワークを介してデータ取得装置14へ出力する。
GPS受信機12は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両2の自己位置を測位する。そしてGPS受信機12は、所定の周期ごとに、GPS信号に基づく車両2の自己位置の測位結果を表す測位情報を、車内ネットワークを介してデータ取得装置14へ出力する。なお、車両2はGPS受信機12以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両2の自己位置を測位すればよい。
無線通信端末13は、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、無線基地局5にアクセスすることで、無線基地局5及び通信ネットワーク4を介してサーバ3と接続される。そして無線通信端末13は、データ取得装置14から受け取った信頼度情報あるいは画像を含むアップリンクの無線信号を生成する。そして無線通信端末13は、そのアップリンクの無線信号を無線基地局5へ送信することで、信頼度情報あるいは画像をサーバ3へ送信する。また、無線通信端末13は、無線基地局5からダウンリンクの無線信号を受信して、その無線信号に含まれる、サーバ3からの閾値の変更指示または画像のアップロード指示をデータ取得装置14へわたす。
図3は、データ取得装置のハードウェア構成図である。データ取得装置14は、カメラ11により生成された画像に基づいて、信頼度情報の生成といった、地図更新用データ収集に関連する処理を実行する。そのために、データ取得装置14は、通信インターフェース21と、メモリ22と、プロセッサ23とを有する。
通信インターフェース21は、データ取得装置14を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース21は、車内ネットワークを介して、カメラ11、GPS受信機12及び無線通信端末13と接続される。そして通信インターフェース21は、カメラ11から画像を受信する度に、受信した画像をプロセッサ23へわたす。また、通信インターフェース21は、GPS受信機12から測位情報を受信する度に、受信した測位情報をプロセッサ23へわたす。さらに、通信インターフェース21は、プロセッサ23から受け取った、信頼度情報を、車内ネットワークを介して無線通信端末13へ出力する。さらにまた、通信インターフェース21は、サーバ3から無線通信端末13を介して受信した、閾値変更指示または画像収集指示をプロセッサ23へわたす。
メモリ22は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ22は、ハードディスク装置といった他の記憶装置をさらに有してもよい。そしてメモリ22は、データ取得装置14のプロセッサ23により実行される地図更新用データ収集に関連する処理において使用される各種のデータを記憶する。そのようなデータには、例えば、車両2の識別情報、カメラ11の取り付け位置、撮影方向及び画角といったカメラ11の内部パラメータ、及び、画像から地物を検出するための識別器を特定するためのパラメータセットなどが含まれる。また、メモリ22は、カメラ11から受信した画像、及び、GPS受信機12から受信した測位情報を一定期間記憶してもよい。さらに、メモリ22は、更新対象となる地図を記憶する。さらにまた、メモリ22は、プロセッサ23で実行される各処理を実現するためのコンピュータプログラムなどを記憶してもよい。
プロセッサ23は、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ23は、カメラ11から受信した画像、GPS受信機12から受信した測位情報をメモリ22に記憶する。さらに、プロセッサ23は、車両2が走行している間、所定の周期(例えば、0.1秒~10秒)ごとに、地図更新用データ収集に関連する処理を実行する。
プロセッサ23は、地図更新用データ収集に関連する処理として、例えば、カメラ11から受信した画像について、メモリ22に記憶されている地図に表されている個々の地物についての信頼度を算出する。その際、プロセッサ23は、画像が生成されたときの車両2の自車位置、車両2の進行方向及びカメラ11の撮影方向及び画角といった内部パラメータに基づいて画像に表されている実空間の領域を特定し、特定した実空間の領域に、地図に表された地物(以下、着目する地物と呼ぶ)の位置が含まれているか否か判定する。その際、プロセッサ23は、画像の生成時に最も近いタイミングでGPS受信機12から受信した測位情報で表される位置を、車両2の自車位置とすることができる。あるいは、ECU(図示せず)が車両2の自車位置を推定する場合には、プロセッサ23は、ECUから通信インターフェース21を介して、推定された車両2の自車位置を表す情報を取得してもよい。そして着目する地物の位置が画像上に表される実空間の領域に含まれている場合、プロセッサ23は、その地物の位置を含む画像上の領域(以下、着目領域と呼ぶ)について算出された信頼度を、その地物についての信頼度とする。
プロセッサ23は、例えば、画像を識別器に入力することで、入力された画像(以下、単に入力画像と呼ぶことがある)上の着目領域について、着目する地物についての信頼度を算出する。プロセッサ23は、そのような識別器として、例えば、入力画像から、その入力画像に表された地物を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNが用いられる。
プロセッサ23は、算出された信頼度を所定の閾値と比較する。プロセッサ23は、その信頼度が所定の閾値未満である場合、着目する地物の検出に失敗したと判定し、その信頼度、着目する地物の種類及び位置を含む信頼度情報を生成する。なお、所定の閾値は、例えば、地物が存在すると判定される信頼度の値に相当する検出閾値(第1の閾値)と同じ値に設定される。
また、サーバ3から、閾値を低下させることを指示する閾値変更指示を受信している場合には、プロセッサ23は、その閾値変更指示で指定された実空間上の領域に適用される所定の閾値を、検出閾値よりも低い値に設定してもよい。この場合、メモリ22に、その閾値変更指示で指定された実空間上の領域を表す画像が記憶されている場合、プロセッサ23は、その画像から信頼度を再度算出し、算出した信頼度を変更後の閾値と比較することで、信頼度情報をサーバ3へ送信するか否かを判定してもよい。
プロセッサ23は、信頼度情報を生成する度に、その生成した信頼度情報を、通信インターフェース21を介して無線通信端末13へ出力する。これにより、信頼度情報がサーバ3へ送信される。
さらに、プロセッサ23は、サーバ3から、所定の位置の地物の画像をアップロードすることを指示する画像収集指示を受信すると、プロセッサ23は、カメラ11から画像を受け取る度に、その画像にその所定の位置が表されているか否か判定する。その際、プロセッサ23は、カメラ11からの方位、車両2の自車位置、車両2の進行方向及びカメラ11の撮影方向及び画角といった内部パラメータに基づいて、その所定の位置が画像に表されているか否か判定すればよい。そしてプロセッサ23は、画像にその所定の位置が表されていると判定した場合、その画像を、通信インターフェース21及び無線通信端末13を介してサーバ3へ送信する。
次に、地図更新装置の一例であるサーバ3について説明する。
図4は、地図更新装置の一例であるサーバ3のハードウェア構成図である。サーバ3は、通信インターフェース31と、ストレージ装置32と、メモリ33と、プロセッサ34とを有する。通信インターフェース31、ストレージ装置32及びメモリ33は、プロセッサ34と信号線を介して接続されている。サーバ3は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。
通信インターフェース31は、通信部の一例であり、サーバ3を通信ネットワーク4に接続するためのインターフェース回路を有する。そして通信インターフェース31は、車両2と、通信ネットワーク4及び無線基地局5を介して通信可能に構成される。すなわち、通信インターフェース31は、車両2から無線基地局5及び通信ネットワーク4を介して受信した信頼度情報をプロセッサ34へわたす。
ストレージ装置32は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置32は、地図更新処理において使用される各種のデータ及び情報を記憶する。例えば、ストレージ装置32は、更新対象となる地図、及び、地図を更新するか否かの判断基準となる信頼度情報の目標収集数を記憶する。さらに、ストレージ装置32は、車両2から受信した各信頼度情報を記憶する。さらにまた、ストレージ装置32は、プロセッサ34上で実行される、地図更新処理を実行するためのコンピュータプログラムを記憶してもよい。
メモリ33は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ33は、地図更新処理の実行中に生成される各種データなどを一時的に記憶する。
プロセッサ34は、制御部の一例であり、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ34は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ34は、地図更新処理を実行する。
図5は、地図更新処理に関連するプロセッサ34の機能ブロック図である。プロセッサ34は、地物状態判定部41と、地図更新部42と、通知部43とを有する。プロセッサ34が有するこれらの各部は、例えば、プロセッサ34上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ34が有するこれらの各部は、プロセッサ34に設けられる、専用の演算回路であってもよい。
地物状態判定部41は、地図に表された着目する地物について、その地物の位置(第1の地点)を含み、かつ、その地物の種類と同じ種類の地物について算出された信頼度を含む信頼度情報を、着目する地物についての信頼度情報(以下、便宜上、着目信頼度情報と呼ぶ)とする。そして地物状態判定部41は、着目信頼度情報を所定の目標収集数以上受信すると、それら着目信頼度情報に基づいてその着目する地物の検出に関連する状態を判定する。なお、地物状態判定部41は、着目する地物についての信頼度情報を一つまたは複数受信すると、着目する地物の位置を含む所定の領域について、信頼度情報生成の基準となる、信頼度との比較に利用される閾値を低下させる閾値変更指示を生成して、通知部43にわたしてもよい。
地物状態判定部41は、各着目信頼度情報のうち、その着目信頼度情報に含まれる信頼度が、地物の検出に失敗したことに相当する未検出閾値(第2の閾値)以下となる着目信頼度情報の数を計数する。未検出閾値は、上記の検出閾値よりも低い値に設定される。着目信頼度情報の総数に対する、その数の比率が所定の比率閾値(例えば、0.7~0.9)以上である場合、地物検出用の閾値を下げても、着目する地物はほぼ検出されないことになる。すなわち、車両2が着目する地物があるはずの位置を何時通っても、車両2のカメラ11による画像にその着目する地物が写っていないと考えられる。このことから、地物状態判定部41は、着目する地物は撤去されたと判定する。
一方、地物状態判定部41は、その比率が所定の比率閾値未満である場合、車両2のカメラ11による画像によっては、その着目する地物らしきものが写っていることがあると考えられる。そこで地物状態判定部41は、各着目信頼度情報に含まれる信頼度のバラツキ度を算出する。例えば、地物状態判定部41は、バラツキ度として、信頼度の分散、あるいは、信頼度の分布の第1四分位数と第3四分位数間の距離を算出する。算出したバラツキ度が所定のバラツキ度閾値以下である場合、車両2が着目する地物があるはずの位置を何時通っても、着目する地物を精度良く検出できていないので、地物状態判定部41は、着目する地物には、検出精度が低下する要因が有ると判定する。検出精度が低下する要因には、例えば、着目する地物の周囲の植栽といった障害物がその地物の少なくとも一部を隠していること、または、着目する地物が汚れ、あるいは破損していることが含まれる。
また、算出したバラツキ度が所定のバラツキ度閾値よりも高い場合、着目する地物があるはずの位置を車両2が通る度に、着目する地物が検出されたり、検出されなかったりしていると考えられる。そのため、地物状態判定部41は、着目する地物について、検出精度が安定しない何らかの要因があると判定する。
図6(a)は、着目する地物が表された地図の一例を示す図である。また、図6(b)は、着目する地物が撤去された例を示す図である。一方、図6(c)は、着目する地物について検出精度が低下する要因が有る例を示す図である。図6(a)に示されるように、地図600には、地点601において、着目する地物である道路標識602が示されている。これに対して、図6(b)に示される、地点601を撮影した画像603には、道路標識602は撤去されているため、当然ながら道路標識602は表されていない。したがって、画像603に基づいて道路標識602について算出される信頼度は、未検出閾値よりも常に低い値となる。
一方、図6(c)に示される例では、道路標識602は植栽604によってその一部が隠されている。その結果として、地点601を撮影した画像605に基づいて道路標識602について算出される信頼度は、未検出閾値よりも高い値となるものの、検出閾値よりも低い値となることが多くなる。また、道路標識602の一部は隠されているものの、車両2に搭載されたカメラ11から見て道路標識602が全く見えないわけではない。そのため、車両2が地点601を通る度に得られる個々の画像について算出される、道路標識602についての信頼度は、ある程度高い値となる可能性は高い。その結果として、信頼度のバラツキ度も低くなる。
地物状態判定部41は、着目する地物の検出に関連する状態判定結果を地図更新部42及び通知部43へ出力する。
地図更新部42は、着目する地物の検出に関連する状態判定結果として、着目する地物が撤去されたとの判定結果を受け取ると、ストレージ装置32から読み込んだ地図において、その着目する地物に関する情報を削除するよう、その地図を更新する。
また、地図更新部42は、着目する地物の検出に関連する状態判定結果として、着目する地物には、検出精度が低下する要因が有るとの判定結果を受け取ると、地図に、着目する地物を精度良く検出できないことを表す情報を追加するよう、その地図を更新してもよい。
通知部43は、着目する地物の検出に関連する状態判定結果として、検出精度が安定しない要因があるとの判定結果を受け取ると、着目する地物の位置を指定した画像収集指示を生成する。そして通知部43は、生成した画像収集指示を、通信インターフェース31を介して車両2へ送信する。なお、地図更新システム1に含まれる車両2が複数存在する場合、通知部43は、全ての車両2に対して画像収集指示を送信してもよく、あるいは、各車両2のうちの何れかにのみ、画像収集指示を送信してもよい。例えば、サーバ3が車両2のそれぞれから、一定周期ごとに車両2の現在位置を受信している場合、通知部43は、各車両2の最新の現在位置に基づいて、着目する地物の位置から所定範囲内に位置する車両2を特定し、その特定した車両2に対してのみ、画像収集指示を送信してもよい。
また、通知部43は、閾値変更指示を地物状態判定部41から受け取ると、その閾値変更指示を、通信インターフェース31を介して車両2へ送信する。さらに、通知部43は、更新された地図を、通信インターフェース31を介して車両2へ送信してもよい。
図7は、サーバ3における、地図更新処理の動作フローチャートである。サーバ3のプロセッサ34は、車両2から受信した、着目する地物についての信頼度情報の数が所定の目標収集数に達すると、その着目する地物に関して、以下に示される動作フローチャートに従って地図更新処理を実行すればよい。
プロセッサ34の地物状態判定部41は、各着目信頼度情報のうち、その着目信頼度情報に含まれる信頼度が未検出閾値以下となる着目信頼度情報の数Cを計数する(ステップS101)。そして地物状態判定部41は、受信した着目信頼度情報の総数Tに対する、信頼度が未検出閾値以下となる着目信頼度情報の数Cの比率Rが所定の比率閾値Thr以上となるか否か判定する(ステップS102)。
比率Rが比率閾値Thr以上となる場合(ステップS102-Yes)、地物状態判定部41は、着目する地物は撤去されたと判定する(ステップS103)。そしてプロセッサ34の地図更新部42は、地図からその着目する地物に関する情報を削除するよう、その地図を更新する(ステップS104)。
一方、比率Rが比率閾値Thr未満である場合(ステップS102-No)、地物状態判定部41は、各着目信頼度情報に含まれる信頼度のバラツキ度Vを算出する(ステップS105)。そして地物状態判定部41は、算出したバラツキ度Vが所定のバラツキ度閾値Thv以下となるか否か判定する(ステップS106)。
バラツキ度Vがバラツキ度閾値Thv以下となる場合(ステップS106-Yes)、地物状態判定部41は、着目する地物には、検出精度が低下する要因が有ると判定する(ステップS107)。そして地図更新部42は、地図において、着目する地物を精度良く検出できないことを示す情報を追加するよう、その地図を更新する(ステップS108)。
一方、バラツキ度Vがバラツキ度閾値Thvよりも高い場合(ステップS106-No)、地物状態判定部41は、着目する地物には、検出精度が安定しない要因があると判定する(ステップS109)。そしてプロセッサ34の通知部43は、着目する地物の位置を指定した画像収集指示を、通信インターフェース31を介して車両2へ送信する(ステップS110)。
ステップS104、S108またはS110の後、プロセッサ34は、地図更新処理を終了する。
以上に説明してきたように、この地図更新装置は、車両に搭載された撮像部により得られた画像に所定の地点に設けられた地物が表されている信頼度の分布に応じて、地物が撤去されたことを含む地物の状態を判断する。そのため、この地図更新装置は、地物の検出に関する状態を適切に判断することができ、その結果として、地図に含まれるその地物に関する情報を適切に更新することができる。
変形例によれば、地図更新装置は、地図に表されていない地物が車両2のカメラ11により生成された画像から検出される場合に、その地物に関する情報(例えば、地物の種類及び設置位置)を地図に追加するよう、地図を更新してもよい。
この場合、車両2に搭載されたデータ取得装置14のプロセッサ23は、地図に示されていない地物について算出された信頼度が所定の閾値よりも高いと、その信頼度、その地物の種類及びその地物の位置を含む信頼度情報を生成する。なお、プロセッサ23は、信頼度が所定の閾値よりも高い領域の重心位置、その領域を含む画像の生成タイミングにおける車両2の自車位置、車両2の進行方向及びカメラ11の撮影方向及び画角といった内部パラメータに基づいて、その領域に対応する実空間の位置を特定すればよい。そしてプロセッサ23は、所定の閾値よりも高い信頼度となった種類の地物が、地図上の特定した位置に表されていない場合、その地物が地図に表されていないと判定すればよい。そしてプロセッサ23は、生成した信頼度情報を、通信インターフェース21を介して無線通信端末13へ出力することで、その信頼度情報をサーバ3へ送信する。なお、プロセッサ23は、サーバ3から、閾値を上昇させることを指示する閾値変更指示を受信している場合には、プロセッサ23は、その閾値変更指示で指定された実空間上の領域に適用される所定の閾値を、検出閾値よりも高い値に設定してもよい。
サーバ3のプロセッサ34の地物状態判定部41は、上記の実施形態とは逆に、所定の目標収集数以上受信した、着目する位置(第2の地点)の着目する地物についての着目信頼度情報のうち、その着目信頼度情報に含まれる信頼度が、上記の検出閾値よりも高い所定の閾値(第3の閾値)以上となる着目信頼度情報の数を計数する。着目信頼度情報の総数に対する、その数の比率が所定の比率閾値以上である場合、地物検出用の閾値を上げても、着目する地物はほぼ確実に検出されることになる。このことから、地物状態判定部41は、着目する地物が新設されたと判定する。そしてプロセッサ34の地図更新部42は、その着目する地物の対応位置に、着目する地物に関する情報を含めるよう、地図を更新する。
一方、地物状態判定部41は、その比率が所定の比率閾値未満である場合、各着目信頼度情報に含まれる信頼度のバラツキ度を算出する。算出したバラツキ度が所定のバラツキ度閾値以下である場合、車両2が対応する位置を通る度、着目する地物らしきものが検出されるものの、着目する地物が確実に存在するとは言えない。そこで、この場合には、地図更新部42は、地図を更新しない。
また、算出したバラツキ度が所定のバラツキ度閾値よりも高い場合、着目する地物があるはずの位置を車両2が通る度に、着目する地物が検出されたり、検出されなかったりしていると考えられる。そのため、地物状態判定部41は、着目する地物について、検出精度が安定しない何らかの要因があると判定する。そこで、プロセッサ23の通知部43は、上記の実施形態と同様に、着目する地物の位置を指定した画像収集指示を生成し、生成した画像収集指示を、通信インターフェース31を介して車両2へ送信する。
この変形例によれば、地図更新装置は、地図に表されていない地物に関する情報を地図に追加するよう、地図を更新することができる。
また、車両2のデータ取得装置14が、車両2の自車位置を正確に検出できない場合、データ取得装置14が認識する、カメラ11により生成された画像に表された実空間の領域と、実際にその画像に表されている実空間の領域とが異なることがある。その結果として、データ取得装置14は、地図に表された地物の検出に失敗することがある。
そこで、他の変形例によれば、サーバ3は、車両2の自車位置の検出精度が低い場合、地図の更新を行わないようにしてもよい。
そのために、データ取得装置14は、信頼度情報をサーバ3へ送信する際、信頼度情報とともに、その信頼度情報に含まれる信頼度を算出したときの車両2の自車位置の推定精度を表す位置精度情報をサーバ3へ送信してもよい。位置精度情報は、例えば、車両2に搭載されたGPS受信機12がGPS信号を受信できた衛星の数、受信したGPS信号の信号強度を表す指標値、あるいは、受信したGPS信号がマルチパスのGPS信号である確からしさを表す指標値とすることができる。
この場合、サーバ3のプロセッサ34の地物状態判定部41は、位置精度情報が表す、車両2の自車位置の推定精度が所定の位置精度閾値(すなわち、所定精度)よりも低い場合、その位置精度情報とともに受信した信頼度情報を、着目する地物の検出に関連する状態の判定に利用しない。すなわち、地物状態判定部41は、その信頼度情報を、受信した着目信頼度情報の総数に対する、信頼度が未検出閾値未満となる着目信頼度情報の数の比率の算出において計数しない。
この変形例によれば、サーバ3は、地図に表された地物に起因せず、車両2の自車位置の推定精度に起因してその地物の検出に失敗したことを、誤って地図の更新に利用してしまうことを防止することができる。
さらに他の変形例によれば、車両2のデータ取得装置14は、サーバ3へ送信する信頼度情報に、信頼度が算出されたときの車両2の通行方向、撮影時間帯、天候など、地物の検出精度に影響し得る情報も含めてもよい。これらの情報を参照することで、サーバ3は、地物が精度良く検出されない場合のその理由を特定することが容易となる。
さらに他の変形例によれば、車両2に搭載されるデータ取得装置14は、更新対象となる地図を記憶していなくてもよい。この場合には、データ取得装置14のプロセッサ23は、検出閾値よりも低い所定の閾値以上となる信頼度が算出された地物に関して信頼度情報を生成してサーバ3へ送信すればよい。ただし、撤去された地物に関する信頼度の値は非常に低い値となるので、そのままだとその撤去された地物に関する信頼度情報がサーバ3へ送信されなくなる。そこで、サーバ3のプロセッサ34の地物状態判定部41は、更新対象となる地図に表される範囲内に存在する地物ごとに、その地物に関する信頼度情報の受信数を計数する。そして地物状態判定部41は、直近の一定期間における信頼度情報の受信数が所定の下限閾値未満である地物について、その地物の位置を指定するとともに、その地物の位置について、信頼度の値にかかわらず、信頼度情報を送信させる強制収集指示を生成し、その強制収集指示を通知部43へわたす。通知部43は、強制収集指示を受け取ると、その強制収集指示を、通信インターフェース31を介して車両2へ送信する。車両2のデータ取得装置14は、強制収集指示を受信すると、その強制収集指示で指定された位置については、算出された信頼度の値によらず、信頼度情報を生成してサーバ3へ送信する。これにより、データ取得装置14が更新対象となる地図を記憶していなくても、サーバ3は、その地図で表される範囲内に存在する、撤去された地物に関する信頼度情報も収集することができる。そのため、サーバ3は、車両2に更新対象となる地図を配信しなくてもよくなり、その地図の配信に関する通信負荷が軽減される。
上記の実施形態または変形例による、サーバ3のプロセッサ34により実行される各部の処理をコンピュータに実行させるためのコンピュータプログラムは、半導体メモリ装置、磁気記録媒体あるいは光記録媒体に記録されて配布されてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 地図更新システム
2 車両
11 カメラ
12 GPS受信機
13 無線通信端末
14 データ取得装置
21 通信インターフェース
22 メモリ
23 プロセッサ
3 サーバ
31 通信インターフェース
32 ストレージ装置
33 メモリ
34 プロセッサ
41 地物状態判定部
42 地図更新部
43 通知部
4 通信ネットワーク
5 無線基地局

Claims (6)

  1. 少なくとも一つの車両から、当該車両に搭載された撮像部により得られた画像に第1の地点に設けられた地物が表されている信頼度を表す信頼度情報を受信する通信部と、
    前記第1の地点に設けられた前記地物に関する情報を含む地図を記憶する記憶部と、
    前記第1の地点について受信した複数の前記信頼度情報の総数に対する、前記地物が検出されたと判定される第1の閾値よりも低い第2の閾値未満の前記信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、前記第1の地点に設けられた前記地物が撤去されたと判定する地物状態判定部と、
    前記地物が撤去されたと判定された場合に前記地図から前記第1の地点に設けられた前記地物に関する情報を削除するよう、前記地図を更新する地図更新部と、
    を有する地図更新装置。
  2. 前記通信部は、前記信頼度情報とともに、前記信頼度情報に含まれる前記信頼度が算出された前記画像が得られたときの前記車両の位置の精度を表す位置精度情報をさらに受信し、
    前記地物状態判定部は、前記信頼度情報に対応する前記位置精度情報に表される前記車両の位置の精度が所定精度よりも低い場合、当該信頼度情報を、前記比率を算出する前記信頼度情報として計数しない、請求項1に記載の地図更新装置。
  3. 前記地物状態判定部は、前記比率が前記所定の比率閾値未満であり、かつ、複数の前記信頼度情報のそれぞれに表される前記信頼度のバラツキ度が所定のバラツキ度閾値以下である場合、前記地物に検出精度が低下する要因が有ると判定する、請求項1または2に記載の地図更新装置。
  4. 前記比率が前記所定の比率閾値未満であり、かつ、複数の前記信頼度情報のそれぞれに表される前記信頼度のバラツキ度が前記所定のバラツキ度閾値より高い場合、前記第1の地点を表す画像を送信することを指示する画像収集指示を、前記通信部を介して前記少なくとも一つの車両の何れかに送信する通知部をさらに有する、請求項3に記載の地図更新装置。
  5. 前記通信部は、前記少なくとも一つの車両から、当該車両に搭載された前記撮像部により得られた画像に第2の地点に設けられた地物が表されている信頼度を表す信頼度情報をさらに受信し、
    前記地物状態判定部は、前記第2の地点について受信した複数の前記信頼度情報の総数に対する、前記第1の閾値よりも高い第3の閾値以上の前記信頼度を表す信頼度情報の数の比率が前記所定の比率閾値以上である場合、前記第2の地点に前記地物が新設されたと判定し、
    前記地図更新部は、前記地物が新設されたと判定された場合に前記地図において前記第2の地点に新設された前記地物に関する情報を追加するよう、前記地図を更新する、請求項1~4の何れか一項に記載の地図更新装置。
  6. 少なくとも一つの車両から、当該車両に搭載された撮像部により得られた画像に第1の地点に設けられた地物が表されている信頼度を表す信頼度情報を受信し、
    前記第1の地点について受信した複数の前記信頼度情報の総数に対する、前記地物が検出されたと判定される第1の閾値よりも低い第2の閾値未満の前記信頼度を表す信頼度情報の数の比率が所定の比率閾値以上である場合、前記第1の地点に設けられた前記地物が撤去されたと判定し、
    前記地物が撤去されたと判定された場合に、前記第1の地点に設けられた前記地物に関する情報を含む地図から当該地物に関する情報を削除するよう、前記地図を更新する、
    ことを含む地図更新方法。
JP2020184917A 2020-11-05 2020-11-05 地図更新装置及び地図更新方法 Active JP7327355B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020184917A JP7327355B2 (ja) 2020-11-05 2020-11-05 地図更新装置及び地図更新方法
US17/498,040 US20220136859A1 (en) 2020-11-05 2021-10-11 Apparatus and method for updating map
CN202111252739.8A CN114526744B (zh) 2020-11-05 2021-10-27 地图更新装置和地图更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020184917A JP7327355B2 (ja) 2020-11-05 2020-11-05 地図更新装置及び地図更新方法

Publications (2)

Publication Number Publication Date
JP2022074672A true JP2022074672A (ja) 2022-05-18
JP7327355B2 JP7327355B2 (ja) 2023-08-16

Family

ID=81380955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020184917A Active JP7327355B2 (ja) 2020-11-05 2020-11-05 地図更新装置及び地図更新方法

Country Status (3)

Country Link
US (1) US20220136859A1 (ja)
JP (1) JP7327355B2 (ja)
CN (1) CN114526744B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212639A1 (ja) * 2016-06-10 2017-12-14 パイオニア株式会社 情報処理装置、計測装置及び制御方法
JP2018195227A (ja) * 2017-05-22 2018-12-06 株式会社ゼンリン 運転支援システム
WO2018225596A1 (ja) * 2017-06-07 2018-12-13 パイオニア株式会社 情報処理装置
JP2018205103A (ja) * 2017-06-05 2018-12-27 株式会社ゼンリン 地物検出システム及び地図データのデータ構造

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130435B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
CN105338355B (zh) * 2014-05-26 2019-02-19 富士通株式会社 视频分析方法和视频分析装置
JP5997797B2 (ja) * 2015-03-03 2016-09-28 富士重工業株式会社 車両の地図データ処理装置
JP2017054561A (ja) * 2015-09-07 2017-03-16 株式会社東芝 半導体記憶装置及びメモリシステム
CN106534269A (zh) * 2016-10-20 2017-03-22 广东美的暖通设备有限公司 空调机组的解锁方法、装置及服务器
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム
US10816991B2 (en) * 2017-07-11 2020-10-27 Waymo Llc Methods and systems for providing remote assistance via pre-stored image data
CN107636582B (zh) * 2017-08-01 2020-08-25 深圳市汇顶科技股份有限公司 确定触摸位置的方法和触摸控制芯片
EP3460406B1 (en) * 2017-08-28 2024-04-03 Panasonic Intellectual Property Corporation of America Information processing apparatus, vehicle, information processing method, running control method, and map updating method
WO2019087302A1 (ja) * 2017-10-31 2019-05-09 三菱電機株式会社 地図情報管理装置、地図情報管理システム、および地図情報管理方法
DE112017008262T5 (de) * 2017-12-12 2020-08-20 Mitsubishi Electric Corporation Kartenaktualisierungsvorrichtung, Kartenaktualisierungssystem und Kartenaktualisierungsverfahren
WO2019188874A1 (ja) * 2018-03-27 2019-10-03 パイオニア株式会社 データ構造、情報処理装置、及び地図データ生成装置
WO2019188820A1 (ja) * 2018-03-28 2019-10-03 パイオニア株式会社 情報送信装置、データ構造、制御方法、プログラム及び記憶媒体
CN108564032B (zh) * 2018-04-12 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
JP7103161B2 (ja) * 2018-10-29 2022-07-20 トヨタ自動車株式会社 地図情報システム
FR3094786B1 (fr) * 2019-04-02 2021-04-09 Continental Automotive Procédé de mise à jour d’une carte routière à partir d’un réseau de contributeurs
CN110632516B (zh) * 2019-10-30 2021-08-17 威马智慧出行科技(上海)有限公司 一种对托实验台架的温度控制方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212639A1 (ja) * 2016-06-10 2017-12-14 パイオニア株式会社 情報処理装置、計測装置及び制御方法
JP2018195227A (ja) * 2017-05-22 2018-12-06 株式会社ゼンリン 運転支援システム
JP2018205103A (ja) * 2017-06-05 2018-12-27 株式会社ゼンリン 地物検出システム及び地図データのデータ構造
WO2018225596A1 (ja) * 2017-06-07 2018-12-13 パイオニア株式会社 情報処理装置

Also Published As

Publication number Publication date
JP7327355B2 (ja) 2023-08-16
US20220136859A1 (en) 2022-05-05
CN114526744A (zh) 2022-05-24
CN114526744B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111033299A (zh) 基于点云利用位姿预估的车辆导航系统
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
JP2007232690A (ja) 現在地検出装置、地図表示装置、および現在地検出方法
CN108051836A (zh) 一种定位方法、装置、服务器及系统
JP6759175B2 (ja) 情報処理装置および情報処理システム
CN113808263B (zh) 地图生成用数据收集装置以及地图生成用数据收集方法
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
US11818633B2 (en) Map update system, data transmission device, and data transmission method
CN111198390A (zh) 用于估算车辆位置的装置及方法
US20220404170A1 (en) Apparatus, method, and computer program for updating map
JP7327355B2 (ja) 地図更新装置及び地図更新方法
CN113269977B (zh) 地图生成用数据收集装置以及地图生成用数据收集方法
US11815362B2 (en) Map data generation apparatus
US20230023095A1 (en) Apparatus, method, and computer program for collecting feature data
US20230186759A1 (en) Method, device and server for determining a speed limit on a road segment
WO2022099522A1 (en) Device and method for verifying estimated depth information
JP2021189034A (ja) 物標認識装置
CN117629179A (zh) 地图更新装置、地图更新方法以及地图更新用计算机程序
CN115641656A (zh) 地上物数据收集装置、地上物数据收集方法以及地上物数据收集用计算机程序
CN116772872A (zh) 地图更新区间决定装置、决定方法以及计算机程序
CN111583312A (zh) 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN115244362A (zh) 用于生成环境的数字地图的系统、方法和计算机程序
JP2021163431A (ja) データ送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151