JP2021184243A - 道路情報データ確定の方法、装置及びコンピュータ記憶メディア - Google Patents

道路情報データ確定の方法、装置及びコンピュータ記憶メディア Download PDF

Info

Publication number
JP2021184243A
JP2021184243A JP2021056069A JP2021056069A JP2021184243A JP 2021184243 A JP2021184243 A JP 2021184243A JP 2021056069 A JP2021056069 A JP 2021056069A JP 2021056069 A JP2021056069 A JP 2021056069A JP 2021184243 A JP2021184243 A JP 2021184243A
Authority
JP
Japan
Prior art keywords
positioning
time stamp
road information
image frame
information data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021056069A
Other languages
English (en)
Other versions
JP7213293B2 (ja
Inventor
シェン・ダユン
Dayun Shen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021184243A publication Critical patent/JP2021184243A/ja
Application granted granted Critical
Publication of JP7213293B2 publication Critical patent/JP7213293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】道路情報データ確定の方法、装置及びコンピュータ記憶メディアを提供する。【解決手段】方法は、交通手段の精密ナビゲーションデバイスにより交通手段の複数のポジショニングを確定することと、交通手段のセンサーにより交通手段の所在する物理的環境の複数の画像フレームを取得することと、複数のポジショニングから複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定することと、取得したターゲットポジショニングと物理的環境に関連する地図に基づいて少なくとも１つの画像フレームに対応する道路情報データを確定することと、を含む。【選択図】図２

Description

本願の実施形態は、自動運転の分野に関し、具体的には、道路情報データ確定の方法、装置及びコンピュータ記憶メディアに関する。
コンピュータ及びインターネットの発達に伴い、自動運転シナリオにおいて、道路上の様々な車線ライン、道路脇、路面矢印、速度制限標識を予測するために、益々多くのニューラルネットワーク構造が提案されており、これらのニューラルネットワークモデルの入力は、交通手段のカメラによって採集された画像情報であり、画像内の車線ライン、路面矢印、速度制限標識等のセマンティック情報を手動でラベリングして真値とし、継続的なトレーニングにより、ニューラルネットワークモデルは、道路上の様々な車線ライン、道路脇、路面矢印、速度制限標識を正確に予測することができる。しかしながら、ニューラルネットワークモデルをトレーニングするために、大量のラベリングデータが必要である。よって、低コスト、高速、効率的なデータラベリング方法を見つける必要がある。
本願の実施形態は、道路情報データ確定の技術案を提供する。
本願の第一の側面においては、交通手段の精密ナビゲーションデバイスにより交通手段の複数のポジショニングを確定することと、交通手段のセンサーにより交通手段の所在する物理的環境の複数の画像フレームを取得することと、複数のポジショニングから複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定することと、取得したターゲットポジショニングと物理的環境に関連する地図に基づいて少なくとも１つの画像フレームに対応する道路情報データを確定することとを含む道路情報データ確定の方法を提供する。
本願の第二の側面においては、交通手段の精密ナビゲーションデバイスにより交通手段の複数のポジショニングを確定するように配置されている第一のポジショニング取得モジュールと、交通手段のセンサーにより交通手段の所在する物理的環境の複数の画像フレームを取得するように配置されている画像取得モジュールと、複数のポジショニングから複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定するように配置されているポジショニング確定モジュールと、取得したターゲットポジショニングと物理的環境に関連する地図に基づいて前記少なくとも１つの画像フレームに対応する道路情報データを確定するように配置されている第一の道路情報データ確定モジュールとを含む道路情報データ確定の装置を提供する。
本願の第三の側面においては、１つ又は複数のプロセッサーと、１つ又は複数のプログラムが記憶されている記憶装置とを含む電子デバイスを提供し、１つ又は複数のプログラムが１つ又は複数のプロセッサーにより実行される場合、１つ又は複数のプロセッサーが本願の第一の側面の方法を実現するようにさせる。
本願の第四の側面においては、コンピュータプログラムが記憶されているコンピュータ読み取り可能なメディアを提供し、当該プログラムがプロセッサーにより実行される場合、本願の第一の側面の方法を実現する。
本願の第五の側面においては、コンピュータプログラムを提供し、当該コンピュータプログラムがプロセッサーにより実行されると、本願の第一の側面の方法を実現する。
発明の内容の部分に記載の内容は、本願の実施形態の肝心な内容又は重要な特徴を示すことを目的とせず、本願の範囲も制限しないことが理解されたい。本願の他の特徴は、以下の明細書により更に分かりやすくなる。
図面を参照しながら、以下の詳しい説明により、本願のそれぞれの実施形態の上述した及び他の特徴、メリット及び側面は、より明らかになる。図面においては、同じ又は類似する図面符号は、同じ又は類似する部材を表す。
本願の複数の実施形態が実現できる例示的な環境の模式図を示している。 本願の幾つかの実施形態の道路情報データ確定のプロセスのフローチャート図を示している。 本願の幾つかの実施形態のターゲットポジショニング確定のプロセスのフローチャート図を示している。 本願の幾つかの実施形態によるターゲットポジショニング確定のプロセスのフローチャート図を示している。 本願の幾つかの実施形態による道路情報データ確定の装置の模式ブロック図を示している。 本願の複数の実施形態を実現することができるコンピューティングデバイスのブロック図を示している。
以下、図面を参照しながら、本願の好ましい実施形態をより詳しく説明する。図面においては、本願の幾つかの好ましい実施形態を示しているが、本願は、様々な形で実現することができ、ここで説明する実施形態に制限されると解釈すべきではないことが理解されたい。逆に、これらの実施形態を提供することにより、本願がよりはっきりと且つより完全になり、本願の範囲を完全に当業者に伝えることができる。
本文に用いられる用語「含む」及びその変形は、開放的な含みを表し、即ち、「含むが、限らない」と理解すべきである。特に説明しない限り、用語「又は」は、「及び/又は」を表す。用語「基づく」は、「少なくとも部分的に基づく」を表す。用語「１つの例示的な実施形態」及び「１つの実施形態」は、「少なくとも１つの例示的な実施形態」を表す。用語「もう１つの実施形態」は、「少なくとも１つの他の実施形態」を表す。用語「第一」、「第二」等は、異なる又は同じオブジェクトを表しても良い。後述は、他の明確な定義及び隠れた定義を含む可能性もある。
本願の実施形態の説明においては、用語「モデル」は、トレーニングデータから相応する入力と出力の関係を学習することができるので、トレーニングの完了後、トレーニングにより取得されたパラメータセットに基づいて所定の入力を処理することにより、対応する出力を生成することができる。「モデル」は、「ニューラルネットワーク」、「学習モデル」、「学習ネットワーク」又は「ネットワーク」と呼ばれることもある。これらの用語は、本文で互換的に用いることができる。
上述したように、画像内の車線ライン、路面矢印、速度制限標識等のセマンティック情報を手動でラベリングする必要がある。しかしながら、手動でラベリングすることは、次のデメリットがある。（1）ニューラルネットワークモデルのトレーニングで記述された大量のラベリングデータのラベリングは、高コストを招いてしまい、（2）ラベリングスタッフのレベルは、不均一であり、ラベリングの品質が保証できないので、ラベリングの間違い、ラベリングの漏れがよく生じ、（3）大量のデータを手動でラベリングするには、比較的長い作業サイクルが必要である。よって、低コストで、正確で、高速で且つ効率的な道路情報データラベリング方法が必要である。
本願の実施形態により、道路情報データ確定の技術案を提供する。当該技術案は、ポジショニング及び地図を用いて道路情報データを取得してラベリングデータとする。当該技術案においては、交通手段の精密ナビゲーションデバイスにより当該交通手段の複数のポジショニングを確定し、当該交通手段のセンサーにより、当該交通手段の所在する物理的環境の複数の画像フレームを取得する。当該複数のポジショニングから当該複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定する。ターゲットポジショニングと地図に基づいて画像フレームに対応する道路情報データを確定することができる。
交通手段のポジショニングと交通手段が撮影した画像の関係を確立することにより、高精度地図の中の道路情報データと撮影された画像の関係をさらに確立することができ、当該道路情報データをラベリングデータとして用いてニューラルネットワークモデルをトレーニングすることができる。よって、道路情報データのラベリングを低コストで、正確に、迅速に且つ効率的に生成することができ、ニューラルネットワークモデルを正確にトレーニングするための基礎が築かれる。
以下、図面を参照しながら、本願の基本的な原理及び若干の例示的な実現を説明する。
図1は、本願の複数の実施形態が実現できる例示的な環境１００の模式図を示している。図１に示される環境１００は、単なる例に過ぎず、本願に記載され実現されている機能及び範囲に対するいかなる制限にもならないことが理解されたい。図１に示すように、環境１００は、道路上を走行する交通手段１１０を含む。図１の例においては、交通手段１１０は、人及び/又は物体を乗せ、エンジン等の動力システムにより移動する任意の種類の車両であっても良く、セダン、トラック、バス、電気自動車、オートバイ、キャンピングカー、電車等を含むが、これらに限定されない。幾つかの実施形態においては、環境１００内の１つ又は複数の交通手段１１０は、一定の自動運転能力を有する車両であっても良く、これらの車両は、無人運転車とも呼ばれる。幾つかの実施形態においては、交通手段１１０は、自動運転能力を有しない車両であっても良い。
交通手段１１０は、コンピューティングデバイス１０５に通信可能に結合されても良い。コンピューティングデバイス１０５は、交通手段１１０に埋め込まれても良い。コンピューティングデバイス１０５は、交通手段１１０の外部の実体であっても良く、無線ネットワークを介して交通手段１１０と通信することができる。コンピューティングデバイス１０５は、コンピューティング機能を有する任意のデバイスであっても良い。非限定的な例として、コンピューティングデバイス１０５は、任意の種類の固定コンピューティングデバイス、モバイルコンピューティングデバイス又はポータブルコンピューティングデバイスであっても良く、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、マルチメディアコンピュータ、携帯電話等を含むが、これらに限定されない。コンピューティングデバイス１０５の構成要素の全部又は一部は、クラウドに分散させることができる。コンピューティングデバイス１０５は、計算、記憶、通信、制御等の機能を実現するために、プロセッサ、メモリ及び汎用コンピュータに通常存在する他のコンポーネントを少なくとも含む。
交通手段110は、精密ナビゲーションデバイス１３０を含み、当該精密ナビゲーションデバイス１３０は、様々なポジショニング信号を用いることができ、例えば、グローバルナビゲーション衛星システム（GNSS）のみを用い、又は、GNSSとリアルタイムキネマティック（Real-time Kinematic、RTK）の２つのポジショニング信号を組み合わせ、又は、ＧＮＳＳ及び慣性航法システム（Inertial Navigation System、ＩＮＳ）を組み合わせる等の方法で交通手段１１０のポジショニングを確定することができる。１つの例においては、精密ナビゲーションデバイスは、ＳＰＡＮ−ＣＰＴナビゲーションデバイスである。ＳＰＡＮ−ＣＰＴナビゲーションデバイスは、センチメートルレベルのポジショニング精度を取得するので、交通手段１１０のポジショニングの正確性を高めることができる。
本文においては、用語「ポジショニング」とは、特定の座標系における交通手段の経度、緯度、ピッチ角、進路角及び回転角を指す。例えば、２次元座標系及び３次元座標系においては、交通手段のポジショニングは、進路角で表すことができる。３次元座標系においては、交通手段の姿勢は、ピッチ角、進路角及び回転角で表すこともできる。しかしながら、これは、例示する目的に過ぎず、本願の範囲を制限しないことが理解されたい。
交通手段１１０は、交通手段１１０の所在する物理的環境の画像１１０を取得するように配置されている少なくとも１つのセンサー１４０を更に含む。例えば、図１の例においては、センサー１４０は、コンピュータビジョン技術により、交通手段１１０の所在する物理的環境１５５の複数の画像フレームを取得する画像センサーであっても良い。図１の例示的な環境１００においては、画像フレーム１５０は、複数の画像フレームのうちの１つの画像フレームである。図示されていないが、複数の画像フレームは、他のフレームを含んでも良く、他のフレームに対して本願による画像処理を行うことができることが理解されたい。複数の画像フレームは、カメラにより撮影された動的画像から切り取られた複数の画像フレームであっても良い。ほんの一例として、L３レベルの自動運転のようなシナリオにおいては、複数の画像フレームは、1台の前方広角カメラと４台の魚眼カメラにより採集することができる。複数の画像フレームは、任意の適切な方法で取得したものであっても良い。幾つかの実施形態においては、センサー１４０は、１つ又は複数の広角又は超広角を有するカメラであっても良く、これらのカメラは、周囲環境の３６０度以内のシナリオをキャプチャすることができる。好ましくは、センサー１４０は、交通手段１１０の外部の複数の方向のリアルタイムシナリオを回転可能に検出することができるように、回転可能な構造を採用しても良い。
地図１８０は、交通手段１１０の所在する物理的環境１５５に関連する地図であっても良い。地図１８０は、交通手段１１０が当該物理的環境１５５を通過する前に予め確定することができ、交通手段１１０のコンピューティングデバイス１０５に提供されることができる。
１つの例においては、地図１８０は、高精度地図であっても良く、当該高精度地図は、物理的環境１５５に関連する様々な道路情報データを含んでも良く、例えば、車線ライン１２０-３に関連する様々な車線ラインタイプ１９０−２、１９０−３（一点破線、一本実線、左破線右実線二重線、左実線右破線二重線、減速車線ライン、道路脇、ガードレール）、道路標識１２０-１、１２０-２、１２０-４に関連する様々な特徴物体（路面矢印、街灯柱、高速道路標識、制限速度標識等）の境界ボックス（bounding box）１９０-１、１９０-４である。高精度地図における前記車線ラインは、例えば、WGS-８４（GPSグローバルポジショニングシステムに使用されるために作られた座標システムであるWorld Geodetic System １９８４）座標系において、平均で４ｍごとに１つの点を採集し、その後、離散的な点を繋げることで形成される。後述においては、地図１８０内の高速道路情報を反映する車線ラインタイプ１９０−２、１９０−３及び道路標識１２０−１、１２０−２、１２０−４を総称して道路情報データと呼ぶ。
当該例示的な環境１００においては、コンピューティングデバイス１０５は、精密ナビゲーションデバイス１３０及びセンサー１４０を用いて複数のポジショニング１６０及び複数の画像フレームをそれぞれ取得し、次に、画像の中の少なくとも１つの画像フレーム１５０を、相応するターゲットポジショニング１７０とマッチングすることにより、当該ターゲットポジショニング１７０を用いて相応する地図１８０の中の道路情報データを取得する。
以下、図２〜図４を参照しながら、道路情報データ確定のプロセスを更に詳しく説明する。図２は、本願の実施形態による道路情報データ確定の方法２００のフローチャート図を示している。方法２００は、図１の中のコンピューティングデバイス１０５により実行することができる。説明の便利上、図１を参照しながら、方法２００を説明する。
ブロック２１０においては、コンピューティングデバイス１０５は、交通手段１１０の精密ナビゲーションデバイス１３０により、交通手段の複数のポジショニング１６０を確定する。幾つかの実施形態においては、交通手段１１０がある位置に走行したとき、交通手段１１０の内部又は外部に設置されたＳＰＡＮ−ＣＰＴナビゲーションデバイスのようなナビゲーションデバイスを用いてグローバル座標系における交通手段１１０の経度、緯度、ピッチ角、進路角及び回転角を取得することができる。
１つの例においては、交通手段のポジショニングのための精密ナビゲーションデバイス１３０の原理は、粒子フィルター、拡張カルマンフィルターアルゴリズムに基づき、ＩＭＵを駆動とし、ＧＳＰ、交通手段速度、高精度地図とカメラ感知データとのマッチングした結果を観測とし、融合して交通手段のポジショニングを得る。 具体的な方法は、次の通りである。即ち、融合アルゴリズムを取得し、融合アルゴリズムには、粒子フィルターアルゴリズムと拡張カルマンフィルターアルゴリズムがあり、粒子フィルターアルゴリズムの働きは、様々な方法のポジショニング結果をすばやく初期化し、高精度地図と感知データをマッチングし、初期化された交通手段のポジショニングを拡張カルマンフィルターアルゴリズムに送り、カルマンフィルターアルゴリズムは、IMUの交通手段のポジショニングにより、次のフレームの交通手段のポジショニングを予測し、観測の様々な方法のポジショニングを用いてIMUで予測されたポジショニングを更新し、更新された後の交通手段のポジショニングを取得し、当該更新された後の交通手段のポジショニングを出力するとと、最終的な交通手段のポジショニングを取得する。
ブロック２２０においては、コンピューティングデバイス１０５は、交通手段１１０のセンサー１４０により、交通手段１１０の所在する物理的環境１５５の複数の画像フレームを取得する。幾つかの実施形態においては、交通手段１１０がある位置に走行したとき、交通手段１１０の内部又は外部に設置されたカメラを用いて交通手段１１０の前方の画像又はビデオを取得し、その後、当該画像又はビデオに対してフレームカット処理を行い、複数の画像フレームを取得することができる。
図１に示すように、複数の画像フレームの中の１つの画像フレーム１５０は、交通手段１１０の前方の物理的環境１５５を反映することができ、道路情報標識１２０−１、信号灯１２０−２、車線ライン１２０−３、路面矢印１２０−４を含む。図１に示される画像フレーム１５０に含まれるオブジェクトの数及びタイプは、例示的なものに過ぎず、制限するものではない。画像フレーム１５０は、任意の数及びタイプのオブジェクトを含んでも良い。
１つの例においては、当該画像フレーム１５０は、ニューラルネットワークの入力データとして画像座標系における感知データ（例えば、車線ラインデータ、道路標識データ、信号灯データ等）を予測する。しかしながら、感知システムのデータは、カメラにより採集された画像の処理から取得されるため、元の画像の品質は、最終的な感知データの品質に影響を与える。感知データは、天気、日照り、道路状況等の異なるシナリオの影響を受ける。日照りが良好である場合（晴れの日）、検出の品質が比較的高く、雨や雪の天候や夜間の場合、検出の品質が比較的低い。現在、ランプや渋滞等の典型的なシナリオでは、破線を実線として検出したり、実線を破線として検出したりするような、誤検出の現象が非常に発生しやすくなっている。例えば、アスファルト道路区間では、アスファルトが光を反射するため、アスファルトを車線ラインとして検出しやすい。よって、感知データに対応する正確な道路情報データを真値として当該ニューラルネットワークをトレーニングする必要がある。
1つの好ましい実施形態においては、コンピューティングデバイス１０５は、交通手段１１０の所在する物理的環境に関連する、交通手段１１０の外部の１つ又は複数のデバイスと通信することにより、画像１１０を取得することができる。例えば、コンピューティングデバイス１０５は、交通手段１１０の所在する位置の周りの路側カメラと通信することにより、画像１１０を取得することができる。当該分野の周知のネットワーク技術（例えば、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロング・ターム・エヴォリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、コード分割マルチアクセス（CDMA）ネットワーク等）、パブリックランドモバイルネットワーク（PLMN）、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、メトロポリタンエリアネットワーク（MAN）、電話ネットワーク（例えば、公衆交換電話網（PSTN））、プライベートネットワーク、自己組織化ネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク等及び/又はこれら又は他のタイプのネットワークの組み合わせ）を用い、コンピューティングデバイス１０５、交通手段１１０と路側カメラの接続を構築することができることが理解されたいが、ここでは、詳しく説明しない。
ブロック２３０においては、コンピューティングデバイス１０５は、複数のポジショニング１６０から複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニング１７０を確定する。コンピューティングデバイス１０５は、時間において複数のポジショニング１６０から少なくとも１つの画像フレームに対応するターゲットポジショニングを確定する。これは、後述において図３を参照しながら、詳しく説明する。
図３にジャンプして説明し、図３は、本願の幾つかの実施形態によるターゲットポジショニング確定のプロセスのフローチャート図を示している。
ブロック３１０においては、コンピューティングデバイス１０５は、精密ナビゲーションデバイス１３０のシステム時間とセンサー１４０が画像フレームを取得する時間との間のタイムスタンプオフセットを取得する。１つの実施形態においては、交通手段に設置されている精密ナビゲーションデバイス１３０は、所定の周波数（例えば、１００HZ）に従って交通手段１１０に対してポジショニングを行い、複数のポジショニングを取得し、それぞれのポジショニングは、ポジショニングタイムスタンプを有する。交通手段１１０に設置されているカメラは、所定の周波数に従って交通手段１１０の前方の物理的環境１５５に対して撮影することにより、複数の画像フレームを取得し、それぞれの画像フレームも画像フレームタイムスタンプを有する。精密ナビゲーションデバイス１３０のポジショニングタイムスタンプと画像露光の画像フレームタイムスタンプは、往々にして差分値を有し、即ち、タイムスタンプオフセットを有する。コンピューティングデバイス１０５は、精密ナビゲーション装置１３０のシステム時間と画像露光の時間に基づいて当該差分値を計算してタイムスタンプオフセットとする。
ブロック３２０においては、コンピューティングデバイス１０５は、タイムスタンプオフセットに基づき、複数の画像フレームのタイムスタンプと複数のポジショニングのタイムスタンプに対してアラインメント処理を行う。１つの例においては、コンピューティングデバイス１０５は、前記差分値に基づいてポジショニングタイムスタンプ又は画像フレームタイムスタンプを調整してアラインメントさせ、例えば、それぞれのポジショニングのタイムスタンプに当該差分値を足すことにより、画像露光のタイムスタンプとアラインメントさせ、又は、それぞれのポジショニングのタイムスタンプから当該差分値を引くことにより、画像露光のタイムスタンプとアラインメントさせる。
ブロック３２０においては、コンピューティングデバイス１０５は、アラインメントされた後の複数の画像フレーム及び複数のポジショニングに基づいてターゲットポジショニングを確定する。精密ナビゲーション装置１３０は、所定の周波数に従ってポジショニングを行い、例えば、１００HZでポジショニングを行い、センサー１４０は、もう１つの所定の周波数に従って画像フレームの採集を行い、例えば、３３HZで画像フレームの採集を行う。故に、ポジショニングデータが比較的密になり、画像フレームデータが比較的まばらになるが、まばらなデータが必ずしも密なデータに直接対応することができると限らず、例えば、タイムスタンプ1.3秒で１つの画像フレームが採集され、その後、1.3秒でそれに対応するポジショニングが必ずしもあるとは限らないので、1.3秒で採集された画像フレームに対応するターゲットポジショニングを確定する必要がある。後述においては、図４を参照しながら、ターゲットポジショニングの確定を詳しく説明する。前記周波数は、例示するものに過ぎず、本願は、精密ナビゲーションデバイス及びセンサーによる画像採集の周波数を制限するものではない。
図４にジャンプして説明し、図４は、本願の幾つかの実施形態による、ターゲットポジショニングを確定するプロセスのフローチャート図を示している。
ブロック４１０においては、コンピューティングデバイス１０５は、タイムスタンプにおいて少なくとも１つの画像フレームに最も近い第一のポジショニング及び第二のポジショニングをそれぞれ取得し、第一のポジショニングの第一のタイムスタンプは、少なくとも１つの画像フレームのタイムスタンプの前にあり、第二のポジショニングの第二のタイムスタンプは、少なくとも１つの画像フレームのタイムスタンプの後ろにある。１つの実施形態においては、上述したように、コンピューティングデバイス１０５は、１.３秒で採集された画像フレームに対応する１.３秒のポジショニングを直接に確定することができないので、コンピューティングデバイスは、１.３秒に最も近い前の１つのポジショニングタイムスタンプ及び後ろの１つのポジショニングタイムスタンプを取得することができ、例えば、第一のポジショニングの第一のタイムスタンプは、1.０秒であり、第二のポジショニングの第二のタイムスタンプは、２.０秒であり、ここで、最も近いとは、１.０秒と１.３秒の間に他のポジショニングデータがなく、１.３秒と２.０秒の間に他のポジショニングデータがない。
ブロック４２０においては、コンピューティングデバイス１０５は、第一のポジショニング、第二のポジショニング、第一のタイムスタンプ及び第二のタイムスタンプに基づいてポジショニング変化率を確定する。コンピューティングデバイス１０５は、第一のタイムスタンプ１.０秒とそれに対応する第一のポジショニング、第二のタイムスタンプ２.０秒とそれに対応する第二のポジショニングに基づき、ポジショニング変化率を確定することができ、例えば、コンピューティングデバイスは、第一のタイムスタンプ１.０秒と第二のタイムスタンプ２.０秒の間の０．１秒ごとのポジショニング変化率を計算することができる。
ブロック４３０においては、コンピューティングデバイス１０５は、第一のポジショニング、第一のタイムスタンプ、少なくとも１つの画像フレームのタイムスタンプ及びポジショニング変化率に基づいて前記ターゲットポジショニング１７０を確定する。１つの実施形態においては、コンピューティングデバイスは、前記０．１秒ごとのポジショニング変化率及び第一のタイムスタンプ１.０秒と少なくとも１つの画像フレームのタイムスタンプ１.３秒との間の差分値０．３秒に基づき、０．３秒内のポジショニング変化を確定し、当該ポジショニング変化と１.０秒でのポジショニングに基づき、１.３秒での少なくとも１つの画像フレーム１５０に対応するターゲットポジショニングを確定することができる。
前記の、ターゲットポジショニングを確定する方法は、例示に過ぎず、逆距離加重法、スプライン補間法、クリギング法、離散平滑補間及びトレンド表面平滑補間等のような他の補間方法を用いてターゲットポジショニングを確定することができることに留意されたい。
１つの好ましい実施形態においては、コンピューティングデバイス１０５は、誤差許容範囲以内に、タイムスタンプにおいて少なくとも１つの画像フレーム１５０に最も近いポジショニングをターゲットポジショニング１７０として直接に確定することができ、正確性とコンピューティングリソースの節約の間の良好な妥協点を提供することができる。
以下、図２に戻って説明し、ブロック２４０においては、コンピューティングデバイス１０５は、確定されたターゲットポジショニング及び物理的環境に関連する地図１８０に基づき、少なくとも１つの画像フレーム１５０に対応する道路情報データを確定する。例えば、コンピューティングデバイス１０５は、経度、緯度、ピッチ角、進路角及び回転角等のような、前記確定されたターゲットポジショニング１７０の様々なパラメータを取得し、当該パラメータに基づいて地図１８０から対応するデータを見つけることができる。上述したように、当該地図は、車線ラインデータ１９０−３、路側データ１９０−２、路面矢印１９０−４及び道路標識１９０−１の境界ボックス等のような、少なくとも１つの画像フレーム１５０に対応する精密道路情報データを含む。これらの精密道路情報データを、前記ニューラルネットワークが当該少なくとも１つの画像フレーム１５０を入力として予測した感知データと比較することにより、ニューラルネットワークモデルを継続的にトレーニングする。道路情報データは、車線ラインデータ、道路脇データ、ガードレールデータ、街灯データ又は道路標識データを含むが、これらに限定されない。
幾つかの実施形態においては、道路情報データは、例えば、地図１８０の中の、交通手段のポジショニングの前方の１２０メートルの車線ライン情報又は路面矢印、表示看板情報である。
幾つかの実施形態においては、交通手段のセンサーは、交通手段の前車軸の近くに設置される場合があり、道路状況等の理由により、交通手段が運転中に上下に揺れる（頷くとも呼ばれる）ことがあり、その結果、画像フレームを正確に取得することができず、このとき、コンピューティングデバイス１０５は、交通手段が路面から逸脱している状況を示すピッチ角等のような、ターゲットポジショニング１７０の姿勢向きを取得することができる。コンピューティングデバイスは、当該ピッチ角が所定の範囲内にあることに応答し、地図１８０及びターゲットポジショニング１７０に基づいて前記道路情報データを決定する。車両のピッチ角を判断することにより、取得した道路情報データがより正確になり、ネットワークモデルをトレーニングするための高品質の真値データを提供することができる。
幾つかの実施形態においては、当該センサー１４０は、カメラであっても良く、当該カメラは、内部パラメータ及び外部パラメータを有し、コンピューティングデバイス１０５は、カメラ１４０の内部パラメータ及び外部パラメータにより投影変換方程式を確定することができる。よって、グローバル座標系における道路情報データを、画像フレーム座標系における道路情報データに変換することができる。
本願は、交通手段のポジショニングと交通手段が撮影した画像の関係を作ることにより、更に高精度地図の中の道路情報データと撮影された画像の関係を作ることができ、当該道路情報データをラベリングデータとしてニューラルネットワークモデルをトレーニングすることができる。よって、低コストで、正確で、迅速に且つ効率的に道路情報データラベリングを生成し、ニューラルネットワークモデルを正確にトレーニングするための基礎が築かれる。
図５は、本願の幾つかの実施形態による道路情報データ確定の装置の模式ブロック図を示している。装置５００は、図１のコンピューティングデバイス１０５に含まれても良く、又は、コンピューティングデバイス１０５として実現されても良い。
図５に示すように、装置５００は、交通手段の精密ナビゲーションデバイスにより、前記交通手段の複数のポジショニングを確定するように配置されている第一のポジショニング取得モジュール５１０と、交通手段のセンサーにより、交通手段の所在する物理的環境の複数の画像フレームを取得するように配置されている画像取得モジュール５２０と、複数のポジショニングから複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定するように配置されているポジショニング確定モジュール５３０と、確定したターゲットポジショニングと物理的環境に関連する地図に基づいて少なくとも１つの画像フレームに対応する道路情報データを確定するように配置されている第一の道路情報データ確定モジュール５４０とを含む。
幾つかの実施形態においては、ポジショニング確定モジュール５３０は、精密ナビゲーションデバイスのシステム時間とセンサーが画像フレームを取得する時間の間のタイムスタンプオフセットを取得するように配置されているタイムスタンプオフセット確定モジュールと、タイムスタンプオフセットに基づき、複数の画像フレームのタイムスタンプ及び複数のポジショニングのタイムスタンプに対してアラインメント処理を行うように配置されているタイムスタンプアラインメントモジュールと、アラインメントされた後の複数の画像フレーム及び複数のポジショニングに基づいてターゲットポジショニングを確定するように配置されている第一のターゲットポジショニング確定モジュールとを含んでも良い。
幾つかの実施形態においては、第一のターゲットポジショニング確定モジュールは、タイムスタンプにおいて少なくとも１つの画像フレームに最も近い第一のポジショニング及び第二のポジショニングをそれぞれ取得し、第一のポジショニングの第一のタイムスタンプは、少なくとも１つの画像フレームのタイムスタンプの前にあり、第二のポジショニングの第二のタイムスタンプは、少なくとも１つの画像フレームのタイムスタンプの後ろにあるように配置されている第二のポジショニング取得モジュールと、第一のポジショニング、第二のポジショニング、第一のタイムスタンプ及び第二のタイムスタンプに基づいてポジショニング変化率を確定するように配置されているポジショニング変化率確定モジュールと、第一のポジショニング、第一のタイムスタンプ、少なくとも１つの画像フレームのタイムスタンプ及びポジショニング変化率に基づいてターゲットポジショニングを確定するように配置されている第二のターゲットポジショニング確定モジュールとを含んでも良い。
幾つかの実施形態においては、第一の道路情報データ確定モジュール５４０は、ターゲットポジショニングの姿勢向きを取得するように配置されている姿勢向き取得モジュールと、姿勢向きが所定の範囲内にあることに応答し、地図及びターゲットポジショニングに基づいて道路情報データを確定するように配置されている第二の道路情報データ確定モジュールとを含んでも良い。
幾つかの実施形態においては、センサーは、カメラであり、装置５００は、カメラのパラメータに基づいて道路情報データを画像フレーム座標系における道路情報データに変換するように配置されている座標系変換モジュールを更に含んでも良い。
幾つかの実施形態においては、道路情報データは、車線ラインデータ、道路脇データ、ガードレールデータ、街灯データ又は道路標識データの中の少なくとも1つを含んでも良い。
幾つかの実施形態においては、精密ナビゲーションデバイスは、SPAN−CPTナビゲーションデバイスである。
幾つかの実施形態においては、地図は、高精度地図である。
図６は、本願の実施形態を実現する例示的なデバイス６００の模式ブロック図を示している。例えば、図１に示す例示的な環境１００の中のコンピューティングデバイス１０５は、デバイス６００により実現することができる。図に示すように、デバイス６００は、中央処理装置（CPU）６０１を含み、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム命令又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラム命令に従って各種の適切な動作と処理を実行することができる。ＲＡＭ６０３に、デバイス６００の操作に必要な各種のプログラムとデータが更に記憶されている。CPU６０１、ＲＯＭ６０２とＲＡＭ６０３は、バス６０４を通じて互いに接続する。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
キーボード、マウス等を含む入力ユニット６０６、様々なタイプのディスプレイ（LCD）、スピーカー等を含む出力ユニット６０７、磁気テープ、光ディスク等を含む記憶ユニット６０８及びネットワークカード、モデム、無線通信トランシーバー等を含む通信ユニット７０９を有するデバイス６００の中の複数の部材は、Ｉ／Ｏインターフェース６０５に接続される。通信ユニット６０９は、デバイス６００がインターネットのようなコンピュータネットワーク及び/又は様々な電気通信ネットワークにより、他のデバイスと情報/データを交換することができるようにさせる。
上述した方法２００、３００及び４００のような、それぞれのプロセス及び処理は、処理ユニット７０１により実行することができる。例えば、幾つかの実施形態においては、方法２００、３００及び４００は、コンピュータソフトウェアプログラムとして実現することができ、記憶ユニット６０８のような機器読み取り可能なメディアに明確に含まれている。幾つかの実施形態においては、コンピュータプログラムの一部又は全部は、ROM６０２及び/又は通信ユニット６０９を通じてダウンロードされても良く、及び/又はデバイス６００にインストールされても良い。当該コンピュータプログラムは、RAM６０３にダウンロードされ、CPU６０１に実行されるとき、上述した方法２００、３００及び４００の中の１つ又は複数の動作を実行する。
本願は、方法、装置、システム及び/又はコンピュータプログラム製品であっても良い。コンピュータプログラム製品は、コンピュータ読み取り可能な記憶メディアを含んでも良く、本願の様々な側面を実行するコンピュータの読み取り可能なプログラム命令が記憶されている。
コンピュータ読み取り可能なメディアは、命令実行デバイスにより用いられる命令を保持及び記憶することができる有形デバイスであっても良い。コンピュータ読み取り可能なメディアは、コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上述した任意の適切な組み合わせであっても良いが、これらに限定されない。コンピュータ読み取り可能なメディアのより具体的な例（網羅的ではないリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、消去可能プログラマブルＲＯＭ（EPROM又はフラッシュメモリ）、静的ランダムアクセスメモリ（SRAM）、ポータブルコンパクトディスクリードオンリーメモリ（CD-ROM）、デジタル多用途ディスク（DVD）、メモリスティック、フロッピー（登録商標）ディスク、命令が記憶されているパンチカード又は溝内の隆起した構造等の機械的エンコーディングデバイス及び上述した任意の適切な組み合わせを含む。ここで使用されるコンピュータ読み取り可能なメディアは、無線電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、ワイヤーを介して電気信号を送信する等の過渡信号自体として解釈されない。
ここで説明したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶メディアから様々なコンピューティング／処理装置にダウンロードするか、またはインターネット、ローカルエリア、ワイドエリアネットワーク及び/又はワイヤレスネットワーク等のネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、スイッチ装置、ゲートウェイコンピューター及び/又はエッジサーバーを含んでも良い。各コンピューティング／処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、各コンピューティング／処理デバイスのコンピュータ読み取り可能な記憶メディアに記憶するために、当該コンピュータ読み取り可能なプログラム命令を転送する。
本願の動作を実行するために用いられるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ又は１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードであっても良く、前記プログラミング言語は、Smalltalk、C++等のオブジェクト指向プログラミング言語及び「C」言語又は類似するプログラミング言語等の従来の手続き型プログラミング言語を含む。コンピュータ読み取り可能なプログラム命令は、完全にユーザーコンピュータ上で実行されても良く、部分的にユーザーコンピュータ上で実行されても良く、一つの独立したソフトウェアパッケージとして実行されても良く、一部分がユーザーコンピュータ上で実行され、一部分がリモートコンピュータ上で実行されても良く、或いは完全にリモートコンピュータまたはサーバー上で実行されても良い。リモートコンピュータに関わる場面において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザーコンピュータに接続されても良いし、又は、外部コンピュータ（例えば、インターネットサービスプロバイダーを利用してインターネットを通じて接続する）に接続されても良い。幾つかの実施形態においては、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）のような電子回路は、コンピュータ読み取り可能なプログラム命令のステータス情報を用いてカスタマイズすることができる。当該電子回路は、コンピュータ読み取り可能なプログラム命令を実行することにより、本願の様々な側面を実現することができる。
ここでは、本願の実施形態の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して本願の様々な側面を説明した。フローチャート及び/又はブロック図の各ブロック並びにフローチャート及び/又はブロック図の各ブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令により実装できることが理解されたい。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置の処理ユニットに提供することができる。従って、これらの命令を、コンピュータ又はプログラム可能なデータ処理装置の処理ユニットにより実行される際、フローチャート及び/又はブロック図の中の１つ又は複数のブロックで指定された機能/動作を実現する装置が生成される。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶メディアに記憶することもでき、これらの命令は、コンピュータ、プログラム可能なデータ処理装置及び/又は他のデバイスを特定の方法で動作させる。従って、命令が記憶されているコンピュータ読み取り可能なメディアは、フローチャート及び/又はブロック図の中の1つ又は複数のブロックで指定された機能/動作の様々な側面を実装するための命令を含む製造品を有する。
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置又は他のデバイスにロードすることにより、コンピュータ、他のプログラム可能なデータ処理装置又は他のデバイスで一連の操作ステップを実行し、コンピュータで実装するプロセスが形成する。よって、コンピュータ、他のプログラム可能なデータ処理装置又は他のデバイスで実行される命令は、フローチャート及び/又はブロック図の中の1つ又は複数のブロックで指定された機能/動作を実現させる。
図面の中のフローチャート図とブロック図は、本願による各種実施形態のシステム、方法とコンピュータプログラム製品の実現可能なアーキテクチャ、機能と操作を示す。この点において、フローチャート図又はブロック図の中の各ブロックは、一つのモジュール、プログラムセグメント又は命令の一部分を代表することができ、前記モジュール、プログラムセグメント又は命令の一部分は、一つまたは複数の、規定のロジック機能の実現に用いられる実行可能な命令を含む。幾つかの代替の実現において、ブロックの中で提示した機能は、図面の中で提示した順序と異なる順序で発生する可能性がある。例えば、二つの接続するように表示されているブロックは、実際において基本的に並列に実行されても良く、場合によっては反対の順序で実行されても良く、いずれも関わる機能によって定まる。フローチャート図及び／またはブロック図の中の各ブロック、及びフローチャート図及び／またはブロック図の中のブロックの組み合わせは、規定の機能又は操作を実行する専用なハードウェアに基づくシステムで実現しても良く、専用なハードウェアとコンピュータ命令の組み合わせで実現しても良い。
前記記述は、本願の実施形態を説明し、当該説明は、例示的なものに過ぎず、網羅するものではない。本願は、記載の各実施形態に制限されない。当業者は、説明された各実施形態の範囲及び精神から逸脱しない限り、様々な補正及び変更を行うことができると理解すべきである。本文に用いられる用語の選択は、各実施形態の原理、実際的な応用又は市場の中の技術の改良をより良く解釈するためのものであり、又は、当業者に本文に記載の各実施形態を理解させるものである。

Claims (19)

  1. 交通手段の精密ナビゲーションデバイスにより、前記交通手段の複数のポジショニングを確定することと、
    前記交通手段のセンサーにより、前記交通手段の所在する物理的環境の複数の画像フレームを取得することと、
    前記複数のポジショニングから前記複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定することと、
    確定したターゲットポジショニングと前記物理的環境に関連する地図に基づいて前記少なくとも１つの画像フレームに対応する道路情報データを確定することとを含むことを特徴とする道路情報データ確定の方法。
  2. 少なくとも１つの画像フレームに対応するターゲットポジショニングを確定することは、
    前記精密ナビゲーションデバイスのシステム時間と前記センサーが画像フレームを取得する時間との間のタイムスタンプオフセットを取得することと、
    前記タイムスタンプオフセットに基づき、前記複数の画像フレームのタイムスタンプ及び前記複数のポジショニングのタイムスタンプに対してアラインメント処理を行うことと、
    アラインメントされた後の前記複数の画像フレーム及び前記複数のポジショニングに基づいて前記ターゲットポジショニングを確定することとを含むことを特徴とする請求項１に記載の方法。
  3. アラインメントされた後の前記複数の画像フレーム及び前記複数のポジショニングに基づいて前記ターゲットポジショニングを確定することは、
    タイムスタンプにおいて前記少なくとも１つの画像フレームに最も近い第一のポジショニング及び第二のポジショニングをそれぞれ取得し、前記第一のポジショニングの第一のタイムスタンプは、前記少なくとも１つの画像フレームのタイムスタンプの前にあり、前記第二のポジショニングの第二のタイムスタンプは、前記少なくとも１つの画像フレームのタイムスタンプの後ろにあることと、
    前記第一のポジショニング、前記第二のポジショニング、前記第一のタイムスタンプ及び前記第二のタイムスタンプに基づいてポジショニング変化率を確定することと、
    前記第一のポジショニング、前記第一のタイムスタンプ、前記少なくとも１つの画像フレームのタイムスタンプ及び前記ポジショニング変化率に基づいて前記ターゲットポジショニングを確定することとを含むことを特徴とする請求項２に記載の方法。
  4. 前記少なくとも１つの画像フレームに対応する道路情報データを確定することは、
    前記ターゲットポジショニングの姿勢向きを取得することと、
    前記姿勢向きが所定の範囲内にあることに応答し、前記地図及び前記ターゲットポジショニングに基づいて前記道路情報データを確定することとを含むことを特徴とする請求項１に記載の方法。
  5. 前記センサーは、カメラであり、
    前記カメラのパラメータに基づいて前記道路情報データを画像フレーム座標系における道路情報データに変換することを更に含むことを特徴とする請求項１に記載の方法。
  6. 前記道路情報データは、車線ラインデータ、道路脇データ、ガードレールデータ、街灯データ又は道路標識データの中の少なくとも1つを含むことを特徴とする請求項１に記載の方法。
  7. 前記精密ナビゲーションデバイスは、SPAN−CPTナビゲーションデバイスであることを特徴とする請求項１に記載の方法。
  8. 前記地図は、高精度地図であることを特徴とする請求項１に記載の方法。
  9. 交通手段の精密ナビゲーションデバイスにより前記交通手段の複数のポジショニングを確定するように配置されている第一のポジショニング取得モジュールと、
    前記交通手段のセンサーにより前記交通手段の所在する物理的環境の複数の画像フレームを取得するように配置されている画像取得モジュールと、
    前記複数のポジショニングから前記複数の画像フレームの中の少なくとも１つの画像フレームに対応するターゲットポジショニングを確定するように配置されているポジショニング確定モジュールと、
    確定したターゲットポジショニングと前記物理的環境に関連する地図に基づいて前記少なくとも１つの画像フレームに対応する道路情報データを確定するように配置されている第一の道路情報データ確定モジュールとを含むことを特徴とする道路情報データ確定の装置。
  10. 前記ポジショニング確定モジュールは、
    前記精密ナビゲーションデバイスのシステム時間と前記センサーが画像フレームを取得する時間との間のタイムスタンプオフセットを取得するように配置されているタイムスタンプオフセット確定モジュールと、
    前記タイムスタンプオフセットに基づき、前記複数の画像フレームのタイムスタンプ及び前記複数のポジショニングのタイムスタンプに対してアラインメント処理を行うように配置されているタイムスタンプアラインメントモジュールと、
    アラインメントされた後の前記複数の画像フレーム及び前記複数のポジショニングに基づいて前記ターゲットポジショニングを確定するように配置されている第一のターゲットポジショニング確定モジュールとを含むことを特徴とする請求項９に記載の装置。
  11. 前記第一のターゲットポジショニング確定モジュールは、
    タイムスタンプにおいて前記少なくとも１つの画像フレームに最も近い第一のポジショニング及び第二のポジショニングをそれぞれ取得し、前記第一のポジショニングの第一のタイムスタンプは、前記少なくとも１つの画像フレームのタイムスタンプの前にあり、前記第二のポジショニングの第二のタイムスタンプは、前記少なくとも１つの画像フレームのタイムスタンプの後ろにあるように配置されている第二のポジショニング取得モジュールと、
    前記第一のポジショニング、前記第二のポジショニング、前記第一のタイムスタンプ及び前記第二のタイムスタンプに基づいてポジショニング変化率を確定するように配置されているポジショニング変化率確定モジュールと、
    前記第一のポジショニング、前記第一のタイムスタンプ、前記少なくとも１つの画像フレームのタイムスタンプ及び前記ポジショニング変化率に基づいて前記ターゲットポジショニングを確定するように配置されている第二のターゲットポジショニング確定モジュールとを含むことを特徴とする請求項１０に記載の装置。
  12. 前記第一の道路情報データ確定モジュールは、
    前記ターゲットポジショニングの姿勢向きを取得するように配置されている姿勢向き取得モジュールと、
    前記姿勢向きが所定の範囲内にあることに応答し、前記地図及び前記ターゲットポジショニングに基づいて前記道路情報データを確定するように配置されている第二の道路情報データ確定モジュールとを含むことを特徴とする請求項９に記載の装置。
  13. 前記センサーは、カメラであり、
    前記カメラのパラメータに基づいて前記道路情報データを画像フレーム座標系における道路情報データに変換するように配置されている座標系変換モジュールを更に含むことを特徴とする請求項９に記載の装置。
  14. 前記道路情報データは、車線ラインデータ、道路脇データ、ガードレールデータ、街灯データ又は道路標識データの中の少なくとも1つを含むことを特徴とする請求項９に記載の装置。
  15. 前記精密ナビゲーションデバイスは、SPAN−CPTナビゲーションデバイスであることを特徴とする請求項９に記載の装置。
  16. 前記地図は、高精度地図であることを特徴とする請求項９に記載の装置。
  17. １つ又は複数のプロセッサーと、
    １つ又は複数のプログラムが記憶されている記憶装置とを含み、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサーにより実行される場合、前記１つ又は複数のプロセッサーが請求項１〜８のいずれか１つの方法を実現するようにさせることを特徴とする電子デバイス。
  18. コンピュータプログラムが記憶されているコンピュータ読み取り可能なメディアであって、
    当該プログラムがプロセッサーにより実行される場合、請求項１〜８のいずれか１つの方法を実現することを特徴とするコンピュータ読み取り可能なメディア。
  19. コンピュータプログラムであって、
    プロセッサーにより実行されると、請求項１〜８のいずれか１つの方法を実現することを特徴とするコンピュータ読み取り可能なメディア。
JP2021056069A 2020-08-25 2021-03-29 道路情報データ確定の方法、装置及びコンピュータ記憶メディア Active JP7213293B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010862248.4A CN111999752B (zh) 2020-08-25 2020-08-25 确定道路信息数据的方法、装置和计算机存储介质
CN202010862248.4 2020-08-25

Publications (2)

Publication Number Publication Date
JP2021184243A true JP2021184243A (ja) 2021-12-02
JP7213293B2 JP7213293B2 (ja) 2023-01-26

Family

ID=73470708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021056069A Active JP7213293B2 (ja) 2020-08-25 2021-03-29 道路情報データ確定の方法、装置及びコンピュータ記憶メディア

Country Status (5)

Country Link
US (1) US11783570B2 (ja)
EP (1) EP3836018B1 (ja)
JP (1) JP7213293B2 (ja)
KR (1) KR102525227B1 (ja)
CN (1) CN111999752B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556701A (zh) * 2020-12-23 2021-03-26 北京嘀嘀无限科技发展有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN112733793A (zh) * 2021-01-22 2021-04-30 北京嘀嘀无限科技发展有限公司 检测公交车道的方法、装置、电子设备和存储介质
CN112833880A (zh) * 2021-02-02 2021-05-25 北京嘀嘀无限科技发展有限公司 车辆定位方法、定位装置、存储介质及计算机程序产品
CN112966059B (zh) * 2021-03-02 2023-11-24 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
US20220383751A1 (en) * 2021-05-28 2022-12-01 Lyft, Inc. Systems and methods for personal mobile vehicle localization in a fleet management system
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN113537133B (zh) * 2021-07-30 2022-11-08 阿波罗智联(北京)科技有限公司 信息处理方法及装置、电子设备、存储介质及产品
CN113392816B (zh) * 2021-08-16 2021-12-31 禾多科技（北京）有限公司 路面病害检测方法、装置、电子设备和计算机可读介质
CN113581256B (zh) * 2021-09-02 2023-05-30 浙江众合科技股份有限公司 一种基于bim和gis技术的列车自主定位方法和系统
CN113850837B (zh) * 2021-11-25 2022-02-08 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品
CN114264299B (zh) * 2021-12-29 2023-11-24 杭州电子科技大学 一种基于标量磁场数据的交流输电海缆路由定位方法
CN114623838A (zh) * 2022-03-04 2022-06-14 智道网联科技(北京)有限公司 基于车联网的地图数据采集方法、装置及存储介质
CN115294770A (zh) * 2022-08-03 2022-11-04 航天宏图信息技术股份有限公司 一种雨天交通拥堵指数的预测方法和装置
CN116358460B (zh) * 2023-01-31 2024-03-08 青岛中电众益智能科技发展有限公司 一种用于确定层位信息的方法、设备、介质及程序产品
CN116872951B (zh) * 2023-09-06 2023-12-05 福瑞泰克智能系统有限公司 多传感器数据对齐方法、装置和存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2010237797A (ja) * 2009-03-30 2010-10-21 Equos Research Co Ltd 画像処理装置および画像処理プログラム
JP2013206312A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 映像抽出装置、方法及びプログラム
JP2018152053A (ja) * 2017-03-09 2018-09-27 株式会社デンソー データ取得システム、および、サーバ
JP2019145089A (ja) * 2017-12-29 2019-08-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 点群データを融合させるための方法及び装置
US20200202147A1 (en) * 2018-12-21 2020-06-25 Continental Automotive Systems Inc. Systems and methods for automatic labeling of images for supervised machine learning
WO2020137312A1 (ja) * 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 測位装置及び移動体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196407A (zh) * 2006-12-08 2008-06-11 高德软件有限公司 带有道路路标信息的导航装置
CN103971589B (zh) * 2013-01-28 2017-10-03 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
KR20180058090A (ko) 2016-11-23 2018-05-31 부산대학교 산학협력단 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
CN207460317U (zh) * 2017-08-29 2018-06-05 深圳市智研华安科技有限公司 车载拍摄装置
WO2020045318A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 車両側装置、サーバ、方法および記憶媒体
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
CN109798903B (zh) * 2018-12-19 2021-03-30 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
US20200217667A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Robust association of traffic signs with a map
CN110047373A (zh) * 2019-04-28 2019-07-23 北京超维度计算科技有限公司 一种基于通用应用处理器的高精度地图生成系统
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110376604B (zh) * 2019-08-09 2022-11-15 北京智行者科技股份有限公司 基于单线激光雷达的路沿检测方法
CN110595494B (zh) * 2019-09-17 2021-06-22 百度在线网络技术（北京）有限公司 地图误差确定方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2010237797A (ja) * 2009-03-30 2010-10-21 Equos Research Co Ltd 画像処理装置および画像処理プログラム
JP2013206312A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 映像抽出装置、方法及びプログラム
JP2018152053A (ja) * 2017-03-09 2018-09-27 株式会社デンソー データ取得システム、および、サーバ
JP2019145089A (ja) * 2017-12-29 2019-08-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 点群データを融合させるための方法及び装置
US20200202147A1 (en) * 2018-12-21 2020-06-25 Continental Automotive Systems Inc. Systems and methods for automatic labeling of images for supervised machine learning
WO2020137312A1 (ja) * 2018-12-28 2020-07-02 パナソニックＩｐマネジメント株式会社 測位装置及び移動体

Also Published As

Publication number Publication date
KR20220026466A (ko) 2022-03-04
EP3836018A3 (en) 2021-10-20
KR102525227B1 (ko) 2023-04-21
EP3836018B1 (en) 2023-05-10
CN111999752B (zh) 2024-03-26
EP3836018A2 (en) 2021-06-16
US20210213971A1 (en) 2021-07-15
JP7213293B2 (ja) 2023-01-26
US11783570B2 (en) 2023-10-10
CN111999752A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
JP2021184243A (ja) 道路情報データ確定の方法、装置及びコンピュータ記憶メディア
US11365976B2 (en) Semantic label based filtering of objects in an image generated from high definition map data
US10498966B2 (en) Rolling shutter correction for images captured by a camera mounted on a moving vehicle
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
US11068516B2 (en) High definition map and route storage management system for autonomous vehicles
US11340355B2 (en) Validation of global navigation satellite system location data with other sensor data
US11727272B2 (en) LIDAR-based detection of traffic signs for navigation of autonomous vehicles
US20240005167A1 (en) Annotating high definition map data with semantic labels
US11598876B2 (en) Segmenting ground points from non-ground points to assist with localization of autonomous vehicles
US11367208B2 (en) Image-based keypoint generation
US11675083B2 (en) Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
US20210004021A1 (en) Generating training data for deep learning models for building high definition maps
US20200386555A1 (en) Using map-based constraints for determining vehicle state
US11107235B1 (en) Systems and methods for identifying data suitable for mapping
US11699246B2 (en) Systems and methods for validating drive pose refinement
US11594014B2 (en) Annotating high definition map points with measure of usefulness for localization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150