JP2020042790A - 実データ拡張方法、装置及び端末 - Google Patents

実データ拡張方法、装置及び端末 Download PDF

Info

Publication number
JP2020042790A
JP2020042790A JP2019133292A JP2019133292A JP2020042790A JP 2020042790 A JP2020042790 A JP 2020042790A JP 2019133292 A JP2019133292 A JP 2019133292A JP 2019133292 A JP2019133292 A JP 2019133292A JP 2020042790 A JP2020042790 A JP 2020042790A
Authority
JP
Japan
Prior art keywords
data
new obstacle
obstacle
new
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019133292A
Other languages
English (en)
Other versions
JP7227867B2 (ja
Inventor
チン ファン
Jin Fang
チン ファン
フェイロン イエン
Feilong Yan
フェイロン イエン
ルイカン ヤン
Ruigang Yang
ルイカン ヤン
リーアン ワン
Liang Wang
リーアン ワン
ユイ マー
Yu Ma
ユイ マー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042790A publication Critical patent/JP2020042790A/ja
Application granted granted Critical
Publication of JP7227867B2 publication Critical patent/JP7227867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】交通シミュレーションで、実データ量を増加させ、実データに多様性を向上させる事が可能な実データ拡張方法、装置及び端末を提供する。【解決手段】実データ拡張方法は、複数の初期障害物を含む点群を取得するステップS100と、初期障害物を点群から削除して複数の位置ホールを形成し、位置ホールを充填し、実点群背景を形成するステップS200と、実点群背景に、標記データを有する新たな障害物を再配置するステップS300と、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得するステップS400と、を含む。【選択図】図1

Description

本発明はコンピュータの技術分野に関し、具体的には、実データ拡張方法、装置及び端末に関する。
交通シミュレーションでは、標記データの障害物位置を配置位置として抽出することがある。標記データの数が限られているため、実データに多様化のニーズを満たすことができない。現在、実データ量の拡張方式として、1フレームの画像を拡大・縮小又は回転してより多くの実データを得ることが一般的である。しかしながら、このような実データ量の拡張方式は変更される内容が少なく、大量の実データを生成することができない。
本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、実データ拡張方法、装置及び端末を提供する。
第一態様によれば、本発明の実施例は、実データ拡張方法を提供し、該方法は、
複数の初期障害物を含む点群を取得するステップと、
前記初期障害物を前記点群から削除して複数の位置ホールを形成し、前記位置ホールを充填し、実点群背景を形成するステップと、
前記実点群背景に、標記データを有する複数の新たな障害物を再配置するステップと、
前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得するステップと、を含む。
第一態様に合わせて、本発明の実施例として、第一態様の第一実施形態において、前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得するまで、
前記点群に対して、領域分割を行って、複数のプリセット領域を生成し、各前記プリセット領域に前記新たな障害物が含まれ、前記新たな障害物を各前記プリセット領域内に調整できるようにするステップをさらに含む。
第一態様に合わせて、本発明の実施例として、第一態様の第二実施形態において、前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき前記新たな障害物の位置を調整するステップと、
調整後の位置データを前記新たな障害物のレイアウトデータとするステップと、を含む。
第一態様に合わせて、本発明の実施例として、第一態様の第三実施形態において、前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
少なくとも一つの前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき少なくとも一つの前記新たな障害物のタイプを変換するステップと、
変換後のタイプを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含む。
第一態様に合わせて、本発明の実施例として、第一態様の第四実施形態において、前記新たな障害物の実標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
前記新たな障害物の標記データ中の位置データを抽出し、隣接する2つの前記新たな障害物の間の空間を計算するステップと、
前記空間に少なくとも1つの新たな障害物を追加し、前記新たな障害物は標記データを有し、前記追加された新たな障害物の標記データを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含む。
第一態様に合わせて、本発明の実施例として、第一態様の第五実施形態において、前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
少なくとも一つの前記新たな障害物の標記データ中の障害物タイプを抽出し、少なくとも一つの前記新たな障害物タイプに基づき少なくとも一つの前記新たな障害物の向きを調整するステップと、
少なくとも一つの前記新たな障害物の調整後の向きを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含む。
上記技術案のいずれかは、初期障害物を前記点群から削除して、複数の位置ホールを形成し、形成されたホールを、周囲環境を用いて充填し、実点群背景を形成する。実点群背景に新たな障害物を再配置し、新たな障害物の標記データを取得し、新たな障害物の標記データに基づき新たな障害物を調整し、より多くの新たな障害物のレイアウトデータを得る。実データ量を増加させ、実データに多様性を向上させるという利点又は有益な効果を有する。
以上、明細書の目的のために発明の概要を説明したが、何らかの形態に限定されるものではない。上記説明された例示的な態様、実施形態及び特徴に加えて、本発明のさらなる態様、実施形態及び特徴は図面及び以下の詳細説明によって容易に明らかになる。
図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
本発明の実施例に係る実データ拡張方法のフローチャートである。 本発明の実施例に係る実データ拡張装置の概略ブロック図である。 本発明の実施例に係る実データ拡張端末の概略図である。
以下、いくつかの例示的な実施例を説明する。当業者が理解できるように、本発明の趣旨又は範囲を逸脱せずに、説明された実施例を様々な形態で変更することができる。従って、図面及び説明は本質的に限定的ではなく例示的なものである。
実施例1
一具体的な実施形態では、図1に示すように、実データ量拡張方法を提供し、該方法は、以下のステップS100〜S400を含む。
ステップS100では、複数の初期障害物を含む複数フレームの点群を取得する。
プローブカーは走行経路に沿って走行する時、レーダーによって周囲の初期障害物を走査し、複数フレームの点群を取得できる。プローブカーの走行ルールは、幹線道路を走行してもいし、指定された支線道路を走行してもよい、いずれも本実施形態の保護範囲に属する。外部から該複数フレームの点群を直接に取得してもよい。
ステップS200では、初期障害物を削除して複数の位置ホールを形成し、位置ホールを充填し、実点群背景を形成する。
各フレームの点群において、プローブカーを原点として、点群座標系を作成し、初期障害物は、プローブカーに対して相対座標を有する。プローブカーの絶対座標と初期障害物の相対座標に基づき初期障害物の絶対座標を得る。初期障害物の絶対座標に基づき初期障害物を標記し、初期障害物の標記データを得る。初期障害物の標記データは、初期障害物の位置データを含むだけでなく、初期障害物のタイプ、身元識別番号及び向き等をさらに含む。
初期障害物の位置データに基づき初期障害物を削除し、位置ホールを形成する。周囲環境を用いてホールを充填し、実点群背景を形成する。
ステップS300では、実点群背景において、標記データを有する新たな障害物を再配置する。新たな障害物の標記データは、新たな障害物の位置データ、タイプ、身元識別番号及び向き等を含む。
ステップS400では、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得する。
新たな障害物の標記データに基づき新たな障害物を調整する手法として、異なるシーンニーズに応じて、新たな障害物を追加・削除し、追加・削除後のデータを新たな障害物のレイアウトデータとするようにしてもよいし、新たな障害物の位置、向き、身元識別番号及びタイプ等を変更し、変更後の新たな障害物に対応する標記データを新たな障害物のレイアウトデータとするようにしてもよい。実データ量を増加させるとともに、実データに多様性を向上させる。
一実施形態では、前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得するまで、各点群に領域分割を行い、複数のプリセット領域を生成し、各プリセット領域に新たな障害物が含まれ、新たな障害物を各プリセット領域内に調整できるようにするステップをさらに含む。
点群が複数のプリセット領域を含み、各プリセット領域内に1つの新たな障害物を設定することは、新たな障害物の調整可能な移動範囲に対して、分割を行い、後続の調整に寄与することを目指し。プリセット領域のサイズは、新たな障害物のサイズに応じて調整でき、いずれも本実施例の保護範囲に属する。
一実施形態では、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得することは、新たな障害物の標記データ中の位置データを抽出し、位置データに基づき新たな障害物の位置を調整し、調整後の位置データを新たな障害物のレイアウトデータとするステップを含む。
プリセット領域内に、新たな障害物の位置を変更し、複数の新たな障害物の位置データを得て、新たに得られた位置データを新たな障害物のレイアウトデータとする。プリセット領域内において、新たな障害物の位置を変更することで、別の領域内の新たな障害物と衝突することを回避する。
一実施形態では、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得することは、少なくとも一つの新たな障害物の標記データ中の位置データを抽出し、位置データに基づき少なくとも一つの新たな障害物のタイプを変換し、変換後のタイプを用いて、新たな障害物のレイアウトデータを構成するステップを含む。
まず、新たな障害物の位置を確定し、次にその位置をシーンに合わせて、新たな障害物のタイプを変換する。一例では、支線道路のシーンでは、自転車タイプの新たな障害物をバリケード標識タイプの障害物に変換し、変換後のバリケード標識タイプを新たな障害物のレイアウトデータとする。
一実施形態では、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得することは、新たな障害物の標記データ中の位置データを抽出し、隣接する新たな障害物の間の空間を計算するステップと、隣接する新たな障害物の間の空間に少なくとも1つの障害物を追加し、追加された障害物に対応する標記データを新たな障害物のレイアウトデータとするステップと、を含む。
隣接する2つの新たな障害物の位置データに基づき2つの新たな障害物の間の空間距離を計算し、この空間距離内に少なくとも1つの障害物を追加する。追加された障害物のタイプについては、空間のサイズに応じて選択でき、そして、追加された障害物が隣接する2つの新たな障害物と衝突することを回避することができる。追加された障害物に対応する標記データを新たな障害物のレイアウトデータとする。
一実施形態では、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得することは、少なくとも1つの新たな障害物の標記データ中の障害物タイプを抽出し、少なくとも1つの新たな障害物タイプに基づき少なくとも1つの新たな障害物の向きを調整し、少なくとも1つの新たな障害物の調整後の向きを用いて、新たな障害物のレイアウトデータを構成するステップを含む。
新たな障害物のタイプとシーンに合わせて、新たな障害物の向きを変更する。例えば、自動車類の新たな障害物の回転角度を閾値以下とし、閾値を超えると、交通法規違反になってしまう。調整後の新たな障害物の向きを新たな障害物のレイアウトデータとする。
実施例2
別の具体的な実施形態では、図2に示すように、実データ拡張装置を提供し、該装置は、複数の初期障害物を含む複数フレームの点群を取得する点群取得モジュール10と、初期障害物を前記点群から削除して複数の位置ホールを形成し、前記位置ホールを充填し、実点群背景を形成する点群背景形成モジュール20と、実点群背景に、実標記データを有する複数の新たな障害物を再配置する障害物設定モジュール30と、新たな障害物の標記データに基づき新たな障害物を調整し、新たな障害物のレイアウトデータを取得する実データ取得モジュール40と、を備える。
一実施形態では、前記装置は、各点群に対して、領域分割を行い、複数のプリセット領域を生成し、各プリセット領域に新たな障害物が含まれ、新たな障害物を各前記プリセット領域内に調整できるようにする点群領域分割モジュールをさらに備える。
一実施形態では、実データ取得モジュール40は、新たな障害物の標記データ中の位置データを抽出し、位置データに基づき新たな障害物の位置を調整し、調整後の位置データを新たな障害物のレイアウトデータとする位置データ追加ユニットを備える。
一実施形態では、実データ取得モジュール40は、少なくとも一つの新たな障害物の標記データ中の位置データを抽出し、位置データに基づき少なくとも一つの新たな障害物のタイプを変換し、変換後のタイプを用いて、新たな障害物のレイアウトデータを構成するタイプ追加ユニットをさらに備える。
一実施形態では、実データ取得モジュール40は、新たな障害物の標記データ中の位置データを抽出し、隣接する2つの新たな障害物の間の空間を計算し、隣接する新たな障害物の間の空間に少なくとも1つの新たな障害物を追加し、前記新たな障害物は標記データを有し、追加された障害物に対応する標記データを用いて、新たな障害物のレイアウトデータを構成する標記データ追加ユニットをさらに備える。
一実施形態では、実データ取得モジュール40は、少なくとも一つの新たな障害物の標記データ中の障害物タイプを抽出し、少なくとも一つの新たな障害物タイプに基づき少なくとも一つの新たな障害物の向きを調整し、新たな障害物の調整後の向きを用いて、新たな障害物のレイアウトデータを構成する向きデータ追加ユニットをさらに備える。
実施例3
本発明の実施例は実データ拡張端末を提供し、図3に示すように、該端末は、メモリ400、プロセッサ500、及び通信インターフェース600を備え、メモリ400には、プロセッサ500上で実行可能なコンピュータプログラムが記憶され、プロセッサ500は、前記コンピュータプログラムを実行すると、上記実施例に係る実データ拡張方法を実現し、メモリ400とプロセッサ500との数は、1つ又は複数であってもよい、通信インターフェース600は、メモリ400とプロセッサ500とが外部と通信するために用いられる。
メモリ400は、高速RAMメモリを含む可能性もあるし、不揮発性メモリ(non−volatile memory)、例えば、少なくとも1つの磁気ディスクメモリをさらに含む可能性もある。
メモリ400、プロセッサ500及び通信インターフェース600が独立して実現する場合、メモリ400、プロセッサ500及び通信インターフェース600はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ(ISA、Industry Standard Architecture)バス、ペリフェラルコンポーネント(PCI、Peripheral Component Interconnect)バス又は拡張業界標準アーキテクチャ(EISA、Extended Industry Standard Architecture)バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図3では、1本のみの太線で示すが、1本のみのバス又は1つのタイプのみのバスを有すると示さない。
選択的に、具体的に実現する時、メモリ400、プロセッサ500及び通信インターフェース600が1枚のチップに統合される場合、メモリ400、プロセッサ500及び通信インターフェース600は、内部インターフェースによって、相互間の通信を実現することができる。
実施例4
本発明の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサにより実行されると、上記実施例1のいずれかに記載の実データ拡張方法を実現する。
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも1つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか1つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも1つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は2つ又は2つ以上である。
当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための1つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。
フローチャートに示す、又はここでほかの方式で説明される論理及び/又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス(例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム)の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例(非網羅的リスト)は、1つ又は複数の配線を有する電気接続部(電子装置)、ポータブルコンピュータケース(磁気装置)、ランダムアクセスメモリー(RAM)、読み出し専用メモリ(ROM)、電気的消去再書込み可能な読出し専用メモリ(EPROM又はフラッシュメモリー)、光ファイバー装置、及び携帯型読み出し専用メモリー(CDROM)を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)等の本分野での公知技術のうちのいずれか1つ又はそれらの組み合わせで実現してもよい。
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの1つ又はそれらの組み合わせを含むと理解される。
また、本発明の各実施例における各機能ユニットが1つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、1つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims (14)

  1. 実データ拡張方法であって、
    複数の初期障害物を含む点群を取得するステップと、
    前記初期障害物を前記点群から削除して複数の位置ホールを形成し、前記位置ホールを充填し、実点群背景を形成するステップと、
    前記実点群背景に、標記データを有する複数の新たな障害物を再配置するステップと、
    前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得するステップと、を含むことを特徴とする実データ拡張方法。
  2. 前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得するまで、
    前記点群に対して、領域分割を行って、複数のプリセット領域を生成し、各前記プリセット領域に前記新たな障害物が含まれ、前記新たな障害物を各前記プリセット領域内に調整できるようにするステップをさらに含むことを特徴とする請求項1に記載の方法。
  3. 前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
    前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき前記新たな障害物の位置を調整するステップと、
    調整後の位置データを前記新たな障害物のレイアウトデータとするステップと、を含むことを特徴とする請求項1に記載の方法。
  4. 前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
    少なくとも一つの前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき少なくとも一つの前記新たな障害物のタイプを変換するステップと、
    変換後のタイプを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含むことを特徴とする請求項1に記載の方法。
  5. 前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
    前記新たな障害物の標記データ中の位置データを抽出し、隣接する2つの前記新たな障害物の間の空間を計算するステップと、
    前記空間に少なくとも1つの新たな障害物を追加し、前記新たな障害物は標記データを有し、前記追加された新たな障害物の標記データを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含むことを特徴とする請求項1に記載の方法。
  6. 前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得することは、
    少なくとも一つの前記新たな障害物の標記データ中の障害物タイプを抽出し、少なくとも一つの前記新たな障害物タイプに基づき少なくとも一つの前記新たな障害物の向きを調整するステップと、
    少なくとも一つの前記新たな障害物の調整後の向きを用いて、前記新たな障害物のレイアウトデータを構成するステップと、を含むことを特徴とする請求項1に記載の方法。
  7. 実データ拡張装置であって、
    複数の初期障害物を含む点群を取得する点群取得モジュールと、
    前記初期障害物を前記点群から削除して複数の位置ホールを形成し、前記位置ホールを充填し、実点群背景を形成する点群背景形成モジュールと、
    前記実点群背景に、実標記データを有する複数の新たな障害物を再配置する障害物設定モジュールと、
    前記新たな障害物の標記データに基づき前記新たな障害物を調整し、前記新たな障害物のレイアウトデータを取得する実データ取得モジュールと、を備えることを特徴とする実データ拡張装置。
  8. 前記点群に対して、領域分割を行って、複数のプリセット領域を生成し、各前記プリセット領域に前記新たな障害物が含まれ、前記新たな障害物を各前記プリセット領域内に調整できるようにする点群領域分割モジュールをさらに備えることを特徴とする請求項7に記載の実データ拡張装置。
  9. 前記実データ取得モジュールは、
    前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき前記新たな障害物の位置を調整し、調整後の位置データを前記新たな障害物のレイアウトデータとする位置データ追加ユニットを備えることを特徴とする請求項7に記載の装置。
  10. 前記実データ取得モジュールは、
    少なくとも一つの前記新たな障害物の標記データ中の位置データを抽出し、前記位置データに基づき少なくとも一つの前記新たな障害物のタイプを変換し、変換後のタイプを用いて、前記新たな障害物のレイアウトデータを構成するタイプ追加ユニットをさらに備えることを特徴とする請求項7に記載の装置。
  11. 前記実データ取得モジュールは、
    前記新たな障害物の標記データ中の位置データを抽出し、隣接する2つの前記新たな障害物の間の空間を計算し、前記空間に少なくとも1つの新たな障害物を追加し、前記新たな障害物は標記データを有し、前記追加された新たな障害物の標記データを用いて、前記新たな障害物のレイアウトデータを構成する標記データ追加ユニットをさらに備えることを特徴とする請求項7に記載の装置。
  12. 前記実データ取得モジュールは、
    少なくとも一つの前記新たな障害物の標記データ中の障害物タイプを抽出し、少なくとも一つの前記新たな障害物タイプに基づき少なくとも一つの前記新たな障害物の向きを調整し、前記新たな障害物の調整後の向きを用いて、前記新たな障害物のレイアウトデータを構成する向きデータ追加ユニットをさらに備えることを特徴とする請求項7に記載の装置。
  13. 実データ拡張端末であって、
    1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを記憶するメモリと、を備え、
    前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサが請求項1乃至6のいずれか一項に記載の方法を実現することを特徴とする実データ拡張端末。
  14. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、請求項1乃至6のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
JP2019133292A 2018-09-07 2019-07-19 実データ拡張方法、装置及び端末 Active JP7227867B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811045664.4 2018-09-07
CN201811045664.4A CN109215136B (zh) 2018-09-07 2018-09-07 一种真实数据增强方法、装置以及终端

Publications (2)

Publication Number Publication Date
JP2020042790A true JP2020042790A (ja) 2020-03-19
JP7227867B2 JP7227867B2 (ja) 2023-02-22

Family

ID=64987804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133292A Active JP7227867B2 (ja) 2018-09-07 2019-07-19 実データ拡張方法、装置及び端末

Country Status (4)

Country Link
US (1) US11205289B2 (ja)
EP (1) EP3621040B1 (ja)
JP (1) JP7227867B2 (ja)
CN (1) CN109215136B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934141B (zh) * 2019-03-01 2021-05-04 北京百度网讯科技有限公司 用于标注数据的方法和装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250232A (ja) * 1998-02-26 1999-09-17 Namco Ltd 画像生成装置及び情報記憶媒体
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2004297808A (ja) * 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005202922A (ja) * 2003-12-18 2005-07-28 Nissan Motor Co Ltd 運転支援装置及び運転支援プログラム
JP2007117260A (ja) * 2005-10-26 2007-05-17 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
JP2012083157A (ja) * 2010-10-08 2012-04-26 Mitsubishi Electric Corp 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2012203806A (ja) * 2011-03-28 2012-10-22 Toyota Motor Corp 物体認識装置
JP2014106585A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US20170025001A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc Fusion of non-vehicle-to-vehicle communication equipped vehicles with unknown vulnerable road user
JP2017113306A (ja) * 2015-12-24 2017-06-29 株式会社コロプラ プログラム及びコンピュータ
WO2017203710A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 3次元モデル生成システム、3次元モデル生成方法、及びプログラム
CN108492356A (zh) * 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0772842B1 (en) 1994-05-19 2003-11-12 Geospan Corporation Method for collecting and processing visual and spatial position information
JP2001013645A (ja) 1999-07-01 2001-01-19 Konica Corp レンズ付きフィルムユニット
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
NZ587928A (en) 2008-03-11 2012-08-31 Incyte Corp Azetidine and cyclobutane derivatives as jak inhibitors
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US8611585B2 (en) 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN101441076B (zh) 2008-12-29 2010-06-02 东软集团股份有限公司 一种检测障碍物的方法和装置
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
JP5395956B2 (ja) 2010-07-02 2014-01-22 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理方法
JP5206752B2 (ja) 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
CN103258338A (zh) 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN102663196B (zh) 2012-04-17 2014-04-16 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
US9255989B2 (en) 2012-07-24 2016-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking on-road vehicles with sensors of different modalities
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
JP5949353B2 (ja) 2012-09-07 2016-07-06 株式会社Ihi 解析装置および解析方法
US9082014B2 (en) 2013-03-14 2015-07-14 The Nielsen Company (Us), Llc Methods and apparatus to estimate demography based on aerial images
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
CN104376297B (zh) 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
JP5919243B2 (ja) 2013-10-18 2016-05-18 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN103914830B (zh) 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
CN104899855A (zh) 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104020674B (zh) 2014-04-21 2017-01-25 华南农业大学 车辆Bug避障算法的Matlab仿真可视化平台
CN104183014B (zh) * 2014-08-13 2017-01-18 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104252716A (zh) * 2014-10-10 2014-12-31 江苏恒天先进制造科技有限公司 一种基于逆向工程的博物馆藏品三维数字建模的系统及其使用方法
KR101687073B1 (ko) 2014-10-22 2016-12-15 주식회사 만도 터널 높이 추정 장치 및 터널 높이 추정 방법
CN104331910B (zh) 2014-11-24 2017-06-16 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN104457569B (zh) 2014-11-27 2017-06-16 大连理工大学 一种大型复合板材几何参数视觉测量方法
CN104950883A (zh) 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
TWI630132B (zh) * 2015-06-04 2018-07-21 國立虎尾科技大學 3D animation car accident scene reconstruction method
CN104933708A (zh) 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN104931977B (zh) 2015-06-11 2017-08-25 同济大学 一种用于智能车辆的障碍物识别方法
US9959765B2 (en) 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
US10745003B2 (en) * 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
JP6464075B2 (ja) 2015-11-11 2019-02-06 日本電信電話株式会社 What−ifシミュレーション装置、方法、及びプログラム
US10591600B2 (en) 2015-11-30 2020-03-17 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
CN105761308B (zh) * 2016-02-29 2018-09-07 武汉大学 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法
US10690495B2 (en) 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
CN105844600B (zh) * 2016-04-27 2018-03-16 北京航空航天大学 一种空间目标三维点云光顺去噪方法
CN105957145A (zh) * 2016-04-29 2016-09-21 百度在线网络技术(北京)有限公司 道路障碍物识别方法和装置
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等
CN106204457A (zh) 2016-07-19 2016-12-07 科盾科技股份有限公司 一种用于抓捕目标的方法和抓捕器
WO2018020589A1 (ja) 2016-07-26 2018-02-01 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN106462757B (zh) 2016-09-26 2019-09-06 深圳市锐明技术股份有限公司 一种成对车道线的快速检测方法和装置
CN107871129B (zh) * 2016-09-27 2019-05-10 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
JP6548691B2 (ja) 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
RO132599A2 (ro) 2016-11-23 2018-05-30 Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate
CN106707293B (zh) 2016-12-01 2019-10-29 百度在线网络技术(北京)有限公司 用于车辆的障碍物识别方法和装置
CN106599832A (zh) 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN108268518A (zh) 2016-12-30 2018-07-10 乐视汽车(北京)有限公司 生成用于无人车导航控制的网格地图的装置
CN106845412B (zh) 2017-01-20 2020-07-10 百度在线网络技术(北京)有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN106919908B (zh) 2017-02-10 2020-07-28 百度在线网络技术(北京)有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN106997049B (zh) 2017-03-14 2020-07-03 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置
CN107103627B (zh) 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US11023596B2 (en) * 2017-08-30 2021-06-01 Go Ghost, LLC Non-rasterized image streaming system that uses ray tracing samples
US10771350B2 (en) * 2017-09-26 2020-09-08 Siemens Aktiengesellschaft Method and apparatus for changeable configuration of objects using a mixed reality approach with augmented reality
CN107657237B (zh) 2017-09-28 2020-03-31 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN107659774B (zh) 2017-09-30 2020-10-13 北京拙河科技有限公司 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN107678306B (zh) 2017-10-09 2021-04-16 驭势(上海)汽车科技有限公司 动态场景信息录制和仿真回放方法、装置、设备及介质
CN107832806A (zh) 2017-12-06 2018-03-23 四川知创空间孵化器管理有限公司 一种车牌类型判别方法和系统
US10535191B2 (en) * 2017-12-21 2020-01-14 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108156419A (zh) 2017-12-22 2018-06-12 湖南源信光电科技股份有限公司 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN107993512A (zh) 2018-01-03 2018-05-04 深圳市欣横纵技术股份有限公司 一种核安保Table Top Tool系统及使用方法
CN108256506B (zh) 2018-02-14 2020-11-24 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
JP6695516B2 (ja) * 2018-03-05 2020-05-20 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
CN109146898B (zh) 2018-09-07 2020-07-24 百度在线网络技术(北京)有限公司 一种仿真数据量增强方法、装置以及终端
US10769846B2 (en) * 2018-10-11 2020-09-08 GM Global Technology Operations LLC Point cloud data compression in an autonomous vehicle
US11295517B2 (en) * 2019-11-15 2022-04-05 Waymo Llc Generating realistic point clouds

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250232A (ja) * 1998-02-26 1999-09-17 Namco Ltd 画像生成装置及び情報記憶媒体
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2004297808A (ja) * 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2005202922A (ja) * 2003-12-18 2005-07-28 Nissan Motor Co Ltd 運転支援装置及び運転支援プログラム
JP2007117260A (ja) * 2005-10-26 2007-05-17 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
JP2012083157A (ja) * 2010-10-08 2012-04-26 Mitsubishi Electric Corp 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2012203806A (ja) * 2011-03-28 2012-10-22 Toyota Motor Corp 物体認識装置
JP2014106585A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US20170025001A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc Fusion of non-vehicle-to-vehicle communication equipped vehicles with unknown vulnerable road user
JP2017113306A (ja) * 2015-12-24 2017-06-29 株式会社コロプラ プログラム及びコンピュータ
WO2017203710A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 3次元モデル生成システム、3次元モデル生成方法、及びプログラム
CN108492356A (zh) * 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法

Also Published As

Publication number Publication date
JP7227867B2 (ja) 2023-02-22
CN109215136B (zh) 2020-03-20
US11205289B2 (en) 2021-12-21
CN109215136A (zh) 2019-01-15
EP3621040B1 (en) 2023-09-06
EP3621040A1 (en) 2020-03-11
US20200082584A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7122059B2 (ja) シミュレーションデータ量拡張方法、装置、端末、記憶媒体、及びプログラム
JP6850324B2 (ja) マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム
KR102442230B1 (ko) 주행 좌표계의 구축 방법 및 응용
JP6850325B2 (ja) 確率プロットに基づく障害物分布シミュレーション方法、装置、端末、記憶媒体、及びプログラム
WO2021142996A1 (zh) 基于图像分割的点云去噪方法、系统、装置和存储介质
KR20200103550A (ko) 운전 참고 선 처리 방법, 장치 및 차량
JP2020148776A (ja) 車両軌跡計画方法、装置、コンピュータ設備、コンピュータ可読記憶媒体、及びプログラム
JP7121454B2 (ja) 統計に基づく障害物位置シミュレーション方法、装置及び端末
JP2020042790A (ja) 実データ拡張方法、装置及び端末
EP3605459A1 (en) Three-dimensional data generation device, three-dimensional data generation method, three-dimensional data generation program, and computer-readable recording medium having three-dimensional data generation program recorded thereon
CN105783873A (zh) 目标物的测量方法、高精度地图生成方法及相关装置
JP6932205B2 (ja) 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
CN116029263A (zh) 一种dwg对象导入方法、装置、设备及介质
CN113239905B (zh) 车道线简化方法、装置、电子设备及存储介质
CN116167252B (zh) 雷达配置信息的确定方法、装置、设备及存储介质
JP6954169B2 (ja) 仮想環境作成装置
CN114114953B (zh) 仿真场景的创建方法、装置、计算机设备及介质
CN115527205A (zh) 车道线标注的相关方法、车载设备及存储介质
CN117928597A (zh) 一种自动驾驶局部规划的评估方法、电子设备和存储介质
CN115628747A (zh) 车道线语义地图的更新方法、路径规划方法及车载设备
CN114419190A (zh) 一种栅格地图视觉指引线生成方法及装置
CN117657203A (zh) 自动驾驶车辆的自动驾驶方法、电子设备及存储介质
CN115809633A (zh) 端口位置确定方法、装置、电子设备和可读存储介质
CN116164766A (zh) 一种生成路网的方法、装置及电子设备
CN114240976A (zh) 一种地图迭代切分方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220725

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221116

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R150 Certificate of patent or registration of utility model

Ref document number: 7227867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150