JP2022520522A - 物体認識方法及び装置、記憶媒体並びにコンピュータプログラム - Google Patents

物体認識方法及び装置、記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022520522A
JP2022520522A JP2021541127A JP2021541127A JP2022520522A JP 2022520522 A JP2022520522 A JP 2022520522A JP 2021541127 A JP2021541127 A JP 2021541127A JP 2021541127 A JP2021541127 A JP 2021541127A JP 2022520522 A JP2022520522 A JP 2022520522A
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
target
recognized
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021541127A
Other languages
English (en)
Inventor
新革 祝
泰 王
▲ヤン▼ ▲許▼
建萍 石
▲達▼▲華▼ 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2022520522A publication Critical patent/JP2022520522A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、物体認識方法及び装置、記憶媒体並びにコンピュータプログラムを提供する。前記方法は、認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップとを含む。前記認識結果は、少なくとも前記目標種別を含む。【選択図】図1

Description

<関連出願の相互引用>
本発明は、2020年1月15日に提出された、出願番号が202010043515.5であり、発明名称が「物体認識方法及び装置、記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
本発明は、コンピュータビジョン技術分野に関し、具体的に物体認識方法及び装置、記憶媒体並びにコンピュータプログラムに関する。
現在の物体認識方法は、単一種別の物体の認識に着目することがほとんどであり、複数種別の物体の認識に対する探索が少なく、特にポイントクラウドデータに関する探索が少ない。ポイントクラウドデータが幾つかの独特の特徴及び制限を有し、例えばテクスチャ及び色がないため、複数種別の物体の認識を困難にしている。
第1態様において、本発明の実施例は、物体認識方法を提供する。
前記方法は、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップと、を含む。前記認識結果は、少なくとも前記目標種別を含む。
好ましくは、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含み、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。
好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定するステップは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含む。
好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記認識すべき物体の認識結果を取得する前に、前記方法は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、前記複数の目標平面のうちの2つずつの平面は、互いに垂直である。
好ましくは、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得することと、
前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含む。
好ましくは、前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得することを含む。
好ましくは、複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含む。
好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。
第2態様において、本発明の実施例は、物体認識装置を提供する。前記装置は、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第1特定モジュールと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第2特定モジュールと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュールと、を備え、前記認識結果は、少なくとも前記目標種別を含む。
好ましくは、前記第1特定モジュールは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得し、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。
好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、
前記認識モジュールは、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。
好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記装置は、トレーニングモジュールを更に備え、
トレーニングモジュールは、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得する。前記複数の目標平面のうちの2つずつの平面は、互いに垂直である。
好ましくは、前記トレーニングモジュールは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得し、
前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定する。
好ましくは、前記トレーニングモジュールは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得する。
好ましくは、前記トレーニングモジュールは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得する。
好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。
第3態様において、本発明の実施例は、物体認識装置を提供する。前記装置は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。
第4態様において、本発明の実施例は、記憶媒体を提供する。前記記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。
第5態様において、本発明の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。
本発明に係る実施例では、処理すべきポイントクラウドデータを認識する前に、先に処理すべきポイントクラウドデータを処理して目標ポイントクラウドデータを取得することにより、認識過程におけるポイントクラウドのスパース性及びポイントクラウドにおけるノイズによる影響を低減する。また、認識すべき物体の目標特徴と組み合わせて、認識すべき物体の属する種別を判別することにより、認識すべき物体が複数の種別のうちのどの種別に属するかを特定可能である。即ち、複数の種別の物体を認識することにより、認識すべき物体の属する種別を特定することができる。
本発明の実施例に係る物体認識方法の実施フローの模式図である。 本発明の実施例に係る形状表現(shape representation)の抽出過程の模式図である。 本発明の実施例に係るポイントクラウドデータに基づく物体認識ニューラルネットワークのアーキテクチャの模式図である。 本発明の実施例に係る物体認識装置の構成の構造模式図である。
本発明の実施例がより良好に当業者に理解されるように、以下では、図面を組み合わせて本発明の実施例を明瞭に記述する。明らかに、記述される実施例は、単に本発明の一部の実施例に過ぎず、全部の実施例ではない。
本発明における用語「第1」、「第2」及び「第3」等は、類似する対象を区分するために用いられ、特定の順番や前後順を記述するとは限らない。また、用語「含む」と「備える」及びそれらの如何なる変形も、非排他的な含有、例えば、一連のステップ若しくは手段をカバーすることを意図する。方法、システム、製品若しくは機器は、それらのステップや手段を明確に挙げるとは限らず、明確に挙げられていないもの、或いはこれらの方法、システム、製品若しくは機器固有の他のステップや手段を含んでもよい。
本発明の実施例は、物体認識方法を提供する。この物体認識方法は、端末機器、サーバ又は他の電子機器に適用可能である。端末機器は、ユーザ機器(UE、User Equipment)、モバイル機器、携帯電話、コードレス電話、パーソナルデジタルアシスタント(PDA、Personal Digital Assistant)、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器等であってもよい。幾つかの可能な実現方式において、当該方法は、プロセッサがメモリに記憶されたコンピュータ可読指令を呼び出すことによって実施され得る。図1に示すように、前記方法は、主に以下のステップを含む。
ステップS11では、処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得する。前記処理すべきポイントクラウドデータは、認識すべき物体のポイントクラウドデータを含む。
ステップS12では、前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定する。
ステップS13では、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得する。前記認識結果は、少なくとも前記目標種別を含む。
本実施例において、前記処理すべきポイントクラウドデータは、収集された物体の外観表面の少なくとも一部の点のデータセットである。
本実施例において、処理すべきポイントクラウドデータの取得方式について限定しない。例えば、処理すべきポイントクラウドデータは、レーダを介して収集され得る。更に例えば、処理すべきポイントクラウドデータは、測定機器を介して収集され得る。
本実施例において、認識すべき物体の種類について限定しない。例えば、前記認識すべき物体は、車両を含む。前記車両は、具体的にトラック、バス、乗用車、バイク、自転車等であってもよい。前記認識すべき物体は、建物、例えば、ビルを更に含んでもよく、前記認識すべき物体は、通行人を更に含んでもよい。
本実施例において、前記目標特徴は、少なくとも高レベル特徴を含む。例えば、前記高レベル特徴は、種別情報を少なくとも含有する語義特徴を含む。本実施例において、前記目標特徴は、低レベル特徴を更に含んでもよく、例えば、前記低レベル特徴は、形状特徴及び/又はテクスチャ特徴を含む。
本実施例において、前記目標種別は、物体の実の種別であってもよい。例えば、認識すべき物体がトラックである場合に、対応する目標種別は、トラックとなる。認識すべき物体が乗用車である場合に、対応する目標種別は、乗用車となる。認識すべき物体が貨物車である場合に、対応する目標種別は、貨物車となる。無論、前記目標種別は、ユーザ(例えば、データ保守員)にカスタマイズされた種別であってもよい。例えば、目標種別は、大型車両、中型車両及び小型車両を含む。認識すべき物体がトラックである場合に、当該トラックに対応する目標種別は、大型車両となる。認識すべき物体が乗用車である場合に、当該乗用車に対応する目標種別は、小型車両となる。認識すべき物体が貨物車である場合に、当該貨物車に対応する目標種別は、中型車両となる。
本発明の実施例は、各種の物体検出タスクに適用可能である。検出場面について限定しない。例えば、検出場面は、環境感知場面、補助運転場面、追跡場面等を含む。
本発明に係る実施例では、処理すべきポイントクラウドデータを認識する前に、先に処理すべきポイントクラウドデータを処理して目標ポイントクラウドデータを取得することにより、認識過程におけるポイントクラウドのスパース性(sparsity)及びポイントクラウドにおけるノイズによる影響を低減する。また、認識すべき物体の目標特徴と組み合わせて、認識すべき物体の属する種別を判別することにより、認識すべき物体が複数の種別のうちのどの種別に属するかを特定可能である。即ち、複数の種別の物体を認識することにより、認識すべき物体の属する種別を特定することができる。
収集されたポイントクラウドデータが単に幾つかの独立する離散点であり、これらの離散点が一般的に三次元空間座標で示され、その際のポイントクラウドデータが構造化情報(例えば、相対的な位置情報)を含有しないため、本発明では、取得された処理すべきポイントクラウドデータを認識する前に、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得し、前記目標ポイントクラウドデータが構造化情報を含有する。幾つかの実施形態において、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得することは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含んでもよい。
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。
本実施例では、目標幾何体の種別について限定しない。例えば、前記目標幾何体は、円柱体、直方体、長方体又は球体等であってもよい。
本実施例では、目標幾何体の大きさについて限定しない。前記大きさは、需要、例えば、時間需要又は精度需要に応じて設定や調整されてもよい。
本実施例において、前記目標ステップ幅は、例えば時間需要又は精度需要に応じて設定や調整されてもよい。
幾つかの実施形態において、目標幾何体の前記処理すべきポイントクラウドデータ上の移動の方式によって前記処理すべきポイントクラウドデータに対する走査を完了し、且つ前記目標幾何体の移動中に、前記目標幾何体のカバーするポイントクラウドデータを重複せずに抽出し、抽出された前記目標幾何体のカバーするポイントクラウドデータに基づいて、位置情報を含む目標ポイントクラウドデータを取得する。
処理すべきポイントクラウドデータがM個の点を含み、各点の座標が(X、Y、Z)であると仮定する。目標ポイントクラウドデータにおける点の表現は、W×H×N×(X、Y、Z)の形態となり、Nは、各目標幾何体にN個の点があることを示し、W×Hは、予め設定されたポイントクラウドの範囲を示し、Nは、一般的に需要、例えば精度需要に応じて設定や調整されてもよい。例示的に、予め設定されたポイントクラウドの範囲が100メートル×100メートルであり、N=16、目標幾何体の大きさが0.5メートル×0.5メートルである場合に、目標ポイントクラウドデータにおける点の表現は、100メートル×100メートル×16×(X、Y、Z)の形態となる。100メートル/0.5メートル=200であるため、目標幾何体で当該予め設定されたポイントクラウドの範囲を走査した後、得られた目標ポイントクラウドデータにおける点の個数は、200×200×16となり、目標ポイントクラウドデータにおける点が位置情報を有することができ、引き続き目標特徴を特定するのに便利になる。目標幾何体に含まれる点の個数が固定であり、処理すべきポイントクラウドデータから目標ポイントクラウドデータを特定する過程において点の数を減少可能であるため、引き続き目標特徴を特定する速度を向上させることに有利になる。
これにより、処理すべきポイントクラウドデータにおける独立する離散点に対して、本発明では、目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることで、位置情報を含む目標ポイントクラウドデータを取得し、構造情報を有さない処理すべきポイントクラウドデータを、構造情報を含む目標ポイントクラウドデータとして表すことができ、より正確な語義特徴の取得に有利になり、物体認識の正確率が更に向上する。
車両認識場面を例とすると、異なる車種の車両が異なる頭部形状を有するため、物体の頭部を認識することにより、物体の属する種別を特定することができる。したがって、幾つかの実施例において、異なる種別に属する物体は、異なる頭部形状を有し、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含んでもよい。
このように、認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を照合する方式で、認識すべき物体の属する種別を特定することは、認識すべき物体の全ての特徴を分析して認識すべき物体の属する種別を特定することよりも、認識効率を向上させることができる。
以下では、本発明の物体認識の方案で用いられるニューラルネットワークのトレーニング方法について詳細に記述する。
物体認識結果がより正確になるように、ニューラルネットワーク学習及びトレーニング過程において物体の形状特徴を考慮する。幾つかの実施例において、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記認識すべき物体の認識結果を取得する前に、前記方法は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、前記複数の目標平面のうちの2つずつの平面は、互いに垂直である。
本実施例において、前記目標平面は、二次元平面である。例えば、前記二次元平面は、認識すべき物体の正面図の所在する平面を含み、認識すべき物体の側面図の所在する平面を更に含んでもよく、認識すべき物体の平面図の所在する平面を更に含んでもよい。
このように、複数の目標平面にマッピングされた目標サンプルポイントクラウドデータに対応する形状情報により、認識すべき物体を示し、認識すべき物体の1種の形状表現が与えられ、当該複数の形状情報及びトレーニングサンプルにおける形状マーク結果によってニューラルネットワークのトレーニングを監視することに寄与するため、トレーニング済のニューラルネットワークは、複数種類の物体を認識可能であり、且つ認識結果はより正確になる。
説明すべきことは、実際の応用過程において、同一の物体の異なる面から見られる形状が異なる可能性がある。例えば、物体の前面から後面へ投写して得られた図は、正面図と呼称され、当該正面図は、物体の前面形状を反映可能である。物体の左面から右面へ投写して得られた図は、左側面図(側面図)と呼称され、当該左側面図は、物体の左面形状を反映可能である。物体の上面から下面へ投写して得られた図は、平面図と呼称され、当該平面図は、物体の上面形状を反映可能である。物体の形状をより全面的且つ完全に示すために、3つの目標平面を選択して点のマッピングを行うことは、一般的である。例えば、これら3つの目標平面は、それぞれ正面図の所在する平面、側面図の所在する平面及び平面図の所在する平面であってもよい。
認識過程におけるポイントクラウドのスパース性及びポイントクラウドにおけるノイズによる影響を低減するために、ポイントクラウドデータを補完する必要がある。1種の実現方式として、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得することは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得することと、
前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含んでもよい。
このように、ポイントクラウドデータに対して補完処理を行うことにより、収集された同一の物体に係るポイントクラウドデータが少ない、又は不完全であるという問題を補い、より多くのポイントクラウドデータを取得可能であるため、物体形状についてより正確に表すことに有利になり、更にトレーニングすべきニューラルネットワークの汎化能力の促進に寄与する。
物体が一般的に中心対称性を有することに鑑みて、1種の実施形態として、前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得することを含んでもよい。
幾つかの例において、前記認識すべき物体に対応する形状の中心を座標原点に位置合わせするとともに、前記認識すべき物体を回転し、前記認識すべき物体の進行方向をy軸とし、垂直方向をx軸として、前記認識すべき物体の1つの点(例えば、Q点)の座標(x1、y1、z1)を特定し、認識すべき物体自身の中心を原点とする座標系を基に、中心対称を採用して第1ポイントクラウドデータにおけるQ点を補完し、Q点の対称点Q’の座標(x1’、y1’、z1’)を取得する。即ち、第1ポイントクラウドデータは、Q点(x1,y1,z1)を含み、第2ポイントクラウドデータは、Q点(x1,y1,z1)及びその対称点Q’(x1’,y1’,z1’)を含む。
このように、レーダが物体表面の点を収集するときに多くとも3つの面までしか走査できないため、ここで、中心対称で点を補完することにより、サンプルポイントクラウドデータに対して補完処理を快速に実施可能であるとともに、サンプルポイントクラウドデータのスパース問題を補うことができる。
理解できるように、各認識すべき物体は、対応する1つの中心を有する。認識すべき物体同士は、互いに独立する。つまり、各認識すべき物体は、独立であり、自身の中心を原点とする座標系へそれぞれ変換される。
このように、サンプルポイントクラウドデータを、認識すべき物体自身の中心を原点とする座標系へ変換可能であり、後段のデータ処理を便利にさせる。
物体の形状情報を効果的且つ簡潔に示すために、一実施形態において、前記複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得することは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含んでもよい。
幾つかの例において、各目標平面における点の分布状況に応じて、凸包(convex hull)で各目標平面における外周点を枠に入れ、物体の形状の表現を得る。更に、凸包をより良好に表すために、角-半径関数を導入し、角-半径関数を用いて凸包を表す。具体的には、物体枠の中心を原点とし、目標ステップ幅で複数本の半直線を発することと、原点と半直線及び凸包の交点との間の距離を半径とし、角-半径関数を得ることとを含む。ここで、上記物体枠は、サンプルポイントクラウドデータに基づいてマークされた物体のボックスである。目標ステップ幅は、例えば、1°であってもよい。即ち、隣接する2本の半直線の間の角度が1°である。そうすると、360本の半直線は、発される。無論、理解できるように、目標ステップ幅が需要例えば精度需要に応じて設定や調整されてもよいため、半直線の数も調整可能である。例えば、目標ステップ幅が2°であり、即ち、隣接する2本の半直線の間の角度が2°である場合に、180本の半直線は、発される。更に例えば、目標ステップ幅が4°であり、即ち、隣接する2本の半直線の間の角度が4°である場合に、90本の半直線は、発される。
上記得られた形状の表現に対して効果的且つ簡潔的に圧縮するために、幾つかの例において、前記角-半径関数に基づいてチェビシェフフィッティング関数を確立し、前記チェビシェフフィッティング関数の先頭3つの係数を特定し、前記先頭3つの係数を目標平面の形状表現に代入して各物体の形状表現を取得する。このように、効果的且つ簡潔的な形状表現は取得可能であり、認識効率の向上に有利になる。
物体の形状をより良好に認識するために、幾つかの実施例において、形状に関する教師信号を導入し、トレーニング前に、トレーニングサンプルにおけるサンプルポイントクラウドデータの形状表現を抽出する。
幾つかの実施例において、図2に示すように、前記サンプルポイントクラウドデータの形状表現を抽出する。図2は、1つの認識すべき物体を例とし、即ち、1つの認識すべき物体に対応する物体枠を例として、全実施過程について説明する。具体的な実施過程は、以下のステップを含んでもよい。
ステップAでは、サンプルポイントクラウドデータに基づいて前記サンプルポイントクラウドデータに含まれる複数の物体枠を特定し、前記複数の物体枠のうちの各物体枠における点を座標系にマッピングし、各物体枠の第1座標を取得する。
前記複数の物体枠のうちの各物体枠における点を座標系にマッピングし、各物体枠の第1座標を取得することは、
物体枠の中心を座標原点に位置合わせするとともに、物体を回転して、物体の進行方向をy軸とし、垂直方向をx軸とすることを含んでもよい。
ここで、物体枠は、トレーニング前に予めマークされたものである。
ここで、前記座標原点は、前記物体枠の中心である。
理解できるように、各物体枠は、対応する1つの中心を有する。物体同士は、互いに独立する。つまり、各物体は、独立であり、自身の中心を原点とする座標系へそれぞれ変換される。
このように、ワールド座標系のポイントクラウドデータを、物体枠自身の中心を原点とする座標系へ変換可能であり、後段のデータ処理を便利にさせる。
ステップBでは、前記第1座標に対応する第1ポイントクラウドデータに対して対称処理を行い、第2座標に対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータは、前記第1ポイントクラウドデータを含む。
前記第1座標に対応する第1ポイントクラウドデータに対して対称処理を行い、第2座標に対応する第2ポイントクラウドデータを取得することは、
各物体枠の中心を対称中心とし、前記第1座標に対応する第1ポイントクラウドデータに対して対称処理を行い、前記第1座標に対応する第2座標の第2ポイントクラウドデータを取得することを含んでもよい。
このように、中心対称の処理方式を用いて点を補完し、ポイントクラウドのスパース問題を補う。
ステップCでは、前記第2ポイントクラウドデータ、即ち、目標サンプルポイントクラウドデータを三面図に投影し、三面図の表現を得る。前記三面図は、正面図、平面図及び側面図を含んでもよい。
本実施例において、ステップCにより、三次元空間における目標サンプルポイントクラウドデータを三面図にマッピング可能であるため、3つの二次元図の表現を得る。
ステップDでは、凸包によって各物体枠の三面図の形状を抽出し、各物体枠の形状表現を得る。
本実施例において、ステップDの前に取得されたのが離散点であり、且つポイントクラウドの内部にスパースや空洞が存在することが多く、ステップDにおいて凸包を導入して各ビューにおける形状を抽出して離散点の外周を枠に入れることにより、内部スパースの問題を補うとともに、後段の特徴表しにも有利になる。
本実施例において、凸包をより良好に表すために、角-半径関数を導入する。
ステップEでは、各物体枠の中心を座標原点とし、360本の半直線を発し、1度ずつ1本の半直線を発し、座標原点と半直線及び凸包の交点との間の距離を半径として、角-半径関数を得る。
無論、理解できるように、半直線の本数は、需要例えば精度需要に応じて設定や調整されてもよい。例えば、180本の半直線を発してもよく、隣接する2本の半直線の間の角度が2°である。更に例えば、90本の半直線を発してもよく、隣接する2本の半直線の間の角度が4°である。
ステップFでは、前記角-半径関数に基づいてチェビシェフフィッティング関数を確立し、前記チェビシェフフィッティング関数の先頭3つの係数を特定し、前記先頭3つの係数を前記三面図の表現に代入し、各物体枠の形状表現を得る。前記形状表現は、三面図のうちの正面図の3つの形状表現、三面図のうちの平面図の3つの形状表現、及び三面図のうちの側面図の3つの形状表現を含む。
本実施例において、チェビシェフフィッティング関数から無限個の係数が得られるため、上記ステップEにおいて得られた形状表現に対して効果的且つ簡潔的な圧縮を行うために、本発明では、先頭3つの係数のみを選択し、最終的に1つの9次元の形状表現を取得する。
チェビシェフフィッティングの定義は、下記のようになる。
Figure 2022520522000002
xは、引数であり、Tは、チェビシェフ数式を示す。
チェビシェフフィッティングの定義を基に、1つの汎用的な数式として定義する。
Figure 2022520522000003
最後に、本発明で算出されるチェビシェフフィッティングの係数は、下記のようになる。
Figure 2022520522000004
幾つかの実施形態において、角度をチェビシェフ中のxとし、半径をチェビシェフ中のTとし、チェビシェフ関数を確立し、数式(5)に基づいて係数αを取得し、数式(6)に基づいて係数α及びαを取得し、α、α及びαを三面図における各ビューの表現とし、最終的に合計で1つの9次元の形状表現を取得する。
上記A~Fの6つのステップにより、1つのロバスト且つ効果的な形状表現は、取得することができる。
図3は、本発明の実施例に係るポイントクラウドデータに基づく物体認識ニューラルネットワークのアーキテクチャの模式図である。図3に示すように、全アーキテクチャは、以下の4つの部分に区分される。
第1部分では、収集されたオリジナルポイントクラウドデータを処理することにより、ポイントクラウドデータの構造化表現を取得する。即ち、オリジナルポイントクラウドデータには、ポイントクラウドデータにおける複数の点の間の相対位置関係が追加される。換言すれば、処理すべきポイントクラウドデータを目標ポイントクラウドデータに変換する。
第2部分では、前記構造化表現に基づいて、前記ポイントクラウドデータの高レベル特徴及び低レベル特徴を特定する。前記高レベル特徴は、種別情報を少なくとも含有する語義特徴を含み、前記低レベル特徴は、形状特徴及び/又はテクスチャ特徴を含む。即ち、前記目標ポイントクラウドデータに基づいて目標特徴を特定する。前記第2部分は、畳み込みニューラルネットワークにて実現され得る。
第3部分では、前記高レベル特徴及び前記低レベル特徴に基づいて物体認識を行い、前記ポイントクラウドデータに含まれる各物体の認識結果を取得する。前記認識結果は、形状、位置及び種別を含む。即ち、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得する。例えば、認識すべき物体の頭部形状と複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。前記第3部分は、形状クラスタリングに基づく多分岐物体識別器にて実現されてもよく、前記多分岐物体識別器は、異なる形状の物体を異なるブランチに送り込んでもよく、各ブランチが1つの種別に対応する。
第4部分は、物体認識ニューラルネットワークの教師信号であり、当該教師信号は、合計で物体の種別、位置及び形状表現という3種の教師信号を含み、物体認識ニューラルネットワークのロス関数は、種別ロスと位置ロスと形状ロスとの合計を含む。
本実施例において、上記形状表現とは、物体の形状表現を指す。理解できるように、異なる種別の物体は、対応する形状が異なり、更に対応する形状表現も異なる。例えば、通行人と自動車との形状表現は、異なる。更に例えば、トラックと乗用車との形状表現は、異なる。
本実施例において、上記位置とは、物体の所在する位置を指す。理解できるように、前記位置は、空間座標(X、Y、Z)で表されてもよい。例えば、物体1の位置は、(X1、Y1、Z1)であり、物体2の位置は、(X2、Y2、Z2)であり、物体nの位置は、(Xn、Yn、Zn)である。
本実施例において、上記種別とは、物体の種別を指す。理解できるように、前記種別は、複数の大種別を含み、各大種別は、複数の小種別を含んでもよい。例示的に、前記種別は、通行人、車両、建物等を含み、前記車両は、乗用車、トラック等の小種別に大別される。説明すべきことは、種別を具体的に如何に区分及び細分するかは、需要、例えば、精度要求、時間要求等に応じて設定や調整されてもよい。
本発明の実施例は、各種の物体検出タスクに適用可能であり、検出場面について限定しない。例えば、検出場面は、環境感知場面、補助運転場面、追跡場面等を含む。
最後に、ロス関数に基づいて、第1部分、第2部分及び第3部分という3つのネットワーク構成部分のパラメータを調節することにより、種別ロスと位置ロスと形状ロスとの合計を最小にする。
本実施例において、物体認識ニューラルネットワークの学習及びトレーニングの時に異なる種別の物体の形状が明らかな相違を有することを考慮し、形状情報をネットワークの教師信号に組み込んで、物体認識ニューラルネットワークの学習及びトレーニングを指導し、トレーニングされたニューラルネットワークが複数種の物体を認識する能力を持たせ、より良好な検出効果を得る。図3に示す物体認識ニューラルネットワークのアーキテクチャが単に例示であり、当業者が図3の例に基づいて種々な自明な変更及び/又は置換を行うことが可能であり、得られた実施例が依然として本発明の実施例の開示範囲に含まれ得ることは、理解されるべきである。
上記物体認識方法に対応し、本発明の実施例は、物体認識装置を提供する。図4に示すように、前記装置であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第1特定モジュール10と、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第2特定モジュール20と、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュール30と、を備え、前記認識結果は、少なくとも前記目標種別を含む。
好ましくは、前記第1特定モジュール10は、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得する。
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。
好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、前記認識モジュール30は、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。
好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記装置は、トレーニングモジュール40を更に備える。
トレーニングモジュール40は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得する。前記複数の目標平面のうちの2つずつの平面は、互いに垂直である。
好ましくは、前記トレーニングモジュール40は、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得し、
前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定する。
好ましくは、前記トレーニングモジュール40は、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得する。
好ましくは、前記トレーニングモジュール40は、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得する。
好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。
図4に示す物体認識装置における各処理モジュールの実現機能は、上記物体認識方法の関連記述を参照して理解され得ることは、当業者に理解されるべきである。図4に示す物体認識装置における各処理モジュールの機能がプロセッサで運転されるプログラムにて実現されてもよく、具体的な論理回路にて実現されてもよいことは、当業者に理解されるべきである。
実際の応用において、上記第1特定モジュール10、第2特定モジュール20、認識モジュール30及びトレーニングモジュール40は、何れもプロセッサに対応可能である。前記プロセッサは、中央処理装置(CPU、Central Processing Unit)、マイクロプロセッサ(MCU、Micro Controller Unit)、デジタル信号プロセッサ(DSP、Digital Signal Processor)或いはプログラマブルロジックデバイス(PLC、Programmable Logic Controller)等の処理機能を有する電子デバイス又は電子デバイスの集合であってもよい。前記プロセッサは、実行可能コードを含み、前記実行可能コードは、記憶媒体に記憶され、前記プロセッサは、バス等の通信インターフェースを介して前記記憶媒体に接続され、具体的な各モジュールの対応する機能を実行するときに、前記実行可能コードを前記記憶媒体から読み取って運転してもよい。前記記憶媒体の前記実行可能コードを記憶するための部分は、非一時的記憶媒体であることが好ましい。
本発明の実施例に係る物体認識装置は、複数種類の物体を認識可能であり、且つ物体認識結果がより正確であり、適用分野がより広くなる。
本発明の実施例は、物体認識装置を更に提供する。前記装置は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに上記何れか1つの実施例に供される物体認識方法を実施させる。
1種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得することと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定することと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得することと、を実施させる。前記認識結果は、少なくとも前記目標種別を含む。
1種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを前記プロセッサに実施させる。
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。
1種の実施形態として、異なる種別に属する物体は、異なる頭部形状を有し、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を前記プロセッサに実施させる。
1種の実施形態として、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記認識すべき物体の認識結果を取得する前に、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得することと、前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得することと、複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得することと、を前記プロセッサに実施させる。前記複数の目標平面のうちの2つずつの平面は、互いに垂直である。
1種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得することと、前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を前記プロセッサに実施させる。
1種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得することを前記プロセッサに実施させる。
1種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを前記プロセッサに実施させる。
1種の実施形態として、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。
本発明の実施例に係る物体認識装置は、複数種類の物体を認識可能であり、且つ物体認識結果がより正確であり、適用分野がより広くなる。
本発明の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体には、コンピュータ実行可能指令/コンピュータプログラムが記憶され、前記コンピュータ実行可能指令は、上記各実施例に記載の物体認識方法を実行するために用いられる。つまり、前記コンピュータ実行可能指令がプロセッサによって実行されたときに、前記プロセッサに上記何れか1つの実施例に供される物体認識方法を実施させ得る。
本発明の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記何れか1つの実施例に供される物体認識方法を実施させる。
本発明の実施例のコンピュータプログラムの機能が上記各実施例に記載の物体認識方法の関連記述を参照して理解され得ることは、当業者に理解されるべきである。
当業者であれば理解できるように、上記方法実施例を実施する全部又は一部のステップは、プログラム指令に関連するハードウェアにて実施され得る。上記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行されたときに、上記方法実施例のステップは実施される。上記記憶媒体は、モバイル記憶機器、読み出し専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種の媒体を含む。
又は、本発明の実施例は、ソフトウェア機能モジュールの形態で実施され且つ独立の製品として販売や使用されるときに、1つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解を基に、本発明の実施例の技術案は、本質上又は従来技術に対して貢献に値する部分が、ソフトウェア製品の形態で体現されてもよい。当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、1台のコンピュータ機器(パソコン、サーバ又はネットワーク機器等であってもよい)が本発明の各実施例に記載方法の全部又は一部を実行するために用いられる幾つかの指令を含む。上記記憶媒体は、モバイル記憶機器、ROM、RAM、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種の媒体を含む。
上述したのは、単に本発明の具体的な実施形態に過ぎない。しかし、本発明の保護範囲は、これに限定されない。本技術分野に精通している如何なる技術者も本発明に開示された技術範囲内で簡単に想到する変化や置換は、何れも本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、添付する請求項の保護範囲に準じるべきである。

Claims (19)

  1. 物体認識方法であって、
    認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、
    前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、
    前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップと、を含み、
    前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識方法。
  2. 前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップは、
    目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含み、
    前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含むことを特徴とする請求項1に記載の物体認識方法。
  3. 異なる種別に属する物体は、異なる頭部形状を有し、
    前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定するステップは、
    前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
    取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含むことを特徴とする請求項1又は2に記載の物体認識方法。
  4. 前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
    前記認識すべき物体の認識結果を取得する前に、前記物体認識方法は、
    前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
    前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
    複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、
    前記複数の目標平面のうちの2つずつの平面は、互いに垂直であることを特徴とする請求項1から3の何れか一項に記載の物体認識方法。
  5. 前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップは、
    前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
    前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得することと、
    前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含むことを特徴とする請求項4に記載の物体認識方法。
  6. 前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得することは、
    前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得することを含むことを特徴とする請求項5に記載の物体認識方法。
  7. 前記複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップは、
    複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含むことを特徴とする請求項4に記載の物体認識方法。
  8. 前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含むことを特徴とする請求項1から7の何れか一項に記載の物体認識方法。
  9. 物体認識装置であって、
    認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第1特定モジュールと、
    前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第2特定モジュールと、
    前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュールと、を備え、
    前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識装置。
  10. 前記第1特定モジュールは、
    目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得し、
    前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含むことを特徴とする請求項9に記載の物体認識装置。
  11. 異なる種別に属する物体は、異なる頭部形状を有し、
    前記認識モジュールは、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することを特徴とする請求項9又は10に記載の物体認識装置。
  12. 前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
    前記物体認識装置は、トレーニングモジュールを更に備え、
    前記トレーニングモジュールは、
    前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
    前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
    複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得し、
    前記複数の目標平面のうちの2つずつの平面は、互いに垂直であることを特徴とする請求項9から11の何れか一項に記載の物体認識装置。
  13. 前記トレーニングモジュールは、
    前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
    前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第1ポイントクラウドデータを取得し、
    前記第1ポイントクラウドデータを補完することで前記第1ポイントクラウドデータに対応する第2ポイントクラウドデータを取得し、前記第2ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することを特徴とする請求項12に記載の物体認識装置。
  14. 前記トレーニングモジュールは、
    前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第1ポイントクラウドデータを補完することで前記第2ポイントクラウドデータを取得することを特徴とする請求項13に記載の物体認識装置。
  15. 前記トレーニングモジュールは、
    複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを特徴とする請求項12に記載の物体認識装置。
  16. 前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含むことを特徴とする請求項9から15の何れか一項に記載の物体認識装置。
  17. 物体認識装置であって、
    メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサで運転され得るコンピュータプログラムと、を含み、
    前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに請求項1から8の何れか一項に記載の物体認識方法を実施させることを特徴とする物体認識装置。
  18. コンピュータプログラムが記憶される記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項1から8の何れか一項に記載の物体認識方法を実施させることを特徴とする記憶媒体。
  19. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項1から8の何れか一項に記載の物体認識方法を実行させることを特徴とするコンピュータプログラム。
JP2021541127A 2020-01-15 2020-11-04 物体認識方法及び装置、記憶媒体並びにコンピュータプログラム Pending JP2022520522A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010043515.5A CN111259958B (zh) 2020-01-15 2020-01-15 物体识别方法及装置、存储介质
CN202010043515.5 2020-01-15
PCT/CN2020/126485 WO2021143297A1 (zh) 2020-01-15 2020-11-04 物体识别方法及装置、存储介质和计算机程序

Publications (1)

Publication Number Publication Date
JP2022520522A true JP2022520522A (ja) 2022-03-31

Family

ID=70950621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541127A Pending JP2022520522A (ja) 2020-01-15 2020-11-04 物体認識方法及び装置、記憶媒体並びにコンピュータプログラム

Country Status (4)

Country Link
US (1) US20220222922A1 (ja)
JP (1) JP2022520522A (ja)
CN (1) CN111259958B (ja)
WO (1) WO2021143297A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259958B (zh) * 2020-01-15 2024-04-16 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质
CN112906519B (zh) * 2021-02-04 2023-09-26 北京邮电大学 一种车辆类型识别方法及装置
CN115321090B (zh) * 2022-10-17 2023-01-13 中国民航大学 机场行李自动接取方法、装置、设备、系统及介质
CN116758533B (zh) * 2023-06-02 2024-04-09 广东光速智能设备有限公司 塔吊吊物类型识别的方法、装置、终端及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
US20150003723A1 (en) * 2013-06-27 2015-01-01 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud
JP2019191908A (ja) * 2018-04-25 2019-10-31 田中 成典 対象物認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
CN105740798B (zh) * 2016-01-27 2019-07-23 西安理工大学 一种基于结构分析的点云场景物体识别方法
CN106127153B (zh) * 2016-06-24 2019-03-05 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106250881A (zh) * 2016-08-25 2016-12-21 深圳大学 一种基于三维点云数据的目标识别方法及系统
CN106846272A (zh) * 2017-01-18 2017-06-13 西安工程大学 一种点云模型的去噪精简方法
CN107316048B (zh) * 2017-05-03 2020-08-28 深圳市速腾聚创科技有限公司 点云分类方法及装置
FR3067495B1 (fr) * 2017-06-08 2019-07-05 Renault S.A.S Procede et systeme d'identification d'au moins un objet en deplacement
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN109558838B (zh) * 2018-11-29 2021-02-02 北京经纬恒润科技股份有限公司 一种物体识别方法及系统
CN111259958B (zh) * 2020-01-15 2024-04-16 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
US20150003723A1 (en) * 2013-06-27 2015-01-01 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud
JP2019191908A (ja) * 2018-04-25 2019-10-31 田中 成典 対象物認識装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XU ZEWEI ET AL.: "Vehicle Recognition and Classification Method Based on Laser Scanning Point Cloud Data", 2015 INTERNATIONAL CONFERENCE ON TRANSPORTATION INFORMATION AND SAFETY (ICTIS), JPN6022032560, 28 June 2015 (2015-06-28), US, ISSN: 0004842429 *
伊東 聖矢 外3名: "ポイントクラウドを入力とした物体認識と形状補完ネットワークの提案", 電子情報通信学会技術研究報告, vol. 第117巻 第392号, JPN6022032558, 11 January 2018 (2018-01-11), JP, pages 325 - 328, ISSN: 0005001350 *
池城 和夫 外1名: "人体パーツマッチングと時系列姿勢情報を用いたオクルージョン領域を含む人体の形状復元手法", 画像電子学会誌 VOL.45 NO.1 2016 [CD−ROM], vol. 第45巻 第1号, JPN6022032557, 30 January 2016 (2016-01-30), JP, pages 84 - 97, ISSN: 0005001349 *

Also Published As

Publication number Publication date
WO2021143297A1 (zh) 2021-07-22
CN111259958B (zh) 2024-04-16
US20220222922A1 (en) 2022-07-14
CN111259958A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP2022520522A (ja) 物体認識方法及び装置、記憶媒体並びにコンピュータプログラム
EP3505962B1 (en) Method and apparatus for processing point cloud data
US11017244B2 (en) Obstacle type recognizing method and apparatus, device and storage medium
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
CN113156421A (zh) 基于毫米波雷达和摄像头信息融合的障碍物检测方法
JP5822255B2 (ja) 対象物識別装置及びプログラム
WO2022033076A1 (zh) 目标检测方法、装置、设备、存储介质及程序产品
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113412505A (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的系统和方法
CN108765584B (zh) 激光点云数据集增广方法、装置及可读存储介质
WO2020237516A1 (zh) 点云的处理方法、设备和计算机可读存储介质
WO2022148143A1 (zh) 一种目标检测方法及装置
CN112613378A (zh) 3d目标检测方法、系统、介质及终端
CN114820463A (zh) 点云检测和分割方法、装置,以及,电子设备
CN112287859A (zh) 物体识别方法、装置和系统,计算机可读存储介质
CN109658523B (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN114495026A (zh) 一种激光雷达识别方法、装置、电子设备和存储介质
CN112395962A (zh) 数据增广方法及装置、物体识别方法及系统
KR20200087354A (ko) 자율주행용 데이터 라벨링 장치 및 방법
Liu et al. Vehicle-related distance estimation using customized YOLOv7
Wang et al. Acmarker: Acoustic camera-based fiducial marker system in underwater environment
JP7034746B2 (ja) 特徴表現装置、それを含む認識システム、及び特徴表現プログラム
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228