JP2019149149A - 点群データを復旧するための方法及び装置 - Google Patents

点群データを復旧するための方法及び装置 Download PDF

Info

Publication number
JP2019149149A
JP2019149149A JP2018247307A JP2018247307A JP2019149149A JP 2019149149 A JP2019149149 A JP 2019149149A JP 2018247307 A JP2018247307 A JP 2018247307A JP 2018247307 A JP2018247307 A JP 2018247307A JP 2019149149 A JP2019149149 A JP 2019149149A
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
image
data frame
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018247307A
Other languages
English (en)
Other versions
JP6745328B2 (ja
Inventor
閻ミャオ
Miao Yan
湛逸飛
Yifei Zhan
周旺
Wang Zhou
段雄
Xiong Duan
朗咸朋
Xian Peng Lang
馬常杰
Changjie Ma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2019149149A publication Critical patent/JP2019149149A/ja
Application granted granted Critical
Publication of JP6745328B2 publication Critical patent/JP6745328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】構築されたモデルを利用して精度と普遍性を向上させる点群データを復旧するための方法及び装置を提供する。【解決手段】第１の点群データフレームに関連付けられた２Ｄ画像を取得し、２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを点群データセットに分割し、各点群データセットに対して、２Ｄ画像から第１の点群データフレームとのマッチング画像を確定し、マッチング画像はデータの採集位置及び／又は時間においてマッチングされ、第１の点群データフレームとそれに関連付けられた第２の点群データフレームに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定し、ピクセルポイントの２Ｄ位置と３Ｄ位置データをトレーニングモデルのトレーニング入力及び出力データとして、深層学習ネットワークを通じて、その点群データセットの対応する物体のための点群データ復旧モデルを生成する。【選択図】図２

Description

本開示は、点群データ処理技術分野に関するもので、より具体的に、点群データを復旧するための方法及び装置に関するものである。
点群データ（Ｐｏｉｎｔ Ｃｌｏｕｄ）は、各種の業界における３次元（３Ｄ）再構築のアプリケーションに広く使用されている。点群データは、３Ｄ場面の３Ｄ座標系におけるポイントデータを記述する集合である。通常、点群データにおけるポイントデータは、物体の外表面を特性付ける。レーザー測定または写真測量の原理（principle of laser measuring or photographic surveying）に基づいて、物体表面の各サンプリングポイントの空間座標を採集することにより、ポイントデータのセット（「点群データ」と呼ばれる）を取得することができる。
しかしながら、採集過程における遮蔽又は遠距離により、点群データにホール（ｈｏｌｅ）、または疎らになりすぎることが現われ、目標物体の抽出と分割に不利となる。したがって、点群データの復旧が早急に解決することが望まれる問題の一つになる。
本開示の例示的実施形態によれば、点群データを復旧するための方法を提供する。
第１の局面として、点群データ復旧モデルを生成するための方法を提供する。前記方法は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定し、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するステップとを含む。
第２の局面として、点群データを復旧するための方法を提供する。前記方法は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うステップとを含む。
第三の局面として、点群データ復旧モデルを生成するための装置を提供する。前記装置は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールとを備える。
第四の局面として、点群データを復旧するための装置を提供する。前記装置は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に応じて前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットについて、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定する画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、各点群データセットについて、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれの復旧を行うように構成された点群復旧モジュールとを備える。
第五の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第１の局面の方法が実現される装置を提供する。
第六の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第２の局面の方法を実現する装置を提供する。
第七の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
第八の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第２の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
発明の内容の部分で説明した内容は、本開示に係る実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本開示の範囲を限定するためのものではないことを理解されたい。本開示の他の特徴は、下の説明により理解が容易になる。
本開示の各実施形態の上記及び他の特徴、利点及び局面は、図面に合わせて下記の詳細な説明を参照することにより、より明らかになる。図面において、同一又は類似の符号は、同一又は類似の要素を示すものとする。
図１は、本開示に係る実施形態が実施される例示的環境の概略図を示す。 図２は、本開示の実施形態に係る点群データ復旧モデルを生成するための方法のフローチャートを示す。 図３は、本開示の実施形態に係る点群データを分割するための方法のフローチャートを示す。 図４は、本開示の実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法のフローチャートを示す。 図５は、本開示の実施形態に係る点群データを復旧するための方法のフローチャートを示す。 図６は、本開示の実施形態に係る点群データ復旧モデルを生成するための装置の概略ブロック図を示す。 図７は、本開示の実施形態に係る点群データを復旧するための装置の概略ブロック図を示す。 図８は、本開示の実施形態を実施することができるコンピューティングデバイスのブロック図を示す。
以下、説明の詳細を参照しながら本開示の実施形態をより詳細に述べる。添付図面には、本開示に係る一部の実施形態が示され、本開示はさまざまな形態によって実現することができるが、ここで述べた実施例に限定されるものではなく、逆にこれらの実施形態の提供は本開示に係る実施形態を確実にかつより全面的に理解するためのものであることを理解されるべきである。本開示における図面又は実施形態は例示的なものであり、本開示の保護範囲を限定するためのものではない。
本開示に係る実施形態の説明において、用語「含む」及び類似の用語は、開放的な「含む」と理解されるべきである。つまり、「．．．を含むが、これらに限定されない」と理解されるべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解されるべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるまたは同じ対象物を示すことができる。以下、他の明確な定義と暗黙的定義を含める可能性もある。
上述したように、採集過程で遮蔽又は遠距離により、点群データは、ホール（ｈｏｌｅ）が現れ、または疎らになりすぎるため、目標物体の抽出と分割に不利となる。既知の従来の方法では、通常、点群データ自体に基づいて、一定の範囲内で線形補間を行い、点群データの復旧を実現するようにしている。一部の技術において、２Ｄ画像と点群データとの関係に基づいて、２Ｄ画像におけるピクセルポイントの２Ｄ座標に対して幾何的な関係により、ピクセルポイントの３Ｄ位置を推測するようにしている。しかしながら、これらの従来技術において、いずれも点群データ上直接フィッティング、補間などのような方法を利用しており、精確性と普遍性を確保することができなかった。
本開示に係る実施形態の基本的な思想は、同じ場面に関する大規模の画像データと点群データの助けを借りて、深層学習ネットワークに対してトレーニングを行い、点群データ復旧モデルを生成し、点群データ復旧モデルを使用して点群データの復旧を実現することである。点群データ復旧は、モデリングとの方法を使用して実現するため、方法の普遍性を確保することができる。また、ビッグデータ（big data）を利用しているため、点群データ復旧の精度を向上することができる。本開示の実施形態によれば、同じ場面における異なる物体の属性についてモデルをそれぞれ構築することで、点群データにおける異なる物体の属性に対応する各部分をそれぞれ復旧することができる。これにより、点群データ復旧の精度を更に向上させることができる。
本明細書に使用されるように、用語「モデル」は、トレーニングデータから対応する入力と出力との間の関連を習得することができるため、トレーニングの完了後に、与えられた入力に対して対応する出力を生成することができる。「モデル」は、「ニューラルネットワーク」、「学習モデル」、「学習ネットワーク」または「深層学習ネットワーク」などと呼ぶこともできることを理解されたい。
以下、添付図面を参照して、本開示に係る実施形態を具体的に説明する。
図１は、本開示に係る実施形態が実施される例示的環境１００の概略図を示す。この例示的環境１００において、採集作業車１１０は、前記採集作業車１１０に設置されたデータ採集装置１１１を通じて、各種の場面に対して大規模の場面データ１１２を取得する。本開示に係る実施形態において、場面データ１１２は、同じ場面を対象とする点群データと画像データの両者を含むことができる。本開示に係る実施形態において、場面データ１１２は、点群データと画像データの採集位置および／または時間情報をさらに含むことができる。
例示的に、いくつかの実施形態において、データ採集装置１１１は、例えば、レーザー画像検出と測距（ＬＩＤＡＲ）システム、ステレオカメラシステム、モバイルレーザーイメージングシステムなどの場面を対象とする点群データを取得するためのセンサーシステムを含むことができる。例えば、点群データは、３Ｄ座標（ＸＹＺ）、レーザー反射強度および／または色情報（ＲＧＢ）などを含むことができる。本開示に係る実施形態において、データ採集装置１１１は、例えばカメラ、ビデオカメラなどの場面を対象とする画像データを取得するための画像取得手段をさらに備えることができる。例えば、画像データは、２Ｄ座標（ＸＹ）、グレースケールなどを含むことができる。
図１に示すように、場面データ１１２は、取得された後に記憶装置１２０に格納され、後続のコンピューティングデバイス１３０によって処理されまたは使用される。本開示に係る実施形態において、記憶装置１２０は、採集作業車１１０のローカル記憶装置であってもよく、または該ローカル記憶装置がアクセス可能な外部記憶装置であってもよい。その他の実施形態において、記憶装置１２０は、コンピューティングデバイス１３０のローカル記憶装置であってもよく、またはコンピューティングデバイス１３０によってアクセス可能な外部記憶装置であってもよい。
本開示に係る実施形態において、コンピューティングデバイス１３０は、場面データ１１２に基づいて点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、コンピューティングデバイス１３０は、構築された点群データ復旧モデル１３１に基づいて、場面データ１１２における点群データに対して復旧を行うこともできる。その他の実施形態において、コンピューティングデバイス１３０は、復旧された点群データに基づいて３Ｄ場面を再構築することもできる。
上述した環境１００は、単に例示的な説明にすぎず、本開示に係る実施形態は、上述した応用環境に限定されず、例えば深度カメラ（depth camera）のホール充填（Hole-filling）、製造業におけるレーザーレーダーを利用した部品の検出などのような点群データ処理又は復旧のための任意の環境に応用することができることを理解されるべきである。以下、図２〜図５を参照して、本開示に係る実施形態に係る点群データを復旧するための方法の例示的実施の詳細な説明を行う。
図２は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための方法２００のフローチャートを示す。この方法２００は、例えば図１におけるコンピューティングデバイス１３０で実施されることにより、点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、点群データは、フレームごとに処理されている。
図２に示すように、ブロック２０５において、処理待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。説明の便宜上、本開示では、該点群データフレームを「第１の点群データフレーム」と呼ぶこともできる。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと、採集位置および／または時間において点群データフレームに関連付けられた画像データとを取得することができる。これらの例示的な実施形態の詳細な説明は、下記の図３のブロック３１０を組み合わせて行う。
ブロック２１０において、ブロック２０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、少なくとも一つの２Ｄ画像は、データの採集位置および／または時間においてその点群データフレームに関連付けることができる。
例えば、一実施形態において、１つまたは複数の２Ｄ画像は、採集位置が点群データフレームの採集位置の所定の距離内に位置する２Ｄ画像のセット（集合）にすることができる。選択的に、または付加的に、いくつかの実施形態において、１つまたは複数の２Ｄ画像は、採集時間が第１の点群データフレームの採集時間を囲む所定の時間帯内に位置する２Ｄ画像のセットであってもよい。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、各点群データセットが異なる物体に対応するように、対応する画像における物体の異なる属性（例えば、地面、建築物、動物、人物など）に基づいて、第１の点群データフレームにおける点群データを１つまたは複数の点群データセットに分割することができる。これにより、１つまたは複数の２Ｄ画像を利用して、１つのフレームの点群データにおける各ポイントの物体属性に値を付与することができる。
以下、図３を参照しながら、ブロック２１０の例示的な実施により詳細な説明を行う。図３は、本開示に係る実施形態に係る点群データを分割するための方法３００のフローチャートを示す。この方法３００は、同様に、例えば、図１のコンピューティングデバイス１３０で実施することができる。
図示されたように、ブロック３１０において、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと採集位置および／または時間において第１の点群データフレームに関連付けられた画像データとを取得することができる。
１つの例示について考えると、例えば、現在の処理待ちの第１の点群データフレームは本日１０：００に採集したものとする場合、画像と点群データは同時に採集されたものなので、タイムスタンプにより、第１の点群データフレームに関連付けられた画像として、例えば９：５０〜１０：１０の間の画像を選択することができる。別の一例において、例えば、第１の点群データフレームの世界座標での採集位置が（１００、１００、３）である場合、第１の点群データフレームに関連付けられた画像として、距離が例えば１００メートルの範囲内のすべての採集位置の画像を選択することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で、第１の点群データフレームに関連付けられた画像を取得することができることを理解されるべきである。
ブロック３２０において、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行う。本開示に係る実施形態において、当該技術分野において既知の、または将来的に開発される任意の適切な画像意味分割技術を使用して、該ステップを実行することができ、本開示の思想を濁すこと避けするために、本開示ではこれに対する重複した説明を省略する。意味分割により、少なくとも一つの２Ｄ画像における各物体（例えば、地面、建築物、動物、人物など）に対応するピクセルの範囲を区別することにより、少なくとも一つの２Ｄ画像における各ピクセルポイントの対応する物体を確定することができるようになる。
ブロック３３０において、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせる。これは３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で対応するマッピングを実現することができることを理解されるべきである。本開示に係る一実施形態において、まず点群データを画像座標に変換させ、続いて、画像座標をピクセル座標に変換させることができる。１つの例示において、例えば、採集作業車１１０は、ＬＩＤＡＲにより点群データを取得し、カメラにより画像データを取得する。ＬＩＤＡＲ及びカメラの回転行列［Ｒ、Ｔ］は、ＬＩＤＡＲとカメラとの相対的な位置関係を測定することにより取得される。
点群データを、カメラを原点とする座標系に変換させる。すなわち、
[R, T] * P_lidar = P_camera （１）
であり、ここで、P_lidarはＬＩＤＡＲの座標系におけるポイントであり、P_cameraはカメラの座標系におけるポイントである。続いて、カメラを原点とする点群データを画像座標にマッピングさせる。
すなわち、
X_film = fx * X/Z − x_center; Y_film = fy * Y/Z − y_center （２）
であり、ここで、X_filmは画像における点群データのＸ方向における位置（ピクセルレベル）であり、fxはＸ方向における焦点距離であり、x_centerは画像の中心点のＸ方向における位置（ピクセルレベル）であり、Y_filmは画像における点群データのＹ方向における位置（ピクセルレベル）であり、fyはＹ方向での焦点距離であり、y_centerは画像中心点のＹ方向の位置（ピクセルレベル）である。続いて、画像座標をピクセル座標に変換させる。これにより、点群データとピクセルポイントとの間の対応関係を取得することができる。
ブロック３４０において、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行う。本開示に係る実施形態によれば、ブロック３２０で確定した各ピクセルポイントの対応する物体の情報、及びブロック３３０で取得した点群データにおけるポイントとピクセルポイントとの対応関係に基づいて、点群データにおける各ポイントに対して相応の物体の属性を付与することにより、物体の属性に基づいて点群データに対してクラスタリングを行い、相応の点群データセットを形成することができる。
前述した図３を参照しながら説明した点群データの分割は、後続の過程で、異なる物体の属性に基づいて、相応する点群データに対してそれぞれ復旧を行うことができるようにするためである。点群データに対する分割に基づき、且つ分割された点群データに対してそれぞれ復旧を行うことにより、点群データ復旧の精度を向上させることができ、同時に点群データ復旧の効率を向上させることもできる。上述した図３の方法は、単なる例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を使用して点群データに対して分割を行い、分割された点群データに対してそれぞれ復旧を実行することができることを理解されるべきである。
図２に戻ると、ブロック２２０において、少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定し、ここで、前記マッチング画像は、データの採集位置および／または時間において前記第１点群データフレームとマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間が第１の点群データフレームと一致するか又はほぼ一致する画像を第１の点群データフレームのマッチング画像として探し出すことができる。
ブロック２３０において、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレームとに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。説明の便宜上、本開示では、基準点群データフレームを「第２の点群データフレーム」と呼ぶこともできる。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、第１の点群データフレームの前および／またはその後の１つまたは複数のフレームを取得して、基準点群データフレームとすることができる。すなわち、第２の点群データフレームである。本開示に係る実施形態によれば、複数のフレームの点群データにより、一つの画像におけるすべてのピクセルポイントを３Ｄ空間に還元させることができ、ピクセルポイントと点群データとの一対一の対応関係を取得することができる。
以下、図４を参照し、ブロック２３０の例示的実施をより詳細に説明する。図４は、本開示に係る実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法４００のフローチャートを示す。この方法４００は、例えば図１のコンピューティングデバイス１３０において実施されることもできる。
図４に示すように、ブロック４１０において、第１の点群データフレームに隣接する１つまたは複数の第２の点群データフレームを取得する。本開示に係る実施形態によれば、需要に応じて第２点群データフレームの数を確定することにより、第２の点群データフレームの数からマッチング画像におけるピクセルポイントごとの対応する点群データを確定し、すなわち、ピクセルポイントの３Ｄ位置データを確定することができる。
ブロック４２０において、第１の点群データフレームと第２の点群データフレームにおける点群データを、マッチング画像の座標空間にマッピングさせる。これも、同様に３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。ブロック４２０の処理は、ブロック３３０で説明した処理と同様の処理を実施することができ、これに対する重複の説明を省略する。
ブロック４３０において、ブロック４２０で実行されたマッピングに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。本開示に係る実施形態によれば、ブロック４２０でのマッピングに基づいて、点群データとピクセルポイントとの間の対応関係を取得することにより、マッチング画像におけるすべてのピクセルポイントに対応する点群データ（つまり、３Ｄの位置データ）を確定することができる。
図４を組み合わせて説明した方法において、複数のフレームの点群データに基づいて、一つのマッチング画像におけるすべてのピクセルポイントの３Ｄ位置データの真実値を確定することができ、これは、後続モデルのトレーニングのために相応するトレーニング出力データを提供することを意図するものである。上述した図４の方法は、例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を用いて、モデルのトレーニングのトレーニング出力データとしてピクセルポイントの３Ｄ位置データの真実値を確定することができることを理解されるべきである。
図２に戻ると、ブロック２４０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データを、それぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークにより、前記点群データセットの対応する物体のための点群データ復旧モデルを生成する。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、同じ物体に対応する点群データセットにおける点群データと、マッチング画像における対応する同じ物体のピクセルポイントの２Ｄ位置データとを深層学習ネットワークの入力層とし、対応する同一の物体のピクセルポイントの３Ｄ位置データを深層学習ネットワークの出力層とすることで、点群データセットの対応する物体のための点群データ復旧モデルをトレーニングし生成することができる。つまり、点群データ復旧モデルは、画像における物体によって特定されるものであり、単に全体的なイメージにだけ特定されるものではない。これは、例えば点群復旧モデルがカスタマイズ性を備え精度を向上させるように点群復旧モデルを精確にトレーニングするのに有益である。
本開示に係る実施形態によれば、当該技術分野において既知の、または将来的に開発される任意の適切な深層学習ネットワーク（例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（Recurrent Neural Network）、深層ニューラルネットワークなど）を通じてモデルの構築を実現することができる。現在の主流となる深層学習ネットワーク層は、入力層、畳み込み層、プーリング層（pooling layer, max pooling）、全結合層（fully connected layer）、出力層などを含む。具体的な必要に応じて、これらの層を組み合わせ、それぞれの層にいくつかの初期値を付与し、そして集合の真実値をトレーニングすることにより、これらの初期値を変更することができ、これにより得られた予測の精確率の結果がより高くなる。出力層が予測値を提供する。トレーニングモードでは、予測値と真実値との間の差を比較して、ネットワークにおける値を調整するようにする。
本開示に係る実施形態によれば、異なる物体の対応する点群データについて、対応する深層学習ネットワークをトレーニングして、対応する物体の点群データを復旧することができる。同じネットワークを利用してすべての点群のデータを復旧することに比べて、精確率がより高くなる。
ここまで図２〜図４を組み合わせながら、本開示に係る実施形態に係る点群データ復旧モデルを生成する過程を説明した。以下、図５は、本開示に係る実施形態に係る点群データ復旧モデルを使用するプロセスを説明する。図５は、本開示に係る実施形態に係る点群データを復旧するための方法５００のフローチャートを示す。この方法５００は、図１に示すようなコンピューティングデバイス１３０で実施されることができる。前述の方法２００は、点群データ復旧モデルのトレーニングの過程とみなすことができ、以下に説明する方法５００は、そのモデルの使用過程であることを理解することができる。
図５に示すように、ブロック５０５において、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。該ステップにおける処理は、ブロック２０５の処理と同様で、その他の詳細は、前述のブロック２０５を参照して説明した内容を参照することができる。
ブロック５１０において、ブロック５０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、復旧待ちの点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、採集位置および／または時間において復旧待ちの点群データフレームに関連付けられた１つまたは複数の２Ｄ画像を取得し、後続の異なる物体の属性についてそれぞれ復旧を実行するために、復旧待ちの点群データフレームにおけるポイントデータが対応する２Ｄ画像における物体の属性に基づいて、点群データフレームを少なくとも一つの点群データセットに分割することができる。該ステップの処理は、ブロック２１０の処理と同様で、その他の詳細は、前述のブロック２１０を参照しながら説明した内容を参照することができる。
ブロック５２０において、少なくとも一つの２Ｄ画像から前記復旧待ちの点群データフレームとのマッチング画像を確定し、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ちの点群データフレームにマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、点群データフレームのマッチング画像として、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間において点群データフレームと一致するか又はほぼ一致した画像を探し出すことができる。該ステップの処理は、ブロック２２０の処理と同様である。
ブロック５３０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルにより、点群データセットにおける点群データに対してそれぞれ復旧を行う。モデル構築時のトレーニング入力データと同様に、本開示に係る実施形態において、対応する同一の物体属性の点群データセットにおける点群データ及びマッチング画像における対応する同じ物体の属性のピクセルポイントの２Ｄ位置データを点群データ復旧モデルの入力データとする。対応して、点群データ復旧モデルの出力データは、復旧された対応する同じ物体の属性の点群データ、即ち、マッチング画像における対応する同じ物体の属性のすべてのピクセルポイントの３Ｄ位置データである。復旧は、点群データにおけるポイントデータのフィーリング（filling）を指すものとしてもよい。
本開示に係る実施形態によれば、ビッグデータを利用してモデルを構築する方法により、点群データの復旧を実現することで、方法の精確性と普遍性を確保した。また、本開示に係る実施形態において、異なる物体の対応する点群データについて、予めトレーニングされた対応する物体の点群データ復旧モデルを使用して対応する物体の点群データを復旧することができる。同じモデルを使用して、すべての点群のデータを復旧する場合に比べて、精確率がより高くなる。
本開示に係る実施形態は、上述した方法またはプロセスを実現するための相応の装置を提供する。図６は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための装置６００の概略ブロック図を示す。デバイス６００は、例えば、図１のコンピューティングデバイス１３０で実施されることができる。図６に示すように、装置６００は、画像取得モジュール６０５、点群分割モジュール６１０、画像確定モジュール６２０、位置確定モジュール６３０とモデルの生成モジュール６４０を備えることができる。
本開示に係る実施形態によれば、画像取得モジュール６０５は、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール６０５の処理は、図２のブロック２０５の処理と同様に、その詳細に対する重複説明は省略する。
本開示に係る実施形態によれば、点群分割モジュール６１０は、２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール６１０の処理は、図２のブロック２１０の処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、点群分割モジュール６１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示されていない）ことができる。これらの手段による処理は、前述した図３を参照して行った処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、画像確定モジュール６２０は、少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において第１の点群データフレームと一致するマッチング画像を確定するように構成することができる。画像確定モジュール６２０の処理は、図２のブロック２２０の処理と同様で、本開示では重複説明を省略する。
本開示に係る実施形態によれば、位置確定モジュール６３０は、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレーム（本明細書で第２の点群データフレームとも呼ぶ）に基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成することができる。位置確定モジュール６３０の処理は、図２のブロック２３０の操作と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、位置確定モジュール６３０は、第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して基準点群データフレームとするように構成されたデータ取得手段と、第１の点群データフレーム及び第２の点群データフレームにおける点群データをマッチング画像の座標空間にマッピングさせるように構成された第２のマッピング手段と、前記マッピングに基づいてマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成される位置確定手段とを備える（図示せず）ことができる。これらの手段による処理は、前述の図４を参照して説明した処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、モデル生成モジュール６４０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データ及び３Ｄ位置データをそれぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成することができる。モデル生成モジュール６４０の処理は、図２のブロック２４０の処理と同様で、その詳細について重複説明は省略する。
図７は、本開示に係る実施形態に係る点群データを復旧するための装置７００の概略ブロック図を示す。デバイス７００は、同様に、例えば図１のコンピューティングデバイス１３０で実施されることができる。装置７００は、画像取得モジュール７０５と、点群分割モジュール７１０と、画像確定モジュール７２０と、点群復旧モジュール７３０とを備えることができる。
本開示に係る実施形態によれば、画像取得モジュール７０５は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール７０５の処理は、図５のブロック５０５の処理と同様で、その詳細について重複説明は省略することにする。
本開示に係る実施形態によれば、点群分割モジュール７１０は、２Ｄ画像における物体の属性に基づいて、復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール７１０の処理は、図５のブロック５１０の処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、点群分割モジュール７１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、復旧待ち点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示せず）ことができる。これらの手段による処理は、前述した図３を参照しながら説明した処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、画像確定モジュール７２０は、前記少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において前記復旧待ち点群データフレームと一致するマッチング画像を確定するように構成されることができる。画像確定モジュール７２０の処理は、図５のブロック５２０の処理と同様で、本開示では、重複説明を省略する。
本開示に係る実施形態によれば、点群復旧モジュール７３０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを使用して点群データセットにおける点群データに対してそれぞれ復旧を行うよう構成されることができる。点群復旧モジュール７３０の処理は、図５のブロック５３０の処理と同様で、本開示では、重複説明を省略する。
装置６００と装置７００に記載された各手段は、それぞれ図２および図５を参照して説明した方法２００、５００のうちの各ステップに対応していることを理解されたい。また、装置６００と装置７００と、これらの中に含まれる手段による処理及び機能は、いずれも前述の図２〜図５を参照しながら説明した処理と特徴に対応して同じ効果を有し、その詳細に対する重複説明は省略する。
装置６００と装置７００に含まれる手段は、ソフトウェア、ハードウェア、またはこれらの任意の組み合わせを含む様々な方法を利用して実現することができる。一実施形態において、１つまたは複数の手段は、ソフトウェアおよび／またはファームウェアを利用して実現することができ、例えば、記憶媒体上に記憶された機器が実行可能な指令として実現することができる。機器実行可能な指令に加えて、または代替的に、装置６００とデバイス７００の一部または全部の手段が少なくとも部分的に１つまたは複数のハードウェアロジックアセンブリで実現されることができる。例示的で非限定的なものとして、使用可能な試験的なタイプのハードウェアロジックアセンブリは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップ（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含む。
図６及び図７に示されたこれらの手段は、部分的または全体的にハードウェア・モジュール、ソフトウェアモジュール、ファームウェアモジュールまたはこれらの任意の組み合わせで実現されることができる。特に、いくつかの実施形態において、上述したフロー、方法、またはプロセスは記憶装置システムまたは記憶装置システムに対応するホストまたは記憶装置システムに依存しない他のコンピューティングデバイス中のハードウェアで実現されることができる。
図８は、本開示の実施形態を実施可能な例示的なデバイス８００の模式的なブロック図を示した。デバイス８００は、図１に示されたモデル確定装置１３０及び／又はモデル応用装置１４０を実現可能である。図面に示されたように、デバイス８００には、読取専用メモリ（ＲＯＭ）８０２に記憶されているコンピュータプログラム指令、或いは記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラム指令に応じて、各種の適当な動作及び処理を実行可能な中央処理装置（ＣＰＵ）８０１が備えられる。ＲＡＭ８０３において、デバイス８００の処理に必要な各種のプログラム及びデータが記憶されても良い。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続される。
例えばキーボード、マウスなどの入力手段８０６、例えば各種のタイプのディスプレー、スピーカなどの出力手段８０７、例えば磁気ディスク、光ディスクなどの記憶手段８０８、及び例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段８０９が含まれる、デバイス８００における複数の部品は、Ｉ／Ｏインターフェース８０５に接続される。通信手段８０９により、デバイス８００が例えばインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他のデバイスと情報／データを交換することが可能である。
処理手段８０１は、前記で説明された各方法及び処理、例えば方法２００及び／又は５００を実行する。例えば、幾つかの実施形態において、方法２００及び／又は５００は、装置が読取可能な媒体、例えば記憶手段８０８に有形的に備えられるコンピュータソフトウェアプログラムとして実現されも良い。幾つかの実施形態において、コンピュータプログラムの一部又は全体は、ＲＯＭ８０２及び／又は通信手段８０９を介してデバイス８００にロードされ、及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１により実行されると、前記で説明された方法２００及び／又は５００の一つ又は複数のステップを実行することができる。選択的に、他の実施形態において、ＣＰＵ８０１は他の任意の適当な方式により（例えば、ファームウェアを介して）方法２００及び／又は５００を実行するように構成されても良い。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラに実行されると、フローチャート及び／又はブロック図における所定の機能／操作が実施可能である。プログラムコードは、全体が装置によって実行されても良く、一部が装置によって実行されても良く、独立なパッケージとして部分的に装置によって実行され且つ部分的に遠隔装置に実行され、或いは全体的に遠隔装置又はサーバに実行されても良い。
本開示の文脈において、機器が読取可能な媒体は、有形的な媒体であっても良い。それは、指令実行システム、装置又はデバイスにより使用され、或いは指令実行システム、装置又はデバイスと合わせて使用されるプログラムを備え、或いは記憶することができる。機器が読取可能な媒体は、機器が読取可能な信号媒体又は機器が読取可能な記憶媒体であっても良い。機器が読取可能な媒体は、電子媒体、磁気媒体、光媒体、電磁媒体、赤外線媒体、或いは半導体システム、装置又はデバイス、或いはそれらのあらゆる適切な組み合わせを含んでも良いが、それらに限定されない。機器が読取可能な記憶媒体について、より具体的な例示には、一つ又は複数のケーブルによる電気的な接続、ポータブルコンピュータディスケット、ハードウェア、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、ポータブルコンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらのあらゆる適切な組合せが含まれる。
また、特定の順序で各動作を説明したが、示された特定の順序又は順次で実行されるようにこれらの動作を要求し、或いは所望の結果が得られるように全ての図示された動作を実行すべきと要求するものと理解すべきでない。ある環境において、マルチタスク及び並行処理が有利になる可能性がある。同様に、上記の説明において若干の具体的な実現の細部が含まれたが、本開示の範囲に対する限制ではないと理解すべきである。単独な実施形態の文脈に説明された幾つかの特徴は、単一な実現において組み合わせて実現されても良い。逆に、単独で実現された文脈に説明された各特徴は、複数の実現において単独で、或いはあらゆる適切なサブアセンブリで実現されても良い。
構造上の特徴及び／又は方法ロジックの動作に特定された言語を使って本主題を説明したが、添付の特許請求の範囲に特定された主題は必ずしも上記の特定の特徴又は動作によって限定されないと理解すべきである。逆に、上記の特定の特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。
１００ 例示的環境
１１１ データ採集装置
１１２ 場面データ
１２０ 記憶装置
１３０ コンピューティングデバイス
１３１ 点群データ復旧モデル
２０５、２１０ ブロック
８００ デバイス
８０１ 中央処理装置（ＣＰＵ）
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ Ｉ／Ｏインターフェース

Claims (20)

  1. 点群データ復旧モデルを生成するための方法であって、
    第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、
    前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するステップと、
    各点群データセットに対して、
    前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するステップと、
    前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
    前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するステップと、
    前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するステップと
    を含む点群データ復旧モデルを生成するための方法。
  2. 前記分割ステップは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うステップと、
    前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするステップと、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するステップと
    を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
  3. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項１又は請求項２に記載の点群データ復旧モデルを生成するための方法。
  4. 前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するステップは、
    前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするステップと、
    前記第１の点群データフレーム及び前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするステップと、
    前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するステップと
    を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
  5. 点群データを復旧するための方法であって、
    復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、
    前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するステップと、
    各点群データセットに対して、
    前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するステップと、
    前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
    前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うステップと
    を含む点群データを復旧するための方法。
  6. 前記分割ステップは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うステップと、
    前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするステップと、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するステップと
    を含む請求項５に記載の点群データを復旧するための方法。
  7. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項５又は請求項６に記載の点群データを復旧するための方法。
  8. 点群データ復旧モデルを生成するための装置であって、
    第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
    前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
    各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
    前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
    各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、
    各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールと
    を備える点群データ復旧モデルを生成するための装置。
  9. 前記点群分割モジュールは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
    前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
    を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
  10. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項８又は請求項９に記載の点群データ復旧モデルを生成するための装置。
  11. 前記位置確定モジュールは、
    前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするように構成されたデータ取得手段と、
    前記第１の点群データフレームと前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするように構成された第２のマッピング手段と、
    前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成された位置確定手段と
    を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
  12. 点群データを復旧するための装置であって、
    復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
    前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
    各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
    前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
    各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うように構成された点群復旧モジュールと
    を備える点群データを復旧するための装置。
  13. 前記点群分割モジュールは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
    前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
    を備える請求項１２に記載の点群データを復旧するための装置。
  14. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項１２又は請求項１３に記載の点群データを復旧するための装置。
  15. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現される装置。
  16. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置を備える装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現される装置。
  17. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
  18. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
  19. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータプログラム。
  20. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータプログラム。




JP2018247307A 2017-12-29 2018-12-28 点群データを復旧するための方法及び装置 Active JP6745328B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711480175.7A CN108198145B (zh) 2017-12-29 2017-12-29 用于点云数据修复的方法和装置
CN201711480175.7 2017-12-29

Publications (2)

Publication Number Publication Date
JP2019149149A true JP2019149149A (ja) 2019-09-05
JP6745328B2 JP6745328B2 (ja) 2020-08-26

Family

ID=62586701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247307A Active JP6745328B2 (ja) 2017-12-29 2018-12-28 点群データを復旧するための方法及び装置

Country Status (5)

Country Link
US (1) US10970864B2 (ja)
EP (1) EP3506161A1 (ja)
JP (1) JP6745328B2 (ja)
KR (1) KR102126724B1 (ja)
CN (1) CN108198145B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049635A (ja) * 2019-09-20 2021-04-01 エヌビディア コーポレーション 器用なロボット・システムの視覚ベースの遠隔操作
JP2021101365A (ja) * 2020-06-22 2021-07-08 北京百度網訊科技有限公司 測位方法、測位装置及び電子機器
US20220343553A1 (en) * 2019-09-30 2022-10-27 Daikin Industries, Ltd. Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data
WO2022264894A1 (ja) 2021-06-17 2022-12-22 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN109191553B (zh) * 2018-08-29 2023-07-25 百度在线网络技术（北京）有限公司 点云渲染方法、装置、终端及存储介质
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
US10915793B2 (en) * 2018-11-08 2021-02-09 Huawei Technologies Co., Ltd. Method and system for converting point cloud data for use with 2D convolutional neural networks
CN109493407B (zh) * 2018-11-19 2022-03-25 腾讯科技（深圳）有限公司 实现激光点云稠密化的方法、装置及计算机设备
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN109859114B (zh) * 2018-12-27 2020-10-16 北京大学 基于局域平滑性和非局域相似性的三维点云修复方法
CN111626288B (zh) * 2019-02-28 2023-12-01 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
GB2582266B (en) 2019-03-05 2022-11-30 Geoslam Ltd Three-dimensional dataset and two-dimensional image localisation
US20220130140A1 (en) * 2019-03-14 2022-04-28 Nec Corporation Information presentation method, information presentation device and program
US11159811B2 (en) 2019-03-15 2021-10-26 Tencent America LLC Partitioning of coded point cloud data
CN111935642B (zh) * 2019-05-13 2022-10-21 北京地平线机器人技术研发有限公司 一种可移动设备的定位方法及装置
CN110148099B (zh) * 2019-05-29 2021-09-10 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
GB2584469B (en) * 2019-06-05 2023-10-18 Sony Interactive Entertainment Inc Digital model repair system and method
US11195064B2 (en) * 2019-07-11 2021-12-07 Waymo Llc Cross-modal sensor data alignment
CN112445929B (zh) * 2019-08-30 2022-05-17 浙江商汤科技开发有限公司 视觉定位方法及相关装置
CN115605918A (zh) * 2019-10-04 2023-01-13 伟摩有限责任公司（Us） 时空嵌入
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949B (zh) * 2019-11-07 2020-11-24 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
WO2021093718A1 (zh) * 2019-11-15 2021-05-20 北京金山云网络技术有限公司 视频处理方法、视频修复方法、装置及设备
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
WO2021114030A1 (zh) * 2019-12-09 2021-06-17 深圳市大疆创新科技有限公司 点云孔洞填充方法、装置和存储介质
CN111191582B (zh) * 2019-12-27 2022-11-01 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111223101B (zh) * 2020-01-17 2023-08-11 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN113538552B (zh) * 2020-02-17 2024-03-22 天目爱视（北京）科技有限公司 一种基于图像排序的3d信息合成图像匹配的方法
CN111402332B (zh) * 2020-03-10 2023-08-18 兰剑智能科技股份有限公司 基于slam的agv复合建图与导航定位方法及系统
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN111402308B (zh) * 2020-03-17 2023-08-04 阿波罗智能技术(北京)有限公司 障碍物速度的确定方法、装置、设备和介质
CN111414953B (zh) * 2020-03-17 2023-04-18 集美大学 点云分类方法和装置
CN111667563B (zh) * 2020-06-19 2023-04-07 抖音视界有限公司 图像处理方法、装置、设备和存储介质
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112530027A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云修复方法、装置及电子设备
CN112835007B (zh) * 2021-01-07 2023-04-18 北京百度网讯科技有限公司 点云数据转换方法、装置、电子设备和存储介质
CN112945205B (zh) * 2021-01-27 2022-09-23 西北核技术研究所 一种超快多幅二维图像探测方法及装置
CN112785611B (zh) * 2021-01-29 2021-10-12 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN112967219B (zh) * 2021-03-17 2023-12-05 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
AU2021204585A1 (en) * 2021-03-30 2022-10-13 Sensetime International Pte. Ltd. Generating point cloud completion network and processing point cloud data
AU2021204525B1 (en) * 2021-03-30 2022-07-14 Sensetime International Pte. Ltd. Generating point cloud completion network and processing point cloud data
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
KR102313918B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113658195B (zh) * 2021-08-16 2024-03-19 金地（集团）股份有限公司 图像分割方法、装置及电子设备
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN114333418B (zh) * 2021-12-30 2022-11-01 深兰人工智能(深圳)有限公司 用于自动驾驶的数据处理方法及相关装置
CN117274116B (zh) * 2023-11-22 2024-03-05 广州中望龙腾软件股份有限公司 点云修补方法、装置、存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076096A (ja) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2016075637A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
JP2017142780A (ja) * 2015-12-07 2017-08-17 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 二次元画像からの三次元モデル化オブジェクトの認識

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236043B (zh) * 2013-04-28 2015-10-28 北京农业信息技术研究中心 一种植物器官点云修复方法
US20160159011A1 (en) * 2014-12-04 2016-06-09 Caterpillar Inc. Vision System for Selective Tridimensional Repair Using Additive Manufacturing
US9618459B2 (en) * 2015-05-18 2017-04-11 Flightware, Inc. Systems and methods for automated composite layup quality assurance
CN105405162B (zh) * 2015-10-16 2017-12-05 北京师范大学 基于局部结构和方向感知的树点云三维重建方法
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US11060853B2 (en) * 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
CN110999303B (zh) * 2017-08-22 2023-07-07 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
BR112020002205A2 (pt) * 2017-08-22 2020-07-28 Panasonic Intellectual Property Corporation Of America codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076096A (ja) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2016075637A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
JP2017142780A (ja) * 2015-12-07 2017-08-17 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 二次元画像からの三次元モデル化オブジェクトの認識

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049635A (ja) * 2019-09-20 2021-04-01 エヌビディア コーポレーション 器用なロボット・システムの視覚ベースの遠隔操作
US20220343553A1 (en) * 2019-09-30 2022-10-27 Daikin Industries, Ltd. Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data
US11704841B2 (en) * 2019-09-30 2023-07-18 Daikin Industries, Ltd. Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data
JP2021101365A (ja) * 2020-06-22 2021-07-08 北京百度網訊科技有限公司 測位方法、測位装置及び電子機器
JP7258066B2 (ja) 2020-06-22 2023-04-14 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 測位方法、測位装置及び電子機器
US11713970B2 (en) 2020-06-22 2023-08-01 Beijing Baidu Netcom Science Technology Co., Ltd. Positioning method, electronic device and computer readable storage medium
WO2022264894A1 (ja) 2021-06-17 2022-12-22 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム

Also Published As

Publication number Publication date
KR20190082066A (ko) 2019-07-09
EP3506161A1 (en) 2019-07-03
JP6745328B2 (ja) 2020-08-26
CN108198145B (zh) 2020-08-28
CN108198145A (zh) 2018-06-22
US10970864B2 (en) 2021-04-06
KR102126724B1 (ko) 2020-06-25
US20190206071A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN113362444B (zh) 点云数据的生成方法、装置、电子设备及存储介质
JP2020042818A (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
US9542773B2 (en) Systems and methods for generating three-dimensional models using sensed position data
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
JP2023510198A (ja) 車両姿勢を検出するための方法及び装置
CN113129352B (zh) 一种稀疏光场重建方法及装置
CN111709984B (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
WO2022206414A1 (zh) 三维目标检测方法及装置
RU2745010C1 (ru) Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
Wen et al. Cooperative indoor 3D mapping and modeling using LiDAR data
US20230206595A1 (en) Three-dimensional data augmentation method, model training and detection method, device, and autonomous vehicle
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN112580428A (zh) 一种配电网设计方法及装置
US11188787B1 (en) End-to-end room layout estimation
CN117745944A (zh) 预训练模型确定方法、装置、设备以及存储介质
CN117746133B (zh) 目标检测方法、模型训练方法、装置、设备及存储介质
CN113421217A (zh) 可行驶区域检测方法和装置
Liu et al. Depth estimation of traffic scenes from image sequence using deep learning
KR20230006628A (ko) 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
Li et al. BDLoc: Global localization from 2.5 D building map
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN113870412A (zh) 一种航空场景图像的处理方法、装置以及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R150 Certificate of patent or registration of utility model

Ref document number: 6745328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250