JP2020042818A - ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 - Google Patents

３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2020042818A
JP2020042818A JP2019163317A JP2019163317A JP2020042818A JP 2020042818 A JP2020042818 A JP 2020042818A JP 2019163317 A JP2019163317 A JP 2019163317A JP 2019163317 A JP2019163317 A JP 2019163317A JP 2020042818 A JP2020042818 A JP 2020042818A
Authority
JP
Japan
Prior art keywords
dimensional
target object
vehicle
dimensional image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019163317A
Other languages
English (en)
Other versions
JP6830139B2 (ja
Inventor
ユーチェン ワン，
Yucheng Wang
ユーチェン ワン，
シュン スン，
Xun Sun
シュン スン，
ティェン シャ，
Tian Xia
ティェン シャ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042818A publication Critical patent/JP2020042818A/ja
Application granted granted Critical
Publication of JP6830139B2 publication Critical patent/JP6830139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

【課題】３次元標記のコストを低減し、３次元標記の效率を向上させることができる３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】３次元データの生成方法は、目標物体の２次元画像における輪郭情報標記結果を取得するステップＳ１１０と、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出するステップＳ１２０と、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定するステップＳ１３０と、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成するステップＳ１４０と、を含む。【選択図】図１Ａ

Description

本発明は、情報処理技術に関し、特に３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。
自動運転において、車両の３次元情報検出は走行環境での感知と計画に重要である。
従来技術において、３次元情報検出は、車両の３次元情報を標記することに頼る必要があり、標記の方法は人工による標記に限定されているため、３次元情報の標記は多くの場合に費用が高くて時間がかかり、既存の低コストで高速な２次元標記方法は３次元情報データを取得する要求を満たすことができない。
本発明は、３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供して、３次元標記のコストを低減し、３次元標記の效率を向上させる。
本発明の第１態様として、目標物体の２次元画像における輪郭情報標記結果を取得するステップと、前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出するステップと、前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定するステップと、前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するステップとを含む３次元データの生成方法を提供する。
本発明の第２態様として、目標物体の２次元画像における輪郭情報標記結果を取得する結果取得モジュールと、前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出する３次元算出モジュールと、前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定する座標決定モジュールと、前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するデータ生成モジュールとを備える３次元データの生成装置を提供する。
本発明の第３態様として、コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサによって実行可能なコンピュータプログラムとを備え、前記コンピュータプログラムが前記プロセッサによって実行される場合に、上記の３次元データの生成方法を実現するコンピュータ機器を提供する。
本発明の第４態様として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の３次元データの生成方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
本発明は、３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供する。取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出し、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。さらに３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
本発明の実施例１により提供される３次元データの生成方法の概略フローチャートである。 本発明の実施例１に適用される車両の上面図が撮影された概略図である。 本発明の実施例２により提供される３次元データの生成方法の概略フローチャートである。 本発明の実施例３により提供される３次元データの生成装置の概略構成図である。 本発明の実施例４により提供されるコンピュータ機器の概略構成図である。
以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。
なお、説明の便宜上、図面には、全内容ではなく、本発明に関する一部だけが示される。例示的な実施例をさらに詳しく検討する前に言及せざるを得ないのは、一部の例示的な実施例は、フローチャートとして描画される処理又は方法として説明される。フローチャートが各操作（又はＳ）を順次処理として説明するが、そのうち、多くの操作は、並行的に、併発的に又は同時に実施することができる。また、各操作の手順は、改めて整えることができる。操作が完成する場合、前記処理は、終了されてもよいが、図面に含まれていない付加Ｓを有してもよい。前記処理は、方法、関数、規程、サブルーチン及びサブプログラムなどに対応することができる。
実施例１
図１Ａは、本発明の実施例１により提供される３次元データの生成方法のフローチャートである。本実施例は、物体に対して３次元情報標記する場合に適用することができ、３次元データの生成方法は、本実施例により提供される３次元データの生成装置によって実行される。３次元データの生成装置は、ソフトウェア及び／又はハードウェアの方式を使用して実現することができ、一般的には、コンピュータ機器に統合することができる。図１Ａに示されるように、本実施例に係る３次元データの生成方法は、具体的には、以下のようなステップを含む。
ステップＳ１１０：目標物体の２次元画像における輪郭情報標記結果を取得する。
本実施例では、予め設定された角度から収集された目標物体の画像を、目標物体の２次元画像とすることができる。また、予め設定された角度は、本機器と目標物体が同一の水平線にあるときの任意の位置を含むが、これらに限定されない。例えば、無人車両上のレーザレーダによって目標車両を撮影して収集した画像を、取得された２次元画像とする。
また、輪郭情報標記結果は、取得された２次元画像における目標物体の輪郭特徴を表現することができる標記結果であってもよい。例えば、目標物体が車両である場合、輪郭情報標記結果は、車両の２次元画像における外接する矩形枠、すなわち車両の外枠であってもよいし、２次元画像における車両の車頭と車体との間の境界線、すなわち分割線、当該外枠における位置であってもよい。
具体的には、画像認識技術によって、２次元画像を認識処理し、目標物体の２次元画像における輪郭情報を認識して標記し、輪郭情報標記結果を取得することができる。
本実施例の変形例として、目標物体の２次元画像における輪郭情報標記結果を取得したステップの後、輪郭情報標記結果に基づいて、２次元画像の目標物体とマッチングする部分画像をカットするステップと、部分画像を予めトレーニングされた標準３次元認識モデルに入力して、目標物体の標準３次元サイズを取得するステップとをさらに含んでいてもよい。
また、目標物体とマッチングするカットされた部分画像は、目標物体在２次元画像における外接する矩形枠に対応する部分画像であってもよい。具体的には、標準３次元認識モデルは、ディープ機械学習アルゴリズムに基づいて構築されたモデルであってもよく、物体に対応する画像を認識して、物体に対応する実際の３次元サイズ、すなわち標準３次元サイズ予測するために用いられる。
また、標準３次元認識モデルによって使用されている機械学習アルゴリズムは、ディープコンボリューションニューラルネットワークを含むが、これらに限定されない。例示的には、まず、大量の異なる物体に対応する画像サンプルを収集することによって、ディープコンボリューションニューラルネットワークモデルをトレーニングして、画像から物体の標準３次元サイズを予測することができるモデルをトレーニングして、標準３次元認識モデルとする。次に、目標物体とマッチングするカットされた部分画像を、標準３次元認識モデルに入力し、それによって、目標物体の画像によって長さ、幅、高さ（Ｌ、Ｗ、Ｈ）などの標準３次元サイズを予測する。また、目標物体サイズテンプレートを設定して、取得された標準３次元サイズと目標物体サイズテンプレートをマッチングして、不合理な値をフィルタリングし、予測精度をさらに向上させることもできる。
ステップＳ１２０：輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。
輪郭情報標記結果は、２次元画像に基づいて取得された目標物体の輪郭キー情報であり、目標物体の標準３次元サイズは、目標物体の実際のサイズであるため、両者を組み合わせて、２次元画像に基づいて、目標物体の３次元情報を取得することができる。
また、３次元情報は、目標物体の被写界深度と目標物体の３次元方位とを含むが、これらに限定されない。２次元標記によって３次元情報を予測することの利点は、相対的に低コストで高速の２次元標記を使用して、費用が高くて時間がかかる３次元標記と同等の検出効果を取得することができる。
具体的には、目標物体の被写界深度は、目標物体から２次元画像に対応する撮影焦点までの距離であってもよく、目標物体の３次元方位は、目標物体の向かっている方向と撮影平面との間の角度であってもよい。
例えば、図１Ｂに示す車両撮影上面図では、車両１の２次元画像２におけるイメージング範囲は、撮影焦点Ａと車両１の最左端点Ｅと最右端点Ｇとの２次元画像２における投影、すなわち交点Ｂと交点Ｃとなり、車両の被写界深度は、撮影焦点Ａから車両１のうち、２次元画像２に最も近い端点までの間の距離であり、すなわち距離Ｚであり、車両１の３次元方位は、角度γである。
ステップＳ１３０：目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
本実施例では、基準２次元画像点は、目標物体の２次元画像における任意の点であってもよく、例えば、目標物体の２次元画像における外接する矩形枠の幾何学的中心点、すなわち図１Ｂに示すＫ点である。
例示的には、２次元画像の一つの端点を原点として２次元座標系を構築して、目標物体の外接矩形枠の幾何学的中心点を認識する。そして、さらに、２次元座標系に基づいて幾何学的中心点の座標を取得して、目標物体における基準２次元画像点の２次元画像における２次元座標とし、算出して取得された目標物体の被写界深度を組み合わせて、予め設定された算出式に基づいて基準２次元画像点の３次元座標を決定する。
本実施例の変形例として、目標物体における基準２次元画像点の２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定するステップは、下記の式（１）に基づいて、基準２次元画像点の３次元座標Pを算出するステップを含んでいてもよい。
Figure 2020042818
 ただし、
ｘは、基準２次元画像点の横座標であり、
ｙは、基準２次元画像点の縦座標であり、
Ｚは、被写界深度であり、
ｆは、２次元画像に対応する撮影焦点距離である。
一例として、図１Ｂに示されるように、車両１の外接矩形枠の幾何学的中心点、すなわち車両１の外枠中心点Ｋの座標は（ｘ、ｙ）であり、上記の式（１）を使用して車両１の外枠中心点に対応する、下記の式（２）に示す３次元座標Ｐを算出することができる。
Figure 2020042818
 ただし、
Ｚは、車両１の被写界深度であり、
ｆは、２次元画像が位置する撮影平面と撮影焦点Ａとの間の距離、すなわち撮影焦点距離である。
ステップＳ１４０：基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
本実施例では、基準２次元画像点の３次元座標と目標物体の３次元方位とが決定された場合、２次元画像の基準２次元画像点から目標物体の被測定画像点までの距離に基づいて、予め設定された算出式に基づいて、被測定画像点に対応する３次元座標を決定する。さらに各画像点に対応する３次元座標構造に基づいてすべての目標物体とマッチングする３次元データを生成し、目標物体の２次元標記を利用して、目標物体の３次元標記を取得することを実現するため、直接に３次元標記を行うときに必要な人工的な作業時間を節約し、３次元標記の效率を向上させる。また、すべてのプロセスはすべてコンピュータによって自動的に完了されるため、人工による介入が必要なく、３次元標記のコストを低減することもできる。
本実施例により提供される３次元データの生成方法は、取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、さらに３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
実施例２
図２は、本発明の実施例２により提供される３次元データの生成方法のフローチャートである。本実施例は、上記の実施例に基づいて具体化する。本実施例では、目標物体を車両であると具体化し、輪郭情報標記結果は、車両の外枠と、車両の車頭と車体との分割線の外枠における位置とを含むようにさらに最適化する。
それに対応して、本実施例に係る３次元データの生成方法は、下記のようなステップを含む。
ステップＳ２１０：車両の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果は、車両の外枠と、車両の車頭と車体との分割線の外枠における位置とを含む。
本実施例では、車両の外枠は、具体的には、車両在２次元画像における外接矩形枠であってもよく、車両の車頭と車体との分割線の外枠における位置は、車両の車頭と車体との間の境界線の外接矩形枠における位置であってもよい。例えば、図１Ｂに示す上面図では、交点Ｂは、車両１の外枠における最左側点であり、交点Ｃは、車両１の外枠の最右側点であり、交点Ｄは、車両１の車頭と車体との分割線の外枠における位置点である。
図１Ｂに示されるように、一例として、車両１の外枠の幾何学的中心点Ｋ（ｘ、ｙ）を基準２次元画像点とし、２次元画像２における車両１の外枠の幅と高さが（ｗ、ｈ）である。また、外枠の幅ｈが交点Ｂと交点Ｃとの間の距離である場合、車両１の外枠における最左側点Ｂの横座標はｘｌｅｆｔ＝ｘｅ（ｗ／２）であり、最右側点Ｃの横座標はｘｒｉｇｈｔ＝ｘ＋（ｗ／２）であり、車頭と車体との分割線位置点Ｄの横座標はｘｓｅｇであることを取得することができる。
ステップＳ２２０：車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出する。
また、車両の外枠の外枠高さは、車両の２次元画像における外接矩形枠の高さ、すなわち２次元画像における車両の高さであってもよい。車両の外枠の外枠高さと標準３次元サイズにおける車両の実際の高さとの比は、２次元画像の撮影焦点距離と目標物体の被写界深度との比と等しいため、車両の外枠の外枠高さ、標準３次元サイズにおける車両の実際の高さ及び予め設定された２次元画像の撮影焦点距離に基づいて、車両の被写界深度、すなわち目標物体の被写界深度を算出することができる。
本実施例の変形例として、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出するステップは、式：Ｚ＝（Ｈ／ｈ）ｆに基づいて、目標物体の被写界深度Ｚを算出するステップを含んでいてもよい。
ただし、
Ｈは、車両の実際の高さであり、
ｈは、外枠高さであり、
ｆは、２次元画像に対応する撮影焦点距離である。
図１Ｂに示されるように、車両１の実際高さＨと、車両１の外枠高さｈと、２次元画像２の撮影焦点距離ｆとに基づいて、上記の算出式に基づいて車両１の被写界深度Ｚ、すなわち目標物体の被写界深度Ｚを算出して取得する。
ステップＳ２３０：車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出する。
本実施例では、目標物体の３次元方位は、具体的には、車両の車体長辺が撮影平面に対する角度であり、例えば、図１Ｂにおいて示す角度γである。具体的には、車頭と車体との分割線の外枠における位置に基づいて、車頭と車体との分割線と車両の外枠における最左側点との横方向距離を算出する。次に、横方向距離及び車両の被写界深度と撮影焦点距離との間の比の値に基づいて、実際のシーンの車両の車体長辺の２次元画像の撮影平面における投影長さを決定する。最後に、投影長さと標準３次元サイズにおける車両の実際の長さとに基づいて、予め設定された幾何式に基づいて、車両の３次元方位、すなわち目標物体の３次元方位を算出する。
本実施例の変形例として、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出するステップは、外枠における最左側点の横座標ｘｌｅｆｔを算出するステップと、横座標ｘｌｅｆｔと車頭と車体との分割線の外枠における位置とに基づいて、車頭と車体とのｆ分割線と、最左側点との横方向距離ｗｌｅｆｔを算出するステップと、下記の式（３）〜式（６）に基づいて、目標物体の３次元方位γを算出するステップとを含んでいてもよい。
Figure 2020042818
Figure 2020042818
Figure 2020042818
Figure 2020042818
 ただし、
Ｎは、実際のシーンの車両の車体長辺の２次元画像の撮影平面における投影であり、
Ｚは、目標物体の被写界深度であり、
αは、目標光線と撮影平面との間の角度であり、
βは、目標光線と車両の車体長辺との間の角度であり、
Ｌは、標準３次元サイズにおける車両の実際の長さであり、
目標光線は、実際のシーンにおける車両の最左側点と２次元画像の交点との間の接続線である。
図１Ｂに示されるように、２次元画像２における車両１の外枠の幾何学的中心点Ｋ点の座標を原点（０、０）として構築された２次元座標系では、車両１の外枠最左側点Ｂの横座標がｘｌｅｆｔ＝−（ｗ／２）であることを取得することができる。ただし、ｗは、車両１の２次元画像２における外枠の幅である。また、車頭と車体との分割線位置点Ｄの横座標がｘｓｅｇである場合、交点Ｂと位置点Ｄとの間の距離、すなわち車頭と車体との分割線と最左側点の横方向距離はｗｌｅｆｔ＝ｘｓｅｇ−ｘｌｅｆｔである。利用実際のシーンの車両１の車体長辺の２次元画像の撮影平面における投影長さ、すなわち交点Ｑと点Ｆとの間の距離と、２次元画像２における交点Ｂと位置点Ｄとの間の距離との比は、車両１の被写界深度と２次元画像２の撮影焦点距離の比と等しいため、上記の式（３）に基づいて実際のシーンにおける車両１の車体長辺の２次元画像の撮影平面における投影Ｎの長さを算出することができる。その後、三角関数式（４）に基づいて撮影焦点Ａと交点Ｂと交点Ｋによって構成された三角形における∠ＡＢＫの値を算出し、したがって、平行線定理、すなわち式（５）に基づいて、角度αの値を決定し、次に、車両１の実際の車体長さＬ、及び車両１の車体長辺の２次元画像の撮影平面における投影Ｎの長さを組み合わせて、正弦定理にしたがって、角βの値を取得し、最後に、三角形の内角の和の定理、すなわち式（６）に基づいて、角γ、すなわち目標物体の３次元方位を算出して取得する。
ステップＳ２４０：目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
ステップＳ２５０：基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
本実施例は、車両在２次元画像における外枠及び車両の車頭と車体との分割線の外枠における位置を取得し、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとを組み合わせて、車両の被写界深度を算出する。次に、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、車両の被写界深度とに基づいて、車両の３次元方位を算出する。最後に、車両中基準２次元画像点の２次元画像における２次元座標及び被写界深度を組み合わせて、基準２次元画像点の３次元座標を決定する。そして、基準２次元画像点の３次元座標及び車両の３次元方位に基づいて、車両とマッチングする３次元データを生成し、車両の２次元を利用して自動的に生成された車両の３次元データを標記するため、人工的に車両に対して３次元標記を行う必要がなく、車両３次元標記のコストを低減し、車両３次元標記の效率を向上させることができる。
実施例３
図３は、本発明の実施例３により提供される３次元データの生成装置の概略構成図である。図３に示されるように、３次元データの生成装置は、結果取得モジュール３１０と、３次元算出モジュール３２０と、座標決定モジュール３３０と、データ生成モジュール３４０とを備えている。
結果取得モジュール３１０は、目標物体の２次元画像における輪郭情報標記結果を取得する。
３次元算出モジュール３２０は、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。
座標決定モジュール３３０は、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
データ生成モジュール３４０は、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
本実施例により提供される３次元データの生成装置は、取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。さらに、３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
さらに、目標物体は、車両を備えることができ、輪郭情報標記結果は、車両の外枠と、及び車両の車頭と車体との分割線の外枠における位置とを含むことができる。
さらに、３次元算出モジュール３２０は、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出する被写界深度算出サブモジュールと、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出するための方位算出サブモジュールとを備えていてもよい。
さらに、被写界深度算出サブモジュールは、具体的には、式：Ｚ＝（Ｈ／ｈ）ｆに基づいて、目標物体の被写界深度Ｚを算出してもよい。
ただし、
Ｈは、車両の実際の高さであり、
ｈは、外枠高さであり、
ｆは、２次元画像に対応する撮影焦点距離である。
さらに、方位算出サブモジュールは、具体的には、外枠における最左側点の横座標ｘｌｅｆｔを算出し、ｘｌｅｆｔと車頭と車体との分割線の外枠における位置とに基づいて、車頭と車体とのｆ分割線と、最左側点との横方向距離ｗｌｅｆｔを算出し、下記の式（３）から式（６）に基づいて、前記目標物体の３次元方位γを算出してもよい。
Figure 2020042818
Figure 2020042818
Figure 2020042818
Figure 2020042818
 ただし、
Ｎは、実際のシーンにおける車両の車体長辺の２次元画像の撮影平面における投影であり、
Ｚは、目標物体の被写界深度であり、
αは、目標光線と撮影平面との間の角度であり、
βは、目標光線と車両の車体長辺との間の角度であり、
Ｌは、標準３次元サイズにおける車両の実際の長さであり、
目標光線は、実際のシーンにおける車両の最左側点と２次元画像の交点との間の接続線である。
さらに、３次元データの生成装置は、目標物体の２次元画像における輪郭情報標記結果を取得した後、輪郭情報標記結果に基づいて、２次元画像において目標物体とマッチングする部分画像をカットする画像カットモジュールと、部分画像を予めトレーニングされた標準３次元認識モデルに入力して、目標物体の標準３次元サイズを取得するサイズ取得モジュールとをさらに備えていてもよい。
さらに、座標決定モジュール３３０は、具体的には、下記の式（１）に基づいて、基準２次元画像点の３次元座標Ｐを算出することができる。
Figure 2020042818
 ただし、
ｘは、基準２次元画像点の横座標であり、
ｙは、基準２次元画像点の縦座標であり、
Ｚは、被写界深度であり、
ｆは、２次元画像に対応する撮影焦点距離である。
上記の３次元データの生成装置は、本発明の任意の実施例により提供される３次元データの生成方法を実行することができ、３次元データの生成方法を実行することに対応する機能モジュールと有益な効果を備える。
実施例４
図４は、本発明の実施例４により提供される機器の構成図である。図４は、本発明の実施形態を実現するのに適する例示的なコンピュータ機器１２のブロック図である。図４に示されるコンピュータ機器１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。
図４に示されるように、コンピュータ機器１２は、汎用コンピューティングデバイスの形態で示される。コンピュータ機器１２のコンポーネントは、少なくとも一つのプロセッサ又は処理ユニット１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８と処理ユニット１６とを有する）を接続するバス１８とを備えることができるが、これらに限定されない。
バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち少なくとも一つのものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。
コンピュータ機器１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、コンピュータ機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。コンピュータ機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードアクチュエー」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクアクチュエー、及びリムーバブル、不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクアクチュエーを提供することができる。この場合、各アクチュエーは、少なくとも一つのデータメディアインターフェイスを介してバス１８に接続することがきる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでいてもよい。
ワンセットのプログラムモジュール４２（少なくとも一つ）を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも一つのアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常、本発明に記載の実施例における機能及び／又は方法を実行する。
コンピュータ機器１２は、少なくとも一つの外部デバイス１４（例えば、キーボード、ポインティング機器、ディスプレイ２４など）と通信することができ、ユーザがコンピュータ機器１２とインタラクションすることを可能にする少なくとも一つの機器と通信することもでき、及び／又はコンピュータ機器１２が少なくとも一つの他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、コンピュータ機器１２は、ネットワークアダプタ２０を介して、少なくとも一つのネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示されるように、ネットワークアダプタ２０は、バス１８を介して、コンピュータ機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、コンピュータ機器１２と組み合わせて使用することができる。
処理ユニット１６は、システムメモリ２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の各実施例により提供される３次元データの生成方法を実現する。すなわち、処理ユニットがプログラムを実行するときに、目標物体の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成することを実現する。
実施例５
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。コンピュータプログラムがプロセッサによって実行される場合に、本発明の各実施例により提供される３次元データの生成方法を実現する。すなわち、コンピュータプログラムがプロセッサによって実行される場合に、目標物体の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成することを実現する。
少なくとも一つのコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、少なくとも一つの配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、コンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
少なくとも一つのプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。
なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (10)

  1. ３次元データの生成方法であって、
    目標物体の２次元画像における輪郭情報標記結果を取得するステップと、
    前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出するステップと、
    前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定するステップと、
    前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するステップとを含む３次元データの生成方法。
  2. 前記目標物体は、車両を備え、
    前記輪郭情報標記結果は、前記車両の外枠と、前記車両の車頭と車体との分割線の前記外枠における位置とを含む請求項１に記載の３次元データの生成方法。
  3. 前記輪郭情報標記結果と前記目標物体の前記標準３次元サイズとに基づいて、前記目標物体の前記被写界深度と前記目標物体の前記３次元方位とを算出するステップは、
    前記車両の前記外枠の外枠高さと、前記標準３次元サイズにおける前記車両の実際の高さとに基づいて、前記目標物体の前記被写界深度を算出するステップと、
    前記車頭と前記車体との分割線の前記外枠における前記位置と、前記標準３次元サイズにおける前記車両の実際の長さと、前記目標物体の前記被写界深度とに基づいて、前記目標物体の前記３次元方位を算出するステップとを含む請求項２に記載の３次元データの生成方法。
  4. 前記車両の前記外枠の前記外枠高さと、前記標準３次元サイズにおける前記車両の前記実際の高さとに基づいて、前記目標物体の前記被写界深度を算出するステップは、
    Ｚ＝（Ｈ／ｈ）ｆの式に基づいて、前記目標物体の前記被写界深度Ｚを算出するステップを含み、
    ただし、
    Ｈは、前記車両の前記実際の高さであり、
    ｈは、前記外枠高さであり、
    ｆは、前記２次元画像に対応する撮影焦点距離である請求項３に記載の３次元データの生成方法。
  5. 前記車頭と前記車体との分割線の前記外枠における前記位置と、前記標準３次元サイズにおける前記車両の前記実際の長さと、前記目標物体の前記被写界深度とに基づいて、前記目標物体の前記３次元方位を算出するステップは、
    前記外枠における最左側点の横座標ｘｌｅｆｔを算出するステップと、
    前記横座標ｘｌｅｆｔと、前記車頭と前記車体との分割線の前記外枠における前記位置とに基づいて、前記車頭と前記車体との分割線と、前記最左側点との横方向距離ｗｌｅｆｔを算出するステップと、
    下記の式（１）から式（４）に基づいて、前記目標物体の前記３次元方位γを算出するステップとを含み、
    Figure 2020042818
    Figure 2020042818
    Figure 2020042818
    Figure 2020042818
     ただし、
    Ｎは、実際のシーンにおける前記車両の車体長辺の前記２次元画像の撮影平面における投影であり、
    Ｚは、前記目標物体の前記被写界深度であり、
    αは、目標光線と前記撮影平面との間の角度であり、
    βは、前記目標光線と前記車両の車体長辺との間の角度であり、
    Ｌは、前記標準３次元サイズにおける前記車両の実際の長さであり、
    前記目標光線は、実際のシーンにおける前記車両の最左側点と前記２次元画像の交点との間の接続線である請求項４に記載の３次元データの生成方法。
  6. 前記目標物体の前記２次元画像における前記輪郭情報標記結果を取得したステップの後、
    前記輪郭情報標記結果に基づいて、前記２次元画像において前記目標物体とマッチングする部分画像をカットするステップと、
    前記部分画像を予めトレーニングされた標準３次元認識モデルに入力して、前記目標物体の標準３次元サイズを取得するステップとをさらに含む請求項１から請求項５のいずれかに記載の３次元データの生成方法。
  7. 前記目標物体における前記基準２次元画像点の前記２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の前記３次元座標を決定するステップは、
    下記式（５）に基づいて、前記基準２次元画像点の前記３次元座標Ｐを算出するステップを含み、
    Figure 2020042818
     ただし、
    ｘは、前記基準２次元画像点の横座標であり、
    ｙは、前記基準２次元画像点の縦座標であり、
    Ｚは、前記被写界深度であり、
    ｆは、前記２次元画像に対応する撮影焦点距離である請求項１から請求項６のいずれかに記載の３次元データの生成方法。
  8. ３次元データの生成装置であって、
    目標物体の２次元画像における輪郭情報標記結果を取得する結果取得モジュールと、
    前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出する３次元算出モジュールと、
    前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定する座標決定モジュールと、
    前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するデータ生成モジュールとを備える３次元データの生成装置。
  9. コンピュータ機器であって、
    メモリと、
    プロセッサと、
    前記メモリに記憶され、前記プロセッサによって実行可能なコンピュータプログラムとを備え、
    該コンピュータプログラムが前記プロセッサによって実行される場合に、請求項１から請求項７のいずれかに記載の３次元データの生成方法を実現するコンピュータ機器。
  10. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１から請求項７のいずれかに記載の３次元データの生成方法を実現するコンピュータ読み取り可能な記憶媒体。
JP2019163317A 2018-09-07 2019-09-06 ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 Active JP6830139B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811045660.6A CN109242903B (zh) 2018-09-07 2018-09-07 三维数据的生成方法、装置、设备及存储介质
CN201811045660.6 2018-09-07

Publications (2)

Publication Number Publication Date
JP2020042818A true JP2020042818A (ja) 2020-03-19
JP6830139B2 JP6830139B2 (ja) 2021-02-17

Family

ID=65060153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163317A Active JP6830139B2 (ja) 2018-09-07 2019-09-06 ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US11024045B2 (ja)
EP (1) EP3621036A1 (ja)
JP (1) JP6830139B2 (ja)
CN (1) CN109242903B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249232A1 (ja) * 2021-05-24 2022-12-01 日本電信電話株式会社 学習装置、学習済みモデルの生成方法、データ生成装置、データ生成方法およびプログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816727B (zh) * 2019-01-29 2023-05-02 江苏医像信息技术有限公司 三维图集的目标识别方法
CN109829447B (zh) * 2019-03-06 2021-04-30 百度在线网络技术（北京）有限公司 用于确定车辆三维框架的方法和装置
CN110033515B (zh) * 2019-04-15 2023-04-07 同济大学建筑设计研究院(集团)有限公司 图形转换方法、装置、计算机设备及存储介质
CN110287764B (zh) 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN110826499A (zh) * 2019-11-08 2020-02-21 上海眼控科技股份有限公司 物体空间参数检测方法、装置、电子设备及存储介质
CN111161129B (zh) * 2019-11-25 2021-05-25 佛山欧神诺云商科技有限公司 二维图像的立体交互设计方法、系统
CN113065999B (zh) * 2019-12-16 2023-03-10 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置、图像处理设备及存储介质
CN111136648B (zh) * 2019-12-27 2021-08-27 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN113435224A (zh) * 2020-03-06 2021-09-24 华为技术有限公司 用于获取车辆3d信息的方法和装置
CN111401423B (zh) * 2020-03-10 2023-05-26 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN113392267B (zh) * 2020-03-12 2024-01-16 平湖莱顿光学仪器制造有限公司 一种用于生成目标对象的二维显微视频信息的方法与设备
CN111581415B (zh) * 2020-03-18 2023-07-04 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备
CN111476798B (zh) * 2020-03-20 2023-05-16 上海遨遥人工智能科技有限公司 一种基于轮廓约束的车辆空间形态识别方法及系统
CN111882596B (zh) * 2020-03-27 2024-03-22 东莞埃科思科技有限公司 结构光模组三维成像方法、装置、电子设备以及存储介质
CN111429512B (zh) * 2020-04-22 2023-08-25 北京小马慧行科技有限公司 图像处理方法和装置、存储介质及处理器
CN111541907B (zh) * 2020-04-23 2023-09-22 腾讯科技（深圳）有限公司 物品显示方法、装置、设备及存储介质
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
CN113591518B (zh) * 2020-04-30 2023-11-03 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
CN112089422A (zh) * 2020-07-02 2020-12-18 王兆英 基于伤口面积分析的自适应医疗系统及方法
CN111754622B (zh) * 2020-07-13 2023-10-13 腾讯科技（深圳）有限公司 脸部三维图像生成方法及相关设备
CN112097732A (zh) * 2020-08-04 2020-12-18 北京中科慧眼科技有限公司 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112070782B (zh) * 2020-08-31 2024-01-09 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN112183241A (zh) * 2020-09-11 2021-01-05 北京罗克维尔斯科技有限公司 基于单目图像的目标检测方法和装置
CN112132113A (zh) * 2020-10-20 2020-12-25 北京百度网讯科技有限公司 车辆再识别的方法、装置、训练方法以及电子设备
CN112164143A (zh) * 2020-10-23 2021-01-01 广州小马慧行科技有限公司 三维模型的构建方法、构建装置、处理器和电子设备
CN112258640B (zh) * 2020-10-30 2024-03-22 李艳 颅骨模型的建立方法、装置、存储介质及电子设备
CN113873220A (zh) * 2020-12-03 2021-12-31 上海飞机制造有限公司 一种偏差分析方法、装置、系统、设备及存储介质
CN116635754A (zh) * 2020-12-04 2023-08-22 西安大医集团股份有限公司 实时位置监测方法、电子设备、系统及存储介质
CN112634152A (zh) * 2020-12-16 2021-04-09 中科海微(北京)科技有限公司 基于图像深度信息的人脸样本数据增强方法及系统
CN112785492A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN112907550B (zh) * 2021-03-01 2024-01-19 创新奇智(成都)科技有限公司 一种建筑物检测方法、装置、电子设备及存储介质
CN112990217A (zh) * 2021-03-24 2021-06-18 北京百度网讯科技有限公司 针对车辆的图像识别方法、装置、电子设备和介质
CN113806870A (zh) * 2021-10-29 2021-12-17 中车青岛四方机车车辆股份有限公司 车辆的三维建模的方法、装置和车辆系统
CN113902856B (zh) * 2021-11-09 2023-08-25 浙江商汤科技开发有限公司 一种语义标注的方法、装置、电子设备及存储介质
CN114637875A (zh) * 2022-04-01 2022-06-17 联影智能医疗科技(成都)有限公司 一种医学图像标注方法、系统及装置
CN115482269B (zh) * 2022-09-22 2023-05-09 佳都科技集团股份有限公司 一种土方量计算方法、装置、终端设备以及存储介质
CN116643648B (zh) * 2023-04-13 2023-12-19 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质
CN116611165B (zh) * 2023-05-18 2023-11-21 中国船舶集团有限公司第七一九研究所 一种基于catia的设备基座快速标注方法及系统
CN116704129B (zh) * 2023-06-14 2024-01-30 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质
CN117744185A (zh) * 2024-01-03 2024-03-22 西北工业大学太仓长三角研究院 几何模型的粒子生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055446A (ja) * 1996-08-09 1998-02-24 Omron Corp 物体認識装置
JP2006053756A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 物体検出装置
US20150332474A1 (en) * 2014-05-18 2015-11-19 Edge 3 Technologies, Inc. Orthogonal and Collaborative Disparity Decomposition
US20180211399A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3d) point cloud

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102374860B (zh) * 2011-09-23 2014-10-01 奇瑞汽车股份有限公司 三维视觉定位方法及系统
CN105241424B (zh) 2015-09-25 2017-11-21 小米科技有限责任公司 室内定位方法和智能管理装置
CN105333837A (zh) * 2015-10-21 2016-02-17 上海集成电路研发中心有限公司 三维扫描装置
CN105447812B (zh) * 2015-11-10 2018-11-27 南京大学 一种基于线状阵列的三维活动图像显示及信息隐藏方法
CN105704476B (zh) * 2016-01-14 2018-03-20 东南大学 一种基于边缘修复的虚拟视点图像频域快速获取方法
CN106251330A (zh) * 2016-07-14 2016-12-21 浙江宇视科技有限公司 一种点位标记方法及装置
US10380439B2 (en) * 2016-09-06 2019-08-13 Magna Electronics Inc. Vehicle sensing system for detecting turn signal indicators
JP2018091656A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
CN106803073B (zh) * 2017-01-10 2020-05-05 江苏信息职业技术学院 基于立体视觉目标的辅助驾驶系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055446A (ja) * 1996-08-09 1998-02-24 Omron Corp 物体認識装置
JP2006053756A (ja) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology 物体検出装置
US20150332474A1 (en) * 2014-05-18 2015-11-19 Edge 3 Technologies, Inc. Orthogonal and Collaborative Disparity Decomposition
US20180211399A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3d) point cloud

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249232A1 (ja) * 2021-05-24 2022-12-01 日本電信電話株式会社 学習装置、学習済みモデルの生成方法、データ生成装置、データ生成方法およびプログラム

Also Published As

Publication number Publication date
EP3621036A1 (en) 2020-03-11
CN109242903B (zh) 2020-08-07
JP6830139B2 (ja) 2021-02-17
US11024045B2 (en) 2021-06-01
US20200082553A1 (en) 2020-03-12
CN109242903A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
US10086955B2 (en) Pattern-based camera pose estimation system
US20180372852A1 (en) Method and apparatus for calibration between laser radar and camera, device and storage medium
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
JP2020042804A (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
CN112771573A (zh) 基于散斑图像的深度估计方法及装置、人脸识别系统
US20170116776A1 (en) Structure-based camera pose estimation system
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
US9858669B2 (en) Optimized camera pose estimation system
CN109509236B (zh) 无人驾驶场景中的车辆包围盒生成方法、装置及存储介质
JP2020057387A (ja) 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体
CN110930422B (zh) 物体外框确定方法、装置、计算机设备和可读存储介质
WO2024083006A1 (zh) 一种三维成像方法、装置、设备和存储介质
JP2022014921A (ja) 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN113487676B (zh) 确定安装于采集实体的相机之间相对姿态角的方法和装置
CN115661493A (zh) 一种对象位姿的确定方法及装置、设备及存储介质
CN115346020A (zh) 点云处理方法、避障方法、装置、机器人和存储介质
US11657506B2 (en) Systems and methods for autonomous robot navigation
CN113034562B (zh) 用于优化深度信息的方法和装置
CN112348875B (zh) 一种标志杆的结构化参数表示确定方法及装置
CN112435293B (zh) 一种车道线的结构化参数表示确定方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6830139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250