JP2016161569A - オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム - Google Patents

オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム Download PDF

Info

Publication number
JP2016161569A
JP2016161569A JP2016021810A JP2016021810A JP2016161569A JP 2016161569 A JP2016161569 A JP 2016161569A JP 2016021810 A JP2016021810 A JP 2016021810A JP 2016021810 A JP2016021810 A JP 2016021810A JP 2016161569 A JP2016161569 A JP 2016161569A
Authority
JP
Japan
Prior art keywords
point cloud
landmark
location
triangle
parametric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016021810A
Other languages
English (en)
Other versions
JP6681729B2 (ja
Inventor
マイケル・ジェイ・ジョーンズ
J Jones Michael
ティム・マークス
Marks Tim
シャフダル・パパツォフ
Papazov Chavdar
Original Assignee
三菱電機株式会社
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/632,466 priority Critical patent/US10515259B2/en
Priority to US14/632,466 priority
Application filed by 三菱電機株式会社, Mitsubishi Electric Corp filed Critical 三菱電機株式会社
Publication of JP2016161569A publication Critical patent/JP2016161569A/ja
Application granted granted Critical
Publication of JP6681729B2 publication Critical patent/JP6681729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00248Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • G06K9/4609Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections by matching or filtering
    • G06K9/4619Biologically-inspired filters, e.g. receptive fields
    • G06K9/4623Biologically-inspired filters, e.g. receptive fields with interaction between the responses of different filters
    • G06K9/4628Integrating the filters into a hierarchical structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/627Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns
    • G06K9/6271Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

【課題】姿勢に依存しない3Dオブジェクトの記述子を提供する。
【解決手段】オブジェクトの三次元(3D)ポイントクラウドを得ることによって、オブジェクトの3D姿勢およびオブジェクトのランドマーク点の3Dロケーションを求める。3Dサーフェスパッチは、3Dポイントクラウドから抽出され、各3Dサーフェスパッチにパラメトリックモデルが当てはめられ、記述子の組が求められる。記述子の組と、既知の3D姿勢およびランドマーク点の既知の3Dロケーションを有する同じオブジェクトクラスからのオブジェクトの3Dポイントクラウドから抽出されたパッチの記述子の組との間の対応関係の組が求められる。対応関係の組から、オブジェクトの3D姿勢およびオブジェクトのランドマーク点の3Dロケーションが推定される。
【選択図】図1

Description

本発明は、包括的には、コンピュータビジョンに関し、詳細には、オブジェクトの3D姿勢およびオブジェクトのランドマーク点の3Dロケーションを求めることに関し、より詳細には、3D頭部姿勢と顔ランドマーク(facial landmark)の3Dロケーションとを求めることに関する。
複数のコンピュータビジョンアプリケーションが、三次元(3D)ポイントクラウドから、オブジェクトの3D姿勢(3D回転角度および3D並進)と、オブジェクトにおけるランドマーク点の3Dロケーションとを自動的に求めることを必要とする。特に、いくつかの用途では、3Dポイントクラウドから、人間の頭部の3D姿勢と、眼の重心等の顔ランドマークの3Dロケーションとが必要である。3Dポイントクラウドは、通常、Microsoft Kinect(商標)、Creative Senz3D(商標)センサまたはステレオカメラ等の奥行きセンサによって取得される奥行き画像から構築される。3Dポイントクラウドは、オブジェクトの3Dモデルを用いて合成的に生成することもできるし、Cyberware(商標)スキャナ等の3Dスキャナを直接用いて取得することもできる。
頭部姿勢および顔ランドマークロケーションを自動的に求めることは、ほんの数例の用途を挙げると、顔認識システム、人間とコンピュータとのインターフェース、および拡張現実システムのために重要である。顔認識システムにおいて、例えば、高精度に対する障害のうちの1つは頭部の姿勢の変動である。姿勢を正確に求めることによって、コンピュータグラフィック技法を用いて正面姿勢の顔を再レンダリングすることができ、このため、姿勢に起因した変動を大幅に解消することができる。
別の例として、ヘッドアップディスプレイとしてフロントガラスを用いる車のための拡張現実システムは、情報がフロントガラスを通じて見える世界のオブジェクトと適切に位置合わせされるようにヘッドアップディスプレイ上に情報を適切にオーバーレイするために、運転者の眼の3D位置を精密に求める必要がある。
頭部姿勢および顔ランドマーク推定の問題に対する複数の従来技術の解決策が存在する。多くの解決策は、グレースケールカメラまたはカラーカメラによって取得された2D画像を用い、例えば、3Dモーフィングモデルの姿勢、形状および照明パラメータを最適化して、入力画像に可能な限り厳密に一致する2Dレンダリングを得ることによって、3D姿勢およびロケーションを推測する。
この問題を解決するためのいくつかの従来技術の方法は、奥行き画像(奥行きマップとしても知られる)を用いる。奥行き画像は、各ピクセルにおける値が奥行き値を表す2D画像であるか、または各ピクセルが色値および奥行き値を有する、色+奥行き画像である。色+奥行き画像を捕捉するセンサは、RGB−D(赤、緑、青、奥行き)センサと呼ばれる場合があり、センサが生成する画像は、RGB−D画像と呼ばれる場合があることに留意されたい。単色+奥行き画像(例えば、グレースケール+奥行き)は、色+奥行き画像の一種とみなすことができることにも留意されたい。
1つの方法は、ステレオ画像対を用いて奥行きを求め、次に、肌の色を用いて頭部を検出する。3層ニューラルネットワークは、頭部領域のスケーリングされた奥行き画像を所与として姿勢を推定する。非特許文献1を参照されたい。
別の方法は、低ノイズ奥行き画像取得システムと、グラフィックスプロセッシングユニット(GPU)の速度とを利用する、頭部姿勢推定のためのより正確でより高速なシステムを用いる。まず、候補3D鼻位置が、高品質奥行き画像において検出される。次に、GPUを用いて、入力奥行き画像と、各候補鼻位置に配置された平均頭部モデルから生成された複数の記憶された奥行き画像との間の最良の一致が特定される。非特許文献2を参照されたい。
他の方法は、高品質の3D奥行き画像も入力として用いる。これらの方法は、ランダム回帰フォレストと、奥行き画像のパッチから頭部姿勢角度または顔ランドマークロケーションへの学習されたマッピングとに基づく。事後確認作業において、Kinectセンサが用いられる。Kinectセンサは、前の作業において用いられる高品質スキャンと比較して大幅にノイズの多いデータを提供する。非特許文献3、非特許文献4および非特許文献5を参照されたい。
1つの方法は、入力に最も一致するテンプレートの3D回転を求めることによって、Kinectセンサの奥行き画像を用いて姿勢を推定する。しかしながら、その方法は、既知の姿勢の人物固有の初期テンプレートを必要とする。これによって、その方法は多くの用途で実現不可能となっている。非特許文献6を参照されたい。
特許文献1および特許文献2は、人間の身体の姿勢推定方法について記載している。この方法における目標は、身体の骨格の関節位置を推定することである。その方法において、奥行き画像のパッチを用いて特徴ベクトルを求める。特徴ベクトルは、近似最近傍アルゴリズムを用いて、関節位置に対する既知の変位を有するトレーニングパッチからの特徴ベクトルのデータベースに対し照合される。各最近傍一致を用いて、関節のロケーションに対する変位が得られる。次に、これらの変位を用いて所望の関節位置の推定値が導出される。
米国特許第8,582,867号 米国特許第8,824,781号
Seeman他「Head pose estimation using stereo vision for human−robot interaction」IEEE International Conference on Automatic Face and Gesture Recognition, pp. 626−631, May 2004 Breitenstein他「Real−time face pose estimation from single range images」IEEE International Conference on Computer Vision and Pattern Recognition, pp. 1−8, June 2008 Fanelli他「Random forests for real time 3D face analysis」International Journal of Computer Vision, 101:437−458, 2013 Fanelli他「Real time head pose estimation with random regression forests」IEEE International Conference on Computer Vision and Pattern Recognition, 2011 Fanelli他「Real time head pose estimation from consumer depth cameras」Proceedings of the German Association for Pattern Recognition (DAGM) Symposium, 2011 Padeleris他「Head pose estimation on depth data based on particle swarm optimization」CVPR Workshop on Human Activity Understanding from 3D Data, 2012
本発明の実施形態は、奥行き画像からまたは色+奥行き画像内の奥行き情報から構築することができるような3Dポイントクラウドから、オブジェクトの3D姿勢と、オブジェクトにおけるランドマーク点の3Dロケーションとを自動的に求める方法およびシステムを提供する。
本方法は、奥行きセンサの特定のモデルまたはタイプに限定されない。なぜなら、トレーニングデータを低ノイズ(またはノイズなし)の3Dオブジェクトモデルから生成することができるためである。ノイズの多いセンサを用いて機能する従来技術のモデルでは、トレーニングデータは試験データと同じタイプのセンサを用いて取得されなくてはならないか、またはそうでなければ精度が低減する。本方法は低ノイズまたはゼロノイズ高分解能モデルを用いてトレーニングすることができるので、いかなる特定の用途において用いられる試験センサからも独立している。これによって、本方法は既存の方法よりも汎用的に適用可能かつ移行可能となっている。
3Dポイントクラウドから、本方法は3Dサーフェスパッチを抽出する。パラメトリックモデルは各3Dサーフェスパッチに当てはめられる。パッチに適合するのに用いられるパラメータは、パッチの記述子として、特徴ベクトルの形態で用いられる。次に、近似最近傍探索を用いて、3Dポイントクラウドから抽出されるパッチの記述子と、トレーニングデータから抽出された類似のサーフェスパッチの記述子との間の1組の対応関係が求められる。トレーニングサーフェスパッチは、既知の姿勢とオブジェクトランドマーク点の既知のロケーションとを有するオブジェクトのポイントクラウドから抽出される。
各対応関係によって、3D回転および3D並進、並びにオブジェクトランドマーク点の3Dロケーションを含むオブジェクトの姿勢の推定値が得られる。各個々の推定値はノイズが多い可能性があるが、全ての3Dサーフェスパッチからの全ての対応関係の組によって、3D姿勢およびランドマーク点の3Dロケーションの正確な推定値が得られる。
好ましい実施形態では、オブジェクトは人間の頭部であり、ランドマーク点は、鼻の先端、眼の中心、および眼の端等の顔ランドマークである。
好ましい実施形態では、パッチは、頂点が頭部を表す3Dポイントクラウドから抽出される基本正三角形に基づく三角形サーフェスパッチ(TSP)である。いくつかの実施形態では、各パッチに当てはめるのに用いられるパラメトリックモデルは、三角形ベジエサーフェスである。他の実施形態では、各三角形パッチに当てはめられるパラメトリックモデルはサブ三角形パラメトリックモデルである。他の実施形態は、基本三角形の上下のサーフェスの他のパラメトリックモデルを用いる。
従来技術の方法は通常、3Dポイントクラウドによって表される3Dサーフェスの3Dパッチではなく、奥行き画像の2Dパッチを用いる。これらの方法は、ポイントクラウドの局所領域に対しパラメトリックサーフェスを当てはめない。これらの記述子は、奥行き画像の2Dパッチに含まれる点に基づく。このため、これらの記述子は、トレーニングセットが、入力試験画像と類似した姿勢の頭部の奥行き画像から抽出されたパッチを含まなくてはいけないという点で、姿勢に固有である。
対照的に、本発明の実施形態によって用いられる記述子は姿勢に固有ではなく、3Dポイントクラウドのトレーニングセットは必ずしも何らかの特定の頭部姿勢を表すものではない。
本発明の実施形態による、3Dポイントクラウドから頭部の3D姿勢および顔ランドマークの3Dロケーションを求める方法およびシステムの流れ図である。 本発明の実施形態によって用いられる正三角形の概略図である。 本発明の実施形態による3D三角形サーフェスパッチ(TSP)の概略図である。 本発明の実施形態による、無限長の三角形プリズム内の1組の点の概略図である。 本発明の実施形態による、サブ三角形パラメトリックモデルと呼ばれる第1のパラメトリックモデルの概略図である。 本発明の実施形態による、サブ三角形パラメトリックモデルと呼ばれる第1のパラメトリックモデルの概略図である。 本発明の実施形態による、サブ三角形パラメトリックモデルと呼ばれる第1のパラメトリックモデルの概略図である。 本発明の実施形態による、トレーニングのために用いられる例示的な3D頭部の概略図である。 本発明の実施形態による、トレーニングのために用いられる基本三角形および関連データの概略図である。 本発明の実施形態による、3D頭部モデルから導出されたポイントクラウドから抽出された、基本三角形にわたって定義された三角形サーフェスパッチ(TSP)の概略図である。 本発明の実施形態による、3D頭部モデルから導出されたポイントクラウドから抽出された、基本三角形にわたって定義された三角形サーフェスパッチ(TSP)の概略図である。 本発明の実施形態によるTSPを近似するベジエ三角形の概略図である。
システムおよび方法の概観
図1に示すように、本発明の実施形態は、頭部102の3D姿勢118および例えば顔ランドマークの3Dロケーション119を自動的に求める方法およびシステムを提供する。3Dポイントクラウド101が得られる。得る手段は、例えば、奥行きセンサ103によって取得された奥行き画像から3Dポイントクラウドを計算することによるものとすることができる。3Dポイントクラウドから、本方法は3Dサーフェスパッチ111を抽出する(110)。パラメトリックモデル109は各3Dサーフェスパッチに当てはめられる(120)。サーフェスパッチを当てはめるのに用いられるパラメータは、例えば特徴ベクトルの形態で、パッチのための記述子として用いられる。このため、観測された3Dポイントクラウドから抽出された情報は、全ての抽出されたサーフェスパッチ111の記述子の組121に含まれる。近似最近傍アルゴリズムを用いて、3Dポイントクラウドから抽出されたパッチの記述子の組と、トレーニングデータから以前に抽出され、ライブラリ129に記憶された同様のサーフェスパッチの記述子との間の1組の対応関係が求められる。トレーニングサーフェスパッチは、既知の姿勢および顔ランドマークの既知のロケーションを有する頭部のポイントクラウドから抽出される。好ましい実施形態では、これらのポイントクラウドは、ランダムに生成された合成3D頭部モデルから得られる。
本方法は、3Dポイントクラウドによって表されるオブジェクトが同じオブジェクトクラスにある限り、頭部以外のオブジェクトにも適用することができ、例えば、オブジェクトクラスは、頭部、車両、ロボット等であり得ることが理解される。
各対応関係によって3D頭部姿勢118の推定値が得られる。この推定値は、3D回転および3D並進、並びに顔ランドマークの推定3Dロケーション119を含む。各個々の推定値はノイズを有する可能性があるが、ポイントクラウドから抽出された全ての3Dサーフェスパッチからの全ての対応関係の組によって、3D頭部姿勢および3D顔ランドマークロケーションの正確な推定値が得られる。
これらのステップは、(3Dポイントクラウドおよびライブラリ129を記憶するための)メモリおよび(例えば、当該技術分野において既知のバスによってセンサ103に接続された)入出力インターフェースに接続されたプロセッサ100において実行することができる。
本方法への入力は、現実世界のオブジェクト(例えば、頭部)を表す3Dポイントクラウドであり、本方法の出力はオブジェクトの3D姿勢およびランドマークの3Dロケーションである。姿勢およびランドマークは、例えば表示デバイスに、または更なる処理を行う別のアプリケーションに送信することができる。
三角形サーフェスパッチ
本発明の好ましい実施形態は、3D三角形サーフェスパッチ(TSP)を用いる。
図2Aに示すように、各3D TSP111は、まず、頂点204が概ね3Dポイントクラウドによって表されるサーフェス上にある、所定の辺長を有する正三角形T201を定義することによって3Dポイントクラウドから抽出される。3Dポイントクラウドのサーフェスから3mm等の閾値距離以内にある頂点が許可される。この三角形TをTSPのための基本三角形と呼ぶ。多岐にわたる方法を用いてサーフェス三角形Tを選択することができる。好ましい実施形態では、ポイントクラウドによって定義されるサーフェス上のランダムなロケーションおよびランダムな向きから所定のサイズの正三角形を選択する方法を用いる。
正三角形サンプリング
3Dポイントクラウドからの高速正三角形サンプリングを、本方法のトレーニングフェーズおよび試験フェーズの双方において用いることができる。問題は以下のように定式化することができる。ポイントクラウド
並びに2つの正の数dおよびlを所与として、各qとSからの最近傍点との間の距離がdよりも小さくなるような辺長lを有する正三角形T=(q,q,q)を生成する。
明らかに、或る特定のポイントクラウド並びにdおよびlの値の場合、そのような三角形は存在しない。しかしながら、本発明によるポイントクラウドは十分密であり、dおよびlの双方が適切な値、例えばd=3mmを有する。
まず、Sの点からシード点pを一様にサンプリングし、pにおいて法線方向nを計算する。
Sがメッシュの頂点の組である場合、シード点はランダムに選択されたメッシュ三角形の内部から一様にサンプリングされる。ここで、メッシュ三角形を選択する確率はその面積に比例する。この場合、nは単に、pがサンプリングされたメッシュ三角形の法線である。
Sが奥行き画像から再構成されたポイントクラウドである場合(各ポイントは奥行きマップ内の単一のピクセルに対応する)、シード点pはポイントクラウド内の点の組から一様にサンプリングすることができる。この場合、nを、pおよびその4連結近傍の対を通過する面の法線の平均として計算する。ここで、Sの近傍構造は、奥行き画像の長方形格子によって課される近傍構造である。
ここで、シード点pおよび法線nを得ているので、辺長lを有する正三角形Tを生成し、この正三角形Tが、pおよびnによって定義される面内にあり、かつこの正三角形Tの重心がpと合致するようにこの正三角形Tを変換する。これは、区間[0、2π)からランダムに選択する角度だけnの回りを回転させてTを定義する。
この手順によって、ポイントクラウドに十分近いことを除いて全ての要件を満たすランダムに生成された三角形が得られる。これを達成するために、反復最近傍点(ICP)アルゴリズムを用いてTを変換する。ICPの各反復において、まず、全ての三角形頂点qについて、Sからq’によって表される最近傍点を計算し、次に、q’と変換されたqとの間の二乗距離の総和iが最小になるようにTを剛体変換する。
最初は、TはSからあまり離れていないため、ICPは通常、僅かな数の反復(例えば、3回の反復)以内で収束する。その後、各三角形頂点が実際にSから距離d以内にあるか否かを検査する。そうでない場合、三角形は拒否され、全体手順が繰り返される。このサンプリング方法は、入力ポイントクラウドを概ね一様にカバーする三角形を生成する。奥行き画像のノイズが多すぎ、かつ法線nを確実に計算することができない場合、単にnを、奥行きセンサのビュー方向の負値(通常、[0、0、−1])にセットすることができることに留意されたい。この場合、初期三角形もポイントクラウドに位置合わせされず、ICPは収束するために追加の反復を必要とする可能性が高い。
そのような正三角形Tを所与として、3D TSP P202は、図2Bに示すように、正三角形の上または下の顔のサーフェス上に位置するポイントクラウドからの点を含む。換言すれば、3D TSPは、基本三角形Tを有する無限に高い三角形プリズム203内に含まれるポイントクラウドからの点の組である。
図2Cに示すように、無限範囲のプリズムを有することによって、基本三角形に近い点および頭部の無関係の部分に属する点を含むTSPが導かれる可能性がある。これを回避するために、点がプリズムの内側にあり、かつ基本三角形の重心を中心とし基本三角形の頂点を通る外接球の内部にあるときにのみ、点がTSP内にあるとみなす。
一般的なサーフェス形状の場合、基本三角形の外接球は基本三角形の過度に上または下にあるサーフェス部分を切り離すことができる。しかしながら、顔は限られた局所的高さ変動を有し、本発明では十分に大きな辺長を有する三角形を用いるので、実際にこれが生じることはない。
基本三角形Tおよび対応する三角形サーフェスパッチPを所与として、TSPを表すコンパクト記述子を求める。本発明では、パラメトリックモデルを3Dサーフェスパッチに当てはめることによってこれを行う。次に、モデルのパラメータをサーフェスパッチの記述子として用いる。サブ三角形パラメトリックモデルまたはベジエ三角形パラメトリックモデル等の、TSPに当てはめて、TSPの記述子を与えることができる複数のタイプのパラメトリックモデルが存在する。
サブ三角形パラメトリックモデル
図3Aに示すような第1のパラメトリックモデルでは、基本三角形はk個のサブ正三角形(例えば、k=4)に分割される。TSP P内の点が基本三角形上に垂直に投影される場合、P内の各点はサブ三角形のうちの1つに投影される。このことを、点がサブ三角形に属す、または同等に、サブ三角形が点を含むと言う。図3Bに示すように、P内の各点は基本三角形からの或る(正または負の)高さ301を有する。
各サブ三角形の記述子は、サブ三角形内に含まれる点の平均高である。サブ三角形内の全ての点の平均高を用いることによって、記述子が、ポイントクラウド内のノイズおよびデータ分解能の変動に対しロバストになる。サブ三角形パラメトリックモデルにおいて、TSPの記述子は、全てのサブ三角形の記述子の連結であるベクトルvである。TSP記述子は、図3Cに示すように、TSPを近似する基本三角形の座標系内で定義される区分的に一定な三角形サーフェスパッチのパラメータ組として解釈することができる。サブ三角形内に含まれるサーフェスパッチの部分は、サブ三角形と合同でありサブ三角形に平行であるが、サブ三角形から離れている、すなわち基本三角形に対し、サブ三角形に含まれる点の平均高だけ、垂直な方向にオフセットされている三角形サブパッチとして近似される。
欠落データの充填
現実世界の奥行き画像の更なる課題は、奥行きセンサにおける制限および頭部の自己遮蔽に起因する穴の存在である。これによって、空のサブ三角形および未定義の記述子を有するTSPが導かれる可能性がある。
これに対処するために、反復手順を用いて、空の(すなわち、埋められていない)サブ三角形にわたってフルの(すなわち、埋められた)サブ三角形の高さ情報を伝搬することによって欠落データを満たす。各反復中、各空のサブ三角形は、そのフルの近傍サブ三角形の平均高を割り当てることによって埋められる。フルの近傍を有しないサブ三角形は、現在の反復中変更されないままである。このプロセスは、全てのサブ三角形が埋められるまで繰り返される。最終的に、固定数の平滑化反復、例えば、近傍サブ三角形内の値の単純な平均化が、元のフルのサブ三角形を変更することなく新たに埋められたサブ三角形のみに適用される。これによって、ポイントクラウド内の任意の穴にわたる高さ情報の平滑な分布がもたらされる。
ベジエ三角形パラメトリックモデル
図5A〜図5Cは、第2のパラメトリックモデルの例、すなわち、3Dポイントクラウドから抽出された基本三角形501にわたって定義されるベジエ三角形を示す。この例において、ポイントクラウドは、高分解能3Dメッシュの頂点ロケーションからなる。TSP502は、ベジエ三角形503を用いて近似される。この例では、ベジエ三角形503は、TSP502の平滑な近似である。ベジエ三角形は、n個の制御点によって定義されるサーフェスであり、これらはそれぞれ、基本三角形におけるn個の規則的に離間された点に関連付けられる。一般的なベジエ三角形の場合、モデルのパラメータは、基本三角形上の点の位置からの各制御点の3D変位であり、すなわち、制御点ごとの3つのパラメータである。
モデルを単純化し、ベジエ三角形のパラメータ数を低減するために、各制御点を基本三角形に対し垂直に変位されるように制限する。このため、制御点ごとに、1つのみ対応するパラメータ、すなわち、基本三角形の上または下の制御点の高さが存在する。制御点の数nは、TSP Pにおける3D点の組に対するベジエ三角形の所望の当てはめに依拠して変動する可能性がある。このモデルを用いると、TSP記述子は単に、全ての制御点の高さ(正または負)を含む長さnのベクトルである。
三角形サーフェスパッチおよびTSP記述子の利点
本手法の第1の重要な強みは、三角形サーフェスパッチが、奥行き画像ではなく3Dポイントクラウドにわたって定義されることである。これによって、パッチは視点の変化を受けたときに、より不変となる。奥行き画像のパッチ上で特徴を直接計算する従来技術の方法は、トレーニングセットが、試験奥行きマップと同様の視点から捕捉された奥行きマップを含むことを必要とする。なぜなら、普通の写真画像と全く同様に、奥行き画像は視点の変化とともに大幅に変動する可能性があるためである。奥行き画像と対照的に、3Dポイントクラウドは、より広い範囲の視点変化にわたってその基本形状を維持する。このため、トレーニングデータが特定の始点と関連付けられていないにもかかわらず、本手法は極めて良好に機能する。
本手法の第2の強みは、本発明によるTSP記述子がローカルなサンプリング密度における変動に対しロバストであり、これによって視点の変化に対するロバスト性がさらに改善し、部分的遮蔽および欠落データの他の原因に対するロバスト性ももたらされることである。3Dポイントクラウドが奥行き画像から得られる(例えば、奥行きセンサを用いて取得される)とき、点の密度は、奥行き画像が取得された視点に基づいて変動する。例えば、サーフェス法線が、奥行き画像を取得する奥行きセンサの方を直接向いているオブジェクトサーフェス上のエリアは、ポイントクラウドにおいて密に表される。一方、法線が奥行きセンサの軸に対しほぼ垂直に向いている(すなわち、奥行きセンサからオブジェクトへの方向からほぼ90度離れた)オブジェクトサーフェス上のエリアは、ポイントクラウドにおける非常に僅かなサーフェスポイントによって表される。本発明によるパラメトリックモデル、サブ三角形パラメトリックモデルおよびベジエ三角形パラメトリックモデルは、ポイントクラウドによって表されるサーフェスの3D形状を、サンプリング密度の変動による影響を強く受けないように近似する。これは、サンプリング密度における変動の影響を大きく受ける、ヒストグラムに基づくポイントクラウドの3D記述子と対照的である。
トレーニング
好ましい実施形態では、トレーニングは図4Aに示す例等の3D頭部の高分解能メッシュにおいて実行される。いくつかの実施形態では、各メッシュは単一の対象物の高分解能3Dスキャンを用いて得られる。好ましい実施形態では、各メッシュはパラメトリック3D頭部モデルのパラメータをランダムに変動させることによって生成される。パラメトリック3D頭部モデル自体は、複数の対象物の高分解能3Dスキャンから導出することができる。モデルごとのポイントクラウドは、複数の方法、例えば、メッシュの頂点として、またはメッシュ内の多角形の中心として、またはメッシュからランダムにサンプリングされた点として、メッシュから定義することができる。トレーニングセット内の各メッシュから、重なり合う基本三角形におけるメッシュを密にカバーするn個の基本正三角形T,...,T、例えば、n=10000をランダムにサンプリングする。次に、各サンプリングされた基本三角形Tに対応するTSPを求め、関連付けられた記述子vを求める。
さらに、各基本三角形Tと、Tの重心から或る特定の対象点までのベクトルとを関連付ける。これらは、好ましい実施形態では、モデル重心およびそのモデルの或る特定の顔ランドマーク、例えば、鼻の頂部、鼻の先端および眼の重心である。これらのベクトルは、試験中、顔ランドマークのロケーションを求めるのに用いられる。
ライブラリ
このため、トレーニングモデルごとに、n個のサンプルτ,...,τを生成し記憶する。これらの各サンプルが、基本三角形Tを関連データτ={T,v,c,ui1,...,uiq}と共に含む。ここで、vはTSP記述子であり、cはTの重心からモデル重心までのベクトルであり、uikは、図4Bに示すように、Tの重心からk番目の顔ランドマークの位置までのベクトルであり、qは各モデル内のランドマークの数である。
全てのトレーニング顔モデルからの全てのサンプルがライブラリ129内に記憶される。ライブラリは、TSP記述子が所与のクエリサンプルの記述子に最も類似しているサンプルの高速な検索を可能にするように編成される。記述子間の類似性はユークリッド距離によって測定される。TSP記述子の最近傍を効率的に得るために、近似最近傍アルゴリズムを用いることができる。例えば、Muja他「Scalable Nearest Neighbor Algorithms for High Dimensional Data」IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 36, 2014を参照されたい。
TSP記述子vは、大きな行列内の行ベクトルとして保存され、τの他の成分はアレイ内に対応する順序で記憶される。試験頭部からのサンプルのためのクエリ記述子を所与とすると、近似最近傍アルゴリズムは行列に対し演算を行い、クエリ記述子に概ね最も類似したライブラリ内のTSP記述子の行インデックスが得られる。これらを用いて、アレイから、対応する基本三角形およびこれらの関連付けられた顔ランドマーク情報を検索することができる。
顔モデルの重心cおよび顔ランドマークベクトルui1,...,uiqは全て基本三角形Tに対して定義されるので、本発明によるモデル表現を用いて、任意の姿勢の、特にセンサ103から任意の距離にある頭部について、姿勢および顔ランドマークのロケーションを推定することができる。
さらに、トレーニングは、(対象物から特定の距離にある特定の奥行きセンサから得られた奥行き画像を用いるのではなく)一般的な3Dモデルにおいて行われるので、試験中、同じトレーニング結果(例えば、同じライブラリ)を様々なセンサと共に用いることができる。これは、トレーニングおよび試験のために同じセンサ(または同じモデルのセンサ)が用いられなくてはならないほとんどの従来技術の方法について当てはまらない。
試験
試験は、頭部102の3DポイントクラウドS101において実行される。好ましい実施形態では、ポイントクラウドは、奥行き画像から再構成された、例えば、Kinectセンサ等の奥行きセンサ103から得られたものである。頭部姿勢(3D頭部向きおよび3D頭部重心ロケーションからなる)および顔ランドマークのロケーションは以下のように求められる。
投票
ポイントクラウドSからサンプリングされた基本正三角形T’を検討する。対応するTSPおよび記述子v’を求める。次に、v’をキーとして用いて、ライブラリから最も類似した記述子vを検索する。vはライブラリサンプルτと関連付けられることを想起されたい。ライブラリサンプルτはまた、基本三角形Tと、三角形Tに対する対応するトレーニング頭部の重心のロケーションを与えるベクトルcと、Tに対するq個の顔ランドマークの各々のロケーションを与えるベクトルであるui1,...,uiqとを含む。
をポイントクラウドSの座標系に変換する。これは、並進がμ’である剛体変換によって達成され、その回転行列Rは以下のようにして得られる。すなわち、TおよびT’をそれぞれ並進させて、重心が原点にある
を取得し、次に、
を満たすRを得る。このようにして、試験三角形T’に対する照合に基づいて、モデル基本三角形Tは、頭部向きRおよび頭部重心ロケーションt=μ’+Rおよび
に対し投票する。
現実世界のデータを扱っているため、入力ポイントクラウドはノイズによって破損する可能性があり、頭部でないオブジェクトを表す可能性もある。さらに、試験する頭部はライブラリ内に表されていない対象物からのものである場合がある。これらの変動に対処するために、試験頭部からm個のクエリ基本三角形をサンプリングし、クエリ三角形ごとに、記述子がクエリ三角形の記述子に最も類似しているh個のトレーニング三角形を検索する。これらのトレーニング三角形のそれぞれが特定の姿勢に対し投票する。このことを、これらのh個のトレーニング三角形がクエリ三角形に一致すると言い、クエリ三角形を、h個のトレーニング三角形に対する一致試験三角形と呼ぶ。
この結果、頭部の向きのための合計mh個の回転行列投票と、重心ロケーションのためのmh個の位置投票とが得られる。これらの投票は2つの異なる空間内にあることに留意されたい。回転投票は、回転行列SO(3)の群内にあり、位置投票は3次元ユークリッド空間
内にある。顔ランドマークロケーションが求められる前に、投票フィルタリングを用いて不一致の投票を削除する。
投票フィルタリング
トレーニング中、基本三角形に対するベクトルとして、モデル重心に類似した顔ランドマークロケーションが記憶される。このため、顔ランドマークロケーションに対する投票は、モデル重心に対する投票が行われるのと同じようにして行うことができる。これによって、複数の投票空間、すなわち、頭部の向きのためのSO(3)と、頭部重心およびランドマークロケーションの各々のための別個の投票空間
がもたらされる。各投票空間内のクラスター中心を独立して検出することができる。
投票によって、一貫性のないクラスター中心、すなわち、相対ロケーションが実際の人間の顔では物理的にあり得ない誤った配置の顔ランドマークが導かれる可能性がある。顔は個人間で非剛体的に(in a non−rigid manner)異なっているにもかかわらず、特定の頭部位置および向きは、鼻、眼、耳等の可能なロケーションに対し強い制約を課す。これは、上記で説明したクラスタリングによって考慮に入れられていない。
共同クラスタリング
したがって、回転および重心投票空間内で共同クラスタリングを実行することによって、一貫性のない投票をフィルタリング除去する。顔ランドマーク投票を用いない理由は以下である。各空間における独立したクラスタリングを用いた試験は、回転推定値が、顔ランドマークの推定値よりも安定していることを示し、ランドマークロケーション推定値が頭部向き推定値よりも頻繁に誤っていることを意味する。
頭部の欠落した並進自由度を得るために、重心投票を用いる。顔ランドマーク推定値の誤差が、基本三角形とランドマーク位置との間の距離の増大と共に増大することに留意されたい。モデル重心は、全ての基本三角形に対する平均距離を概ね最小化するので、重心は全ての位置投票間で最も適切である。共同クラスタリングは以下のように機能する。
各モデル基本三角形Tが頭部向きRおよび頭部重心ロケーションtの双方に対し投票することを想起されたい。このことを、R∈SO(3)および
がTの投票であると言う。双方の空間におけるクラスター中心を共同で推定するために、各空間内のTの近傍数をカウントする。Tの近傍としてカウントする別の基本三角形Tについて、Tの回転投票Rおよび重心投票tの双方がTの投票に対し所定の距離以内になくてはならない。すなわち、d(R,R)<dおよび||t−t||<dの双方の条件が成り立たなくてはならない。ここで、d(R,R)はSO(3)における適切な距離関数である。好ましい実施形態では、d=15°およびd=25mmを用いる。2つの回転行列の積自体が回転行列であるので、積R は或る軸の回りの角度θの単一の回転に等しい。さらに、関数d(R,R)=|θ|は、リーマン距離として知られる、SO(3)における距離関数であり、この距離測度を用いて上記で説明した条件を試験する。さらに、リーマン距離|θ|は、関係d(R,R)=2√2|sinθ/2|によってフロベニウス距離d(R,R)=||R−R||に関係付けられ、ここで、||・||は行列のフロベニウスノルムを表す。この関係を用いることによって、効率的に計算されたフロベニウスノルムを用いてリーマン距離条件d(R,R)<dを評価することが可能になる。
入選基本三角形(winning base triangles)という語を用いて、投票を許可された基本三角形の組を指す。入選基本三角形の組は、その基本三角形のほとんどの近傍を有する基本三角形および全ての近傍を有する基本三角形を含む。入選基本三角形をT,...,Tと呼ぶ。ここで、Nは入選基本三角形の数である。各入選基本三角形Tは、重心μ’を有する一致試験三角形T’を有する。上記で説明したように、この一致に基づいて、Tは頭部向きRおよび頭部重心ロケーションt=μ’+Rに対し投票する。頭部向きを入選基本三角形の向きの投票R,...,Rの平均
として推定する。
SO(3)における平均回転行列
を計算する問題は、以下の最小化問題として定式化することができる。
ここで、dはSO(3)における距離関数である。不都合なことに、この最小化は、リーマン距離について閉形式で解くことができない。一方、本発明の場合、入力行列は全て同じ回転行列の近傍にあるので、互いに近接している。この場合、フロベニウス距離の最小化を解くことは良好な近似であり、閉形式
で行うことができる。ここで、WおよびVは入選三角形の向き投票の算術平均の特異値分解(SVD)
を計算することによって得られる。
次に入選基本三角形の顔ランドマークベクトルを用いて、試験顔面における顔ランドマークの位置を推定する。
が、ポイントクラウドSの座標系における試験顔面のk番目のランドマーク(例えば、鼻の先端)の位置の本発明による推定値を表すものとする。1つの実施形態では、
によって
を計算する。ここで、uikは、Tの重心からk番目の顔ランドマークの位置へのベクトルである。
代替的な実施形態では、全ての個々の入選三角形の向き投票Rの代わりに平均回転行列
を用いることによって、
の計算を変更する。換言すれば、以下の代替的な式を用いて
を計算する。
これらの代替的な実施形態のいずれにおいても、この手順は一貫した顔ランドマーク推定値を生成する。なぜなら、全ての顔ランドマークベクトルは、類似した頭部向きおよび重心ロケーションに対し投票する基本三角形に由来するためである。

Claims (15)

  1. オブジェクトの三次元(3D)姿勢および前記オブジェクトのランドマーク点の3Dロケーションを求める方法であって、
    前記オブジェクトの3Dポイントクラウドを得るステップと、
    前記3Dポイントクラウドから3Dサーフェスパッチを抽出するステップと、
    各3Dサーフェスパッチにパラメトリックモデルを当てはめるステップであって、記述子の組を求める、ステップと、
    前記記述子の組と、既知の3D姿勢およびランドマーク点の既知の3Dロケーションを有する同じオブジェクトクラスからのオブジェクトの3Dポイントクラウドから抽出されたパッチの記述子の組との間の対応関係の組を求めるステップと、
    前記対応関係の組から、前記オブジェクトの前記3D姿勢および前記オブジェクトの前記ランドマーク点の3Dロケーションを推定するステップと、
    を備え、
    前記ステップは、前記3Dポイントクラウドを記憶するメモリに接続されたプロセッサにおいて実行される
    方法。
  2. 前記オブジェクトは、人間の頭部であり、
    前記ランドマーク点は、顔ランドマークである
    請求項1に記載の方法。
  3. 前記3Dポイントクラウドは、奥行き画像から3Dポイントクラウドを計算することによって得られる
    請求項1に記載の方法。
  4. 前記奥行き画像は、奥行きセンサによって取得される
    請求項3に記載の方法。
  5. 前記求めるステップは、近似最近傍アルゴリズムを用いて行われる
    請求項1に記載の方法。
  6. 前記3Dポイントクラウドは、合成して生成される
    請求項1に記載の方法。
  7. 前記3Dサーフェスパッチは、三角形である
    請求項1に記載の方法。
  8. 前記3Dサーフェスパッチは、前記3Dポイントクラウドによって定義されるサーフェス上のランダムなロケーションおよびランダムな向きから選択される
    請求項1に記載の方法。
  9. 前記パラメトリックモデルは、ベジエ三角形パラメトリックモデルである
    請求項7に記載の方法。
  10. 前記パラメトリックモデルは、サブ三角形パラメトリックモデルである
    請求項7に記載の方法。
  11. 近傍サブ三角形を用いて前記パラメトリックモデルにおける穴を埋めるステップをさらに備えた
    請求項10に記載の方法。
  12. 前記推定するステップは、投票技法を用いて行われる
    請求項1に記載の方法。
  13. 一貫性のない投票は、回転および重心投票空間において共同クラスタリングを行うことによってフィルタリングされる
    請求項12に記載の方法。
  14. 前記推定するステップの結果は、ヘッドアップディスプレイを用いる車のための拡張現実システムによって用いられる
    請求項2に記載の方法。
  15. オブジェクトの三次元(3D)姿勢および前記オブジェクトのランドマークの3Dロケーションを求めるシステムであって、
    前記オブジェクトの3Dポイントクラウドを得る手段と、
    前記得る手段に接続され、前記3Dポイントクラウドから3Dサーフェスパッチを抽出し、各3Dサーフェスパッチにパラメトリックモデルを当てはめて、記述子の組を求め、前記記述子の組と、既知の3D姿勢およびランドマークの既知の3Dロケーションを有するオブジェクトの3Dポイントクラウドから抽出されたパッチの記述子の組との間の対応関係の組を求め、前記対応関係の組から、前記オブジェクトの前記3D姿勢およびランドマークの3Dロケーションを推定するプロセッサと、
    を備えたシステム。
JP2016021810A 2015-02-26 2016-02-08 オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム Active JP6681729B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/632,466 US10515259B2 (en) 2015-02-26 2015-02-26 Method and system for determining 3D object poses and landmark points using surface patches
US14/632,466 2015-02-26

Publications (2)

Publication Number Publication Date
JP2016161569A true JP2016161569A (ja) 2016-09-05
JP6681729B2 JP6681729B2 (ja) 2020-04-15

Family

ID=56798334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016021810A Active JP6681729B2 (ja) 2015-02-26 2016-02-08 オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム

Country Status (2)

Country Link
US (1) US10515259B2 (ja)
JP (1) JP6681729B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
US20170053172A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshiba Image processing apparatus, and image processing method
US10120057B1 (en) * 2015-10-13 2018-11-06 Google Llc System and method for determining the direction of an actor
US9691153B1 (en) 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US10755438B2 (en) * 2016-04-27 2020-08-25 Bellus 3D, Inc. Robust head pose estimation with a depth camera
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
EP3349182A1 (en) 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
KR20180087947A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10242458B2 (en) 2017-04-21 2019-03-26 Qualcomm Incorporated Registration of range images using virtual gimbal information
US10691925B2 (en) * 2017-10-28 2020-06-23 Altumview Systems Inc. Enhanced face-detection and face-tracking for resource-limited embedded vision systems
CN108053443B (zh) * 2017-11-20 2019-08-02 中国科学院空间应用工程与技术中心 一种基于粒子群优化的物体点云位姿估算方法和系统
CN110049323A (zh) * 2018-01-17 2019-07-23 华为技术有限公司 编码方法、解码方法和装置
CN108399609B (zh) * 2018-03-06 2020-07-31 北京因时机器人科技有限公司 一种三维点云数据的修补方法、装置和机器人
WO2020047575A1 (en) * 2018-09-04 2020-03-12 Fastbrick Ip Pty Ltd Vision system for a robotic machine
GB2583687A (en) * 2018-09-12 2020-11-11 Sony Interactive Entertainment Inc Method and system for generating a 3D reconstruction of a human
CN109766866B (zh) * 2019-01-22 2020-09-18 杭州美戴科技有限公司 一种基于三维重建的人脸特征点实时检测方法和检测系统
CN110176020A (zh) * 2019-04-09 2019-08-27 广东工业大学 一种融合2d和3d图像的燕窝杂质分拣方法
US20210104068A1 (en) * 2019-10-04 2021-04-08 Mitsubishi Electric Research Laboratories, Inc. Image Processing System and Method for Landmark Location Estimation with Uncertainty

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0158038B1 (ko) * 1993-03-29 1998-12-15 모리시다 요오이찌 개인식별장치
GB2428325B (en) * 2003-10-09 2007-08-01 Univ York Image Recognition
US7844105B2 (en) 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
KR101791590B1 (ko) * 2010-11-05 2017-10-30 삼성전자주식회사 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9489770B2 (en) * 2014-05-26 2016-11-08 Tatsuya Iwamoto Method for generating quartic bezier triangle patches from triangle mesh for computer graphics

Also Published As

Publication number Publication date
US10515259B2 (en) 2019-12-24
JP6681729B2 (ja) 2020-04-15
US20160253807A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
Zhou et al. Voxelnet: End-to-end learning for point cloud based 3d object detection
Svärm et al. City-scale localization for cameras with known vertical direction
US9818023B2 (en) Enhanced face detection using depth information
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
US9372546B2 (en) Hand pointing estimation for human computer interaction
Tateno et al. When 2.5 D is not enough: Simultaneous reconstruction, segmentation and recognition on dense SLAM
CN104299260B (zh) 一种基于sift和lbp的点云配准的接触网三维重建方法
KR101643079B1 (ko) 데이터를 위치 맞춤하는 방법
Svarm et al. Accurate localization and pose estimation for large 3d models
US9478035B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US9189855B2 (en) Three dimensional close interactions
Rabbani et al. Efficient hough transform for automatic detection of cylinders in point clouds
CN102804231B (zh) 三维场景的分段平面重建
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN103988226B (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
US9087232B2 (en) 3D object recognition
McLean et al. Vanishing point detection by line clustering
Hirschmuller Stereo vision in structured environments by consistent semi-global matching
EP2048599B1 (en) System and method for 3D object recognition
US7623687B2 (en) Three-dimensional face recognition
Guo et al. An integrated framework for 3-D modeling, object detection, and pose estimation from point-clouds
JP5812599B2 (ja) 情報処理方法及びその装置
US9436987B2 (en) Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
JP5455873B2 (ja) シーンにおける物体の姿勢を求めるための方法
US8396284B2 (en) Smart picking in 3D point clouds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200324

R150 Certificate of patent or registration of utility model

Ref document number: 6681729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150