JP2011238222A - 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 - Google Patents
多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 Download PDFInfo
- Publication number
- JP2011238222A JP2011238222A JP2011101254A JP2011101254A JP2011238222A JP 2011238222 A JP2011238222 A JP 2011238222A JP 2011101254 A JP2011101254 A JP 2011101254A JP 2011101254 A JP2011101254 A JP 2011101254A JP 2011238222 A JP2011238222 A JP 2011238222A
- Authority
- JP
- Japan
- Prior art keywords
- joint
- pose
- source
- source image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000009877 rendering Methods 0.000 title claims description 28
- 230000011218 segmentation Effects 0.000 claims description 51
- 238000005457 optimization Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法であって、ソース画像セグメントを参照シルエットと比較し、参照シルエットごとに、参照シルエットがソース画像セグメントにどれほどよくマッチしているかを示すマッチングエラー、および/または参照ポーズが、先行のソース画像10から推定して、同一の実世界オブジェクト14のポーズとどれほど整合しているかを示す一貫性エラーを考慮することによって、参照シルエットを選択するステップと、多関節オブジェクトモデルの対応の参照ポーズを取出すステップと、選択された参照シルエットの参照ポーズから、多関節オブジェクトモデルのポーズの推定値を計算するステップとを備える。
【選択図】図1
Description
本発明はビデオ画像処理の分野に関する。本発明は、対応の独立請求項の導入部に記載されるように、多関節オブジェクトモデルのポーズを推定するための方法、仮想カメラから見た仮想画像をレンダリングするための方法、およびソース画像セグメントのセグメント化を決定するための方法に関する。
画像ベースレンダリング(image-based rendering: IBR)は、Levoy等[LH96]およびGortler等[GGSC96]の先駆的な研究で導入された。基本的な目標は単純である。IBRは、収集画像データに基づいて三次元の実世界シーンの感覚を作り出すことを目指している。多くのその後の研究は、たとえば極小サンプリング要件に関する幾何学および画像の依存などの理論的基礎を探究したり[CCST00]、より効率的で制約の少ないインプリメンテーションを開発したりしてきた[BBM*01]。これらの研究からの1つの重要な普遍的な洞察は、シーンの十分正確な幾何プロキシによって、必要な入力画像の数が大幅に減るということである。
したがって本発明の目的は、上述の不利な点を克服する、最初に言及した種類の多関節オブジェクトモデルのポーズを推定するための方法を作り出すことである。
・ソースカメラによって記録される実世界オブジェクトのビューを含むビデオストリームから少なくとも1つのソース画像を得るステップと(ビデオストリームは実況または録画)、
・少なくとも1つのソース画像を処理して、画像背景から分離された実世界オブジェクトのビューを含む対応のソース画像セグメントを抽出するステップと、
・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは、多関節オブジェクトモデルおよびこの多関節オブジェクトモデルの特定の参照ポーズに関連付けられており、上記方法はさらに、
・少なくとも1つのソース画像セグメントを参照シルエットと比較し、参照シルエットごとに、
参照シルエットがソース画像セグメントにどれほどよくマッチしているかを示すマッチングエラー、および/または
参照ポーズが、ビデオストリームの先行および後続のソース画像のうちの少なくとも1つから推定して、同一の実世界オブジェクトのポーズとどれほど整合しているかを示す一貫性エラー
を考慮することによって、予め定められた数の参照シルエットを選択するステップと、
・選択された参照シルエットに関連付けられた多関節オブジェクトモデルの参照ポーズを(データベースから)取出すステップと、
・選択された参照シルエットの参照ポーズから、多関節オブジェクトモデルのポーズの推定値を計算するステップとを備える方法が提供される。このポーズは、ソース画像における多関節オブジェクトモデルの二次元ポーズであるため、ソース画像ごとに、別個の二次元ポーズが推定される。
・画素のブロブ、または
・たとえば画素またはベクトルベースの表現における輪郭であり、任意に内部の領域を特徴付けるフィルカラーまたは色モデルを有する輪郭
で表され得る。
・ソース画像セグメントを参照シルエット上にマッピングする射影変換を決定するステップと、
・マッチングエラーを、マッピングされたソース画像セグメントと参照シルエットが重複しない画像領域の相対サイズに比例するとして、またはスケール変更されたソース画像セグメントと参照シルエットの輪郭同士の間の距離の測定値として計算するステップとを含み、マッチングエラーは任意に、射影変換のパラメータにも依存しており、上記ステップはさらに、
・このマッチングエラーを、ソース画像セグメントと参照シルエットがどれほどよくマッチしているかについての測定値として用いるステップを含む。
・スケール変更する上記ステップは、ソース画像セグメントまたは参照シルエットまたは両方を再サンプリングして同一の画素サイズのバウンディングボックスを有することによって達成され、
・ソース画像セグメントおよび参照シルエットの両方は、同一の画素寸法を有する2値画像によって表され、値の異なるソース画像セグメントおよび参照シルエットから対応する画素数を数えることによってエラー値を計算する。
・ビデオストリームの先行のソース画像から推定される同一の実世界オブジェクトのポーズを取出すステップと、
・一貫性エラーを、この先行のポーズ推定と参照シルエットの参照ポーズとの差異に比例しているとして計算し、この一貫性エラーを、先行のソース画像との整合性の測定値として用いるステップとを含む。
・さらなるソースカメラからの1つ以上のさらなるビデオストリームからの1つ以上のさらなるソース画像について上述のステップを繰返すステップを含み、さらなるソース画像の各々は、同時に異なる視点から記録された同一の実世界オブジェクトのビューを含み、この結果、さらなるソース画像ごとに、予め定められた数の選択された参照シルエットおよび関連付けられた選択された参照ポーズが得られ、上記ステップはさらに、
・異なるソース画像について選択された参照ポーズの組合せごとに、
この組合せの選択された参照ポーズの関節を三次元空間に投射し、関節の三次元位置を推定し、関節ごとに、推定された三次元関節位置が選択された参照ポーズからの関節の投射にどれほどよくマッチしているかを表す関節整合性測定値を計算し、
すべての関節の関節整合性測定値を組合せて総合関節整合性測定値を得ることによって、
総合関節整合性測定値を計算することによって、ソース画像ごとに最も妥当な参照ポーズを選択するためのの最適化を実行するステップと、
・総合関節整合性測定値を最適化する異なるソース画像について参照ポーズの組合せを選択することによって、各ソース画像の最適参照ポーズを求めるステップとを含む。
・所与の二次元ポーズから、二次元ポーズに関連付けられたソース画像の画像平面内に投射されると、二次元ポーズの対応する関節の位置に近似的にマッチする近似の関節の位置を含む近似の三次元ポーズを計算するステップと、
・関節ごとに、関節の位置を、近似の関節の位置から、カメラから、ソース画像の画像平面と平行な平面を有するソース画像における関節の位置を通過し、近似の関節の位置を通過する光線の交差によって規定される位置まで動かすことによって、近似の三次元ポーズが二次元ポーズに厳密にマッチするように修正するステップとが実行される方法が提供される。
・三次元ポーズの当初推定値、すなわち多関節オブジェクトモデルの三次元関節位置を求めるステップと、
・各連結部を1つ以上の投射面に関連付けるステップとを備え、投射面は三次元モデルにおいて規定される表面であり、各投射面の位置および向きは、関連付けられた連結部の位置および向きによって決定され、上記方法はさらに、
・関節ごとに、
その三次元関節位置に割当てられた位置スコアを計算し、位置スコアは、関節に隣接した連結部の投射面に投射されると、異なるソースカメラからの画像セグメントが互いに整合している程度の測定値であり、さらに、
最適な位置スコアが達成されるまで関節の三次元関節位置を変化させることによって、
三次元関節位置を反復して適応させるステップと、
・予め定められた回数だけ、または位置スコアが収束するまで、すべての関節について三次元関節位置を反復して適応させる上記ステップを繰返すステップとを備える方法が提供される。
・関節が地上または地面上方にある
・トポロジ的に対称の連結部の長さが10%よりも大きく異なっていない
・連結部の長さが人体測定標準内である
・連結部によって接続されていない関節同士の距離が人体測定標準内である
のうちの少なくとも1つである。
・異なるソースカメラからの画像を連結部の関連付けられた投射面に投射し、そこから仮想カメラによって見られる仮想画像内に投射するステップと、
・これらの投射面の仮想画像内への投射に対応する仮想画像内の領域(またはすべての画素)について、異なるソースカメラからの画像セグメントが重複して同様の色を有する程度に従って、この連結部についての部分的位置スコアを計算するステップと、
・部分的位置スコアを(たとえば加算することによって)組合せて位置スコアを得るステップと
によって計算される。
・仮想画像に寄与するソースカメラの対ごとに部分的位置スコアを計算するステップと、
・これら部分的位置スコアを、加算し、ソースカメラの関連付けられた対の視覚方向同士の間の角度に従って部分的位置スコアの各々を重み付けすることによって組合せるステップとを含む。
・三次元ポーズの推定値、すなわち多関節オブジェクトモデルの三次元関節位置を求めるステップと、
・各連結部を1つ以上の投射面に関連付けるステップとを備え、投射面は三次元モデルにおいて規定される表面であり、各投射面の位置および向きは、関連付けられた連結部の位置および向きによって決定され、
・投射面は、連結部ごとに、ビルボードのファンを含み、各ビルボードはソースカメラに関連付けられており、各ビルボードは、関連付けられた連結部と、この連結部および連結部の一点をソースカメラに接続する線の両方に対して垂直であるベクトルとがまたがる平面であり、上記方法はさらに、
・ソースカメラごとに、関連付けられたソース画像のセグメントを関連付けられたビルボードに投射してビルボード画像を形成するステップと、
・連結部ごとに、ビルボード画像を仮想画像内に投射し、ビルボード画像をブレンドして、仮想画像の対応部分を形成するステップとを備える方法が提供される。
・ソースカメラによって記録される実世界オブジェクトのビューを含むビデオストリームから少なくとも1つのソース画像を得るステップと、
・少なくとも1つのソース画像を処理して、画像背景から分離された実世界オブジェクトのビューを含む対応のソース画像セグメントを抽出するステップと、
・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは参照セグメント化に関連付けられており、参照セグメント化は参照シルエットのサブセグメントを規定し、各サブセグメントには一意のラベルが割当てられており、上記方法はさらに、
・ソース画像セグメントに最もよく似ているマッチング参照シルエットを求め、参照シルエットの参照セグメント化を取出すステップと、
・サブセグメントごとに、より厚いおよびより薄いバージョンのサブセグメントの両方をソース画像セグメントに重ね合せ、より厚いおよびより薄いバージョンの両方の内部に存在するソース画像画素にサブセグメントのラベルでラベル付するステップと、
・ソース画像セグメントのすべての残りの画素を不確信とラベル付するステップと、
・サブセグメントごとに、サブセグメントのラベルでラベル付された画素の色を表す色モデルを決定するステップと、
・各不確信画素を、色モデルが不確信画素の色に最もよくフィットするサブセグメントに割当てることによって、色モデルに従って不確信画素をラベル付するステップとを備える方法が提供される。
・多関節ビルボード、困難な取得状況下での人間キャラクタの自由視点のビデオのための新規な形状表現
・近似シルエットに基づいた半自動のデータ駆動型二次元ポーズ推定
・三次元テンプレートフィッティングおよび色モデルの学習による身体部分の自動セグメント化
・最適なテクスチャ整合性のための三次元ポーズ最適化および継ぎ目訂正による多関節ビルボードモデルの生成
・現実的で効率的なビュー合成のためのGPUベースの画素が正確なブレンドおよびレンダリング
である。
本発明の主題は、添付の図面に示される好ましい例示的な実施例を参照して以下により詳細に説明される。
図1は実世界シーン8の全体像を概略的に示しており、シーン8は、2つ以上のソースカメラ9、9′によって観察される人間などの実世界オブジェクト14を含み、各カメラは、ソース画像10、10′のビデオストリームを生成する。本発明に係るシステムおよび方法は、ソースカメラ9、9′の視点とは異なる仮想カメラ11の視点からのシーン8を示す仮想画像12を生成する。任意に、仮想画像12のシーケンスから仮想ビデオストリームが生成される。本発明に係る装置は、ソース画像10、10′が与えられて1つ以上の仮想画像12を生成する、本発明の方法を実行する画像処理計算を行なう処理ユニット15を含む。処理ユニット15は、ソース画像10、仮想画像12および中間結果を記憶するための記憶ユニット16と対話するように構成される。処理ユニット15は、典型的に表示装置、キーボードなどのデータ入力装置、およびマウスなどのポインティングデバイスを含むワークステーション19によって制御される。処理ユニット15は、TV放送送信機17および/またはビデオ表示装置18に仮想ビデオストリームを供給するように構成され得る。
・楕円体、
・円筒体、または
・ビルボードファン7を形成するビルボード6のセット
である。
本発明の1つの目的は、幅広ベースラインビデオ映像の小さなセットから、人間対象の実質的に制約のない自由視点のレンダリングを可能にすることである。本発明では、多関節ビルボード6に基づいた表現を用いる。このモデルの基礎は、三次元の人間スケルトン構造4である(図2参照)。三次元ベクトルbiおよびその末端関節2の位置xiによって表される各骨または連結部3は、たとえば胴体や四肢などの実世界身体14の主要な構成要素に対応する。各骨にビルボード6のファン7が関連付けられ、ファン7は、対象のすべての入力画像Iiにビルボード6を含む(図2参照)。より具体的には、各Iiについて、対応のビルボード平面は、関節xi、骨方向bi、およびベクトルbi×(cj−xi)によって規定され、式中cjはIiのカメラ位置である。したがって、ビルボード6はキャラクタの骨と整列し、関連付けられた入力ビュー10、10′とできる限り直交する。
本発明の方法の第1段階では、画像空間における対象14の関節位置の当初推量、および異なる身体部分への画素のセグメント化を計算する。固有および非固有カメラパラメータの較正のため、現在はThomasの方法[Tho06]を用いる。上述のように、完全自動ポーズ推定およびセグメント化は、解像度および品質が比較的低いために非常に困難である。したがって、必要なユーザ対話をたった2、3回のマウスクリックに最小化する、以下の半自動の方策を提案する。そして、関節2の位置が与えられ、対象14の身体部分のセグメント化を、公知のセグメント化を有する人間テンプレートモデルを入力ビデオフレームにフィットさせることによって計算する。
背景からの対象14の粗いセグメント化が、たとえばクロマキーイングまたは背景減算を用いて可能であると仮定する。図3aは、本発明の用途シナリオにおけるセグメント化された画像13の典型例を示す。対象のポーズの当初推量、すなわちスケルトン関節2の二次元位置を計算する基本的な考え方は、それぞれのスケルトンポーズがわかっているシルエットのデータベースと比較することである(図3b参照)。まず、各ビューIiについて、32×40グリッド上のシルエット13を再サンプリングすることによって、異なるサイズの対象について正規化し、n=32×40で、各グリッド点の2値シルエット情報をベクトルvj∈[0,1]nに堆積する。次に、各vjについて、本発明のアルゴリズムはデータベース内のベストマッチングkエントリを見つけ、エラーを最小化し、
正確な二次元関節を用いても、対象の身体部分への画像の強固なセグメント化は依然として困難な問題である。上述の2値シルエットセグメント化の代わりにセグメント化されたシルエットのデータベースを用いることは望ましい選択肢ではない。なぜなら、そのようなデータベースの作成は非常に複雑で時間がかかり、十分に正確なマッチが常に見つかるとは限らないからである。
フィットされた、セグメント化前のテンプレートモデルは、入力フレームIjを完璧にはセグメント化せず、シルエット全体を完全には覆わない場合がある。したがって、セグメント化の改良が3つの単純なステップで行なわれる。第1のステップでは、セグメント化前の身体部分の自動選択された確信画素に基づいて、ボディセグメントごとに色モデルを学習する(図6a参照)。第2のステップでは、トレイン化色モデルを用いて不確信画素にラベル付けし、対象のボディ寸法およびシルエットに調節されたセグメント化がもたらされる(図6b参照)。第3のステップでは、図6cに示されるように、形態素閉鎖動作によってアウトライアーを除去する。
最終多関節ビルボード表現用の当初ポーズとして、第2.1節の計算された三次元関節位置を用いる。多関節ビルボードモデルの三次元関節が最適に位置決めされていない場合、ビルボードファンのすべてのビルボードのレンダリングによって生じるテクスチャは整列しないことになる(図7a参照)。この節では、三次元関節位置が、ビルボードテクスチャの整列の定量的測定値に基づいてどのように最適化され得るかについて述べる。
出力ビューVの関節位置の品質をスコア付けするため、この関節に隣接するすべてのビルボードを評価する。ビルボードのファンごとに、1対の入力ビュー(I1,I2)のビルボードの整列を、投射テクスチャの画素に関する比較によってスコア付けする。Vの各出力画素pについて、画素ごとのスコアsI1,I2(p)は
正規化因子n(p)は、2つの画素のうちの少なくとも一方がアクティブであれば1であり、それ以外は0である。したがって、スコア関数はテクスチャ値のマッチングを測定するのに対し、n(p)は図7aのような非整列部分を無効にする。これらの画素に関する作業は、断片シェーダを用いるGPU上で効率的に実行される。要約すると、(1)および(2)に係る手順は、仮想視点から仮想出力画像において見られる、異なるカメラからの画像寄与がマッチする程度を、出力画像が両ソースカメラからの寄与を受ける画素についてのみ判断する。
なお、σの好適な値は、経験的に0.32であると決定された。最終的に、関節位置のスコアは、すべての評価済ビューにおけるスコアの正規化合計であり、
3.2.三次元ポーズ最適化
関節位置のスコア付けは評価済ビューに依存するため、好適なセットVが必要である。合理的な視野位置範囲を含むようにするため、すべての入力ビューおよび各カメラ対の間の中心の仮想ビューのカメラ位置におけるスコア関数を評価する。関節の位置最適化のため、離散的な適応三次元グリッド上の空間的に近い候補位置のSVを評価する。グリッドは、所与のグリッド解像度に達するまで(経験的に1.2cmに設定される)、より高いスコアSVを達成するそれらの候補位置の周りで貪欲的に改良される。
・トポロジ的に対称のスケルトン骨(たとえば左腕/右腕)の長さが10%よりも大きく異なっていない
・隣接する骨の長さが人体測定標準内である
・接続されていない関節までの距離が人体測定標準内である
最後の2つの制約について、極小長さとして切捨てられた女性対象の5百分位数、および極大長さとして切上げられた男性対象の95百分位数を用いる。
射影テクスチャリングを用いたレンダリング時のビルボードのセグメント化マスクのサンプリング(図8a)のため、図8bに示されるように、隣接するビルボード同士の間の小さな不連続(目に見える割れ目)が出力ビューに表れ得る。仮想画像12では、第1のビルボード6からの出力画素は、セグメント化されたソース画像10内に投射されると、第1のビルボード6に割当てられる第1のセグメント13aではなく、隣接する第2のビルボード6′に割当てられる第2のセグメント13bに含まれ得る。この結果、出力画素は色寄与を全く受けない。この問題を克服するため、これらの継ぎ目画素を両方の隣接するビルボードについてレンダリングする必要がある。したがって、画素が2つの隣接するスケルトン骨または連結部3上のビルボードを覆う場合(たとえば図8aの破線によって囲まれた画素)、当該画素を入力ビューにおいて継ぎ目画素として印を付ける。
・|深度(p)−深度(p′)|<φ
式中、深度(・)は、この画素での深度値である。閾値φは、閉塞部と非接続部を区別する。これは経験的にφ=3cmと設定された。継ぎ目訂正されたセグメント化マスク、およびその結果得られるレンダリング改良の例が図8cに示される。
以下では、多関節ビルボードのレンダリング手順について述べる。本発明では、このアルゴリズムを、Buehler等[BBM*01]によって定義される一般式に従って設計した。較正エラーがあり、カメラが非常にまばらに配置される本発明の困難な設定のため、本発明は特に以下に焦点を当てる。
・視覚的連続性:ビルボードは、視点を動かす際に突然変化したり現れたりすべきでない
・ビュー補間:元のカメラ角度および位置からシーンを見る場合、レンダリングされたビューは入力カメラのビューを再現すべきである
レンダリング手順に入力されるのは、多関節ビルボードモデル、セグメント化された入力ビューI(第2.3節)、および第3.3節で計算された継ぎ目である。レンダリングされた出力フレームごとに、閉塞に適切に対処するために多関節ビルボードを前後逆にソートする。上記の目標を達成するため、画素ごとのブレンド手順を実行する。ビルボードごとに1度計算されるカメラごとの重みと最終画素ごとの重みとを区別する。
ビルボード6の1つのファン7に関連付けられるビルボード6のスムーズなブレンドのため、式(5)と同じガウス重みを用いる。元のカメラビュー10での補間を達成するため、異なるビュー同士の間のスムーズな移行を仮定しつつ、元のカメラ9の透視画からのすべてのビューが対応のカメラソース画像10と同一であることを確実にする減衰関数を導入する。減衰関数は、ソースビューIωMaxについてf(IωMax)=1と定義され、最高値はω(・)(すなわち最も近いソースカメラ9)であり、すべての他のカメラIJについて
ビルボードファンのビルボードは、画素ごとにブレンドされる。図8aに示されるように、各ビルボードの対応のセグメント化マスク内のカメラルックアップが実行される。これによって、現在の出力画素pがこのビルボードに属する身体部分上にあるか否かが判定される。そうである場合は、ソースビューIJからの対応の色寄与VIj(p)=0およびそのアルファ値αIj(p)が出力ビューVに加えられ得る。それ以外は、αIj(p)=0、すなわち透明であると設定する。後者のケースは、対応の身体部分がIjにおいて閉塞されており、かつ色情報を他のカメラから取るべき場合にも起こる。そして、結果として得られるスクリーン画素の色値V(p)は
[参考文献一覧]
1 三次元モデル、2 関節、3 連結部、4 多関節オブジェクトモデル、5 投射面、6 ビルボード、7 ビルボードファン、8 シーン、9,9′ ソースカメラ、10,10′ ソース画像、11 仮想カメラ、12 仮想画像、13,13a,13b ソース画像セグメント、14 実世界オブジェクト、15 処理ユニット、16 記憶ユニット、17 送信機、18 ビデオ表示装置、19 ワークステーション。
Claims (15)
- 多関節オブジェクトモデル(4)のポーズを推定するためのコンピュータ実行方法であって、多関節オブジェクトモデル(4)は、1つ以上のソースカメラ(9)によって観察される実世界オブジェクト(14)のコンピュータベースの三次元モデル(1)であり、多関節オブジェクトモデル(4)は、複数の関節(2)および関節(2)を連結する複数の連結部(3)を表し、多関節オブジェクトモデル(4)のポーズは関節(2)の空間的な場所によって規定され、前記方法は、
・ソースカメラ(9)によって記録される実世界オブジェクト(14)のビューを含むビデオストリームから少なくとも1つのソース画像(10)を得るステップと、
・少なくとも1つのソース画像(10)を処理して、画像背景から分離された実世界オブジェクト(14)のビューを含む対応のソース画像セグメント(13)を抽出するステップと、
・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは、多関節オブジェクトモデル(4)およびこの多関節オブジェクトモデル(4)の特定の参照ポーズに関連付けられており、前記方法はさらに、
・少なくとも1つのソース画像セグメント(13)を参照シルエットと比較し、参照シルエットごとに、
参照シルエットがソース画像セグメント(13)にどれほどよくマッチしているかを示すマッチングエラー、および/または
参照ポーズが、ビデオストリームの先行および後続のソース画像(10)のうちの少なくとも1つから推定して、同一の実世界オブジェクト(14)のポーズとどれほど整合しているかを示す一貫性エラー
を考慮することによって、予め定められた数の参照シルエットを選択するステップと、
・選択された参照シルエットに関連付けられた多関節オブジェクトモデル(4)の参照ポーズを取出すステップと、
・選択された参照シルエットの参照ポーズから、多関節オブジェクトモデル(4)のポーズの推定値を計算するステップとを備える、方法。 - 少なくとも1つのソース画像セグメント(13)を参照シルエットと比較する前記ステップは、ソース画像セグメント(13)が比較される参照シルエットごとに、
・特にソース画像セグメント(13)を参照シルエットと同じサイズになるようにスケール変更することによって、ソース画像セグメント(13)を参照シルエット上にマッピングする射影変換を決定するステップと、
・マッチングエラーを、マッピングされたソース画像セグメント(13)と参照シルエットが重複しない画像領域の相対サイズに比例するとして、またはスケール変更されたソース画像セグメント(13)と参照シルエットの輪郭同士の間の距離の測定値として計算するステップとを含み、マッチングエラーは任意に、射影変換のパラメータにも依存しており、前記ステップはさらに、
・このマッチングエラーを、ソース画像セグメント(13)と参照シルエットがどれほどよくマッチしているかについての測定値として用いるステップを含む、請求項1に記載の方法。 - ・スケール変更する前記ステップは、ソース画像セグメント(13)または参照シルエットまたは両方を再サンプリングして同一の画素サイズのバウンディングボックスを有することによって達成され、
・ソース画像セグメント(13)および参照シルエットの両方は、同一の画素寸法を有する2値画像によって表され、値の異なるソース画像セグメント(13)および参照シルエットから対応する画素数を数えることによってエラー値を計算する、請求項2に記載の方法。 - 少なくとも1つのソース画像セグメント(13)を参照シルエットと比較する前記ステップは、ソース画像セグメント(13)が比較される参照シルエットごとに、
・ビデオストリームの先行のソース画像(10)から推定される同一の実世界オブジェクト(14)のポーズを取出すステップと、
・一貫性エラーを、この先行のポーズ推定と参照シルエットの参照ポーズとの差異に比例しているとして計算し、この一貫性エラーを、先行のソース画像(10)との整合性の測定値として用いるステップとを含む、先行する請求項のいずれかに記載の方法。 - 選択された参照シルエットの参照ポーズから、多関節オブジェクトモデル(4)のポーズの推定値を計算する前記ステップは、
・さらなるソースカメラ(9)からの1つ以上のさらなるビデオストリームからの1つ以上のさらなるソース画像(10)について上述のステップを繰返すステップを含み、さらなるソース画像(10)の各々は、同時に異なる視点から記録された同一の実世界オブジェクト(14)のビューを含み、この結果、さらなるソース画像(10)ごとに、予め定められた数の選択された参照シルエットおよび関連付けられた選択された参照ポーズが得られ、前記ステップはさらに、
・異なるソース画像(10)について選択された参照ポーズの組合せごとに、
この組合せの選択された参照ポーズの関節(2)を三次元空間に投射し、関節(2)の三次元位置を推定し、関節ごとに、推定された三次元関節位置が選択された参照ポーズからの関節(2)の投射にどれほどよくマッチしているかを表す関節整合性測定値を計算し、
すべての関節の関節整合性測定値を組合せて総合関節整合性測定値を得ることによって、
総合関節整合性測定値を計算することによって、ソース画像(10)ごとに最も妥当な参照ポーズを選択するためのの最適化を実行するステップと、
・総合関節整合性測定値を最適化する異なるソース画像(10)について参照ポーズの組合せを選択するステップとを含む、先行する請求項のいずれかに記載の方法。 - 最適化を実行する前記ステップはさらに、ソースカメラ(9)の較正エラーを訂正するために、関連付けられたソース画像(10)の平面内の各シルエットの二次元オフセットを変化させて最適化するステップを含む、請求項5に記載の方法。
- 推定関節位置が重畳された少なくとも1つのソース画像(10)を表示装置に表示し、1つ以上の関節位置を反復して修正するためのユーザ入力を受付けるステップをさらに備える、先行する請求項のいずれかに記載の方法。
- 好ましくは先行する請求項のいずれかに従って、多関節オブジェクトモデル(4)のポーズを推定するためのコンピュータ実行方法であって、ソース画像(10)に関連付けられた所与の二次元ポーズにマッチする三次元ポーズを求めるために、
・所与の二次元ポーズから、二次元ポーズに関連付けられたソース画像(10)の画像平面内に投射されると、二次元ポーズの対応する関節(2)の位置に近似的にマッチする近似の関節(2)の位置を含む近似の三次元ポーズを計算するステップと、
・関節(2)ごとに、関節(2)の位置を、近似の関節(2)の位置から、カメラから、ソース画像(10)の画像平面と平行な平面を有するソース画像(10)における関節(2)の位置を通過し、近似の関節(2)の位置を通過する光線の交差によって規定される位置まで動かすことによって、近似の三次元ポーズが二次元ポーズに厳密にマッチするように修正するステップとが実行される、方法。 - 好ましくは先行する請求項のいずれかに従って、多関節オブジェクトモデル(4)のポーズを推定するためのコンピュータ実行方法であって、多関節オブジェクトモデル(4)は、2つ以上のソースカメラ(9)によって観察される実世界オブジェクト(14)のコンピュータベースの三次元モデル(1)であり、多関節オブジェクトモデル(4)は、複数の関節(2)および関節(2)を連結する複数の連結部(3)を表し、多関節オブジェクトモデル(4)のポーズは、三次元関節位置と称される関節(2)の空間的な場所によって規定され、前記方法は、
・三次元ポーズの当初推定値、すなわち多関節オブジェクトモデル(4)の三次元関節位置を求めるステップと、
・各連結部(3)を1つ以上の投射面(5)に関連付けるステップとを備え、投射面(5)は三次元モデルにおいて規定される表面であり、各投射面(5)の位置および向きは、関連付けられた連結部(3)の位置および向きによって決定され、前記方法はさらに、
・関節(2)ごとに、
その三次元関節位置に割当てられた位置スコアを計算し、位置スコアは、関節(2)に隣接した連結部(3)の投射面(5)に投射されると、異なるソースカメラ(9)からの画像セグメントが互いに整合している程度の測定値であり、さらに、
最適な位置スコアが達成されるまで関節(2)の三次元関節位置を変化させることによって、
三次元関節位置を反復して適応させるステップと、
・予め定められた回数だけ、または位置スコアが収束するまで、すべての関節(2)について三次元関節位置を反復して適応させる前記ステップを繰返すステップとを備える、方法。 - 関節(2)の三次元関節位置を変化させる前記ステップは、人体測定制約を受ける三次元関節位置を変化させ、人体測定制約は、
・関節が地上または地面上方にある
・トポロジ的に対称の連結部の長さが10%よりも大きく異なっていない
・連結部の長さが人体測定標準内である
・連結部によって接続されていない関節同士の距離が人体測定標準内である
のうちの少なくとも1つである、請求項9に記載の方法。 - 投射面(5)は、連結部(3)ごとに、ビルボード(6)のファン(7)を含み、各ビルボード(6)はソースカメラ(9)に関連付けられており、各ビルボードは、関連付けられた連結部(3)と、この連結部(3)および連結部(3)の一点をソースカメラ(9)に接続する線の両方に対して垂直であるベクトルとがまたがる平面である、請求項9または10に記載の方法。
- 関節(2)の三次元関節位置の位置スコアは、関節(2)に隣接した連結部(3)ごとに、
・異なるソースカメラ(9)からの画像を連結部(3)の関連付けられた投射面(5)に投射し、そこから仮想カメラ(11)によって見られる仮想画像(12)内に投射するステップと、
・これらの投射面(5)の仮想画像(12)内への投射に対応する領域(12)について、異なるソースカメラ(9)からの画像セグメントが重複して同様の色を有する程度に従って、この連結部についての部分的位置スコアを計算するステップと、
・部分的位置スコアを組合せて位置スコアを得るステップと
によって計算される、請求項9または10または11に記載の方法。 - 部分的位置スコアを計算して組合せる前記ステップは、
・仮想画像(12)に寄与するソースカメラ(9)の対ごとに部分的位置スコアを計算するステップと、
・これら部分的位置スコアを、加算し、ソースカメラ(9)の関連付けられた対の視覚方向同士の間の角度に従って部分的位置スコアの各々を重み付けすることによって組合せるステップとを含む、請求項12に記載の方法。 - 多関節オブジェクトモデル(4)を与えられて、仮想カメラ(11)から見た仮想画像(12)をレンダリングするためのコンピュータ実行方法であって、多関節オブジェクトモデル(4)は、2つ以上のソースカメラ(9)によって観察される実世界オブジェクト(14)のコンピュータベースの三次元モデル(1)であり、多関節オブジェクトモデル(4)は、複数の関節(2)および関節(2)を連結する複数の連結部(3)を表し、多関節オブジェクトモデル(4)のポーズは関節(2)の空間的な場所によって規定され、前記方法は、
・三次元ポーズの推定値、すなわち多関節オブジェクトモデル(4)の三次元関節位置を求めるステップと、
・各連結部(3)を1つ以上の投射面(5)に関連付けるステップとを備え、投射面(5)は三次元モデルにおいて規定される表面であり、各投射面(5)の位置および向きは、関連付けられた連結部(3)の位置および向きによって決定され、
・投射面(5)は、連結部(3)ごとに、ビルボード(6)のファン(7)を含み、各ビルボード(6)はソースカメラ(9)に関連付けられており、各ビルボードは、関連付けられた連結部(3)と、この連結部(3)および連結部(3)の一点をソースカメラ(9)に接続する線の両方に対して垂直であるベクトルとがまたがる平面であり、前記方法はさらに、
・ソースカメラ(9)ごとに、関連付けられたソース画像(10)のセグメントを関連付けられたビルボード(6)に投射してビルボード画像を形成するステップと、
・連結部(3)ごとに、ビルボード画像を仮想画像(12)内に投射し、ビルボード画像をブレンドして、仮想画像(12)の対応部分を形成するステップとを備える、方法。 - 好ましくは先行する請求項のいずれかに記載の方法と組合されて、ソース画像セグメント(13)のセグメント化を決定するためのコンピュータ実行方法であって、
・ソースカメラ(9)によって記録される実世界オブジェクト(14)のビューを含むビデオストリームから少なくとも1つのソース画像(10)を得るステップと、
・少なくとも1つのソース画像(10)を処理して、画像背景から分離された実世界オブジェクト(14)のビューを含む対応のソース画像セグメント(13)を抽出するステップと、
・コンピュータ読取可能形態のデータベースに参照シルエットのセットを維持するステップとを備え、各参照シルエットは参照セグメント化に関連付けられており、参照セグメント化は参照シルエットのサブセグメントを規定し、各サブセグメントには一意のラベルが割当てられており、前記方法はさらに、
・ソース画像セグメント(13)に最もよく似ているマッチング参照シルエットを求め、参照シルエットの参照セグメント化を取出すステップと、
・サブセグメントごとに、より厚いおよびより薄いバージョンのサブセグメントの両方をソース画像セグメント(13)に重ね合せ、より厚いおよびより薄いバージョンの両方の内部に存在するソース画像画素にサブセグメントのラベルでラベル付するステップと、
・ソース画像セグメント(13)のすべての残りの画素を不確信とラベル付するステップと、
・サブセグメントごとに、サブセグメントのラベルでラベル付された画素の色を表す色モデルを決定するステップと、
・各不確信画素を、色モデルが不確信画素の色に最もよくフィットするサブセグメントに割当てることによって、色モデルに従って不確信画素をラベル付するステップとを備える、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10405091.9 | 2010-04-30 | ||
EP10405091A EP2383696A1 (en) | 2010-04-30 | 2010-04-30 | Method for estimating a pose of an articulated object model |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011238222A true JP2011238222A (ja) | 2011-11-24 |
JP2011238222A5 JP2011238222A5 (ja) | 2014-06-19 |
JP5784356B2 JP5784356B2 (ja) | 2015-09-24 |
Family
ID=42617427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011101254A Expired - Fee Related JP5784356B2 (ja) | 2010-04-30 | 2011-04-28 | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8830236B2 (ja) |
EP (3) | EP2383696A1 (ja) |
JP (1) | JP5784356B2 (ja) |
ES (2) | ES2553258T3 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522058A (ja) * | 2012-06-14 | 2014-08-28 | ソフトキネティック ソフトウェア | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング |
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
KR20160085877A (ko) * | 2013-11-19 | 2016-07-18 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 전송 |
US9508152B2 (en) | 2012-01-11 | 2016-11-29 | Samsung Electronics Co., Ltd. | Object learning and recognition method and system |
JP2018116421A (ja) * | 2017-01-17 | 2018-07-26 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP2018129009A (ja) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 画像合成装置、画像合成方法及びコンピュータプログラム |
JP2018129008A (ja) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 画像合成装置、画像合成方法及びコンピュータプログラム |
JP2020518080A (ja) * | 2017-07-18 | 2020-06-18 | ソニー株式会社 | パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合 |
US10839526B2 (en) | 2016-11-14 | 2020-11-17 | Fujitsu Limited | Information processing device, information processing method, and recording medium |
JP2021514092A (ja) * | 2018-08-20 | 2021-06-03 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 位置姿勢検出方法及び装置、電子機器並びに記憶媒体 |
JPWO2020105697A1 (ja) * | 2018-11-22 | 2021-10-07 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
WO2022137450A1 (ja) * | 2020-12-24 | 2022-06-30 | 株式会社Splyza | 情報処理装置、情報処理方法およびプログラム |
JP2023544215A (ja) * | 2020-11-11 | 2023-10-20 | 株式会社ソニー・インタラクティブエンタテインメント | 姿勢の脱曖昧化 |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
JP5924862B2 (ja) * | 2010-12-15 | 2016-05-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
GB201104312D0 (en) * | 2011-03-14 | 2011-04-27 | Bell Alexandra | Improved virtual try on simulation service |
US9344707B2 (en) * | 2011-06-29 | 2016-05-17 | Microsoft Technology Licensing, Llc | Probabilistic and constraint based articulated model fitting |
JP5408205B2 (ja) * | 2011-08-25 | 2014-02-05 | カシオ計算機株式会社 | 制御点設定方法、制御点設定装置及びプログラム |
US8879835B2 (en) * | 2011-08-26 | 2014-11-04 | Adobe Systems Incorporated | Fast adaptive edge-aware matting |
EP2754131B1 (en) * | 2011-09-08 | 2022-10-26 | Nautilus, Inc. | System and method for visualizing synthetic objects withinreal-world video clip |
US8724906B2 (en) * | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US9350951B1 (en) * | 2011-11-22 | 2016-05-24 | Scott Dallas Rowe | Method for interactive training and analysis |
EP2597437A1 (en) * | 2011-11-28 | 2013-05-29 | ABB Technology AG | A method of assessing the technical condition of a rotating shaft |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9235928B2 (en) | 2012-01-24 | 2016-01-12 | University Of Southern California | 3D body modeling, from a single or multiple 3D cameras, in the presence of motion |
US10033979B2 (en) * | 2012-03-23 | 2018-07-24 | Avigilon Fortress Corporation | Video surveillance systems, devices and methods with improved 3D human pose and shape modeling |
US9418475B2 (en) * | 2012-04-25 | 2016-08-16 | University Of Southern California | 3D body modeling from one or more depth cameras in the presence of articulated motion |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9767598B2 (en) | 2012-05-31 | 2017-09-19 | Microsoft Technology Licensing, Llc | Smoothing and robust normal estimation for 3D point clouds |
TWI521469B (zh) * | 2012-06-27 | 2016-02-11 | Reallusion Inc | Two - dimensional Roles Representation of Three - dimensional Action System and Method |
JP2014102685A (ja) * | 2012-11-20 | 2014-06-05 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US20140160122A1 (en) * | 2012-12-10 | 2014-06-12 | Microsoft Corporation | Creating a virtual representation based on camera data |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9214138B2 (en) | 2012-12-28 | 2015-12-15 | Microsoft Technology Licensing, Llc | Redundant pixel mitigation |
US9135742B2 (en) | 2012-12-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | View direction determination |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9426451B2 (en) * | 2013-03-15 | 2016-08-23 | Digimarc Corporation | Cooperative photography |
US9269003B2 (en) * | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
TWI530157B (zh) * | 2013-06-18 | 2016-04-11 | 財團法人資訊工業策進會 | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 |
EP3022525B1 (en) * | 2013-07-18 | 2020-04-29 | a.tron3d GmbH | Method of capturing three-dimensional (3d) information on a structure |
JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
EP3039653A1 (en) * | 2013-08-26 | 2016-07-06 | Sculpteo | Method for displaying section views of a 3d model using a fragment shader |
EP3047882A4 (en) * | 2013-10-24 | 2016-08-31 | Huawei Device Co Ltd | METHOD AND DEVICE FOR DISPLAYING AN IMAGE |
US9940727B2 (en) | 2014-06-19 | 2018-04-10 | University Of Southern California | Three-dimensional modeling from wide baseline range scans |
CN104517292A (zh) * | 2014-12-25 | 2015-04-15 | 杭州电子科技大学 | 基于平面单应矩阵约束的多摄像机高密度人群分割方法 |
US9940524B2 (en) | 2015-04-17 | 2018-04-10 | General Electric Company | Identifying and tracking vehicles in motion |
US10043307B2 (en) | 2015-04-17 | 2018-08-07 | General Electric Company | Monitoring parking rule violations |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
US9858669B2 (en) * | 2015-10-23 | 2018-01-02 | The Boeing Company | Optimized camera pose estimation system |
CN105610868B (zh) * | 2016-03-03 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 一种信息交互的方法、设备及系统 |
US10956484B1 (en) | 2016-03-11 | 2021-03-23 | Gracenote, Inc. | Method to differentiate and classify fingerprints using fingerprint neighborhood analysis |
US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
US10311648B2 (en) * | 2016-06-22 | 2019-06-04 | Aquifi, Inc. | Systems and methods for scanning three-dimensional objects |
US10368057B1 (en) | 2016-09-28 | 2019-07-30 | Amazon Technologies, Inc. | Synchronizing data streams |
JP6838912B2 (ja) * | 2016-09-29 | 2021-03-03 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10235771B2 (en) * | 2016-11-11 | 2019-03-19 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
US10529137B1 (en) * | 2016-11-29 | 2020-01-07 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods for augmenting images |
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
US11379688B2 (en) | 2017-03-16 | 2022-07-05 | Packsize Llc | Systems and methods for keypoint detection with convolutional neural networks |
US10250868B1 (en) * | 2017-03-29 | 2019-04-02 | Amazon Technologies, Inc. | Synchronizing data streams |
CN110603570B (zh) | 2017-05-10 | 2023-08-04 | 富士通株式会社 | 对象物识别方法、装置、系统、程序 |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
US10304258B2 (en) * | 2017-07-24 | 2019-05-28 | Microsoft Technology Licensing, Llc | Human feedback in 3D model fitting |
WO2019030794A1 (ja) * | 2017-08-07 | 2019-02-14 | 富士通株式会社 | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 |
US10535155B2 (en) | 2017-10-24 | 2020-01-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for articulated pose estimation |
CN108304762B (zh) * | 2017-11-30 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 一种人体姿态匹配方法及其设备、存储介质、终端 |
WO2019108251A1 (en) * | 2017-12-03 | 2019-06-06 | Facebook, Inc. | Optimizations for dynamic object instance detection, segmentation, and structure mapping |
US10586350B2 (en) | 2017-12-03 | 2020-03-10 | Facebook, Inc. | Optimizations for dynamic object instance detection, segmentation, and structure mapping |
US10796452B2 (en) | 2017-12-03 | 2020-10-06 | Facebook, Inc. | Optimizations for structure mapping and up-sampling |
CN111480178B (zh) * | 2017-12-14 | 2024-02-20 | 富士通株式会社 | 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统 |
US11127189B2 (en) * | 2018-02-23 | 2021-09-21 | Canon Kabushiki Kaisha | 3D skeleton reconstruction from images using volumic probability data |
US10796468B2 (en) * | 2018-02-26 | 2020-10-06 | Didimo, Inc. | Automatic rig creation process |
US11508107B2 (en) | 2018-02-26 | 2022-11-22 | Didimo, Inc. | Additional developments to the automatic rig creation process |
US11741650B2 (en) | 2018-03-06 | 2023-08-29 | Didimo, Inc. | Advanced electronic messaging utilizing animatable 3D models |
WO2019173108A1 (en) | 2018-03-06 | 2019-09-12 | Didimo, Inc. | Electronic messaging utilizing animatable 3d models |
US10950043B1 (en) | 2018-04-03 | 2021-03-16 | A9.Com, Inc. | Rendering three-dimensional models on mobile devices |
CN108710830B (zh) * | 2018-04-20 | 2020-08-28 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
WO2019216593A1 (en) * | 2018-05-11 | 2019-11-14 | Samsung Electronics Co., Ltd. | Method and apparatus for pose processing |
CN110472462B (zh) * | 2018-05-11 | 2024-08-20 | 北京三星通信技术研究有限公司 | 姿态估计方法、基于姿态估计的处理方法及电子设备 |
EP3831049B1 (en) | 2018-07-27 | 2022-09-07 | Appario Global Solutions (AGS) AG | Method and system for dynamic image content replacement in a video stream |
US10902638B2 (en) | 2018-09-28 | 2021-01-26 | Wipro Limited | Method and system for detecting pose of a subject in real-time |
FR3087566B1 (fr) * | 2018-10-18 | 2021-07-30 | A I O | Dispositif de suivi des mouvements et/ou des efforts d’une personne, methode d’apprentissage dudit dispositif et procede d’analyse des mouvements et/ou des efforts d’une personne |
RU2713695C1 (ru) * | 2019-02-21 | 2020-02-06 | Самсунг Электроникс Ко., Лтд. | Текстурированные нейронные аватары |
EP3827414A4 (en) | 2018-11-09 | 2021-11-24 | Samsung Electronics Co., Ltd. | TEXTURED NEURONAL AVATARS |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
US11403664B2 (en) * | 2019-03-11 | 2022-08-02 | International Business Machines Corporation | Generating aesthetics and safety information for billboard marketing |
CN109949368B (zh) * | 2019-03-14 | 2020-11-06 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
CN109977827B (zh) * | 2019-03-17 | 2020-11-13 | 浙江大学 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
WO2020227918A1 (en) * | 2019-05-14 | 2020-11-19 | Intel Corporation | Automatic point cloud validation for immersive media |
CN110473266A (zh) * | 2019-07-08 | 2019-11-19 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于姿态指导的保留源场景人物动作视频生成方法 |
US11645800B2 (en) | 2019-08-29 | 2023-05-09 | Didimo, Inc. | Advanced systems and methods for automatically generating an animatable object from various types of user input |
US11182945B2 (en) | 2019-08-29 | 2021-11-23 | Didimo, Inc. | Automatically generating an animatable object from various types of user input |
US11295527B2 (en) * | 2019-08-30 | 2022-04-05 | Sprongo, LLC | Instant technique analysis for sports |
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
US11804076B2 (en) | 2019-10-02 | 2023-10-31 | University Of Iowa Research Foundation | System and method for the autonomous identification of physical abuse |
US11544872B2 (en) | 2019-10-07 | 2023-01-03 | Sony Group Corporation | Camera calibration method using human joint points |
US11288841B2 (en) * | 2019-10-17 | 2022-03-29 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for patient positioning |
US11373331B2 (en) | 2019-12-18 | 2022-06-28 | Agt International Gmbh | System, method and computer program product for determining sizes and/or 3D locations of objects imaged by a single camera |
CN111199576B (zh) * | 2019-12-25 | 2023-08-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于移动平台的室外大范围人体姿态重建方法 |
US10911775B1 (en) * | 2020-03-11 | 2021-02-02 | Fuji Xerox Co., Ltd. | System and method for vision-based joint action and pose motion forecasting |
CN111611997B (zh) * | 2020-04-30 | 2023-04-18 | 青岛联合创智科技有限公司 | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 |
CN111627101B (zh) * | 2020-05-22 | 2023-05-26 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
CN111832386A (zh) * | 2020-05-22 | 2020-10-27 | 大连锐动科技有限公司 | 一种估计人体姿态的方法、装置及计算机可读介质 |
US11924397B2 (en) * | 2020-07-23 | 2024-03-05 | Samsung Electronics Co., Ltd. | Generation and distribution of immersive media content from streams captured via distributed mobile devices |
US11263796B1 (en) * | 2020-11-11 | 2022-03-01 | Sony Interactive Entertainment Inc. | Binocular pose prediction |
CN112907631B (zh) * | 2021-02-20 | 2021-11-19 | 北京未澜科技有限公司 | 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 |
CN113160381B (zh) * | 2021-03-23 | 2023-02-03 | 清华大学 | 多视角动物三维几何与纹理自动化重建方法和装置 |
JP2022155037A (ja) * | 2021-03-30 | 2022-10-13 | 新東工業株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US20230196817A1 (en) * | 2021-12-16 | 2023-06-22 | Adobe Inc. | Generating segmentation masks for objects in digital videos using pose tracking data |
US20240005579A1 (en) * | 2022-06-30 | 2024-01-04 | Microsoft Technology Licensing, Llc | Representing two dimensional representations as three-dimensional avatars |
WO2024006997A1 (en) * | 2022-07-01 | 2024-01-04 | Google Llc | Three-dimensional video highlight from a camera source |
CN115620082B (zh) * | 2022-09-29 | 2023-09-01 | 合肥的卢深视科技有限公司 | 模型训练方法、头部姿态估计方法、电子设备及存储介质 |
CN115544777B (zh) * | 2022-10-17 | 2023-05-16 | 中船智能科技(上海)有限公司 | 一种表征关节助力补偿值的方法及系统 |
CN117978937B (zh) * | 2024-03-28 | 2024-06-25 | 之江实验室 | 一种视频生成的方法、装置、存储介质及电子设备 |
CN118230964B (zh) * | 2024-05-22 | 2024-08-06 | 天目山实验室 | 一种关节磨损预测的方法、存储介质、设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002269580A (ja) * | 2001-03-07 | 2002-09-20 | Japan Science & Technology Corp | 動画像生成システム |
JP2009015671A (ja) * | 2007-07-06 | 2009-01-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9308952D0 (en) * | 1993-04-30 | 1993-06-16 | Philips Electronics Uk Ltd | Tracking objects in video sequences |
JP3377465B2 (ja) * | 1999-04-08 | 2003-02-17 | ファナック株式会社 | 画像処理装置 |
US7447331B2 (en) * | 2004-02-24 | 2008-11-04 | International Business Machines Corporation | System and method for generating a viewable video index for low bandwidth applications |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
US7853038B2 (en) * | 2007-01-04 | 2010-12-14 | Industrial Technology Research Institute | Systems and methods for object dimension estimation |
-
2010
- 2010-04-30 EP EP10405091A patent/EP2383696A1/en not_active Withdrawn
-
2011
- 2011-04-28 US US13/096,488 patent/US8830236B2/en active Active
- 2011-04-28 JP JP2011101254A patent/JP5784356B2/ja not_active Expired - Fee Related
- 2011-04-29 EP EP15168192.1A patent/EP2930689B1/en not_active Not-in-force
- 2011-04-29 ES ES11405250.9T patent/ES2553258T3/es active Active
- 2011-04-29 EP EP11405250.9A patent/EP2383699B1/en not_active Not-in-force
- 2011-04-29 ES ES15168192T patent/ES2695157T3/es active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002269580A (ja) * | 2001-03-07 | 2002-09-20 | Japan Science & Technology Corp | 動画像生成システム |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
JP2009015671A (ja) * | 2007-07-06 | 2009-01-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
Non-Patent Citations (3)
Title |
---|
島田 伸敬: "関節物体のモデルフィッティング", 情報処理学会研究報告 VOL.2006 NO.51, vol. 第2006巻, JPN6015008598, 19 May 2006 (2006-05-19), JP, pages 375 - 392, ISSN: 0003020775 * |
林 邦彦: "多視点サッカー映像からの自由視点映像生成", 情報処理学会研究報告 VOL.2006 NO.51, vol. Vol.2006 No.51 2006-CVIM-154, JPN6015008599, 19 May 2006 (2006-05-19), JP, pages 173 - 180, ISSN: 0003100259 * |
越田 弘樹: "自由視点映像生成のための低解像度映像を用いた人物動作推定", 電子情報通信学会2010年総合大会講演論文集 情報・システム2, vol. D-12-18, JPN6015008597, 2 March 2010 (2010-03-02), JP, pages 129, ISSN: 0003020774 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9508152B2 (en) | 2012-01-11 | 2016-11-29 | Samsung Electronics Co., Ltd. | Object learning and recognition method and system |
US10163215B2 (en) | 2012-01-11 | 2018-12-25 | Samsung Electronics Co., Ltd. | Object learning and recognition method and system |
US10867405B2 (en) | 2012-01-11 | 2020-12-15 | Samsung Electronics Co., Ltd. | Object learning and recognition method and system |
JP2014522058A (ja) * | 2012-06-14 | 2014-08-28 | ソフトキネティック ソフトウェア | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング |
KR102211669B1 (ko) | 2013-11-19 | 2021-02-02 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 전송 |
KR20160085877A (ko) * | 2013-11-19 | 2016-07-18 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 전송 |
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
US10839526B2 (en) | 2016-11-14 | 2020-11-17 | Fujitsu Limited | Information processing device, information processing method, and recording medium |
JP2018116421A (ja) * | 2017-01-17 | 2018-07-26 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP2018129009A (ja) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 画像合成装置、画像合成方法及びコンピュータプログラム |
JP2018129008A (ja) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 画像合成装置、画像合成方法及びコンピュータプログラム |
JP2020518080A (ja) * | 2017-07-18 | 2020-06-18 | ソニー株式会社 | パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合 |
JP2021514092A (ja) * | 2018-08-20 | 2021-06-03 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 位置姿勢検出方法及び装置、電子機器並びに記憶媒体 |
JP7074888B2 (ja) | 2018-08-20 | 2022-05-24 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 位置姿勢検出方法及び装置、電子機器並びに記憶媒体 |
JPWO2020105697A1 (ja) * | 2018-11-22 | 2021-10-07 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
JP7395189B2 (ja) | 2018-11-22 | 2023-12-11 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
JP2023544215A (ja) * | 2020-11-11 | 2023-10-20 | 株式会社ソニー・インタラクティブエンタテインメント | 姿勢の脱曖昧化 |
JP7490142B2 (ja) | 2020-11-11 | 2024-05-24 | 株式会社ソニー・インタラクティブエンタテインメント | 姿勢の脱曖昧化 |
WO2022137450A1 (ja) * | 2020-12-24 | 2022-06-30 | 株式会社Splyza | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
ES2695157T3 (es) | 2019-01-02 |
EP2930689A1 (en) | 2015-10-14 |
US8830236B2 (en) | 2014-09-09 |
EP2383699A3 (en) | 2012-04-04 |
EP2383696A1 (en) | 2011-11-02 |
EP2930689B1 (en) | 2017-12-06 |
ES2553258T3 (es) | 2015-12-07 |
US20110267344A1 (en) | 2011-11-03 |
EP2383699B1 (en) | 2015-08-19 |
JP5784356B2 (ja) | 2015-09-24 |
EP2383699A2 (en) | 2011-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784356B2 (ja) | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 | |
US10460445B2 (en) | Object digitization | |
Rogez et al. | Mocap-guided data augmentation for 3d pose estimation in the wild | |
CN107945267B (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
US9724600B2 (en) | Controlling objects in a virtual environment | |
Gruber et al. | Real-time photometric registration from arbitrary geometry | |
KR101833364B1 (ko) | 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템 | |
Germann et al. | Articulated billboards for video‐based rendering | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Totz et al. | Dense surface reconstruction for enhanced navigation in MIS | |
JP2018522622A (ja) | 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム | |
CN110458932B (zh) | 图像处理方法、装置、系统、存储介质和图像扫描设备 | |
JP2011238222A5 (ja) | ||
CN107680688B (zh) | 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 | |
Li et al. | 3D reconstruction and texture optimization using a sparse set of RGB-D cameras | |
Monroy et al. | Dynamic environment mapping for augmented reality applications on mobile devices | |
Lee et al. | Interactive retexturing from unordered images | |
Wang et al. | Seamless color mapping for 3D reconstruction with consumer-grade scanning devices | |
Waggershauser | Combining Full Spherical Depth and HDR Images to Implement a Virtual Camera | |
CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
Jiang et al. | Project report: Light source estimation using kinect | |
Chung et al. | VIS-a-VE: Visual Augmentation for Virtual Environments in Surgical Training. | |
Lanman et al. | Model-based Face Capture from Orthogonal Images | |
Rai | Fusion and registration of three-dimensional medical image data and endoscopic video | |
Ahmed | High quality dynamic reflectance and surface reconstruction from video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5784356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |