JP2010134546A - 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム - Google Patents

視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム Download PDF

Info

Publication number
JP2010134546A
JP2010134546A JP2008307682A JP2008307682A JP2010134546A JP 2010134546 A JP2010134546 A JP 2010134546A JP 2008307682 A JP2008307682 A JP 2008307682A JP 2008307682 A JP2008307682 A JP 2008307682A JP 2010134546 A JP2010134546 A JP 2010134546A
Authority
JP
Japan
Prior art keywords
calculation
silhouette
restoration
area
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008307682A
Other languages
English (en)
Inventor
Xiaojun Wu
小軍 ウ
Katsuya Yamashita
勝也 山下
Hidenori Tanaka
秀典 田中
Yoshiori Wakabayashi
佳織 若林
Hideki Koike
秀樹 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008307682A priority Critical patent/JP2010134546A/ja
Publication of JP2010134546A publication Critical patent/JP2010134546A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】3次元形状復元計算の並列化に当たり、並列オーバーヘッドを抑制できるようにする。
【解決手段】複数のカメラから画像を入力し(ステップS101)、各計算ノードにおいて、入力シルエットの計算を行い(ステップS102)、全体の復元区域をすべての計算ノードに割当て(ステップS103)、各計算ノードにおいて、ひとつの復元区域を計算対象として選び(ステップS104)、各計算ノードにおいて、選ばれた復元区域について、有効カメラか否かを判定し(ステップS105)、有効カメラの計算ノードからそうでない計算ノードへシルエットの転送を行い(ステップS106)、各計算ノードにおいて、視体積の計算を行い(ステップS107)、前記S104〜S107をすべての復元区域について、繰り返し行うことで、全体の視体積の計算を行う。
【選択図】図2

Description

本発明は、カメラを視覚センサーとして用いるロボットビジョン、マシンビジョン分野や、高臨場感映像通信の3次元撮影に利用される視体積交差法による3次元形状復元装置、方法、プログラムに関する。
動的物体、とりわけ、動く人体の3次元形状データは人物の姿勢推定、動き解析、行動理解といった研究分野に広く利用されているだけでなく、高臨場感マンマシンインターフェースの実現、ゲーム、映画撮影等、エンターテイメントの応用分野でも効果的な表現素材として注目を集めている。
詳細な3次元形状を計算する代表的な従来方法として視体積交差法という計算手法が提案され、近年それに基づくシステムが数多く開発されている。
図4に視体積交差法の基本原理を示す。図4(a)のように、対象物体(C)を撮影すると、撮像面(S)に対象の2次元シルエット(DA)が得られる。カメラの投影中心(PA)からシルエットの輪郭上の各点を通すように、3次元空間中に広がる錐体(VA)が考えられる。この錐体のことを該当するカメラによる対象の「視体積」と呼ぶ。これを図4(b)に示す。さらに、図4(c)に、複数の視体積の共通領域、すなわち視体積の交差(VH:Visual Hull)を求めることによって、対象の3次元形状が求まることを示す。
一方、3次元形状の表現として、ボクセル表現というものが考えられている。ボクセル表現では、3次元空間を複数のボクセルと呼ばれる小さい立方体に分割し、対象が占める空間領域に含まれるボクセルの集合をもって、対象の3次元形状を表す。
なお、視体積交差法について、下記の参考文献1〜3に詳細に記述されている。非特許文献1においては、2次元シルエット拘束の原理を説明し、視体積交差法の基本アルゴリズムについて記載されている。非特許文献2においては、視体積交差法におけるボクセル投影を高速演算するアルゴリズムおよび視体積交差法の並列化処理手法について記載されている。非特許文献3においては、視体積交差法の応用として、高精細3次元ビデオの実現について記載されている。
従来技術では、実時間で視体積交差法の計算を行うため、計算コストがもっとも高い各カメラの視体積の計算を並列計算によって高速化を図る。具体的には、あらかじめ決められた復元範囲に含む各カメラの視体積の計算量を複数の計算ノードに均等に分け、並列化計算を行う。前記非特許文献2では、復元範囲(3次元空間)を密な平行平面群で表現し、視体積の計算をすべての平面上の射影計算で行うようにしている。並列化に関して、平面群を均等に複数の計算ノードに割り当て、各計算ノードが並列に計算を行うようにしている。
従来における3次元形状復元の計算手法の流れを図5に示す。以下に各ステップの処理の概要について述べる。説明の便宜上、1台のカメラが1台の計算ノードに接続されるとする。尚、以下の説明において、例えば「ステップS501」を単に「S501」と省略して記載する。
S501:複数のカメラから画像を入力する。
S502:各計算ノードにおいて、入力シルエットの計算を行う。
S503:ひとつの復元区域を計算対象として選ぶ。
S504:各計算ノードにおいて、選択した復元区域に対応したシルエットを切り出す。
S505:複数の視体積(VC:Visual Cone)の計算量を均等にすべての計算ノードに割当てる。
S506:計算ノード間の通信により、すべての計算ノード間で、S504で切出したシルエットが共有されるようにする。
S507:S505で割当てられた計算を各計算ノードにおいて行う。
すべての復元区域について、S503〜S507を繰り返すことで、全復元空間に含まれるすべてのカメラに対応した視体積の計算が行える。次に各ステップの処理の詳細を以下に述べる。
S501 各計算ノードにおいて、接続されたカメラを制御し、同時に多視点から複数の画像を各計算ノードに取り込む。説明の便宜上、1台の計算ノードに1台のカメラを接続するとしたが、複数のカメラを接続しても処理は同じである。
S502 各計算ノードにおいて、入力画像により対象シルエット画像の計算を行う。具体的には、一例として、背景差分などで行う。
S503 あらかじめ、全体の復元空間を複数の復元区域に分割しておく。一例として、複数の同一サイズの立方体に分割したとする。ここでは、これら分割して得られた復元区域のうち、ひとつを計算対象に選ぶ。
S504 S503において選ばれた復元区域に対し、各計算ノードにおいて、該当復元区域を入力画像面に投影し、投影された画像上の2次元領域に含まれるシルエットを切出す。
S505 復元区域と対象の位置によって、有効カメラ、すなわち、視体積の計算に有効なシルエットが得られるカメラとそうでないカメラに分かれる。図6がその一例を示している。図6はある時刻における入力カメラと復元区域の関係を表した模式図である。横方向にカメラ番号を示し、縦方向に複数の復元区域の番号を示す。前記各復元区域について、図7に示すように復元区域が視野に入っている場合、対応するカメラのマス目を灰色で塗り、“区域番号,カメラ番号”のようなラベルをつけた。1台の有効カメラにつき、ひとつの視体積を計算する必要があるため、有効カメラの台数に応じて、該当復元区域の視体積の計算量が決まる。S503において選ばれた復元区域に対し、すべての視体積の計算量をすべての計算ノードに均等に割当てる。すなわち、有効でないカメラが接続された計算ノードにも計算タスクを割当てる。このように割り当てられた計算ノード番号と復元区域番号の関係を図8の模式図に示す。
S506 有効でないカメラが接続された計算ノードにおいて、割当てられた視体積の計算タスクが実行できるように、有効カメラが接続された計算ノードから、対象のシルエット画像を通信によって送受信する。これをシルエットの共有と呼ぶ。
S507 各計算ノードにおいて、割当てられた視体積の計算を並行に行う。
A.Laurentini,"How Far 3D Shapes Can Be Understood from 2D Silhouettes",IEEE Transactions on Pattern Analysis and Machine Intelligence,17(2):188−195,1995. ウ小軍,和田俊和,東海彰吾,松山隆司,"平面間透視投影を用いた並列視体積交差法",情報処理学会論文誌:コンピュータビジョンとイメージメディア,Vol.42 No.SIG6(CVIM2),2001年6月 T.Matsuyama,X.Wu,T.Takai,S.Nobuhara,"Real−Time 3D Shape Reconstruction,Dynamic 3D Mesh Deformation,and High Fidelity Visualization for 3D Video",Special Issue"Model−based and Image−based 3D Scene Representation",Computer Vision and Image Understanding,pp.393−434,2004.
復元範囲が限られる場合、上記並列化の手法は有効であった。しかし、復元範囲が広くなると、全体の計算量がさらに膨大になる。計算量を抑えるため、全体の復元範囲をあらかじめ複数の区域にわけ、対象の存在領域についてのみ、詳細復元を行うことで計算効率の向上が図れる。従来の並列化の手法を複数復元区間に適用すると、並列化のためのオーバーヘッドが大きくなり、余分な時間がかかってしまう。
すなわち、図5で述べた従来の、各復元区域について計算量を分割する方法では、各復元区域を均等に各計算ノードに割り当てたため、図8に示すように計算量のロードバランスが図れたが、個々の復元区域の計算の間に並列化のためのオーバーヘッドが発生(計算ループごとに通信によるオーバーヘッドが発生)している。復元区域の数が計算ノードよりはるかに多くなる場合、すなわち全復元範囲が広くなる場合、オーバーヘッドが無視できなくなり、計算効率の妨げとなる。
本発明は上記課題を解決するものであり、その目的は、例えば多視点からのマルチカメラを用いた動的物体の3次元形状復元計算の並列化に当たり、計算量を動的かつ効率的に各計算ノードに分けて余分な画像転送を減らし、並列オーバーヘッドを抑えることによって、効率的な並列計算システムの構築を可能とし、実時間3次元映像入力装置の実現を可能とした視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラムを提供することにある。
上記課題を解決するために、請求項1に記載の視体積交差法による3次元形状復元装置は、視体積交差法により得た視体積データに基づいて3次元形状を復元する3次元形状復元装置であって、視体積計算における複数の計算モードに対応し、複数の視点で画像を入力する画像入力手段と、前記入力された画像からシルエット画像を計算する入力シルエット計算手段と、復元区域単位ですべての視体積の計算を前記すべての計算ノードに割り当てる復元区域計算ノード割り当て手段と、各計算ノードにおいて、前記復元区域計算ノード割り当て手段により割り当てられた復元区域を計算対象として選択する復元区域選択手段と、各計算ノードにおいて、前記復元区域選択手段により選択された復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを、前記入力シルエット計算手段で計算されたシルエット画像に基づいて判定する復元区域シルエットのローカル判定手段と、前記復元区域シルエットのローカル判定手段によって、その区域が撮影されたシルエット画像を持たない復元区域であると判定された場合に、当該復元区域に割り当てられた計算ノードに対して、シルエット画像を持つ復元区域に割り当てられた計算ノードから、前記入力シルエット計算手段により計算されたシルエット画像を転送するシルエット共有手段と、各計算ノードにおいて、前記シルエット画像を用いて該当復元区域に対応した視体積を並列に計算する視体積計算手段と、を備えたことを特徴としている。
また請求項2に記載の視体積交差法による3次元形状復元装置は、請求項1において、前記復元区域計算ノード割り当て手段は、前記複数の計算ノードのうち、ある計算ノードに対応する画像入力手段の視野に入っている復元区域を他の計算ノードに割り当てて、各ノードの割り当てられる復元区域を均等化することを特徴としている。
また、請求項3に記載の視体積交差法による3次元形状復元方法は、視体積交差法により得た視体積データに基づいて3次元形状を復元する3次元形状復元方法であって、画像入力手段が、視体積計算における複数の計算ノードに対応し、複数の視点で画像を入力する画像入力ステップと、入力シルエット計算手段が、前記入力された画像からシルエット画像を計算する入力シルエット計算ステップと、復元区域計算ノード割り当て手段が、復元区域単位ですべての視体積の計算を前記すべての計算ノードに割り当てる復元区域計算ノード割り当てステップと、復元区域選択手段が、各計算ノードにおいて、前記復元区域計算ノード割り当て手段により割り当てられた復元区域を計算対象として選択する復元区域選択ステップと、復元区域シルエットのローカル判定手段が、各計算ノードにおいて、前記復元区域選択手段により選択された復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを、前記入力シルエット計算手段で計算されたシルエット画像に基づいて判定する復元区域シルエットのローカル判定ステップと、シルエット共有手段が、前記復元区域シルエットのローカル判定手段によって、その区域が撮影されたシルエット画像を持たない復元区域であると判定された場合に、当該復元区域に割り当てられた計算ノードに対して、シルエット画像を持つ復元区域に割り当てられた計算ノードから、前記入力シルエット計算手段により計算されたシルエット画像を転送するシルエット共有ステップと、視体積計算手段が、各計算ノードにおいて、前記シルエット画像を用いて該当復元区域に対応した視体積を並列に計算する視体積計算ステップとを備え、前記復元区域選択ステップ、復元区域シルエットのローカル判定ステップ、シルエット共有ステップおよび視体積計算ステップを、すべての復元区域について繰り返し実行して全体の視体積を求めることを特徴としている。
また請求項4に記載の視体積交差法による3次元形状復元方法は、請求項3において、前記復元区域計算ノード割り当てステップは、前記複数の計算ノードのうち、ある計算ノードに対応する画像入力手段の視野に入っている復元区域を他の計算ノードに割り当てて、各ノードの割り当てられる復元区域を均等化することを特徴としている。
また、請求項5に記載の視体積交差法による3次元形状復元プログラムは、コンピュータを請求項1又は2に記載の各手段として機能させる視体積交差法による3次元形状復元プログラムである。
本発明によれば、視体積交差法による3次元形状復元装置、方法、ブログラムにおいて、並列計算に伴うオーバーヘッドの発生が、復元空間の広がりにより大きくなることを防ぐことができる。このため、広範囲な視体積交差法も効率的に並列化でき、全体の計算時間を大幅に削減できるメリットを有している。
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図1は本発明の視体積交差法による3次元形状復元装置の実施形態例を示す構成図であり、図2は本発明の視体積交差法による3次元形状復元方法の実施形態例を示すフローチャートである。
図1の装置を構成する各ブロック(101〜107)の名称、入力、出力と、図2の各ステップ(S101〜S107)の概要を次の表1に示す。
次に図1の装置の詳細を説明する。図1において、101は、視体積計算における複数の計算ノードに対応し、複数の視点で画像を入力する、例えばカメラなどの画像入力手段である。
102は、前記入力された画像からシルエット画像を計算する入力シルエット計算手段である。
103は、復元区域単位ですべての視体積の計算を前記すべての計算ノードに割り当てる復元区域計算ノード割り当て手段であり、復元区域番号集合を出力する。
104は、各計算ノードにおいて、前記復元区域計算ノード割り当て手段103により割り当てられた復元区域を計算対象として選択する復元区域選択手段であり、入力された復元区域番号集合から選択した復元区域番号を出力する。
105は、各計算ノードにおいて、前記復元区域選択手段104により選択された復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを、前記入力シルエット計算手段102で計算されたシルエット画像に基づいて判定する復元区域シルエットのローカル判定手段であり、前記復元区域番号およびシルエット画像を入力とし、復元区域番号およびシルエット画像を出力とする。
106は、前記復元区域シルエットのローカル判定手段105によって、その区域が撮影されたシルエット画像を持たない復元区域であると判定された場合に、当該復元区域に割り当てられた計算ノードに対して、シルエット画像を持つ復元区域に割り当てられた計算ノードから、前記入力シルエット計算手段102により計算されたシルエット画像を転送するシルエット共有手段であり、前記シルエット画像および復元区域番号を入力とし、シルエット画像を出力とする。
107は、各計算ノードにおいて、前記シルエット画像を用いて該当復元区域に対応した視体積を並列に計算する視体積計算手段であり、前記シルエット画像を入力とし、視体積データを出力とする。
この視体積計算手段107の出力データ(視体積データ)により3次元形状が復元される。
前記画像入力手段101、入力シルエット計算手段102、復元区域選択手段104、復元区域シルエットのローカル判定手段105および視体積計算手段107は各々複数設けられ、復元区域計算ノード割り当て手段103およびシルエット共有手段106は各々単数設けられている。
前記各手段102〜107の各機能は例えばコンピュータによって達成される。
次に図1の装置の動作を図2のフローチャートに沿って説明する。
S101:複数のカメラ(画像入力手段101)から画像を入力する。
S102:各計算ノードにおいて、入力シルエット計算手段102が入力シルエットの計算を行う。
S103:復元区域計算ノード割り当て手段103が、全体の復元区域をすべての計算ノードに割当てる。
S104:復元区域選択手段104が、各計算ノードにおいて、ひとつの復元区域を計算対象として選ぶ。
S105:復元区域シルエットのローカル判定手段105が、各計算ノードにおいて、選ばれた復元区域について、有効カメラか否かを判定する。
S106:シルエット共有手段106が、有効カメラの計算ノードからそうでない計算ノードへシルエットの転送を行う。
S107:視体積計算手段107が、各計算ノードにおいて、視体積の計算を行う。
前記S104〜S107をすべての復元区域について、繰り返し行うことで、全体の視体積の計算を行う。各ステップについて、以下に詳細を述べる。
S101 このステップは図5のS501と同じ処理を行う。
S102 このステップは図5のS502と同じ処理を行う。
S103 図6に示すように、計算ノードが復元区域にとって、有効カメラが接続される場合とそうでない場合に分かれる。ここでは、復元区域単位ですべての視体積の計算をすべての計算ノードに割当てる。定式化のため、表記を次のように定義する。
復元区域をdi,i=1,2,...,nで表す。カメラ=計算ノードをcj,j=1,2,...,mで表す。復元区域diにとって、カメラcjが有効なカメラである場合、(di,cj)でdiに対するcjの入力からの計算量を表す。(di,cj)が割り当てる計算量の単位であり、それらの集合が全計算量を表し、それをV={(di,cj)}で表す。
次に、個々の計算ノードについて、計算量の集合C(k)={(di,cj)|j=k}を定義する。明らかに、次の式(1)が成り立つ。
また、計算量を割り当てた結果、個々の計算ノードに当てられた計算量の集合をS(k)と定義する。従って、上記割り当て問題は如何にS(k)を決めるかという問題になる。Nを集合Vの要素数とする。n(k)を集合C(k)の要素数とする。
個々の計算ノードになるべく均等に計算量を割り当てる処理の一例として、次の処理の処理方法を示す。ただし、Λで割り当てる候補集合を表し、初期値として、Λ=Vである。Φで空集合を表す。
4.終了する。
具体的な割り当て結果として、次のような例を示す。図6にあるような模式図に対し、図3のような割当て方を行う。図6から、計算ノード1番が有効カメラとなる復元区域が1,6,8,10、計4区域であるのに対し、計算ノード4番が有効カメラとなる復元区域が1,2,3,4,6,7,8,10,11、計9区域である。そこで、割当て方針として、計算ノード4の計算量をほかの計算ノードに分担させることで、すべての計算ノードの計算量の均衡を図る。結果、図3のような割当て方が実現できる。
S104 各計算ノードにおいて、前記復元区域計算ノード割り当て手段103に割当てられた復元区域を1つ選択する。
S105 各計算ノードにおいて、選ばれた復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを判定する。すなわち、該当復元区域にとって有効カメラであるか否かを判定する。有効カメラの場合、S107へ、そうでない場合S106へそれぞれ進む。
S106 該当復元区域にとって、計算ノードに有効カメラが接続されていなかったため、有効カメラの計算ノードから必要なシルエットの送受信を行う。
S107 各計算ノードにおいて、該当復元区域に対応した視体積を並列に計算する。
以上のように図3と図8のそれぞれの模式図を比べると、本実施形態例によれば、オーバーヘッドの発生回数が抑えられることがわかる。
また、本実施形態の視体積交差法による3次元形状復元装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の視体積交差法による3次元形状復元方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)−ROM、CD−R、CD−RW、HDD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
本発明の視体積交差法による3次元形状復元装置の実施形態例を示す構成図。 本発明の視体積交差法による3次元形状復元方法の実施形態例を示すフローチャート。 本発明の実施形態例による、計算ノードに復元区域の計算量を均等に分配する並列法を説明する模式図。 本発明で用いる視体積交差法の原理を示す説明図。 従来手法の処理を示すフローチャート。 ある時刻における入力カメラと復元区域の関係の一例を説明する模式図。 カメラの視野と復元区域の関係を示す説明図。 従来の、復元区域ごとの計算量を均等に計算ノードに割当てる並列法を説明する模式図。
符号の説明
101…画像入力手段
102…入力シルエット計算手段
103…復元区域計算ノード割り当て手段
104…復元区域選択手段
105…復元区域シルエットのローカル判定手段
106…シルエット共有手段
107…視体積計算手段

Claims (5)

  1. 視体積交差法により得た視体積データに基づいて3次元形状を復元する3次元形状復元装置であって、
    視体積計算における複数の計算ノードに対応し、複数の視点で画像を入力する画像入力手段と、
    前記入力された画像からシルエット画像を計算する入力シルエット計算手段と、
    復元区域単位ですべての視体積の計算を前記すべての計算ノードに割り当てる復元区域計算ノード割り当て手段と、
    各計算ノードにおいて、前記復元区域計算ノード割り当て手段により割り当てられた復元区域を計算対象として選択する復元区域選択手段と、
    各計算ノードにおいて、前記復元区域選択手段により選択された復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを、前記入力シルエット計算手段で計算されたシルエット画像に基づいて判定する復元区域シルエットのローカル判定手段と、
    前記復元区域シルエットのローカル判定手段によって、その区域が撮影されたシルエット画像を持たない復元区域であると判定された場合に、当該復元区域に割り当てられた計算ノードに対して、シルエット画像を持つ復元区域に割り当てられた計算ノードから、前記入力シルエット計算手段により計算されたシルエット画像を転送するシルエット共有手段と、
    各計算ノードにおいて、前記シルエット画像を用いて該当復元区域に対応した視体積を並列に計算する視体積計算手段と、を備えたことを特徴とする視体積交差法による3次元形状復元装置。
  2. 前記復元区域計算ノード割り当て手段は、前記複数の計算ノードのうち、ある計算ノードに対応する画像入力手段の視野に入っている復元区域を他の計算ノードに割り当てて、各ノードの割り当てられる復元区域を均等化することを特徴とする請求項1に記載の視体積交差法による3次元形状復元装置。
  3. 視体積交差法により得た視体積データに基づいて3次元形状を復元する3次元形状復元方法であって、
    画像入力手段が、視体積計算における複数の計算ノードに対応し、複数の視点で画像を入力する画像入力ステップと、
    入力シルエット計算手段が、前記入力された画像からシルエット画像を計算する入力シルエット計算ステップと、
    復元区域計算ノード割り当て手段が、復元区域単位ですべての視体積の計算を前記すべての計算ノードに割り当てる復元区域計算ノード割り当てステップと、
    復元区域選択手段が、各計算ノードにおいて、前記復元区域計算ノード割り当て手段により割り当てられた復元区域を計算対象として選択する復元区域選択ステップと、
    復元区域シルエットのローカル判定手段が、各計算ノードにおいて、前記復元区域選択手段により選択された復元区域にとってローカルにその区域が撮影されたシルエット画像を持つか否かを、前記入力シルエット計算手段で計算されたシルエット画像に基づいて判定する復元区域シルエットのローカル判定ステップと、
    シルエット共有手段が、前記復元区域シルエットのローカル判定手段によって、その区域が撮影されたシルエット画像を持たない復元区域であると判定された場合に、当該復元区域に割り当てられた計算ノードに対して、シルエット画像を持つ復元区域に割り当てられた計算ノードから、前記入力シルエット計算手段により計算されたシルエット画像を転送するシルエット共有ステップと、
    視体積計算手段が、各計算ノードにおいて、前記シルエット画像を用いて該当復元区域に対応した視体積を並列に計算する視体積計算ステップとを備え、
    前記復元区域選択ステップ、復元区域シルエットのローカル判定ステップ、シルエット共有ステップおよび視体積計算ステップを、すべての復元区域について繰り返し実行して全体の視体積を求めることを特徴とする視体積交差法による3次元形状復元方法。
  4. 前記復元区域計算ノード割り当てステップは、前記複数の計算ノードのうち、ある計算ノードに対応する画像入力手段の視野に入っている復元区域を他の計算ノードに割り当てて、各ノードの割り当てられる復元区域を均等化することを特徴とする請求項3に記載の視体積交差法による3次元形状復元方法。
  5. コンピュータを請求項1又は2に記載の各手段として機能させる視体積交差法による3次元形状復元プログラム。
JP2008307682A 2008-12-02 2008-12-02 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム Pending JP2010134546A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008307682A JP2010134546A (ja) 2008-12-02 2008-12-02 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008307682A JP2010134546A (ja) 2008-12-02 2008-12-02 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム

Publications (1)

Publication Number Publication Date
JP2010134546A true JP2010134546A (ja) 2010-06-17

Family

ID=42345811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008307682A Pending JP2010134546A (ja) 2008-12-02 2008-12-02 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム

Country Status (1)

Country Link
JP (1) JP2010134546A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567550A1 (en) 2018-05-07 2019-11-13 Canon Kabushiki Kaisha Image processing apparatus, control method of image processing apparatus, and computer-readable storage medium
US10495450B2 (en) 2015-03-31 2019-12-03 Nikon Corporation Imaging system, imaging device, method of imaging, and storage medium for imaging an object using at least one detector
US10638113B2 (en) 2015-04-02 2020-04-28 Nikon Corporation Imaging system, imaging device, method of imaging, and storage medium
US10706571B2 (en) 2016-03-09 2020-07-07 Nikon Corporation Imaging device, image processing device, storage medium, and imaging system
US10964042B2 (en) 2016-02-26 2021-03-30 Nikon Corporation Detection device, method and storage medium for optically detecting distance from a single viewpoint to an object
US11151733B2 (en) 2016-03-09 2021-10-19 Nikon Corporation Detection device, information processing device, detection method, storage medium, and detection system
US11151783B2 (en) 2014-09-03 2021-10-19 Nikon Corporation Image pickup device, information processing device, and image pickup system
US11593956B2 (en) 2017-11-30 2023-02-28 Nikon Corporation Detection device, processing device, equipment, detection method, and detection program
US11629950B2 (en) 2016-03-09 2023-04-18 Nikon Corporation Detection device, detection system, detection method, and storage medium
US11967094B2 (en) 2018-12-21 2024-04-23 Nikon Corporation Detecting device, information processing device, detecting method, and information processing program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151783B2 (en) 2014-09-03 2021-10-19 Nikon Corporation Image pickup device, information processing device, and image pickup system
US10495450B2 (en) 2015-03-31 2019-12-03 Nikon Corporation Imaging system, imaging device, method of imaging, and storage medium for imaging an object using at least one detector
US10638113B2 (en) 2015-04-02 2020-04-28 Nikon Corporation Imaging system, imaging device, method of imaging, and storage medium
US11682134B2 (en) 2016-02-26 2023-06-20 Nikon Corporation Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
US10964042B2 (en) 2016-02-26 2021-03-30 Nikon Corporation Detection device, method and storage medium for optically detecting distance from a single viewpoint to an object
US10706571B2 (en) 2016-03-09 2020-07-07 Nikon Corporation Imaging device, image processing device, storage medium, and imaging system
US11151733B2 (en) 2016-03-09 2021-10-19 Nikon Corporation Detection device, information processing device, detection method, storage medium, and detection system
US11629950B2 (en) 2016-03-09 2023-04-18 Nikon Corporation Detection device, detection system, detection method, and storage medium
US11593956B2 (en) 2017-11-30 2023-02-28 Nikon Corporation Detection device, processing device, equipment, detection method, and detection program
US11885611B2 (en) 2017-11-30 2024-01-30 Nikon Corporation Detection device, processing device, equipment, detection method, and detection program
US11189041B2 (en) 2018-05-07 2021-11-30 Canon Kabushiki Kaisha Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium
EP3567550A1 (en) 2018-05-07 2019-11-13 Canon Kabushiki Kaisha Image processing apparatus, control method of image processing apparatus, and computer-readable storage medium
US11967094B2 (en) 2018-12-21 2024-04-23 Nikon Corporation Detecting device, information processing device, detecting method, and information processing program

Similar Documents

Publication Publication Date Title
JP2010134546A (ja) 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム
JP4839237B2 (ja) 3次元形状復元方法,3次元形状復元装置,その方法を実装した3次元形状復元プログラム及びそのプログラムを記録した記録媒体
Wada et al. Homography based parallel volume intersection: Toward real-time volume reconstruction using active cameras
JP2007529070A (ja) 奥行きマップの生成方法及び装置
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2008186456A (ja) 2dイメージシーケンスからの3dシーン再構成方法
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007004578A (ja) 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体
CN113689539A (zh) 基于隐式光流场的动态场景实时三维重建方法与装置
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
Gong Enforcing temporal consistency in real-time stereo estimation
KR20160098012A (ko) 영상 매칭 방법 및 장치
EP1445736A2 (en) Method and system for providing a volumetric representation of a three-dimensional object
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
KR20150146419A (ko) 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
JP2019135617A (ja) 情報処理装置およびその制御方法、画像処理システム
CN110741413A (zh) 一种刚体配置方法及光学动作捕捉方法
JP5200042B2 (ja) 視差推定装置およびそのプログラム
JP2019211965A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4827685B2 (ja) 3次元形状復元装置
JP2019117582A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR102455843B1 (ko) 영상 재구성 장치 및 방법
JP7257272B2 (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
Yong et al. Probabilistic depth map fusion for real-time multi-view stereo

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100611