JP2001331786A - ３次元形状復元システム - Google Patents
３次元形状復元システムInfo
- Publication number
- JP2001331786A JP2001331786A JP2000146844A JP2000146844A JP2001331786A JP 2001331786 A JP2001331786 A JP 2001331786A JP 2000146844 A JP2000146844 A JP 2000146844A JP 2000146844 A JP2000146844 A JP 2000146844A JP 2001331786 A JP2001331786 A JP 2001331786A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- dimensional shape
- equation
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】対象物体の３次元形状を復元するシステムの提
供 【解決手段】第１段階の復元として、因子分解法を用い
て、全視点で共通して観察される物体上の部分を復元す
る。この結果、全視点におけるカメラの姿勢行列及び三
次元位置が得られる。第２段階の復元では、このビデオ
カメラの姿勢行列を用いて、全視点では見えなくても、
２方向以上の視点で共通して観察される物体上の部分の
復元を行う。カメラの姿勢行列の利用により、復元され
る部分を広げて、物体上のより広範囲の部分の３次元復
元ができるのが特徴である。変形物体の場合、３台以上
のビデオカメラで対象物体を撮影する必要があるが、２
台以上のビデオカメラで共通して観察される物体上の部
分が復元される。この復元は事前のカメラ・キャリブレ
ーションなしで行える。
供 【解決手段】第１段階の復元として、因子分解法を用い
て、全視点で共通して観察される物体上の部分を復元す
る。この結果、全視点におけるカメラの姿勢行列及び三
次元位置が得られる。第２段階の復元では、このビデオ
カメラの姿勢行列を用いて、全視点では見えなくても、
２方向以上の視点で共通して観察される物体上の部分の
復元を行う。カメラの姿勢行列の利用により、復元され
る部分を広げて、物体上のより広範囲の部分の３次元復
元ができるのが特徴である。変形物体の場合、３台以上
のビデオカメラで対象物体を撮影する必要があるが、２
台以上のビデオカメラで共通して観察される物体上の部
分が復元される。この復元は事前のカメラ・キャリブレ
ーションなしで行える。
Description
【０００１】
【発明の属する技術分野】本発明は、多視点から３次元
物体の画像を取り、その画像データを利用して３次元物
体を復元する技術に関するものである。
物体の画像を取り、その画像データを利用して３次元物
体を復元する技術に関するものである。
【０００２】
【技術的背景】カメラ等の画像から物体部分の３次元復
元を行うための手法として、従来はステレオビジョン法
が主流で市販品もある。ステレオビジョン法は２台のカ
メラで共通に観察される物体部分の３次元復元を行うた
め、復元範囲が狭い。復元範囲を広げるためにカメラの
視差を小さくすれば、奥行き方向の誤差が大きくなる。
また、事前にカメラ・キャリブレーションが必要なの
で、撮影場所に制限を受ける。
元を行うための手法として、従来はステレオビジョン法
が主流で市販品もある。ステレオビジョン法は２台のカ
メラで共通に観察される物体部分の３次元復元を行うた
め、復元範囲が狭い。復元範囲を広げるためにカメラの
視差を小さくすれば、奥行き方向の誤差が大きくなる。
また、事前にカメラ・キャリブレーションが必要なの
で、撮影場所に制限を受ける。
【０００３】他の手法として、カメラパラメータを復元
計算に使わない、因子分解法という３次元復元法が存在
する。この因子分解法は、１台のビデオカメラを使って
物体の周囲を撮影し、全てのフレームで共通に観察され
る部分の３次元復元を行う（例えば、金出，森田「画像
系列からの３次元形状と運動の復元」 電子情報通信学
会誌，８０−５，４７９／４８７（１９９７）参照）。
この手法において、発明者は、３台以上のビデオカメラ
を物体の周囲に固定することにより、剛体だけでなく、
従来の因子分解法では不可能な変形物体の３次元復元法
を開発している（タン，川端，石川「因子分解法を用い
た変形物体の形状復元」 映像情報メディア学会誌，５
２−３，４０６／４０８（１９９８）参照）。しかし、
この方法も、全ビデオカメラで共通して観察される部分
だけが復元される。３台以上のビデオカメラを使うこと
により、カメラ・キャリブレーションは不要になるが、
全ビデオカメラで共通して観察される部分だけが復元さ
れるので、ビデオカメラをあまり広げて設置できない。
計算に使わない、因子分解法という３次元復元法が存在
する。この因子分解法は、１台のビデオカメラを使って
物体の周囲を撮影し、全てのフレームで共通に観察され
る部分の３次元復元を行う（例えば、金出，森田「画像
系列からの３次元形状と運動の復元」 電子情報通信学
会誌，８０−５，４７９／４８７（１９９７）参照）。
この手法において、発明者は、３台以上のビデオカメラ
を物体の周囲に固定することにより、剛体だけでなく、
従来の因子分解法では不可能な変形物体の３次元復元法
を開発している（タン，川端，石川「因子分解法を用い
た変形物体の形状復元」 映像情報メディア学会誌，５
２−３，４０６／４０８（１９９８）参照）。しかし、
この方法も、全ビデオカメラで共通して観察される部分
だけが復元される。３台以上のビデオカメラを使うこと
により、カメラ・キャリブレーションは不要になるが、
全ビデオカメラで共通して観察される部分だけが復元さ
れるので、ビデオカメラをあまり広げて設置できない。
【０００４】
【発明が解決しようとする課題】本発明の目的は、ある
カメラでは観察されない部分があっても、その部分を含
めて、完全に復元できる３次元物体を復元するシステム
を提供することであり、特に、時間とともに変形する変
形物体にも適用することができる３次元復元システムを
提供することである。
カメラでは観察されない部分があっても、その部分を含
めて、完全に復元できる３次元物体を復元するシステム
を提供することであり、特に、時間とともに変形する変
形物体にも適用することができる３次元復元システムを
提供することである。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、複数の異なるカメラ位置で取得された、
画像データから対象物体の３次元形状を復元する３次元
形状復元システムであって、全てのカメラ位置で取得し
た画像データにある対象物体上の点である第１の特徴点
と、少なくとも２つの画像データにある対象物体上の点
である第２の特徴点とを選択し、前記第１の特徴点か
ら、各画像データを取得したカメラ方向と前記第１特徴
点の３次元位置を計算し、前記カメラ方向を用いて、各
画像データの前記第２特徴点の３次元位置を計算し、前
記第１特徴点の復元結果と合わせて３次元形状を復元す
ることを特徴とする。これにより、少なくとも２つの画
像データに含まれる特徴点があれば、その点を含めて対
象物体の３次元形状を復元することが可能である。前記
画像データとして、３台以上のビデオカメラによる、時
間により変形する対象物体の時間サンプリングされたも
のを用いて、３次元形状を復元することが可能である。
前記第１の特徴点および前記第２の特徴点の選択は、少
なくとも２つの画像データにある対象物体上の点である
特徴点を選択し、その後、前記選択した特徴点を、前記
第１の特徴点と前記第２の特徴点とに分けて行うことが
できる。前記各画像データの前記対象物体の対応する特
徴点の選択は、正規化相関を含む対応付け処理で対応付
けて行うことができる。上述の３次元形状復元システム
をコンピュータ・システムに構築させることができるプ
ログラムを格納した記録媒体も本発明である。
に、本発明は、複数の異なるカメラ位置で取得された、
画像データから対象物体の３次元形状を復元する３次元
形状復元システムであって、全てのカメラ位置で取得し
た画像データにある対象物体上の点である第１の特徴点
と、少なくとも２つの画像データにある対象物体上の点
である第２の特徴点とを選択し、前記第１の特徴点か
ら、各画像データを取得したカメラ方向と前記第１特徴
点の３次元位置を計算し、前記カメラ方向を用いて、各
画像データの前記第２特徴点の３次元位置を計算し、前
記第１特徴点の復元結果と合わせて３次元形状を復元す
ることを特徴とする。これにより、少なくとも２つの画
像データに含まれる特徴点があれば、その点を含めて対
象物体の３次元形状を復元することが可能である。前記
画像データとして、３台以上のビデオカメラによる、時
間により変形する対象物体の時間サンプリングされたも
のを用いて、３次元形状を復元することが可能である。
前記第１の特徴点および前記第２の特徴点の選択は、少
なくとも２つの画像データにある対象物体上の点である
特徴点を選択し、その後、前記選択した特徴点を、前記
第１の特徴点と前記第２の特徴点とに分けて行うことが
できる。前記各画像データの前記対象物体の対応する特
徴点の選択は、正規化相関を含む対応付け処理で対応付
けて行うことができる。上述の３次元形状復元システム
をコンピュータ・システムに構築させることができるプ
ログラムを格納した記録媒体も本発明である。
【０００６】
【発明の実施の形態】本発明の実施形態を、図面を参照
して詳細に説明する。本システムの概略図を図１に示
す。図１において、この例では、ビデオカメラ１０，２
０，３０の３台で、復元対象２００の画像を取ってい
る。３台のビデオカメラで取られた画像は、パーソナル
・コンピュータ（ＰＣ）１００に取り付けられているビ
デオ・キャプチャ・ボード１２０から、ＰＣ１００に取
り込まれていて、処理される。ビデオ・キュヤプチャ・
ボード１２０では、サンプリング間隔ΔＴで各ビデオカ
メラのビデオ画像を取得しており、取得された画像は、
コンピュータ内のディスクに格納する。なお、ビデオカ
メラは、３台以上必要である。また、以下の説明では、
３次元物体とは、静止物体および時間の経過とともに変
形移動（運動）する物体を含む。静止物体の復元の場合
は光学式シャッターカメラを利用してよい。変形・移動
（運動）する物体の復元の場合はビデオカメラを利用す
る。
して詳細に説明する。本システムの概略図を図１に示
す。図１において、この例では、ビデオカメラ１０，２
０，３０の３台で、復元対象２００の画像を取ってい
る。３台のビデオカメラで取られた画像は、パーソナル
・コンピュータ（ＰＣ）１００に取り付けられているビ
デオ・キャプチャ・ボード１２０から、ＰＣ１００に取
り込まれていて、処理される。ビデオ・キュヤプチャ・
ボード１２０では、サンプリング間隔ΔＴで各ビデオカ
メラのビデオ画像を取得しており、取得された画像は、
コンピュータ内のディスクに格納する。なお、ビデオカ
メラは、３台以上必要である。また、以下の説明では、
３次元物体とは、静止物体および時間の経過とともに変
形移動（運動）する物体を含む。静止物体の復元の場合
は光学式シャッターカメラを利用してよい。変形・移動
（運動）する物体の復元の場合はビデオカメラを利用す
る。
【０００７】本発明は、第１段階の復元として、因子分
解法（金出，森田「画像系列からの３次元形状と運動の
復元」電子情報通信学会誌，８０−５，４７９／４８７
１９９７）または、変形物体復元に拡張された因子分
解法（タン， 川端，石川「因子分解法を用いた変形物
体の形状復元」映像情報メディア学会誌，５２−３，４
０６／４０８ １９９８）を用いて、全視点（全ビデオ
カメラ）で共通して観察される物体上の部分を復元す
る。この結果、全視点におけるビデオカメラの姿勢行列
と全視点で観察できる特徴点の３次元座標が得られる。
第２段階の復元では、このビデオカメラの姿勢行列を用
いて、全視点（全ビデオカメラ）では見えなくても、２
方向（２台）以上の視点（ビデオカメラ）で共通して観
察される物体上の部分の復元を行う。本発明では、ビデ
オカメラの姿勢行列の利用により、復元される部分を広
げて、物体上のより広範囲の部分の３次元復元ができる
のが特徴である。本発明による３次元復元法では、３台
以上のビデオカメラで対象物体を撮影する必要がある
が、２台以上のビデオカメラで共通して観察される物体
上の部分が復元される。この復元は事前のカメラ・キャ
リブレーションなしで行える。本発明により、設置され
たビデオカメラ群の端近くの視野にある特徴点（ただし
最低２台のビデオカメラで観察できること）の復元が可
能になる。また、対象の変形や運動等の過程で発生す
る、一部の視点から隠れる特徴点（オクルージョンの発
生した特徴点）も、最低２台のビデオカメラで観察でき
るなら復元が可能である。
解法（金出，森田「画像系列からの３次元形状と運動の
復元」電子情報通信学会誌，８０−５，４７９／４８７
１９９７）または、変形物体復元に拡張された因子分
解法（タン， 川端，石川「因子分解法を用いた変形物
体の形状復元」映像情報メディア学会誌，５２−３，４
０６／４０８ １９９８）を用いて、全視点（全ビデオ
カメラ）で共通して観察される物体上の部分を復元す
る。この結果、全視点におけるビデオカメラの姿勢行列
と全視点で観察できる特徴点の３次元座標が得られる。
第２段階の復元では、このビデオカメラの姿勢行列を用
いて、全視点（全ビデオカメラ）では見えなくても、２
方向（２台）以上の視点（ビデオカメラ）で共通して観
察される物体上の部分の復元を行う。本発明では、ビデ
オカメラの姿勢行列の利用により、復元される部分を広
げて、物体上のより広範囲の部分の３次元復元ができる
のが特徴である。本発明による３次元復元法では、３台
以上のビデオカメラで対象物体を撮影する必要がある
が、２台以上のビデオカメラで共通して観察される物体
上の部分が復元される。この復元は事前のカメラ・キャ
リブレーションなしで行える。本発明により、設置され
たビデオカメラ群の端近くの視野にある特徴点（ただし
最低２台のビデオカメラで観察できること）の復元が可
能になる。また、対象の変形や運動等の過程で発生す
る、一部の視点から隠れる特徴点（オクルージョンの発
生した特徴点）も、最低２台のビデオカメラで観察でき
るなら復元が可能である。
【０００８】本発明の処理に関するフローチャートを図
２に示す。このフローチャートの処理を順次、以下で説
明する。図１に示されているシステム構成で、画像を３
台以上のビデオカメラで取得する（Ｓ３００）。これら
のサンプリングされたビデオ画像を
２に示す。このフローチャートの処理を順次、以下で説
明する。図１に示されているシステム構成で、画像を３
台以上のビデオカメラで取得する（Ｓ３００）。これら
のサンプリングされたビデオ画像を
【数１】Ｉf（ｔ）（ｔ＝１，２，…，Ｔ：ｆ＝１，
２，…，Ｆ） で表す。次に、特徴点の抽出と対応付けによる計測行列
を作成（Ｓ３１０）する。これは、例えば、図１におけ
るビデオカメラ２０の画像２２上での特徴点ｓ1やｓpを
得ることに相当する。以下の処理は、この特徴点の計測
行列に対して処理を行う。得られた拡大計測行列を用い
て、以下の２段階の復元を行う。第１段階の復元を適用
することで画像ごとの各ビデオカメラの姿勢と全視点で
観察される特徴点の３次元座標が復元される（Ｓ３２
０）。第２段階の復元を適用することで、第１段階の復
元で求められたビデオカメラの姿勢から、対象物体の見
えなかった部分の３次元位置を求める（Ｓ３３０）。こ
れらから、復元結果を集約して（Ｓ３４０）、復元され
た３次元の物体を表示する（Ｓ３５０）。以下に図２に
示したフローチャートにおける処理の各ステップを詳し
く説明する。
２，…，Ｆ） で表す。次に、特徴点の抽出と対応付けによる計測行列
を作成（Ｓ３１０）する。これは、例えば、図１におけ
るビデオカメラ２０の画像２２上での特徴点ｓ1やｓpを
得ることに相当する。以下の処理は、この特徴点の計測
行列に対して処理を行う。得られた拡大計測行列を用い
て、以下の２段階の復元を行う。第１段階の復元を適用
することで画像ごとの各ビデオカメラの姿勢と全視点で
観察される特徴点の３次元座標が復元される（Ｓ３２
０）。第２段階の復元を適用することで、第１段階の復
元で求められたビデオカメラの姿勢から、対象物体の見
えなかった部分の３次元位置を求める（Ｓ３３０）。こ
れらから、復元結果を集約して（Ｓ３４０）、復元され
た３次元の物体を表示する（Ｓ３５０）。以下に図２に
示したフローチャートにおける処理の各ステップを詳し
く説明する。
【０００９】さて、サンプリングされたビデオ画像か
ら、特徴点の抽出と対応付けによる計測行列の作成を行
う（Ｓ３１０）ために、まず、時刻ｔ（ｔ＝１，２，
…，Ｔ）におけるビデオ画像Ｉf（ｔ）（ｆ＝１，２，
…，Ｆ）をコンピュータ１００の固定ディスクより読み
出す。そして、２枚以上のビデオ画像間で対応の取れる
特徴点を選び、その画像座標を行列Ｗin（ｔ）に書きこ
む（Ｓ３１２）。特徴点の対応付けは正規化相関等を用
いて行うことができる。Ｗin（ｔ）を初期計測行列と呼
び、下記の式（１）の形を取る。
ら、特徴点の抽出と対応付けによる計測行列の作成を行
う（Ｓ３１０）ために、まず、時刻ｔ（ｔ＝１，２，
…，Ｔ）におけるビデオ画像Ｉf（ｔ）（ｆ＝１，２，
…，Ｆ）をコンピュータ１００の固定ディスクより読み
出す。そして、２枚以上のビデオ画像間で対応の取れる
特徴点を選び、その画像座標を行列Ｗin（ｔ）に書きこ
む（Ｓ３１２）。特徴点の対応付けは正規化相関等を用
いて行うことができる。Ｗin（ｔ）を初期計測行列と呼
び、下記の式（１）の形を取る。
【数２】 上記のＷin（ｔ）の上半分は特徴点の画像座標のｘ座
標、下半分はｙ座標が格納される。時刻ｔにおける特徴
点ｓp（ｔ）の、ビデオカメラｆの画像上での座標は
（ｘfp（ｔ），ｙfp（ｔ））と表され、ｘ座標は第ｆ行
第ｐ列に、ｙ座標は第Ｆ＋ｆ行第ｐ列に書き込まれる。
Ｗin（ｔ）中、ブロックｂi（ｉ＝１，２，…，８）は
複数の列をまとめて示したものであり、黒で塗りつぶさ
れた部分の成分はデータの欠落を表す。式（１）では、
ブロックｂ3、ｂ4は全ての成分が埋っており、他のブロ
ックはデータの欠落した成分がある。
標、下半分はｙ座標が格納される。時刻ｔにおける特徴
点ｓp（ｔ）の、ビデオカメラｆの画像上での座標は
（ｘfp（ｔ），ｙfp（ｔ））と表され、ｘ座標は第ｆ行
第ｐ列に、ｙ座標は第Ｆ＋ｆ行第ｐ列に書き込まれる。
Ｗin（ｔ）中、ブロックｂi（ｉ＝１，２，…，８）は
複数の列をまとめて示したものであり、黒で塗りつぶさ
れた部分の成分はデータの欠落を表す。式（１）では、
ブロックｂ3、ｂ4は全ての成分が埋っており、他のブロ
ックはデータの欠落した成分がある。
【００１０】Ｗin（ｔ）に画像座標の書きこまれた特徴
点をソートして、全てのビデオカメラで観察される特徴
点と２台以上Ｆ−１台以下のビデオカメラで観察される
特徴点に分類する。Ｗin（ｔ）上では、前者は全行に数
値の記入された列、後者は所々の行で数値の欠落してい
る列に対応する。ソート後の行列をＷ（ｔ）で表し、時
刻ｔにおける計測行列と呼ぶ。式（１）から得られるＷ
（ｔ）は次式で与えられる。
点をソートして、全てのビデオカメラで観察される特徴
点と２台以上Ｆ−１台以下のビデオカメラで観察される
特徴点に分類する。Ｗin（ｔ）上では、前者は全行に数
値の記入された列、後者は所々の行で数値の欠落してい
る列に対応する。ソート後の行列をＷ（ｔ）で表し、時
刻ｔにおける計測行列と呼ぶ。式（１）から得られるＷ
（ｔ）は次式で与えられる。
【数３】 全行に数値の記入された列（式（２）ではブロック
ｂ3、ｂ4）をまとめた行列をＷα（ｔ）、所々の行で数
値の欠落している列（式（２）ではブロックｂ1、ｂ2、
ｂ5、ｂ6、ｂ7、ｂ8）をまとめた行列をＷβ（ｔ）で表
せば、式（２）は次のように表せる。（なお、式（１）
から式（２）への変形は、プログラム上は必要なく、式
（１）において、全行に数値の記入された列を選択して
行列Ｗα（ｔ）を作り、残りの列で行列Ｗβ（ｔ）を作
ればよい。）
ｂ3、ｂ4）をまとめた行列をＷα（ｔ）、所々の行で数
値の欠落している列（式（２）ではブロックｂ1、ｂ2、
ｂ5、ｂ6、ｂ7、ｂ8）をまとめた行列をＷβ（ｔ）で表
せば、式（２）は次のように表せる。（なお、式（１）
から式（２）への変形は、プログラム上は必要なく、式
（１）において、全行に数値の記入された列を選択して
行列Ｗα（ｔ）を作り、残りの列で行列Ｗβ（ｔ）を作
ればよい。）
【数４】
【００１１】Ｗ（ｔ）（ｔ＝１，２，…，Ｔ）を次式の
ようにひとつの行列Ｗにまとめる。これを拡大計測行列
と呼ぶ（Ｓ３１４）。
ようにひとつの行列Ｗにまとめる。これを拡大計測行列
と呼ぶ（Ｓ３１４）。
【数５】 式（３）および式（４）から次式を得る。
【数６】 ＷαおよびＷβの列数（特徴点数）をそれぞれＱαおよ
びＱβと書く。また、改めてＷαのｆｐ成分をｘα fq、
Ｆ＋ｆ，ｐ成分をｙα fq、Ｗβのｆｐ成分をｘβ fq、Ｆ
＋ｆ，ｐ成分をｙβ fqと書く。Ｗαに対し式（７）で与
えられる平均値ｘ α f，ｙα f（ｆ＝１，２，…，Ｆ）を
求める。
びＱβと書く。また、改めてＷαのｆｐ成分をｘα fq、
Ｆ＋ｆ，ｐ成分をｙα fq、Ｗβのｆｐ成分をｘβ fq、Ｆ
＋ｆ，ｐ成分をｙβ fqと書く。Ｗαに対し式（７）で与
えられる平均値ｘ α f，ｙα f（ｆ＝１，２，…，Ｆ）を
求める。
【数７】
【００１２】式（５）のＷの各行ごとに式（７）で与え
られる平均値を引き、次式で与えられる行列（これも拡
大計測行列と呼ぶ）を作る（Ｓ３１６）。すなわち、
られる平均値を引き、次式で与えられる行列（これも拡
大計測行列と呼ぶ）を作る（Ｓ３１６）。すなわち、
【数８】 ただし、式（９）の第２式では、Ｗβでデータが欠落し
ている行については、この平均値の引き算を行わない。
ている行については、この平均値の引き算を行わない。
【００１３】次に、第１段階の特徴点の３次元位置の計
算（１）を行う（Ｓ３２０）。波線のＷαに対して因子
分解（金出，森田「画像系列からの３次元形状と運動の
復元」，電子情報通信学会誌，８０−５，４７９／４８
７（１９９７））を適用し、次式のようにビデオカメラ
の姿勢行列Ｍと物体の形状行列Ｓαの積に分解する（Ｓ
３２２）。
算（１）を行う（Ｓ３２０）。波線のＷαに対して因子
分解（金出，森田「画像系列からの３次元形状と運動の
復元」，電子情報通信学会誌，８０−５，４７９／４８
７（１９９７））を適用し、次式のようにビデオカメラ
の姿勢行列Ｍと物体の形状行列Ｓαの積に分解する（Ｓ
３２２）。
【数９】 式（１０）の姿勢行列Ｍは、各ビデオカメラのカメラ座
標系の方向を与える。また、形状行列Ｓαは、行列Ｗα
に画像座標の記入された全特徴点の３次元座標を与え
る。このように、従来の因子分解法によって３次元座標
が復元されるのは、波線Ｗ αすなわち式（５）のＷαの
中の特徴点のみである。
標系の方向を与える。また、形状行列Ｓαは、行列Ｗα
に画像座標の記入された全特徴点の３次元座標を与え
る。このように、従来の因子分解法によって３次元座標
が復元されるのは、波線Ｗ αすなわち式（５）のＷαの
中の特徴点のみである。
【００１４】さて、上記の処理により、姿勢行列Ｍが求
まったので、特徴点の３次元位置の計算（２）を行い、
姿勢行列Ｍと波線のＷβを用いて、波線のＷβに画像座
標の書きこまれた特徴点の３次元座標を求める（Ｓ３３
０）。すなわち、波線のＷβの各列に対して以下の計算
を行う。波線のＷβの第ｒ列（ｒ＝１，２，…，Ｑβ）
の、データの欠落のない行に対応するビデオカメラの組
み合わせをΣrとする。同じΣrを持つ列をまとめた行列
を波線のＷΣ r、対応するビデオカメラの姿勢行列ＭΣ r
を、波線のＷΣ rに画像座標の書きこまれている特徴点
の３次元座標を与える形状行列をＳΣ rとすれば、次式
が成り立つ。（ただし、波線のＷΣ rおよびＳΣ rはそれ
ぞれ１列の行列、すなわちベクターであってもよい。）
まったので、特徴点の３次元位置の計算（２）を行い、
姿勢行列Ｍと波線のＷβを用いて、波線のＷβに画像座
標の書きこまれた特徴点の３次元座標を求める（Ｓ３３
０）。すなわち、波線のＷβの各列に対して以下の計算
を行う。波線のＷβの第ｒ列（ｒ＝１，２，…，Ｑβ）
の、データの欠落のない行に対応するビデオカメラの組
み合わせをΣrとする。同じΣrを持つ列をまとめた行列
を波線のＷΣ r、対応するビデオカメラの姿勢行列ＭΣ r
を、波線のＷΣ rに画像座標の書きこまれている特徴点
の３次元座標を与える形状行列をＳΣ rとすれば、次式
が成り立つ。（ただし、波線のＷΣ rおよびＳΣ rはそれ
ぞれ１列の行列、すなわちベクターであってもよい。）
【数１０】 したがって次式より、形状行列ＳΣ rが求められる。
【数１１】 ここでＭ+ Σ rはＭΣ rの一般逆行列である。式（１２）
のＳΣ rが、式（１）に書きこまれた特徴点のうち、い
くつかのビデオカメラからは観察できない（そのビデオ
カメラに対応する行にデータの欠落のある）特徴点の３
次元座標を与える。すなわち、式（５）のＷβの中の特
徴点が復元される。復元結果を次式でひとつにまとめ
る。ただし、全特徴点数はＷβの列数と同じＱβである
が、同じビデオカメラの組を持つ列をまとめてブロック
にすれば、Ｒ個のブロックになるとする。
のＳΣ rが、式（１）に書きこまれた特徴点のうち、い
くつかのビデオカメラからは観察できない（そのビデオ
カメラに対応する行にデータの欠落のある）特徴点の３
次元座標を与える。すなわち、式（５）のＷβの中の特
徴点が復元される。復元結果を次式でひとつにまとめ
る。ただし、全特徴点数はＷβの列数と同じＱβである
が、同じビデオカメラの組を持つ列をまとめてブロック
にすれば、Ｒ個のブロックになるとする。
【数１２】 Ｓαで与えられる復元結果を、時刻ｔ（ｔ＝１，２，
…，Ｔ）ごとの特徴点にまとめ、次式で表す。
…，Ｔ）ごとの特徴点にまとめ、次式で表す。
【数１３】 式（１３）のＳβで与えられる復元結果を、時刻ｔ（ｔ
＝１，２，…，Ｔ）ごとの特徴点にまとめると、次式の
ようになる。
＝１，２，…，Ｔ）ごとの特徴点にまとめると、次式の
ようになる。
【数１４】 最終的な形状行列Ｓも時刻ごとにまとめて、次式で表
す。
す。
【数１５】 である。これで、復元結果が集約されたことになる（Ｓ
３４０）。式（１６）、式（１７）を用いて復元結果の
表示を行うことができる（Ｓ３５０）。本発明の具体的
な処理を例によって示す。ここでは静止物体の復元を例
にして説明する。変形物体の復元は、拡大計測行列の列
を増やすことで処理が可能である。
３４０）。式（１６）、式（１７）を用いて復元結果の
表示を行うことができる（Ｓ３５０）。本発明の具体的
な処理を例によって示す。ここでは静止物体の復元を例
にして説明する。変形物体の復元は、拡大計測行列の列
を増やすことで処理が可能である。
【００１５】さて、例として、図１のようなシステム構
成で、カメラで静止物体を撮影し、次の初期計測行列Ｗ
inが得られたとする。ただし、データの欠落成分は＊で
示している。
成で、カメラで静止物体を撮影し、次の初期計測行列Ｗ
inが得られたとする。ただし、データの欠落成分は＊で
示している。
【数１６】 （１８）この行列の列をソートして次の行列Ｗを得る。
【数１７】 （１９）Ｗの列のうち、成分に欠落のない第１〜５列が
Ｗα、成分に欠落のある第６〜１５列がＷβである。次
に、Ｗαの各行の平均値を求める。
Ｗα、成分に欠落のある第６〜１５列がＷβである。次
に、Ｗαの各行の平均値を求める。
【数１８】 Ｗα，Ｗβの各成分から、行ごとにこれらの平均値を引
いて波線のＷα，Ｗβを得る。
いて波線のＷα，Ｗβを得る。
【数１９】 ただし、式（２１）の第２式では、欠落成分の個所の計
算は行わない。
算は行わない。
【００１６】波線ｘfpおよび波線ｙfpを
【数２０】 で定義すれば、
【数２１】 となる。式（２３）の波線のＷαに対して因子分解法を
適用すると、次式を得る。
適用すると、次式を得る。
【数２２】 ここで、
【数２３】 は第ｆビデオカメラのカメラ座標系を与える正規直交ベ
クターで、ベクトルｋfが光軸方向を与える。またｓ
p（ｐ＝４，５，７，８，１０）は、式（１８）の行列
Ｗinの第ｐ列の与える特徴点の３次元座標である。
クターで、ベクトルｋfが光軸方向を与える。またｓ
p（ｐ＝４，５，７，８，１０）は、式（１８）の行列
Ｗinの第ｐ列の与える特徴点の３次元座標である。
【００１７】次に、式（２４）と、式（２５）の与える
カメラの姿勢行列Ｍを用いて、式（２４）の各列の与え
る特徴点の３次元座標を求める。同じビデオカメラの組
合せΣr（ｒ＝１，２，３，４，５，６，７）を式（２
４）の下に与えた。例えば、Σ1はビデオカメラ１，
２，４，５の組合せ、Σ2はビデオカメラ１，２の組合
せである。Σ1について次式が成り立つ。
カメラの姿勢行列Ｍを用いて、式（２４）の各列の与え
る特徴点の３次元座標を求める。同じビデオカメラの組
合せΣr（ｒ＝１，２，３，４，５，６，７）を式（２
４）の下に与えた。例えば、Σ1はビデオカメラ１，
２，４，５の組合せ、Σ2はビデオカメラ１，２の組合
せである。Σ1について次式が成り立つ。
【数２４】 よって次式が得られる。
【数２５】 Σ2については次式が成り立つ。
【数２６】 よって次式が得られる。
【数２７】 以下、同様にして、ｓ2，ｓ3，ｓ11，ｓ12，ｓ13，
ｓ14，ｓ15が求められる。以上をまとめると、式（１
８）の行列Ｗinから復元される特徴点は、以下のように
表される。
ｓ14，ｓ15が求められる。以上をまとめると、式（１
８）の行列Ｗinから復元される特徴点は、以下のように
表される。
【数２８】
【００１８】本発明の特徴やステレオ法の復元能力の差
異を図３によって説明する。図３（ａ）に示すような円
筒Ｏを例に３次元に復元する。即ち、側面上に丸で示し
た特徴点の３次元復元を行う。図３（ｂ）は上面図で、
円筒Ｏは円として描いてある。さて、ステレオ法の場
合、左カメラ（ＣL）と右カメラ（ＣR）を設置する。左
カメラが見込む範囲は弧１ｍ４、右カメラが見込む範囲
は弧３ｍ６であるから、共通して観察される弧３ｍ４の
範囲のみを復元することができる。次に、３台目のカメ
ラ（ＣM）を左右カメラの中央に設定する。従来の因子
分解法によれば、３台のカメラ（ＣL，ＣM，ＣR）で共
通して観察される部分が復元されるが、これは外側の２
台のカメラ（ＣL，ＣR）で共通して観察される部分であ
る弧３ｍ４に等しい。すなわちステレオ法と同じ復元範
囲となる。ただし、因子分解法の利点は、ステレオ法に
必要な、事前のカメラ・キャリブレーションが不要とい
う点である。本発明による方法の場合、第１段階で、３
台のカメラで共通して観察される弧３ｍ４の範囲が復元
される。第２段階では、弧３ｍ４以外の、隣り合う２台
のカメラで共通して観察される弧２３と弧４５の範囲が
復元される。結局、本発明による方法の場合、中央のカ
メラの見込む範囲である弧２ｍ５の範囲が復元される。
そのほか、弧３ｍ４の範囲において、オクルージョンや
ノイズにより、２台のカメラでしか観察されなかった特
徴点も復元できる。また本法も、事前のカメラキャリブ
レーションは不要である。しかも、例で説明した静的な
物体ばかりではなく、時間により変形する物体に対して
も適用することができる。
異を図３によって説明する。図３（ａ）に示すような円
筒Ｏを例に３次元に復元する。即ち、側面上に丸で示し
た特徴点の３次元復元を行う。図３（ｂ）は上面図で、
円筒Ｏは円として描いてある。さて、ステレオ法の場
合、左カメラ（ＣL）と右カメラ（ＣR）を設置する。左
カメラが見込む範囲は弧１ｍ４、右カメラが見込む範囲
は弧３ｍ６であるから、共通して観察される弧３ｍ４の
範囲のみを復元することができる。次に、３台目のカメ
ラ（ＣM）を左右カメラの中央に設定する。従来の因子
分解法によれば、３台のカメラ（ＣL，ＣM，ＣR）で共
通して観察される部分が復元されるが、これは外側の２
台のカメラ（ＣL，ＣR）で共通して観察される部分であ
る弧３ｍ４に等しい。すなわちステレオ法と同じ復元範
囲となる。ただし、因子分解法の利点は、ステレオ法に
必要な、事前のカメラ・キャリブレーションが不要とい
う点である。本発明による方法の場合、第１段階で、３
台のカメラで共通して観察される弧３ｍ４の範囲が復元
される。第２段階では、弧３ｍ４以外の、隣り合う２台
のカメラで共通して観察される弧２３と弧４５の範囲が
復元される。結局、本発明による方法の場合、中央のカ
メラの見込む範囲である弧２ｍ５の範囲が復元される。
そのほか、弧３ｍ４の範囲において、オクルージョンや
ノイズにより、２台のカメラでしか観察されなかった特
徴点も復元できる。また本法も、事前のカメラキャリブ
レーションは不要である。しかも、例で説明した静的な
物体ばかりではなく、時間により変形する物体に対して
も適用することができる。
【００１９】上述した本発明は、次のような分野に利用
することが可能である。 １．福祉機器開発のための高齢者や障害者の動作解析 ２．リハビリにおける訓練効果の評価 ３．スポーツ・ダンスや歯磨き等の動作解析 ４．動物の行動解析による生態・動態調査 ５．ビデオゲームやバーチャルリアリティ、コンピュー
タグラフィックス、電子図書館、電子博物館等における
３次元モデルの作成 ６．物体の破壊過程の復元と解析等
することが可能である。 １．福祉機器開発のための高齢者や障害者の動作解析 ２．リハビリにおける訓練効果の評価 ３．スポーツ・ダンスや歯磨き等の動作解析 ４．動物の行動解析による生態・動態調査 ５．ビデオゲームやバーチャルリアリティ、コンピュー
タグラフィックス、電子図書館、電子博物館等における
３次元モデルの作成 ６．物体の破壊過程の復元と解析等
【００２０】本発明は、スタンド・アローンのコンピュ
ータ・システムばかりではなく、複数のシステムから構
成される例えばクライアント・サーバ・システム等に適
用してもよい。本発明に関するプログラムを格納した記
憶媒体から、プログラムをシステムで読み出して実行す
ることにより、本発明の構成を実現することができる。
この記録媒体には、フロッピー（登録商標）・ディス
ク、ＣＤ−ＲＯＭ、磁気テープ、ＲＯＭカセット等があ
る。
ータ・システムばかりではなく、複数のシステムから構
成される例えばクライアント・サーバ・システム等に適
用してもよい。本発明に関するプログラムを格納した記
憶媒体から、プログラムをシステムで読み出して実行す
ることにより、本発明の構成を実現することができる。
この記録媒体には、フロッピー（登録商標）・ディス
ク、ＣＤ−ＲＯＭ、磁気テープ、ＲＯＭカセット等があ
る。
【００２１】
【発明の効果】上述の本発明を用いることにより、時間
とともに変形する変形物体でも、全てのビデオカメラで
は観察されない部分があっても復元できる。
とともに変形する変形物体でも、全てのビデオカメラで
は観察されない部分があっても復元できる。
【図１】 本システムの構成を示す図である。
【図２】 本発明の処理を示すフローチャートである。
【図３】 本発明の具体例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 13/00 Ｇ０１Ｂ 11/24 Ｎ Ｆターム(参考） 2F065 AA04 AA53 BB05 CC16 FF05 JJ03 JJ05 JJ19 JJ26 QQ00 QQ01 QQ24 QQ25 QQ27 QQ41 QQ42 2F112 AC03 AC06 CA02 CA08 CA12 FA03 FA21 5B057 BA01 BA02 DA07 DA08 DA16 DB03 DC03 DC05 DC08 DC32 5C054 CC00 FC15 FD01 FD03 HA05 5C061 AA21 AB04 AB08 AB21
Claims (5)
- 【請求項１】 複数の異なるカメラ位置で取得された、
画像データから対象物体の３次元形状を復元する３次元
形状復元システムであって、 全てのカメラ位置で取得した画像データにある対象物体
上の点である第１の特徴点と、少なくとも２つの画像デ
ータにある対象物体上の点である第２の特徴点とを選択
し、 前記第１の特徴点から、各画像データを取得したカメラ
方向と前記第１特徴点の３次元位置を計算し、 前記カメラ方向を用いて、各画像データの前記第２特徴
点の３次元位置を計算し、 前記第１特徴点の復元結果と合わせて３次元形状を復元
することを特徴とする３次元復元システム。 - 【請求項２】 請求項１記載の３次元形状復元システム
において、 前記画像データは、３台以上のビデオカメラによる、時
間により変形する対象物体の時間サンプリングされたも
のであることを特徴とする３次元形状復元システム。 - 【請求項３】 請求項１又は２記載の３次元形状復元シ
ステムにおいて、 前記第１の特徴点および前記第２の特徴点の選択は、 少なくとも２つの画像データにある対象物体上の点であ
る特徴点を選択し、 その後、前記選択した特徴点を、前記第１の特徴点と前
記第２の特徴点とに分けることを特徴とする３次元形状
復元システム。 - 【請求項４】 請求項３に記載の３次元形状復元システ
ムにおいて、 前記各画像データの前記対象物体の対応する特徴点の選
択は、正規化相関を含む対応付け処理を用いて対応付け
することで行うことを特徴とする３次元形状復元システ
ム。 - 【請求項５】 請求項１〜４のいずれかに記載の３次元
形状復元システムをコンピュータ・システムに構築させ
ることができるプログラムを格納した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000146844A JP2001331786A (ja) | 2000-05-18 | 2000-05-18 | ３次元形状復元システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000146844A JP2001331786A (ja) | 2000-05-18 | 2000-05-18 | ３次元形状復元システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001331786A true JP2001331786A (ja) | 2001-11-30 |
Family
ID=18653121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000146844A Pending JP2001331786A (ja) | 2000-05-18 | 2000-05-18 | ３次元形状復元システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001331786A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
-
2000
- 2000-05-18 JP JP2000146844A patent/JP2001331786A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6967658B2 (en) | Non-linear morphing of faces and their dynamics | |
| CN110929637B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| JPH11259660A (ja) | 三次元動作復元システム | |
| CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| US20190080510A1 (en) | Creating a synthetic model with organic veracity | |
| CN113822982A (zh) | 一种人体三维模型构建方法、装置、电子设备及存储介质 | |
| JP2018129009A (ja) | 画像合成装置、画像合成方法及びコンピュータプログラム | |
| CN114333034A (zh) | 人脸姿态估计方法、装置、电子设备及可读存储介质 | |
| JP2019128641A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111640184A (zh) | 古建筑物重现方法、装置、电子设备及存储介质 | |
| CN113160418A (zh) | 三维重建方法、装置和系统、介质及计算机设备 | |
| CN113706373A (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| JPH11504452A (ja) | ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 | |
| Vo et al. | Spatiotemporal bundle adjustment for dynamic 3d human reconstruction in the wild | |
| Kico et al. | Comparison of trajectories and quaternions of folk dance movements using dynamic time warping | |
| Wu et al. | Example-based real-time clothing synthesis for virtual agents | |
| JP4887491B2 (ja) | 医用画像処理方法及びその装置、プログラム | |
| Ponto et al. | Effective replays and summarization of virtual experiences | |
| WO2001097173A1 (en) | Basis functions of three-dimensional models for compression, transformation and streaming | |
| CN115223240B (zh) | 基于动态时间规整算法的运动实时计数方法和系统 | |
| JP2001331786A (ja) | ３次元形状復元システム | |
| WO2020155024A1 (zh) | 一种三维轨迹数据的数据缺失处理方法及装置 | |
| JP4710081B2 (ja) | 画像作成システム及び画像作成方法 | |
| Hyneman et al. | Human face project | |
| CN111316323A (zh) | 一种三维轨迹数据的异常值处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |