JP2000259835A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 人間の頭部のように複雑形状な任意の物体の
形状モデルを、実用的な精度と処理速度を満足しつつ自
動生成する。 【解決手段】 画像取込部０、特徴点抽出部１、３次元
動き情報抽出部２、画像間線形結合計算部３、距離情報
検出部４を有することにより、物体の３次元形状モデル
を自動的に生成する。画像取込部０は対象物体の時系列
画像（動画像系列）を取り込む。特徴点抽出部１は対象
物体のモデル作成に必要な特徴点抽出を行う。３次元動
き情報抽出部２は連続画像間でこれら抽出した特徴点同
士の対応づけを行い、その特徴点群の位置座標情報から
対象物体の動き情報、すなわち、３次元位置・姿勢の変
化情報を求める。画像間線形結合計算部３は時系列画像
間に成り立つ線形結合拘束及び光源の方向を求める。距
離情報検出部４は、画像中各点における距離及び物体表
面の法線ベクトルを幾何的輝度拘束条件にしたがって探
索により求めることにより物体の３次元形状を決定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば工業部品な
どの設計を支援するための３次元ＣＡＤ（計算機援用設
計）、３次元ＣＧ（コンピュータグラフィクス）を用い
た映像作成、あるいは人物の顔画像を用いたＨＩ（ヒュ
ーマンインタフェイス）、ゲームへの応用を含むＶＲ
（バーチャルリアリティ）上でのアバタの作成などで用
いられるものであり、対象物体のモデル記述の作成を支
援することに有用な画像処理装置及びその方法に関す
る。

【０００２】

【従来の技術】近年、工業部品などの設計を支援するた
めの３次元ＣＡＤ、３次元ＣＧを用いた映像作成、ある
いは人物の顔画像を用いたＨＩなど、画像生成、画像処
理、画像認識といった画像に関わる計算機処理のニーズ
が急速に拡大している。

【０００３】これらの処理においては、対象とする物体
の幾何形状、表面属性、そして、必要に応じて動きのデ
ータを計算機に数値化して入力することが必要である。
この入力過程をモデリングと呼び、入力された数値デー
タをモデルと呼ぶ。現在、このモデリング作業は、人手
により多くの手間を掛けて行っており、生産性やコスト
の面からも自動化が強く望まれている。

【０００４】そこで、カメラで得た画像を解析すること
により、対象物体の形状及び表面属性を自動的に求める
手法の研究が行われている。すなわち、複数台のカメラ
を用いて３角測量の原理により距離を求めるステレオ法
や、簡素なシステムとして一台のカメラの焦点距離を変
えて得た画像を解析することにより距離を求める手法を
用いて、環境に存在する物体のモデリングを自動的に行
う試みがなされている。

【０００５】しかしながら、一台のカメラで焦点距離を
変える際には物体が静止していることが必要であり、ス
テレオ法において複数のカメラを用いる場合、一台のカ
メラを用いるのに比べてコストに問題がある。また、一
台のカメラで動物体を複数方向から撮影し、ステレオ法
を応用するためには、物体の向きと照明方向の相対変化
を考慮した対応付け問題が一般に解決されておらず、例
えば人間の頭部のように複雑形状、かつ、動きのある物
体のモデルを実用的な精度と処理速度を満足しつつ自動
的に作成する方式は未だ実現されていない。

【０００６】

【発明が解決しようとする課題】上述したように、従来
の方法では、焦点距離を変える際には物体が静止してい
ることが必要であり、ステレオ法において複数のカメラ
を用いる場合、一台のカメラを用いるのに比べてコスト
に問題があった。また、一台のカメラで動物体を複数方
向から撮影し、ステレオ法を応用するためには、物体の
向きと照明方向の相対変化を考慮した対応づけ問題が一
般に解決されておらず、例えば人間の頭部のように複雑
形状、かつ、動きのある物体を実用的にモデリングする
ことはできなかった。

【０００７】本発明は上記のような点に鑑みなされたも
ので、人間の頭部のように複雑形状、かつ、動きのある
物体のモデルを一台のカメラで実用的な精度と処理速度
を満足しつつ自動的に作成することのできる画像処理装
置及び画像処理方法を提供することを目的とする。

【０００８】また、この場合に、光源が一つのときだけ
でなく複数のときでも上記目的を解決できるものを提供
する。

【０００９】

【課題を解決するための手段】請求項１の発明は、一つ
の光源に照らされている動きのある対象物体を、静止し
た１台の画像取込み手段から時系列的に撮影して、その
対象物体の形状を獲得するための少なくとも距離情報を
演算する画像処理装置であって、前記画像取込み手段に
よって取込まれた時系列画像から前記対象物体の特徴点
を抽出する特徴点抽出手段と、前記特徴点抽出手段によ
って抽出された前記時系列画像の各時点の画像中に含ま
れる特徴点同士を対応づける特徴点対応手段と、前記特
徴点対応手段によって対応づけられた各特徴点の位置座
標情報に基づいて、前記時系列画像の各時点における前
記対象物体の位置と姿勢の変化を決定する幾何学的条件
決定手段と、前記特徴点対応手段によって対応づけられ
た各特徴点と、その周囲の輝度情報に基づいて、前記時
系列画像間の線形結合係数及び前記光源の光源方向を決
定する光学的条件決定手段と、前記幾何学的条件決定手
段により決定された前記対象物体の前記時系列画像中の
各時点の位置及び姿勢と、前記光学的条件決定手段によ
り決定された前記時系列画像間の線形結合係数に基づい
て、前記対象物体の各点への距離情報を計算する距離情
報計算手段と、前記幾何学的条件決定手段により決定さ
れた前記対象物体の前記時系列画像中の各時点の位置及
び姿勢と、前記光学的条件決定手段により決定された前
記光学方向に基づいて、前記対象物体の表面各点の表面
法線ベクトルを計算する表面法線ベクトル計算手段と、
を具備したことを特徴とする画像処理装置である。

【００１０】請求項２の発明は、前記光学的条件決定手
段は、前記特徴点対応手段によって対応づけられた各特
徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格
納した輝度行列を生成する輝度行列生成手段と、前記輝
度行列生成手段によって生成された輝度行列を特異値分
解することにより線形結合係数を計算する線形結合係数
計算手段と、前記対象物体の姿勢の変化及び任意の特徴
点での面法線ベクトルに基づいて、前記線形結合係数計
算手段によって計算された線形結合係数を前記光源方向
に変換する光源方向変換手段と、を具備することを特徴
とする請求項１記載の画像処理装置である。

【００１１】請求項３の発明は、距離情報計算手段は、
前記時系列画像のうち特定時点Ａの画像を選択して基準
画像とし、この基準画像中で各画素における前記対象物
体までの距離Ｚを設定する距離設定手段と、前記距離設
定手段によって設定された距離Ｚ及び前記幾何学的条件
決定手段により決定された前記対象物体の各時点の位置
と姿勢の変化に基づいて、前記各画素と対応する画素
を、前記特定時点Ａと異なる３時点以上の画像群におい
て決定する対応画像決定手段と、前記対応画像決定手段
によって決定された画素における輝度と前記基準画像中
の画素における輝度との整合の度合を、前記光学的条件
決定手段により決定された前記時系列画像間の線形結合
係数に基づいて計算する整合度合計算手段と、前記整合
度合計算手段によって計算された整合度合に応じて、前
記距離設定手段によって設定された距離Ｚを評価して、
この評価に基づいて距離情報を計算する評価手段と、を
具備し、また、表面法線ベクトル計算手段は、前記光学
的条件決定手段により決定された前記光源方向と前記評
価手段によって計算された距離情報に基づいて表面法線
ベクトルを計算することを特徴とする請求項１記載の画
像処理装置である。

【００１２】請求項４の発明は、前記距離情報計算手段
によって計算した前記距離情報を補正する距離情報補正
手段を含み、前記距離情報補正手段は、前記距離情報計
算手段と前記表面法線ベクトル計算手段とによってそれ
ぞれ計算された各画素の周辺における局所領域での前記
距離情報及び表面法線ベクトルに基づいて、前記局所領
域での奥行き連続性を利用して、距離Ｚの推定値を計算
する距離推定手段と、前記距離推定手段によって計算さ
れた距離Ｚの推定値と、前記距離情報を比較する比較手
段と、前記比較手段の比較結果に基づいて、前記距離情
報計算手段の前記距離情報を補正する補正手段と、を具
備することを特徴とする請求項１記載の画像処理装置で
ある。

【００１３】請求項５の発明は、複数の光源に照らされ
ている動きのある対象物体を、静止した１台の画像取込
み手段から時系列的に撮影して、その対象物体の形状を
獲得するための少なくとも距離情報を演算する画像処理
装置であって、前記画像取込み手段によって取込まれた
時系列画像から前記対象物体の特徴点を抽出する特徴点
抽出手段と、前記特徴点抽出手段によって抽出された前
記時系列画像の各時点の画像中に含まれる特徴点同士を
対応づける特徴点対応手段と、前記特徴点対応手段によ
って対応づけられた各特徴点の位置座標情報に基づい
て、前記時系列画像の各時点における前記対象物体の位
置と姿勢の変化を決定する幾何学的条件決定手段と、前
記特徴点対応手段によって対応づけられた各特徴点と、
その周囲の輝度情報に基づいて、前記複数の光源に対応
した前記時系列画像間の線形結合係数を決定する光学的
条件決定手段と、前記幾何学的条件決定手段により決定
された前記対象物体の前記時系列画像中の各時点の位置
及び姿勢と、前記光学的条件決定手段により決定された
前記時系列画像間の線形結合係数に基づいて、前記対象
物体の各点への距離情報を計算する距離情報計算手段
と、を具備したことを特徴とする画像処理装置である。

【００１４】請求項６の発明は、前記光学的条件決定手
段は、前記特徴点対応手段によって対応づけられた各特
徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格
納した輝度行列を生成する輝度行列生成手段と、前記輝
度行列生成手段によって生成された輝度行列を前記複数
の光源の組合せ毎に部分行列に分割する部分行列分割手
段と、前記部分行列分割手段によって分解された各部分
行列を特異値分解することにより前記複数の光源に対応
した線形結合係数を計算する線形結合係数計算手段と、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベ
クトルに基づいて、前記線形結合係数を光源方向に変換
する光源方向変換手段と、を具備することを特徴とする
請求項５記載の画像処理装置である。

【００１５】請求項７の発明は、前記部分行列分割手段
は、前記輝度行列生成手段によって生成された輝度行列
とその転置行列を掛け合わせた行列の固有ベクトルを計
算する固有ベクトル計算手段と、前記固有ベクトル計算
手段によって計算された固有ベクトルを各列に含んだ行
列と、その転置行列を掛け合わせた表面行列を計算する
表面行列計算手段と、前記表面行列計算手段によって計
算された表面行列の行と列の同時の並替えを、前記表面
行列の非対角成分が零となるように繰り返す並替え手段
と、前記並替え手段による並べ替えの繰り返しと同じ順
序で前記輝度行列の要素を並べ替え、前記表面行列の各
対角ブロックの次元に対応して前記輝度行列を所定の数
の部分行列に分割する分割手段と、を具備することを特
徴とする請求項６記載の画像処理装置である。

【００１６】請求項８の発明は、前記分割手段は、前記
輝度行列のランクを計算し、この計算されたランク数に
応じた数に部分行有することを特徴とする請求項７記載
の画像処理装置である。

【００１７】請求項９の発明は、前記距離情報計算手段
は、前記時系列画像のうち特定時点Ａの画像を選択して
基準画像とし、この基準画像中で各画素における前記対
象物体までの距離Ｚを設定する距離設定手段と、前記距
離設定手段によって設定された距離Ｚ及び前記幾何学的
条件決定手段により決定された前記対象物体の各時点の
位置と姿勢の変化に基づいて、前記各画素と対応する画
素を、前記特定時点Ａと異なる３時点以上の画像群にお
いて決定する対応画像決定手段と、前記対応画像決定手
段によって決定された画素における輝度と前記基準画像
中の画素における輝度との整合の度合を、前記光学的条
件決定手段により決定された前記時系列画像間の前記複
数の光源に対応した線形結合係数に基づいて計算する整
合度合計算手段と、前記整合度合計算手段によって計算
された整合度合に応じて、前記距離設定手段によって設
定された距離Ｚを評価して、この評価に基づいて距離情
報を計算する評価手段と、を具備したことを特徴とする
請求項５記載の画像処理装置である。

【００１８】請求項１０の発明は、一つの光源に照らさ
れている動きのある対象物体を、静止した１台の画像取
込み手段から時系列的に撮影して、その対象物体の形状
を獲得するための少なくとも距離情報を演算する画像処
理方法であって、前記画像取込み手段によって取込まれ
た時系列画像から前記対象物体の特徴点を抽出する特徴
点抽出ステップと、前記特徴点抽出ステップによって抽
出された前記時系列画像の各時点の画像中に含まれる特
徴点同士を対応づける特徴点対応ステップと、前記特徴
点対応ステップによって対応づけられた各特徴点の位置
座標情報に基づいて、前記時系列画像の各時点における
前記対象物体の位置と姿勢の変化を決定する幾何学的条
件決定ステップと、前記特徴点対応ステップによって対
応づけられた各特徴点と、その周囲の輝度情報に基づい
て、前記時系列画像間の線形結合係数及び前記光源の光
源方向を決定する光学的条件決定ステップと、前記幾何
学的条件決定ステップにより決定された前記対象物体の
前記時系列画像中の各時点の位置及び姿勢と、前記光学
的条件決定ステップにより決定された前記時系列画像間
の線形結合係数に基づいて、前記対象物体の各点への距
離情報を計算する距離情報計算ステップと、前記幾何学
的条件決定ステップにより決定された前記対象物体の前
記時系列画像中の各時点の位置及び姿勢と、前記光学的
条件決定ステップにより決定された前記光学方向に基づ
いて、前記対象物体の表面各点の表面法線ベクトルを計
算する表面法線ベクトル計算ステップと、を具備したこ
とを特徴とする画像処理方法である。

【００１９】請求項１１の発明は、複数の光源に照らさ
れている動きのある対象物体を、静止した１台の画像取
込み手段から時系列的に撮影して、その対象物体の形状
を獲得するための少なくとも距離情報を演算する画像処
理方法であって、前記画像取込み手段によって取込まれ
た時系列画像から前記対象物体の特徴点を抽出する特徴
点抽出ステップと、前記特徴点抽出ステップによって抽
出された前記時系列画像の各時点の画像中に含まれる特
徴点同士を対応づける特徴点対応ステップと、前記特徴
点対応ステップによって対応づけられた各特徴点の位置
座標情報に基づいて、前記時系列画像の各時点における
前記対象物体の位置と姿勢の変化を決定する幾何学的条
件決定ステップと、前記特徴点対応ステップによって対
応づけられた各特徴点と、その周囲の輝度情報に基づい
て、前記複数の光源に対応した前記時系列画像間の線形
結合係数を決定する光学的条件決定ステップと、前記幾
何学的条件決定ステップにより決定された前記対象物体
の前記時系列画像中の各時点の位置及び姿勢と、前記光
学的条件決定ステップにより決定された前記時系列画像
間の線形結合係数に基づいて、前記対象物体の各点への
距離情報を計算する距離情報計算ステップと、を具備し
たことを特徴とする画像処理方法である。

【００２０】請求項１２の発明は、一つの光源に照らさ
れている動きのある対象物体を、静止した１台の画像取
込み手段から時系列的に撮影して、その対象物体の形状
を獲得するための少なくとも距離情報を演算する画像処
理方法を実現するプログラムを記憶した記録媒体であっ
て、前記画像取込み手段によって取込まれた時系列画像
から前記対象物体の特徴点を抽出する特徴点抽出機能
と、前記特徴点抽出機能によって抽出された前記時系列
画像の各時点の画像中に含まれる特徴点同士を対応づけ
る特徴点対応機能と、前記特徴点対応機能によって対応
づけられた各特徴点の位置座標情報に基づいて、前記時
系列画像の各時点における前記対象物体の位置と姿勢の
変化を決定する幾何学的条件決定機能と、前記特徴点対
応機能によって対応づけられた各特徴点と、その周囲の
輝度情報に基づいて、前記時系列画像間の線形結合係数
及び前記光源の光源方向を決定する光学的条件決定機能
と、前記幾何学的条件決定機能により決定された前記対
象物体の前記時系列画像中の各時点の位置及び姿勢と、
前記光学的条件決定機能により決定された前記時系列画
像間の線形結合係数に基づいて、前記対象物体の各点へ
の距離情報を計算する距離情報計算機能と、前記幾何学
的条件決定機能により決定された前記対象物体の前記時
系列画像中の各時点の位置及び姿勢と、前記光学的条件
決定機能により決定された前記光学方向に基づいて、前
記対象物体の表面各点の表面法線ベクトルを計算する表
面法線ベクトル計算機能と、を実現するプログラムを記
憶したことを特徴とする画像処理方法の記録媒体であ
る。

【００２１】請求項１３の発明は、複数の光源に照らさ
れている動きのある対象物体を、静止した１台の画像取
込み手段から時系列的に撮影して、その対象物体の形状
を獲得するための少なくとも距離情報を演算する画像処
理方法を実現するプログラムを記憶した記録媒体であっ
て、前記画像取込み手段によって取込まれた時系列画像
から前記対象物体の特徴点を抽出する特徴点抽出機能
と、前記特徴点抽出機能によって抽出された前記時系列
画像の各時点の画像中に含まれる特徴点同士を対応づけ
る特徴点対応機能と、前記特徴点対応機能によって対応
づけられた各特徴点の位置座標情報に基づいて、前記時
系列画像の各時点における前記対象物体の位置と姿勢の
変化を決定する幾何学的条件決定機能と、前記特徴点対
応機能によって対応づけられた各特徴点と、その周囲の
輝度情報に基づいて、前記複数の光源に対応した前記時
系列画像間の線形結合係数を決定する光学的条件決定機
能と、前記幾何学的条件決定機能により決定された前記
対象物体の前記時系列画像中の各時点の位置及び姿勢
と、前記光学的条件決定機能により決定された前記時系
列画像間の線形結合係数に基づいて、前記対象物体の各
点への距離情報を計算する距離情報計算機能と、を実現
するプログラムを記憶したことを特徴とする画像処理方
法の記録媒体である。

【００２２】以上により、本発明は、対象物体の撮影に
よって得られる時系列画像を用い、その時系列画像の各
時点の画像に含まれる特徴点同士を対応づけ、その対応
づけられた各特徴点の位置座標情報から対象物体の各時
点の３次元の位置と姿勢、したがって、時系列画像間の
幾何学的結合条件を求め、一方でその対応づけられた各
特徴点の輝度情報から時系列画像間の光学的結合条件及
び光源の方向を計算し、時系列画像間の幾何学的及び光
学的結合条件を用いて各画素における距離情報及び表面
法線ベクトルを獲得し、さらに表面法線ベクトルを利用
して距離情報を補正したものを上記対象物体のモデル情
報として出力するものである。

【００２３】なお、表面法線ベクトルは距離情報の補正
以外に映像の生成に利用できる。

【００２４】このような構成により、例えば人間の頭部
のように複雑形状、かつ、動きのある物体を対象に、一
台のカメラを入力装置としてそのモデルを自動作成する
ことができる。

【００２５】なお、本発明は、この意味で複数台のカメ
ラを用いるUS Patent 5475422 （参考文献１：US Paten
t 5475422- Dec. 12, 1995 (NTT) "Method and apparat
us for reconstructing three-dimensional objects"）
等の提案とは内容を異にする。

【００２６】また、以下で発明の実施の形態として対象
物体の動きを算出するためにC. Tomasi 等による因子分
解法（参考文献２：C. Tomasi and T. Kanade, "Shape
andmotion from image streams under orthography: A
factorization method" International Journal of Com
puter Vision Vol. 9:2 pp 137-154, 1922 ）を用いて
おり、その際、一撃計算により特定に選択された点の３
次元位置が同時に求まるが、これの外挿を基本とするモ
デル化は関連して別途”特願平９−７６７号”として出
願している。また、対応づけに基づくステレオ法を応用
することで対象物体の３次元表面全体を復元する方法に
ついても”特願平９−２７３５７３号”として出願して
いる。

【００２７】これに対し本発明は、３次元の奥行きと表
面の法線ベクトルを同時推定しようとするものであり、
物体形状の精度の向上に寄与するものである。

【００２８】

【発明の実施の形態】第１の実施形態 以下、本発明の第１の実施形態について、人間の頭部の
表面モデルを自動生成する場合を例にとって説明する。

【００２９】図１（ａ）に本実施形態の基本的な構成例
を示し、図１（ｂ）に本実施形態の詳細な構成例を示
す。

【００３０】画像取込部０により得られた動画像系列か
ら、まず特徴点抽出部１により、モデル作成を行う物体
の表面を構成する特徴点を抽出する。

【００３１】次に、３次元動き推定部２により、連続画
像間でこれら抽出した特徴点同士の対応づけを行い、対
応づけられた特徴点群の２次元座標から生成される行列
を係数行列として含む関係式を変形操作することによ
り、頭部の位置・姿勢を求める。

【００３２】また、線形結合係数計算部３により、対応
づけられた各特徴点の輝度情報から生成される行列を係
数行列として含む関係式を変形操作することにより、画
像間の線形結合係数を求める。

【００３３】最後に、距離情報検出部４により、頭部の
位置・姿勢と画像間の線形結合係数にしたがって、幾何
学輝度拘束条件に基づいて、物体への距離情報を検出
し、形状復元を行う。

【００３４】次に、上記基本構成における各構成要素の
構成例について説明する。

【００３５】（ａ）特徴点抽出部 図２に、特徴点抽出部１の詳細な構成例を示す。

【００３６】まず平滑化処理部１０において、抽出する
原画像に平滑化処理を施す。この処理をデジタルフィル
タで実現する場合は、例えば、

【数１】 という係数を持つサイズ３の空間フィルタで実現でき
る。

【００３７】この処理は、次の２次元差分処理部１１、
及び方向別分散値計算部１４における、ノイズ低減のた
めの前処理として行われる。二次空間差分処理部１１で
は、上記平滑化処理結果に対し二次空間差分処理を施す
ことにより、孤立した特徴点部分の明度強調を行う。こ
の処理をデジタル空間フィルタで実現する場合は、例え
ば、

【数２】 という係数を持つサイズ３の空間フィルタで実現でき
る。

【００３８】次に、孤立特徴点抽出部１２において、こ
の明度強調結果で適当に設定した閾値以上の部分を抽出
することにより、例えば頭部における黒子のような孤立
した特徴点を抽出し、この座標値を記憶部に順次格納す
る。

【００３９】さらに、局所マスク設定部１３では、前記
平滑化処理部１０の結果に対し、例えば頭部における目
尻、唇の端点のような連続特徴点を抽出するための局所
マスク領域を順次設定する。

【００４０】連続特徴点は、例えば目尻であれば目領域
の上輪郭と下輪郭の交差する点、唇の端点であれば上唇
の輪郭と下唇の輪郭の交差する点、というように、複数
の輪郭線（エッジ）の交差部分、すなわち複数の方向に
輝度勾配が強い点として求められる。マスク領域の大き
さは、抽出する特徴点を構成する輪郭線（エッジ）の長
さと必要となる演算量を考慮して最適となるように設定
する。

【００４１】次に、方向別分散値計算部１４において、
この設定された各局所マスク内の方向別分散値を計算す
る。この方向としては例えば、垂直、水平、右４５゜、
左４５゜の４方向を選択し、局所マスク内の各方向に連
続した画素の明度値を用いて、各方向別分散値を計算す
る。

【００４２】次に、連結特徴点抽出部１５において、上
記方向別分散値計算部１４において計算された方向別分
散値が、２つ以上の方向に対し一定閾値以上の値を有す
る局所マスクの中心点を連結特徴点として抽出し、この
座標値を記憶部に順次格納する。

【００４３】（ｂ）３次元動き情報抽出部 次に、前記３次元動き情報抽出部２の詳細な構成例につ
いて、図３を用いて説明する。

【００４４】特徴点対応づけ部２０において、前記特徴
点抽出部１で抽出された孤立特徴点群、及び連結特徴点
群の、連続時系列画像間における対応づけを行う。

【００４５】図４に、上記特徴点対応づけ部２０の詳細
な構成例を示す。

【００４６】まず、特徴点選択部２００で、連続時系列
画像間における対応づけを行う特徴点の組を選択する。

【００４７】次に、局所マスク設定部２０１において、
これら特徴点を含む５×５や７×７などのサイズを持つ
局所マスク領域を各々の画像中に設定する。

【００４８】次に、相関値計算部２０２において、これ
ら局所マスク領域間の相関係数の値を計算する。

【００４９】次に、対応判定部２０３において、上記相
関係数値が閾値以上、かつ最大となる組を、対応づけが
求まったものとして記憶部に格納する処理を、抽出され
た各特徴点について順次行う。

【００５０】次に、計測行列設定部２１では、これら対
応づけの得られた特徴点の画像中の座標値を用いて、３
次元動き情報を求めるための計測行列を作成する。

【００５１】本実施形態では、モデル作成を行う対象そ
のものの奥行きに対し、観測に用いるカメラが対象から
十分遠方にある（正射影の条件を満たす）場合につい
て、因子分解法を適用した例について述べる。この条件
は例えば顔を撮影する場合、通常カメラを特に遠方に配
置しなくても満たされる。

【００５２】対応づけが得られた特徴点の組において、
ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘｆ_ｐ ，
Ｙｆ_ｐ ）とする。また、画像の相枚数をＦ、特徴点の
組の数をＰとする。

【００５３】ｆ枚目の画像中の特徴点群の重心位置を
（Ａ_ｆ ，Ｂ_ｆ ）とするとこれらは、

【数３】 として与えられる。次にこれらの座標間の差をとって、

【数４】 とする。このとき計測行列Ｗは、

【数５】 として設定される。この計測行列Ｗは、２Ｆ×Ｐの行列
である。次に、計測行列変形操作部２２では、上記計測
行列Ｗに対し変形操作を行って

【数６】 と２つの行列の積の形に分解する。ただし、

【数７】 は２Ｆ×３の行列、

【数８】 は３×Ｐの行列である。この分解は、例えば特異値分解
処理を用いることにより実行される。

【００５４】ここで、Ｓにおける成分Ｓ_ｐ は対応づけ
られたｐ番目の特徴点の３次元位置（Ｘ_ｐ ，Ｙ_ｐ ，
Ｚ_ｐ ）である。一方、Ｍの行列の成分のうち
（ｘ_ｆ ，ｙ _ｆ ）は、ｆ番目の画像の基本ベクトルで
あり、動画像系列における各時点での画像の中心位置を
与えており、これらの差からフレーム間の物体の３次元
の動き情報、すなわち位置と姿勢の変化を決定すること
ができる。

【００５５】なお、特異値分解は一般に任意性を有する
が、Ｍの要素ベクトルが正規直交系を構成することなど
の適当な拘束条件の下に分解を一意に決定できる（詳細
は参考文献２）。

【００５６】これにより、動画像系列中にある時点での
入力画像の任意の点の座標と、その点までの推測される
距離Ｚから、他の画像において対応する点の座標を算出
することができる。

【００５７】（ｃ）画像間線形結合計算部 次に、前記画像間線形結合計算部３の詳細な構成例につ
いて、図５を用いて説明する。

【００５８】ここで、一般に１つの無限遠点光源を考え
るときある画素ｘ_ｉ の輝度Ｉは、その画素に対応する
物体表面上の点の内向きの３次元単位法線ベクトルに表
面反射率を乗じた量Ｂi と、点光源の光の方向を示す
３次元単位ベクトルに光源の強さを乗じた量ｓ¹ との
内積、すなわち

【数９】 で表現されることに注意されたい（図８参照）。またこ
れに基づいて、単一点光源下で得られる完全拡散反射表
面を持つ凸物体の任意の画像は、同一平面状にない３個
の単一点光源によって対象物体を同じ方向から撮影した
任意の３枚の画像を基底画像とし、それらの線形結合で
表現できることがShashua （参考文献３：A. Shashua "
Geometry and photometry in 3D visual recognition"
Ph. D. Thesis, Dept. Brain and Cognitive Science,
MIT, 1992.）によって示されている。

【００５９】いま、物体表面上の点が動画像系列上の点
ｘ(j) に投影されるとき、無限遠のｎ_ｋ 個の点光源に
よる反射をLambertianモデルで表現すると、ｊ番目の画
像のｉ番目の点の輝度値は、

【数１０】 で与えられる。ただし、上式において、Ｂi は物体表
面の内向きの単位法線ベクトルに表面反射率を乗じたも
のであり、Ｒ(j) は最初の画像からｊ番目の画像まで
の物体の回転を表す行列であり、ｓ^k はｋ番目の光の
方向を示す単位ベクトルに光源の強さを乗じたものであ
る。ある光源によって画素が照射されていないと内積が
負の値をとるのでmax(・,0)とする必要がある。

【００６０】式(7) は次のように書くこともできる。

【００６１】

【数１１】 は光源に関する因子であり、Ｄ^ｋ (j) はｋ番目の光源
がｊ番目の画像を照射しているかどうかで、１または０
の値をとる。

【００６２】画像中の特徴点がｎ_ｉ 個であり、ｎ_ｊ
枚の動画像系列を解析する場合、以下の行列表現をする
ことができる。

【００６３】

【数１２】 なお、ＩはＩ_ｉ (j) を要素とするｎ_ｉ ×ｎ_ｊ の
行列であり、ＢはＢ_i ^Tを各行とするｎ_ｉ ×３の行
列であり、ｓはｓ´(j)を各列とする３×ｎ_ｊ の行
列である。

【００６４】３次元動き抽出部２中で記述済みの特徴点
対応づけ部２０で、ｎ_ｊ 枚通して全ての動画像系列中
の各々の特徴点に対して対応づけを行うことで、対応づ
けされた特徴点の輝度値Ｉ_ｉ (j) をＩにおいて記録
することができる。

【００６５】輝度行列設定部３１では、これら対応づけ
の得られた特徴点における輝度値を用いて、輝度行列を
作成する。

【００６６】次に、単一点光源を考えるとき輝度行列変
形操作部３２では、計測行列Ｉに対し例えば特異値分
解等を行うことによって、rank３の行列による近似表現
を得ることができる。

【００６７】

【数１３】 は、線形結合係数を含む３×ｎ_ｊ の行列である。

【００６８】よく知られているように特異値分解による
分解は一意ではなく、一般には任意の３×３正則行列
Ａを用いて次のように表現される。

【００６９】

【数１４】 を満たす行列Ａを計算すれば距離情報と同時に光源の
方向が求まる。そのような行列Ａは以下のように計算
することができる。

【００７０】まず、式(11)の行列ｓに含まれる光源の物
理的な意味に立ち戻ると、その解釈は次のようになる。
すなわち１列目のｓ(1) が最初のフレームの光源ベク
トル、つまり真の光源ベクトルであり、その他の列は物
体の回転にしたがい

【数１５】 によって表されるベクトルとなる。ここでＲ(j) は最
初のフレームからｊ番目のフレームにかけての物体の３
×３次元回転行列であり、回転行列の転置を乗じること
は、光源が相対的に逆向きの回転をしているという解釈
に基づいている。回転行列は、前記３次元動き抽出部２
の説明における式(4) でサンプル点の座標から計算した
２×３次元行列Ｍ(j) から直接与えられる。

【００７１】式(14)両辺の各列の関係を、上記の光源ベ
クトルが満たすべき条件式(15)に代入すると、関係式

【数１６】 が得られる。式(16)は基準画像に対して参照画像１フレ
ームにつき３本の方程式を与えるので、参照画像が３フ
レームあれば方程式が９本得られ、これらを適当に展開
すると行列Ａの９個の要素についての同次方程式を得
る。

【００７２】しかしその解には自由度が３残っており、
同次方程式のみから行列Ａを一意に決定することはで
きない。これは物理的に条件が不足していることを意味
しており、最初のフレームにおける光源と物体の初期配
置に自由度３の任意性があるためと解釈できる。この任
意性を取り除いて問題を良設定なものにするためには、
何らかの拘束条件を与えることが必要である。そこで、
条件として任意のサンプル点を一つ取り上げ、その点に
おける法線方向Ｂ_i ^Tを用いることにする。これは知識
として与えてもよいが、そのサンプル点周辺の奥行きを
先に計算しておくことで、その領域の勾配から計算する
ことができる。式(6) と式(14)から

【数１７】 以上に述べた行列Ａに関する条件(16)及び(17)を入力
画像が３枚の場合についてまとめて整理すると、

【数１８】 （ｄ）距離情報検出部 次に、距離情報検出部４の詳細な構成例について、図７
を用いて説明する。

【００７３】基本的な概念は動画像中からある基本画像
を選択し、この画像中で顔に相当する部分の各画素にお
いて他の画像との幾何的輝度拘束―幾何学的に対応する
点における輝度間に成立する線形拘束―にしたがって距
離を推定するものであり、前記３次元動き情報抽出部２
と前記画像間線形結合計算部３の結果の双方を利用する
ものである。

【００７４】この概念は図７に４枚の時系列画像を用い
て示されるごとくである。

【００７５】基準画像の任意の画素の輝度Ｉ_ｉ (1)
は、他の３枚の画像において幾何学的に対応している点
の輝度Ｉｉ(2) ，Ｉｉ(3) ，Ｉｉ(4) の線形結合で表さ
れる。なお図中、対象物体の動きは撮影するカメラの逆
位相の動きとして解釈されている。

【００７６】すなわち、１番目の画像において顔表面の
ある点Ｘｉが投影された画素の輝度Ｉｉ(1) を考
えるとき、その点Ｘｉへの距離Ｚを仮定、これにし
たがって同じ点Ｘｉが異なる時点の画像において投
影された輝度Ｉｉ(2) ，Ｉｉ(3) ，Ｉｉ(4) を推測し、
これらの輝度が、画像間線形結合計算部で計算された線
形結合係数に基づいた線形結合拘束を正しく満たす度合
を評価することで、正しい距離Ｚを探索によって求める
ことができる。

【００７７】ある距離Ｚを仮定するときこれに対する３
次元基底画素計算部４０と評価関数計算部４１は以下の
ように構成する。

【００７８】

【数１９】 なる拘束式が成立し、これを最小２乗の意味でもっとよ
く満足する解として次の３次元ベクトルを得る。

【００７９】

【数２０】 距離判定部４２では、推測の距離Ｚを変化させつつ上記
評価関数Ｅｉ(Z) の計算を行い、評価関数を最小（理想
的には零）とするＺをもってその点での距離とする。以
上の操作を画像上の各点において実行することで画像全
体の距離画像を得る。

【００８０】ここで、前記光源方向推定部３３により光
源の方向がすでにわかっている場合は、さらに法線ベク
トル計算部４３によって物体表面の法線ベクトルを計算
できる。この場合、前記評価関数計算部４１における式
(21)は次式で置き換えられる。

【００８１】

【数２１】 また、法線ベクトルが得られると、距離補正部４４で局
所領域での奥行きの連続性を利用し、各画素の周辺画素
での奥行きＺ_０ と法線ベクトルＢ_i ^Tから奥行きの推
定値Ｚ_ｅ を計算することもできる。周辺の画素の範囲
は連続性を考慮する度合に応じて決定し、奥行き推定値
はその範囲内の各画素での計算値の例えば平均値を取
る。簡単には上下左右の４画素だけを考慮しても効果が
見られるが、範囲をωとし、そこに含まれる画素数をｎ
としてＺ_ｅ を定式化すると

【数２２】 となる。ただしＺ_０ｋは画素ｋにおける奥行きの一次近
似、Ｄ_ｋ は画素ｋから画素ｉまでの距離、grad_ｋ は
画素ｋから画素ｉを見た方向の距離勾配であり各画素の
法線方向Ｂ^T から算出される。前記距離判定部４２の
奥行き探索において、式(22)による誤差関数Ｅ_ｉ (Z)
の極小ピークが複数存在する場合は、それぞれを候補と
した上で式(24)による奥行き推定値Ｚ_ｅ に最も近い極
小ピークをもって真の奥行きとすることができる。こう
した処理は一種のヒューリスティックとも呼べ、また結
果としてスムージング効果を持つことになるが、奥行き
探索の結果から直接意味のある値のみを残すことを可能
とする。

【００８２】変更例１ なお、本発明は上記実施形態で記載した内容に限定され
るものではない。

【００８３】例えば、距離判定部４２で距離Ｚを推測す
る際、３次元動き情報抽出部において物体の動きと同時
に抽出される特徴点の３次元位置情報Ｓを用いて距離Ｚ
の推測範囲を限定することができる。

【００８４】光源についてはさらに、ここで記述した単
一点光源における議論を基に、その組合せとして一般光
源へ拡張した環境へも対応することが可能である。この
ように本発明は物体の幾何的条件と光学的条件を組み合
わせることにより様々な拡張が可能である。

【００８５】第２の実施形態 図９に第２の実施形態の詳細な構成例を示す。

【００８６】第１の実施形態では、単一光源の場合につ
いて説明したが、第２の実施形態では、複数光源が存在
する場合について説明する。なお、画像間線形結合部計
算部３の式(18)までは、第１の実施形態と同様の処理を
行う。そのために、式(1) から式(18)までは、第１の実
施形態を参照し、式(19)以降については、第２の実施形
態の式番号を参照する。

【００８７】したがって、図１０に示す画像間線形結合
部計算部３の輝度行列変形操作部３２において複数点光
源が存在する場合を考える。

【００８８】最も単純な場合として、全ての点光源が物
体表面上の全ての点を照射している状況では、それらの
点光源の重ね合わせに等価な一つの光源を仮定し、上述
の単一光源における方法をあてはめることで線形結合係
数を計算することができる。さらに光源方向推定部３３
で光源の方向が推定できる。しかし、物体表面上の多く
の点は実際には複数光源の部分的な組合せによって照射
されており、その組合せは各点においてまちまちであ
る。

【００８９】すなわち、輝度行列設定部３１で設定した
輝度行列は、様々な光源の組合せによって生じた輝度が
格納されることになる。この状況では輝度行列分割部３
０を経て輝度行列変形操作部３２以降の処理を行う必要
がある。

【００９０】輝度行列分割部３０では、輝度行列を共通
する組合せの光源によって生じた輝度のみを含んだ部分
行列へ各行の並べ替えによって分割し、正準化する。こ
の分割ができると、輝度行列変形操作部３２以降の処理
は各部分行列ごとに行い、対応する線形結合係数及び光
源の方向を計算すればよい。

【００９１】以下、部分行列への分割を一般性を失うこ
となく２つの点光源が存在する場合を例にとって説明す
る。

【００９２】まず、２点光源（ｌ_１ ，ｌ_２ とおく）
における輝度行列は単一光源下における関係式(10)に対
応し、次のように表現できる。

【００９３】

【数２３】 ここで、ｓ1 とｓ2 は光源ｌ_１ とｌ_２ に対応し
た列を含み、Ｄ_ｋ（ｋ＝０，１，２，３）は３×３単
位行列Ｅ及び零行列からなる次の４種類の６×６行列
のいずれかで、輝度行列Ｉの各要素に寄与している光
源の組合せに対応している。

【００９４】

【数２４】 Ｄ_０は特徴点がｌ_１ とｌ_２ の両方の光源に照射さ
れている場合、Ｄ_１及びＤ_２は特徴点が各々ｌ_１
またはｌ_２ の片一方に照射されている状況に対応す
る。特徴点が完全な陰の部分にある場合がもしあれば、
その場合の輝度値は０でありＤ_３が対応する。

【００９５】いま、ｎ_ｉ 個の特徴点のうちｎ_０ 個が
入力画像列を通して光源ｌ_１ とｌ _２ の両方に照射さ
れており、ｎ_１ 個が光源ｌ_１ のみに、またｎ_２ 個
が光源ｌ_２ に照射されているとする。

【００９６】つまり、陰になる部分を除外して考えｎ
_ｉ ＝ｎ_０ ＋ｎ_１ ＋ｎ_２ とする。

【００９７】ここで、輝度行列の分割の方法を説明する
前に、分割した部分行列の表現形式について述べてお
く。何らかの方法で特徴点の分類が照射する光源の組合
せごとにわかっている状況を考え、これにしたがって輝
度行列Ｉの各々ｎ_ｋ 個の特徴点に対応する部分行列
Ｉ_ｋ（ｋ＝０，１，２）への分割がなされているとす
る。このとき式(19)は次のように表現でき、

【数２５】 と表される。ここでｎ_ｋ ×３行列Ｂ_ｋの各行に係わ
る特徴点はＤ_ｋ （ｋ＝０，１，２）に対応する光源の
組に照射されており、またｓ_０は光源ｌ_１ とｌ_２
を重ね合わせたベクトル

【数２６】 であることに注意する。

【００９８】式(20)では陰の部分を除外して考えること
でＤ_３に対応するＩ_３を無視しているが、更に光源
Ｉ_１ が物体全体を、光源ｌ_２ が物体の一部分のみを
照射していると考えても一般的な議論には差し支えな
い。これにより部分行列Ｉ_２を省略するとき（ｎ_ｉ
＝ｎ_０ ＋ｎ_１ ）、輝度行列は次のような正準型とな
る。

【００９９】

【数２７】 同じことが輝度行列Ｉにもそのまま当てはまるため、
入力画像の枚数を６枚以上、つまりｎ_ｊ ≧６としてお
く（一般に光源の組合せがｎ_ｍ とおりある場合は３ｎ
_ｍ 枚を用いることになる）。

【０１００】ここで、輝度行列Ｉの任意の行がｎ_ｊ
次元輝度空間Ｒ^ｎｊの一点を表すものと解釈すると、部
分行列Ｉ_０の各行は３次元部分空間Ｌ_０ の一点を、
また部分行列Ｉ_１の各行は別の３次元部分空間Ｌ_１
の一点を表すことになる。

【０１０１】したがって、特徴点を分類する問題は、空
間Ｒ^ｎｊにおけるｎ_ｊ 個の特徴点群を２つの異なる３
次元部分空間に分けることに帰着される。

【０１０２】以下では、まずこの分類が数学的に可能で
あることを述べた上で、表面行列と呼ばれる行列を導入
することで現実的に分類を行う方法について述べる。

【０１０３】

【数２８】 定義よりこれはランクｒの半正値対称行列である。その
固有値をλ_１ ≧，…，≧λ_Ｎ （最初のｒ個のみが零
でない）とし、対応する固有ベクトルの正規直交系を
｛υ_１ ，…，υ_Ｎ ｝とする。そしてＮ×Ｎ作用行列
Ｑ＝（Ｑ_αβ）を次のように定義する。

【０１０４】

【数２９】 すなわち、αとβは２つの任意の特徴点、Ｉ^αとＩ
^βは輝度行列Ｉのうちでそれらに対応する行とする。
定義よりこれはランク６の半正値対称行列である。その
固有値をλ_１ ≧，…，≧λ_ｎｉ（最初の６個のみが非
零）とし、対応する固有ベクトルの正規直交系を｛υ
_１ ，…，υ_ｎｉ｝とする。そしてｎ_ｉ×ｎ_ｉ 作用行
列Ｈ＝（Ｈ_αβ）を次のように定義し

【数３０】 つまり、この表面行列Ｈは各特徴点対αとβの分類の
可能性を示すもので、２点を照射する光源の組合せが共
通であるか異なるかをＨ_αβの計算に基づいて判断でき
る。Ｈ_αβが非零であれば光源の組合せが共通で、光源
の組合せが異なればＨ_αβの値が零となる。表面行列
Ｈを求めることで特徴点全てを対象としてこの判断を
組織的に行う方法を以下で述べる。

【０１０５】図１１に、輝度行列分割部３０の詳細な構
成例を示す。

【０１０６】まず、表面行列生成部３００では，輝度行
列Ｉに次の特異値分解を直接に施す。

【０１０７】

【数３１】 となる。

【０１０８】定義から表面行列Ｈは輝度行列Ｉから
一意に計算できるばかりか、輝度行列Ｉの行の順序を
入れ替えても、その値の組Ｈ_αβは一定のままで並び方
が入れ替わるのみである。つまり輝度行列Ｉの行αと
βを入れ替えると、行列Ｕの対応する行αとβが入れ
替わり、結果として表面行列Ｈの行αとβが一定の値
のまま同時に入れ替わることになる。

【０１０９】

【数３２】 表面行列対角化部３０１では、表面行列生成部３００で
生成した表面行列Ｈのブロック形式への対角化を行
う。ここでブロックの数、つまり特徴点群の輝度が帰属
する輝度部分空間の数ｍに関しては、特徴点群の分類に
先立って輝度行列ランクｒを計算することで求められ
る。すなわちｒ＝３ｍである。

【０１１０】計測した特徴点の輝度に雑音を含む環境で
は、表面行列Ｈの要素のうち異なる光源の組合せに照
射された特徴点対に対応するものでも小さな非零値をも
つ場合が考えられる。しかし、表面行列Ｈの対角化
は、表面の相関エネルギーを表す量としてＨ^２ _αβを
用い、Ｈの非対角成分のエネルギーを最小化するよう
に全ての行と列の入れ替えを探索することで行う。この
問題に対しては、簡単な最小化アルゴリズムで十分であ
るが、ヒルクライミング法や欲張り法などの探索法を用
いて効率を上げることも可能である。

【０１１１】続いて、輝度行列正準化部３０２では、表
面行列対角化部３０１において表面行列Ｈの行と列の
各々の組を並べ替えたのと、同じ順序で輝度行列Ｉの
行の入れ替えを行う。この結果、同一の光源に照射され
た特徴点が隣接した行に並ぶ輝度行列Ｉの正準型輝度
行列を生成することができる。

【０１１２】そして、得られた部分輝度行列の各々に対
して独立に輝度行列変形操作部３２以降の処理を施すこ
とで、対応する線形結合係数及び光源の方向ｓ_０と
ｓ_１を計算する。以上の処理は２点光源の場合だけで
なく任意点光源に対しても適応できる。

【０１１３】次に距離情報検出部４の詳細な構成例につ
いて、図１２を用いて説明する。

【０１１４】基本的な概念は動画像中からある基本画像
を選択し、この画像中で顔に相当する部分の各画素にお
いて他の画像との幾何的輝度拘束―幾何学的に対応する
点における輝度間に成立する線形拘束―にしたがって距
離を推定するものであり、前記３次元動き情報抽出部２
と前記画像間線形結合計算部３の結果の双方を利用する
ものである。この概念は図７に４枚の時系列画像を用い
て示されるごとくである。

【０１１５】すなわち、１番目の画像において顔表面の
ある点Ｘｉが投影された画素の輝度Ｉ_ｉ (1) を考
えるとき、その点Ｘｉへの距離Ｚを仮定、これにし
たがって同じ点Ｘｉが異なる時点の画像において投
影された輝度Ｉｉ(2) ，Ｉｉ(3) ，Ｉｉ(4) を推測し、
これらの輝度が、前記画像間線形結合計算部３で計算さ
れた線形結合係数に基づいた線形結合を正しく満たす度
合いを評価することで、正しい距離Ｚを探索によって
求めることができる。

【０１１６】ある距離Ｚを仮定するときこれに対する３
次元基底画素計算部４０と評価関数計算部４１は以下の
ように構成する。

【０１１７】

【数３３】 ここで評価関数Ｅ_ｉ （Ｚ）は光源の異なる組合せに対
する複数の線形結合係数について計算し、その最も小さ
い値を選択する。

【０１１８】距離判定部４２では、推測の距離Ｚを変化
させつつ上記評価関数Ｅ_ｉ （Ｚ）の計算を行い、評価
関数を最小（理想的には零）とするＺをもってその点で
の距離とする。以上の操作を画像上の各点において実行
することで画像全体の距離画像を得る。

【０１１９】変更例２ なお、本発明は上記実施形態で記載した内容に限定され
るものではない。

【０１２０】光源についてはさらに、ここで記述した複
数の点光源における議論を基に、その組合せとして一般
光源へ拡張した環境へも対応することが可能である。こ
のように本発明は物体の幾何的条件と光学的条件を組み
合わせることにより様々な拡張が可能である。

【０１２１】

【発明の効果】本発明によれば、複雑形状かつ動きのあ
る物体の形状復元を、実用的な精度と処理速度を満足し
て行うための画像処理方法及びその装置を提供すること
が可能となり、３次元ＣＡＤ、また３次元ＣＧ（コンピ
ュータグラフィクス）を用いた映像作成等の技術に、大
きく貢献する。

【０１２２】また、本発明によれば、光源が一つに限ら
ず、複数の光源にも対応できる。

【図面の簡単な説明】

【図１】（ａ） 本発明の第１の実施形態の基本的な構
成を示すブロック図である。 （ｂ） （ａ）の全体構成を示すブロック図である。

【図２】図１の特徴点抽出部の詳細な構成を示すブロッ
ク図である。

【図３】図１の３次元動き抽出部の詳細な構成を示すブ
ロック図である。

【図４】図３の特徴点対応づけ部の詳細な構成を示すブ
ロック図である。

【図５】図１の画像間線形結合計算部の詳細な構成を示
すブロック図である。

【図６】図１の距離情報検出部の詳細な構成を示すブロ
ック図である。

【図７】図６の距離情報検出部において用いられる幾何
学的輝度拘束を示すスケッチ図である。

【図８】物体の表面反射モデルを示すスケッチ図であ
る。

【図９】第２の実施形態の画像処理装置の全体構成を示
すブロック図である。

【図１０】第２の実施形態の画像間線形結合計算部の詳
細な構成を示すブロック図である。

【図１１】輝度行列分割部の詳細な構成を示すブロック
図である。

【図１２】距離情報検出部の詳細な構成を示すブロック
図である。

【符号の説明】

０ 画像取込部 １ 特徴点抽出部 ２ ３次元動き情報抽出部 ３ 画像間線形結合計算部 ４ 距離情報検出部 １０ 平滑化処理部 １１ ２次元空間差分処理部 １２ 孤立特徴点抽出部 １３ 局所マスク設定部 １４ 方向別分散値検出部 １５ 連結特徴点抽出部 ２０ 特徴点対応づけ部 ２１ 計測行列設定部 ２２ 計測行列変形操作部 ２００ 特徴点対選択部 ２０１ 局所マスク設定部 ２０２ 相関値計算部 ２０３ 対応判定部 ３１ 輝度行列設定部 ３２ 輝度行列変形操作部 ３３ 光源方向推定部 ３００ 表面行列生成部 ３０１ 表面行列対角化部 ３０２ 輝度行列正準化部 ４０ ３次元基底画素計算部 ４１ 評価関数計算部 ４２ 距離判定部 ４３ 法線ベクトル計算部 ４４ 距離補正部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA35 AA37 AA53 BB05 BB15 CC16 DD06 EE05 FF04 FF42 JJ03 JJ26 QQ00 QQ03 QQ13 QQ23 QQ24 QQ25 QQ27 QQ28 QQ32 QQ33 QQ41 QQ45 5B057 AA20 BA02 CA08 CA12 CA16 CE05 DA20 DC05 DC08 DC36 5C061 AA20 AB03 AB08 5L096 BA20 CA04 EA06 FA06 FA10 FA60 GA07 GA10 HA03

Claims (13)

【特許請求の範囲】
1. 【請求項１】一つの光源に照らされている動きのある対
   象物体を、静止した１台の画像取込み手段から時系列的
   に撮影して、その対象物体の形状を獲得するための少な
   くとも距離情報を演算する画像処理装置であって、 前記画像取込み手段によって取込まれた時系列画像から
   前記対象物体の特徴点を抽出する特徴点抽出手段と、 前記特徴点抽出手段によって抽出された前記時系列画像
   の各時点の画像中に含まれる特徴点同士を対応づける特
   徴点対応手段と、 前記特徴点対応手段によって対応づけられた各特徴点の
   位置座標情報に基づいて、前記時系列画像の各時点にお
   ける前記対象物体の位置と姿勢の変化を決定する幾何学
   的条件決定手段と、 前記特徴点対応手段によって対応づけられた各特徴点
   と、その周囲の輝度情報に基づいて、前記時系列画像間
   の線形結合係数及び前記光源の光源方向を決定する光学
   的条件決定手段と、 前記幾何学的条件決定手段により決定された前記対象物
   体の前記時系列画像中の各時点の位置及び姿勢と、前記
   光学的条件決定手段により決定された前記時系列画像間
   の線形結合係数に基づいて、前記対象物体の各点への距
   離情報を計算する距離情報計算手段と、 前記幾何学的条件決定手段により決定された前記対象物
   体の前記時系列画像中の各時点の位置及び姿勢と、前記
   光学的条件決定手段により決定された前記光学方向に基
   づいて、前記対象物体の表面各点の表面法線ベクトルを
   計算する表面法線ベクトル計算手段と、 を具備したことを特徴とする画像処理装置。
2. 【請求項２】前記光学的条件決定手段は、 前記特徴点対応手段によって対応づけられた各特徴点の
   輝度情報とそれら各特徴点の周囲の輝度情報を格納した
   輝度行列を生成する輝度行列生成手段と、 前記輝度行列生成手段によって生成された輝度行列を特
   異値分解することにより線形結合係数を計算する線形結
   合係数計算手段と、 前記対象物体の姿勢の変化及び任意の特徴点での面法線
   ベクトルに基づいて、前記線形結合係数計算手段によっ
   て計算された線形結合係数を前記光源方向に変換する光
   源方向変換手段と、 を具備することを特徴とする請求項１記載の画像処理装
   置。
3. 【請求項３】距離情報計算手段は、 前記時系列画像のうち特定時点Ａの画像を選択して基準
   画像とし、この基準画像中で各画素における前記対象物
   体までの距離Ｚを設定する距離設定手段と、 前記距離設定手段によって設定された距離Ｚ及び前記幾
   何学的条件決定手段により決定された前記対象物体の各
   時点の位置と姿勢の変化に基づいて、前記各画素と対応
   する画素を、前記特定時点Ａと異なる３時点以上の画像
   群において決定する対応画像決定手段と、 前記対応画像決定手段によって決定された画素における
   輝度と前記基準画像中の画素における輝度との整合の度
   合を、前記光学的条件決定手段により決定された前記時
   系列画像間の線形結合係数に基づいて計算する整合度合
   計算手段と、 前記整合度合計算手段によって計算された整合度合に応
   じて、前記距離設定手段によって設定された距離Ｚを評
   価して、この評価に基づいて距離情報を計算する評価手
   段と、 を具備し、また、 表面法線ベクトル計算手段は、 前記光学的条件決定手段により決定された前記光源方向
   と前記評価手段によって計算された距離情報に基づい
   て、表面法線ベクトルを計算することを特徴とする請求
   項１記載の画像処理装置。
4. 【請求項４】前記距離情報計算手段によって計算した前
   記距離情報を補正する距離情報補正手段を含み、 前記距離情報補正手段は、 前記距離情報計算手段と前記表面法線ベクトル計算手段
   とによってそれぞれ計算された各画素の周辺における局
   所領域での前記距離情報及び表面法線ベクトルに基づい
   て、前記局所領域での奥行き連続性を利用して、距離Ｚ
   の推定値を計算する距離推定手段と、 前記距離推定手段によって計算された距離Ｚの推定値
   と、前記距離情報を比較する比較手段と、 前記比較手段の比較結果に基づいて、前記距離情報計算
   手段の前記距離情報を補正する補正手段と、 を具備することを特徴とする請求項１記載の画像処理装
   置。
5. 【請求項５】複数の光源に照らされている動きのある対
   象物体を、静止した１台の画像取込み手段から時系列的
   に撮影して、その対象物体の形状を獲得するための少な
   くとも距離情報を演算する画像処理装置であって、 前記画像取込み手段によって取込まれた時系列画像から
   前記対象物体の特徴点を抽出する特徴点抽出手段と、 前記特徴点抽出手段によって抽出された前記時系列画像
   の各時点の画像中に含まれる特徴点同士を対応づける特
   徴点対応手段と、 前記特徴点対応手段によって対応づけられた各特徴点の
   位置座標情報に基づいて、前記時系列画像の各時点にお
   ける前記対象物体の位置と姿勢の変化を決定する幾何学
   的条件決定手段と、 前記特徴点対応手段によって対応づけられた各特徴点
   と、その周囲の輝度情報に基づいて、前記複数の光源に
   対応した前記時系列画像間の線形結合係数を決定する光
   学的条件決定手段と、 前記幾何学的条件決定手段により決定された前記対象物
   体の前記時系列画像中の各時点の位置及び姿勢と、前記
   光学的条件決定手段により決定された前記時系列画像間
   の線形結合係数に基づいて、前記対象物体の各点への距
   離情報を計算する距離情報計算手段と、 を具備したことを特徴とする画像処理装置。
6. 【請求項６】前記光学的条件決定手段は、 前記特徴点対応手段によって対応づけられた各特徴点の
   輝度情報とそれら各特徴点の周囲の輝度情報を格納した
   輝度行列を生成する輝度行列生成手段と、 前記輝度行列生成手段によって生成された輝度行列を前
   記複数の光源の組合せ毎に部分行列に分割する部分行列
   分割手段と、 前記部分行列分割手段によって分解された各部分行列を
   特異値分解することにより前記複数の光源に対応した線
   形結合係数を計算する線形結合係数計算手段と、 前記対象物体の姿勢変化及び任意の特徴点での面法線ベ
   クトルに基づいて、前記線形結合係数を光源方向に変換
   する光源方向変換手段と、 を具備することを特徴とする請求項５記載の画像処理装
   置。
7. 【請求項７】前記部分行列分割手段は、 前記輝度行列生成手段によって生成された輝度行列とそ
   の転置行列を掛け合わせた行列の固有ベクトルを計算す
   る固有ベクトル計算手段と、 前記固有ベクトル計算手段によって計算された固有ベク
   トルを各列に含んだ行列と、その転置行列を掛け合わせ
   た表面行列を計算する表面行列計算手段と、 前記表面行列計算手段によって計算された表面行列の行
   と列の同時の並替えを、前記表面行列の非対角成分が零
   となるように繰り返す並替え手段と、 前記並替え手段による並べ替えの繰り返しと同じ順序で
   前記輝度行列の要素を並べ替え、前記表面行列の各対角
   ブロックの次元に対応して前記輝度行列を所定の数の部
   分行列に分割する分割手段と、 を具備することを特徴とする請求項６記載の画像処理装
   置。
8. 【請求項８】前記分割手段は、 前記輝度行列のランクを計算し、この計算されたランク
   数に応じた数に部分行有することを特徴とする請求項７
   記載の画像処理装置。
9. 【請求項９】前記距離情報計算手段は、 前記時系列画像のうち特定時点Ａの画像を選択して基準
   画像とし、この基準画像中で各画素における前記対象物
   体までの距離Ｚを設定する距離設定手段と、 前記距離設定手段によって設定された距離Ｚ及び前記幾
   何学的条件決定手段により決定された前記対象物体の各
   時点の位置と姿勢の変化に基づいて、前記各画素と対応
   する画素を、前記特定時点Ａと異なる３時点以上の画像
   群において決定する対応画像決定手段と、 前記対応画像決定手段によって決定された画素における
   輝度と前記基準画像中の画素における輝度との整合の度
   合を、前記光学的条件決定手段により決定された前記時
   系列画像間の前記複数の光源に対応した線形結合係数に
   基づいて計算する整合度合計算手段と、 前記整合度合計算手段によって計算された整合度合に応
   じて、前記距離設定手段によって設定された距離Ｚを評
   価して、この評価に基づいて距離情報を計算する評価手
   段と、 を具備したことを特徴とする請求項５記載の画像処理装
   置。
10. 【請求項１０】一つの光源に照らされている動きのある
    対象物体を、静止した１台の画像取込み手段から時系列
    的に撮影して、その対象物体の形状を獲得するための少
    なくとも距離情報を演算する画像処理方法であって、 前記画像取込み手段によって取込まれた時系列画像から
    前記対象物体の特徴点を抽出する特徴点抽出ステップ
    と、 前記特徴点抽出ステップによって抽出された前記時系列
    画像の各時点の画像中に含まれる特徴点同士を対応づけ
    る特徴点対応ステップと、 前記特徴点対応ステップによって対応づけられた各特徴
    点の位置座標情報に基づいて、前記時系列画像の各時点
    における前記対象物体の位置と姿勢の変化を決定する幾
    何学的条件決定ステップと、 前記特徴点対応ステップによって対応づけられた各特徴
    点と、その周囲の輝度情報に基づいて、前記時系列画像
    間の線形結合係数及び前記光源の光源方向を決定する光
    学的条件決定ステップと、 前記幾何学的条件決定ステップにより決定された前記対
    象物体の前記時系列画像中の各時点の位置及び姿勢と、
    前記光学的条件決定ステップにより決定された前記時系
    列画像間の線形結合係数に基づいて、前記対象物体の各
    点への距離情報を計算する距離情報計算ステップと、 前記幾何学的条件決定ステップにより決定された前記対
    象物体の前記時系列画像中の各時点の位置及び姿勢と、
    前記光学的条件決定ステップにより決定された前記光学
    方向に基づいて、前記対象物体の表面各点の表面法線ベ
    クトルを計算する表面法線ベクトル計算ステップと、 を具備したことを特徴とする画像処理方法。
11. 【請求項１１】複数の光源に照らされている動きのある
    対象物体を、静止した１台の画像取込み手段から時系列
    的に撮影して、その対象物体の形状を獲得するための少
    なくとも距離情報を演算する画像処理方法であって、 前記画像取込み手段によって取込まれた時系列画像から
    前記対象物体の特徴点を抽出する特徴点抽出ステップ
    と、 前記特徴点抽出ステップによって抽出された前記時系列
    画像の各時点の画像中に含まれる特徴点同士を対応づけ
    る特徴点対応ステップと、 前記特徴点対応ステップによって対応づけられた各特徴
    点の位置座標情報に基づいて、前記時系列画像の各時点
    における前記対象物体の位置と姿勢の変化を決定する幾
    何学的条件決定ステップと、 前記特徴点対応ステップによって対応づけられた各特徴
    点と、その周囲の輝度情報に基づいて、前記複数の光源
    に対応した前記時系列画像間の線形結合係数を決定する
    光学的条件決定ステップと、 前記幾何学的条件決定ステップにより決定された前記対
    象物体の前記時系列画像中の各時点の位置及び姿勢と、
    前記光学的条件決定ステップにより決定された前記時系
    列画像間の線形結合係数に基づいて、前記対象物体の各
    点への距離情報を計算する距離情報計算ステップと、 を具備したことを特徴とする画像処理方法。
12. 【請求項１２】一つの光源に照らされている動きのある
    対象物体を、静止した１台の画像取込み手段から時系列
    的に撮影して、その対象物体の形状を獲得するための少
    なくとも距離情報を演算する画像処理方法を実現するプ
    ログラムを記憶した記録媒体であって、 前記画像取込み手段によって取込まれた時系列画像から
    前記対象物体の特徴点を抽出する特徴点抽出機能と、 前記特徴点抽出機能によって抽出された前記時系列画像
    の各時点の画像中に含まれる特徴点同士を対応づける特
    徴点対応機能と、 前記特徴点対応機能によって対応づけられた各特徴点の
    位置座標情報に基づいて、前記時系列画像の各時点にお
    ける前記対象物体の位置と姿勢の変化を決定する幾何学
    的条件決定機能と、 前記特徴点対応機能によって対応づけられた各特徴点
    と、その周囲の輝度情報に基づいて、前記時系列画像間
    の線形結合係数及び前記光源の光源方向を決定する光学
    的条件決定機能と、 前記幾何学的条件決定機能により決定された前記対象物
    体の前記時系列画像中の各時点の位置及び姿勢と、前記
    光学的条件決定機能により決定された前記時系列画像間
    の線形結合係数に基づいて、前記対象物体の各点への距
    離情報を計算する距離情報計算機能と、 前記幾何学的条件決定機能により決定された前記対象物
    体の前記時系列画像中の各時点の位置及び姿勢と、前記
    光学的条件決定機能により決定された前記光学方向に基
    づいて、前記対象物体の表面各点の表面法線ベクトルを
    計算する表面法線ベクトル計算機能と、 を実現するプログラムを記憶したことを特徴とする画像
    処理方法の記録媒体。
13. 【請求項１３】複数の光源に照らされている動きのある
    対象物体を、静止した１台の画像取込み手段から時系列
    的に撮影して、その対象物体の形状を獲得するための少
    なくとも距離情報を演算する画像処理方法を実現するプ
    ログラムを記憶した記録媒体であって、 前記画像取込み手段によって取込まれた時系列画像から
    前記対象物体の特徴点を抽出する特徴点抽出機能と、 前記特徴点抽出機能によって抽出された前記時系列画像
    の各時点の画像中に含まれる特徴点同士を対応づける特
    徴点対応機能と、 前記特徴点対応機能によって対応づけられた各特徴点の
    位置座標情報に基づいて、前記時系列画像の各時点にお
    ける前記対象物体の位置と姿勢の変化を決定する幾何学
    的条件決定機能と、 前記特徴点対応機能によって対応づけられた各特徴点
    と、その周囲の輝度情報に基づいて、前記複数の光源に
    対応した前記時系列画像間の線形結合係数を決定する光
    学的条件決定機能と、 前記幾何学的条件決定機能により決定された前記対象物
    体の前記時系列画像中の各時点の位置及び姿勢と、前記
    光学的条件決定機能により決定された前記時系列画像間
    の線形結合係数に基づいて、前記対象物体の各点への距
    離情報を計算する距離情報計算機能と、 を実現するプログラムを記憶したことを特徴とする画像
    処理方法の記録媒体。