JP2002056407A - 画像生成システム - Google Patents
画像生成システムInfo
- Publication number
- JP2002056407A JP2002056407A JP2000242157A JP2000242157A JP2002056407A JP 2002056407 A JP2002056407 A JP 2002056407A JP 2000242157 A JP2000242157 A JP 2000242157A JP 2000242157 A JP2000242157 A JP 2000242157A JP 2002056407 A JP2002056407 A JP 2002056407A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- dimensional image
- dimensional data
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】頭部のように３次元計測が困難な部分を含む物
体についても、３次元データに基づいて任意の視点位置
の２次元画像を生成して全体を表示することを可能に
し、眼鏡などのシミュレーションをリアルに行えるよう
にすること。 【解決手段】物体を撮影して３次元データを出力する３
次元計測装置ＴＣ、３次元計測装置により撮影される物
体と同一の物体に対して２つの視点位置から撮影して２
次元画像を出力するデジタルカメラＣＭ、３次元データ
に基づいて物体についての指定された視点位置の２次元
画像を生成する２次元生成部２３、デジタルカメラＣＭ
から出力される少なくとも２枚の２次元画像に基づいて
指定された視点位置の２次元画像を生成するビュー変換
部２４、２次元生成部２３およびビュー変換部２４で生
成された２枚の２次元画像を合成して１枚の２次元画像
を生成する画像合成部２６が設けられる。
体についても、３次元データに基づいて任意の視点位置
の２次元画像を生成して全体を表示することを可能に
し、眼鏡などのシミュレーションをリアルに行えるよう
にすること。 【解決手段】物体を撮影して３次元データを出力する３
次元計測装置ＴＣ、３次元計測装置により撮影される物
体と同一の物体に対して２つの視点位置から撮影して２
次元画像を出力するデジタルカメラＣＭ、３次元データ
に基づいて物体についての指定された視点位置の２次元
画像を生成する２次元生成部２３、デジタルカメラＣＭ
から出力される少なくとも２枚の２次元画像に基づいて
指定された視点位置の２次元画像を生成するビュー変換
部２４、２次元生成部２３およびビュー変換部２４で生
成された２枚の２次元画像を合成して１枚の２次元画像
を生成する画像合成部２６が設けられる。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、３次元データと複
数の２次元画像とを用いて任意の視点位置の物体画像を
生成する画像生成システムに関する。
数の２次元画像とを用いて任意の視点位置の物体画像を
生成する画像生成システムに関する。
【０００２】
【従来の技術】従来より、物体を撮影して得られた２次
元画像または３次元データを用い、物体について合成さ
れた種々の画像を生成する装置が提案されている。
元画像または３次元データを用い、物体について合成さ
れた種々の画像を生成する装置が提案されている。
【０００３】例えば、人の口の形状を３次元モデルを使
って生成し、顔の２次元画像の口の周辺部と置き換えて
顔の画像を合成する方法が提案されている（特許第２７
９５０８４号）。
って生成し、顔の２次元画像の口の周辺部と置き換えて
顔の画像を合成する方法が提案されている（特許第２７
９５０８４号）。
【０００４】また、視点位置の異なる複数の２次元画像
に基づいて、それらの２枚の２次元画像間の任意の視点
位置の物体画像を生成する技術が知られている〔“Ｖｉ
ｅｗＭｏｒｐｈｉｎｇ”１９９６ ＳＩＧＧＲＡＰＨ
Ｓｔｅｖｅｎ Ｍ．Ｓｅｉｔｚ（ＣＭＵ）〕。
に基づいて、それらの２枚の２次元画像間の任意の視点
位置の物体画像を生成する技術が知られている〔“Ｖｉ
ｅｗＭｏｒｐｈｉｎｇ”１９９６ ＳＩＧＧＲＡＰＨ
Ｓｔｅｖｅｎ Ｍ．Ｓｅｉｔｚ（ＣＭＵ）〕。
【０００５】
【発明が解決しようとする課題】ところで、物体につい
てシミュレーションを行うために、物体を任意の視点位
置から見た２次元画像が必要になることがある。例え
ば、人が種々の眼鏡を掛けた場合のシミュレーションを
行う場合に、その人の頭部（顔および頭髪）の任意の視
点位置から見た２次元画像を生成し、それを表示面に表
示することが必要である。
てシミュレーションを行うために、物体を任意の視点位
置から見た２次元画像が必要になることがある。例え
ば、人が種々の眼鏡を掛けた場合のシミュレーションを
行う場合に、その人の頭部（顔および頭髪）の任意の視
点位置から見た２次元画像を生成し、それを表示面に表
示することが必要である。
【０００６】この場合に、上に述べた特許第２７９５０
８４号に記載された技術では、視点位置を変えた２次元
画像を表示することができない。また、複数の２次元画
像からモーフィング技術を用いて変形する場合には、頭
部の全体を精密に再現することが容易ではなく、また、
頭部の２次元画像に眼鏡の３次元データを正確に合成す
ることができない。
８４号に記載された技術では、視点位置を変えた２次元
画像を表示することができない。また、複数の２次元画
像からモーフィング技術を用いて変形する場合には、頭
部の全体を精密に再現することが容易ではなく、また、
頭部の２次元画像に眼鏡の３次元データを正確に合成す
ることができない。
【０００７】一方、光切断方式などの３次元計測装置を
用いて非接触で頭部の３次元データを取得し、取得した
３次元データに基づいて任意の視点位置から見た２次元
画像を生成して表示することが考えられる。
用いて非接触で頭部の３次元データを取得し、取得した
３次元データに基づいて任意の視点位置から見た２次元
画像を生成して表示することが考えられる。
【０００８】しかし、この場合には反射率の低い頭髪の
３次元データが得られ難いため、任意の視点位置から見
た２次元画像は、通常、頭髪を除いた顔のみしか得られ
ない。そうすると、眼鏡のシミュレーションを行ったと
きにリアリティに欠けることとなり、シミュレーション
の意味が薄れてしまう。
３次元データが得られ難いため、任意の視点位置から見
た２次元画像は、通常、頭髪を除いた顔のみしか得られ
ない。そうすると、眼鏡のシミュレーションを行ったと
きにリアリティに欠けることとなり、シミュレーション
の意味が薄れてしまう。
【０００９】本発明は、上述の問題に鑑みてなされたも
ので、頭部のように３次元計測が困難な部分を含む物体
についても、３次元データに基づいて任意の視点位置か
ら見た２次元画像を生成して物体の全体を表示すること
を可能にし、眼鏡などのシミュレーションをリアルに行
えるようにすることを目的とする。
ので、頭部のように３次元計測が困難な部分を含む物体
についても、３次元データに基づいて任意の視点位置か
ら見た２次元画像を生成して物体の全体を表示すること
を可能にし、眼鏡などのシミュレーションをリアルに行
えるようにすることを目的とする。
【００１０】
【課題を解決するための手段】本発明に係るシステム
は、物体を撮影して当該物体の３次元データを出力する
３次元データ出力手段と、前記３次元データ出力手段に
より撮影される物体と同一の物体に対して、少なくとも
２つの視点位置から撮影して２次元画像を出力する２次
元画像撮影手段と、前記３次元データ出力手段から出力
される３次元データに基づいて、前記物体についての指
定された視点位置の２次元画像を生成する第１の生成手
段と、前記２次元画像撮影手段から出力される少なくと
も２枚の２次元画像に基づいて、前記物体についての指
定された視点位置の２次元画像を生成する第２の生成手
段と、第１及び第２の生成手段で生成された２枚の２次
元画像を合成して１枚の２次元画像を生成する第３の生
成手段と、を備える。
は、物体を撮影して当該物体の３次元データを出力する
３次元データ出力手段と、前記３次元データ出力手段に
より撮影される物体と同一の物体に対して、少なくとも
２つの視点位置から撮影して２次元画像を出力する２次
元画像撮影手段と、前記３次元データ出力手段から出力
される３次元データに基づいて、前記物体についての指
定された視点位置の２次元画像を生成する第１の生成手
段と、前記２次元画像撮影手段から出力される少なくと
も２枚の２次元画像に基づいて、前記物体についての指
定された視点位置の２次元画像を生成する第２の生成手
段と、第１及び第２の生成手段で生成された２枚の２次
元画像を合成して１枚の２次元画像を生成する第３の生
成手段と、を備える。
【００１１】好ましくは、第２の生成手段は、１対の２
次元画像がエピポーラの拘束条件を満足する状態でモー
フィングを行うことにより、少なくとも２枚の２次元画
像間の任意の視点位置の物体画像を生成する。
次元画像がエピポーラの拘束条件を満足する状態でモー
フィングを行うことにより、少なくとも２枚の２次元画
像間の任意の視点位置の物体画像を生成する。
【００１２】また、前記２次元画像撮影手段は、前記３
次元データ出力手段を中心としてその左右方向および／
または上下方向の視点位置から２次元画像を撮影する。
また、前記第３の生成手段は、第１の生成手段により生
成された２次元画像の周辺部にスムージング処理を施し
て、第２の生成手設により生成された２次元画像と合成
する。
次元データ出力手段を中心としてその左右方向および／
または上下方向の視点位置から２次元画像を撮影する。
また、前記第３の生成手段は、第１の生成手段により生
成された２次元画像の周辺部にスムージング処理を施し
て、第２の生成手設により生成された２次元画像と合成
する。
【００１３】また、前記第３の生成手段は、第２の生成
手段により生成された２次元画像を縮小しまたは拡大し
て、第１の生成手段により生成された画像と合成する。
さらに、前記画像生成システムは人の頭部画像を生成す
るものであり、前記第１の生成手段は、人の頭髪部など
の反射率の低い部分を除いた２次元画像を生成し、前記
第２の生成手段は、頭髪部などの反射率の低い部分を含
む２次元画像を生成する。
手段により生成された２次元画像を縮小しまたは拡大し
て、第１の生成手段により生成された画像と合成する。
さらに、前記画像生成システムは人の頭部画像を生成す
るものであり、前記第１の生成手段は、人の頭髪部など
の反射率の低い部分を除いた２次元画像を生成し、前記
第２の生成手段は、頭髪部などの反射率の低い部分を含
む２次元画像を生成する。
【００１４】また、前記３次元データ出力手段から出力
される人の頭部の３次元データに対して眼鏡の３次元デ
ータを合成することが可能であり、前記第１の生成手段
は前記眼鏡を含んだ人の頭部の２次元画像を生成し、こ
れによって眼鏡の装着状態を３次元的にシミュレーショ
ンするように構成される。
される人の頭部の３次元データに対して眼鏡の３次元デ
ータを合成することが可能であり、前記第１の生成手段
は前記眼鏡を含んだ人の頭部の２次元画像を生成し、こ
れによって眼鏡の装着状態を３次元的にシミュレーショ
ンするように構成される。
【００１５】
【発明の実施の形態】図１は本発明に係る実施形態の画
像生成システム１の全体の構成を示す図、図２は被写体
から得られる３次元データおよび２次元画像の例を示す
図、図３はカメラのキャリブレーションの方法を説明す
る図である。
像生成システム１の全体の構成を示す図、図２は被写体
から得られる３次元データおよび２次元画像の例を示す
図、図３はカメラのキャリブレーションの方法を説明す
る図である。
【００１６】図１に示すように、画像生成システム１
は、１台の３次元計測装置ＴＣ、３台のデジタルカメラ
ＣＭ１〜３、処理装置１１、表示装置１２、キーボード
１３、マウス１４、および、図示しないプリンタや通信
装置などから構成される。
は、１台の３次元計測装置ＴＣ、３台のデジタルカメラ
ＣＭ１〜３、処理装置１１、表示装置１２、キーボード
１３、マウス１４、および、図示しないプリンタや通信
装置などから構成される。
【００１７】３次元計測装置ＴＣは、被写体である人の
頭部Ｑの正面または左右の斜め方向から計測を行い、頭
部Ｑの３次元データＤＴ１を出力する。このとき、髪の
毛（頭髪）などの反射率の低い部分は計測することがで
きないため、図２に示すようにそれ以外の顔などの肌の
部分のみが３次元データＤＴ１として得られる。３次元
データＤＴ１は、例えば、面の表裏が識別されるよう
に、方向付きのポリゴンデータとして記述される。
頭部Ｑの正面または左右の斜め方向から計測を行い、頭
部Ｑの３次元データＤＴ１を出力する。このとき、髪の
毛（頭髪）などの反射率の低い部分は計測することがで
きないため、図２に示すようにそれ以外の顔などの肌の
部分のみが３次元データＤＴ１として得られる。３次元
データＤＴ１は、例えば、面の表裏が識別されるよう
に、方向付きのポリゴンデータとして記述される。
【００１８】なお、本実施形態では、３次元計測装置Ｔ
Ｃから３次元データＤＴ１が出力されるとしたが、被写
体の計測のみを３次元計測装置ＴＣで行い、計測データ
に基づく３次元データＤＴ１の生成を処理装置１１また
は他のコンピュータによって行ってもよい。また、複数
の視点位置から計測して得られる複数の３次元データを
合成して１つの３次元データＤＴ１とする処理について
も同様である。
Ｃから３次元データＤＴ１が出力されるとしたが、被写
体の計測のみを３次元計測装置ＴＣで行い、計測データ
に基づく３次元データＤＴ１の生成を処理装置１１また
は他のコンピュータによって行ってもよい。また、複数
の視点位置から計測して得られる複数の３次元データを
合成して１つの３次元データＤＴ１とする処理について
も同様である。
【００１９】デジタルカメラＣＭ１〜３は、３次元計測
装置ＴＣと同じ高さ位置の水平面内で、頭部Ｑを囲むよ
うに、被写体の中央位置および左右に２０〜４０度程度
の位置にそれぞれ配置されている。これらによって、頭
部Ｑを３箇所の異なる視点位置から撮影し、それぞれ２
次元画像ＦＴ１〜３を出力する。
装置ＴＣと同じ高さ位置の水平面内で、頭部Ｑを囲むよ
うに、被写体の中央位置および左右に２０〜４０度程度
の位置にそれぞれ配置されている。これらによって、頭
部Ｑを３箇所の異なる視点位置から撮影し、それぞれ２
次元画像ＦＴ１〜３を出力する。
【００２０】なお、被写体の後方には適当な無地のスク
リーンが設置され、３次元計測が容易なように、また撮
影された２次元画像から頭部Ｑのみを容易に抽出できる
ようになっている。
リーンが設置され、３次元計測が容易なように、また撮
影された２次元画像から頭部Ｑのみを容易に抽出できる
ようになっている。
【００２１】処理装置１１には、部品データ格納部２
１、３次元合成部２２、２次元生成部２３、ビュー変換
部２４、画像修正部２５、画像合成部２６、視点指示部
２７、およびパラメータ格納部２８などが設けられる。
１、３次元合成部２２、２次元生成部２３、ビュー変換
部２４、画像修正部２５、画像合成部２６、視点指示部
２７、およびパラメータ格納部２８などが設けられる。
【００２２】部品データ格納部２１には、シミュレーシ
ョンに用いられる部品の３次元データＤＴＰおよびその
属性情報が格納される。例えば、眼鏡の装着状態のシミ
ュレーションを行う場合には、種々の眼鏡についての３
次元データ（ＣＡＤデータ）が格納される。化粧のシミ
ュレーションを行う場合には、種々の化粧品についての
色データなどが格納される。
ョンに用いられる部品の３次元データＤＴＰおよびその
属性情報が格納される。例えば、眼鏡の装着状態のシミ
ュレーションを行う場合には、種々の眼鏡についての３
次元データ（ＣＡＤデータ）が格納される。化粧のシミ
ュレーションを行う場合には、種々の化粧品についての
色データなどが格納される。
【００２３】３次元合成部２２は、３次元計測装置ＴＣ
から出力される３次元データＤＴ１と、部品データ格納
部２１から出力される３次元データＤＴＰとを合成し、
合成された３次元データＤＴ２を出力する。
から出力される３次元データＤＴ１と、部品データ格納
部２１から出力される３次元データＤＴＰとを合成し、
合成された３次元データＤＴ２を出力する。
【００２４】例えば、部品が眼鏡である場合は、図２に
示されるように、顔の３次元データＤＴ１に眼鏡の３次
元データＤＴＰを合成する。このとき、両者の間で干渉
しないようにチェックを行う。これによって、頭髪抜き
の頭部Ｑへの眼鏡の装着が３次元的にシミュレーション
される。
示されるように、顔の３次元データＤＴ１に眼鏡の３次
元データＤＴＰを合成する。このとき、両者の間で干渉
しないようにチェックを行う。これによって、頭髪抜き
の頭部Ｑへの眼鏡の装着が３次元的にシミュレーション
される。
【００２５】２次元生成部２３は、３次元合成部２２か
ら出力される３次元データＤＴ２に基づいて、指定され
た視点位置ＶＳの２次元画像ＦＴＢを生成する。ユーザ
は、視点位置ＶＳとして任意の位置を指定することがで
きる。したがって、任意の視点位置ＶＳからの２次元画
像ＦＴＢが得られる。なお、視点位置ＶＳを示す信号は
視点指示部２７から出力される。
ら出力される３次元データＤＴ２に基づいて、指定され
た視点位置ＶＳの２次元画像ＦＴＢを生成する。ユーザ
は、視点位置ＶＳとして任意の位置を指定することがで
きる。したがって、任意の視点位置ＶＳからの２次元画
像ＦＴＢが得られる。なお、視点位置ＶＳを示す信号は
視点指示部２７から出力される。
【００２６】ビュー変換部２４は、デジタルカメラＣＭ
１〜３から出力される少なくとも２枚の２次元画像ＦＴ
に基づいて、ビューモーフィングの手法により、指定さ
れた視点位置ＶＳの２次元画像ＦＴＡを生成する。ユー
ザは、視点位置ＶＳとして任意の位置を指定することが
できる。したがって、任意の視点位置ＶＳからの２次元
画像ＦＴＡが得られる。
１〜３から出力される少なくとも２枚の２次元画像ＦＴ
に基づいて、ビューモーフィングの手法により、指定さ
れた視点位置ＶＳの２次元画像ＦＴＡを生成する。ユー
ザは、視点位置ＶＳとして任意の位置を指定することが
できる。したがって、任意の視点位置ＶＳからの２次元
画像ＦＴＡが得られる。
【００２７】なお、２次元画像ＦＴＡとしては、髪の毛
の部分のみを抽出してもよいが、２次元画像ＦＴＡの上
に３次元データＤＴ２から生成された２次元画像ＦＴＢ
を上書きするため、頭部Ｑの全体の２次元画像ＦＴＡを
そのまま使用しても問題ない。
の部分のみを抽出してもよいが、２次元画像ＦＴＡの上
に３次元データＤＴ２から生成された２次元画像ＦＴＢ
を上書きするため、頭部Ｑの全体の２次元画像ＦＴＡを
そのまま使用しても問題ない。
【００２８】ビューモーフィングの手法は、２枚の画像
を単にモーフィングを行うのではなく、２枚の画像から
求められるエピポーラの拘束条件を満たすように、モー
フィングに用いる２枚の画像間の対応付けを行う。生成
される２次元画像は、エピポーラの拘束を満たすことに
なるため、幾何的な矛盾がある程度抑えられ、比較的歪
みが少ない。このようなビューモーフィングの手法は公
知であり、従来の技術の項で示した文献（Ｖｉｅｗ Ｍ
ｏｒｐｈｉｎｇ）に詳しい。
を単にモーフィングを行うのではなく、２枚の画像から
求められるエピポーラの拘束条件を満たすように、モー
フィングに用いる２枚の画像間の対応付けを行う。生成
される２次元画像は、エピポーラの拘束を満たすことに
なるため、幾何的な矛盾がある程度抑えられ、比較的歪
みが少ない。このようなビューモーフィングの手法は公
知であり、従来の技術の項で示した文献（Ｖｉｅｗ Ｍ
ｏｒｐｈｉｎｇ）に詳しい。
【００２９】なお、ビューモーフィングの処理に必要な
カメラパラメータは、予め取得されてパラメータ格納部
２８に格納されている。画像修正部２５は、２次元画像
ＦＴＡと２次元画像ＦＴＢとを合成したときに隙間がで
きないよう、必要に応じて２次元画像ＦＴＡを僅かに縮
小しまたは拡大する。これによってより自然な合成画像
が得られる。
カメラパラメータは、予め取得されてパラメータ格納部
２８に格納されている。画像修正部２５は、２次元画像
ＦＴＡと２次元画像ＦＴＢとを合成したときに隙間がで
きないよう、必要に応じて２次元画像ＦＴＡを僅かに縮
小しまたは拡大する。これによってより自然な合成画像
が得られる。
【００３０】画像合成部２６は、２次元画像ＦＴＡｓと
２次元画像ＦＴＢとを合成して１枚の２次元画像ＦＴＣ
を生成する。したがって、ユーザが視点位置ＶＳを指定
することによって、任意の視点位置ＶＳの合成された２
次元画像ＦＴＣを得ることができる。合成された２次元
画像ＦＴＣは、表示装置１２の表面面ＨＧに表示され
る。
２次元画像ＦＴＢとを合成して１枚の２次元画像ＦＴＣ
を生成する。したがって、ユーザが視点位置ＶＳを指定
することによって、任意の視点位置ＶＳの合成された２
次元画像ＦＴＣを得ることができる。合成された２次元
画像ＦＴＣは、表示装置１２の表面面ＨＧに表示され
る。
【００３１】なお、合成に当たって、２次元画像ＦＴＡ
ｓの上から２次元画像ＦＴＢを上書きすると違和感なく
合成される。また、僅かに発生するかも知れない画像の
ずれをなくして更に高品質にするには、合成時に、２次
元画像ＦＴＢの周辺部に対しスムージング処理を施す。
ｓの上から２次元画像ＦＴＢを上書きすると違和感なく
合成される。また、僅かに発生するかも知れない画像の
ずれをなくして更に高品質にするには、合成時に、２次
元画像ＦＴＢの周辺部に対しスムージング処理を施す。
【００３２】合成に当たっては、２次元画像ＦＴＡｓと
２次元画像ＦＴＢとの位置関係を示すカメラパラメータ
が必要であるが、カメラパラメータはパラメータ格納部
２８に格納されている。
２次元画像ＦＴＢとの位置関係を示すカメラパラメータ
が必要であるが、カメラパラメータはパラメータ格納部
２８に格納されている。
【００３３】視点指示部２７は、２次元生成部２３およ
びビュー変換部２４に対して、同じ視点位置ＶＳの信号
を出力する。視点位置ＶＳは、例えば、表示装置１２の
表示面ＨＧに表示されたカーソルを、ユーザがマウス１
４により所定の方向に移動することによって指定するこ
とが可能である。
びビュー変換部２４に対して、同じ視点位置ＶＳの信号
を出力する。視点位置ＶＳは、例えば、表示装置１２の
表示面ＨＧに表示されたカーソルを、ユーザがマウス１
４により所定の方向に移動することによって指定するこ
とが可能である。
【００３４】表示装置１２の表示面ＨＧには、処理装置
１１から出力される画像ＦＴＣ、その他の画像、文字、
カーソルなどが表示される。キーボード１３およびマウ
ス１４などの入力装置によって、処理装置１１に対する
命令、指示、データの入力などが行われる。
１１から出力される画像ＦＴＣ、その他の画像、文字、
カーソルなどが表示される。キーボード１３およびマウ
ス１４などの入力装置によって、処理装置１１に対する
命令、指示、データの入力などが行われる。
【００３５】次に、カメラパラメータを求めるためのキ
ャリブレーションについて説明する。図３に示すよう
に、キャリブレーションのためにチャートＣＨが用いら
れる。チャートＣＨは、形状が既知であって複数の方向
を持つ平面から構成される。例えば、図に示すように、
直方体の各表面に枡目が描かれたものが用いられる。こ
れらは各頂点の３次元座標値が既知である。
ャリブレーションについて説明する。図３に示すよう
に、キャリブレーションのためにチャートＣＨが用いら
れる。チャートＣＨは、形状が既知であって複数の方向
を持つ平面から構成される。例えば、図に示すように、
直方体の各表面に枡目が描かれたものが用いられる。こ
れらは各頂点の３次元座標値が既知である。
【００３６】このチャートＣＨを、３次元計測装置ＴＣ
およびデジタルカメラＣＭ１〜３により計測し、または
撮影する。得られたデータを、チャートＣＨの特定の点
を原点とする座標系に変換する。そのときの変換のため
の係数などからカメラパラメータが求められる。
およびデジタルカメラＣＭ１〜３により計測し、または
撮影する。得られたデータを、チャートＣＨの特定の点
を原点とする座標系に変換する。そのときの変換のため
の係数などからカメラパラメータが求められる。
【００３７】このようにして、各デジタルカメラＣＭ１
〜３の視点位置、焦点距離、姿勢、位置、および、３次
元計測装置ＴＣにより得られる３次元座標が、チャート
ＣＨに設定した共通の座標系にて求められる。得られた
カメラパラメータはパラメータ格納部２８に格納され
る。
〜３の視点位置、焦点距離、姿勢、位置、および、３次
元計測装置ＴＣにより得られる３次元座標が、チャート
ＣＨに設定した共通の座標系にて求められる。得られた
カメラパラメータはパラメータ格納部２８に格納され
る。
【００３８】なお、このようなキャリブレーションにつ
いては、文献“A versatile CameraCalibration Techni
que for High-Accuracy 3D Machine Vision Metrology
Using Off-the-Shelf TV Cameras and Lenses”, Roger
Y. Tsai, IEEE Journal ofRobotics and Automation,
Vol. RA-3, No. 4 August 1987, pages 323-344.”を参
照することができる。
いては、文献“A versatile CameraCalibration Techni
que for High-Accuracy 3D Machine Vision Metrology
Using Off-the-Shelf TV Cameras and Lenses”, Roger
Y. Tsai, IEEE Journal ofRobotics and Automation,
Vol. RA-3, No. 4 August 1987, pages 323-344.”を参
照することができる。
【００３９】また、３次元計測装置ＴＣについては、３
次元計測された各頂点の座標が既知の座標値に最も整合
した変換パラメータ（回転と並進パラメータ）を最小自
乗法を用いて求めることができる。
次元計測された各頂点の座標が既知の座標値に最も整合
した変換パラメータ（回転と並進パラメータ）を最小自
乗法を用いて求めることができる。
【００４０】上に述べたように、被写体である頭部Ｑを
３次元計測装置ＴＣで計測し、またデジタルカメラＣＭ
１〜３で撮影することにより、髪の毛を含む頭部Ｑの全
体について、ユーザの指定する任意の視点位置ＶＳから
の２次元画像ＦＴＣを生成することができる。しかも、
頭部Ｑに対して、眼鏡などの３次元データＤＴＰを合成
することができ、眼鏡の装着状態を容易にシミュレーシ
ョンすることができる。
３次元計測装置ＴＣで計測し、またデジタルカメラＣＭ
１〜３で撮影することにより、髪の毛を含む頭部Ｑの全
体について、ユーザの指定する任意の視点位置ＶＳから
の２次元画像ＦＴＣを生成することができる。しかも、
頭部Ｑに対して、眼鏡などの３次元データＤＴＰを合成
することができ、眼鏡の装着状態を容易にシミュレーシ
ョンすることができる。
【００４１】上に述べた実施形態では、水平面内に配置
した３台のデジタルカメラＣＭ１〜３を用いたので、視
点位置ＶＳを顔に対して左右に移動することができる。
もし、上下方向にも視点位置ＶＳを移動したい場合に
は、図４に示すように上下２段に配置した６台のデジタ
ルカメラＣＭ１〜６を用いればよい。次に、６台のデジ
タルカメラを用いた場合の操作および処理の流れについ
て説明する。
した３台のデジタルカメラＣＭ１〜３を用いたので、視
点位置ＶＳを顔に対して左右に移動することができる。
もし、上下方向にも視点位置ＶＳを移動したい場合に
は、図４に示すように上下２段に配置した６台のデジタ
ルカメラＣＭ１〜６を用いればよい。次に、６台のデジ
タルカメラを用いた場合の操作および処理の流れについ
て説明する。
【００４２】図４において、被写体である頭部Ｑの正面
に３次元計測装置ＴＣが配置され、３次元計測装置ＴＣ
を含む円周面内に６台のデジタルカメラＣＭ１〜６が配
置されている。
に３次元計測装置ＴＣが配置され、３次元計測装置ＴＣ
を含む円周面内に６台のデジタルカメラＣＭ１〜６が配
置されている。
【００４３】すなわち、３次元計測装置ＴＣの上方の水
平面内に３台のデジタルカメラＣＭ１〜３が、下方の水
平面内に３台のデジタルカメラＣＭ４〜６が、それぞれ
配置されている。
平面内に３台のデジタルカメラＣＭ１〜３が、下方の水
平面内に３台のデジタルカメラＣＭ４〜６が、それぞれ
配置されている。
【００４４】これらのデジタルカメラＣＭ１〜６で撮影
された２次元画像ＦＴ１〜６は、上に述べたキャリブレ
ーションによって、視点位置ＶＳ、姿勢、焦点距離など
が既知である。２次元画像ＦＴ１〜６に基づいて、ビュ
ーモーフィングによって、デジタルカメラＣＭ１〜６を
含む円周面上の任意の視点位置ＶＳの２次元画像ＦＴＡ
を生成することができる。
された２次元画像ＦＴ１〜６は、上に述べたキャリブレ
ーションによって、視点位置ＶＳ、姿勢、焦点距離など
が既知である。２次元画像ＦＴ１〜６に基づいて、ビュ
ーモーフィングによって、デジタルカメラＣＭ１〜６を
含む円周面上の任意の視点位置ＶＳの２次元画像ＦＴＡ
を生成することができる。
【００４５】例えば、図４に示す点Ａ-pointを視点位置
ＶＳとして、ビューモーフィングにより２次元画像ＦＴ
Ａを生成する。他方、３次元計測装置ＴＣから得られた
３次元データＤＴ１と眼鏡の３次元データＤＴＰとによ
り、眼鏡の装着状態のシミュレーションを行い、点Ａ-p
ointを視点位置ＶＳとした２次元画像ＦＴＢを生成す
る。
ＶＳとして、ビューモーフィングにより２次元画像ＦＴ
Ａを生成する。他方、３次元計測装置ＴＣから得られた
３次元データＤＴ１と眼鏡の３次元データＤＴＰとによ
り、眼鏡の装着状態のシミュレーションを行い、点Ａ-p
ointを視点位置ＶＳとした２次元画像ＦＴＢを生成す
る。
【００４６】つまり、点Ａ-pointを視点位置ＶＳとする
仮想カメラがあることになる。このとき、仮想カメラの
内部パラメータを、ビューモーフィングにより画像を生
成したときのパラメータと一致させておく。これによ
り、生成されたそれぞれの２次元画像ＦＴＡ，Ｂは、位
置、方向、大きさにおいて一致することになる。
仮想カメラがあることになる。このとき、仮想カメラの
内部パラメータを、ビューモーフィングにより画像を生
成したときのパラメータと一致させておく。これによ
り、生成されたそれぞれの２次元画像ＦＴＡ，Ｂは、位
置、方向、大きさにおいて一致することになる。
【００４７】さらに、ビューモーフィングにより生成さ
れた２次元画像ＦＴＡは歪みが少ないため、３次元デー
タＤＴ１から正確に生成された２次元画像ＦＴＢに対す
るずれは小さい。したがって、通常、ビューモーフィン
グを行った２次元画像ＦＴＡの上から３次元データＤＴ
Ｂを上書きすることによって、違和感なく合成された２
次元画像ＦＴＣが完成する。
れた２次元画像ＦＴＡは歪みが少ないため、３次元デー
タＤＴ１から正確に生成された２次元画像ＦＴＢに対す
るずれは小さい。したがって、通常、ビューモーフィン
グを行った２次元画像ＦＴＡの上から３次元データＤＴ
Ｂを上書きすることによって、違和感なく合成された２
次元画像ＦＴＣが完成する。
【００４８】なお、デジタルカメラＣＭによる撮影の視
点位置ＶＳの距離が近い場合には、得られる２次元画像
ＦＴに大きな変化が無いため、単純なモーフィングを行
うだけでもよい。
点位置ＶＳの距離が近い場合には、得られる２次元画像
ＦＴに大きな変化が無いため、単純なモーフィングを行
うだけでもよい。
【００４９】また、任意の視点位置ＶＳの２次元画像Ｆ
ＴＡを得るためにビューモーフィングを用いたが、デジ
タルカメラＣＭの台数をさらに増やし、互いに接近した
視点位置ＶＳから撮影を行うことによって、ビューモー
フィングまたはモーフィングなどの処理を行うことな
く、撮影した２次元画像ＦＴをそのまま用いることも可
能となる。その場合は、処理をより単純化できる。
ＴＡを得るためにビューモーフィングを用いたが、デジ
タルカメラＣＭの台数をさらに増やし、互いに接近した
視点位置ＶＳから撮影を行うことによって、ビューモー
フィングまたはモーフィングなどの処理を行うことな
く、撮影した２次元画像ＦＴをそのまま用いることも可
能となる。その場合は、処理をより単純化できる。
【００５０】以上説明したように、画像生成システム１
によると、３次元計測できなかった部分（頭髪部分）に
ついては、２つの視点位置の２次元画像ＦＴからその間
の視点位置ＶＳの２次元画像ＦＴＡを合成することによ
り、任意の視点位置ＶＳから見た２次元画像ＦＴＡを生
成する。３次元計測された部分（顔）については、３次
元データＤＴ１を用いて眼鏡をかけるといったシミュレ
ーションを行い、頭髪部分の２次元画像ＦＴＡと同じ視
点位置から見た２次元画像ＦＴＢを生成する。そして、
これらの２次元画像ＦＴＡ，Ｂを合成することにより、
任意の視点位置から見た頭部Ｑの全体の２次元画像ＦＴ
Ｃ（シミュレーション画像）を生成する。
によると、３次元計測できなかった部分（頭髪部分）に
ついては、２つの視点位置の２次元画像ＦＴからその間
の視点位置ＶＳの２次元画像ＦＴＡを合成することによ
り、任意の視点位置ＶＳから見た２次元画像ＦＴＡを生
成する。３次元計測された部分（顔）については、３次
元データＤＴ１を用いて眼鏡をかけるといったシミュレ
ーションを行い、頭髪部分の２次元画像ＦＴＡと同じ視
点位置から見た２次元画像ＦＴＢを生成する。そして、
これらの２次元画像ＦＴＡ，Ｂを合成することにより、
任意の視点位置から見た頭部Ｑの全体の２次元画像ＦＴ
Ｃ（シミュレーション画像）を生成する。
【００５１】これによって、３次元計測が困難な部分を
含む物体についても、３次元データに基づいて任意の視
点位置から見た２次元画像を生成して物体の全体を表示
することができ、眼鏡などのシミュレーションをリアル
に行うことができる。
含む物体についても、３次元データに基づいて任意の視
点位置から見た２次元画像を生成して物体の全体を表示
することができ、眼鏡などのシミュレーションをリアル
に行うことができる。
【００５２】上に述べた実施形態において、部品の３次
元データＤＴＰを部品データ格納部２１に格納したが、
それらのデータをネットワークを介して適宜ダウンロー
ドするようにしてもよい。マウスなどによって眼鏡を掛
ける位置を修正できるようにしてもよい。眼鏡の度数に
応じて人の目の大きさが変わるようにシミュレーション
を行ってもよい。
元データＤＴＰを部品データ格納部２１に格納したが、
それらのデータをネットワークを介して適宜ダウンロー
ドするようにしてもよい。マウスなどによって眼鏡を掛
ける位置を修正できるようにしてもよい。眼鏡の度数に
応じて人の目の大きさが変わるようにシミュレーション
を行ってもよい。
【００５３】その他、画像生成システム１の全体または
各部の構成、形状、寸法、個数、画像の内容、処理の内
容および順序などは、本発明の趣旨に沿って適宜変更す
ることができる。
各部の構成、形状、寸法、個数、画像の内容、処理の内
容および順序などは、本発明の趣旨に沿って適宜変更す
ることができる。
【００５４】
【発明の効果】本発明によると、３次元計測が困難な部
分を含む物体についても、３次元データに基づいて任意
の視点位置から見た２次元画像を生成して物体の全体を
表示することができ、眼鏡などのシミュレーションをリ
アルに行うことができる。
分を含む物体についても、３次元データに基づいて任意
の視点位置から見た２次元画像を生成して物体の全体を
表示することができ、眼鏡などのシミュレーションをリ
アルに行うことができる。
【図１】本発明に係る実施形態の画像生成システムの全
体の構成を示す図である。
体の構成を示す図である。
【図２】被写体から得られる３次元データおよび２次元
画像の例を示す図である。
画像の例を示す図である。
【図３】カメラのキャリブレーションの方法を説明する
図である。
図である。
【図４】６台のデジタルカメラを用いた例を示す図であ
る。
る。
１ 画像生成システム １１ 処理装置 １２ 表示装置 ２２ ３次元合成部 ２３ ２次元生成部（第１の生成手段） ２４ ビュー変換部（第２の生成手段） ２６ 画像合成部（第３の生成手段） ２７ 視点指示部 ＴＣ ３次元計測装置（３次元データ出力手段） ＣＭ１〜６ デジタルカメラ（２次元画像撮影手段）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 浩次 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 5B046 AA10 EA09 FA02 FA04 FA06 GA01 JA04 KA06 5B050 BA08 BA09 BA12 BA13 CA07 DA02 EA12 EA13 EA19 FA02 FA19 5B057 CA12 CA13 CB13 CD20 DA07 DB03 DC09
Claims (7)
- 【請求項１】物体を撮影して当該物体の３次元データを
出力する３次元データ出力手段と、 前記３次元データ出力手段により撮影される物体と同一
の物体に対して、少なくとも２つの視点位置から撮影し
て２次元画像を出力する２次元画像撮影手段と、 前記３次元データ出力手段から出力される３次元データ
に基づいて、前記物体についての指定された視点位置の
２次元画像を生成する第１の生成手段と、 前記２次元画像撮影手段から出力される少なくとも２枚
の２次元画像に基づいて、前記物体についての指定され
た視点位置の２次元画像を生成する第２の生成手段と、 第１及び第２の生成手段で生成された２枚の２次元画像
を合成して１枚の２次元画像を生成する第３の生成手段
と、 を備えることを特徴とする画像生成システム。 - 【請求項２】第２の生成手段は、１対の２次元画像がエ
ピポーラの拘束条件を満足する状態でモーフィングを行
うことにより、少なくとも２枚の２次元画像間の任意の
視点位置の物体画像を生成する、 請求項１記載の画像生成システム。 - 【請求項３】前記２次元画像撮影手段は、前記３次元デ
ータ出力手段を中心としてその左右方向および／または
上下方向の視点位置から２次元画像を撮影する、 請求項１または２記載の画像生成システム。 - 【請求項４】前記第３の生成手段は、第１の生成手段に
より生成された２次元画像の周辺部にスムージング処理
を施して、第２の生成手設により生成された２次元画像
と合成する、 請求項１または２記載の画像生成システム。 - 【請求項５】前記第３の生成手段は、第２の生成手段に
より生成された２次元画像を縮小しまたは拡大して、第
１の生成手段により生成された画像と合成する、 請求項１または２記載の画像生成システム。 - 【請求項６】前記画像生成システムは人の頭部画像を生
成するものであり、 前記第１の生成手段は、人の頭髪部などの反射率の低い
部分を除いた２次元画像を生成し、 前記第２の生成手段は、頭髪部などの反射率の低い部分
を含む２次元画像を生成する、 請求項１ないし５のいずれかに記載の画像生成システ
ム。 - 【請求項７】前記３次元データ出力手段から出力される
人の頭部の３次元データに対して眼鏡の３次元データを
合成することが可能であり、前記第１の生成手段は前記
眼鏡を含んだ人の頭部の２次元画像を生成し、これによ
って眼鏡の装着状態を３次元的にシミュレーションする
ように構成された、 請求項６記載の画像生成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000242157A JP2002056407A (ja) | 2000-08-10 | 2000-08-10 | 画像生成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000242157A JP2002056407A (ja) | 2000-08-10 | 2000-08-10 | 画像生成システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002056407A true JP2002056407A (ja) | 2002-02-22 |
Family
ID=18733217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000242157A Pending JP2002056407A (ja) | 2000-08-10 | 2000-08-10 | 画像生成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002056407A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7483563B2 (en) * | 2003-06-27 | 2009-01-27 | Ricoh Company, Ltd. | Image processing apparatus and method |
| US7529401B2 (en) | 2003-10-02 | 2009-05-05 | Ricoh Company, Ltd. | Image processing apparatus and image processing method |
| JP2009537915A (ja) * | 2006-05-24 | 2009-10-29 | ドクター ワース グラフィッシェ テクニック ゲーエムベーハー アンド カンパニー カーゲー | 画像情報生成方法 |
| JP2015118617A (ja) * | 2013-12-19 | 2015-06-25 | 株式会社バッファロー | 画像処理装置、画像処理方法、及びプログラム |
| CN113289265A (zh) * | 2021-04-09 | 2021-08-24 | 重庆大学附属肿瘤医院 | 贴合头枕制造方法、终端设备及计算机可读存储介质 |
-
2000
- 2000-08-10 JP JP2000242157A patent/JP2002056407A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7483563B2 (en) * | 2003-06-27 | 2009-01-27 | Ricoh Company, Ltd. | Image processing apparatus and method |
| US7529401B2 (en) | 2003-10-02 | 2009-05-05 | Ricoh Company, Ltd. | Image processing apparatus and image processing method |
| JP2009537915A (ja) * | 2006-05-24 | 2009-10-29 | ドクター ワース グラフィッシェ テクニック ゲーエムベーハー アンド カンパニー カーゲー | 画像情報生成方法 |
| JP2015118617A (ja) * | 2013-12-19 | 2015-06-25 | 株式会社バッファロー | 画像処理装置、画像処理方法、及びプログラム |
| CN113289265A (zh) * | 2021-04-09 | 2021-08-24 | 重庆大学附属肿瘤医院 | 贴合头枕制造方法、终端设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| JP4025442B2 (ja) | 三次元モデル変換装置及び方法 | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| US7548236B2 (en) | Image processing method, image processing apparatus, image processing program, and storage medium | |
| JP6344050B2 (ja) | 画像処理システム、画像処理装置、プログラム | |
| JPH05174129A (ja) | ３次元モデルを映像化するためのモデリング装置 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| JP6319804B2 (ja) | 投影画像生成装置、投影画像生成方法および投影画像生成プログラム | |
| JP7500512B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4892405B2 (ja) | 画像処理装置および方法 | |
| JP2004220312A (ja) | 多視点カメラシステム | |
| CN109064550A (zh) | 一种人体扫描建模方法 | |
| JP2002056407A (ja) | 画像生成システム | |
| JPH08147494A (ja) | 頭髪画像生成装置 | |
| JP2013231607A (ja) | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム | |
| CA3155612A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
| JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
| JP6719168B1 (ja) | 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 | |
| JP2739447B2 (ja) | しわの表現可能な三次元像生成装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JP2006059165A (ja) | ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体 | |
| JPH11316853A (ja) | 仮想現実感生成装置及び方法 | |
| JP7380661B2 (ja) | 投射方法、及び投射システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |