JP2003203220A - 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム - Google Patents
三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラムInfo
- Publication number
- JP2003203220A JP2003203220A JP2002000927A JP2002000927A JP2003203220A JP 2003203220 A JP2003203220 A JP 2003203220A JP 2002000927 A JP2002000927 A JP 2002000927A JP 2002000927 A JP2002000927 A JP 2002000927A JP 2003203220 A JP2003203220 A JP 2003203220A
- Authority
- JP
- Japan
- Prior art keywords
- reflection
- image processing
- function
- dimensional image
- real object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 金属光沢物のようにごく狭い角度範囲でしか
鏡面反射が現れない対象物では、撮影画像情報中で鏡面
反射が観測されない彩色部位について鏡面反射がないも
のと誤推定されるおそれがある。 【解決手段】 光源２から実物体３の表面において２次
元の広がりを持つ輝度分布を有する照明光が照射された
実物体の撮影画像情報を取得し、この撮影画像情報と撮
影時の撮影環境情報（照明光の輝度分布に関する情報、
撮影を行う撮影装置１の特性又は設定に関する情報、実
物体と光源と撮影装置の位置に関する情報および撮影装
置による撮影方向に関する情報等）とに基づいて実物体
の表面属性（特に、反射特性）を推定する
鏡面反射が現れない対象物では、撮影画像情報中で鏡面
反射が観測されない彩色部位について鏡面反射がないも
のと誤推定されるおそれがある。 【解決手段】 光源２から実物体３の表面において２次
元の広がりを持つ輝度分布を有する照明光が照射された
実物体の撮影画像情報を取得し、この撮影画像情報と撮
影時の撮影環境情報（照明光の輝度分布に関する情報、
撮影を行う撮影装置１の特性又は設定に関する情報、実
物体と光源と撮影装置の位置に関する情報および撮影装
置による撮影方向に関する情報等）とに基づいて実物体
の表面属性（特に、反射特性）を推定する
Description
【０００１】
【発明の属する技術分野】本発明は、実在する対象物
（実物体）の三次元画像を形成するために必要な表面属
性データを生成する三次元画像処理方法および装置に関
するものである。
（実物体）の三次元画像を形成するために必要な表面属
性データを生成する三次元画像処理方法および装置に関
するものである。
【０００２】
【従来の技術】実物体をコンピュータグラフィクスによ
る三次元画像として再現するとき、特開２０００−３４
８２１３号にて提案されているように三次元形状モデル
の各部に、実物体をカメラで撮影した画像を貼り付ける
手法がある。このような手法では、様々な視点から三次
元画像を観察することができるようにするため、複数の
方向から撮影された複数の画像を用意し、再現時に視点
に対して適切な画像を選択して三次元形状モデルに貼り
付けている。
る三次元画像として再現するとき、特開２０００−３４
８２１３号にて提案されているように三次元形状モデル
の各部に、実物体をカメラで撮影した画像を貼り付ける
手法がある。このような手法では、様々な視点から三次
元画像を観察することができるようにするため、複数の
方向から撮影された複数の画像を用意し、再現時に視点
に対して適切な画像を選択して三次元形状モデルに貼り
付けている。
【０００３】但し、このような手法では、三次元画像と
して再現する実物体を撮影時と異なる照明状態とするこ
とができない。また、カメラ画像にはもともと陰影やハ
イライトが含まれているため、カメラ画像を貼り付けた
物体にさらに陰影やハイライトをつけようとすると不自
然な画像になる。
して再現する実物体を撮影時と異なる照明状態とするこ
とができない。また、カメラ画像にはもともと陰影やハ
イライトが含まれているため、カメラ画像を貼り付けた
物体にさらに陰影やハイライトをつけようとすると不自
然な画像になる。
【０００４】そこで、SIGRAPH Computer Graphics Proc
eedings,Annual Conference Seriec,1997,p379-387『Ob
ject Shape and Reflectance Modeling from Observati
on』に記載されているように、照明方向や観測（撮影）
方向による実物体の反射率の変化を双方向反射分布関数
BRDF（Bi-directional Reflectance Distribution Func
tion)で表し、BRDFに関数モデルを導入して反射定数に
より表す手法が採られるようになっている。
eedings,Annual Conference Seriec,1997,p379-387『Ob
ject Shape and Reflectance Modeling from Observati
on』に記載されているように、照明方向や観測（撮影）
方向による実物体の反射率の変化を双方向反射分布関数
BRDF（Bi-directional Reflectance Distribution Func
tion)で表し、BRDFに関数モデルを導入して反射定数に
より表す手法が採られるようになっている。
【０００５】この手法では、三次元形状モデルの表面に
配置される彩色部位の反射特性を反射定数として保持
し、再現時には反射モデル関数に定数を代入計算するこ
とにより、比較的小さな彩色情報で任意の照明条件・視
線方向での自然な陰影やハイライトの再現が可能にな
る。
配置される彩色部位の反射特性を反射定数として保持
し、再現時には反射モデル関数に定数を代入計算するこ
とにより、比較的小さな彩色情報で任意の照明条件・視
線方向での自然な陰影やハイライトの再現が可能にな
る。
【０００６】なお、Phong反射モデルに代表されるよう
に、多くの反射モデルは光の反射を散乱（拡散）反射成
分と鏡面反射成分の線形和として考え、各々複数のパラ
メータにより表現される。
に、多くの反射モデルは光の反射を散乱（拡散）反射成
分と鏡面反射成分の線形和として考え、各々複数のパラ
メータにより表現される。
【０００７】
【発明が解決しようとする課題】上記反射定数の推定
は、光源方向又は視線（観測，撮影）方向を変えて撮影
された複数の画像情報を利用して、彩色部位毎に行う。
また、BRDFは二次元の広がりを持たない照明光による照
明方向および観測方向に対する関数なので、光源として
は部位光源や平行（無限遠）光源に近似可能な光源を用
いている。
は、光源方向又は視線（観測，撮影）方向を変えて撮影
された複数の画像情報を利用して、彩色部位毎に行う。
また、BRDFは二次元の広がりを持たない照明光による照
明方向および観測方向に対する関数なので、光源として
は部位光源や平行（無限遠）光源に近似可能な光源を用
いている。
【０００８】しかしながら、金属光沢物のようにごく狭
い角度範囲でしか鏡面反射が現れない対象物では、上記
複数の画像情報中で鏡面反射が観測されない彩色部位が
あり、この場合、その彩色部位では鏡面反射がないもの
と誤推定されるおそれがある。
い角度範囲でしか鏡面反射が現れない対象物では、上記
複数の画像情報中で鏡面反射が観測されない彩色部位が
あり、この場合、その彩色部位では鏡面反射がないもの
と誤推定されるおそれがある。
【０００９】これを避けるため、画像撮影時に鏡面反射
の広がりよりも小さい角度間隔で撮影する必要がある
が、画像情報の処理や撮影の手間が膨大になるという問
題がある。
の広がりよりも小さい角度間隔で撮影する必要がある
が、画像情報の処理や撮影の手間が膨大になるという問
題がある。
【００１０】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明の三次元画像処理方法および装置では、実
物体の表面から見て２次元の広がりを持つ輝度分布を有
する光源から照明光が照射された実物体の撮影画像情報
を取得し、この撮影画像情報と撮影時の撮影環境情報
（光源の輝度分布に関する情報、撮影を行う撮影装置の
特性又は設定に関する情報、実物体と光源と撮影装置の
位置及び向きに関する情報等）とに基づいて実物体の表
面属性（特に、反射特性）を推定するようにしている。
めに、本発明の三次元画像処理方法および装置では、実
物体の表面から見て２次元の広がりを持つ輝度分布を有
する光源から照明光が照射された実物体の撮影画像情報
を取得し、この撮影画像情報と撮影時の撮影環境情報
（光源の輝度分布に関する情報、撮影を行う撮影装置の
特性又は設定に関する情報、実物体と光源と撮影装置の
位置及び向きに関する情報等）とに基づいて実物体の表
面属性（特に、反射特性）を推定するようにしている。
【００１１】このように、実物体をその表面から見て２
次元の広がりを持つ輝度分布を有する照明光で照明する
ことにより、鏡面反射がより広い角度範囲で観測され
る。このため、比較的少数の撮影画像によって、鏡面反
射が鋭い場合における表面属性の推定部位（彩色部位）
での鏡面反射の観測漏れを防止し、正しい表面属性を推
定することが可能となる。
次元の広がりを持つ輝度分布を有する照明光で照明する
ことにより、鏡面反射がより広い角度範囲で観測され
る。このため、比較的少数の撮影画像によって、鏡面反
射が鋭い場合における表面属性の推定部位（彩色部位）
での鏡面反射の観測漏れを防止し、正しい表面属性を推
定することが可能となる。
【００１２】なお、各推定部位で双方向反射分布関数BR
DFを推定する場合には、この双方向反射分布関数BRDFは
二次元の広がりを持たない一方向から照射された光に対
して定義されるので、本発明では、撮影画像情報に基づ
いて得られる実物体の輝度変化を照明光の輝度分布でデ
コンボリューションすることにより双方向反射分布関数
BRDFを推定する。
DFを推定する場合には、この双方向反射分布関数BRDFは
二次元の広がりを持たない一方向から照射された光に対
して定義されるので、本発明では、撮影画像情報に基づ
いて得られる実物体の輝度変化を照明光の輝度分布でデ
コンボリューションすることにより双方向反射分布関数
BRDFを推定する。
【００１３】
【発明の実施の形態】（第１実施形態）図１には、本発
明の第１実施形態である三次元画像処理システムの構成
を示している。本実施形態は、反射定数の推定の前に実
物体の輝度変化を照明光の輝度分布でデコンボリュート
し、双方向反射分布関数BRDFからphong 関数を得る方式
のものである。
明の第１実施形態である三次元画像処理システムの構成
を示している。本実施形態は、反射定数の推定の前に実
物体の輝度変化を照明光の輝度分布でデコンボリュート
し、双方向反射分布関数BRDFからphong 関数を得る方式
のものである。
【００１４】本実施形態の三次元画像処理システムは、
対象物３をＣＣＤ等の撮像素子により撮影するデジタル
カメラ（撮影装置）１と、対象物３を照明する面光源２
と、対象物（実物体）３を載置する回転ステージ４と、
レーザレーダ法、スリット光投影法、パターン投影法な
どを用いて対象物３の三次元形状を測定する三次元計測
装置５と、この三次元計測装置５から入力された実測デ
ータに基づいて対象物３の立体形状情報である三次元形
状モデルを生成するとともに、デジタルカメラ１から入
力された画像情報に基づいて対象物３の表面属性（色や
反射特性等の彩色情報）を推定するコンピュータ等から
なる三次元画像処理装置６と、この三次元画像処理装置
６により作成された対象物３のモデルデータから三次元
のコンピュータグラフィクス（三次元画像）を作成し表
示するコンピュータグラフィクス作成装置７とから構成
されている。
対象物３をＣＣＤ等の撮像素子により撮影するデジタル
カメラ（撮影装置）１と、対象物３を照明する面光源２
と、対象物（実物体）３を載置する回転ステージ４と、
レーザレーダ法、スリット光投影法、パターン投影法な
どを用いて対象物３の三次元形状を測定する三次元計測
装置５と、この三次元計測装置５から入力された実測デ
ータに基づいて対象物３の立体形状情報である三次元形
状モデルを生成するとともに、デジタルカメラ１から入
力された画像情報に基づいて対象物３の表面属性（色や
反射特性等の彩色情報）を推定するコンピュータ等から
なる三次元画像処理装置６と、この三次元画像処理装置
６により作成された対象物３のモデルデータから三次元
のコンピュータグラフィクス（三次元画像）を作成し表
示するコンピュータグラフィクス作成装置７とから構成
されている。
【００１５】なお、三次元画像処理装置６により生成さ
れる三次元形状モデルとしては、例えばポリゴンによる
表面モデルあるいは異なる形状の表面形状要素の集合と
して表現することができる。
れる三次元形状モデルとしては、例えばポリゴンによる
表面モデルあるいは異なる形状の表面形状要素の集合と
して表現することができる。
【００１６】三次元計測装置５およびデジタルカメラ１
はそれぞれ、対象物３からある程度離れた位置に配置さ
れ、回転ステージ４とともに回転する対象物３に対して
一定の回転角度ごとに三次元形状計測および撮影を行
い、三次元形状の実測データおよび画像情報を出力す
る。なお、図１では、三次元計測装置５とカメラ１とは
一別体構成となっているが、これらを一体構成としても
よい。また、三次元形状計測および撮影を行うタイミン
グはそれぞれ同時でもよいし別個でもよい。
はそれぞれ、対象物３からある程度離れた位置に配置さ
れ、回転ステージ４とともに回転する対象物３に対して
一定の回転角度ごとに三次元形状計測および撮影を行
い、三次元形状の実測データおよび画像情報を出力す
る。なお、図１では、三次元計測装置５とカメラ１とは
一別体構成となっているが、これらを一体構成としても
よい。また、三次元形状計測および撮影を行うタイミン
グはそれぞれ同時でもよいし別個でもよい。
【００１７】次に、三次元画像処理システムにおける各
処理について、図２を併せ用いて説明する。図２は三次
元画像処理装置６内の構成を示したものである。三次元
画像処理装置６は、画像情報取得部１０と、撮影環境情
報取得部１１と、立体形状取得部１２と、彩色情報推定
部１３と、モデルデータ記憶部１４とから構成されてい
る。本実施形態では、モデルデータ記憶部１４は、図１
に示すように、三次元画像処理装置本体とは別にモデル
データ記憶装置として設けられている。
処理について、図２を併せ用いて説明する。図２は三次
元画像処理装置６内の構成を示したものである。三次元
画像処理装置６は、画像情報取得部１０と、撮影環境情
報取得部１１と、立体形状取得部１２と、彩色情報推定
部１３と、モデルデータ記憶部１４とから構成されてい
る。本実施形態では、モデルデータ記憶部１４は、図１
に示すように、三次元画像処理装置本体とは別にモデル
データ記憶装置として設けられている。
【００１８】（画像情報の取得）まず、画像情報取得部
１０においてカメラ１から画像情報を取得し、彩色情報
推定部１３に出力する。
１０においてカメラ１から画像情報を取得し、彩色情報
推定部１３に出力する。
【００１９】ここで、カメラ１による対象物３の撮影に
ついて図３を用いて説明する。本実施形態では、暗室内
で回転ステージ４上に載置した対象物３を、面光源２か
ら照射される、対象物３の表面において一定の二次元の
広がりを持つ輝度分布を有した照明光で照らし、対象物
３にカメラ１を向ける。
ついて図３を用いて説明する。本実施形態では、暗室内
で回転ステージ４上に載置した対象物３を、面光源２か
ら照射される、対象物３の表面において一定の二次元の
広がりを持つ輝度分布を有した照明光で照らし、対象物
３にカメラ１を向ける。
【００２０】そして、回転ステージ４を回転させなが
ら、一定の回転角度ごとに複数回撮影し、ＲＧＢの３つ
のカラーバンドからなる画像データを取得する。
ら、一定の回転角度ごとに複数回撮影し、ＲＧＢの３つ
のカラーバンドからなる画像データを取得する。
【００２１】この際、１回の撮影ごとにカメラ１と対象
物３と面光源２の位置（配置）、面光源２（照明光）の
輝度、カメラ１の画像特性などの撮影環境情報を記録し
ておく。
物３と面光源２の位置（配置）、面光源２（照明光）の
輝度、カメラ１の画像特性などの撮影環境情報を記録し
ておく。
【００２２】こうして対象物３を回転させながら複数回
の撮影を行うことにより、対象物３に対する照明方向や
観測方向が相対的に変化し、光源方向や視線方向を変え
て撮影された複数の画像（画像群）が得られる。
の撮影を行うことにより、対象物３に対する照明方向や
観測方向が相対的に変化し、光源方向や視線方向を変え
て撮影された複数の画像（画像群）が得られる。
【００２３】なお、本実施形態では、対象物３を回転ス
テージ４上に載置する場合について説明しているが、対
象物を複数の回転軸を持つ装置に設置してもよい。ま
た、本実施形態では、カメラ１および面光源２を固定
し、対象物３を回転させる場合について説明している
が、対象物３を固定しておき、カメラ１又は面光源２の
位置や方向を変化させながら撮影してもよいし、カメラ
１、面光源２および対象物３のうち二者以上の位置を変
化させてながら撮影してもよい。いずれにせよ、位置の
変化や回転により、対象物３における光源方向や視線方
向が異なる複数の画像を得られるようにすればよい。
テージ４上に載置する場合について説明しているが、対
象物を複数の回転軸を持つ装置に設置してもよい。ま
た、本実施形態では、カメラ１および面光源２を固定
し、対象物３を回転させる場合について説明している
が、対象物３を固定しておき、カメラ１又は面光源２の
位置や方向を変化させながら撮影してもよいし、カメラ
１、面光源２および対象物３のうち二者以上の位置を変
化させてながら撮影してもよい。いずれにせよ、位置の
変化や回転により、対象物３における光源方向や視線方
向が異なる複数の画像を得られるようにすればよい。
【００２４】(撮影環境情報の取得)撮影情報取得部１１
では、撮影ごとに、面光源２（照明光）の輝度分布に関
する情報、カメラ１の特性又は設定に関する情報、カメ
ラ１・対象物３・面光源２の位置や姿勢に関する情報な
どの撮影環境情報を取得し、彩色情報推定部１４に出力
する。
では、撮影ごとに、面光源２（照明光）の輝度分布に関
する情報、カメラ１の特性又は設定に関する情報、カメ
ラ１・対象物３・面光源２の位置や姿勢に関する情報な
どの撮影環境情報を取得し、彩色情報推定部１４に出力
する。
【００２５】撮影環境情報の一部は撮影時に記録せず、
画像情報から推定してもよい。それには、撮影時に対象
物３に固定したマーカーが対象物３と共に画像に写るよ
うにしておく。対象物３上にマーカーの代用となる特徴
部分があれば、それをマーカーとして用いてもよい。そ
して、撮影された画像上のマーカーの位置や色から撮影
環境情報を推定し、彩色情報推定部１３に出力する。な
お、ここでの推定法の例は、佐藤淳著『コンピュータビ
ジョン』(コロナ社,1999)第６章に挙げられている。
(立体形状の取得)立体形状取得部１２では、三次元測定
装置５からの実測データに基づいて三次元形状モデルを
生成し、彩色情報推定部１３に出力するとともに、三次
元形状モデルをモデルデータ記憶部１４に記録する。
画像情報から推定してもよい。それには、撮影時に対象
物３に固定したマーカーが対象物３と共に画像に写るよ
うにしておく。対象物３上にマーカーの代用となる特徴
部分があれば、それをマーカーとして用いてもよい。そ
して、撮影された画像上のマーカーの位置や色から撮影
環境情報を推定し、彩色情報推定部１３に出力する。な
お、ここでの推定法の例は、佐藤淳著『コンピュータビ
ジョン』(コロナ社,1999)第６章に挙げられている。
(立体形状の取得)立体形状取得部１２では、三次元測定
装置５からの実測データに基づいて三次元形状モデルを
生成し、彩色情報推定部１３に出力するとともに、三次
元形状モデルをモデルデータ記憶部１４に記録する。
【００２６】なお、三次元形状モデルは、画像撮影時に
レンジファインダー等を用いて得てもよいし、画像情報
から推定してもよい。或いは工業製品のように形状デー
タが既知であれば、それを用いてもよい。
レンジファインダー等を用いて得てもよいし、画像情報
から推定してもよい。或いは工業製品のように形状デー
タが既知であれば、それを用いてもよい。
【００２７】(彩色情報の推定)彩色情報推定部１３で
は、入力された情報に基づいて彩色情報を推定し、得ら
れた反射定数をモデルデータ記憶部１４に記録する。以
下、図４のフローチャートを用いて彩色情報の推定法を
示す。
は、入力された情報に基づいて彩色情報を推定し、得ら
れた反射定数をモデルデータ記憶部１４に記録する。以
下、図４のフローチャートを用いて彩色情報の推定法を
示す。
【００２８】まず、ステップ（図ではＳと略す）１で本
フローを開始する。この後、三次元形状モデルの表面の
彩色情報を推定する彩色部位（推定部位）ごとに以下の
処理を繰り返す。
フローを開始する。この後、三次元形状モデルの表面の
彩色情報を推定する彩色部位（推定部位）ごとに以下の
処理を繰り返す。
【００２９】ステップ２では、入力された画像群の全て
の画像に対し、各彩色部位における光源中心方向、観測
方向および反射強度の対応を計算し、対応表を作成す
る。これには撮影時のカメラ１、対象物３、面光源２の
位置情報およびカメラ１、面光源２の特性又は設定情報
から、彩色部位における光源中心方向、観測方向および
画像上の位置を算出し、画像上の明度から反射強度を得
る。
の画像に対し、各彩色部位における光源中心方向、観測
方向および反射強度の対応を計算し、対応表を作成す
る。これには撮影時のカメラ１、対象物３、面光源２の
位置情報およびカメラ１、面光源２の特性又は設定情報
から、彩色部位における光源中心方向、観測方向および
画像上の位置を算出し、画像上の明度から反射強度を得
る。
【００３０】画像上で平面が裏面であったり、他の部位
の背後であったり、画像外であったりして反射強度が不
明である場合は対応表には入れない。
の背後であったり、画像外であったりして反射強度が不
明である場合は対応表には入れない。
【００３１】ステップ３では、上記対応表の反射強度を
光源中心方向ｌcと観測方向θoをパラメータとする関数
BRDF ’(lc,θo) とみなし（以下、照明光の輝度分布を
要素として含む値又は関数にはprime「’」を付けて表
す）、照明光の輝度分布を各彩色部位における光源中心
方向からの外れ角の関数ｌ(r) で表し、以下の式に基づ
いてデコンボリュートし、照明方向と観測方向の関数で
あって２次元の広がりを持たない光の反射率を与える双
方向反射分布関数BRDF(θi,θo) に変換する。
光源中心方向ｌcと観測方向θoをパラメータとする関数
BRDF ’(lc,θo) とみなし（以下、照明光の輝度分布を
要素として含む値又は関数にはprime「’」を付けて表
す）、照明光の輝度分布を各彩色部位における光源中心
方向からの外れ角の関数ｌ(r) で表し、以下の式に基づ
いてデコンボリュートし、照明方向と観測方向の関数で
あって２次元の広がりを持たない光の反射率を与える双
方向反射分布関数BRDF(θi,θo) に変換する。
【００３２】
【数１】
【００３３】次に、ステップ４では、この双方向反射分
布関数BRDFを反射モデル関数と照合する。反射モデルと
しては、図５に示した Phongの反射モデルを使用し、上
記ステップで得られた対応表中の各彩色部位における光
源中心方向、観測方向および反射強度の対応をカラーバ
ンドごとの反射率Ｒj，Ｇj，Ｂj と図１２に示す角度変
数θj，ρj で表す。
布関数BRDFを反射モデル関数と照合する。反射モデルと
しては、図５に示した Phongの反射モデルを使用し、上
記ステップで得られた対応表中の各彩色部位における光
源中心方向、観測方向および反射強度の対応をカラーバ
ンドごとの反射率Ｒj，Ｇj，Ｂj と図１２に示す角度変
数θj，ρj で表す。
【００３４】なお、図１２において、θは彩色部位での
法線方向と光源中心方向とのなす角度であり、ρはカメ
ラ１による観測（撮影）方向と光源中心方向との中間の
ベクトル方向と上記法線とのなす角度である。
法線方向と光源中心方向とのなす角度であり、ρはカメ
ラ１による観測（撮影）方向と光源中心方向との中間の
ベクトル方向と上記法線とのなす角度である。
【００３５】ここで、添え字ｊは画像番号（１，２…
ｍ）を示す。また、CdR，CdG，CdB は散乱反射定数であ
り、Cs,nは鏡面反射定数である。そして、誤差ベクトル
をεとすると、図１０に示す行列式が書ける。彩色部
位；ｌの反射率が不明である場合は、行列式から対応す
る行を削除する。
ｍ）を示す。また、CdR，CdG，CdB は散乱反射定数であ
り、Cs,nは鏡面反射定数である。そして、誤差ベクトル
をεとすると、図１０に示す行列式が書ける。彩色部
位；ｌの反射率が不明である場合は、行列式から対応す
る行を削除する。
【００３６】そして、ステップ５において、誤差ベクト
ルεを最適な値にする定数の組である（CdR，CdG，C
dB，Cs,n）を求め、モデルデータ記憶部１４に記録す
る。最適化には各種の数学的手法を用いることができる
が、本発明はこの手法を限定するものではない。
ルεを最適な値にする定数の組である（CdR，CdG，C
dB，Cs,n）を求め、モデルデータ記憶部１４に記録す
る。最適化には各種の数学的手法を用いることができる
が、本発明はこの手法を限定するものではない。
【００３７】例として、最小２乗法を用いる場合には、
評価関数を誤差ベクトルεの自己内積ε・εが最小とな
る組を求める。評価関数は全ての誤差を等価に扱ってい
るが、各値の信頼性を考慮した評価関数を設定してもよ
い。特に、cosθi，cosθoに比例する重み付けは有効で
ある。
評価関数を誤差ベクトルεの自己内積ε・εが最小とな
る組を求める。評価関数は全ての誤差を等価に扱ってい
るが、各値の信頼性を考慮した評価関数を設定してもよ
い。特に、cosθi，cosθoに比例する重み付けは有効で
ある。
【００３８】以上の処理を全ての彩色部位に対して行
う。
う。
【００３９】（ＣＧ再現）このようにしてモデルデータ
が得られた対象物３をコンピュータグラフィクスで生成
表示する際には、コンピュータグラフィクス生成装置７
において要求される仮想カメラ、仮想対象物、仮想光源
の位置及び向き情報と、仮想カメラおよび仮想光源の特
性又は設定情報と、モデルデータ記憶部１４に記録され
た三次元形状モデルとから各彩色部位における照明方向
・観測方向・照明照度および生成画像上の表示位置を算
出し、照明方向、観測方向およびモデルデータ記憶部１
４に記録された反射定数を反射モデル関数に代入して反
射率を計算する。そして、計算された反射率と照明照度
の積を表示色として生成画像上の表示位置に描画する。
これにより、任意の照明条件および視線方向での自然な
陰影やハイライトが再現される。なお、本実施形態にお
いては、カメラ１、面光源２、回転ステージ４、三次元
測定装置５、三次元画像処理装置６およびコンピュータ
グラフィクス生成装置７を別体のものとして説明した
が、これらを単一の装置として構成してもよい。
が得られた対象物３をコンピュータグラフィクスで生成
表示する際には、コンピュータグラフィクス生成装置７
において要求される仮想カメラ、仮想対象物、仮想光源
の位置及び向き情報と、仮想カメラおよび仮想光源の特
性又は設定情報と、モデルデータ記憶部１４に記録され
た三次元形状モデルとから各彩色部位における照明方向
・観測方向・照明照度および生成画像上の表示位置を算
出し、照明方向、観測方向およびモデルデータ記憶部１
４に記録された反射定数を反射モデル関数に代入して反
射率を計算する。そして、計算された反射率と照明照度
の積を表示色として生成画像上の表示位置に描画する。
これにより、任意の照明条件および視線方向での自然な
陰影やハイライトが再現される。なお、本実施形態にお
いては、カメラ１、面光源２、回転ステージ４、三次元
測定装置５、三次元画像処理装置６およびコンピュータ
グラフィクス生成装置７を別体のものとして説明した
が、これらを単一の装置として構成してもよい。
【００４０】また、本実施形態のように三次元画像処理
システムを複数の装置又は機器で構成する場合、装置又
は機器間のデータのやり取りは、各種記録媒体や無線・
有線のデータ通信手段によって行われる。
システムを複数の装置又は機器で構成する場合、装置又
は機器間のデータのやり取りは、各種記録媒体や無線・
有線のデータ通信手段によって行われる。
【００４１】特に、コンピュータグラフィクス作成装置
７を三次元画像処理装置６と別の装置として設けること
により、一度作成されたモデルデータを、複数のコンピ
ュータグラフィクス作成装置で繰り返し利用できるメリ
ットがある。
７を三次元画像処理装置６と別の装置として設けること
により、一度作成されたモデルデータを、複数のコンピ
ュータグラフィクス作成装置で繰り返し利用できるメリ
ットがある。
【００４２】また、本実施形態では、反射モデル関数と
してPhong反射モデルを用いる場合について説明した
が、本発明では反射モデル関数をこれに限定するもので
はなく、他の反射モデル関数、例えばTorrance-Sparrow
モデルを用いてもよい。つまり、反射率が散乱反射成分
と鏡面反射成分の線形和として与えられ、それぞれ複数
または１つの定数と角度変数とにより表現されるもので
あれば本発明に用いることができる。
してPhong反射モデルを用いる場合について説明した
が、本発明では反射モデル関数をこれに限定するもので
はなく、他の反射モデル関数、例えばTorrance-Sparrow
モデルを用いてもよい。つまり、反射率が散乱反射成分
と鏡面反射成分の線形和として与えられ、それぞれ複数
または１つの定数と角度変数とにより表現されるもので
あれば本発明に用いることができる。
【００４３】また、本実施形態では、画像がＲ，Ｇ，Ｂ
の３色から構成される場合について説明したが、本発明
では、単色、他の複数色、スペクトル情報、偏光情報
等、対応した反射モデル関数が記述できるものであれば
用いることができる。
の３色から構成される場合について説明したが、本発明
では、単色、他の複数色、スペクトル情報、偏光情報
等、対応した反射モデル関数が記述できるものであれば
用いることができる。
【００４４】さらに、本実施形態にて説明した彩色情報
の推定法では、全ての反射定数が一意に求まるとは限ら
ないが、この場合は、求まらない定数を持つ彩色部位の
近傍の彩色部位の反射定数から補完したり、典型的な値
で代用したりする等の手法を用いればよい。
の推定法では、全ての反射定数が一意に求まるとは限ら
ないが、この場合は、求まらない定数を持つ彩色部位の
近傍の彩色部位の反射定数から補完したり、典型的な値
で代用したりする等の手法を用いればよい。
【００４５】（第２実施形態）上記第１実施形態では、
反射定数の推定前に実物体の輝度変化を照明光の輝度分
布でデコンボリュートする場合について説明したが、輝
度分布に依存した輝度分布型反射モデル関数で輝度分布
型反射定数を推定した後に反射定数に一定の変換を施す
ことにより反射定数を推定してもよい。
反射定数の推定前に実物体の輝度変化を照明光の輝度分
布でデコンボリュートする場合について説明したが、輝
度分布に依存した輝度分布型反射モデル関数で輝度分布
型反射定数を推定した後に反射定数に一定の変換を施す
ことにより反射定数を推定してもよい。
【００４６】なお、本実施形態の処理を行う三次元画像
処理システムの構成も第１実施形態と同じであり、シス
テムを構成する装置および機器には第１実施形態と同符
号を付す。
処理システムの構成も第１実施形態と同じであり、シス
テムを構成する装置および機器には第１実施形態と同符
号を付す。
【００４７】以下、三次元画像処理システムでの各処理
について説明する。
について説明する。
【００４８】（画像情報の取得）まず、画像情報取得部
１０においてカメラ１から画像情報を取得し、彩色情報
推定部１３に出力する。
１０においてカメラ１から画像情報を取得し、彩色情報
推定部１３に出力する。
【００４９】ここで、カメラ１による対象物３の撮影に
ついて図６を用いて説明する。本実施形態では、暗室内
で回転ステージ４上に載置した対象物３を、面光源２２
から照射される、対象物３の表面において一定の二次元
の広がりを持つ輝度分布を有し、かつその輝度分布が角
度半径σL のガウシアンで近似される広がりを持った照
明光で照らし、対象物３にカメラ１を向ける。
ついて図６を用いて説明する。本実施形態では、暗室内
で回転ステージ４上に載置した対象物３を、面光源２２
から照射される、対象物３の表面において一定の二次元
の広がりを持つ輝度分布を有し、かつその輝度分布が角
度半径σL のガウシアンで近似される広がりを持った照
明光で照らし、対象物３にカメラ１を向ける。
【００５０】このような面光源２２としては、例えば背
後からスポットライトを照射した磨りガラスを用いて構
成することができる。
後からスポットライトを照射した磨りガラスを用いて構
成することができる。
【００５１】そして、回転ステージ４を回転させなが
ら、複数の回転角度で対象物３を撮影し、ＲＧＢの３つ
のカラーバンドからなる画像データを取得する。
ら、複数の回転角度で対象物３を撮影し、ＲＧＢの３つ
のカラーバンドからなる画像データを取得する。
【００５２】この際、１回の撮影ごとにカメラ１と対象
物３と面光源２２の位置（配置）、面光源２２（照明
光）の輝度、カメラ１の画像特性などの撮影環境情報を
記録しておく。
物３と面光源２２の位置（配置）、面光源２２（照明
光）の輝度、カメラ１の画像特性などの撮影環境情報を
記録しておく。
【００５３】こうして対象物３を回転させながら複数回
の撮影を行うことにより、対象物３に対する照明方向や
観測方向が相対的に変化し、光源方向や視線方向を変え
て撮影された複数の画像（画像群）が得られる。
の撮影を行うことにより、対象物３に対する照明方向や
観測方向が相対的に変化し、光源方向や視線方向を変え
て撮影された複数の画像（画像群）が得られる。
【００５４】なお、本実施形態では、対象物３を回転ス
テージ４上に載置する場合について説明しているが、対
象物を複数の回転軸を持つ装置に設置してもよい。ま
た、本実施形態では、カメラ１および面光源２２を固定
し、対象物３を回転させる場合について説明している
が、対象物３を固定しておき、カメラ１又は面光源２２
の位置や方向を変化させながら撮影してもよいし、カメ
ラ１、面光源２２および対象物３のうち二者以上の位置
を変化させてながら撮影してもよい。いずれにせよ、位
置の変化や回転により、対象物３における光源方向や視
線方向が異なる複数の画像を得られるようにすればよ
い。
テージ４上に載置する場合について説明しているが、対
象物を複数の回転軸を持つ装置に設置してもよい。ま
た、本実施形態では、カメラ１および面光源２２を固定
し、対象物３を回転させる場合について説明している
が、対象物３を固定しておき、カメラ１又は面光源２２
の位置や方向を変化させながら撮影してもよいし、カメ
ラ１、面光源２２および対象物３のうち二者以上の位置
を変化させてながら撮影してもよい。いずれにせよ、位
置の変化や回転により、対象物３における光源方向や視
線方向が異なる複数の画像を得られるようにすればよ
い。
【００５５】(撮影環境情報の取得)撮影情報取得部１１
では、撮影ごとに、面光源２２（照明光）の輝度分布に
関する情報、カメラ１の特性又は設定に関する情報、カ
メラ１・対象物３・面光源２２の位置や姿勢に関する情
報などの撮影環境情報を取得し、彩色情報推定部１４に
出力する。
では、撮影ごとに、面光源２２（照明光）の輝度分布に
関する情報、カメラ１の特性又は設定に関する情報、カ
メラ１・対象物３・面光源２２の位置や姿勢に関する情
報などの撮影環境情報を取得し、彩色情報推定部１４に
出力する。
【００５６】撮影環境情報の一部は撮影時に記録せず、
画像情報から推定してもよい。それには、撮影時に対象
物３に固定したマーカーが対象物３と共に画像に写るよ
うにしておく。対象物３上にマーカーの代用となる特徴
部分があれば、それをマーカーとして用いてもよい。そ
して、撮影された画像上のマーカーの位置や色から撮影
環境情報を推定し、彩色情報推定部１３に出力する。な
お、ここでの推定法の例は、第１実施形態にて説明した
ように、佐藤淳著『コンピュータビジョン』(コロナ社,
1999)第６章に挙げられている。
画像情報から推定してもよい。それには、撮影時に対象
物３に固定したマーカーが対象物３と共に画像に写るよ
うにしておく。対象物３上にマーカーの代用となる特徴
部分があれば、それをマーカーとして用いてもよい。そ
して、撮影された画像上のマーカーの位置や色から撮影
環境情報を推定し、彩色情報推定部１３に出力する。な
お、ここでの推定法の例は、第１実施形態にて説明した
ように、佐藤淳著『コンピュータビジョン』(コロナ社,
1999)第６章に挙げられている。
【００５７】(立体形状の取得)立体形状取得部１２で
は、三次元測定装置５からの実測データに基づいて三次
元形状モデルを生成し、彩色情報推定部１３に出力する
とともに、三次元形状モデルをモデルデータ記憶部１４
に記録する。
は、三次元測定装置５からの実測データに基づいて三次
元形状モデルを生成し、彩色情報推定部１３に出力する
とともに、三次元形状モデルをモデルデータ記憶部１４
に記録する。
【００５８】なお、三次元形状モデルは、画像撮影時に
レンジファインダー等を用いて得てもよいし、画像情報
から推定してもよい。或いは工業製品のように形状デー
タが既知であれば、それを用いてもよい。
レンジファインダー等を用いて得てもよいし、画像情報
から推定してもよい。或いは工業製品のように形状デー
タが既知であれば、それを用いてもよい。
【００５９】(彩色情報の推定)彩色情報推定部１３で
は、入力された情報に基づいて彩色情報を推定し、得ら
れた反射定数をモデルデータ記憶部１４に記録する。以
下、図９のフローチャートを用いて彩色情報の推定法を
示す。
は、入力された情報に基づいて彩色情報を推定し、得ら
れた反射定数をモデルデータ記憶部１４に記録する。以
下、図９のフローチャートを用いて彩色情報の推定法を
示す。
【００６０】まず、ステップ（図ではＳと略す）２１で
本フローを開始する。この後、三次元形状モデルの表面
の彩色情報を推定する彩色部位（推定部位）ごとに以下
の処理を繰り返す。
本フローを開始する。この後、三次元形状モデルの表面
の彩色情報を推定する彩色部位（推定部位）ごとに以下
の処理を繰り返す。
【００６１】次に、ステップ２２で、画像群の全ての画
像に対し、各彩色部位における光源中心方向、観測方
向、反射強度の対応を計算し、対応表を作成する。これ
には撮影時のカメラ１、対象物３、面光源２２の位置情
報およびカメラ１、面光源２２の特性又は設定情報か
ら、彩色部位における光源中心方向、観測方向および画
像上の位置を算出し、画像上の明度から反射強度を得
る。
像に対し、各彩色部位における光源中心方向、観測方
向、反射強度の対応を計算し、対応表を作成する。これ
には撮影時のカメラ１、対象物３、面光源２２の位置情
報およびカメラ１、面光源２２の特性又は設定情報か
ら、彩色部位における光源中心方向、観測方向および画
像上の位置を算出し、画像上の明度から反射強度を得
る。
【００６２】画像上で平面が裏面であったり、他の部位
の背後であったり、画像外であったりして反射強度が不
明である場合は対応表には入れない。
の背後であったり、画像外であったりして反射強度が不
明である場合は対応表には入れない。
【００６３】次に、ステップ２３では、上記対応表を輝
度分布型反射モデル関数と照合する。輝度分布型反射モ
デルとしては、例えば図７に示す Gaussモデルを使用
し、上記ステップで得られた対応表中の各彩色部位にお
ける光源中心方向、観測方向および反射強度の対応をカ
ラーバンドごとの反射率Ｒj，Ｇj，Ｂj と図１２に示す
角度変数θj，ρj で表す。
度分布型反射モデル関数と照合する。輝度分布型反射モ
デルとしては、例えば図７に示す Gaussモデルを使用
し、上記ステップで得られた対応表中の各彩色部位にお
ける光源中心方向、観測方向および反射強度の対応をカ
ラーバンドごとの反射率Ｒj，Ｇj，Ｂj と図１２に示す
角度変数θj，ρj で表す。
【００６４】なお、図１２において、θは彩部位での法
線方向と光源中心方向とのなす角度であり、ρはカメラ
１による観測（撮影）方向と光源中心方向との中間のベ
クトル方向と上記法線とのなす角度である。
線方向と光源中心方向とのなす角度であり、ρはカメラ
１による観測（撮影）方向と光源中心方向との中間のベ
クトル方向と上記法線とのなす角度である。
【００６５】また、添え字ｊは画像番号（１，２…ｍ）
を示す。また、CdR，CdG，CdB は錯乱反射定数であり、
Cs,σは鏡面反射定数である。そして、誤差ベクトルを
εとすると、図１１に示す行列式が書ける。彩色部位の
反射率が不明である場合は、行列式から対応する行を削
除する。
を示す。また、CdR，CdG，CdB は錯乱反射定数であり、
Cs,σは鏡面反射定数である。そして、誤差ベクトルを
εとすると、図１１に示す行列式が書ける。彩色部位の
反射率が不明である場合は、行列式から対応する行を削
除する。
【００６６】そして、ステップ２４では、誤差ベクトル
εを最適な値にする定数の組である（CdR，CdG，CdB，C
s',σ')を求める。最適化には各種の数学的手法を用い
ることができるが、本発明はこの手法を限定するもので
はない。
εを最適な値にする定数の組である（CdR，CdG，CdB，C
s',σ')を求める。最適化には各種の数学的手法を用い
ることができるが、本発明はこの手法を限定するもので
はない。
【００６７】例として、最小２乗法を用いる場合には、
評価関数を誤差ベクトルεの自己内積ε・εが最小とな
る組を求める。評価関数は全ての誤差を等価に扱ってい
るが、各値の信頼性を考慮した評価関数を設定してもよ
い。
評価関数を誤差ベクトルεの自己内積ε・εが最小とな
る組を求める。評価関数は全ての誤差を等価に扱ってい
るが、各値の信頼性を考慮した評価関数を設定してもよ
い。
【００６８】次に、ステップ２５では、ステップ２４で
求めた輝度分布型反射定数の組（CdR，CdG，CdB，Cs',
σ'） を２次元の広がりを持たない照明光を射出する平
行（無限遠）光源や点光源等の光源に対する反射定数へ
の変換を行う。
求めた輝度分布型反射定数の組（CdR，CdG，CdB，Cs',
σ'） を２次元の広がりを持たない照明光を射出する平
行（無限遠）光源や点光源等の光源に対する反射定数へ
の変換を行う。
【００６９】反射モデル関数としては図８に示すガウス
モデルを用いる。散乱反射成分は照明光の広がりの影響
をほとんど受けないものとし、先の（CdR，CdG，CdB）
をデータ記録部１４に記録する。鏡面反射成分はガウス
関数の合成則である σ’2＝σs2+σL 2 σ2 Cs＝σ'2 Cs' によりσs（ピーク強度） を求め、(Cs，σ)をデータ記
録部１４に記録する。
モデルを用いる。散乱反射成分は照明光の広がりの影響
をほとんど受けないものとし、先の（CdR，CdG，CdB）
をデータ記録部１４に記録する。鏡面反射成分はガウス
関数の合成則である σ’2＝σs2+σL 2 σ2 Cs＝σ'2 Cs' によりσs（ピーク強度） を求め、(Cs，σ)をデータ記
録部１４に記録する。
【００７０】なお、σは反射モデル関数の標準偏差、
σ’は輝度分布型反射モデル関数の標準偏差、σL は照
明光の輝度分布のガウス半径である。
σ’は輝度分布型反射モデル関数の標準偏差、σL は照
明光の輝度分布のガウス半径である。
【００７１】以上の処理を全ての彩色部位に対して行
う。
う。
【００７２】（ＣＧ再現）このようにしてモデルデータ
が得られた対象物３をコンピュータグラフィクスで生成
表示する際には、コンピュータグラフィクス生成装置７
において要求される仮想カメラ、仮想対象物、仮想面光
源の位置及び向き情報と、仮想カメラおよび仮想光源の
特性又は設定情報と、モデルデータ記憶部１４に記録さ
れた三次元形状モデルとから各彩色部位における照明方
向・観測方向・照明照度および生成画像上の表示位置を
算出し、照明方向、観測方向およびモデルデータ記憶部
１４に記録された反射定数を反射モデル関数に代入して
反射率を計算する。そして、計算された反射率と照明照
度の積を表示色として生成画像上の表示位置に描画す
る。これにより、任意の照明条件および視線方向での自
然な陰影やハイライトが再現される。
が得られた対象物３をコンピュータグラフィクスで生成
表示する際には、コンピュータグラフィクス生成装置７
において要求される仮想カメラ、仮想対象物、仮想面光
源の位置及び向き情報と、仮想カメラおよび仮想光源の
特性又は設定情報と、モデルデータ記憶部１４に記録さ
れた三次元形状モデルとから各彩色部位における照明方
向・観測方向・照明照度および生成画像上の表示位置を
算出し、照明方向、観測方向およびモデルデータ記憶部
１４に記録された反射定数を反射モデル関数に代入して
反射率を計算する。そして、計算された反射率と照明照
度の積を表示色として生成画像上の表示位置に描画す
る。これにより、任意の照明条件および視線方向での自
然な陰影やハイライトが再現される。
【００７３】なお、本実施形態においては、カメラ１、
面光源２２、回転ステージ４、三次元測定装置５、三次
元画像処理装置６およびコンピュータグラフィクス生成
装置７を別体のものとして説明したが、これらを単一の
装置として構成してもよい。
面光源２２、回転ステージ４、三次元測定装置５、三次
元画像処理装置６およびコンピュータグラフィクス生成
装置７を別体のものとして説明したが、これらを単一の
装置として構成してもよい。
【００７４】また、本実施形態のように三次元画像処理
システムを複数の装置又は機器で構成する場合、装置又
は機器間のデータのやり取りは、各種記録媒体や無線・
有線のデータ通信手段によって行われる。
システムを複数の装置又は機器で構成する場合、装置又
は機器間のデータのやり取りは、各種記録媒体や無線・
有線のデータ通信手段によって行われる。
【００７５】特に、コンピュータグラフィクス作成装置
７を三次元画像処理装置６と別の装置として設けること
により、一度作成されたモデルデータを、複数のコンピ
ュータグラフィクス作成装置で繰り返し利用できるメリ
ットがある。
７を三次元画像処理装置６と別の装置として設けること
により、一度作成されたモデルデータを、複数のコンピ
ュータグラフィクス作成装置で繰り返し利用できるメリ
ットがある。
【００７６】また、本実施形態では、反射モデル関数と
してGaussモデルを用いて説明したが、ＣＧ再現時にはP
hongモデルが便利な場合がある。GaussモデルとPhongモ
デルは変換式 σ2＝１／（ｎ＋５／６） により、ほぼ対応づけられる。
してGaussモデルを用いて説明したが、ＣＧ再現時にはP
hongモデルが便利な場合がある。GaussモデルとPhongモ
デルは変換式 σ2＝１／（ｎ＋５／６） により、ほぼ対応づけられる。
【００７７】また、これを用いてステップ２６で、σに
代えてｎを記録してもよい。
代えてｎを記録してもよい。
【００７８】また、本実施形態では、画像がＲ，Ｇ，Ｂ
の３色から構成される場合について説明したが、本発明
では、単色、他の複数色、スペクトル情報、偏光情報
等、対応した反射モデル関数が記述できるものであれば
用いることができる。
の３色から構成される場合について説明したが、本発明
では、単色、他の複数色、スペクトル情報、偏光情報
等、対応した反射モデル関数が記述できるものであれば
用いることができる。
【００７９】さらに、本実施形態にて説明した彩色情報
の推定法では、全ての反射定数が一意に求まるとは限ら
ないが、この場合は、求まらない定数を持つ彩色部位の
近傍の彩色部位の反射定数から補完したり、典型的な値
で代用したりする等の手法を用いればよい。
の推定法では、全ての反射定数が一意に求まるとは限ら
ないが、この場合は、求まらない定数を持つ彩色部位の
近傍の彩色部位の反射定数から補完したり、典型的な値
で代用したりする等の手法を用いればよい。
【００８０】
【発明の効果】以上説明したように、本発明によれば、
実物体をその表面から見て２次元の広がりを持つ輝度分
布を有する照明光で照明するようにしたので、鏡面反射
をより広い角度範囲で観測できる。このため、比較的少
数の撮影画像によって、鏡面反射が鋭い場合における表
面属性の推定部位（彩色部位）での鏡面反射の観測漏れ
を防止し、正しい表面属性を推定することができる。
実物体をその表面から見て２次元の広がりを持つ輝度分
布を有する照明光で照明するようにしたので、鏡面反射
をより広い角度範囲で観測できる。このため、比較的少
数の撮影画像によって、鏡面反射が鋭い場合における表
面属性の推定部位（彩色部位）での鏡面反射の観測漏れ
を防止し、正しい表面属性を推定することができる。
【００８１】したがって、本発明を用いて実物体の表面
属性を推定すれば、任意の照明条件および視線方向での
自然な陰影やハイライトが再現された三次元画像を作成
することができる。
属性を推定すれば、任意の照明条件および視線方向での
自然な陰影やハイライトが再現された三次元画像を作成
することができる。
【図１】本発明の第１実施形態である三次元画像処理シ
ステムの構成図である。
ステムの構成図である。
【図２】上記第１実施形態の三次元画像処理システムを
構成する三次元画像処理装置の構成を示すブロック図で
ある。
構成する三次元画像処理装置の構成を示すブロック図で
ある。
【図３】上記第１実施形態の三次元画像処理システムに
おける実物体の画像情報取得の例を示す図である。
おける実物体の画像情報取得の例を示す図である。
【図４】上記第１実施形態の三次元画像処理装置におけ
る彩色情報の推定処理を示すフローチャートである。
る彩色情報の推定処理を示すフローチャートである。
【図５】Phong反射モデルの式である。
【図６】本発明の第２実施形態である三次元画像処理シ
ステムにおける実物体の画像情報取得の例を示す図であ
る。
ステムにおける実物体の画像情報取得の例を示す図であ
る。
【図７】輝度分布型Gauss反射モデルの式である。
【図８】Gauss反射モデルの式である。
【図９】上記第２実施形態の三次元画像処理装置におけ
る彩色情報の推定処理を示すフローチャートである。
る彩色情報の推定処理を示すフローチャートである。
【図１０】上記第１実施形態においてPhong反射モデル
を適用した際の行列式である。
を適用した際の行列式である。
【図１１】上記第２実施形態においてPhong反射モデル
を適用した際の行列式である。
を適用した際の行列式である。
【図１２】θ、ρの説明図である
１ デジタルカメラ
２，２２ 面光源
３ 対象物
４ 回転ステージ
５ 三次元測定装置
６ 三次元画像処理装置
７ コンピュータグラフィクス生成装置
Claims (49)
- 【請求項１】 実物体の表面から見て２次元の広がりを
持つ輝度分布を有する光源から照明光が照射された前記
実物体の撮影画像情報を取得する第１のステップと、 この第１のステップで取得した撮影画像情報と撮影時の
撮影環境情報とに基づいて前記実物体の表面属性を推定
する第２のステップとを有することを特徴とする三次元
画像処理方法。 - 【請求項２】 前記撮影環境情報は、前記照明光の輝度
分布に関する情報、撮影を行う撮影装置の特性又は設定
に関する情報、前記実物体と前記光源と前記撮影装置の
位置に関する情報および前記撮影装置による撮影方向に
関する情報のうち少なくとも１つを含むことを特徴とす
る請求項１に記載の三次元画像処理方法。 - 【請求項３】 前記撮影画像情報は、前記実物体に対す
る照明方向および撮影方向のうち少なくとも一方を変え
て撮影することにより得られる複数の画像情報を含むこ
とを特徴とする請求項１に記載の三次元画像処理方法。 - 【請求項４】 前記第２のステップにおいて推定される
前記実物体の表面属性は、前記実物体の表面の各部にお
ける２次元の広がりを持たない光源による反射率を与え
る双方向反射分布関数で表されることを特徴とする請求
項１に記載の三次元画像処理方法。 - 【請求項５】 前記第２のステップにおいて、前記撮影
画像情報に基づいて得られる前記実物体の輝度変化を前
記照明光の輝度分布でデコンボリューションすることに
より前記双方向反射分布関数を推定することを特徴とす
る請求項４に記載の三次元画像処理方法。 - 【請求項６】 前記双方向反射分布関数は反射モデル関
数で表され、かつこの反射モデル関数は複数の反射定数
を関数要素として有することを特徴とする請求項４又は
５に記載の三次元画像処理方法。 - 【請求項７】 前記反射モデル関数は、散乱反射成分と
鏡面反射成分とが線形結合した関数で表され、 前記反射定数は、散乱反射成分に関する散乱反射定数
と、鏡面反射成分に関する鏡面反射定数とを含むことを
特徴とする請求項６に記載の三次元画像処理方法。 - 【請求項８】 前記第２のステップにおいて、前記照明
光の輝度分布に依存した輝度分布型双方向反射分布関数
を推定し、その後、輝度分布型双方向反射分布関数を前
記実物体の表面の各部における２次元の広がりを持たな
い光源による反射率を与える双方向反射分布関数に変換
することを特徴とする請求項１に記載の三次元画像処理
方法。 - 【請求項９】 前記輝度分布型双方向反射分布関数が、
前記照明光の輝度分布に依存した輝度分布型反射モデル
関数で表されるものであり、この輝度分布型反射モデル
関数は、複数の輝度分布型反射定数を関数要素として含
んでおり、 前記第２のステップにおいて、前記撮影画像情報と前記
撮影環境情報とに基づいて前記輝度分布型反射定数を推
定することを特徴とする請求項８に記載の三次元画像処
理方法。 - 【請求項１０】 前記輝度分布型反射モデル関数は、前
記実物体各部に対し、前記光源の中心方向と前記撮影装
置による前記実物体の撮影方向とをパラメータとして反
射率を与える関数であって、前記双方向反射分布関数を
前記照明光の輝度分布でコンボリュートしたものである
ことを特徴とする請求項９に記載の三次元画像処理方
法。 - 【請求項１１】 前記第２のステップにおいて、前記輝
度分布型反射定数から前記実物体の表面の各部における
２次元の広がりを持たない光による反射定数を推定する
ことを特徴とする請求項９に記載の三次元画像処理方
法。 - 【請求項１２】 前記輝度分布型反射モデル関数は、散
乱反射成分と鏡面反射成分とが線形結合した関数で表さ
れ、 前記輝度分布型反射定数は、散乱反射成分に関する散乱
反射定数と鏡面反射成分に関する鏡面反射定数とを含む
ことを特徴とする請求項９に記載の三次元画像処理方
法。 - 【請求項１３】 前記反射照明光の輝度分布がガウス関
数で近似されていることを特徴とする請求項１から１１
のいずれかに記載の三次元画像処理方法。 - 【請求項１４】 前記反射モデル関数の鏡面反射成分は
ガウス関数であり、 前記鏡面反射定数として少なくともピーク強度と標準偏
差を持つことを特徴とする請求項１２に記載の三次元画
像処理方法。 - 【請求項１５】 前記輝度分布型反射モデル関数の鏡面
反射成分はガウス関数であり、 前記輝度分布型反射定数として少なくともピーク強度と
標準偏差を持つことを特徴とする請求項１２に記載の三
次元画像処理方法。 - 【請求項１６】 前記鏡面反射定数のうち標準偏差σ
は、前記輝度分布型反射モデル関数の標準偏差σ’と、
前記照明光の輝度分布のガウス半径σL と、関係式σ’
2＝σ2＋σL 2 とから推定されることを特徴とする請求
項１４又は１５に記載の三次元画像処理方法。 - 【請求項１７】 実物体の表面から見て２次元の広がり
を持つ輝度分布を有する光源から照明光が照射された前
記実物体の撮影画像情報を取得する画像情報取得手段
と、 この画像情報取得手段により取得した撮影画像情報と撮
影時の撮影環境情報とに基づいて前記実物体の表面属性
を推定する表面属性推定手段とを有することを特徴とす
る三次元画像処理装置。 - 【請求項１８】 前記撮影環境情報は、前記照明光の輝
度分布に関する情報、撮影を行う撮影装置の特性又は設
定に関する情報、前記実物体と前記光源と前記撮影装置
の位置に関する情報および前記撮影装置による撮影方向
に関する情報のうち少なくとも１つを含むことを特徴と
する請求項１７に記載の三次元画像処理装置。 - 【請求項１９】 前記撮影画像情報は、前記実物体に対
する照明方向および撮影方向のうち少なくとも一方を変
えて撮影することにより得られる複数の画像情報を含む
ことを特徴とする請求項１７に記載の三次元画像処理装
置。 - 【請求項２０】 前記表面属性推定手段において推定さ
れる前記実物体の表面属性は、前記実物体の表面の各部
における２次元の広がりを持たない光源による反射率を
与える双方向反射分布関数で表されることを特徴とする
請求項１７に記載の三次元画像処理装置。 - 【請求項２１】 前記表面属性推定手段は、前記撮影画
像情報に基づいて得られる前記実物体の輝度変化を前記
照明光の輝度分布でデコンボリューションすることによ
り前記双方向反射分布関数を推定することを特徴とする
請求項２０に記載の三次元画像処理装置。 - 【請求項２２】 前記双方向反射分布関数は反射モデル
関数で表され、かつこの反射モデル関数は複数の反射定
数を関数要素として有することを特徴とする請求項２０
又は２１に記載の三次元画像処理装置。 - 【請求項２３】 前記反射モデル関数は、散乱反射成分
と鏡面反射成分とが線形結合した関数で表され、 前記反射定数は、散乱反射成分に関する散乱反射定数
と、鏡面反射成分に関する鏡面反射定数とを含むことを
特徴とする請求項２２に記載の三次元画像処理装置。 - 【請求項２４】 前記表面属性推定手段は、前記照明光
の輝度分布に依存した輝度分布型双方向反射分布関数を
推定し、その後、輝度分布型双方向反射分布関数を前記
実物体の表面の各部における２次元の広がりを持たない
光源による反射率を与える双方向反射分布関数に変換す
ることを特徴とする請求項１７に記載の三次元画像処理
装置。 - 【請求項２５】 前記輝度分布型双方向反射分布関数
が、前記照明光の輝度分布に依存した輝度分布型反射モ
デル関数で表されるものであり、この輝度分布型反射モ
デル関数は、複数の輝度分布型反射定数を関数要素とし
て含んでおり、前記第２のステップにおいて、前記撮影
画像情報と前記撮影環境情報とに基づいて前記輝度分布
型反射定数を推定することを特徴とする請求項２４に記
載の三次元画像処理装置。 - 【請求項２６】 前記輝度分布型反射モデル関数は、前
記実物体各部に対し、前記光源の中心方向と前記撮影装
置による前記実物体の撮影方向とをパラメータとして反
射率を与える関数であって、前記双方向反射分布関数を
前記照明光の輝度分布でコンボリュートしたものである
ことを特徴とする請求項２５に記載の三次元画像処理装
置。 - 【請求項２７】 前記表面属性推定手段は、前記輝度分
布型反射定数から前記実物体の表面の各部における２次
元の広がりを持たない光による反射定数を推定すること
を特徴とする請求項２５に記載の三次元画像処理装置。 - 【請求項２８】 前記輝度分布型反射モデル関数は、散
乱反射成分と鏡面反射成分とが線形結合した関数で表さ
れ、 前記輝度分布型反射定数は、散乱反射成分に関する散乱
反射定数と鏡面反射成分に関する鏡面反射定数とを含む
ことを特徴とする請求項２５に記載の三次元画像処理装
置。 - 【請求項２９】 前記反射照明光の輝度分布がガウス関
数で近似されていることを特徴とする請求項１７から２
８のいずれかに記載の三次元画像処理装置。 - 【請求項３０】 前記輝度分布型反射モデル関数の鏡面
反射成分はガウス関数であり、 前記鏡面反射定数として少なくともピーク強度と標準偏
差を持つことを特徴とする請求項２８に記載の三次元画
像処理装置。 - 【請求項３１】 前記輝度分布型反射モデル関数の鏡面
反射成分はガウス関数であり、 前記輝度分布型反射定数として少なくともピーク強度と
標準偏差を持つことを特徴とする請求項２８に記載の三
次元画像処理装置。 - 【請求項３２】 前記鏡面反射定数のうち標準偏差σ
は、前記輝度分布型反射モデル関数の標準偏差σ’と、
前記照明光の輝度分布のガウス半径σL と、関係式σ’
2＝σ2 ＋σL 2 とから推定されることを特徴とする請求
項３０又は３１に記載の三次元画像処理装置。 - 【請求項３３】 請求項１７から３２のいずれかに記載
の三次元画像処理装置と、前記実物体を撮影して画像情
報を前記三次元画像処理装置に入力する撮影装置と、前
記実物体に照明光を照射する光源とを有することを特徴
とする三次元画像処理システム。 - 【請求項３４】 コンピュータ上で動作するプログラム
であって、 実物体の表面から見て２次元の広がりを持つ輝度分布を
有する光源から照明光が照射された前記実物体の撮影画
像情報を取得する第１のステップと、 この第１のステップで取得した撮影画像情報と撮影時の
撮影環境情報とに基づいて前記実物体の表面属性を推定
する第２のステップとを有することを特徴とする三次元
画像処理プログラム。 - 【請求項３５】 前記撮影環境情報は、前記照明光の輝
度分布に関する情報、撮影を行う撮影装置の特性又は設
定に関する情報、前記実物体と前記光源と前記撮影装置
の位置に関する情報および前記撮影装置による撮影方向
に関する情報のうち少なくとも１つを含むことを特徴と
する請求項３４に記載の三次元画像処理プログラム。 - 【請求項３６】 前記撮影画像情報は、前記実物体に対
する照明方向および撮影方向のうち少なくとも一方を変
えて撮影することにより得られる複数の画像情報を含む
ことを特徴とする請求項３４に記載の三次元画像処理プ
ログラム。 - 【請求項３７】 前記第２のステップにおいて推定され
る前記実物体の表面属性は、前記実物体の表面の各部に
おける２次元の広がりを持たない光源による反射率を与
える双方向反射分布関数で表されることを特徴とする請
求項３４に記載の三次元画像処理プログラム。 - 【請求項３８】 前記第２のステップにおいて、前記撮
影画像情報に基づいて得られる前記実物体の輝度変化を
前記照明光の輝度分布でデコンボリューションすること
により前記双方向反射分布関数を推定することを特徴と
する請求項３７に記載の三次元画像処理プログラム。 - 【請求項３９】 前記双方向反射分布関数は反射モデル
関数で表され、かつこの反射モデル関数は複数の反射定
数を関数要素として有することを特徴とする請求項３７
又は３８に記載の三次元画像処理プログラム。 - 【請求項４０】 前記反射モデル関数は、散乱反射成分
と鏡面反射成分とが線形結合した関数で表され、 前記反射定数は、散乱反射成分に関する散乱反射定数
と、鏡面反射成分に関する鏡面反射定数とを含むことを
特徴とする請求項３９に記載の三次元画像処理プログラ
ム。 - 【請求項４１】 前記第２のステップにおいて、前記照
明光の輝度分布に依存した輝度分布型双方向反射分布関
数を推定し、その後、輝度分布型双方向反射分布関数を
前記実物体の表面の各部における２次元の広がりを持た
ない光源による反射率を与える双方向反射分布関数に変
換することを特徴とする請求項３４に記載の三次元画像
処理プログラム。 - 【請求項４２】 前記輝度分布型双方向反射分布関数
が、前記照明光の輝度分布に依存した輝度分布型反射モ
デル関数で表されるものであり、この輝度分布型反射モ
デル関数は、複数の輝度分布型反射定数を関数要素とし
て含んでおり、 前記第２のステップにおいて、前記撮影画像情報と前記
撮影環境情報とに基づいて前記輝度分布型反射定数を推
定することを特徴とする請求項４１に記載の三次元画像
処理プログラム。 - 【請求項４３】 前記輝度分布型反射モデル関数は、前
記実物体各部に対し、前記光源の中心方向と前記撮影装
置による前記実物体の撮影方向とをパラメータとして反
射率を与える関数であって、前記双方向反射分布関数を
前記照明光の輝度分布でコンボリュートしたものである
ことを特徴とする請求項４２に記載の三次元画像処理プ
ログラム。 - 【請求項４４】 前記第２のステップにおいて、前記輝
度分布型反射定数から前記実物体の表面の各部における
２次元の広がりを持たない光による反射定数を推定する
ことを特徴とする請求項４２に記載の三次元画像処理プ
ログラム。 - 【請求項４５】 前記輝度分布型反射モデル関数は、散
乱反射成分と鏡面反射成分とが線形結合した関数で表さ
れ、 前記輝度分布型反射定数は、散乱反射成分に関する散乱
反射定数と鏡面反射成分に関する鏡面反射定数とを含む
ことを特徴とする請求項４２に記載の三次元画像処理プ
ログラム。 - 【請求項４６】 前記反射照明光の輝度分布がガウス関
数で近似されていることを特徴とする請求項３４から４
４のいずれかに記載の三次元画像処理プログラム。 - 【請求項４７】 前記反射モデル関数の鏡面反射成分は
ガウス関数であり、 前記鏡面反射定数として少なくともピーク強度と標準偏
差を持つことを特徴とする請求項４５に記載の三次元画
像処理プログラム。 - 【請求項４８】 前記輝度分布型反射モデル関数の鏡面
反射成分はガウス関数であり、 前記輝度分布型反射定数として少なくともピーク強度と
標準偏差を持つことを特徴とする請求項４５に記載の三
次元画像処理プログラム。 - 【請求項４９】 前記鏡面反射定数のうち標準偏差σ
は、前記輝度分布型反射モデル関数の標準偏差σ’と、
前記照明光の輝度分布のガウス半径σL と、関係式σ’
2＝σ2＋σL 2 とから推定されることを特徴とする請求
項４７又は４８に記載の三次元画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002000927A JP3962588B2 (ja) | 2002-01-07 | 2002-01-07 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
| US10/321,461 US7200262B2 (en) | 2002-01-07 | 2002-12-18 | 3-dimensional image processing method, 3-dimensional image processing device, and 3-dimensional image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002000927A JP3962588B2 (ja) | 2002-01-07 | 2002-01-07 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003203220A true JP2003203220A (ja) | 2003-07-18 |
| JP2003203220A5 JP2003203220A5 (ja) | 2005-06-23 |
| JP3962588B2 JP3962588B2 (ja) | 2007-08-22 |
Family
ID=19190561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002000927A Expired - Lifetime JP3962588B2 (ja) | 2002-01-07 | 2002-01-07 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7200262B2 (ja) |
| JP (1) | JP3962588B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090590A (ja) * | 2006-10-02 | 2008-04-17 | Dainippon Printing Co Ltd | 正則画像への画像変換方法および装置 |
| JP2010526295A (ja) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | ビデオカメラとｔｖモニタを使用した３次元オブジェクトのスキャン |
| JP2010231780A (ja) * | 2009-03-27 | 2010-10-14 | Mitsubishi Electric Research Laboratories Inc | 鏡面反射物体の３ｄ姿勢を推定する方法 |
| JP2010243478A (ja) * | 2009-03-31 | 2010-10-28 | Mitsubishi Electric Research Laboratories Inc | 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置 |
| JP2015094999A (ja) * | 2013-11-08 | 2015-05-18 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2016018343A (ja) * | 2014-07-07 | 2016-02-01 | 株式会社スクウェア・エニックス | プログラム、情報処理装置、算出方法及び記録媒体 |
| JP2018028934A (ja) * | 2017-10-20 | 2018-02-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US10593026B2 (en) | 2017-02-27 | 2020-03-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2020071613A (ja) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021072024A (ja) * | 2019-11-01 | 2021-05-06 | 凸版印刷株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
| JP2021182404A (ja) * | 2016-04-12 | 2021-11-25 | クイッディエント・エルエルシー | 日常シーン復元エンジン |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004252603A (ja) * | 2003-02-18 | 2004-09-09 | Canon Inc | 三次元データ処理方法 |
| US7091973B1 (en) * | 2003-06-20 | 2006-08-15 | Jonathan Michael Cohen | Apparatus and method for estimating reflected radiance under complex distant illumination |
| DE102006047777A1 (de) * | 2006-03-17 | 2007-09-20 | Daimlerchrysler Ag | Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten |
| US9767599B2 (en) * | 2006-12-29 | 2017-09-19 | X-Rite Inc. | Surface appearance simulation |
| RU2009107143A (ru) * | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство обработки изображений и способ обработки изображений |
| DE102007054906B4 (de) * | 2007-11-15 | 2011-07-28 | Sirona Dental Systems GmbH, 64625 | Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten |
| US9098945B2 (en) * | 2009-05-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Modeling anisotropic surface reflectance with microfacet synthesis |
| US8803880B2 (en) * | 2009-08-21 | 2014-08-12 | Peking University | Image-based lighting simulation for objects |
| US20130100135A1 (en) * | 2010-07-01 | 2013-04-25 | Thomson Licensing | Method of estimating diffusion of light |
| US9473700B2 (en) | 2010-11-03 | 2016-10-18 | The Trustees Of Columbia University In The City Of New York | Camera systems and methods for gigapixel computational imaging |
| US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
| US8933990B2 (en) | 2011-08-15 | 2015-01-13 | Joshua Sophrin | Method for 3D visual mapping using 3D stereoscopic video content |
| US9163938B2 (en) * | 2012-07-20 | 2015-10-20 | Google Inc. | Systems and methods for image acquisition |
| US9117267B2 (en) | 2012-10-18 | 2015-08-25 | Google Inc. | Systems and methods for marking images for three-dimensional image generation |
| TWI512642B (zh) * | 2013-01-25 | 2015-12-11 | Delta Electronics Inc | 快速圖形比對方法 |
| JP6126437B2 (ja) | 2013-03-29 | 2017-05-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6338369B2 (ja) * | 2013-12-26 | 2018-06-06 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| EP3057067B1 (en) * | 2015-02-16 | 2017-08-23 | Thomson Licensing | Device and method for estimating a glossy part of radiation |
| CN106650634B (zh) * | 2015-04-11 | 2020-04-24 | 苏州思源科安信息技术有限公司 | 用于终端生物识别的图像镜面反射干扰检测和反馈方法 |
| US20170188010A1 (en) * | 2015-12-29 | 2017-06-29 | Canon Kabushiki Kaisha | Reconstruction of local curvature and surface shape for specular objects |
| US9996981B1 (en) * | 2016-03-07 | 2018-06-12 | Bao Tran | Augmented reality system |
| JP6650848B2 (ja) * | 2016-08-22 | 2020-02-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| CN108537841B (zh) * | 2017-03-03 | 2021-10-08 | 株式会社理光 | 一种机器人拾取的实现方法、装置及电子设备 |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| AU2019262147B2 (en) | 2018-05-02 | 2024-07-04 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
| JP7297891B2 (ja) | 2018-07-19 | 2023-06-26 | アクティブ サージカル， インコーポレイテッド | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
| WO2020210168A1 (en) | 2019-04-08 | 2020-10-15 | Activ Surgical, Inc. | Systems and methods for medical imaging |
| WO2021035094A1 (en) | 2019-08-21 | 2021-02-25 | Activ Surgical, Inc. | Systems and methods for medical imaging |
| JP2021056164A (ja) * | 2019-10-01 | 2021-04-08 | 富士ゼロックス株式会社 | 情報処理装置、発光装置、情報処理システム、及びプログラム |
| CN114322842B (zh) * | 2021-12-09 | 2023-08-18 | 中国石油大学(华东) | 一种基于改进Phong模型的高反光零件测量方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654013B1 (en) * | 2000-03-17 | 2003-11-25 | Hewlett-Packard Development Company, Lp. | Apparatus for and method of enhancing shape perception with parametric texture maps |
| US6765573B2 (en) * | 2000-10-26 | 2004-07-20 | Square Enix Co., Ltd. | Surface shading using stored texture map based on bidirectional reflectance distribution function |
| US7106325B2 (en) * | 2001-08-03 | 2006-09-12 | Hewlett-Packard Development Company, L.P. | System and method for rendering digital images having surface reflectance properties |
| US6677956B2 (en) * | 2001-08-15 | 2004-01-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for cross-fading intensities of multiple images of a scene for seamless reconstruction |
-
2002
- 2002-01-07 JP JP2002000927A patent/JP3962588B2/ja not_active Expired - Lifetime
- 2002-12-18 US US10/321,461 patent/US7200262B2/en active Active
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090590A (ja) * | 2006-10-02 | 2008-04-17 | Dainippon Printing Co Ltd | 正則画像への画像変換方法および装置 |
| JP2010526295A (ja) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | ビデオカメラとｔｖモニタを使用した３次元オブジェクトのスキャン |
| JP2010231780A (ja) * | 2009-03-27 | 2010-10-14 | Mitsubishi Electric Research Laboratories Inc | 鏡面反射物体の３ｄ姿勢を推定する方法 |
| JP2010243478A (ja) * | 2009-03-31 | 2010-10-28 | Mitsubishi Electric Research Laboratories Inc | 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置 |
| JP2015094999A (ja) * | 2013-11-08 | 2015-05-18 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2016018343A (ja) * | 2014-07-07 | 2016-02-01 | 株式会社スクウェア・エニックス | プログラム、情報処理装置、算出方法及び記録媒体 |
| JP2021182404A (ja) * | 2016-04-12 | 2021-11-25 | クイッディエント・エルエルシー | 日常シーン復元エンジン |
| JP7413321B2 (ja) | 2016-04-12 | 2024-01-15 | クイッディエント・エルエルシー | 日常シーン復元エンジン |
| US10593026B2 (en) | 2017-02-27 | 2020-03-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2018028934A (ja) * | 2017-10-20 | 2018-02-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US11176645B2 (en) | 2018-10-30 | 2021-11-16 | Canon Kabushiki Kaisha | Apparatus, method, and storage medium for converting resolution of images based on reflection charactersistics of an object |
| JP2020071613A (ja) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021072024A (ja) * | 2019-11-01 | 2021-05-06 | 凸版印刷株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
| JP7463697B2 (ja) | 2019-11-01 | 2024-04-09 | Ｔｏｐｐａｎホールディングス株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3962588B2 (ja) | 2007-08-22 |
| US7200262B2 (en) | 2007-04-03 |
| US20030128207A1 (en) | 2003-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3962588B2 (ja) | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム | |
| US11869139B2 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
| Gardner et al. | Deep parametric indoor lighting estimation | |
| US11182974B2 (en) | Method and system for representing a virtual object in a view of a real environment | |
| CN107257992B (zh) | 用于牙科3d扫描仪的纹理映射的设备和方法 | |
| Yu et al. | Inverse global illumination: Recovering reflectance models of real scenes from photographs | |
| EP3139589B1 (en) | Image processing apparatus and image processing method | |
| US6930685B1 (en) | Image processing method and apparatus | |
| Brostow et al. | Video normals from colored lights | |
| Logothetis et al. | Semi-calibrated near field photometric stereo | |
| EP3382645A2 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| Sato et al. | Reflectance analysis for 3D computer graphics model generation | |
| WO2002041249A2 (en) | Illumination based image synthesis | |
| Logothetis et al. | A cnn based approach for the point-light photometric stereo problem | |
| Angelopoulou et al. | Evaluating the effect of diffuse light on photometric stereo reconstruction | |
| JP2004252603A (ja) | 三次元データ処理方法 | |
| MacDonald | Representation of cultural objects by image sets with directional illumination | |
| Breuß et al. | Perspective Shape from Shading: An Exposition on Recent Works with New Experiments | |
| Porral et al. | Iso photographic rendering | |
| Jiddi | Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality | |
| JP7463697B2 (ja) | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム | |
| JP2003067772A (ja) | 画像処理装置及び方法 | |
| Xun et al. | Projection mapping based on BRDF reconstruction from single RGBD image | |
| Epskamp | On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR | |
| Powell et al. | Mutual illumination photometric stereo without calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3962588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |