JP2021081940A

JP2021081940A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2021081940A
Application number: JP2019208329A
Authority: JP
Inventors: 彰人今井; Akihito Imai
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2021-05-27

Abstract

【課題】測定時の幾何条件に制限されずに、物体の反射特性を再現するための処理を提供することを目的とする。【解決手段】物体の反射特性を再現した画像を表示するための情報処理装置であって、光源方向と観察方向とのいずれかを固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得する第１取得手段と、前記画像を表示する際の光源方向及び観察方向を取得する第２取得手段と、前記光源方向及び観察方向に基づいて、光源方向と観察方向とのうち、前記画像を表示する際に固定される方向が互いに異なる複数の前記画像の生成方法から１つの生成方法を選択する選択手段と、前記反射特性データに基づいて、前記１つの生成方法によって、前記画像を生成する生成手段と、を有することを特徴とする。【選択図】図８

Description

本発明は、物体の反射特性を再現するための技術に関する。

照明方向や観察（撮像）方向に応じた現実物体の反射率の変化（反射特性）を、双方向反射率分布関数ＢＲＤＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌＲｅｆｌｅｃｔａｎｃｅＤｉｓｔｒｉｂｕｔｉｏｎＦｕｎｃｔｉｏｎ）で表す方法が一般に知られている。ＢＲＤＦを利用することにより、コンピュータグラフィクス（以下、ＣＧと呼ぶ）で任意の照明条件・観察方向における自然な陰影やハイライトの再現が可能になる。特許文献１は、観察方向及び光源方向に依存する現実物体の色の変化を、表示装置上で再現する技術を開示している。

特開２０１２−１５５６２４号公報

しかしながら、撮像の位置と光源の位置とのいずれかを固定して物体の反射特性を測定した場合、測定時に固定した方の位置を変えながら反射特性の再現ができないという課題があった。

本発明は、上記課題を鑑みてなされたものであり、測定時の幾何条件に制限されずに、物体の反射特性を再現するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、物体の反射特性を再現した画像を表示するための情報処理装置であって、光源方向と観察方向とのいずれかを固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得する第１取得手段と、前記画像を表示する際の光源方向及び観察方向を取得する第２取得手段と、前記光源方向及び観察方向に基づいて、光源方向と観察方向とのうち、前記画像を表示する際に固定される方向が互いに異なる複数の前記画像の生成方法から１つの生成方法を選択する選択手段と、前記反射特性データに基づいて、前記１つの生成方法によって、前記画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、測定時の幾何条件に制限されずに、物体の反射特性を再現することができる。

情報処理装置のハードウェア構成の一例を示すブロック図表示装置の外観及び観察者の一例を示す図光源マーカーの外観の一例を示す図情報処理装置の論理構成を示すブロック図物体の反射特性を測定する方法の一例を説明するための図情報処理装置が実行する処理を示すフローチャート表示装置と観察者と光源マーカーの位置関係を示す図レンダリング方法を選択する処理を示すフローチャートレンダリング画像を生成する処理を示すフローチャート

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
＜情報処理装置のハードウェア構成＞
まず、情報処理装置のハードウェア構成について、図１を用いて説明する。情報処理装置１０１は、画像表示部１０２と、ＵＩ部１０３と、イメージセンサー１０４と、ＣＰＵ１０５と、メインメモリ１０６と、データ保存部１０７と、通信部１０８と、メインバス１０９と、を有する。

画像表示部１０２は、画像を表示するための表示部である。情報処理装置１０１は、画像表示部１０２を用いて画像を表示する表示装置として機能する。本実施形態においては、画像表示部１０２とＵＩ部１０３とは、公知のｓＲＧＢ色空間における色が再現可能なタッチパネル機能付きカラー液晶ディスプレイとして同一の部位に実装される。具体的には、画像表示部１０２である液晶ディスプレイ上にＵＩ部１０３であるタッチパネルが積層された構造をとる。尚、画像表示部１０２は情報処理装置１０１の外部にあってもよく、この場合は外部の表示装置と情報処理装置１０１とが接続される。また、ＵＩ部１０３は、各種のボタンやポインティングデバイスとして画像表示部１０２とは別の部位に実装されても良い。また、通信部１０８に接続された外部入力デバイスを使用しても良い。

イメージセンサー１０４は、画像表示部１０２と同一面上に設置された二次元イメージセンサーである。イメージセンサー１０４は、画像表示部１０２の正面側を撮像し、光源マーカーや観察者の位置を取得するために用いられる画像を取得する。本実施形態においては、ＲＧＢ各色の輝度をリアルタイムに取得可能なカラーデジタルイメージセンサーが情報処理装置１０１に内蔵されているものとする。

本実施形態における、物体の反射特性を再現するための画像処理は、汎用ＯＳ上で動作する情報処理アプリケーションにおいて実行される。尚、本実施形態における汎用ＯＳ、並びに情報処理アプリケーションは、公知の技術によって作成されるソフトウェアプログラムによって実現可能である。

データ保存部１０７に格納されている情報処理アプリケーションは、ＣＰＵ１０５からの指令により起動され、メインメモリ１０６に展開されると共に画像表示部１０２に表示される。情報処理アプリケーション内の処理に従って、データ保存部１０７や外部デバイス１１０に格納されている反射特性データが、メインバス１０９経由でメインメモリ１０６に転送される。また、情報処理アプリケーション内の処理に従って、イメージセンサー１０４により取得された画像データが、メインバス１０９経由でメインメモリ１０６に随時転送される。さらに、情報処理アプリケーションは、メインメモリ１０６上の反射特性データ及び画像データに基づいて、表示画像データを生成する。生成された表示画像データが表す表示画像はメインバス１０９経由で画像表示部１０２上に表示される。

データ保存部１０７は、データを保存するためのＨＤＤやＳＳＤである。通信部１０８は、外部デバイス１１０やネットワーク等に接続可能な通信部である。

図２は、表示装置の外観と観察者とを示した図である。上述したように、本実施形態における表示装置は、画像表示部１０２を有する情報処理装置１０１である。情報処理装置１０１は外部に、画像表示部１０２とＵＩ部１０３とイメージセンサー１０４とを備える。情報処理装置１０１は、携帯することが可能な端末であり、観察者２０１が手に把持して位置や傾き（姿勢）を変更することができる。情報処理装置１０１がスマートフォンやタブレットＰＣ等である場合、イメージセンサー１０４はインカメラである。また、観察者２０１は、手に把持した光源マーカー２０２を用いて、情報処理装置１０１に対して光源の位置を指示する。

図３は、光源マーカー２０２の外観を示した図である。光源マーカー２０２は、ユーザが把持するための柄の先に、画像認識用のパターン図形が各面に印字された立方体が取り付けられた構造となっている。

＜情報処理装置の論理構成＞
図４は、情報処理装置１０１の論理構成を示すブロック図である。情報処理装置１０１は、反射特性データ取得部４０１、基準方向取得部４０２、画像データ取得部４０３、観察位置取得部４０４、光源位置取得部４０５を有する。また、情報処理装置１０１は、観察位置判定部４０６、レンダリング方法選択部４０７、レンダリング部４０８、ＧＵＩ制御部４０９、画像出力部４１０を有する。

反射特性データ取得部４０１、データ保存部１０７や外部デバイス１１０に格納されている、対象物体の反射特性を表す反射特性データを取得する。基準方向取得部４０２は、対象物体の反射特性を測定する際の幾何条件のうち、固定条件として設定された光源方向あるいは観察方向のいずれかの方向を基準方向として取得する。画像データ取得部４０３は、イメージセンサー１０４の撮像により得られる、画像表示部１０２の正面側の画像を表す画像データを取得する。

観察位置取得部４０４は、画像データに基づいて、観察者の方向及び距離を取得する。光源位置取得部４０５は、画像データ又はＧＵＩを介したユーザからの指示に基づいて、光源マーカーの方向を取得する。レンダリング方法選択部４０７は、レンダリング画像を生成するためのレンダリング処理の方法を選択する。レンダリング部４０８は、反射特性データ、観察者の位置、光源の位置に基づいて、対象物体の色や光沢を再現したレンダリング画像を生成する。ＧＵＩ制御部４０９は、ＧＵＩを介した情報の表示及びユーザからの指示の受付を制御する。画像出力部４１０は、レンダリング画像を画像表示部１０２が表示可能な画像に変換し、ＧＵＩ情報を重畳して画像表示部１０２へ出力する。

＜対象物体の反射特性を測定する方法＞
反射特性データを生成するための、対象物体の反射特性を測定する方法を図５を用いて説明する。図５は、対象物体の反射特性を測定する装置の構造の一例を示す図である。

測定装置は、対象物体５０３を設置する部位と、対象物体５０３を半球状に取り囲む骨組み５０４と、を有する。骨組み５０４には、ＲＧＢ各色の輝度を静止画として取得可能な、単一のイメージセンサー５０１と、半球の経度・緯度方向に並んだ多数の光源５０２と、が取り付けられている。本実施形態におけるイメージセンサー５０１は、対象物体５０３に正対する位置に設置されている。各光源を順に点灯させながらイメージセンサー５０１による撮像を行うことにより、観察方向を固定し、光源方向を変化させた場合の対象物体５０３の反射特性を測定する。画素ごとに得られる反射特性情報は、骨組み５０４の半球の緯度と経度とを軸とし、各光源の位置を格子点とした二次元ルックアップテーブルの構造を有する。各格子点はＲＧＢごとの反射率を保持する。また、反射特性データは基準方向情報として、イメージセンサー５０１の位置情報を、半球上の緯度、経度、半径の形で保持する。

尚、光の逆進性から、反射特性データは、光源方向を固定し、観察方向を変化させた場合の反射特性データとして扱うこともできる。また、その逆の変換も可能である。

＜情報処理装置が実行する処理＞
図６は、情報処理装置１０１が実行する処理を示すフローチャートである。以下、図６を参照して情報処理装置１０１の処理の詳細を説明する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ６０１において、反射特性データ取得部４０１は、対象物体の反射特性を表す反射特性データを取得する。反射特性データは、各画素に複数の幾何条件に対応する反射率を保持している。Ｓ６０２において、基準方向取得部４０２は、反射特性データが保持する基準方向情報を取得する。

Ｓ６０３において、画像データ取得部４０３は、画像表示部１０２の正面側の画像を表す画像データを取得する。Ｓ６０４において、観察位置取得部４０４は、Ｓ６０３に取得された画像データに基づいて、観察位置ベクトルＯを算出する。また、光源位置取得部４０５は、画像データに基づいて、光源位置ベクトルＬを算出する。以下において、観察位置ベクトルＯと光源位置ベクトルＬとを算出する方法を説明する。

図７は、イメージセンサー１０４と画像表示部１０２、観察者２０１、光源マーカー２０２の位置関係と、観察位置ベクトルＯ及び光源位置ベクトルＬの関係を示した図である。図７において、ベクトルＰは、イメージセンサー１０４から見た画像表示部１０２の中心点の位置を示すベクトルである。ベクトルＯ_０は、イメージセンサー１０４から見た観察者２０１の位置を示すベクトルであり、ベクトルＬ_０は、イメージセンサー１０４から見た光源マーカー２０２の位置を示すベクトルである。

まず、観察位置取得部４０４は、公知の顔検出アルゴリズムを用いて画像中に存在する観察者２０１の顔及び眼の検出を行う。その後、画像上の観察者２０１の眼の位置とイメージセンサー１０４の画角とに基づいて、イメージセンサー１０４から見た観察者２０１の方向を算出する。また、検出された顔のサイズに基づいて観察者２０１までの距離を推定し、先に算出した観察者２０１の方向と併せてベクトルＯ_０を算出する。ベクトルＯ_０からベクトルＰを減算することにより、観察位置ベクトルＯを算出する。また、光源位置取得部４０５は、画像中から光源マーカー２０２に印字されたパターン図形を検出し、観察位置ベクトルＯを算出する方法と同様に光源位置ベクトルＬを算出する。

Ｓ６０５において、レンダリング方法選択部４０７は、レンダリング画像の生成に用いる幾何条件の選択を行う。レンダリング方法を選択する処理の詳細については後述する。Ｓ６０６において、レンダリング部４０８は、レンダリング画像を生成する。レンダリング画像を生成する処理の詳細については後述する。

Ｓ６０７において、ＧＵＩ制御部４０９は、ＧＵＩ用画像を生成する。ＧＵＩ用画像には、処理の終了を指示するためのボタンや、Ｓ６０５における選択の結果を表示する領域が含まれる。Ｓ６０８において、画像出力部４１０は、Ｓ６０６において生成されたレンダリング画像とＳ６０７において生成されたＧＵＩ用画像とを合成した画像を生成し、画像表示部１０２に表示する。

Ｓ６０９において、ＧＵＩ制御部４０９は、Ｓ６０３からＳ６０８の一連の処理を再度行うか終了するかを判定する。一連の処理の間にユーザから終了の指示を受け取った場合、処理を終了する。一連の処理の間にユーザから終了の指示を受け取っていない場合、処理はＳ６０３に戻る。一例として、一連の処理を秒間３０回程度の速度で反復することにより、情報処理装置１０１と観察者２０１、光源マーカー２０２の位置関係に基づく対象物体の色の変動をリアルタイムに観察者２０１に対し表示することが可能となる。

＜レンダリング方法を選択する処理＞
以下、Ｓ６０５におけるレンダリング方法を選択する処理の詳細について説明する。図８は、本実施形態におけるレンダリング方法を選択する処理を示すフローチャートである。

Ｓ８０１において、レンダリング方法選択部４０７は、ＧＵＩを介したユーザからの指示に基づいて、レンダリング方法の選択をマニュアルで行うか自動で行うかを判定する。レンダリング方法をマニュアルで選択するという指示をユーザから受け取った場合、指示されたレンダリング方法を選択してＳ６０５の処理を終了する。尚、本実施形態においては、レンダリング方法が互いに異なる、モードＡ、モードＢ、モードＣの３つのモードから１つのモードが選択される。レンダリング方法を自動で選択するという指示をユーザから受け取った場合、Ｓ８０２に進む。

Ｓ８０２において、レンダリング方法選択部４０７は、Ｓ６０４において観察位置ベクトルＯの取得に成功したか否かを判定する。観察位置ベクトルＯの取得に成功した場合、Ｓ８０３に進む。観察位置ベクトルＯの取得に失敗した場合、Ｓ８０５に進む。

Ｓ８０３は、レンダリング方法選択部４０７は、観察位置ベクトルＯにより示される観察者の位置が、画像表示部１０２から見て基準方向の近傍にいるか否かを判定する。一例としては、観察位置ベクトルＯと基準方向とのなす角度が閾値（例えば、１０度）以下である場合に、観察者が基準方向の近傍にいると判定する。尚、判定方法はこれに限定されず、例えば、画像表示部１０２の形状を底面とし、基準方向に延びる柱状の領域内に観察者２０１がいるか否かを判定しても良い。あるいは、画像表示部１０２から観察者２０１までの距離と、反射特性の測定時の対象物体５０３からイメージセンサー５０１までの距離との比較結果を判定基準に加えても良い。

レンダリング方法選択部４０７は、観察者２０１が基準方向の近傍にいないと判定した場合、モードＡを選択する。モードＡは、レンダリング時の観察方向を観察位置ベクトルＯの方向に設定し、光源方向を基準方向に設定するモードである。観察者２０１が基準方向の近傍にいると判定した場合、Ｓ８０４に進む。

Ｓ８０４は、レンダリング方法選択部４０７は、Ｓ６０４において光源位置ベクトルＬの取得に成功したか否かを判定する。光源位置ベクトルＬの取得に成功した場合、モードＢを選択する。モードＢは、レンダリング時の観察方向を基準方向に設定し、光源方向を光源位置ベクトルＬの方向に設定するモードである。光源位置ベクトルＬの取得に失敗した場合、モードＡを選択する。

Ｓ８０５において、レンダリング方法選択部４０７は、Ｓ６０４において光源位置ベクトルＬの取得に成功したか否かを判定する。光源位置ベクトルＬの取得に成功した場合、モードＢを選択する。光源位置ベクトルＬの取得に失敗した場合、モードＣを選択する。モードＣは、観察者の位置も光源の位置も取得できていない場合の例外的な処理を行うモードであり、本実施形態においては、レンダリング時の観察方向を基準方向に設定し、光源方向を予め決定された方向に設定するモードである。尚、本実施形態とは逆に、観察方向を予め決定された方向に設定し、光源方向を基準方向に設定しても良い。

＜レンダリング画像を生成する処理＞
以下、Ｓ６０６におけるレンダリング画像を生成する処理の詳細について説明する。図９は、本実施形態におけるレンダリング画像を生成する処理を示すフローチャートである。

Ｓ９０１において、レンダリング部４０８は、光源のＲＧＢの輝度値を取得する。具体的には、ユーザがＧＵＩ上で光源の色を複数の候補から選択し、選択に応じたＲＧＢの輝度値データを予め設定されたテーブルから取得する。尚、輝度値に固定の値を使用したり、イメージセンサー１０４から取得した画像の画素値の平均値などに基づいて輝度値を決定したりしても良い。

Ｓ９０２において、レンダリング部４０８は、反射特性データの全ての画素について処理が完了するまで、Ｓ９０３からＳ９０６の処理を反復して実行するループ制御を行う。

Ｓ９０３は、レンダリング部４０８は、Ｓ６０５における選択結果として、観察方向が基準方向となるモードが選択されたか否かを判定する。モードＢ又はモードＣが選択された場合はＳ９０４に進み、モードＡが選択された場合はＳ９０５に進む。Ｓ９０４において、レンダリング部４０８は、光源位置ベクトルＬに基づいて設定された光源方向に基づいて、注目画素の反射率を取得する。具体的には、光源方向の緯度と経度とを算出し、反射特性データの注目画素の二次元ルックアップテーブルから、補間処理によりＲＧＢの反射率を算出する。

Ｓ９０５において、レンダリング部４０８は、観察位置ベクトルＯに基づいて設定された観察方向に基づいて、注目画素の反射率を取得する。ここでは光の逆進性に基づいて、反射特性データの反射特性を、光源方向を固定し、観察方向を変化させて測定されたものとみなして使用する。具体的には、観察方向の緯度と経度とを算出し、反射特性データの注目画素の二次元ルックアップテーブルから、補間処理によりＲＧＢの反射率を算出する。Ｓ９０６において、レンダリング部４０８は、Ｓ９０１において取得した光源の輝度、Ｓ９０５において取得した反射率、光源方向に基づいて、注目画素のＲＧＢの反射輝度値を算出する。具体的には、レンダリング部４０８は、光源方向と画像表示部１０２の法線とのなす角度に基づいて、注目画素における光源からの照度を算出する。照度と反射率とを積算することにより、注目画素の反射輝度値を算出する。尚、反射特性データに利用可能な三次元形状データや法線分布データが含まれている場合は、照度の算出において、画像表示部１０２の法線の代わりに、注目画素に対応する対象物体の法線方向を利用しても良い。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、光源方向と観察方向とのいずれかを固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得する。画像を表示する際の光源方向及び観察方向を取得する。取得した光源方向及び観察方向に基づいて、光源方向と観察方向とのうち、画像を表示する際に固定される方向が互いに異なる複数の画像の生成方法から１つの生成方法を選択する。反射特性データに基づいて、選択した１つの生成方法によって、画像を生成する。これにより、測定時の幾何条件に制限されずに、物体の反射特性を再現することができる。つまり、観察位置あるいは光源位置のいずれかを固定して対象物体の反射特性を測定した場合であっても、ユーザは、観察位置と光源位置との両方を変化させながら対象物体の反射特性を観察することが可能となる。

＜変形例＞
第１実施形態においては、図５に示した測定装置を用いて反射特性の測定を行ったが、固定された多数の光源の代わりに、ロボットアーム等に取り付けた光源を移動させつつ撮像を行っても良い。また、図５においては対象物体５０３の直上、緯度が９０度となる位置にイメージセンサー５０１が取り付けられているが、イメージセンサー５０１の位置は対象物体５０３を撮像できれば他の位置であってもよい。

また、図５におけるイメージセンサー５０１の位置に光源を置き、光源５０２の各位置にイメージセンサーを置いた測定装置を用いて、光源方向を固定し、観察方向を変化させた場合の反射特性を測定しても良い。この場合、反射特性データは基準方向情報として、イメージセンサー５０１の位置に取り付けられた単一の光源の位置情報を保持する。また、また、上述したように、ロボットアーム等にイメージセンサーを取りつけて移動させても良い。

第１実施形態においては、観察位置ベクトルＯの取得を顔検出により行ったが、観察者が装着したマーカーを検出しても良い。また、観察者や光源マーカーまでの距離を、公知のコントラスト検出方式や、複数のイメージセンサーによるステレオ方式、別途用意された距離センサ等を用いる方式によって取得しても良い。あるいは、情報処理装置１０１とは独立した装置により、情報処理装置１０１、観察者２０１、光源マーカー２０２の位置関係を取得しても良い。

第１実施形態においては、観察者の位置も光源の位置も取得できていない場合の例外的な処理を行うモードとしてモードＣが選択可能であった。観察者２０１と光源マーカー２０２との少なくとも一方がイメージセンサー１０４の撮像範囲に含まれることを前提とし、モードＣの選択ではなくエラー通知を行っても良い。エラー通知としては、観察者２０１の顔や光源マーカー２０２のパターン図形が検出できない旨の通知を行えば良い。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１情報処理装置
４０１反射特性データ取得部
４０４観察位置取得部
４０５光源位置取得部
４０７レンダリング方法選択部
４０８レンダリング部

Claims

物体の反射特性を再現した画像を表示するための情報処理装置であって、
光源方向と観察方向とのいずれかを固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得する第１取得手段と、
前記画像を表示する際の光源方向及び観察方向を取得する第２取得手段と、
前記光源方向及び観察方向に基づいて、光源方向と観察方向とのうち、前記画像を表示する際に固定される方向が互いに異なる複数の前記画像の生成方法から１つの生成方法を選択する選択手段と、
前記反射特性データに基づいて、前記１つの生成方法によって、前記画像を生成する生成手段と、
を有することを特徴とする情報処理装置。
前記第２取得手段は、前記画像を観察する観察者と光源に対応するマーカーとの少なくとも一方を撮像して得られる画像データに基づいて、前記光源方向及び前記観察方向を取得することを特徴とする請求項１に記載の情報処理装置。
光源方向と観察方向とのうち、前記物体の反射特性を測定する際に固定された方向を基準方向として取得する第３取得手段をさらに有することを特徴とする請求項１又は請求項２に記載の情報処理装置。
前記選択手段は、前記第２取得手段が前記光源方向を取得できない場合、前記基準方向を光源方向とし、前記第２取得手段が取得した観察方向を観察方向とした画像を生成する方法を選択することを特徴とする請求項３に記載の情報処理装置。
前記選択手段は、前記第２取得手段が取得した前記観察方向が前記基準方向の近傍でない場合、前記基準方向を光源方向とし、前記第２取得手段が取得した観察方向を観察方向とした画像を生成する方法を選択することを特徴とする請求項３又は請求項４に記載の情報処理装置。
前記選択手段は、前記第２取得手段が取得した前記観察方向が前記基準方向の近傍であり、かつ、前記第２取得手段が前記光源方向を取得できる場合、前記基準方向を観察方向とし、前記第２取得手段が取得した光源方向を光源方向とした画像を生成する方法を選択することを特徴とする請求項３乃至請求項５のいずれか一項に記載の情報処理装置。
物体の反射特性を再現した画像を表示するための情報処理装置であって、
光源方向と観察方向とのいずれかを基準方向として固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得する第１取得手段と、
前記画像を表示する際の光源方向及び観察方向を取得する第２取得手段と、
前記光源方向及び観察方向に基づいて、光源方向を前記基準方向に固定した前記画像の生成方法と、観察方向を前記基準方向に固定した前記画像の生成方法と、のいずれかを選択する選択手段と、
前記反射特性データに基づいて、前記選択された生成方法によって、前記画像を生成する生成手段と、
を有することを特徴とする情報処理装置。
物体の反射特性を再現した画像を表示する表示装置であって、
前記画像を観察する観察者と前記観察者が把持するマーカーとの少なくともの一方を撮像する撮像手段と、
前記撮像手段の撮像によって得られた画像データに基づいて、光源方向を固定した第１画像と、観察方向を固定した第２画像と、を切り替えて表示する表示手段と、
を有することを特徴とする表示装置。
前記表示手段は、前記観察者及び前記マーカーが前記撮像手段の撮像範囲に含まれ、かつ、前記観察者が前記表示手段に正対する方向の近傍にいる場合、前記第２画像を表示することを特徴とする請求項８に記載の表示装置。
前記表示手段は、前記観察者が前記撮像手段の撮像範囲に含まれ、かつ、前記観察者が前記表示手段に正対する方向の近傍にいない場合、前記第１画像を表示することを特徴とする請求項８又は請求項９に記載の表示装置。
前記表示手段は、前記観察者が前記撮像手段の撮像範囲に含まれておらず、かつ、前記マーカーが前記撮像手段の撮像範囲に含まれている場合、前記第２画像を表示することを特徴とする請求項８乃至請求項１０のいずれか一項に記載の表示装置。
前記撮像手段は、前記表示手段と同じ面に設置されたインカメラであることを特徴とする請求項８乃至請求項１１のいずれか一項に記載の表示装置。
コンピュータを請求項１乃至請求項７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
物体の反射特性を再現した画像を表示するための情報処理方法であって、
光源方向と観察方向とのいずれかを固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得するステップと、
前記画像を表示する際の光源方向及び観察方向を取得するステップと、
前記光源方向及び観察方向に基づいて、光源方向と観察方向とのうち、前記画像を表示する際に固定される方向が互いに異なる複数の前記画像の生成方法から１つの生成方法を選択するステップと、
前記反射特性データに基づいて、前記１つの生成方法によって、前記画像を生成するステップと、
を有することを特徴とする情報処理方法。
物体の反射特性を再現した画像を表示するための情報処理方法であって、
光源方向と観察方向とのいずれかを基準方向として固定した複数の幾何条件において物体の反射特性を測定することにより得られた反射特性データを取得するステップと、
前記画像を表示する際の光源方向及び観察方向を取得するステップと、
前記光源方向及び観察方向に基づいて、光源方向を前記基準方向に固定した前記画像の生成方法と、観察方向を前記基準方向に固定した前記画像の生成方法と、のいずれかを選択するステップと、
前記反射特性データに基づいて、前記選択された生成方法によって、前記画像を生成するステップと、
を有することを特徴とする情報処理方法。
物体の反射特性を再現した画像を表示する表示方法であって、
前記画像を観察する観察者と前記観察者が把持するマーカーとの少なくともの一方を撮像する撮像ステップと、
前記撮像ステップにおける撮像によって得られた画像データに基づいて、光源方向を固定した第１画像と、観察方向を固定した第２画像と、を切り替えて表示する表示ステップと、
を有することを特徴とする表示方法。