JP2020004085A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 発色する層の上に光の透過率が高い層を有する構造の物体について、当該物体の表面の高さを取得するための画像処理を提供することを目的とする。【解決手段】 発色する層の上に光の透過率が高い層を有する構造の物体について、前記物体の表面の高さを表すデータを生成する画像処理装置であって、複数の画像データと、撮像に関するパラメータと、を取得する取得手段と、前記複数の画像データに基づいて、鏡面反射データと、拡散反射データと、を生成する第１生成手段と、前記拡散反射データに基づいて、前記発色する層の高さを表す第１高さデータを生成する第２生成手段と、前記パラメータと前記鏡面反射データと前記第１高さデータとに基づいて、前記光の透過率が高い層の高さを表す第２高さデータを生成する第３生成手段と、を有することを特徴とする画像処理装置。【選択図】 図３

Description

本発明は、物体の形状を取得するための画像処理技術に関する。

近年、物体を撮像することによって得られた画像を基に物体の形状を取得する試みが行われている。特許文献１は、物体の領域ごとに、照度差ステレオ法を用いた物体の法線分布の推定と、偏光情報を用いた法線分布の推定と、のどちらかの方法を選択する技術を開示している。

特開２０１６−１３３３９６号公報

形状を取得する対象の物体が、発色する層の上に光の透過率が高い層を有する構造の物体である場合がある。この場合、特許文献１における照度差ステレオ法のような拡散反射光を利用する形状の取得方法においては、光の透過率が高い層の表面の高さを取得することができないという課題があった。

本発明は、上記課題に鑑みてなされたものであり、発色する層の上に光の透過率が高い層を有する構造の物体について、当該物体の表面の高さを取得するための画像処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、発色する層の上に光の透過率が高い層を有する構造の物体について、前記物体の表面の高さを表すデータを生成する画像処理装置であって、光源からの光が照射された前記物体を、複数の幾何条件において撮像することによって得られた複数の画像データと、前記複数の幾何条件それぞれを決めるためのパラメータと、を取得する取得手段と、前記複数の画像データに基づいて、前記光源からの光のうち前記物体において鏡面反射した鏡面反射光の反射特性を表す鏡面反射データと、前記光源からの光のうち前記物体において拡散反射した拡散反射光の反射特性を表す拡散反射データと、を生成する第１生成手段と、前記拡散反射データに基づいて、前記発色する層の高さを表す第１高さデータを生成する第２生成手段と、前記パラメータと前記鏡面反射データと前記第１高さデータとに基づいて、前記発色する層の高さを基に算出される、前記光の透過率が高い層の高さを表す第２高さデータを生成する第３生成手段と、を有することを特徴とする。

本発明によれば、発色する層の上に光の透過率が高い層を有する構造の物体について、当該物体の表面の高さを取得することができる。

形状取得システムの構成の一例を示す図 画像処理装置の論理構成の一例を示す図 偏光フィルタを用いた場合の撮像の様子について説明するための図 光の照射及び受光の幾何条件を説明するための図 画像処理装置が実行する処理のフローチャート

以下、本発明の実施の形態を図面を参照して詳細に説明する。尚、以下の実施の形態は本発明の特許請求の範囲を限定するものではなく、また以下の実施の形態で説明されている特徴の組み合わせの全てが本発明を構成する上で必須のものとは限らない。

［第１実施形態］
＜形状取得システムの構成＞
図１は、本実施形態に係る形状取得システムの構成の一例を示す図である。形状取得システムは、多視点撮像システム１０１と、画像処理装置１０２と、を有する。多視点撮像システム１０１は、光源１０４と、撮像装置１０５と、可動ステージ１０６と、を有する。本実施形態における光源１０４はプロジェクタである。また、本実施形態における撮像装置１０５はカラーデジタルカメラである。撮像装置１０５は、可動ステージ１０６により撮像位置を移動しながら、光源１０４からの光が当てられている物体１０３を複数回撮像する。この複数回の撮像によって、複数の画像データが得られる。撮像装置１０５は、各画素にＲ、Ｇ、Ｂの３つのチャンネルを有する画像データを生成する。本実施形態においては、画像データの画素値として、１６ビットで表されるＲ値、Ｇ値、Ｂ値が各チャンネルに記録されているが、画素値を表すためのビット数は１６に限らず、８ビットなどで表される画素値であっても良い。また、光源１０４及び撮像装置１０５には、可動式の偏光フィルタが取り付けられており、物体１０３からの拡散反射光と鏡面反射光とを含む光を撮像するモードと、拡散反射光のみを撮像するモードと、の切り替えが可能である。

物体１０３は、発色する層（以下、発色層と呼ぶ）の上に光の透過率が高い層（以下、透明層と呼ぶ）を有する構造の物体である。本実施形態における物体１０３は、平面に近い形状の油彩画であり、発色層は有色色材を用いて形成された層であり、透明層はニス（透明記録材）を用いて形成された層である。可動ステージ１０６は、図１に示すＸ軸、Ｙ軸、Ｚ軸を軸とする３次元空間において、ＸＹ平面を移動可能なステージである。光源１０４と撮像装置１０５とは、可動ステージ１０６に固定されており、互いの相対位置を保ったまま、物体１０３と概ね平行な面上を移動する。物体１０３は、ＸＹ平面に凡そ平行に設置されており、測定対象となる面が可動ステージ１０６側に向いている。光源１０４は、物体１０３に正対する向きで設置されている。撮像装置１０５は、物体１０３における光源１０４からの光が照射された領域を撮像するため、やや光源１０４側に傾いた向きで設置されている。

尚、物体１０３の形状や多視点撮像システム１０１の構成は上記一例に限定されない。物体１０３は平面でなくてもよく、例えば球体のような３次元形状であっても良い。この場合は、物体１０３の全面を撮像するために、可動ステージ１０６の代わりとして、３次元空間における全ての方向に移動可能なロボットアームを用いても良い。あるいは、撮像装置１０５を固定し、物体１０３を回転台の上に乗せて回転させることによって、物体１０３の全面を撮像しても良い。また、撮像装置１０５と物体１０３との両方が動く形態であっても良い。更には、複数の光源や複数の撮像装置を使用することによって、幾何条件が異なる複数回の撮像を行っても良い。また、光源１０４が単一の点光源であると近似できるような照明条件において撮像できれば、光源１０４はプロジェクタに限らず、ＬＥＤの点光源などであっても良い。

画像処理装置１０２は、例えばコンピュータであり、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９を備える。ＣＰＵ１０７は、ＲＡＭ１０９をワークメモリとして、ＲＯＭ１０８、ＨＤＤ（ハードディスクドライブ）１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０７は、システムバス１１１を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０８やＨＤＤ１１０などに格納されたプログラムコードがＲＡＭ１０９に展開され、ＣＰＵ１０７によって実行される。汎用Ｉ／Ｆ（インターフェース）１１２には、シリアルバスを介して、マウスやキーボードなどの入力デバイス１１３や多視点撮像システム１０１が接続される。画像処理装置１０２は、シリアルバスを介して、光源１０４、撮像装置１０５及び可動ステージ１０６と接続されているため、照明条件、撮像、視点位置等の制御が可能である。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１４には、シリアルバスを介して、ＨＤＤ１１０や各種記録メディアの読み書きを行う汎用ドライブ１１５が接続される。ＣＰＵ１０７は、ＨＤＤ１１０や汎用ドライブ１１５にマウントされた各種記録メディアを各種データの格納場所として使用する。ビデオＩ／Ｆ１１６には、ディスプレイ１１７が接続される。ＣＰＵ１０７は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１１７に表示し、入力デバイス１１３を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置１０２の論理構成＞
以下、画像処理装置１０２の論理構成について説明する。以下に示す各部の処理は、ＣＰＵ１０７がＲＯＭ１０８等からＲＡＭ１０９上に読み込んだコンピュータプログラムを実行することによって、ソフトウェアとして実施される。図２は、画像処理装置１０２の論理構成を示すブロック図である。画像処理装置１０２は、画像データ取得部２０１と、生成部２０２と、界面高さ決定部２０３と、算出部２０４と、表面法線決定部２０５と、表面高さ決定部２０６と、出力部２０７と、を有する。

画像データ取得部２０１は、撮像により撮像装置１０５が生成した複数の画像データと、各画像データを得るための各撮像に対応する撮像パラメータと、を取得する。撮像パラメータは、光源１０４の位置及び向きと、撮像装置１０５の位置及び向きと、撮像における撮像装置１０５の内部パラメータと、偏光フィルタの状態と、である。内部パラメータは、撮像装置１０５が有するレンズの焦点距離と、主点位置と、レンズ等に起因する画像の歪曲パラメータと、である。本実施形態における画像データ取得部２０１は、多視点撮像システム１０１の各部を駆動させることによって撮像を行い、画像データを取得する。尚、画像データ取得部２０１は、予めＨＤＤ１１０などに保存しておいた画像データ及び撮像パラメータを取得しても良い。

以下において、多視点撮像システム１０１を用いた撮像により複数の画像データを生成する方法を説明する。まず、物体１０３に対して、光源１０４及び撮像装置１０５を、所定の位置及び向きに固定する。また、光源１０４から物体１０３への入射光及びその入射光に対する反射光を含む面（以下、入射面と呼ぶ）に垂直な方向に偏光方向が一致するように、光源１０４の前に直線偏光フィルタＡを配置する。具体的に、本実施形態においては、光源１０４と撮像装置１０５とが同じＸＺ平面（入射面）上に設置されており、直線偏光フィルタＡは、Ｙ軸方向の偏光が通過するように設置されている。一般的に、入射面に対して平行な方向にのみ振動する偏光（ｐ偏光）は、光の入射角が所定の値に近づくにつれて反射率が０に近づいてしまうため、ここでは、入射面に対して垂直な方向にのみ振動する偏光（ｓ偏光）を用いる。さらに、撮像装置１０５の前に直線偏光フィルタＢを配置し、直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と平行とした場合と、直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と垂直とした場合と、でそれぞれ撮像を行う。直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と平行とすることを偏光パラレルと呼び、偏光パラレルの場合の撮像によって得られた画像データを偏光パラレル画像データと呼ぶ。直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と垂直とすることを偏光クロスと呼び、偏光クロスの場合の撮像によって得られた画像データを偏光クロス画像データと呼ぶ。以上により、光源１０４及び撮像装置１０５の位置及び向きによって決まる所定の幾何条件において、偏光パラレル画像データと偏光クロス画像データとを生成することができる。さらに、多視点撮像システム１０１は、可動ステージ１０６を移動させることによって、物体１０３の各位置に対する幾何条件を変えながら複数回撮像を行う。これにより、各幾何条件において、偏光パラレル画像データと偏光クロス画像データとを生成することができる。画像データ取得部２０１は、複数の幾何条件における偏光パラレル画像データ及び偏光クロス画像データを取得する。

次に、偏光フィルタを用いた場合の撮像の様子について図３を用いて説明する。図３は、表面に透明層を有する物体１０３における、拡散反射光及び鏡面反射光の様子を模式的に示す図である。表面３０１は透明層の表面であり、界面３０２は透明層と発色層との界面である。

図３（ａ）は、撮像装置１０５のある画素に入射する鏡面反射光の様子を示している。光源１０４から出射した光は、透明層の表面における反射点３０３において、直線偏光を保ったまま撮像装置１０５へ鏡面反射する。鏡面反射光の輝度をＩ_ｓ、直線偏光フィルタＢの透過率をｔとした場合、偏光パラレルの条件においては、鏡面反射光は直線偏光フィルタＢを通過して、輝度ｔＩ_ｓで撮像装置１０５において該当する画素へ入射する。一方、偏光クロスの条件においては、鏡面反射光は遮断されるため、輝度は０となる。

図３（ｂ）は、図３（ａ）の場合と同じ撮像装置１０５の画素に入射する拡散反射光の様子を示している。光源１０４から出射した光は、撮像装置１０５と反射点３０３とを結ぶ線分の延長線上にあり、透明層と発色層との界面に位置する反射点３０４近傍の発色層内で拡散反射する。拡散反射光は、偏光ではない光として、撮像装置１０５の方向へ向かう。拡散反射光は偏光ではないため、直線偏光フィルタＢにおいて、直線偏光フィルタＢの方向に関わらず半分が遮断され、輝度ｔＩ_ｄ／２で撮像装置１０５において該当する画素へ入射する。

偏光パラレル画像データが表す偏光パラレル画像の各画素の各チャンネルにおける輝度値（画素値）をＩ_ｐ、偏光クロス画像データが表す偏光クロス画像の各画素の各チャンネルにおける輝度値（画素値）をＩ_ｃとする。拡散反射光の輝度をＩ_ｄ、鏡面反射光の輝度をＩ_ｓ、直線偏光フィルタＢの透過率をｔとした場合、以下の式（１）及び式（２）が成り立つ。

生成部２０２は、画像データ取得部２０１が取得した画像データに基づいて、各幾何条件における鏡面反射画像データと拡散反射画像データとを生成する。鏡面反射画像データが表す鏡面反射画像の画素値は、式（１）及び式（２）に基づいて算出される鏡面反射光の輝度である。また、拡散反射画像データが表す拡散反射画像の画素値は、式（１）及び式（２）に基づいて算出される拡散反射光の輝度である。本実施形態においては、幾何条件の変化に対する鏡面反射光の輝度及び拡散反射光の輝度の相対的な変化量を利用するため、直線偏光フィルタＢの透過率ｔの影響は無視して良い。従って、生成部２０２は、偏光パラレル画像及び偏光クロス画像の各画素の各チャンネルについて、式（３）及び式（４）に基づいて、相対的な鏡面反射光の輝度Ｉ’_ｓ及び相対的な拡散反射光の輝度Ｉ’_ｄを算出する。

Ｉ’_ｄ＝ｔＩ_ｄ＝２Ｉ_ｃ・・・式（３）
Ｉ’_ｓ＝ｔＩ_ｓ＝Ｉ_ｐ−Ｉ_ｃ・・・式（４）
生成部２０２は、相対的な鏡面反射光の輝度Ｉ’_ｓを鏡面反射画像の画素値として、鏡面反射画像データを生成し、相対的な拡散反射光の輝度Ｉ’_ｄを拡散反射画像の画素値として、拡散反射画像データを生成する。

界面高さ決定部２０３は、各幾何条件の拡散反射画像データに基づいて、公知の多視点ステレオ法により物体１０３における透明層と発色層との界面の高さを決定する。本実施形態における多視点ステレオ法においては、物体１０３における拡散反射光の色情報に基づいた視点間のブロックマッチングによって、物体１０３の形状を表す点群データを生成する。生成した点群データの点群を平面に近似し、所定の解像度で近似平面の高さ分布を表す界面高さデータを生成する。

算出部２０４は、各幾何条件の鏡面反射画像の各画素について、物体１０３における鏡面反射光の反射点の座標と、撮像パラメータと、に基づいて、反射点から光源１０４及び撮像装置１０５への方向を表すベクトルを算出する。また、算出部２０４は、反射点から光源１０４への方向を表す光源方向ベクトルと反射点から撮像装置１０５への方向を表す撮像装置方向ベクトルとの中間の方向を表す中間ベクトルを算出する。また、算出部２０４は、反射点の座標と、物体１０３の表面における法線の方向を表す法線ベクトルと、に基づいて、法線ベクトルと光源方向ベクトルとが為す角度θと、法線ベクトルと中間ベクトルとが為す角度ρと、を算出する。図４は、物体１０３上のある反射点における光源方向ベクトル、撮像装置方向ベクトル、法線ベクトル、中間ベクトル、θ、ρの関係を示す図である。

表面法線決定部２０５は、各幾何条件における鏡面反射画像データに基づいて、物体１０３上の反射点の法線方向及び反射特性（ＢＲＤＦ）を決定する。具体的には、角度ρを横軸とし、縦軸を反射率としたグラフに、各幾何条件における注目画素の鏡面反射光の反射率をプロットし、プロットされた点群をガウス関数で近似することによって、反射特性をモデル化する。尚、Ｒ、Ｇ、Ｂ各チャンネルに対応するガウス関数の半値幅は同一とする。また、鏡面反射光の各チャンネルの反射率は、鏡面反射画像の輝度Ｉ’_ｓを光源１０４から照射される光の各チャンネルの輝度で除算することによって算出する。表面法線決定部２０５は、注目画素の各チャンネルのガウス関数における最大反射率、半値幅、法線ベクトルをパラメータとし、各鏡面反射画像の反射率とモデルから算出される反射率との誤差が最小となるようにパラメータの最適化を行う。本実施形態における最適化処理には公知のニュートン法を用いるが、公知のレーベンバーグ・マルカート法などの他の方法を用いても良い。

表面高さ決定部２０６は、界面高さデータと、表面法線決定部２０５の最適化処理により決まる透明層の法線分布を表す表面法線データと、に基づいて、透明層表面の高さ分布を表す表面高さデータを生成する。まず、界面高さデータが表す高さ分布を初期値とし、界面の高さ分布を微分して算出される法線分布と、表面法線データが表す透明層表面の法線分布と、の誤差が小さくなるように、界面高さデータにおける各画素の高さをパラメータとした最適化処理を行う。本実施形態における最適化処理においては、各画素の法線方向の誤差に基づいて着目画素及び近傍画素の高さを増減させる処理を全ての画素に対して順次行い、この処理を高さ分布の変動が十分小さくなるまで繰り返す。次に、最適化処理後の界面高さデータにおける画素のうち、所定の割合の画素の高さが、最適化処理前の界面高さデータにおいて対応する画素の高さより大きくなるように、最適化後の界面高さデータにおける各画素に共通の値を加算する。この加算処理後の界面高さデータを表面高さデータとする。尚、この加算処理は、発色層の形状や透明層の法線分布の誤差に基づく外れ値を除外するための処理である。所定の割合は発色層の形状や透明層の法線分布の取得精度に応じて設定するが、１００％に近い値が望ましい。尚、表面高さデータにおいて、共通の値を加算後も界面の高さ分布より高さが小さい画素については、画素値を界面の高さ分布の値で上書きする。以上の処理により、全ての画素の高さが透明層と発色層との界面と同じか大きく、所望の法線分布を有する表面高さデータを得ることができる。

出力部２０７は、界面高さ決定部２０３が生成した界面高さデータと、表面高さ決定部２０６が生成した表面高さデータと、を所定のフォーマットに変換し、ＨＤＤ１１０に保存する。

＜画像処理装置１０２が実行する処理＞
以下、画像処理装置１０２が実行する処理について詳細に説明する。図５は、画像処理装置１０２が実行する処理のフローチャートである。

Ｓ５０１において、画像データ取得部２０１は、複数の画像データと、各画像データを得るための各撮像に対応する撮像パラメータと、を取得する。ここで取得する複数の画像データは、上述したように、複数の幾何条件における偏光パラレル画像データ及び偏光クロス画像データである。尚、幾何条件の数は、上述した最適化処理によって各パラメータを算出するために十分な数とする。

Ｓ５０２において、生成部２０２は、Ｓ５０１において取得された複数の画像データに基づいて、各幾何条件における鏡面反射画像データと拡散反射画像データとを生成する。

Ｓ５０３において、界面高さ決定部２０３は、透明層と発色層との界面の形状を推定し、透明層と発色層との界面の高さ分布を表す界面高さデータを生成する。

Ｓ５０４において、算出部２０４は、物体１０３における鏡面反射光の反射点の座標と、撮像パラメータと、に基づいて、光源方向ベクトル、撮像装置方向ベクトル、中間ベクトル、角度θ、角度ρを算出する。尚、物体１０３の透明層の厚みが光源１０４や撮像装置１０５から物体１０３までの距離と比べて十分に小さいと仮定し、幾何条件を算出する初回の処理を行う場合は、透明層と発色層との界面の高さを透明層表面の高さの近似値として用いる。つまり、Ｓ５０４の初回の処理においては、物体１０３における鏡面反射光の反射点の座標を、界面高さデータの座標とする。２回目以降の処理においては、前回のＳ５０６の処理によって得られる表面高さデータの座標とする。また、角度θ、角度ρの算出に用いる法線ベクトルには、初回の処理においては、界面高さデータが表す高さ分布を微分することによって得られる法線ベクトルを用いる。２回目以降の処理においては、前回のＳ５０５において生成された表面法線データの法線ベクトルを用いる。

Ｓ５０５において、表面法線決定部２０５は、各幾何条件における鏡面反射画像データに基づいて、物体１０３上の反射点の法線方向及び反射特性（ＢＲＤＦ）を決定する。具体的に、表面法線決定部２０５は、上述した最適化処理によって各パラメータを算出し、透明層の法線分布を表す表面法線データと、透明層の反射特性を表す反射特性データと、を生成する。ここで、反射特性データは、最適化処理によって決まるガウス関数における最大反射率、半値幅が各画素に記録されたデータである。

Ｓ５０６において、表面高さ決定部２０６は、Ｓ５０３において生成された界面高さデータと、Ｓ５０５において生成された表面法線データと、に基づいて、透明層表面の高さ分布を表す表面高さデータを生成する。

Ｓ５０７において、表面高さ決定部２０６は、最後にＳ５０６において生成した表面高さデータが表す高さ分布と、その前の回のＳ５０６において生成した表面高さデータが表す高さ分布と、の差分が閾値以下となった場合、処理をＳ５０８に進める。差分が閾値より大きい場合、処理をＳ５０４に戻す。尚、Ｓ５０７の初回の処理においては、Ｓ５０６において生成した表面高さデータが表す高さ分布と、界面高さデータが表す高さ分布と、の差分と閾値とを比較して、Ｓ５０４〜Ｓ５０６の処理を継続するか否かを判定する。

Ｓ５０８において、出力部２０７は、Ｓ５０３において生成された界面高さデータと、最後にＳ５０６において生成された表面高さデータと、を所定のフォーマットに変換し、ＨＤＤ１１０に保存する。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、発色する層の上に光の透過率が高い層を有する構造の物体について、前記物体の表面の高さを表すデータを生成する装置である。本実施形態における画像処理装置は、光源からの光が照射された物体を、複数の幾何条件において撮像することによって得られた複数の画像データと、複数の幾何条件それぞれを決めるためのパラメータと、を取得する。複数の画像データに基づいて、光源からの光のうち物体において鏡面反射した鏡面反射光の反射特性を表す鏡面反射データと、光源からの光のうち物体において拡散反射した拡散反射光の反射特性を表す拡散反射データと、を生成する。拡散反射データに基づいて、発色する層の高さを表す第１高さデータを生成する。撮像に関するパラメータと鏡面反射データと第１高さデータとに基づいて、発色する層の高さを基に算出される、光の透過率が高い層の高さを表す第２高さデータを生成する。これにより、発色する層の上に光の透過率が高い層を有する構造の物体について、当該物体の表面の高さを取得することができる。

＜変形例＞
本実施形態においては、偏光パラレルの条件において直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と平行とし、偏光パラレルの条件において直線偏光フィルタＢの偏光方向を直線偏光フィルタＡの偏光方向と垂直とした。しかし、偏光方向を完全に平行又は垂直にする必要はない。直線偏光フィルタＢの偏光方向が直線偏光フィルタＡの偏光方向と平行に近くなるにつれて、撮像によって得られる画像の輝度が大きくなる。また、直線偏光フィルタＢの偏光方向が直線偏光フィルタＡの偏光方向と垂直に近くなるにつれて、撮像によって得られる画像の輝度が小さくなる。これを利用し、直線偏光フィルタＢの偏光方向を変えつつ多数の撮像を行い、最大輝度や平均輝度などが最大となる画像を偏光パラレル画像とし、最大輝度や平均輝度などが最小となる画像を偏光クロス画像としても良い。また、複数の画像から画素単位で最大輝度及び最小輝度を取得することによって、偏光パラレル画像データと偏光クロス画像データとを生成しても良い。また、偏光パラレル画像と偏光クロス画像との輝度差が大きい場合、両撮像の露出時間に差をつけるなどの方法によって画素値の飽和を抑制しても良い。この場合、各画像の輝度には、画素値を露出時間で除算するなどして、等しい露出時間に対する値を使用するものとする。

本実施形態においては、偏光フィルタを利用して物体１０３における反射光を鏡面反射光と拡散反射光とに分離したが、反射光の分離方法は上記一例に限定されない。例えば、拡散反射光は観察角度に依らず一定の反射率であることを考慮し、複数の幾何条件において物体１０３上の同一位置を撮像して得られた画像データが表す画像において、対応する画素の画素値のうち最も低い輝度を拡散反射光の輝度とする。鏡面反射光の輝度は、対応する画素の画素値のうち最も高い輝度から拡散反射光の輝度を減算することによって算出することができる。これにより、偏光フィルタを利用せずに鏡面反射画像データ及び拡散反射画像データを生成することができる。また、幾何条件に対する反射率の分布がガウス関数（鏡面反射）と定数（拡散反射）とによってモデル化できるものとし、ガウス関数における最大反射率、半値幅、定数、法線ベクトルをパラメータとした最適化を行っても良い。

本実施形態において、生成部２０２は、鏡面反射画像の画素値として鏡面反射光の輝度を算出し、拡散反射画像の画素値として拡散反射光の輝度を算出したが、各反射光の反射特性を表していれば、各反射画像の画素値は上記一例に限定されない。例えば、画素値は輝度ではなく反射率であっても良い。この場合は、算出された各反射光の輝度を光源１０４から照射される光の各チャンネルの輝度で除算することによって、反射率を算出する。

本実施形態において、界面高さ決定部２０３は、公知の多視点ステレオ法により物体１０３における透明層と発色層との界面の高さを決定したが、界面の高さを決定する方法は上記一例に限定されない。例えば、公知の位相シフト法などを用いることができる。この場合、界面高さ決定部２０３は、光源１０４によってパターン光が投影された物体１０４を撮像することによって得られた画像データに基づいて、界面の高さを決定する。

本実施形態のＳ５０３において、界面高さ決定部２０３は、界面高さデータのみを生成したが、界面高さデータに加えて、界面高さデータに対応する色情報を有するカラー画像データを生成しても良い。この場合、複数の幾何条件における拡散反射画像データのうち１つを選択してカラー画像データとしてもよいし、複数の拡散反射画像データが表す拡散反射画像の画素値の平均値を画素値とした画像データをカラー画像データとして生成してもよい。また、画素値の平均は重み付けをしても良い。

本実施形態において、表面高さ決定部２０６は表面高さデータを生成したが、透明層の厚みを表すデータを生成してもよい。この場合は、生成した表面高さデータが表す高さ分布の高さから、界面高さデータが表す高さ分布の高さを減算することによって、透明層の厚みを算出する。

本実施形態において、表面法線決定部２０５は、ガウス関数の半値幅が各チャンネルにおいて同一のパラメータであるとして最適化処理を行ったが、各チャンネルのガウス関数の半値幅を別々のパラメータとして最適化処理を行っても良い。

本実施形態のＳ５０７において、表面高さ決定部２０６は、最後に生成した表面高さデータが表す高さ分布と、その前の回に生成した表面高さデータが表す高さ分布と、の差分が閾値以下であるか否かを判定した。表面高さ決定部２０６は、所定の回数Ｓ５０４〜Ｓ５０６の処理を繰り返したか否かを判定してもよい。尚、Ｓ５０４〜Ｓ５０６の処理は繰り返さずに、１回でも良い。

本実施形態において、出力部２０７は、界面高さデータと表面高さデータとを所定のフォーマットに変換し、ＨＤＤ１１０に保存した。出力部２０７は、さらに、界面高さデータと表面高さデータとに、カラー画像データや反射特性データを関連付けてＨＤＤ１１０に保存しても良い。また、出力部２０７は、界面高さデータと表面高さデータとをＨＤＤ１１０などの記憶装置に出力するのではなく、プリンタやディスプレイなどに出力しても良い。プリンタに出力する場合は、例えば、高さデータに基づいて、高さデータが表す高さ分布を再現するための記録材の量を算出し、記録材の量を表す記録量データを出力しても良い。また、記録量データに対してハーフトーン処理やパス分解処理を施したデータを出力しても良い。

本実施形態においては、透明層の厚みが所定の割合の画素で正の値となるように、最適化後の界面高さデータにおける各画素に共通の値を加算したが、表面高さデータを生成する方法は上記一例に限定されない。例えば、物体１０３において透明層がなく発色層が露出している領域を検出し、検出した領域において透明層の厚みが０近傍となるように、加減算処理を行っても良い。露出領域の検出には、例えば、生成した反射特性データに基づいて透明層の素材と発色層の素材とを区別する方法や、界面高さデータが表す高さ分布を微分して得られる法線と表面法線データの法線とが一致する領域を検出する手法などが適用できる。また、表面高さデータにおいて、露出領域の高さの値を、界面の高さ分布の値で上書きしても良い。

本実施形態における撮像装置１０５はカラー画像データを生成するカラーデジタルカメラであったが、グレースケール画像データを生成するデジタルカメラであっても良い。この場合は、上述した処理をＲ、Ｇ、Ｂの３つのチャンネルに対してではなく、輝度の１つのチャンネルに対して行う。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 画像処理装置
２０１ 画像データ取得部
２０２ 生成部
２０３ 界面高さ決定部
２０６ 表面高さ決定部

Claims (17)

1. 発色する層の上に光の透過率が高い層を有する構造の物体について、前記物体の表面の高さを表すデータを生成する画像処理装置であって、
   光源からの光が照射された前記物体を、複数の幾何条件において撮像することによって得られた複数の画像データと、前記複数の幾何条件それぞれを決めるためのパラメータと、を取得する取得手段と、
   前記複数の画像データに基づいて、前記光源からの光のうち前記物体において鏡面反射した鏡面反射光の反射特性を表す鏡面反射データと、前記光源からの光のうち前記物体において拡散反射した拡散反射光の反射特性を表す拡散反射データと、を生成する第１生成手段と、
   前記拡散反射データに基づいて、前記発色する層の高さを表す第１高さデータを生成する第２生成手段と、
   前記パラメータと前記鏡面反射データと前記第１高さデータとに基づいて、前記発色する層の高さを基に算出される、前記光の透過率が高い層の高さを表す第２高さデータを生成する第３生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の画像データは、前記複数の幾何条件それぞれにおいて、偏光フィルタを用いて偏光方向を異ならせて複数回撮像することによって得られた画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記偏光フィルタは、前記撮像を行う撮像装置と前記光源との前に配置され、
   少なくとも偏光方向が平行となる場合と偏光方向が垂直になる場合とにおいて、それぞれ前記撮像装置による撮像が行われることを特徴とする請求項２に記載の画像処理装置。
4. 前記パラメータは、前記光源の位置及び向きと、前記撮像の位置及び向きと、を含むことを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
5. 前記幾何条件は、前記光源の位置及び向きと、前記撮像の位置及び向きと、前記物体の位置と、によって決まることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. 前記パラメータと、前記第１高さデータと、に基づいて、前記光源からの光の前記物体における反射点から、前記光源への方向を表す光源方向ベクトルと、前記撮像への方向を表す撮像装置方向ベクトルと、を算出する算出手段と、
   前記光源方向ベクトルと、前記撮像装置方向ベクトルと、前記第１高さデータと、前記鏡面反射データと、に基づいて、前記光の透過率が高い層の表面の法線分布を表す法線データを生成する第４生成手段と、をさらに有し、
   前記第３生成手段は、前記第１高さデータと、前記法線データと、に基づいて、前記第２高さデータを生成することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記鏡面反射データは、前記鏡面反射光の反射率を表すデータであって、
   前記第４生成手段は、前記鏡面反射データに基づいて、前記複数の幾何条件それぞれにおける前記鏡面反射光の反射率を関数で近似し、近似によって得られた前記関数の値と前記鏡面反射データが表す反射率との差が小さくなるように、少なくとも前記法線データの法線ベクトルをパラメータとして最適化処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記第４生成手段は、前記法線データの法線ベクトルと、前記関数の最大反射率と、前記関数の半値幅と、をパラメータとした前記最適化処理を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記第４生成手段は、さらに、前記最適化処理によって決まる前記関数の最大反射率と、前記関数の半値幅と、を表す反射特性データを生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記第３生成手段は、前記発色する層の表面を基に算出される法線分布と、前記法線データが表す法線分布と、の差が小さくなるように、前記光の透過率が高い層の高さをパラメータとして最適化処理を行うことを特徴とする請求項６乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記第２生成手段は、前記複数の幾何条件それぞれにおける前記拡散反射データに基づいて、ステレオ法を用いることによって、前記第１高さデータを生成することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記第２生成手段は、さらに、前記拡散反射データに基づいて、前記発色する層の色を表すカラー画像データを生成することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
13. 前記第３生成手段は、前記第１高さデータと前記第２高さデータとに基づいて、前記光の透過率が高い層の厚みを表す厚みデータを生成することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
14. 前記第１高さデータと前記第２高さデータとを出力する出力手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 前記物体は、前記発色する層が有色色材を用いて形成され、光の透過率が高い層が透明記録材を用いて形成された、平面に近い形状の物体であることを特徴とする請求項１乃至請求項１４のいずれか一項に記載の画像処理装置。
16. コンピュータを請求項１乃至請求項１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 発色する層の上に光の透過率が高い層を有する構造の物体について、前記物体の表面の高さを表すデータを生成する画像処理方法であって、
    光源からの光が照射された前記物体を、複数の幾何条件において撮像することによって得られた複数の画像データと、前記複数の幾何条件それぞれを決めるためのパラメータと、を取得する取得ステップと、
    前記複数の画像データに基づいて、前記光源からの光のうち前記物体において鏡面反射した鏡面反射光の反射特性を表す鏡面反射データと、前記光源からの光のうち前記物体において拡散反射した拡散反射光の反射特性を表す拡散反射データと、を生成する第１生成ステップと、
    前記拡散反射データに基づいて、前記発色する層の高さを表す第１高さデータを生成する第２生成ステップと、
    前記パラメータと前記鏡面反射データと前記第１高さデータとに基づいて、前記発色する層の高さを基に算出される、前記光の透過率が高い層の高さを表す第２高さデータを生成する第３生成ステップと、
    を有することを特徴とする画像処理方法。

Images