JP2014222447A - 画像処理装置および方法 - Google Patents

Abstract

【課題】実物がそこにあるような質感を再現することができるようにする。
【解決手段】特性情報統合部は、撮影環境情報解析部からの撮影時情報と、被写体特性解析部からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部に供給する。特性制御部は、被写体特性解析部からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部は、決定した処理内容の情報を、画像合成部に供給し、画像合成部に質感制御を行わせる。本開示は、例えば、画像処理装置に適用することができる。
【選択図】図３

Description

本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感を再現することができるようにした画像処理装置および方法に関する。

映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。

なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。

国際公開第２０１０／０８７１６２号

しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。

本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感を再現することができるものである。

本開示の一側面の画像処理装置は、画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部とを備える。

前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整することができる。

前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調することができる。

前記物理特性パラメータは、前記被写体の材質を示す情報であり、前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整することができる。

前記物理特性パラメータは、前記被写体の形状を示す情報であり、前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調することができる。

前記物理特性パラメータは、前記被写体の照明に関する情報であり、前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整することができる。

前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御することができる。

前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部をさらに備え、前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御することができる。

前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得することができる。

前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得することができる。

本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体に関する物理特性パラメータを取得し、取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する。

本開示の一側面においては、画像の被写体に関する物理特性パラメータが取得され、取得された物理特性パラメータを用いて、前記画像における被写体の質感が制御される。

本開示の一側面によれば、画像を処理することができる。特に、実物がそこにあるような質感を再現することができる。

本技術のコンセプトを説明する図である。 本技術の質感制御方法について説明する図である。 画像処理装置の主な構成例を示すブロック図である。 制御パラメータとそれにより決定される質感制御の処理内容を示す図である。 画像処理装置の第１の実施の形態の構成例を示すブロック図である。 図５の画像処理装置の画像処理を説明するフローチャートである。 推定処理を説明するフローチャートである。 反射特性調整処理を説明するフローチャートである。 画像処理装置の第２の実施の形態の構成例を示すブロック図である。 輝度と主観的な明るさの関係を示す図である。 図９の画像処理装置の画像処理を説明するフローチャートである。 視環境情報に基づく処理を説明するフローチャートである。 画像処理装置の第３の実施の形態の構成例を示すブロック図である。 図１３の画像処理装置の画像処理を説明するフローチャートである。 視線情報に基づく処理について説明するフローチャートである。 画像処理装置の第４の実施の形態の構成例を示すブロック図である。 図１６の画像処理装置の画像処理を説明するフローチャートである。 計測・推定処理について説明するフローチャートである。 画像処理装置の第５の実施の形態の構成例を示すブロック図である。 統合方法の例を示す図である。 図１９の画像処理装置の画像処理を説明するフローチャートである。 計測・推定・統合処理について説明するフローチャートである。 画像処理装置の第６の実施の形態の構成例を示すブロック図である。 図２３の画像処理装置の画像処理を説明するフローチャートである。 計測・推定・統合処理について説明するフローチャートである。 材質に基づく反射特性調整処理について説明するフローチャートである。 テクスチャ復元処理を説明するフローチャートである。 周波数領域の特徴量の調整する方法の例を示す図である。 ブロックマッチングによるテクスチャの復元例を示す図である。 画像処理装置の第７の実施の形態の構成例を示すブロック図である。 図３０の画像処理装置の画像処理を説明するフローチャートである。 画像処理装置の第８の実施の形態の構成例を示すブロック図である。 図３２の画像処理装置の画像処理を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．第６の実施の形態
８．第７の実施の形態
９．第８の実施の形態
１０．第９の実施の形態

＜１． 本技術の概要＞
[本技術のコンセプト]
図１を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。

実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material imformation)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。

これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。

なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。

したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。

さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。

このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。

すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。

したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。

[本技術の質感制御方法]
次に、図２を参照して、本技術の質感制御方法について説明する。

まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。

取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。

質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。

レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が出力される。

以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。

［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。

図３に示される画像処理装置１１は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータが取得され、画像における被写体の質感を制御し、被写体の質感が制御された画像を出力する。

画像処理装置１１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、および画像合成部２７を含むように構成されている。

撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、図２の計測・推測ブロック１に対応している。特性情報統合部２４は、図２の実世界モデリングブロック２に対応している。特性制御部２６は、図２の質感制御ブロック３に対応している。画像合成部２７は、レンダリング・レタッチブロック４に対応している。

撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。

撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部２４に供給する。

被写体特性解析部２３は、撮影環境情報取得部２１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部２４に供給する。被写体特性解析部２３においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、画像から推定することで取得することができる。

特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境情報を、視環境パラメータとして、特性制御部２６に供給する。

特性制御部２６は、制御パラメータとして、特性情報統合部２４からの被写体に関する物理特性パラメータと、視環境情報解析部２５からの視環境パラメータとを用いる。具体的には、例えば、特性制御部２６は、特性情報統合部２４からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部２６は、決定した処理内容の情報を、画像合成部２７に供給し、画像合成部２７に質感制御を行わせる。さらに、特性制御部２６は、視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。

画像合成部２７は、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。

［制御パラメータと処理内容］
図４は、特性制御部２６において参照される制御パラメータとそれにより決定される質感制御の処理内容の例を示す図である。

制御パラメータは、撮影環境情報解析部２２からの撮影時情報と被写体特性解析部２３からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部２５からの視環境パラメータとで構成されている。

被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。

視環境パラメータは、視環境光情報、視聴時間、および注目被写体（視線）情報を含むように構成されている。

上から順に説明するに、奥行き・形状情報が凸凹な密な形状であることを示す場合、処理内容として、陰影（self shadow）強調を行うことが決定される。照明情報が照明色を示す場合、処理内容として、その照明色に応じたホワイトバランス調整を行うことが決定される。

照明情報が背景の絶対輝度が高いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラスト調整を行うことが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラストを高くすることが決定される。

照明情報が背景の絶対輝度が高いことを示し、視環境光情報が暗いことを示す場合、処理内容として、明度関数をもとにコントラストを低くすることが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報、暗いことを示す場合、処理内容として、明度関数をもとにコントラストの調整を行うことが決定される。

奥行き・形状情報が疎な形状であることを示し、照明情報が照明方向を示す場合、処理内容として、陰影（cast shadow）強調を行うことが決定される。

反射特性情報が、鏡面反射成分が強いことを示す場合、処理内容として、鏡面反射成分を強調して合成することが決定される。反射特性情報が、拡散反射成分が強いことを示す場合、処理内容として、拡散反射成分を弱めて、鏡面反射成分を強調することが決定される。なお、反射特性情報から、物体の材質の情報を推定することは可能である。画像から、金属であるかとか、布であるのかなど、材質の情報を推定することも可能である。

したがって、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じて反射特性を制御することが決定される。または、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じてテクスチャを復元することが決定される。

材質情報が、金属であることを示す場合、処理内容として、鏡面反射成分を強調することが決定される。材質情報が、木材であることを示す場合、処理内容として、鏡面反射成分を低減することが決定される。

視環境が明るいことを示す場合、処理内容として、明度関数を基に明るく表示することが決定される。視環境が暗いことを示す場合、処理内容として、明度関数を基に暗く表示することが決定される。

注目被写体（視線）情報が注目被写体の対象領域であることを示す場合、処理内容として、上記の制御を適用することが決定される。注目被写体（視線）情報が注目被写体の非対象領域であることを示す場合、処理内容として、上記の制御を適用しないことが決定される。また、他の処理内容としては、注目被写体（視線）情報が、注目被写体の非対象領域であることを示す場合、フォーカスをぼかすことが決定される。例えば、ビジュアルアテンションなどの情報も利用可能である。

視聴時間が短いことを示す場合、処理内容として、通常の処理が行われることが決定される。視聴時間が長いことを示す場合、処理内容として、徐々に暗めに表示し、また、処理内容を弱めることが決定される。

なお、視環境情報としては、表示デバイスの特性情報も考慮することができる。

以下、上述した処理内容に対応する具体的な構成例や処理例について説明していく。

＜２．第１の実施の形態＞
［画像処理装置の構成例］
図５は、本開示を適用した画像処理装置の第１の実施の形態の構成を表している。図５の例においては、画像から反射特性を推定してそれを質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。

図５に示される画像処理装置５１は、被写体特性解析部２３および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、特性情報統合部２４、および視環境情報解析部２５が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置５１は、特性制御部２６が、特性制御部６１と入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。被写体特性解析部２３は、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部６１に供給する。

特性制御部６１は、被写体特性解析部２３からの物理特性パラメータを、制御パラメータとし、制御パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部６１は、制御パラメータとして、例えば、被写体の反射特性に基づいて、照り返しが多い場合の鏡面反射成分や、全体のバランスを考慮する。そして、特性制御部６１は、考慮の結果、照り返しのあまりない場合の拡散反射成分も調整する質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

［画像処理の例］
次に、図６のフローチャートを参照して、図５の画像処理装置５１の画像処理について説明する。

ステップＳ５１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

ステップＳ５２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して後述される。ステップＳ５２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部６１に供給される。

ステップＳ５３において、特性制御部６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して後述される。ステップＳ５３の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ５４において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図６の例の場合、画像の反射特性の調整により、被写体の画像の質感が制御される。

この再合成処理は、逐次、画素毎に行われてもよいし、ピクチャが揃ってから画素毎に行われてもよい。なお、処理の単位については、以下においても同様である。

次に、図７のフローチャートを参照して、図６のステップＳ５２の推定処理について説明する。

ステップＳ７１において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性制御部６１に供給する。

ステップＳ７２において、特性制御部６１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図６のステップＳ５３における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。

ステップＳ７３において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部６１に供給する。

ステップＳ７４において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部６１に供給する。

以上のようにして、入力画像から被写体の特性である撮影環境光や被写体の反射特性、形状などが推定される。

次に、図８のフローチャートを参照して、図６のステップＳ５３の反射特性調整処理について説明する。

ステップＳ９１において、特性制御部６１は、被写体特性解析部２３からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ９１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ９２に進む。

ステップＳ９２において、特性制御部６１は、質感制御として、照り返しがあることを示す鏡面反射成分を強調させるように決定する。ステップＳ９１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ９３に進む。

特性制御部６１は、ステップＳ９３において、拡散反射成分が大きいか否かを判定する。ステップＳ９３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ９４に進む。この場合、白っぽい物体である可能性があるので、ステップＳ９４において、特性制御部６１は、質感制御として、拡散反射成分を低減させるように決定する。

ステップＳ９３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ９５に進む。ステップＳ９５において、特性制御部６１は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ９５において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ９５において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。

なお、図８の例においては、鏡面反射だけ高めると画像のレンジを超えてしまう場合があるので、拡散反射も調整しながら、反射特性の調整が行われている。

以上のように、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

＜３．第２の実施の形態＞
［画像処理装置の構成例］
図９は、本開示を適用した画像処理装置の第２の実施の形態の構成を表している。図９の例においては、画像から推定される反射特性に加え、視環境の情報を質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。

図９に示される画像処理装置１０１は、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置１０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、および特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置１０１は、特性制御部２６が、特性制御部１１１と入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部１１１に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部１１１に供給する。

特性制御部１１１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部１１１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

また、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部１１１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

図１０は、輝度と主観的な明るさの関係を示す図である。

図１０の例においては、横軸が視環境光の輝度（右にいくほど明るい）を示しており、縦軸が、人が感じる明るさや暗さを示している。

例えば、人が200cd/m2の視環境で、314cdm2の画像を見ると、暗いと明るいの中間あたりの明るさだと人は感じる。例えば、人が500cd/m2の視環境で、314cdm2の画像を見ると、200cd/m2の場合よりも明るく感じてしまう。

このように、質感向上には、視聴時の照明光の影響を受けることがわかる。また、図１０より、質感向上には、黒の再現性が重要なこともわかる。以上のことから、画像処理装置１０１においては、この視環境の情報も、質感制御に用いられる。

［画像処理の例］
次に、図１１のフローチャートを参照して、図９の画像処理装置１０１の画像処理について説明する。

ステップＳ１１１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

ステップＳ１１２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１１２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部１１１に供給される。なお、図７の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部１１１に供給される。

ステップＳ１１３において、視環境情報解析部２５および特性制御部１１１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して後述される。ステップＳ１１３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

また、ステップＳ１１４において、特性制御部１１１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１１４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ１１５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１１の例の場合、視環境光のコントラスト調整および画像の反射特性の調整により、被写体の画像の質感が制御される。

次に、図１２のフローチャートを参照して、図１１のステップＳ１１３の視環境情報に基づく処理について説明する。

ステップＳ１３１において、視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部１１１に供給する。

特性制御部１１１には、被写体特性解析部２３から撮影時の画像の絶対輝度情報も推定され、特性制御部１１１に供給されている。ステップＳ１３２において、特性制御部１１１は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ１３２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ１３３に進む。

ステップＳ１３３において、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ１３３において、視環境光が明るいと判定された場合、処理は、ステップＳ１３４に進む。この場合、暗く見える可能性があるので、ステップＳ１３４において、特性制御部１１１は、画像合成部２７を制御し、質感制御として、コントラスト調整値を高めに設定させる。

ステップＳ１３３において、視環境光が暗いと判定された場合、ステップＳ１３４はスキップされ、処理は、ステップＳ１３７に進む。

ステップＳ１３２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ１３５に進む。ステップＳ１３５において、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。

ステップＳ１３５において、視環境光が暗いと判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、特性制御部１１１は、画像合成部２７を制御し、質感制御として、コントラスト調整値を低めに設定させる。

ステップＳ１３５において、視環境光が明るいと判定された場合、ステップＳ１３６はスキップされ、処理は、ステップＳ１３７に進む。

ステップＳ１３７において、特性制御部１１１は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ１３７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ１３７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１３２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

＜４．第３の実施の形態＞
［画像処理装置の構成例］
図１３は、本開示を適用した画像処理装置の第３の実施の形態の構成を表している。図１３の例においては、画像から推定される反射特性および視環境の情報に加え、視線情報を質感制御に用いる画像処理装置の構成が示されている。

図１３に示される画像処理装置１５１は、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置１５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、および特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置１５１は、特性制御部２６が、特性制御部１６１と入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部１６１に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。また、視環境情報解析部２５は、視環境の情報として、例えば、視覚特性(コントラスト感度関数 (Contrast Sensitivity Function; CSF))や注目被写体、または視線などの情報を取得し解析する。視環境情報解析部２５は、解析した視環境の情報を、視環境パラメータとして、特性制御部１６１に供給する。

特性制御部１６１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部１６１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

特性制御部１６１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部１６１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。また、特性制御部１６１は、視環境パラメータとして、例えば、視線情報に応じて画質調整値を調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

［画像処理の例］
次に、図１４のフローチャートを参照して、図１３の画像処理装置１５１の画像処理について説明する。

ステップＳ１５１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。

ステップＳ１５２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部１６１に供給される。なお、図７の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部１６１に供給される。

ステップＳ１５３において、視環境情報解析部２５および特性制御部１６１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ１５４において、特性制御部１６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５４の処理により、反射特性に基づく質感制御の処理内容が決定される。

さらに、ステップＳ１５５において、視環境情報解析部２５および特性制御部１６１は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１５を参照して後述される。ステップＳ１５５の処理により、視線情報に基づく質感制御の処理内容が決定される。

ステップＳ１５６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１４の例の場合、視環境光のコントラスト調整、画像の反射特性の調整、および視線情報による調整値の再設定により、被写体の画像の質感が制御される。

次に、図１５のフローチャートを参照して、図１４のステップＳ１５５の視線情報に基づく処理について説明する。

ステップＳ１７１において、視環境情報解析部２５は、視環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。視環境情報解析部２５は、解析した視環境の情報を、視環境パラメータとして、特性制御部１６１に供給する。

ステップＳ１７２において、特性制御部１６１は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ１７２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ１７３に進む。

ステップＳ１７３において、特性制御部１６１は、画像合成部２７を制御し、質感制御として、これまでの処理（すなわち、視環境情報、反射特性、視線情報に基づく処理）の画質調整値を弱めに再設定させる。

ステップＳ１７２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ１７３はスキップされ、処理は、ステップＳ１７４に進む。

ステップＳ１７４において、特性制御部１６１は、全画素について処理が終了したか否かを判定する。

ステップＳ１７４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１７４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１７２に戻り、それ以降の処理が繰り返される。

以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

＜５．第４の実施の形態＞
［画像処理装置の構成例］
図１６は、本開示を適用した画像処理装置の第４の実施の形態の構成を表している。図１６の例においては、画像から推定される物理特性パラメータだけでなく、撮影時に取得される物理特性パラメータも、質感制御に用いる画像処理装置の構成が示されている。

図１６に示される画像処理装置２０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置２０１は、特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置２０１は、特性制御部２６が、特性制御部２１１と入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。

撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、物理特性パラメータとして、特性制御部２１１に供給する。

被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部２１１に供給する。

視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。

特性制御部２１１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。その際、特性制御部２１１は、撮影環境情報解析部２２からの撮影時に取得された物理特性パラメータも参照して、処理内容を決定する。なお、撮影環境情報解析部２２および被写体特性解析部２３のうち、少なくとも一方の物理特性パラメータが参照されればよい。例えば、そのうちの信頼性の高いパラメータが用いられる。

具体的には、特性制御部２１１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

特性制御部２１１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部２１１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

［画像処理の例］
次に、図１７のフローチャートを参照して、図１６の画像処理装置２０１の画像処理について説明する。

ステップＳ２０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ２０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定処理を行う。この計測・推定処理は、図１８を参照して後述される。ステップＳ２０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、および被写体形状など）とが、特性制御部２１１に供給される。

ステップＳ２０３において、視環境情報解析部２５および特性制御部２１１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ２０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ２０４において、特性制御部２１１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、参照される反射特性は、計測されたものと推定されたものの少なくともどちらか一方である。ステップＳ２０４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ２０５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１７の例の場合、計測または測定された視環境光のコントラスト調整、および画像の反射特性の調整により、被写体の画像の質感が制御される。

次に、図１８のフローチャートを参照して、図１７のステップＳ２０２の計測・推定処理について説明する。

ステップＳ２２１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、物理特性パラメータとして、特性制御部２１１に供給する。

ステップＳ２２２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性を解析し、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部２１１に供給する。

ステップＳ２２３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、物理特性パラメータとして、特性制御部２１１に供給する。

ステップＳ２２４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、照明光の情報を、特性制御部２１１に供給する。

ステップＳ２２５において、特性制御部２１１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図１７のステップＳ２０４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。

ステップＳ２２６において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部２１１に供給する。

ステップＳ２２７において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部２１１に供給する。

以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定される。

＜６．第５の実施の形態＞
［画像処理装置の構成例］
図１９は、本開示を適用した画像処理装置の第５の実施の形態の構成を表している。図１９の例においては、画像から推定される物理特性パラメータと、撮影時に取得される物理特性パラメータとを統合したのち、質感制御に用いる画像処理装置の構成が示されている。

図１９に示される画像処理装置２５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、特性情報統合部２４、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置２５１は、特性制御部２６が、特性制御部２６１と入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、撮影環境情報解析部２２は、解析した撮影時情報を、特性情報統合部２４に供給する。被写体特性解析部２３は、解析した被写体の特性（画像推定情報）を、特性情報統合部２４に供給する。

特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部２６１に供給する。

特性制御部２６１は、特性情報統合部２４からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部２６１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

特性制御部２６１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部２６１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

図２０は、特性情報統合部２４による統合方法の例を示す図である。特性情報統合部２４は、例えば、図２０に示されるように、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合する。

例えば、画像から推定されたdepth mapにおける座標(i,j)の奥行きd1(i,j)と、撮影時に計測されたdepth mapにおける座標(i,j)の奥行きd2(i,j)を加算することで、統合されたdepth mapにおける座標(i,j)の奥行きd0(i,j)を算出する。

ここで、d1(i,j)の空間的な分散値V{d1(i,j)}は、次の式（１）で表わされる。

例えば、分散値が高いほど、推定結果が安定していないと考えられ、次の式（２）に示されるように、奥行き情報の信頼度が低いとみなせる分散値に応じてd1およびd2の情報を加算することで、最終結果の奥行き情報d0を得ることができる。

なお、図２０の統合方法は、一例であり、他の統合方法により統合を行ってもよい。また、図２０の例においては、depth情報を例に説明したが、他の特性情報も同様に統合することができる。

［画像処理の例］
次に、図２１のフローチャートを参照して、図１９の画像処理装置２５１の画像処理について説明する。

ステップＳ２５１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ２５２において、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、および特性情報統合部２４は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２２を参照して後述される。ステップＳ２５２の処理により、計測された撮影時情報と、推定された画像推定情報とが統合され、物理特性パラメータ（被写体の反射特性、撮影環境光、および被写体形状など）として、特性制御部２６１に供給される。

ステップＳ２５３において、視環境情報解析部２５および特性制御部２６１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ２５３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ２５４において、特性制御部２６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（反射特性）が参照される。ステップＳ２５４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ２５５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図２１の例の場合、視環境光のコントラスト調整、および、統合された物理特性パラメータによる画像の反射特性の調整により、被写体の画像の質感が制御される。

次に、図２２のフローチャートを参照して、図２１のステップＳ２５２の計測・推定・統合処理について説明する。

ステップＳ２７１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ２７２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性を解析し、解析した被写体の反射特性を、特性情報統合部２４に供給する。

ステップＳ２７３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部２４に供給する。

ステップＳ２７４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部２４に供給する。

ステップＳ２７５において、特性情報統合部２４は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部２６１に供給する。

ステップＳ２７６において、特性制御部２６１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図２１のステップＳ２５４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。

ステップＳ２７７において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性情報統合部２４に供給する。

ステップＳ２７８において、特性情報統合部２４は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部２６１に供給する。

ステップＳ２７９において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部２４に供給する。

ステップＳ２８０において、特性情報統合部２４は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部２６１に供給する。

以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定され、それらの情報が信頼性に基づいて統合される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。

＜７．第６の実施の形態＞
［画像処理装置の構成例］
図２３は、本開示を適用した画像処理装置の第６の実施の形態の構成を表している。図２３の例においては、被写体の特性として、被写体の材質情報も取得され、取得された材質情報を質感制御に用いる画像処理装置の構成が示されている。また、図２３の例においては、質感制御として、テクスチャ復元も行われる。この例においては、異なる素材は、固有の反射特性を持つことを利用する。

図２３に示される画像処理装置３０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。

画像処理装置２５１は、特性情報統合部２４が特性情報統合部３１１と入れ替わった点と、特性制御部２６が特性制御部３１２と入れ替わった点と、事前知識データベース３１３が追加された点とが、図３の画像処理装置１１と異なっている。

すなわち、撮影環境情報解析部２２は、解析した撮影時情報（被写体の材質情報含む）を、特性情報統合部３１１に供給する。被写体特性解析部２３は、解析した被写体の特性（画像推定情報）を、特性情報統合部３１１に供給する。

特性情報統合部３１１は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部３１２に供給する。また、特性情報統合部３１１は、特性制御部３１２の制御のもと、被写体の材質（肌、金属、布など）に対応したテクスチャ画像を事前知識データベース３１３から読み出し、読み出したテクスチャ画像を、特性制御部３１２に供給する。

特性制御部３１２は、特性情報統合部３１１からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部３１２は、物理特性パラメータとして、例えば、被写体の材質の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定する。そして、特性制御部３１２は、決定した質感制御を、画像合成部２７に行わせる。

特性制御部３１２は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部３１２は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

また、特性制御部３１２は、特性情報統合部３１１に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行うという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。

事前知識データベース３１３は、被写体の材質に対応したテクスチャ画像を記憶している。

以上のように、画像処理装置３０１においては、撮影時に被写体の特性である照明光や被写体の反射特性、形状、材質などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状、材質などが推定される。そして、それらの情報が統合されて、質感制御に用いられる。

［画像処理の例］
次に、図２４のフローチャートを参照して、図２３の画像処理装置３０１の画像処理について説明する。

ステップＳ３０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ３０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して後述される。ステップＳ３０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部３１２に供給される。

ステップＳ３０３において、視環境情報解析部２５および特性制御部３１２は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ３０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ３０４において、特性制御部３１２は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して後述される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ３０４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ３０５において、特性制御部３１２は、特性情報統合部３１１に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行う。このテクスチャ復元処理は、図２７を参照して後述される。ステップＳ３０５の処理により、テクスチャ復元による質感制御の処理内容が決定される。

ステップＳ３０６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図２４の例の場合、計測または測定された視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、材質に応じたテクスチャ復元により、被写体の画像の質感が制御される。

次に、図２５フローチャートを参照して、図２４のステップＳ３０２の計測・推定・統合処理について説明する。

ステップＳ３２１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部３１１に供給する。

ステップＳ３２２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部３１１に供給する。

ステップＳ３２３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部３１１に供給する。

ステップＳ３２４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部３１１に供給する。

ステップＳ３２５において、特性情報統合部３１１は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部３１２に供給する。

ステップＳ３２６において、特性制御部３１２は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図２４のステップＳ３０４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。

ステップＳ３２７において、被写体特性解析部２３は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部３１１に供給する。

ステップＳ３２８において、特性情報統合部３１１は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部３１２に供給する。

ステップＳ３２９において、特性情報統合部３１１は、計測された被写体の材質の情報と推定された被写体の材質の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部３１２に供給する。

ステップＳ３３０において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部３１１に供給する。

ステップＳ３３１において、特性情報統合部３１１は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部３１２に供給する。

以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、また、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。

次に、図２６のフローチャートを参照して、図２４のステップＳ３０４における材質に基づく反射特性調整処理について説明する。

ステップＳ３５１において、特性制御部３１２は、特性情報統合部３１１からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ３５１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ３５２に進む。

ステップＳ３５２において、特性制御部３１２は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ３５１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ３５３に進む。

特性制御部３１２は、ステップＳ３５３において、拡散反射成分が大きいか否かを判定する。ステップＳ３５３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ３５４に進む。ステップＳ３５４において、特性制御部３１２は、質感制御として、拡散反射成分を低減させるように決定する。

ステップＳ３５３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ３５５に進む。

ステップＳ３５５において、特性制御部３１２は、特性情報統合部３１１により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ３５５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ３５６に進む。ステップＳ３５６において、特性制御部３１２は、質感制御として、鏡面反射成分を強調させるように決定する。

ステップＳ３５５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ３５７に進む。ステップＳ３５７において、特性制御部３１２は、質感制御として、鏡面反射成分を低減させるように決定する。

ステップＳ３５８において、特性制御部３１２は、全画素について反射特性の調整が終了したか否かを判定する。

ステップＳ３５８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ３５８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ３５１に戻り、それ以降の処理が繰り返される。

以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。

次に、図２７のフローチャートを参照して、図２４のステップＳ３０５におけるテクスチャ復元処理を説明する。

特性制御部３１２は、ステップＳ３７１において、特性情報統合部３１１を制御し、事前知識データベース３１３から、被写体の材質に対応するテクスチャ画像（パッチデータ）を取得させる。

ステップＳ３７２において、特性制御部３１２は、図２８に示されるように、フィルタバンクを用いて、入力画像とテクスチャ画像をそれぞれサブバンド分割させるように画像合成部２７を制御する。

ステップＳ３７３において、特性制御部３１２は、サブバンド毎に、入力画像の周波数成分のヒストグラムと、テクスチャ画像の周波数成分のヒストグラムとが一致する調整を行うように画像合成部２７を制御する。すなわち、特性制御部３１２は、画像合成部２７を制御し、サブバンド毎に、入力画像とテクスチャ画像とで、ヒストグラムイコライゼーションを行わせる。

以上のように、テクスチャを復元するという、質感制御を行うことにより、被写体の質感が向上されるので、よりリアリティのある画像とすることができる。

なお、図２７および図２８の例においては、周波数領域の特徴量の調整する方法の例であるヒストグラムイコライゼーションによりテクスチャ復元処理を行う例を説明した。ただし、テクスチャ復元処理は、その例だけに限らず、例えば、図２９に示されるように、ブロックマッチングにより画素値を置き換えることで、テクスチャを復元させることも可能である。

例えば、入力画像に対応するテクスチャ画像（パッチデータ）の中から、入力画像の処理対象領域のうちの注目ブロックの画素値にマッチするブロックが抽出され、注目ブロックが抽出されたブロックで置き換えが行なわれる。その処理が、全ての領域に対して行われ、全ての領域が書き終えられたら、処理が終了となる。

＜８．第７の実施の形態＞
［画像処理装置の構成例］
図３０は、本開示を適用した画像処理装置の第７の実施の形態の構成を表している。図３０の例においては、撮影時に取得される情報を画像から推定された情報と統合するとともに、メタデータ化して、そのメタデータを、後段（画像合成部）で質感制御に用いる画像処理装置の構成が示されている。

図３０に示される画像処理装置３５１は、被写体特性解析部２３、特性情報統合部２４、および視環境情報解析部２５を備える点が、図３の画像処理装置１１と共通している。

画像処理装置３５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、特性制御部２６、画像合成部２７が、それぞれ、撮影環境情報取得部３６１、撮影環境情報解析部３６２、特性制御部３６３、画像合成部３６４に入れ替わった点が、図３の画像処理装置１１と異なっている。

すなわち、撮影環境情報取得部３６１は、被写体の画像の撮影し、被写体の画像を入力する。また、撮影環境情報取得部３６１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、入力画像と撮影時情報とを、撮影環境情報解析部３６２に供給する。

撮影環境情報解析部３６２は、入力画像を被写体特性解析部２３に供給し、撮影時情報を特性情報統合部２４に供給する。さらに、撮影環境情報解析部３６２は、撮影時情報をメタデータ化して入力画像に付加し、入力画像とメタデータ化された撮影時情報とを画像合成部３６４に供給する。

画像合成部３６４は、特性制御部３６３により決定された処理内容に基づいて、入力画像を再合成する。なお、例えば、メタデータとして、シャッタースピード、絞り、どのような明るさのレンズを使っているかなどのカメラパラメータが得られれば、入力画像の明るさ（絶対輝度）の情報はおおよそ把握することができる。したがって、画像合成部３６４は、さらに、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。

［画像処理の例］
次に、図３１のフローチャートを参照して、図３０の画像処理装置３５１の画像処理について説明する。

ステップＳ３５１において、撮影環境情報取得部３６１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部３６１は、入力した入力画像を、撮影環境情報解析部３６２に供給する。なお、この入力画像は、撮影環境情報解析部３６２から被写体特性解析部２３にも供給される。

ステップＳ３５２において、撮影環境情報取得部３６１、撮影環境情報解析部３６２、被写体特性解析部２３、および特性情報統合部２４は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して上述された処理と基本的に同様であり、その説明は繰り返しになるので省略される。ステップＳ３５２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部３６３に供給される。

また、ステップＳ３５３において撮影環境情報解析部３６２は、撮影時情報をメタデータ化し、入力画像に付加して、画像合成部３６４に供給する。

ステップＳ３５４において、視環境情報解析部２５および特性制御部３６３は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ３５４の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ３５５において、特性制御部３６３は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ３５５の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ３５６において、画像合成部３６４は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図３１の例の場合、視環境光のコントラスト調整、および材質に基づく画像の反射特性の調整により、被写体の画像の質感が制御される。

また、ステップＳ３５７において、画像合成部３６４は、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。例えば、メタデータとして、シャッタースピード、絞りなどのカメラパラメータが得られれば、入力画像の明るさの情報はおおよそ把握することができ、それにより、さらに、画像の質感が向上される。

＜９．第８の実施の形態＞
［画像処理装置の構成例］
図３２は、本開示を適用した画像処理装置の第８の実施の形態の構成を表している。図３２の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合して、それらの情報をすべて質感制御に用いる画像処理装置の構成が示されている。

図３２に示される画像処理装置４０１は、図３の画像処理装置１１と基本的に同じ構成である。すなわち、画像処理装置４０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、および画像合成部２７を含むように構成されている。

なお、上述した他の例においては、反射特性や照明、材質などの一部の物理特性パラメータを利用する例であった。これに対して、図３２の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合し、それらの情報をすべて質感制御に用いる構成が示されている。この構成において、すべての情報が精度よく取得された場合、その精度良く取得された情報を変えることで、ＣＧを作り直すように、どのような画像も、あたかも実世界にあるように作成することができる。

［画像処理の例］
次に、図３３のフローチャートを参照して、図３２の画像処理装置４０１の画像処理について説明する。

ステップＳ４０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。

ステップＳ４０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップＳ４０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。

ステップＳ４０３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ４０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。

ステップＳ４０４において、特性制御部２６は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ４０４の処理により、反射特性に基づく質感制御の処理内容が決定される。

ステップＳ４０５において、視環境情報解析部２５および特性制御部２６は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１５を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップＳ４０５の処理により、視線情報に基づく質感制御の処理内容が決定される。

ステップＳ４０６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図３３の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整により、被写体の画像の質感が制御される。

以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。

以上により、本発明においては、被写体に関する物理特性パラメータ（形状、反射特性、照明など）を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。

また、撮影時、視聴時の環境情報（照明、注目位置など）を考慮して、人が見たときの映像品質を一定に保つように制御することができる。

被写体に関する物理特性パラメータを撮影時、視聴時の環境情報を候補して制御することで、撮像、表示を通じて生じた現実との誤差を補正する、あるいは、強調することで、映像を見たときの印象を改善することができる。

また、撮影時に計測した情報と画像から推測した情報を統合して信頼性を高めることができる。

さらに、撮影時の情報は、メタデータとして利用することができるので、視聴環境に最適な映像品質を実現することができる。

以上のように、本技術によれば、よりリアルな映像表現が可能となる。すなわち、被写体の特性（材質、形状、反射特性など）を制御することで、撮影から表示を通じて生じた現実との誤差を補正し、あるいは、強調することで、被写体を実際に見たときの状況を映像で再現したり、映像を見たときの印象を強くすることができる。

また、撮影時、視聴時の環境情報を利用して、被写体を実際に見たときの状況を映像で再現することができる。

＜１０．第９の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図３４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
（２） 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
前記（１）に記載の画像処理装置。
（３） 前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
前記（２）に記載の画像処理装置。
（４） 前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
前記（２）に記載の画像処理装置。
（５） 前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
前記（１）に記載の画像処理装置。
（６） 前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
前記（１）に記載の画像処理装置。
（７） 前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
前記（１）に記載の画像処理装置。
（８） 前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
前記（１）に記載の画像処理装置。
（９） 前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１２） 画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。

１ 計測・推測ブロック， ２ 実世界モデリングブロック， ３ 質感制御ブロック， ４ レンダリング・レタッチブロック， １１ 画像処理装置，２１ 撮影環境情報取得部， ２２ 撮影環境情報解析部， ２３ 被写体特性解析部， ２４ 特性情報統合部， ２５ 視環境情報解析部， ２６ 特性制御部， ２７ 画像合成部， ５１ 画像処理装置， ６１ 特性制御部， １０１ 画像処理装置， １１１ 特性制御部， １５１ 画像処理装置， １６１ 特性制御部， ２０１ 画像処理装置， ２１１ 特性制御部， ２５１ 画像処理装置， ２６１ 特性制御部， ３０１ 画像処理装置， ３１１ 特性情報統合部， ３１２ 特性制御部，３１３ 事前知識データベース， ３５１ 画像処理装置， ３６１ 撮影環境情報取得部， ３６２ 撮影環境情報解析部， ３６３ 特性制御部， ４０１ 画像処理装置

Claims (12)

1. 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
   前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
   を備える画像処理装置。
2. 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
   前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
   請求項１に記載の画像処理装置。
3. 前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
   前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
   請求項２に記載の画像処理装置。
4. 前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
   前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
   請求項２に記載の画像処理装置。
5. 前記物理特性パラメータは、前記被写体の材質を示す情報であり、
   前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
   請求項１に記載の画像処理装置。
6. 前記物理特性パラメータは、前記被写体の形状を示す情報であり、
   前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
   請求項１に記載の画像処理装置。
7. 前記物理特性パラメータは、前記被写体の照明に関する情報であり、
   前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
   請求項１に記載の画像処理装置。
8. 前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
   前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
   前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
   請求項１に記載の画像処理装置。
9. 前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
   さらに備え、
   前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
   請求項１に記載の画像処理装置。
10. 前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
    請求項１に記載の画像処理装置。
11. 前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
    請求項１に記載の画像処理装置。
12. 画像処理装置が、
    画像の被写体に関する物理特性パラメータを取得し、
    取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
    画像処理方法。

Images