JP2013206372A - 画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】画像データを構成する拡散反射成分と、光沢成分とをより効率的に分離することができる画像処理装置を提供する。
【解決手段】画像処理装置は、縮小部と、抽出部と、拡大部と、高周波取得部と、高周波加算部と、光沢成分取得部とを備える。縮小部は、入力された画像データを縮小して縮小データを出力する。抽出部は、縮小データから、拡散反射成分を抽出する。拡大部は、拡散反射成分を、入力された画像データの縮小前のサイズに拡大して拡大データを出力する。高周波取得部は、入力された画像データと、縮小後の縮小データとの差分から、縮小によって除去された高周波成分を取得する。高周波加算部は、拡大データに対して取得した高周波成分を加算した第１データを出力する。光沢成分取得部は、入力された画像データと、第１データとの差分から、光沢成分を取得する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、および画像処理方法に関する。

従来、入力された画像データから、光沢成分のみを分離し、光沢成分を強調するといった処理を行う画像処理装置が知られている。具体的には、画像内の物体の色相を用いて画素を抽出し、抽出された画素の中からその表面本来の色成分を表す拡散反射成分を推定する。そして、推定された拡散反射成分を用いて照明によって変化する色を分離することで、対象画素の拡散反射成分と光沢成分とを分離する技術が開示されている。

S.A.Shafer, "Using color to separate reflection components," in COLOR Research and Application, Vol.10, No.4, pp.210-218, 1985

しかしながら、画像データから拡散反射成分を抽出する処理を行うためには、高い処理能力が求められるため、より高い性能を有するハードウェアが必要となり、装置が高価なものとなる傾向にあった。

本発明は、上記に鑑みてなされたものであって、画像データを構成する拡散反射成分と、光沢成分とをより効率的に分離することができる画像処理装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明の実施形態の画像処理装置は、縮小部と、抽出部と、拡大部と、高周波取得部と、高周波加算部と、光沢成分取得部とを備える。縮小部は、入力された画像データを縮小して縮小データを出力する。抽出部は、縮小データから、拡散反射成分を抽出する。拡大部は、拡散反射成分を、入力された画像データの縮小前のサイズに拡大して拡大データを出力する。高周波取得部は、入力された画像データと、縮小後の縮小データとの差分から、縮小によって除去された高周波成分を取得する。高周波加算部は、拡大データに対して取得した高周波成分を加算した第１データを出力する。光沢成分取得部は、入力された画像データと、第１データとの差分から、光沢成分を取得する。

図１は、第１の実施形態の画像処理装置の機能構成を示す図である。 図２は、第１の実施形態において、入力画像の彩度の値ごとに最小の輝度をプロットした図である。 図３は、第１の実施形態の画像処理装置で光沢成分を分離する処理の流れを示す図である。 図４は、第２の実施形態の画像処理装置の機能構成を示す図である。 図５は、第２の実施形態の高周波成分の非線形処理の結果を示す図である。 図６は、第３の実施形態の画像処理装置の機能構成を示す図である。 図７は、第３の実施形態の高周波成分の非線形処理の結果を示す図である。

以下に、本発明の実施形態の画像処理装置を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。本実施形態の画像処理装置は、一例として、入力画像に対して光沢成分と拡散反射成分とを分離する処理を行った後に、光沢成分を強調するなどの処理を加えて入力画像に加算した出力画像を出力する処理を行うものである。なお、光沢成分に対して行う処理は本実施形態にものに限定されていない。本実施形態の画像処理装置は、例えばデジタルカメラ等の光学デバイスに搭載され、撮影した画像をより効率的に処理する用途などに用いることができる。

（第１の実施形態）
入力画像信号は、各画素に対する画素値を含む。画素値は、例えば国際電機通信連合（以下、ＩＴＵと記載）の規格に基づく輝度信号、色信号を有する画像信号であり、三原色であるＲＧＢを成分とする方式と、ＲＧＢから輝度信号および色信号に変換した方式のどちらであっても構わない。本実施形態では一例として、ＩＴＵ−ＲＢＴ．６０１規格における三原色に対応したＲＧＢを成分とする方式に関して説明する。そのため、入力画像における各画素の画素値は、赤色成分の輝度を有するＲチャンネルと、緑色成分の輝度を有するＧチャンネルと、青色成分の輝度を有するＢチャンネルとで表現される。それぞれ、Ｒチャンネルが０〜ｒ０、Ｇチャンネルが０〜ｇ０、Ｂチャンネルが０〜ｂ０の離散化された画素値を有する。

また、拡散反射成分とは、物体表面の凹凸に入射した光の散乱によるものであり、光源の色とは異なった物体の表面に固有の色を示すものである。また、光沢成分とは、物体の表面の境界で反射する成分である。

図１に示すように、画像処理装置１は、縮小部１１、抽出部１２、拡大部１３、高周波取得部１４、高周波加算部１５、光沢成分取得部１６、及び光沢成分加算部１７を備えている。なお、これらの各部はハードウェアにより実現されていても、ハードディスクなどの記憶媒体に記憶されＣＰＵで動作されるプログラムとして実現されていてもよい。本実施形態の画像処理装置１の処理の結果得られる出力画像は以下の式で示すことができる。
Ｏ＝Ｉ＋Ｋ［Ｉ−ｅ（ｆ（ｓ（Ｉ）））＋Ｈ（Ｉ）］
Ｏは出力画像、Ｉは入力画像、ｆ（Ｉ）は拡散反射成分を算出する関数、ｓ（Ｉ）は画像を縮小する関数、ｅ（Ｉ）は画像を拡大する関数、Ｋ［Ｉ−ｆ（Ｉ）］は光沢成分に対して所定の処理を行う関数、及びＨ（Ｉ）は高周波成分を算出する関数である。したがって、本実施形態においては、まず、入力画像に対して縮小処理を行った画像であるｓ（Ｉ）に対して、拡散反射成分を算出する処理を行い、拡散反射成分を拡大する。その結果を、ｅ（ｆ（ｓ（Ｉ）））としてあらわすことができる。そして、入力画像と拡大された拡散反射成分（拡大データ）との差分に対して、失われた高周波成分を加算して第１データを出力する。そして、第１データに所定の光沢処理を実施した第２データを入力画像に加算して、出力画像となる。以下、これらの処理を行う部位について詳細に説明する。

縮小部１１は、入力された入力画像を所定のサイズに縮小する。縮小には、例えば、ダウンサンプリング法などの既存の方法を用いることができる。縮小の際には、画像の表現可能な周波数は、ナイキスト周波数（サンプリング周波数の１／２）以下となるため、画像の高周波成分が失われる。そのため、高周波取得部１４は、この失われる高周波成分を予め取得しておく。具体的には、高周波取得部１４は、入力画像と縮小された画像との差分から高周波成分を取得する。したがって、高周波取得部１４が取得する高周波成分は、縮小部１１が行う縮小の倍率に応じて決定される。縮小部１１が行う縮小の倍率は、次の抽出部１２による拡散反射成分の抽出にかかる処理に要する処理能力をどれくらい抑制したいかによって決定される。

抽出部１２は、縮小された縮小画像から拡散反射成分を抽出する。拡散反射成分を抽出する処理の方法の一例としては例えば二色性反射モデルを用いた手法などを利用することができる。二色性反射モデルにおいては、反射光の輝度をＩ、光沢成分の輝度をＩｓ、拡散反射成分の輝度をＩｄとすると、Ｉ＝Ｉｓ＋Ｉｄと表すことができる。

具体的には、まず取得した入力画像の各画素がＲＧＢの値によって色空間に射影される。そして、色空間内に投影されたある要素（Ｉｘ，Ｉｙ，Ｉｚ）を用いて、色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、輝度（ｉｎｔｅｎｓｉｔｙ）が計算されると、以下のように示される。

次に色相の値により分類して、彩度を横軸、輝度を縦軸とした平面を考える。図２のように、彩度の値ごとに最小の輝度がプロットされる。最小の値をとることによって、光沢成分の影響を除去した拡散反射成分の画素のみを選び出すことができ、これらのプロットは原点を通る直線上に位置する。よって直線の最小二乗法を用いて傾きＡを色相ごとに求められる。Ａは以下の式によって求められる。(αｒ,αｇ,αｂ)は拡散反射の反射率である。

光沢成分は拡散反射成分と彩度が同じで輝度のみが違う。そのため、求めた傾きＡを用いて、以下の式に基づき全ての画素において、彩度から出力画像の輝度を決めてやれば、それらは全て拡散反射成分の輝度と同じ値となり、結果として光沢成分は除去されたことになる。

拡大部１３は、このようにして得られた拡散反射成分を拡大する。拡大の倍率は、本実施形態においては縮小前のサイズになるように設定するが、所望のサイズになるよう適宜変更することもできる。

高周波加算部１５は、拡大された拡散反射成分に対して、高周波取得部１４によって取得された高周波成分を加算する。次いで、光沢成分取得部１６は、入力画像と、高周波加算部１５を通じて得られた拡散反射成分との差分から、光沢成分を取得する。この際は、複雑な計算は必要なく、既に拡散反射成分が得られていることから、単に差分を取得するのみで光沢成分が得られる。そして、光沢成分加算部１７は、入力画像に対して、取得した光沢成分に所定の処理、本実施形態においては光沢成分を強調する処理を行った後に加算する。その結果、光沢成分が強調された出力画像が得られる。

次に、本実施形態の画像処理の流れを図３を用いて説明する。図３に示されるように、高周波取得部１４は、入力画像から縮小によって失われる高周波成分を取得する（ステップＳ１０１）。次いで、縮小部１１は、入力画像のデータの縮小処理を行う（ステップＳ１０２）。次いで、抽出部１２は、縮小した画像から拡散反射成分を算出して取得する（ステップＳ１０３）。次いで、拡大部１３は、算出した拡散反射成分を拡大する（ステップＳ１０４）。次いで、高周波加算部１５は、拡大した拡散反射成分に高周波取得部１４が分離して取得した高周波成分を加算する（ステップＳ１０５）。次いで、光沢成分取得部１６は、入力画像と、高周波成分を加算した拡散反射成分との差分から光沢成分を取得する（ステップＳ１０６）。最後に、光沢成分加算部１７は、取得した光沢成分に対して所望の処理、本実施形態では、光沢成分強調するハイライト処理を行った後に加算する（ステップＳ１０７）。

以上に示した本実施形態の画像処理装置１においては、拡散反射成分を分離する処理を入力画像を縮小してから行うため、縮小することで画素が間引かれることになり、画素ごとに算出する必要のある拡散成分の算出にかかる処理に必要な処理能力を抑制することができるようになる。また、縮小されることで失われる高周波成分を、拡散反射成分に再度加える処理を行うことで、光沢成分を強調する処理を行った際に、仮に高周波成分を再度加えないまま処理を行った場合に入力画像との差分が大きくなるために発生する画像のエッジ部分の誤強調を抑制することができるようになる。

（第２の実施形態）
次に、第２の実施形態における画像処理装置１００について説明する。第２の実施形態においては、図４に示されるように、画像処理装置１００が新たに高周波非線形処理部１０１を備え、高周波非線形処理部１０１が高周波を非線形に補正した後に、拡散反射成分に対して補正後の高周波成分が加算される。

具体的には、高周波成分の入力値に対して、予め設定した出力値が出力されるように設定されている。図５は高周波非線形処理の一例を示したグラフである。例えば、図５は、高周波成分が比較的小さい場合には、出力値を出さないように抑えるようにした状態（出力値のグラフの傾きが小さい状態）を表している。この例のような処理を行うことで光沢成分の差分値が画像の高周波に対して小さいレンジのところにあることを利用し、本体光沢成分であった部分を光沢として残すことができる。

高周波取得部１４が取得した高周波成分には、光沢成分であった部分も含まれているため、この高周波成分を拡散反射成分に加えた場合、一部に光沢成分が含まれていることとなる。そこで、本実施形態の画像処理装置１００のように、取得された高周波成分の強度に応じて光沢成分の部分を抑制する処理を加えることで、この高周波成分に含まれていた光沢成分が除去されてしまい、光沢成分に欠損が生じることを抑制することができるようになる。

（第３の実施形態）
次に、第３の実施形態における画像処理装置２００について説明する。図６に示されるように、第３の実施形態においては、画像処理装置２００が新たに光沢非線形処理部２０１を備え、光沢非線形処理部２０１で光沢成分を非線形に処理した後に、拡散反射成分に対して補正後の高周波成分が加算される。

具体的には光沢成分の入力値に対して、予め非線形処理の入出力関係が決められている。図７に光沢非線形処理の例を示す。この例は光沢波成分が相対的に小さい場合には、出力値を出さないように抑える状態（出力値に対する傾きが小さい状態）を表している。この例のような処理を行うことで光沢成分の差分値が小さい時には、光沢成分を強調しないようにすることができる。

通常、高速に画像処理を行いたい場合に、画素数だけでなく画像の階調値（ｂｉｔ数）を落とすことにより高速化を図ることができるようになるが、失われた下位ｂｉｔが光沢として誤強調されてしまう。そこで、このように光沢成分が小さいときにその出力値を抑制する処理を行うことで、下位ｂｉｔの誤強調を抑制することができるようになる。

本実施形態にかかる画像処理装置１は、デジタルカメラなどのチップ上に実装されたＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、を備えたハードウェア構成により実現可能である。

本実施形態にかかる画像処理装置１の画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、本実施形態にかかる画像処理装置１の画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる画像処理装置１の画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施形態にかかる画像処理装置１の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態にかかる画像処理装置１の画像処理プログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画像処理装置
１１ 縮小部
１２ 抽出部
１３ 拡大部
１４ 高周波取得部
１５ 高周波加算部
１６ 光沢成分取得部
１７ 光沢成分加算部
１００ 画像処理装置
１０１ 高周波非線形処理部
２００ 画像処理装置
２０１ 光沢非線形処理部

Steven.A.Shafer, "Using Color to Separate Reflection Components", published by University of Rochester, Computer Science Department, on April, 1984.

Claims (5)

1. 入力された画像データを縮小して縮小データを出力する縮小部と、
   前記縮小データから、拡散反射成分を抽出する抽出部と、
   前記拡散反射成分を、入力された前記画像データの縮小前のサイズに拡大して拡大データを出力する拡大部と、
   入力された前記画像データと、縮小後の前記縮小データとの差分から、縮小によって除去された高周波成分を取得する高周波取得部と、
   取得した前記高周波成分を前記拡大データに加算した第１データを出力する高周波加算部と、
   入力された前記画像データと、前記第１データとの差分から、光沢成分を取得する光沢成分取得部と、を備える画像処理装置。
2. 入力された前記画像データに対し、取得した前記光沢成分に所定の処理を行った後に、加算する光沢成分加算部を更に備える請求項１に記載の画像処理装置。
3. 前記高周波取得部が取得した前記高周波成分に対し、前記高周波成分の低周波数寄りの領域においては、出力値を抑制して非線形データを出力する高周波非線形処理部を更に備え、
   前記高周波加算部は、前記高周波非線形処理部が出力した前記非線形データを前記拡大データに加算する請求項２に記載の画像処理装置。
4. 前記光沢成分取得部が取得した前記光沢成分において、前記光沢成分が低い領域における出力値を抑制した非線形光沢成分を出力する光沢非線形処理部を更に備え、
   前記光沢成分加算部は、前記非線形光沢成分を入力された前記画像データへと加算する請求項２に記載の画像処理装置。
5. 入力された画像データを縮小して縮小データを出力する縮小ステップと、
   前記縮小データから、拡散反射成分を抽出する抽出ステップと、
   前記拡散反射成分を、入力された前記画像データの縮小前のサイズに拡大して拡大データを出力する拡大ステップと、
   入力された前記画像データと、縮小後の前記縮小データとの差分から、縮小によって除去された高周波成分を取得する高周波取得ステップと、
   取得した前記高周波成分を前記拡大データに加算した第１データを出力する高周波加算ステップと、
   入力された前記画像データと、前記第１データとの差分から、光沢成分を取得する光沢成分取得ステップと、を含む画像処理方法。

Images