JP2015154307A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ロー信号を高画質の画像信号に変換する。【解決手段】ガンマ補正部３１は、画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成する。デモザイク部３２は、ガンマ補正部３１により生成されたログスケール信号に対してデモザイク処理を行い、画像信号を生成する。逆ガンマ補正部３３は、デモザイク部３２により生成された画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する。【選択図】図３

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ロー信号を高画質の画像信号に変換することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

単板のCCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサを有する撮像装置は、イメージセンサから出力された画像のリニアスケールのロー（RAW）信号に対してデモザイク処理を行い、RGBの画像信号を生成する。そして、撮像装置は、画像信号に対して輝度レベルの変化に応じた色域変換処理を行い、その後ガンマ補正処理を行うことにより、ログ（log）スケールの画像信号を生成する。

一方、近年、色域変換処理において色再現性を向上させる方法が考案されている（例えば、特許文献１参照）。

特開２０１１−３５８９４号公報

しかしながら、同一の色であっても輝度によってリニアスケールの色差は異なるため、リニアスケールのロー信号に対してデモザイク処理を行う場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。従って、デモザイク処理、色域変換処理、ガンマ補正処理の順に処理が行われて画像信号が生成される場合、画像信号の画質が悪い。

また、色域変換処理等はリニアスケールで行う必要があるため、ガンマ補正処理を色域変換処理の前に行うと、画像信号の画質は悪くなる。

本開示は、このような状況に鑑みてなされたものであり、ロー信号を高画質の画像信号に変換することができるようにするものである。

本開示の一側面の画像処理装置は、画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部とを備える画像処理装置である。

本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、画像のリニアスケールのロー信号に対してガンマ補正が行われて、ログスケール信号が生成され、前記ログスケール信号に対してデモザイク処理が行われて、画像信号が生成され、前記画像信号に対して逆ガンマ補正が行われて、リニアスケール信号が生成される。

本開示の一側面によれば、デモザイク処理を行うことができる。また、本開示の一側面によれば、ロー信号を高画質の画像信号に変換することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

画像処理装置の一例を示すブロック図である。 リニアスケールとログスケールの色差の輝度による変化を示す図である。 本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 ロー信号に対応する画像の画素の色配列の例を示す図である。 ガンマ補正に用いられるガンマ曲線の例を示す図である。 逆ガンマ補正に用いられる逆ガンマ曲線の例を示す図である。 図３の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 図８の符号化装置の符号化処理を説明するフローチャートである。 図８の復号装置の復号処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 図１１のデモザイク部の構成例を示すブロック図である。 図１１のデモザイク部のデモザイク処理を説明するフローチャートである。 学習装置の構成例を示すブロック図である。 図１４の学習装置の学習処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本開示の前提（図１、図２）
２．第１実施の形態：画像処理装置（図３乃至図７）
３．第２実施の形態：画像処理システム（図８乃至図１０）
４．第３実施の形態：画像処理装置（図１１乃至図１５）
５．第４実施の形態：コンピュータ（図１６）

＜本開示の前提＞
（画像処理装置の一例）
図１は、単板のCCDやCMOSイメージセンサから出力される画像のリニアスケールのロー信号に対してデモザイク処理を行う画像処理装置の一例を示すブロック図である。

図１の画像処理装置１０は、ホワイトバランス部１１、デモザイク部１２、色域変換部１３、およびガンマ補正部１４により構成される。画像処理装置１０は、例えば、単板のCCDやCMOSイメージセンサとともに撮像装置を構成するようにすることができる。

画像処理装置１０のホワイトバランス部１１は、図示せぬ単板のCCDやCMOSイメージセンサから出力されるリニアスケールのロー信号（モザイク信号Ｍ_Ｉ）に対して、ゲインを補正することによりホワイトバランスを調整するホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号（Ｍ_Ｗ）をデモザイク部１２に供給する。

デモザイク部１２は、ホワイトバランス部１１から供給されるロー信号に対して、DLMMSE(Directional Linear Minimum Mean Square-Error Estimation)法などを用いたデモザイク処理を行う。デモザイク部１２は、デモザイク処理の結果生成されるRGBの画像信号（Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄ）を色域変換部１３に供給する。

色域変換部１３は、デモザイク部１２から供給される画像信号に対して輝度レベルの変化に応じた色域変換処理を行い、ガンマ補正部１４に供給する。

ガンマ補正部１４は、色域変換部１３から供給される色域変換処理後の画像信号（Ｒ_ｃ，Ｇ_ｃ，Ｂ_ｃ）に対してガンマ補正を行い、その結果得られるログスケールの画像信号（Ｒ_γ，Ｇ_γ，Ｂ_γ）を出力する。

以上のように、画像処理装置１０では、リニアスケールのロー信号に対してデモザイク処理が行われる。

（リニアスケールとログスケールの色差の説明）
図２は、所定の色のリニアスケールとログスケールの色差の輝度による変化を示す図である。

なお、図２において、横軸は輝度を表し、縦軸はロー信号や画像信号のレベルを表す。

図２Ａに示すように、リニアスケールでは、色差(R-G)や(B-G)は輝度によって異なる。従って、画像処理装置１０のように、リニアスケールのロー信号に対してデモザイク処理が行われる場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。

即ち、例えば、DLMMSE法を用いたデモザイク処理では、各画素の画像信号の色差を周辺画素間のロー信号の差分を用いて予測するが、同一画面内で輝度が変化すると、各画素の画像信号の色差を精度良く予測することができない。その結果、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。

これに対して、図２Ｂに示すように、ログスケールでは、色差(R-G)や(B-G)は輝度によらず一定である。従って、ログスケールのロー信号に対してデモザイク処理が行われる場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生せず、画質劣化が低減される。

よって、本開示は、デモザイク処理の前にガンマ補正を行い、デモザイク処理に用いられるロー信号のスケールをログスケールにすることにより、画像信号の画質劣化を低減する。一方、本開示は、色域変換処理の前に逆ガンマ補正を行い、色域変換処理に用いられる画像信号のスケールをリニアスケールにすることにより、画像信号の画質劣化を防止する。

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図３は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３の画像処理装置３０の構成は、デモザイク部１２の代わりに、ガンマ補正部３１、デモザイク部３２、および逆ガンマ補正部３３が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置３０は、ロー信号のスケールをリニアスケールからログスケールに変換してデモザイク処理を行い、その結果得られるRGBの画像信号のスケールをリニアスケールに戻して色域変換を行う。

具体的には、画像処理装置３０のガンマ補正部３１は、ホワイトバランス部１１から出力されるホワイトバランス処理後の画像のリニアスケールのロー信号（Ｍ_Ｗ）に対してガンマ補正を行い、ログスケールのロー信号であるログスケール信号（Ｍ_γ）を生成する。ガンマ補正部３１は、ログスケール信号をデモザイク部３２に供給する。

デモザイク部３２は、ガンマ補正部３１から供給されるログスケール信号に対して、DLMMSE法などを用いたデモザイク処理を行い、ログスケールのRGBの画像信号（Ｒ_ｄ，Ｇ_ｄ，Ｂ_ｄ）を生成する。デモザイク部３２は、ログスケールのRGBの画像信号を逆ガンマ補正部３３に供給する。

逆ガンマ補正部３３は、デモザイク部３２から供給されるログスケールのRGBの画像信号に対して逆ガンマ補正を行い、リニアスケールのRGBの画像信号であるリニアスケール信号（Ｒ_Ｉ，Ｇ_Ｉ，Ｂ_Ｉ）を生成する。逆ガンマ補正部３３は、リニアスケール信号を色域変換部１３に供給する。色域変換部１３は、このリニアスケール信号に対して色域変換処理を行う。

（ロー信号に対応する画像の画素の色配列の例）
図４は、図３の画像処理装置３０に入力されるロー信号に対応する画像の画素の色配列の例を示す図である。

なお、図４において、丸は画素を表し、丸の中に記載されたR,G,Bは、その丸が表す画素に割り当てられた色（赤色、緑色、青色）を表す。

単板のCCDやCMOSイメージセンサでは、各画素に１つの色が割り当てられ、各画素のロー信号として、割り当てられた色の光の電気信号が取得される。各画素に割り当てられる色の配列、即ちロー信号に対応する画像の画素の色配列としては、例えば、図４に示すようなベイヤ配列が採用される。

画素ごとに１つの色の信号を有するロー信号は、デモザイク処理により、画素ごとに、赤色（R）、緑色（G）、および青色（B）の信号を有する画像信号に変換される。

（ガンマ補正の説明）
図５は、図３のガンマ補正部３１とガンマ補正部１４におけるガンマ補正に用いられるガンマ曲線の例を示す図である。

図５において、横軸は、ガンマ補正前の値（入力値）であり、縦軸は、ガンマ補正後の値（出力値）である。

ガンマ補正部３１とガンマ補正部１４は、図５に示すガンマ曲線を用いてガンマ補正を行い、スケールをリニアスケールからログスケールに変換する。

（逆ガンマ補正の説明）
図６は、図３の逆ガンマ補正部３３における逆ガンマ補正に用いられる逆ガンマ曲線の例を示す図である。

図６において、横軸は、逆ガンマ補正前の値（入力値）であり、縦軸は、逆ガンマ補正後の値（出力値）である。

逆ガンマ補正部３３は、図６に示す逆ガンマ曲線を用いて逆ガンマ補正を行い、スケールをログスケールからリニアスケールに変換する。

（画像処理装置の処理の説明）
図７は、図３の画像処理装置３０の画像処理を説明するフローチャートである。この画像処理は、例えば、図示せぬ単板のCCDやCMOSイメージセンサから画像のリニアスケールのロー信号が入力されたとき、開始される。

ステップＳ１１において、画像処理装置３０のホワイトバランス部１１は、入力されたロー信号に対して、ホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号をガンマ補正部３１に供給する。

ステップＳ１２において、ガンマ補正部３１は、ホワイトバランス部１１から供給されるホワイトバランス処理後のロー信号に対してガンマ補正を行い、ログスケール信号を生成する。ガンマ補正部３１は、ログスケール信号をデモザイク部３２に供給する。

ステップＳ１３において、デモザイク部３２は、ガンマ補正部３１から供給されるログスケール信号に対して、DLMMSE法などを用いたデモザイク処理を行い、RGBの画像信号を生成する。デモザイク部３２は、RGBの画像信号を逆ガンマ補正部３３に供給する。

ステップＳ１４において、逆ガンマ補正部３３は、デモザイク部３２から供給されるログスケールのRGBの画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する。逆ガンマ補正部３３は、リニアスケール信号を色域変換部１３に供給する。ステップＳ１５において、色域変換部１３は、逆ガンマ補正部３３から供給されるリニアスケール信号に対して色域変換処理を行い、ガンマ補正部１４に供給する。

ステップＳ１６において、ガンマ補正部１４は、色域変換部１３から供給される色域変換処理後のリニアスケール信号に対してガンマ補正を行い、その結果得られるログスケールの画像信号を出力する。そして、処理は終了する。

以上のように、画像処理装置３０では、ガンマ補正部３１が、画像のリニアスケールのロー信号に対してガンマ補正を行い、デモザイク部３２が、その結果得られるログスケール信号に対してデモザイク処理を行う。従って、DLMMSE法を用いたデモザイク処理において各画素の画像信号の色差を精度良く予測し、画像信号における偽色やジッパーノイズなどのアーティファクトの発生を低減することができる。

また、画像処理装置３０では、逆ガンマ補正部３３が、デモザイク処理の結果得られるRGBの画像信号に対して逆ガンマ補正を行うので、色域変換処理をリニアスケールの画像信号に対して行うことができる。従って、画像信号の画質の劣化を防止することができる。

その結果、画像処理装置３０は、ロー信号を、アーティファクトの発生が低減され、リニアスケールで色域変換処理が行われた高画質の画像信号に変換することができる。

なお、除算を用いて色差を求めることにより、リニアスケールの色差を輝度によらず一定にし、画像信号におけるアーティファクトの発生を低減することもできるが、除算は減算に比べて大きい回路規模と多くの演算時間を要するため、望ましくない。

＜第２実施の形態＞
（画像処理システムの一実施の形態の構成例）
図８は、本開示を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

図８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図８の画像処理システム５０は、符号化装置５１、伝送路５２、および復号装置５３により構成される。画像処理システム５０では、符号化装置５１により符号化されたロー信号が、伝送路５２を介して復号装置５３に伝送され、画像信号に変換される。

具体的には、符号化装置５１は、ホワイトバランス部１１とエンコード部６１により構成される。エンコード部６１は、ホワイトバランス部１１から出力されるホワイトバランス処理後のロー信号を所定の符号化方式で符号化する。エンコード部６１は、符号化されたロー信号を、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の伝送路５２を介して、復号装置５３に送信する。

復号装置５３は、デコード部６２、ガンマ補正部３１、デモザイク部３２、逆ガンマ補正部３３、色域変換部１３、およびガンマ補正部１４により構成される。デコード部６２は、伝送路５２を介して符号化装置５１から送信されてくる符号化されたロー信号を受信し、エンコード部６１の符号化方式に対応する方式で復号する。デコード部６２は、復号の結果得られるロー信号をガンマ補正部３１に供給する。ガンマ補正部３１は、デコード部６２から供給されるロー信号に対してガンマ補正を行う。

（画像処理システムの処理の説明）
図９は、図８の画像処理システム５０の符号化装置５１の符号化処理を説明するフローチャートである。この符号化処理は、例えば、図示せぬ単板のCCDやCMOSイメージセンサから画像のリニアスケールのロー信号が入力されたとき、開始される。

ステップＳ３１において、符号化装置５１のホワイトバランス部１１は、入力されたロー信号に対して、ホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号をエンコード部６１に供給する。

ステップＳ３２において、エンコード部６１は、ホワイトバランス部１１から供給されるロー信号に対して所定の符号化方式の符号化を行う。ステップＳ３３において、エンコード部６１は、符号化されたロー信号を、伝送路５２を介して復号装置５３に送信する。そして、処理は終了する。

図１０は、画像処理システム５０の復号装置５３の復号処理を説明するフローチャートである。この復号処理は、符号化装置５１から伝送路５２を介して符号化されたロー信号が送信されてきたとき、開始される。

ステップＳ５１において、復号装置５３のデコード部６２は、符号化されたロー信号を受信する。ステップＳ５２において、デコード部６２は、符号化されたロー信号に対して、エンコード部６１の符号化方式に対応する方式の復号を行い、その結果得られるロー信号をガンマ補正部３１に供給する。

ステップＳ５３において、ガンマ補正部３１は、デコード部６２から供給されるロー信号に対してガンマ補正を行うことによりログスケール信号を生成し、デモザイク部３２に供給する。

ステップＳ５４乃至Ｓ５７の処理は、図７のステップＳ１３乃至Ｓ１６の処理と同様であるので、説明は省略する。

なお、第２実施の形態では、符号化されたロー信号が伝送路５２を介して符号化装置５１から復号装置５３に伝送されたが、記録媒体を介して伝送されるようにしてもよい。即ち、符号化装置５１は、符号化されたロー信号を記録媒体に記録し、復号装置５３は、記録媒体から符号化されたロー信号を読み出すようにしてもよい。

＜第３実施の形態＞
（画像処理装置の構成例）
図１１は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図１１に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の画像処理装置７０の構成は、デモザイク部３２の代わりにデモザイク部７１が設けられる点が、図３の画像処理装置３０の構成と異なる。画像処理装置７０は、クラス分類適応処理によりデモザイク処理を行う。

具体的には、画像処理装置７０のデモザイク部７１は、ガンマ補正部３１から供給されるログスケール信号に対して、クラス分類適応処理によりデモザイク処理を行い、ログスケールのRGBの画像信号を生成する。デモザイク部７１は、ログスケールのRGBの画像信号を逆ガンマ補正部３３に供給する。

（デモザイク部の構成例）
図１２は、図１１のデモザイク部７１の構成例を示すブロック図である。

図１２のデモザイク部７１は、ブロック化部９１、ADRC処理部９２、クラス分類部９３、適応処理部９４、および係数メモリ９５により構成され、特開２０００−３０８０７９号公報に記載されているデモザイク処理と同様のデモザイク処理を行う。

具体的には、デモザイク部７１のブロック化部９１は、デモザイク処理により生成するRGBの画像信号に対応する画像のうちの各画素を、順に、注目している画素である注目画素とする。ブロック化部９１は、生成する画像信号の色ごとに、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を、クラスタップとして抽出する。

このクラスタップは、注目画素に対応するログスケール信号の画素の色とデモザイク処理により生成する画像信号の色によって異なる。例えば、ロー信号に対応する色配列が図４の色配列である場合、注目画素に対応する画素が、赤色の画素、赤色の画素の間の緑色の画素、青色の画素、および青色の画素の間の緑色の画素のいずれであるかと、デモザイク処理により生成する画像信号の色が、赤色、緑色、青色のいずれであるかとによって、クラスタップは異なる。ブロック化部９１は、抽出されたクラスタップをADRC処理部９２に供給する。

また、ブロック化部９１は、ログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を予測タップとして抽出し、適応処理部９４に供給する。なお、クラスタップと予測タップに対応する画素は同一であってもよいし、異なっていてもよい。

ADRC処理部９２は、ブロック化部９１から供給されるクラスタップに対してADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成する。

具体的には、ADRC処理部９２は、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理を行う。

式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目のログスケール信号を表し、qiは、クラスタップのi番目のログスケール信号の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。ADRC処理部９２は、再量子化コードをクラス分類部９３に供給する。

クラス分類部９３は、生成する画像信号の色ごとに、ADRC処理部９２から供給される再量子化コードに基づいて注目画素をクラスに分類する。具体的には、クラス分類部９３は、再量子化コードを用いて、以下の式（２）により、クラスを表すクラス番号classを算出する。

式（２）において、ｎは、クラスタップを構成するログスケール信号の数である。クラス分類部９３は、クラス番号を適応処理部９４に供給する。

係数メモリ９５は、クラス分類部９３により分類されるクラス番号に対応する予測係数を記憶する。この予測係数は、後述するように、クラス番号ごとに、画像信号に対応する教師信号と、ログスケール信号に対応する生徒信号とを用いて、各画素の教師信号、その画素に対応する画素の生徒信号、および予測係数の関係を示す正規方程式を解くことにより予め学習された予測係数である。

適応処理部９４は、色ごとに、クラス分類部９３から供給されるクラス番号に対応する予測係数を係数メモリ９５から読み出す。適応処理部９４は、色ごとに、係数メモリ９５から読み出された予測係数と、ブロック化部９１から供給される予測タップとの予測演算により、注目画素の画像信号を生成する。適応処理部９４は、各画素のRGBの画像信号を図１１の逆ガンマ補正部３３に供給する。

なお、デモザイク部７１は、ADRC処理を用いてクラス番号を算出するが、ADRC処理以外の処理を用いてクラス番号を算出するようにしてもよい。例えば、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮処理を応用し、データ圧縮処理結果のデータ量をクラス番号とするようにしてもよい。

（予測演算の説明）
次に、図１２の適応処理部９４における予測演算と、その予測演算に用いられる予測係数の学習について説明する。

いま、予測演算として、例えば、線形１次予測演算を採用することとすると、各画素のRGBの各色の画像信号ｙは、次の線形１次式によって求められることになる。

式（３）において、ｘ_ｉは、画像信号ｙについての予測タップを構成するログスケール信号のうちのｉ番目の画素のログスケール信号を表し、Ｗ_ｉは、そのｉ番目の画素のログスケール信号と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成するログスケール信号に対応する画素の数を表している。これらのことは、以下の式（４），（５），（７）、および（１０）においても同様である。

また、第ｋサンプルの各画素のRGBの各色の画像信号ｙの予測値をｙ_ｋ’と表すと、予測値ｙ_ｋ’は以下の式（４）で表される。

式（４）において、ｘ_ｋｉは、予測値ｙ_ｋ’の真値についての予測タップを構成するログスケール信号のうちのi番目の画素のログスケール信号を表す。このことは、後述する式（５），（８）、および（９）においても同様である。

また、予測値ｙ_ｋ’の真値をｙ_ｋと表すと、予測誤差ｅ_ｋは、以下の式（５）で表される。

式（５）の予測誤差ｅ_ｋを０とする予測係数Ｗ_ｉが、真値ｙ_ｋを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、予測係数Ｗ_ｉは一意に定まらない。

そこで、予測係数Ｗ_ｉが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗ_ｉは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを予測係数Ｗ_ｉで偏微分したものを０とするＷ_ｉによって与えられる。

以下の式（８）および式（９）に示すようにＸ_ｉｊとＹ_ｉを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。

式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、予測係数Ｗ_ｉについて解くことができる。

以上により、クラス番号ごとの最適な予測係数Ｗ_ｉの学習は、式（１０）の正規方程式をクラス番号ごとにたてて解くことにより行うことができる。

なお、画像信号ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。

（画像処理装置の処理の説明）
図１１の画像処理装置７０の画像処理は、図７のステップＳ１３のデモザイク処理を除いて、図７の画像処理と同様である。従って、以下では、デモザイク処理についてのみ説明する。

図１３は、画像処理装置７０のデモザイク部７１のデモザイク処理を説明するフローチャートである。

ステップＳ７０において、デモザイク部７１のブロック化部９１(図１２)は、デモザイク処理により生成するRGBの画像信号に対応する画像のうちのまだ注目画素に決定されていない画素を、注目画素に決定する。

ステップＳ７１において、ブロック化部９１は、生成する画像信号の色ごとに、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号をクラスタップとして抽出し、ADRC処理部９２に供給する。

ステップＳ７２において、ブロック化部９１は、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を予測タップとして抽出し、適応処理部９４に供給する。

ステップＳ７３において、ADRC処理部９２は、ブロック化部９１から供給されるクラスタップに対してADRC処理を行って再量子化コードを生成し、クラス分類部９３に供給する。

ステップＳ７４において、クラス分類部９３は、生成する画像信号の色ごとに、ADRC処理部９２から供給される再量子化コードに基づいて注目画素をクラスに分類する。クラス分類部９３は、分類されたクラスを表すクラス番号を適応処理部９４に供給する。

ステップＳ７５において、適応処理部９４は、色ごとに、クラス分類部９３から供給されるクラス番号に対応する予測係数を係数メモリ９５から読み出す。ステップＳ７６において、適応処理部９４は、色ごとに、ブロック化部９１から供給される予測タップと係数メモリ９５から読み出された予測係数との予測演算により、注目画素の画像信号を生成する。

ステップＳ７７において、ブロック化部９１は、デモザイク処理により生成するRGBの画像信号に対応する画像を構成する全ての画素を注目画素にしたかどうかを判定する。ステップＳ７７でまだ全ての画素を注目画素にしていないと判定された場合、処理はステップＳ７０に戻り、全ての画素が注目画素にされるまで、ステップＳ７０乃至Ｓ７７の処理が繰り返される。

一方、ステップＳ７７で全ての画素を注目画素にしたと判定された場合、適応処理部９４は、全ての画素のRGBの画像信号を図１１の逆ガンマ補正部３３に供給する。そして、デモザイク処理は終了する。

以上のように、画像処理装置７０では、ガンマ補正部３１が、画像のリニアスケールのロー信号に対してガンマ補正を行い、デモザイク部７１が、その結果得られるログスケール信号に対してクラス分類適応処理によるデモザイク処理を行う。従って、デモザイク処理後のRGBの画像信号を精度良く予測することができる。

即ち、上述したように、リニアスケールでは、同一の色であっても輝度に応じて色差が異なるので、リニアスケールのロー信号を用いて予測係数の学習や予測演算が行われる場合、学習精度や予測精度が悪い。しかしながら、ログスケールでは、輝度に応じて色差が変化しないため、ログスケールのロー信号を用いて予測係数の学習や予測演算が行われる場合、学習精度や予測精度が良い。その結果、デモザイク処理後のRGBの画像信号における偽色やジッパーノイズなどのアーティファクトの発生を低減することができる。

（学習装置の構成例）
図１４は、図１２の係数メモリ９５に記憶される予測係数を学習する学習装置１１０の構成例を示すブロック図である。

図１４の学習装置１１０は、間引き部１１１、ブロック化部１１２、ADRC処理部１１３、クラス分類部１１４、抽出部１１５、および演算部１１６により構成される。

学習装置１１０には、予測係数の学習に用いられる教師信号として、複数の学習用の画像の理想的なRGBの画像信号が入力される。

学習装置１１０の間引き部１１１は、ログスケール信号に対応する色配列にしたがって、外部から入力される教師信号から２つの色の画像信号を間引くことにより、ログスケール信号に対応する生徒信号を生成する。間引き部１１１は、生徒信号をブロック化部１１２に供給する。

ブロック化部１１２は、各教師信号に対応する画像のうちの各画素を、順に、注目画素とする。ブロック化部１１２は、教師信号の色ごとに、間引き部１１１から供給される生徒信号から、図１２のブロック化部９１と同様にクラスタップを抽出し、ADRC処理部１１３に供給する。また、ブロック化部１１２は、生徒信号から、ブロック化部９１と同様に予測タップを抽出し、演算部１１６に供給する。

ADRC処理部１１３は、ブロック化部１１２から供給されるクラスタップに対して、ADRC処理部９２と同様にADRC処理を行って再量子化コードを生成し、クラス分類部１１４に供給する。

クラス分類部１１４は、教師信号の色ごとに、ADRC処理部１１３から供給される再量子化コードに基づいて、クラス分類部９３と同様に注目画素をクラスに分類し、その結果得られるクラス番号を演算部１１６に供給する。

抽出部１１５は、外部から入力される教師信号から注目画素の教師信号を抽出し、演算部１１６に供給する。

演算部１１６は、抽出部１１５から供給される注目画素の教師信号の色ごとに、その教師信号と、ブロック化部１１２から供給される予測タップとを対象とした足し込みを、クラス分類部１１４から供給される注目画素のクラス番号について行う。

具体的には、演算部１１６は、注目画素の各色のクラス番号について、予測タップの各画素の生徒信号をｘ_ｋｉおよびｘ_ｋｊ（i,j=1,2,・・・,n）として、式（１０）の左辺の行列におけるｘ_ｋｉ×ｘ_ｋｊを演算し、積算する。

また、演算部１１６は、注目画素の各色のクラス番号について、その色の注目画素の教師信号をｙ_ｋとし、生徒信号をｘ_ｋｉとして、式（１０）の右辺の行列におけるｘ_ｋｉ×ｙ_ｋを演算し、積算する。

そして、演算部１１６は、全ての教師信号の全ての画素を注目画素として足し込みを行うことにより生成された、クラス番号ごとの式（１０）の正規方程式を解くことにより、クラス番号ごとに最適な予測係数を求める。このクラス番号ごとの予測係数は、図１２の係数メモリ９５に記憶される。

(学習処理の説明)
図１５は、図１４の学習装置１１０の学習処理を説明するフローチャートである。この学習処理は、例えば、学習装置１１０に教師信号が入力されたとき、開始される。

図１５のステップＳ９１において、学習装置１１０の間引き部１１１は、ログスケール信号に対応する色配列にしたがって教師信号から２つの色の画像信号を間引くことにより、ログスケール信号に対応する生徒信号を生成する。間引き部１１１は、生徒信号をブロック化部１１２に供給する。

ステップＳ９２において、ブロック化部１１２は、教師信号に対応する画像のうちのまだ注目画素に決定していない画素を、注目画素に決定する。ステップＳ９３において、ブロック化部１１２は、教師信号の色ごとに、間引き部１１１から供給される生徒信号からクラスタップを抽出し、ADRC処理部１１３に供給する。ステップＳ９４において、ブロック化部１１２は、生徒信号から予測タップを抽出し、演算部１１６に供給する。

ステップＳ９５において、ADRC処理部１１３は、ブロック化部１１２から供給されるクラスタップに対してADRC処理を行って再量子化コードを生成し、クラス分類部１１４に供給する。

ステップＳ９６において、クラス分類部１１４は、教師信号の色ごとに、ADRC処理部１１３から供給される再量子化コードに基づいて注目画素をクラスに分類し、その結果得られるクラス番号を演算部１１６に供給する。

ステップＳ９７において、抽出部１１５は、外部から入力される教師信号から注目画素の教師信号を抽出し、演算部１１６に供給する。ステップＳ９８において、演算部１１６は、抽出部１１５からの注目画素の教師信号の色ごとに、その教師信号と、ブロック化部１１２からの予測タップとを対象とした足し込みを、クラス分類部１１４から供給される注目画素のクラス番号について行う。

ステップＳ９９において、ブロック化部１１２は、教師信号に対応する画像のうちの全ての画素を注目画素にしたかどうかを判定する。ステップＳ９９でまだ全ての画素を注目画素にしていないと判定された場合、処理はステップＳ９２に戻り、全ての画素が注目画素にされるまで、ステップＳ９２乃至Ｓ９９の処理が繰り返される。

一方、ステップＳ９９で全ての画素を注目画素にしたと判定された場合、ステップＳ１００において、間引き部１１１は、外部から新たな教師信号が入力されたかどうかを判定する。ステップＳ１００で新たな教師信号が入力されたと判定された場合、処理はステップＳ９１に戻り、新たな教師信号が入力されなくなるまで、ステップＳ９１乃至Ｓ１００の処理が繰り返される。

一方、ステップＳ１００で新たな教師信号が入力されていないと判定された場合、ステップＳ１０１において、演算部１１６は、ステップＳ９８の処理により生成された、クラス番号ごとの式（１０）の正規方程式を解く。これにより、演算部１１６は、クラス番号ごとに最適な予測係数を求める。そして、処理は終了する。

＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、第２実施の形態において、デモザイク部３２の代わりにデモザイク部７１が設けられるようにしてもよい。また、ロー信号に対応する画素に割り当てられる色、および、各画素の画像信号の色は、赤色（R）、緑色（G）、および青色（B）以外の色であってもよい。

また、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本開示は、以下のような構成もとることができる。

（１）
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
を備える画像処理装置。
（２）
前記デモザイク部は、クラス分類適応処理により前記デモザイク処理を行う
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記デモザイク部は、前記画像信号に対応する教師信号と、前記ログスケール信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像信号に対応する画像のうちの注目している画素である注目画素に対応する画素の前記ログスケール信号からなる予測タップとの演算により、前記注目画素の前記画像信号を生成する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記逆ガンマ補正部により生成された前記リニアスケール信号に対して色域変換を行う色域変換部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
符号化された前記ロー信号を復号する復号部
をさらに備え、
前記ガンマ補正部は、前記復号部により復号された前記ロー信号に対して前記ガンマ補正を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正ステップと、
前記ガンマ補正ステップの処理により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイクステップと、
前記デモザイクステップの処理により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正ステップと
を含む画像処理方法。
（７）
コンピュータを、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
して機能させるためのプログラム。

１０ 画像処理装置， １３ 色域変換部， ３１ ガンマ補正部， ３２ デモザイク部， ３３ 逆ガンマ補正部， ５０ 画像処理システム， ６２ デコード部， ７０ 画像処理装置， ７１ デモザイク部

Claims (7)

1. 画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
   前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
   前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
   を備える画像処理装置。
2. 前記デモザイク部は、クラス分類適応処理により前記デモザイク処理を行う
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記デモザイク部は、前記画像信号に対応する教師信号と、前記ログスケール信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像信号に対応する画像のうちの注目している画素である注目画素に対応する画素の前記ログスケール信号からなる予測タップとの演算により、前記注目画素の前記画像信号を生成する
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記逆ガンマ補正部により生成された前記リニアスケール信号に対して色域変換を行う色域変換部
   をさらに備える
   請求項１に記載の画像処理装置。
5. 符号化された前記ロー信号を復号する復号部
   をさらに備え、
   前記ガンマ補正部は、前記復号部により復号された前記ロー信号に対して前記ガンマ補正を行う
   ように構成された
   請求項１に記載の画像処理装置。
6. 画像処理装置が、
   画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正ステップと、
   前記ガンマ補正ステップの処理により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイクステップと、
   前記デモザイクステップの処理により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正ステップと
   を含む画像処理方法。
7. コンピュータを、
   画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
   前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
   前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
   して機能させるためのプログラム。

Images