JP2018142778A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】ビット拡張されたカラー映像信号の有彩色部分に生じる偽色を簡便かつ有効に低減することができる画像処理装置等を提供する。【解決手段】カラー映像信号をＮビットからＭ（Ｍ＞Ｎ）ビットへ拡張するビット拡張部２３と、Ｍビットに拡張されたカラー映像信号に（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正部２４と、レベル補正が行われたカラー映像信号にホワイトバランス補正を行うホワイトバランス補正部２５と、を備える画像処理装置１。【選択図】図２

Description

本発明は、カラー映像信号にホワイトバランス補正を行う画像処理装置、画像処理方法、画像処理プログラムに関する。

アナログ信号は信号値が連続的に変化し得るのに対して、デジタル信号は所定の量子化単位で変化する。このために、アナログの画像信号をデジタル化して得られたＲＡＷ画像データには量子化誤差が含まれている。

こうしたＲＡＷ画像データに対して行われる画像処理には、一般的に、色信号毎に異なるホワイトバランスゲインを乗算するホワイトバランス補正の処理が含まれている。しかし、量子化誤差が含まれているＲＡＷ画像データにホワイトバランスゲインを乗算すると、色信号毎に拡大される誤差の大きさが異なるために、色信号間のカラーバランスがずれた偽色となって顕在化することがある。

こうした偽色は、無彩色部分において特に目立ってしまう。そこで、例えば特開２０１５−２０７８２５号公報には、無彩色部分の偽色を低減する技術が記載されている。

ところで、近年の撮像装置には、撮像駆動モードとして、撮像データを高速で読み出すことができる高速読み出しモードを備えたものがあり、例えば高速連写撮影を行う場合、あるいは動きが滑らかな高速フレームレートの動画撮影を行う場合などに利用されている。このような高速読み出しモードは、通常読み出しモードよりも、Ａ／Ｄ変換におけるビット数を低く抑えることで、読出時間の短縮を図った読み出しモードである。

特開２０１５−２０７８２５号公報

上述したような量子化誤差を色信号毎に異なるゲインで拡大することにより生じる偽色は、無彩色部分だけでなく、有彩色部分にも発生する。しかしながら、上記特開２０１５−２０７８２５号公報に記載の技術では、こうした有彩色部分に生じる偽色の低減については言及されていない。

無彩色部分に生じる偽色は、有彩色部分に生じる偽色に比べて顕在化し易い。ただし、有彩色部分であっても、注目画素に生じている偽色が、注目画素の周辺画素の色に対して補色である場合には、視覚的に認識されて顕在化することがある。あるいは、補色でなくても、注目画素に生じている偽色が、注目画素の周辺画素の色に対して色相を乖離させる偽色である場合には、同様に視覚的に認識されて顕在化することがある。

このとき、上述した高速読み出しモードで読み出された画像データは、通常読み出しモードで読み出された画像データと同じビット数にビット拡張してから画像処理等が行われるが、ビット拡張を行うと量子化誤差も拡大してしまうことになり、量子化誤差に起因する偽色がより目立つことになる。

本発明は上記事情に鑑みてなされたものであり、ビット拡張されたカラー映像信号の有彩色部分に生じる偽色を簡便かつ有効に低減することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。

本発明の一態様による画像処理装置は、カラー映像信号を処理するための画像処理装置であって、ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張部と、前記ビット拡張部によりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正部と、前記レベル補正部により前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正部と、を備える。

本発明の他の態様による画像処理方法は、カラー映像信号を処理するための画像処理方法であって、ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張ステップと、前記ビット拡張ステップによりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正ステップと、前記レベル補正ステップにより前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正ステップと、を備える。

本発明のさらに他の態様による画像処理プログラムは、コンピュータに、カラー映像信号を処理させるための画像処理プログラムであって、ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張ステップと、前記ビット拡張ステップによりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正ステップと、前記レベル補正ステップにより前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正ステップと、をコンピュータに実行させるための画像処理プログラムである。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、ビット拡張されたカラー映像信号の有彩色部分に生じる偽色を簡便かつ有効に低減することができる。

本発明の実施形態１の画像処理装置の構成を示すブロック図。 上記実施形態１の画像処理部の構成を示すブロック図。 上記実施形態１の画像処理部の作用を示すフローチャート。 上記実施形態１におけるＲｍレベル補正を示すフローチャート。 上記実施形態１におけるＢｍレベル補正を示すフローチャート。 上記実施形態１においてＲｍレベル補正の変形例を示すフローチャート。 上記実施形態１においてＢｍレベル補正の変形例を示すフローチャート。 上記実施形態１において、レベル補正を行うことなくホワイトバランス補正を行った場合のＲ信号Ｒｗｂ、Ｇ信号Ｇｍ、およびＢ信号Ｂｗｂの例を、ビット拡張の様子と共に示すグラフ。 上記実施形態１において、Ｒ信号のレベル補正最大値Ｒｆとレベル補正を行ったＲ信号Ｒｃとにホワイトバランス補正を行ったときの例を示すグラフ。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図９は本発明の実施形態１を示したものであり、図１は画像処理装置１の構成を示すブロック図である。

図１に示すように、この画像処理装置１は、デジタルのカラー映像信号（以下では単に、カラー映像信号あるいは画像データなどという）を処理するためのものであり、記録媒体１０と、メモリインタフェース（メモリＩ／Ｆ）１１と、バス１２と、ＳＤＲＡＭ１３と、画像処理部１４と、ＪＰＥＧ処理部１５と、動画コーデック１６と、操作部１７と、フラッシュメモリ１８と、マイクロコンピュータ１９と、を備えている。

記録媒体１０は、例えば画像処理装置１に着脱できるメモリカード等により構成されていて、画像データ（動画像データ、静止画像データ等）を不揮発に記憶する記録部である。従って、記録媒体１０は、画像処理装置１に固有の構成である必要はない。

なお、本実施形態においては、画像処理装置１が、例えば記録媒体１０を介して画像データを入力するものとして説明するが、これに限定されるものではなく、通信回線等を介して画像データを入力する構成であっても構わないし、画像処理装置１が撮像装置に組み込まれたものである場合には、撮像装置で撮像して取得された画像データを処理する構成としても良い。

そして、画像データは、レンズにより結像された被写体の光学像を、例えば、原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子により光電変換し、さらにＡ／Ｄ変換して得られたデジタルのカラー画像信号、つまりいわゆるＲＡＷ画像データであるものとする。

このとき、撮像素子は、例えば、通常読み出しモードと、高速読み出しモードと、で動作することができるようになっている。ここに、通常読み出しモードは、例えば静止画撮影を行う場合などに用いられる。また、高速読み出しモードは、例えば高速連写撮影を行う場合、あるいは動きが滑らかな高速フレームレートの動画撮影を行う場合などに用いられる。そして、高速読み出しモードは、通常読み出しモードよりも、Ａ／Ｄ変換におけるビット数を低く抑えることで、読出時間の短縮を図った読み出しモードである。すなわち、通常読み出し時には例えばＭビットＡ／Ｄ変換が行われ、高速読み出し時にはＮビットＡ／Ｄ変換が行われるようになっている。ここに、Ｍ，Ｎは、Ｍ＞Ｎを満たす正の整数である。具体的な数値の一例を挙げれば、Ｍ＝１０、Ｎ＝８である。

メモリＩ／Ｆ１１は、記録媒体１０に記録されている画像データを読み出す制御を行う読出制御部であり、さらに、画像処理後の画像データを記録媒体１０へ記録する制御を行う記録制御部でもある。

バス１２は、各種のデータや制御信号を、画像処理装置１内のある場所から他の場所へ転送するための転送路である。本実施形態におけるバス１２は、メモリＩ／Ｆ１１と、ＳＤＲＡＭ１３と、画像処理部１４と、ＪＰＥＧ処理部１５と、動画コーデック１６と、マイクロコンピュータ１９と、に接続されている。

そして、メモリＩ／Ｆ１１により記録媒体１０から読み出された画像データは、バス１２を介して転送され、ＳＤＲＡＭ１３に一旦記憶される。

ＳＤＲＡＭ１３は、記録媒体１０から読み出された画像データ、画像処理部１４により処理されもしくは処理途中の画像データ、動画コーデック１６により処理されもしくは処理途中の画像データ、等の各種データを一時的に記憶する記憶部である。

画像処理部１４は、画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成する。

ＪＰＥＧ処理部１５は、静止画像データを、ＪＰＥＧ処理により圧縮または伸張する圧縮伸張部である。このＪＰＥＧ処理部１５により処理された静止画像データは、マイクロコンピュータ１９によりヘッダ等を付加されて、メモリＩ／Ｆ１１を介して記録媒体１０にＪＰＥＧファイルとして記録される。

動画コーデック１６は、動画像データを、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどの適宜の処理方式で圧縮伸張するものである。この動画コーデック１６により処理された動画像データは、マイクロコンピュータ１９によりヘッダ等を付加されて、メモリＩ／Ｆ１１を介して記録媒体１０に動画像ファイルとして記録される。

操作部１７は、この画像処理装置１に対する各種の操作入力を行うためのものであり、画像処理装置１の電源のオン／オフ、画像処理の開始／終了、画像処理における各種パラメータの設定、記録媒体１０に対する画像ファイルの読み出しや保存などを操作することができるようになっている。この操作部１７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ１９へ出力される。

フラッシュメモリ１８は、マイクロコンピュータ１９により実行される処理プログラム（画像処理装置１により画像処理方法を実行するためのプログラムである画像処理プログラムを含む）と、この画像処理装置１に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ１８が記憶する情報としては、例えば、画像処理に用いるパラメータ、テーブル、関数、あるいはユーザにより設定された設定値などが挙げられる。具体的に、フラッシュメモリ１８には、光源の種類（例えば、昼間太陽、朝夕太陽、電球、蛍光灯など）に応じたホワイトバランスゲインが記憶されている。このフラッシュメモリ１８が記憶する情報は、マイクロコンピュータ１９により読み取られる。

マイクロコンピュータ１９は、画像処理装置１を統括的に制御する制御部である。マイクロコンピュータ１９は、操作部１７からユーザの操作入力を受けると、フラッシュメモリ１８に記憶されている処理プログラムに従って、フラッシュメモリ１８から処理に必要なパラメータ等を読み込んで、操作内容に応じた各種のシーケンスを実行する。

例えば、対象となる画像が選択されて、画像処理の実行が開始されると、マイクロコンピュータ１９の制御に基づいて、記録媒体１０からメモリＩ／Ｆ１１を介して画像データが読み出され、バス１２を介してＳＤＲＡＭ１３に記憶される。さらに、マイクロコンピュータ１９の制御に基づいて、画像処理部１４により画像処理が行われ、画像処理後の画像データが再びＳＤＲＡＭ１３に記憶される。この画像処理後の画像データは例えばモニタなどの表示部に表示される。ユーザは、モニタに表示された画像を見て、必要に応じて処理パラメータの設定値を変更して、画像処理を再度実行することもできる。そして、画像データが静止画像データである場合にはＪＰＥＧ処理部１５によりＪＰＥＧ圧縮され、また、画像データが動画像データである場合には動画コーデック１６により動画圧縮されて、画像ファイルとして記録媒体１０に記録される。

なお、画像処理装置１は、専用の処理装置として構成されていても良いし、コンピュータに画像処理プログラムを実行させる構成であっても構わない。あるいは、画像処理装置１は、撮像装置内に組み込まれたものであっても構わない。

次に、図２は画像処理部１４の構成を示すブロック図、図３は画像処理部１４の作用を示すフローチャートである。

図２に示すように、画像処理部１４は、ＯＢ減算部２１と、デモザイキング処理部２２と、ビット拡張部２３と、レベル補正部２４と、ホワイトバランス補正部２５と、無彩色補正部２６と、色マトリクス演算部２７と、階調変換部２８と、を備えている。

そして、画像処理装置１における図示しないメイン処理から図３に示す処理に入ると、ＯＢ減算部２１は、画像データにＯＢ（オプティカル・ブラック）成分が含まれている場合に、ＯＢ成分の減算を行う（ステップＳ１）。従って、ＯＢ成分が含まれている画像データの場合には、記録媒体１０にＯＢ成分も記録されていてメモリＩ／Ｆ１１により読み出されることになる。

デモザイキング処理部２２は、デモザイキング処理を行う（ステップＳ２）。すなわち、デモザイキング処理部２２は、１画素に付き１色の色信号のみが存在するＲＧＢベイヤー画像において、ある色信号が欠落する画素の該色信号を、該画素の近傍において同色の色信号を有する画素の色信号に基づき補間することを、各画素の各欠落色信号に対して行うことにより、１画素に付きＲＧＢ各色の色信号が存在する画像を生成する。

ビット拡張部２３は、ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張する（ステップＳ３）。従って、ビット拡張部２３は、画像データのビット数がＭビットである場合には、特段の処理は行わない。

ここで、画像処理部１４において、ビット拡張部２３よりも前段に配置されている各部、具体的に図３に示す処理順序の場合には、ＯＢ減算部２１およびデモザイキング処理部２２は、入力された画像データがＮビットでもＭビットでも、何れも処理することができるように構成されている。

これに対して、画像処理部１４において、ビット拡張部２３よりも後段に配置されている各部、具体的に図３に示す処理順序の場合には、レベル補正部２４と、ホワイトバランス補正部２５と、無彩色補正部２６と、色マトリクス演算部２７と、階調変換部２８とは、Ｍビットの画像データを処理するように構成されている。

従って、ビット拡張部２３は、入力された画像データのビット数がＭビット未満（具体的には、Ｎビット）である場合に、後段の処理ビットに合わせてＭビットへのビット拡張を行うものとなっている。

なお、上述では、画像処理部に入力される画像データのビット数がＭビットまたはＮビットになる理由の例として、撮像素子の読出モードが通常読み出しモードまたは高速読み出しモードである例を説明したが、この例に限定されるものではない。例えば、複数の画像データが異なる撮像装置で取得されたこと、つまり、第１の画像データはＭビットの画像データを出力する第１の撮像装置により取得され、第２の画像データはＮビットの画像データを出力する第２の撮像装置により取得されたことが理由であっても構わない。

レベル補正部２４は、ビット拡張部２３によりＭビットに拡張されたカラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行う（ステップＳ４）。レベル補正部２４は、べき乗を記号「＾」により表す（以下、同様）とすると、レベル補正幅Ｗを、例えば、
Ｗ＝｛２＾（Ｍ−Ｎ）｝−１
により算出し、レベル補正幅Ｗにより規定される範囲（すなわち、ビット拡張により生じる量子化誤差の範囲）でカラー映像信号にレベル補正を行う。

より具体的に、レベル補正部２４は、レベル補正を行う前のカラー映像信号をＬｍ、レベル補正を行った後のカラー映像信号をＬｃとすると、
Ｌｍ＜Ｌｃ≦Ｌｍ＋Ｗ
の範囲でカラー映像信号にレベル補正を行う。カラー映像信号の信号値に値｛２＾（Ｍ−Ｎ）｝を乗算することによりビット拡張を行う場合には、この補正範囲が適切である。

ただし、その他の何らかの方法でビット数が（Ｍ−Ｎ）だけ増加するビット拡張を行う場合には、この補正範囲に限定されるものではなく、例えば、
｛Ｌｍ−（Ｗ／２）｝＜Ｌｃ≦｛Ｌｍ＋（Ｗ／２）｝
の範囲、あるいは、
（Ｌｍ−Ｗ）＜Ｌｃ≦Ｌｍ
の範囲など（これらの場合でも、レベル補正幅Ｗにより規定される範囲は維持される）でカラー映像信号にレベル補正を行う、等であっても構わない。

本実施形態においては、カラー映像信号が、Ｒ信号、Ｇ信号、およびＢ信号である場合を想定しており、後述するように、レベル補正部２４は、Ｇ信号にレベル補正を行わず、Ｒ信号およびＢ信号にレベル補正を行うようにしている。これは、Ｇ信号が輝度相当信号であるために、レベル補正によりカラーバランスは変化させるが、輝度は変化させないようにするためである。

ホワイトバランス補正部２５は、レベル補正部２４によりレベル補正が行われたカラー映像信号に対してホワイトバランス補正を行う（ステップＳ５）。このホワイトバランス補正は、白色の被写体が画像上においても白色に見えるようにするためのカラーバランス補正である。

ここに、上述したように、Ｇ信号は輝度相当信号であるために、ホワイトバランス補正によりホワイトバランスは変化させるが、輝度は変化させないようにすることが好ましい。そこで、ホワイトバランス補正部２５は、ホワイトバランス補正による信号値変化を、Ｇ信号に生じさせず（ゲインを乗算しないか、あるいは乗算するゲインを１とする）、Ｒ信号およびＢ信号に生じさせ得る（Ｒ信号にはＲ信号に対するホワイトバランスゲインＲｇａｉｎを乗算し、Ｂ信号にはＢ信号に対するホワイトバランスゲインＢｇａｉｎを乗算する）。

ここに、上述したような光源の種類に応じたホワイトバランスゲインは、マイクロコンピュータ１９によりフラッシュメモリ１８から読み出されて、レベル補正部２４とホワイトバランス補正部２５とへ送信されるようになっている。一方、ホワイトバランス補正部２５が画像データに基づき適応的にホワイトバランスゲインを決定する場合には、ホワイトバランス補正部２５により決定されたホワイトバランスゲインが、ホワイトバランス補正部２５によるホワイトバランス補正が行われる前に、ホワイトバランス補正部２５からレベル補正部２４へ送信される。こうして何れにおいてもレベル補正部２４は、ホワイトバランス補正部２５によるホワイトバランス補正が行われる前に、ホワイトバランスゲインを取得するようになっている。

無彩色補正部２６は、画像の無彩色部分に生じる偽色の低減処理を、例えば上述した特開２０１５−２０７８２５号公報に記載の技術に基づき行う（ステップＳ６）。すなわち、本実施形態においては、画像の有彩色部分（ただし、後述するように有彩色部分に限定されるものではない）に生じる偽色をレベル補正部２４の処理により低減し、画像の無彩色部分に生じる偽色を無彩色補正部２６の処理により低減するようになっている。

色マトリクス演算部２７は、画像データを構成する各画素データのＲＧＢ信号を例えば３行１列（あるいは１行３列でも構わない）の行列として構成し、この画素データに３行３列の色マトリクスを行列演算して、色空間を変換する処理を行う（ステップＳ７）。ここに、３行３列の色マトリクスを構成する色マトリクス係数は、例えば、フラッシュメモリ１８に予め記録されている。

階調変換部２８は、モニタでの階調表示が適切となるような階調変換特性（例えば、ガンマ変換特性など）で画像を階調変換する（ステップＳ８）。

その後は、画像処理装置１の図示しないメイン処理にリターンする。

なお、図３に示した画像処理部１４内における処理順序は一例であるので、ステップＳ３のビット拡張を行い、その後にステップＳ４のレベル補正を行い、その後にステップＳ５のホワイトバランス補正を行うという順序が維持される点を除き、合理的な範囲内においてその他の処理順序で処理しても構わない。

次に、図４は、Ｒｍレベル補正を示すフローチャートである。図３のステップＳ４においてレベル補正の処理に入ると、レベル補正部２４は、Ｒ信号に関してこの図４に示すＲｍレベル補正の処理を画素毎に実行し、Ｂ信号に関して後述する図５に示すＢｍレベル補正の処理を画素毎に実行するようになっている。

ここに、Ｒｍ，Ｂｍは、レベル補正を行う前のＲ，Ｂ信号をそれぞれ表している。また、以下においては、レベル補正を行った後のＲ，Ｂ信号をそれぞれＲｃ，Ｂｃとして表すものとする。

図４の処理に入ると、まず、Ｒｍ＜Ｇｍが満たされているか否かを判定する（ステップＳ１１）。

ここで、Ｒｍ＜Ｇｍが満たされていると判定された場合には、Ｒ信号に対するホワイトバランスゲインＲｇａｉｎをＲｍに乗算して、レベル補正を行うことなくホワイトバランス補正を行った場合のＲ信号Ｒｗｂを、次のように算出する（ステップＳ１２）。
Ｒｗｂ＝Ｒｍ×Ｒｇａｉｎ

そして、Ｒｗｂ＜Ｇｍが満たされているか否かを判定する（ステップＳ１３）。

ここで、図８は、レベル補正を行うことなくホワイトバランス補正を行った場合のＲ信号Ｒｗｂ、Ｇ信号Ｇｍ、およびＢ信号Ｂｗｂの例を、ビット拡張の様子と共に示すグラフである。この図８は、Ｒｗｂ＜Ｇｍが満たされている例を示している。

ここで、Ｒｗｂ＜Ｇｍが満たされていると判定された場合には、レベル補正幅Ｗを、
Ｗ＝｛２＾（Ｍ−Ｎ）｝−１
により算出する。レベル補正を行った後のＲ信号をＲｃとすると、レベル補正幅Ｗにより規定される
Ｒｍ＜Ｒｃ≦Ｒｍ＋Ｗ
の範囲でＲ信号のレベル補正が行われるようになっている。

そこで、Ｒ信号のレベル補正最大値Ｒｆを、
Ｒｆ＝Ｒｍ＋Ｗ
として算出し、さらに、Ｒ信号に対するホワイトバランスゲインＲｇａｉｎをＲｆに乗算して、最大のレベル補正を行った場合のＲ信号Ｒｆｗｂを、次のように算出する（ステップＳ１４）。
Ｒｆｗｂ＝Ｒｆ×Ｒｇａｉｎ

次に、Ｒｆｗｂ＞Ｇｍが満たされているか否かを判定する（ステップＳ１５）。ここに、ステップＳ１１、ステップＳ１３、およびステップＳ１５が全て満たされる条件、つまり、
Ｒｍ＜ＧｍかつＲｗｂ＜ＧｍかつＲｆｗｂ＞Ｇｍ
が満たされる条件は、第１の条件である。

図９は、Ｒ信号のレベル補正最大値Ｒｆとレベル補正を行ったＲ信号Ｒｃとにホワイトバランス補正を行ったときの例を示すグラフである。図８および図９には、第１の条件が満たされる例を示している。

ここで、Ｒｆｗｂ＞Ｇｍが満たされていると判定された場合には、Ｒｍにそのままホワイトバランス補正を行ったＲｗｂはＧｍ未満のままである（図８参照）が、Ｒｍに最大のレベル補正を行ってからホワイトバランス補正を行ったＲｆｗｂはＧｍよりも大きくなる（図９参照）ことを意味し、つまり、レベル補正によってホワイトバランス補正後のＲｍとＧｍとの大小関係が逆転し得ること（従って、ＲｍとＧｍとは、元々、それほどかけ離れた値ではないこと）を意味している。

この図４に示す処理においては、Ｒｆｗｂ＞Ｇｍが満たされていると判定された場合に、さらに、処理対象の画素が、有彩色であるか否かを判定するようになっている。

すなわち、まず、Ｒｍのレベル補正に関連して、有彩色であるか否かを示す指標（広い意味での彩度）として、例えば、Ｂに係る彩度Ｓｂを次のように算出する（ステップＳ１６）。
Ｓｂ＝Ｂｗｂ／Ｇｍ

そして、Ｂに係る彩度が第１の閾値よりも高いことの判定として、Ｓｂ＞ＴｈＳ１（ここに、ＴｈＳ１＞１．０を満たす）であるか否かを判定し、Ｂの補色に係る彩度が第２の閾値よりも高いことの判定として、Ｓｂ＜ＴｈＳ２（ここに、ＴｈＳ２＜１．０を満たす）であるか否かを判定する（ステップＳ１７）。

図８には、Ｓｂ＞ＴｈＳ１（すなわち、Ｂｗｂ＞｛Ｇｍ×ＴｈＳ１｝）が満たされる場合の例と、Ｓｂ＜ＴｈＳ２（すなわち、Ｂｗｂ＜｛Ｇｍ×ＴｈＳ２｝）が満たされる場合の例と、を示している。

ここで、Ｓｂ＞ＴｈＳ１とＳｂ＜ＴｈＳ２との何れか一方が満たされると判定された場合には、
０＜Ｃｒ≦Ｗ
の範囲において、レベル補正量Ｃｒを設定し、
Ｒｃ＝Ｒｍ＋Ｃｒ
により、レベル補正を行った後のＲ信号Ｒｃを算出する（ステップＳ１８）。

こうして、Ｒｃは、上述した範囲、
Ｒｍ＜Ｒｃ≦Ｒｍ＋Ｗ
において所望に設定することができるが、具体的な値としては、範囲内における中央の値をＲｃとする一例が挙げられる。

ただし、Ｗは、（Ｍ−Ｎ）＝１，２，３，４，…に応じて、Ｗ＝１，３，７，１５…等の奇数値をとるために、Ｗの半分の値は半奇数となる。そこで、中央値に隣接する整数値の一方、
Ｒｃ＝Ｒｍ＋［｛２＾（Ｍ−Ｎ）｝−１＋１］／２
＝Ｒｍ＋｛２＾（Ｍ−Ｎ−１）｝
をより具体的な例として挙げておく。

この例の場合には、ビット拡張したときのビット数の変化（Ｍ−Ｎ）＝１，２，３，４，…に応じて、
Ｒｃ＝（Ｒｍ＋１），（Ｒｍ＋２），（Ｒｍ＋４），（Ｒｍ＋８），…
のレベル補正を行うことになる。

このステップＳ１８の処理を行うか、またはステップＳ１１、ステップＳ１３、ステップＳ１５、ステップＳ１７の何れかの条件が満たされない場合には、図３に示す処理にリターンする。

ステップＳ１８の処理を行った場合には、その後のステップＳ５の処理により、レベル補正されたＲ信号Ｒｃに対してＲｇａｉｎが乗算され、レベル補正を行ってからホワイトバランス補正を行ったＲ信号であるＲｃｗｂが図９に示すように算出されることになる。一方、ステップＳ１８の処理を行わなかった場合には、ホワイトバランス補正において、Ｒ信号Ｒｍに対してＲｇａｉｎが乗算され、Ｒｗｂが算出されることになる。

次に、図５は、Ｂｍレベル補正を示すフローチャートである。上述したように、図３のステップＳ４においてレベル補正の処理に入ると、レベル補正部２４は、Ｂ信号について、この図５に示すＢｍレベル補正の処理を画素毎に実行する。この図５に示すＢｍレベル補正の処理は、処理対象の信号がＲ信号からＢ信号になる以外は、上述した図４に示すＲｍレベル補正の処理とほぼ同様である。

すなわち、図５の処理に入ると、まず、Ｂｍ＜Ｇｍが満たされているか否かを判定する（ステップＳ２１）。

ここで、Ｂｍ＜Ｇｍが満たされていると判定された場合には、Ｂ信号に対するホワイトバランスゲインＢｇａｉｎをＢｍに乗算して、レベル補正を行うことなくホワイトバランス補正を行った場合のＢ信号Ｂｗｂを、次のように算出する（ステップＳ２２）。
Ｂｗｂ＝Ｂｍ×Ｂｇａｉｎ

そして、Ｂｗｂ＜Ｇｍが満たされているか否かを判定する（ステップＳ２３）。

ここで、Ｂｗｂ＜Ｇｍが満たされていると判定された場合には、上述したレベル補正幅Ｗにより規定される
Ｂｍ＜Ｂｃ≦Ｂｍ＋Ｗ
の範囲でＢ信号のレベル補正が行われ、レベル補正を行った後のＢ信号Ｂｃが算出されるようになっている。

そこで、Ｂ信号のレベル補正最大値Ｂｆを、
Ｂｆ＝Ｂｍ＋Ｗ
として算出し、さらに、Ｂ信号に対するホワイトバランスゲインＢｇａｉｎをＢｆに乗算して、最大のレベル補正を行った場合のＢ信号Ｂｆｗｂを、次のように算出する（ステップＳ２４）。
Ｂｆｗｂ＝Ｂｆ×Ｂｇａｉｎ

次に、Ｂｆｗｂ＞Ｇｍが満たされているか否かを判定する（ステップＳ２５）。ここに、ステップＳ２１、ステップＳ２３、およびステップＳ２５が全て満たされる条件、つまり、
Ｂｍ＜ＧｍかつＢｗｂ＜ＧｍかつＢｆｗｂ＞Ｇｍ
が満たされる条件は、第２の条件である。

ここで、Ｂｆｗｂ＞Ｇｍが満たされていると判定された場合には、Ｂｍにそのままホワイトバランス補正を行ったＢｗｂはＧｍ未満のままであるが、Ｂｍに最大のレベル補正を行ってからホワイトバランス補正を行ったＢｆｗｂはＧｍよりも大きくなることを意味し、つまり、レベル補正によってホワイトバランス補正後のＢｍとＧｍとの大小関係が逆転し得ること（従って、ＢｍとＧｍとは、元々、それほどかけ離れた値ではないこと）を意味している。

この図５に示す処理においては、Ｂｆｗｂ＞Ｇｍが満たされていると判定された場合に、さらに、処理対象の画素が、有彩色であるか否かを判定するようになっている。

すなわち、まず、Ｂｍのレベル補正に関連して、有彩色であるか否かを示す指標（広い意味での彩度）として、例えば、Ｒに係る彩度Ｓｒを次のように算出する（ステップＳ２６）。
Ｓｒ＝Ｒｗｂ／Ｇｍ

そして、Ｒに係る彩度が第３の閾値よりも高いことの判定として、Ｓｒ＞ＴｈＳ３（ここに、ＴｈＳ３＞１．０を満たす）であるか否かを判定し、Ｒの補色に係る彩度が第４の閾値よりも高いことの判定として、Ｓｒ＜ＴｈＳ４（ここに、ＴｈＳ４＜１．０を満たす）であるか否かを判定する（ステップＳ２７）。

ここで、Ｓｒ＞ＴｈＳ３とＳｒ＜ＴｈＳ４との何れか一方が満たされると判定された場合には、
０＜Ｃｂ≦Ｗ
の範囲において、レベル補正量Ｃｂを設定し、
Ｂｃ＝Ｂｍ＋Ｃｂ
により、レベル補正を行った後のＢ信号Ｂｃを算出する（ステップＳ２８）。

ここに、Ｂｃの具体的な値の一例としては、範囲内における中央の値に最も近い整数値、すなわち、
Ｂｃ＝Ｂｍ＋｛２＾（Ｍ−Ｎ−１）｝
が挙げられるのは、上述したＲｃの場合と同様である。

このステップＳ２８の処理を行うか、またはステップＳ２１、ステップＳ２３、ステップＳ２５、ステップＳ２７の何れかの条件が満たされない場合には、図３に示す処理にリターンする。

ステップＳ２８の処理を行った場合には、その後のステップＳ５の処理により、レベル補正されたＢ信号Ｂｃに対してＢｇａｉｎが乗算され、レベル補正を行ってからホワイトバランス補正を行ったＢ信号であるＢｃｗｂが算出されることになる。一方、ステップＳ２８の処理を行わなかった場合には、ホワイトバランス補正において、Ｂ信号Ｂｍに対してＢｇａｉｎが乗算され、Ｂｗｂが算出されることになる。

こうして図４のステップＳ１６およびステップＳ１７と、図５のステップＳ２６およびステップＳ２７とにおいて説明したように、レベル補正部２４は、レベル補正を行うことなくホワイトバランス補正を行った場合のＲ信号Ｒｗｂ、Ｇ信号Ｇｍ、およびＢ信号Ｂｗｂに基づき彩度を画素毎に算出して、彩度が所定の閾値よりも高い第３の条件を満たすか否かをさらに判定し、第１の条件および第３の条件を満たす場合にのみＲｃを算出し、第２の条件および第３の条件を満たす場合にのみＢｃを算出している。

具体的に、レベル補正部２４は、Ｒｃの算出に係る第３の条件を満たすか否かの判定として、Ｂに係る彩度が第１の閾値よりも高いこと、またはＢの補色に係る彩度が第２の閾値よりも高いことを満たすか否かを判定し、Ｂｃの算出に係る第３の条件を満たすか否かの判定として、Ｒに係る彩度が第３の閾値よりも高いこと、またはＲの補色に係る彩度が第４の閾値よりも高いことを満たすか否かを判定している。

なお、図４および図５に示した処理においては、上述したように彩度に関する第３の条件を満たすか否かを判定して（ステップＳ１６〜Ｓ１７およびステップＳ２６〜Ｓ２７等参照）、第３の条件が満たされる場合にのみ、レベル補正部２４によるレベル補正を行うようにしていた。

しかし、これに限定されるものではない。

図６はＲｍレベル補正の変形例を示すフローチャート、図７はＢｍレベル補正の変形例を示すフローチャートである。

図６に示す処理は、図４に示す処理からステップＳ１６およびステップＳ１７の処理を省略したもの、図７に示す処理は、図５に示す処理からステップＳ２６およびステップＳ２７の処理を省略したものとなっている。このように、彩度に関する第３の条件を満たすか否かの判定を省略しても構わない。

図４および図５に示した処理と、図６および図７に示した処理と、の何れにおいても、ステップＳ１１、ステップＳ１３、およびステップＳ１５の処理と、ステップＳ２１、ステップＳ２３、およびステップＳ２５の処理と、は行われるために、レベル補正部２４は、画素が、上述した第１の条件
Ｒｍ＜ＧｍかつＲｗｂ＜ＧｍかつＲｆｗｂ＞Ｇｍ
を満たすか否かを判定し、第１の条件を満たす場合にのみＲｃを算出し、さらに画素が、上述した第２の条件
Ｂｍ＜ＧｍかつＢｗｂ＜ＧｍかつＢｆｗｂ＞Ｇｍ
を満たすか否かを判定し、第２の条件を満たす場合にのみＢｃを算出していることになる。

なお、上述ではカラー映像信号が、Ｒ信号、Ｇ信号、およびＢ信号である場合を説明したが、これに限定されるものではなく、例えば、補色系の信号であっても良いし、４色以上の信号で構成されるカラー映像信号であっても構わない。

また、上述では、Ｒに係る彩度ＳｒをＳｒ＝Ｒｗｂ／Ｇｍにより算出し、Ｂに係る彩度ＳｂをＳｂ＝Ｂｗｂ／Ｇｍにより算出したが、その他の方法で算出した彩度を用いても勿論構わない。

このような実施形態１によれば、ＮビットからＭビットに拡張されたカラー映像信号に、ビット拡張時のビット数の差（Ｍ−Ｎ）に基づくレベル補正を行ってからホワイトバランス補正を行うようにしたために、周辺画素の参照を不要としながら（つまり、負荷の重い複雑な処理を要することなく）、ビット拡張されたカラー映像信号の有彩色部分に生じる偽色を簡便かつ有効に低減することができる。

また、レベル補正幅Ｗ＝［｛２＾（Ｍ−Ｎ）｝−１］により規定される範囲（すなわち、ビット拡張により生じる量子化誤差の範囲）でカラー映像信号にレベル補正を行うようにしたために、過補正になることなく（つまり、副作用をほとんど生じさせることなく）、ビット拡張に起因する偽色を適切に補正することができる。

そして、Ｌｍ＜Ｌｃ≦Ｌｍ＋Ｗの範囲でカラー映像信号にレベル補正を行うようにしたために、信号値に値｛２＾（Ｍ−Ｎ）｝を乗算することによりビット拡張を行う場合に適したレベル補正を行うことができる。

特に、上述ではカラー映像信号を、Ｒ信号、Ｇ信号、およびＢ信号として、Ｒ信号およびＢ信号のみにレベル補正とホワイトバランス補正とを行うようにしたために、輝度相当信号であるＧ信号の信号値はレベル補正とホワイトバランス補正とにおいて変化せず、つまり画像の明るさをほぼ変化させることなく、偽色を低減してホワイトバランス補正を行うことができる利点がある。

このとき、レベル補正幅Ｗにより規定される
Ｒｍ＜Ｒｃ≦Ｒｍ＋Ｗ
Ｂｍ＜Ｂｃ≦Ｂｍ＋Ｗ
の範囲でＲ，Ｂ信号にレベル補正を行うことで、量子化誤差の範囲に応じた適切なレベル補正をＲ，Ｂ信号に対して行うことができる。

そして、画素が、次の第１の条件
Ｒｍ＜ＧｍかつＲｗｂ＜ＧｍかつＲｆｗｂ＞Ｇｍ
を満たす場合にのみＲｃを算出するようにしたために、ビット拡張によりＲ信号に生じる偽色成分を良好に低減することができる。

また、画素が、次の第２の条件
Ｂｍ＜ＧｍかつＢｗｂ＜ＧｍかつＢｆｗｂ＞Ｇｍ
を満たす場合にのみＢｃを算出するようにしたために、ビット拡張によりＢ信号に生じる偽色成分を良好に低減することができる。

さらに、図６に示したように第１の条件を満たす場合にＲｃを算出し、図７に示したように第２の条件を満たす場合にＢｃを算出するようにすれば、無彩色付近の低彩度色に生じる偽色も有効に低減することができる。

一方、彩度が所定の閾値よりも高い第３の条件を満たすか否かをさらに判定して、第１の条件および第３の条件を満たす場合にのみＲｃを算出し、第２の条件および第３の条件を満たす場合にのみＢｃを算出する場合には、彩度が低い場合のレベル補正が不要となり、処理負荷を軽減することができる。特に、図３のステップＳ６に示したように、無彩色部分に生じる偽色の低減処理を別途行う場合には、処理の効率化を図ることができる。

このとき、Ｒｃの算出に係る第３の条件を満たすか否かの判定として、Ｂに係る彩度が第１の閾値よりも高いこと、またはＢの補色に係る彩度が第２の閾値よりも高いことを満たすか否かを判定するようにしたために、ＢまたはＢの補色にＲの偽色が混入するタイプの、目立つ偽色を効果的に低減することができる。

また、Ｂｃの算出に係る第３の条件を満たすか否かの判定として、Ｒに係る彩度が第３の閾値よりも高いこと、またはＲの補色に係る彩度が第４の閾値よりも高いことを満たすか否かを判定するようにしたために、ＲまたはＲの補色にＢの偽色が混入するタイプの、目立つ偽色を効果的に低減することができる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。あるいは、ハードウェアとして構成されたプロセッサが、各部の処理を行うようにしてもよい。

また、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるための画像処理プログラム（コンピュータプログラム）、該画像処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用をすることができるのは勿論である。

１…画像処理装置
１０…記録媒体
１１…メモリＩ／Ｆ
１２…バス
１３…ＳＤＲＡＭ
１４…画像処理部
１５…ＪＰＥＧ処理部
１６…動画コーデック
１７…操作部
１８…フラッシュメモリ
１９…マイクロコンピュータ
２１…ＯＢ減算部
２２…デモザイキング処理部
２３…ビット拡張部
２４…レベル補正部
２５…ホワイトバランス補正部
２６…無彩色補正部
２７…色マトリクス演算部
２８…階調変換部

Claims (10)

1. カラー映像信号を処理するための画像処理装置であって、
   ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張部と、
   前記ビット拡張部によりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正部と、
   前記レベル補正部により前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記レベル補正部は、べき乗を記号「＾」により表すとすると、レベル補正幅Ｗを、
   Ｗ＝｛２＾（Ｍ−Ｎ）｝−１
   により算出し、前記レベル補正幅Ｗにより規定される範囲で前記カラー映像信号に前記レベル補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記レベル補正を行う前の前記カラー映像信号をＬｍ、前記レベル補正を行った後の前記カラー映像信号をＬｃとすると、前記レベル補正部は、
   Ｌｍ＜Ｌｃ≦Ｌｍ＋Ｗ
   の範囲で前記カラー映像信号に前記レベル補正を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記カラー映像信号は、Ｒ信号、Ｇ信号、およびＢ信号であり、
   前記レベル補正部は、Ｇ信号に前記レベル補正を行わず、Ｒ信号およびＢ信号に前記レベル補正を行い、
   前記ホワイトバランス補正部は、前記ホワイトバランス補正による信号値変化を、Ｇ信号に生じさせず、Ｒ信号およびＢ信号に生じさせ得ることを特徴とする請求項１に記載の画像処理装置。
5. 前記レベル補正を行う前のＲ，Ｂ信号をＲｍ，Ｂｍ、前記レベル補正を行った後のＲ，Ｂ信号をＲｃ，Ｂｃとし、べき乗を記号「＾」により表すとすると、前記レベル補正部は、レベル補正幅Ｗを、
   Ｗ＝｛２＾（Ｍ−Ｎ）｝−１
   により算出し、前記レベル補正幅Ｗにより規定される
   Ｒｍ＜Ｒｃ≦Ｒｍ＋Ｗ
   Ｂｍ＜Ｂｃ≦Ｂｍ＋Ｗ
   の範囲でＲ，Ｂ信号に前記レベル補正を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記レベル補正部は、前記ホワイトバランス補正におけるＲ，Ｂ信号に対するホワイトバランスゲインＲｇａｉｎ，Ｂｇａｉｎを、前記ホワイトバランス補正部による前記ホワイトバランス補正が行われる前に取得して、Ｇ信号をＧｍとし、Ｒ，Ｂ信号のレベル補正最大値をＲｆ，Ｂｆとしたときに、画素毎に、
   Ｒｆ＝Ｒｍ＋Ｗ
   Ｂｆ＝Ｂｍ＋Ｗ
   Ｒｗｂ＝Ｒｍ×Ｒｇａｉｎ
   Ｂｗｂ＝Ｂｍ×Ｂｇａｉｎ
   Ｒｆｗｂ＝Ｒｆ×Ｒｇａｉｎ
   Ｂｆｗｂ＝Ｂｆ×Ｂｇａｉｎ
   を算出し、
   前記画素が、次の第１の条件
   Ｒｍ＜ＧｍかつＲｗｂ＜ＧｍかつＲｆｗｂ＞Ｇｍ
   を満たすか否かを判定し、前記第１の条件を満たす場合にのみ前記Ｒｃを算出し、
   さらに前記画素が、次の第２の条件
   Ｂｍ＜ＧｍかつＢｗｂ＜ＧｍかつＢｆｗｂ＞Ｇｍ
   を満たすか否かを判定し、前記第２の条件を満たす場合にのみ前記Ｂｃを算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記レベル補正部は、前記レベル補正を行うことなく前記ホワイトバランス補正を行った場合のＲ信号Ｒｗｂ、Ｇ信号Ｇｍ、およびＢ信号Ｂｗｂに基づき彩度を画素毎に算出して、前記彩度が所定の閾値よりも高い第３の条件を満たすか否かをさらに判定し、前記第１の条件および前記第３の条件を満たす場合にのみ前記Ｒｃを算出し、前記第２の条件および前記第３の条件を満たす場合にのみ前記Ｂｃを算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記レベル補正部は、前記Ｒｃの算出に係る前記第３の条件を満たすか否かの判定として、Ｂに係る彩度が第１の閾値よりも高いこと、またはＢの補色に係る彩度が第２の閾値よりも高いことを満たすか否かを判定し、前記Ｂｃの算出に係る前記第３の条件を満たすか否かの判定として、Ｒに係る彩度が第３の閾値よりも高いこと、またはＲの補色に係る彩度が第４の閾値よりも高いことを満たすか否かを判定することを特徴とする請求項７に記載の画像処理装置。
9. カラー映像信号を処理するための画像処理方法であって、
   ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張ステップと、
   前記ビット拡張ステップによりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正ステップと、
   前記レベル補正ステップにより前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正ステップと、
   を備えることを特徴とする画像処理方法。
10. コンピュータに、カラー映像信号を処理させるための画像処理プログラムであって、
    ホワイトバランス補正を行う前のＮビットのカラー映像信号を、Ｍ＞Ｎを満たすＭビットのカラー映像信号に拡張するビット拡張ステップと、
    前記ビット拡張ステップによりＭビットに拡張された前記カラー映像信号に、（Ｍ−Ｎ）に基づくレベル補正を行うレベル補正ステップと、
    前記レベル補正ステップにより前記レベル補正が行われた前記カラー映像信号に対して前記ホワイトバランス補正を行うホワイトバランス補正ステップと、
    をコンピュータに実行させるための画像処理プログラム。

Images