JP2008022426A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】色を除去または抑圧できるとともに、輝度が大きく切り替わることを抑え、動画処理でも自然な画像を出力することができる画像処理装置を提供する。
【解決手段】色補間処理部１２は、画像色信号入力部１１から入力された画像信号を処理し、色補間を行って色差を求める。色補間処理部１２は、垂直色差と水平色差の正負が一致する場合には、垂直色差と水平色差のうちで色差絶対値の小さい方の色差を求め、垂直色差と水平色差の正負が異なる場合には色差をゼロとする処理を行う。
【選択図】 図１

Description

本発明は、画素に不足している色を周囲画素から補間により求める際に、偽色（色ノイズ）を除去あるいは抑圧するための画像処理装置および画像処理方法に関する。

従来周知のように、色を表現するためには様々な表色系があり、色は３つ程度の要素で表現されることが一般的である。その中で最も知られているのは、緑、青、赤の３原色により色を表現するＲＧＢ表色系である。以下、緑、青、赤をそれぞれＧ、Ｂ、Ｒと表記する。

撮像素子からなる撮像センサーとしては、３板撮像センサーや単板撮像センサーが知られている。３板撮像センサーは、色の全ての構成要素の信号を取り込み、画像データを生成するのに対して、単板撮像センサーは、１画素に１色の信号のみを取得し、それ以外の信号を周囲画素の信号からの補間により求める。

単板撮像センサーは、安価で小型化が可能なため、様々な用途で広く利用されている。この単板撮像センサーは、補間処理に際して、画像の高周波部あるいはエッジ部に発生する偽色（色ノイズ）を除去あるいは抑圧することが求められる。

偽色を防ぐ従来技術としては、例えば、色信号と輝度との垂直相関、水平相関を見て輝度を決定する手法が知られている。この従来技術を輝度選択方式と呼ぶ。

また、さらに進んだ取組みとして、特許文献１の技術が知られている。この従来技術では、水平相関度と垂直相関度とが比較されて、相関が強い方向のＧ信号を用いて色差（Ｒ−Ｇａ１、Ｂ−Ｇａ２）が求められる。さらに、別途、垂直、水平の両方向のＧ信号を用いて色差（Ｒ−Ｇｂ、Ｂ−Ｇｂ）が算出される。色差（Ｒ−Ｇａ１、Ｂ−Ｇａ２）から彩度ＳａｔＡが求められ、色差（Ｒ−Ｇｂ、Ｒ−Ｇｂ）から彩度ＳａｔＢが求められる。そして、彩度が小さい方の色差が選択される。このような従来技術を色差再評価方式と呼ぶ。
特開２００２−３００５９０号公報（図２等）

しかしながら、従来の画像処理装置では、輝度選択方式の場合、垂直方向と水平方向の相関しか見ていない。そのため、動画処理では、垂直方向から水平方向へと（またはその逆に）選択する輝度の方向を変更したときに、色の変化が目立ってしまうという課題があった。

この点については、色差再評価方式においても同様である。より詳細には、同方式において、既に述べたように、再評価対象の２種類の色差の一方は、垂直方向と水平方向のうちで相関の強い方向の信号を使って求められた色差（Ｒ−Ｇａ１、Ｂ−Ｇａ２）である。この色差（Ｒ−Ｇａ１、Ｂ−Ｇａ２）を求める回路は、Ｒ色差（Ｒ−Ｇａ１）とＢ色差（Ｂ−Ｇａ２）を求めるのに使うＧ信号の方向を揃えるように配慮されている。すなわち、Ｒ色差、Ｂ色差とも垂直方向（または水平方向）のＧ信号を使って求められる。しかしながら、従来技術では、垂直方向と水平方向のどちらのＧ信号を使うかは選択的である。そのため、動画処理では、選択する輝度の方向を変更したときに、色の変化が目立ってしまうという課題がある。

本発明は、従来の問題を解決するためになされたもので、その目的は、偽色を除去または抑圧できるとともに、輝度が大きく切り替わることを抑え、動画処理でも自然な画像を出力することができる画像処理装置を提供することにある。

本発明の画像処理装置は、画素ごとに分光感度特性の異なる色信号を入力する画像色信号入力手段と、画素に不足する色を周囲画素から補間により求める色補間処理手段とを有し、前記色補間処理手段は、垂直方向の画素の信号に基づいた垂直色差と水平方向の画素の信号に基づいた水平色差の正負が一致する場合には、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を求め、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとするように構成されている。

この構成により、垂直色差と水平色差の符号（正負）に応じて色差が求められる。そして、水平色差と垂直色差で符号が異なる場合には色差がゼロになる。これにより、垂直と水平で色相が反転するために最も偽色が目立つ部分において、色差あるいは彩度を落とすことができ、偽色を除去あるいは抑圧することが可能となり、そして、輝度の急激な切り替わりを抑えることができ、こうして、動画処理でも自然な画像を出力することができる。

本発明の画像処理装置において、前記色補間処理手段は、前記垂直色差を生成する垂直色差生成部と、前記水平色差を生成する水平色差生成部と、前記垂直色差および前記水平色差の符号を判定する符号判定部と、前記垂直色差と前記水平色差の正負が一致する場合に、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を選択する色差選択部と、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとする色差ゼロ処理部とを有する。この構成により、垂直色差と水平色差の符号に応じて色差を求める本発明の色補間を好適に実現できる。

また、本発明の画像処理装置において、前記色補間処理手段は、注目箇所の色信号と色差基準信号との差を求めることによって色差を算出する色差計算部と、前記色差基準信号を求めて前記色差計算部に供給する中央値選択部とを有し、前記中央値選択部は、垂直方向の画素の信号に基づく垂直色差基準信号と、水平方向の画素の信号に基づく水平色差基準信号と、注目箇所の色信号とに基づき、前記垂直基準信号と前記水平基準信号と前記色信号の中央値を選択して前記色差基準信号に設定する。

この構成により、垂直色差と水平色差の符号に応じて色差を求める本発明の色補間を好適に実現できる。特に、この構成により、偽色を抑圧した色補間を、３値の中央値を求めるという単純な処理によって実現できる。そして、処理を削減でき、構成を簡素化できる。

また、本発明の画像処理装置において、前記画像色信号入力手段は、ＲＧＢベイヤ信号を入力し、前記中央値選択部は、垂直方向緑信号と水平方向緑信号と赤信号の３つの中央値を赤色差基準信号として求め、垂直方向緑信号と水平方向緑信号と青信号の３つの中央値を青色差基準信号として求める。この構成により、最も一般的なＲＢＧベイヤフィルタの信号処理において、３値の中央値を求めるという単純な処理により、偽色を抑圧した色補間が可能となる。

本発明の画像処理方法は、画素ごとに分光感度特性の異なる色信号を入力する画像色信号入力ステップと、画素に不足する色を周囲画素から補間により求める色補間処理ステップとを有し、前記色補間処理ステップは、垂直方向の画素の信号に基づいた垂直色差と水平方向の画素の信号に基づいた水平色差の正負が一致する場合には、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を求め、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとする。この態様によっても上述の本発明の利点が得られる。

本発明の画像処理方法において、前記色補間処理ステップは、前記垂直色差を生成する垂直色差生成ステップと、前記水平色差を生成する水平色差生成ステップと、前記垂直色差および前記水平色差の符号を判定する符号判定ステップと、前記垂直色差と前記水平色差の正負が一致する場合に、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を選択する色差選択ステップと、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとする色差ゼロ処理ステップとを有する。この方法によっても上述の本発明の利点が得られる。

また、本発明の画像処理方法において、前記色補間処理ステップは、注目箇所の色信号と色差基準信号との差を求めることによって色差を算出する色差計算ステップと、前記色計算ステップで使われる前記色差基準信号を求める中央値選択ステップとを有し、前記中央値選択ステップは、垂直方向の画素の信号に基づく垂直色差基準信号と、水平方向の画素の信号に基づく水平色差基準信号と、注目箇所の色信号とに基づき、前記垂直基準信号と前記水平基準信号と前記色信号の中央値を選択して前記色差基準信号に設定する。この方法によっても上述の本発明の利点が得られる。

また、本発明の画像処理方法において、前記画像色信号入力ステップは、ＲＧＢベイヤ信号を入力し、前記中央値選択ステップは、垂直方向緑信号と水平方向緑信号と赤信号の３つの中央値を赤色差基準信号として求め、垂直方向緑信号と水平方向緑信号と青信号の３つの中央値を青色差基準信号として求める。この方法によっても上述の本発明の利点が得られる。

本発明の別の態様は、上述の画像処理方法をソフトウェアとして具現化したことをソフトウェアプログラムである。この態様によっても上述の本発明の利点が得られる。

本発明の別の態様は、上述のソフトウェアプログラムをデータとして記録した記録媒体である。この態様によっても上述の本発明の利点が得られる。

本発明は、上述のように垂直色差と水平色差の符号に応じて色差を求めることで、垂直と水平で色相が反転するために最も偽色が目立つ部分において色差あるいは彩度を落として、偽色を除去あるいは抑圧し、輝度の急激な切り替わりを抑えて、動画処理でも自然な画像を出力できるという効果を有する画像処理装置を提供できる。

以下、本発明の実施の形態に係る画像処理装置について、図面を用いて説明する。

本発明の第１の実施の形態に係る画像処理装置を図１に示す。本実施の形態の画像処理装置は、画像データを入力し、画像データに対してＹＣ処理を行って輝度および色差を出力する。図１において、画像処理装置は、画像色信号入力部１１、色補間処理部１２および輝度生成部１３で構成されている。

画像色信号入力部１１は、画像データを入力する構成であり、画素ごとに分光感度特性の異なる色信号を入力する。画像色信号入力部１１は、例えば、ＣＣＤ等の撮像素子で構成されてよい。また、画像色信号入力部１１は、過去の撮影等で記録された画像データを入力する構成でもよい。本実施の形態では、画像データとしてＲＧＢベイヤ配列の信号が入力される。

色補間処理部１２は、画像データを処理して、画素に不足する色を周囲画素から補間により求める構成であり、色の情報として色差を求めて出力する。また、輝度生成部１３は、画像データを処理して輝度を求めて出力する構成である。色補間処理部１２および輝度生成部１３は、回路によって実現されてもよく、また、ソフトウエアプログラムによって実現されてもよい。

画像処理装置の全体的な動作としては、画像色信号入力部１１から画像データが入力されると、色補間処理部１２および輝度生成部１３が画像データを処理して、それぞれ色差信号および輝度信号を出力する。

次に、本実施の形態に特徴的な色補間処理部１２の構成と動作についてさらに説明する。色補間処理部１２は、上述のように色補間を行って色差を求める。ここで、垂直方向の画素の信号に基づいた色差を垂直色差といい、水平方向の画素の信号に基づいた色差を色差という。本実施の形態では、色補間処理部１２が出力する色差が、以下に説明するように、垂直色差と水平色差それぞれの相関量に加えて、垂直色差と水平色差それぞれの符号に応じて異なる値になる。なお、色補間処理では、青色補間処理と赤色補間処理を行うが、同様の処理を行うため、ここでは、赤色補間処理についてのみ説明する。

図１において、色補間処理部１２は、垂直色差を生成する垂直色差生成部１４と、水平色差を生成する水平色差生成部１５と、垂直色差および水平色差の符号を判定する符号判定部１６と、垂直色差と水平色差の正負が一致する場合に、垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を選択する色差選択部１７と、垂直色差と水平色差の正負が異なる場合には色差をゼロとする色差ゼロ処理部１８とを有する。

次に、色補間処理部１２の動作を説明する。垂直色差生成部１４は、赤（Ｒ）と垂直方向の輝度（Ｙ）を用いて垂直色差（Ｒ−Ｙ）を求める。水平色差生成部１５は、赤（Ｒ）と水平方向の輝度（Ｙ）を用いて水平色差（Ｒ−Ｙ）を求める。図２〜図４を参照し、垂直色差および水平色差の具体的な求め方について説明する。

図２は、ＲＧＢベイヤの色フィルタの配列である。緑（Ｇ）は市松上に配置され、赤（Ｒ）と青（Ｂ）は、１行置きに交互に配置されている。画面全体の緑：赤：青の比率は２：１：１となっている。

図３を用いて垂直色差の求め方を説明する。図３では、垂直色差を求めるために使う画素のみに、Ｒ、Ｇの記号を付している。図示のように、Ｒ画素に対して垂直方向に位置するＧ画素のみが使われる。図３の例では、図中の４×４の領域にある４つのＲ画素の信号の重みづけ平均により、赤（Ｒ）が求められる。また、図３の領域にて赤（Ｒ）に対して垂直方向に隣接した４つのＧ画素の信号の重み付け平均により、輝度（Ｙ）求められる。そして、これら赤（Ｒ）と輝度（Ｙ）から、垂直色差（Ｒ−Ｙ）が算出される。

ここでは、輝度（Ｙ）は色差の基準信号であり、本実施の形態では輝度（Ｙ）として緑（Ｇ）が用いられている。周知のように、緑（Ｇ）は輝度（Ｙ）の７割以上を占める主要成分であるので、この例に見られるように色差を求めるときなどには輝度（Ｙ）の代用として緑（Ｇ）を用いることができる。

また、上記の処理にて重み付け平均をするのは、緑（Ｇ）、赤（Ｒ）、青（Ｂ）の加算処理後の重心を一致させるためである。

図４は、水平色差を求める処理を示している。図４では、水平色差を求めるために使う画素のみに、Ｒ、Ｇの記号を付している。図示のように、Ｒ画素に対して水平方向に位置するＧ画素のみが使われる。このようにＲ画素に対して水平方向に隣接するＧ画素を使う点を除いて、水平色差を求める処理は、垂直色差を求める処理と同様であり、以下の説明を省略する。

図１に戻り、符号判定部１６は、垂直色差および水平色差それぞれの符号（正負）を比較判定する。符号判定部１６にて、垂直色差と水平色差の正負が一致すると判定された場合には、色差選択部１７が、垂直色差と水平色差のうちで色差絶対値の小さい方の色差を選択する。ここでは、垂直色差の絶対値と、水平色差の絶対値が求められ、両者が比較される。そして、信号レベルが低い方の色差が選択される。一方、符号判定部１６にて、垂直色差と水平色差の正負が不一致と判定された場合には、色信号（色差信号）が偽色になりやすいので、色差ゼロ処理部１８が色差をゼロにする。このようにして、色差選択部１７または色差ゼロ処理部１８によって求められた色差が、色補間処理部１２から出力される。

上述の説明では、赤（Ｒ）の補間処理のみが説明された。しかし、本実施の形態の画像処理装置は、青（Ｂ）の補間処理も同様に行うように構成されている。したがって、赤（Ｒ）の信号の代わりに、青（Ｂ）の信号が使われる点を除き、青（Ｂ）の色差も赤（Ｒ）の色差と同様の処理によって求められる。

なお、本実施の形態は、ＲＧＢベイヤ配列に適応していた。しかし、本発明はこれに限定されない。そのほかの色配列においても、垂直色差と水平色差を求めることが出来るなら、本発明を適用することが可能である。

また、本実施の形態では、色差の基準信号が緑（Ｇ）であった。ここでは、既に説明したように輝度（Ｙ）として緑（Ｇ）が利用された。しかし、本発明はこれに限定されない。他の色信号も使って、本当の輝度に近い値を算出することも可能である。

また、本実施の形態における画像処理の説明では、通常、カメラ信号処理で行われるエッジ強調機能、ノイズ除去機能、キズ補正機能についての説明を省略している。しかし、本発明の画像処理がこれらの処理を妨げることはなく、これらの処理も一緒に実行することは可能である。

以上に、本発明の第１の実施の形態に係る画像処理装置について説明した。上述のように、本実施の形態では、色補間処理において、垂直色差と水平色差の正負が一致する場合には、垂直色差と水平色差のうちで色差絶対値の小さい方の色差が求められる。また、垂直色差と水平色差の正負が異なる場合には色差がゼロとされる。このようにして、垂直色差と水平色差それぞれの相関量の比較だけでなく、垂直色差と水平色差の符号（正負）に応じて色差が求められ、水平色差と垂直色差で符号が異なる場合には色差がゼロになる。したがって、垂直と水平で色相が反転するために最も偽色が目立つ部分において、色差あるいは彩度を落とすことができ、偽色を除去あるいは抑圧することが可能となり、そして、輝度の急激な切り替わりを抑えることができ、こうして、動画処理でも自然な画像を出力することができる。

また、本実施の形態によれば、色補間処理部１２が上述のような符号判定部１６、色差選択部１７および色差ゼロ処理部１８を備えており、これにより、垂直色差と水平色差の符号に応じて色差を求める本発明の色補間を好適に実現できる。

なお、本実施の形態の画像処理装置が本発明の一態様であるのはもちろんのこと、上記の画像処理装置により実行される画像処理方法も本発明を構成し、さらに、この画像処理方法を実現するソフトウエアプログラムおよびそれを記録した記録媒体も本発明を構成する。

次に、本発明の第２の実施の形態に係る画像処理装置について説明する。以下、第１の実施の形態と重複する事項の説明は適宜省略する。なお、第１の実施の形態と同様、第２の実施の形態でも、青色補間処理と赤色補間処理は同様なので、ここでは主として赤色補間処理について説明する。

図５は、第２の実施の形態の画像処理装置を示している。図示のように、第１の実施の形態と第２の実施の形態では、色補間処理部１２の内部構成が異なる。ただし、以下に説明するように、色補間処理部１２で求められる色差は、２つの実施の形態で同じである。

図５において、色補間処理部１２は、中央値選択部５１と色差計算部５２で構成されている。中央値選択部５１は、色差基準信号を求めて色差計算部５２に供給する構成であり、色差計算部５２は、色信号と色差基準信号との差を求めることによって色差を算出する構成である。

上記構成のうち、中央値選択部５１は、垂直色差基準信号、水平色差基準信号、注目箇所の色信号の中央値を選択し、色差基準信号に設定する。垂直色差基準信号は、垂直方向の画素の信号に基づく色差基準信号であり、本実施の形態では、垂直方向の輝度信号である。同様に、水平色差基準信号は、、水平方向の画素の信号に基づく色差基準信号であり、本実施の形態では、水平方向の輝度信号である。ここでは、垂直方向の輝度信号を垂直輝度信号（Ｙｖ）といい、水平方向の輝度信号を水平輝度信号（Ｙｈ）という。また、注目箇所の色信号は、前出の赤（Ｒ）の信号である。さらに、中央値（メディアン）は、３つの値の中で真中の大きさの値（２番目の大きさの値）である。

次に、本実施の形態における画像処理装置の動作を説明する。ここでは、第１の実施の形態の説明で用いた図３および図４を参照しながら、色補間処理部１２の動作を説明する。

中央値選択部５１は、図３に示される４×４の領域中の４つの画素のＲ信号を重み付け加算して、赤（Ｒ）の信号を求める。また、中央値選択部５１は、図３にて赤（Ｒ）に対して垂直方向に隣接した４つのＧ画素の信号を重み付け加算して、垂直輝度信号（Ｙｖ）を求める。さらに、中央値選択部５１は、図４にて赤（Ｒ）に対して水平方向に隣接した４つのＧ画素の信号を重み付け加算して、水平輝度信号（Ｙｈ）を求める。

これら赤（Ｒ）、垂直輝度信号（Ｙｖ）、水平輝度信号（Ｙｈ）の計算処理は、第１の実施の形態と同様である。これら３つの値の利用方法としては、第１の実施の形態では、最初にこれらの値から垂直色差と水平色差が計算され、それから符号比較が行われた。

一方、第２の実施の形態では、色差を計算するよりも前に、これら赤（Ｒ）、垂直輝度信号（Ｙｖ）、水平輝度信号（Ｙｈ）の中央値が色差基準信号として求められる。そして、色差基準信号が色差計算部５２にて処理され、色差基準信号が赤（Ｒ）から引き算されて、色差が求められる。

図６は、赤信号（Ｒ）、垂直輝度信号（Ｙｖ）、水平輝度信号（Ｙｈ）の大小関係の３つのパターンを示している。図６を参照し、第１の実施の形態と第２の実施の形態では同じ色差が出力されることを説明する。

図６の上段では、Ｒ＜Ｙｖ＜Ｙｈである。第１の実施の形態の処理を行ったとすると、垂直色差（Ｒ−Ｙｖ）と水平色差（Ｒ−Ｙｈ）が共に負である。そこで、色差絶対値が小さい垂直色差（Ｒ−Ｙｖ）が選択される。一方、第２の実施の形態の処理を行ったとすると、垂直輝度信号Ｙｖが中央値であり、色差基準信号として選択され、色差はＲ−Ｙｖになる。したがって、両実施の形態で色差は同じになる。

図６の中段では、Ｙｖ＜Ｙｈ＜Ｒである。この場合、第１の実施の形態の処理を行ったとすると、垂直色差（Ｒ−Ｙｖ）と水平色差（Ｒ−Ｙｈ）が共に正である。そこで、色差絶対値が小さい垂直色差（Ｒ−Ｙｈ）が選択される。一方、第２の実施の形態の処理を行ったとすると、垂直輝度信号Ｙｈが中央値であり、色差基準信号として選択され、色差はＲ−Ｙｈになる。したがって、両実施の形態で色差は同じになる。

図６の下段では、Ｙｖ＜Ｒ＜Ｙｈである。この場合、第１の実施の形態の処理を行ったとすると、垂直色差（Ｒ−Ｙｖ）が正であり、水平色差（Ｒ−Ｙｈ）が負であり、符号が異なる。そこで、色差はゼロになる。一方、第２の実施の形態の処理を行ったとすると、赤（Ｒ）が中央値であり、色差基準信号として選択される。そして、色差はＲ−Ｒ＝０になる。したがって、両実施の形態で色差は同じになる。

上述の３つのパターンでは、Ｙｖ＜Ｙｈであった。Ｙｖ＞Ｙｈの３つのパターンでも、同様に、第１の実施の形態と第２の実施の形態の処理で色差は同じになる。

このようにして、第２の実施の形態でも、第１の実施の形態と同様に、色補間処理部１２は、垂直色差と水平色差の正負が一致する場合には色差絶対値の小さい方の色差を求め、垂直色差と水平色差の正負が異なる場合には色差をゼロとする処理を行うことができる。

次に、第２の実施の形態で行われる処理を式のかたちで示す。まず、中央値（色差基準信号）は、最大値（ＭＡＸ）と最小値（ＭＩＮ）の演算を用いて、下記の４行の式で計算するこｔができる。
G1 = MIN（水平G , 垂直G）
G2 = MAX（水平G , 垂直G）
G3 = MAX（R , G1）
G4 = MIN（G2 , G3）

ここで、水平Ｇは、垂直Ｇは、それぞれ、上述の水平輝度信号Ｙｈおよび垂直輝度信号Ｙｖである。本実施の形態の色差処理では輝度信号として緑（Ｇ）を用いることから、ここでは、水平Ｇ、垂直Ｇといった表現を用いている。また、上記のMAX（a , b）は、ａ、ｂの最大値（大きい方の値）を意味し、MAX（a , b）は、ａ、ｂの最小値（小さい方の値）を意味する。

上記のＧ４が、水平Ｇ、垂直Ｇおよび赤Ｒの中央値（メディアン）である。そこで、下記の式により、色差が求められる。
色差 ＝ Ｒ−Ｇ４

色補間処理部１２の中央値選択部５１および色計算部５２は、上記の式の計算を実現するように構成されればよい。色補間処理部１２は、回路で実現されてもよく、ソフトウエア処理（プログラム）で実現されてもよい。本実施の形態では、上記のように中央値を求めるという簡単な処理を行って色差を求めるので、色補間処理１２の構成も簡素化できる。

上述の説明では、赤（Ｒ）の補間処理のみが説明された。しかし、本実施の形態の画像処理装置は、青（Ｂ）の補間処理も同様に行うように構成されている。したがって、赤（Ｒ）の信号の代わりに、青（Ｂ）の信号が使われる点を除き、青（Ｂ）の色差も赤（Ｒ）の色差と同様の処理によって求められる。

以上に本発明の第２の実施の形態に係る画像処理装置について説明した。図６を用いて説明したように、本実施の形態でも、色補間処理部１２は、垂直色差と水平色差の正負が一致する場合には色差絶対値の小さい方の色差を求め、垂直色差と水平色差の正負が異なる場合には色差をゼロとする処理を行う。したがって、第１の実施の形態と同じく、偽色を除去あるいは抑圧することが可能となり、そして、輝度の急激な切り替わりを抑えることができ、動画処理でも自然な画像を出力することができる。

また、本実施の形態によれば、色補間処理部１２が、色差基準信号を求める中央値選択部５１と、色差基準信号を用いて色差を求める色差計算部５２とで構成される。中央値選択部５１は、垂直方向の画素の信号に基づく垂直色差基準信号と、水平方向の画素の信号に基づく水平色差基準信号と、注目箇所の色信号とに基づき、それら垂直基準信号と水平基準信号と色信号の中央値を選択して色差基準信号に設定する。これにより、３値の中央値を求めるという単純な処理によって本発明の色補間を実現できる。そして、処理を削減でき、回路削減やプログラム量削減ができ、構成を簡素化できる。

また、本実施の形態によれば、ＲＧＢベイヤ信号が入力され、中央値選択部５１は、垂直方向緑信号と水平方向緑信号と赤信号の３つの中央値を赤色差基準信号として求め、垂直方向緑信号と水平方向緑信号と青信号の３つの中央値を青色差基準信号として求める。赤信号から赤色基準信号が引き算されて赤色差が求められ、青信号から青色差基準信号が引かれて青色差が求められる。こうして、最も一般的なＲＢＧベイヤフィルタの信号処理において、３値の中央値を求めるという単純な処理により、偽色を抑圧した色補間が可能となる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる画像処理装置は、偽色を除去または抑圧できるとともに、輝度が大きく切り替わることを抑え、動画処理でも自然な画像を出力するできるという効果を有し、カメラ等の画像処理装置として有用である。

本発明の第１の実施の形態における画像処理装置のブロック図 ＲＧＢベイヤの色配列を示す図 ＲＧＢベイヤ配列から垂直色差を求めるための画素選択を示す図 ＲＧＢベイヤ配列から水平色差を求めるための画素選択を示す図 本発明の第２の実施の形態における画像処理装置のブロック図 第２の実施の形態にて色差を求める処理を示す図

符号の説明

１１ 画像色信号入力部
１２ 色補間処理部
１３ 輝度生成部
１４ 垂直色差生成部
１５ 水平色差生成部
１６ 符号判定部
１７ 色差選択部
１８ 色差ゼロ処理部
５１ 中央値選択部
５２ 色差計算部

Claims (10)

1. 画素ごとに分光感度特性の異なる色信号を入力する画像色信号入力手段と、
   画素に不足する色を周囲画素から補間により求める色補間処理手段とを有し、
   前記色補間処理手段は、垂直方向の画素の信号に基づいた垂直色差と水平方向の画素の信号に基づいた水平色差の正負が一致する場合には、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を求め、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとすることを特徴とする画像処理装置。
2. 前記色補間処理手段は、前記垂直色差を生成する垂直色差生成部と、前記水平色差を生成する水平色差生成部と、前記垂直色差および前記水平色差の符号を判定する符号判定部と、前記垂直色差と前記水平色差の正負が一致する場合に、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を選択する色差選択部と、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとする色差ゼロ処理部とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記色補間処理手段は、注目箇所の色信号と色差基準信号との差を求めることによって色差を算出する色差計算部と、前記色差基準信号を求めて前記色差計算部に供給する中央値選択部とを有し、前記中央値選択部は、垂直方向の画素の信号に基づく垂直色差基準信号と、水平方向の画素の信号に基づく水平色差基準信号と、注目箇所の色信号とに基づき、前記垂直基準信号と前記水平基準信号と前記色信号の中央値を選択して前記色差基準信号に設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像色信号入力手段は、ＲＧＢベイヤ信号を入力し、前記中央値選択部は、垂直方向緑信号と水平方向緑信号と赤信号の３つの中央値を赤色差基準信号として求め、垂直方向緑信号と水平方向緑信号と青信号の３つの中央値を青色差基準信号として求めることを特徴とする請求項３に記載の画像処理装置。
5. 画素ごとに分光感度特性の異なる色信号を入力する画像色信号入力ステップと、
   画素に不足する色を周囲画素から補間により求める色補間処理ステップとを有し、
   前記色補間処理ステップは、垂直方向の画素の信号に基づいた垂直色差と水平方向の画素の信号に基づいた水平色差の正負が一致する場合には、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を求め、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとすることを特徴とする画像処理方法。
6. 前記色補間処理ステップは、前記垂直色差を生成する垂直色差生成ステップと、前記水平色差を生成する水平色差生成ステップと、前記垂直色差および前記水平色差の符号を判定する符号判定ステップと、前記垂直色差と前記水平色差の正負が一致する場合に、前記垂直色差と前記水平色差のうちで色差絶対値の小さい方の色差を選択する色差選択ステップと、前記垂直色差と前記水平色差の正負が異なる場合には色差をゼロとする色差ゼロ処理ステップとを有することを特徴とする請求項５に記載の画像処理方法。
7. 前記色補間処理ステップは、注目箇所の色信号と色差基準信号との差を求めることによって色差を算出する色差計算ステップと、前記色計算ステップで使われる前記色差基準信号を求める中央値選択ステップとを有し、前記中央値選択ステップは、垂直方向の画素の信号に基づく垂直色差基準信号と、水平方向の画素の信号に基づく水平色差基準信号と、注目箇所の色信号とに基づき、前記垂直基準信号と前記水平基準信号と前記色信号の中央値を選択して前記色差基準信号に設定することを特徴とする請求項５に記載の画像処理方法。
8. 前記画像色信号入力ステップは、ＲＧＢベイヤ信号を入力し、前記中央値選択ステップは、垂直方向緑信号と水平方向緑信号と赤信号の３つの中央値を赤色差基準信号として求め、垂直方向緑信号と水平方向緑信号と青信号の３つの中央値を青色差基準信号として求めることを特徴とする請求項７に記載の画像処理方法。
9. 請求項５ないし８のいずれかに記載の画像処理方法をソフトウェアとして具現化したことを特徴とするソフトウェアプログラム。
10. 請求項９に記載のソフトウェアプログラムをデータとして記録したことを特徴とする記録媒体。

Images