JP2006025107A - 画像信号処理装置 - Google Patents

Abstract

【課題】色の違いによる誤差を含まないようにデータ変換処理が行われる画像信号処理装置を提供する。
【解決手段】画像信号処理装置１は、撮像素子からの画像信号に対して信号処理を行う画像信号処理装置である。画像信号処理装置１は、撮像素子からの画素単位の前記画像信号を色補間する色補間回路１３と、色補間回路によって色補間された画像信号に対して所定のデータ変換を行うデータ変換回路１４とを有する。データ変換手段１４は、入力される画像信号のデジタルデータのビット数よりも少ないデジタルデータの上位ビットデータを、デジタルデータの下位ビットデータに基づいて線形補間する。
【選択図】図１

Description

本発明は、画像信号処理装置に関し、特に、データ変換手段を有する画像信号処理装置に関する。

従来より、カラー画像撮像装置は、撮像素子からの画像信号に対して各種信号処理を行う画像信号処理装置を有している。その画像信号処理装置は、撮像素子からのアナログデータ信号をデジタル信号に変換し、変換されたデジタルの画像信号に対して所定の信号処理を行うことによって、撮像した画像のモニタへの表示等が適切にされるようにするための装置である。

カラー画像の場合、撮像素子にカラーフィルタが設けられているため、画像信号処理装置は、撮像素子から出力された生の各画素信号データに対して、まずガンマ変換処理を行い、その後に色補間のデータ変換処理が行われる（例えば、特許文献１参照）。また、ガンマ変換処理等のデータ変換処理においては、画像信号が例えば１０ビットであれば、変換された画像信号も１０ビットになるように変換されていた。
特開2002-369034号公報

しかし、ガンマ変換処理では、各カラーフィルタの特性を考慮した変換処理が行われない。具体的には、例えばカラーフィルタの特性の違いによって色毎に受光強度が異なる場合、ガンマ変換処理によって、受光強度の差に基づく誤差の大きさが色毎に異なるという問題がある。従って、ガンマ変換処理において生じた色間における誤差は、その後の色補間処理においてその誤差を含んだデータに対して変換処理が行われるため、ガンマ変換において生じた色間における誤差は、その後の変換処理において、拡大されてしまうという問題があった。

さらに、ガンマ変換処理等において、テーブルデータを用いて変換処理を行う場合、画像信号のビット数が多いと、テーブルデータを記憶するメモリ容量が大きくなる。その結果、回路規模が増大し、ひいては、撮像装置のコストアップとなっていた。画質が悪化しても構わない場合は、テーブルデータの下位ビットを無視するか、下位ビットの最上位ビットで切り上げるようにしてメモリ容量が大きくならないような回路構成にしてもよいが、画質の低下が許されない場合は、このような手法はとることができない。

本発明は、このような問題に鑑みてなされたもので、色の違いによる誤差を含まないようにデータ変換処理が行われ、さらに画像信号のビット数が多い場合でも回路規模を大きくすることのない画像信号処理装置を提供することを目的とする。

本発明の画像信号処理装置は、撮像素子からの画像信号に対して信号処理を行う画像信号処理装置であって、前記撮像素子からの画素単位の前記画像信号を色補間する色補間手段と、該色補間手段によって色補間された画像信号に対して所定のデータ変換を行うデータ変換手段とを有し、前記データ変換手段は、入力される前記画像信号のデジタルデータのビット数よりも少ない前記デジタルデータの上位ビットデータを、前記デジタルデータの下位ビットデータに基づいて線形補間する。

このような構成によれば、色の違いによる誤差を含まないようにデータ変換処理が行われ、さらに画像信号のビット数が多い場合でも回路規模を大きくすることのない画像信号処理を実現することができる。

また、本発明の画像信号処理装置において、前記データ変換手段は、第１の入力データとしての前記上位ビットデータと、前記上位ビットデータに対応する出力データを有するテーブルデータが記憶されたメモリ手段を有し、前記出力データを、前記下位ビットデータに基づいて前記線形補間を行うことが望ましい。

このような構成によれば、テーブルデータを用いてデータ変換を容易に行うことができる。

また、本発明の画像信号処理装置において、前記データ変換手段は、前記第１の入力データと、前記第１の入力データに＋１した第２の入力データを生成する入力データ生成手段を有し、前記入力データ生成手段によって生成された２つの入力データに対応する２つの出力データの間を、前記下位ビットデータに基づいて前記線形補間を行うことが望ましい。

このような構成によれば、線形補間のための演算に必要な２つの出力データを容易に得ることができる。

また、本発明の画像信号処理装置において、前記データ変換手段は、前記２つの出力データを比較する比較手段を有し、前記下位ビットデータに基づく補間値を算出し、前記比較手段の比較結果に基づき、前記２つの出力データのいずれか一方に、前記補間値を加算することによって、前記線形補間を行うことが望ましい。

このような構成によれば、下位ビットデータに基づいて算出された補間値を、２つの出力データのいずれに加算するかを容易に決定することができる。

また、本発明の画像信号処理装置において、前記メモリ手段は、書き換え可能な記憶手段であることが望ましい。

このような構成によれば、表示装置等の特性に応じた変換データを容易に設定することができる。

以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の実施の形態に係わる画像信号処理装置の構成を示すブロック図である。画像信号処理装置は、例えばカラー画像撮像装置に利用され、撮像素子からの画像信号に対して信号処理を行う。図１に示すように、画像信号処理装置１は、単板式撮像素子１１から光電変換され出力された各画素のアナログ画像信号を、アナログデジタル変換回路（ADC）１２においてデジタル信号に変換する。撮像素子１１は、単板式のCCDセンサ、CMOSセンサ等であり、撮像素子１１には、原色のカラーフィルタ（図示せず）が設けられており、撮像素子１１から出力される各画素のアナログ画像信号は各色に応じた信号である。

アナログデジタル変換回路１２の出力信号、すなわち各画素のデジタル画像信号は、色補間回路１３に入力される。色補間回路１３は、複数の、ここでは４つの、画素のデジタル画像信号に基づいて１つの出力画素についての画像データを生成する。１つの出力画素の画像データは、RGBの３原色の画像信号からなる。色補間回路１３は、３つの画像信号、ここではRGBの画像信号を、データ変換回路１４に出力する。このときに色補間回路１３から出力される各色の画像信号は、それぞれｍビット（ここで、ｍは整数。以下、同じ）のデータ長を有する。例えば、ｍは１０であり、各色の画像信号は１０ビットである。

図２は、カラーフィルタの配置例を示す図であり、図２に示す配列の組み合わせが撮像素子１１の撮像面上に４つのカラーフィルタ、赤（R）、緑（G1）、緑（G2）と青（B）が一つの単位として、この単位のフィルタがマトリックス状に設けられている。色補間回路１３は、撮像素子１１上の４つの画素に対応する４つの画像信号から１つの出力画素（P）についての３つの画像信号、すなわちRGB信号を生成し、出力する。従って、図２に示すように、１つの赤（R）と、２つの緑（G1,G2）と、１つの青（B）の４つの各画素の画像信号を、次の関係式（１）から、１つの出力画素（P）の３つの画像信号、例えばRGBの画像信号が得られる。

R=R
G=(G1+G2)/2
B=B ・・・・式（１）
データ変換回路１４は、３つの画像信号のそれぞれに対してデータ変換処理を行うために、各色の画像信号に対応したデータ変換回路１４R、１４G、１４Bを有する。データ変換手段としてのデータ変換回路は、ここではガンマ変換回路である。すなわち、色補間回路１３から出力されたR信号は、データ変換回路１４Rに入力される。色補間回路１３から出力されたG信号は、データ変換回路１４Gに入力される。色補間回路１３から出力されたB信号は、データ変換回路１４Bに入力される。従って、色補間回路１３は、撮像素子１１からの画素単位の画像信号を色補間して、各色について、１０ビットの画像信号を出力する。

色毎に色補間されたRGBの１０ビットの各画像信号は、データ変換回路１４においてガンマ変換され、インターフェース回路１５を介して、出力機器、例えばモニタへ出力される。ここでは、データ変換された画像データがモニタへ出力されているが、YUV等の他の画像データフォーマット信号に変換する変換回路へ出力し、画像ファイルデータが生成されるようにしてもよい。

図１に示すように、画像信号処理装置１は、色補間処理を行った後にデータ変換処理を行うようにしている。これは、例えば、ガンマ変換処理等を先に行ってその後に色補間処理を行うと、各カラーフィルタの特性の違いによって色毎に受光強度が異なるので、ガンマ変換処理において生じた色間における誤差が、その後の変換処理において拡大されてしまう。これに対して、上述したように、色補間処理を行った後にデータ変換処理を行うようにすると、色の違いによる誤差を含まないようにガンマ変換処理などをすることができる。

図１に示す各データ変換回路１４R、１４G、１４Bは、書き換え可能なRAM（Random Access Memory）を含む。各データ変換回路１４R、１４G、１４Bには、データ変換処理に用いるパラメータデータを設定するためのパラメータ設定手段１６が接続されており、パラメータ設定手段１６から、各データ変換回路１４R、１４G、１４Bに、パラメータデータを入力し設定することができる。具体的には、パラメータ設定手段１６は、例えば、マイクロコンピュータ等であり、外部のコントローラ、例えばPCから供給されるパラメータデータを各データ変換回路１４R、１４G、１４Bへ供給する。このように、画像信号処理装置１は、色補間された各色、ここではRGBの色毎に、独立したデータ変換手段を有し、RGBの色毎にデータ変換処理がされる。

図３は、データ変換回路１４の構成を示すブロック回路図である。
データ変換回路１４のデータ変換回路１４R、１４G、１４Bは、それぞれアドレス生成回路２１R、２１G、２１Bと、データ変換を行うためのRAMチップ（以下、単にRAMという）２２R、２２G、２２Bと、比較回路２３R、２３G、２３Bと、線形補間回路２４R、２４G、２４Bを有する。RAM２２は、デジタルデータを記憶可能で、かつ書き換え可能な記憶手段である。以下、３つのRAM２２R、２２G、２２BをまとめてRAM２２ということもある。

なお、データ変換回路１４内の各データ変換回路１４R、１４G、１４Bは同じ構成であるので、以下、主として、データ変換回路１４Rの構成を説明し、他の２つのデータ変換回路１４G、１４Bの構成及び動作については説明を省略する。

アドレス生成回路２１Rは、色補間回路１３からの赤（R）色に対応するｍビットデータの内上位ｎ（ここで、ｎは整数。以下、同じ）ビットのデータを、RAM２２Rに出力し、下位２ビットデータは、線形補間回路２４Rに出力する。ここでは、ｍは１０であり、ｎは８である。各RAM２２Rには、書き込みデータ入力端子DIN、アドレスデータ入力端子ADR、チップセレクト信号入力端子ｘEN、リード信号入力端子ｘRD、書き込み制御信号入力端子ｘWR、そして、データ変換された信号が出力されるデータ出力端子DOUTが設けられている。後述するように、アドレス生成回路２１Rは、入力された１０ビット内上位の８ビットデータｋと、そのデータより＋１の入力データ（ｋ＋１）の２つの入力データを生成する。アドレス生成回路２１Rは、このような２つの出力データを生成するので、後述する線形補間を行うために必要なデータを容易に得ることができる。

各RAM２２Rには、入力された画像信号に対して所定のデータ変換を行うためのテーブルデータが記憶されている。具体的には、テーブルデータは、後述する図５及び図７に示すような入力データに対応する出力データを記憶する。入力データ生成手段としてのアドレス生成手段２１Rからのデジタルデータが、RAM２２Rに入力され、対応する出力データがRAM２２Rから出力される。

ここでは、テーブルデータは、８ビットの入力データとそれに対応する８ビットの出力データが、テーブルデータとしてRAM２２Rに記憶されている。すなわち、各RAM２２Rは、アドレス生成回路２１Rから入力された入力データとしての８ビットの画像信号に対応する、出力データとしての８ビットの画像信号を出力することによって、データ変換を行う。データ変換回路１４Ｒは、データ変換にテーブルデータを用いているので、データ変換を容易に行うことができる。データ変換回路１４Rに入力される画像信号は、１０ビットデータであるが、RAM２２Rによって変換されるのは、画像信号のデジタルデータのビット数（１０）よりも少ない、上位８ビット分であり、RAM２２Rの変換精度は、下位２ビットがない分だけ低くなっている。しかし、後述するように、RAM２２Rの出力データを、下位２ビットデータに基づいて線形補間が行われる。このように、テーブルデータは、画像信号の上位ビットデータと、その上位ビットデータに対応する出力データを有する。

なお、図３においては、パラメータ設定手段１６との接続構成は、省略しているが、RAM２２にパラメータデータを設定するときは、パラメータ設定手段１６から、各色のテーブルデータを供給することによって、対応するRAM２２にテーブルデータが書き込まれる。具体的には、例えば、R信号に対応するパラメータデータを設定するときは、RAM２２Rのチップセレクト信号入力端子ｘENをオンにし、かつRAM２２Rを選択状態にして、入力されるR信号の入力画像信号のデータを、アドレスデータ入力端子ADRに供給する。この状態で、出力画像信号のデータを、書き込みデータ入力端子DINに供給し、書込制御信号入力端子ｘWRをオンにする。その結果、RAM２２Rには、入力画像信号とその入力画像信号に対応した出力画像信号とからなるパラメータデータが記憶される。例えば、テーブルデータが２５６個の入力データに対応して、２５６個の出力データを有するとき、入力データと出力データからなる一対のパラメータデータが２５６個、RAM２２Rに記憶される。

比較回路２３Rは、RAM２２Rから、後述するように２つの８ビット画像信号を受信する。比較回路２３Rは、受信した２つの画像信号の大小を比較し、その比較結果を示す比較結果情報と、２つの８ビット画像信号を線形補間回路２４Rに出力する。

線形補間回路２４Rは、比較回路２３Rからの２つの８ビットの画像信号と、比較結果情報と、さらに、アドレス生成回路２１Rからの下位２ビットデータを用いて、２つの入力データに対応する２つの出力データの間を線形補間を行う。

図４は、図３のアドレス生成回路２１Rと、RAM２２Rにおける信号の読み出し及び出力タイミングを示すタイミングチャートである。
RAM２２Rからのデータの読み出しは、次のように行われる。具体的には、データ変換回路１４Rでは、データ変換処理を行う場合、RAM２２Rのチップセレクト信号入力端子ｘENがオンされRAM２２Rを選択状態にされる。その状態で、RAM２２Rのアドレスデータ入力端子ADRへ入力データの上位８ビットデータｋとそれよりも＋１多い８ビットデータ（ｋ＋１）がアドレス生成回路２１Rから入力され、そのときにリード信号入力端子ｘRDがCLK2に移されるタイミングで２回オンされる。その結果、RAM２２Rのデータ出力端子DOUTからは対応する２つの出力データが比較回路２３Rに出力される。

図４に示すように、入力データの上位８ビットデータｋを、アドレスデータ入力端子ADRへ、タイミングクロックCLK1の２倍の周波数のタイミングクロックCLK2の所定のタイミング（ｔ１）で入力する。アドレス生成回路２１Ｒは、内部で８ビットデータｋとそれよりも＋１多い８ビットデータ（ｋ＋１）を生成し、タイミングクロックCLK２の所定のタイミング（ｔ２）でアドレス入力端子ADRに入力する。

従って、アドレス生成回路２１Rからは、１０ビットの上位８ビットの画像信号から、その８ビットに対応する上位８ビットデータｋと、それよりも＋１多い８ビットデータ（ｋ＋１）とをRAM２２Rに供給する。同時に、アドレス生成回路２１Ｒは、２回リード信号をRAM２２Rに供給する。RAM２２Rは、入力データである２つの８ビットデータｋ、ｋ＋１に対応する２つの出力データを読み出して、比較回路２３Rに出力する。比較回路２３Rは、RAM２２Rから出力された２つの出力データをレジスタにラッチして比較することによって、その２つの出力データの大小関係を示すデータ、すなわち比較結果情報を線形補間回路２４Rに出力する。

図５は、RAM２２Rに入力される２つの入力データ（８ビットデータｋ、ｋ＋１）と、出力される２つの出力データの関係を説明するための図である。例えば、１０ビットの画像信号がアドレス生成回路２１Rに入力される場合、画像信号は、１０２４個の値のいずれかを取り得るが、RAM２２Rには、８ビットに対応する２５６個のテーブルデータが記憶されている。アドレス生成回路２１Rは、上位８ビットデータをRAM２２Rに供給するので、RAM２２Rは、その上位８ビットデータを入力データとして、１０２４個よりも粗い２５６個の内の１つの出力データを出力する。例えば、１０ビットの入力データのうち、上位８ビットによって、「３２」が示されているとき、出力データがその「３２」に対応する「１２０」であるとする。

さらに、アドレス生成回路２１は、上位８ビットが示す入力データ「３２」より＋１多い入力データ「３３」を生成して、RAM２２Rに供給するので、RAM２２Rは、出力データとして、その「３３」に対応する「１２４」も出力する。

比較回路２３Rは、２つの出力データ「１２０」と「１２４」とを比較し、入力データ「３２」よりも「３３」の出力データが大きいと判断し、線形補間回路２４Rは、その大きいと判断した比較結果情報と下位２ビットデータに基づいて、出力データ「１２０」に対する補間値を算出し、補間値を出力データに加算する。従って、線形補間回路２４Rは、入力データを＋１したときに、＋１した入力データ（８ビットデータｋ＋１）が、入力データ（８ビットデータｋ）よりも大きいと判断したときは、入力データ（８ビットデータｋ）に対応する出力データに補間値を加算する回路を有する。

図６は、その線形補間回路２４Ｒによる補間処理方法を説明するための図である。図６において、入力データ「３２」と「３３」に対応する出力データ「１２０」と「１２４」は、テーブルデータとしてRAM２２Rに記憶されている。下位の２ビットデータにより、２つの８ビットデータ間の出力データが補間される。下位２ビットにより、出力データ「１２０」と「１２４」の間は、線形補間され、「１２０＋（１２４−１２０）×１／４」と、「１２０＋（１２４−１２０）×２／４」と、「１２０＋（１２４−１２０）×３／４」の３つの値が取り得る。

下位２ビットが「００」のときは補間値は「０」となり、下位２ビットが「０１」のときは補間値は「（１２４−１２０）×１／４」となり、下位２ビットが「１０」のときは補間値は「（１２４−１２０）×２／４」となり、下位２ビットが「１１」のときは補間値は「（１２４−１２０）×３／４」となるように、線形補間回路２４Rは、下位２ビットデータに基づいて補間値を算出し、出力データ「１２０」にその補間値を加算することによって、出力データが滑らかになるように補間する。線形補間された８ビットの赤（R'）の画像信号が、線形補間回路２４Rから出力される。

図５及び図６に示すように、上位８ビットが示す入力データ「３２」より＋１多い入力データ「３３」の出力データの方が大きいという、比較回路２３Rからの比較結果情報を得た場合、線形補間回路２４Rは、出力データ「１２０」に、下位２ビットデータに基づいて算出された補間値を加算する。

図７及び図８は、上位８ビットが示す入力データ「３２」より＋１多い入力データ「３３」の出力データの方が小さいという、比較回路２３Rからの比較結果情報を得た場合、線形補間回路２４Rは、入力データ「３３」に対応する出力データ「２１７」に、下位２ビットデータに基づいて算出された補間値を加算する他の例を説明するための図である。

図７に示すように、入力データ「３２」と「３３」に対応する出力データ「２２０」と「２１７」は、テーブルデータとしてRAM２２Rに記憶されている。線形補間回路２４Rは、下位の２ビットデータに基づいて補間値を算出し、出力データ「２１７」にその補間値を加算することにより、出力データが滑らかになるように補間する。下位２ビットにより、出力データ「２２０」と「２１７」の間は、線形補間され、「２１７＋（２２０−２１７）×３／４」と、「２１７＋（２２０−２１７）×２／４」と、「２１７＋（２２０−２１７）×１／４」の３つの値が取り得る。

下位２ビットが「１１」のときは補間値は「０」となり、下位２ビットが「０１」のときは補間値は「（２２０−２１７）×３／４」となり、下位２ビットが「１０」のときは補間値は「（２２０−２１７）×２／４」となり、下位２ビットが「１１」のときは補間値は「（２２０−２１７）×１／４」となるように、線形補間回路２４Rは、下位２ビットデータに基づいて補間値を算出し、出力データ「２１７」にその補間値を加算することにより、出力データが滑らかになるように補間する。

なお、２つの８ビットの出力データ間を分割した補間値が、整数とならず、小数点を含む場合は、線形補間回路２４Rは、四捨五入の処理を行うようにする。例えば、線形補間回路２４Rは、「２１７＋（（２２０−２１７）×３／４）＝２１９．１２５」のときは、「２１９」と処理される。

以上のように、比較回路２３Rの比較結果情報に基づいて２つの出力データのいずれに、補間値を加算するかが決定され、いずれか一方に補間値が加算されるので、図７に示すような負の傾きを有するパラメータを設定する場合でも、２つの８ビットデータ間の出力データは、滑らかになるように適切に補間される。

以上のように、１０ビットの画像信号に対して、８ビットの変換後の画像信号を得たい場合、従来であれば、１０ビット×１０２４ワード（１０Ｋビット）のメモリ容量が必要であったが、本実施の形態によれば、８ビット×２５６ワード（２Ｋビット）のメモリ容量で済むので、回路規模が小さくなり、コストも低減することができる。従来のように、単純に上位８ビットだけを用いる場合に比べ、本実施の形態によれば、変換後は滑らかな画像を得ることができるので、例えば表示装置に表示したときに画質はよい。

よって、本実施の形態に係る画像信号処理装置によれば、画像信号のビット数が多い場合でも回路規模を大きくすることのない画像信号処理装置を実現することができる。

なお、以上の説明では、色補間は、RGBの色補間として説明したが、本発明は、補色（Cy,Mg,Y）の色補間であってもよい。
さらに、以上の説明では、色補間後のデータ変換処理は、ガンマ変換処理として説明したが、レンズシェーディング補正、色収差補正などの個別に調整が必要なデータ変換処理でもよい。

さらにまた、以上の説明では、書き換え可能な記憶手段としてRAMを用いた例で説明したが、フラッシュROM等のメモリでもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施の形態に係わる画像信号処理装置の構成を示すブロック図。 本発明の実施の形態に係わるカラーフィルタの配置例を示す図。 本発明の実施の形態に係わるデータ変換回路の構成を示すブロック回路図。 信号の読み出し及び出力タイミングを示すタイミングチャート。 線形補間回路における出力データに補間値を加算する例を説明するための図。 線形補間回路における出力データに補間値を加算する例を説明するための図。 線形補間回路における出力データに補間値を加算する他の例を説明するための図。 線形補間回路における出力データに補間値を加算する他の例を説明するための図。

符号の説明

１ 画像信号処理装置、１４ データ変換回路、２２R、２２G、２２B ＲＡＭ

Claims (5)

1. 撮像素子からの画像信号に対して信号処理を行う画像信号処理装置であって、
   前記撮像素子からの画素単位の前記画像信号を色補間する色補間手段と、
   該色補間手段によって色補間された画像信号に対して所定のデータ変換を行うデータ変換手段とを有し、
   前記データ変換手段は、入力される前記画像信号のデジタルデータのビット数よりも少ない前記デジタルデータの上位ビットデータを、前記デジタルデータの下位ビットデータに基づいて線形補間することを特徴とする画像信号処理装置。
2. 前記データ変換手段は、第１の入力データとしての前記上位ビットデータと、前記上位ビットデータに対応する出力データを有するテーブルデータが記憶されたメモリ手段を有し、前記出力データを、前記下位ビットデータに基づいて前記線形補間を行うことを特徴とする請求項１に記載の画像信号処理装置。
3. さらに、前記データ変換手段は、前記第１の入力データと、前記第１の入力データに＋１した第２の入力データを生成する入力データ生成手段を有し、前記入力データ生成手段によって生成された２つの入力データに対応する２つの出力データの間を、前記下位ビットデータに基づいて前記線形補間を行うことを特徴とする請求項２に記載の画像信号処理装置。
4. さらに、前記データ変換手段は、前記２つの出力データを比較する比較手段を有し、前記下位ビットデータに基づく補間値を算出し、前記比較手段の比較結果に基づき、前記２つの出力データのいずれか一方に、前記補間値を加算することによって、前記線形補間を行うことを特徴とする請求項３に記載の画像信号処理装置。
5. 前記メモリ手段は、書き換え可能な記憶手段であることを特徴とする請求項１から請求項４のいずれかに記載の画像信号処理装置。
   

Images