JP2003143615A - イメージセンサ出力データ処理装置及び処理方法 - Google Patents

イメージセンサ出力データ処理装置及び処理方法

Info

Publication number
JP2003143615A
JP2003143615A JP2002266162A JP2002266162A JP2003143615A JP 2003143615 A JP2003143615 A JP 2003143615A JP 2002266162 A JP2002266162 A JP 2002266162A JP 2002266162 A JP2002266162 A JP 2002266162A JP 2003143615 A JP2003143615 A JP 2003143615A
Authority
JP
Japan
Prior art keywords
component
value
absolute value
pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002266162A
Other languages
English (en)
Other versions
JP4127638B2 (ja
Inventor
Soon-Jae Cho
順 済 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003143615A publication Critical patent/JP2003143615A/ja
Application granted granted Critical
Publication of JP4127638B2 publication Critical patent/JP4127638B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 映像センサの任意の画素で感知された相異な
るカラー間の強度の差が一定な場合はもとより一定でな
い場合にも高品質の画質を得られ、映像の水平エッジ、
垂直エッジ、対角線エッジ、角エッジ及び厚いか薄いエ
ッジのいずれにも適応力があるイメージセンサ出力デー
タ処理装置及び処理方法を提供する。 【解決手段】 ラインメモリモジュール、遅延モジュー
ル、方向性係数値の選択器及び適応補間器を具備し、イ
メージセンサの出力データを複数の方向性係数を利用し
て処理する。複数の方向性係数は、エッジが水平成分を
有しているか、垂直成分あるいは対角線成分を有してい
るかを示す第1方向性係数、水平エッジ成分の程度を示
す第2方向性係数及び垂直エッジ成分の程度を示す第3
方向性係数である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は電子カメラに係り、
特に単板式カラー電子カメラの映像センサから出力され
るデジタルデータを複数の方向性係数を利用して処理す
る装置及び方法に関する。
【0002】
【従来の技術】入力される映像を電子信号に変換する映
像センサは、センサ上に区分された各々の領域、すなわ
ち、画素の規則的なパターンによって変わる光の強度を
感知する。前記センサ上にはカラーフィルタアレイ(c
olor filter array、以下、CFA)が
設けられていて、前記センサの各々の画素は前記CFA
を通過したカラー信号の強度を感知できる。
【0003】カラーを電子信号に変換する場合におい
て、R、G及びBを各々感知する3枚のカラープレーン
で感知された映像データを同時に処理することが最も望
ましい。なぜなら、前記3枚のカラープレーンで感知さ
れた映像データを適当に組合わせれば、高品質のカラー
映像を作れるからである。
【0004】前記3つのカラープレーンを全部使用せ
ず、3つの色を全部感知できる一つのプレーンだけを使
用する場合、これを単板式(single senso
r)という。一般に単板式CFAは、各画素で一つの色
を感知するためのカラーフィルタの正規パターンの構造
よりなる。単板式CCD(Charge Couple
d Device)やCMOSイメージセンサは入力さ
れる自然風景を感知する装置であって、入力された自然
風景に対応する各々の画素で感知した色の強度に関する
情報を含むデジタルデータを出力する。前記単板式CC
DまたはCMOSイメージセンサから出力されるビデオ
データは、R、G及びBのうちいずれか一つのカラー信
号に関する情報だけを示すデータである。したがって、
単板式イメージセンサのデータは、表示されていない残
りの二つの色に関する情報を補間技法を利用して生成せ
ねばならない。
【0005】一つの画素に関するカラー情報データが、
一つの画素のカラーを示す3カラーの情報を全部有する
データではなく、前記3種類のカラー情報のうちいずれ
か一つのカラー情報に関するデータを示すデータ構造を
ベイヤアレイ構造という。
【0006】
【発明が解決しようとする課題】図1は、ベイヤアレイ
を示すダイヤグラムである。図1に示されたベイヤアレ
イ構造において、画素の各々に対するR、G及びBの値
を求めるために色々な補間技法が使われうるが、選択さ
れる補間技法によってシステムの性能に大きい差が発生
する。
【0007】まず、1次フィルタリング方式として補間
技法を使用する方法を説明する。線形補間技法を使用す
る場合、図1に示されたB成分に関する情報を有する画
素(1,1)のG成分は次のように表現される。
【数5】
【0008】しかし、前記線形補間技法は、映像が複雑
な部分、例えば、映像内で空間的にエッジがある領域で
は画質が劣化する短所がある。ここで空間的に存在する
エッジとは、例えば、白紙上にコインが置かれている場
合、紙とコインの縁部との間には信号の連続性がなくて
空間的エッジがあるという。
【0009】前記短所を解決するために、エッジ成分を
水平方向と垂直方向に区分した後、エッジ傾斜度が小さ
い方向に補間技法を適用する方法が提案された。例え
ば、図1に示された画素(1,1)のG成分を求める
時、水平方向のエッジ傾斜度が垂直方向のエッジ傾斜度
より小さければ、
【数6】 反対に垂直方向のエッジ傾斜度が水平方向のエッジ傾斜
度より小さければ、
【数7】 のように求める。しかし、前記方法も対角線エッジ成分
が存在する部分では画質が劣化する短所がある。
【0010】前記2つの方法の短所を改善するために、
2次のラプラシアンフィルタリングを利用する方法が提
案された。このラプラシアンフィルタリング方式は、映
像の局部領域では色信号間の差が一定である(Gi−Ri
=const1, Gi−Bi=const2, 及びBi−Ri=const3,
ここでiは画素の位置を示す)という仮定を前提とし
て、新しい補間技法を適用させることに特徴がある。例
えば、水平方向のエッジ成分が少ないと仮定すれば、図
1に示された画素(2,2)のG成分は、
【数8】 のように求められる。
【0011】一般映像を具現する時、前記方式はハード
ウェアの構成が簡単で性能も優秀な長所があるが、合成
映像を具現するなど前記仮定が合っていない一定な場合
の対角線エッジでは既存の他の方式と同じく画質の劣化
を解決できなかった。
【0012】したがって、本発明は、電子カメラの映像
センサから出力されるデジタルデータを複数の方向性係
数を利用して処理するイメージセンサ出力データ処理装
置を提供することを目的とする。さらに、本発明は、電
子カメラの映像センサから出力されるデジタルデータを
複数の方向性係数を利用して処理するイメージセンサ出
力データ処理方法を提供することを他の目的とする。
【0013】
【課題を解決するための手段】本発明のイメージセンサ
出力データ処理装置は、各画素で感知した色信号に関す
る情報を有する単板式イメージセンサの出力データを受
信して貯蔵するラインメモリモジュールと、前記イメー
ジセンサの出力データ及び前記ラインメモリモジュール
の出力データを受信し、受信した前記出力データをクロ
ック信号を利用して所定時間遅延させた後で出力する遅
延モジュールと、この遅延モジュールの出力データを受
信し、遅延モジュールの出力データを利用して、求めよ
うとする画素のR、G及びB成分に対するエッジ成分を
定義する複数の方向性係数の値を選択して出力する方向
性係数値選択器と、前記遅延モジュールの出力データを
受信し、前記方向性係数値選択器の出力データに応答し
て受信した遅延モジュールの出力データに補間を実施し
てG成分を有する画素のR成分及びB成分を求め、R成
分を有する画素のG成分及びB成分を求め、B成分を有
する画素のG成分及びR成分を求める適応補間器とを具
備する。
【0014】前記ラインメモリモジュールは、前記イメ
ージセンサの出力データを貯蔵する第1ラインメモリ
と、この第1ラインメモリの出力データを貯蔵する第2
ラインメモリと、この第2ラインメモリの出力データを
貯蔵する第3ラインメモリと、この第3ラインメモリの
出力データを貯蔵する第4ラインメモリとを具備する。
【0015】前記遅延モジュールは、前記クロック信号
によって動作し、直列連結された複数のシフトレジスタ
を具備して前記イメージセンサの出力データを遅延させ
る第1遅延モジュールと、前記クロック信号によって動
作し、直列連結された複数のシフトレジスタを具備して
前記第1ラインメモリの出力データを遅延させる第2遅
延モジュールと、前記クロック信号によって動作し、直
列連結された複数のシフトレジスタを具備して前記第2
ラインメモリの出力データを遅延させる第3遅延モジュ
ールと、前記クロック信号によって動作し、直列連結さ
れた複数のシフトレジスタを具備して前記第3ラインメ
モリの出力データを遅延させる第4遅延モジュールと、
前記クロック信号によって動作し、直列連結された複数
のシフトレジスタを具備して前記第4ラインメモリの出
力データを遅延させる第5遅延モジュールとを具備す
る。前記直列連結された複数のシフトレジスタは、各々
4つであることを特徴とする。
【0016】前記方向性係数値選択器は、色成分を求め
ようとする任意の画素のR成分、G成分及びB成分に対
する水平方向及び/または垂直方向及び/または対角線
方向のエッジ成分が存在するか否かを判断し、存在する
エッジ成分の程度を計算する複数の色成分演算部を具備
する演算部と、前記演算部の出力データを複数の臨界値
と比較して複数の前記方向性係数の値を決定する比較決
定器とを具備する。
【0017】前記複数の色成分演算部は、色成分を求め
ようとする任意の画素が既に有している色成分としてR
成分またはB成分を有する場合にはG成分のエッジ成分
を求め、G成分を有する場合には演算を遂行しない第1
色成分演算部と、前記画素が既に有している色成分とし
てR成分を有する場合にはR成分の水平エッジ成分を求
め、G成分を有する場合にはG成分の水平エッジ成分を
求め、B成分を有する場合にはB成分の水平エッジ成分
を求める第2色成分演算部と、前記画素が既に有してい
る色成分としてR成分を有する場合にはR成分の垂直エ
ッジ成分を求め、G成分を有する場合にはG成分の垂直
エッジ成分を求め、B成分を有する場合にはB成分の垂
直エッジ成分を求める第3色成分演算部とを具備する。
【0018】前記第1色成分演算部は、色成分を求めよ
うとする任意の画素を基準にしたG成分の水平傾斜成分
の絶対値及び前記画素を基準にしたG成分の垂直傾斜成
分の絶対値の差を計算する。
【0019】前記第1色成分演算部は、任意の画素
(i,j)(i及びjは整数)のG成分をGijとすれ
ば、G(i+1)j及びG(i-1)jの差(水平成分)
の絶対値を求める第1機能ブロックと、G(i+1)
びG(i-1)の差(垂直成分)の絶対値を求める第2機
能ブロックと、前記第1機能ブロック及び前記第2機能
ブロックの出力信号の差を求める第1減算器とを具備す
る。
【0020】前記第2色成分演算部は、色成分を求めよ
うとする任意の画素がR成分を有している時、前記画素
を基準にしたR成分の左側傾斜成分の絶対値及び前記画
素を基準にしたR成分の右側傾斜成分の絶対値の差を計
算するか、色成分を求めようとする任意の画素がG成分
を有している時、前記画素を基準にしたG成分の左側傾
斜成分の絶対値及び前記画素を基準にしたG成分の右側
傾斜成分の絶対値の差を計算するか、色成分を求めよう
とする任意の画素がB成分を有している時、前記画素を
基準にしたB成分の左側傾斜成分の絶対値及び前記画素
を基準にしたG成分の右側傾斜成分の絶対値の差を計算
する。
【0021】前記第2色成分演算部は、任意の画素
(i,j)(i及びjは整数)のR成分をRij、G成
分をGij及びB成分をBijとすれば、Rij及びR
i(j+ 2)の差の絶対値を求めるか、Gij及びG
i(j+2)の差の絶対値を求めるか、Bij及びB
i(j+2)の差の絶対値を求める第3機能ブロック
と、R (j-2)及びRijの差の絶対値を求める
か、Gi(j-2)及びGijの差の絶対値を求める
か、Bi(j-2)及びBijの差の絶対値を求める第
4機能ブロックと、前記第3機能ブロック及び前記第4
機能ブロックの出力信号の差を求める第2減算器とを具
備する。
【0022】前記第3色成分演算部は、色成分を求めよ
うとする任意の画素がR成分を有している時、前記画素
を基準にしたR成分の上側傾斜成分の絶対値及び前記画
素を基準にしたR成分の下側傾斜成分の絶対値の差を計
算するか、色成分を求めようとする任意の画素がG成分
を有している時、前記画素を基準にしたG成分の上側傾
斜成分の絶対値及び前記画素を基準にしたG成分の下側
傾斜成分の絶対値の差を計算するか、色成分を求めよう
とする任意の画素がB成分を有している時、前記画素を
基準にしたB成分の上側傾斜成分の絶対値及び前記画素
を基準にしたB成分の下側傾斜成分の絶対値の差を計算
する。
【0023】前記第3色成分演算部は、任意の画素
(i,j)(i及びjは整数)のR成分をRij、G成
分をGij、B成分をBijとすれば、Rij及びR
i(j+2 )jの差の絶対値を求めるか、Gij及びG
i(j+2)jの差の絶対値を求めるか、Bij及びB
i(j+2)jの差の絶対値を求める第5機能ブロック
と、R(i-2)j及びRijの差の絶対値を求める
か、G(i-2)j及びGijの差の絶対値を求める
か、B(i-2)j及びBijの差の絶対値を求める第
6機能ブロックと、前記第5機能ブロック及び前記第6
機能ブロックの出力信号の差を求める第3減算器とを具
備する。
【0024】前記比較決定器は、前記第1色成分演算部
の出力が負の第1臨界値よりは大きくて正の第1臨界値
よりは小さい場合には第1方向性係数を第1状態値に選
択し、前記第1色成分演算部の出力が負の第1臨界値よ
り小さい場合には第1方向性係数を第2状態値に選択
し、前記第1色成分演算部の出力が正の第1臨界値より
大きい場合には第1方向性係数を第3状態値に選択する
第1比較決定器と、前記第2色成分演算部の出力が負の
第2臨界値よりは大きくて正の第2臨界値よりは小さい
場合には第2方向性係数を第1状態値に選択し、前記第
2色成分演算部の出力が負の第2臨界値より小さい場合
には第2方向性係数を第2状態値に選択し、前記第2色
成分演算部の出力が正の第2臨界値より大きい場合には
第2方向性係数を第3状態値に選択する第2比較決定器
と、前記第3色成分演算部の出力が負の第3臨界値より
は大きくて正の第3臨界値よりは小さい場合には第3方
向性係数を第1状態値に選択し、前記第3色成分演算部
の出力が負の第3臨界値より小さい場合には第3方向性
係数を第2状態値に選択し、前記第3色成分演算部の出
力が正の第3臨界値より大きい場合には第3方向性係数
を第3状態値に選択する第3比較決定器とを備える。前
記第1臨界値ないし第3臨界値は、4より大きくて20
よりは小さな整数であることが望ましい。また、前記第
1状態値は1/2であり、第2状態値は1であり、第3
状態値は0であることが望ましい。
【0025】前記適応補間器は、前記遅延モジュール及
び前記方向性係数値選択器の出力信号によって補間を遂
行してG成分を出力するG成分補間器と、前記遅延モジ
ュール及び前記方向性係数値選択器の出力信号によって
補間を遂行してR成分を出力するR成分補間器と、前記
遅延モジュール及び前記方向性係数値選択器の出力信号
によって補間を遂行してB成分を出力するB成分補間器
とを具備する。
【0026】前記G成分補間器は、前記遅延モジュール
の出力信号のうち複数のG成分を受信して演算を行な
い、前記方向性係数値選択器の出力信号によって前記演
算結果を選択して出力する低域通過フィルタ成分計算器
と、前記遅延モジュールの出力信号のうち複数のR成分
またはB成分を受信して演算を行ない、前記方向性係数
値選択器の出力信号によって前記演算結果を選択して出
力する高域通過フィルタ成分計算器と、前記低域通過フ
ィルタ成分計算器の出力信号及び前記高域通過フィルタ
成分計算器の出力信号を論理和する加算器とを具備す
る。
【0027】前記低域通過フィルタ成分計算器は、求め
ようとする画素(i,j)に対して、G(i-1)j及び
(i+1)jを論理和して2で割る第1論理ブロック
と、Gi(j+1)及びG(i+1)jを論理和して2
で割る第2論理ブロックと、Gi(j+1)及びG
(i-1)jを論理和して2で割る第3論理ブロック
と、Gi(j-1)及びG(i+1)jを論理和して2
で割る第4論理ブロックと、Gi(j-1)及びG
(i-1)jを論理和して2で割る第5論理ブロック
と、Gi(j-1)及びGi(j+1)を論理和して2
で割る第6論理ブロックと、前記第2論理ブロック及び
前記第3論理ブロックの出力信号を論理和して2で割る
第7論理ブロックと、前記第2論理ブロック及び前記第
4論理ブロックの出力信号を論理和して2で割る第8論
理ブロックと、前記第1論理ブロック及び前記第6論理
ブロックの出力信号を論理和して2で割る第9論理ブロ
ックと、前記第3論理ブロック及び前記第5論理ブロッ
クの出力信号を論理和して2で割る第9論理ブロック
と、前記第3論理ブロック及び前記第5論理ブロックの
出力信号を論理和して2で割る第10論理ブロックと、
前記第4論理ブロック及び前記第5論理ブロックの出力
信号を論理和して2で割る第11論理ブロックと、前記
方向性係数値選択器の出力信号によって、前記G
(i-1)j、Gi(j-1)、G (j+1)、G
(i+1)j、前記第1論理ブロック部の出力信号ない
し第11論理ブロック部の出力信号のうち一つを選択し
て出力する第1選択器とを具備する。
【0028】前記高域通過フィルタ成分計算器は、求め
ようとする画素(i,j)に対して、Rij及びR
(i+2)jの差またはBij及びB(i+2)jの差
を2で割る第12論理ブロックと、Rij及びR
(i-2)jの差またはBij及びB i-2)jの差を
2で割る第13論理ブロックと、Rij及びR
i(j+2)の差またはBij及びBi(j+2)の差
を2で割る第14論理ブロックと、R 及びR
i(j-2)の差またはBij及びBi(j-2)の差を
2で割る第15論理ブロックと、前記第12論理ブロッ
ク及び前記第13論理ブロックの出力信号を論理和して
2で割る第16論理ブロックと、前記第12論理ブロッ
ク及び前記第14論理ブロックの出力信号を論理和して
2で割る第17論理ブロックと、前記第13論理ブロッ
ク及び前記第14論理ブロックの出力信号を論理和して
2で割る第18論理ブロックと、前記第12論理ブロッ
ク及び前記第15論理ブロックの出力信号を論理和して
2で割る第19論理ブロックと、前記第13論理ブロッ
ク及び前記第15論理ブロックの出力信号を論理和して
2で割る第20論理ブロックと、前記第14論理ブロッ
ク及び前記第15論理ブロックの出力信号を論理和して
2で割る第21論理ブロックと、前記第17論理ブロッ
ク及び前記第18論理ブロックの出力信号を論理和して
2で割る第22論理ブロックと、前記第17論理ブロッ
ク及び前記第19論理ブロックの出力信号を論理和して
2で割る第23論理ブロックと、前記第16論理ブロッ
ク及び前記第21論理ブロックの出力信号を論理和して
2で割る第24論理ブロックと、前記第18論理ブロッ
ク及び前記第20論理ブロックの出力信号を論理和して
2で割る第25論理ブロックと、前記第19論理ブロッ
ク及び前記第20論理ブロックの出力信号を論理和して
2で割る第26論理ブロックと、前記方向性係数値選択
器の出力信号によって、前記第12論理ブロック部ない
し前記第26論理ブロック部の出力信号のうち一つを選
択する第2選択器とを具備する。
【0029】前記R成分補間器は、そのG成分を知って
いる画素(i,j)のR成分を求めようとする場合、前
記方向性係数値選択器の第2方向性係数の値に応答して
【数9】 のうち一つを選択して出力し、そのB成分を知っている
画素(i,j)のR成分を求めようとする場合、前記画
素(i,j)の対角線方向に存在する4つの画素の算術
平均
【数10】 を出力する。
【0030】前記B成分補間器は、そのG成分を知って
いる画素(i,j)のB成分を求めようとする場合、前
記方向性係数値選択器の第3方向性係数の値に応答して
【数11】 のうち一つを選択して出力し、そのR成分を知っている
画素(i,j)のB成分を求めようとする場合、前記画
素(i,j)の対角線方向に存在する4つの画素の算術
平均
【数12】 を出力する。
【0031】本発明のイメージセンサの出力データ処理
方法は、入力される自然の風景を電子信号に変換するイ
メージセンサの出力データを処理する方法において、前
記イメージセンサの出力データを貯蔵する段階と、貯蔵
されたイメージセンサの出力データ及び現在入力される
イメージセンサの出力データを利用して求めようとする
画素の色成分の強度を決定する少なくとも3つの方向性
係数の値を選択する段階と、この段階で選択された複数
の方向性係数及び前記イメージセンサの出力データを利
用して、G成分を有する画素のR成分及びB成分を求
め、R成分を有する画素のG成分及びB成分を求め、B
成分を有する画素のG成分及びR成分を求めるインタポ
レーション段階とを具備し、前記少なくとも3つの方向
性係数は、水平線、垂直線及び対角線を基準に一側平面
のエッジ成分の程度を示す第1方向性係数、水平線を基
準に一定の幅を有し、前記水平線を基準に左側成分、右
側成分及び前記左側成分と右側成分全部を含む成分の程
度を示す第2方向性係数及び、垂直線を基準に一定の幅
を有し、前記垂直線を基準に上側成分、下側成分及び前
記上側成分と下側成分両方を含む成分の程度を示す第3
方向性係数である。
【0032】前記イメージセンサの出力データを貯蔵す
る段階は、前記イメージセンサの出力データを所定の単
位に区分して、1単位ずつ貯蔵するラインメモリを具備
して少なくとも4単位のデータを貯蔵し、前記所定の1
単位は、ベイヤアレイ構造で一つのラインであることが
望ましい。
【0033】前記3つの方向性係数の値を選択する段階
は、色成分を求めようとする任意の画素が既にG成分を
有しているかどうかを判断する段階と、色成分を求めよ
うとする画素が既にG成分を有している場合、第2方向
性係数の値及び第3方向性係数の値を順に選択する段階
と、色成分を求めようとする画素が有している色成分が
G成分でない場合、前記画素を基準にしたG成分の水平
傾斜成分の絶対値及び前記画素を基準にしたG成分の垂
直傾斜成分の絶対値の差の絶対値が第1臨界値より小さ
いかどうかを比較する段階と、前記G成分の水平傾斜成
分の絶対値及び前記G成分の垂直傾斜成分の絶対値の差
の絶対値が前記第1臨界値より小さい場合、前記第1方
向性係数の値を第1状態値に定め、前記第2方向性係数
の値を選択する段階と、前記G成分の水平傾斜成分の絶
対値及び前記G成分の垂直傾斜成分の絶対値の差が前記
第1臨界値の負の値より小さいかどうかを判断する段階
と、前記G成分の水平傾斜成分の絶対値及び前記G成分
の垂直傾斜成分の絶対値の差が前記第1臨界値の負の値
より小さい場合、前記第1方向性係数の値を第2状態値
に定め、前記第2方向性係数の値を選択する段階と、前
記G成分の水平傾斜成分の絶対値及び前記G成分の垂直
傾斜成分の絶対値の差が前記第1臨界値の正の値より大
きい場合、前記第1方向性係数の値を第3状態値に定め
る段階と、前記第1方向性係数の値が前記第1状態また
は第3状態値に決まった場合、引続き前記第3方向性係
数の値を選択する段階とを具備する。
【0034】前記G成分の水平成分の絶対値及び前記G
成分の垂直成分の絶対値の差は、求めようとする画素
(i,j)のG成分をGijとすれば、数式|Gi(j+1)
−Gi(j -1)|−|G(i-1)j−G(i+1)j|で表示され、こ
こでi及びjは整数であることが望ましい。
【0035】求めようとする画素が既にG成分を有して
いる場合に前記第2方向性係数の値を選択する段階は、
前記画素を基準にしたG成分の左側傾斜成分の絶対値及
び前記画素を基準にしたG成分の右側傾斜成分の絶対値
の差の絶対値が第2臨界値より小さいかどうかを比較す
る段階と、前記G成分の左側傾斜成分の絶対値及び前記
G成分の右側傾斜成分の絶対値の差の絶対値が前記第2
臨界値より小さい場合、前記第2方向性係数の値を前記
第1状態値に定める段階と、前記G成分の左側傾斜成分
の絶対値及び前記G成分の右側傾斜成分の絶対値の差が
前記第2臨界値の負の値より小さいかどうかを比較する
段階と、前記G成分の左側傾斜成分の絶対値及び前記G
成分の右側傾斜成分の絶対値の差が前記第2臨界値の負
の値より小さい場合、前記第2方向性係数の値を前記第
2状態値に定める段階と、前記G成分の左側傾斜成分の
絶対値及び前記G成分の右側傾斜成分の絶対値の差が前
記第2臨界値より大きい場合、前記第2方向性係数の値
を前記第3状態値に定める段階とを備える。
【0036】前記G成分の左側傾斜成分の絶対値及び前
記G成分の右側成分の絶対値の差は、求めようとする画
素(i,j)のG成分をGijとすれば、数式|Gij
i(j -2)|−|Gij−Gi(j+2)|で表示され、ここでi
及びjは整数であることが望ましい。
【0037】求めようとする画素が既にG成分を有して
いる場合に前記第3方向性係数の値を選択する段階は、
前記画素を基準にしたG成分の上部傾斜成分の絶対値及
び前記画素を基準にしたG成分の下部傾斜成分の絶対値
の差の絶対値が第3臨界値より小さいかどうかを比較す
る段階と、前記G成分の上部傾斜成分の絶対値及び前記
G成分の下部傾斜成分の絶対値の差の絶対値が前記第3
臨界値より小さい場合、前記第3方向性係数の値を前記
第1状態値に定める段階と、前記G成分の上部傾斜成分
の絶対値及び前記G成分の下部傾斜成分の絶対値の差が
前記第3臨界値の負の値より小さいかどうかを比較する
段階と、前記G成分の上部傾斜成分の絶対値及び前記G
成分の下部傾斜成分の絶対値の差が前記第3臨界値の負
の値より小さい場合、前記第3方向性係数の値を前記第
2状態値に定める段階と、前記G成分の上部傾斜成分の
絶対値及び前記G成分の下部傾斜成分の絶対値の差が前
記二つの比較段階のうちどこにも属していない場合、前
記第3方向性係数の値を前記第3状態値に定める段階と
を具備する。
【0038】前記G成分の左側傾斜成分の絶対値及び前
記G成分の右側成分の絶対値の差は、求めようとする画
素(i,j)のG成分をGijとすれば、数式|Gij
(i- 2)j|−|Gij−G(i+2)j|で表示され、ここでi
及びjは整数であることが望ましい。
【0039】色成分を求めようとする画素が有している
色成分がG成分でない場合に前記第2方向性係数の値を
選択する段階は、前記画素が有している色成分がR成分
であるかどうかを判断する段階と、前記画素がR成分を
有している場合、前記画素を基準にしたR成分の左側傾
斜成分の絶対値及び前記画素を基準にしたR成分の右側
傾斜成分の絶対値の差の絶対値が第2臨界値より小さい
かどうかを比較する段階と、前記R成分の左側傾斜成分
の絶対値及び前記R成分の右側傾斜成分の絶対値の差の
絶対値が前記第2臨界値より小さい場合、前記第2方向
性係数の値を前記第1状態値に定める段階と、前記R成
分の左側傾斜成分の絶対値及び前記R成分の右側傾斜成
分の絶対値の差が前記第2臨界値の負の値より小さいか
どうかを比較する段階と、前記R成分の左側傾斜成分の
絶対値及び前記R成分の右側傾斜成分の絶対値の差が前
記第2臨界値の負の値より小さい場合、前記第2方向性
係数の値を前記第2状態値に定める段階と、前記R成分
の左側傾斜成分の絶対値及び前記R成分の右側傾斜成分
の絶対値の差が前記第2臨界値より大きい場合、前記第
2方向性係数の値を前記第3状態値に定める段階と、前
記画素が有している色成分がR成分でない場合、前記画
素を基準にしたB成分の左側傾斜成分の絶対値及び前記
画素を基準にしたB成分の右側傾斜成分の絶対値の差の
絶対値が第2臨界値の絶対値より小さいかどうかを比較
する段階と、前記B成分の左側傾斜成分の絶対値及び前
記B成分の右側傾斜成分の絶対値の差の絶対値が前記第
2臨界値の絶対値より小さい場合、前記第2方向性係数
の値を前記第1状態値に定める段階と、前記B成分の左
側傾斜成分の絶対値及び前記B成分の右側傾斜成分の絶
対値の差が前記第2臨界値の負の値より小さいかどうか
を比較する段階と、前記B成分の左側傾斜成分の絶対値
及び前記B成分の右側傾斜成分の絶対値の差が前記第2
臨界値の負の値より小さい場合、前記第2方向性係数の
値を前記第2状態値に定める段階と、前記B成分の左側
傾斜成分の絶対値及び前記B成分の右側傾斜成分の絶対
値の差が前記第2臨界値より大きい場合、前記第2方向
性係数の値を前記第3状態値に定める段階とを具備す
る。
【0040】前記R値の左側傾斜成分の絶対値及び前記
R値の右側成分の絶対値の差は、求めようとする画素
(i,j)のR値をRijとすれば、数式|Rij−R
i(j-2)|−|Rij−Ri(j+2)|で表示され、前記B値の
左側傾斜成分の絶対値及び前記B値の右側成分の絶対値
の差は、求めようとする画素(i,j)のB値をBij
とすれば、数式|Bij−Bi(j-2)|−|Bij−Bi(j+2)
|で表示され、 ここでi及びjは整数であることが望
ましい。
【0041】色成分を求めようとする画素が有している
色成分がG成分でない場合に前記第3方向性係数の値を
選択する段階は、前記画素に対する色成分がR成分であ
るかどうかを判断する段階と、前記画素の色成分がR成
分である場合、前記画素を基準にしたR成分の上部傾斜
成分の絶対値及び前記画素を基準にしたR成分の下部傾
斜成分の絶対値の差の絶対値が第3臨界値より小さいか
どうかを比較する段階と、前記R成分の上部傾斜成分の
絶対値及び前記R成分の下部傾斜成分の絶対値の差の絶
対値が前記第3臨界値より小さい場合、前記第3方向性
係数の値を前記第1状態値に定める段階と、前記R成分
の上部傾斜成分の絶対値及び前記R成分の下部傾斜成分
の絶対値の差が前記第3臨界値の負の値より小さいかど
うかを比較する段階と、前記R成分の上部傾斜成分の絶
対値及び前記R成分の下部傾斜成分の絶対値の差が前記
第3臨界値の負の値より小さい場合、前記第3方向性係
数の値を前記第2状態値に定める段階と、前記R成分の
上部傾斜成分の絶対値及び前記R成分の下部傾斜成分の
絶対値の差が前記第3臨界値より大きい場合、前記第3
方向性係数の値を前記第3状態値に定める段階と、前記
画素の色成分がR成分でない場合、前記画素を基準にし
たB成分の上部傾斜成分の絶対値及び前記画素を基準に
したB成分の下部傾斜成分の絶対値の差の絶対値が第3
臨界値より小さいかどうかを比較する段階と、前記B成
分の上部傾斜成分の絶対値及び前記B成分の下部傾斜成
分の絶対値の差の絶対値が前記第3臨界値より小さい場
合、前記第3方向性係数の値を前記第1状態値に定める
段階と、前記B成分の上部傾斜成分の絶対値及び前記B
成分の下部傾斜成分の絶対値の差が前記第3臨界値の負
の値より小さいかどうかを比較する段階と、前記B成分
の上部傾斜成分の絶対値及び前記B成分の下部傾斜成分
の絶対値の差が前記第3臨界値の負の値より小さい場
合、前記第3方向性係数の値を前記第2状態値に定める
段階と、前記B成分の上部傾斜成分の絶対値及び前記B
成分の下部傾斜成分の絶対値の差が前記二つの比較段階
のうちどこにも属していない場合、前記第3方向性係数
の値を前記第3状態値に定める段階とを具備する。
【0042】前記R値の上部傾斜成分の絶対値及び前記
R値の下部傾斜成分の絶対値の差は、求めようとする画
素(i,j)のR値をRijとすれば、数式|Rij−R
(i-2) j|−|Rij−R(i+2)j|で表示され、前記B値の
上部傾斜成分の絶対値及び前記B値の下部傾斜成分の絶
対値の差は、求めようとする画素(i,j)のB値をB
ijとすれば、数式|Bij−B(i-2)j|−|Bij−B
(i+2)j|で表示され、ここでi及びjは整数であること
が望ましい。
【0043】前記第1状態値は1/2であり、前記第2
状態値は1であり、前記第3状態値は0であることが望
ましい。前記第1臨界値ないし前記第3臨界値は、4よ
り大きくて20より小さな整数であることが望ましい。
【0044】前記インタポレーション段階は、前記イメ
ージセンサの出力データを演算し、選択された方向性係
数の値によって前記演算されたデータのうち該当データ
をR成分に選択する段階と、前記イメージセンサの出力
データを演算し、選択された方向性係数の値によって前
記演算されたデータのうち該当データをG成分に選択す
る段階と、前記イメージセンサの出力データを演算し、
選択された方向性係数の値によって前記演算されたデー
タのうち該当データをB成分に選択する段階とを具備す
る。
【0045】前記イメージセンサ出力データ処理方法
は、少なくとも一つ以上の状態値をさらに具備し、前記
状態値は、傾斜度が相異なる対角線成分を有するエッ
ジ、傾斜度が相異なる水平成分を有するエッジ及び傾斜
度が相異なる垂直成分を有するエッジの傾斜度を示すの
に使われる。
【0046】
【発明の実施の形態】以下、添付した図面を参照して本
発明の望ましい実施形態を説明することによって、本発
明を詳細に説明する。各図面において、同じ参照符号は
同一部分を示す。
【0047】図2は本発明の一実施形態によるイメージ
センサ出力データ処理装置を示すブロックダイヤグラム
である。図2を参照すれば、本発明によるイメージセン
サ出力データ処理装置は、ラインメモリモジュール2
0、遅延モジュール25、方向性係数値選択器26及び
適応補間器27を具備する。
【0048】ラインメモリモジュール20は、各画素で
感知した色信号に関する情報を有する単板式イメージセ
ンサの出力データINPUTを受信して貯蔵する。遅延
モジュール25は、イメージセンサの出力データINP
UT及びラインメモリモジュール20の出力データを受
信し、受信した前記出力データをクロック信号CLOC
Kを利用して所定時間遅延させた後、出力する。
【0049】方向性係数値選択器26は、遅延モジュー
ル25の出力データを受信し、遅延モジュール25の出
力データを利用して、求めようとする画素のR、G及び
B成分に対するエッジ成分を定義する複数の方向性係数
の値を選択して出力する。適応補間器27は、遅延モジ
ュール25の出力データを受信し、方向性係数値選択器
26の出力データに応答して受信した遅延モジュールの
出力データに補間を実施してG成分を有する画素のR成
分及びB成分を求め、R成分を有する画素のG成分及び
B成分を求め、B成分を有する画素のG成分及びR成分
を求める。
【0050】ラインメモリモジュール20は、イメージ
センサの出力データINPUTを貯蔵する第1ラインメ
モリ21、この第1ラインメモリ21の出力データを貯
蔵する第2ラインメモリ22、この第2ラインメモリ2
2の出力データを貯蔵する第3ラインメモリ23及びこ
の第3ラインメモリ23の出力データを貯蔵する第4ラ
インメモリ24を具備する。
【0051】図3は、図2に示された遅延モジュール2
5の内部回路図である。図3を参照すれば、遅延モジュ
ール25は、第1遅延ブロック251ないし第5遅延ブ
ロック255を具備する。第1遅延ブロック251ない
し第5遅延ブロック255は、クロック信号CLOCK
によって動作し、直列連結された4つのシフトレジスタ
を具備する。第1遅延ブロック251は、イメージセン
サの出力データINPUTを遅延させる。第2遅延ブロ
ック252は、第1ラインメモリ21の出力データを遅
延させる。第3遅延ブロック253、第4遅延ブロック
254及び第5遅延ブロック255は、各々第2ライン
メモリ22、第3ラインメモリ23及び第4ラインメモ
リ24の出力データを遅延させる。
【0052】図4は、図2に示された方向性係数値選択
器26の内部回路図である。図4を参照すれば、方向性
係数値選択器26は、色成分を求めようとする任意の画
素のR成分、G成分及びB成分に対する水平方向及び/
または垂直方向及び/または対角線方向のエッジ成分が
存在するかどうかを判断し、存在するエッジ成分の程度
を計算する演算部261及びこの演算部261の出力デ
ータを少なくとも3つの臨界値と比較して少なくとも3
つの前記方向性係数の値を決定する比較決定器263を
具備する。
【0053】演算部261は、色成分を求めようとする
任意の画素が既に有している色成分が何かによってエッ
ジ成分を求める複数の色成分演算部を有するもので、す
なわち、前記画素がR成分またはB成分を有する場合に
はG成分のエッジ成分を求め、G成分を有する場合には
演算を遂行しない第1色成分演算部2611、前記画素
がR成分を有する場合にはR成分の水平エッジ成分を求
め、G成分を有する場合にはG成分の水平エッジ成分を
求め、B成分を有する場合にはB成分の水平エッジ成分
を求める第2色成分演算部2613、及び前記画素がR
成分を有する場合にはR成分の垂直エッジ成分を求め、
G成分を有する場合にはG成分の垂直エッジ成分を求
め、B成分を有する場合にはB成分の垂直エッジ成分を
求める第3色成分演算部2615を具備する。図4は画
素(2,2)がR成分を有すると仮定して演算部261
の色成分について表記した。
【0054】これを再び表現すれば次の通りである。第
1色成分演算部2611は、色成分を求めようとする任
意の画素を基準にしたG成分の水平傾斜成分の絶対値、
及び前記画素を基準にしたG成分の垂直傾斜成分の絶対
値の差を計算する。
【0055】第2色成分演算部2613は、色成分を求
めようとする任意の画素がR成分を有している時、前記
画素を基準にしたR成分の左側傾斜成分の絶対値、及び
前記画素を基準にしたR成分の右側傾斜成分の絶対値の
差を計算するか、色成分を求めようとする任意の画素が
G成分を有している時、前記画素を基準にしたG成分の
左側傾斜成分の絶対値、及び前記画素を基準にしたG成
分の右側傾斜成分の絶対値の差を計算するか、色成分を
求めようとする任意の画素がB成分を有している時、前
記画素を基準にしたB成分の左側傾斜成分の絶対値、及
び前記画素を基準にしたB成分の右側傾斜成分の絶対値
の差を計算する。
【0056】第3色成分演算部2615は、色成分を求
めようとする任意の画素がR成分を有している時、前記
画素を基準にしたR成分の上部傾斜成分の絶対値、及び
前記画素を基準にしたR成分の下部傾斜成分の絶対値の
差を計算するか、色成分を求めようとする任意の画素が
G成分を有している時、前記画素を基準にしたG成分の
上部傾斜成分の絶対値、及び前記画素を基準にしたG成
分の下部傾斜成分の絶対値の差を計算するか、色成分を
求めようとする任意の画素がB成分を有している時、前
記画素を基準にしたB成分の上部傾斜成分の絶対値、及
び前記画素を基準にしたB成分の下部傾斜成分の絶対値
の差を計算する。
【0057】前述した内容を一般化させれば次の通りで
ある。第1色成分演算部2611は、第1機能ブロック
2616、第2機能ブロック2617及び第1減算器5
001を具備する。第1機能ブロック2616は、G
32及びG12色成分の差を求める第2減算器2622
及びこの第2減算器2622の出力データの絶対値を求
める第1ブロック2623を具備する。第2機能ブロッ
ク2617は、G23及びG21色成分の差を求める第
3減算器2624及びこの第3減算器2624の出力デ
ータの絶対値を求める第2ブロック2625を具備す
る。第1減算器5001は、第1機能ブロック2616
及び第2機能ブロック2617のデータの差を求めて出
力(x1)する。
【0058】第2色成分演算部2613は、第1色成分
演算部2611と同じ構造の回路で構成され、R22
びR24色成分の差の絶対値及びR22及びR20色成
分の差の絶対値を求め、前記二つの絶対値の差を出力
(x2)する。
【0059】第3色成分演算部2615は、第1色成分
演算部2611と同じ構造の回路で構成され、R22
びR42色成分の差の絶対値及びR22及びR02色成
分の差の絶対値を求め、前記二つの絶対値の差を出力
(x3)する。
【0060】比較決定器263は、第1比較決定器26
31、第2比較決定器2633及び第3比較決定器26
35を具備する。第1比較決定器2631は、第1色成
分演算部の出力(x1)が負の第1臨界値よりは大きく
て正の第1臨界値よりは小さい場合には第1方向性係数
を第1状態値に選択し、第1色成分演算部の出力(x
1)が負の第1臨界値より小さい場合には第1方向性係
数を第2状態値に選択し、第1色成分演算部の出力(x
1)が正の第1臨界値より大きい場合には第1方向性係
数を第3状態値に選択して出力(α)する。
【0061】第2比較決定器2633は、第2色成分演
算部の出力(x2)が負の第2臨界値よりは大きくて正
の第2臨界値よりは小さい場合には第2方向性係数を第
1状態値に選択し、第2色成分演算部の出力(x2)が
負の第2臨界値より小さい場合には第2方向性係数を第
2状態値に選択し、第2色成分演算部の出力(x2)が
正の第2臨界値より大きい場合には第2方向性係数を第
3状態値に選択して出力(α)する。
【0062】第3比較決定器2635は、第3色成分演
算部の出力(x3)が負の第3臨界値よりは大きくて正
の第3臨界値よりは小さい場合には第3方向性係数を第
1状態値に選択し、第3色成分演算部(x3)の出力が
負の第3臨界値より小さい場合には第3方向性係数を第
2状態値に選択し、第3色成分演算部の出力(x3)が
正の第3臨界値より大きい場合には第3方向性係数を第
3状態値に選択して出力(α)する。
【0063】前記第1臨界値ないし第3臨界値は、4よ
り大きくて20よりは小さな整数であり、前記第1状態
値は1/2で、第2状態値は1で、第3状態値は0であ
ることが望ましい。
【0064】図5は、図2に示された適応補間器27の
内部回路図である。図5を参照すれば、適応補間器27
は、G成分補間器271、R成分補間器275及びB成
分補間器277を具備する。
【0065】G成分補間器271は、低域通過フィルタ
成分計算器272、高域通過フィルタ成分計算器273
及び第1加算器274を具備する。低域通過フィルタ成
分計算器272は、遅延モジュール25の出力信号のう
ち複数のG成分を受信して演算を行ない、前記方向性係
数値選択器26の出力信号によって前記演算結果を選択
して出力(Glpf)する。高域通過フィルタ成分計算
器273は、遅延モジュール25の出力信号のうち複数
のR成分またはB成分を受信して演算を行ない、方向性
係数値選択器26の出力信号によって前記演算結果を選
択して出力(Ghpf)する。第1加算器274は、前
記低域通過フィルタ成分計算器272の出力
(Glp )信号及び前記高域通過フィルタ成分計算器
273の出力(Ghpf)信号を論理和する加算器を具
備する。
【0066】R成分補間器275は、そのG成分を知っ
ている画素(i,j)のR成分を求めようとする場合、
方向性係数値選択器26の第2方向性係数(α)の値
に応答して
【数13】 のうち一つを選択して出力(R)し、そのB成分を知
っている画素(i,j)のR成分を求めようとする場
合、前記画素(i,j)の対角線方向に存在する4つの
画素の算術平均
【数14】 を出力(R)する。
【0067】B成分補間器277は、そのG成分を知っ
ている画素(i,j)のB成分を求めようとする場合、
方向性係数値選択器26の第3方向性係数(α)の値
に応答して
【数15】 のうち一つを選択して出力(B)し、そのR成分を知
っている画素(i,j)のB成分を求めようとする場
合、前記画素(i,j)の対角線方向に存在する4つの
画素の算術平均
【数16】 を出力(B)する。
【0068】図6は、図5に示された低域通過フィルタ
成分計算器272の内部回路図である。図6を参照すれ
ば、低域通過フィルタ成分計算器272は、第1論理ブ
ロック部(611ないし616の集合)、第2論理ブロ
ック部(617ないし621の集合)及び第1選択器6
30を具備する。第1論理ブロック部611ないし61
6は、G12及びG32、G23及びG 32、G23
びG12、G21及びG32、G21及びG12 及び
23及びG21を各々論理和して2で割る論理ブロッ
クを複数具備する。第2論理ブロック部617ないし6
21は、第1論理ブロック部611ないし616の出力
信号のうち2つの出力信号を選択して2で割る論理ブロ
ックを複数具備する。第1選択器630は、方向性係数
値選択器26の出力信号α、α及びαによって、
12、G21、G23、G32、第1論理ブロック部
611ないし616の出力信号さらには第2論理ブロッ
ク部617ないし621の出力信号のうち一つを選択し
て出力(Glpf)する。
【0069】図7は、図5に示された高域通過フィルタ
成分計算器273の内部回路図である。図7を参照すれ
ば、高域通過フィルタ成分計算器273は、第3論理ブ
ロック部712ないし715、第4論理ブロック部71
6ないし721、第5論理ブロック部722ないし72
6及び第2選択器730を具備する。第3論理ブロック
部712ないし715は、R22及びR42の差(また
はB 22及びB42の差)、R22及びR02の差(ま
たはB22及びB02の差)、R22及びR24の差
(またはB22及びB24の差)及びR22及びR20
の差(またはB22及びB20の差)を2で割る複数の
論理ブロックを具備する。第4論理ブロック部716な
いし721は、第3論理ブロック部712ないし715
の複数の出力信号のうち相異なる2つの出力信号を各々
選択して論理和して2で割る複数の論理ブロックを具備
する。第5論理ブロック部722ないし726は、第4
論理ブロック部716ないし721の出力信号のうち相
異なる2つの出力信号を各々選択して論理和して2で割
る複数の論理ブロックを具備する。第2選択器730
は、方向性係数値選択器26の出力信号α、α及び
αによって、第3ないし第5論理ブロック部712〜
726の出力信号のうち一つを選択して出力
(Ghpf)する。
【0070】図8は、本発明の一実施形態によるイメー
ジセンサ出力データ処理方法を示す信号フローチャート
である。図8を参照すれば、本発明によるイメージセン
サ出力データ処理方法(段階800)は、段階810な
いし段階870を具備する。段階810は、入力される
自然の風景を電子信号に変換するイメージセンサの出力
データを処理する方法において、前記イメージセンサの
出力データを貯蔵する。段階830は、貯蔵されたイメ
ージセンサの出力データ及び現在入力されるイメージセ
ンサの出力データを利用して求めようとする画素の色成
分の強度を決定する少なくとも3つの方向性係数の値を
選択する。段階870は、前記段階で選択された複数の
方向性係数及び前記イメージセンサの出力データを利用
して、G成分を有する画素のR成分及びB成分を求め、
R成分を有する画素のG成分及びB成分を求め、B成分
を有する画素のG成分及びR成分を求めるインタポレー
ションを遂行する。
【0071】ここで、前記少なくとも3つの方向性係数
は、水平線、垂直線及び対角線を基準に一側平面のエッ
ジ成分の程度を示す第1方向性係数、水平線を基準に一
定の幅を有し、前記水平線を基準に左側成分、右側成分
及び前記左側成分と右側成分両方を含む成分の程度を示
す第2方向性係数及び垂直線を基準に一定の幅を有し、
前記垂直線を基準に上側成分、下側成分及び前記上側成
分と下側成分両方を含む成分の程度を示す第3方向性係
数である。前記段階810は、前記イメージセンサの出
力データを所定の単位に区分して、1単位ずつ貯蔵する
ラインメモリを具備して少なくとも4単位のデータを貯
蔵し、前記所定の1単位は、ベイヤアレイ構造で一つの
ラインであることが望ましい。
【0072】図9は、図8に示された方向性係数値を選
択する段階830をより細分化した信号フローチャート
である。図9を参照すれば、3つの方向性係数値選択段
階830は、段階831ないし段階851を具備する。
段階831は、色成分を求めようとする任意の画素が既
にG成分であるかどうかを判断する。段階833及び8
35は、色成分を求めようとする画素が既にG成分を有
している場合、第2方向性係数の値及び第3方向性係数
の値を順に選択する。段階837は、色成分を求めよう
とする画素が有している色成分がG成分でない場合、前
記画素を基準にしたG成分の水平傾斜成分の絶対値及び
前記画素を基準にしたG成分の垂直傾斜成分の絶対値の
差ΔGの絶対値が第1臨界値Tより小さいかどうかを
比較する。段階839及び841は、前記G成分の水平
傾斜成分の絶対値及び前記G成分の垂直傾斜成分の絶対
値の差ΔGの絶対値が前記第1臨界値Tより小さい場
合、前記第1方向性係数αの値を第1状態値1/2に
定め、前記第2方向性係数αの値を選択する。
【0073】段階843は、前記G成分の水平傾斜成分
の絶対値及び前記G成分の垂直傾斜成分の絶対値の差Δ
Gが前記第1臨界値の負の値−Tより少ないかどうか
を判断する。段階845及び847は、前記G成分の水
平傾斜成分の絶対値及び前記G成分の垂直傾斜成分の絶
対値の差ΔGが前記第1臨界値の負の値−Tより小さ
い場合、前記第1方向性係数αの値を第2状態値1に
定め、前記第2方向性係数α の値を選択する。段階8
49は、前記G成分の水平傾斜成分の絶対値及び前記G
成分の垂直傾斜成分の絶対値の差ΔGが前記第1臨界値
の正の値より大きい場合、前記第1方向性係数α
の値を第3状態値0に定める。段階851は、前記第1
方向性係数αの値が第1状態値1/2または第3状態
値0に決まった場合、引続き前記第3方向性係数α
値を選択する。前記G成分の水平成分の絶対値及び前記
G成分の垂直成分の絶対値の差ΔGは、求めようとする
画素(i,j)のG成分をGijとすれば、数式|G
i(j+1)−Gi(j-1)|−|G(i-1)j−G(i+1)j|で表示さ
れ、ここでi及びjは整数である。
【0074】図10は、図9に示された画素が既にG成
分を有している場合に前記第2方向性係数の値を選択す
る段階833を構成する信号フローチャートである。図
10を参照すれば、第2方向性係数値の選択段階833
は、段階8331ないし段階8339を具備する。段階
8331は、前記画素を基準にしたG成分の左側傾斜成
分の絶対値及び前記画素を基準にしたG成分の右側傾斜
成分の絶対値の差ΔGの絶対値が第2臨界値Tより
小さいかどうかを比較する。段階8333は、前記G成
分の左側傾斜成分の絶対値及び前記G成分の右側傾斜成
分の絶対値の差ΔGの絶対値が前記第2臨界値T
り小さい場合、前記第2方向性係数αの値を前記第1
状態値1/2に定める。段階8335は、前記G成分の
左側傾斜成分の絶対値及び前記G成分の右側傾斜成分の
絶対値の差ΔGが前記第2臨界値の負の値Tより小
さいかどうかを比較する。
【0075】段階8337は、前記G成分の左側傾斜成
分の絶対値及び前記G成分の右側傾斜成分の絶対値の差
ΔGが前記第2臨界値の負の値−Tより小さい場
合、前記第2方向性係数αの値を前記第2状態値1に
定める。段階8339は、前記G成分の左側傾斜成分の
絶対値及び前記G成分の右側傾斜成分の絶対値の差ΔG
が前記第2臨界値Tより大きい場合、前記第2方向
性係数αの値を前記第3状態値0に定める。前記G成
分の左側傾斜成分の絶対値及び前記G成分の右側成分の
絶対値の差ΔGは、求めようとする画素(i,j)の
G成分をGijとすれば、数式|Gij−Gi(j-2)|−|
ij−Gi(j+2)|で表示され、ここでi及びjは整数で
ある。
【0076】図11は、図9に示された画素が既にG成
分を有している場合に前記第3方向性係数の値を選択す
る段階835を構成する信号フローチャートである。図
11を参照すれば、第3方向性係数の値を選択する段階
835は、段階8351ないし段階8359を具備す
る。段階8351は、前記画素を基準にしたG成分の上
部傾斜成分の絶対値及び前記画素を基準にしたG成分の
下部傾斜成分の絶対値の差ΔGの絶対値が第3臨界値
より小さいかどうかを比較する。段階8353は、
前記G成分の上部傾斜成分の絶対値及び前記G成分の下
部傾斜成分の絶対値の差ΔGの絶対値が前記第3臨界
値Tより小さい場合、前記第3方向性係数αの値を
前記第1状態値1/2に定める。段階8355は、前記
G成分の上部傾斜成分の絶対値及び前記G成分の下部傾
斜成分の絶対値の差ΔGが第3臨界値の負の値−T
より小さいかどうかを比較する。
【0077】段階8357は、前記G成分の上部傾斜成
分の絶対値及び前記G成分の下部傾斜成分の絶対値の差
ΔGが前記第3臨界値の負の値−Tより小さい場
合、前記第3方向性係数αの値を第2状態値1に定め
る。段階8359は、前記G成分の上部傾斜成分の絶対
値及び前記G成分の下部傾斜成分の絶対値の差ΔG
前記二つの比較段階のうちどこにも属していない場合、
前記第3方向性係数αの値を前記第3状態値0に定め
る。前記G成分の上部傾斜成分の絶対値及び前記G成分
の下部傾斜成分の絶対値の差ΔGは、求めようとする
画素(i,j)のG成分をGijとすれば、数式|Gij
−G(i-2)j|−|Gij−G(i+2)j|で表示され、ここで
i及びjは整数である。
【0078】図12は、図9に示された色成分を求めよ
うとする画素が有している色成分がG成分でない場合
に、前記第2方向性係数の値を選択する段階841及び
847を構成する信号フローチャートである。図12を
参照すれば、第2方向性係数値選択段階841及び84
7は、段階8411ないし段階8421を具備する。段
階8411は、前記画素が有している色成分がR成分で
あるかどうかを判断する。段階8412は、前記画素が
R成分である場合、前記画素を基準にしたR成分の左側
傾斜成分の絶対値及び前記画素を基準にしたR成分の右
側傾斜成分の絶対値の差ΔRの絶対値が第2臨界値T
より小さいかどうかを比較する。段階8413は、前
記R成分の左側傾斜成分の絶対値及び前記R成分の右側
傾斜成分の絶対値の差ΔRの絶対値が前記第2臨界値
より小さい場合、前記第2方向性係数αの値を前
記第1状態値1/2に定める。
【0079】段階8414は、前記R成分の左側傾斜成
分の絶対値及び前記R成分の右側傾斜成分の絶対値の差
ΔRが前記第2臨界値の負の値Tより小さいかどう
かを比較する。段階8415は、前記R成分の左側傾斜
成分の絶対値及び前記R成分の右側傾斜成分の絶対値の
差ΔRが前記第2臨界値の負の値Tより小さい場
合、前記第2方向性係数αの値を前記第2状態値1に
定める。段階8416は、前記R成分の左側傾斜成分の
絶対値及び前記R成分の右側傾斜成分の絶対値の差ΔR
が前記第2臨界値Tより大きい場合、前記第2方向
性係数αの値を前記第3状態値0に定める。
【0080】段階8417は、前記画素が有している色
成分がR成分でない場合、前記画素を基準にしたB成分
の左側傾斜成分の絶対値及び前記画素を基準にしたB成
分の右側傾斜成分の絶対値の差ΔRの絶対値が第2臨
界値Tより小さいかどうかを比較する。段階8418
は、前記B成分の左側傾斜成分の絶対値及び前記B成分
の右側傾斜成分の絶対値の差ΔBの絶対値が前記第2
臨界値Tより小さい場合、前記第2方向性係数α
値を前記第1状態値1/2に定める。
【0081】段階8419は、前記B成分の左側傾斜成
分の絶対値及び前記B成分の右側傾斜成分の絶対値の差
ΔBが前記第2臨界値の負の値Tより小さいかどう
かを比較する。段階8420は、前記B成分の左側傾斜
成分の絶対値及び前記B成分の右側傾斜成分の絶対値の
差ΔBが前記第2臨界値の負の値Tより小さい場
合、前記第2方向性係数αの値を前記第2状態値1に
定める。段階8421は、前記B成分の左側傾斜成分の
絶対値及び前記B成分の右側傾斜成分の絶対値の差ΔB
が前記第2臨界値Tより大きい場合、前記第2方向
性係数αの値を前記第3状態値0に定める。
【0082】前記R値の左側傾斜成分の絶対値及び前記
R値の右側成分の絶対値の差ΔRは、求めようとする
画素(i,j)のR値をRijとすれば、数式|Rij
i(j-2)|−|Rij−Ri(j+2)|で表示され、前記B値
の左側傾斜成分の絶対値及び前記B値の右側成分の絶対
値の差ΔBは、求めようとする画素(i,j)のB値
をBijとすれば、数式|Bij−Bi(j-2)|−|Bij
i(j+2)|で表示され、ここでi及びjは整数である。
【0083】図13は、図9に示された色成分を求めよ
うとする画素が有している色成分がG成分でない場合
に、前記第3方向性係数の値を選択する段階851を構
成する信号フローチャートである。図13を参照すれ
ば、第3方向性係数値の選択段階851は、段階851
1ないし段階8521を具備する。段階8511は、前
記画素に対する色成分がR成分であるかどうかを判断す
る。段階8512は、前記画素の色成分がR成分である
場合、前記画素を基準にしたR成分の上部傾斜成分の絶
対値及び前記画素を基準にしたR成分の下部傾斜成分の
絶対値の差ΔRの絶対値が第3臨界値Tより小さい
かどうかを比較する。段階8513は、前記R成分の上
部傾斜成分の絶対値及び前記R成分の下部傾斜成分の絶
対値の差ΔRの絶対値が前記第3臨界値Tより小さ
い場合、前記第3方向性係数αの値を前記第1状態値
1/2に定める。
【0084】段階8514は、前記R成分の上部傾斜成
分の絶対値及び前記R成分の下部傾斜成分の絶対値の差
ΔRが前記第3臨界値の負の値−Tより小さいかど
うかを比較する。段階8515は、前記R成分の上部傾
斜成分の絶対値及び前記R成分の下部傾斜成分の絶対値
の差ΔRが前記第3臨界値の負の値−Tより小さい
場合、前記第3方向性係数αの値を前記第2状態値1
に定める。段階8516は、前記R成分の上部傾斜成分
の絶対値及び前記R成分の下部傾斜成分の絶対値の差Δ
が前記第3臨界値Tより大きい場合、前記第3方
向性係数αの値を前記第3状態値0に定める。
【0085】段階8517は、前記画素の色成分がR成
分でない場合、前記画素を基準にしたB成分の上部傾斜
成分の絶対値及び前記画素を基準にしたB成分の下部傾
斜成分の絶対値の差ΔBの絶対値が第3臨界値T
り小さいかどうかを比較する。段階8518は、前記B
成分の上部傾斜成分の絶対値及び前記B成分の下部傾斜
成分の絶対値の差ΔBの絶対値が前記第3臨界値T
より小さい場合、前記第3方向性係数αの値を前記第
1状態値1/2に定める。
【0086】段階8519は、前記B成分の上部傾斜成
分の絶対値及び前記B成分の下部傾斜成分の絶対値の差
ΔBが前記第3臨界値の負の値−Tより小さいかど
うかを比較する。段階8520は、前記B成分の上部傾
斜成分の絶対値及び前記B成分の下部傾斜成分の絶対値
の差ΔBが前記第3臨界値の負の値−Tより小さい
場合、前記第3方向性係数αの値を前記第2状態値1
に定める。段階8521は、前記B成分の上部傾斜成分
の絶対値及び前記B成分の下部傾斜成分の絶対値の差Δ
が前記二つの比較段階のうちどこにも属していない
場合、前記第3方向性係数αの値を前記第3状態値0
に定める。
【0087】前記R値の上部傾斜成分の絶対値及び前記
R値の下部傾斜成分の絶対値の差ΔRは、求めようと
する画素(i,j)のR値をRijとすれば、数式|R
ij−R(i-2)j|−|Rij−R(i+2)j|で表示され、前記
B値の上部傾斜成分の絶対値及び前記B値の下部傾斜成
分の絶対値の差ΔBは、求めようとする画素(i,
j)のB値をBijとすれば、数式|Bij−B(i-2)j
−|Bij−B(i+2)j|で表示され、ここでi及びjは整
数である。前記第1臨界値Tないし前記第3臨界値T
は、4より大きくて20より小さな整数であることが
望ましい。
【0088】前記インタポレーション段階は、前記イメ
ージセンサの出力データを演算し、選択された方向性係
数の値によって前記演算されたデータのうち該当データ
をR成分に選択する段階(図示せず)、前記イメージセ
ンサの出力データを演算し、選択された方向性係数の値
によって前記演算されたデータのうち該当データをG成
分に選択する段階(図示せず)、及び前記イメージセン
サの出力データを演算し、選択された方向性係数等の値
によって前記演算されたデータのうち該当データをB成
分に選択する段階(図示せず)を具備する。
【0089】前記イメージセンサ出力データ処理方法
は、少なくとも一つ以上の状態値をさらに具備し、前記
状態値は、傾斜度が相異なる対角線成分を有するエッ
ジ、傾斜度が相異なる水平成分を有するエッジ及び傾斜
度が相異なる垂直成分を有するエッジの傾斜度の程度を
示すのに使われうる。
【0090】以下、本発明によるイメージセンサの出力
データ処理装置及び処理方法の数学的根拠を説明する。
図1に示された画素(2,2)のG値とR値との差は、
画素(2,2)周囲の4つの画素((2,1)、(2,
3)、(1,2)及び(3,2))のG値及びR値を利用
して求めうる。すなわち、画素(2,1)のG値とR値
との差に所定の加重値をかける。同じく、残りの画素
(2,3)、(1,2)及び(3,2)のG値とR値との
差に所定の加重値β+γ+σを各々かける。その後、前
記4つの計算値を全部合せれば、画素(2,2)のG値
とR値との差になる。数17は画素(2,2)でのG値
とR値との差を示す。
【数17】 ここで、α+β+γ+σ=1である。前記数17は、画
素(2,2)で映像のエッジ成分の方向によって、数1
8のように表現できる。
【数18】 ここで、αdは水平方向または垂直方向のエッジ成分が
存在するか否かを示し、αは水平方向のエッジ成分の
程度、αは垂直方向のエッジ成分の程度を示す。
【0091】方向性係数α、α及びαを求める方
法を、画素(2,2)でG値を求める場合の例をあげて
説明する。まず、水平または垂直方向のエッジ程度を示
すαは、数19によって定められる。
【数19】 数19を参照すれば、画素(2,2)に水平に隣接した
画素(2,3)及び(2,1)間のG成分の差の絶対値|
23−G21|及び垂直に隣接した画素(1,2)及び
(3,2)間のG成分の差の絶対値|G12−G32|の差
の絶対値が第1臨界値Tより小さければ、α=1/
2になる。画素(2,2)に水平に隣接した画素(2,
3)及び(2,1)間のG成分の差の絶対値|G23−G
21|と垂直に隣接した画素(1,2)及び(3,2)間の
G成分の差の絶対値|G23−G21|との差が第1臨界値
のネガティブ値−Tより小さければα=1になり、
他の場合はα=0になる。
【0092】現在の画素を中心に水平方向のエッジの程
度を示すαは数20によって定められる。
【数20】 数20を参照すれば、画素(2,2)及び画素(2,2)
に水平に隣接した画素(2,0)のR成分の差の絶対値
|R22−R20|及び画素(2,2)及び画素(2,2)に
水平に隣接した画素(2,4)のR成分の差の絶対値|
22−R24|の差の絶対値が第2臨界値Tより小さけ
れば、α=1/2となる。画素(2,2)及び画素
(2,2)に水平に隣接した画素(2,0)のR成分の差
の絶対値|R 22−R20|及び画素(2,2)及び画素
(2,2)に水平に隣接した画素(2,4)のR成分の差
の絶対値|R22−R24|の差が第2臨界値のネガティブ
値−Tより小さければα=1になり、他の場合はα
=0になる。
【0093】さらに、現在の画素を中心に垂直方向のエ
ッジ程度を示すαは、数21によって定められる。
【数21】 数21を参照すれば、画素(2,2)及び画素(2,2)
に垂直に隣接した画素(0,2)のR成分の差の絶対値
|R22−R02|及び画素(2,2)及び画素(2,2)に
垂直に隣接した画素(4,2)のR成分の差の絶対値|
22−R42|の差の絶対値が第3臨界値Tより小さけ
れば、α=1/2になる。画素(2,2)及び画素
(2,2)に垂直に隣接した画素(0,2)のR成分の差
の絶対値|R 22−R02|及び画素(2,2)及び画素
(2,2)に垂直に隣接した画素(4,2)のR成分の差
の絶対値|R22−R42|の差が第3臨界値のネガティブ
値−Tより小さければα=1になり、他の場合はα
=0になる。
【0094】ここで、T、T及びTは各々4より
大きくて20より小さな整数である。
【0095】説明を簡単にするために、前記係数の値を
全部1/2(α=α=α=1/2)と仮定すれ
ば、画素(2、2)の周辺画素のR値は数22のように
表示できる。
【数22】 前記仮定(α=α=α=1/2)、数22の結果
及び数18を利用して画素(2,2)のGの値を計算す
れば、数23のように求められる。
【数23】 前述した方法は画素(2,2)の値を求めることを例と
したが、同じ方法で任意の画素の値を求めうることは明
らかである。
【0096】図14は、本発明によるイメージセンサ出
力データ処理方法が処理できる19の場合のエッジを示
す。図15は、任意の画素(2,2)のG値を決定する
3つの方向性係数α、α 及びαによって処理でき
るエッジを分類して示す。図14及び図15を参照すれ
ば、本発明によるイメージセンサ出力データ処理方法
は、対角線エッジ成分a、b、c及びd、水平エッジ成
分f、h、j、l、n、o、p、q及びr及び垂直エッ
ジ成分e、g、k、m、o、p、q及びsを全部カバー
できることが分かる。特に、4つの場合のエッジ成分
o、p、q及びrは水平及び垂直成分を扱う二つの処理
方式に全部適用できる。
【0097】また、G値が存在する画素でRまたはB値
を求める時、一方向にのみ補間技法を使用すればよいの
で計算が簡単になる。Rの値を求める方法はBの値を求
める方法と同一に適用できる。したがって、ここでは画
素(2,3)でR値だけを求める。また、Gプレーン値
を求める時に使用したαはここでは使用せず、水平方
向エッジ成分のαだけを考慮する。
【0098】図16は、方向性係数αによる画素
(2,3)のR成分及びこれを満足するエッジの種類を
分類したものである。補間技法を利用して、R値が存在
する画素でB値を求めるか、B値が存在する画素でR値
を求める。しかし、任意の画素でR及びB値は画質に多
くの影響を与えないためにこれを近似的に求めても問題
が発生しない。例えば、R値が存在する画素(2,2)
のB値は、周囲の4つの画素(1,1)、(1,3)、
(3,1)及び(3,3)のB値の算術平均によって求め
うる。B値が存在する任意の画素のR値も同じ方法で求
めうる。
【0099】本発明は図面に示された一実施形態を参考
にして説明されたが、これは例示的なものに過ぎず、本
技術分野の当業者であればこれより多様な変形及び均等
な他の実施形態が可能であるという点を理解できる。し
たがって、本発明の真の技術的保護範囲は特許請求の範
囲の技術的思想により決まらねばならない。
【0100】
【発明の効果】以上詳述したように、本発明によるイメ
ージセンサ出力データ処理装置及び処理方法は、映像セ
ンサの任意の画素で感知された相異なるカラー間の強度
の差が一定な場合はもとより一定でない場合にも高品質
の画質を得られ、映像の水平エッジ、垂直エッジ、対角
線エッジ、角エッジ及び厚いか薄いエッジいずれにも適
応力がある長所がある。
【図面の簡単な説明】
【図1】ベイヤアレイを示すダイヤグラムである。
【図2】本発明の一実施形態によるイメージセンサ出力
データ処理装置を示すブロックダイヤグラムである。
【図3】図2に示された遅延モジュール25の内部回路
図である。
【図4】図2に示された方向性係数値選択器26の内部
回路図である。
【図5】図2に示された適応補間器27の内部回路図で
ある。
【図6】図5に示された低域通過フィルタ成分計算器2
72の内部回路図である。
【図7】図5に示された高域通過フィルタ成分計算器2
73の内部回路図である。
【図8】本発明の一実施形態によるイメージセンサ出力
データ処理方法を示す信号フローチャートである。
【図9】図8に示された方向性係数値を選択する段階8
30をより細分化した信号フローチャートである。
【図10】図9に示された画素が既にG成分を有してい
る場合に第2方向性係数の値を選択する段階833を構
成する信号フローチャートである。
【図11】図9に示された画素が既にG成分を有してい
る場合に第3方向性係数の値を選択する段階835を構
成する信号フローチャートである。
【図12】図9に示された色成分を求めようとする画素
が有している色成分がG成分でない場合に、第2方向性
係数の値を選択する段階841及び847を構成する信
号フローチャートである。
【図13】図9に示された色成分を求めようとする画素
が有している色成分がG成分でない場合に、前記第3方
向性係数の値を選択する段階851を構成する信号フロ
ーチャートである。
【図14】本発明によるイメージセンサ出力データ処理
方法が処理できる19の場合のエッジを示す図である。
【図15】任意の画素(2,2)のG値を決定する3つ
の方向性係数α、α 及びαによって処理できる
エッジを分類して示す図である。
【図16】方向性係数αによる画素(2,3)のR成
分及びこれを満足するエッジの種類を分類した図であ
る。
【符号の説明】
20 ラインメモリモジュール 25 遅延モジュール 26 方向性係数値選択器 27 適応補間器

Claims (33)

    【特許請求の範囲】
  1. 【請求項1】 各画素で感知した色信号に関する情報を
    有する単板式イメージセンサの出力データを受信して貯
    蔵するラインメモリモジュールと、 前記イメージセンサの出力データ及び前記ラインメモリ
    モジュールの出力データを受信し、受信した前記出力デ
    ータをクロック信号を利用して所定時間遅延させた後で
    出力する遅延モジュールと、 この遅延モジュールの出力データを受信し、遅延モジュ
    ールの出力データを利用して、求めようとする画素の
    R、G及びB成分に対するエッジ成分を定義する複数の
    方向性係数の値を選択して出力する方向性係数値選択器
    と、 前記遅延モジュールの出力データを受信し、前記方向性
    係数値選択器の出力データに応答して受信した遅延モジ
    ュールの出力データに補間を実施してG成分を有する画
    素のR成分及びB成分を求め、R成分を有する画素のG
    成分及びB成分を求め、B成分を有する画素のG成分及
    びR成分を求める適応補間器とを具備することを特徴と
    するイメージセンサ出力データ処理装置。
  2. 【請求項2】 前記ラインメモリモジュールは、 前記イメージセンサの出力データを貯蔵する第1ライン
    メモリと、 この第1ラインメモリの出力データを貯蔵する第2ライ
    ンメモリと、 この第2ラインメモリの出力データを貯蔵する第3ライ
    ンメモリと、 この第3ラインメモリの出力データを貯蔵する第4ライ
    ンメモリとを具備することを特徴とする請求項1に記載
    のイメージセンサ出力データ処理装置。
  3. 【請求項3】 前記遅延モジュールは、 前記クロック信号によって動作し、直列連結された複数
    のシフトレジスタを具備して前記イメージセンサの出力
    データを遅延させる遅延ブロックを複数具備することを
    特徴とする請求項1に記載のイメージセンサ出力データ
    処理装置。
  4. 【請求項4】 前記直列連結された複数のシフトレジス
    タは、 各々4つであることを特徴とする請求項3に記載のイメ
    ージセンサ出力データ処理装置。
  5. 【請求項5】 前記方向性係数値選択器は、 色成分を求めようとする任意の画素のR成分、G成分及
    びB成分に対する水平方向及び/または垂直方向及び/
    または対角線方向のエッジ成分が存在するか否かを判断
    し、存在するエッジ成分の程度を計算する複数の色成分
    演算部を具備する演算部と、 前記演算部の出力データを複数の臨界値と比較して複数
    の前記方向性係数の値を決定する比較決定器とを具備す
    ることを特徴とする請求項1に記載のイメージセンサ出
    力データ処理装置。
  6. 【請求項6】 前記複数の色成分演算部は、 色成分を求めようとする任意の画素が既に有している色
    成分としてR成分またはB成分を有する場合にはG成分
    のエッジ成分を求め、G成分を有する場合には演算を遂
    行しない第1色成分演算部と、 前記画素が既に有している色成分としてR成分を有する
    場合にはR成分の水平エッジ成分を求め、G成分を有す
    る場合にはG成分の水平エッジ成分を求め、B成分を有
    する場合にはB成分の水平エッジ成分を求める第2色成
    分演算部と、 前記画素が既に有している色成分としてR成分を有する
    場合にはR成分の垂直エッジ成分を求め、G成分を有す
    る場合にはG成分の垂直エッジ成分を求め、B成分を有
    する場合にはB成分の垂直エッジ成分を求める第3色成
    分演算部とを具備することを特徴とする請求項5に記載
    のイメージセンサ出力データ処理装置。
  7. 【請求項7】 前記第1色成分演算部は、 色成分を求めようとする任意の画素を基準に、水平方向
    に増加するか減少するG成分の絶対値(以下、G成分の
    水平傾斜成分の絶対値という)及び前記画素を基準に、
    垂直方向に増加するか減少するG成分の絶対値(以下、
    G成分の垂直傾斜成分の絶対値という)の差を計算する
    ことを特徴とする請求項6に記載のイメージセンサ出力
    データ処理装置。
  8. 【請求項8】 前記第1色成分演算部は、 任意の画素(i,j)(i及びjは整数)のG成分をG
    ijとすれば、 G(i+1)j及びG(i-1)jの差(水平成分)の絶
    対値を求める第1機能ブロックと、 G(i+1)及びG(i-1)の差(垂直成分)の絶対値
    を求める第2機能ブロックと、 前記第1機能ブロック及び前記第2機能ブロックの出力
    信号の差を求める第1減算器とを具備することを特徴と
    する請求項6に記載のイメージセンサ出力データ処理装
    置。
  9. 【請求項9】 前記第2色成分演算部は、 色成分を求めようとする任意の画素がR成分を有してい
    る時、R成分の左側傾斜成分の絶対値及びR成分の右側
    傾斜成分の絶対値の差を計算するか、 色成分を求めようとする任意の画素がG成分を有してい
    る時、G成分の左側傾斜成分の絶対値及びG成分の右側
    傾斜成分の絶対値の差を計算するか、 色成分を求めようとする任意の画素がB成分を有してい
    る時、B成分の左側傾斜成分の絶対値及びB成分の右側
    傾斜成分の絶対値の差を計算し、 前記第3色成分演算部は、 色成分を求めようとする任意の画素がR成分を有してい
    る時、R成分の上部傾斜成分の絶対値及びR成分の下部
    傾斜成分の絶対値の差を計算するか、 色成分を求めようとする任意の画素がG成分を有してい
    る時、G成分の上部傾斜成分の絶対値及びG成分の下部
    傾斜成分の絶対値の差を計算するか、 色成分を求めようとする任意の画素がB成分を有してい
    る時、B成分の上部傾斜成分の絶対値及びB成分の下部
    傾斜成分の絶対値の差を計算することを特徴とする請求
    項6に記載のイメージセンサ出力データ処理装置。
  10. 【請求項10】 任意の画素(i,j)(i及びjは整
    数)のR成分をR 、G成分をGij及びB成分をB
    ijとすれば、 前記第2色成分演算部は、 Rij及びRi(j+2)の差の絶対値を求めるか、G
    ij及びGi(j+2 の差の絶対値を求めるか、B
    ij及びBi(j+2)の差の絶対値を求める第3機能
    ブロックと、 Ri(j-2)及びRijの差の絶対値を求めるか、G
    i(j-2)及びGijの差の絶対値を求めるか、B
    i(j-2)及びBijの差の絶対値を求める第4機能
    ブロックと、 前記第3機能ブロック及び前記第4機能ブロックの出力
    信号の差を求める第2減算器とを具備し、 前記第3色成分演算部は、 Rij及びRi(j+2)jの差の絶対値を求めるか、
    ij及びGi(j+ 2)jの差の絶対値を求めるか、
    ij及びBi(j+2)jの差の絶対値を求める第5
    機能ブロックと、 R(i-2)j及びRijの差の絶対値を求めるか、G
    (i-2)j及びGijの差の絶対値を求めるか、B
    (i-2)j及びBijの差の絶対値を求める第6機能
    ブロックと、 前記第5機能ブロック及び前記第6機能ブロックの出力
    信号の差を求める第3減算器とを具備することを特徴と
    する請求項6に記載のイメージセンサ出力データ処理装
    置。
  11. 【請求項11】 前記比較決定器は、 前記色成分演算部の出力が負の臨界値よりは大きくて正
    の臨界値よりは小さい場合には任意の方向性係数を第1
    状態値に選択し、負の臨界値より小さい場合には前記任
    意の方向性係数を第2状態値に選択し、正の臨界値より
    大きい場合には前記任意の方向性係数を第3状態値に選
    択することを特徴とする請求項5に記載のイメージセン
    サ出力データ処理装置。
  12. 【請求項12】 前記第1臨界値ないし第3臨界値は、 4より大きくて20よりは小さな整数であることを特徴
    とする請求項11に記載のイメージセンサ出力データ処
    理装置。
  13. 【請求項13】 前記第1状態値は、 1/2であり、 第2状態値は、 1であり、 第3状態値は、 0であることを特徴とする請求項11に記載のイメージ
    センサ出力データ処理装置。
  14. 【請求項14】 前記適応補間器は、 前記遅延モジュール及び前記方向性係数値選択器の出力
    信号によって補間を遂行してG成分を出力するG成分補
    間器と、 前記遅延モジュール及び前記方向性係数値選択器の出力
    信号によって補間を遂行してR成分を出力するR成分補
    間器と、 前記遅延モジュール及び前記方向性係数値選択器の出力
    信号によって補間を遂行してB成分を出力するB成分補
    間器とを具備することを特徴とする請求項1に記載のイ
    メージセンサ出力データ処理装置。
  15. 【請求項15】 前記G成分補間器は、 前記遅延モジュールの出力信号のうち複数のG成分を受
    信して演算を行ない、前記方向性係数値選択器の出力信
    号によって前記演算結果を選択して出力する低域通過フ
    ィルタ成分計算器と、 前記遅延モジュールの出力信号のうち複数のR成分また
    はB成分を受信して演算を行ない、前記方向性係数値選
    択器の出力信号によって前記演算結果を選択して出力す
    る高域通過フィルタ成分計算器と、 前記低域通過フィルタ成分計算器の出力信号及び前記高
    域通過フィルタ成分計算器の出力信号を論理和する加算
    器とを具備することを特徴とする請求項14に記載のイ
    メージセンサ出力データ処理装置。
  16. 【請求項16】 前記低域通過フィルタ成分計算器は、 求めようとする画素(i,j)に対して、 G(i-1)j及びG(i+1)j、Gi(j+1)
    びG(i+1)j、G i(j+1)及び
    (i-1)j、Gi(j-1)及びG(i+1)j、G
    i(j -1)及びG(i-1)j、及びGi(j-1)
    びGi(j+1)を各々論理和して2で割る複数の論理
    ブロックを含む第1論理ブロック部と、 この第1論理ブロック部の出力信号のうち2つの出力信
    号を選択的に論理和して2で割る複数の論理ブロックを
    含む第2論理ブロック部と、 前記方向性係数値選択器の出力信号によって、前記G
    (i-1)j、Gi(j- 1)、Gi(j+1)、G
    (i+1)j、前記第1論理ブロック部の出力信号及び
    前記第2論理ブロック部の出力信号のうち一つを選択し
    て出力する第1選択器とを具備することを特徴とする請
    求項15に記載のイメージセンサ出力データ処理装置。
  17. 【請求項17】 前記高域通過フィルタ成分計算器は、 求めようとする画素(i,j)に対して、 Rij及びR(i+2)jの差またはBij及びB
    (i+2)jの差、Rij及びR(i-2)jの差また
    はBij及びB(i-2)jの差、Rij及びRi(
    j+2)の差またはBij及びBi(j+2)の差、及
    びRij及びRi(j- 2)の差またはBij及びB
    i(j-2)の差を各々2で割る複数の論理ブロックを
    具備する第3論理ブロック部と、 この第3論理ブロック部の出力信号を選択的に論理和し
    て2で割る論理ブロックを複数具備する第4論理ブロッ
    ク部と、 この第4論理ブロック部の出力信号を選択的に論理和し
    て2で割る論理ブロックを複数具備する第5論理ブロッ
    ク部と、 前記方向性係数値選択器の出力信号によって、前記第3
    論理ブロック部ないし前記第5論理ブロック部の出力信
    号のうち一つを選択する第2選択器とを具備することを
    特徴とする請求項15に記載のイメージセンサ出力デー
    タ処理装置。
  18. 【請求項18】 前記R成分補間器は、 そのG成分を知っている画素(i,j)のR成分を求め
    ようとする場合、前記方向性係数値選択器の第2方向性
    係数の値に応答して 【数1】 のうち一つを選択して出力し、 そのB成分を知っている画素(i,j)のR成分を求め
    ようとする場合、前記画素(i,j)の対角線方向に存
    在する4つの画素の算術平均 【数2】 を出力し、 前記B成分補間器は、 そのG成分を知っている画素(i,j)のB成分を求め
    ようとする場合、前記方向性係数値選択器の第3方向性
    係数の値に応答して 【数3】 のうち一つを選択して出力し、 そのR成分を知っている画素(i,j)のB成分を求め
    ようとする場合、前記画素(i,j)の対角線方向に存
    在する4つの画素の算術平均 【数4】 を出力することを特徴をする請求項14に記載のイメー
    ジセンサ出力データ処理装置。
  19. 【請求項19】 入力される自然の風景を電子信号に変
    換するイメージセンサの出力データを処理する方法にお
    いて、 前記イメージセンサの出力データを貯蔵する段階と、 貯蔵されたイメージセンサの出力データ及び現在入力さ
    れるイメージセンサの出力データを利用して求めようと
    する画素の色成分の強度を決定する少なくとも3つの方
    向性係数の値を選択する段階と、 この段階で選択された複数の方向性係数及び前記イメー
    ジセンサの出力データを利用して、G成分を有する画素
    のR成分及びB成分を求め、R成分を有する画素のG成
    分及びB成分を求め、B成分を有する画素のG成分及び
    R成分を求めるインタポレーション段階とを具備し、 前記少なくとも3つの方向性係数は、水平線、垂直線及
    び対角線を基準に一側平面のエッジ成分の程度を示す第
    1方向性係数、水平線を基準に一定の幅を有し、前記水
    平線を基準に左側成分、右側成分及び前記左側成分と右
    側成分全部を含む成分の程度を示す第2方向性係数及
    び、垂直線を基準に一定の幅を有し、前記垂直線を基準
    に上側成分、下側成分及び前記上側成分と下側成分両方
    を含む成分の程度を示す第3方向性係数であることを特
    徴とするイメージセンサ出力データ処理方法。
  20. 【請求項20】 前記イメージセンサの出力データを貯
    蔵する段階は、 前記イメージセンサの出力データを所定の単位に区分し
    て、1単位ずつ貯蔵するラインメモリを具備して少なく
    とも4単位のデータを貯蔵し、 前記所定の1単位は、 ベイヤアレイ構造で一つのラインであることを特徴とす
    る請求項19に記載のイメージセンサ出力データ処理方
    法。
  21. 【請求項21】 前記3つの方向性係数の値を選択する
    段階は、 色成分を求めようとする任意の画素が既にG成分を有し
    ているかどうかを判断する段階と、 色成分を求めようとする画素が既にG成分を有している
    場合、第2方向性係数の値及び第3方向性係数の値を順
    に選択する段階と、 色成分を求めようとする画素が有している色成分がG成
    分でない場合、前記画素を基準にしたG成分の水平傾斜
    成分の絶対値及び前記画素を基準にしたG成分の垂直傾
    斜成分の絶対値の差の絶対値が第1臨界値より小さいか
    どうかを比較する段階と、 前記G成分の水平傾斜成分の絶対値及び前記G成分の垂
    直傾斜成分の絶対値の差の絶対値が前記第1臨界値より
    小さい場合、前記第1方向性係数の値を第1状態値に定
    め、前記第2方向性係数の値を選択する段階と、 前記G成分の水平傾斜成分の絶対値及び前記G成分の垂
    直傾斜成分の絶対値の差が前記第1臨界値の負の値より
    小さいかどうかを判断する段階と、 前記G成分の水平傾斜成分の絶対値及び前記G成分の垂
    直傾斜成分の絶対値の差が前記第1臨界値の負の値より
    小さい場合、前記第1方向性係数の値を第2状態値に定
    め、前記第2方向性係数の値を選択する段階と、 前記G成分の水平傾斜成分の絶対値及び前記G成分の垂
    直傾斜成分の絶対値の差が前記第1臨界値の正の値より
    大きい場合、前記第1方向性係数の値を第3状態値に定
    める段階と、 前記第1方向性係数の値が前記第1状態または第3状態
    値に決まった場合、引続き前記第3方向性係数の値を選
    択する段階とを具備することを特徴とする請求項19に
    記載のイメージセンサ出力データ処理方法。
  22. 【請求項22】 前記G成分の水平成分の絶対値及び前
    記G成分の垂直成分の絶対値の差は、 求めようとする画素(i,j)のG成分をGijとすれ
    ば、 数式|Gi(j+1)−Gi(j-1)|−|G(i-1)j−G(i+1)j
    で表示され、 ここでi及びjは整数であることを特徴とする請求項2
    1に記載のイメージセンサ出力データ処理方法。
  23. 【請求項23】 求めようとする画素が既にG成分を有
    している場合に前記第2方向性係数の値及び第3方向性
    係数の値を順に選択する段階は、 前記画素を基準に、左側の画素が水平方向に増加するか
    減少するG成分の絶対値(以下、G成分の左側傾斜成分
    の絶対値という)及び前記画素を基準に右側の画素が水
    平方向に増加するか減少するG成分の絶対値(以下、G
    成分の右側傾斜成分の絶対値という)の差の絶対値が第
    2臨界値より小さいかどうかを比較する段階と、 前記G成分の左側傾斜成分の絶対値及び前記G成分の右
    側傾斜成分の絶対値の差の絶対値が前記第2臨界値より
    小さい場合、前記第2方向性係数の値を前記第1状態値
    に定める段階と、 前記G成分の左側傾斜成分の絶対値及び前記G成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さいかどうかを比較する段階と、 前記G成分の左側傾斜成分の絶対値及び前記G成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さい場合、前記第2方向性係数の値を前記第2状態値
    に定める段階と、 前記G成分の左側傾斜成分の絶対値及び前記G成分の右
    側傾斜成分の絶対値の差が前記第2臨界値より大きい場
    合、前記第2方向性係数の値を前記第3状態値に定める
    段階と、 前記段階で決まった第2方向性係数の値に基づいて、前
    記画素を基準に、上部の画素が垂直方向に増加するか減
    少するG成分の絶対値(以下、G成分の上部傾斜成分の
    絶対値という)及び前記画素を基準に下部の画素が垂直
    方向に増加するか減少するG成分の絶対値(以下、G成
    分の下部傾斜成分の絶対値という)の差の絶対値が第3
    臨界値より小さいかどうかを比較する段階と、 前記G成分の上部傾斜成分の絶対値及び前記G成分の下
    部傾斜成分の絶対値の差の絶対値が前記第3臨界値より
    小さい場合、前記第3方向性係数の値を前記第1状態値
    に定める段階と、 前記G成分の上部傾斜成分の絶対値及び前記G成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さいかどうかを比較する段階と、 前記G成分の上部傾斜成分の絶対値及び前記G成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さい場合、前記第3方向性係数の値を前記第2状態値
    に定める段階と、 前記G成分の上部傾斜成分の絶対値及び前記G成分の下
    部傾斜成分の絶対値の差が前記二つの比較段階のうちど
    こにも属していない場合、前記第3方向性係数の値を前
    記第3状態値に定める段階とを具備することを特徴とす
    る請求項21に記載のイメージセンサ出力データ処理方
    法。
  24. 【請求項24】 求めようとする画素(i,j)のG成
    分をGijとすれば、前記G成分の左側傾斜成分の絶対
    値及び前記G成分の右側成分の絶対値の差は、 数式|Gij−Gi(j-2)|−|Gij−Gi(j+2)|で表示さ
    れ、 前記G成分の上部傾斜成分の絶対値及び前記G成分の下
    部傾斜成分の絶対値の差は、 数式|Gij−G(i-2)j|−|Gij−G(i+2)j|で表示さ
    れ、 ここでi及びjは整数であることを特徴とする請求項2
    3に記載のイメージセンサ出力データ処理方法。
  25. 【請求項25】 前記第1方向性係数の値を第2状態値
    に定め、前記第2方向性係数の値を選択する段階は、 前記画素が有している色成分がR成分であるかどうかを
    判断する段階と、 前記画素がR成分を有している場合、前記画素を基準
    に、左側の画素が水平方向に増加するか減少するR成分
    の絶対値(以下、R成分の左側傾斜成分の絶対値とい
    う)及び前記画素を基準に右側の画素が水平方向に増加
    するか減少するR成分の絶対値(以下、R成分の右側傾
    斜成分の絶対値という)の差の絶対値が第2臨界値より
    小さいかどうかを比較する段階と、 前記R成分の左側傾斜成分の絶対値及び前記R成分の右
    側傾斜成分の絶対値の差の絶対値が前記第2臨界値より
    小さい場合、前記第2方向性係数の値を前記第1状態値
    に定める段階と、 前記R成分の左側傾斜成分の絶対値及び前記R成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さいかどうかを比較する段階と、 前記R成分の左側傾斜成分の絶対値及び前記R成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さい場合、前記第2方向性係数の値を前記第2状態値
    に定める段階と、 前記R成分の左側傾斜成分の絶対値及び前記R成分の右
    側傾斜成分の絶対値の差が前記第2臨界値より大きい場
    合、前記第2方向性係数の値を前記第3状態値に定める
    段階と、 前記画素が有している色成分がR成分でない場合、前記
    画素を基準に、左側の画素が水平方向に増加するか減少
    するB成分の絶対値(以下、B成分の左側傾斜成分の絶
    対値という)及び前記画素を基準に右側の画素が水平方
    向に増加するか減少するB成分の絶対値(以下、B成分
    の右側傾斜成分の絶対値という)の差の絶対値が第2臨
    界値の絶対値より小さいかどうかを比較する段階と、 前記B成分の左側傾斜成分の絶対値及び前記B成分の右
    側傾斜成分の絶対値の差の絶対値が前記第2臨界値の絶
    対値より小さい場合、前記第2方向性係数の値を前記第
    1状態値に定める段階と、 前記B成分の左側傾斜成分の絶対値及び前記B成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さいかどうかを比較する段階と、 前記B成分の左側傾斜成分の絶対値及び前記B成分の右
    側傾斜成分の絶対値の差が前記第2臨界値の負の値より
    小さい場合、前記第2方向性係数の値を前記第2状態値
    に定める段階と、 前記B成分の左側傾斜成分の絶対値及び前記B成分の右
    側傾斜成分の絶対値の差が前記第2臨界値より大きい場
    合、前記第2方向性係数の値を前記第3状態値に定める
    段階とを具備することを特徴とする請求項21に記載の
    イメージセンサ出力データ処理方法。
  26. 【請求項26】 前記R値の左側傾斜成分の絶対値及び
    前記R値の右側成分の絶対値の差は、 求めようとする画素(i,j)のR値をRijとすれ
    ば、 数式|Rij−Ri(j-2)|−|Rij−Ri(j+2)|で表示さ
    れ、 前記B値の左側傾斜成分の絶対値及び前記B値の右側成
    分の絶対値の差は、 求めようとする画素(i,j)のB値をBijとすれ
    ば、 数式|Bij−Bi(j-2)|−|Bij−Bi(j+2)|で表示さ
    れ、 ここでi及びjは整数であることを特徴とする請求項2
    5に記載のイメージセンサ出力データ処理方法。
  27. 【請求項27】 前記第1方向性係数の値が前記第1状
    態または第3状態値に決まった場合、引続き前記第3方
    向性係数の値を選択する段階は、 前記画素に対する色成分がR成分であるかどうかを判断
    する段階と、 前記画素の色成分がR成分である場合、前記画素を基準
    に、上部の画素が垂直方向に増加するか減少するR成分
    の絶対値(以下、R成分の上部傾斜成分の絶対値とい
    う)及び前記画素を基準に下部の画素が垂直方向に増加
    するか減少するR成分の絶対値(以下、R成分の下部傾
    斜成分の絶対値という)の差の絶対値が第3臨界値より
    小さいかどうかを比較する段階と、 前記R成分の上部傾斜成分の絶対値及び前記R成分の下
    部傾斜成分の絶対値の差の絶対値が前記第3臨界値より
    小さい場合、前記第3方向性係数の値を前記第1状態値
    に定める段階と、 前記R成分の上部傾斜成分の絶対値及び前記R成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さいかどうかを比較する段階と、 前記R成分の上部傾斜成分の絶対値及び前記R成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さい場合、前記第3方向性係数の値を前記第2状態値
    に定める段階と、 前記R成分の上部傾斜成分の絶対値及び前記R成分の下
    部傾斜成分の絶対値の差が前記第3臨界値より大きい場
    合、前記第3方向性係数の値を前記第3状態値に定める
    段階と、 前記画素の色成分がR成分でない場合、前記画素を基準
    に、上部の画素が垂直方向に増加するか減少するB成分
    の絶対値(以下、B成分の上部傾斜成分の絶対値とい
    う)及び前記画素を基準に下部の画素が垂直方向に増加
    するか減少するB成分の絶対値(以下、B成分の下部傾
    斜成分の絶対値という)の差の絶対値が第3臨界値より
    小さいかどうかを比較する段階と、 前記B成分の上部傾斜成分の絶対値及び前記B成分の下
    部傾斜成分の絶対値の差の絶対値が前記第3臨界値より
    小さい場合、前記第3方向性係数の値を前記第1状態値
    に定める段階と、 前記B成分の上部傾斜成分の絶対値及び前記B成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さいかどうかを比較する段階と、 前記B成分の上部傾斜成分の絶対値及び前記B成分の下
    部傾斜成分の絶対値の差が前記第3臨界値の負の値より
    小さい場合、前記第3方向性係数の値を前記第2状態値
    に定める段階と、 前記B成分の上部傾斜成分の絶対値及び前記B成分の下
    部傾斜成分の絶対値の差が前記二つの比較段階のうちど
    こにも属していない場合、前記第3方向性係数の値を前
    記第3状態値に定める段階とを具備することを特徴とす
    る請求項21に記載のイメージセンサ出力データ処理方
    法。
  28. 【請求項28】 前記R値の上部傾斜成分の絶対値及び
    前記R値の下部傾斜成分の絶対値の差は、 求めようとする画素(i,j)のR値をRijとすれ
    ば、 数式|Rij−R(i-2)j|−|Rij−R(i+2)j|で表示さ
    れ、 前記B値の上部傾斜成分の絶対値及び前記B値の下部傾
    斜成分の絶対値の差は、求めようとする画素(i,j)
    のB値をBijとすれば、 数式|Bij−B(i-2)j|−|Bij−B(i+2)j|で表示さ
    れ、 ここでi及びjは整数であることを特徴とする請求項2
    7に記載のイメージセンサ出力データ処理方法。
  29. 【請求項29】 前記第1状態値は1/2であり、 前記第2状態値は1であり、 前記第3状態値は0であることを特徴とする請求項21
    に記載のイメージセンサ出力データ処理方法。
  30. 【請求項30】 前記第1臨界値ないし前記第3臨界値
    は、 4より大きくて20より小さな整数であることを特徴と
    する請求項21、23、25及び請求項27のうちいず
    れか一項に記載のイメージセンサ出力データ処理方法。
  31. 【請求項31】 前記インタポレーション段階は、 前記イメージセンサの出力データを演算し、選択された
    方向性係数の値によって前記演算されたデータのうち該
    当データをR成分に選択する段階と、 前記イメージセンサの出力データを演算し、選択された
    方向性係数の値によって前記演算されたデータのうち該
    当データをG成分に選択する段階と、 前記イメージセンサの出力データを演算し、選択された
    方向性係数の値によって前記演算されたデータのうち該
    当データをB成分に選択する段階とを具備することを特
    徴とする請求項19に記載のイメージセンサ出力データ
    処理方法。
  32. 【請求項32】 前記イメージセンサ出力データ処理方
    法は、 少なくとも一つ以上の状態値をさらに具備し、 前記状態値は、傾斜度が相異なる対角線成分を有するエ
    ッジ、傾斜度が相異なる水平成分を有するエッジ及び傾
    斜度が相異なる垂直成分を有するエッジの傾斜度を示す
    のに使われることを特徴とする請求項21に記載のイメ
    ージセンサ出力データ処理方法。
  33. 【請求項33】 各画素で感知した色信号に関する情報
    を入れた単板式イメージセンサの出力データを受信して
    貯蔵するラインメモリモジュールと、 前記イメージセンサの出力データ及び前記ラインメモリ
    の出力データを受信し、受信した前記出力データをクロ
    ック信号を利用して所定時間遅延させた後で出力する遅
    延モジュールと、 この遅延モジュールの出力データを受信し、遅延モジュ
    ールの出力データを利用して求めようとする画素のR
    (赤)、G(緑)及びB(青)成分に対するエッジ成分
    を定義する複数の方向性係数の値を選択して出力する方
    向性係数値選択器と、 前記遅延モジュールの出力データを受信し、前記方向性
    係数値選択器の出力データに応答して受信した遅延モジ
    ュールの出力データに補間を実施して、G成分を有する
    画素のR成分及びB成分を求め、R成分を有する画素の
    G成分及びB成分を求め、B成分を有する画素のG成分
    及びR成分を求める適応補間器とを具備し、 前記方向性係数値選択器は、 色成分を求めようとする任意の画素のR成分、G成分及
    びB成分に対する水平方向及び/または垂直方向及び/
    または対角線方向のエッジ成分が存在するかどうかを判
    断し、存在するエッジ成分の程度を計算する複数の色成
    分演算部を具備する演算部と、 前記演算部の出力データを少なくとも3つの臨界値と比
    較して3つの前記方向性係数の値を決定する比較決定器
    とを具備することを特徴とするイメージセンサ出力デー
    タ処理装置。
JP2002266162A 2001-09-13 2002-09-12 イメージセンサ出力データ処理装置及び処理方法 Expired - Fee Related JP4127638B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0056442A KR100396898B1 (ko) 2001-09-13 2001-09-13 이미지센서 출력데이터 처리장치 및 처리방법
KR2001-056442 2001-09-13

Publications (2)

Publication Number Publication Date
JP2003143615A true JP2003143615A (ja) 2003-05-16
JP4127638B2 JP4127638B2 (ja) 2008-07-30

Family

ID=19714232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002266162A Expired - Fee Related JP4127638B2 (ja) 2001-09-13 2002-09-12 イメージセンサ出力データ処理装置及び処理方法

Country Status (6)

Country Link
US (1) US7142239B2 (ja)
JP (1) JP4127638B2 (ja)
KR (1) KR100396898B1 (ja)
DE (1) DE10243306A1 (ja)
NL (1) NL1021335C2 (ja)
TW (1) TWI243584B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326088C (zh) * 2004-02-10 2007-07-11 华晶科技股份有限公司 补足像素色彩的内插法
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
US7489822B2 (en) 2004-03-31 2009-02-10 Sharp Kabushiki Kaisha Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP2009522864A (ja) * 2005-12-29 2009-06-11 マイクロン テクノロジー, インク. エッジ検出および補正項を用いてカラーフィルターアレイにおいて色補間を提供する方法および装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202894B2 (en) 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
KR100510532B1 (ko) 2003-06-10 2005-08-26 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
CN1857008B (zh) * 2004-02-19 2010-05-05 三菱电机株式会社 图像处理方法
KR101087345B1 (ko) * 2004-04-21 2011-11-25 인텔렉츄얼 벤처스 투 엘엘씨 컬러 보정 방법
KR100585004B1 (ko) 2004-04-21 2006-05-29 매그나칩 반도체 유한회사 이미지센서의 디지털 신호 처리 장치
KR100699831B1 (ko) 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
KR100587979B1 (ko) * 2004-12-20 2006-06-08 한국전자통신연구원 이미지 확대를 위한 경계선 및 귀퉁이 기반 보간 방법
KR100708465B1 (ko) * 2005-02-03 2007-04-18 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법
US20070263918A1 (en) * 2006-02-13 2007-11-15 David Jenya Method and system of recognizing profiles and defects in wood processing
KR100809687B1 (ko) 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR100929349B1 (ko) * 2007-01-30 2009-12-03 삼성전자주식회사 유기물 컬러 필터를 포함하지 않는 컬러 픽셀, 이미지 센서, 및 컬러 보간방법
TWI400961B (zh) * 2007-08-24 2013-07-01 Holtek Semiconductor Inc 用於ymcg彩色濾波陣列的色彩內插法
CN101452573B (zh) * 2007-12-04 2013-01-30 比亚迪股份有限公司 一种图像边缘增强方法
US20100260435A1 (en) * 2007-12-21 2010-10-14 Orlick Christopher J Edge Directed Image Processing
US20090237530A1 (en) * 2008-03-20 2009-09-24 Ilia Ovsiannikov Methods and apparatuses for sharpening images
TWI395154B (zh) * 2009-04-14 2013-05-01 Holtek Semiconductor Inc Color Filter Array Image Enhancement Method and Device
US8526719B2 (en) * 2009-12-29 2013-09-03 Postech Academy-Industry Foundation Method of converting color image into grayscale image and recording medium storing program for performing the same
JP5631769B2 (ja) * 2011-02-17 2014-11-26 株式会社東芝 画像処理装置
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
CN102905083A (zh) * 2011-07-27 2013-01-30 联咏科技股份有限公司 图像处理方法
KR101921964B1 (ko) 2012-03-05 2019-02-13 삼성전자주식회사 라인 메모리 및 이를 이용한 시모스 이미지 집적회로소자
WO2016074300A1 (zh) * 2014-11-10 2016-05-19 李德龙 具有皮肤冷却功能的高功率vcsel激光治疗装置及其封装结构
US10366471B2 (en) 2015-12-02 2019-07-30 Texas Instruments Incorporated Universal and adaptive de-mosaicing (CFA) system
JP6627528B2 (ja) * 2016-01-25 2020-01-08 株式会社Jvcケンウッド 画像処理方法及び画像処理装置
GB2559776B (en) * 2017-02-17 2022-04-06 Grass Valley Ltd Decoding a bayer-mask or like coded image

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
KR0125108B1 (ko) * 1992-12-11 1997-12-01 가나이 쯔또무 정지화상기록 디지탈 카메라
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
KR100196922B1 (ko) * 1996-09-19 1999-06-15 윤종용 4판식 이미지 센서를 이용한 고해상도 영상 신호처리 장치 및 방법
JP3612891B2 (ja) * 1996-10-02 2005-01-19 松下電器産業株式会社 固体撮像素子の撮像出力の輪郭強調方法
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
US6339479B1 (en) * 1996-11-22 2002-01-15 Sony Corporation Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied
KR100222971B1 (ko) * 1997-06-20 1999-10-01 윤종용 3판식 고해상도 촬상 장치
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP3771054B2 (ja) * 1998-07-01 2006-04-26 株式会社リコー 画像処理装置及び画像処理方法
US6774943B1 (en) 1998-09-01 2004-08-10 Ess Technology, Inc. Method and apparatus for edge enhancement in digital images
JP3680922B2 (ja) 1999-07-14 2005-08-10 シャープ株式会社 画像処理装置
US6836289B2 (en) * 1999-12-20 2004-12-28 Texas Instruments Incorporated Digital still camera architecture with red and blue interpolation using green as weighting factors
EP1111904A3 (en) 1999-12-20 2005-03-16 Texas Instruments Incorporated Digital camera system and method
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
KR100390847B1 (ko) * 2001-06-30 2003-07-12 주식회사 하이닉스반도체 이미지 센서의 칼라 보간 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326088C (zh) * 2004-02-10 2007-07-11 华晶科技股份有限公司 补足像素色彩的内插法
US7489822B2 (en) 2004-03-31 2009-02-10 Sharp Kabushiki Kaisha Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
JP2009522864A (ja) * 2005-12-29 2009-06-11 マイクロン テクノロジー, インク. エッジ検出および補正項を用いてカラーフィルターアレイにおいて色補間を提供する方法および装置

Also Published As

Publication number Publication date
TWI243584B (en) 2005-11-11
US20030081465A1 (en) 2003-05-01
KR20030023294A (ko) 2003-03-19
NL1021335C2 (nl) 2005-06-13
NL1021335A1 (nl) 2003-03-14
US7142239B2 (en) 2006-11-28
KR100396898B1 (ko) 2003-09-02
JP4127638B2 (ja) 2008-07-30
DE10243306A1 (de) 2003-04-24

Similar Documents

Publication Publication Date Title
JP2003143615A (ja) イメージセンサ出力データ処理装置及び処理方法
KR100885820B1 (ko) 적응형 컬러 보간
US7092020B2 (en) Resizing images captured by an electronic still camera
USRE43357E1 (en) Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US7835573B2 (en) Method and apparatus for edge adaptive color interpolation
KR100248452B1 (ko) 디지털 신호 처리용 집적 회로
US8400533B1 (en) Methods of reducing aberrations in a digital image
US7499089B2 (en) Color interpolation method in bayer array
US11949995B2 (en) Universal and adaptive de-mosaicing (CFA) system
US20090263017A1 (en) Method for reconstruction of pixel color values
WO2005117455A1 (ja) Rawデ-タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20120163734A1 (en) Apparatus for color interpolation using adjustable threshold
JP4317619B2 (ja) 画像処理装置
US7751642B1 (en) Methods and devices for image processing, image capturing and image downscaling
US6654492B1 (en) Image processing apparatus
Lien et al. Efficient VLSI architecture for edge-oriented demosaicking
US20140293082A1 (en) Image processing apparatus and method, and program
JPH07231458A (ja) 映像信号処理装置
JP2001292454A (ja) 画像処理方法および装置並びに記録媒体
US20050031222A1 (en) Filter kernel generation by treating algorithms as block-shift invariant
KR20070070692A (ko) 에지 향상과 노이즈 제거를 위한 컬러 보간 장치
KR100656644B1 (ko) 영상압축에서의 움직임 보상을 위한 화면간 보간장치
US20060036665A1 (en) Data processing circuit
CN114359065A (zh) 基于raw数据进行边缘检测的去马赛克方法及电路
Kim et al. Directional Variances Based Demosaicing Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees