JP2001045507A - 画素データ処理装置および画素データ処理方法 - Google Patents
画素データ処理装置および画素データ処理方法Info
- Publication number
- JP2001045507A JP2001045507A JP11213470A JP21347099A JP2001045507A JP 2001045507 A JP2001045507 A JP 2001045507A JP 11213470 A JP11213470 A JP 11213470A JP 21347099 A JP21347099 A JP 21347099A JP 2001045507 A JP2001045507 A JP 2001045507A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- data
- median
- pixel
- pixel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】 色の偽信号の抑圧に適する画素データ処理装
置を提供する。 【解決手段】 CCD4によって得られた画素データ
は、補間処理部18によって補間された後に輝度信号Y
と色差信号にY/C変換部20によって変換される。色
差信号にのみノイズ除去部22による処理を施し偽色を
抑圧する。ノイズ除去部22は、処理ステップが削減さ
れたメディアンフィルタを内蔵する。
置を提供する。 【解決手段】 CCD4によって得られた画素データ
は、補間処理部18によって補間された後に輝度信号Y
と色差信号にY/C変換部20によって変換される。色
差信号にのみノイズ除去部22による処理を施し偽色を
抑圧する。ノイズ除去部22は、処理ステップが削減さ
れたメディアンフィルタを内蔵する。
Description
【0001】
【発明の属する技術分野】この発明は、画素データ処理
装置および画素データ処理方法に関し、より特定的に
は、入力された画素の色差データから高品質な画像を再
現するための画素データ処理装置および画素データ処理
方法に関する。
装置および画素データ処理方法に関し、より特定的に
は、入力された画素の色差データから高品質な画像を再
現するための画素データ処理装置および画素データ処理
方法に関する。
【0002】
【従来の技術】マルチメディアの進展とともに、簡易な
画像入力手段としてデジタルスチルカメラが普及し始め
ている。家庭用のデジタルスチルカメラには、単板式の
固体撮像素子(CCD)が用いられるため、各画素にお
いて、三原色すなわち赤色(R)、青色(B)、緑色
(G)の三原色のうち2色が欠落している。この欠落し
た色成分は周囲の画素から補間される。
画像入力手段としてデジタルスチルカメラが普及し始め
ている。家庭用のデジタルスチルカメラには、単板式の
固体撮像素子(CCD)が用いられるため、各画素にお
いて、三原色すなわち赤色(R)、青色(B)、緑色
(G)の三原色のうち2色が欠落している。この欠落し
た色成分は周囲の画素から補間される。
【0003】図17は、従来のデジタルスチルカメラ1
00の構成を説明するためのブロック図である。
00の構成を説明するためのブロック図である。
【0004】図17を参照して、デジタルスチルカメラ
100は、内部に撮像レンズを含み対象物の画像を取込
む光学系102と、取込まれた画像を電気信号に変換す
るCCD104と、CCD104の出力する信号を階調
変換や白黒バランス等のアナログ前処理をする前信号処
理部106と、光学系102の撮影動作や前信号処理部
106の処理動作を制御するカメラ制御部110とを含
む。
100は、内部に撮像レンズを含み対象物の画像を取込
む光学系102と、取込まれた画像を電気信号に変換す
るCCD104と、CCD104の出力する信号を階調
変換や白黒バランス等のアナログ前処理をする前信号処
理部106と、光学系102の撮影動作や前信号処理部
106の処理動作を制御するカメラ制御部110とを含
む。
【0005】デジタルスチルカメラ100は、さらに、
前信号処理部106の出力を受けてデジタルデータに変
換するA/D変換部108と、A/D変換部108によ
ってデジタル信号となった画像データを受けて補間処理
や画像圧縮を行なうデジタル信号処理部112と、デジ
タル信号処理部112が信号処理する際に画像データを
一時的に保持するためのメモリ114と、デジタル信号
処理部112によって処理された画像データをビデオ出
力信号やメモリカードへの出力信号として出力する入出
力インターフェイス部116とを含む。
前信号処理部106の出力を受けてデジタルデータに変
換するA/D変換部108と、A/D変換部108によ
ってデジタル信号となった画像データを受けて補間処理
や画像圧縮を行なうデジタル信号処理部112と、デジ
タル信号処理部112が信号処理する際に画像データを
一時的に保持するためのメモリ114と、デジタル信号
処理部112によって処理された画像データをビデオ出
力信号やメモリカードへの出力信号として出力する入出
力インターフェイス部116とを含む。
【0006】
【発明が解決しようとする課題】CCD104は、ベイ
ヤー型原色方式のものが用いられる。ベイヤー型原色方
式のCCDは、赤色(R)、青色(B)、緑色(G)の
フィルタが交互に配列されており、各画素においてRG
Bのうちいずれか1色のデータがえられるCCDであ
る。ベイヤー型原色方式のCCDを使用した場合には、
RGBのうちデータが得られない2色についてデータを
補間して使用する必要が生ずる。
ヤー型原色方式のものが用いられる。ベイヤー型原色方
式のCCDは、赤色(R)、青色(B)、緑色(G)の
フィルタが交互に配列されており、各画素においてRG
Bのうちいずれか1色のデータがえられるCCDであ
る。ベイヤー型原色方式のCCDを使用した場合には、
RGBのうちデータが得られない2色についてデータを
補間して使用する必要が生ずる。
【0007】このように、欠落した色成分を周囲の画素
から補間するため、偽信号が発生しやすいという問題点
がある。
から補間するため、偽信号が発生しやすいという問題点
がある。
【0008】デジタルカメラでは、JPEG(Joint Ph
otographic Coding Experts Group)方式を用いて画像
を圧縮するのが一般的である。また、JPEG方式で
は、RGB信号を輝度、色差信号に変換した後に処理を
行なうのが一般的である。
otographic Coding Experts Group)方式を用いて画像
を圧縮するのが一般的である。また、JPEG方式で
は、RGB信号を輝度、色差信号に変換した後に処理を
行なうのが一般的である。
【0009】この偽信号は、輝度信号Yよりも色差信号
Cr、Cbのほうがより大きくなる。RGB信号とY、
Cr、Cbの関係を以下に示す。 Y=0.29900*R+0.58700*G+0.11400*B Cb=−0.16874*R−0.33126*G+0.50000*B Cr=0.50000*R−0.41869*G−0.08131*B これらの式からわかるように、Y信号はGの比率が高
く、Cb、CrはそれぞれB、Rの比率が高い。ベイヤ
ー型原色方式のCCDでは、画素数の比が赤色(R):
緑色(G):青色(B)=1:2:1となっている。C
CDによって得られたデータを補間してRGB信号が作
られるが、この際に画素数の少ないR、BのほうがGよ
りも補間による誤差が大きくなる。したがって、B、R
の比率が高い色差信号Cb,Crのほうが、輝度信号Y
よりも誤差が大きくなるのである。
Cr、Cbのほうがより大きくなる。RGB信号とY、
Cr、Cbの関係を以下に示す。 Y=0.29900*R+0.58700*G+0.11400*B Cb=−0.16874*R−0.33126*G+0.50000*B Cr=0.50000*R−0.41869*G−0.08131*B これらの式からわかるように、Y信号はGの比率が高
く、Cb、CrはそれぞれB、Rの比率が高い。ベイヤ
ー型原色方式のCCDでは、画素数の比が赤色(R):
緑色(G):青色(B)=1:2:1となっている。C
CDによって得られたデータを補間してRGB信号が作
られるが、この際に画素数の少ないR、BのほうがGよ
りも補間による誤差が大きくなる。したがって、B、R
の比率が高い色差信号Cb,Crのほうが、輝度信号Y
よりも誤差が大きくなるのである。
【0010】デジタルスチルカメラは、静止画の撮像が
目的であり、特に色の偽信号(以下偽色と呼ぶ)が画質
に及ぼす影響が大きい。そのため、偽色の抑圧は大きな
課題となっている。現在、偽色を抑圧する補間方式が発
表されているが、偽色の抑圧が十分に行なわれていると
は言い難い。
目的であり、特に色の偽信号(以下偽色と呼ぶ)が画質
に及ぼす影響が大きい。そのため、偽色の抑圧は大きな
課題となっている。現在、偽色を抑圧する補間方式が発
表されているが、偽色の抑圧が十分に行なわれていると
は言い難い。
【0011】一方、メディアンフィルタは、画像のノイ
ズを取除くためのフィルタとして、さまざまな用途に採
用されてきている。
ズを取除くためのフィルタとして、さまざまな用途に採
用されてきている。
【0012】メディアンフィルタは線形のローパスフィ
ルタよりも単調なステップエッジを保存する。よってシ
ャープなエッジをぼかすことがないという利点があるた
め、近年特に用いられるようになってきた。
ルタよりも単調なステップエッジを保存する。よってシ
ャープなエッジをぼかすことがないという利点があるた
め、近年特に用いられるようになってきた。
【0013】メディアンフィルタを画像補間後の画像に
適用することにより偽色の抑圧をしようとすると、ハー
ドウェアで実現しようとした場合には、回路規模が大き
くなってしまうという問題点があった。
適用することにより偽色の抑圧をしようとすると、ハー
ドウェアで実現しようとした場合には、回路規模が大き
くなってしまうという問題点があった。
【0014】一方、マイクロプロセッサで実現しようと
する場合には、演算に要する時間が多いという問題点が
あった。
する場合には、演算に要する時間が多いという問題点が
あった。
【0015】この発明の目的は、デジタルスチルカメラ
においてメディアンフィルタを用いた画像処理を行なう
場合にデータ処理量が削減され、高速に処理を行なうこ
とが可能な画素データ処理装置および画素データ処理方
法を提供することである。
においてメディアンフィルタを用いた画像処理を行なう
場合にデータ処理量が削減され、高速に処理を行なうこ
とが可能な画素データ処理装置および画素データ処理方
法を提供することである。
【0016】
【課題を解決するための手段】請求項1に記載の画素デ
ータ処理装置は、アレイ状に並ぶ画素の光信号を変換し
て得られた電気信号に基づいて発生される色差信号をノ
イズ除去処理し、色差信号に含まれる原画素データから
新画素データを出力する画素データ処理装置であって、
一つの新画素データあたり、所定の処理ウインドウ内に
含まれる複数の画素に対応する複数の原画素データを処
理する信号処理部を備え、信号処理部は、処理ウインド
ウにおいて、第1方向に沿って並ぶ複数の画素を有する
画素列ごとに、対応する原画素データの第1次中央値デ
ータを出力する第1の中央値処理部と、複数の画素列に
対応する第1次中央値データの中央値を新画素データと
して出力する第2の中央値処理部とを含む。
ータ処理装置は、アレイ状に並ぶ画素の光信号を変換し
て得られた電気信号に基づいて発生される色差信号をノ
イズ除去処理し、色差信号に含まれる原画素データから
新画素データを出力する画素データ処理装置であって、
一つの新画素データあたり、所定の処理ウインドウ内に
含まれる複数の画素に対応する複数の原画素データを処
理する信号処理部を備え、信号処理部は、処理ウインド
ウにおいて、第1方向に沿って並ぶ複数の画素を有する
画素列ごとに、対応する原画素データの第1次中央値デ
ータを出力する第1の中央値処理部と、複数の画素列に
対応する第1次中央値データの中央値を新画素データと
して出力する第2の中央値処理部とを含む。
【0017】請求項2に記載の画素データ処理装置は、
請求項1に記載の画素データ処理装置の構成に加えて、
処理ウインドウは、第1の画素に対応する第1回の処理
が終了すると、第1の画素に第1方向と直角をなす画面
の第2方向に沿って隣接する第2の画素に対応する第2
回の処理を実行するために第2方向に沿って1画素分移
動した位置に設定され、第1の中央値処理部は、第2回
の処理時の処理ウインドウに新たに含まれることになっ
た画素列について中央値処理を行ない第1次中央値デー
タを出力し、第2の中央値処理部は、画素データ処理装
置の一回の処理ごとに第1次中央値データを取込み、処
理ウインドウ内に第2方向に沿って並ぶ画素数に応じた
回数の処理分の第1次中央値データを保持する保持回路
と、保持回路の保持する第1次中央値データを受けてデ
ータ値の大きさに応じて並べ替えを行なうソート処理部
とを有する。
請求項1に記載の画素データ処理装置の構成に加えて、
処理ウインドウは、第1の画素に対応する第1回の処理
が終了すると、第1の画素に第1方向と直角をなす画面
の第2方向に沿って隣接する第2の画素に対応する第2
回の処理を実行するために第2方向に沿って1画素分移
動した位置に設定され、第1の中央値処理部は、第2回
の処理時の処理ウインドウに新たに含まれることになっ
た画素列について中央値処理を行ない第1次中央値デー
タを出力し、第2の中央値処理部は、画素データ処理装
置の一回の処理ごとに第1次中央値データを取込み、処
理ウインドウ内に第2方向に沿って並ぶ画素数に応じた
回数の処理分の第1次中央値データを保持する保持回路
と、保持回路の保持する第1次中央値データを受けてデ
ータ値の大きさに応じて並べ替えを行なうソート処理部
とを有する。
【0018】請求項3に記載の画素データ処理装置は、
請求項2に記載の画素データ処理装置の構成に加えて、
保持回路は、ソート処理の結果を第1次中央値データと
ともに保持し、第2の中央値処理部は、保持回路が保持
するデータを受けて、第2回の処理時において処理ウイ
ンドウから除外されることになった画素列に対応する第
1次中央値データを取り除いてソート処理結果を更新し
保持回路に新たに第1次中央値データを保持させるデー
タ除去部をさらに有する。
請求項2に記載の画素データ処理装置の構成に加えて、
保持回路は、ソート処理の結果を第1次中央値データと
ともに保持し、第2の中央値処理部は、保持回路が保持
するデータを受けて、第2回の処理時において処理ウイ
ンドウから除外されることになった画素列に対応する第
1次中央値データを取り除いてソート処理結果を更新し
保持回路に新たに第1次中央値データを保持させるデー
タ除去部をさらに有する。
【0019】請求項4に記載の画素データ処理装置は、
アレイ状に並ぶ画素の光信号を変換して得られた電気信
号に基づいて発生される色差信号をノイズ除去処理し、
色差信号に含まれる原画素データから新画素データを出
力する画素データ処理装置であって、一つの新画素デー
タあたり、所定の第1の処理ウインドウ内に含まれる複
数の画素に対応する複数の原画素データを処理する信号
処理部を備え、信号処理部は、第1の処理ウインドウに
おいて第1方向に沿って並ぶ画素を有する第1の画素列
に対応する原画素データの第1の中央値データを出力す
る第1の中央値処理部と、第1の処理ウインドウにおい
て第2方向に沿って並ぶ画素を有する第2の画素列に対
応する原画素データの第2の中央値データを出力する第
2の中央値処理部と、第1の中央値データと第2の中央
値データの平均値を出力する第1の平均値処理部とを含
む。
アレイ状に並ぶ画素の光信号を変換して得られた電気信
号に基づいて発生される色差信号をノイズ除去処理し、
色差信号に含まれる原画素データから新画素データを出
力する画素データ処理装置であって、一つの新画素デー
タあたり、所定の第1の処理ウインドウ内に含まれる複
数の画素に対応する複数の原画素データを処理する信号
処理部を備え、信号処理部は、第1の処理ウインドウに
おいて第1方向に沿って並ぶ画素を有する第1の画素列
に対応する原画素データの第1の中央値データを出力す
る第1の中央値処理部と、第1の処理ウインドウにおい
て第2方向に沿って並ぶ画素を有する第2の画素列に対
応する原画素データの第2の中央値データを出力する第
2の中央値処理部と、第1の中央値データと第2の中央
値データの平均値を出力する第1の平均値処理部とを含
む。
【0020】請求項5に記載の画素データ処理装置は、
請求項4に記載の画素データ処理装置の構成において、
第1方向は、画面の垂直方向であり、第2方向は、画面
の水平方向である。
請求項4に記載の画素データ処理装置の構成において、
第1方向は、画面の垂直方向であり、第2方向は、画面
の水平方向である。
【0021】請求項6に記載の画素データ処理装置は、
請求項5に記載の画素データ処理装置の構成に加えて、
第1の処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第2方向に沿って隣
接する第2の画素に対応する第2回の処理を実行するた
めに第2方向に沿って1画素分移動した位置に設定さ
れ、第1の中央値処理部は、第2回の処理時の第1の処
理ウインドウにおける第1の画素列に対応する原画素デ
ータについて中央値処理を行ない第1の中央値データを
出力し、第2の中央値処理部は、第1回の処理時に用い
た第2の画素列に対応する複数の原画素データを保持す
る保持回路と、第2回の処理時に、第1の処理ウインド
ウにおける第2の画素列に新たに含まれることになった
1画素に対応する原画素データと保持回路の保持する複
数の原画素データを受けてデータ値の大きさに応じて並
べ替えを行なうソート処理部とを有する。
請求項5に記載の画素データ処理装置の構成に加えて、
第1の処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第2方向に沿って隣
接する第2の画素に対応する第2回の処理を実行するた
めに第2方向に沿って1画素分移動した位置に設定さ
れ、第1の中央値処理部は、第2回の処理時の第1の処
理ウインドウにおける第1の画素列に対応する原画素デ
ータについて中央値処理を行ない第1の中央値データを
出力し、第2の中央値処理部は、第1回の処理時に用い
た第2の画素列に対応する複数の原画素データを保持す
る保持回路と、第2回の処理時に、第1の処理ウインド
ウにおける第2の画素列に新たに含まれることになった
1画素に対応する原画素データと保持回路の保持する複
数の原画素データを受けてデータ値の大きさに応じて並
べ替えを行なうソート処理部とを有する。
【0022】請求項7に記載の画素データ処理装置は、
請求項6に記載の画素データ処理装置の構成に加えて、
保持回路は、ソート処理の結果を画素データとともに保
持し、第2の中央値処理部は、保持回路が保持するデー
タを受けて、第2回の処理時において第1の処理ウイン
ドウから除外されることになった画素データを取り除い
てソート処理結果を更新し保持回路に新たに画素データ
を保持させるデータ除去部をさらに有する。
請求項6に記載の画素データ処理装置の構成に加えて、
保持回路は、ソート処理の結果を画素データとともに保
持し、第2の中央値処理部は、保持回路が保持するデー
タを受けて、第2回の処理時において第1の処理ウイン
ドウから除外されることになった画素データを取り除い
てソート処理結果を更新し保持回路に新たに画素データ
を保持させるデータ除去部をさらに有する。
【0023】請求項8に記載の画素データ処理装置は、
請求項4に記載の画素データ処理装置の構成において、
第1方向は、画面の斜め方向であり、第2方向は、第1
方向と直角をなす方向である。
請求項4に記載の画素データ処理装置の構成において、
第1方向は、画面の斜め方向であり、第2方向は、第1
方向と直角をなす方向である。
【0024】請求項9に記載の画素データ処理装置は、
請求項4に記載の画素データ処理装置の構成に加えて、
第1の処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第2方向に沿って隣
接する第2の画素に対応する第2回の処理を実行するた
めに第2方向に沿って1画素分移動した位置に設定さ
れ、信号処理部は、第2の処理ウインドウ内で第1方向
と異なる第3方向に沿って並ぶ複数の画素を有する画素
列に対応する原画素データの中央値を出力する第3の中
央値処理部と、第2の処理ウインドウ内で第2方向と異
なる第4方向に沿って並ぶ複数の画素を有する画素列に
対応する原画素データの中央値を出力する第4の中央値
処理部と、第3の中央値処理部の出力と第4の中央値処
理部の出力の平均値を出力する第2の平均値処理部と、
電気信号に基づいて発生される輝度信号に基づき、第2
の画素に対応する画面位置における画像のエッジ情報を
検出するエッジ検出部と、エッジ情報に応じて第1の平
均値処理部の出力と第2の平均値処理部の出力のいずれ
か一方を選択して出力する選択部とをさらに含む。
請求項4に記載の画素データ処理装置の構成に加えて、
第1の処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第2方向に沿って隣
接する第2の画素に対応する第2回の処理を実行するた
めに第2方向に沿って1画素分移動した位置に設定さ
れ、信号処理部は、第2の処理ウインドウ内で第1方向
と異なる第3方向に沿って並ぶ複数の画素を有する画素
列に対応する原画素データの中央値を出力する第3の中
央値処理部と、第2の処理ウインドウ内で第2方向と異
なる第4方向に沿って並ぶ複数の画素を有する画素列に
対応する原画素データの中央値を出力する第4の中央値
処理部と、第3の中央値処理部の出力と第4の中央値処
理部の出力の平均値を出力する第2の平均値処理部と、
電気信号に基づいて発生される輝度信号に基づき、第2
の画素に対応する画面位置における画像のエッジ情報を
検出するエッジ検出部と、エッジ情報に応じて第1の平
均値処理部の出力と第2の平均値処理部の出力のいずれ
か一方を選択して出力する選択部とをさらに含む。
【0025】請求項10に記載の画素データ処理方法
は、アレイ状に並ぶ画素の光信号を変換して得られた電
気信号に基づいて発生される色差信号をノイズ除去処理
し、色差信号に含まれる原画素データから新画素データ
を出力する画素データ処理方法であって、所定の処理ウ
インドウ内で第1方向に沿って並ぶ複数の画素を有する
画素列に対応する原画素データの中央値である第1次中
央値データを出力する前処理ステップと、処理ウインド
ウ内における複数の画素列にそれぞれ対応する複数の第
1次中央値データを受けて、複数の第1次中央値データ
の中央値を第2次中央値データとして出力する出力ステ
ップとを備える。
は、アレイ状に並ぶ画素の光信号を変換して得られた電
気信号に基づいて発生される色差信号をノイズ除去処理
し、色差信号に含まれる原画素データから新画素データ
を出力する画素データ処理方法であって、所定の処理ウ
インドウ内で第1方向に沿って並ぶ複数の画素を有する
画素列に対応する原画素データの中央値である第1次中
央値データを出力する前処理ステップと、処理ウインド
ウ内における複数の画素列にそれぞれ対応する複数の第
1次中央値データを受けて、複数の第1次中央値データ
の中央値を第2次中央値データとして出力する出力ステ
ップとを備える。
【0026】請求項11に記載の画素データ処理方法
は、請求項10に記載の画素データ処理方法の構成に加
えて、処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第1方向と直角をな
す画面の第2方向に沿って隣接する第2の画素に対応す
る第2回の処理を実行するために第2方向に沿って1画
素分移動した位置に設定され、前処理ステップは、第2
回の処理時の処理ウインドウに新たに含まれることにな
った画素列の原画素データについて中央値処理を行ない
新たな第1次中央値データを求めるステップを含み、出
力ステップは、第1回の処理時における複数の第1次中
央値データの中央値のうち第2回の処理時に不要となる
第1次中央値データを除去するステップと、新たな第1
次中央値データを取込むステップと、保持する複数の第
1次中央値データを受けてデータ値の大きさに応じて並
べ替えを行なうソート処理ステップとを含む。
は、請求項10に記載の画素データ処理方法の構成に加
えて、処理ウインドウは、第1の画素に対応する第1回
の処理が終了すると、第1の画素に第1方向と直角をな
す画面の第2方向に沿って隣接する第2の画素に対応す
る第2回の処理を実行するために第2方向に沿って1画
素分移動した位置に設定され、前処理ステップは、第2
回の処理時の処理ウインドウに新たに含まれることにな
った画素列の原画素データについて中央値処理を行ない
新たな第1次中央値データを求めるステップを含み、出
力ステップは、第1回の処理時における複数の第1次中
央値データの中央値のうち第2回の処理時に不要となる
第1次中央値データを除去するステップと、新たな第1
次中央値データを取込むステップと、保持する複数の第
1次中央値データを受けてデータ値の大きさに応じて並
べ替えを行なうソート処理ステップとを含む。
【0027】請求項12に記載の画素データ処理方法
は、輝度信号と分離された色差信号に対応する複数の原
画素データを処理してノイズ除去した画素データを出力
する画素データ処理方法であって、第1の処理ウインド
ウ内で第1方向に沿って並ぶ複数の画素を有する画素列
に対応する原画素データの中央値である第1の中央値デ
ータを出力するステップと、第1の処理ウインドウ内で
第2方向に沿って並ぶ複数の画素を有する画素列に対応
する原画素データの中央値である第2の中央値データを
出力するステップと、第1の中央値データと第2の中央
値データの平均値を出力するステップとを備える。
は、輝度信号と分離された色差信号に対応する複数の原
画素データを処理してノイズ除去した画素データを出力
する画素データ処理方法であって、第1の処理ウインド
ウ内で第1方向に沿って並ぶ複数の画素を有する画素列
に対応する原画素データの中央値である第1の中央値デ
ータを出力するステップと、第1の処理ウインドウ内で
第2方向に沿って並ぶ複数の画素を有する画素列に対応
する原画素データの中央値である第2の中央値データを
出力するステップと、第1の中央値データと第2の中央
値データの平均値を出力するステップとを備える。
【0028】請求項13に記載の画素データ処理方法
は、請求項12に記載の画素データ処理方法の構成に加
えて、第1の処理ウインドウは、第1の画素に対応する
第1回の処理が終了すると、第1の画素に第2方向に沿
って隣接する第2の画素に対応する第2回の処理を実行
するために第2方向に沿って1画素分移動した位置に設
定され、第2の処理ウインドウ内で第1方向と異なる第
3方向に沿って並ぶ複数の画素を有する画素列に対応す
る原画素データの中央値である第3の中央値データを出
力するステップと、第2の処理ウインドウ内で第2方向
と異なる第4方向に沿って並ぶ複数の画素を有する画素
列に対応する原画素データの中央値である第4の中央値
データを出力するステップと、第3の中央値データと第
4の中央値データの平均値を出力するステップと、輝度
信号に基づき、第2の画素に対応する画面位置における
画像のエッジ情報を検出するステップと、エッジ情報に
応じて第1の平均値処理部の出力と第2の平均値処理部
の出力のいずれか一方を選択して出力するステップとを
さらに備える。
は、請求項12に記載の画素データ処理方法の構成に加
えて、第1の処理ウインドウは、第1の画素に対応する
第1回の処理が終了すると、第1の画素に第2方向に沿
って隣接する第2の画素に対応する第2回の処理を実行
するために第2方向に沿って1画素分移動した位置に設
定され、第2の処理ウインドウ内で第1方向と異なる第
3方向に沿って並ぶ複数の画素を有する画素列に対応す
る原画素データの中央値である第3の中央値データを出
力するステップと、第2の処理ウインドウ内で第2方向
と異なる第4方向に沿って並ぶ複数の画素を有する画素
列に対応する原画素データの中央値である第4の中央値
データを出力するステップと、第3の中央値データと第
4の中央値データの平均値を出力するステップと、輝度
信号に基づき、第2の画素に対応する画面位置における
画像のエッジ情報を検出するステップと、エッジ情報に
応じて第1の平均値処理部の出力と第2の平均値処理部
の出力のいずれか一方を選択して出力するステップとを
さらに備える。
【0029】
【発明の実施の形態】以下において、本発明の実施の形
態について図面を参照して詳しく説明する。なお、図中
同一符号は同一または相当部分を示す。
態について図面を参照して詳しく説明する。なお、図中
同一符号は同一または相当部分を示す。
【0030】[実施の形態1]図1は、本発明の実施の
形態1の画素データ処理装置が適用されるデジタルスチ
ルカメラの構成を示すブロック図である。
形態1の画素データ処理装置が適用されるデジタルスチ
ルカメラの構成を示すブロック図である。
【0031】図1を参照して、デジタルスチルカメラ1
は、内部に撮像レンズを含み対象物の画像を取込む光学
系2と、取込まれた画像を電気信号に変換するCCD4
と、CCD4の出力する信号を階調変換や白黒バランス
等のアナログ前処理をする前信号処理部6と、光学系2
の撮影動作や前信号処理部6の処理動作を制御するカメ
ラ制御部10とを含む。
は、内部に撮像レンズを含み対象物の画像を取込む光学
系2と、取込まれた画像を電気信号に変換するCCD4
と、CCD4の出力する信号を階調変換や白黒バランス
等のアナログ前処理をする前信号処理部6と、光学系2
の撮影動作や前信号処理部6の処理動作を制御するカメ
ラ制御部10とを含む。
【0032】デジタルスチルカメラ1は、さらに、前信
号処理部6の出力を受けてデジタルデータに変換するA
/D変換部8と、A/D変換部8によってデジタル信号
となった画像データを受けて補間処理や画像圧縮を行な
うデジタル信号処理部12と、デジタル信号処理部12
が信号処理する際に画像データを一時的に保持するため
のメモリ14と、デジタル信号処理部12によって処理
された画像データをビデオ出力信号やメモリカードへの
出力信号として出力する入出力インターフェイス部16
とを含む。
号処理部6の出力を受けてデジタルデータに変換するA
/D変換部8と、A/D変換部8によってデジタル信号
となった画像データを受けて補間処理や画像圧縮を行な
うデジタル信号処理部12と、デジタル信号処理部12
が信号処理する際に画像データを一時的に保持するため
のメモリ14と、デジタル信号処理部12によって処理
された画像データをビデオ出力信号やメモリカードへの
出力信号として出力する入出力インターフェイス部16
とを含む。
【0033】デジタル信号処理部12は、A/D変換部
8からデータを受けて各画素に対応するRGBのデータ
を補間して発生する補間処理部18と、補間処理部18
からRGBデータを受けて輝度信号と色差信号とに変換
して出力するY/C変換部20と、Y/C変換部20か
ら色差信号を受けてノイズ除去を行なうノイズ除去部2
2と、Y/C変換部20から輝度信号Yを受けノイズ除
去部22から色差信号Cr、Cbを受けて画像圧縮を行
なう画像圧縮部24とを含む。
8からデータを受けて各画素に対応するRGBのデータ
を補間して発生する補間処理部18と、補間処理部18
からRGBデータを受けて輝度信号と色差信号とに変換
して出力するY/C変換部20と、Y/C変換部20か
ら色差信号を受けてノイズ除去を行なうノイズ除去部2
2と、Y/C変換部20から輝度信号Yを受けノイズ除
去部22から色差信号Cr、Cbを受けて画像圧縮を行
なう画像圧縮部24とを含む。
【0034】メモリ14は、補間処理部18がRGBの
データを発生する際にデータを一時的に保存したり、ま
た、画像圧縮部24が画像圧縮を行なう際にデータを一
時的に保存したりする作業用メモリとしての役割を果た
す。
データを発生する際にデータを一時的に保存したり、ま
た、画像圧縮部24が画像圧縮を行なう際にデータを一
時的に保存したりする作業用メモリとしての役割を果た
す。
【0035】入出力インターフェイス部16は、Y/C
変換部20によって生成された輝度信号および色差信号
を受けてビデオ出力信号として出力したり、画像圧縮部
24によって圧縮された画像データをメモリカードに保
存するために出力したりする。
変換部20によって生成された輝度信号および色差信号
を受けてビデオ出力信号として出力したり、画像圧縮部
24によって圧縮された画像データをメモリカードに保
存するために出力したりする。
【0036】デジタルカメラでは、JPEG(Joint Ph
otographic Coding Experts Group)方式を用いて画像
を圧縮するのが一般的である。また、JPEG方式で
は、RGB信号を輝度、色差信号に変換した後に処理を
行なうのが一般的である。
otographic Coding Experts Group)方式を用いて画像
を圧縮するのが一般的である。また、JPEG方式で
は、RGB信号を輝度、色差信号に変換した後に処理を
行なうのが一般的である。
【0037】そこで、デジタル信号処理部12におい
て、Y/C変換部20によって出力される色差信号にの
みノイズ除去処理を行なう。ノイズ除去部22では、メ
ディアンフィルタによるこのノイズ除去処理がソフトウ
ェアまたはハードウェアで実現される。
て、Y/C変換部20によって出力される色差信号にの
みノイズ除去処理を行なう。ノイズ除去部22では、メ
ディアンフィルタによるこのノイズ除去処理がソフトウ
ェアまたはハードウェアで実現される。
【0038】メディアンフィルタは、ある画素を中心と
するn×nの画素(以降ウィンドウと称する)をデータ
の大きさ順に並べた際に中央に位置するデータを求める
フィルタである。
するn×nの画素(以降ウィンドウと称する)をデータ
の大きさ順に並べた際に中央に位置するデータを求める
フィルタである。
【0039】メディアンフィルタの処理において演算量
を削減するために各列の中央値を求め、その中央値を並
べた行のさらに中央値をウィンドウの擬似的な中央値と
する方式がある。
を削減するために各列の中央値を求め、その中央値を並
べた行のさらに中央値をウィンドウの擬似的な中央値と
する方式がある。
【0040】図2は、中央値を求める順序とウィンドウ
の移動方向との関係を示す図である。
の移動方向との関係を示す図である。
【0041】図2を参照して、本発明においては、画像
に対して水平方向にウィンドウを移動させている。この
場合、画素P0を求めるための前のウィンドウW0と画
素P1を求めるための次のウィンドウW1では多くの列
が重なっている。よって、まず各列すなわち垂直方向の
画素の中央値を求め、その後に各列の中央値の中央値を
ウィンドウの擬似的な中央値とする。前のウィンドウと
次のウィンドウで重なっている列の中央値は前のウィン
ドウで求めた中央値を再利用する。
に対して水平方向にウィンドウを移動させている。この
場合、画素P0を求めるための前のウィンドウW0と画
素P1を求めるための次のウィンドウW1では多くの列
が重なっている。よって、まず各列すなわち垂直方向の
画素の中央値を求め、その後に各列の中央値の中央値を
ウィンドウの擬似的な中央値とする。前のウィンドウと
次のウィンドウで重なっている列の中央値は前のウィン
ドウで求めた中央値を再利用する。
【0042】図3は、ウィンドウの移動を詳しく説明す
るための図である。図3を参照して、ウィンドウW0が
次のウィンドウW1に移る場合を考える。ここでウィン
ドウW0は画素g(i,j−1)の位置に来るノイズ除
去処理後の画素を求めるためのウィンドウである。ウィ
ンドウW1は、画素g(i,j)の位置に来るノイズ除
去処理後の画素を求めるためのウィンドウである。
るための図である。図3を参照して、ウィンドウW0が
次のウィンドウW1に移る場合を考える。ここでウィン
ドウW0は画素g(i,j−1)の位置に来るノイズ除
去処理後の画素を求めるためのウィンドウである。ウィ
ンドウW1は、画素g(i,j)の位置に来るノイズ除
去処理後の画素を求めるためのウィンドウである。
【0043】ウィンドウW0とウィンドウW1では2列
が同じである。すなわち、第(j−1)列と第j列とが
同じであるため、ウィンドウW1に対応するノイズ除去
を行なう際に、第(j−1)列の中央値と第j列の中央
値とはウィンドウW0の処理を行なったときに求めた値
を使用することができる。
が同じである。すなわち、第(j−1)列と第j列とが
同じであるため、ウィンドウW1に対応するノイズ除去
を行なう際に、第(j−1)列の中央値と第j列の中央
値とはウィンドウW0の処理を行なったときに求めた値
を使用することができる。
【0044】したがって、ウィンドウW1の処理時にお
いては第(j+1)列の中央値を求めて他の2列の中央
値と合せて中央値の中央値を求める。
いては第(j+1)列の中央値を求めて他の2列の中央
値と合せて中央値の中央値を求める。
【0045】つまり、ウィンドウW1の処理を行なう際
には、まず第(j+1)列の画素データg(i−1,j
+1)、g(i,j+1)、g(i+1,j+1)の3
画素を読込んでソート処理を行ない中央値を求める。
には、まず第(j+1)列の画素データg(i−1,j
+1)、g(i,j+1)、g(i+1,j+1)の3
画素を読込んでソート処理を行ない中央値を求める。
【0046】次に、中央値の中央値を求める。ウィンド
ウW0で求めたソートされたデータすなわちソート列の
多くのデータはそのままである。この場合では、第(j
−1)列の中央値と第(i)列の中央値の大小関係は既
にわかっている。予って、ウィンドウW0で求めたソー
ト列を利用して処理量を減らして中央値を求めることが
できる。
ウW0で求めたソートされたデータすなわちソート列の
多くのデータはそのままである。この場合では、第(j
−1)列の中央値と第(i)列の中央値の大小関係は既
にわかっている。予って、ウィンドウW0で求めたソー
ト列を利用して処理量を減らして中央値を求めることが
できる。
【0047】図4は、図1に示したノイズ除去部22の
構成を示すブロック図である。図4を参照して、ノイズ
除去部22は、垂直方向に沿って並ぶ画素g(i−1,
j+1)、g(i,j+1)、g(i+1,j+1)を
取込んで処理を行ないその列の中央値MED(j+1)
を求める垂直方向処理部32と、垂直方向処理部32が
求めた中央値をウィンドウの水平方向の画素分蓄積し中
央値の中央値を求めて新たな画素g2(i,j)として
出力する水平方向処理部34とを含む。
構成を示すブロック図である。図4を参照して、ノイズ
除去部22は、垂直方向に沿って並ぶ画素g(i−1,
j+1)、g(i,j+1)、g(i+1,j+1)を
取込んで処理を行ないその列の中央値MED(j+1)
を求める垂直方向処理部32と、垂直方向処理部32が
求めた中央値をウィンドウの水平方向の画素分蓄積し中
央値の中央値を求めて新たな画素g2(i,j)として
出力する水平方向処理部34とを含む。
【0048】図5は、図4に示した垂直方向処理部32
の構成を示すブロック図である。図5を参照して、垂直
方向処理部32は、画素データg(i+1,j+1)、
g(i,j+1)を受けて大小判定を行ないデータ値の
大きい方をL出力として出力し小さい方をS出力として
出力する大小判定回路36と、大小判定回路36のL出
力と画素データg(i−1,j+1)とを受けて大小判
定を行ないデータ値の大きい方をL出力として出力し小
さい方をS出力として出力する大小判定回路38と、大
小判定回路36のS出力と大小判定回路38のS出力と
を比較して大小判定を行ないデータ値の大きい方をL出
力として出力し小さい方をS出力として出力する大小判
定回路40とを含む。
の構成を示すブロック図である。図5を参照して、垂直
方向処理部32は、画素データg(i+1,j+1)、
g(i,j+1)を受けて大小判定を行ないデータ値の
大きい方をL出力として出力し小さい方をS出力として
出力する大小判定回路36と、大小判定回路36のL出
力と画素データg(i−1,j+1)とを受けて大小判
定を行ないデータ値の大きい方をL出力として出力し小
さい方をS出力として出力する大小判定回路38と、大
小判定回路36のS出力と大小判定回路38のS出力と
を比較して大小判定を行ないデータ値の大きい方をL出
力として出力し小さい方をS出力として出力する大小判
定回路40とを含む。
【0049】このように大小判定を行ないデータの入換
えを繰返すことによりデータの並べ替えが実施される。
大小判定回路38のL出力は3つの画素データのうち最
大値をとる画素データが出力され、大小判定回路40の
S出力からは3つの画素データの最小値が出力される。
大小判定回路40のL出力からは求める中央値MED
(j+1)が得られる。
えを繰返すことによりデータの並べ替えが実施される。
大小判定回路38のL出力は3つの画素データのうち最
大値をとる画素データが出力され、大小判定回路40の
S出力からは3つの画素データの最小値が出力される。
大小判定回路40のL出力からは求める中央値MED
(j+1)が得られる。
【0050】図6は、図5に示した大小判定回路36の
構成を示す回路図である。図6を参照して、大小判定回
路36は、入力信号IN1、IN2を受けて比較する比
較回路42と、比較回路42の出力に応じて入力信号I
N1、IN2のうち小さい方を出力する選択回路46
と、比較回路42の出力を受けて反転するインバータ4
4と、インバータ44の出力に応じて入力信号IN1、
IN2の大きい方を出力する選択回路48とを含む。
構成を示す回路図である。図6を参照して、大小判定回
路36は、入力信号IN1、IN2を受けて比較する比
較回路42と、比較回路42の出力に応じて入力信号I
N1、IN2のうち小さい方を出力する選択回路46
と、比較回路42の出力を受けて反転するインバータ4
4と、インバータ44の出力に応じて入力信号IN1、
IN2の大きい方を出力する選択回路48とを含む。
【0051】図5における大小判定回路38、40も大
小判定回路36と同様な構成を有するため説明は繰返さ
ない。
小判定回路36と同様な構成を有するため説明は繰返さ
ない。
【0052】図7は、図4に示した水平方向処理部34
の構成を示すブロック図である。図7を参照して、水平
方向処理部34は、第(j+1)列の中央値データME
D(j+1)を受けてビット付加を行なうビット付加部
50と、前回処理したウィンドウにおける垂直方向の中
央値のソート列を保持する保持回路52と、ビット付加
部50の出力および保持回路52の出力データをソート
するソート処理部54と、ソート処理部54の出力デー
タのうち次のウィンドウの処理時に使用しないデータを
除去して保持回路52に出力するデータ除去部56とを
含む。
の構成を示すブロック図である。図7を参照して、水平
方向処理部34は、第(j+1)列の中央値データME
D(j+1)を受けてビット付加を行なうビット付加部
50と、前回処理したウィンドウにおける垂直方向の中
央値のソート列を保持する保持回路52と、ビット付加
部50の出力および保持回路52の出力データをソート
するソート処理部54と、ソート処理部54の出力デー
タのうち次のウィンドウの処理時に使用しないデータを
除去して保持回路52に出力するデータ除去部56とを
含む。
【0053】ソート処理部54は、保持回路52が出力
する2データのうち値の小さいデータとビット付加部5
0の出力を受けて大小判定を行ないデータ値の大きい方
をL出力に出力しデータ値の小さい方をS出力に出力す
る大小判定回路58と、保持回路52が保持する中央値
のうちデータ値の大きい方と大小判定回路58のL出力
とを受けて大小判定を行ない値の大きい方をL出力に出
力し小さい方をS出力に出力する大小判定回路60とを
含む。
する2データのうち値の小さいデータとビット付加部5
0の出力を受けて大小判定を行ないデータ値の大きい方
をL出力に出力しデータ値の小さい方をS出力に出力す
る大小判定回路58と、保持回路52が保持する中央値
のうちデータ値の大きい方と大小判定回路58のL出力
とを受けて大小判定を行ない値の大きい方をL出力に出
力し小さい方をS出力に出力する大小判定回路60とを
含む。
【0054】大小判定回路60のL出力は中央値データ
のうち最大値を出力し、大小判定回路58のS出力は最
小となる中央値データを出力する。大小判定回路60の
S出力は中央値の中央値を出力する。この中央値の中央
値がノイズ除去後の画素データg2(i,j)となる。
のうち最大値を出力し、大小判定回路58のS出力は最
小となる中央値データを出力する。大小判定回路60の
S出力は中央値の中央値を出力する。この中央値の中央
値がノイズ除去後の画素データg2(i,j)となる。
【0055】大小判定回路58は図6に示した大小判定
回路36と基本的には同じ構成を有するが、図6におけ
る比較回路42の比較対象としてはビット付加部50で
付加されるビットは使用されない。つまり、比較回路は
垂直方向処理後の中央値を比較し、セレクタ46、48
には中央値データと付加ビットとが入力され比較出力に
応じて選択的に出力される。
回路36と基本的には同じ構成を有するが、図6におけ
る比較回路42の比較対象としてはビット付加部50で
付加されるビットは使用されない。つまり、比較回路は
垂直方向処理後の中央値を比較し、セレクタ46、48
には中央値データと付加ビットとが入力され比較出力に
応じて選択的に出力される。
【0056】データ除去部56は、ソート処理部54が
出力するソート後のデータ列が次回に使用しないデータ
を除去するのであるが、これは、たとえば、ビット付加
部50で付加したビットの部分を比較することで可能で
ある。たとえばウィンドウの幅が3画素分であった場合
に、2ビットの情報を付加し初期データとして2をセッ
トしデータ除去部56を通るたびに付加ビットから1を
減算するような処理を行なえば、付加ビットが0になっ
た時点でデータを削除することにより実現が可能であ
る。
出力するソート後のデータ列が次回に使用しないデータ
を除去するのであるが、これは、たとえば、ビット付加
部50で付加したビットの部分を比較することで可能で
ある。たとえばウィンドウの幅が3画素分であった場合
に、2ビットの情報を付加し初期データとして2をセッ
トしデータ除去部56を通るたびに付加ビットから1を
減算するような処理を行なえば、付加ビットが0になっ
た時点でデータを削除することにより実現が可能であ
る。
【0057】このようにして前回ソートしたソート列を
使用することにより、ソート処理部54の大小判定回路
の数を少なくすることが可能である。
使用することにより、ソート処理部54の大小判定回路
の数を少なくすることが可能である。
【0058】図8は、ノイズ除去処理をソフトウェアで
実現する場合のフローを説明するフローチャートであ
る。
実現する場合のフローを説明するフローチャートであ
る。
【0059】図8を参照して、ステップS10におい
て、位置(i,j)の画素g(i,j)のノイズ除去処
理が開始される。
て、位置(i,j)の画素g(i,j)のノイズ除去処
理が開始される。
【0060】次に、ステップS11において、画素デー
タg(i−1,j−2)、g(i,j−2)、g(i+
1,j−2)の中央値MED(j−2)を除去する。こ
の処理は、前回処理したウィンドウにおいて保持してい
る中央値データのうち今回のウィンドウの処理に使用で
きないデータを除去する処理である。たとえば、中央値
データと、それに対応する別変数として画面における水
平方向の位置データとを保持するようにすれば、その別
変数を比較することによりウィンドウ幅がmのときには
m−1回の比較によってこの除去データを求めることが
できる。ウィンドウ幅mが3のときには、この比較数は
最大で2回となる。
タg(i−1,j−2)、g(i,j−2)、g(i+
1,j−2)の中央値MED(j−2)を除去する。こ
の処理は、前回処理したウィンドウにおいて保持してい
る中央値データのうち今回のウィンドウの処理に使用で
きないデータを除去する処理である。たとえば、中央値
データと、それに対応する別変数として画面における水
平方向の位置データとを保持するようにすれば、その別
変数を比較することによりウィンドウ幅がmのときには
m−1回の比較によってこの除去データを求めることが
できる。ウィンドウ幅mが3のときには、この比較数は
最大で2回となる。
【0061】次にステップS12において今回のウィン
ドウに新たに処理対象となる画素データを取込む。すな
わち第(j+1)列のデータの読込がされる。(j+
1)列には、画素データg(i−1,j+1)、g
(i,j+1)、g(i+1,j+1)が含まれる。
ドウに新たに処理対象となる画素データを取込む。すな
わち第(j+1)列のデータの読込がされる。(j+
1)列には、画素データg(i−1,j+1)、g
(i,j+1)、g(i+1,j+1)が含まれる。
【0062】ステップS13においては、ステップS1
2において読込まれた画素データの中央値MED(j+
1)をソートで求める。ウィンドウの幅をmとすると、
このときの比較回数はm(m−1)/2回である。ウィ
ンドウ幅mが3のときには最大比較数は3回となる。
2において読込まれた画素データの中央値MED(j+
1)をソートで求める。ウィンドウの幅をmとすると、
このときの比較回数はm(m−1)/2回である。ウィ
ンドウ幅mが3のときには最大比較数は3回となる。
【0063】次にステップS14において、中央値の中
央値を求める。すなわち、第(j−1)列の中央値ME
D(j−1)および第j列の中央値MED(j)に対し
て今回新たに求めた中央値MED(j+1)を加えて中
央値の中央値PMED(j)を求める。この場合には、
前回のソート結果を生かすことにより、比較回数はm−
1回に抑えることができる。ウィンドウ幅mが3のとき
にはこのとき最大比較数は2回である。
央値を求める。すなわち、第(j−1)列の中央値ME
D(j−1)および第j列の中央値MED(j)に対し
て今回新たに求めた中央値MED(j+1)を加えて中
央値の中央値PMED(j)を求める。この場合には、
前回のソート結果を生かすことにより、比較回数はm−
1回に抑えることができる。ウィンドウ幅mが3のとき
にはこのとき最大比較数は2回である。
【0064】最後に、ステップS15において、位置
(i,j)の新たな画素g2(i,j)として求めた中
央値の中央値PMED(j)を代入してノイズ除去処理
が終了する。
(i,j)の新たな画素g2(i,j)として求めた中
央値の中央値PMED(j)を代入してノイズ除去処理
が終了する。
【0065】次に、数値をより具体的にして説明をす
る。図9は、3×3のウィンドウにおけるウィンドウの
移動と重なりを説明するための図である。
る。図9は、3×3のウィンドウにおけるウィンドウの
移動と重なりを説明するための図である。
【0066】図9を参照して、まず前回のウィンドウと
してX1、X2、X3の列のデータが処理される。この
場合には、列X1の中央値18と列X2の中央値25
と、列X3の中央値19とが算出された後にこれらの中
央値の中央値を求める処理が行なわれる。
してX1、X2、X3の列のデータが処理される。この
場合には、列X1の中央値18と列X2の中央値25
と、列X3の中央値19とが算出された後にこれらの中
央値の中央値を求める処理が行なわれる。
【0067】その後、次のウィンドウに移る場合を考え
る。次のウィンドウは列X2、X3、X4が処理の対象
となる。この場合には、まず中央値データとして保持さ
れていた列X1の中央値18がソート列から削除され
る。
る。次のウィンドウは列X2、X3、X4が処理の対象
となる。この場合には、まず中央値データとして保持さ
れていた列X1の中央値18がソート列から削除され
る。
【0068】次に列X4が読込まれデータの中央値が求
められる。この場合には列X4の中央値は55である。
そして、列X2の中央値25、列X3の中央値19から
なるソート列にさらに列X4の中央値である55を挿入
する。このようにして次のウィンドウの中央値は列X3
の中央値25に決定される。
められる。この場合には列X4の中央値は55である。
そして、列X2の中央値25、列X3の中央値19から
なるソート列にさらに列X4の中央値である55を挿入
する。このようにして次のウィンドウの中央値は列X3
の中央値25に決定される。
【0069】以上の処理において演算量についてさらに
詳しく述べる。メモリから読込むデータの数とデータの
比較回数、データの入換回数、平均値を求める回数で演
算量を比較する。実施の形態1におけるアルゴリズム
は、前のウィンドウで選られた演算結果を次のウィンド
ウの演算に利用するため、連続した処理中の1画素の中
央値を求めるのに必要な演算量で比較することにする。
ソートする要素数が少ないので、中央値を求めるのに必
要なソートは、単純にすべての要素を比較することによ
り求める。また、ソート列からの削除/挿入は、削除/
挿入したいデータをソート列の最初から順番に比較して
探し、見つかった時点で削除/挿入するとする。
詳しく述べる。メモリから読込むデータの数とデータの
比較回数、データの入換回数、平均値を求める回数で演
算量を比較する。実施の形態1におけるアルゴリズム
は、前のウィンドウで選られた演算結果を次のウィンド
ウの演算に利用するため、連続した処理中の1画素の中
央値を求めるのに必要な演算量で比較することにする。
ソートする要素数が少ないので、中央値を求めるのに必
要なソートは、単純にすべての要素を比較することによ
り求める。また、ソート列からの削除/挿入は、削除/
挿入したいデータをソート列の最初から順番に比較して
探し、見つかった時点で削除/挿入するとする。
【0070】各回数は、最悪値となる場合でカウントす
る。ただし、入換回数については、比較回数が最悪な場
合を想定して求める。メモリアクセス回数は新たに必要
となるデータの読込に必要な回数のみを数える。ソート
列は、レジスタ内に保持されていると仮定する。
る。ただし、入換回数については、比較回数が最悪な場
合を想定して求める。メモリアクセス回数は新たに必要
となるデータの読込に必要な回数のみを数える。ソート
列は、レジスタ内に保持されていると仮定する。
【0071】m×mウィンドウの従来方式の演算量にお
いては、m2個のデータを扱うことにより、メモリから
m2個のデータを読込み、m個の列に含まれる各々のデ
ータm個をソートし、さらに各列に対応するm個の中央
値をソートしなければならない。
いては、m2個のデータを扱うことにより、メモリから
m2個のデータを読込み、m個の列に含まれる各々のデ
ータm個をソートし、さらに各列に対応するm個の中央
値をソートしなければならない。
【0072】バブルソートを用いるとすると、比較回数
は1列のソートでは、m(m−1)/2回必要である。
列数はmであるので、比較回数はm×m(m−1)/2
である。また、m個の中央値のソートには、m(m−
1)/2回の比較が必要である。したがって、必要な比
較回数の合計は、m×m(m−1)/2+m(m−1)
/2である。
は1列のソートでは、m(m−1)/2回必要である。
列数はmであるので、比較回数はm×m(m−1)/2
である。また、m個の中央値のソートには、m(m−
1)/2回の比較が必要である。したがって、必要な比
較回数の合計は、m×m(m−1)/2+m(m−1)
/2である。
【0073】また、ソートに必要な入換回数は、比較の
たびに入換が必要となる場合が最悪となるので、m×m
(m−1)/2+m(m−1)/2回となる。
たびに入換が必要となる場合が最悪となるので、m×m
(m−1)/2+m(m−1)/2回となる。
【0074】実施の形態1の画素データ処理方法による
と、新しく加わる1列のデータを新たにメモリから読込
むだけでよい。また、新たに加わる1列のソートに必要
な比較回数は、最悪の場合m(m−1)/2回であり、
m個の中央値をソートするのに必要な比較回数は、デー
タの削除に(m−1)回、データの挿入に(m−1)回
の合計2(m−1)回である。
と、新しく加わる1列のデータを新たにメモリから読込
むだけでよい。また、新たに加わる1列のソートに必要
な比較回数は、最悪の場合m(m−1)/2回であり、
m個の中央値をソートするのに必要な比較回数は、デー
タの削除に(m−1)回、データの挿入に(m−1)回
の合計2(m−1)回である。
【0075】よって、比較回数の合計は、m(m−1)
/2+2(m−1)回となる。また、ソートに必要な入
換回数は、比較のたびに入換が必要となる場合が最悪で
あるので、m(m−1)/2+2(m−1)回となる。
/2+2(m−1)回となる。また、ソートに必要な入
換回数は、比較のたびに入換が必要となる場合が最悪で
あるので、m(m−1)/2+2(m−1)回となる。
【0076】図3から図8では、ウィンドウ幅mが3の
場合を説明したが、さらに大きなウィンドウの場合、た
とえば、mが5の場合を想定すると、従来方式において
は、画素数が25なのでメモリから読込が25回、比較
回数、入換回数として各60回必要であったが、本方式
では、読込は5回、比較回数、入換回数とも各18回で
行なうことができる。
場合を説明したが、さらに大きなウィンドウの場合、た
とえば、mが5の場合を想定すると、従来方式において
は、画素数が25なのでメモリから読込が25回、比較
回数、入換回数として各60回必要であったが、本方式
では、読込は5回、比較回数、入換回数とも各18回で
行なうことができる。
【0077】以上説明したように、実施の形態1におい
ては、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、従来方式より演算量が少なく
なり、ハードウェアで実現する場合でもハードウェア規
模が小さくなるという効果がある。
ては、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、従来方式より演算量が少なく
なり、ハードウェアで実現する場合でもハードウェア規
模が小さくなるという効果がある。
【0078】[実施の形態2]図10は、実施の形態2
において用いられるウィンドウの形状を説明するための
図である。
において用いられるウィンドウの形状を説明するための
図である。
【0079】図10を参照して、実施の形態2では十字
型のウィンドウW10、W11を使用する。
型のウィンドウW10、W11を使用する。
【0080】ウィンドウW10は前回処理時のウィンド
ウであり、ウィンドウW11は、今回処理時のウィンド
ウである。ウィンドウW10は、垂直方向の画素とし
て、第(j−1)列の画素データを含む。第(j−1)
列の画素データは、画素g(i−2,j−1)、g(i
−1,j−1)、g(i,j−1)、g(i+1、j−
1)、g(i+2,j−1)の5つの画素データであ
る。また、水平方向の画素データとして画素g(i,j
−3)、g(i,j−2)、g(i,j−1)、g
(i,j)、g(i,j+1)を含む。
ウであり、ウィンドウW11は、今回処理時のウィンド
ウである。ウィンドウW10は、垂直方向の画素とし
て、第(j−1)列の画素データを含む。第(j−1)
列の画素データは、画素g(i−2,j−1)、g(i
−1,j−1)、g(i,j−1)、g(i+1、j−
1)、g(i+2,j−1)の5つの画素データであ
る。また、水平方向の画素データとして画素g(i,j
−3)、g(i,j−2)、g(i,j−1)、g
(i,j)、g(i,j+1)を含む。
【0081】次のウィンドウW11は、垂直方向の画素
g(i−2,j)、g(i−1,j)、g(i,j)、
g(i+1,j)、g(i+2,j)を含み、水平方向
の画素としてg(i,j−2)、g(i,j−1)、g
(i,j)、g(i,j+1)、g(i,j+2)を含
む。
g(i−2,j)、g(i−1,j)、g(i,j)、
g(i+1,j)、g(i+2,j)を含み、水平方向
の画素としてg(i,j−2)、g(i,j−1)、g
(i,j)、g(i,j+1)、g(i,j+2)を含
む。
【0082】実施の形態1では、m×mのウィンドウの
場合、2m−1個のデータをソートしなければならず、
演算量が多くなってしまう。そこで、本実施例では、水
平方向の中央値と、垂直方向の中央値の平均値を擬似的
な中央値とする。
場合、2m−1個のデータをソートしなければならず、
演算量が多くなってしまう。そこで、本実施例では、水
平方向の中央値と、垂直方向の中央値の平均値を擬似的
な中央値とする。
【0083】図11は、実施の形態2において図1のノ
イズ除去部22に代えて用いられるノイズ除去部70の
構成を示すブロック図である。
イズ除去部22に代えて用いられるノイズ除去部70の
構成を示すブロック図である。
【0084】図11を参照して、ノイズ除去部70は、
垂直方向の画素データg(i−2,j)〜g(i+2,
j)を受けて垂直方向の中央値を出力する垂直方向処理
部72と、画素データg(i,j+2)を取込み保持し
ている水平方向の画素データのソート列に挿入し水平方
向の中央値を出力する水平方向処理部74と、垂直方向
処理部72の出力と水平方向処理部74の出力の平均値
を求める平均値処理部76とを含む。平均値処理部76
はノイズ除去後の画素データとなる擬似的な中央値を出
力する。
垂直方向の画素データg(i−2,j)〜g(i+2,
j)を受けて垂直方向の中央値を出力する垂直方向処理
部72と、画素データg(i,j+2)を取込み保持し
ている水平方向の画素データのソート列に挿入し水平方
向の中央値を出力する水平方向処理部74と、垂直方向
処理部72の出力と水平方向処理部74の出力の平均値
を求める平均値処理部76とを含む。平均値処理部76
はノイズ除去後の画素データとなる擬似的な中央値を出
力する。
【0085】垂直方向処理部72は、特に図示はしない
が図5で示した垂直方向処理部を5データのソートに拡
張した構成を有する。
が図5で示した垂直方向処理部を5データのソートに拡
張した構成を有する。
【0086】水平方向処理部74は、特に図示はしない
が図7に示した水平方向処理部34を5データのソート
に拡張した構成を有する。
が図7に示した水平方向処理部34を5データのソート
に拡張した構成を有する。
【0087】図12は、実施の形態2における十字型ウ
ィンドウの処理を説明するためのフローチャートであ
る。
ィンドウの処理を説明するためのフローチャートであ
る。
【0088】図10、図12を参照して、まず、ステッ
プS20において、位置(i,j)の画素g(i,j)
のノイズ除去処理が開始される。
プS20において、位置(i,j)の画素g(i,j)
のノイズ除去処理が開始される。
【0089】ステップS21において、水平画素データ
群から画素g(i,j−3)を除去する。水平方向の画
素処理においては、前回ウィンドウと重複する部分があ
るので、前回のソート結果を有効に生かすためにこの処
理が行なわれる。
群から画素g(i,j−3)を除去する。水平方向の画
素処理においては、前回ウィンドウと重複する部分があ
るので、前回のソート結果を有効に生かすためにこの処
理が行なわれる。
【0090】ステップS22において、今回のウィンド
ウW11において水平画素データとして新たに加わる画
素g(i,j+2)の読込みがされる。
ウW11において水平画素データとして新たに加わる画
素g(i,j+2)の読込みがされる。
【0091】次いで、ステップS23において、水平方
向の画素の中央値XMED(i)をソートで求める。ウ
ィンドウの幅をmとすると、前回のソート結果を有効に
生かすので、このときに必要な比較数はm−1回であ
る。たとえば、mが5のときは、最大比較数は4回とな
る。
向の画素の中央値XMED(i)をソートで求める。ウ
ィンドウの幅をmとすると、前回のソート結果を有効に
生かすので、このときに必要な比較数はm−1回であ
る。たとえば、mが5のときは、最大比較数は4回とな
る。
【0092】続いて垂直方向の処理に移る。ステップS
24において、垂直画素データ群として画素g(i−
2,j)〜g(i+2,j)の読込がされる。続いてス
テップS25において、垂直方向の画素データの中央値
YMED(j)をソートで求める。このときの比較数
は、ウィンドウ幅をmとすると、m(m−1)/2回が
比較回数となる。たとえば、mが5のときは最大比較数
は10回となる。
24において、垂直画素データ群として画素g(i−
2,j)〜g(i+2,j)の読込がされる。続いてス
テップS25において、垂直方向の画素データの中央値
YMED(j)をソートで求める。このときの比較数
は、ウィンドウ幅をmとすると、m(m−1)/2回が
比較回数となる。たとえば、mが5のときは最大比較数
は10回となる。
【0093】水平方向の処理と、垂直方向の処理が終了
すると、ステップS26において、中央値XMED
(i)+YMED(j)を2で除した値が中央値PME
D(i,j)の近似とされる。そして、ステップS27
において、画素位置(i,j)の新画素g2(i,j)
に中央値の近似値であるPMED(i,j)を代入して
ノイズ除去処理が終了される。
すると、ステップS26において、中央値XMED
(i)+YMED(j)を2で除した値が中央値PME
D(i,j)の近似とされる。そして、ステップS27
において、画素位置(i,j)の新画素g2(i,j)
に中央値の近似値であるPMED(i,j)を代入して
ノイズ除去処理が終了される。
【0094】以上のような処理を行なうことにより、実
施の形態1で得られる効果に加え、データ処理量も小さ
くできるため、ハードウェアで実現する場合においても
規模が小さくなる。ソフトウェアで実現する場合にはス
ピードが速くなる。
施の形態1で得られる効果に加え、データ処理量も小さ
くできるため、ハードウェアで実現する場合においても
規模が小さくなる。ソフトウェアで実現する場合にはス
ピードが速くなる。
【0095】[実施の形態3]実施の形態3において
は、実施の形態2で説明した十字型ウィンドウを斜めに
したウィンドウを使用する。
は、実施の形態2で説明した十字型ウィンドウを斜めに
したウィンドウを使用する。
【0096】図13は、実施の形態3において用いられ
る十字型ウィンドウW30の形状を説明するための図で
ある。
る十字型ウィンドウW30の形状を説明するための図で
ある。
【0097】図13を参照して、実施の形態3において
は、第1の斜め方向D1の中央値と、第2の斜め方向D
2の中央値の平均値を擬似的な中央値とする。ウィンド
ウW30において第1の斜め方向D1として処理される
画素は、g(i−2,j−2)、g(i−1,j−
1)、g(i,j)、g(i+1,j+1)、g(i+
2,j+2)の5画素である。また、第2の斜め方向D
2として処理されるのは、画素g(i+2,j−2)、
g(i+1,j−1)、g(i,j)、g(i−1,j
+1)、g(i−2,j+2)の5画素である。
は、第1の斜め方向D1の中央値と、第2の斜め方向D
2の中央値の平均値を擬似的な中央値とする。ウィンド
ウW30において第1の斜め方向D1として処理される
画素は、g(i−2,j−2)、g(i−1,j−
1)、g(i,j)、g(i+1,j+1)、g(i+
2,j+2)の5画素である。また、第2の斜め方向D
2として処理されるのは、画素g(i+2,j−2)、
g(i+1,j−1)、g(i,j)、g(i−1,j
+1)、g(i−2,j+2)の5画素である。
【0098】図14は、実施の形態3におけるノイズ除
去部80の構成を示すブロック図である。
去部80の構成を示すブロック図である。
【0099】図14を参照して、ノイズ除去部80は、
図13におけるD1方向の画素を処理して中央値を求め
るD1方向処理部82と、図13におけるD2方向の画
素を処理して中央値を求めるD2方向処理部84と、D
1方向処理部82の出力する中央値とD2方向処理部8
4の出力する中央値の平均値を求める平均値処理部86
とを含む。平均値処理部86の出力する擬似的な中央値
はノイズが除去された画素データとして使用される。
図13におけるD1方向の画素を処理して中央値を求め
るD1方向処理部82と、図13におけるD2方向の画
素を処理して中央値を求めるD2方向処理部84と、D
1方向処理部82の出力する中央値とD2方向処理部8
4の出力する中央値の平均値を求める平均値処理部86
とを含む。平均値処理部86の出力する擬似的な中央値
はノイズが除去された画素データとして使用される。
【0100】このような構成にすれば、メディアンフィ
ルタを色差信号に適用することで偽色が抑えられること
に加えて、斜め方向の線を多く含むような画像の場合に
ボケが少なくなる。また、擬似的な中央値を計算する方
法として実施の形態1よりも演算量を少なくすることが
できハードウェアで実現する場合においても規模を小さ
くすることができる。
ルタを色差信号に適用することで偽色が抑えられること
に加えて、斜め方向の線を多く含むような画像の場合に
ボケが少なくなる。また、擬似的な中央値を計算する方
法として実施の形態1よりも演算量を少なくすることが
できハードウェアで実現する場合においても規模を小さ
くすることができる。
【0101】[実施の形態4]図15は、実施の形態4
において図1に示したノイズ除去部22に代えて用いら
れるノイズ除去部90の構成を示すブロック図である。
において図1に示したノイズ除去部22に代えて用いら
れるノイズ除去部90の構成を示すブロック図である。
【0102】図15を参照して、ノイズ除去部90は、
画像信号が入力される画像入力部92と、画像入力部9
2によって得られた画像データのエッジを検出するエッ
ジ検出部94と、画像入力部92の受けた色差信号をフ
ィルタ処理するメディアンフィルタ96、98と、エッ
ジ検出部94の出力に応じてメディアンフィルタ96、
98のいずれかの出力を選択してノイズ除去後の信号と
して出力するセレクタ90とを含む。
画像信号が入力される画像入力部92と、画像入力部9
2によって得られた画像データのエッジを検出するエッ
ジ検出部94と、画像入力部92の受けた色差信号をフ
ィルタ処理するメディアンフィルタ96、98と、エッ
ジ検出部94の出力に応じてメディアンフィルタ96、
98のいずれかの出力を選択してノイズ除去後の信号と
して出力するセレクタ90とを含む。
【0103】画像入力部92は、画像から対象となるウ
ィンドウ内のデータを読込む。エッジ検出部94は、輝
度信号をエッジ検出アルゴリズムに従って処理し、エッ
ジが斜め方向にあるか否かを判定する。メディアンフィ
ルタ96は、エッジ検出部94の動作と並行して水平垂
直方向の十字型ウィンドウに対する中央値を求める。メ
ディアンフィルタ98は、斜め方向の十字型ウィンドウ
に対する中央値を計算する。メディアンフィルタ96は
実施の形態2で説明したような動作をするため説明は繰
返さない。また、メディアンフィルタ98は、実施の形
態3で説明した動作をするため説明は繰返さない。
ィンドウ内のデータを読込む。エッジ検出部94は、輝
度信号をエッジ検出アルゴリズムに従って処理し、エッ
ジが斜め方向にあるか否かを判定する。メディアンフィ
ルタ96は、エッジ検出部94の動作と並行して水平垂
直方向の十字型ウィンドウに対する中央値を求める。メ
ディアンフィルタ98は、斜め方向の十字型ウィンドウ
に対する中央値を計算する。メディアンフィルタ96は
実施の形態2で説明したような動作をするため説明は繰
返さない。また、メディアンフィルタ98は、実施の形
態3で説明した動作をするため説明は繰返さない。
【0104】エッジ検出部では、画像の輝度信号を入力
とし、エッジ検出の方法については、たとえば、水平方
向(x方向)、垂直方向(y方向)の1次の変微分を用
いた場合を例として説明する。今、対象としている画素
の位置を(i,j)とすると、x方向、y方向の1次の
変微分は各々以下の式で表わせる。
とし、エッジ検出の方法については、たとえば、水平方
向(x方向)、垂直方向(y方向)の1次の変微分を用
いた場合を例として説明する。今、対象としている画素
の位置を(i,j)とすると、x方向、y方向の1次の
変微分は各々以下の式で表わせる。
【0105】 Δxf(i,j)=f(i+1,j)−f(i−1,j)…(1) Δyf(i,j)=f(i,1+j)−f(i,1−j)…(2) (1)、(2)式を利用してtan-1(Δxf(i,
j),Δyf(i,j))…(3)を求める。この値
が、ある範囲内にある場合には、斜め方向の線を多く含
む画像の処理に適したメディアンフィルタ98を使用
し、それ以外の場合にはメディアンフィルタ96を使用
するための選択信号をエッジ検出部94は出力する。
j),Δyf(i,j))…(3)を求める。この値
が、ある範囲内にある場合には、斜め方向の線を多く含
む画像の処理に適したメディアンフィルタ98を使用
し、それ以外の場合にはメディアンフィルタ96を使用
するための選択信号をエッジ検出部94は出力する。
【0106】図16は、実施の形態4の処理をソフトウ
ェアで実現する場合のフローチャートである。
ェアで実現する場合のフローチャートである。
【0107】図16を参照して、ステップS31におい
て、画素位置(i,j)の画素g(i,j)のノイズ除
去処理が開始される。
て、画素位置(i,j)の画素g(i,j)のノイズ除
去処理が開始される。
【0108】ステップS32において、水平位置iにお
けるエッジ検出処理がされる。続いて、ステップS33
において垂直位置jにおけるエッジ検出処理がなされ
る。
けるエッジ検出処理がされる。続いて、ステップS33
において垂直位置jにおけるエッジ検出処理がなされ
る。
【0109】続いて、ステップS34において、ステッ
プS32、ステップS33の結果に基づいて斜めエッジ
検出の判断がされる。ステップS32〜S34において
は上記式(1)、(2)、(3)の値が使用される。斜
めエッジが検出された場合は、ステップS35に進みメ
ディアンフィルタ96による中央値の算出がされる。一
方、斜めエッジ検出がされなかった場合には、ステップ
S36に進み図15のメディアンフィルタ98による中
央値の算出がされる。ステップS35またはステップS
36が終了すると、画素位置(i,j)の新画素g2
(i,j)のデータとして中央値を代入してノイズ除去
処理が終了する。
プS32、ステップS33の結果に基づいて斜めエッジ
検出の判断がされる。ステップS32〜S34において
は上記式(1)、(2)、(3)の値が使用される。斜
めエッジが検出された場合は、ステップS35に進みメ
ディアンフィルタ96による中央値の算出がされる。一
方、斜めエッジ検出がされなかった場合には、ステップ
S36に進み図15のメディアンフィルタ98による中
央値の算出がされる。ステップS35またはステップS
36が終了すると、画素位置(i,j)の新画素g2
(i,j)のデータとして中央値を代入してノイズ除去
処理が終了する。
【0110】以上説明したように、実施の形態4におい
ては、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、エッジの検出を輝度信号を用
いて行なうため、輝度のエッジ強調を行なう場合等にエ
ッジ強調の演算のために算出された演算値を流用して使
用することができる。特に、画像の特徴によって、適用
するメディアンフィルタを変更するため、画像のボケが
少なくなる。また、ハードウェアで実現する場合には、
エッジの検出とメディアンフィルタの処理とを並行して
行なうため、時間的なロスが少なくリアルタイムに処理
することが可能になる。また、実施の形態2、実施の形
態3と同様なメディアンフィルタ処理を行なうため、演
算量は少なくなり、ハードウェアで実現する場合も規模
を小さく作成することができる。
ては、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、エッジの検出を輝度信号を用
いて行なうため、輝度のエッジ強調を行なう場合等にエ
ッジ強調の演算のために算出された演算値を流用して使
用することができる。特に、画像の特徴によって、適用
するメディアンフィルタを変更するため、画像のボケが
少なくなる。また、ハードウェアで実現する場合には、
エッジの検出とメディアンフィルタの処理とを並行して
行なうため、時間的なロスが少なくリアルタイムに処理
することが可能になる。また、実施の形態2、実施の形
態3と同様なメディアンフィルタ処理を行なうため、演
算量は少なくなり、ハードウェアで実現する場合も規模
を小さく作成することができる。
【0111】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【0112】
【発明の効果】請求項1〜3に記載の画素データ処理装
置は、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、演算量が少なくなり、ハード
ウェアで実現する場合でもハードウェア規模を小さくす
ることができる。
置は、メディアンフィルタを色差信号に適用することで
偽色が抑えられる。また、演算量が少なくなり、ハード
ウェアで実現する場合でもハードウェア規模を小さくす
ることができる。
【0113】請求項4〜7に記載の画素データ処理装置
は、メディアンフィルタを色差信号に適用することで偽
色が抑えられる。データ処理量も小さくできるため、ハ
ードウェアで実現する場合においても規模が小さくな
る。ソフトウェアで実現する場合にはスピードが速くな
る。
は、メディアンフィルタを色差信号に適用することで偽
色が抑えられる。データ処理量も小さくできるため、ハ
ードウェアで実現する場合においても規模が小さくな
る。ソフトウェアで実現する場合にはスピードが速くな
る。
【0114】請求項8に記載の画素データ処理装置は、
請求項4に記載の画素データ処理装置が奏する効果に加
え、斜め方向の線を多く含むような画像の場合にボケが
少なくなる。
請求項4に記載の画素データ処理装置が奏する効果に加
え、斜め方向の線を多く含むような画像の場合にボケが
少なくなる。
【0115】請求項9に記載の画素データ処理装置は、
請求項4に記載の画素データ処理装置が奏する効果に加
え、画像の特徴によって、適用するメディアンフィルタ
を変更するため、画像のボケが少なくなる。
請求項4に記載の画素データ処理装置が奏する効果に加
え、画像の特徴によって、適用するメディアンフィルタ
を変更するため、画像のボケが少なくなる。
【0116】請求項10、11に記載の画素データ処理
方法は、メディアンフィルタを色差信号に適用すること
で偽色が抑えられる。また、演算量が少なくなり、ハー
ドウェアで実現する場合でもハードウェア規模を小さく
することができる。
方法は、メディアンフィルタを色差信号に適用すること
で偽色が抑えられる。また、演算量が少なくなり、ハー
ドウェアで実現する場合でもハードウェア規模を小さく
することができる。
【0117】請求項12に記載の画素データ処理方法
は、メディアンフィルタを色差信号に適用することで偽
色が抑えられる。データ処理量も小さくできるため、ハ
ードウェアで実現する場合においても規模が小さくな
る。ソフトウェアで実現する場合にはスピードが速くな
る。
は、メディアンフィルタを色差信号に適用することで偽
色が抑えられる。データ処理量も小さくできるため、ハ
ードウェアで実現する場合においても規模が小さくな
る。ソフトウェアで実現する場合にはスピードが速くな
る。
【0118】請求項13に記載の画素データ処理方法
は、請求項12に記載の画素データ処理方法が奏する効
果に加え、画像の特徴によって、適用するメディアンフ
ィルタを変更するため、画像のボケが少なくなる。
は、請求項12に記載の画素データ処理方法が奏する効
果に加え、画像の特徴によって、適用するメディアンフ
ィルタを変更するため、画像のボケが少なくなる。
【図1】 本発明の実施の形態1の画素データ処理装置
が適用されるデジタルスチルカメラの構成を示すブロッ
ク図である。
が適用されるデジタルスチルカメラの構成を示すブロッ
ク図である。
【図2】 中央値を求める順序とウィンドウの移動方向
との関係を示す図である。
との関係を示す図である。
【図3】 ウィンドウの移動を詳しく説明するための図
である。
である。
【図4】 図1に示したノイズ除去部22の構成を示す
ブロック図である。
ブロック図である。
【図5】 図4に示した垂直方向処理部32の構成を示
すブロック図である。
すブロック図である。
【図6】 図5に示した大小判定回路36の構成を示す
回路図である。
回路図である。
【図7】 図4に示した水平方向処理部34の構成を示
すブロック図である。
すブロック図である。
【図8】 ノイズ除去処理をソフトウェアで実現する場
合のフローを説明するフローチャートである。
合のフローを説明するフローチャートである。
【図9】 3×3のウィンドウにおけるウィンドウの移
動と重なりを説明するための図である。
動と重なりを説明するための図である。
【図10】 実施の形態2において用いられるウィンド
ウの形状を説明するための図である。
ウの形状を説明するための図である。
【図11】 実施の形態2において図1のノイズ除去部
22に代えて用いられるノイズ除去部70の構成を示す
ブロック図である。
22に代えて用いられるノイズ除去部70の構成を示す
ブロック図である。
【図12】 実施の形態2における十字型ウィンドウの
処理を説明するためのフローチャートである。
処理を説明するためのフローチャートである。
【図13】 実施の形態3において用いられる十字型ウ
ィンドウW30の形状を説明するための図である。
ィンドウW30の形状を説明するための図である。
【図14】 実施の形態3におけるノイズ除去部80の
構成を示すブロック図である。
構成を示すブロック図である。
【図15】 実施の形態4において図1に示したノイズ
除去部22に代えて用いられるノイズ除去部90の構成
を示すブロック図である。
除去部22に代えて用いられるノイズ除去部90の構成
を示すブロック図である。
【図16】 実施の形態4の処理をソフトウェアで実現
する場合のフローチャートである。
する場合のフローチャートである。
【図17】 従来のデジタルスチルカメラ100の構成
を説明するためのブロック図である。
を説明するためのブロック図である。
1 デジタルスチルカメラ、2 光学系、4 CCD、
6 前信号処理部、8A/D変換部、10 カメラ制御
部、12 デジタル信号処理部、14 メモリ、16
入出力インターフェイス部、18 補間処理部、20
Y/C変換部、22,70,80,90 ノイズ除去
部、24 画像圧縮部、32,72 垂直方向処理部、
34,74 水平方向処理部、36,38,40,5
8,60大小判定回路、42 比較回路、44 インバ
ータ、46,48 選択回路、50 ビット付加部、5
2 保持回路、54 ソート処理部、56 データ除去
部、S10〜S15,S20〜S27,S31〜S37
ステップ、76,86平均値処理部、92 画像入力
部、94 エッジ検出部、96 メディアンフィルタ
1、98 メディアンフィルタ2、99 セレクタ。
6 前信号処理部、8A/D変換部、10 カメラ制御
部、12 デジタル信号処理部、14 メモリ、16
入出力インターフェイス部、18 補間処理部、20
Y/C変換部、22,70,80,90 ノイズ除去
部、24 画像圧縮部、32,72 垂直方向処理部、
34,74 水平方向処理部、36,38,40,5
8,60大小判定回路、42 比較回路、44 インバ
ータ、46,48 選択回路、50 ビット付加部、5
2 保持回路、54 ソート処理部、56 データ除去
部、S10〜S15,S20〜S27,S31〜S37
ステップ、76,86平均値処理部、92 画像入力
部、94 エッジ検出部、96 メディアンフィルタ
1、98 メディアンフィルタ2、99 セレクタ。
Claims (13)
- 【請求項1】 アレイ状に並ぶ画素の光信号を変換して
得られた電気信号に基づいて発生される色差信号をノイ
ズ除去処理し、前記色差信号に含まれる原画素データか
ら新画素データを出力する画素データ処理装置であっ
て、 一つの前記新画素データあたり、所定の処理ウインドウ
内に含まれる複数の前記画素に対応する複数の前記原画
素データを処理する信号処理部を備え、 前記信号処理部は、 前記処理ウインドウにおいて、第1方向に沿って並ぶ複
数の画素を有する画素列ごとに、対応する前記原画素デ
ータの第1次中央値データを出力する第1の中央値処理
部と、 複数の前記画素列に対応する前記第1次中央値データの
中央値を前記新画素データとして出力する第2の中央値
処理部とを含む、画素データ処理装置。 - 【請求項2】 前記処理ウインドウは、第1の画素に対
応する第1回の処理が終了すると、前記第1の画素に前
記第1方向と直角をなす画面の第2方向に沿って隣接す
る第2の画素に対応する第2回の処理を実行するために
前記第2方向に沿って1画素分移動した位置に設定さ
れ、 前記第1の中央値処理部は、前記第2回の処理時の前記
処理ウインドウに新たに含まれることになった前記画素
列について中央値処理を行ない前記第1次中央値データ
を出力し、 前記第2の中央値処理部は、 前記画素データ処理装置の一回の処理ごとに前記第1次
中央値データを取込み、前記処理ウインドウ内に前記第
2方向に沿って並ぶ画素数に応じた回数の処理分の前記
第1次中央値データを保持する保持回路と、 前記保持回路の保持する前記第1次中央値データを受け
てデータ値の大きさに応じて並べ替えを行なうソート処
理部とを有する、請求項1に記載の画素データ処理装
置。 - 【請求項3】 前記保持回路は、前記ソート処理の結果
を前記第1次中央値データとともに保持し、 前記第2の中央値処理部は、 前記保持回路が保持するデータを受けて、前記第2回の
処理時において前記処理ウインドウから除外されること
になった画素列に対応する前記第1次中央値データを取
り除いて前記ソート処理結果を更新し前記保持回路に新
たに前記第1次中央値データを保持させるデータ除去部
をさらに有する、請求項2に記載の画素データ処理装
置。 - 【請求項4】 アレイ状に並ぶ画素の光信号を変換して
得られた電気信号に基づいて発生される色差信号をノイ
ズ除去処理し、前記色差信号に含まれる原画素データか
ら新画素データを出力する画素データ処理装置であっ
て、 一つの前記新画素データあたり、所定の第1の処理ウイ
ンドウ内に含まれる複数の前記画素に対応する複数の前
記原画素データを処理する信号処理部を備え、 前記信号処理部は、 前記第1の処理ウインドウにおいて第1方向に沿って並
ぶ画素を有する第1の画素列に対応する前記原画素デー
タの第1の中央値データを出力する第1の中央値処理部
と、 前記第1の処理ウインドウにおいて第2方向に沿って並
ぶ画素を有する第2の画素列に対応する前記原画素デー
タの第2の中央値データを出力する第2の中央値処理部
と、 前記第1の中央値データと前記第2の中央値データの平
均値を出力する第1の平均値処理部とを含む、画素デー
タ処理装置。 - 【請求項5】 前記第1方向は、画面の垂直方向であ
り、 前記第2方向は、画面の水平方向である、請求項4に記
載の画素データ処理装置。 - 【請求項6】 前記第1の処理ウインドウは、第1の画
素に対応する第1回の処理が終了すると、前記第1の画
素に前記第2方向に沿って隣接する第2の画素に対応す
る第2回の処理を実行するために前記第2方向に沿って
1画素分移動した位置に設定され、 前記第1の中央値処理部は、前記第2回の処理時の前記
第1の処理ウインドウにおける前記第1の画素列に対応
する原画素データについて中央値処理を行ない前記第1
の中央値データを出力し、 前記第2の中央値処理部は、 前記第1回の処理時に用いた前記第2の画素列に対応す
る複数の原画素データを保持する保持回路と、 前記第2回の処理時に、前記第1の処理ウインドウにお
ける前記第2の画素列に新たに含まれることになった1
画素に対応する前記原画素データと前記保持回路の保持
する複数の前記原画素データを受けてデータ値の大きさ
に応じて並べ替えを行なうソート処理部とを有する、請
求項5に記載の画素データ処理装置。 - 【請求項7】 前記保持回路は、前記ソート処理の結果
を前記画素データとともに保持し、 前記第2の中央値処理部は、 前記保持回路が保持するデータを受けて、前記第2回の
処理時において前記第1の処理ウインドウから除外され
ることになった画素データを取り除いて前記ソート処理
結果を更新し前記保持回路に新たに前記画素データを保
持させるデータ除去部をさらに有する、請求項6に記載
の画素データ処理装置。 - 【請求項8】 前記第1方向は、画面の斜め方向であ
り、 前記第2方向は、前記第1方向と直角をなす方向であ
る、請求項4に記載の画素データ処理装置。 - 【請求項9】 前記第1の処理ウインドウは、第1の画
素に対応する第1回の処理が終了すると、前記第1の画
素に前記第2方向に沿って隣接する第2の画素に対応す
る第2回の処理を実行するために前記第2方向に沿って
1画素分移動した位置に設定され、 前記信号処理部は、 第2の処理ウインドウ内で前記第1方向と異なる第3方
向に沿って並ぶ複数の画素を有する画素列に対応する前
記原画素データの中央値を出力する第3の中央値処理部
と、 前記第2の処理ウインドウ内で前記第2方向と異なる第
4方向に沿って並ぶ複数の画素を有する画素列に対応す
る前記原画素データの中央値を出力する第4の中央値処
理部と、 前記第3の中央値処理部の出力と前記第4の中央値処理
部の出力の平均値を出力する第2の平均値処理部と、 前記電気信号に基づいて発生される輝度信号に基づき、
前記第2の画素に対応する画面位置における画像のエッ
ジ情報を検出するエッジ検出部と、 前記エッジ情報に応じて前記第1の平均値処理部の出力
と前記第2の平均値処理部の出力のいずれか一方を選択
して出力する選択部とをさらに含む、請求項4に記載の
画素データ処理装置。 - 【請求項10】 アレイ状に並ぶ画素の光信号を変換し
て得られた電気信号に基づいて発生される色差信号をノ
イズ除去処理し、前記色差信号に含まれる原画素データ
から新画素データを出力する画素データ処理方法であっ
て、 所定の処理ウインドウ内で第1方向に沿って並ぶ複数の
画素を有する画素列に対応する前記原画素データの中央
値である第1次中央値データを出力する前処理ステップ
と、 前記処理ウインドウ内における複数の前記画素列にそれ
ぞれ対応する複数の前記第1次中央値データを受けて、
複数の前記第1次中央値データの中央値を第2次中央値
データとして出力する出力ステップとを備える、画素デ
ータ処理方法。 - 【請求項11】 前記処理ウインドウは、第1の画素に
対応する第1回の処理が終了すると、前記第1の画素に
前記第1方向と直角をなす画面の第2方向に沿って隣接
する第2の画素に対応する第2回の処理を実行するため
に前記第2方向に沿って1画素分移動した位置に設定さ
れ、 前記前処理ステップは、 前記第2回の処理時の前記処理ウインドウに新たに含ま
れることになった前記画素列の前記原画素データについ
て中央値処理を行ない新たな第1次中央値データを求め
るステップを含み、 前記出力ステップは、 前記第1回の処理時における複数の前記第1次中央値デ
ータの中央値のうち前記第2回の処理時に不要となる前
記第1次中央値データを除去するステップと、 前記新たな第1次中央値データを取込むステップと、 保持する複数の前記第1次中央値データを受けてデータ
値の大きさに応じて並べ替えを行なうソート処理ステッ
プとを含む、請求項10に記載の画素データ処理方法。 - 【請求項12】 輝度信号と分離された色差信号に対応
する複数の原画素データを処理してノイズ除去した画素
データを出力する画素データ処理方法であって、 第1の処理ウインドウ内で第1方向に沿って並ぶ複数の
画素を有する画素列に対応する前記原画素データの中央
値である第1の中央値データを出力するステップと、 前記第1の処理ウインドウ内で第2方向に沿って並ぶ複
数の画素を有する画素列に対応する前記原画素データの
中央値である第2の中央値データを出力するステップ
と、 前記第1の中央値データと前記第2の中央値データの平
均値を出力するステップとを備える、画素データ処理方
法。 - 【請求項13】 前記第1の処理ウインドウは、第1の
画素に対応する第1回の処理が終了すると、前記第1の
画素に前記第2方向に沿って隣接する第2の画素に対応
する第2回の処理を実行するために前記第2方向に沿っ
て1画素分移動した位置に設定され、 第2の処理ウインドウ内で前記第1方向と異なる第3方
向に沿って並ぶ複数の画素を有する画素列に対応する前
記原画素データの中央値である第3の中央値データを出
力するステップと、 前記第2の処理ウインドウ内で前記第2方向と異なる第
4方向に沿って並ぶ複数の画素を有する画素列に対応す
る前記原画素データの中央値である第4の中央値データ
を出力するステップと、 前記第3の中央値データと前記第4の中央値データの平
均値を出力するステップと、 前記輝度信号に基づき、前記第2の画素に対応する画面
位置における画像のエッジ情報を検出するステップと、 前記エッジ情報に応じて前記第1の平均値処理部の出力
と前記第2の平均値処理部の出力のいずれか一方を選択
して出力するステップとをさらに備える、請求項12に
記載の画素データ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11213470A JP2001045507A (ja) | 1999-07-28 | 1999-07-28 | 画素データ処理装置および画素データ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11213470A JP2001045507A (ja) | 1999-07-28 | 1999-07-28 | 画素データ処理装置および画素データ処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001045507A true JP2001045507A (ja) | 2001-02-16 |
Family
ID=16639746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11213470A Pending JP2001045507A (ja) | 1999-07-28 | 1999-07-28 | 画素データ処理装置および画素データ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001045507A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005167974A (ja) * | 2003-11-10 | 2005-06-23 | Seiko Epson Corp | 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置 |
US7616240B2 (en) | 2001-06-07 | 2009-11-10 | Seiko Epson Corporation | Image processing method, image processing program, image processing apparatus, and digital still camera using the image processing apparatus |
-
1999
- 1999-07-28 JP JP11213470A patent/JP2001045507A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7616240B2 (en) | 2001-06-07 | 2009-11-10 | Seiko Epson Corporation | Image processing method, image processing program, image processing apparatus, and digital still camera using the image processing apparatus |
JP2005167974A (ja) * | 2003-11-10 | 2005-06-23 | Seiko Epson Corp | 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1389771B1 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
KR100647402B1 (ko) | 이미지 센서의 화질개선장치 및 그 방법 | |
JP4127638B2 (ja) | イメージセンサ出力データ処理装置及び処理方法 | |
US7995868B2 (en) | Image processing method and image processing device | |
JP2002084547A (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
JP2000236473A (ja) | 画像入力装置の画像処理回路 | |
US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
WO2004097736A1 (en) | Color filter array interpolation | |
JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
JPS6343956B2 (ja) | ||
US20060244842A1 (en) | Color separation processing method and color separation processing circuit | |
KR20210018136A (ko) | 영상 처리 방법 및 장치 | |
JP2005012692A (ja) | 画像信号処理装置 | |
CN111010504B (zh) | 图像处理方法、装置和系统、摄像装置及存储介质 | |
JP5291788B2 (ja) | 撮像装置 | |
US20130322755A1 (en) | Image processing method and apparatus | |
JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
JP4358462B2 (ja) | ノイズ除去回路 | |
JP2001045507A (ja) | 画素データ処理装置および画素データ処理方法 | |
JP2782766B2 (ja) | 動画静止画変換方法 | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
JP4197821B2 (ja) | 画像処理装置 | |
JP2004173060A (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
JP2000287219A (ja) | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体 | |
JP2009017583A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091006 |