JP2013081556A - 画像補正装置、画像補正方法及び内視鏡装置 - Google Patents
画像補正装置、画像補正方法及び内視鏡装置 Download PDFInfo
- Publication number
- JP2013081556A JP2013081556A JP2011222352A JP2011222352A JP2013081556A JP 2013081556 A JP2013081556 A JP 2013081556A JP 2011222352 A JP2011222352 A JP 2011222352A JP 2011222352 A JP2011222352 A JP 2011222352A JP 2013081556 A JP2013081556 A JP 2013081556A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- gradation
- processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000003702 image correction Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 152
- 238000009499 grossing Methods 0.000 claims abstract description 66
- 239000000835 fiber Substances 0.000 claims abstract description 39
- 230000000644 propagated effect Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 76
- 230000006866 deterioration Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 37
- 230000033228 biological regulation Effects 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 29
- 239000013307 optical fiber Substances 0.000 description 25
- 238000012937 correction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000001965 increasing effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005253 cladding Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241001655883 Adeno-associated virus - 1 Species 0.000 description 2
- 241000702423 Adeno-associated virus - 2 Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Facsimile Image Signal Circuits (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【解決手段】本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる、ステップを含む。
【選択図】図1
Description
光ファイバは、光を伝送するコア部と、このコア部の外周面に接する光を伝送しないクラッド部から構成されている。このクラッド部は、光を伝送しない光非伝送部であり、また、光ファイバを束ねた構成における光ファイバ間も光を伝送しないため光非伝送部の一部となる。
このため、ファイバスコープの伝送する画像には、上述した光非伝送部において光が伝送されないため、光非伝送部に相当する領域の画像情報が欠落する。そのため、この画像情報が欠落した領域が網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)として存在する。
例えば、医療分野における医療用内視鏡に対し、このファイバスコープを用いて、重要な患部を被写体として撮像し、撮像した画像を用いて診断を行う場合、上述の網目模様の存在が、患部の観察を妨げる要因となる。
また、観察対象を撮像するテレビカメラの光学系に対して、光学的なローパスフィルタ(LPS:Low pass filter)を挿入するなどし、画像を意図的にぼかすことにより、網目模様を目立たなくする処理が行われることもある。
このデフォーカスや光学系へのローパスフィルタの挿入による画像全体のぼかし処理により、画像における網目模様の模様線の信号強度を低減させ、網目模様を目立ち難くすることが行われている。
例えば予めファイバスコープの網目模様を位置座標として記憶しておき、この位置座標の画像情報を隣接する画像情報により補完する方法がある(例えば、特許文献1、特許文献2を参照)。
そして、ファイバスコープを用いて撮像した画像をフーリエ変換し、ファイバスコープ及びカメラの組合せによる模様線に対応した周波数のローパスフィルタを選択する。そして、このローパスフィルタにより、組合せに対応する周波数の情報を低減させ、画像における網目模様を低減させる(例えば、特許文献4を参照)。
このため、記憶されていないファイバスコープに対しては、このファイバスコープの網目模様のデータを新たに取得し、取得した後に画像処理装置に記憶させる必要がある。
すなわち、網目模様のデータが設定されていないファイバスコープを用いる場合、煩雑な網目模様のデータの取得処理を行うため、画像処理を行うまでの準備が煩雑となる。
したがって、上述した精度の問題から、使用可能なファイバスコープが特定され、種々のファイバスコープに使用できず、汎用性の無い装置となる。
このため、他のファイバスコープに交換する場合、この交換後のファイバスコープに対応した特性の可動部を新たに作成する必要があり、製造コストが増加することになる。
しかしながら、所定の空間周波数の画像情報を低減する場合、網目模様の存在しない領域においても、同様の周波数成分の画像情報が削除される。そのため、全体的に特定の空間周波数を有する画像の情報が劣化してしまう問題がある。
前記ぼかし処理は、前記入力画像に対して第1平滑化フィルタ演算を行い、前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する。
前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる。
前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う。
前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む。
前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする。
前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する。
前記輪郭強調処理は、前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、前記平均値と、前記処理対象ピクセルの階調度との差分を求め、前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする。
本発明の画像補正装置は、ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部とを備える。
また、この発明によれば、ぼかし処理の後に輪郭強調処理を行い、入力画像の画像情報の補完を行うため、入力画像の画像情報の劣化を従来に比較して低減させることができる。
本実施形態の内視鏡装置は、ファイババンドル101、撮像装置102、画像データ補正装置103及び表示装置104を備えている。
また、撮像装置102は、撮像素子が撮像した画像を電気信号に光電変換し、RGB(Red、Green、Blue)形式によるディジタル画像の画像データ(入力画像データ)を得る。また、撮像装置102は、このRGB形式の画像データを直接に、または一旦、NTSC(National Television System Committee)方式あるいはPAL(Phase Alternating Line)方式に変換して出力する。
したがって、撮像装置102は、ファイババンドル101を伝搬した光が撮像素子の撮像面で結像されることにより、この像における光の明暗を電荷量に光電変換することで、測定対象物200の表面を撮像する。このため、すでに述べたように、撮像装置102により撮像された画像には、複数の光ファイバを束ねたことにより生じる網目模様が存在する。
網目模様とは、ファイバスコープの伝送する画像において、光非伝送部(クラッド部、および光ファイバどうしの隙間等)に相当する領域によって形成される網目状の模様である。前記光非伝送部に相当する領域は、画像情報が欠落しているか、画像の明度が低いため、他の部分に比べ暗く表示される。この暗く表示された領域は、網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)となる。
また、画像データ補正装置103は、入力画像データに対して網目模様を目立ち難くする補正を行った入力画像データを、出力画像データとして表示装置104に対して出力する。
表示装置104は、液晶ディスプレイなどであり、画像データ補正装置103から供給される出力画像データを表示パネルに表示させる。
以下、各部の行う処理の説明を行う。
ここで、第1色変換部1が撮像素子102から供給される入力画像データを、NTSC方式からRGB形式に変換し、第1画像バッファ9に書き込んでいる場合、第2画像バッファ10に直前に書き込まれた入力画像データの補正処理を行うことができる。
また、撮像装置102が出力する画像データがRGB形式であれば、第1色変換部1を設ける必要がない。その場合には、撮像装置102は、直接に、撮像した画像データを第1ガウシアンフィルタ4へ、入力画像データとして供給する。
ここで、第1ガウシアンフィルタ4は、本実施形態において、平滑化を行う処理対象ピクセルを中心としたカーネルを用いて、入力画像データの各ピクセルのデータの平滑化処理を行う。ここで、カーネルは、処理対象ピクセルが中心に配置され、一辺を複数のピクセルとした矩形領域、例えば一辺を3ピクセルとした3×3ピクセルからなる矩形領域であり、処理対象ピクセルのフィルタ処理を行う複数の周辺のピクセルの範囲を示している。
第1ガウシアンフィルタ4は、このカーネルを1ピクセル単位で、入力画像データを表示画面に表示させる際の2次元平面(x軸及びy軸からなる平面)内で、走査線方向(x軸方向)あるいは走査線の配列方向(y軸方向)に移動させる。第1ガウシアンフィルタ4は、位置ピクセル移動する毎に、処理対象ピクセルにおける色成分(R、G、B)毎の階調度の移動平均を算出する。
Y=0.299×R + 0.587×G + 0.114×B
U=−0.169×R − 0.331×G + 0.500×B
V=0.500×R − 0.419×G − 0.081×B
R=1.000×Y + 1.402×V
G=1.000×Y − 0.344×U − 0.714×V
B=1.000×Y + 1.772×U
また、メディアンフィルタ6は、メディアンフィルタ処理により検出したピクセルのY信号のデータ(カーネル内における中央値のY信号のデータ)を、処理対象ピクセルの新たなY信号のデータとする。
上述した輝度信号のみに対するメディアンフィルタ処理により、RGB形式の各色成分ごとに行う場合のように、入力画像データにおける色情報を損なうことなく、第1ガウシアンフィルタ4で除去しきれない孤立点(ノイズなど)を低減することができる。この孤立点とは、輝度レベルが周辺の他のピクセルに比較して著しく高い、あるいは著しく低い輝度レベルを有するピクセルである。
すなわち、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とに起因する全体的な輝度レベル低下を抑制するため、デジタルゲイン調整部7は、上述した輝度レベルの制御を行う。
以下の説明は、第1ガウシアンフィルタ4を用いて説明するが、第2ガウシアンフィルタ5における入力画像データの平滑化処理も同様に行う。
図3は、本発明の実施形態における第1ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
ここで、図3(a)は、RGB形式におけるR(レッド)に対するカーネルを示しており、このカーネルにおけるR5が処理対象ピクセルの色成分Rの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Rの画素のデータ(R5)と、上下及び左右にて隣接するピクセルの色成分Rの画素のデータ(R2、R4、R6、R8)と、斜め方向で隣接するピクセルの色成分Rの画素のデータ(R1、R3、R7、R9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Rの画素の階調度を算出する。以下、画素の番号と、画素のデータである階調度とを同一として説明する。
R=R5×rISGAUSC1+(R2+R4+R6+R8)×rISGAUSC2
+(R1+R3+R7+R9)×rISGAUSC3 ・・・(1)
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Gの画素のデータ(G5)と、上下及び左右にて隣接するピクセルの色成分Gの画素のデータ(G2、G4、G6、G8)と、斜め方向で隣接するピクセルの色成分Gの画素のデータ(G1、G3、G7、G9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Gの画素の階調度を算出する。
G=G5×rISGAUSC1+(G2+G4+G6+G8)×rISGAUSC2
+(G1+G3+G7+G9)×rISGAUSC3 ・・・(2)
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Bの画素のデータ(B5)と、上下及び左右にて隣接するピクセルの色成分Bの画素のデータ(B2、B4、B6、B8)と、斜め方向で隣接するピクセルの色成分Bの画素のデータ(B1、B3、B7、B9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Bの画素の階調度を算出する。
B=B5×rISGAUSC1+(B2+B4+B6+B8)×rISGAUSC2
+(B1+B3+B7+B9)×rISGAUSC3 ・・・(3)
rISGAUSC1:0.0234375〜0.0625
rISGAUSC2:0.12109375〜0.1171875
rISGAUSC3:0.12109375〜0.1171875
上述した係数は、全ての係数を加算した数値が「1」となるように、設定される。
すなわち、
rISGAUSC1×1+rISGAUSC2×4+rISGAUSC3×4=1
となるように、設定されている。
図4は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5で用いるカーネルの縦方向と横方向のピクセル数(実際にはピクセル数)を決定する処理を説明する概念図である。
この図4において、カーネルの構成の決定処理を、撮像装置102から供給される入力画像データが、NTSC方式のアナログ信号の場合を例として、以下に説明する。
NTSC方式の解像度は、720ピクセル×486ピクセルである。
撮像装置104の表示画面が4:3の比率に対し、この表示画面における領域500の比を加えると、4:3:α(1≦α≦1.5)となる。
また、領域501における、ファイババンドル101が光として伝搬する測定対象200の画像を拡大すると、この画像には領域Sに示すように網目模様が存在している。
例えば、光学系で撮像面に撮像される画像をより拡大させ、領域501内における光ファイバの数をより少なくすると、網目模様の模様線の幅が太く(幅が広く)なる。一方、光学系で撮像面に撮像される画像をより縮小させ、領域501内に光を照射する光ファイバの数をより多くするほど、網目模様の模様線の幅が細く(幅が狭く)なる。このように、ピクセルからなる撮像面に撮像された画像において、網目模様の模様線の幅が、いくつのピクセルにまたがる幅となるかにより、カーネルのピクセルグループの数が決定される。
一例として、一般的にファイババンドル101を構成する光ファイバの数が3000以上であるため、以下領域501内に光を照射する光ファイバの数を3000として、領域501内における網目模様の模様線の幅を換算してみる。
水平方向(x軸方向)のピクセル数: 720×(1.5/4)=270
水平方向(y軸方向)のピクセル数: 486×(1.5/3)=243
また、領域500における直径方向に含まれる光ファイバの数は、等価的に、以下の式により算出することができる。
直径方向の光ファイバの数: (3000/π)×2≒62
水平方向の模様線の幅: (270/62)×(1−1/2)=2.2
垂直方向の模様線の幅: (243/62)×(1−1/2)=2.0
このピクセル数が2.5ピクセル以上の最小の整数値は3である。このため、本実施形態においては、演算処理の高速化を考慮し、第1ガウシアンフィルタ4におけるカーネルの縦方向と横方向のピクセル数(カーネルサイズ)を3ピクセルと決定した。
すなわち、カーネルを構成するピクセル数を増加させることにより、フィルタ演算の負荷が増加し、一時記憶を行うメモリ容量も増加するため、画像補正装置のコストを増大させることになる。このため、模様線の幅のピクセル数以上の整数値とし、カーネルを構成するピクセル数を必要最小限とすることが望ましい。したがって、カーネルは、網目模様の模様線の幅を超える画素数を辺とする矩形領域として設定される。
撮像装置102の条件としては、NTSC方式における解像度720×486(ピクセル)、ファイババンドル101を構成する光ファイバ数が3000、表示装置104の表示画面500の縦方向の幅と、横方向の幅と、領域501の径との比が4:3:1.5である。領域501内の領域Pの拡大図において、四角形Cが1ピクセルの大きさを示している。領域Pの拡大図において、所定の横方向の1ライン分の各ピクセルの輝度レベルを示す強度が実線で示されている。この1ラインに存在するピクセルの輝度レベルのベースレベルが一点鎖線で示されている。このベースライン以下の輝度部分を有するピクセルを模様線の幅に相当するとした場合、図5からも模様線の幅は2ピクセル以上であり、かつ2.5ピクセル以下であると読み取ることができる。図5において、模様線の幅を示す中括弧が示された部分のピクセルを点線(破線)で示してある。
この第2ガウシアンフィルタ5において、平滑化処理で使用される各ピクセルの色成分に乗算する係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、第1ガウシアンフィルタ4と同様でも良い。
また、第2ガウシアンフィルタ5に対して、第1ガウシアンフィルタ4と同様に、実機による実験により独自に求めた数値としても良い。
上述した第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5におけるカーネルの構成、係数rISGAUSC1、rISGAUSC2及びrISGAUSC3を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
図6は、デジタルゲインによる輝度レベルの調整の必要性を説明する、表示装置104の表示画面における走査線の一ライン方向に配置されるピクセルの輝度レベルを示す図である。この図6において、横軸はある一ライン(表示装置104に表示される際の走査線方向)におけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベルを示している。
図に示すように、入力画像データの平滑化処理を行う前の輝度レベルに比較して、第1ガウシアンフィルタ4の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第1平滑化処理後輝度レベル)が低下する。
また、第1ガウシアンフィルタ4の平滑化処理による第1平滑化処理後輝度レベルに比較して、第2ガウシアンフィルタ5の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第2平滑化処理後レベル)がより低下する。
すなわち、ガウシアンフィルタを用いた平滑化処理を行うごとに、出力画像データの各ピクセルの輝度レベルが低下していくことになる。
ここで、デジタルゲイン調整部7が乗算するデジタルゲインは、入力画像データのピクセルにおけるRGB形式の色成分毎に乗算される数値であり、以下のように設定される。
例えば、実機において、複数の入力画像データを用い、入力画像データ毎に全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV1を算出する。そして、さらに複数の入力画像データの平均値AV1の平均値AAV1を求める。
また、第1ガウシアンフィルタ4による平滑化処理、及びメディアンフィルタ6によるメディアンフィルタ処理が行われた後、入力画像データ毎の全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV2を算出する。そして、さらに複数の入力画像データの平均値AV2の平均値AAV2を求める。
そして、平均値AAV1を平均値AAV2で除算し、除算結果の数値をデジタルゲインとして用いる。
そして、デジタルゲイン調整部7は、入力画像データのデジタルゲイン調整を行う際、記憶部12からデジタルゲインを読み出し、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。
すなわち、デジタルゲイン調整部7は、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とが行われた後、平均値AV1及び平均値AV2を算出する。
そして、デジタルゲイン調整部7は、平均値AV1を平均値AV2により除算し、デジタルゲインを求め、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。この場合、デジタルゲインが現在処理している入力画像に最適なものとなるため、予め設定されたデジタルゲインを使用する場合に比較し、より精度の高いデジタルゲイン調整を行うことができる。
この場合、デジタルゲイン調整部7は、デジタルゲイン調整を行う際に、記憶部12からデジタルゲインを読み出して用いる。
上述したデジタルゲインの数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
図7は、強調フィルタ8による輪郭強調処理を説明する図である。この図7において、横軸はある一ラインにおけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベル(または各色成分の階調度)を示している。
また、Area0は網目模様の存在する網目付近の領域であり、Area1は入力画像データにおける絵柄の中心付近の領域であり、Area2は絵柄の端部付近の領域である。
強調フィルタ8は、上述した各領域において、領域の各々のピクセルにおける色成分毎の階調度の平均値を求め、この平均値と各ピクセルの色成分の階調度との差分(diff)を求める。
この場合、強調フィルタ8は、局所領域における対象ピクセルを含む21個のピクセルにおけるRGB形式の色成分毎の階調度の平均値を算出する。そして、強調フィルタ8は、この求めた平均値と各色成分の画素の階調度との差分を求め、ピクセルにおける色成分毎の画素の輪郭強調処理を行う。
ここで、強調フィルタ8は、この差分が予め設定した規程値(data clear:dc)の範囲内に有る(−dc≦diff≦dc)場合、差分を0とする。すなわち、強調フィルタ8は、差分が規程値の範囲内の数値である場合、元々階調度の差分が周辺の画素に比較して変化が内程度の大きさであったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行わない。
一方、強調フィルタ8は、差分が予め設定した規程値の範囲外に有る(−dc>diffあるいはdc<diff)場合、差分diffに対し、予め設定されている係数ds(data scaling)を乗算する。すなわち、強調フィルタ8は、差分の絶対値が規程値を超える場合、元々階調度の差分が周辺の画素に比較して大きかったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行う。
この係数dsは、本実施形態においては例えば1から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。また、規程値dcも、本実施形態においては例えば0から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。
そして、強調フィルタ8は、対象ピクセルにおける色成分の元の階調度に対し、係数dsと差分diffとの乗算結果を加算し、加算結果を処理対象ピクセルにおける色成分の画素の新たな階調度とする。
強調フィルタ8は、図9に示すrange1=1及びrange2=1の局所領域を用いた場合、以下に示す計算式群により、処理対象ピクセルにおける各色成分の輪郭強調処理を行う。
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
Gave=(G1+G2+G3+G4+G5+G6+G7+G8)/9
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
そして、強調フィルタ8は、上述した減算により、処理対象ピクセルにおける各色成分の階調度と、局所領域におけるピクセルの色成分毎の平均値との差分を求める。
diffR=R5−Rave
diffG=B5−Bave
diffB=B5−Bave
ここで、diffRは処理対象ピクセルにおける色成分Rの階調度と、局所領域におけるピクセルの色成分Rの平均値との差分(diff)である。diffGは処理対象ピクセルにおける色成分Gの階調度と、局所領域におけるピクセルの色成分Gの平均値との差分(diff)である。diffBは処理対象ピクセルにおける色成分Bの階調度と、局所領域におけるピクセルの色成分Bの平均値との差分(diff)である。
Rofs=abs(diffR)
Gofs=abs(diffG)
Rofs=abs(diffB)
ここで、Rofsは対象ピクセルにおける差分diffRの絶対値であり、Gofsは対象ピクセルにおける差分diffGの絶対値であり、Bofsは対象ピクセルにおける差分diffBの絶対値である。
一方、強調フィルタ8は、差分diffRの絶対値Rofsが規程値dc以下でない(規程値dcを超える)場合、すなわち規程値dcの範囲内にない(−dc>diffRあるいはdc<diffR)場合、差分diffRに対し、係数dsを乗算し、乗算結果を新たな差分diffRとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度R5に対して、差分diffRを加算し、加算結果を処理対象ピクセルの色成分の階調度R5の画素の新たな階調度とする。
一方、強調フィルタ8は、差分diffGの絶対値Gofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffGあるいはdc<diffG)場合、差分diffGに対し、係数dsを乗算し、乗算結果を新たな差分diffGとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度G5に対して、差分diffGを加算し、加算結果を処理対象ピクセルの色成分の階調度G5の画素の新たな階調度とする。
一方、強調フィルタ8は、差分diffBの絶対値Bofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffBあるいはdc<diffB)場合、差分diffBに対し、係数dsを乗算し、乗算結果を新たな差分diffBとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度B5に対して、差分diffBを加算し、加算結果を処理対象ピクセルの色成分の階調度B5の画素の新たな階調度とする。
一方、差分の絶対値Bofsが規程値dc以下でない領域が存在しないため、網目模様領域における模様線の輪郭が強調されていないことが判る。
上述した強調フィルタ8におけるrange1、range2、規程値dc、係数dsの各々の数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
図11は、強調フィルタ8のパラメータrange1、dc及びdsを変化させた際の輪郭強調処理の結果を示す図である。画像0−0、1−0及び2−0は同様の画像であり、すでに説明した平滑化処理及び孤立点除去の処理が終了した入力画像データである。
この図11において、グループ0は、range1=1、range2=1として、9個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ1は、range1=4、range2=1として、27個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ2は、range1=8、range2=1として、51個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
例えば、規程値dc=1、係数ds=1の輪郭強調のために加算される差分diffを比較してみると、range1=1の画像0−1に比較し、range1=4の画像1−1Aがより大きく、range1=8の画像2−1Aがさらに高いことが、図のコントラストから解る。
同様に、画像1−0に対し、差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
画像2−0に対し、差分の画像2−1Aを重ねた結果として、輪郭が強調された画像2−2Aが得られる。
上述のように生成した画像0−2、1−2A及び2−2Aを比較すると、画像0−2に比較して、画像1−2Aのコントラストがより強く、さらに画像1−2Aに比較して、画像2−2Aのコントラストがより強いことが解る。
ここで、画像1−0に対して差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
また、画像1−0に対して差分の画像1−1Cを重ねた結果として、輪郭が強調された画像1−2Cが得られる。
上述のように生成した画像1−2A及び1−2Cを比較すると、画像1−2Aに比較して、画像1−2Cのコントラストがより強いことが解る。
このように、係数dsの設定値を大きくするほど、より輪郭強調の効果が大きくなり、コントラストをより強くする補正が行えることになる。
ここで、画像1−0に対して差分の画像1−1Bを重ねた結果として、輪郭が強調された画像1−2Bが得られる。
また、画像1−0に対して差分の画像1−1Dを重ねた結果として、輪郭が強調された画像1−2Dが得られる。
上述のように生成した画像1−2B及び1−2Dを比較すると、画像1−2Bに比較して、画像1−2Dのコントラストがより強いことが解る。
そして、画像1−1Dを画像1−0に重ねた結果として得られる画像1−2Dに比較し、画像1−1Eを画像1−0に重ねた結果として得られる画像1−2Eが、よりコントラストが強いことが解る。
画像1−1A(dc=1)と、画像1−1B(dc=4)とを比較すると、画像1−1Bに対して、より画像1−1Aのコントラストが強いことが解る。
また、画像1−2A及び1−2Bを比較すると、画像1−2Bに比較して、画像1−2Aのコントラストがより強いことが解る。
画像1−1C(dc=1)と、画像1−1D(dc=4)とを比較すると、画像1−1Dに対して、より画像1−1Cのコントラストが強いことが解る。
また、画像1−2C及び1−2Dを比較すると、画像1−2Dに比較して、画像1−2Cのコントラストがより強いことが解る。
画像2−1A(dc=1)と、画像2−1B(dc=4)とを比較すると、画像2−1Bに対して、より画像2−1Aのコントラストが強いことが解る。
また、画像2−2A及び2−2Bを比較すると、画像2−2Bに比較して、画像2−2Aのコントラストがより強いことが解る。
したがって、上述したように、規程値dcが小さくなるに従い、強調処理の効果が大きくなり、コントラストがより強くする補正が行えることになる。
図12は、本実施形態による画像データ補正装置103による網目模様の模様線の信号強度を低減した効果を示す図である。この図12は、NTSCの分解能720×486を処理対象としている。
図12(a)は、撮像装置102から供給される原画像を示す図である。
また、図12(b)は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による平滑化処理と、メディアンフィル6による孤立点除去の処理とを行い、かつ強調フィルタ8による輪郭強調処理を行い、網目模様の低減を行った画像を示す図である。ここで、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5の各々のカーネルを、処理対象ピクセルを中心として含む3×3ピクセルとして用いている。また、強調フィルタ8において、range1=4、range2=1とし、係数dsを2とし、規程値dcを4としている。
図12から解るように、図12(a)における網目模様の黒いドットが、図12(b)においては薄くなり、画像の表面が滑らかな形態となっていることが解る。
次に、図2及び図13を用いて、本実施形態による画像データ補正装置103における網目模様の模様線の信号強度を低減する処理について説明する。図13は、本発明の実施形態における画像データ補正装置103の行う網目模様の模様線の信号強度の低減処理の動作例を示すフローチャートである。
ステップS1:
第1色変換部1は、撮像装置102から供給されるNTSC方式のアナログの入力画像を、RGB形式のデジタル信号である入力画像データに変換する。
そして、第1色変換部1は、変換後の入力画像データの各ピクセルの色成分のデータ(R、G、B)を、順次、第1画像バッファ9に書き込む。
ここで、第1画像バッファ9及び第2画像バッファ10は、同一の構成である。そして、第1画像バッファ9及び第2画像バッファ10のいずれか一方に第1色変換部1により入力画像データが書き込まれて記憶され、他方に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
この時点においては、例えば、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
この時点において、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が終了し、第1画像バッファ9に対する入力画像データの書き込みが終了する。
これにより、第1色変換部1は、第2画像バッファ9に対し、撮像装置102から供給される新たな一画面の入力画像データの書き込みを開始する。
次に、第1ガウシアンフィルタ4は、第1画像バッファ9に書き込まれた入力画像データのピクセルにおける各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
また、第1ガウシアンフィルタ4は、上下及び左右にて処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、第1画像バッファ9から読み出す。
また、第1ガウシアンフィルタ4は、斜め方向で処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、第1画像バッファ9から読み出す。
第1ガウシアンフィルタ4は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に対し、カーネルを1ピクセルずつ移動させる。
すなわち、第1ガウシアンフィルタ4は、上述したように、カーネルを1ピクセルづつ移動させる毎に、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。第1ガウシアンフィルタ4は、1画面分の入力画像データの平滑化が終了すると、処理をステップS3へ進める。
次に、第2色変換部2は、入力画像データの各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに変換する。
すなわち、第2色変換部2は、処理バッファ11から、順次、入力画像データのピクセルの各色成分の画素のデータを読み出し、読み出した各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに、変換する。
そして、第2色変換部2は、YUV形式に変換した各ピクセルのY信号、U信号、V信号のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第2色変換部2は、1画面分の入力画像データの全ピクセルにおけるRGB形式からYUV形式のデータへの変換が終了すると、処理をステップS4へ進める。
次に、メディアンフィルタ6は、第1画像バッファ9から、順次、カーネルサイズである3×3のY信号のデータ(Y1、Y2、Y3、Y4、Y5、Y6、Y7、Y8、Y9)を読み出す。
次に、図14は、本発明の実施形態におけるメディアンフィルタ6のカーネルの構成例を示す概念図である。図14は、YUV形式におけるY信号のデータに対するカーネルを示しており、Y5が処理対象ピクセルである。
メディアンフィルタ処理を行う際、メディアンフィルタ6は、第1画像バッファ9から、処理対象ピクセルのY信号のデータ(Y5)を読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、上下及び左右にて処理対象ピクセルに隣接するピクセルのY信号のデータ(Y2、Y4、Y6、Y8)の各々を、第1画像バッファ9から読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、斜め方向で処理対象ピクセルに隣接するピクセルのY信号のデータ(Y1、Y3、Y7、Y9)の各々を、第1画像バッファ9から読み出す。
そして、メディアンフィルタ6は、読み出したY信号のデータY1からY9における中央値を求め、この中央値を処理対象ピクセルのY信号として、処理バッファ11に対し、処理対象ピクセルのアドレスに書き込む。
メディアンフィルタ8は、1画面分の入力画像データの全ピクセルにおけるメディアンフィルタ処理が終了すると、処理をステップS5へ進める。
次に、第3色変換部3は、入力画像データの各ピクセルにおけるYUV形式で示されている入力画像データのピクセルを、RGB形式のデータに、変換する。
すなわち、第3色変換部2は、処理バッファ11から、順次、入力画像データのピクセルのデータを読み出し、読み出した各ピクセルにおけるYUV形式で示されているピクセルのデータを、RGB形式のデータに変換する。
そして、第3色変換部2は、RGB形式に変換した各ピクセルの色成分(R、G、B)のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおけるYUV形式からRGB形式のデータへの変換が終了すると、処理をステップS6へ進める。
次に、デジタルゲイン調整部7は、第1画像バッファ9から、順次、入力画像データの各ピクセルにおける色成分の階調度を読み出し、読み出した各色成分の画素の階調度に対し、それぞれ設定されたデジタルゲインを乗算する。
そして、デジタルゲイン調整部7は、各色成分に対するデジタルゲインの乗算結果を、ピクセルにおける各色成分の新たな階調度とし、この求めた新たな階調度を、第1画像バッファ9に対して、処理したピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおける色成分の画素の階調度に対するデジタルゲイン調整が終了すると、処理をステップS7へ進める。
次に、第2ガウシアンフィルタ5は、第1画像バッファ9に書き込まれた入力画像データのピクセルの各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
そして、第2ガウシアンフィルタ5は、第1ガウシアンフィルタ4と同様の処理により、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。
また、第2ガウシアンフィルタ5は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ11に書き込む。
第2ガウシアンフィルタ5は、1画面分の入力画像データの平滑化が終了すると、処理をステップS8へ進める。
次に、強調フィルタ8は、設定されている局所領域のピクセル構成単位に、処理対象ピクセルを含む入力画像データのピクセルのデータを、処理バッファ11から順次読み出す。
例えば、range1=1、range2=1の場合、すなわち図9に示す局所領域の構成の場合、強調フィルタ8は、処理バッファ11から、処理対象ピクセルの各色成分のデータ(R5、G5、B5)を読み出す。
また、強調フィルタ8は、上下及び左右にて処理対象ピクセルに隣接するピクセルの各色成分のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、処理バッファ11から読み出す。
また、強調フィルタ8は、斜め方向で処理対象ピクセルに隣接するピクセルの各色成分のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、処理バッファ11から読み出す。
強調フィルタ8は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、局所領域を1ピクセルずつ、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に移動させる。
すなわち、強調フィルタ8は、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、輪郭強調処理を行い出力画像データの生成を行う。強調フィルタ8は、1画面分の入力画像データの輪郭強調処理が終了すると、次の1画面の網目模様の模様線の信号強度を低減する処理を行うため、処理をステップS1へ進める。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Claims (10)
- ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、
前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる
ステップを含む画像補正方法。 - 前記ぼかし処理は、
前記入力画像に対して第1平滑化フィルタ演算を行い、
前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、
前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する
ステップを含む請求項1に記載の画像補正方法。 - 前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる
請求項2に記載の画像補正方法。 - 前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う
請求項2または3に記載の画像補正方法。 - 前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む
請求項2〜4のいずれか1項に記載の画像補正方法。 - 前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする
請求項2〜5のいずれか1項に記載の画像補正方法。 - 前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する
請求項5に記載の画像補正方法。 - 前記輪郭強調処理は、
前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、
前記平均値と、前記処理対象ピクセルの階調度との差分を求め、
前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする
ステップを含む請求項1〜7のうちいずれか1項に記載の画像補正方法。 - ファイババンドルと、
前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、
前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、
前記表示画像を表示させる映像表示制御装置と
を備える内視鏡装置。 - ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、
前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部と
を備える画像補正装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222352A JP5789472B2 (ja) | 2011-10-06 | 2011-10-06 | 画像補正装置、画像補正方法及び内視鏡装置 |
PCT/JP2012/067468 WO2013051314A1 (ja) | 2011-10-06 | 2012-07-09 | 画像補正装置、画像補正方法及び内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222352A JP5789472B2 (ja) | 2011-10-06 | 2011-10-06 | 画像補正装置、画像補正方法及び内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013081556A true JP2013081556A (ja) | 2013-05-09 |
JP5789472B2 JP5789472B2 (ja) | 2015-10-07 |
Family
ID=48043486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011222352A Active JP5789472B2 (ja) | 2011-10-06 | 2011-10-06 | 画像補正装置、画像補正方法及び内視鏡装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5789472B2 (ja) |
WO (1) | WO2013051314A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018500585A (ja) * | 2014-10-29 | 2018-01-11 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | 高精細ディスプレイの表示ピクセルの劣化制御 |
WO2019087895A1 (ja) * | 2017-11-02 | 2019-05-09 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
JP2020191037A (ja) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | 画像修正方法 |
US10893186B2 (en) | 2018-07-18 | 2021-01-12 | Sony Olympus Medical Solutions Inc. | Medical imaging apparatus and medical observation system |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106231985B (zh) * | 2014-12-02 | 2018-01-23 | 奥林巴斯株式会社 | 图像处理装置、图像处理装置的工作方法 |
US20190200906A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Dual cmos array imaging |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255240A (ja) * | 1995-03-17 | 1996-10-01 | Dainippon Screen Mfg Co Ltd | 画像修正装置及び方法 |
JPH11244230A (ja) * | 1998-03-03 | 1999-09-14 | Olympus Optical Co Ltd | 内視鏡装置 |
-
2011
- 2011-10-06 JP JP2011222352A patent/JP5789472B2/ja active Active
-
2012
- 2012-07-09 WO PCT/JP2012/067468 patent/WO2013051314A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255240A (ja) * | 1995-03-17 | 1996-10-01 | Dainippon Screen Mfg Co Ltd | 画像修正装置及び方法 |
JPH11244230A (ja) * | 1998-03-03 | 1999-09-14 | Olympus Optical Co Ltd | 内視鏡装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018500585A (ja) * | 2014-10-29 | 2018-01-11 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | 高精細ディスプレイの表示ピクセルの劣化制御 |
WO2019087895A1 (ja) * | 2017-11-02 | 2019-05-09 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
CN111065315A (zh) * | 2017-11-02 | 2020-04-24 | Hoya株式会社 | 电子内窥镜用处理器以及电子内窥镜系统 |
JPWO2019087895A1 (ja) * | 2017-11-02 | 2020-07-02 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
US11010895B2 (en) | 2017-11-02 | 2021-05-18 | Hoya Corporation | Processor for electronic endoscope and electronic endoscope system |
CN111065315B (zh) * | 2017-11-02 | 2022-05-31 | Hoya株式会社 | 电子内窥镜用处理器以及电子内窥镜系统 |
US10893186B2 (en) | 2018-07-18 | 2021-01-12 | Sony Olympus Medical Solutions Inc. | Medical imaging apparatus and medical observation system |
JP2020191037A (ja) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | 画像修正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5789472B2 (ja) | 2015-10-07 |
WO2013051314A1 (ja) | 2013-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5789472B2 (ja) | 画像補正装置、画像補正方法及び内視鏡装置 | |
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
JP5459717B2 (ja) | オートフォーカス画像システムにおけるフォーカス信号を生成する方法 | |
JP5235642B2 (ja) | 画像処理装置およびその方法 | |
JP2006129236A (ja) | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2016213702A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2011135563A (ja) | 撮像装置および画像処理方法 | |
JPWO2013046828A1 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP2004229055A (ja) | 画像処理装置 | |
JP5353945B2 (ja) | 画像処理装置および画像処理プログラム並びに電子カメラ | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP5330291B2 (ja) | 信号処理装置及び撮像装置 | |
JP2014241580A (ja) | 撮像装置 | |
JP2004229232A (ja) | 偽色低減装置 | |
JP6331339B2 (ja) | 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法 | |
JP7337555B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP4105942B2 (ja) | 画像処理装置 | |
JP5743772B2 (ja) | 画像処理システム | |
JP5418258B2 (ja) | 撮像装置および画像処理方法 | |
JP4021306B2 (ja) | 偽色低減装置 | |
JP4801626B2 (ja) | 輪郭強調装置 | |
JP7080688B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5789472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |