JP2013089205A - 画像信号補正装置、撮像装置、内視鏡装置 - Google Patents

画像信号補正装置、撮像装置、内視鏡装置 Download PDF

Info

Publication number
JP2013089205A
JP2013089205A JP2011232254A JP2011232254A JP2013089205A JP 2013089205 A JP2013089205 A JP 2013089205A JP 2011232254 A JP2011232254 A JP 2011232254A JP 2011232254 A JP2011232254 A JP 2011232254A JP 2013089205 A JP2013089205 A JP 2013089205A
Authority
JP
Japan
Prior art keywords
threshold value
value
difference signal
filter unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011232254A
Other languages
English (en)
Other versions
JP5178898B1 (ja
Inventor
Takashi Tsuda
隆司 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011232254A priority Critical patent/JP5178898B1/ja
Priority to US13/473,321 priority patent/US8982198B2/en
Application granted granted Critical
Publication of JP5178898B1 publication Critical patent/JP5178898B1/ja
Publication of JP2013089205A publication Critical patent/JP2013089205A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Abstract

【課題】画像の動きのある部分のノイズ成分を低減できる画像信号補正装置、撮像装置及び内視鏡装置を得ること。
【解決手段】入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
【選択図】図1

Description

本発明の実施形態は、イメージセンサから出力される画像信号を補正する画像信号補正装置、撮像装置及び内視鏡装置に関する。
患者の負担を低減するために、撮像装置、例えば、内視鏡装置を用いた手術が従来から行われている。内視鏡装置では、スコープを患者の体内へ挿入し、患部を照らしながら撮像を行う。しかし、患部を照らす光源や患部の状態によっては、コントラストが非常に低い画像となる。このため、従来の内視鏡装置では、輪郭を強調してコントラストをさせる画像処理を行っている。また、コントラスト以外に、画像に生じるノイズも患部の状態を認識する妨げとなる。このため、従来から種々のノイズを低減方法が提案されている(例えば、特許文献1〜3参照)。
特開2009−232402号公報 特開2009−27608号公報 特開2010−4266号公報
以上のように、内視鏡装置では、画像に生じるノイズを低減することが重要な課題となっている。
本実施形態は、画像の動きのある部分のノイズ成分を低減できる画像信号補正装置、撮像装置及び内視鏡装置を提供することを目的とする。
実施形態に係る画像信号補正装置は、入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
実施形態に係る内視鏡装置の構成図。 実施形態に係る内視鏡装置のヘッドの構成図。 実施形態に係る内視鏡装置のCCUの構成図。 実施形態に係る内視鏡装置のライトソースの構成図。 実施形態に係る内視鏡装置の画像信号処理部の構成図。 ノイズ発生メカニズムの説明図。 実施形態に係る内視鏡装置の3次元ノイズリダクション部及びDTL部の構成図。 実施形態に係る内視鏡装置のメモリに記憶された補正データ図。 ノイズレベルの説明図。 実施形態に係る内視鏡装置の動作を示すフローチャート。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(実施形態)
この実施形態では、撮像装置として硬性内視鏡装置を例に、その構成を説明する。図1は、実施形態に係る内視鏡装置1(以下、内視鏡装置1と記載する)の構成図である。この実施形態では、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを採用した実施形態について説明するが、CCD(Charge Coupled Device)イメージセンサを採用しても構わない。
内視鏡装置1は、先端に対物レンズ10aが設けられ、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面に位置するCMOSイメージセンサ20a(以下、単にイメージセンサ20aと記載する)により撮像されるRGB画像信号(以下、単に画像信号と記載する)をCCUへカメラケーブル50を介して出力するヘッド20と、ヘッド20から出力される画像信号を処理するCCU(camera control unit)30と、撮像範囲を照らすライトソース40(光源)と、ライトソース40からの光をスコープ10の先端部へ導入するための光ファイバ60と、撮像された画像信号に対応する画像を表示するモニタ70とを具備する。
カメラケーブル50は、ヘッド20とCCU30との間で画像信号及び制御信号を送受信するための信号線およびCCU30からヘッド20へ電力を供給するための電力線などを収容する。
図2は、ヘッド20の構成図である。
ヘッド20は、イメージセンサ20a、接続端子21、I/F部22及びメモリ23を具備する。イメージセンサ20aは、フルHD(high density)に対応したデジタルカラーCMOSイメージセンサであり、3つの1/3型CMOSセンサから構成される。この実施形態では、イメージセンサ20aは、プログレッシブスキャンで駆動されるが、インターレーススキャンで駆動してもよい。
接続端子21には、カメラケーブル50が接続される。I/F部22は、LVDS(Low voltage differential signaling)シリアライであり、シリアライザ22a及びLVDS変換部22bを備える。I/F部22は、イメージセンサ20aから出力される画像信号をデジタル信号のまま接続端子21に接続されたカメラケーブル50を介してCCU30へ送信する。この際、R(赤色)、G(緑色)、B(青色)の各画像信号(具体的には、画面を構成する画素の濃度値(階調)のデータ)は、互いに独立した信号線を使って伝送される。このため、従来のアナログRGB伝送に比べて高品質の画像を表示することができる。メモリ23は、例えば、フラッシュメモリであり、イメージセンサ20aの設定条件(例えば、フレームレート、ゲイン等)が記憶される。
図3は、CCU30の構成図である。
接続端子31、I/F部32、画像信号処理部33、画像出力部34、システム制御部35及び電源部36を具備する。接続端子31には、カメラケーブル50が接続される。I/F部32は、LVDSデシリアライザであり、デシリアライザ32a及びLVDS変換部32bを備える。I/F部32は、ヘッド20から送信される画像信号を画像信号処理部33へ出力する。また、I/F部32は、システム制御部35から出力される制御信号を接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
画像信号処理部33は、画像信号処理部33aと同期信号生成部33bを具備する。画像信号処理部33aは、I/F部32から出力される画像信号を処理して画像出力部34へ出力する。具体的には、画像信号処理部33aは、画像信号のうち動きのある領域に生じるノイズを抑制する処理を行うが、詳細は、図5〜図7を参照して後述する。
同期信号生成部33bは、イメージセンサ20aの撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される(例えば、1/30秒、1/60秒等)。生成された同期信号は、MPU35cへ出力されると共に、I/F部32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信される。
画像出力部34は、D/Aコンバータ34a及びDVI(digital visual interface)トランスミッタ34bを備え、画像信号処理部33で処理された画像信号をアナログ及び/又はデジタルのRGB画像信号としてモニタ70へ出力する。
システム制御部35は、メモリ35a、OSD(On-screen Display)コントローラ35b、MPU(Micro Processing Unit)35c、受信部35d及び操作受付部35eを備え、この内視鏡装置1全体を制御する。
メモリ35aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリであり、MPU35cを動作させるためのプログラムが記憶されている。
MPU35cは、受信部35dで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ35aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。また、MPU35cは、時間を計測するタイマTを内蔵する(以下、内蔵タイマTと称する)。
OSDコントローラ35bは、画像信号処理部33aで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
受信部35dは、外部のPC等から送信されるリモート制御用の制御信号を受信してMPU35cへ出力する。なお、外部PCとの通信は、RS232−C用シリアルポートを介して行われる。操作受付部35eは、外部の操作キーで操作された処理を受け付けMPU35cへ出力する。
電源部36は、外部から供給される電力を所定の電圧に変換してCCU30内の各部へ供給する。また、上記電力は、接続端子31に接続されたカメラケーブル50を介してヘッド20にも供給される。
図4は、ライトソース40の構成図である。
ライトソース40は、LED(light emitting diode)41及びレンズ42を具備する。また、ライトソース40には、光ファイバ60が接続される。LED41は、イメージセンサ20aの撮像範囲を照らす。レンズ42は、LED41からの光を光ファイバ60へ導入する。光ファイバ60へ導入された光は、スコープ10の先端部へ導かれ、イメージセンサ20aの撮像範囲、すなわち患部を照らす。
図5は、画像信号処理部33aの構成図である。
画像信号処理部33aは、ホワイトバランス部101a〜101cと、γ補正部102a〜102cと、加算器103a〜103cと、輝度信号生成部104と、γ補正部105と、3次元ノイズリダクション部106と、DTL部107とを備える。
この実施形態では、画像信号処理部33aは、FPGA(Field-Programmable Gate Array)で構成されるが、他の構成、例えば、画像信号処理部33aが備える機能をソフトウェア(プログラム)で実現してもよい。
画像信号処理部33aは、画像信号のうち動きのある領域に生じるノイズを抑制する。以下、画像信号処理部33aの具体的な構成について説明するが、初めに、動きのある領域にノイズが生じるメカニズムについて説明する。
図6は、ノイズ発生メカニズムの説明図である。
図6(a)では、前後するフレーム間で、被写体(撮像対象)が左から右に動いた状態を表している。図6(a)の破線は、n番目のフレーム(第1のフレーム)での被写体の位置を示しており、図6(a)の実線は、1フレーム後のn+1番目のフレーム(第2のフレーム)での被写体の位置を示している。また、図6(a)の斜線部は、ノイズ401を表している。
図6(b)は、第1のフレームと第2のフレームとの差分を示している。領域A1,A2は、第1のフレームと第2のフレームとの差分がゼロの領域(以下、静止画像領域Aと記載)であり、3次元ノイズリダクションによる効果、すなわち時間的にランダムに発生するノイズ401を低減する効果が得られる領域である。領域Bは、第1のフレームと第2のフレームとの差分が存在する領域(以下、動画像領域Bと記載)であり、3次元ノイズリダクションによる効果が得られない領域である。
図6(c)は、第1のフレームと第2のフレームとの差分を第2のフレームに混合した状態を示す図である。なお、図6(c)では、差分の混合比率を50%としている。図6(c)に示すように、静止画像領域A1,A2では、ノイズによる画像の変化が時間的に平均化されるためノイズ401が低減されるが、動画像領域Bでは、ノイズ401が低減されずに目で認識できる状態で残ってしまう。画像信号処理部33aは、この図6(c)に示すノイズを低減する補正を行う。
以下、図5を参照して画像信号処理部33aの各構成について説明する。
ホワイトバランス部101a〜101cは、それぞれR、G、Bのチャネルごとに画像信号のホワイトバランスを調整する。γ補正部102a〜102cは、画像の明るさや色が正しくモニタ70に表示されるように、R、G、Bのチャネルごとにホワイトバランス後の画像信号をモニタ70の特性に合わせて補正する。
輝度信号生成部104は、ホワイトバランス後のR、G、Bの各チャネルの画像信号から、画面を構成する画素ごとに輝度信号Yを生成する。輝度信号Yの算出には、以下の計算式(1)を用いる。なお、a、b、cは、任意の係数である。
Y=aR+bG+cB・・・(1)(但し、a+b+c=1)
γ補正部105は、輝度信号生成部104で生成される輝度信号Yをモニタ70の特性に合わせて補正する。
図7は、3次元ノイズリダクション部106及びDTL部107の構成図である。
3次元ノイズリダクション部106は、フレームメモリ201と、加算器202と、ノイズリダクション部(静止画)203と、ノイズキャンセラ部(動画)204と、DTL制御部205と、を備える。
フレームメモリ201は、ノイズリダクション部203により静止画部分のノイズが低減された輝度信号のデータを所定フレーム分保持する。
加算器202は、γ補正部105から入力される輝度信号と、フレームメモリ201に保持された輝度信号との差分信号(以下、単に差分信号と記載する)を算出する。
ノイズリダクション部203は、静止画像のノイズを低減する機能を有し、画像信号に発生する残像を抑制する補正を行う。ノイズリダクション部203は、γ補正部105から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部105から出力される差分信号への混合比を小さくする補正を行う。具体的には、上記絶対値が大きいほど、つまり動きの激しい領域ほど、上記混合比を小さくしてフレーム巡回量を低減し、静止画におけるノイズを抑制する。
ノイズキャンセラ部204は、動画像のノイズを低減する機能を有し、解像度の劣化を抑制する補正を行う。ノイズキャンセラ部204は、γ補正部105から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部105から出力される差分信号を補正する。具体的には、上記絶対値が小さいほど、つまり動きの少ない領域ほど、LPFを通った差分信号の混合比を小さくし、動画により発生したノイズを抑制する。
DTL制御部205は、H/V LPF(H/Vローパスフィルタ)205aと、幅広部205bと、ε値出力部205cと、参照メモリ205dとを備える。H/V LPF205aは、差分信号の水平方向及び垂直方向の信号成分のうち、所定の閾値よりも低い周波数成分を通過させる機能を有するフィルタ部である。差分信号をH/V LPF205aに通すことにより差分信号のノイズ成分が除去される。
幅広部205bは、H/V LPF(H/Vローパスフィルタ)205aにより欠落した差分信号のエッジ部の情報を補完するため、ノイズ成分を除去した後の差分信号を絶対値化した後、H方向(水平方向)及びV方向(垂直方向)に、例えば、3画素/ラインごとの最大値を算出して、差分信号のエッジ部を広げる処理を行う。
ε値出力部205cは、参照メモリ205eを参照して、幅広部205bから出力される差分信号の絶対値V(以下、単に絶対値Vと記載する)に対応するε値をDTL部107へ出力する。
図8は、参照メモリ205eに記憶された補正データである。図8の横軸は、幅広部205bから出力される絶対値V、図8の縦軸は、DTL部107へ出力するε値をそれぞれ示している。図8に示すように、この実施形態では、閾値TH1、TH2により、幅広部205bから出力される差分信号の絶対値Vを3つの領域X〜Zに分けている。
(領域X)
領域Xは、幅広部205bから出力される絶対値Vが閾値TH1よりも小さい領域である。幅広部205bから出力される絶対値Vが、この領域X内にある場合は、静止画像であるとみなし、DTL部107へ出力するε値をゼロとする。
(領域Y)
領域Yは、幅広部205bから出力される絶対値Vが、閾値TH1以上、閾値TH2よりも値の小さい領域である。幅広部205bから出力される絶対値Vが、この領域Y内にある場合は、静止画像と動画像が混在した状態であるとみなし、DTL部107へ出力するε値を、絶対値Vに応じて変化させる。
この実施形態では、幅広部205bから出力される絶対値Vと、DTL部107へ出力されるε値との関係が、三角関数、具体的には、以下の(2)式となるように設定されている。
ε(V)=Ncos{π×(V−TH2)/(2(TH1−TH2))}・・・(2)
なお、幅広部205bから出力される絶対値Vと、DTL部107へ出力されるε値との関係を、一次関数、具体的には、以下(3)式に設定してもよい。
ε(V)=N/(TH2−TH1)(V−TH1)・・・(3)
(領域Z)
領域Zは、幅広部205bから出力される絶対値Vが、閾値TH2以上の領域である。幅広部205bから出力される絶対値Vが、この領域Z内にある場合は、動画像であるとみなし、DTL部107へ出力するε値をノイズレベルNとする。
ここで、領域Zでは、DTL部107へ出力するε値をノイズレベルNとしている理由について図9を参照して説明する。図9は、ノイズレベルNの説明図である。図9(a)は、図6(c)を参照して説明した領域Bの状態を示している。図6(c)の領域Bは、実際には、図9(a)に示すように領域A1と領域A2とを傾いた状態となっている。図9(b)は、図9(a)における着目画素αとその周辺の拡大図である。
領域Zでは、ε値が着目画素αと周辺画素α−2、α−1、α+1、α+2等との差分値で算出される為、フレーム間差分値と、ほぼ等しい値をとる。なお、着目画素αと周辺画素α−2、α−1、α+1、α+2等との差分値には、図9(b)に示すように、残像レベルとノイズレベルNとが含まれるが、着目画素αと周辺画素α−2、α−1、α+1、α+2等との残像レベルNの差分は、ノイズレベルNの差分に比較して非常に小さな値となるため、実質上無視することができ、着目画素αと周辺画素α−2、α−1、α+1、α+2等との差分値は、ほぼノイズレベルNの値となる。
このため、ε値をノイズレベルNより大きな値にしてしまうと、動画領域におけるノイズを除去するだけではなく、画像信号までを補正する過補正を行う可能性が高いためである。この実施形態では、ε値の最大値をノイズレベルNとすることにより、過剰な補正を防止するようにしている。
なお、ノイズレベルNは、以下のようにして予め算出しておく。
差分信号に対し閾値を設け、その閾値を超えた画素数が1フレーム(1画面)に何個あるかをカウントする。次に、閾値を変化させて、例えば、差分信号の値が閾値を超える画素数が、1フレームの全画素数の0.5%を程度となる閾値をノイズレベルNとする。
図7に示すように、DTL部107は、第1フィルタ部301と、第2フィルタ部302と、増幅部303とを備える。第1フィルタ部301は、εフィルタであり、処理対象の画素(対象画素)と当該対象画素の水平方向にある周囲画素との差分を算出し、該差分がε値出力部205cから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部205cから出力されるε値以下の画素はノイズとみなして水平方向のLPF(ローパスフィルタ)処理を行う。
第2フィルタ部302は、εフィルタであり、処理対象の画素(対象画素)と、当該対象画素の垂直方向にある周囲画素との差分を算出し、該差分がε値出力部205cから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部205cから出力されるε値以下の画素はノイズとみなして垂直方向のLPF(ローパスフィルタ)処理を行う。
増幅部303は、第1フィルタ部301及び第2フィルタ部302から出力される信号を増幅する。
加算器103a〜103cは、DTL部107が出力する信号をR、G、Bの各チャネルの画像信号に加算する。
(内視鏡装置1の動作)
図10は、実施形態に係る内視鏡装置の動作を示すフローチャートである。以下、図10を参照して内視鏡装置1の補正動作について説明する。
撮像が開始されると、イメージセンサ20aから画像信号が出力される(ステップS101)。画像信号処理部33aのホワイトバランス回路101a〜101cは、R、G、Bの各チャネルの画像信号のホワイトバランスを調整する(ステップS102)。
輝度信号生成部104は、ホワイトバランス調整後のRGB信号から輝度信号Yを生成する(ステップS103)。γ補正部105は、輝度信号Yをγ補正する(ステップS104)。
3次元ノイズリダクション部106のノイズリダクション部203は、γ補正部105から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部105から出力される差分信号への混合比を小さくする補正を行い、静止画におけるノイズを抑制する(ステップS105)。
3次元ノイズリダクション部106のノイズキャンセラ部204は、γ補正部105から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部105から出力される差分信号を補正し、動画により発生したノイズを抑制する(ステップS106)。
DTL制御部205は、γ補正部105から入力される差分信号の絶対値Vを算出し、該絶対値Vの大きさに応じてDTL部107が備える第1フィルタ部301及び第2フィルタ部302のε値(閾値)を決定する(ステップS107)。
DTL部107は、DTL制御部205から出力されるε値を用いて、水平方向及び垂直方向のフィルタリングを行う(ステップS108)。加算器103a〜103cは、DTL部107が出力する信号をR、G、Bの各チャネルの画像信号に加算する(ステップS109)。内視鏡装置1は、撮像が終了するまで上記処理を繰り返す(ステップS110)。
以上のように、内視鏡装置1は、差分信号の絶対値Vから対応する画素を、領域X(静止画像領域)、領域Y(混在領域)、領域Z(動画像領域)の3つの領域(X〜Z)に区分し、該区分に応じて、第1フィルタ部301及び第2フィルタ部302のε値(閾値)を最適な値に変化させているので、動きのある部分のノイズを画像信号から効果的に低減することができる。
また、水平方向及び垂直方向の高周波成分(ノイズ)を除去するH/V LPF205aを備えているので、水平方向及び垂直方向のどちらの方向に対しても、ノイズを除去することができる。このため、差分信号による画像の動きを精度よく検出することができる。また、第1フィルタ部301及び第2フィルタ部302におけるε値(閾値)の最大値をノイズレベルとしたので、画像信号を過剰に補正(過補正)することを防止できる。
また、イメージセンサとしてCMOSイメージセンサを採用しているので、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源が必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。また、CMOSイメージセンサは、CCDイメージセンサに比べ、素子を高密度化できるので、内視鏡装置1をより小型化できる。
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上記実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…内視鏡装置、10…スコープ、10a…対物レンズ、20…ヘッド、20a…イメージセンサ、21…接続端子、22…I/F部、22a…シリアライザ、22b…LVDS変換部、23…メモリ、31…接続端子、32…I/F部、32a…デシリアライザ、32b…LVDS変換部、33…画像信号処理部、33a…画像信号処理部、33b…同期信号生成部、34…画像出力部、34a…D/Aコンバータ、34b…トランスミッタ、35…システム制御部、35a…メモリ、35b…コントローラ、35d…受信部、35e…操作受付部、36…電源部、40…ライトソース、42…レンズ、50…カメラケーブル、60…光ファイバ、70…モニタ、101a〜101c…ホワイトバランス部、102a〜102c…γ補正部、103a〜103c…加算器、104…輝度信号生成部、105…γ補正部、106…3次元ノイズリダクション部、107…DTL部、201…フレームメモリ、202…加算器、203…ノイズリダクション部、204…ノイズキャンセラ部、205…DTL制御部、301…第1フィルタ部、302…第2フィルタ部、303…増幅部。

Claims (21)

  1. 入力される画像信号を所定フレーム分保持するフレームメモリと、
    前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
    前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタと、
    前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
    を具備する画像信号補正装置。
  2. 前記制御部は、
    前記差分信号の値が、第1の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項1に記載の画像信号補正装置。
  3. 前記制御部は、
    前記差分信号の値が、前記第1の閾値以上で、前記第1の閾値よりも大きい第2の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項2に記載の画像信号補正装置。
  4. 前記制御部は、
    前記差分信号の値が前記第2の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項3に記載の画像信号補正装置。
  5. 前記第1の閾値以上で、前記第2の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項3に記載の画像信号補正装置。
  6. 前記差分信号の値が前記第2の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項3に記載の画像信号補正装置。
  7. 前記差分信号の水平成分及び垂直成分のノイズを除去するH/Vフィルタ部をさらに具備し、
    前記制御部は、前記H/Vフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項1に記載の画像信号補正装置。
  8. 撮像した画像に対応する画像信号を出力する撮像部と、
    前記撮像部の撮像範囲を照らす光源と、
    前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
    前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
    前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
    前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
    を具備する撮像装置。
  9. 前記制御部は、
    前記差分信号の値が、第1の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項8に記載の撮像装置。
  10. 前記制御部は、
    前記差分信号の値が、前記第1の閾値以上で、前記第1の閾値よりも大きい第2の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項9に記載の撮像装置。
  11. 前記制御部は、
    前記差分信号の値が前記第2の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項10に記載の撮像装置。
  12. 前記第1の閾値以上で、前記第2の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項10に記載の撮像装置。
  13. 前記差分信号の値が前記第2の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項10に記載の撮像装置。
  14. 前記差分信号の水平成分及び垂直成分のノイズを除去するH/Vフィルタ部をさらに具備し、
    前記制御部は、前記H/Vフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項8に記載の撮像装置。
  15. 先端にレンズが設けられ、被検体内に挿入されるスコープと、
    被検体内を照らす光源と、
    前記レンズにより結像される画像を画像信号として出力する撮像部と、
    前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
    前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
    前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
    前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
    前記差分信号により補正された画像信号に対応する画像を表示する表示部と、
    を具備することを特徴とする内視鏡装置。
  16. 前記制御部は、
    前記差分信号の値が、第1の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項15に記載の内視鏡装置。
  17. 前記制御部は、
    前記差分信号の値が、前記第1の閾値以上で、前記第1の閾値よりも大きい第2の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項16に記載の内視鏡装置。
  18. 前記制御部は、
    前記差分信号の値が前記第2の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項17に記載の内視鏡装置。
  19. 前記第1の閾値以上で、前記第2の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項17に記載の内視鏡装置。
  20. 前記差分信号の値が前記第2の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項17に記載の内視鏡装置。
  21. 前記差分信号の水平成分及び垂直成分のノイズを除去するH/Vフィルタ部をさらに具備し、
    前記制御部は、前記H/Vフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項15に記載の内視鏡装置。
JP2011232254A 2011-10-21 2011-10-21 画像信号補正装置、撮像装置、内視鏡装置 Active JP5178898B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011232254A JP5178898B1 (ja) 2011-10-21 2011-10-21 画像信号補正装置、撮像装置、内視鏡装置
US13/473,321 US8982198B2 (en) 2011-10-21 2012-05-16 Image signal correction apparatus, imaging apparatus, endoscopic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011232254A JP5178898B1 (ja) 2011-10-21 2011-10-21 画像信号補正装置、撮像装置、内視鏡装置

Publications (2)

Publication Number Publication Date
JP5178898B1 JP5178898B1 (ja) 2013-04-10
JP2013089205A true JP2013089205A (ja) 2013-05-13

Family

ID=48135639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011232254A Active JP5178898B1 (ja) 2011-10-21 2011-10-21 画像信号補正装置、撮像装置、内視鏡装置

Country Status (2)

Country Link
US (1) US8982198B2 (ja)
JP (1) JP5178898B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017213306A (ja) * 2016-06-02 2017-12-07 Hoya株式会社 画像処理装置および電子内視鏡システム
US11132776B2 (en) 2017-08-03 2021-09-28 Eizo Corporation Image processing device, image processing method, and image processing program for maintaining sharpness of image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
TWI707583B (zh) * 2019-07-17 2020-10-11 瑞昱半導體股份有限公司 應用於影像感測電路的像素通道不平衡補償方法與系統

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189440A (ja) * 2008-02-12 2009-08-27 Canon Inc X線画像処理装置、x線画像処理方法、プログラム及び記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0134160B1 (ko) * 1993-03-17 1998-04-22 모리시타 요이찌 화상보정장치
US20020026093A1 (en) * 2000-08-23 2002-02-28 Kabushiki Kaisha Toshiba Endscope system
MXPA03006715A (es) * 2001-11-29 2003-10-24 Matsushita Electric Ind Co Ltd Metodo para la remocion de la distorsion de la codificacion, metodo codificador de video, metodo descodificador de video y aparato y programa para los mismos.
JP4547869B2 (ja) * 2003-05-06 2010-09-22 ソニー株式会社 画像処理方法、および画像処理装置
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
US7420151B2 (en) * 2005-10-17 2008-09-02 Novadaq Technologies Inc. Device for short wavelength visible reflectance endoscopy using broadband illumination
JP5117175B2 (ja) * 2006-12-05 2013-01-09 株式会社リコー カラー処理装置、pdl処理装置、画像形成装置、カラー変換方法、コンピュータプログラム及び記録媒体
JP5028154B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
JP4901625B2 (ja) 2007-07-23 2012-03-21 株式会社エルモ社 ノイズ低減装置およびノイズ低減方法
US20090086174A1 (en) * 2007-09-28 2009-04-02 Sanyo Electric Co., Ltd. Image recording apparatus, image correcting apparatus, and image sensing apparatus
JP2009232402A (ja) 2008-03-25 2009-10-08 Oki Semiconductor Co Ltd ノイズ低減回路及び方法
JP5417746B2 (ja) 2008-06-19 2014-02-19 ソニー株式会社 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
WO2010143692A1 (ja) * 2009-06-10 2010-12-16 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
US20110292258A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
CN102740760B (zh) * 2010-06-28 2015-05-20 奥林巴斯医疗株式会社 内窥镜装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189440A (ja) * 2008-02-12 2009-08-27 Canon Inc X線画像処理装置、x線画像処理方法、プログラム及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017213306A (ja) * 2016-06-02 2017-12-07 Hoya株式会社 画像処理装置および電子内視鏡システム
WO2017208215A1 (ja) * 2016-06-02 2017-12-07 Hoya株式会社 画像処理装置および電子内視鏡システム
US10402947B2 (en) 2016-06-02 2019-09-03 Hoya Corporation Image processing apparatus and electronic endoscope system
US11132776B2 (en) 2017-08-03 2021-09-28 Eizo Corporation Image processing device, image processing method, and image processing program for maintaining sharpness of image

Also Published As

Publication number Publication date
JP5178898B1 (ja) 2013-04-10
US20130100263A1 (en) 2013-04-25
US8982198B2 (en) 2015-03-17

Similar Documents

Publication Publication Date Title
US20130307951A1 (en) Imaging apparatus
US10624535B2 (en) Endoscope apparatus and video processor
JP5178898B1 (ja) 画像信号補正装置、撮像装置、内視鏡装置
US10548465B2 (en) Medical imaging apparatus and medical observation system
JP2013188242A (ja) 内視鏡システム
US11510549B2 (en) Medical image processing apparatus and medical observation system
WO2017002544A1 (ja) 画像処理装置および撮像システム
US20130314516A1 (en) Videoscope and image correcting method thereof
US11033174B2 (en) Medical image processing device and medical observation device
JP6489644B2 (ja) 撮像システム
US10952597B2 (en) Endoscope apparatus and method of detecting edge
US11033173B2 (en) Medical light source device and medical observation system
US20230180997A1 (en) Medical control device and medical observation system
US11122225B2 (en) Medical image processing apparatus and medical observation system
US10893247B2 (en) Medical signal processing device and medical observation system
US9832411B2 (en) Transmission system and processing device
US10778948B2 (en) Imaging apparatus and endoscope apparatus
EP2712539A1 (en) Imaging system
US10918269B2 (en) Medical light source apparatus and medical observation system
US20180302584A1 (en) Imaging device and control method
US20220225857A1 (en) Medical control device and medical observation system
US20210052149A1 (en) Imaging apparatus
US20200045279A1 (en) Imaging apparatus and endoscope apparatus
JP2017109037A (ja) 撮像システム
JP2008212266A (ja) マスク処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130108

R151 Written notification of patent or utility model registration

Ref document number: 5178898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160118

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350