JP2021153961A - 内視鏡及び内視鏡システム - Google Patents

内視鏡及び内視鏡システム Download PDF

Info

Publication number
JP2021153961A
JP2021153961A JP2020058551A JP2020058551A JP2021153961A JP 2021153961 A JP2021153961 A JP 2021153961A JP 2020058551 A JP2020058551 A JP 2020058551A JP 2020058551 A JP2020058551 A JP 2020058551A JP 2021153961 A JP2021153961 A JP 2021153961A
Authority
JP
Japan
Prior art keywords
attention
imaging position
imaging
pixel value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020058551A
Other languages
English (en)
Inventor
明彦 西出
Akihiko Nishide
明彦 西出
健太 小杉
Kenta Kosugi
健太 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2020058551A priority Critical patent/JP2021153961A/ja
Priority to PCT/JP2021/004003 priority patent/WO2021192644A1/ja
Priority to US17/780,269 priority patent/US20220409029A1/en
Publication of JP2021153961A publication Critical patent/JP2021153961A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】内視鏡において、撮像素子における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散することなく、ハードウェアを大きく増やすことなく少ないハードウェアで効率よく欠陥画素の画素値を補正する。【解決手段】内視鏡は、2色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の2つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、を備える。【選択図】図2

Description

本発明は、体腔内の生体組織を撮像する内視鏡及び内視鏡システムに関する。
従来より、内視鏡を人体等の体腔内に挿入し、体腔内の生体組織の病変を検査することが行われている。この内視鏡を備える内視鏡システムでは、生体組織を撮像した撮像画像を内視鏡用プロセッサで画像処理を施した後、この撮像した画像を動画としてモニタ画面に表示する(特許文献1)。
このような内視鏡システムでは、モニタ画面に表示された画像を見て病変部の有無及び病変部の進行の程度を診断するので、内視鏡による撮像からモニタ画面上の画像表示まで短時間に処理が行われることが好ましい。
このような内視鏡システムにおいて用いる撮像素子の撮像位置には、例えばベイヤ配列等の所定の配列パターンで色フィルタが設けられているので、撮像素子から出力された画像データ(RAWデータ)から3色の画像を得るには、同じ色フィルタの撮像位置に対応する画像データ内の画像値を用いて内挿補間することにより、色フィルタの色が異なる撮像位置における画素値を算出する必要がある。すなわち、算出する画素値は、周囲の画像値に基づいて算出される。なお、色フィルタは、RGB(赤、緑、青)の色フィルタの他に、CYGM(シアン、黄、緑、マゼンタ)の色フィルタ、およびRGBE(赤、緑、青、エメラルド)の色フィルタが例示される。
特開2012−134875号公報
このような内視鏡において、撮像素子に欠陥画素が含まれる場合もある。欠陥画素とは、撮像素子の受光面の光電変換が正常に機能せず、受光量に比例したで電気信号を生成しない撮像位置に対応する撮像画像上の画素をいう。欠陥画素は、その周囲の画素に対して特異的に画素値が低くあるいは高く、欠陥画素が連続することなく、1画素分、あるいは数画素分、孤立して形成される場合が多い。したがって、欠陥画素は、例えば、常に白い点や黒い点として表示され、明るさが変化しても撮像素子の画素の出力値が変化しない場合などがある。
一方、撮像素子では、上述したように所定の配列パターンで配列した色フィルタを備える撮像素子から出力された原色の画像データ(RAWデータ)から画素毎に3色のカラー画像(RGB画像)の情報を含む画像データを生成するために、同じ色フィルタの撮像位置に対応する画像データ内の画像値を用いて内挿補間することにより、異なる色フィルタの撮像位置に対応する画像値を計算する処理が行われる。
しかし、この処理を、欠陥画素が存在する画像データに対して行うと、上記補間処理により欠陥画素の画素値が周囲の画素値にも拡散するため、3色のカラー画像の品質が劣化する場合がある。
3色のカラー画像に対して、サイズが3画素×3画素のメディアンフィルタを用いて、欠陥画素を補正することも可能であるが、拡散した欠陥画素の画素値を完全に除去することは難しい。また、上記メディアンフィルタを用いる場合、3ライン分のデータバッファを用いて書き込み、呼び出し等を行うため、処理時間がかかる他、高速化を考えると、上記メディアンフィルタに対応したサイズのデータバッファを用意する必要があり、ハードウェアの簡素化の点でも好ましくない。
そこで、本発明は、撮像素子における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散することなく、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる内視鏡及び内視鏡システムを提供することを目的とする。
本発明の一態様は、体腔内の生体組織を撮像する内視鏡である。当該内視鏡は、
色が異なる2色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の2つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備える。
本発明の一態様も、体腔内の生体組織を撮像する内視鏡である。当該内視鏡は、
色が異なる2色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の2つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記近傍画素値と前記注目撮像位置における注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、前記近傍画素値及び前記第1注目画素値の中のメディアン値に変更し、前記所定の条件を満足しない第2注目撮像位置における第2注目画素値については変更せず維持する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備える。
前記ばらつきは、前記近傍画素値と前記注目画素値の分散あるいは標準偏差であり、
前記所定の条件は、前記分散あるいは前記標準偏差が予め設定された閾値より大きいことである、ことが好ましい。
前記撮像素子は、生体組織を一定時間間隔で複数回撮像し、
前記補正処理部は、前記撮像素子による、撮像時刻の異なる少なくとも2回の撮像によって得られる画像データ間で、前記第1注目撮像位置が同じ位置にある場合に、前記第1注目画素値を、前記メディアン値に変更するように構成されている、ことが好ましい。
前記撮像素子による前記2回の前記撮像は、照明条件の異なる撮像である、ことが好ましい。
前記一方向は、前記撮像素子が前記画像データを順番に出力する撮像位置の1つの配列方向と同じである、ことが好ましい。
前記撮像素子は複数回撮像し、前記撮像素子は、前記画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する2方向の間で切り換わり、
前記一方向は、前記撮像する度に前記2方向の間で切り換わる、ことが好ましい。
前記配列パターンは、2つの色フィルタが前記列上に交互に配置されているパターンである、ことが好ましい。
前記近傍撮像位置は、前記最近傍撮像位置それぞれの最も近くにある、前記注目撮像位置とは異なる撮像位置を含む、ことが好ましい。
本発明の他の一態様は、
前記内視鏡と、
前記撮像素子の撮像により得られた画像を画像処理する内視鏡用プロセッサと、
画像処理の施された前記画像を表示するモニタと、を備える、内視鏡システムである。
上述の内視鏡及び内視鏡システムによれば、撮像素子における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散することなく、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡におけるドライバ信号処理回路の構成の要部を示すブロック図である。 一実施形態の内視鏡に用いるベイヤ配列の色フィルタの撮像素子から出力される画像データの一例を示す図である。 (a)は、従来の内視鏡システムで表示される画像の一例を示す図であり、(b)は、一実施形態の内視鏡システムで表示される画像の一例を示す図である。
以下、実施形態の内視鏡及び内視鏡システムについて詳細に説明する。
図1は、一実施形態の内視鏡システム1の構成を示すブロック図である。
図1に示されるように、内視鏡システム1は、内視鏡100、内視鏡用プロセッサ200、モニタ300、及びプリンタ400を備えている。
内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム1内の各回路に出力する。
内視鏡用プロセッサ200は、内視鏡100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して内視鏡100の光ファイバーの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、内視鏡100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図1に示す例では、光源部230は、内視鏡用プロセッサ200に内蔵して設けられるが、内視鏡用プロセッサ200とは別体の装置として内視鏡システム1に設けられてもよい。また、光源部230は、後述する内視鏡100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して内視鏡100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して撮像素子108の受光面上で光学像を結ぶ。
撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列の色フィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各画像データを生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。撮像素子108には、色が異なる2色以上の色フィルタ108bが所定の配列パターンで撮像位置に配置される。
内視鏡用プロセッサ200と接続する内視鏡100のコネクタ部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、撮像素子108から出力される画像データに対して欠陥補正処理、マトリックス演算の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb,Cr)を生成し、生成された画像信号を内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして内視鏡100の固有情報を読み出す。メモリ114に記録される内視鏡100の固有情報には、例えば撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。このように、内視鏡100は、撮像素子108を用いて、体腔内の生体組織を撮像する。
システムコントローラ202は、内視鏡100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、内視鏡用プロセッサ200に接続中の内視鏡100に適した処理がなされるように内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、撮像素子108を内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。画像処理ユニット220は、必要に応じて、内視鏡100で得られた生体組織の画像に対して、画像の色成分の情報に基づいて生体組織の炎症の程度を数値化して示す炎症評価値を求め、さらに、数値化処理によって得られた各画素の画素評価値を色に置換したカラーマップ画像を生成する。炎症評価値の情報及びカラーマップ画像はモニタ300に表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて例えば注目する生体組織の炎症の程度の評価を精度よく行うことができる。画像処理ユニット220は、必要に応じてプリンタ400に炎症評価値及びカラーマップ画像を出力する。
内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、内視鏡検査結果をサーバ600に保存させることができる。
このような内視鏡システム1において、上述したように、色フィルタ108bを通過して受光した撮像素子108から出力される画像データに欠陥画素が存在する場合、カラー画像(RGB画像)を得るための処理を施すと、この処理により欠陥画素の画素値が周囲の画素値にも拡散するため、3色のカラー画像の品質が劣化する場合がある。
このため、内視鏡100は、色フィルタ108bの色ごとの画像情報を画素毎に含む色画像データ(例えばYCbCr信号)を生成する前(デモザイク処理前)の、色フィルタ108bを通して受光した原色の画像データに対して、補正処理を行う。具体的には、内視鏡100が内視鏡用プロセッサ200と接続するコネクタに設けられるドライバ信号処理回路112において、上記補正処理を行う。
図2は、一実施形態の内視鏡におけるドライバ信号処理回路の構成の要部を示すブロック図である。
ドライバ信号処理回路112は、上述したメモリ114の他に、制御回路116、判定回路118、バッファメモリ120、補正処理回路(補正処理部)122、及び色画像データ生成回路(色画像データ生成部)124、を備える。
制御回路116は、システムコントロール202と通信可能に接続され、システムコントローラ202の指示に応じて、メモリ114に記憶された情報を呼び出して、システムコントロール202に送信し、必要に応じて、システムコントローラ202から送信される情報を記憶する。さらに、制御回路116は、判定回路118、補正処理回路122、色画像データ生成回路124の動作を制御、管理するように構成される。
補正処理回路122は、撮像素子108から出力される画像データ内の注目撮像位置を変更しながら、注目撮像位置における画素値に対して、設定されたサイズのメディアンフィルタ処理を行うように構成された部分である。具体的には、補正処理回路122は、画素配列のうち、注目撮像位置と同じ、一方向に沿った列上にある、注目撮像位置における色フィルタと同じ色の色フィルタの近傍撮像位置における画素値を近傍画素値とし、この近傍画素値と注目撮像位置における注目画素値との中のメディアン値に、注目撮像位置における注目画素値を変更する。
近傍撮像位置は、注目撮像位置を間に挟んでこの注目撮像位置から最も近くにある列上の2つの最近傍撮像位置を少なくとも含む。近傍撮像位置は、最近傍撮像位置に加えて、最近傍撮像位置それぞれの最も近くにある、注目撮像位置とは異なる撮像位置を含むことも好ましい。
図3は、一実施形態の内視鏡に用いるベイヤ配列の色フィルタの撮像素子から出力される画像データの一例を示す図である。図3に示す画素配列700によれば、撮像素子108は、1段目の列では、R画像データ、G画像データを交互に出力し、2段目の列では、左端からX方向に沿った列状にG画像データ、B画像データを交互に出力し、3段目の列では、1段目の列と同様に、左端からX方向に沿った列状にR画像データ、G画像データを交互に出力し、4段目の列では、2段目の列と同様に、左端からX方向に沿った列状にR画像データ、G画像データを交互に出力する。R画像データは、色フィルタ108のRフィルタを透過した光を撮像素子108が受光して出力する出力データであり、G画像データは、色フィルタ108のGフィルタを透過した光を撮像素子108が受光して出力する出力データであり、B画像データは、色フィルタ108のBフィルタを透過した光を撮像素子108が受光して出力する出力データである。
このような画像データのうち、2段目で左端から3番目のG画像データの位置を注目撮像位置とする場合、同じG画像データを有する2段目の列上の画素位置のうち、3番目の注目撮像位置に近い最近傍注目撮像位置、図3の例では、2段目の左から1番目と左から5番目の画素位置それぞれにおける画素値を、最近傍注目画素値とし、2つの最近傍注目画素値と注目画素値との中でメディアン値(中央値)を、注目画素値に変更する。したがって、このような処理は、メディアンフィルタ702の中心の画素位置に、注目撮像位置を合わせてフィルタ処理することにより、メディアン値を注目画素値に設定することができる。例えば、メディアンフィルタ702のフィルタサイズが横方向5画素、縦方向1画素のメディアンフィルタの場合、中心の画素位置である3画素目の画素位置に、注目撮像位置を合わせて、横方向の1画素目の画素値、5画素目の画素値、及び中心画素である3画素目の画素値のメディアン値(中間値)を注目画素値として出力し設定する。
このように、注目撮像位置を1つずつ移動させることにより、図3に示す例では、X方向の右側にメディアンフィルタ702を1撮像位置分ずらして、B画像データの注目撮像位置に対してメディアンフィルタ702を施す。すなわち、メディアンフィルタ702の向きをX方向とし、メディアンフィルタ702の移動もX方向とする。
補正処理回路122は、注目撮像位置毎にメディアン値を求め、このメディアン値を注目画素値として注目撮像位置に与える。
バッファメモリ120は、図3に示す例では、1段目の左から順番に、撮像素子108から出力される画像データが送信されるので、メディアンフィルタ702のフィルタサイズに対応した数の画素(図3に示す例では、注目画素値及びその前後の4つの画素値)を順番に記憶するように構成されているラインバッファメモリである。バッファメモリ120は、画像データが1つ撮像素子108から送信されるたびに、FIFO(First-In First-Out)方式で画像データを記憶する。制御回路118の指示に応じて、記憶したバッファメモリ120は補正処理回路122に出力する。これにより、図3に示すようなメディアンフィルタ702のサイズに対応した画素値を用いてメディアン値を求めることができる。したがって、注目撮像位置と近傍注目撮像位置とが一方向に沿った同じ列上にあるときの一方向とは、メモリバッファ120に撮像素子108から順次送られる画像データを一時的に記憶することができる点から、撮像素子108が画像データを順番に出力する撮像位置の1つの配列方向(走査方向)と同じであることが好ましい。
判定回路118は、図3に示す例では、G画像データである注目撮像位置の注目画素値と、この注目撮像位置に対してX方向の前後に2つ撮像位置が離れた最近傍注目撮像位置を少なくとも含む近傍注目画素値とのばらつきが、所定の条件を満足するか否かを判定し、判定の結果が肯定である場合は、制御回路116は、補正処理回路122に補正処理をするように指示し、判定の結果が否定である場合は、制御回路116は、補正処理回路122に補正処理をしないように指示するように構成された部分である。注目画素値と近傍注目画素値とのばらつきは、例えば、それらの画素値の中の最大値と最小値の差分、標準偏差、あるいは分散である。
注目撮像位置が、撮像素子における欠陥画素の位置に対応するか否かを判定するので、欠陥画素における画素値のみをメディアン値に変更することができる。
判定回路118は、判定結果が肯定となる注目撮像位置(以下で説明する、第1注目撮像位置)の位置情報を、メモリ114に記憶する。
色画像データ生成回路124は、補正処理回路122で補正処理されたデータ、すなわち、欠陥画素の画素値が修正された画像データから、色フィルタ108bの色ごと(R,G,B)の画像情報を画素毎に含む色画像データ(輝度信号Y、色差信号Cb,Cr)を生成するように構成された部分である。色画像データ生成回路124は、色画像データを生成する際に、マトリックス演算等を必要に応じて行う。
このように、内視鏡100は、近傍撮像位置における画素値と、注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、近傍画素値及び第1注目画素値の中のメディアン値に変更し、所定の条件を満足しない(第1注目撮像位置以外の)第2注目撮像位置における第2注目画素値については変更せず維持する補正処理を、注目撮像位置を変更しながら繰り返し行う。この後、内視鏡100は、上記補正処理された画像データから、色フィルタ108bの色ごとの画像情報を画素毎に含む色画像データを生成する。
このため、撮像素子108における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散しない。しかも、近傍注目撮像位置は、注目撮像位置と同じ、一方向に沿った列上にあるので、バッファメモリ120は、メディアンフィルタ702のサイズ(図3に示す例では、1×5画素分のサイズ)に対応したサイズのメモリを設ければよいので、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
従来の内視鏡システムでは、色画像データを生成したとき、例えば3×3画素分のメディアンフィルタを用いて、欠陥画素を補正していた。このため、欠陥画素における特異な画素値が、周囲の画素値に拡散して色画像データにおいて欠陥画素の大きさを広げる場合があった。しかも、3×3画素分のメディアンフィルタを用いるので、ラインバッファメモリを用いることはできず、撮像した画像データ全体をフレームメモリに一時保管しながら、例えば3×3画素分の画素値を取り出す処理を行う必要があり、ハードウェア設備を大きく増やす必要があった。この点で、内視鏡100は、ハードウェア設備を大きく増やす必要がない。
図2に示す装置構成によれば、欠陥画素を見出すために、補正処理を行うか否かの判定を判定回路118が行うが、装置構成を簡略化して、迅速に処理を行うためには、欠陥画素を見つけることをせず、撮像素子108から順次送られてくる画像データに対して、無条件に、補正処理回路122で補正処理を行ってもよい。
したがって、この場合、補正処理回路122は、撮像素子108から出力される画像データ内の注目撮像位置における注目画素値を、注目撮像位置と同じ列上にある近傍注目撮像位置における近傍画素値及び注目画素値の中のメディアン値に変更する補正処理を、注目撮像位置を変更しながら繰り返し行うように構成される。この後、内視鏡100は、上記補正処理された画像データから、色フィルタ108bの色ごとの画像情報を画素毎に含む色画像データを生成する。
このため、この場合においても、撮像素子108における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散しない。しかも、近傍注目撮像位置は、注目撮像位置と同じ、一方向に沿った列上にあるので、バッファメモリ120は、メディアンフィルタ702のサイズ(図3に示す例では、1×5画素分のサイズ)に対応したサイズのメモリを設ければよいので、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
上述の判定回路118で用いる注目画素値と近傍注目画素値のばらつきは、近傍画素値と注目画素値の分散あるいは標準偏差であり、上述の所定の条件は、分散あるいは標準偏差が予め設定された閾値より大きいことであることが好ましい。分散あるいは標準偏差を用いることにより、欠陥画素として画素値が大きくばらついていることを定量的かつ確実に示すことができ、欠陥画素の位置をより確実に求めることができる。
撮像素子108は、生体組織を一定時間間隔で複数回走査して撮像するので、撮像素子108から動画の画像データとして、ドライバ信号処理回路112に入力される。したがって、補正処理回路122(補正処理部)は、撮像素子108による異なる少なくとも2回の撮像によって得られる画像データ間で、第1注目撮像位置が同じ位置にある場合に、第1注目画素値を、メディアン値に変更するように構成されることも好ましい。欠陥画素の位置は、撮像が異なっていても同じ位置にあるので、上記構成により、欠陥画素の位置を、他のノイズ成分の混入と区別して確実に求めることができる。
一実施形態によれば、上記撮像素子108による、撮像時刻の異なる少なくとも2回の撮像は、照明条件の異なる撮像である、ことが好ましい。照明条件が異なり、全体的に高い画素値の画像データの場合と、全体的に低い画素値の画像データの場合とでは、ノイズ成分の発生が異なり、いずれか一方の場合にノイズ成分が発生しない場合があるのに対して、欠陥画素の位置は、上記いずれの場合でも変化しない。このため、欠陥画素の位置を、他のノイズ成分の混入と区別して確実に求めることができる。
一実施形態によれば、撮像素子108は複数回撮像し、撮像素子108は、画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する2方向の間で切り換わる場合、注目撮像位置と近傍注目撮像位置とが一方向に沿った同じ列上にあるときの一方向も、画像データを順番に出力する撮像位置の配列方向の切り換えに合わせて、撮像する度に2方向の間で切り換わることが好ましい。図3に示す例では、ある撮像時の画像データについては、メディアンフィルタ702の向きX方向とし、メディアンフィルタ702の移動もX方向とし、次の撮像時の画像データについては、メディアンフィルタ702の向きY方向とし、メディアンフィルタ702の移動もY方向とすることが好ましい。
このように、撮像素子108の出力する画素データの走査方向が、撮像する度に、互いに直交する2方向の間で切り換わることで、この配列方向の切り換わることに合わせて図3に示すメディアンフィルタ702の向きもX方向からY方向に切り換えることができるので、連続する画像において、メディアンフィルタ702を用いることによる解像度の低下をX方向とY方向に交互に切り換える。このため、モニタ300に表示される画像において、画像の画質の劣化を抑制することができる。X方向及びY方向の一方向に固定してメディアンフィルタ702を用いる場合、一方向における画質が劣化し易い。
上述の実施形態における色フィルタ108bは、どのような色フィルタの配列であってもよいが、一実施形態によれば、色フィルタ108bの配列パターンは、図3に示すように、2つの色フィルタが列上に交互に配置されているパターン(ベイヤ配列)である、ことが好ましい。これにより、最近傍撮像位置は、注目撮像位置に対して、X方向あるいはY方向に2つ撮像位置が離れた極めて近い位置になるので、近傍注目画素値を効率よく取り出すことができる。
一実施形態によれば、近傍撮像位置は、最近傍撮像位置それぞれの最も近くにある、注目撮像位置とは異なる撮像位置を含むことが好ましい。すなわち、近傍撮像位置は、注目撮像位置に最も近い2つの最近傍注目撮像位置と、2つの最近傍注目撮像位置それぞれに最も近く、注目撮像位置ではない2つの撮像位置を含むことが好ましい。したがって、この場合、1つの注目撮像位置と、少なくとも4つの近傍撮像位置とを用いて、メディアン値を求めることが好ましい。これにより、欠陥画素の位置をより精度よく求めることができる。
図4(a)は、従来の内視鏡システムで表示される画像の一例を示す図であり、(b)は、一実施形態の内視鏡システムで表示される画像の一例を示す図である。
図4(a)に示す表示画像では、白く点状に表示される6つの欠陥画素710と、黒く点状に表示される1つの欠陥画素720が示されている。欠陥画素720は、欠陥画素が拡散して黒い点状の領域が広がっている。
これに対して、図4(b)に示す表示画像では、欠陥画素710,720がない。これより、本実施形態の効果は明らかである。
なお、CYGM(シアン、黄、緑、マゼンタ)フィルタおよびRGBE(赤、緑、青、エメラルド)フィルタ等の他の色フィルタでも同様の効果を得ることができる。
以上、本発明の内視鏡及び内視鏡システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配向レンズ
106 対物レンズ
108 撮像素子
108a カットフィルタ
108b 色フィルタ
112 ドライバ信号処理回路
114 メモリ
116 制御回路
118 判定回路
120 バッファメモリ
122 補正処理回路
124 色画像データ生成回路
200 電子内視鏡用プロセッサ
202 システムコントローラ
204 メモリ
206 タイミングコントローラ
208 操作パネル
210 NIC
230 光源部
300 モニタ
400 プリンタ
600 サーバ

Claims (10)

  1. 体腔内の生体組織を撮像する内視鏡であって、
    色が異なる2色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
    前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の2つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
    前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備えることを特徴とする内視鏡。
  2. 体腔内の生体組織を撮像する内視鏡であって、
    色が異なる2色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
    前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の2つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記近傍画素値と前記注目撮像位置における注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、前記近傍画素値及び前記第1注目画素値の中のメディアン値に変更し、前記所定の条件を満足しない第2注目撮像位置における第2注目画素値については変更せず維持する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
    前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備えることを特徴とする内視鏡。
  3. 前記ばらつきは、前記近傍画素値と前記注目画素値の分散あるいは標準偏差であり、
    前記所定の条件は、前記分散あるいは前記標準偏差が予め設定された閾値より大きいことである、請求項2に記載の内視鏡。
  4. 前記撮像素子は、生体組織を一定時間間隔で複数回撮像し、
    前記補正処理部は、前記撮像素子による、撮像時刻の異なる少なくとも2回の撮像によって得られる画像データ間で、前記第1注目撮像位置が同じ位置にある場合に、前記第1注目画素値を、前記メディアン値に変更するように構成されている、請求項2または3に記載の内視鏡。
  5. 前記撮像素子による前記2回の前記撮像は、照明条件の異なる撮像である、請求項4に記載の内視鏡。
  6. 前記一方向は、前記撮像素子が前記画像データを順番に出力する撮像位置の1つの配列方向と同じである、請求項1〜5のいずれか1項に記載の内視鏡。
  7. 前記撮像素子は複数回撮像し、前記撮像素子は、前記画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する2方向の間で切り換わり、
    前記一方向は、前記撮像する度に前記2方向の間で切り換わる、請求項6に記載の内視鏡。
  8. 前記配列パターンは、2つの色フィルタが前記列上に交互に配置されているパターンである、請求項1〜7のいずれか1項に記載の内視鏡。
  9. 前記近傍撮像位置は、前記最近傍撮像位置それぞれの最も近くにある、前記注目撮像位置とは異なる撮像位置を含む、請求項1〜8のいずれか1項に記載の内視鏡。
  10. 請求項1〜9のいずれか1項に記載の内視鏡と、
    前記撮像素子の撮像により得られた画像を画像処理する内視鏡用プロセッサと、
    画像処理の施された前記画像を表示するモニタと、を備える、内視鏡システム。
JP2020058551A 2020-03-27 2020-03-27 内視鏡及び内視鏡システム Pending JP2021153961A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020058551A JP2021153961A (ja) 2020-03-27 2020-03-27 内視鏡及び内視鏡システム
PCT/JP2021/004003 WO2021192644A1 (ja) 2020-03-27 2021-02-03 内視鏡及び内視鏡システム
US17/780,269 US20220409029A1 (en) 2020-03-27 2021-02-03 Endoscope and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020058551A JP2021153961A (ja) 2020-03-27 2020-03-27 内視鏡及び内視鏡システム

Publications (1)

Publication Number Publication Date
JP2021153961A true JP2021153961A (ja) 2021-10-07

Family

ID=77891400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020058551A Pending JP2021153961A (ja) 2020-03-27 2020-03-27 内視鏡及び内視鏡システム

Country Status (3)

Country Link
US (1) US20220409029A1 (ja)
JP (1) JP2021153961A (ja)
WO (1) WO2021192644A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2006081719A (ja) * 2004-09-16 2006-03-30 Olympus Corp カプセル型内視鏡システム
JP2008005194A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 欠陥画素の検出装置及び検出方法
JP2009153942A (ja) * 2007-12-28 2009-07-16 Shimadzu Corp 放射線検出器のライン状異常画像素子の検出方法と放射線撮像装置
JP2016123826A (ja) * 2015-01-08 2016-07-11 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006026234A (ja) * 2004-07-20 2006-02-02 Olympus Corp 生体内撮像装置および生体内撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2006081719A (ja) * 2004-09-16 2006-03-30 Olympus Corp カプセル型内視鏡システム
JP2008005194A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 欠陥画素の検出装置及び検出方法
JP2009153942A (ja) * 2007-12-28 2009-07-16 Shimadzu Corp 放射線検出器のライン状異常画像素子の検出方法と放射線撮像装置
JP2016123826A (ja) * 2015-01-08 2016-07-11 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
WO2021192644A1 (ja) 2021-09-30
US20220409029A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
JP5435916B2 (ja) 電子内視鏡システム
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6047467B2 (ja) 内視鏡システム及びその作動方法
WO2016121556A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
JP6389140B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2014233533A (ja) 内視鏡システム
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016117036A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
JP4694310B2 (ja) 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
JPWO2018163500A1 (ja) 内視鏡装置
JP5041936B2 (ja) 生体観測装置
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6392486B1 (ja) 内視鏡システム
JP2017158840A (ja) 内視鏡画像信号処理装置および方法並びにプログラム
US20170231469A1 (en) Processor device for endoscope,operation method thereof, and non-transitory computer readable medium
JP6346501B2 (ja) 内視鏡装置
JP4606838B2 (ja) 電子内視鏡装置
WO2021192644A1 (ja) 内視鏡及び内視鏡システム
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP7089943B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231219