JP2023073635A - 電子内視鏡用プロセッサ及び電子内視鏡システム - Google Patents

Abstract

【課題】生体組織の撮像画像を取得してエッジ強調処理を施す際、従来に比べて暗い位置で撮像された場合の画像のＳ／Ｎ比を向上させる。【解決手段】本発明の一態様は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサである。当該プロセッサは、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、生体組織に対する照明光を出射する光源装置と、撮像画像の明るさに関する情報に基づいて照明光の強度を制御する光源制御部と、照明光の強度に基づいて利得を決定し、決定した利得によって撮像画像を増幅する自動利得制御部と、自動利得制御部によって増幅された撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、自動利得制御部によって決定された利得が大きいほどエッジ強調処理の強調の程度が低下するように、エッジ強調処理部を制御する制御部と、を備える。【選択図】図２

Description

本発明は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサ及び電子内視鏡システムに関する。

人体内部の生体組織の観察や治療に電子内視鏡装置が使用されている。従来、電子内視鏡装置を用いて生体組織を撮像して得られる画像の明るさを安定させるためにＡＧＣ（automatic gain control）を用いて調整された増幅率により画像信号を増幅させることが知られている。その際、画像信号に含まれるノイズも増幅されることから、この増幅されたノイズをノイズ低減用のフィルタを用いて除去することなどが行われる。

例えば特許文献１には、ＡＧＣ回路とノイズ低減フィルタ回路を備えた内視鏡用プロセッサが記載されている。この内視鏡用プロセッサでは、撮像素子が生成する原画像信号に基づいて算出された第１の増幅率によりＡＧＣ回路が原画像信号を増幅して調整信号を生成し、ノイズ低減フィルタが第１の増幅率に基づいて調整信号のノイズを低減化させるように構成される。それによって、内視鏡による画像明るさを安定的に保ちながら、画像のノイズを適切に低減化することができる、とされている。

特開２００６－３１４５０４号公報

ところで、生体組織を撮像して得られる画像を処理する際には、病変部等の注目部位を強調するためにエッジ強調処理（エンハンス処理等）を行う場合がある。その際、従来の内視鏡用プロセッサでは、画像が暗い場合にはＡＧＣ回路における増幅率が高くなり、それによって画像信号に重畳するノイズも増幅されるため、ノイズ低減フィルタによりノイズが十分に除去できない場合がある。その場合、後段のエッジ強調処理によって画像信号のノイズ部分が強調される処理がなされ、画像信号のＳ／Ｎ比を低下させてしまうという課題があった。

そこで、本発明は、生体組織の撮像画像を取得してエッジ強調処理を施す際、従来に比べて暗い位置で撮像された場合の画像のＳ／Ｎ比を向上させることができる電子内視鏡用プロセッサ及び電子内視鏡システムを提供することを目的とする。

本発明の一態様は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサである。当該プロセッサは、
生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、
前記生体組織に対する照明光を出射する光源装置と、
前記撮像画像の明るさに関する情報に基づいて前記照明光の強度を制御する光源制御部と、
前記照明光の強度に基づいて利得を決定し、決定した前記利得によって前記撮像画像を増幅する自動利得制御部と、
前記自動利得制御部によって増幅された前記撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、
前記自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度が低下するように、前記エッジ強調処理部を制御する制御部と、
を備える。

上記電子内視鏡用プロセッサは、前記自動利得制御部によって増幅された前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部を有し、
前記エッジ強調処理部は、前記ノイズ成分が低減された前記撮像画像に対して前記エッジ強調処理を行ってもよい。

前記制御部は、前記自動利得制御部によって決定された利得に応じて前記ノイズ成分の低減度合いが変更されるように、前記ノイズ低減処理部を制御してもよい。

本発明の別の態様は、上記電子内視鏡用プロセッサと、
前記電子内視鏡用プロセッサに接続され、前記生体組織の撮像画像を取得する撮像素子を備えた電子内視鏡と、を備える電子内視鏡システムである。

上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、生体組織の撮像画像を取得してエッジ強調処理を施す際、遠くにある生体組織を撮像した場合の画像のＳ／Ｎ比を向上させることができる。

一実施形態の電子内視鏡システムの構成の一例を示すブロック図である。 図１に示す画像処理部の構成の一例を示すブロック図である。 一実施形態の電子内視鏡システムにおいて画像処理部の動作を説明する図である。 画像処理部の構成の別の例を示すブロック図である。

本実施形態の電子内視鏡用プロセッサは、光源装置により照明光を生体組織に照射し、生体組織を撮像して撮像画像を取得するように構成される。電子内視鏡用プロセッサは、光源制御部と自動利得制御部を備える。
光源制御部は、撮像画像の明るさに関する情報に基づいて照明光の強度を制御する。撮像画像の明るさに関する情報は限定しないが、例えば、撮像画像の輝度や照度である。
ＡＧＣ部（自動利得制御部の一例）は、照明光の強度に基づいて利得（「増幅率」ともいう。）を決定し、決定した利得によって撮像画像を増幅する。つまり、ＡＧＣ部は、照明光の強度に基づいて撮像画像の増幅率を決定して撮像画像を増幅する。
光源制御部とＡＧＣ部により、生体組織を撮像して得られる撮像画像の明るさが一定に保たれるように、光源装置による照明光の強度と撮像画像の増幅率が調整される。

自動利得制御部によって増幅された撮像画像は、エッジ強調処理部によってエッジ強調処理が施される。エッジ強調方法は限定しないが、例としてラプラシアンフィルタやソーベルフィルタ等の公知の空間フィルタを用いる方法が挙げられる。エッジ強調処理によって、撮像画像中に例えば病変部などの注目すべき部位が含まれている場合に、当該部位を強調して表示させることができる。
本実施形態の電子内視鏡用プロセッサは、エッジ強調処理部を制御する制御部を備える。この制御部は、自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度（例えば先鋭度）が低下するように制御する。この制御部の作用によって、特に暗い位置で撮像された場合の撮像画像のＳ／Ｎ比を向上させることができる。

すなわち、被写体として遠くにある生体組織（暗い位置にある生体組織）を撮像した場合、撮像画像の明るさは増幅率を大きくすることで維持されるが、撮像画像の重畳するノイズも大きく増幅されて後段にノイズ低減フィルタを設ける場合でもノイズが十分に除去できない。その場合に、撮像画像の増幅率を大きくした分、エッジ強調の程度を低下させる（エッジ強調を弱める、あるいは先鋭度を下げる）ように制御することで、ノイズ部分に対するエッジ強調が弱められ、全体として画像のＳ／Ｎ比を向上させることができる。
また、その生体組織を近くで撮像する場合には、撮像画像に対する増幅率を大きくしなくても撮像画像の明るさが維持され、撮像画像の重畳するノイズも大きく増幅されることはない。その場合、エッジ強調の程度を低下させない（エッジ強調を強める、あるいは先鋭度を上げる）ように制御することで、ノイズ部分が強調されることなく（つまり、Ｓ／Ｎ比を低下させることなく）はっきりとした画像を得ることができる。

以下、本実施形態の電子内視鏡システムについて図面を参照しながら詳細に説明する。
図１は、本実施形態の電子内視鏡システム１の構成の一例を示すブロック図である。図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ（内視鏡）１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２１及びタイミングコントローラ２２を備えている。システムコントローラ２１は、メモリ２３に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２１は、操作パネル２４に接続されている。システムコントローラ２１は、操作パネル２４に入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２２は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

プロセッサ２００は、光源装置２０１を備えている。光源装置２０１は、体腔内の生体組織等の被写体を照明するための照明光Ｌを出射する。照明光Ｌは、白色光、擬似白色光、あるいは特殊光を含む。一実施形態によれば、光源装置２０１は、白色光あるいは擬似白色光を照明光Ｌとして常時射出するモードと、白色光あるいは擬似白色光と、特殊光が交互に照明光Ｌとして射出するモードの一方を選択し、選択したモードに基づいて、白色光、擬似白色光、あるいは特殊光を射出することが好ましい。白色光は、可視光帯域においてフラットな分光強度分布を有する光であり、擬似白色光は、分光強度分布はフラットではなく、複数の波長帯域の光が混色された光である。特殊光は、可視光帯域の中の青色あるいは緑色等の狭い波長帯域の光である。青色あるいは緑色の波長帯域の光は、生体組織中の特定の部分を強調して観察する時に用いられる。光源装置２０１から出射した照明光Ｌは、集光レンズ２５によりＬＣＢ（Light Carrying Bundle）１１の入射端面に集光されてＬＣＢ１１内に入射される。

ＬＣＢ１１内に入射された照明光Ｌは、ＬＣＢ１１内を伝播する。ＬＣＢ１１内を伝播した照明光Ｌは、電子スコープ１００の先端に配置されたＬＣＢ１１の射出端面から射出され、配光レンズ１２を介して被写体に照射される。配光レンズ１２からの照明光Ｌによって照明された被写体からの戻り光は、対物レンズ１３を介して固体撮像素子１４の受光面上で光学像を結ぶ。

固体撮像素子１４は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１４は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１４は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１４はまた、補色系フィルタを搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１５が備えられている。ドライバ信号処理回路１５には、固体撮像素子１４から被写体の画像信号が所定のフレーム周期で入力される。フレーム周期は、例えば、１／３０秒である。ドライバ信号処理回路１５は、固体撮像素子１４から入力される画像信号に対してＡ／Ｄ変換を含む所定の処理を施してプロセッサ２００の画像処理部２２に出力する。
画像処理部２２は、後述する所定の画像処理を行ってビデオフォーマット信号を生成し、モニタ３００に出力する。

ドライバ信号処理回路１５は、また、メモリ１６にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１６に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１４の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１５は、メモリ１６から読み出された固有情報をシステムコントローラ２１に出力する。この固有情報には、例えば、固体撮像素子１４の画素数や解像度等の素子特有の情報、さらには、光学系に関する画角、焦点距離、被写界深度等の情報も含まれてもよい。

電子内視鏡用プロセッサ２００には、画像処理部２２から画像信号の輝度情報（明るさに関する情報の一例）を取得し、その輝度情報に基づいて光源装置２０１の照明光の強度を制御する光源制御部２６を備える。
光源制御部２６は、明るさが少ない場合には光源装置２０１から照射される照明光の強度が高くなり、明るさが大きい場合には光源装置２０１から照射される照明光の強度が低くなるように、光源装置２０１を制御する。それによって、ドライバ信号処理回路１５から受信する画像信号の明るさが一定に維持されるように制御される。

システムコントローラ２１は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２１は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープ１００に適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

システムコントローラ２１は、ドライバ信号処理回路１５にクロックパルスを供給する。ドライバ信号処理回路１５は、システムコントローラ２１から供給されるクロックパルスに従って、固体撮像素子１４をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

次に、図２を参照して、画像処理部２２についてさらに説明する。図２は、画像処理部２２の構成の一例を示すブロック図である。
図２に示すように、画像処理部２２は、ＡＧＣ部２２１、前段処理部２２２、ノイズ低減処理部２２３、エッジ強調処理部２２４、後段処理部２２５、及び、強度制御部２２６を備える。
なお、画像処理部２２は、システムコントローラ２１がメモリ２３に記憶されたプログラムを起動してモジュールとして形成するソフトウェアモジュールであってもよく、また、ＦＰＧＡ（Field-Programmable gate Array）で構成されたハードウェアモジュールであってもよい。

ＡＧＣ部２２１は、ドライバ信号処理回路１５から１フレーム周期で入力される画像信号を光源制御部２６によって制御される増幅率によって増幅して、前段処理部２２２に出力する。光源制御部２６は、画像信号の明るさ情報に応じてＡＧＣ部２２１における増幅度を制御する。例えば、暗い画像である場合には、画像信号に対する増幅率（利得）が大きくなるようにＡＧＣ部２２１が制御される。

前段処理部２２２は、ＡＧＣ部２２１によって増幅された画像信号に対してデモザイク処理、マトリックス演算等の所定の信号処理を施す。
ノイズ低減処理部２２３は、例えばローパスフィルタを行うデジタルフィルタによって画像信号に含まれる高周波成分を除去することにより行われる。ノイズ低減処理部２２３によって、画像信号に重畳されているノイズが除去又は抑制される。
エッジ強調処理部２２４は、ノイズ低減処理部２２３から入力される画像信号に対してエッジ強調処理を行う。エッジ強調処理の方法は限定しないが、ラプラシアンフィルタやソーベルフィルタ等の公知の空間フィルタを用いる方法が挙げられる。エッジ強調処理部２２４では、エッジ強調の程度（つまり、エッジ強調の強度、あるいは、先鋭度ともいう。）を調整可能に構成されている。

強度制御部２２６は、ＡＧＣ部２２１から増幅率のデータを取得し、エッジ強調処理部２２４に対するエッジ強調の強度に対する制御を行う。エッジ強調処理部２２４を、ラプラシアンフィルタを用いて構成する場合には、例えばラプラシアンフィルタのカーネルの係数を調整することによりエッジ強調の強度が調整される。

後段処理部２２５は、エッジ強調処理部２２４によりエッジ強調が施された画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、被写体の画像がモニタ３００の表示画面に表示される。

次に、図３を参照して、本実施形態の電子内視鏡システム１における画像処理部２２の動作について説明する。図３では、（ａ）理想的な場合、（ｂ）比較例、及び、（ｃ）実施例を含む。
（ａ）の理想的な場合とは、明るさが十分な状態（例えば、被写体として近くの生体組織を撮像した場合）であって、かつノイズ低減処理によって画像信号に含まれるノイズがすべて除去される場合である。
（ｂ）の比較例とは、被写体として遠くにある生体組織（暗い位置にある生体組織）を撮像した場合であって、ＡＧＣは行われるが、強度制御が行われない場合である。
（ｃ）の実施例とは、（ｂ）と同様に、被写体として遠くにある生体組織（暗い位置にある生体組織）を撮像した場合である。（ｃ）の実施例は（ｂ）と異なり、上述した構成の電子内視鏡システム１によって処理がなされた場合、つまり、ＡＧＣが行われ、かつ強度制御が行われる場合である。

図３（ａ）～（ｃ）のそれぞれにおいて、状態Ｓ１はＡＧＣが行われる前の画像信号の状態を示し、状態Ｓ２はＡＧＣが行われた後の画像信号の状態を示し、状態Ｓ３はノイズ低減処理が行われた後の画像信号の状態を示し、状態Ｓ４はエッジ強調処理が行われた後の画像信号の状態を示している。

先ず、図３（ａ）を参照すると、明るさが十分な状態であるため、ＡＧＣが行われる前の状態Ｓ１の画像信号の信号レベルが比較的高い。画像信号にはノイズが重畳している。画像信号のレベルが比較的高いことからＡＧＣにおける増幅率が小さく設定される。例えば増幅率が１倍（等倍）であるとすると、ＡＧＣが行われた後の状態Ｓ２の画像信号の信号レベル及びノイズレベルは、状態Ｓ１と変化がない。

次いで、ノイズ低減処理が行われると、状態Ｓ３に示すように、画像信号に重畳していた高周波成分のノイズが除去される。最後に、状態Ｓ４においてエッジ強調処理を施すと、信号レベルの変化が急峻な部分が強調された画像信号が得られる。

次に、図３（ｂ）を参照すると、被写体として遠くにある生体組織（暗い位置にある生体組織）を撮像した場合であるため、ＡＧＣが行われる前の状態Ｓ１の画像信号の信号レベルは比較的低い。画像信号にはノイズが重畳しているが、ノイズのレベルは、明るさが十分である場合と同程度であるため、Ｓ／Ｎ比が低い状態となっている。画像信号のレベルが比較的低いことからＡＧＣにおける増幅率が大きく設定される。例えば増幅率が４倍であるとすると、ＡＧＣが行われた後の状態Ｓ２の画像信号の信号レベル及びノイズレベルは、いずれも状態Ｓ１と比較して４倍となる。

次いで、ノイズ低減処理が行われるが、状態Ｓ２においてノイズレベルが増幅されていることから、ノイズレベルが小さい図３（ａ）の場合と異なり、ノイズが十分に除去できない。そして、ノイズが含まれた状態の画像信号に対してエッジ強調処理を行うと、ノイズの部分に対してエッジ強調されるため、画像が劣化することになる。

次に、図３（ｃ）を参照すると、状態Ｓ１から状態Ｓ３までは、図３（ｂ）と同じである。ここで、ＡＧＣにおける増幅率が大きいことから、増幅率のデータが入力された強度制御部２２６では、エッジ強調の程度を図３（ｂ）の場合と比較して低下させるように制御される。その結果、状態Ｓ４に示すように、除去されなかったノイズ部分でエッジ強調されることが抑制され、図３（ｂ）の場合と比較して画像のＳ／Ｎ比を改善することができる。

図３（ｃ）に示すように、本実施形態の電子内視鏡システム１では、暗い位置にある生体組織を撮像した場合に従来と比較して画像のＳ／Ｎ比を改善することができる。図３（ｃ）の場合、図３（ａ）の理想的な場合と比較すると十分な強調処理が得られないが、被写体に対して電子スコープ１００の先端を近付けた場合には、明るさが十分となりＡＧＣ部２２１にて設定される増幅率が低下するため、強度制御部２２６におけるエッジ強調の程度を低下させずに済むことから、図３（ａ）の場合と同様に、信号レベルの変化が急峻な部分が強調された画像信号を得ることができる。

一実施形態では、図４に示すように、強度制御部２２６が、ＡＧＣ部２２１によって決定された増幅率に応じてノイズ成分の低減度合い（つまり、ノイズ低減処理の強度）が変更されるように、ノイズ低減処理部２２３を制御することも好ましい。
例えば、図３に例示した場合、ＡＧＣによる増幅率を４倍にするとノイズも４倍になるため、画像信号に影響がない範囲内でノイズ低減の強度を上げるようにするとよい。ノイズ低減の強度を上げたことでノイズが低下した分、エッジ強調の強度を上げてもノイズが目立たなくなるため、エッジ強調処理の強度を上げる余地が生ずる。
すなわち、ＡＧＣ部２２１における増幅率に応じて、ノイズ低減処理の強度とエッジ強調処理の強度とをバランス良く調整することで、後段処理部２２５に送る画像信号を最適なものにすることができる。

以上、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１…電子内視鏡システム
１１…ＬＣＢ
１２…配光レンズ
１３…対物レンズ
１４…固体撮像素子
１５…ドライバ信号処理回路
１６…メモリ
２１…システムコントローラ
２２…画像処理部
２３…メモリ
２４…操作パネル
２６…光源制御部
１００…電子スコープ
２００…プロセッサ
２０１…光源装置
２２１…ＡＧＣ部
２２２…前段処理部
２２３…ノイズ低減処理部
２２４…エッジ強調処理部
２２５…後段処理部
２２６…強度制御部
３００…モニタ

Claims (4)

1. 生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、
   前記生体組織に対する照明光を出射する光源装置と、
   前記撮像画像の明るさに関する情報に基づいて前記照明光の強度を制御する光源制御部と、
   前記照明光の強度に基づいて利得を決定し、決定した前記利得によって前記撮像画像を増幅する自動利得制御部と、
   前記自動利得制御部によって増幅された前記撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、
   前記自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度が低下するように、前記エッジ強調処理部を制御する制御部と、
   を備えた電子内視鏡用プロセッサ。
2. 前記自動利得制御部によって増幅された前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部を有し、
   前記エッジ強調処理部は、前記ノイズ成分が低減された前記撮像画像に対して前記エッジ強調処理を行う、
   請求項１に記載された電子内視鏡用プロセッサ。
3. 前記制御部は、前記自動利得制御部によって決定された利得に応じて前記ノイズ成分の低減度合いが変更されるように、前記ノイズ低減処理部を制御する、
   請求項２に記載された電子内視鏡用プロセッサ。
4. 請求項１～３のいずれか一項に記載の電子内視鏡用プロセッサと、
   前記電子内視鏡用プロセッサに接続され、前記生体組織の撮像画像を取得する撮像素子を備えた電子内視鏡と、
   を備える電子内視鏡システム。

Images