JP2022054722A - 内視鏡用プロセッサ及び内視鏡システム - Google Patents

内視鏡用プロセッサ及び内視鏡システム Download PDF

Info

Publication number
JP2022054722A
JP2022054722A JP2020161900A JP2020161900A JP2022054722A JP 2022054722 A JP2022054722 A JP 2022054722A JP 2020161900 A JP2020161900 A JP 2020161900A JP 2020161900 A JP2020161900 A JP 2020161900A JP 2022054722 A JP2022054722 A JP 2022054722A
Authority
JP
Japan
Prior art keywords
evaluation value
degree
representative
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020161900A
Other languages
English (en)
Other versions
JP7455717B2 (ja
Inventor
貴雄 牧野
Takao Makino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2020161900A priority Critical patent/JP7455717B2/ja
Priority to EP21872118.1A priority patent/EP4218535A1/en
Priority to PCT/JP2021/032170 priority patent/WO2022064987A1/ja
Priority to US17/912,725 priority patent/US20230142219A1/en
Priority to CN202180017682.5A priority patent/CN115190775A/zh
Priority to DE112021005012.5T priority patent/DE112021005012T5/de
Publication of JP2022054722A publication Critical patent/JP2022054722A/ja
Application granted granted Critical
Publication of JP7455717B2 publication Critical patent/JP7455717B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

Figure 2022054722000001
【課題】従来に比べて、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡用プロセッサを提供する。
【解決方法】内視鏡用プロセッサは、生体組織の病変の進行の程度を1つの値で表した病変の重症度を求める画像処理ユニットと、を備える。前記画像処理ユニットは、病変部に現れる外観の第1特徴の程度を示す第1画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、前記第1画素評価値を統合して第1代表評価値を算出する代表値算出部と、前記第1代表評価値の変化に対する前記重症度の変化を示す前記第1代表評価値の影響度を、画像の色成分の情報に基づいて調整し、また、少なくとも、前記第1特徴と異なる別の第2特徴の程度を示す第2画素評価値を統合した第2代表評価値に基づいて調整し、調整した前記影響度を用いて、少なくとも前記第1代表評価値に基づいて前記病変の重症度を算出する統合部と、を備える。
【選択図】図1

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡用プロセッサ及び内視鏡システムに関する。
生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫部や易出血性部を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
しかし、術者が内視鏡の画像内に含まれる色の相違によって健常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の進行の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡システムが知られている(特許文献1)。
国際公開第2019/159770号
上記内視鏡システムは、体腔内の生体組織を撮像して得られる生体組織の画像から、生体組織の病変の進行の程度を数値化した病変の重症度を求める画像処理ユニットを含む。この画像処理ユニットは、特徴量算出部と、代表値算出部と、統合部と、を備える。
特徴量算出部は、複数の外観の特徴のそれぞれを、病変部が示す色成分あるいは形状により生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を画素毎に算出する。
代表算出部は、算出した画素評価値のそれぞれを、複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する。
統合部は、算出した代表評価値のうち少なくとも2つの代表評価値を演算して統合した1つの数値を病変の重症度として算出する。
これにより、生体組織の病変部における病変の進行の程度を精度よく評価することができる。
上記内視鏡システムの統合部で行われる、少なくとも2つの代表評価値を用いた演算は、少なくとも2つの代表評価値に重み係数を乗算した積を加減算する処理であり、また、演算では、特定の代表評価値が所定の閾値を超えるか否かによって演算の種類を変える。しかし、特定の代表評価値が所定の閾値を超えるか否かによって演算の種類を変える場合、対象とする病変の種類が変わると、上記閾値は変化するので、上記閾値を病変の種類によって種々揃えておくことは、システムが煩雑になることから好ましくない。また、代表評価値が上記閾値付近で変動するような場合、演算結果である重症度も不安定に大きく変動し易い。このため、従来用いていた上記閾値のようなパラメータを用いずに病変部における病変の進行の程度を精度よく評価することが好ましい。
また、生体組織の病変部における病変の進行の程度を従来に比べて安定して精度よく評価するためには、各画素の画素評価値を1つに纏めた代表評価値は、安定して適切に表すことができることが好ましい。
そこで、本発明は、従来に比べて、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡用プロセッサ及び内視鏡システムを提供することを目的とする。
本発明の一実施形態は、内視鏡用プロセッサである。当該内視鏡用プロセッサは、体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含む。
前記画像処理ユニットは、
前記病変部に現れる外観の第1特徴を、前記病変部が示す第1色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第1特徴に対応した画素評価値であって、前記第1色成分、あるいは前記病変部の形状に関する、前記第1特徴の程度を示す第1画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第1画素評価値を纏めることにより前記生体組織の前記第1特徴の第1代表評価値を算出するように構成された代表値算出部と、
前記第1代表評価値の変化に対する前記重症度の変化を示す前記第1代表評価値の影響度を、前記第1色成分と異なる前記画像の第2色成分の情報に基づいて調整し、あるいは、前記第1特徴と異なる別の第2特徴の程度を示す第2画素評価値を纏めて得られた第2代表評価値に基づいて調整することにより、少なくとも前記第1代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備える。
前記重症度は、少なくとも前記第1代表評価値を説明変数とする多項式に従って算出され、
前記影響度は、前記多項式の前記第1代表評価値に係る係数である、ことが好ましい。
前記多項式は、前記病変の進行の程度に関する評価結果として評価値が定まっている参照画像を用いて、前記第1画素評価値と、前記第2色成分の情報を示す値あるいは前記第2画素評価値とを説明変数とし、前記参照画像における前記評価値を前記重症度の値とし、前記重症度の値を目的変数として重回帰分析を事前に行うことで得られた前記重症度に関する回帰式である、ことが好ましい。
前記統合部は、前記第1代表評価値をXとし、前記第2代表評価値をYとしたとき、係数α,β,γと定数dとを用いて、前記重症度=α・X+β・Y+γ・X・Y+dに従って計算する、ことが好ましい。
前記統合部は、前記第1代表評価値をXとし、前記第2色成分の情報を示す値をZとしたとき、係数α,βと定数dとを用いて、前記重症度=α・X+β・X・Z+dに従って計算する、ことが好ましい。
前記第1代表評価値の影響度は、前記第2代表評価値あるいは前記第2色成分の情報の他に、前記第1特徴及び前記第2特徴と異なる別の第3特徴の程度を示す第3画素評価値を纏めて得られた第3代表評価値を少なくとも用いて調整する、ことが好ましい。
前記第1特徴及び前記第2特徴のそれぞれは、前記生体組織の炎症部が呈する色成分の程度、前記生体組織の筋状に延びる血管を示す血管領域が呈する色成分の程度、及び、前記生体組織の潰瘍部が呈する色成分の程度のいずれか1つである、ことが好ましい。
前記第1代表評価値は、前記生体組織の前記病変部の前記画像における前記第1画素評価値のヒストグラムで頻度が1以上のビンの合計ビン数である、ことが好ましい。
前記第1代表評価値は、前記生体組織の炎症部分が呈する色成分の程度を示す値である、ことが好ましい。
前記第2色成分の情報は、外部から前記体腔内に導入されて前記生体組織上にある残渣が呈する色成分に関する特徴量である、ことが好ましい。
本発明の他の一態様は、体腔内の生体組織を撮像するように構成された電子内視鏡と、前記電子内視鏡に接続される、前記内視鏡用プロセッサと、を備える内視鏡システムである。
上述の内視鏡システムによれば、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
一実施形態の内視鏡システムで行う処理の一例を説明する図である。 一実施形態の内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡用プロセッサ内の重症度の計算を行う画像処理ユニットの構成を説明する図である。 一実施形態の内視鏡用プロセッサで用いる色空間内における基準軸の例を説明する図である。 一実施形態の内視鏡用プロセッサで用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。 (a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。 一実施形態の内視鏡用プロセッサで行う血管領域の抽出方法の一例を説明する図である。 一実施形態の内視鏡用プロセッサで用いるテンプレートを空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。 一実施形態の内視鏡用プロセッサで用いる代表評価値の一例を説明する図である。 一実施形態の内視鏡用プロセッサで用いる生体組織赤色度の代表値の影響度の一例を示す図である。 一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの一例を示す図である。
以下、本発明の実施形態の内視鏡用プロセッサ及び内視鏡システムについて図面を参照しながら説明する前に、まず、一実施形態の内視鏡システムの概念を説明する。
(内視鏡システムにおける重症度の計算)
生体組織における病変部は、病変の進行の程度によって、炎症から潰瘍まで種々存在する。例えば、従来の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、従来の内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、算出した複数の代表評価値のうち少なくとも2つの代表評価値を演算して統合した1つの数値を病変の重症度の値とする。上記演算は、事前に重症度と複数の代表評価値との間の関係を表した式に従って行われる。しかし、この式では、ある1つの代表評価値の重症度に対する影響度、すなわち、代表評価値の変化に対する重症度の変化は一定であるため、実際の病変の進行の程度の評価結果との乖離がある場合があった。また、代表評価値の重症度に対する影響度を変化させるために、従来、代表評価値の1つの閾値に対する高低に応じて、重症度を計算する計算式を変更させる場合もあった。
これに対して、本発明の一実施形態の内視鏡システムでは、複数の代表評価値から病変の重症度を算出する際、複数の代表評価値の1つである第1代表評価値の影響度を調整することにより、少なくとも第1代表評価値に基づいて病変の重症度を算出する。影響度の調整は、第1代表評価値の算出の際に注目する画像の第1色成分と異なる画像の第2色成分の情報に基づいて行われ、あるいは、少なくとも、第1特徴と異なる別の第2特徴の程度を示す第2代表評価値に基づいて行われる。なお、影響度の調整は、第2代表評価値に基づいて行われることに限定されず、第1特徴及び第2特徴と異なる別の第3,第4特徴等の特徴の程度を示す第3代表評価値、第4代表評価値等に基づいて行われてもよい。
外観の特徴は、病変部が示す特定の色成分の程度を含む。例えば、炎症部が呈する赤色の程度である。この場合、この特徴の程度を数値化した画素毎の画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。また、別の外観の特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度である。この場合の特徴の程度を数値化した画素毎の画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。また、別の外観の特徴は、潰瘍部が呈する特定の色成分、たとえば白色の程度である。
外観の特徴は、形状に関するものも含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。
図1は、一実施形態の内視鏡システムで行う処理の一例を説明する図である。図1に示す例では、複数の代表評価値として、生体組織の炎症の程度を示す生体組織赤色度の代表値、血管領域における赤色の程度を示す血管赤色度の代表値、及び潰瘍の程度を示す生体組織白色度の代表値が少なくとも含まれる。これらの代表評価値の算出方法については後述する。
一方、事前処理として、予め病変の進行の程度(重症度)の評価結果が定まっている参照画像が複数用意され、これらの参照画像それぞれにおいて上記複数の代表評価値が事前に算出される。これらの3つの代表評価値を含む複数の代表評価値を組み合わせて予測される重症度が、各参照画像において定まっている病変の進行の程度(重症度)の評価結果に最も相関して対応するように、複数の代表評価値を用いて予測式を算出する。この予測式が、内視鏡システムにおける重症度の計算の前に抽出され設定される。なお、病変の進行の程度(重症度)の評価結果は、例えば、医師による主観評価結果(例えば、MAYO endoscopic subscore)、組織学的な評価結果、あるいは病理学的な診断スコア(Geboes score,RHI(反応性充血指数))である。例えば、RHI(反応性充血指数)では、0~33の34段階の値で評価される。
次に、生体組織を、電子内視鏡で撮像することにより画像から得られた、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値を含む複数の代表評価値を算出し、算出した複数の代表評価値から予測式を用いて重症度を算出する。
このとき、予測式では、複数の代表評価値の1つである第1代表評価値の重症度に対する影響度が調整される。影響度の調整は、第1代表評価値の算出の際に注目する画像の第1色成分と異なる画像の第2色成分の情報に基づいて行われ、あるいは、少なくとも、第1特徴と異なる別の第2特徴の程度を示す第2代表評価値に基づいて行われる。
例えば、炎症の程度を示す生体組織赤色度の代表値の重症度に対する影響度を、血管赤色度の代表値に基づいて調整する。あるいは、生体組織赤色度の代表値の影響度を、青色の色成分の情報に基づいて調整する。予測式が第1代表評価値及び第2代表評価値を少なくとも用いる多項式で表される場合、多項式は、例えば、第1代表評価値及び第2代表評価値のそれぞれに係る係数を掛けて加減算した項に加え、第1代表評価値と第2代表評価値の積にこの積に係る係数を掛けた項を含む。したがって、この場合、第1代表評価値が重症度に与える影響度は、第1代表評価値に掛けた係数の他に、第1代表評価値と第2代表評価値の積に係る係数と第2代表評価値との積も少なくとも加わる。したがって、第1代表評価値が重症度に与える影響度は、少なくとも第2代表評価値に基づいて調整される。
第2色成分の情報は、例えば、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量である。
このように第1代表評価値の重症度に対する影響度が、第2色成分の情報に基づいて、あるいは、第2特徴の程度を示す第2代表評価値に基づいて調整されるので、辞意際の病変の進行の程度(重症度)からの乖離を小さくすることができる。これにより、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
図2は、本発明の一実施形態の電子内視鏡システム1の構成を示すブロック図である。図2に示されるように、電子内視鏡システム1は、電子内視鏡100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子内視鏡100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡100の光ファイバの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
なお、図2に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子内視鏡100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
光源部230が射出する照明光は、白色光に限らず、所定の狭い波長帯域を波長帯域とする狭帯域光等の特殊光であってもよい。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子内視鏡100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
固体撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。このように、電子内視鏡100は、固体撮像素子108を用いて、体腔内の生体組織を撮像する。
電子内視鏡100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb、Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子内視鏡100の固有情報を読み出す。メモリ114に記録される電子内視鏡100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、電子内視鏡100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子内視鏡100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、電子内視鏡100で得られた生体組織の病変部の画像から、生体組織の病変の進行の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度を求める。また、画像処理ユニット220は、重症度を求めるための数値化処理を行う際に得られる生体組織赤色度や血管赤色度等に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット220は、重症度の情報及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて注目する生体組織の病変の重症度を受けることができる。画像処理ユニット220は、必要に応じてプリンタ400にカラーマップ画像及び重症度の情報を出力する。
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、内視鏡検査結果をサーバ600に保存させることができる。
図3は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット220の構成を説明する図である。
画像処理ユニット220は、電子内視鏡100で得られた生体組織の画像から、生体組織の病変の進行の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット220は、前処理部220a、特徴量算出部220b、代表値算出部220c、及び統合部220dを備える。
特徴量算出部220bは、一実施形態として、複数の代表評価値は、第1代表評価値と第2代表評価値であり、第1代表評価値を算出するための第1画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第2代表評価値を算出するための第2画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb、Cr)を所定のマトリックス係数を用いて画像色成分(R、G、B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R、G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0~255、G成分の画素値=0~255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620~750nm、波長495~570nm、及び波長450~495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度及び血管赤色度を評価するために必要なRG平面内の基準軸が設定される。
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的である。病変部の病変の進行の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色(R成分)が他の色(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R、G、Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R、G、Bの画像色成分の値が8ビット階調の場合、255又は255に近い値)となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色(黄色)が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
そこで、図4に示されるように、RG色空間内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。図4は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
図4に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に健常部であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図4に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図4に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い部分ほど画像の色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図4に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
一方、健常部に近いほど画像の色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図4に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、炎症の程度が低くなるほど(健常部に近いほど)プロットされる画素対応点が収束する軸である。
補足すると、病変部の病変の進行の程度の最も高い部分は、出血を伴う。一方、病変の進行の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図4に示されるRG色空間内のプロットは、血液(ヘモグロビン色素)の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図4に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
前処理部220aは、炎症評価値の算出の前に、RG色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように(言い換えると、電子内視鏡の個体間誤差を抑えるために)、前処理部220aは、各画素のRG色空間内の画素対応点である画素データ(R,G)を、補正マトリックス係数を用いて下記式に示すように補正する。
Figure 2022054722000002
new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00~M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
特徴量算出部220bは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図5は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部220bは、図5に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、基準軸AX1に対してずれるずれ角度θを算出する。なお、基準点O’は座標(-150,-75)に位置する。基準点O’を座標(-150,-75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
基準点O’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点O’は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
また、例えば、基準点O’を座標(-10,-10)から(10,10)の間に設定すると、座標(-150,-75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(-50,-50)から(-200,-200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸AX2上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸AX2に対するずれ角度θが一定のまま移動して基準点O’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
ずれ角度θが小さいほどR成分がG成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどG成分がR成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部220bは、ずれ角度θがゼロであるときに値255となり、ずれ角度θがθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。すなわち、評価値算出部220bは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、0~255の範囲に収まる生体組織赤色度(第1画素評価値)を求める。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図5に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
特徴量算出部220bは、ずれ角度θに基づいて生体組織赤色度を第1画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度(第3画素評価値)を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン(利得)を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部は白色を示し、浮腫や易出血性を含む赤色を示す炎症部や黄色あるいは緑色を示す正常部と色成分によって区別することができる。生体組織白色度は、図5に示すような2つの色成分(R成分、G成分、B成分のうち2つ)あるいは3つの色成分(R成分、G成分、B成分)の座標軸とする色空間上に表した、ヘモグロビン変化軸AX1とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部220aが行う。
特徴量算出部220bは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、画素評価値が0~5の範囲では青色が対応付けられており、該画素評価値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が250~255の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部220bは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部220bは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
特徴量算出部220bは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図6(a)に示すように、生体組織を撮像した画像には、病変部Xの近傍には、粘膜を通して透けて見える筋状の血管領域Yの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図6(b)に示すカラーマップ画像においても、血管領域Yは炎症部と同じ色で表示される場合がある。図6(a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部220bは、血管領域Yの確からしさを求め、確からしさに基づいて血管領域Yを抽出する。
図7は、一実施形態における血管領域Yを抽出する方法の一例を説明する図である。
特徴量算出部220bは、生体組織の画像の一部の検査対象エリアARの形状と複数のテンプレートTP1~TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1~TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアARにおける血管領域Yの確からしさとする。テンプレートTP1~TP4は、画素で構成され、テンプレートTP1~TP4は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートTP1~TP4は、それぞれの直線形状に合わせて各画素は画素値を有する。図7に示すように、画像の端から矢印に沿って順番に検査対象エリアARをオーバーラップさせながら移動させることにより、検査対象エリアAR内の画像の画素評価値とテンプレートTP1~TP4それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートTP1~TP4は、血管を特徴付ける形状として、直線を4つの異なる延在方向に延ばした4つの直線形状を備える。検査対象エリアARが血管領域を含む場合、検査対象エリアAR内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Yを抽出することができる。テンプレートTP1~TP4は、図6に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートTP1~TP4の画素の値と、検査対象領域ARの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートTP1~TP4の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアARの対応する画素の画像評価値を乗算して合計した値であってもよい。
テンプレートTP1~TP4のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアARの中心画素に与えられる。
図8は、テンプレートTP1を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートTP1は、図8に示すように、図中の上下方向に直線が延びる形状を有する。図7では、一例として、テンプレートTP1は、5×5画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として1/5が与えられ、それ以外の画素には、フィルタ係数として-1/20が与えられている。フィルタ係数のそれぞれと検査対象エリアARの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアARのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアARに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートTP1に近似する像を含んでいるといえる。したがって、テンプレートTP1~TP4のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Yの確からしさとして、検査対象領域ARの中心画素に与える。すなわち、血管領域Yの確からしさの値は、検査対象エリアARの中心画素に与えられる。
このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートTP1~TP4のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートTP1~TP4のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Yを反映した画素値となっている。したがって、特徴量算出部220bは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Yにあると判定することにより、血管領域Yを抽出する。
特徴量算出部220bは、抽出した血管領域Yに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Yに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部220bは、血管の確からしさを0~1の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部220bは、生体組織赤色度を第1画素評価値として算出し、血管赤色度を第2画素評価値として算出する。したがって、この実施形態における第1画素評価値は、画像の炎症部が示す色成分の程度を示す評価値であり、第2画素評価値は、画像中の血管の形状をなした部分に含まれる色成分の程度を示す評価値である。
代表値算出部220cは、特徴量算出部220bが算出した各画素の生体組織赤色度(第1画素評価値)を纏めることにより撮像した生体組織の生体組織赤色度の代表値(第1代表評価値)を算出し、さらに、特徴量算出部220bが算出した各画素の血管赤色度(第2画素評価値)を纏めることにより撮像した血管赤色度の代表値(第2代表評価値)を算出する。
画像における代表評価値である生体組織赤色度の代表値及び血管赤色度の代表値を算出する処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、画素評価値である生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも2つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Pを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば1/(1+e-P)である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
一実施形態では、画像における代表評価値は、各画素における画素評価値のヒストグラムにおいて頻度が1以上のビン(データ区間)の合計ビン数であることも好ましい。図9は、一実施形態の内視鏡システムで用いる代表評価値の一例を説明する図である。図9に示す例では、頻度が1以上の画素評価値の範囲のビン数は、具体的にビン数1については16であり、ビン数2については2である。したがって、図9に示す例では、代表評価値は、合計ビン数18(=16+2)となる。このような合計ビン数を代表評価値として用いる場合、ヒストグラムにおけるデータ区間は、予め設定されて固定されている。
従来、画素評価値の平均値や最大値を代表評価値として用いた場合、画素評価値の高い画素が変化しなくても、画素評価値の低い画素(例えば、生体組織赤色度において赤色の程度が低い画素)が多くなると、画素評価値の低い画素の量に引きずられ平均値を下げる。また、画素評価値の高い画素があまり変化しなくても、最大の画素評価値にノイズ成分が混入して高くなると、最大値は大きくなる。このように、注目しない画素評価値の画素の量に引きずられて、あるいは、ノイズ成分に引きずられて代表評価値が変動することは、精度の高い重症度を算出するためには好ましくない。この点、合計ビン数は、注目しない画素評価値を持つ画素の量に引きずられることはなく、また、ノイズ成分による影響を受けることもないので、頑健で安定した代表評価値として用いることができる。このため、精度の高い重症度を安定して算出することができる。
このような合計ビン数を代表評価値として用いる場合、代表評価値は、生体組織の炎症部分が呈する色成分の程度を示す値、例えば生体組織赤色度の代表値に適用することが好ましい。生体組織の炎症部は赤色の程度が高い一方、炎症部以外の健常部は、赤色の程度が低いので、安定した代表評価値を得る点で合計ビン数を代表評価値として用いることは好ましい。
統合部220dは、生体組織赤色度の代表値(第1代表評価値)及び血管赤色度の代表値(第2代表評価値)を統合することにより、病変の重症度を算出する。すなわち、生体組織赤色度の代表値(第1代表評価値)及び血管赤色度の代表値(第2代表評価値)に基づいて病変の重症度を算出する。その際、統合部220dは、生体組織赤色度の代表値(第1代表評価値)の変化に対する重症度の変化を示す生体組織赤色度の代表値(第1代表評価値)の影響度を、血管赤色度の代表値に基づいて調整する。このように、重症度に対する代表評価値の影響度が調整されるので、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
図10は、生体組織赤色度の代表値の影響度の一例を示す図である。図10に示すプロット(丸印)は、参照画像における生体組織赤色度の代表値に対する、参照画像における病変の進行の程度を示す評価値(重症度の値)を示している。その際、血管赤色度の代表値は、高(点線の白色の丸印)、中(灰色の丸印)、低(黒色の丸印)の3つの値が例示されている。黒色の点線、灰色の実線、及び黒色の実線で表された3つの直線は、血管赤色度の代表値が、高、中、及び低であるときに、評価値に最も高く相関するように算出された回帰直線を示す。図からわかるように、生体組織赤色度の重症度の値に対する影響度(回帰直線の勾配)は、血管赤色度の代表値によってよって変化することがわかる。図10に示す例では、血管赤色度の代表値が小さくなるほど生体組織赤色度の代表値の重症度に与える影響度は大きくなる。したがって、病変の重症度を算出する際、生体組織赤色度の代表値(第1代表評価値)の影響度は、血管赤色度の代表値(第2代表評価値)に基づいて調整される。
上記影響度の調整は、少なくとも、第1代表評価値とは異なる第2代表評価値に基づいて調整されるが、第2代表評価値に基づく調整には限定されない。例えば、第1代表評価値を算出する際に用いた生体組織の炎症部の赤色の成分と異なる画像の別の色成分(第2色成分)の情報に基づいて調整してもよい。別の色成分(第2色成分)は、例えば、外部から体腔内に導入されて生体組織上にある食物等の滓(残渣)が呈する色成分に関する特徴量であってもよい。食物等の滓(残渣)は、血液等の色味に比べて青色成分が比較的強い褐色を呈するので、例えば、画像のR,G,B信号のうちのG信号に対するB信号の比率を上記食物等の滓(残渣)が呈する色成分に関する特徴量として用いることができる。
一実施形態によれば、重症度は少なくとも第1代表評価値を説明変数とする多項式に従って算出される場合、上記影響度は、多項式の第1代表評価値に係る係数である、ことが好ましい。多項式を用いて重症度が算出される際、第1代表評価値に係る係数が調整されるので、第1代表評価値の影響度を容易に変化させることができる。
一実施形態によれば、上記多項式は、事前処理により得られた予測式(例えば、回帰式)であってもよい。具体的には、病変の進行の程度の評価結果である評価値が定まっている参照画像を用いて、第1画素評価値(例えば、生体組織赤色度の代表値)と、第2色成分の情報を示す値(例えば、残渣が呈する色成分に関する特徴量)あるいは第2画素評価値(例えば、血管赤色度の代表値)と、を説明変数とし、参照画像における評価値を重症度の値とし、この重症度を目的変数として、算出される重症度が上記評価値に最も強い相関で対応するように重症度に関する重回帰分析を事前に行うことで回帰式を得る(予測式の最適化を行う)ことができる。これにより重症度を最適に算出することができる回帰式を得ることができる。
図1に示す例では、具体的には、病変の進行の程度の評価結果が定まっている複数の参照画像を用いて、生体組織赤色度の代表値(第1代表評価値)と、血管赤色度の代表値(第2代表評価値)と、生体組織白色度の代表値(第3代表評価値)を、少なくとも説明変数とし、参照画像における重症度を目的変数として重回帰分析を事前に行うことで回帰式が得られる。この回帰式を最適化された予測式として、電子内視鏡で撮像された評価の対象とする画像を用いた重症度の計算に用いる。
一実施形態によれば、統合部220dは、第1代表評価値をXとし、第2代表評価値をYとしたとき、係数α,β,γと定数dとを用いて、重症度=α・X+β・Y+γ・X・Y+dに従って計算する、ことが好ましい。第1代表評価値及び第2代表評価値は、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値のいずれかに限定されず、他の病変部の特徴に基づいて算出された代表評価値であってもよい。
また、他の一実施形態によれば、重症度に影響を与えないが、第1代表評価値の影響度に影響を与える第2色成分がある場合、統合部220dは、第1代表評価値をXとし、第2色成分の情報を示す値(代表値)をZとしたとき、係数α,βと定数dとを用いて、重症度=α・X+β・X・Z+dに従って計算する、ことも好ましい。第1代表評価値は、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値のいずれかに限定されず、他の病変部の特徴に基づいて算出された代表評価値であってもよい。第2色成分の情報は、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量であることが好ましいが、生体組織上にある食物等の滓(残渣)が呈する色成分に関する特徴量に限定されない。
重症度=α・X+β・Y+γ・X・Y+dに従って計算する場合、重症度=(α+γ・Y)・X+β・Y+dと表されるので、第1代表評価値の影響度は、α+γ・Y、すなわち、第2代表評価値に基づいて調整される。同様に、重症度=α・X+β・X・Z+dに従って計算する場合、重症度=(α+β・Z)・X+dと表されるので、第1代表評価値の影響度は、α+β・Z、すなわち、第2の色成分の情報に基づいて調整される。
このような予測式を用いて影響度を容易に変化させることができる。
一実施形態によれば、統合部220dは、第1代表評価値の影響度を、第2代表評価値あるいは上述した第2色成分の情報を示す値(代表値)の他に、第1特徴及び第2特徴と異なる別の第3特徴の程度を示す第3画素評価値を纏めて得られた第3代表評価値を少なくとも用いて調整することも好ましい。第1代表評価値をXとし、第2代表評価値をYとし、第3代表評価値をZとしたとき、係数α,β,γ,σ,θ,ω,φと定数dとを用いて、例えば、重症度=α・X+β・Y+γ・Z+σ・X・Y+θ・X・Z+ω・Y・Z+φ・X・Y・Z+dに従って計算する。この場合、第1代表評価値Xの影響度は、(α+σ・Y+θ・Z+φ・Y・Z)となる。
また、統合部220dは、第1代表評価値の影響度を、第2代表評価値の他に、上述した第2色成分の情報を示す値(代表値)に基づいて調整することもできる。第1代表評価値(例えば、生体組織赤色度の代表値)をXとし、第2代表評価値(血管赤色度の代表値)をYとし、第2色成分(例えば、残渣が呈する色成分)の情報を示す値をZとしたとき、係数α,β,σ,θ,φと定数dとを用いて、例えば、重症度=α・X+β・Y+σ・X・Y+θ・X・Z+φ・X・Y・Z+dに従って計算する。この場合、第2代表評価値Yと値Zの影響により第1代表評価値Xの影響度は変化しつつ、第2代表評価値Yは単独で重症度に寄与し、値Zは単独で重症度に寄与しない。なお、第1代表評価値Xの影響度は、(α+σ・Y+θ・Z+φ・Y・Z)となる。すなわち、このような予測式を用いて影響度を容易に変化させることができる。
一実施形態によれば、重症度の計算に用いる病変部に現れる外観の特徴は、生体組織の炎症部が呈する色成分(赤色)の程度、生体組織の筋状に延びる血管を示す血管領域が呈する色成分(赤色)の程度、及び、生体組織の潰瘍部が呈する色成分(白色)の程度のいずれか1つであることが、重症度を精度よく計算する上で好ましい。
統合部220dは、計算した重症度を、特徴量算出部220bで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ300に送る。
図11は、一実施形態の内視鏡システムで行われる重症度の計算方法のフローの一例を示す図である。
まず、現フレームの画像を、画像処理ユニット220は取得する(ステップS10)。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部220bは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値(第1画素評価値、第2画素評価値、第3画素評価値)、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する(ステップS12)。
特徴量算出部220bは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する(ステップS14)。全画素について画素評価値の計算を完了した場合、代表値算出部220cは、画素評価値を統合した代表値、すなわち第1~第3代表評価値等の代表値を計算する(ステップS16)。代表値は、画素評価値の種類毎に算出される。
この後、統合部220dは、複数の代表値(代表評価値)を組み合わせて1つの重症度を計算する(ステップS18)。すなわち、複数の代表値(代表評価値)を演算して統合した1つの数値を病変の重症度として算出する。重症度の計算では、例えば、上述したように事前処理で得られた複数の代表値(代表評価値)を説明変数とする回帰式が用いられる。この回帰式、重症度に関して主観評価結果に最もよく対応する式である。
この後、統合部220dは、ステップS12で計算した画素評価値から生成されるカラーマップ画像とステップS18で計算した重症度を画面表示のための信号を生成してモニタ300に送る。これにより、モニタ300は、カラーマップ画像と重症度の情報を表示する(ステップS20)。
こうして画像処理ユニット220は、電子内視鏡100から順次撮像画像が送られてくる間、上記処理を繰り返す(ステップS22)。
このように算出した重症度をモニタ300に画面表示するので、ユーザは、モニタ300を見て病変の進行の程度を知ることができる。
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子内視鏡
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 特徴量算出部
220c 代表値算出部
220d 統合部
222 メモリ
224 画像メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ

Claims (11)

  1. 体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含み、
    前記画像処理ユニットは、
    前記病変部に現れる外観の第1特徴を、前記病変部が示す第1色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第1特徴に対応した画素評価値であって、前記第1色成分、あるいは前記病変部の形状に関する、前記第1特徴の程度を示す第1画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
    前記画像における各画素の前記第1画素評価値を纏めることにより前記生体組織の前記第1特徴の第1代表評価値を算出するように構成された代表値算出部と、
    前記第1代表評価値の変化に対する前記重症度の変化を示す前記第1代表評価値の影響度を、少なくとも、前記第1色成分と異なる前記画像の第2色成分の情報に基づいて調整し、あるいは、少なくとも、前記第1特徴と異なる別の第2特徴の程度を示す第2画素評価値を纏めて得られた第2代表評価値に基づいて調整することにより、少なくとも前記第1代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備えることを特徴とする内視鏡用プロセッサ。
  2. 前記重症度は、少なくとも前記第1代表評価値を説明変数とする多項式に従って算出され、
    前記影響度は、前記多項式の前記第1代表評価値に係る係数である、請求項1に記載の内視鏡用プロセッサ。
  3. 前記多項式は、前記病変の進行の程度に関する評価結果として評価値が定まっている参照画像を用いて、前記第1画素評価値と、前記第2色成分の情報を示す値あるいは前記第2画素評価値とを説明変数とし、前記参照画像における前記評価値を前記重症度の値とし、前記重症度の値を目的変数として重回帰分析を事前に行うことで得られた前記重症度に関する回帰式である、請求項2に記載の内視鏡用プロセッサ。
  4. 前記統合部は、前記第1代表評価値をXとし、前記第2代表評価値をYとしたとき、係数α,β,γと定数dとを用いて、前記重症度=α・X+β・Y+γ・X・Y+dに従って計算する、請求項1~3のいずれか1項に記載の内視鏡用プロセッサ。
  5. 前記統合部は、前記第1代表評価値をXとし、前記第2色成分の情報を示す値をZとしたとき、係数α,βと定数dとを用いて、前記重症度=α・X+β・X・Z+dに従って計算する、請求項1~3のいずれか1項に記載の内視鏡用プロセッサ。
  6. 前記第1代表評価値の影響度は、前記第2代表評価値あるいは前記第2色成分の情報の他に、前記第1特徴及び前記第2特徴と異なる別の第3特徴の程度を示す第3画素評価値を纏めて得られた第3代表評価値を少なくとも用いて調整する、請求項1~3のいずれか1項に記載の内視鏡用プロセッサ。
  7. 前記第1特徴及び前記第2特徴のそれぞれは、前記生体組織の炎症部が呈する色成分の程度、前記生体組織の筋状に延びる血管を示す血管領域が呈する色成分の程度、及び、前記生体組織の潰瘍部が呈する色成分の程度のいずれか1つである、請求項1~6のいずれか1項に記載の内視鏡用プロセッサ。
  8. 前記第1代表評価値は、前記生体組織の前記病変部の前記画像における前記第1画素評価値のヒストグラムで頻度が1以上のビンの合計ビン数である、請求項1~7のいずれか1項に記載の内視鏡用プロセッサ。
  9. 前記第1代表評価値は、前記生体組織の炎症部分が呈する色成分の程度を示す値である、請求項8に記載の内視鏡用プロセッサ。
  10. 前記第2色成分の情報は、外部から前記体腔内に導入されて前記生体組織上にある残渣が呈する色成分に関する特徴量である、請求項1~9のいずれか1項に記載の内視鏡用プロセッサ。
  11. 体腔内の生体組織を撮像するように構成された電子内視鏡と、
    前記電子内視鏡に接続される、請求項1~10のいずれか1項に記載の内視鏡用プロセッサと、を備える内視鏡システム。
JP2020161900A 2020-09-25 2020-09-28 内視鏡用プロセッサ及び内視鏡システム Active JP7455717B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020161900A JP7455717B2 (ja) 2020-09-28 2020-09-28 内視鏡用プロセッサ及び内視鏡システム
EP21872118.1A EP4218535A1 (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system
PCT/JP2021/032170 WO2022064987A1 (ja) 2020-09-25 2021-09-01 内視鏡用プロセッサ及び内視鏡システム
US17/912,725 US20230142219A1 (en) 2020-09-25 2021-09-01 Endoscope processor and endoscope system
CN202180017682.5A CN115190775A (zh) 2020-09-25 2021-09-01 内窥镜用处理器以及内窥镜系统
DE112021005012.5T DE112021005012T5 (de) 2020-09-25 2021-09-01 Endoskopprozessor und endoskopsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020161900A JP7455717B2 (ja) 2020-09-28 2020-09-28 内視鏡用プロセッサ及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2022054722A true JP2022054722A (ja) 2022-04-07
JP7455717B2 JP7455717B2 (ja) 2024-03-26

Family

ID=80997752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020161900A Active JP7455717B2 (ja) 2020-09-25 2020-09-28 内視鏡用プロセッサ及び内視鏡システム

Country Status (1)

Country Link
JP (1) JP7455717B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159770A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
WO2020066807A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム
WO2020066670A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム及びデータ処理装置
WO2020188825A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム
WO2020189213A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159770A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
WO2020066807A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム
WO2020066670A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム及びデータ処理装置
WO2020188825A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム
WO2020189213A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP7455717B2 (ja) 2024-03-26

Similar Documents

Publication Publication Date Title
JP6907398B2 (ja) 内視鏡システム
JP7068487B2 (ja) 電子内視鏡システム
JP7041318B2 (ja) 内視鏡システム
US11944261B2 (en) Electronic endoscope system and data processing device
JP7084546B2 (ja) 内視鏡システム
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
US12011142B2 (en) Electronic endoscope system
JP6912608B2 (ja) 内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150