JP2020089498A

JP2020089498A - 画像処理装置

Info

Publication number: JP2020089498A
Application number: JP2018227511A
Authority: JP
Inventors: 律郎西村; Norio Nishimura
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2018-12-04
Filing date: 2018-12-04
Publication date: 2020-06-11
Anticipated expiration: 2038-12-04
Also published as: JP7163155B2

Abstract

【課題】病変を含む関心領域の視認性を高める技術を提供する。【解決手段】領域情報取得部３２は、内視鏡画像の画像領域を、関心領域である第１領域、観察に不適切な領域である第２領域、第１領域および第２領域とは異なる第３領域に分類した結果を取得する。分類結果は、領域分類装置２０によって生成される。変形処理部３４は、第１領域を拡大し、第２領域を第３領域よりも優先して縮小する。表示制御部３６は、変形処理部３４により変形された変形画像を表示装置４０に表示させる。【選択図】図１

Description

本発明は、内視鏡画像の関心領域の視認性を高める技術に関する。

特許文献１は、被写体を含む撮像画像に対して注目領域を設定し、注目領域を他の領域よりも相対的に拡大する局所的な変倍処理を実施する内視鏡装置を開示する。この内視鏡装置は、画角を維持しながら画像を変倍処理し、注目領域を所定の倍率で拡大する。

特開２０１２−２４５１５７号公報

近年、医療施設における医師の診断支援を目的として、撮影した内視鏡画像に含まれる病変を抽出するニューラルネットワークが開発されている。また内視鏡画像の観察の際、泡や残渣などを含む領域は観察に不適切であるため、内視鏡画像に含まれる泡や残渣などを抽出するニューラルネットワークも注目されている。内視鏡画像の表示時、病変を含む領域、泡や残渣などを含む領域をマーキングすることで、医師による読影作業を効率化できる。

しかしながら病変領域をマーキングしても、病変領域が小さければ、病変領域の視認性は高くならない。また表示装置に複数の内視鏡画像を並べて表示する場合、各内視鏡画像が縮小表示されることで、病変領域の視認性は低くなる。また表示装置の画面サイズがそもそも小さければ、病変領域は小さく表示される。そこで病変領域の視認性を高めることに対して切実な要望が存在する。

本発明はこうした状況に鑑みなされたものであり、その目的は、病変を含む関心領域の視認性を高める技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、内視鏡画像の画像領域を、関心領域である第１領域、観察に不適切な領域である第２領域、第１領域および第２領域とは異なる第３領域に分類した結果を取得する領域情報取得部と、第１領域を拡大し、第２領域を第３領域よりも優先して縮小する変形処理部と、変形処理部により変形された変形画像を表示装置に表示させる表示制御部とを備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、病変を含む関心領域の視認性を高める技術を提供できる。

画像処理システムの機能ブロックを示す図である。内視鏡画像の例を示す図である。内視鏡画像を変形した変形画像の例を示す図である。内視鏡画像の別の例を示す図である。内視鏡画像を変形した変形画像の例を示す図である。

図１は、画像処理システム１の機能ブロックを示す。画像処理システム１は、内視鏡画像記憶部１０、領域分類装置２０、画像処理装置３０および表示装置４０を備える。内視鏡画像記憶部１０は、撮影された内視鏡画像を記憶する。内視鏡画像は、医師が内視鏡検査中に撮影した画像であってよく、カプセル内視鏡が撮影した画像であってもよい。

領域分類装置２０は、内視鏡画像に含まれる画像領域を認識して、各画像領域のカテゴリを分類するニューラルネットワークであってよい。ここで領域分類装置２０は、病変が撮影された関心領域である第１領域を抽出する第１機能と、泡や残渣などが撮影された第２領域を抽出する第２機能とを少なくとも含む。第２領域は、泡や残渣の存在のために医師による観察に不適切な領域であり、ここで観察に不適切とは、観察が不能または観察が不要であることを含む。第１機能および第２機能は、それぞれ機械学習したモデルにより実現されてよい。

領域分類装置２０はさらに、第１領域および第２領域とは異なる第３領域を抽出する第３機能を有する。第３領域は、正常な粘膜等を撮影した領域を含む。実施例で領域分類装置２０は、第１領域および第２領域のいずれとしても抽出されなかった領域を第３領域として抽出してよい。つまり第３領域は、第１領域および第２領域として抽出されなかった画像領域と定義されてよい。なお第３領域は、機械学習したモデルによって抽出されてもよい。

領域分類装置２０は、内視鏡画像の画像領域を任意のタイミングでカテゴリに分類してよい。たとえば内視鏡画像が内視鏡画像記憶部１０に格納されたとき、領域分類装置２０は、画像領域の分類処理を実施してよい。分類処理結果は、内視鏡画像に関連づけられて、内視鏡画像記憶部１０に記憶される。なお医師が内視鏡画像を観察する際に、領域分類装置２０が、内視鏡画像を内視鏡画像記憶部１０から読み出して分類処理し、内視鏡画像とともに分類処理結果を画像処理装置３０に提供してもよい。いずれにしても領域分類装置２０は、画像処理装置３０による画像処理の前に、内視鏡画像の画像領域のカテゴリを特定する。

図２は、内視鏡画像の例を示す。この例で内視鏡画像は、横方向に８分割、縦方向に８分割される。分割された局所領域は同じ大きさを有し、１以上の所定数の画素のまとまりで構成される。領域分類装置２０は、計６４個の局所領域のそれぞれのカテゴリを特定することで、画像領域の分類処理を実施する。

実施例の内視鏡画像の画像領域は、関心領域である第１領域５０、観察に不適切な領域である第２領域６０、第１領域および第２領域以外の領域である第３領域７０に分類される。図２で第１領域５０は、複数の局所領域にまたがる連続領域として示されているが、病変の大きさは様々であり、１つの細胞の大きさであることもある。

領域分類装置２０は、内視鏡画像を複数の局所領域に分割して、各局所領域のカテゴリを算出する。各局所領域のカテゴリは、病変を含むことを示すカテゴリ（関心カテゴリ）、観察に不適切な泡や残渣などを含むことを示すカテゴリ（観察不適カテゴリ）、関心領域および観察不適領域のいずれでもない領域であることを示すカテゴリ（正常カテゴリ）のいずれかに設定される。

領域分類装置２０は、局所領域を画像解析して、当該局所領域の各カテゴリの確率を算出し、最も高い確率のカテゴリを特定する。たとえば、ある局所領域に関して、関心カテゴリである確率が８０％、観察不適カテゴリである確率が１５％、正常カテゴリである確率が５％であることが算出されれば、当該局所領域のカテゴリは、最も確率の高い関心カテゴリと導出される。

図２において、横軸をＸ軸、縦軸をＹ軸とし、局所領域を（Ｘ座標、Ｙ座標）で表現すると、関心カテゴリに分類された局所領域は、以下のとおり。
（１，３）、（２，３）、（３，３）、（４，３）、（５，３）、（６，３）、（７，３）、（８，３）、（１，４）、（２，４）、（３，４）、（４，４）、（５，４）、（６，４）、（７，４）、（８，４）
関心カテゴリに分類された局所領域の集合が、第１領域５０を構成する。

観察不適カテゴリに分類された局所領域は、以下のとおり。
（１，６）、（２，６）、（３，６）、（４，６）、（５，６）、（６，６）、（７，６）、（８，６）、（１，７）、（２，７）、（３，７）、（４，７）、（５，７）、（６，７）、（７，７）、（８，７）、（１，８）、（２，８）、（３，８）、（４，８）、（５，８）、（６，８）、（７，８）、（８，８）
観察不適カテゴリに分類された局所領域の集合が、第２領域６０を構成する。

正常カテゴリに分類された局所領域は、以下のとおり。
（１，１）、（２，１）、（３，１）、（４，１）、（５，１）、（６，１）、（７，１）、（８，１）、（１，２）、（２，２）、（３，２）、（４，２）、（５，２）、（６，２）、（７，２）、（８，２）、（１，５）、（２，５）、（３，５）、（４，５）、（５，５）、（６，５）、（７，５）、（８，５）
正常カテゴリに分類された局所領域の集合が、第３領域７０を構成する。

医師による画像観察時、画像処理装置３０は、領域分類装置２０による分類処理結果にもとづいて、内視鏡画像に含まれる関心領域（第１領域）を拡大する画像変形処理を実施し、変形した画像を表示装置４０に出力する。これにより関心領域の視認性が高まり、医師は、拡大表示された関心領域を観察する。

画像処理装置３０は、領域情報取得部３２、変形処理部３４および表示制御部３６を備える。領域情報取得部３２は、内視鏡画像の画像領域を、第１領域、第２領域、第３領域に分類した結果を取得する。領域情報取得部３２は分類結果を、内視鏡画像記憶部１０から、内視鏡画像とともに取得してよい。

変形処理部３４は、第１領域５０を拡大し、第２領域６０を第３領域７０よりも優先して縮小する。表示制御部３６は、変形処理部３４により変形された変形画像を表示装置４０に表示させる。

画像処理装置３０のそれぞれの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

図３は、図２に示す内視鏡画像を変形した変形画像の例を示す。変形処理部３４は、第１領域５０を拡大し、第１領域５０を拡大した面積分だけ、第２領域６０を縮小する。この例では、変形処理部３４が、関心カテゴリに分類された局所領域のそれぞれの面積を２倍に拡大し、第１領域５０の視認性を高めている。

変形処理部３４は、第１領域５０を拡大することで増える面積増加分を算出し、算出した面積増加分と、変形前の第２領域６０の総面積とを比較する。変形後の第１領域５０の面積増加分が、変形前の第２領域６０の総面積以下であれば、変形処理部３４は、第１領域５０の面積増加分を、第２領域６０を縮小することでまかなう。

この例では、第１領域５０を構成する局所領域の面積が２倍に拡大されるため、（変形前の局所領域の面積×１６）が面積増加分となる。変形前の第２領域６０の総面積は（変形前の局所領域の面積×２４）であり、変形前の第２領域６０の総面積の方が大きい。そこで変形処理部３４は、第３領域７０を縮小することなく、第２領域６０を縮小することで、第２領域６０の面積縮小分を第１領域５０の面積増加分にあてる。

第１領域５０が拡大表示されることで、第１領域５０の視認性を高められる。また第３領域７０の表示面積が縮小されないことで、第３領域７０の視認性を維持できる。このように変形処理部３４は、第２領域６０を第３領域７０よりも優先して縮小する変形処理を実施することで、第３領域７０の視認性を維持しつつ、第１領域５０の視認性を高めることができる。なお変形処理部３４は、第３領域７０の表示面積を維持する限りにおいて、第３領域７０の形状を変形してもよい。

変形処理部３４は、目的関数と制約条件を用いて局所領域の格子点の位置を求める最適化問題を解くことで、局所領域の変形処理を実施する。目的関数は、各格子点の移動量の総和、平均、分散、標準偏差のいずれかにもとづく関数であってよい。制約条件は、以下のように定められてよい。

（制約条件１）
変形後の第１領域の面積が、変形前の第１領域の面積の所定倍となる。拡大率は適宜設定されてよいが、実施例では、拡大率を２倍としている。
（制約条件２）
第２領域を構成する局所領域の変形前後の面積比が同一である。たとえば図３に示す例では、第２領域を構成する局所領域の（変形後の面積／変形前の面積）が１／３である。
（制約条件３）
第３領域を構成する局所領域の面積が変形前後で変わらない。

以下の例で変形処理部３４は、目的関数ｆを、各格子点の移動量の総和とする。

ここでp_xyは、画像領域左下隅の原点から横方向にx番目、縦方向にy番目の格子点の移動後の位置を表す２次元ベクトルであり、o_xyは格子点の移動前の初期位置を表す２次元ベクトルである。

このとき４点の移動後の格子で囲まれた局所領域の面積S_ijは、以下の式で示される。

局所領域の面積S_ijに１からＮ（画像領域の分割数）の間で以下のように番号付けをする。
第２領域を構成する局所領域 (S₁, ... ,S_a)
第１領域を構成する局所領域 (Sa+1, ... ,S_b)
第３領域を構成する局所領域 (S_b+1, ... ,S_N)

このときの制約条件を示す。

ここでSOrig_nは、S_nの初期値であり、変形前の局所領域の面積である。第１領域の局所面積に乗算されている「２」は、第１領域の拡大率であり、第２領域の局所面積に乗算されている「ｒ」は、第１領域の増加面積分を吸収するための第２領域の拡大率（＜１）である。変形処理部３４は、制約条件を用いて、最急降下法等の最適化手法により、各格子点の移動後の座標を求める。

このように第１領域５０を拡大することで増える面積増加分が、変形前の第２領域６０の総面積以下である場合、変形処理部３４は、第３領域７０を縮小することなく、第２領域６０の縮小する変形処理を実施する。

次に、第１領域５０を拡大することで増える面積増加分が、変形前の第２領域６０の総面積より大きい場合の変形処理について説明する。

図４は、内視鏡画像の別の例を示す。
この例で、関心カテゴリに分類された局所領域は、以下のとおり。
（１，３）、（２，３）、（３，３）、（４，３）、（５，３）、（６，３）、（７，３）、（８，３）、（１，４）、（２，４）、（３，４）、（４，４）、（５，４）、（６，４）、（７，４）、（８，４）

観察不適カテゴリに分類された局所領域は、以下のとおり。
（１，８）、（２，８）、（３，８）、（４，８）、（５，８）、（６，８）、（７，８）、（８，８）
正常カテゴリに分類された局所領域は、残りの局所領域である。

変形処理部３４は、第１領域５０を拡大し、第２領域６０を第３領域７０よりも優先して縮小する。ここで変形処理部３４は、第１領域５０の面積増加分と、変形前の第２領域６０の総面積とを比較する。上記したように変形後の第１領域５０の面積増加分が、変形前の第２領域６０の総面積以下であれば、変形処理部３４は、第１領域５０の面積増加分を、第２領域６０を縮小することでまかなう。

図４に示す例では、第１領域５０を構成する局所領域が２倍の面積に拡大され、（変形前の局所領域の面積×１６）が面積増加分となる。一方、変形前の第２領域６０の総面積は、（変形前の局所領域の面積×８）であり、第１領域５０の面積増加分の方が大きい。そこで変形処理部３４は、第２領域６０をなくすだけでは第１領域５０の面積増加分を補うことができず、第３領域７０を縮小しなければならないことを判断する。

図５は、図４に示す内視鏡画像を変形した変形画像の例を示す。図５に示す変形画像では、第１領域５０が拡大表示され、第２領域６０が表示から削除され、第３領域７０が縮小表示されている。このとき第３領域７０を構成する各局所領域の変形後と変形前の面積比を同じにすることが好ましい。図５に示す例では、第１領域５０の面積増加分から第２領域６０の総面積を引いた（変形前の局所領域の面積×８）を、第３領域７０を縮小することでまかなう。そのため、第２領域を構成する全ての局所領域の（変形後の面積／変形前の面積）は、４／５とされる。

第１領域５０が拡大表示されることで、第１領域５０の視認性を高められる。また第３領域７０の表示面積が縮小されつつも、各局所領域の変形前後の面積比を同一とすることで、第３領域７０の視認性を維持できる。このように変形処理部３４は、第２領域６０を第３領域７０よりも優先して縮小する変形処理を実施することで、第３領域７０の視認性を維持しつつ、第１領域５０の視認性を高めることができる。

このときの制約条件を示す。

第１領域の局所面積に乗算されている「２」は、第１領域の拡大率であり、第３領域の局所面積に乗算されている「ｒ」は、第３領域の拡大率（＜１）である。変形処理部３４は、制約条件を用いて、最急降下法等の最適化手法により、各格子点の移動後の座標を求める。

このように第１領域５０を拡大することで増える面積増加分が、変形前の第２領域６０の総面積より大きい場合、変形処理部３４は、第２領域６０を削除しつつ、第３領域７０の局所面積を同一の拡大率で縮小する変形処理を実施する。

なお上記した実施例で変形処理部３４は、第１領域５０の拡大率を２倍としているが、第１領域５０の視認性に応じて第１領域５０の拡大率を決定してよい。変形処理部３４は、変形前の第１領域５０の視認性の良否を、表示装置４０における第１領域５０の表示サイズに応じて判断する。たとえば表示装置４０における第１領域５０の表示サイズ（たとえば縦長または横長）が所定値未満である場合、変形処理部３４は、第１領域５０の視認性が低いことを判定する。このとき変形処理部３４は、表示装置４０における第１領域５０の表示サイズが所定値以上となる大きさに拡大してよい。

なお表示装置４０における第１領域５０の表示サイズは、表示装置４０の画面サイズに依存する。またＰＣなどの端末装置で表示する場合と、スマートフォンなどの携帯型端末装置で表示する場合とでは、目と表示装置との距離が異なるために、第１領域５０の表示サイズが同じであっても視認性は異なる。そこで領域情報取得部３２は、表示装置４０の種類および画面サイズに応じて、視認性の良否を判定するための表示サイズの閾値を設定してよい。

なお視認性の良否判断は、表示サイズだけでなく、病変の種類や、色、コントラスト、明るさなどを基準としてもよい。いずれにしても変形処理部３４は、元の内視鏡画像に含まれる第１領域５０の視認性が低いことが推定される場合に、当該第１領域５０を拡大変形する。なお変形処理部３４は、第１領域５０の視認性が高いことが推定される場合には、当該第１領域５０を拡大変形しなくてもよい。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１・・・画像処理システム、１０・・・内視鏡画像記憶部、２０・・・領域分類装置、３０・・・画像処理装置、３２・・・領域情報取得部、３４・・・変形処理部、３６・・・表示制御部、４０・・・表示装置、５０・・・第１領域、６０・・・第２領域、７０・・・第３領域。

Claims

内視鏡画像の画像領域を、関心領域である第１領域、観察に不適切な領域である第２領域、前記第１領域および前記第２領域とは異なる第３領域に分類した結果を取得する領域情報取得部と、
前記第１領域を拡大し、前記第２領域を前記第３領域よりも優先して縮小する変形処理部と、
前記変形処理部により変形された変形画像を表示装置に表示させる表示制御部と、
を備えることを特徴とする画像処理装置。
前記変形処理部は、前記第３領域を縮小せず、前記第２領域を縮小する、
ことを特徴とする請求項１に記載の画像処理装置。
前記変形処理部は、前記第１領域を拡大することで増える面積が、前記第２領域の総面積よりも大きい場合に、前記第３領域を縮小する、
ことを特徴とする請求項１に記載の画像処理装置。
前記変形処理部は、前記第１領域の視認性に応じて、前記第１領域の拡大率を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
内視鏡画像は、複数の局所領域に分割されるものであって、
前記変形処理部は、局所領域を変形することで、前記変形画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
前記変形処理部は、前記第３領域を構成する各局所領域の変形後と変形前の面積比を同じにする、
ことを特徴とする請求項５に記載の画像処理装置。