JP2016154810A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、専門的な知識と経験を有する者でなくとも、超拡大機能をもつ内視鏡ｅｎｄｏｃｙｔｏｓｃｏｐｙによって取得される画像から、非腫瘍であるのかｓｅｓｓｉｌｅ ｓｅｒｒａｔｅｄ ａｄｅｎｏｍａ／ｐｏｌｙｐ （ＳＳＡ／Ｐ）であるのかを判断可能にすることを目的とする。
【解決手段】本発明に係る画像処理装置は、内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、特徴を計測する機能と、内視鏡画像の全体について、テクスチャ解析を行う機能と、細胞核の特徴及びテクスチャ解析の結果を用いて、病理診断に対応した分類を行う機能と、を備える。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

画像処理を行うことによって、病理診断を行う発明が提案されている（例えば、特許文献１〜３参照。）。しかし、食道、胃、小腸、大腸などの消化管の病理診断は、専門的な知識と経験を要するため、消化管の一部組織を切除し、体外にて顕微鏡による診断を行っている。

一方で、近年、超拡大機能（３８０倍〜４５０倍）の高倍率機能により、リアルタイムに体内（消化管内）で病理組織を予測できる内視鏡ｅｎｄｏｃｙｔｏｓｃｏｐｙが開発されており、病理診断の代替になることが期待されているが、画像解読に専門的トレーニングが必要である。（非特許文献１）。そのため、先行研究によりｅｎｄｏｃｙｔｏｓｃｏｐｙ画像に対するコンピュータ診断支援システムが開発され（非特許文献２）、非腫瘍・腺腫・癌の鑑別に有用性があることがわかった。

特開２００６−１５３７４２号公報 ＷＯ２０１２／０１１５７９号公報 ＷＯ２０１２／１５７２０１号公報

Ｋｕｄｏ Ｓ， Ｗａｋａｍｕｒａ Ｋ， Ｉｋｅｈａｒａ Ｎ， Ｍｏｒｉ Ｙ， Ｉｎｏｕｅ Ｈ， Ｈａｍａｔａｎｉ Ｓ． Ｄｉａｇｎｏｓｉｓ ｏｆ ｃｏｌｏｒｅｃｔａｌ ｌｅｓｉｏｎｓ ｗｉｔｈ ａ ｎｏｖｅｌ ｅｎｄｏｃｙｔｏｓｃｏｐｉｃ ｃｌａｓｓｉｆｉｃａｔｉｏｎ−ａ ｐｉｌｏｔ ｓｔｕｄｙ−． Ｅｎｄｏｓｃｏｐｙ ２０１１；４３：８６９−８７５ Ｍｏｒｉ Ｙ，Ｋｕｄｏ ＳＥ，Ｗａｋａｍｕｒａ Ｋ，"Ｎｏｖｅｌ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｔｉｃ ｓｙｓｔｅｍ ｆｏｒ ｃｏｌｏｒｅｃｔａｌ ｌｅｓｉｏｎｓ ｂｙ ｕｓｉｎｇ ｅｎｄｏｃｙｔｏｓｃｏｐｙ （ｗｉｔｈ ｖｉｄｅｏｓ）．"，Ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ Ｅｎｄｏｓｃ． ２０１４ Ｅｐｕｂ

本発明の課題は、ｓｅｓｓｉｌｅ ｓｅｒｒａｔｅｄ ａｄｅｎｏｍａ／ｐｏｌｙｐ （ＳＳＡ／Ｐ）という病変の診断をコンピュータ診断支援システムを用いて客観的に行うことである。ＳＳＡ／Ｐはこれまで非腫瘍に分類されてきたが、近年腫瘍になる可能性のあるということがわかってきた重要病変である。ＳＳＡ／Ｐは、細胞核の形状は非腫瘍のものと同じであるため、これまでの細胞核の形状のみに基づいた既存のコンピュータ診断支援システム（非特許文献２）では、非腫瘍であるのか、ＳＳＡ／Ｐであるのかを判断することはできなかった。

本発明は、専門的な知識と経験を有する者でなくとも、非腫瘍であるのかＳＳＡ／Ｐであるのかを判断可能にすることを目的とする。また、腺腫・癌の診断についても、より精度の高い診断を取得することを目的とする。

発明者らは、内視鏡画像に含まれるすべての細胞核の特徴解析の結果と、同じ内視鏡画像から得られるテクスチャ解析の結果と、をパラメータに用いた分類を行うことで、非腫瘍、腺腫及び癌の診断精度が向上し、さらにＳＳＡ／Ｐが分類可能になることを発見した。

具体的には、本発明に係る画像処理装置は、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、前記内視鏡画像の全体について、テクスチャ解析を行う機能と、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う機能と、を備える。

具体的には、本発明に係る画像処理方法は、画像処理装置が、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、画像処理装置が、前記内視鏡画像の全体について、テクスチャ解析を行う手順と、画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う手順と、を行う。

前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像であってもよい。

前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像であってもよい。

前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像であってもよい。

本発明によれば、専門的な知識と経験を有する者でなくとも、非腫瘍であるのかＳＳＡ／Ｐであるのかを判断可能にすることができる。また、腺腫・癌の診断についても既存の診断支援システムに比べ高い精度で診断が可能となる。

本実施形態に係る画像処理方法の一例を示す。 本実施形態に係る内視鏡画像の一例を示す。 抽出した細胞核の形状の一例を示す。 テクスチャ解析を行う画素の一例を示す。 テクスチャ解析の一例を示す。 テクスチャ解析の結果の一例を示す。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１に、本実施形態に係る画像処理方法の一例を示す。本実施形態に係る画像処理方法は、画像処理装置が、特徴量算出手順Ｓ１０１と、識別手順Ｓ１０２と、診断結果出力手順Ｓ１０３と、を順に実行する。本実施形態に係る画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メモリと、を備えるコンピュータである。本実施形態に係る画像処理装置は、メモリに記憶されたコンピュータプログラムを実行することで、各手順を行う。コンピュータプログラムは、コンピュータから読み出し可能な任意の記録媒体に記憶され得る。

特徴量算出手順Ｓ１０１では、画像処理装置が、細胞核計測手順及びテクスチャ解析手順を実行し、内視鏡画像に含まれる細胞核の特徴を算出する。細胞核計測手順では、内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する。テクスチャ解析手順では、内視鏡画像の全体について、テクスチャ解析を行う。
識別手順Ｓ１０２では、画像処理装置が、特徴量算出手順Ｓ１０１で得られた特徴量を用いて、病理診断に対応した分類を行う。
診断結果出力手順Ｓ１０３では、画像処理装置が、識別手順Ｓ１０２の分類結果を出力する。

本発明では、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像を用いる。拡大撮像して得られた内視鏡画像は、細胞核の形状が特定可能な画像であり、例えば、ｅｎｄｏｃｙｔｏｓｃｏｐｙ系又は共焦点系の内視鏡を用いて拡大撮像された画像を用いることができる。共焦点系は、対物レンズの焦点位置と共役な位置（像位置）に開口を配置したものである。本実施形態では、内視鏡に光学顕微鏡を搭載したｅｎｄｏｃｙｔｏｓｃｏｐｙを用いることが好ましく、これにより共焦点系に比べて鮮明なカラー画像を取得することができる。

内視鏡画像は、染色された細胞を拡大撮像して得られた画像であることが好ましい。染色液は、組織像の獲得が可能でありかつ安全性が高いものが好ましく、例えば、メチレンブルー（３，７−ビス（ジメチルアミノ）フェノチアジニウムクロリド）若しくはクリスタルバイオレット（［４‐｛ビス（４‐ジメチルアミノフェニル）メチレン｝‐２，５‐シクロヘキサジエン‐１‐イリデン］ジメチルアンモニウムクロリド）又はこれらの組み合わせを用いることができる。特にこれらの２重染色により、細胞核は青色に細胞質はピンク色に染め分けられるため、安全性を維持しつつ鮮明な組織像を獲得することが可能となる。

図２に、本実施形態に係る内視鏡画像の一例を示す。内視鏡画像には、複数の細胞核が含まれる。本実施形態に係る発明は、内視鏡画像の全体を用いるため、病理診断に有用な領域を切り出すことが好ましい。

また、本実施形態における内視鏡画像は、病理診断を行いたい組織を拡大したものの画像である。拡大の倍率は、細胞核の形状を測定可能な任意の倍率であり、例えば、３８０倍である。内視鏡画像の組織は、生体の一部を切除したものの画像であってもよいし、生体の表面を撮影したものの画像であってもよい。生体の表面は、例えば、内視鏡で観測可能な任意の部位であり、例えば、口腔内、咽頭、食道、胃、小腸、大腸、肛門などの消化管の粘膜や胆管・膵管および肺・気管支である。

特徴量算出手順Ｓ１０１における細胞核計測手順について説明する。
まず、内視鏡画像に含まれるすべての細胞核を抽出する。細胞核の抽出は、細胞核の領域のセグメンテーションを行い、アーチファクト除去を行う。細胞核の領域のセグメンテーションは、例えば、Ｒ成分での大津の２値化手法を用いる。アーチファクト除去は、たとえば、２値化画像の白い画素が連続した画素を１つの領域とし、各領域に対し面積と長径、真円度を算出する。面積が設定した範囲（例えば３０μｍ^２から５００μｍ^２）、かつ長径が設定した値（例えば３０μｍ以下）、かつ真円度が設定した値（例えば０．３以上）のものを解析対象として残し、それ以外の領域を除去する。長径と真円度は、例えば、領域を楕円近似して算出する。抽出された核の個数が予め設定した個数（たとえば３０個）以下の場合は、画像の信頼性が低いと考え、診断不能例としてもよい。図３に、抽出した細胞核の一例を示す。

次に、抽出した全ての細胞核の特徴を計測する。細胞核の特徴は、例えば、細胞核の長径ＤＬ、細胞核の短径ＤＳ、細胞核の周囲長、細胞核の面積、細胞核の真円度及び細胞核の色である。面積及び真円度は、平均値及び標準偏差を用いることが好ましい。

特徴量算出手順Ｓ１０１におけるテクスチャ解析手順について説明する。
まず、内視鏡画像を予め定められた画素に分割する。例えば、図４に示すように、画素Ｐ１１からＰ８９までの画素に分割する。
そして、各画素について、テクスチャ解析を行う。腺腔や核の配列によって、各画素の濃淡は変化する。特に、隣接する画素との濃淡を比較することで、腺腔や細胞核の配列を数値化することが可能である。そこで、テクスチャ解析では、濃淡変化によって表わす模様（＝テクスチャ）を解析する。テクスチャ解析の手法は任意であり、例えば、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）を用いることができる。

テクスチャ解析の一例であるＬＢＰについて、図５を参照しながら説明する。ＬＢＰは、３×３画素領域内での中央に位置する画素ＰＸと隣接する画素Ｐ１〜Ｐ８の濃淡の大小を２進法で数値化する手法である。

例えば、画素ＰＸが図４に示す画素Ｐ２３である場合、画素Ｐ１〜Ｐ８は、それぞれ、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ２４、Ｐ３４、Ｐ３３、Ｐ３２、Ｐ２２である。画素Ｐ２３の濃度と画素Ｐ１２の濃度を比較し、画素Ｐ２３の濃度が画素Ｐ１２の濃度よりも高ければ「１」とし、画素Ｐ２３の濃度が画素Ｐ１２の濃度よりも低ければ「０」とする。画素Ｐ２〜Ｐ８についても、画素Ｐ１と同様に「１」又は「０」のいずれであるかを判定する。これにより、画素Ｐ１〜Ｐ８の濃淡の大小を数値化した、例えば、００１１１００１というバイナリーデータを得ることができる。この場合、「００１１１００１」を１０進法に変換すると、２５６階調における５７という値が得られる。

図６に、テクスチャ解析の結果の一例を示す。テクスチャ解析を全画素に行い、画素値の分布を示すヒストグラムを作成する。

識別手順Ｓ１０２における分類について説明する。本実施形態では、特徴量算出手順Ｓ１０１で得られた特徴量を用いて、病理診断に対応した分類を行う。病理診断に対応した分類は、例えば、非腫瘍、腺腫、癌、ＳＳＡ／Ｐである。分類は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いる。

ＳＶＭの各データ点は、例えば、内視鏡画像から抽出した全ての細胞核の各特徴に加え、テクスチャ解析で得られたヒストグラムを用いる。細胞核の各特徴は、長径ＤＬ、短径ＤＳ、周囲長、面積、真円度及び色である。テクスチャ解析で得られたヒストグラムは、例えば、テクスチャ解析によって算出される全ての要素であり、例えば、２５６階調とした場合は２５６個の要素となる。

ここで、分類を行うに際し、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのそれぞれについて、学習用サンプルとなるデータを画像処理装置に与える。本実施形態に係る画像処理装置は、学習用サンプルとして、内視鏡画像から抽出した全ての細胞核の各特徴に加え、テクスチャ解析で得られたヒストグラムを与えることで、非腫瘍とＳＳＡ／Ｐとを識別することができる。

ＳＶＭの各データ点は、任意であるが、例えば、細胞核の全特徴パラメータの平均、標準偏差及び変動係数の要素全てと、テクスチャ解析によって算出される２５６個の要素全てとする。これにより、１つの内視鏡画像から合計約３００次元の要素をもつ複合ベクトルをデータ点として生成し、ＳＶＭに適用する。

診断結果出力手順Ｓ１０３では、画像処理装置が、識別手順Ｓ１０２の分類結果を出力する。例えば、画像処理装置が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのうちのいずれかを診断結果として出力する。出力は、例えば、コンピュータに備わるモニタに表示する。また、分類結果を内視鏡画像とともにメモリに格納する。

以上の特徴量算出手順Ｓ１０１、識別手順Ｓ１０２及び診断結果出力手順Ｓ１０３を、内視鏡画像ごとに行う。これによって、専門的な知識と経験を有する者でなくとも、病理診断を行いたい各部位が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのいずれであるか判断することができる。特に、消化管などの体内での粘膜の内視鏡画像を内視鏡を用いて撮像することで、リアルタイム自動診断が可能となり、内視鏡検査のクオリティを向上することができる。

なお、本実施形態に係る発明は、内視鏡画像だけでなく、生体から採取した組織を顕微鏡で撮像した顕微鏡画像に対しても適用することができる。

また、本実施形態では、細胞核の特徴が、長径ＤＬ、短径ＤＳ、周囲長、面積、真円度及び色である場合について説明するが、本発明はこれに限定されない。例えば、離心率・弦節比・凹凸形状・フラクタル次元・線の集中度・濃度コントラストを含めてもよい。

また、本実施形態では、ＳＶＭを用いて分類を行う例を示したが、ＳＶＭ以外の任意のアルゴリズムを用いることができる。そのようなアルゴリズムとしては、例えば、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析及びロジスティック回帰分析がある。

具体的には、本発明に係る画像処理装置は、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う機能と、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う機能と、を備える。

具体的には、本発明に係る画像処理方法は、画像処理装置が、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、画像処理装置が、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う手順と、画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う手順と、を行う。

本発明は、専門的な知識と経験を有する者でなくとも、非腫瘍、腺腫、癌及びＳＳＡ／Ｐのうちのいずれであるのかを判断可能にすることを目的とする。また、腺腫・癌の診断についても、より精度の高い診断を取得することを目的とする。

具体的には、本発明に係る画像処理装置は、内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う機能と、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行い、非腫瘍、腺腫、癌及びＳＳＡ／Ｐのうちのいずれかを診断結果として出力する機能と、を備える。

具体的には、本発明に係る画像処理方法は、画像処理装置が、内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、画像処理装置が、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う手順と、画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行い、非腫瘍、腺腫、癌及びＳＳＡ／Ｐのうちのいずれかを診断結果として出力する手順と、を行う。

本発明によれば、専門的な知識と経験を有する者でなくとも、非腫瘍、腺腫、癌及びＳＳＡ／Ｐのうちのいずれであるのかを判断可能にすることができる。また、腺腫・癌の診断についても既存の診断支援システムに比べ高い精度で診断が可能となる。

Claims (8)

1. 内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、
   前記内視鏡画像の全体について、テクスチャ解析を行う機能と、
   前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う機能と、
   を備える画像処理装置。
2. 前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像である、
   請求項１に記載の画像処理装置。
3. 前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像である、
   請求項１に記載の画像処理装置。
4. 前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像である、
   請求項１から３のいずれかに記載の画像処理装置。
5. 画像処理装置が、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、
   画像処理装置が、前記内視鏡画像の全体について、テクスチャ解析を行う手順と、
   画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、病理診断に対応した分類を行う手順と、
   を行う画像処理方法。
6. 前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像である、
   請求項５に記載の画像処理方法。
7. 前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像である、
   請求項５に記載の画像処理方法。
8. 前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像である、
   請求項５から７のいずれかに記載の画像処理方法。

Images