JP2022112407A - 病理診断装置及び画像処理方法 - Google Patents

Abstract

【課題】診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変の範囲を特定する技術を提供する。【解決手段】病理診断装置１０は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部１３０と、複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部１５０と、輪郭を用いて、画像に写る病変範囲を特定し、特定された病変範囲を示す特定結果を出力する病変範囲特定部１７０と、あらかじめ学習された検証モデル２３１により画像に基づいて検証情報を出力し、検証情報に基づいて特定結果を検証する特定結果検証部２３０と、検証された特定結果に基づく診断結果を出力する診断結果出力部１９０と、を備える。【選択図】図２

Description

特許法第３０条第２項適用申請有り 令和２年９月１日に、日本応用数理学会２０２０年度年会のウェブサイト（ｈｔｔｐｓ：／／ｄｏｃ－０ｃ－４ｏ－ｄｏｃｓ．ｇｏｏｇｌｅｕｓｅｒｃｏｎｔｅｎｔ．ｃｏｍ／ｄｏｃｓ／ｓｅｃｕｒｅｓｃ／ｆ１ｍｐ４ｐｊｐｉｃｋ３ｔｓ０ｊｄｌｎ７ｄ５６ｋｃｐｆａｆｏ３ｖ／ｕｔｏｉｓｕｅ２ｉ３１０５ｃｇｂ６ｍ１ｉ６１ｖｒｔ０ｊ７ｔｅｍｂ／１６１００９６３２５０００／１６２６８６５４８７９３５９０２５７５８／０３０９４４８２０１６５９６９１５２７７／１ＦｙｉｙｑｒｅＷＢｌｌｆＵＶＩｓＧ８ｙｎＤＸｖａＷｚＹ３ＳｊｙＫ？ａｕｔｈｕｓｅｒ＝０）にて予稿集が掲載 令和２年９月８日に、日本応用数理学会２０２０年度年会のウェブサイト（ｈｔｔｐｓ：／／ｓｉｔｅｓ．ｇｏｏｇｌｅ．ｃｏｍ／ｇ．ｅｃｃ．ｕ－ｔｏｋｙｏ．ａｃ．ｊｐ／ｊｓｉａｍ２０２０－ｋｚｄｋｐａ６ｆｄｋｂ４ｑｑｋ３／％Ｅ３％８３％９Ｂ％Ｅ３％８３％ＢＣ％Ｅ３％８３％Ａ０）にて年会発表が公開

本発明は、診断対象である身体部位の画像に基づく病理診断に用いられる技術に関する。

身体組織の異常の存在、性状、疾病の進行度等を判断する病理診断では、穿刺又は手術等によって外科的に採取した組織から作成される標本を顕微鏡で観察する生検が精度の高い有用な手法として従来行われている。

また、別の判断手法として、血液等の生体サンプル中に測定されるバイオマーカーが用いられるものがある。血液の採取は、手術による組織の採取に比べると侵襲による検査対象者への身体的負担が小さい点で有用である。

国際公開第２０１２／０１１５７９号

Satoshi Suzuki and Keiichi Abe, K.,"Topological Structural Analysis of Digitized Binary Images by Border Following", Computer Vision, Graphics, and Image Processing, April 1985, vol. 30, issue 1, pp. 32-46

しかしながら、生検では、疾病によっては、病理診断における上記の判断の基準である視覚上の違いを見つけるのが困難であり、また、その違いについて観察者間での正確な共有が困難であるために、観察者の熟練度によって判断にばらつきが生じやすいという問題がある。また、そのような視覚上の違いが微妙であるために、同じ観察者でも、組織の標本化又は病理画像の撮影の条件等によって判断にばらつきが生じやすいという問題がある。

上記でいう観察者である医師の負担を減らす技術として、病理組織画像をその画素値を用いて分割して背景領域、細胞質領域、及び細胞核領域を得て、これらの領域を示す領域分割画像データから病理組織画像の特徴を抽出する手法に関する技術が提案されている（例えば特許文献１参照）。

しかしながら、この手法において画像の分割のために行われる画像の２値化は、画像における対象物の像同士の差、又は対象物の像と背景との差の過小等の要因で適切に実行されないことがあり、その結果として病理組織画像の特徴を適切に抽出できない場合がある。

また、血液中のある物質を何らかの疾病のバイオマーカーとして用いるには、その前提として、その物質の量とある組織の特定の異常との相関についての、多くの症例を通じた検証が行われる。この検証は、例えば各症例における血液検査の結果及び生検の結果を統計的に解析して行われる。そして、蓄積された解析結果に基づいて、物質の量とある組織の特定の異常との確かな相関が検証されれば、例えばその物質の量を測る血液検査単独でスクリーニングへの適用が可能になる。

ところが、上記のように生検での医師の判断にばらつきの生じやすい疾病では、この生検の結果の確度が十分でないため、上記の相関の検証ができない。したがって、精度の高い診断には、検査対象者の身体的負担及びリスクのより大きい外科的な手法も依然として必要である。あるいは、検査対象者の既往歴によっては外科的な手法が適用できない場合もある。

本発明はこのような問題に鑑みてなされたものであり、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変の範囲を特定する技術を提供する。

上記の目的を達成するために提供される本発明の一態様に係る病理診断装置は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、前記複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、前記輪郭を用いて、前記画像に写る病変範囲を特定し、特定された前記病変範囲を示す特定結果を出力する病変範囲特定部と、あらかじめ学習された検証モデルにより前記画像に基づいて検証情報を出力し、前記検証情報に基づいて前記特定結果を検証する特定結果検証部と、検証された前記特定結果に基づく診断結果を出力する診断結果出力部と、を備える。

また、上記の目的を達成するために提供される本発明の一態様に係る画像処理方法は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、前記複数の領域から選択された１つの領域において輪郭を抽出し、前記輪郭を用いて、前記画像に写る病変範囲を特定し、あらかじめ学習された検証モデルにより前記画像に基づいて検証情報に基づいて前記病変範囲を検証し、検証された前記病変範囲を前記画像上で提示するデータを生成する。

また、上記の目的を達成するために提供される本発明の一態様に係るプログラムは、プロセッサに、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割させ、前記複数の領域から選択された１つの領域において輪郭を抽出させ、前記輪郭を用いて、前記画像に写る病変範囲を特定させ、あらかじめ学習された検証モデルにより前記画像に基づいて検証情報に基づいて前記病変範囲を検証させ、検証された前記病変範囲に基づく診断結果を出力させる。

本発明によれば、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉えられ、この特徴に基づいて、当該画像に写る病変の範囲が特定される。

図１Ａは、脂肪化のみが認められる肝生検画像の例である。 図１Ｂは、図１Ａに示す例よりさらに進んだ病変が認められる肝生検画像の例である。 図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。 図３は、上記の病理診断装置が備える画像分割部の機能的な構成を示すブロック図である。 図４Ａは、上記の病理診断装置が備える画像分割部に含まれる、正規化部による度数分布の正規化処理の概要を説明するための図である。 図４Ｂは、上記の正規化部による度数分布の正規化処理の概要を説明するための図である。 図４Ｃは、混合ガウス分布法の度数分布への適用例を説明するための図である。 図５Ａは、実施の形態に係る細胞領域検出部による細胞領域の検出について説明する図である。 図５Ｂは、実施の形態に係る特定結果検証部が有する検証モデルの生成について説明する図である。 図５Ｃは、実施の形態に係る特定結果検証部による色ヒストグラムの生成について説明する図である。 図６Ａは、上記の病理診断装置による画像の取得から診断結果データの出力までの処理のための動作に含まれる一連の手順例を説明するためのフロー図である。 図６Ｂは、上記の画像分割部による画像分割の処理の手順例を説明するためのフロー図である。 図６Ｃは、上記の病理診断装置が備える輪郭抽出部による領域の選択の手順例を説明するためのフロー図である。 図６Ｄは、上記の輪郭抽出部による前処理から輪郭の抽出までの手順例を説明するためのフロー図である。 図６Ｅは、上記の病理診断装置が備える上記の細胞領域検出部による細胞領域検出の手順例を説明するためのフロー図である。 図７Ａは、実施例にて用いられた肝生検画像の原画像である。 図７Ｂは、上記の肝生検画像の原画像ヒストグラムである。 図８Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す画像を示す図である。 図８Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す上記画像のヒストグラムである。 図９Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す画像を示す図である。 図９Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す上記画像のヒストグラムである。 図１０Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す画像を示す図である。 図１０Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す上記画像のヒストグラムである。 図１１は、実施例１において、上記の肝生検画像の複数の領域から選択されたひとつの領域の画像にオープニングの処理が行われた結果の画像である。 図１２Ａは、実施例１において特定された病変範囲の結果を示す図である。 図１２Ｂは、上記の病変範囲の病理医による所見を示す図である。 図１３Ａは、実施例２において所定の条件を用いて除外された血管の例を示す図である。 図１３Ｂは、実施例２において所定の条件を用いて除外された脂肪滴の例を示す図である。 図１４は、実施例２において所定の条件を用いて実施したＢＨの判定結果を示す。 図１５Ａは、実施例２において実施したＢＨの判定例を示す。 図１５Ｂは、実施例２において実施したＢＨの判定例を示す。 図１５Ｃは、実施例２において実施したＢＨの判定例を示す。 図１５Ｄは、実施例２において実施したＢＨの判定例を示す。 図１６Ａは、実施例３において実施したＢＨの判定例を示す。 図１６Ｂは、実施例３において実施したＢＨの判定例を示す。 図１６Ｃは、実施例３において実施したＢＨの判定例を示す。 図１７Ａは、実施例３において実施したＢＨの判定例を示す。 図１７Ｂは、実施例３において実施したＢＨの判定例を示す。 図１７Ｃは、実施例３において実施したＢＨの判定例を示す。

（本発明の基礎となった知見）
本発明者らは、非アルコール性脂肪肝炎（英語名称はｎｏｎ－ａｌｃｏｈｏｌｉｃ ｓｔｅａｔｏｈｅｐａｔｉｔｉｓであり、以下では、その頭字語であるＮＡＳＨを用いて表記する）という疾患の診断において、以下の問題が生じることを見出した。

まず、脂肪性の肝疾患には、アルコールの過剰摂取を原因とするアルコール性の脂肪性肝障害と、顕著な飲酒歴がない人に発現する、非アルコール性脂肪性肝疾患（英語名称はｎｏｎ－ａｌｃｏｈｏｌｉｃ ｆａｔｔｙ ｌｉｖｅｒ ｄｉｓｅａｓｅであり、以下では、その頭字語であるＮＡＦＬＤを用いて表記する）とがある。生検画像に大滴性の肝脂肪沈着が見られる点はいずれの疾患にも共通である。

さらに、このＮＡＦＬＤには２種類ある。ひとつは、組織の炎症や線維化を伴わない単純性脂肪肝である。この場合、多くは肥満が解消されることで好転し、予後は良好である。もうひとつが上述のＮＡＳＨであり、組織の炎症や線維化を伴い、進行性の症例を含む。進行性の場合には、肝硬変または肝がんに至ることがある。

ＮＡＳＨの患者数は、世界では約６０００万人、日本国内ではＢ型又はＣ型のウイルス性肝炎に匹敵する約２００万から３００万人といわれ、増加傾向にある。

ＮＡＳＨの治療方法としては、食事療法に加えて、線維化が進み始めている場合には対症的な薬物治療が行われるものの、承認されたＮＡＳＨの治療薬はまだない。

より早期のＮＡＳＨの診断ができれば、食事制限、運動の習慣化、又は薬物の投与等によって線維化への進行を抑制できる可能性もある。しかし、その時点では患者に自覚症状がほとんど現れない。また、血液検査、つまり血液標本中のバイオマーカーに基づく診断手法も研究は進められているが、この手法単独で臨床での早期診断への適用には至っていない。

このような状況にあって、ＮＡＳＨの早期診断の手法のひとつとして従来提案されているのが、血液検査、及び腹部エコー検査で肝臓の脂肪化がある程度以上進行していると認められる場合に肝生検を実施し、ＮＡＳＨの肝臓で見られる炎症細胞浸潤、風船様肝細胞、肝線維化の有無を確認するというものである。

ただし、ここでなお問題となるのが、肝生検画像に写る風船様肝細胞（英語名称はｂａｌｌｏｏｎｉｎｇ ｈｅｐａｔｏｃｙｔｅであり、以下ではＢＨとも表記される病変細胞の一例である）の判別の難しさである。単純性脂肪肝にも見られる脂肪変性をきたした肝細胞（脂肪滴含有肝細胞）との区別は、ある程度以上経験のある病理専門医の間でも所見に差が出ることがある。参考までに、異常として脂肪化のみが認められる肝生検画像の例を図１Ａに、さらに進んだ病変が認められる肝生検画像の例を図１Ｂに示す。図１Ａの肝生検画像において、左右の中央付近で上下に並ぶ、丸みを帯びて白く写るのが脂肪変性をきたした肝細胞である。図１Ｂの肝生検画像にはＢＨ及び炎症細胞が見え、矢印で示されるのがＢＨの例である。

このような状況に鑑み、本発明者らは、肝生検画像のデータから、経験を積んだ病理専門医による判別に近い精度で肝生検画像に含まれるＢＨの像を特定するための画像処理方法に想到した。

以下では、このように、従来は各々経験豊かな病理専門医によって行われてきた病理画像に基づく診断を病理画像データの解析に基づいて行うための画像処理方法を実行する装置を、本発明の一実施の形態に係る病理診断装置として説明する。

なお、本発明は上述のとおりＢＨの像を特定するという課題の解決を着想の糸口とし、以下では、肝生検画像に含まれるＢＨの像を特定する手法を例に本発明の実施の形態及び実施例を説明するが、本発明の適用範囲はこれに限定されない。本発明の他の適用については後述する。

また、以下で説明する実施の形態は、本発明の包括的な例又は具体的な例を示すものである。ただし、実施の形態で示される数値、形状、材料、構成要素、並びに構成要素の位置、配置及び接続形態などは一例であり、本発明を限定する趣旨ではない。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素は、本発明の任意の構成要素として説明される。

（実施の形態）
［１．構成］
図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。

実施の形態に係る病理診断装置１０は、身体の診断対象の部位が写る画像のデータを処理することで、当該画像に写る病変範囲を特定し、特定された病変範囲に基づく診断結果を出力する。例えば病理診断装置１０は、この処理のためのプログラムを記憶する記憶装置（図示なし）と、このプログラムを実行する演算処理装置（プロセッサ、図示なし）を備える電子計算機として、又は対象とする疾病の病理診断専用の装置等に含まれる集積回路（マイクロコントローラ）として実現される。

病理診断装置１０は、画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、診断結果出力部１９０、細胞領域検出部２１０、部分画像生成部２２０、及び、特定結果検証部２３０を備える。

画像取得部１１０は、病理診断装置１０による処理の対象である、身体の診断対象部位が写る画像を取得する。より具体的には、例えば撮像装置２０で撮像されて得られる画像のデータ（画像データ）を取得する。

本実施の形態におけるこの画像は生検画像である。例えば検査対象者から外科的手法で採取された組織を固定、スライス、染色して得られたスライド標本の顕微鏡画像である。

また、この画像データは、例えばこの顕微鏡画像を撮像装置２０の一例であるデジタルカメラで撮影して得られたものである。なお、撮像装置２０としては、病理診断装置１０による処理が可能な画像データを出力可能な装置であれば特に限定されず、他の例としてフィルムスキャナを含むイメージスキャナが挙げられる。これにより、フィルムを用いて撮影された過去の症例の肝生検画像から病理診断装置１０による処理が可能な画像データが得られる。

また、病理診断装置１０の処理対象の画像は、過去に撮影して取得された画像データを記憶する記憶装置３０から取得されてもよい。例えば記憶装置３０は、外部のサーバ装置が備える、ハードディスクドライブ又はソリッドステートドライブ等である。または、記録型のコンパクトディスク又はＤＶＤ等の各種の記憶媒体４０から画像取得部１１０に入力されても良い。

その他、図２には示されていないが、処理対象の画像は、病理診断装置１０が備える記憶装置に保管され、この記憶装置から読み取られてもよい。

画像分割部１３０は、入力された画像を、その画像を構成する画素の画素データを用いて複数の領域に分割する処理（ｓｅｇｍｅｎｔａｔｉｏｎ）を実行する。図３は、病理診断装置１０が備える画像分割部１３０の機能的な構成を示すブロック図である。

画像分割部１３０は、統計処理部１３１、正規化部１３３、及び領域分割部１３５を備える。

統計処理部１３１は、画像取得部１１０が取得した画像の画素データから、当該画素の輝度の出現頻度の度数分布を取得する。画素の輝度は、例えば８ビットの値（０～２５５）で表わされる。この場合、統計処理部１３１は画素の輝度値に基づく０～２５５までの２５６階級の度数分布を取得する。なお、各画素の輝度値は、画素データに直接示されていてもよいし、画素データが示す各種の画素値、例えばＲ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の色値から算出（変換）して取得されてもよい。また、各画素の輝度値は、１６ビット又は３２ビット等のより多階調で表現されてもよい。

正規化部１３３は、統計処理部１３１が取得した度数分布を正規化する。例えば、輝度値が０から２５５の値を取り得る実行環境において、度数が分布している階級の最小値が０に、最大値が２５５になるように度数分布全体を拡張する。図４Ａ及び図４Ｂは、正規化部１３３による度数分布の正規化処理の概要を説明するための図である。図４Ａに示されるのは、統計処理部１３１が取得した輝度値の度数分布の模式図である。なお、図４Ａ及び図４Ｂ、並びに後述の図４Ｃは、便宜上、度数分布のヒストグラムの各柱の頂点を結ぶ線に近似する連続関数のみを示し、柱の図示は省略されている。

図４Ａは、ある画像の輝度値の度数分布を示す。この度数分布では度数が分布している階級の最小値は０より大きく、最大値は２５５より小さい。正規化処理によって度数分布全体が拡張された結果、図４Ｂに示されるように度数が分布している階級の最小値が０に、最大値が２５５になる。なお、連続関数の極値は正規化の前後で保持される。図４Ａと図４Ｂとを比較すれば、例えば正規化の前後でヒストグラムの最大値は変化せず、ヒストグラムがなす山は元の形状をある程度保って幅が拡大されていることがわかる。この正規化処理の結果、画像全体としてはコントラストが強調されるため、後述の領域分割部１３５による処理で良好な結果が得やすくなる。また、分布の峰の幅が狭い場合に後述の領域分割部１３５による処理がうまく行われない場合がある。正規化処理ではこの峰の幅が広げられるため、領域分割部１３５による処理で良好な結果が得やすくなる。

なお、処理対象として入力された画像の輝度分布が元々広範な場合には、正規化部１３３による正規化処理は省略されてもよい。

領域分割部１３５は、統計処理部１３１による正規化処理後の度数分布に基づいて、入力された画像の領域分割を実行する。

画像の領域分割には、閾値法、エッジ抽出法、ｋ－ｍｅａｎｓ分割法等の各種の既知の手法が利用可能であるが、本実施の形態においては、領域分割部１３５は混合ガウス分布法を利用する。より具体的には、上述のような度数分布のヒストグラムに近似する連続関数に近似させるように、複数のガウス分布（正規分布）を、それぞれの重み付け係数と、平均と、共分散とを調節して線形結合する。図４Ｃは、混合ガウス分布法の適用例を説明するための図である。この例では、破線、点線、又は一点鎖線の曲線で示される複数の正規分布の結合を、実線で示されるヒストグラム（その柱の頂点を結ぶ線に近似する連続関数）に近似させている。このように複数の正規分布で度数分布をモデリングすることを、本開示では度数分布（のヒストグラム）を正規分布で分割する、ともいい、混合ガウス分布法はこの処理のために用いられる。

次に領域分割部１３５は、複数の正規分布のそれぞれに対応する画素の集合（領域）を同一の領域として扱うことで入力画像を複数の領域に分割する。ここで、ある正規分布に対応する画素とは、例えば１つの正規分布の所定の偏差に収まる値を有する画素であることをいう。また、このような画素の集合を同一の領域として扱うことの具体的な例を挙げると、対応する正規分布に応じた画素の塗り分け、特定の正規分布に対応する画素の抽出、特定の正規分布に対応する画素を対象とする共通の規則（アルゴリズム）に従った処理が挙げられる。

上記のヒストグラムには、各画素の空間的情報（位置情報）は含まれないが、輝度（又は輝度に変換された色）の情報が反映されている。そして各画素の輝度の情報は、当該画素の部分に写る対象物の材料の組成又は構造をある程度反映していると考えられる。言い換えると、輝度又は色は、対象物の材料又は構造が反映された情報として扱うことができると本発明者らは考える。本実施の形態において画像分割に混合ガウス分布法が用いられるのは、同一又は類似の材料又は構造の対象物、例えば細胞内の同一の構造物の像は、輝度のヒストグラムを分割して得た複数の正規分布のうち、同じ正規分布に属する画素で構成されるという想定に基づくものである。

ここで、例えば上に挙げた閾値法では、閾値との大小関係に基づいて各画素の画素値を２値化し、画像は２値のそれぞれの領域に分割される。この閾値を最適な値に設定するための従来提案されている技術のひとつが特許文献１に記載の手法に採用されている。

この技術は、ある程度以上の大きさの明暗差（コントラスト）を含む画像の分離では好適な結果が得やすい。しかしながら、画像における対象物の像同士、又は対象物の像と背景との差が小さい場合には、これらが同一の領域に入ることがある。また、同一の対象物の像に含まれる画素の画素値の度数分布における範囲の幅が比較的大きく、かつその範囲での度数の変化が比較的小さい場合には、設定される閾値がその範囲内に入ることがある。したがって、画像分割の結果、画像に写る対象物の像、例えば細胞内で材料組成の異なる構造物の像が、単一の領域に入ったり、同一の構造物の像が複数の領域に入ったりする可能性について十分に考慮はされていない。

一方、上述したように、本実施の形態で用いられる混合ガウス分布法では、材料の組成又は構造の共通性が高い対象物の像の領域は単一の領域として扱われる可能性が高く、ひいては共通性が低い対象物の像の領域は別の領域として扱われる可能性が高い。したがって、画像をより適切に分割し、つまりは、画像に写る対象物に応じた分割画像、例えば生検画像であれば細胞内において材料組成の異なる構造物ごと等の分割画像が得やすい。

あるいは、閾値法では、２値化の手順を、設定を変えて複数回実行することで適切な画像分割の結果を得ることは可能である。例えば特許文献１では、１つの画像の２種類の別個のデータ（ＲＧＢ画像データ及びＣＩＥＬｕｖ画像データ）のそれぞれから２値化した画像データを取得し、後の手順で用いる領域をそれぞれで１つずつ（細胞質領域、背景領域）得ている。なお、特許文献１では、閾値法で得られた２つの分割画像の否定論理和を用いることで３つめの領域がさらに取得されている。

一方、本実施の形態で用いられる混合ガウス分布法では、１つの画像データから１回の画像分割の処理で、後の手順で用いる領域を３つ以上でも直接に取得することができるため、効率がよい。

より具体的には、混合ガウス分布法では、処理対象である画像の画素値（輝度値又は色値）のヒストグラムの連続関数を複数の正規分布の線形結合とみなして、当該ヒストグラムをこれらの正規分布に分割する。この線形結合の際に各正規分布に与えられる重み付け係数は正規分布間で調節される混合比に対応し、すべての重みの総和は１となる。

このようにして得られた各正規分布内の画素値を持つ画素の集合は、それぞれ同一の領域として扱われる。また、これらの正規分布はヒストグラム内で重複しない。つまり、ひとつの画素値が複数の正規分布に属することはないため、各画素が複数の領域に属することもない（１つの画素と２つ以上の正規分布とが対応することはない。）。さらに、ヒストグラム内で隣り合う正規分布間で間が空くこともない。したがって、混合ガウス分布法を用いる分割によってひとつの画像内にある各画素を、その画素値に応じて、もれなくいずれかひとつの領域に帰属させることができ、材料組成の互いに異なる構造物の像を高い割合でそれぞれ含む複数の領域が得られる。

なお、この処理では、診断の目的に応じてより適した結果が得られるように、用いられる正規分布の個数が適宜調整されてもよい。

画像分割部１３０によって取得されるこのような画像分割処理の結果のデータ（分割済み画像データ）は、輪郭抽出部１５０に入力される。

輪郭抽出部１５０は、画像分割部１３０から入力された分割済み画像データが示す複数の領域から選択された１つの領域において輪郭抽出を実行する。輪郭抽出部１５０は、この処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。

輪郭抽出の対象となる領域の選択は、人の手によって行われてもよいし、輪郭抽出部１５０が各領域に含まれる画素の画素値に基づいて行ってもよい。輪郭抽出部１５０による選択の処理についての詳細は後述する。

輪郭抽出の処理は、既知の輪郭抽出のアルゴリズムを用いて実行されてもよい。例えばＳｕｚｕｋｉ８５のアルゴリズムが挙げられる（非特許文献１参照）。

また、輪郭抽出部１５０は、輪郭抽出の前処理として、画像中に小さく写る線又は点の強調又は削除を目的として、膨張（ｄｉｌａｔｉｏｎ）、収縮（ｅｒｏｓｉｏｎ）、又はこれらを含むクロージング若しくはオープニングの処理をさらに実行してもよい。クロージングの処理では、暗い領域に含まれる明るい小領域が消され、オープニングの処理では、明るい領域に含まれる暗い小領域が消される。消される領域の大きさは、各処理で繰り返される膨張及び収縮の回数を変えることで調整可能である。輪郭抽出の処理で抽出される輪郭とは、細胞膜等からなる細胞内の構造物の輪郭、又は細胞の内外に存在するタンパク質、糖類等からなる構造物の輪郭である。この前処理は、これらのうち、病理診断に用いられる構造物を際立たせたり、又はこの構造物以外の物を目立たなくしたりするために、必要に応じて行われる。

輪郭抽出の結果を含む分割済み画像データは、病変範囲特定部１７０に入力される。

病変範囲特定部１７０もまた、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。

輪郭抽出の結果を含む分割済み画像データを受け取った病変範囲特定部１７０は、輪郭抽出部１５０によって抽出された輪郭を用いて、当該画像データが示す画像に写る病変範囲を特定する。病変範囲特定部１７０による病変範囲の特定の処理については、例を用いて後述する。

特定された病変範囲を示すデータは、当該病変範囲を示す特定結果として、特定結果検証部２３０に入力される。特定結果検証部２３０の機能については後述する。

一方で、画像取得部１１０によって取得された画像は、細胞領域検出部２１０にも入力される。細胞領域検出部２１０は、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。細胞領域検出部２１０は、取得した画像上で、それぞれが個々の細胞を含む１以上の細胞領域を検出する。細胞領域検出部２１０としては、画像から個々の細胞に対応する部分画像を生成するための、当該個々の細胞を含む領域である細胞領域を検出可能であればどのようにして実現されてもよい。

例えば、細胞領域検出部２１０の処理速度を優先する観点から、対象とする１つの細胞の他に他の細胞の一部分が含まれる領域を検出してもよい。一方でこれらの他の細胞の一部が検出された細胞領域内に含まれる場合、これらがノイズとして、後述する特定結果検証部２３０による処理精度を低下させ得るため、処理精度観点から、対象とする１つの細胞の以外の細胞などを排除するように細胞領域が検出されてもよい。ここでの細胞領域の検出は、上記の処理速度及び処理精度のバランスをとり、１つの細胞の細胞核を基準として、当該細胞核から標準的な細胞の細胞質が拡がる箇所を含む領域として検出される。図５Ａは、実施の形態に係る細胞領域検出部による細胞領域の検出について説明する図である。図５Ａでは、取得された画像を２値化した例を示している。ここでは、白色を細胞核に対応する画素とし、黒色をその他の背景として示している。図中に白線矢印で示すように白色の細胞１つについて、破線矩形で示す細胞領域が検出される。細胞核からの拡がりが、平均的な細胞における細胞質の広がりに相当する。このようにして、細胞領域検出部２１０は、細胞１つを含む細胞領域を画像から検出する。

細胞領域検出部２１０によって検出された細胞領域は、取得された画像上の座標に対応しており、画像のうち細胞領域内の部分のみを示す部分画像の生成のために用いられる。このため、検出された細胞領域は、部分画像を生成する部分画像生成部２２０へと出力される。部分画像生成部２２０は、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。部分画像生成部２２０は、画像内で細胞領域に対応する部分を残して他の部分の情報を削除することにより、細胞領域に対応する部分画像の情報を生成する。なお、細胞領域は、画像に複数の細胞が写っている場合には当該複数の細胞のそれぞれに対して検出されるため、部分画像生成部２２０は、複数の細胞のそれぞれに対して部分画像を生成する。このようにして、複数の細胞のそれぞれに対応する複数の部分画像が生成される。

なお、画像に細胞が１つしか存在しない場合や、画像のうち、着目すべき細胞があらかじめ決定されている場合等には、部分画像生成部２２０は、この１つの細胞について部分画像を生成するのみであってもよい。また、上記したように、細胞領域は隣接する他の細胞を含む場合があり、このため、隣接する細胞のそれぞれにおいて生成された部分画像同士は、一部分を共有している場合がある。

部分画像生成部２２０によって生成された部分画像は、特定結果検証部２３０へと入力される。特定結果検証部２３０は、入力された特定結果に対して、入力された部分画像によりこれが適切であったかを検証するための処理部である。特定結果検証部２３０は、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。

特定結果検証部２３０は、具体的には、病変範囲特定部１７０において出力された特定結果に示される病変範囲に含まれるべきでない範囲が含まれている、及び、含まれるべき範囲が含まれていない状況が生じていないかを検証する。このとき、特定結果検証部２３０は、部分画像に対応する１つの細胞が病変に関与する病変細胞であるか否かを、あらかじめ生成された検証モデル２３１によって判定する。

図５Ｂは、実施の形態に係る特定結果検証部が有する検証モデル２３１の生成について説明する図である。検証モデル２３１は、機械学習によって生成された学習モデルであり、例えば、学習用の部分画像について、当該部分画像に写る細胞をいわゆる専門家である病理医が診断した場合の診断結果（つまり病変細胞であるか否かの正解データ）と、当該部分画像に対応する学習用の色ヒストグラムとを教師データとして用いて学習させている。さらに本実施の形態では、部分画像に基づいて、病変細胞であるか否かに加えて、病変細胞である疑いがもたれる細胞（偽細胞と表記する場合がある）であるか否か、及び、その他の細胞であるか否かが正解データとして入力される。上記ＮＡＳＨの例では、病変細胞はＢＨ細胞に相当し、偽細胞は偽ＢＨ細胞に相当し、その他の細胞は脂肪滴含有肝細胞に相当する。なお、この他に正常細胞の正解データが入力されてもよい。ここでの検証モデル２３１としては、複数階層の人口ニューロンが接続された多層パーセプトロン（ＭＬＰ）モデルが用いられるが、これに限定されることなく、あらゆる機械学習モデルを用いて本実施の形態を実現してもよい。

なお、ここで、色ヒストグラムについて説明する。図５Ｃは、実施の形態に係る特定結果検証部による色ヒストグラムの生成について説明する図である。

図５Ｃの左列に示すように、部分画像生成部２２０によって、１つの画像から複数の細胞の部分画像が生成される。本実施の形態では、この部分画像をそのまま用いるわけではなく、画像を色ヒストグラムに変換したうえで使用する。このため、特定結果検証部２３０は、部分画像から、当該部分画像に対応する色ヒストグラムを生成する機能も有する。図５Ｃに示すように、部分画像に対して色ヒストグラムが生成される。ここで生成される色ヒストグラムは、部分画像の赤色画素の輝度ごとの頻度（図中の「Ｒ」が付された矢印が指し示すグラフ）、部分画像の緑色画素の輝度ごとの頻度（図中の「Ｇ」が付された矢印が指し示すグラフ）、及び、部分画像の青色画素の輝度ごとの頻度（図中の「Ｂ」が付された矢印が指し示すグラフ）に分けられる。本実施の形態では、部分画像は、このように各種の処理を行ったうえで使用される。

ここで部分画像に対して行った処理と、上記の学習用に用いられた部分画像に対して行った処理とが一致していれば、どのような処理を適用したうえで部分画像を使用してもよい。また、特に処理を適用することなく、部分画像をそのまま用いてもよい。本実施の形態では、色ヒストグラムを生成してこれを検証モデル２３１の学習に用いる。したがって、検証モデル２３１では、色ヒストグラムの特徴から病変細胞（又は、偽細胞、又は、その他の細胞）であるか否かを導き出すために各人口ニューロンにおける係数が最適化されている。

図２に戻り、特定結果検証部２３０は、取得した部分画像から、当該部分画像に対応する色ヒストグラムを生成して、検証モデル２３１に入力することで、その出力として、部分画像に写る細胞が、病変細胞であるか否か、偽細胞であるか否か、及び、その他の細胞であるか否かの検証情報を得る。この検証情報と、病変範囲特定部１７０による特定結果とが整合しない場合に、特定結果検証部２３０は、特定結果を変更し、変更された（つまり、検証された）特定結果に基づく病変範囲を出力する。特定結果検証部２３０によって出力された病変範囲を示すデータは、診断結果出力部１９０に入力される。

診断結果出力部１９０は、病変範囲特定部１７０によって特定され、特定結果検証部２３０によって検証された病変範囲に基づく診断結果をデータ（診断結果データ）として出力する。

診断結果は様々な形で出力され得る。例えば、入力された一検査対象者の肝生検画像内の病変範囲を示す図形又は記号を付した画像のデータとして出力されてもよい。また、病変範囲の個数、大きさ等を示す統計的なデータとして出力されてもよい。また、疾病の有無、又は、画像から得られた情報からさらに取得可能であれば、さらなる検査の要否若しくはその疾病の程度（進行度）等、定性的な情報を示すデータが出力されてもよい。このようなデータは組み合わせて出力されてもよい。

なお、診断結果データは、例えば医師又は検査対象者等が見る目的で表示又は印刷に用いられる形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、ディスプレイ又はプリンタに入力される。また、診断結果データは、電子計算機による他の目的のさらなる処理、例えば統計的な分析、又は人工知能による診断に資する機械学習用の教師データに利用可能な形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、病理診断装置１０の内部又は外部の記憶装置に記憶される。

このような画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、診断結果出力部１９０、細胞領域検出部２１０、部分画像生成部２２０、及び、特定結果検証部２３０は、電子計算機又は集積回路によって実現される病理診断装置１０の機能的な構成要素であり、病理診断装置１０において、記憶装置から読み込まれたプログラムがプロセッサによって実行されることで実現される。

また、これらの機能的な各構成要素を実現するための手段は特に限定されず、例えばＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｏｒｏｉｄ（登録商標）等のオペレーティングシステムが実装されて稼働する電子計算機又は集積回路上で、ＯｐｅｎＣＶの画像処理ライブラリに含まれるプログラム及びＣ＋＋等のプログラミング言語で記述されたプログラムを必要に応じて組み合わせたプログラムがプロセッサによって実行されて実現されてもよい。または、そのような電子計算機等の上で、ＭＡＴＬＡＢ（登録商標）等のＣＡＥ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）ソフトウェアが用いられてもよいし、各構成要素による処理に対応する機能を備える画像処理ソフトウェア、若しくは各構成要素の処理内容が記述されたプログラムを用いて実現されてもよい。

［２．動作］
次に、上記の構成を有する病理診断装置１０の動作について説明する。図６Ａは、病理診断装置１０による画像の取得から画像処理を経て、診断結果データの出力までの処理の動作に含まれる一連の手順例を説明するためのフロー図である。

まず、画像取得部１１０によって、処理対象の画像が取得される（ステップＳ１０）。この処理対象の画像とは、上述のとおりであり、より具体的には、診断対象部位が写る画像であり、例えば生検画像である。

次に、画像分割部１３０によって、処理対象の画像が当該画像を構成する画素の輝度値に基づいて複数の領域に分割される（ステップＳ２０）。この手順のより詳細については、図６Ｂのフロー図を用いて説明する。図６Ｂは、画像分割部１３０による画像分割の処理の手順例を説明するためのフロー図である。

まず、統計処理部１３１によって、この取得された画像の画素情報に基づく画素の度数分布が取得される（ステップＳ２１）。

次に、正規化部１３３によって、この取得された度数分布が正規化される（ステップＳ２２）。

次に、領域分割部１３５によって、この正規化された度数分布に混合ガウス分布法が適用され、複数の正規分布を用いてこの度数分布が分割される（ステップＳ２３）。

画像分割部１３０では、最後に、領域分割部１３５によって、複数の正規分布のそれぞれに対応する画素が単一の領域として扱われることで、画像が複数の領域に分割される（ステップＳ２４）。

次に、輪郭抽出部１５０によって、画像に含まれる複数の領域から、輪郭の抽出の対象である領域が選択される（ステップＳ３０）。図６Ｃは、この選択の手順例を示すフロー図である。この例では、輪郭抽出の処理の対象の候補である領域が第一領域と第二領域の２つある場合を想定している。なお、第一領域と第二領域とは、上記の混合ガウス分布法の結果得られた領域であるため、互いに異なるそれぞれの平均輝度（中央値）で区別することができる。

輪郭抽出部１５０は、例えば入力された生検画像を構成する画素の画素値を所定の条件に照らした結果に応じて第一領域又は第二領域のいずれかを選択する（ステップＳ３１からＳ３３）。

ここでいう所定の条件には、生検画像で輪郭が抽出される構造物の種類又は状態に応じて異なるものが用いられる。これは、構造物は、その外観が種類又は状態に応じて異なるためである。外観に影響し得る構造物の種類又は状態の例としては、細胞が採取された身体部位、染色等の標本化のための処理の種類及び結果（例えば染色の場合の染まり具合）、病状の進行度等が挙げられる。

所定の条件は、例えば生検画像の輝度値に関するものであってもよいし、生検画像がカラー画像であれば、いずれかの色値に関するものであってもよい。より具体的には、このような値を標本データとして得られる代表値などの各種の統計量と所定の閾値との大小関係、又は統計量同士の大小関係等に関する条件である。このような統計量は、生検画像全体、又は生検画像の分割された各領域での特徴を示す特徴量の例である。所定の条件にて用いられる具体的な特徴量の例は、後述する実施例において示す。

次に輪郭抽出部１５０は、選択した領域に対して輪郭抽出を実行する。ただし、構成の説明で上述したとおり、必要に応じてさらに前処理が行われてもよい。図６Ｃは、前処理が行われる場合の手順例を示すフロー図である。輪郭抽出部１５０では、選択された領域が第一領域であるか第二領域であるかに応じて、その後の輪郭抽出までの手順が変更される。

図６Ｄに示される例では、選択された領域が第一領域の場合（ステップＳ４１で「第一領域」）、第一領域がさらに細かい領域に分割されてその１つが選択されている（ステップＳ４２）。この分割の処理は、再び画像分割部１３０によってステップＳ２０と同じ手法で実行されてもよい。例えば、輪郭が抽出される構造物とそれ以外の構造物とが、材料又は構造が比較的近い場合、一度の分割ではこれらの構造物が同一の領域に含まれることがある。そのような場合に、画像分割を重ねて実行することで、輪郭が抽出される構造物をより高い割合で含む領域を得ることができる。選択された領域には、前処理Ａが施され（ステップＳ４３）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ａとは、例えば上述のオープニングである。

一方、選択された領域が第二領域の場合には、第二領域に前処理Ｂが施され（ステップＳ４４）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ｂとは、例えば上述のクロージングである。

このような、選択された領域に応じた処理が、病理診断に用いられる構造物の輪郭のより確実な抽出、又は抽出された輪郭に対するその後の処理の精度の向上を目的として行われてもよい。

なお、図６Ｄに示される一連の手順はあくまで例であり、ステップＳ２０で得られた領域に輪郭抽出アルゴリズムが適用されるまでの手順はこれに限定されない。再度の画像分割及び前処理は、上述のとおり必要に応じて実行されるものである。また、条件に照らして選択される領域に拘わらず、ステップＳ４５に先立つ前処理の内容は共通であってもよい。また、ステップＳ４１で選択肢として扱われる領域の数は複数であればよく、上記の例のように２つには限定されない。ステップＳ４２についても同様である。

次は、病変範囲特定部１７０によって、抽出された輪郭を用いて、病理画像で病変が写る範囲である病変範囲が特定される（ステップＳ５０）。

病理画像上の輪郭を用いて病変範囲を特定する方法には、病変によって細胞に起こる変化に応じた種々のものを選択し得る。以下に例を挙げる。

例えば、輪郭内の範囲にある画素の画素情報が用いられてもよい。ある構造物は、異常がなければほぼ均質であるが、異常があれば不純物等の異物が混じり、そしてこの異物は、当該構造物とは異なる色又は輝度を有する場合がある。または、異物の種類によって、色又は輝度に差が生じる場合がある。当該構造物中の異物は、生検画像内では、構造物の輪郭内での各色の画素値又は輝度値が他の部分と異なる像として現れ得る。具体例を挙げると、肝生検画像において、単純性脂肪肝で脂肪滴を有する肝細胞とＢＨとでは、前者は内部の色がほぼ一様であるが、線維化を伴うＢＨはその内部の貯留物が異なる色で現れる。つまり、肝生検画像における単純性脂肪肝の肝細胞と、今後の進行が危ぶまれるＢＨとを区別して特定するために、細胞の輪郭内のこのような異なる色の画素の存否又は量によって変化する画素値の分散を利用することができる。ステップＳ３０では、生検画像内でこの構造物、例えばある種の細胞が写る領域が選択され、ステップＳ４０ではこの構造物の輪郭が抽出された上で、ステップＳ５０において、当該構造物の輪郭内に含まれる画素の画素値の分散を示す値が所定の閾値を超える場合、この輪郭内の範囲が病変範囲と特定されてもよい。この閾値は、本実施の形態における第八閾値の例である。

また、特定対象の病変の種類又は検査対象の組織等に応じて、画素値の分散に代えて、画素値の平均を用いてもよいし、輪郭内の特定の色の画素値がより高い又は低い画素の個数又は割合を所定の閾値と比較して、当該輪郭内の範囲が病変範囲であるか否かが特定されてもよい。

また例えば、輪郭の形状に関する特徴が用いられてもよい。ある構造物は、異常がなければ縦横の寸法がほぼ等しい形状を呈するが、異常があれば変形して細長い形状を呈するか、又は異常が原因で中に増える異物の影響で細長く見える場合がある。このような場合には、例えば抽出された構造物の輪郭の外接楕円を算出し、外接楕円の長径に対する短径の比率（アスペクト比）が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は、本実施の形態における第一閾値の例である。

また、このような外接楕円に基づく病変範囲の特定方法の他の例として、抽出された構造物の輪郭とその外接楕円との両方が用いられてもよい。ある構造物は、異常がない場合に真円に近い形状を呈し、異常があれば、変形していびつな形状を呈するか、又は異常が原因で中に増える異物の影響でいびつに見える場合がある。このような場合には、例えば外接楕円の面積に対する、当該輪郭の面積の比率が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は本実施の形態における第七閾値の例である。

あるいはこのような構造物の形状のいびつさが、生検画像上での外接楕円からその中の輪郭までの距離に基づいて判定され、その結果に応じて病変範囲が特定されてもよい。例えば、抽出されたある構造物の輪郭について、当該輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の個数より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は本実施の形態における第二閾値の例である。または、この輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の割合より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は、本実施の形態における第三閾値の例である。

ここで、上記の所定の個数又は所定の割合は、固定の値であってもよいし、病理医等であるユーザが手動で、又は病理診断装置１０が自動的に調節可能な値であってもよい。ユーザ又は病理診断装置１０は、例えば病理画像の倍率、又は撮像装置２０若しくは画像データの仕様（画素数、ビット深度等）に応じて、診断のための観察に適した値に変更する。

また、外接楕円からその中の輪郭までの距離に基づく判定には、上記の例以外に、楕円の長径、短径、又は周囲長に対する当該距離の比率が用いられてもよい。つまり、この距離の、外接楕円の長径に対する比率が所定の閾値（第四閾値の例）を超えるか否か、外接楕円の短径に対する比率が所定の閾値（第五閾値の例）を超えるか否か、又は外接楕円の周囲長に対する比率が所定の閾値（第六閾値の例）を超えるか否か、といった条件が満たされるか否かに基づいて、当該輪郭内の範囲が病変範囲として特定されてもよい。このような比率が高いほど、当該構造物の形状は、その外接楕円に対していびつであるということができる。

また、上記の外接楕円からその中の輪郭までの距離に代えて、又は加えて、外接楕円の中心とその中の輪郭の重心（幾何中心）との距離が用いられてもよい。

また上記では、構造物の形状の特徴に関する判定に、抽出されたこの構造物の輪郭の外接楕円が用いられているが、外接楕円に代えて、輪郭上のあらゆる点の集合の凸包（以下、簡略に「輪郭の凸包」ともいう）が用いられてもよい。凸包が用いられる場合も、構造物の形状のいびつさは、外接楕円の場合と同様に、凸包の長手方向の大きさ（長径）に対する短手方向の大きさ（短径）の比率、凸包とその中の輪郭との距離、凸包の長径、短径、又は周囲長に対するその距離の比率、凸包と輪郭との面積比、又は凸包及び輪郭それぞれの幾何中心間の距離等に基づいて判定される。このような外接楕円及び凸包は、本実施の形態における輪郭の外接図形の例である。

なお、ここまでに例示した病変範囲の特定では、分散、比率、個数、又は割合等の数値に基づく病変範囲であるか否かの判定がなされているが、病変範囲である場合には、さらに病気の進行度の指標として利用される病変の程度についての特定がなされてもよい。例えばこれらの数値は、病変の程度を示す連続値又は離散値のスコアとして用いられてもよいし、これらの数値に基づく病変の段階分けがなされてもよい。あるいは、病変範囲であるか否かの二項分類的な判定に代えて、病変範囲である可能性に関する３段階以上の評価がこれらの数値に基づいてなされてもよい。

また、上記では第一閾値から第八閾値までのいずれかをそれぞれ含む、病変範囲を特定するための８つの条件を例示したが、これらの条件は単独で用いられてもよいし、複数が組み合わせて用いられてもよい。また、複数の条件が組み合わせて用いられる場合には、いずれかが満たされればよいＯＲ条件として用いられてもよいし、すべてが満たされるべきＡＮＤ条件として用いられてもよい。

後者の例として、輪郭内の範囲の色、つまり画素値の分散、平均等に関する条件と、輪郭又はその外接図形の形状又は面積に関する幾何的な条件との両方が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。

なお、条件の組み合わせは、色に関する条件と幾何的な条件との組み合わせに限定されず、色に関する条件どうし、又は幾何的な条件どうしの組み合わせであってもよい。例えば輪郭の形状に関する２つ以上の条件が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。

その後、特定された病変範囲を示す特定結果の検証が行われる（ステップＳ６０）。この特定結果の検証に先立って、本図では図示しない細胞領域の検出及び部分画像の生成が行われる。図６Ｅは、上記の病理診断装置が備える上記の細胞領域検出部による細胞領域検出の手順例を説明するためのフロー図である。

細胞領域検出部２１０は、まず、取得された画像に対して所定の閾値を用いて２値化の処理を行う（ステップＳ５１）。この結果、画像を構成するすべての画素は、前景色画素及び背景色画素に２分される。ここで用いられる所定の閾値は、画像に写る診断対象部位の染色及び撮像などの条件によって異なるため、取得された画像に応じて適宜設定されればよい。細胞領域検出部２１０は、さらに、２値化された画像を、各画素の背景色画素までの最短距離を示す距離画像に変換する（ステップＳ５２）。これらの画像処理を行うことによって、細胞領域検出部２１０は、画像中の細胞核の位置（つまり細胞核にあたる画素位置）を検出する（ステップＳ５３）。その後、細胞領域検出部２１０は、あらかじめ平均的な細胞質の拡がり（例えば、に対応する領域となるように設定された、細胞の平均半径などの所定距離内の領域を細胞領域として検出する（ステップＳ５４）。

検出された細胞領域を用いて、部分画像生成部は画像から部分画像を生成する。この部分画像を用いて、画像内の個々の細胞が病変細胞であるか否か、偽細胞であるか否か、及び、その他の細胞であるか否かの検証情報を得て、病変範囲特定部１７０が出力した特定結果を検証する。

このようにして検証された病変範囲に関する情報に基づいて、診断結果出力部１９０は、当該情報をその利用目的に応じたデータとして、必要に応じて処理を加えて出力する（ステップＳ７０）。

［３．変形例］
本実施の形態に係る病理診断装置１０の構成及び動作は上記の説明に限定されるものでなく、その変形にも本発明の技術的範囲に含まれるものがあり、以下にその例を挙げる。

例えば、上記の各種の条件を用いて生検画像中の病変範囲でない部分の特定が実行されてもよい。例えば病変範囲特定部１７０による病変範囲の特定の処理（ステップＳ５０）において、画素値又は幾何的な所定の条件を満たす範囲を、病変範囲として特定される範囲から除外してもよい。より具体的な例として、特定の色の画素値の分散が所定の閾値未満の画素、又はこの条件を満たす画素を所定の割合より多く含む範囲を、病変範囲として特定される範囲から除外してもよい。これにより、例えば肝細胞についての病変範囲を特定する際に、選択された領域内に混じって映る肝細胞以外の構造物、例えば間質又は血管の像の範囲を除外することができる。また別の例として、構造物の輪郭又はその外接図形の長径又は短径の大きさに基づく判定が実行されてもよい。例えば同種の構造物でも、正常な細胞と病変を来たしている細胞とでは、大きさに特定の傾向が見られる場合がある。例えば正常な肝細胞はその長径のほとんどが１０μｍ以下であるところ、異物を含んで膨化した異常な肝細胞はより大きい傾向がある。このような場合に、例えば１５μｍの閾値を設定して、色、形状又は面積に関する病変範囲の条件を満たす範囲であっても、この閾値以下の場合には病変範囲でないと特定されてもよい。

これらのような条件を組み合わせて用いることで、生検画像中の病変範囲であり得る部分と病変範囲ではない範囲とがより高い精度で特定され、検査精度の向上につながる。例えばステップＳ２０で画素値に基づいて分割した領域内には、ノイズともいうべき病変範囲ではない病変範囲と近い外観を呈する構造物が混在することもある。このような構造物を含む範囲を誤って病変範囲と特定する可能性が抑えられる。

また、上記の動作には、生検画像又はその分割された領域の画素値が所定の条件に照らされる判定の対象となる手順が含まれるが、この画素値には、所定の条件に照らす判定の前に、必要に応じて正規化の処理がなされてもよい。

また、上記の動作の手順の例として、選択された１つの領域に対してさらに行われる領域分割の手順が示されているが、この領域分割には、上記に例示したような各種の領域分割の手法を用いることができる中で、再び混合ガウス分布法が用いられてもよいし、他の手法が用いられてもよい。

また、上記において輪郭抽出部１５０が輪郭抽出の前に行う前処理は、選択された領域が第一領域であるか第二領域であるかに応じてその内容が変えられていたが、前処理の内容の決定手法はこれに限定されない。例えば、輝度値の度数分布の分散値等、選択された領域の画素値の各種の統計量に基づいて決定されてもよい。他の例として、選択された領域の、選択されなかった領域又は生検画像全体に対する面積比に基づいて決定されてもよい。

これらを例とする前処理の内容の決定のための基準は、生検画像に写る検査対象の部位の像に、病変によって起こり得る外観上の変化に基づいてあらかじめ選択される。外観上の変化のより具体的な例としては、組織の線維化が進むと画像の輝度値のばらつきが大きくなる、又は細胞質の像をおもに含む第一領域の、線維の像をおもに含む第二領域に対する面積比が小さくなるといった変化を挙げることができる。前処理の内容は、例えば第一領域が選択されているときに、その輝度値の分散値が所定の値以下の場合には、前処理として第一領域にオープニングの処理が施される、というように決定される。または、複数の外観上の変化に照らして決定されてもよい。例えば、第一領域の輝度値の分散値が所定の値を超え、かつ、第二領域に対する面積比が所定の値を超える場合には、第一領域をさらに分割し、この分割によって得た領域のうち、平均輝度のより高い領域にオープニングの処理が施される、というように決定されてもよい。

これにより、入力された画像又は選択されたその領域に写る、目的の構造物の輪郭をより適切に抽出することができる。

このような変化は、例えば病理専門医等の知見を得てあらかじめ定めることができる。また、これらの変化の複数に基づいて前処理の内容が決定されてもよい。

また、上記において輪郭抽出部１５０が輪郭抽出の前に行う領域の選択から前処理までは、画像分割部１３０による、分割の処理後の処理として実行されてもよい。つまり、画像の複数の領域への分割後であって、輪郭抽出の実行前に行われればよい。なお、上述のとおり、輪郭抽出部１５０、病変範囲特定部１７０、細胞領域検出部２１０、部分画像生成部２２０、及び、特定結果検証部２３０は、病理診断装置１０において、演算処理装置によってプログラムが実行されることで実現される機能的な構成要素であり、各構成要素への動作としての上記の各手順の分担は、説明のための便宜的なものである。上記とは異なる分担であっても、合理的である限り本発明の意図するところである。また、画像取得部１１０、画像分割部１３０、及び診断結果出力部１９０を含め、いずれの機能的な構成要素間での分担についても同様である。

また、動作の各手順の順序は上記に限定されず、合理的である限り入れ替えられてもよいし、そのために各手順において変更が加えられてもよい。例えば、領域の選択は、輪郭の抽出に先行して行われず、すべての領域について輪郭抽出又は病変範囲の特定まで行われてもよい。領域の選択は、その後に各領域での輪郭抽出又は病変範囲の特定の結果に基づいて実行されてもよい。病変の対象に用いられる構造物をより高い割合で含む領域の選択の基準が十分に定まっていない場合、又は例外的な画像情報を含む病理画像で病理診断が行われる場合に、このように選択が後に回されることが考えられる。

［４．実施例１］
次に、本実施の形態に係る病理診断装置１０の実施例を説明する。なお、以下の実施例１及び実施例２では、特定結果の検証を行うことなく、すなわち、病変範囲特定部１７０の出力した特定結果が診断結果出力部１９０に直接入力される場合について説明する。その後、特定結果検証部２３０による特定結果の検証を行う例について、実施例３として説明する。この説明では、病理診断装置１０を用いて、本発明の着想の基になった肝生検画像を用いたＮＡＳＨの兆候の有無に関する診断を例に用いる。なお、以下の実施例では、ＯｐｅｎＣＶにて提供される統計処理、正規化、領域分割、輪郭抽出、及び欠け検出のための各ライブラリ、並びに必要に応じて、本発明者らが用意したＣ＋＋で記述されたプログラムがこれらのライブラリと組み合わせて利用された。

図７Ａは、本実施例にて用いられた肝生検画像の原画像であり、図７Ｂは、当該原画像のヒストグラムを示す。ただし、実際の原画像は、標本化の過程でヘマトキシリン・エオジン染色が施されたカラーの画像であった。図７Ｂにおいて、上から順にこの原画像の輝度、Ｒ値、Ｇ値、Ｂ値のヒストグラムである。

この肝生検画像に画像分割部１３０による混合ガウス分布法を適用（ステップＳ２０）して得られたのが、図８Ａ、図９Ａ及び図１０Ａに示す画像であり、それぞれの画像の輝度、Ｒ値、Ｇ値及びＢ値のヒストグラムを図８Ｂ、図９Ｂ、図１０Ｂに示す。

図８Ａに示されるのは、最も平均輝度が高い第一領域の画像であり、細胞質に対応する領域がおもに写る画像（以下では細胞質領域画像ともいう）である。図９Ａに示されるのは、次に平均輝度が高い第二領域の画像であり、アクチン等の線維に近い構造物又は線維に対応する領域がおもに写る画像（以下では線維領域画像ともいう）である。図１０Ａに示されるのは、最も平均輝度が低い第三領域の画像であり、細胞核に対応する領域がおもに写る画像である。

ヘマトキシリン・エオジン染色では、細胞核はヘマトキシリンによって青紫色に染色される。また、細胞質及び線維はエオジンによって、材料又は構造が異なる構造物の種類ごとに、赤からピンクにかけての異なる濃度に染色される。このように構造物の種類によって異なる染色の結果は、混合ガウス分布法を利用する構造物ごとの領域に画像を分割するにあたって好都合に利用された。

次に、本発明者らは、輪郭抽出部１５０に、分割の結果得られたこれらの３つの画像から、輪郭抽出の対象として用いる画像を選択させた（ステップＳ３０）。

ＮＡＳＨに関する診断は、脂肪変性をきたした肝細胞に、ＢＨとしてＮＡＳＨの兆候を示す特徴が認められるか否かに基づいて行われる。ＢＨは変性の進行につれて、通常の肝細胞に比べて淡明化し、丸みを帯びて目立つ腫大となる。したがって、細胞質領域画像から細胞又はその主たる構造物の輪郭を抽出するというのはひとつの選択肢として可能性がある。

しかしながら、ＮＡＳＨが進行すると肝組織の線維化が進み、進行がある程度に達すると、ＢＨには線維の一部からなる顆粒状の凝集物が含まれるようになる。この凝集物により、生検画像で平面視的に把握される肝細胞の形状は、本来の丸みを帯びた形状から欠けているように見える場合があることが経験豊かな病理医には知られていた。この点を利用して、ある程度進行したＮＡＳＨの可能性がある場合には、線維領域画像で輪郭抽出を行う方が良好な結果が得られる可能性もある。つまり、ここで第一領域の画像と第二領域の画像のいずれを使うかについての判定が何らかの条件に照らして可能であれば、診断をより効率よく行うことができる。

ここで本発明者らは、多数の症例の肝生検画像を検討し、線維化が進むことで増加する、細胞質領域画像における線維の像の割合を画像情報から把握するひとつの手法を経験的に見出していた。これは、第一領域における、Ｂ値の度数分布における２つの極大値の比率に見られる傾向から導かれたものである。

その傾向とは、２つの極大値を、階調値のより高い第一極大値とより低い第二極大値とした場合（図８Ａ参照）に、線維化が進んでいない症例では、第二極大値は第一極大値に比べて小さいが、線維化が進んだ症例ほど、第一極大値に対する第二極大値の比率が高くなるというものである。これは、図９Ｂのヒストグラムにも見られるように、染色された線維は細胞質に比べてより階調の低い青色成分を中心に含むことから生じる傾向であると考えられる。

本実施例では、本発明者らは、輪郭抽出部１５０に、Ｂ値の分布において第一極大値に対する第二極大値の比率が閾値０．５５より大きい場合に、輪郭を抽出する対象の画像として線維領域画像を選択させた。本実施例の症例では、この比率が０．５５を下回ったため、細胞質領域画像、つまり第一領域の画像を、輪郭を抽出する対象の画像として選択した。

選択された細胞質領域画像には、輪郭抽出部１５０によって、輪郭抽出の処理の前処理としてオープニング処理が行われた。図１１は、図８Ａの第一領域の画像に、オープニング処理を行った画像である。図８Ａの画像から明るい領域に含まれる暗い小領域が消滅している。

次いで、輪郭抽出部１５０によって、オープニング処理後の第一領域の画像にＳｕｚｕｋｉ８５アルゴリズムを適用して輪郭の抽出が行われた（ステップＳ４０）。

次に、本発明者らは、病変範囲特定部１７０に、病変範囲の特定の処理を実行させた（ステップＳ５０）。

本発明者らは、病変範囲特定部１７０に、抽出された輪郭の外接楕円を算出させ、この外接楕円の面積に対する輪郭の内部の面積の比率を求めさせ、この比率が閾値０．９７０以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９７０の値は、本発明者らが経験的に求めた、本実施例における第七閾値の例である。

また、本発明者らは、病変範囲特定部１７０に、上記の外接楕円の長径に対する短径の比を求めさせ、この比が閾値０．９９９以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９９９は、本発明者らが経験的に求めた、本実施例における第一閾値の例である。

また、本発明者らは、病変範囲特定部１７０に、抽出された各輪郭に含まれる画素の画素値の分散を示す値が閾値０．４３を超える場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．４３は、本発明者らが経験的に求めた、本実施例における第八閾値の例である。

次に本発明者らは、病変範囲特定部１７０に、上記の第一閾値、第七閾値、及び第八閾値のいずれかをそれぞれ含む３つの条件のすべてを満たす輪郭を、ＢＨの輪郭の候補として絞り込ませた。

次に本発明者らは、病変範囲特定部１７０に、上記のＢＨの候補である輪郭について、この輪郭の外接図形との距離として、この輪郭の凸包との距離を求めさせた。この距離の求め方には種々のバリエーションが考えられるが、本実施例では、抽出された輪郭の、凸包から乖離して内側に凹んだ部分の両端を結んだ直線から当該部分で最も遠い点までの距離を用いた。そしてこの距離が所定の閾値を超える輪郭を、ＢＨの輪郭と病変範囲特定部１７０に判定させた。この輪郭の範囲は、病変範囲特定部１７０が特定する病変範囲である。

図１２Ａは、このようにして特定された病変範囲の結果を示す図である。また、図１２Ｂは、原画像を見た肝臓病理医による所見を示す図である。図１２Ａの画像には、輪郭抽出部１５０によって抽出された輪郭が表れている。また、その輪郭のうち、病変範囲特定部１７０によってＢＨの輪郭と特定されたものについては、当該輪郭がその凸包から内側への乖離している部分の両端が三角形の記号、これらの両端を結んだ直線から最も遠い点がクロス状の記号で示されている。このような線又は各記号は、病理診断に用いられる特徴又は特定された病変範囲を画像上で提示するために用いられるものの例である。

一方、図１２Ｂの肝臓病理医による所見を示す画像では、実施例で病理診断装置１０に入力された原画像上で、病変範囲特定部１７０が特定した病変範囲に相当する細胞の像が長円で示されている。また、病理診断装置１０の特定結果と関係なく、肝臓病理医がこの原画像を見てＢＨであると判定した細胞を矢印で指している。

図１２Ａ及び図１２Ｂからわかるように、病変範囲特定部１７０は、一部は肝臓病理医がＢＨであると判定していない細胞もＢＨと判定したが、肝臓病理医がＢＨであると判定した細胞はもれなくＢＨと判定した。

本発明者らは、病理診断装置１０を用いて３１件の肝生検画像で上記の実施例と同様にＢＨの判定を行い、その判定の結果と肝臓病理医による所見とを照合した。３１件全体では、病理診断装置１０がＢＨと判定した細胞には、肝臓病理医の所見でＢＨと判定された５１個の細胞のうち４５個が含まれ、指摘率は約８８．２％であった。

［５．実施例２］
本実施例では、病理診断装置１０を用いて、肝生検画像において、抽出した輪郭とその外接図形との形状又は面積比に関する条件を用いてＢＨの候補を特定し、そのうちで長径が１５μｍ以上であるものから、血管又は脂肪滴を除外するための条件を用いて最終的なＢＨの特定を行った。なお、ＢＨの候補の特定は、次の２段階で行った。

（段階１）輪郭の外接図形に対する欠け、へこみに基づく特定
（段階２）面積比に基づく特定

なお、段階１で用いられた手法は、段階２で用いられた手法に比べて処理を速く行うことができるが、ＢＨの特定に漏れが出やすい傾向があること、段階２で用いられた手法は、ＢＨの特定に漏れは出にくいが、正常細胞等を過剰にＢＨと判定しやすい傾向があることを、実施の時点で本発明者らは把握していた。

血管の除外については、以下の条件を組み合わせて用いた。

輪郭内の面積の外接図形の面積に対する比：＜０．７９９
外接図形のアスペクト比：＜０．７２
輪郭内の領域の画素値：０．１５＜Ｒ＜０．２９、０．４０＜Ｇ、かつＢ＜０．２９

なお、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。

図１３Ａは、上記の条件を用いて肝生検画像で検知されて除外される血管の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された血管の像（２か所）を、破線の長円で囲んで示している。

また、脂肪滴の除外には以下の５種類の条件（又は条件の組み合わせ）を用いた。

（条件１）確実に脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．９７０
外接図形のアスペクト比：＜０．９１０

（条件２－１）くっついた２つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．８０
外接図形のアスペクト比：＜０．６０

（条件２－２）くっついた２つの脂肪滴である領域を除外するための条件
Ｒの分散値＜０．２９

（条件３）くっついた３つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．７２
外接図形のアスペクト比：＜０．７０
輪郭内の領域の赤色分散値＜０．２２

（条件４）上記以外の１つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．９０
外接図形のアスペクト比：＜０．７７０
輪郭内の領域の赤色分散値＜０．２９

なお、（条件２－１）の組み合わせ及び（条件２－２）は（条件１）に合致しないもの、（条件３）の組み合わせはさらに（条件２－１）の組み合わせ及び（条件２－２）のいずれにも合致しないもの、（条件４）の組み合わせはさらに（条件３）にも合致しないものに適用した。また、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。

図１３Ｂは、上記の条件を用いて肝生検画像で検知されて除外される脂肪滴の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された脂肪滴の像（６か所）を、破線の長円で囲んで示している。

図１４は、これらの条件を用いて実施したＢＨの判定結果を示す。表中、ＢＨ数は、肝生検画像内で肝臓病理医が指摘したＢＨの個数である。また、指摘数は、病理診断装置１０によって上記条件を用いて指摘したＢＨの個数である。また、正解数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医が指摘したものと一致した個数、誤答数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医がＢＨではないと診断した細胞の個数である。正診率は、正解数／指摘数、誤診率は、誤答数／指摘数、指摘率は、正解数／ＢＨ数である。

また、図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄは、それぞれ図１４の表に挙がる検体Ｅ、Ｆ、Ｈ、Ｉの肝生検画像であり、ＢＨの判定例を示す。図１５Ａ～図１５Ｄのそれぞれにおいて、実線の円は段階１及び段階２の両方で特定されたＢＨの領域、点線の円は段階２のみで特定されたＢＨの領域、矢印は、肝臓病理医が別途行った目視で指摘したＢＨを示す。

これらの図からわかるように、肝臓病理医が指摘したＢＨの９０％以上が病理診断装置１０によって特定されている。

個別の例をみると、検体Ｅの例のように誤診率が高いものがある。ただし、肝臓病理医によれば、この例において画像右半分強の上端から約三分の二のやや明るい範囲は、ＢＨに近い細胞が集団を形成している領域である。つまり、この領域の誤答は正解に近い、又は肝臓病理医にとっても今後のＢＨへの変化具合を注視すべき箇所の細胞が特定されたともいえる。

検体Ｆの例は、段階１及び２いずれにおいても、肝臓病理医と同等の結果が得られた好例である。

検体Ｈ及びＩの例では、肝臓病理医が指摘したものの特定については比較的良好な結果を示したが、段階１及び２のいずれで特定されたものにも誤答があった。この点は、さらなる症例の積み重ねによって新たな条件又はより適切なパラメータを得ることで今後の誤診率の低下が可能である。なお、検体Ｉは図１３Ａにて示した、血管の像が除外された例である。段階１又は段階２でいったんＢＨと特定された領域であっても、血管の像の除外がなされた結果、誤答が削減された。

[６．実施例３]
次に、特定結果の検証を行う場合の実施例について説明する。図１６Ａは、原画像を見た肝臓病理医による所見を示す図である。また、図１６Ｂは、上記の病変範囲特定部において特定された病変範囲の結果を示す図である。また、図１６Ｃは、上記の特定結果検証部によって検証されたあとの病変範囲の結果を示す図である。図１６Ａ～図１６Ｃは、所定条件において得られた同じ肝生検画像であり、同じ位置に同じ種別の細胞が分布している。また、図１６Ａ～図１６Ｃでは、指摘されるＢＨ細胞を実線で、偽ＢＨ細胞を破線で、その他の細胞を点線で囲んでそれぞれ示している。

例えば、図１６Ｂに示すＢＨ細胞と指摘された細胞は、図１６Ａでは指摘されておらず、誤ってその他の細胞をＢＨ細胞と指摘していることがわかる。つまり、図１６Ａ～図１６Ｃの肝生検画像の条件では、その他の細胞がＢＨ細胞と指摘され、誤答率が上昇する要因となっている。一方で、図１６Ｃでは、これらのその他の細胞が、ＢＨ細胞と指摘されてはおらず適切であるといえる。ただし、図１６Ａ及び図１６ＢにおいてＢＨ細胞と指摘されている箇所が、図１６Ｃでは偽ＢＨ細胞と指摘されている。このことからＢＨ細胞を指摘するためには、病変範囲特定部１７０において特定された病変範囲の結果を採用し、その他の細胞をＢＨ細胞と指摘しないためには、特定結果検証部２３０によって検証されたあとの病変範囲の結果を採用することが望ましい。このため、特定結果検証部では、生成される部分画像のうち、病変範囲特定部１７０において特定された病変範囲の結果で、ＢＨ細胞、又は、偽ＢＨ細胞と指摘された細胞に対応する部分画像について、検証モデル２３１への入力を行うとよい。例えば、特定結果を鑑みて、検出する細胞領域及び部分画像が設定されてもよい。この際、細胞領域検出部２１０及び部分画像生成部２２０は、特定結果検証部２３０に含まれてもよい。

図１７Ａは、上記図１６Ａ～図１６Ｃの原画像とは異なる原画像を見た肝臓病理医による所見を示す図である。また、図１７Ｂは、上記の病変範囲特定部において特定された病変範囲の結果を示す図である。また、図１７Ｃは、上記の特定結果検証部によって検証されたあとの病変範囲の結果を示す図である。図１７Ａ～図１７Ｃは、所定条件において得られた同じ肝生検画像であり、同じ位置に同じ種別の細胞が分布している。また、図１７Ａ～図１７Ｃでは、指摘されるＢＨ細胞を実線で、偽ＢＨ細胞を破線で、その他の細胞を点線で囲んでそれぞれ示している。

例えば、図１７Ａに示すＢＨ細胞と指摘された細胞は、図１７Ｂでは、ＢＨ細胞とも偽ＢＨ細胞とも指摘されていない。すなわち、誤ってＢＨ細胞をその他の細胞と指摘していることがわかる。つまり、図１７Ａ～図１７Ｃの肝生検画像の条件では、ＢＨ細胞がその他の細胞と指摘され、指摘率が低下する要因となっている。一方で、図１７Ｃでは、このＢＨ細胞が、偽ＢＨ細胞と指摘されており適切であるといえる。このことからＢＨ細胞を指摘するためには、特定結果検証部２３０によって検証されたあとの病変範囲の結果を採用することが望ましい。このため、特定結果検証部では、生成される部分画像のうち、病変範囲特定部１７０において特定された病変範囲の結果で、その他の細胞と指摘された細胞に対応する部分画像について、検証モデル２３１への入力を行うとよい。例えば、特定結果を鑑みて、検出する細胞領域及び部分画像が設定されてもよい。この際、細胞領域検出部２１０及び部分画像生成部２２０は、特定結果検証部２３０に含まれてもよい。

なお、以上の結果は一例であり、例えば、特定結果を検証する場合の条件の最適化、及び、検証モデル２３１の学習がさらに進めばより指摘率の向上及び誤答率の低下が期待できる。

［７．他の実施の形態］
上記の実施例１では、ＢＨの輪郭の判定に３つの条件を用いたが、これらの３つの条件を組み合わせて用いることは本発明に必須ではない。

上記の実施の形態に係る病理診断装置１０を用いて多くの症例が積み重ねられることで、輪郭抽出より前に行われる処理に用いられるより適切なパラメータ、判定の条件に含まれる各閾値のより適切な値が得られることで、より少ない条件で同程度の確度での判定が可能であると考える。なお、上記の各閾値の値はあくまで例である。本発明が他の疾病の病理診断に応用されれば異なる値が用いられることは言うまでもなく、ＮＡＳＨの病理診断においても、異なる閾値が用いられてよい。

また、実施の形態に記載した条件のうち、上記の本実施例では用いられなかった条件もＮＡＳＨに関する診断に利用可能である。例えば、抽出された細胞質の輪郭とその凸包又は外接楕円との距離のみに基づくＢＨに関する判定が高い精度を示した症例もあった。

また、上記の実施の形態及び実施例では、外接図形として外接楕円及び凸包を例示したが、抽出された輪郭に外接する正多角形等の、外接楕円又は凸包以外の外接図形が用いられてもよい。用いられる図形は、診断のための観察の対象である細胞又は構造物の、正常な場合又は病変をきたしている場合の形状に応じて決定される。

また、上記の実施例においては、輪郭の抽出の対象である領域の選択を、第一領域の画像における青色成分の分布に基づいて行ったが、これに限定されない。本発明者らは、肝生検細胞の画像には、緑色成分についても青色成分ほど高くはないが、線維化の度合いと相関する有意な傾向を見出した。したがって、細胞質領域画像における緑色成分の極大値を領域の選択の基準に用いることが可能であり、青色成分と併用されてもよい。

また、度数分布から導かれる他の数値が用いられてもよい。例えばある画素値の度数分布が多峰性である場合に、各峰の所定の分散の範囲内での面積の比率に基づいて、輪郭の抽出の対象である領域が選択されてもよい。

また、複数の画素値に基づいて領域が選択されてもよい。例えば輝度値及びＲＧＢの各色値の少なくとも２つ以上について、上記の各条件に照らした判定を行い、その結果の組み合わせに基づいて領域が選択されてもよい。また、２つの画素値の度数分布の面積の比率、最大値の大小関係等に基づいて領域が選択されてもよい。

また、本発明がＮＡＳＨ以外の疾患の病理診断に応用されれば、領域の選択の基準に用いられる画素値、極大値等の統計量（特徴量）、及び閾値は、診断対象の組織に生じる病変、又は標本化で用いられる染色液の種類等に応じて上述の各例とは異なるものであってもよく、ＮＡＳＨの病理診断においても、上記の実施例とは異なる色値、又は特徴量等が基準に用いられてよい。

また、領域の選択の基準に用いられる数値は、上記の実施例のような第一画像から得られるものに限定されない。各領域の画素値に基づく特徴量のいずれかが利用されてもよいし、又は複数の特徴量から導かれる数値が利用されてもよい。

また、上記の例では生検画像の原画像全体のＢ値に関する１つの特徴量を用いて領域の選択がされたが、原画像全体の複数の画素値に関する複数の特徴量から導かれる数値が利用されてもよい。各領域の画素値に基づく特徴量を利用する選択手法で精度の高い選択が可能ではあるが、生検画像の分割の処理のみで長時間を要する場合に、さらに各領域での特徴量を求めることを要しない簡易的な選択手法として利用されてもよい。

また、図１２Ａ及び図１２Ｂに示される各画像に見られる要素が、診断結果出力部１９０から出力される診断結果に含まれてもよい。例えば、診断結果出力部１９０から出力される画像データが示す画像は、元の病理画像上に、図１２Ａの画像に見られる輪郭の線又は記号のように、病理診断に用いられる画像の特徴を示す要素が重畳されたものであってもよい。あるいは、図１２Ｂの画像に見られる丸い囲み又は矢印等のように、元の病理画像に重畳される図形を用いて特定された病変範囲が提示されてもよい。また、これらの線、記号、又は図形の、元の病理画像に重畳しての表示／非表示がユーザの操作で切り替え可能な映像として出力されてもよい。また、ユーザに提示される画像には、元の病理画像に代えて、その明るさ、色調、又はコントラスト等を補正して得られた画像が適宜用いられてもよい。

このような画像から、例えばユーザである病理医は、病変をきたした細胞、又はその蓋然性の高い細胞を容易に把握して、自らの診断の参考に用いることができる。また、病理医は、その画像を見て、病理診断装置１０において各処理で用いられるパラメータをさらに調整してもよい。これにより、ユーザは各症例にあわせたより適切な病理診断画像を病理診断装置１０から得ることができる。

［８．効果］
以上の説明のように、本実施の形態に係る病理診断装置１０は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部１３０と、複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部１５０と、輪郭を用いて、画像に写る病変範囲を特定し、特定された病変範囲を示す特定結果を出力する病変範囲特定部１７０と、あらかじめ学習された検証モデル２３１により画像に基づいて検証情報を出力し、検証情報に基づいて特定結果を検証する特定結果検証部２３０と、検証された特定結果に基づく診断結果を出力する診断結果出力部１９０と、を備える。

このような病理診断装置１０は、画像から数理的な処理によって特定した病変範囲について、学習済みの検証モデルによって検証することで、検証済みの特定された病変範囲に基づいてより精度の良い診断結果を出力できる。この結果、数理的な処理のみを行う場合における誤診の発生を抑制できる。また、精度よく略自動的に多数の検体について診断結果を出力することが可能となることから、新たな診断手法の検証のために本病理診断装置１０を適用すれば、このような新たな診断手法の開発を迅速化することも期待できる。

また、例えば、病変範囲特定部１７０は、病変範囲の特定において画像に写る診断対象部位に含まれる細胞を、病変に関与する病変細胞と、病変細胞であることが疑われる偽細胞と、その他の細胞と、に選別し、特定結果検証部２３０は、病変細胞又は偽細胞に選別された細胞が病変細胞であるか否かを決定してもよい。

これによれば、数理モデルにおける病変範囲の特定での陽性及び陽性疑いに対応する病変細胞又は偽細胞に選別された細胞が、間違いなく病変細胞であるかを検証によって再確認できる。この結果、陽性又は陽性疑いとして判定された細胞の中に、実際には陰性である細胞がまぎれる偽陽性の可能性を低減できる。よって、より精度の良い診断結果を出力できる。 また、例えば、病変範囲特定部１７０は、特定結果として、画像上の病変細胞、偽細胞、及びその他の細胞の分布を出力し、特定結果検証部は、画像上で、それぞれが個々の細胞を含む１以上の細胞領域を検出し、検出された１以上の細胞領域のそれぞれに対応する１以上の部分画像を生成し、１以上の部分画像のうち、特定結果において病変細胞又は偽細胞が分布している部分画像に基づいて、検証モデルにより検証情報を出力してもよい。

これによれば、画像をそれぞれの細胞が含まれるサイズの部分画像に分割して検証することができる。検証に際して元の画像そのままを用いる場合に比べ、処理が簡易化されるので、要求される処理リソースを低減することができる。すなわち、簡易なシステムによって、より精度の良い診断結果を出力できる。

また、例えば、病変範囲特定部１７０は、病変範囲の特定において画像に写る診断対象部位に含まれる細胞を、病変に関与する病変細胞と、病変細胞であることが疑われる偽細胞と、その他の細胞と、に選別し、特定結果検証部２３０は、その他の細胞に選別された細胞が病変細胞であるか否かを決定してもよい。

これによれば、数理モデルにおける病変範囲の特定での陰性に対応するその他の細胞に選別された細胞が、間違いなくその他の細胞であるかを検証によって再確認できる。この結果、陰性として判定された細胞の中に、実際には陽性である細胞がまぎれる偽陰性の可能性を低減できる。よって、より精度の良い診断結果を出力できる。

また、例えば、病変範囲特定部１７０は、特定結果として、画像上の病変細胞、偽細胞、及びその他の細胞の分布を出力し、特定結果検証部２３０は、画像上で、それぞれが個々の細胞を含む１以上の細胞領域を検出し、検出された１以上の細胞領域のそれぞれに対応する１以上の部分画像を生成し、１以上の部分画像のうち、特定結果においてその他の細胞が分布している部分画像に基づいて、検証モデル２３１により検証情報を出力してもよい。

これによれば、画像をそれぞれの細胞が含まれるサイズの部分画像に分割して検証することができる。検証に際して元の画像そのままを用いる場合に比べ、処理が簡易化されるので、要求される処理リソースを低減することができる。すなわち、簡易なシステムによって、より精度の良い診断結果を出力できる。

また、例えば、１以上の細胞領域の検出では、画像を所定の閾値により２値化し、２値化された画像を、各画素の背景色画素までの最短距離を示す距離画像に変換し、変換された距離画像に基づいて１以上の細胞核を検出し、検出された１以上の細胞核のそれぞれから所定距離内の領域に対応する画像上の領域を１以上の細胞領域として検出してもよい。

これによれば、画像を２値化したうえで各画素を背景色画素までの距離に距離変換して距離画像を生成することで、確実に細胞核に対応する画素を抽出する。このようにして抽出された細胞核を基準に所定距離の画素領域内を１つの細胞として認識することができる。この処理によって、より正確に１以上の細胞領域を検出することができる。

また、例えば、特定結果検証部２３０は、１以上の部分画像のそれぞれについて１以上の色ヒストグラムを生成し、生成した１以上の色ヒストグラムを検証モデル２３１に入力してもよい。

これによれば、検証モデル２３１において、画像の変換によって得られる色ヒストグラムを入力して検証を行うことができる。

また、例えば、検証モデル２３１は、学習用の部分画像に対応する色ヒストグラムである学習用色ヒストグラムと、学習用の部分画像の実診断に基づく細胞の選別結果とを用いてあらかじめ学習されており、入力された１以上の色ヒストグラムに対して検証情報として細胞の選別結果を出力してもよい。

これによれば、部分画像を実診断した選別結果と、学習用の色ヒストグラムとを入力することで、色ヒストグラム上に現れる実診断での細胞の選別の観点での特徴量を学習した検証モデル２３１を構築できる。この結果、色ヒストグラムを入力することで、当該色ヒストグラムを入力すると、実診断での細胞の選別に則した選別結果を出力することが可能か検証モデル２３１によって、より精度よく診断結果を出力することができる病理診断装置１０を実現できる。

また、例えば、検証モデル２３１は、多層パーセプトロンによる機械学習モデルであってもよい。

これによれば、検証モデル２３１として、多層パーセプトロンによる機械学習モデルを用いた病理診断装置１０を実現できる。

また、本実施の形態に係る画像処理方法は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、複数の領域から選択された１つの領域において輪郭を抽出し、輪郭を用いて、画像に写る病変範囲を特定し、あらかじめ学習された検証モデル２３１により画像に基づいて検証情報に基づいて病変範囲を検証し、検証された病変範囲を画像上で提示するデータを生成する。

これによれば、上記の病理診断装置１０と同様の効果を奏することができる。

また、本実施の形態に係るプログラムは、プロセッサに、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割させ、複数の領域から選択された１つの領域において輪郭を抽出させ、輪郭を用いて、画像に写る病変範囲を特定させ、あらかじめ学習された検証モデルにより画像に基づいて検証情報に基づいて病変範囲を検証させ、検証された病変範囲に基づく診断結果を出力させる。

これによれば、プロセッサを備えるコンピュータなどにより上記の病理診断装置１０と同様の効果を奏することができる。

また、本実施の形態に係る病理診断装置１０は、画像分割部１３０と、輪郭抽出部１５０と、病変範囲特定部１７０と、診断結果出力部１９０とを備える。

画像分割部１３０は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する。

輪郭抽出部１５０は、これらの複数の領域から選択された１つの領域において輪郭を抽出する。

病変範囲特定部１７０は、抽出されたこの輪郭を用いて、上記の画像に写る病変範囲を特定する。

診断結果出力部１９０は、特定されたこの病変範囲に基づく診断結果を出力する。

これにより、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変範囲が特定される。また、特定された病変の範囲は、病理医等のユーザによって診断に利用な可能な形で提示される。

例えば、病変範囲特定部１７０は、抽出された輪郭の外接図形を算出し、この外接図形に基づいて病変範囲を特定してもよい。

細胞の内外には、病変の有無又は程度に応じて形状が変化する構造物がある。病理画像に写るこのような構造物の形状を、このような外接図形に基づいて解析することで病変範囲を特定することができる。

一具体例として、病変範囲特定部１７０は、上記の外接図形の長径に対する短径の比率が第一閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。

これにより、正常であれば縦横比が１：１に近い構造物等の形状に基づいて病変範囲が特定される。

なお、外接図形について長手方向及び短手方向を特定し得ない場合もあるが、本開示においては、そのような場合も便宜的に径の一方を長径、他方を短径として扱う。

他の具体例として、病変範囲特定部１７０は、上記の外接図形からその中にある抽出された輪郭までの距離に基づいて病変範囲を特定してもよい。

これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。

より具体的には、病変範囲特定部１７０は、抽出された輪郭について、
（条件１）当該輪郭が、その外接図形までの距離が第二閾値を超える画素を所定の個数より多く含む、
（条件２）当該輪郭が、その外接図形までの距離が第三閾値を超える画素を所定の割合より多く含む、
（条件３）外接図形の周囲長に対する外接図形までの距離の比率が第四閾値を超える、
（条件４）前記外接図形の長径に対する外接図形までの距離の比率が第五閾値を超える、又は
（条件５）前記外接図形の短径に対する外接図形までの距離の比率が第六閾値を超える
のいずれかの条件が満たされる場合、当該輪郭内の範囲を病変範囲として特定してもよい。

いずれの条件でも、抽出された輪郭の、その外接図形との形状の差の大きさ、別の言い方をすれば輪郭が抽出された構造物は、ある程度を超える変形をしているか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。

また、病変範囲特定部１７０は、抽出された輪郭の、その外接図形に対する面積の比率が第七閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。

この条件では、抽出された輪郭の面積とその外接図形の面積との差に基づいて、構造物の形状がある程度を超えていびつか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。

また、上記の外接図形は、抽出された輪郭の凸包又は外接楕円であってもよい。

これにより、例えば構造物の輪郭に凹みがあるか否か、あればその凹みの大きさに基づいて当該構造物の病変の有無又はその程度が判定される。上記の実施例では、肝細胞の細胞質の輪郭とその凸包を用いて、当該肝細胞がＢＨであるか否かの判定がなされた。

なお、本開示において、「楕円」は真円を包含する概念の語として用いられている。

また、病変範囲特定部１７０は、抽出された輪郭内に含まれる画素の画素値の分散を示す値が第八閾値を超える場合、当該輪郭内の範囲を病変範囲として特定してもよい。

この条件では、例えば所定の病変に伴って不純物を内包する構造物が、この不純物をある程度の割合を超えて含むか否かに関する判定がされる。これにより、特定の構造物が含む不純物の多寡に基づいて病変範囲が特定される。

また、画像分割部１３０は、上記の画像の輝度値の出現頻度の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、これらの複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を前記複数の領域に分割してもよい。

これにより、ひとつの画像を、材料又は構造が互いに異なる構造物をそれぞれおもに含む複数の領域に分割することができる。

また、上記の画像はカラー画像であって、輪郭抽出部１５０は、画像分割部１３０による分割によって得られた当該カラー画像の第一領域又は第二領域を構成する画素の所定の色の階調値の出現頻度に基づいて複数の領域のいずれか１つを選択し、選択した当該領域から輪郭を抽出してもよい。

これにより、病変の有無又は程度によって変化する構造物の画像情報に基づいて、輪郭抽出により適した領域を選択することができる。

より具体的な例として、複数の領域には、第一領域及び前記第一領域より平均輝度が低い第二領域が含まれ、上記の出現頻度の度数分布は、第一極大値及び前記第一極大値よりも低い階調値における極大値である第二極大値を有しているとき、輪郭抽出部１５０は、第一極大値に対する第二極大値の比率が所定の閾値以下の場合、輪郭を抽出する対象として第一領域を選択してもよい。また、第一極大値に対する第二極大値の比率が所定の閾値より大きい場合、輪郭を抽出する対象として第二領域を選択してもよい。

病変をきたしていなければ第二領域に写る構造物におもに含まれるある材料が、病変によって第一領域に含まれる量が増すことがある。このような場合に、この材料が第一領域に含まれる量がある程度を超えると、病変が進行していないときに輪郭を抽出する第一領域ではなく、第二領域を用いる、というように、輪郭の抽出の対象となる領域を切り替えることができる。

また、上記の実施の形態では、病理診断装置を例として本発明の説明がなされたが、本発明は、当該病理診断装置において実行される処理のうち、画像処理のための手順を含む画像処理方法としても実現可能である。また、本発明は、病理診断装置１０で行われる各処理の手順を汎用の電子計算機が備える、又は専用の病理診断装置のマイクロコントローラに含まれる演算処理装置（プロセッサ）に実行させるプログラムとしても実現可能である。上記のような効果は、これらの方法又はプログラムによっても得られる。

また、上記の実施の形態及び実施例では、本発明は生検画像を用いた病理診断を行うための装置等として実現され、診断者の経験、標本化の工程、又は撮影等の条件によって安定的な診断が困難であったという問題を解消するものとして説明されている。

ここで、本発明は蓄積された過去の病理画像を資産として活用することも可能であることから、医療の現場のみならず、研究においても有用である。

また、同一の症例についての病理画像による診断結果及び血液検査による診断結果がある程度まとまって利用可能であれば、統計的にこれらの結果の相関を得ることで、より信頼性が高く早期のスクリーニングに利用可能なバイオマーカーが発見される可能性がある。その結果、検査対象者への身体的負担及びリスクが採血よりも高い外科的な手法での生検用の組織の採取の必要性を下げることができる。さらには、従来は特別な検査が必要だった疾病の検査を、血液のみですでに高い確度で検査が可能な他の病気とあわせて容易に行うことを可能にする本発明は、公衆の健康増進に資する。

［９．その他］
ここまでは、ＮＡＳＨの病理診断に関連して本発明を具体的に説明したが、本発明が適用可能な疾患はＮＡＳＨに限定されない。例えば、拡張型心筋症その他の線維化を伴う細胞変性が生じる各種の疾患、大腸ポリープ等のがんに移行する可能性がある疾患、又はがんとの判別が難しい疾患への適用が考えられる。このような疾患の生検画像で人の目には容易に分からない細胞又はその内外の構造体の形状、輝度、色等の特徴を本発明に係る病理診断装置で捉え、早期で正確な診断をすることができる。

なお、このようにある疾患に本発明の技術を新たに適用する場合、病変範囲の特定に用いられる条件及びこの条件に含まれる閾値は、生検画像の原画像及び画像分割部が原画像を分割して得られた各領域の画素情報（輝度、ＲＧＢ値、及びこれらのヒストグラム）を用いることができる。

より具体的には、これらの画素情報から導かれる統計量の特徴と、当該生検画像の症例の患者の病歴及び病状とを統計的に分析してこれらの相関を見出すことで、病変の有無又は進行度と関連の高い画像情報の統計量が特定される。そして、この統計量に関する条件の内容及び閾値が、多数の症例から導かれる。上記の実施例で本発明者らが経験的に求めて用いた条件及びその閾値もこのようにして導かれたものである。

このような特徴の利用例としては、原画像を分割して得られた各領域の画素値（輝度値及びＲＧＢの各色値）が1以上の画素の個数（領域面積）、画素値の度数分布の極値、最
頻値、標準偏差及びヒストグラム全体又は一部の面積又は裾幅を特徴量として用いるケースが挙げられる。また、原画像についてのこれらの特徴量が用いられてもよい。例えば本発明者らは、ＮＡＳＨの病理診断に用いる条件及びその閾値の検討の過程で、細胞質領域及び原画像のＢ値及びＧ値のヒストグラムの裾幅も求めた。

本発明は、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な病変の特徴を精度よく特定するための病理診断装置又は画像処理方法、及び病理診断装置を実現するためのプログラムとして利用可能である。

１０ 病理診断装置
２０ 撮像装置
３０ 記憶装置
４０ 記憶媒体
１１０ 画像取得部
１３０ 画像分割部
１３１ 統計処理部
１３３ 正規化部
１３５ 領域分割部
１５０ 輪郭抽出部
１７０ 病変範囲特定部
１９０ 診断結果出力部
２１０ 細胞領域検出部
２２０ 部分画像生成部
２３０ 特定結果検証部
２３１ 検証モデル

Claims (11)

1. 身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、
   前記複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、
   前記輪郭を用いて、前記画像に写る病変範囲を特定し、特定された前記病変範囲を示す特定結果を出力する病変範囲特定部と、
   あらかじめ学習された検証モデルにより前記画像に基づいて検証情報を出力し、前記検証情報に基づいて前記特定結果を検証する特定結果検証部と、
   検証された前記特定結果に基づく診断結果を出力する診断結果出力部と、を備える
   病理診断装置。
2. 前記病変範囲特定部は、前記病変範囲の特定において前記画像に写る前記診断対象部位に含まれる細胞を、病変に関与する病変細胞と、前記病変細胞であることが疑われる偽細胞と、その他の細胞と、に選別し、
   前記特定結果検証部は、前記病変細胞又は前記偽細胞に選別された細胞が前記病変細胞であるか否かを決定する
   請求項１に記載の病理診断装置。
3. 前記病変範囲特定部は、前記特定結果として、前記画像上の前記病変細胞、前記偽細胞、及び前記その他の細胞の分布を出力し、
   前記特定結果検証部は、
   前記画像上で、それぞれが個々の細胞を含む１以上の細胞領域を検出し、
   検出された前記１以上の細胞領域のそれぞれに対応する１以上の部分画像を生成し、
   前記１以上の部分画像のうち、前記特定結果において前記病変細胞又は前記偽細胞が分布している部分画像に基づいて、前記検証モデルにより前記検証情報を出力する
   請求項２に記載の病理診断装置。
4. 前記病変範囲特定部は、前記病変範囲の特定において前記画像に写る前記診断対象部位に含まれる細胞を、病変に関与する病変細胞と、前記病変細胞であることが疑われる偽細胞と、その他の細胞と、に選別し、
   前記特定結果検証部は、前記その他の細胞に選別された細胞が前記病変細胞であるか否かを決定する
   請求項１に記載の病理診断装置。
5. 前記病変範囲特定部は、前記特定結果として、前記画像上の前記病変細胞、前記偽細胞、及び前記その他の細胞の分布を出力し、
   前記特定結果検証部は、
   前記画像上で、それぞれが個々の細胞を含む１以上の細胞領域を検出し、
   検出された前記１以上の細胞領域のそれぞれに対応する１以上の部分画像を生成し、
   前記１以上の部分画像のうち、前記特定結果において前記その他の細胞が分布している部分画像に基づいて、前記検証モデルにより前記検証情報を出力する
   請求項４に記載の病理診断装置。
6. 前記１以上の細胞領域の検出では、
   前記画像を所定の閾値により２値化し、
   ２値化された前記画像を、各画素の背景色画素までの最短距離を示す距離画像に変換し、
   変換された前記距離画像に基づいて１以上の細胞核を検出し、
   検出された前記１以上の細胞核のそれぞれから所定距離内の領域に対応する前記画像上の領域を前記１以上の細胞領域として検出する
   請求項３又は５に記載の病理診断装置。
7. 前記特定結果検証部は、
   前記１以上の部分画像のそれぞれについて１以上の色ヒストグラムを生成し、
   生成した前記１以上の色ヒストグラムを前記検証モデルに入力する
   請求項３、５又は６に記載の病理診断装置。
8. 前記検証モデルは、
   学習用の前記部分画像に対応する色ヒストグラムである学習用色ヒストグラムと、学習用の前記部分画像の実診断に基づく細胞の選別結果とを用いてあらかじめ学習されており、
   入力された前記１以上の色ヒストグラムに対して前記検証情報として細胞の選別結果を出力する
   請求項７に記載の病理診断装置。
9. 前記検証モデルは、多層パーセプトロンによる機械学習モデルである
   請求項１～８のいずれか１項に記載の病理診断装置。
10. 身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、
    前記複数の領域から選択された１つの領域において輪郭を抽出し、
    前記輪郭を用いて、前記画像に写る病変範囲を特定し、
    あらかじめ学習された検証モデルにより前記画像に基づいて検証情報に基づいて前記病変範囲を検証し、
    検証された前記病変範囲を前記画像上で提示するデータを生成する
    画像処理方法。
11. プロセッサに、
    身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割させ、
    前記複数の領域から選択された１つの領域において輪郭を抽出させ、
    前記輪郭を用いて、前記画像に写る病変範囲を特定させ、
    あらかじめ学習された検証モデルにより前記画像に基づいて検証情報に基づいて前記病変範囲を検証させ、
    検証された前記病変範囲に基づく診断結果を出力させる
    プログラム。

Images