JP2022162444A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】組織画像に含まれる複数の組織領域を、切片単位で管理すること。【解決手段】実施形態に係る情報処理装置は、取得部と、組織領域認識部と、切片領域認識部とを備える。取得部は、少なくとも１つの切片を含む組織標本が描出された組織画像を取得する。組織領域認識部は、組織画像から組織標本が描出されている複数の組織領域を認識する。切片領域認識部は、複数の組織領域のうち、１つの切片に対応する１以上の組織領域を、１つの切片領域として認識する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、病理学の分野等において、検体から切り出された複数の切片が撮像された組織画像に対して、ユーザの操作または画像処理結果等に基づいて、アノテーション等の情報設定を行う技術が知られている。

１つの検体であっても、切片ごとに状態が異なるため、アノテーション等のメタ情報は、各切片に対応付けられることが望ましい。しかしながら、組織画像に複数の組織領域が含まれる場合、１つの切片を構成する組織領域群を特定することが困難な場合があった。

特開２０１９－０９５８５３号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、組織画像に含まれる複数の組織領域を、切片単位で管理することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る情報処理装置は、取得部と、組織領域認識部と、切片領域認識部とを備える。取得部は、少なくとも１つの切片を含む組織標本が描出された組織画像を取得する。組織領域認識部は、組織画像から組織標本が描出されている複数の組織領域を認識する。切片領域認識部は、複数の組織領域のうち、１つの切片に対応する１以上の組織領域を、１つの切片領域として認識する。

図１は、第１の実施形態に係る情報処理システムの全体構成の一例を示す図である。 図２は、第１の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。 図３は、第１の実施形態に係る組織画像の一例を示す図である。 図４は、図３に示した組織画像から複数の組織領域が認識された状態の一例を示す図である。 図５は、第１の実施形態に係る切片領域の認識結果の一例を示す図である。 図６は、第１の実施形態に係る切片配置規則（１）に基づく組織画像の一例を示す図である。 図７は、第１の実施形態に係る切片配置規則（２）に基づく組織画像の一例を示す図である。 図８は、第１の実施形態に係る切片配置規則（３）に基づく組織画像の一例を示す図である。 図９は、第１の実施形態に係る切片配置規則（３）に基づく切片領域の認識手法の一例を示す図である。 図１０は、第１の実施形態における切片配置規則（３）では許可されない切片の配置の一例を示す図である。 図１１は、第１の実施形態に係る画像ビューワの一例を示す図である。 図１２は、第１の実施形態に係るリストボックスを用いた切片領域の選択手法の一例を示す図である。 図１３は、選択された切片領域が図１２から変化した場合の一例を示す図である。 図１４は、第１の実施形態に係るアノテーションの設定の一例を示す図である。 図１５は、選択された切片領域が図１４から変化した場合の一例を示す図である。 図１６は、第１の実施形態における切片領域の選択が解除された状態の一例を示す図である。 図１７は、第１の実施形態に係る切片領域の認識処理の流れの一例を示すフローチャートである。 図１８は、第１の実施形態に係る切片領域の認識処理の流れの一例を示すフローチャートである。 図１９は、第２の実施形態に係る切片領域の認識結果の一例を示す図である。 図２０は、第２の実施形態に係る画像特徴量の解析結果の一例を示す図である。 図２１は、第２の実施形態に係る画像特徴量の周期性の評価の一例を示す図である。 図２２は、第３の実施形態に係る学習済みモデルの入出力の一例を示す図である。 図２３は、第３の実施形態に係るバウンディングボックスの一例を示す図である。 図２４は、第３の実施形態に係るマスク画像の一例を示す図である。 図２５は、変形例１に係る画像ビューワの表示の一例を示す図である。

以下、図面を参照しながら、情報処理装置、情報処理方法、およびプログラムの実施形態について詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムＳの全体構成の一例を示す図である。図１に示すように、情報処理システムＳは、情報処理装置１００と、検体画像保管装置２０１と、組織画像保管装置２０２とを備える。情報処理装置１００は、院内ＬＡＮ（Local Area Network）等のネットワーク３００を介して検体画像保管装置２０１および組織画像保管装置２０２と通信可能に接続している。

なお、情報処理システムＳは、さらに、検体管理システム、病院情報システム（Hospital Information System：ＨＩＳ）、臨床検査システム（Laboratory Information System：ＬＩＳ）、及び放射線情報システム（Radiology Information System：ＲＩＳ）等を含んでも良い。あるいは、情報処理システムＳは、病院情報システムの一部であっても良い。また、情報処理システムＳは、さらに、ＰＣ（Personal Computer）やタブレット端末等の端末装置を含んでも良い。

情報処理システムＳは、例えば、病院等の医療機関、大学等の研究機関、または検査センター等に設けられる。また、情報処理システムＳを構成する装置の一部または全てが、クラウド環境に設けられても良い。

検体画像保管装置２０１は、検体画像を保管する装置である。検体画像は、検体である組織片の全体が撮像された画像である。また、検体画像は、例えば、デジタルカメラ等の撮像装置によって撮像されたデジタル画像とする。検体画像は、マクロ画像ともいう。

本実施形態においては、検体は、患者の身体や、動物等から採取された一部組織とする。例えば、検体は、内視鏡的粘膜下層はく離術（Endoscopic Submucosal Dissection：ＥＳＤ）によって切除された消化器の粘膜および粘膜下層であるが、これに限定されるものではなく、開腹手術等によって切除された組織片であっても良い。

組織画像保管装置２０２は、組織画像を保管する装置である。組織画像は、検体である組織片から切り出された少なくとも１つの切片が、検体画像よりも高倍率で撮像された画像である。例えば、組織画像は、スライドガラスに載せられた切片全体またはその一部を高精度にデジタル画像化したＷＳＩ(Whole Slide Imaging)画像である。組織画像は、ＷＳＳ（Whole Slide Scanner）、またはデジタル顕微鏡で撮像された顕微鏡写真、あるいはその他の手法で撮像された画像であっても良い。組織画像は、ミクロ画像ともいう。

検体画像保管装置２０１および組織画像保管装置２０２は、例えばサーバ装置またはＰＣ等である。なお、検体画像保管装置２０１および組織画像保管装置２０２を総称して画像保管装置と呼んでも良い。また、図１では検体画像保管装置２０１と組織画像保管装置２０２とを、別個の装置として記載したが、検体画像保管装置２０１と組織画像保管装置２０２とは一体の装置として構成されても良い。また、検体画像保管装置２０１、組織画像保管装置２０２、および情報処理装置１００が、一体の装置として構成されても良い。

図２は、第１の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。例えば、診断医によって患者Ｐから採取された検体５は、病理診断のために、病理医または検査技師に移送される。この際、病理診断の依頼（オーダー）毎に、病理番号が採番される。また、病理診断の対象となる検体ごとに、異なる検体番号が採番される。なお、１回の病理診断の依頼において、診断対象の検体が複数ある場合には、１つの病理番号に、複数の検体番号が対応付けられる。以下、本実施形態においては、病理医または検査技師を病理医等という。

なお、本実施形態における情報処理装置１００が実行する処理は、必ずしも病理診断を目的としなくても良い。例えば、研究機関による研究、または医療機関から委託されて病理学的検査を行う検査センターにおける報告書の作成を目的としても良い。

また、検体５がデジタルカメラ等によって撮像された検体画像５１の識別情報として、検体画像ＩＤが付与される。検体画像ＩＤは、検体画像５１の付帯情報として登録されても良い。また、検体画像５１の撮像対象である検体５の病理番号、検体５の検体番号、検体５に係る病理診断のオーダー番号、検体５の取得元の患者Ｐの患者ＩＤ、検体画像５１の撮像日時等の検体画像５１に関する情報が、検体画像５１の付帯情報として登録されても良い。また、検体画像ＩＤ、およびその他の検体画像５１に関する情報は、検体画像５１上に文字情報として描出されても良い。

病理医等は、検体５から切片６０ａ～６０ｅを切り出し、染色等の処理を施した後、例えば、切片６０ａ～６０ｅの断面を薄切し、スライドガラス７に載置する。以下、個々の切片６０ａ～６０ｅを区別しない場合は、単に切片６０という。

本実施形態においては、スライドガラス７に載置された切片群を、組織標本６という。組織標本６は、少なくとも１つの切片６０を含む。

また、図２では、各切片６０がそのままスライドガラス７に載置されているが、切片６０の長さが長い場合や、切り出し位置の形状によっては、１つの切片６０が、複数の断片に分割されてスライドガラス７に載置される場合がある。

なお、図２では一例として、切片６０ａ～６０ｅは断面を撮像装置側に向けた状態で撮像されるが、載置の向きはこれに限定されるものではない。例えば、切片６０は、検体画像５１の撮像時の検体５と同じ向きで、撮像されても良い。また、図２では組織画像６１の横方向が組織領域６２の長手方向となるように、切片６０がスライドガラス７上に配置されていたが、配置方向はこれに限定されるものではない。例えば、組織画像６１の縦方向が組織領域６２の長手方向となるように、切片６０がスライドガラス７上に配置されても良い。あるいは、切片６０は、スライドガラス７上に斜めに配置されても良い。本実施形態においては、切片６０の配置は、後述の切片配置規則によって定められているものとする。

スライドガラス７に載置された組織標本６を撮像したＷＳＩ画像等の画像が、組織画像６１である。組織画像６１には、切片６０ａ～６０ｅを含む組織標本６が描出される。

組織画像６１の識別情報として、組織画像ＩＤが付与される。組織画像ＩＤは、組織画像６１の付帯情報として登録されても良い。また、組織画像６１の撮像対象である切片の取得元である検体５の病理番号、検体５の検体番号、検体５に係る病理診断のオーダー番号、検体５の取得元の患者Ｐの患者ＩＤ、組織画像６１の撮像日時等の組織画像６１に関する情報が、組織画像６１の付帯情報として登録されても良い。また、組織画像ＩＤ、およびその他の組織画像６１に関する情報は、組織画像６１上に文字情報として描出されても良い。また、組織画像６１の付帯情報として、組織画像６１を撮像した医療機関等の施設の識別情報が含まれても良い。組織画像６１の撮像処理を撮像した医療機関等の施設の識別情報は、例えば、臨床検査システムまたは検体管理システムから取得されても良い。

組織画像６１は、スライドガラス７が描出された背景領域７０と、組織標本６が描出された複数の組織領域６２ａ～６２ｅとを含む。以下、個々の組織領域６２ａ～６２ｅを区別しない場合は、単に組織領域６２という。

図１に戻り、情報処理装置１００は、例えばサーバ装置またはＰＣ等であり、ＮＷインタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを有する。

ＮＷインタフェース１１０は、処理回路１５０に接続されており、情報処理装置１００と検体画像保管装置２０１または組織画像保管装置２０２との間で行われる各種データの伝送および通信を制御する。ＮＷインタフェース１１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１２０は、処理回路１５０で使用される各種の情報を予め記憶する。また、記憶回路１２０は、各種のプログラムを記憶する。

入力インタフェース１３０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース１３０は、処理回路１５０に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路１５０へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５０へ出力する電気信号の処理回路も入力インタフェース１３０の例に含まれる。

ディスプレイ１４０は、液晶ディスプレイや有機ＥＬ（Organic Electro－Luminescence：ＯＥＬ）ディスプレイ等である。なお、入力インタフェース１３０とディスプレイ１４０とは統合しても良い。例えば、入力インタフェース１３０とディスプレイ１４０とは、タッチパネルによって実現されても良い。ディスプレイ１４０は、表示部の一例である。

処理回路１５０は、記憶回路１２０からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路１５０は、取得機能１５１と、組織領域認識機能１５２と、切片領域認識機能１５３と、表示用画像生成機能１５４と、表示制御機能１５５と、受付機能１５６と、画像処理機能１５７と、メタ情報設定機能１５８と、修正機能１５９とを備える。取得機能１５１は、取得部の一例である。組織領域認識機能１５２は、組織領域認識部の一例である。切片領域認識機能１５３は、切片領域認識部の一例である。表示用画像生成機能１５４は、表示用画像生成部の一例である。表示制御機能１５５は、表示制御部の一例である。受付機能１５６は、受付部の一例である。画像処理機能１５７は、画像処理部の一例である。メタ情報設定機能１５８は、メタ情報設定部の一例である。修正機能１５９は、修正部の一例である。

ここで、例えば、処理回路１５０の構成要素である取得機能１５１、組織領域認識機能１５２、切片領域認識機能１５３、表示用画像生成機能１５４、表示制御機能１５５、受付機能１５６、画像処理機能１５７、メタ情報設定機能１５８、および修正機能１５９の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。処理回路１５０は、プロセッサである。例えば、処理回路１５０は、プログラムを記憶回路１２０から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０内に示された各機能を有することとなる。なお、図１においては単一のプロセッサにて取得機能１５１、組織領域認識機能１５２、切片領域認識機能１５３、表示用画像生成機能１５４、表示制御機能１５５、受付機能１５６、画像処理機能１５７、メタ情報設定機能１５８、および修正機能１５９にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては単一の記憶回路１２０が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路１５０は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがＡＳＩＣである場合、記憶回路１２０にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

取得機能１５１は、組織画像保管装置２０２から、組織画像６１を取得する。また、取得機能１５１は、検体画像保管装置２０１から、検体画像５１を取得する。なお、検体画像５１および組織画像６１の取得元は、検体画像保管装置２０１および組織画像保管装置２０２に限定されるものではない。例えば、取得機能１５１は、組織画像６１を撮像した撮像装置から組織画像６１を取得しても良い。

取得対象の検体画像５１および組織画像６１は、例えば、受付機能１５６が受け付けたユーザの操作によって指定される。情報処理装置１００のユーザは、病理医等である。

ユーザは、例えば、病理番号、患者ＩＤ、検体番号、オーダー番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像５１または組織画像６１を指定する。また、一の病理番号には一のオーダー番号が対応し、一の病理番号には１以上の検体番号および検体画像ＩＤが対応付けられ、一の検体番号には１以上の組織画像ＩＤが対応付けられる。このため、ユーザが一の病理診断の依頼を処理するために一の病理番号を入力した場合、１以上の検体画像５１および１以上の組織画像６１が取得される。

また、ユーザは、検体画像保管装置２０１に保存された検体画像５１および組織画像６１のリストから、取得対象を選択しても良い。

なお、検体画像５１および組織画像６１は、予め記憶回路１２０に記憶され、ユーザの操作によって読み出されても良い。

組織領域認識機能１５２は、画像処理により、組織画像６１から組織標本６が描出されている複数の組織領域６２を認識する。

図３は、第１の実施形態に係る組織画像６１の一例を示す図である。また、図４は、図３に示した組織画像６１から複数の組織領域６２ｆ～６２ｇが認識された状態の一例を示す図である。組織画像６１において、複数の組織領域６２ｆ～６２ｇ以外の画像領域は、スライドガラス７が描出された背景領域７０である。

組織画像６１から組織領域６２を認識する手法は特に限定されるものではないが、例えば、組織領域認識機能１５２は、組織画像６１に対して画像セグメンテーション処理を実行することにより、背景領域７０と組織領域６２との境界を認識しても良い。また、例えば、組織領域認識機能１５２は、画素レベルで類似する領域をグルーピングしていくことで候補領域を選出するＳｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理を採用しても良い。

または、組織画像６１から組織領域６２を認識する手法として、深層学習（Deep Learning）等の機械学習による画像処理を採用しても良い。深層学習を採用する場合には、組織領域認識機能１５２は、記憶回路１２０に記憶された学習済みモデルに組織画像６１を入力し、学習済みモデルから出力される組織領域６２の認識結果を取得する。組織領域６２の認識処理に使用される学習済みモデルは、複数の組織画像６１と、複数の組織画像６１における組織領域６２との対応関係が深層学習等の手法により学習されたモデルである。なお、当該学習済みモデルは、組織領域認識機能１５２に組み込まれていても良い。

次に、切片領域認識機能１５３は、組織領域認識機能１５２によって認識された複数の組織領域のうち、１つの切片６０に対応する１以上の組織領域６２を、１つの切片領域として認識する。例えば、１つの切片６０が、複数の断片に分割されてスライドガラス７に配置される場合がある。このような場合、複数の組織領域６２が１つの切片６０に対応する。このため、組織領域認識機能１５２は複数の組織領域６２を切片６０単位でグルーピングする。１つの切片６０に由来する１以上の組織領域６２のグループを、切片領域という。

例えば、切片領域認識機能１５３は、１つの切片６０が複数の組織領域６２に分割されて描出されている場合、１つの切片６０に対応する複数の組織領域６２を、１つの切片領域として認識する。

切片領域とは、組織画像６１において、１つの切片６０が描出された画像領域である。スライドガラス７に載置される際に、１つの切片６０が複数の断片に分割された場合、１つの切片６０が複数の組織領域６２として組織画像６１に描出される。この場合は、当該複数の組織領域６２が、１つの切片領域となる。換言すれば、切片領域は、１つの切片６０に由来する組織領域６２のグループである。なお、１つの切片６０が分割されずに１つの組織領域６２として組織画像６１に描出される場合もあるため、組織領域６２のグループは、１以上の組織画像６１を含む。

図５は、第１の実施形態に係る切片領域８ａ，８ｂの認識結果の一例を示す図である。図５に示す例では、組織画像６１に含まれる組織領域６２ｆ～６２ｉのうち、組織領域６２ｆが切片領域８ａ、組織領域６２ｇ～６２ｉが切片領域８ｂである。３つの組織領域６２ｇ～６２ｉは１つの切片６０に含まれる断片が撮像された画像領域である。また、組織領域６２ｆは、他の組織領域６２ｇ～６２ｉとは異なる切片６０に含まれる断片が撮像された画像領域である。以下、個々の切片領域８ａ，８ｂを区別しない場合には単に切片領域８という。

切片領域認識機能１５３は、規定の切片配置規則に基づいて、切片領域８を認識する。

規定の切片配置規則は、例えば、組織画像６１の撮像をする医療機関または検査センター等の施設の運用ルールである。組織画像６１を撮像する技師または医師等は、当該運用ルールに則ってスライドガラス７上に切片６０を配置する。

本実施形態では、規定の切片配置規則の例として、下記の（１）～（３）を挙げる。
（１）一の組織画像６１に一の切片６０のみが含まれる。（２）一の組織画像６１に描出された組織標本６に複数の切片６０が含まれる場合に、同一の切片を構成する複数の組織領域６２同士の距離は、他の切片６０を構成する複数の組織領域６２同士の距離よりも近い。（３）一の組織画像６１に描出された組織標本６に複数の切片６０が含まれる場合に、一の切片６０を構成する複数の組織領域６２は、当該切片６０が検体５から切り出された状態における当該切片６０の形状に沿って配置される。

情報処理装置１００で適用される切片配置規則が（１）～（３）のいずれであるかは、予め定められていても良いし、ユーザによっていずれかの切片配置規則が選択可能であっても良い。例えば、システム管理者等によって、情報処理装置１００が使用される医療機関等におけるデフォルトの切片配置規則が情報処理装置１００に設定され、必要に応じて一般ユーザがＧＵＩ（Graphical User Interface）を操作して変更可能としても良い。あるいは、組織画像６１の処理の都度、ユーザが切片配置規則（１）～（３）のリストから、適用するものを選択する構成としても良い。ユーザによる切片配置規則の選択操作は、後述の受付機能１５６が受け付ける。切片領域認識機能１５３は、ユーザによって選択された切片配置規則に応じて切片領域８を認識しても良い。

あるいは、情報処理装置１００は、切片配置規則が（１）～（３）のいずれか１つのみ対応可能な構成であっても良い。

あるいは、組織画像６１の付帯情報またはその他のメタデータに、当該組織画像６１が撮像された施設の識別情報が登録されており、切片領域認識機能１５３は、その施設に応じた切片配置規則を適用しても良い。当該手法を採用する場合は、記憶回路１２０は、組織画像６１の撮像を行う施設の識別情報と、当該施設で採用される切片配置規則とが対応付けられた切片配置規則特定情報を、記憶しているものとする。なお、組織画像６１が撮像された施設は、情報処理装置１００が設置された施設と同一でも、異なっていても良い。切片領域認識機能１５３は、当該切片配置規則特定情報に基づいて、組織画像６１に適用される切片配置規則を特定する。

以下に、切片配置規則（１）～（３）の各々に応じた切片領域８の認識の手法について説明する。

切片配置規則（１）が適用される場合、切片領域認識機能１５３は、組織画像６１に含まれる全ての組織領域６２を、一の切片領域８として認識する。

図６は、第１の実施形態に係る切片配置規則（１）に基づく組織画像６１の一例を示す図である。図６に示す組織画像６１には３つの組織領域６２ｇ～６２ｉが含まれる。切片配置規則（１）によれば、一の組織画像６１には１つの切片６０のみが含まれる。このため、切片領域認識機能１５３は、組織画像６１に含まれる全ての組織領域６２を、１つの切片領域８として認識する。図６に示す例では、切片領域認識機能１５３は、３つの組織領域６２ｇ～６２ｉを、１つの切片６０に対応する切片領域８ｂと認識する。

図７は、第１の実施形態に係る切片配置規則（２）に基づく組織画像６１の一例を示す図である。切片配置規則（２）によれば、１つの組織画像６１に描出された組織標本６に複数の切片６０が含まれる場合に、同一の切片を構成する複数の組織領域６２同士の距離は、他の切片６０を構成する複数の組織領域６２同士の距離よりも近い。このため、切片領域認識機能１５３は、複数の組織領域６２の距離に基づいて、１つの切片６０に対応する１以上の組織領域６２を、１つの切片領域８と認識する。

例えば、切片領域認識機能１５３は、組織領域６２同士の輪郭間の最短距離が閾値以下の場合に、当該組織領域６２同士が同一の切片領域８に含まれると認識する。閾値は、例えば予め記憶回路１２０に記憶される。組織領域６２同士の輪郭間の最短距離は、２つの組織領域６２がもっとも接近している箇所における、ある組織領域６２の輪郭線から他の組織領域６２の輪郭線までの距離である。

図７に示す例では、組織領域６２ｇと組織領域６２ｈとの最短距離ｄ１と、組織領域６２ｈと組織領域６２ｉとの最短距離ｄ２とが閾値以下であるものとする。この場合、切片領域認識機能１５３は、組織領域６２ｇ～６２ｉを１つのグループに分類する。また、組織領域６２ｇと組織領域６２ｉとの最短距離ｄ６は閾値よりも大きい場合も、組織領域６２ｇと組織領域６２ｉとは組織領域６２ｈを介して同じグループに分類される。切片領域認識機能１５３は、１つのグループに含まれる組織領域６２ｇ～６２ｉを、１つの切片領域８ｂを構成する組織領域６２ｇ～６２ｉと認識する。

また、組織領域６２ｆと組織領域６２ｇとの最短距離ｄ３、組織領域６２ｆと組織領域６２ｈとの最短距離ｄ４、組織領域６２ｆと組織領域６２ｉとの最短距離ｄ５は、いずれも閾値よりも大きいものとする。この場合、切片領域認識機能１５３は、組織領域６２ｆは、組織領域６２ｇ～６２ｉのいずれとも異なる切片領域８であると認識する。組織画像６１には組織領域６２ｆ～６２ｉ以外の組織領域６２は含まれないため、切片領域認識機能１５３は、組織領域６２ｆは単独で１つの切片領域８ａであると認識する。

なお、閾値は、固定値ではなく、組織画像６１に含まれる組織領域６２ｆ～６２ｉの最短距離の相対的な差に応じて変化しても良い。例えば、切片領域認識機能１５３は、組織領域６２ｆ～６２ｉの最短距離の平均または標準偏差等に基づいて、相対的に距離が近い組織領域６２をグループ化しても良い。

図８は、第１の実施形態に係る切片配置規則（３）に基づく組織画像６１の一例を示す図である。切片配置規則（３）によれば、１つの組織画像６１に描出された組織標本６に複数の切片６０が含まれる場合に、１つの切片６０を構成する複数の組織領域６２は、当該切片６０が検体５から切り出された状態における当該切片６０の形状に沿って配置される。

図８に示す例では、組織画像６１には組織領域６２ｆ～６２ｌが含まれる。このうち、組織領域６２ｇ～６２ｉは、１つの切片６０が途切れたために複数の組織領域６２ｇ～６２ｉとして撮像されている。切片配置規則（３）に基づいて、切片６０は、検体５から切り出された状態における当該切片６０の形状に沿って配置されるため、組織領域６２ｇ～ｉは元の検体５の切り出し位置に沿って、横方向に一列に配置される。

切片配置規則（３）が適用される場合、切片領域認識機能１５３は、複数の組織領域６２の面積および重心６５ａ～６５ｇの位置に基づいて、複数の切片６０が並ぶ方向、および複数の切片６０ごとの配置される可能性のある範囲を推定し、推定した範囲に含まれる１以上の組織領域６２を、１つの切片領域８と認識する。以下、個々の重心６５ａ～６５ｇを特に区別しない場合には単に重心６５という。

組織領域６２の重心６５は、組織領域６２に含まれる画素の分布の中心である。例えば、重心６５の座標は、組織領域６２に含まれる画素の座標の平均値である。なお、重心６５の求め方は、公知の画像処理の手法を採用することができる。

切片領域認識機能１５３は、組織領域６２ｇ～６２ｌの各々の画素に基づいて、重心６５ａ～６５ｇの位置を求める。重心６５ａ～６５ｇの位置は、組織画像６１上の座標である。

また、切片領域認識機能１５３は、組織領域６２ｇ～６２ｌの各々の面積を求め、組織領域６２ｇ～６２ｌの面積に基づいて算出された基準面積以上の面積を有する組織領域６２の重心６５の位置に基づいて、切片６０の配置方向を推定する。組織領域６２ｇ～６２ｌの面積に基づいて算出された基準面積以上の面積を有する組織領域６２を、代表組織領域ともいう。なお、基準面積は、例えば、組織領域の面積群の平均値を採用する方法がある。図８に示す例では、基準面積に組織領域の面積群の平均値を採用する例として、組織領域６２ｇと組織領域６２ｉは、組織領域６２ｇ～６２ｌの面積の平均未満であるため、組織領域６２ｇの重心６５ｅと組織領域６２ｉの重心６５ｇは、除外される。組織領域６２ｈ，６２ｊ～６２ｌは、組織領域６２ｇ～６２ｌの面積の平均以上であるため、代表組織領域となる。

切片領域認識機能１５３は、組織領域６２ｈ，６２ｊ～６２ｌの重心６５ａ～６５ｆに基づいて、切片６０の並ぶ方向の角度を推定する。重心６５ａ～６５ｆの並ぶ方向の求め方は、例えば、重心６５ａ～６５ｆの座標群における、組織画像６１上のＸ座標およびＹ座標の分散の比の算出、または主成分分析等を採用しても良い。切片領域認識機能１５３は、重心６５ａ～６５ｆの座標を主成分分析し、第一主成分方向を切片６０が並ぶ方向としても良い。図８に示す例では、切片領域認識機能１５３は、方向Ａを、切片６０が並ぶ方向と推定する。また、切片領域認識機能１５３は、切片６０が並ぶ方向Ａと垂直な方向を、切片６０の長手方向と推定する。なお、組織画像６１の付帯情報等に切片６０の配置に関する情報が含まれている場合、切片領域認識機能１５３は、当該情報に基づいて切片６０の並ぶ方向Ａを推定しても良い。

切片領域認識機能１５３は、代表組織領域である組織領域６２ｈ，６２ｊ～６２ｌの重心６５ａ～６５ｆと、切片６０が並ぶ方向Ａの傾きの角度と基準に、複数の切片６０ごとの配置される可能性のある範囲を推定する。

図９は、第１の実施形態に係る切片配置規則（３）に基づく切片領域８ｂの認識手法の一例を示す図である。図９に示すように、方向Ａを組織領域６２ｈの高さ方向とした場合に、重心６５ｆにおける方向Ａ方向の組織領域６２ｈの長さを、組織領域６２ｈの高さｈ１とする。切片領域認識機能１５３は、当該高さｈ１を基準として、組織領域６２ｈと同一の切片６０に由来する組織画像６１が含まれる範囲を推定する。例えば、切片領域認識機能１５３は、方向Ａと垂直に交差する２本の直線Ｌ１，Ｌ２の間に、少なくとも一部が含まれる組織領域６２を探索する。２本の直線Ｌ１，Ｌ２の間隔は、高さｈ１と等しい。図９に示す例では、組織領域６２ｇ，６２ｉが、２本の直線Ｌ１，Ｌ２の間に含まれるため、切片領域認識機能１５３は、組織領域６２ｇ～６２ｉが１つの切片領域８ｂに含まれると認識する。

なお、図９では、２本の直線Ｌ１，Ｌ２の間隔は、高さｈ１と等しいとしたが、これに限定されない。例えば、切片領域認識機能１５３は、２本の直線Ｌ１，Ｌ２の間隔を「高さｈ１のｎ％」等としても良い。ｎの値は予め定められて記憶回路１２０に記憶されていても良い。

ここで、切片配置規則（３）について補足説明をする。図１０は、第１の実施形態における切片配置規則（３）では許可されない切片６０の配置の一例を示す図である。切片配置規則（３）が適用される場合、各切片６０の形状を維持してスライドガラス７上に配置されるため、図１０に示すように、１つの切片６０ｘが複数の断片６０ｘ１，６０ｘ２に切断されて順方向に配置されることはない。このため、切片配置規則（３）が適用される場合には、重心６５が並ぶ方向に基づいて切片６０の配置方向が推定可能となる。

切片領域認識機能１５３は、当該切片領域８に含まれる組織領域６２をグループ化して生成した切片領域８毎に、識別子を対応付けて、記憶回路１２０に記憶させる。識別子は、例えば数字の番号である。また、当該識別子は、検体５から切片６０が切り出された切り出し位置の並び順と対応付けて採番されても良い。なお、当該識別子は後述のメタ情報設定機能１５８で設定されても良い。

図１に戻り、表示用画像生成機能１５４は、切片領域認識機能１５３によって認識された切片領域８に基づいて、表示用画像を生成する。表示用画像は、切片領域８を強調表示するための画像であり、例えば、１つの切片領域８を拡張した表示用切片領域を透明、その他の画像領域を半透明の黒色で覆うマスク画像である。表示用切片領域は、切片領域８の輪郭に沿った、切片領域８よりも一回り大きな画像領域である。表示用切片領域が切片領域８よりも大きい理由は、マスク画像で組織画像６１が覆われた場合に、表示対象である切片領域８の境界を視認しやすくするためである。

表示用画像生成機能１５４は、マスク画像を個々の切片領域８ごとに生成する。なお、表示用画像はマスク画像に限定されるものではなく、表示用切片領域の輪郭を点線で描出する画像等であっても良い。

表示制御機能１５５は、組織画像６１をディスプレイ１４０に表示させる。

図１１は、第１の実施形態に係る画像ビューワ１４の一例を示す図である。画像ビューワ１４は、ユーザが組織画像６１および検体画像５１の照会、編集、加工等の操作をすることができるＧＵＩである。図１１に示す例では、ディスプレイ１４０に表示された画像ビューワ１４は、ミクロ画像表示エリア１４１、マクロ画像表示エリア１４２、操作ツール表示エリア１４４、および画像一覧表示エリア１４３を含む。

ミクロ画像表示エリア１４１には組織画像６１が表示される。マクロ画像表示エリア１４２には、検体画像５１が表示される。操作ツール表示エリア１４４には、ユーザが操作可能な各種のツールが表示される。画像一覧表示エリア１４３には、ミクロ画像表示エリア１４１またはマクロ画像表示エリア１４２に表示可能な組織画像６１および検体画像５１が縮小されて表示される。

なお、図１１では、説明のために、切片領域８ｎ～８ｒを示す破線を図示しているが、実際には画像ビューワ１４上に当該破線は表示されなくとも良い。

また、表示制御機能１５５は、組織画像６１に含まれる複数の組織領域６２ｎ～６２ｓのうち、１つの切片領域８を構成する組織領域６２を、他の切片領域８を構成する組織領域６２とは異なる態様で表示させる。例えば、ミクロ画像表示エリア１４１に表示された組織画像６１に含まれる複数の切片領域８ｎ～８ｒのうちのいずれかをユーザが選択した場合、表示制御機能１５５は、選択された切片領域８に含まれる組織領域６２を、強調表示する。

後述の受付機能１５６によりディスプレイ１４０のミクロ画像表示エリア１４１上でユーザがマウスのクリック等の操作を受け付けた場合、表示制御機能１５５は、クリックされた座標に対応する切片領域８が選択されたと判定する。この場合、表示制御機能１５５は、ユーザの操作により選択された切片領域８に含まれる組織領域６２を、他の切片領域８に含まれる組織領域６２とは異なる態様で表示させる。例えば、表示制御機能１５５は、表示用画像生成機能１５４によって生成されたマスク画像のうち、選択された切片領域８を含む表示用切片領域のみが透明で、その他の画像領域が半透明の黒色でマスクされたマスク画像を、組織画像６１に重畳してディスプレイ１４０に表示させる。当該表示により、選択された切片領域８のみが強調表示される。なお、強調表示の態様はこれに限定されない。

また、ユーザによる切片領域８の選択手段は、ミクロ画像表示エリア１４１上でクリックすることに限定されない。例えば、図１２は、第１の実施形態に係るリストボックス９１を用いた切片領域８の選択手法の一例を示す図である。

図１２に示す例では、ユーザは、リストボックス９１のドロップダウンメニューから所望の切片領域８の識別子を選択する。図１２では、表示制御機能１５５は、選択された識別子に対応する切片領域８に含まれる組織領域６２ｑを強調表示するために、組織領域６２ｑおよびその周囲を除く画像領域がマスクされたマスク画像８１ｐを、組織画像６１に重畳して表示させている。これにより、選択された切片領域８に含まれる組織領域６２ｑがハイライト表示される。

なお、選択された切片領域８に含まれる組織領域６２ｑを強調表示する手法は、ハイライトに限定されない。例えば、表示制御機能１５５は、破線または点線等の枠で選択された切片領域８に含まれる組織領域６２ｑを囲んでも良い。また、表示制御機能１５５は、選択されていない切片領域８に含まれる組織領域６２ｎ～６２ｐ，６２ｒ，６２ｓを非表示にし、選択された切片領域８に含まれる組織領域６２ｑのみを表示しても良い。また、表示制御機能１５５は、選択されていない切片領域８に含まれる組織領域６２ｎ～６２ｐ，６２ｒ，６２ｓの色を、選択された切片領域８に含まれる組織領域６２ｑよりも薄い色で表示させても良い。

切片領域８の選択の手法は、ユーザによるマウスによるクリック操作やリストボックス９１による指定に限定されない。例えば、後述の画像処理機能１５７によって病変等の異常が検出された切片領域８が選択されても良い。

なお、図１２に示す例では、各切片領域８の識別子は、検体５から切片６０が切り出された切り出し位置の番号と対応付けられている。マクロ画像表示エリア１４２に表示された検体画像５１には、切り出し位置の番号が表示されているため、ユーザは、検体画像５１に表示された番号を参照して、切片領域８の識別子を選択することができる。なお、表示制御機能１５５は、組織画像６１上に、切片領域８の識別子を表示させても良い。

また、表示制御機能１５５は、選択された切片領域８に対応する、検体画像５１上の切り出し位置の表示態様を変化させても良い。例えば、表示制御機能１５５は、選択中の切片領域８に対応する検体画像５１上の切り出し位置を強調表示しても良い。

また、図１３は、選択された切片領域８が図１２から変化した場合の一例を示す図である。図１３では、選択された識別子が“３”から“４”に変更されている。表示制御機能１５５は、切片領域８の選択が変更された場合、変更前の切片領域８の強調表示を解除し、新たに選択された切片領域８を強調表示する。

また、表示制御機能１５５は、後述のメタ情報設定機能１５８によって設定された各種のメタデータを、組織画像６１上に表示させても良い。

図１に戻り、受付機能１５６は、入力インタフェース１３０を介して、ユーザによる各種の操作を受け付ける。例えば、受付機能１５６は、組織画像６１に複数の切片領域８が含まれる場合に、いずれかの切片領域８を選択するユーザの操作を受け付ける。図１１～１３で説明したように、選択の手法はマウスによるクリック操作、またはリストボックス９１による選択操作等である。

また、受付機能１５６は、ユーザによるアノテーション等の情報の入力を受け付ける。アノテーションとは、組織画像６１に図またはテキストで注釈等を付与することである。１つの検体５であっても、切片６０ごとに病巣等の状態が異なるため、アノテーション等の情報は、組織画像６１単位よりも各切片領域８単位で対応付けられることが望ましい。受付機能１５６は、ユーザによるアノテーション等の情報の入力を受け付けた場合、受け付けた内容を、メタ情報設定機能１５８に送出する。

また、受付機能１５６は、ユーザによる切片領域８を修正する操作を受け付ける。受付機能１５６は、ユーザによる切片領域８を修正する操作を受け付けた場合、受け付けた内容を、修正機能１５９に送出する。

画像処理機能１５７は、切片領域８ごとに、画像処理による解析をする。具体的には、画像処理機能１５７は、切片領域８ごとに、異常程度、異常の有無、および異常領域の範囲等を解析する。異常とは、例えば、切片領域８に含まれる組織領域６２に描出された病巣である。病巣が描出された部位は、例えば、腺腫や腺がんなどの腫瘍領域である。異常を解析する画像処理の手法は、特に限定されるものではなく、公知の手法を採用可能である。また、画像処理機能１５７は、深層学習等の学習済みモデルを用いて異常程度、異常の有無、および異常領域等を解析しても良い。

また、画像処理機能１５７は、各切片領域８の面積、長径、および短径等を解析しても良い。また、画像処理機能１５７は、各切片領域８の画素について、平均、最頻、中央画素値等を解析しても良い。

なお、画像処理機能１５７の機能は情報処理装置１００と接続する他の情報処理装置で実行されてもよい。この場合、取得機能１５１が、他の情報処理装置から解析結果を取得する。

メタ情報設定機能１５８は、組織画像６１に複数の切片領域８が含まれる場合に、個々の切片領域８にメタ情報を設定する。

本実施形態において、メタ情報は、切片領域８に関する情報であり、例えば、切片領域８と対応する切片６０が検体５から切り出された位置を特定可能な識別子を含む。図１２、図１３に示したように、当該識別子は、組織画像６１における切片領域８と、検体画像５１における切り出し位置とを対応付けるものである。メタ情報設定機能１５８は、例えば、検体画像５１に含まれる切り出し位置の並び順と、組織画像６１における切片領域８の並び順とに基づいて、各切り出し位置の番号に対応する番号を、各切片領域８に識別子として対応付ける。

また、メタ情報は、画像処理機能１５７によるメタ情報の付与対象の切片領域８に関する画像処理の解析結果を含んでも良い。また、メタ情報は、メタ情報の付与対象の切片領域８に関する医師の診断結果を含んでも良い。医師の診断結果は、異常の有無、異常の程度、異常領域、診断名の候補、診断根拠、およびその他のコメント等を含む。また、切片領域８に関する医師の診断結果の取得手法は、取得機能１５１が外部の情報処理装置で登録されたレポート等を取得しても良いし、受付機能１５６がユーザによる診断に関する情報の入力を受け付けても良い。これらの情報を、アノテーションともいう。また、これらの情報を入力するユーザの操作をアノテーションと称しても良い。

図１４は、第１の実施形態に係るアノテーションの設定の一例を示す図である。図１４に示す例では、組織領域６２ｒを含む切片領域８が、表示対象として選択されている。また、図１４では、受付機能１５６は、ユーザが描画ツール９２により、興味領域を示す領域指定画像９４ａ，９４ｂを組織画像６１上で描画したことを受け付けたものとする。この場合、メタ情報設定機能１５８は、選択中の切片領域８に含まれる組織領域６２ｒにおいて、当該領域指定画像９４ａ，９４ｂに対応する位置に、興味領域表示画像９３ａ，９３ｂを設定する。なお、メタ情報設定機能１５８は、興味領域表示画像９３ａ，９３ｂが組織領域６２ｒを覆い隠さないように、組織領域６２ｒの輪郭線の外側に興味領域表示画像９３ａ，９３ｂを設定しても良い。表示制御機能１５５は、メタ情報設定機能１５８による設定に基づいて、興味領域表示画像９３ａ，９３ｂを表示させる。興味領域表示画像９３ａ，９３ｂは、メタ情報に含まれるものとする。

また、図１５は、選択された切片領域が図１４から変化した場合の一例を示す図である。図１５では、組織領域６２ｑを含む切片領域８が、表示対象として選択されている。この場合、図１４で組織領域６２ｒを含む切片領域８に対するアノテーションの設定のために入力された領域指定画像９４ａ，９４ｂは表示されない。そして、受付機能１５６は、現在選択されている組織領域６２ｑを含む切片領域８に対する領域指定画像９４ｃを設定するユーザの操作を受け付ける。また、メタ情報設定機能１５８は、選択中の切片領域８に含まれる組織領域６２ｑにおいて、当該領域指定画像９４ｃに対応する位置に、興味領域表示画像９３ｃを設定する。

また、メタ情報設定機能１５８は、切片領域８に対応付けられた解析結果または診断結果等の情報を、メタ情報として、検体画像５１上の対応する切り出し位置に対応付けても良い。例えば、表示制御機能１５５は、切片領域８に対応付けられた解析結果または診断結果等の情報を、当該切片領域８に対応する切り出し位置に対応付けて、検体画像５１上に表示させても良い。

また、図１６は、第１の実施形態における切片領域８の選択が解除された状態の一例を示す図である。図１５に示した状態で、受付機能１５６が、ユーザが背景領域７０をマウスでクリック操作したことを受け付けた場合、切片領域８の選択が解除される。この場合、画像処理機能１５７は、マスク画像の表示を解除する。なお、画像処理機能１５７は、選択が解除された場合でも、興味領域表示画像９３ａ～９３ｃの表示は継続する。

なお、図１４－１６では線状のアノテーションを例示したが、表示されるメタ情報の態様はこれに限定されない。例えば、テキストデータや画像が画像ビューワ１４上に表示されても良い。表示制御機能１５５は、例えば、ユーザによって選択されている切片領域８の近傍の背景領域７０等に、選択されている切片領域８に関する各種のメタ情報を表示しても良い。また、画像ビューワ１４上に、メタ情報が表示される特定のエリアが設けられも良い。

図１に戻り、修正機能１５９は、受付機能１５６によって受け付けられたユーザの操作に基づいて、切片領域認識機能１５３によって認識された切片領域８を修正する。例えば、ユーザが、画像ビューワ１４上で１以上の組織領域６２を選択した場合、修正機能１５９は、選択された組織領域６２を１つの切片領域８として記憶回路１２０に保存しても良い。

次に、以上のように構成された情報処理装置１００で実行される切片領域の認識処理の流れについて説明する。

図１７は、第１の実施形態に係る切片領域の認識処理の流れの一例を示すフローチャートである。

まず、取得機能１５１は、検体画像保管装置２０１から、検体画像５１を取得する（Ｓ１）。

そして、組織領域認識機能１５２は、画像処理により、組織画像６１から組織標本６が描出されている複数の組織領域６２を認識する（Ｓ２）。

次に、切片領域認識機能１５３は、複数の組織領域６２を、規定の切片配置規則に従って、グループ分けする（Ｓ３）。なお、規定の切片配置規則は、このフローチャートの実行の際にユーザが選択しても良いし、予め定められていても良い。

そして、切片領域認識機能１５３は、同じグループの組織領域６２群を、１つの切片領域８と認識する（Ｓ４）。切片領域認識機能１５３は切片領域８と組織領域６２との対応付けを、記憶回路１２０に記憶させる。

また、表示用画像生成機能１５４は、切片領域認識機能１５３によって認識された切片領域８ごとに、当該切片領域８を強調表示するためのマスク画像８１を生成する（Ｓ５）。表示用画像生成機能１５４は、生成したマスク画像８１を記憶回路１２０に記憶させる。

また、メタ情報設定機能１５８は、検体画像５１に含まれる切り出し位置の並び順と、組織画像６１における切片領域８の並び順とに基づいて、各切り出し位置の番号に対応する番号を、各切片領域８に識別子として対応付ける（Ｓ６）。

また、画像処理機能１５７は、切片領域８ごとに、画像解析をすることにより、異常程度、異常の有無、異常領域の範囲、面積、長径、短径、画素値の平均、画素の最頻値、および中央画素値等を求める（Ｓ７）。メタ情報設定機能１５８は、画像処理機能１５７による解析結果をメタ情報として切片領域８に対応付けて記憶回路１２０に記憶させる。ここで、このフローチャートの処理は終了する。

次に、切片領域８が認識された組織画像６１の表示に関する処理の流れについて説明する。

図１８は、第１の実施形態に係る切片領域の認識処理の流れの一例を示すフローチャートである。

受付機能１５６がユーザによる表示対象の組織画像の選択を受け付けた場合、（Ｓ２１“Ｙｅｓ”）、表示制御機能１５５は、選択された組織画像６１を画像ビューワ１４に表示させる（Ｓ２２）。なお、受付機能１５６が表示対象の組織画像の選択を受け付けていない場合（Ｓ２１“Ｎｏ”）、Ｓ２１の処理に戻る。

また、受付機能１５６がユーザによる切片領域８の選択を受け付けた場合（Ｓ２３“Ｙｅｓ”）、表示制御機能１５５は、選択された切片領域８を特定し（Ｓ２４）、選択された切片領域８を、強調表示する（Ｓ２５）。なお、受付機能１５６が切片領域８の選択を受け付けていない場合（Ｓ２３“Ｎｏ”）、Ｓ２３の処理に戻る。

また、表示制御機能１５５は、選択された切片領域８に既に設定されたメタ情報がある場合、選択された切片領域８に対応付けてメタ情報を表示させる（Ｓ２６）。なお、メタ情報の表示、非表示は、ユーザにより選択可能であっても良い。

また、受付機能１５６が、興味領域を示すアノテーション等のメタ情報の登録または変更の操作を受け付けた場合（Ｓ２７“Ｙｅｓ”）、メタ情報設定機能１５８は、選択された切片領域８に対応付けて、メタ情報を登録または変更する（Ｓ２８）。表示制御機能１５５は、新たに登録または変更されたメタ情報を画像ビューワ１４に表示させる。なお、受付機能１５６がメタ情報の登録または変更の操作を受け付けていない場合（Ｓ２７“Ｎｏ”）、Ｓ２７の処理に戻る。ここで、このフローチャートの処理は終了する。

このように、本実施形態の情報処理装置１００は、組織画像６１から組織標本６が描出されている複数の組織領域６２を認識し、認識した複数の組織領域６２のうち、１つの切片に対応する１以上の組織領域６２を、１つの切片領域８として認識する。このため、本実施形態の情報処理装置１００によれば、組織画像６１に含まれる複数の組織領域６２を、切片６０単位で管理することができる。

例えば、１つの検体５であっても、切片６０ごとに状態が異なるため、アノテーション等のメタ情報は、各切片６０に個別に対応付けられることが望ましい。しかしながら、一般的な比較例として、組織画像に複数の組織領域が含まれる場合、１つの切片を構成する組織領域群を特定することが困難な場合があった。このような例では、ユーザがメタ情報を設定する対象領域を、正確に指定することが困難な場合があった。

これに対して、本実施形態の情報処理装置１００によれば、組織画像６１に含まれる複数の組織領域６２を、１つの切片６０に対応する切片領域８でグルーピングするため、個々の切片６０毎に、メタ情報の設定等の処理が可能となる。

また、本実施形態の情報処理装置１００は、規定の切片配置規則（１）～（３）に基づいて、切片領域８を認識する。このため、本実施形態の情報処理装置１００によれば、組織画像６１が撮像された施設のルールに沿って、高精度に切片領域８を認識することができる。

（第２の実施形態）
上述の第１の実施形態では、切片領域認識機能１５３は、規定の切片配置規則に基づいて、切片領域８を認識していた。この第２の実施形態では、切片領域認識機能１５３は、組織領域６２の画像特徴量の周期性に基づいて切片領域８を認識する。

図１９は、第２の実施形態に係る組織領域６２ｔ～６２ｙの認識結果の一例を示す図である。図１９に示す例では、切片領域認識機能１５３は、組織画像６１に含まれる組織領域６２ｔ～６２ｙの各々に、番号を付与する。当該番号を、組織領域番号という。

そして、切片領域認識機能１５３は、画像処理により、組織領域６２ｔ～６２ｙの画像特徴量を解析する。

図２０は、第２の実施形態に係る画像特徴量の解析結果の一例を示す図である。本実施形態においては、画像特徴量は、組織領域６２ｔ～６２ｙの領域面積、平均緑色成分、緑色標準偏差値、左端の組織画像６１内の位置、および右端の組織画像６１内の位置等である。なお、画像特徴量を表す指標は、これらに限定されるものではない。

図２０のテーブルでは、「領域面積」欄に記載された値は、組織領域６２ｔ～６２ｙの領域面積の平均値に対する、個々の組織領域６２ｔ～６２ｙの割合である。

切片領域認識機能１５３は、図２０に示した組織領域６２ｔ～６２ｙの画像特徴量に基づいて、組織領域６２ｔ～６２ｙの類似性、および組織領域６２ｔ～６２ｙの画像特徴量の周期性を評価する。

図２１は、第２の実施形態に係る画像特徴量の周期性の評価の一例を示す図である。図２１では領域面積の周期性を評価対象としている。例えば、切片領域認識機能１５３は、領域面積を、予め定められた閾値によって分類する。図２１に示す例では、閾値は、２５％、５０％、１５０％、２００％である。

切片領域認識機能１５３は、閾値によって分類した領域面積の評価の周期性の有無、および周期の境目を判定する。図２１では、番号１～３と、番号４～６で領域面積の評価に周期性がある。このため、切片領域認識機能１５３は、番号１～３に対応する組織領域６２ｔ～６２ｖを１つのグループ、番号４～６に対応する組織領域６２ｗ～６２ｙを他の１つのグループと認識する。そして、図１９に示すように、切片領域認識機能１５３は、１つのグループに属する組織領域６２ｔ～６２ｖを切片領域８ｃ、他の１つのグループに属する組織領域６２ｗ～６２ｙを切片領域８ｄと認識する。

本実施形態の手法によれば、切片配置規則が明確に定められていない場合、あるいは撮像時の切片配置規則が不明な場合であっても、切片領域８の認識が可能である。

また、組織領域６２ｔ～６２ｙの類似性および周期性の評価には、ニューラルネットワークにより生成された学習済みモデルを利用した画像特徴量検出器等を用いても良い。

（第３の実施形態）
この第３の実施形態では、切片領域認識機能１５３は、学習済みモデルを用いて、切片領域８を認識する。

図２２は、第３の実施形態に係る学習済みモデル９０の入出力の一例を示す図である。切片領域認識機能１５３は、学習済みモデル９０に、組織画像６１を入力することにより、複数の組織領域６２を切片領域８単位でグルーピングする。具体的には、切片領域認識機能１５３は、学習済みモデル９０に組織画像６１を入力することにより、学習済みモデル９０から出力されるバウンディングボックス（Bounding Box）８２および切片領域８ごとのマスク画像８１を得る。学習済みモデル９０の生成には、公知のInstance Segmentation技術を適用可能である。

学習済みモデル９０は、例えば、ニューラルネットワーク等のディープラーニング（深層学習）またはその他の機械学習によって生成された学習済みモデルとする。ディープラーニングの手法としては、深層畳み込みニューラルネットワーク（ＤＣＮＮ：Deep Convolutional Neural Network）、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などを適用することができるが、これらに限定されるものではない。学習済みモデル９０は、例えば、ニューラルネットワークと、学習済みパラメータデータとによって構成される。

学習済みモデル９０は、例えば記憶回路１２０に記憶されているものとする。切片領域認識機能１５３は、記憶回路１２０から学習済みモデル９０を読み出し、組織画像６１を入力する。あるいは、切片領域認識機能１５３に学習済みモデル９０が組み込まれていても良い。また、情報処理装置１００が学習済みモデル９０を生成する学習機能を備えても良いし、他の情報処理装置で生成された学習済みモデル９０を使用しても良い。

図２３は、第３の実施形態に係るバウンディングボックス８２の一例を示す図である。バウンディングボックス８２ａ，８２ｂは、１以上の組織領域６２を切片領域８単位でグルーピングするボックスである。１つのバウンディングボックス８２ａ，８２ｂ内では、切片領域８ｆ，８ｇが１つのInstanceとして検出される。また、１つのバウンディングボックス８２ａ，８２ｂ内に、他の切片領域８に属する組織領域６２の一部が入り込んだ場合は、当該組織領域６２の一部は検出対象とはならないように、学習済みモデル９０に予め学習される。

図２４は、第３の実施形態に係るマスク画像８１ｆの一例を示す図である。学習済みモデル９０は、切片領域８ごとのマスク画像８１を出力する。図２４に示す例は、切片領域８ｆをハイライト表示するための、マスク画像８１ｆである。マスク画像８１ｆでは、切片領域８ｆを拡張した表示用切片領域８３ｆが透明、それ以外の画像領域が半透明の黒色で覆われる。なお、本実施形態においては、学習済みモデル９０によりマスク画像８１が生成されるため、情報処理装置１００は表示用画像生成機能１５４を備えなくとも良い。

本実施形態の手法によれば、切片配置規則が明確に定められていない場合、あるいは撮像時の切片配置規則が不明な場合であっても、切片領域８の認識が可能である。

（変形例１）
なお、上述の第１の実施形態では、切片領域８にアノテーションを設定する例について説明したが、切片領域８に対応付けてメタ情報が表示される例は、これに限定されるものではない。

図２５は変形例１に係る画像ビューワ１４の表示の一例を示す図である。図２５に示す例では、表示制御機能１５５は、切片領域８毎の病変検出結果に基づいて、各切片領域８に含まれる組織領域６２の各々の病変部位９５を他の部位と異なる態様で表示させている。表示される病変部位９５は、画像処理機能１５７による解析結果でもよいし、医師による診断結果であっても良い。

（変形例２）
上述の各実施形態では、情報処理装置１００はサーバ装置またはＰＣ等であるとしたが、これに限定されるものではない。例えば、情報処理装置１００は、組織画像６１を撮像する撮像装置に内蔵されたコンピュータであっても良い。撮像装置は、例えば、ＷＳＳ、デジタルカメラ、またはデジタル顕微鏡であるがこれらに限定されるものではない。

なお、本明細書において扱う各種データは、典型的にはデジタルデータである。

以上説明した少なくとも１つの実施形態によれば、組織画像に含まれる複数の組織領域を、切片単位で管理することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

５ 検体
６ 組織標本
７ スライドガラス
８，８ａ～８ｇ，８ｎ 切片領域
１４ 画像ビューワ
５１ 検体画像
６０，６０ａ～６０ｅ，６０ｘ 切片
６１ 組織画像
６２，６２ａ～６２ｙ 組織領域
６５，６５ａ～６５ｇ 重心
７０ 背景領域
８１，８１ｆ，８１ｐ マスク画像
８２，８２ａ，８２ｂ バウンディングボックス
８３ｆ 表示用切片領域
９０ 学習済みモデル
９１ リストボックス
９３ａ～９３ｃ 興味領域表示画像
９４ａ～９４ｃ 領域指定画像
９５ 病変部位
１００ 情報処理装置
１２０ 記憶回路
１４０ ディスプレイ
１４４ 操作ツール表示エリア
１５０ 処理回路
１５１ 取得機能
１５２ 組織領域認識機能
１５３ 切片領域認識機能
１５４ 表示用画像生成機能
１５５ 表示制御機能
１５６ 受付機能
１５７ 画像処理機能
１５８ メタ情報設定機能
１５９ 修正機能
Ｓ 情報処理システム

Claims (19)

1. 少なくとも１つの切片を含む組織標本が描出された組織画像を取得する取得部と、
   前記組織画像から前記組織標本が描出されている複数の組織領域を認識する組織領域認識部と、
   前記複数の組織領域のうち、１つの切片に対応する１以上の組織領域を、１つの切片領域として認識する切片領域認識部と、
   を備える情報処理装置。
2. 前記組織画像は、複数の前記組織領域を含み、
   前記切片領域認識部は、１つの切片が複数の組織領域に分割されて描出されている場合、前記１つの切片に対応する複数の組織領域を、１つの切片領域として認識する、
   請求項１に記載の情報処理装置。
3. 前記切片領域認識部は、規定の切片配置規則に基づいて、前記切片領域を認識する、
   請求項１または２に記載の情報処理装置。
4. 前記規定の切片配置規則は、１つの前記組織画像に１つの前記切片のみが含まれる、という規則であり、
   前記切片領域認識部は、前記組織画像に含まれる全ての組織領域を、１つの切片領域として認識する、
   請求項３に記載の情報処理装置。
5. 前記規定の切片配置規則は、１つの前記組織画像に描出された前記組織標本に複数の切片が含まれる場合に、同一の切片を構成する複数の組織領域同士の距離は、他の切片を構成する複数の組織領域同士の距離よりも近い、という規則であり、
   前記切片領域認識部は、前記複数の組織領域間の距離に基づいて、１つの切片に対応する１以上の組織領域を、１つの前記切片領域と認識する、
   請求項３に記載の情報処理装置。
6. 前記規定の切片配置規則は、１つの前記組織画像に描出された前記組織標本に複数の切片が含まれる場合に、１つの切片を構成する複数の組織領域は、当該切片が検体から切り出された状態における当該切片の形状に沿って配置される、という規則であり、
   前記切片領域認識部は、前記複数の組織領域の面積および重心位置に基づいて、前記複数の切片が並ぶ方向、および前記複数の切片ごとの配置される可能性のある範囲を推定し、推定した範囲に含まれる１以上の組織領域を、１つの前記切片領域と認識する、
   請求項３に記載の情報処理装置。
7. 前記切片領域認識部は、前記複数の組織領域の画像特徴量の周期性に基づいてグループ分けし、１つのグループに含まれる１以上の組織領域を、１つの前記切片領域と認識する、
   請求項１または２に記載の情報処理装置。
8. 前記切片領域認識部は、学習済みモデルに、前記組織画像を入力することにより、前記複数の組織領域を前記切片領域単位でグルーピングする、
   請求項１または２に記載の情報処理装置。
9. 前記組織画像を表示部に表示させる表示制御部を備える、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記表示制御部は、前記組織画像に含まれる前記複数の組織領域のうち、１つの切片領域を構成する組織領域を、他の切片領域を構成する組織領域とは異なる態様で表示させる、
    請求項９に記載の情報処理装置。
11. 前記組織画像に複数の切片領域が含まれる場合に、いずれかの切片領域を選択するユーザの操作を受け付ける受付部を備え、
    前記表示制御部は、前記ユーザの操作により選択された前記切片領域に含まれる組織領域を、他の切片領域に含まれる組織領域とは異なる態様で表示させる、
    請求項１０に記載の情報処理装置。
12. 前記組織画像に複数の切片領域が含まれる場合に、個々の切片領域にメタ情報を設定するメタ情報設定部を備える、
    請求項１１に記載の情報処理装置。
13. 前記メタ情報設定部は、前記組織画像に含まれる複数の切片領域のうち、ユーザによって選択された切片領域にメタ情報を設定する、
    請求項１２に記載の情報処理装置。
14. 前記メタ情報は、前記メタ情報の付与対象の切片領域に関する画像処理の解析結果を含む、
    請求項１２または１３に記載の情報処理装置。
15. 前記メタ情報は、前記メタ情報の付与対象の切片領域に関する診断名の候補を含む、
    請求項１２から１４のいずれか１項に記載の情報処理装置。
16. 前記メタ情報は、ユーザによって入力された診断に関する情報を含む、
    請求項１２から１５のいずれか１項に記載の情報処理装置。
17. ユーザの操作に基づいて、前記切片領域認識部によって認識された切片領域を修正する修正部、を備える、
    請求項１から１６のいずれか１項に記載の情報処理装置。
18. 少なくとも１つの切片を含む組織標本が描出された組織画像を取得する取得ステップと、
    前記組織画像から前記組織標本が描出されている複数の組織領域を認識する組織領域認識ステップと、
    前記複数の組織領域のうち、１つの切片に対応する１以上の組織領域を、１つの切片領域として認識する切片領域認識ステップと、
    を含む情報処理方法。
19. 少なくとも１つの切片を含む組織標本が描出された組織画像を取得する取得ステップと、
    前記組織画像から前記組織標本が描出されている複数の組織領域を認識する組織領域認識ステップと、
    前記複数の組織領域のうち、１つの切片に対応する１以上の組織領域を、１つの切片領域として認識する切片領域認識ステップと、
    をコンピュータに実行させる含むプログラム。
    
    

Images