JP2021049270A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】診断者が画像から疾患部の部位を容易に特定できるようにする。【解決手段】画像処理装置４のＢスキャン画像取得部５１は、対象を奥行方向に撮像したＢスキャン画像を取得する。平面画像取得部５２は、対象を撮像した平面画像を取得する。部位検出部５３は、画像が入力されると、画像に含まれる疾患部の部位に確信度を付与して出力するように学習して生成された学習モデルを基に、Ｂスキャン画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する。分類部５４は、Ｂスキャン画像から検出された部位を構成する単位画像を確信度毎に分類する。反映部５５は、分類部５４により確信度毎に分類された前記部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように平面画像に重畳させた反映画像を生成する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来より、機械学習の技術を用いて、疾患部の画像を疾患種別毎に分類して学習モデルを生成しておき、患者から取得した画像から疾患名を特定する技術がある。
従来は、画像分類ネットワークを使用して疾患種別の分類を試みていた。

特開２０１９−１１８８１４号公報

しかしながら、従来の機械学習には限界があり、画像に対して疾患が小さい場合は、特徴がうまく学習できず、疾患を特定する精度としてあまりよくはなかった。このため、従来は、画像全体に対して疾患名のラベルを付けた断層画像全体をモニタに表示する程度であり、医師等がモニタに表示された断層画像を目視して、異常箇所である疾患部の部位を特定するしかなく、部位の特定には、診断者（医師等）の長年の経験が必要であり、また画像全体をくまなく確認するため、部位の特定に時間を要していた。

本願発明はこのような状況に鑑みてなされたものであり、診断者が画像から疾患部の部位を容易に特定できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
対象を奥行方向に撮像した第１画像を取得する第１画像取得手段と、
前記対象を撮像した平面状の第２画像を取得する第２画像取得手段と、
画像が入力されると、前記画像に含まれる疾患部の部位に確信度を付与して出力するように学習されて生成された学習モデルを基に、前記第１画像取得手段により取得された前記第１画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する部位検出手段と、
前記部位検出手段により前記第１画像から検出された前記部位を構成する単位画像を確信度毎に分類する分類手段と、
前記分類手段により確信度毎に分類された前記部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように前記第２画像に重畳させた反映画像を生成する反映手段と、
を具備する情報処理装置。

本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。

本発明によれば、診断者が画像から疾患部の部位を容易に特定することができる。

本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成の例を示す図である。 図１の情報処理システムのうち、本発明の情報処理装置に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態の図１の情報処理システム、即ち図２の画像処理装置及び学習装置の機能的構成の一例を示す機能ブロック図である。 情報処理システムの画像処理装置の動作を示すフローチャートである。 Ｂスキャン画像から検出された疾患部のＸ軸方向の画素の位置を平面画像に反映させる様子を示す図である。 Ｂスキャン画像の断面をＹ軸方向にずらして撮像した複数枚のＢスキャン画像の疾患部の位置を平面画像に反映させる様子を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。 画像処理装置により生成される反映画像の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成を示す図である。

図１に示す情報処理システムは、眼底カメラ付き光干渉断層計１（以下「ＯＣＴ１」と称す）と、学習装置２と、画像処理装置４と、モデルＤＢ３とを含むように構成される。ＯＣＴは、Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ（光コヒーレンストモトグラフィ）の略称である。

ＯＣＴ１は、例えば被検眼の眼底部等の診断の対象を光干渉技術により生体組織へ入射させる光の方向（光軸方向）に撮像したＢスキャン画像を画像処理装置４に出力する。Ｂスキャン画像は、光の光軸方向、つまり奥行方向に眼底部を撮像した画像であり、これを「第１画像」、「断層画像」、「光干渉断層画像」等と呼ぶ。
また、ＯＣＴ１は、診断の対象の眼底部を眼底カメラにより２次元的（平面状）に撮像し、撮像した眼底部の平面画像を画像処理装置４に出力する。光の光軸に垂直な面をＥｎｆａｃｅ平面といい、そのＥｎｆａｃｅ平面の画像を「第２画像」又は「平面画像」等と呼ぶ。

学習装置２は、予め用意した疾患種別毎の複数のＢスキャン画像について機械学習を行い、モデル化する。

具体的には、例えば、眼の疾患を持つ人（患者Ｕ）の眼底を撮影して得られた多数のＢスキャン画像を疾患の種別毎にクラス分けした学習用の画像データ（以下「学習用データ」と称す）が学習装置２に入力される。

学習装置２は、一つ以上（多数）の学習用データを用いて機械学習をすることで、学習モデルを生成する。学習装置２により生成された学習モデルは、モデルＤＢ３に格納される。なお、学習装置２の機能的構成や処理の詳細については、図３以降の図面を参照して後述する。

モデルＤＢ３には、学習装置２により機械学習された学習モデルが格納される。学習モデルに対しては、例えば、畳み込み学習型ニューラルネットワーク等を適用することができる。なお、畳み込み学習型ニューラルネットワークは一例に過ぎず、これ以外の機械学習の手法を適用してもよい。更に言えば、学習モデルは、機械学習のモデルに限らず、所定のアルゴリズムにより判定を行う判定器を採用してもよい。
即ち、学習モデルは、画像が入力されると、画像に含まれる疾患部の部位に確信度を付与して出力するように学習して生成されたものであればよい。

画像処理装置４は、「眼底疾患モデル」をモデルＤＢ３から取得する。画像処理装置４は、ＯＣＴ１から取得したＢスキャン画像と「眼底疾患モデル」を用いて疾患部の部位又は部位の位置を示すオブジェクトを平面画像に重畳（反映）させた画像（以下これを「反映画像」と呼ぶ）を生成する。
画像処理装置４は、疾患部の部位又は部位の位置を示すオブジェクトを平面画像に重畳させた反映画像を出力データとしてディスプレイ等の出力部１６へ出力する。オブジェクトは、例えば領域線、等高線、マスク画像、矢印等のキャラクタアイコン、数値、グラフ等を含む。出力部１６としてプリンタが接続されていれば、反映画像を印刷することもできる。
画像処理装置４の機能的構成や処理の詳細については、図３以降の図面を参照して後述する。

図２は、図１の情報処理システムのうち、本発明の情報処理装置の第１実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

画像処理装置４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、及びドライブ２０が接続されている。
出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部１８は、ハードディスク等で構成され、各種情報のデータを記憶する。

通信部１９は、ネットワークを介して他の対象（例えば図１のＯＣＴ１やモデルＤＢ３）との間で行う通信を制御する。
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

なお、図示はしないが、図１の情報処理システムの学習装置２は、図２に示すハードウェア構成と基本的に同様の構成を有している。従って、学習装置２のハードウェア構成の説明は省略する。
また、説明の便宜上、画像処理装置４は、学習装置２とは別途設けるものとしたが、特にこれに限定されず、学習装置２と画像処理装置４との各機能を１台の情報処理装置に集約してもよい。

図３は、一実施形態の図１の情報処理システム、即ち図２の画像処理装置４及び学習装置２の機能的構成の一例を示す機能ブロック図である。

図３に示すように、学習装置２は、Ｂスキャン画像取得部４１、部位検出部４２、分類部４３、モデル生成部４５等を有する。
Ｂスキャン画像取得部４１は、疾患があると思われる患者Ｕの眼の内側の眼底部（診断対象又は対象）をＯＣＴ１が撮影した奥行方向の断面画像であるＢスキャン画像をＯＣＴ１から取得する。Ｂスキャン画像は、断面の位置をずらして複数枚撮影される。

部位検出部４２は、取得した少なくとも一つのＢスキャン画像と、予め用意したラベリング済みの複数の疾患部を含むサンプル画像とを基に、サンプル画像の中の疾患部に該当する部位がＢスキャン画像に含まれているか否かを検出する。予め用意したサンプル画像は、見識のない人でもラベル付けを行える疾患部の断層画像である。

分類部４３は、部位検出部４２により検出されたＢスキャン画像の中の疾患部の部位を疾患種別毎に分類しラベリングする。分類は、クラス分けを含む。
モデル生成部４４は、分類部４３により疾患部の部位がラベリングされた患者のＢスキャン画像を新たな教師画像として、モデルＤＢ３の眼底疾患モデル３１に加える処理を行う。教師画像を眼底疾患モデル３１に新たに加えることで眼底疾患モデル３１が更新される。
即ち、学習装置２は、一つ以上（多数）の学習用データを用いて機械学習をすることで、新たな眼底疾患モデル３１を生成しモデルＤＢ３に格納する。
画像処理装置４は、Ｂスキャン画像取得部５１と、平面画像取得部５２と、部位検出部５３と、分類部５４と、反映部５５とを有する。

Ｂスキャン画像取得部５１は、眼底部を奥行方向に撮像したＢスキャン画像を取得する。Ｂスキャン画像は、ＯＣＴ１が撮影した断層画像である。Ｂスキャン画像は、断面の位置を一定の間隔でずらして複数枚撮影される。また、眼底部を診断対象又は対象と呼ぶ。

平面画像取得部５２は、眼底部を撮像した平面状の平面画像を取得する。平面画像は、患者の眼底部をＯＣＴ１が眼底カメラによって２次元的に撮影した画像である。

部位検出部５３は、モデルＤＢ３に格納されている学習モデルである眼底疾患モデル３１を基に、Ｂスキャン画像取得部５１により取得されたＢスキャン画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する。
部位検出部５３は、Ｂスキャン画像取得部５１により取得された少なくとも一つのＢスキャン画像と眼底疾患モデル３１とを用いて、Ｂスキャン画像の中の疾患部に該当する部位を検出する。

１枚のＢスキャン画像は、一断面の画像のため、これを平面に投影した場合、疾患部に該当する部位を幅（線）でしか表すことができないが、断面の位置を一定方向にずらしてスキャンした複数枚のＢスキャン画像を用いることで、部位を領域（面）として表現できる。Ｘ軸及びＹ軸で表される面をＸＹ平面とし、ＸＹ平面に直交する方向をＺ軸方向（奥行方向）とした場合、Ｘ軸方向にスキャンして１枚のＢスキャン画像を得る場合の一定方向はＹ軸方向と言える。

分類部５４は、部位検出部５３によりＢスキャン画像から検出された部位を構成する単位画像を確信度毎に分類する。単位画像は、１以上の画素の集合体であり、１画素でもよいし、ブロックでもよい。
分類部５４は、部位を構成する単位画像毎に、予め疾患種別毎に設定された、疾患部であることの確さを示す確信度を付与して部位を疾患種別毎に分類（クラス分け）する。

このように検出された疾患部の部位の範囲の単位画像に疾患種別毎の確信度を付与することで、Ｂスキャン画像中に含まれる疾患部（疾患種別も含む）の位置をある程度特定することができる。

確信度は、Ｂスキャン画像中における疾患種別毎の部位の形状や幅、高さ等に応じた値が予め設定されている。確信度は、例えば１００から０の範囲で設定される。また、確信度は、例えば疾患部の中心（幅の中心で高さが高い）に近い位置には高く設定され、中心から離れるほど低い値に設定される。
なお、上記確信度の設定例は、説明を解りやすくするための一例であり、部位周辺が高く、中心が低い疾患の例もあり、それ以外もあり、疾患の種別毎に異なる。

反映部５５は、分類部５４により確信度毎に分類された部位又は部位の位置を示すオブジェクトを、所定の表示形態（図７乃至図１３参照）で表示されるように平面画像に重畳させた反映画像を生成する。

また、反映部５５は、部位又は部位の位置を示すオブジェクトを、確信度に応じて表示形態を変化させるように平面画像に重畳させて反映画像を生成し出力部１６に出力する。これにより、出力部１６では、例えばディスプレイ等であれば入力された反映画像が描画され、表示される。

次に、図４を参照して、画像処理装置４により実行される画像処理について説明する。図４は、図３の機能的構成を有する画像処理装置４により実行される画像処理の流れの一例を説明するフローチャートである。
この情報処理システムの場合、画像処理装置４は、診断者が患者Ｕのスキャン画像から疾患部の部位を特定するのを支援するための画像処理を以下のように実行する。

ステップＳ１１において、Ｂスキャン画像取得部５１は、ＯＣＴ１より眼底部をスキャンして得られたＢスキャン画像を取得する。この際に、あるスキャン位置からＹ軸方向に一定間隔でずらしてスキャンした複数のＢスキャン画像が取得される。

ステップＳ１２において、平面画像取得部５２は、ＯＣＴ１より眼底部をスキャンして得られた平面画像を取得する。

ステップＳ１３において、部位検出部５３は、モデルＤＢ３に格納されている学習モデルである眼底疾患モデル３１を基に、Ｂスキャン画像取得部５１により取得されたＢスキャン画像における疾患部に該当する部位を、疾患種別毎の確信度を付与して検出する。

ステップＳ１４において、分類部５４は、部位検出部５３によりＢスキャン画像から検出された部位を構成する単位画像を確信度毎に分類する。

ステップＳ１５において、反映部５５は、分類部５４により確信度毎に分類された部位又は部位の位置を示すオブジェクトを、所定の表示形態で表示されるように平面画像に重畳させた反映画像を生成し、出力部１６に出力する。これにより、画像処理装置４の出力部１６、例えばディスプレイ等の画面に反映画像が描画される。

画像処理装置４の画面に表示された反映画像を、診断者が目視することで、疾患部の部位が一目でわかる。

ここで、図５、図６を参照して反映部５５がオブジェクトを平面画像に重畳させる動作を説明する。図５は、Ｂスキャン画像から検出された疾患部のＸ軸方向の画素の位置を平面画像に反映させる様子を示す図、図６は、Ｂスキャン画像（ＸＺ平面）をＹ軸方向にずらして撮像した複数枚のＢスキャン画像の疾患部の位置を平面画像に反映させる様子を示す図である。なお、Ｘ軸とは平面画像６０、６３、６６の横軸を言い、Ｙ軸とは平面画像６０、６３、６６の縦軸を言い、平面画像６０、６３、６６の面をＸＹ平面と言う。Ｚ軸とはＸＹ平面と直交する方向を言い、Ｂスキャン画像６２ａ乃至６２ｇの面をＸＺ平面と言い、Ｚ軸は、眼底部の奥行方向を指す。
この場合、図５に示すように、Ｂスキャン画像６１ａ（ＸＺ断面の画像）の中で疾患部に該当する部位６２ａをその幅（Ｘ軸方向の距離）で、平面画像６０のＸＹ平面に投影し、投影した位置に部位６２ａの幅の範囲でオブジェクトとしての線６４を重畳し、反映画像６３を生成する。

そして、図６に示すように、Ｂスキャン画像６１ａのスキャン位置からＹ軸方向に一定間隔ずつずらしてスキャンした複数のＢスキャン画像６１ａ乃至６１ｇ夫々の部位６２ａ乃至６２ｇについて平面画像６０に対する上記投影処理を行うことで、オブジェクトとしての領域６５を生成する。これにより、領域６５を平面画像６０に反映した反映画像６６を生成することができる。

以下、図７乃至図１３を参照して上記の例の他の反映画像の生成例を説明する。
（等高線の例）
この例では、図７に示すように、反映部５５は、同等の信頼度を持つ単位画素どうしを結ぶ等高線７２乃至７６を平面画像６０に重畳することで、反映画像７１を生成する。各単位画素どうしの結び方としては、例えば確信度をいくつかに区分した区分毎に単位画素の信頼度を割り振り、その区分を示す線で緩やかに接続する等が考えられる。
確信度の区分とは、確信度全体が「１−１００」までとすると、例えば確信度「１−２０」を第１区分、確信度「２１−４０」を第２区分…、…確信度「８１−１００」を第５区分とする分け方がある。この場合、例えば確信度が「８５」の単位画素は、第５区分に分類され、第５区分の等高線の中に入るものとなる。なお、この区分し方は、一例であり、これ以外の分け方であってもよい。

詳細に説明すると、反映部５５は、疾患種別毎の確信度に応じた等高線７２乃至７６を平面画像６０に重畳して反映画像７１を生成する。等高線７２、７３は、第１の疾患種別の部位を示す。等高線７２は、第１の確信度、等高線７３は第２の確信度を示す。

等高線７４、７５、７６は、第２の疾患種別の部位を示す。等高線７４は、第３の確信度、等高線７５は、第４の確信度を示す。等高線７６は、第５の確信度を示す。各確信度は数値が異なる。等高線７２乃至７６毎にその範囲を色分けしてもよい。

この等高線の描画例では、疾患部の部位が確信度別の等高線７２乃至７６で表示されるので、診断者は、眼底部における疾患部の広がり方や範囲が一目でわかる。

（数値入りの等高線の例）
この例では、図８に示すように、反映部５５は、確信度をいくつかに区分した区分毎に単位画素どうしを接続した等高線７２乃至７６と、各等高線７２乃至７６に対応する確信度の数値を平面画像６０に重畳することで、反映画像８１を生成する。

詳細に説明すると、反映部５５は、疾患種別毎の確信度に応じた等高線８２乃至８７と、夫々の等高線８２乃至８７の確信度を示す数値が夫々の等高線８２乃至８７に対応するように平面画像６０に重畳させて反映画像８１を生成する。等高線８２、８３、８４は、第１の疾患種別の部位を示す。等高線８２は第１の確信度「９０」、等高線８３は第２の確信度「６０」、等高線８４は第３の確信度「３０」を示す。

この数値入りの等高線の描画例では、疾患部の部位が確信度別の等高線８２乃至８７で表示されるとともに、各等高線８２乃至８７には夫々に確信度の数値が付与されて表示されるので、診断者は、疾患部の広がり方や範囲と共に、等高線８２乃至８７で示される疾患部の確からしさの違いが一目でわかる。

（輪郭線の例）
この例では、図９に示すように、反映部５５は、確信度をいくつかに区分したうちの所定の区分の確信度をもつ単位画素どうしを結んだ輪郭線９２、９３を平面画像６０に重畳することで、反映画像９１を生成する。なお、所定の区分は、一例として、最小の区分とする。

このように、疾患部の部位を外枠だけで囲むことで、疾患部の広がり具合を広い範囲で示すことができるので、診断者は、その範囲で画像を確認し診断することができる。最小の区分は、例えば上記図７の等高線の例で言えば、確信度１−２０の第１区分がこれに相当する。
この輪郭線の例では、疾患部の部位が輪郭線９２、９３で表示されるので、診断者は、疾患部のおおよその範囲が一目でわかる。

（マスク画像の例）
この例では、図１０に示すように、反映部５５は、確信度をいくつかに区分したうちの所定の区分範囲以外の単位画素をマスクするマスク画像１０２を平面画像６０に重畳することで、反映画像１０１を生成する。

このマスク画像の例では、確信度が例えば「５０」を超える区分の単位画素の領域を空けたマスク画像１０２によりそれ以外の部分（疾患部としての信頼度が「５０」以下の部分）をマスクすることで、疾患部としての確信度が高い部位を際立たせることができ、診断者の注意をその部位に集中させることができる。

（ピンポイント表示の例）
この例では、図１１に示すように、反映部５５は、確信度が所定の値を超える単位画素に対応する平面画像６０の位置に例えばマーク１１２、１１３等のオブジェクトを重畳することで、反映画像１１１を生成する。ここで、所定の値には、例えば９０等を設定する。これにより、確信度が９０を超える高確信度の平面画像６０の位置にマーク１１２、１１３が表示される。

このピンポイント表示の例では、疾患部である確信度が所定の値を超える平面画像６０の位置にマーク１１２、１１３が表示されるので、診断者は、そのマーク１１２、１１３の位置を中心として疾患の部分を診断することができる。

（グラフ表示の第１例）
この例では、図１２に示すように、反映部５５は、確信度が付与された単位画素の分布を示すグラフ１２２、１２５を平面画像６０に並べて反映画像１２１を生成する。
反映部５５は、反映画像１２１の中で単位画素の分布の幅を示す線を平面画像６０に重畳することで、グラフ１２２、１２５と平面画像６０の位置を対応させている。

グラフ１２２は、平面画像６０（ＸＹ平面）上におけるＸ軸方向の疾患種別毎の確信度分布を示している。この例では、グラフ１２２に、第１疾患の分布１２３と、第２疾患の分布１２４が形成されている。

また、グラフ１２５は、平面画像６０（ＸＹ平面）上におけるＹ軸方向の疾患種別毎の確信度分布を示している。この例では、グラフ１２５に、第１疾患の分布１２６と、第２疾患の分布１２７が形成されている。

このグラフ表示の第１例では、疾患部として検知された部位を、平面画像６０とは別の領域にグラフ１２２、１２５で表示するので、診断者は、Ｘ軸方向及びＹ軸方向の２つの方向から確信度の分布（高さ）を確認し、平面画像６０に照合して疾患部を診断することできる。なお、この例では、グラフ１２２、１２５を表示させたが、数字や文字等を平面画像６０とは別の領域に表示させるようにしてもよい。

（グラフ表示の第２例）
この例では、図１３に示すように、反映部５５は、閾値の範囲が可変可能であり、範囲内に確信度が含まれる単位画素の分布を示すグラフ１３４、１３７を平面画像６０に並べて配置する。この例では、グラフ１３４に、第１疾患の分布１３５と、第２疾患の分布１３６が形成されている。また、グラフ１３７に、第１疾患の分布１３８と、第２疾患の分布１３９が形成されている。また、反映部５５は、上記分布の範囲を示す領域１３２、１３３等のオブジェクトを平面画像６０に重畳することで反映画像１３１を生成する。なお、グラフ１３４、１３７と疾患部の部位を示す領域１３２、１３３のうちいずれか一方を表示するだけでもよく、両方を表示してもよい。

グラフ１３７には、閾値の範囲を可変可能とするためのスライドオブジェクト１４０、１４１が設けられている。スライドオブジェクト１４０は、この例では、全信頼度の範囲０−１００の中で、下限の閾値（例えば２０等）を決定するためのものでありユーザの操作により可変可能である。スライドオブジェクト１４１は、全信頼度の範囲０−１００の中で、上限の閾値（例えば８０等）を決定するためのものでありユーザの操作により可変可能である。

このグラフ表示の第２例では、スライドオブジェクト１４０、１４１をスライドさせて表示対象の確信度の範囲を調整することで、特定の確信度の部分のみが表示されるので、例えば確信度が低い部分のみを表示させることで、診断者が判断に迷った部分がどこなのかを確認することができる。

以上、説明したように本実施形態によれば、分類部５４により確信度毎に分類された疾患部の部位の位置を示すオブジェクトを、所定の表示形態で表示されるように平面画像６０に重畳させた反映画像（図７乃至図１３の画像７１、８１、９１、１０１、１１２、１２１、１３１等）を生成するので、重点的に診察しなければならない部分が明確になり、医師等の診断者の負担を低減することができる。

なお、上記実施形態では、光軸方向（奥行方向）の画像であるＢスキャン画像をＯＣＴ１で撮像したが、ＯＣＴ１の他に、例えばＸ線ＣＴ装置やＭＲＩ装置等を用いても撮影でき、撮像装置として、これらいずれかの装置を用いてもよい。また、上記実施形態では、光軸に対して垂直なＥｎｆａｃｅ平面の画像を平面画像と呼んだが、Ｅｎｆａｃｅ画像と呼んでもよい。
上記実施形態では、診断の対象として眼底部を一例にして説明したが、これ以外に、例えば口内や食道、胃、腸の内壁等のさまざまな疾患部を診断の対象としてもよい。

以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば図３等の画像処理装置４）は、
対象を奥行方向に撮像した第１画像（Ｂスキャン画像）を取得する第１画像取得手段（例えば図３等のＢスキャン画像取得部５１）と、
前記対象を平面的に撮像した第２画像（平面画像）を取得する第２画像取得手段（例えば図３等の平面画像取得部５２）と、
画像が入力されると、前記画像に含まれる疾患部の部位に確信度を付与して出力するように学習されて生成された学習モデル（例えば図３等のモデルＤＢの眼底疾患モデル３１）を基に、前記第１画像取得手段により取得された前記第１画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する部位検出手段（例えば図３等の部位検出部５３）と、
前記部位検出手段により前記第１画像から検出された前記部位を構成する単位画像を確信度毎に分類する分類手段（例えば図３等の分類部５４）と、
前記分類手段により確信度毎に分類された前記疾患部の部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように前記第２画像に重畳させた反映画像を生成する反映手段（例えば図３等の反映部５５）と、
を備える。
これにより、対象からスキャンした第２画像（眼底部の平面画像）に、疾患種別毎に信頼度で分類された疾患部の部位又は部位の位置を示すオブジェクトが重畳された反映画像がディスプレイに表示されるので、診断者は、ディスプレイに表示された眼底部の平面画像から疾患部の部位又は部位の位置を示すオブジェクトを注視することで、疾患部の部位を容易に特定できるようなる。
前記反映手段（例えば図３等の反映部５５）は、
前記疾患部の部位又は前記部位を示すオブジェクトを、前記確信度に応じて表示形態を変化させるように前記第２画像に重畳する、
ことにより、平面画像の中における疾患部の部位をより判断しやすくなる。
前記反映手段（例えば図３等の反映部５５）は、
同等の信頼度を持つ単位画素どうしを結ぶ等高線（例えば図７の等高線７２、７３、７４、７５、７６）、又は前記等高線（例えば図８の等高線８２、８３、８４、８５、８６、８７）と前記等高線に対応する前記確信度の数値「３０」、「６０」、「９０」を前記第２画像（例えば図７、図８の平面画像６０）に重畳する、
ことにより、平面画像の中における疾患部の広さや範囲をより特定しやすくなる。
前記反映手段（例えば図３等の反映部５５）は、
前記確信度をいくつかに区分したうちの所定の区分の前記確信度をもつ単位画素を結ぶ輪郭線（例えば図９の輪郭線９２、９３）を前記第２画像（例えば図９の平面画像６０）に重畳する、
ことにより、平面画像の中における疾患部のおおよその範囲が一目でわかる。
前記反映手段（例えば図３等の反映部５５）は、
前記確信度をいくつかに区分したうちの所定の区分範囲以外の単位画素をマスクするマスク画像１０２を前記第２画像（例えば図１０の平面画像６０）に重畳する、
ことにより、画像の中で確信度が高い疾患部を際立たせることができ、診断者の注意をその部位に集中させて、疾患を判断しやすくなる。
前記反映手段（例えば図３等の反映部５５）は、
前記確信度が所定の値を超える単位画素に対応する前記第２画像（例えば図１１の平面画像６０）の位置に前記オブジェクト（例えば図１１のマーク１１２、１１３）を重畳する、
ことにより、疾患部である確信度が所定の値を超える平面画像の位置にマーク等のオブジェクトが表示されるので、診断者は、そのマークの位置を中心として疾患の部分を診断することができる。
前記反映手段（例えば図３等の反映部５５）は、
前記確信度が付与された単位画素の分布を示すグラフを前記第２画像（例えば図１２の平面画像６０）に並べて配置する、
ことにより、疾患部として検知された部位を、第２画像（例えば図１２の平面画像６０）とは別の領域にグラフ（例えば図１２のグラフ１２２、１２５）で並べて配置するので、診断者は、グラフから確信度の分布（高さ）を確認し、第２画像に照合して疾患部を診断することできる。
前記反映手段（例えば図３等の反映部５５）は、
閾値の範囲が可変可能であり、前記範囲内に前記確信度が含まれる単位画素の分布を示すグラフ（例えば図１３の平面画像６０）を前記第２画像（例えば図１３の平面画像６０）に並べて配置、及び／又は分布の範囲を示すオブジェクト（例えば図１３の領域１３２、１３３）を前記第２画像（例えば図１３の平面画像６０）に重畳する、
ことにより、閾値の範囲を可変して表示対象の確信度の範囲を調整することで、特定の確信度の部分のみが表示されるので、例えば確信度が低い部分のみを表示させることで、診断者が判断に迷って部分がどこなのかを確認することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。また、機能ブロックの存在場所も、図３に特に限定されず、任意でよい。例えば、学習装置２の機能ブロックを画像処理装置４等に移譲させてもよい。また、画像処理装置４の機能ブロックを学習装置２等に移譲させてもよい。更に言えば、画像処理装置４と学習装置２は、同じハードウェアであってもよい。

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

また、例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

１・・・ＯＣＴ、２・・・学習装置、３・・・モデルＤＢ、４・・・画像処理装置、２１・・・ＣＰＵ、４１、５１・・・Ｂスキャン画像取得部、５２・・・平面画像取得部、４２、５３・・・部位検出部、４３、５４・・・分類部、４４・・・モデル生成部、５５・・・反映部、６０・・・平面画像、６１ａ乃至６１ｇ・・・Ｂスキャン画像

Claims (10)

1. 対象を奥行方向に撮像した第１画像を取得する第１画像取得手段と、
   前記対象を撮像した平面状の第２画像を取得する第２画像取得手段と、
   画像が入力されると、前記画像に含まれる疾患部の部位に確信度を付与して出力するように学習して生成された学習モデルを基に、前記第１画像取得手段により取得された前記第１画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する部位検出手段と、
   前記部位検出手段により前記第１画像から検出された前記部位を構成する単位画像を確信度毎に分類する分類手段と、
   前記分類手段により確信度毎に分類された前記疾患部の部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように前記第２画像に重畳させた反映画像を生成する反映手段と、
   を備える情報処理装置。
2. 前記反映手段は、
   前記疾患部の部位又は前記部位を示すオブジェクトを、前記確信度に応じて表示形態を変化させるように前記第２画像に重畳する、
   請求項１記載の情報処理装置。
3. 前記反映手段は、
   同等の信頼度を持つ単位画素どうしを結ぶ等高線、又は前記等高線と前記等高線に対応する前記確信度の数値を前記第２画像に重畳する、
   請求項１又は２に記載の情報処理装置。
4. 前記反映手段は、
   前記確信度をいくつかに区分したうちの所定の区分の前記確信度をもつ前記単位画素どうしを結ぶ輪郭線を前記第２画像に重畳する、
   請求項１又は２記載の情報処理装置。
5. 前記反映手段は、
   前記確信度をいくつかに区分したうちの所定の区分範囲以外をマスクするマスク画像を前記第２画像に重畳する、
   請求項１又は２記載の情報処理装置。
6. 前記反映手段は、
   前記確信度が所定の値を超える単位画素に対応する前記第２画像の位置に前記オブジェクトを重畳する、
   請求項１又は２記載の情報処理装置。
7. 前記反映手段は、
   前記確信度が付与された単位画素の分布を示すグラフを前記第２画像に並べて配置する、
   請求項１又は２記載の情報処理装置。
8. 前記反映手段は、
   閾値の範囲が可変可能であり、前記範囲内に前記確信度が含まれる単位画素の分布を示すグラフを前記第２画像に並べて配置、及び／又は前記分布の範囲を示すオブジェクトを前記第２画像に重畳する、
   請求項１又は２記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   対象を奥行方向に撮像した第１画像を取得するステップと、
   前記対象を撮像した平面状の第２画像を取得するステップと、
   画像が入力されると、前記画像に含まれる疾患部の部位に確信度を付与して出力するように学習して生成された学習モデルを基に、前記第１画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出するステップと、
   前記第１画像から検出された前記部位を構成する単位画像を確信度毎に分類するステップと、
   前記確信度毎に分類された前記疾患部の部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように前記第２画像に重畳させた反映画像を生成するステップと、
   を含む情報処理方法。
10. コンピュータに処理を実行させるプログラムであって、
    前記コンピュータを、
    対象を奥行方向に撮像した第１画像を取得する第１画像取得手段と、
    前記対象を撮像した平面状の第２画像を取得する第２画像取得手段と、
    画像が入力されると、前記画像に含まれる疾患部の部位に確信度を付与して出力するように学習して生成された学習モデルを基に、前記第１画像取得手段により取得された前記第１画像における疾患部に該当する部位を、疾患種別毎に確信度を付与して検出する部位検出手段と、
    前記部位検出手段により前記第１画像から検出された前記部位を構成する単位画像を確信度毎に分類する分類手段と、
    前記分類手段により確信度毎に分類された前記疾患部の部位又は前記部位の位置を示すオブジェクトを、所定の表示形態で表示されるように前記第２画像に重畳させた反映画像を生成する反映手段
    として機能させるプログラム。

Images