JP2022117177A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】関心領域の抽出に不適合な画像でも診断に活用させることができる情報処理装置、情報処理方法及び情報処理プログラムを得る。【解決手段】情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、被検体を撮影して得られる第１画像を取得し、第１画像から第１関心領域を抽出し、抽出した第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の画像取得装置により取得された医用画像に基づき、医師が診断を行うことが一般的に行われている。また、医用画像に含まれる異常陰影及び組織等の構造物の検出及び診断をコンピュータが支援する技術（所謂ＣＡＤ（Computer Aided Detection/Diagnosis））も知られている。例えば、特許文献１には、機械学習により学習がなされた判別器を用いて医用画像を解析し、医用画像に含まれる組織又は病変の種類、すなわち所見の種類を特定することが記載されている。

また例えば、非特許文献１には、異常陰影の不検出及び誤診を避けるため、医用画像の少なくとも一部が不鮮明である場合にはＣＡＤを行わないことが記載されている。不鮮明な医用画像は、例えば、適切な環境で撮影されなかった場合、及び撮影者の撮影技術が低い場合等に取得されうるものである。

特開２０２０－０３２０４３号公報

"A Human-Centered Evaluation of a Deep Learning System Deployed in Clinics for the Detection of Diabetic Retinopathy", Emma Beede et al., in CHI 2020 Paper 589

ところで、例えば新興国の医療機関等においては、医用画像の撮影に適切な環境を作ることができなかったり、撮影者の撮影技術が低かったりすることにより、鮮明な医用画像の取得が困難な場合があった。そこで近年、不鮮明な、すなわち異常陰影及び組織等の構造物を含みうる関心領域の抽出に不適合な画像でも、診断に活用させることができる技術が望まれている。

本開示は、関心領域の抽出に不適合な画像でも診断に活用させることができる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

本開示の一態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、被検体を撮影して得られる第１画像を取得し、第１画像から第１関心領域を抽出し、抽出した第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う。

上記態様において、プロセッサは、抽出した第１関心領域の形状と、第１関心領域に関して予め定められた基準形状と、の類似度合に応じて、判定を行ってもよい。

上記態様において、プロセッサは、被検体を撮影して得られる画像を入力とし、当該画像から抽出される関心領域に不適合領域が存在しているか否かを判定するための学習済みモデルを用いて、判定を行ってもよい。

上記態様において、学習済みモデルは、被検体を撮影して得られる画像と、当該画像から抽出される関心領域に不適合領域が存在しているか否かを示す情報と、のペアを学習用データとして学習された学習モデルであってもよい。

上記態様において、プロセッサは、第１関心領域に不適合領域が存在していると判定した場合に、第１画像における不適合領域を特定して提示してもよい。

上記態様において、プロセッサは、第１関心領域に不適合領域が存在していると判定した場合に、第１関心領域に対する不適合領域の割合を提示してもよい。

上記態様において、プロセッサは、第１関心領域に不適合領域が存在していると判定した場合に、第１関心領域を、抽出の精度を低下させて再抽出してもよい。

上記態様において、プロセッサは、第１関心領域に含まれる構造物を検出し、第１関心領域に不適合領域が存在していると判定した場合に、不適合領域に含まれる構造物を、検出の精度を低下させて検出してもよい。

上記態様において、プロセッサは、第１関心領域に不適合領域が存在していると判定した場合に、不適合領域の少なくとも一部に対応する領域を含む第２画像を要求してもよい。

上記態様において、プロセッサは、第２画像を取得し、第１画像と、第２画像と、を合成することで第３画像を生成してもよい。

上記態様において、プロセッサは、第１画像及び第２画像の何れか一方の画像における不適合領域を、他方の画像における対応する領域が補完するように、一方の画像に他方の画像の一部を合成することで第３画像を生成してもよい。

上記態様において、プロセッサは、第１画像内及び第２画像内の複数の区画ごとに、画質がより良好な一方の画像を選択して合成することで第３画像を生成してもよい。

上記態様において、プロセッサは、第３画像から第３関心領域を抽出し、抽出した第３関心領域について、不適合領域が存在しているか否かを判定し、第３関心領域に不適合領域が存在していないと判定されるまで、当該不適合領域の少なくとも一部に対応する領域を含む新規画像の取得と、当該新規画像と第３画像との再合成と、を繰り返し行ってもよい。

上記態様において、プロセッサは、第３画像から第３関心領域を抽出し、第３関心領域に含まれる構造物を検出してもよい。

上記態様において、プロセッサは、第２画像を取得し、第２画像から第２関心領域を抽出し、第１関心領域と、第２関心領域と、のそれぞれに含まれる構造物を検出し、第１関心領域及び第２関心領域のそれぞれから検出された構造物の検出結果を合成してもよい。

上記態様において、プロセッサは、抽出した第１関心領域及び第２関心領域について、共通して抽出に不適合な共通不適合領域が存在しているか否かを判定し、共通不適合領域が存在していないと判定されるまで、当該共通不適合領域の少なくとも一部に対応する領域を含む新規画像の取得と、当該新規画像からの関心領域の抽出と、当該関心領域に含まれる構造物の検出と、当該構造物の検出結果の再合成と、を繰り返し行ってもよい。

上記態様において、第１関心領域は、被検体、被検体に含まれる一部の組織、及び、被検体又は組織に含まれる異常部の少なくとも１つを含む領域であってもよい。

上記態様において、第１画像は、放射線画像撮影装置、磁気共鳴画像装置、超音波装置、眼底撮影装置及び内視鏡のうち少なくとも１つにより得られる画像であってもよい。

本開示の別の一態様は、情報処理方法であって、被検体を撮影して得られる第１画像を取得し、第１画像から第１関心領域を抽出し、抽出した第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う処理をコンピュータが実行するものである。

本開示の別の一態様は、情報処理プログラムであって、被検体を撮影して得られる第１画像を取得し、第１画像から第１関心領域を抽出し、抽出した第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う処理をコンピュータに実行させるためのものである。

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、関心領域の抽出に不適合な画像でも診断に活用させることができる。

情報処理システムの概略構成図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 鮮明な医用画像の一例である。 不鮮明な第１画像の一例である。 提示される画面の一例である。 判定処理の一例を示すフローチャートである。 第２及び第３実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 提示される画面の一例である。 不鮮明な第２画像の一例である。 合成された第３画像の一例である。 提示される画面の一例である。 画像合成処理の一例を示すフローチャートである。 提示される画面の一例である。 検出結果合成処理の一例を示すフローチャートである。 学習モデルに入力される疑似画像の一例を示す図である。 学習処理の一例を示すフローチャートである。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

［第１実施形態］
図１を参照して、本実施形態に係る情報処理システム１の構成の一例について説明する。図１に示すように、情報処理システム１は、情報処理装置１０と、画像取得装置２と、を含む。情報処理装置１０と画像取得装置２は、有線又は無線通信により互いに通信可能とされている。

画像取得装置２は、被検体を撮影して得られる画像を取得する装置（所謂モダリティ）である。本実施形態においては、具体的な画像の一例として医用画像を画像取得装置２が取得するものとして説明する。画像取得装置２としては、放射線画像撮影装置、磁気共鳴画像装置、超音波装置、眼底撮影装置及び内視鏡のうち少なくとも１つを適用でき、これらを適宜組み合わせて適用してもよい。

ところで、例えば眼底を鮮明に撮影するためには、暗所において撮影を行うべきであるが、新興国の医療機関等においては、十分な暗所を作り出すことができず、不鮮明な医用画像が撮影されてしまう場合がある。また例えば、マンモグラフィ撮影において乳房を鮮明に撮影するためには、乳房を十分に圧迫して撮影を行うべきであるが、撮影者のポジショニング技術及び乳房の形状によっては乳房を十分に圧迫できず、不鮮明な医用画像が撮影されてしまう場合がある。近年、このような不鮮明な画像でも、診断に活用させることができる技術が望まれている。

そこで、本実施形態に係る情報処理装置１０は、医用画像に不鮮明な領域が含まれるか否かを判定する機能を有する。なお、「不鮮明」とは、医用画像の各画素が示す色相、彩度、輝度及び明度等の画素値が、予め定められた基準値を満たさない場合を意味する。例えば、光量不足により基準値よりも画素が暗くなったり、外乱光により基準値よりも画素が明るくなったり、という場合に不鮮明な領域が発生しうる。以下、本実施形態に係る情報処理装置１０の構成の一例について説明する。

まず、図２を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、情報処理装置１０は、液晶ディスプレイ等のディスプレイ２４、キーボード及びマウス等の入力部２５、並びに画像取得装置２及び外部のネットワーク（不図示）との有線又は無線通信を行うネットワークＩ／Ｆ２６を含む。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、本実施形態に係る情報処理プログラム２７が記憶される。ＣＰＵ２１は、記憶部２２から情報処理プログラム２７を読み出してからメモリ２３に展開し、展開した情報処理プログラム２７を実行する。ＣＰＵ２１が、本開示のプロセッサの一例である。情報処理装置１０としては、例えば、画像取得装置２のコンソール、ワークステーション、サーバコンピュータ及びパーソナルコンピュータ等の各種コンピュータを適用できる。

次に、図３を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図３に示すように、情報処理装置１０は、取得部１１、抽出部１２、判定部１３、検出部１４及び提示部１５を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、取得部１１、抽出部１２、判定部１３、検出部１４及び提示部１５として機能する。

取得部１１は、画像取得装置２から、被検体を撮影して得られる医用画像を取得する。本実施形態における医用画像には、検出及び診断を所望する対象の構造物として、被検体、被検体に含まれる一部の組織、及び、被検体又は組織に含まれる異常部の少なくとも１つを含む関心領域が含まれる。被検体の例としては、人体、並びに眼底、肺、乳房、胃、肝臓、心臓及び脳等の、人体の各種器官が挙げられる。組織の例としては、血管、神経及び筋肉等の各種器官を構成する要素が挙げられる。異常部の例としては、腫瘍、損傷、欠損、結節及び炎症等の病変及び異常が挙げられる。

図４に、鮮明な医用画像の一例として医用画像Ｇ０を示す。医用画像Ｇ０は、眼底撮影装置により得られる鮮明な眼底の画像である。眼底の画像では、中心窩、黄斑部、視神経乳頭及び血管を含む撮影範囲全体に病変等の異常部が含まれうるので、撮影範囲全体が関心領域Ａ０に該当する。図４の例では、異常部の一例として、異常陰影Ｓ１及びＳ２が関心領域Ａ０に含まれている。

一方、図５に、不鮮明な医用画像の一例として第１画像Ｇ１を示す。第１画像Ｇ１は、医用画像Ｇ０と同様の眼底の画像であるが、撮影範囲の一部が不鮮明となっており、本来の第１関心領域Ａ１（すなわち撮影範囲全体）の抽出に不適合な不適合領域Ｎ１が存在している。不適合領域Ｎ１には本来異常陰影Ｓ１が含まれているが、不鮮明なためその検出が困難になっている。以下、取得部１１が、第１画像Ｇ１を取得したものとして説明する。

抽出部１２は、取得部１１が取得した第１画像Ｇ１から第１関心領域Ａ１を抽出する。なお、第１関心領域Ａ１の抽出方法としては、公知の画像処理を用いた方法、及びＡＩ（Artificial Intelligence）技術を用いた方法等を適宜適用できる。例えば、第１画像Ｇ１に２値化加工を施し、背景の除去及び各構造物のエッジ強調を行い、撮影範囲の輪郭を特定することで、第１関心領域Ａ１を抽出してもよい。また例えば、眼底の画像を入力とし、撮影範囲を抽出して出力するよう学習された学習済みモデルを用いて、第１画像Ｇ１から撮影範囲（すなわち第１関心領域Ａ１）を抽出してもよい。

検出部１４は、抽出部１２が抽出した第１関心領域Ａ１に含まれる異常陰影を検出する。図５の第１画像Ｇ１の例では、検出部１４によって異常陰影Ｓ２は検出されるが、異常陰影Ｓ１は不鮮明な不適合領域Ｎ１に含まれるため検出されない。なお、異常陰影の検出手法としては、公知のＣＡＤ技術を適宜適用できる。

判定部１３は、抽出部１２が抽出した第１関心領域Ａ１について、抽出に不適合な不適合領域Ｎ１が存在しているか否かの判定を行う。判定方法としては種々の方法を適用できる。例えば、判定部１３は、抽出部１２が抽出した第１関心領域Ａ１の形状と、第１関心領域Ａ１に関して予め定められた基準形状と、の類似度合に応じて、判定を行ってもよい。眼底の画像の場合は、関心領域は撮影範囲全体であるので、基準形状を略円形と予め定めることができる。そこで、抽出部１２が抽出した第１関心領域Ａ１の輪郭の形状と、略円形の基準形状と、の類似度合が予め定められた閾値以下である（すなわち乖離が大きい）場合に、不適合領域Ｎ１が存在していると判定してもよい。なお、類似度合に応じた判定方法としては、特徴量によるマッチング及びテンプレートマッチング等の、公知のマッチング技術を適宜適用できる。

また例えば、判定にＡＩ技術を適用し、医用画像を入力とし、当該医用画像から抽出される関心領域に不適合領域が存在しているか否かを判定するための学習済みモデルを用いて、判定を行ってもよい。この場合の学習済みモデルは、教師なし学習がなされたモデルであってもよく、例えば、不適合領域の存否に応じて医用画像をクラスタリングするよう学習されたモデルであってもよい。また、教師あり学習がなされたモデルであってもよく、例えば、医用画像と、当該医用画像から抽出される関心領域に不適合領域が存在しているか否かを示す情報と、のペアを学習用データとして学習されたモデルであってもよい。

図６に、提示部１５によりディスプレイ２４に提示される画面Ｄ１の一例を示す。図６に示すように、提示部１５は、検出部１４により検出された異常陰影Ｓ２を、第１画像Ｇ１上にアノテーションＭを付すことで提示する。

また、提示部１５は、判定部１３が第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、第１画像Ｇ１における不適合領域Ｎ１を特定して提示する。図６の例では、提示部１５は、第１画像Ｇ１における不適合領域Ｎ１を太線で囲って提示している。なお、不適合領域Ｎ１の提示の仕方はこれに限らず、例えば他の領域と線種（例えば線の太さ、色、実線及び点線等）を変えたり、アノテーションを付したりすることにより、不適合領域Ｎ１を判別可能なように強調すればよい。反対に、第１関心領域Ａ１における不適合領域Ｎ１以外の領域を強調することで、不適合領域Ｎ１を判別可能としてもよい。

また、提示部１５は、判定部１３が第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、第１関心領域Ａ１に対する不適合領域Ｎ１の割合を提示してもよい。図６の例では、不適合領域Ｎ１を、検出部１４による異常陰影の検出処理ができない「実施不可」の領域として記載している。また、第１関心領域Ａ１における不適合領域Ｎ１以外の領域を、検出部１４による異常陰影の検出が完了した「実施済み」の領域として記載している。

次に、図７を参照して、本実施形態に係る情報処理装置１０の作用を説明する。ＣＰＵ２１が情報処理プログラム２７を実行することによって、図７に示す判定処理が実行される。図７に示す判定処理は、例えば、入力部２５を介してユーザから処理の開始の指示があった場合に実行される。

ステップＳ１０で、取得部１１は、画像取得装置２から第１画像Ｇ１を取得する。ステップＳ１１で、抽出部１２は、ステップＳ１０で取得された第１画像Ｇ１から第１関心領域Ａ１を抽出する。ステップＳ１２で、検出部１４は、ステップＳ１１で抽出された第１関心領域Ａ１に含まれる異常陰影を検出する。ステップＳ１３で、判定部１３は、ステップＳ１１で抽出された第１関心領域Ａ１について、抽出に不適合な不適合領域Ｎ１が存在しているか否かの判定を行う。

不適合領域Ｎ１が存在する場合（すなわちステップＳ１３が肯定判定の場合）、ステップＳ１４に移行し、提示部１５は、第１画像Ｇ１における不適合領域Ｎ１を特定し、ステップＳ１２で検出された異常陰影とともに提示する。一方、不適合領域Ｎ１が存在しない場合（すなわちステップＳ１３が否定判定の場合）、ステップＳ１５に移行し、提示部１５は、ステップＳ１２で検出された異常陰影のみを提示する。ステップＳ１４又はＳ１５が完了すると、本判定処理を終了する。なお、ステップＳ１４の後に、後述する第２実施形態に係る画像合成処理、及び／又は、第３実施形態に係る検出結果合成処理を行ってもよい。

以上説明したように、第１実施形態に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、被検体を撮影して得られる第１画像Ｇ１を取得し、第１画像Ｇ１から第１関心領域Ａ１を抽出し、抽出した第１関心領域Ａ１について、抽出に不適合な不適合領域Ｎ１が存在しているか否かの判定を行う。すなわち、情報処理装置１０は、異常陰影等の検出及び診断を所望する対象の構造物が含まれうる第１関心領域Ａ１における、不鮮明な領域の存否を判定する。したがって、不鮮明な第１画像Ｇ１でも、第１画像Ｇ１に不鮮明な領域が存在することを認識したうえでの診断に活用させることができる。

なお、上記第１実施形態において、検出部１４は、第１関心領域Ａ１のうちの不適合領域Ｎ１以外の領域に含まれる異常陰影のみを検出し、不適合領域Ｎ１については異常陰影の検出を行わないようにしてもよい。というのも、不鮮明な不適合領域Ｎ１については、異常陰影の不検出及び誤検出の可能性がそれ以外の領域と比較して高く、検出結果の信頼性が低いためである。

一方、上記第１実施形態において、判定部１３が第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、検出部１４は、不適合領域Ｎ１に含まれる異常陰影等の構造物を、検出の精度を低下させて検出するようにしてもよい。「検出の精度を低下させて検出する」とは、異常陰影の不検出及び誤検出の可能性を許容して、信頼性が低くても異常陰影の検出を行うということである。この場合、提示部１５は、不適合領域Ｎ１については異常陰影の検出の精度が低い旨を提示することが好ましい。また特に、第１関心領域Ａ１に対する不適合領域Ｎ１の割合が予め定められた閾値以上（例えば２０％以上）である場合に、このようにすることが好ましい。というのも、不適合領域Ｎ１の割合が高い場合に不適合領域Ｎ１において異常陰影の検出を行わないとすると、第１画像Ｇ１の多くの部分についてユーザが目視で異常陰影の確認を行わなければならず、ＣＡＤの利点が失われてしまうからである。このような形態によれば、不鮮明な領域に関しては検出の精度が低いことを認識したうえで、第１画像Ｇ１全体についての異常陰影の検出結果を診断に活用させることができる。

また、上記第１実施形態においては、検出部１４が異常陰影を検出する形態について説明したが、本実施形態に係る情報処理装置１０は検出部１４の機能（すなわちＣＡＤ機能）を備えていなくてもよく、異常陰影の確認はユーザが目視で行うようにしてもよい。このような形態によれば、第１画像Ｇ１に不鮮明な領域が存在することをユーザに認識させることで、ユーザによる異常陰影の見落としを抑制できるので、不鮮明な第１画像Ｇ１でもユーザによる診断に活用させることができる。

また、上記第１実施形態において、判定部１３が第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、抽出部１２は、第１関心領域Ａ１を、抽出の精度を低下させて再抽出するようにしてもよい。「抽出の精度を低下させて再抽出する」とは、第１関心領域Ａ１としてそれ以外の領域（例えば図５の背景部分等）が抽出されうることを許容し、不適合領域Ｎ１が少なくなるよう、第１関心領域Ａ１を抽出する場合の条件を変えるという意味である。この条件とは、例えば、画素の輝度値等によって定められる。

またこの場合、提示部１５は、第１関心領域Ａ１の抽出の精度が低い旨を提示することが好ましい。また特に、第１関心領域Ａ１に対する不適合領域Ｎ１の割合が予め定められた閾値以上（例えば２０％以上）である場合に、このようにすることが好ましい。というのも、第１画像Ｇ１の多くの部分が不適合領域Ｎ１として判定されてしまうと、不適合領域Ｎ１の補完（詳細は後述）が困難になるからである。このような形態によれば、第１関心領域Ａ１の抽出の精度が低いことをユーザに認識させることで、ユーザによる異常陰影の見落としを抑制できるので、不鮮明な第１画像Ｇ１でもユーザによる診断に活用させることができる。

［第２実施形態］
上記第１実施形態においては、第１画像Ｇ１における不適合領域Ｎ１の存否の判定を行った。本実施形態に係る情報処理装置１０は、第１画像Ｇ１に不適合領域Ｎ１が存在すると判定された場合に、第１画像Ｇ１とは別の医用画像を用いて、不適合領域Ｎ１を補完する機能を有する。以下、本実施形態に係る情報処理装置１０の構成の一例について説明するが、第１実施形態と同様の構成及び作用については重複する説明を省略する。

図８を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図８に示すように、本実施形態に係る情報処理装置１０は、第１実施形態と同様の取得部１１、抽出部１２、判定部１３、検出部１４及び提示部１５に加え、合成部１６を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、取得部１１、抽出部１２、判定部１３、検出部１４、提示部１５及び合成部１６として機能する。

図９に、提示部１５によりディスプレイ２４に提示される画面Ｄ２の一例を示す。図９に示すように、提示部１５は、判定部１３が第１画像Ｇ１の第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像Ｇ２を要求する。

取得部１１は、画像取得装置２から第２画像Ｇ２を取得する。図１０に、第２画像Ｇ２を示す。第２画像Ｇ２は、医用画像Ｇ０と同様の眼底の画像であり、第１画像Ｇ１の不適合領域Ｎ１に対応する領域Ｎ１２（破線で図示）は鮮明に写っている。一方、撮影範囲の一部は不鮮明となっており、本来の第２関心領域Ａ２（すなわち撮影範囲全体）の抽出に不適合な不適合領域Ｎ２も存在している。不適合領域Ｎ２には本来異常陰影Ｓ２が含まれているが、不鮮明なためその検出が困難になっている。

合成部１６は、取得部１１が取得した第１画像Ｇ１と、第２画像Ｇ２と、を合成することで、第３画像Ｇ３を生成する。具体的には、合成部１６は、第１画像Ｇ１及び第２画像Ｇ２の何れか一方の画像における不適合領域を、他方の画像における対応する領域が補完するように、一方の画像に他方の画像の一部を合成することで第３画像Ｇ３を生成する。図１１に示す第３画像Ｇ３では、第１画像Ｇ１における不適合領域Ｎ１を、第２画像Ｇ２における不適合領域Ｎ１に対応する領域Ｎ１２が補完するように、第１画像Ｇ１に第２画像Ｇ２の一部が合成されている。

抽出部１２は、第１画像Ｇ１から第１関心領域Ａ１を抽出したのと同様の手法で、合成部１６が合成した第３画像Ｇ３から第３関心領域Ａ３を抽出する。

判定部１３は、抽出部１２が抽出した第３関心領域Ａ３について、不適合領域が存在しているか否かを判定する。例えば、第１画像Ｇ１の不適合領域Ｎ１に対応する第２画像Ｇ２の領域Ｎ１２のうち一部が不鮮明である場合、第２画像Ｇ２だけでは第１画像Ｇ１を補完しきれない。そこで、ＣＰＵ２１は、判定部１３により第３関心領域Ａ３に不適合領域が存在していないと判定されるまで、不適合領域の少なくとも一部に対応する領域を含む新規画像の要求及び取得と、新規画像と第３画像Ｇ３との再合成と、を繰り返し行う。新規画像の要求、取得及び合成は、上述した第２画像Ｇ２の要求、取得及び合成と同様にして行われる。

検出部１４は、判定部１３により第３関心領域Ａ３に不適合領域が存在していないと判定されると、第１関心領域Ａ１に含まれる異常陰影を検出したのと同様の手法で、抽出部１２が抽出した第３関心領域Ａ３に含まれる異常陰影を検出する。図１１の第３画像Ｇ３の例では、検出部１４によって異常陰影Ｓ１及びＳ２をともに検出できる。

図１２に、提示部１５によりディスプレイ２４に提示される画面Ｄ３の一例を示す。図１２に示すように、提示部１５は、検出部１４により検出された異常陰影Ｓ１及びＳ２を、第３画像Ｇ３上にアノテーションＭを付すことで提示する。

次に、図１３を参照して、本実施形態に係る情報処理装置１０の作用を説明する。ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１３に示す画像合成処理が実行される。図１３に示す画像合成処理は、図７のフローチャートにおけるステップＳ１４の後に実行される。すなわち、第１実施形態の判定処理において、第１画像Ｇ１に不適合領域Ｎ１が存在していると判定された場合に実行される。

ステップＳ３１で、提示部１５は、ステップＳ１４で特定された不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像Ｇ２を要求する。ステップＳ３２で、取得部１１は、画像取得装置２から第２画像Ｇ２を取得する。ステップＳ３３で、合成部１６は、ステップＳ１０で取得された第１画像Ｇ１と、ステップＳ３２で取得された第２画像Ｇ２と、を合成して第３画像Ｇ３を生成する。

ステップＳ３４で、抽出部１２は、ステップＳ３３で合成した第３画像Ｇ３から第３関心領域Ａ３を抽出する。ステップＳ３５で、判定部１３は、ステップＳ３４で抽出された第３関心領域Ａ３について、抽出に不適合な不適合領域が存在しているか否かの判定を行う。

不適合領域が存在する場合（すなわちステップＳ３５が肯定判定の場合）、ステップＳ３６に移行し、提示部１５は、不適合領域の少なくとも一部に対応する領域を含む新規画像を要求する。ステップＳ３７で、取得部１１は、画像取得装置２から新規画像を取得する。ステップＳ３８で、合成部１６は、ステップＳ３７で取得した新規画像と、ステップＳ３３で合成した第３画像Ｇ３と、を再合成する。ステップＳ３８が完了するとステップＳ３４に戻る。すなわち、ステップＳ３５で第３関心領域Ａ３に不適合領域が存在していないと判定されるまで、ステップＳ３４～Ｓ３８の処理を繰り返す。

一方、不適合領域が存在しない場合（すなわちステップＳ３５が否定判定の場合）、ステップＳ３９に移行し、検出部１４は、ステップＳ３４で抽出された第３関心領域Ａ３に含まれる異常陰影を検出する。ステップＳ４０で、提示部１５は、ステップＳ３９で検出された異常陰影を提示し、本画像合成処理を終了する。

以上説明したように、第２実施形態に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、第１画像Ｇ１の第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像を要求し、第１画像Ｇ１と、第２画像Ｇ２と、を合成する。すなわち、情報処理装置１０は、第１画像Ｇ１に不適合領域Ｎ１が存在すると判定された場合に、第１画像Ｇ１とは別の第２画像Ｇ２を用いて、不適合領域Ｎ１を補完する。したがって、各々は不鮮明な第１画像Ｇ１及び第２画像Ｇ２でも、診断に活用させることができる。

なお、上記第２実施形態においては、合成部１６が、第１画像Ｇ１及び第２画像Ｇ２の何れか一方の画像における不適合領域を、他方の画像で補完する形態について説明したが、これに限らない。例えば、合成部１６は、第１画像Ｇ１内及び第２画像Ｇ２内の複数の区画ごとに、画質がより良好な一方の画像を選択して合成することで第３画像Ｇ３を生成してもよい。「区画」とは、例えば画素、及び複数の画素で構成されるブロックを意味する。画質の良否は、例えば各画素が示す色相、彩度、輝度及び明度等の画素値に基づいて評価できる。さらに、これらの形態を組み合わせて、合成部１６が、不適合領域については他方の画像で補完しつつ、他の領域については区画ごとに画質がより良好な一方の画像を選択して合成するようにしてもよい。

また、上記第２実施形態において、特に合成部１６が新規画像に基づく再合成を予め定められた回数（例えば３回）を超えて繰り返した場合等は、抽出部１２が、第３関心領域Ａ３を、抽出の精度を低下させて再抽出するようにしてもよい。これは、再合成を繰り返しても不適合領域の補完が完了しない場合に、処理を切り上げるためである。この場合、提示部１５は、第３関心領域Ａ３の抽出の精度が低い旨を提示することが好ましい。

また、上記第２実施形態においては、第３画像Ｇ３に不適合領域が存在しなくなるまで新規画像の取得及び合成を繰り返す形態について説明したが、これに限らない。合成部１６による合成を少なくとも１回行えば、不適合領域が存在していても合成処理を切り上げてもよい。例えば、合成回数による制限（例えば３回）を設け、合成回数が制限を超えた場合には、不適合領域が存在していても処理を切り上げてもよい。また例えば、第３画像Ｇ３の第３関心領域Ａ３に対する不適合領域の割合が予め定められた閾値以下（例えば５％以下）となった場合は、不適合領域が存在していても処理を切り上げてもよい。これらの場合に、提示部１５は、第３関心領域Ａ３に対する不適合領域の割合を提示してもよい。

また、不適合領域が存在している状態で処理を切り上げた場合には、第３関心領域Ａ３に含まれる異常陰影等の構造物を、検出の精度を低下させて検出するようにしてもよい。この場合、提示部１５は、不適合領域については異常陰影の検出の精度が低い旨を提示することが好ましい。また特に、第３関心領域Ａ３に対する不適合領域の割合が予め定められた閾値以上（例えば２０％以上）である場合に、このようにすることが好ましい。というのも、不適合領域の割合が高い場合に不適合領域において異常陰影の検出を行わないとすると、第３画像Ｇ３の多くの部分についてユーザが目視で異常陰影の確認を行わなければならず、ＣＡＤの利点が失われてしまうからである。このような形態によれば、不鮮明な領域に関しては検出の精度が低いことを認識したうえで、第３画像Ｇ３全体についての異常陰影の検出結果を診断に活用させることができる。

また、上記第２実施形態においては、検出部１４が異常陰影を検出する形態について説明したが、本実施形態に係る情報処理装置１０は検出部１４の機能（すなわちＣＡＤ機能）を備えていなくてもよく、異常陰影の確認はユーザが目視で行うようにしてもよい。このような形態においても、各々は不鮮明な第１画像Ｇ１及び第２画像Ｇ２でも、ユーザによる診断に活用させることができる。

また、上記第２実施形態においては、第１実施形態の判定処理において、第１画像Ｇ１に不適合領域Ｎ１が存在していると判定された場合に、画像合成処理が行われる形態について説明したが、これに限らない。例えば、第１画像Ｇ１において、第１関心領域Ａ１に対する不適合領域Ｎ１の割合が予め定められた閾値以上（例えば２０％以上）である場合に、本実施形態に係る画像合成処理が行われるようにしてもよい。

［第３実施形態］
上記第２実施形態においては、第１画像Ｇ１と第２画像Ｇ２を合成した第３画像Ｇ３に基づき、異常陰影の検出を行った。本実施形態に係る情報処理装置１０は、第１画像Ｇ１と第２画像Ｇ２とのそれぞれに基づき異常陰影の検出を行い、検出結果を合成する機能を有する。以下、本実施形態に係る情報処理装置１０の構成の一例について説明するが、第１及び第２実施形態と同様の構成及び作用については重複する説明を省略する。

第２実施形態と同様に、図８を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図８に示すように、本実施形態に係る情報処理装置１０は、第１実施形態と同様の取得部１１、抽出部１２、判定部１３、検出部１４及び提示部１５に加え、合成部１６を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、取得部１１、抽出部１２、判定部１３、検出部１４、提示部１５及び合成部１６として機能する。

図９に、提示部１５によりディスプレイ２４に提示される画面Ｄ２の一例を示す。図９に示すように、提示部１５は、判定部１３が第１画像Ｇ１の第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像Ｇ２を要求する。取得部１１は、画像取得装置２から第２画像Ｇ２（図１０参照）を取得する。第２画像Ｇ２に関する説明は、第２実施形態と同様であるため省略する。

抽出部１２は、第１画像Ｇ１から第１関心領域Ａ１を抽出したのと同様の手法で、取得部１１が取得した第２画像Ｇ２から第２関心領域Ａ２を抽出する。検出部１４は、第１関心領域Ａ１に含まれる異常陰影を検出したのと同様の手法で、抽出部１２が抽出した第１関心領域Ａ１と、第２関心領域Ａ２と、のそれぞれに含まれる異常陰影を検出する。図５及び１０の例では、検出部１４によって、第１画像Ｇ１から異常陰影Ｓ２が検出され、第２画像Ｇ２から異常陰影Ｓ１が検出される。

合成部１６は、検出部１４によって第１関心領域Ａ１及び第２関心領域Ａ２のそれぞれから検出された異常陰影の検出結果を合成する。すなわち、合成部１６は、それぞれ異なる複数の画像から得られた異常陰影の検出結果を、同一の被検体についての異常陰影の検出結果としてまとめる。

判定部１３は、抽出部１２が抽出した第１関心領域Ａ１及び第２関心領域Ａ２について、共通して抽出に不適合な共通不適合領域が存在しているか否かを判定する。共通不適合領域が存在した場合、異常陰影の見落としにつながる可能性がある。そこで、ＣＰＵ２１は、判定部１３により共通不適合領域が存在していないと判定されるまで、共通不適合領域の少なくとも一部に対応する領域を含む新規画像の要求及び取得と、新規画像からの関心領域の抽出と、当該関心領域に含まれる異常陰影の検出と、当該異常陰影の検出結果及びそれまでに検出された異常陰影の検出結果の再合成と、を繰り返し行う。新規画像の要求、取得、関心領域の抽出及び異常陰影の検出は、上述した第２画像Ｇ２の要求、取得、関心領域の抽出及び異常陰影の検出と同様にして行われる。

図１４に、提示部１５によりディスプレイ２４に提示される画面Ｄ４の一例を示す。図１４に示すように、提示部１５は、合成部１６により合成された異常陰影の検出結果を、各画像にアノテーションＭを付すことで提示する。なお、第２実施形態と同様に合成部１６が第１画像Ｇ１と第２画像Ｇ２を合成した画像を生成し、提示部１５が当該画像（すなわち１つの画像）上に、合成部１６により合成された異常陰影の検出結果を、アノテーションＭを付すことで提示してもよい。

次に、図１５を参照して、本実施形態に係る情報処理装置１０の作用を説明する。ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１５に示す検出結果合成処理が実行される。図１５に示す検出結果合成処理は、図７のフローチャートにおけるステップＳ１４の後に実行される。すなわち、第１実施形態の判定処理において、第１画像Ｇ１に不適合領域Ｎ１が存在していると判定された場合に実行される。

ステップＳ５１で、提示部１５は、ステップＳ１４で特定された不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像Ｇ２を要求する。ステップＳ５２で、取得部１１は、画像取得装置２から第２画像Ｇ２を取得する。ステップＳ５３で、抽出部１２は、ステップＳ５２で取得した第２画像Ｇ２から第２関心領域Ａ２を抽出する。ステップＳ５４で、検出部１４は、ステップＳ５３で抽出された第２関心領域Ａ２に含まれる異常陰影を検出する。

ステップＳ５５で、合成部１６は、ステップＳ１２で検出された第１関心領域Ａ１に含まれる異常陰影の検出結果と、ステップＳ５４で検出された第２関心領域Ａ２に含まれる異常陰影の検出結果と、を合成する。ステップＳ５６で、判定部１３は、ステップＳ１１で抽出した第１関心領域Ａ１、及びステップＳ５３で抽出した第２関心領域Ａ２について、共通して抽出に不適合な共通不適合領域が存在しているか否かを判定する。

共通不適合領域が存在する場合（すなわちステップＳ５６が肯定判定の場合）、共通不適合領域の少なくとも一部に対応する領域を含む新規画像について、ステップＳ５１～Ｓ５６の処理を行う。すなわち、ステップＳ５６で共通不適合領域が存在していないと判定されるまで、ステップＳ５１～Ｓ５６の処理を繰り返す。

一方、共通不適合領域が存在しない場合（すなわちステップＳ５６が否定判定の場合）、ステップＳ５７に移行し、提示部１５は、ステップＳ５５で合成された異常陰影の検出結果を提示する。ステップＳ５７が完了すると、本検出結果合成処理を終了する。

以上説明したように、第３実施形態に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、第１画像Ｇ１の第１関心領域Ａ１に不適合領域Ｎ１が存在していると判定した場合に、不適合領域Ｎ１の少なくとも一部に対応する領域を含む第２画像を要求する。また、第２画像Ｇ２から第２関心領域Ａ２を抽出し、第１関心領域Ａ１と、第２関心領域Ａ２と、のそれぞれに含まれる異常陰影を検出し、異常陰影の検出結果を合成する。すなわち、情報処理装置１０は、第１画像Ｇ１に不適合領域Ｎ１が存在すると判定された場合に、第１画像Ｇ１とは別の第２画像Ｇ２を用いて、異常陰影の検出結果を補完する。したがって、各々は不鮮明な第１画像Ｇ１及び第２画像Ｇ２でも、診断に活用させることができる。

なお、上記第３実施形態において、特に合成部１６が新規画像に含まれる異常陰影の検出結果の再合成を予め定められた回数（例えば３回）を超えて繰り返した場合等は、抽出部１２が、新規画像の関心領域を、抽出の精度を低下させて抽出するようにしてもよい。これは、再合成を繰り返しても共通不適合領域が無くならない場合に、処理を切り上げるためである。この場合、提示部１５は、関心領域の抽出の精度が低い旨を提示することが好ましい。

また、上記第３実施形態においては、共通不適合領域が存在しなくなるまで、新規画像に基づく異常陰影の検出結果の合成を繰り返す形態について説明したが、これに限らない。合成部１６による検出結果の合成を少なくとも１回行えば、共通不適合領域が存在していても合成処理を切り上げてもよい。例えば、合成回数による制限（例えば３回）を設け、合成回数が制限を超えた場合には、共通不適合領域が存在していても処理を切り上げてもよい。また例えば、第１関心領域Ａ１又は第２関心領域Ａ２に対する共通不適合領域の割合が予め定められた閾値以下（例えば５％以下）となった場合は、共通不適合領域が存在していても処理を切り上げてもよい。

また、共通不適合領域が存在している状態で処理を切り上げた場合には、共通不適合領域に含まれる異常陰影等の構造物を、検出の精度を低下させて検出するようにしてもよい。この場合、提示部１５は、共通不適合領域については異常陰影の検出の精度が低い旨を提示することが好ましい。また特に、第１関心領域Ａ１又は第２関心領域Ａ２に対する共通不適合領域の割合が予め定められた閾値以上（例えば２０％以上）である場合に、このようにすることが好ましい。というのも、共通不適合領域の割合が高い場合に共通不適合領域において異常陰影の検出を行わないとすると、第１画像Ｇ１及び第２画像Ｇ２の多くの部分についてユーザが目視で異常陰影の確認を行わなければならず、ＣＡＤの利点が失われてしまうからである。このような形態によれば、不鮮明な領域に関しては検出の精度が低いことを認識したうえで、第１画像Ｇ１及び第２画像Ｇ２の全体についての異常陰影の検出結果を診断に活用させることができる。

また、上記第３実施形態においては、第１実施形態の判定処理において、第１画像Ｇ１に不適合領域Ｎ１が存在していると判定された場合に、検出結果合成処理が行われる形態について説明したが、これに限らない。例えば、第１画像Ｇ１において、第１関心領域Ａ１に対する不適合領域Ｎ１の割合が予め定められた閾値以上（例えば２０％以上）である場合に、本実施形態に係る検出結果合成処理が行われるようにしてもよい。

［第４実施形態］
上記第１～第３実施形態においては、抽出部１２が医用画像から関心領域を抽出する形態について説明した。上述したように、抽出部１２による関心領域の抽出方法としては、医用画像を入力とし、関心領域を抽出して出力するよう学習された学習済みモデルを用いることができる。この場合、学習済みモデルには、図５及び図１０に示すような不鮮明な医用画像が入力された場合にも、精度よく関心領域を抽出できることが求められる。

この学習済みモデルの精度を向上させるための一手法として、種々のパターンの不鮮明な医用画像を学習用データとして用いて学習を行う手法がある。しかし、不鮮明な医用画像を、十分な数及びパターンを狙って画像取得装置２で取得することは困難であった。そこで、本実施形態においては、不鮮明な医用画像を故意に生成して学習用データとして用いることで、学習モデルの精度を向上させることを目的とする。

一例として、本実施形態に係る情報処理装置１０が、抽出部１２で用いられる学習モデル４を教師なし学習により学習させる形態について説明する。学習モデル４は、例えばＣＮＮ（Convolutional Neural Network）、ＦＣＮ（Fully Convolutional Network）及びＵ－Ｎｅｔ等のディープラーニングのモデルを含んで構成され、医用画像を入力とし、関心領域を抽出して出力するよう学習されたモデルである。また例えば、このようなモデルとして、上記特許文献１、特開２０１９－０８８４５８号公報及び特開２０２０－１１４３０２号公報に記載の技術を適用してもよい。

ＣＰＵ２１は、画像取得装置２から被検体を撮影して得られる元画像を取得する。すなわち、元画像は、放射線画像撮影装置、磁気共鳴画像装置、超音波装置、眼底撮影装置及び内視鏡のうち少なくとも１つの画像取得装置２により得られる画像である。また、元画像には、被検体、被検体に含まれる一部の組織、及び、被検体又は組織に含まれる異常部等の構造物の少なくとも１つを含む関心領域が含まれる。以下、元画像の一例として、図４に示す鮮明な医用画像Ｇ０を用いた例について説明する。医用画像Ｇ０については上述したとおりであるので、説明は省略する。

ＣＰＵ２１は、医用画像Ｇ０の少なくとも一部の画素値を変更して、疑似画像を生成する。画素値とは、医用画像Ｇ０における各画素が示す色相、彩度、輝度及び明度のうち少なくとも１つを示す値である。例えば、医用画像Ｇ０の明るさ及びコントラストを変更したり、ぼかし及びノイズを付与したりすることで、各画素の画素値が変更される。ただし、ＣＰＵ２１は、疑似画像の生成において解像度の変更は行わないものとする。

図１６を参照して、疑似画像の具体例について説明する。図１６の左側に示す複数の疑似画像Ｐ１～Ｐ５は、それぞれ医用画像Ｇ０に基づいて生成された疑似画像であり、学習用データとして学習モデル４に入力される。疑似画像Ｐ１及びＰ２は、それぞれ医用画像Ｇ０の明るさを明るく及び暗くした画像である。疑似画像Ｐ３は、医用画像Ｇ０のコントラストを弱くした画像である。疑似画像Ｐ４及びＰ５は、それぞれ医用画像Ｇ０の一部の領域を暗くした画像である。

また、図１６の右側には、入力された疑似画像のそれぞれについて、学習途中の学習モデル４によって抽出された関心領域を太線で囲って図示している。疑似画像Ｐ１及びＰ２については関心領域が適切に抽出されている。疑似画像Ｐ３については、抽出不可のエラーが出力されている。疑似画像Ｐ４及びＰ５については、本来は関心領域として抽出されるべき一部の不鮮明な領域が、関心領域として抽出されていない。

図１６に示すように、疑似画像は、医用画像Ｇ０の全体について画素値が変更されたものであってもよいし、医用画像Ｇ０の一部について画素値が変更されたものであってもよい。また、疑似画像Ｐ４及びＰ５に示すように、１つの医用画像Ｇ０に対してそれぞれ異なる領域における画素値を変更して生成された複数の疑似画像を学習用データとして用いることが好ましい。このような形態によれば、元画像の数を減らすことができるので、効率的に学習を行うことができる。

また、疑似画像Ｐ１～Ｐ５に示すように、疑似画像は、医用画像Ｇ０における少なくとも一部において、画質が劣化するように画素値を変更して生成された画像であることが好ましい。「画質が劣化するように」とは、具体的には、医用画像Ｇ０に含まれる構造物が検出しづらくなるような加工を意味し、例えば、コントラストを弱める加工が挙げられる。というのも、学習モデルの運用フェーズを考慮すると、入力される医用画像が眼底画像の場合は、例えば光量不足により画像が暗くなったり、外乱光により画像が明るくなったりすることで、鮮明な医用画像よりもコントラストが弱まることが考えられるためである。

また、図１６に示すように、疑似画像は、医用画像Ｇ０における関心領域を少なくとも含む領域の画素値を変更して生成された画像であることが好ましい。関心領域以外の領域に関しては、不鮮明であるか否かが特に問題にならないためである。

また、疑似画像は、医用画像Ｇ０に含まれる構造物の存否を維持しながら、医用画像Ｇ０の少なくとも一部の画素値を変更して生成された画像であることが好ましい。本学習モデル４では、不鮮明な医用画像からでも精度よく関心領域を抽出することを優先事項としており、構造物の存否の変化に対応させることは優先度が低いためである。

また、疑似画像は、ＧＡＮ（Generative Adversarial Networks）及びＶＡＥ（Variational Autoencoder）等の画像生成モデルを用いて、医用画像Ｇ０に基づき生成された画像であってもよい。

ＣＰＵ２１は、以上のようにして生成された疑似画像Ｐ１～Ｐ５を学習用データとして学習モデル４に入力することで、学習モデル４を学習させる。また、図１６の疑似画像Ｐ３～Ｐ５に示すように、ＣＰＵ２１は、学習モデル４が、入力された疑似画像から関心領域を適切に抽出できなかった場合に、当該疑似画像を学習用データとして再度入力することで、学習モデル４を再学習させてもよい。このような形態によれば、学習モデル４の精度を向上させることができる。

なお、再学習の際には、疑似画像に正解ラベルを付与するようにしてもよい。具体的には、ＣＰＵ２１が、疑似画像と、当該疑似画像に含まれる関心領域を示す情報と、のペアを学習用データとして学習モデル４に入力し、学習モデル４を再学習させてもよい。関心領域を示す情報とは、例えば、疑似画像中の関心領域の位置を示す情報である。

次に、図１７を参照して、本実施形態に係る情報処理装置１０の作用を説明する。ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１７に示す学習処理が実行される。図１７に示す学習処理は、例えば、入力部２５を介してユーザから処理の開始の指示があった場合に実行される。

ステップＳ７１で、ＣＰＵ２１は、画像取得装置２から被検体を撮影して得られる元画像を取得する。ステップＳ７２で、ＣＰＵ２１は、ステップＳ７１で取得した元画像の少なくとも一部の画素値を変更して、疑似画像を生成する。ステップＳ７３で、ＣＰＵ２１は、ステップＳ７２で生成した疑似画像を学習用データとして用い、学習モデル４を学習させる。ステップＳ７４で、ＣＰＵ２１は、学習モデル４が入力された疑似画像から適切に関心領域を抽出できたか否かを判定する。

学習モデル４が入力された疑似画像から適切に関心領域を抽出できなかった場合（すなわちステップＳ７４が否定判定の場合）は、ステップＳ７３に戻り、ＣＰＵ２１は、疑似画像を学習モデル４に再度入力することで、学習モデル４を再学習させる。すなわち、学習モデル４が疑似画像から適切に関心領域を抽出できるまで、同一の疑似画像を用いての再学習を繰り返す。学習モデル４が入力された疑似画像から適切に関心領域を抽出できたタイミング（すなわちステップＳ７４が肯定判定となったタイミング）で、本学習処理を終了する。

以上説明したように、第４実施形態に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、被検体を撮影して得られる元画像の少なくとも一部の画素値を変更して生成された疑似画像を学習用データとして入力することで、入力された画像から関心領域を抽出するための学習モデルを学習させる。したがって、関心領域の抽出に不適合な画像でも、適切に関心領域を抽出でき、診断に活用させることができる。

なお、上記第４実施形態においては、情報処理装置１０が、抽出部１２で用いられる学習モデル４を教師なし学習により学習させる形態について説明したが、これに限らない。情報処理装置１０は、学習モデル４を教師あり学習及び半教師あり学習により学習させてもよい。具体的には、ＣＰＵ２１が、疑似画像と、当該疑似画像に含まれる関心領域を示す情報と、のペアを学習用データとして入力することで、学習モデル４を学習させてもよい。またこの場合に、ＣＰＵ２１は、学習モデル４が、入力された疑似画像から関心領域を抽出できなかった場合に、当該疑似画像を学習用データとして再度入力することで、学習モデル４を再学習させてもよい。

なお、上記各実施形態においては、医用画像を用いて説明を行ったが、本開示の技術は医用画像のみに適用されるものではない。本開示の技術は、例えば、放射線透過検査及び超音波探傷検査等の非破壊検査において、機器、建築物、配管及び溶接部等を被検体として取得される画像に適用されてもよい。

また、上記各実施形態においては、情報処理システム１が、情報処理装置１０と、画像取得装置２と、を含む形態について説明したが、これに限らない。例えば、情報処理システム１は、情報処理装置１０の機能、及び画像取得装置２の機能をともに有する１台の装置を含むものであってもよい。また例えば、情報処理システム１に複数の画像取得装置２が含まれ、情報処理装置１０が複数の画像取得装置２の各々から医用画像を取得するものであってもよい。また例えば、情報処理装置１０が、取得部１１、抽出部１２、判定部１３、検出部１４、提示部１５及び合成部１６といった機能ごとに異なる複数の装置からなる構成であってもよい。

また、上記各実施形態において、例えば、取得部１１、抽出部１２、判定部１３、検出部１４、提示部１５及び合成部１６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記各実施形態では、情報処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。

本開示の技術は、上記各実施形態例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

１ 情報処理システム
２ 画像取得装置
４ 学習モデル
１０ 情報処理装置
１１ 取得部
１２ 抽出部
１３ 判定部
１４ 検出部
１５ 提示部
１６ 合成部
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 情報処理プログラム
２８ バス
Ａ０ 関心領域
Ａ１ 第１関心領域
Ａ２ 第２関心領域
Ａ３ 第３関心領域
Ｄ１～Ｄ４ 画面
Ｇ０ 医用画像
Ｇ１ 第１画像
Ｇ２ 第２画像
Ｇ３ 第３画像
Ｍ アノテーション
Ｎ１、Ｎ２ 不適合領域
Ｎ１２ 領域
Ｐ１～Ｐ５ 疑似画像
Ｓ１、Ｓ２ 異常陰影

Claims (20)

1. 少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   被検体を撮影して得られる第１画像を取得し、
   前記第１画像から第１関心領域を抽出し、
   抽出した前記第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う
   情報処理装置。
2. 前記プロセッサは、
   抽出した前記第１関心領域の形状と、前記第１関心領域に関して予め定められた基準形状と、の類似度合に応じて、前記判定を行う
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   被検体を撮影して得られる画像を入力とし、当該画像から抽出される関心領域に前記不適合領域が存在しているか否かを判定するための学習済みモデルを用いて、前記判定を行う
   請求項１又は請求項２に記載の情報処理装置。
4. 前記学習済みモデルは、被検体を撮影して得られる画像と、当該画像から抽出される関心領域に前記不適合領域が存在しているか否かを示す情報と、のペアを学習用データとして学習された学習モデルである
   請求項３に記載の情報処理装置。
5. 前記プロセッサは、
   前記第１関心領域に前記不適合領域が存在していると判定した場合に、前記第１画像における前記不適合領域を特定して提示する
   請求項１から請求項４の何れか１項に記載の情報処理装置。
6. 前記プロセッサは、
   前記第１関心領域に前記不適合領域が存在していると判定した場合に、前記第１関心領域に対する前記不適合領域の割合を提示する
   請求項１から請求項５の何れか１項に記載の情報処理装置。
7. 前記プロセッサは、
   前記第１関心領域に前記不適合領域が存在していると判定した場合に、前記第１関心領域を、抽出の精度を低下させて再抽出する
   請求項１から請求項６の何れか１項に記載の情報処理装置。
8. 前記プロセッサは、
   前記第１関心領域に含まれる構造物を検出し、
   前記第１関心領域に前記不適合領域が存在していると判定した場合に、前記不適合領域に含まれる構造物を、検出の精度を低下させて検出する
   請求項１から請求項７の何れか１項に記載の情報処理装置。
9. 前記プロセッサは、
   前記第１関心領域に前記不適合領域が存在していると判定した場合に、前記不適合領域の少なくとも一部に対応する領域を含む第２画像を要求する
   請求項１から請求項８の何れか１項に記載の情報処理装置。
10. 前記プロセッサは、
    前記第２画像を取得し、
    前記第１画像と、前記第２画像と、を合成することで第３画像を生成する
    請求項９に記載の情報処理装置。
11. 前記プロセッサは、
    前記第１画像及び前記第２画像の何れか一方の画像における前記不適合領域を、他方の画像における対応する領域が補完するように、前記一方の画像に前記他方の画像の一部を合成することで前記第３画像を生成する
    請求項１０に記載の情報処理装置。
12. 前記プロセッサは、
    前記第１画像内及び前記第２画像内の複数の区画ごとに、画質がより良好な一方の画像を選択して合成することで前記第３画像を生成する
    請求項１０又は請求項１１に記載の情報処理装置。
13. 前記プロセッサは、
    前記第３画像から第３関心領域を抽出し、
    抽出した前記第３関心領域について、前記不適合領域が存在しているか否かを判定し、
    前記第３関心領域に前記不適合領域が存在していないと判定されるまで、
    当該不適合領域の少なくとも一部に対応する領域を含む新規画像の取得と、
    当該新規画像と前記第３画像との再合成と、を繰り返し行う
    請求項１０から請求項１２の何れか１項に記載の情報処理装置。
14. 前記プロセッサは、
    前記第３画像から第３関心領域を抽出し、
    前記第３関心領域に含まれる構造物を検出する
    請求項１０から請求項１３の何れか１項に記載の情報処理装置。
15. 前記プロセッサは、
    前記第２画像を取得し、
    前記第２画像から第２関心領域を抽出し、
    前記第１関心領域と、前記第２関心領域と、のそれぞれに含まれる構造物を検出し、
    前記第１関心領域及び前記第２関心領域のそれぞれから検出された前記構造物の検出結果を合成する
    請求項９から請求項１４の何れか１項に記載の情報処理装置。
16. 前記プロセッサは、
    抽出した前記第１関心領域及び前記第２関心領域について、共通して抽出に不適合な共通不適合領域が存在しているか否かを判定し、
    前記共通不適合領域が存在していないと判定されるまで、
    当該共通不適合領域の少なくとも一部に対応する領域を含む新規画像の取得と、
    当該新規画像からの関心領域の抽出と、
    当該関心領域に含まれる構造物の検出と、
    当該構造物の検出結果の再合成と、を繰り返し行う
    請求項１５に記載の情報処理装置。
17. 前記第１関心領域は、前記被検体、前記被検体に含まれる一部の組織、及び、前記被検体又は前記組織に含まれる異常部の少なくとも１つを含む領域である
    請求項１から請求項１６の何れか１項に記載の情報処理装置。
18. 前記第１画像は、放射線画像撮影装置、磁気共鳴画像装置、超音波装置、眼底撮影装置及び内視鏡のうち少なくとも１つにより得られる画像である
    請求項１から請求項１７の何れか１項に記載の情報処理装置。
19. 被検体を撮影して得られる第１画像を取得し、
    前記第１画像から第１関心領域を抽出し、
    抽出した前記第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う
    処理をコンピュータが実行する情報処理方法。
20. 被検体を撮影して得られる第１画像を取得し、
    前記第１画像から第１関心領域を抽出し、
    抽出した前記第１関心領域について、抽出に不適合な不適合領域が存在しているか否かの判定を行う
    処理をコンピュータに実行させるための情報処理プログラム。

Images