JP2020054580A - 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム - Google Patents

疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム Download PDF

Info

Publication number
JP2020054580A
JP2020054580A JP2018186789A JP2018186789A JP2020054580A JP 2020054580 A JP2020054580 A JP 2020054580A JP 2018186789 A JP2018186789 A JP 2018186789A JP 2018186789 A JP2018186789 A JP 2018186789A JP 2020054580 A JP2020054580 A JP 2020054580A
Authority
JP
Japan
Prior art keywords
learning
unit
disease
medical image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018186789A
Other languages
English (en)
Other versions
JP7129870B2 (ja
Inventor
赤堀　貞登
Sadataka Akahori
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018186789A priority Critical patent/JP7129870B2/ja
Priority to US16/584,847 priority patent/US11244455B2/en
Publication of JP2020054580A publication Critical patent/JP2020054580A/ja
Application granted granted Critical
Publication of JP7129870B2 publication Critical patent/JP7129870B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

【課題】疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムにおいて、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別する。【解決手段】判別器は、共通学習部と、共通学習部の出力部に接続された複数の学習部と、を備える。医用画像及び第１の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部へ入力した場合に、第１の学習部から第１の疾患領域を示す情報が出力されるように学習させる。医用画像及び第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部へ入力した場合に、第２の学習部から第２の疾患領域を示す情報が出力されるように学習させる。【選択図】図２

Description

本開示は、疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムに関する。
近年、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、対象部位を脳とした場合において、ＣＴ画像及びＭＲＩ画像等を用いた画像診断により、脳梗塞、脳血栓、及び脳出血等の血管障害を起こしている疾患領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
そこで、医用画像から疾患領域を自動的に判別するための各種手法が提案されている。例えば、特許文献１においては、入力層と中間層と出力層とを有する第１及び第２のニューラルネットワークを備え、第１のニューラルネットワークのうちの入力層から中間層までの出力を、第２のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特許文献１に記載の判別装置においては、第１のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。
特開平８−２５１４０４号公報
一方、ＣＴ画像上で抽出される血栓領域は、急性期の梗塞を特定する際の手がかりとなる。また、血栓領域の特定は、血管内を治療する際にも必要となる。しかしながら、特に非造影ＣＴの画像上においては、造影されていないことから画像上で血管が見え難いため、血栓領域は必ずしも鮮明ではなく、場所の特定が困難である。そのため、計算機による血栓領域の自動抽出が望まれている。そこで、血栓領域を自動抽出する方法として、近年注目されている深層学習を応用することができる。しかしながら、深層学習を用いるには、ＣＴ画像とＣＴ画像における血栓の正解領域とのデータセットを複数含む学習情報が必要になる。しかしながら、上述したようにＣＴ画像上において血栓領域は必ずしも鮮明ではないため、ＣＴ画像における血栓の正解領域を示すデータを多く用意することは困難である。
本開示は上記事情に鑑みなされたものであり、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することを目的とする。
本開示の学習方法は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
医用画像及びこの医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から第１の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の疾患領域を示す情報が出力されるように学習させる。
なお、本開示の学習方法においては、医用画像及びこの医用画像における第１の疾患の解剖学的な部位の正解情報のデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第３の学習部の出力部から第１の疾患の解剖学的な部位を示す情報が出力されるように学習させてもよい。
また、本開示の学習方法においては、医用画像及びこの医用画像における第２の疾患の有無を示す情報を複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第４の学習部の出力部から第２の疾患の有無を示す情報が出力されるように学習させてもよい。
また、本開示の学習方法においては、共通学習部及び複数の学習部の各々は、入力部としての入力層、複数の中間層、及び出力部としての出力層を備えたニューラルネットワークであってもよい。
また、本開示の学習方法においては、第１の疾患は血栓であり、第２の疾患は梗塞であってもよい。
また、本開示の学習方法においては、医用画像が脳画像であってもよい。
なお、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
医用画像及びこの医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から第１の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の疾患領域を示す情報が出力されるように学習させる。
本開示による他の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
医用画像及びこの医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から第１の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の疾患領域を示す情報が出力されるように学習させる処理を実行する。
本開示の判別器は、本開示の上記学習方法、上記学習装置、及び上記学習プログラムの何れかにより学習がなされた判別器である。
本開示の疾患領域判別装置は、判別対象の医用画像を取得する画像取得部と、
判別対象の医用画像における第１の疾患領域を判別する、本開示の判別器とを備える。
本開示の他の疾患領域判別装置は、判別対象の医用画像を取得する画像取得部と、
判別対象の医用画像における第２の疾患領域を判別する、本開示の判別器とを備える。
なお、本開示の疾患領域判別装置においては、判別器による判別結果を表示部に表示させる表示制御部をさらに備えてもよい。
本開示の疾患領域判別プログラムは、判別対象の医用画像を取得する手順と、
本開示の判別器により、判別対象の医用画像における第１の疾患領域を判別する手順とをコンピュータに実行させる。
本開示の他の疾患領域判別プログラムは、判別対象の医用画像を取得する手順と、
本開示の判別器により、判別対象の医用画像における第２の疾患領域を判別する手順とをコンピュータに実行させる。
また、本開示の他の疾患領域判別装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
判別対象の医用画像を取得し、
本開示の判別器により、判別対象の医用画像における第１の疾患領域を判別する処理を実行する。
また、本開示の他の疾患領域判別装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
判別対象の医用画像を取得し、
本開示の判別器により、判別対象の医用画像における第２の疾患領域を判別する処理を実行する。
本開示の疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムによれば、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
本開示の一実施形態である疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の第１の実施形態である疾患領域判別装置の構成を示す概略ブロック図 ＣＴ画像と血栓領域とのデータセットを説明するための図 ＣＴ画像と梗塞領域とのデータセットを説明するための図 第１の実施形態における判別器の構成を示す概略図 表示された脳のＣＴ画像を示す図 表示された脳のＣＴ画像を示す図 第１の実施形態において学習時に行われる処理を示すフローチャート 血栓領域の判別時に行われる処理を示すフローチャート 梗塞領域の判別時に行われる処理を示すフローチャート 脳血管の解剖学的な部位を示す図 脳のＣＴ画像の一例を示す図 脳のＣＴ画像の一例を示す図 第２の実施形態における判別器の構成を示す概略図 表示された脳のＣＴ画像を示す図 表示された脳のＣＴ画像を示す図 部位の判別時に行われる処理を示すフローチャート 梗塞領域の有無の判別時に行われる処理を示すフローチャート
以下、図面を参照して本開示の第１の実施形態について説明する。図１は、本開示の実施形態による判別器の学習装置、判別器及び疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による疾患領域判別装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、疾患領域判別装置１には、本実施形態による学習装置及び判別器が内包される。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ装置等である。この３次元画像撮影装置２により生成された医用画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置である。そして、ＣＴ装置２において、被検体の脳を含む３次元のＣＴ画像Ｂ０を生成する。なお、本実施形態においては、ＣＴ画像Ｂ０は、造影剤を使用しないで撮影を行うことにより取得される非造影ＣＴ画像とするが、造影剤を使用して撮影を行うことにより取得した造影ＣＴ画像を用いてもよい。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成されたＣＴ画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
疾患領域判別装置１は、１台のコンピュータに、本開示の学習プログラム及び疾患領域判別プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラム及び疾患領域判別プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに学習プログラム及び疾患領域判別プログラムをインストールすることにより実現される本開示の一実施形態である疾患領域判別装置の概略構成を示す図である。図２に示すように、疾患領域判別装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、疾患領域判別装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボード及びマウス等からなる入力部１５が接続されている。入力部１５は、ユーザによる種々の設定入力を受け付ける。なお、タッチパネルを用いることによって表示部１４と入力部１５とを兼用するようにしてもよい。
ストレージ１３は、ハードディスクドライブ及びＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の医用画像、並びに処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、学習プログラム及び疾患領域判別プログラムが記憶されている。学習プログラムは、後述する第１ＣＮＮ(Convolutional Neural Network)３１（共通学習部）と、後述する第２ＣＮＮ３２（第１の学習部）及び第３ＣＮＮ３３（第２の学習部）とを備えた判別器２３を学習させる学習プログラムであって、ＣＰＵ１１に実行させる処理として、ＣＴ画像及びこのＣＴ画像において血栓が現れた血栓領域の正解マスクのデータセットを複数用いて、ＣＴ画像を第１ＣＮＮ３１の入力部へ入力した場合に、第２ＣＮＮ３２の出力部から血栓領域を示す情報が出力されるように学習させる処理、及びＣＴ画像及びこのＣＴ画像において梗塞が現れた梗塞領域の正解マスクのデータセットを複数用いて、ＣＴ像を第１ＣＮＮ３１の入力部へ入力した場合に第３ＣＮＮ３３の出力部から梗塞領域を示す情報が出力されるように学習させる処理を規定する。
また、疾患領域判別プログラムは、ＣＰＵ１１に実行させる処理として、判別対象のＣＴ画像を取得する画像取得処理、判別対象のＣＴ画像における血栓領域又は梗塞領域を判別する判別処理、及び判別器２３による判別結果を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、学習部２２、判別器２３及び表示制御部２４として機能する。ここで、学習部２２が、本実施形態の判別器２３の学習装置を構成する。また、画像取得部２１、判別器２３及び表示制御部２４が、本実施形態の疾患領域判別装置を構成する。
画像取得部２１は、後述する判別器２３の学習のために、脳血栓を発症している被検体の脳のＣＴ画像Ｂｔ１及び脳梗塞を発症している被検体の脳のＣＴ画像Ｂｉ１を画像保管サーバ３から取得する。また、血栓領域及び梗塞領域の疾患領域の抽出のために、疾患領域の抽出対象となるＣＴ画像Ｂ０を画像保管サーバ３から取得する。なお、ＣＴ画像Ｂｔ１、ＣＴ画像Ｂｉ１、及びＣＴ画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３からＣＴ画像Ｂｔ１、ＣＴ画像Ｂｉ１、及びＣＴ画像Ｂ０を取得するようにしてもよい。また、画像取得部２１は、後述する判別器２３の学習のために、多数の被検体についての脳のＣＴ画像Ｂｔ１及びＣＴ画像Ｂｉ１を取得する。
学習部２２は、判別器２３を学習させる。図３はＣＴ画像Ｂｔ１と血栓領域Ａ１とのデータセットを説明するための図、図４はＣＴ画像Ｂｉ１と梗塞領域Ａ２とのデータセットを説明するための図である。学習部２２は、図３に示すように、ＣＴ画像Ｂｔ１とＣＴ画像Ｂｔ１において特定された血栓領域Ａ１とのデータセットを教師データとして、入力されたＣＴ画像Ｂ０における血栓領域を判別する判別器２３を学習する。また、学習部２２は、図４に示すように、ＣＴ画像Ｂｉ１とＣＴ画像Ｂｉ１において特定された梗塞領域Ａ２とのデータセットを教師データとして、入力されたＣＴ画像Ｂ０における梗塞領域を判別する判別器２３を学習する。
ここで判別器２３について説明する。判別器２３は、脳画像Ｂ０における疾病領域を判別する。疾病領域としては、本実施形態においては血栓領域及び梗塞領域とする。本実施形態においては、判別器２３は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮとする）を複数含むものとする。
図５は本実施形態における判別器２３の構成を示す概略図である。図５に示すように、判別器２３は、第１ＣＮＮ３１、第２ＣＮＮ３２、及び第３ＣＮＮ３３を有する。第１ＣＮＮ３１、第２ＣＮＮ３２、及び第３ＣＮＮ３３は、各々入力部としての入力層３１ａ，３２ａ，３３ａ及び出力部としての出力層３１ｂ，３２ｂ，３３ｂを含む複数の処理層を有して構成されている。第１ＣＮＮ３１の出力層３１ｂは、第２ＣＮＮ３２の入力層３２ａ及び第３ＣＮＮ３３の入力層３３ａと接続されている。なお、第１ＣＮＮ３１は本開示の共通学習部、第２ＣＮＮ３２は本開示の第１の学習部、第３ＣＮＮ３３は本開示の第２の学習部にそれぞれ対応する。
第１ＣＮＮ３１、第２ＣＮＮ３２及び第３ＣＮＮ３３が有する処理層は、畳み込み層及びプーリング層の少なくとも一方を含む。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、脳画像Ｂ０又は特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像Ｂ０又は特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対してシグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
なお、本実施形態においては、２次元のカーネルを用いた畳み込み処理を使用したが、本開示の技術はこれに限られず、３次元フィルタを使用した畳み込み処理を使用することができる。例えば、３次元のカーネルを使用する場合、カーネルはｎ×ｎ×ｎボクセルサイズ（例えばｎ＝３）を有し、各要素に重みが設定される。
本実施形態において、第１ＣＮＮ３１及び第２ＣＮＮ３２は、血栓領域を含む多数の脳のＣＴ画像とこのＣＴ画像において特定された血栓領域とのデータセットを教師データとして使用して、入力されたＣＴ画像に含まれる各画素についての血栓領域の判別結果Ｒ１を出力するように学習がなされている。なお、血栓領域が第１の疾患に相当する。これにより、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂ０が入力されると、第１ＣＮＮ３１及び第２ＣＮＮ３２の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、ＣＴ画像Ｂ０における各画素についての血栓領域の判別結果Ｒ１が第２ＣＮＮ３２の出力層３２ｂから出力される。なお、第２ＣＮＮ３２が出力する判別結果Ｒ１は、ＣＴ画像Ｂ０の各画素が血栓領域であるか血栓領域以外の領域であるかを判別した結果となる。
また、第１ＣＮＮ３１及び第３ＣＮＮ３３は、梗塞領域を含む多数の脳のＣＴ画像とこのＣＴ画像において特定された梗塞領域とのデータセットを教師データとして使用して、入力されたＣＴ画像に含まれる各画素についての梗塞領域の判別結果Ｒ２を出力するように学習がなされている。なお、梗塞領域が第２の疾患に相当する。これにより、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂ０が入力されると、第１ＣＮＮ３１及び第３ＣＮＮ３３の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、ＣＴ画像Ｂ０における各画素についての梗塞領域の判別結果Ｒ２が第３ＣＮＮ３３の出力層３３ｂから出力される。なお、第３ＣＮＮ３３が出力する判別結果Ｒ２は、ＣＴ画像Ｂ０の各画素が梗塞領域であるか梗塞領域以外の領域であるかを判別した結果となる。
ここで、本実施形態においては、第１ＣＮＮ３１の出力層３１ｂから出力された特徴量マップが、第２ＣＮＮ３２の入力層３２ａと第３ＣＮＮ３３の入力層３３ａの両方に入力される。すなわち、第１ＣＮＮ３１においては、血栓領域を判別する場合と梗塞領域を判別する場合の両方において、共通の特徴量マップが出力される。
一般的に、脳血栓が発症すると脳に酸素及び栄養等が送れなくなるために、脳の細胞が障害を受けて脳梗塞を発症する。すなわち、脳血栓と脳梗塞とは医学的に因果関係があり、血栓が発症する領域と梗塞が発症する領域とは解剖学的に因果関係がある。このため、特徴量マップを、脳血栓と脳梗塞の両方の教師データを用いて学習させることによって、脳血栓領域を抽出する際に脳梗塞で見られる画像特徴を利用したり、脳梗塞領域を抽出する際に脳血栓で見られる画像特徴を利用したりすることが可能になり、相互に関係のある画像特徴を利用することにより精度向上が可能になる。本実施形態においては、第２ＣＮＮ３２及び第３ＣＮＮ３３の入力層３２ａ，３３ａには、第１ＣＮＮ３１の出力層３１ｂから出力された共通の特徴量マップが入力される。そして、第２ＣＮＮ３２の出力層３２ｂからは、ＣＴ画像Ｂ０における血栓領域の判別結果Ｒ１が出力され、第３ＣＮＮ３３の出力層３３ｂからは、ＣＴ画像Ｂ０における梗塞領域の判別結果Ｒ２が出力されることとなる。
ここで、非造影ＣＴのＣＴ画像Ｂ０によっては、造影されていないことから画像上で血管が見え難いため、血栓領域は必ずしも鮮明ではなく、場所の特定が困難な場合がある。このため、ＣＴ画像Ｂ０における血栓の正解領域を示すデータを多く用意することは困難である。本実施形態においては、第１ＣＮＮ３１において、血栓の正解領域を示すデータだけではなく、梗塞の正解領域を示すデータを用いて学習がなされている。すなわち、第２ＣＮＮ３２から出力される血栓領域の判別結果Ｒ１には、血栓だけではなく、梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第３ＣＮＮ３３から出力される梗塞領域の判別結果Ｒ２には、梗塞だけではなく、血栓についての知識が反映されていることとなり、判別結果の精度が向上する。従って、本実施形態においては、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
表示制御部２４は、血栓領域及び梗塞領域が判別された脳画像を表示部１４に表示する。図６，図７は表示された脳のＣＴ画像を示す図である。なお、図６，図７においては、ＣＴ画像Ｂ０の１つの断層面のスライス画像を示している。ＣＴ画像Ｂ０において判別された血栓領域Ａ１は、図６に示すように、線で囲まれて表示されている。なお、表示制御部２４は、血栓領域Ａ１を網掛で表示させる、血栓領域Ａ１に特定の色を付与する、血栓領域Ａ１に矢印を付与する、及び血栓領域Ａ１を他の領域とは異ならせて強調して表示する等、任意の態様を用いて表示部１４に表示することができる。ＣＴ画像Ｂ０において判別された梗塞領域Ａ２は、図７に示すように、線で囲まれて表示されている。なお、表示制御部２４は、梗塞領域Ａ２を網掛で表示させる、梗塞領域Ａ２に特定の色を付与する、梗塞領域Ａ２に矢印を付与する、及び梗塞領域Ａ２を他の領域とは異ならせて強調して表示する等、任意の態様を用いて表示部１４に表示することができる。
次いで、本実施形態において行われる処理について説明する。図８は本実施形態において学習時に行われる処理を示すフローチャートである。まず、画像取得部２１が、脳血栓又は脳梗塞を発症している被検体の脳のＣＴ画像Ｂｔ１，Ｂｉ１を取得する（ステップＳＴ１）。次に、学習部２２が、ＣＴ画像Ｂｔ１，Ｂｉ１においてそれぞれ特定された血栓領域及び梗塞領域を教師データとして、入力されたＣＴ画像Ｂ０における血栓領域及び梗塞領域を判別する判別器２３を学習させて（ステップＳＴ２）、処理を終了する。
図９は本実施形態において血栓領域の判別時に行われる処理を示すフローチャートである。まず、画像取得部２１が、判別対象となるＣＴ画像Ｂ０を取得し（ステップＳＴ２１）、判別器２３が判別対象のＣＴ画像Ｂ０における血栓領域を判別する（ステップＳＴ２２）。そして、表示制御部２４が、血栓領域が判別されたＣＴ画像Ｂ０を表示部１４に表示し（ステップＳＴ２３）、処理を終了する。
図１０は本実施形態において梗塞領域の判別時に行われる処理を示すフローチャートである。まず、画像取得部２１が、判別対象となるＣＴ画像Ｂ０を取得し（ステップＳＴ２１）、判別器２３が判別対象のＣＴ画像Ｂ０における梗塞領域を判別する（ステップＳＴ２２）。そして、表示制御部２４が、梗塞領域が判別されたＣＴ画像Ｂ０を表示部１４に表示し（ステップＳＴ２３）、処理を終了する。
以上のように、第１の実施形態によれば、第２ＣＮＮ３２から出力される血栓領域の判別結果には、血栓だけではなく、梗塞についての知識が反映されていることとなり、同様に、第３ＣＮＮ３３から出力される梗塞領域の判別結果には、梗塞だけではなく、血栓についての知識が反映されていることとなるので、判別結果の精度が向上する。従って、本実施形態においては、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
次に、図面を参照して本開示の第２の実施形態について説明する。なお、第２の実施形態の疾患領域判別装置は、上記実施形態と概略同様の構成であるため、ここでの詳細な説明は省略し、異なる箇所についてのみ詳細に説明する。
第２の実施形態の学習部２２−２は、判別器２３−２を学習する。図１１は脳血管の解剖学的な部位を示す図である。解剖学的な部位は、一例として図１１に示すように、内頚動脈(ＩＣＡ:Internal Carotid Artery)、前大脳動脈(ＡＣＡ:Anterior Cerebral Artery)、中大脳動脈(ＭＣＡ:Middle CerebralArtery)、及び後大脳動脈(ＰＣＡ:Posterior Cerebral Artery)等である。なお、脳血管の解剖学的な部位については、公知の解剖学的な部位を使用することができる。
図１２は脳のＣＴ画像Ｂｔ１の一例を示す図である。なお、ＣＴ画像Ｂｔ１は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｔ１の１つの断層面における２次元の断層画像を用いて説明する。例えば、図１２のＣＴ画像Ｂｔ１において、矢印で示す領域は、中大脳動脈主幹部閉塞を示唆しているため、分類はＭＣＡとなる。学習部２２−２は、図１２に示すように、ＣＴ画像Ｂｔ１において特定された血栓の解剖学的な部位の正解情報を教師データとして、入力されたＣＴ画像Ｂ０における血栓の解剖学的な部位を判別する判別器２３−２を学習する。
図１３は脳のＣＴ画像Ｂｉ１の一例を示す図である。なお、ＣＴ画像Ｂｉ１は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｉ１の１つの断層面における２次元の断層画像を用いて説明する。ＣＴ画像Ｂｉ１は、図１３に示すように、頭蓋骨及び脳実質を含んでいる。学習部２２−２は、図１３に示すように、梗塞領域Ａ３が存在するＣＴ画像Ｂｉ１を梗塞領域が有ることを示す情報の教師データとして、また、梗塞領域Ａ３が存在しないＣＴ画像Ｂｉ１を梗塞領域が無いことを示す情報の教師データとして、入力されたＣＴ画像Ｂ０における梗塞領域の有無を判別する判別器２３−２を学習する。
ここで第２の実施形態の判別器２３−２について説明する。判別器２３−２は、第１の実施形態の判別器２３に、さらに、第４ＣＮＮ３４及び第５ＣＮＮ３５を備える。
図１４は第２の実施形態における判別器２３−２の構成を示す概略図である。図１４に示すように、判別器２３−２は、第１ＣＮＮ３１、第２ＣＮＮ３２、第３ＣＮＮ３３、第４ＣＮＮ３４、及び第５ＣＮＮ３５を有する。第１ＣＮＮ３１、第２ＣＮＮ３２、第３ＣＮＮ３３、第４ＣＮＮ３４、及び第５ＣＮＮ３５は、各々入力部としての入力層３１ａ，３２ａ，３３ａ，３４ａ，３５ａ及び出力部としての出力層３１ｂ，３２ｂ，３３ｂ，３４ｂ，３５ｂを含む複数の処理層を有して構成されている。第１ＣＮＮ３１の出力層３１ｂは、第２ＣＮＮ３２の入力層３２ａ、第３ＣＮＮ３３の入力層３３ａ、第４ＣＮＮ３４の入力層３４ａ、及び第５ＣＮＮ３５の入力層３５ａと接続されている。なお、第４ＣＮＮ３４は本開示の第３の学習部、第５ＣＮＮ３５は本開示の第４の学習部にそれぞれ対応する。
第４ＣＮＮ３４及び第５ＣＮＮ３５が有する処理層は、第１ＣＮＮ３１、第２ＣＮＮ３２及び第３ＣＮＮ３３が有する処理層と同様に、畳み込み層及びプーリング層の少なくとも一方を含む。
本実施形態において、第１ＣＮＮ３１及び第４ＣＮＮ３４は、血栓領域を含む多数の脳のＣＴ画像において特定された血栓の解剖学的な部位の正解情報を教師データとして使用して、入力されたＣＴ画像に含まれる血栓領域についての解剖学的な部位の判別結果Ｒ３を出力するように学習がなされている。これにより、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂ０が入力されると、第１ＣＮＮ３１及び第４ＣＮＮ３４の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、ＣＴ画像Ｂ０に含まれる血栓領域についての解剖学的な部位の判別結果Ｒ３が第４ＣＮＮ３４の出力層３４ｂから出力される。なお、第４ＣＮＮ３４が出力する判別結果Ｒ３は、ＣＴ画像Ｂ０において解剖学的な部位毎に血栓領域であるか否かを判別した結果となる。
また、第１ＣＮＮ３１及び第５ＣＮＮ３５は、ＣＴ画像Ｂｉ１において分類された梗塞領域の有無を示す情報を教師データとして使用して、入力されたＣＴ画像における梗塞領域の有無の判別結果Ｒ４を出力するように学習がなされている。これにより、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂ０が入力されると、第１ＣＮＮ３１及び第５ＣＮＮ３５の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、ＣＴ画像Ｂ０における梗塞領域の有無の判別結果Ｒ４が第５ＣＮＮ３５の出力層３５ｂから出力される。なお、第５ＣＮＮ３５が出力する判別結果Ｒ４は、ＣＴ画像Ｂ０上に梗塞領域が有るか無いかを判別した結果となる。
ここで、第２の実施形態においては、第１ＣＮＮ３１の出力層３１ｂから出力された特徴量マップが、第２ＣＮＮ３２の入力層３２ａ、第３ＣＮＮ３３の入力層３３ａ、第４ＣＮＮ３４の入力層３４ａ、及び第５ＣＮＮ３５の入力層３５ａの全てに入力される。すなわち、第１ＣＮＮ３１においては、血栓領域を判別する場合、梗塞領域を判別する場合、血栓領域の解剖学的な部位を判別する場合、及び梗塞領域が有るか無いかを判別する場合の全てにおいて、共通の特徴量マップが出力される。
第２の実施形態においては、第１ＣＮＮ３１において、血栓の正解領域を示すデータ及び梗塞の正解領域を示すデータだけではなく、血栓の解剖学的な部位の正解情報を示すデータ及び梗塞領域の有無を示す情報のデータを用いて学習がなされている。すなわち、第２ＣＮＮ３２から出力される血栓領域の判別結果Ｒ１には、血栓だけではなく、脳の血管の解剖学的な部位についての知識、及び梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第３ＣＮＮ３３から出力される梗塞領域の判別結果Ｒ２には、梗塞だけではなく、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が反映されていることとなり、判別結果の精度が向上する。
また、同様に、第４ＣＮＮ３４から出力される血栓領域についての解剖学的な部位の判別結果Ｒ３には、脳の血管の解剖学的な部位についての知識だけではなく、血栓についての知識及び梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第５ＣＮＮ３５から出力される梗塞領域の有無の判別結果Ｒ４には、梗塞領域の有無だけではなく、梗塞についての知識、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が反映されていることとなり、判別結果の精度が向上する。
なお、第２の実施形態において、表示制御部２４は、血栓領域の解剖学的な部位が分類された脳画像を表示部１４に表示する。図１５は表示された脳のＣＴ画像を示す図である。なお、図１５においては、ＣＴ画像Ｂ０の１つの断層面のスライス画像を示している。表示制御部２４は、図１５に示すように、ＣＴ画像Ｂ０において分類された血栓領域の解剖学的な部位として「ＭＣＡ」を表示する。なお、表示制御部２４は、血栓領域の解剖学的な部位が分かるように表示できれば、例えば、解剖学的な部位の一覧表を表示させ、該当する部位を強調して表示するようにしてもよいし、任意の態様を用いて表示部１４に表示することができる。
また、表示制御部２４は、梗塞領域の有無が分類された脳画像を表示部１４に表示する。図１６は表示された脳のＣＴ画像を示す図である。なお、図１６においては、ＣＴ画像Ｂ０の１つの断層面のスライス画像を示している。表示制御部２４は、図１６に示すように、ＣＴ画像Ｂ０において分類された梗塞領域の有無として「有」を表示する。なお、表示制御部２４は、梗塞領域の有無が分かるように表示できれば、何れの態様で表示してもよい。
次いで、第２の実施形態において行われる処理について説明する。なお、第２の実施形態において学習時に行われる処理は、図８のフローチャートを使用することができる。まず、画像取得部２１が、脳血栓又は脳梗塞を発症している被検体の脳のＣＴ画像Ｂｔ１，Ｂｉ１を取得する（ステップＳＴ１）。次に、学習部２２が、ＣＴ画像Ｂｔ１，Ｂｉ１においてそれぞれ特定された血栓領域及び梗塞領域、並びにＣＴ画像Ｂｔ１，Ｂｉ１における血栓の解剖学的な部位を示す情報及び梗塞領域の有無を示す情報を教師データとして、入力されたＣＴ画像Ｂ０における血栓領域、梗塞領域、血栓の解剖学的な部位、及び梗塞領域の有無を判別する判別器２３−２を学習させて（ステップＳＴ２）、処理を終了する。
図１７は第２の実施形態において部位の判別時に行われる処理を示すフローチャートである。まず、画像取得部２１が、判別対象となるＣＴ画像Ｂ０を取得し（ステップＳＴ４１）、判別器２３−２が判別対象のＣＴ画像Ｂ０における血栓領域の解剖学的な部位を判別する（ステップＳＴ４２）。そして、表示制御部２４が、解剖学的な部位が判別されたＣＴ画像Ｂ０を表示部１４に表示し（ステップＳＴ４３）、処理を終了する。
図１８は第２の実施形態において梗塞領域の有無の判別時に行われる処理を示すフローチャートである。まず、画像取得部２１が、判別対象となるＣＴ画像Ｂ０を取得し（ステップＳＴ５１）、判別器２３−２が判別対象のＣＴ画像Ｂ０における梗塞領域の有無を判別する（ステップＳＴ５２）。そして、表示制御部２４が、梗塞領域の有無が判別されたＣＴ画像Ｂ０を表示部１４に表示し（ステップＳＴ５３）、処理を終了する。
以上のように、第２の実施形態によれば、第２ＣＮＮ３２から出力される血栓領域の判別結果には、血栓だけではなく、脳の血管の解剖学的な部位についての知識、及び梗塞についての知識が、第３ＣＮＮ３３から出力される梗塞領域の判別結果には、梗塞だけではなく、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が、第４ＣＮＮ３４から出力される血栓領域についての解剖学的な部位の判別結果には、脳の血管の解剖学的な部位についての知識だけではなく、血栓についての知識及び梗塞についての知識が、第５ＣＮＮ３５から出力される梗塞領域の有無の判別結果には、梗塞領域の有無だけではなく、梗塞についての知識、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が、それぞれ反映されていることとなるので、判別結果の精度が向上する。従って、第２の実施形態の判別器２３−２は、第１の実施形態よりも、広範な知識を用いて学習されているため、疾患領域を精度よく判別することができる。
なお、上記第２の実施形態においては、本開示の複数の学習部として４つのＣＮＮ３２，３３，３４，３５を備えているが、本開示の技術はこれに限られず、２つ以上のＣＮＮを備えていればいくつ備えていてもよい。
また、上述した実施形態においては、第１の疾患を血栓、第２の疾患を梗塞としたが、本開示の技術はこれに限られない。第１の疾患を梗塞、第２の疾患を血栓としてもよい。また、第１の疾患又は第２の疾患は、例えば出血であってもよい。
また、上述した実施形態においては、脳画像としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像及びＰＥＴ画像等の他の医用画像を用いてもよい。
また、上述した実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身及び四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。
また、上述した実施形態においては、各ＣＮＮとして畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、全てのニューラルネットワークが同一のニューラルネットワークでなくてもよい。例えば、第１ＣＮＮ３１を畳み込みニューラルネットワークとし、その他のＣＮＮをリカレントニューラルネットワークとしてもよい。ＣＮＮの種類については適宜変更することができる。
また、上述した実施形態においては、本開示の共通学習部である第１ＣＮＮ３１以外のＣＮＮは互いに接続されていないが、本開示の技術は、第１ＣＮＮ３１以外のＣＮＮについても各々が接続していてもよい。
また、上述した実施形態においては、ＣＴ画像Ｂ０，Ｂｔ１，Ｂｉ１として、非造影ＣＴ画像を用いているが、造影ＣＴ画像及び非造影ＣＴ画像の双方を判別器２３，２３−２の学習に用いるようにしてもよい。このように学習された判別器２３，２３−２を用いることにより、抽出対象のＣＴ画像が造影ＣＴ画像及び非造影ＣＴ画像のいずれであっても、血栓領域及び梗塞領域を判別できることとなる。
また、上述した実施形態において、例えば、画像取得部２１、学習部２２、判別器２３、及び表示制御部２４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
１ 疾患領域判別装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２，２２−２ 学習部
２３，２３−２ 判別器
２４ 表示制御部
３１ 第１ＣＮＮ（共通学習部）
３２ 第２ＣＮＮ（第１の学習部）
３３ 第３ＣＮＮ（第２の学習部）
３４ 第４ＣＮＮ（第３の学習部）
３５ 第５ＣＮＮ（第４の学習部）
Ａ１ 血栓領域
Ａ２ 梗塞領域
Ｂ０ 判別対象のＣＴ画像
Ｂｔ１ 血栓領域を含むＣＴ画像
Ｂｉ１ 梗塞領域を含むＣＴ画像

Claims (14)

  1. 入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
    医用画像及び該医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記第１の疾患領域を示す情報が出力されるように学習させ、
    かつ、医用画像及び該医用画像において前記第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の疾患領域を示す情報が出力されるように学習させる学習方法。
  2. 医用画像及び該医用画像における前記第１の疾患の解剖学的な部位の正解情報のデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第３の学習部の出力部から前記第１の疾患の解剖学的な部位を示す情報が出力されるように学習させる請求項１に記載の学習方法。
  3. 医用画像及び該医用画像における前記第２の疾患の有無を示す情報を複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第４の学習部の出力部から前記第２の疾患の有無を示す情報が出力されるように学習させる請求項１又は２に記載の学習方法。
  4. 前記共通学習部及び前記複数の学習部の各々は、前記入力部としての入力層、複数の中間層、及び前記出力部としての出力層を備えたニューラルネットワークである請求項１から３の何れか１項に記載の学習方法。
  5. 前記第１の疾患は血栓であり、前記第２の疾患は梗塞である請求項１から４の何れか１項に記載の学習方法。
  6. 前記医用画像が脳画像である請求項１から５の何れか１項に記載の学習方法。
  7. 入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
    医用画像及び該医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記第１の疾患領域を示す情報が出力されるように学習させ、
    かつ、医用画像及び該医用画像において前記第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の疾患領域を示す情報が出力されるように学習させる学習装置。
  8. 入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習プログラムであって、
    医用画像及び該医用画像において第１の疾患が現れた第１の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記第１の疾患領域を示す情報が出力されるように学習させる手順と、
    医用画像及び該医用画像において前記第１の疾患と医学的及び解剖学的の少なくとも一方に因果のある第２の疾患が現れた第２の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の疾患領域を示す情報が出力されるように学習させる手順とをコンピュータに実行させる学習プログラム。
  9. 請求項１から６の何れか１項に記載の学習方法、請求項７に記載の学習装置、及び請求項８に記載の学習プログラムの何れかにより学習がなされた判別器。
  10. 判別対象の医用画像を取得する画像取得部と、
    前記判別対象の医用画像における第１の疾患領域を判別する、請求項９に記載の判別器とを備えた疾患領域判別装置。
  11. 判別対象の医用画像を取得する画像取得部と、
    前記判別対象の医用画像における第２の疾患領域を判別する、請求項９に記載の判別器とを備えた疾患領域判別装置。
  12. 前記判別器による判別結果を表示部に表示させる表示制御部をさらに備えた請求項１０又は請求項１１に記載の疾患領域判別装置。
  13. 判別対象の医用画像を取得する手順と、
    請求項９に記載の判別器により、前記判別対象の医用画像における第１の疾患領域を判別する手順とをコンピュータに実行させる疾患領域判別プログラム。
  14. 判別対象の医用画像を取得する手順と、
    請求項９に記載の判別器により、前記判別対象の医用画像における第２の疾患領域を判別する手順とをコンピュータに実行させる疾患領域判別プログラム。
JP2018186789A 2018-10-01 2018-10-01 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム Active JP7129870B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018186789A JP7129870B2 (ja) 2018-10-01 2018-10-01 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
US16/584,847 US11244455B2 (en) 2018-10-01 2019-09-26 Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186789A JP7129870B2 (ja) 2018-10-01 2018-10-01 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020054580A true JP2020054580A (ja) 2020-04-09
JP7129870B2 JP7129870B2 (ja) 2022-09-02

Family

ID=69946311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186789A Active JP7129870B2 (ja) 2018-10-01 2018-10-01 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

Country Status (2)

Country Link
US (1) US11244455B2 (ja)
JP (1) JP7129870B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059799A1 (ja) * 2020-09-18 2022-03-24 国立大学法人群馬大学 情報処理装置及びプログラム
WO2023171040A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル
WO2023171039A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121678A1 (ja) * 2018-12-14 2020-06-18 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
TWI832057B (zh) * 2021-05-27 2024-02-11 宏碁股份有限公司 醫療影像判讀方法與系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160174902A1 (en) * 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템
WO2017127439A1 (en) * 2016-01-21 2017-07-27 Impac Medical Systems, Inc. Systems and methods for segmentation of intra-patient medical images
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US11049243B2 (en) * 2017-04-19 2021-06-29 Siemens Healthcare Gmbh Target detection in latent space
CN108771530B (zh) * 2017-05-04 2021-03-30 深圳硅基智能科技有限公司 基于深度神经网络的眼底病变筛查系统
EP3596697B1 (en) * 2017-06-28 2021-03-17 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160174902A1 (en) * 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
WO2017127439A1 (en) * 2016-01-21 2017-07-27 Impac Medical Systems, Inc. Systems and methods for segmentation of intra-patient medical images
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059799A1 (ja) * 2020-09-18 2022-03-24 国立大学法人群馬大学 情報処理装置及びプログラム
WO2023171040A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル
WO2023171039A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル

Also Published As

Publication number Publication date
US11244455B2 (en) 2022-02-08
US20200104996A1 (en) 2020-04-02
JP7129870B2 (ja) 2022-09-02

Similar Documents

Publication Publication Date Title
Wang et al. ADVIAN: Alzheimer's disease VGG-inspired attention network based on convolutional block attention module and multiple way data augmentation
JP7129870B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
Atlason et al. Unsupervised brain lesion segmentation from MRI using a convolutional autoencoder
Gillmann et al. Uncertainty‐aware Visualization in Medical Imaging‐A Survey
US11049251B2 (en) Apparatus, method, and program for learning discriminator discriminating infarction region, discriminator for discriminating infarction region, and apparatus, method, and program for discriminating infarction region
US11915414B2 (en) Medical image processing apparatus, method, and program
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
WO2019216125A1 (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
Somasundaram et al. Fetal brain extraction from magnetic resonance image (MRI) of human fetus
JP2020062355A (ja) 画像処理装置、データ生成装置及びプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP2023114463A (ja) 表示装置、方法およびプログラム
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7321271B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
JP2020068881A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
Sajjanar et al. Advancements in hybrid approaches for brain tumor segmentation in MRI: a comprehensive review of machine learning and deep learning techniques
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
Zarrin et al. A deep network ensemble for segmentation of cervical spinal cord and neural foramina
Aydin et al. Generative Modeling of the Circle of Willis Using 3D-StyleGAN
Andreini et al. Multi-stage Synthetic Image Generation for the Semantic Segmentation of Medical Images
Ratnakar et al. Artificial Intelligence and Medical Visualization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220823

R150 Certificate of patent or registration of utility model

Ref document number: 7129870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150