JP6251945B1 - Diagnosis support system, medical diagnosis support apparatus, and diagnosis support method - Google Patents

Diagnosis support system, medical diagnosis support apparatus, and diagnosis support method Download PDF

Info

Publication number
JP6251945B1
JP6251945B1 JP2017538746A JP2017538746A JP6251945B1 JP 6251945 B1 JP6251945 B1 JP 6251945B1 JP 2017538746 A JP2017538746 A JP 2017538746A JP 2017538746 A JP2017538746 A JP 2017538746A JP 6251945 B1 JP6251945 B1 JP 6251945B1
Authority
JP
Japan
Prior art keywords
image
certainty factor
medical image
medical
diagnosis support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017538746A
Other languages
Japanese (ja)
Other versions
JPWO2018012090A1 (en
Inventor
慶太 多田
慶太 多田
加藤 賢哉
賢哉 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEDIAMART,CO.,LTD.
Original Assignee
MEDIAMART,CO.,LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEDIAMART,CO.,LTD. filed Critical MEDIAMART,CO.,LTD.
Priority claimed from PCT/JP2017/017262 external-priority patent/WO2018012090A1/en
Application granted granted Critical
Publication of JP6251945B1 publication Critical patent/JP6251945B1/en
Publication of JPWO2018012090A1 publication Critical patent/JPWO2018012090A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

診断支援装置1は、身体状態の判定に用いる医療画像を、医療画像を解析する画像解析装置2に送信する画像送信部と、画像送信部が送信した医療画像と、当該医療画像の撮像方式を示す方式情報とを関連付けて記憶する記憶部と、画像解析装置から、医療画像がどのような身体状態を示している確信度が高いかを示す複数の確信度算出結果を受信する結果受信部と、複数の確信度算出結果のうち、画像解析装置に送信した医療画像に関連付けて記憶部に記憶された方式情報に対応する確信度算出結果に基づいて、医療画像が示す身体状態に関する診断支援情報を出力する出力部と、を有する。The diagnosis support apparatus 1 includes an image transmission unit that transmits a medical image used for determination of a physical state to an image analysis apparatus 2 that analyzes the medical image, a medical image transmitted by the image transmission unit, and an imaging method of the medical image. A storage unit that associates and stores the method information to be shown, and a result receiving unit that receives a plurality of certainty factor calculation results indicating what kind of physical state the medical image indicates from the image analysis device, and Among the plurality of certainty factor calculation results, based on the certainty factor calculation result corresponding to the method information stored in the storage unit in association with the medical image transmitted to the image analysis device, the diagnosis support information related to the physical state indicated by the medical image And an output unit for outputting.

Description

本発明は、医療画像に基づいて身体の状態を判定するための診断支援システム、医療診断支援装置及び診断支援方法に関する。   The present invention relates to a diagnosis support system, a medical diagnosis support apparatus, and a diagnosis support method for determining a body state based on a medical image.

従来、コンピュータを用いて医療画像を解析することにより、身体の状態の診断を補助するシステムが知られている。特許文献1には、学習用の医療画像を用いて、医療画像に含まれる部位を識別させる方法を学習させたコンピュータに、医療画像の診断を支援させる方法が開示されている。   2. Description of the Related Art Conventionally, a system that assists diagnosis of a body condition by analyzing a medical image using a computer is known. Japanese Patent Application Laid-Open No. 2004-228561 discloses a method for assisting diagnosis of a medical image in a computer that has learned a method for identifying a part included in the medical image using a medical image for learning.

特表2008−520317号公報Japanese translation of PCT publication No. 2008-520317

従来の方法においてコンピュータが解析する医療画像は、臓器が同一の方向から撮影された画像であった。例えば、特許文献1に開示された方法を用いることで、同一の方向から撮影された胸部の画像に基づいて、腫瘍の位置を特定することができる。   A medical image analyzed by a computer in a conventional method is an image obtained by photographing an organ from the same direction. For example, by using the method disclosed in Patent Document 1, the position of the tumor can be specified based on the chest image taken from the same direction.

しかしながら、臓器によっては、それぞれ異なる方向から撮影された複数種類の医療画像が用いられる。例えば、心臓のMRI(Magnetic Resonance Imaging)画像により診断を行う場合、水平断面画像及び垂直断面画像等の各種の医療画像が用いられる。このように、各種の医療画像が混在して用いられる場合、撮影された方向等の条件が異なることによって、コンピュータが、正常な画像であるにもかかわらず異常な画像であると認識してしまうことがあるという問題があった。   However, depending on the organ, multiple types of medical images taken from different directions are used. For example, when diagnosis is performed using an MRI (Magnetic Resonance Imaging) image of the heart, various medical images such as a horizontal cross-sectional image and a vertical cross-sectional image are used. In this way, when various medical images are used in a mixed manner, the computer recognizes that the image is an abnormal image although it is a normal image due to different conditions such as the direction in which the image was taken. There was a problem that there was something.

そこで、本発明はこれらの点に鑑みてなされたものであり、コンピュータによる医療画像に基づく診断支援の精度を向上させることを目的とする。   Accordingly, the present invention has been made in view of these points, and an object thereof is to improve the accuracy of diagnosis support based on medical images by a computer.

本発明の第1の態様に係る診断支援システムは、医療画像が示す身体状態の診断を支援する診断支援装置と、前記医療画像を解析する画像解析装置と、を備える診断支援システムである。前記画像解析装置は、前記診断支援装置から前記医療画像を受信する画像受信部と、前記医療画像を解析することにより、前記医療画像が示している複数の身体状態それぞれの確信度を算出する算出部と、前記算出部が算出した複数の身体状態に対応する複数の確信度を示す複数の確信度算出結果を前記診断支援装置に送信する結果送信部と、を有する。また、前記診断支援装置は、前記画像解析装置に解析させる対象となる前記医療画像を前記画像解析装置に送信する画像送信部と、前記画像送信部が送信した前記医療画像と、当該医療画像の撮像方式を示す方式情報とを関連付けて記憶する記憶部と、前記画像解析装置が送信した前記複数の確信度算出結果を受信する結果受信部と、前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力する出力部と、を有する。   A diagnosis support system according to a first aspect of the present invention is a diagnosis support system including a diagnosis support device that supports diagnosis of a physical condition indicated by a medical image, and an image analysis device that analyzes the medical image. The image analysis device is configured to calculate a certainty factor of each of a plurality of physical states indicated by the medical image by analyzing the medical image and an image receiving unit that receives the medical image from the diagnosis support device And a result transmitting unit that transmits a plurality of certainty factor calculation results indicating a plurality of certainty factors corresponding to the plurality of physical states calculated by the calculating unit to the diagnosis support apparatus. Further, the diagnosis support device includes an image transmission unit that transmits the medical image to be analyzed by the image analysis device to the image analysis device, the medical image transmitted by the image transmission unit, and the medical image A storage unit that associates and stores method information indicating an imaging method, a result receiving unit that receives the plurality of certainty factor calculation results transmitted by the image analysis device, and the image among the plurality of certainty factor calculation results An output unit that outputs diagnosis support information related to a physical condition indicated by the medical image based on a certainty factor calculation result corresponding to the method information stored in the storage unit in association with the medical image transmitted to the analysis device; Have

前記結果受信部は、前記医療画像が正常状態を示している確信度又は異常状態を示している確信度を示す確信度情報と前記方式情報とが関連付けられた前記複数の確信度算出結果を受信し、前記出力部は、前記複数の確信度算出結果のうち、前記画像送信部が送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報と同一の方式情報に対応する前記確信度算出結果に基づいて前記診断支援情報を出力してもよい。   The result receiving unit receives the plurality of certainty factor calculation results in which the certainty factor information indicating the certainty factor indicating the normal state or the certainty factor indicating the abnormal state is associated with the method information. And the output unit corresponds to the same method information corresponding to the same method information as the method information stored in the storage unit in association with the medical image transmitted by the image transmission unit among the plurality of certainty factor calculation results. The diagnosis support information may be output based on the degree calculation result.

前記出力部は、前記画像送信部が送信した前記医療画像に関連付けられた前記方式情報に対応する確信度算出結果が複数ある場合、前記複数の確信度算出結果のうち、前記確信度情報が示す確信度が最も高い一つの確信度算出結果を含む前記診断支援情報を出力してもよい。   When there are a plurality of certainty factor calculation results corresponding to the method information associated with the medical image transmitted by the image transmitting unit, the output unit indicates the certainty factor information among the plurality of certainty factor calculation results. The diagnosis support information including one certainty factor calculation result having the highest certainty factor may be output.

前記画像送信部は、複数の前記医療画像を含む医療画像群を送信し、前記結果受信部は、前記複数の医療画像のそれぞれに関連付けて前記複数の確信度算出結果を受信し、前記出力部は、前記複数の医療画像のそれぞれに対して前記複数の確信度算出結果から一つの画像別確信度算出結果を選択した後に、前記複数の医療画像のそれぞれに関連付けられた複数の前記画像別確信度算出結果に基づいて、前記医療画像群に対応する前記診断支援情報を出力してもよい。   The image transmitting unit transmits a medical image group including a plurality of the medical images, the result receiving unit receives the plurality of certainty factor calculation results in association with each of the plurality of medical images, and the output unit After selecting one image-specific reliability calculation result from the plurality of reliability calculation results for each of the plurality of medical images, the plurality of image-specific beliefs associated with each of the plurality of medical images The diagnosis support information corresponding to the medical image group may be output based on the degree calculation result.

前記出力部は、同一の前記医療画像群に含まれる前記複数の医療画像において異なる確信度算出結果が得られてしまった場合に、前記複数の医療画像のそれぞれが生成された時間に基づいて選択した一以上の医療画像に対応する前記確信度算出結果を選択してもよい。   The output unit selects based on the time when each of the plurality of medical images is generated when different certainty factor calculation results have been obtained for the plurality of medical images included in the same medical image group The certainty factor calculation result corresponding to the one or more medical images may be selected.

前記画像送信部は、複数の前記医療画像を含む医療画像群を送信し、前記結果受信部は、前記複数の医療画像のそれぞれに関連付けられた複数の画像別確信度算出結果をそれぞれが含む前記複数の確信度算出結果を受信し、前記出力部は、同一の方式情報に対応する前記複数の確信度算出結果から、それぞれの前記確信度算出結果における前記複数の医療画像に対応する複数の画像別確信度算出結果が示す前記確信度の最大値と、前記それぞれの確信度算出結果における前記複数の医療画像に対応する前記画像別確信度算出結果の総和が最も大きい確信度算出結果における総和に対する他の確信度算出結果における総和の割合と、に基づいて、前記医療画像群に対応する前記診断支援情報を出力してもよい。   The image transmitting unit transmits a medical image group including a plurality of the medical images, and the result receiving unit includes a plurality of image certainty factor calculation results associated with each of the plurality of medical images. Receiving a plurality of certainty factor calculation results, the output unit from the plurality of certainty factor calculation results corresponding to the same method information, a plurality of images corresponding to the plurality of medical images in each of the certainty factor calculation results The maximum value of the certainty factor indicated by another certainty factor calculation result and the sum total of the certainty factor calculation result corresponding to the plurality of medical images in the respective certainty factor calculation results is the largest in the certainty factor calculation result The diagnosis support information corresponding to the medical image group may be output based on the ratio of the sum in other certainty factor calculation results.

前記画像送信部は、前記画像解析装置に学習させるための前記医療画像である学習画像を、前記学習画像の撮像方式を示す前記方式情報と、前記学習画像に対応する身体状態を示す診断支援情報とに関連付けて前記画像解析装置に送信し、前記算出部は、前記画像受信部が受信した解析の対象となる前記医療画像が示す身体状態の確信度を、前記学習画像が示す前記診断支援情報に基づいて学習した結果に基づいて判定してもよい。   The image transmission unit is configured to acquire a learning image, which is the medical image to be learned by the image analysis apparatus, the method information indicating an imaging method of the learning image, and diagnosis support information indicating a physical state corresponding to the learning image. And the calculation unit is configured to transmit the diagnostic support information indicated by the learning image to the degree of certainty of the body state indicated by the medical image to be analyzed received by the image receiving unit. You may determine based on the result learned based on.

前記出力部は、前記画像送信部が前記画像解析装置に送信した前記医療画像に対応する方式情報に基づいて、前記結果受信部が受信した前記確信度算出結果に含まれる複数の結果から、前記画像送信部が送信した医療画像に関連付けられた方式情報に対応する結果を除去してもよい。   The output unit, based on the method information corresponding to the medical image transmitted by the image transmission unit to the image analysis device, from a plurality of results included in the certainty factor calculation result received by the result reception unit, You may remove the result corresponding to the system information linked | related with the medical image which the image transmission part transmitted.

また、前記算出部は、前記医療画像の撮像方式を示す方式情報と、正常であるか異常であるかを示す状態情報とが関連付けられた複数の学習用の医療画像を取得し、前記撮像方式の種別ごとに医療画像の正常パターンと異常パターンとの違いを学習してもよい。   Further, the calculation unit acquires a plurality of learning medical images in which method information indicating an imaging method of the medical image and state information indicating whether the medical image is normal or abnormal are associated, and the imaging method The difference between the normal pattern and the abnormal pattern of the medical image may be learned for each type.

本発明の第2の態様に係る医療診断支援装置は、身体状態の診断に用いる医療画像を、前記医療画像を解析する画像解析装置に送信する画像送信部と、前記画像送信部が送信した前記医療画像と、当該医療画像の撮像方式を示す方式情報とを関連付けて記憶する記憶部と、前記画像解析装置から、前記医療画像がどのような身体状態を示している確信度が高いかを示す複数の確信度算出結果を受信する結果受信部と、前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力する出力部と、を有する。   The medical diagnosis support apparatus according to the second aspect of the present invention includes an image transmission unit that transmits a medical image used for diagnosis of a physical condition to an image analysis device that analyzes the medical image, and the image transmission unit that transmits the medical image. A storage unit that associates and stores a medical image and method information indicating an imaging method of the medical image, and indicates from the image analysis device what kind of body state the medical image indicates is highly reliable A result receiving unit that receives a plurality of certainty factor calculation results, and among the plurality of certainty factor calculation results, corresponds to the method information stored in the storage unit in association with the medical image transmitted to the image analysis device An output unit that outputs diagnosis support information related to the physical state indicated by the medical image based on the certainty factor calculation result.

本発明の第3の態様に係る診断支援方法は、医療画像が示す身体状態の診断を支援するための診断支援方法であって、前記医療画像を解析する画像解析装置に解析させる対象となる前記医療画像を前記画像解析装置に送信するステップと、前記画像解析装置から、前記医療画像がどのような身体状態を示している確信度が高いかを示す複数の確信度算出結果を受信するステップと、前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像の撮像方式を示す方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力するステップと、を有する。   A diagnosis support method according to a third aspect of the present invention is a diagnosis support method for supporting diagnosis of a physical condition indicated by a medical image, and is an object to be analyzed by an image analysis apparatus that analyzes the medical image. Transmitting a medical image to the image analysis device; receiving from the image analysis device a plurality of certainty factor calculation results indicating a high certainty factor indicating the physical state of the medical image; and Based on the certainty factor calculation result corresponding to the method information indicating the imaging method of the medical image transmitted to the image analysis device among the plurality of certainty factor calculation results, the diagnostic support information regarding the physical condition indicated by the medical image And a step of outputting.

本発明によれば、コンピュータによる医療画像に基づく診断支援の精度が向上するという効果を奏する。   According to the present invention, there is an effect that accuracy of diagnosis support based on a medical image by a computer is improved.

診断支援システムSの構成を示す図である。1 is a diagram illustrating a configuration of a diagnosis support system S. FIG. 画像解析装置2における学習について説明するための図である。It is a figure for demonstrating learning in the image analysis apparatus. 画像解析装置2の学習後に、医療画像に対する確信度算出結果を出力する方法について説明するための図である。It is a figure for demonstrating the method of outputting the reliability calculation result with respect to a medical image after learning of the image analysis apparatus. 診断支援装置1の構成を示す図である。1 is a diagram illustrating a configuration of a diagnosis support apparatus 1. FIG. 画像解析装置2の構成を示す図である。2 is a diagram illustrating a configuration of an image analysis device 2. FIG. 診断支援装置1が医療画像群に対応する身体状態を特定する方法について説明するための図である。It is a figure for demonstrating the method the diagnosis assistance apparatus 1 specifies the physical state corresponding to a medical image group. 出力部143が、診断支援情報を出力する他の方法について説明するための図である。It is a figure for demonstrating the other method in which the output part 143 outputs diagnostic assistance information.

[本実施形態の概要]
図1は、本実施形態に係る診断支援システムSの構成を示す図である。画像判定システムSは、診断支援装置1と、画像解析装置2とを備える。
[Overview of this embodiment]
FIG. 1 is a diagram illustrating a configuration of a diagnosis support system S according to the present embodiment. The image determination system S includes a diagnosis support apparatus 1 and an image analysis apparatus 2.

診断支援装置1は、MRI装置、CT(Computer Tomography)装置、レントゲン装置、超音波検査装置等の医療機器から出力された医療画像を取得し、取得した医療画像が、身体に異常が生じている状態を示しているか否かの診断を支援する。診断支援装置1は、例えばサーバであり、医療機器から取得した医療画像を画像解析装置2に送信する。診断支援装置1は、画像解析装置2から、送信した医療画像に基づいて推定される、身体がどのような状態である確率が高いかを示す確信度の算出結果を受信する。診断支援装置1は、受信した確信度の算出結果に基づいて、身体に異常が生じている可能性が高いか否かを判定する。   The diagnosis support apparatus 1 acquires a medical image output from a medical device such as an MRI apparatus, a CT (Computer Tomography) apparatus, an X-ray apparatus, or an ultrasonic inspection apparatus, and the acquired medical image has an abnormality in the body. Assists in diagnosing whether the condition is indicated. The diagnosis support apparatus 1 is a server, for example, and transmits a medical image acquired from a medical device to the image analysis apparatus 2. The diagnosis support apparatus 1 receives, from the image analysis apparatus 2, a certainty factor calculation result that is estimated based on the transmitted medical image and indicates a high probability that the body is in a certain state. The diagnosis support apparatus 1 determines whether or not there is a high possibility that an abnormality has occurred in the body based on the received calculation result of the certainty factor.

画像解析装置2は、例えば人工知能のソフトウェアによりディープラーニングが可能なコンピュータである。画像解析装置2は、多数の学習用の医療画像を用いて、医療画像の内容と身体の異常の有無との関係を学習し、学習した結果に基づいて、診断支援装置1から受信した医療画像が、身体が異常状態であるという確信度、及び身体が正常状態であるという確信度を算出する。画像解析装置2は、算出した確信度を含む確信度算出結果を診断支援装置1に通知する。   The image analysis apparatus 2 is a computer capable of deep learning using, for example, artificial intelligence software. The image analysis device 2 learns the relationship between the content of the medical image and the presence / absence of a physical abnormality using a large number of medical images for learning, and the medical image received from the diagnosis support device 1 based on the learned result Calculate the certainty that the body is in an abnormal state and the certainty that the body is in a normal state. The image analysis device 2 notifies the diagnosis support device 1 of a certainty factor calculation result including the calculated certainty factor.

画像判定システムSは、さまざまな種別の医療画像が混在して使用可能であることを特徴としている。画像解析装置2は、学習時には、医療画像の撮像方式を示す方式情報と、正常であるか異常であるかを示す状態情報とが関連付けられた医療画像を取得し、各種別の医療画像の正常パターンと異常パターンとの違いを学習する。   The image determination system S is characterized in that various types of medical images can be used together. At the time of learning, the image analysis apparatus 2 acquires a medical image in which method information indicating a medical image imaging method and state information indicating whether the medical image is normal or abnormal are associated with each other, and normalization of various types of medical images is performed. Learn the difference between patterns and abnormal patterns.

方式情報には、医療画像に含まれる臓器の撮像方向(水平断面方向又は垂直断面方向)及び撮像タイミング(ローテンション中又は停止中)等のように、撮像方式の種別を特定するための情報が含まれている。画像解析装置2は、学習を行った後に、診断支援装置1から受信した医療画像が、それぞれの種別の医療画像の正常パターンである確信度、及びそれぞれの種別の医療画像の異常パターンである確信度を算出する。   The method information includes information for specifying the type of the imaging method, such as the imaging direction (horizontal sectional direction or vertical sectional direction) of the organ included in the medical image and the imaging timing (during rotation or stopping). include. After performing learning, the image analysis device 2 is convinced that the medical image received from the diagnosis support device 1 is a normality pattern of each type of medical image and an abnormal pattern of each type of medical image. Calculate the degree.

図2は、画像解析装置2における学習について説明するための図である。画像解析装置2が学習する際には、医療画像の種別と正常/異常を示す状態情報とが関連付けられた医療画像が画像解析装置2に入力される。図2の例では、医療画像の撮像方式を示す方式情報としてa、b、cの3種類が示されている。また、正常状態を示している医療画像にNが関連付けられており、異常状態を示している医療画像にE1又はE2が関連付けられている。E1及びE2は、それぞれ異なる異常状態に対応している。   FIG. 2 is a diagram for explaining learning in the image analysis apparatus 2. When the image analysis device 2 learns, a medical image in which the type of medical image and state information indicating normality / abnormality are associated is input to the image analysis device 2. In the example of FIG. 2, three types of information “a”, “b”, and “c” are shown as the method information indicating the imaging method of the medical image. Further, N is associated with the medical image indicating the normal state, and E1 or E2 is associated with the medical image indicating the abnormal state. E1 and E2 correspond to different abnormal states, respectively.

画像解析装置2は、多数の医療画像に基づいて、医療画像の方式情報と状態情報との各組み合わせが、どのような特徴を持っているかを認識し、組み合わせと特徴との関係をマッピングする。画像解析装置2は、さまざまな特徴に対して、組み合わせと特徴との関係をマッピングした学習結果を記憶媒体に記憶する。   The image analysis apparatus 2 recognizes what characteristics each combination of the method information and the state information of the medical image has based on a large number of medical images, and maps the relationship between the combination and the characteristics. The image analysis apparatus 2 stores, in a storage medium, learning results obtained by mapping the relationship between combinations and features for various features.

図3は、画像解析装置2の学習後に、医療画像に対する確信度算出結果を出力する方法について説明するための図である。画像解析装置2は、学習した後に取得した医療画像が有する特徴を分析し、医療画像が有する特徴が、各組み合わせに属する確信度を算出する。画像解析装置2は、医療画像ごとに、各組み合わせに属する確信度を算出し、医療画像を特定するための情報(例えば、医療画像ID)と各組み合わせに属する確信度とを関連付けた確信度算出結果を出力する。   FIG. 3 is a diagram for explaining a method of outputting a certainty factor calculation result for a medical image after learning by the image analysis apparatus 2. The image analysis device 2 analyzes the characteristics of the medical image acquired after learning, and calculates the certainty factor that the characteristics of the medical image belong to each combination. The image analysis device 2 calculates a certainty factor belonging to each combination for each medical image, and calculates a certainty factor that associates information for specifying the medical image (for example, a medical image ID) and a certainty factor belonging to each combination. Output the result.

図3に示す例においては、画像解析装置2が出力する確信度算出結果が、状態情報と方式情報の組み合わせがNaである確信度が0.9であり、E1aである確信度が0.4であり、E2bである確信度が0.3であることを示している。以下の説明において、確信度を示す数値を確信度情報と称する場合がある。診断支援装置1は、このような確信度算出結果を受信した場合、画像解析装置2に送信した医療画像に対応する方式情報に基づいて、確信度算出結果に含まれる複数の結果から、送信した医療情報と異なる方式情報に対応する結果を除去してもよい。   In the example shown in FIG. 3, the certainty factor calculation result output from the image analysis apparatus 2 is 0.9 when the combination of the state information and the method information is Na, and the certainty factor when E1a is 0.4. It is shown that the certainty factor of E2b is 0.3. In the following description, a numerical value indicating the certainty level may be referred to as certainty factor information. When the diagnosis support apparatus 1 receives such a certainty factor calculation result, the diagnosis support apparatus 1 transmits it from a plurality of results included in the certainty factor calculation result based on the method information corresponding to the medical image transmitted to the image analysis apparatus 2. Results corresponding to method information different from medical information may be removed.

例えば、診断支援装置1が送信した医療画像の方式情報がaである場合、診断支援装置1は、確信度算出結果に含まれているE2bという結果を除去する。診断支援装置1は、残った結果のうち、確信度が最も高い結果に対応する組み合わせ(図3においてはNa)が示す状態情報が、画像解析装置2に送信した医療画像に対応する身体状態を示していると判定して、判定した身体状態を示す診断支援情報を出力する。このようにして、診断支援装置1は、画像解析装置2に対して医療画像の方式情報を通知することなく、医療画像が示す臓器の状態を示す診断支援情報を出力することができる。診断支援装置1は、例えば、医療画像と診断支援情報とを関連付けて、医師のコンピュータに送信する。   For example, when the method information of the medical image transmitted by the diagnosis support apparatus 1 is a, the diagnosis support apparatus 1 removes the result E2b included in the certainty calculation result. In the diagnosis support apparatus 1, the state information indicated by the combination (Na in FIG. 3) corresponding to the result with the highest certainty among the remaining results indicates the physical state corresponding to the medical image transmitted to the image analysis apparatus 2. The diagnosis support information indicating the determined physical condition is output. In this way, the diagnosis support apparatus 1 can output diagnosis support information indicating the state of the organ indicated by the medical image without notifying the image analysis apparatus 2 of the method information of the medical image. For example, the diagnosis support apparatus 1 associates the medical image with the diagnosis support information and transmits it to the doctor's computer.

なお、確信度算出結果が示す数値は、確信度自体を示す数値である必要はなく、複数の組み合わせ間での相対的な確からしさを示す数値であればよい。図3に示すように、Naである確信度が0.9であり、E1aである確信度が0.4であり、Ebである確信度が0.3であることを示している場合、診断支援装置1は、全ての組み合わせの確信度の総和が1.0になるように正規化して、Naである確信度が56%、E1aである確信度が25%、E2bである確信度が19%であるとしてもよい。
以下、診断支援装置1及び画像解析装置2の構成及び動作について詳細に説明する。
The numerical value indicated by the certainty factor calculation result does not need to be a numerical value indicating the certainty factor itself, and may be a numerical value indicating a relative certainty among a plurality of combinations. As shown in FIG. 3, if the certainty factor that is Na is 0.9, the certainty factor that is E1a is 0.4, and the certainty factor that is Eb is 0.3, it is diagnosed. The support device 1 is normalized so that the sum of the certainty factors of all the combinations becomes 1.0, the certainty factor of Na is 56%, the certainty factor of E1a is 25%, and the certainty factor of E2b is 19%. %.
Hereinafter, configurations and operations of the diagnosis support apparatus 1 and the image analysis apparatus 2 will be described in detail.

[診断支援装置1の構成]
図4は、診断支援装置1の構成を示す図である。診断支援装置1は、画像取得部11と、通信部12と、記憶部13と、制御部14とを有する。画像取得部11は、医療機器等の外部装置から医療画像を取得するためのインターフェースである。画像取得部11は、例えばDICOM(Digital Imaging and Communication in Medicine)規格に対応するインターフェースである。
[Configuration of Diagnosis Support Device 1]
FIG. 4 is a diagram illustrating a configuration of the diagnosis support apparatus 1. The diagnosis support apparatus 1 includes an image acquisition unit 11, a communication unit 12, a storage unit 13, and a control unit 14. The image acquisition unit 11 is an interface for acquiring a medical image from an external device such as a medical device. The image acquisition unit 11 is an interface corresponding to, for example, DICOM (Digital Imaging and Communication in Medicine) standard.

通信部12は、画像解析装置2との間でデータを送受信するためのインターフェースであり、例えばLAN(Local Area Network)コントローラを有する。通信部12は、LAN又はインターネット等のネットワークを介して、画像解析装置2に複数の医療画像を送信するとともに、画像解析装置2から複数の確信度算出結果を受信する。   The communication unit 12 is an interface for transmitting and receiving data to and from the image analysis apparatus 2 and includes, for example, a LAN (Local Area Network) controller. The communication unit 12 transmits a plurality of medical images to the image analysis device 2 via a network such as a LAN or the Internet, and receives a plurality of certainty factor calculation results from the image analysis device 2.

記憶部13は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を含む。記憶部13は、制御部14が実行するプログラムを記憶する。また、記憶部13は、画像取得部11を介して受信した複数の医療画像、及び通信部12を介して画像解析装置2から受信した複数の確信度算出結果を一時的に記憶する。記憶部13は、例えば、画像解析装置2に送信した複数の医療画像と、各医療画像の方式情報とを関連付けて記憶する。   The storage unit 13 includes storage media such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk. The storage unit 13 stores a program executed by the control unit 14. In addition, the storage unit 13 temporarily stores a plurality of medical images received via the image acquisition unit 11 and a plurality of certainty factor calculation results received from the image analysis device 2 via the communication unit 12. The storage unit 13 stores, for example, a plurality of medical images transmitted to the image analysis device 2 and the method information of each medical image in association with each other.

制御部14は、例えばCPU(Central Processing Unit)である。制御部14は、記憶部13に記憶されたプログラムを実行することにより、画像送信部141、結果受信部142及び出力部143として機能する。   The control unit 14 is, for example, a CPU (Central Processing Unit). The control unit 14 functions as an image transmission unit 141, a result reception unit 142, and an output unit 143 by executing a program stored in the storage unit 13.

画像送信部141は、画像解析装置2に解析させる対象となる医療画像を画像解析装置2に送信する。画像送信部141は、画像取得部11が取得した医療画像から、医療画像に対応する人を特定することが可能な識別情報を除去し、識別情報を除去した後の複数の医療画像を、通信部12を介して画像解析装置2に送信する。なお、画像送信部141は、画像解析装置2が学習する際に、画像解析装置2に学習させるための医療画像である学習画像を、学習画像の撮像方式を示す方式情報と、学習画像に対応する身体状態を示す診断支援情報とに関連付けて画像解析装置2に送信してもよい。   The image transmission unit 141 transmits a medical image to be analyzed by the image analysis device 2 to the image analysis device 2. The image transmission unit 141 removes identification information that can identify a person corresponding to the medical image from the medical image acquired by the image acquisition unit 11, and communicates a plurality of medical images after the identification information is removed. The image is transmitted to the image analysis apparatus 2 via the unit 12. The image transmission unit 141 corresponds to the learning image, which is a medical image for the image analysis device 2 to learn when the image analysis device 2 learns, and the learning information. The image may be transmitted to the image analysis apparatus 2 in association with the diagnosis support information indicating the physical condition to be performed.

結果受信部142は、画像解析装置2が送信した複数の確信度算出結果を、通信部12を介して受信する。複数の確信度算出結果は、例えば、図3を参照して説明したように、複数の方式情報と複数の状態情報との各組み合わせに対応する確信度算出結果である。結果受信部142は、医療画像が正常状態を示している確信度又は異常状態を示している確信度を示す確信度情報と方式情報とが関連付けられた複数の確信度算出結果を受信する。結果受信部142は、受信した複数の確信度算出結果を出力部143に入力する。   The result receiving unit 142 receives a plurality of certainty factor calculation results transmitted by the image analysis device 2 via the communication unit 12. For example, as described with reference to FIG. 3, the plurality of certainty factor calculation results are certainty factor calculation results corresponding to each combination of a plurality of method information and a plurality of state information. The result receiving unit 142 receives a plurality of certainty factor calculation results in which the certainty factor information indicating the certainty factor indicating the normal state or the certainty factor indicating the abnormal state and the method information are associated with each other. The result receiving unit 142 inputs a plurality of received certainty factor calculation results to the output unit 143.

出力部143は、結果受信部142が受信した複数の確信度算出結果のうち、画像解析装置2に送信した医療画像に関連付けて記憶部13に記憶された方式情報に対応する確信度算出結果に基づいて、医療画像が示す身体状態に関する診断支援情報を出力する。具体的には、出力部143は、複数の確信度算出結果のうち、画像送信部141が画像解析装置2に送信した医療画像に関連付けて記憶部13に記憶された方式情報と同一の方式情報に対応する確信度算出結果に基づいて診断支援情報を出力する。例えば、出力部143は、図3に示した例の場合、方式情報a、bに対応する複数の確信度算出結果のうち、画像解析装置2に送信した医療画像の方式情報であるaに対応する確信度算出結果に対応する診断支援情報を出力する。   The output unit 143 outputs a certainty factor calculation result corresponding to the method information stored in the storage unit 13 in association with the medical image transmitted to the image analysis device 2 among the plurality of certainty factor calculation results received by the result receiving unit 142. Based on this, the diagnosis support information related to the physical condition indicated by the medical image is output. Specifically, the output unit 143 has the same method information as the method information stored in the storage unit 13 in association with the medical image transmitted from the image transmission unit 141 to the image analysis device 2 among the plurality of certainty factor calculation results. The diagnosis support information is output based on the certainty factor calculation result corresponding to. For example, in the case of the example illustrated in FIG. 3, the output unit 143 corresponds to “a” that is the method information of the medical image transmitted to the image analysis device 2 among the plurality of certainty factor calculation results corresponding to the method information “a” and “b”. Diagnosis support information corresponding to the certainty calculation result is output.

出力部143は、画像送信部141が画像解析装置2に送信した医療画像に関連付けられた方式情報に対応する確信度算出結果が複数ある場合、複数の確信度算出結果のうち、確信度情報が示す確信度が最も高い一つの確信度算出結果を出力する。例えば、図3に示した例においては、画像解析装置2に送信した医療画像に関連付けられた方式情報aに対応する確信度算出結果として、画像解析装置2からはNa及びE1aが送信されている。そこで、出力部143は、Na及びE1aのうち、確信度がE1aよりも高いNaを選択し、医療画像が、正常な状態を示していることを示す診断支援情報を出力する。出力部143は、確信度算出結果を受信した場合、画像解析装置2に送信した医療画像に対応する方式情報に基づいて、確信度算出結果に含まれる複数の結果から、画像送信部141が送信した医療画像に関連付けられた方式情報と異なる方式情報に対応する結果を除去してもよい。
When there are a plurality of certainty factor calculation results corresponding to the method information associated with the medical image transmitted from the image transmitting unit 141 to the image analysis device 2, the output unit 143 includes the certainty factor information among the plurality of certainty factor calculation results. One confidence level calculation result with the highest certainty level is output. For example, in the example illustrated in FIG. 3, Na and E1a are transmitted from the image analysis device 2 as the certainty calculation result corresponding to the method information a associated with the medical image transmitted to the image analysis device 2. . Therefore, the output unit 143 selects Na having higher certainty than E1a among Na and E1a, and outputs diagnosis support information indicating that the medical image indicates a normal state. When the output unit 143 receives the certainty factor calculation result, the image transmitting unit 141 transmits the plurality of results included in the certainty factor calculation result based on the method information corresponding to the medical image transmitted to the image analysis device 2. The result corresponding to the method information different from the method information associated with the medical image may be removed.

[画像解析装置2の構成]
図5は、画像解析装置2の構成を示す図である。画像解析装置2は、画像受信部21と、算出部22と、記憶部23と、結果送信部24とを有する。
[Configuration of Image Analysis Device 2]
FIG. 5 is a diagram illustrating a configuration of the image analysis apparatus 2. The image analysis device 2 includes an image reception unit 21, a calculation unit 22, a storage unit 23, and a result transmission unit 24.

画像受信部21は、診断支援装置1から医療画像を受信する。算出部22は、医療画像を解析することにより、医療画像がどのような身体状態を示している確信度が高いかを算出する。算出部22は、画像受信部21が受信した解析の対象となる医療画像が示している複数の身体状態それぞれに対応する確信度を、学習画像が示す診断支援情報を用いて学習した結果に基づいて算出する。算出部22は、例えばCPUであり、記憶部23に記憶されたプログラムを実行することにより、算出処理を実行する。   The image receiving unit 21 receives a medical image from the diagnosis support apparatus 1. The calculation unit 22 analyzes the medical image to calculate what kind of physical state the medical image indicates is high. The calculation unit 22 is based on the result of learning the certainty factor corresponding to each of a plurality of physical states indicated by the medical image to be analyzed received by the image receiving unit 21 using the diagnosis support information indicated by the learning image. To calculate. The calculation unit 22 is, for example, a CPU, and executes a calculation process by executing a program stored in the storage unit 23.

算出部22は、学習過程において、医療画像の撮像方式を示す方式情報と、正常であるか異常であるかを示す状態情報とが関連付けられた複数の学習用の医療画像を取得する。算出部22は、撮像方式の種別ごとに医療画像の正常パターンと異常パターンとの違いを学習することにより学習モデルを作成し、作成した学習モデルを記憶部23に記憶させる。算出部22は、画像受信部21が医療画像を受信すると、記憶部23に記憶された学習モデルを参照し、画像受信部21が受信した医療画像と方式情報とを学習モデルへの入力とすることで、確信度を算出する。   In the learning process, the calculation unit 22 acquires a plurality of learning medical images in which method information indicating a medical image capturing method and state information indicating whether the medical image is normal or abnormal are associated with each other. The calculation unit 22 creates a learning model by learning the difference between the normal pattern and the abnormal pattern of the medical image for each type of imaging method, and stores the created learning model in the storage unit 23. When the image reception unit 21 receives a medical image, the calculation unit 22 refers to the learning model stored in the storage unit 23 and uses the medical image and method information received by the image reception unit 21 as inputs to the learning model. Thus, the certainty factor is calculated.

記憶部23は、ROM、RAM及びハードディスク等の記憶媒体を含む。記憶部23は、算出部22が実行するプログラムを記憶している。結果送信部24は、算出部22が生成した複数の確信度算出結果を診断支援装置1に送信する。   The storage unit 23 includes storage media such as a ROM, a RAM, and a hard disk. The storage unit 23 stores a program executed by the calculation unit 22. The result transmission unit 24 transmits a plurality of certainty factor calculation results generated by the calculation unit 22 to the diagnosis support apparatus 1.

(変形例)
上記の説明においては、診断支援装置1が画像解析装置2に1枚の医療画像を送信する場合について説明したが、診断支援装置1は、複数の医療画像を含む医療画像群を画像解析装置2に送信し、送信した複数の医療画像のそれぞれに対応する複数の確信度算出結果を画像解析装置2から受信してもよい。医療画像群は、例えば、複数の医療画像のファイルが書庫形式で単一ファイル化されている。
(Modification)
In the above description, the case where the diagnosis support apparatus 1 transmits one medical image to the image analysis apparatus 2 has been described. However, the diagnosis support apparatus 1 converts a medical image group including a plurality of medical images into the image analysis apparatus 2. A plurality of certainty factor calculation results corresponding to each of the transmitted plurality of medical images may be received from the image analysis device 2. In the medical image group, for example, a plurality of medical image files are converted into a single file in the archive format.

具体的には、診断支援装置1及び画像解析装置2は、以下のように動作する。
画像送信部141は、複数の医療画像を含む医療画像群を画像解析装置2に送信する。画像送信部141は、例えば、所定の時間(例えば30秒)にわたって取得された心臓のMRI画像群を画像解析装置2に送信する。医療画像群においては、医療画像群に含まれる各医療画像を特定するための識別情報が、医療画像に関連付けられている。
Specifically, the diagnosis support apparatus 1 and the image analysis apparatus 2 operate as follows.
The image transmission unit 141 transmits a medical image group including a plurality of medical images to the image analysis device 2. For example, the image transmission unit 141 transmits the MRI image group of the heart acquired over a predetermined time (for example, 30 seconds) to the image analysis apparatus 2. In the medical image group, identification information for specifying each medical image included in the medical image group is associated with the medical image.

画像解析装置2は、医療画像群を受信すると、算出部22において、医療画像群に含まれる医療画像ごとに、確信度算出結果を生成する。結果送信部24は、医療画像に関連付けて、複数の確信度算出結果を診断支援装置1に送信する。例えば、結果送信部24は、医療画像の識別情報と確信度算出結果とを関連付けて送信する。   When the image analysis device 2 receives the medical image group, the calculation unit 22 generates a certainty factor calculation result for each medical image included in the medical image group. The result transmission unit 24 transmits a plurality of certainty factor calculation results to the diagnosis support apparatus 1 in association with the medical image. For example, the result transmission unit 24 transmits the medical image identification information and the certainty factor calculation result in association with each other.

結果受信部142は、複数の医療画像のそれぞれに関連付けて複数の確信度算出結果を受信し、受信した複数の確信度算出結果を、医療画像の識別情報に関連付けて記憶部13に記憶させる。
出力部143は、例えば、複数の医療画像のそれぞれに対して複数の確信度算出結果から一つの画像別確信度算出結果を選択した後に、複数の医療画像のそれぞれに関連付けられた複数の画像別確信度算出結果に基づいて、医療画像群に対応する診断支援情報を出力する。
The result receiving unit 142 receives a plurality of certainty factor calculation results in association with each of the plurality of medical images, and stores the received plurality of certainty factor calculation results in the storage unit 13 in association with the identification information of the medical image.
The output unit 143 selects, for example, one image certainty factor calculation result from a plurality of certainty factor calculation results for each of a plurality of medical images, and then selects a plurality of image items associated with each of the plurality of medical images. Based on the certainty calculation result, diagnosis support information corresponding to the medical image group is output.

図6は、診断支援装置1が医療画像群に対応する身体状態を特定する方法について説明するための図である。診断支援装置1が、図6のような5枚の医療画像を含む医療画像群を画像解析装置2に送信し、結果受信部142が、それぞれの医療画像に対応する確信度算出結果を受信したとする。このような場合、まず、出力部143は、それぞれの医療画像に対応する確信度算出結果のうち、記憶部13に記憶された医療画像の方式情報に対応する確信度算出結果を選択する。例えば、図6に示す例において、出力部143は、医療画像1に対応する確信度算出結果のうち、Na及びE1aを選択する。   FIG. 6 is a diagram for explaining a method by which the diagnosis support apparatus 1 identifies a physical state corresponding to a medical image group. The diagnosis support apparatus 1 transmits a medical image group including five medical images as shown in FIG. 6 to the image analysis apparatus 2, and the result receiving unit 142 receives the certainty calculation result corresponding to each medical image. And In such a case, first, the output unit 143 selects a certainty factor calculation result corresponding to the method information of the medical image stored in the storage unit 13 among the certainty factor calculation results corresponding to the respective medical images. For example, in the example illustrated in FIG. 6, the output unit 143 selects Na and E1a from the certainty factor calculation results corresponding to the medical image 1.

続いて、出力部143は、選択した確信度算出結果が複数ある場合、複数の確信度算出結果のうち、最も高い確信度を示している確信度算出結果を選択する。図6の医療画像1の場合、Naの確信度が0.7、E1aの確信度が0.6であることから、出力部143は、確信度が最も大きいNaを選択する。そして、出力部143は、確信度算出結果がNaであることから、医療画像1に基づいて、身体状態が正常であることを示す診断支援情報を出力する。   Subsequently, when there are a plurality of selected certainty factor calculation results, the output unit 143 selects a certainty factor calculation result indicating the highest certainty factor among the plurality of certainty factor calculation results. In the case of the medical image 1 in FIG. 6, since the certainty factor of Na is 0.7 and the certainty factor of E1a is 0.6, the output unit 143 selects Na having the highest certainty factor. Then, since the certainty factor calculation result is Na, the output unit 143 outputs diagnosis support information indicating that the body condition is normal based on the medical image 1.

出力部143は、同様の手順により、医療画像2〜医療画像4に対しては確信度算出結果Naを選択する。これに対して、出力部143は、医療画像5に対しては、確信度算出結果E1aを選択する。このように、同一の医療画像群に含まれる複数の医療画像において、異なる確信度算出結果が得られてしまった場合、出力部143は、最も多くの医療画像に対応する確信度算出結果を、医療画像群に対応する確信度算出結果に決定する。このようにすることで、一部の医療画像に基づいて身体状態を判定することが困難な場合であっても、出力部143は、高い精度で身体状態を特定することができる。   The output unit 143 selects the certainty factor calculation result Na for the medical images 2 to 4 by the same procedure. On the other hand, the output unit 143 selects the certainty factor calculation result E1a for the medical image 5. As described above, when different certainty factor calculation results are obtained in a plurality of medical images included in the same medical image group, the output unit 143 displays the certainty factor calculation results corresponding to the most medical images. The certainty factor calculation result corresponding to the medical image group is determined. By doing in this way, even if it is difficult to determine the physical state based on some medical images, the output unit 143 can specify the physical state with high accuracy.

出力部143は、同一の医療画像群に含まれる複数の医療画像において、異なる確信度算出結果が得られてしまった場合に、複数の医療画像のそれぞれが生成された時間に基づいて選択した一以上の医療画像に対応する確信度算出結果を選択してもよい。医療画像群における最初の所定の期間に生成された医療画像、及び最後の所定の期間に生成された医療画像は、その他の医療画像に比べて信頼度が低い傾向にある。そこで、出力部143は、例えば、医療画像群に含まれる複数の医療画像のうち、最初に医療画像が生成された時刻より後の所定の期間に含まれる医療画像、及び最後に医療画像が生成された時刻より前の所定の期間に含まれる医療画像以外の医療画像の確信度算出結果を用いて、身体状態を特定する。   The output unit 143 selects one based on the time when each of the plurality of medical images is generated when different certainty factor calculation results are obtained in the plurality of medical images included in the same medical image group. You may select the certainty calculation result corresponding to the above medical image. The medical image generated in the first predetermined period in the medical image group and the medical image generated in the last predetermined period tend to be less reliable than the other medical images. Therefore, the output unit 143 generates, for example, a medical image included in a predetermined period after the time when the medical image is first generated, and finally a medical image among a plurality of medical images included in the medical image group. The body state is specified using the certainty factor calculation result of the medical image other than the medical image included in the predetermined period before the determined time.

また、出力部143は、同一の方式情報に対応する複数の確信度算出結果のうち、複数の医療画像に対応する確信度算出結果が示す確信度の総和が最も大きい確信度算出結果に基づいて、医療画像群に対応する診断支援情報を出力してもよい。例えば、図6に示す例の場合、各医療画像に対応する確信度算出結果Naの総和は、0.7+0.9+0.9+0.8+0.5=3.8であり、確信度算出結果E1aの総和は、0.6+0.4+0.3+0.5+0.6=2.4であり、確信度算出結果E2aの総和は0.3である。この場合、出力部143は、医療画像群の確率算出結果としてNaを選択し、医療画像群が示す身体状態が正常であることを示す診断支援情報を出力する。   Further, the output unit 143 is based on the certainty factor calculation result having the largest sum of certainty factors indicated by the certainty factor calculation results corresponding to the plurality of medical images among the plural certainty factor calculation results corresponding to the same method information. The diagnosis support information corresponding to the medical image group may be output. For example, in the case of the example shown in FIG. 6, the total sum of the certainty factor calculation results Na corresponding to each medical image is 0.7 + 0.9 + 0.9 + 0.8 + 0.5 = 3.8, and the total sum of the certainty factor calculation results E1a. Is 0.6 + 0.4 + 0.3 + 0.5 + 0.6 = 2.4, and the sum of the certainty calculation results E2a is 0.3. In this case, the output unit 143 selects Na as the probability calculation result of the medical image group, and outputs diagnosis support information indicating that the physical state indicated by the medical image group is normal.

さらに、出力部143は、同一の方式情報に対応する複数の確信度算出結果から、それぞれの確信度算出結果における複数の医療画像に対応する複数の画像別確信度算出結果が示す確信度の最大値と、それぞれの確信度算出結果における複数の医療画像に対応する画像別確信度算出結果の総和が最も大きい確信度算出結果における総和に対する他の確信度算出結果における総和の割合(寄与度)とに基づいて、医療画像群に対応する診断支援情報を出力してもよい。   Further, the output unit 143 determines the maximum certainty factor indicated by a plurality of image certainty factor calculation results corresponding to a plurality of medical images in each certainty factor calculation result from a plurality of certainty factor calculation results corresponding to the same method information. Value and the ratio (contribution) of the sum in the other belief calculation results to the sum in the belief calculation result with the largest sum of the belief calculation results for each image corresponding to a plurality of medical images in each belief calculation result Based on the above, diagnosis support information corresponding to the medical image group may be output.

図7は、出力部143が診断支援情報を出力する上記の方法について説明するための図である。出力部143は、まず、Na、E1a、E2b等のそれぞれの確信度算出結果に対して、複数の医療画像に対応する複数の画像別確信度算出結果の総和を算出する。例えば、図7(a)に示す例においては、Naの場合、総和は0.7+0.9+0.9=2.5、E1aの場合、総和は0.6+0.4+0.3=1.3、E2bの場合、総和は0.3+0.3+0.4=1.0となる。この場合、最も総和が大きい確信度算出結果はNaであり、総和は2.5である。この場合、Naの総和に対するE1aの総和の割合(寄与度)は0.5であり、Naの総和に対するE2bの総和の割合(寄与度)は0.4である。   FIG. 7 is a diagram for explaining the above method in which the output unit 143 outputs diagnosis support information. First, the output unit 143 calculates the sum of a plurality of image-specific certainty calculation results corresponding to a plurality of medical images with respect to each reliability calculation result of Na, E1a, E2b, and the like. For example, in the example shown in FIG. 7A, in the case of Na, the sum is 0.7 + 0.9 + 0.9 = 2.5, and in the case of E1a, the sum is 0.6 + 0.4 + 0.3 = 1.3, E2b. In this case, the sum is 0.3 + 0.3 + 0.4 = 1.0. In this case, the reliability calculation result with the largest sum is Na, and the sum is 2.5. In this case, the ratio (contribution) of the sum of E1a to the sum of Na is 0.5, and the ratio (contribution) of E2b to the sum of Na is 0.4.

続いて、出力部143は、それぞれの確信度算出結果における複数の医療画像に対応する複数の画像別確信度算出結果が示す確信度の最大値を選択する。確信度算出結果Naにおける確信度の最大値は0.9、確信度算出結果E1aにおける確信度の最大値は0.6、確信度算出結果E2bにおける確信度の最大値は0.4である。   Subsequently, the output unit 143 selects the maximum value of the certainty factor indicated by the plurality of image certainty factor calculation results corresponding to the plurality of medical images in the respective certainty factor calculation results. The maximum value of the certainty factor in the certainty factor calculation result Na is 0.9, the maximum value of the certainty factor in the certainty factor calculation result E1a is 0.6, and the maximum value of the certainty factor in the certainty factor calculation result E2b is 0.4.

続いて、図7(b)に示すように、出力部143は、それぞれの確信度算出結果に対して選択した確信度の最大値に寄与度を乗算することにより、判定値を算出する。図7(b)に示す例においては、Naの判定値は、0.9×1.0=0.90、E1aの判定値は、0.6×0.5=0.30、E2bの判定値は、0.4×0.4=0.16となる。出力部143は、判定値が最も大きい確信度算出結果に対応する身体状態が、医療画像が示す身体状態であると特定し、その旨を示す診断支援情報を出力する。   Subsequently, as illustrated in FIG. 7B, the output unit 143 calculates a determination value by multiplying the maximum value of the certainty factor selected for each certainty factor calculation result by the contribution factor. In the example shown in FIG. 7B, the determination value of Na is 0.9 × 1.0 = 0.90, the determination value of E1a is 0.6 × 0.5 = 0.30, and the determination value of E2b. The value is 0.4 × 0.4 = 0.16. The output unit 143 specifies that the physical condition corresponding to the certainty factor calculation result having the largest determination value is the physical condition indicated by the medical image, and outputs diagnosis support information indicating that.

以上の図7を用いて説明した方法により、複数の医療画像に対応する複数の画像別確信度算出結果の総和を用いることで、各確信度算出結果の信頼性の高さが考慮されるので、判定精度をさらに向上することができる。   Since the method described with reference to FIG. 7 described above is used, the high reliability of each confidence factor calculation result is taken into account by using the sum of a plurality of image confidence factor calculation results corresponding to a plurality of medical images. The determination accuracy can be further improved.

[診断支援システムSによる効果]
以上説明したように、本実施形態に係る診断支援システムSにおいては、診断支援装置1が、身体状態の判定に用いる医療画像を画像解析装置2に送信し、診断支援装置1は、画像解析装置2から受信した複数の確信度算出結果のうち、画像解析装置2に送信した医療画像に関連付けて記憶部13に記憶された方式情報に対応する確信度算出結果に基づいて、医療画像が示す身体状態に関する診断支援情報を出力する。このようにすることで、診断支援装置1は、医療画像に関連付けて方式情報を画像解析装置2に送信することなく、画像解析装置2の人工知能を用いて、医療画像に基づいて身体状態を高い精度で判定することができる。
[Effects of diagnosis support system S]
As described above, in the diagnosis support system S according to the present embodiment, the diagnosis support apparatus 1 transmits a medical image used for the determination of the body state to the image analysis apparatus 2, and the diagnosis support apparatus 1 includes the image analysis apparatus. Among the plurality of certainty factor calculation results received from 2, the body indicated by the medical image based on the certainty factor calculation result corresponding to the method information stored in the storage unit 13 in association with the medical image transmitted to the image analysis device 2 Outputs diagnostic support information about the condition. In this way, the diagnosis support apparatus 1 uses the artificial intelligence of the image analysis apparatus 2 to determine the physical state based on the medical image without transmitting method information to the image analysis apparatus 2 in association with the medical image. It can be determined with high accuracy.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
例えば、上記の説明においては、医療画像としてMRI装置から出力された撮像画像が用いられる例について説明したが、医療画像の種別はMRIの画像に限らず、MRI装置以外の医療機器から出力された任意の画像であってもよい。また、医療画像は、心臓以外の部位の画像であってもよい。
As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
For example, in the above description, an example in which a captured image output from an MRI apparatus is used as a medical image has been described. However, the medical image type is not limited to an MRI image, and is output from a medical device other than the MRI apparatus. Any image may be used. The medical image may be an image of a part other than the heart.

1 診断支援装置
2 画像解析装置
11 画像取得部
12 通信部
13 記憶部
14 制御部
21 画像受信部
22 算出部
23 記憶部
24 結果送信部
141 画像送信部
142 結果受信部
143 出力部
DESCRIPTION OF SYMBOLS 1 Diagnosis support apparatus 2 Image analysis apparatus 11 Image acquisition part 12 Communication part 13 Storage part 14 Control part 21 Image reception part 22 Calculation part 23 Storage part 24 Result transmission part 141 Image transmission part 142 Result reception part 143 Output part

Claims (11)

医療画像が示す身体状態の診断を支援する診断支援装置と、前記医療画像を解析する画像解析装置と、を備える診断支援システムであって、
前記画像解析装置は、
前記診断支援装置から前記医療画像を受信する画像受信部と、
前記医療画像を解析することにより、前記医療画像が示している複数の身体状態それぞれの確信度を算出する算出部と、
前記算出部が算出した複数の身体状態に対応する複数の確信度を示す複数の確信度算出結果を前記診断支援装置に送信する結果送信部と、
を有し、
前記診断支援装置は、
前記画像解析装置に解析させる対象となる前記医療画像を前記画像解析装置に送信する画像送信部と、
前記画像送信部が送信した前記医療画像と、当該医療画像の撮像方式を示す方式情報とを関連付けて記憶する記憶部と、
前記画像解析装置が送信した前記複数の確信度算出結果を受信する結果受信部と、
前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力する出力部と、
を有する診断支援システム。
A diagnosis support system comprising: a diagnosis support device that supports diagnosis of a physical condition indicated by a medical image; and an image analysis device that analyzes the medical image,
The image analysis device includes:
An image receiving unit for receiving the medical image from the diagnosis support apparatus;
By calculating the certainty factor of each of a plurality of physical states indicated by the medical image by analyzing the medical image;
A result transmitting unit that transmits a plurality of certainty factor calculation results indicating a plurality of certainty factors corresponding to the plurality of physical states calculated by the calculating unit;
Have
The diagnosis support apparatus includes:
An image transmission unit that transmits the medical image to be analyzed by the image analysis device to the image analysis device;
A storage unit that associates and stores the medical image transmitted by the image transmission unit and method information indicating an imaging method of the medical image;
A result receiving unit for receiving the plurality of certainty factor calculation results transmitted by the image analysis device;
Of the plurality of certainty factor calculation results, the body indicated by the medical image is based on the certainty factor calculation result corresponding to the method information stored in the storage unit in association with the medical image transmitted to the image analysis device. An output unit for outputting diagnosis support information about the state;
A diagnostic support system.
前記結果受信部は、前記医療画像が正常状態を示している確信度又は異常状態を示している確信度を示す確信度情報と前記方式情報とが関連付けられた前記複数の確信度算出結果を受信し、
前記出力部は、前記複数の確信度算出結果のうち、前記画像送信部が送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報と同一の方式情報に対応する前記確信度算出結果に基づいて前記診断支援情報を出力する、
請求項1に記載の診断支援システム。
The result receiving unit receives the plurality of certainty factor calculation results in which the certainty factor information indicating the certainty factor indicating the normal state or the certainty factor indicating the abnormal state is associated with the method information. And
The output unit calculates the certainty factor corresponding to the same method information as the method information stored in the storage unit in association with the medical image transmitted by the image transmission unit among the plurality of certainty factor calculation results. Outputting the diagnosis support information based on a result;
The diagnosis support system according to claim 1.
前記出力部は、前記画像送信部が送信した前記医療画像に関連付けられた前記方式情報に対応する確信度算出結果が複数ある場合、前記複数の確信度算出結果のうち、前記確信度情報が示す確信度が最も高い一つの確信度算出結果を含む前記診断支援情報を出力する、
請求項2に記載の診断支援システム。
When there are a plurality of certainty factor calculation results corresponding to the method information associated with the medical image transmitted by the image transmitting unit, the output unit indicates the certainty factor information among the plurality of certainty factor calculation results. Outputting the diagnosis support information including one certainty factor calculation result having the highest certainty factor,
The diagnosis support system according to claim 2.
前記画像送信部は、複数の前記医療画像を含む医療画像群を送信し、
前記結果受信部は、前記複数の医療画像のそれぞれに関連付けて前記複数の確信度算出結果を受信し、
前記出力部は、前記複数の医療画像のそれぞれに対して前記複数の確信度算出結果から一つの画像別確信度算出結果を選択した後に、前記複数の医療画像のそれぞれに関連付けられた複数の前記画像別確信度算出結果に基づいて、前記医療画像群に対応する前記診断支援情報を出力する、
請求項1から3のいずれか一項に記載の診断支援システム。
The image transmission unit transmits a medical image group including a plurality of the medical images,
The result receiving unit receives the plurality of certainty factor calculation results in association with each of the plurality of medical images,
The output unit selects one image certainty factor calculation result from the plurality of certainty factor calculation results for each of the plurality of medical images, and then selects a plurality of the plurality of the medical images associated with each of the plurality of medical images. Outputting the diagnosis support information corresponding to the group of medical images based on the certainty calculation result for each image,
The diagnosis support system according to any one of claims 1 to 3.
前記出力部は、同一の前記医療画像群に含まれる前記複数の医療画像において異なる確信度算出結果が得られてしまった場合に、前記複数の医療画像のそれぞれが生成された時間に基づいて選択した一以上の医療画像に対応する前記確信度算出結果を選択する、
請求項4に記載の診断支援システム。
The output unit selects based on the time when each of the plurality of medical images is generated when different certainty factor calculation results have been obtained for the plurality of medical images included in the same medical image group Selecting the certainty calculation result corresponding to the one or more medical images,
The diagnosis support system according to claim 4.
前記画像送信部は、複数の前記医療画像を含む医療画像群を送信し、
前記結果受信部は、前記複数の医療画像のそれぞれに関連付けられた複数の画像別確信度算出結果をそれぞれが含む前記複数の確信度算出結果を受信し、
前記出力部は、同一の方式情報に対応する前記複数の確信度算出結果から、それぞれの前記確信度算出結果における前記複数の医療画像に対応する複数の画像別確信度算出結果が示す前記確信度の最大値と、前記それぞれの確信度算出結果における前記複数の医療画像に対応する前記画像別確信度算出結果の総和が最も大きい確信度算出結果における総和に対する他の確信度算出結果における総和の割合と、に基づいて、前記医療画像群に対応する前記診断支援情報を出力する、
請求項1から3のいずれか一項に記載の診断支援システム。
The image transmission unit transmits a medical image group including a plurality of the medical images,
The result receiving unit receives the plurality of certainty factor calculation results each including a plurality of image certainty factor calculation results associated with each of the plurality of medical images;
The output unit has the certainty factor indicated by the plurality of certainty factor calculation results corresponding to the plurality of medical images in the certainty factor calculation result from the plurality of certainty factor calculation results corresponding to the same method information. And the ratio of the sum in the other belief calculation results to the sum in the belief calculation result having the largest sum of the image belief calculation results corresponding to the plurality of medical images in the respective belief calculation results And outputting the diagnosis support information corresponding to the medical image group, based on
The diagnosis support system according to any one of claims 1 to 3.
前記画像送信部は、前記画像解析装置に学習させるための前記医療画像である学習画像を、前記学習画像の撮像方式を示す前記方式情報と、前記学習画像に対応する身体状態を示す診断支援情報とに関連付けて前記画像解析装置に送信し、
前記算出部は、前記画像受信部が受信した解析の対象となる前記医療画像が示す身体状態の確信度を、前記学習画像が示す前記診断支援情報に基づいて学習した結果に基づいて判定する、
請求項1から6のいずれか一項に記載の診断支援システム。
The image transmission unit is configured to acquire a learning image, which is the medical image to be learned by the image analysis apparatus, the method information indicating an imaging method of the learning image, and diagnosis support information indicating a physical state corresponding to the learning image. And send it to the image analysis device in association with
The calculation unit determines a certainty factor of a physical state indicated by the medical image to be analyzed received by the image receiving unit based on a learning result based on the diagnosis support information indicated by the learning image.
The diagnosis support system according to any one of claims 1 to 6.
前記出力部は、前記画像送信部が前記画像解析装置に送信した前記医療画像に対応する方式情報に基づいて、前記結果受信部が受信した前記確信度算出結果に含まれる複数の結果から、前記画像送信部が送信した医療画像に関連付けられた方式情報と異なる方式情報に対応する結果を除去する、
請求項1から7のいずれか一項に記載の診断支援システム。
The output unit, based on the method information corresponding to the medical image transmitted by the image transmission unit to the image analysis device, from a plurality of results included in the certainty factor calculation result received by the result reception unit, Removing results corresponding to method information different from the method information associated with the medical image transmitted by the image transmission unit;
The diagnosis support system according to any one of claims 1 to 7.
前記算出部は、前記医療画像の撮像方式を示す方式情報と、正常であるか異常であるかを示す状態情報とが関連付けられた複数の学習用の医療画像を取得し、前記撮像方式の種別ごとに医療画像の正常パターンと異常パターンとの違いを学習する、
請求項1から8のいずれか一項に記載の診断支援システム。
The calculation unit acquires a plurality of learning medical images in which method information indicating an imaging method of the medical image and state information indicating whether the medical image is normal or abnormal are associated, and the type of the imaging method Learn the difference between normal and abnormal patterns of medical images for each
The diagnosis support system according to any one of claims 1 to 8.
身体状態の診断に用いる医療画像を、前記医療画像を解析する画像解析装置に送信する画像送信部と、
前記画像送信部が送信した前記医療画像と、当該医療画像の撮像方式を示す方式情報とを関連付けて記憶する記憶部と、
前記画像解析装置から、前記医療画像がどのような身体状態を示している確信度が高いかを示す複数の確信度算出結果を受信する結果受信部と、
前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像に関連付けて前記記憶部に記憶された前記方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力する出力部と、
を有する診断支援装置。
An image transmission unit that transmits a medical image used for diagnosis of a physical condition to an image analysis device that analyzes the medical image;
A storage unit that associates and stores the medical image transmitted by the image transmission unit and method information indicating an imaging method of the medical image;
A result receiving unit that receives a plurality of certainty factor calculation results indicating what kind of physical state the medical image indicates from the image analysis device;
Of the plurality of certainty factor calculation results, the body indicated by the medical image is based on the certainty factor calculation result corresponding to the method information stored in the storage unit in association with the medical image transmitted to the image analysis device. An output unit for outputting diagnosis support information about the state;
A diagnosis support apparatus having
医療画像が示す身体状態の診断を支援するための診断支援方法であって、
前記医療画像を解析する画像解析装置に解析させる対象となる前記医療画像を前記画像解析装置に送信するステップと、
前記画像解析装置から、前記医療画像がどのような身体状態を示している確信度が高いかを示す複数の確信度算出結果を受信するステップと、
前記複数の確信度算出結果のうち、前記画像解析装置に送信した前記医療画像の撮像方式を示す方式情報に対応する確信度算出結果に基づいて、前記医療画像が示す身体状態に関する診断支援情報を出力するステップと、
を有する診断支援方法。
A diagnosis support method for supporting diagnosis of a physical condition indicated by a medical image,
Transmitting the medical image to be analyzed by an image analysis device that analyzes the medical image to the image analysis device;
Receiving, from the image analysis device, a plurality of certainty factor calculation results indicating a high certainty factor indicating the physical state of the medical image;
Based on the certainty factor calculation result corresponding to the method information indicating the imaging method of the medical image transmitted to the image analysis device among the plurality of certainty factor calculation results, diagnosis support information regarding the physical condition indicated by the medical image is obtained. Output step;
A diagnostic support method comprising:
JP2017538746A 2016-07-13 2017-05-02 Diagnosis support system, medical diagnosis support apparatus, and diagnosis support method Active JP6251945B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138125 2016-07-13
JP2016138125 2016-07-13
PCT/JP2017/017262 WO2018012090A1 (en) 2016-07-13 2017-05-02 Diagnosis support system, medical diagnosis support device, and diagnosis support system method

Publications (2)

Publication Number Publication Date
JP6251945B1 true JP6251945B1 (en) 2017-12-27
JPWO2018012090A1 JPWO2018012090A1 (en) 2018-07-19

Family

ID=60860053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017538746A Active JP6251945B1 (en) 2016-07-13 2017-05-02 Diagnosis support system, medical diagnosis support apparatus, and diagnosis support method

Country Status (1)

Country Link
JP (1) JP6251945B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059391A1 (en) * 2006-09-06 2008-03-06 Siemens Medical Solutions Usa, Inc. Learning Or Inferring Medical Concepts From Medical Transcripts
WO2010050333A1 (en) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 Information processing device
JP2016021248A (en) * 2015-09-01 2016-02-04 キヤノン株式会社 Medical diagnosis support apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059391A1 (en) * 2006-09-06 2008-03-06 Siemens Medical Solutions Usa, Inc. Learning Or Inferring Medical Concepts From Medical Transcripts
WO2010050333A1 (en) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 Information processing device
JP2016021248A (en) * 2015-09-01 2016-02-04 キヤノン株式会社 Medical diagnosis support apparatus

Also Published As

Publication number Publication date
JPWO2018012090A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
US11712208B2 (en) Systems and methods to deliver point of care alerts for radiological findings
US11341646B2 (en) Systems and methods to deliver point of care alerts for radiological findings
US11850021B2 (en) Dynamic self-learning medical image method and system
US11049250B2 (en) Systems and methods to deliver point of care alerts for radiological findings
JP2019033966A (en) Image processing device, image processing method, and image processing program
JP6362061B2 (en) Diagnosis support system, operation method thereof, and program
JP2007172604A (en) Method and apparatus for selecting computer-assisted algorithm based on protocol and/or parameter of acquisition system
US11334994B2 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
US11348242B2 (en) Prediction apparatus, prediction method, prediction program
WO2018012090A1 (en) Diagnosis support system, medical diagnosis support device, and diagnosis support system method
CN111226287A (en) Method for analyzing a medical imaging dataset, system for analyzing a medical imaging dataset, computer program product and computer readable medium
US11551351B2 (en) Priority judgement device, method, and program
JP6251945B1 (en) Diagnosis support system, medical diagnosis support apparatus, and diagnosis support method
US20220331556A1 (en) System and method for visualizing placement of a medical tube or line
CN111192679B (en) Method, device and storage medium for processing image data abnormality
JP6877569B2 (en) Misalignment detectors, methods and programs
JP2022117177A (en) Device, method, and program for processing information
US20220181026A1 (en) Information processing apparatus, information processing system, information processing method, and storage medium
KR102231698B1 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
JP7418730B2 (en) Medical image processing device, medical image processing method, and medical image processing program
US11410341B2 (en) System and method for visualizing placement of a medical tube or line
US20230386113A1 (en) Medical image processing apparatus and medical image processing method
US20240070856A1 (en) Control Device and Method for Controlling a Medical Imaging System
US20220108451A1 (en) Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator
JP2009061176A (en) Medical image processor and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171110

R150 Certificate of patent or registration of utility model

Ref document number: 6251945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250