JP2022095099A

JP2022095099A - Information processing device, information processing method, information processing system and program

Info

Publication number: JP2022095099A
Application number: JP2020208223A
Authority: JP
Inventors: 孝太郎梅澤; Kotaro Umezawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2022-06-28

Abstract

To provide an information processing device, an information processing method and a program, capable of selecting an inference model on the basis of a first inference result for medical data to be inferred.SOLUTION: An information processing device according to the present invention includes a selection unit that acquires a first inference result by a first inference obtained by applying a first inference model to medical data, and selects a second inference model to be applied to a second inference for the medical data on the basis of the first inference result, and an output unit that outputs information on the selected inference model.SELECTED DRAWING: Figure 1

Description

本発明は、第一の推論結果に基づいて推論モデルを選択する情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, an information processing system and a program that select an inference model based on the first inference result.

医用撮像装置から取得された医用データや医療情報システムから取得した医用データに対して機械学習技術に基づく推論モデルを適用し、所定の疾患に関する推論（疾患検出、良悪性鑑別、予後予測、リスク予測など）を行う医療システムが知られている。 Inference models based on machine learning technology are applied to medical data acquired from medical imaging devices and medical data acquired from medical information systems, and inferences regarding a predetermined disease (disease detection, benign / malignant discrimination, prognosis prediction, risk prediction) And so on) are known medical systems.

特許文献１には、ユーザが所定の疾患のタイプを指定すると、指定されたタイプに応じて、所定の疾患に対する適切な推論モデルを選択する技術が開示されている。 Patent Document 1 discloses a technique in which when a user specifies a predetermined disease type, an appropriate inference model for the predetermined disease is selected according to the designated type.

特開２０１６－１９３２９５号公報JP-A-2016-193295

しかしながら、特許文献１の技術では、医用データに対して複数の疾患に関する推論を行いたい場合にはユーザが複数の疾患のそれぞれに対して疾患のタイプを指定する必要があり、手間がかかった。 However, in the technique of Patent Document 1, when it is desired to make inferences about a plurality of diseases with respect to medical data, it is necessary for the user to specify the disease type for each of the plurality of diseases, which is troublesome.

そこで本発明は、推論対象の医用データに対する第一の推論結果に基づいて、推論モデルの選択をすることができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an information processing apparatus, an information processing method and a program capable of selecting an inference model based on the first inference result for the medical data to be inferred.

上記課題を解決するため、本発明の一態様による情報処理装置は、医用データに対する第一の推論による第一の推論結果を取得し、該第一の推論結果に基づいて該医用データに対して適用する推論モデルを選択する選択部と、選択された前記推論モデルの情報を出力する出力部と、を有する。 In order to solve the above problems, the information processing apparatus according to one aspect of the present invention acquires the first inference result by the first inference for the medical data, and the medical data is based on the first inference result. It has a selection unit that selects an inference model to be applied, and an output unit that outputs information on the selected inference model.

本発明によれば、推論対象の医用データに対する第一の推論の結果に基づいて、推論モデルの選択をすることができる。 According to the present invention, the inference model can be selected based on the result of the first inference for the medical data to be inferred.

第１の実施形態に係る情報処理装置の構成を示す図。The figure which shows the structure of the information processing apparatus which concerns on 1st Embodiment. 第１の実施形態に係る情報処理装置のハードウェア構成を示す図。The figure which shows the hardware configuration of the information processing apparatus which concerns on 1st Embodiment. 第１の実施形態に係る情報処理装置の処理を示すフロー図。The flow diagram which shows the process of the information processing apparatus which concerns on 1st Embodiment. 第２の実施形態に係る情報処理装置の処理を示すフロー図。The flow diagram which shows the processing of the information processing apparatus which concerns on 2nd Embodiment. 第２の実施形態に係る疾患間の関係を説明する樹形図。A dendrogram illustrating the relationship between the diseases according to the second embodiment. 第３の実施形態に係る情報処理装置の処理を示すフロー図。The flow diagram which shows the process of the information processing apparatus which concerns on 3rd Embodiment.

以下、添付図面を参照して本発明の好適な実施形態について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

［第１の実施形態］
本発明は、医用撮像装置によって撮像した生データや生データから画像再構成によって生成された診断用の画像データ等の医用データに対して、好ましく適用できる。医用データを取得する医用撮像装置には、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＰＥＴ装置が挙げられる。また医用データは、画像データのみならず、心電図等の波形データ、問診等の音声データや、電子カルテ等のテキストデータ、血液の検査結果等のデータから構成されていてもよい。 [First Embodiment]
The present invention can be preferably applied to medical data such as raw data captured by a medical imaging device and diagnostic image data generated by image reconstruction from raw data. Examples of the medical imaging device for acquiring medical data include an X-ray CT device, an MRI device, a SPECT device, and a PET device. Further, the medical data may be composed of not only image data but also waveform data such as an electrocardiogram, audio data such as an interview, text data such as an electronic medical record, and data such as blood test results.

後述する推論モデルは、例えば、推論対象の医用データの中から特定の疾患を推論するように機械学習された学習済モデル（ｐｒｅ－ｔｒａｉｎｅｄｍｏｄｅｌ）である。疾患の推論とは、例えば医用画像データに対して、疾患の分類や、疾患領域の検出、疾患領域の抽出等の推論のタスクを行うことを指す。また推論モデルのクラスとは、推論モデルが推論する対象と対応しており、適宜学習時に設定できる。学習済モデルは、事前に学習処理が行われた推論モデルであり、追加での学習処理を適宜行うこともできる。また推論モデルへ入力される医用データは、医用撮像装置によって撮像した生データでも、三次元のボリュームデータでも、二次元データでも、一次元のデータでもよい。 The inference model described later is, for example, a trained model (pre-trained model) machine-learned to infer a specific disease from medical data to be inferred. Disease inference refers to performing inference tasks such as classification of diseases, detection of disease areas, and extraction of disease areas on medical image data, for example. Further, the inference model class corresponds to the object inferred by the inference model, and can be appropriately set at the time of learning. The trained model is an inference model that has been trained in advance, and additional learning processing can be performed as appropriate. The medical data input to the inference model may be raw data captured by a medical imaging device, three-dimensional volume data, two-dimensional data, or one-dimensional data.

図１は、第１の実施形態に係る情報処理装置の構成を示している。ここでは、一例として、Ｘ線ＣＴ装置により撮像された胸部ＣＴ画像データを推論対象の医用データとして説明する。また第一の推論によって癌の有無を推論し、第二の推論によって癌の合併症である出血の有無を推論するケースを例に挙げる。 FIG. 1 shows the configuration of the information processing apparatus according to the first embodiment. Here, as an example, chest CT image data captured by an X-ray CT device will be described as medical data to be inferred. Another example is the case where the presence or absence of cancer is inferred by the first reasoning and the presence or absence of bleeding, which is a complication of cancer, is inferred by the second reasoning.

情報処理装置１は、推論対象の医用データを取得する取得部１０、医用データに対して推論を行う推論部１１、医用データに対する推論結果に基づいて、医用データに対して適用する推論モデルを選択する選択部１２、選択された推論モデルや、選択された推論モデルによる推論結果を出力する出力部１３、を含み構成される。情報処理装置１は、ネットワークを介してデータサーバ２に接続されている。データサーバ２は、画像診断用の画像データなどの蓄積・共有を行うコンピュータシステム（例えばＰＡＣＳ）である。また情報処理装置１には出力部１３による出力情報を表示する表示装置３や、情報処理装置１に対して、ユーザによって各種の操作を入力するための入力装置４が接続されている。なお、表示装置３や入力装置４は、それぞれ独立の装置から構成されていてもよい。もしくは表示装置３および入力装置４が情報処理装置１と一体の装置から構成されていてもよい。以下より、情報処理装置１の各部の構成について説明をする。ここで表示装置３は、例えば情報処理装置１に付属するディスプレイや、外部サーバを経由した病院関係者のモバイル端末等であり、入力装置４は、マウスやキーボード等である。なお、情報処理装置１を構成する各部を複数の装置から構成した情報処理システムとして機能してもよい。 The information processing apparatus 1 selects an inference model to be applied to the medical data based on the acquisition unit 10 that acquires the medical data to be inferred, the inference unit 11 that infers the medical data, and the inference result for the medical data. The selection unit 12 to be selected, the selected inference model, and the output unit 13 to output the inference result by the selected inference model are included. The information processing device 1 is connected to the data server 2 via a network. The data server 2 is a computer system (for example, PACS) that stores and shares image data for diagnostic imaging. Further, the information processing device 1 is connected to a display device 3 that displays output information by the output unit 13 and an input device 4 for inputting various operations by the user to the information processing device 1. The display device 3 and the input device 4 may be composed of independent devices. Alternatively, the display device 3 and the input device 4 may be configured as an integral device with the information processing device 1. The configuration of each part of the information processing apparatus 1 will be described below. Here, the display device 3 is, for example, a display attached to the information processing device 1, a mobile terminal of a hospital-related person via an external server, or the like, and the input device 4 is a mouse, a keyboard, or the like. It should be noted that each part constituting the information processing device 1 may function as an information processing system composed of a plurality of devices.

（取得部１０）
取得部１０は、推論対象の医用データを取得し、推論部１１へ取得した医用データを送信する。取得部１０が取得をする推論対象の医用データは、ユーザによって入力装置４を介して選択された医用データでも、データサーバ２や医用撮像装置等から送信された医用データでもよい。さらに、取得部１０は、ユーザより第一の推論を行う第一の推論モデルの選択情報を取得し、推論部１１へ送信する。本実施形態においては、ユーザによって入力装置４を介して、第一の疾患として癌をクラスとして含む第一の推論モデルが選択された場合の処理について説明をする。ここで第一の推論モデルの選択は、ユーザによる選択に限られず、例えば取得した推論対象の医用データに基づいて、選択条件を参照して推論モデルが選択されてもよいし、推論対象の医用データに対して、画像処理等を適用し、存在確率が高い疾患をクラスとして含む推論モデルを選択してもよい。 (Acquisition unit 10)
The acquisition unit 10 acquires the medical data to be inferred and transmits the acquired medical data to the inference unit 11. The inference target medical data acquired by the acquisition unit 10 may be medical data selected by the user via the input device 4, or may be medical data transmitted from the data server 2, the medical imaging device, or the like. Further, the acquisition unit 10 acquires the selection information of the first inference model for performing the first inference from the user and transmits it to the inference unit 11. In the present embodiment, the processing when the first inference model including cancer as a class as the first disease is selected by the user via the input device 4 will be described. Here, the selection of the first inference model is not limited to the selection by the user, and the inference model may be selected by referring to the selection condition based on the acquired medical data of the inference target, or the inference target medical use. Image processing or the like may be applied to the data, and an inference model including a disease having a high existence probability as a class may be selected.

（推論部１１）
推論部１１は、取得部１０から送信された医用データに対して、選択された第一の推論モデルを適用した推論を行う。推論部１１は、推論対象の医用データに対して、取得部１０から送信された第一の推論モデルを用いて第一の推論を行う。ここで第一の推論は、癌を推論する推論モデルによって実施される。推論部１１における第一の推論の結果は、選択部１２に送信される。 (Inference unit 11)
The inference unit 11 performs inference by applying the selected first inference model to the medical data transmitted from the acquisition unit 10. The inference unit 11 makes the first inference for the medical data to be inferred by using the first inference model transmitted from the acquisition unit 10. Here, the first reasoning is carried out by an inference model that infers cancer. The result of the first inference in the inference unit 11 is transmitted to the selection unit 12.

また推論部１１は、後述する選択部１２によって選択された第二の推論モデルを用いて、推論対象の医用データに対して第二の推論を実施し、推論結果を出力部１３へと送信する。推論部１１が出力部１３へと送信する推論結果は、例えば、疾患の存在、疾患の位置又は領域を示す情報などを含む情報である。ここで第二の推論は、選択部１２によって選択される、例えば出血の有無を推論するモデルによる推論である。第二の疾患である出血は、第一の疾患である癌に対する合併症である。推論部１１における第一の疾患として癌が検出された場合には、癌に対する合併症を第二の疾患として、選択部１２によって選択された推論モデルを用いて推論を行う。また第一の疾患と第二の疾患との関係はこれに限らず、例えば第一の疾患として癌が検出された場合には、第二の疾患として癌の良悪性を判定する推論モデルによる推論を行ってもよい。また第一の疾患の検出に応じて、第二の疾患として検出された第一の疾患の種別を推論するモデルによって推論を行う。第一の疾患および第二の疾患の関係性に基づいて選択部１２が第二の推論モデルを選択する構成についてさらに後述する。 Further, the inference unit 11 performs the second inference on the medical data to be inferred by using the second inference model selected by the selection unit 12 described later, and transmits the inference result to the output unit 13. .. The inference result transmitted by the inference unit 11 to the output unit 13 is information including, for example, information indicating the existence of a disease, the position or region of the disease, and the like. Here, the second reasoning is the reasoning selected by the selection unit 12, for example, by a model for inferring the presence or absence of bleeding. The second disease, bleeding, is a complication of the first disease, cancer. When cancer is detected as the first disease in the inference unit 11, inference is performed using the inference model selected by the selection unit 12 with the complications for cancer as the second disease. The relationship between the first disease and the second disease is not limited to this. For example, when cancer is detected as the first disease, inference by an inference model for determining whether the cancer is benign or malignant as the second disease. May be done. Further, inference is performed by a model for inferring the type of the first disease detected as the second disease according to the detection of the first disease. The configuration in which the selection unit 12 selects the second inference model based on the relationship between the first disease and the second disease will be further described later.

尚、推論部１１は情報処理装置１の構成として必須ではなく、例えば他の装置による推論結果を取得することにより代替されてもよい。 The inference unit 11 is not essential as the configuration of the information processing device 1, and may be replaced by, for example, acquiring an inference result from another device.

ここで推論部１１が推論対象の医用データに対して適用する推論モデルは、例えば深層ニューラルネットワークなどの人工知能モデルである。推論部１１が用いる推論モデルは、人工知能モデルに対してあらかじめ深層学習などの機械学習法を利用して、推論対象の医用データから特定の疾患を推論するようにトレーニングされたものである。 Here, the inference model applied by the inference unit 11 to the medical data to be inferred is an artificial intelligence model such as a deep neural network. The inference model used by the inference unit 11 is trained in advance to infer a specific disease from the medical data to be inferred by using a machine learning method such as deep learning for the artificial intelligence model.

推論部１１は、推論対象の医用データに対して適用する推論モデルとして、医用撮像装置によって撮像された生データから疾患を推論する推論モデルを用いてもよい。また推論部１１は、断層画像データ等の二次元データから疾患を推論する推論モデルを用いても、三次元画像データ等のボリュームデータから疾患を識別するモデルを用いてもよい。あるいは、推論部１１は、時系列データ（動画像データまたは複数の時相の画像データ）から疾患を識別する推論モデルを用いてもよい。 The inference unit 11 may use an inference model for inferring a disease from raw data captured by a medical imaging device as an inference model applied to the medical data to be inferred. Further, the inference unit 11 may use an inference model for inferring a disease from two-dimensional data such as tomographic image data, or may use a model for identifying a disease from volume data such as three-dimensional image data. Alternatively, the inference unit 11 may use an inference model that identifies the disease from time series data (moving image data or image data of a plurality of time phases).

推論部１１における推論モデルによる推論のタスクは、医用データに対する分類を行うものでも、医用データ内から分類対象を検出するものでも、分類対象の領域を抽出するものでもよい。推論部１１における推論モデルが行う前述の推論のタスクによって、推論部１１は推論対象の医用データに対して疾患の有無を出力しても、疾患領域を含むＲＯＩ（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）又はＶＯＩ（ＶｏｌｕｍｅｏｆＩｎｔｅｒｅｓｔ）として出力してもよいし、疾患領域を囲む長方形や直方体のＢｏｕｎｄｉｎｇＢｏｘ（バウンディングボックス）として出力されてもよい。 The task of inference by the inference model in the inference unit 11 may be one for classifying medical data, one for detecting a classification target from the medical data, or one for extracting a region to be classified. By the above-mentioned inference task performed by the inference model in the inference unit 11, even if the inference unit 11 outputs the presence or absence of a disease to the medical data to be inferred, the ROI (Region of Interest) or VOI (Volume) including the disease area is included. It may be output as of Interest), or it may be output as a rectangular or rectangular parallelepiped Bounding Box (bounding box) surrounding the diseased area.

本実施形態では、推論部１１によって、三次元の医用画像データ（ボリュームデータ）から、疾患の有無を推論するように構成された推論モデルが用いられるものとする。 In the present embodiment, it is assumed that an inference model configured by the inference unit 11 to infer the presence or absence of a disease from three-dimensional medical image data (volume data) is used.

推論モデルの学習に用いる学習データは推論のタスクに応じて設定される。例えば本実施形態のように、三次元の医用画像データから疾患の有無を推論する推論モデルを学習する場合には、医用画像データと該医用画像データに含まれる特定の疾患の領域を示すラベル（教師信号）とから構成される学習データを用いる。ここでのラベルとは、医用データから検出されるべきクラス（疾患）に対応している。ラベルと医用データを対にして学習された推論モデルによって、該ラベルに対応するクラスを推論することができる。 The learning data used for learning the inference model is set according to the inference task. For example, when learning an inference model for inferring the presence or absence of a disease from three-dimensional medical image data as in the present embodiment, the medical image data and a label indicating a specific disease region included in the medical image data ( The training data composed of the teacher signal) is used. The label here corresponds to the class (disease) to be detected from the medical data. An inference model trained by pairing a label with medical data can infer the class corresponding to the label.

推論のタスクが検出である場合のラベルは、医用画像データから検出すべき疾患を含むＲＯＩ又はＶＯＩを教示する情報である。 If the inference task is detection, the label is information that teaches the ROI or VOI that includes the disease to be detected from the medical image data.

また本実施形態の場合は、多数の被検体（例えば癌の被検体や出血の被検体）から集められた胸部ＣＴ画像データを学習データとして用いる。なお、情報処理装置１には事前に学習された学習済モデルが実装されるが、これに限らず、追加の学習データを用いて追加学習を行う機能を情報処理装置１が有していてもよい。 Further, in the case of the present embodiment, chest CT image data collected from a large number of subjects (for example, a cancer subject or a bleeding subject) is used as learning data. The information processing device 1 is equipped with a pre-learned model, but the information processing device 1 is not limited to this, and the information processing device 1 may have a function of performing additional learning using additional learning data. good.

（選択部１２）
選択部１２は、第一の推論による第一の推論結果に基づいて、推論対象の医用データに対して適用する第二の推論モデルを選択する。なお、情報処理装置１の選択部１２は、第一の推論による推論結果が取得できれば、医用データに対して適用する第二の推論モデルが選択できる。故に、上述で説明をした第一の推論モデルの選択や、第一の推論モデルによる推論は他の装置で実施されてもよい。 (Selection unit 12)
The selection unit 12 selects a second inference model to be applied to the medical data to be inferred based on the first inference result by the first inference. If the inference result of the first inference can be obtained, the selection unit 12 of the information processing apparatus 1 can select the second inference model to be applied to the medical data. Therefore, the selection of the first inference model described above and the inference by the first inference model may be performed by another device.

選択部１２は、取得部１０が取得したユーザによって選択された、第一の疾患（癌）をクラスとして含む第一の推論モデルによって推論部１１が推論した第一の推論結果を取得する。推論部１１から送信された第一の推論結果が、推論対象の医用データに第一の疾患（癌）が検出された情報であった場合には、選択部１２は、第一の疾患と異なる第二の疾患をクラスとして含む第二の推論モデルを選択する。ここで、第一の疾患と、第二の疾患とは互いに臨床的な関係を有する疾患である。臨床的な関係は、例えば、第一の疾患と第二の疾患の間の因果関係や、第一の疾患が検出された際に確認すべき第二の疾患がある関係を指す。選択部１２による第二の推論モデルの選択は、コンピュータ等の情報処理装置が自動で実行することができ、ユーザによるマニュアルでの選択の手間を削減することができる。 The selection unit 12 acquires the first inference result inferred by the inference unit 11 by the first inference model including the first disease (cancer) as a class selected by the user acquired by the acquisition unit 10. If the first inference result transmitted from the inference unit 11 is information in which the first disease (cancer) is detected in the medical data to be inferred, the selection unit 12 is different from the first disease. Select a second inference model that includes the second disease as a class. Here, the first disease and the second disease are diseases having a clinical relationship with each other. A clinical relationship refers, for example, to a causal relationship between a first disease and a second disease, or a relationship with a second disease that should be confirmed when the first disease is detected. The selection of the second inference model by the selection unit 12 can be automatically executed by an information processing device such as a computer, and the time and effort of manual selection by the user can be reduced.

選択部１２は、第一の疾患と第二の疾患との関係を定義した関係情報を参照し、第二の疾患をクラスとして含む第二の推論モデルを選択する。関係情報は、リスト、有向グラフ、樹形図等によって定義され、選択部１２により保持されている。選択部１２は、第一の疾患と第二の疾患との関係をリスト等で保持しておき、取得した第一の推論による推論結果を基づいてリストを参照し、合致する疾患があった場合に、第二の疾患をクラスとして含む第二の推論モデルを選択する。選択部１２は、疾患間の臨床的な関係を定めた関係情報を参照することで、第二の推論モデルを選択することができる。 The selection unit 12 refers to the relationship information that defines the relationship between the first disease and the second disease, and selects a second inference model that includes the second disease as a class. The relationship information is defined by a list, a directed graph, a dendrogram, etc., and is held by the selection unit 12. The selection unit 12 holds the relationship between the first disease and the second disease in a list or the like, refers to the list based on the inference result obtained by the first inference, and finds a matching disease. To select a second inference model that includes the second disease as a class. The selection unit 12 can select the second inference model by referring to the relationship information that defines the clinical relationship between the diseases.

第一の疾患と第二の疾患は例えば、癌と、癌の合併症である出血である。選択部１２は、第一の疾患と合併症の疑いのある第二の疾患を事前に関係情報として定義しておくことで第二の推論モデルを選択することができる。また選択部１２が選択をする第一の疾患と第二の疾患は、例えば、脳梗塞と、大動脈解離である。脳梗塞に対して血栓融解薬であるｔ－ＰＡを投与するためには、大動脈解離が発生していないことが確認される必要がある。そのため、選択部１２は、第一の疾患として脳梗塞が検出された場合に、第二の疾患として大動脈解離をクラスとして含む推論モデルを第二の推論モデルとして選択する。なお、第一の疾患と第二の疾患との関係はこれに限らず、例えば第一の疾患として癌が検出された場合には、選択部１２は、第二の疾患として癌の良悪性を判定する第二の推論モデルを選択してもよい。また第一の疾患の検出に応じて、選択部１２は、第二の疾患として、検出された第一の疾患の種別を推論する第二の推論モデルを選択してもよい。ここで、情報処理装置１において、選択部１２は医用データに対する第一の推論による第一の推論結果を取得し、該第一の推論結果に基づいて該医用データに対して適用する第二の推論モデルを選択する。また後述する出力部１３が選択部１２によって選択された推論モデルの情報を出力する。本構成により、推論対象の医用データに対する推論の結果に基づいて、推論モデルの選択をすることができ、医用データに対して複数の疾患を推論したい場合にもユーザによる手間を削減することが出来る。 The first and second diseases are, for example, cancer and bleeding, which is a complication of cancer. The selection unit 12 can select the second inference model by defining the first disease and the second disease suspected of complication as related information in advance. The first and second diseases selected by the selection unit 12 are, for example, cerebral infarction and aortic dissection. In order to administer t-PA, which is a thrombus-melting drug, for cerebral infarction, it is necessary to confirm that aortic dissection has not occurred. Therefore, when cerebral infarction is detected as the first disease, the selection unit 12 selects an inference model including aortic dissection as a class as the second disease as the second inference model. The relationship between the first disease and the second disease is not limited to this. For example, when cancer is detected as the first disease, the selection unit 12 determines whether the cancer is benign or malignant as the second disease. A second inference model to determine may be selected. Further, depending on the detection of the first disease, the selection unit 12 may select a second inference model for inferring the type of the detected first disease as the second disease. Here, in the information processing apparatus 1, the selection unit 12 acquires the first inference result by the first inference for the medical data, and applies the second inference result to the medical data based on the first inference result. Select an inference model. Further, the output unit 13 described later outputs the information of the inference model selected by the selection unit 12. With this configuration, it is possible to select an inference model based on the result of inference for the medical data to be inferred, and it is possible to reduce the time and effort by the user even when it is desired to infer multiple diseases from the medical data. ..

（出力部１３）
出力部１３は、選択部１２から選択された第二の推論モデルの情報を取得した場合には、表示装置３に選択されたモデルの情報を出力する。また出力部１３は、推論部１１から推論対象の医用データに対する推論結果を取得した場合には、推論結果を出力する。また出力部１３は、推論結果とともに、被検体を特定する情報（被検体のＩＤ、氏名等の被検体情報）、推論対象の医用データ、推論結果を踏まえた次のアクション可否（癌が存在し、かつ出血している場合には、出血部を提示して止血を促すなど）を出力してもよい。 (Output unit 13)
When the output unit 13 acquires the information of the second inference model selected from the selection unit 12, the output unit 13 outputs the information of the selected model to the display device 3. Further, when the output unit 13 acquires the inference result for the medical data to be inferred from the inference unit 11, the output unit 13 outputs the inference result. In addition, the output unit 13 can perform the next action based on the inference result, information for identifying the subject (subject information such as subject ID, name, etc.), medical data to be inferred, and the inference result (cancer exists). , And if bleeding, the bleeding part may be presented to promote bleeding, etc.).

（情報処理装置のハードウェア構成）
情報処理装置１は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成してもよい。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、取得部１０、推論部１１、選択部１２、出力部１３などの機能および処理が実現される。ただしこの構成に限らず、例えば、取得部１０、推論部１１、選択部１２、出力部１３のうちの全部又は一部の機能を、専用に設計されたプロセッサ（ＡＳＩＣなど）又はＦＰＧＡにより実現してもよい。あるいは、演算処理の一部をＧＰＵやＤＳＰなどのプロセッサで実行してもよい。また、情報処理装置１は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して情報処理装置１の機能および処理を実現してもよい。 (Hardware configuration of information processing equipment)
The information processing device 1 may be configured by a computer including a processor, a memory, a storage, and the like. In this case, by loading the program stored in the storage into the memory and executing the program by the processor, the functions and processes of the acquisition unit 10, the inference unit 11, the selection unit 12, the output unit 13, and the like are realized. However, the present invention is not limited to this configuration, and for example, all or part of the functions of the acquisition unit 10, the inference unit 11, the selection unit 12, and the output unit 13 are realized by a specially designed processor (ASIC or the like) or FPGA. You may. Alternatively, a part of the arithmetic processing may be executed by a processor such as GPU or DSP. Further, the information processing apparatus 1 may be configured by a single hardware or may be configured by a plurality of hardware. For example, cloud computing or distributed computing may be used, and a plurality of computers may cooperate to realize the functions and processes of the information processing apparatus 1.

図２は、情報処理装置１の具体的な構成の一例を示している。この例では、情報処理装置１が、ＣＰＵ２０、ＧＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、記憶装置２４を有しており、これらがシステムバス２５で接続されている。 FIG. 2 shows an example of a specific configuration of the information processing apparatus 1. In this example, the information processing device 1 has a CPU 20, a GPU 21, a RAM 22, a ROM 23, and a storage device 24, which are connected by a system bus 25.

（情報処理装置の動作）
次に、図３のフローチャートを用いて、情報処理装置１が実行する処理を説明する。なお、フローチャートを構成するステップは異なる装置によって実施されても、各ステップによる処理を行わずに、処理結果を取得し、該ステップを処理したものとみなしてもよい。 (Operation of information processing device)
Next, the process executed by the information processing apparatus 1 will be described with reference to the flowchart of FIG. Even if the steps constituting the flowchart are performed by different devices, it may be considered that the processing results are acquired and the steps are processed without performing the processing by each step.

ステップＳ３０において、取得部１０は、データサーバ２から推論対象の医用データを取得する。ここでは例えば、取得部１０は胸部の三次元のＸ線ＣＴ画像データ（ボリュームデータ）を取得する。また取得部１０はユーザから該推論対象の医用データに対して、第一の推論に適用する第一の推論モデルの情報を取得する。例えばユーザは第一の疾患として癌を推論する推論モデルを第一の推論モデルとして選択する。 In step S30, the acquisition unit 10 acquires medical data to be inferred from the data server 2. Here, for example, the acquisition unit 10 acquires three-dimensional X-ray CT image data (volume data) of the chest. Further, the acquisition unit 10 acquires the information of the first inference model applied to the first inference from the user for the medical data to be inferred. For example, the user selects an inference model that infers cancer as the first disease as the first inference model.

ここで、第一の推論モデルの選択は、ユーザの選択によらず、予め保持している条件との比較や、推論対象の医用データの種別、推論対象の医用データに対して画像処理を適用することによって第一の推論モデルが選択されてもよい。また、第一の推論モデルの選択は、異なる装置によって実施されてもよい。取得部１０が推論対象の医用データおよび第一の推論を行う第一の推論モデルの情報を取得すると、取得した情報を推論部１１に送信し、ステップＳ３１へと処理を進める。 Here, in the selection of the first inference model, the comparison with the pre-held conditions, the type of the inference target medical data, and the image processing are applied to the inference target medical data regardless of the user's selection. The first inference model may be selected by doing so. Also, the selection of the first inference model may be performed by different devices. When the acquisition unit 10 acquires the medical data to be inferred and the information of the first inference model for performing the first inference, the acquired information is transmitted to the inference unit 11 and the process proceeds to step S31.

ステップＳ３１において、推論部１１は、取得部１０から送信された推論対象の医用データおよび、第一の推論モデル（癌を推論するモデル）の情報に基づいて、推論対象の医用データに対して該第一の推論モデルを適用して、推論を行う。推論部１１は、第一の推論モデルから、第一の疾患情報として癌の有無を取得する。推論部１１は、第一の推論モデルによる第一の推論結果を選択部１２へ送信するとステップＳ３２へと処理を進める。 In step S31, the inference unit 11 refers to the inference target medical data based on the inference target medical data transmitted from the acquisition unit 10 and the information of the first inference model (model for inferring cancer). Apply the first inference model to make inferences. The inference unit 11 acquires the presence or absence of cancer as the first disease information from the first inference model. When the inference unit 11 transmits the first inference result by the first inference model to the selection unit 12, the process proceeds to step S32.

なお、情報処理装置１は、ステップＳ３０やステップＳ３１における処理結果を取得し、ステップＳ３２以降の処理を実施してもよい。 The information processing apparatus 1 may acquire the processing results in steps S30 and S31 and perform the processing after step S32.

ステップＳ３２において、選択部１２は、医用データに対する第一の推論による第一の推論結果を取得する。医用データに第一の疾患が検出された場合には、ステップＳ３３へと処理を進め、医用データに第一の疾患が検出されなかった場合には、本処理を終了する。 In step S32, the selection unit 12 acquires the first inference result by the first inference for the medical data. If the first disease is detected in the medical data, the process proceeds to step S33, and if the first disease is not detected in the medical data, the present process is terminated.

ステップＳ３３において、選択部１２は、第一の推論結果に基づいて該医用データに対して適用する第二の推論モデルを選択する。ここで、選択部１２は第一の推論によって検出された第一の疾患と臨床的に関係のある第二の疾患とを上述の方法のいずれかによって特定し、特定された第二の疾患をクラスとして含む推論モデルを第二の推論モデルとして選択する。選択部１２による第二の推論モデルの選択は、情報処理装置によって自動で選択できる。選択部１２は、医用データに対して適用する第二の推論モデルを選択すると、推論部１１に対して選択した第二の推論モデルの情報を送信し、ステップＳ３４へと処理を進める。ここでは、選択部１２はリストを参照し、第一の疾患である癌と臨床的な関係にある第二の疾患である出血の有無を検出する推論モデルを第二の推論モデルとして選択する。 In step S33, the selection unit 12 selects a second inference model to be applied to the medical data based on the first inference result. Here, the selection unit 12 identifies the first disease detected by the first reasoning and the clinically related second disease by any of the above-mentioned methods, and identifies the identified second disease. Select the inference model you want to include as a class as the second inference model. The selection of the second inference model by the selection unit 12 can be automatically selected by the information processing apparatus. When the selection unit 12 selects the second inference model to be applied to the medical data, the selection unit 12 transmits the information of the selected second inference model to the inference unit 11 and proceeds to the process to step S34. Here, the selection unit 12 refers to the list and selects an inference model for detecting the presence or absence of bleeding, which is a second disease clinically related to the first disease, cancer, as the second inference model.

なお選択部１２は、医用データに対して適用する推論モデルを選択すると、選択した推論モデルの情報を出力部１３を介して出力してもよい。また該出力を受けて異なる装置が後述するステップを実施してもよい。 When the selection unit 12 selects an inference model to be applied to the medical data, the selection unit 12 may output the information of the selected inference model via the output unit 13. Further, in response to the output, different devices may carry out the steps described later.

ステップＳ３４において、推論部１１は、選択部１２によって選択された推論対象の医用データに対して第二の推論を行う第二の推論モデルの情報を取得する。推論部１１は、該第二の推論モデルの情報に基づいて、医用データに対して、第二の推論モデルを適用し、出血の有無を検出する第二の推論を行う。推論部１１は第二の推論を実施すると、第二の推論による第二の推論結果を出力部１３へと送信し、ステップＳ３５へと処理を進める。 In step S34, the inference unit 11 acquires the information of the second inference model that performs the second inference with respect to the medical data of the inference target selected by the selection unit 12. The inference unit 11 applies the second inference model to the medical data based on the information of the second inference model, and performs the second inference to detect the presence or absence of bleeding. When the reasoning unit 11 executes the second inference, the reasoning unit 11 transmits the second inference result by the second inference to the output unit 13, and proceeds to the process in step S35.

ステップＳ３５において、出力部１３は推論部１１から取得した第二の推論結果を出力する。出力部１３による該出力は、情報処理装置１に接続されている表示装置３を通じてユーザに提示される。推論部１１によって医用データに出血が検出された場合に、出力部１３は該結果を出力する。また出力部１３は、第一の推論による推論結果も合わせて出力してもよい。 In step S35, the output unit 13 outputs the second inference result acquired from the inference unit 11. The output by the output unit 13 is presented to the user through the display device 3 connected to the information processing device 1. When the inference unit 11 detects bleeding in the medical data, the output unit 13 outputs the result. Further, the output unit 13 may also output the inference result of the first inference.

本実施形態に係る情報処理装置１によれば、第一の疾患に関する第一の推論の結果に基づいて、第一の疾患と異なる第二の疾患をクラスに含む第二の推論モデルを選択することができ、モデルの選択に係るユーザの手間を削減させることができる。これにより、ユーザが複数の疾患に対応する複数の推論モデルを選択する場合に比べて、第二の疾患の推論結果表示までの時間の大幅な短縮が実現できる。 According to the information processing apparatus 1 according to the present embodiment, a second inference model including a second inference different from the first disease in the class is selected based on the result of the first inference regarding the first disease. This makes it possible to reduce the user's labor involved in model selection. As a result, it is possible to significantly reduce the time required to display the inference result of the second disease as compared with the case where the user selects a plurality of inference models corresponding to a plurality of diseases.

（第１の実施形態の変形例１）
上述した実施形態では、第一の疾患として癌を例にあげ、第二の疾患として出血を推論する場合について説明した。 (Modification 1 of the first embodiment)
In the above-described embodiment, the case where cancer is taken as an example as the first disease and bleeding is inferred as the second disease has been described.

本発明の推論対象はこれに限らず、他の疾患を対象にした推論モデルが第二の推論モデルとして選択されてもよい。例えば、第一の疾患として脳出血が検出された場合に第二の疾患として脳梗塞を検出する場合などである。また推論対象は、疾患に限定されるものではない。 The inference target of the present invention is not limited to this, and an inference model targeting other diseases may be selected as the second inference model. For example, when cerebral hemorrhage is detected as the first disease, cerebral infarction is detected as the second disease. Moreover, the inference target is not limited to the disease.

医用データに対する第一の推論結果に基づいて、該医用データに対して適用する推論モデルを選択できればよく、第一の推論対象と第二の推論対象とが臨床的な関係を有している場合には、本発明を適用することができる。 It suffices if the inference model to be applied to the medical data can be selected based on the first inference result for the medical data, and the first inference target and the second inference target have a clinical relationship. The present invention can be applied to the above.

（第１の実施形態の変形例２）
上述した実施形態では、単一の疾患を第一の疾患とし、該第一の疾患をクラスとして含む推論モデルを用いて第一の推論を行う構成について説明した。本発明はこれに限定されず、第一の疾患として複数の疾患を対象としてもよい。推論部１１は、複数の第一の疾患のそれぞれをクラスとして含む推論モデルによって第一の推論を行い、選択部１２は該第一の推論結果に基づいて第二の推論モデルを選択してもよい。また選択部１２は、複数の第一の疾患を複数の推論モデルによって推論し、複数の推論モデルによる推論結果のそれぞれから、第二の推論を行う推論モデルを選択してもよい。複数の推論モデルによる第一の推論と、複数の第一の推論結果に基づいて選択部１２によって選択される第二の推論とは、並列して実施されても、順次実施されてもよい。 (Modification 2 of the first embodiment)
In the above-described embodiment, a configuration is described in which a single disease is regarded as a first disease and the first inference is performed using an inference model including the first disease as a class. The present invention is not limited to this, and a plurality of diseases may be targeted as the first disease. Even if the reasoning unit 11 makes the first inference by an inference model including each of the plurality of first diseases as a class, and the selection unit 12 selects the second inference model based on the first inference result. good. Further, the selection unit 12 may infer a plurality of first diseases by a plurality of inference models, and select an inference model for performing the second inference from each of the inference results by the plurality of inference models. The first inference by the plurality of inference models and the second inference selected by the selection unit 12 based on the plurality of first inference results may be performed in parallel or sequentially.

また第一の疾患として複数の疾患が対象とされた場合に、複数の疾患に対して推論部１１が行う第一の推論結果を組み合わせた結果を第一の推論結果として選択部１２に送信し、選択部１２が第二の推論を行う推論モデルを選択してもよい。 Further, when a plurality of diseases are targeted as the first disease, the result of combining the first inference results performed by the inference unit 11 for the plurality of diseases is transmitted to the selection unit 12 as the first inference result. , The selection unit 12 may select an inference model for performing the second inference.

例えば、出血、胸水、心タンポナーデ等の癌に関連する複数の疾患を第一の疾患とした場合には、推論部１１は、複数の疾患のそれぞれを検出する推論モデルを用いて推論を行う。次に推論部１１は、複数の疾患のそれぞれに対する推論結果を組み合わせて第一の推論結果として、選択部１２へと送信する。 For example, when a plurality of diseases related to cancer such as bleeding, pleural effusion, and cardiac tamponade are regarded as the first disease, the reasoning unit 11 makes an inference using an inference model that detects each of the plurality of diseases. Next, the inference unit 11 combines the inference results for each of the plurality of diseases and transmits them to the selection unit 12 as the first inference result.

選択部１２は、出血、胸水、心タンナポーデと臨床的な関係にある第二の疾患として、癌の有無を検出する推論モデルを選択する。推論部１１は、選択部１２によって選択された癌の有無を検出する推論モデルを用いて、第二の推論を実施する。 The selection unit 12 selects an inference model for detecting the presence or absence of cancer as a second disease clinically related to bleeding, pleural effusion, and cardiac tannapode. The inference unit 11 performs the second inference using an inference model that detects the presence or absence of cancer selected by the selection unit 12.

なお、推論部１１による第二の推論への入力として、複数の第一の疾患のうち、検出された疾患に関する結果が用いられてもよい。また複数の第一の疾患のうち、検出された疾患と臨床的な関係にある第二の疾患をクラスとして含む推論モデルが選択部１２によって選択されてもよい。 As an input to the second inference by the reasoning unit 11, the result regarding the detected disease among the plurality of first diseases may be used. Further, an inference model including a second disease clinically related to the detected disease among the plurality of first diseases as a class may be selected by the selection unit 12.

（第１の実施形態の変形例３）
上述した実施形態では、選択部１２は、事前に設定された第一の疾患と第二の疾患の臨床的な関係を定義するリストを参照し、第一の推論によって検出された第一の疾患と臨床的な関係にある第二の疾患をクラスとして含む推論モデルを選択する形態について説明をした。本発明はこれに限られず、第一の疾患と第二の疾患との臨床的な関係は、樹形図や有向グラフ等によって定義されていてもよい。 (Modification 3 of the first embodiment)
In the embodiments described above, the selection unit 12 refers to a preset list defining the clinical relationship between the first disease and the second disease, and the first disease detected by the first reasoning. We explained the form of selecting an inference model that includes the second disease that is clinically related to the disease as a class. The present invention is not limited to this, and the clinical relationship between the first disease and the second disease may be defined by a dendrogram, a directed graph, or the like.

また選択部１２による推論モデルは、必ずしも事前に定義されている臨床的な関係に応じて選択される必要はない。例えば、選択部１２は推論モデルに対応する構造化データを保持しており、該構造化データに応じて推論モデルが選択されてもよい。例えば、肺癌を検出する第一の推論モデルに対して、選択部１２は胸部・肺・癌という構造化データを対応付けて保持する。選択部１２は、第一の推論を行った推論モデルに対応する構造化データに基づいて、第二の推論を行う推論モデルを選択する。ここで選択部１２は、胸部や肺、癌のうち、少なくとも一つを構造化データもしくはクラスに含む推論モデルを第二の推論を行う推論モデルとして選択する。 Also, the inference model by the selection unit 12 does not necessarily have to be selected according to a predefined clinical relationship. For example, the selection unit 12 holds the structured data corresponding to the inference model, and the inference model may be selected according to the structured data. For example, with respect to the first inference model for detecting lung cancer, the selection unit 12 holds structured data of chest, lung, and cancer in association with each other. The selection unit 12 selects an inference model for performing the second inference based on the structured data corresponding to the inference model for which the first inference is performed. Here, the selection unit 12 selects an inference model that includes at least one of the chest, lung, and cancer in the structured data or class as the inference model for performing the second inference.

（第１の実施形態の変形例４）
第一の疾患を推論する第一の推論モデルが、変更された場合には、選択部１２は変更された第一の推論モデルの対応する第一の疾患と、臨床的な関係にある第二の疾患を特定し、特定した第二の疾患をクラスとして含む第二の推論モデルが選択する。ここで、推論モデルは、第一の疾患と第二の疾患等の疾患間の関係によって定義されているため、第一の推論モデルの変更前に選択部１２によって選択される第二の推論モデルと、第一の推論モデルの変更後に選択部１２によって選択される第二の推論モデルは、異なる推論モデルである。なお、第一の推論モデルが変更された場合にも、変更前の第一の疾患と変更後の第一の疾患とが、共通の第二の疾患と臨床的な関係を有している場合には、同じ推論モデルが第二の推論モデルとして選択部１２によって選択されてもよい。 (Variation Example 4 of the First Embodiment)
If the first inference model that infers the first disease is modified, the selection unit 12 has a clinical relationship with the corresponding first disease of the modified first inference model. A second inference model that identifies the disease and includes the identified second disease as a class is selected. Here, since the inference model is defined by the relationship between the first disease and the second disease and the like, the second inference model is selected by the selection unit 12 before the change of the first inference model. And the second inference model selected by the selection unit 12 after the modification of the first inference model is a different inference model. Even when the first inference model is changed, the first disease before the change and the first disease after the change have a clinical relationship with the common second disease. The same inference model may be selected by the selection unit 12 as the second inference model.

［第２の実施形態］
第２の実施形態では、第一の疾患が存在する場合に、選択部１２が複数の疾患を第二の疾患として選択し、推論部１１において第二の推論を実行する場合について説明する。 [Second Embodiment]
In the second embodiment, when the first disease is present, the selection unit 12 selects a plurality of diseases as the second disease, and the reasoning unit 11 executes the second inference.

本実施形態では、推論部１１は、推論対象の医用データであるＸ線ＣＴ装置により撮像された全身ＣＴ画像データから、第一の疾患として心筋梗塞を検出する推論モデルによって心筋梗塞の有無を推論する例を挙げて説明をする。心筋梗塞が検出された場合には、選択部１２は、心筋梗塞と臨床的な関係として例えば合併症にある、心膜炎、心室瘤、心筋破裂を検出する推論モデルを第二の推論を行う第二の推論モデルとして選択する。 In the present embodiment, the inference unit 11 infers the presence or absence of myocardial infarction from the whole body CT image data captured by the X-ray CT device, which is the medical data to be inferred, by an inference model that detects myocardial infarction as the first disease. I will explain with an example. When myocardial infarction is detected, the selection unit 12 makes a second inference of an inference model for detecting pericarditis, ventricular aneurysm, and myocardial rupture, which are clinically related to myocardial infarction, for example. Select as the second inference model.

ここでは、第一の推論を行う推論モデルと、第二の推論を行う第二の推論モデルは、検出された疾患領域を抽出するセグメンテーションのタスクを行い、出力部１３は、推論結果として推論対象の医用画像データに対して、疾患領域を強調した医用画像データを表示装置３に出力する。 Here, the inference model that makes the first inference and the second inference model that makes the second inference perform the segmentation task of extracting the detected disease region, and the output unit 13 performs the inference target as the inference result. The medical image data in which the diseased area is emphasized is output to the display device 3 with respect to the medical image data of the above.

以下、本実施形態に係る情報処理装置の各構成の詳細に関して、重複する部分の説明は適宜割愛し、第１の実施形態と異なる部分について説明する。本実施形態において選択部１２は、第二の疾患として複数の疾患を推論対象として選択するものとする。 Hereinafter, with respect to the details of each configuration of the information processing apparatus according to the present embodiment, the description of the overlapping portion will be omitted as appropriate, and the portion different from the first embodiment will be described. In the present embodiment, the selection unit 12 selects a plurality of diseases as inference targets as the second disease.

（選択部１２）
選択部１２は、推論部１１による第一の推論結果に基づいて、第二の疾患を推論する第二の推論モデルを選択する。選択部１１は、事前に第一の疾患と第二の疾患の臨床的な関係を定義する樹形図を保持しておき、第一の疾患が存在する場合に、第一の疾患と臨床的に関係のある複数の第二の疾患を特定する。また選択部１２は、特定された複数の第二の疾患の少なくとも一つをクラスとして含む推論モデルを複数選択し、選択した第二の推論モデルの情報を推論部１１へ送信する。推論部１１は選択された第二の推論モデルを用いて推論対象の医用データに対して第二の推論を行う。 (Selection unit 12)
The selection unit 12 selects a second inference model for inferring the second disease based on the first inference result by the inference unit 11. The selection unit 11 holds a tree diagram defining the clinical relationship between the first disease and the second disease in advance, and when the first disease is present, the first disease and the clinical Identify multiple secondary illnesses related to. Further, the selection unit 12 selects a plurality of inference models including at least one of the specified plurality of second diseases as a class, and transmits information of the selected second inference model to the inference unit 11. The inference unit 11 makes a second inference with respect to the medical data to be inferred using the selected second inference model.

（情報処理装置の動作）
次に、図４のフローチャートと図５の樹形図とを用いて、情報処理装置１が実行する処理を説明する。図５の樹形図は疾患間の臨床的な関係を定義している一例を示した図である。例えば第一の疾患である心筋梗塞に対して、合併症の可能性のある、心膜炎、心室瘤、心筋破裂を心筋梗塞に臨床的な関係にある第二の疾患として選択部１２が保持している。また第二の疾患である心膜炎は、第三の疾患である心タンナポーデと臨床的な関係を有する。 (Operation of information processing device)
Next, the process executed by the information processing apparatus 1 will be described with reference to the flowchart of FIG. 4 and the dendrogram of FIG. The dendrogram of FIG. 5 is a diagram showing an example defining a clinical relationship between diseases. For example, for myocardial infarction, which is the first disease, pericarditis, ventricular aneurysm, and myocardial rupture, which may be complications, are retained by the selection unit 12 as the second disease clinically related to myocardial infarction. is doing. The second disease, pericarditis, has a clinical relationship with the third disease, cardiac tannapode.

ステップＳ３０において、取得部１０は、推論対象の医用データを取得する。ここでは、取得部１０は胸部の三次元のＸ線ＣＴ画像データ（ボリュームデータ）を取得し、推論部１１に送信する。また取得部１０は、ユーザより推論対象の医用データに対して第一の推論に適用する第一の推論モデルの情報を取得する。ここでは、心筋梗塞を検出する推論モデルを第一の推論モデルとしてユーザが選択したものとする。取得部１０は、取得した情報を推論部１１へと送信し、ステップＳ３１へと処理を進める。 In step S30, the acquisition unit 10 acquires the medical data to be inferred. Here, the acquisition unit 10 acquires the three-dimensional X-ray CT image data (volume data) of the chest and transmits it to the inference unit 11. Further, the acquisition unit 10 acquires the information of the first inference model applied to the first inference with respect to the medical data to be inferred from the user. Here, it is assumed that the inference model for detecting myocardial infarction is selected by the user as the first inference model. The acquisition unit 10 transmits the acquired information to the inference unit 11 and proceeds to the process in step S31.

ステップＳ３１において、推論部１１は、推論対象の医用データ（医用画像データ）から心筋梗塞を検出する推論モデルを用いて、心筋梗塞の有無を推論する第一の推論を実施する。推論部１１は第一の推論結果を選択部へと送信するとステップＳ４２へと処理を進める。 In step S31, the inference unit 11 performs the first inference to infer the presence or absence of myocardial infarction by using the inference model for detecting myocardial infarction from the medical data (medical image data) to be inferred. When the inference unit 11 transmits the first inference result to the selection unit, the process proceeds to step S42.

ステップＳ４２において、選択部１２は、第一の疾患をクラスとして含む第一の推論モデルによる第一の推論結果を取得する。ここで第一の推論によって心筋梗塞が検出された場合には、ステップＳ４３へと処理を進める。第一の推論によって心筋梗塞が検出されなかった場合には本処理を終了する。 In step S42, the selection unit 12 acquires the first inference result by the first inference model including the first disease as a class. If myocardial infarction is detected by the first reasoning, the process proceeds to step S43. If myocardial infarction is not detected by the first reasoning, this process is terminated.

ステップＳ４３において、選択部１２は、樹形図を参照し、複数の第二の疾患を特定する。図５を参照すると、心筋梗塞と臨床的な関係を有する疾患として、心膜炎・心室瘤・心筋破裂が樹形図に定義されている。よって選択部１２は、第二の疾患として、心膜炎・心室瘤・心筋破裂を推論する推論モデルを第二の推論モデルとして選択する。ここで、選択部１２は、複数の第二の疾患のうち、少なくとも一つをクラスとして含む推論モデルを選択する。例えば選択部１２は心膜炎・心室瘤・心筋破裂のすべてをクラスとして含む推論モデルを第二の推論モデルとして選択してもよい。もしくは、選択部１２は、心膜炎・心室瘤・心筋破裂のそれぞれを検出する複数の推論モデルを第二の推論モデルとして選択してもよい。ここでは選択部１２は心膜炎・心室瘤・心筋破裂のそれぞれを検出する３つの推論モデルを選択し、選択された推論モデルの情報を推論部１１へと送信し、ステップＳ４４へと処理を進める。 In step S43, the selection unit 12 refers to the tree diagram and identifies a plurality of second diseases. Referring to FIG. 5, pericarditis, ventricular aneurysm, and myocardial rupture are defined in the dendrogram as diseases clinically related to myocardial infarction. Therefore, the selection unit 12 selects an inference model for inferring pericarditis, ventricular aneurysm, and myocardial rupture as the second inference model as the second disease. Here, the selection unit 12 selects an inference model that includes at least one of the plurality of second diseases as a class. For example, the selection unit 12 may select an inference model that includes all of pericarditis, ventricular aneurysm, and myocardial rupture as a class as the second inference model. Alternatively, the selection unit 12 may select a plurality of inference models for detecting each of pericarditis, ventricular aneurysm, and myocardial rupture as the second inference model. Here, the selection unit 12 selects three inference models for detecting each of pericarditis, ventricular aneurysm, and myocardial rupture, transmits the information of the selected inference model to the inference unit 11, and processes in step S44. Proceed.

ステップＳ４４において、推論部１１は、推論対象の医用データに対して、選択部１２によって選択された複数の推論モデルを適用し、第二の推論を行う。複数の推論モデルによる推論は、並列に処理されても、順次処理されてもよい。推論部１１は、第二の推論の結果を出力部１３へ送信し、ステップＳ４５へと処理を進める。 In step S44, the inference unit 11 applies a plurality of inference models selected by the selection unit 12 to the medical data to be inferred, and performs a second inference. Inference by a plurality of inference models may be processed in parallel or sequentially. The inference unit 11 transmits the result of the second inference to the output unit 13, and proceeds to the process in step S45.

ステップＳ４５において、出力部１３は、第一の推論結果および第二の推論結果を比較可能に出力する。例えば、出力部１３は検出された疾患領域を、推論対象の医用データ（医用画像データ）上に重畳した医用画像データを表示装置３に出力させる。出力する医用データは、三次元のボリュームデータでもよいし、二次元の断層画像データであってもよい。 In step S45, the output unit 13 outputs the first inference result and the second inference result in a comparable manner. For example, the output unit 13 causes the display device 3 to output the detected medical image data superimposed on the medical data (medical image data) to be inferred. The medical data to be output may be three-dimensional volume data or two-dimensional tomographic image data.

本実施形態に係る情報処理装置によれば、選択部１２は、第一の疾患に関する推論の結果に基づいて、複数の第二の疾患に対応する推論モデルを複数選択することができる。また選択部１２による該選択によってユーザによるモデルの選択の手間を削減しつつ、推論部１１によって効率良く推論を実行することが可能である。 According to the information processing apparatus according to the present embodiment, the selection unit 12 can select a plurality of inference models corresponding to a plurality of second diseases based on the result of inference regarding the first disease. Further, it is possible to efficiently execute inference by the inference unit 11 while reducing the time and effort of the user to select the model by the selection by the selection unit 12.

これにより、推論対象の医用データに対して心筋梗塞を推論した後に、ユーザが心膜炎・心室瘤・心筋破裂の推論モデルをそれぞれ選択して、推論処理を行う場合に比べて、第二の疾患の推論結果表示までの時間の大幅な短縮が実現できる。 As a result, after inferring myocardial infarction from the medical data to be inferred, the user selects inference models for pericarditis, ventricular aneurysm, and myocardial rupture, respectively, and performs inference processing. It is possible to significantly reduce the time required to display the inference result of the disease.

（第２の実施形態の変形例１）
上述した実施形態では、第一の疾患に関する第一の推論と第二の疾患に関する第二の推論について説明した。本発明の形態はこれに限らず、図５の樹形図に定義されているように、第二の疾患と臨床的な関係のある第三の疾患が存在する場合や、第二の疾患と臨床的な関係のある第三の疾患に対して、第三の疾患と他の疾患との臨床的な関係を定義する他の樹形図がある場合には、樹形図に定義されている推論処理が推論部１１によって実施されてもよい。 (Modification 1 of the second embodiment)
In the embodiments described above, the first reasoning for the first disease and the second reasoning for the second disease have been described. The form of the present invention is not limited to this, and as defined in the dendrogram of FIG. 5, when there is a third disease clinically related to the second disease, or with the second disease. For a clinically related third disease, if there is another dendrogram that defines the clinical relationship between the third disease and another disease, it is defined in the dendrogram. The inference process may be performed by the inference unit 11.

（第２の実施形態の変形例２）
上述した実施形態では、選択部１２は、第一の推論結果に基づいて複数の推論モデルを選択し、選択された複数の推論モデルのそれぞれが、推論対象の医用データに対して推論する場合について説明した。本発明の形態はこれに限らず、推論部１１は第一の推論結果を、第二の推論を行う第二の推論モデルに追加情報として入力し、第二の疾患に関する第二の推論を実行してもよい。これにより、情報処理装置１は、より精度の高い推論を実施することができる。 (Modification 2 of the second embodiment)
In the above-described embodiment, the selection unit 12 selects a plurality of inference models based on the first inference result, and each of the selected inference models infers to the medical data to be inferred. explained. The form of the present invention is not limited to this, and the inference unit 11 inputs the first inference result into the second inference model for performing the second inference as additional information, and executes the second inference regarding the second disease. You may. As a result, the information processing apparatus 1 can perform inference with higher accuracy.

（第２の実施形態の変形例３）
本変形例において、推論部１１は、第二の推論による第二の推論結果を、第一の推論を行った推論モデルへの追加情報として入力し、第一の推論を行った推論モデルが、第三の推論を行ってもよい。これにより、第一の推論を行った推論モデルから得られる推論結果の精度が向上する。また上述の第二の実施形態の変形例２と組み合わせて、複数回の推論を実施することによってさらに精度の高い推論を実施することができる。 (Modification 3 of the second embodiment)
In this modification, the inference unit 11 inputs the second inference result by the second inference as additional information to the inference model in which the first inference is performed, and the inference model in which the first inference is performed is the inference model. A third reasoning may be made. This improves the accuracy of the inference results obtained from the inference model that made the first inference. Further, by performing the inference a plurality of times in combination with the modification 2 of the second embodiment described above, it is possible to carry out the inference with higher accuracy.

（第２の実施形態の変形例４）
上述した実施形態では、第一の推論結果に基づいて、選択部１２は複数の推論モデルを選択し、推論部１１は、選択された複数の推論モデルを用いて第二の推論を実施する形態について説明をした。本変形例では選択部１２は、第一の推論によって検出された第一の疾患と臨床的な関係にある複数の第二の疾患を特定し、特定した複数の第二の疾患を出力部１３に送信する。出力部１３は複数の第二の疾患の情報を出力し、ユーザは入力装置４を介して、複数の第二の疾患に関する情報から第二の推論の対象とする疾患を選択してもよい。 (Variation Example 4 of the Second Embodiment)
In the above-described embodiment, the selection unit 12 selects a plurality of inference models based on the first inference result, and the inference unit 11 implements the second inference using the selected plurality of inference models. I explained about. In this modification, the selection unit 12 identifies a plurality of second diseases that are clinically related to the first disease detected by the first inference, and outputs the specified plurality of second diseases. Send to. The output unit 13 outputs information on a plurality of second diseases, and the user may select a disease to be inferred from the information on the plurality of second diseases via the input device 4.

［第３の実施形態］
第３の実施形態に係る情報処理装置１は、第一の疾患が存在しない場合に、選択部１２において、第二の疾患として複数の疾患候補の中から第二の疾患を選択する。 [Third Embodiment]
When the first disease does not exist, the information processing apparatus 1 according to the third embodiment selects the second disease from a plurality of disease candidates as the second disease in the selection unit 12.

本実施形態では、Ｘ線ＣＴ装置により撮像された頭部ＣＴ画像データを推論対象の医用データとし、推論部１１における第一の推論結果として、脳梗塞が検出されなかった場合の例について説明をする。以下、上述までの実施形態と同様の構成やフローに関して、適宜説明を省略し、差異を説明する。 In the present embodiment, the head CT image data captured by the X-ray CT device is used as the medical data to be inferred, and an example in which cerebral infarction is not detected as the first inference result in the inference unit 11 will be described. do. Hereinafter, differences will be described with respect to the same configurations and flows as those of the above-described embodiments, omitting appropriate explanations.

（選択部１２）
選択部１２は、推論部１１における第一の推論結果に基づいて、第二の推論を行う第二の推論モデルを選択する。選択部１２は、第一の疾患と第二の疾患との臨床的な関係を定義したリストを事前に保持しておき、第一の推論結果に基づいて、第二の推論モデルを選択する。該リストは、第一の疾患の有無に対して臨床的な関係を定義している。選択部１１はリストの情報として例えば第一の疾患が検出されなかった場合に、選択されるべき第二の疾患を含む情報を保持している。 (Selection unit 12)
The selection unit 12 selects a second inference model for performing the second inference based on the first inference result in the inference unit 11. The selection unit 12 holds in advance a list defining the clinical relationship between the first disease and the second disease, and selects the second inference model based on the first inference result. The list defines a clinical relationship to the presence or absence of the first disease. The selection unit 11 holds information including the second disease to be selected as the information of the list, for example, when the first disease is not detected.

（情報処理装置の動作）
次に、図６のフローチャートを用いて、本実施形態における情報処理装置１が実行する処理を説明する。 (Operation of information processing device)
Next, the process executed by the information processing apparatus 1 in the present embodiment will be described with reference to the flowchart of FIG.

ステップＳ６２において、選択部１２は、推論部１１から第一の推論結果を取得する。第一の推論結果、第一の疾患が検出された場合には、上述で説明したステップＳ３２やステップＳ４２へと処理を進める。選択部１２は、第一の疾患が検出されなかった場合にはステップＳ６３へと処理を進める。 In step S62, the selection unit 12 acquires the first inference result from the inference unit 11. When the first disease is detected as a result of the first inference, the process proceeds to step S32 and step S42 described above. If the first disease is not detected, the selection unit 12 proceeds to step S63.

ステップＳ６３からステップＳ６５はそれぞれ図４のステップＳ４３からステップＳ４５と対応する処理を行うため説明を割愛する。 Since steps S63 to S65 perform the corresponding processes from steps S43 to S45 in FIG. 4, the description thereof will be omitted.

本実施形態に係る情報処理装置によれば、第一の疾患に関する第一の推論の結果に基づいて、第二推論を行う推論モデルを効率よく選択することが可能である。これにより、第二の疾患の推論結果表示までの時間の短縮が実現できる。 According to the information processing apparatus according to the present embodiment, it is possible to efficiently select an inference model for performing the second inference based on the result of the first inference regarding the first disease. As a result, the time required to display the inference result of the second disease can be shortened.

（変形例１）
上述した実施形態では、推論対象の医用データとして、Ｘ線ＣＴ画像データを用いた場合について説明した。本発明の適用対象はこれに限らず、推論対象の医用データとして、各種医用撮像装置の生データやＭＲ画像、ＳＰＥＣＴ画像、ＰＥＴ画像が用いられてもよい。 (Modification 1)
In the above-described embodiment, the case where the X-ray CT image data is used as the medical data to be inferred has been described. The application target of the present invention is not limited to this, and raw data, MR images, SPECT images, and PET images of various medical imaging devices may be used as medical data to be inferred.

（変形例２）
第１の実施形態では、推論モデルが実施する推論のタスクとして三次元画像データ中の疾患の有無を推論する場合について説明した。また第２の実施形態では、推論モデルが実施する推論のタスクとして三次元画像データ中の三次元的な疾患領域をセグメンテーションする場合について説明し、第３の実施形態では、推論モデルが実施する推論のタスクとして三次元画像データ中の疾患の有無を推論する場合について説明した。 (Modification 2)
In the first embodiment, the case of inferring the presence or absence of a disease in the three-dimensional image data as the inference task performed by the inference model has been described. Further, in the second embodiment, a case where a three-dimensional disease region in the three-dimensional image data is segmented as an inference task performed by the inference model will be described, and in the third embodiment, the inference performed by the inference model will be described. The case of inferring the presence or absence of a disease in 3D image data was explained as the task of.

しかし、本発明の形態はこれらに限らず、推論のタスクは画像中の疾患領域を包含するＢｏｕｎｄｉｎｇＢｏｘ（バウンディングボックス）を取得したり、疾患の分類を行ったり、疾患の発症リスクを推論したり、その他疾患に関するどのような推論を行うものでもよい。 However, the form of the present invention is not limited to these, and the task of inference is to obtain a Bounding Box that includes the disease area in the image, classify the disease, and infer the risk of developing the disease. , Any other reasoning about the disease.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiment is supplied to the system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

Claims

A second inference result obtained by applying the first inference model to the medical data and applied to the second inference to the medical data based on the first inference result. A selection section that selects the inference model, and
An output unit that outputs information on the selected inference model, and
An information processing device characterized by having.

The acquisition department that acquires medical data, and
The information processing apparatus according to claim 1, further comprising an inference unit for inferring the medical data.

The inference unit makes a second inference based on the selected second inference model for the medical data.
The information processing apparatus according to claim 2, wherein the output unit outputs an inference result by the inference unit.

Claims 1 to 3 are characterized in that the selection unit selects an inference model including a first disease detected by the first inference and a different second disease as a class as the second inference model. The information processing apparatus according to any one of the above.

The information processing apparatus according to claim 4, wherein the first disease and the second disease are diseases having a clinical relationship with each other.

The clinical relationship is a causal relationship between the first disease and the second disease, or a relationship between the first disease and the second disease to be confirmed for the first disease. The information processing apparatus according to claim 5, wherein the information processing apparatus is provided.

The information processing apparatus according to claim 5 or 6, wherein the selection unit selects an inference model including a plurality of second diseases having a clinical relationship with the first disease as a class.

The reasoning unit includes the first reasoning based on the first reasoning model including the first disease as a class, and the second reasoning model containing a second disease different from the first disease as a class. 2. The information processing apparatus according to claim 3, wherein the inference is performed.

The information processing apparatus according to any one of claims 1 to 8, wherein the selection unit selects the inference model based on an inference result in which a plurality of the first inference results are combined.

The information according to claim 3 or 8, wherein the inference unit performs the second inference by further using the first inference result by the first inference as an input to the second inference model. Processing equipment.

The information according to claim 8 or 10, wherein the inference unit performs a third inference using the second inference result by the second inference as an input to the first inference model. Processing equipment.

The information processing apparatus according to any one of claims 1 to 11, wherein the selection unit selects the inference model based on a user's selection.

The selection unit has a second clinical relationship with the first disease corresponding to the modified first inference model when the first model in which the first inference is made is modified. The information processing according to any one of claims 1 to 12, wherein a second inference model including the disease as a class is selected.

The selection unit is characterized in that it refers to the relationship information that defines the relationship between the first disease and the second disease, and selects a second inference model that includes the second disease as a class. The information processing apparatus according to any one of claims 4 to 7.

The information processing apparatus according to claim 14, wherein the selection unit holds the related information by at least one of a list, a directed graph, and a dendrogram.

A second inference result obtained by applying the first inference model to the medical data and applied to the second inference to the medical data based on the first inference result. A selection step to select an inference model, and
An output step that outputs information about the selected inference model, and
An information processing method characterized by having.

A program for executing the information processing method according to claim 16 on a computer.

The acquisition department that acquires medical data, and
The second inference result obtained by the first inference to which the first inference model is applied to the medical data is obtained, and the second inference to the medical data is applied based on the first inference result. A selection section that selects the inference model of
An inference unit that makes the second inference using the selected second inference model for the medical data.
An output unit that outputs the inference result by the second inference,
An information processing system characterized by having.