JP2019092542A - Medical image processor and medical image processing method - Google Patents

Medical image processor and medical image processing method Download PDF

Info

Publication number
JP2019092542A
JP2019092542A JP2017221797A JP2017221797A JP2019092542A JP 2019092542 A JP2019092542 A JP 2019092542A JP 2017221797 A JP2017221797 A JP 2017221797A JP 2017221797 A JP2017221797 A JP 2017221797A JP 2019092542 A JP2019092542 A JP 2019092542A
Authority
JP
Japan
Prior art keywords
medical image
image processing
cutting
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017221797A
Other languages
Japanese (ja)
Other versions
JP7228332B2 (en
Inventor
恵太 三森
Keita Mitsumori
恵太 三森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2017221797A priority Critical patent/JP7228332B2/en
Publication of JP2019092542A publication Critical patent/JP2019092542A/en
Application granted granted Critical
Publication of JP7228332B2 publication Critical patent/JP7228332B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a medical image processor capable of collecting easily many medical images for learning; and to provide a medical image processing method.SOLUTION: A medical image processor in an embodiment includes an area extraction part for extracting an area to which finding information is imparted from a three-dimensional medical image, and an acquisition part for acquiring a medical image cut in a direction crossing the area extracted by the area extraction part, and including a part of the finding information from the three-dimensional medical image.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、医用画像処理装置および医用画像処理方法に関する。   Embodiments of the present invention relate to a medical image processing apparatus and a medical image processing method.

画像認識や音声認識の分野において、深層学習などの機械学習が利用されることが増えてきた。深層学習は、多層のニューラルネットワークを用いた機械学習である。例えば、画像認識の分野では、深層学習の1つである畳込みニューラルネットワーク(Convolutional Neural Network、以下CNNという)を用いた学習方法が従来の方法に比べて非常に高い性能を示すことが知られている。CNN(ConvNetとも呼ばれる)は、学習用の画像データを学習することにより、自動で特徴構造を抽出し、入力された画像が学習用の画像データと同じ特徴を持った画像かどうかを判定することができる。   In the field of image recognition and speech recognition, machine learning such as deep learning has been increasingly used. Deep learning is machine learning using multi-layered neural networks. For example, in the field of image recognition, it is known that a learning method using a convolutional neural network (hereinafter referred to as CNN), which is one of deep learning, shows much higher performance than conventional methods. ing. CNN (also called ConvNet) automatically extracts feature structures by learning image data for learning, and determines whether or not the input image has the same characteristics as the image data for learning Can.

ところで、深層学習で高精度の判定結果を得るためには、膨大な数の学習用の画像データが必要である。例えば、80%程度の精度を達成するためには1千枚程度、90%の精度を達成するためには1万枚程度の画像データが必要であるといわれている。例えば、学習対象が動物や自動車などの容易に入手可能な画像であれば、インターネット網などの公衆の電子ネットワークを介して大量の画像を容易に収集することができる。   By the way, in order to obtain highly accurate determination results in deep learning, a huge number of learning image data are required. For example, it is said that about 10,000 sheets of image data are required to achieve an accuracy of about 80%, and about 10,000 sheets to achieve an accuracy of 90%. For example, if the learning target is an easily obtainable image such as an animal or a car, a large number of images can be easily collected via a public electronic network such as the Internet.

ここで、医用画像に含まれる患部の検出のために深層学習を利用することを考える。この場合、患部が含まれた医用画像を数多く収集してCNNに学習させることになる。しかし、患部の有無にかかわらず、そもそも医用画像はネットワーク上にありふれた画像ではない。このため、患部が含まれた医用画像は、深層学習で高精度の判定結果を得るために十分な数を収集することが困難である。また、特徴構造を高精度に抽出させるためには、医用画像の部位、被検体の体格や年齢などにもとづいて学習対象の医用画像データを細かく分類し、分類ごとに学習させることが好ましい。しかし、学習対象の医用画像データを分類する場合、分類ごとに大量の学習用の医用画像データを収集しなければならない。このため、細かく分類すればするほど、学習用の医用画像データの収集は困難になってしまう。   Here, it is considered to use deep learning to detect an affected area included in a medical image. In this case, a large number of medical images including the affected area are collected and learned by the CNN. However, regardless of the presence or absence of the affected area, the medical image is not a common image on the network. For this reason, it is difficult to collect sufficient numbers of medical images including the affected area in deep learning to obtain a highly accurate determination result. Further, in order to extract the feature structure with high accuracy, it is preferable to finely classify medical image data to be learned on the basis of a region of a medical image, a physique and an age of a subject, and to learn for each classification. However, when classifying medical image data to be learned, a large amount of learning medical image data must be collected for each classification. For this reason, the more finely they are classified, the more difficult it becomes to collect medical image data for learning.

特開2015−80720号公報Unexamined-Japanese-Patent No. 2015-80720

本発明が解決しようとする課題は、学習用の医用画像を容易に数多く収集することである。   The problem to be solved by the present invention is to easily collect many medical images for learning.

実施形態に係る医用画像処理装置は、領域抽出部と、取得部と、を備える。領域抽出部は、所見情報が付与された領域を3次元医用画像から抽出する。取得部は、領域抽出部によって抽出された領域に交差する方向に切断され、所見情報の一部が含まれる医用画像を3次元医用画像から取得する。   A medical image processing apparatus according to an embodiment includes an area extraction unit and an acquisition unit. The area extraction unit extracts an area to which the finding information is added from the three-dimensional medical image. The acquisition unit is cut in a direction intersecting the area extracted by the area extraction unit, and acquires a medical image including a part of the finding information from the three-dimensional medical image.

第1実施形態に係る医用画像処理装置の一構成例を示すブロック図。FIG. 1 is a block diagram showing a configuration example of a medical image processing apparatus according to a first embodiment. 学習用画像データの元データの一例を説明するための図。The figure for demonstrating an example of the original data of the image data for learning. (a)はDICOM(Digital Imaging and Communications in Medicine)タグおよびRIS情報の一例を示す説明図、(b)は読影レポートの一例を説明するための図。(A) is explanatory drawing which shows an example of a DICOM (Digital Imaging and Communications in Medicine) tag and RIS information, (b) is a figure for demonstrating an example of an interpretation report. 図1に示す処理回路のプロセッサにより、患部が含まれた医用画像データを機械学習の学習用に容易に数多く収集する際の概略的な手順の一例を示すフローチャート。FIG. 6 is a flowchart showing an example of a schematic procedure when collecting a large number of medical image data including an affected part for machine learning easily by the processor of the processing circuit shown in FIG. 1; FIG. ボリューム画像を構成する複数の断層像データから、アノテーション付帯断層像データが抽出される様子の一例を示す説明図。Explanatory drawing which shows an example of a mode that annotation attached tomographic image data are extracted from several tomographic image data which comprise a volume image. 図5で抽出されたアノテーション付帯断層像データに対して設定される切り出し方向z1の一例を示す説明図。Explanatory drawing which shows an example of the cutting-out direction z1 set with respect to the annotation attachment tomographic image data extracted in FIG. 図6に示す切り出し方向z1に沿って生成された、アノテーションを含む複数のMPR画像データの一例を示す説明図。Explanatory drawing which shows an example of several MPR image data containing the annotation produced | generated along extraction direction z1 shown in FIG. 複数の元データセットに共用の切り出し方向z1を設定しつつ学習用画像を数多く収集する際の手順の一例を示すフローチャート。The flowchart which shows an example of the procedure at the time of collecting many images for study while setting common cutting-out direction z1 to a plurality of original data sets. 複数の元データセットに共用の切り出し方向z1が設定される様子を説明するための図。The figure for demonstrating a mode that common cutting-out direction z1 is set to several source data sets. 第3実施形態に係る医用画像処理装置の一構成例を示すブロック図。FIG. 10 is a block diagram showing an example of the configuration of a medical image processing apparatus according to a third embodiment. 臓器のサイズとアノテーションのサイズに応じてアノテーション34を含むMPR画像データを分類する際の手順の一例を示すフローチャート。5 is a flowchart showing an example of a procedure for classifying MPR image data including an annotation 34 according to the size of an organ and the size of an annotation. 分類機能による分類の一例を示す説明図。Explanatory drawing which shows an example of the classification by a classification function.

本発明の実施形態に係る医用画像処理装置および医用画像処理方法について、添付図面を参照して説明する。   A medical image processing apparatus and a medical image processing method according to an embodiment of the present invention will be described with reference to the attached drawings.

本実施形態に係る医用画像処理装置10によって生成された学習用の医用画像データは、例えばCNN(畳み込みニューラルネットワーク)、畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)、再構成型トポグラフィック独立成分分析(TICA:Topographic Independent Component Analysis)などの機械学習に利用される。   Medical image data for learning generated by the medical image processing apparatus 10 according to the present embodiment is, for example, CNN (Convolutional Neural Network), Convolutional Deep Belief Network (CDBN), Reconfigurable Topographic Independent Component It is used for machine learning such as analysis (TICA: Topographic Independent Component Analysis).

(実施形態1)
医用画像処理装置10は、図1に示すように、入力回路11、ディスプレイ12、記憶回路13、ネットワーク接続回路14、および処理回路15を有する。
(Embodiment 1)
The medical image processing apparatus 10 includes an input circuit 11, a display 12, a memory circuit 13, a network connection circuit 14, and a processing circuit 15, as shown in FIG.

入力回路11は、例えばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路15に出力する。ディスプレイ12は、例えば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成される。   The input circuit 11 is constituted by a general input device such as a track ball, a switch button, a mouse, a keyboard, and a ten key, and outputs an operation input signal corresponding to the user's operation to the processing circuit 15. The display 12 is configured by a general display output device such as a liquid crystal display or an OLED (Organic Light Emitting Diode) display.

記憶回路13は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。   The storage circuit 13 has a configuration including a processor-readable storage medium such as a magnetic or optical storage medium or a semiconductor memory.

例えば、記憶回路13は、モダリティ100から供給されたボリューム画像(医用3次元画像)を記憶する。モダリティ100は、被検体(患者)の撮像により得られた投影データにもとづいてボリューム画像を生成可能な装置である。モダリティ100は、例えばX線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、X線診断装置、核医学診断装置などの医用画像診断装置により構成される。   For example, the storage circuit 13 stores a volume image (medical three-dimensional image) supplied from the modality 100. The modality 100 is an apparatus capable of generating a volume image based on projection data obtained by imaging a subject (patient). The modality 100 includes, for example, a medical image diagnostic apparatus such as an X-ray computed tomography (CT) apparatus, a magnetic resonance imaging (MRI) apparatus, an X-ray diagnostic apparatus, and a nuclear medicine diagnostic apparatus.

ネットワーク接続回路14は、ネットワーク101の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路14は、この各種プロトコルに従ってネットワーク101を介して他の電気機器と接続する。ネットワーク101は、電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。   The network connection circuit 14 implements various information communication protocols according to the form of the network 101. The network connection circuit 14 connects with other electric devices via the network 101 in accordance with the various protocols. The network 101 generally means an information communication network using telecommunications technology, and in addition to a wireless / wired LAN such as a hospital backbone LAN (Local Area Network) and the Internet network, a telephone communication network, an optical fiber communication network, and cable communication. Including networks and satellite communication networks etc.

医用画像処理装置10は、ネットワーク101を介して接続されたモダリティ100や医用画像保管装置102から医用画像データを受け取ってもよい。ネットワーク101を介して受信したボリューム画像は、記憶回路13に記憶される。なお、医用画像処理装置10は、モダリティ100に内包されてもよい。   The medical image processing apparatus 10 may receive medical image data from the modality 100 or the medical image storage apparatus 102 connected via the network 101. The volume image received via the network 101 is stored in the storage circuit 13. The medical image processing apparatus 10 may be included in the modality 100.

医用画像保管装置102は、例えばPACS(Picture Archiving and Communication System:医用画像保管通信システム)に備えられる画像保管用のサーバであり、ネットワーク101を介して接続されたモダリティ100で生成されたボリューム画像などを記憶する。   The medical image storage apparatus 102 is, for example, a server for image storage provided in a PACS (Picture Archiving and Communication System), and is a volume image generated by the modality 100 connected via the network 101. Remember.

また、医用画像保管装置102は、アノテーションの情報とボリューム画像とを関連付けて記憶している。また、医用画像保管装置102は、放射線科情報システム(RIS:Radiology Information System)が扱うRIS情報を保存しているものとする。医用画像処理装置10は、ネットワーク接続回路14を介してこれらのデータを取得する。また、医用画像保管装置102は、ボリューム画像にもとづいて医用画像処理装置10が生成した学習用の医用画像データ(以下、学習用画像データという)を、医用画像処理装置10の制御に従って保存する   Further, the medical image storage apparatus 102 stores the information of the annotation and the volume image in association with each other. Further, it is assumed that the medical image storage apparatus 102 stores RIS information handled by a Radiology Information System (RIS). The medical image processing apparatus 10 acquires these data via the network connection circuit 14. Further, the medical image storage apparatus 102 stores medical image data for learning (hereinafter referred to as learning image data) generated by the medical image processing apparatus 10 based on the volume image, according to the control of the medical image processing apparatus 10.

医用画像観察装置103は、例えば読影医により、PACS、病院情報システム(HIS:Hospital Information System)、RISなどの種々のシステムのビューワとして用いられる。読影医等は、読影の結果として読影レポートを作成する。読影レポートには、読影により発見された患部の解剖学的部位とその患部の態様とが所見として記録される。   The medical image observation apparatus 103 is used, for example, by a radiologist as a viewer of various systems such as PACS, hospital information system (HIS), and RIS. The image interpretation doctor or the like creates an image interpretation report as a result of the image interpretation. In the interpretation report, the anatomical part of the affected area found by the interpretation and the aspect of the affected part are recorded as findings.

図2を参照して図1に示した医用画像処理装置10によって生成される学習用画像データの元データを説明する。なお、以下の説明では、z方向を法線方向とする。ボリューム画像30は、z方向に沿った複数の断層像データ32を有する。   The original data of the learning image data generated by the medical image processing apparatus 10 shown in FIG. 1 will be described with reference to FIG. In the following description, the z direction is taken as the normal direction. The volume image 30 has a plurality of tomographic image data 32 along the z direction.

ボリューム画像30がDICOM規格に準じている場合、DICOM付帯データには、図3(a)に示すように、ボリューム画像30を生成したモダリティ100の情報、モダリティ100のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報など、様々な文字情報が含まれる。医用画像処理装置10は、DICOM付帯データに含まれる情報を医用画像保管装置102から取得する。なお、撮影条件の情報や被検体の情報は、RIS情報として医用画像保管装置102に保存されていてもよい。   When the volume image 30 conforms to the DICOM standard, as shown in FIG. 3A, DICOM incidental data includes information of the modality 100 which generated the volume image 30, maker information of the modality 100, and contrast agent It includes various character information such as information on photographing conditions such as use / incidence and photographing protocol, and information on a subject such as height and weight. The medical image processing apparatus 10 acquires information included in the DICOM incidental data from the medical image storage apparatus 102. Note that the information on the imaging conditions and the information on the subject may be stored in the medical image storage apparatus 102 as RIS information.

ボリューム画像30において、ボリューム画像30により表される臓器31の患部の領域31aにはアノテーション34が付与される。   In the volume image 30, an annotation 34 is attached to the area 31a of the affected part of the organ 31 represented by the volume image 30.

具体的には、読影医は、ボリューム画像30を構成する複数の断層像データ32のうち、患部31aがみられる1つの代表的な断層像データ33をキー画像として選択し、患部31aの領域を囲むようにアノテーション34を付与する。医用画像保管装置102は、読影医によって付与されたアノテーション34の情報とボリューム画像30とを関連付けて記憶している。アノテーション34の情報には、アノテーション34の位置や大きさ、アノテーション34によって囲まれた患部31aの位置や大きさ、アノテーション34が付与された断層像データ33の付帯情報等が含まれる。アノテーション34は、読影医の操作により付与される。なお、読影医は、患部31aを囲むように自由に手書きすることによりアノテーション34を付与してもよいし、楕円や矩形などのテンプレート図形を利用してもよい。また、読影医は、3次元ビューワを用いて球形等の3次元的なアノテーション34を付与してもよい。   Specifically, the image interpreting doctor selects one representative tomogram data 33 in which the affected part 31a can be seen among the plurality of pieces of tomogram data 32 constituting the volume image 30 as a key image, and the region of the affected part 31a is selected. An annotation 34 is attached so as to surround it. The medical image storage apparatus 102 stores the information of the annotation 34 given by the image interpretation doctor in association with the volume image 30. The information of the annotation 34 includes the position and size of the annotation 34, the position and size of the affected area 31 a surrounded by the annotation 34, and additional information of the tomographic image data 33 to which the annotation 34 is added. The annotations 34 are attached by the operation of a radiologist. In addition, the image interpretation doctor may attach the annotation 34 by freely performing handwriting so as to surround the affected part 31a, or may use a template figure such as an ellipse or a rectangle. Further, the radiologist may attach a three-dimensional annotation 34 such as a sphere using a three-dimensional viewer.

読影医は、読影の結果として読影レポートを作成する(図3(b)参照)。読影レポートには、読影により発見された患部31aの所見が含まれる。また、読影医は、アノテーション34が付与された断層像データ(以下、アノテーション付帯断層像データという)33を、所見がみられる代表的な画像データとして読影レポートに付与する。   The radiologist creates an interpretation report as a result of the interpretation (see FIG. 3 (b)). The interpretation report includes the findings of the affected area 31a found by the interpretation. Further, the image interpretation doctor assigns the tomographic image data (hereinafter referred to as annotation-added tomographic image data) 33 to which the annotation 34 is added to the image interpretation report as representative image data in which a finding is observed.

医用画像処理装置10の処理回路15は、アノテーション付帯断層像データ33を機械学習の学習用画像データの元データとして採用する(図2参照)。   The processing circuit 15 of the medical image processing apparatus 10 adopts the annotation-attached tomogram data 33 as original data of learning image data for machine learning (see FIG. 2).

次に、図1に示した処理回路15の構成および動作の一例を説明する。   Next, an example of the configuration and operation of the processing circuit 15 shown in FIG. 1 will be described.

処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行するプロセッサである。   The processing circuit 15 is a processor that reads and executes a program stored in the storage circuit 13.

処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行することによって、元データ取得機能21、領域抽出機能22、切断機能23、学習画像取得機能24、および保存指示機能25を実現する。   The processing circuit 15 realizes the original data acquisition function 21, the area extraction function 22, the cutting function 23, the learning image acquisition function 24, and the storage instruction function 25 by reading out and executing the program stored in the storage circuit 13. .

元データ取得機能21は、ボリューム画像30とアノテーション34の情報とを取得する。なお、医用画像処理装置10は元データ取得機能21を備えずともよい。   The original data acquisition function 21 acquires the volume image 30 and the information of the annotation 34. The medical image processing apparatus 10 may not have the original data acquisition function 21.

領域抽出機能22は、アノテーション34が付与された領域31aをボリューム画像30から抽出する。   The area extraction function 22 extracts the area 31 a to which the annotation 34 is attached from the volume image 30.

切断機能23は、領域抽出機能22によって抽出された患部31aに基づいて患部31aを切り出す方向を設定する。例えば、切断機能23は、ボリューム画像30に対して、MPR(Multi-Planner Reconstruction)処理で用いる切り出し方向z1を設定する。切り出し方向z1は、少なくとも複数の断層像データ32が連続して並ぶ方向であるz方向(図2参照)とは異なる方向に設定される。具体的には、切り出し方向z1は、ボリューム画像30から切り出し方向z1に沿って複数の断層像を生成すると、この複数の断層像データにアノテーション34を含む断層像データが複数含まれるように設定される。   The cutting function 23 sets the direction in which the affected area 31 a is cut out based on the affected area 31 a extracted by the area extracting function 22. For example, the cutting function 23 sets, in the volume image 30, a clipping direction z1 used in multi-planner reconstruction (MPR) processing. The cutout direction z1 is set to a direction different from the z direction (see FIG. 2), which is a direction in which at least a plurality of tomographic image data 32 are continuously arranged. Specifically, when a plurality of tomographic images are generated from the volume image 30 along the clipping direction z1, the clipping direction z1 is set so that a plurality of tomographic image data including the annotation 34 is included in the plurality of tomographic image data. Ru.

また、切断機能23は、設定した切り出し方向z1に沿って、患部31aに交差する方向にボリューム画像30を切断する。具体的には、切断機能23は、ボリューム画像30を切り出し方向z1に沿ってMPR処理する(切断する)ことにより、複数の医用画像データ(以下、MPR画像データという)を生成する。MPR法は、3次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する方法である。なお、医用画像処理装置10は切断機能23を備えずともよい。   The cutting function 23 cuts the volume image 30 in the direction intersecting the affected part 31 a along the set cutting direction z1. Specifically, the cutting function 23 generates a plurality of medical image data (hereinafter referred to as MPR image data) by subjecting the volume image 30 to MPR processing (cutting) along the cutting direction z1. The MPR method is a method of cutting three-dimensional data at a plane in an arbitrary direction and reconstructing a cross-sectional image viewed from the direction perpendicular to the plane. The medical image processing apparatus 10 may not have the cutting function 23.

学習画像取得機能24は、領域抽出機能22によって抽出された患部31aに交差する方向に切断され、アノテーション34の一部が含まれる医用画像をボリューム画像から取得する。医用画像処理装置10が切断機能23を備える場合は、学習画像取得機能24は、切断機能23によって切断された医用画像のうちアノテーション34の一部が含まれる医用画像を取得する。   The learning image acquisition function 24 is cut in the direction intersecting the affected area 31 a extracted by the area extraction function 22, and acquires a medical image including a part of the annotation 34 from the volume image. When the medical image processing apparatus 10 includes the cutting function 23, the learning image acquisition function 24 acquires a medical image in which a part of the annotation 34 is included in the medical image cut by the cutting function 23.

保存指示機能25は、学習画像取得機能24により取得された、アノテーション34を含む複数の医用画像を、機械学習で利用される学習用画像として医用画像保管装置102に保存させる。なお、医用画像処理装置10は保存指示機能25を備えずともよい。   The storage instruction function 25 causes the medical image storage device 102 to store the plurality of medical images including the annotation 34 acquired by the learning image acquisition function 24 as learning images used in machine learning. The medical image processing apparatus 10 may not have the storage instruction function 25.

図4を参照して処理回路15のプロセッサによる動作の一例を説明する。なお、図4には、医用画像処理装置10が領域抽出機能22および学習画像取得機能24に加えて、元データ取得機能21、切断機能23および保存指示機能25も備える場合の例を示した。   An example of the operation of the processor 15 of the processing circuit 15 will be described with reference to FIG. FIG. 4 shows an example in which the medical image processing apparatus 10 also includes an original data acquisition function 21, a cutting function 23, and a storage instruction function 25 in addition to the area extraction function 22 and the learning image acquisition function 24.

ステップS1において、元データ取得機能21は、医用画像保管装置102から、ボリューム画像30とアノテーション34の情報とを取得する。   In step S <b> 1, the original data acquisition function 21 acquires the volume image 30 and the information of the annotation 34 from the medical image storage device 102.

次に、ステップS2において、領域抽出機能22は、ボリューム画像30を構成する複数の断層像データ32から、アノテーション付帯断層像データ33を抽出する(図5参照)。   Next, in step S2, the region extraction function 22 extracts annotation-attached tomogram data 33 from a plurality of pieces of tomogram data 32 constituting the volume image 30 (see FIG. 5).

次に、ステップS3において、切断機能23は、ボリューム画像30に対して、MPR(Multi-Planner Reconstruction)処理で用いる切り出し方向z1を設定する。例えば、切断機能23は、アノテーション付帯断層像データ33に付帯したアノテーション34の横断線40のうち、アノテーション34の幅Wが最長となる横断線40の方向を切り出し方向z1として設定する(図6上段参照)。アノテーション34の幅Wが最長となる横断線40の方向を切り出し方向z1とすれば、ボリューム画像から切り出し方向z1に沿ってMPR処理したときに、アノテーション34を含むMPR画像データ41の枚数を最大にすることができる。   Next, in step S3, the cutting function 23 sets, in the volume image 30, the clipping direction z1 used in MPR (Multi-Planner Reconstruction) processing. For example, the cutting function 23 sets, as the clipping direction z1, the direction of the transverse line 40 where the width W of the annotation 34 is the longest among the transverse lines 40 of the annotation 34 incidental to the annotation incidental tomographic image data 33 (FIG. 6 upper stage reference). Assuming that the direction of the transverse line 40 in which the width W of the annotation 34 is the longest is the cutout direction z1, the number of pieces of MPR image data 41 including the annotation 34 is maximized when MPR processing is performed along the cutout direction z1 can do.

次に、ステップS4において、切断機能23は、ボリューム画像30を切り出し方向z1に沿ってMPR処理することにより、切り出し方向z1に沿った複数のMPR画像データを生成する。このとき、切断機能23は、切り出し方向z1にもとづいて、ボリューム画像30の各画素の座標をxyz座標系からx1y1z1の直交3軸に変換してもよい。   Next, in step S4, the cutting function 23 generates a plurality of MPR image data along the cutout direction z1 by performing an MPR process on the volume image 30 along the cutout direction z1. At this time, the cutting function 23 may convert the coordinates of each pixel of the volume image 30 into three orthogonal axes of x1 y1 z1 from the xyz coordinate system based on the cutting direction z1.

なお、「切り出し方向z1に沿ってMPR処理する(切断する)」とは、切り出し方向z1に交差する断面に平行にMPR処理することを言い、切り出し方向z1に斜めに交差する断面に平行にMPR処理する場合を含む。以下の説明では、生成されるMPR画像データの枚数を最大化するため、切り出し方向z1に直交する断面に平行にMPR処理する場合の例を示す。   Note that "to perform (cut) MPR along the cutting direction z1 means to perform MPR parallel to the cross section intersecting with the cutting direction z1, and MPR parallel to the cross section obliquely intersecting with the cutting direction z1. Including the case of processing. In the following description, in order to maximize the number of pieces of MPR image data to be generated, an example in which MPR processing is performed in parallel with a cross section orthogonal to the clipping direction z1 is shown.

次に、ステップS5において、学習画像取得機能24は、アノテーション34の情報にもとづいて、生成した複数のMPR画像データから、患部31aの一部を含むMPR画像データ41を取得する。切断機能23は、医用画像保管装置102から取得したアノテーション34の情報から、幅Wに対応する切り出し方向z1においてアノテーション34が存在する範囲zs≦z1≦zeを求める。幅Wはzeからzsを減じた値に等しい(図6下段参照)。学習画像取得機能24は、この範囲zs≦z1≦zeのMPR画像データを、患部31aの一部を含むMPR画像データ41として取得する。   Next, in step S5, the learning image acquisition function 24 acquires MPR image data 41 including a part of the affected part 31a from the plurality of generated MPR image data based on the information of the annotation 34. The cutting function 23 obtains the range zs ≦ z1 ≦ ze in which the annotation 34 exists in the cutout direction z1 corresponding to the width W from the information of the annotation 34 acquired from the medical image storage device 102. The width W is equal to ze minus zs (see bottom of FIG. 6). The learning image acquisition function 24 acquires MPR image data of this range zs ≦ z1 ≦ ze as MPR image data 41 including a part of the affected part 31 a.

なお、切断機能23は、ステップS4において、MPR処理の前に切り出し方向z1においてアノテーション34が存在する範囲zs≦z1≦zeを求め、この範囲のみでMPR処理をすることにより、患部31aの一部を含むMPR画像データ41を取得してもよい。この場合、ステップS5は実行不要である。   The cutting function 23 determines the range zs ≦ z1 ≦ ze in which the annotation 34 exists in the cutting direction z1 before the MPR process in step S4, and performs the MPR process only in this range to partially process the affected part 31a. And MPR image data 41 may be acquired. In this case, execution of step S5 is unnecessary.

図7に示すように、アノテーション34が付与された領域の範囲zs≦z1≦zeで、切り出し方向z1に沿ってボリューム画像30をZ軸方向に順次切断していくと、アノテーション34の一部が含まれる複数の医用画像41がボリューム画像30から取得される。   As shown in FIG. 7, when the volume image 30 is sequentially cut in the Z-axis direction along the cutout direction z1 in the range zs ≦ z1 ≦ ze of the area to which the annotation 34 is added, part of the annotation 34 A plurality of contained medical images 41 are acquired from the volume image 30.

次に、ステップS6において、保存指示機能25は、学習画像取得機能24により取得された複数の医用画像41を、機械学習で利用される学習用画像データとして保存するよう医用画像保管装置102に指示する(図7参照)。   Next, in step S6, the storage instruction function 25 instructs the medical image storage device 102 to store the plurality of medical images 41 acquired by the learning image acquisition function 24 as learning image data used in machine learning. (See FIG. 7).

以上の手順により、1つのボリューム画像30から、当該ボリューム画像30のアノテーション34が付与された領域に基づいて、アノテーション34の一部が含まれる医用画像を機械学習用の医用画像として容易に数多く収集することができる。   According to the above-described procedure, a large number of medical images including a part of the annotations 34 are easily collected as machine learning medical images from one volume image 30 based on the area to which the annotations 34 of the volume image 30 are added. can do.

このため、あらたなセキュリティ整備やインフラ整備をすることなく、既存の1つの医療施設やグループ病院内で共有されている医用画像データ、検査情報、読影レポート情報等を用いるだけで、機械学習に必要な学習用画像データを十分に生成することができる。   For this reason, it is necessary for machine learning only by using medical image data, examination information, interpretation report information, etc. shared within one existing medical facility or group hospital without new security and infrastructure maintenance. Image data for learning can be generated sufficiently.

なお、切り出し方向z1は、1つのアノテーション付帯断層像データ33に対して複数設定されてもよい。切り出し方向z1を変えれば、生成されるMPR画像データ41は異なる画像データとなる。このため、学習の強化につながることが期待できるのであれば、1つのアノテーション付帯断層像データ33に対して複数の切り出し方向z1を設定してもよい。   A plurality of clipping directions z1 may be set for one annotation attached tomographic image data 33. If the cutout direction z1 is changed, the generated MPR image data 41 becomes different image data. For this reason, as long as it can be expected to lead to reinforcement of learning, a plurality of cutout directions z1 may be set for one annotation attached tomographic image data 33.

この場合、複数の切り出し方向z1には、アノテーション34と交わる幅Wが最も長い方向が含まれることが好ましい。例えば、アノテーション34の形状が自由曲線で描かれた形状である場合は、アノテーション34と交わる幅Wが最も長い方向から、例えば4番目に長い方向までの4つの方向などのように複数の方向を設定するとよい。   In this case, the plurality of cutout directions z1 preferably include the direction in which the width W intersecting the annotation 34 is the longest. For example, in the case where the shape of the annotation 34 is a shape drawn by a free curve, a plurality of directions such as four directions from the direction in which the width W intersecting the annotation 34 is longest from the longest direction You should set it.

一方、アノテーション34の形状が円形であれば、アノテーション34と交わる幅Wは全ての方向で同一となるため、例えばx方向とy方向の2方向や、これらにy=xに沿った方向およびy=―xに沿った方向を加えた4方向など、z方向とは異なる切り出し方向をあらかじめ定めておいてもよい。このように1つのアノテーション付帯断層像データ33に対して複数の切り出し方向z1を設定する場合、1検査で得られた1つのボリューム画像30から生成される学習用画像データの数をさらに増やすことができる。   On the other hand, if the shape of the annotation 34 is circular, the width W intersecting the annotation 34 is the same in all directions, so for example, two directions of the x direction and the y direction, or a direction along y = x and y A cutting direction different from the z direction, such as four directions obtained by adding a direction along = -x, may be determined in advance. When setting a plurality of cutout directions z1 to one annotation-attached tomogram data 33 as described above, the number of learning image data generated from one volume image 30 obtained in one inspection may be further increased. it can.

(実施形態2)
ボリューム画像30とアノテーション34の情報との組み合わせ(以下、元データセットという)を複数あつかう場合について説明する。元データセットは、1つの検査ごとに、例えば1組が生成される。
Second Embodiment
A case where a plurality of combinations of the volume image 30 and the information of the annotation 34 (hereinafter, referred to as an original data set) are handled will be described. An original data set is generated, for example, one set for each examination.

複数の元データセットを用いる場合における処理回路15のプロセッサによる動作の一例を、図8および図9を参照して説明する。なお、図4と同等のステップには同一符号を付し、重複する説明を省略する。   An example of the operation by the processor of the processing circuit 15 in the case of using a plurality of original data sets will be described with reference to FIGS. 8 and 9. The same steps as in FIG. 4 will be assigned the same reference numerals and overlapping explanations will be omitted.

処理回路15は、ボリューム画像30とアノテーション34の情報との組み合わせ(元データセット)を複数あつかってもよい。このとき、アノテーション34と交わる幅Wが最長となる横断線40に対応する方向を切り出し方向z1とすると、元データセットごとに互いに異なる切り出し方向z1が設定されてしまう。この場合、元データセットごとに、MPR画像データ41に含まれる骨や臓器の形状等が異なってしまい、これらがノイズとなって学習に悪影響を及ぼす可能性がある。   The processing circuit 15 may handle a plurality of combinations (original data sets) of the volume image 30 and the information of the annotation 34. At this time, assuming that the direction corresponding to the transverse line 40 in which the width W intersecting the annotation 34 is the longest is the cutout direction z1, different cutout directions z1 are set for each original data set. In this case, the shapes of bones and organs included in the MPR image data 41 differ for each original data set, and these may become noise and adversely affect learning.

そこで、複数の元データセットをあつかう場合は、全ての元データセットで1つの切り出し方向z1を共用することが好ましい(図9参照)。また、この場合、切り出し方向z1を共用する複数の元データセットは、撮影条件の情報および被検体の情報(以下、関連情報)が共通するものとするとよい。   Therefore, when dealing with a plurality of original data sets, it is preferable to share one cutout direction z1 with all the original data sets (see FIG. 9). Further, in this case, it is preferable that the plurality of original data sets sharing the cutout direction z1 share the information of the imaging condition and the information of the subject (hereinafter, related information).

このため、図8のステップS11において、元データ取得機能21は、医用画像保管装置102から、関連情報(撮影条件の情報および被検体の情報)が共通する複数の元データセット(ボリューム画像30とアノテーション34の情報の組み合わせ)を取得する。   Therefore, in step S11 of FIG. 8, the original data acquisition function 21 sends a plurality of original data sets (volume image 30 and a plurality of original data sets) common to related information (information on imaging conditions and object information) from the medical image storage device 102. A combination of information of the annotation 34 is acquired.

次に、ステップS12において、領域抽出機能22は、ボリューム画像30を構成する複数の断層像データ32から、アノテーション付帯断層像データ33を抽出する(図9の2段目参照)。   Next, in step S12, the region extraction function 22 extracts the annotation-attached tomogram data 33 from the plurality of pieces of tomogram data 32 constituting the volume image 30 (see the second row in FIG. 9).

次に、ステップS13において、切断機能23は、全ての元データセットで共用される切り出し方向z1を設定する。このとき、切断機能23は、複数の元データセットのそれぞれについて、ボリューム画像30から共用切り出し方向z1に沿ってMPR画像データを生成した場合に、全ての元データセットから生成されるアノテーション34を含むMPR画像データ41の枚数の合計が最大となる方向を、共用切り出し方向z1に決定する。アノテーション付帯断層像データ33のアノテーション34の共用切り出し方向z1における幅を全ての元データセットで合計した長さは、他の方向に比べて最も長くなる。   Next, in step S13, the cutting function 23 sets a cutting direction z1 shared by all the original data sets. At this time, when the MPR image data is generated from the volume image 30 along the common clipping direction z1 for each of the plurality of original data sets, the cutting function 23 includes the annotations 34 generated from all the original data sets. The direction in which the total number of the MPR image data 41 is maximum is determined as the common clipping direction z1. The total length of the widths of the annotations 34 of the annotation incidental tomographic image data 33 in the common cutout direction z1 of all the original data sets is the longest as compared with the other directions.

次に、ステップS14において、切断機能23は、保存指示機能25を介して、決定した共用切り出し方向z1の情報を医用画像保管装置102に保存させる。   Next, in step S14, the cutting function 23 causes the medical image storage device 102 to store the information of the determined common clipping direction z1 via the storage instruction function 25.

次に、ステップS15において、切断機能23は、複数の元データセットの各ボリューム画像30を、共用切り出し方向z1に沿ってMPR処理することにより、切り出し方向z1に沿った複数のMPR画像データを生成する。   Next, in step S15, the cutting function 23 generates a plurality of MPR image data along the cutout direction z1 by performing an MPR process on each volume image 30 of the plurality of original data sets along the common cutout direction z1. Do.

以上の手順により、複数の元データセットに対して共用の切り出し方向z1を設定しつつ学習用画像を数多く収集することができる。全ての元データセットは、共通する関連情報を有するとともに、切り出し方向z1を共用する。このため、図8の手順により生成される学習用画像データは、全て同一方向から観察した断層像データとすることができる。   According to the above procedure, it is possible to collect many learning images while setting the common clipping direction z1 to a plurality of original data sets. All the original data sets have common related information and share the clipping direction z1. Therefore, the learning image data generated by the procedure of FIG. 8 can be tomographic image data observed from the same direction.

(実施形態3)
アノテーション34を含むMPR画像データ41のそれぞれを、MPR画像データ41に含まれる臓器31のサイズとアノテーション34のサイズに応じて分類する方法について説明する。
(Embodiment 3)
A method of classifying each of the MPR image data 41 including the annotation 34 in accordance with the size of the organ 31 and the size of the annotation 34 included in the MPR image data 41 will be described.

図10に示すように、処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行することによって、さらに分類機能26を実現してもよい。   As shown in FIG. 10, the processing circuit 15 may further implement the classification function 26 by reading and executing the program stored in the storage circuit 13.

分類機能26は、学習画像取得機能24によって取得された医用画像に含まれるアノテーションの大きさに基づいて、医用画像を分類する。例えば、分類機能26は、アノテーション34を含む複数のMPR画像データのそれぞれについて、各MPR画像データ内における臓器31のサイズに対するアノテーション34のサイズを示す指標値を求める。また、分類機能26は、この指標値にもとづいて複数のMPR画像データを複数のグループに分類する。分類機能26によって複数のMPR画像データが複数のグループに分類された場合は、保存指示機能25は、学習用画像データをこれらのグループごとに医用画像保管装置102に保存させる。   The classification function 26 classifies the medical image based on the size of the annotation included in the medical image acquired by the learning image acquisition function 24. For example, the classification function 26 obtains, for each of a plurality of MPR image data including the annotation 34, an index value indicating the size of the annotation 34 with respect to the size of the organ 31 in each MPR image data. Further, the classification function 26 classifies the plurality of MPR image data into a plurality of groups based on the index value. When a plurality of MPR image data are classified into a plurality of groups by the classification function 26, the storage instruction function 25 stores the learning image data in the medical image storage device 102 for each of these groups.

臓器31におけるアノテーション34の位置またはサイズに応じて患部31aの状態を分類する際の手順の一例を図10および図11を参照して説明する。なお、図4と同等のステップには同一符号を付し、重複する説明を省略する。   An example of the procedure for classifying the state of the affected part 31a according to the position or size of the annotation 34 in the organ 31 will be described with reference to FIGS. 10 and 11. FIG. The same steps as in FIG. 4 will be assigned the same reference numerals and overlapping explanations will be omitted.

図4に示したステップS1からS5までの手順によって、アノテーション34を含むMPR画像データ41が抽出される。   The MPR image data 41 including the annotation 34 is extracted by the procedure of steps S1 to S5 shown in FIG.

次に、ステップS21において、分類機能26は、エッジ検出等の画像処理により、MPR画像データ41に含まれる臓器31の輪郭を取得する。そして、分類機能26は、アノテーション34を含む複数のMPR画像データ41のそれぞれについて、各MPR画像データ41内における臓器31のサイズに対するアノテーション34のサイズを示す指標値を求める。   Next, in step S21, the classification function 26 acquires the contour of the organ 31 included in the MPR image data 41 by image processing such as edge detection. Then, the classification function 26 obtains, for each of the plurality of MPR image data 41 including the annotation 34, an index value indicating the size of the annotation 34 with respect to the size of the organ 31 in each MPR image data 41.

指標値としては、例えば、x1方向における臓器31の幅と、x1方向におけるアノテーション34の幅との比率Rを用いることができる。このとき、x1方向における臓器31の幅は、アノテーション34と同位置における幅を用いてもよいし、x1方向における臓器31の幅の最大値を用いてもよい。臓器31の幅は、画像処理で取得した臓器31の輪郭から求めることができる。アノテーション34の幅は、医用画像保管装置102から取得したアノテーション34の情報から容易に求めることができる。   As the index value, for example, a ratio R between the width of the organ 31 in the x1 direction and the width of the annotation 34 in the x1 direction can be used. At this time, as the width of the organ 31 in the x1 direction, the width at the same position as the annotation 34 may be used, or the maximum value of the width of the organ 31 in the x1 direction may be used. The width of the organ 31 can be obtained from the contour of the organ 31 acquired by image processing. The width of the annotation 34 can be easily obtained from the information of the annotation 34 acquired from the medical image storage apparatus 102.

次に、分類機能26は、あらかじめ記憶回路13や医用画像保管装置102などに記憶されていた閾値を用いて、指標値にもとづいて、学習用画像データとして利用される複数のMPR画像データ41を複数のグループに分類する。   Next, the classification function 26 uses a threshold value stored in advance in the storage circuit 13 or the medical image storage apparatus 102, etc., based on the index value, and uses a plurality of MPR image data 41 used as learning image data. Classify into multiple groups.

例えば、分類機能26は、ノイズ閾値を用いて、指標値がノイズ閾値以下のMPR画像データ41をノイズ学習用のグループ(データセット)に分類する。また、指標値がノイズ閾値より大きいMPR画像データ41は、患部31aのサイズが大きいほど症状が進行しているグループに分類されるように、指標値の閾値を用いて、症状の進行状態に応じてさらに複数のグループに分類されるとよい。症状の進行状態に応じた複数のグループとしては、例えば初期ステージ、中期ステージ、および後期ステージの3つのグループなどが考えられる(図11参照)。   For example, the classification function 26 classifies the MPR image data 41 whose index value is equal to or less than the noise threshold into a noise learning group (data set) using the noise threshold. In addition, the MPR image data 41 whose index value is larger than the noise threshold is classified into a group in which the symptom progresses as the size of the affected part 31a is larger, using the threshold of the index value according to the progress state of the symptom. It may be further divided into a plurality of groups. As a plurality of groups according to the progress state of symptoms, for example, three groups of an early stage, a middle stage, and a late stage can be considered (see FIG. 11).

なお、分類機能26は、指標値としてx1方向におけるアノテーション34の幅そのものを用いてもよい。この場合、グループに分類するための閾値は、臓器31の種別ごとにあらかじめ定めておけばよい。   The classification function 26 may use the width itself of the annotation 34 in the x1 direction as the index value. In this case, the threshold for classification into groups may be determined in advance for each type of organ 31.

次に、ステップS23において、保存指示機能25は、これらのグループごとに、アノテーション34を含む複数のMPR画像データ41を学習用画像データとして医用画像保管装置102に保存させる。   Next, in step S23, the storage instruction function 25 stores the plurality of MPR image data 41 including the annotation 34 as learning image data in the medical image storage device 102 for each of these groups.

以上の手順により、臓器31のサイズとアノテーション34のサイズに応じてアノテーション34を含むMPR画像データ41を分類することができる。   According to the above procedure, the MPR image data 41 including the annotation 34 can be classified according to the size of the organ 31 and the size of the annotation 34.

このように、医用画像処理装置10によれば、アノテーション34のサイズに応じて、ノイズと考えられる学習用画像データを容易に収集することができる。機械学習においては、ノイズをノイズとして学習させることにも十分に意味がある。ノイズと判定すべき画像データを学習させることで、CNNはノイズにロバストとなる。また、症状の進行状態に応じて自動的に学習用画像データを分類することができる。   As described above, according to the medical image processing apparatus 10, learning image data considered to be noise can be easily collected according to the size of the annotation 34. In machine learning, it makes sense to learn noise as noise. By learning image data to be determined as noise, CNN becomes robust to noise. In addition, it is possible to automatically classify learning image data according to the progress of a symptom.

また、特徴構造を高精度に抽出させるためには、ボリューム画像30を生成したモダリティ100の情報、モダリティ100のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報などによって、学習用画像データを細分化することが好ましい。この点、医用画像処理装置10は、学習用画像データを細分化する場合であっても、学習用画像データを十分に収集することができる。学習用画像データを細分化する場合は、分類機能26は、アノテーション34を含むMPR画像データ41を、撮影条件の情報や被検体の情報などの分類条件に従って分類するとよい。この場合、保存指示機能25は、MPR画像データ41を分類ごとに保存するよう医用画像保管装置102に指示する。   Further, in order to extract the feature structure with high accuracy, information of the modality 100 which generated the volume image 30, maker information of the modality 100, information of the imaging condition such as the use of the contrast agent and the imaging protocol, height, It is preferable to subdivide the learning image data according to the information of the subject such as the weight. In this regard, the medical image processing apparatus 10 can sufficiently collect learning image data even when the learning image data is subdivided. When the learning image data is subdivided, the classification function 26 may classify the MPR image data 41 including the annotation 34 according to classification conditions such as information on imaging conditions and information on objects. In this case, the storage instruction function 25 instructs the medical image storage apparatus 102 to store the MPR image data 41 for each classification.

以上説明した少なくとも1つの実施形態によれば、患部が含まれた医用画像データを機械学習の学習用に容易に数多く収集することができる。   According to at least one embodiment described above, a large number of medical image data including an affected area can be easily collected for machine learning.

なお、処理回路15の領域抽出機能22、切断機能23、学習画像取得機能24、保存指示機能25および分類機能26は、それぞれ特許請求の範囲における領域抽出部、切断部、取得部、保存指示部および分類部の一例である。また、医用画像保管装置102は、特許請求の範囲における保管装置の一例である。   The area extraction function 22, the cutting function 23, the learning image acquisition function 24, the storage instruction function 25 and the classification function 26 of the processing circuit 15 are respectively an area extraction unit, a cutting unit, an acquisition unit, and a storage instruction unit in the claims. And an example of a classification unit. The medical image storage device 102 is an example of the storage device in the claims.

なお、上記実施形態において、「プロセッサ」という文言は、例えば、専用または汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびFPGA)等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。   In the above embodiment, the word “processor” means, for example, a dedicated or general-purpose central processing unit (CPU), a graphics processing unit (GPU), or an application specific integrated circuit (ASIC), By circuits such as programmable logic devices (eg, Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and FPGAs) are meant. The processor implements various functions by reading and executing a program stored in a storage medium.

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。   In the above embodiment, an example in which a single processor of the processing circuit realizes each function is described. However, a plurality of independent processors are combined to form a processing circuit, and each processor realizes each function. It is also good. When a plurality of processors are provided, storage media for storing programs may be individually provided for each processor, or one storage medium may collectively store programs corresponding to the functions of all processors. It is also good.

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   While certain embodiments of the present invention have been described, these embodiments have been presented by way of example only, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and the gist of the invention, and are included in the invention described in the claims and the equivalent scope thereof.

10…医用画像処理装置
15…処理回路
22…領域抽出機能
23…切断機能
24…学習画像取得機能
25…保存指示機能
26…分類機能
30…ボリューム画像
31…臓器
31a…患部
32…断層像データ
33…アノテーション付帯断層像データ
34…アノテーション
41…MPR画像データ
102…医用画像保管装置
z1…切り出し方向
z1…共用切り出し方向
10 medical image processing apparatus 15 processing circuit 22 area extraction function 23 cutting function 24 learning image acquisition function 25 storage instruction function 26 classification function 30 volume image 31 organ 31 a diseased part 32 tomographic image data 33 ... annotation incidental tomographic image data 34 ... annotation 41 ... MPR image data 102 ... medical image storage device z 1 ... clipping direction z 1 ... common clipping direction

Claims (12)

所見情報が付与された領域を3次元医用画像から抽出する領域抽出部と、
前記領域抽出部によって抽出された前記領域に交差する方向に切断され、前記所見情報の一部が含まれる医用画像を前記3次元医用画像から取得する取得部と、を備える、
医用画像処理装置。
An area extraction unit which extracts an area to which finding information is added from a three-dimensional medical image;
An acquisition unit which is cut in a direction intersecting with the area extracted by the area extraction unit and acquires a medical image including a part of the finding information from the three-dimensional medical image;
Medical image processing device.
前記領域抽出部によって抽出された前記領域に基づいて前記領域を切り出す方向を設定し、当該設定した切り出し方向に沿って、前記3次元医用画像を前記交差する方向に切断する切断部をさらに備え、
前記取得部は、前記切断部によって切断された医用画像のうち前記所見情報の一部が含まれる医用画像を取得する、
請求項1に記載の医用画像処理装置。
The image processing apparatus further comprises: a cutting unit which sets a direction in which the region is cut out based on the region extracted by the region extraction unit, and cuts the three-dimensional medical image in the intersecting direction along the set cutting direction.
The acquisition unit acquires a medical image including a part of the finding information in the medical image cut by the cutting unit.
The medical image processing apparatus according to claim 1.
前記3次元医用画像は、所定方向に連続した複数の2次元医用画像から構成され、
前記領域抽出部は、前記所見情報が付与された領域を前記複数の2次元医用画像から抽出し、
前記切断部は、前記所定方向とは異なる方向を前記切り出す方向として設定し、当該設定した切り出し方向に沿って、前記交差する方向に前記複数の2次元医用画像を切断する、
請求項2に記載の医用画像処理装置。
The three-dimensional medical image is composed of a plurality of two-dimensional medical images continuous in a predetermined direction,
The area extraction unit extracts an area to which the finding information is added from the plurality of two-dimensional medical images.
The cutting unit sets a direction different from the predetermined direction as the cutting-out direction, and cuts the plurality of two-dimensional medical images in the intersecting direction along the set cutting-out direction.
The medical image processing apparatus according to claim 2.
前記切断部は、前記領域抽出部によって抽出された前記領域の幅が最大となる方向を前記切り出す方向として設定する、
請求項2または3に記載の医用画像処理装置。
The cutting unit sets a direction in which the width of the area extracted by the area extraction unit is the largest as the cutting-out direction.
The medical image processing apparatus according to claim 2.
前記切断部は、前記所見情報が付与された領域が前記領域抽出部によって複数抽出された場合に、当該抽出された全ての領域に基づいて求められる共通の方向を前記切り出す方向として設定する、
請求項2または3に記載の医用画像処理装置。
The cutting unit sets, as the cutting-out direction, a common direction obtained based on all the extracted regions when the region extraction unit extracts a plurality of regions to which the finding information is added.
The medical image processing apparatus according to claim 2.
前記切断部は、前記領域抽出部によって抽出された前記領域の幅の合計が最大となる方向を前記切り出す方向として設定する、
請求項5に記載の医用画像処理装置。
The cutting unit sets a direction in which the sum of widths of the regions extracted by the region extracting unit is maximum as the cutting-out direction.
The medical image processing apparatus according to claim 5.
前記取得部によって取得された前記医用画像に含まれる前記所見情報の大きさに基づいて、前記医用画像を分類する分類部をさらに備える、
請求項1ないし6のいずれか1項に記載の医用画像処理装置。
And a classification unit that classifies the medical image based on the size of the finding information included in the medical image acquired by the acquisition unit.
The medical image processing device according to any one of claims 1 to 6.
前記分類部は、
前記所見情報の大きさが閾値以下であるものをノイズデータのグループに分類する、
請求項7記載の医用画像処理装置。
The classification unit
Classifying the findings information having a size equal to or less than a threshold into a noise data group
The medical image processing apparatus according to claim 7.
前記分類部は、
前記取得部によって取得された前記医用画像に含まれる前記所見情報の大きさが大きいほど症状が進行していると分類されるように、前記所見情報の大きさにもとづいて、前記医用画像を症状の進行状態に応じたグループに分類する、
請求項7または8に記載の医用画像処理装置。
The classification unit
The medical image is displayed as a symptom based on the size of the finding information such that the condition is classified as progressing as the size of the finding information included in the medical image obtained by the obtaining unit is larger. Classified into groups according to the progress of
The medical image processing apparatus according to claim 7.
前記分類部は、
前記3次元医用画像の撮影条件の情報および前記3次元医用画像の被検体の情報の少なくとも一方を含む関連情報にもとづいて、前記取得部によって取得された前記医用画像を分類する、
請求項7ないし9のいずれか1項に記載の医用画像処理装置。
The classification unit
Classifying the medical image acquired by the acquisition unit on the basis of related information including at least one of information of imaging conditions of the three-dimensional medical image and information of an object of the three-dimensional medical image;
The medical image processing apparatus according to any one of claims 7 to 9.
前記取得部によって取得された前記所見情報の一部が含まれる前記医用画像を、機械学習用の画像として保管装置への保存を指示する保存指示部をさらに備える、
請求項1ないし10のいずれか1項に記載の医用画像処理装置。
The storage device further includes a storage instructing unit instructing storage of the medical image including a part of the finding information acquired by the acquisition unit as an image for machine learning in a storage device.
The medical image processing apparatus according to any one of claims 1 to 10.
所見情報が付与された領域を3次元医用画像から抽出する領域抽出ステップと、
前記領域抽出ステップで抽出された前記領域に交差する方向に切断され、前記所見情報の一部が含まれる医用画像を前記3次元医用画像から取得する取得ステップと、を有する、
医用画像処理方法。
An area extraction step of extracting an area to which the finding information is added from the three-dimensional medical image;
Obtaining in the direction crossing the area extracted in the area extraction step, a medical image including a part of the finding information from the three-dimensional medical image;
Medical image processing method.
JP2017221797A 2017-11-17 2017-11-17 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD Active JP7228332B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017221797A JP7228332B2 (en) 2017-11-17 2017-11-17 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017221797A JP7228332B2 (en) 2017-11-17 2017-11-17 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Publications (2)

Publication Number Publication Date
JP2019092542A true JP2019092542A (en) 2019-06-20
JP7228332B2 JP7228332B2 (en) 2023-02-24

Family

ID=66970046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017221797A Active JP7228332B2 (en) 2017-11-17 2017-11-17 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Country Status (1)

Country Link
JP (1) JP7228332B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013644A (en) * 2019-07-12 2021-02-12 富士フイルム株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000189A (en) * 2010-06-15 2012-01-05 Toshiba Corp Medical image diagnostic apparatus, image information processor, and control program for displaying medical treatment support data
JP2015080720A (en) * 2013-10-24 2015-04-27 三星電子株式会社Samsung Electronics Co.,Ltd. Apparatus and method for computer-aided diagnosis
JP2015205164A (en) * 2014-04-10 2015-11-19 株式会社東芝 Medical image display device and medical image display system
US20160334964A1 (en) * 2013-12-31 2016-11-17 SAMSUNG ELECTRONICS CO., LTD. Co., Ltd. User interface system and method for enabling mark-based interaction for images
JP2017064387A (en) * 2015-09-30 2017-04-06 パナソニックIpマネジメント株式会社 Control method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000189A (en) * 2010-06-15 2012-01-05 Toshiba Corp Medical image diagnostic apparatus, image information processor, and control program for displaying medical treatment support data
JP2015080720A (en) * 2013-10-24 2015-04-27 三星電子株式会社Samsung Electronics Co.,Ltd. Apparatus and method for computer-aided diagnosis
US20160334964A1 (en) * 2013-12-31 2016-11-17 SAMSUNG ELECTRONICS CO., LTD. Co., Ltd. User interface system and method for enabling mark-based interaction for images
JP2015205164A (en) * 2014-04-10 2015-11-19 株式会社東芝 Medical image display device and medical image display system
JP2017064387A (en) * 2015-09-30 2017-04-06 パナソニックIpマネジメント株式会社 Control method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013644A (en) * 2019-07-12 2021-02-12 富士フイルム株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program
US11455728B2 (en) 2019-07-12 2022-09-27 Fujifilm Corporation Diagnosis support device, diagnosis support method, and diagnosis support program
JP7144370B2 (en) 2019-07-12 2022-09-29 富士フイルム株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program

Also Published As

Publication number Publication date
JP7228332B2 (en) 2023-02-24

Similar Documents

Publication Publication Date Title
JP6595193B2 (en) Interpretation report creation device and interpretation report creation system
JP6542004B2 (en) Medical image processing apparatus and medical image processing system
US20190279751A1 (en) Medical document creation support apparatus, method, and program
US20190295248A1 (en) Medical image specifying apparatus, method, and program
US11646119B2 (en) Systems and methods for automated analysis of medical images
US11139067B2 (en) Medical image display device, method, and program
JP2013192624A (en) Medical image diagnosis supporting apparatus, medical image diagnosis supporting method and computer program
US11574717B2 (en) Medical document creation support apparatus, medical document creation support method, and medical document creation support program
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
CN110400617A (en) The combination of imaging and report in medical imaging
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
US20190267120A1 (en) Medical document creation support apparatus, method, and program
US20220366151A1 (en) Document creation support apparatus, method, and program
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
JP2015171456A (en) Medical image display device, medical image display system, and medical image display program
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US20230005580A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
JP7223539B2 (en) Breast cancer diagnosis support device, breast cancer diagnosis support system, and breast cancer diagnosis support method
JP7228332B2 (en) MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD
JP7420914B2 (en) Information processing device, information processing method, and information processing program
Mashouri et al. 3D photography based neural network craniosynostosis triaging system
Wang et al. Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets
Chaki et al. Data tagging in medical images: A survey of the state-of-art
US20230022549A1 (en) Image processing apparatus, method and program, learning apparatus, method and program, and derivation model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7228332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150