JP2020018705A - Medical image processing device, image formation method and image formation program - Google Patents
Medical image processing device, image formation method and image formation program Download PDFInfo
- Publication number
- JP2020018705A JP2020018705A JP2018146221A JP2018146221A JP2020018705A JP 2020018705 A JP2020018705 A JP 2020018705A JP 2018146221 A JP2018146221 A JP 2018146221A JP 2018146221 A JP2018146221 A JP 2018146221A JP 2020018705 A JP2020018705 A JP 2020018705A
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical image
- region
- processing circuit
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims description 30
- 230000015572 biosynthetic process Effects 0.000 title description 3
- 239000002131 composite material Substances 0.000 claims abstract description 101
- 230000003902 lesion Effects 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 239000000203 mixture Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 106
- 239000007787 solid Substances 0.000 description 42
- 238000010586 diagram Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 16
- 239000005337 ground glass Substances 0.000 description 13
- 230000002685 pulmonary effect Effects 0.000 description 10
- 210000004072 lung Anatomy 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 2
- 208000007107 Stomach Ulcer Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 201000005917 gastric ulcer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006740 morphological transformation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明の実施形態は、医用画像処理装置、画像生成方法、及び画像生成プログラムに関する。 An embodiment of the present invention relates to a medical image processing device, an image generation method, and an image generation program.
肺がん等が疑われる患者に対するＣＴ検査にあっては、１回のＣＴ検査では結節（腫瘤）が悪性か良性かの判断がつかない場合が多い。そのような場合、数ヶ月後に再度ＣＴ検査を行い、前後のＣＴ画像を比較して得られる結節領域の変化に基づき、結節が悪性か良性かを判断するようにしている。 In a CT test for a patient suspected of having lung cancer or the like, a single CT test often cannot determine whether a nodule (mass) is malignant or benign. In such a case, the CT examination is performed again several months later, and it is determined whether the nodule is malignant or benign based on a change in the nodule region obtained by comparing the CT images before and after.
ところで、近年、結節領域の変化を比較するため、ＣＴ画像から結節領域を自動的に抽出する手法が提案されている。この種の手法では、例えば、様々な陰影パターンの肺結節画像を用意する必要がある。しかしながら、例えば、日常診療で気腔に遭遇する頻度は比較的低い等、あらゆる陰影パターンを満遍なく揃えることは困難である。 Incidentally, in recent years, a method of automatically extracting a nodule region from a CT image has been proposed in order to compare changes in the nodule region. In this type of technique, for example, it is necessary to prepare pulmonary nodule images having various shading patterns. However, it is difficult to evenly align all shading patterns, for example, the frequency of encountering the air cavity in daily medical care is relatively low.
発明が解決しようとする課題は、病変についてのデータ不足を緩和することである。 The problem to be solved by the invention is to alleviate the lack of data on lesions.
実施形態によれば、医用画像処理装置は、画像取得部、抽出部、及び生成部を有する。画像取得部は、医用画像を取得する。抽出部は、前記取得された医用画像における病変領域を抽出する。生成部は、前記抽出された病変領域を変更した合成画像を生成する。 According to the embodiment, the medical image processing device includes an image acquisition unit, an extraction unit, and a generation unit. The image acquisition unit acquires a medical image. The extracting unit extracts a lesion area in the acquired medical image. The generation unit generates a composite image in which the extracted lesion area has been changed.
以下、実施の形態について、図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.
（第１の実施形態）
図１は、第１の実施形態に係る医用画像処理装置１０が設けられる病院情報システムの機能構成の例を示すブロック図である。図１に示される病院情報システムは、医用画像処理装置１０、及び医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication System）２０を備える。医用画像処理装置１０、及び医用画像管理システム２０は、ＬＡＮ（Local Area Network）等の病院内ネットワークを介してデータ通信可能に接続されている。なお、病院内ネットワークへの接続は、有線接続、及び無線接続を問わない。また、セキュリティが確保されるのであれば、接続される回線は病院内ネットワークに限定されない。例えば、ＶＰＮ（Virtual Private Network）等を介し、インターネット等、公衆の通信回線に接続するようにしても構わない。
(First embodiment)
FIG. 1 is a block diagram illustrating an example of a functional configuration of a hospital information system provided with a medical image processing apparatus 10 according to the first embodiment. The hospital information system shown in FIG. 1 includes a medical image processing device 10 and a medical image management system (PACS: Picture Archiving and Communication System) 20. The medical image processing apparatus 10 and the medical image management system 20 are communicably connected via a hospital network such as a LAN (Local Area Network). The connection to the in-hospital network may be a wired connection or a wireless connection. Also, the line to be connected is not limited to the hospital network as long as security is ensured. For example, it may be connected to a public communication line such as the Internet via a VPN (Virtual Private Network).
医用画像管理システム２０は、医用画像データを記憶し、記憶している医用画像データを管理するシステムである。医用画像管理システム２０は、例えば、サーバ装置２１を有する。サーバ装置２１は、医用画像管理システム２０において、例えば、ＤＩＣＯＭ（Digital Imaging and Communication Medicine）規格に則って変換された医用画像データを記憶する。また、サーバ装置２１は、例えば、閲覧要求に応じ、記憶している医用画像データを要求元へ送信する。 The medical image management system 20 is a system that stores medical image data and manages the stored medical image data. The medical image management system 20 has, for example, a server device 21. The server device 21 stores the medical image data converted in the medical image management system 20 according to, for example, the DICOM (Digital Imaging and Communication Medicine) standard. Further, the server device 21 transmits the stored medical image data to the request source, for example, in response to the browsing request.
医用画像データは、例えば、Ｘ線診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、ＰＥＴ装置とＭＲＩ装置とが一体化されたＰＥＴ−ＭＲＩ装置、又はこれらの装置群等である医用画像診断装置により生成される。 Medical image data includes, for example, an X-ray diagnostic apparatus, an X-ray CT apparatus, an MRI apparatus, an ultrasonic diagnostic apparatus, a SPECT (Single Photon Emission Computed Tomography) apparatus, a PET (Positron Emission computed Tomography) apparatus, a SPECT apparatus and an X-ray CT apparatus. SPECT-CT apparatus in which the apparatus is integrated, PET-CT apparatus in which the PET apparatus and X-ray CT apparatus are integrated, PET-MRI apparatus in which the PET apparatus and MRI apparatus are integrated, or these apparatuses It is generated by a medical image diagnostic apparatus such as a group.
なお、図１では、医用画像管理システム２０に含まれるサーバがサーバ装置２１のみである場合を例に示しているが、これに限定されない。サーバ装置２１は、必要に応じて複数設けられていても構わない。 Although FIG. 1 shows an example in which the server included in the medical image management system 20 is only the server device 21, the present invention is not limited to this. A plurality of server devices 21 may be provided as necessary.
医用画像処理装置１０は、医用画像データを利用し、症例数の少ない病変領域が含まれる合成画像を生成する。本実施形態において、症例数の少ない病変領域は、例えば、少なくとも１種類の組成を部分的に有する病変領域を表す。図２は、図１に示される医用画像処理装置１０の機能構成の例を表すブロック図である。図２に示される医用画像処理装置１０は、処理回路１１、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。 The medical image processing apparatus 10 generates a composite image including a lesion region with a small number of cases by using medical image data. In the present embodiment, the lesion area having a small number of cases represents, for example, a lesion area partially having at least one type of composition. FIG. 2 is a block diagram illustrating an example of a functional configuration of the medical image processing apparatus 10 illustrated in FIG. The medical image processing apparatus 10 illustrated in FIG. 2 includes a processing circuit 11, a memory 12, an input interface 13, a display 14, and a communication interface 15. The processing circuit 11, the memory 12, the input interface 13, the display 14, and the communication interface 15 are communicably connected to each other via, for example, a bus.
処理回路１１は、医用画像処理装置１０の中枢として機能するプロセッサである。処理回路１１は、メモリ１２等に記憶されているプログラムを実行することにより、当該プログラムに対応する機能を実現する。 The processing circuit 11 is a processor that functions as a center of the medical image processing apparatus 10. The processing circuit 11 realizes a function corresponding to the program by executing a program stored in the memory 12 or the like.
メモリ１２は、種々の情報を記憶するＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及び集積回路記憶装置等の記憶装置である。また、メモリ１２は、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。なお、メモリ１２は、必ずしも単一の記憶装置により実現される必要は無い。例えば、メモリ１２は、複数の記憶装置により実現されても構わない。また、メモリ１２は、医用画像処理装置１０にネットワークを介して接続された他のコンピュータ内にあってもよい。 The memory 12 is a storage device such as a read only memory (ROM), a random access memory (RAM), a hard disk drive (HDD), a solid state drive (SSD), and an integrated circuit storage device for storing various information. Further, the memory 12 may be a drive device that reads and writes various information from and to a portable storage medium such as a CD-ROM drive, a DVD drive, and a flash memory. Note that the memory 12 does not necessarily need to be realized by a single storage device. For example, the memory 12 may be realized by a plurality of storage devices. Further, the memory 12 may be in another computer connected to the medical image processing apparatus 10 via a network.
メモリ１２は、本実施形態に係る画像生成プログラム等を記憶している。なお、この画像生成プログラムは、例えば、メモリ１２に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されてメモリ１２にインストールされてもよい。 The memory 12 stores an image generation program and the like according to the present embodiment. Note that this image generation program may be stored in the memory 12 in advance, for example. Further, for example, the program may be stored in a non-transitory storage medium and distributed, read from the non-transitory storage medium, and installed in the memory 12.
入力インタフェース１３は、ユーザから各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１へ出力する。入力インタフェース１３は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、及び操作面へ触れることで指示が入力されるタッチパネル等の入力機器に接続されている。また、入力インタフェース１３に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。 The input interface 13 receives various input operations from the user, converts the received input operations into electric signals, and outputs the electric signals to the processing circuit 11. The input interface 13 is connected to input devices such as a mouse, a keyboard, a trackball, a switch, a button, a joystick, a touchpad, and a touch panel for inputting an instruction by touching an operation surface. The input device connected to the input interface 13 may be an input device provided in another computer connected via a network or the like.
ディスプレイ１４は、処理回路１１からの指示に従って種々の情報を表示する。また、ディスプレイ１４は、合成画像を生成するための画面へユーザが必要事項を入力するためのＧＵＩ（Graphical User Interface）を表示する。ディスプレイ１４は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、及びプラズマディスプレイ等、任意のディスプレイが適宜利用可能である。 The display 14 displays various information according to an instruction from the processing circuit 11. Further, the display 14 displays a GUI (Graphical User Interface) for the user to input necessary items on a screen for generating a composite image. As the display 14, an arbitrary display such as a CRT (Cathode Ray Tube) display, a liquid crystal display, an organic EL display, an LED display, and a plasma display can be appropriately used.
通信インタフェース１５は、医用画像管理システム２０等との間でデータ通信を行う。通信インタフェース１５は、例えば、予め設定されている既知の規格に準拠してデータ通信を行う。医用画像管理システム２０との間では、例えば、ＤＩＣＯＭに準拠した通信が実施される。 The communication interface 15 performs data communication with the medical image management system 20 and the like. The communication interface 15 performs data communication in accordance with, for example, a known standard set in advance. Communication with the medical image management system 20 is performed, for example, in accordance with DICOM.
図２に示される処理回路１１は、例えば、メモリ１２に記憶されている画像生成プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１は、画像生成プログラムを実行することで、画像取得機能１１１、抽出機能１１２、及び生成機能１１３を有する。なお、本実施形態では、単一のプロセッサによって画像取得機能１１１、抽出機能１１２、及び生成機能１１３が実現される場合を説明するが、これに限定されない。例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、及び生成機能１１３を実現しても構わない。 The processing circuit 11 illustrated in FIG. 2 realizes a function corresponding to the image generation program stored in the memory 12, for example, by executing the program. For example, the processing circuit 11 has an image acquisition function 111, an extraction function 112, and a generation function 113 by executing an image generation program. In the present embodiment, a case will be described in which the image acquisition function 111, the extraction function 112, and the generation function 113 are realized by a single processor, but the invention is not limited to this. For example, a processing circuit may be configured by combining a plurality of independent processors, and each processor may execute a program to realize the image acquisition function 111, the extraction function 112, and the generation function 113.
また、画像取得機能１１１、抽出機能１１２、及び生成機能１１３は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。 The operations of the image acquisition function 111, the extraction function 112, and the generation function 113 may be realized by hardware, may be realized by software, and may be performed by hardware. It may be realized by a combination with software.
画像取得機能１１１は、医用画像を取得する機能であり、画像取得部の一例である。画像取得機能１１１において処理回路１１は、例えば、医用画像管理システム２０にアクセスし、医用画像管理システム２０に記憶されている医用画像データを読み出す。また、処理回路１１は、例えば、ＵＳＢ等の記憶媒体を介してユーザから入力される医用画像データを読み出す。処理回路１１は、読み出した医用画像データに基づく医用画像を取得する。 The image acquisition function 111 is a function of acquiring a medical image, and is an example of an image acquisition unit. In the image acquisition function 111, the processing circuit 11 accesses, for example, the medical image management system 20, and reads out the medical image data stored in the medical image management system 20. Further, the processing circuit 11 reads out medical image data input by a user via a storage medium such as a USB, for example. The processing circuit 11 acquires a medical image based on the read medical image data.
抽出機能１１２は、医用画像に含まれる病変領域を抽出する機能であり、抽出部の一例である。抽出機能１１２において処理回路１１は、例えば、医用画像に含まれる各画素の画素値に基づき、医用画像に含まれる病変領域を抽出する。 The extraction function 112 is a function of extracting a lesion area included in a medical image, and is an example of an extraction unit. In the extraction function 112, the processing circuit 11 extracts, for example, a lesion area included in the medical image based on the pixel value of each pixel included in the medical image.
生成機能１１３は、病変領域に基づく合成画像を生成する機能であり、生成部の一例である。生成機能１１３において処理回路１１は、例えば、抽出した病変領域に基づいて加工画像を生成する。そして、処理回路１１は、作成した加工画像と、取得した医用画像とを用い、合成画像を生成する。 The generation function 113 is a function of generating a composite image based on a lesion area, and is an example of a generation unit. In the generation function 113, the processing circuit 11 generates a processed image based on, for example, the extracted lesion area. Then, the processing circuit 11 uses the created processed image and the acquired medical image to generate a composite image.
次に、以上のように構成された医用画像処理装置１０により合成画像が生成される動作を、処理回路１１の処理手順に従って説明する。以下の説明では、合成画像は、例えば、少なくとも１種類の組成を部分的に有する領域を含むものとする。 Next, an operation of generating a composite image by the medical image processing apparatus 10 configured as described above will be described according to a processing procedure of the processing circuit 11. In the following description, it is assumed that the composite image includes, for example, a region partially having at least one type of composition.
図３は、図１に示される処理回路１１が合成画像を生成する際の動作の例を表すフローチャートである。なお、図３では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づき、肺結節についての合成画像が生成される場合を例に説明する。 FIG. 3 is a flowchart illustrating an example of an operation when the processing circuit 11 illustrated in FIG. 1 generates a composite image. FIG. 3 illustrates an example in which a composite image of a pulmonary nodule is generated based on a CT image generated by an X-ray CT apparatus.
肺結節のＣＴ陰影は、充実性（ソリッド）陰影、すりガラス（ＧＧＯ：Ground Glass Opacity）陰影、及び気腔（キャビティー）に大別される。なお、気腔は結節内に存在する、ガスで満たされた低輝度領域である。 CT shadows of lung nodules are broadly classified into solid shadows, ground glass (GGO) shadows, and air spaces (cavities). The air cavity is a low-luminance region filled with gas, which is present in the nodule.
図４は、肺野についてのＣＴ画像に含まれる組成の発生頻度の分布の例を表す図である。ＣＴ画像の画素値は、空気−１０００ＨＵ、水０ＨＵを基準として設定されている。一例として、肺野内において、肺実質は−９００〜−８００ＨＵで表される。また、肺結節に含まれる気腔は−９５０ＨＵ以下で表され、ＧＧＯ陰影は−８００ＨＵ〜−３００ＨＵで表され、かつ、ソリッド陰影は−２００ＨＵ〜０ＨＵ付近で表される。 FIG. 4 is a diagram illustrating an example of the distribution of the occurrence frequency of the composition included in the CT image for the lung field. The pixel values of the CT image are set based on air-1000 HU and water 0 HU. As an example, within the lung field, the lung parenchyma is represented by -900 to -800 HU. The airspace included in the pulmonary nodule is represented by -950HU or less, the GGO shadow is represented by -800HU to -300HU, and the solid shadow is represented by -200HU to 0HU.
図３において、まず、例えば、入力インタフェース１３を介して合成画像の生成開始が指示されると、処理回路１１は、画像生成プログラムをメモリ１２から読み出し、読み出した画像生成プログラムを実行する。処理回路１１は、画像生成プログラムを実行すると、画像取得機能１１１を実行する。 In FIG. 3, first, for example, when a start of generation of a composite image is instructed via the input interface 13, the processing circuit 11 reads the image generation program from the memory 12 and executes the read image generation program. When executing the image generation program, the processing circuit 11 executes the image acquisition function 111.
画像取得機能１１１を実行すると処理回路１１は、医用画像データを取得する（ステップＳ３１）。具体的には、例えば、処理回路１１は、医用画像データをユーザに選択させるための画面をディスプレイ１４に表示させる。ユーザは、例えば、入力インタフェース１３を操作し、肺野について撮影された、少なくとも１つの医用画像データを選択する。 When the image acquisition function 111 is executed, the processing circuit 11 acquires medical image data (step S31). Specifically, for example, the processing circuit 11 causes the display 14 to display a screen for allowing the user to select medical image data. For example, the user operates the input interface 13 to select at least one piece of medical image data captured of the lung field.
ユーザにより医用画像データが指定されると、処理回路１１は、指定された医用画像データを、医用画像データの記憶元、例えば、医用画像管理システム２０、又は可搬性記憶媒体等から読み出す。処理回路１１は、読み出した医用画像データに基づく医用画像をディスプレイ１４に表示させる。 When the medical image data is specified by the user, the processing circuit 11 reads the specified medical image data from a storage source of the medical image data, for example, the medical image management system 20, a portable storage medium, or the like. The processing circuit 11 causes the display 14 to display a medical image based on the read medical image data.
ディスプレイ１４に医用画像が表示されると、ユーザは、例えば、表示されている医用画像のうち、病変領域、つまり結節領域を少なくとも１つ含む所定の広さの対象領域を指定する。所定の広さは、予め設定されていてもよいし、入力インタフェース１３を介した操作によりユーザが独自に設定してもよい。このとき、対象領域として、例えば、充実性陰影だけで構成される充実型結節、又はＧＧＯ陰影だけで構成されるすりガラス型結節に対応する領域を指定することができる。なお、対象領域は、処理回路１１が画像解析を実施することで、医用画像から自動的に選択されてもよい。 When the medical image is displayed on the display 14, the user specifies, for example, a target area of a predetermined size including at least one lesion area, that is, a nodule area, in the displayed medical image. The predetermined area may be set in advance, or may be independently set by a user through an operation via the input interface 13. At this time, for example, a region corresponding to a solid nodule composed only of solid shadows or a ground glass nodule composed only of GGO shadows can be designated. The target area may be automatically selected from the medical image by the processing circuit 11 performing image analysis.
対象領域が指定されると、処理回路１１は、抽出機能１１２を実行する。抽出機能１１２を実行すると処理回路１１は、対象領域に含まれる結節領域を抽出する（ステップＳ３２）。具体的には、処理回路１１は、例えば、ソリッド陰影のＣＴ値を閾値として利用し、対象領域から充実型結節領域を抽出する。また、処理回路１１は、例えば、ＧＧＯ陰影のＣＴ値を閾値として利用し、対象領域からすりガラス型結節領域を抽出する。 When the target area is specified, the processing circuit 11 executes the extraction function 112. When the extraction function 112 is executed, the processing circuit 11 extracts a nodule region included in the target region (step S32). Specifically, the processing circuit 11 extracts a solid nodule region from the target region using, for example, the CT value of the solid shadow as a threshold. Further, the processing circuit 11 extracts a ground glass nodule region from the target region using, for example, the CT value of the GGO shadow as a threshold value.
結節領域を抽出すると、処理回路１１は、生成機能１１３を実行する。生成機能１１３を実行すると処理回路１１は、抽出した結節領域に基づいて合成画像を生成する。図５乃至図７は、合成画像に含まれる、少なくとも１種類の組成を部分的に有する領域の例を表す概念図である。図５は、キャビティー領域３１を有するソリッド陰影３２の例を表す。図６は、キャビティー領域３１を有するＧＧＯ陰影３３の例を表す。図７は、ソリッド陰影３２とＧＧＯ陰影３３とを有する部分充実性結節の例を表す。 When the nodule region is extracted, the processing circuit 11 executes the generation function 113. When the generation function 113 is executed, the processing circuit 11 generates a composite image based on the extracted nodule region. FIGS. 5 to 7 are conceptual diagrams illustrating examples of a region partially having at least one type of composition included in the composite image. FIG. 5 shows an example of a solid shadow 32 having a cavity region 31. FIG. 6 shows an example of a GGO shade 33 having a cavity area 31. FIG. 7 illustrates an example of a partially solid nodule having a solid shadow 32 and a GGO shadow 33.
処理回路１１は、例えば、下記のように合成画像を生成する。まず、処理回路１１は、抽出した結節領域の形状に基づき、抽出した結節領域をランダムに変形させることにより、抽出した結節領域の内部に、この結節領域よりも小さい領域を生成するための画像を生成する。本実施形態において、結節領域内部の小領域を生成するための画像のことを、キャビティー領域、又はその他の所定の組成領域の尤度画像と称する。 The processing circuit 11 generates a composite image as described below, for example. First, the processing circuit 11 randomly deforms the extracted nodule region based on the shape of the extracted nodule region to generate an image for generating a region smaller than the nodule region inside the extracted nodule region. Generate. In the present embodiment, an image for generating a small region inside the nodule region is referred to as a likelihood image of a cavity region or another predetermined composition region.
図８は、図１に示される処理回路１１が、充実型結節領域からキャビティー領域の尤度画像を生成する処理手順の例を表す模式図である。キャビティーは充実型結節の内部に形成され、その大きさは様々である。そこで、充実型結節の輪郭を幾何学的に変形させた気腔領域マスクを生成し、気腔領域マスクの内部を空気に近いＣＴ値で埋めた擬似キャビティーをオリジナルの充実性結節に合成することでキャビティーのある結節を生成する。 FIG. 8 is a schematic diagram illustrating an example of a processing procedure in which the processing circuit 11 illustrated in FIG. 1 generates a likelihood image of a cavity region from a solid nodule region. The cavities are formed inside the solid knots and vary in size. Therefore, an airspace mask is generated by geometrically deforming the contour of the solid nodule, and a pseudo cavity in which the inside of the airspace mask is filled with a CT value close to air is synthesized with the original solid nodule. This creates a nodule with cavities.
図８において、図８（ａ）はユーザにより指定された対象領域４０の例を表す。図８（ａ）において、網掛けの領域は、抽出機能１１２において抽出された充実型結節領域４１を表す。 8A illustrates an example of the target area 40 specified by the user. In FIG. 8A, the shaded area represents the solid nodule area 41 extracted by the extraction function 112.
結節領域４１を抽出すると、処理回路１１は、結節領域４１が合成画像を生成する要件を満たしているか否かを判断する（ステップＳ３３）。例として、図５乃至図７で示されるような結節領域４１を含む画像に対して、結節領域４１の内部に疑似キャビティーを形成した合成画像を作成する場合について説明する。結節領域４１の内部に疑似キャビティーを合成するためには、形成しようとする疑似キャビティーの大きさよりも結節領域４１の大きさのほうが大きくなければならない。本実施形態では、例えば、キャビティー領域の最小体積を予め定義しておく。この最小体積とは、ユーザが合成画像中に形成させたいキャビティーの最小体積であり、例えばユーザにより指定される。処理回路１１は、抽出した結節領域４１の体積が、キャビティー領域の最小体積より大きいか否かを判断する。結節領域４１の体積がキャビティー領域の最小体積より大きい場合（ステップＳ３３のＹｅｓ）、処理回路１１は、結節領域４１が合成画像を生成する要件を満たしているとして、合成画像の生成処理を継続する。結節領域４１の体積がキャビティー領域の最小体積以下である場合（ステップＳ３３のＮｏ）、処理回路１１は、処理をステップＳ３５に移行させる。なお、ステップＳ３３における判断処理を経ずに、合成画像の生成処理を実施しても構わない。 When the nodule region 41 is extracted, the processing circuit 11 determines whether or not the nodule region 41 satisfies a requirement for generating a composite image (step S33). As an example, a case will be described in which a composite image in which a pseudo cavity is formed inside the nodule region 41 is created for an image including the nodule region 41 as shown in FIGS. In order to synthesize a pseudo cavity inside the nodal region 41, the size of the nodal region 41 must be larger than the size of the pseudo cavity to be formed. In the present embodiment, for example, the minimum volume of the cavity region is defined in advance. The minimum volume is the minimum volume of the cavity that the user wants to form in the composite image, and is specified by the user, for example. The processing circuit 11 determines whether or not the volume of the extracted nodal region 41 is larger than the minimum volume of the cavity region. When the volume of the nodule region 41 is larger than the minimum volume of the cavity region (Yes in step S33), the processing circuit 11 determines that the nodule region 41 satisfies the requirement for generating a composite image, and continues the synthetic image generation process. I do. When the volume of the nodal region 41 is equal to or smaller than the minimum volume of the cavity region (No in step S33), the processing circuit 11 shifts the processing to step S35. The process of generating a composite image may be performed without performing the determination process in step S33.
ステップＳ３３においてＹｅｓの場合、処理回路１１は、例えば、抽出した結節領域４１に含まれる画素の値を「１」とし、その他の領域に含まれる画素の値を「０」とすることでマスク画像４２を生成する。図８（ｂ）は、抽出した結節領域４１に基づいて生成されるマスク画像４２の例を表す。 In the case of Yes in step S33, for example, the processing circuit 11 sets the value of the pixel included in the extracted nodule region 41 to “1” and sets the value of the pixel included in the other region to “0”, thereby setting the mask image 42 is generated. FIG. 8B shows an example of a mask image 42 generated based on the extracted nodule region 41.
マスク画像４２を生成すると、処理回路１１は、生成したマスク画像４２に対し、例えば、ノイズ除去処理、及び縮小処理を実施する。具体的には、処理回路１１は、例えば、モルフォロジー変換によるオープニング処理を実施することで、マスク画像４２に含まれるノイズ成分を除去する。オープニング処理は、縮小処理の後に膨張処理を実施する処理である。処理回路１１は、ノイズ成分を除去した画像に対してモルフォロジー変換による縮小処理を実施することで、マスク画像４３を生成する。図８（ｃ）は、マスク画像４２に対してノイズ除去処理、及び縮小処理を施すことで生成されるマスク画像４３の例を表す図である。マスク画像４３において、画素が「１」の領域はマスク画像４２における「１」の領域よりも小さい。 When the mask image 42 is generated, the processing circuit 11 performs, for example, noise removal processing and reduction processing on the generated mask image 42. Specifically, the processing circuit 11 removes a noise component included in the mask image 42, for example, by performing an opening process by morphological transformation. The opening process is a process of performing an expansion process after the reduction process. The processing circuit 11 generates a mask image 43 by performing a reduction process by morphological transformation on the image from which the noise component has been removed. FIG. 8C is a diagram illustrating an example of a mask image 43 generated by performing noise reduction processing and reduction processing on the mask image 42. In the mask image 43, the area where the pixel is “1” is smaller than the area where the pixel is “1” in the mask image.
処理回路１１は、ノイズ成分を除去した画像に対する縮小処理を、パラメータを変更しながら複数回実施してもよい。これにより、１種類のマスク画像４２から複数種類のマスク画像４３が生成される。 The processing circuit 11 may perform the reduction process on the image from which the noise component has been removed a plurality of times while changing the parameters. Thereby, a plurality of types of mask images 43 are generated from one type of mask image 42.
マスク画像４３を生成すると、処理回路１１は、生成したマスク画像４３に対し、例えば、平行移動と線形変換とを組み合わせた変換処理を実施する。具体的には、処理回路１１は、例えば、アフィン変換による回転処理、移動処理、左右反転処理、引き延ばし、又はこれらの処理のうち少なくともいずれか２つの処理を実施することで、マスク画像４４を生成する。図８（ｄ）は、マスク画像４３に対して変換処理を施すことで生成されるマスク画像４４の例を表す図である。 When the mask image 43 is generated, the processing circuit 11 performs a conversion process on the generated mask image 43 by combining, for example, parallel movement and linear conversion. More specifically, the processing circuit 11 generates the mask image 44 by performing, for example, at least any two of the rotation processing, the movement processing, the left-right inversion processing, the enlargement, or the affine transformation. I do. FIG. 8D is a diagram illustrating an example of a mask image 44 generated by performing a conversion process on the mask image 43.
処理回路１１は、平行移動と線形変換とを組み合わせた変換処理を、パラメータを変更しながら複数回実施してもよい。これにより、１種類のマスク画像４３から複数種類のマスク画像４４が生成される。 The processing circuit 11 may perform the conversion processing combining the parallel movement and the linear conversion a plurality of times while changing the parameters. Thereby, a plurality of types of mask images 44 are generated from one type of mask image 43.
マスク画像４４を生成すると、処理回路１１は、例えば、生成したマスク画像４４をぼかす。具体的には、処理回路１１は、例えば、マスク画像４４に対してガウシアンぼかしを実施することで、キャビティー領域の尤度画像４５を生成する。図８（ｅ）は、マスク画像４４に対してぼかし処理を施すことで生成される尤度画像４５（Ｐ（ｘ，ｙ，ｚ）∈［０，１］）の例を表す図である。 When the mask image 44 is generated, the processing circuit 11 blurs the generated mask image 44, for example. Specifically, the processing circuit 11 generates a likelihood image 45 of the cavity region by performing Gaussian blurring on the mask image 44, for example. FIG. 8E is a diagram illustrating an example of a likelihood image 45 (P (x, y, z) ∈ [0, 1]) generated by performing a blurring process on the mask image 44.
なお、図８では、尤度画像を処理回路１１が自動的に生成する場合を例に説明した。しかしながら、これに限定されない。尤度画像を生成する際のパラメータは、ユーザにより設定されても構わない。すなわち、尤度画像は、ユーザがマニュアル操作で生成することも可能である。 In FIG. 8, the case where the processing circuit 11 automatically generates the likelihood image has been described as an example. However, it is not limited to this. Parameters for generating a likelihood image may be set by a user. That is, the likelihood image can be generated by the user through a manual operation.
また、処理回路１１は、ユーザの指定に従い、合成画像を生成してもよい。例えば、ユーザが模擬したい病変（例：ソリッド領域中のキャビティー領域）を、入力インタフェース１３を介して入力する。模擬したい病変が指定された場合にどのような画像処理を施して合成画像を作成するかの処理ルールは予め対応テーブルとして記憶されている。処理ルールの一例が、上述した結節内にキャビティーを形成する際の画像処理である。処理回路１１は、入力された病変ごとに対する処理ルールを、記憶された対応テーブルから取得する。処理回路１１は、取得した処理を原画像に対して実施することで合成画像を生成する。 Further, the processing circuit 11 may generate a composite image according to a user's specification. For example, the user inputs a lesion to be simulated (eg, a cavity area in a solid area) via the input interface 13. Processing rules for performing what kind of image processing to create a composite image when a lesion to be simulated is specified are stored in advance as a correspondence table. One example of a processing rule is image processing when forming a cavity in the above-described nodule. The processing circuit 11 acquires a processing rule for each input lesion from the stored correspondence table. The processing circuit 11 generates a composite image by performing the acquired processing on the original image.
続いて、処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、キャビティー領域、又はその他の所定の組成領域を、ユーザにより指定された対象領域の所定箇所に合成する。 Subsequently, the processing circuit 11 combines the cavity region or another predetermined composition region with a predetermined portion of the target region specified by the user, for example, by using the generated likelihood image as an alpha value.
図９は、図１に示される処理回路１１が、キャビティー領域を対象領域に合成する処理の例を表す模式図である。図９において、キャビティー領域の輝度値Ｎ（ｘ，ｙ，ｚ）は、一様分布Ｕ（−１０００，−９３５）からサンプリングされるものとする。なお、合成する領域の輝度値は、例えば、図４に示される組成毎の輝度分布から決定される。処理回路１１は、例えば、尤度画像４５：Ｐ（ｘ，ｙ，ｚ）と、輝度値Ｎ（ｘ，ｙ，ｚ）との論理積を取る。また、処理回路１１は、例えば、尤度画像４５のインバージョン：１−Ｐ（ｘ，ｙ，ｚ）と、対象領域４０：Ｉ（ｘ，ｙ，ｚ）との論理積を取る。そして、処理回路１１は、論理積が取られた信号同士の論理和を取ることで、合成画像５０を生成し（ステップＳ３４）、生成した合成画像５０をメモリ１２に記憶する。なお、合成画像を生成する際に採用される論理式は、上記に限定されない。 FIG. 9 is a schematic diagram illustrating an example of a process in which the processing circuit 11 illustrated in FIG. 1 combines a cavity region with a target region. In FIG. 9, it is assumed that the brightness value N (x, y, z) of the cavity area is sampled from the uniform distribution U (−1000, −935). Note that the luminance value of the area to be combined is determined from, for example, the luminance distribution for each composition shown in FIG. The processing circuit 11 takes, for example, a logical product of the likelihood image 45: P (x, y, z) and the luminance value N (x, y, z). Further, the processing circuit 11, for example, calculates the logical product of the inversion: 1-P (x, y, z) of the likelihood image 45 and the target area 40: I (x, y, z). Then, the processing circuit 11 generates the composite image 50 by taking the logical sum of the signals obtained by the logical product (step S34), and stores the generated composite image 50 in the memory 12. Note that the logical expression used when generating the composite image is not limited to the above.
図１０、及び図１１は、図１に示される処理回路１１により生成される合成画像５０の例を表す模式図である。図１０、及び図１１では、左図のように指定された充実型結節領域を含む対象領域に基づき、右図のようにキャビティー領域が合成された合成画像が生成される。なお、図１０、及び図１１では、結節領域内に１つのキャビティー領域を含む合成画像が生成される場合を例に説明した。しかしながら、合成画像内に含まれるキャビティー領域は２つ以上あっても構わない。 FIG. 10 and FIG. 11 are schematic diagrams illustrating an example of the composite image 50 generated by the processing circuit 11 illustrated in FIG. In FIGS. 10 and 11, based on the target region including the solid nodule region specified as shown in the left diagram, a synthesized image in which the cavity region is synthesized as shown in the right diagram is generated. Note that FIGS. 10 and 11 have described an example in which a composite image including one cavity region in a nodule region is generated. However, the composite image may include two or more cavity regions.
合成画像５０を生成すると、処理回路１１は、合成画像の生成を終了するか否かを判断する（ステップＳ３５）。具体的には、処理回路１１は、例えば、合成画像の生成対象となる対象領域、及び／又は、結節領域を含む医用画像データが他に存在する場合、合成画像の生成処理を終了しないと判断し（ステップＳ３５のＮｏ）、処理をステップＳ３１へ移行させる。一方、処理回路１１は、合成画像の生成対象となる対象領域、及び、結節領域を含む医用画像データが他に存在しない場合、生成処理を終了すると判断し（ステップＳ３５のＹｅｓ）、処理を終了させる。 After generating the composite image 50, the processing circuit 11 determines whether or not to terminate generation of the composite image (step S35). Specifically, for example, when there is another medical image data including a target region and / or a nodule region for which a composite image is to be generated, the processing circuit 11 determines that the generation process of the composite image is not to be ended Then (No in Step S35), the process proceeds to Step S31. On the other hand, if there is no other medical image data including the target region and the nodule region for which the composite image is to be generated, the processing circuit 11 determines that the generation process is to be terminated (Yes in step S35), and terminates the process. Let it.
なお、図８、及び図９では、充実型結節領域を含む対象領域に基づき、キャビティー領域が合成された合成画像を生成する場合を例に説明した。しかしながら、対象領域に含まれる領域は、すりガラス型結節領域であっても構わない。処理回路１１は、抽出したすりガラス型結節領域に対して図８、及び図９で表される処理と同様の処理を実施し、すりガラス型結節領域を含む対象領域に基づき、キャビティー領域が合成された合成画像を生成する。 Note that FIGS. 8 and 9 have described an example in which a combined image in which the cavity region is combined is generated based on the target region including the solid nodule region. However, the region included in the target region may be a ground glass nodule region. The processing circuit 11 performs the same processing as the processing shown in FIGS. 8 and 9 on the extracted ground glass nodule region, and the cavity region is synthesized based on the target region including the ground glass nodule region. A composite image is generated.
図１２、及び図１３は、図１に示される処理回路１１により生成される合成画像のその他の例を表す模式図である。図１２、及び図１３では、左図のように指定されたすりガラス型結節領域を含む対象領域に基づき、右図のようにキャビティー領域が合成された合成画像が生成される。なお、図１２、及び図１３では、結節領域内に１つのキャビティー領域を含む合成画像が生成される場合を例に説明した。しかしながら、合成画像内に含まれるキャビティー領域は２つ以上あっても構わない。 12 and 13 are schematic diagrams illustrating other examples of the composite image generated by the processing circuit 11 illustrated in FIG. In FIGS. 12 and 13, based on the target region including the ground glass nodule region designated as shown in the left diagram, a combined image in which the cavity region is combined as shown in the right diagram is generated. Note that FIGS. 12 and 13 have described an example in which a composite image including one cavity region in the nodule region is generated. However, the composite image may include two or more cavity regions.
また、対象領域に含まれる領域はすりガラス型結節領域であり、合成画像にて合成される領域はソリッド領域であっても構わない。すなわち、部分充実型結節が合成画像として生成されても構わない。部分充実型結節におけるソリッド陰影は、結節の内部に形成され、その大きさ及び形状は様々である。そこで、すりガラス型結節の輪郭を幾何学的に変形させた充実領域マスクを生成し、充実領域マスクの内部をソリッド陰影が持つＣＴ値で埋めた擬似ソリッド陰影をオリジナルのすりガラス型結節に合成することで部分充実型結節を生成する。このとき、処理回路１１は、例えば、抽出したすりガラス型結節領域に対して図８で表される処理と同様の処理を実施し、ソリッド領域の尤度画像を生成する。そして、処理回路１１は、図９で表される処理と同様の処理を実施し、すりガラス型結節領域を含む対象領域にソリッド領域を合成する。 The area included in the target area may be a ground glass nodule area, and the area synthesized in the synthesized image may be a solid area. That is, the partially solid nodule may be generated as a composite image. Solid shadows in partially solid nodules are formed inside the nodules and vary in size and shape. Therefore, a solid area mask is generated by geometrically deforming the contour of a ground glass nodule, and a pseudo solid shadow in which the inside of the solid area mask is filled with the CT value of the solid shadow is combined with the original ground glass nodule. Generates a partially solid nodule. At this time, the processing circuit 11 performs, for example, the same processing as the processing shown in FIG. 8 on the extracted ground glass nodule area, and generates a likelihood image of the solid area. Then, the processing circuit 11 performs the same processing as the processing shown in FIG. 9 and combines the solid area with the target area including the ground glass nodule area.
部分充実型結節を合成画像で生成する手法は上記に限定されない。部分充実型結節において充実性陰影部分とすりガラス陰影部分とをそれぞれ領域抽出し、充実性陰影部分の輪郭を幾何学的に変形させることで、新たに部分充実型結節を生成するようにしても構わない。 The method of generating a partially solid nodule with a composite image is not limited to the above. In the partially solid nodule, a solid shaded part and a ground glass shaded part may be respectively extracted, and the outline of the solid shaded part may be geometrically deformed to generate a new partially solid nodule. Absent.
以上のように、第１の実施形態では、医用画像処理装置１０は、処理回路１１の抽出機能１１２により、取得した医用画像から病変領域を抽出する。そして、医用画像処理装置１０は、処理回路１１の生成機能１１３により、病変領域が含まれる医用画像に基づき、少なくとも１種類の組成を部分的に有する領域を含む合成画像を生成する。これにより、医用画像に基づき、症例数が少ない病変についての画像を、合成画像で表現することが可能となる。 As described above, in the first embodiment, the medical image processing apparatus 10 extracts the lesion area from the acquired medical image by the extraction function 112 of the processing circuit 11. Then, the medical image processing apparatus 10 uses the generation function 113 of the processing circuit 11 to generate a composite image including a region partially having at least one type of composition based on the medical image including the lesion region. This makes it possible to represent an image of a lesion with a small number of cases on the basis of the medical image in a composite image.
なお、第１の実施形態では、肺結節について合成画像を生成する場合を例に説明した。しかしながら、生成される合成画像は肺結節に限定されない。少なくとも１種類の組成を部分的に有する領域であれば、肺結節以外の病変、例えば、胃潰瘍、肝臓の腫瘍等について合成画像を生成しても構わない。 In the first embodiment, an example has been described in which a composite image is generated for a pulmonary nodule. However, the generated composite image is not limited to a pulmonary nodule. As long as the region partially has at least one type of composition, a composite image may be generated for a lesion other than a pulmonary nodule, for example, a stomach ulcer, a liver tumor, or the like.
また、第１の実施形態では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づいて合成画像が生成される場合を例に説明した。しかしながら、合成画像は、ＣＴ画像に基づくものに限定されない。少なくとも１種類の組成を部分的に有する領域を含む合成画像を生成可能であれば、ＣＴ画像に限らず、その他の医用画像診断装置により取得された医用画像に基づいて生成されてもよい。 In the first embodiment, a case has been described as an example where a composite image is generated based on a CT image generated by an X-ray CT apparatus. However, the composite image is not limited to the one based on the CT image. As long as a composite image including a region partially having at least one type of composition can be generated, the composite image may be generated based on a medical image acquired by another medical image diagnostic apparatus in addition to a CT image.
（変形例）
第１の実施形態では、一般的な病変領域を含む医用画像から、症例数の少ない病変領域、例えば、少なくとも１種類の組成を部分的に有する病変領域を含む合成画像を生成する場合を例に説明した。しかしながら、これに限定されない。生成される合成画像は、症例数の少ない病変領域を含むものに限定されない。処理回路１１は、結節領域を含む医用画像に基づき、結節と、結節の周囲肺組織との境界を加工した画像を生成してもよい。
(Modification)
In the first embodiment, a case where a composite image including a lesion region with a small number of cases, for example, a lesion region partially having at least one type of composition is generated from a medical image including a general lesion region will be described as an example. explained. However, it is not limited to this. The generated composite image is not limited to an image including a lesion area with a small number of cases. The processing circuit 11 may generate an image obtained by processing the boundary between the nodule and the lung tissue surrounding the nodule based on the medical image including the nodule region.
例えば、結節の中には、結節と、結節の周囲肺組織との境界が明瞭な結節と、不明瞭な結節とが存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の輪郭をぼかした、又は強調した加工画像を生成する。 For example, among the nodules, there are nodules, nodules having a clear boundary with the lung tissue surrounding the nodules, and unclear nodules. The processing circuit 11 generates a processed image in which the outline of the extracted nodule region is blurred or emphasized by the generation function 113, for example.
具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域に対してガウシアンぼかしを実施することで、輪郭をぼかした結節領域の尤度画像、又は、輪郭を強調した結節領域の尤度画像を生成する。処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、輪郭をぼかした、又は強調した結節領域を、ユーザにより指定された対象領域の所定箇所に合成する。これにより、辺縁明瞭な結節領域を含む合成画像、及び／又は辺縁不明瞭な結節領域を含む合成画像が擬似的に生成される。 Specifically, for example, the processing circuit 11 generates a mask image based on the extracted nodule region. The processing circuit 11 performs a Gaussian blur on the nodule region included in the generated mask image, thereby generating a likelihood image of the nodule region whose outline is blurred or a likelihood image of a nodule region whose outline is emphasized. I do. The processing circuit 11 synthesizes the nodule region whose outline is blurred or emphasized, for example, by using the generated likelihood image as an alpha value at a predetermined position of the target region specified by the user. Thereby, a synthetic image including a nodule region with a clear edge and / or a synthetic image including a nodule region with an unclear edge is generated in a pseudo manner.
また、結節の中には、結節と、結節の周囲肺組織との境界が滑らかな結節と、凹凸がある結節とが存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の輪郭を幾何学的に変形させた加工画像を生成する。 The nodules include a nodule, a nodule having a smooth boundary between the nodule and the surrounding lung tissue, and a nodule having irregularities. The processing circuit 11 generates a processed image in which the outline of the extracted nodule region is geometrically deformed by the generation function 113, for example.
具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域の輪郭に対してスムージング処理を施すなどの画像処理を行って、輪郭を滑らかにした結節領域の尤度画像、又は、輪郭を凹凸にした結節領域の尤度画像を生成する。これにより、擬似的に辺縁平滑な結節領域を含む合成画像、及び／又は辺縁不整な結節領域を含む合成画像を生成する。なお、辺縁不正の顕著な例としてスピキュラが挙げられる。 Specifically, for example, the processing circuit 11 generates a mask image based on the extracted nodule region. The processing circuit 11 performs image processing such as performing a smoothing process on the contour of the nodule region included in the generated mask image, and makes the likelihood image of the nodule region having a smooth contour, or the contour become uneven. Generate a likelihood image of the nodule region. As a result, a synthetic image including a pseudo nodule region with a smooth edge and / or a synthetic image including a nodule region with an irregular edge is generated. A prominent example of fraudulence is spicula.
図１４は、図１に示される処理回路１１により生成される合成画像のその他の例を表す模式図である。図１４では、左図のように指定された充実型結節領域を含む対象領域に基づき、右上図のように輪郭がぼかされた結節領域を含む合成画像が生成される。また、左図のように指定された充実型結節領域を含む対象領域に基づき、右下図のように輪郭を凹凸にした結節領域を含む合成画像が生成される。なお、合成画像は、パラメータを変更しながら、複数種類生成されてもよい。 FIG. 14 is a schematic diagram illustrating another example of the composite image generated by the processing circuit 11 illustrated in FIG. In FIG. 14, a composite image including a nodule region whose outline is blurred as shown in the upper right diagram is generated based on the target region including the solid nodule region designated as shown in the left diagram. Further, based on the target region including the designated solid nodule region as shown in the left diagram, a composite image including a nodule region having an uneven contour as shown in the lower right diagram is generated. Note that a plurality of types of composite images may be generated while changing parameters.
また、処理回路１１は、結節領域を含む医用画像に基づき、結節領域の大きさを加工した画像を生成してもよい。結節の中には、結節領域の大きさが経時と共に増大する結節が存在する。処理回路１１は、例えば、生成機能１１３により、抽出した結節領域の大きさを調整した加工画像を生成する。 Further, the processing circuit 11 may generate an image obtained by processing the size of the nodule region based on the medical image including the nodule region. Among the nodules, there are nodules in which the size of the nodule region increases with time. The processing circuit 11 generates a processed image in which the size of the extracted nodule region is adjusted by the generation function 113, for example.
具体的には、処理回路１１は、例えば、抽出した結節領域に基づいてマスク画像を生成する。処理回路１１は、生成したマスク画像に含まれる結節領域に対してアフィン変換による引き延ばし処理を実施することで、様々な大きさの結節領域の尤度画像を生成する。処理回路１１は、例えば、生成した尤度画像をアルファ値として用いることで、大きさを調整した結節領域を、ユーザにより指定された対象領域の所定箇所に合成する。これにより、大きさを擬似的に調整した結節領域を含む合成画像が生成される。 Specifically, for example, the processing circuit 11 generates a mask image based on the extracted nodule region. The processing circuit 11 generates a likelihood image of a nodule region of various sizes by performing a stretching process by affine transformation on the nodule region included in the generated mask image. The processing circuit 11 uses the generated likelihood image as an alpha value to combine the nodule region whose size has been adjusted with a predetermined portion of the target region specified by the user. As a result, a composite image including a nodule region whose size is adjusted in a pseudo manner is generated.
以上のように、医用画像に基づく合成画像を生成することで、比較的出現頻度の低い陰影パターンの肺結節画像を擬似的に多数生成することが可能となる。 As described above, by generating a composite image based on a medical image, it becomes possible to pseudo-generate a large number of pulmonary nodule images of a shadow pattern having a relatively low appearance frequency.
なお、第１の実施形態では、肺結節について合成画像を生成する場合を例に説明した。しかしながら、生成される合成画像は肺結節に限定されない。複数の合成画像を擬似的に生成することが可能であるならば、肺結節以外の病変、例えば、胃潰瘍、肝臓の腫瘍等について合成画像を生成しても構わない。 In the first embodiment, an example has been described in which a composite image is generated for a pulmonary nodule. However, the generated composite image is not limited to a pulmonary nodule. If a plurality of composite images can be generated in a pseudo manner, a composite image may be generated for a lesion other than a pulmonary nodule, for example, a stomach ulcer, a liver tumor, or the like.
また、第１の実施形態では、Ｘ線ＣＴ装置により生成されたＣＴ画像に基づいて合成画像が生成される場合を例に説明した。しかしながら、合成画像は、ＣＴ画像に基づくものに限定されない。複数の合成画像を擬似的に生成可能であれば、ＣＴ画像に限らず、その他の医用画像診断装置により取得された医用画像に基づいて生成されてもよい。 In the first embodiment, a case has been described as an example where a composite image is generated based on a CT image generated by an X-ray CT apparatus. However, the composite image is not limited to the one based on the CT image. As long as a plurality of composite images can be generated in a pseudo manner, they may be generated based on a medical image acquired by another medical image diagnostic apparatus, in addition to a CT image.
（第２の実施形態）
第１の実施形態では、医用画像処理装置１０が合成画像を生成する場合を例に説明した。第２の実施形態では、医用画像処理装置が合成画像を利用して学習済みモデルを生成する場合を説明する。本実施形態において、学習済みモデルは、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることで生成されるモデルを表し、計算モデルの一例である。
(Second embodiment)
In the first embodiment, an example has been described in which the medical image processing apparatus 10 generates a composite image. In the second embodiment, a case will be described in which the medical image processing apparatus generates a learned model using a composite image. In the present embodiment, the learned model represents a model generated by causing a machine learning model to perform machine learning according to a model learning program, and is an example of a calculation model.
図１５は、第２の実施形態に係る医用画像処理装置１０ａの機能構成の例を表すブロック図である。図１５に示される医用画像処理装置１０ａは、処理回路１１ａ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１ａ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。 FIG. 15 is a block diagram illustrating an example of a functional configuration of the medical image processing apparatus 10a according to the second embodiment. The medical image processing apparatus 10a illustrated in FIG. 15 includes a processing circuit 11a, a memory 12, an input interface 13, a display 14, and a communication interface 15. The processing circuit 11a, the memory 12, the input interface 13, the display 14, and the communication interface 15 are communicably connected to each other via, for example, a bus.
処理回路１１ａは、医用画像処理装置１０ａの中枢として機能するプロセッサである。処理回路１１ａは、例えば、メモリ１２に記憶されている画像生成プログラム、及びモデル学習プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１ａは、画像生成プログラム、及びモデル学習プログラムを実行することで、画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４を有する。 The processing circuit 11a is a processor that functions as a center of the medical image processing apparatus 10a. The processing circuit 11a realizes a function corresponding to the program by executing, for example, an image generation program and a model learning program stored in the memory 12. For example, the processing circuit 11a has an image acquisition function 111, an extraction function 112, a generation function 113, and a model learning function 114 by executing an image generation program and a model learning program.
なお、例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４を実現しても構わない。また、画像取得機能１１１、抽出機能１１２、生成機能１１３、及びモデル学習機能１１４は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。 For example, even if a processing circuit is configured by combining a plurality of independent processors and each processor executes a program, the image acquisition function 111, the extraction function 112, the generation function 113, and the model learning function 114 are realized. I do not care. The operations of the image acquisition function 111, the extraction function 112, the generation function 113, and the model learning function 114 may be realized by hardware or may be realized by software. However, it may be realized by a combination of hardware and software.
モデル学習機能１１４は、メモリ１２に記憶された合成画像データを学習データとして利用し、機械学習モデルに機械学習を行わせることで、学習済みモデルを生成する機能であり、学習部の一例である。具体的には、モデル学習機能１１４において処理回路１１は、例えば、順伝播型の多層化ネットワークを用いて学習済みモデルを生成する。順伝播型の多層化ネットワークは、例えば、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。なお、本実施形態では順伝播型の多層化ネットワークを例に説明するが、機械学習モデルに限定はなく、例えば、決定木、サポートベクターマシン、ベイジアンネットワーク等を利用しても構わない。 The model learning function 114 is a function of generating a learned model by using the synthesized image data stored in the memory 12 as learning data and causing the machine learning model to perform machine learning, and is an example of a learning unit. . Specifically, in the model learning function 114, the processing circuit 11 generates a learned model using, for example, a forward-propagation-type multilayered network. The forward-propagation-type multilayered network is, for example, a network having a structure in which only adjacent layers arranged in layers are connected, and information propagates in one direction from the input layer side to the output layer side. In the present embodiment, a forward propagation type multilayered network will be described as an example. However, there is no limitation to a machine learning model. For example, a decision tree, a support vector machine, a Bayesian network, or the like may be used.
学習済みモデルは、複数の関数が合成されたパラメータ付き合成関数である。学習済みモデルが順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み付行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。 The trained model is a composite function with parameters obtained by combining a plurality of functions. When the trained model is generated using a forward-propagation-type multilayered network, the parameterized composition function may be, for example, a linear relationship between each layer using a weight matrix, a nonlinear relationship using an activation function in each layer ( Or a linear relationship) and a bias.
パラメータ付き合成関数は、パラメータとしての重み付行列、及びバイアスをどのように選ぶかで、関数としての形を変える。パラメータは、例えば、学習データと誤差関数とを用いた学習を実行することで設定される。学習データは、例えば、所定の入力、この入力に対する望ましい結果（正解出力）を出力とした学習サンプルの集合である。本実施形態においては、学習データは、例えば、合成画像データを入力、生成された合成画像中の結節領域の体積を正解出力とした学習サンプルの集合である。なお、学習サンプルにおける正解出力は、合成画像中の結節領域の体積に限定されない。結節領域を分類、又は検出するための正解出力、例えば、部分充実型結節、及びスピキュラ等の名称であっても構わない。 The parameterized synthesis function changes its form as a function depending on how a weighting matrix and a bias are selected as parameters. The parameters are set, for example, by executing learning using learning data and an error function. The learning data is, for example, a set of learning samples that output a predetermined input and a desired result (correct output) for the input. In the present embodiment, the learning data is, for example, a set of learning samples in which the composite image data is input and the volume of the nodule region in the generated composite image is output as the correct answer. Note that the correct answer output in the learning sample is not limited to the volume of the nodule region in the composite image. A correct output for classifying or detecting a nodule region, for example, a name of a partially solid nodule, a spicule, or the like may be used.
誤差関数は、学習サンプルとしての入力を多層化ネットワークへ入力した際の出力、すなわち多層化ネットワークが推定した出力と、正解の出力である学習サンプルとしての出力との近さを表す関数である。誤差関数の代表例としては、二乗誤差関数、最尤度推定関数、交差エントロピー関数等が挙げられる。パラメータは、学習サンプル毎に、例えば、誤差関数を極小にする値が決定される。このような学習により、パラメータが適切に設定され、出力層から好ましい結果を出力することが可能な関数を定義することが可能となる。なお、パラメータを決定する際の計算量を抑制するため、誤差逆伝播法が用いられてもよい。 The error function is a function representing the closeness between the output when the input as the learning sample is input to the multilayered network, that is, the output estimated by the multilayered network and the output as the learning sample which is the correct output. Representative examples of the error function include a square error function, a maximum likelihood estimation function, and a cross entropy function. As the parameter, for example, a value that minimizes the error function is determined for each learning sample. Through such learning, it is possible to define a function in which parameters are appropriately set and a desirable result can be output from the output layer. Note that an error back propagation method may be used to reduce the amount of calculation when determining the parameters.
生成された学習済みモデルは、メモリ１２に記憶される。メモリ１２に記憶された学習済みモデルは、例えば、通信インタフェース１５を介して外部の診断支援装置へ供給されても構わない。 The generated learned model is stored in the memory 12. The learned model stored in the memory 12 may be supplied to an external diagnosis support device via the communication interface 15, for example.
以上のように、第２の実施形態では、医用画像処理装置１０ａは、処理回路１１ａの生成機能１１３により、合成画像を生成する。そして、医用画像処理装置１０ａは、処理回路１１ａのモデル学習機能１１４により、合成画像を学習データとして利用して計算モデルを生成する。これにより、陰影パターンを満遍なく再現した学習データ、及び症例数の少ない病変を再現した学習データを用意することが可能となるため、機械学習の精度向上が期待できる。 As described above, in the second embodiment, the medical image processing apparatus 10a generates a composite image using the generation function 113 of the processing circuit 11a. Then, the medical image processing apparatus 10a uses the model learning function 114 of the processing circuit 11a to generate a calculation model using the synthesized image as learning data. This makes it possible to prepare learning data that uniformly reproduces a shadow pattern and learning data that reproduces a lesion with a small number of cases, so that improvement in the accuracy of machine learning can be expected.
（第３の実施形態）
第２の実施形態では、医用画像処理装置１０ａが合成画像を利用して学習済みモデルを生成する場合を例に説明した。第３の実施形態では、医用画像処理装置が学習済みモデルを利用して診断を支援する場合を説明する。
(Third embodiment)
In the second embodiment, an example has been described in which the medical image processing apparatus 10a generates a learned model using a composite image. In the third embodiment, a case will be described in which the medical image processing apparatus supports diagnosis using a learned model.
図１６は、第３の実施形態に係る医用画像処理装置１０ｂの機能構成の例を表すブロック図である。図１６に示される医用画像処理装置１０ｂは、処理回路１１ｂ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５を有する。処理回路１１ｂ、メモリ１２、入力インタフェース１３、ディスプレイ１４、及び通信インタフェース１５は、例えば、バスを介して互いに通信可能に接続されている。 FIG. 16 is a block diagram illustrating an example of a functional configuration of a medical image processing apparatus 10b according to the third embodiment. The medical image processing device 10b illustrated in FIG. 16 includes a processing circuit 11b, a memory 12, an input interface 13, a display 14, and a communication interface 15. The processing circuit 11b, the memory 12, the input interface 13, the display 14, and the communication interface 15 are communicably connected to each other via, for example, a bus.
処理回路１１ｂは、医用画像処理装置１０ｂの中枢として機能するプロセッサである。処理回路１１ｂは、例えば、メモリ１２に記憶されている画像生成プログラム、モデル学習プログラム、及び診断支援プログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理回路１１ａは、画像生成プログラム、モデル学習プログラム、及び診断支援プログラムを実行することで、画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５を有する。 The processing circuit 11b is a processor that functions as a center of the medical image processing apparatus 10b. The processing circuit 11b realizes a function corresponding to the program by executing, for example, an image generation program, a model learning program, and a diagnosis support program stored in the memory 12. For example, the processing circuit 11a has an image acquisition function 111, an extraction function 112, a generation function 113, a model learning function 114, and a calculation function 115 by executing an image generation program, a model learning program, and a diagnosis support program.
なお、例えば、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５を実現しても構わない。また、画像取得機能１１１、抽出機能１１２、生成機能１１３、モデル学習機能１１４、及び計算機能１１５は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。 Note that, for example, a processing circuit is configured by combining a plurality of independent processors, and each processor executes a program to execute an image acquisition function 111, an extraction function 112, a generation function 113, a model learning function 114, and a calculation function 115. It can be realized. The operations of the image acquisition function 111, the extraction function 112, the generation function 113, the model learning function 114, and the calculation function 115 may be realized by hardware, or may be realized by software. It may be realized by a combination of hardware and software.
計算機能１１５は、メモリ１２に記憶された学習済みモデルへ医用画像を入力し、入力された医用画像に対応する出力信号を生成する機能であり、計算部の一例である。具体的には、計算機能１１５において処理回路１１ｂは、例えば、医用画像診断装置で撮影され、結節領域を含む医用画像を学習済みモデルへ入力する。学習済みモデルにおいて、結節領域が医用画像から抽出され、抽出された結節領域の体積が出力される。 The calculation function 115 is a function of inputting a medical image to the learned model stored in the memory 12 and generating an output signal corresponding to the input medical image, and is an example of a calculation unit. Specifically, in the calculation function 115, the processing circuit 11b inputs, for example, a medical image captured by a medical image diagnostic apparatus and including a nodule region to the learned model. In the trained model, the nodule region is extracted from the medical image, and the volume of the extracted nodule region is output.
以上のように、第３の実施形態では、医用画像処理装置１０ｂは、処理回路１１ｂの生成機能１１３により、合成画像を生成する。医用画像処理装置１０ｂは、処理回路１１ｂのモデル学習機能１１４により、合成画像を学習データとして利用して計算モデルを生成する。そして、医用画像処理装置１０ｂは、処理回路１１ｂの計算機能１１５により、計算モデルに医用画像を入力し、入力した医用画像に対する出力信号を生成させる。これにより、合成画像を利用して学習した計算データを用い、撮像した医用画像に対する出力信号を取得することが可能となる。これにより、例えば計算モデルが出力する出力信号が病変領域のセグメンテーションであれば、合成画像を学習データとして利用することによりセグメンテーションの精度が向上する。そこで、精度が向上した計算モデルを抽出機能１１２に適用することにより、抽出機能１１２のセグメンテーションの精度をも向上させることができる。一方、例えば計算モデルが出力する出力信号が計算機能１１５に対応する病変領域の病名の推定であれば、病名の推定精度が向上する。 As described above, in the third embodiment, the medical image processing apparatus 10b generates a composite image using the generation function 113 of the processing circuit 11b. The medical image processing device 10b uses the model learning function 114 of the processing circuit 11b to generate a calculation model using the synthesized image as learning data. Then, the medical image processing apparatus 10b uses the calculation function 115 of the processing circuit 11b to input the medical image to the calculation model and generate an output signal for the input medical image. This makes it possible to obtain an output signal for the captured medical image using the calculation data learned using the composite image. Thus, for example, if the output signal output by the calculation model is segmentation of a lesion area, the accuracy of segmentation is improved by using the synthesized image as learning data. Therefore, by applying a calculation model with improved accuracy to the extraction function 112, the accuracy of the segmentation of the extraction function 112 can also be improved. On the other hand, for example, if the output signal output by the calculation model is the estimation of the disease name of the lesion area corresponding to the calculation function 115, the estimation accuracy of the disease name is improved.
（その他の実施形態）
第１の実施形態で生成された合成画像の活用は、学習済みモデルの生成に限定されない。例えば、合成画像は、類似症例画像を検索する際の入力キーとして利用されてもよい。例えば、部分充実型結節におけるソリッド領域は、悪性である場合、時間の経過と共に成長することが知られている。そこで、処理回路１１は生成機能１１３により、部分充実型結節において、内部に含まれるソリッド領域を引き延ばした合成画像を生成することで、ソリッド領域の成長を模擬した合成画像を作成することが可能である。例えば被検体の画像を入力して類似症例画像を検索する場合に、被検体の画像を入力キーとして類似画像を検索するのみならず、被検体の画像をもとに作成した合成画像を作成し、この合成画像を追加の入力キーとして類似画像を検索することが可能である。このような処理により抽出される類似画像の数を増やすことができる。更に、被検体の画像そのものを入力キーとして検索した類似画像と、作成した合成画像を基に検索した類似画像とを区別可能に表示することもできる。合成画像を基に検索された類似画像を合成画像とともに操作者へ提示することにより、被検体の画像が合成画像相当に変化したと仮定した場合の類似画像をユーザが把握することができ、予後予測に有用である。
(Other embodiments)
The utilization of the composite image generated in the first embodiment is not limited to the generation of the learned model. For example, the composite image may be used as an input key when searching for a similar case image. For example, it is known that a solid region in a partially solid nodule grows over time when it is malignant. Therefore, the processing circuit 11 can generate a composite image simulating the growth of the solid region by generating a composite image in which the solid region included in the partial solid nodule is elongated by the generation function 113. is there. For example, when searching for a similar case image by inputting an image of a subject, not only searching for a similar image using the image of the subject as an input key, but also creating a composite image created based on the image of the subject. It is possible to search for a similar image using this composite image as an additional input key. The number of similar images extracted by such processing can be increased. Furthermore, a similar image retrieved using the subject image itself as an input key and a similar image retrieved based on the created composite image can be displayed so as to be distinguishable. By presenting the similar image searched based on the composite image to the operator together with the composite image, the user can grasp the similar image when the image of the subject is assumed to have changed to the composite image, and the prognosis Useful for prediction.
以上説明した少なくとも一つの実施形態によれば、医用画像処理装置は、病変についてのデータ不足を緩和させることができる。 According to at least one embodiment described above, the medical image processing apparatus can mitigate a shortage of data on a lesion.
実施形態の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記各実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、上記各実施形態における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。 The term “processor” used in the description of the embodiments may be, for example, a CPU (central processing unit), a GPU (Graphics Processing Unit), or an application specific integrated circuit (ASIC), a programmable logic device. (For example, a circuit such as a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA)). The processor realizes functions by reading and executing a program stored in the storage circuit. Instead of storing the program in the storage circuit, the program may be directly incorporated in the circuit of the processor. In this case, the processor realizes a function by reading and executing a program incorporated in the circuit. Each processor of the above embodiments is not limited to being configured as a single circuit for each processor, but may be configured as a single processor by combining a plurality of independent circuits to realize its functions. Is also good. Furthermore, a plurality of components in each of the above embodiments may be integrated into one processor to realize the function.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and equivalents thereof.
１０，１０ａ，１０ｂ…医用画像処理装置
１１，１１ａ，１１ｂ…処理回路
１１１…画像取得機能
１１２…抽出機能
１１３…生成機能
１１４…モデル学習機能
１１５…計算機能
１２…メモリ
１３…入力インタフェース
１４…ディスプレイ
１５…通信インタフェース
２０…医用画像管理システム
２１…サーバ装置
10, 10a, 10b medical image processing apparatus 11, 11a, 11b processing circuit 111 image acquisition function 112 extraction function 113 generation function 114 model learning function 115 calculation function 12 memory 13 input interface 14 display 15 communication interface 20 medical image management system 21 server device
Claims (10)
前記取得された医用画像における病変領域を抽出する抽出部と、
前記抽出された病変領域を変更した合成画像を生成する生成部と
を備える医用画像処理装置。 An image acquisition unit that acquires a medical image;
An extraction unit that extracts a lesion area in the acquired medical image,
A generation unit configured to generate a composite image in which the extracted lesion area is changed.
前記取得した医用画像における病変領域を抽出し、
前記抽出した病変領域を変更した合成画像を生成する画像生成方法。 Get medical images,
Extracting a lesion area in the acquired medical image,
An image generation method for generating a composite image in which the extracted lesion area is changed.
前記取得された医用画像における病変領域を抽出する処理と、
前記抽出された病変領域を変更した合成画像を生成する処理と
をプロセッサに実行させる画像生成プログラム。 Processing for acquiring a medical image;
A process of extracting a lesion area in the acquired medical image,
An image generation program for causing a processor to execute a process of generating a composite image in which the extracted lesion area is changed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018146221A JP7179521B2 (en) | 2018-08-02 | 2018-08-02 | MEDICAL IMAGE PROCESSING APPARATUS, IMAGE GENERATION METHOD, AND IMAGE GENERATION PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018146221A JP7179521B2 (en) | 2018-08-02 | 2018-08-02 | MEDICAL IMAGE PROCESSING APPARATUS, IMAGE GENERATION METHOD, AND IMAGE GENERATION PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020018705A true JP2020018705A (en) | 2020-02-06 |
| JP7179521B2 JP7179521B2 (en) | 2022-11-29 |
Family
ID=69587741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018146221A Active JP7179521B2 (en) | 2018-08-02 | 2018-08-02 | MEDICAL IMAGE PROCESSING APPARATUS, IMAGE GENERATION METHOD, AND IMAGE GENERATION PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7179521B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021171394A1 (en) * | 2020-02-26 | 2021-09-02 | 株式会社島津製作所 | Learned model creation method, image generation method, and image processing device |
| WO2021182229A1 (en) * | 2020-03-13 | 2021-09-16 | 富士フイルム株式会社 | Image generation device and program, learning device and program, and image processing device and program |
| CN115115620A (en) * | 2022-08-23 | 2022-09-27 | 安徽中医药大学 | Pneumonia lesion simulation method and system based on deep learning |
| WO2023090090A1 (en) * | 2021-11-22 | 2023-05-25 | 富士フイルム株式会社 | Device and method for generating learning data, and device and method for generating learning model |
| EP4354452A1 (en) * | 2022-10-11 | 2024-04-17 | Koninklijke Philips N.V. | Medical image search and retrieval |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009107770A1 (en) * | 2008-02-29 | 2009-09-03 | 株式会社 日立メディコ | Medical image display device, medical image imaging device, and medical image display method |
| JP2011182960A (en) * | 2010-03-09 | 2011-09-22 | Fuji Xerox Co Ltd | Program and information treatment device |
| JP2014030623A (en) * | 2012-08-03 | 2014-02-20 | Kyoto Univ | Image processor, image processing method and program |
| JP2016529037A (en) * | 2013-08-27 | 2016-09-23 | ハートフロー， インコーポレイテッド | System and method for predicting site, onset and / or change of coronary lesions |
| JP2017127623A (en) * | 2016-01-15 | 2017-07-27 | キヤノン株式会社 | Image processor, image processing method, and program |
-
2018
- 2018-08-02 JP JP2018146221A patent/JP7179521B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009107770A1 (en) * | 2008-02-29 | 2009-09-03 | 株式会社 日立メディコ | Medical image display device, medical image imaging device, and medical image display method |
| JP2011182960A (en) * | 2010-03-09 | 2011-09-22 | Fuji Xerox Co Ltd | Program and information treatment device |
| JP2014030623A (en) * | 2012-08-03 | 2014-02-20 | Kyoto Univ | Image processor, image processing method and program |
| JP2016529037A (en) * | 2013-08-27 | 2016-09-23 | ハートフロー， インコーポレイテッド | System and method for predicting site, onset and / or change of coronary lesions |
| JP2017127623A (en) * | 2016-01-15 | 2017-07-27 | キヤノン株式会社 | Image processor, image processing method, and program |
Non-Patent Citations (1)
| Title |
|---|
| FRID-ADAR MAAYAN, ET AL.: "Synthetic data augmentation using GAN for improved liver lesion classification", IEEE ISBI, vol. 2018 IEEE ISBI, JPN6022043139, 24 May 2018 (2018-05-24), US, pages 289 - 293, ISSN: 0004897411 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021171394A1 (en) * | 2020-02-26 | 2021-09-02 | 株式会社島津製作所 | Learned model creation method, image generation method, and image processing device |
| JPWO2021171394A1 (en) * | 2020-02-26 | 2021-09-02 | ||
| WO2021182229A1 (en) * | 2020-03-13 | 2021-09-16 | 富士フイルム株式会社 | Image generation device and program, learning device and program, and image processing device and program |
| JPWO2021182229A1 (en) * | 2020-03-13 | 2021-09-16 | ||
| WO2023090090A1 (en) * | 2021-11-22 | 2023-05-25 | 富士フイルム株式会社 | Device and method for generating learning data, and device and method for generating learning model |
| CN115115620A (en) * | 2022-08-23 | 2022-09-27 | 安徽中医药大学 | Pneumonia lesion simulation method and system based on deep learning |
| CN115115620B (en) * | 2022-08-23 | 2022-12-13 | 安徽中医药大学 | Pneumonia lesion simulation method and system based on deep learning |
| EP4354452A1 (en) * | 2022-10-11 | 2024-04-17 | Koninklijke Philips N.V. | Medical image search and retrieval |
| WO2024079002A1 (en) * | 2022-10-11 | 2024-04-18 | Koninklijke Philips N.V. | Medical image search and retrieval |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7179521B2 (en) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7179521B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, IMAGE GENERATION METHOD, AND IMAGE GENERATION PROGRAM | |
| CN105074775B (en) | The registration of medical image | |
| JP7139479B2 (en) | IMAGE PROCESSING DEVICE, MEDICAL IMAGE DIAGNOSTIC DEVICE, AND PROGRAM | |
| US10188361B2 (en) | System for synthetic display of multi-modality data | |
| JP6824845B2 (en) | Image processing systems, equipment, methods and programs | |
| EP2810217B1 (en) | Graph cuts-based interactive segmentation of teeth in 3-d ct volumetric data | |
| US9224236B2 (en) | Interactive changing of the depiction of an object displayed using volume rendering | |
| US20180108169A1 (en) | Image rendering apparatus and method | |
| JP7218118B2 (en) | Information processing device, information processing method and program | |
| US20150363080A1 (en) | Displaying a plurality of registerd images | |
| CN107481254A (en) | Processing method, device, medium and the electronic equipment of medical image | |
| CN112351739A (en) | System and method for accurate and fast positron emission tomography using deep learning | |
| JP2015513945A6 (en) | Tooth graph cut-based interactive segmentation method in 3D CT volumetric data | |
| JP2016041245A (en) | Medical image processor and medical image processing method | |
| JP2005185405A (en) | Medical image processor, region-of-interest extraction method and program | |
| Dawood et al. | The importance of contrast enhancement in medical images analysis and diagnosis | |
| JP2010131315A (en) | Medical image processor and medical image processing program | |
| JP2020042810A (en) | Medical information processing device, medical information processing method, medical information processing program and medical information processing system | |
| US8213696B2 (en) | Tissue detection method for computer aided diagnosis and visualization in the presence of tagging | |
| JP7332362B2 (en) | Medical image processing apparatus, medical image processing system, and medical image processing method | |
| JP2020101860A (en) | Medical image processing apparatus, system and program | |
| Yassine et al. | Fully automated lung segmentation from chest radiographs using SLICO superpixels | |
| JP7321671B2 (en) | Information processing device, information processing method, information processing system and program | |
| Zhang et al. | Enhancing the depth perception of DSA images with 2D–3D registration | |
| Al-Hinnawi et al. | Collaboration between interactive three-dimensional visualization and computer aided detection of pulmonary embolism on computed tomography pulmonary angiography views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7179521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |