JP2017029461A - Medical image processor and medical image processing method - Google Patents

Medical image processor and medical image processing method Download PDF

Info

Publication number
JP2017029461A
JP2017029461A JP2015153235A JP2015153235A JP2017029461A JP 2017029461 A JP2017029461 A JP 2017029461A JP 2015153235 A JP2015153235 A JP 2015153235A JP 2015153235 A JP2015153235 A JP 2015153235A JP 2017029461 A JP2017029461 A JP 2017029461A
Authority
JP
Japan
Prior art keywords
medical image
simulated
data
lesion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015153235A
Other languages
Japanese (ja)
Other versions
JP6461743B2 (en
Inventor
菜緒子 中山
Naoko Nakayama
菜緒子 中山
拡樹 谷口
Hiroki Taniguchi
拡樹 谷口
角村 卓是
Takayoshi Tsunomura
卓是 角村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015153235A priority Critical patent/JP6461743B2/en
Publication of JP2017029461A publication Critical patent/JP2017029461A/en
Application granted granted Critical
Publication of JP6461743B2 publication Critical patent/JP6461743B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a medical image processor and a medical image processing method capable of creating various images for image reading training while considering the influence of a simulation focus even in an area other than the lungs.SOLUTION: The medical image processor includes a storage part for storing various simulation focuses, a selection part for receiving the selection of observation information, and a simulation medical image creation part for adding a simulation focus in the storage part to a reference image according to the observation information to create a simulation medical image. The simulation medical image creation part performs correction processing of the reference image on the basis of the simulation focus to be added and then adds the simulation focus to the reference image.SELECTED DRAWING: Figure 2

Description

本発明はX線CT装置、MRI装置、超音波装置などの医用画像撮影装置で取得された医用画像を処理する医用画像処理装置および医用画像処理方法に係り、読影訓練用の医用画像を作成する技術に関する。   The present invention relates to a medical image processing apparatus and a medical image processing method for processing a medical image acquired by a medical image capturing apparatus such as an X-ray CT apparatus, an MRI apparatus, and an ultrasonic apparatus, and creates a medical image for interpretation training. Regarding technology.

医用画像撮影装置で取得された医用画像は、読影医によって読影され、画像診断に用いられる。読影医は様々な症例の医用画像を読影し、画像診断が下せるように経験を積んでおくことが望ましい。   A medical image acquired by the medical image photographing apparatus is interpreted by an interpreting doctor and used for image diagnosis. It is desirable that an interpreting doctor interprets medical images of various cases and gains experience so that an image diagnosis can be made.

特許文献1には、病巣を模擬する様々な仮想結節と胸部画像とを合成することにより、読影訓練用の教材として、被検体の体格、模擬病巣の性状、形、大きさ、位置、個数、撮影条件等が異なる医用画像を作成することが開示されている。   In Patent Document 1, by synthesizing various virtual nodules and chest images simulating a lesion, as a teaching material for interpretation training, the physique of the subject, the nature, shape, size, position, number of the simulated lesion, It is disclosed that medical images having different imaging conditions are created.

特開2008-48880号公報JP 2008-48880 JP

超実践マニュアル CT/医療科学社Super Practical Manual CT / Medical Science 画像診断による冠動脈プラーク組織性状の評価 冠疾患誌 2011; 17: 107-113Evaluation of coronary plaque tissue properties by diagnostic imaging Coronary Disease Journal 2011; 17: 107-113 医用画像解析と手術支援計算解剖学的アプローチ/大阪大学大学院医学系研究科 放射線医学講座画像解析グループ 佐藤嘉伸Medical image analysis and surgical support computational anatomical approach / Yoshinobu Sato, Department of Radiological Medicine, Graduate School of Medicine, Osaka University

しかしながら、特許文献1は、主に肺の結節を想定した簡易的なものであり、模擬病巣を追加することによる周辺構造への影響については考慮されていなかった。つまり、ほとんどが空気領域である肺に仮想結節を追加する場合は周辺構造への影響を無視できるが、他の領域では周辺構造の変形や転位を考慮する必要がある。例えば、脂質に富んだ偏心性のプラークで血管の陽性リモデリングや微細な石灰化を持つ不安定プラークを実際の症例に近い状態で作り込むのは容易ではなかった。   However, Patent Document 1 is a simple one that mainly assumes a lung nodule, and the effect on the surrounding structure due to the addition of a simulated lesion is not considered. In other words, when adding virtual nodules to the lung, which is mostly in the air region, the influence on the surrounding structure can be ignored, but in other regions, it is necessary to consider deformation and dislocation of the surrounding structure. For example, it was not easy to make unstable plaques with lipid-rich eccentric plaques with positive remodeling of blood vessels and fine calcifications close to actual cases.

そこで本発明の目的は、肺以外の領域においても模擬病巣の影響を考慮しながら様々な読影訓練用画像を作成できる医用画像処理装置および医用画像処理方法を提供することである。   Accordingly, an object of the present invention is to provide a medical image processing apparatus and a medical image processing method capable of creating various interpretation training images in consideration of the influence of a simulated lesion even in a region other than the lung.

上記目的を達成するために、本発明は、所見情報に応じて基準画像上に模擬病巣を追加し、追加された模擬病巣に基づいて基準画像に補正処理をする。   In order to achieve the above object, according to the present invention, a simulated lesion is added to the reference image in accordance with the finding information, and the reference image is corrected based on the added simulated lesion.

より具体的には、様々な模擬病巣が記憶される記憶部と、所見情報の選択を受付ける選択部と、前記所見情報に応じて前記記憶部の中の模擬病巣を基準画像に追加して模擬医用画像を作成する模擬医用画像作成部とを備え、前記模擬医用画像作成部は追加される模擬病巣に基づいて前記基準画像に補正処理をしてから基準画像に模擬病巣を追加することを特徴とする医用画像処理装置である。   More specifically, a storage unit in which various simulated lesions are stored, a selection unit that accepts selection of finding information, and a simulated lesion in the storage unit is added to a reference image according to the finding information for simulation A simulated medical image creating unit for creating a medical image, wherein the simulated medical image creating unit corrects the reference image based on the added simulated lesion and then adds the simulated lesion to the reference image. A medical image processing apparatus.

また、所見情報の選択を受付ける選択ステップと、前記所見情報に応じて模擬病巣を基準画像に追加して模擬医用画像を作成する模擬医用画像作成ステップとを備え、前記模擬医用画像作成ステップでは追加される模擬病巣に基づいて前記基準画像に補正処理をしてから基準画像に模擬病巣を追加することを特徴とする医用画像処理方法である。   A selection step for accepting selection of finding information; and a simulated medical image creation step for creating a simulated medical image by adding a simulated lesion to a reference image in accordance with the finding information, and adding in the simulated medical image creation step The medical image processing method is characterized in that after the correction process is performed on the reference image based on the simulated lesion, the simulated lesion is added to the reference image.

本発明によれば、肺以外の領域においても模擬病巣の影響を考慮しながら様々な読影訓練用画像を作成できる医用画像処理装置および医用画像処理方法を提供することができる。   According to the present invention, it is possible to provide a medical image processing apparatus and a medical image processing method capable of creating various interpretation training images in consideration of the influence of a simulated lesion even in a region other than the lung.

本発明の医用画像処理装置のハードウェア構成を示す図The figure which shows the hardware constitutions of the medical image processing apparatus of this invention 本発明の実施例1の処理の流れを示す図The figure which shows the flow of a process of Example 1 of this invention. 本発明の実施例1の画像データリスト表示の画面構成の例を示す図The figure which shows the example of the screen structure of the image data list display of Example 1 of this invention 本発明の実施例1の特徴量データ作成の処理の流れを示す図The figure which shows the flow of the process of the feature-value data creation of Example 1 of this invention 本発明の実施例1の模擬医用画像作成条件データベースの一例を示す図The figure which shows an example of the simulation medical image creation condition database of Example 1 of this invention 本発明の実施例1の症例分類データの一例を示す図The figure which shows an example of the case classification data of Example 1 of this invention 本発明の実施例1の特徴量データの一例を示す図The figure which shows an example of the feature-value data of Example 1 of this invention 本発明の実施例1の模擬医用画像作成条件データベースのデータ503を説明する図The figure explaining the data 503 of the simulation medical image creation condition database of Example 1 of this invention 本発明の実施例1の模擬医用画像条件入力と模擬医用画像データ作成の例を示す図The figure which shows the example of simulation medical image condition input of Example 1 of this invention, and simulation medical image data preparation 本発明の実施例1の模擬医用画像データ作成の処理の流れを示す図The figure which shows the flow of a process of simulation medical image data preparation of Example 1 of this invention 本発明の実施例1の課題症例リスト表示の画面構成の例を示す図The figure which shows the example of the screen structure of the subject case list display of Example 1 of this invention 本発明の実施例2の処理の流れを示す図The figure which shows the flow of a process of Example 2 of this invention.

以下、添付図面に従って本発明に係る医用画像処理装置の好ましい実施形態について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。   Preferred embodiments of a medical image processing apparatus according to the present invention will be described below with reference to the accompanying drawings. In the following description and the accompanying drawings, the same reference numerals are given to the constituent elements having the same functional configuration, and redundant description will be omitted.

図1は医用画像処理装置1のハードウェア構成を示す図である。医用画像処理装置1は、CPU(Central Processing Unit)2、主メモリ3、記憶装置4、表示メモリ5、表示装置6、マウス8に接続されたコントローラ7、キーボード9、カメラ10、ネットワークアダプタ11が、システムバス12によって信号送受可能に接続されて構成される。医用画像処理装置1は、ネットワーク13を介して医用画像撮影装置14や医用画像データベース15、課題症例データベース16、模擬病巣データベース17、訓練結果データベース18と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。   FIG. 1 is a diagram illustrating a hardware configuration of the medical image processing apparatus 1. The medical image processing apparatus 1 includes a CPU (Central Processing Unit) 2, a main memory 3, a storage device 4, a display memory 5, a display device 6, a controller 7 connected to a mouse 8, a keyboard 9, a camera 10, and a network adapter 11. The system bus 12 is configured to be able to send and receive signals. The medical image processing apparatus 1 is connected to a medical image photographing apparatus 14, a medical image database 15, a problem case database 16, a simulated lesion database 17, and a training result database 18 through a network 13 so as to be able to send and receive signals. Here, “to enable signal transmission / reception” indicates a state in which signals can be transmitted / received to each other or from one to the other, regardless of whether they are electrically or optically wired or wireless.

CPU2は、各構成要素の動作を制御する装置である。CPU2は、記憶装置4に格納されるプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行する。記憶装置4は、医用画像撮影装置14により撮影された医用画像データや、マウス8やキーボード9からの入力を受けてCPU2が後述するプログラムを実行することによって作成された模擬医用画像データや課題症例データを格納する装置であり、具体的にはハードディスク等である。   The CPU 2 is a device that controls the operation of each component. The CPU 2 loads a program stored in the storage device 4 and data necessary for program execution into the main memory 3 and executes it. The storage device 4 is medical image data photographed by the medical image photographing device 14, simulated medical image data created by the CPU 2 executing a program to be described later in response to input from the mouse 8 or the keyboard 9, and a problem case A device for storing data, specifically a hard disk or the like.

また、記憶装置4は、フレシキブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。医用画像データはLAN(Local Area Network)等のネットワーク13を介して医用画像撮影装置14や医用画像データベース15から取得される。また、記憶装置4には、CPU2が実行するプログラムやプログラム実行に必要なデータが格納される。主メモリ3は、CPU2が実行するプログラムや演算処理の途中経過を記憶するものである。   The storage device 4 may be a device that exchanges data with a portable recording medium such as a flexible disk, an optical (magnetic) disk, a ZIP memory, or a USB memory. The medical image data is acquired from the medical image photographing device 14 or the medical image database 15 via a network 13 such as a LAN (Local Area Network). The storage device 4 stores a program executed by the CPU 2 and data necessary for program execution. The main memory 3 stores programs executed by the CPU 2 and the progress of arithmetic processing.

表示メモリ5は、液晶ディスプレイやCRT(Cathode Ray Tube)等の表示装置6に表示するための表示データを一時格納するものである。マウス8やキーボード9は、操作者が医用画像処理装置1に対して操作指示を行う操作デバイスである。マウス8はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。コントローラ7は、マウス8の状態を検出して、表示装置6上のマウスポインタの位置を取得し、取得した位置情報等をCPU2へ出力するものである。カメラ10は操作者の視線を計測するものである。ネットワークアダプタ11は、医用画像処理装置1をLAN、電話回線、インターネット等のネットワーク13に接続するためのものである。   The display memory 5 temporarily stores display data to be displayed on the display device 6 such as a liquid crystal display or a CRT (Cathode Ray Tube). The mouse 8 and the keyboard 9 are operation devices for an operator to give an operation instruction to the medical image processing apparatus 1. The mouse 8 may be another pointing device such as a trackpad or a trackball. The controller 7 detects the state of the mouse 8, acquires the position of the mouse pointer on the display device 6, and outputs the acquired position information and the like to the CPU 2. The camera 10 measures the line of sight of the operator. The network adapter 11 is for connecting the medical image processing apparatus 1 to a network 13 such as a LAN, a telephone line, or the Internet.

医用画像撮影装置14は、被検体の断層画像等の医用画像データを取得する装置である。医用画像撮影装置14は、例えば、MRI装置やX線CT装置、超音波診断装置、シンチレーションカメラ装置、PET装置、SPECT装置など、である。医用画像データベース15は、医用画像撮影装置14によって撮影された医用画像データを記憶するデータベースシステムである。   The medical image capturing device 14 is a device that acquires medical image data such as a tomographic image of a subject. The medical imaging apparatus 14 is, for example, an MRI apparatus, an X-ray CT apparatus, an ultrasonic diagnostic apparatus, a scintillation camera apparatus, a PET apparatus, a SPECT apparatus, or the like. The medical image database 15 is a database system that stores medical image data captured by the medical image capturing device 14.

課題症例データベース16は、マウス8やキーボード9から入力された所見情報と、マウス8やキーボード9からの入力を受けてCPU2が後述するプログラムを実行することによって作成された模擬医用画像データや医用画像データベース15の医用画像データと、を関連付けて記憶するデータベースシステムである。模擬病巣データベース17は、マウス8やキーボード9からの入力を受けてCPU2が後述するプログラムを実行することによって作成された模擬病巣の特徴量データを記憶するデータベースシステムである。訓練結果データベース18は、マウス8やキーボード9、カメラ10からの入力や、CPU2で実行されるプログラム等を記録したデータを記憶するデータベースシステムである。   The problem case database 16 includes the observation information input from the mouse 8 and the keyboard 9, and the simulated medical image data and the medical image generated by the CPU 2 executing a program described later in response to the input from the mouse 8 and the keyboard 9. This is a database system that stores medical image data in the database 15 in association with each other. The simulated lesion database 17 is a database system that stores feature data of simulated lesions created by the CPU 2 executing a program to be described later in response to input from the mouse 8 or the keyboard 9. The training result database 18 is a database system that stores data that records inputs from the mouse 8, keyboard 9, and camera 10, programs executed by the CPU 2, and the like.

CPU2が後述する方法を実行することにより、医用画像データや模擬医用画像は表示装置6に表示される。   When the CPU 2 executes a method to be described later, the medical image data and the simulated medical image are displayed on the display device 6.

図2は、本発明の実施例1の処理の流れを示す図である。以下、図2の各ステップについて詳細に説明する。   FIG. 2 is a diagram showing the flow of processing in the first embodiment of the present invention. Hereinafter, each step of FIG. 2 will be described in detail.

(ステップS201)
CPU2は、マウス8やキーボード9の操作によって課題症例データ作成モードが選択されると、医用画像データベース15および課題症例データベース16から画像データを取得して記憶装置4に格納し、ステップS202に処理を進める。
(Step S201)
When the task case data creation mode is selected by operating the mouse 8 or the keyboard 9, the CPU 2 acquires the image data from the medical image database 15 and the problem case database 16, stores it in the storage device 4, and performs the process in step S202. Proceed.

CPU2は、マウス8やキーボード9の操作によって読影訓練モードが選択されると、課題症例データベース16から画像データを取得して記憶装置4に格納し、ステップS218に処理を進める。   When the interpretation training mode is selected by operating the mouse 8 or the keyboard 9, the CPU 2 acquires image data from the problem case database 16, stores it in the storage device 4, and advances the process to step S218.

(ステップS202)
CPU2は、記憶装置4に格納された画像データの一覧を例えば図3のように表示する。303は撮影条件等の画像情報を一覧表示したものである。304はサムネイル画像を一覧表示したものである。画像情報一覧303やサムネイル画像一覧304は検索機能301等によって表示範囲や表示方法を変更できる。一覧表示された画像データの中から、単数または複数の画像データがマウス8やキーボード9の操作によって選択される。
(Step S202)
The CPU 2 displays a list of image data stored in the storage device 4 as shown in FIG. 3, for example. Reference numeral 303 denotes a list of image information such as shooting conditions. Reference numeral 304 denotes a list of thumbnail images. The display range and display method of the image information list 303 and the thumbnail image list 304 can be changed by the search function 301 or the like. One or more image data are selected from the displayed image data by operating the mouse 8 or the keyboard 9.

(ステップS203)
CPU2は、マウス8やキーボード9の操作によって画像データの読み込み操作が選択されると、ステップS204に処理を進める。画像データの読み込み操作は、例えば図3の読み込みボタン302がマウス8によって押下されることによって選択される。
(Step S203)
When the image data reading operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S204. The image data reading operation is selected, for example, when the reading button 302 in FIG.

CPU2は、マウス8やキーボード9の操作によって所見情報入力操作が選択されると、ステップS202で選択された画像データを記憶装置4から表示メモリ5にロードしてステップS205に処理を進める。所見情報入力操作は、例えば図3の所見情報入力ボタン307がマウス8によって押下されることによって選択される。   When the finding information input operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 loads the image data selected in step S202 from the storage device 4 to the display memory 5 and advances the process to step S205. The finding information input operation is selected, for example, when the finding information input button 307 in FIG.

CPU2は、マウス8やキーボード9の操作によって模擬画像作成操作が選択されると、ステップS202で選択された画像データを記憶装置4から表示メモリ5にロードしてステップS211に処理を進める。模擬画像作成操作は、例えば図3の模擬画像作成ボタン306がマウス8によって押下されることによって選択される。   When the simulated image creation operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 loads the image data selected in step S202 from the storage device 4 to the display memory 5 and advances the process to step S211. The simulated image creation operation is selected, for example, when the simulated image creation button 306 in FIG.

CPU2は、マウス8やキーボード9の操作によって条件設定操作が選択されると、ステップS216に処理を進める。条件設定操作は、例えば図3の条件設定ボタン305がマウス8によって押下されることによって選択される。   When the condition setting operation is selected by the operation of the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S216. The condition setting operation is selected, for example, when the condition setting button 305 in FIG.

(ステップS204)
CPU2は、マウス8やキーボード9の操作によって指定された画像データを読み込み、記憶装置4に格納し、ステップS202に処理を戻す。このとき、課題症例データベース16にも読み込んだ画像を格納しても良い。画像データの指定方法には、例えば対象ドライブを指定し、指定されたドライブ内のデータ構造をツリー表示し、単数または複数選択して読み込む方法がある。
(ステップS205)
CPU2は、表示メモリ5にロードされた画像データを表示装置6に表示する。画像データの表示方法は、スライス画像を並べて表示するものであっても良いし、3次元画像処理によって作成されたMPR(Multi Planar Reconstruction)像やボリュームレンダリング像、仮想内視鏡像を表示するものでも良い。
(Step S204)
The CPU 2 reads the image data designated by the operation of the mouse 8 or the keyboard 9, stores it in the storage device 4, and returns the process to step S202. At this time, the read image may also be stored in the problem case database 16. The image data designation method includes, for example, a method in which a target drive is designated, a data structure in the designated drive is displayed in a tree, and one or a plurality are selected and read.
(Step S205)
The CPU 2 displays the image data loaded in the display memory 5 on the display device 6. The image data display method may be to display slice images side by side, or to display MPR (Multi Planar Reconstruction) images, volume rendering images, and virtual endoscopic images created by 3D image processing. good.

(ステップS206)
CPU2は、マウス8やキーボード9の操作によって指定された画像上の座標情報および所見情報を記憶装置4に格納する。所見情報には、被検体である患者の基本情報や既往歴、家族歴、問診結果や検査目的、画像診断以外の検査から得られた検査情報等が含まれる。症例や病巣等の名称やサイズ等の情報をあらかじめ記憶装置4に格納しておき、CPU2がそれらの情報を所見情報の候補として表示装置6に表示し、操作者が表示装置6に表示された候補から所見情報を選択するようにしても良い。所見情報の候補は、模擬病巣データベース17から取得した情報を基に表示しても良い。また、所見情報は、医用画像上の位置とリンク付けされるようなものでも良い。
(Step S206)
The CPU 2 stores in the storage device 4 the coordinate information and the finding information on the image designated by the operation of the mouse 8 or the keyboard 9. The findings information includes basic information and history of the patient as a subject, family history, interview results and examination purpose, examination information obtained from examinations other than image diagnosis, and the like. Information such as the name and size of cases and lesions is stored in the storage device 4 in advance, and the CPU 2 displays the information as candidate findings information on the display device 6, and the operator is displayed on the display device 6. Finding information may be selected from candidates. The candidate for the finding information may be displayed based on the information acquired from the simulated lesion database 17. The finding information may be linked to a position on the medical image.

なお、CPU2は、主メモリ3にプログラムをロードして、マウス8やキーボード9の操作によって指定された座標情報を使って、領域の抽出処理や各種計測処理を実施して、その結果を表示装置6に表示する。操作者は表示装置6に表示された情報を基に所見情報を入力する。   The CPU 2 loads the program into the main memory 3, performs the area extraction process and various measurement processes using the coordinate information specified by the operation of the mouse 8 and the keyboard 9, and displays the results on the display device. Display in 6. The operator inputs the finding information based on the information displayed on the display device 6.

(ステップS207)
CPU2は、マウス8やキーボード9の操作によって特徴量データを作成することが選択されるとステップS208に処理を進め、特徴量データを作成しないことが選択されるとステップS210に処理を進める。
(Step S207)
The CPU 2 advances the process to step S208 when the creation of the feature data is selected by the operation of the mouse 8 or the keyboard 9, and advances the process to step S210 when it is selected not to create the feature data.

(ステップS208)
CPU2は、ステップS206で得られた座標情報を基に領域抽出処理や特徴量解析処理を行い、特徴量データを作成し、ステップS206で得られた所見情報と紐づけて記憶装置4に格納する。特徴量データの作成処理については図4を用いて後で説明する。また、特徴量データおよび模擬病巣データベース17の構成の一例を図5に示し、後で説明する。
(Step S208)
CPU 2 performs region extraction processing and feature amount analysis processing based on the coordinate information obtained in step S206, creates feature amount data, and stores it in the storage device 4 in association with the finding information obtained in step S206. . The feature amount data creation processing will be described later with reference to FIG. An example of the configuration of the feature amount data and the simulated lesion database 17 is shown in FIG. 5 and will be described later.

(ステップS209)
CPU2は、ステップS208で記憶装置4に格納された所見情報と特徴量データを紐づけて模擬病巣データベース17に登録する。
(Step S209)
The CPU 2 associates the finding information stored in the storage device 4 with the feature amount data in step S208 and registers it in the simulated lesion database 17.

(ステップS210)
CPU2は、ステップS206で記憶装置4に格納された所見情報と画像データを紐付けて課題症例データベース16に登録する。
なお、ステップS210の処理後は、ステップS201やS203、S205に遷移して、処理を継続しても良い。
(Step S210)
The CPU 2 associates the finding information stored in the storage device 4 with the image data in step S206 and registers it in the problem case database 16.
Note that after the processing in step S210, the processing may be continued by making a transition to steps S201, S203, and S205.

(ステップS211)
CPU2は、表示メモリ5にロードされた画像データを表示装置6に表示する。画像データの表示方法は、スライス画像を並べて表示するものであっても良いし、3次元画像処理によって作成されたMPR像やボリュームレンダリング像、仮想内視鏡像を表示するものでも良い。
(Step S211)
The CPU 2 displays the image data loaded in the display memory 5 on the display device 6. The image data display method may display slice images side by side, or may display an MPR image, volume rendering image, or virtual endoscopic image created by three-dimensional image processing.

(ステップS212)
CPU2は、表示メモリ5にロードされた画像データの撮影部位等の情報や、マウス8やキーボード9の操作によって指定された座標情報から判断される部位情報を使用して模擬医用画像の作成条件の候補を表示する。模擬医用画像の作成条件の候補は、模擬病巣データベース17の症例分類データ501が取得されて、例えば図6のようにコンテキストメニュー602、604、606でリスト表示される。例えば、操作者が画像上で右クリックした場合、画像の撮影部位が心臓でマウスポインタの位置が冠動脈領域にあると判断されると、冠動脈に関連する模擬病巣の作成条件リストが図6(b)のようにコンテキストメニュー604に表示される。
(Step S212)
The CPU 2 uses the information such as the imaging part of the image data loaded in the display memory 5 and the part information determined from the coordinate information specified by the operation of the mouse 8 or the keyboard 9 to determine the conditions for creating the simulated medical image. Display candidates. Case classification data 501 in the simulated lesion database 17 is acquired as candidates for conditions for creating simulated medical images, and displayed as a list in context menus 602, 604, and 606, for example, as shown in FIG. For example, when the operator right-clicks on the image and the imaging region of the image is determined to be the heart and the mouse pointer is located in the coronary artery region, a list of conditions for creating a simulated lesion related to the coronary artery is shown in FIG. ) Is displayed on the context menu 604.

(ステップS213)
CPU2は、ステップS212で表示される模擬医用画像の作成条件の候補の中から、ある作成条件がマウス8やキーボード9によって選択されると、模擬病巣データベース17の特徴量データ502から模擬医用画像の作成条件を取得して記憶装置に4に格納する。
(Step S213)
When a creation condition is selected by the mouse 8 or the keyboard 9 from the candidates for the creation condition of the simulated medical image displayed in step S212, the CPU 2 selects the simulated medical image from the feature amount data 502 of the simulated lesion database 17. The creation condition is acquired and stored in 4 in the storage device.

(ステップS214)
CPU2は、ステップS213で取得した模擬医用画像の作成条件に従って模擬医用画像データを作成する。模擬医用画像は基準画像に模擬病巣を追加することにより作成され、作成された模擬医用画像は読影訓練用画像として用いられる。模擬医用画像データ作成の処理の流れについては、図7を用いて後で説明する。
(Step S214)
The CPU 2 creates simulated medical image data according to the simulated medical image creation conditions acquired in step S213. The simulated medical image is created by adding a simulated lesion to the reference image, and the created simulated medical image is used as an interpretation training image. The flow of processing for creating simulated medical image data will be described later with reference to FIG.

(ステップS215)
CPU2は、ステップS214で作成した模擬医用画像データと模擬医用画像の作成条件を所見情報として紐づけて課題症例データベース16に登録する。
(Step S215)
The CPU 2 registers the simulated medical image data created in step S214 and the simulated medical image creation conditions in the problem case database 16 in association with the finding information.

なお、ステップS215の処理後は、ステップS201やS203、S205、S211に遷移して、処理を継続しても良い。   Note that after the processing in step S215, the processing may be continued by making a transition to steps S201, S203, S205, and S211.

(ステップS216)
CPU2は、マウス8やキーボード9の操作によって模擬病巣の特徴量データの入力を受け付ける。模擬病巣の特徴量は、非特許文献1や非特許文献2、非特許文献3等の一般的に知られている情報やモデルデータを使用して入力する。
(Step S216)
The CPU 2 accepts input of feature data of the simulated lesion by operating the mouse 8 and the keyboard 9. The feature amount of the simulated lesion is input using generally known information and model data such as Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3.

(ステップS217)
CPU2は、ステップS216で得られた模擬病巣の特徴量データを、模擬病巣データベース17に登録する。図5に模擬病巣データベース17の構成の一例を示す。模擬病巣の特徴量データがあらかじめ模擬病巣データベース17に登録されている場合、ステップS216およびステップS217は実施しなくても良い。
(Step S217)
The CPU 2 registers the feature data of the simulated lesion obtained in step S216 in the simulated lesion database 17. FIG. 5 shows an example of the configuration of the simulated lesion database 17. When the feature data of the simulated lesion is registered in the simulated lesion database 17 in advance, Step S216 and Step S217 may not be performed.

なお、ステップS217の処理後は、ステップS201やS203、S216に遷移して、処理を継続しても良い。   Note that after the processing in step S217, the processing may be continued by making a transition to steps S201, S203, and S216.

(ステップS218)
CPU2は、課題症例データベース16から課題症例データを取得し、課題症例データの一覧を例えば図8のように表示する。802は課題症例データの撮影条件等の画像情報を一覧表示したものである。803は課題症例データのサムネイル画像を一覧表示したものである。画像情報一覧802やサムネイル画像一覧803は検索機能801等によって表示範囲や表示方法を変更できる。一覧表示された課題症例データの中から、単数または複数の課題症例データがマウス8やキーボード9の操作によって選択される。ステップS201で読影訓練モードが選択された後、操作者に操作者情報を入力させ、CPU2で操作者を判別する処理を行い、ステップS218で操作者毎に記録された情報を基に最適な課題症例データを選択して表示しても良い。
(Step S218)
The CPU 2 acquires problem case data from the problem case database 16, and displays a list of problem case data, for example, as shown in FIG. 802 displays a list of image information such as imaging conditions of problem case data. Reference numeral 803 is a list of thumbnail images of problem case data. The display range and display method of the image information list 802 and the thumbnail image list 803 can be changed by a search function 801 or the like. One or a plurality of problem case data is selected from the displayed problem case data by operating the mouse 8 or the keyboard 9. After the interpretation training mode is selected in step S201, the operator inputs the operator information, and the CPU 2 performs the process of discriminating the operator, and the optimum task is based on the information recorded for each operator in step S218. Case data may be selected and displayed.

(ステップS219)
CPU2は、ステップS218で選択された課題症例データを表示メモリ5にロードし、ロードされた課題症例データを表示装置6に表示する。画像データの表示方法は、スライス画像を並べて表示するものであっても良いし、3次元画像処理によって作成されたMPR像やボリュームレンダリング像、仮想内視鏡像を表示するものでも良い。画像データを表示装置6に表示する操作は、例えば図8の訓練開始ボタン804がマウス8によって押下されることによる。
(Step S219)
The CPU 2 loads the problem case data selected in step S218 into the display memory 5, and displays the loaded problem case data on the display device 6. The image data display method may display slice images side by side, or may display an MPR image, volume rendering image, or virtual endoscopic image created by three-dimensional image processing. The operation for displaying the image data on the display device 6 is, for example, when the training start button 804 in FIG.

(ステップS220)
CPU2は、マウス8やキーボード9の操作によって指定された画像上の座標情報および読影結果を記憶装置4に格納する。症例や病巣等の名称やサイズ等の情報をあらかじめ記憶装置4に格納しておき、CPU2がそれらの情報を表示装置6に表示して、操作者がそれらを選択するようにしても良い。症例や病巣等の名称やサイズ等の情報は、模擬病巣データベース17に登録されたものを使用しても良い。また、読影結果は、医用画像上の位置とリンク付けされるようなものでも良い。
(Step S220)
The CPU 2 stores the coordinate information on the image designated by the operation of the mouse 8 and the keyboard 9 and the interpretation result in the storage device 4. Information such as names and sizes of cases and lesions may be stored in the storage device 4 in advance, and the CPU 2 may display the information on the display device 6 so that the operator can select them. Information registered in the simulated lesion database 17 may be used for information such as names and sizes of cases and lesions. The interpretation result may be linked to a position on the medical image.

なお、CPU2は、主メモリ3にプログラムをロードして、マウス8やキーボード9の操作によって指定された位置情報を使って、領域の抽出処理や各種計測処理を実施して、その結果を表示装置6に表示する。操作者は表示装置6に表示された情報を基に読影結果を入力する。また、CPU2は訓練中の画像表示条件やツール等の使用状況、プログラムの実行状況、カメラ10で取得された操作者の視線位置のデータ等を動作記録として記録する。   The CPU 2 loads the program into the main memory 3, performs the area extraction process and various measurement processes using the position information specified by the operation of the mouse 8 and the keyboard 9, and displays the result on the display device. Display in 6. The operator inputs the interpretation result based on the information displayed on the display device 6. Further, the CPU 2 records the image display conditions during training, the usage status of the tool, the execution status of the program, the data of the operator's line-of-sight position acquired by the camera 10 and the like as the operation record.

(ステップS221)
CPU2は、マウス8やキーボード9によって読影完了の操作が行われると、ステップS220でマウス8やキーボード9からの入力によって得られた読影結果と、表示装置6に表示中の課題症例データ内の所見情報を、表示装置6に比較表示する。比較表示は、単に結果を並べて表示するものであっても良いし、正解または不正解の判定を表示するものであっても良い。また、訓練中の画像表示条件やツール等の使用状況、プログラムの実行状況、操作者の視線位置のデータ等を解析して得られた結果を、操作者間で比較できるように表示しても良い。
(Step S221)
When the interpretation completion operation is performed by the mouse 8 or the keyboard 9, the CPU 2 interprets the interpretation result obtained by the input from the mouse 8 or the keyboard 9 in step S220 and the findings in the problem case data being displayed on the display device 6. The information is comparatively displayed on the display device 6. The comparison display may simply display the results side by side, or may display whether the answer is correct or incorrect. It is also possible to display the results obtained by analyzing the image display conditions during training, the usage status of tools, the execution status of the program, the data of the operator's line of sight, etc. so that they can be compared between operators. good.

(ステップS222)
CPU2は、ステップS221で得られた所見情報と読影結果の比較情報を訓練結果データベース18に格納する。ステップS201で操作者の選択が行われた場合は、操作者毎に読影結果を記録する。読影結果の記録には、訓練済み等の情報が含まれる。
(Step S222)
The CPU 2 stores the finding information obtained in step S221 and the comparison information between the interpretation results in the training result database 18. If an operator is selected in step S201, the interpretation result is recorded for each operator. The record of the interpretation result includes information such as having been trained.

なお、ステップS222の処理後は、ステップS201やS203、S218に遷移して、処理を継続しても良い。   Note that after the processing in step S222, the processing may be continued by making a transition to steps S201, S203, and S218.

図4は、本発明の実施例1の模擬病巣データ作成の処理の流れを示す図である。以下、図4の各ステップについて詳細に説明する。   FIG. 4 is a diagram showing a flow of processing for creating simulated lesion data according to the first embodiment of the present invention. Hereinafter, each step of FIG. 4 will be described in detail.

(ステップS401)
CPU2は、病巣領域の抽出結果が記憶装置4に存在していない場合はステップS402に処理を進め、病巣領域の抽出結果が存在している場合は、領域情報を取得してステップS403に処理を進める。
(Step S401)
CPU2 advances the process to step S402 when the extraction result of the lesion area does not exist in storage device 4, and acquires the area information when the extraction result of the lesion area exists and performs the process at step S403. Proceed.

(ステップS402)
CPU2は、記憶装置4から所見情報を取得し、取得した所見情報を基に抽出処理条件を決定し、所見情報の座標情報を基に病巣領域の抽出を行う。抽出処理条件および座標情報は、マウス8やキーボード9から操作者に入力させても良いし、症例や病巣毎の条件をあらかじめ記憶装置4に格納しておき、CPU2がそれらの情報を表示装置6に表示して、操作者がそれらを選択するようにしても良い。また、症例や病巣毎の抽出条件は、模擬病巣データベース17から取得しても良い。CPU2が抽出処理を実行する代わりに、マウス8やキーボード9から操作者に抽出領域を入力させても良い。
(Step S402)
The CPU 2 acquires the finding information from the storage device 4, determines the extraction processing condition based on the acquired finding information, and extracts the lesion area based on the coordinate information of the finding information. The extraction processing conditions and coordinate information may be input by the operator from the mouse 8 or keyboard 9, or the conditions for each case or lesion are stored in the storage device 4 in advance, and the CPU 2 displays these information on the display device 6. And the operator may select them. The extraction conditions for each case and lesion may be acquired from the simulated lesion database 17. Instead of the CPU 2 executing the extraction process, the operator may input an extraction area from the mouse 8 or the keyboard 9.

(ステップS403)
CPU2は、ステップS402で得られた病巣領域に対して形状や濃度値分布の統計データを算出する。形状の統計データとしては、例えば、病巣領域の画素数、面積、周囲長、円形度、重心から各輪郭点までの距離等が算出される。濃度値分布の統計データとしては、例えば、平均値、標準偏差等が算出される。
(Step S403)
The CPU 2 calculates the statistical data of the shape and density value distribution for the lesion area obtained in step S402. As the shape statistical data, for example, the number of pixels, the area, the perimeter, the circularity, the distance from the center of gravity to each contour point, and the like are calculated. As the statistical data of the density value distribution, for example, an average value, a standard deviation, and the like are calculated.

(ステップS404)
CPU2は、ステップS402までに得られた病巣領域情報を基に、周辺領域の抽出を行う。例えば、図6(b)のような冠動脈の不安定プラークに注目している場合、不安定プラークが発生していない部分の冠動脈領域の濃度値や形状情報を取得する。周辺領域の抽出処理では、簡易的に病巣領域の輪郭線を外側に一定量拡張した輪郭線内の領域から病巣領域を除いた領域を周辺領域としても良いし、マウス8やキーボード9から操作者に入力させても良い。
(Step S404)
The CPU 2 extracts peripheral areas based on the lesion area information obtained up to step S402. For example, when attention is paid to the unstable plaque of the coronary artery as shown in FIG. 6B, the concentration value and shape information of the coronary artery region of the portion where the unstable plaque is not generated are acquired. In the peripheral region extraction process, a region obtained by excluding a lesion region from a region within a contour line obtained by simply extending a contour region contour line outward by a certain amount may be used as the peripheral region. May be input.

(ステップS405)
CPU2は、周辺領域に対して形状や濃度値分布の統計データを算出する。形状の統計データとしては、例えば、病巣領域の画素数、面積、周囲長、円形度、重心から各輪郭点までの距離等が算出される。濃度値分布の統計データとしては、例えば、平均値、標準偏差等が算出される。所見情報から必要な周辺領域が複数あると判断される場合は、ステップS404とステップS405の処理が必要な回数繰り返される。
(Step S405)
The CPU 2 calculates statistical data of the shape and density value distribution for the peripheral area. As the shape statistical data, for example, the number of pixels, the area, the perimeter, the circularity, the distance from the center of gravity to each contour point, and the like are calculated. As the statistical data of the density value distribution, for example, an average value, a standard deviation, and the like are calculated. If it is determined from the finding information that there are a plurality of necessary peripheral areas, the processes in steps S404 and S405 are repeated as many times as necessary.

(ステップS406)
CPU2は、ステップS404までに得られた病巣領域および周辺領域の画像データの切り出しを行う。例えば、病巣領域および周辺領域内のボリュームデータを切り出しても良いし、病巣領域のポリゴンメッシュを作成したものを切り出しても良い。
(Step S406)
The CPU 2 cuts out image data of the lesion area and the peripheral area obtained up to step S404. For example, the volume data in the lesion area and the surrounding area may be cut out, or the polygon data of the lesion area created may be cut out.

(ステップS407)
CPU2は、ステップS406で切り出した画像データを記憶装置4に格納する。
(Step S407)
The CPU 2 stores the image data cut out in step S406 in the storage device 4.

(ステップS408)
CPU2は、ステップS405までに得られた所見情報、病巣領域および周辺領域の統計データを、ステップS407で登録した画像データと紐付けて記憶装置4に格納する。管電圧、管電流、スライス厚、FOV等の画像の撮影条件や、画像再構成フィルタ等の情報も一緒に格納してもよい。
(ステップS409)
CPU2は、同一所見情報を持つ特徴量データを模擬病巣データベース17から取得し、非特許文献3に開示されるようなモデル化処理や、機械学習処理を行い、平均化された特徴量データである平均特徴量データおよび模擬病巣モデルデータを作成する。
(Step S408)
The CPU 2 stores the finding information and the statistical data of the lesion area and the peripheral area obtained up to step S405 in the storage device 4 in association with the image data registered in step S407. Image capturing conditions such as tube voltage, tube current, slice thickness, FOV, and information such as an image reconstruction filter may be stored together.
(Step S409)
CPU2 is feature value data obtained by acquiring feature value data having the same finding information from the simulated lesion database 17 and performing modeling processing and machine learning processing as disclosed in Non-Patent Document 3. Create average feature data and simulated lesion model data.

(ステップS410)
CPU2は、ステップS409で作成した平均特徴量データおよび模擬病巣モデルデータを模擬病巣データベース17に登録する。
(Step S410)
The CPU 2 registers the average feature amount data and the simulated lesion model data created in step S409 in the simulated lesion database 17.

図5は、本発明の実施例1の模擬病巣の特徴量データおよび模擬病巣データベース17の構成の一例を示す図である。図5Aに示すように、模擬病巣データベース17は、例えば、症例分類データ501、特徴量データ502および模擬病巣モデルデータ503に分けて管理される。症例や病巣等の名称やサイズ等を階層化したデータは、図5Bのように症例分類データ501として管理される。   FIG. 5 is a diagram showing an example of the configuration of the simulated lesion feature data and the simulated lesion database 17 according to the first embodiment of the present invention. As shown in FIG. 5A, the simulated lesion database 17 is managed by being divided into, for example, case classification data 501, feature data 502, and simulated lesion model data 503. Data in which names and sizes of cases and lesions are hierarchized is managed as case classification data 501 as shown in FIG. 5B.

特徴量データ502は、図5Cに示すように複数の特徴量データテーブルとして管理され、各特徴量データテーブルには、症例分類ID、模擬病巣を作成する際の処理の種類や処理の条件や使用する模擬病巣モデルデータのID、模擬病巣の形状や濃度値の分布の統計データ、医用画像の撮影条件や解像度等の関連情報、基準画像の補正処理に使用する処理方法や特徴量等の情報等が含まれる。   The feature amount data 502 is managed as a plurality of feature amount data tables as shown in FIG. 5C. Each feature amount data table includes a case classification ID, a processing type, a processing condition, and a use when creating a simulated lesion. ID of simulated lesion model data, statistical data of simulated lesion shape and density value distribution, related information such as medical image shooting conditions and resolution, information such as processing method and feature amount used for reference image correction processing, etc. Is included.

さらに、ステップS206で入力された患者の基本情報や既往歴、家族歴、問診結果や検査目的、画像診断以外の検査から得られた検査情報等を含む所見情報も特徴量データテーブルに格納されても良い。模擬病巣モデルデータ503は、複数の過去症例から切り出してモデル化した模擬病巣モデルとして管理される。模擬病巣モデルデータ503は、図5Dに示すように、病巣に関する既知の特徴量等を基に作成したものでも良い。   In addition, the patient information entered in step S206, such as the patient history, family history, interview results and examination purpose, and observation information including examination information obtained from examinations other than image diagnosis are also stored in the feature data table. Also good. The simulated lesion model data 503 is managed as a simulated lesion model cut out and modeled from a plurality of past cases. The simulated lesion model data 503 may be created based on a known feature amount related to a lesion as shown in FIG. 5D.

なお、症例分類データ501は、一つの症例に対して関連する複数の病巣等を紐付けて管理する役割も持つ。例えば、複数の臓器に病巣がある症例の場合、各臓器の模擬病巣の特徴量データ502や模擬病巣モデルデータ503を個別に作成しておき、症例分類データ501によって複数の模擬病巣の特徴量データ502や模擬病巣モデルデータ503をひとまとめにして管理する。   The case classification data 501 also has a role of managing a plurality of related lesions associated with one case. For example, in the case of a case having lesions in a plurality of organs, feature amount data 502 and simulated lesion model data 503 of each lesion are individually created, and feature amount data of the plurality of simulated lesions is obtained from the case classification data 501. 502 and simulated lesion model data 503 are collectively managed.

図7は、本発明の実施例1の模擬医用画像データ作成の処理の流れを示す図である。以下、図7の各ステップについて詳細に説明する。   FIG. 7 is a diagram showing a flow of processing for creating simulated medical image data according to the first embodiment of the present invention. Hereinafter, each step of FIG. 7 will be described in detail.

(ステップS701)
CPU2は、マウス8やキーボード9の操作によって得られた位置または領域の座標情報を主メモリ3にロードする。例えば、図6(a)のマウスポインタ601の位置情報や図6(b)のマウスポインタ603の位置情報、図6(c)のROI605内の座標情報が取得される。
(Step S701)
The CPU 2 loads the coordinate information of the position or area obtained by operating the mouse 8 or the keyboard 9 into the main memory 3. For example, the position information of the mouse pointer 601 in FIG. 6A, the position information of the mouse pointer 603 in FIG. 6B, and the coordinate information in the ROI 605 in FIG. 6C are acquired.

(ステップS702)
CPU2は、ステップS701で取得した位置情報とステップS213で取得した模擬医用画像の作成条件を基に領域抽出処理を行う。例えば、図6(a)の例では、ステップS701で指定された肝臓領域がリージョングローイング処理等によって抽出される。
(Step S702)
The CPU 2 performs region extraction processing based on the position information acquired in step S701 and the simulated medical image creation conditions acquired in step S213. For example, in the example of FIG. 6A, the liver region specified in step S701 is extracted by region growing processing or the like.

(ステップS703)
CPU2は、ステップS213で得られた模擬医用画像の作成条件から、模擬医用画像の作成処理の種類や条件を取得し、基準画像に対して濃度変換処理が必要な場合はステップS704に、基準画像に対して形状変換処理が必要な場合はステップS705に、病巣モデルデータの追加が必要な場合はステップS706に処理を進める。
(Step S703)
The CPU 2 acquires the type and conditions of the simulated medical image creation process from the simulated medical image creation conditions obtained in step S213, and if density conversion processing is required for the reference image, the reference image is displayed in step S704. If shape conversion processing is necessary, the process proceeds to step S705. If addition of lesion model data is necessary, the process proceeds to step S706.

(ステップS704)
CPU2は、ステップS213で得られた模擬医用画像の作成条件から濃度情報を取得し、ステップS702で得られた抽出領域に対して濃度変換処理を行う。例えば、図6(a)ではコンテキストメニュー602で選択された肝臓の軽度の脂肪化の特徴量データから平均CT値を取得して、ステップS702で得られた抽出領域内の平均CT値が特徴量データから取得した平均CT値と一致するように、抽出領域内の各画素の濃度値を一定量増減させる。ヒストグラムの平坦化や伸張化等の処理を行って、特徴量データに合わせた濃度分布に変換しても良い。
(Step S704)
The CPU 2 obtains density information from the simulated medical image creation conditions obtained in step S213, and performs density conversion processing on the extraction region obtained in step S702. For example, in FIG. 6 (a), the average CT value is obtained from the feature data of the mild fatty fat of the liver selected in the context menu 602, and the average CT value in the extraction region obtained in step S702 is the feature value. The density value of each pixel in the extraction area is increased or decreased by a certain amount so as to match the average CT value acquired from the data. Processing such as flattening or expansion of the histogram may be performed to convert the density distribution to match the feature amount data.

(ステップS705)
CPU2は、ステップS213で得られた模擬医用画像の作成条件から形状や位置情報を取得し、ステップS702で得られた抽出領域に対して、行列演算や膨張・収縮処理等によって形状の変換を行う。例えば、図6(c)ではコンテキストメニュー606で選択された脳の中等度の萎縮の特徴量データから萎縮の度合い等の情報を取得してステップS702で得られた抽出領域の収縮処理が行われる。
(Step S705)
The CPU 2 acquires shape and position information from the creation conditions of the simulated medical image obtained in step S213, and performs shape conversion on the extraction region obtained in step S702 by matrix calculation, expansion / contraction processing, etc. . For example, in FIG. 6 (c), information such as the degree of atrophy is acquired from the feature data of moderate atrophy selected in the context menu 606, and the contraction process of the extraction region obtained in step S702 is performed. .

(ステップS706)
CPU2は、ステップS213で得られた模擬医用画像の作成条件から模擬病巣の形状情報や濃度情報、撮影条件や画像条件等の関連情報と模擬病巣モデルデータ503を取得し、表示メモリ5にロードされている画像の撮影条件や画像条件等と適合するように模擬病巣モデルデータを変形する。例えば、図6(b)のように冠動脈に中サイズの不安定プラークが追加される場合、取得した模擬病巣モデルデータのFOVと表示メモリ5にロードされている画像のFOVとの差や、取得した模擬病巣モデルデータの血管径とステップS702で抽出した血管領域の径との差を低減するように模擬病巣モデルデータの変形処理が行われる。
(Step S706)
The CPU 2 obtains related information such as simulated lesion shape information, density information, imaging conditions and image conditions and simulated lesion model data 503 from the simulated medical image creation conditions obtained in step S213, and is loaded into the display memory 5. The simulated lesion model data is deformed so as to match the shooting conditions, image conditions, and the like of the current image. For example, when medium-sized unstable plaque is added to the coronary artery as shown in Fig. 6 (b), the difference between the FOV of the acquired simulated lesion model data and the FOV of the image loaded in the display memory 5 is acquired. The deformation process of the simulated lesion model data is performed so as to reduce the difference between the blood vessel diameter of the simulated lesion model data and the diameter of the blood vessel region extracted in step S702.

(ステップS707)
CPU2は、ステップS706で取得した模擬病巣の濃度情報、撮影条件や画像条件等の関連情報と模擬病巣モデルデータ503を基に、表示メモリ5にロードされている画像の撮影条件や画像条件等と適合するように模擬病巣モデルデータの濃度を調整する。例えば、図6(b)のように冠動脈に中サイズの不安定プラークが追加される場合、取得した模擬病巣モデルデータの撮影条件と表示メモリ5にロードされている画像の撮影条件の違いによって生じる濃度特性の差や、取得した模擬病巣モデルデータの濃度分布とステップS702で抽出した血管領域の濃度分布との差をなくすように模擬病巣モデルデータの濃度調整処理が行われる。
(Step S707)
Based on the simulated lesion model information 503 and the related information such as the concentration information of the simulated lesion acquired in step S706, the imaging conditions and image conditions, and the simulated lesion model data 503, the CPU 2 captures the imaging conditions and image conditions of the image loaded in the display memory 5. Adjust the concentration of the simulated lesion model data so that it fits. For example, when a medium-sized unstable plaque is added to the coronary artery as shown in FIG. 6 (b), it is caused by the difference between the imaging conditions of the acquired simulated lesion model data and the imaging conditions of the image loaded in the display memory 5. The concentration adjustment process of the simulated lesion model data is performed so as to eliminate the difference between the concentration characteristics and the difference between the concentration distribution of the acquired simulated lesion model data and the concentration distribution of the blood vessel region extracted in step S702.

(ステップS708)
CPU2は、ステップS706およびステップS707で変形処理と濃度調整処理等の模擬病巣補正処理がなされた模擬病巣モデルデータをステップS701で指定された位置に追加する。なお、ポリゴンメッシュを作成して物体を追加しても良い。
(Step S708)
The CPU 2 adds the simulated lesion model data that has been subjected to the simulated lesion correction process such as the deformation process and the density adjustment process in steps S706 and S707 to the position specified in step S701. An object may be added by creating a polygon mesh.

(ステップS709)
ステップS213で得られた模擬医用画像の作成条件から、基準画像内の領域の形状や濃度値の変化を行ったり物体を追加したりすることに伴って、基準画像の濃度変換処理が必要と判断される場合はステップS710に処理が進み、基準画像の変形処理が必要と判断される場合はステップS711に処理が進む。基準画像の補正処理が必要ないと判断された場合は模擬医用画像作成処理が終了となる。
(Step S709)
Based on the simulated medical image creation conditions obtained in step S213, it is determined that density conversion processing of the reference image is necessary as the shape or density value of the region in the reference image is changed or an object is added. If YES, the process proceeds to step S710. If it is determined that the reference image needs to be deformed, the process proceeds to step S711. When it is determined that the reference image correction process is not necessary, the simulated medical image creation process ends.

基準画像の補正処理の判定には模擬用画像の作成条件として取得した模擬病巣データ内の特徴量データテーブル内の周辺領域の処理方法のデータや患者の基本情報や既往歴、家族歴、問診結果や検査目的、画像診断以外の検査から得られた検査情報等を含む所見情報等が使用される。   To determine the correction processing of the reference image, data on the processing method of the surrounding area in the feature data table in the simulated lesion data acquired as the creation condition of the simulation image, basic patient information, past history, family history, interview results Finding information including examination information obtained from examinations other than image diagnosis, examination purpose, and image diagnosis is used.

例えば、特徴量データテーブル内の周辺領域の処理方法のデータが隣接臓器の転位を示していれば、追加された模擬病巣の形状に沿った周辺領域の転位が必要と判断されてステップS711に処理が進む。また、例えば、図6(a)のように肝臓の脂肪化の処理が行われる場合には、患者の体脂肪率や腹囲、血液検査の情報等を基に皮下脂肪を増やす処理や腹腔内の脂肪化の処理が必要であると判断されてステップS710に処理が進む。   For example, if the data of the processing method of the peripheral region in the feature amount data table indicates the dislocation of the adjacent organ, it is determined that the dislocation of the peripheral region along the shape of the added simulated lesion is necessary, and the processing is performed in step S711. Advances. In addition, for example, when the liver fattening process is performed as shown in FIG. 6 (a), the process of increasing subcutaneous fat based on the patient's body fat percentage, waist circumference, blood test information, etc. It is determined that the fatification process is necessary, and the process proceeds to step S710.

(ステップS710)
ステップS213で得られた模擬医用画像の作成条件から、補正対象領域の濃度値の補正に使用する情報が取得されて補正対象領域の濃度変換処理が行われる。ここでは、必要に応じて模擬医用画像の作成条件から補正対象領域の抽出条件が取得されて補正対象領域の抽出が行われる。例えば、図6(c)のように脳の萎縮後の差分領域に対しては、特徴量データから取得された周辺領域の濃度値の範囲、平均値、標準偏差を使った正規乱数、一様乱数で、各画素の濃度値を置き換える等の処理が行われる。例えば、図6(b)のように冠動脈に不安定プラークが追加される場合、ステップS213で得られた特徴量データから心筋の脂肪化の存在が判断されて心筋部分の濃度値が変化させられる。
(Step S710)
Information used for correcting the density value of the correction target area is acquired from the simulated medical image creation conditions obtained in step S213, and the density conversion process of the correction target area is performed. Here, the correction target region extraction condition is acquired from the simulated medical image creation condition as necessary, and the correction target region is extracted. For example, for the difference area after brain atrophy as shown in FIG. 6 (c), the density range of the peripheral area acquired from the feature data, the average value, the normal random number using the standard deviation, the uniform Processing such as replacing the density value of each pixel with a random number is performed. For example, when unstable plaque is added to the coronary artery as shown in FIG. 6 (b), the presence of myocardial fat is determined from the feature data obtained in step S213, and the concentration value of the myocardial portion is changed. .

(ステップS711)
ステップS213で得られた模擬医用画像の作成条件から、補正対象領域の変形処理に使用する情報が取得され、ステップS708で追加された模擬病巣モデルの形状に応じて補正対象領域の変形処理が行われる。ステップS702で抽出された隣接する臓器や関連する臓器等の変形処理が行われる。ステップS213取得した特徴量データに複数の特徴量データが紐付けられていた場合には、特徴量データの数の分、ステップS702〜ステップS711が繰り返される。
(Step S711)
Information used for the deformation processing of the correction target area is acquired from the simulated medical image creation conditions obtained in step S213, and the correction target area is deformed according to the shape of the simulated lesion model added in step S708. Is called. Deformation processing of adjacent organs and related organs extracted in step S702 is performed. If a plurality of feature amount data is associated with the feature amount data acquired in step S213, steps S702 to S711 are repeated for the number of feature amount data.

本発明の実施例1では、模擬変性処理や模擬病巣補正処理や基準画像補正処理を行うことで、実際の症例に近い模擬医用画像データを容易に作成でき、作成した模擬医用画像データを訓練用のデータとして使用することで、効果的かつ効率的に読影の経験を積み、必要な知識を蓄えることができる。   In the first embodiment of the present invention, simulated medical image data close to an actual case can be easily created by performing simulated degeneration processing, simulated lesion correction processing, and reference image correction processing, and the created simulated medical image data is used for training. By using it as data, it is possible to accumulate interpretation experience and accumulate necessary knowledge effectively and efficiently.

図9は、本発明の実施例2の処理の流れを示す図である。以下、図9の各ステップについて詳細に説明する。なお、実施例1と同じステップには同じステップ符号を付け、説明を省略する。   FIG. 9 is a diagram showing a flow of processing of the second embodiment of the present invention. Hereinafter, each step of FIG. 9 will be described in detail. The same steps as those in the first embodiment are denoted by the same step symbols, and the description thereof is omitted.

(ステップS901)
CPU2は、マウス8やキーボード9の操作によって画像データの読み込み操作が選択されると、ステップS204に処理を進める。
(Step S901)
When the image data reading operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S204.

CPU2は、マウス8やキーボード9の操作によって課題症例データ作成操作が選択されると、医用画像データベース15および課題症例データベース16から画像データを取得して記憶装置4に格納し、ステップS202に処理を進める。   When the task case data creation operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 acquires the image data from the medical image database 15 and the problem case database 16, stores it in the storage device 4, and performs the process in step S202. Proceed.

CPU2は、マウス8やキーボード9の操作によって条件設定操作が選択されると、ステップS903に処理を進める。   When the condition setting operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S903.

CPU2は、マウス8やキーボード9の操作によって読影訓練操作が選択されると、課題症例データベース16から画像データを取得して記憶装置4に格納し、ステップS217に処理を進める。   When an interpretation training operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 acquires image data from the problem case database 16, stores it in the storage device 4, and advances the process to step S217.

(ステップS202、S204)
実施例1と同じである。
(Step S202, S204)
Same as Example 1.

(ステップS702)
CPU2は、マウス8やキーボード9の操作によって所見情報入力操作が選択されると、ステップS205に処理を進める。
(Step S702)
When the finding information input operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S205.

CPU2は、マウス8やキーボード9の操作によって模擬画像作成操作が選択されると、ステップS211に処理を進める。   When the simulated image creation operation is selected by operating the mouse 8 or the keyboard 9, the CPU 2 advances the process to step S211.

(ステップS205〜S206、S210〜S214)
実施例1と同じである。
(ステップS903)
CPU2は、マウス8やキーボード9の操作によって指定された形状データを読み込み、記憶装置4に格納する。形状データは、医用画像データに限らず、一般的な三次元モデル作成ツールや医用画像撮像装置以外で取得された画像データから作成される。形状データの指定方法には、例えば対象ドライブを指定し、指定されたドライブ内のデータ構造をツリー表示し、単数または複数選択して読み込む方法がある。
(Steps S205 to S206, S210 to S214)
Same as Example 1.
(Step S903)
The CPU 2 reads the shape data designated by the operation of the mouse 8 or the keyboard 9 and stores it in the storage device 4. The shape data is not limited to medical image data, but is generated from image data acquired by a device other than a general three-dimensional model creation tool or a medical image imaging device. As a method for specifying shape data, for example, there is a method in which a target drive is specified, a data structure in the specified drive is displayed in a tree, and one or a plurality are selected and read.

(ステップS904)
CPU2は、ステップS206で得られた座標情報を基に特徴量解析を行い、特徴量解析によって得られた特徴量データを記憶装置4に格納する。特徴量データは、実施例1と同様である。
(Step S904)
The CPU 2 performs feature amount analysis based on the coordinate information obtained in step S206, and stores the feature amount data obtained by the feature amount analysis in the storage device 4. The feature amount data is the same as that in the first embodiment.

(ステップS905)
CPU2は、ステップS904で記憶装置4に格納された特徴量を模擬病巣データベース17に登録する。
(Step S905)
The CPU 2 registers the feature amount stored in the storage device 4 in the simulated lesion database 17 in step S904.

なお、ステップS905の処理後は、ステップS901やS217に遷移して、処理が継続されても良い。   Note that after the processing in step S905, the processing may be continued by making a transition to steps S901 and S217.

(ステップS218〜S222)
実施例1と同じである。
(Steps S218 to S222)
Same as Example 1.

本発明の実施例2では、医用画像データ以外のさまざまな情報を基にすることで、より柔軟に模擬医用画像データを作成でき、訓練用のデータとして使用することで、効果的かつ効率的に読影の経験を積み、必要な知識を蓄えることができる。また、実際に経験することが難しい症例であっても、模擬医用画像データを作成して使用することで訓練を行うことができる。   In Embodiment 2 of the present invention, simulated medical image data can be created more flexibly by using various information other than medical image data, and it can be used as training data effectively and efficiently. You can gain experience in interpretation and accumulate necessary knowledge. Further, even for cases that are difficult to experience in practice, training can be performed by creating and using simulated medical image data.

以上、本発明の実施形態を述べたが、本発明はこれらに限定されるものではない。   As mentioned above, although embodiment of this invention was described, this invention is not limited to these.

1 医用画像処理装置、2 CPU、3 主メモリ、4 記憶装置、5 表示メモリ、6 表示装置、7 コントローラ、8 マウス、9 キーボード、10 カメラ、11 ネットワークアダプタ、12 システムバス、13 ネットワーク、14 医用画像撮影装置、15 医用画像データベース、16 課題症例データベース、17 模擬病巣データベース、18 訓練結果データベース、301 検索機能、302 読み込みボタン、303 画像情報一覧、304 サムネイル画像一覧、305 条件設定ボタン、306 模擬画像作成ボタン、307 所見情報入力ボタン、501 症例分類データ、502 特徴量データ、503 模擬病巣モデルデータ、601、603 マウスポインタ、602、604、606 コンテキストメニュー、605 ROI、801 検索機能、802 画像情報一覧、803 サムネイル画像一覧   1 Medical image processing device, 2 CPU, 3 Main memory, 4 Storage device, 5 Display memory, 6 Display device, 7 Controller, 8 Mouse, 9 Keyboard, 10 Camera, 11 Network adapter, 12 System bus, 13 Network, 14 Medical Imaging device, 15 Medical image database, 16 Problem case database, 17 Simulated lesion database, 18 Training result database, 301 Search function, 302 Load button, 303 Image information list, 304 Thumbnail image list, 305 Condition setting button, 306 Simulated image Create button, 307 Finding information input button, 501 Case classification data, 502 Feature data, 503 Simulated lesion model data, 601, 603 Mouse pointer, 602, 604, 606 Context menu, 605 ROI, 801 Search function, 802 Image information list , 803 thumbnail image list

Claims (6)

様々な模擬病巣が記憶される記憶部と、
所見情報の選択を受付ける選択部と、
前記所見情報に応じて前記記憶部の中の模擬病巣を基準画像に追加して模擬医用画像を作成する模擬医用画像作成部と、を備え、
前記模擬医用画像作成部は追加される模擬病巣に基づいて前記基準画像に補正処理をしてから基準画像に模擬病巣を追加することを特徴とする医用画像処理装置。
A storage unit for storing various simulated lesions;
A selection unit that accepts selection of findings information;
A simulated medical image creation unit that creates a simulated medical image by adding a simulated lesion in the storage unit to a reference image according to the findings information, and
The medical image processing apparatus, wherein the simulated medical image creation unit performs a correction process on the reference image based on the added simulated lesion and then adds the simulated lesion to the reference image.
請求項1に記載の医用画像処理装置において、
前記補正処理は、追加される模擬病巣の周辺領域の濃度を変換する濃度変換処理であることを特徴とする医用画像処理装置。
The medical image processing apparatus according to claim 1,
The medical image processing apparatus according to claim 1, wherein the correction process is a density conversion process for converting a density of a peripheral region of a simulated lesion to be added.
請求項1に記載の医用画像処理装置において、
前記補正処理は、追加される模擬病巣の周辺領域を変形させる変形処理であることを特徴とする医用画像処理装置。
The medical image processing apparatus according to claim 1,
The medical image processing apparatus according to claim 1, wherein the correction process is a deformation process for deforming a peripheral region of a simulated lesion to be added.
請求項1に記載の医用画像処理装置において、
操作者が前記模擬医用画像を読影している間の操作者の視線位置または操作内容を動作記録として記録する動作記録部と、
操作者毎の動作記録を比較表示する比較表示部と、をさらに備えることを特徴とする医用画像処理装置。
The medical image processing apparatus according to claim 1,
An operation recording unit that records the operator's line-of-sight position or operation content as an operation record while the operator interprets the simulated medical image;
A medical image processing apparatus, further comprising: a comparison display unit that compares and displays operation records for each operator.
請求項4に記載の医用画像処理装置において、
前記比較表示部は操作者毎の読影結果をさらに比較表示することを特徴とする医用画像処理装置。
The medical image processing apparatus according to claim 4, wherein
The comparison display unit further compares and displays an interpretation result for each operator, and a medical image processing apparatus.
所見情報の選択を受付ける選択ステップと、
前記所見情報に応じて模擬病巣を基準画像に追加して模擬医用画像を作成する模擬医用画像作成ステップと、を備え、
前記模擬医用画像作成ステップでは追加される模擬病巣に基づいて前記基準画像に補正処理をしてから基準画像に模擬病巣を追加することを特徴とする医用画像処理方法。
A selection step for accepting selection of findings information;
A simulated medical image creating step of creating a simulated medical image by adding a simulated lesion to a reference image according to the finding information,
In the simulated medical image creation step, a correction process is performed on the reference image based on the added simulated lesion, and then the simulated lesion is added to the reference image.
JP2015153235A 2015-08-03 2015-08-03 Medical image processing apparatus and medical image processing method Active JP6461743B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015153235A JP6461743B2 (en) 2015-08-03 2015-08-03 Medical image processing apparatus and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015153235A JP6461743B2 (en) 2015-08-03 2015-08-03 Medical image processing apparatus and medical image processing method

Publications (2)

Publication Number Publication Date
JP2017029461A true JP2017029461A (en) 2017-02-09
JP6461743B2 JP6461743B2 (en) 2019-01-30

Family

ID=57987417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015153235A Active JP6461743B2 (en) 2015-08-03 2015-08-03 Medical image processing apparatus and medical image processing method

Country Status (1)

Country Link
JP (1) JP6461743B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962868A (en) * 2021-09-10 2022-01-21 数坤(北京)网络科技股份有限公司 Medical virtual reality image display method and device and storage medium
WO2022065061A1 (en) * 2020-09-28 2022-03-31 富士フイルム株式会社 Image processing device, image processing device operation method, and image processing device operation program
CN115798725A (en) * 2022-10-27 2023-03-14 佛山读图科技有限公司 Method for making lesion-containing human body simulation image data for nuclear medicine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048880A (en) * 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc Image forming method
WO2009107658A1 (en) * 2008-02-25 2009-09-03 株式会社 日立メディコ X-ray ct scan simulator and x-ray ct device
JP2013222361A (en) * 2012-04-18 2013-10-28 Fujifilm Corp Three-dimensional model data generation apparatus, method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048880A (en) * 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc Image forming method
WO2009107658A1 (en) * 2008-02-25 2009-09-03 株式会社 日立メディコ X-ray ct scan simulator and x-ray ct device
US20100322375A1 (en) * 2008-02-25 2010-12-23 Hitachi Medical Corporation X-ray ct scan simulator and x-ray ct scan apparatus
JP2013222361A (en) * 2012-04-18 2013-10-28 Fujifilm Corp Three-dimensional model data generation apparatus, method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065061A1 (en) * 2020-09-28 2022-03-31 富士フイルム株式会社 Image processing device, image processing device operation method, and image processing device operation program
JP7440655B2 (en) 2020-09-28 2024-02-28 富士フイルム株式会社 Image processing device, image processing device operating method, image processing device operating program
CN113962868A (en) * 2021-09-10 2022-01-21 数坤(北京)网络科技股份有限公司 Medical virtual reality image display method and device and storage medium
CN115798725A (en) * 2022-10-27 2023-03-14 佛山读图科技有限公司 Method for making lesion-containing human body simulation image data for nuclear medicine
CN115798725B (en) * 2022-10-27 2024-03-26 佛山读图科技有限公司 Method for manufacturing human body simulation image data with lesion for nuclear medicine

Also Published As

Publication number Publication date
JP6461743B2 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
JP4818846B2 (en) Medical image processing apparatus and medical image processing program
JP5643304B2 (en) Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging
JP7051307B2 (en) Medical image diagnostic equipment
US8244010B2 (en) Image processing device and a control method and control program thereof
RU2711140C2 (en) Editing medical images
JP5812841B2 (en) Image diagnosis support apparatus, image diagnosis support method, and image diagnosis support program
US20070237380A1 (en) Three-dimensional medical image display device equipped with pre-processing system implementing clinical protocol
JP7027046B2 (en) Medical image imaging device and method
JP5943353B2 (en) Image processing apparatus and image processing method
US20170221204A1 (en) Overlay Of Findings On Image Data
EP3424017B1 (en) Automatic detection of an artifact in patient image data
JP2007135858A (en) Image processor
JP2007275318A (en) Image display device, image display method, and its program
US10726548B2 (en) Confidence determination in a medical imaging video clip measurement based upon video clip image quality
JP6461743B2 (en) Medical image processing apparatus and medical image processing method
JP6301277B2 (en) Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program
EP3389006B1 (en) Rib unfolding from magnetic resonance images
CN109350059A (en) For ancon self-aligning combined steering engine and boundary mark engine
JP6734111B2 (en) Finding information creation device and system
JP7144129B2 (en) Medical image diagnosis device and medical information management device
JP2011120827A (en) Diagnosis support system, diagnosis support program, and diagnosis support method
JP2019162314A (en) Information processing apparatus, information processing method, and program
JP5192751B2 (en) Image processing apparatus, image processing method, and image processing program
JP2011182946A (en) Medical image display and medical image display method
US20190251691A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20171030

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181226

R150 Certificate of patent or registration of utility model

Ref document number: 6461743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250