JP7373273B2 - Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program - Google Patents

Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program Download PDF

Info

Publication number
JP7373273B2
JP7373273B2 JP2018234710A JP2018234710A JP7373273B2 JP 7373273 B2 JP7373273 B2 JP 7373273B2 JP 2018234710 A JP2018234710 A JP 2018234710A JP 2018234710 A JP2018234710 A JP 2018234710A JP 7373273 B2 JP7373273 B2 JP 7373273B2
Authority
JP
Japan
Prior art keywords
result data
learning result
information
learning
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234710A
Other languages
Japanese (ja)
Other versions
JP2020092976A (en
Inventor
大輔 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018234710A priority Critical patent/JP7373273B2/en
Priority to PCT/JP2019/043188 priority patent/WO2020121685A1/en
Priority to EP19894761.6A priority patent/EP3884867B1/en
Publication of JP2020092976A publication Critical patent/JP2020092976A/en
Priority to US17/342,615 priority patent/US20210295514A1/en
Application granted granted Critical
Publication of JP7373273B2 publication Critical patent/JP7373273B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医用画像を処理する画像処理装置及び画像処理方法、医用情報を生成する医用情報処理装置、放射線撮影システム及びプログラムに関する。 The present invention relates to an image processing device and an image processing method that process medical images, a medical information processing device that generates medical information, a radiation imaging system, and a program.

医用情報処理装置には、機械学習を用いてユーザの傾向や嗜好に沿った情報を提供する機能や、画像解析精度を向上させる機能等がある。特許文献1には機械学習により画像認識精度を向上させ、対象物を検出する方法が記載されている。また、特許文献2にはニューラルネットワークを用いて、放射線画像の分割パターン、照射野、撮影体位、撮影部位を認識する方法が記載されている。 Medical information processing devices have functions such as providing information based on user trends and preferences using machine learning, and improving image analysis accuracy. Patent Document 1 describes a method of improving image recognition accuracy by machine learning and detecting a target object. Further, Patent Document 2 describes a method of recognizing a division pattern of a radiation image, an irradiation field, an imaging position, and an imaging region using a neural network.

特開2017-185007号公報Japanese Patent Application Publication No. 2017-185007 特開平4-261649号公報Japanese Patent Application Publication No. 4-261649

機械学習による推論処理を当該医用情報処理装置で実施するように構成する場合、機械学習によって予め得られた学習結果データを推論処理部へ入力する必要がある。機械学習によって取得した学習結果データの容量が大きくなると、ハードディスク等の記憶媒体からの学習結果データの読み込み処理、及び読み込んだ学習結果データを推論処理に使用できる形にするためにメモリへ展開する処理に時間を要することになる。また、推論処理に不必要な学習結果データが多く含まれてしまい、処理の質の劣化を招く可能性もある。結果、適切な医用画像を迅速に表示することができなくなり、医用情報処理装置の操作性を低下させてしまう。 When configuring the medical information processing apparatus to perform inference processing by machine learning, it is necessary to input learning result data obtained in advance by machine learning to the inference processing unit. When the amount of learning result data obtained through machine learning increases, there is a process of loading the learning result data from a storage medium such as a hard disk, and a process of expanding the read learning result data to memory in order to make it usable for inference processing. It will take time. Furthermore, a large amount of unnecessary learning result data is included in the inference processing, which may lead to deterioration of the quality of the processing. As a result, it is no longer possible to quickly display appropriate medical images, which reduces the operability of the medical information processing device.

本発明は、機械学習の学習結果データを検査情報に応じて選択的に取得することで迅速な処理を実現することを目的とする。 An object of the present invention is to realize rapid processing by selectively acquiring learning result data of machine learning according to test information.

上記の目的を達成するための本発明の一態様による画像処理装置は、以下の構成を備える。すなわち、
予め機械学習によって取得した複数の学習結果データであって、照射野認識に関する学習結果データと、異なる複数種類の被写体部位又は病変部の検出に関する学習結果データとを含む複数の学習結果データのうち、前記照射野認識に関する学習結果データと、検査情報に基づいて前記異なる複数種類の被写体部位又は病変部の検出に関する学習結果データのうちから選択された少なくとも1つの学習結果データとを1セットとする学習結果データを読み出す読出手段と、
前記読み出された学習結果データを用いて、前記検査情報に基づいて取得された医用画像に推論処理を行うことにより、該医用画像において照射野を決定する処理と、該医用画像において被写体部位又は病変部を決定する処理とを含む複数の処理のうち、前記読み出された学習結果データに対応する処理を行う処理手段と、を備える。
An image processing apparatus according to one aspect of the present invention for achieving the above object has the following configuration. That is,
A plurality of learning result data obtained in advance by machine learning, including learning result data regarding irradiation field recognition and learning result data regarding detection of multiple different types of object parts or lesion parts, Learning in which one set includes the learning result data regarding the irradiation field recognition and at least one learning result data selected from the learning result data regarding the detection of the plurality of different types of object parts or lesion parts based on the examination information. reading means for reading the result data group ;
A process of determining an irradiation field in the medical image by performing inference processing on the medical image acquired based on the examination information using the read learning result data group , and a process of determining the subject part in the medical image. or processing means for performing a process corresponding to the read learning result data group among a plurality of processes including a process for determining a lesion part.

本発明によれば、機械学習の学習結果データを検査情報に応じて選択的に取得することで迅速な処理を実現できる。 According to the present invention, rapid processing can be realized by selectively acquiring learning result data of machine learning according to test information.

第1実施形態による放射線撮影システムの構成例を示す図。FIG. 1 is a diagram illustrating a configuration example of a radiation imaging system according to a first embodiment. 第1実施形態による撮影処理を示すフローチャート。5 is a flowchart showing photographing processing according to the first embodiment. 第1実施形態による学習結果データの取得処理を示すフローチャート。5 is a flowchart showing learning result data acquisition processing according to the first embodiment. (a)は学習結果データ取得情報の例を示す図、(b)は検査情報の例を示す図。(a) is a diagram showing an example of learning result data acquisition information, and (b) is a diagram showing an example of test information. 第2実施形態による放射線撮影システムの構成例を示す図。The figure which shows the example of a structure of the radiation imaging system by 2nd Embodiment. 第3実施形態による学習結果データの取得処理を示すフローチャート。12 is a flowchart showing learning result data acquisition processing according to the third embodiment.

以下、添付図面を参照して本発明の好適な実施形態について説明する。なお、以下の実施形態において、放射線という用語は、X線の他、例えば、α線、β線、γ線粒子線、宇宙線などを含み得る。また、以下の実施形態は適宜組み合わせることが可能であり、実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. Note that in the following embodiments, the term radiation may include, for example, α rays, β rays, γ ray particle rays, cosmic rays, etc. in addition to X-rays. Further, the following embodiments can be combined as appropriate, and forms in which the embodiments are appropriately combined are also included in the embodiments of the present invention.

<第1実施形態>
図1は、第1実施形態による放射線撮影システムの構成例を示す図である。放射線撮影システムは、制御装置100、放射線検出装置110、操作部120、放射線科情報システム、RIS(放射線科情報システム)130、表示部140、放射線発生装置150を備えている。制御装置100は、RIS130と接続されており、放射線検出装置110と放射線発生装置150を用いた放射線撮影を制御する。
<First embodiment>
FIG. 1 is a diagram showing an example of the configuration of a radiation imaging system according to the first embodiment. The radiography system includes a control device 100, a radiation detection device 110, an operation section 120, a radiology information system, a radiology information system (RIS) 130, a display section 140, and a radiation generation device 150. The control device 100 is connected to the RIS 130 and controls radiography using the radiation detection device 110 and the radiation generation device 150.

放射線検出装置110は、放射線発生装置150から照射され、被検者(図示しない)を通過した放射線を検出し、放射線に応じた画像データを出力する。なお、画像データを医用画像、放射線画像と言い換えることもできる。具体的には、放射線検出装置110は、被検者を透過した放射線を、透過放射線量に相当する電荷として検出する。例えば、放射線検出装置110には、放射線を電荷に変換するa-Seなどの放射線を直接的に電荷に変換する直接変換型センサや、放射線を可視光に変換するCsIなどのシンチレータとa-Siなどの光電変換素子を用いた間接型センサが用いられる。さらに、放射線検出装置110は、検出された電荷をA/D変換することにより、画像データを生成し、制御装置100へ出力する。 The radiation detection device 110 detects radiation emitted from the radiation generation device 150 and passed through a subject (not shown), and outputs image data corresponding to the radiation. Note that the image data can also be referred to as a medical image or a radiation image. Specifically, the radiation detection device 110 detects the radiation that has passed through the subject as an electric charge corresponding to the amount of transmitted radiation. For example, the radiation detection device 110 includes a direct conversion type sensor such as a-Se that converts radiation into electric charges, a scintillator such as CsI that converts radiation into visible light, and a-Si sensor that converts radiation into visible light. An indirect sensor using a photoelectric conversion element such as the following is used. Further, the radiation detection device 110 generates image data by A/D converting the detected charges, and outputs the image data to the control device 100.

制御装置100は、例えば、有線または無線のネットワークもしくは専用線で放射線検出装置110と接続されている。放射線検出装置110は、放射線発生装置150で発生した放射線を撮像し、画像データを制御装置100に出力する。制御装置100は、コンピュータ上で動作するアプリケーション機能を有している。すなわち、制御装置100は、1つ以上のプロセッサーとメモリを有し、該プロセッサーがメモリに格納されたプログラムを実行することにより、以下で説明される各機能部を実現する。但し、各機能部の一部あるいはすべてが、専用のハードウエアにより実現されてもよい。制御装置100は、放射線検出装置110から出力された画像データに対して画像処理を行ない、画像を生成し、表示部140に表示する。操作部120は、操作者からの指示を受け付ける。また、制御装置100は、各構成要素を制御する機能を有している。制御装置100は、放射線検出装置110の動作を制御しつつ、表示部140へ画像を出力したり、表示部140を用いたグラフィカルユーザインターフェースを提供したりする。 The control device 100 is connected to the radiation detection device 110 via, for example, a wired or wireless network or a dedicated line. The radiation detection device 110 images the radiation generated by the radiation generation device 150 and outputs image data to the control device 100. The control device 100 has an application function that runs on a computer. That is, the control device 100 has one or more processors and a memory, and the processor executes a program stored in the memory to implement each functional unit described below. However, part or all of each functional unit may be realized by dedicated hardware. The control device 100 performs image processing on the image data output from the radiation detection device 110, generates an image, and displays the image on the display unit 140. The operation unit 120 receives instructions from an operator. Further, the control device 100 has a function of controlling each component. The control device 100 outputs an image to the display unit 140 and provides a graphical user interface using the display unit 140 while controlling the operation of the radiation detection device 110.

制御装置100は、放射線発生装置150が放射線を発生するタイミングと放射線の撮影条件を制御する。制御装置100において、画像取得部101は、放射線検出装置110が画像データを撮影するタイミングと出力するタイミングを制御する。検査情報入力部104は、検査情報を取得する第1の取得部の一例である。本実施形態の検査情報入力部104は、操作者が操作部120から手動入力した検査情報を入力する、または、RIS130から検査情報を取得してユーザに操作部120を用いて選択させる。検査情報入力部104に入力された検査情報は、放射線検出装置110が当該検査情報に基づいて撮影した画像データと関連付けて管理される。 The control device 100 controls the timing at which the radiation generating device 150 generates radiation and the radiation imaging conditions. In the control device 100, the image acquisition unit 101 controls the timing at which the radiation detection device 110 captures and outputs image data. The examination information input unit 104 is an example of a first acquisition unit that acquires examination information. The examination information input unit 104 of this embodiment inputs examination information manually input by the operator from the operation unit 120, or acquires examination information from the RIS 130 and allows the user to select it using the operation unit 120. The examination information input to the examination information input section 104 is managed in association with image data photographed by the radiation detection apparatus 110 based on the examination information.

学習結果データ取得部105は、学習結果データ記憶部106から学習結果データを読み出す。学習結果データ記憶部106は、教師画像を用いた機械学習により得られた学習結果データを記憶する。また、学習結果データ取得部105は、検査情報に含まれる種々の単語および単語の組み合わせと、学習結果データ記憶部106に記憶されている学習結果データとを紐づける情報を含む。したがって、学習結果データ取得部105は、検査情報に含まれている単語に基づいて、画像処理部102(推論処理部103)の処理が使用する学習結果データを取得することができる。学習結果データ取得部105は、予め機械学習によって取得した学習結果データを記憶する記憶部(学習結果データ記憶部106)から、上記検査情報に基づいて選択された学習結果データを読み出す読出部の一例である。 The learning result data acquisition unit 105 reads learning result data from the learning result data storage unit 106. The learning result data storage unit 106 stores learning result data obtained by machine learning using teacher images. Further, the learning result data acquisition unit 105 includes information that associates various words and word combinations included in the examination information with the learning result data stored in the learning result data storage unit 106. Therefore, the learning result data acquisition unit 105 can acquire learning result data used in the processing of the image processing unit 102 (inference processing unit 103) based on the words included in the examination information. The learning result data acquisition unit 105 is an example of a reading unit that reads learning result data selected based on the test information from a storage unit (learning result data storage unit 106) that stores learning result data acquired in advance by machine learning. It is.

画像取得部101は、第1の取得部(検査情報入力部104)により取得された検査情報に基づいて取得された医用画像を取得する第2の取得部の一例である。本実施形態では医用画像として、放射線検出装置110で撮影された放射線画像が取得される。画像処理部102は、放射線検出装置110から出力された画像データに対して、ノイズ除去などの画像処理を行う。また、画像処理部102は、放射線検出装置110から出力された画像に対して、トリミングや回転といった画像処理を行なうこともできる。推論処理部103は、照射野認識、階調処理などの、機械学習による学習結果データを用いた推論処理を行う。画像処理部102は、推論処理部103として、照射野認識、階調処理など目的に応じた複数の推論処理部を有するようにしてもよい。画像処理部102は、画像処理後の画像を表示部140に表示させる。画像処理部102および推論処理部103は、取得された医用画像を読出部(学習結果データ取得部105)により読み出された学習結果データを用いて処理する処理部の一例である。 The image acquisition unit 101 is an example of a second acquisition unit that acquires a medical image acquired based on the examination information acquired by the first acquisition unit (examination information input unit 104). In this embodiment, a radiation image photographed by the radiation detection apparatus 110 is acquired as a medical image. The image processing unit 102 performs image processing such as noise removal on the image data output from the radiation detection device 110. The image processing unit 102 can also perform image processing such as trimming and rotation on the image output from the radiation detection device 110. The inference processing unit 103 performs inference processing using learning result data by machine learning, such as irradiation field recognition and gradation processing. The image processing unit 102 may include a plurality of inference processing units as the inference processing unit 103 depending on purposes such as irradiation field recognition and gradation processing. The image processing unit 102 causes the display unit 140 to display the image after image processing. The image processing unit 102 and the inference processing unit 103 are examples of processing units that process acquired medical images using learning result data read out by a reading unit (learning result data acquisition unit 105).

次に、図2のフローチャートに従い、第1実施形態による放射線画像処理を説明する。ステップS201において、検査情報入力部104は、RIS130から複数の検査情報を取得する。ステップS202において、学習結果データ取得部105は、ステップS201で取得された複数の検査情報のそれぞれについて、読み出すべき学習結果データを決定し、検査情報と読み出す学習結果データの対応を示す学習結果データ取得情報を生成する。学習結果データ取得情報については図4(a)により後述する。ステップS203において、検査情報入力部104は、RIS130から取得した複数の検査情報のうち1つをユーザに選択させ、検査対象として設定する。かかる処理は例えば、取得された複数の検査情報をリスト形式で表示し、該リストから1つの検査情報を選択するユーザの操作入力に応じて、当該選択された検査情報が検査対象として設定することで実現される。なお、操作部120からユーザが検査情報を直接入力するようにしてもよい。その場合、ステップS203の選択操作は不要となり得る。 Next, radiographic image processing according to the first embodiment will be described according to the flowchart in FIG. 2. In step S201, the examination information input unit 104 acquires a plurality of pieces of examination information from the RIS 130. In step S202, the learning result data acquisition unit 105 determines learning result data to be read out for each of the plurality of pieces of inspection information acquired in step S201, and acquires learning result data indicating the correspondence between the inspection information and the learning result data to be read out. Generate information. The learning result data acquisition information will be described later with reference to FIG. 4(a). In step S203, the test information input unit 104 allows the user to select one of the plurality of test information acquired from the RIS 130 and sets it as the test target. Such processing may include, for example, displaying a plurality of pieces of acquired test information in a list format, and setting the selected test information as a test target in response to an operation input by a user who selects one piece of test information from the list. It is realized by Note that the user may directly input the test information from the operation unit 120. In that case, the selection operation in step S203 may be unnecessary.

ステップS204で、制御装置100は設定された検査情報に従って放射線検出装置110に対して準備状態へと遷移させるための信号を送信することにより検査を開始する。この信号に応じて、例えば放射線検出装置110は、主制御回路によりバイアス電源を制御し、2次元撮像素子にバイアス電圧を印加する。その後、画素に蓄積した暗電流信号を読み出すため、駆動回路により画素アレイから画像信号を読み出す初期化を行う。初期化の終了後、放射線検出装置110は、放射線画像を得るための準備が整った状態であることを示す状態情報を制御装置100に送信する。また、制御装置100(検査情報入力部104)は、ステップS203で選択された検査情報に基づいて放射線発生装置150の動作パラメータ(管電圧など)を設定する。制御装置100は、放射線検出装置110からの状態情報により撮影準備が整ったことの通知を受けると、放射線発生装置150に曝射許可を通知する。 In step S204, the control device 100 starts the inspection by transmitting a signal for transitioning the radiation detection device 110 to the preparation state according to the set inspection information. In response to this signal, for example, the radiation detection device 110 controls the bias power supply using the main control circuit, and applies a bias voltage to the two-dimensional image sensor. After that, in order to read out the dark current signal accumulated in the pixel, the drive circuit performs initialization to read out the image signal from the pixel array. After the initialization is completed, the radiation detection device 110 transmits status information to the control device 100 indicating that it is ready to obtain a radiation image. Further, the control device 100 (examination information input unit 104) sets operating parameters (tube voltage, etc.) of the radiation generating device 150 based on the examination information selected in step S203. When the control device 100 receives the status information from the radiation detection device 110 indicating that preparations for imaging are complete, the control device 100 notifies the radiation generation device 150 of permission for exposure.

ステップS205では、画像取得部101が、放射線検出装置110によって撮影された放射線画像を取得する。より具体的には、例えば、曝射許可を通知された放射線発生装置150が曝射ボタンの操作に応じて放射線を照射すると、放射線検出装置110の駆動回路は照射された放射線を検出して得られた画像信号を読出し回路により読み出し、放射線画像を生成する。放射線検出装置110は制御装置100へ生成した放射線画像を送信する。制御装置100の画像取得部101は、この放射線画像を受信する。こうして、制御装置100の検査情報入力部104と画像取得部101は、検査情報に基づいて、放射線撮影の動作を制御し、該放射線撮影により得られた放射線画像を、検査情報に基づいて撮影された放射線画像として取得するための制御部として機能する。 In step S205, the image acquisition unit 101 acquires a radiation image taken by the radiation detection device 110. More specifically, for example, when the radiation generating device 150 that has been notified of permission for exposure irradiates radiation in response to the operation of the exposure button, the drive circuit of the radiation detecting device 110 detects the irradiated radiation and detects the radiation obtained. The readout circuit reads out the image signal and generates a radiation image. The radiation detection device 110 transmits the generated radiation image to the control device 100. The image acquisition unit 101 of the control device 100 receives this radiation image. In this way, the examination information input unit 104 and the image acquisition unit 101 of the control device 100 control the operation of radiography based on the examination information, and the radiographic images obtained by the radiography are taken based on the examination information. It functions as a control unit for acquiring radiographic images.

一方、ステップS206において、学習結果データ取得部105は、ステップS203で選択された検査情報とステップS202で生成された学習結果データ取得情報に基づいて、学習結果データ記憶部106から選択的に学習結果データを取得する。ステップS206の処理の詳細は図3のフローチャートにより後述する。ここで、検査情報とは、例えば図4(b)に示すオーダ情報、被写体情報、検査種類などがある。例えば、オーダ情報は放射線撮影の撮影部位と撮影方向を含み、被写体情報は、被写体の属性(例えば、体厚、伸長、体重、性別、年齢)を含み、検査種類は当該検査が通常検査か緊急検査かの種別を含む。なお、ステップS205の処理は、ステップS204の処理(放射線画像の取得)と並行して実行され得る。 On the other hand, in step S206, the learning result data acquisition unit 105 selectively selects learning results from the learning result data storage unit 106 based on the examination information selected in step S203 and the learning result data acquisition information generated in step S202. Get data. Details of the process in step S206 will be described later with reference to the flowchart in FIG. Here, the examination information includes, for example, order information, subject information, examination type, etc. shown in FIG. 4(b). For example, the order information includes the area and direction of radiography, the subject information includes the attributes of the subject (e.g., body thickness, elongation, weight, gender, age), and the type of examination indicates whether the examination is a regular examination or an emergency examination. Includes the type of test. Note that the process in step S205 may be executed in parallel with the process in step S204 (obtaining a radiation image).

ステップS207において、画像処理部102は、画像取得部101が取得した放射線画像に対して診断画像処理を実行する。このとき、ステップS204で取得した学習結果データを用いて、推論処理部103が機械学習による推論処理を実行する。推論処理部103は、例えば、画像の特徴量を解析し、照射野を決定する処理、画像上に重畳するアノテーション等の表示内容を決定する処理、などを行う。また、診断画像処理は、そのような処理結果を表示部140に表示するようにしてもよい。ステップS207において、制御装置100は、操作者の入力操作に応じて当該検査を終了する。 In step S207, the image processing unit 102 performs diagnostic image processing on the radiation image acquired by the image acquisition unit 101. At this time, the inference processing unit 103 executes inference processing by machine learning using the learning result data acquired in step S204. The inference processing unit 103 performs, for example, a process of analyzing the feature amount of an image, determining an irradiation field, a process of determining display contents such as annotations to be superimposed on the image, and the like. Further, in the diagnostic image processing, the results of such processing may be displayed on the display unit 140. In step S207, the control device 100 ends the test in response to the input operation by the operator.

次に、図3のフローチャートを参照して、学習結果データ取得部105による学習結果データの取得処理(ステップS205の処理)を説明する。ステップS301において、学習結果データ取得部105は、ステップS203で選択された(確定した)検査情報を取得する。ステップS302で、学習結果データ取得部105は、ステップS202で予め生成、記憶した学習結果データ取得情報を参照して、ステップS301で取得された検査情報に応じた学習結果データを選択する。そして、ステップS303において、学習結果データ取得部105は、ステップS302で選択した学習結果データを学習結果データ記憶部106から読み出し、例えば推論処理部103が利用できるように展開して、不図示の保持部に保持する。 Next, the learning result data acquisition process (the process of step S205) by the learning result data acquisition unit 105 will be described with reference to the flowchart in FIG. 3. In step S301, the learning result data acquisition unit 105 acquires the examination information selected (confirmed) in step S203. In step S302, the learning result data acquisition unit 105 refers to the learning result data acquisition information generated and stored in advance in step S202, and selects learning result data according to the test information acquired in step S301. Then, in step S303, the learning result data acquisition unit 105 reads the learning result data selected in step S302 from the learning result data storage unit 106, expands it so that it can be used by the inference processing unit 103, and stores it (not shown). keep it in the section.

学習結果データ取得情報は、例えば、図4(a)に示す内容である。図4(a)の学習結果データによれば、検査情報[1]の場合には学習結果データA、B、Eを取得すること、検査情報[2]の場合には学習結果データA、C、D、Eを取得すること、が示されている。さらに、検査情報[3]の場合には、学習結果データAとCを取得することが示されている。学習結果データ取得部105は、このような学習結果データ取得情報を参照して、検査情報に応じて必要な学習結果データを選択的に取得する。例えば、学習結果データAは照射野に関するもの、学習結果データBは胸部の解剖学的特徴に関するもの、学習結果データCは腹部の解剖学的特徴に関するものとし、検査情報[5]が胸部正面撮影の撮影オーダであったとする。この場合、少なくとも腹部に関わる学習結果データCの取得は不要であり、図4(a)の例では、学習結果データAとBが取得されるように、学習結果データ取得情報が構成されている。したがって、ステップS301で検査情報[5]が取得された場合、学習結果データ取得部105は学習結果データAとBを学習結果データ記憶部106から読み出すことになる(ステップS302とS303)。 The learning result data acquisition information has, for example, the content shown in FIG. 4(a). According to the learning result data in FIG. 4(a), in the case of test information [1], learning result data A, B, and E are acquired, and in the case of test information [2], learning result data A, C , D, and E are shown. Furthermore, in the case of test information [3], it is shown that learning result data A and C are acquired. The learning result data acquisition unit 105 refers to such learning result data acquisition information and selectively acquires necessary learning result data according to the examination information. For example, learning result data A is related to the irradiation field, learning result data B is related to the anatomical features of the chest, learning result data C is related to the anatomical features of the abdomen, and examination information [5] is the chest frontal image. Assume that there is a shooting order for . In this case, it is not necessary to acquire at least the learning result data C related to the abdomen, and in the example of FIG. 4(a), the learning result data acquisition information is configured so that the learning result data A and B are acquired. . Therefore, when test information [5] is acquired in step S301, the learning result data acquisition unit 105 reads the learning result data A and B from the learning result data storage unit 106 (steps S302 and S303).

以上のように第1実施形態によれば、検査情報に対応する学習結果データを学習結果データ記憶部106から選択的に取得するため、必要な学習結果データの取得に要する時間が短縮され、画像処理部102による放射線画像の処理を迅速に実行できる。また、画像処理部102は、適切な学習結果データを用いた処理(例えば推論処理)を実現できる。結果、所望とする医用画像が迅速に得られることになり、医用画像装置の操作性が向上する。 As described above, according to the first embodiment, since the learning result data corresponding to the examination information is selectively acquired from the learning result data storage unit 106, the time required to acquire the necessary learning result data is shortened, and the The processing of the radiation image by the processing unit 102 can be executed quickly. Further, the image processing unit 102 can implement processing (for example, inference processing) using appropriate learning result data. As a result, a desired medical image can be obtained quickly, and the operability of the medical imaging apparatus is improved.

<第2実施形態>
第1実施形態では、制御装置100が学習結果データ記憶部106を有する構成(図1)を説明したが、これに限られるものではない。制御装置100と通信可能に接続された外部記憶装置に学習結果データ記憶部106を設けてもよい。図5は、第2実施形態による放射線撮影システムの構成例を示すブロック図である。図5において、学習結果データ記憶部106が、制御装置100の外部に設けられた外部記憶装置200に配置されている。なお、図5において、第1実施形態と同様の構成には同一の参照番号を付してある。外部記憶装置200としては、例えば、ネットワークストレージ、外部のコンピュータ、クラウド、等があげられる。
<Second embodiment>
In the first embodiment, the configuration (FIG. 1) in which the control device 100 includes the learning result data storage section 106 has been described, but the present invention is not limited to this. The learning result data storage unit 106 may be provided in an external storage device communicably connected to the control device 100. FIG. 5 is a block diagram showing a configuration example of a radiographic system according to the second embodiment. In FIG. 5, the learning result data storage section 106 is arranged in an external storage device 200 provided outside the control device 100. In addition, in FIG. 5, the same reference numerals are given to the same components as in the first embodiment. Examples of the external storage device 200 include a network storage, an external computer, a cloud, and the like.

制御装置100が学習結果データを取得するには、制御装置100と外部記憶装置200との間で通信を行うことが必要となるが、この通信の形態は、有線、無線などいかなるものであってもよい。 In order for the control device 100 to acquire learning result data, it is necessary to communicate between the control device 100 and the external storage device 200, but this communication may be in any form, such as wired or wireless. Good too.

以上のような第2実施形態によれば、第1実施形態と同様に、検査情報に対応する学習結果データを選択的に取得するため、医用画像装置の操作性を向上することが可能となる。また、第2実施形態では、さらに、学習結果データを別施設の制御装置100と共有することができるため、最新の学習結果データを配信、管理することが容易となる利点がある。 According to the second embodiment as described above, similarly to the first embodiment, since learning result data corresponding to examination information is selectively acquired, it is possible to improve the operability of the medical imaging apparatus. . Further, in the second embodiment, since the learning result data can be shared with the control device 100 of another facility, there is an advantage that the latest learning result data can be easily distributed and managed.

<第3実施形態>
第1実施形態では、学習結果データ取得情報を参照して、取得した検査情報に対応した学習結果データを選択し、選択した学習データを学習結果データ記憶部106から読み出していた。第3実施形態では、検査情報に基づいて選択された学習データがすでに取得済みとなっている場合には、その読み出しを行わないように制御する。このように、重複した学習データの読み出しを回避することで、処理をより軽減することができる。第3実施形態による放射線撮影システムの構成は第1実施形態(図1)と同様である。以下、第3実施形態による学習結果データ取得部105の動作をについて、図6に示すフローチャートを用いて説明する。なお、図6に示される処理は、図3で説明した処理に置き換わるものである。
<Third embodiment>
In the first embodiment, the learning result data acquisition information is referred to, learning result data corresponding to the acquired examination information is selected, and the selected learning data is read from the learning result data storage unit 106. In the third embodiment, if the learning data selected based on the examination information has already been acquired, control is performed so as not to read it. In this way, by avoiding reading out duplicate learning data, processing can be further reduced. The configuration of the radiographic system according to the third embodiment is the same as that of the first embodiment (FIG. 1). The operation of the learning result data acquisition unit 105 according to the third embodiment will be described below using the flowchart shown in FIG. Note that the process shown in FIG. 6 replaces the process described in FIG. 3.

第1実施形態と同様に、学習結果データ取得部105は、ステップS203で選択された検査情報を取得し(ステップS701)する。そして、学習結果データ取得部105は、取得した検査情報とステップS202で生成された学習結果データ取得情報とから取得するべき学習結果データを選択する(ステップS702)。 Similar to the first embodiment, the learning result data acquisition unit 105 acquires the examination information selected in step S203 (step S701). Then, the learning result data acquisition unit 105 selects learning result data to be acquired from the acquired examination information and the learning result data acquisition information generated in step S202 (step S702).

学習結果データ取得部105は、読み出された学習結果データを保持する保持部を有している。ステップS703~S705において、学習結果データ取得部105は、ステップS702で検査情報に基づいて選択された学習結果データのうち、保持部に保持されていない学習結果データを学習結果データ記憶部106から読み出する。まず、ステップS703において、学習結果データ取得部105は、ステップS302で取得すると決定された学習結果データの一つについて取得済みの学習結果データであるかを判定する。ステップS703で未取得の学習結果データであると判定された場合、ステップS704において、学習結果データ取得部105は、学習結果データ記憶部106からその学習結果データを読み出す。一方、ステップS703で取得済みの学習結果データであると判定された場合は、ステップS704がスキップされ、新たな学習結果データの読み出しは行わない。ステップS705において、学習結果データ取得部105は、ステップS702で選択された学習結果データのすべてについて上記処理を実施したか否かを判定し、未処理の学習データがあれば処理をステップS703に戻す。ステップS705で、選択されたすべての学習データについて処理したと判定された場合、図6に示す処理が終了する。 The learning result data acquisition unit 105 has a holding unit that holds the read learning result data. In steps S703 to S705, the learning result data acquisition unit 105 reads out, from the learning result data storage unit 106, learning result data that is not held in the holding unit among the learning result data selected based on the examination information in step S702. Ru. First, in step S703, the learning result data acquisition unit 105 determines whether one of the learning result data determined to be acquired in step S302 is already acquired learning result data. If it is determined in step S703 that the learning result data is unobtained learning result data, the learning result data acquisition unit 105 reads the learning result data from the learning result data storage unit 106 in step S704. On the other hand, if it is determined in step S703 that the learning result data has already been acquired, step S704 is skipped, and new learning result data is not read. In step S705, the learning result data acquisition unit 105 determines whether the above processing has been performed on all of the learning result data selected in step S702, and if there is unprocessed learning data, the process returns to step S703. . If it is determined in step S705 that all of the selected learning data has been processed, the process shown in FIG. 6 ends.

なお、上記では、読み出すべき学習データが保持部に保持されているか否かで、その学習結果データを読み出すか否かを判定したが、これに限られるものではない。例えば、保持部に保持されている学習結果データ以外の学習結果データを前記学習結果データ取得情報の参照により特定し、特定した学習結果データを追加的に読み出して保持部に保持するようにしてもよい。 Note that, in the above description, whether or not to read the learning result data is determined based on whether or not the learning data to be read is held in the holding unit; however, the present invention is not limited to this. For example, learning result data other than the learning result data held in the holding unit may be specified by referring to the learning result data acquisition information, and the specified learning result data may be additionally read and held in the holding unit. good.

以上のように、第3実施形態によれば、検査情報に対応する学習結果データを選択的に取得するだけでなく、連続して実行する検査において未取得の学習結果データのみを取得していくようにしたので、より迅速に学習結果データを取得できる。また、読み出した学習結果データを推論処理部103が利用可能な形態に展開して保持するような構成においては、重複した展開処理が実行されることを回避することも可能になる。 As described above, according to the third embodiment, not only learning result data corresponding to examination information is selectively acquired, but also learning result data that has not been acquired in consecutively executed examinations is acquired. As a result, learning result data can be obtained more quickly. Further, in a configuration in which the read learning result data is developed and held in a form that can be used by the inference processing unit 103, it is also possible to avoid executing duplicate development processing.

<第4実施形態>
第3実施形態では、未取得の学習結果データを追加的に取得して保持していく。したがって、検査情報が多いと、学習結果データ取得部105の保持部の記憶容量がひっ迫する可能性がある。第4実施形態では、排他的な関係にある学習結果データ群については、常にそれらのうちの一つが保持されるようにして、保持部における記憶容量のひっ迫の発生を低減する。すなわち、学習結果データ取得部105は、検査情報に基づいて選択された学習結果データを読み出す際に、新たに読み出す学習結果データと排他的な関係にある学習結果データを保持部から破棄するように動作する。以下、第4実施形態による学習結果データ取得部105の動作を説明する。なお、放射線撮影システムの構成は第1実施形態(図1)と同様である。
<Fourth embodiment>
In the third embodiment, unobtained learning result data is additionally obtained and retained. Therefore, if there is a large amount of test information, there is a possibility that the storage capacity of the storage unit of the learning result data acquisition unit 105 will become insufficient. In the fourth embodiment, for learning result data groups that are in an exclusive relationship, one of them is always held, thereby reducing the occurrence of storage capacity strain in the holding unit. That is, when reading the learning result data selected based on the inspection information, the learning result data acquisition unit 105 discards from the holding unit the learning result data that has an exclusive relationship with the newly read learning result data. Operate. The operation of the learning result data acquisition unit 105 according to the fourth embodiment will be described below. Note that the configuration of the radiation imaging system is the same as that of the first embodiment (FIG. 1).

制御装置100において、学習結果データ取得部105の動作について、図4(a)に示す学習結果データ取得情報と図6に示したフローチャートを用いて説明する。図4(a)の例において、学習結果データBとCは同じ目的の推論処理に用いるデータであり、排他的に使用される。学習結果データ取得情報には、学習結果データBとCについて、排他的関係であることを示す関連情報が記憶されている。学習結果データ取得部105は、検査情報とこの関連情報に応じて学習結果データの取得と破棄を行う。すなわち、学習結果データ取得部105は、ステップS704において、学習結果データを取得するとともに、取得した学習結果データと排他的関係にある学習結果データが保持されていれば、それを破棄する。 In the control device 100, the operation of the learning result data acquisition unit 105 will be explained using the learning result data acquisition information shown in FIG. 4(a) and the flowchart shown in FIG. In the example of FIG. 4(a), learning result data B and C are data used for inference processing for the same purpose, and are used exclusively. The learning result data acquisition information stores related information indicating that the learning result data B and C have an exclusive relationship. The learning result data acquisition unit 105 acquires and discards learning result data according to the examination information and its related information. That is, in step S704, the learning result data acquisition unit 105 acquires learning result data, and if learning result data having an exclusive relationship with the acquired learning result data is held, it discards it.

例えば、図4(a)において、検査情報[1]、[2]、[3]の順で検査が実施される場合、検査情報[1]では学習結果データA、B、Eを取得し推論処理部103に入力する。次の検査情報[2]では、学習結果データAとEが取得済みなので、学習結果データCとDを取得し推論処理部103に入力する。この時、保持されている学習結果データBは、取得された学習結果データCに対して排他的関係にあるため、破棄される。次の検査情報[3]では、学習結果データAとCは推論処理部103に入力済みなので、学習結果データ取得処理を省略することができる。なお、排他的関係にある学習結果データの組み合わせは、ステップS202で生成された学習結果データ取得情報から決定されてもよいし、予め設定されていてもよい。 For example, in FIG. 4(a), when tests are performed in the order of test information [1], [2], and [3], test information [1] acquires learning result data A, B, and E and makes inferences. The information is input to the processing unit 103. In the next test information [2], since the learning result data A and E have already been obtained, the learning result data C and D are obtained and input to the inference processing unit 103. At this time, the retained learning result data B is discarded because it has an exclusive relationship with the acquired learning result data C. In the next test information [3], the learning result data A and C have already been input to the inference processing unit 103, so the learning result data acquisition process can be omitted. Note that the combination of learning result data in an exclusive relationship may be determined from the learning result data acquisition information generated in step S202, or may be set in advance.

以上のように、第4実施形態によれば、同じ目的の推論処理に用いる学習結果データの取得処理に関し、学習結果データの排他的関係に基づいて学習結果データの破棄が行われる。そのため、学習結果データ取得部105の保持部における記憶容量のひっ迫の発生を低減することができる。なお、検査情報に関わらず必要となる学習結果データを必須とし、それ以外の学習結果データをオプションとして扱うようにしてもよい。その場合、オプションの学習結果データについては、ユーザが要求する放射線画像の質、精度に応じて任意に選択できるようにしてもよい。或いは、オプションの学習結果データについてはその使用料を別途課金するようにしてもよい。 As described above, according to the fourth embodiment, regarding the acquisition process of learning result data used in inference processing for the same purpose, learning result data is discarded based on the exclusive relationship of the learning result data. Therefore, it is possible to reduce the strain on the storage capacity in the storage unit of the learning result data acquisition unit 105. Note that the learning result data that is required regardless of the test information may be made mandatory, and the other learning result data may be treated as optional. In that case, the optional learning result data may be arbitrarily selected according to the quality and accuracy of the radiation image requested by the user. Alternatively, usage fees for optional learning result data may be charged separately.

<第5実施形態>
第1実施形態では、S301~S303の処理により、検査情報に応じた学習結果データを取得し、推論処理に用いている。第5実施形態では、制御装置100の学習結果データ取得部105が、検査情報に依存せずに使用される学習結果データ(すべての検査情報について選択される学習結果データ)を特定し、特定した学習結果データを検査情報の選択に関わらず読み出して保持する。より具体的には、その特定した学習結果データを、検査情報の選択に先立って学習結果データ記憶部106から予め読み出して取得しておく。
<Fifth embodiment>
In the first embodiment, learning result data corresponding to the test information is acquired through the processes of S301 to S303 and used for inference processing. In the fifth embodiment, the learning result data acquisition unit 105 of the control device 100 specifies learning result data (learning result data selected for all test information) that is used independently of test information. The learning result data is read and retained regardless of the selection of inspection information. More specifically, the identified learning result data is read out and acquired in advance from the learning result data storage unit 106 prior to selecting the examination information.

例えば、図4(a)の学習結果データ取得情報において、学習結果データAは、すべての検査情報に関して選択される。例えば、学習結果データAは、照射野に関する学習結果であり、すべての検査情報に取得された放射線画像に共通して実施される照射野認識の推論処理に共通して用いられる学習結果データである。学習結果データ取得部105は、そのような共通の学習結果データを事前に、例えば、ステップS203による検査情報の選択に先立って、取得する。そして、図3のステップS301~S303では、学習結果データ取得部105は、事前に取得した学習結果データ以外の学習結果データを、選択された検査情報に応じて取得する。 For example, in the learning result data acquisition information in FIG. 4(a), learning result data A is selected for all test information. For example, learning result data A is the learning result regarding the irradiation field, and is the learning result data that is commonly used in the inference processing of irradiation field recognition that is commonly performed on radiation images acquired for all examination information. . The learning result data acquisition unit 105 acquires such common learning result data in advance, for example, prior to the selection of examination information in step S203. Then, in steps S301 to S303 in FIG. 3, the learning result data acquisition unit 105 acquires learning result data other than the learning result data acquired in advance, according to the selected examination information.

以上のように第5実施形態によれば、検査情報に依存しない学習結果データを検査開始以前に取得しておくことができるので、撮影時において取得する学習結果データを削減でき、より迅速に必要な学習データを取得することができる。 As described above, according to the fifth embodiment, learning result data that does not depend on examination information can be acquired before the examination starts, so the learning result data to be acquired at the time of imaging can be reduced, and the required It is possible to obtain learning data.

上記した各実施形態によれば、推論処理に使用される、機械学習の学習結果データを検査情報に応じて選択的に取得し、適切な医用画像を迅速に表示することが可能になる。結果、医用画像装置の操作性を向上することができる。また、機械学習の推論処理部が用いる学習結果データの量が大きくなる場合でも、検査情報に対応する学習結果データを選択的にハードディスク等の記憶装置から取得することで、学習結果データの読み込み処理とメモリへの展開処理を効率化することができる。 According to each of the embodiments described above, it is possible to selectively acquire learning result data of machine learning used for inference processing according to examination information, and to quickly display an appropriate medical image. As a result, the operability of the medical imaging device can be improved. In addition, even when the amount of learning result data used by the machine learning inference processing unit increases, the learning result data can be read and processed by selectively acquiring the learning result data corresponding to the inspection information from a storage device such as a hard disk. This makes it possible to make the expansion process to memory more efficient.

なお、上記各実施形態では、医用画像に対して、学習結果データを用いて照射野認識や階調処理などの画像処理を行う例を示したがこれに限られるものではない。例えば、取得された学習結果データを用いて医用画像に対する医用情報を生成する医用情報処理装置が提供されてもよい。ここで、医用情報とは、例えば、医用画像におけるセグメンテーションや医用画像において検出された病変部などの診断支援情報である。この場合、医用情報処理装置は、検査情報を取得し、予め機械学習によって取得した少なくとも1つ以上の学習結果データを記憶する記憶部から、検査情報に基づいて選択された学習結果データを読み出す。そして、医用情報処理装置は、取得された検査情報に基づいて取得された医用画像を取得し、取得された医用画像に対し、記憶部から読み出された学習結果データを用いて医用情報を生成する。このような構成にいよれば、機械学習の学習結果データを検査情報に応じて選択的に取得して用いることにより、医用画像に対する医用情報を迅速に表示することが可能になる。 Note that in each of the above embodiments, an example has been shown in which image processing such as irradiation field recognition and gradation processing is performed on a medical image using learning result data, but the present invention is not limited to this. For example, a medical information processing device may be provided that generates medical information for a medical image using acquired learning result data. Here, the medical information is, for example, diagnostic support information such as segmentation in a medical image or a lesion detected in a medical image. In this case, the medical information processing device acquires the examination information and reads learning result data selected based on the examination information from a storage unit that stores at least one or more learning result data acquired in advance by machine learning. The medical information processing device then acquires the acquired medical image based on the acquired examination information, and generates medical information for the acquired medical image using the learning result data read out from the storage unit. do. According to such a configuration, by selectively acquiring and using learning result data of machine learning according to examination information, it becomes possible to quickly display medical information for a medical image.

<他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100:制御装置、101:画像取得部、102:画像処理部、103:推論処理部、104:検査情報入力部、105:学習結果データ取得部、106:学習結果データ記憶部、110:放射線検出器、120:操作部、130:RIS、140:表示部 100: Control device, 101: Image acquisition unit, 102: Image processing unit, 103: Inference processing unit, 104: Examination information input unit, 105: Learning result data acquisition unit, 106: Learning result data storage unit, 110: Radiation detection 120: Operation unit, 130: RIS, 140: Display unit

Claims (16)

予め機械学習によって取得した複数の学習結果データであって、照射野認識に関する学習結果データと、異なる複数種類の被写体部位又は病変部の検出に関する学習結果データとを含む複数の学習結果データのうち、前記照射野認識に関する学習結果データと、検査情報に基づいて前記異なる複数種類の被写体部位又は病変部の検出に関する学習結果データのうちから選択された少なくとも1つの学習結果データとを1セットとする学習結果データを読み出す読出手段と、
前記読み出された学習結果データを用いて、前記検査情報に基づいて取得された医用画像に推論処理を行うことにより、該医用画像において照射野を決定する処理と、該医用画像において被写体部位又は病変部を決定する処理とを含む複数の処理のうち、前記読み出された学習結果データに対応する処理を行う処理手段と、を備える画像処理装置。
A plurality of learning result data obtained in advance by machine learning, including learning result data regarding irradiation field recognition and learning result data regarding detection of multiple different types of object parts or lesion parts, Learning in which one set includes the learning result data regarding the irradiation field recognition and at least one learning result data selected from the learning result data regarding the detection of the plurality of different types of object parts or lesion parts based on the examination information. reading means for reading the result data group ;
A process of determining an irradiation field in the medical image by performing inference processing on the medical image acquired based on the examination information using the read learning result data group , and a process of determining the subject part in the medical image. or processing means for performing a process corresponding to the read learning result data group among a plurality of processes including a process of determining a lesion part.
前記検査情報に基づいて、放射線撮影の動作を制御し、該放射線撮影により得られた放射線画像を、前記検査情報に基づいて撮影された医用画像として取得する取得手段をさらに備える請求項1に記載の画像処理装置。 2. The apparatus according to claim 1, further comprising an acquisition unit that controls a radiographic operation based on the examination information and acquires a radiographic image obtained by the radiography as a medical image photographed based on the examination information. image processing device. 前記検査情報は、放射線撮影の撮影部位と撮影方向を含むオーダ情報と、被写体の属性に関する被写体情報と、通常検査と緊急検査の種別を含む検査種類を示す情報、の少なくとも1つの情報を含む請求項1または2に記載の画像処理装置。 The examination information includes at least one of the following information: order information including the radiation imaging region and imaging direction, object information regarding the attributes of the object, and information indicating the examination type including the types of normal examination and emergency examination. Item 2. The image processing device according to item 1 or 2. 前記読出手段は、前記画像処理装置の内部または外部に設けられた記憶手段から、前記学習結果データ群を読み出す請求項1乃至3のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 3, wherein the reading means reads the learning result data group from a storage means provided inside or outside the image processing apparatus. 複数の検査情報のうちの第1の検査情報が選択された場合には、
前記読出手段は、前記照射野認識に関する学習結果データと、前記第1の検査情報に基づいて選択された第1の被写体部の検出に関する学習結果データとを1セットとする学習結果データ群を読み出し、
前記処理手段は、前記第1の検査情報に基づいて取得された医用画像において照射野を決定する処理と前記第1の被写体部を決定する処理とを行い、
前記複数の検査情報のうちの第2の検査情報が選択された場合には、
前記読出手段は、前記照射野認識に関する学習結果データと、前記第2の検査情報に基づいて選択された第2の被写体部の検出に関する学習結果データとを1セットとする学習結果データ群を読み出し、
前記処理手段は、前記第2の検査情報に基づいて取得された医用画像において照射野を決定する処理と前記第2の被写体部を決定する処理とを行う請求項1乃至4のいずれか1項に記載の画像処理装置。
When the first test information among the plural test information is selected,
The reading means reads out a learning result data group including one set of learning result data regarding the irradiation field recognition and learning result data regarding the detection of the first subject part selected based on the first examination information. ,
The processing means performs a process of determining an irradiation field in a medical image acquired based on the first examination information and a process of determining the first subject part,
When the second test information among the plurality of test information is selected,
The reading means reads out a learning result data group including one set of learning result data regarding the irradiation field recognition and learning result data regarding the detection of a second subject part selected based on the second inspection information. ,
5. The processing means performs a process of determining an irradiation field in a medical image acquired based on the second examination information and a process of determining the second subject part. The image processing device described in .
複数の検査情報のうちの1つをユーザに選択させる選択手段をさらに備え、
前記読出手段は、前記照射野認識に関する学習結果データと、前記選択手段で選択された1つの検査情報に基づいて選択された学習結果データとを1セットとする学習結果データ群を読み出す請求項1乃至5のいずれか1項に記載の画像処理装置。
Further comprising a selection means for allowing the user to select one of the plurality of inspection information,
2. The readout means reads out a learning result data group including one set of learning result data regarding the irradiation field recognition and learning result data selected based on one piece of examination information selected by the selection means. 6. The image processing device according to any one of 5 to 5.
前記複数の検査情報のそれぞれについて読み出すべき学習結果データを決定し、検査情報と読み出す学習結果データの対応を示す学習結果データ取得情報を生成する生成手段をさらに備え、
前記読出手段は、前記学習結果データ取得情報を参照して、前記選択された1つの検査情報に対応する学習結果データを読み出す請求項6に記載の画像処理装置。
Further comprising a generating means for determining learning result data to be read out for each of the plurality of pieces of test information and generating learning result data acquisition information indicating a correspondence between the test information and the learning result data to be read out,
7. The image processing apparatus according to claim 6, wherein the reading unit refers to the learning result data acquisition information and reads the learning result data corresponding to the selected piece of examination information.
前記読出手段により読み出された学習結果データを保持する保持手段をさらに備え、
前記読出手段は、前記検査情報に基づいて選択された学習結果データのうち、前記保持手段に保持されていない学習結果データを、前記複数の学習結果データを記憶する記憶手段から読み出す請求項1乃至7のいずれか1項に記載の画像処理装置。
Further comprising a holding means for holding the learning result data read by the reading means,
2. The reading means reads learning result data selected based on the test information that is not held in the holding means from the storage means storing the plurality of learning result data. 7. The image processing device according to any one of 7.
前記読出手段により読み出された学習結果データを保持する保持手段をさらに備え、
前記読出手段は、前記保持手段に保持されている学習結果データ以外の学習結果データを前記学習結果データ取得情報の参照により特定し、特定した学習結果データを追加的に読み出す請求項7に記載の画像処理装置。
Further comprising a holding means for holding the learning result data read by the reading means,
8. The reading means specifies learning result data other than the learning result data held in the holding means by referring to the learning result data acquisition information, and additionally reads out the identified learning result data. Image processing device.
前記読出手段は、検査情報に基づいて選択された学習結果データを読み出す際に、新たに読み出す学習結果データと排他的な関係にある学習結果データを前記保持手段から破棄する請求項8または9に記載の画像処理装置。 10. According to claim 8 or 9 , the reading means discards learning result data having an exclusive relationship with newly read learning result data from the holding means when reading the learning result data selected based on the test information. The image processing device described. 前記読出手段は、前記学習結果データ取得情報から、検査情報に依存せずに使用される学習結果データを特定し、特定した学習結果データを検査情報の選択に関わらず読み出す請求項7またはに記載の画像処理装置。 According to claim 7 or 9 , the reading means specifies learning result data to be used independently of test information from the learning result data acquisition information, and reads the identified learning result data regardless of selection of test information. The image processing device described. 前記読出手段は、前記特定した学習結果データを、検査情報の選択に先立って読み出す請求項11に記載の画像処理装置。 12. The image processing apparatus according to claim 11 , wherein the reading means reads out the identified learning result data prior to selecting examination information. 前記読出手段は、前記検査情報に含まれる単語に基づいて選択された学習結果データを読み出す、請求項1乃至12のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 12 , wherein the reading unit reads learning result data selected based on words included in the examination information. 請求項1乃至13のいずれか1項に記載された画像処理装置と、
前記医用画像を撮影する放射線検出装置と、
を備える放射線撮影システム。
An image processing device according to any one of claims 1 to 13 ;
a radiation detection device that captures the medical image;
A radiography system equipped with
予め機械学習によって取得した複数の学習結果データであって、照射野認識に関する学習結果データと、異なる複数種類の被写体部位又は病変部の検出に関する学習結果データとを含む複数の学習結果データのうち、前記照射野認識に関する学習結果データと、検査情報に基づいて前記異なる複数種類の被写体部位又は病変部の検出に関する学習結果データのうちから選択された少なくとも1つの学習結果データとを1セットとする学習結果データを読み出す読出工程と、
前記読み出された学習結果データを用いて、前記検査情報に基づいて取得された医用画像に推論処理を行うことにより、該医用画像において照射野を決定する処理と、該医用画像において被写体部位又は病変部を決定する処理とを含む複数の処理のうち、前記読み出された学習結果データに対応する処理を行う処理工程と、を備える画像処理方法。
A plurality of learning result data obtained in advance by machine learning, including learning result data regarding irradiation field recognition and learning result data regarding detection of multiple different types of object parts or lesion parts, Learning in which one set includes the learning result data regarding the irradiation field recognition and at least one learning result data selected from the learning result data regarding the detection of the plurality of different types of object parts or lesion parts based on the examination information. a reading step of reading the result data;
A process of determining an irradiation field in the medical image by performing inference processing on the medical image acquired based on the examination information using the read learning result data group , and a process of determining the subject part in the medical image. or a processing step of performing a process corresponding to the read learning result data group among a plurality of processes including a process of determining a lesion part.
コンピュータを、請求項1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 13 .
JP2018234710A 2018-12-14 2018-12-14 Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program Active JP7373273B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018234710A JP7373273B2 (en) 2018-12-14 2018-12-14 Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program
PCT/JP2019/043188 WO2020121685A1 (en) 2018-12-14 2019-11-05 Image processing device, image processing method, medical information processing device, medical information processing method, radiation imaging system, and program
EP19894761.6A EP3884867B1 (en) 2018-12-14 2019-11-05 Image processing apparatus, image processing method, radiation imaging system, and program
US17/342,615 US20210295514A1 (en) 2018-12-14 2021-06-09 Image processing apparatus, image processing method, medical information processing apparatus, medical information processing method, radiation imaging system, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234710A JP7373273B2 (en) 2018-12-14 2018-12-14 Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program

Publications (2)

Publication Number Publication Date
JP2020092976A JP2020092976A (en) 2020-06-18
JP7373273B2 true JP7373273B2 (en) 2023-11-02

Family

ID=71075479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234710A Active JP7373273B2 (en) 2018-12-14 2018-12-14 Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program

Country Status (4)

Country Link
US (1) US20210295514A1 (en)
EP (1) EP3884867B1 (en)
JP (1) JP7373273B2 (en)
WO (1) WO2020121685A1 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139889A (en) 1998-08-31 2000-05-23 Canon Inc Image collecting device, x-ray image collecting device, its method and computer-readable storing medium
JP2004073454A (en) 2002-08-16 2004-03-11 Konica Minolta Holdings Inc Instrument and method for photographing medical image, and program
JP2005111249A (en) 2003-06-19 2005-04-28 Konica Minolta Medical & Graphic Inc Image processing method, image processing apparatus and image processing program
JP2005118347A (en) 2003-10-17 2005-05-12 Canon Inc Digital x-ray image photographing apparatus, and drive control program of the same
JP2005296065A (en) 2004-04-06 2005-10-27 Konica Minolta Medical & Graphic Inc Medical image creating system and method, and display control program
JP2008167950A (en) 2007-01-12 2008-07-24 Fujifilm Corp Radiographic image processing method and apparatus, and program
JP2008167949A (en) 2007-01-12 2008-07-24 Fujifilm Corp Radiographic image processing method and apparatus, and program
JP2011050584A (en) 2009-09-02 2011-03-17 Canon Inc Radiographic imaging control apparatus and method
JP2012110693A (en) 2010-11-01 2012-06-14 Toshiba Corp Magnetic resonance imaging device and magnetic resonance image pickup method
JP2013102851A (en) 2011-11-11 2013-05-30 Konica Minolta Medical & Graphic Inc Medical imaging system, medical image processing apparatus, and program
JP2013233420A (en) 2012-04-12 2013-11-21 Fujifilm Corp X-ray exposure controller, x-ray image detection apparatus and x-ray image photographing system
JP2014000474A (en) 2013-10-07 2014-01-09 Canon Inc Control device, imaging method, control method, x-ray imaging system, computer program and recording medium
WO2018143180A1 (en) 2017-01-31 2018-08-09 株式会社ニデック Image processing device and image processing program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04261649A (en) 1990-08-20 1992-09-17 Fuji Photo Film Co Ltd Method and apparatus for analyzing radiation image
JPH0538334A (en) * 1991-03-08 1993-02-19 Fuji Photo Film Co Ltd Method of recognizing field of view of collimation of radiation
US5732697A (en) * 1995-11-22 1998-03-31 Arch Development Corporation Shift-invariant artificial neural network for computerized detection of clustered microcalcifications in mammography
US9846938B2 (en) * 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US10163028B2 (en) * 2016-01-25 2018-12-25 Koninklijke Philips N.V. Image data pre-processing
JP2017185007A (en) 2016-04-05 2017-10-12 株式会社島津製作所 Radiographic apparatus, radiation image object detection program, and object detection method in radiation image
CN109690554B (en) * 2016-07-21 2023-12-05 西门子保健有限责任公司 Method and system for artificial intelligence based medical image segmentation
JP7219227B2 (en) * 2017-11-30 2023-02-07 テルモ株式会社 SUPPORT SYSTEMS, SUPPORT METHODS AND PROGRAMS

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139889A (en) 1998-08-31 2000-05-23 Canon Inc Image collecting device, x-ray image collecting device, its method and computer-readable storing medium
JP2004073454A (en) 2002-08-16 2004-03-11 Konica Minolta Holdings Inc Instrument and method for photographing medical image, and program
JP2005111249A (en) 2003-06-19 2005-04-28 Konica Minolta Medical & Graphic Inc Image processing method, image processing apparatus and image processing program
JP2005118347A (en) 2003-10-17 2005-05-12 Canon Inc Digital x-ray image photographing apparatus, and drive control program of the same
JP2005296065A (en) 2004-04-06 2005-10-27 Konica Minolta Medical & Graphic Inc Medical image creating system and method, and display control program
JP2008167950A (en) 2007-01-12 2008-07-24 Fujifilm Corp Radiographic image processing method and apparatus, and program
JP2008167949A (en) 2007-01-12 2008-07-24 Fujifilm Corp Radiographic image processing method and apparatus, and program
JP2011050584A (en) 2009-09-02 2011-03-17 Canon Inc Radiographic imaging control apparatus and method
JP2012110693A (en) 2010-11-01 2012-06-14 Toshiba Corp Magnetic resonance imaging device and magnetic resonance image pickup method
JP2013102851A (en) 2011-11-11 2013-05-30 Konica Minolta Medical & Graphic Inc Medical imaging system, medical image processing apparatus, and program
JP2013233420A (en) 2012-04-12 2013-11-21 Fujifilm Corp X-ray exposure controller, x-ray image detection apparatus and x-ray image photographing system
JP2014000474A (en) 2013-10-07 2014-01-09 Canon Inc Control device, imaging method, control method, x-ray imaging system, computer program and recording medium
WO2018143180A1 (en) 2017-01-31 2018-08-09 株式会社ニデック Image processing device and image processing program

Also Published As

Publication number Publication date
EP3884867B1 (en) 2023-09-06
JP2020092976A (en) 2020-06-18
US20210295514A1 (en) 2021-09-23
EP3884867A4 (en) 2022-07-27
EP3884867A1 (en) 2021-09-29
WO2020121685A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US10410381B2 (en) Method and apparatus for processing tomographic image
KR102004695B1 (en) Radiography system, control method, and storage medium
US11047809B2 (en) Radiation imaging system, radiation imaging method, control apparatus, and computer-readable medium
CN107582084B (en) Radiographic system, dose index management method, and storage medium
JP7108457B2 (en) Radiation imaging device, area dose acquisition device and method, and program
JP7373273B2 (en) Image processing device, image processing method, medical information processing device, medical information processing method, radiography system and program
WO2023100926A1 (en) Medical information processing method and medical information processing device
JP6863191B2 (en) Radiation imaging support device Radiation imaging support method
US10413252B2 (en) Medical image display apparatus and medical image management system
JP2020081326A (en) Image processing apparatus, image processing method, radiographic apparatus and program
JP7487159B2 (en) Medical image processing device, medical image processing method and program
US11538187B2 (en) Radiographic system, radiographic method, and storage medium
JP2003275194A (en) Medical image processing device, medical image processing method, program and recording medium
US20220160319A1 (en) Apparatus, system, method, and storage medium
JP7426899B2 (en) Radiography device, radiography system, radiography device control method, and program
US20230005105A1 (en) Radiation imaging system, image processing method, and storage medium
JP7353853B2 (en) Image processing device, radiography system, program, and image processing method
JP2015093013A (en) Radiation image processing device, radiographic apparatus, and control methods, and programs thereof
US20220163463A1 (en) Apparatus, system, method, and storage medium
JP2013039198A (en) X-ray radiography control apparatus and method
JP2005027739A (en) X-ray apparatus
JP6814008B2 (en) Radiation tomography equipment and its control program
JP2008061957A (en) X-ray ct device, and data processing method in x-ray ct device
JP6234490B2 (en) X-ray imaging control apparatus, information processing apparatus, information processing method, program, and recording medium
JP2020151382A (en) Radiographic image processing apparatus, radiographic image processing method, program, computer-readable recording medium, and radiography system

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7373273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151