JP2020503075A - 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム - Google Patents

診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム Download PDF

Info

Publication number
JP2020503075A
JP2020503075A JP2018562523A JP2018562523A JP2020503075A JP 2020503075 A JP2020503075 A JP 2020503075A JP 2018562523 A JP2018562523 A JP 2018562523A JP 2018562523 A JP2018562523 A JP 2018562523A JP 2020503075 A JP2020503075 A JP 2020503075A
Authority
JP
Japan
Prior art keywords
image
mri
probability
conversion
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018562523A
Other languages
English (en)
Inventor
ソンビン ジン、
ソンビン ジン、
ウォンジン キム、
ウォンジン キム、
ウンシク パク、
ウンシク パク、
ヨンセム アン、
ヨンセム アン、
ビン ヤン、
ビン ヤン、
ミョンゴル ユ、
ミョンゴル ユ、
ソンス チュ、
ソンス チュ、
Original Assignee
ヨンセム アン、
ヨンセム アン、
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170154251A external-priority patent/KR102036416B1/ko
Application filed by ヨンセム アン、, ヨンセム アン、 filed Critical ヨンセム アン、
Priority claimed from KR1020180141923A external-priority patent/KR20200057463A/ko
Publication of JP2020503075A publication Critical patent/JP2020503075A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供する。【解決手段】本発明の少なくとも一つの実施例に係る診断映像変換装置は、ＣＴ映像を入力するための入力部と、前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、前記変換モジュールが変換したＭＲＩ映像を出力するための出力部とを備える。【選択図】図２

Description

本発明は、診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びコンピューター読み取り可能な記録媒体に関する。
診断映像技術は、ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｉｎｇ）などを用いて人体の構造及び解剖学的映像を撮影するための医療技術である。人工知能の発展のお陰でこのような診断映像技術を用いた医療映像の自動化された分析が可能となり、実際の診療に適用可能なレベルまで至っている。
特許文献１は、ＣＴ装置とＭＲＩ装置を結合し、ＣＴ装置で信号源を回転し、ＭＲＩ装置の磁場信号に、信号源を変形するＭＲＩとＣＴを結合したＭＲＣＴ診断装置を開示している。
ＣＴスキャンは、応急室などで使用され、骨の構造に関する詳細情報を提供する一方、ＭＲＩ装置は、靱帯や筋の負傷時に軟組織の検査や腫瘍の検出などに適合する。
ＣＴ装置の長所は、Ｘ−ｒａｙを用いて短時間にスキャンが可能であるので、人体の動きによる動作雑音（Ｍｏｔｉｏｎ Ａｒｔｉｆａｃｔ）による影響を最小化し、鮮明な映像を得ることができる。ＣＴ撮影に造影剤（Ｃｏｎｔｒａｓｔ Ａｇｅｎｔ）を一緒に用いると、血管内の濃度が最も高い時点にスキャンを行うことで、ＣＴ血管撮影が可能である。
ＭＲＩ装置は、核磁気共鳴（Ｎｕｃｌｅａｒ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）の原理を利用して人体の解剖学的変化を感知するので、人体を放射線に露出しないで高解像度の解剖学的映像を得ることができる。ＣＴが横断面のみを見せるのに対し、ＭＲＩは縦横断面を両方見せる立体映像で患部を見ることができ、ＣＴより高い解像度の映像でより細密な検査が可能である。
ＣＴは数分程度で検査が終わるが、ＭＲＩは約３０分〜１時間程度の検査時間が必要である。従って、交通事項や脳出血などの緊急事態では検査時間が短いＣＴが有用である。
ＭＲＩはＣＴに比べてより精密な３次元の映像を見ることが可能であり、複数の角度で見ることができるという長所を持っている。筋肉、軟骨、靱帯、血管、及び神経などの軟部組織の撮影の際にＣＴに比べてより正確な診断を行うことができる。
一方、ペースメーカー（Ｃａｒｄｉａｃ Ｐａｃｅｍａｋｅｒ）、金属インプラント、または入れ墨などを持っている患者は、患者の負傷の危険とイメージの歪曲（揺れまたはノイズ）などの理由でＭＲＩの使用が禁止されている。
韓国特許公開公報第１０−２０１７−００８５７５６号
交通事故や脳出血などの緊急事態では、検査時間が短いＣＴが有用であるが、ＣＴは診断しにくい疾患があり、ＭＲＩは検査時間が長いがＣＴよりもっとたくさんのものを見ることができる。従って、ＣＴ映像のみでＭＲＩ映像と同等な効果を得ることができれば、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
本発明は、上述した従来の要求に応えるために成されたものであり、本発明の一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供することである。
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供することである。
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供することである。
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供することである。
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供することである。
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供することである。
本発明の解決課題は以上で言及されたものに限定されず、言及されていない他の解決課題は下記の記載から当該技術分野における通常の知識を有した者に明確に理解できるであろう。
本発明の少なくとも一つの実施例においては、ＣＴ映像を入力するための入力部と、前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、前記変換モジュールが変換したＭＲＩ映像を出力するための出力部とを備える、診断映像変換装置を提供する。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記入力部を介して入力されたＣＴ映像を、撮影された断層の位置によって分類する分類部をさらに備え、前記変換モジュールは、前記分類部によって分類されたＣＴ映像をＭＲＩ映像に変換する。
本発明の少なくとも一つの実施例において、前記分類部は、前記ＣＴ映像を、撮影された断層の位置によって、脳の最上段から眼球が現れる前までの映像を第１層映像として分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像として分類する。
本発明の少なくとも一つの実施例において、前記変換モジュールは、前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換モジュールと、前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換モジュールと、前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換モジュールと、前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換モジュールと、を含む。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記入力部を介して入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理部をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記変換モジュールが変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理部をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記変換モジュールが変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価部をさらに備える。
本発明の少なくとも一つの実施例においては、前記診断映像変換装置の前記変換モジュールを生成するための診断映像変換モジュール生成装置であって、学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成子と、学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成子と、前記ＭＲＩ生成子が生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別子と、前記ＣＴ生成子が生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別子と、前記ＭＲＩ判別子から出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定子と、前記ＣＴ判別子から出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定子と、前記ＭＲＩ生成子が生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定子と、前記ＣＴ生成子が生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定子と、を備え、前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、診断映像変換モジュール生成装置を提供する。
本発明の少なくとも一つの実施例において、前記診断映像変換モジュール生成装置は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する。
本発明の少なくとも一つの実施例においては、ＣＴ撮影のためのＸ線を発生するＸ線発生装置と、前記Ｘ線発生装置から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置と、前記データ取得装置が取得した前記映像データからＣＴ映像を構成して出力する映像構成装置と、前記映像構成装置が構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する前記診断映像変換装置と、前記ＣＴ映像と前記ＭＲＩ映像を表示するディスプレイ装置と、を備え、前記ディスプレイ装置は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する、診断映像撮影装置を提供する。
本発明の少なくとも一つの実施例においては、ＣＴ映像を入力する入力工程と、前記入力工程で入力されたＣＴ映像をＭＲＩ映像に変換する変換工程と、前記変換工程で変換されたＭＲＩ映像を出力する出力工程と、を備える、診断映像変換方法を提供する。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記入力工程で入力されたＣＴ映像を、撮影された断層の位置によって分類する分類工程をさらに備え、前記変換工程は、前記分類工程で分類されたＣＴ映像をＭＲＩ映像に変換する工程を含む。
本発明の少なくとも一つの実施例において、前記分類工程は、前記ＣＴ映像を、撮影された断層の位置によって、脳の最上段から眼球が現れる前までの映像を第１層映像として分類する工程と、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類する工程と、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類する工程と、脳室が終わった後、脳の最下段までの映像を第４層映像として分類する工程とを含む。
本発明の少なくとも一つの実施例において、前記変換工程は、前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換工程と、前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換工程と、前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換工程と、前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換工程と、を含む。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記入力工程で入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理工程をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記変換工程で変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理工程をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記変換工程で変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価工程をさらに備える。
本発明の少なくとも一つの実施例においては、前記診断映像変換方法の変換工程で用いられる変換モジュールを生成するための診断映像変換モジュール生成方法であって、学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成工程と、学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成工程と、前記ＭＲＩ生成工程で生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別工程と、前記ＣＴ生成工程で生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別工程と、前記ＭＲＩ判別工程で出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定工程と、前記ＣＴ判別工程で出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定工程と、前記ＭＲＩ生成工程で生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定工程と、前記ＣＴ生成工程で生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定工程と、前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する加重値修正工程を備える、診断映像変換モジュール生成方法を提供する。
本発明の少なくとも一つの実施例において、前記加重値修正工程は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する工程を含む。
本発明の少なくとも一つの実施例においては、ＣＴ撮影のためのＸ線を発生するＸ線発生工程と、前記Ｘ線発生工程で発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得工程と、前記データ取得工程で取得した前記映像データからＣＴ映像を構成して出力する映像構成工程と、前記映像構成工程で構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する前記診断映像変換方法を実行する診断映像変換工程と、前記ＣＴ映像と前記ＭＲＩ映像を表示する映像表示工程と、を備え、前記映像表示工程は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する工程を含む、診断映像撮影方法を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像変換方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像変換モジュール生成方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像撮影方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供できるという効果を奏する。
本発明の少なくとも一つの実施例によれば、ＣＴ映像をＭＲＩ映像に変換し、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約できるという効果を奏する。
本発明の効果は以上で言及されたものなどに限定されず、言及されていない他の効果は下記の記載から当該技術分野における通常の知識を有した者に明確に理解できるはずである。
本発明の少なくとも一つの実施例に係る診断映像変換装置で用いるペアドデータ（Ｐａｉｒｅｄ Ｄａｔａ）とアンペアドデータ（Ｕｎｐａｉｒｅｄ Ｄａｔａ）を説明するためのイメージである。 本発明の少なくとも一つの実施例に係る診断映像変換装置の機能ブロック図である。 本発明の少なくとも一つの実施例に係る診断映像変換装置の分類部が分類する映像の一例を説明するためのイメージである。 本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の機能ブロック図である。 本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習を説明するための概略図である。 本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習を説明するための概略図である。 本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習方法を説明するためのフローチャートである。 本発明の少なくとも一つの実施例に係る診断映像変換方法を説明するためのフローチャートである。 ＣＴ映像とＭＲＩ映像のペアドデータの生成を説明するためのイメージである。 ペアドデータとアンペアドデータを用いた複合サイクル一致構造（Ｄｕａｌ Ｃｙｃｌｅ−Ｃｏｎｓｉｓｔｅｎｔ Ｓｔｒｕｃｔｕｒｅ）の例を示す概略図である。 入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像との絶対誤差を示すイメージである。 入力ＣＴ映像、ペアドデータ、アンペアドデータ、及びペアドデータとアンペアドデータを用いた場合の合成ＭＲＩ映像、及び参照ＭＲＩ映像を示すイメージである。 本発明の少なくとも一つの実施例に係る診断映像撮影装置の機能ブロック図である。
以下、添付図面を参照し、本発明の少なくとも一つの実施例に係る診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びコンピューター読み取り可能な記録媒体について詳しく説明する。
図１は、本発明の少なくとも一つの実施例に係る診断映像変換装置で用いるペアドデータ（Ｐａｉｒｅｄ Ｄａｔａ）とアンペアドデータ（Ｕｎｐａｉｒｅｄ Ｄａｔａ）を説明するためのイメージである。
ペアドデータを用いたラーニングを介してｐｉｘ２ｐｉｘモデルを使用してＭＲＩ映像をＣＴ映像に変換する技術、ペアドデータを用いたラーニングを介してＦＣＮ及びｐｉｘ２ｐｉｘモデルを使用してＣＴ映像をＰＥＴ（Ｐｏｓｉｔｉｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）映像に変換する技術、ペアドデータを用いたラーニングを介してｐｉｘ２ｐｉｘモデルを使用してＣＴ映像をＰＥＴ映像に変換する技術、及びアンペアドデータを用いたラーニングを介してｃｙｃｌｅＧＡＮモデルを使用してＭＲＩ映像をＣＴ映像に変換する技術が公開されている。
図１で、左側は同一の患者の同一の解剖学的構造を撮影したＣＴとＭＲＩスライスで構成したペアドデータであり、右側は異なる患者の異なる解剖学的構造を撮影したＣＴとＭＲＩスライスで構成したアンペアドデータである。
ペアドデータを用いたペアドトレーニング方法は、結果が良好で、たくさんの量のＣＴとＭＲＩの整列された映像ペアを手に入れなくても良いという利点があるが、確実に整列されたデータを得ることが難しいし、データを手に入れるのにたくさんの費用が掛かるという短所がある。
一方、アンペアドデータを用いたアンペアドトレーニング方法は、たくさんの量のデータの確保が可能であるので、トレーニングデータをネズミ算式に増やし、現在のディープラーニングベースのシステムの多くの制約を解消できるという利点があるが、ペアドトレーニング方法に比べて結果の質が衰え、性能に多くの差があるという短所がある。
本発明の少なくとも一つの実施例では、ペアドデータとアンペアドデータを両方用いてＣＴ映像をＭＲＩ映像に変換することで、ペアドトレーニングの短所とアンペアドトレーニングの短所を補うアプローチを提供する。
図２は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の機能ブロック図である。
図２に示すように、本発明の少なくとも一つの実施例に係る診断映像変換装置２００は、前処理部２２０、分類部２３０、変換モジュール（変換部）２４０、後処理部２５０、及び評価部２６０で構成され、例えば、脳を撮影したＣＴ映像をＭＲＩ映像に変換して提供する。
前処理部２２０は、ＣＴ映像の入力を受け、入力されたＣＴ映像に対する前処理を行って分類部２３０に提供する。ここで、前処理は、例えば、正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）、グレー変換（Ｇｒａｙ Ｓｃａｌｉｎｇ）、及びサイズ調整（Ｒｅｓｉｚｅ）などを含む。
本発明の少なくとも一つの実施例において、前処理部２２０は、次の数式１のように、入力されたＣＴ映像の各ピクセルの値を次のように最大最小正規化（Ｍｉｎ−Ｍａｘ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を行って前もって設定した範囲内のピクセルの値に変換する。
数式１
ここで、vは、入力されたＣＴ映像のピクセルの値であり、v'は、ピクセルの値vを正規化したピクセルの値である。min_a及びmax_aは、入力されたＣＴの最小及び最大ピクセルの値であり、min_b及びmax_bは、正規化しようとする範囲の最小及び最大ピクセルの値である。
正規化後、前処理部２２０は、ＣＴ映像の映像チャネル数を１に調整するグレー変換を行う。それから、前処理部２２０は、ＣＴ映像のサイズを前もって設定した大きさに調整（Ｒｅｓｉｚｅ）する。例えば、前処理部２２０は、ＣＴ映像のサイズを２５６ｘ２５６ｘ１の大きさに調整することができる。
分類部２３０は、入力されたＣＴ映像を前もって設定した複数（例えば、4個）の分類のうちいずれか一つに分類する。脳のＣＴ映像はＣＴ撮影の対象である被験者が寝た状態で脳の垂直断面を撮影する。
本発明の少なくとも一つの実施例によれば、脳の断面を眼球部分が含まれるのか否か及び側脳室（Ｌａｔｅｒａｌ Ｖｅｎｔｒｉｃｌｅ）及び脳室（Ｖｅｎｔｒｉｃｌｅ）が含まれるか否かによって４つの層に分類する。これによって、分類部２３０は、脳の最上段から最下段まで断層撮影した映像から眼球部分が含まれるか否か及び側脳室及び脳室が含まれるか否かによって４つの層に分ける。
図３は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の分類部２２０が分類する映像の一例を説明するためのイメージである。
図３の（ｍ１）は第１層の映像の一例である。分類部２３０は、脳の最上段から眼球が現れる以前までの映像を第１層映像ｍ１として分類する。このように、第１層映像ｍ１は、脳の最上段から順次脳の眼球部分が見える前まで撮影した映像で、ａｌ部分を見ると、脳の眼球部分が全然見えていない。
図３の（ｍ２）は第２層映像の一例である。分類部２３０は、眼球が現れ始めた映像から側脳室が現れる以前までの映像を第２層映像ｍ２に分類する。第２層映像ｍ２は、映像でａ２部分に示すように、眼球が見え始めてからｂ１部分に示すように側脳室が見える前までの映像であるので、映像で眼球部分が存在し、側脳室は見えていない。
図３の（ｍ３）は第３層映像の一例である。分類部２３０は、側脳室が現れ始めてから脳室が終わる前までの映像を第３層映像ｍ３に分類する。このように、第３層映像ｍ３は、側脳室が見え始めてから脳室が終わる前までの映像であるので、映像に側脳室または脳室が存在する。
図３の（ｍ４）は第４層映像の一例である。分類部２３０は、脳室が終わってから脳の最下段までの映像を第４層映像ｍ４に分類する。このように、第４層映像ｍ４は、脳室が終わってから脳の最下段までの映像で、映像に側脳室または脳室は存在しない。
図３ではＣＴ映像を例として脳の断面を複数の層に分類しているが、ＭＲＩ映像もＣＴ映像と同様に分類することができる。
分類部２３０は、人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。このような人工神経網は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。これによって、分類部２３０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４を学習データとして、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４を学習することができる。
図４は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の変換部２３０の機能ブロック図である。図５及び図６は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の変換部２３０の学習を説明するための概略図である。
図４に示すように、変換部２４０は、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４を含む。第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４は、それぞれ第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に対応する。これによって、分類部２３０は、入力されるＣＴ映像を第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に分類した後、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールに供給する。
変換部２４０は、分類部２３０から入力されるＣＴ映像をＭＲＩ映像に変換する。
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４はそれぞれ人工神経網を含む。このような人工神経網は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を含む。本発明の少なくとも一つの実施例に係る第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のそれぞれに含まれる人工神経網の詳細構成を図５及び図６に示す。
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４それぞれの人工神経網は、ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を含む。
ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）のそれぞれは、独立した人工神経網であり、本発明の少なくとも一つの実施例においてはＣＮＮである。ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）のそれぞれは、複数の階層を含み、それぞれの階層は複数の演算を含む。さらに、複数の演算はそれぞれ加重値（Ｗｅｉｇｈｔ）を含む。
複数の階層は、入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）、コンボリューション層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ポーリング層（Ｐｏｌｌｉｎｇ Ｌａｙｅｒ）、完全接続層（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）、及び出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）のうち少なくとも一つを含む。複数の演算は、コンボリューション演算、ポーリング演算、シグモード（Ｓｉｇｍｏｄｅ）演算、ハイパータンジェンシャル演算などを含む。このような演算はそれぞれ以前の階層の演算の結果を入力として受けて演算を行い、それぞれの演算は加重値を含む。
図５及び図６を参照すると、ＭＲＩ生成子（Ｇ）は、ＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成する。即ち、ＭＲＩ生成子（Ｇ）は、ピクセル単位で複数の演算を行い、入力されたＣＴ映像のピクセルを複数の演算を介してＭＲＩ映像のピクセルに変換してＭＲＩ映像を生成する。ＣＴ生成子（Ｆ）は、ＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成する。即ち、ＣＴ生成子（Ｆ）は、ピクセル単位で複数の演算を行い、入力されたＭＲＩ映像のピクセルを複数の演算を介してＣＴ映像のピクセルに変換してＣＴ映像を生成する。
図５に示すように、ＭＲＩ判別子（ＭＤ）は、映像が入力されると、入力された映像に対して複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力する。ここで、ＭＲＩ判別子（ＭＤ）に入力される映像は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像（ｃＭＲＩ）または学習データであるＭＲＩ映像（ｒＭＲＩ）である。
ＭＲＩ確率損失測定子（ＭＳＬ）は、ＭＲＩ判別子（ＭＤ）からＭＲＩ判別子（ＭＤ）の出力値である、ＭＲＩ判別子（ＭＤ）に入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を入力として受け、ＭＲＩ映像である確率とＭＲＩ映像でない確率の出力値と期待値との差である確率損失を算出する。このとき、確率損失を算出するためにｓｏｆｔｍａｘ関数を用いることができる。
ＭＲＩ判別子（ＭＤ）は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像または学習データであるＭＲＩ映像が入力され、ＭＲＩ生成子（Ｇ）が十分学習された状態であれば、ＭＲＩ判別子（ＭＤ）は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像または学習データであるＭＲＩ映像を両方ともＭＲＩ映像として判別することを期待できる。このような場合、ＭＲＩ判別子（ＭＤ）は、ＭＲＩ映像である確率がＭＲＩ映像でない確率より高く、ＭＲＩ映像である確率が所定値以上であり、ＭＲＩ映像でない確率が所定値以下として出力することを期待できる。しかし、十分学習が行われてない場合は、ＭＲＩ判別子（ＭＤ）の出力値と期待値には差があり、ＭＲＩ確率損失測定子（ＭＳＬ）はこのような出力値と期待値との差を算出する。
ＭＲＩ生成子（Ｇ）がＭＲＩ生成子（Ｇ）に入力されたＣＴ映像（ｒＣＴ）からＭＲＩ映像（ｃＭＲＩ）を生成すると、ＣＴ生成子（Ｆ）は生成されたＭＲＩ映像（ｃＭＲＩ）からＣＴ映像（ｃＣＴ）を再び生成することができる。ＣＴ基準損失測定子（ＣＬＬ）は、ＣＴ生成子（Ｆ）が再び生成したＣＴ映像（ｃＣＴ）とこれの基準になるＭＲＩ生成子（Ｇ）に入力されたＣＴ映像（ｒＣＴ）の差である基準損失を算出する。このような基準損失はＬ２ ｎｏｒｍ演算を介して算出することができる。
図６に示すように、ＣＴ判別子（ＣＤ）は、映像が入力されると、入力された映像に対して複数の演算を行い、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力する。ここで、ＣＴ判別子（ＣＤ）に入力される映像は、ＣＴ生成子（Ｆ）が生成したＣＴ映像（ｃＣＴ）または学習データであるＣＴ映像（ｒＣＴ）である。
ＣＴ確率損失測定子（ＣＳＬ）は、ＣＴ判別子（ＣＤ）からＣＴ判別子（ＣＤ）の出力値であるＣＴ判別子（ＣＤ）に入力された映像がＣＴ映像である確率とＣＴ映像でない確率を受け、ＣＴ映像である確率とＣＴ映像でない確率の出力値と期待値との差である確率損失を算出する。このとき、確率損失を算出するためにｓｏｆｔｍａｘ関数を用いることができる。
ＣＴ判別子（ＣＤ）には、ＣＴ生成子（Ｆ）が生成したＣＴ映像または学習データであるＣＴ映像が入力され、ＣＴ生成子（Ｆ）が十分学習された状態であれば、ＣＴ判別子（ＣＤ）はＣＴ生成子（Ｆ）が生成したＣＴ映像（ｃＣＴ）または学習データであるＣＴ映像（ｒＣＴ）を両方ともＣＴ映像として判別することを期待できる。このような場合、ＣＴ判別子（ＣＤ）は、ＣＴ映像である確率がＣＴ映像でない確率より高く、ＣＴ映像である確率が所定値以上であり、ＣＴ映像でない確率が所定値以下として出力することを期待できる。しかし、十分学習が行われてない場合は、ＣＴ判別子（ＣＤ）の出力値と期待値には差があり、ＣＴ確率損失測定子（ＣＳＬ）はこのような出力値と期待値との差を算出する。
ＣＴ生成子（Ｆ）がＣＴ生成子（Ｆ）に入力されたＭＲＩ映像（ｒＭＲＩ）からＣＴ映像（ｃＣＴ）を生成すると、ＭＲＩ生成子（Ｇ）は、生成されたＣＴ映像（ｃＣＴ）からＭＲＩ映像（ｃＭＲＩ）を再び生成することができる。ＭＲＩ基準損失測定子（ＭＬＬ）は、ＭＲＩ生成子（Ｇ）が再び生成したＭＲＩ映像（ｃＭＲＩ）とこれの基準となるＣＴ生成子（Ｆ）に入力されたＭＲＩ映像（ｒＭＲＩ）との差である基準損失を算出する。このような基準損失はＬ２ のｒｍ演算を介して算出することができる。
基本的に、変換部２４０の人工神経網は、ＣＴ映像をＭＲＩ映像に変換するためのものである。ＭＲＩ生成子（Ｇ）は、ＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成する。このために、ＭＲＩ生成子（Ｇ）に対する学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）が要求される。以下、前述したＭＲＩ生成子（Ｇ）を始め、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を介した学習方法について説明する。
ＣＴ映像及びＭＲＩ映像は、同様に脳の断面を撮影するが、ＣＴとＭＲＩの装置と特性上、正確にマッチングする断面を撮影することはできない。従って、ＣＴ映像断面が同一のＭＲＩ映像は存在しないと言える。そのため、ＣＴ映像をＭＲＩ映像に変換することを学習するために、図５に示すような順方向プロセスと図６に示すような逆方向プロセスを介して確率損失と基準損失を求め、確率損失と基準損失が最小になるように逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）を介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する。
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のそれぞれの人工神経網が十分学習された変換部２４０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４の何れか一つのＣＴ映像が入力されると、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応するモジュールの人工神経網を介してＭＲＩ映像に変換する。このように変換されたＭＲＩ映像は後処理部２５０に供給される。
後処理部２５０は、変換部２４０が変換したＭＲＩ映像に対する後処理を行う。後処理は、イメージの品質（Ｑｕａｌｉｔｙ）を向上させるためのデコンボリューション（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を含む。ここで、デコンボリューションは、逆フィルタリング、焦点合わせなどを含む。後処理部２５０は選択的な構成で、必要に応じて省略することができる。
評価部２６０は、変換部２４０が変換したＭＲＩ映像または後処理部２５０を経た映像がＭＲＩ映像である確率とＣＴ映像である確率を出力する。評価部２６０は、人工神経網を含み、このような人工神経網は、例えば、ＣＮＮである。評価部２６０は、入力層、コンボリューション層、ポーリング層、完全接続層、及び出力層のうち少なくとも一つを含み、各層は複数の演算、即ちポーリング演算、シグモード演算、ハイパータンジェンシャル演算のうち少なくとも一つを含む。各演算は加重値を有する。
学習データはＣＴ映像またはＭＲＩ映像を含む。人工神経網に学習データとしてＣＴ映像が入力されると、人工神経網の出力はＭＲＩ映像である確率よりＣＴ映像である確率が高く出力されると期待されるし、学習データとしてＭＲＩ映像が入力されると、人工神経網の出力はＣＴ映像である確率よりＭＲＩ映像である確率が高く出力されると期待される。学習の際に、このような出力に対する期待値は実際の出力値と差がある。従って、学習データを入力した後、このような期待値と出力値との差を求め、期待値と出力値との差が最小になるように逆伝搬アルゴリズムを介して評価部２６０の人工神経網の複数の演算の加重値を修正する。
どのような学習データを入力した場合にも期待値と出力値との差が所定値以下で変動がなければ、十分学習されたものとして判断する。十分学習が行われた後、評価部２６０は、変換部２４０が変換したＭＲＩ映像がＭＲＩ映像であるか否かを判断するために用いられる。特に、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。このとき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われていると判断することができる。
図７は、本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習方法を説明するためのフローチャートである。
以下、説明の便宜のため、ＭＲＩ機器が撮影したＭＲＩ映像を実際ＭＲＩ映像（ｒＭＲＩ）と称し、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像を変換ＭＲＩ映像（ｃＭＲＩ）と称し、ＣＴ機器が撮影したＣＴ映像を実際ＣＴ映像（ｒＣＴ）と称し、ＣＴ生成子（Ｆ）が生成したＣＴ映像を変換ＣＴ映像（ｃＣＴ）と称する。
前述のように、本発明の少なくとも一つの実施例に係る変換部２４０の人工神経網に対する学習は、図５に示すような順方向プロセスと図６に示すような逆方向プロセスを介して確率損失と基準損失を求め、確率損失と基準損失が最小になるように逆伝搬アルゴリズムを介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する過程である。
図５及び図７を参照して順方向プロセスに関して説明すると、変換部２４０は、ステップＳ７１０で学習データである実際ＣＴ映像（ｒＣＴ）をＭＲＩ生成子（Ｇ）に入力する。ＭＲＩ生成子（Ｇ）は、ステップＳ７２０で実際ＣＴ映像（ｒＣＴ）から変換ＭＲＩ映像（ｃＭＲＩ）を生成する。変換部２４０は、ステップＳ７３０で変換ＭＲＩ映像（ｃＭＲＩ）及び実際ＭＲＩ映像（ｒＭＲＩ）それぞれをＭＲＩ判別子（ＭＤ）に入力する。そして、ＭＲＩ判別子（ＭＤ）は、ステップＳ７４０で変換ＭＲＩ映像（ｃＭＲＩ）及び実際ＭＲＩ映像（ｒＭＲＩ）それぞれに対してＭＲＩ映像である確率とＭＲＩ映像でない確率を出力する。続いて、ＭＲＩ確率損失測定子（ＭＳＬ）は、ステップＳ７５０でＭＲＩ判別子（ＭＤ）からＭＲＩ映像である確率とＭＲＩ映像でない確率を受け、ＭＲＩ映像である確率とＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出する。
一方、変換部２４０は、ステップＳ７６０でＭＲＩ生成子（Ｇ）が出力した変換ＭＲＩ映像（ｃＭＲＩ）をＣＴ生成子（Ｆ）に入力する。すると、ＣＴ生成子（Ｆ）は、ステップＳ７７０で変換ＭＲＩ映像（ｃＭＲＩ）から変換ＣＴ映像（ｃＣＴ）を生成する。そして、ＣＴ基準損失測定子（ＣＬＬ）は、ステップＳ７８０でＣＴ生成子（Ｆ）が生成した変換ＣＴ映像（ｃＣＴ）と先に（ステップＳ７１０で）入力された学習データである実際ＣＴ映像（ｒＣＴ）との差である基準損失を算出する。
次に、図６及び図７を参照して逆方向プロセスに関して説明すると、変換部２４０は、ステップＳ７１５で学習データである実際ＭＲＩ映像（ｒＭＲＩ）をＣＴ生成子（Ｆ）に入力する。ＣＴ生成子（Ｆ）は、ステップＳ７２５で実際ＭＲＩ映像（ｒＭＲＩ）から変換ＣＴ映像（ｃＣＴ）を生成する。変換部２４０は、ステップＳ７３５で変換ＣＴ映像（ｃＣＴ）及び実際ＣＴ映像（ｒＣＴ）それぞれをＣＴ判別子（ＣＤ）に入力する。すると、ＣＴ判別子（ＣＤ）は、ステップＳ７４５で変換ＣＴ映像（ｃＣＴ）及び実際ＣＴ映像（ｒＣＴ）それぞれに対してＣＴ映像である確率とＣＴ映像でない確率を出力する。続いて、ＣＴ確率損失測定子（ＣＳＬ）は、ステップＳ７５５でＣＴ判別子（ＣＤ）からＣＴ映像である確率とＣＴ映像でない確率を受け、ＣＴ映像である確率とＣＴ映像でない確率の期待値と出力値との差である確率損失を算出する。
一方、変換部２４０は、ステップＳ７６５でＣＴ生成子（Ｆ）が出力した変換ＣＴ映像（ｃＣＴ）をＭＲＩ生成子（Ｇ）に入力する。すると、ＭＲＩ生成子（Ｇ）は、ステップＳ７７５で変換ＣＴ映像（ｃＣＴ）から変換ＭＲＩ映像（ｃＭＲＩ）を生成する。そして、ＭＲＩ基準損失測定子（ＭＬＬ）は、ステップＳ７８５でＭＲＩ生成子（Ｇ）が生成した変換ＭＲＩ映像（ｃＭＲＩ）と先に（ステップＳ７１５で）入力された学習データである実際ＭＲＩ映像（ｒＭＲＩ）との差である基準損失を算出する。
次に、変換部２４０は、ステップＳ７９０で順方向プロセスのステップＳ７５０とステップＳ７８０で算出した確率損失と基準損失及び順方向プロセスのステップＳ７５５とステップＳ７８５で算出した確率損失と基準損失が最小になるように逆伝搬アルゴリズムを介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する。
本発明の少なくとも一つの実施例によれば、前述した学習過程は、複数の学習データ、即ち実際ＣＴ映像（ｒＣＴ）及び実際ＭＲＩ映像（ｒＭＲＩ）を用いて確率損失と基準損失が前もって設定した数値以下になるまで繰り返して行われる。従って、変換部２４０は、前述した順方向プロセス及び逆方向プロセスの結果、確率損失と基準損失が前もって設定した数値以下になれば、十分学習が完了したものとして判断し、学習過程を終了する。
一方、他の実施例によると、前述した学習過程の終了は評価部２６０によって決定することができる。即ち、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。ことのき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２６０の学習が十分行われているものとして判断し、学習過程を終了することができる。
次に、本発明の少なくとも一つの実施例に係る診断映像を変換する方法を説明する。図８は、本発明の少なくとも一つの実施例に係る診断映像変換方法を説明するためのフローチャートである。
図８に示すように、ステップＳ８１０でＣＴ映像が入力されると、前処理部２２０は、ステップＳ８２０でＣＴ映像に対する前処理を実行する。ここで、前処理は、正規化、グレー変換、及びサイズ調整を含む。このようなステップＳ８２０での前処理は省略可能である。
次に、分類部２３０は、ステップＳ８３０で入力されたＣＴ映像を前もって設定した４つの分類のうちいずれか一つに分類し、変換部２４０の第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールに供給する。このとき、分類部２３０は、脳の最上段から眼球が現れる前までの映像を 第１層映像ｍ１に分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像ｍ２として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像ｍ３として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像ｍ４として分類する。
次に、変換部２４０は、ステップＳ８４０で分類部２３０が分類したＣＴ映像を第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールを介してＭＲＩ映像に変換する。ここで、対応する変換モジュール（２３１、２３２、２３３、２３４のうち何れか一つ）は人工神経網を含み、このような人工神経網は図５ないし図７で説明したように、ＣＴ映像をＭＲＩ映像に変換するように学習されたものである。
特に、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４それぞれの人工神経網の学習データとして用いられるＣＴ映像及びＭＲＩ映像としては、図４で説明した第１層ないし第４層の映像（ｍ１、ｍ２、ｍ３、ｍ４）のうち対応する層の映像用い、ＣＴ映像及びＭＲＩ映像両方とも同一の層の映像を用いる。例えば、第３変換モジュール２３３の学習のために用いられる映像はＣＴ映像及びＭＲＩ映像両方とも第３層映像ｍ３である。このように、脳の映像を複数の領域に分け、特化した学習を行えるので、より正確な変換結果を提供することが可能である。
続いて、後処理部２５０は、ステップＳ８５０で変換したＭＲＩ映像に対して後処理を行う。後処理は、イメージの品質を向上させるためのデコンボリューション処理を含む。このようなステップＳ８５０の後処理は必要に応じて省略可能である。
次に、評価部２６０は、ステップＳ８６０で変換部２４０によって変換されたＭＲＩ映像を検証する。評価部２６０は、入力された映像、即ち変換部２４０によって変換されたＭＲＩ映像がＭＲＩ映像である確率とＣＴ映像である確率を算出する。評価部２６０は、ＭＲＩ映像である確率が前もって設定した数値以上であれば当該映像の検証に成功したものとして判断する。検証に成功すると、評価部２６０は、ステップＳ８７０で当該ＭＲＩ映像を出力する。
図９は、ＣＴ映像とＭＲＩ映像のペアドデータの生成を説明するためのイメージである。
理想的なペアドデータは、同一の患者の同一の部位（位置及び構造）を同一の時刻に撮影したＣＴ映像とＭＲＩ映像のペアであると言えるが、実際にはこのようなペアドデータは存在しない。従って、時間をおいて同一の患者の同一の位置及び構造を撮影したＣＴ映像とＭＲＩ映像をペアドデータであると言える。
このようなペアドデータと言っても、大体の場合は図９の上方に示すように、ＣＴ映像とＭＲＩ映像の角度がわずかに異なるので、これらをオーバレイしたときに望む結果を得られない場合がある。
このようなペアドデータを互いに整列させることで、図９の下方に示すように、望むＣＴ映像とＭＲＩ映像のペアドデータを得ることができる。
図９に示す例では、同一の患者のＣＴ映像とＭＲＩ映像が相互情報に基づいてアピン変換を用いて整列される。図９に示すように、処理後のＣＴ映像とＭＲＩ映像は、空間及び時間的に整列されているのが分かる。
図１０は、ペアドデータとアンペアドデータを用いた複合サイクル一致構造（Ｄｕａｌ Ｃｙｃｌｅ−Ｃｏｎｓｉｓｔｅｎｔ Ｓｔｒｕｃｔｕｒｅ）の例を示す概略図である。
図１０で、ＩＣＴはＣＴ映像を表し、ＩＭＲはＭＲＩ映像を表し、Ｓｙｎは合成ネットワーク（Ｓｙｎｔｈｅｔｉｃ Ｎｅｔｗｏｒｋ）を表し、Ｄｉｓは判別子ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ｎｅｔｗｏｒｋ）を表す。
図１０で、（ａ）は順方向アンペアドデータサイクルを表し、（ｂ）は逆方向アンペアドデータサイクルを表し、（ｃ）は順方向ペアドデータサイクルを表し、（ｄ）は逆方向ペアドデータサイクルを表す。
順方向アンペアドデータサイクルで、入力ＣＴ映像は合成ネットワークＳｙｎＭＲによってＭＲＩ映像に変換される。合成されたＭＲＩ映像は、オリジナルＣＴ映像を近似するＣＴ映像に変換され、ＤｉｓＭＲは実際ＭＲＩ映像と合成ＭＲＩ映像を区別するように学習される。
逆方向アンペアドデータサイクルでは、反対にＳｙｎＣＴによって入力ＭＲＩ映像からＣＴ映像が合成される。ＳｙｎＭＲが合成されたＣＴ映像からＭＲＩ映像を再構成し、ＤｉｓＣＴは実際ＣＴ映像と合成ＣＴ映像を区別するように学習される。
順方向ペアドデータサイクルと逆方向ペアドデータサイクルはそれぞれ順方向アンペアドデータサイクルと逆方向アンペアドデータサイクルと同様に作用する。但し、順方向ペアドデータサイクルと逆方向ペアドデータサイクルでＤｉｓＭＲとＤｉｓＣＴは単に実際映像と合成映像を区別するのにとどまらないで、実際映像と合成映像ペアを分類するように学習される。さらに、ペアドデータサイクルでは合成映像と基準映像間のｖｏｘｅｌ−ｗｉｓｅ損失が含まれる。
図１１は、上記のように学習された変換モジュールを用いてＣＴ映像をＭＲＩ映像に変換したときに、入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像との絶対誤差を示すイメージである。
図１１は、左側から入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像間の絶対誤差を示す。
図１２は、入力ＣＴ映像、ペアドデータ、アンペアドデータ、及びペアドデータとアンペアドデータを用いた場合の合成ＭＲＩ映像、及び参照ＭＲＩ映像を示すイメージである。
図１２は、左側から入力ＣＴ映像、ペアド学習を用いて合成したＭＲＩ映像、アンペアド学習を用いて合成したＭＲＩ映像、ペアドとアンペアド学習両方を用いて合成したＭＲＩ映像、及び参照ＭＲＩ映像を示す。
図１２に示すように、ペアドデータのみを用いる場合、内容の面では充実な結果を得ることができるが、構造的な面では満足できる結果を得ることができないことが分かる。一方、アンペアドデータのみを用いる場合、構造的な面では充実な結果を得ることができるが、内容的な面では満足できる結果を得ることができないことが分かる。
ペアドデータとアンペアドデータを両方用いた学習は、図１２の左から４番目のイメージに示すように、内容と構造両方とも満足できる結果が得られることが分かる。
図１３は、本発明の少なくとも一つの実施例に係る診断映像撮影装置１７００の機能ブロック図である。
図１３に示すように、本発明の少なくとも一つの実施例に係る診断映像撮影装置１７００は、ＣＴ撮影のためのＸ線を発生させるＸ線発生装置１７１０、Ｘ線発生装置１７１０から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置１７２０、データ取得装置１７２０が取得した映像データからＣＴ映像を構成して出力する映像構成装置１７３０、映像構成装置１７３０が構成したＣＴ映像を受け、ＭＲＩ映像に変換して出力する診断映像変換装置２００、及びＣＴ映像とＭＲＩ映像を表示するディスプレイ装置１７５０を備える。
診断映像撮影装置１７００では、通常のＣＴ撮影工程でＸ線発生装置１７１０から発生されたＸ線を用いて身体部位をスキャンし、映像構成装置１７３０が通常のＣＴ映像を構成してディスプレイ装置１７５０に表示することができる。
さらに、診断映像撮影装置１７００は、映像構成装置１７３０が構成したＣＴ映像を診断映像変換装置２００に入力し、ＣＴ映像をＭＲＩ映像に変換してディスプレイ装置１７５０に表示することができる。
本発明の少なくとも一つの実施例において、ディスプレイ装置１７５０は、映像構成装置１７３０が構成したＣＴ映像と診断映像変換装置２００が変換したＭＲＩ映像を必要に応じて選択的にまたは両方とも表示する。
このように、診断映像撮影装置１７００は、ＣＴ撮影のみで、ＣＴ映像とＭＲＩ映像を同時に得ることができるので、緊急事態でより多くの人命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
前述した本発明の少なくとも一つの実施例に係る様々の方法は、様々なコンピューティング手段を介して読み取り可能なプログラムの形態で実現され、コンピューターで読み取り可能な記録媒体に格納することができる。ここで、記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。
記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものであっても良いし、またはコンピューターソフトウェアの当業者に公知で使用可能なものであっても良い。
例えば、記録媒体は、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気・光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーのように、プログラム命令を格納して実行するように構成されたハードウェア装置を含む。
プログラム命令の例には、コンパイラーによって作成される機械語ワイヤーのみならず、インタープリターなどを用いてコンピューターによって実行可能な高級言語ワイヤーが含まれる。前述のようなハードウェア装置は本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供することができる。
本発明の少なくとも一つの実施例によれば、ＣＴ映像をＭＲＩ映像に変換し、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
２００：診断映像変換装置 ２１０：入力部
２２０：前処理部 ２３０：分類部
２４０：変換部 ２４１：第１変換部
２４２：第２変換部 ２４３：第３変換部
２４４：第４変換部 ２５０：後処理部
２６０：評価部 ２７０：出力部
Ｇ：ＭＲＩ生成子 Ｆ：ＣＴ生成子
ＭＤ：ＭＲＩ判別子 ＣＤ：ＣＴ判別子
ＭＳＬ：ＭＲＩ確率損失測定子 ＣＳＬ：ＣＴ確率損失測定子
ＭＬＬ：ＭＲＩ基準損失測定子 ＣＬＬ：ＣＴ基準損失測定子
図２に示すように、本発明の少なくとも一つの実施例に係る診断映像変換装置２００は、入力部２１０、前処理部２２０、分類部２３０、変換モジュール（変換部）２４０、後処理部２５０、評価部２６０、及び出力部２７０で構成され、例えば、脳を撮影したＣＴ映像をＭＲＩ映像に変換して提供する。
図４に示すように、変換部２４０は、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４を含む。第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４は、それぞれ第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に対応する。これによって、分類部２３０は、入力されるＣＴ映像を第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に分類した後、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールに供給する。
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４はそれぞれ人工神経網を含む。このような人工神経網は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を含む。本発明の少なくとも一つの実施例に係る第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のそれぞれに含まれる人工神経網の詳細構成を図５及び図６に示す。
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４それぞれの人工神経網は、ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を含む。
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のそれぞれの人工神経網が十分学習された変換部２４０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４の何れか一つのＣＴ映像が入力されると、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応するモジュールの人工神経網を介してＭＲＩ映像に変換する。このように変換されたＭＲＩ映像は後処理部２５０に供給される。
どのような学習データを入力した場合にも期待値と出力値との差が所定値以下で変動がなければ、十分学習されたものとして判断する。十分学習が行われた後、評価部２６０は、変換部２４０が変換したＭＲＩ映像がＭＲＩ映像であるか否かを判断するために用いられる。特に、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。このとき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われていると判断することができる。出力部２７０は変換部２４０が変換したＭＲＩ映像を出力する。
一方、他の実施例によると、前述した学習過程の終了は評価部２６０によって決定することができる。即ち、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。ことのき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われているものとして判断し、学習過程を終了することができる。
次に、分類部２３０は、ステップＳ８３０で入力されたＣＴ映像を前もって設定した４つの分類のうちいずれか一つに分類し、変換部２４０の第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールに供給する。このとき、分類部２３０は、脳の最上段から眼球が現れる前までの映像を 第１層映像ｍ１に分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像ｍ２として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像ｍ３として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像ｍ４として分類する。
次に、変換部２４０は、ステップＳ８４０で分類部２３０が分類したＣＴ映像を第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールを介してＭＲＩ映像に変換する。ここで、対応する変換モジュール（２４１、２４２、２４３、２４４のうち何れか一つ）は人工神経網を含み、このような人工神経網は図５ないし図７で説明したように、ＣＴ映像をＭＲＩ映像に変換するように学習されたものである。
特に、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４それぞれの人工神経網の学習データとして用いられるＣＴ映像及びＭＲＩ映像としては、図４で説明した第１層ないし第４層の映像（ｍ１、ｍ２、ｍ３、ｍ４）のうち対応する層の映像用い、ＣＴ映像及びＭＲＩ映像両方とも同一の層の映像を用いる。例えば、第３変換モジュール２４３の学習のために用いられる映像はＣＴ映像及びＭＲＩ映像両方とも第３層映像ｍ３である。このように、脳の映像を複数の領域に分け、特化した学習を行えるので、より正確な変換結果を提供することが可能である。

Claims (23)

  1. ＣＴ映像を入力するための入力部と、
    前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、
    前記変換モジュールが変換したＭＲＩ映像を出力するための出力部と
    を備える、
    診断映像変換装置。
  2. 前記入力部を介して入力されたＣＴ映像を、撮影された断層の位置によって分類する分類部をさらに備え、
    前記変換モジュールは、前記分類部によって分類されたＣＴ映像をＭＲＩ映像に変換する、
    請求項１に記載の診断映像変換装置。
  3. 前記分類部は、前記ＣＴ映像を、撮影された断層の位置によって、
    脳の最上段から眼球が現れる前までの映像を第１層映像として分類し、
    眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類し、
    側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類し、
    脳室が終わった後、脳の最下段までの映像を第４層映像として分類する、
    請求項２に記載の診断映像変換装置。
  4. 前記変換モジュールは、
    前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換モジュールと、
    前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換モジュールと、
    前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換モジュールと、
    前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換モジュールと、
    を含む、
    請求項３に記載の診断映像変換装置。
  5. 前記入力部を介して入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理部をさらに備える、
    請求項１に記載の診断映像変換装置。
  6. 前記変換モジュールが変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理部をさらに備える、
    請求項１に記載の診断映像変換装置。
  7. 前記変換モジュールが変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価部をさらに備える、
    請求項１に記載の診断映像変換装置。
  8. 請求項１に記載の診断映像変換装置の前記変換モジュールを生成するための診断映像変換モジュール生成装置であって、
    学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成子と、
    学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成子と、
    前記ＭＲＩ生成子が生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別子と、
    前記ＣＴ生成子が生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別子と、
    前記ＭＲＩ判別子から出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定子と、
    前記ＣＴ判別子から出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定子と、
    前記ＭＲＩ生成子が生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定子と、
    前記ＣＴ生成子が生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定子と、
    を備え、
    前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
    診断映像変換モジュール生成装置。
  9. ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
    請求項８に記載の診断映像変換モジュール生成装置。
  10. ＣＴ撮影のためのＸ線を発生するＸ線発生装置と、
    前記Ｘ線発生装置から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置と、
    前記データ取得装置が取得した前記映像データからＣＴ映像を構成して出力する映像構成装置と、
    前記映像構成装置が構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１ないし請求項７の何れか一項に記載の診断映像変換装置と、
    前記ＣＴ映像と前記ＭＲＩ映像を表示するディスプレイ装置と、
    を備え、
    前記ディスプレイ装置は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する、
    診断映像撮影装置。
  11. ＣＴ映像を入力する入力工程と、
    前記入力工程で入力されたＣＴ映像をＭＲＩ映像に変換する変換工程と、
    前記変換工程で変換されたＭＲＩ映像を出力する出力工程と、
    を備える、
    診断映像変換方法。
  12. 前記入力工程で入力されたＣＴ映像を、撮影された断層の位置によって分類する分類工程をさらに備え、
    前記変換工程は、前記分類工程で分類されたＣＴ映像をＭＲＩ映像に変換する工程を含む、
    請求項１１に記載の診断映像変換方法。
  13. 前記分類工程は、前記ＣＴ映像を、撮影された断層の位置によって、
    脳の最上段から眼球が現れる前までの映像を第１層映像として分類する工程と、
    眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類する工程と、
    側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類する工程と、
    脳室が終わった後、脳の最下段までの映像を第４層映像として分類する工程と
    を含む、
    請求項１２に記載の診断映像変換方法。
  14. 前記変換工程は、
    前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換工程と、
    前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換工程と、
    前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換工程と、
    前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換工程と、
    を含む、
    請求項１３に記載の診断映像変換方法。
  15. 前記入力工程で入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理工程をさらに備える、
    請求項１１に記載の診断映像変換方法。
  16. 前記変換工程で変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理工程をさらに備える、
    請求項１１に記載の診断映像変換方法。
  17. 前記変換工程で変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価工程をさらに備える、
    請求項１１に記載の診断映像変換方法。
  18. 請求項１１に記載の診断映像変換方法の変換工程で用いられる変換モジュールを生成するための診断映像変換モジュール生成方法であって、
    学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成工程と、
    学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成工程と、
    前記ＭＲＩ生成工程で生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別工程と、
    前記ＣＴ生成工程で生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別工程と、
    前記ＭＲＩ判別工程で出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定工程と、
    前記ＣＴ判別工程で出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定工程と、
    前記ＭＲＩ生成工程で生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定工程と、
    前記ＣＴ生成工程で生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定工程と、
    前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する加重値修正工程と
    を備える、
    診断映像変換モジュール生成方法。
  19. 前記加重値修正工程は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する工程を含む、
    請求項１８に記載の診断映像変換モジュール生成方法。
  20. ＣＴ撮影のためのＸ線を発生するＸ線発生工程と、
    前記Ｘ線発生工程で発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得工程と、
    前記データ取得工程で取得した前記映像データからＣＴ映像を構成して出力する映像構成工程と、
    前記映像構成工程で構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１ないし請求項７の何れか一項に記載の診断映像変換方法を実行する診断映像変換工程と、
    前記ＣＴ映像と前記ＭＲＩ映像を表示する映像表示工程と、
    を備え、
    前記映像表示工程は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する工程を含む、
    診断映像撮影方法。
  21. 請求項１１ないし請求項１７の何れか一項に記載の診断映像変換方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
  22. 請求項１８または請求項１９に記載の診断映像変換モジュール生成方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
  23. 請求項２０に記載の診断映像撮影方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
JP2018562523A 2017-11-17 2018-11-16 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム Pending JP2020503075A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020170154251A KR102036416B1 (ko) 2017-11-17 2017-11-17 진단 영상을 변환하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR10-2017-0154251 2017-11-17
PCT/KR2018/014151 WO2019098780A1 (ko) 2017-11-17 2018-11-16 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
KR1020180141923A KR20200057463A (ko) 2018-11-16 2018-11-16 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
KR10-2018-0141923 2018-11-16

Publications (1)

Publication Number Publication Date
JP2020503075A true JP2020503075A (ja) 2020-01-30

Family

ID=66539769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562523A Pending JP2020503075A (ja) 2017-11-17 2018-11-16 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210225491A1 (ja)
JP (1) JP2020503075A (ja)
WO (1) WO2019098780A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157847A (ja) * 2020-11-16 2021-10-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. 異常なナンバープレート認識方法、装置、デバイス及び読み取り可能な記憶媒体
JP7481916B2 (ja) 2020-06-16 2024-05-13 日本放送協会 画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060462A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
JP7406967B2 (ja) * 2019-11-29 2023-12-28 日本放送協会 画像変換用ネットワーク学習装置およびそのプログラム
TWI817884B (zh) * 2023-01-03 2023-10-01 國立中央大學 影像偵測系統及其運作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH041875A (ja) * 1990-04-19 1992-01-07 Fuji Photo Film Co Ltd 多層型ニューラルネットワークの係数格納装置
JP2008154680A (ja) * 2006-12-21 2008-07-10 Ge Medical Systems Global Technology Co Llc Ｘ線ｃｔ装置
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010016293A1 (ja) * 2008-08-08 2012-01-19 コニカミノルタエムジー株式会社 医用画像表示装置、医用画像表示方法及びプログラム
KR102049336B1 (ko) * 2012-11-30 2019-11-27 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR101563153B1 (ko) * 2013-07-24 2015-10-26 삼성전자주식회사 의료 영상 신호 처리 방법 및 장치
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
KR102449837B1 (ko) * 2015-02-23 2022-09-30 삼성전자주식회사 신경망 학습 방법 및 장치, 및 인식 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH041875A (ja) * 1990-04-19 1992-01-07 Fuji Photo Film Co Ltd 多層型ニューラルネットワークの係数格納装置
JP2008154680A (ja) * 2006-12-21 2008-07-10 Ge Medical Systems Global Technology Co Llc Ｘ線ｃｔ装置
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JELMER M. WOLTERINK ET AL.: "Deep MR to CT Synthesis Using Unpaired Data", INTERNATIONAL WORKSHOP ON SIMULATION AND SYNTHESIS IN MEDICAL IMAGING, vol. 2017, JPN7019003749, 26 September 2017 (2017-09-26), pages 14 - 23, ISSN: 0004289225 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7481916B2 (ja) 2020-06-16 2024-05-13 日本放送協会 画像変換用ネットワーク学習装置およびそのプログラム、ならびに、画像変換装置およびそのプログラム
JP2021157847A (ja) * 2020-11-16 2021-10-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. 異常なナンバープレート認識方法、装置、デバイス及び読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US20210225491A1 (en) 2021-07-22
WO2019098780A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
JP2020503075A (ja) 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム
CN110047128B (zh) 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统
US10346974B2 (en) Apparatus and method for medical image processing
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN109785243A (zh) 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
KR20040102038A (ko) 이미지 픽셀 인코딩 방법, 이미지 처리 방법 및 하나이상의 이미지 픽셀들에 의해 재생된 객체의 특성 인식을위한 이미지 처리 방법
CN113808106B (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
JP2019216848A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
CN110556177A (zh) 自动扫描工作流程
CN111462885B (zh) 扫描系统的扫描参数确定方法、装置、设备和存储介质
Emami et al. Attention-guided generative adversarial network to address atypical anatomy in synthetic CT generation
CN114881848A (zh) 一种多序列mr转ct的方法
CN116434918A (zh) 医学图像处理方法及计算机可读存储介质
KR102084138B1 (ko) 영상 처리 장치 및 방법
CN110270015A (zh) 一种基于多序列MRI的sCT生成方法
US20230214664A1 (en) Learning apparatus, method, and program, image generation apparatus, method, and program, trained model, virtual image, and recording medium
KR20200057463A (ko) 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
JP2021019714A (ja) 画像処理装置、画像処理方法及びｘ線ｃｔ装置
EP2343687B1 (en) Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images
KR20190117234A (ko) 인공신경망을 이용한 자기 공명 영상의 영상 프로토콜 선택 장치와 방법 및 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110675357A (zh) 图像优化网络的训练和图像优化方法、装置及设备
Selçuk et al. Improving image synthesis quality in multi-contrast mri using transfer learning via autoencoders
KR102556432B1 (ko) 딥러닝 기반의 심장의 해부학적 분할을 위한 기준점 생성 및 분할 방법
KR102658413B1 (ko) Ct 영상을 이용한 인공지능 기반의 담도 영상 추출 장치 및 방법
CN109272486A (zh) Mr图像预测模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190122

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623