JP2022505587A - Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム - Google Patents
Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP2022505587A JP2022505587A JP2021521978A JP2021521978A JP2022505587A JP 2022505587 A JP2022505587 A JP 2022505587A JP 2021521978 A JP2021521978 A JP 2021521978A JP 2021521978 A JP2021521978 A JP 2021521978A JP 2022505587 A JP2022505587 A JP 2022505587A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- decoding
- coding
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000004927 fusion Effects 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 60
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 239000000203 mixture Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 abstract description 26
- 238000002591 computed tomography Methods 0.000 description 102
- 238000010586 diagram Methods 0.000 description 19
- 239000000523 sample Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 7
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/436—Limited angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本願は、2019年01月30日に中国特許局に提出された、出願番号が201910093446.6であり、発明名称が「CT画像生成方法及びその装置、コンピュータ機器並びにコンピュータ可読記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
X線フィルムに比べて、CT走査装置は、より多くの放射線障害を患者に与えてしまう。
第1X線フィルム及び第2X線フィルムを取得するステップであって、前記第1X線フィルム及び前記第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムである、ステップと、
生成器を呼び出して前記第1X線フィルム及び前記第2X線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記CT画像を得るステップと、を含む。
第1X線フィルム及び第2X線フィルムを取得するように構成される取得モジュールであって、前記第1X線フィルム及び前記第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムである、取得モジュールと、
前記第1X線フィルム及び前記第2X線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成される生成モジュールと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記CT画像を得るように構成される出力モジュールと、を備える。
第1断面画像及び第2断面画像を取得するステップであって、前記第1断面画像及び前記第2断面画像は、直交した2つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、ステップと、
エンコーダ及びデコーダを取得するステップであって、前記エンコーダは、第1符号化部及び第2符号化部を含み、前記デコーダは、第1復号化部、第2復号化部及び融合復号化部を含む、ステップと、
前記第1符号化部を呼び出して前記第1断面画像に対して二次元符号化を行い、前記第1符号化情報を得て、前記第1復号化部を呼び出して前記第1符号化情報に対して復号化を行い、第1復号化情報を得るステップと、
前記第2符号化部を呼び出して前記第2断面画像に対して二次元符号化を行い、前記第2符号化情報を得て、前記第2復号化部を呼び出して前記第2符号化情報に対して復号化を行い、第2復号化情報を得るステップと、
前記融合復号化部を呼び出して前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るステップと、を含む。
第1断面画像及び第2断面画像を取得するように構成される取得モジュールであって、前記第1断面画像及び前記第2断面画像は、直交した2つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、取得モジュールを備え、
前記取得モジュールは更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第1符号化部及び第2符号化部を含み、前記デコーダは、第1復号化部、第2復号化部及び融合復号化部を含み、
前記第1符号化部は、前記第1断面画像に対して二次元符号化を行い、前記第1符号化情報を得るように構成され、
前記第1復号化部は、前記第1符号化情報に対して復号化を行い、第1復号化情報を得るように構成され、
前記第2符号化部は、前記第2断面画像に対して二次元符号化を行い、前記第2符号化情報を得るように構成され、
前記第2復号化部は、前記第2符号化情報に対して復号化を行い、第2復号化情報を得るように構成され、
前記融合復号化部は、前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
X-ray:X線フィルムは、二次元形態の医用画像モダリティである。X線フィルムによる骨領域のイメージングは、鮮明であり、常に整形外科医による診断の根拠とする。
CT画像は、三次元形態の医用画像モダリティである。CT画像に含まれる情報はより豊かいであるが、照射線量がより大きい。
生成器(Generator)は、GANにおける重要な構成部であり、十分に真実なデータを生成するために用いられる。
判別器(Discriminator)は、GANにおける、生成器と競合する構成部であり、生成器により生成されたデータが真実のデータに近づくかどうかを判定するために用いられる。
CycleGANは、ペアリングされていない2つのデータ集合間のスタイル変換を実現できるモデルである。
ステップ101において、第1X線フィルム及び第2X線フィルムを取得し、第1X線フィルム及び第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムである。
ターゲット対象は、被検医学的ターゲット生体である。ターゲット対象は、ヒト、犬、牛などの動物であってもよく、ターゲット対象が他の植物又は物体である可能性を排除できない。
任意選択的に、第1X線フィルム及び第2X線フィルムは、同一のターゲット対象に対して、近接する2つの時刻で、直交した2つの視角で収集したX線フィルムである。
ステップ102において、生成器を呼び出して第1X線フィルム及び第2X線フィルムに対して三次元再構成を行い、ターゲット対象の三次元モデルを得る。
任意選択的に、該生成器は、敵対的生成ネットワークに基づいて構築されたものである。該生成器は、エンコーダ及びデコーダを含む。
コンピュータ機器は、エンコーダを呼び出して第1X線フィルム及び前記第2X線フィルムに対してそれぞれ符号化を行い、第1符号化情報及び第2符号化情報を得て、デコーダを呼び出して第1符号化情報及び第2符号化情報に対して三次元再構成復号化を行い、ターゲット対象の三次元モデルを得る。
ステップ103において、ターゲット対象の三次元モデルに基づいて、ターゲット対象のCT画像を得る。
一般的には、CT画像は、複数層の二次元画像を含む。ターゲット対象に対して再構成を行うことで得られた三次元モデルに基づいて、該ターゲット対象のCT画像を生成することができる。
要するに、本実施例が提供する方法において、2つの直交したX線フィルムを生成器に入力し、生成器により三次元再構成を行い、ターゲット対象のCT画像を得る。これにより、X線フィルム機は、二回のみの二次元形態のX線フィルム走査を実行すれば、CT走査装置による三次元医用画像に相当するもの又は類似したものを得ることができる。ターゲット対象に与える放射線障害を減少させるだけでなく、ターゲット対象の検査費を節約し、ターゲット対象の検査プロセスにかかる時間を短縮することもできる。
上記生成器300は、GANに基づいて訓練された生成器であってもよい。該生成器は、2つの直交した視角の二次元画像を三次元再構成し、三次元モデルを得る能力を持つ。図3は、本願の一概略的な実施例による生成器300の構造を示すブロック図である。該生成器300は、エンコーダ及びデコーダを含む。ここで、
エンコーダは、第1符号化部31及び第2符号化部32を含む。任意選択的に、第1符号化部31及び第2符号化部32は、同様なネットワーク構造を有する。
コンピュータ機器は、第1符号化部31を呼び出して第1X線フィルムに対して二次元符号化を行い、第1符号化情報を得て、第2符号化部32を呼び出して第2X線フィルムに対して二次元符号化を行い、得到第2符号化情報を得る。
デコーダは、第1復号化部33、第2復号化部34及び融合復号化部35を含む。任意選択的に、第1復号化部33及び第2復号化部34は、同様なネットワーク構造を有する。
つまり、融合復号化部35により、第1復号化部33及び第2復号化部34の2つの異なる視角の復号化情報を融合し、ターゲット対象の三次元モデルを得る。
第2符号化部32と第1符号化部31は、同様な構造を有する。
第1符号化部31と第1復号化部33とは、更に第1A接続により接続される。第1A接続は、第1符号化情報を二次元形態から三次元形態に変換するために用いられる。第2符号化部32と第2復号化部34とは、更に第2A接続により接続される。第2A接続は、第2符号化情報を二次元形態から三次元形態に変換するために用いられる。A接続は、全結合層に基づいて実現された接続である。
第2復号化部34と第1復号化部33は、同様な構造を有する。ここで、詳細な説明を省略する。
図5における(a)部分は、A接続の構造の概略図を示す。A接続は、二次元形態の符号化情報を第1一次元ベクトル51となるように展開し、全結合モジュール52により、第1一次元ベクトル51を第2一次元ベクトル53となるように引っ張り、更に、第2一次元ベクトル53を再構成して三次元形態の符号化情報を得るために用いられる。任意選択的に、全結合モジュールに、全結合層(Full Connection:FC)、Dropout層及び正規化線形関数(Rectified Linear Unit:ReLU)層が含まれる。
(1)密集接続されたエンコーダ設計
各密集接続(Dense)層は、ダウンサンプリングブロック(Down)、密集接続ブロック(Dense Block)及びチャネル圧縮ブロック(Compress)で構成される。ダウンサンプリングブロックは、ステップ幅が2である二次元畳み込み操作を行うために用いられ、チャネル圧縮ブロックは、出力チャネルを半減するために用いられる。
密集接続層は、特徴抽出過程において高い優位性を有する。例えば、深層ネットワークの勾配消失の問題を遅らせ、多段特徴の反復に寄与し、二次元形態のX線フィルムから、十分な情報を抽出することができる。
幾つかの符号化復号化ネットワークは一般的には、畳み込み方式で、エンコーダとデコーダを接続する。このような方式は、純粋な二次元又は純粋な三次元ネットワークにおいて何ら問題はないが、本願の実施例が解決しようとする課題の特殊性は、データの次元に跨がって、2つの次元の情報を接続するための新たなモジュールを必要とすることである。近年のニューラルネットワークアーキテクチャ設計において、全結合層は、パラメータ量が膨大であるという欠点を有するため、殆ど畳み込み層により置き換えられた。しかしながら、多くのニューラルネットワークアーキテクチャにおいて、大量の全結合の方式で、異なる次元情報間の接続を処理する。GANに関わる動作において、一次元騒音から二次元画像までの次元拡大プロセスは殆ど全結合層により実行される。全結合層が特定のシーンにおいて依然として独特な価値を持つことを示す。本願の実施例は、全結合層を新たな接続モジュールに拡張し、A接続(図5におけるa部分に示す)と命名する。A接続は、生成器の中間ノードで二次元エンコーダと三次元デコーダを接続するために用いられる。このような接続方式は、特徴の空間的配列及び隣接位置関係をある程度乱し、また、全結合層のパラメータが膨大であるという課題を依然として避けることができないため、このような接続方式を生成器の浅い層に普及できなくなる。これらの課題を解決すると共に、架橋型接続が本願の実施例で提供される生成器において役割を果たすようにするために、B接続(図5におけるb部分に示す)は機運に応じて生まれた。
生成器の他の層は、いずれもB接続という架橋型接続を用いることで、エンコーダの二次元特徴情報をデコーダの三次元特徴層に直接的に流すことを促進する。
正方向の二次元投影は、三次元物体の側方向情報を捕捉することができない。逆の場合も同様である。従って、2つの直交した方向の二重視角X線フィルムを収集し、両者の相補的な情報を利用してより正確な再構成結果を生成する。構造が同じである2つの符号化復号化ネットワークは、並行して独立して正面図入力及び側面図入力に対して符号化復号化を行う。2つの符号化復号化ネットワークの間の融合復号化部は、二重視角情報を融合するために用いられる。本願の実施例において、該2枚の直交した二重視角X線フィルムの収集時間間隔を無視してもよいと仮定する。これは、患者の身体の移動によるデータズレが存在しないことを意味する。従って、二重視角情報を同一の三次元座標空間に変換した後、図5におけるc部分に示すように、直接的に加重平均化を行うことができる。2つの視角のエンコーダ出力の、如何なる空間における不一致はいずれも融合復号化部により捕捉され、逆伝播により、これらの誤差情報は、それぞれ符号化復号化ネットワークに返送される。
上記生成器は、GANに基づいて訓練されたものである。図8は、X2CT-GANの全体構造を示す。該GANネットワークに、生成器300及び判別器400が含まれる。生成器300の入力は、直交した第1X線フィルム(正面図)及び第2X線フィルム(側面図)である。生成器300の出力は、再構成された三次元モデルであり、再構成CTと略称される。訓練データ集合に、サンプルCTが存在する。判別器400は、再構成CTとサンプルCTとの敵対的損失を判別するために用いられる。該敵対的損失が小さいほど、生成器300の再構成効果は高くなる。
敵対的損失、
又は、敵対的損失及び再構成損失RL、
又は、敵対的損失及び投影損失PL、
又は、敵対的損失、再構成損失RL及び投影損失PL、という形態のうちの少なくとも1つを用いることができ、
ここで、敵対的損失は、生成器により再構成された三次元モデルとサンプルCT画像とのセマンティック損失を表すためのものであり、再構成損失は、生成器により再構成された三次元モデルとサンプルCT画像との画素レベルの差異損失を表すためのものであり、投影損失は、生成器により再構成された三次元モデルとサンプルCT画像の、少なくとも1つの投影平面での差異損失を表すためのものである。
(1)敵対的損失
初期GANにおける対数損失を最小二乗損失で置き換えることで、訓練の安定性、画像生成品質及び多様性を向上させる。発明者らは、幾つかのGANの異なる形態を試した後に、最小二乗損失(Least Squares GAN:LSGAN)が再構成タスクにおいて非常に好適であることを発見した。なお、再構成タスクの制約性が高いため、本実施例における条件LSGANは以下のように定義される。
敵対的損失により、生成データを真実データに更に近づくことを意図するが、精度要件が非常に高い再構成タスクにおいて、敵対的損失だけでは不十分である。その原因は、敵対的損失が高級なセマンティック損失であることである。例えば、X2CT-GANの判別器は、真偽判別結果のみを出力する。再構成された肺部が僅かに縮小しても、判別器による判別結果が真物である可能性があるが、所望の結果とはかけ離れた可能性がある。従って、単一の敵対的損失によれば、出力された結果の形状が入力情報と一致することを確保できない。なお、医用画像は、自然画像のように、豊かで多様なものではないが、精度での要件はより高い。このような考慮によれば、本明細書において、ボクセルレベルの再構成損失もX2CT-GANモデルの訓練過程に導入し、三次元空間における各ポイントに対して制約を行う。本明細書における再構成損失は、平均二乗誤差(Mean Squared Error:MSE)に基づいて以下のように定義される。
再構成損失は、三次元空間において各ポイントに対して細かく制約する。これに加えて、本願の実施例は、二次元空間において投影を制約するポリシーを用いる。再構成CT画像が三次元空間において基準CT画像に十分に合致すれば、それらの二次元投影も合致する。従って、訓練過程において、投影を直接的に制約することで、三次元物体の再構成精度を向上させることができる。投影操作を簡略化するために、本実施例は、透視投影ではなく、直交投影を用いる。しかしながら、他の実施例において、透視投影で表すこともできる。投影に、より多くの情報を持たせるために、本実施例において、横断面、冠状面、及び矢状面という3つの投影平面を選択する。数学表現形式は以下のとおりである。
ステップ901において、訓練データ集合を取得し、訓練データ集合は少なくとも2つの訓練サンプルを含む。
生成器の訓練タスクにおいて、大量の対になるX線フィルムとCT画像により訓練データ集合を構成する必要がある。これにより、X2CT-GANモデルが両者間のマッピング関係を学習することに供する。しかしながら、現在、このような公開データ集合が存在しないため、本実施例は、DRR技術を利用して真実CT画像から仮想X線フィルムを生成する。概略的に下記ステップを含む。
ステップ1において、少なくとも2つの真実CT画像をサンプルCT画像として取得する。
ステップ2において、少なくとも2つの真実CT画像のうちの各真実CT画像に対して、対応する第1仮想X線フィルム及び第2仮想X線フィルムを生成する。
ここで、第1仮想X線フィルムは、正視角のX線フィルムであり、第2仮想X線フィルムは、側視角のX線フィルムである。
ステップ3において、互いに対応する第1仮想X線フィルム、第2仮想X線フィルム及び真実CT画像を少なくとも2つの訓練サンプルと決定する。
(1)再サンプリングにより、各方向での、真実CT画像の解像度を1x1x1mm3に統一する。
(2)各真実CT画像の頂端から、320x320x320mm3の立方領域を切り取り、長さが320mmである軸をゼロパディングする。
判別器の構築は、pix2pix動作中のPatchDiscriminatorに基づいたものである。本願の実施例は、これを三次元形態に拡張し、3DPatchDiscriminatorと命名する。それは、まず、3個の畳み込みカーネルサイズが4でありステップ幅が2であるconv3d-norm-reluモジュールからなる。続いて、1つの畳み込みカーネルサイズが4でありステップ幅が1であるconv3d-norm-reluモジュールが接続され、最後に、1つのconv3d層が接続され、sigmoid活性化関数により出力される。具体的なパラメータ設定は、表2に示すとおりである。
図14に示す一任意選択的な実施例において、上記生成器300は、サーバ1420に配置されてもよい。クライアント1410はサーバ1420に直交した2つのX線フィルムを送信した後、サーバ1420は、生成器300を呼び出して再構成CT画像を生成し、サーバ1420は、再構成されたCT画像をクライアント1410に送信する。
ステップ1701において、第1断面画像及び第2断面画像を取得し、第1断面画像及び第2断面画像は、直交した2つの断面を利用してターゲット対象に対して収集した画像である。
任意選択的に、第1断面画像は、第1視角を用いてターゲット対象に対して収集した画像であり、第2断面画像は、第2視角を用いてターゲット対象に対して収集した画像である。第1視角と第2視角は、互いに直交した2つの視角である。
任意選択的に、該エンコーダ及びデコーダは、図3及び図4に示すニューラルネットワークアーキテクチャにより実現される。該エンコーダ及びデコーダは、それぞれ、敵対的生成ネットワークにより構築された。
本実施例において、エンコーダ及びデコーダのネットワーク構造について、詳しく説明しないようにする。
ステップ1703において、第1符号化部を呼び出して第1断面画像に対して二次元符号化を行い、第1符号化情報を得る。
ステップ1704において、第1復号化部を呼び出して第1符号化情報に対して復号化を行い、第1復号化情報を得る。
ステップ1705において、第2符号化部を呼び出して第2断面画像に対して二次元符号化を行い、第2符号化情報を得る。
ステップ1706において、第2復号化部を呼び出して第2符号化情報に対して復号化を行い、第2復号化情報を得る。
要するに、本実施例が提供する方法において、2つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける2つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により2つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。2枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
取得モジュール1820は、第1X線フィルム及び第2X線フィルムを取得するように構成され、前記第1X線フィルム及び前記第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムであり、
出力モジュール1860は、前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記CT画像を得るように構成される。
前記エンコーダ1842は、前記第1X線フィルム及び前記第2X線フィルムに対してそれぞれ符号化を行い、第1符号化情報及び第2符号化情報を得るように構成され、前記デコーダ1844は、前記第1符号化情報及び前記第2符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るように構成される。
前記第1符号化部は、前記第1X線フィルムに対して二次元符号化を行い、前記第1符号化情報を得るように構成され、
前記第2符号化部は、前記第2X線フィルムに対して二次元符号化を行い、前記第2符号化情報を得るように構成され、
前記第1復号化部は、前記第1符号化情報に対して復号化を行い、第1復号化情報を得るように構成され、
前記第2復号化部は、前記第2符号化情報に対して復号化を行い、第2復号化情報を得るように構成され、
前記融合復号化部は、前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元モデルを得るように構成される。
二次元畳み込み層、カスケードのn個の密集接続層及びプーリング層を含み、前記二次元畳み込み層は、1つ目の密集接続層に接続され、n番目の密集接続層は、前記プーリング層に接続され、nは正整数である。
ここで、前記A接続は、二次元形態の符号化情報を三次元形態の符号化情報に変換するために用いられる。
アップサンプリング層、カスケードのn個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層は、1つ目のアップ畳み込み層に接続され、n番目のアップ畳み込み層は、前記三次元畳み込み層に接続され、nは正整数である。
ここで、前記C接続は、前記第1入力端に入力された三次元復号化情報と前記第2入力端に入力された三次元符号化情報に対して加重加算を行い、次の復号化層の入力として出力するために用いられる。
前記i番目のB接続は、前記i番目の符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられる。
任意選択的な実施例において、前記融合復号化部は、n+2個の融合復号化層を含み、前記n+2個の融合復号化層は、
アップサンプリング層、カスケードのn個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層の出力端は、1つ目のアップ畳み込み層に接続され、n番目のアップ畳み込み層は、三次元畳み込み層に接続される。
前記C接続は、前記第1入力端に入力された三次元符号化情報と前記第2入力端に入力された三次元符号化情報に対して加重加算を行い、次の融合復号化層の入力として出力するために用いられる。
i番目の第1C接続の第1入力端は、第1復号化部におけるi+1番目の復号化層の出力端に接続され、前記i番目の第1C接続の第2入力端は、第2復号化部におけるi+1番目の復号化層の出力端に接続され、前記i番目の第1C接続の出力端は、i番目の第2C接続の第1入力端に接続され、前記i番目の第2C接続の第2入力端は、前記融合復号化部におけるi番目の融合復号化層の出力端に接続され、前記i番目の第2C接続の出力端は、前記融合復号化部におけるi+1番目の融合復号化層の入力端に接続される。
敵対的損失、
又は、前記敵対的損失及び再構成損失、
又は、前記敵対的損失及び投影損失、
又は、前記敵対的損失、前記再構成損失RL及び前記投影損失を含み、
ここで、前記敵対的損失は、前記生成器により再構成された前記三次元モデルとサンプルCT画像とのセマンティック損失を表すためのものであり、前記再構成損失は、前記生成器により再構成された前記三次元モデルと前記サンプルCT画像との画素レベルの差異損失を表すためのものであり、前記投影損失は、前記生成器により再構成された前記三次元モデルと少なくとも1つの投影平面上の前記サンプルCT画像との差異損失を表すためのものである。
前記訓練モジュール1880は、訓練データ集合を取得し、訓練データ集合は少なくとも2つの訓練サンプルを含み、前記生成器に対応する判別器を設定し、第i訓練段階で、前記生成器における第1ニューラルネットワークパラメータを一定にし、前記訓練データ集合における1つの訓練サンプルを用いて判別器における第2ニューラルネットワークパラメータを最適化し、第i+1訓練段階で、前記判別器における第2ニューラルネットワークパラメータを一定にし、前記訓練データ集合におけるもう1つの訓練サンプルを用いて生成器における第1ニューラルネットワークパラメータを最適化し、上記2つの訓練段階を交互に実行し、前記第1ニューラルネットワークパラメータ及び前記第2ニューラルネットワークパラメータが安定して収束するまで継続するように構成される。
前記取得モジュール1920は更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第1符号化部1942及び第2符号化部1944を含み、前記デコーダは、第1復号化部1962、第2復号化部1964及び融合復号化部1966を含む。
前記第1復号化部1962は、前記第1符号化情報に対して復号化を行い、第1復号化情報を得るように構成される。
前記第2符号化部1944は、前記第2断面画像に対して二次元符号化を行い、前記第2符号化情報を得るように構成される。
前記第2復号化部1964は、前記第2符号化情報に対して復号化を行い、第2復号化情報を得るように構成される。
前記融合復号化部1966は、前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
要するに、本実施例が提供する装置は、2つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける2つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により2つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。2枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
14 第2X線フィルム
14 第二X線フィルム
16 CT画像
31 第1符号化部
32 第2符号化部
33 第1復号化部
34 第2復号化部
35 融合復号化部
51 一次元ベクトル
52 全結合モジュール
53 一次元ベクトル
55 三次元復号化情報
56,57,58, 復号化情報
60 複合C接続
61 第1C接続
62 第2C接続
300 生成器
400 判別器
1410 第1クライアント
1420 サーバ
1430 第2クライアント
1440 コンピュータ機器
1820 取得モジュール
1840 生成モジュール
1842 エンコーダ
1844 復号化部
1844 デコーダ
1860 出力モジュール
1880 訓練モジュール
1920 取得モジュール
1942 第1符号化部
1944 第2符号化部
1962 第1復号化部
1964 第2復号化部
1966 融合復号化部
2000 コンピュータ機器
2001 中央演算装置
2002 ランダムアクセスメモリ
2003 専用メモリ
2004 システムメモリ
2005 システムバス
2006 出力システム(I/Oシステム)
2006 出力システム
2007 大容量記憶装置
2008 ディスプレイ
2009 入力機器
2010 出力コントローラ
2011 ネットワークインタフェースユニット
2012 ネットワーク
2012 オペレーティングシステム
2014 クライアント
2015 プログラムモジュール
Claims (22)
- コンピュータ機器が実行するCT画像生成方法であって、
第1X線フィルム及び第2X線フィルムを取得するステップであって、前記第1X線フィルム及び前記第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムである、ステップと、
生成器を呼び出して前記第1X線フィルム及び前記第2X線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象のCT画像を得るステップと、を含む、CT画像生成方法。 - 前記生成器は、エンコーダと、デコーダと、を備え、
前記生成器を呼び出して前記第1X線フィルム及び前記第2X線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップは、
前記エンコーダを呼び出して前記第1X線フィルム及び前記第2X線フィルムに対してそれぞれ符号化を行い、第1符号化情報及び第2符号化情報を得るステップと、
前記デコーダを呼び出して前記第1符号化情報及び前記第2符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るステップと、を含むことを特徴とする
請求項1に記載のCT画像生成方法。 - 前記エンコーダは、第1符号化部と、第2符号化部と、を含み、前記デコーダは、第1復号化部、第2復号化部及び融合復号化部を含み、
前記エンコーダを呼び出して前記第1X線フィルム及び前記第2X線フィルムに対してそれぞれ符号化を行い、第1符号化情報及び第2符号化情報を得るステップは、
前記第1符号化部を呼び出して、前記第1X線フィルムに対して二次元符号化を行い、前記第1符号化情報を得るステップと、前記第2符号化部を呼び出して、前記第2X線フィルムに対して二次元符号化を行い、前記第2符号化情報を得るステップと、を含み、
前記デコーダを呼び出して前記第1符号化情報及び前記第2符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るステップは、
前記第1復号化部を呼び出して、前記第1符号化情報に対して復号化を行い、第1復号化情報を得るステップと、
前記第2復号化部を呼び出して、前記第2符号化情報に対して復号化を行い、第2復号化情報を得るステップと、
前記融合復号化部を呼び出して、前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元モデルを得るステップと、を含むことを特徴とする
請求項2に記載のCT画像生成方法。 - 前記第1符号化部及び前記第2符号化部のうちの少なくとも1つの符号化部は、n+2個の符号化層を含み、前記n+2個の符号化層は、
二次元畳み込み層、カスケードのn個の密集接続層及びプーリング層を含み、前記二次元畳み込み層は、1つ目の密集接続層に接続され、n番目の密集接続層は、前記プーリング層に接続され、nは正整数であることを特徴とする
請求項3に記載のCT画像生成方法。 - 前記CT画像生成方法は、
前記第1符号化部と前記第1復号化部とは、A接続により接続されることと、
前記第2符号化部と前記第2復号化部とは、前記A接続により接続され、前記A接続は、二次元形態の符号化情報を三次元形態の符号化情報に変換するために用いられることと、のうちの少なくとも1つの条件を含むことを特徴とする
請求項3に記載のCT画像生成方法。 - 前記A接続は、前記二次元形態の符号化情報を第1一次元ベクトルとなるように展開し、前記第1一次元ベクトルを第2一次元ベクトルとなるように引っ張り、前記第2一次元ベクトルを再構成して三次元形態の符号化情報を得るために用いられることを特徴とする
請求項5に記載のCT画像生成方法。 - 前記第1復号化部及び前記第2復号化部のうちの少なくとも1つの復号化部は、n+2個の復号化層を含み、前記n+2個の復号化層は、
アップサンプリング層、カスケードのn個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層は、1つ目のアップ畳み込み層に接続され、n番目のアップ畳み込み層は、前記三次元畳み込み層に接続され、nは正整数であることを特徴とする
請求項3に記載のCT画像生成方法。 - 前記復号化部は、n個のC接続を更に含み、i番目のC接続の第1入力端は、前記復号化部におけるi番目の復号化層の出力端に接続され、前記i番目のC接続の第2入力端は、対応する符号化部におけるi+1番目の符号化層の出力端に接続され、前記i番目のC接続の出力端は、前記復号化部におけるi+1番目の復号化層の入力端に接続され、
ここで、前記C接続は、前記第1入力端に入力された三次元復号化情報と前記第2入力端に入力された三次元符号化情報に対して加重加算を行い、加算結果を次の復号化層の入力とするために用いられることを特徴とする
請求項7に記載のCT画像生成方法。 - 前記C接続は更に、前記第1入力端に入力された三次元復号化情報及び前記第2入力端に入力された三次元符号化情報を同一の三次元空間に変換した後、前記三次元空間における前記三次元復号化情報と前記三次元復号化情報に加重加算を行い、加算結果を次の復号化層の入力とするために用いられることを特徴とする
請求項8に記載のCT画像生成方法。 - 前記i番目のC接続の第2入力端は更に、i番目のB接続を介して対応する符号化部におけるi番目の符号化層の出力端に接続され、
前記i番目のB接続は、前記i番目の符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられることを特徴とする
請求項8に記載のCT画像生成方法。 - 前記i番目のB接続は更に、前記i番目の符号化層から出力された二次元符号化情報を垂直次元でm層に拡張し、拡張したm層の二次元符号化情報を前記三次元符号化情報として決定するために用いられ、mは、正整数であることを特徴とする
請求項10に記載のCT画像生成方法。 - 前記融合復号化部は、n+2個の融合復号化層を含み、前記n+2個の融合復号化層は、
アップサンプリング層、カスケードのn個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層の出力端は、1つ目のアップ畳み込み層に接続され、n番目のアップ畳み込み層は、前記三次元畳み込み層に接続されることを特徴とする
請求項3に記載のCT画像生成方法。 - 前記融合復号化部は、C接続を更に含み、前記C接続の第1入力端は、前記第1復号化部の入力端に接続され、前記C接続の第2入力端は、前記第2復号化部の入力端に接続され、前記C接続の出力端は、前記アップサンプリング層の入力端に接続され、
前記C接続は、前記第1入力端に入力された三次元符号化情報と前記第2入力端に入力された三次元符号化情報に対して加重加算を行い、加算結果を次の融合復号化層の入力とするために用いられることを特徴とする
請求項12に記載のCT画像生成方法。 - 前記融合復号化部は、n個の複合C接続を更に含み、各前記複合C接続は、第1C接続及び第2C接続を含み、
i番目の第1C接続の第1入力端は、第1復号化部におけるi+1番目の復号化層の出力端に接続され、前記i番目の第1C接続の第2入力端は、第2復号化部におけるi+1番目の復号化層の出力端に接続され、前記i番目の第1C接続の出力端は、i番目の第2C接続の第1入力端に接続され、前記i番目の第2C接続の第2入力端は、前記融合復号化部におけるi番目の融合復号化層の出力端に接続され、前記i番目の第2C接続の出力端は、前記融合復号化部におけるi+1番目の融合復号化層の入力端に接続されることを特徴とする
請求項12に記載のCT画像生成方法。 - 前記生成器は、敵対的生成ネットワークに基づいて訓練されたものであり、前記生成器の損失関数は、
敵対的損失、
又は、前記敵対的損失及び再構成損失、
又は、前記敵対的損失及び投影損失、
又は、前記敵対的損失、前記再構成損失及び前記投影損失を含み、
ここで、前記敵対的損失は、前記生成器により再構成された前記三次元モデルとサンプルCT画像とのセマンティック損失を表すためのものであり、前記再構成損失は、前記生成器により再構成された前記三次元モデルと前記サンプルCT画像との画素レベルの差異損失を表すためのものであり、前記投影損失は、前記生成器により再構成された前記三次元モデルと少なくとも1つの投影平面上の前記サンプルCT画像との差異損失を表すためのものであることを特徴とする
請求項1から14のうちいずれか一項に記載のCT画像生成方法。 - 前記CT画像生成方法は、
訓練データ集合を取得するステップであって、前記訓練データ集合は少なくとも2つの訓練サンプルを含む、ステップと、
前記生成器に対応する判別器を設定するステップと、
第i訓練段階で、前記生成器における第1ニューラルネットワークパラメータを一定にし、前記訓練データ集合における1つの訓練サンプルを用いて判別器における第2ニューラルネットワークパラメータを最適化するステップと、
第i+1訓練段階で、前記判別器における第2ニューラルネットワークパラメータを一定にし、前記訓練データ集合におけるもう1つの訓練サンプルを用いて生成器における第1ニューラルネットワークパラメータを最適化するステップと、
上記2つの訓練段階を交互に実行し、前記第1ニューラルネットワークパラメータ及び前記第2ニューラルネットワークパラメータが安定して収束するまで継続するステップと、を更に含むことを特徴とする
請求項15に記載のCT画像生成方法。 - 前記訓練データ集合を取得するステップは、
少なくとも2つの真実CT画像を前記サンプルCT画像として取得するステップと、
前記少なくとも2つの真実CT画像のうちの各真実CT画像に対して、対応する第1仮想X線フィルム及び第2仮想X線フィルムを生成するステップと、
互いに対応する前記第1仮想X線フィルム、前記第2仮想X線フィルム及び前記真実CT画像を前記少なくとも2つの訓練サンプルと決定するステップと、を含むことを特徴とする
請求項16に記載のCT画像生成方法。 - コンピュータ機器が実行する三次元画像合成方法であって、
第1断面画像及び第2断面画像を取得するステップであって、前記第1断面画像及び前記第2断面画像は、直交した2つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、ステップと、
エンコーダ及びデコーダを取得するステップであって、前記エンコーダは、第1符号化部及び第2符号化部を含み、前記デコーダは、第1復号化部、第2復号化部及び融合復号化部を含む、ステップと、
前記第1符号化部を呼び出して前記第1断面画像に対して二次元符号化を行い、第1符号化情報を得て、前記第1復号化部を呼び出して前記第1符号化情報に対して復号化を行い、第1復号化情報を得るステップと、
前記第2符号化部を呼び出して前記第2断面画像に対して二次元符号化を行い、第2符号化情報を得て、前記第2復号化部を呼び出して前記第2符号化情報に対して復号化を行い、第2復号化情報を得るステップと、
前記融合復号化部を呼び出して前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るステップと、を含む、三次元画像合成方法。 - CT画像生成装置であって、
第1X線フィルム及び第2X線フィルムを取得するように構成される取得モジュールであって、前記第1X線フィルム及び前記第2X線フィルムは、直交した2つの視角を用いてターゲット対象に対して収集したX線フィルムである、取得モジュールと、
前記第1X線フィルム及び前記第2X線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成される生成モジュールと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象のCT画像を得るように構成される出力モジュールと、を備える、CT画像生成装置。 - 三次元画像合成装置であって、
第1断面画像及び第2断面画像を取得するように構成される取得モジュールであって、前記第1断面画像及び前記第2断面画像は、直交した2つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、取得モジュールを備え、
前記取得モジュールは更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第1符号化部及び第2符号化部を含み、前記デコーダは、第1復号化部、第2復号化部及び融合復号化部を含み、
前記第1符号化部は、前記第1断面画像に対して二次元符号化を行い、第1符号化情報を得るように構成され、
前記第1復号化部は、前記第1符号化情報に対して復号化を行い、第1復号化情報を得るように構成され、
前記第2符号化部は、前記第2断面画像に対して二次元符号化を行い、第2符号化情報を得るように構成され、
前記第2復号化部は、前記第2符号化情報に対して復号化を行い、第2復号化情報を得るように構成され、
前記融合復号化部は、前記第1復号化情報と前記第2復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される、三次元画像合成装置。 - コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットが記憶されており、前記プロセッサは、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットを実行して、請求項1から17のうちいずれか一項に記載のCT画像生成方法、又は請求項18に記載の三次元画像合成方法を実行するように構成される、コンピュータ機器。
- コンピュータプログラムであって、前記コンピュータプログラムはコンピュータに請求項1から17のうちいずれか一項に記載のCT画像生成方法、又は請求項18に記載の三次元画像合成方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910093446.6 | 2019-01-30 | ||
CN201910093446.6A CN109745062B (zh) | 2019-01-30 | 2019-01-30 | Ct图像的生成方法、装置、设备及存储介质 |
PCT/CN2020/072393 WO2020156195A1 (zh) | 2019-01-30 | 2020-01-16 | Ct图像的生成方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022505587A true JP2022505587A (ja) | 2022-01-14 |
JP7150166B2 JP7150166B2 (ja) | 2022-10-07 |
Family
ID=66407182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521978A Active JP7150166B2 (ja) | 2019-01-30 | 2020-01-16 | Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3919002B1 (ja) |
JP (1) | JP7150166B2 (ja) |
CN (1) | CN109745062B (ja) |
WO (1) | WO2020156195A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109745062B (zh) * | 2019-01-30 | 2020-01-10 | 腾讯科技(深圳)有限公司 | Ct图像的生成方法、装置、设备及存储介质 |
CN112862944B (zh) * | 2019-11-09 | 2024-04-12 | 无锡祥生医疗科技股份有限公司 | 人体组织超声建模方法、超声设备及存储介质 |
CN111193254B (zh) * | 2019-12-06 | 2021-10-29 | 北京国电通网络技术有限公司 | 一种住宅日用电负荷预测方法和设备 |
CN111105475B (zh) * | 2019-12-24 | 2022-11-22 | 电子科技大学 | 一种基于正交角度x光的骨骼三维重建方法 |
CN111476764B (zh) * | 2020-03-27 | 2021-08-24 | 西安科技大学 | 一种运动模糊ct图像三维重建的方法 |
CN111597946B (zh) * | 2020-05-11 | 2022-04-08 | 腾讯医疗健康(深圳)有限公司 | 图像生成器的处理方法、图像生成方法及装置 |
CN112001846A (zh) * | 2020-08-21 | 2020-11-27 | 深圳职业技术学院 | 具有较高分辨率的多目标x光安检图像合成方法 |
CN112541566B (zh) * | 2020-09-17 | 2023-07-04 | 中国石油大学(华东) | 一种基于重构损失的图像翻译方法 |
CN112734907B (zh) * | 2020-12-30 | 2022-07-08 | 华东师范大学 | 一种超声或ct医学影像三维重建方法 |
CN113538336A (zh) * | 2021-06-11 | 2021-10-22 | 上海联影医疗科技股份有限公司 | 全心脏多期相定位图像生成方法、装置、设备和介质 |
CN113436177A (zh) * | 2021-07-01 | 2021-09-24 | 万里云医疗信息科技(北京)有限公司 | 图像处理的方法、装置、电子设备及计算机可读存储介质 |
CN113570569B (zh) * | 2021-07-26 | 2024-04-16 | 东北大学 | 一种基于深度学习的心脏室间隔抖动自动检测系统 |
CN113793422B (zh) * | 2021-08-13 | 2024-02-23 | 深圳安泰创新科技股份有限公司 | 三维模型的显示控制方法、电子设备及可读存储介质 |
CN114038546A (zh) * | 2021-11-17 | 2022-02-11 | 四川大学华西医院 | Ct设备能力的综合评价方法和系统 |
CN114240950B (zh) * | 2021-11-23 | 2023-04-07 | 电子科技大学 | 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 |
CN115587928A (zh) * | 2022-10-31 | 2023-01-10 | 中国科学院深圳先进技术研究院 | 一种三维重建方法、设备及计算机存储介质 |
CN116385665A (zh) * | 2023-06-02 | 2023-07-04 | 合肥吉麦智能装备有限公司 | 一种面向双模g臂x光机多视角x光图像三维重建方法 |
CN117540789B (zh) * | 2024-01-09 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、面部表情迁移方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004513673A (ja) * | 2000-05-09 | 2004-05-13 | ペイエオン・インコーポレーテツド | 動脈の三次元的再構成のシステムと方法 |
JP2006527434A (ja) * | 2003-06-10 | 2006-11-30 | バイオスペース インスツルメンツ | 3次元再構成のための放射線画像法並びにその方法を実施するコンピュータプログラムおよび装置 |
JP2016159116A (ja) * | 2015-03-05 | 2016-09-05 | パナソニックIpマネジメント株式会社 | 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103854270A (zh) * | 2012-11-28 | 2014-06-11 | 广州医学院第一附属医院 | 一种ct和mr异机三维图像融合的配准方法及系统 |
CN106204511B (zh) * | 2016-07-15 | 2018-10-26 | 西安交通大学第一附属医院 | 一种二维图像与ct、mr图像的三维融合方法 |
CN106952239A (zh) * | 2017-03-28 | 2017-07-14 | 厦门幻世网络科技有限公司 | 图像生成方法和装置 |
GB201710877D0 (en) * | 2017-07-06 | 2017-08-23 | Nokia Technologies Oy | A method and an apparatus for evaluating generative machine learning model |
CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
US10709394B2 (en) * | 2018-01-15 | 2020-07-14 | Siemens Healthcare Gmbh | Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs |
CN108876907A (zh) * | 2018-05-31 | 2018-11-23 | 大连理工大学 | 一种面向目标对象的主动式三维重建方法 |
CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
CN109745062B (zh) * | 2019-01-30 | 2020-01-10 | 腾讯科技(深圳)有限公司 | Ct图像的生成方法、装置、设备及存储介质 |
-
2019
- 2019-01-30 CN CN201910093446.6A patent/CN109745062B/zh active Active
-
2020
- 2020-01-16 JP JP2021521978A patent/JP7150166B2/ja active Active
- 2020-01-16 WO PCT/CN2020/072393 patent/WO2020156195A1/zh unknown
- 2020-01-16 EP EP20749748.8A patent/EP3919002B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004513673A (ja) * | 2000-05-09 | 2004-05-13 | ペイエオン・インコーポレーテツド | 動脈の三次元的再構成のシステムと方法 |
JP2006527434A (ja) * | 2003-06-10 | 2006-11-30 | バイオスペース インスツルメンツ | 3次元再構成のための放射線画像法並びにその方法を実施するコンピュータプログラムおよび装置 |
JP2016159116A (ja) * | 2015-03-05 | 2016-09-05 | パナソニックIpマネジメント株式会社 | 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム |
Non-Patent Citations (1)
Title |
---|
JAOOK GU ET AL.: "Multi-Scale Wavelet Domain Residual Learning for Limited-Angle CT Reconstruction", ARXIV, JPN6022016061, 4 March 2017 (2017-03-04), ISSN: 0004758844 * |
Also Published As
Publication number | Publication date |
---|---|
JP7150166B2 (ja) | 2022-10-07 |
EP3919002B1 (en) | 2024-03-06 |
CN109745062B (zh) | 2020-01-10 |
WO2020156195A1 (zh) | 2020-08-06 |
EP3919002A4 (en) | 2022-03-23 |
CN109745062A (zh) | 2019-05-14 |
US20210251590A1 (en) | 2021-08-19 |
EP3919002A1 (en) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022505587A (ja) | Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム | |
US11847781B2 (en) | Systems and methods for medical acquisition processing and machine learning for anatomical assessment | |
US11534136B2 (en) | Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging | |
US10709394B2 (en) | Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs | |
KR101428005B1 (ko) | 소수의 저선량 ct 영상을 이용하여 pet 영상을 움직임 보상 및 감쇠 보정하는 방법 | |
CN106999138B (zh) | 诊断成像方法和设备及其记录介质 | |
JP7337675B2 (ja) | 医用データ処理装置 | |
CN110400617A (zh) | 医学成像中的成像和报告的结合 | |
KR102456467B1 (ko) | 인공지능 기반의 의료 영상 합성 장치 및 방법 | |
CN111260748A (zh) | 基于神经网络的数字合成x射线层析成像方法 | |
CN112419173A (zh) | 一种由pet图像生成ct图像的深度学习框架和方法 | |
WO2023142781A1 (zh) | 图像三维重建方法、装置、电子设备及存储介质 | |
KR20220137220A (ko) | 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법 | |
Kyung et al. | Perspective projection-based 3d CT reconstruction from biplanar X-rays | |
Jiang et al. | Reconstruction of 3d ct from a single x-ray projection view using CVAE-GAN | |
CN115908610A (zh) | 一种基于单模态pet图像获取衰减校正系数图像的方法 | |
EP2343687B1 (en) | Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images | |
US11915401B2 (en) | Apriori guidance network for multitask medical image synthesis | |
JP2023001051A (ja) | 計算機式断層写真法画像再構成のためのシステム及び方法 | |
CN111583354B (zh) | 医学图像处理单元的训练方法和医学图像运动估计方法 | |
US12016717B2 (en) | CT image generation method and apparatus, computer device, and computer-readable storage medium | |
CN112967379A (zh) | 一种基于感知一致生成对抗网络的三维医学图像重建方法 | |
CN116228903B (zh) | 基于csa模块及深度学习模型的高清ct图像重建方法 | |
US20230097196A1 (en) | Ultra-Fast-Pitch Acquisition and Reconstruction in Helical Computed Tomography | |
KR102208358B1 (ko) | 인공지능을 이용한 폐암진단 시스템, 폐암검진 ct 판독서버 및 폐암진단방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7150166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |