CN110364253A - 用于辅助的患者定位的系统和方法 - Google Patents
用于辅助的患者定位的系统和方法 Download PDFInfo
- Publication number
- CN110364253A CN110364253A CN201910290544.9A CN201910290544A CN110364253A CN 110364253 A CN110364253 A CN 110364253A CN 201910290544 A CN201910290544 A CN 201910290544A CN 110364253 A CN110364253 A CN 110364253A
- Authority
- CN
- China
- Prior art keywords
- patient
- image
- module
- information module
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 18
- 210000000746 body region Anatomy 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 45
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000002123 temporal effect Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 2
- 210000005036 nerve Anatomy 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 2
- 239000002131 composite material Substances 0.000 claims 1
- 230000036544 posture Effects 0.000 description 37
- 238000012549 training Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000000280 densification Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
- A61B6/0407—Supports, e.g. tables or beds, for the body or parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
- A61B6/0487—Motor-assisted positioning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本公开涉及用于辅助的患者定位的系统和方法。一种获得医学图像的方法包括:经由相机来获得患者的至少一个表面图像。使用至少一个空间信息模块来根据所述患者的所述至少一个表面图像确定所述患者的姿势。经由可移动床将所述患者定位到成像起始位置,并且使用医学成像模态来获得所述患者的医学图像。
Description
技术领域
本公开的方面总体上涉及医学成像期间的患者监视,并且更具体地涉及医学成像期间的患者定位。
背景技术
针对移动而确保适当的患者定位、识别和/或校正是医学成像(诸如,计算机断层扫描(CT扫描)、正电子发射断层(PCT)扫描、磁共振成像(MRI)和/或其他医学成像)的关键要素。在一些实例中,相机可以被安装到医学成像设备,以在医学成像扫描期间提供患者的位置和移动数据。然而,被安装到医学成像设备的相机提供有限的视野,这限制了在扫描期间这种图像在图像分析学中的使用。
附加地,当前系统要求操作者执行到可移动床的一个或多个调整,以在发起医学成像扫描之前适当地定位患者。不适当的定位导致医学图像中的误差或伪像。然而,操作者调整可能是耗时的,且要求操作者花费时间远离其他任务(诸如扫描监视、患者准备等)以执行这种调整。
发明内容
在各种实施例中,公开了一种用于生成医学图像的方法。所述方法包括下述步骤:经由相机来获得患者的至少一个表面图像。使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势。经由可移动床将所述患者定位在成像起始位置处,并且使用医学成像模态来获得所述患者的医学图像。
在各种实施例中,公开了一种生成医学图像的系统。所述系统包括:成像模态,被配置成获得患者的医学图像;成像设备,被配置成获得患者的至少一个表面图像;以及处理器,被配置成实现空间信息模块、时间信息模块或其组合中的至少一个。所述处理器被配置成:接收所述患者的所述至少一个表面图像;以及验证患者姿势或身体区域中的至少一个。所述处理器进一步被配置成:当所述患者姿势或身体区域被验证时,使用所述成像模态来执行医学成像过程。
在各种实施例中,公开了一种利用计算机可执行指令编码的非瞬变计算机可读介质。所述计算机可执行指令在由用于获得医学图像的系统中的计算机执行时使所述用于获得医学图像的系统执行下述步骤:接收患者的至少一个表面图像;以及使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势。经由可移动床将所述患者定位在成像起始位置处,并且经由医学成像模态来获得所述患者的医学图像。
附图说明
以下内容将从附图的要素中明显可见,附图是出于图示性目的而提供的,且不必然按比例绘制。
图1图示了根据一些实施例的包括成像设备的医学成像系统,该成像设备耦合到机架的外表面且具有有限的视野。
图2图示了根据一些实施例的识别患者的身体姿势并将患者定位在起始位置处的方法。
图3图示了根据一些实施例的图2的方法的处理流程。
图4图示了根据一些实施例的被配置成识别患者姿势和/或身体区域边界的单帧分析学的方法。
图5图示了根据一些实施例的被配置成实现图4中图示的方法的空间信息模块的处理流程。
图6图示了根据一些实施例的包括致密块沙漏(DBHG)网络的堆叠编码器-解码器网络。
图7图示了根据一些实施例的具有与所识别的身体区域相对应的多个段的患者的图像。
图8图示了根据一些实施例的被配置成捕获集成到堆叠编码器-解码器网络中的时间信息的递归神经网络(RNN)。
图9图示了根据一些实施例的被配置成从多个输入图像生成复合图像的多帧分析学的方法。
图10图示了根据一些实施例的被配置成实现图9中图示的方法的时间信息模块的处理流程。
图11图示了根据一些实施例的在患者床的移动期间相对于患者的运动轨迹的点图360。
图12图示了根据一些实施例的从多个输入图像生成的致密化点云。
图13图示了根据一些实施例的通过将图12的致密化点云投影到虚拟相机上而生成的复合图像。
图14图示了根据一些实施例的使用被配置成应用具有粗几何拟合的基于图像的绘制的基于图像的绘制方法而生成的经合成的图像。
图15图示了根据一些实施例的用于生成医学图像的系统的框图。
具体实施方式
示例性实施例的该描述是意在结合附图来阅读的,附图应被视为整个所编写的描述的一部分。
本公开的各种实施例通过下述操作来解决与医学成像(诸如例如,计算机断层扫描(CT))中的患者定位和监视相关联的前述挑战:使用由被安装到成像设备的外表面的相机获得的一个或多个二维(2D)图像,以在发起医学成像过程之前定位患者并在该过程期间针对移动而监视患者。
图1图示了医学成像系统2的一个实施例。医学成像系统2包括至少针对在第一机架16中提供的第一医学成像模态12的扫描仪。第一模态12包括多个检测器,该多个检测器被配置成检测湮没光子、伽玛射线和/或其他医学成像事件。在各种实施例中,第一模态12是CT检测器、正电子发射断层扫描(PET)检测器、单光子发射断层扫描(SPECT)检测器和/或任何其他合适检测器。患者17躺在可移动患者床18上,可移动患者床18可以是相对于一个或多个机架16可移动的。在一些实施例中,医学成像系统2包括针对在第二机架中提供的第二医学成像模态的扫描仪。第二医学成像模态可以是任何合适成像模态,诸如例如PET、单光子发射断层扫描(SPECT)、CT和/或任何其他合适成像模态。
在一些实施例中,成像设备70被安装到医学成像系统2的外部表面,诸如医学成像系统2的外壳、一个或多个机架16的外壳和/或任何其他合适表面。成像设备70可以包括二维(2D)成像设备,诸如例如数码相机(诸如,电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)设备和/或任何其他合适设备)。成像设备70被配置成生成患者17的位于机架16外的部分17a的一个或多个图像。在一些实施例中,成像设备70包括能够对患者17的位于成像模态12外的子部分进行成像的有限视野。成像设备70可以被配置成提供患者17的连续(即,视频)和/或离散图像。
来自第一模态12(和/或第二模态,如果被包括的话)的扫描数据被存储在一个或多个计算机数据库40处且由计算机30的一个或多个计算机处理器60处理。在一些实施例中,来自成像设备70的图像数据也可以由计算机30存储和/或处理,例如,被存储在数据库40中和/或由处理器60处理。图1中的计算机30的图形描绘仅作为图示而提供,并且计算机30可以包括一个或多个分离的计算设备。成像数据集可以直接由第一模态12、第二模态和/或成像设备70提供给计算机30,和/或可以作为分离的数据集而提供,诸如例如从耦合到计算机30的存储器提供。计算机30可以包括用于处理从该多个成像模态12之一和/或成像设备70接收到的信号的一个或多个处理电子装置。在一些实施例中,并且如下面更详细描述的那样,处理器60被配置成:执行一个或多个计算机可执行指令,并执行用于识别患者姿势、将患者定位在起始位置处以及生成至少一个医学图像的一个或多个步骤。
图2图示了根据一些实施例的识别患者17的身体姿势并将患者17定位在起始位置处的方法100。图3图示了根据一些实施例的图2的方法100的处理流程150。在步骤102处,将患者17定位在相对于包含至少一个医学成像模态12的至少一个机架16可移动的患者床18上。患者17可以以一个或多个姿势(或姿势的组合)(诸如,脚朝前、头朝前、仰卧、俯卧等)而定位在床上。在一些实施例中,患者17的姿势与要执行的成像过程相关。例如,在一些实施例中,患者17可以有利地针对所选成像过程而摆姿势,诸如,以头朝前、仰卧姿势、头朝前俯卧姿势、脚朝前仰卧姿势或脚朝前俯卧姿势定位。尽管本文讨论了具体姿势,但应当领会,患者17可以以任何合适姿势而定位在患者床18上。
在步骤104处,使用耦合到医学成像系统2的外表面的成像设备70来获得患者17的一个或多个表面图像152a-152c。图像152a-152c可以是由成像设备70获得的离散图像和/或连续图像(即,视频)。在一些实施例中,该一个或多个图像152a-152c具有有限的视野,使得患者17的仅部分17a在由成像设备70获得的每一个图像中可见。例如,患者17的成像可以被限于一个或多个身体区域,诸如例如头部、胸部、腹部、骨盆、腿部等。由成像设备70获得的图像152a-152c可以进一步被一个或多个堵塞(诸如,住院服和/或其他遮盖物)影响、受照明条件影响和/或被伪像和/或失真影响。在一些实施例中,成像设备包括2D成像设备,诸如,被配置成获得患者17的离散和/或连续图像的2D红-绿-蓝(RGB)成像设备或黑白成像设备。
在步骤106处,将该一个或多个图像提供给预处理模块154,预处理模块154被配置成执行一个或多个校正和/或以其他方式预处理由成像设备70捕获的图像152a-152c。例如,预处理模块154可以被配置成移除伪像、校正失真和/或提供任何其他合适校正。在一些实施例中,预处理模块154可以被配置成应用图像滤波(例如低通滤波、高通滤波、双边滤波、傅里叶滤波等)、线性变换(例如恒等、反射、比例、旋转、剪切等)、非线性变换(例如,基于从相机校准获得的透镜失真参数的非失真)和/或任何其他合适图像预处理。预处理模块154针对由成像设备70获得的每一个图像152a-152c生成经处理的图像156。
在可选步骤108处,将经处理的图像156中的每一个提供给时间信息模块160,时间信息模块160被配置成:对来自多个经处理的图像156的信息进行合计,以通过时间网络学习来生成经缝合的图像和/或改进患者身体区域估计。时间信息模块160可以包括:一个或多个个体网络和/或模块,被配置成同时和/或顺序地分析多个经处理的图像156以生成合计图像。时间信息模块160可以被配置成应用多帧分析学处理以改进身体区域估计,被配置成组合多个经处理的图像156以生成具有比任何单个经处理的图像156大的视野的合计图像,和/或被配置成执行附加的或可替换的图像合计过程。时间信息模块160可以包括一个或多个神经网络,如下面更详细讨论的那样。
在步骤110处,将每一个经处理的图像156提供给空间信息模块158,空间信息模块158被配置成识别患者姿势(例如头朝前/脚朝前、仰卧/俯卧等)和/或识别被包含在经处理的图像156内的具体患者区域(例如头部、胸部、腹部、下体等)。空间信息模块158可以包括:一个或多个个体网络和/或模块,被配置成分析图像156以识别具体患者姿势和/或身体区域。在一些实施例中,空间信息模块158被配置成应用单帧分析学处理以识别患者姿势和/或身体区域(诸如,一个或多个神经网络),如下面更详细讨论的那样。尽管步骤106-110被图示为有区别的步骤,但应当领会,在一些实施例中,预处理、空间信息分析和/或时间信息分析可以由单个网络执行且被组合成单个步骤。
在步骤112处,将患者17定位在对于要执行的一个或多个医学成像扫描而言优化和/或理想的起始位置处。例如,在一些实施例中,患者床18被移动以将要在医学成像模态12的视野内扫描的患者17的部分17a定位在与医学成像模态12相关联的起始位置处和/或定位在任何其他有利位置中。医学成像系统2可以使用与医学成像系统2集成地形成的移动设备(诸如,操作地耦合到患者床18的一个或多个电动机)来定位患者17。患者17的理想起始位置与要执行的想象过程相关,并且在发起医学成像扫描之前,患者17被自动地(例如,在没有用户交互的情况下)定位在理想起始位置中。定位可以由医学成像系统2基于由计算机30执行的患者姿势和/或身体区域识别来自动地执行。
在一些实施例中,医学成像系统2被配置成:使用所生成的身体姿势和/或身体区域估计,以验证患者的适当姿势、将患者17定位在起始位置处和/或自动地发起医学成像过程。例如,在一些实施例中,医学成像系统2(诸如计算机30)被配置成:将由空间信息模块158生成的身体姿势估计与针对一个或多个所选医学成像过程而要求和/或对于一个或多个所选医学成像过程而言最优的预定姿势进行比较。如果姿势估计匹配于预定姿势,则医学成像系统2生成患者姿势对于所选成像过程而言适当的指示。如果姿势估计不匹配于预定姿势,则医学成像系统2可以向操作者和/或患者生成在发起医学成像过程之前校正患者姿势的指示。
在一些实施例中,医学成像系统2被配置成:将患者17定位在与针对一个或多个预定医学成像过程的所选和/或理想起始位置相对应的预定起始位置处。例如,在一些实施例中,医学成像过程可以对应于一个或多个身体区域(诸如头部、胸部、腹部、骨盆、腿部等)的成像。医学成像系统2被配置成:从由成像设备70获得的多个图像中识别一个或多个身体区域,并定位患者17以使得所选身体区域被定位在针对医学成像过程的理想起始位置处,诸如,被定位在针对第一成像模态12的视野的起始处。医学成像系统2可以直接确定所选身体区域的位置(例如,在一个或多个图像中可见且相对于机架16定位的身体区域)和/或间接确定所选身体区域的位置(例如,不可见但可通过在一个或多个图像中可见的附加身体区域而计算的身体区域)。在一些实施例中,患者17一般可以由操作者定位,并且医学成像系统2可以在开始医学成像过程之前执行较小和/或附加的定位。
在步骤114处,使用与医学成像系统2集成地形成的医学成像模态12中的一个或多个来获得医学图像162。医学图像162可以是根据任何预定成像处理(诸如例如,连续床运动(CBM)成像(例如CBM CT、CBM PET等)、步进式(step-and-shoot)成像和/或固定位置成像)来获得的。医学图像162可以是根据用于生成患者的预定部分的医学图像的任何已知方法来处理的。在一些实施例中,医学成像系统2被配置成在将患者17定位在起始位置处之后自动地发起医学成像过程。
图4图示了根据一些实施例的被配置成识别患者姿势和/或身体区域边界的单帧分析学的方法200。图5图示了根据一些实施例的被配置成实现图4中图示的方法200的空间信息模块158a的处理流程250。在步骤202处,由空间信息模块158a接收至少一个图像152d。在一些实施例中,空间信息模块158a包括被配置成处理由成像设备70获得的每一个图像152d(即,帧)的单帧分析学网络。
在步骤204处,将每一个图像152d提供给图像处理网络252,并且在步骤206处,图像处理网络252输出患者姿势和/或身体区域估计。图像处理网络252可以至少包括被配置成识别每一个图像152d中的患者姿势和/或身体区域的神经网络。例如,在一些实施例中,图像处理网络252包括完全卷积神经网络(FCNN)252a。FCNN 252a包括多个层,诸如一个或多个输入层254、一个或多个输出层256和/或一个或多个隐藏层258-264。隐藏层中的每一个可以包括卷积层、池化层、完全连接层和/或归一化层中的一个或多个。
在一些实施例中,卷积层258中的每一个将卷积操作和/或互相关操作应用于输入。卷积层258的输出被提供给后续层,诸如池化层260。卷积层258具有多个参数,该多个参数包括具有小感受野(即,小视野)的可学习滤波器(被称作内核)集合,该小感受野延伸通过输入体积的全部深度。可以跨宽度和/或高度对输入体积进行卷积,以在滤波器的入口与输入之间生成输出,诸如点积输出。卷积生成2D激活图。在一些实施例中,卷积层258针对沿深度维度的所有滤波器而堆叠激活图,以形成卷积层258的全部输出体积。输出中的每一个入口可以被解释为输入中的小区域(即,神经元)的输出,并与激活图中的神经元共享参数。在一些实施例中,FCNN 252a可以包括被配置成控制每一个卷积层中的自由参数的数目的参数共享方案。FCNN 252a可以标示图像的深度维度内的2D切片,并针对切片内的每一个神经元而使用相同权重和/或偏置。
在一些实施例中,FCNN 252a包括被配置成执行非线性下采样的至少一个池化层260。每一个池化层260可以包括一个或多个非线性函数,诸如例如最大池化函数、平均池化函数、L2范数池化函数和/或任何其他合适池化函数。例如,在包括最大池化的实施例中,每一个池化层被配置成将输入图像分割成非重叠矩形的集合,并最大化针对每一个非重叠矩形的输出。池化层260可以被配置成渐进地减小表示的空间大小,减少参数的数目和网络中的计算的量,和/或控制过拟合。在一些实施例中,池化层260被配置成在输入的每一个切片上独立地操作,例如执行空间大小调整。
在一些实施例中,FCNN 252a包括一个或多个完全连接层262。完全连接层262被配置成提供去往前一层258、260中的所有经激活的神经元的连接。可以利用矩阵乘法和/或偏置偏移来计算激活,以将附加输入提供给后续卷积层。在各种实施例中,可以实现一个或多个FCNN网络,例如,AlexNet、VGG CNN、ResNet和/或任何其他合适CNN网络的经修改的版本。
在一些实施例中,FCNN 252a包括如图6中图示的堆叠完全卷积编码器-解码器网络270,其被配置成通过跨不同比例合计中间结果和特征来渐进地改善患者姿势和/或身体区域的预测。堆叠完全卷积编码器-解码器网络270是空间递归网络,其从前一迭代(或级)272a接收预测作为对每一个后续级272b的输入,以经由信息合计和误差反馈机制来渐进地改善预测。
在一些实施例中,FCNN 252a被配置成通过对一个或多个身体区域进行空间建模来实行结构性推论。如图7中图示,在一些实施例中,FCNN 252a将患者身体17分段成多个区域282a-282e,例如,以便生成树形结构280。树形结构可以由以下等式表征,其中在一些实施例中,I标示输入图像152a并且x标示L个身体区域边界的位置(其中x = {x 1 , x 2 ,…, x L })。由Θ参数化的条件概率p{x|l,Θ)可以被建模为:
其中Z是归一化因子,被定义为。基于患者17的树形结构280,无向图,其中ν指定身体区域边界的位置,并且ε标示将身体区域相连接的边的集合。此外,能量函数可以被表达如下:
其中一元能量分量测量在x i 处第i个身体区域边界的位置的逆似然性,并且成对能量分量测量身体区域配置x i 和x j 之间的相关性。在一些实施例中,一元能量分量由FCNN 252a确定(例如,预测),例如作为针对每一个身体区域282a-282e的热图,并且成对能量项可以由弹簧模型表征,尽管应当领会,可以使用用于估计和/或确定一元和/或成对能量项的其他方案。
在一些实施例中,单个网络可以被配置成联合地估计患者的姿势和身体区域。例如,在一些实施例中,神经网络252包括:多任务学习框架,被配置成针对不同监督信号而共享一个或多个层中的特征。神经网络252可以使用共享的特征以联合地估计图像152a-152c内的患者17的姿势和/或身体区域。
再次参考图6,在一些实施例中,堆叠编码器-解码器网络270包括致密块沙漏(DBHG)网络270。每一个DBHG 270包括多个级272a、272b,每一个级具有作为包括编码器部分276和解码器部分278的致密块(或其他合适网络)而生成的至少一个沙漏274。例如,在一些实施例中,堆叠编码器-解码器网络270包括堆叠2 DBHG,其中每一个沙漏274具有预定深度(例如,为4的深度),并且每一个致密块具有四个瓶颈连接(如图8中图示)。尽管本文描述了具体实施例,但应当领会,堆叠编码器-解码器网络可以包括被配置成识别患者17的姿势和/或身体区域的任何合适结构。
在一些实施例中,时间信息模块160被配置成在患者姿势和/或身体区域估计期间同时考虑多个帧。时间信息模块160a可以被配置成:处理由成像设备70捕获的每一个帧,以通过对来自多个帧的信息进行合计来获得鲁棒估计。例如,在一些实施例中,每一个帧可以由空间信息模块158(诸如,上面讨论的空间信息模块158a)个体地分析,且由时间信息模块160合计,以生成单个姿势和/或身体区域估计。时间信息模块160可以被配置成:针对每一个帧生成每一个可能姿势的概率,并生成来自多个帧的统计值(诸如,截尾均值或中位数),以生成针对患者姿势的最终估计。
在一些实施例中,可以使用随时间的序列预测上的平滑方法(例如,卡尔曼滤波)来针对身体区域边界估计而对时间信息(例如,多个帧)进行合计。可替换地和/或附加地,在一些实施例中,递归神经网络(RNN)160a被配置成捕获时间信息。在一些实施例中,RNN160a被集成到堆叠编码器-解码器网络270a中,如图8中图示。当RNN 160a与堆叠编码器-解码器网络270a集成时,与由堆叠编码器-解码器网络270a对每一个个体帧的处理同时地,RNN 160a识别时间信息。在一些实施例中,RNN 160a包括长短期存储器(LSTM)网络。
图9图示了根据一些实施例的被配置成从多个输入图像生成复合图像的多帧分析学的方法300。图10图示了根据一些实施例的被配置成实现图9中图示的方法300的时间信息模块160a的处理流程350。在步骤302处,由时间信息模块160a接收多个图像152a-152c。时间信息模块160a包括多帧分析学模块352。图像152a-152c中的每一个具有相对于位于可移动床18上的患者17的有限视野。例如,再次参考图1,在一些实施例中,耦合到机架16的外表面的成像设备70(诸如,相机)具有包括患者17的仅部分的有限视野80。随着可移动床18在扫描方向82上前进,患者17的被包含在视野80内的部分改变。在一些实施例中,多帧分析学模块352被配置成生成具有比成像设备70的视野80大的视野的复合图像。
在步骤304处,多帧分析学模块352组合所接收到的图像152a-152c中的两个或更多个,以生成复合图像360。例如,在一些实施例中,多帧分析学模块352被配置成组合包含患者17的部分的两个或更多个离散图像152a-152c,以生成具有比个体离散图像152a-152c中的任一个大的视野的单个复合图像360。在一些实施例中,多帧分析学模块352被配置成:利用运动结构法则(SFM, structure from motion)技术,以估计患者床18运动和/或深度图,以便从所接收到的图像152a-152c生成患者17的3D表面。多个所生成的3D表面被组合以生成患者17的单个3D表面图像。在一些实施例中,多帧分析学模块352被配置成实现同时定位与地图构建(SLAM, simultaneous localization and mapping)技术,如下面更详细讨论的那样。在一些实施例中,所生成的复合图像360被提供给空间信息模块158,以用于确定姿势和/或身体区域边界。
在一些实施例中,多帧分析学模块352被配置成通过组合来自从成像设备70获得的连续图像流(例如,视频)和/或离散图像流的多个帧,来扩展成像设备70的视野。例如,在一些实施例中,多帧分析学模块352实现两步处理,其包括相对运动恢复模块354和图像合成模块356。在一些实施例中,如果相对运动与图像获取同步,则可以从患者床读数推断相对运动。在一些实施例中,并且如下面更详细讨论的那样,同时定位与地图构建(SLAM)技术可以用于相对运动恢复,并且反向投影几何估计可以用于图像合成,尽管应当领会,任何合适技术可以用于相对运动恢复和/或图像合成。
在一些实施例中,相对运动恢复模块354被配置成实现一个或多个运动结构法则(SFM)方法、SLAM方法和/或任何其他合适运动恢复方法。例如,在包括两个或更多个成像设备70的实施例中,SFM方法针对由成像设备70获得且由时间信息模块160a处理的所有可能对的视频帧而应用帧匹配。SFM方法能够处置无序且异构的数据(例如,由不同相机在各种环境条件下捕获的图像)。
在包括单个成像设备70的一些实施例中,相对运动恢复模块354包括SLAM实现方式。时间信息模块160a被配置成跨连贯帧(诸如,由连续成像设备70提供的帧)而跟踪信息。在一些实施例中,SLAM方法实现一种或多种统计技术以近似患者17的位置且近似医学成像环境的图。例如,SLAM方法可以实现卡尔曼滤波、粒子滤波(例如,蒙特卡洛滤波)、扫描匹配、光束法平差(bundle adjustment)和/或任何其他合适技术中的一种或多种。在一些实施例中,SLAM模块被配置成生成点图360(参见图11)。
在具体实施例中,SLAM方法可以受一个或多个所施加的参数限制。例如,在一些实施例中,所施加的参数可以包括对患者床18的移动的到预定移动范围(例如,一个或多个自由度)的限制,该预定移动范围诸如是包括进/出机架16的高度和/或纵向移动中的平移的两度移动范围。作为另一示例,在一些实施例中,所施加的参数可以包括:静态背景的限制,使得可以经由从视频的第一视图帧累积的帧区别来检测背景区域;以及患者17正随患者床18一起向机架16移动的假设。
在一些实施例中,相对运动恢复模块354被配置成输出一个或多个关键帧和伴随的点图360。例如,在一些实施例中,相对运动恢复模块354被配置成以固定间隔和/或基于所估计的移动来输出点图和对应帧(例如,在患者17已经移动预定距离之后输出帧)。该一个或多个关键帧被配置成基于来自成像设备70的所提供的帧来提供患者17的良好空间覆盖。在一些实施例中,关键帧被选择成使得附近关键帧之间的重叠允许由图像合成模块306对背景和/或前景元素的几何估计,如下面更详细讨论的那样。
在一些实施例中,点图360包括与患者17的所检测到的几何结构相对应的多个点(诸如,网格点)。例如,如图11中所示,点图360可以是相对于患者17在患者床18的移动期间的运动轨迹362而生成的。点图360包括多个点,每一个点对应于由相对运动恢复模块354检测到的患者17的部分。
在一些实施例中,相对运动恢复模块354将针对一个或多个关键帧的点云360(诸如,稀疏点云)提供给图像合成模块356。图像合成模块356被配置成针对每一个所接收到的帧和对应点云而估计患者的3D身体几何结构。在一些实施例中,图像合成模块356被配置成从输入帧(即,关键帧)生成经合成的图像。图像合成模块356可以实现任何合适图像合成方法,诸如,基于多视图立体匹配的深度图融合方法和/或基于粗深度估计的基于图像的绘制方法。
在一些实施例中,实现包括深度图融合方法的图像合成模块356。深度图融合方法被配置成:通过使用一个或多个多视图立体处理,根据针对每一个所接收到的帧的每一个帧而估计的深度图估计合计经扩展的致密图。例如,在一些实施例中,多视图立体处理使用具有点云360中的点的重叠数目的一个或多个附加帧,以针对每一个个体帧而估计致密图。针对每一个帧的个体深度图被合并在一起作为图12中图示的致密化点云366。致密化点云被投影到虚拟相机上,以生成具有患者17的经扩展的视野的经合成的图像370,如图13中图示。与由成像设备70获得的个体图像中的任一个相比,图13的经合成的图像370具有经扩展的视野。
在一些实施例中,图像合成模块356包括:基于图像的绘制方法,被配置成应用具有粗几何拟合的基于图像的绘制。在一些实施例中,基于图像的绘制被配置成:应用粗几何结构作为代理,以通过使用基于图像的绘制、经由该代理(例如,粗几何结构)将输入图像投影到具有经扩展的视野的虚拟相机上。在一些实施例中,粗几何结构是从由相对运动恢复模块354生成的点云360导出的。图14图示了根据一些实施例的使用基于图像的绘制方法而生成的经合成的图像380的一个实施例,该基于图像的绘制方法被配置成应用具有粗几何拟合的基于图像的绘制。
参考回到图9,在步骤306处,时间信息模块160被配置成输出复合图像370、380。在一些实施例中,时间信息模块160被配置成:将复合图像370、380提供给空间信息模块158,以用于在姿势和/或身体区域估计中使用。例如,在一些实施例中,空间信息模块158被配置成:将复合图像370、380提供给上面讨论的网络中的一个或多个,诸如例如,完全卷积神经网络252a。空间信息模块158可以被配置成:输出来自所提供的复合图像370、380的姿势和/或身体区域估计和/或提供附加信息(诸如,经更新的点云)到时间信息模块160,以用于附加处理。
在一些实施例中,空间信息模块158和/或时间信息模块160中包括的神经网络可以是在发起患者姿势和/或身体区域确定之前训练的,和/或可以是从预先生成和/或预先训练的神经网络中选择的。例如,在一些实施例中,系统(诸如,图1中图示的计算机系统30)接收训练数据集。训练数据集包含多个训练图像,该多个训练图像至少包括患者的部分和标识与训练图像相关的信息(诸如,图像内包含的患者的姿势、图像内包含的(一个或多个)身体区域、对至少部分地在训练图像上生成的复合图像的引用和/或任何其他合适信息)的关联数据。在一些实施例中,系统30接收多个训练数据集,每一个训练数据集包含具有关联数据的多个训练图像。例如,系统30可以接收仅包含第一姿势和/或身体区域的第一训练数据集、仅包含第二姿势和/或身体区域的第二训练数据集、仅包含第三姿势和/或身体区域的第三训练数据集等。该(一个或多个)训练数据集可以是从单个源接收的和/或可以是从多个源接收的。在其他实施例中,系统30被配置成从储存库(诸如,存储器和/或网络连接的储存设备)加载一个或多个预先生成的神经网络。
在一些实施例中,系统30被配置成使用训练数据集(诸如例如FCNN网络252a、RNN160a、多视图立体网络等)来生成神经网络。每一个神经网络可以是通过将训练数据集中的训练图像中的每一个提供给学习网络来生成的,该学习网络诸如是图像到图像学习网络、深度强化学习网络、残余网络、致密连接的卷积网络和/或任何其他合适学习网络。学习网络检查训练图像中的每一个并试图识别一个或多个参数,诸如患者姿势、身体区域等。
在一些实施例中,学习网络是经监督的学习网络。经监督的学习网络接收训练数据集,并试图识别由训练数据集暗示且将输入(即,训练图像)集合最佳地映射到正确输出的神经网络映射(例如,神经网络地形)。例如,被提供有包含各种患者姿势和/或身体区域的训练数据集的经监督的学习网络生成将每一个图像最佳地映射到一个或多个姿势和/或身体区域类别的神经网络。成本函数关于所选映射与训练数据集之间的失配。该成本函数可以包括任何合适成本函数,诸如均方误差函数或分类交叉熵损失函数。在一些实施例中,学习网络使用反向投影算法,以计算在训练期间神经网络中的每一个神经元(例如,节点)的误差贡献。该成本函数被配置成基于训练数据集来识别最佳神经网络地形。
图15是用于生成医学图像的系统500的框图。系统500包括医学成像系统2和计算机系统30a。在一些实施例中,可以使用计算机系统30a,例如以用于实现对医学成像系统2进行控制的系统30。计算机系统30a可以包括一个或多个处理器60a。每一个处理器60a连接到通信基础设施506(例如,通信总线、跨接条或网络)。处理器60a可以被实现为中央处理单元、嵌入式处理器或微控制器、专用集成电路(ASIC)、和/或被配置成执行用于执行一个或多个步骤的计算机可执行指令的任何其他电路。处理器60a类似于上面讨论的处理器60,并且类似的描述不在本文中重复。计算机系统30a可以包括:显示接口522,其转发来自通信基础设施506(或来自帧缓冲器,未示出)的图形、文本和其他数据以用于在显示单元524上显示给用户。
计算机系统30a还可以包括主存储器504(诸如随机存取存储器(RAM))和辅存储器508。主存储器504和/或辅存储器508包括动态随机存取存储器(DRAM)。辅存储器508可以包括例如硬盘驱动器(HDD)510和/或可移除储存驱动器512,其可以表示固态存储器、光盘驱动器、闪速驱动器、磁带驱动器等等。可移除储存驱动器512从可移除储存单元 516读取和/或向可移除储存单元516写入。可移除储存单元516可以是光盘、磁盘、软盘、磁带等等。可移除储存单元516可以包括计算机可读储存介质,该计算机可读储存介质中有形地存储有(或者该计算机可读储存介质上体现有)数据和/或计算机可执行软件指令,例如以用于使(一个或多个)处理器执行各种操作和/或一个或多个步骤。
在可替换实施例中,辅存储器508可以包括用于允许计算机程序或其他指令被加载到计算机系统30a中的其他设备。辅存储器508可以包括可移除储存单元518和对应的可移除储存接口514,可移除储存接口514可以类似于可移除储存驱动器512,具有其自身的可移除储存单元516。这种可移除储存单元的示例包括但不限于通用串行总线(USB)或闪速驱动器,这允许软件和数据从可移除储存单元516、518传送到计算机系统30a。
计算机系统30a还可以包括通信接口(例如,联网接口)520。通信接口520允许指令和数据在计算机系统30a与医学成像系统2之间传送。通信接口520还提供与其他外部设备的通信。通信接口520的示例可以包括调制解调器、以太网接口、无线网络接口(例如射频、IEEE 802.11接口、蓝牙接口等等)、个人计算机存储卡国际协会(PCMCIA)槽和卡等等。经由通信接口520而传送的指令和数据可以以信号的形式存在,该信号可以是能够由通信接口520接收的电子信号、电磁信号、光信号等等。这些信号可以经由通信路径(例如,信道)而提供给通信接口520,该通信路径可以是使用导线、线缆、光纤、电话线、蜂窝链路、射频(RF)链路和其他通信信道来实现的。
本文描述的方法和系统可以至少部分地以计算机实现处理和用于实践这些处理的装置的形式体现。所公开的方法还可以至少部分地以利用计算机可执行程序代码编码的有形非瞬变机器可读储存介质的形式体现。介质可以包括例如RAM、ROM、CD-ROM、DVD-ROM、BD-ROM、硬盘驱动器、闪速存储器或者任何其他非瞬变机器可读储存介质,其中当计算机程序代码被加载到计算机中且由计算机执行时,该计算机变为用于实践该方法的装置。该方法还可以至少部分地以计算机程序代码被加载和/或执行到其中的计算机的形式体现,使得该计算机变为用于实践该方法的专用计算机。当被实现在通用处理器上时,计算机程序代码段将该处理器配置成创建用于实现本文公开的方法的具体连接、电路和算法。
装置和处理不限于本文描述的具体实施例。附加地,每一个装置的部件和每一个处理可以是与本文描述的其他部件和处理独立且分离地实践的。
实施例的先前描述被提供以使本领域技术人员能够实践本公开。对这些实施例的各种修改对本领域技术人员来说应当容易可见,并且本文限定的一般原理可以在不使用创造性能力的情况下被应用于其他实施例。不意在将本公开限于本文示出的实施例,但应向本公开给予与本文公开的原理和新颖特征一致的最宽范围。
Claims (20)
1.一种用于生成医学图像的方法,包括:
经由相机来获得患者的至少一个表面图像;
使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势;
经由可移动床将所述患者定位在成像起始位置处;以及
经由医学图像模态来获得所述患者的医学图像。
2.如权利要求1所述的方法,其中所述至少一个空间信息模块包括单帧分析学网络或多帧分析学网络中的至少一个。
3.如权利要求2所述的方法,其中所述单帧分析学网络包括完全卷积神经网络。
4.如权利要求1所述的方法,其中所述至少一个空间信息模块包括致密块沙漏(DBHG)网络。
5.如权利要求1所述的方法,包括:从所述患者的两个或更多个表面图像生成复合图像,其中所述复合图像由与所述空间信息模块进行信号通信的时间信息模块生成。
6.如权利要求5所述的方法,其中所述时间信息模块包括相对运动恢复模块和图像合成模块。
7.如权利要求6所述的方法,其中所述相对运动恢复模块包括同步患者床位置读数,以推断所述患者与所述相机之间的相对运动。
8.如权利要求6所述的方法,其中所述相对运动恢复模块包括运动结构法则模块、同时定位与地图构建模块或其组合。
9.如权利要求6所述的方法,其中所述图像合成模块包括深度融合模块。
10.如权利要求9所述的方法,其中所述深度融合方法对根据多视图立体匹配处理而估计的每一个帧的深度图进行合计。
11.如权利要求9所述的方法,其中所述图像合成模块基于对所述患者的粗几何拟合来合成经扩展的视野。
12.如权利要求1所述的方法,包括:在确定所述患者的姿势之前预处理所述患者的所述至少一个表面图像。
13.如权利要求1所述的方法,其中所述时间信息模块包括递归神经网络。
14.一种生成医学图像的系统,包括:
成像模态,被配置成获得患者的医学图像;
成像设备,被配置成获得患者的至少一个表面图像;以及
处理器,被配置成实现空间信息模块、时间信息模块或其组合中的至少一个,其中所述处理器被配置成接收所述患者的所述至少一个表面图像以及验证患者姿势或身体区域中的至少一个,并且其中所述处理器被配置成:当所述患者姿势或身体区域被验证时,使用所述成像模态来执行医学成像过程。
15.如权利要求14所述的系统,其中所述空间信息模块包括完全卷积神经网络。
16.如权利要求14所述的系统,其中所述空间信息模块包括致密块沙漏(DBHG)网络。
17.如权利要求14所述的系统,其中所述时间信息模块被配置成从所述患者的两个或更多个表面图像生成复合图像。
18.如权利要求17所述的系统,其中所述时间信息模块包括相对运动恢复模块和图像合成模块。
19.如权利要求18所述的系统,其中所述相对运动恢复模块包括同时定位与地图构建模块、被配置成推断所述患者与相机之间的相对运动的同步床位置模块、或其组合。
20.一种利用计算机可执行指令编码的非瞬变计算机可读介质,所述计算机可执行指令在由用于检查神经扫描的系统中的计算机执行时使所述用于检查神经扫描的系统执行下述步骤:接收患者的至少一个表面图像;
使用至少一个空间信息模块来根据所述至少一个表面图像确定所述患者的姿势;
经由可移动床将所述患者定位在成像起始位置处;以及
经由医学图像模态来获得所述患者的医学图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/950,435 US10783655B2 (en) | 2018-04-11 | 2018-04-11 | System and method for assisted patient positioning |
US15/950435 | 2018-04-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110364253A true CN110364253A (zh) | 2019-10-22 |
CN110364253B CN110364253B (zh) | 2024-03-01 |
Family
ID=68160790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290544.9A Active CN110364253B (zh) | 2018-04-11 | 2019-04-11 | 用于辅助的患者定位的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10783655B2 (zh) |
CN (1) | CN110364253B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113967026A (zh) * | 2020-07-23 | 2022-01-25 | 西门子医疗有限公司 | 定位成像相关部件的方法、成像设备以及计算机程序产品 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10706262B2 (en) * | 2018-01-08 | 2020-07-07 | 3DLOOK Inc. | Intelligent body measurement |
JP7488037B2 (ja) * | 2018-10-24 | 2024-05-21 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置、医用画像診断方法、およびプログラム |
EP3881230A2 (en) * | 2018-11-14 | 2021-09-22 | Intuitive Surgical Operations, Inc. | Convolutional neural networks for efficient tissue segmentation |
EP3671641A1 (en) * | 2018-12-20 | 2020-06-24 | Koninklijke Philips N.V. | Automated detection of abnormal subject configuration for medical imaging |
US11748899B2 (en) | 2019-02-07 | 2023-09-05 | Siemens Healthcare Gmbh | Dense body marker estimation from camera data for patient positioning in medical imaging |
US10708627B2 (en) * | 2019-03-04 | 2020-07-07 | Intel Corporation | Volumetric video compression with motion history |
US11682135B2 (en) * | 2019-11-29 | 2023-06-20 | GE Precision Healthcare LLC | Systems and methods for detecting and correcting orientation of a medical image |
US11036989B1 (en) | 2019-12-11 | 2021-06-15 | Snap Inc. | Skeletal tracking using previous frames |
US11544848B2 (en) * | 2020-11-06 | 2023-01-03 | GE Precision Healthcare LLC | Deep learning based methods and systems for automated subject anatomy and orientation identification |
CN112562084B (zh) * | 2020-12-21 | 2024-05-07 | 成都玻尔兹曼智贝科技有限公司 | 一种提取牙齿三维点云模型牙弓曲线的方法及系统 |
EP4024404A1 (en) * | 2021-01-04 | 2022-07-06 | Koninklijke Philips N.V. | Method and system for controlling medical imaging sessions and optimizing discomfort of the patient |
US11995830B2 (en) * | 2021-02-10 | 2024-05-28 | The Trustees Of The University Of Pennsylvania | Deep learning architecture for analyzing medical images for body region recognition and delineation |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020065461A1 (en) * | 1991-01-28 | 2002-05-30 | Cosman Eric R. | Surgical positioning system |
CN101889870A (zh) * | 2010-07-20 | 2010-11-24 | 江苏同庚电子科技有限公司 | 放射治疗定位装置 |
CN104644171A (zh) * | 2013-11-19 | 2015-05-27 | 上海联影医疗科技有限公司 | 用于磁共振系统的定位方法及装置 |
CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
US20170091939A1 (en) * | 2015-09-25 | 2017-03-30 | Siemens Healthcare Gmbh | Systems and Methods for See-Through Views of Patients |
CN106951875A (zh) * | 2017-03-24 | 2017-07-14 | 深圳市唯特视科技有限公司 | 一种基于二进制卷积的人体姿态估计和人脸对齐的方法 |
CN107358607A (zh) * | 2017-08-13 | 2017-11-17 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 |
CN107495971A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 基于骨架识别的患者发病报警医疗系统及其检测方法 |
WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
US20180096259A1 (en) * | 2016-09-30 | 2018-04-05 | Disney Enterprises, Inc. | Deep-learning motion priors for full-body performance capture in real-time |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6049281A (en) * | 1998-09-29 | 2000-04-11 | Osterweil; Josef | Method and apparatus for monitoring movements of an individual |
US8834372B2 (en) * | 2007-01-26 | 2014-09-16 | Fujifilm Sonosite, Inc. | System and method for optimized spatio-temporal sampling |
US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
US10163195B2 (en) * | 2014-12-12 | 2018-12-25 | Andrew Berlin | Spatio-temporal differential synthesis ofdetail images for high dynamic range imaging |
CA3001317A1 (en) * | 2015-10-08 | 2017-04-13 | Brain Sentinel, Inc. | Method and apparatus for detecting and classifying seizure activity |
WO2018165025A1 (en) * | 2017-03-05 | 2018-09-13 | The Charles Stark Draper Laboratory, Inc. | System and method for image guided tracking to enhance radiation therapy |
-
2018
- 2018-04-11 US US15/950,435 patent/US10783655B2/en active Active
-
2019
- 2019-04-11 CN CN201910290544.9A patent/CN110364253B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020065461A1 (en) * | 1991-01-28 | 2002-05-30 | Cosman Eric R. | Surgical positioning system |
CN101889870A (zh) * | 2010-07-20 | 2010-11-24 | 江苏同庚电子科技有限公司 | 放射治疗定位装置 |
CN104644171A (zh) * | 2013-11-19 | 2015-05-27 | 上海联影医疗科技有限公司 | 用于磁共振系统的定位方法及装置 |
CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
US20170091939A1 (en) * | 2015-09-25 | 2017-03-30 | Siemens Healthcare Gmbh | Systems and Methods for See-Through Views of Patients |
WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
US20180096259A1 (en) * | 2016-09-30 | 2018-04-05 | Disney Enterprises, Inc. | Deep-learning motion priors for full-body performance capture in real-time |
CN106951875A (zh) * | 2017-03-24 | 2017-07-14 | 深圳市唯特视科技有限公司 | 一种基于二进制卷积的人体姿态估计和人脸对齐的方法 |
CN107495971A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 基于骨架识别的患者发病报警医疗系统及其检测方法 |
CN107358607A (zh) * | 2017-08-13 | 2017-11-17 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 |
Non-Patent Citations (1)
Title |
---|
韩敏捷: "基于深度学习的动作识别方法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113967026A (zh) * | 2020-07-23 | 2022-01-25 | 西门子医疗有限公司 | 定位成像相关部件的方法、成像设备以及计算机程序产品 |
CN113967026B (zh) * | 2020-07-23 | 2024-02-02 | 西门子医疗有限公司 | 定位成像相关部件的方法、成像设备以及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110364253B (zh) | 2024-03-01 |
US20190318497A1 (en) | 2019-10-17 |
US10783655B2 (en) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110364253A (zh) | 用于辅助的患者定位的系统和方法 | |
US11257259B2 (en) | Topogram prediction from surface data in medical imaging | |
US11514573B2 (en) | Estimating object thickness with neural networks | |
Park et al. | High-quality depth map upsampling and completion for RGB-D cameras | |
US11810301B2 (en) | System and method for image segmentation using a joint deep learning model | |
Periaswamy et al. | Elastic registration in the presence of intensity variations | |
Ye et al. | Deep back projection for sparse-view CT reconstruction | |
US20170278302A1 (en) | Method and device for registering an image to a model | |
Ye et al. | Deep residual learning for model-based iterative ct reconstruction using plug-and-play framework | |
CN107169475A (zh) | 一种基于kinect相机的人脸三维点云优化处理方法 | |
JP7038857B2 (ja) | 医用画像変換 | |
CN111192226B (zh) | 一种图像融合去噪方法及装置、系统 | |
US20230132479A1 (en) | Systems and methods for personalized patient body modeling | |
US20220319055A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
CN103345741B (zh) | 一种非刚性多模医学图像精确配准方法 | |
Wang et al. | Flow supervision for deformable nerf | |
Bartoli et al. | Template-based isometric deformable 3D reconstruction with sampling-based focal length self-calibration | |
US11710265B2 (en) | Method for producing an image of expected results of medical cosmetic treatments on a human anatomical feature from an image of the anatomical feature prior to these medical cosmetic treatments | |
Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
CN107810518B (zh) | 图像处理系统和方法 | |
Jodoin et al. | Optical-flow based on an edge-avoidance procedure | |
Herrera et al. | A learned joint depth and intensity prior using Markov random fields | |
Brindha et al. | Fusion of radiological images of glioblastoma multiforme using weighted average and maximum selection method | |
Wein et al. | Towards general motion recovery in cone-beam computed tomography | |
Ouzir et al. | Optical flow estimation in ultrasound images using a sparse representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |