CN117957589A - 基于相机的针对受检者位置的检测 - Google Patents
基于相机的针对受检者位置的检测 Download PDFInfo
- Publication number
- CN117957589A CN117957589A CN202280061359.2A CN202280061359A CN117957589A CN 117957589 A CN117957589 A CN 117957589A CN 202280061359 A CN202280061359 A CN 202280061359A CN 117957589 A CN117957589 A CN 117957589A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- anatomical
- keypoint
- subject
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 17
- 230000004044 response Effects 0.000 claims abstract description 20
- 230000004807 localization Effects 0.000 claims abstract description 5
- 238000002059 diagnostic imaging Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 27
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 4
- 238000002600 positron emission tomography Methods 0.000 claims description 3
- 238000003325 tomography Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000002786 image-guided radiation therapy Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 description 23
- 210000003811 finger Anatomy 0.000 description 17
- 210000003414 extremity Anatomy 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000000707 wrist Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 5
- 230000000284 resting effect Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000833020 Padilla Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
在此公开了一种医学系统(100、300),其包括存储机器可执行指令(120)和解剖学关键点定位模块(122)的存储器(110)。解剖学关键点定位模块被配置成用于响应于接收描绘受检者的相机图像(124)来输出受检者(318)的一组解剖学关键点坐标(126)。医学系统还包括计算系统(104)。执行机器可执行指令致使计算系统:接收(200)相机图像;响应于将相机图像输入到解剖学关键点定位模块中来接收(202)一组解剖学关键点坐标;接收(204)坐标列表(128);对所述坐标列表进行搜索(206),以确定与一组解剖学关键点坐标的匹配;以及在确定匹配的情况下,提供(208)警报信号。
Description
技术领域
本发明涉及医学成像,具体涉及在进行成像之前针对受检者(subject,对象、受检体)位置或姿势的自动检测。
背景技术
诸如磁共振成像(MRI)、计算机断层扫描、正电子发射断层扫描和单光子发射断层扫描之类的各种医学成像技术使得能详细地使受检者的解剖学结构可视化。在诸如这些之类的医学成像模式(modality)中,在程序之前对受检者的正确定位至关重要。否则,受检者可能会被错误成像。
Padilla等人名下的期刊出版物“Collision prediction software forradiotherapy treatments,”Med.Phys.42(11),November 2015,pp.6448-6456,http:// dx.doi.org/10.1118/1.4932628,公开了在模拟器处使用三维相机扫描处于治疗位置的患者和固定装置。受检者的表面被重建。使用投射在表面扫描上的模拟正交激光对治疗等中心点(isocenter)进行标记。该表面的点云随后被移至等中心点,并且从笛卡尔坐标转换为圆柱坐标。板被来模拟治疗床。这样的圆柱体被用来估计碰撞(collision),该圆柱体的半径等于从等中心点到准直器板的法线距离,并且其高度由准直器直径限定。圆柱体内的点在治疗床处于0°的情况下通过一圈完整的台架旋转进行检查,而圆柱体外的点则发生碰撞。碰撞的角度被报告。这种方法是使用被定位在阿尔法摇篮中、双臂上举的人体模型在实验中验证的。对两个治疗等中心点进行了碰撞计算,并且将结果与针对房间检测到的碰撞情况进行了比较。通过将三维表面与计划CT扫描的外表面进行比较,评估三维表面的准确性。
发明内容
本发明在独立权利要求中提供了一种医学系统、一种方法以及一种计算机程序。在从属权利要求中给出了实施例。
在对受检者执行医学成像扫描时,准确检测身体位置会是非常有用的。目前,存在使用三维相机对受检者的表面进行成像的系统。这些系统的缺点在于其可能无法很好地预测受检者的姿势。各实施例可以提供一种改进的装置,其在执行医学成像扫描之前识别受检者被不正确地定位或可能处于危险姿势的情况。各实施例可以通过使用解剖学关键点定位模块来实现这一目的,该解剖学关键点定位模块可以响应于接收受检者的相机图像来提供一组解剖学关键点坐标(a set ofanatomical keypoint coordinates)。该组解剖学关键点坐标可以被与坐标列表(a list ofcoordinates,一系列坐标)进行比较,以确定例如各个解剖学关键点的绝对位置或相对位置是否不正确。
在一个方面,本发明提供了一种医学系统,该医学系统包括存储机器可执行指令和解剖学关键点定位模块的存储器。在一些示例中,解剖学关键点定位模块可以被结合到机器可执行指令中。解剖学关键点定位模块被配置成用于响应于接收描绘受检者的相机图像来输出受检者的一组解剖学关键点坐标。
在此使用的解剖学关键点包括位于受检者内的解剖学地标(landmark)或位置。解剖学关键点可以结合受检者的各种关节或表面地标(眼睛、耳朵、鼻子)的位置。相机图像是对受检者的描绘,并且提供了对受检者的外部或表面(纹理和/或形状)的描绘。例如,相机图像可以是光学图像、红外图像、热图像,甚至是彩色图像。在其它示例中,相机图像是三维表面图像。在另一示例中,相机图像是由多个相机图像形成的合成图像。例如,可以使用两幅二维图像来提供立体图像,该立体图像提供三维或空间信息。在其它示例中,相机图像是由多种类型图像形成的合成图像。红外图像或热图像可以与三维图像组合。
在单幅图像或合成图像中,可以在每幅图像中检测到地标。这可以被用于在将解剖学关键点坐标与坐标列表进行匹配时提供额外的信息和选项。识别多幅图像中的地标还可以确定地标的三维位置。
医学系统还包括计算系统。在此使用的计算系统可以包括可能位于一个或多个位置处的计算系统或处理器。执行机器可执行指令致使计算系统接收相机图像。执行机器可执行指令还致使计算系统响应于将相机图像输入到解剖学关键点定位模块中来接收一组解剖学关键点坐标。执行机器可执行指令还致使计算系统接收坐标列表。
在不同的示例中,坐标列表可以采用不同的形式。例如,坐标列表可以包括受检者的各个解剖学关键点的绝对位置或相对位置。坐标列表还可以限定解剖学关键点之间的关系。例如,在绝对位置的情况下,坐标列表中的解剖学关键点可以明确可针对受检者的潜在损伤提供数据的位置。例如,如果受检者将其诸如手部、肘部或脚部之类的附器置于错误的位置,则当受检者被移入医学成像系统中时,可能会发生碰撞或被夹伤。在此使用的附器(appendage)是指受检者的手部或脚部。
在一些示例中,坐标列表包括二维坐标。例如,当相机图像是二维图像时(例如,当使用彩色图像或红外图像时),可以使用这种坐标。在其它示例中,坐标列表包括三维坐标。当使用多个二维相机图像时和/或当相机图像包括三维图像时,可以使用这种坐标。
在其它示例中,坐标列表包括n维坐标,其中,n大于三。当给出三维坐标并使用附加坐标来测量坐标随时间的变化时,可以使用这种坐标。例如,三个空间维度和时间坐标。
在其它示例中,如果是磁共振成像,手指相接触或者手指接触到特定身体部位,或者甚至手臂或腿部交叉,会在身体内形成导电回路,这会导致对受检者的RF发热。随后,可以通过限定解剖学关键点的位置之间的关系来确定受检者的位置和姿势。例如,如果受检者的腿部交叉,则会在坐标中出现特定的关系。例如,臀部会紧靠彼此,并且因此会有腿部的坐标交叉。因此,坐标列表可以限定受检者的各种位置和定向。
执行机器可执行指令还致使计算系统对坐标列表进行搜索,以确定与一组解剖学关键点坐标的匹配。在不同的示例中,对匹配进行确定可以采取不同的形式。例如,所述确定是对匹配的检测。例如,可以对坐标列表进行搜索,以查看是否有附器位于错误的位置。在其它情况下,可以对其搜索以查看附器(例如,手部或脚部)是否重叠或其它身体部位是否重叠以形成导电回路。执行机器可执行指令还致使计算系统在检测到匹配的情况下发出警告信号。
对匹配的确定还可以包括对该匹配到一组解剖学关键点坐标的适配的准确程度的准确度测量。如果该组解剖学关键点坐标在该系列坐标中的坐标的一定距离或邻域内,则可以检测到匹配。但是,在该邻域内,可能会有更好或更差的匹配。例如,测量的准确度可以是描述一组解剖学关键点坐标与坐标列表之间的距离的测量值。例如,该测量值可以是每个坐标之间的差的均方根(RMS)值。
在另一个实施例中,一个或多个身体导电回路是受检者体内的可导致对受检者的RF加热的导电回路。在使用磁共振成像系统期间,会产生显著变化的电磁场。根据法拉第定律可知,变化的电磁场将在导电回路中感生电流。当受检者将手指放在臀部或其它身体部位上时,这种接触有可能会在这两个身体区域之间形成电连接,从而形成导电回路,这种导电回路在本文中称为身体导电回路(conductive body loop)。在该身体导电回路中感生出的电流会在受检者体内导致电阻性加热,从而导致灼伤。
在另一个实施例中,坐标列表限定两组或更多组解剖学关键点坐标之间的相对坐标。坐标列表可以包含用于比较解剖学关键点的成组坐标。例如,坐标列表可以包含不同解剖学关键点坐标之间的相对变化。坐标列表还可以包含这些相对变化的比率。
坐标列表可以具有不同的来源。其可以从用户界面接收,也就是说,由用户输入。在另一个示例中,其可以是预定义的,并且可以通过网络接口接收,或者可以从计算机存储器或存储设备检索。
在另一个实施例中,坐标列表包括被限定为多组解剖学关键点坐标之间的相对变化的身体姿势。因此,对坐标列表进行搜索以确定一组解剖学关键点坐标内的匹配,包括使用该组解剖学关键点坐标检测从坐标列表中的身体姿势中选定的身体姿势。在该实施例中,解剖学关键点的相对位置用于限定特定的身体姿势。执行机器可执行指令还致使计算系统在检测到不合规的身体姿势的情况下发出警告信号。这在受检者的特定定位可能导致不良医学成像程序或可能将受检者置于危险之中的情况下会特别有用。
在另一个实施例中,坐标列表包括被限定为一组解剖学关键点坐标的成员(member)之间的相对变化的身体姿势。
在另一个实施例中,使用一组解剖学关键点坐标检测从坐标列表中的身体姿势中选定的身体姿势包括:确定一组解剖学关键点坐标的成员之间的相对变化,以及将一组解剖学关键点坐标的成员之间的相对变化与身体姿势进行比较。
在另一个实施例中,相机图像包括三维表面图像。例如,相机图像可以由所谓的三维相机获取。对身体姿势的检测至少部分使用三维表面图像执行,以检测肢体(limb)位置。例如,一组解剖学关键点坐标可能有助于限定受检者的姿势以及特定身体部位的位置。但是,这种信息可能并不总能提供可用于提高受检者的安全性的详细信息。例如,如果要将受检者插入医学成像系统中,则关节的位置可能不足以检测在将受检者插入时是否会与医学成像系统发生碰撞。三维表面图像还可以提供有关受检者的姿势和外部尺寸的附加信息。
在另一个实施例中,对身体姿势的检测被至少部分地使用三维表面图像执行,以通过将三维表面图像与各自描绘不同身体姿势的一组预定表面图像相匹配来检测肢体位置。
在另一个实施例中,一组解剖学关键点坐标包括一个或多个附器关键点坐标。例如,限定附器的解剖学关键点可以在不同水平(level)上提供。在一些模型中,可以仅提供腕部的位置。在其它示例中,还可以提供关于各种手指的各自关节的位置的详细信息。执行机器可执行指令还致使计算系统针对一个或多个附器关键点坐标计算附器坐标的范围。一组解剖学关键点坐标不仅可以提供各个部位的位置或腕关节位置的详细信息,而且可以提供受试者的诸如肘部或肩部之类的其它关节的详细信息。这可用于提供对受检者的附器在医学程序期间可能发生的运动范围的估计。这就可以预测受检者将其附器置于危险位置的可能性或者受检者是否有可能将其附器置于危险位置。对身体姿势的检测可以通过在坐标列表上限定身体姿势来确定。这会是有益的,因为其不仅可以使得能对拍摄图像时出现的特定身体姿势进行检测,而且可用于预测受检者是否会在未来某个时间点移动到该身体姿势。这不仅有助于提高医学成像的质量,而且有助于提高患者的安全性。
在另一个实施例中,一个或多个附器关键点坐标是限定受检者的附器上的位置的关键点坐标。
在另一个实施例中,附器坐标的范围被使用附器关键点坐标的预定义允许运动范围来确定的。例如,身体的各个关节允许的运动是已知的。这些已知的可能或允许的运动可以被表示为附器关键点坐标的允许运动范围。
在另一个实施例中,医学系统还包括医学成像系统,其被配置成用于从至少部分地位于成像区内的受检者获取医学成像数据。在一些示例中,医学成像可以是断层扫描医学成像,例如MRI、CT或PET系统。在其它示例中,医学成像系统可以包括X光或透视系统等。医学成像系统还包括受检者支撑器,其被配置成用于将受检者至少部分地支撑在成像区内。医学成像系统还包括相机系统,其被配置成用于获取描绘在受检者支撑器上的受检者的相机图像。也就是说,当受检者由受检者支撑器支撑时,相机图像能够对受检者进行成像。例如,受检者支撑器可以是受检者静卧(repose)在其上的床或沙发。执行机器可执行指令还致使计算系统控制相机系统获取相机图像。
在另一个实施例中,相机系统可以具有被对准到医学成像系统和/或受检者支撑器的坐标。作为可选方案,解剖学关键点定位模块也可以被配置为用于确定与受检者支撑器上的位置相关的坐标。例如,可以具有人工智能模块,其能够识别受检者相对于受检者支撑器或医学成像系统的位置,并且在医学成像系统、受检者支撑器和/或相机系统的坐标系之间提供对准(registration)。
在另一个实施例中,执行机器可执行指令还致使计算系统控制医学成像系统获取医学成像数据。
在另一个实施例中,执行机器可执行指令还致使计算系统根据医学影像数据重建医学图像。
在另一个实施例中,相机系统包括红外相机。
在另一个实施例中,相机系统还包括光学相机。
在另一个实施例中,光学相机是彩色相机。
在另一个实施例中,医学成像系统是热成像仪。
在另一个实施例中,医学成像系统包括计算机断层扫描系统。
在另一个实施例中,医学成像系统包括正电子发射断层扫描系统。
在另一个实施例中,医学成像系统包括单光子发射断层扫描系统。
在另一个实施例中,医学成像系统包括图像引导治疗系统,例如由MRI或CT引导的伽玛刀或LINAC。
在另一个实施例中,医学成像系统包括数字X光系统。
在另一个实施例中,医学成像系统包括数字荧光透视仪。
在另一个实施例中,医学成像系统包括磁共振成像系统。对磁共振成像系统的各种姿势进行识别会是有益的,因为操作者可能很难确定受检者是否处于不正确或不安全的位置。
在另一个实施例中,坐标列表被配置成用于限定一个或多个身体导电回路。这种实施例会是有益的,因为对身体的定位可能导致由身体限定的导电回路。当磁共振成像系统运行时,可能在这些身体导电回路中的一个中感生电流,这在受检者体内导致发热或RF灼伤。因此,在坐标列表中限定受检者导电回路可以提高磁共振成像系统的安全性。
在另一个实施例中,执行机器可执行指令还致使计算系统在提供警告信号的情况下提供对相机图像的渲染(rendering),所述渲染具有对所述坐标列表与所述一组解剖学关键点坐标之间的匹配的叠加描绘。这会是有益的,因为其可以给医学成像系统的操作者提供视觉指导,并且使其更容易将受检者置于正确位置。
在另一个实施例中,执行机器可执行指令还致使计算系统在提供警告信号的情况下提供声音警告系统。这可以是在出现问题时提醒医学系统操作者的有效手段。
在另一个实施例中,执行机器可执行指令还致使计算系统在提供警告信号的情况下在显示器上呈现警告信息。
在另一个实施例中,执行机器可执行指令还致使计算系统在提供警告信号的情况下停止采集医学成像数据。例如,这对于防止受检者处于不安全情况会特别有用。在一些示例中,一旦受检者的位置发生变化,系统就可以在受检者处于正确或安全位置时启用医学成像数据的采集。
在另一个实施例中,坐标列表被配置为限定插入碰撞。例如,如果使受检者位于受检者支撑器上,随后该受检者支撑器被插入诸如磁体或CT环之类的医学成像系统中,则受检者在其被插入时有可能与医学成像系统的一部分发生碰撞。
在另一个实施例中,坐标列表被配置成用于限定所禁止的手部位置。例如,如果受检者将其手部置于可能导致手部被夹住的位置。这也可能是手部接触到装置或设备的不应由受检者接触的位置。
在另一个实施例中,坐标列表被配置成用于限定所禁止的脚部位置。与手部的位置一样,脚部可能被置于在该位置处其可能会被夹住的位置,或者被置于不正确的位置(例如,形成身体导电回路)。
在另一个实施例中,坐标列表被配置成用于限定医疗设备的位置。例如,受检者的附近可能有各种线圈或其它固定装置或仪器。该系统可用于防止受检者接触或修改医疗设备。
在另一个实施例中,坐标列表被配置成用于限定受检者支撑器夹点。例如,这可以是如果受检者的一部分接触则受检者会被夹住的位置。
在另一个实施例中,坐标列表被配置成用于限定可能会造成磁共振成像的局部高SAR暴露的高电场或高磁场的位置。
在另一个实施例中,医学系统被与X射线系统、数字荧光透视仪或计算机断层扫描系统一起使用。坐标列表被配置成用于限定将会接收不必要X射线的位置。例如,当进行头部CT扫描时,眼睛位于X光平面内。或者,当进行腹部扫描时,手部被置于腹部上。坐标列表可以被用于避免或最小化这些身体区域接收的辐射量。
在另一个实施例中,解剖学关键点定位器模块包括神经网络,其被配置成用于响应于接收位于受检者支撑器上的受检者的图像,针对至少一个解剖学关键点坐标中的每一个输出单独的解剖学关键点坐标概率图。例如,受检者内的各种关节和位置可以被包括在解剖学关键点坐标中。针对组中的每一个,可以具有输出的单独图像或图(map),并且基于该图输出关节或解剖学位置处于特定位置的可能性。例如,可以通过求取最大可能性来获得最可能的位置。该系统可以特别有利于在关节或其它解剖学位置被遮挡或部分被遮挡时识别其位置。例如,如果受检者身上有衣服或毯子。
执行机器可执行指令还致使计算系统响应于将图像输入到神经网络中来接收单独的解剖学关键点坐标概率图。执行机器可执行指令还致使计算系统根据针对一组关节坐标中的每一个的单独关节坐标概率图中计算一组解剖学关键点坐标。
对神经网络的训练可以通过提供受检者的图像并随后针对所标注的至少一个解剖学关键点坐标中的每一个的受检者提供训练关键点坐标概率图。例如,可以具有一系列不同受检者的图像,这些受检者处于略有不同的位置,穿着不同的衣服,或者甚至盖着毯子或身体被部分遮挡。随后,操作者可以去标记各个点,以便标出解剖学关键点坐标的位置。例如,这可以随后被用于深度学习算法以训练神经网络。
在另一个实施例中,坐标列表包括被存储在存储器中的预定坐标列表。
在另一方面,本发明提供了一种医学成像的方法。该方法包括接收相机图像。如上所述,相机图像可以是包括多个图像以及可能的多种类型图像的复合图像。该方法还包括响应于将相机图像输入到解剖学关键点定位器模块中来接收一组解剖学关键点坐标。解剖学关键点定位模块被配置成用于响应于接收描绘受检者的相机图像来输出受检者的一组解剖学关键点坐标。该方法还包括接收坐标列表。该方法还包括对坐标列表进行搜索,以确定与一组解剖学关键点坐标的匹配。该方法还包括在确定匹配的情况下发出警告信号。
在另一方面,本发明提供了一种计算机程序,其包括用于由计算系统执行的机器可执行指令。例如,计算机程序可以被存储在非暂时性存储介质上。执行机器可执行指令致使计算系统接收相机图像。执行机器可执行指令还致使计算系统响应于将相机图像输入到解剖学关键点定位模块中来接收一组解剖学关键点坐标。执行机器可执行指令还致使计算系统接收坐标列表。执行机器可执行指令还致使计算系统对坐标列表进行搜索,以确定与一组解剖学关键点坐标的匹配。执行机器可执行指令还致使计算系统在确定匹配的情况下发出警告信号。
在另一个实施例中,存储器还存储物体检测模块。物体检测模块可以是软件模块,其能够识别图像中的物体和/或关键物体位置。例如,物体检测模块可以是卷积神经网络,其被用于识别诸如设备、手推车、注射器、停靠点或其它夹点位置之类的物体。在一些示例中,这些位置可能是受检者例如可能会夹住手指的位置。物体检测模块可以提供物体坐标列表,其可以被附加到所述坐标列表中。
物体确定模块可以是标准的卷积神经网络,其用于对图像进行分类,并且在图像中放置边界框。物体确定模块可以使用深度学习进行训练,训练图像被标记有物体和/或夹点位置。
应理解,只要所组合的实施例不相互排斥,就可以组合本发明的前述实施例中的一个或多个。
如本领域的技术人员将认识到的,本发明的各个方面可以实现为装置、方法或计算机程序产品。相应地,本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(在本文中总体上全部可以被称为“电路”、“模块”或“系统”)的形式。此外,本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。
可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文使用的“计算机可读存储介质”涵盖任何可以存储可由计算设备的处理器或计算系统执行的指令的有形存储介质。可以将计算机可读存储介质称为计算机可读非暂态存储介质。也可以将计算机可读存储介质称为有形计算机可读介质。在一些实施例中,计算机可读存储介质还可以能够存储可以由计算设备的计算系统访问的数据。计算机可读存储介质的示例包括但不限于:软盘、磁硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及计算系统的寄存器文件。光盘的示例包括压缩盘(CD)和数字通用盘(DVD),例如,CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如,可以在调制调解器、因特网或局域网上检索数据。可以使用任何适当介质发送实现在计算机可读介质上的计算机可执行代码,所述任何适当介质包括但不限于无线的、有线的、光纤线缆的、RF等或者前面的任何合适的组合。
计算机可读信号介质可以包括具有实现在其中的计算机可执行代码的传播的数据信号,例如,在基带中或作为载波的部分。这样的传播的信号可以采取任何各种形式,包括但不限于电磁的、光学的或它们的任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质:不是计算机可读存储介质,并且能够传达、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是可由计算系统直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的示例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中,计算机存储设备也可以是计算机存储器,或者反之亦然。
如本文所使用的“计算系统”涵盖能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“计算系统”的示例的计算系统的引用应当被解释为可能包含超过一个计算系统或处理核心。所述计算系统可以例如是多核处理器。计算系统还可以是指单个计算机系统内或分布在多个计算机系统间的计算系统的集合。术语计算系统还应当被解释为可能是指各自包括处理器或计算系统的计算设备的集合或网络。机器可执行代码或指令可以由可以在相同计算设备内或者可以甚至跨多个计算设备分布的多个计算系统或处理器运行。
机器可执行指令或计算机可执行代码可以包括使得处理器或其它计算系统执行本发明的方面的指令或程序。用于执行针对本发明的方面的操作的计算机可执行代码可以以一个或多个编程语言的任何组合来编写并且被编译为机器可执行指令,所述一个或多个编程语言包括诸如Java、Python、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或相似编程语言的常规过程性编程语言。在一些实例中,所述计算机可执行代码可以采取高级语言的形式或者采取预编译的形式并且结合在工作时生成机器可执行指令的解读器一起被使用。在其它实例中,所述机器可执行指令或计算机可执行代码可以采取用于可编程逻辑门阵列的编程的形式。
计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上(作为独立的软件包)、部分在用户的计算机上并且部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一种情形下,所述远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机,或者可以(例如,通过使用因特网服务提供商的因特网)对外部计算机进行连接。
参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图、图示和/或方框图来描述本发明的方面。应理解,当可应用时,能够通过采取计算机可执行代码的形式的计算机程序指令来实施流程图、图示和/或方框图的方框的每个方框或部分。还应理解,当互不排斥时,可以组合不同流程图、图示和/或方框图中的方框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或产生机器的其它可编程数据处理装置的计算系统,使得经由计算机或其它可编程数据处理装置的计算系统执行的指令创建用于实施在流程图和/或一个或多个方框图框中指定的功能/动作的单元。
这些机器可执行指令或计算机程序指令还可以存储在计算机可读介质中,所述计算机可读介质能够指引计算机、其它可编程数据处理装置或其它设备以特定的方式来工作,使得在计算机可读介质中存储的指令产生包括实施在流程图和/或一个或多个方框图框中指定的功能/动作的指令的制品。
机器可执行指令或计算机程序指令还可以加载到计算机、其它可编程数据处理装置或其它设备上,以令在计算机、其它可编程装置或其它设备上执行一系列操作步骤,从而产生计算机实施的过程,使得在计算机或其它可编程装置上执行的指令提供用于在流程图和/或一个或多个方框图框中指定的功能/动作的过程。
如本文所使用的“用户接口”是允许用户或操作人员与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作人员提供信息或数据和/或从操作人员接收信息或数据。用户接口可以使得来自操作人员的输入能够被计算机接收并且可以从计算机向用户提供输出。换言之,所述用户接口可以允许操作人员控制或操控计算机,并且所述接口可以允许计算机指示操作人员的控制或操控的效果。显示器或图形用户接口上的数据或信息的显示是向操作人员提供信息的示例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、耳机、踏板、有线手套、遥控器和加速度计对数据的接收全都是实现对来自操作人员的信息或数据的接收的用户接口部件的示例。
如本文所使用的“硬件接口”涵盖使得计算机系统的计算系统能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许计算系统将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得计算系统能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于:通用串行总线、IEEE1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。
如本文所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。
阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子体显示板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。
医学成像数据在本文中被定义为描述对象的由断层摄影医学成像系统做出的所记录的测量结果。医学成像数据可以被重建为医学图像。医学图像在本文中被定义为包含在医学成像数据内的解剖数据的重建二维或三维可视化。这种可视化可以使用计算机来执行。
医学成像数据在本文中被定义为医学成像系统所作出的测量。医学成像数据可以被重构为描绘受检者的医学图像。
K空间数据在本文中被定义为在磁共振成像扫描过程期间对使用磁共振设备的天线通过原子自旋发射的射频信号进行的记录测量。磁共振数据是医学图像数据的示例。
磁共振成像(MRI)图像或MR图像在本文中被定义为被包含在磁共振成像数据内的解剖数据的重建二维或三维可视化。这种可视化能够使用计算机来执行。
附图说明
下面将仅以举例的方式并参考附图描述本发明的优选实施例,在附图中:
图1图示了医学系统的一个示例;
图2示出了图示使用图1的医学系统的方法的流程图;
图3图示了医学系统的另一个示例;
图4是图示了使用图3的医学系统的方法的流程图;
图5示出了很有可能让手部接触的手臂姿势的示例
图6示出了手部是接近的、但是与图5中的情况相比手指接触的可能性较低的姿势;
图7示出了与图6中的情况类似的情况,其中,毯子遮挡手臂(arm)和手部(hand);
图8示出了针对磁共振成像程序、从射频角度是优选的姿势的示例;以及
图9以手臂和手部的放大视图示出了静卧在受检者支撑器上的受检者。
具体实施方式
在这些附图中相似编号的元件是等效元件或者执行同一功能。如果功能等效,则先前已经讨论的元件将不必要在后面的附图中讨论。
图1图示了医学系统100的示例。医学系统100被示出为包括计算机102。计算机102旨在用于表示在一个或多个位置处的一台或多台计算机或计算设备。例如,计算机102可以被集成到诸如磁共振成像系统之类的医学成像系统中。在其它示例中,医学系统100可以是工作站,例如在放射科中的工作站。在其它示例中,医学系统100可以是服务器,其被配置成用于执行放射科的图像处理任务。在又一示例中,医学系统100可以被实施为所提供的基于网络的服务。例如,计算机102可以是虚拟计算系统。
计算机102被示出为包括计算系统104,其可以表示位于一个或多个位置处的一个或多个计算系统或处理器。计算系统104与可选的硬件接口106连接。如果医学系统100具有诸如医学成像系统之类的其它部件,硬件接口106可以使计算系统104能够与这些其它部件通信。计算系统104还被示出为连接到可选的用户界面108。用户界面108可以例如提供显示器或人机接口设备,其使操作者能够控制医学系统100的操作和功能。
计算系统104还被示出与存储器110相连。存储器110代表可与计算系统104通信的诸如硬盘驱动器、RAM或非暂时性存储介质之类的各种类型的存储器。存储器110被示出为包含机器可执行指令120。机器可执行指令120使计算系统104能够执行各种计算和数据处理任务。机器可执行指令120还可以使计算系统104还能够控制医学系统100的其它部件。
存储器110还被示出为包含解剖学关键点(anatomical keypoint)定位模块122。例如,解剖学关键点定位模块122可以被实施为神经网络,该神经网络将相机图像124作为输入,并输出一组解剖学关键点坐标。存储器110还被示出为存储相机图像124和一组解剖学关键点坐标126。存储器110还被示出为包含坐标列表128。例如,坐标列表128可以是绝对坐标的列表,或者可以是成对的相对坐标位置或对相对坐标位置的定义。例如,这可用于识别受检者的危险姿势或位置,这种危险姿势或位置不是所期望的。存储器110还被示出为包含警告信号,如果一组解剖学关键点坐标126与坐标列表128相匹配,就会提供该警告信号。
图2示出了图示操作图1的医学系统100的方法的流程图。首先,在步骤200中,接收相机图像124。接下来,在步骤202中,响应于接收相机图像124作为输入,从解剖学关键点定位模块122接收一组解剖学关键点坐标126。接下来,在步骤204中,接收坐标列表128。在一些示例中,可以从用户界面108接收坐标列表128。在其它示例中,可以从存储器110检索坐标列表128。接下来,在步骤206中,对坐标列表128进行搜索,以确定与该组解剖学关键点坐标126的匹配。最后,在步骤208中,在确定匹配的情况下,提供警告信号130。
图3图示了医学系统300的另一示例。医学系统300与图1所描绘的医学系统100类似,但是医学系统300额外地包括磁共振成像系统304和相机系统324。
磁共振成像系统302包括磁体304。磁体304是超导圆柱类型磁体,其具有经由其穿过的孔洞306。也可以使用不同类型的磁体;例如,也可以使用分体式圆柱形磁体和所谓的开放式磁体。分体式圆柱形磁体与标准圆柱形磁体类似,除了低温恒温器被分成两个节段,以允许接近磁体的等平面(iso-plane),这种磁体可以例如用于与带电粒子束疗法结合使用。开放式磁体具有两个磁体节段,一个节段位于另一个节段的上方,使得节段之间具有足够大的空间以接收受检者:两个节段的布置类似于Helmholtz线圈的布置。开放式磁体很受欢迎,因为受检者受到的限制较少。圆柱形磁体的低温恒温器内具有一组超导线圈。
成像区308位于圆柱形磁体304的孔洞306内,在该成像区308处,磁场强度大且均匀,足以执行磁共振成像。所获取的磁共振数据通常被获取用于视场。受检者318由受检者支撑器320支撑在相机322的视场中。
相机322被示出为被定位成使得当受检者318静卧在受检者支撑器320上时可以对受检者318进行成像。受检者支撑器320被示出为连接到致动器322,该致动器322被配置成用于将受检者支撑器320和受检者318插入磁体304的孔洞306中。
在磁体的孔洞306内还有一组磁场梯度线圈310,其用于获取初步磁共振数据,以对磁体304的成像区308内的磁自旋进行空间编码。磁场梯度线圈310与磁场梯度线圈电源312连接。磁场梯度线圈310旨在为代表性的。通常,磁场梯度线圈310包含三组独立的线圈,以用于在三个正交空间方向上进行空间编码。磁场梯度电源给磁场梯度线圈提供电流。被提供给磁场梯度线圈310的电流被随着时间的变化控制,并且可以是斜坡式或脉冲式。
射频线圈314邻近于成像区308,以用于操纵成像区308内的磁旋的定向,并且用于接收来自也在成像区308内的旋动体的无线电信号。射频天线可以包含多个线圈元件。射频天线也可被称为通道或天线。射频线圈314被连接到射频收发器316。射频线圈314和射频收发器316可以由单独的发射和接收线圈以及单独的发射器和接收器替代。应理解到,射频线圈314和射频收发器316是代表性的。射频线圈314还旨在代表专用发射天线和专用接收天线。同样地,收发器316也可以代表单独的发射器和接收器。射频线圈314也可以具有多个接收/发射元件,并且射频收发器316可以具有多个接收/发射通道。例如,如果执行诸如SENSE之类的并行成像技术,射频线圈314将具有多个线圈元件。
受检者318和受检者支撑器320在附图中被示出为位于磁体304的孔洞306的外部。当受检者处于此位置时,相机系统324被定位成对受检者318的外部表面进行成像。这可以用于提供相机图像124。例如,相机系统324可以包括光学相机、彩色相机、红外相机和/或3D相机。相机系统324也可以被放置在磁体306的孔洞内。
硬件接口106被示出为连接到相机系统324、致动器322、磁场梯度线圈电源312和收发器316。计算系统104能够通过硬件接口106控制这些部件和其它部件。
存储器110还被示出为包含脉冲序列命令330。脉冲序列命令是可以被转换成可用于控制磁共振成像系统以获取磁共振数据的此类命令的命令或数据。磁共振数据可以被重建为磁共振图像。磁共振数据是医学成像数据的示例,并且磁共振图像是医学图像的示例。
图4示出了图示操作图3中的医学系统300的方法的流程图。图4所示的方法与图2所示的方法类似。在图4中,该方法从步骤400开始。在步骤400中,计算系统104控制相机系统324获取相机图像124。在执行步骤400之后,执行图2所示的步骤200、202和204。在执行步骤204之后,执行步骤402。在步骤402中,根据一个或多个附器(appendage)关键点坐标计算出附器坐标的范围。在本文中所使用的附器是指手或脚。因此,通过确定指示手或脚的坐标的一个或多个关键点坐标,可以计算得到针对手或脚的坐标范围。这使得能预测受检者在检查期间放置手的可能位置。
在执行步骤402之后,执行步骤206。在这种情况下,对坐标列表进行搜索,以确定是否检测到特定的身体姿势。特定的身体姿势由各个关键点坐标的相对位置限定。例如,在这种情况下,如果其指示可能是指尖可能相接触或双腿可能交叉。这是两个特定的示例。在执行步骤206之后,就像如图2所示的,执行步骤208。
使患者准备就绪以进行磁共振(MR检查)或其它成像模式(modality)会是耗时的任务,并且会需要操作者具备训练有素的技能。操作者可以将表面线圈放置在要被成像的解剖学部位上或其附近。患者设置(setup)往往很复杂,并且包括毯子、垫子、听力保护装置和护理对讲。在完成所有这些任务的同时,需要确保患者摆出正确的姿势,以保证磁共振成像(MRI)扫描的安全。其中最需要避免的是身体回路(body loop),身体回路可以代表用于射频(RF)感应电流的电流路径,射频(RF)感应电流又会导致局部电场和比吸收率(SAR)增大,从而以RF灼伤(RF burns)的形式对患者造成潜在伤害。
在此背景下,提出了一种患者设置监视工作流程分析相机(相机系统324),其分析患者的肢体的位置和定向,即使在患者的肢体部分地被毯子或线圈覆盖时也能够分析患者的肢体的位置和定向。这种相机可以估算最有可能导致与安全相关的身体姿势的身体部位构成回路或接触的风险,所述安全相关的身体姿势例如为手部接触或者手臂或腿部构成回路。相机将运行算法来检测患者身体关节和肢体的位置和定向。由此知悉患者的体型,并且还能够估算出被部分遮挡的肢体的方向和(可能发生接触的)端点。
图5示出了相机图像502的示例,该相机图像502具有叠加在其上的一组解剖学关键点坐标126。在图像中,可以看到受检者318静卧在受检者支撑器320上。可以看见该组解剖学关键点中的若干个解剖学关键点502。该组解剖学关键点还包括腕部关键点坐标504。腕部关键点坐标是附器关键点坐标或手部关键点坐标的示例。腕部关键点坐标504限定受检者的手部的位置。由此计算得到手部坐标的范围506并且将其显示出来。这示出了受检者318可能放置手指的可能位置。在该示例中,手部坐标的范围506重叠,并且可以看到手指508接触。对于磁共振成像检查,这将在受检者的两只手臂和胸部之间形成接地回路。这可能导致在受检者的相接触508的指尖处出现RF加热。图5示出了手臂姿势的示例,该手臂姿势很有可能使特定受检者的手臂接触。在这种配置中,可能会出现身体回路,并且RF灼伤的风险很高。在这种情况下,技术人员应发出警报,并纠正手臂姿势,使两只手臂之间不再有发生物理接触。
图6示出了同一受检者318静卧在同一受检者支撑器320上的图像。在该示例中,受检者的手部位于不同的位置,并且可以看到手部坐标的范围506不再重叠。因此,受检者318的手指没有接触。在该示例中,已经消除了身体导电回路的可能性。图6示出了手部接近但是手指可能接触或可能没有接触的阈值情况。这种情况可能代表RF灼伤的高风险,因此可以向技术人员发出警告。
图7图示了相机图像的进一步示例,在该图像700上叠加有一组解剖学关键点502和504。受检者部分地被毯子盖住。腕部关键点坐标504被再次识别为手部坐标506的范围。在该示例中,手部坐标的范围没有重叠。图7示出了毯子遮住手臂的类似情况。在所有三幅图像中,颜色叠加表示针对关节和肢体的计算概率图,并且黄色半圆显示估计出的可能移动范围。相机将检测到这种情况,但是仍存在不安全情况的风险。
图8示出了相机图像800的进一步示例。在该示例中,仍示出了解剖学关键点502和504。手部相距足够远,无需显示或示出手部坐标的范围。图像800图示了磁共振成像检查期间受检者318的安全姿势的示例。图8示出了姿势的示例,该姿势从RF角度看会是优选的。
图9示出了受检者318静卧在受检者支撑器320上的图像。该图像被放大以更详细地显示受检者的手臂900和手部902。可以看到腕部解剖学关键点504。此外,还有指示手指关节的位置的大量手指解剖学关键点906,并且可以看到指尖。受检者支撑器320具有使其移动的滑动机构,并且受检者支撑器的侧部904是受检者318的手指可能被夹住的潜在夹点或位置。整个侧部区域904可以被识别为潜在的夹点。
对手指解剖学关键点906的识别使得能确定手指是否有可能被滑动机构弄伤。这使得能检测到由于手部902抓住桌子边缘或侧部区域904而导致的安全风险。可以立即发现这种风险,并且将通过与坐标列表(coordinate list)进行比较检测到这种风险。此外,如果出现对手部902的局部遮挡,仍能够预测手指解剖学关键点的位置。
在此描述可能的示例。在患者设置期间,相机系统324将图像流传输到处理单元(计算系统104)。身体关节的位置由检测算法自动检测。该算法计算关节存在的空间概率图。可选择地,可以直接检测连接两个关节的躯段(在此为肢体)。根据身体躯段的尺寸和定向,计算出代表存在可能性的区域。如果相机还提供三维数据(例如,以深度图的形式),这些附加数据可以被用于改进针对身体部分存在区域的计算。如果计算得到的区域重叠,或者彼此非常接近,姿势配置就会被标记为包括潜在危险的定位信息,以引导操作者解决冲突。
本领域技术人员通过研究附图、本公开和所附的权利要求书,在实践要求保护的本发明时能够理解和实现所公开实施例的其它变型。在权利要求书中,“包括”一词不排除其它元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其它单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定元件,但是这并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上,例如与其它硬件一起提供或作为其它硬件的部分提供的光学存储介质或固态介质,但是计算机程序也可以以其它形式分布,例如经由因特网或其它有线或无线的远程通信系统分布。权利要求书中的任何附图标记都不得被解释为对范围的限制。
附图标记列表
100 医学系统
102 计算机
104 计算系统
106 硬件接口
108 可选用户界面
110 存储器
120 机器可执行指令
122 解剖学关键点定位模块
124 相机图像
126 一组解剖学关键点坐标
128 坐标列表
130 警告信号
200 接收相机图像
202 响应于将相机图像输入到解剖学关键点定位模块中,接收一组解剖学关键点坐标
204 接收坐标列表
206 对所述坐标列表进行搜索,以检测与所述一组解剖学关键点坐标的匹配
208 如果检测到匹配,提供警告信号
300 医学系统
302 磁共振成像系统
304 磁体
306 磁体的孔洞
308 成像区
310 磁场梯度线圈
312 磁场梯度线圈电源
314 射频线圈
316 收发器
318 受检者
320 受检者支持器
322 致动器
324 相机系统
330 脉冲序列命令
400 控制相机系统获取相机图像
402 从一个或多个附器关键点坐标计算附器坐标的范围
500 相机图像
502 解剖学关键点
504 腕部(附器或手部)关键点坐标
506 手部(附器)坐标的范围
508 手指接触
600 相机图像
700 相机图像
800 相机图像
900 手臂
902 手部
904 夹持位置或夹点
906 手指关键点坐标
Claims (14)
1.一种医学系统(100、300),包括:
-存储器(110),所述存储器存储机器可执行指令(120)和解剖学关键点定位模块(122),其中,所述解剖学关键点定位模块被配置成用于响应于接收描绘受检者(318)的相机图像(124)来输出所述受检者的一组解剖学关键点坐标(126);
-医学成像系统(302),所述医学成像系统被配置成用于从至少部分地位于成像区(308)内的受检者获取医学成像数据,其中,所述医学成像系统包括磁共振成像系统;
-受检者支撑器(320),所述受检者支撑器被配置成用于将所述受检者至少部分地支撑在所述成像区内;以及
-相机系统(324),所述相机系统被配置成用于获取描绘位于所述受检者支撑器上的所述受检者的所述相机图像;
-计算系统(104),其中,执行所述机器可执行指令致使所述计算系统:
-控制(400)所述相机系统获取所述相机图像;
-接收(200)所述相机图像;
-响应于将所述相机图像输入到所述解剖学关键点定位模块中,接收(202)所述一组解剖学关键点坐标;
-接收(204)坐标列表(128),所述坐标列表被配置成用于限定一个或多个身体导电回路;
-对所述坐标列表进行搜索(206),以确定与所述一组解剖学关键点坐标的匹配;以及
-在确定匹配的情况下,提供(208)警告信号(130)。
2.根据权利要求1所述的医学系统,其特征在于,所述坐标列表包括被限定为所述一组解剖学关键点坐标之间的相对变化的身体姿势,其中,对所述坐标列表进行搜索以确定与所述一组解剖学关键点坐标的匹配包括使用所述一组解剖学关键点坐标检测从所述坐标列表中的身体姿势中选定的身体姿势,其中,执行所述机器可执行指令还致使所述计算系统在检测到所述身体姿势的情况下提供所述警告信号。
3.根据权利要求2所述的医学系统,其特征在于,所述坐标列表包括被限定为所述一组解剖学关键点坐标的成员之间的相对变化的身体姿势,其中,使用所述一组解剖学关键点坐标检测从所述坐标列表中的所述身体姿势中选定的身体姿势包括:
-确定所述一组解剖学关键点坐标的所述成员之间的所述相对变化,以及
-将所述一组解剖学关键点坐标的所述成员的所述相对变化与所述身体姿势进行比较。
4.根据权利要求1或2或3所述的医学系统,其特征在于,所述相机图像包括三维表面图像,其中,对所述身体姿势的检测被至少部分地使用所述三维表面图像执行以检测肢体位置,并且对所述身体姿势的检测被至少部分地使用所述三维表面图像执行以通过将所述三维表面图像与各自描绘不同身体姿势的一组预定表面图像进行匹配来检测肢体位置。
5.根据权利要求2或3或4所述的医学系统,其特征在于,所述一组解剖学关键点坐标包括一个或多个附器关键点坐标(504),其中,执行所述机器可执行指令还致使所述计算系统通过所述一个或多个附器关键点坐标计算(402)附器坐标的范围(506),其中,检测从所述坐标列表中的所述身体姿势中选定的身体姿势被使用所述附器坐标的范围执行。
6.根据权利要求5所述的医学系统,其特征在于,所述一个或多个附器关键点坐标是位于所述受检者的附器上的关键点坐标,和/或所述附器坐标的范围是使用所述附器关键点坐标的预定允许运动范围确定的。
7.根据前述权利要求中的任一项所述的医学系统,其特征在于,所述医学成像系统还包括以下中的任一项:计算机断层扫描系统、正电子发射断层扫描系统、单光子发射断层扫描系统和图像引导放射治疗系统。
8.根据前述权利要求中的任一项所述的医学系统,其特征在于,执行所述机器可执行指令还致使所述计算系统在提供所述警告信号的情况下执行以下中的任一项:
-提供对所述相机图像的渲染,所述渲染具有描绘所述坐标列表与所述一组解剖学关键点坐标之间的匹配的叠加;
-提供声音警告信号,
-在显示器上呈现警告信息,
-禁止获取所述医学成像数据,
以及
-其组合。
9.根据前述权利要求中的任一项所述的医学系统,其特征在于,所述坐标列表被配置成用于限定以下中的任一项:插入碰撞、所禁止的手部位置、所禁止的脚部位置、医疗器械位置、受检者支撑器夹点、以及其组合。
10.根据前述权利要求中的任一项所述的医学系统,其特征在于,所述解剖学关键点定位模块包括神经网络,所述神经网络被配置成用于响应于接收位于所述受检者支撑器上的所述受检者的图像,针对所述至少一个解剖学关键点坐标中的每一个输出单独的解剖学关键点坐标概率图,其中,执行所述机器可执行指令还致使所述计算系统:
-响应于将所述图像输入到所述神经网络中,接收所述单独的解剖学关键点坐标概率图;以及
-通过针对所述一组解剖学关键点坐标中的每一个的所述单独的解剖学关键点坐标概率图计算所述一组解剖学关键点坐标。
11.根据前述权利要求中的任一项所述的医学系统,其特征在于,所述坐标列表包括被存储在所述存储器中的预定坐标列表。
12.根据前述权利要求中的任一项所述的医学系统,其特征在于,所述一个或多个身体导电回路是在所述受检者体内的能够导致对所述受检者的RF加热的导电回路,和/或所述坐标列表限定所述一组解剖学关键点坐标中的两个或更多个之间的相对坐标。
13.一种医学成像的方法,所述方法包括:
-控制(400)相机系统(324)获取相机图像(124),其中,所述相机图像描绘位于受检者支撑器(320)上的受检者(318),所述受检者支撑器被配置成用于使所述受检者至少部分地位于医学成像系统(302)的成像区(308)内,所述医学成像系统(302)被配置成用于从至少部分地位于所述成像区(308)内的所述受检者获取医学成像数据,所述医学成像系统包括磁共振成像系统;
-接收(200)所述相机图像(124);
-响应于将所述相机图像输入到解剖学关键点定位模块(122)中,接收(202)一组解剖学关键点坐标(126),其中,所述解剖学关键点定位模块被配置成用于响应于接收描绘所述受检者的所述相机图像来输出所述受检者(318)的所述一组解剖学关键点坐标;
-接收(204)坐标列表(128),其中,所述坐标列表被配置成用于限定一个或多个身体导电回路;
-对所述坐标列表进行搜索(206),以确定与所述一组解剖学关键点坐标的匹配;以及
-在确定匹配的情况下,提供(208)警告信号(130)。
14.一种计算机程序,所述计算机程序包括机器可执行指令(120)和用于由计算系统(104)执行的解剖学关键点定位模块(122),其中,所述解剖学关键点定位模块被配置成用于响应于接收描绘受检者(318)的相机图像(124)来输出所述受检者(318)的一组解剖学关键点坐标(126),其中,所述计算系统被配置成用于控制医学系统,其中,所述医学系统包括:
-医学成像系统(302),所述医学成像系统被配置成用于从至少部分地位于成像区(308)内的所述受检者获取医学成像数据,所述医学成像系统包括磁共振成像系统;
-受检者支撑器(320),所述受检者支撑器被配置成用于将所述受检者至少部分地支撑在所述成像区内;以及
-相机系统(324),所述相机系统被配置成用于获取描绘位于所述受检者支撑器上的所述受检者的所述相机图像
其中,执行所述机器可执行指令致使所述计算系统:
-控制(400)所述相机系统获取所述相机图像;
-接收(200)所述相机图像;
-响应于将所述相机图像输入到所述解剖学关键点定位模块中,接收(202)所述一组解剖学关键点坐标;
-接收(204)坐标列表(128),所述坐标列表被配置成用于限定一个或多个身体导电回路;
-对所述坐标列表(128)进行搜索(206),以确定与所述一组解剖学关键点坐标的匹配;以及
-在确定匹配的情况下,提供(208)警告信号(130)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21195748.5A EP4148692A1 (en) | 2021-09-09 | 2021-09-09 | Camera based detection of subject position |
EP21195748.5 | 2021-09-09 | ||
PCT/EP2022/074597 WO2023036729A1 (en) | 2021-09-09 | 2022-09-05 | Camera based detection of subject position |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117957589A true CN117957589A (zh) | 2024-04-30 |
Family
ID=77710517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280061359.2A Pending CN117957589A (zh) | 2021-09-09 | 2022-09-05 | 基于相机的针对受检者位置的检测 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP4148692A1 (zh) |
JP (1) | JP2024535728A (zh) |
CN (1) | CN117957589A (zh) |
WO (1) | WO2023036729A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9600934B2 (en) * | 2011-06-30 | 2017-03-21 | Orange | Augmented-reality range-of-motion therapy system and method of operation thereof |
CN103735268B (zh) * | 2013-09-29 | 2015-11-25 | 沈阳东软医疗系统有限公司 | 一种体位检测方法及系统 |
US10331850B2 (en) * | 2014-01-28 | 2019-06-25 | Siemens Healthcare Gmbh | Estimating body surface models of patients |
EP3822845A1 (en) * | 2019-11-12 | 2021-05-19 | Koninklijke Philips N.V. | Subject pose classification using joint location coordinates |
US11276166B2 (en) * | 2019-12-30 | 2022-03-15 | GE Precision Healthcare LLC | Systems and methods for patient structure estimation during medical imaging |
-
2021
- 2021-09-09 EP EP21195748.5A patent/EP4148692A1/en not_active Withdrawn
-
2022
- 2022-09-05 WO PCT/EP2022/074597 patent/WO2023036729A1/en active Application Filing
- 2022-09-05 EP EP22773211.2A patent/EP4399696A1/en active Pending
- 2022-09-05 CN CN202280061359.2A patent/CN117957589A/zh active Pending
- 2022-09-05 JP JP2024513680A patent/JP2024535728A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4148692A1 (en) | 2023-03-15 |
WO2023036729A1 (en) | 2023-03-16 |
JP2024535728A (ja) | 2024-10-02 |
EP4399696A1 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230008051A1 (en) | Utilization of a transportable ct-scanner for radiotherapy procedures | |
CN112292082B (zh) | 用于医学成像的位置反馈指示符 | |
EP3079622B1 (en) | Radiation-free registration of an optical shape sensing system to an imaging system | |
CN104394764A (zh) | 用于mr-引导的组织间介入的专用用户接口 | |
US20180193667A1 (en) | Monitoring a Patient's Position Using a Planning Image and Subsequent Thermal Imaging | |
US11432735B2 (en) | Radiotherapy system for accurate locating of 3D objects from magnetic resonance images | |
US20210312659A1 (en) | Automated detection of abnormal subject configuration for medical imaging | |
JP7569854B2 (ja) | 関節位置座標を使用した対象者姿勢分類 | |
US20210145372A1 (en) | Image acquisition based on treatment device position | |
CN112789659A (zh) | 伪放射摄影图像根据光学图像的生成 | |
US20240350010A1 (en) | Camera based detection of subject position | |
US20240054745A1 (en) | Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment | |
CN117957589A (zh) | 基于相机的针对受检者位置的检测 | |
EP2650691A1 (en) | Coordinate transformation of graphical objects registered to a magnetic resonance image | |
EP3893245A1 (en) | Correction of automated label data for tomographic medical imaging systems | |
WO2024028176A1 (en) | Detection of safety states during medical imaging procedures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |