具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1,为本申请实施例提供的一种图像校正方法的流程图,所述方法包括:
步骤101:获取患者扫描时的扫描视频;
该步骤中,一种获取方法为,通过传感器或摄像头获取患者扫描时的扫描视频,其中,所述传感器安装在正电子发射计算机断层扫描PET设备或电子计算机X射线断层扫描技术CT设备或PET-CT的孔径内,用来拍摄深度图像。
也就是说,本实施例预先在PET设备或CT设备或PET-CT设备的孔径内部安装用来检测深度图像的摄像头或传感器,其中,传感器可以是体质(Kinect)传感器或深度传感器;摄像头可以是Kinect摄像头等,本实施例以Kinect传感器为例来说明。Kinect传感器可以检测到身体的所有3D动作,包括头、手、脚和躯干等。该传感器至少包括一个Kinect摄像头,通常情况下包括一组Kinect摄像头,在Kinect摄像头的有效视野范围内,它会主动定位多个(比如定位20个)关节点的坐标位置,并用(x,y,z)三维坐标的形式描绘关节点的位置属性,并显示位置信息。
其中,20个关节点的定义如下:髋关节中心点(HIP_CENTER)、脊柱关节点(SPINE)、肩关节中心点(SHOULDER_CENTER)、头关节点(HEAD)、左肩关节点(SHOULDER_LEFT)、左肘关节点(ELBOW_LEFT)、左腕关节点(WRIST_LEFT)、左手关节点(HAND_LEFT)、右肩关节点(SHOULDER_RIGHT)、右肘关节点(ELBOW_RIGHT)、右腕关节点(WRIST_RIGHT)、右手关节点(HAND_RIGHT)、左髋关节点(HIP_LEFT)、左膝关节点(KNEE_LEFT)、左踝关节点(ANKLE_LEFT)、左脚关节点(FOOT_LEFT)、右髋关节点(HIP_RIGHT)、右膝关节点(KNEE_RIGHT)、右踝关节点(ANKLE_RIGHT)、右脚关节点(FOOT_RIGHT)。当然,本实施例并不限于定义的这20个关节点,还可以根据需要进行适应性修改。
步骤102:提取扫描视频中每一帧图像中的骨架图像;
该步骤中,先获取扫描视频中每一帧图像中预定关节点的坐标位置;其中,预定关节点,可以是根据需要预先设定的关节点,比如,左胳膊关节点,右大腿关节点等。需要说明的是关节点的坐标位置为空间坐标位置,也称为世界坐标系。其提取每一帧图像中骨架图像的过程对于本领域技术人员来说,已是熟知技术,在此不再赘述。
然后,将相互之间有骨架连接的所述坐标位置进行连接处理,得到每一帧图像中的骨架图像(也可以称为Kinect图像)。也就是说关节点之间的连线即为骨骼。
也就是说,将相互之间有骨架连接的关节点进行连线处理即可得到人体骨骼图。例如:连接HIP LEFT和KNEE LEFT就可以得到左大腿骨骼图。再比如,连接上述定义的20个关节点后就可以得到人体骨骼图,具体如图2所示,图2为本申请实施例提供的一种人体骨架示意图,当然,该图中,只是以定义的20个关节点为例,在实际应用中,可以根据需要进行适应性修改。
步骤103:将所述骨架图像转换到影像图像的坐标系中,得到影像图像中的骨骼图像;
该步骤中,由于骨架图像所在的坐标系为空间坐标系(即世界坐标系),而影像图像(比如CT图像或PET图像等)所在的坐标系为图像坐标系,即二者不在同一个坐标系中,因此,需要将骨架图像所在的世界坐标系分别转换到影像图像(比如CT图像或PET图像等)所在的坐标系,具体通过下述公式转换:
PCT((i,j,k)*MCT)=Ps(i,j,k)
PPET((i,j,k)*MPET)=Ps(i,j,k)
其中,PS为骨骼图像,PCT为CT图像,PPET为PET图像,MCT为CT图像与骨骼图像之间的转换矩阵,MPET为PET图像与骨骼图像之间的转换矩阵。i,j,k为骨骼图像矩阵的坐标点。另外,需要说明的是,从世界坐标系到影像坐标系的转换过程中不能一一对应的点按照插值方法进行补充,其插值方法对于本领域技术人员来说已是熟知技术,在此不再赘述。
按照上述公式转换后,就可以得到CT、PET图像坐标系中人体的骨骼图像。其转换的过程对于本领域技术人员来说,已是熟知技术,在此不再赘述。需要说明的是,下述步骤的处理过程均是在CT图像和PET图像所在坐标系下进行的处理。
步骤104:根据每个所述骨骼图像确定所述患者扫描过程中每一时刻骨骼的位移矩阵;
该步骤中,一种确定方式为:将每个所述骨骼图像分别与参考帧的骨骼图像进行比较,得到患者扫描过程中每一时刻骨骼的位移矩阵。也就是说,假设参考帧的骨骼图像的矩阵为Pn-i,第n帧的骨骼图像的矩阵为Pn,由于每一帧的骨骼图像的矩阵和参考帧的骨骼图像的都是已知的,则按照下述公式,可以求出每一个时刻骨骼的位移矩阵Mn:
Pn-i=Mn*Pn(n=1,2,3…)
其中,本实施例中的参考帧的骨骼图像至少包括下述之一:开始扫描第一帧图像中的骨骼图像;扫描过程中的任一帧图像中的骨骼图像;以及扫描过程中至少两帧图像中的骨骼图像组合。本实施例中,骨骼图像可以用矩阵表示。
假设,第n-i时刻的骨骼图像为参考帧的骨骼图像,设为Pn-i,。第n时刻的骨骼图像为Pn,。Mn为n时刻的位移矩阵,T为转置,表示一种运算符号。
则有:Mn=Pn-1'(Pn')T(Pn'(Pn')T)-1
步骤105:利用所述位移矩阵对对应的预处理影像图像进行位置校正,得到影像图像。
其中,预处理影像图像为正常扫描得到的影像图像,比如,通过PET设备扫描后得到的PET图像,或者通过CT设备扫描后得到的CT图像,或者通过PET-CT设备扫描后得到的PET-CT图像等。
该步骤中,先利用每一时刻的所述位移矩阵对所对应时刻的预处理影像图像进行校正,得到每一个断层图像的校正结果,具体的,可以通过Richardson-Lucy(或Lucy-Richardson)迭代算法利用每一时刻的所述位移矩阵对所对应时刻的预处理影像图像进行校正,其校正过程对于本领域技术人员来说已是熟知技术,在此不再赘述;然后,组合每一时刻对应的断层图像的校正结果,得到校正后的影像图像。
也就是说,利用每一时刻的位移矩阵Mn来校正该时刻下的CT图像或PET图像或PET-CT图像。下面以校正CT图像为例来说明。
通过对每一时刻下的CT图像(正常扫描时得到的CT图像)进行校正,可以获得每一个断层图像的校正结果,然后组合每一个断层图像的结果,最终获得校正后的整个CT扫描图像。需要说明的是,该过程需要注意时间轴的设置,通常将开始扫描作为时刻。
同理,可以采用同样的方法对PET图像或PET-CT图像进行位置校正,得到校正后的PET图像或PET-CT图像。
本申请实施例中,提取扫描视频中每一帧的骨架图像,并将骨架图像转换到对应影像图像的坐标系中,得到对应的骨骼图像,并根据骨骼图像确定所述患者扫描过程中每一时刻骨骼的位移矩阵,最后,利用所述位移矩阵对对应的预处理影像图像进行位置校正,得到校正后的影像图像。也就是说,本申请实施例采用传感器或摄像头可以实时获取人体骨架在扫描过程中的位置,以及在扫描过程中患者在空间各个方位的骨骼位移,并利用该骨骼位移对原来的图像进行位置校正,不但有效消除由于患者在扫描过程中由于自身的位移而产生的伪影,提高了图像质量;而且减少扫描过程中不让患者移动所带来的不舒适。
与前述图像校正方法的实施例相对应,本申请还提供了图像校正装置的实施例。
本申请图像校正装置的实施例可以应用在设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图3所示,为本申请图像校正装置所在设备的一种硬件结构图,除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图4,为本申青实施例提供的一种图像校正装置,所述装置包括:获取单元41,提取单元42,转换单元43,确定单元44和校正单元45,其中,
获取单元41,用于获取患者扫描时的扫描视频;
提取单元42,用于提取扫描视频中每一帧图像中的骨架图像;
转换单元43,用于将所述骨架图像转换到影像图像的坐标系中,得到对应影像图像中的骨骼图像;
确定单元44,用于根据每个所述骨骼图像确定所述患者扫描过程中每一时刻骨骼的位移矩阵;
校正单元45,用于利用所述位移矩阵对对应的预处理影像图像进行位置校正,得到校正后的影像图像。
可选的,在另一实施例中,所述获取单元41,具体用于通过传感器或摄像头获取患者扫描时的扫描视频,所述传感器或摄像头安装在正电子发射计算机断层扫描PET设备或电子计算机X射线断层扫描技术CT设备或PET-CT设备的孔径内,用来拍摄深度图像。
可选的,在另一实施例中,所述提取单元42包括:坐标位置获取单元421和连接单元422,其结构示意图如图5所示,其中,
坐标位置获取单元421,用于获取每一帧图像中预定关节点的坐标位置;
连接单元422,用于将相互之间有骨架连接的所述坐标位置进行连接处理,得到每一帧图像中的骨架图像。
可选的,在另一实施例中,所述转换单元43包括下述一种:第一转换单元。第二转换单元和/或第三转换单元(图中未示),其中,
第一转换单元,用于将所述骨架图像转换到PET所在的图像坐标系中;
第二转换单元,用于将所述骨架图像转换到CT所在的图像坐标系中;
第三转换单元,用于将所述骨架图像转换到PET-CT图像所在的图像坐标系中,得到PET-CT图像中的骨骼图像。
可选的,在另一实施例中,所述确定单元44包括:用于将每个所述影像图像中的骨骼图像分别与参考帧的骨骼图像进行比较,得到患者扫描过程中每一时刻骨骼的位移矩阵。
其中,所述参考帧的骨骼图像至少包括下述之一:开始扫描第一帧图像中的骨骼图像;扫描过程中的任一帧图像中的骨骼图像;以及扫描过程中至少两帧图像中的骨骼图像组合。
可选的,在另一实施例中,所述校正单元45包括:位置校正单元451,组合单元452,其结构示意图如图6所示,其中,
位置校正单元451,用于利用每一时刻的所述位移矩阵对所对应时刻的预处理影像图像进行位置校正,得到每一个断层图像的校正结果;
组合处理单元452,用于对每一时刻对应的断层图像的校正结果进行组合处理,得到校正后的影像图像。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本申请实施例还提供的一种医疗设备,该医疗设备包括正电子发射计算机断层扫描PET设备或电子计算机X射线断层扫描技术CT设备或PET-CT设备,其中,在所述PET设备或CT设备或PET-CT设备的孔径内安装有用来拍摄深度图像的传感器或摄像头,其结构示意图如图7所示,为了便于描述,本实施例中,以包括PET设备71、CT设备72和扫描床73,以及在PET设备71和CT设备72的孔径内安装Kinect传感器74为例。其中,
所述传感器84(或摄像头),用于获取患者扫描时的扫描视频;提取扫描视频中每一帧图像中的骨架图像;将所述骨架图像转换到影像图像的坐标系中;根据所述影像图像的坐标系确定所述患者扫描过程中每一时刻骨骼的位移矩阵;利用所述位移矩阵对对应的预处理影像图像进行位置校正,得到校正后的影像图像。
其中,传感器或摄像头的功能的具体实现过程详见上述实施例中对应步骤的实现过程,在此不再赘述。
可选的,所述传感器可以为Kinect传感器;所述摄像头可以为Kinect摄像头,当然,并不限于此,只要是能深度拍摄或检测图像的传感器或摄像头都可以。
需要说明的是,在PET设备和CT设备的孔径内安装Kinect传感器后,还需要对Kinect传感器的摄像头进行校准。
PET设备和CT设备中的RGB摄像头和红外摄像头与Kinect传感器的位置不同,所以,捕获的彩色图像和深度图像在视角范围上也会有一定偏差。也即两幅图像的像素点不能一一对应,彩色图像中坐标为(x,y)的像素点在深度图像中与之对应的坐标点不再是(x,y)而是(x1,y1)。因此,当需要对彩色图像和深度图像进行像素级操作时,就需要对Kinect的两个摄像头进行校准。
而对于视频数据采集,Kinect SDK的核心是NUI API,其中,API(ApplicationProgramming Interface)是指应用程序编程接口,它是一些预先定义封装好的函数。我们可以直接调用这些封装好的函数来进行Kinect设备管理和数据流处理。
本申请实施例中采用Kinect传感器获得人体骨架,可以实时获得患者在扫描过程中的位置,以及在扫描过程中患者在空间各个方位的位移,优于现在通过轮廓信息值能检测到患者在水平方向的位移。因此,采用本实施例可以有效消除由于患者在扫描过程中由于自身的位移而产生的伪影,提高了图像质量;可以让患者相对放松的完成PET或CT或PET-CT的扫描时间,减少扫描过程中患者不能移动带来的不舒适。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。