CN117152222A - 斜方位配准方法、装置、可读存储介质及计算机设备 - Google Patents

斜方位配准方法、装置、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN117152222A
CN117152222A CN202311402003.3A CN202311402003A CN117152222A CN 117152222 A CN117152222 A CN 117152222A CN 202311402003 A CN202311402003 A CN 202311402003A CN 117152222 A CN117152222 A CN 117152222A
Authority
CN
China
Prior art keywords
azimuth
image
roi
region
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311402003.3A
Other languages
English (en)
Other versions
CN117152222B (zh
Inventor
梁锡杰
吕丹辉
孙东辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjunte Suzhou Medical Technology Co ltd
Original Assignee
Xinjunte Suzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjunte Suzhou Medical Technology Co ltd filed Critical Xinjunte Suzhou Medical Technology Co ltd
Priority to CN202311402003.3A priority Critical patent/CN117152222B/zh
Publication of CN117152222A publication Critical patent/CN117152222A/zh
Application granted granted Critical
Publication of CN117152222B publication Critical patent/CN117152222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请适用于手术机器人领域,提供了斜方位配准方法、装置、计算机可读存储介质及计算机设备。方法包括:获取第一方位图像和第二方位图像,得到第一方位图像轮廓图A和第二方位图像轮廓图B,对模拟第一方位图像和模拟第二方位图像进行处理得到第一方位图C和第二方位图D;利用A和B得到第一方位视图E和第二方位视图F;在A、B、C和D上选择与需要配准的区域;进入粗配阶段,配准过程是采用相似度度量算法计算相似度;精配阶段,用第一方位图像和第二方位图像来生成ROI.a和ROI.b,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,采用相似度度量算法计算相似度。本申请可以避免拍摄问题所带来的配准影响。

Description

斜方位配准方法、装置、可读存储介质及计算机设备
技术领域
本申请属于手术机器人领域,尤其涉及一种斜方位配准方法、装置、计算机可读存储介质及计算机设备。
背景技术
在骨科手术领域,传统的人工开放式手术正在被机器人手术所替代,传统骨科手术正在进入机器人手术的微创化时代。在骨科手术机器人技术中,配准技术是其核心技术之一,比如将术前患者影像,如CT等三维影像,在计算机中重建出三维模型,再利用DRR(Digitally Reconstructured Radiograph,数字重建放射影像)技术生成虚拟的二维图像,医生可以在三维模型或虚拟的二维图像上做手术规划,然后在术中利用诸如C臂X光机拍摄两张二维片子(如正位片,侧位片,简称正侧位片,正侧位片是正交的),这样术前二维图像和术中二维正侧位片就可以进行配准计算。
传统配准方法包括以下步骤:术前进行三维重建,然后利用DRR技术对重建的三维模型进行拍摄X光(虚拟X光机),获取虚拟正侧位二维图像;术中利用C臂X光机,拍摄实际手术区域并获取正侧位二维图像并进行预处理;然后,将术中正侧位二维图像与术前获取的虚拟正侧位二维图像做相似性测度技术(即配准),当相似性测度值达到极值,则配准完成,否则将对重建的三维模型进行优化策略。优化策略是:首先将重建的三维模型旋转一个角度,然后获取虚拟正侧位二维图像,再与术中正侧位二维图像进行相似性测度值计算,判断是否达到极值;以此类推。
传统的配准方法基本是针对术中获取的正侧位二维图像,即正侧位X光影像(即正位方向和侧位方向,正位和侧位是垂直关系,各拍一次X光,形成正侧位X光影像),这就要求X光机在术中需要旋转两次,即X光机两次工作角度是0和90°,工作范围是0-90°。该传统配准方法至少存在以下缺陷:一是一般手术室的空间范围比较狭窄,X光机体积较大,且其旋转臂较重(为了拍正交的正侧位,手动旋转臂还要求对准正交标志位),操作笨重,不灵活;二是x光本身的拍摄问题(如手术床金属部件对X光图像质量的影响;胸椎节段的肋骨对X光图像质量的影响等)会对配准带来影响。从解剖学可以知道,人体椎弓根与水平方向夹角大概是60°,如果能将X光机对着椎弓根进行拍摄(即斜方位拍摄),这将极大改善X光影像质量(比如可以避开手术床金属部件的影响;大大减少胸椎节段的肋骨对X光图像质量的影响等),这对后续配准,以及基于图像控制机械臂运动并定位到手术位置将会大大有益。
发明内容
针对上述缺陷,本申请提供一种可以避免拍摄问题所带来的配准影响,以及降低成像设备操作要求等解决方案。具体提供了一种斜方位配准方法、装置、计算机可读存储介质及计算机设备。
第一方面,本申请提供了一种斜方位配准方法,所述方法包括以下步骤:
S101、获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D;
S102、利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F;
S103、在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI,对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d;
S104、进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束;
S105、粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
第二方面,本申请提供了一种斜方位配准装置,所述装置包括:
第一图像生成模块,用于获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D;
第二图像生成模块,用于利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F;
区域选择模块,用于在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI,对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d;
粗配模块,用于进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束;
精配模块,用于粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述的斜方位配准方法的步骤。
第四方面,本申请提供了一种计算机设备,包括:
一个或多个处理器;
存储器;以及一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如所述的斜方位配准方法的步骤。
在本申请中,由于基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,因此可以避免拍摄问题所带来的配准影响,在粗配阶段结束时使得病人真实的正位图像和斜位图像与根据患者术前三维影像生成的模拟正位图像和模拟斜位图像的边缘对齐。另外,由于成像设备与人体水平面呈锐角进行拍摄得到的包含椎弓根的图像,相比于传统正侧位X光机拍摄,能大大降低对成像设备的操作要求。
附图说明
图1是本申请一实施例提供的斜方位配准方法的流程图。
图2是本申请一实施例提供的斜方位配准方法中定位装置的结构示意图一;
图3是本申请一实施例提供的斜方位配准方法中定位装置的结构示意图二;
图4是本申请一实施例提供的斜方位配准方法中定位装置的剖视图。
图5是本申请一实施例提供的斜方位配准装置的功能模块框图。
图6是本申请一实施例提供的计算机设备的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
请参阅图1,是本申请一实施例提供的斜方位配准方法的流程图,本实施例主要以该斜方位配准方法应用于计算机设备为例来举例说明,本申请一实施例提供的斜方位配准方法包括以下步骤:
S101、获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D。
在本申请一实施例中,所述第一方位图像是指成像设备与人体水平面呈直角或锐角进行拍摄得到的包含椎弓根的图像,所述第二方位图像是指成像设备与人体水平面呈锐角进行拍摄得到的包含椎弓根的图像,所述模拟第二方位图像是指根据三维模型生成的与人体水平面呈锐角的包含椎弓根的图像;
所述第一方位图像轮廓图A和第二方位图像轮廓图B分别是利用轮廓勾勒程序在病人真实的第一方位图像和第二方位图像上勾选准备配准的骨骼大致区域得到的;
所述模拟第一方位图像和模拟第二方位图像分别是根据患者术前三维影像,重建出患者术区的三维模型,根据三维模型生成的。
在本申请一实施例中,所述第一方位图像和第二方位图像均可以是X光图像;
根据三维模型生成的模拟第一方位图像和模拟第二方位图像具体可以是:根据三维模型利用DRR算法生成模拟第一方位图像和模拟第二方位图像。
所述分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D具体可以包括以下步骤:
分别对模拟第一方位图像和模拟第二方位图像进行整体取反操作,然后利用阈值处理使得图像变成黑白二值图,处理得到能区分骨头区域和背景的第一方位图C和第二方位图D,图中白色区域为骨头区域,黑色为背景;或者,
分别对模拟第一方位图像和模拟第二方位图像进行灰度处理得到能区分骨头区域和背景的第一方位图C和第二方位图D。
在本申请一实施例中,所述第一方位图像是正位图像,所述第二方位图像是斜位图像,所述第一方位图像轮廓图A是正位图像轮廓图A,所述第二方位图像轮廓图B是斜位图像轮廓图B;所述正位图像是指成像设备与人体水平面呈直角进行拍摄得到的包含椎弓根的图像。
由于椎弓根与水平方向大致呈60°夹角,因此在本申请一实施例中,第二方位图像可以是指成像设备与人体水平面呈60°夹角进行拍摄得到的包含椎弓根的图像。拍摄的图像质量更优,有利于后续配准精度和机械臂控制精度的提高。
在本申请一实施例中,取反操作是指对图片像素进行取反,具体操作为255-image,image为需要取反的照片,即每个坐标点的像素值更新为255-原来坐标点的像素值。
在本申请一实施例中,成像设备可以是C臂X光机等。患者术前三维影像是通过CT设备、X光机或MRI设备获得的三维影像。
在本申请一实施例中,所述第一方位图像和第二方位图像均是由与人体水平面呈锐角的成像设备透过定位装置进行拍摄得到的包含椎弓根的图像。
请参照图2至图4,所述定位装置包括定位支架,定位支架上分别设置有多个第一定位珠61以及多个第二定位珠62;其中,多个第一定位珠61的球心形成第一定位面,多个第二定位珠62的球心形成第二定位面;第一定位面与第二定位面之间的夹角为钝角;具体地,本实施例中第一定位面与第二定位面之间的夹角为150°;当然,在其他可选的实施例中,第一定位面与第二定位面之间的夹角也可以根据需要进行调整,在此不作限制;本实施例中第一定位面与第二定位面之间的夹角为150°,则成像设备对着第一定位面进行第一次拍摄后,旋转30°即可对着第二定位面进行第二次拍摄,则成像设备的工作范围是0-30°;本实施例中将第一定位面与第二定位面的夹角设置为钝角,能够优化成像设备的工作范围,从而能够提高效率,并减少干涉;成像设备对着第一定位面进行拍摄为正位方向拍摄,那成像设备对着第二定位面进行拍摄则为斜位方向拍摄;进行斜位方向拍摄时,能够减少手术床金属部件被拍摄至影像中;而且,如果对着人体的椎弓根进行斜位方向拍摄,能够减少胸椎节段的肋骨被拍摄至影像中;故,采用本实施例中的定位装置,能够减小手术床金属部件和人体骨骼对影像的影响,从而能够提高成像质量,进而有利于提高定位精度。
参照图2至图4,具体地,本实施例中定位支架包括用于承载第一定位珠61的第一平板1、用于承载第二定位珠62的第二平板3、连接于第一平板1和第二平板3之间的过渡板2以及与第一平板1连接的安装支板4;本实施例中第一平板1、过渡板2、第二平板3以及安装支板4为一体成型,从而能够方便生产和使用;本实施例中定位支架还包括连接于各个板之间的多个筋板5,从而能够提高定位支架的结构强度和稳定性。
参照图2至图4,安装支板4上设置有安装孔41,通过安装孔41来实现定位支架的安装和固定;当然,在其他可选的实施例中,安装支板4的结构也可以根据安装方式进行调整,在此不作限制;同时,本实施例中定位支架也可以直接摆放于人体上来进行定位拍摄。
参照图2至图4,本实施例中第一平板1的背面设置有五个第一安装座11,第一安装座11上设置有与第一定位珠61配合的第一安装槽12;也就是说,第一平板1承载有五个第一定位珠61,并且五个第一定位珠61的球心均位于第一定位面中;第二平板3的背面设置有五个与第二定位珠62配合的第二安装座31,第二安装座31上设置有与第二定位珠62配合的第二安装槽32;也就是说,第二平板3承载有五个第二定位珠62,并且五个第二定位珠62的球心均位于第二定位面中;本实施例中第一定位珠61和第二定位珠62均为金属珠,从而能够在X光中成像;同时,本实施例中第一定位珠61的直径大于第二定位珠62的直径,从而能够进行区分,方便图像处理;本实施例中第一安装槽12的中心线平行于第二安装槽32的中心线,这样能够方便注塑生产,而且也便于安装定位珠;在其他可选的实施例中,第一定位珠61和第二定位珠62的数量可以根据需要进行调整,能够形成定位面即可,在此不作限制;同时,定位珠也可以直接嵌设于平板内,或者定位珠通过其它辅助结构安装于平板内,在此不作限制。
参照图2至图4,本实施例中第一定位面平行于第一平板1,第二定位面平行于第二平板3,这样能够方便设计以及生产加工;也就是说,本实施例中定位支架作为第一定位珠61和第二定位珠62的载体,在满足第一定位面与第二定位面的夹角为钝角的情况下,定位支架的结构形状可以根据需要进行调整,在此不作限制;本实施例中的定位支架具有结构简单,方便生产加工,方便运输和存储,以及轻巧等优势;本实施例中第一平板1与第二平板3之间通过过渡板2一体成型,则第一定位面与第二定位面的夹角是固定不变的,这样在使用时就不需要考虑夹角调节的问题,能够方便使用,降低操作要求和难度,而且有利于保证定位精度;在其他可选的实施例中,第一平板1和第二平板3之间也可以为固定连接,例如紧固件、卡接等,在此不作限制;当然,在其他可选的实施例中,第一平板1与第二平板3之间的夹角也可以设置为可调节,调节包括无级调节或者在多个夹角之间进行选择,在此不作限制。
参照图2至图4,本实施例中定位装置还包括设置于第一平板1的正面的定位图案7,定位图案7用于视觉识别定位;其中,定位图案7平行于第一定位面;本实施例中第一平板1的正面设置有与定位图案7配合的沉槽13,从而能够避免定位图案的磨损,延长使用寿命和精度;定位图案7可以通过粘接或者激光等方式来进行设置,在此不作限制。
S102、利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F。
经过S102的处理,正位视图E和斜位视图F的灰度值已被整体提高。
在本申请一实施例中,黑白二值图的阈值可以为250。
S103、在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI(ROI,Region Of Interest),对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d。
S104、进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
在本申请一实施例中,采用相似度度量算法计算相似度具体包括以下步骤:
计算出第一配准图像对应的直方图作为第一配准图像的概率密度函数Hist(x1),计算出第二配准图像对应的直方图作为第二配准图像的概率密度函数Hist(x2);
利用第一配准图像的概率密度函数Hist(x1)来计算第一配准图像的信息熵Entropy1,利用第二配准图像的概率密度函数Hist(x2)来计算第二配准图像的信息熵Entropy2;具体为:
计算出第一配准图像和第二配准图像的联合直方图,得到联合概率密度函数CoHist(x), 利用联合概率密度函数CoHist(x)计算出联合熵CoEntropy,具体为:
得到本次相似度测量值=Entropy1+Entropy2-CoEntropy。
由于基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,因此可以避免拍摄问题所带来的配准影响,在粗配阶段结束时使得病人真实的正位图像和斜位图像与根据患者术前三维影像生成的模拟正位图像和模拟斜位图像的边缘对齐。
在本申请一实施例中,粗配阶段采用的相似度度量算法是结构相似性度量算法(SSIM)。SSIM综合考虑图像的三个关键特征:亮度、对比度和结构性。SSIM整体开销相对于互信息度量算法较小,因此放在粗配阶段使用。
在本申请一实施例中,ROI.a和ROI.b在整个粗配阶段不会发生变化,ROI.c和ROI.d会随着每一次三维影像的变化生成对应的ROI.c和ROI.d。
预设次数可以为2、3等。相似度差值的设定范围可以设置小于1.0且大于0,例如0.001。
S105、粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
在本申请一实施例中,配准过程具体包括以下步骤:
当算法在每一个维度(假设当前是第一个维度,即X轴的平移)进行搜索时,使用黄金分割算法来寻找本次搜索的最优点,搜索的终结条件是两个端点的距离小于设定值,端点值就是指LEFT和RIGHT. 即left-right的绝对值差小于DELTA,则本维度的搜索结束,进入下一维度搜索,并且本次维度搜索的返回值为(left+right)/2;
每当一个维度的搜索结束后都要再进行一次相似度计算(本轮相似度计算时X轴的值修改为(Left+Right)/2) 得到相似度值S,并将S与上一轮的相似度值Sp进行差值计算,如果差值大于设定精度,则继续搜索,如果小于设定相似度差值,配准结束。
在本申请一实施例中,粗配阶段采用的相似度度量算法是结构相似性度量算法,精配阶段采用的相似度度量算法根据需要选择结构相似性度量算法(SSIM)或者互信息度量算法。结构相似性度量算法可以减小算法的搜索范围,节省整体搜索时间。互信息度量算法采用图像的灰度直方图进行计算,对于图像之间重合区域更敏感,所需要的时间开销更大,效果也会有所提升。
此时算法搜索范围将会被缩小一半。
在本申请一实施例中,相似度差值的设定范围可以设置小于1.0且大于0,例如0.00001。
在本申请一实施例中,粗配阶段和精配阶段采用的搜索算法为鲍威尔优化算法与黄金分割查找算法的结合,每一轮搜索都先从各个方向上的位移开始,然后是各个方向上的旋转,重复下去,直到相似度差值达到设定范围才结束一轮搜索。
搜索方向是先根据设定的上下界各进行一次进行搜索,然后根据变形后的相似度差值和黄金分割点决定下一次搜索方向。如果下界的相似度差值小于上界的相似度差值,则将黄金分割点当作下界来重复操作,反之亦然,直到上下界相似度差值达到设定范围。
请参阅图5,本申请一实施例提供的斜方位配准装置可以是运行于计算机设备中的一个计算机程序或一段程序代码,例如该斜方位配准装置为一个应用软件;该斜方位配准装置可以用于执行本申请实施例提供的斜方位配准方法中的相应步骤。本申请一实施例提供的斜方位配准装置包括:
第一图像生成模块11,用于获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D;
第二图像生成模块12,用于利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F;
区域选择模块13,用于在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI,对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d;
粗配模块14,用于进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束;
精配模块15,用于粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
本申请一实施例提供的斜方位配准装置与本申请一实施例提供的斜方位配准方法属于同一构思,其具体实现过程详见说明书全文,此处不再赘述。
本申请一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请一实施例提供的斜方位配准方法的步骤。
图6示出了本申请一实施例提供的计算机设备的具体结构框图,一种计算机设备100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本申请一实施例提供的斜方位配准方法的步骤。
在本申请中,由于基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,因此可以避免拍摄问题所带来的配准影响,在粗配阶段结束时使得病人真实的正位图像和斜位图像与根据患者术前三维影像生成的模拟正位图像和模拟斜位图像的边缘对齐。另外,由于成像设备与人体水平面呈锐角进行拍摄得到的包含椎弓根的图像,相比于传统正侧位X光机拍摄,能大大降低对成像设备的操作要求。
应该理解的是,本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种斜方位配准方法,其特征在于,所述方法包括以下步骤:
S101、获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D;
S102、利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F;
S103、在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI,对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d;
S104、进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束;
S105、粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
2.如权利要求1所述的方法,其特征在于,所述第一方位图像是指成像设备与人体水平面呈直角或锐角进行拍摄得到的包含椎弓根的图像,所述第二方位图像是指成像设备与人体水平面呈锐角进行拍摄得到的包含椎弓根的图像,所述模拟第二方位图像是指根据三维模型生成的与人体水平面呈锐角的包含椎弓根的图像;
所述第一方位图像轮廓图A和第二方位图像轮廓图B分别是利用轮廓勾勒程序在病人真实的第一方位图像和第二方位图像上勾选准备配准的骨骼大致区域得到的;
所述模拟第一方位图像和模拟第二方位图像分别是根据患者术前三维影像,重建出患者术区的三维模型,根据三维模型生成的。
3.如权利要求2所述的方法,其特征在于,所述第一方位图像和第二方位图像均是X光图像;
根据三维模型生成的模拟第一方位图像和模拟第二方位图像具体是:根据三维模型利用DRR算法生成模拟第一方位图像和模拟第二方位图像。
4.如权利要求1所述的方法,其特征在于,所述分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D具体包括以下步骤:
分别对模拟第一方位图像和模拟第二方位图像进行整体取反操作,然后利用阈值处理使得图像变成黑白二值图,处理得到能区分骨头区域和背景的第一方位图C和第二方位图D,图中白色区域为骨头区域,黑色为背景;或者,
分别对模拟第一方位图像和模拟第二方位图像进行灰度处理得到能区分骨头区域和背景的第一方位图C和第二方位图D。
5.如权利要求1所述的方法,其特征在于,所述第一方位图像是正位图像,所述第二方位图像是斜位图像,所述第一方位图像轮廓图A是正位图像轮廓图A,所述第二方位图像轮廓图B是斜位图像轮廓图B;所述正位图像是指成像设备与人体水平面呈直角进行拍摄得到的包含椎弓根的图像。
6.如权利要求1所述的方法,其特征在于,所述第一方位图像和第二方位图像均是由与人体水平面呈锐角的成像设备透过定位装置进行拍摄得到的包含椎弓根的图像;
所述定位装置包括定位支架,所述定位支架上分别设置有多个第一定位珠以及多个第二定位珠;其中,多个所述第一定位珠的球心形成第一定位面,多个所述第二定位珠的球心形成第二定位面;所述第一定位面与第二定位面之间的夹角为钝角。
7.如权利要求1所述的方法,其特征在于,粗配阶段采用的相似度度量算法是结构相似性度量算法,精配阶段采用的相似度度量算法根据需要选择结构相似性度量算法或者互信息度量算法。
8.如权利要求1所述的方法,其特征在于,粗配阶段和精配阶段采用的搜索算法为鲍威尔优化算法与黄金分割查找算法的结合,每一轮搜索都先从各个方向上的位移开始,然后是各个方向上的旋转,重复下去,直到相似度差值达到设定范围才结束一轮搜索。
9.如权利要求8所述的方法,其特征在于,搜索方向是先根据设定的上下界各进行一次进行搜索,然后根据变形后的相似度差值和黄金分割点决定下一次搜索方向;如果下界的相似度差值小于上界的相似度差值,则将黄金分割点当作下界来重复操作,反之亦然,直到上下界相似度差值达到设定范围。
10.如权利要求6所述的方法,其特征在于,所述定位支架包括用于承载所述第一定位珠的第一平板,以及用于承载所述第二定位珠的第二平板。
11.如权利要求10所述的方法,其特征在于,所述第一平板与第二平板之间为固定连接,或者,所述第一平板与第二平板之间的夹角可调节。
12.如权利要求11所述的方法,其特征在于,所述定位支架还包括连接于第一平板和第二平板之间的过渡板,所述第一平板、过渡板以及第二平板为一体成型。
13.如权利要求10所述的方法,其特征在于,所述定位支架还包括与第一平板或者第二平板连接的安装支板。
14.如权利要求10所述的方法,其特征在于,所述第一平板上设置有多个与第一定位珠配合的第一安装座,和/或,所述第二平板上设置有多个与第二定位珠配合的第二安装座。
15.如权利要求14所述的方法,其特征在于,所述第一安装座上设置有与第一定位珠配合的第一安装槽,所述第二安装座上设置有与第二定位珠配合的第二安装槽,所述第一安装槽的中心线平行于第二安装槽的中心线。
16.如权利要求6所述的方法,其特征在于,所述定位装置还包括设置于定位支架上的定位图案,所述定位图案平行于第一定位面或者第二定位面。
17.如权利要求16所述的方法,其特征在于,所述定位支架上设置有与定位图案配合的沉槽。
18.一种斜方位配准装置,其特征在于,所述装置包括以下步骤:
第一图像生成模块,用于获取病人真实的第一方位图像和第二方位图像,并勾选出待配准的骨骼大致区域,得到第一方位图像轮廓图A和第二方位图像轮廓图B;获取病人的模拟第一方位图像和模拟第二方位图像;分别对模拟第一方位图像和模拟第二方位图像进行处理得到能区分骨头区域和背景的第一方位图C和第二方位图D;
第二图像生成模块,用于利用第一方位图像轮廓图A和第二方位图像轮廓图B截取第一方位图C的骨头区域和第二方位图D的骨头区域,并将第一方位图C的骨头区域和第二方位图D的骨头区域融合进模拟第一方位图像和模拟第二方位图像,得到第一方位视图E和第二方位视图F;
区域选择模块,用于在第一方位图像轮廓图A、第二方位图像轮廓图B、第一方位图C和第二方位图D上选择需要配准的区域ROI,对应得到第一方位图像轮廓图A的配准区域ROI.a、第二方位图像轮廓图B的配准区域ROI.b、第一方位图C的配准区域ROI.c和第二方位图D的配准区域ROI.d;
粗配模块,用于进入粗配阶段,配准过程的配准图像都是基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束;
精配模块,用于粗配阶段完成后,进入精配阶段,用病人真实的第一方位图像和第二方位图像来生成ROI.a和ROI.b,分别利用第一方位图C和第二方位图D显示的骨头区域来对模拟第一方位图像和模拟第二方位图像相应区域进行分割,并改变模拟第一方位图像和模拟第二方位图像的背景像素值,得到第一方位视图E和第二方位视图F,利用第一方位视图E和第二方位视图F来生成ROI.c和ROI.d,基于ROI.a、ROI.b、ROI.c和ROI.d采用相似度度量算法计算相似度,配准过程直到相邻两个维度搜索结束后的相似度差值小于预设差值后结束。
19.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至17任一项所述的斜方位配准方法的步骤。
20.一种计算机设备,包括:
一个或多个处理器;
存储器;以及一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至17任一项所述的斜方位配准方法的步骤。
CN202311402003.3A 2023-10-27 2023-10-27 斜方位配准方法、装置、可读存储介质及计算机设备 Active CN117152222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311402003.3A CN117152222B (zh) 2023-10-27 2023-10-27 斜方位配准方法、装置、可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311402003.3A CN117152222B (zh) 2023-10-27 2023-10-27 斜方位配准方法、装置、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN117152222A true CN117152222A (zh) 2023-12-01
CN117152222B CN117152222B (zh) 2024-01-30

Family

ID=88884521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311402003.3A Active CN117152222B (zh) 2023-10-27 2023-10-27 斜方位配准方法、装置、可读存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN117152222B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114096990A (zh) * 2020-03-19 2022-02-25 西安大医集团股份有限公司 图像配准方法、装置、放疗设备和计算机可读存储介质
CN114283178A (zh) * 2021-09-23 2022-04-05 腾讯科技(深圳)有限公司 图像配准方法、装置、计算机设备及存储介质
CN114387320A (zh) * 2022-03-25 2022-04-22 武汉楚精灵医疗科技有限公司 医学图像配准方法、装置、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114096990A (zh) * 2020-03-19 2022-02-25 西安大医集团股份有限公司 图像配准方法、装置、放疗设备和计算机可读存储介质
CN114283178A (zh) * 2021-09-23 2022-04-05 腾讯科技(深圳)有限公司 图像配准方法、装置、计算机设备及存储介质
CN114387320A (zh) * 2022-03-25 2022-04-22 武汉楚精灵医疗科技有限公司 医学图像配准方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN117152222B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US7327865B2 (en) Fiducial-less tracking with non-rigid image registration
US7840093B2 (en) Image enhancement method and system for fiducial-less tracking of treatment targets
US7426318B2 (en) Motion field generation for non-rigid image registration
US7231076B2 (en) ROI selection in image registration
US7366278B2 (en) DRR generation using a non-linear attenuation model
Markelj et al. Robust gradient-based 3-D/2-D registration of CT and MR to X-ray images
Weese et al. Voxel-based 2-D/3-D registration of fluoroscopy images and CT scans for image-guided surgery
US20150182761A1 (en) Tracking of moving targets
JP5337845B2 (ja) デジタル画像上での測定の実施法
US8031922B2 (en) Registration of imaging data
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
EP1922694A2 (en) Adaptive radiation therapy method with target detection
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
US20230030343A1 (en) Methods and systems for using multi view pose estimation
US20230154019A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
CN113570648B (zh) 多骨骼影像配准方法、电子装置以及医学导航系统
CN117152222B (zh) 斜方位配准方法、装置、可读存储介质及计算机设备
Van de Kraats et al. Standardized evaluation of 2D-3D registration
Sun et al. Using cortical vessels for patient registration during image-guided neurosurgery: a phantom study
CN115880469B (zh) 一种表面点云数据与三维影像的配准方法
CN116942326A (zh) 一种基于单目相机的手术机器人全自动实时配准方法
CN116635888A (zh) 图像分割方法及装置、图像引导系统、放射治疗系统
Suwardhi et al. Coordinate systems integration for craniofacial database from multimodal devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant