CN111724483A - 一种图像移植方法 - Google Patents
一种图像移植方法 Download PDFInfo
- Publication number
- CN111724483A CN111724483A CN202010300733.2A CN202010300733A CN111724483A CN 111724483 A CN111724483 A CN 111724483A CN 202010300733 A CN202010300733 A CN 202010300733A CN 111724483 A CN111724483 A CN 111724483A
- Authority
- CN
- China
- Prior art keywords
- model
- reference object
- transplanted
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000036544 posture Effects 0.000 claims description 50
- 239000003550 marker Substances 0.000 claims description 20
- 230000005012 migration Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 238000002054 transplantation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 57
- 239000002131 composite material Substances 0.000 abstract description 3
- 210000000988 bone and bone Anatomy 0.000 description 66
- 238000002591 computed tomography Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000005094 computer simulation Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000035876 healing Effects 0.000 description 4
- 230000002980 postoperative effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及虚拟现实技术领域,具体涉及一种图像移植方法。该方法包括:形成参照物的3D模型;形成组合物体的平面模型;平面模型包括参照物和待移植部二者的平面影像;匹配3D模型和平面模型二者中参照物的姿态;依据平面模型中参照物和待移植部二者的平面影像之间的相对位置关系,移植平面模型中待移植部的平面影像至3D模型内。采用该方法,在单独获取参照物的整体结构后,无需再次重新获取参照物和待移植部的整体结构,而仅需通过形成参照物和待移植部的平面模型,且将待移植部的平面影像移植至前述3D模型中即可,根据新形成的模型,既可以确定待移植部和参照物二者的相对位置,还可以使工作人员根据该新3D模型展开后续操作过程,简单方便。
Description
技术领域
本发明涉及虚拟现实技术领域,具体涉及一种图像移植方法。
背景技术
目前,为了获取部分物体的内部结构,通常可以采用射线拍摄的方式。但是,这类方式的具体实施方法有多种,不同方法之间存在差异,有的方法实施过程相对复杂,所需设备笨重,但是所获取的图像相对清晰,有的方法实施过程相对简单,但是所获取的图像的清晰度等则相对较差。
目前,为了获取某一物体较为清晰完整的结构特征或内部结构,通常会采用相对复杂的方式对该物体单独进行图像获取工作,以得到该物体较为清晰和完整的透视图或整体图,且在后续操作过程中,根据整体图或透视图,可以极大地降低相关人员对该物体进行操作时的工作难度;但是,出于某些原因,在该物体上外接其他部件之后,为了获取两个部件的整体结构或相对位置,目前仍旧只能继续采用较为复杂的方法,重新同时对两个部件进行图像获取工作,以获取两个部件之间的相对位置关系,这种操作过程复杂繁琐,操作不便。
发明内容
(一)本发明要解决的技术问题是:目前,在确定一个物体的整体结构后,为了确定与之连接的另一个物体的整体结构以及二者的相对位置关系时,操作过程相对复杂繁琐。
(二)技术方案
为了实现上述技术问题,本发明提供了一种图像移植方法,其包括:
S1、形成参照物的3D模型;
S2、形成组合物体的平面模型;其中,所述平面模型包括所述参照物和待移植部二者的平面影像;
S3、匹配所述3D模型和所述平面模型二者中所述参照物的姿态;(影像)
S4、依据所述平面模型中所述参照物和所述待移植部二者的平面影像之间的相对位置关系,移植所述平面模型中所述待移植部的平面影像至所述3D 模型内。
可选地,所述S1包括:
S11、根据预设规则获取多张参照物的平面图像;
S12、根据多张所述平面图像,形成所述参照物的3D模型。
可选地,所述S11具体为:
S111、获取参照物在预设方向上的多张截面图;
所述S12具体为:
S121、依据多张所述截面图,形成所述参照物的3D模型。
可选地,所述S2具体为:
S21、根据预设规则形成多幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
可选地,所述S21具体为:
S211、沿至少三个方向,依次分别形成至少一幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
可选地,所述S4之后还包括:
S5、根据多幅所述平面模型中所述待移植部的平面影像,获取所述待移植部的整体结构。
可选地,所述S3具体为:
S31、一一对应所述3D模型和所述平面模型二者中所述参照物的多个特征点,匹配所述3D模型和所述平面模型二者中所述参照物的姿态。
可选地,所述S1之前还包括:
S6、在参照物上固定标记点;
所述S31具体为:
S311、一一对应所述3D模型和所述平面模型二者中所述参照物上的所述标记点和至少一个特征点,匹配所述3D模型和所述平面模型二者中所述参照物的姿态。
可选地,所述参照物上预设有多个所述标记点。
可选地,所述标记点设置有至少三个,任意两个所述标记点之间的距离均为标记点间距,至少一个所述标记点间距大于另一个所述标记点间距。
(三)有益效果
本申请所提供的图像移植方法中,通过单独获取参照物的3D模型,可以使工作人员得到较为清楚、完整的参照物的整体结构和/或内部结构;通过包括参照物和待移植部二者的平面图像的平面模型,可以得到参照物和待移植部之间的相对位置关系,并且,获取平面模型的过程相对获取3D模型的过程更为简单便捷;然后,对3D模型和平面模型中参照物的姿态进行匹配,当匹配完成时,将平面模型中待移植部的平面影像移植到参照物的3D 模型中,即可得到新的模型,该模型既可以体现参照物和待移植部之间的相对位置,且由于该模型中参照物的结构为3D结构,因而还可以为工作人员的后续操作提供较大便利。
附图说明
本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施例所提供的图像移植方法的一种流程图;
图2是本申请实施例所提供的图像移植方法的另一种流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
如图1所示,本申请提供一种图像移植方法,借助该方法可以将一个图像内的部分图形移植至另一图像内,从而使得工作人员在最简单的操作过程下,获得相对较为清晰的图像。该图像移植方法包括:
S1、形成参照物的3D模型;
S2、形成组合物体的平面模型;其中,平面模型包括参照物和待移植部二者的平面影像;
S3、匹配3D模型和平面模型二者中参照物的姿态;(影像)
S4、依据平面模型中参照物和待移植部二者的平面影像之间的相对位置关系,移植平面模型中待移植部的平面影像至3D模型内。
也就是说,在该图像移植方法的进行过程中,可以先形成参照物的3D 模型,且形成组合物体的平面模型。3D模型的建立过程相对较为复杂,但是可以形成清晰度和图像质量均相对较高的图像,平面模型的建立过程相对简单,但是所形成的组合物体的图像也相对简单,可能出现在某些情况下无法满足使用需求的状况。由于3D模型和平面模型中均有参照物这一物体,继而,可以对3D模型和平面模型二者中的参照物的图像进行匹配,匹配的对象具体为参照物在两个模型中的姿态,当参照物在3D模型和平面模型中的姿态一致后,可以直接将平面模型中待移植部的影像移植到3D模型中,即可使待移植部的图像形成于参照物的3D模型中,从而使工作人员可以以前述信息更为完整的3D模型为基准,进行后续工作过程。
具体来说,参照物的3D模型的形成方式有多种,常见地,可以借助射线照射参照物,从而获取参照物的内部结构以及外表结构。例如,借助探伤仪、全息扫描设备或CT(Computed Tomography,电子计算机断层扫描设备) 等设备,均可以得到参照物的整体结构,然后,借助计算机软件等可以形成参照物的整体结构图,该图即为参照物的3D模型。或者,还可以采用外部拍照的方式,形成参照物的3D模型,详细地说,可以在参照物的不同方位拍摄参照物不同的外表图像,然后根据图纸形成时拍摄设备与参照物之间的相对位置关系,对所形成的图纸进行组合,这也可以得到参照物的3D模型。当然,获取参照物3D模型的方式还有多种,考虑文本简洁,此处不再一一介绍。
同样地,形成包括参照物和待移植部的组合物体的平面模型的方式也有多种。例如,将组合物体摆放至设定位置,且使组合物体形成设定姿态,借助相机等设备即可形成包括参照物和待移植部二者的影像的平面模型;或者,也可以采用射线照射的方式,形成组合物体的透视图,这使得参照物和待移植部二者的相对位置更加明确。例如,可以借助便携式X光设备,获取组合物体的平面模型,此时,前述平面模型则为组合物体的透视图。为了使工作人员从平面模型中获取的待移植部和参照物之间的相对位置关系更为准确,可选地,在形成平面模型的过程中,可以使参照物和待移植部二者所在的位置,以及二者之间的相对位置尽量规正,防止因外界因素导致所形成的平面模型中参照物和待移植部的图像、相对位置关系较差。例如,在参照物为规则形状的结构时,形成平面结构的过程中,可以使参照物的朝向尽量规则,这使得工作人员根据平面模型确定参照物和待移植部的相对位置时,能更容易得到较为精准的数据。
需要说明的是,本申请实施例中,参照物的3D模型和组合物体的平面模型的形成先后顺序并无限定,在具体操作过程中,可以根据实际情况,灵活选定两个模型的形成先后顺序,当然,当存在多个结构相同的参照物时,也可以同时形成参照物的3D模型和组合物体的平面模型。
然后,可以对3D模型和平面模型中的参照物的图像的姿态进行匹配,更确切地,可以根据平面模型中参照物的图像的姿态,通过调整改变3D模型中参照物的图像的姿态,使3D模型和平面模型二者中参照物图像的姿态保持一致,进而使平面模型中参照物的图像能够与3D模型中的参照物的图像重合,这意味着平面模型和3D模型这两个不同的模型在一定程度上合二为一。
更具体地,由于3D模型和平面模型二者中的参照物的实际结构相同,从而在匹配两个模型中参照物的姿态的过程中,可以以参照物的具体结构为依据,通过比对参照物的部分边缘或整体形状,进而完成两个模型中参照物图像的相互匹配过程;或者,还可以根据参照物上的角部、凸起等某些特征,或尖头等特征点,对两个模型中的参照物的图像进行匹配;另外,还可以根据平面模型中参照物的具体轮廓和相应尺寸(或比例),对两个模型中的参照物的图像进行匹配;当然,由于不同模型中参照物的实际结构均相同,因而能够作为基准量对两个模型中参照物的图像进行匹配的因素还有很多,考虑文本简洁,此处不再一一介绍。
最后,在平面模型中的参照物的影像与3D模型中参照物的影像相互重合的条件下,即可借助计算机软件等将平面模型中的待移植部的影像移植至 3D模型中,从而形成新的模型,其包括参照物的3D影像和待移植部的平面影像,这可以在一定程度上满足用户需求。
进一步地,在待移植部为规则结构的情况下,例如,待移植部可以为圆柱状结构、立方体或圆锥体等规则结构,将待移植部的影像移植至3D模型中后,可以通过计算机软件对待移植部其余部分的影像进行补充,从而得到整个待移植部的3D图像,进而可以得到参照物和待移植部二者的3D模型。或者,还可以预先对待移植部的整体结构进行扫描,以获取待移植部的整体结构和对应位置处的尺寸,从而在将待移植部的图像移植至3D模型后,借助相应的计算机软件也可以根据平面模型中待移植部的图像的形状和尺寸 (或比例)等确切条件,将待移植部缺失的部分图像补全,从而形成完整的待移植部的3D模型;再者,还可以预先形成待移植部的3D模型,然后根据待移植部在平面模型中的图像的形状和尺寸(或比例),将待移植部的3D 模型调整至于与平面模型相同后,根据平面模型中待移植部与参照物的相对位置关系,直接将待移植部的3D模型移植到参照物的3D模型上,这也可以形成参照物和待移植部二者的3D模型,从而进一步提升用户借助该模型进行后续工作时的便利性。
下面举例说明一种具体采用该图像移植方法的实际应用,目前,在医生进行骨骼手术等过程中,通常会先对患者受伤的骨骼进行探查,从而获取待修复的骨骼的详细情况,然后通过向待修复的骨骼上固定操作件,对分离的至少两块骨骼进行拼接,当拼接完成后,再借助钢钉等部件对分离的骨骼进行固定,随着患者的骨骼经过一段时间的休养和生长之后,取出钢钉,完成骨骼的修复手术。
但是,目前的骨骼修复过程中,通常采用拍摄X光片,或者借助CT设备获取患者待修复骨骼的详细情况。其中,借助CT设备所获取的骨骼的图像更为清晰和完整,但是拍摄CT需要在影像科等特定的诊室,需要将患者移动至该诊室,且为了尽量降低射线辐射,医院的影像科通常均设在一层,与住院部或手术室等人员较为密集的场所之间的距离相对较远,因而拍摄CT 的过程相对繁琐,且会对患者产生较多的不利影响,例如增加医治时间,增重创伤和痛苦等;而拍摄X光片的方式虽然所形成的影像的清晰度和精准度相对较低,但是操作过程相对简单方便,尤其是随着便携式医用X光设备的逐步发展,在手术室等场所内也可以直接为患者进行X光片的拍摄工作,以获取患处的基本情况。并且,目前进行骨骼手术的过程中,通常是医生依据术前的影像资料,凭借自身经验进行骨骼拼接手术,这就造成手术效果存在较大的不确定性。随着科技的不断发展,已经出现许多辅助手术的新技术,例如,在待修复的骨骼上分别固设手术器具,手术器具自身具备反射自然光、红外光或其他光线的能力,通过获取反射光线的方式,获取手术器具在设定时间段内的动作轨迹(或位置姿态),进而得到待修复的骨骼的运动轨迹(或位置姿态),这种采用可见(或可监控)的手术器具替代不可见(或不可监控)的待修复骨骼的方式,使得手术精度不再完全依赖于医生的个人经验,能够极大地提升手术效果和精度。
在上述工作中,还存在对待修复骨骼进行的计算机模型建立过程,建立计算机模型时,通常需要获取待修复骨骼的整体结构。例如,可以借助全息扫描设备或CT设备获取待修复骨骼的整体机构,根据所获得的图像,利用计算机软件可以形成整个待修复骨骼的立体图像,也即待修复骨骼的3D模型。通常来说,为了保证所形成的待修复骨骼的计算机模型的精确性,通常需要在手术进行之前单独获取待修复骨骼自身的影像,由于前述用来替代待修复骨骼的手术器具尚未固定在待修复的骨骼上,因而所形成的待修复的骨骼的计算机立体模型中也不会出现手术器具的影像;为了在后续手术过程中能借助手术器具替代待修复骨骼,需要在前述立体图像形成后,再将手术器具固定在待修复骨骼上,但此时尚无同时包括手术器具和待修复骨骼二者的计算机模型,因而,为了在尽量简便的条件下获得手术器具和待修复骨骼二者的整体图像,可以采用便携式X光设备对患者的患处进行拍摄,且将所形成的平面图像输入至计算机中;然后,匹配完成计算机模型中的待修复骨骼和平面图像中的待修复骨骼之后,将手术器具的图像移植至计算机模型中即可,从而得到同时包括待修复骨骼3D图像和手术器具的图像的模型,进而工作人员可以借助前述模型进行后续的手术操作。
显然,上述工作过程即应用了本申请所提供的图像移植方法,其采用该方法可以得到相对清楚精确地模型,且操作过程相对简单,无需使患者多次进入CT室,一方面减少患者的痛苦,降低操作过程的繁琐程度,另一方面还可以减少患者和医务人员受到的辐射剂量;另外,还可以防止患者在被移动的过程中,手术器具与待修复骨骼之间的相对位置发生变化,影响所获取的图像的精度;并且可以节省大量的医治时间。
相应地,如上,在手术器具为规则结构的情况下,可以直接借助相应计算机程序对手术器具的其他方位的图像进行补充,或者,也可以预先形成手术器具的3D模型,通过将手术器具的3D模型与平面模型中的手术器具的图像进行匹配之后,直接将手术器具的3D模型移植至待修复骨骼的计算机模型中也可。
进一步地,如图2所示,S1可以包括:
S11、根据预设规则获取多张参照物的平面图像;
S12、根据多张平面图像,形成参照物的3D模型。
也就是说,形成参照物的3D模型的方式是通过对多张参照物的平面图像进行组合。具体来说,可以通过获取参照物的六视图,再借助参照物的六视图进行对比、拼接或组合,形成参照物的3D模型。或者,还可以获取参照物上多张不同位置处的截面图的方式,间接得到参照物的3D模型。
考虑到获取参照物的六视图的过程中,一旦参照物的位置、摄像的角度、物镜间距等因素中的一者发生变化,均会对所形成的参照物的3D模型的精确度产生不利影响,优选地,S11具体可以为:
S111、获取参照物在预设方向上的多张截面图;
具体地,根据自身实际需求,借助CT等设备可以直接获取参照物的多张截面图,且多张截面图的垂线互相平行;
相应地,S12则具体为:
S121、依据多张截面图,形成参照物的3D模型。
具体来说,在多张截面图形成之后,根据多张截面图中图像的所在位置,以及多张截面图中图像之间的相对位置关系,借助计算机软件对多张截面图进行拼接组合,即可得到参照物的3D模型。同时,由于在形成多张截面图的过程中,参照物的位置等条件基本未发生变化,甚至在某些条件下可以同时形成多张截面图,多张截面图之间存在对应关系,因而根据多张截面图所得到的参照物的3D模型的精度也相对较高。
为了进一步提升所得到的组合物体的平面模型的精确度,优选地,S2 具体为:
S21、根据预设规则形成多幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
在实际操作过程中,可以形成多幅组合物体的平面模型,这一方面可以基本防止因拍摄角度或拍摄方向存在问题而造成单幅平面模型无法使用的问题,另一方面,通过形成多幅组合物体的平面模型,还可以提升工作人员根据平面模型判断参照物和待移植部之间的相对位置关系时的精准度。具体地,可以在组合物体的同一方位、同一距离下形成多张平面模型;也可以在组合物体的不同方位和/或不同距离下形成多张平面模型,本文此处不作限定。
优选地,S21具体为:
S211、沿至少三个方向,依次分别形成至少一幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
具体地,在形成平面模型的过程中,可以使拍摄设备在组合物体的至少三个方位上分别形成至少一幅平面模型。更具体地,在组合物体中参照物和待移植部二者均在拍摄设备的视野范围内时,使拍摄设备形成至少一幅平面模型,具体可以为一幅或多幅,优选地,可以形成多幅平面模型;然后,改变拍摄设备的所在位置,使拍摄设备位于组合物体的另一方位处,再形成至少一幅平面模型;然后,再改变拍摄设备所在的位置,形成至少一幅平面模型。当然,还可以继续改变拍摄设备的所在位置,并形成至少一幅平面模型,考虑文本简洁,此处不再赘述。工作人员在借助平面模型确定参照物和待移植部各自在平面模型中的姿态和二者的相对位置时,通过单独查看多个平面模型,以及对比多个平面模型,可以进一步提升所得到的结果的精确性。
另外,为了进一步保证工作人员通过多幅平面模型确定参照物和待移植部二者的相对位置和各自的姿态时具有较高的精确度,在形成平面模型的过程中,可以使所形成的各平面模型中均包括参照物的影像和待移植部的影像。
同时,在至少三个方向上分别形成至少一幅组合物体的平面模型之后,借助多个平面模型,可以得出待移植部的整体结构,从而无需再次额外获取待移植部的整体结构,也可以通过对多个平面模型中待移植部形成的影像中,基本得到待移植部的整体结构。因此,S4之后还可以包括:
S5、根据多幅平面模型中待移植部的平面影像,获取待移植部的整体结构。
具体地,在形成多幅平面模型的过程中,通过记录各平面模型形成时拍摄设备所在的方位和距离等参数,在形成多个平面模型之后,借助计算机软件,对多个平面模型进行对比分析,并结合前述方位和距离等参数,基本可以得出待移植部的整体结构,从而直接将待移植部的整体结构转接于参照物所形成的3D模型中,通过使待移植部以设定姿态整合于参照物的3D模型中,并对待移植部的影像和参照物的影像进行相对固定,在后续过程中,无论参照物的3D模型如何转动或移动,也不会造成待移植部与参照物的相对位置关系发生变化。同时,工作人员可以通过在待移植部上增设与所形成的3D 模型相互连接的位置姿态追踪部件,通过监控前述位置姿态追踪部件,自动改变前述3D模型的位置和姿态,即可直接获取待移植部和参照物各自的姿态和二者的整体分布情况,进而无需为了获取参照物和待移植部的姿态、位置等而多次进行拍摄工作,这可以进一步降低操作难度,提升工作效率。
进一步地,在匹配3D模型和平面模型中参照物的姿态的过程中,可以借助参照物上的特征点作为基准,对3D模型和平面模型中的参照物的姿态进行匹配。同时,可以在参照物上选定多个特征点,从而借助多个特征点对不同模型中的参照物的图像进行比对,以保证匹配结果具有较高的精准程度。因此,S3具体可以为:
S31、一一对应3D模型和平面模型二者中参照物的多个特征点,匹配3D 模型和平面模型二者中参照物的姿态。
具体来说,在匹配过程中,首先可以选择特征较为明显的特征点进行匹配,当在两个模型中找到特征较为明显的特征点之后,再以前述特征点为基准,在两个模型中参照物的图像上找寻其他特征点,通过使两个模型中的相应特征点相互对应,基本可以保证两个模型中参照物的姿态相同。其中,特征点可以预设有两个、三个、四个或更多个,在选取特征点的过程中,可以选择多个相对分散的特征点,以提升借助多个特征点对两个参照物的图像进行姿态匹配时的便利性;多个特征点可以预先通过纸笔或电脑记录下来,在后期对比的过程中作为比对标准,或者,通过记录在电脑内,借助电脑自动对两个模型进行比对。
另外,在匹配两个模型的过程中,由于平面模型中参照物的姿态的调整工作相对困难,因此,可以以平面模型为基准,通过改变3D模型姿态和朝向的方式,使参照物所形成的3D模型中影像的姿态和所形成的平面模型中影像的姿态基本保持一致。再者,在匹配3D模型和平面模型的过程中,可以选定具有较多特征点和/或参照物和待移植部之间相对位置较为明确、清晰的一个平面模型为基准,而其余的平面模型则可以作为用于确定待移植部整体结构,以及确定待移植部和参照物之间相对位置关系的样本。
由于在形成平面模型的过程中可能会出现遮挡或覆盖问题,因而所形成的多个平面模型中,可能任何一幅平面模型中的参照物均仅能展现出部分特征点,造成匹配过程实施困难,且匹配精度相对较差的问题,优选地,还可以在参照物上预先形成标记点,也就是说,S1之前还包括:
S6、在参照物上固定标记点;
具体来说,标记点可以采用金属等成像能力较好的材料形成,从而在形成平面模型的过程中,保证平面模型中包括标记点的影像。标记点可以采用预埋或打孔填料等方式固定设置在参照物上。并且,在形成平面模型的过程中,如果平面模型为组合物体表面的图像,则在形成平面模型的过程中,可以使参照物和待移植部二者均露出,且使标记点也露出,这使得所形成的平面模型中基本可以同时具有标记点、参照物和待移植部三者的影像。而如果所形成的图像为透视图时,则在形成平面模型的过程中,所需考虑的因素相对较少,操作相对简单,因而,所形成的平面模型优选为透视图,一方面使所形成的平面模型的中参照物和待移植部各自的姿态和二者的相对位置更加清晰,另一方面还可以尽量降低参照物上特征点被遮挡的概率。
相应地,S31具体为:
S311、一一对应3D模型和平面模型二者中参照物上的标记点和至少一个特征点,匹配3D模型和平面模型二者中参照物的姿态。
在参照物上设置有标记点的情况下,匹配3D模型和平面模型的过程中,可以借助标记点和参照物上的至少一个特征点,对3D模型和平面模型中的参照物的姿态进行匹配。同样地,在匹配过程中,可以先借助标记点这一特征相对明显的标记对两个模型中的参照物的影像进行匹配,然后,再借助其他特征点或参照物的整体特征对整个参照物进行匹配、对应。
为了进一步提升匹配速度和精度,优选地,参照物上可以预设有多个标记点,在多个标记点的辅助作用下,整个匹配过程相对简单,且匹配精度也相对较高。
进一步地,在设置有多个标记点的情况下,尤其是标记点大于两个的情况下,多个标记点所形成的组合图案还可以作为参照物的替代特征。也就是说,在形成的3D模型中,还可以通过监控三个标记点的方式,获取参照物的位置变化和姿态变化。需要说明的是,至少三个标记点所形成的图形为正多边形的情况下,可以借助参照物上的部分特征点为辅助特征,从而保证标记点所形成的图像在代表参照物时,可以准确地传达出参照物的位置和姿态变化情况。相应地,而如果至少三个标记点所形成的图形非正多边形,也就是说至少有两组相邻的两个标记点之间的距离不同,则可以通过监测标记点所形成的图形来直接获取参照物的位置姿态变化情况。在标记点采用金属等材料形成的情况下,可以直接通过在不同时间点形成不同X光片的方式,确定至少三个标记点的位置,从而间接获取参照物相对初始状态或上一时间点时的状态,确定参照物的相对位置变化情况。
如上所述,上述实施例所提供的图像移植方法,可以应用在骨骼手术过程中。详细来说,在骨骼拼接手术的过程中,以两块待修复骨骼(即参照物) 为例,可以先借助CT设备获取两块待修复的骨骼的整体结构,通过计算机软件等可以形成两块待修复骨骼的3D模型;然后可以在两块待修复骨骼上分别固定手术器具(即待移植部)以及标记点,手术器具上可以设置有光学追踪器件,且配设光线获取设备获取光学追踪器件的实时位置和姿态变化状态,间接得到待修复骨骼的位置和姿态变化情况。然后,借助便携式X光设备可以获取待修复骨骼和手术器具形成的组合物体的平面图像(即平面模型),该平面图像中包括具有标记点的待修复骨骼和手术器具二者各自的影像,根据所形成的多张平面图像,基本可以确定手术器具的整体结构,即3D 模型;然后,根据待修复骨骼自身的特征以及标记点,可以对3D模型和平面模型中待修复骨骼的姿态进行匹配,并在待修复骨骼为相同姿态的条件下,将手术器具的影像移植至待修复骨骼的3D模型中,再借助计算机软件补全手术器具的3D影像,从而形成组合物体的3D影像;与此同时,至少自形成组合物体的平面图像的时间点开始,光线获取设备可以对手术器具上的光学追踪器件的位置进行跟踪和记录,并根据所记录的数据改变所形成的待修复骨骼的3D模型,使该3D模型在计算机中的朝向和姿态与待修复骨骼的实际位置保持一致,并实时记录;而图像移植过程进行时,则可以再建或复制出另一待修复骨骼的3D模型,防止匹配过程对待修复骨骼的实时状态产生干扰,造成工作人员无法借助3D模型获取待修复骨骼的实时姿态和朝向等参数。当图像移植完成之后,可以使两个3D模型进行融合,从而使手术器具的3D图像与待修复骨骼的动态3D模型同时动作。
在上述情况下,工作人员可以通过光学追踪的方式获取待修复骨骼的姿态、以及两块待修复骨骼之间相对位置关系等参数;并且,通过图像移植的方式形成完整的3D模型,无需对患者进行多次影像拍摄,尤其是CT拍摄,减少成像工作过程的次数,降低操作难度,缩短医治时间,且可以降低患者受到的辐射量。
另外,当待修复骨骼内埋设有至少三个标记点时,工作人员在对两块待修复骨骼之间进行拼接手术之前,可以预先确定手术方案。具体来说,在进行会诊的过程中,通过对两块待修复骨骼的3D模型进行仔细查探,且改变两块待修复骨骼的3D模型之间的相对位置和姿态,可以得到两块骨骼较好的拼接情况,可以得到最佳的拼接手术位置。考虑到在实际手术过程中,因待修复骨骼的形状和结构相对复杂,且由于待修复骨骼的边缘结构相对细小,即便在影像辅助下,也较难确定两块待修复骨骼之间较为精准的实际相对位置,因此,当最佳手术方案确定之后,可以通过获取两块待修复骨骼上各自的多个标记点之间相对位置的方式,替代两块待修复骨骼的相对位置,因此,在手术过程中,只需依据两组标记点(两块待修复骨骼上各自的多个标记点) 在最佳手术方案中各自的姿态,以及二者之间的相对位置,即可判断手术过程中两块待修复骨骼各自的姿态和二者的相对位置关系,从而降低手术难度,简化手术过程。至于两组标记点的相对位置,一者可以采用便携式X光设备获取,另一者还可以在手术器具上设置光学追踪器件,从而借助光线获取设备,通过实时跟随的方式,获取两组标记点各自的姿态和二者的相对位置。
同时,在手术结束后的恢复阶段,患者在复查过程中,因两块待修复骨骼之间的缝隙可能已经部分闭合或完全闭合,因而,即便借助射线透视的方式,也较难获取两块待修复骨骼之间的实际愈合情况;并且,判断结果与医生的个人经验有较大关联。因此,为了降低个体差异可能给术后恢复阶段产生的不利影响,优选地,在手术结束后,可以暂时不取下两块待修复骨骼上的多个标记点,在术后恢复阶段,可以通过形成X光片的方式,获取两组标记点各自的姿态和二者的相对位置,然后,将此时获取的位置姿态信息与手术刚结束时(或最佳手术方案中)所获取的标记点的姿态和位置信息进行比对、分析,即可通过科学的方式判断术后愈合的好坏情况;并且,通过实际数据和具体图像的方式,直观展现出术后愈合情况,从而使医护人员可以根据愈合情况,灵活进行后续工作。当然,为了尽量降低患者的痛苦,在保证精度的情况下,标记点的体积可以尽量得小,其可以通过钻孔的方式固定连接在骨骼上未发生伤痛的位置处。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“连通”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接连通,也可以通过中间媒介间接连通,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像移植方法,其特征在于,包括:
S1、形成参照物的3D模型;
S2、形成组合物体的平面模型;其中,所述平面模型包括所述参照物和待移植部二者的平面影像;
S3、匹配所述3D模型和所述平面模型二者中所述参照物的姿态;
S4、依据所述平面模型中所述参照物和所述待移植部二者的平面影像之间的相对位置关系,移植所述平面模型中所述待移植部的平面影像至所述3D模型内。
2.根据权利要求1所述的图像移植方法,其特征在于,所述S1包括:
S11、根据预设规则获取多张参照物的平面图像;
S12、根据多张所述平面图像,形成所述参照物的3D模型。
3.根据权利要求2所述的图像移植方法,其特征在于,所述S11具体为:
S111、获取参照物在预设方向上的多张截面图;
所述S12具体为:
S121、依据多张所述截面图,形成所述参照物的3D模型。
4.根据权利要求1所述的图像移植方法,其特征在于,所述S2具体为:
S21、根据预设规则形成多幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
5.根据权利要求4所述的图像移植方法,其特征在于,所述S21具体为:
S211、沿至少三个方向,依次分别形成至少一幅组合物体的平面模型;其中,各所述平面模型均包括所述参照物和待移植部二者的平面影像。
6.根据权利要求5所述的图像移植方法,其特征在于,所述S4之后还包括:
S5、根据多幅所述平面模型中所述待移植部的平面影像,获取所述待移植部的整体结构。
7.根据权利要求1所述的图像移植方法,其特征在于,所述S3具体为:
S31、一一对应所述3D模型和所述平面模型二者中所述参照物的多个特征点,匹配所述3D模型和所述平面模型二者中所述参照物的姿态。
8.根据权利要求7所述的图像移植方法,其特征在于,所述S1之前还包括:
S6、在参照物上固定标记点;
所述S31具体为:
S311、一一对应所述3D模型和所述平面模型二者中所述参照物上的所述标记点和至少一个特征点,匹配所述3D模型和所述平面模型二者中所述参照物的姿态。
9.根据权利要求8所述的图像移植方法,其特征在于,所述参照物上预设有多个所述标记点。
10.根据权利要求9所述的图像移植方法,其特征在于,所述标记点设置有至少三个,任意两个所述标记点之间的距离均为标记点间距,至少一个所述标记点间距大于另一个所述标记点间距。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300733.2A CN111724483B (zh) | 2020-04-16 | 2020-04-16 | 一种图像移植方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300733.2A CN111724483B (zh) | 2020-04-16 | 2020-04-16 | 一种图像移植方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724483A true CN111724483A (zh) | 2020-09-29 |
CN111724483B CN111724483B (zh) | 2024-07-19 |
Family
ID=72564169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010300733.2A Active CN111724483B (zh) | 2020-04-16 | 2020-04-16 | 一种图像移植方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724483B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725246A (zh) * | 2005-07-14 | 2006-01-25 | 中国科学院计算技术研究所 | 一种基于视频内容的人体姿态变形方法 |
US20090040224A1 (en) * | 2007-08-06 | 2009-02-12 | The University Of Tokyo | Three-dimensional shape conversion system, three-dimensional shape conversion method, and program for conversion of three-dimensional shape |
US20100245564A1 (en) * | 2007-09-12 | 2010-09-30 | Ajou University Industry Cooperation Foundation | Method for self localization using parallel projection model |
WO2014014562A1 (en) * | 2012-07-20 | 2014-01-23 | Google Inc. | Determining three-dimensional (3d) object data models based on object movement |
CN103584930A (zh) * | 2013-10-23 | 2014-02-19 | 华南理工大学 | 一种个性化全膝关节植入假体逆向设计与制造方法 |
CN104408775A (zh) * | 2014-12-19 | 2015-03-11 | 哈尔滨工业大学 | 基于深度感知的三维皮影戏制作方法 |
CN105982722A (zh) * | 2015-02-02 | 2016-10-05 | 北京大璞三维科技有限公司 | 一种数字化骨骼手术修复方法和系统 |
CN107657653A (zh) * | 2016-07-25 | 2018-02-02 | 同方威视技术股份有限公司 | 用于对三维表面的图像进行重建的方法、装置和系统 |
CN109215121A (zh) * | 2018-10-23 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
US20190289218A1 (en) * | 2018-03-15 | 2019-09-19 | Taiwan Semiconductor Manufacturing Company, Ltd. | Phase detect auto-focus three dimensional image capture system |
US20190340773A1 (en) * | 2018-08-30 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for a synchronous motion of a human body model |
CN110660132A (zh) * | 2019-10-11 | 2020-01-07 | 杨再毅 | 一种三维模型构建方法及其装置 |
-
2020
- 2020-04-16 CN CN202010300733.2A patent/CN111724483B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725246A (zh) * | 2005-07-14 | 2006-01-25 | 中国科学院计算技术研究所 | 一种基于视频内容的人体姿态变形方法 |
US20090040224A1 (en) * | 2007-08-06 | 2009-02-12 | The University Of Tokyo | Three-dimensional shape conversion system, three-dimensional shape conversion method, and program for conversion of three-dimensional shape |
US20100245564A1 (en) * | 2007-09-12 | 2010-09-30 | Ajou University Industry Cooperation Foundation | Method for self localization using parallel projection model |
WO2014014562A1 (en) * | 2012-07-20 | 2014-01-23 | Google Inc. | Determining three-dimensional (3d) object data models based on object movement |
CN103584930A (zh) * | 2013-10-23 | 2014-02-19 | 华南理工大学 | 一种个性化全膝关节植入假体逆向设计与制造方法 |
CN104408775A (zh) * | 2014-12-19 | 2015-03-11 | 哈尔滨工业大学 | 基于深度感知的三维皮影戏制作方法 |
CN105982722A (zh) * | 2015-02-02 | 2016-10-05 | 北京大璞三维科技有限公司 | 一种数字化骨骼手术修复方法和系统 |
CN107657653A (zh) * | 2016-07-25 | 2018-02-02 | 同方威视技术股份有限公司 | 用于对三维表面的图像进行重建的方法、装置和系统 |
US20190289218A1 (en) * | 2018-03-15 | 2019-09-19 | Taiwan Semiconductor Manufacturing Company, Ltd. | Phase detect auto-focus three dimensional image capture system |
US20190340773A1 (en) * | 2018-08-30 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for a synchronous motion of a human body model |
CN109215121A (zh) * | 2018-10-23 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
CN110660132A (zh) * | 2019-10-11 | 2020-01-07 | 杨再毅 | 一种三维模型构建方法及其装置 |
Non-Patent Citations (2)
Title |
---|
STEIN FEKKES; ABIGAIL E.S. SWILLENS; HENDRIK H.G. HANSEN; ANNE E.C.M. SARIS; MAARTJE M. NILLESEN; FRANCESCO IANNACCONE; PATRICK SE: "2D versus 3D cross-correlation-based radial and circumferential strain imaging in a 3D atherosclerotic carotid artery model using ultrafast plane wave ultrasound", 《2015 IEEE INTERNATIONAL ULTRASONICS SYMPOSIUM (IUS)》, 31 December 2015 (2015-12-31) * |
陈刚;汤晓涛;钱方明;: "星载InSAR立体基线定标方法", 武汉大学学报(信息科学版), no. 01, 5 January 2014 (2014-01-05) * |
Also Published As
Publication number | Publication date |
---|---|
CN111724483B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10258427B2 (en) | Mixed reality imaging apparatus and surgical suite | |
CN109419524B (zh) | 医学成像系统的控制 | |
US5868675A (en) | Interactive system for local intervention inside a nonhumogeneous structure | |
US6690960B2 (en) | Video-based surgical targeting system | |
US11257241B2 (en) | System and method for component positioning by registering a 3D patient model to an intra-operative image | |
JP2022507622A (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
AU2015353523B2 (en) | Computer-assisted cranioplasty | |
JP2019514547A (ja) | 画像に基づいたナビゲーションの方法および装置 | |
US8704827B2 (en) | Cumulative buffering for surface imaging | |
CA2029401A1 (en) | Interactive image-guided surgical system | |
CN108348193A (zh) | 一种用于测量手术中杯前倾角的基于荧光透视的技术 | |
US20210353361A1 (en) | Surgical planning, surgical navigation and imaging system | |
WO2023097066A1 (en) | Image data set alignment for an ar headset using anatomic structures and data fitting | |
JP2024533324A (ja) | 拡張現実ナビゲーションを使用してオブジェクトを位置決めするための外科手術システム及び方法 | |
KR102619994B1 (ko) | 의용 화상 처리 장치, 기억 매체, 의용 장치, 및 치료 시스템 | |
US11020189B2 (en) | System and method for component positioning by registering a 3D patient model to an intra-operative image | |
JP2022532861A (ja) | 患者に切開マーカーを投影するための方法およびシステム | |
JP4319043B2 (ja) | 外科手術の時に骨表面を再構成する方法および装置 | |
CN111724483B (zh) | 一种图像移植方法 | |
WO2022030150A1 (ja) | 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム | |
CN114795464A (zh) | 术中增强现实方法及系统 | |
Chen et al. | Video-guided calibration of an augmented reality mobile C-arm | |
Vannier | Evaluation of 3D imaging | |
DE102010020287B4 (de) | Verfahren, Datenträger mit darauf gespeichertem Computerprogramm und Vorrichtung zur Lagebestimmung eines Untersuchungsobjekts | |
US20210378749A1 (en) | Method and device for monitoring images by means of an x-ray device during a surgical procedure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |