CN220025193U - 一种手术显微镜的图像导航系统 - Google Patents
一种手术显微镜的图像导航系统 Download PDFInfo
- Publication number
- CN220025193U CN220025193U CN202320419902.3U CN202320419902U CN220025193U CN 220025193 U CN220025193 U CN 220025193U CN 202320419902 U CN202320419902 U CN 202320419902U CN 220025193 U CN220025193 U CN 220025193U
- Authority
- CN
- China
- Prior art keywords
- image
- signal processing
- processing device
- media signal
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 78
- 239000003550 marker Substances 0.000 claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000002184 metal Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 abstract description 3
- 210000004262 dental pulp cavity Anatomy 0.000 description 16
- 238000012937 correction Methods 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000007408 cone-beam computed tomography Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 230000002308 calcification Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 210000004268 dentin Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000003074 dental pulp Anatomy 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
本实用新型公开一种手术显微镜的图像导航系统，包括手术显微镜、媒体信号处理装置和标记物，显微镜包括显微镜镜体和增强影像装置，增强影像装置包括分光结构，显微镜视场中影像通过分光结构显示于媒体信号处理装置上，增强影像装置与媒体信号处理装置连接；标记物设在目标患处附近，媒体信号处理装置接收手术对象和标记物三维结构数字图像，并通过图像定位标记物，建立坐标系；在图像上规划手术器械的切入点和路径导向点，生成导航路径，媒体信号处理装置将导航路径数据传输到增强影像装置上将其转化为光学影像，并叠加在显微镜主光路形成叠加影像。本申请可提高手术精度；整体方案简单易操作，可以有效减少术前准备时间，提高手术效率。
Description
技术领域
本实用新型涉及牙科诊疗技术领域，尤其涉及一种手术显微镜的图像导航系统。
背景技术
现代医学在体外诊断、显微治疗、医学影像和微创治疗等领域有了实质性进展，跨种类、多学科整合类型诊疗手段层出不穷。由于医学影像设备的不断发展，医学影像技术的日新月异，医学影像学的CT、MR、介入普放、超声和核医学等亚学科逐步建立，医学影像技术学科也逐步形成。
医学影像信息更加具有敏感性、直观性、特异性和早期型。图像分析由定性向定量发展，由显示诊断信息向提供手术路径方案发展；图像相机与显示由二维模拟向三位全数字化发展；图像存储由胶片硬拷贝向软拷贝无胶片化，乃至图像传输网络化发展；从单一图像技术向综合图像技术发展。
为了适应医学影像学数字化、网络化和融合化，必须建立诊断、技术、工程三个专业融合的观点，单一专业已不能完成现代医学影像学科的功能。
以根管治疗为例，医生需要彻底打开髓腔，找到全部根管并加以处理。人类一般每颗牙齿有1-4个根管，后部的牙齿根管最多。多根管牙常因增龄性变化或修复性牙本质的沉积，或髓石，或髓腔钙化，或根管形态变异等情况，而使根管口不易查找时，需要借助于牙齿的三维立体解剖形态，从各个方向和位置来理解和看牙髓腔的解剖形态；并采用多种角度投照法所拍摄的X线片来了解和指出牙根和根管的数目、形状、位置、方向和弯曲情况；牙根对牙冠的关系；牙根及根管解剖形态的各种可能的变异情况等。由于部分牙齿的根管数量可达四个，还可能存在侧支根管、副根管、根尖分歧和根尖分叉等复杂情况，即便在放大观察下也可能会遗漏；需要估计根管的可能位置，必要时可用小球钻在其根管可能或预期所在的发育沟部位除去少量牙本质，然后使用锐利探针试图刺穿任何钙化区，以指出根管口除去牙颈部的牙本质领圈以暴露根管口的位置，即如果存在根管口钙化等情况，就更需要医生对各可能位置进行反复试探，难免会过多地去除健康牙齿组织。
目前经常采用术前牙片的方式来帮助医生判断和确定目标牙齿的钻入点和钻入深度。首先，医生需要分出部分精力来记忆根冠形态，甚至暂停手术重新观察牙片；其次，人为的观察误差容易导致钻头切入点的偏差，并且钻入路径和深度都是凭借医师经验，无法准确定位。此外，现有的手术导航设备复杂，医生在术前准备时间较长，严重影响手术效率。
因此，结合上述存在的技术问题，有必要进行新的创新。
实用新型内容
本实用新型的目的在于至少解决现有技术中存在的技术问题之一，故提出一种手术显微镜的图像导航系统，用于定位目标患处，标记钻头的切入点以及切入深度，使医生可以精准进行手术。
本实用新型提供一种手术显微镜的图像导航系统，其包括手术显微镜、媒体信号处理装置和标记物，所述手术显微镜包括显微镜镜体和增强影像装置，所述增强影像装置设置在所述显微镜镜体上，所述增强影像装置包括分光结构，所述手术显微镜视场中的影像通过所述分光结构实时显示于所述媒体信号处理装置上，所述增强影像装置与所述媒体信号处理装置通讯连接；
所述标记物设置在目标患处附近，所述媒体信号处理装置接收手术对象和标记物的三维结构数字图像，并通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，获得目标患处和标记物之间的相对位置；
在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，媒体信号处理装置将导航路径数据传输到所述增强影像装置上，所述增强影像装置将所述导航路径数据转化为光学影像，并叠加在所述显微镜镜体的主光路上，在所述手术显微镜视场中形成叠加影像。
进一步的，所述增强影像装置包括投影模块和叠加镜组，所述投影模块与所述媒体信号处理装置通讯连接，所述叠加镜组设置在所述显微镜镜体的主光路上，所述投影模块被配置的接收所述媒体信号处理装置发出的导航路径数据，并将接收到的导航路径数据转化为光学影像，所述叠加镜组将所述投影模块发出的光学影像叠加至所述显微镜镜体的主光路中形成叠加影像，通过所述手术显微镜的双目镜筒能够观察到所述叠加影像。
进一步的，所述媒体信号处理装置包括第一媒体信号处理装置和第二媒体信号处理装置，所述第一媒体信号处理装置与所述第二媒体信号处理装置通讯连接，所述第二媒体信号处理装置通过光学适配器与所述增强影像装置连接，所述第二媒体信号处理装置的相机模块通过所述光学适配器采集所述手术显微镜视场中的影像，并将采集的影像显示于第二媒体信号处理装置，
所述第一媒体信号处理装置接收手术对象和标记物的三维结构数字图像，并通过三维结构数字图像对所述标记物进行定位，建立三维空间坐标系，
通过所述第一媒体信号处理装置在所述三维结构数字图像上规划手术器械的切入点和路径导向点，生成导航路径，之后将导航路径数据传输到所述第二媒体信号处理装置，所述第二媒体信号处理装置将导航路径数据传输到所述增强影像装置上。
进一步的，所述标记物包括基体和设置在所述基体上的定位件，所述定位件至少为三个，所述基体上设置有标定图案。
进一步的，所述定位件为金属球。
进一步的，所述标定图案为Aruco图案。
进一步的，所述定位件包括第一定位件、第二定位件和第三定位件，至少两个定位件大小不一致，三个定位件不在一条直线上。
进一步的，三个定位件的一端形成的第一平面与三个定位件的另一端形成的第二平面相交。
进一步的，体积较大的所述第一定位件和所述第二定位件位于所述标定图案的一侧，所述第三定位件位于所述标定图案的另一侧。
进一步的，所述第二定位件与所述第三定位件之间的距离为所述第二定位件与所述第一定位件之间距离的2-8倍。
与现有技术相比，本申请的手术显微镜的图像导航系统至少具有如下一个或多个有益效果：
本申请的手术显微镜的图像导航系统，其可以精确定位手术器械的切入点以及切入路径，引导医师或相关操作者完成牙科诊疗手术，提高手术精度；同时整体方案简单易操作，可以有效减少术前准备时间，提高手术效率；现有的手术显微镜导航系统一般需要使用专门的导航仪，但专门的导航仪体积较大，容易遮挡住手术显微镜的视野，而本申请则无需配置专门的导航仪，成本低，效率高，使用方便，器械少，手术规划诊断时间缩短；
其对标记物进行设计，可以提高导航的精确度，降低整个系统的复杂度；
其可采用双光路叠加设计，保证操作者通过双目镜筒观察时，双眼均可观察到叠加影像，可以使得操作者观察影像时更加的舒适和方便；优选使用DMD投影模块代替传统的OLED屏投影，由于照明原理上的差异，DMD投影模块的亮度可以达到OLED屏的上百倍，从而可以有效解决OLED屏在屏幕高亮时对比度较差的问题。
附图说明
图1为本申请实施例提供的图像导航方法的流程图；
图2为本申请实施例提供的标记物的结构示意图；
图3为本申请实施例提供的标记物的安装位置图；
图4至图6分别为本申请实施例提供的对三个定位件进行定位时的软件界面截图；
图7为本申请实施例提供的对切入点进行规划时的软件界面截图；
图8为本申请实施例提供的对路径导向点进行规划时的软件界面截图；
图9为本申请实施例提供的在第二媒体信号处理装置中模拟显示的导航路径示意图；
图10为本申请实施例提供的两个媒体信号处理装置的设置位置示意图；
图11为本申请实施例提供的第二媒体信号处理装置在手术显微镜上的设置位置示意图；
图12为本申请实施例提供的在校准标记物时的软件界面截图；
图13为本申请实施例提供的手术中三个定位件和切入点的图像处理光点示意图；
图14为本申请实施例提供的侧向粘合标记物时CBCT叠加影像示意图；
图15为本申请实施例提供的增强影像装置在显微镜镜体上的设置位置；
图16为本申请实施例提供的增强影像装置的剖视结构示意图；
图17为本申请实施例提供的增强影像装置内部光束的走向示意图；
图18为本申请实施例提供的第一叠加镜组对光束进行叠加和分光时光束的走向示意图；
图19为本申请实施例提供的增强影像装置的立体结构示意图；
图20为本申请实施例提供的增强影像装置的俯视结构示意图；
图21为本申请实施例提供的增强影像装置的后视结构示意图；
图22为本申请实施例提供的操作者在手术中的操作状态示意图。
其中，1-手术显微镜，11-显微镜镜体，12-增强影像装置，121-投影模块，1211-DMD镜面，1212-滤光镜片，1213-棱镜组，1214-投影矫正镜片，122-第一镜组，1221-第一透镜组，12211-第一透镜，12212-第二透镜，1222-第二透镜组，123-第一反射镜组，124-第二镜组，1241-第三透镜组，12411-第四透镜，12412-第五透镜，125-分光镜组，126-第二反射镜组，127-第一叠加镜组，128-第二叠加镜组，129-外壳，1291-壳体，1292-背板，1293-电源插口，1294-电源开关，1295-连接接口，12951-TYPE-C接口，12952-HDMI接口，1296-分光接口，1297-镜筒接口，130-光阑，131-光阑调节装置，132-镜片座，13-双目镜筒，2-标记物，21-基体，211-底座，212-图案板，22-定位件，23-标定图案，3-第一媒体信号处理装置，4-第二媒体信号处理装置，5-光学适配器，6-支架，7-导航路径图像，8-目标患处，9-手术器械。
具体实施方式
为更进一步阐述本实用新型为达成预定实用新型目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本实用新型的具体实施方式、结构、特征及其功效，详细说明如下。
实施例
本实施例提供一种手术显微镜的图像导航方法，如图1所示，其主要包括如下步骤：
S1：将手术对象与标记物2进行固定设置，对手术对象和标记物2进行辐射成像，获得三维结构数字图像。在手术前，先将所述标记物2设置在目标患处8附近。所述标记物2包括基体21和设置在所述基体21上的定位件22，所述定位件22至少为三个，且所述基体21上设置有标定图案23。所述定位件22优选包括第一定位件、第二定位件和第三定位件，至少两个定位件22大小不一致，且三个定位件22不在一条直线上。三个定位件22的一端形成的第一平面与三个定位件22的另一端形成的第二平面相交。体积较大的所述第一定位件和所述第二定位件位于所述标定图案23的一侧，所述第三定位件位于所述标定图案23的另一侧。所述第二定位件与所述第三定位件之间的距离为所述第二定位件与所述第一定位件之间距离的2-8倍。所述第一定位件和所述第二定位件之间的距离范围为2mm-8mm，所述第一定位件和所述第三定位件之间的距离范围为8mm-33mm，所述第二定位件和所述第三定位件之间的距离范围为8mm-35mm。所述第一定位件的直径大小范围为1mm-8mm，所述第二定位件的直径大小范围为1mm-6mm，所述第三定位件的直径大小范围为1mm-6mm。这样可以提高导航的精确度，降低整个系统的复杂度。所述定位件22优选为金属球，进而在进行辐射成像时使得三维结构数字图像中包含三个定位件22的图像信息。以牙科手术为例，手术前先将所述标记物2固定在目标患处8，也即目标牙齿附近。所述标记物2比如可以采用如图2所示的结构设计，其由基体21和三个金属球状的定位件22构成，其中一个金属球较大，另外两个金属球较小且大小一致。所述基体21由底座211和图案板212构成，所述标定图案23设置在所述图案板212上，所述底座211的一侧设置有固定凹槽，而另一侧设置有容置槽，所述图案板212固定设置在所述容置槽内。所述图案板212与所述底座211之间可以采用螺栓等紧固件固定连接，也可以采用胶水粘合等其他方式进行固定连接。当然，所述图案板212也可以是与所述底座211一体成型，也即所述基体21的一侧设置固定凹槽，另一侧设置标定图案23。在使用时，所述基体21通过所述固定凹槽安装在患者的牙齿上，并用特殊胶水进行粘接固定。三个定位件22固定设置在所述标定图案23的周围，比如图2中所示的，设置在所述图案板212的两侧。所述定位件22的固定方式，比如可以是图2中所示的，在所述底座211上设定位置设置圆形凹槽，然后将定位件22通过胶粘等方式固定在对应的圆形凹槽内。之后通过给患处和标记板进行CBCT断层扫描，获得牙齿硬组织、根管形态和标记板里金属球等的三维结构数字图像。需要说明的是，以上仅是优选方案，在具体实施时，所述定位件22的形状、大小、设置位置以及固定方式均不作限定，均可根据设计需要进行灵活设计。此外，所述标记物2的固定位置也不做限制，但需要保证在进行比如CBCT等辐射成像时，既不产生伪影，定位件22又能有足够的特征；同时，还要保证出现在显微镜视场中，不会遮挡目标牙齿以及其他重要信息，且能清晰显示出标记物2上标定图案23的细节信息，也即能显示出合适尺寸的标定图案23，如图3所示。所述标定图案23优选为Aruco图案，如图2所示，该类型图案内部的二进制编码使得算法非常健壮，允许应用错误检测和校正技术的可能性，可以实现将特定的标记物2转换成三维的坐标。当然，所述标定图案23不限于Aruco图案这一种，也可以为其他图案，并且不限于平面图案，也可以为立体图案。在图案数量的选择上，要确保在横向和纵向上数量比例接近1:1，在能够保证清晰识别细节的前提下，无论是在校准还是导航期间都能够随着数量的增加提高精度。
S2：通过三维结构数字图像对所述标记物2进行定位，建立三维空间坐标系，获得目标患处8和标记物2之间的相对位置。此步骤中，可以通过第一媒体信号处理装置3比如计算机，接收手术对象和标记物2的三维结构数字图像数据，并打开所述三维结构数字图像，然后依次对三个定位件22进行定位，建立三维空间坐标系。同一定位件22必须同时选中三个方向上的中心位置进行定位以减小误差。所述计算机内置软件，通过该软件可以将三维结构数字图像以三视图的方式展示在计算机屏幕上，操作者操作计算机在三视图上同时选定某个点即可确定该点的三维坐标。比如图4至图6所示，通过软件同时选定每个定位件22在三个方向上的中心位置即可确定三个定位件22之间的相对空间坐标，进而建立三维空间坐标系，从而获得目标患处8各处以及标记物2各处在所述三维空间坐标系中的位置坐标。
S3：在所述三维结构数字图像上规划手术器械9的切入点和路径导向点，生成导航路径，并将导航路径数据传输至第二媒体信号处理装置4，所述第二媒体信号装置比如是手机或平板等移动终端，且与步骤S2中的计算机之间通讯连接。所述手术器械9比如为根管治疗中所使用的钻头等。此步骤中，切入点和路径导向点的规划方式同步骤S2，操作者根据手术需求通过软件在三个方向上选定切入点和路径导向点，如图7和图8所示，从而分别确定两点的三维坐标，然后软件根据两点的三维坐标生成导航路径，即以所述切入点为起点，经过所述路径导向点的一条直线，如图9所示。其中，图9中示意性展示了多条导航路径。此外，需要说明的是，所述第一媒体信号处理装置3和所述第二媒体信号处理装置4也可以为同一个设备，比如为同一个移动终端，而步骤S2和步骤S3中对定位件22进行定位以及规划切入点和路径导向点则可以通过直接在移动终端上内置相应软件来实现。
S4：将目标患处8和标记物2置于手术显微镜1的视场内，并将手术显微镜1视场内的影像传输至所述第二媒体信号处理装置4，即移动终端。所述移动终端通过光学适配器5与增强影像装置12连接，如图10和图11所示，图中所述展示的是所述移动终端为手机。所述光学适配器5具体原理可参看之前申请的申请号为201720275596.5的专利文献，所述增强影像装置12的具体原理可参看之前申请的申请号为202121362228.7的专利文献。所述光学适配器5连接在所述增强影像装置12的分光接口1296上，所述移动终端通过支架6与所述光学适配器5固定连接。所述手术显微镜1视场内的影像经所述增强影像装置12里的分光结构即分光镜组分光后射入所述光学适配器5内，然后被所述移动终端的相机模块所采集。然后所述移动终端可将采集到的影像显示在其屏幕上，从而实时显示所述手术显微镜1视场内的影像。所述手术显微镜1视场内的影像包括目标患处8的影像以及标记物2的影像。
S5：所述第二媒体信号处理装置4识别所述标记物2，生成与所述手术显微镜1视场内影像相匹配的三维空间。此步骤前，所述第二媒体信号处理装置4需要对所述标记物2进行校准，消除所述第二媒体信号处理装置4所接收的影像与现实影像之间的误差，即消除真实物体到手术显微镜1，手术显微镜1到手机的误差，提高三维物体空间位置精度。对所述标记物2进行校准包括如下步骤：T1：所述第二媒体信号处理装置4通过相机模块拍摄多张手术显微镜1视场内的影像图片，如图12所示；T2：在图片中检测特征点，并根据特征点位置信息以及图像中的坐标，求解单应矩阵；T3：利用解析解估算法计算出内部参数以及外部参数；T4：根据极大似然估计策略设计优化目标并实现参数优化，得到高精度参数。在对所述标记物2校准完后，所述第二媒体信号处理装置4实时跟踪所述标记物2上的标定图案23从而确定所述标记物2的位姿。以Aruco图案为例，所述第二媒体信号处理装置4提取Aruco图案信息中的aruco码的id信息，并基于aruco码的id信息建立世界坐标系，根据角点坐标中的图像角点与世界坐标系中世界角点的对应关系，判断所述手术显微镜1视场中所述标记物2的位姿，从而生成相匹配的三维空间。
S6：根据所述三维空间将对应坐标的导航路径图像7通过增强影像装置12与手术显微镜1视场中的影像进行叠加，实现实时导航。生成与所述手术显微镜1视场内影像相匹配的三维空间后，根据步骤S2中获得的目标患处8各处以及标记物2各处在所述三维空间坐标系中的位置坐标，即可确定目标患处8在所述三维空间内的相对位置，并加载对应坐标的导航路径图像7。之后所述第二媒体信号处理装置4将所述导航路径图像7与所述手术显微镜1视场中的现实影像融合，比如利用AR kit开发库，实现世界坐标系、屏幕坐标系与三维空间坐标系的配准，然后将三维空间内对应坐标导航路径图像7的数据发送至增强影像装置12的显示装置等投影模块121。所述投影模块121将导航路径数据转化为光学影像，并通过叠加镜组叠加在所述手术显微镜1的视场中形成叠加影像，从而实现实时导航。操作者可根据导航路径控制手术器械9的运动行径从而精确的对目标患处8进行医治。在手术显微镜1的视场中，三个定位件22以及切入点处均优选通过光点高亮显示，如图13所示，可更便于操作者观察。
另外，叠加在所述手术显微镜1视场中的影像并不限于导航路径图像7，也可以是辐射成像所获得的三维结构数字图像，比如图14中所示的，将所述标记物2侧向粘合在牙齿上，所述第二媒体信号处理装置4识别所述标记物2的位姿并将对应匹配的CBCT三维结构数字图像数据传输至所述投影模块121，最后叠加至手术显微镜1的视场中，操作者则在CBCT叠加影像的支持下可完成牙体牙髓的精确定位，完成切割手术。
本实施例还提供一种用于上述图像导航方法的图像导航系统，系统包括手术显微镜1、媒体信号处理装置和标记物2。所述手术显微镜1包括显微镜镜体11和增强影像装置12，所述增强影像装置12设置在所述显微镜镜体11上，如图10、图11和图15所示。所述增强影像装置12包括外壳129和设置在所述外壳129内的投影模块121和分光结构，所述分光结构即分光镜组，所述增强影像装置12设置在所述显微镜镜体11上时，所述分光镜组位于所述显微镜镜体11的主光路上。所述外壳129上设置有分光接口1296，所述手术显微镜1视场内的影像经所述增强影像装置12里的分光镜组分光后一部分射向双目镜筒13，而另一部分则从所述分光接口1296处射出。所述分光镜组用于分光的同时，还作为叠加镜组，将射入的影像进行叠加。所述投影模块121发出的光束经光路整形后射入叠加镜组与显微镜镜体11的主光路进行叠加，从而形成叠加影像。所述增强影像装置12的具体原理可参看之前申请的申请号为202121362228.7的专利文献。需要说明的是，该专利文献中公开的仅是在单一光路叠加影像，而本实施例中的增强影像装置12也可以是将两个分光镜组均作为叠加镜组，比如图16中所示的，在光路中再设置一个分光镜组和一个反射镜组，从而将所述投影模块121发出的光束分成两部分分别叠加在显微镜镜体11的两个光路上。从而在使用双目镜筒13观察时，两个眼睛均可观察到叠加影像。另外，增强影像装置12的分光接口1296优选与用于叠加影像的分光镜组对应设置，从而使得从所述分光接口1296射出的影像为叠加影像。接下来结合图15至图22对该双光路叠加的增强影像装置12进行阐述说明，具体如下：
所述增强影像装置12包括投影模块121、第一镜组122、第一反射镜组123、第二镜组124、分光镜组125、第二反射镜组126、第一叠加镜组127和第二叠加镜组128，如图16所示。所述投影模块121、第一镜组122、第一反射镜组123、第二镜组124、分光镜组125、第二反射镜组126、第一叠加镜组127和第二叠加镜组128均设于外壳129内。进一步的，所述第一镜组122、所述第一反射镜组123、所述第二镜组124、所述分光镜组125和所述第二反射镜组126分别通过镜片座132安装在所述外壳129内。所述第一反射镜组123和所述第二反射镜组126均优选为直角棱镜。所述分光镜组125、所述第一叠加镜组127和所述第二叠加镜组128均优选为分光棱镜。
所述投影模块121、所述第一镜组122和所述第一反射镜组123依次设于同一光路。所述第一反射镜组123和所述第二镜组124设于所述分光镜组125的入射光路。所述第二反射镜组126设于所述分光镜组125的第一出射光路，所述第一叠加镜组127与所述第二反射镜组126设于同一光路。所述第二叠加镜组128设于所述分光镜组125的第二出射光路。当增强影像装置12设置在所述显微镜镜体21上时，如图15所示，所述第一叠加镜组127位于所述显微镜镜体21的第一主光路上，所述第二叠加镜组128位于所述显微镜镜体21的第二主光路上。如图17所示，所述投影模块121发出的光束穿过所述第一镜组122后，经所述第一反射镜组123反射转动九十度，然后穿过所述第二镜组124后射入至所述分光镜组125。所述分光镜组125将一部分光束分光至所述第二反射镜组126，所述第二反射镜组126该部分光束反射转动九十度后至所述第一叠加镜组127与所述显微镜镜体21的第一主光路叠加形成复合的光学图像，所述分光镜组125将另一部分光束分光至所述第二叠加镜组128与所述显微镜镜体21的第二主光路叠加形成复合的光学图像。之后操作者通过手术显微镜2的双目镜筒22便可以双眼都观察到叠加有所述投影模块121所投射内容的叠加图像。
在所述第一反射镜组123和所述第二镜组124之间还可设置光阑19，从而切断或导通光路，进而实现根据需要实现叠加影像的显示和关闭。具体的，如图16所示，在所述外壳129内设置一个光阑调节装置131，通过调节所述光阑调节装置131能够驱动所述光阑19在遮蔽位置和打开位置间移动，其中，在所述光阑19位于遮蔽位置时，所述光阑19与所述第一反射镜组123和所述第二镜组124位于同一光路，所述光阑19遮蔽穿过所述第一反射镜组123后射入所述第二镜组124的光束。所述光阑19的调节方式可以为水平切入，也可以是旋转切入，无论是哪种调节方式，只要是能够实现光阑19切入和切出光路的方式均在本申请的保护范围之内。
所述投影模块121优选为DMD投影模块，其包括DMD镜面1211、滤光镜片1212、棱镜组1213和投影矫正镜片1214，如图16和图17所示。所述DMD投影模块亮度是由多个不同颜色的LED光源提供的，再由DMD镜面1211反射到投影镜头组，依次穿过所述滤光镜片1212、所述棱镜组1213和所述投影矫正镜片1214后射入所述第一镜组122，经过光路整形后形成投影图案。DMD投影方案由于照明原理上的差异，亮度可以达到OLED屏的上百倍。
所述第一镜组122包括第一透镜组1221和第二透镜组1222，所述第二镜组124包括第三透镜组1241，如图17所示。所述第一透镜组1221为具有负光焦度的双胶合透镜组，包括第一透镜12211和第二透镜12212，所述第二透镜组1222为具有正光焦度的第三透镜。所述第一透镜12211位于所述第二透镜12212朝向所述投影矫正镜片1214的一侧，所述第三透镜位于所述第二透镜12212背离所述第一透镜12211的一侧。所述第三透镜组1241为具有正光焦度的双胶合透镜组，包括第四透镜12411和第五透镜12412，所述第四透镜12411位于所述第五透镜12412朝向所述第一反射镜组123的一侧。更进一步的，所述第一镜组122和第二镜组124符合以下公式：
25＜(fG2+fG3)/(fG3-fG2)＜35，fG2为第二透镜组1222焦距，fG3为第三透镜组1241焦距；
为第三透镜组1241有效孔径，TL4为第四透镜12411的厚度，TL5为第五透镜12412的厚度；
2.5＜TL2/TL1＜3.5，TL1为第一透镜12211的厚度，TL2为第二透镜12212的厚度。
比如下表所示：
| 面编号 | 半径 | 厚度 | Nd | Vd | 半孔径 |
| 1 | ∞ | 1.35 | 4.8 | ||
| 2 | ∞ | 1.1 | 1.52 | 64.2 | 2.5 |
| 3 | ∞ | 0.4 | 2.5 | ||
| 4 | ∞ | 10 | 1.52 | 64.2 | 3 |
| 5 | ∞ | 1.3 | 9 | ||
| 6 | ∞ | 1.6 | 1.52 | 58.6 | 8 |
| 7 | ∞ | 7.9 | 8 | ||
| 8 | -6.979 | 1 | 1.58 | 41.5 | 5.5 |
| 9 | 50.785 | 3 | 1.61 | 60.6 | 5.5 |
| 10 | -10.107 | 0.3 | 5.5 | ||
| 11 | 29.929 | 1.8 | 1.62 | 57 | 5.5 |
| 12 | -137.902 | 2.9 | 6 | ||
| 13 | ∞ | 13 | 1.52 | 64.2 | 6 |
| 14 | ∞ | 11.26 | 6.5 | ||
| 15 | 108.929 | 2.5 | 1.72 | 43.7 | 6.5 |
| 16 | -17.846 | 1 | 1.58 | 59.5 | 6.5 |
| 17 | -60.563 | 6.5 |
其中，半径为镜面曲率半径；厚度为镜面沿光路到下一镜面在中心位置处的距离；Nd为d光(波长589.3nm)在光学玻璃中的折射率；Vd为阿贝数；半孔径为镜面有效孔径的一半。结合图17对上表中的部分参数进行解释说明：
面1即DMD镜面1211，厚度即该面与滤光镜片1212的上镜面在中心位置处的距离；
面2即滤光镜片1212的上镜面，厚度即该面与滤光镜片1212的下镜面在中心位置处的距离；
面3即滤光镜片1212的下镜面，厚度即该面与棱镜组合103的上镜面在中心位置处的距离；
面4即棱镜组合103的上镜面，厚度即该面与棱镜组合103的下镜面在中心位置处的距离；
面5即棱镜组合103的下镜面，厚度即该面与投影矫正镜片1214的上镜面在中心位置处的距离；
面6即投影矫正镜片1214的上镜面，厚度该面与投影矫正镜片1214的下镜面在中心位置处的距离；
面7即投影矫正镜片1214的下镜面，厚度即该面与第一透镜组1221的上镜面在中心位置处的距离；
面8即第一透镜组1221的上镜面，厚度即该面与第一透镜12211和第二透镜12212之间的胶合面在中心位置处的距离；
面9即第一透镜12211和第二透镜12212之间的胶合面，厚度即该面与第一透镜组1221的下镜面在中心位置处的距离；
面10即第一透镜组1221的下镜面，厚度即该面与第二透镜组1222的上镜面在中心位置处的距离；
面11即第二透镜组1222的上镜面，厚度即该面与第二透镜组1222的下镜面在中心位置处的距离；
面12即第二透镜组1222的下镜面，厚度即该面与第一反射镜组123的上镜面在中心位置处的距离；
面13即第一反射镜组123的上镜面，厚度即该面与第一反射镜组123的反射面以及第一反射镜组123的反射面与第一反射镜组123的右镜面各自在中心位置处的距离；
面14即第一反射镜组123的右镜面，厚度即该面与第三透镜组1241的左镜面在中心位置处的距离；
面15即第三透镜组1241的左镜面，厚度即该面与第四透镜12411和第五透镜12412之间的胶合面在中心位置处的距离；
面16即第四透镜12411和第五透镜12412之间的胶合面，厚度即该面与第三透镜组1241的右镜面在中心位置处的距离；
面17即第三透镜组1241的右镜面。
在进一步的实施例中，所述外壳129的一侧设有与所述第一叠加镜组127或所述第二叠加镜组128相匹配的分光接口1296。比如设置在所述第一叠加镜组127的分光侧，可以将手术显微镜2内与所述显微镜镜体21的第一主光路叠加所形成的叠加图像的部分光束从所述分光接口1296内射出，如图18所示，图中所示的左侧光束为所述投影模块121射入的光束，下侧光束为所述显微镜镜体21第一主光路的入射光束，上侧光束则为由第一叠加镜组127分光射向双目镜筒22的一部分叠加影像光束，右侧则为由第一叠加镜组127分光射向分光接口1296的另一部分叠加影像光束。通过在所述分光接口1296接上手机或平板等带有相机模块的移动终端，则可以对手术显微镜2视场内的影像进行采集和记录。
所述外壳129优选包括壳体1291和背板1292，在所述背板1292上设置电源插口1293、电源开关1294和连接接口1295等元器件，如图19至图21所示。所述电源插口1293、所述电源开关1294和所述连接接口1295分别与所述投影模块121电连接，所述电源插口1293用于给所述投影模块121供电，所述电源开关1294用于控制所述投影模块121的开启和关闭。所述连接接口1295比如可以是TYPE-C接口12951，可以用于给手机或平板等移动终端又或其他数码设备充电；所述连接接口1295比如还可以是HDMI接口12952，可以用于给所述投影模块121输入数据信息。
所述媒体信号处理装置优选包括第一媒体信号处理装置3和第二媒体信号处理装置4，所述第一媒体信号处理装置3和第二媒体信号处理装置4之间通讯连接。所述第一媒体处理装置优选为计算机，所述第二媒体信号处理装置4优选为手机或平板等移动终端。所述投影模块121与所述第二媒体信号处理装置4通讯连接。所述标记物2设置在目标患处8附近，使得所述手术显微镜1视场内的影像包括目标患处8的影像以及标记物2的影像。所述第二媒体信号处理装置4优选通过光学适配器5与所述增强影像装置12连接。所述光学适配器5具体原理可参看之前申请的申请号为201720275596.5的专利文献，所述光学适配器5连接在所述增强影像装置12的分光接口1296上。所述手术显微镜1视场内的影像经所述增强影像装置12里的分光结构即分光棱镜分光后经所述分光接口1296射入所述光学适配器5内，然后被所述第二媒体信号处理装置4的相机模块所采集。然后所述第二媒体信号处理装置4可将采集到的影像显示在其屏幕上，从而实时显示所述手术显微镜1视场内的影像。
所述第一媒体信号处理装置3接收手术对象和标记物2的三维结构数字图像，并通过三维结构数字图像对所述标记物2进行定位，建立三维空间坐标系，获得目标患处8和标记物2之间的相对位置。操作者通过所述第一媒体处理装置在所述三维结构数字图像上规划手术器械9的切入点和路径导向点，生成导航路径，之后将导航路径数据传输到所述第二媒体信号处理装置4。所述第二媒体信号处理装置4识别所述标记物2的位姿将匹配的导航路径数据传输到所述增强影像装置12的投影模块121，其具体原理已在上述方法中进行了详尽说明，故在此不再赘述。所述投影模块121将接收到的导航路径数据转化为光学影像，之后通过所述叠加镜组将所述投影模块121发出的光学影像叠加至所述显微镜镜体11的主光路中形成叠加影像，从而实现实时导航。
而所述双目镜筒13设置在所述显微镜镜体11上，优选设置在所述增强影像装置12上，也即所述双目镜筒13优选通过所述增强影像装置12设置在所述显微镜镜体11上，比如图19所示的，在所述增强影像装置12的出射孔处设置用于固定所述双目镜筒13的镜筒接口1297。在所述媒体信号处理装置给所述投影模块121输送信息数据后，所述投影模块121将接收到的信息数据转化为光学影像，并通过所述第一叠加镜组127和所述第二叠加镜组128分别叠加至所述显微镜镜体11的第一主光路和所述显微镜镜体11的第二主光路中形成叠加影像，之后操作者通过所述双目镜筒13即可双眼都能观察到叠加有所述投影模块121所投射内容的叠加图像，如图22所示。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。
Claims (10)
1.一种手术显微镜的图像导航系统，其特征在于，其包括手术显微镜(1)、媒体信号处理装置和标记物(2)，所述手术显微镜(1)包括显微镜镜体(11)和增强影像装置(12)，所述增强影像装置(12)设置在所述显微镜镜体(11)上，所述增强影像装置(12)包括分光结构，所述手术显微镜(1)视场中的影像通过所述分光结构实时显示于所述媒体信号处理装置上，所述增强影像装置(12)与所述媒体信号处理装置通讯连接；
所述标记物(2)设置在目标患处(8)附近，所述媒体信号处理装置接收手术对象和标记物(2)的三维结构数字图像，并通过三维结构数字图像对所述标记物(2)进行定位，建立三维空间坐标系，获得目标患处(8)和标记物(2)之间的相对位置；
在所述三维结构数字图像上规划手术器械(9)的切入点和路径导向点，生成导航路径，媒体信号处理装置将导航路径数据传输到所述增强影像装置(12)上，所述增强影像装置(12)将所述导航路径数据转化为光学影像，并叠加在所述显微镜镜体(11)的主光路上，在所述手术显微镜(1)视场中形成叠加影像。
2.根据权利要求1所述的手术显微镜的图像导航系统，其特征在于，所述增强影像装置(12)包括投影模块(121)和叠加镜组，所述投影模块(121)与所述媒体信号处理装置通讯连接，所述叠加镜组设置在所述显微镜镜体(11)的主光路上，所述投影模块(121)被配置的接收所述媒体信号处理装置发出的导航路径数据，并将接收到的导航路径数据转化为光学影像，所述叠加镜组将所述投影模块(121)发出的光学影像叠加至所述显微镜镜体(11)的主光路中形成叠加影像，通过所述手术显微镜(1)的双目镜筒(13)能够观察到所述叠加影像。
3.根据权利要求1所述的手术显微镜的图像导航系统，其特征在于，所述媒体信号处理装置包括第一媒体信号处理装置(3)和第二媒体信号处理装置(4)，所述第一媒体信号处理装置(3)与所述第二媒体信号处理装置(4)通讯连接，所述第二媒体信号处理装置(4)通过光学适配器(5)与所述增强影像装置(12)连接，所述第二媒体信号处理装置(4)的相机模块通过所述光学适配器(5)采集所述手术显微镜(1)视场中的影像，并将采集的影像显示于第二媒体信号处理装置(4)，
所述第一媒体信号处理装置(3)接收手术对象和标记物(2)的三维结构数字图像，并通过三维结构数字图像对所述标记物(2)进行定位，建立三维空间坐标系，
通过所述第一媒体信号处理装置(3)在所述三维结构数字图像上规划手术器械(9)的切入点和路径导向点，生成导航路径，之后将导航路径数据传输到所述第二媒体信号处理装置(4)，所述第二媒体信号处理装置(4)将导航路径数据传输到所述增强影像装置(12)上。
4.根据权利要求1所述的手术显微镜的图像导航系统，其特征在于，所述标记物(2)包括基体(21)和设置在所述基体(21)上的定位件(22)，所述定位件(22)至少为三个，所述基体(21)上设置有标定图案(23)。
5.根据权利要求4所述的手术显微镜的图像导航系统，其特征在于，所述定位件(22)为金属球。
6.根据权利要求4所述的手术显微镜的图像导航系统，其特征在于，所述标定图案(23)为Aruco图案。
7.根据权利要求4所述的手术显微镜的图像导航系统，其特征在于，所述定位件(22)包括第一定位件、第二定位件和第三定位件，至少两个定位件(22)大小不一致，三个定位件(22)不在一条直线上。
8.根据权利要求7所述的手术显微镜的图像导航系统，其特征在于，三个定位件(22)的一端形成的第一平面与三个定位件(22)的另一端形成的第二平面相交。
9.根据权利要求7所述的手术显微镜的图像导航系统，其特征在于，体积较大的所述第一定位件和所述第二定位件位于所述标定图案(23)的一侧，所述第三定位件位于所述标定图案(23)的另一侧。
10.根据权利要求7所述的手术显微镜的图像导航系统，其特征在于，所述第二定位件与所述第三定位件之间的距离为所述第二定位件与所述第一定位件之间距离的2-8倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202320419902.3U CN220025193U (zh) | 2023-03-08 | 2023-03-08 | 一种手术显微镜的图像导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202320419902.3U CN220025193U (zh) | 2023-03-08 | 2023-03-08 | 一种手术显微镜的图像导航系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN220025193U true CN220025193U (zh) | 2023-11-17 |
Family
ID=88733243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202320419902.3U Active CN220025193U (zh) | 2023-03-08 | 2023-03-08 | 一种手术显微镜的图像导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN220025193U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024183754A1 (zh) * | 2023-03-08 | 2024-09-12 | 苏州速迈医学科技股份有限公司 | 一种手术显微镜的图像导航方法及系统 |
-
2023
- 2023-03-08 CN CN202320419902.3U patent/CN220025193U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024183754A1 (zh) * | 2023-03-08 | 2024-09-12 | 苏州速迈医学科技股份有限公司 | 一种手术显微镜的图像导航方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140221819A1 (en) | Apparatus, system and method for surgical navigation | |
| Birkfellner et al. | A head-mounted operating binocular for augmented reality visualization in medicine-design and initial evaluation | |
| CN107374729B (zh) | 基于ar技术的手术导航系统及方法 | |
| CN108742898B (zh) | 基于混合现实的口腔种植导航系统 | |
| US7912532B2 (en) | Method and instrument for surgical navigation | |
| US7203277B2 (en) | Visualization device and method for combined patient and object image data | |
| US7050845B2 (en) | Projecting patient image data from radioscopic imaging methods and/or tomographic imaging methods onto video images | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| CN101904770B (zh) | 一种基于光学增强现实技术的手术导航系统及方法 | |
| Fortin et al. | Computer-assisted dental implant surgery using computed tomography | |
| US20140030669A1 (en) | Surgical Instrument Having Integrated Navigation Control | |
| US10624540B2 (en) | Method and instrument for surgical navigation | |
| CN111297501B (zh) | 一种口腔种植手术增强现实导航方法和系统 | |
| CN220025193U (zh) | 一种手术显微镜的图像导航系统 | |
| TWI697317B (zh) | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 | |
| WO2022170927A1 (zh) | 一种手术显微镜诊疗系统 | |
| CN111035458A (zh) | 一种手术综合视景智能辅助系统及图像处理方法 | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| CN114943802A (zh) | 一种基于深度学习与增强现实的知识引导外科手术交互方法 | |
| CN218567725U (zh) | 一种增强影像系统 | |
| CN216145020U (zh) | 一种增强影像系统 | |
| CN118615018A (zh) | 一种手术显微镜的图像导航方法及系统 | |
| CN215219313U (zh) | 一种手术显微镜 | |
| WO2022170928A1 (zh) | 一种牙科显微诊疗系统 | |
| CN216090895U (zh) | 一种手术显微镜诊疗系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |