CN114302130B - 一种智能显微手术成像装置控制方法及系统 - Google Patents
一种智能显微手术成像装置控制方法及系统 Download PDFInfo
- Publication number
- CN114302130B CN114302130B CN202111472764.7A CN202111472764A CN114302130B CN 114302130 B CN114302130 B CN 114302130B CN 202111472764 A CN202111472764 A CN 202111472764A CN 114302130 B CN114302130 B CN 114302130B
- Authority
- CN
- China
- Prior art keywords
- unit
- imaging
- video
- imaging module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种智能显微手术成像装置控制方法及系统，包括智能支架单元、成像单元、3D显示单元、视频分配单元、中央控制单元、人眼跟踪单元，所述成像单元包括光学成像模块和3D数字成像模块，所述3D显示单元包括偏光3D显示器和裸眼3D显示器，通过对主刀医生的人眼跟踪，确定主刀医生目标点，通过根据医生的观看角度，术野点自动调节装置镜头角度及术野中心点，实现装置的自动控制，本发明能够使得医生实现抬头做手术的自由姿势，兼顾主刀与助手对手术的观察。
Description
技术领域
本发明涉及一种手术成像装置控制方法及系统，属于医疗器械控制技术领域。
背景技术
传统手术显微镜在使用过程中存在较多的缺陷。1.传统显微镜缺乏数字成像设备，数字化水平日益不能满足外科医生的显示需求。2，需要医生目视目镜尽量保持不动，某些部位的手术，导致医生以非常刁钻姿势执行手术操作，极易造成视觉和身体的疲劳。近年来，有种叫作显微外视镜的显微成像产品相继面世，但仍然无法完全规避以上问题，其表现在仅采用一台偏光式3D显示器对进行术野显示，助手医生或者对手医生需要调整各自的观看角度及坐姿，造成手术过程的诸多不便。术者通过对成像镜头的手动调整实现对术区观看角度调整，手术过程中需要反复手动调节观看角度，极大的影响了手术的进程。无法根据观察者自动调整实现特殊观看需求的过程。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种满足多人教学观看同时能够自动控制的智能显微手术成像装置控制方法及系统。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种智能显微手术成像装置控制方法，包括人眼跟踪控制方法，所述人眼跟踪控制方法包括以下步骤：
步骤b1，通过人眼跟踪单元对观察者进行人眼定位，获得人眼的三维坐标E(xe，ye，ze)及人眼视线方向
其中，人眼跟踪单元的坐标原点为屏幕上边缘中点，人眼跟踪单元z轴方向与屏幕法向相同，屏幕法向为
xe表示人眼世界三维坐标系的x坐标，ye表示人眼世界三维坐标系的y坐标，ze表示表示人眼世界三维坐标系的z坐标，m表示人眼视线方向向量的x分量，n表示人眼视线方向向量的y分量，p表示人眼视线方向向量的z分量；
步骤B2，根据人眼坐标E(xe，ye，ze)及视线方向
获得人眼视线所成直线与屏幕的交点，视线与屏幕的交点即为用户注意力点，根据用户注意力点模型得到用户注意力点坐标Pinter(x，y，z)：
用户注意力点模型：
其中，x表示注意力点坐标点Pinter的x坐标，y表示Pinter的y坐标，z表示Pinter的z坐标；
步骤B3，将用户注意力点坐标Pinter(x，y，z)换算至屏幕图像坐标系下，屏幕图像坐标系下的坐标为Pintscr(x，y，z)＝Pinter(x，y，z)-(pm，0，z0)，其中，(pm，0，z0)为坐标原点相对于屏幕图像坐标原点偏移量，pm表示坐标原点相对于屏幕图像坐标原点偏移量的x轴坐标，z0表示坐标原点相对于屏幕图像坐标原点偏移量的z轴坐标。3D数字成像模块图像像素与屏幕图像像素点之间的缩放比例为s，根据3D数字成像模块图像像素与屏幕图像像素点的缩放对应关系，获得视频图像像素点坐标为Pintimage(x，y，z)＝Pintscr(x/s，y/s，z/s)。
步骤B4，根据屏幕图像坐标中心点和视频图像像素点坐标得到视频图像像素点与屏幕图像中心点的像素偏移量：
Offset(x，y，0)＝Pintimage(x，y，z)-Pimage(x0，y0，0)其中，Offset(x，y，0)表示屏幕图像像素点与屏幕图像中心点的像素偏移量，Pintimage(x，y，z)表示视频图像像素点坐标，Pimage(x0，y0，0)为屏幕图像坐标中心点。
步骤B5，根据视频图像像素点与屏幕图像中心点的像素偏移量得到成像单元的空间偏移值poffset；其中
其中Scell表示所用成像单元图像内的感光芯片的像元尺寸，其为已知量。||Offset(x，y，0)||表示像素偏移量的模值，
z为3D数字成像模块实际工作距离，一种优选的其可以为已知的设计工作距离，另一种优选的也可以通过机器视觉的方法非接触测量获得。
步骤B6，成像装置智能支架单元根据空间成像单元的空间偏移值对成像单元进行位移调节使得画面处于中心位置。
优选的：包括压力控制方法，所述压力控制方法方法包括以下步骤：
步骤A1，压力感应装置感应用户所施加的压力信息，压力信息包括压力的大小及压力方向，并将压力信息传输至中央控制单元。
步骤A2，中央控制单元判断所施加的压力信息是否合法，即压力信息是否满足预设的压力阈值范围内，如果压力信息位于预设的压力阈值范围内，则判定压力信息合法。
步骤A3，如果压力信息合法，中央控制单元给智能支架单元发送控制信息，中央控制单元做出相应动作。实现整体设备的灵活拖拽与操作。
优选的：所述3D数字成像模块与屏幕图像像素点之间的缩放比例s＝1。
优选的：所述人眼跟踪单元安装于裸眼3D显示器上侧。
一种智能显微手术成像装置控制系统，包括智能支架单元、成像单元、3D显示单元、视频分配单元、中央控制单元、人眼跟踪单元，所述成像单元包括光学成像模块和3D数字成像模块，所所述3D显示单元包括偏光3D显示器和裸眼3D显示器，其中：
所述偏光3D显示器用于根据视频分配单元分配的术野组织视频进行显示。
所述裸眼3D显示器用于接收人眼跟踪单元的检测到的观察者人眼三维坐标，根据观看者人眼三维坐标调整屏幕像素排列，进而实现视频分配单元分配的术野组织视频最佳的3D观看效果。
所述人眼跟踪单元用于对观察者进行人眼定位，获得人眼三维坐标，将获得的人眼三维坐标发送给中央控制单元及裸眼3D显示器。
所述光学成像模块用于对术野组织实现均匀无眩光照明，用于对观看角度的调节，对术野组织的放大及调焦完成术野组织成像。
所述3D数字成像模块用于对光学成像模块成像后的术野组织进行采集得到术野组织视频，并将采集到的术野组织视频发送给视频分配单元。
所述视频分配单元根据预设信息，将接收到的术野组织视频发送给偏光3D显示器、裸眼3D显示器以及中央控制单元。
所述中央控制单元根据获得的术野组织视频、人眼三维坐标得到实际空间成像模块位移量，并将实际空间成像模块位移量发送给智能支架单元。
所述智能支架单元根据接收到的实际空间成像模块位移量对成像单元进行位移调节使得光学成像模块中的术野组织画面处于中心位置。
优选的：包括压力感应器，所述压力感应器用于感应外部施加的压力信息，并将感应到的压力信息发送给中央控制单元。所述中央控制单元接收压力信息，并判断压力信息是否合法，如果压力信息合法，中央控制单元给智能支架单元发送控制信息一，智能支架单元根据发送的控制信息一执行相应动作对光学成像模块进行调节。
优选的：所述3D数字成像模块包括成像镜组、成像芯片、视频处理电路、电源电路，其中：
所述电源电路用于为成像镜组、成像芯片、视频处理电路提供电源。
所述成像镜组用于对光学成像模块成像后的光学图像进行汇聚至成像芯片。
所述成像芯片用于对光学图进行感光获得原始的数字图像。
所述视频处理电路用于驱动成像芯片将成像芯片采集的数字图像进行图像处理及编码后通过数字视频接口传输至外部视频分配单元。
优选的：所述视频处理电路包括控制器、存储器单元、时钟单元、复位单元和内存单元，所述控制器分别与存储器单元、时钟单元、复位单元和内存单元连接。
优选的：包括控制手柄，所述控制手柄上设置有按钮单元，所述按钮单元用于产生按钮信号，并将产生的按钮信号发送给中央控制单元，所述中央控制单元根据按钮信号给智能支架单元发送控制信息二，智能支架单元根据发送的控制信息二执行相应动作，对光学成像模块进行调节。
本发明相比现有技术，具有以下有益效果：
1.本发明首先采用成像单元取代传统显微目镜，通过裸眼3D屏幕对术野进行实时显示，使得医生实现抬头做手术的自由姿势，减轻视力及体力疲劳。
2、通过布置两台裸眼3D显示器及一台或以上偏光显示器，兼顾主刀与助手对手术的观察，同时满足多人教学观看的需求。
3、通过对主刀医生的人眼跟踪，确定主刀医生目标点，通过根据医生的观看角度，术野点自动调节成像装置镜头角度及术野中心点，实现成像装置的自动控制。
附图说明
图1为智能显微手术成像装置控制系统结构示意图。
图2为压力控制方法流程图。
图3为裸眼3D屏幕坐标示意图。
图4为人眼跟踪控制方法流程图。
图5为12V/5V转换器电路图。
图6为5V/0.8V转换器电路图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种智能显微手术成像装置控制方法，包括压力控制方法和人眼跟踪控制方法，其中所述压力控制方法，如图1-2所示，包括以下步骤：
步骤A1，压力感应装置感应用户所施加的压力信息，压力信息包括压力的大小及压力方向，并将压力信息传输至中央控制单元。
步骤A2，中央控制单元判断所施加的压力信息是否合法，即压力信息是否满足预设的压力阈值范围内，如果压力信息位于预设的压力阈值范围内，则判定压力信息合法。
步骤A3，如果压力信息合法，中央控制单元给智能支架单元2发送控制信息，中央控制单元做出相应动作。实现整体设备的灵活拖拽与操作。
所述人眼跟踪控制方法，如图4所示，包括以下步骤：
步骤B1，通过人眼跟踪单元1对观察者进行人眼定位，获得人眼的三维坐标E(xe，ye，ze)及人眼视线方向
其中，所述人眼跟踪单元1安装于裸眼3D显示器上侧，如图3所示，以屏幕上的一端点为原点0，以屏幕的水平方向直线为x轴，以屏幕的竖直方向直线为y轴，垂直于屏幕的方向直线为z轴建立屏幕坐标系，人眼跟踪单元1的坐标原点Oe为屏幕上边缘中点，人眼跟踪单元1的z轴方向与屏幕法向相同，屏幕法向为
xe表示人眼世界三维坐标系的x坐标，ye表示人眼世界三维坐标系的y坐标，ze表示表示人眼世界三维坐标系的z坐标，m表示人眼视线方向向量的x分量，n表示人眼视线方向向量的y分量，p表示人眼视线方向向量的z分量。
步骤B2，根据人眼坐标E(xe，ye，ze)及视线方向
获得视线与屏幕的交点，人眼视线所成直线与屏幕的交点即为用户注意力点，根据用户注意力点模型得到用户注意力点坐标Pinter(x，y，z)。
屏幕上点(x，y，z)满足线性方程：
直线上点(x，y，z)满足：
联立上述两个方程，得到用户注意力点模型：
解方程得交点为Pinter(x，y，z)，其中x表示注意力点坐标点Pinter的x坐标，y表示Pinter的y坐标，z表示Pinter的z坐标。
步骤B3，将用户注意力点坐标Pinter(x，y，z)换算至屏幕图像坐标系下，屏幕图像坐标系下的坐标为Pintscr(x，y，z)＝Pinter(x，y，z)-(pm，0，z0)，其中，(pm，0，z0)为坐标原点相对于屏幕图像坐标原点偏移量，其为已知量，pm表示坐标原点相对于屏幕图像坐标原点偏移量的x轴坐标，z0表示坐标原点相对于屏幕图像坐标原点偏移量的z轴坐标，3D数字成像模块3图像像素与屏幕图像像素点之间的缩放比例为s，根据3D数字成像模块3图像像素与屏幕图像像素点的缩放对应关系，获得视频图像像素点坐标为Pintimage(x，y，z)＝Pintscr(x/s，y/s，z/s)。优选的，所述3D数字成像模块3的图像像素点与屏幕图像像素点之间的缩放比例s＝1。
步骤B4，根据屏幕图像坐标中心点和视频图像像素点坐标得到视频图像像素点与屏幕图像中心点的像素偏移量：
Offset(x，y，0)＝Pintimage(x，y，z)-Pimage(x0，y0，0)
其中，Offset(x，y，0)表示屏幕图像像素点与屏幕图像中心点的像素偏移量，Pintimage(x，y，z)表示视频图像像素点坐标，Pimage(x0，y0，0)为屏幕图像坐标中心点，为已知量。
步骤B5，根据视频图像像素点与屏幕图像中心点的像素偏移量得到成像单元的空间偏移值poffset；其中
其中Scell表示所用成像单元图像感光芯片的像元尺寸，其为已知量。其中||Offset(x，y，0)||表示像素偏移量的模值，
z为3D数字成像模块3实际工作距离，一种优选的其可以为已知的设计工作距离，另一种优选的也可以通过机器视觉的方法非接触测量获得。
步骤B6，成像装置智能支架单元2根据空间成像单元位移量对成像单元进行位移调节使得画面处于中心位置。
如果上述调节过程，因用户移动或其他扰动，画面未居中，可不断重复步骤B1-B6，始终获得用户注意点居中的画面。
一种智能显微手术成像装置控制系统，可实现自由的术野观看及自动控制成像，如图1所示，包括智能支架单元2、成像单元、3D显示单元、视频分配单元、中央控制单元、人眼跟踪单元1、压力感应器、控制手柄5，所述成像单元包括光学成像模块4和3D数字成像模块3，所所述3D显示单元包括一台偏光3D显示器和两台裸眼3D显示器，其中：
所述偏光3D显示器用于根据视频分配单元分配的术野组织视频进行显示。
所述裸眼3D显示器用于接收人眼跟踪单元1的检测到的观察者人眼三维坐标，根据观看者人眼三维坐标调整屏幕像素排列，进而实现视频分配单元分配的术野组织视频最佳的3D观看效果。
所述人眼跟踪单元1用于对观察者进行人眼定位，获得人眼三维坐标，将获得的人眼三维坐标发送给中央控制单元及裸眼3D显示器。
所述光学成像模块4用于对术野组织实现均匀无眩光照明，用于对观看角度的调节，对术野组织的放大及调焦完成术野组织成像。
所述光学成像模块4包括变倍成像镜组、照明模块，所述变倍成像镜组，其实现术野组织的放大及调焦。另外其观看角度可调，优选的实现20cm至120cm的成像工作距离调节。所述照明模块其由滤光片，照明镜头，光源等构成，能够对术野实现均匀无眩光照明。
所述3D数字成像模块3用于对光学成像模块4成像后的术野组织进行采集得到术野组织视频，并将采集到的术野组织视频发送给视频分配单元。
所述3D数字成像模块3包括成像镜组、成像芯片、视频处理电路、电源电路，其中：
所述电源电路用于为成像镜组、成像芯片、视频处理电路提供电源。电源电路包括12V电源输入及多个电源转换单元，多个电源转换单元包括12V/5V转换器、12V/3.3V转换器、5V/3.3V转换器、5V/2.5V转换器、5V/1.2V转换器、5V/1.8V转换器、5V/0.8V转换器、3.3V/2.9V转换器、3.3V/1.8V转换器和3.3V/1.2V转换器。
如图5所示，所述12V/5V转换器包括高频同步整流降压开关变换芯片MP879、电容五三三C533、电容五三二C532、电容五二二C522、电阻五三一R531、电阻三八八R388、电容五三七C537、电阻五四一R541、电阻五四零R540、电阻三八七R387、电容四七五C475、电阻三九七R397、电容五二一C521、电感一三L13、电阻五四二R542、电容四八五C485、电阻五一八R518、电阻三九八R398、电阻二R2、电容三五C35、电容三四C34、电容一九六C196、电容一一零C110，所述电容五三三C533、电容五三二C532、电容五二二C522并联后一端接地，另一端与高频同步整流降压开关变换芯片MP879的VIN引脚连接，高频同步整流降压开关变换芯片MP879的VIN引脚连接12V电源，所述电阻五三一R531一端与高频同步整流降压开关变换芯片MP879的EN引脚连接，另一端与高频同步整流降压开关变换芯片MP879的VIN引脚连接。所述电阻三八八R388一端与高频同步整流降压开关变换芯片MP879的EN引脚连接，另一端接地。所述电容五三七C537一端与高频同步整流降压开关变换芯片MP879的VCC引脚连接，另一端接地。所述电阻五四零R540一端与高频同步整流降压开关变换芯片MP879的VCC引脚连接，另一端与高频同步整流降压开关变换芯片MP879的MODE引脚连接。所述电阻五四一R541的一端与高频同步整流降压开关变换芯片MP879的MODE引脚连接，另一端接地。所述高频同步整流降压开关变换芯片MP879的PGND引脚和AGND引脚接地。所述高频同步整流降压开关变换芯片MP879的VOUT引脚与5V输出插脚连接。所述电容五二一C521一端与高频同步整流降压开关变换芯片MP879的VOUT引脚连接，另一端接地。所述高频同步整流降压开关变换芯片MP879的BST引脚、电阻三八七R387、电容四七五C475、高频同步整流降压开关变换芯片MP879的SW引脚依次连接。所述高频同步整流降压开关变换芯片MP879的FB引脚、电阻三九七R397、电阻三九八R398、地线依次连接。所述电感一三L13一端与高频同步整流降压开关变换芯片MP879的SW引脚连接，另一端与5V输出插脚连接。所述5V输出插脚、电阻二R2、电阻三九八R398、地线依次连接。所述电阻五四二R542、电容四八五C485串联后并联在电感一三L13的两端。所述电阻五一八R518一端连接在电阻五四二R542和电容四八五C485的串联电路上，另一端连接在电阻二R2和电阻三九八R398的连接电路上。所述电容三五C35、电容三四C34、电容一九六C196、电容一一零C110并联后一端接地，另一端与5V输出插脚连接。
如图6所示，所述5V/0.8V转换器包括恒定导通时间控制模式同步降压开关MP2143、电容四五零C450、电容三三零C330、电阻三零二R302、电容四零九C409、电阻二二五R225、电阻五七五R575、电阻三四零R340、电感三L3、电阻三零九R309、电阻一一八R118、电容四四九C449、电容四四八C448、电容四五一C451、电容五三六C536、电阻三七七R377、电阻五一R51、电容二五一C251、电阻三三六R336，所述电容四五零C450、电容三三零C330并联后一端接地，另一端与恒定导通时间控制模式同步降压开关MP2143的IN引脚连接，所述恒定导通时间控制模式同步降压开关MP2143的IN引脚与5V电源连接，所述电阻三零二R302一端与恒定导通时间控制模式同步降压开关MP2143的IN引脚连接，另一端与恒定导通时间控制模式同步降压开关MP2143的EN引脚连接。所述电阻二二五R225一端与恒定导通时间控制模式同步降压开关MP2143的EN引脚连接，另一端与电源PWR_SEQ2插脚连接。所述电阻五七五R575一端与恒定导通时间控制模式同步降压开关MP2143的EN引脚连接，另一端与电源PWR_SEQ1插脚连接。所述电容四四九C449一端接地，另一端与恒定导通时间控制模式同步降压开关MP2143的EN引脚连接。所述恒定导通时间控制模式同步降压开关MP2143的PGND引脚和AGND引脚接地。所述电感三L3一端与恒定导通时间控制模式同步降压开关MP2143的SW引脚连接，另一端与0.8V输出引脚连接。所述电阻三四零R340一端与恒定导通时间控制模式同步降压开关MP2143的OUT引脚与0.8V输出引脚连接。所述电阻三四零R340一端与恒定导通时间控制模式同步降压开关MP2143的FB引脚连接，另一端接地。所述电阻三四零R340、电阻一一八R118、0.8V输出引脚依次连接。所述电阻三零九R309一端与电阻三四零R340和电阻一一八R118的连接线连接，另一端接地。所述电容四四九C449、电容四四八C448并联后一端接地，另一端与0.8V输出引脚连接。所述电容四五一C451、电容五三六C536并联后一端接地，另一端与0.8V输出引脚连接。所述电阻三七七R377一端与与电阻三四零R340和电阻一一八R118的连接线连接，另一端与电阻五一R51连接，所述电阻三三六R336一端与电阻五一R51连接，另一端与SVB_PWM3_CPU插脚连接，所述电容二五一C251一端与电阻三三六R336和电阻五一R51连接线连接，另一端接地。
所述成像镜组用于对光学成像模块4成像后的光学图像进行汇聚至成像芯片。
所述成像芯片用于对光学图进行感光获得原始的数字图像。
所述视频处理电路用于驱动成像芯片将成像芯片采集的数字图像进行图像处理及编码后通过数字视频接口传输至外部视频分配单元。
3D数字成像模块3的数字视频接口采用专用数字驱动芯片。其采用重定时缓冲器芯片对数字视频信号对数字信号进行驱动增强增强设备稳定性。优选的视频接口采用HDMI接口，数字驱动芯片采用IT66311、IT66317、LT86121TXE、GSV5100等芯片。
所述视频分配单元根据预设信息，将接收到的术野组织视频发送给偏光3D显示器、裸眼3D显示器以及中央控制单元。所述视频分配单元具有多路视频输出接口，用于多路3D显示器或其他视频应用。
所述视频处理电路包括控制器、存储器单元、时钟单元、复位单元和内存单元，所述控制器分别与存储器单元、时钟单元、复位单元和内存单元连接。所述控制器上设置有用于与图像采集模组连接的视频输入接口、用于与高清多媒体输出模块连接的视频输出接口、用于和存储器单元连接的存储器接口、用于和时钟单元连接的时钟接口、用于和复位单元连接的复位接口、用于和内存单元连接的内存接口、用于和网络传输模块连接的网络接口以及用于和无线遥控模块连接的无线遥控接口。
所述压力感应器用于感应外部施加的压力信息，并将感应到的压力信息发送给中央控制单元。
所述中央控制单元根据获得的术野组织视频、人眼三维坐标得到实际空间成像模块位移量，并将实际空间成像模块位移量发送给智能支架单元2，实现成像装置成像装置的智能控制。所述中央控制单元接收压力信息，并判断压力信息是否合法，如果压力信息合法，中央控制单元给智能支架单元2发送控制信息一，智能支架单元2根据发送的控制信息一执行相应动作对光学成像模块4进行调节。
所述智能支架单元2根据接收到的实际空间成像模块位移量对成像单元进行位移调节使得光学成像模块4中的术野组织画面处于中心位置。
所述智能支架单元2包括机械臂、机械臂底座、机械臂控制器，所述机械臂安装在机械臂底座上，所述压力感应器安装在机械臂上，所述成像单元固定在机械臂上，所述机械臂控制器与机械臂电性连接。所述机械臂为至少有6自由度机械臂，所述机械臂控制器根据控制信息一控制机械臂对成像单元进行移动，使得术野组织画面处于光学成像模块4成像画面中心位置。
所述控制手柄5上设置有按钮单元，所述按钮单元用于产生按钮信号，并将产生的按钮信号发送给中央控制单元，所述中央控制单元根据按钮信号给智能支架单元2发送控制信息二，智能支架单元2根据发送的控制信息二执行相应动作，对光学成像模块4进行调节。所述控制手柄5采用人工学设计，其形状方便舒适手持，并布置多个按钮，通过对其拖拽可实现观看角度控制，通过按钮控制可实现对中央控制模块发送指令实现相应控制，具体包括对成像基本功能的控制，其通过手柄，实现对光学成像模组的控制，包括对焦，调焦，光源控制。通过手柄实现3D数字成像模块3的控制，包括开启或停止视频及图像拍摄、图像白平衡，曝光补偿，颜色预设模式等设置。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种智能显微手术成像装置控制方法，其特征在于，包括人眼跟踪控制方法，所述人眼跟踪控制方法包括以下步骤：
步骤b1，通过人眼跟踪单元(1)对观察者进行人眼定位，获得人眼的三维坐标E(xe，ye，ze)及人眼视线方向
其中，人眼跟踪单元(1)z轴方向与屏幕法向相同，屏幕法向为
xe表示人眼世界三维坐标系的x坐标，ye表示人眼世界三维坐标系的y坐标，Ze表示表示人眼世界三维坐标系的Z坐标，m表示人眼视线方向向量的x分量，n表示人眼视线方向向量的y分量，p表示人眼视线方向向量的Z分量；
步骤B2，根据人眼坐标E(xe，ye，ze)及视线方向
获得人眼视线所成直线与屏幕的交点，视线所成直线与屏幕的交点即为用户注意力点，根据用户注意力点模型得到用户注意力点坐标Pinter(x，y，z)；
用户注意力点模型：
其中，x表示注意力点坐标点Pinter(x，y，z)的x轴坐标，y表示Pinter(x，y，z)的y轴坐标，Z表示Pinter(x，y，z)的z轴坐标；
步骤B3，将用户注意力点坐标Pinter(x，y，z)换算至屏幕图像坐标系下，屏幕图像坐标系下的坐标为Pintscr(x，y，z)＝Pinter(x，y，z)-(pm，0，z0)，其中，(pm，0，z0)为坐标原点相对于屏幕图像坐标原点偏移量，pm表示坐标原点相对于屏幕图像坐标原点偏移量的x轴坐标，Z0表示坐标原点相对于屏幕图像坐标原点偏移量的Z轴坐标，3D数字成像模块(3)与屏幕图像像素点之间的缩放比例为s，根据3D数字成像模块(3)的图像像素与屏幕图像像素点的缩放对应关系，获得视频图像像素点坐标为
Pintimage(x，y，z)＝Pintscr(x/s，y/s，z/s)；
步骤B4，根据屏幕图像坐标中心点和视频图像像素点坐标得到视频图像像素点与屏幕图像中心点的像素偏移量：
Offset(x，y，0)＝Pintimage(x，y，z)-Pimage(x0，y0，0)其中，Offset(x，y，0)表示屏幕图像像素点与屏幕图像中心点的像素偏移量，Pintimage(x，y，z)为视频图像像素点坐标，Pimage(x0，y0，0)为屏幕图像坐标中心点；
步骤B5，根据视频图像像素点与屏幕图像中心点的像素偏移量得到成像单元的空间偏移值poffset，所述成像单元包括光学成像模块(4)和3D数字成像模块(3)；其中，
其中，Scell表示所用成像单元图像感光芯片的像元尺寸，||Offset(x，y，0)||表示像素偏移量的模值，
H为3D数字成像模块(3)实际工作距离；
步骤B6，成像装置智能支架单元(2)根据成像单元的空间偏移值对成像单元进行位移调节使得画面处于中心位置。
2.根据权利要求1所述智能显微手术成像装置控制方法，其特征在于：包括压力控制方法，所述压力控制方法包括以下步骤：
步骤A1，压力感应装置感应用户所施加的压力信息，压力信息包括压力的大小及压力方向，并将压力信息传输至中央控制单元；
步骤A2，中央控制单元判断所施加的压力信息是否合法，即压力信息是否满足预设的压力阈值范围内，如果压力信息位于预设的压力阈值范围内，则判定压力信息合法；
步骤A3，如果压力信息合法，中央控制单元给智能支架单元(2)发送控制信息，中央控制单元做出相应动作。
3.根据权利要求2所述智能显微手术成像装置控制方法，其特征在于：3D数字成像模块(3)实际工作距离为已知的设计工作距离，或者3D数字成像模块(3)实际工作距离通过机器视觉的方法非接触测量获得。
4.根据权利要求3所述智能显微手术成像装置控制方法，其特征在于：所述人眼跟踪单元(1)安装于裸眼3D显示器上侧，且人眼跟踪单元(1)的坐标原点为屏幕上边缘中点；所述3D数字成像模块(3)的图像像素与屏幕图像像素点之间的缩放比例s＝1。
5.一种基于权利要求1所述智能显微手术成像装置控制方法的控制系统，其特征在于：包括智能支架单元(2)、成像单元、3D显示单元、视频分配单元、中央控制单元、人眼跟踪单元(1)，所述成像单元包括光学成像模块(4)和3D数字成像模块(3)，所述3D显示单元包括偏光3D显示器和裸眼3D显示器，其中：
所述偏光3D显示器用于根据视频分配单元分配的术野组织视频进行显示；
所述裸眼3D显示器用于接收人眼跟踪单元(1)的检测到的观察者人眼三维坐标，根据观看者人眼三维坐标调整屏幕像素排列，进而实现视频分配单元分配的术野组织视频最佳的3D观看效果；
所述人眼跟踪单元(1)用于对观察者进行人眼定位，获得人眼三维坐标，将获得的人眼三维坐标发送给中央控制单元及裸眼3D显示器；
所述光学成像模块(4)用于对术野组织实现均匀照明，用于对观看角度的调节，对术野组织的放大及调焦完成术野组织成像；
所述3D数字成像模块(3)用于对光学成像模块(4)成像后的术野组织进行采集得到术野组织视频，并将采集到的术野组织视频发送给视频分配单元；
所述视频分配单元根据预设信息，将接收到的术野组织视频发送给偏光3D显示器、裸眼3D显示器以及中央控制单元；
所述中央控制单元根据获得的术野组织视频、人眼三维坐标得到实际空间成像模块位移量，并将实际空间成像模块位移量发送给智能支架单元(2)；
所述智能支架单元(2)根据接收到的实际空间成像模块位移量对成像单元进行位移调节使得光学成像模块(4)中的术野组织画面处于中心位置。
6.根据权利要求5所述控制系统，其特征在于：包括压力感应器，所述压力感应器用于感应外部施加的压力信息，并将感应到的压力信息发送给中央控制单元；所述中央控制单元接收压力信息，并判断压力信息是否合法，如果压力信息合法，中央控制单元给智能支架单元(2)发送控制信息一，智能支架单元(2)根据发送的控制信息一执行相应动作对光学成像模块(4)进行调节。
7.根据权利要求6所述控制系统，其特征在于：所述3D数字成像模块(3)包括成像镜组、成像芯片、视频处理电路、电源电路，其中：
所述电源电路用于为成像镜组、成像芯片、视频处理电路提供电源；
所述成像镜组用于对光学成像模块(4)成像后的光学图像进行汇聚至成像芯片；
所述成像芯片用于对光学图进行感光获得原始的数字图像；
所述视频处理电路用于驱动成像芯片将成像芯片采集的数字图像进行图像处理及编码后通过数字视频接口传输至外部视频分配单元。
8.根据权利要求7所述控制系统，其特征在于：所述视频处理电路包括控制器、存储器单元、时钟单元、复位单元和内存单元，所述控制器分别与存储器单元、时钟单元、复位单元和内存单元连接。
9.根据权利要求8所述控制系统，其特征在于：包括控制手柄(5)，所述控制手柄(5)上设置有按钮单元，所述按钮单元用于产生按钮信号，并将产生的按钮信号发送给中央控制单元，所述中央控制单元根据按钮信号给智能支架单元(2)发送控制信息二，智能支架单元(2)根据发送的控制信息二执行相应动作，对光学成像模块(4)进行调节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111472764.7A CN114302130B (zh) | 2021-12-06 | 2021-12-06 | 一种智能显微手术成像装置控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111472764.7A CN114302130B (zh) | 2021-12-06 | 2021-12-06 | 一种智能显微手术成像装置控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114302130A CN114302130A (zh) | 2022-04-08 |
| CN114302130B true CN114302130B (zh) | 2023-03-17 |
Family
ID=80965616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111472764.7A Active CN114302130B (zh) | 2021-12-06 | 2021-12-06 | 一种智能显微手术成像装置控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114302130B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174182A (zh) * | 2017-12-30 | 2018-06-15 | 上海易维视科技股份有限公司 | 三维跟踪式裸眼立体显示视区调整方法及显示系统 |
| CN110687669A (zh) * | 2019-11-13 | 2020-01-14 | 深圳市新致维科技有限公司 | 一种基于体式显微镜的跟踪式裸眼3d显示系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6290723B2 (ja) * | 2014-06-23 | 2018-03-07 | 公立大学法人公立はこだて未来大学 | 手術支援装置および手術支援システム |
| CN107885325B (zh) * | 2017-10-23 | 2020-12-08 | 张家港康得新光电材料有限公司 | 一种基于人眼跟踪的裸眼3d显示方法及控制系统 |
| CA2983780C (en) * | 2017-10-25 | 2020-07-14 | Synaptive Medical (Barbados) Inc. | Surgical imaging sensor and display unit, and surgical navigation system associated therewith |
| CN108063940B (zh) * | 2017-12-25 | 2023-10-27 | 张家港康得新光电材料有限公司 | 一种人眼跟踪裸眼3d显示系统的校正系统和方法 |
| CN108108021A (zh) * | 2017-12-25 | 2018-06-01 | 上海玮舟微电子科技有限公司 | 人眼跟踪系统外参数校正治具及校正方法 |
| US20210345856A1 (en) * | 2018-10-18 | 2021-11-11 | Sony Corporation | Medical observation system, medical observation apparatus, and medical observation method |
-
2021
- 2021-12-06 CN CN202111472764.7A patent/CN114302130B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174182A (zh) * | 2017-12-30 | 2018-06-15 | 上海易维视科技股份有限公司 | 三维跟踪式裸眼立体显示视区调整方法及显示系统 |
| CN110687669A (zh) * | 2019-11-13 | 2020-01-14 | 深圳市新致维科技有限公司 | 一种基于体式显微镜的跟踪式裸眼3d显示系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114302130A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9766441B2 (en) | Surgical stereo vision systems and methods for microsurgery | |
| US10795184B2 (en) | Apparatus and method for improving, augmenting or enhancing vision | |
| US9330477B2 (en) | Surgical stereo vision systems and methods for microsurgery | |
| CN107193383B (zh) | 一种基于人脸朝向约束的二级视线追踪方法 | |
| WO2016115873A1 (zh) | 双目ar头戴显示设备及其信息显示方法 | |
| US11109916B2 (en) | Personalized hand-eye coordinated digital stereo microscopic systems and methods | |
| CN108828779B (zh) | 一种头戴式显示设备 | |
| CN110208947B (zh) | 基于人眼追踪的显示设备及显示方法 | |
| US9578213B2 (en) | Surgical telescope with dual virtual-image screens | |
| CN103750815A (zh) | 一种变曲率式液体透镜便携眼底照相机 | |
| US10764506B2 (en) | Medical observation device and medical observation system | |
| CN110517645A (zh) | 显示装置、电子设备及背光动态区域亮度调节方法 | |
| CN106157926A (zh) | 一种调节显示屏亮度的方法及装置 | |
| CN112578564A (zh) | 一种虚拟现实显示设备及显示方法 | |
| CN112353361A (zh) | 基于主从一体智能扶镜机器人的3d胸腹腔镜系统 | |
| CN114302130B (zh) | 一种智能显微手术成像装置控制方法及系统 | |
| CN114938556A (zh) | 台灯光线自动调节方法、装置、电子设备及存储介质 | |
| CN211478760U (zh) | 显微镜外置双路同步平行光3d图像实时采集装置、系统 | |
| CN106210697A (zh) | 手术用电子3d显微镜 | |
| CN206147173U (zh) | 一种3d电子显微镜 | |
| CN214414798U (zh) | 一种基于全景vr技术的腹腔镜系统 | |
| EP3987336B1 (en) | Digital magnifier monocle and relative eyewear | |
| CN205679856U (zh) | 具有手势控制功能的头戴显示器 | |
| CN206024007U (zh) | 手术用电子3d显微镜 | |
| CN209750986U (zh) | 一种虚拟现实全景医用内窥镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |