CN104887314A - 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 - Google Patents
用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 Download PDFInfo
- Publication number
- CN104887314A CN104887314A CN201510187477.XA CN201510187477A CN104887314A CN 104887314 A CN104887314 A CN 104887314A CN 201510187477 A CN201510187477 A CN 201510187477A CN 104887314 A CN104887314 A CN 104887314A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- dimensional
- image
- stereo endoscope
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
Abstract
本发明涉及一种用于立体内窥镜手术导航的虚拟立体内窥镜图像的显示设备，其特征在于：立体内窥镜左右眼摄像机的视频信号经由视频输出线接入到左右眼视频捕捉卡；6自由度位置传感器的输出由位置传感器接口输入到计算机中；主动立体眼镜信号控制器、立体内窥镜图像监视器、以及虚拟立体内窥镜图像监视器的数据分别来自于主动立体视频输出卡；用于生成虚拟立体内窥镜图像的3维医学图像存储在计算机中。其不仅能够为医生提供由三维医学影像所生成的手术区域影像，而且能以立体的方式展现给医生，让医生更容易掌握手术区域的空间信息，从而提高诊查的准确性和手术的安全性。
Description
技术领域
本发明涉及一种用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备，即在立体内窥镜和虚拟立体内窥镜三维图像的显示方法；可用于在虚拟立体内窥镜监视器上显示与立体内窥镜监视器出屏距离一致的虚拟三维内窥镜图像。
背景技术
微创手术因其有损伤小、术后并发症少和患者康复快等特点，近年在临床上受到了广泛关注。内窥镜手术作为微创手术的一种主要技术手段，在外科手术中的应用越来越广泛。立体内窥镜是为了解决普通内窥镜视野中空间信息不足而产生的一种可以观察手术区域内立体图像信息的内窥镜设备。中国发明专利申请号：200910068276.2，名称为：双目内窥镜手术系统，以及中国发明专利申请号：201010245492.2，名称为：可自由转角的立体内窥镜系统，是通过立体成像原理，将手术区域的立体图像输出到立体监视器，通过增加医生对手术区域空间信息的感知量来提高手术的安全性。中国发明专利申请号：200910045399.4，名称为：微创手术导航系统，提供了一种利用CT等三维医学图像信息来生成手术区域对应导航信息的导航方法，用来增加微创手术的安全性。但是这些方法没有解决立体内窥镜对应的虚拟立体内窥镜导航信息的表示问题，没有将CT等三维医学图像的空间信息和立体内窥镜的空间信息有效地结合起来。
为了更有效地弥补内窥镜手术在空间感知上的不足，增加对手术区域监控和导航的空间信息容量，生成与立体内窥镜监视器对应的虚拟立体内窥镜图像来辅助立体内窥镜手术是一种可取方法。虽然通过把与立体内窥镜左右眼对应的左右眼虚拟内窥镜图像显示在一个立体监视器上，可以实现虚拟立体内窥镜图像的显示，但由于左右眼的视点差以及监视器上对应点的像差都会影响人眼感知三维物体的空间位置关系，所以生成和显示与立体内窥镜监视器一致的虚拟立体内窥镜图像是一个十分有意义的话题。
发明内容
本发明的目的在于提供一种用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备；在虚拟立体内窥镜监视器上显示与立体内窥镜监视器出屏距离一致的虚拟三维内窥镜图像，通过立体的方式实现手术导航；不仅能够为医生提供由三维医学影像所生成的手术区域影像，而且能以立体的方式展现给医生，让医生更容易掌握手术区域的空间信息，从而提高诊查的准确性和手术的安全性。
本发明是的技术方案是这样实现的，一种用于立体内窥镜手术导航的虚拟立体内窥镜图像的显示设备，由立体内窥镜，有线或无线6自由度位置传感器，主动立体眼镜，计算机，左右眼视频捕捉卡，位置传感器接口，主动立体视频输出卡，主动立体眼镜信号控制器，立体内窥镜图像监视器，虚拟立体内窥镜图像监视器，以及网格图像标定板组成；其特征在于：立体内窥镜左右眼摄像机的视频信号经由视频输出线接入到左右眼视频捕捉卡；6自由度位置传感器的输出由位置传感器接口输入到计算机中；主动立体眼镜信号控制器、立体内窥镜图像监视器、以及虚拟立体内窥镜图像监视器的数据分别来自于主动立体视频输出卡；用于生成虚拟立体内窥镜图像的3维医学图像存储在计算机中。
一种用于立体内窥镜手术导航的虚拟立体内窥镜显示方法，包括立体内窥镜成像模块、立体内窥镜图像显示模块、内窥镜标定模块、虚拟立体内窥镜成像模块以及虚拟立体内窥镜图像显示模块；其特征在于：立体内窥镜成像模块负责采集左右两视点(左右眼)的原始手术区域图像；立体内窥镜图像显示模块负责将左右眼的内窥镜图像通过立体监视系统显示在立体监视器上，同时提供医生获得立体视觉图像的实现；内窥镜标定模块负责立体内窥镜与虚拟立体内窥镜的成像位置对应，以及负责在立体监视器上成像后立体视觉效果的一致性和同步性；虚拟立体内窥镜成像模块负责生成与立体内窥镜左右眼图像对应的虚拟内窥镜左右眼图像；虚拟立体内窥镜图像显示模块负责将虚拟立体内窥镜图像显示在立体监视器上，同时提供医生获得立体视觉的实现；
具体步骤如下：
1、对立体内窥镜的左右眼摄像机进行标定，分别得到立体内窥镜的左右眼摄像机的内参矩阵 、以及左右眼摄像机坐标系之间的变换矩阵；
2、开始将网格图像标定板置于用立体内窥镜视场；计算机读取立体内窥镜左右眼摄像机所拍摄到的标定板的图像；
3、改变网格图像标定板在立体内窥镜视场中的位置和姿态；用计算机读取立体内窥镜左右眼摄像机所拍摄到的标定板的图像；
4、重复步骤3，用计算机获取立体内窥镜左右眼摄像机所拍摄到的标定板的图像序列，7对以上；
5、在标定板上设定坐标系，并设定标定板网格图形各个交叉点在中的空间坐标；
6、用计算机4读取图像序列中标定板网格图形各个交叉点的图像坐标；
7、根据步骤5所获得的交叉点空间坐标以及步骤6所获得的对应交叉点图像坐标，利用张正友标定法可以计算出立体内窥镜左右眼摄像机的内部参数矩阵；同时可以获得与图像对应的外部参数矩阵和，即图像对应立体内窥镜的左右摄像机坐标系与坐标系的变换矩阵为：；
8、由立体内窥镜的左右摄像机坐标系与坐标系的变换矩阵和可以获得立体内窥镜的右摄像机坐标系与立体内窥镜的左摄像机坐标系之间的变换矩阵为的均值；
9、借助患者身上的特征点和位置传感器，来获取患者坐标系和三维医学图像坐标系之间的变换矩阵；
10、将患者放置于手术工作台上，用位置传感器测量选取的特征点在坐标系中的坐标；
11、用计算机获取步骤10的特征点在三维医学图像中对于坐标系的坐标；
12、根据两组点集，利用最小二乘法，可以获得坐标系与之间的变换；
13、获取位置传感器与立体内窥镜的左摄像机之间的坐标变换关系；
14、在位置传感器的测量空间中固定标定板；
15、将用于导航的位置传感器固定于立体内窥镜上，处于手术导航时的设置状态，保证位置传感器与立体内窥镜的左右眼摄像机为刚性连接；
16、在位置传感器的测量空间内移动立体内窥镜，让立体内窥镜(1)的左眼摄像机拍摄固定在位置传感器测量空间的标定板，用计算机获取位置传感器和立体内窥镜的左眼摄像机的位置信息和图像信息序列；
17、在位置传感器的测量空间内移动立体内窥镜，让立体内窥镜的左眼摄像机拍摄固定在位置传感器测量空间的标定板，用计算机获取位置传感器 位置和姿态信息序列，同时获取对应位置的立体内窥镜左眼摄像机的图像信息序列；
18、根据获得的标定板的图像序列，计算立体内窥镜左眼摄像机的位置和姿态信息序列；
19、根据获得的立体内窥镜左眼摄像机和位置传感器的位置和姿态信息序列，计算位置传感器与立体内窥镜的左摄像机之间的坐标变换关系；
20、借助位置传感器的输出，获取立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置；
21、用计算机获取位置传感器的位置和姿态信息；
22、根据位置传感器和立体内窥镜的左摄像机之间的坐标变换关系，计算出立体内窥镜的左右摄像机在的位置和姿态信息；
23、根据患者坐标系和三维医学图像坐标系之间的变换矩阵，计算立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置；
24、生成与立体内窥镜的左右摄像机对应的虚拟立体内窥镜左右眼摄像机图像；
25、将立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置设定为虚拟立体内窥镜的左右眼摄像机的位置和姿态；
26、根据虚拟立体内窥镜的左右眼摄像机在三维医学图像中的位置和姿态，利用光线投射方法，生成虚拟立体内窥镜左右眼摄像机的图像；
27、显示立体内窥镜的左右眼摄像机所拍摄到的手术区域影像；
28、用左右眼视频捕捉卡抓取立体内窥镜的左右眼摄像机所拍摄到的手术区域图像；
29、将左右眼视频捕捉卡所获得立体内窥镜的左右眼摄像机图像提交给的主动立体视频输出卡；
30、利用立体视频输出卡将获得的立体内窥镜的左右眼摄像机图像通过分时的方式显示在立体内窥镜图像监视器上，完成立体内窥镜的左右眼摄像机图像的显示；
31、显示虚拟立体内窥镜的左右眼摄像机图像，所生成的虚拟立体内窥镜左右眼摄像机图像提交给的主动立体视频输出卡；
32、利用立体视频输出卡将获得的虚拟立体内窥镜左右眼摄像机图像通过分时的方式显示在虚拟立体内窥镜图像监视器上，完成虚拟立体内窥镜左右眼摄像机图像的显示；
33、同步立体内窥镜和虚拟立体内窥镜的图像信息；
34、利用立体视频输出卡的同步控制信号，完成立体内窥镜图像监视器和虚拟立体内窥镜图像监视器上左右眼图像的同步；
35、利用立体视频输出卡的主动立体眼镜信号控制器，控制主动立体眼镜的左右眼分时开关，实现立体内窥镜图像监视器、虚拟立体内窥镜图像监视器以及主动立体眼镜的左右眼图像同步。
本发明的积极效果是医生可以在观察立体内窥镜所获得的立体影像同时，还可观察到与立体内窥镜影像对应的由三维医学影像生成得虚拟立体内窥镜影像；通过对立体内窥镜手术导航，不仅能够为医生提供由三维医学影像所生成的手术区域影像，而且能以立体的方式展现给医生，让医生更容易掌握手术区域的空间信息，从而提高诊查的准确性和手术的安全性。
附图说明
图1是本发明的系统组成图。其中1为立体内窥镜，2为有线或无线6自由度位置传感器，3为主动立体眼镜，4为计算机，5为左右眼视频捕捉卡，6为位置传感器接口，7为主动立体视频输出卡，8为主动立体眼镜信号控制器，9为立体内窥镜图像监视器，10为虚拟立体内窥镜图像监视器，11为网格图像标定板。
具体实施方式
下面结合附图对本发明做进一步的描述：如图1所示，一种用于立体内窥镜手术导航的虚拟立体内窥镜图像的显示设备由立体内窥镜1，有线或无线6自由度位置传感器2，主动立体眼镜3，计算机4，左右眼视频捕捉卡5，位置传感器接口6，主动立体视频输出卡7，主动立体眼镜信号控制器8，立体内窥镜图像监视器9，虚拟立体内窥镜图像监视器10，以及网格图像标定板11组成；其特征在于：立体内窥镜1左右眼摄像机的视频信号经由视频输出线接入到左右眼视频捕捉卡5；6自由度位置传感器2的输出由位置传感器接口6输入到计算机中；主动立体眼镜信号控制器8、立体内窥镜图像监视器9、以及虚拟立体内窥镜图像监视器10的数据分别来自于主动立体视频输出卡7；用于生成虚拟立体内窥镜图像的3维医学图像存储在计算机4中。
一种用于立体内窥镜手术导航的虚拟立体内窥镜显示方法，包括立体内窥镜成像模块、立体内窥镜图像显示模块、内窥镜标定模块、虚拟立体内窥镜成像模块以及虚拟立体内窥镜图像显示模块；其特征在于：立体内窥镜成像模块负责采集左右两视点(左右眼)的原始手术区域图像；立体内窥镜图像显示模块负责将左右眼的内窥镜图像通过立体监视系统显示在立体监视器上，同时提供医生获得立体视觉图像的实现；内窥镜标定模块负责立体内窥镜与虚拟立体内窥镜的成像位置对应，以及负责在立体监视器上成像后立体视觉效果的一致性和同步性；虚拟立体内窥镜成像模块负责生成与立体内窥镜左右眼图像对应的虚拟内窥镜左右眼图像；虚拟立体内窥镜图像显示模块负责将虚拟立体内窥镜图像显示在立体监视器上，同时提供医生获得立体视觉的实现。
具体步骤如下：
1、对立体内窥镜1的左右眼摄像机进行标定，分别得到立体内窥镜1的左右眼摄像机的内参矩阵以及左右眼摄像机坐标系之间的变换矩阵。
2、开始将网格图像标定板11置于用立体内窥镜1视场；计算机4读取立体内窥镜1左右眼摄像机所拍摄到的标定板11的图像。
3、改变网格图像标定板11在立体内窥镜1视场中的位置和姿态；用计算机4读取立体内窥镜1左右眼摄像机所拍摄到的标定板11的图像和。
4、重复步骤3，用计算机4获取立体内窥镜1左右眼摄像机所拍摄到的标定板11的图像序列，7对以上。
5、在标定板11上设定坐标系，并设定标定板11网格图形各个交叉点在，中的空间坐标。
6、用计算机4读取图像序列中标定板11网格图形各个交叉点的图像坐标。
7、根据步骤5所获得的交叉点空间坐标以及步骤6所获得的对应交叉点图像坐标，利用张正友标定法可以计算出立体内窥镜1左右眼摄像机的内部参数矩阵。同时可以获得与图像对应的外部参数矩阵，即图像对应立体内窥镜1的左右摄像机坐标系与坐标系的变换矩阵为：。
8、由立体内窥镜1的左右摄像机坐标系与坐标系的变换矩阵可以获得立体内窥镜1的右摄像机坐标系与立体内窥镜1的左摄像机坐标系之间的变换矩阵为的均值。
9、借助患者身上的特征点和位置传感器2，来获取患者坐标系和三维医学图像坐标系之间的变换矩阵。
10、将患者放置于手术工作台上，用位置传感器测量选取的特征点在坐标系中的坐标。
11、用计算机4获取步骤10的特征点在三维医学图像中对于坐标系的坐标。
12、根据两组点集，利用最小二乘法，可以获得坐标系与之间的变换。
13、获取位置传感器2与立体内窥镜1的左摄像机之间的坐标变换关系。
14、在位置传感器2的测量空间中固定标定板11。
15、将用于导航的位置传感器2固定于立体内窥镜1上，处于手术导航时的设置状态，保证位置传感器2与立体内窥镜1的左右眼摄像机为刚性连接。
16、在位置传感器2的测量空间内移动立体内窥镜1，让立体内窥镜1的左眼摄像机拍摄固定在位置传感器2测量空间的标定板11。用计算机4获取位置传感器2和立体内窥镜1的左眼摄像机的位置信息和图像信息序列。
17、在位置传感器2的测量空间内移动立体内窥镜1，让立体内窥镜1的左眼摄像机拍摄固定在位置传感器2测量空间的标定板11。用计算机4获取位置传感器2 位置和姿态信息序列，同时获取对应位置的立体内窥镜1左眼摄像机的图像信息序列。
18、根据获得的标定板11的图像序列，计算立体内窥镜1左眼摄像机的位置和姿态信息序列。
19、根据获得的立体内窥镜1左眼摄像机和位置传感器2的位置和姿态信息序列，计算位置传感器2与立体内窥镜1的左摄像机之间的坐标变换关系。
20、借助位置传感器2的输出，获取立体内窥镜1的左右摄像机在三维医学图像中的对应姿态和位置。
21、用计算机4获取位置传感器2的位置和姿态信息。
22、根据位置传感器2和立体内窥镜1的左摄像机之间的坐标变换关系，计算出立体内窥镜1的左右摄像机在的位置和姿态信息。
23、根据患者坐标系和三维医学图像坐标系之间的变换矩阵，计算立体内窥镜(1)的左右摄像机在三维医学图像中的对应姿态和位置。
24、生成与立体内窥镜1的左右摄像机对应的虚拟立体内窥镜左右眼摄像机图像。
25、将立体内窥镜1的左右摄像机在三维医学图像中的对应姿态和位置设定为虚拟立体内窥镜的左右眼摄像机的位置和姿态。
26、根据虚拟立体内窥镜的左右眼摄像机在三维医学图像中的位置和姿态，利用光线投射方法，生成虚拟立体内窥镜左右眼摄像机的图像。
27、显示立体内窥镜1的左右眼摄像机所拍摄到的手术区域影像。
28、用左右眼视频捕捉卡5抓取立体内窥镜1的左右眼摄像机所拍摄到的手术区域图像。
29、将左右眼视频捕捉卡5所获得立体内窥镜1的左右眼摄像机图像提交给的主动立体视频输出卡7。
30、利用立体视频输出卡7将获得的立体内窥镜1的左右眼摄像机图像通过分时的方式显示在立体内窥镜图像监视器9上，完成立体内窥镜1的左右眼摄像机图像的显示。
31、显示虚拟立体内窥镜的左右眼摄像机图像，所生成的虚拟立体内窥镜左右眼摄像机图像提交给的主动立体视频输出卡7。
32、利用立体视频输出卡7将获得的虚拟立体内窥镜左右眼摄像机图像通过分时的方式显示在虚拟立体内窥镜图像监视器10上，完成虚拟立体内窥镜左右眼摄像机图像的显示。
33、同步立体内窥镜和虚拟立体内窥镜的图像信息。
34、利用立体视频输出卡7的同步控制信号，完成立体内窥镜图像监视器9和虚拟立体内窥镜图像监视器10上左右眼图像的同步。
35、利用立体视频输出卡7的主动立体眼镜信号控制器8，控制主动立体眼镜3的左右眼分时开关，实现立体内窥镜图像监视器9、虚拟立体内窥镜图像监视器10以及主动立体眼镜3的左右眼图像同步。
Claims (2)
1.一种用于立体内窥镜手术导航的虚拟立体内窥镜图像的显示设备，由立体内窥镜，有线或无线6自由度位置传感器，主动立体眼镜，计算机，左右眼视频捕捉卡，位置传感器接口，主动立体视频输出卡，主动立体眼镜信号控制器，立体内窥镜图像监视器，虚拟立体内窥镜图像监视器，以及网格图像标定板组成；其特征在于：立体内窥镜左右眼摄像机的视频信号经由视频输出线接入到左右眼视频捕捉卡；6自由度位置传感器的输出由位置传感器接口输入到计算机中；主动立体眼镜信号控制器、立体内窥镜图像监视器、以及虚拟立体内窥镜图像监视器的数据分别来自于主动立体视频输出卡；用于生成虚拟立体内窥镜图像的3维医学图像存储在计算机中。
2.一种用于立体内窥镜手术导航的虚拟立体内窥镜显示方法，包括立体内窥镜成像模块、立体内窥镜图像显示模块、内窥镜标定模块、虚拟立体内窥镜成像模块以及虚拟立体内窥镜图像显示模块；其特征在于：立体内窥镜成像模块负责采集左右两视点(左右眼)的原始手术区域图像；立体内窥镜图像显示模块负责将左右眼的内窥镜图像通过立体监视系统显示在立体监视器上，同时提供医生获得立体视觉图像的实现；内窥镜标定模块负责立体内窥镜与虚拟立体内窥镜的成像位置对应，以及负责在立体监视器上成像后立体视觉效果的一致性和同步性；虚拟立体内窥镜成像模块负责生成与立体内窥镜左右眼图像对应的虚拟内窥镜左右眼图像；虚拟立体内窥镜图像显示模块负责将虚拟立体内窥镜图像显示在立体监视器上，同时提供医生获得立体视觉的实现；
具体步骤如下：
1）、对立体内窥镜的左右眼摄像机进行标定，分别得到立体内窥镜的左右眼摄像机的内参矩阵 、以及左右眼摄像机坐标系之间的变换矩阵；
2）、开始将网格图像标定板置于用立体内窥镜视场；计算机读取立体内窥镜左右眼摄像机所拍摄到的标定板的图像；
3）、改变网格图像标定板在立体内窥镜视场中的位置和姿态；用计算机读取立体内窥镜左右眼摄像机所拍摄到的标定板的图像；
4）、重复步骤3，用计算机获取立体内窥镜左右眼摄像机所拍摄到的标定板的图像序列，7对以上；
5）、在标定板上设定坐标系，并设定标定板网格图形各个交叉点在中的空间坐标；
6）、用计算机4读取图像序列中标定板网格图形各个交叉点的图像坐标；
7）、根据步骤5所获得的交叉点空间坐标以及步骤6所获得的对应交叉点图像坐标，利用张正友标定法可以计算出立体内窥镜左右眼摄像机的内部参数矩阵；同时可以获得与图像对应的外部参数矩阵和，即图像对应立体内窥镜的左右摄像机坐标系与坐标系的变换矩阵为：；
8）、由立体内窥镜的左右摄像机坐标系与坐标系的变换矩阵和可以获得立体内窥镜的右摄像机坐标系与立体内窥镜的左摄像机坐标系之间的变换矩阵为的均值；
9）、借助患者身上的特征点和位置传感器，来获取患者坐标系和三维医学图像坐标系之间的变换矩阵；
10）、将患者放置于手术工作台上，用位置传感器测量选取的特征点在坐标系中的坐标；
11）、用计算机获取步骤10的特征点在三维医学图像中对于坐标系的坐标；
12）、根据两组点集，利用最小二乘法，可以获得坐标系与之间的变换；
13）、获取位置传感器与立体内窥镜的左摄像机之间的坐标变换关系；
14）、在位置传感器的测量空间中固定标定板；
15）、将用于导航的位置传感器固定于立体内窥镜上，处于手术导航时的设置状态，保证位置传感器与立体内窥镜的左右眼摄像机为刚性连接；
16）、在位置传感器的测量空间内移动立体内窥镜，让立体内窥镜(1)的左眼摄像机拍摄固定在位置传感器测量空间的标定板，用计算机获取位置传感器和立体内窥镜的左眼摄像机的位置信息和图像信息序列；
17）、在位置传感器的测量空间内移动立体内窥镜，让立体内窥镜的左眼摄像机拍摄固定在位置传感器测量空间的标定板，用计算机获取位置传感器 位置和姿态信息序列，同时获取对应位置的立体内窥镜左眼摄像机的图像信息序列；
18）、根据获得的标定板的图像序列，计算立体内窥镜左眼摄像机的位置和姿态信息序列；
19）、根据获得的立体内窥镜左眼摄像机和位置传感器的位置和姿态信息序列，计算位置传感器与立体内窥镜的左摄像机之间的坐标变换关系；
20）、借助位置传感器的输出，获取立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置；
21）、用计算机获取位置传感器的位置和姿态信息；
22）、根据位置传感器和立体内窥镜的左摄像机之间的坐标变换关系，计算出立体内窥镜的左右摄像机在的位置和姿态信息；
23）、根据患者坐标系和三维医学图像坐标系之间的变换矩阵，计算立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置；
24）、生成与立体内窥镜的左右摄像机对应的虚拟立体内窥镜左右眼摄像机图像；
25）、将立体内窥镜的左右摄像机在三维医学图像中的对应姿态和位置设定为虚拟立体内窥镜的左右眼摄像机的位置和姿态；
26）、根据虚拟立体内窥镜的左右眼摄像机在三维医学图像中的位置和姿态，利用光线投射方法，生成虚拟立体内窥镜左右眼摄像机的图像；
27）、显示立体内窥镜的左右眼摄像机所拍摄到的手术区域影像；
28）、用左右眼视频捕捉卡抓取立体内窥镜的左右眼摄像机所拍摄到的手术区域图像；
29）、将左右眼视频捕捉卡所获得立体内窥镜的左右眼摄像机图像提交给的主动立体视频输出卡；
30）、利用立体视频输出卡将获得的立体内窥镜的左右眼摄像机图像通过分时的方式显示在立体内窥镜图像监视器上，完成立体内窥镜的左右眼摄像机图像的显示；
31)、显示虚拟立体内窥镜的左右眼摄像机图像，所生成的虚拟立体内窥镜左右眼摄像机图像提交给的主动立体视频输出卡；
32)、利用立体视频输出卡将获得的虚拟立体内窥镜左右眼摄像机图像通过分时的方式显示在虚拟立体内窥镜图像监视器上，完成虚拟立体内窥镜左右眼摄像机图像的显示；
33)、同步立体内窥镜和虚拟立体内窥镜的图像信息；
34)、利用立体视频输出卡的同步控制信号，完成立体内窥镜图像监视器和虚拟立体内窥镜图像监视器上左右眼图像的同步；
35)、利用立体视频输出卡的主动立体眼镜信号控制器，控制主动立体眼镜的左右眼分时开关，实现立体内窥镜图像监视器、虚拟立体内窥镜图像监视器以及主动立体眼镜的左右眼图像同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510187477.XA CN104887314A (zh) | 2015-04-21 | 2015-04-21 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510187477.XA CN104887314A (zh) | 2015-04-21 | 2015-04-21 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104887314A true CN104887314A (zh) | 2015-09-09 |
Family
ID=54020582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510187477.XA Pending CN104887314A (zh) | 2015-04-21 | 2015-04-21 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104887314A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648077A (zh) * | 2016-11-30 | 2017-05-10 | 南京航空航天大学 | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 |
| CN108882854A (zh) * | 2016-03-21 | 2018-11-23 | 华盛顿大学 | 3d医学图像的虚拟现实或增强现实可视化 |
| CN109714571A (zh) * | 2018-12-28 | 2019-05-03 | 重庆电子工程职业学院 | 一种医生手术智慧监管系统 |
| CN112236101A (zh) * | 2018-04-04 | 2021-01-15 | 直观外科手术操作公司 | 用于立体内窥镜摄像机的动态孔径定位 |
| CN115908121A (zh) * | 2023-02-23 | 2023-04-04 | 深圳市精锋医疗科技股份有限公司 | 内窥镜配准方法及装置和标定系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101190124A (zh) * | 2006-11-08 | 2008-06-04 | 美国西门子医疗解决公司 | 交互式四维虚拟内窥镜检查术的方法和设备 |
| CN101518438A (zh) * | 2009-03-27 | 2009-09-02 | 南开大学 | 双目内窥镜手术视觉系统 |
| CN102428496A (zh) * | 2009-05-18 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 用于em跟踪内窥镜系统的无标记物跟踪的配准和校准 |
| JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
-
2015
- 2015-04-21 CN CN201510187477.XA patent/CN104887314A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101190124A (zh) * | 2006-11-08 | 2008-06-04 | 美国西门子医疗解决公司 | 交互式四维虚拟内窥镜检查术的方法和设备 |
| CN101518438A (zh) * | 2009-03-27 | 2009-09-02 | 南开大学 | 双目内窥镜手术视觉系统 |
| CN102428496A (zh) * | 2009-05-18 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 用于em跟踪内窥镜系统的无标记物跟踪的配准和校准 |
| JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李冰: "双目成像技术在内窥镜图像立体显示中的应用研究", 《重庆大学硕士学位论文》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108882854A (zh) * | 2016-03-21 | 2018-11-23 | 华盛顿大学 | 3d医学图像的虚拟现实或增强现实可视化 |
| CN108882854B (zh) * | 2016-03-21 | 2022-05-24 | 华盛顿大学 | 3d医学图像的虚拟现实或增强现实可视化 |
| CN106648077A (zh) * | 2016-11-30 | 2017-05-10 | 南京航空航天大学 | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 |
| CN112236101A (zh) * | 2018-04-04 | 2021-01-15 | 直观外科手术操作公司 | 用于立体内窥镜摄像机的动态孔径定位 |
| CN109714571A (zh) * | 2018-12-28 | 2019-05-03 | 重庆电子工程职业学院 | 一种医生手术智慧监管系统 |
| CN115908121A (zh) * | 2023-02-23 | 2023-04-04 | 深圳市精锋医疗科技股份有限公司 | 内窥镜配准方法及装置和标定系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101647467B1 (ko) | 증강현실을 이용한 외과 수술용 3d 안경 시스템 | |
| WO2017179350A1 (ja) | 画像表示制御装置および方法並びにプログラム | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| US10334227B2 (en) | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives | |
| US8911358B2 (en) | Endoscopic vision system | |
| CN104887314A (zh) | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 | |
| JP2015531271A (ja) | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 | |
| CN105942959A (zh) | 胶囊内窥镜系统及其三维成像方法 | |
| US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
| CN108093244B (zh) | 一种远程随动立体视觉系统 | |
| RU2015145510A (ru) | Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения | |
| CN103519895A (zh) | 一种骨科手术辅助导引方法 | |
| US20170035268A1 (en) | Stereo display system and method for endoscope using shape-from-shading algorithm | |
| CN106648077A (zh) | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 | |
| JP4580678B2 (ja) | 注視点位置表示装置 | |
| CN115919239A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 | |
| CN104887316A (zh) | 基于主动立体显示技术的虚拟立体内窥镜显示方法 | |
| Karargyris et al. | 3D representation of the digestive tract surface in Wireless Capsule Endoscopy videos | |
| WO2016194446A1 (ja) | 情報処理装置、情報処理方法、及び生体内撮像システム | |
| CN206649468U (zh) | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 | |
| EP1275258A1 (en) | Design, function, and utilisation of an equipment for capturing of three-dimensional images | |
| EP3595299A1 (en) | Medical image display control device, medical image display device, medical information processing system, and medical image display control method | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| WO2020054595A1 (ja) | 手術支援システム、表示制御装置、および表示制御方法 | |
| Salb et al. | INPRES (intraoperative presentation of surgical planning and simulation results): augmented reality for craniofacial surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150909 |
|
| RJ01 | Rejection of invention patent application after publication |