CN110169821A - 一种图像处理方法、装置及系统 - Google Patents
一种图像处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110169821A CN110169821A CN201910354178.9A CN201910354178A CN110169821A CN 110169821 A CN110169821 A CN 110169821A CN 201910354178 A CN201910354178 A CN 201910354178A CN 110169821 A CN110169821 A CN 110169821A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional model
- model data
- target area
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 21
- 210000004204 blood vessel Anatomy 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 210000005036 nerve Anatomy 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229940074731 ophthalmologic surgical aids Drugs 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施方式公开了一种图像处理方法、装置及系统，其中，图像处理方法包括：获取目标区域的三维模型数据；通过图像采集装置获得目标区域的实际图像；将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
Description
技术领域
本申请涉及医疗技术领域，特别涉及一种图像处理方法、装置及系统。
背景技术
外科手术中由于需要对手术区域进行精细操作，所以需要获得清晰的手术区域的视野，就好比使用放大镜对细小的血管进行精密的缝合。因此需要这种辅助放大视野的装置。
当前主要使用头戴式放大镜和机械臂式手术显微镜完成本工作，但是由于都采用了光学结构，从而使得术者的头部必须相对固定才可以获得清晰视野。这大大增加了医生的工作强度。
发明内容
本申请实施方式的目的是提供一种图像处理方法、装置及系统，本技术方案解放医生术中头部可以活动而不影响视野的问题，并且图像处理方法能够在实际手术对象上产生提示性的信息，大大提高医生工作效率。
为实现上述目的，本申请实施方式提供一种图像处理方法，所述方法包括：
获取目标区域的三维模型数据；
通过图像采集装置获得目标区域的实际图像；
将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；
对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；
将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
优选地，所述三维模型数据包括特征信息；其中，所述特征信息包括血管、神经、组织器官和病变组织。
优选地，所述三维模型数据通过磁共振成像和/或电子计算机断层扫描获得。
优选地，获得虚拟图像的步骤包括：
通过定位装置实时获得图像采集装置的位置姿态数据；
根据所述位置姿态数据确定所述实际图像的旋转位移矩阵；
根据图像采集装置中的摄像头的内参以及摄像头的参数确定投影矩阵；
利用所述旋转位移矩阵和所述投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像。
为实现上述目的，本申请实施方式提供一种图像处理装置，所述装置包括：
三维模型数据获取单元，用于获取目标区域的三维模型数据；
实际图像获取单元，用于通过图像采集装置获得目标区域的实际图像；
关联单元，用于将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；
虚拟图像单元，用于利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；
融合单元，用于将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
为实现上述目的，本申请实施方式提供一种图像处理系统，包括：
图像采集装置、锁定装置、定位装置、图像处理器和头戴式双目显示器；其中，
所述定位装置，用于确定用户的头部的运动方向和速度，根据所述用户的头部的运动方向和速度产生控制信号，将所述控制信号传输至所述图像采集装置；
所述图像采集装置，用于根据所述控制信号调整图像采集装置的姿态和位置，使得所述图像采集装置的视野符合用户要求，并获取目标区域的实际图像信息，将所述实际图像信息发送至所述图像处理器；
所述锁定装置，用于在所述图像采集装置的视野符合用户要求时固定所述图像采集装置的姿态和位置；
所述图像处理器，用于获取目标区域的三维模型数据和所述实际图像信息；将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；将所述虚拟图像与所述目标区域的实际图像匹配融合，获得所述目标区域的合成图像；
所述头戴式双目显示器，用于显示所述目标区域的合成图像。
优选地，所述图像采集装置为双路图像采集子装置，其中，一路图像采集子装置用于左眼图像信息的采集；另一路图像采集子装置用于右眼图像信息的采集。
优选地，所述图像采集装置具有多种类型的感光芯片。
优选地，所述定位装置包括红外相机、定位球、惯性传感器和机械运动传感器。
优选地，所述图像采集装置用于对所述目标区域的实际图像信息进行放大处理图像采集装置获取的实际图像信息。
为实现上述目的，本申请实施方式提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的图像处理方法。
为实现上述目的，本申请实施方式提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述所述的图像处理方法的步骤。
由上可见，与现有技术相比较，本技术方案可以为医生提供更好的手术辅助，手术过程中医生的头部可以随意的运动无需固定在特定位置。并且，在术中，本系统可以为医生提供血管、手术区域、危险区域或者文字等各种信息索引，从而引导医生更好的进行手术。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例提出的一种图像处理系统示意图；
图2为本实施例提出的一种图像处理方法流程图；
图3为本实施例提出的一种图像处理装置功能框图；
图4为本实施例提出的一种图像处理装置中虚拟图像获取单元功能框图；
图5为本实施例提出的一种电子设备示意图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本公开省略了已知材料、组件和工艺技术的描述，从而不使本公开的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。此外，在本公开各个实施例中，相同或类似的参考标号表示相同或类似的构件。
在外科手术中，涉及对手术区域进行精细操作，需要获得清晰的手术区域的视野，因此需要这种辅助放大视野的装置。放大镜可以完成这项工作的基本功能，但是使用起来并不方便。因此，出现了头戴式放大镜来实现相同功能的手术辅助器械。然而，头戴式放大镜使用时要求术者的头部绝对不能移动，否则手术视野也会发生移动。由此产生了现代的臂式手术显微镜，使得物镜不再随头部的运动而运动，从而保证了手术视野的稳定。但是臂式的手术显微镜仍然要求医生在观察手术区域时头部必须固定。并且，臂式的手术显微镜整体非常笨重，严重影响了整个的手术布局，导致了手术区域被手术设备占据了大部分，同时也存在目镜位置固定，医生头部无法自由活动从而影响医生手术体验的问题。另外，现有技术也仅使用了光学结构而无法叠加其他信息，也无法在图像上对主刀医生进行提示。
基于上述描述，本技术方案利用头戴式显示器代替头戴放大镜作为手术的辅助工具，使用摄像头等图像采集装置以固定角度进行图像采集，使得医生在手术时头部可以自由活动而不必担心手术时因为头部的移动而丢失手术区域的信息，也可同时使用多台头戴式显示器达到多名医生共享视野的目的，并且图像采集装置采集的信息经过图像处理可以实时的为采集的图像中添加更多信息辅助医生手术,例如血管或者神经的位置信息，手术区域及危险区域的提示信息。摄像头本身也可以采用多种不同的感光芯片，几种感光芯片之间可以随意切换从而保证采集到多模态的信息，例如使用红外光源配合红外光接收器采集血管信息，使用荧光注射剂通过荧光接收器采集肿瘤位置信息，使用造影剂配合相应的接收器采集各种组织器官信息。
如图1所示，为一种图像处理系统示意图。包括：图像采集装置1、锁定装置2、定位装置3、图像处理器5和头戴式双目显示器4。其中，
所述定位装置3，用于确定用户的头部的运动方向和速度，根据所述用户的头部的运动方向和速度产生控制信号，将所述控制信号传输至所述图像采集装置；
所述图像采集装置1，用于根据所述控制信号调整图像采集装置的姿态和位置，使得所述图像采集装置的视野符合用户要求，并获取目标区域的实际图像信息，将所述实际图像信息发送至所述图像处理器；
所述锁定装置2，用于在所述图像采集装置的视野符合用户要求时固定所述图像采集装置的姿态和位置。在实际应用中，锁定装置2负责移动图像采集装置中的摄像头的机械臂来控制图像采集装置的视野符合用户要求，锁定装置2并没有在图1中示出。
所述图像处理器5，用于获取目标区域的三维模型数据和所述实际图像信息；将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；将所述虚拟图像与所述目标区域的实际图像匹配融合，获得所述目标区域的合成图像；所述头戴式双目显示器4，用于显示所述目标区域的合成图像。
在图1中，左侧为图像采集装置1为可调节位置的摄像头安装在记忆金属或者可塑性(金属)软管或者机械臂的前端，在头戴式双目显示器4和图像采集装置1上均设置定位装置3，所述定位装置包括红外相机、定位球、惯性传感器和机械运动传感器。该红外相机专门负责追踪带有某些反光标志的标志物的位置信息数据的设备，从而判断贴有反光标志物的对象的具体位置数据。红外相机、定位球、惯性传感器和机械运动传感器相互协作，确定医生的头部在手术期间发生转动的运动方向和速度，从而达到调整摄像头视野角度。调整完成后，通过锁定装置2以便固定姿态位置。
图像采集装置1的摄像头可以为双目摄像头，可采集双目图像，该摄像头通常距离手术区域15-30厘米，摄像头可以为可调焦摄像头，从而直接用光学结构获取更清晰的图像信息，也可以为固定焦距的摄像头，并使用软件的方式将图像放大。如果为固定焦距的摄像头，则需要为高清摄像头，以保证在放大局部图像的情况下不失真。由于手术过程需要对目标区域进行放大，因此摄像头的放大倍率在4到40倍之间。整个双目镜头完全封装在管状结构内方便拆装和消毒，镜头后端有分光镜设备，可以将左右光路分别发送到转换器中，转换器为光线反射装置，将镜头采集到的图像反射到转换器后端的摄像机感光芯片上(CMOS)，图像采集部分的摄像头还可以配备多种类型的图像传感器(使用不同的CMOS)，从而采集各种模态的图像信息，例如使用红外光源配合红外光接收器采集血管信息，使用荧光注射剂通过荧光接收器采集肿瘤位置信息，使用造影剂配合相应的接收器采集各种组织器官信息等。因此，本技术方案的图像采集设备可以配合红外采集设备、荧光采集设备等多种采集成像技术，实现多模态的采集，可以提供除可见光以外的更多的图像信息，提高手术的便捷性准确性。
图像采集装置1调整完姿态后锁定以保证不会因为触碰而造成摄像头的偏移。在锁定时使用机械结构或者电机等锁定装置2进行死锁。摄像头自带冷光源，摄像头的移动方式为手动控制或者随头戴式图像显示器的运动而产生移动。例如，头戴式双目显示器4附带定位装置3，该定位装置3可以实时监测到主刀医生头部的加速度和角速度，接下来可以通过积分的方式求出主刀医生头部在某一固定时间的运动情况，例如：通过积分加速度可以得到运动的距离，通过积分角速度可以得到头部旋转的角度，从而可以判断出头部的运动方向和速度，以此作为输入控制摄像头向相应方向运动，也就是说如果医生的头部向上移动1厘米，那么摄像头的视野也将向上移动，该移动由图像采集装置收到控制信号后自动进行控制，具体移动距离可按照倍率进行倍减，也就是说在放大20倍的情况下，医生的头部向上移动2厘米，则摄像头实际上移动距离为1厘米。当位置调整完毕后，医生可以使用脚踏板或者按钮在医生认为理想的位置停止摄像头的运动并锁定整体图像采集装置的位置和姿态，从而保证图像采集装置的图像采集稳定。
图像显示装置为头戴式双目显示器4，左眼和右眼显示的图像并不相同，左眼的图像采集自左侧物镜经左侧转换器进入摄像机感光芯片中，右眼的图像采集自右侧物镜经右侧转换器进入摄像机感光芯片中，这样可以模拟人眼的左右眼观察的效果。因此，图像采集装置为双路图像采集子装置，其中，一路图像采集子装置用于左眼图像信息的采集；另一路图像采集子装置用于右眼图像信息的采集。左右眼可以根据物体在左右眼中位置的不同感受到物体的远近，近处的物体在左右眼中的距离偏移较大，而远处的物体则偏移较小。举个例子：在脸部前方正中央竖起一只手指，左眼观测到手指在视野的右侧，右眼的观测结果则正好相反，但双目看到的远处的图像却几乎完全一致，该数据可以提供距离信息以供主刀医生准确辨别手术区域的组织的前后关系，同时也可以在一侧物镜被遮挡的情况下继续进行。该部分与图像采集设备之间可以通过有线或者无线的方式进行通信。
图1中的中间部分为图像处理器5，可以将图像采集装置1采集到的图像进行处理，在图像上进行标注或者提示出血管位置，也可以标注手术区域、危险区域等等辅助医生进行手术，也可以进行各种文字及图像的操作提示，辅助医生进行治疗。图像显示装置可以为多台双目显示器，共享相同的视野信息，以便多人协同进行手术。同时多人的位置随意不需要根据目镜的位置进行站位，且所有使用者看到的图像一致，便于主刀医生的指挥和协调。
整个设备的操作过程如下，首先由图像采集装置将镜头对准手术区域，使用脚踏板或者控制按钮将图像采集装置的姿态进行锁定，保证镜头所对手术区域不会由于意外撞击等原因而发生改变。图像采集装置对手术区域的图像进行采集，采集到的图像数据通过有线或者无线方式传输到图像处理装置内。图像处理装置将采集到的图像处理后再传输至头戴式双目显示器中。这里图像处理装置并不是必须存在的。可以将采集到的图像直接传输至头戴式双目显示器而不经过图像处理装置。图像处理装置主要负责将采集到的数据图像进行图像识别和分割等操作，例如将采集到的图像分割标识出血管、手术区域、神经和正常组织等信息并显示部分上标识出对应的区域。头戴式双目显示器负责将采集到的图像进行双目显示，该部分数据也可以整合图像处理装置上分割得到的图像结果。从而实现在实际图像上叠加提示信息的功能，弥补纯光学设备的局限。同时在姿态锁定前，可以使用头部的运动来控制图像采集装置的运动，保证采集到的图像为主刀医生最需要的。通过锁定装置2对图像采集装置进行姿态锁定，从而保证主刀医生的头部可以自由的活动而不影响自然视野，解决了光学设备的又一技术难题。显示部分可以为多台头戴式双目显示器，只有主刀医生的头戴式双目显示器上设置惯性传感器，这样才可以控制图像采集部分的移动，其他头戴式双目显示器只起到显示作用，给助手佩戴或者输出到外部场景对手术进行直播。由于头戴式双目显示器不需要相对手术台固定位置，也就是说助手医生的站位可以非常灵活不在受目镜位置的限制，从而节省了有限的手术空间，提高了手术的可操作性。
如图2所示，为一种图像处理方法流程图。包括：
步骤201)：获取目标区域的三维模型数据。
在本步骤中，整体需要显示的数据由CT或者MRi进行采集提供，获得对应的三维模型数据。该数据一般为特定区域的数据，涵盖特征信息(例如肿瘤等)，同时包含肿瘤周边的其他必要信息(如血管和神经等)。该数据作为显示数据的基础只有包含所需要的信息才能在后续的显示中显示出来。因此，获取特定部位的CT或者MRi数据，并将该数据生成为三维模型。同时，在该模型上分割出血管、神经、肿瘤等特定部位进行分割和标注为后续显示提供数据基础。
步骤202)：通过图像采集装置获得目标区域的实际图像。
在本步骤中，实际图像部分将由图像采集装置提供，图像采集装置负责采集目标区域的实际图像，图像采集装置的摄像头一方面有利于提供景深效果，另一方面也便于处理手术器械遮挡的情况，保证视野的清晰可见。同时作为真实情况数据的提供设备，在数据的采集方面有必要保证数据采集的实时性，也就是摄像头的刷新率需要保证在60赫兹以上来缩小操作与显示内容之间的差异，同时为了保证最终可以清晰的显示出实际图像，在满足之前所有参数的前提下采用尽可能高的分辨率。图像采集装置通过锁定装置进行固定，目的是保证图像不抖动。惯性传感器根据头戴式双目显示器的姿态产生控制信号来相应调整图像采集装置的姿势和位置。例如佩戴者头部的上下左右运动可以传递给图像采集装置从而将整个视野区域进行上下左右的移动。
步骤203)：将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上。
将三维模型数据与目标区域的实体进行相关联时，需要将已储存的三维模型数据与实际的人体相关联。使用无源探针记录下三维模型数据中的一些尖端的点在空间中的对应位置，例如鼻头、眼角、耳根等，并按照这些点所在的空间位置将存储好的三维模型数据对应到实体上。
步骤204)：对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像。
在本步骤中，通过实时追踪图像采集装置的位置获得摄像头位置姿态数据，使用以上数据计算出图像的旋转位移矩阵，使用图像采集装置中的摄像头的内参(intrinsicmatrix)及摄像头本身的参数(即外参)计算出投影矩阵(projection matrix)。使用投影矩阵和旋转位移矩阵计算获得模型视图投影。为了便于理解，假设观察目标所在位置为A,摄像机所在位置为B,那么AB之间存在一定位置关系，如果摄像机从B位置移动到了C位置，那么AC之间存在新的对应关系，BC之间根据计算机图形学原理存在一个变换矩阵可以将B点的图像进行平移旋转变换获得C点应该观测到的数据。BC之间的关系称为图像变换矩阵。AB,AC的称为旋转位移矩阵，由于图像采集装置是有放大功能的所以这里的摄像头内参并不是某个固定值，而是需要根据放大的情况具体计算获得，内参和外参一起才可以获得投影矩阵。
步骤205)：将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
在本步骤中，经过图像处理器将虚拟图像与图像采集装置实际采集到的图像合成，得到所需的增强现实图像。最后图像处理器将该图像显示在头戴式双目显示器上实现增强显示的视觉效果。
如图3所示，为本申请实施方式提供一种图像处理装置框图。包括：
三维模型数据获取单元301，用于获取目标区域的三维模型数据；
实际图像获取单元302，用于通过图像采集装置获得目标区域的实际图像；
关联单元303，用于将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；
虚拟图像获取单元304，用于对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；
融合单元305，用于将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
优选地，所述三维模型数据获取单元301获取的三维模型数据包括特征信息；其中，所述特征信息包括血管、神经、肿瘤。
优选地，所述三维模型数据获取单元301通过磁共振成像和/或电子计算机断层扫描获得三维模型数据。
如图4所示，为本申请实施方式中图像处理装置内的虚拟图像获取单元功能框图。包括：
位置姿态数据获取模块3041，用于通过定位装置实时获得图像采集装置的位置姿态数据；
旋转位移矩阵获取模块3042，用于根据所述位置姿态数据确定所述实际图像的旋转位移矩阵；
投影矩阵获取模块3043，用于根据图像采集装置中的摄像头的内参以及摄像头的参数确定投影矩阵；
虚拟图像模块3044，用于利用所述旋转位移矩阵和所述投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像。
如图5所示，为本申请实施方式提供一种电子设备示意图。包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的图像处理方法。
本说明书实施方式提供的图像处理方法，其存储器和处理器实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
为实现上述目的，本申请实施方式提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述所述的图像处理方法的步骤。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对客户端和服务器的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。
本技术方案可以为医生提供更好的手术辅助，手术过程中医生的头部可以随意的运动无需固定在特定位置。并且，在术中，本技术方案可以为医生提供血管、手术区域、危险区域或者文字等各种信息索引，从而引导医生更好的进行手术。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标区域的三维模型数据；
通过图像采集装置获得目标区域的实际图像；
将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；
对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；
将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
2.如权利要求1所述的方法，其特征在于，所述三维模型数据包括特征信息；其中，所述特征信息包括血管、神经、器官和病变组织。
3.如权利要求2所述的方法，其特征在于，所述三维模型数据通过磁共振成像和/或电子计算机断层扫描获得。
4.如权利要求1所述的方法，其特征在于，获得虚拟图像的步骤包括：
通过定位装置实时获得图像采集装置的位置姿态数据；
根据所述位置姿态数据确定所述实际图像的旋转位移矩阵；
根据图像采集装置中的摄像头的内参以及摄像头的参数确定投影矩阵；
利用所述旋转位移矩阵和所述投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像。
5.一种图像处理装置，其特征在于，所述装置包括：
三维模型数据获取单元，用于获取目标区域的三维模型数据；
实际图像获取单元，用于通过图像采集装置获得目标区域的实际图像；
关联单元，用于将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；
虚拟图像单元，用于利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；
融合单元，用于将所述虚拟图像与所述目标区域的实际图像匹配融合，获得头戴式双目显示器显示的结果信息。
6.一种图像处理系统，其特征在于，包括：
图像采集装置、锁定装置、定位装置、图像处理器和头戴式双目显示器；其中，
所述定位装置，用于确定用户的头部的运动方向和速度，根据所述用户的头部的运动方向和速度产生控制信号，将所述控制信号传输至所述图像采集装置；
所述图像采集装置，用于根据所述控制信号调整图像采集装置的姿态和位置，使得所述图像采集装置的视野符合用户要求，并获取目标区域的实际图像信息，将所述实际图像信息发送至所述图像处理器；
所述锁定装置，用于在所述图像采集装置的视野符合用户要求时固定所述图像采集装置的姿态和位置；
所述图像处理器，用于获取目标区域的三维模型数据和所述实际图像信息；将所述三维模型数据中的特征空间位置与所述实际图像的特征空间位置相对应，获得所述三维模型数据对应的实体的位置姿态信息；并按照所述位置姿态信息将所述三维模型数据投影到所述实际图像上；利用投影矩阵对与目标区域的实体相关联的三维模型数据进行处理，获得虚拟图像；将所述虚拟图像与所述目标区域的实际图像匹配融合，获得所述目标区域的合成图像；
所述头戴式双目显示器，用于显示所述目标区域的合成图像。
7.如权利要求6所述的系统，其特征在于，所述图像采集装置为双路图像采集子装置，其中，一路图像采集子装置用于左眼图像信息的采集；另一路图像采集子装置用于右眼图像信息的采集。
8.如权利要求6所述的系统，其特征在于，所述图像采集装置具有多种类型的感光芯片。
9.如权利要求6所述的系统，其特征在于，所述定位装置包括红外相机、定位球、惯性传感器和机械运动传感器。
10.如权利要求6所述的系统，其特征在于，所述图像采集装置用于对所述目标区域的实际图像信息进行放大处理图像采集装置获取的实际图像信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910354178.9A CN110169821B (zh) | 2019-04-29 | 2019-04-29 | 一种图像处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910354178.9A CN110169821B (zh) | 2019-04-29 | 2019-04-29 | 一种图像处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110169821A true CN110169821A (zh) | 2019-08-27 |
| CN110169821B CN110169821B (zh) | 2020-07-10 |
Family
ID=67690296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910354178.9A Active CN110169821B (zh) | 2019-04-29 | 2019-04-29 | 一种图像处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110169821B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017300A (zh) * | 2020-07-22 | 2020-12-01 | 青岛小鸟看看科技有限公司 | 混合现实图像的处理方法、装置及设备 |
| CN112070820A (zh) * | 2020-08-29 | 2020-12-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种分布式增强现实的定位终端、定位服务器及定位系统 |
| WO2022058777A1 (en) * | 2020-09-21 | 2022-03-24 | Valinia Seyed Soroush | Real-time control system for body augmentation and reduction cosmetic surgeries by calculation of body form changes in different postures |
| CN114430482A (zh) * | 2022-04-02 | 2022-05-03 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| CN115458128A (zh) * | 2022-11-10 | 2022-12-09 | 北方健康医疗大数据科技有限公司 | 一种基于关键点生成数字人体影像的方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106859767A (zh) * | 2017-03-29 | 2017-06-20 | 上海霖晏网络科技有限公司 | 一种手术导航方法 |
| US20180168740A1 (en) * | 2016-08-16 | 2018-06-21 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| CN108261242A (zh) * | 2017-12-26 | 2018-07-10 | 成都真实维度科技有限公司 | 一种基于虚拟成像技术的术中管腔内视窗导航方法 |
| CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
| CN109464194A (zh) * | 2018-12-29 | 2019-03-15 | 上海联影医疗科技有限公司 | 医学图像的显示方法、装置、医学设备及计算机存储介质 |
-
2019
- 2019-04-29 CN CN201910354178.9A patent/CN110169821B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180168740A1 (en) * | 2016-08-16 | 2018-06-21 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| CN106859767A (zh) * | 2017-03-29 | 2017-06-20 | 上海霖晏网络科技有限公司 | 一种手术导航方法 |
| CN108261242A (zh) * | 2017-12-26 | 2018-07-10 | 成都真实维度科技有限公司 | 一种基于虚拟成像技术的术中管腔内视窗导航方法 |
| CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
| CN109464194A (zh) * | 2018-12-29 | 2019-03-15 | 上海联影医疗科技有限公司 | 医学图像的显示方法、装置、医学设备及计算机存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017300A (zh) * | 2020-07-22 | 2020-12-01 | 青岛小鸟看看科技有限公司 | 混合现实图像的处理方法、装置及设备 |
| CN112070820A (zh) * | 2020-08-29 | 2020-12-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种分布式增强现实的定位终端、定位服务器及定位系统 |
| WO2022058777A1 (en) * | 2020-09-21 | 2022-03-24 | Valinia Seyed Soroush | Real-time control system for body augmentation and reduction cosmetic surgeries by calculation of body form changes in different postures |
| CN114430482A (zh) * | 2022-04-02 | 2022-05-03 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| CN114430482B (zh) * | 2022-04-02 | 2022-08-05 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| CN115458128A (zh) * | 2022-11-10 | 2022-12-09 | 北方健康医疗大数据科技有限公司 | 一种基于关键点生成数字人体影像的方法、装置及设备 |
| CN115458128B (zh) * | 2022-11-10 | 2023-03-24 | 北方健康医疗大数据科技有限公司 | 一种基于关键点生成数字人体影像的方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110169821B (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110169821B (zh) | 一种图像处理方法、装置及系统 | |
| US20200246081A1 (en) | Augmented reality navigation systems for use with robotic surgical systems and methods of their use | |
| Chen et al. | Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display | |
| US20240245463A1 (en) | Visualization of medical data depending on viewing-characteristics | |
| KR101647467B1 (ko) | 증강현실을 이용한 외과 수술용 3d 안경 시스템 | |
| Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
| CA2486525C (en) | A guide system and a probe therefor | |
| US7493153B2 (en) | Augmented reality system controlled by probe position | |
| JP2575586B2 (ja) | 外科用装置位置付けシステム | |
| US8509503B2 (en) | Multi-application robotized platform for neurosurgery and resetting method | |
| US20050203380A1 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| CN109925057A (zh) | 一种基于增强现实的脊柱微创手术导航方法及系统 | |
| CN109715106B (zh) | 控制装置、控制方法及医疗系统 | |
| WO2019087904A1 (ja) | 手術アームシステム及び手術アーム制御システム | |
| JP2020156800A (ja) | 医療用アームシステム、制御装置、及び制御方法 | |
| US11340708B2 (en) | Gesture control of medical displays | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| JP2022553385A (ja) | Ｅｎｔ処置の可視化システム及び方法 | |
| CN109833092A (zh) | 体内导航系统和方法 | |
| US20220319135A1 (en) | Multi-modal visualization in computer-assisted tele-operated surgery | |
| CN117918955B (zh) | 一种增强现实外科导航装置、方法、系统设备及介质 | |
| CN211484971U (zh) | 一种手术综合视景智能辅助系统 | |
| Zhang et al. | From AR to AI: augmentation technology for intelligent surgery and medical treatments | |
| Salb et al. | INPRES (intraoperative presentation of surgical planning and simulation results): augmented reality for craniofacial surgery | |
| JP7134656B2 (ja) | 医療用表示制御装置、および表示制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |