CN117017523A - 一种医疗辅助视频系统及方法 - Google Patents

一种医疗辅助视频系统及方法 Download PDF

Info

Publication number
CN117017523A
CN117017523A CN202311141693.1A CN202311141693A CN117017523A CN 117017523 A CN117017523 A CN 117017523A CN 202311141693 A CN202311141693 A CN 202311141693A CN 117017523 A CN117017523 A CN 117017523A
Authority
CN
China
Prior art keywords
video
head
medical auxiliary
module
auxiliary video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311141693.1A
Other languages
English (en)
Inventor
芮锌
桂海燕
齐海鹏
邹健飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Hawei Bioengineering Co ltd
Original Assignee
Heilongjiang Hawei Bioengineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Hawei Bioengineering Co ltd filed Critical Heilongjiang Hawei Bioengineering Co ltd
Priority to CN202311141693.1A priority Critical patent/CN117017523A/zh
Publication of CN117017523A publication Critical patent/CN117017523A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种医疗辅助视频系统及方法，涉及医疗器械领域，所述系统用于头戴式医疗辅助视频设备，所述系统包括：视频获取模块，用于获取手术视频图像；图像获取模块，用于获取现实空间中的视频图像；传感模块用于，获取头戴式医疗辅助视频设备的加速度数据和姿态角度数据；空间定位模块，用于根据加速度数据和姿态角度数据，得到头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与姿态；渲染模块，用于根据当前位置与当前姿态以及手术视频图像，得到渲染完成的视频信号；显示模块，用于显示渲染完成的视频。通过空间定位模块实现对医疗辅助视频系统的相对位置的准确感知，改善头戴式医疗辅助视频设备在混合现实空间中的映射精度。

Description

一种医疗辅助视频系统及方法
技术领域
本发明涉及医疗器械领域，具体而言，涉及一种医疗辅助视频系统及方法。
背景技术
目前，临床手术大规模应用机器人手术系统，使医生可以远离手术台，操纵机器进行手术，同时，机器人手术系统配有视频系统，方便对手术过程进行监控，同时视频信号会传送至医疗辅助视频系统中，指导专家可以通过医疗辅助视频系统，远程关注手术过程中的每一个动作。医疗辅助视频系统通常用于接收并播放手术过程视频等医疗视频以及手术音频，并通过3D头戴显示装置作为视频显示设备佩带在指导专家的头部，从而观看整个手术的全过程，并对手术视频中的重点区域进行标注，并将标注的内容显示在显示装置中。
在现有技术中，一般采用通过视频图像的机器学习技术和滑动模型控制对标注进行处理，实现视频显示图像的叠加。但由于视频图像和机器学习算法对于3D头戴显示装置，在混合现实空间中的精确位置和姿态的计算有限，这可能导致3D标记在眼镜视野中的映射不够准确，影响交互，同时，由于机器学习技术和滑动模型控制的处理存在延迟，因此，由于存在较长的处理延迟，导致标记内容显示存在时间误差。
发明内容
本发明解决的技术问题是如何提高视频系统在混合现实空间中的映射精度。
本发明提供一种医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频系统包括：显示模块、视频获取模块、空间定位模块、传感模块、图像获取模块和渲染模块，其中，所述图像获取模块、所述传感模块和所述显示模块分别设置于所述头戴式医疗辅助视频设备对应的预设位置；
所述视频获取模块用于，获取手术视频图像；
所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
所述传感模块用于，获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
所述空间定位模块用于，根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
所述渲染模块用于，根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态、所述头戴式医疗辅助视频设备在现实空间中的所述视频图像以及所述手术视频图像，得到渲染完成的视频信号；
所述显示模块用于，根据所述渲染完成的所述视频信号，显示对应的视频。
可选地，所述医疗辅助视频系统还包括：图像获取模块，所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像信息；
所述空间定位模块用于，根据所述视频图像信息，提取所述视频图像信息的每一帧的特征物体，所述特征物体包括所述现实空间中的物体或显著结构；
通过预设特征匹配算法，将任一帧中所述特征物体与上一帧中所述特征物体进行匹配，得到所述任一帧和所述上一帧中相同的所述特征物体；
根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
可选地，所述空间定位模块包括环境建立单元；
所述环境建立单元，用于通过三角测量法，根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到每一帧的所述特征物体在所述现实空间中的坐标；
根据每一帧的所述特征物体在所述现实空间中的坐标，建立环境地图；
并根据当前帧的所述特征物体在所述现实空间中的坐标，更新所述环境地图。
所述所述空间定位模块还包括位姿估计单元；
所述位姿估计单元，用于根据所述当前帧的所述特征物体与所述当前帧的上一帧的所述特征物体，得到所述特征物体在所述环境地图中的位姿变化；
根据所述特征物体的位姿变化和所述特征物体的初始位姿，得到所述特征物体在所述当前帧的当前位姿；
根据所述特征物体在所述当前帧的当前位姿，通过预设优化算法，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
可选地，所述根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号，包括：
根据所述当前帧中需要进行三维标记的所述特征物体，得到所述特征物体在所述环境地图中的位置和尺寸；
根据所述特征物体在所述环境地图中的位置和尺寸，以及所述头戴式医疗辅助视频设备在所述混合现实空间中实时的当前位置与当前姿态，将所述三维标记叠加在所述手术视频图像上；
将叠加了所述三维标记的所述手术视频图像作为所述渲染完成的视频信号。
可选地，所述空间定位模块，还用于：
根据所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态，得到所述头戴式医疗辅助视频设备与使用者眼睛的相对位置与相对朝向；
根据所述相对位置与所述相对朝向，通过眼动追踪方法，得到所述使用者眼睛的注视方向。
可选地，所述显示模块还用于，根据所述使用者眼睛的所述注视方向，得到所述使用者眼睛在所述混合现实空间的头戴式医疗辅助视频设备的注视位置；
根据所述使用者眼睛的注视位置，显示所述注视位置对应的所述渲染完成的所述视频信号。
可选地，所述显示模块还用于，当所述使用者眼睛的所述注视方向的变化角度在所述混合现实空间中，超过预设角度阈值时，停止显示所述渲染完成的所述视频信号。
可选地，所述医疗辅助视频系统还包括：语音处理模块；
所述语音处理模块用于，获取所述头戴式医疗辅助视频设备的使用者的音频信号，并将所述音频信号发送至预设接收端。
本发明还提供一种医疗辅助视频方法，应用于上述任意一项医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频方法，包括：
获取手术视频图像；
获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号；
根据所述渲染完成的所述视频信号，显示对应的视频。
本发明的医疗辅助视频系统及方法，利用传感模块通过头戴式医疗辅助视频设备的加速度数据和姿态角度数据，由于传感模块设置在头戴式医疗辅助视频设备的相应位置，因此加速度数据和姿态角度数据可以反应出头戴式医疗辅助视频设备在现实空间中的位置，结合图像获取模块得到的头戴式医疗辅助视频设备在现实空间中的视频图像，实现实时地对医疗辅助设备在混合现实空间的位置、姿态进行检测，得到具有实时性的头戴式医疗辅助视频设备在混合现实空间的当前位置与当前姿态，再结合从视频获取模块获取的手术视频图像利用渲染模块进行渲染，最后通过显示模块根据渲染完成的视频信号进行显示。通过获取头戴式医疗辅助视频设备在现实空间中的具体参数，实现对医疗辅助视频系统的相对位置的准确感知，再利用空间定位模块对头戴式医疗辅助视频设备在混合现实空间中的位姿进行获取，进而改善了头戴式医疗辅助视频设备在混合现实空间中的映射精度，通过较高的实时性使映射更加准确。
附图说明
图1为本发明一实施例中医疗辅助视频系统的结构示意图；
图2为本发明另一实施例中可视眼镜的结构示意图；
图3为本发明又一实施例中医疗辅助视频系统的结构示意图；
图4为本发明又一实施例中医疗辅助视频系统的结构示意图；
图5为本发明实施例中医疗辅助视频方法的流程示意图。
附图标记说明：
101-镜片；102-摄像头；103-惯性传感器；104-骨传导麦克风。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1所示，本发明提供一种医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频系统包括：显示模块、视频获取模块、空间定位模块、传感模块和渲染模块，其中，所述传感模块和所述显示模块分别设置于所述头戴式医疗辅助视频设备对应的预设位置；
结合图1所示，传感模块与空间定位模块连接，显示模块与渲染模块连接，渲染模块分别与空间定位模块以及视频获取模块连接；
结合图2所示，在本发明的优选实施例中，头戴式医疗辅助视频设备为一种可视眼镜，显示模块为可视眼镜上的镜片101，图像获取模块为摄像头102，传感模块为加速度和惯性传感器103；其中，加速度和惯性传感器103安装在可视眼镜的镜框内的预设位置；
所述视频获取模块用于，获取手术视频图像；
具体地，通过视频获取模块来从视频服务器获取多个视频源信号，每个视频源信号即手术视频图像，手术视频图像即手术机器人手术时的视频信号，用于展示手术机器人的手术过程，同时在优选实施例中，视频获取模块还用于将获取到的手术视频图像进行视频解码并传输至渲染模块；
在本发明的优选实施例中，通常使用可视眼镜中的时评服务器来对手术视频图像进行处理。
所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
具体地，图像获取模块与空间定位模块相连接，图像获取模块获取头戴式医疗辅助视频设备在现实空间中的视频图像信息；空间定位模块根据视频图像信息进行处理和分析，提取每一帧的特征物体，并进行特征匹配，以获取设备在混合现实空间中的位置和姿态，可以包括图像处理算法、特征提取算法和特征匹配算法等；在本发明的优选实施例中，结合图2所示，摄像头102安装在可视眼镜的镜框外侧的底边上，通过高清摄像头捕获现实空间中的视频图像.
所述传感模块用于，获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
具体地，传感模块用于获取头戴式医疗辅助视频设备的加速度数据和姿态角度数据，传感模块可以为加速度计、陀螺仪、磁力计等传感器，用于测量设备的加速度和姿态；由于传感模块设置在头戴式医疗辅助视频设备上，因此，传感模块通过加速度传感器可以实时检测头戴式医疗辅助视频设备的加速度变化。通过监测头戴式医疗辅助视频设备的加速度数据，可以获取头戴式医疗辅助视频设备的运动信息，从而了解使用者的头部姿态和动作。
所述空间定位模块用于，根据所述头戴式医疗辅助视频设备的加速度数据和姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
具体地，空间定位模块根据头戴式医疗辅助视频设备的加速度数据和姿态角度数据，对头戴式医疗辅助视频设备当前在混合现实空间中的位置与姿态进行测算；
结合图2所示，在本发明的优选实施例中，通过设置在可视眼镜上的摄像头102、加速度和惯性传感器103，分别获取可视眼镜在现实空间中的视觉信息以及可视眼镜在现实空间中的加速度与角加速度，利用加速度与角加速度来辅助视觉SLAM定位算法，由于摄像头102、加速度和惯性传感器103在可视眼镜中的安装位置对本发明无影响，因此，在此不做赘述。
所述渲染模块用于，根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号；
具体地，渲染模块可根据医疗场景的需求，将从头戴式医疗辅助视频设备处得到的当前位置与当前姿态结合手术视频图像，将手术视频图像的手术过程渲染在混合现实空间中，并将渲染后的视频信号发送给显示模块。
所述显示模块用于，根据所述渲染完成的所述视频信号，显示对应的视频；
具体地，当收到渲染后的视频信号后，通过显示模块进行显示，结合图2所示，在本发明的优选实施例中，显示设备为可视眼镜的镜片。
本发明的医疗辅助视频系统，利用传感模块通过头戴式医疗辅助视频设备的加速度数据和姿态角度数据，由于传感模块设置在头戴式医疗辅助视频设备的相应位置，因此加速度数据和姿态角度数据可以反应出头戴式医疗辅助视频设备在现实空间中的位置，结合图像获取模块得到的头戴式医疗辅助视频设备在现实空间中的视频图像，实现实时地对医疗辅助设备在混合现实空间的位置、姿态进行检测，得到具有实时性的头戴式医疗辅助视频设备在混合现实空间的当前位置与当前姿态，再结合从视频获取模块获取的手术视频图像利用渲染模块进行渲染，最后通过显示模块根据渲染完成的视频信号进行显示。通过获取头戴式医疗辅助视频设备在现实空间中的具体参数，实现对医疗辅助视频系统的相对位置的准确感知，再利用空间定位模块对头戴式医疗辅助视频设备在混合现实空间中的位姿进行获取，进而改善了头戴式医疗辅助视频设备在混合现实空间中的映射精度，通过较高的实时性使映射更加准确。
结合图1所示，本发明实施例中，所述空间定位模块用于，根据所述视频图像信息，提取所述视频图像信息的每一帧的特征物体，所述特征物体包括所述现实空间中的物体或显著结构；
通过预设特征匹配算法，将任一帧中所述特征物体与上一帧中所述特征物体进行匹配，得到所述任一帧和所述上一帧中相同的所述特征物体；
根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
结合图1和图2所示，在本实施例中，图像获取模块与空间定位模块相连接，图像获取模块获取头戴式医疗辅助视频设备在现实空间中的视频图像信息；空间定位模块根据视频图像信息进行处理和分析，提取每一帧的特征物体，并进行特征匹配，以获取设备在混合现实空间中的位置和姿态，可以包括图像处理算法、特征提取算法和特征匹配算法等。
在本发明的优选实施例中，结合图1所示，图像获取模块为摄像头102，摄像头102安装在可视眼镜的镜框外侧的底边上，通过高清摄像头捕获现实空间中的视频图像，空间定位模块提取视频图像的特征物体，并通过特征匹配算法将当前帧的特征物体与上一帧的特征物体进行匹配，根据匹配的特征物体、加速度数据和姿态角度数据，空间定位模块可以计算出设备在混合现实空间中的当前位置和姿态。
本发明的医疗辅助视频系统，通过图像获取模块获取头戴式医疗辅助视频设备在现实空间中的视频图像信息，并结合空间定位模块的特征匹配算法，可以实时计算出设备在混合现实空间中的当前位置和姿态，通过空间定位模块根据视频图像信息和特征物体提取算法，将现实空间中的物体或显著结构与虚拟内容进行融合，实现增强现实效果。
结合图3所示，本发明实施例中，所述空间定位模块包括环境建立单元；
所述环境建立单元，用于通过三角测量法，根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到每一帧的所述特征物体在所述现实空间中的坐标；
根据每一帧的所述特征物体在所述现实空间中的坐标，建立环境地图；
并根据当前帧的所述特征物体在所述现实空间中的坐标，更新所述环境地图。
在本实施例中，利用三角测量法，根据当前帧和上一帧中相同的特征物体，以及设备的加速度数据和姿态角度数据，计算出每一帧特征物体在现实空间中的坐标，根据这些坐标，建立环境地图，并在每一帧中更新环境地图，根据空间定位模块中的特征匹配算法，对当前帧和上一帧中的特征物体进行匹配，找到相同的特征物体对，利用匹配的特征物体对、设备的加速度数据和姿态角度数据，通过三角测量法计算出每一帧特征物体在现实空间中的坐标。三角测量法基于相机的内参和外参，通过计算特征物体在图像中的像素坐标和设备的姿态信息，推导出特征物体在现实空间中的三维坐标，根据每一帧特征物体在现实空间中的坐标，建立环境地图。环境地图可以是一个三维点云或网格模型，用于表示现实空间中的物体、结构或场景，在每一帧中，根据当前帧的特征物体在现实空间中的坐标，更新环境地图。这可以通过添加新的特征物体或更新现有特征物体的坐标来实现。
本发明的医疗辅助视频系统，通过环境建立单元的工作，头戴式医疗辅助视频设备可以实时获取当前帧特征物体在现实空间中的坐标，并建立和更新环境地图。为后续的增强现实效果、视觉引导和操作支持提供了基础，使环境地图的更新可以提供更准确的环境感知，使头戴式医疗辅助视频设备能够适应现实世界中动态变化的情况。
结合图3所示，本发明实施例中，所述所述空间定位模块还包括位姿估计单元；
所述位姿估计单元，用于根据所述当前帧的所述特征物体与所述当前帧的上一帧的所述特征物体，得到所述特征物体在所述环境地图中的位姿变化；
根据所述特征物体的位姿变化和所述特征物体的初始位姿，得到所述特征物体在所述当前帧的当前位姿；
根据所述特征物体在所述当前帧的当前位姿，通过预设优化算法，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
在本实施例中，位姿估计单元首先通过特征物体匹配算法，将当前帧的特征物体与上一帧的特征物体进行匹配，上述特征物体可以是来自传感器数据或者是从图像序列中提取出来的，再根据特征物体匹配结果，位姿估计单元可以计算出特征物体在环境地图中的位姿变化，其中，位姿变化可以包括平移和旋转，代表特征物体在物理空间中的位移和方向变化，根据特征物体的位姿变化和初始位姿，位姿估计单元可以计算出特征物体在当前帧中的当前位姿。这个当前位姿表示特征物体在当前帧中的物理位置和方向；结合头戴式医疗辅助视频设备的初始位置和姿态，以及特征物体在当前帧中的当前位姿，位姿估计单元可以使用预设的优化算法，计算出头戴式医疗辅助视频设备在混合现实空间中实时的当前位置和姿态，实时位置和姿态可以用于实时的场景渲染和医疗辅助操作。
本发明的医疗辅助视频系统，通过位姿估计单元，可以实时地估计出头戴式医疗辅助视频设备在混合现实空间中的位置和姿态，能够提供准确的虚拟信息叠加和医疗辅助操作，提高操作的精确性和可靠性，同时，位姿估计单元的算法和方法可以根据实际需求进行优化，以提高估计精度和计算效率。
本发明实施例中，所述根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号，包括：
根据所述当前帧中需要进行三维标记的所述特征物体，得到所述特征物体在所述环境地图中的位置和尺寸；
根据所述特征物体在所述环境地图中的位置和尺寸，以及所述头戴式医疗辅助视频设备在所述混合现实空间中实时的当前位置与当前姿态，将所述三维标记叠加在所述手术视频图像上；
将叠加了所述三维标记的所述手术视频图像作为所述渲染完成的视频信号。
在本实施例中，根据当前帧中需要进行三维标记的特征物体，通过匹配算法获取其在三维地图中的位置和尺寸，使用特征物体的图像坐标与三维地图的深度信息相结合，通过三角测量等方法得到特征物体在三维地图中的准确位置和尺寸，根据特征物体在三维地图中的位置和尺寸，以及头戴式医疗辅助视频设备在混合现实空间中的当前位置和当前姿态，将三维标记精确地叠加在手术视频图像上，通过计算将三维标记的图像坐标转换为相机坐标，再转换为视频中的像素坐标，实现在视频中的准确定位。
本发明的医疗辅助视频系统，通过将三维标记叠加到手术视频图像中，可以实现医疗辅助操作中的实时显示和导航，提高了医疗辅助的准确性和可视化效果。
本发明实施例中，所述空间定位模块，还用于：
根据所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态，得到所述头戴式医疗辅助视频设备与使用者眼睛的相对位置与相对朝向；
根据所述相对位置与所述相对朝向，通过眼动追踪方法，得到所述使用者眼睛的注视方向。
在本实施例中，根据空间定位模块得到的头戴式医疗辅助视频设备在混合现实空间中的当前位置与当前姿态，可以通过几何计算或矩阵变换等方法，计算出头戴式医疗辅助视频设备与使用者眼睛的相对位置和相对朝向，其中，相对位置和相对朝向表示了头戴式医疗辅助视频设备相对于使用者眼睛的位置关系；再根据相对位置和相对朝向，可以利用眼动追踪技术来获取使用者眼睛的注视方向，其中，眼动追踪技术通过检测和追踪使用者眼球的运动，可以实时地获取使用者眼睛的注视点或注视方向。
本发明的医疗辅助视频系统，通过空间定位模块，结合眼动追踪技术，可以实时地获取使用者眼睛的注视方向。这个注视方向可以用于确定使用者注视的目标或区域，以及提供特定的虚拟信息叠加，实现多种便捷功能，例如快速切换显示视频等。
本发明实施例中，所述显示模块还用于，根据所述使用者眼睛的所述注视方向，得到所述使用者眼睛在所述混合现实空间的头戴式医疗辅助视频设备的注视位置；
根据所述使用者眼睛的注视位置，显示所述注视位置对应的所述渲染完成的所述视频信号。
在本实施例中，根据眼动追踪技术和使用者眼睛的注视方向，显示模块可以计算出使用者眼睛在混合现实空间中头戴式医疗辅助视频设备的注视位置，其中，注视位置表示使用者眼睛在混合现实空间中所关注的位置或目标。
在本发明的优选实施例中，在可视眼镜的镜片上，显示有多个视频源，可以通过选择具体某个视频源进行显示，因此，通过空间定位模块，结合眼动追踪技术，可以得到使用者眼睛的注视方向，结合混合现实空间，得到注视方向在虚拟现实界面的注视点，若注视点停留在任一视频源超过3s，则显示注视点所在的视频源。
本发明的医疗辅助视频系统，根据使用者眼睛的注视方向，实时地确定使用者眼睛在混合现实空间中的注视位置，并显示对应的渲染完成的视频信号，实现在视觉上直接与虚拟信息进行交互，从而实现更直观、精确和便捷的医疗辅助操作和信息传达。
本发明实施例中，所述显示模块还用于，当所述使用者眼睛的所述注视方向的变化角度在所述混合现实空间中，超过预设角度阈值时，停止显示所述渲染完成的所述视频信号。
在本实施例中，显示模块持续监测使用者眼睛的注视方向的变化，通过对前后两个注视方向的计算和比较，可以得到使用者眼睛的注视方向的变化角度，显示模块将计算得到的注视方向的变化角度与预设的角度阈值进行比较，如果注视方向的变化角度超过了预设的阈值，则显示模块将停止显示渲染完成的视频信号，其中，可以通过暂停、隐藏或关闭视频信号的显示来实现。
在本发明优选实施例中，当注视方向，向上方抬起超过70°时，且持续关注0.5s以上时，则退出正在显示的视频。
本发明的医疗辅助视频系统，显示模块还能根据使用者眼睛的注视方向的变化角度来停止显示渲染完成的视频信号，从而在混合现实空间中根据用户的注视行为进行实时的显示控制，提高医疗辅助系统的稳定性，避免信息的干扰。
结合图4所示，本发明实施例中，所述医疗辅助视频系统还包括：语音处理模块；
所述语音处理模块用于，获取所述头戴式医疗辅助视频设备的使用者的音频信号，并将所述音频信号发送至预设接收端。
在本实施例中，语音处理模块通过麦克风或其他音频输入设备获取头戴式医疗辅助视频设备使用者的音频信号，语音处理模块对获取到的音频信号进行处理，其中，处理步骤包括音频信号的去噪、信号增强、降噪等，以提高音质和准确性，处理后的音频信号被发送至预设的接收端，接收端可以是医疗辅助系统中的其他设备、网络服务器或其他远程终端。
结合图2所示，在本发明优选实施例中，两个骨传导麦克风104组成语音处理设备，两个骨传导麦克风104可以分别设置在可视眼镜的两个镜腿上，利用骨传导麦克风拾取使用者的声音信息传到眼镜处理器进行声纹处理，由于人的骨结构都是独一无二的，所以声音在骨骼间的反射也是独一无二的，每个人的骨声反射都不同，收集之后系统将解析声纹，检测并与数据库匹配，来达成只拾取并传送佩戴可视眼镜的使用者所发出的语音的功能。
本发明的医疗辅助视频系统，通过语音处理模块在医疗辅助视频系统中获取使用者的音频信号，并将其发送至预设的接收端，可以实现语音指令、反馈和交流，进一步增强医疗辅助操作的功能和效果。
结合图5所示，本发明还提供一种医疗辅助视频方法，应用于上述任意一项医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频方法，包括：
S1：获取手术视频图像；
S2：获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
S3：获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
S4：根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
S5：根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号；
S6：根据所述渲染完成的所述视频信号，显示对应的视频。
本发明的医疗辅助视频方法，利用传感模块通过头戴式医疗辅助视频设备的加速度数据和姿态角度数据，由于传感模块设置在头戴式医疗辅助视频设备的相应位置，因此加速度数据和姿态角度数据可以反应出头戴式医疗辅助视频设备在现实空间中的位置，结合图像获取模块得到的头戴式医疗辅助视频设备在现实空间中的视频图像，实现实时地对医疗辅助设备在混合现实空间的位置、姿态进行检测，得到具有实时性的头戴式医疗辅助视频设备在混合现实空间的当前位置与当前姿态，再结合从视频获取模块获取的手术视频图像利用渲染模块进行渲染，最后通过显示模块根据渲染完成的视频信号进行显示。通过获取头戴式医疗辅助视频设备在现实空间中的具体参数，实现对医疗辅助视频系统的相对位置的准确感知，再利用空间定位模块对头戴式医疗辅助视频设备在混合现实空间中的位姿进行获取，进而改善了头戴式医疗辅助视频设备在混合现实空间中的映射精度，通过较高的实时性使映射更加准确。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种医疗辅助视频系统，其特征在于，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频系统包括：显示模块、视频获取模块、空间定位模块、传感模块、图像获取模块和渲染模块，其中，所述图像获取模块、所述传感模块和所述显示模块分别设置于所述头戴式医疗辅助视频设备对应的预设位置；
所述视频获取模块用于，获取手术视频图像；
所述图像获取模块用于，获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
所述传感模块用于，获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
所述空间定位模块用于，根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
所述渲染模块用于，根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态、所述头戴式医疗辅助视频设备在现实空间中的所述视频图像以及所述手术视频图像，得到渲染完成的视频信号；
所述显示模块用于，根据所述渲染完成的所述视频信号，显示对应的视频。
2.根据权利要求1所述的医疗辅助视频系统，其特征在于，所述空间定位模块用于，根据所述视频图像信息，提取所述视频图像信息的每一帧的特征物体，所述特征物体包括所述现实空间中的物体或显著结构；
通过预设特征匹配算法，将任一帧中所述特征物体与上一帧中所述特征物体进行匹配，得到所述任一帧和所述上一帧中相同的所述特征物体；
根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
3.根据权利要求2所述的医疗辅助视频系统，其特征在于，所述空间定位模块包括环境建立单元；
所述环境建立单元，用于通过三角测量法，根据所述任一帧和所述上一帧中相同的所述特征物体以及所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到每一帧的所述特征物体在所述现实空间中的坐标；
根据每一帧的所述特征物体在所述现实空间中的坐标，建立环境地图；
并根据当前帧的所述特征物体在所述现实空间中的坐标，更新所述环境地图。
4.根据权利要求3所述的医疗辅助视频系统，其特征在于，所述所述空间定位模块还包括位姿估计单元；
所述位姿估计单元，用于根据所述当前帧的所述特征物体与所述当前帧的上一帧的所述特征物体，得到所述特征物体在所述环境地图中的位姿变化；
根据所述特征物体的位姿变化和所述特征物体的初始位姿，得到所述特征物体在所述当前帧的当前位姿；
根据所述特征物体在所述当前帧的当前位姿，通过预设优化算法，得到所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态。
5.根据权利要求3所述的医疗辅助视频系统，其特征在于，所述根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号，包括：
根据所述当前帧中需要进行三维标记的所述特征物体，得到所述特征物体在所述环境地图中的位置和尺寸；
根据所述特征物体在所述环境地图中的位置和尺寸，以及所述头戴式医疗辅助视频设备在所述混合现实空间中实时的当前位置与当前姿态，将所述三维标记叠加在所述手术视频图像上；
将叠加了所述三维标记的所述手术视频图像作为所述渲染完成的视频信号。
6.根据权利要求1所述的医疗辅助视频系统，其特征在于，所述空间定位模块，还用于：
根据所述头戴式医疗辅助视频设备在所述混合现实空间中实时的所述当前位置与所述当前姿态，得到所述头戴式医疗辅助视频设备与使用者眼睛的相对位置与相对朝向；
根据所述相对位置与所述相对朝向，通过眼动追踪方法，得到所述使用者眼睛的注视方向。
7.根据权利要求6所述的医疗辅助视频系统，其特征在于，所述显示模块还用于，根据所述使用者眼睛的所述注视方向，得到所述使用者眼睛在所述混合现实空间的头戴式医疗辅助视频设备的注视位置；
根据所述使用者眼睛的注视位置，显示所述注视位置对应的所述渲染完成的所述视频信号。
8.根据权利要求7所述的医疗辅助视频系统，其特征在于，所述显示模块还用于，当所述使用者眼睛的所述注视方向的变化角度在所述混合现实空间中，超过预设角度阈值时，停止显示所述渲染完成的所述视频信号。
9.根据权利要求1所述的医疗辅助视频系统，其特征在于，所述医疗辅助视频系统还包括：语音处理模块；
所述语音处理模块用于，获取所述头戴式医疗辅助视频设备的使用者的音频信号，并将所述音频信号发送至预设接收端。
10.一种医疗辅助视频方法，其特征在于，应用于权利要求1至9任意一项的医疗辅助视频系统，所述医疗辅助视频系统用于头戴式医疗辅助视频设备，所述医疗辅助视频方法，包括：
获取手术视频图像；
获取所述头戴式医疗辅助视频设备在现实空间中的视频图像；
获取所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据；
根据所述头戴式医疗辅助视频设备的所述加速度数据和所述姿态角度数据，得到所述头戴式医疗辅助视频设备在混合现实空间中实时的当前位置与当前姿态；
根据所述头戴式医疗辅助视频设备的所述当前位置与所述当前姿态以及所述手术视频图像，得到渲染完成的视频信号；
根据所述渲染完成的所述视频信号，显示对应的视频。
CN202311141693.1A 2023-09-05 2023-09-05 一种医疗辅助视频系统及方法 Pending CN117017523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311141693.1A CN117017523A (zh) 2023-09-05 2023-09-05 一种医疗辅助视频系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311141693.1A CN117017523A (zh) 2023-09-05 2023-09-05 一种医疗辅助视频系统及方法

Publications (1)

Publication Number Publication Date
CN117017523A true CN117017523A (zh) 2023-11-10

Family

ID=88624645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311141693.1A Pending CN117017523A (zh) 2023-09-05 2023-09-05 一种医疗辅助视频系统及方法

Country Status (1)

Country Link
CN (1) CN117017523A (zh)

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
TWI574223B (zh) 運用擴增實境技術之導航系統
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
US20150205484A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110895676B (zh) 动态对象跟踪
KR102299936B1 (ko) 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템
EP3047454A1 (en) 3d reconstruction
CN105404395A (zh) 基于增强现实技术的舞台表演辅助训练方法及系统
WO2020114214A1 (zh) 导盲方法和装置，存储介质和电子设备
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019053603A (ja) 表示制御プログラム、装置、及び方法
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN114463832B (zh) 一种基于点云的交通场景视线追踪方法及系统
CN117017523A (zh) 一种医疗辅助视频系统及方法
US12023208B2 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
WO2018170678A1 (zh) 一种头戴式显示装置及其手势动作识别方法
CN112416124A (zh) 舞蹈姿势反馈方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination