CN113113128A - 基于vr、算法和5g技术的医疗手术辅助系统以及方法 - Google Patents

基于vr、算法和5g技术的医疗手术辅助系统以及方法 Download PDF

Info

Publication number
CN113113128A
CN113113128A CN202110403739.7A CN202110403739A CN113113128A CN 113113128 A CN113113128 A CN 113113128A CN 202110403739 A CN202110403739 A CN 202110403739A CN 113113128 A CN113113128 A CN 113113128A
Authority
CN
China
Prior art keywords
close
pixel
control module
lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110403739.7A
Other languages
English (en)
Inventor
王小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110403739.7A priority Critical patent/CN113113128A/zh
Publication of CN113113128A publication Critical patent/CN113113128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种基于VR、算法和5G技术的医疗手术辅助系统以及方法，旨在提高VR的沉浸程度。通过在手术室布置鸟瞰镜头，可以采集整个手术室的全景视频，使得远端的用户可以通过VR眼镜实时感受到整个手术室的情况。另外，每个医生的头部分别佩戴有近景镜头，当用户需要以某个医生的视角，近距离观察手术过程时，可以利用VR手柄点击全景视频中该医生头部佩戴的目标近景镜头。控制模块控制目标近景镜头开始近距离地拍摄手术的全景视频，并通过5G通讯模块将近距离的全景视频发送给远端的VR眼镜。如此，用户的视角从手术室全局视角切换至手术近距离视角。本发明通过提供灵活的视角切换功能，使得VR的沉浸程度得以提升。

Description

基于VR、算法和5G技术的医疗手术辅助系统以及方法
技术领域
本发明涉及信息技术领域，特别是涉及一种基于VR、算法和5G技术的医疗手术辅助系统以及方法。
背景技术
随着5G通讯技术的发展和VR技术的发展，工程技术人员和医疗专家越来越多地将5G和VR技术应用至手术室。例如，通过在手术布置全景摄像头，在手术期间，全景摄像头拍摄全景视频，并将拍摄的全景视频发送给远端的VR设备(例如VR眼镜)。远端的用户通过佩戴VR眼镜，可以沉浸式地体验和感受手术过程。一方面，可以用于医学生对手术操作的学习，另一方面，也可以用于专家远程地对手术进行监控和指导。然而现有技术中，在通过VR技术沉浸式感受手术过程时，由于全景镜头的摆放位置相对固定，难以对手术细节进行细致地拍摄，或者难以对整个手术室进行完整拍摄，导致用户的沉浸式体验并不是很理想。
发明内容
本发明实施例的目的在于提供一种基于VR和5G技术的医疗手术辅助系统，旨在提高VR的沉浸程度，具体技术方案如下：
本发明实施例提供一种基于VR和5G技术的医疗手术辅助系统，所述系统包括一个鸟瞰镜头、多个近景镜头、控制模块、5G通讯模块、VR眼镜以及VR手柄；
其中，所述鸟瞰镜头和多个近景镜头均为全景摄像头；所述鸟瞰镜头用于俯视地拍摄整个手术室；所述多个近景镜头分别用于佩戴在不同医生的头部，所述多个近景摄像头分别具有不同的图像特征；所述鸟瞰镜头与所述控制模块通过近场无线通信技术连接，所述多个近景镜头均与所述控制模块通过近场无线通信技术连接；
所述控制模块通过所述5G通讯模块与所述VR眼镜和VR手柄连接，所述VR眼镜用于展示所述鸟瞰镜头或所述近景镜头拍摄的全景视频，所述VR手柄用于采集用户的控制操作，并将相应的控制信息回传给所述控制模块；
当所述鸟瞰镜头向所述控制模块传输实时拍摄的全景视频时，所述控制模块通过所述5G通讯模块，将鸟瞰镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频；在所述VR手柄采集到用户的第一控制操作的情况下，所述VR眼镜响应于所述第一控制操作，获取正在显示的全景视频的快照图像，并确定所述VR手柄总用在该快照图像中的位置；所述VR眼镜将所述快照图像和所述位置信息发送给所述控制模块；所述控制模块响应于所述快照图像和所述位置信息，对所述快照图像进行滤波去噪处理，并在去噪处理后的快照图像中将该位置周围的图像剪裁出，以获得子图像；所述控制模块对所述子图像进行识别，从而确定该子图像包含的目标近景镜头，所述目标近景镜头是所述多个近景镜头中的一个；在确定出目标近景镜头后，所述控制模块向目标近景镜头发送视频采集命令，并向所述鸟瞰镜头发送终止采集命令；所述鸟瞰镜头响应于该终止采集命令，停止采集全景视频；所述目标近景镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。
作为优选，对所述快照图像进行去噪处理，去除噪音数据，提高识别精度，具体为：
设I表示快照图像，对快照图像I进行滤波处理，设I(x，y)表示快照图像I中坐标(x，y)处的像素，Ω(x，y)表示以像素I(x，y)为中心的M×M的局部区域，其中，M为给定的正整数，M的值可以取5，设f′(x，y)表示对像素I(x，y)进行滤波处理后的灰度值，则f′(x，y)的值采用下列方式确定：
(1)对局部区域Ω(x，y)中的像素进行预处理，设F(x，y)表示像素I(x，y)经预处理后的灰度值，则F(x，y)的表达式为：
Figure BDA0003021400380000021
其中，I(m，n)表示局部区域Ω(x，y)中坐标(m，n)处的像素，f(m，n)表示像素I(m，n)的灰度值，σd表示空间域滤波控制因子，σd的值可以取4，σr表示灰度域滤波控制因子，σr的值可以取0.2；
(2)根据局部区域Ω(x，y)中预处理后的像素确定f′(x，y)的值：
Figure BDA0003021400380000022
式中，K(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的空间域滤波权值，且
Figure BDA0003021400380000023
R(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的灰度域滤波权值，R(x，y)(m，n)的值为；
Figure BDA0003021400380000031
其中，r(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的基础灰度差值系数，且
Figure BDA0003021400380000032
其中，F(m，n)表示像素I(m，n)经预处理后的灰度值，θ(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的灰度补偿系数，设F′(m，n)表示像素I(m，n)的异常灰度值，且F′(m，n)＝f(m，n)-F(m，n)，则θ(x，y)(m，n)的值为：
Figure BDA0003021400380000033
其中，Ω′(x，y)表示以像素I(x，y)为中心的3×3的局部邻域，Ω′(m，n)表示以像素I(m，n)为中心的3×3的局部邻域，F′(x，y)表示像素I(x，y)的异常灰度值；
F″(m，n)表示像素I(m，n)的参考灰度值，设I(c，d)表示局部区域Ω′(m，n)中坐标(c，d)处的像素，且
Figure BDA0003021400380000034
则F″(m，n)的值为：
F″(m，n)＝f(c，d)
式中，f(c，d)表示像素I(c，d)的灰度值。
本发明对快照图像进行滤波处理，构建的滤波算法在通过邻域像素对像素进行滤波的过程中能够有效的避免邻域噪声像素的影响，并且能够在滤波的过程中保护图像的结构信息，为接下来的图像的识别垫底了基础；传统的滤波算法中采用的灰度域滤波权值直接通过计算两个像素之间的灰度值差值来衡量两个像素在灰度域的相似性，并且传统的滤波算法中直接采用邻域像素的灰度值来进行加权平均，当这两个像素中出现噪声像素时，使用传统的滤波算法容易受到噪声影响，从而影响滤波结果的准确性，针对上述缺陷，本优选实施例构建的滤波算法中引入了邻域像素的参考灰度值的概念，并且定义了新的灰度域滤波权值的计算方法，在计算像素的灰度域滤波权值时，首先采用传统的双边滤波算法对图像进行预处理，传统的双边滤波算法能够有效的平滑图像中的噪声像素，因此，采用预处理后的像素灰度值计算灰度域滤波权值，相较于传统的直接采用原像素灰度值计算像素的灰度域滤波权值的方式，能够有效的避免邻域噪声像素参与滤波时影响滤波的准确性，另一方面，在采用传统的双边滤波算法对像素进行预处理时，虽然能够有效的去除噪声像素，但当像素处于细节较为丰富区域或者边缘区域时，传统的双边滤波算法也会在一定程度上平滑图像的结构信息，因此，单纯的采用预处理后的像素灰度值并不能充分的确定邻域像素和所述像素之间的相似性，鉴于上述情况，构建的滤波算法中通过引入灰度补偿系数对图像的结构信息进行补偿，在计算灰度补偿系数时，首先获取采用双边滤波算法进行预处理后去除的像素的异常灰度值，所述异常灰度值反应的可能为像素的噪声信息也可能为像素的结构信息，通过计算两个像素的局部邻域之间像素的最小异常灰度值差值来判断这两个像素是否处于相同的结构区域，从而增加处于相同结构区域的邻域像素的滤波权值，并且通过像素之间的最小异常灰度值差值选取邻域像素的局部邻域中和所述像素之间最为相似的邻域像素的灰度值作为参考灰度值进行加权平均，从而进一步的避免了邻域噪声像素对滤波结果准确性的影响，并且最大程度的保护了图像的结构信息，从而提高了对图像进行识别的准确度。
本发明中，通过在手术室布置鸟瞰镜头，可以采集整个手术室的全景视频，使得远端的用户可以通过VR眼镜实时感受到整个手术室的情况。另外，每个医生的头部分别佩戴有近景镜头，当用户需要以某个医生的视角，近距离观察手术过程时，可以利用VR手柄点击全景视频中该医生头部佩戴的近景镜头。VR眼镜响应于此，向控制模块发送快照图像和位置信息，使得控制模块可以根据快照图像和位置信息，确定用户指定的目标近景镜头。接着，控制模块控制目标近景镜头开始近距离地拍摄手术的全景视频，并通过5G通讯模块将近距离的全景视频发送给远端的VR眼镜。如此，用户的视角从手术室全局视角切换至手术近距离视角。本发明通过提供灵活的视角切换功能，使得VR的沉浸程度得以提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1是本发明一实施例提出的医疗手术辅助系统的示意图；
图2是本发明一实施例提出的快照图像的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，随着5G通讯技术的发展和VR技术的发展，工程技术人员和医疗专家越来越多地将5G和VR技术应用至手术室。例如，通过在手术布置全景摄像头，在手术期间，全景摄像头拍摄全景视频，并将拍摄的全景视频发送给远端的VR设备(例如VR眼镜)。远端的用户通过佩戴VR眼镜，可以沉浸式地体验和感受手术过程。一方面，可以用于医学生对手术操作的学习，另一方面，也可以用于专家远程地对手术进行监控和指导。然而现有技术中，在通过VR技术沉浸式感受手术过程时，由于全景镜头的摆放位置相对固定，难以对手术细节进行细致地拍摄，或者难以对整个手术室进行完整拍摄，导致用户的沉浸式体验并不是很理想。
有鉴于此，本发明通过以下实施例提出基于VR和5G技术的医疗手术辅助系统，旨在提高VR的沉浸程度。
参考图1，图1是本发明一实施例提出的基于VR和5G技术的医疗手术辅助系统的示意图。如图1所示，所述系统包括一个鸟瞰镜头、多个近景镜头、控制模块、5G通讯模块、VR眼镜以及VR手柄。
其中，所述鸟瞰镜头和多个近景镜头均为全景摄像头；所述鸟瞰镜头用于俯视地拍摄整个手术室；所述多个近景镜头分别用于佩戴在不同医生的头部，所述多个近景摄像头分别具有不同的图像特征。具体地，鸟瞰镜头可以布置在手术室的墙壁上，从而向下俯拍手术室的全景视频。
如图1所示，鸟瞰镜头与所述控制模块通过近场无线通信技术连接，所述多个近景镜头均与所述控制模块通过近场无线通信技术连接。具体地，控制模块可以部署在手术室或者部署在手术室附近，近场无线通信技术可以是蓝牙技术或wifi技术，换言之，鸟瞰镜头和近景镜头等通过蓝牙或wifi与控制模块通信连接。
如图1所示，所述控制模块通过所述5G通讯模块与所述VR眼镜和VR手柄连接，所述VR眼镜用于展示所述鸟瞰镜头或所述近景镜头拍摄的全景视频，所述VR手柄用于采集用户的控制操作。
如图1所示，当所述鸟瞰镜头向所述控制模块传输实时拍摄的全景视频时，所述控制模块通过所述5G通讯模块，将鸟瞰镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。
如图1所示，当VR眼镜在播放鸟瞰镜头拍摄的全景视频时，在所述VR手柄采集到用户的第一控制操作的情况下，所述VR眼镜响应于所述第一控制操作，获取正在显示的全景视频的快照图像，并确定所述VR手柄总用在该快照图像中的位置；所述VR眼镜将所述快照图像和所述位置信息发送给所述控制模块。
由于VR眼镜难以感知其显示的全景视频是鸟瞰镜头拍摄的，还是近景镜头拍摄的，因此具体实现时，只要述VR手柄采集到用户的第一控制操作，VR手柄便向VR眼镜发送第一控制信号。VR眼镜响应于第一控制信号，对当前正在显示的全景视频执行快照操作，从而获得一张快照图像，同时，VR眼镜记录VR手柄在快照图像中的位置。
本发明在具体应用期间，当用户佩戴上VR眼镜，且VR眼镜正在向用户显示鸟瞰镜头拍摄的整个手术室的全景视频时，如果用户希望将视角切换为某个医生的视角，则用户可以通过摆弄VR手柄，将VR手柄移动至全景视频中相应医生佩戴的近景镜头处，并对VR手柄执行第一控制操作(例如按下VR手柄上的第一按键)，则VR手柄采集到用户的第一控制操作，VR手柄随即向VR眼镜发送第一控制信号。VR眼镜响应于第一控制信号，对当前正在显示的全景视频执行快照操作，从而获得一张快照图像，同时，VR眼镜记录VR手柄在快照图像中的位置。为便于理解，参考图2，图2是本发明一实施例提出的快照图像的示意图。如图2所示，图2中箭头所指的位置也即是VR手柄在快照图像中的位置，VR手柄在全景视频中显示为一个箭头。
如图2所示，所述控制模块响应于所述快照图像和所述位置信息，对所述快照图像进行去噪处理，并在去噪处理后的快照图像中将该位置周围的图像剪裁出，以获得子图像；所述控制模块对所述子图像进行识别，从而确定该子图像包含的目标近景镜头，所述目标近景镜头是所述多个近景镜头中的一个；在确定出目标近景镜头后，所述控制模块向目标近景镜头发送视频采集命令，并向所述鸟瞰镜头发送终止采集命令；所述鸟瞰镜头响应于该终止采集命令，停止采集全景视频；所述目标近景镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。如此，VR眼镜将鸟瞰镜头拍摄的全景视频切换为目标近景镜头拍摄的全景视频，相当于将视角从手术室全局视角切换至某个医生的视角，也即手术近距离视角。
本发明中，通过在手术室布置鸟瞰镜头，可以采集整个手术室的全景视频，使得远端的用户可以通过VR眼镜实时感受到整个手术室的情况。另外，每个医生的头部分别佩戴有近景镜头，当用户需要以某个医生的视角，近距离观察手术过程时，可以利用VR手柄点击全景视频中该医生头部佩戴的近景镜头。VR眼镜响应于此，向控制模块发送快照图像和位置信息，使得控制模块可以根据快照图像和位置信息，确定用户指定的目标近景镜头。接着，控制模块控制目标近景镜头开始近距离地拍摄手术的全景视频，并通过5G通讯模块将近距离的全景视频发送给远端的VR眼镜。如此，用户的视角从手术室全局视角切换至手术近距离视角。本发明通过提供灵活的视角切换功能，使得VR的沉浸程度得以提升。
此外，本发明中，控制模块接收到快照图像和位置信息后，会根据位置信息对快照图像进行剪裁，以获得子图像。如此，可以将用户不想指定的近景镜头的图像裁剪掉，子图像中只保留用户指定的近景镜头的图像，因此控制模块可以更准确地识别出用户指定的目标近景镜头。
可选地，在一些具体实施方式中，当所述VR眼镜在显示目标近景镜头采集的全景视频时，在所述VR手柄采集到用户的第二控制操作的情况下，所述VR眼镜响应于所述第二控制操作，向所述控制模块发送视角切换请求；所述控制模块响应于所述视角切换请求，向所述目标近景镜头发送终止采集命令，并向所述鸟瞰镜头发送视频采集命令；所述目标近景镜头响应于该终止采集命令，停止采集全景视频；所述鸟瞰镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。
由于VR眼镜难以感知其显示的全景视频是鸟瞰镜头拍摄的，还是近景镜头拍摄的，因此具体实现时，只要述VR手柄采集到用户的第二控制操作，VR手柄便向VR眼镜发送第二控制信号。VR眼镜响应于第二控制信号，向控制模块发送视角切换请求。
本发明在具体应用期间，当用户佩戴上VR眼镜，且VR眼镜正在向用户显示目标近景镜头拍摄的整个手术室的全景视频时，如果用户希望将视角切换为整个手术室的视角，则用户可以对VR手柄执行第二控制操作(例如按下VR手柄上的第二按键)，则VR手柄采集到用户的第二控制操作，VR手柄随即向VR眼镜发送第二控制信号。VR眼镜响应于第二控制信号，向控制模块发送视角切换请求。控制模块响应于视角切换请求，向目标近景镜头发送终止采集命令，使得目标近景镜头停止采集全景视频。此外，控制模块还向鸟瞰镜头发送视频采集命令，使得鸟瞰镜头拍摄全景视频。如此，控制模块通过5G通讯模块将鸟瞰镜头采集的全景视频发送给VR眼镜，使得用户的视角从某个医生的视角(也即手术近距离视角)切换至手术室全局视角。
可选地，在一些具体实施方式中，所述系统还包括麦克风和多个耳机，每个耳机分别对应一个近景镜头；所述控制模块在向目标近景镜头发送视频采集命令的时候，还向目标近景镜头对应的目标耳机发送蓝牙连接请求，以建立与该目标耳机的蓝牙连接；所述麦克风用于采集用户的语音信号，并将该语音信号发送给所述控制模块，所述控制模块通过蓝牙通信技术，将该语音信号传递给所述目标耳机。此外，所述控制模块在向目标近景镜头发送终止采集命令时，断开与所述目标耳机的蓝牙连接。
如此，当用户切换至某个医生的视角时，控制模块也同时与该医生的佩戴的耳机建立了蓝牙连接。因此，当用户想要对医生进行指导时，可以直接通过麦克风向控制模块发送语音，控制模块再通过蓝牙将语音传递该医生佩戴的耳机。如此，可以实现用户远程对手术的监控和指导。
可选地，在一些具体实施方式中，所述控制模块通过以下方式裁剪子图像：根据所述位置信息，在所述快照图像上确定相应位置点；以所述相应位置点为中心布置剪裁框，所述剪裁框的中心与所述位置点的中心重合，所述剪裁框的尺寸为预设尺寸；沿所述剪裁框对所述快照图像进行剪裁，以获得子图像。
例如，剪裁框可以是一个尺寸固定的正方形。当控制模块在快照图像上确定出相应位置点后，可以在快照图像上布置剪裁框，布置好的剪裁框的中心与快照图像中的位置点重合。
可选地，在一些具体实施方式中，所述控制模块通过以下方式确定子图像包含的目标近景镜头：将子图像输入预先训练的镜头识别模型，得到所述镜头识别模型输出的镜头识别结果，所述镜头识别结果中记录有近景镜头的位置；根据近景镜头的位置，识别相应位置的图像特征，从而根据识别到的图像特征，从多个近景镜头中确定具有该图像特征的目标近景镜头。
其中，所述镜头识别模型可以是一种目标检测模型。例如，目标检测模型可以是R-CNN(Region CNN，区域卷积神经网络)、Fast R-CNN、Faster R-CNN或者Mask R-CNN等神经网络。
为了将原始的目标检测模型训练成镜头识别模型，通过如下方式对目标检测模型进行训练：获得多张样本图像，每张样本图像携带有位置信息，所述位置信息用于表征近景镜头在样本图像中的位置；针对每张样本图像，将该张样本图像输入目标检测模型，从而对目标检测模型进行训练；将训练完成的目标检测模型确定为所述镜头识别模型。具体地，目标检测模型针对每张样本图像，会得到一个预测结果，然后目标检测模型根据该预测结果和该样本图像携带的位置信息，计算出损失值loss,然后利用计算出的损失值loss更新目标检测模型自身。经过多轮训练和更新，得到可以检测出近景镜头位置的镜头识别模型。
可选地，在一些具体实施方式中，每个近景镜头分别具有不同的颜色，每个近景摄像头具有的图像特征为该近景镜头的颜色特征。当控制模块从子图像中检测出近景镜头的位置后，控制模块可以通过识别该近景镜头的颜色，从而判断出该近景镜头具有是多个近景镜头中的哪个近景镜头。控制模块判断出近景镜头的身份后，可以向近景镜头发送所述视频采集命令。
可选地，在一些具体实施方式中，控制模块在根据近景镜头的位置，识别相应位置的图像特征，从而根据识别到的图像特征，从多个近景镜头中确定具有该图像特征的目标近景镜头时，具体用于：针对近景镜头所在位置的每个像素点，根据该像素点的各颜色通道的分值，确定该像素点的颜色；统计全部像素点各自的颜色，将占比最多的颜色确定为该近景镜头的颜色；根据确定出的颜色，从多个近景镜头中确定具有该颜色的目标近景镜头。
为便于理解，示例地，假设系统中包括2个近景镜头，这2个近景镜头的颜色分别为红色和黄色。控制模块中预设有红色和黄色各自对应的RGB三通道分值区间。例如红色对应的区间为R(200,255)、G(0,60)、B(0,60)，黄色对应的区间为R(230,255)、G(170,255)、B(0,120)。本发明实施期间，控制模块通过Mask R-CNN网络，从子图像中检测出近景镜头的位置。接着，控制模块针对近景镜头所在位置处的每个像素点，确定该像素点的R通道值、G通道值以及B通道值，然后根据这几个通道的值，确定该像素点是红色还是黄色，例如某一像素点的R通道值等于235、G通道值等于233、B通道值等于56，落入黄色对应的区间范围，因此确定该像素为黄色。控制模块确定出全部像素的颜色后，统计各颜色的比例，假设红色像素的比例为1％，黄色像素的比例为88％，其他颜色像素的比例为11％，则确定用户指定的近景镜头为具有黄色颜色特征的近景镜头。
本发明中，以颜色区分不同的近景镜头。具体实现时，通过识别相应的多个像素点的颜色分量，从而确定整体的颜色特征，最终根据整体颜色特征确定用户指定的近景镜头。本发明中，以像素点颜色识别方式，确定近景镜头，而不需要训练专门的特征识别模型，有利于降低技术方案整体的复杂度。
可选地，对所述快照图像进行去噪为滤波去噪，具体为：
设I表示图像，设I(x,y)表示图像I中坐标(x,y)处的像素，Ω(x,y)表示以像素I(x,y)为中心的M×M的局部区域，其中，M为给定的正整数，设f′(x，y)表示对像素I(x，y)滤波处理后的灰度值，则f′(x，y)的值采用下列方式确定：
(1)对局部区域Ω(x，y)中的像素进行预处理，设F(x，y)表示像素I(x，y)经预处理后的灰度值，则F(x，y)的表达式为：
Figure BDA0003021400380000101
其中，I(m，n)表示局部区域Ω(x，y)中坐标(m，n)处的像素，f(m，n)表示像素I(m，n)的灰度值，σd表示空间域滤波控制因子，σr表示灰度域滤波控制因子；
(2)根据局部区域Ω(x，y)中预处理后的像素确定f′(x，y)的值：
Figure BDA0003021400380000102
式中，K(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的空间域滤波权值，目.
Figure BDA0003021400380000103
R(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的灰度域滤波权值，R(x，y)(m，n)的值为；
Figure BDA0003021400380000104
其中，r(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的基础灰度差值系数，且
Figure BDA0003021400380000105
其中，F(m，n)表示像素I(m，n)经预处理后的灰度值，θ(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的灰度补偿系数，设F′(m，n)表示像素I(m，n)的异常灰度值，且F′(m，n)＝f(m，n)-F(m，n)，则θ(x，y)(m，n)的值为：
Figure BDA0003021400380000106
其中，Ω′(x，y)表示以像素I(x，y)为中心的3×3的局部邻域，Ω′(m，n)表示以像素I(m，n)为中心的3×3的局部邻域，F′(x，y)表示像素I(x，y)的异常灰度值；
F″(m，n)表示像素I(m，n)的参考灰度值，设I(c，d)表示局部邻域Ω′(m，n)中坐标(c，d)处的像素，且
Figure BDA0003021400380000107
则F″(m，n)的值为：
F″(m,n)＝f(c,d)
式中，f(c,d)表示像素I(c,d)的灰度值。
本优选实施例用于对图像进行滤波处理，构建的滤波算法在通过邻域像素对像素进行滤波的过程中能够有效的避免邻域噪声像素的影响，并且能够在滤波的过程中保护图像的结构信息，为接下来的图像的识别垫底了基础；传统的滤波算法中采用的灰度域滤波权值直接通过计算两个像素之间的灰度值差值来衡量两个像素在灰度域的相似性，并且传统的滤波算法中直接采用邻域像素的灰度值来进行加权平均，当这两个像素中出现噪声像素时，使用传统的滤波算法容易受到噪声影响，从而影响滤波结果的准确性，针对上述缺陷，本优选实施例构建的滤波算法中引入了邻域像素的参考灰度值的概念，并且定义了新的灰度域滤波权值的计算方法，在计算像素的灰度域滤波权值时，首先采用传统的双边滤波算法对图像进行预处理，传统的双边滤波算法能够有效的平滑图像中的噪声像素，因此，采用预处理后的像素灰度值计算灰度域滤波权值，相较于传统的直接采用原像素灰度值计算像素的灰度域滤波权值的方式，能够有效的避免邻域噪声像素参与滤波时影响滤波的准确性，另一方面，在采用传统的双边滤波算法对像素进行预处理时，虽然能够有效的去除噪声像素，但当像素处于细节较为丰富区域或者边缘区域时，传统的双边滤波算法也会在一定程度上平滑图像的结构信息，因此，单纯的采用预处理后的像素灰度值并不能充分的确定邻域像素和所述像素之间的相似性，鉴于上述情况，构建的滤波算法中通过引入灰度补偿系数对图像的结构信息进行补偿，在计算灰度补偿系数时，首先获取采用双边滤波算法进行预处理后去除的像素的异常灰度值，所述异常灰度值反应的可能为像素的噪声信息也可能为像素的结构信息，通过计算两个像素的局部邻域之间像素的最小异常灰度值差值来判断这两个像素是否处于相同的结构区域，从而增加处于相同结构区域的邻域像素的滤波权值，并且通过像素之间的最小异常灰度值差值选取邻域像素的局部邻域中和所述像素之间最为相似的邻域像素的灰度值作为参考灰度值进行加权平均，从而进一步的避免了邻域噪声像素对滤波结果准确性的影响，并且最大程度的保护了图像的结构信息，从而为接下来的图像的识别垫定了基础；提高了后续对图像进行识别的准确度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于VR和5G技术的医疗手术辅助系统，其特征在于，所述系统包括一个鸟瞰镜头、多个近景镜头、控制模块、5G通讯模块、VR眼镜以及VR手柄；
其中，所述鸟瞰镜头和多个近景镜头均为全景摄像头；所述鸟瞰镜头用于俯视地拍摄整个手术室；所述多个近景镜头分别用于佩戴在不同医生的头部，所述多个近景摄像头分别具有不同的图像特征；所述鸟瞰镜头与所述控制模块通过近场无线通信技术连接，所述多个近景镜头均与所述控制模块通过近场无线通信技术连接；
所述控制模块通过所述5G通讯模块与所述VR眼镜和VR手柄连接，所述VR眼镜用于展示所述鸟瞰镜头或所述近景镜头拍摄的全景视频，所述VR手柄用于采集用户的控制操作；
当所述鸟瞰镜头向所述控制模块传输实时拍摄的全景视频时，所述控制模块通过所述5G通讯模块，将鸟瞰镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频；在所述VR手柄采集到用户的第一控制操作的情况下，所述VR眼镜响应于所述第一控制操作，获取正在显示的全景视频的快照图像，并确定所述VR手柄总用在该快照图像中的位置；所述VR眼镜将所述快照图像和所述位置信息发送给所述控制模块；所述控制模块响应于所述快照图像和所述位置信息，并对所述快照图像进行去噪处理，并在去噪处理后的快照图像中将该位置周围的图像剪裁出，以获得子图像；所述控制模块对所述子图像进行识别，从而确定该子图像包含的目标近景镜头，所述目标近景镜头是所述多个近景镜头中的一个；在确定出目标近景镜头后，所述控制模块向目标近景镜头发送视频采集命令，并向所述鸟瞰镜头发送终止采集命令；所述鸟瞰镜头响应于该终止采集命令，停止采集全景视频；所述目标近景镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。
2.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，当所述VR眼镜在显示目标近景镜头采集的全景视频时，在所述VR手柄采集到用户的第二控制操作的情况下，所述VR眼镜响应于所述第二控制操作，向所述控制模块发送视角切换请求；所述控制模块响应于所述视角切换请求，向所述目标近景镜头发送终止采集命令，并向所述鸟瞰镜头发送视频采集命令；所述目标近景镜头响应于该终止采集命令，停止采集全景视频；所述鸟瞰镜头响应于该视频采集命令，开始采集全景视频，并将采集的全景视频传输给所述控制模块，所述控制模块通过所述5G通讯模块，将目标近景镜头拍摄的全景视频传送给所述VR眼镜，所述VR眼镜用于接收并显示该全景视频。
3.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述系统还包括麦克风和多个耳机，每个耳机分别对应一个近景镜头；所述控制模块在向目标近景镜头发送视频采集命令的时候，还向目标近景镜头对应的目标耳机发送蓝牙连接请求，以建立与该目标耳机的蓝牙连接；所述麦克风用于采集用户的语音信号，并将该语音信号发送给所述控制模块，所述控制模块通过蓝牙通信技术，将该语音信号传递给所述目标耳机；
所述控制模块在向目标近景镜头发送终止采集命令时，断开与所述目标耳机的蓝牙连接。
4.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述控制模块通过以下方式裁剪子图像：根据所述位置信息，在所述快照图像上确定相应位置点；以所述相应位置点为中心布置剪裁框，所述剪裁框的中心与所述位置点的中心重合，所述剪裁框的尺寸为预设尺寸；沿所述剪裁框对所述快照图像进行剪裁，以获得子图像。
5.根据权利要求1所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述控制模块通过以下方式确定子图像包含的目标近景镜头：将子图像输入预先训练的镜头识别模型，得到所述镜头识别模型输出的镜头识别结果，所述镜头识别结果中记录有近景镜头的位置；根据近景镜头的位置，识别相应位置的图像特征，从而根据识别到的图像特征，从多个近景镜头中确定具有该图像特征的目标近景镜头。
6.根据权利要求5所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述镜头识别模型是一种目标检测模型。
7.根据权利要求6所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，所述镜头识别模型是通过以下方式训练得到的：获得多张样本图像，每张样本图像携带有位置信息，所述位置信息用于表征近景镜头在样本图像中的位置；针对每张样本图像，将该张样本图像输入目标检测模型，从而对目标检测模型进行训练；将训练完成的目标检测模型确定为所述镜头识别模型。
8.根据权利要求5所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，每个近景镜头分别具有不同的颜色，每个近景摄像头具有的图像特征为该近景镜头的颜色特征。
9.根据权利要求8所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，控制模块在根据近景镜头的位置，识别相应位置的图像特征，从而根据识别到的图像特征，从多个近景镜头中确定具有该图像特征的目标近景镜头时，具体用于：针对近景镜头所在位置的每个像素点，根据该像素点的各颜色通道的分值，确定该像素点的颜色；统计全部像素点各自的颜色，将占比最多的颜色确定为该近景镜头的颜色；根据确定出的颜色，从多个近景镜头中确定具有该颜色的目标近景镜头。
10.根据权利要求1-9任一项所述的基于VR和5G技术的医疗手术辅助系统，其特征在于，对所述快照图像进行去噪为：
设I表示快照图像，设I(x，y)表示快照图像I中坐标(x，y)处的像素，Ω(x，y)表示以像素I(x，y)为中心的M×M的局部区域，其中，M为给定的正整数，设f′(x，y)表示对像素I(x，y)滤波处理后的灰度值，则f′(x，y)的值采用下列方式确定：
(1)对局部区域Ω(x，y)中的像素进行预处理，设F(x，y)表示像素I(x，y)经预处理后的灰度值，则F(x，y)的表达式为：
Figure FDA0003021400370000031
其中，I(m，n)表示局部区域Ω(x，y)中坐标(m，n)处的像素，f(m，n)表示像素I(m，n)的灰度值，σd表示空间域滤波控制因子，σr表示灰度域滤波控制因子；
(2)根据局部区域Ω(x，y)中预处理后的像素确定f′(x，y)的值：
Figure FDA0003021400370000032
式中，K(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的空间域滤波权值，目
Figure FDA0003021400370000033
R(x，y)(m，n)表示在对像素I(x，y)进行滤波处理时像素I(m，n)的灰度域滤波权值，R(x，y)(m，n)的值为；
Figure FDA0003021400370000034
其中，r(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的基础灰度差值系数，且
Figure FDA0003021400370000035
其中，F(m，n)表示像素I(m，n)经预处理后的灰度值，θ(x，y)(m，n)表示像素I(m，n)和像素I(x，y)之间的灰度补偿系数，设F′(m，n)表示像素I(m，n)的异常灰度值，且F′(m，n)＝f(m，n)-F(m，n)，则θ(x，y)(m，n)的值为：
Figure FDA0003021400370000041
其中，Ω′(x，y)表示以像素I(x，y)为中心的3×3的局部邻域，Ω′(m，n)表示以像素I(m，n)为中心的3×3的局部邻域，F′(x，y)表示像素I(x，y)的异常灰度值；
F″(m，n)表示像素I(m，n)的参考灰度值，设I(c，d)表示局部邻域Ω′(m，n)中坐标(c，d)处的像素，且
Figure FDA0003021400370000042
则F″(m，n)的值为：
F″(m，n)＝f(c，d)
式中，f(c，d)表示像素I(c，d)的灰度值。
CN202110403739.7A 2021-04-15 2021-04-15 基于vr、算法和5g技术的医疗手术辅助系统以及方法 Pending CN113113128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403739.7A CN113113128A (zh) 2021-04-15 2021-04-15 基于vr、算法和5g技术的医疗手术辅助系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403739.7A CN113113128A (zh) 2021-04-15 2021-04-15 基于vr、算法和5g技术的医疗手术辅助系统以及方法

Publications (1)

Publication Number Publication Date
CN113113128A true CN113113128A (zh) 2021-07-13

Family

ID=76717585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403739.7A Pending CN113113128A (zh) 2021-04-15 2021-04-15 基于vr、算法和5g技术的医疗手术辅助系统以及方法

Country Status (1)

Country Link
CN (1) CN113113128A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098968A (zh) * 2021-12-28 2022-03-01 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪方法及装置
CN114842704A (zh) * 2022-05-10 2022-08-02 上海微创医疗机器人（集团）股份有限公司 培训系统及培训方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159852A (zh) * 2007-10-31 2008-04-09 天津市亚安科技电子有限公司 电子云台智能视频监控系统
CN104639831A (zh) * 2015-01-05 2015-05-20 信利光电股份有限公司 一种照相机及拓展景深的方法
WO2015165304A1 (zh) * 2014-04-29 2015-11-05 比亚迪股份有限公司 智能终端和车辆、车辆系统及其遥控控制方法
KR101606858B1 (ko) * 2015-11-23 2016-03-29 (주)아바엔터테인먼트 파노라마 동영상 디스플레이 제어 방법, 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
WO2018014495A1 (zh) * 2016-07-18 2018-01-25 范治江 实时全景直播网络摄像机和系统及方法
CN208063332U (zh) * 2018-03-06 2018-11-06 北京伟开赛德科技发展有限公司 全景视频播放与局部细节放大显示相结合的联动摄像装置
CN108933920A (zh) * 2017-05-25 2018-12-04 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
CN109829927A (zh) * 2019-01-31 2019-05-31 深圳职业技术学院 一种电子眼镜及高空景象图像重建方法
CN110689968A (zh) * 2019-09-26 2020-01-14 山东浪潮人工智能研究院有限公司 一种基于5g和vr技术的大数据医疗学习方法及系统
CN111292845A (zh) * 2020-01-21 2020-06-16 梅里医疗科技(洋浦)有限责任公司 一种用于智慧病房的智能护理交互系统
CN112085777A (zh) * 2020-09-22 2020-12-15 上海视天科技有限公司 六自由度vr眼镜
WO2021012735A1 (zh) * 2019-07-25 2021-01-28 研祥智能科技股份有限公司 屏幕显示缺陷的检测方法及系统
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统
CN112601008A (zh) * 2020-11-17 2021-04-02 中兴通讯股份有限公司 一种摄像头切换方法、终端、装置及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159852A (zh) * 2007-10-31 2008-04-09 天津市亚安科技电子有限公司 电子云台智能视频监控系统
WO2015165304A1 (zh) * 2014-04-29 2015-11-05 比亚迪股份有限公司 智能终端和车辆、车辆系统及其遥控控制方法
CN104639831A (zh) * 2015-01-05 2015-05-20 信利光电股份有限公司 一种照相机及拓展景深的方法
KR101606858B1 (ko) * 2015-11-23 2016-03-29 (주)아바엔터테인먼트 파노라마 동영상 디스플레이 제어 방법, 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
WO2018014495A1 (zh) * 2016-07-18 2018-01-25 范治江 实时全景直播网络摄像机和系统及方法
CN108933920A (zh) * 2017-05-25 2018-12-04 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
CN208063332U (zh) * 2018-03-06 2018-11-06 北京伟开赛德科技发展有限公司 全景视频播放与局部细节放大显示相结合的联动摄像装置
CN109829927A (zh) * 2019-01-31 2019-05-31 深圳职业技术学院 一种电子眼镜及高空景象图像重建方法
WO2021012735A1 (zh) * 2019-07-25 2021-01-28 研祥智能科技股份有限公司 屏幕显示缺陷的检测方法及系统
CN110689968A (zh) * 2019-09-26 2020-01-14 山东浪潮人工智能研究院有限公司 一种基于5g和vr技术的大数据医疗学习方法及系统
CN111292845A (zh) * 2020-01-21 2020-06-16 梅里医疗科技(洋浦)有限责任公司 一种用于智慧病房的智能护理交互系统
CN112085777A (zh) * 2020-09-22 2020-12-15 上海视天科技有限公司 六自由度vr眼镜
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统
CN112601008A (zh) * 2020-11-17 2021-04-02 中兴通讯股份有限公司 一种摄像头切换方法、终端、装置及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098968A (zh) * 2021-12-28 2022-03-01 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪方法及装置
CN114098968B (zh) * 2021-12-28 2022-05-27 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪装置
CN114842704A (zh) * 2022-05-10 2022-08-02 上海微创医疗机器人（集团）股份有限公司 培训系统及培训方法
CN114842704B (zh) * 2022-05-10 2024-03-29 上海微创医疗机器人（集团）股份有限公司 培训系统及培训方法

Similar Documents

Publication Publication Date Title
CN103716595B (zh) 全景拼接摄像机和球机联动控制方法及装置
CN103716594B (zh) 基于运动目标检测的全景拼接联动方法及装置
KR101231518B1 (ko) 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법
WO2020125499A9 (zh) 一种操作提示方法及眼镜
CN113113128A (zh) 基于vr、算法和5g技术的医疗手术辅助系统以及方法
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
US20110063457A1 (en) Arrangement for controlling networked PTZ cameras
CN108139561B (zh) 摄像装置及摄像方法
CN111683204A (zh) 无人机拍摄方法、装置、计算机设备和存储介质
CN112487964B (zh) 姿态检测识别方法、设备及计算机可读存储介质
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
CN105825568A (zh) 便携式智能交互设备
CN108734655A (zh) 空中多节点实时侦查的方法及系统
JP2005033570A (ja) 移動体画像提供方法、移動体画像提供システム
CN101903828B (zh) 帮助捕获图像的设备
WO2021200184A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2019085945A1 (zh) 探测装置、探测系统和探测方法
CN110177257A (zh) 一种多摄像机视频监控装置及其人体跟踪方法
WO2021033592A1 (en) Information processing apparatus, information processing method, and program
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN116016878A (zh) 一种人工智能跟随式投影沙盘及其投影方法
CN111241926A (zh) 考勤与学情分析方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination