CN109920519B - 处理影像数据的方法、装置及设备 - Google Patents

处理影像数据的方法、装置及设备 Download PDF

Info

Publication number
CN109920519B
CN109920519B CN201910125332.5A CN201910125332A CN109920519B CN 109920519 B CN109920519 B CN 109920519B CN 201910125332 A CN201910125332 A CN 201910125332A CN 109920519 B CN109920519 B CN 109920519B
Authority
CN
China
Prior art keywords
image
virtual
image display
data
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910125332.5A
Other languages
English (en)
Other versions
CN109920519A (zh
Inventor
陈俊强
陈磊
康雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201910125332.5A priority Critical patent/CN109920519B/zh
Publication of CN109920519A publication Critical patent/CN109920519A/zh
Application granted granted Critical
Publication of CN109920519B publication Critical patent/CN109920519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明是关于一种处理影像数据的方法、装置及设备,所述方法包括:获取针对自身显示的虚拟影像的第一影像操作数据,根据第一影像操作数据,确定虚拟影像的第一影像变化数据,将第一影像变化数据发送给影像管理设备,以使影像管理设备将第一影像变化数据发送给虚拟现实交互系统的其他影像显示设备进行同步显示。本发明实施例提供了一种沉浸式多用户协同技术,当一个影像显示设备显示的虚拟影像发生变化时,其他影像显示设备显示的虚拟影像发生同步变化,多位用户可以通过各自配戴的影像显示设备,快速且准确地了解其他用户对虚拟影像执行的影像操作,提高了用户间的互动性,方便了用户间的交流。

Description

处理影像数据的方法、装置及设备
技术领域
本发明涉及医学影像处理技术领域,尤其涉及一种处理影像数据的方法、装置及设备。
背景技术
医院设有检测设备、阅片设备和影像云,检测设备对患者进行影像拍摄,并将拍摄的影像数据上传至影像云,阅片设备根据医生触发的指令从影像云下载影像数据,并根据影像数据显示影像,使得医生通过查看显示的影像对患者进行医疗诊断。
目前,在有会诊需求时,使用一台阅片设备显示待诊的影像,多位医生围坐在该阅片设备周围,当一位医生在阐述观点的过程中对显示的影像执行了影像操作,如放大、缩小、移动、旋转等,周围的其他医生能够看到影像的变化情况,快速且准确地了解该医生阐述的观点。然而,多位医生从不同位置集合到一台阅片设备周围的过程,占用了医生的宝贵时间,给医生带来了不便。
发明内容
有鉴于此,本发明提供一种处理影像数据的方法、装置及设备以解决上述技术问题。
为实现上述目的,本发明提供的技术方案如下:
根据本发明实施例的第一方面,提供一种处理影像数据的方法,应用于虚拟现实交互系统的影像显示设备中,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,所述方法包括:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
在一实施例中,所述方法还包括:
获取所述影像管理设备发送的第二影像变化数据,所述第二影像变化数据是所述其他所述影像显示设备根据针对自身显示的所述虚拟影像的第二影像操作数据确定的数据;
根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理。
在一实施例中,所述影像管理设备和至少两个所述影像显示设备位于同一局域网内,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示;
所述根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据,包括:
根据所述第一影像操作数据,确定所述虚拟影像在所述世界坐标系中的第一影像变化数据;
所述根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理,包括:
根据所述第二影像变化数据,对处于所述世界坐标系中的所述虚拟影像进行所述影像数据处理。
在一实施例中,所述方法还包括:
当所述影像显示设备初始化时,判断所述影像管理设备是否存有所述世界坐标系;
若所述影像管理设备未存所述世界坐标系,获取所述世界坐标系,并将所述世界坐标系发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述世界坐标系;
若所述影像管理设备存有所述世界坐标系,从所述影像管理设备获取所述世界坐标系。
在一实施例中,所述影像显示设备包括摄像头,所述摄像头用于采集所述影像显示设备周围的场景影像数据;
在所述获取针对自身显示的虚拟影像的第一影像操作数据之前,所述方法还包括:
通过所述摄像头采集所述场景影像数据;
对所述场景影像数据和所述虚拟影像的影像数据进行处理,获得虚实结合影像数据;
根据所述虚实结合影像数据显示虚实结合影像;
所述获取针对自身显示的虚拟影像的第一影像操作数据,包括:
获取针对所述虚实结合影像中虚拟影像部分的所述第一影像操作数据。
在一实施例中,所述方法还包括:
获取所述影像管理设备发送的第一位置信息,所述第一位置信息是所述其他所述影像显示设备在所述世界坐标系中的信息;
在所述虚实结合影像中所述第一位置信息对应的影像位置,显示所述其他所述影像显示设备的设备标识。
在一实施例中,所述方法还包括:
监测所述设备标识的预设触发信息;
当监测到所述预设触发信息时,显示所述其他所述影像显示设备显示的虚拟影像。
在一实施例中,所述当监测到所述预设触发信息时,显示所述其他所述影像显示设备显示的虚拟影像,包括:
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
在一实施例中,所述获取预设距离,包括:
获取所述虚拟影像与所述世界坐标系的坐标原点之间的第一距离;
获取所述其他影像显示设备与所述世界坐标系的坐标原点之间的第二距离;
将所述第一距离减去所述第二距离,获得所述预设距离。
在一实施例中,所述方法还包括:
获取第二位置信息,所述第二位置信息是所述影像显示设备在所述世界坐标系中的信息;
将所述第二位置信息发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述第二位置信息。
根据本发明实施例的第二方面,提供一种处理影像数据的方法,应用于虚拟现实交互系统的影像管理设备中,所述虚拟现实交互系统还包括:至少两个影像显示设备,所述方法包括:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
在一实施例中,当所述虚拟影像为三维影像时,在所述获取第一影像显示设备发送的影像变化数据之前,所述方法还包括:
获取二维影像数据;
处理所述二维影像数据,获得所述虚拟影像的三维影像数据;
将所述三维影像数据同时发送给所述影像显示设备和所述其他所述影像显示设备。
根据本发明实施例的第三方面,提供一种处理影像数据的装置,应用于虚拟现实交互系统的影像显示设备中,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,所述装置包括:
第一获取模块,用于获取针对自身显示的虚拟影像的第一影像操作数据;
确定模块,用于根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
第一发送模块,用于将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
在一实施例中,所述装置还包括:
第二获取模块,用于获取所述影像管理设备发送的第二影像变化数据,所述第二影像变化数据是所述其他所述影像显示设备根据针对自身显示的所述虚拟影像的第二影像操作数据确定的数据;
处理模块,用于根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理。
在一实施例中,所述确定模块,具体用于根据所述第一影像操作数据,确定所述虚拟影像在所述世界坐标系中的第一影像变化数据,所述影像管理设备和至少两个所述影像显示设备位于同一局域网内,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示;
所述处理模块,用于根据所述第二影像变化数据,对处于所述世界坐标系中的所述虚拟影像进行所述第二影像数据处理。
在一实施例中,所述装置还包括:
判断模块,用于当所述影像显示设备初始化时,判断所述影像管理设备是否存有所述世界坐标系;
第三获取模块,用于若所述影像管理设备未存所述世界坐标系,获取所述世界坐标系,并将所述世界坐标系发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述世界坐标系;
第四获取模块,用于若所述影像管理设备存有所述世界坐标系,从所述影像管理设备获取所述世界坐标系。
在一实施例中,所述装置还包括:
采集模块,用于若所述影像显示设备包括摄像头,所述摄像头用于采集所述影像显示设备周围的场景影像数据,在所述获取针对自身显示的虚拟影像的第一影像操作数据之前,通过所述摄像头采集所述场景影像数据;
获得模块,用于对所述场景影像数据和所述虚拟影像的影像数据进行处理,获得虚实结合影像数据;
第一显示模块,用于根据所述虚实结合影像数据显示虚实结合影像;
所述第一获取模块,用于获取针对所述虚实结合影像中虚拟影像部分的所述第一影像操作数据。
在一实施例中,所述装置还包括:
第五获取模块,用于获取所述影像管理设备发送的第一位置信息,所述第一位置信息是所述其他所述影像显示设备在所述世界坐标系中的信息;
第二显示模块,用于在所述虚实结合影像中所述第一位置信息对应的影像位置,显示所述其他所述影像显示设备的设备标识。
在一实施例中,所述装置还包括:
监测模块,用于监测所述设备标识的预设触发信息;
第三显示模块,用于当监测到所述预设触发信息时,显示所述其他所述影像显示设备显示的虚拟影像。
在一实施例中,所述第三显示模块,包括:
第一获取子模块,用于获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
第二获取子模块,用于获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
旋转子模块,用于根据所述预设夹角旋转所述虚拟影像;
移动子模块,用于移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
在一实施例中,所述第一获取子模块,包括:
第一获取单元,用于获取所述虚拟影像与所述世界坐标系的坐标原点之间的第一距离;
第二获取单元,用于获取所述其他影像显示设备与所述世界坐标系的坐标原点之间的第二距离;
获得单元,用于将所述第一距离减去所述第二距离,获得所述预设距离。
在一实施例中,所述装置还包括:
第六获取模块,用于获取第二位置信息,所述第二位置信息是所述影像显示设备在所述世界坐标系中的信息;
第二发送模块,用于将所述第二位置信息发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述第二位置信息。
根据本发明实施例的第四方面,提供一种处理影像数据的装置,应用于虚拟现实交互系统的影像管理设备中,所述虚拟现实交互系统还包括:至少两个影像显示设备,所述装置包括:
第一获取模块,用于获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
第一发送模块,用于将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
在一实施例中,所述装置还包括:
第二获取模块,用于当所述虚拟影像为三维影像时,在所述获取第一影像显示设备发送的影像变化数据之前,获取二维影像数据;
处理获取模块,用于处理所述二维影像数据,获得所述虚拟影像的三维影像数据;
第二发送模块,用于将所述三维影像数据同时发送给所述影像显示设备和所述其他所述影像显示设备。
根据本发明实施例的第五方面,提供一种处理影像数据的设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
根据本发明实施例的第六方面,提供一种处理影像数据的设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
根据本发明实施例的第七方面,提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
根据本发明实施例的第八方面,提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
由以上技术方案可见,本发明通过获取影像显示设备显示的虚拟影像的影像变化数据,以及将影像变化数据发送给虚拟现实交互系统的其他影像显示设备,使得其他影像显示设备根据影像变化数据进行影像处理,实现了多个影像显示设备的同步显示。本发明实施例提供了一种沉浸式多用户协同技术,当一个影像显示设备显示的虚拟影像发生变化时,其他影像显示设备显示的虚拟影像发生同步变化,多位用户可以通过各自配戴的影像显示设备,快速且准确地了解其他用户对虚拟影像执行的影像操作,提高了用户间的互动性,方便了用户间的交流,同时省去了相关技术中多位用户的集合过程,节省了用户时间,方便了用户操作。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种处理影像数据的方法的流程图;
图2是根据一示例性实施例示出的另一种处理影像数据的方法的流程图;
图3是根据一示例性实施例示出的获取世界坐标系的方法的流程图;
图4是根据一示例性实施例示出的另一种处理影像数据的方法的流程图;
图5是根据一示例性实施例示出的另一种处理影像数据的方法的流程图;
图6是根据一示例性实施例示出的另一种处理影像数据的方法的流程图;
图7是根据一示例性实施例示出的另一种处理影像数据的方法的流程图;
图8是根据一示例性实施例示出的一种处理影像数据的方法的流程图;
图9是根据一示例性实施例示出的一种处理影像数据的装置的框图;
图10是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图11是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图12是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图13是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图14是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图15是根据一示例性实施例示出的第三显示模块的框图;
图16是根据一示例性实施例示出的第一获取子模块的框图;
图17是根据一示例性实施例示出的另一种处理影像数据的装置的框图;
图18是根据一示例性实施例示出的一种处理影像数据的装置的框图;
图19是根据一示例性实施例示出的一种处理影像数据的装置的框图;
图20是根据一示例性实施例示出的一种处理影像数据的设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例提供了一种虚拟现实交互系统,该虚拟现实交互系统包括影像管理设备和至少两个影像显示设备。影像管理设备存有影像数据,在接收影像显示设备发送的数据请求后,将影像数据发送给影像显示设备,使得影像显示设备根据获取的影像数据显示虚拟影像。
影像显示设备的设备形式有多种,例如,可佩戴的显示头盔等。影像管理设备可以是影像云,如东软影像云或私有云,或者,影像管理设备可以是与影像显示设备位于同一局域网内的设备。当影像管理设备为影像云时,影像显示设备可以通过网络访问影像云,在用户账号已经登录影像云的情况下,影像显示设备从影像云下载影像数据。
当影像管理设备存有三维影像数据时,影像显示设备可以从影像管理设备获取三维影像数据,并根据该三维影像数据显示三维虚拟影像。影像管理设备获取三维影像数据的方式有多种,例如,影像管理设备从其他设备获取三维影像数据,或者,影像管理设备从其他设备获取二维影像数据,对二维影像数据进行三维建模和渲染等处理,从而获得三维影像数据。
在医院中,影像显示设备用于显示医学影像,医学影像有多种,如数字X射线影像(DR)、X线断层扫描影像(CT)、乳腺X线检测影像(MG)、超声影像(US)、核磁影像(MRI)等。
以CT影像为例,对影像管理设备获得三维影像数据的过程进行举例介绍。具体获取过程如下:首先,采用高斯滤波对获取的CT影像数据进行预处理,以消除噪声等干扰引起的干扰影像数据,得到除噪后的二维CT影像数据;其次,对除噪后的二维CT影像数据进行三维建模,具体地,可以先对除噪后的二维CT影像数据进行基于大津阈值方法的阈值变换,去除多余的背景信息得到整个组织结构,再对组织提取轮廓生成矢量轮廓数据,再根据矢量轮廓数据进行曲线重建并生成曲面,最后进行曲面实体化生成三维模型(可以理解为未经渲染的三维影像数据);最后,对三维模型进行渲染,得到三维影像数据。
图1是根据一示例性实施例示出的处理影像数据的方法的流程图,所述方法应用于本发明实施例提供的虚拟现实交互系统的影像显示设备中,所述方法包括:
在步骤S101中,获取针对自身显示的虚拟影像的第一影像操作数据。
本发明实施例中,为对虚拟现实交互系统的至少两个影像显示设备进行区分,下面将执行本发明实施例提供的方法的影像显示设备称为本影像显示设备,将与本影像显示设备交互的影像显示设备称为其他影像显示设备。
本影像显示设备在显示虚拟影像的过程中,若检测到对自身显示的虚拟影像的第一影像操作,则获取该第一影像操作的第一影像操作数据。
第一影像操作有多种,例如,手势操作、语音输入操作、凝视操作等。
当第一影像操作为手势操作时,第一影像操作数据有多种,例如,手指滑动方向、手指滑动距离、手指滑动轨迹、手指滑动轨迹形成的角度、针对预设按钮(如复位按钮等)的点击操作。当第一影像操作为语音输入操作时,第一影像操作数据为语音信息。当第一影像操作为凝视操作时,第一影像操作数据为凝视时长、凝视次数等。
在步骤S102中,根据第一影像操作数据,确定虚拟影像的第一影像变化数据。
本影像显示设备在获取到第一影像操作数据后,根据第一影像操作数据,确定由第一影像操作引起的虚拟影像的第一影像变化数据。
第一影像变化数据有多种,例如,影像放大比例、影像缩小比例、影像移动距离、影像旋转角度、影像复位等。
不同第一影像操作数据确定的第一影像变化数据不同。例如,当第一影像操作为双指朝向背离方向滑动的操作时,第一影像操作数据为双指由近至远反向滑动,第一影像变化数据可以为针对该操作方向预置的预设影像放大倍数;当第一影像操作为手指移动操作时,第一影像操作数据为手指滑动方向和手指滑动距离,第一影像变化数据可以为朝向该手指滑动方向移动且移动距离为该手指滑动距离;当第一影像操作为语音输入时,第一影像操作数据为根据语音信息确定的影像操作数据,第一影像变化数据为根据上述第一影像操作数据确定的数据。
在步骤S103中,将第一影像变化数据发送给影像管理设备,以使影像管理设备将第一影像变化数据发送给虚拟现实交互系统的其他影像显示设备进行同步显示。
本影像显示设备根据预置发送机制将获取的第一影像变化数据发送给影像管理设备,影像管理设备将第一影像变化数据发送给虚拟现实交互系统中的其他影像显示设备,以使其他影像显示设备根据第一影像变化数据进行影像数据处理,从而实现了虚拟现实交互系统的至少两个影像显示设备同步显示。
例如,本影像显示设备显示的虚拟影像移动时,其他影像显示设备显示的虚拟影像同步移动;本影像显示设备显示的虚拟影像放大时,其他影像显示设备显示的虚拟影像同步放大。
预置发送机制有多种,例如,确定出第一影像变化数据后,直接将第一影像变化数据发送给影像管理设备,或者,按照预设时长间隔,将第一影像变化数据发送给影像管理设备。可以根据实际设置预设时长长短,例如,预设时长可以是渲染每帧影像的时长。
本发明实施例提供了一种沉浸式多用户协同技术,当一个影像显示设备显示的虚拟影像发生变化时,其他影像显示设备显示的虚拟影像发生同步变化,多位用户可以通过各自配戴的影像显示设备,快速且准确地了解其他用户对虚拟影像执行的影像操作,提高了用户间的互动性,方便了用户间的交流,同时省去了相关技术中多位用户的集合过程,节省了用户时间,方便了用户操作。
在医院场景中,影像显示设备可以是可佩戴的显示头盔,当多位医生会诊时,多位医生各自配戴一显示头盔,当一位医生在阐述观点过程中对显示头盔显示的虚拟影像进行了影像操作时,其他医生看到的虚拟影像发生同步变化,便于其他医生快速且准确地了解该医生阐述的观点,便于意见交流的进行。
图2是根据一示例性实施例示出的另一种处理影像数据的方法的流程图,本影像显示设备还可以执行下述步骤S104和步骤S105:
在步骤S104中,获取影像管理设备发送的第二影像变化数据,第二影像变化数据是其他影像显示设备根据针对自身显示的虚拟影像的第二影像操作数据确定的数据。
其他影像显示设备在获取针对自身显示的虚拟影像的第二影像操作后,根据第二影像操作获取第二影像操作数据,将第二影像数据发送给影像管理设备,由影像管理设备将第二影像数据发送给本影像显示设备。
第二影像操作有多种,例如,手势操作、语音输入操作、凝视操作等。当第二影像操作为手势操作时,第二影像操作数据有多种,例如,手指滑动方向、手指滑动距离、手指滑动轨迹、手指滑动轨迹形成的角度、针对预设按钮(如复位按钮等)的点击操作。当第二影像操作为语音输入操作时,第一影像操作数据为语音信息。当第二影像操作为凝视操作时,第一影像操作数据为凝视时长、凝视次数等。
在步骤S105中,根据第二影像变化数据,对自身显示的虚拟影像进行影像数据处理。
本影像显示设备在获取到第二影像变化数据后,对自身显示的虚拟影像进行影像数据处理,使得自身显示的虚拟影像与其他影像显示设备显示的虚拟影像发生同步变化。
在一实施例中,影像管理设备可以是影像云,或者,影像管理设备可以是与至少两个影像显示设备位于同一局域网内的设备。
在影像管理设备为影像云的场景下,位于不同地域的用户通过各自配戴图像显示设备,可以实现远程图像交流,省去了距离带来的麻烦。位于不同地域的医生可以通过配戴图像显示设备,进行远程技术交流和会诊,缩短了病人疾病的诊断和治疗周期。
在影像管理设备和至少两个影像显示设备位于同一局域网内的场景下,为使得本影像显示设备显示的虚拟影像发生变化时,其他影像显示设备显示的虚拟影像发生相同变化,需要对至少两个影像显示设备使用的世界坐标系进行统一。
本影像显示设备获取世界坐标系的方式有多种,参照图3是根据一示例性实施例示出的获取世界坐标系的方法的流程图,本影像显示设备可以通过执行以下操作获取世界坐标系:在步骤S106中,当本影像管理设备初始化时,判断本影像管理设备是否存有世界坐标系;在步骤S107中,若本影像管理设备未存世界坐标系,获取世界坐标系,并将该世界坐标系发送给影像管理设备,使得其他影像显示设备能够从影像管理设备获取到该世界坐标系;在步骤S108中,若本影像管理设备存有世界坐标系,从影像管理设备获取该世界坐标系。
影像显示设备内置有用于获取世界坐标系的功能模块,功能模块有多种,例如,微软Hololens的工具包HoloToolkit提供了WorldAnchorManager组件,WorldAnchorManager组件为世界锚管理组件,使用WorldAnchorManager组件获取世界锚来生成世界坐标系。
基于上述步骤S106-步骤S108的设置,使得本影像显示设备具有在初始化时获取世界坐标系的功能,影像显示设备的智能性得到提高。同时保证了影像管理设备在某一时刻只存储一个世界坐标系,世界坐标系占用影像管理设备较小空间。
当本影像显示设备和其他影像显示设备获取并使用相同的世界坐标系时,上述步骤S102可以通过以下方式实现:根据第一影像操作数据,确定虚拟影像在世界坐标系中的第一影像变化数据;上述步骤S105可以通过以下方式实现:根据第二影像变化数据,对处于世界坐标系中的虚拟影像进行影像数据处理。
基于上述操作的设置,使得本影像显示设备显示的虚拟影像发生变化时,虚拟现实交互系统的其他影像显示设备显示的虚拟影像发生相同变化,提高了虚拟影像的同步效果。
例如,本影像显示设备显示的虚拟影像朝向第一方向移动10cm时,其他影像显示设备显示的虚拟影像同样朝向第一方向移动10cm;本影像显示设备显示的虚拟影像被放大1.5倍时,其他影像显示设备显示的虚拟影像同样被放大1.5倍。
在一实施例中,影像显示设备可以包括摄像头,该摄像头用于采集影像显示设备周围的场景影像数据。在影像管理设备和至少两个影像显示设备位于同一局域网内,至少两个影像显示设备使用相同的世界坐标系确定影像变化数据的场景下,参照图4是根据一示例性实施例示出的另一种处理影像数据的方法的流程图,本影像显示设备在获取针对自身显示的虚拟影像的第一影像操作数据之前,还可以执行以下操作:在步骤S109中,通过摄像头采集该影像显示设备周围的场景影像数据;在步骤S110中,对采集的场景影像数据和自身显示的虚拟影像的影像数据进行处理,获得虚实结合影像数据;在步骤S111中,根据获得的虚实结合影像数据显示虚实结合影像。
显示的虚实结合影像包括虚拟影像和由摄像头采集的真实场景影像。虚实结合影像中虚拟影像和真实场景影像的显示方式有多种,例如,虚拟影像在真实场景影像中显示,或者,虚拟影像和真实场景影像在各自显示区域内显示等。
本实施例中,参照图4,本影像显示设备获取针对自身显示的虚拟影像的第一影像操作数据的操作,即上述步骤S101可以通过以下方式实现:获取针对虚实结合影像中虚拟影像部分的第一影像操作数据。
基于上述步骤S109-步骤S111的设置,使得本影像显示设备具有通过摄像头采集场景影像数据、获得虚实结合影像数据、以及显示虚实结合影像的功能,丰富了用户观看到的影像内容,影像显示设备的智能性得到提高。
在图4所示的方法基础上,参照图5是根据一示例性实施例示出的另一种处理影像数据的方法的流程图,本影像显示设备还可以执行下述步骤S112和步骤S113:
在步骤S112中,获取影像管理设备发送的第一位置信息,该第一位置信息是虚拟现实交互系统中其他影像显示设备在世界坐标系中的信息。
本影像显示设备获取影像管理设备发送的第一位置信息的方式有多种,例如,本影像显示设备在检测到预设触发信息后,向影像管理设备发送预设请求,该预设请求用于请求影像管理设备发送其他影像显示设备的第一位置信息,接收影像管理设备根据该预设请求发送的第一位置信息;又如,本影像显示设备在与影像管理设备建立连接后,接收影像管理设备主动发送的第一位置信息。
在步骤S113中,在虚实结合影像中第一位置信息对应的影像位置,显示其他影像显示设备的设备标识。
本影像显示设备在执行步骤S112时显示虚实结合影像,本影像显示设备在获取到其他影像显示设备的第一位置信息后,获取针对其他影像显示设备设置的设备标识(如文字标识、头像标识等),确定虚实结合影像中第一位置信息对应的影像位置,之后将获取的设备标识显示在该影像位置,从而在该虚实结合影像中标识出其他影像显示设备,便于用户通过查看虚实结合影像中的设备标识,了解局域网中其他影像显示设备的信息(如数目、分布情况等)。
当其他影像显示设备发生移动时,本影像显示设备显示的虚实结合影像中其他影像显示设备的设备标识发生移动,使用本影像显示设备的用户可以根据设备标识的移动轨迹,确定其他影像显示设备的移动轨迹、移动速度等信息,从而提高了用户体验,影像显示设备的智能性得到提高。
在图5所示的方法基础上,参照图6是根据一示例性实施例示出的另一种处理影像数据的方法的流程图,影像显示设备还可以执行下述步骤S114和步骤S115:
在步骤S114中,监测设备标识的预设触发信息。
本影像显示设备执行完上述步骤S113后,判断是否接收到针对设备标识的预设操作,是否获取到设备标识的预设触发信息。预设操作有多种,例如,用户的预设手势操作、用户的语音输入操作、用户针对设备标识的凝视操作等。
预设触发信息有多种,例如,针对设备标识的一次点击操作、针对设备标识的双击操作、包括预设内容的语音信息、设备标识被用户凝视等,其中,语音信息的预设内容可以是关于显示设备标识对应的其他影像显示设备显示的虚拟影像的内容。
在步骤S115中,当监测到预设触发信息时,显示其他影像显示设备显示的虚拟影像。
本影像显示设备在监测到设备标识的预设触发信息后,获取该设备标识对应的其他影像显示设备显示的虚拟影像,并显示其他影像显示设备显示的虚拟影像。
位于不同空间位置的影像显示设备虽然都显示同一虚拟影像,但是虚拟影像的显示方位不同,例如,一个影像显示设备显示虚体立方体的顶面和侧面,而另一个影像显示设备显示该虚拟立方体的底面和侧面,因此通过执行上述步骤S114和步骤S115,实现了虚拟影像的显示方位的切换,实现了虚拟影像的观察区域的切换,方便用户对虚拟影像进行多角度查看,同时方便了该用户了解其他用户查看到的影像内容,便于用户之间的沟通。医生可以使用具有上述功能的影像显示设备进行多角度阅片,从而更加清楚地了解患者组织结构,做出准确诊断。
参照图7是根据一示例性实施例示出的另一种处理影像数据的方法的流程图,步骤S115可以通过下述步骤S1151-步骤S1154实现:
步骤S1151中,获取预设距离,该预设距离为其他影像显示设备和虚拟影像在世界坐标系中的距离。
预设距离是在世界坐标系中确定的距离。计算预设距离的方法有多种,例如,预设距离的计算公式如下:
Plocalobject=Pobject–Pworldanchor
其中,Plocalobject为预设距离;Pobject为虚拟影像与世界坐标系的坐标原点之间的第一距离;Pworldanchor为其他影像显示设备与世界坐标系的坐标原点之间的第二距离。
Pobject可以根据虚拟影像在世界坐标系中的位置信息(如空间坐标)确定,Pworldanchor可以根据其他影像显示设备在世界坐标系中的位置信息(如空间坐标)确定。
计算预设距离的执行主体有多种,例如,本影像显示设备、影像管理设备等。当计算预设距离的执行主体为本影像显示设备时,本影像显示设备可以从影像管理设备获取其他影像显示设备在世界坐标系中的位置信息。当计算预设距离的执行主体为影像管理设备时,本影像显示设备可以从影像管理设备获取该预设距离。
步骤S1152中,获取预设夹角,该预设夹角为第一线段与第二线段之间的夹角,其中,第一线段为其他影像显示设备和虚拟影像之间的线段,第二线段为本影像显示设备和虚拟影像之间的线段。
预设夹角是在世界坐标系中确定的夹角。计算预设夹角的方法有多种,例如,可以根据本影像显示设备在世界坐标系中的位置信息如三维坐标、其他影像显示设备在世界坐标系中的位置信息如三维坐标、以及世界坐标系中的坐标原点,计算出该预设夹角。
计算预设夹角的执行主体有多种,例如,本影像显示设备、影像管理设备等。当计算预设夹角的执行主体为本影像显示设备时,本影像显示设备可以从影像管理设备获取其他影像显示设备在世界坐标系中的位置信息。当计算预设夹角的执行主体为影像管理设备时,本影像显示设备可以从影像管理设备获取该预设夹角。
步骤S1153中,根据预设夹角旋转虚拟影像。
本影像显示设备根据步骤S1152中获取的预设夹角旋转虚拟影像,使得本影像显示设备具有与其他影像显示设备相同的影像显示角度,显示其他影像显示设备显示的虚拟影像区域。
例如,当本影像显示设备获取到自身设备与其他影像显示设备在世界坐标系中夹角为30°时,本影像显示设备控制自身显示的虚拟影像旋转30°,使得本影像显示设备显示其他影像显示设备显示的虚拟影像区域。
步骤S1154中,移动旋转后的虚拟影像,使得本影像显示设备和旋转后的虚拟影像相距预设距离。
本影像显示设备根据步骤S1151中获取的预设距离移动旋转后的虚拟影像,使得自身设备和旋转后的虚拟影像相距该预设距离。
基于步骤S1151-步骤S1154的设置,使得本影像显示设备对虚拟影像的显示效果与其他影像显示设备对虚拟影像的显示效果相同,实现了不同影像显示设备显示的虚拟影像的切换。
操作中,本影像显示设备在从影像管理设备获取三维影像数据时,可以同时获取对应的二维影像数据,在根据三维影像数据显示三维虚拟影像时,同时根据二维影像数据显示二维真实影像,实现同时显示多种影像。
本发明实施例提供的虚拟现实交互系统,经过实验模拟可以实现基于手势和语音相结合的人机交互功能、以及本地多人共享交互功能,可以将二维真实图像和三维虚拟图像相结合的方式来查阅影像如医学影像。
在图5所示的方法基础上,本影像显示设备除具有从影像管理设备获取第一位置信息的功能外,还可以获取第二位置信息,该第二位置信息是本影像显示设备在世界坐标系中的信息,之后将获取的第二位置信息发送给影像管理设备,使得虚拟现实交互系统中其他影像显示设备能够从影像管理设备获取到该第二位置信息,并在自身显示的虚实结合影像中第二位置信息对应的影像位置显示本影像显示设备的设备标识。
本影像显示设备获取第二位置信息的方式有多种,例如,当自身设备开始启动时,获取第二位置信息,或者,当接收到影像管理设备发送的信息请求时,获取该第二位置信息,其中,该信息请求是影像管理设备自动发出的请求,或者,该信息获取请求是影像管理设备根据其他影像管理设备发送的预设指令发出的请求。
图8是根据一示例性实施例示出的一种处理影像数据的方法的流程图,所述方法应用于本发明实施例提供的虚拟现实交互系统的影像管理设备中,所述方法包括:
在步骤S201中,获取影像显示设备发送的影像变化数据,该影像变化数据是影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据。
本发明实施例中,为对虚拟现实交互系统的至少两个影像显示设备进行区分,下面将发送影像变化数据的影像管理设备称为本影像显示设备,将与本影像显示设备交互的影像显示设备称为其他影像显示设备。
用户使用本影像显示设备时,可以对本影像显示设备显示的虚拟影像执行影像操作,影像操作有多种,例如,手势操作、语音输入操作、凝视操作等。本影像显示设备可以根据影像操作获取到影像操作数据,影像操作数据有多种,例如,手指滑动方向、手指滑动距离、手指滑动轨迹、手指滑动轨迹形成的角度、针对预设按钮(如复位按钮等)的点击操作。本影像显示设备可以根据获取的影像操作数据,确定本设备显示的虚拟图像的影像变化数据,影像变化数据有多种,例如,朝向指定方向移动指定距离,旋转指定角度等。
在步骤S202中,将影像变化数据发送给其他影像显示设备,以使本影像显示设备和其他影像显示设备进行同步显示。
本影像显示设备将获取的影像变化数据发送给其他影像显示设备,以使本影像显示设备和其他影像显示设备进行同步显示。
影像管理设备通过执行上述步骤,实现了与本影像显示设备、其他影像显示设备的交互,实现了一个影像显示设备显示的虚拟影像发生变化时,虚拟现实交互系统的其他影像显示设备显示的虚拟影像发生同步变化。
在一实施例中,图像管理设备在获取第一影像显示设备发送的影像变化数据之前,还可以执行以下操作:获取虚拟影像的二维影像数据,处理二维影像数据,得到三维影像数据,存储三维影像数据。
三维影像数据可以理解为三维模型数据,可以包括三维物体的相对位置、角度和尺寸等数据。影像管理设备可以按照预设格式(如表格格式)存储三维影像数据,供影像显示设备查看和获取。
图像管理设备在满足预设数据发送条件下,将存储的三维影像数据同时发给本影像显示设备和其他影像显示设备,使得本影像显示设备和其他影像显示设备同时显示该虚拟图像。预设数据发送条件有多种,例如,图像管理设备接收到某个影像显示设备发送的数据获取请求,该数据获取请求用于请求图像管理设备发送所需的影像数据;又如,图像管理设备获取到三维影像数据等。
图像管理设备可以将三维影像数据和对应的二维影像数据一同发送给本影像显示设备,同时将三维影像数据和对应的二维影像数据一同发送给其他影像显示设备,使得一个影像显示设备同时获取和显示两种影像数据,方便用户对不同影像数据的查看。
图9是根据一示例性实施例示出的一种处理影像数据的装置的框图;图9所示的处理影像数据的装置应用于虚拟现实交互系统的影像显示设备中,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,如图9所示,处理影像数据的装置包括:第一获取模块31、确定模块32以及第一发送模块33,其中:
第一获取模块31,用于获取针对自身显示的虚拟影像的第一影像操作数据;
确定模块32,用于根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
第一发送模块33,用于将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
在一实施例中,图10是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图10所示的处理影像数据的装置还可以包括:第二获取模块34和处理模块35,其中:
第二获取模块34,用于获取所述影像管理设备发送的第二影像变化数据,所述第二影像变化数据是所述其他所述影像显示设备根据针对自身显示的所述虚拟影像的第二影像操作数据确定的数据;
处理模块35,用于根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理。
在一实施例中,图9所示的确定模块32,用于根据所述第一影像操作数据,确定所述虚拟影像在所述世界坐标系中的第一影像变化数据,所述影像管理设备和至少两个所述影像显示设备位于同一局域网内,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示;
图10所示的处理模块35,用于根据所述第二影像变化数据,对处于所述世界坐标系中的所述虚拟影像进行所述第二影像数据处理。
在一实施例中,图11是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图11所示的处理影像数据的装置还可以包括:判断模块36、第三获取模块37以及第四获取模块38,其中:
判断模块36,用于当所述影像显示设备初始化时,判断所述影像管理设备是否存有所述世界坐标系;
第三获取模块37,用于若所述影像管理设备未存所述世界坐标系,获取所述世界坐标系,并将所述世界坐标系发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述世界坐标系;
第四获取模块38,用于若所述影像管理设备存有所述世界坐标系,从所述影像管理设备获取所述世界坐标系。
在一实施例中,图12是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图12所示的处理影像数据的装置还可以包括:采集模块39、获得模块310以及第一显示模块311,其中:
采集模块39,用于若所述影像显示设备包括摄像头,所述摄像头用于采集所述影像显示设备周围的场景影像数据,在所述获取针对自身显示的虚拟影像的第一影像操作数据之前,通过所述摄像头采集所述场景影像数据;
获得模块310,用于对所述场景影像数据和所述虚拟影像的影像数据进行处理,获得虚实结合影像数据;
第一显示模块311,用于根据所述虚实结合影像数据显示虚实结合影像;
所述第一获取模块31,用于获取针对所述虚实结合影像中虚拟影像部分的所述第一影像操作数据。
在一实施例中,图13是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图13所示的处理影像数据的装置还可以包括:第五获取模块312和第二显示模块313,其中:
第五获取模块312,用于获取所述影像管理设备发送的第一位置信息,所述第一位置信息是所述其他所述影像显示设备在所述世界坐标系中的信息;
第二显示模块313,用于在所述虚实结合影像中所述第一位置信息对应的影像位置,显示所述其他所述影像显示设备的设备标识。
在一实施例中,图14是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图14所示的处理影像数据的装置还可以包括:监测模块314,和第三显示模块315,其中:
监测模块314,用于监测所述设备标识的预设触发信息;
第三显示模块315,用于当监测到所述预设触发信息时,显示所述其他所述影像显示设备显示的虚拟影像。
在一实施例中,在图14所示的处理影像数据的装置的框图基础上,图15是根据一示例性实施例示出的第三显示模块的框图,图15所示的第三显示模块315可以包括:第一获取子模块3151、第二获取子模块3152、旋转子模块3153以及移动子模块3154,其中:
第一获取子模块3151,用于获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
第二获取子模块3152,用于获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
旋转子模块3153,用于根据所述预设夹角旋转所述虚拟影像;
移动子模块3154,用于移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
在一实施例中,在图15所示的第三显示模块的框图基础上,图16是根据一示例性实施例示出的第一获取子模块的框图,图16所示的第一获取子模块3151可以包括:第一获取单元3151-1、第二获取单元3151-2以及获得单元3151-3,其中:
第一获取单元3151-1,用于获取所述虚拟影像与所述世界坐标系的坐标原点之间的第一距离;
第二获取单元3151-2,用于获取所述其他影像显示设备与所述世界坐标系的坐标原点之间的第二距离;
获得单元3151-3,用于将所述第一距离减去所述第二距离,获得所述预设距离。
在一实施例中,图17是根据一示例性实施例示出的另一种处理影像数据的装置的框图;图17所示的处理影像数据的装置还可以包括:第六获取模块316和第二发送模块317,其中:
第六获取模块316,用于获取第二位置信息,所述第二位置信息是所述影像显示设备在所述世界坐标系中的信息;
第二发送模块317,用于将所述第二位置信息发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述第二位置信息。
图18是根据一示例性实施例示出的一种处理影像数据的装置的框图;图18所示的处理影像数据的装置应用于虚拟现实交互系统的影像管理设备中,所述虚拟现实交互系统还包括:至少两个影像显示设备,如图18所示,所述处理影像数据的装置包括:第一获取模块41和第一发送模块42,其中:
第一获取模块41,用于获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
第一发送模块42,用于将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
在一实施例中,图19是根据一示例性实施例示出的一种处理影像数据的装置的框图;图19所示的处理影像数据的装置还可以包括:第二获取模块43、处理获取模块44以及第二发送模块45,其中:
第二获取模块43,用于当所述虚拟影像为三维影像时,在所述获取第一影像显示设备发送的影像变化数据之前,获取二维影像数据;
处理获取模块44,用于处理所述二维影像数据,获得所述虚拟影像的三维影像数据;
第二发送模块45,用于将所述三维影像数据同时发送给所述影像显示设备和所述其他所述影像显示设备。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明处理影像数据的装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图20所示,为本发明的处理影像数据的装置所在电子设备的一种硬件结构图,除了图20所示的处理器、网络接口、内存之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等;从硬件结构上来讲该设备还可能是分布式的设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现以下任务处理方法:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现以下任务处理方法:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由本申请的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (17)

1.一种处理影像数据的方法,其特征在于,应用于虚拟现实交互系统的影像显示设备中,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,所述方法包括:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述影像管理设备发送的第二影像变化数据,所述第二影像变化数据是所述其他所述影像显示设备根据针对自身显示的所述虚拟影像的第二影像操作数据确定的数据;
根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理。
3.根据权利要求2所述的方法,其特征在于,所述影像管理设备和至少两个所述影像显示设备位于同一局域网内;
所述根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据,包括:
根据所述第一影像操作数据,确定所述虚拟影像在所述世界坐标系中的第一影像变化数据;
所述根据所述第二影像变化数据,对自身显示的所述虚拟影像进行影像数据处理,包括:
根据所述第二影像变化数据,对处于所述世界坐标系中的所述虚拟影像进行所述影像数据处理。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述影像显示设备初始化时,判断所述影像管理设备是否存有所述世界坐标系;
若所述影像管理设备未存所述世界坐标系,获取所述世界坐标系,并将所述世界坐标系发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述世界坐标系;
若所述影像管理设备存有所述世界坐标系,从所述影像管理设备获取所述世界坐标系。
5.根据权利要求3所述的方法,其特征在于,所述影像显示设备包括摄像头,所述摄像头用于采集所述影像显示设备周围的场景影像数据;
在所述获取针对自身显示的虚拟影像的第一影像操作数据之前,所述方法还包括:
通过所述摄像头采集所述场景影像数据;
对所述场景影像数据和所述虚拟影像的影像数据进行处理,获得虚实结合影像数据;
根据所述虚实结合影像数据显示虚实结合影像;
所述获取针对自身显示的虚拟影像的第一影像操作数据,包括:
获取针对所述虚实结合影像中虚拟影像部分的所述第一影像操作数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取所述影像管理设备发送的第一位置信息,所述第一位置信息是所述其他所述影像显示设备在所述世界坐标系中的信息;
在所述虚实结合影像中所述第一位置信息对应的影像位置,显示所述其他所述影像显示设备的设备标识。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
监测所述设备标识的预设触发信息;
当监测到所述预设触发信息时,显示所述其他所述影像显示设备显示的虚拟影像。
8.根据权利要求1所述的方法,其特征在于,所述获取预设距离,包括:
获取所述虚拟影像与所述世界坐标系的坐标原点之间的第一距离;
获取其他所述影像显示设备与所述世界坐标系的坐标原点之间的第二距离;
将所述第一距离减去所述第二距离,获得所述预设距离。
9.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取第二位置信息,所述第二位置信息是所述影像显示设备在所述世界坐标系中的信息;
将所述第二位置信息发送给所述影像管理设备,使得所述其他所述影像显示设备能够从所述影像管理设备获取到所述第二位置信息。
10.一种处理影像数据的方法,其特征在于,应用于虚拟现实交互系统的影像管理设备中,所述虚拟现实交互系统还包括:至少两个影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,所述方法包括:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
11.根据权利要求10所述的方法,其特征在于,当所述虚拟影像为三维影像时,在获取所述第一影像显示设备发送的影像变化数据之前,所述方法还包括:
获取二维影像数据;
处理所述二维影像数据,获得所述虚拟影像的三维影像数据;
将所述三维影像数据同时发送给所述影像显示设备和所述其他所述影像显示设备。
12.一种处理影像数据的装置,其特征在于,应用于虚拟现实交互系统的影像显示设备中,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,所述装置包括:
第一获取模块,用于获取针对自身显示的虚拟影像的第一影像操作数据;
确定模块,用于根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
第一发送模块,用于将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示;
第三显示模块,包括:
第一获取子模块,用于获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
第二获取子模块,用于获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
旋转子模块,用于根据所述预设夹角旋转所述虚拟影像;
移动子模块,用于移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
13.一种处理影像数据的装置,其特征在于,应用于虚拟现实交互系统的影像管理设备中,所述虚拟现实交互系统还包括:至少两个影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,所述装置包括:
第一获取模块,用于获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
第一发送模块,用于将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示;
第三显示模块,包括:
第一获取子模块,用于获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
第二获取子模块,用于获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
旋转子模块,用于根据所述预设夹角旋转所述虚拟影像;
移动子模块,用于移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
14.一种处理影像数据的设备,其特征在于,该设备为虚拟现实交互系统的影像显示设备,所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取针对自身显示的虚拟影像的第一影像操作数据;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
15.一种处理影像数据的设备,其特征在于,该设备为虚拟现实交互系统的影像管理设备,所述虚拟现实交互系统包括:影像管理设备和至少两个影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取所述影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
16.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
获取针对虚拟现实交互系统的影像显示设备自身显示的虚拟影像的第一影像操作数据;所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示;
根据所述第一影像操作数据,确定所述虚拟影像的第一影像变化数据;
将所述第一影像变化数据发送给所述影像管理设备,以使所述影像管理设备将所述第一影像变化数据发送给所述虚拟现实交互系统的其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
17.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
获取虚拟现实交互系统中影像显示设备发送的影像变化数据,所述影像变化数据是所述影像显示设备根据针对自身显示的虚拟影像的影像操作数据确定的数据;所述虚拟现实交互系统包括:影像管理设备和至少两个所述影像显示设备,每个所述影像显示设备使用所述虚拟现实交互系统的世界坐标系进行虚拟影像显示;
将所述影像变化数据发送给其他所述影像显示设备,以使所述影像显示设备和所述其他所述影像显示设备进行同步显示;
获取预设距离,所述预设距离为所述其他所述影像显示设备和所述虚拟影像在所述世界坐标系中的距离;
获取预设夹角,所述预设夹角为第一线段与第二线段之间的夹角,所述第一线段为所述其他所述影像显示设备和所述虚拟影像之间的线段,所述第二线段为所述影像显示设备和所述虚拟影像之间的线段;
根据所述预设夹角旋转所述虚拟影像;
移动旋转后的所述虚拟影像,使得所述影像显示设备和旋转后的所述虚拟影像相距所述预设距离。
CN201910125332.5A 2019-02-20 2019-02-20 处理影像数据的方法、装置及设备 Active CN109920519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910125332.5A CN109920519B (zh) 2019-02-20 2019-02-20 处理影像数据的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910125332.5A CN109920519B (zh) 2019-02-20 2019-02-20 处理影像数据的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109920519A CN109920519A (zh) 2019-06-21
CN109920519B true CN109920519B (zh) 2023-05-02

Family

ID=66961734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910125332.5A Active CN109920519B (zh) 2019-02-20 2019-02-20 处理影像数据的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109920519B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105200A (ja) * 2010-11-12 2012-05-31 Sharp Corp 3dコンテンツ表示装置、および3dコンテンツ表示方法
CN105354820B (zh) * 2015-09-30 2018-05-22 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN106125903B (zh) * 2016-04-24 2021-11-16 林云帆 多人交互系统及方法
CN108170259A (zh) * 2016-12-07 2018-06-15 上海西门子医疗器械有限公司 医疗系统辅助处理设备、医疗系统及辅助处理方法
CN108243293B (zh) * 2016-12-23 2021-02-26 炬芯科技股份有限公司 一种基于虚拟现实设备的图像显示方法及系统
CN106873778B (zh) * 2017-01-23 2020-04-28 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
CN107885334B (zh) * 2017-11-23 2021-10-22 联想(北京)有限公司 一种信息处理方法和虚拟设备
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN108479065B (zh) * 2018-03-29 2021-12-28 京东方科技集团股份有限公司 一种虚拟影像的交互方法及相关装置

Also Published As

Publication number Publication date
CN109920519A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
US11004554B2 (en) Method and apparatus for identification
KR102201603B1 (ko) 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템
US20190310819A1 (en) Augmented reality image display systems and methods
CA3055941C (en) Augmented reality diagnosis guidance
US9232934B2 (en) Systems and methods for communicating ultrasound probe location and image information
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
CN108701170A (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
US10607340B2 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
JP2015532483A (ja) ビデオ映像の視点を変えるための方法および装置
CN110955329B (zh) 传输方法以及电子设备和计算机存储介质
CN110111875A (zh) 一种mr远程医疗系统
US20200187901A1 (en) Enhanced ultrasound systems and methods
CN109920519B (zh) 处理影像数据的方法、装置及设备
CN103620643B (zh) 医学图像的缩放
JP6801073B2 (ja) 付加情報表示装置、方法およびプログラム
JP2020524540A (ja) 医用画像を画像解析する方法及びシステム
JPWO2019198128A1 (ja) 内視鏡業務支援システムおよび内視鏡業務支援方法
US20210128265A1 (en) Real-Time Ultrasound Imaging Overlay Using Augmented Reality
JP7417337B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN112216376A (zh) 远程引导系统、方法、计算机设备以及可读存储介质
CN215181889U (zh) 使用三维面部及身体扫描数据提供实时可视化服务的设备
US11369440B2 (en) Tactile augmented reality for medical interventions
GB2611556A (en) Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner
US20220142722A1 (en) Method and system for controlling dental machines
CN117237776A (zh) 融合处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant