CN112884905A - 虚拟场景构建方法、装置、计算机设备和存储介质 - Google Patents

虚拟场景构建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112884905A
CN112884905A CN202011619867.7A CN202011619867A CN112884905A CN 112884905 A CN112884905 A CN 112884905A CN 202011619867 A CN202011619867 A CN 202011619867A CN 112884905 A CN112884905 A CN 112884905A
Authority
CN
China
Prior art keywords
scene
image
virtual
execution
target task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011619867.7A
Other languages
English (en)
Inventor
曾典
于旭东
王成焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuyi Technology Co ltd
Chinese Peoples Liberation Army Naval Characteristic Medical Center
Original Assignee
Beijing Shuyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuyi Technology Co ltd filed Critical Beijing Shuyi Technology Co ltd
Priority to CN202011619867.7A priority Critical patent/CN112884905A/zh
Publication of CN112884905A publication Critical patent/CN112884905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种虚拟场景构建方法、装置、计算机设备和存储介质,适用于医疗急救技术领域。所述方法包括:服务器获取任务信息;任务信息包括执行目标任务的场景信息;服务器根据场景信息确定与目标任务匹配的虚拟执行场景;服务器接收目标任务的真实执行场景的图像;服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。采用本方法能够提供沉浸式急救培训环境,使得急救培训效果更佳。

Description

虚拟场景构建方法、装置、计算机设备和存储介质
技术领域
本申请涉及虚拟现实技术领域,特别是涉及一种虚拟场景构建方法、装置、计算机设备和存储介质。
背景技术
现场急救培训,特别是灾难和战争现场急救培训,长期以来都是医学教学培训中的重要课目。目前急救培训的主要方式是培训人员之间互为伤员模特开展现场急救培训,虽然可以完成救治操作和流程的训练,但由于缺乏现场直观感受,培训效果并不理想。
少数基层部队培训时增加了伤情视频或图片演示,还可以安排战士做伤情化妆,或是购买伤情假人模型等手段,以增加培训的真实感,但同时也增加了高额的培训成本。可见,受限于目前的培训条件,培训人员的急救培训效果不佳。
发明内容
基于此,有必要针对上述技术问题,提供一种虚拟场景构建方法、装置、计算机设备和存储介质,能够提供沉浸式急救培训环境,使得培训效果更佳。
第一方面,提供了一种虚拟场景构建方法,方法包括:服务器获取任务场景信息;任务场景信息用于指示执行目标任务的场景;服务器根据任务场景信息确定与目标任务匹配的虚拟执行场景;服务器获取目标任务的真实执行场景的图像;服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
在其中一个实施例中,根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景,包括:服务器对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像;服务器将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合。
在其中一个实施例中,真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现执行者的图像、所述执行对象的图像以及执行环境的图像。
在其中一个实施例中,对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像,包括:服务器去除图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
在其中一个实施例中,更新虚拟执行场景后,方法还包括:服务器向头戴式虚拟现实设备发送虚拟执行场景的信息。
第二方面,提供了一种虚拟场景构建方法,方法包括:头戴式虚拟现实设备获取目标任务的真实执行场景的图像;头戴式虚拟现实设备向服务器发送目标任务的真实执行场景的图像;目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景;头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
在其中一个实施例中,头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;摄像模组用于获取目标任务的真实执行场景的图像,虚拟现实显示器用于呈现目标任务的虚拟执行场景。
在其中一个实施例中,真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
第三方面,提供了一种虚拟场景构建装置,装置包括:
获取模块,用于获取任务场景信息;任务场景信息用于指示执行目标任务的场景;
确定模块,用于根据任务场景信息确定与目标任务匹配的虚拟执行场景;
接收模块,用于获取目标任务的真实执行场景的图像;
融合模块,用于根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
第四方面,提供了一种虚拟场景构建装置,装置包括:
获取模块,用于获取目标任务的真实执行场景的图像;
发送模块,用于向服务器发送目标任务的真实执行场景的图像;目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景;
接收模块,用于从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
第五方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面和第二方面任一所述的方法。
第六方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面和第二方面任一所述的方法。
上述虚拟场景构建方法、装置、计算机设备和存储介质,服务器通过获取任务场景信息,并根据任务场景信息确定与目标任务(例如,急救培训任务)匹配的虚拟执行场景。服务器接收目标任务的真实执行场景的图像,并根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。当虚拟现实设备呈现上述更新后的虚拟执行场景,用户(例如,培训人员)可以感受到当前执行培训任务的真实环境,也可以感受到该培训任务的实际应用环境,例如,战争场景、地震场景等,为培训人员提供沉浸式急救培训环境,从而有效提升对培训人员的培训效果。
附图说明
图1为一个实施例中虚拟场景构建方法的应用环境图;
图2为一个实施例中虚拟场景构建方法的流程示意图;
图3为一个实施例中虚拟场景构建方法中的虚拟执行场景的图像的示意图;
图4为一个实施例中虚拟场景构建方法中的真实执行场景的图像的示意图;
图5为一个实施例中虚拟场景构建方法中的更新后的虚拟执行场景的图像的示意图;
图6为另一个实施例中虚拟场景构建方法的流程示意图;
图7为另一个实施例中虚拟场景构建方法中急救培训环境示意图;
图8为另一个实施例中虚拟场景构建方法中急救培训环境的空间示意图;
图9为另一个实施例中虚拟场景构建方法的流程示意图;
图10为另一个实施例中虚拟场景构建方法的流程示意图;
图11为另一个实施例中虚拟场景构建方法的流程示意图;
图12为一个实施例中虚拟场景构建装置的结构框图;
图13为一个实施例中虚拟场景构建装置的结构框图;
图14为一个实施例中虚拟场景构建装置的结构框图;
图15为一个实施例中虚拟场景构建装置的结构框图;
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的虚拟场景构建方法,可以应用于如图1所示的应用环境中。该应用环境可以包括头戴式虚拟现实设备102和服务器104。其中,头戴式虚拟现实设备102与服务器104通过网络进行通信。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,用于向头戴式虚拟现实设备102提供虚拟场景的信息,包括但不限于虚拟场景的图像信息、虚拟场景的音频信息等。头戴式虚拟现实设备102可以是虚拟现实头盔、虚拟现实耳罩、虚拟现实眼镜等,包括显示器1020和摄像模组1021。显示器1020用于呈现虚拟场景,摄像模组用于拍摄图像,头戴式虚拟现实设备102可以从服务器104接收虚拟场景的信息,呈现虚拟场景。例如,通过显示器呈现虚拟场景的图像,通过音频设备呈现虚拟场景的音频。
在本申请一个可选的实施例中,如图2所示,提供了一种虚拟场景构建方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤201,服务器获取任务场景信息。
其中,任务场景信息用于指示执行目标任务的场景,目标任务可以是急救培训任务、演习任务等。示例的,任务场景信息可以是执行某项培训任务的场景的信息。其中,执行培训任务的场景包括战争场景、地震场景、洪水场景、交通事故场景以及劫匪场景等可能发生人身伤亡的场景,本申请实施例对执行培训任务的场景不做具体限定。
一种可能的实现方式中,服务器面向用户提供任务配置界面,用户可以在该界面输入目标任务的一些基本信息,例如,任务场景信息、任务名称等。服务器可以通过该配置界面接收到用户输入的目标任务的基本信息。.
示例性的,当需要对培训人员进行急救培训时,例如,可以是战争场景的急救培训,上述目标任务为在战争场景进行急救培训,任务场景信息可以是“战争场景”,任务名称可以是“急救培训”;也可以是地震场景的急救培训,那么上述目标任务为地震场景进行急救培训,任务场景信息可以是“地震场景”,任务名称可以是“急救培训”。
步骤202,服务器根据任务场景信息确定与目标任务匹配的虚拟执行场景。
其中,虚拟执行场景是目标任务实际应用的场景。例如,目标任务为急救培训任务,虚拟执行场景可以是实际实施急救的场景,示例的,虚拟执行场景可以是地震场景、战争场景或洪水场景等。
在本申请实施例中,服务器在获取到用户输入的任务场景信息之后,可以在虚拟场景库中查找与任务场景信息匹配的虚拟场景,在查找到一个虚拟场景的情况下,将查找到的虚拟场景确定为与目标任务匹配的虚拟执行场景;在查找到多个虚拟场景的情况下,服务器将查找到的多个虚拟场景分别标注为候选虚拟场景。服务器还可以将多个候选虚拟场景通过显示屏输出给用户,以供用户根据不同的场景严重情况在多个候选虚拟场景中选择一个虚拟场景,即与目标任务匹配的虚拟执行场景。
示例性的,服务器在获取到用户输入的任务场景信息是地震场景之后,可以在虚拟场景库中查找与地震场景匹配的虚拟场景,在只查找到一个地震虚拟场景的情况下,直接将查找到的地震虚拟场景确定为与目标任务匹配的虚拟执行场景;在查找到多个地震虚拟场景的情况下,服务器将查找到的多个地震虚拟场景分别标注为候选地震虚拟场景。服务器将多个候选虚拟场景通过显示屏输出给用户,用户可以根据地震发生的等级从多个候选地震虚拟场景中选择一个地震虚拟场景,即与目标任务匹配的虚拟执行场景。
在本申请实施例中,虚拟场景库中的虚拟场景是基于大量的原始素材以及用户(例如,军队、医院等)的需求构建而成。虚拟场景库基于丰满的资料收集和科学的归纳工作可以满足实际的需求。此外,虚拟场景库中的虚拟场景是经过反复演习确定的,从而可以保证虚拟场景的实际应用性。其中,虚拟场景库中的虚拟场景的显示效果可以如图3所示。
步骤203,服务器获取目标任务的真实执行场景的图像。
需要说明的是,培训人员执行目标任务的场景是真实存在的,上述真实执行场景即培训人员执行目标任务的场景。例如,目标任务可以是急救培训任务,真实执行场景可以是进行急救培训的场景,示例的,可以是部队或医院等提供的培训场所。
可选的,培训场所的摄像设备和服务器可以进行通信,可以通过自身的摄像模组实时采集目标任务的真实执行场景的图像,从而获取到目标任务的真实执行场景的图像。
可选的,服务器也可以与培训人员头上戴的头戴式虚拟现实设备建立网络连接,头戴式虚拟现实设备的摄像模组采集目标任务的真实执行场景的图像,并将获取到的目标任务的真实执行场景的图像发送至服务器,从而使得服务器可以获取到目标任务的真实执行场景的图像。其中,真实执行场景的图像可以如图4所示,图中的培训人员、仿真人体3D模型以及培训器材等为真实存在的人和物。
步骤204,服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
在本申请实施例中,服务器在获取到目标任务的真实执行场景的图像之后,将真实执行场景的图像与虚拟执行场景中的图像进行实时叠加处理。可选的,在服务器获取到目标任务的真实执行场景的图像之后,将真实执行场景的图像叠加在虚拟执行场景的图像中对应的空地的位置,从而使得真实执行场景的图像与虚拟执行场景的图像融合为一体。其中,更新后的虚拟执行场景如图5所示,在地上的仿真人体3D模型为真实执行场景的图像,周围环境为虚拟执行场景的图像。
上述虚拟场景构建方法,服务器通过获取任务场景信息,并根据任务场景信息确定与目标任务(例如,急救培训任务)匹配的虚拟执行场景。服务器接收目标任务的真实执行场景的图像,并根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。当虚拟现实设备呈现上述更新后的虚拟执行场景,用户(例如,培训人员)可以感受到当前执行培训任务的真实环境,也可以感受到该培训任务的实际应用环境,例如,战争场景、地震场景等,为培训人员提供沉浸式急救培训环境,从而有效提升对培训人员的培训效果。
在本申请一个可选的实施例中,服务器还可以记录仿真人体3D模型的信息,当服务器获取目标任务的任务场景信息后,服务器还可以根据任务场景信息匹配仿真人体3D模型,匹配到的仿真人体3D模型可用于培训人员执行目标任务,例如,在急救培训任务中对仿真人体3D模型实施救治。
一种可能的实现方式中,虚拟场景库中的各虚拟场景均配备有匹配的仿真人体3D模型的标识信息。其中,不同仿真人体3D模型安装的传感器不同,传感器的安装位置也不同,且仿真人体3D模型受伤位置和原因也不同。因此,不同目标任务的虚拟场景匹配的仿真人体3D模型不同。同种任务不同严重等级的虚拟场景匹配的仿真人体3D模型也不同。例如,适用于战争场景中的仿真人体3D模型受伤原因多为枪伤和炸伤;适用于地震场景中的仿真人体3D模型受伤原因多为骨折或者头部受伤,传感器安装部位多为头部。
在根据用户输入的任务场景信息确定与目标任务匹配的虚拟执行场景之后,服务器可以通过显示屏向用户呈现与虚拟执行场景匹配的仿真人体3D模型的标识信息,以对用户进行提示。用户可以根据服务器输出的提示信息在仿真人体3D模型案例库中选择合适的仿真人体3D模型。
在本申请实施例中,仿真人体3D模型是根据部队提出的战伤仿真人体的需求,并参照伤情数据库,在仿真人体3D建模平台中构建所需要的仿真人体3D模型。所生成的仿真人体3D模型存入仿真人体3D模型案例库,供今后遇到同样需求时直接调用。其中,仿真人体3D模型案例库内容能否满足需求同样是关键。为此,同样采用会议审定、演习使用的方式确保成果的可用性。
在本申请实施例中,服务器记录仿真人体3D模型的信息,并基于与目标任务匹配的虚拟执行场景向用户提示与虚拟执行场景匹配的仿真人体3D模型,从而使得虚拟执行场景与仿真人体3D模型匹配,有效提升对培训人员的培训效果。
在本申请一个可选的实施例中,如图6所示,上述步骤204“服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景”,可以包括以下步骤:
步骤601,服务器对真实执行场景的图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
其中,真实执行场景的图像包括前景元素和背景元素。
在本申请实施例中,服务器在获取到目标任务的真实执行场景的图像之后,要对真实执行场景的图像进行特征提取。具体包括以下两种方式:
第一种、利用神经网络模型对真实执行场景的图像进行特征提取,识别目标任务的执行者的图像、执行对象的图像以及执行环境的图像。神经网络模型训练过程可以是输入真实执行场景的图像,并将目标任务的执行者的图像、执行对象的图像以及执行环境的图像作为目标输出,从而训练预设的算法。本申请实施例对神经网络模型的训练过程不做具体限定。
示例的,服务器可以基于神经网络模型从真实执行场景的图像中提取出目标任务的执行者的图像、执行对象的图像以及执行环境的图像。其中,目标任务的执行者的图像可以是正在接收培训的培训人员的图像,目标任务的执行对象的图像可以包括培训人员正在操作的仿真人体3D模型的图像,目标任务的执行环境的图像可以包括其他培训人员、仿真人体3D模型、以及现场急救时使用的工具器材等。
第二种、基于颜色插值算法对真实执行场景的图像进行特征提取,去除背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
一种可能的实现方式中,执行任务的场景设置有绿幕,作为真实执行场景的背景。其中,绿幕环境情况如图7所示。如图8所示为放入仿真人体3D模型后的空间示意图。真实执行场景的图像包括的背景元素可以是绿幕,真实执行场景的图像包括的前景元素可以是执行者的图像、执行对象的图像以及执行环境的图像。
服务器去除真实执行场景的图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
服务器可以基于颜色插值算法对图像中绿幕背景进行识别,并将绿幕背景进行过滤,从而去除图像中的绿幕背景,获取图像中剩下的目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
步骤602,服务器将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合处理,以更新虚拟执行场景。
在本申请实施例中,服务器对图像进行特征提取,获取到目标任务的执行者的图像、执行对象的图像以及执行环境的图像之后,可以将获取到的目标任务的执行者的图像、执行对象的图像以及执行环境的图像放置在虚拟执行环境中对应的空地的位置,将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行环境进行叠加,从而构建成虚实结合的虚拟执行场景,并更新虚拟执行场景。
步骤603,服务器向头戴式虚拟现实设备发送虚拟执行场景的信息。
在本申请实施例中,服务器在更新虚拟执行场景之后,可以基于更新以后的虚拟执行场景生成可以虚拟执行场景的信息代码。服务器基于与头戴式虚拟现实设备建立的网络连接向头戴式虚拟现实设备发送虚拟执行场景的信息代码。头戴式虚拟现实设备基于网络连接接收服务器发送的虚拟执行场景的信息代码,并对虚拟执行场景的信息代码进行解码,从而生成虚拟执行场景的图像。
本申请实施例中,服务器对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像,并将.执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合,以更新虚拟执行场景。从而可以构建虚实结合的虚拟执行场景,并向头戴式虚拟现实设备发送虚实结合的虚拟执行场景的信息。上述方法,可以对真实执行场景的关键元素(例如,执行者的图像、执行对象的图像以及执行环境的图像等)进行提取,通过将提取到的关键元素和虚拟执行场景进行融合,实现将虚拟执行场景与真实执行场景进行融合,得到虚实结合的虚拟执行场景。虚实结合的虚拟执行场景可以为培训人员提供沉浸式急救培训环境,将虚实结合的虚拟执行场景发送至头戴式虚拟现实设备,从而使得将虚实结合的虚拟执行场景呈现在培训人员眼前,对培训人员的急救培训效果更好。
在本申请一个可选的实施例中,如图9所示,提供了一种虚拟场景构建方法,以该方法应用于图1中的头戴式虚拟现实设备为例进行说明,包括以下步骤:
步骤901,头戴式虚拟现实设备获取目标任务的真实执行场景的图像。
在本申请实施例中,头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;摄像模组用于获取目标任务的真实执行场景的图像,虚拟现实显示器用于呈现目标任务的虚拟执行场景。
在本申请实施例中,头戴式虚拟现实设备可以基于摄像模组采集目标任务的真实执行场景的图像。其中,真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现目标任务的执行者的图像、执行对象的图像以及执行环境的图像。其中,摄像模组可以双目摄像头,也可以是单目摄像头,本申请实施例对摄像模组不做具体限定。
步骤902,头戴式虚拟现实设备向服务器发送目标任务的真实执行场景的图像。
在本申请实施例中,头戴式虚拟现实设备可以基于与服务器建立的网络连接向服务器发送目标任务的真实执行场景的图像,其中,目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景。
在本申请实施例中,头戴式虚拟现实设备在获取到目标任务的真实执行场景的图像之后,可以利用头戴式虚拟现实设备中的通讯模组向基于与服务器建立的网络连接向服务器发送目标任务的真实执行场景的图像的信息代码。服务器接收头戴式虚拟现实设备发送的目标任务的真实执行场景的图像的信息代码,并对上述信息代码进行解码,从而生成目标任务的真实执行场景的图像。
步骤903,头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
在服务器接收到头戴式虚拟现实设备发送的目标任务的真实执行场景的图像之后,对真实执行场景的图像进行特征提取,去除图像中的背景元素,从而获取到目标任务的执行者的图像、执行对象的图像以及执行环境的图像,并将目标任务的执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行图像进行融合,以更新虚拟执行图像。
服务器将更新后的虚拟执行图像利用服务器中的通讯模组,基于与头戴式虚拟现实设备之间建立的网络连接,向头戴式虚拟现实设备发送更新后的虚拟执行场景的信息代码。
头戴式虚拟现实设备基于与服务器之间的网络连接接收服务器发送的更新后的虚拟执行场景的信息代码,对更新后的虚拟执行场景的信息代码进行解码,从而生成虚拟执行场景的图像信息,并通过头戴式虚拟现实设备中的虚拟现实显示器向培训人员呈现虚拟执行场景。
在本申请实施例中,头戴式虚拟现实设备基于摄像模组获取目标任务的真实执行场景的图像,并向服务器发送目标任务的真实执行场景的图像。头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息基于虚拟现实显示器呈现虚拟执行场景。因此,头戴式虚拟现实设备可以向培训人员呈现虚拟执行场景,使得对培训人员的急救培训效果更加。
为了更好的说明本申请的提供的虚拟场景构建方法,本申请提供一种虚拟场景构建方法的整体流程方面进行解释说明的实施例,如图10所示,该方法包括:
步骤1001,服务器获取任务场景信息。
步骤1002,服务器根据任务场景信息确定与目标任务匹配的虚拟执行场景。
步骤1003,头戴式虚拟现实设备基于摄像模组获取目标任务的真实执行场景的图像。
步骤1004,头戴式虚拟现实设备向服务器发送目标任务的真实执行场景的图像。
步骤1005,服务器接收目标任务的真实执行场景的图像。
步骤1006,服务器去除图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
步骤1007,服务器将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合处理,以更新虚拟执行场景。
步骤1008,服务器向头戴式虚拟现实设备发送虚拟执行场景的信息。
步骤1009,头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息基于虚拟现实显示器呈现虚拟执行场景。
在本申请另一个可选的实施例中,上述虚拟场景构建方法还可以包括以下步骤:
步骤1101,获取任务场景信息。
其中,任务场景信息用于指示执行目标任务的场景。
步骤1102,判断数据库是否满足需求,在数据库不满足需求的情况下,执行步骤1103和步骤1107;在数据库满足需求的情况下,直接执行步骤1105和步骤1111。其中,数据库包括虚拟场景库和仿真人体3D模型案例库。
步骤1103,从调取基本虚拟场景库中,调取基本虚拟场景,执行步骤1104。
步骤1104,根据单元虚拟场景库,生成与目标任务匹配的虚拟执行场景,将生成的虚拟执行场景存入虚拟场景库,执行步骤1106。
步骤1105,从虚拟场景库中提取与目标任务匹配的虚拟执行场景,执行步骤1106。
步骤1106,生成与目标任务匹配的虚拟执行场景,执行步骤1112。
步骤1107,从基本伤类3D模型库中,调取基本伤类3D模型,执行步骤1108。
步骤1108,基于伤情数据库,构建仿真人体3D建模平台,执行步骤1109。
步骤1109,基于仿真人体3D建模平台,生成与目标任务匹配的仿真人体3D模型,执行步骤1111。
步骤1110,将生成的与目标任务匹配的仿真人体3D模型,存入仿真人体3D模型案例库中。
步骤1111,从仿真人体3D模型案例库中提取与目标任务以及虚拟执行场景匹配的仿真人体3D模型。执行步骤1112。
步骤1112,基于虚拟融合处理平台,将虚拟执行场景与仿真人体3D模型进行融合,执行步骤1113。
步骤1113,生成与目标任务匹配的急救培训平台。
应该理解的是,虽然图2、图6、图9、图10以及图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图6、图9、图10以及图11中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本申请一个可选的实施例中,如图12所示,提供了一种虚拟场景构建装置1200,该虚拟场景构建装置1200可以应用于服务器中,该虚拟场景构建装置1200可以包括:获取模块1201、确定模块1202、接收模块1203和融合模块1204,其中:
获取模块1201,用于获取任务场景信息;任务场景信息用于指示执行目标任务的场景。
确定模块1202,用于根据任务场景信息确定与目标任务匹配的虚拟执行场景;
接收模块1203,用于获取目标任务的真实执行场景的图像;
融合模块1204,用于根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个可选的实施例中,如图13所示,上述融合模块1204,包括:提取单元12041以及融合单元12042,其中:
提取单元12041,用于对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
融合单元12042,用于将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个可选的实施例中,真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个可选的实施例中,上述提取单元12041,具体用于服务器去除图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个可选的实施例中,如图14所示,上述虚拟场景构建装置1200,还包括发送模块1205,其中:
发送模块1205,用于向头戴式虚拟现实设备发送虚拟执行场景的信息。
在本申请一个可选的实施例中,如图15所示,提供了一种虚拟场景构建装置1500,该虚拟场景构建装置1500可以应用于头戴式虚拟现实设备中,该虚拟场景构建装置1500可以包括:获取模块1501,发送模块1502以及接收模块1503,其中:
获取模块1501,用于获取目标任务的真实执行场景的图像;
发送模块1502,用于向服务器发送目标任务的真实执行场景的图像;目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景;
接收模块1503,用于从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
在本申请一个可选的实施例中,头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;摄像模组用于获取目标任务的真实执行场景的图像,虚拟现实显示器用于呈现目标任务的虚拟执行场景。
在本申请一个可选的实施例中,真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
关于虚拟场景构建装置的具体限定可以参见上文中对于虚拟场景构建方法的限定,在此不再赘述。上述虚拟场景构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储虚拟场景构建数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚拟场景构建方法。
本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本申请一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:服务器获取任务场景信息;任务场景信息用于指示执行目标任务的场景;服务器根据任务场景信息确定与目标任务匹配的虚拟执行场景;服务器获取目标任务的真实执行场景的图像;服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:服务器对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像;服务器将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:服务器去除图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:服务器向头戴式虚拟现实设备发送虚拟执行场景的信息。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:头戴式虚拟现实设备获取目标任务的真实执行场景的图像;头戴式虚拟现实设备向服务器发送目标任务的真实执行场景的图像;目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景;头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;摄像模组用于获取目标任务的真实执行场景的图像,虚拟现实显示器用于呈现目标任务的虚拟执行场景。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:务器获取任务场景信息;任务场景信息用于指示执行目标任务的场景;服务器根据任务场景信息确定与目标任务匹配的虚拟执行场景;服务器获取目标任务的真实执行场景的图像;服务器根据图像对虚拟执行场景和真实执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:服务器对图像进行特征提取,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像;服务器将执行者的图像、执行对象的图像以及执行环境的图像与虚拟执行场景进行融合处理,以更新虚拟执行场景。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:服务器去除图像中的背景元素,获取目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:服务器向头戴式虚拟现实设备发送虚拟执行场景的信息。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:头戴式虚拟现实设备获取目标任务的真实执行场景的图像;头戴式虚拟现实设备向服务器发送目标任务的真实执行场景的图像;目标任务的真实执行场景的图像用于服务器构建目标任务的虚拟执行场景;头戴式虚拟现实设备从服务器接收虚拟执行场景的信息,根据虚拟执行场景的信息呈现虚拟执行场景。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;摄像模组用于获取目标任务的真实执行场景的图像,虚拟现实显示器用于呈现目标任务的虚拟执行场景。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:真实执行场景的图像包括前景元素和背景元素,前景元素用于呈现目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种虚拟场景构建方法,其特征在于,所述方法包括:
服务器获取任务场景信息;所述任务场景信息用于指示执行目标任务的场景;
所述服务器根据所述任务场景信息确定与所述目标任务匹配的虚拟执行场景;
所述服务器获取所述目标任务的真实执行场景的图像;
所述服务器根据所述图像对所述虚拟执行场景和所述真实执行场景进行融合处理,以更新所述虚拟执行场景。
2.根据权利要求1所述的方法,其特征在于,所述服务器根据所述图像对所述虚拟执行场景和所述真实执行场景进行融合处理,以更新所述虚拟执行场景,包括:
所述服务器对所述图像进行特征提取,获取所述目标任务的执行者的图像、执行对象的图像以及执行环境的图像;
所述服务器将所述执行者的图像、所述执行对象的图像以及所述执行环境的图像与所述虚拟执行场景进行融合处理,以更新所述虚拟执行场景。
3.根据权利2所述的方法,其特征在于,所述图像包括前景元素和背景元素;所述前景元素用于呈现所述执行者的图像、所述执行对象的图像以及所述执行环境的图像。
4.根据权利要求3所述的方法,其特征在于,所述服务器对所述图像进行特征提取,获取所述目标任务的执行者的图像、执行对象的图像以及执行环境的图像,包括:
所述服务器去除所述图像中的背景元素,获取所述目标任务的所述执行者的图像、所述执行对象的图像以及所述执行环境的图像。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述更新所述虚拟执行场景后,所述方法还包括:所述服务器向头戴式虚拟现实设备发送所述虚拟执行场景的信息。
6.一种虚拟场景构建方法,其特征在于,所述方法包括:
头戴式虚拟现实设备获取目标任务的真实执行场景的图像;
所述头戴式虚拟现实设备向服务器发送所述真实执行场景的图像;所述真实执行场景的图像用于所述服务器构建所述目标任务的虚拟执行场景;
所述头戴式虚拟现实设备从所述服务器接收所述虚拟执行场景的信息,根据所述虚拟执行场景的信息呈现所述虚拟执行场景。
7.根据权利要求6所述的方法,其特征在于,所述头戴式虚拟现实设备包括:虚拟现实显示器和摄像模组;
所述摄像模组用于获取所述目标任务的真实执行场景的图像,所述虚拟现实显示器用于呈现所述目标任务的虚拟执行场景。
8.根据权利6-7任一项所述的方法,其特征在于,所述真实执行场景的图像包括前景元素和背景元素,所述前景元素用于呈现所述目标任务的执行者的图像、执行对象的图像以及执行环境的图像。
9.一种虚拟场景构建装置,其特征在于,所述装置包括:
获取模块,用于获取任务场景信息;所述任务场景信息用于指示执行目标任务的场景;
确定模块,用于根据所述任务场景信息确定与所述目标任务匹配的虚拟执行场景;
接收模块,用于获取所述目标任务的真实执行场景的图像;
融合模块,用于根据所述图像对所述虚拟执行场景和所述真实执行场景进行融合处理,以更新所述虚拟执行场景。
10.一种虚拟场景构建装置,其特征在于,所述装置包括:
获取模块,用于获取目标任务的真实执行场景的图像;
发送模块,用于向服务器发送所述目标任务的真实执行场景的图像;所述目标任务的真实执行场景的图像用于所述服务器构建所述目标任务的虚拟执行场景;
接收模块,用于从所述服务器接收所述虚拟执行场景的信息,根据所述虚拟执行场景的信息呈现所述虚拟执行场景。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202011619867.7A 2020-12-30 2020-12-30 虚拟场景构建方法、装置、计算机设备和存储介质 Pending CN112884905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011619867.7A CN112884905A (zh) 2020-12-30 2020-12-30 虚拟场景构建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011619867.7A CN112884905A (zh) 2020-12-30 2020-12-30 虚拟场景构建方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112884905A true CN112884905A (zh) 2021-06-01

Family

ID=76046507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011619867.7A Pending CN112884905A (zh) 2020-12-30 2020-12-30 虚拟场景构建方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112884905A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
CN114339297A (zh) * 2022-03-09 2022-04-12 央广新媒体文化传媒(北京)有限公司 音频处理方法、装置、电子设备和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427219A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实教育场景转换模型的防灾学习方法和装置
CN109686161A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于虚拟现实的地震训练方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427219A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实教育场景转换模型的防灾学习方法和装置
CN109686161A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于虚拟现实的地震训练方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
CN114092546B (zh) * 2021-11-19 2022-07-12 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
CN114339297A (zh) * 2022-03-09 2022-04-12 央广新媒体文化传媒(北京)有限公司 音频处理方法、装置、电子设备和计算机可读存储介质
CN114339297B (zh) * 2022-03-09 2022-06-21 央广新媒体文化传媒(北京)有限公司 音频处理方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20210374390A1 (en) Image processing method and apparatus, and terminal device
CN102981616B (zh) 增强现实中对象的识别方法及系统和计算机
CN112884905A (zh) 虚拟场景构建方法、装置、计算机设备和存储介质
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN109815813A (zh) 图像处理方法及相关产品
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN110302524A (zh) 肢体训练方法、装置、设备和存储介质
CN108399815A (zh) 一种基于vr的安全隐患查除演练的方法及其系统
CN111640184A (zh) 古建筑物重现方法、装置、电子设备及存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
JP2024074862A (ja) 軸外カメラを使用して眼追跡を実施するための方法およびシステム
CN111126411B (zh) 一种异常行为识别方法及装置
CN105894571A (zh) 一种处理多媒体信息的方法及装置
CN114387155A (zh) 图像处理方法、设备及存储介质
CN110719415B (zh) 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN112819174A (zh) 基于人工智能算法改进的伦理虚拟仿真实验方法和机器人
CN114120436A (zh) 动作识别模型的训练方法、动作识别方法及相关装置
CN114863352B (zh) 基于视频分析的人员群体行为监控方法
CN114419293B (zh) 一种增强现实的数据处理方法、装置及设备
CN111650953B (zh) 飞行器避障处理方法、装置、电子设备及存储介质
CN113626726A (zh) 时空轨迹确定方法及相关产品
CN110838373A (zh) 一种应用于会诊的虚拟现实仿真方法及系统
CN114913388B (zh) 训练试衣模型的方法、生成试衣图像的方法及相关装置
JP7219932B1 (ja) 情報処理方法、情報処理装置、及び、情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221010

Address after: 100089 204, east side, 2nd floor, building 5, No. 6, Yongjia North Road, Haidian District, Beijing

Applicant after: BEIJING SHUYI TECHNOLOGY Co.,Ltd.

Applicant after: CHINESE PEOPLE'S LIBERATION ARMY NAVAL CHARACTERISTIC MEDICAL CENTER

Address before: 100089 204, east side, 2nd floor, building 5, No. 6, Yongjia North Road, Haidian District, Beijing

Applicant before: BEIJING SHUYI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right