CN110413108B - 虚拟画面的处理方法、装置、系统、电子设备及存储介质 - Google Patents

虚拟画面的处理方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110413108B
CN110413108B CN201910578505.9A CN201910578505A CN110413108B CN 110413108 B CN110413108 B CN 110413108B CN 201910578505 A CN201910578505 A CN 201910578505A CN 110413108 B CN110413108 B CN 110413108B
Authority
CN
China
Prior art keywords
virtual
target
voice information
information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910578505.9A
Other languages
English (en)
Other versions
CN110413108A (zh
Inventor
贺杰
戴景文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201910578505.9A priority Critical patent/CN110413108B/zh
Publication of CN110413108A publication Critical patent/CN110413108A/zh
Application granted granted Critical
Publication of CN110413108B publication Critical patent/CN110413108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种虚拟画面的处理方法、装置、系统、电子设备及存储介质。该方法包括:获取远程会话中一个或多个终端设备对应的显示数据;根据所述显示数据生成虚拟画面,所述虚拟画面包括所述一个或多个终端设备中每个终端设备对应的虚拟对象;实时采集观察所述虚拟画面的用户的眼部信息,并根据所述眼部信息确定注视方向;获取所述虚拟画面中与所述注视方向对应的目标虚拟对象;基于所述目标虚拟对象,调整所述虚拟画面的清晰度。本方法可以根据用户的眼部信息确定注视方向,并根据注视方向对显示的虚拟画面进行控制,提高虚拟画面显示效果。

Description

虚拟画面的处理方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及显示技术领域,更具体地,涉及一种虚拟画面的处理方法、装置、系统、电子设备及存储介质。
背景技术
由于通讯技术的发展,远程会议、远程协助、远程教育等远程会话场景已经越来越深入到人们的生活之中,但是传统远程会话通常是以语音通信的方式进行,或是利用摄像头实时采集会话参与者的画面进行视频通信,也可以是文字通信等。传统的远程会话通信方式单一,沉浸感较差。
发明内容
本申请实施例提出了一种虚拟画面的处理方法、装置、系统、电子设备及存储介质,增强了远程会话对应的虚拟画面的显示效果,增强了用户与虚拟画面的交互性。
第一方面,本申请实施例提供了一种虚拟画面的处理方法,方法包括:获取远程会话中一个或多个终端设备对应的显示数据;根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象;实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向;获取虚拟画面中与注视方向对应的目标虚拟对象;基于目标虚拟对象,调整虚拟画面的清晰度。
第二方面,本申请实施例提供了一种虚拟画面的处理装置,装置包括:数据接收模块、画面生成模块、信息分析模块、内容确定模块以及画面调整模块,其中,数据接收模块用于获取远程会话中一个或多个终端设备对应的显示数据;画面生成模块用于根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象;信息分析模块用于实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向;内容确定模块用于获取虚拟画面中与注视方向对应的目标虚拟对象;画面调整模块用于基于目标虚拟对象,调整虚拟画面的清晰度。
第三方面,本申请实施例提供了一种虚拟画面的处理系统,系统包括终端设备以及服务器,其中:服务器用于同步远程会话中多个终端设备的显示数据;终端设备用于根据同步的显示数据,生成虚拟画面,虚拟画面包括所述远程会话中其他一个或多个终端设备中每个终端设备对应的虚拟对象;终端设备还用于实时采集观察虚拟画面的用户的眼部信息,根据眼部信息确定注视方向,获取虚拟画面中与注视方向对应的目标虚拟对象,并基于目标虚拟对象,调整虚拟画面的清晰度。
第五方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述第一方面提供的虚拟画面的处理方法。
第六方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的虚拟画面的处理方法。
本申请实施例提供的方案,通过获取远程会话中一个或多个终端设备对应的显示数据,以根据该显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象,然后实时采集观察虚拟画面的用户的眼部信息,并根据该眼部信息确定注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度,从而在虚拟远程会话场景下,实现根据用户的眼部信息,对显示的虚拟画面的清晰度进行操作处理,增强了远程会话对应的虚拟画面的显示效果,增强了用户与虚拟画面的交互性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图。
图2示出了另一种适用于本申请实施例的应用环境示意图。
图3示出了根据本申请一个实施例的虚拟画面的处理方法流程图。
图4示出了根据本申请实施例的一种显示效果示意图。
图5示出了根据本申请实施例的另一种显示效果示意图。
图6示出了根据本申请另一个实施例的虚拟画面的处理方法流程图。
图7示出了根据本申请实施例的一种显示效果示意图。
图8示出了根据本申请又一个实施例的虚拟画面的处理方法流程图。
图9示出了根据本申请再一个实施例的虚拟画面的处理方法流程图。
图10示出了根据本申请一个实施例的虚拟画面的处理装置的框图。
图11是本申请实施例的用于执行根据本申请实施例的虚拟画面的处理方法的电子设备的框图。
图12是本申请实施例的用于执行根据本申请实施例的虚拟画面的处理方法的服务器的框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟画面的处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例提供的虚拟画面的处理方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的虚拟场景的处理方法的应用场景的示意图,该应用场景包括交互系统10,该交互系统10可以应用于远程会话。该交互系统10包括:一个或多个终端设备100以及服务器200,其中,终端设备100与服务器200连接。
在一些实施方式中,终端设备100通过网络与服务器200通信连接,从而终端设备100与服务器200之间可以进行数据交互。其中,终端设备100可以通过接入路由器所在网络,而通过路由器所在网络与服务器200之间的通信,也可以通过数据网络与服务器200之间进行通信。
在一些实施方式中,终端设备100可以是头戴显示装置,也可以是手机、平板等移动设备。终端设备100为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端设备,即终端设备100可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,在头戴显示装置中对虚拟内容进行显示。在远程会话中,终端设备100可用于对远程会话的虚拟会话场景进行显示,实现将虚拟会话场景的场景画面进行AR(Augmented Reality,增强现实技术)显示或者VR(Virtual Reality,虚拟现实技术)显示,提升远程会话中场景画面的显示效果。在其他实施方式中,终端设备100也可以是电脑、平板电脑、电视等显示设备,终端设备100可以将虚拟会话场景对应的2D(2Dimensions,二维)画面进行显示。
在一些实施方式中,终端设备100可以采集远程会话中的信息数据(例如,采集用户的脸部信息、声音数据等),以根据该信息数据构建三维模型。在另一些实施方式中,终端设备100也可以根据预先存储的脸部信息、声音数据、身体模型等信息数据进行建模,也可以结合预先存储的信息数据以及采集到的信息数据进行建模。例如,终端设备100可以实时采集人脸信息建立脸部模型,其中,人脸信息可以包括表情信息以及形态动作信息(如偏头、点头等),然后再将脸部模型与预先设定的身体模型进行整合,节省了建模、渲染的时间的同时,也能实时获取用户的表情、形态动作。在一些实施方式中,终端设备100可以将上述采集的信息数据传输至服务器200或者其他终端设备100。
在一些实施方式中,请参阅图2,交互系统100也还可以包括信息采集装置300,信息采集装置300用于采集上述信息数据(例如,采集用户的脸部信息、声音数据等),并将采集的信息数据传输至终端设备100或者服务器200。在一些实施方式中,信息采集装置可包括摄像头、音频模块等,也可包括光传感器、声传感器等各类传感器。作为一种具体的实施方式,信息采集装置300可以是具有普通彩色相机(RGB)和深度相机(Depth)功能的拍摄设备(如RGB-D深度相机),以获取被拍摄的用户的深度数据,从而得到用户对应的三维结构。在一些实施方式中,终端设备100和信息采集装置300处于同一现场,终端设备100与信息采集装置300之间可进行通信连接,也可以不进行通信连接
在一些实施方式中,上述服务器200可以是本地服务器,也可以是云服务器,具体服务器200的类型在本申请实施例中可以不作为限定。在远程会话中,服务器200可用于实现多个终端设备100/信息采集装置之间的数据交互,从而保证多个终端设备100/信息采集装置之间的数据传输和同步,实现远程会话中虚拟会话场景、音视频数据的同步、终端设备100/信息采集装置之间的数据传输等。
在一些实施方式中,当远程会话中的多个终端设备100中存在至少两个终端设备100处于同一现场环境(例如,处于同一室内)时,处于同一现场环境的至少两个终端设备100之间也可以通过蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等通信方式连接,也可以通过数据线等有线通信方式进行连接,从而实现处于同一现场环境的至少两个终端设备100之间数据的交互。当然,处于同一现场环境的至少两个终端设备100之间的连接方式在本申请实施例中可以不作为限定。下面对具体的虚拟画面的处理方法进行介绍。
请参阅图3,本申请实施例提供了一种虚拟画面的处理方法,该方法可以包括:
步骤S110:获取远程会话中一个或多个终端设备对应的显示数据。
在本申请实施例中,远程会话指的是通过数据通信建立的多端进行远程交互、通讯的过程。显示数据可以为终端设备参与远程会话时,用于参与远程会话的相关数据。该相关数据可以是终端设备分享的文档、图片、视频等图像数据,也可以包括3D(3Dimensions,三维)人物、3D物体等模型数据,还可是终端设备上的采集模块或者终端设备所处环境的信息采集装置(如摄像头、图像传感器)采集到的场景图像、人脸图像等信息数据,在此不做限定。
在一些实施方式中,参与远程会话的所有终端设备可将相关数据上传至服务器,以便各个终端设备可以从服务器下载其他终端设备上传的相关数据,从而获取到远程会话中至少一个终端设备对应的显示数据。在另一些实施方式中,也可以是各个终端设备所处环境的信息采集装置,将采集到的相关数据上传至服务器,从而各个终端设备可以从服务器下载其他终端设备所处环境的信息采集装置上传的相关数据。
步骤S120:根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象。
在本申请实施中,虚拟对象可与上述显示数据对应。在一些实施方式中,该虚拟对象可用于表示使用终端设备参与同一远程会话中的用户,该虚拟对象可以是使用终端设备的用户对应的3D虚拟人物,其中,该3D虚拟人物可以是用户的3D仿真影像,也可以是3D卡通人物形象。在另一些实施方式中,上述虚拟对象也可以是与该终端设备关联的虚拟文档、虚拟图像、虚拟聊天窗口、虚拟个人信息、3D虚拟物体等虚拟内容,在此不作限定。其中,不同场景下的远程会话,虚拟对象可不同,例如远程聊天场景、远程会议场景、远程协助场景等,虚拟画面可分别包含不同的虚拟对象。
在一些实施例中,终端设备(可以为远程会话的多个终端设备中任一终端设备)在获取到上述显示数据时,可根据该显示数据构建虚拟画面,并结合自己的位置及姿态信息进行渲染生成。其中,虚拟画面包括参与远程会话的一个或多个终端设备对应的虚拟对象。在一些实施方式中,终端设备在生成虚拟画面时,还可对虚拟画面中所包括的终端设备对应的虚拟对象进行位置排布处理。例如,将各个终端设备对应的用户的3D仿真影像按照会议桌的座位进行排布,从而提高虚拟远程会议场景的真实感。
例如,请参阅图4,AR远程会议场景下,终端设备100为头戴显示装置,参会人员甲401和参会人员乙402处于真实环境下的会议桌的不同位置,其他会议参与者不在该会议桌旁,而是远程参与会议,参会人员甲401和参会人员乙402通过佩戴的头戴显示装置,看到的虚拟画面可以为其他会议参与者中每个会议参与者对应的3D虚拟人物310。
在一些实施方式中,终端设备也可以根据自己对应的显示数据以及其他终端设备对应的显示数据进行构建虚拟画面。例如,参会人员甲进行内容分享时,生成的虚拟画面可以为参会人员甲分享的虚拟内容以及其他参会人员对应的3D仿真影像。
在另一些实施例中,服务器也可以根据远程会话中的所有终端设备上传的相关数据,进行虚拟画面的构建生成。各个终端设备可从服务器处下载该虚拟画面中其他终端设备对应的虚拟内容的显示数据,以根据自身的位置及姿态信息和显示数据重新渲染生成虚拟画面,即终端设备不同的位置及姿态信息,对应渲染不同的虚拟画面。其中,该显示数据可包括虚拟内容的模型数据,模型数据为用于渲染虚拟内容的数据。例如,模型数据可包括用于建立虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。
步骤S130:实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向。
在本申请实施例中,终端设备可以实时采集观察虚拟画面的用户的眼部信息,并根据该眼部信息确定用户的注视方向。其中,注视方向可在一定范围内变化,该范围可以是虚拟画面的显示范围,也可以是头显的视野范围。终端设备可以通过图像传感器实时采集用户的眼部图像,得到用户的眼部信息;也可以是通过红外设备主动投射红外线等光束到用户的眼部,得到用户的眼部信息,在此不作限定。
在一些实施方式中,终端设备在得到用户的眼部信息时,可以对眼部信息进行分析,以确定用户的注视方向。其中,可以分析眼球中的瞳孔变化,以根据瞳孔变化确定用户的注视方向,也可以分析眼球中的虹膜角度变化,根据虹膜角度变化确定用户的注视方向,还可以分析眼球中的眼白和眼黑的比例,以根据眼白和眼黑的比例确定用户的注视方向,在此不作限定。例如,当通过红外设备采集眼球信息时,终端设备还可根据瞳孔中心相对于角膜反射光斑的位置与注视点相对于红外光源的位置之间的角度映射关系,确定用户的注视方向。
步骤S140:获取虚拟画面中与注视方向对应的目标虚拟对象。
在本申请实施例中,终端设备可根据用户的注视方向,获取虚拟画面中与注视方向匹配的目标虚拟对象,以确定出用户当前关注的内容,避免由于虚拟画面中内容过多,导致用户无法及时提取重要信息的情况。其中,与注视方向匹配的目标虚拟对象,可以是虚拟画面中与注视方向产生交叉的虚拟对象。
步骤S150:基于目标虚拟对象,调整虚拟画面的清晰度。
在一些实施例中,终端设备可根据确定出的目标虚拟对象,调整虚拟画面的清晰度,以突出该目标虚拟对象。从而在虚拟远程会话场景中,通过分析观察虚拟画面的用户的眼部信息,确认用户关注的内容,为用户营造身临其境的体验的同时,体现出了用户关注的内容,提高远程会话场景中的视觉效果。
其中,调整虚拟画面的清晰度可以是提高目标虚拟对象的清晰度,也可以是降低虚拟画面中除目标虚拟对象外的其他内容的清晰度,在此不作限定。
例如,请参见图5,在远程协助的场景中,当前显示的虚拟画面300有四个部分,包括故障说明、解决方案、操作步骤及工具介绍,当用户的看向“故障说明”内容时,将故障说明部分320的进行高亮显示,其余部分降低清晰度。
在一些实施例中,上述对虚拟画面的生成、调整、以及对眼部信息的分析等所有的处理操作也可均由服务器完成。服务器根据远程会话中各个终端设备对应的显示数据生成虚拟画面,并将虚拟画面传送至相应终端设备进行显示。服务器也可接收终端设备发送的观察虚拟画面的用户的眼部信息,并根据眼部信息确定用户的注视方向。服务器还可基于注视方向确定虚拟画面中的目标虚拟对象,并基于目标虚拟对象,调整虚拟画面的清晰度。然后服务器可将调整后的虚拟画面发送给终端设备,终端设备可显示调整后的虚拟画面。
本申请实施例提供的虚拟画面的处理方法,通过获取远程会话中一个或多个终端设备对应的显示数据,以根据该显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象,然后实时采集观察虚拟画面的用户的眼部信息,并根据该眼部信息确定注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度,从而在虚拟远程会话场景下,可根据用户的眼部信息,对显示的虚拟画面的清晰度进行操作处理,为用户营造身临其境的体验的同时,突出了用户视线关注的内容,提高远程会话场景中的视觉效果,增强了用户与增强现实场景内的虚拟画面的交互性。
请参阅图6,本申请另一实施例提供了一种虚拟画面的处理方法,该方法可以包括:
步骤S210:获取远程会话中一个或多个终端设备对应的显示数据。
步骤S220:根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象。
在一些实施例中,步骤S210以及步骤S220可以参阅前述实施例的内容,在此不再赘述。
在一些实施例中,上述虚拟画面的生成操作由服务器完成时,该虚拟画面的处理方法还可以包括:将虚拟画面发送至目标设备,目标设备用于显示虚拟画面。
其中,目标设备指的是需要进行虚拟画面显示的终端设备,该目标设备可为上述一个或多个终端设备中的任一个设备。
在一些实施方式中,服务器可根据远程会话中各个终端设备对应的显示数据生成虚拟画面,即服务器可根据目标设备以及其他终端设备对应的显示数据生成虚拟画面,并可将生成的虚拟画面对应的内容数据发送至目标设备。其中,该内容数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等,目标设备可根据该内容数据获取显示画面,并将显示画面通过显示屏或投射模组投射到显示镜片上,从而显示出虚拟画面。作为一种具体实施方式,当目标设备为AR技术的头戴显示装置时,用户通过佩戴的头戴显示装置的显示镜片,可以看到虚拟画面显示叠加于真实世界的效果。当目标设备为电脑、平板电脑、电视等显示设备时,用户可直接看到显示屏显示的虚拟画面。
在一些实施例中,当远程会话中的参与者较多时,虚拟画面可能仅包括部分终端设备对应的虚拟对象。因此,服务器可实时获取目标设备的位置及姿态信息,以根据目标设备的位置及姿态信息,调整虚拟画面中的虚拟内容,从而目标设备可根据自身的不同位置及姿态,对应显示不同的虚拟画面。这样,虽然用户通过佩戴的头戴显示装置,仅能看到显示在当前视野范围内的部分虚拟对象,但是用户可通过改变头戴显示装置的位置及姿态信息,以看到远程会话中的所有其他用户的终端设备对应的虚拟对象。例如,请参阅图7,在远程会议场景下,P2用户为真实世界中的参会人员,P2用户通过佩戴的头戴显示装置,在该姿态及位置下,可以看见的虚拟参会人员为P5用户、P6用户、P7用户对应的虚拟对象,以及P1用户对应的部分虚拟对象,当P2用户向左转动头部时,也可以看见P0用户等其他用户。
步骤S230:实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向。
步骤S240:获取虚拟画面中与注视方向对应的目标虚拟对象。
步骤S250:基于目标虚拟对象,调整虚拟画面的清晰度。
在一些实施例中,步骤S230、步骤S240以及步骤S250可以参阅前述实施例的内容,在此不再赘述。
在一些实施方式中,可以通过提高目标虚拟对象的显示清晰度,来调整虚拟画面的清晰度。其中,提高目标虚拟对象的显示清晰度,可以是提高目标虚拟对象的编码率,也可以是提高目标虚拟对象的帧率。在此不作限定,仅需提高目标虚拟对象的显示清晰度即可。在一些应用场景中,提高目标虚拟对象的帧率,也可以提高目标虚拟对象的显示流畅度。
在另一些实施方式中,也可以通过突出目标虚拟对象,来调整虚拟画面的清晰度。其中,突出目标虚拟对象,可以是对目标虚拟对象进行高亮标记。例如,增加背景层,加粗目标虚拟对象的线条、增加箭头指向、下划线、方框等,在此不作限定,仅需突出目标虚拟对象即可。
在又一些实施方式中,还可以通过降低其他内容的清晰度,来调整虚拟画面的清晰度,其他内容为虚拟画面中除目标虚拟对象以外的内容。其中,降低其他内容的清晰度,可以是降低其他内容的编码率或帧率,也可以是对其他内容对应的图像数据进行图像压缩,还可以是提高其他内容的透明程度,对其他内容进行明暗修改、彩度和灰度的修改等,在此不作限定,仅需降低其他内容的清晰度即可。
当然,上述对虚拟画面的清晰度的调整方式仅为举例,具体对虚拟画面的清晰度的调整方式在本申请实施例中可以不作为限定。例如,可以是放大目标虚拟对象、缩小其他内容,也可以是将目标虚拟对象显示在虚拟画面的中心位置等。
可以理解的是,上述调整虚拟画面的清晰度可以是上述实施方式中的一种或多种的组合,在此不作限定。例如,提高目标虚拟对象的清晰度的同时降低其他内容的清晰度。
在一些实施例中,上述虚拟画面的清晰度调整操作由服务器完成时,该虚拟画面的处理方法还可以包括:将调整后的虚拟画面发送至目标设备,目标设备用于显示调整后的虚拟画面。具体步骤可以参阅上述将虚拟画面发送至目标设备的步骤,在此不再赘述。
在一些实施例中,终端设备也可以根据用户的注视方向,对接收到的其他终端设备对应的语音信息进行处理。具体地,该虚拟画面的处理方法还可以包括:
步骤S260:获取目标虚拟对象对应的兴趣终端设备。
其中,兴趣终端设备为上述远程会话中一个或多个终端设备中与目标虚拟对象对应的终端设备。
例如,在一些远程会议的应用场景中,当担任讲授或讲演的用户(下述称主讲用户)不在现场场景时,现场场景的终端设备显示的虚拟画面中可包括主讲用户所对应的虚拟对象。当根据观察该虚拟画面的用户的注视方向,确定的目标虚拟对象为主讲用户对应的虚拟对象时,与目标虚拟对象对应的兴趣终端设备可以是主讲用户使用的终端设备。
步骤S270:获取一个或多个终端设备对应的语音信息。
在一些实施方式中,终端设备可以实时采集所处场景中的声音信息,并实时上传至服务器,从而服务器可将该声音信息同步至远程会话中其他终端设备。同时终端设备也可以通过服务器获取远程会话中其他终端设备中每个终端设备发送的语音数据,以便各个用户都可实时获知远程会话中的其他用户的语音内容,保证了虚拟远程会话中用户之间的实时沟通。其中,声音信息可以是通过终端设备上的传感器阵列或者麦克风的收音装置进行采集。其中,传感器阵列包括声音传感器。
在另一些实施方式中,声音信息也可以是通过终端设备所处环境的信息采集装置(录音设备、麦克风等)进行采集,信息采集装置将采集到的声音信息上传至服务器,从而服务器进行声音信息同步。
步骤S280:从语音信息中获取与兴趣终端设备匹配的目标语音信息。
在一些实施方式中,终端设备确定目标虚拟对象对应的兴趣终端设备后,可以从获取的一个或多个终端设备对应的语音信息中,提取与兴趣终端设备匹配的目标语音信息,以得到目标虚拟对象对应的语音内容。从而终端设备可根据用户的注视方向,获取注视方向对应的目标虚拟对象对应的语音内容。例如,在一些远程会议的应用场景中,当根据用户的注视方向,确定的目标虚拟对象为主讲用户对应的虚拟对象时,终端设备可以从接收到的其他用户的语音信息中,提取到主讲用户的语音信息。
在一些实施例中,终端设备可将采集到的声音信息以及对应的标识信息上传至服务器,以便后续可根据声音信息对应的标识信息确定用户身份。其中,该标识信息用于标识声音信息,可以包括终端设备的设备ID(IDentity,身份标识号码),也可以包括终端设备对应的用户的用户ID,在此不作限定。从而可以根据兴趣终端设备的设备ID或者用户ID从一个或多个语音信息中获取目标语音信息。
进一步地,在一些远程会议的应用场景中,当终端设备所处环境中存在多人时,终端设备采集到的声音信息可能会是多个人的声音信息,导致无法准确分辨终端设备对应的语音信息。因此,在一些实施方式中,获取到目标语音信息后,可以是对目标语音信息进行声纹识别,以提取出兴趣终端设备对应用户的语音信息。作为一种实施方式,终端设备可根据预设声纹信息,从目标语音信息提取与预设声纹信息匹配的语音信息。其中,预设声纹信息可以为与兴趣终端设备对应的用户ID绑定的声纹信息。
步骤S290:基于目标语音信息,对语音信息进行预设处理,进行预设处理后的语音信息中目标语音信息的分贝值大于其他语音信息的分贝值,其他语音信息为语音信息中除目标语音信息以外的信息。
在一些实施方式中,终端设备在获取到用户注视方向对应的目标虚拟对象对应的目标语音信息时,可以对接收到的所有语音信息进行预设处理。其中,预设处理后的语音信息中目标语音信息的分贝值大于其他语音信息的分贝值,其他语音信息为语音信息中除目标语音信息以外的信息。从而当参与远程会话的参与者较多时,用户可以通过注视虚拟画面中的某个虚拟对象,来听清该虚拟对象对应的语音信息。
例如,在一些远程会议的应用场景中,需要听清主讲用户的语音内容时,用户可以通过注视主讲用户对应的虚拟对象,来提高主讲用户的语音信息的清晰度,防止被干扰。
在一些实施方式中,对语音信息进行预设处理,可以是增加目标语音信息的播放音量,也可以是减小其他语音信息的播放音量,还可以是只播放目标语音信息,在此不作限定。
在一些实施例中,对兴趣终端设备、语音信息、目标语音信息的获取以及对语音信息进行预设处理等操作,也可以由服务器完成。服务器根据用户的注视方向确定目标虚拟对象后,可根据虚拟对象与终端设备的对应关系,确定与目标虚拟对象对应的兴趣终端设备。服务器可根据接收的一个或多个终端设备对应的语音信息,提取与兴趣终端设备匹配的目标语音信息,并基于该目标语音信息,对接收的所有语音信息进行预设处理。服务器可将处理后的语音信息发送至相应终端设备,从而终端设备可播放处理后的语音信息。
本申请实施例提供的虚拟画面的处理方法,通过观察虚拟画面的用户的眼部信息来确定用户注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度。进一步的,通过获取目标虚拟对象对应的兴趣终端设备,以从获取到的一个或多个终端设备对应的语音信息中,提取与兴趣终端设备匹配的目标语音信息,并基于目标语音信息,对语音信息进行预设处理。从而在虚拟远程会话场景下,可根据用户的眼部信息,对显示的虚拟画面的清晰度以及语音信息进行操作处理,为用户营造身临其境的体验的同时,突出了用户视线关注的内容,也增加了关注的语音信息的音量,提高远程会话场景中的视觉效果和听觉效果,增强了用户与增强现实场景内的虚拟画面的交互性。
请参阅图8,本申请又一实施例提供了虚拟画面的处理方法,该方法可以包括:
步骤S300:获取远程会话中一个或多个终端设备对应的显示数据;
步骤S310:根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象;
步骤S320:实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向;
步骤S330:获取虚拟画面中与注视方向对应的目标虚拟对象;
步骤S340:基于目标虚拟对象,调整虚拟画面的清晰度。
在本申请实施例中,步骤S300~步骤S340可以参阅前述实施例的内容,在此不再赘述。
步骤S350:当注视方向的停留时长达到第一预设时长时,获取目标虚拟对象对应的扩展内容以及扩展内容的内容数据。
其中,第一预设时长为终端设备将虚拟对象对应的扩展内容进行显示时,用户注视同一注视方式所需的最大时长。该第一预设时长可以预存于终端设备,可以由用户进行设定。
在一些实施方式中,当检测到用户在同一注视方向的停留时长达到第一预设时长时,终端设备可以获取目标虚拟对象对应的扩展内容以及扩展内容的内容数据。其中,该内容数据可以包括扩展内容的模型数据,模型数据为用于渲染扩展内容的数据。例如,可包括用于建立扩展内容对应的颜色数据、顶点坐标数据、轮廓数据等。在一些实施方式中,内容数据可以存储于终端设备,也可以从服务器下载,在此不作限定。
在一些实施方式中,扩展内容可与目标虚拟对象对应。例如,当目标虚拟对象为用户对应的3D虚拟人物时,扩展内容可以是用户的个人简介、发表的主题观点、分享的文档等;当目标虚拟对象为用户分享的图片、视频时,扩展内容可以是图片信息、图片链接、视频信息等,也可以是下载、保存等图标控件内容。当然,上述扩展内容仅为举例,在本申请实施例中可以不作限定。
步骤S360:根据内容数据,生成与扩展内容对应的虚拟扩展内容。
在一些实施方式中,终端设备可根据扩展内容的内容数据,构建与扩展内容对应的虚拟扩展内容,并根据自身的位置及姿态信息,对该虚拟扩展内容进行渲染生成。从而用户可以通过长时间注视同一虚拟对象,看到该虚拟对象的扩展内容,增强了用户与虚拟画面的交互性。
在另一些实施方式中,终端设备也可以根据虚拟对象在虚拟空间中的显示位置,对虚拟扩展内容进行渲染生成,从而用户通过佩戴的头戴显示装置,可以看到虚拟扩展内容显示在虚拟对象附近。
在一些实施方式中,对停留时间的判断、扩展内容的获取、以及虚拟扩展内容的生成等处理操作也可由服务器进行。服务器检测到用户在同一注视方向的停留时长达到第一预设时长时,可以获取目标虚拟对象对应的扩展内容以及扩展内容的内容数据,并根据该内容数据,生成与扩展内容对应的虚拟扩展内容。服务器可将虚拟扩展内容发送至终端设备,以使终端设备可以对该虚拟扩展内容进行显示。
本申请实施例提供的虚拟画面的处理方法,通过观察虚拟画面的用户的眼部信息来确定用户注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度。进一步的,通过检测用户在同一注视方向的停留时长,将目标虚拟对象对应的扩展内容进行显示。从而在虚拟远程会话场景下,可根据用户的眼部信息,对显示的虚拟画面的清晰度以及扩展内容进行操作处理,为用户营造身临其境的体验的同时,突出了用户视线关注的内容,提高远程会话场景中的视觉效果,增强了用户与增强现实场景内的虚拟画面的交互性。
请参阅图9,本申请再一实施例提供了虚拟画面的处理方法,该方法可以包括:
步骤S400:获取远程会话中一个或多个终端设备对应的显示数据;
步骤S410:根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象;
步骤S420:实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向;
步骤S430:获取虚拟画面中与注视方向对应的目标虚拟对象;
步骤S440:基于目标虚拟对象,调整虚拟画面的清晰度。
在本申请实施例中,步骤S400~步骤S440可以参阅前述实施例的内容,在此不再赘述。
步骤S450:当注视方向的停留时长达到第二预设时长时,获取目标设备的位置及姿态信息,目标设备为显示虚拟画面的终端设备。
其中,第二预设时长为终端设备改变虚拟对象的显示位置时,用户注视同一注视方式所需的最大时长。该第二预设时长可以预存于终端设备,可以由用户进行设定。
在一些实施方式中,当检测到用户在同一注视方向的停留时长达到第二预设时长时,目标设备可以获取自身的位置及姿态信息,以根据目标设备的位置及姿态信息,确定用户是否长时间扭转头部。其中,姿态信息可以包括目标设备的旋转角度、旋转方向等信息。该目标设备的定义可以参阅前述实施例的内容,在此不再赘述。
步骤S460:基于位置及姿态信息,判断目标设备相对指定位置的旋转角度是否大于预设角度,指定位置为基准方向上的任意位置。
在本申请实施例中,预设角度为终端设备改变虚拟对象的显示位置时,目标设备相对指定位置的最小旋转角度,该预设角度可由用户进行设定,可以预存于终端设备。其中,指定位置为基准方向上的任意位置,基准方向为现实世界中用户的脖子处于舒适状态时的方向,可以由用户进行设定。作为一种实施方式,基准方向可以为用户的正前方,从而指定位置可以为正前方的任意位置。在一些实施方式中,该指定位置可以由用户进行设定,可以预存于终端设备,在此不作限定。
在一些实施方式中,目标设备可以基于自身的位置及姿态信息,判断自身相对指定位置的旋转角度是否大于预设角度,以确定用户是否长时间扭转头部到一定角度。
步骤S470:当大于预设角度时,将目标虚拟对象的显示位置更新为指定位置。
在一些实施方式中,当目标设备相对指定位置的旋转角度大于预设角度时,目标设备可以确定用户长时间扭转头部到一定角度,对用户查看目标虚拟对象造成了一定的不便性,从而目标设备可以将目标虚拟对象的显示位置更新为指定位置,以使用户可以舒适状态查看目标虚拟对象,避免了长时间扭转头部造成的脖子酸痛问题。可以理解的是,当目标设备相对指定位置的旋转角度小于预设角度时,终端设备可以不对目标虚拟对象的显示位置进行更新。
在一些实施方式中,终端设备将目标虚拟对象的显示位置更新为指定位置,可以是根据现实空间和虚拟空间的坐标转换关系,将现实空间中的指定位置转换为虚拟空间中的渲染位置,从而终端设备可以根据该渲染位置重新渲染生成目标虚拟对象,从而,用户通过佩戴的头戴现实装置,可以看到重新生成的目标虚拟对象叠加显示于现实空间的指定位置处。
进一步的,在一些实施方式中,当目标设备相对指定位置的旋转角度大于预设角度时,终端设备可以生成提示信息,以提示用户改变目标设备的位置及姿态信息。该提醒信息可以是文字框、箭头指向、声音等,在此不作限定。
在一些实施方式中,当目标设备相对指定位置的旋转角度大于预设角度时,终端设备也可以生成询问信息,以询问用户是否将目标虚拟对象显示于正前方。
在一些实施方式中,对停留时间的判断、位置及姿态信息的获取、旋转角度的判断以及提示信息的生成等处理操作也可由服务器进行。服务器检测到用户在同一注视方向的停留时长达到第二预设时长时,可以获取目标设备的位置及姿态信息,并基于该位置及姿态信息,判断目标设备相对指定位置的旋转角度是否大于预设角度,若大于预设角度,服务器可将目标虚拟对象的显示位置更新为指定位置。服务器也可在判断出大于预设角度时,生成提示信息,以提示改变目标设备的位置及姿态信息。服务器可将显示位置改变后的目标虚拟对象以及生成的提示信息发送至终端设备,以使终端设备可以显示提示信息,以及将目标虚拟对象显示于指定位置。
本申请实施例提供的虚拟画面的处理方法,通过观察虚拟画面的用户的眼部信息来确定用户注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度。进一步的,通过检测用户在同一注视方向的停留时长,更新目标虚拟对象的显示位置。从而在虚拟远程会话场景下,可根据用户的眼部信息,对显示的虚拟画面的清晰度以及显示位置进行操作处理,为用户营造身临其境的体验的同时,突出了用户视线关注的内容,也避免了用户的脖子酸痛问题,保证舒适性。
请参阅图10,其示出了本申请实施例提供的一种虚拟画面的处理装置500的结构框图,该装置可以包括:数据接收模块510、画面生成模块520、信息分析模块530、内容确定模块540以及画面调整模块550。其中,数据接收模块510用于获取远程会话中一个或多个终端设备对应的显示数据;画面生成模块520用于根据显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象;信息分析模块530用于实时采集观察虚拟画面的用户的眼部信息,并根据眼部信息确定注视方向;内容确定模块540用于获取虚拟画面中与注视方向对应的目标虚拟对象;画面调整模块550用于基于目标虚拟对象,调整虚拟画面的清晰度。
在一些实施例中,该虚拟画面的处理装置500还可以包括:目标设备获取模块、语音获取模块、目标语音获取模块以及语言处理模块。其中,目标设备获取模块用于获取目标虚拟对象对应的兴趣终端设备;语音获取模块用于获取一个或多个终端设备对应的语音信息;目标语音获取模块用于从语音信息中获取与兴趣终端设备匹配的目标语音信息;语言处理模块用于基于目标语音信息,对语音信息进行预设处理,进行预设处理后的语音信息中目标语音信息的分贝值大于其他语音信息的分贝值,其他语音信息为语音信息中除目标语音信息以外的信息。
在一些实施例中,该虚拟画面的处理装置500还可以包括:内容数据获取模块以及内容生成模块。其中,内容数据获取模块用于当注视方向的停留时长达到第一预设时长时,获取目标虚拟对象对应的扩展内容以及扩展内容的内容数据;内容生成模块用于根据内容数据,生成与扩展内容对应的虚拟扩展内容。
在一些实施例中,该虚拟画面的处理装置500还可以包括:位置获取模块、角度判断模块以及显示更新模块。其中,位置获取模块用于当注视方向的停留时长达到第二预设时长时,获取目标设备的位置及姿态信息,目标设备为显示虚拟画面的终端设备;角度判断模块用于基于位置及姿态信息,判断目标设备相对指定位置的旋转角度是否大于预设角度,指定位置为基准方向上的任意位置;显示更新模块用于当大于预设角度时,将目标虚拟对象的显示位置更新为指定位置。
进一步的,该虚拟画面的处理装置500还可以包括:提示生成模块。该提示生成模块用于当大于预设角度时,生成提示信息,提示信息用于提示改变目标设备的位置及姿态信息。
在一些实施例中,画面调整模块550调整虚拟画面的清晰度,可以包括:提高目标虚拟对象的编码率或帧率、对目标虚拟对象进行高亮标记、降低其他内容的编码率或帧率、以及对其他内容对应的图像数据进行图像压缩中的至少一种,其中,其他内容为虚拟画面中除目标虚拟对象以外的内容。
在一些实施例中,该虚拟画面的处理装置500还可以包括:画面发送模块以及调整画面发送模块。画面发送模块用于将虚拟画面发送至目标设备,目标设备用于显示虚拟画面;调整画面发送模块用于将调整后的虚拟画面发送至目标设备,目标设备用于显示调整后的虚拟画面。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上,本申请实施例提供的一种虚拟画面的处理装置,通过获取远程会话中一个或多个终端设备对应的显示数据,以根据该显示数据生成虚拟画面,虚拟画面包括一个或多个终端设备中每个终端设备对应的虚拟对象,然后实时采集观察虚拟画面的用户的眼部信息,并根据该眼部信息确定注视方向,以获取虚拟画面中与注视方向对应的目标虚拟对象,从而基于该目标虚拟对象,调整虚拟画面的清晰度,从而在虚拟远程会话场景下,实现根据用户的眼部信息,对显示的虚拟画面的清晰度进行操作处理,提高了虚拟画面显示效果,增强了用户与增强现实场景内的虚拟画面的交互性。
请再次参阅图1,本申请实施例提供了一种虚拟画面的处理系统10,系统包括终端设备100以及服务器200,其中:
服务器200用于同步多个终端设备的显示数据;
终端设备100用于根据同步远程会话中的显示数据,生成虚拟画面,虚拟画面包括所述远程会话中其他一个或多个终端设备100中每个终端设备100对应的虚拟对象;
终端设备100还用于实时采集观察虚拟画面的用户的眼部信息,根据眼部信息确定注视方向,获取虚拟画面中与注视方向对应的目标虚拟对象,并基于目标虚拟对象,调整虚拟画面的清晰度。
在一些实施方式中,终端设备100可以外接式/接入式的头戴显示装置,头戴显示装置与服务器200连接。其中,头戴显示装置可以仅完成虚拟画面的显示,上述关于对眼部信息的分析以及对虚拟画面的生成、清晰度调整等所有的处理操作,均可由服务器200完成,服务器200在生成虚拟画面后,将虚拟画面对应的显示画面传输至头戴显示装置,即可完成虚拟画面的显示。
请参考图11,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据等。
在一些实施例中,电子设备100还可以包括图像传感器130,用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机,也可以是可见光相机,具体类型在本申请实施例中并不作为限定。
在一个实施例中,电子设备为头戴显示装置,除了包括上述的处理器、存储器及图像传感器外,还可包括如下一个或多个部件:显示模组、光学模组、通信模块以及电源。
显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像,然后将该显示图像显示并投射至光学模组上,使用户能够通过光学模组观看到虚拟内容。其中,显示装置可以是显示屏或投射装置等,可用于显示图像。
光学模组可采用离轴光学系统或波导光学系统,显示装置显示的显示图像经光学模组后,能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的增强现实效果。
通信模块可以是蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等模块,头戴显示装置可通过通信模块与电子设备建立通信连接。与电子设备通信连接的头戴显示装置,可以与电子设备进行信息以及指令的交互。例如,头戴显示装置可以通过通信模块接收电子设备的发送的图像数据,根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。
电源可为整个头戴显示装置进行供电,保证头戴显示装置各个部件的正常运行。
请参见图12,其示出了本申请实施例提供的一种服务器的结构框图。该服务器200可以为云服务器、传统服务器等,服务器200可以包括一个或多个如下部件:处理器210、存储器220以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
请参考图13,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种虚拟画面的处理方法,其特征在于,所述方法包括:
获取远程会话中一个或多个终端设备对应的显示数据;
根据所述显示数据生成虚拟画面,所述虚拟画面包括所述一个或多个终端设备中每个终端设备对应的虚拟对象;
实时采集观察所述虚拟画面的用户的眼部信息,并根据所述眼部信息确定注视方向;
获取所述虚拟画面中与所述注视方向对应的目标虚拟对象;
基于所述目标虚拟对象,调整所述虚拟画面的清晰度;
获取所述目标虚拟对象对应的兴趣终端设备以及所述一个或多个终端设备对应的语音信息;
对所述语音信息进行声纹识别,从所述语音信息中获取与所述兴趣终端设备匹配的目标语音信息;
基于所述目标语音信息,对所述语音信息进行预设处理,进行所述预设处理后的语音信息中所述目标语音信息的分贝值大于其他语音信息的分贝值,所述其他语音信息为所述语音信息中除所述目标语音信息以外的信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述注视方向的停留时长达到第一预设时长时,获取所述目标虚拟对象对应的扩展内容以及所述扩展内容的内容数据;
根据所述内容数据,生成与所述扩展内容对应的虚拟扩展内容。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述注视方向的停留时长达到第二预设时长时,获取目标设备的位置及姿态信息,所述目标设备为显示所述虚拟画面的终端设备;
基于所述位置及姿态信息,判断所述目标设备相对指定位置的旋转角度是否大于预设角度,所述指定位置为基准方向上的任意位置;
当大于所述预设角度时,将所述目标虚拟对象的显示位置更新为所述指定位置。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当大于所述预设角度时,生成提示信息,所述提示信息用于提示改变所述目标设备的位置及姿态信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述调整所述虚拟画面的清晰度,包括:
提高所述目标虚拟对象的编码率或帧率、对所述目标虚拟对象进行高亮标记、降低其他内容的编码率或帧率、以及对所述其他内容对应的图像数据进行图像压缩中的至少一种,其中,所述其他内容为所述虚拟画面中除所述目标虚拟对象以外的内容。
6.一种虚拟画面的处理装置,其特征在于,所述装置包括:
数据接收模块,用于获取远程会话中一个或多个终端设备对应的显示数据;
画面生成模块,用于根据所述显示数据生成虚拟画面,所述虚拟画面包括所述一个或多个终端设备中每个终端设备对应的虚拟对象;
信息分析模块,用于实时采集观察所述虚拟画面的用户的眼部信息,并根据所述眼部信息确定注视方向;
内容确定模块,用于获取所述虚拟画面中与所述注视方向对应的目标虚拟对象;
画面调整模块,用于基于所述目标虚拟对象,调整所述虚拟画面的清晰度,获取所述目标虚拟对象对应的兴趣终端设备以及所述一个或多个终端设备对应的语音信息,对所述语音信息进行声纹识别,从所述语音信息中获取与所述兴趣终端设备匹配的目标语音信息;基于所述目标语音信息,对所述语音信息进行预设处理,进行所述预设处理后的语音信息中所述目标语音信息的分贝值大于其他语音信息的分贝值,所述其他语音信息为所述语音信息中除所述目标语音信息以外的信息。
7.一种虚拟画面的处理系统,其特征在于,所述系统包括终端设
备以及服务器,其中:
所述服务器用于同步远程会话中多个所述终端设备的显示数据;
所述终端设备用于根据同步的所述显示数据,生成虚拟画面,所述虚拟画面包括所述远程会话中其他一个或多个终端设备中每个终端设备对应的虚拟对象;
所述终端设备还用于实时采集观察所述虚拟画面的用户的眼部信息,根据所述眼部信息确定注视方向,获取所述虚拟画面中与所述注视方向对应的目标虚拟对象,并基于所述目标虚拟对象,调整所述虚拟画面的清晰度;
所述终端设备还用于获取所述目标虚拟对象对应的兴趣终端设备以及所述一个或多个终端设备对应的语音信息,对所述语音信息进行声纹识别,从所述语音信息中获取与所述兴趣终端设备匹配的目标语音信息,并基于所述目标语音信息,对所述语音信息进行预设处理,进行所述预设处理后的语音信息中所述目标语音信息的分贝值大于其他语音信息的分贝值,所述其他语音信息为所述语音信息中除所述目标语音信息以外的信息。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-5任一项所述的方法。
9.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-5任一项所述的方法。
CN201910578505.9A 2019-06-28 2019-06-28 虚拟画面的处理方法、装置、系统、电子设备及存储介质 Active CN110413108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578505.9A CN110413108B (zh) 2019-06-28 2019-06-28 虚拟画面的处理方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578505.9A CN110413108B (zh) 2019-06-28 2019-06-28 虚拟画面的处理方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110413108A CN110413108A (zh) 2019-11-05
CN110413108B true CN110413108B (zh) 2023-09-01

Family

ID=68358863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578505.9A Active CN110413108B (zh) 2019-06-28 2019-06-28 虚拟画面的处理方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110413108B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580658B (zh) * 2020-05-09 2024-04-26 维沃移动通信有限公司 基于ar的会议方法、装置及电子设备
CN112040212A (zh) * 2020-09-09 2020-12-04 青岛黄海学院 一种全景视频制作系统及方法
CN112612363A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 基于余光区域的用户非偏好比较方法和系统
CN112911191B (zh) * 2021-01-28 2023-03-24 联想(北京)有限公司 一种视频通话质量调整方法、装置、电子设备和存储介质
CN113262464A (zh) 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实场景的动态改变方法、装置及电子设备
CN113467619B (zh) * 2021-07-21 2023-07-14 腾讯科技(深圳)有限公司 画面显示方法、装置和存储介质及电子设备
CN114416237A (zh) * 2021-12-28 2022-04-29 Oppo广东移动通信有限公司 显示状态切换方法、装置及系统、电子设备、存储介质
CN116704843B (zh) * 2023-06-07 2024-02-23 广西茜英信息技术有限公司 基于通信工程勘察设计的虚拟仿真实训平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201709A (zh) * 2010-06-25 2013-07-10 珀利维讯股份有限公司 用于交互系统的激活对象
CN103335644A (zh) * 2013-05-31 2013-10-02 王玉娇 街景地图的声音播放方法及相关设备
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
KR20180118034A (ko) * 2017-04-20 2018-10-30 한국전자통신연구원 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
CN109690633A (zh) * 2016-09-14 2019-04-26 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质
CN112703464A (zh) * 2018-07-20 2021-04-23 托比股份公司 基于用户注视的分布式注视点渲染

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806922B1 (ko) * 2016-09-23 2017-12-12 (주)브로틴 가상현실 컨텐츠 제작방법 및 장치
CN113050795A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 虚拟形象的生成方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201709A (zh) * 2010-06-25 2013-07-10 珀利维讯股份有限公司 用于交互系统的激活对象
CN103335644A (zh) * 2013-05-31 2013-10-02 王玉娇 街景地图的声音播放方法及相关设备
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN109690633A (zh) * 2016-09-14 2019-04-26 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质
KR20180118034A (ko) * 2017-04-20 2018-10-30 한국전자통신연구원 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN112703464A (zh) * 2018-07-20 2021-04-23 托比股份公司 基于用户注视的分布式注视点渲染

Also Published As

Publication number Publication date
CN110413108A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
US10609334B2 (en) Group video communication method and network device
US10527846B2 (en) Image processing for head mounted display devices
US11887234B2 (en) Avatar display device, avatar generating device, and program
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
WO2020203999A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US9762791B2 (en) Production of face images having preferred perspective angles
EP2731348A2 (en) Apparatus and method for providing social network service using augmented reality
CN110427227B (zh) 虚拟场景的生成方法、装置、电子设备及存储介质
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN111510769B (zh) 视频图像处理方法、装置及电子设备
JP2009246408A (ja) 対話装置、画像処理モジュール、画像処理方法およびプログラム
KR20140141419A (ko) 디스플레이장치 및 그 제어방법
CN110413109A (zh) 虚拟内容的生成方法、装置、系统、电子设备及存储介质
CN115086594A (zh) 虚拟会议处理方法、装置、设备和存储介质
US20230362333A1 (en) Data processing method and apparatus, device, and readable storage medium
US20240037886A1 (en) Environment sharing
Young Removing spatial boundaries in immersive mobile communications
WO2023075810A1 (en) System and method for extracting, transplanting live images for streaming blended, hyper-realistic reality
WO2024019713A1 (en) Copresence system
KR20230141598A (ko) 가상 환경에서의 비디오 통신을 위한 헤드 트래킹 기반의 미디어 선택
CN118118717A (zh) 屏幕共享方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant