CN114302221B - 一种虚拟现实设备及投屏媒资播放方法 - Google Patents
一种虚拟现实设备及投屏媒资播放方法 Download PDFInfo
- Publication number
- CN114302221B CN114302221B CN202110324728.XA CN202110324728A CN114302221B CN 114302221 B CN114302221 B CN 114302221B CN 202110324728 A CN202110324728 A CN 202110324728A CN 114302221 B CN114302221 B CN 114302221B
- Authority
- CN
- China
- Prior art keywords
- mode
- screen
- display
- media
- media asset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013507 mapping Methods 0.000 claims description 35
- 238000009877 rendering Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 29
- 230000003993 interaction Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000005266 casting Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000007654 immersion Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011093 media selection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供一种本虚拟现实设备及投屏媒资播放方法,所述方法可以在接收到用户的控制指令后,接收投屏数据,并从投屏数据中提取投屏媒资信息。再使用投屏媒资信息在服务器中获取不同播放模式下的片源地址,以通过访问片源地址获取指定播放模式下的媒资数据,播放投屏画面。所述方法可以在显示投屏数据的同时获取指定播放模式下的媒资数据,以将智能终端投屏的媒资内容以3D或全景模式播放,解决播放形式单一,不利于获得沉浸感效果的问题。
Description
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种虚拟现实设备及投屏媒资播放方法。
背景技术
虚拟现实(Virtual Reality,VR)技术是通过计算机模拟虚拟环境,从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面的设备。通常,虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕,分别对应于用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时,可以为用户带来立体的观影感受。
虚拟现实设备可以作为投屏接收端(sink)播放智能终端(source)发送的投屏画面。在投屏过程中,智能终端可以将投屏画面通过投屏协议发送给虚拟现实设备,虚拟现实设备再将投屏画面进行渲染,从而在特定的界面中显示画面内容。
虚拟现实设备可以播放多种片源类型的多媒体资源,例如,2D片源、3D片源以及全景片源等,但手机等智能终端发送的投屏画面通常以2D形式呈现,因此虚拟现实设备仅能通过2D形式呈现投屏画面,不仅不利于渲染获得沉浸感的效果,而且容易造成观看形式单一,降低用户体验。
发明内容
本申请提供了一种虚拟现实设备及投屏媒资播放方法,以解决传统播放方法播放形式单一,不利于获得沉浸感效果的问题。
一方面,本申请提供一种虚拟现实设备,包括:显示器、通信器和控制器,其中所述显示器被配置为显示播放界面及其他用户界面;所述通信器被配置为与智能终端建立投屏连接;所述控制器被配置为执行以下程序步骤:
获取用户输入的用于建立投屏连接的控制指令;
响应于所述控制指令,接收智能终端发送的投屏数据,所述投屏数据中包括投屏媒资信息;
根据所述投屏媒资信息,从服务器获取与至少一个播放模式相适应的片源地址;
访问所述片源地址,以控制所述显示器显示所述片源地址对应的媒资画面。
另一方面,本申请还提供投屏媒资播放方法,应用于上述虚拟现实设备,所述投屏媒资播放方法包括以下步骤:
获取用户输入的用于建立投屏连接的控制指令;
响应于所述控制指令,接收智能终端发送的投屏数据,所述投屏数据中包括投屏媒资信息;
根据所述投屏媒资信息,从服务器获取与至少一个播放模式相适应的片源地址;
访问所述片源地址,以控制所述显示器显示所述片源地址对应的媒资画面。
由以上技术方案可知,本申请提供的虚拟现实设备及投屏媒资播放方法可以在接收到用户的控制指令后,接收投屏数据,并从投屏数据中提取投屏媒资信息。再使用投屏媒资信息在服务器中获取不同播放模式下的片源地址,以通过访问片源地址获取指定播放模式下的媒资数据,播放投屏画面。所述方法可以在显示投屏数据的同时获取指定播放模式下的媒资数据,以将智能终端投屏的媒资内容以3D或全景模式播放,解决播放形式单一,不利于获得沉浸感效果的问题。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图;
图2为本申请实施例中VR场景全局界面示意图;
图3为本申请实施例中全局界面的推荐内容区域示意图;
图4为本申请实施例中全局界面的应用快捷操作入口区域示意图;
图5为本申请实施例中全局界面的悬浮物示意图;
图6为本申请实施例中播放界面示意图;
图7为本申请实施例中播放界面区域划分示意图;
图8为本申请实施例中模式切换操作界面示意图;
图9为本申请实施例中投屏媒资播放方法的流程示意图;
图10为本申请实施例中投屏交互操作的流程示意图;
图11为本申请实施例中根据播放模式播放投屏画面的流程示意图;
图12为本申请实施例中基于渲染场景播放投屏画面的流程示意图;
图13为本申请实施例中采用MyBatis框架创建数据库的流程示意图;
图14为本申请实施例中基于切换界面的交互流程示意图;
图15为本申请实施例中检测到3D片源时切换窗口示意图;
图16为本申请实施例中检测到360片源时切换窗口示意图;
图17为本申请实施例中带有预览画面的切换窗口示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施例中的技术方案进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等,意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此,本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外,在一个或多个实施例中,具体特征、结构或特性可以任何合适的方式进行组合。因此,在无限制的情形下,结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。
本申请实施例中,所述虚拟现实设备500泛指能够佩戴于用户面部,为用户提供沉浸感体验的显示设备,包括但不限于VR眼镜、增强现实设备(Augmented Reality,AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述,应当理解的是,所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行,或者作为外接设备接入其他智能显示设备,其中,所述显示设备可以是智能电视、计算机、平板电脑、服务器等。
虚拟现实设备500可以在佩戴于用户面部后,显示媒资画面,为用户双眼提供近距离影像,以带来沉浸感体验。为了呈现媒资画面,虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例,虚拟现实设备500可以包括外壳、位置固定件、光学系统、显示组件、姿态检测电路、接口电路等部件。实际应用中,光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内,以用于呈现具体的显示画面;外壳两侧连接位置固定件,以佩戴于用户面部。
在使用时,姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件,当用户头部移动或转动时,可以检测到用户的姿态,并将检测到的姿态数据传递给控制器等处理元件,使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。
如图1所示,在一些实施例中,所示虚拟现实设备500可以接入显示设备200,并与服务器400之间构建一个基于网络的显示系统,在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互,例如显示设备200可以从服务器400获取媒资数据并进行播放,以及将具体的画面内容传输给虚拟现实设备500中进行显示。
其中,显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
在进行数据交互的过程中,用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信,也可以采用非直接连接的方式进行通信。即在一些实施例中,移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时,移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。
在另一些实施例中,移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络,以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时,移动终端300和遥控器100可以将控制指令数据先发送给无线路由器,再通过无线路由器将控制指令数据转发给显示设备200。
在一些实施例中,用户还可以使用移动终端300和遥控器100还可以直接与虚拟现实设备500进行交互,例如,可以将移动终端300和遥控器100作为虚拟现实场景中的手柄进行使用,以实现体感交互等功能。
在一些实施例中,虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面,以及带来立体效果,显示组件中可以包括两个显示屏幕,分别对应于用户的左眼和右眼。在呈现3D效果时,左右两个屏幕中显示的画面内容会稍有不同,可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容,因此在佩戴时,可以观察到立体感较强的显示画面。
虚拟现实设备500中的光学系统,是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间,可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应,增加光程,使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时,为了适应不同用户的视力情况,光学系统还支持调焦,即通过调焦组件调整多个透镜中的一个或多个的位置,改变多个透镜之间的相互距离,从而改变光程,调整画面清晰度。
虚拟现实设备500的接口电路可以用于传递交互数据,除上述传递姿态数据和显示内容数据外,在实际应用中,虚拟现实设备500还可以通过接口电路连接其他显示设备或外设,以通过和连接设备之间进行数据交互,实现更为复杂的功能。例如,虚拟现实设备500可以通过接口电路连接显示设备,从而将所显示的画面实时输出至显示设备进行显示。又例如,虚拟现实设备500还可以通过接口电路连接手柄,手柄可以由用户手持操作,从而在VR用户界面中执行相关操作。
其中,所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如,用户界面可以包括全局界面,AR/VR终端启动后的全局UI如图2所示,所述全局UI可显示于AR/VR终端的显示屏幕中,也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。
推荐内容区域1用于配置不同分类TAB栏目;在所述栏目中可以选择配置媒资、专题等;所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务,并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。
在一些实施例中,内容推荐区域1还可以包括主界面和副界面。如图3所示,位于UI布局居中位置的部分是主界面,而位于主界面两侧位置的部分则为副界面。主界面和副界面可以用于分别展示不同的推荐内容。例如,根据推荐的片源类型,可以在主界面显示3D片源的业务;而在左侧的副界面中显示2D片源的业务,在右侧的副界面中显示全景片源的业务。
显然,对于主界面和副界面,可以在显示不同业务内容的同时,呈现为不同的内容布局。并且,用户可以通过特定的交互动作控制切换主界面和副界面。例如,通过控制焦点标志左右移动,使焦点标志在主界面最右侧时再向右移动,可以将控制右侧的副界面显示在UI布局的居中位置,此时主界面切换为显示全景片源的业务,左侧的副界面切换为显示3D片源的业务;而右侧的副界面切换为显示2D片源的业务。
另外,为了便于用户观看,还可以通过不同的显示效果对主界面和副界面分别进行显示。例如,可以提高副界面的透明度,使副界面获得虚化效果,从而突出主界面。还可以设置副界面为灰度效果,保持主界面为彩色效果,突出主界面。
在一些实施例中,推荐内容区域1的顶部还可以设置有状态栏,在状态栏中可以设置有多个显示控件,包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义,例如,可以添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中,以执行相应的功能。例如,用户点击时间选项时,虚拟现实设备500可以在当前界面中显示时间设备窗口,或者跳转至日历界面。当用户点击网络连接状态选项时,虚拟现实设备500可以在当前界面显示WiFi列表,或者跳转至网络设置界面。
状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如,时间控件可以直接显示为具体的时间文字信息,并在不同的时间显示不同的文字;电量控件则可以根据虚拟现实设备500的当前电量剩余情况,显示为不同的图案样式。
状态栏用于使用户能够执行常用的控制操作,实现快速对虚拟现实设备500进行设置。由于对虚拟现实设备500的设置程序包括诸多项,因此在状态栏中通常不能将所有常用设置选项全部显示。为此,在一些实施例中,状态栏中还可以设置有扩展选项。扩展选项被选中后,可以在当前界面中呈现扩展窗口,在扩展窗口中可以进一步设置有多个设置选项,用于实现虚拟现实设备500的其他功能。
例如,在一些实施例中,扩展选项被选中后,可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后,虚拟现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项,用于分别唤醒相应的功能。
业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时,支持配置独立TAB,展示对应的页面内容。业务分类扩展区域2中的扩展分类,也可以对其进行排序调整及下线业务操作。在一些实施例中,业务分类扩展区域2可包括的内容:影视、教育、旅游、应用、我的。在一些实施例中,业务分类扩展区域2被配置为可展示大业务类别TAB,且支持配置更多的分类,其图标支持配置,如图3所示。
应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐,支持配置特殊图标样式替换默认图标,所述预装应用可指定为多个。在一些实施例中,应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件,用于选择不同的图标,如图4所示。
悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方,可配置为可替换形象、或配置为跳转链接。例如,悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页,如图5所示。在一些实施例中,悬浮物也可不配置跳转链接,单纯的用于形象展示。
在一些实施例中,全局UI还包括位于顶端的状态栏,用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄,即手持控制器选中图标后,图标将显示包括左右展开的文字提示,选中的图标按照位置自身进行左右拉伸展开显示。
例如,选中搜索图标后,搜索图标将显示包含文字“搜索”及原图标,进一步点击图标或文字后,搜索图标将跳转至搜索页面;又例如,点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。
在一些实施例中,可以通过外设执行交互,例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作,包括返回按钮;主页键,且其长按可实现重置功能;音量加减按钮;触摸区域,所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。
用户可以通过全局界面进入不同的场景界面,例如,如图6、图7所示,用户可以在全局界面中的“播放界面”入口进入播放界面,或者通过在全局界面中选择任一媒资启动播放界面。在播放界面中,虚拟现实设备500可以通过Unity 3D引擎创建3D场景,并在3D场景中渲染具体的画面内容。
在播放界面中,用户可以观看具体媒资内容,为了获得更好的观影体验,播放界面中还可以设置不同的虚拟场景控件,以配合媒资内容呈现具体场景或实施交互。例如,在播放界面中,可以在Unity 3D场景中加载面板控件,用来呈现图片内容,再配合其他家居虚拟控件,以模拟电影院银幕的效果。
虚拟现实设备500可以在播放界面中展示操作UI内容。例如,在Unity 3D场景中的显示面板前方还可以显示有媒资列表UI控件,在媒资列表中可以显示当前虚拟现实设备500本地存储的媒资图标,或者显示可在虚拟现实设备500中进行播放的网络媒资图标。用户可以在媒资列表中选中任一图标,播放该图标对应的媒资数据,则在显示面板中可以实时显示被选中的媒资。
能够在Unity 3D场景中显示的媒资可以是图片、视频等多种形式,并且,由于VR场景的显示特点,在Unity 3D场景中显示的媒资至少包括2D图片或视频、3D图片或视频以及全景图片或视频等。
其中,2D图片或视频是一种传统图片或视频文件,当进行显示时,可以在虚拟现实设备500的两个显示屏幕中显示相同的图像,本申请中将2D图片或视频统称为2D片源;3D图片或视频,即3D片源,是一种由至少两个相机在不同角度对同一个物体进行拍摄制作而成,可以在虚拟现实设备500的两个显示器中显示不同的图像,实现立体效果;全景图片或视频,即全景片源,是通过全景相机或者特殊的拍摄手段获得的全景影像,可以通过在Unity3D场景中创建显示球面的方式,将图片进行展示,以呈现全景效果。
对于3D片源,还可以按照片源中每帧图像的画面排布方式,进一步划分为左右型3D片源和上下型3D片源等。其中,左右型3D片源的每帧图像中,包括左右两个部分,分别为左眼相机和右眼相机拍摄的图像画面。而对于全景片源,还可以按照全景片源的画面视野进一步分为360全景、180全景以及鱼眼全景等片源形式,不同的全景片源形式中每帧图像的画面合成方式不同。为了呈现更好的立体效果,全景片源还可以包括真全景型、左右型全景、上下型全景等形式。
由于播放界面中可以显示的媒资数据包括多种片源类型,并且不同的片源类型需要不同的图像输出方式,因此在播放界面中,还可以设有用于播放控制的UI控件。例如,用于播放控制的UI控件可以设置在显示面板前方,该UI控件是一种浮动交互UI控件,即可以按照特定触发动作触发显示。如图8所示,在UI控件中,可以包括“模式切换”选项,当用户点击“模式切换”选项后,可以显示模式列表,包括“2D模式”、“3D模式”等模式选项。用户在模式列表选中任一模式选项后,则可以控制虚拟现实设备按照选定的模式播放媒资列表中的媒资数据。
同理,当用户选中列表中某一媒资项目后,播放界面可以对该媒资项目进行播放,即在显示面板上展示该媒资项目对应的画面。而在播放媒资项目的过程中,用户还可以通过调用用于播放控制的UI控件,并在UI控制界面中选中任一模式选项,切换播放模式,使虚拟现实设备500可以按照切换后的播放模式播放选中的媒资数据。
为了适应不同的播放模式,在一些实施例中,一个媒资项目对应包含多种形式的数据形式。例如,部分媒资项目既包含2D形式的媒资数据,又包含3D形式的媒资数据。即一个媒资项目对应两个媒资文件,其中一个媒资文件中每一帧图像仅包含一个具体画面,另一个媒资文件中每一帧图像包含左右(或上下)两个部分的具体画面。对于这种媒资项目,在播放过程中,可以根据不同播放模式,对应选择一个媒资文件进行播放,以获得不同的效果。
虚拟现实设备500还可以与智能终端建立投屏连接,以通过虚拟现实设备500播放智能终端中发送的视频数据。其中,与虚拟现实设备500建立投屏连接的智能终端可以是具有媒资播放和画面处理功能的设备,包括但不限于手机、智能电视(显示设备200)、计算机、平板电脑等。在建立投屏连接关系后,智能终端可以向虚拟现实设备500发送投屏数据,虚拟现实设备500在接收到投屏数据后,可以在渲染场景对投屏数据进行渲染,并输出左眼图像画面和右眼图像画面,以便在显示器中进行显示。
根据投屏方式的不同,智能终端发送给虚拟现实设备500的投屏数据形式也不同。例如,对于支持数字生活网络联盟(Digital Living Network Alliance,DLNA)协议的虚拟现实设备500和智能终端,在建立投屏连接后,智能终端可以向虚拟现实设备500发送当前播放媒资的统一资源定位(Uniform Resource Locator,URL)地址,使得虚拟现实设备500在接收到投屏数据后,通过访问媒资URL地址,获得媒资数据。智能终端还可以直接向虚拟现实设备500发送视频数据流,即智能终端可以将播放的媒资文件或者当前显示的画面通过视频数据流的形式发送给虚拟现实设备500。虚拟现实设备500再对接收到的视频数据流执行渲染,并显示在显示器中。
由于手机等智能终端通常只能够呈现2D效果的显示画面,因此通过投屏连接发送给虚拟现实设备500的媒资数据一般也是2D片源形式,而虚拟现实设备500可以支持3D、全景等多种片源形式,使得在投屏过程中,不仅存在片源单一的问题,而且清晰度较低,不能获得较佳的沉浸感效果。因此,为了适用投屏过程,在本申请的部分实施例中,提供一种虚拟现实设备500,包括:显示器、通信器以及控制器。其中,显示器包括左显示器和右显示器,用于呈现播放界面及其他用户界面,通信器可以基于有线/无线网络连接方式实现数据通信,用于与智能终端建立投屏连接。如图9所示,控制器则被进一步配置为执行以下程序步骤:
S1:获取用户输入的用于建立投屏连接的控制指令。
虚拟现实设备500可以在实际应用中接收用户输入的各种控制指令,不同的控制指令可以实现不同的功能,对应不同的交互动作。用户输入的用于建立投屏连接的控制指令可以通过虚拟现实设备500完成输入,也可以通过智能终端完成输入。
例如,如图9所示,用户可以控制虚拟现实设备500接入指定的无线局域网,并将手机也接入该无线局域网。再通过手机执行交互操作,点击操作界面中的投屏功能按钮,此时手机会呈现投屏设备列表,用户可以在投屏设备列表中选择当前虚拟现实设备500,从而建立投屏连接关系。经过上述交互动作过程,智能终端可以向虚拟现实设备500发送建立投屏连接功能的控制指令。
而对于支持其他交互方式的虚拟现实设备500,还可以通过所支持的输入方式完成控制指令的输入。例如,对于支持智能语音系统的虚拟现实设备500或智能终端,还可以通过输入诸如“建立投屏”、“我要投屏”的语音内容,控制智能终端与虚拟现实设备500建立投屏连接关系。
S2:响应于所述控制指令,接收智能终端发送的投屏数据。
在建立投屏连接关系以后,智能终端可以向虚拟现实设备500发送投屏数据,虚拟现实设备500则可以接收智能终端发送的投屏数据。由于不同的投屏连接方式所发送的投屏数据不同,因此虚拟现实设备500可以针对不同的投屏连接方式,采用不同的数据解析方式,以便从投屏数据中解析出投屏媒资信息。其中,投屏媒资信息是指投屏数据所对应的媒资数据相关信息,包括媒资名称、片源类型等内容。
例如,用户在手机端执行交互操作在线播放电影资源,电影资源的名称为《A》,由于当前通过手机端播放,因此片源类型为2D片源。在手机播放电影资源的过程中,用户通过点击播放界面上的“投屏”按钮,并在弹出的投屏设备列表中选择当前虚拟现实设备500,从而向当前虚拟现实设备500发送投屏数据,虚拟现实设备500则可以通过投屏数据解析出电影资源名称《A》和片源类型为2D片源。
针对不同的投屏连接方式,虚拟现实设备500可以需要采用不同的方法从投屏数据中解析出投屏资源信息。例如,对于采用DLNA协议发送投屏数据的智能终端,可以从投屏数据中解析出电影《A》的URL地址,虚拟现实设备500再通过访问该URL地址获取对应的媒资信息,并从媒资信息中提取电影名称、片源类型等内容。
S3:根据所述投屏媒资信息,从服务器获取与至少一个播放模式相适应的片源地址。
虚拟现实设备500在投屏数据中解析出投屏媒资信息后,可以使用投屏媒资信息,在服务器的数据库中进行匹配,当匹配命中数据库中的任一表项以后,可以获取不同播放模式下的片源地址。例如,当解析获得电影名称为《A》、片源类型为2D片源后,以该电影名称为索引值在数据库中匹配除2D片源外其他类型的片源。通过匹配,如果确定当前投屏电影《A》还存在3D形式和/或全景形式的片源时,则可以从数据库中获取3D片源形式或全景片源形式的媒资链接地址,以便虚拟现实设备500可以播放同一片名的3D片源或者全景片源。
其中,数据库按照特定的映射关系框架构建的关系表。在数据库中可以存储有指定媒资平台下每个媒资对应的名称、片源类型以及每个片源类型对应的媒资数据存储地址。数据库可以由虚拟现实设备500进行维护,例如,虚拟现实设备500可以通过读取指定媒资平台中的媒资数据及其对应的媒资数据存储地址,构建映射关系表,并按照数据库对应的映射关系框架,将映射关系表添加至数据库中。数据库也可以由虚拟现实设备500的运营商统一维护。例如,运营商通过服务器读取平台媒资数据及其对应的各片源存储地址,生成映射关系表,并将生成的映射关系表添加到数据库中。当虚拟现实设备500访问媒资选择界面时,可以通过后台程序同步该数据库。
在一些实施例中,数据库还可以通过虚拟现实设备500和运营商共同维护。例如,虚拟现实设备500可以通过本地存储的方式,保存一些媒资的不同片源数据,因此,虚拟现实设备500可以通过服务器获取运营商维护的数据库,并且在虚拟现实设备500保存本地媒资数据时,按照数据库对应的映射关系框架构建映射关系表,将映射关系表存储在数据库中,以便在获取投屏媒资信息后,通过数据库完成匹配。
在一些实施例中,虚拟现实设备500可以根据投屏媒资信息生成片源获取请求;再向云端服务器发送片源获取请求,以使云端服务器响应于片源获取请求反馈片源地址,即可以使虚拟现实设备500接收到与至少一个播放模式相适应的片源地址。
S4:访问所述片源地址,以控制所述显示器显示所述片源地址对应的媒资画面。
在服务器中匹配获得不同播放模式相适应的片源地址以后,虚拟现实设备500可以通过访问获得的片源地址,获取指定播放模式对应的媒资数据,并按照其对应的渲染方式进行渲染后,形成具体的显示画面。
例如,虚拟现实设备500经匹配获得电影《A》对应在服务器的数据库中记载有3D片源类型的片源地址,则可以通过访问该片源地址获取3D形式的电影《A》,以使虚拟现实设备500可以按照3D片源的播放模式播放电影《A》。
可见,在上述实施例中,虚拟现实设备500可以在接收到用户的控制指令后,从投屏数据中提取投屏媒资信息。再使用投屏媒资信息在服务器中获取不同播放模式下的片源地址,以通过访问片源地址获取指定播放模式下的媒资数据,播放投屏画面。通过在服务器中进行匹配,虚拟现实设备500可以将智能终端投屏的媒资内容以3D或全景模式播放,使投屏过程播放形式更加丰富,并提高画面质量。
需要说明的是,上述虚拟现实设备500在通过数据库匹配片源地址时,不仅可以匹配与投屏数据对应片源类型不同的媒资数据地址,即投屏数据对应媒资片源类型为2D片源时,从数据库中匹配同一名称的3D片源媒资或全景片源媒资;还可以在数据库中匹配与投屏数据对应片源类型相同的媒资片源地址,即虚拟现实设备500可以在数据库中匹配2D片源类型的片源地址。通过匹配同类型的片源地址,虚拟现实设备500可以通过数据库获得画质效果更好的片源,以提高投屏媒资的播放效果。例如,通过投屏数据分享的影片《A》适合在手机端播放,因此在投屏过程中还可以从数据库中匹配2D类型,但适合虚拟现实设备500播放的影片《A》资源,以获得更好的显示效果。
在一些实施例中,当智能终端与虚拟现实设备500基于DLNA协议发送投屏数据时,虚拟现实设备500可以使用投屏数据中的URL地址、媒资标题以及媒资类型进行匹配。即如图11所示,使用所述投屏媒资信息,在服务器中获取与至少一个播放模式相适应的片源地址的步骤还包括:
S310:从所述投屏数据中解析投屏媒资信息;
S320:检测当前播放模式;
S330:如果所述媒资类型与当前播放模式相适应,访问所述当前媒资URL地址;
S340:如果所述媒资类型与当前播放模式不相适应,根据所述当前媒资URL地址和/或媒资标题,从服务器获取与当前播放模式相适应的片源地址。
在执行匹配前,虚拟现实设备500可以从投屏数据中解析投屏信息,由于投屏数据是基于DLNA协议发送,因此可以从投屏数据中解析出投屏媒资的URL地址、媒资标题以及媒资类型。例如,可以从投屏数据中提取出电影《B》的URL地址为“HTTP://×××”,对应的媒资标题为“B”,媒资类型为“2D片源”。
在解析出投屏媒资信息后,还可以检测当前虚拟现实设备500的播放模式。例如,通过检测当前渲染场景的输入输出方式,以及检测渲染场景中显示面板的布置情况,可以确定当前播放模式为3D模式,即检测出渲染场景中包括两个分别对左显示相机和右显示相机可见的显示面板,分别用于呈现每帧画面中的左眼图像和右眼图像。
虚拟现实设备500还可以对媒资类型与当前播放模式进行对比,以确定投屏数据中的媒资片源类型是否与当前播放模式相适应。当媒资类型与当前播放模式相适应时,可以直接按照投屏数据中指定的URL地址获取媒资数据,以播放投屏画面。例如,如果从投屏数据中解析的媒资类型为2D片源,而当前播放模式也为2D模式,则可以直接访问解析获得的URL地址,从而按照2D模式播放投屏媒资。
当媒资类型与当前播放模式不相适应时,则可以从服务器中查询当前播放模式对应的片源地址,即虚拟现实设备500可以使用当前媒资URL地址和/或媒资标题,在服务器中匹配与当前播放模式相适应的片源地址。例如,从投屏数据中解析获得的媒资类型为2D片源,而当前播放模式为3D模式,则需要使用当前媒资URL地址“HTTP://×××”或者媒资标题“B”在服务器中进行匹配,以查询电影B的3D片源。
由于不同的播放模式需要对媒资数据进行不同的渲染方式。例如,在当前播放模式为3D模式时,虚拟现实设备500可以对每帧图像进行切分,并将左眼画面部分和右眼画面部分分别输入到渲染场景中的显示面板进行显示;而在当前播放模式为2D模式时,虚拟现实设备500不需要对每帧图像进行切分,直接将画面内容呈现在显示面板上。因此,本实施例可以在获取投屏数据后通过对媒资类型与当前播放模式是否相适应进行对比,使投屏数据适应虚拟现实设备500的当前播放形式,以按照相适应的渲染方式完成渲染,避免错误的渲染方式,提高播放质量。
需要说明的是,当虚拟现实设备500在服务器中匹配当前媒资URL地址和/或媒资标题时,可能在部分情况下无法匹配到相适应的片源地址,即部分投屏媒资在服务器中不存在其他播放模式对应的片源,因此在服务器中未匹配到与当前播放模式相适应的片源地址时,虚拟现实设备500还可以自动切换播放模式,以适应投屏数据。
在获取指定的片源地址后,虚拟现实设备500可以通过该片源地址获取与当前播放模式相适应的媒资数据,以播放录屏画面。如图12所示,为了能够播放媒资数据,虚拟现实设备500可以在访问所述片源地址,以播放投屏画面的步骤中,执行以下步骤:
S410:从所述片源地址获取视频数据流;
S420:在虚拟渲染场景中显示所述视频数据流;
S430:对所述虚拟渲染场景执行图像拍摄,以生成投屏画面;
S440:将所述投屏画面发送至所述显示器进行显示。
虚拟现实设备500通过访问片源地址,可以从片源地址中获取视频数据流,并在渲染场景中显示该视频数据流。其中,所述虚拟渲染场景中包括左显示相机和右显示相机,虚拟现实设备500可以通过左显示相机和右显示相机对显示有视频数据流的虚拟渲染场景进行图像拍摄,从而生成投屏画面,最后将投屏画面发送给显示器,以通过显示器显示投屏画面内容。
对于显示视频数据流的过程,虚拟现实设备500可以通过解码该视频数据流,获得多帧媒资画面。再根据当前播放模式,在虚拟渲染场景中添加显示面板,以通过加载的显示面板逐帧显示媒资画面。
在不同的播放模式下,加载至虚拟渲染场景中的显示面板形式也不同。当播放模式为3D模式时,虚拟现实设备500可以在虚拟渲染场景中添加左面板和右面板。其中,左面板对左显示相机可见,右面板对右显示相机可见。虚拟现实设备500可以将视频数据流中每帧画面进行切分,获得左眼图像部分和右眼图像部分,并将左眼图像部分显示在左面板上,将右眼图像部分显示在右面板上。再通过左显示相机和右显示相机同时对虚拟渲染场景执行图像拍摄,可以获得带有视频流画面的渲染场景图像。
由于左面板仅对左显示相机可见,因此左显示相机拍摄的图像画面中包括左眼图像部分的画面内容,同理右面板仅对右显示相机可见,可以使右显示相机拍摄的图像画面中包括右眼图像部分的画面内容。通过左、右显示相机的同时拍摄,可使最终呈现的投屏画面带有视频数据流中的3D效果以及渲染场景中的3D效果,获得更好的沉浸感体验。
如果当前播放模式为全景模式,虚拟现实设备500可以在虚拟渲染场景中添加曲面面板,根据全景片源中每帧画面的全景形式不同,添加的曲面面板形状也不同。例如,当全景片源为180°全景类型时,可以在渲染场景中添加半球形曲面面板;当全景片源为360°全景类型时,可以在渲染场景中添加球形曲面面板;当全景片源为鱼眼全景类型时,可以在渲染场景中添加环形曲面面板。
为了便于输出最终的图像画面,在渲染场景中添加的曲面面板应以左显示相机和右显示相机之间的中点位置为弧心。例如,在360°全景播放模式时,虚拟现实设备500可以将视频图像显示在场景内3D球模型内表面,此3D球模型是以左显示相机、右显示相机的中间位置为球心,3D球模型的半径可以根据视频数据流中每一帧全景图像的拍摄范围定义,从而将全景图像画面显示完整的显示在3D球模型上,实现360°全景媒资画面的播放。
在一些实施例中,为了使虚拟现实设备500能够在数据库中匹配片源地址,服务器还可以预先创建数据库,其中,所述数据库基于MyBatis框架创建,如图13所示,包括以下步骤:
S501:通过读取reader对象读取映射关系表;
S502:获取当前线程的SQL会话,以开启事务;
S503:通过所述SQL会话读取所述映射关系表中的操作编号,以及读取SQL语句;
S504:提交事务,以创建所述数据库。
映射关系表包括片源标签、片源地址以及片源标签与片源地址之间的映射关系。服务器可以在初始控制系统中创建一个数据库,用于记载播放模式和片源类型之间的映射关系。
在匹配片源地址的过程中,由于一个媒资项目可以支持多种播放模式,因此媒资项目与播放模式之间存在着“一对多”/“多对一”的映射关系。其中,一对多映射关系是指从图片/视频资源角度来说,一个图片/视频有多种播放模式,即为一对多;多对一映射关系是指从播放模式来说,多个播放模式对应于一个图片/视频资源,即为多对一。基于这种一对多/多对一的映射关系,可以通过映射框架创建数据库。能够创建数据库的框架包括开放源代码的对象关系映射框架(Hibernate)、Java数据库连接(Java Database Connectivity,JDBC)以及持久层框架(MyBatis)等。
其中,MyBatis框架具有接口绑定功能,即包括注解绑定结构化查询语言(Structured Query Language,SQL)和可扩展标记语言绑定SQL。并且,MyBatis框架支持对象导航图语言(Object Graph Navigation Language,OGNL)表达式动态结构化查询语言。因此,MyBatis框架可以通过XML或注解方式灵活配置要运行的SQL语句,并将java对象和SQL语句映射生成最终执行的SQL,最后将SQL执行的结果再映射生成java对象。使得Mybatis框架的学习门槛低,数据库维护方可以直接编写原生态SQL,可严格控制SQL执行性能,灵活度高。
在使用Mybatis框架创建并维护数据库的过程中,可以通过Mybatis框架中的Reader对象读取MyBatis框架映射文件,即映射关系表,再通过SqlSessionFactoryBuilder对象创建SqlSessionFactory对象,并获取当前线程的SQLSession。获取SQLSession后,可设置事务默认开启,以通过SQLSession读取映射文件中的操作编号,从而读取SQL语句,并提交事务,将映射关系表存储至数据库。
可见,本实施例中通过MyBatis框架和映射关系表可以快速建立媒资项目与播放模式之间一对多/多对一的映射关系,并且基于MyBatis框架的数据库不仅可以减少开发人员的工作量和学习内容,而且便于统一维护不同播放界面中的媒资项目,使虚拟现实设备500可以快速通过数据库查询到相适应的播放参数。
基于Mybatis框架创建数据库,虚拟现实设备500可以在提取投屏媒资信息后,从数据库中提取映射关系表,再根据当前媒资URL地址和/或媒资标题从映射关系表中查询片源标签,最后通过片源标签选择与当前播放模式相适应的URL地址,即获得与指定播放模式相适应的片源地址。
上述实施例中,虚拟现实设备500可以在接收到投屏数据后,通过服务器匹配不同播放模式下的片源地址,从而获取多种片源类型。为了获得更好的交互体验,提高投屏连接的交互效率,虚拟现实设备500可以在接收到投屏数据后,先按照2D模式对投屏数据进行播放,以保留传统投屏连接时的交互效果。同时,在显示界面中显示切换窗口的方式,提示用户可以切换至其他播放模式,以获得更好的投屏交互效果。即如图14所示,在一些实施例中,访问所述片源地址,以播放投屏画面的步骤还包括:
S451:根据所述片源地址,控制显示器显示切换窗口;
S452:接收用户通过所述切换界面输入的切换指令;
S453:响应于所述切换指令,切换播放模式;
S454:访问所述片源地址,以按照切换后的模式播放投屏画面。
本实施例中,虚拟现实设备500在接收到投屏数据后,可以先按照投屏媒资信息中指定的媒资片源类型,对投屏数据进行播放,即先通过2D模式呈现2D片源类型的投屏画面。与此同时,虚拟现实设备500还可以通过后台运行的方式,执行使用投屏媒资信息在服务器中获取与至少一个播放模式相适应的片源地址的步骤,以匹配其他播放模式对应片源。
当虚拟现实设备500在服务器中查询到不同播放模式下的片源地址,则可以根据匹配到的片源地址,显示切换窗口。其中,切换窗口可用于提示当前投屏媒资存在不同播放模式对应的片源,以便用户想要体验不同播放模式时,通过切换窗口完成播放模式的切换。为了达到提示效果,所述切换窗口可以包括提示信息。例如,如图15、图16所示,可以在播放2D的投屏数据的同时,在当前界面中显示切换窗口,切换窗口可以包括以下提示文字:“检测到该视频含3D(360)模式片源,是否切换3D(360)模式播放?”并在切换窗口中显示“是”和“否”两个选项,以供用户选择。
为此,在显示切换窗口的同时,虚拟现实设备500还可以接收用户输入的用于切换播放模式的切换指令。并响应于该切换指令,切换播放模式,同时访问匹配命中的片源地址,以便按照切换后的播放模式播放投屏画面。例如,当用户点击切换窗口上的“是”选项时,则代表输入切换指令。虚拟现实设备500可以响应于该切换指令,将播放模式切换至3D模式,即在渲染场景中添加左面板和右面板。同时根据匹配命中的3D片源地址,可以通过访问该片源地址,以获取3D类型的媒资数据,并按照3D模式播放获取的媒资数据,以切换至3D模式。
显然,用户还可以基于切换窗口中输入用于不切换播放模式的控制指令。例如,用户可以点击切换窗口上的“否”选项,以控制虚拟现实设备500不去切换播放模式,仍然按照2D模式播放投屏数据。
为了能够更直观的体验切换后的观影效果,引导用户完成模式切换,在一些实施例中,切换窗口中还可以包括预览画面,预览画面可以按照对应的片源类型呈现媒资画面。例如,在服务器中匹配到当前投屏数据存在3D类型的片源时,可以通过访问3D片源地址,获取3D形式的媒资数据,并按照3D模式对媒资数据进行播放,以获得3D的媒资画面。再通过预览窗口,将3D的媒资画面进行显示,以使用户能够体验到3D模式下的观影效果。显然,为了减少数据处理量,预览窗口可以仅对不同模式下媒资数据的一部分视频片段进行预览,例如仅预览媒资数据的前5s视频片段。
在显示带有预览画面的切换窗口的同时,虚拟现实设备500同样可以接收用户通过切换窗口输入的切换指令。例如,如图17所示,切换窗口可以仅包括预览画面以及关闭按钮,当用户点击切换窗口上除关闭按钮以外的任意区域,则代表用户输入切换指令。此时,可以按照上述实施例中的切换方式,将虚拟现实设备500的播放模式切换至对应的播放模式。而当用户点击关闭按钮时,则代表输入关闭指令。虚拟现实设备500则在接收到用户通过所述预览窗口输入的关闭指令后,响应于该关闭指令,解析投屏数据,以获取投屏画面,并按照2D播放模式播放投屏画面。
在一些实施例中,为了便于用户选择不同的播放模式,虚拟现实设备500还可以在媒资选择界面中显示不同片源类型下的媒资选择界面。例如,可以在全局UI界面的内容推荐区域1中显示三种片源类型的媒资列表,其中,显示在居中位置的媒资列表包括与当前播放模式相适应的片源类型的媒资项目,显示在左侧位置和右侧位置的媒资列表包括不是与当前播放模式相适应的片源类型的媒资项目。用户可以通过滑动交互动作控制切换居中位置显示的媒资列表,并在切换至不同媒资列表一定时间后,将播放模式切换至对应的模式,以便用户选择其中的媒资项目进行播放。
基于上述虚拟现实设备500,在本申请的部分实施例中还提供一种投屏媒资播放方法,包括以下步骤:
S1:获取用户输入的用于建立投屏连接的控制指令;
S2:响应于所述控制指令,接收智能终端发送的投屏数据,所述投屏数据中包括投屏媒资信息;
S3:根据所述投屏媒资信息,从服务器获取与至少一个播放模式相适应的片源地址;
S4:访问所述片源地址,以控制所述显示器显示所述片源地址对应的媒资画面。
由以上技术方案可知,本实施例提供的投屏媒资播放方法可以在接收到用户的控制指令后,接收投屏数据,并从投屏数据中提取投屏媒资信息。再使用投屏媒资信息在服务器中获取不同播放模式下的片源地址,以通过访问片源地址获取指定播放模式下的媒资数据,播放投屏画面。所述方法可以在显示投屏数据的同时获取指定播放模式下的媒资数据,以将智能终端投屏的媒资内容以3D或全景模式播放,解决播放形式单一,不利于获得沉浸感效果的问题。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (8)
1.一种虚拟现实设备,其特征在于,包括:
显示器;
通信器,被配置为与智能终端建立投屏连接;
控制器,被配置为:
获取用户输入的用于建立投屏连接的控制指令;
响应于所述控制指令,接收智能终端发送的投屏数据,所述投屏数据中包括投屏媒资信息,所述投屏媒资信息包括第一片源地址、媒资标题、第一媒资类型,其中,所述第一片源地址为URL地址,所述媒资标题为媒资名称,所述第一媒资类型为媒资类型中的一种,所述媒资类型为2D片源、3D片源或全景片源;
判断所述第一媒资类型与当前播放模式是否相适应,其中,所述当前播放模式为2D模式、3D模式或全景模式,所述2D模式与所述2D片源相适应,所述3D模式与所述3D片源相适应,所述全景模式与所述全景片源相适应;
在所述第一媒资类型与当前播放模式相适应时,访问所述第一片源地址获取对应的视频数据流,其中,所述当前播放模式是通过检测当前渲染场景的输入输出方式以及渲染场景中显示面板的布置情况确定的播放模式;在所述第一媒资类型与当前播放模式不相适应时,向服务器发送根据所述投屏媒资信息生成的片源获取请求,以使所述服务器响应于所述片源获取请求反馈与所述当前播放模式相适应的第二媒资类型的第二片源地址,并访问所述第二片源地址获取对应的视频数据流,其中,所述第二媒资类型为不同于所述第一媒资类型的另一媒资类型,所述第二片源地址对应的媒资的媒资标题和所述第一片源地址对应的媒资的媒资标题相同;
根据当前播放模式,在虚拟渲染场景中添加与当前播放模式相适应的显示面板,以通过所述显示面板逐帧显示所述第一片源地址或所述第二片源地址对应的视频数据流,其中,当前播放模式为3D模式时,在所述虚拟渲染场景中添加左面板和右面板;如果当前播放模式为全景模式时,在所述虚拟渲染场景中添加曲面面板;
对所述虚拟渲染场景执行图像拍摄,以生成显示画面;
将所述显示画面发送至所述显示器进行显示。
2.根据权利要求1所述的虚拟现实设备,其特征在于,所述投屏数据为所述智能终端基于DLNA协议发送。
3.根据权利要求2所述的虚拟现实设备,其特征在于,所述服务器按照以下步骤反馈所述第二片源地址:
提取映射关系表;
根据当前媒资URL地址和/或媒资标题从所述映射关系表中查询片源标签;
通过所述片源标签选择与当前播放模式相适应的URL地址。
4.根据权利要求3所述的虚拟现实设备,其特征在于,提取映射关系表的步骤前,所述服务器被配置为基于MyBatis框架创建的数据库,包括:
通过读取reader对象读取映射关系表,所述映射关系表包括片源标签、片源地址以及所述片源标签与所述片源地址之间的映射关系;
获取当前线程的SQL会话,以开启事务;
通过所述SQL会话读取所述映射关系表中的操作编号,以及读取SQL语句;
提交事务,以创建所述数据库。
5.根据权利要求1所述的虚拟现实设备,其特征在于,所述虚拟渲染场景中包括左显示相机和右显示相机;根据当前播放模式,在所述虚拟渲染场景中添加显示面板的步骤中,所述控制器被进一步配置为:
在所述虚拟渲染场景中添加左面板和右面板时,所述左面板对所述左显示相机可见,所述右面板对所述右显示相机可见;
在所述虚拟渲染场景中添加曲面面板时,所述曲面面板以所述左显示相机和右显示相机之间的中点位置为弧心。
6.根据权利要求1所述的虚拟现实设备,其特征在于,访问所述第一片源地址以控制所述显示器显示第一片源地址对应的媒资画面,或着,访问所述第二片源地址以控制所述显示器显示第二片源地址对应的媒资画面的步骤中,所述控制器被进一步配置为:
根据所述第一片源地址或者第二片源地址,控制显示器显示切换窗口,所述切换窗口包括提示信息和/或预览画面;
接收用户通过切换界面输入的切换指令;
响应于所述切换指令,切换播放模式;
访问所述第一片源地址或者第二片源地址,以按照切换后的模式播放媒资画面。
7.根据权利要求6所述的虚拟现实设备,其特征在于,控制显示器显示切换窗口的步骤后,所述控制器被进一步配置为:
接收用户通过预览窗口输入的关闭指令;
响应于所述关闭指令,解析所述投屏数据,以获取投屏画面;
按照2D模式播放所述投屏画面。
8.一种投屏媒资播放方法,其特征在于,应用于虚拟现实设备,所述虚拟现实设备包括显示器、通信器和控制器,所述投屏媒资播放方法包括:
获取用户输入的用于建立投屏连接的控制指令;
响应于所述控制指令,接收智能终端发送的投屏数据,所述投屏数据中包括投屏媒资信息,所述媒资信息包括第一片源地址、媒资标题、第一媒资类型,其中,所述第一片源地址为URL地址,所述媒资标题为媒资名称,所述第一媒资类型为媒资类型中的一种,所述媒资类型为2D片源、3D片源或全景片源;
判断所述第一媒资类型与当前播放模式是否相适应,其中,所述当前播放模式为2D模式、3D模式或全景模式,所述2D模式与所述2D片源相适应,所述3D模式与所述3D片源相适应,所述全景模式与所述全景片源相适应;
在所述第一媒资类型与当前播放模式相适应时,访问所述第一片源地址获取对应的视频数据流,其中,所述当前播放模式是通过检测当前渲染场景的输入输出方式以及渲染场景中显示面板的布置情况确定的播放模式;在所述第一媒资类型与当前播放模式不相适应时,向服务器发送包含所述投屏媒资信息的片源获取请求,以使所述服务器响应于所述片源获取请求反馈与所述当前播放模式相适应的第二媒资类型的第二片源地址,并访问所述第二片源地址获取对应的视频数据流,其中,所述第二媒资类型为不同于所述第一媒资类型的另一媒资类型,所述第二片源地址对应的媒资的媒资标题和所述第一片源地址对应的媒资的媒资标题相同;
根据当前播放模式,在虚拟渲染场景中添加与当前播放模式相适应的显示面板,以通过所述显示面板逐帧显示所述第一片源地址或所述第二片源地址对应的视频数据流,其中,当前播放模式为3D模式时,在所述虚拟渲染场景中添加左面板和右面板;如果当前播放模式为全景模式时,在所述虚拟渲染场景中添加曲面面板;
对所述虚拟渲染场景执行图像拍摄,以生成显示画面;
将所述显示画面发送至所述显示器进行显示。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110324728.XA CN114302221B (zh) | 2021-03-26 | 2021-03-26 | 一种虚拟现实设备及投屏媒资播放方法 |
PCT/CN2021/137059 WO2022151882A1 (zh) | 2021-01-18 | 2021-12-10 | 虚拟现实设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110324728.XA CN114302221B (zh) | 2021-03-26 | 2021-03-26 | 一种虚拟现实设备及投屏媒资播放方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114302221A CN114302221A (zh) | 2022-04-08 |
CN114302221B true CN114302221B (zh) | 2023-09-08 |
Family
ID=80964189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110324728.XA Active CN114302221B (zh) | 2021-01-18 | 2021-03-26 | 一种虚拟现实设备及投屏媒资播放方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114302221B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278291A (zh) * | 2022-07-26 | 2022-11-01 | 南京禹步信息科技有限公司 | 一种投屏数据共享方法及系统 |
CN116795316B (zh) * | 2023-08-24 | 2023-11-03 | 南京维赛客网络科技有限公司 | 投屏时小窗口播放场景内画面的方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106792094A (zh) * | 2016-12-23 | 2017-05-31 | 歌尔科技有限公司 | Vr设备播放视频的方法和vr设备 |
CN106851240A (zh) * | 2016-12-26 | 2017-06-13 | 网易(杭州)网络有限公司 | 图像数据处理的方法及装置 |
CN108830348A (zh) * | 2018-06-11 | 2018-11-16 | 深圳市酷开网络科技有限公司 | Vr设备同步智能终端内容的方法、存储介质及vr设备 |
CN110012284A (zh) * | 2017-12-30 | 2019-07-12 | 深圳多哚新技术有限责任公司 | 一种基于头戴设备的视频播放方法及装置 |
CN111901580A (zh) * | 2020-08-12 | 2020-11-06 | 成都天翼空间科技有限公司 | 一种电信专网中2d转3d视频的vr显示方法及系统 |
-
2021
- 2021-03-26 CN CN202110324728.XA patent/CN114302221B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106792094A (zh) * | 2016-12-23 | 2017-05-31 | 歌尔科技有限公司 | Vr设备播放视频的方法和vr设备 |
CN106851240A (zh) * | 2016-12-26 | 2017-06-13 | 网易(杭州)网络有限公司 | 图像数据处理的方法及装置 |
CN110012284A (zh) * | 2017-12-30 | 2019-07-12 | 深圳多哚新技术有限责任公司 | 一种基于头戴设备的视频播放方法及装置 |
CN108830348A (zh) * | 2018-06-11 | 2018-11-16 | 深圳市酷开网络科技有限公司 | Vr设备同步智能终端内容的方法、存储介质及vr设备 |
CN111901580A (zh) * | 2020-08-12 | 2020-11-06 | 成都天翼空间科技有限公司 | 一种电信专网中2d转3d视频的vr显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114302221A (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110636353B (zh) | 一种显示设备 | |
CN114286142B (zh) | 一种虚拟现实设备及vr场景截屏方法 | |
CN112073798B (zh) | 一种数据传输方法及设备 | |
CN114302221B (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
CN112732089A (zh) | 一种虚拟现实设备及快捷交互方法 | |
CN112073770B (zh) | 显示设备及视频通讯数据处理方法 | |
CN112399263A (zh) | 一种互动方法、显示设备及移动终端 | |
CN113066189B (zh) | 一种增强现实设备及虚实物体遮挡显示方法 | |
CN114363705A (zh) | 一种增强现实设备及交互增强方法 | |
CN111385631B (zh) | 一种显示设备、通信方法及存储介质 | |
CN112995733B (zh) | 一种显示设备、设备发现方法及存储介质 | |
CN115129280A (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
WO2022151882A1 (zh) | 虚拟现实设备 | |
CN114286077B (zh) | 一种虚拟现实设备及vr场景图像显示方法 | |
CN114327033A (zh) | 一种虚拟现实设备及媒资播放方法 | |
WO2022111005A1 (zh) | 虚拟现实设备及vr场景图像识别方法 | |
WO2020248682A1 (zh) | 一种显示设备及虚拟场景生成方法 | |
CN112905007A (zh) | 一种虚拟现实设备及语音辅助交互方法 | |
CN112732088B (zh) | 一种虚拟现实设备及单目截屏方法 | |
CN116132656A (zh) | 一种虚拟现实设备及视频评论显示方法 | |
CN116126175A (zh) | 一种虚拟现实设备及视频内容展示方法 | |
CN114283055A (zh) | 一种虚拟现实设备及图片显示方法 | |
CN116069974A (zh) | 一种虚拟现实设备及视频播放方法 | |
CN116339499A (zh) | 一种头戴设备及头戴设备中的平面检测方法 | |
CN116931713A (zh) | 一种虚拟现实设备及人机交互方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |