CN113676720B - 多媒体资源的播放方法、装置、计算机设备及存储介质 - Google Patents

多媒体资源的播放方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113676720B
CN113676720B CN202110891791.1A CN202110891791A CN113676720B CN 113676720 B CN113676720 B CN 113676720B CN 202110891791 A CN202110891791 A CN 202110891791A CN 113676720 B CN113676720 B CN 113676720B
Authority
CN
China
Prior art keywords
audio
head
mounted display
content
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110891791.1A
Other languages
English (en)
Other versions
CN113676720A (zh
Inventor
秦禄东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110891791.1A priority Critical patent/CN113676720B/zh
Publication of CN113676720A publication Critical patent/CN113676720A/zh
Application granted granted Critical
Publication of CN113676720B publication Critical patent/CN113676720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种多媒体资源的播放方法、装置、计算机设备及存储介质，该多媒体资源的播放方法应用于电子设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，该方法包括：获取所述头戴显示设备的空间位置和姿态信息；根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。本方法可以提升多媒体资源的播放效果。

Description

多媒体资源的播放方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，更具体地，涉及一种多媒体资源的播放方法、装置、计算机设备及存储介质。
背景技术
随着科技的进步，增强现实(AR，Augmented Reality)技术已逐渐成为国内外研究的热点。基于增强现实的头戴显示设备(例如AR眼镜等)也越来越多，人们可以利用头戴显示设备进行多媒体资源的播放，因此深受人们喜爱。但是，在利用头戴显示设备进行多媒体资源播放时，其音频播放效果不佳。
发明内容
鉴于上述问题，本申请提出了一种多媒体资源的播放方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种多媒体资源的播放方法，应用于电子设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，所述方法包括：获取所述头戴显示设备的空间位置和姿态信息；根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
第二方面，本申请实施例提供了一种多媒体资源的播放方法，应用于头戴显示设备，所述头戴显示设备与电子设备连接，所述电子设备还与多个音频播放设备连接，所述方法包括：接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放；对所述画面内容进行显示。
第三方面，本申请实施例提供了一种多媒体资源的播放系统，所述系统包括电子设备、头戴显示设备以及多个音频播放设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，其中，所述电子设备用于获取所述头戴显示设备的空间位置和姿态信息；所述电子设备还用于根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；所述电子设备还用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；所述电子设备还用于将所述画面内容发送至所述头戴显示设备的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备；所述头戴显示设备用于接收所述画面内容，并对所述画面内容进行显示；所述音频播放设备用于接收分发的音频内容，并对接收的音频内容进行播放。
第四方面，本申请实施例提供了一种多媒体资源的播放装置，应用于电子设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，所述装置包括：姿态获取模块、位置获取模块、内容生成模块以及播放模块，其中，所述姿态获取模块用于获取所述头戴显示设备的空间位置和姿态信息；所述位置获取模块用于根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；所述内容生成模块用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；所述播放模块用于将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
第五方面，本申请实施例提供了一种多媒体资源的播放装置，应用于头戴显示设备，所述头戴显示设备与电子设备连接，所述电子设备还与多个音频播放设备连接，所述装置包括内容接收模块以及内容显示模块，其中，所述内容接收模块用于接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放；所述内容显示模块用于对所述画面内容进行显示。
第六方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的多媒体资源的播放方法。
第七方面，本申请实施例提供了一种头戴显示设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第二方面提供的多媒体资源的播放方法。
第八方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的多媒体资源的播放方法或上述第二方面提供的多媒体资源的播放方法。
本申请提供的方案，通过电子设备与头戴显示设备以及多个音频播放设备连接，获取头戴显示设备的空间位置和姿态信息，根据多个音频播放设备相对电子设备的位置，以及空间位置，确定每个音频播放设备相对头戴显示设备的位置，基于空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容，将画面内容发送至头戴显示设备进行显示的同时，根据每个音频播放设备相对头戴显示设备的位置，将多媒体资源的音频内容分发至多个音频播放设备进行播放。由此，可以实现基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提升了多媒体资源的播放效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的应用环境的一种示意图。
图2示出了本申请实施例提供的应用场景的一种示意图。
图3示出了根据本申请一个实施例的多媒体资源的播放方法流程图。
图4示出了根据本申请另一个实施例的多媒体资源的播放方法流程图。
图5示出了本申请实施例提供的应用环境的另一种示意图。
图6示出了根据本申请又一个实施例的多媒体资源的播放方法流程图。
图7示出了根据本申请再一个实施例的多媒体资源的播放方法流程图。
图8示出了根据本申请又另一个实施例的多媒体资源的播放方法流程图。
图9示出了根据本申请一个实施例的多媒体资源的播放装置的一种框图。
图10示出了根据本申请另一个实施例的多媒体资源的播放装置的一种框图。
图11是本申请实施例的用于执行根据本申请实施例的多媒体资源的播放方法的计算机设备的框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的多媒体资源的播放方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，增强现实(AR，Augmented Reality)技术已开始逐渐进入人们的生活。人们可以利用头戴显示设备播放多媒体资源，例如播放影视内容、游戏内容等，由于AR技术自身的效果，也使得在越来越多的人喜欢利用头戴显示设备播放多媒体资源。
相关技术中，通常头戴显示设备在播放多媒体资源时，其对于多媒体资源的处理均在头戴显示设备执行，需求头戴显示设备的处理能力较强，这就需要在头戴显示设备占据较大的控件设置处理装置。另外，头戴显示设备通常设置多个扬声器，以播放多媒体资源的音频，避免长时间采用耳机造成的疲劳，这也导致了需要占据头戴显示设备的空间，从而使得头戴显示设备较为笨重，并且音频的播放效果也不佳，难以带来较强的空间观感。
针对上述问题，发明人提出了本申请实施例提供的多媒体资源的播放方法、装置、计算机设备以及存储介质，可以基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提示多媒体资源的播放效果。其中，具体的多媒体资源的播放方法在后续的实施例中进行详细的说明。
为了便于详细说明本申请方案，下面先结合附图对本申请实施例中的一种应用环境进行介绍。
在一些实施方式中，请参阅图1，为本申请实施例提供的设备控制方法的一种应用环境示意图，如图1所示，该应用环境可以理解为本申请实施例的提供的一种多媒体资源的播放系统10，该多媒体资源的播放系统10包括：电子设备100、头戴显示设备200以及多个音频播放设备300(图1中仅示出2个)。其中，电子设备100与头戴显示设备200连接，并且电子设备100可以与其所处环境中的音频播放设备300连接，从而用户在播放多媒体资源时，可以利用电子设备100进行数据的处理，将多媒体资源的画面内容传输至头戴显示设备200显示，音频内容可以传输至音频播放设备300播放。也就是说，头戴显示设备200为外接式的设备，其通过外接电子设备100，可能由外接的电子设备100完成显示内容的处理，并且音频内容由电子设备100处理后分发至以上音频播放设备300进行播放。
可选地，电子设备100可以为智能手机、平板电脑、智能手表、笔记本电脑等；头戴显示设备200可以为智能眼镜、智能显示头盔等，音频播放设备300可以是具有音频播放功能的播放设备，包括但不限于智能音响、智能电视、会议终端等具有音频输出功能的设备，在此不做限定。
示例性地，请参阅图2，在家庭场景中，电子设备100可以为笔记本电脑，用户佩戴头戴显示设备200时，头戴显示设备200可以与电子设备100连接。另外，电子设备100可以与多个智能音箱301和智能电视302连接，以此通过外联的音频播放设备播放多媒体资源的音频内容。
请参阅图3，图3示出了本申请一个实施例提供的多媒体资源的播放方法的流程示意图。在具体的实施例中，所述多媒体资源的播放方法应用于上述的电子设备。下面将以电子设备为例，说明本实施例的具体流程。下面将针对图3所示的流程进行详细的阐述，所述多媒体资源的播放方法具体可以包括以下步骤：
步骤S110：获取所述头戴显示设备的空间位置和姿态信息。
在本申请实施例中，多媒体资源可以为基于AR的播放资源，例如，基于AR的影视内容、游戏等。电子设备在进行多媒体资源的播放时，可以获取头戴显示设备的空间位置和姿态信息，以生成用于头戴显示设备显示的画面内容，实现画面内容的增强现实显示。
在一些实施方式中，电子设备可以基于即时定位与地图构建(simultaneouslocalization and mapping，SLAM)的方式，获取头戴显示设备的空间位置；利用头戴显示设备的惯性测量单元(Inertial measurement unit，IMU)，获取头戴显示设备的姿态数据。从而可以得到头戴显示设备的位姿信息，以基于位姿信息显示AR的画面内容。
在另一些实施方式中，头戴显示设备设置有图像采集装置，现实场景中设置有标记物。电子设备在获取头戴显示设备的空间位置时，可以基于头戴显示设备的图像采集装置采集包含标记物的场景图像，以通过识别标记物得到空间位置。可以通过移动图像采集装置的位置，以使标记物处于图像采集装置的视野范围内，对标记物进行图像采集，从而得到包含标记物的标记物图像。
在一种可能的实施方式中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。电子设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。可选地，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。当然，具体的标记物在本申请实施例中并不作为限定，标记物仅需要能被电子设备识别即可。
当然，电子设备获取头戴显示设备的空间位置和姿态信息的方式可以不做限定，例如，电子设备在获取头戴显示设备的空间位置时，也可以通过室内定位等技术精准获取头戴显示设备的空间位置。
步骤S120：根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置。
在本申请实施例中，电子设备在进行多媒体资源的播放时，可以获取多个音频播放设备相对电子设备的位置，以各个音频播放设备分发相应的音频内容进行播放，由此实现AR的多媒体资源的立体声音效，并提升音频播放效果。
在一些实施方式中，在进行多媒体资源的播放之前，电子设备可以获取与其连接的多个音频播放设备。其中，电子设备获取与电子设备连接的音频播放设备，可以是获取已经与电子设备建立连接的音频播放设备。该实施方式中，电子设备处于与该音频播放设备的通信范围内，则可以直接与音频播放设备建立连接。也就是说，电子设备开处于工作状态时，可以与建立连接的音频播放设备保持连接，从而电子设备在需要进行多媒体资源的播放时，可以获取这些与电子设备连接的音频播放设备。
在另一些实施方式中，电子设备获取与其连接的音频播放设备，也可以是在每次需要播放多媒体资源的情况下，与音频播放设备建立连接。可选地，电子设备与音频播放设备连接时，电子设备可以广播连接消息，以便其通信范围内的音频播放设备进行连接。
在一些实施方式中，电子设备可以通过多种触发方式以触发与多个音频播放设备连接。其中，电子设备可以通过检测显示界面中的操作、语音输入操作等，并根据检测到操作，触发与多个音频播放设备连接。例如，电子设备可以在被使用的过程中，检测用户输入的语音；在检测到用户输入的控制语音时，识别控制语音对应的语音指令；若该语音指令为用于连接音频播放设备的指令，则与多个音频播放设备建立连接。
在一些实施方式中，电子设备在获取每个音频播放设备相对头戴显示设备的位置时，可以获取多个音频播放设备相对电子设备的位置，并基于以上头戴显示设备的空间位置，确定出每个音频播放设备相对头戴显示设备的位置。可选地，电子设备可以通过WIFI、蓝牙、超宽带(Ultra Wide Band，UWB)等方式对各个音频播放设备进行定位，以获取到多个音频播放设备相对电子设备的位置；然后以其自身为参照，结合多个音频播放设备相对电子设备的位置以及头戴显示设备的空间位置，确定出每个音频播放设备相对头戴显示设备的位置。
在一种可能的实施方式中，也可以由头戴显示设备获取每个音频播放设备相对头戴显示设备的位置，并将每个音频播放设备相对头戴显示设备的位置传输至电子设备。可选地，头戴显示设备和音频播放设备可以通过WIFI、蓝牙、UWB等方式进行连接，感知对方的位置，并将空间信息传递给电子设备。
在该实施方式中，电子设备在获取头戴显示设备的空间位置时，由于大部分实际场景中音频播放设备的位置固定，也可以由头戴显示设备发送的其相对各个音频播放设备的位置，并根据其自身识别的与各个音频播放设备的相对位置，以自身为参照，最终得到头戴显示设备所处的空间位置。
步骤S130：基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容。
在本申请实施例中，在获取到头戴显示设备在现实场景中的空间位置和姿态信息之后，则可以根据头戴显示设备的空间位置和姿态信息，生成多媒体资源对应的画面内容，以发送至头戴显示设备进行显示。
在一些实施方式中，在得到上述头戴显示设备的空间位置和姿态信息之后，则可以根据该空间位置和姿态信息，获取画面内容的显示位置，对需要显示的画面内容进行渲染生成。其中，显示位置为用户通过头戴显示设备可以看到的画面内容的位置，也即画面内容在虚拟空间中的渲染坐标。
进一步的，头戴显示设备可以根据需要显示的画面内容与头戴显示设备之间的相对关系，以得到画面内容的显示位置。可以理解的，在实现画面内容叠加于交互设备所在真实世界时，可以获取画面内容于现实空间中的空间坐标。其中，电子设备在获取到头戴显示设备的空间位置和姿态信息后，可以获得头戴显示设备在现实空间中的空间坐标，根据需要显示的画面内容与头戴显示设备的位置相对关系，得到需要显示的画面内容在虚拟空间中的渲染坐标，从而得到了画面内容的显示位置，以便对画面内容进行生成。
在得到画面内容的显示位置之后，则可以根据需要现实的画面内容的数据，以及获取到的显示位置，渲染画面内容。其中，上述画面内容的数据可以包括画面内容的模型数据，模型数据为用于渲染画面内容的数据。例如，模型数据可以包括用于建立画面内容对应的颜色数据、顶点坐标数据、轮廓数据等。
应当理解的是，以上多媒体资源的数据可以是存储于电子设备中，也可以是从服务器等其他设备获取。
步骤S140：将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
在本申请实施例中，电子设备在播放多媒体资源时，在生成多媒体资源画面内容，以及获取到每个音频播放设备相对所述头戴显示设备的位置之后，则可以将画面内容发送至头戴显示设备进行显示的同时，根据每个音频播放设备相对头戴显示设备的位置，将多媒体资源的音频内容分发至多个音频播放设备进行播放，由此实现多媒体资源的音频和画面的播放。并且，音频内容是根据每个音频播放设备相对头戴显示设备的位置进行分发和播放，即分发的音频内容与每个音频播放设备相对头戴显示设备的位置匹配。由此，可以提升音频播放的空间感，进而提升音频播放效果。可选地，可以通过wifi等无线通信方式传输以上内容至头戴显示设备以及音频播放设备。
本申请实施例提供的多媒体资源的播放方法，通过电子设备与头戴显示设备以及多个音频播放设备连接，实现数据的处理由电子设备完成，有效的避免了头戴显示设备的笨重问题；另外，基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提升了多媒体资源的播放效果。
请参阅图4，图4示出了本申请另一个实施例提供的多媒体资源的播放方法的流程示意图。该多媒体资源的播放方法应用于上述电子设备，下面将针对图4所示的流程进行详细的阐述，所述多媒体资源的播放方法具体可以包括以下步骤：
步骤S210：获取所述头戴显示设备的空间位置和姿态信息。
步骤S220：根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置。
步骤S230：基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容。
在本申请实施例中，步骤S210至步骤S230可以参阅前述实施例的内容，在此不再赘述。
步骤S240：将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述头戴显示设备相对每个音频播放设备的位置，将所述多媒体资源的音频内容处理为所述多个音频播放设备对应的多个音频内容，其中，所述多个音频内容与所述多个音频播放设备一一对应。
在本申请实施例中，电子设备在获取到音频播放设备相对头戴显示设备的空间位置之后，则可以将多媒体资源的音频内容处理为多个音频播放设备对应的多个音频内容，并且该多个音频内容与多个音频播放设备一一对应，由此，得到用于发送至每个音频播放设备进行播放的音频内容。其中，音频内容可以是音乐文件、视频的音频内容等，具体的音频内容可以不做限定；每个音频播放设备对应被分配的音频内容与其对应的相对头戴显示设备的位置匹配。
在一些实施方式中，电子设备基于音频播放设备相对头戴显示设备空间位置，可以确定待播放音频中是否存在与空间位置对应的声像文件；再根据确定结果，从待播放音频中提取音频内容。
作为一种实施方式，若多媒体资源的音频内容中存在与音频播放设备相对头戴显示设备的位置对应的声像文件，将声像文件作为该音频播放设备对应的播放内容，由此，可以保证立体声效果。该实施方式中，若同时存在至少两个音频播放设备所对应的声像文件，则可以将该声像文件同时分配给这至少两个音频播放设备。通过该实施方式，可以将待播放音频处理为每个音频播放设备对应的音频内容。
在一种可能的实施方式中，电子设备可以通过对多媒体资源的音频内容进行声像分析，从而识别出生成音频内容时所存在的音源。其中，声像分析可以采用相应的用于分析声像的算法，也可以通过人工智能的方式进行声像分析，声像分析的具体方式可以不做限定。在识别出音源后，则可以从多媒体资源的音频内容中提取各个音源对应的音频内容；然后，根据头戴显示设备相对各个音频播放设备的位置，将各个音源对应的音频内容，分配至至少一个音频播放设备，使各个音源与其分配的音频播放设备相对头戴显示设备的位置所匹配，由此实现空间音频的播放。
在该实施方式中，电子设备在识别音频内容的音源信息时，还可以识别各个音源的音源位置，以便根据头戴显示设备相对各个音频播放设备的位置，将各个音源对应的音频内容，分配至至少一个音频播放设备。空间的任意一个音源的位置即为音源的位置参数，可以由三维坐标表示。例如，相对录制音频内容时的录制设备，音源的位置可以由[方位角，仰角，距离]这一三维坐标表示。在不同的场景中，音源的位置可以是固定的位置或者变化的位置，例如，虫鸣声等可以是固定的音源位置，而海浪声、风声等需要音源位置连续变化。再如，人声开始之前，即音乐的开头部分，目标音频要由远及近，表示音乐缓缓飘来的效果。
可选地，电子设备预先存储音频内容中的音源的位置，具体地，电子设备中预先存储了音频内容与音源的位置的对应关系，电子设备可以根据该对应关系确定音源的位置。
可选地，电子设备可以根据确定音频内容的时间来确定音源的位置。具体的，电子设备中预先存储了在音频内容的不同阶段音源的位置。例如，确定音频内容的时间是在人声开始之前，则音频内容中音源的位置关系可以从远到近变化，在音频内容的人声结束之后，则音频内容的位置关系可以从远到近变化。
可选地，若音频内容从服务器获得，则电子设备可以从服务器获取音源的位置信息。该位置信息可以由电子设备从服务器获取音频内容时，服务器同时下发音频内容以及该位置信息，也可以是电子设备获取到音频内容后，再从服务器获取该位置信息。
在另一些实施方式中，多媒体资源的音频内容中可以包括预先划分好的多个声道的音频内容。电子设备可以将多媒体资源的音频内容分离为多个声道的音频内容；根据头戴显示设备相对每个音频播放设备的位置，将每个声道的音频内容分配至所述多个音频播放设备中的至少一个音频播放设备，其中，每个声道的音频内容对应的声道，与头戴显示设备相对音频内容所分配的音频播放设备的位置匹配。由此，可以实现将多媒体资源的音频内容，按照头戴显示设备相对每个音频播放设备的位置，进行音频内容的分发，保证音频播放效果。
可选地，以上多个声道可以至少包括：左声道、右声道、中置声道以及环绕声道。可以理解地，在包括以上声道时，则音频内容可以被认为是杜比声效的音频。其中，杜比声效是美国杜比公司开发的环绕声系统，它是把四声道立体声在录制时通过特定的编码手段合成为两声道，即将原来的左声道(L)、右声道(R)、中置声道(C)、环绕声道(S)的4个信号，经编码后合成为LT、RT复合双声道信号，重放时通过解码器将已编码的双声道复合信号LT和RT还原为编码的左、右、中、环绕四个互不干犹的独立信号，经放大后分别输入左音箱、右音箱、中置音箱和环绕音箱。在该实施方式中，则可以将左声道的音频内容分配至相对头戴显示设备处于左方的音频播放设备，将右声道的音频内容分配至相对头戴显示设备处于右方的音频播放设备，将中置声道的音频内容分配至相对头戴显示设备处于中间的音频播放设备，将环绕声道的音频内容分配至相对头戴显示设备环绕的音频播放设备，由此在传输至音频播放设备进行播放后，可以实现杜比声效。可以理解地，头戴显示设备一般不会有过多的扬声器，基于此，可以解决头戴显示设备在播放杜比声效的音频内容时播放效果不佳的问题。示例性地，请参阅图5，在实现杜比声效的场景中，电子设备100可以与室内的多个杜比声设备303连接，以通过多个杜比声设备303播放以上多个声道的音频内容，从而实现头戴显示设备200所无法提供的杜比声效。
在一些实施方式中，电子设备还可以获取各个音频播放设备的声学参数，例如频响特性等，以便同时根据头戴显示设备相对各个音频播放设备的位置，以及各个音频播放设备的声学参数，分发音频内容，进一步提升音频的播放效果。例如，结合音频播放设备的频响特性，以及相对头戴显示设备的位置，为音频播放设备分配频段与频响特性匹配，和/或，相对头戴显示设备的位置与声道匹配的音频内容，使分配的音频内容被音频播放设备播放后能够达到较优的效果。
步骤S250：将所述多个音频内容中每个音频内容发送至对应的音频播放设备进行播放。
在本申请实施例中，在将多媒体资源的音频内容处理为多个音频内容后，则可以将多个音频内容中每个音频内容发送至对应的音频播放设备进行播放，从而实现立体声的播放效果。
在一些场景中，电子设备还可以结合画面内容控制音频播放设备，例如，多媒体资源可以为影视内容，在播放影视内容时，电子设备可以分析影视内容的音频和视频，并以此控制不同音频播放设备。例如，影片的某一段的画面和音效冲击感来自视野前方，电子设备可以会根据内容，结合头戴显示设备相对各个音频播放设备的位置，加强头戴显示设备前方的音频播放设备的杜比音效果。
在一些实施方式中，电子设备还可以在确定出头戴显示设备的空间位置发生变化时，重新对音频内容进行分发，以使分发的音频内容与头戴显示设备相对音频播放设备的位置匹配。当然，电子设备还可以对分发的每个音频内容的音轨、音量大小、相位等进行调整，进一步提升播放效果。可选地，电子设备可以调整音频内容的相位，使音频播放设备播放的音频在到达头戴显示设备的用户时的时长不同，而提升混响的效果，进而提升播放音质。
在一些场景中，电子设备还可以与其所处环境中的智能灯具连接，电子设备还可以基于多媒体资源，控制智能灯具的工作参数。其中，工作参数可以包括光强、颜色、灯效等，以提升用户佩戴头戴显示设备欣赏多媒体资源时的沉浸感。
在一些场景中，电子设备还可以与其所处环境中的智能沙发、智能座椅等智能坐具连接，若头戴显示设备的位置处于这些智能坐具时，电子设备还可以结合多媒体资源，控制智能坐具进行震动，以提升用户的沉浸感。例如，在游戏场景中，可以在开枪、受到攻击等待震动的场景中，控制智能坐具震动，以提升用户的游戏体验；又例如，在观影场景中，可以在出现爆炸等场景内容时，控制智能坐具震动，以提升用户的观影体验。
本申请实施例提供的多媒体资源的播放方法，基于头戴显示设备相对电子设备的位置，对多媒体资源的画面内容进行显示，提升了多媒体资源的显示效果。另外，根据头戴显示设备相对各个音频播放设备的位置，为音频播放设备分发对应的音频内容进行播放，由此可以提升多媒体资源的音频播放效果。
请参阅图6，图6示出了本申请又一个实施例提供的多媒体资源的播放方法的流程示意图。该多媒体资源的播放方法应用于上述电子设备，下面将针对图6所示的流程进行详细的阐述，所述多媒体资源的播放方法具体可以包括以下步骤：
步骤S310：获取所述头戴显示设备的空间位置和姿态信息。
步骤S320：根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置。
步骤S330：基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容。
在本申请实施例中，步骤S310至步骤S330可以参阅前述实施例的内容，在此不再赘述。
步骤S340：获取所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间。
在本申请实施例中，电子设备在将画面内容传输至头戴显示设备显示，以及将音频内容分发至各个音频播放设备进行播放之前，还可以对画面显示与音频播放进行同步，由此保证音画的同步，提升多媒体资源的播放效果。可以理解地，相比用户佩戴头戴显示设备时在环境中的位置，音频播放设备的位置更为固定，而头戴显示设备佩戴于使用者的头上，位置更易变化。因此，电子设备传输数据至头戴显示设备的时间也会不同，故需要对画面内容和音频内容进行同步。首先，电子设备可以获取画面内容传输至头戴显示设备后被显示的时间作为第一时间，即画面内容由电子设备开始传输的时刻，至该画面内容被头戴显示设备显示出的时刻之间的时长。
步骤S350：获取所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间。
在本申请实施例中，电子设备还可以获取音频内容分发至多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，也就是说，电子设备可以确定音频内容由电子设备开始传输的时刻，至音频内容被头戴显示设备显示出的时刻之间的时长。
步骤S360：基于所述第一时间以及所述每个音频播放设备对应的第二时间，对所述画面内容以及所述音频内容进行同步。
在本申请实施例中，电子设备在获取到以上第一时间以及第二时间后，则可以基于第一时间以及第二时间，对画面内容以及音频内容进行同步。其中，基于第一时间以及第二时间，对画面内容以及音频内容进行同步，可以是基于第一时间以及第二时间，对画面内容以及音频内容传输的时间戳进行调整，以保证两者被同时进行播放。画面内容以及音频内容传输的时间戳指的是，画面内容及其对应的音频内容开始传输的时间，例如，对于某一帧画面，及其对应的一帧音频，在开始传输该帧画面时的时间戳，以及在传输该帧音频时的时间戳。其中，由于音频播放设备为多个，且每个音频播放设备的位置不同，因此可以基于每个音频播放设备对应的第二时间，以及以上第一时间，进行每个音频播放设备对应分发的音频内容的时间戳，与画面内容的时间戳的同步，由此保证每个音频播放设备播放同一帧音频内容，以及头戴显示设备播放同一帧画面内容的时间同步。
在一些实施方式中，以单个音频播放设备为例，电子设备可以将第一时间与第二时间进行比较；根据比较结果，若第一时间与第二时间不同，则可以以第一时间为基准，调整音频内容的时间戳，保证同一帧的音频和画面内容在头戴显示设备和音频播放设备上被同时播放。若两者相同，则无需进行时间戳的调整。可以理解地，音频播放设备为多个，而头戴显示设备仅一个，因此在进行音画同步时，若要保证每个音频播放设备播放同一帧音频内容，与头戴显示设备显示同一帧画面内容同步，则可以以头戴显示设备为基准，调整音频内容的时间戳。
步骤S370：将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
在本申请实施例中，步骤S370可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的多媒体资源的播放方法，基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提升了多媒体资源的播放效果。另外，对画面内容以及音频内容进行传输前，还进行画面内容和音频内容的时间戳的同步，保证了多媒体资源被播放时的音画同步。
请参阅图7，图7示出了本申请又一个实施例提供的多媒体资源的播放方法的流程示意图。该多媒体资源的播放方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述多媒体资源的播放方法具体可以包括以下步骤：
步骤S401：获取所述头戴显示设备的空间位置和姿态信息。
步骤S402：根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置。
步骤S403：基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容。
在本申请实施例中，步骤S401至步骤S402可以参阅前述实施例的内容，在此不再赘述。
步骤S404：基于所述空间位置以及所述画面内容的数据量，确定所述画面内容传输至所述头戴显示设备的时间作为第一传输时间。
在本申请实施例中，还提供了获取以上第一时间以及第二时间的具体方式。电子设备在获取画面内容传输至所述头戴显示设备后被显示的时间时，可以基于空间位置以及画面内容的数据量，确定画面内容传输至头戴显示设备的时间作为第一传输时间。
在一些实施方式中，电子设备可以基于以上空间位置，确定其相对头戴显示设备的距离，并根据当前的数据传输速度，以及画面内容的数据量，计算在该距离下，传输画面内容至头戴显示设备的时间。其中，数据传输速度可以基于当前与头戴显示设备之间的网络连接状态确定。
步骤S405：获取所述画面内容被所述头戴显示设备显示之前的处理时间作为第一处理时间。
在本申请实施例中，电子设备在获取画面内容传输至所述头戴显示设备后被显示的时间时，还可以获取画面内容被头戴显示设备显示之前的处理时间作为第一处理时间。可选地，电子设备可以从头戴显示设备获取其记录的以往处理画面内容所花费的时间，从而得到画面内容被头戴显示设备显示之前的处理时间；可选地，电子设备也可以获取头戴显示设备的设备参数，例如处理器的配置信息，然后根据设备参数预估其对画面内容进行显示之前的处理时间。当然，电子设备获取画面内容被头戴显示设备显示之前的处理时间的方式可以不做限定。
步骤S406：基于所述第一传输时间以及所述第一处理时间确定所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间。
在本申请实施例中，电子设备在得到以上第一传输时间以及第一处理时间之后，则可以获取第一传输时间与第一处理时间的时间和，并将获取的时间和作为画面内容传输至所述头戴显示设备后被显示的时间。
步骤S407：基于所述每个音频播放设备相对所述头戴显示设备的位置，以及分发至所述每个音频播放设备的音频数据量，确定所述每个音频播放设备对应分发的音频数据的传输时间作为第二传输时间。
在本申请实施例中，电子设备在获取音频内容分发至多个音频播放设备中每个音频播放设备后被播放的时间时，可以基于每个音频播放设备相对头戴显示设备的位置，以及分发至每个音频播放设备的音频数据量，确定各个音频播放设备对应的以上第二传输时间。
在一些实施方式中，电子设备可以针对每个音频播放设备，基于每个音频播放设备相对头戴显示设备的位置，确定每个音频播放设备相对头戴显示设备的距离，并根据当前的数据传输速度，以及每个音频播放设备对应分发的音频内容的数据量，计算在该距离下，传输音频内容至每个音频播放设备的时间。其中，数据传输速度可以基于当前与每个音频播放设备之间的网络连接状态确定。
步骤S408：获取所述每个音频播放设备对分发的音频数据进行播放之前的处理时间作为第二处理时间。
在本申请实施例中，电子设备在获取音频内容分发至多个音频播放设备中每个音频播放设备后被播放的时间时，还可以获取每个音频播放设备对分发的音频数据进行播放之前的处理时间。可选地，电子设备可以从音频播放设备获取其记录的以往处理音频内容所花费的时间，从而得到每个音频播放设备对分发的音频数据进行播放之前的处理时间；可选地，电子设备也可以获取每个音频播放设备的设备参数，然后根据设备参数预估其对音频内容进行播放之前的处理时间。当然，电子设备获取每个音频播放设备对分发的音频数据进行播放之前的处理时间的方式可以不做限定。
步骤S409：基于所述每个音频播放设备对应的所述第二传输时间以及所述第二处理时间确定所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间。
在本申请实施例中，电子设备在得到以上第二传输时间以及第二处理时间之后，则可以获取第二传输时间与第二处理时间的时间和，并将获取的时间和作为音频内容分发至多个音频播放设备中每个音频播放设备后被播放的时间，得到每个音频播放设备对应的第二时间。
步骤S410：基于所述第一时间以及所述每个音频播放设备对应的第二时间，对所述画面内容以及所述音频内容进行同步。
步骤S411：将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
在本申请实施例中，步骤S410以及步骤S411可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的多媒体资源的播放方法，基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提升了多媒体资源的播放效果。另外，基于对画面内容以及音频内容进行传输前，还通过获取数据传输时间以及设备的处理时间，确定从数据传输至被播放时的时间，进行画面内容和音频内容的时间戳的同步，保证了多媒体资源被播放时的音画同步。
请参阅图8，图8示出了本申请又另一个实施例提供的多媒体资源的播放方法的流程示意图。该多媒体资源的播放方法应用于上述头戴显示设备，下面将针对图8所示的流程进行详细的阐述，所述多媒体资源的播放方法具体可以包括以下步骤：
步骤S510：接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
在本申请实施例中，电子设备在获取到头戴显示设备的空间位置和姿态信息后，可以基于头戴显示设备的空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容，并将画面内容发送至头戴显示设备。对应的，头戴显示设备可以接收到电子设备发送的画面内容。其中，电子设备获取头戴显示设备的空间位置和姿态信息，以及生成画面内容的方式可以参阅前述实施例的内容，在此不再赘述。
另外，电子设备将生成的画面内容发送至头戴显示设备的同时，还可以基于多个音频播放设备中每个音频播放设备相对头戴显示设备的位置，将多媒体资源的音频内容分发至多个音频播放设备进行播放。由此，可以实现音频内容是根据每个音频播放设备相对头戴显示设备的位置进行分发和播放，即分发的音频内容与每个音频播放设备相对头戴显示设备的位置匹配，可以提升音频播放的空间感，进而提升音频播放效果。其中，电子设备分发音频内容的方式可以参阅前述实施例的内容，在此不再赘述。
步骤S520：对所述画面内容进行显示。
在本申请实施例中，头戴显示设备在接收到画面内容后，则可以对画面内容进行显示。由此，可以实现头戴显示设备显示内容时，对画面内容的处理由电子设备完成，而无需头戴显示设备进行过多的处理，这样的话，无需占用较大空间设置处理能力强的处理装置，有效的避免了头戴显示设备的笨重问题。另外，播放多媒体资源时，也无需由头戴显示设备的扬声器进行播放音频，因此也不会占用较大空间设置扬声器，也有效的避免了头戴显示设备的笨重问题。
请参阅图9，其示出了本申请实施例提供的一种多媒体资源的播放装置400的结构框图。该多媒体资源的播放装置400应用上述的电子设备，该多媒体资源的播放装置400包括：姿态获取模块410、位置获取模块420、内容生成模块430以及播放模块440。其中，所述姿态获取模块410用于获取所述头戴显示设备的空间位置和姿态信息；所述位置获取模块420用于根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；所述内容生成模块430用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；所述播放模块440用于将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
在一些实施方式中，播放模块440可以用于：根据所述头戴显示设备相对每个音频播放设备的位置，将所述多媒体资源的音频内容处理为所述多个音频播放设备对应的多个音频内容，其中，所述多个音频内容与所述多个音频播放设备一一对应；将所述多个音频内容中每个音频内容发送至对应的音频播放设备进行播放。
在一些实施方式中，播放模块440根据所述头戴显示设备相对每个音频播放设备的位置，将所述多媒体资源的音频内容处理为所述多个音频播放设备对应的多个音频内容，可以包括：将所述多媒体资源的音频内容分离为多个声道的音频内容；根据所述头戴显示设备相对每个音频播放设备的位置，将每个声道的音频内容分配至所述多个音频播放设备中的至少一个音频播放设备，其中，所述每个声道的音频内容对应的声道，与所述头戴显示设备相对所述音频内容所分配的音频播放设备的位置匹配。
在一种可能的实施方式中，所述多个声道至少包括：左声道、右声道、中置声道以及环绕声道。
在一些实施方式中，所述电子设备还与智能灯具连接。该多媒体资源的播放装置400还可以包括：灯光控制模块。灯光控制模块可以用于：基于所述多媒体资源，控制所述智能灯具的工作参数。
在一些实施方式中，该多媒体资源的播放装置400还可以包括：第一时间获取模块、第二时间获取模块以及时间同步模块。第一时间获取模块用于在所述将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放之前，获取所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间；第二时间获取模块用于获取所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间；时间同步模块用于基于所述第一时间以及所述每个音频播放设备对应的第二时间，对所述画面内容以及所述音频内容进行同步。
在一种可能的实施方式中，第一时间获取模块可以用于：基于所述空间位置以及所述画面内容的数据量，确定所述画面内容传输至所述头戴显示设备的时间作为第一传输时间；获取所述画面内容被所述头戴显示设备显示之前的处理时间作为第一处理时间；基于所述第一传输时间以及所述第一处理时间确定所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间。
在一种可能的实施方式中，第二时间获取模块可以用于：基于所述每个音频播放设备相对所述头戴显示设备的位置，以及分发至所述每个音频播放设备的音频数据量，确定所述每个音频播放设备对应分发的音频数据的传输时间作为第二传输时间；获取所述每个音频播放设备对分发的音频数据进行播放之前的处理时间作为第二处理时间；基于所述每个音频播放设备对应的所述第二传输时间以及所述第二处理时间确定所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间。
请参阅图10，其示出了本申请实施例提供的一种多媒体资源的播放装置500的结构框图。该多媒体资源的播放装置500应用上述的头戴显示设备，该多媒体资源的播放装置500包括：内容接收模块510以及内容显示模块520。其中，内容接收模块510用于接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放；内容显示模块520用于对所述画面内容进行显示。
请再次参阅图1，其示出了本申请实施例提供的一种多媒体资源的播放系统10的结构框图，该多媒体资源的播放系统10包括：电子设备100、头戴显示设备200以及多个音频播放设备300(图1中仅示出2个)。电子设备100与头戴显示设备200连接，并且电子设备100可以与多个音频播放设备300连接。所述电子设备100用于获取所述头戴显示设备200的空间位置和姿态信息；所述电子设备100还用于根据所述多个音频播放设备300相对所述电子设备100的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备300的位置；所述电子设备100还用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；所述电子设备100还用于将所述画面内容发送至所述头戴显示设备200的同时，根据所述每个音频播放设备300相对所述头戴显示设备200的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备300；所述头戴显示设备200用于接收所述画面内容，并对所述画面内容进行显示；所述音频播放设备300用于接收分发的音频内容，并对接收的音频内容进行播放。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过电子设备与头戴显示设备以及多个音频播放设备连接，获取头戴显示设备的空间位置和姿态信息，根据多个音频播放设备相对电子设备的位置，以及空间位置，确定每个音频播放设备相对头戴显示设备的位置，基于空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容，将画面内容发送至头戴显示设备进行显示的同时，根据每个音频播放设备相对头戴显示设备的位置，将多媒体资源的音频内容分发至多个音频播放设备进行播放。由此，可以实现基于头戴显示设备相对电子设备的位置，以及头戴显示设备相对各个音频播放设备的位置，对多媒体资源进行播放，提升了多媒体资源的播放效果。
请参考图11，其示出了本申请实施例提供的一种计算机设备的结构框图。该计算机设备700可以是上述实施例中的电子设备或头戴显示设备，电子设备可以是智能手机、平板电脑、智能手表、笔记本电脑等能够运行应用程序的设备，头戴显示设备可以是智能眼镜、智能显示头盔等头戴式的显示设备。本申请中的计算机设备700可以包括一个或多个如下部件：处理器710、存储器720、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个计算机设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行计算机设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。
存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备700在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种多媒体资源的播放方法，其特征在于，应用于电子设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，所述方法包括：
获取所述头戴显示设备的空间位置和姿态信息；
根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；
基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；
将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
2.根据权利要求1所述的方法，其特征在于，所述根据每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放，包括：
根据所述头戴显示设备相对每个音频播放设备的位置，将所述多媒体资源的音频内容处理为所述多个音频播放设备对应的多个音频内容，其中，所述多个音频内容与所述多个音频播放设备一一对应；
将所述多个音频内容中每个音频内容发送至对应的音频播放设备进行播放。
3.根据权利要求2所述的方法，其特征在于，所述根据所述头戴显示设备相对每个音频播放设备的位置，将所述多媒体资源的音频内容处理为所述多个音频播放设备对应的多个音频内容，包括：
将所述多媒体资源的音频内容分离为多个声道的音频内容；
根据所述头戴显示设备相对每个音频播放设备的位置，将每个声道的音频内容分配至所述多个音频播放设备中的至少一个音频播放设备，其中，所述每个声道的音频内容对应的声道，与所述头戴显示设备相对所述音频内容所分配的音频播放设备的位置匹配。
4.根据权利要求3所述的方法，其特征在于，所述多个声道至少包括：左声道、右声道、中置声道以及环绕声道。
5.根据权利要求1所述的方法，其特征在于，所述电子设备还与智能灯具连接，所述方法还包括：
基于所述多媒体资源，控制所述智能灯具的工作参数。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放之前，所述方法还包括：
获取所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间；
获取所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间；
基于所述第一时间以及所述每个音频播放设备对应的第二时间，对所述画面内容以及所述音频内容进行同步。
7.根据权利要求6所述的方法，其特征在于，所述获取所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间，包括：
基于所述空间位置以及所述画面内容的数据量，确定所述画面内容传输至所述头戴显示设备的时间作为第一传输时间；
获取所述画面内容被所述头戴显示设备显示之前的处理时间作为第一处理时间；
基于所述第一传输时间以及所述第一处理时间确定所述画面内容传输至所述头戴显示设备后被显示的时间作为第一时间。
8.根据权利要求6所述的方法，其特征在于，所述获取所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间，包括：
基于所述每个音频播放设备相对所述头戴显示设备的位置，以及分发至所述每个音频播放设备的音频数据量，确定所述每个音频播放设备对应分发的音频数据的传输时间作为第二传输时间；
获取所述每个音频播放设备对分发的音频数据进行播放之前的处理时间作为第二处理时间；
基于所述每个音频播放设备对应的所述第二传输时间以及所述第二处理时间确定所述音频内容分发至所述多个音频播放设备中每个音频播放设备后被播放的时间作为第二时间，得到所述每个音频播放设备对应的第二时间。
9.一种多媒体资源的播放方法，其特征在于，应用于头戴显示设备，所述头戴显示设备与电子设备连接，所述电子设备还与多个音频播放设备连接，所述方法包括：
接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放；
对所述画面内容进行显示。
10.一种多媒体资源的播放系统，其特征在于，所述系统包括电子设备、头戴显示设备以及多个音频播放设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，其中，
所述电子设备用于获取所述头戴显示设备的空间位置和姿态信息；
所述电子设备还用于根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；
所述电子设备还用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；
所述电子设备还用于将所述画面内容发送至所述头戴显示设备的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备；
所述头戴显示设备用于接收所述画面内容，并对所述画面内容进行显示；
所述音频播放设备用于接收分发的音频内容，并对接收的音频内容进行播放。
11.一种多媒体资源的播放装置，其特征在于，应用于电子设备，所述电子设备与头戴显示设备以及多个音频播放设备连接，所述装置包括：姿态获取模块、位置获取模块、内容生成模块以及播放模块，其中，
所述姿态获取模块用于获取所述头戴显示设备的空间位置和姿态信息；
所述位置获取模块用于根据所述多个音频播放设备相对所述电子设备的位置，以及所述空间位置，确定每个音频播放设备相对所述头戴显示设备的位置；
所述内容生成模块用于基于所述空间位置和姿态信息，生成待播放的多媒体资源对应的画面内容；
所述播放模块用于将所述画面内容发送至所述头戴显示设备进行显示的同时，根据所述每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放。
12.一种多媒体资源的播放装置，其特征在于，应用于头戴显示设备，所述头戴显示设备与电子设备连接，所述电子设备还与多个音频播放设备连接，所述装置包括内容接收模块以及内容显示模块，其中，
所述内容接收模块用于接收所述电子设备发送的画面内容，所述画面内容为所述电子设备基于所述头戴显示设备的空间位置和姿态信息所生成的待播放的多媒体资源对应的内容，所述电子设备还用于在发送所述画面内容的同时，基于所述多个音频播放设备中每个音频播放设备相对所述头戴显示设备的位置，将所述多媒体资源的音频内容分发至所述多个音频播放设备进行播放；
所述内容显示模块用于对所述画面内容进行显示。
13.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
CN202110891791.1A 2021-08-04 2021-08-04 多媒体资源的播放方法、装置、计算机设备及存储介质 Active CN113676720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110891791.1A CN113676720B (zh) 2021-08-04 2021-08-04 多媒体资源的播放方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110891791.1A CN113676720B (zh) 2021-08-04 2021-08-04 多媒体资源的播放方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113676720A CN113676720A (zh) 2021-11-19
CN113676720B true CN113676720B (zh) 2023-11-10

Family

ID=78541364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891791.1A Active CN113676720B (zh) 2021-08-04 2021-08-04 多媒体资源的播放方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113676720B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质
CN117692847A (zh) * 2024-02-01 2024-03-12 深圳市丰禾原电子科技有限公司 家庭影院系统的声道配置方法、装置和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257642A (zh) * 2018-10-12 2019-01-22 Oppo广东移动通信有限公司 视频资源播放方法、装置、电子设备以及存储介质
CN109831735A (zh) * 2019-01-11 2019-05-31 歌尔科技有限公司 适于室内环境的音频播放方法、设备、系统及存储介质
CN110691231A (zh) * 2018-07-05 2020-01-14 深圳多哚新技术有限责任公司 一种虚拟现实播放系统及其同步播放方法
CN112181353A (zh) * 2020-10-15 2021-01-05 Oppo广东移动通信有限公司 音频播放方法、装置、电子设备及存储介质
CN112492097A (zh) * 2020-11-26 2021-03-12 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584915B2 (en) * 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
CN116325808B (zh) * 2020-03-02 2023-12-22 奇跃公司 沉浸式音频平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691231A (zh) * 2018-07-05 2020-01-14 深圳多哚新技术有限责任公司 一种虚拟现实播放系统及其同步播放方法
CN109257642A (zh) * 2018-10-12 2019-01-22 Oppo广东移动通信有限公司 视频资源播放方法、装置、电子设备以及存储介质
CN109831735A (zh) * 2019-01-11 2019-05-31 歌尔科技有限公司 适于室内环境的音频播放方法、设备、系统及存储介质
CN112181353A (zh) * 2020-10-15 2021-01-05 Oppo广东移动通信有限公司 音频播放方法、装置、电子设备及存储介质
CN112492097A (zh) * 2020-11-26 2021-03-12 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN113676720A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2021047420A1 (zh) 虚拟礼物特效的渲染方法和装置、直播系统
US11210858B2 (en) Systems and methods for enhancing augmented reality experience with dynamic output mapping
US10074012B2 (en) Sound and video object tracking
CN111466124B (zh) 用于渲染用户的视听记录的方法，处理器系统和计算机可读介质
CN113676720B (zh) 多媒体资源的播放方法、装置、计算机设备及存储介质
US20220245859A1 (en) Data processing method and electronic device
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
US20230274471A1 (en) Virtual object display method, storage medium and electronic device
JP2020503906A (ja) 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ
US20200120380A1 (en) Video transmission method, server and vr playback terminal
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN111311757B (zh) 一种场景合成方法、装置、存储介质及移动终端
GB2570298A (en) Providing virtual content based on user context
WO2020221186A1 (zh) 一种虚拟形象控制方法、装置、电子设备及存储介质
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
CN107483872A (zh) 视频通话系统及视频通话方法
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
CN107479701B (zh) 虚拟现实交互方法、装置及系统
CN114422935B (zh) 音频处理方法、终端及计算机可读存储介质
JP5813542B2 (ja) 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム
WO2022116709A1 (zh) 音频播放方法、装置、头戴显示设备及存储介质
CN113411725B (zh) 音频播放方法、装置、移动终端及存储介质
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム
CN114942737A (zh) 显示方法、装置、显示设备、头戴式设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant