CN110677689A - 一种基于用户视角的vr视频广告无缝插播方法 - Google Patents

一种基于用户视角的vr视频广告无缝插播方法 Download PDF

Info

Publication number
CN110677689A
CN110677689A CN201910935769.5A CN201910935769A CN110677689A CN 110677689 A CN110677689 A CN 110677689A CN 201910935769 A CN201910935769 A CN 201910935769A CN 110677689 A CN110677689 A CN 110677689A
Authority
CN
China
Prior art keywords
advertisement
video
module
audio
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910935769.5A
Other languages
English (en)
Inventor
文志平
周敏
何志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Dang Hong Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dang Hong Polytron Technologies Inc filed Critical Hangzhou Dang Hong Polytron Technologies Inc
Priority to CN201910935769.5A priority Critical patent/CN110677689A/zh
Publication of CN110677689A publication Critical patent/CN110677689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于用户视角的VR视频广告无缝插播方法。它具体包括如下步骤：(1)由音视频播控模块获取VR视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制；(2)音频传送给音频播放模块进行播放，VR视频帧图像传送给VR渲染模块进行渲染；(3)当进行广告播放时，暂停当前正片VR视频的播放后进行广告的播放；(4)广告结束时间到达后，音视频播控模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，实现从广告到正片的无缝切换。本发明的有益效果是：提升用户体验，大大降低广告系统升级的成本。

Description

一种基于用户视角的VR视频广告无缝插播方法
技术领域
本发明涉及VR视频处理相关技术领域，尤其是指一种基于用户视角的VR视频广告无缝插播方法。
背景技术
VR是虚拟现实技术(Virtual Reality)的英文简称，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。进入21世纪，随着视频逐渐成为越来越重要的信息载体，VR技术在视频领域的应用已经成为VR技术的一个重要的发展方向，大量的科技单位正积极的投入到VR视频技术领域研究中，像Youtube、Facebook、优酷、爱奇艺等大型视频网站已经开始提供在线VR视频的播放。可以预见，在不久的将来，随着VR视频制作技术、播放技术及显示技术进步和VR显示设备的不断升级，VR视频会变的越来越普遍，VR视频会跟现在的普通互联网视频一样随处可见。
我们知道，互联网视频盈利的主要方式是会员和广告，未来随着VR视频的普及，在VR视频播放过程中插播广告的需求必然存在。如何在VR视频播放中进行广告的插播，是一个很值得研究的课题。现今已有的研究主要聚焦在VR视频播放技术本身，对于VR视频广告播放这种衍生需求研究还比较少。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种大大降低广告系统升级成本的基于用户视角的VR视频广告无缝插播方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于用户视角的VR视频广告无缝插播方法，具体包括如下步骤：
(1)装置启动后，先由音视频播控模块根据指定的VR视频地址请求获取VR视频数据，并对获取到的视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制；
(2)对于要播放的音频直接传送给音频播放模块进行播放，对于要渲染的VR视频帧图像则传送给VR渲染模块进行渲染；
(3)当需要进行广告播放时，音视频播控模块首先暂停当前正片VR视频的播放，然后进行广告的播放；
(4)广告策略规定的广告结束时间到达后，音视频播控模块通知VR渲染模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，这里VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，从而实现从广告到正片的无缝切换。
本发明提供了一种基于用户视角的VR视频广告无缝插播方法能够实现VR视频播放过程中进行广告的插播，可支持VR广告视频、VR静态图像广告、普通广告视频和普通静态图像广告的插播，且广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验。这样设计既能够对VR视频进行播放，也能够根据广告片源类型，将广告在VR视频播放装置中进行流畅的插播，同时能够兼容非VR视频的广告策略，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。
作为优选，所述的音视频播控模块负责音视频媒体数据的获取、解析、解码及AV同步控制；所述的音频播放模块负责音频数据的播放；所述的VR渲染模块负责视频帧数据图像的渲染；广告的类型包括如下几种：普通广告视频、VR广告视频、普通静态图像广告和VR静态图像广告，普通广告视频是指视频内容为使用常规制作方法录制的广告视频，VR广告视频是指使用专业的VR技术及设备制作的广告视频，普通静态图像广告是指常见的静态图像贴片广告，VR静态图像广告是指使用专业的VR技术及设备制作的静态图像广告。
作为优选，在步骤(3)中，对于广告播放的处理过程如下：当广告策略配置在正片VR视频播放过程中的时间点A进行广告的插播，那么在播放过程中，音视频播控模块提前在广告插播时间点A到达之前X秒进行广告数据的获取及预处理，通过预处理来保证提前准备好要渲染的数据，当到达广告插播时间点A时能够快速将广告数据进行渲染从而实现广告无缝插播。
作为优选，在步骤(3)中，针对普通视频广告和普通静态图像广告的处理方法如下：
(311)普通视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到广告视频帧图像；
(312)普通静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态广告图像；
(313)音视频播控模块和静态图像处理模块将解码后的广告图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用用户视角窗口渲染程序进行渲染，用户视角窗口内显示的广告内容为广告图像全部内容，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而保证显示设备在旋转运动时用户视角窗口中始终显示的是广告图像；
(314)普通视频广告的音频数据则直接传送给音频播放模块播放。
作为优选，在步骤(3)中，针对VR视频广告和VR静态图像广告的处理方法如下：
(321)VR视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到VR广告视频帧图像；
(322)VR静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态图像；
(323)音视频播控模块和静态图像处理模块将解码后的图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用360度全景渲染程序进行渲染，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而实现显示设备旋转运动时，用户视角窗口中能够看到不同视角方向对应的广告内容，用户视角窗口内的广告内容为广告图像内容的一部分；
(324)VR视频广告的音频数据则直接传送给音频播放模块播放。
作为优选，所述的运动矢量检测模块负责检测显示设备的旋转运动情况；所述的静态图像处理模块负责静态图像的获取和解码。
作为优选，在步骤(2)和步骤(4)中，VR渲染模块对VR视频进行渲染的操作如下：
(a)VR渲染模块首先会将第一帧图像进行渲染，然后与运动矢量检测模块进行交互获取初始运动矢量参数信息，根据运动矢量参数信息计算用户视角窗口，再然后将用户可视区域设置为用户视角窗口，通过用户视角窗口即可看到窗口对应范围内的图像；
(b)当运动矢量检测模块的运动矢量信息变化达到设定阈值，则VR渲染模块立马进行用户视角窗口的更新计算，然后更新窗口渲染；
(c)当视频帧图像更新时，直接将图像按照最新的运动矢量信息计算的用户视角窗口进行渲染。
作为优选，在步骤(a)中，VR渲染模块与运动矢量检测模块持续保持信息交互，不断从运动矢量检测模块实时获取显示设备的运动矢量参数信息，使用运动矢量参数信息不断的更新用户视角窗口，从而实现可视区域内容随视角实时变化。
作为优选，在步骤(2)和步骤(4)中，VR渲染模块保证按照每秒60帧及以上的频率进行图像的绘制，保证运动过程中画面的流畅性；视频帧未更新时重复渲染同一帧图像，视频帧更新则渲染新的视频帧图像。
本发明的有益效果是：广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。
附图说明
图1是本发明中正片VR视频、普通视频广告和VR视频广告的处理流程图；
图2是本发明中普通静态图像广告和VR静态图像广告的处理流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于用户视角的VR视频广告无缝插播方法，具体包括如下步骤：
(1)装置启动后，先由音视频播控模块根据指定的VR视频地址请求获取VR视频数据，并对获取到的视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制。
(2)对于要播放的音频直接传送给音频播放模块进行播放，对于要渲染的VR视频帧图像则传送给VR渲染模块进行渲染。
VR渲染模块对VR视频进行渲染的操作如下：
(a)VR渲染模块首先会将第一帧图像进行渲染，然后与运动矢量检测模块进行交互获取初始运动矢量参数信息，根据运动矢量参数信息计算用户视角窗口，再然后将用户可视区域设置为用户视角窗口，通过用户视角窗口即可看到窗口对应范围内的图像；VR渲染模块与运动矢量检测模块持续保持信息交互，不断从运动矢量检测模块实时获取显示设备的运动矢量参数信息，使用运动矢量参数信息不断的更新用户视角窗口，从而实现可视区域内容随视角实时变化；
(b)当运动矢量检测模块的运动矢量信息变化达到设定阈值，则VR渲染模块立马进行用户视角窗口的更新计算，然后更新窗口渲染；运动矢量信息包括且不限于旋转角度、加速度等；
(c)当视频帧图像更新时，直接将图像按照最新的运动矢量信息计算的用户视角窗口进行渲染。
其中：VR渲染模块保证按照每秒60帧及以上的频率进行图像的绘制，保证运动过程中画面的流畅性；视频帧未更新时重复渲染同一帧图像，视频帧更新则渲染新的视频帧图像。
(3)当需要进行广告播放时，音视频播控模块首先暂停当前正片VR视频的播放，然后进行广告的播放。
对于广告播放的处理过程如下：当广告策略配置在正片VR视频播放过程中的时间点A进行广告的插播，那么在播放过程中，音视频播控模块提前在广告插播时间点A到达之前X秒进行广告数据的获取及预处理，通过预处理来保证提前准备好要渲染的数据，当到达广告插播时间点A时能够快速将广告数据进行渲染从而实现广告无缝插播；其中：X秒不是一个固定的值，它的取值要根据实际设备性能进行调试确定。
如图1、图2所示，针对普通视频广告和普通静态图像广告的处理方法如下：
(311)普通视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到广告视频帧图像；
(312)普通静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态广告图像；
(313)音视频播控模块和静态图像处理模块将解码后的广告图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用用户视角窗口渲染程序进行渲染，用户视角窗口内显示的广告内容为广告图像全部内容，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而保证显示设备在旋转运动时用户视角窗口中始终显示的是广告图像；
(314)普通视频广告的音频数据则直接传送给音频播放模块播放。
如图1、图2所示，针对VR视频广告和VR静态图像广告的处理方法如下：
(321)VR视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到VR广告视频帧图像；VR视频分辨率相对较高，对于VR视频广告的解码优先使用设备硬件解码，设备硬件解码不可用则采用软件解；
(322)VR静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态图像；VR静态图像分辨率相对较高，对于VR静态图像的解码优先使用设备硬件解码，设备硬件解码不可用则采用软件解；
(323)音视频播控模块和静态图像处理模块将解码后的图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用360度全景渲染程序进行渲染，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而实现显示设备旋转运动时，用户视角窗口中能够看到不同视角方向对应的广告内容，用户视角窗口内的广告内容为广告图像内容的一部分；
(324)VR视频广告的音频数据则直接传送给音频播放模块播放。
(4)广告策略规定的广告结束时间到达后，音视频播控模块通知VR渲染模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，这里VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，从而实现从广告到正片的无缝切换。其中：关于VR渲染模块对VR视频进行渲染的操作方法如步骤(2)中的步骤(a)、步骤(b)和步骤(c)。
其中：音视频播控模块负责音视频媒体数据的获取、解析、解码及AV同步控制；音频播放模块负责音频数据的播放；VR渲染模块负责视频帧数据图像的渲染；运动矢量检测模块负责检测显示设备的旋转运动情况；静态图像处理模块负责静态图像的获取和解码；广告的类型包括如下几种：普通广告视频、VR广告视频、普通静态图像广告和VR静态图像广告，普通广告视频是指视频内容为使用常规制作方法录制的广告视频，VR广告视频是指使用专业的VR技术及设备制作的广告视频，普通静态图像广告是指常见的静态图像贴片广告，VR静态图像广告是指使用专业的VR技术及设备制作的静态图像广告。
本发明提供了一种基于用户视角的VR视频广告无缝插播方法能够实现VR视频播放过程中进行广告的插播，可支持VR广告视频、VR静态图像广告、普通广告视频和普通静态图像广告的插播，且广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验。这样设计既能够对VR视频进行播放，也能够根据广告片源类型，将广告在VR视频播放装置中进行流畅的插播，同时能够兼容非VR视频的广告策略，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。

Claims (9)

1.一种基于用户视角的VR视频广告无缝插播方法，其特征是，具体包括如下步骤：
(1)装置启动后，先由音视频播控模块根据指定的VR视频地址请求获取VR视频数据，并对获取到的视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制；
(2)对于要播放的音频直接传送给音频播放模块进行播放，对于要渲染的VR视频帧图像则传送给VR渲染模块进行渲染；
(3)当需要进行广告播放时，音视频播控模块首先暂停当前正片VR视频的播放，然后进行广告的播放；
(4)广告策略规定的广告结束时间到达后，音视频播控模块通知VR渲染模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，这里VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，从而实现从广告到正片的无缝切换。
2.根据权利要求1所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，所述的音视频播控模块负责音视频媒体数据的获取、解析、解码及AV同步控制；所述的音频播放模块负责音频数据的播放；所述的VR渲染模块负责视频帧数据图像的渲染；广告的类型包括如下几种：普通广告视频、VR广告视频、普通静态图像广告和VR静态图像广告，普通广告视频是指视频内容为使用常规制作方法录制的广告视频，VR广告视频是指使用专业的VR技术及设备制作的广告视频，普通静态图像广告是指常见的静态图像贴片广告，VR静态图像广告是指使用专业的VR技术及设备制作的静态图像广告。
3.根据权利要求2所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(3)中，对于广告播放的处理过程如下：当广告策略配置在正片VR视频播放过程中的时间点A进行广告的插播，那么在播放过程中，音视频播控模块提前在广告插播时间点A到达之前X秒进行广告数据的获取及预处理，通过预处理来保证提前准备好要渲染的数据，当到达广告插播时间点A时能够快速将广告数据进行渲染从而实现广告无缝插播。
4.根据权利要求3所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(3)中，针对普通视频广告和普通静态图像广告的处理方法如下：
(311)普通视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到广告视频帧图像；
(312)普通静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态广告图像；
(313)音视频播控模块和静态图像处理模块将解码后的广告图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用用户视角窗口渲染程序进行渲染，用户视角窗口内显示的广告内容为广告图像全部内容，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而保证显示设备在旋转运动时用户视角窗口中始终显示的是广告图像；
(314)普通视频广告的音频数据则直接传送给音频播放模块播放。
5.根据权利要求3所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(3)中，针对VR视频广告和VR静态图像广告的处理方法如下：
(321)VR视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到VR广告视频帧图像；
(322)VR静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态图像；
(323)音视频播控模块和静态图像处理模块将解码后的图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用360度全景渲染程序进行渲染，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而实现显示设备旋转运动时，用户视角窗口中能够看到不同视角方向对应的广告内容，用户视角窗口内的广告内容为广告图像内容的一部分；
(324)VR视频广告的音频数据则直接传送给音频播放模块播放。
6.根据权利要求4或5所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，所述的运动矢量检测模块负责检测显示设备的旋转运动情况；所述的静态图像处理模块负责静态图像的获取和解码。
7.根据权利要求1所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(2)和步骤(4)中，VR渲染模块对VR视频进行渲染的操作如下：
(a)VR渲染模块首先会将第一帧图像进行渲染，然后与运动矢量检测模块进行交互获取初始运动矢量参数信息，根据运动矢量参数信息计算用户视角窗口，再然后将用户可视区域设置为用户视角窗口，通过用户视角窗口即可看到窗口对应范围内的图像；
(b)当运动矢量检测模块的运动矢量信息变化达到设定阈值，则VR渲染模块立马进行用户视角窗口的更新计算，然后更新窗口渲染；
(c)当视频帧图像更新时，直接将图像按照最新的运动矢量信息计算的用户视角窗口进行渲染。
8.根据权利要求7所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(a)中，VR渲染模块与运动矢量检测模块持续保持信息交互，不断从运动矢量检测模块实时获取显示设备的运动矢量参数信息，使用运动矢量参数信息不断的更新用户视角窗口，从而实现可视区域内容随视角实时变化。
9.根据权利要求1或7或8所述的一种基于用户视角的VR视频广告无缝插播方法，其特征是，在步骤(2)和步骤(4)中，VR渲染模块保证按照每秒60帧及以上的频率进行图像的绘制，保证运动过程中画面的流畅性；视频帧未更新时重复渲染同一帧图像，视频帧更新则渲染新的视频帧图像。
CN201910935769.5A 2019-09-29 2019-09-29 一种基于用户视角的vr视频广告无缝插播方法 Pending CN110677689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910935769.5A CN110677689A (zh) 2019-09-29 2019-09-29 一种基于用户视角的vr视频广告无缝插播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910935769.5A CN110677689A (zh) 2019-09-29 2019-09-29 一种基于用户视角的vr视频广告无缝插播方法

Publications (1)

Publication Number Publication Date
CN110677689A true CN110677689A (zh) 2020-01-10

Family

ID=69080472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910935769.5A Pending CN110677689A (zh) 2019-09-29 2019-09-29 一种基于用户视角的vr视频广告无缝插播方法

Country Status (1)

Country Link
CN (1) CN110677689A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397104A (zh) * 2020-11-26 2021-02-23 北京字节跳动网络技术有限公司 音频与文本的同步方法、装置、可读介质和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072462A (zh) * 2015-07-15 2015-11-18 华数传媒网络有限公司 视频广告插播方法及装置
CN107438179A (zh) * 2016-05-27 2017-12-05 腾讯科技（北京）有限公司 一种信息处理方法及终端
US20180063599A1 (en) * 2016-08-26 2018-03-01 Minkonet Corporation Method of Displaying Advertisement of 360 VR Video
KR20180037857A (ko) * 2016-10-05 2018-04-13 주식회사 씨제이헬로 Vr 광고 제공 장치 및 방법
US10021464B2 (en) * 2016-10-25 2018-07-10 Aether, Inc. Video content switching and synchronization system and method for switching between multiple video formats
CN108989784A (zh) * 2018-07-09 2018-12-11 歌尔科技有限公司 虚拟现实设备的图像显示方法、装置、设备及存储介质
CN109155038A (zh) * 2016-04-12 2019-01-04 锐思拓公司 在虚拟化环境中呈现广告的方法和设备
CN109218815A (zh) * 2018-09-10 2019-01-15 苏宁智能终端有限公司 一种视频切换方法及系统
CN109218763A (zh) * 2018-11-12 2019-01-15 青岛海信传媒网络技术有限公司 一种流媒体视频切换的方法及智能电视
CN109819234A (zh) * 2019-02-01 2019-05-28 广州卓远虚拟现实科技有限公司 一种基于h.265的虚拟现实视频传输与播放方法、系统
EP3493135A1 (en) * 2016-07-29 2019-06-05 Neozin Co., Ltd Vr video advertisement system and vr advertisement production system
CN109923868A (zh) * 2016-11-08 2019-06-21 三星电子株式会社 显示装置及其控制方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072462A (zh) * 2015-07-15 2015-11-18 华数传媒网络有限公司 视频广告插播方法及装置
CN109155038A (zh) * 2016-04-12 2019-01-04 锐思拓公司 在虚拟化环境中呈现广告的方法和设备
CN107438179A (zh) * 2016-05-27 2017-12-05 腾讯科技（北京）有限公司 一种信息处理方法及终端
EP3493135A1 (en) * 2016-07-29 2019-06-05 Neozin Co., Ltd Vr video advertisement system and vr advertisement production system
US20180063599A1 (en) * 2016-08-26 2018-03-01 Minkonet Corporation Method of Displaying Advertisement of 360 VR Video
KR20180037857A (ko) * 2016-10-05 2018-04-13 주식회사 씨제이헬로 Vr 광고 제공 장치 및 방법
US10021464B2 (en) * 2016-10-25 2018-07-10 Aether, Inc. Video content switching and synchronization system and method for switching between multiple video formats
CN109923868A (zh) * 2016-11-08 2019-06-21 三星电子株式会社 显示装置及其控制方法
CN108989784A (zh) * 2018-07-09 2018-12-11 歌尔科技有限公司 虚拟现实设备的图像显示方法、装置、设备及存储介质
CN109218815A (zh) * 2018-09-10 2019-01-15 苏宁智能终端有限公司 一种视频切换方法及系统
CN109218763A (zh) * 2018-11-12 2019-01-15 青岛海信传媒网络技术有限公司 一种流媒体视频切换的方法及智能电视
CN109819234A (zh) * 2019-02-01 2019-05-28 广州卓远虚拟现实科技有限公司 一种基于h.265的虚拟现实视频传输与播放方法、系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴桦等: "《新一代互联网流媒体服务及路由关键技术》", 30 November 2017 *
郑莉: "《动漫游戏与虚拟现实的融合创新》", 31 January 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397104A (zh) * 2020-11-26 2021-02-23 北京字节跳动网络技术有限公司 音频与文本的同步方法、装置、可读介质和电子设备

Similar Documents

Publication Publication Date Title
US10210907B2 (en) Systems and methods for adding content to video/multimedia based on metadata
US9930311B2 (en) System and method for annotating a video with advertising information
US20180018944A1 (en) Automated object selection and placement for augmented reality
US11265614B2 (en) Information sharing method and device, storage medium and electronic device
WO2022089167A1 (zh) 虚拟视频的直播方法、装置、设备及可读存储介质
WO2021114708A1 (zh) 多人视频直播业务实现方法、装置、计算机设备
CN112601101B (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN114205635B (zh) 一种直播评论展示方法、装置、设备及介质
US20220193540A1 (en) Method and system for a cloud native 3d scene game
CN110505511B (zh) 一种在网页中播放视频的方法、装置、系统及计算设备
US11706496B2 (en) Echo bullet screen
CN112616062A (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN112272327A (zh) 数据处理方法、装置、存储介质及设备
CN114845136B (zh) 视频合成方法、装置、设备和存储介质
CN114697721A (zh) 弹幕显示方法及电子设备
CN110677689A (zh) 一种基于用户视角的vr视频广告无缝插播方法
CN107666616A (zh) 一种基于视频内容的广告投放方法及装置
CN111667313A (zh) 广告展示方法、装置、客户端设备及存储介质
US20220358854A1 (en) Distribution of Sign Language Enhanced Content
CN111355985A (zh) 一种视频广告的生成方法
US11936940B2 (en) Accessibility enhanced content rendering
CN112887774A (zh) 一种无缝播放内容的方法及装置
US20240196068A1 (en) Generating boundary points for media content
WO2022235836A1 (en) Accessibility enhanced content rendering
CN118233696A (zh) 直播背景切换方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110