CN112312203A - 视频播放方法、装置和存储介质 - Google Patents
视频播放方法、装置和存储介质 Download PDFInfo
- Publication number
- CN112312203A CN112312203A CN202010863442.4A CN202010863442A CN112312203A CN 112312203 A CN112312203 A CN 112312203A CN 202010863442 A CN202010863442 A CN 202010863442A CN 112312203 A CN112312203 A CN 112312203A
- Authority
- CN
- China
- Prior art keywords
- response
- filter layer
- response event
- area
- current image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Abstract
本公开提出一种视频播放方法、装置和存储介质,涉及视频技术领域。本公开的一种视频播放方法包括:在当前图像帧中检测预定物体;在检测到预定物体的情况下,确定预定物体的响应区域和对应的响应事件;生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件,以便根据用户对相匹配的区域做出预定操作时执行响应事件;在当前图像帧的基础上叠加滤镜层后渲染显示。通过这样的方法,能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高互动的效率和用户友好度。
Description
技术领域
本公开涉及视频技术领域,特别是一种视频播放方法、装置和存储介质。
背景技术
随着社会的发展与科技的进步,短视频已经成为一种很流行的社交、生活方式,短视频加电商、短视频加娱乐的模式也已经深深的影响了人们的生活。通过视频互动,不仅增强了受众的参与感以及切身体验,而且促进了经济以及娱乐的发展。
相关技术中,互动视频实现的主要方式包括:在视频界面上布置一个聊天室或滚动字幕,通过字幕实现互动;或者如互动电影,用户在播放前或播放过程中可以选择情节或结局,自由定义电影的播放顺序及时长。
发明内容
本公开的一个目的在于提出一种视频互动方案,提高互动效率。
根据本公开的一些实施例的一个方面,提出一种视频播放方法,包括:在当前图像帧中检测预定物体;在检测到预定物体的情况下,确定预定物体的响应区域和对应的响应事件;生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件,以便根据用户对相匹配的区域做出预定操作时执行响应事件;在当前图像帧的基础上叠加滤镜层后渲染显示。
在一些实施例中,视频播放方法还包括:监控用户对滤镜层的相匹配的区域的操作;在收到预定操作的信号的情况下,执行响应事件。
在一些实施例中,视频播放方法还包括:若视频切换至下一帧,则以下一帧为当前图像帧,继续执行在当前图像帧中检测预定物体的操作并增加滤镜层和响应事件的操作。
在一些实施例中,执行响应事件包括:通过硬解码将用户的预定操作转换成对应的响应事件。
在一些实施例中,生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件包括:针对每个响应区域,分别生成滤镜层,滤镜层的数量与当前图像帧的响应区域的数量相同;在每个滤镜层上,在与滤镜层针对的响应区域的相匹配的区域增加响应事件;在当前图像帧的基础上叠加滤镜层包括:在当前图像帧的基础上叠加全部的滤镜层。
在一些实施例中,生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件还包括:在滤镜层上裁剪,使裁剪后保留的区域与响应区域相匹配。
在一些实施例中,视频播放方法还包括:获取当前图像帧,将当前图像帧存入帧缓冲区;生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件包括:针对存入帧缓存空间的当前图像帧创建并绑定纹理数组,并设置纹理坐标,纹理数组中至少包括一项;将纹理与响应事件绑定,加载纹理图片,纹理图片的数量与纹理数组的项数相匹配。
在一些实施例中,在当前图像帧的基础上叠加滤镜层后渲染显示包括:根据存入帧缓存空间的当前图像帧执行渲染缓冲对象的创建、绑定和初始化;将渲染缓冲对象与纹理图片并行渲染至帧缓冲区;输出帧缓冲区的内容。
在一些实施例中,确定预定物体的响应区域和对应的响应事件包括:标记检测到的预定物体的坐标;自定义或从响应事件库中提取预存的响应事件,并初始化坐标的响应事件。
在一些实施例中,视频播放方法还包括:预先或在为坐标初始化响应事件时自定义响应事件,并将响应事件添加进响应事件库中,以便从响应事件库中提取响应事件。
在一些实施例中,视频播放方法满足以下一项或多项:响应事件包括快进、图像缩放、图像放大、图像旋转、装饰美容或剧情跳转;预定操作包括长按、短按、拖拽、触摸或滚动中的一项或多项;或预定物体为一种或多种,预定物体的区域包括一块区域或多块区域。
通过这样的方法,能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高互动的效率和用户友好度。
根据本公开的一些实施例的一个方面,提出一种视频播放装置,包括:检测单元,被配置为在当前图像帧中检测预定物体;区域确定单元,被配置为在检测到预定物体的情况下,确定预定物体的响应区域;事件确定单元,被配置为确定响应区域对应的响应事件;滤镜生成单元,被配置为生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件,以便根据用户对相匹配的区域做出预定操作时执行响应事件;渲染单元,被配置为在当前图像帧的基础上叠加滤镜层后渲染显示。
在一些实施例中,视频播放装置还包括:响应单元,被配置为监控用户对滤镜层的相匹配的区域的操作;在收到预定操作的信号的情况下,执行响应事件。
根据本公开的一些实施例的一个方面,提出一种视频播放装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行上文中任意一种视频播放方法。
这样的装置能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高视频互动的效率和用户友好度。
根据本公开的一些实施例的一个方面,提出一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上文中任意一种视频播放方法的步骤。
通过执行这样的存储介质上的指令,能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高互动的效率和用户友好度。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1为本公开的视频播放方法的一些实施例的流程图。
图2为本公开的视频播放方法的另一些实施例的流程图。
图3为本公开的视频播放方法的又一些实施例的流程图。
图4为本公开的视频播放装置的一些实施例的示意图。
图5为本公开的视频播放装置的另一些实施例的示意图。
图6为本公开的视频播放装置的又一些实施例的示意图。
具体实施方式
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
发明人发现,相关技术中互动视频的实现方式比较简单,实时性差,如在视频层上方添加滚动字幕,做直播的人通过阅读文字然后给出响应,一定程度增强了互动性,但较为有限。另外,通过设置去播放指定的情节的方式虽然在一定程度上增加了互动,但只能采用既定的方式跳转,灵活性较差。
发明人提出一种灵活的视频交互方式,使用户能够参与视频播放,从而提升体验。视频播放也不再是单纯的静态播放,而是一个可以随时与人互动的过程。
本公开的视频播放方法的一些实施例的流程图如图1所示。
在步骤101中,在当前图像帧中检测预定物体。在一些实施例中,预定物体可以为一种或多种,预定物体的区域包括一块区域或多块区域。
在步骤102中,判断当前图像帧中是否检测到预定物体。若检测到预定物体,则执行步骤103。
在步骤103中,确定预定物体的响应区域和对应的响应事件。在一些实施例中,响应事件包括快进、图像缩放、图像放大、图像旋转、装饰美容或剧情跳转。在一些实施例中,响应区域可以为预定物体的区域,也可以为预设的与预定物体相关联的区域,如可以在AI(Artificial Intelligence,人工智能)扫描出来的人像的眼睛、手、或者其他位置添加可点击区域。
在步骤104中,生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件,以便根据用户对相匹配的区域做出预定操作时执行响应事件。在一些实施例中,预定操作可以包括长按、短按、拖拽、触摸或滚动中的一项或多项。
在一些实施例中,滤镜层可以在设置触发响应事件的区域(如图像帧中人的眼、手、脚,或者建筑物、动物等对应的位置)添加不影响视频体验的区域标记图标,也可以在非标记区域设置代表默认操作的图标。图标的位置可以是不固定的,前者随着视频的播放而改变,后者在有点击或触摸等事件时才出现。
在步骤105中,在当前图像帧的基础上叠加滤镜层后渲染显示。
通过这样的方法,能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高互动的效率和用户友好度。
在一些实施例中,在上述步骤102中,在未能在当前图像帧中检测到预定物体的情况下,等待下一图像帧。当完成步骤105后,也等待下一图像帧。当下一图像帧成为当前图像帧时,执行从步骤101开始的操作。
另外,若当前图像帧为当前视频的最后一个图像帧,则若在步骤102中未能在当前图像帧中检测到预定物体,或完成执行步骤105后,则结束播放。
通过这样的方法,能够跟随视频的播放过程实时添加基于视频帧的互动事件添加,从而便于提高视频互动的种类、数量和灵活度,降低人工操作的成本,提高互动视频生成的效率。
在一些实施例中,若图像上检测到了多个预定物体(多个预定物体可以相同或不同),则可以针对每个响应区域,分别生成滤镜层,滤镜层的数量与当前图像帧的响应区域的数量相同,进而在每个滤镜层上,在与滤镜层针对的响应区域的相匹配的区域增加响应事件。当执行图像渲染时,在当前图像帧的基础上叠加全部的滤镜层,从而实现在同一帧图像上增加多个互动点,提高互动的丰富度和灵活度。
在一些实施例中,可以在滤镜层上裁剪,使裁剪后保留的区域与响应区域相匹配,进而渲染的滤镜层只包括保留的区域,降低误操作的概率,提高响应准确度。
在一些实施例中,可以在视频播放的某些时间段执行本公开的视频播放方法,或持续执行本公开的视频播放方法,从而实现设定互动时段,例如根据场景交互结果决定后续视频的内容或顺序。在一些实施例中,交互场景可以包括小窗口视频,语音,以及手势检测等中的一项或多项。
在一些实施例中,不同时间段的预定物体可以不同,相同预定预提关联的响应事件也可以不同,从而可以为不同的时间段设置不同的响应,提高互动设置的灵活度,丰富互动种类。
本公开的视频播放方法的另一些实施例的流程图如图2所示。用户在视频播放的过程中可以随时通过执行对响应区域相匹配的滤镜层区域的预定操作触发响应事件。
在步骤201中,监控用户的操作,包括对当前图像帧的响应区域所对应的滤镜层的匹配区域所执行的操作。
在步骤202中,判断是否收到用户对当前图像帧的响应区域所对应的滤镜层的匹配区域执行了预定操作的信号。若收到用户执行预定操作的信号,则执行步骤203;否则随着视频播放的进程持续监测。
在步骤203中,执行用户所触发的滤镜层区域所匹配的响应区域的响应事件。在一些实施例中,可以通过硬解码将用户的预定操作转换成对应的响应事件,从而提高响应效率。
通过这样的方法,能够随时监控用户的操作并及时做出反应,提高互动效率和用户友好度。
这样的视频播放方法除了应用于直播、预存视频的播放,也可以应用于如在AI领域的智能广告牌以及试妆镜的场景下,通过检测人脸或人像来推荐商品,或者给人像加上各种装饰特效,例如点击人眼区域,可以自主换眼影、改变隐形眼镜的颜色,甚至可以旋转看看自己的侧面,背影等;点击不同区域可以进行不同的操作。
在一些实施例中,可以进行如下设计:
1.生成适用于全局的预定操作管理类,包括:短按,长按,滑动,旋转等动作的初始化、判断及响应api。
2.生成滤镜数组,用来标记所有的滤镜。
3.生成滤镜管理类,用来实现Filter的初始化、绘制、切换、以及销毁等,其中包括滤镜的渲染类。
4.生成帧缓冲区FrameBuffer、纹理对象Texture以及渲染缓冲对象RenderBuffer,三者配合实现绘制渲染图像。每个纹理会有一个纹理标识,当绘制时需要将缓冲区和纹理进行绑定,同时还需要关联渲染缓冲对象RenderBuffer。
5.生成数据管理类。数据管理类中包括两个数据集:分别用来保存对所有视频都适用的公共属性(可以包括操作标识actionId,滤镜标识,filterId,纹理标识texureId,区域类型areaType,区域尺寸areaSize)和保存单个视频中对于已经设置好的特定对象的属性。优先适配特定对象的属性,如果没有设置则适用公共属性。
6.使用OpenGLES3.2对画面进行裁剪绘制,从而实现在渲染的时候限制绘制区域,如可以在帧缓冲区中的图像上指定一个矩形区域,不在此矩形区域内的片元将被丢弃,只有在矩形区域内的片元才有机会最终进入帧缓冲区。
本公开的视频播放方法的又一些实施例的流程图如图3所示。
在步骤301中,随着视频的播放进程获取一帧视频数据。该帧视频为播放进程的当前帧。在一些实施例中,视频可以为直播视频,也可以为预存视频等,如H.264格式的视频文件。考虑到在线视频播放的fps(frames per second,每秒的帧数)一般在[30,60]之间,低于30人眼会感觉闪烁或卡顿,而高清画质的视频一般也超过60,本公开可支持的帧率范围定在[30,60]。
在步骤302中,将图像帧存入帧缓冲区。在一些实施例中,可以预先创建帧缓冲区。进一步,执行步骤303和步骤306、307。
在步骤303中,在图像帧中识别预定物体。
在步骤304中,标记预定物体对应的响应区域,生成坐标队列。
在步骤305中,自定义或从响应事件库中提取预存的响应事件,并初始化坐标的响应事件。步骤305生成的结果作为步骤308中执行的一部分条件,在完成步骤305后,等待步骤308执行。
在一些实施例中,可以预先在响应事件库中配置各类响应事件,以便在步骤305中从响应事件库中提取和使用事件。在一些实施例中,可以基于预定物体与响应事件的对应关系确定要设置的响应事件。
在一些实施例中,可以在为坐标初始化响应事件时自定义响应事件并初始化。另外,可以将自定义的响应事件添加进响应事件库中供后续提取使用。
在步骤306中,根据存入帧缓存空间的当前图像帧执行渲染缓冲对象的创建、绑定和初始化。步骤306的生成结果为步骤309执行的一部分条件,在完成步骤306后,等待步骤309执行。
在步骤307中,针对存入帧缓存空间的当前图像帧创建并绑定纹理数组,并设置纹理坐标,纹理数组中至少包括一项。
在步骤308中,将纹理与响应事件绑定,加载纹理图片,纹理图片的数量与纹理数组的项数相匹配。步骤308的响应事件来自于步骤305。步骤308、306中的输出结果共同作为步骤309的执行条件。
在步骤309中,将渲染缓冲对象与纹理图片并行渲染至帧缓冲区。
在步骤310中,判断是否渲染完成。若渲染完成,则执行步骤311;若未渲染完成,则执行步骤309。在一些实施例中,纹理图片可以有一个或多个,在渲染过程中需要将渲染缓冲对象与全部纹理图片并行渲染。
在步骤311中,输出帧缓冲区的内容。
在视频的解码及播放过程中会使用很多机制以保证视频的流畅性,通过上述方法,能够对处理后的视频再次进行处理以实现动作响应,实现基于视频的交互。这样的方法能够实现基于视频帧以及视频整体两个维度的优化,便于作为一个SDK或者Lib库添加到视频播放应用中,也可作为一个独立的处理引擎,有利于推广应用。
在一些实施例中,在需要在同一帧中添加多个滤镜的情况下,可以使用帧缓冲区与多滤镜叠加处理,即绘制多张纹理映射到不同的位置定点,也即纹理数组,将多个2D图像都加载到一个单独的纹理对象中。在一些实施例中,可以使用数组实现,如下所示:
QString fileName[6]={":/new/img/0.jpg",
":/new/img/1.jpg",
":/new/img/2.jpg",
":/new/img/3.jpg",
":/new/img/4.jpg",
":/new/img/5.jpg"};
在一些实施例中,多滤镜叠加处理过程可以包括:先调用函数生成纹理和索引,绑定纹理,进而设置如何从缓冲区中读取对象,设置加载纹理数据和设置纹理过滤参数,在完成后删除纹理。
通过这样的方法,可以无需将一帧数据处理多次,通过一次处理实现多个滤镜添加,提高处理效率。
本公开的视频播放装置的一些实施例的示意图如图4所示。
检测单元401能够在当前图像帧中检测预定物体。在一些实施例中,预定物体可以为一种或多种,预定物体的区域包括一块区域或多块区域。
区域确定单元402能够在检测到预定物体的情况下,确定预定物体的响应区域。在一些实施例中,响应区域可以为对应的预定物体的图像区域,也可以为预设的与预定物体相关联的区域,如图像右下角预定大小范围、左侧预定宽度范围等。
事件确定单元403能够确定响应区域对应的响应事件。在一些实施例中,响应事件包括快进、图像缩放、图像放大、图像旋转、装饰美容或剧情跳转等。
滤镜生成单元404能够生成滤镜层,并在滤镜层上与响应区域相匹配的区域增加响应事件,以便根据用户对相匹配的区域做出预定操作时执行响应事件。在一些实施例中,预定操作可以包括长按、短按、拖拽、触摸或滚动中的一项或多项。
渲染单元405能够在当前图像帧的基础上叠加滤镜层后渲染显示。
这样的装置能够在视频播放的过程中逐帧检测,通过添加滤镜层的方式为预定物体设置响应事件,用户可以通过对对应区域的预定操作触发执行该响应事件,从而提高视频互动的效率和用户友好度。
在一些实施例中,如图4所示,视频播放装置还可以包括响应单元406,能够监控用户的操作,包括对当前图像帧的响应区域所对应的滤镜层的匹配区域所执行的操作;在收到用户对当前图像帧的响应区域所对应的滤镜层的匹配区域执行了预定操作的信号的情况下,执行用户所触发的滤镜层区域所匹配的响应区域的响应事件。在一些实施例中,响应单元406可以通过硬解码将用户的预定操作转换成对应的响应事件,从而提高响应效率。
这样的装置能够随时监控用户的操作并及时做出反应,提高互动效率和用户友好度。
在一些实施例中,事件确定单元403能够基于响应事件库提取响应事件,或允许用户自定义响应事件。若用户自定义响应事件,则事件确定单元403在接收和确定响应事件的基础上,将自定义的响应事件添加进响应事件库中供后续提取使用,从而在使用过程中进一步提高互动画面生成的效率。
本公开视频播放装置的一个实施例的结构示意图如图5所示。视频播放装置包括存储器501和处理器502。其中:存储器501可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中视频播放方法的对应实施例中的指令。处理器502耦接至存储器501,可以作为一个或多个集成电路来实施,例如微处理器或微控制器。该处理器502用于执行存储器中存储的指令,能够提高视频互动的效率和用户友好度。
在一个实施例中,还可以如图6所示,视频播放装置600包括存储器601和处理器602。处理器602通过BUS总线603耦合至存储器601。该视频播放装置600还可以通过存储接口604连接至外部存储装置605以便调用外部数据,还可以通过网络接口606连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上述指令,能够提高视频互动的效率和用户友好度。
在另一个实施例中,一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现视频播放方法对应实施例中的方法的步骤。本领域内的技术人员应明白,本公开的实施例可提供为方法、装置、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此,已经详细描述了本公开。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
最后应当说明的是:以上实施例仅用以说明本公开的技术方案而非对其限制;尽管参照较佳实施例对本公开进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本公开技术方案的精神,其均应涵盖在本公开请求保护的技术方案范围当中。
Claims (15)
1.一种视频播放方法,包括:
在当前图像帧中检测预定物体;
在检测到所述预定物体的情况下,确定所述预定物体的响应区域和对应的响应事件;
生成滤镜层,并在所述滤镜层上与所述响应区域相匹配的区域增加所述响应事件,以便根据用户对所述相匹配的区域做出预定操作时执行所述响应事件;
在所述当前图像帧的基础上叠加所述滤镜层后渲染显示。
2.根据权利要求1所述的方法,还包括:
监控用户对所述滤镜层的所述相匹配的区域的操作;
在收到所述预定操作的信号的情况下,执行所述响应事件。
3.根据权利要求1所述的方法,还包括:
若视频切换至下一帧,则以所述下一帧为所述当前图像帧,继续执行在当前图像帧中检测预定物体的操作并增加滤镜层和响应事件的操作。
4.根据权利要求1所述的方法,其中,所述执行所述响应事件包括:通过硬解码将用户的预定操作转换成对应的响应事件。
5.根据权利要求1所述的方法,其中,
所述生成滤镜层,并在所述滤镜层上与所述响应区域相匹配的区域增加所述响应事件包括:
针对每个所述响应区域,分别生成滤镜层,所述滤镜层的数量与所述当前图像帧的所述响应区域的数量相同;
在每个所述滤镜层上,在与所述滤镜层针对的所述响应区域的相匹配的区域增加所述响应事件;
所述在所述当前图像帧的基础上叠加所述滤镜层包括:在所述当前图像帧的基础上叠加全部的所述滤镜层。
6.根据权利要求5所述的方法,其中,所述生成滤镜层,并在所述滤镜层上与所述响应区域相匹配的区域增加所述响应事件还包括:
在所述滤镜层上裁剪,使裁剪后保留的区域与所述响应区域相匹配。
7.根据权利要求1所述的方法,还包括:获取当前图像帧,将所述当前图像帧存入帧缓冲区;
所述生成滤镜层,并在所述滤镜层上与所述响应区域相匹配的区域增加所述响应事件包括:
针对存入帧缓存空间的当前图像帧创建并绑定纹理数组,并设置纹理坐标,所述纹理数组中至少包括一项;
将纹理与所述响应事件绑定,加载纹理图片,所述纹理图片的数量与所述纹理数组的项数相匹配。
8.根据权利要求7所述的方法,其中,
所述在所述当前图像帧的基础上叠加所述滤镜层后渲染显示包括:
根据存入帧缓存空间的当前图像帧执行渲染对象的创建、绑定和初始化;
将所述渲染缓冲对象与所述纹理图片并行渲染至所述帧缓冲区;
输出所述帧缓冲区的内容。
9.根据权利要求1所述的方法,其中,所述确定所述预定物体的响应区域和对应的响应事件包括:
标记检测到的预定物体的坐标;
自定义或从响应事件库中提取预存的响应事件,并初始化所述坐标的响应事件。
10.根据权利要求9所述的方法,还包括:
预先或在为所述坐标初始化响应事件时自定义响应事件,并将所述响应事件添加进响应事件库中,以便从所述响应事件库中提取所述响应事件。
11.根据权利要求1所述的方法,其中,所述视频播放方法满足以下一项或多项:
所述响应事件包括快进、图像缩放、图像放大、图像旋转、装饰美容或剧情跳转;
所述预定操作包括长按、短按、拖拽、触摸或滚动中的一项或多项;或
所述预定物体为一种或多种,所述预定物体的区域包括一块区域或多块区域。
12.一种视频播放装置,包括:
检测单元,被配置为在当前图像帧中检测预定物体;
区域确定单元,被配置为在检测到所述预定物体的情况下,确定所述预定物体的响应区域;
事件确定单元,被配置为确定所述响应区域对应的响应事件;
滤镜生成单元,被配置为生成滤镜层,并在所述滤镜层上与所述响应区域相匹配的区域增加所述响应事件,以便根据用户对所述相匹配的区域做出预定操作时执行所述响应事件;
渲染单元,被配置为在所述当前图像帧的基础上叠加所述滤镜层后渲染显示。
13.根据权利要求12所述的装置,还包括:
响应单元,被配置为监控用户对所述滤镜层的所述相匹配的区域的操作;在收到所述预定操作的信号的情况下,执行所述响应事件。
14.一种视频播放装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至11任一项所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至11任意一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863442.4A CN112312203B (zh) | 2020-08-25 | 2020-08-25 | 视频播放方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863442.4A CN112312203B (zh) | 2020-08-25 | 2020-08-25 | 视频播放方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112312203A true CN112312203A (zh) | 2021-02-02 |
CN112312203B CN112312203B (zh) | 2023-04-07 |
Family
ID=74483226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010863442.4A Active CN112312203B (zh) | 2020-08-25 | 2020-08-25 | 视频播放方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112312203B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023045825A1 (zh) * | 2021-09-27 | 2023-03-30 | 北京有竹居网络技术有限公司 | 基于视频的信息展示方法及装置、电子设备和存储介质 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
US20080006698A1 (en) * | 2003-11-13 | 2008-01-10 | Metrologic Instruments, Inc. | Method of and apparatus for dynamically and adaptively controlling system control parameters in a digital image capture and processing system |
CN101753913A (zh) * | 2008-12-17 | 2010-06-23 | 华为技术有限公司 | 一种视频中插入超链接的方法、装置及处理器 |
US20100254574A1 (en) * | 2009-04-07 | 2010-10-07 | Shao-Yi Chien | Method for decomposition and rendering of video content and user interface for operating the method thereof |
CN102334118A (zh) * | 2010-11-29 | 2012-01-25 | 华为技术有限公司 | 基于用户兴趣学习的个性化广告推送方法与系统 |
US20150286858A1 (en) * | 2015-03-18 | 2015-10-08 | Looksery, Inc. | Emotion recognition in video conferencing |
CN105574509A (zh) * | 2015-12-16 | 2016-05-11 | 天津科技大学 | 一种基于光照的人脸识别系统回放攻击检测方法及应用 |
CN105930851A (zh) * | 2016-04-27 | 2016-09-07 | 梧州市自动化技术研究开发院 | 一种用于对运动物体的视频图像进行目标轮廓识别的方法 |
CN106792100A (zh) * | 2016-12-30 | 2017-05-31 | 北京奇艺世纪科技有限公司 | 一种视频弹幕显示方法及装置 |
CN106971317A (zh) * | 2017-03-09 | 2017-07-21 | 杨伊迪 | 基于人脸识别与大数据分析的广告投放效果评价与智能推送决策方法 |
CN107564032A (zh) * | 2017-09-01 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于外观网络的视频跟踪对象分割方法 |
US20180270441A1 (en) * | 2017-03-16 | 2018-09-20 | Gvbb Holdings S.A.R.L. | System and method for augmented video production workflow |
CN108776822A (zh) * | 2018-06-22 | 2018-11-09 | 腾讯科技(深圳)有限公司 | 目标区域检测方法、装置、终端及存储介质 |
CN109168034A (zh) * | 2018-08-28 | 2019-01-08 | 百度在线网络技术(北京)有限公司 | 商品信息显示方法、装置、电子设备和可读存储介质 |
CN109218802A (zh) * | 2018-08-23 | 2019-01-15 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
CN109242802A (zh) * | 2018-09-28 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
US20190034734A1 (en) * | 2017-07-28 | 2019-01-31 | Qualcomm Incorporated | Object classification using machine learning and object tracking |
CN109640133A (zh) * | 2018-12-17 | 2019-04-16 | 杭州柚子街信息科技有限公司 | 在视频中插播视频广告的信息处理方法和装置 |
US20190130580A1 (en) * | 2017-10-26 | 2019-05-02 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
CN110278466A (zh) * | 2019-06-06 | 2019-09-24 | 浙江口碑网络技术有限公司 | 短视频广告的投放方法、装置及设备 |
CN110475157A (zh) * | 2019-07-19 | 2019-11-19 | 平安科技(深圳)有限公司 | 多媒体信息展示方法、装置、计算机设备及存储介质 |
CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN110784752A (zh) * | 2019-09-27 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种视频互动方法、装置、计算机设备和存储介质 |
JP2020087091A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社日立ビルシステム | 熟練度判定システム |
CN111372122A (zh) * | 2020-02-27 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 一种媒体内容植入方法、模型训练方法以及相关装置 |
-
2020
- 2020-08-25 CN CN202010863442.4A patent/CN112312203B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
US20080006698A1 (en) * | 2003-11-13 | 2008-01-10 | Metrologic Instruments, Inc. | Method of and apparatus for dynamically and adaptively controlling system control parameters in a digital image capture and processing system |
CN101753913A (zh) * | 2008-12-17 | 2010-06-23 | 华为技术有限公司 | 一种视频中插入超链接的方法、装置及处理器 |
US20100254574A1 (en) * | 2009-04-07 | 2010-10-07 | Shao-Yi Chien | Method for decomposition and rendering of video content and user interface for operating the method thereof |
CN102334118A (zh) * | 2010-11-29 | 2012-01-25 | 华为技术有限公司 | 基于用户兴趣学习的个性化广告推送方法与系统 |
US20150286858A1 (en) * | 2015-03-18 | 2015-10-08 | Looksery, Inc. | Emotion recognition in video conferencing |
CN105574509A (zh) * | 2015-12-16 | 2016-05-11 | 天津科技大学 | 一种基于光照的人脸识别系统回放攻击检测方法及应用 |
CN105930851A (zh) * | 2016-04-27 | 2016-09-07 | 梧州市自动化技术研究开发院 | 一种用于对运动物体的视频图像进行目标轮廓识别的方法 |
CN106792100A (zh) * | 2016-12-30 | 2017-05-31 | 北京奇艺世纪科技有限公司 | 一种视频弹幕显示方法及装置 |
CN106971317A (zh) * | 2017-03-09 | 2017-07-21 | 杨伊迪 | 基于人脸识别与大数据分析的广告投放效果评价与智能推送决策方法 |
US20180270441A1 (en) * | 2017-03-16 | 2018-09-20 | Gvbb Holdings S.A.R.L. | System and method for augmented video production workflow |
US20190034734A1 (en) * | 2017-07-28 | 2019-01-31 | Qualcomm Incorporated | Object classification using machine learning and object tracking |
CN107564032A (zh) * | 2017-09-01 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于外观网络的视频跟踪对象分割方法 |
US20190130580A1 (en) * | 2017-10-26 | 2019-05-02 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
CN108776822A (zh) * | 2018-06-22 | 2018-11-09 | 腾讯科技(深圳)有限公司 | 目标区域检测方法、装置、终端及存储介质 |
CN109218802A (zh) * | 2018-08-23 | 2019-01-15 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
CN109168034A (zh) * | 2018-08-28 | 2019-01-08 | 百度在线网络技术(北京)有限公司 | 商品信息显示方法、装置、电子设备和可读存储介质 |
CN109242802A (zh) * | 2018-09-28 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
JP2020087091A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社日立ビルシステム | 熟練度判定システム |
CN109640133A (zh) * | 2018-12-17 | 2019-04-16 | 杭州柚子街信息科技有限公司 | 在视频中插播视频广告的信息处理方法和装置 |
CN110278466A (zh) * | 2019-06-06 | 2019-09-24 | 浙江口碑网络技术有限公司 | 短视频广告的投放方法、装置及设备 |
CN110475157A (zh) * | 2019-07-19 | 2019-11-19 | 平安科技(深圳)有限公司 | 多媒体信息展示方法、装置、计算机设备及存储介质 |
CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN110784752A (zh) * | 2019-09-27 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种视频互动方法、装置、计算机设备和存储介质 |
CN111372122A (zh) * | 2020-02-27 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 一种媒体内容植入方法、模型训练方法以及相关装置 |
Non-Patent Citations (3)
Title |
---|
YUMENG LIANG: "《Automatic Generation of Textual Advertisement for Video Advertising》", 《2018 IEEE FOURTH INTERNATIONAL CONFERENCE ON MULTIMEDIA BIG DATA(BIGMM)》 * |
张云柯: "《基于场景识别的体育视频广告嵌入技术研究》", 《中国优秀硕士学位论文全文数据库》 * |
程治琪: "《面向视频电商的推荐、匹配、链接与识别关键技术研究》", 《中国优秀博士学位论文全文数据库》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023045825A1 (zh) * | 2021-09-27 | 2023-03-30 | 北京有竹居网络技术有限公司 | 基于视频的信息展示方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112312203B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110855904B (zh) | 视频处理方法、电子装置和存储介质 | |
CN110868631B (zh) | 视频剪辑方法、装置、终端及存储介质 | |
KR102508924B1 (ko) | 증강 또는 가상 현실 환경에서의 객체의 선택 | |
WO2018072652A1 (zh) | 视频处理方法、视频处理装置及存储介质 | |
CN107251550B (zh) | 信息处理程序和信息处理方法 | |
CN105340014B (zh) | 用于视频编辑的触摸优化设计 | |
US10798363B2 (en) | Video file processing method and apparatus | |
US10325628B2 (en) | Audio-visual project generator | |
JP6499324B2 (ja) | ビデオを再生するための方法、クライアント及びコンピュータ記憶媒体 | |
WO2015105693A1 (en) | Telestrator system | |
CN103686418A (zh) | 一种信息处理的方法及电子设备 | |
CN107024990B (zh) | 一种吸引儿童自拍的方法及移动终端 | |
CN114095776A (zh) | 屏幕录制方法及电子设备 | |
JP4768846B2 (ja) | 電子機器及び画像表示方法 | |
CN112312203B (zh) | 视频播放方法、装置和存储介质 | |
US20140181745A1 (en) | Image capture | |
JP2008217059A (ja) | 再生装置と再生装置のためのプログラム | |
CN110062163B (zh) | 多媒体数据的处理方法以及装置 | |
CN113411537A (zh) | 视频通话方法、装置、终端及存储介质 | |
KR101608145B1 (ko) | 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법 | |
KR20180027917A (ko) | 디스플레이장치 및 그 제어방법 | |
JP2013200867A (ja) | アニメーション作成装置、カメラ | |
JP5850188B2 (ja) | 画像表示システム | |
JP2020527814A (ja) | 実物体の相互作用的な3d表現を作成および表示するためのシステムおよび方法 | |
WO2022105097A1 (zh) | 视频流处理方法及装置、电子设备、存储介质及计算机程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |