CN110876079A - 视频处理方法、装置和设备 - Google Patents

视频处理方法、装置和设备 Download PDF

Info

Publication number
CN110876079A
CN110876079A CN201811013508.XA CN201811013508A CN110876079A CN 110876079 A CN110876079 A CN 110876079A CN 201811013508 A CN201811013508 A CN 201811013508A CN 110876079 A CN110876079 A CN 110876079A
Authority
CN
China
Prior art keywords
image
target object
playing window
playing
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811013508.XA
Other languages
English (en)
Other versions
CN110876079B (zh
Inventor
蒋雪婷
王鹏
范欣珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811013508.XA priority Critical patent/CN110876079B/zh
Publication of CN110876079A publication Critical patent/CN110876079A/zh
Application granted granted Critical
Publication of CN110876079B publication Critical patent/CN110876079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Abstract

本发明实施例提供一种视频处理方法、装置和设备,该方法包括:获取播放器的播放窗口尺寸信息;解码视频数据以获得视频数据中的各帧图像;若识别到第一图像中包含目标对象,则以目标对象的位置为基准,根据播放窗口尺寸信息对第一图像进行截图处理,第一图像为各帧图像中的任一帧。基于此,不管播放窗口的尺寸如何,都能够保证观看者的视觉聚焦在该目标对象上即保证作为焦点信息的该目标对象在不同播放窗口尺寸情况下的传递效果,而且,结合播放窗口的尺寸来围绕目标对象进行图像截取,可以使得播放窗口被以目标对象为核心的画面元素填充满,这也保证了播放窗口的利用率。

Description

视频处理方法、装置和设备
技术领域
本发明涉及互联网技术领域,尤其涉及一种视频处理方法、装置和设备。
背景技术
视频,由于承载有声音、图像等数据元素,可以向人们传达更加丰富的信息,让人们感受更加生动的视觉体验,已经成为一种主流的信息表达手段。
实际应用中,针对同一视频来说,会有若干用户来观看该视频,而不同用户观看该视频所采用的终端设备的屏幕尺寸(亦可认为是视频的播放窗口的尺寸)可能各不相同,一般来说,目前主要的终端设备的屏幕尺寸的长宽比包括:1:1、4:3、16:9等。而实际上,不太可能会针对不同的播放窗口尺寸分别制作对应的视频。因此,当某一播放窗口尺寸的播放器需要播放某视频时,目前的一种常见的方式是,对视频中的各帧图像进行等比例缩放,以适应播放窗口的最短边。基于这种缩放的方式,当视频画面放大较多时,画面会失真,使得用户看不清视频画面从而无法从中得到所关注的信息;当视频画面缩小很多时,一方面可能会出现黑边现象,另一方面,过小的视频画面也会使得用户看不清其中展示的内容从而无法得到所关注的信息。也就是说,这种缩放视频画面以适应当前播放窗口的尺寸的方式,往往影响了视频数据所承载的焦点信息向观看用户的传达效果。
发明内容
有鉴于此,本发明实施例提供一种视频处理方法、装置和设备,用以保证视频数据中承载的焦点信息在不同播放窗口尺寸情况下的传递效果。
第一方面,本发明实施例提供一种视频处理方法,包括:
获取播放器的播放窗口尺寸信息;
解码视频数据以获得所述视频数据中的各帧图像;
若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
第二方面,本发明实施例提供一种视频处理装置,包括:
获取模块,用于获取播放器的播放窗口尺寸信息;
解码模块,用于解码视频数据以获得所述视频数据中的各帧图像;
图像处理模块,用于若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
第三方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
获取播放器的播放窗口尺寸信息;
解码视频数据以获得所述视频数据中的各帧图像;
若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的视频处理方法。
在本发明实施例中,针对某播放器的播放窗口尺寸信息,流媒体服务器可以解码该播放器能够访问的视频数据以依次获得该视频数据中包含的各帧图像,进而可以逐帧或每隔几帧识别某帧图像中是否包含有目标对象(该目标对象可以对应于视频数据的提供者设定的焦点信息),对于包含有目标对象的图像,可以以该目标对象在该图像中的位置为基准,根据播放窗口的尺寸信息从该图像中截取出包含该目标对象的目标图像,如此,比如在视频数据的各帧图像中都包含该目标对象的情况下,相当于跟踪该目标对象在各帧图像中分别对应的位置,从而截取出以该目标对象为核心的且适应于当前的播放窗口尺寸的视频数据流。此时,不管当前播放窗口的尺寸如何,都能够保证观看者的视觉聚焦在该目标对象上即保证作为焦点信息的该目标对象在不同播放窗口尺寸情况下的传递效果,而且,结合播放窗口的尺寸来围绕目标对象进行图像截取,可以使得播放窗口被以目标对象为核心的画面元素填充满,这也保证了播放窗口的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中通过缩放方式调整视频画面尺寸以适应播放窗口尺寸的示意图;
图2为本发明实施例提供的一种视频处理方法的流程图;
图3为本发明实施例提供的另一种视频处理方法的流程图;
图4为本发明实施例提供的一种截图过程的示意图;
图5为本发明实施例提供的另一种截图过程的示意图;
图6为本发明实施例提供的又一种截图过程的示意图;
图7为本发明实施例提供的一种视频处理装置的结构示意图;
图8为与图7所示实施例提供的视频处理装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
在对本发明实施例提供的视频处理方法进行具体介绍之前,为了便于明显感知到经过本发明实施例提供的方案对视频数据进行截图处理之后播放窗口的显示效果与现有技术中通过缩放的方式调整视频数据在播放窗口中的显示效果的不同,先结合图1简单示意一种缩放方式对应的播放窗口的显示效果。由图1可知,当视频数据的图像的尺寸与播放窗口的尺寸不匹配时,可以以播放窗口的最短边为准,等比例缩小视频数据的各帧图像的尺寸,居中显示在播放窗口中。图1中,假设播放窗口的尺寸情况如图1中所示,高度远小于长度,则以视频数据中的图像的高度与播放窗口的高度的比值作为缩放比例,对视频数据中各帧图像按照该缩放比例进行尺寸调整,调整后的各帧图像依次输出到播放窗口进行播放,其显示效果即如图1中所示,在播放窗口的长度方向,出现大面积的黑色填充区域,而且视频数据的画面在播放窗口中以较小尺寸进行播放,观看者不易看清视频画面,从而不容易从中获得其想要关注的焦点信息。比如该视频数据是一个教化妆的视频,观看者的关注焦点应该是视频中的人脸,而如果视频数据中除了人脸之外,还包含各种背景装饰、化妆台、各种化妆品等物体,那么在将视频画面整体缩小在播放窗口中播放时,观看者可能看不清视频中的人脸。
基于此,为了保证视频数据的提供者想要向观看者传递的焦点信息能够在任何播放窗口尺寸情况下都能够被观看者明显的感知到,同时兼顾播放窗口的利用率的问题,即令播放窗口中尽量包含以焦点信息为核心的更多相关信息从而在保证焦点信息可靠传递的同时向观看者尽量多的传递更多视频数据中的信息,本发明实施例提供了如下述实施例中介绍的解决方案。
图2为本发明实施例提供的一种视频处理方法的流程图,该视频处理方法可以由流媒体服务器(以下简称服务器)来执行。如图2所示,该方法包括如下步骤:
201、获取播放器的播放窗口尺寸信息。
202、解码视频数据以获得视频数据中的各帧图像。
203、若识别到第一图像中包含目标对象,则以目标对象的位置为基准,根据播放窗口尺寸信息对第一图像进行截图处理,第一图像为各帧图像中的任一帧。
本实施例中,该播放器比如可以是某视频应用程序中集成的播放器。
此时,可选地,当用户成功安装该视频应用程序时,该视频应用程序可以获取上述播放窗口尺寸信息进而向服务器提供该播放窗口尺寸信息。其中,在安装该视频应用程序的终端设备具有不同的尺寸时,该播放窗口尺寸信息往往不同。此时,上述视频数据可以是服务器中的任一视频数据。
或者,可选地,播放器在在用户触发对某个视频数据的播放请求时,向服务器提供播放窗口尺寸信息,此时,该视频数据作为播放处理的对象,服务器可以基于本发明实施例提供的视频处理方法对该视频数据进行处理,将处理结果输出给播放器进行播放。
在该播放器实时触发针对某视频数据的播放请求的场景下,可以参考图3来执行本发明实施例提供的视频处理方法。
图3为本发明实施例提供的另一种视频处理方法的流程图,该视频处理方法可以由流媒体服务器(以下简称服务器)来执行。如图3所示,该方法包括如下步骤:
301、接收播放器发送的播放请求,播放请求中包括播放窗口尺寸信息。
302、解码播放请求对应的视频数据以获得视频数据中的各帧图像。
303、若识别到第一图像中包含目标对象,则以目标对象的位置为基准,根据播放窗口尺寸信息对第一图像进行截图处理,第一图像为各帧图像中的任一帧。
304、将经过截图处理得到的目标图像输出到播放器中进行播放。
观看者可以通过自己的诸如智能手机、平板电脑、PC机等终端设备访问服务器或者通过终端设备中安装的客户端(比如为某视频应用程序)访问服务器,在访问服务器的过程中,观看者可以从视频数据搜索页面或其他视频数据引导页面中选择自己所要观看的视频数据从而触发客户端中集成的播放器或者终端设备中独立安装的播放器向服务器发送针对该视频数据的播放请求,其中,该播放请求中包括播放窗口尺寸信息,该尺寸信息可以包括播放窗口的长宽比以及播放窗口的显示尺寸。其中,长宽比比如为16:9、4:3、1:1等常见的比值,该长宽比也通常称为纵横比;显示尺寸,也称为像素尺寸,比如为1024*768个像素。
服务器在接收到该播放请求后,先获得与该播放请求对应的视频数据,进而解码出该视频数据中包含的各帧图像,之后结合播放窗口尺寸信息对各帧图像进行截图处理,将截取出的图像区域作为目标图像依次输出给播放器以在播放窗口中进行播放。其中,在结合播放窗口尺寸信息对各帧图像进行截图处理的过程中,并非是随意从视频数据的各帧图像中截取出满足播放窗口尺寸信息的图像区域即可,而是以目标对象为基准进行截取。
在具体介绍如何以目标对象为基准进行截取之前,先对何谓目标对象进行解释说明。
概括来说,目标对象即为前面所述的视频数据中的焦点信息,该目标对象可以是视频数据的提供者设定的,也可以是服务器自行从视频数据的各帧图像包含的图像元素中确定出的关键图像元素,该关键图像元素比如是视频数据中出现频率较高的物体。比如,服务器可以基于预先基于机器学习训练出的识别模型预先识别视频数据的各帧图像中包含的物体,统计出现频率超过一定阈值的物体,这些物体即可作为该视频数据中的目标对象。
对于视频数据的提供者设定目标对象的情况,在一可选实施例中,该提供者可以向服务器上传目标对象的图片,从而,服务器接收提供者上传的目标对象的图片,根据该目标对象的图片依次识别视频数据的各帧图像中是否包含该目标对象。在另一可选实施例中,基于提供者的触发比如上传视频数据时,服务器可以将其能够识别的对象的种类列表即可识别对象种类列表呈现给提供者,以供该提供者根据其提供的视频数据中包含的内容以及想要向观看者传递的焦点对象是什么从中选择目标种类,从而服务器基于该提供者的选择操作确定提供者从可识别对象种类列表中选择的目标种类,进而可以根据该目标种类依次识别视频数据的各帧图像中是否包含与该目标种类对应的目标对象。
其中,可识别对象种类比如可以包括人脸、包、厨具等种类,假设提供者选择的目标种类为包,那么视频数据中包含的各种各样的包都将作为目标对象。
可选地,服务器在对目标对象进行识别的过程中,可以是从视频数据的第一帧开始,逐帧进行该目标对象的识别,也可以是每间隔几帧识别一次。不管是逐帧识别还是每间隔几帧识别一次,假设当前识别到第一图像,并假设识别出第一图像中包含目标对象时,则服务器可以定位出该目标对象在第一图像中的位置,进而以该目标对象的位置为基准,根据播放窗口尺寸信息对第一图像进行截图处理,以截取出以该目标对象为核心的、尺寸满足播放窗口的尺寸需求的目标图像,从而将截取出的目标图像输出给播放器在播放窗口中播放。
其中,可以理解的是,服务器中可以预先训练有识别模型,可以基于该识别模型识别第一图像中是否包含目标对象。
其中,目标对象往往具有一点的体积,即在第一图像中占据一定的面积,因此,可以将目标对象在第一图像中所占面积的几何中心作为该目标对象的位置。其中,以目标对象的位置为基准即为以目标对象的位置为中心。
另外,可以理解的是,假设该视频数据就是对该目标对象进行拍摄而录制的视频数据,此时,理想情况下,该视频数据的各帧图像中都包含该目标对象,那么在逐帧识别目标对象的情况下,可以在每帧图像中都识别到该目标对象,那么在识别到某帧图像时,即可以目标对象在该帧图像中的位置为中心,截取符合播放窗口尺寸需求的图像区域,从而最终服务器会逐帧向播放器输出包含该目标对象的、尺寸符合播放窗口尺寸需求的视频画面,此时,不管当前播放窗口的尺寸如何,都能够保证观看者的视觉聚焦在该目标对象上即保证作为焦点信息的该目标对象在不同播放窗口尺寸情况下的传递效果,而且,结合播放窗口的尺寸来围绕目标对象进行图像截取,可以使得播放窗口被以目标对象为核心的画面元素填充满,这也保证了播放窗口的利用率。
下面以当前识别到的包含目标对象的第一图像为例,具体介绍下如何以在第一图像中目标对象的位置为基准,根据播放窗口尺寸信息对第一图像进行截图处理,其中,播放窗口尺寸信息中包括播放窗口的长宽比以及显示尺寸。
在一可选实施例中,以目标对象的位置为基准,根据播放窗口的尺寸信息对第一图像进行截图处理,可以实现为:
若第一图像的显示尺寸大于播放窗口的显示尺寸,则以目标对象的位置为基准,从第一图像中截取出满足该长宽比的最大图像区域;
若该最大图像区域的显示尺寸大于播放窗口的显示尺寸,则根据播放窗口的显示尺寸对最大图像区域进行压缩处理,以得到目标图像,如图4所示;
若该最大图像区域的显示尺寸小于播放窗口的显示尺寸,则根据播放窗口的显示尺寸对最大图像区域进行放大处理,以得到目标图像,如图5所示。
在本实施例中,如图4和图5中所示,假设第一图像的显示尺寸大于播放窗口的显示尺寸。如图4所示,假设目标对象的位置(即其中心点的位置)位于图4中第一图像的右上角的某位置处,假设上述长宽比为4:3,则此时可以以目标对象的位置为中心,从第一图像中截取出满足该长宽比的最大图像区域,假设以目标对象的位置为中心能够截取出的长宽比满足4:3的、且不超过第一图像的边界范围的最大图像区域如图4中所示。此时,进一步比较该最大图像区域的显示尺寸与播放窗口的显示尺寸,如图4中所示,假设该最大图像区域的显示尺寸大于播放窗口的显示尺寸,则根据播放窗口的显示尺寸对该最大图像区域进行压缩处理,以得到显示尺寸与播放窗口的显示尺寸匹配的目标图像。
相反地,如图5所示,假设目标对象的位置(即其中心点的位置)位于图5中第一图像的右上角的某位置处,假设上述长宽比为4:3,则此时可以以目标对象的位置为中心,从第一图像中截取出满足该长宽比的最大图像区域,假设以目标对象的位置为中心能够截取出的长宽比满足4:3的、且不超过第一图像的边界范围的最大图像区域如图5中所示,此时,如图5中所示,该最大图像区域的显示尺寸小于播放窗口的显示尺寸,则根据播放窗口的显示尺寸对该最大图像区域进行放大处理,以得到显示尺寸与播放窗口的显示尺寸匹配的目标图像。
在上述实施例中,之所以不直接以目标对象的位置为中心,根据播放窗口的显示尺寸在第一图像中直接截取满足该显示尺寸的图像区域,是因为,如果播放窗口的显示尺寸远小于第一图像的显示尺寸,直接以播放窗口的显示尺寸所截取的图像区域可能包含的视频内容很少,从而使得观看者能够看到的视频内容很少。
在另一可选实施例中,以目标对象的位置为基准,根据播放窗口的尺寸信息对第一图像进行截图处理,可以实现为:
若第一图像的显示尺寸小于播放窗口的显示尺寸,则根据播放窗口的显示尺寸对第一图像进行放大处理;
在放大后的第一图像中重新定位目标对象的位置,以重新定位的目标对象的位置为基准,根据播放窗口的尺寸信息对放大后的第一图像进行截图处理。
在本实施例中,如图6中所示,假设第一图像的显示尺寸小于播放窗口的显示尺寸,此时,可以根据播放窗口的显示尺寸先对第一图像进行放大处理,使得放大后的第一图像的显示尺寸至少与播放窗口的显示尺寸相等,进而在放大后的第一图像中重新定位目标对象的位置。此时,可以根据目标对象在放大前的第一图像中相对各边界的距离以及第一图像的放大倍数,重新确定出目标对象在放大后的第一图像中的位置。之后,以重新定位的目标对象的位置为基准,根据播放窗口的尺寸信息对放大后的第一图像进行截图处理。该截图处理的过程与前述图4和图5所示实施例的过程基本一致,首先在放大后的第一图像中以目标对象的位置为中心截取出满足播放窗口的长宽比的最大图像区域,进而根据该最大图像区域的显示尺寸与播放窗口的显示尺寸的大小关系,对该最大图像区域进行缩小或放大处理,以得到与播放窗口的显示尺寸匹配的目标图像。图6中示意的是放大后的第一图像的显示尺寸与播放窗口的显示尺寸相等,那么此时,除非目标对象的位置位于放大后的第一图像的中心点上,否则,截取的最大图像区域的显示尺寸都将小于播放窗口的显示尺寸,此时放大最大图像区域至与播放窗口的显示尺寸匹配即可。
另外,前述实施例中提到,如果视频数据中的各帧图像中都包含目标对象,那么依次对每帧图像都进行上述目标对象识别、截图处理即可。但是实际应用中,还有一种情况是,视频数据中仅部分图像中包含目标对象,而剩余的其他图像中不包含目标对象,此时,可以采用如下的方式进行处理。
在一可选实施例中,假设当前识别到的第一图像中不包含目标对象,则可以以该第一图像的中心点为基准,根据播放窗口的尺寸信息对第一图像进行截图处理。截图处理的过程可以参见前述图4-图6所示的过程,区别仅在于此时的基准为第一图像的中心点。
在另一可选实施例中,假设当前识别到的第一图像中不包含目标对象,并且在第一图像之前的第二图像中识别出目标对象,则可以以在第二图像中目标对象的位置为基准,根据播放窗口的尺寸信息对第一图像进行截图处理。其中,以在第二图像中目标对象的位置为基准,是指在第一图像中定位出目标对象在第二图像中的位置坐标。截图处理的过程可以参见前述图4-图6所示的过程。
本实施例对应的实际情况是这样的:假设在某帧图像中识别到了目标对象,那么针对这帧图像可以基于图4-图6的过程进行截图处理即可,但是如果随后识别的下一帧图像中不再包含该目标对象,则由于视频数据的画面具有一定的连续性,为避免观看者所观看到的视频画面产生过大幅度的跳转,保证视频画面的连续性,在下一帧图像中定位出目标对象在上一帧图像中的位置,在该下一帧图像中以该位置为基准进行截图处理。
另外,值得说明的是,从视频数据开始播放直到首次识别到包含目标对象的图像为止,期间的各帧图像的截取过程,都可以以图像的中心点为基准进行截取。
基于上述各实施例,通过以目标对象的位置为基准,结合播放窗口的尺寸需求对视频数据中的图像进行截图,将截取出的图像区域输出到播放器进行播放,可以使得播放窗口被视频画面填充满,而且使得观看者不受播放窗口尺寸与视频数据的图像尺寸不一致的影响,能够看到作为视频数据中焦点信息的目标对象的相关视频画面。
以下将详细描述本发明的一个或多个实施例的视频处理装置。本领域技术人员可以理解,这些视频处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图7为本发明实施例提供的一种视频处理装置的结构示意图,如图7所示,该装置包括:获取模块11、解码模块12、图像处理模块13。
获取模块11,用于获取播放器的播放窗口尺寸信息。
解码模块12,用于解码视频数据以获得所述视频数据中的各帧图像。
图像处理模块13,用于若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
可选地,所述获取模块11可以用于:接收所述播放器发送的播放请求,所述播放请求中包括所述播放窗口尺寸信息,所述视频数据与所述播放请求对应。
所述装置还包括:输出模块,用于将经过所述截图处理得到的目标图像输出到所述播放器中进行播放。
可选地,所述获取模块11还可以用于:接收所述视频数据的提供者上传的所述目标对象的图片。
相应地,所述图像处理模块13可以具体用于:根据所述目标对象的图片,识别所述第一图像中是否包含所述目标对象。
可选地,所述装置还包括:显示模块,用于响应于所述视频数据的提供者的触发,展示可识别对象种类列表。
相应地,所述获取模块11还可以用于:确定所述提供者从所述可识别对象种类列表中选择的目标种类。
相应地,所述图像处理模块13可以具体用于:根据所述目标种类,识别所述第一图像中是否包含与所述目标种类对应的所述目标对象。
可选地,所述图像处理模块13还可以用于:从所述各帧图像包含的图像元素中确定出关键图像元素,所述关键图像元素作为所述目标对象;识别所述第一图像中是否包含所述关键图像元素。
可选地,所述图像处理模块13还可以用于:若识别出所述第一图像中不包含所述目标对象,并且在所述第一图像之前的第二图像中识别出所述目标对象,则以在所述第二图像中所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理。
可选地,所述图像处理模块13还可以用于:若识别出所述第一图像中不包含所述目标对象,则以所述第一图像的中心点为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理。
可选地,所述播放窗口尺寸信息中包括播放窗口的长宽比以及播放窗口的显示尺寸。
可选地,所述图像处理模块13还可以用于:若所述第一图像的显示尺寸小于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述第一图像进行放大处理;在放大后的第一图像中重新定位所述目标对象的位置,以重新定位的所述目标对象的位置为基准,根据所述播放窗口尺寸信息对放大后的第一图像进行截图处理。
可选地,所述图像处理模块13还可以用于:若所述第一图像的显示尺寸大于所述播放窗口的显示尺寸,则以所述目标对象的位置为基准,从所述第一图像中截取出满足所述长宽比的最大图像区域;若所述最大图像区域的显示尺寸大于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述最大图像区域进行压缩处理;若所述最大图像区域的显示尺寸小于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述最大图像区域进行放大处理。
图7所示装置可以执行图1-图6所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图6所示实施例中的描述,在此不再赘述。
以上描述了视频处理装置的内部功能和结构,在一个可能的设计中,视频处理装置的结构可实现为一电子设备,如图8所示,该电子设备可以包括:处理器21和存储器22。其中,所述存储器22用于存储支持电子设备执行上述图1-图6所示实施例中提供的视频处理方法的程序,所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤:
获取播放器的播放窗口尺寸信息;
解码视频数据以获得所述视频数据中的各帧图像;
若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
可选地,所述处理器21还用于执行前述图1-图6所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图6所示方法实施例中视频处理方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程视频播放设备的处理器以产生一个机器,使得通过计算机或其他可编程视频播放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程视频播放设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程视频播放设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种视频处理方法,其特征在于,包括:
获取播放器的播放窗口尺寸信息;
解码视频数据以获得所述视频数据中的各帧图像;
若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
2.根据权利要求1所述的方法,其特征在于,所述获取播放器的播放窗口尺寸信息,包括:
接收所述播放器发送的播放请求,所述播放请求中包括所述播放窗口尺寸信息,所述视频数据与所述播放请求对应;
所述方法还包括:将经过所述截图处理得到的目标图像输出到所述播放器中进行播放。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述视频数据的提供者上传的所述目标对象的图片;
根据所述目标对象的图片,识别所述第一图像中是否包含所述目标对象。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述视频数据的提供者的触发,展示可识别对象种类列表;
确定所述提供者从所述可识别对象种类列表中选择的目标种类;
根据所述目标种类,识别所述第一图像中是否包含与所述目标种类对应的所述目标对象。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述各帧图像包含的图像元素中确定出关键图像元素,所述关键图像元素作为所述目标对象;
识别所述第一图像中是否包含所述关键图像元素。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若识别出所述第一图像中不包含所述目标对象,并且在所述第一图像之前的第二图像中识别出所述目标对象,则以在所述第二图像中所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若识别出所述第一图像中不包含所述目标对象,则以所述第一图像的中心点为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述播放窗口尺寸信息中包括播放窗口的长宽比以及播放窗口的显示尺寸。
9.根据权利要求8所述的方法,其特征在于,所述以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,包括:
若所述第一图像的显示尺寸小于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述第一图像进行放大处理;
在放大后的第一图像中重新定位所述目标对象的位置,以重新定位的所述目标对象的位置为基准,根据所述播放窗口尺寸信息对放大后的第一图像进行截图处理。
10.根据权利要求8所述的方法,其特征在于,所述以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,包括:
若所述第一图像的显示尺寸大于所述播放窗口的显示尺寸,则以所述目标对象的位置为基准,从所述第一图像中截取出满足所述长宽比的最大图像区域;
若所述最大图像区域的显示尺寸大于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述最大图像区域进行压缩处理;
若所述最大图像区域的显示尺寸小于所述播放窗口的显示尺寸,则根据所述播放窗口的显示尺寸对所述最大图像区域进行放大处理。
11.一种视频处理装置,其特征在于,包括:
获取模块,用于获取播放器的播放窗口尺寸信息;
解码模块,用于解码视频数据以获得所述视频数据中的各帧图像;
图像处理模块,用于若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
12.一种电子设备,其特征在于,包括:存储器、处理器;其中,
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
接收播放器发送的播放请求,所述播放请求中包括播放窗口的尺寸信息;
获取播放器的播放窗口尺寸信息;
解码视频数据以获得所述视频数据中的各帧图像;
若识别到第一图像中包含目标对象,则以所述目标对象的位置为基准,根据所述播放窗口尺寸信息对所述第一图像进行截图处理,所述第一图像为所述各帧图像中的任一帧。
CN201811013508.XA 2018-08-31 2018-08-31 视频处理方法、装置和设备 Active CN110876079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811013508.XA CN110876079B (zh) 2018-08-31 2018-08-31 视频处理方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811013508.XA CN110876079B (zh) 2018-08-31 2018-08-31 视频处理方法、装置和设备

Publications (2)

Publication Number Publication Date
CN110876079A true CN110876079A (zh) 2020-03-10
CN110876079B CN110876079B (zh) 2022-05-06

Family

ID=69715411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811013508.XA Active CN110876079B (zh) 2018-08-31 2018-08-31 视频处理方法、装置和设备

Country Status (1)

Country Link
CN (1) CN110876079B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447260A (zh) * 2020-03-20 2020-07-24 北京字节跳动网络技术有限公司 信息推送、信息发布方法及装置
CN112055247A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112055246A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频处理方法、装置、系统及存储介质
CN113163254A (zh) * 2021-04-06 2021-07-23 广州津虹网络传媒有限公司 直播图像处理方法、装置及电子设备
CN117459662A (zh) * 2023-10-11 2024-01-26 书行科技(北京)有限公司 一种视频播放方法、识别方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310655B1 (en) * 1996-04-09 2001-10-30 Hughes Electronics Corporation Method and device for displaying widescreen images on conventional aspect ratio display monitors
KR20040079163A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 정지영상의 화면크기조정이 가능한 기록재생장치 및 그제어방법
US20060139371A1 (en) * 2004-12-29 2006-06-29 Funmail, Inc. Cropping of images for display on variably sized display devices
US20060188173A1 (en) * 2005-02-23 2006-08-24 Microsoft Corporation Systems and methods to adjust a source image aspect ratio to match a different target aspect ratio
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
JP2011239104A (ja) * 2010-05-07 2011-11-24 Panasonic Corp カメラ装置、拡大表示方法およびプログラム
CN102625147A (zh) * 2012-02-29 2012-08-01 中山大学 一种移动可视设备自适应显示方法
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技(北京)有限公司 视频图像缩放方法和装置
CN105979383A (zh) * 2016-06-03 2016-09-28 北京小米移动软件有限公司 图像获取方法及装置
CN107562877A (zh) * 2017-09-01 2018-01-09 北京搜狗科技发展有限公司 图像数据的显示方法、装置和用于图像数据显示的装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310655B1 (en) * 1996-04-09 2001-10-30 Hughes Electronics Corporation Method and device for displaying widescreen images on conventional aspect ratio display monitors
KR20040079163A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 정지영상의 화면크기조정이 가능한 기록재생장치 및 그제어방법
US20060139371A1 (en) * 2004-12-29 2006-06-29 Funmail, Inc. Cropping of images for display on variably sized display devices
US20060188173A1 (en) * 2005-02-23 2006-08-24 Microsoft Corporation Systems and methods to adjust a source image aspect ratio to match a different target aspect ratio
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
JP2011239104A (ja) * 2010-05-07 2011-11-24 Panasonic Corp カメラ装置、拡大表示方法およびプログラム
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN102625147A (zh) * 2012-02-29 2012-08-01 中山大学 一种移动可视设备自适应显示方法
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技(北京)有限公司 视频图像缩放方法和装置
CN105979383A (zh) * 2016-06-03 2016-09-28 北京小米移动软件有限公司 图像获取方法及装置
CN107562877A (zh) * 2017-09-01 2018-01-09 北京搜狗科技发展有限公司 图像数据的显示方法、装置和用于图像数据显示的装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447260A (zh) * 2020-03-20 2020-07-24 北京字节跳动网络技术有限公司 信息推送、信息发布方法及装置
CN112055247A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112055246A (zh) * 2020-09-11 2020-12-08 北京爱奇艺科技有限公司 一种视频处理方法、装置、系统及存储介质
CN112055247B (zh) * 2020-09-11 2022-07-08 北京爱奇艺科技有限公司 一种视频播放方法、装置、系统及存储介质
CN112055246B (zh) * 2020-09-11 2022-09-30 北京爱奇艺科技有限公司 一种视频处理方法、装置、系统及存储介质
CN113163254A (zh) * 2021-04-06 2021-07-23 广州津虹网络传媒有限公司 直播图像处理方法、装置及电子设备
CN113163254B (zh) * 2021-04-06 2023-03-28 广州津虹网络传媒有限公司 直播图像处理方法、装置及电子设备
CN117459662A (zh) * 2023-10-11 2024-01-26 书行科技(北京)有限公司 一种视频播放方法、识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110876079B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110876079B (zh) 视频处理方法、装置和设备
US10425679B2 (en) Method and device for displaying information on video image
US10368123B2 (en) Information pushing method, terminal and server
US8913171B2 (en) Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance
US8331760B2 (en) Adaptive video zoom
CN110189378A (zh) 一种视频处理方法、装置及电子设备
US10560752B2 (en) Apparatus and associated methods
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
CN108235120B (zh) 直播视频流推送方法、装置及电子设备
US10453263B2 (en) Methods and systems for displaying augmented reality content associated with a media content instance
US10531153B2 (en) Cognitive image obstruction
CN106921883B (zh) 一种视频播放处理的方法及装置
CN111327917A (zh) 直播内容的预览方法、装置、设备及存储介质
US20190199998A1 (en) Video file processing method and apparatus
CN111385591A (zh) 网络直播方法、直播处理方法、装置、直播服务器及终端设备
CN107635153B (zh) 一种基于影像数据的交互方法及系统
CN110996157A (zh) 一种视频播放方法、装置、电子设备及机器可读存储介质
CN113301355B (zh) 视频传输、直播与播放方法、设备及存储介质
WO2017101414A1 (zh) 基于安卓平台的多媒体播放方法、装置及移动终端设备
CN115396705A (zh) 投屏操作验证方法、平台及系统
CN113709566B (zh) 多媒体内容的播放方法、装置、设备以及计算机存储介质
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
CN110381359B (zh) 一种视频处理方法、装置、计算机设备及存储介质
CN113301413B (zh) 信息显示方法及装置
US20170139933A1 (en) Electronic Device, And Computer-Readable Storage Medium For Quickly Searching Video Segments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant