CN111614991B - 视频进度确定方法、装置、电子设备及存储介质 - Google Patents

视频进度确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111614991B
CN111614991B CN202010388869.3A CN202010388869A CN111614991B CN 111614991 B CN111614991 B CN 111614991B CN 202010388869 A CN202010388869 A CN 202010388869A CN 111614991 B CN111614991 B CN 111614991B
Authority
CN
China
Prior art keywords
video
determining
frame
fingerprints
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010388869.3A
Other languages
English (en)
Other versions
CN111614991A (zh
Inventor
朱侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010388869.3A priority Critical patent/CN111614991B/zh
Publication of CN111614991A publication Critical patent/CN111614991A/zh
Application granted granted Critical
Publication of CN111614991B publication Critical patent/CN111614991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明实施例公开了一种视频进度确定方法、装置、电子设备及存储介质，所述方法包括：接收与第一用户账号对应的任一客户端发送的视频录制片段；提取所述视频录制片段中各视频帧的视频指纹；将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。本发明实施例根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与相应的用户账号对应的任一客户端推送视频流，从而使得用户无需再手动寻找上次观看的进度，从而简化了用户操作，节省了用户时间，提高了用户体验。

Description

视频进度确定方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种视频进度确定方法、装置、电子设备及存储介质。
背景技术
随着智能电视、手机和平板产品的发展，用户越来越习惯随时随地观看视频节目。
当用户观看视频节目时，经常会发生一种情况，就是用户需要接着上次观看的进度继续观看，但是目前对于该问题，暂无好的解决方案。例如，目前对于该问题的处理方式是：需要用户记住上次观看的进度，然后在播放相应的视频节目时，手动寻找上次观看的进度进行观看，这导致用户操作繁琐，耗时较长，因而体验较差。
发明内容
针对现有技术中存在的问题，本发明实施例提出一种视频进度确定方法、装置、电子设备及存储介质。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种视频进度确定方法，包括：
接收与第一用户账号对应的任一客户端发送的视频录制片段；
提取所述视频录制片段中各视频帧的视频指纹；
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；
根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
进一步地，提取所述视频录制片段中各视频帧的视频指纹，具体包括：
对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域；其中，所述有效区域为包含视频播放内容的区域；
根据各视频帧的有效区域，提取各视频帧的视频指纹。
进一步地，所述对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域，具体包括：
根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上、下、左、右边缘线；
将各视频帧的上、下、左、右边缘线限定的区域作为各视频帧的有效区域。
进一步地，根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上边缘线，具体包括：
根据各视频帧与上一相邻视频帧的差值，确定各视频帧的差值矩阵；其中，所述差值矩阵由各视频帧与上一相邻视频帧中各像素点的差值组成；
对于每一视频帧，将相应视频帧的差值矩阵划分为若干列，并对于每一列，从上向下遍历，当相应列上的数值大于预设阈值时确定该数值对应的像素点为相应列的候选上边缘点；
对于每一视频帧，根据相应视频帧的差值矩阵中各个列的候选上边缘点，确定相应视频帧的上边缘线。
进一步地，将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度，具体包括：
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述各视频帧匹配的视频节目和时间进度；
将匹配后出现次数最多的视频节目作为与所述视频录制片段对应的视频节目；
将匹配后得到的时间进度进行聚类，将包含时间进度数量最多的一类作为目标聚类，将目标聚类中位于聚类中心点的时间进度作为目标时间进度；
将所述目标时间进度或所述目标时间进度减去所述视频录制片段的长度得到的时间进度作为与所述视频录制片段对应的时间进度。
进一步地，在将各视频帧的视频指纹与视频指纹库进行比对之前，所述方法还包括：
从各视频节目中提取关键视频帧以及相应的时间进度；
对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹；
建立所述关键视频帧与相应的视频指纹以及时间进度之间的映射关系，得到所述视频指纹库。
进一步地，在对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹之后，所述方法还包括：
根据关键视频帧的视频指纹，使用皮尔逊相关系数排除掉相关性大于预设阈值的关键视频帧。
第二方面，本发明实施例还提供了一种视频进度确定装置，包括：
接收模块，用于接收与第一用户账号对应的任一客户端发送的视频录制片段；
提取模块，用于提取所述视频录制片段中各视频帧的视频指纹；
确定模块，用于将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；
推送模块，用于按照确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频进度确定方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视频进度确定方法。
由上述技术方案可知，本发明实施例提供的视频进度确定方法、装置、电子设备及存储介质，根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与相应的用户账号对应的任一客户端推送视频流，从而使得用户无需再手动寻找上次观看的进度，从而简化了用户操作，节省了用户时间，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的视频进度确定方法的流程图；
图2是本发明一实施例提供的上边缘点的确定过程示意图；
图3是本发明一实施例提供的通过聚类方法得到时间进度的示意图；
图4是本发明一实施例提供的视频进度确定装置的结构示意图；
图5是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
随着智能电视、手机和平板产品的发展，用户越来越习惯随时随地观看视频节目。当用户观看视频节目时，经常会发生一种情况，就是用户需要接着上次观看的进度继续观看，但是目前对于该问题，暂无好的解决方案。例如，目前对于该问题的处理方式是：需要用户记住上次观看的进度，然后在播放相应的视频节目时，手动寻找上次观看的进度进行观看，这导致用户操作繁琐，耗时较长，因而体验较差。为解决该问题，本发明实施例提供了一种视频进度确定方法，本发明实施例能够根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与相应的用户账号对应的任一客户端推送视频流，从而使得用户无需再手动寻找上次观看的进度，从而简化了用户操作，节省了用户时间，提高了用户体验。
举例来说，对于可能的一种场景是：用户A和用户B在用户B的家中一起通过电视观看视频节目，用户A有事需要回家，假如用户A回家后想接着刚才的进度继续观看视频节目，此时，就需要用户A用手机或PAD对用户B家正在播放的视频节目进行录制，然后发送至服务器，由服务器根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与用户A对应的任一客户端(例如安装在用户A手机或PAD或电视上的爱奇艺、腾讯、优酷等客户端)推送视频流，从而使得用户A无需再手动寻找上次观看的进度，从而简化了用户A的操作，节省了用户A的时间，提高了用户A的使用体验。此外，对于这种场景来说，还可以是用户B用手机或PAD对用户B家正在播放的视频节目进行录制，然后发送给用户A，然后由用户A发送至服务器。此外，对于这种场景来说，还可以是用户B用手机或PAD对用户B家正在播放的视频节目进行录制，然后由用户B发送至服务器，同时需要告知服务器该视频录制片段需要与用户A的账号进行绑定。
举例来说，对于可能的另一种场景是：当用户使用多个视频类APP以及多个终端观看视频节目时，会存在难以在多个APP以及多个终端共享播放进度的问题。例如，用户在智能电视上的某个APP观看某视频，若外出时想继续通过手机上的另一APP观看，则需要在手机上手动寻找观看进度，如在外面仍未观看完该视频，则归家后在智能电视上需要再次手动寻找观看进度，因此导致用户的体验感较差。例如，用户C在家看电视上播放的视频节目，此时用户C收到通知需要出去乘坐地铁办事，假设用户C希望在做地铁的途中使用手机接着刚才的进度继续观看视频节目，此时，就需要用户C用手机或PAD对电视上正在播放的视频节目进行录制，然后发送至服务器，由服务器根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与用户C对应的任一客户端(例如安装在用户A手机或PAD或电视上的爱奇艺、腾讯、优酷等客户端)推送视频流，从而使得用户C在地铁上使用手机自动接着刚才的进度观看视频节目，无需手动寻找上次观看的进度，从而简化了用户C的操作，节省了用户C的时间，提高了用户C的使用体验。也即本实施例可以实现在多个终端和多个APP之间共享播放进度，从而方便用户在多个终端和多个APP之间进行视频观看时的自动无缝对接，从而提高了用户体验。
由此可见，本发明实施例能够很好地解决视频进度自动跟踪问题，下面将通过具体实施例对本发明提供的视频进度确定方法进行详细解释说明。
图1示出了本发明一实施例提供的视频进度确定方法的流程图，如图1所示，本发明实施例提供的视频进度确定方法，应用于服务器，具体包括如下内容：
步骤101：接收与第一用户账号对应的任一客户端发送的视频录制片段。
在本步骤中，需要说明的是，所述视频录制片段为对正在播放的视频进行录制得到的视频片段。
在本步骤中，与第一用户账号对应的任一客户端可以为智能电视、手机、平板电脑这类终端，也可以为安装在智能电视、手机或平板电脑上的各类视频播放APP。
举例来说，用户A和用户B在用户B的家中一起通过电视观看视频节目，用户A有事需要回家，假如用户A回家后想接着刚才的进度继续观看视频节目，此时，就需要用户A用手机或PAD对用户B家正在播放的视频节目进行录制，然后发送至服务器。此外，还可以是用户B用手机或PAD对用户B家正在播放的视频节目进行录制，然后发送给用户A，由用户A发送至服务器。此外，还可以是用户B用手机或PAD对用户B家正在播放的视频节目进行录制，然后由用户B将该视频录制片段与用户A的账号一并发送至服务器，以告知服务器该视频录制片段需要与用户A的账号进行绑定。相应地，服务器在接收到该视频录制片段后，会进行下面步骤102-104的处理。
此外，对于另一种应用场景，假设某用户在智能电视上的APP1(例如，聚好看)上观看《安家》这一电视剧，此时由于一些情况需要外出，该用户希望在外出过程中能够通过手机上的APP2(例如，腾讯视频)继续观看《安家》这一电视剧，且希望不需要手动调节播放进度，自动接着智能电视上的播放进度继续播放。此时，根据本实施例提供的方案，该用户需要利用手机录制一段智能电视上当前正在播放的《安家》视频，时间不需要太长，例如可以录制10秒，在录制完成后，将录制好的视频录制片段与用户账号上传至服务器，相应地，服务器在接收到该视频录制片段后，会进行下面步骤102-104的处理。
步骤102：提取所述视频录制片段中各视频帧的视频指纹；
在本步骤中，需要说明的是，视频指纹(Video Fingerprinting)为根据视频内容生成的一串可唯一标识当前视频的指纹字符，具有高稳定性，有效避免视频文件的格式转换、编辑、裁剪拼接、压缩旋转等操作的影响，可用于视频相似查重、视频版权、广告识别等多种场景。在本步骤中，服务器在接收到客户端发送的视频录制片段后，首先从视频录制片段中提取出多个视频帧(可以理解成多张图片)，然后对每个视频帧进行指纹提取。需要说明的是，在进行指纹提取时，可以使用感知哈希、卷积神经网络等常见的图片指纹提取方法进行指纹提取。
步骤103：将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；
在本步骤中，视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系。
在本步骤中，由于视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系，因此，将步骤102得到的各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，可以确定与各视频帧对应的视频节目以及时间进度，进而可以确定所述视频录制片段对应的视频节目和时间进度。
举例来说，假设步骤102中的视频录制片段包含10个视频帧，然后将每个视频帧的视频指纹与视频指纹库中的视频指纹进行比对后发现：与第1个视频帧对应的视频节目为《安家》，对应的时间进度为26:46，与第2个视频帧对应的视频节目为《小欢喜》，对应的时间进度分别为43:01；与第3个视频帧对应的视频节目为《安家》，对应的时间进度分别为26:48，与第4个视频帧对应的视频节目为《完美关系》，对应的时间进度分别为13:02，与第5-10个视频帧对应的视频节目均为《安家》，对应的时间进度分别为26:50，26:51，26:52，26:53，26:54，26:55，26:56。由此可见，由于该视频录制片段包含的10个视频帧中，有8个视频帧对应的视频节目均为《安家》，只有2个视频帧对应的视频节目分别为《小欢喜》和《完美关系》，可以理解，这2个视频帧可能由于演员在这几个电视剧中同时出演的缘故，导致根据视频指纹得到的视频节目匹配结果存在偏差。不过根据多数原则，该视频录制片段对应的视频节目应该为《安家》，至于对应的播放进度，可以为这10个视频帧中第一个视频帧对应的播放进度，也可以为这10个视频帧中中间某一个视频帧对应的播放进度，也可以为这10个视频帧中最后一个视频帧对应的播放进度，本实施例对此不作限定，此外，为避免用户错过中间衔接阶段的相关视频内容，也可以将对应的播放进度设定为在第一个视频帧对应的播放进度的基础上减去预设时间值。
步骤104：根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
在本步骤中，由于根据步骤103的匹配结果，已经确定出与第一用户账号对应的当前正在播放的视频节目和时间进度，因此，在本步骤中，可以根据确定好的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。这里，需要说明的是，向与所述第一用户账号对应的任一客户端推送视频流，可以为自动向与所述第一用户账号对应的任一客户端推送视频流，也可以为在检测到与所述第一用户账号对应的任一客户端发出播放请求时，向与所述第一用户账号对应的任一客户端推送视频流。这里在检测到与所述第一用户账号对应的任一客户端发出播放请求时可以为：在检测到用户打开手机或上的腾讯视频时，或，在检测到用户打开手机或上的腾讯视频且请求播放视频节目《安家》时。
由此可见，在本实施例中，当用户在智能电视上的APP1(例如，聚好看)上观看《安家》这一电视剧时，由于一些情况需要外出，用户希望在外出过程中能够通过手机上的APP2(例如，腾讯视频)继续观看《安家》这一电视剧，且希望不需要手动调节播放进度，希望自动接着智能电视上的播放进度继续播放。此时，根据本实施例提供的方案，用户只需要利用手机或平板录制一段智能电视上当前正在播放的《安家》视频，时间不需要太长，例如可以录制10秒或20秒，在录制完成后，将录制好的视频录制片段与对应的用户账号上传至服务器，相应地，服务器在接收到该视频录制片段后，对接收到视频录制片段中包含的各视频帧进行指纹提取，然后与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度，进而根据确定好的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。例如，当用户打开手机上的APP2腾讯视频时，服务器就会根据确定好的视频节目和时间进度，向用户的腾讯视频推送正在播放的《安家》视频流，且播放进度与用户在智能电视上的APP1(例如，聚好看)上观看《安家》的进度一致，无需用户手动查找播放进度，从而提高了用户体验。
由上述技术方案可知，本发明实施例提供的视频进度确定方法，根据接收到的视频录制片段，自动定位到相应的视频节目和时间进度，从而可以向与相应的用户账号对应的任一客户端推送视频流，从而使得用户无需再手动寻找上次观看的进度，从而简化了用户操作，节省了用户时间，提高了用户体验。
基于上述实施例的内容，在本实施例中，提取所述视频录制片段中各视频帧的视频指纹，具体包括：
对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域；其中，所述有效区域为包含视频播放内容的区域；
根据各视频帧的有效区域，提取各视频帧的视频指纹。
在本实施例中，用户在利用手机或平板录制一段在智能电视或其他手机或其他平板上正在播放的《安家》视频时，一般会包含一部分噪声，如室内的环境背景，这部分环境背景如果不去除，将会影响视频指纹提取结果的有效性。因此，在本实施例中，为保证从各视频帧提取得到的视频指纹的有效性，本实施例对录制得到的各视频帧进行有效区域提取，也即将与视频播放内容无关的区域去除，从而使得经过预处理的各视频帧为仅包含视频播放内容的视频帧，从而使得根据该视频帧提取得到的视频指纹能够准确反映该视频帧的特征，从而有利于后续根据视频指纹准确确定对应的视频节目和播放进度。
基于上述实施例的内容，在本实施例中，所述对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域，具体包括：
根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上、下、左、右边缘线；
将各视频帧的上、下、左、右边缘线限定的区域作为各视频帧的有效区域。
在本实施例中，给出了一种较为简单有效的确定各视频帧有效区域的方法。具体来说，对于静止的画面，一般不容易找到播放区域的边界，但是根据变化的画面却可以比较容易地找到播放区域的边界，因此，在本实施例中，根据所述视频录制片段中相邻视频帧的差值，可以比较方便且有效地确定各视频帧的上、下、左、右边缘线，在得到各视频帧的上、下、左、右边缘线后，即可将各视频帧的上、下、左、右边缘线限定的区域作为各视频帧的有效区域。
基于上述实施例的内容，在本实施例中，根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上边缘线，具体包括：
根据各视频帧与上一相邻视频帧的差值，确定各视频帧的差值矩阵；其中，所述差值矩阵由各视频帧与上一相邻视频帧中各像素点的差值组成；
对于每一视频帧，将相应视频帧的差值矩阵划分为若干列，并对于每一列，从上向下遍历，当相应列上的数值大于预设阈值时确定该数值对应的像素点为相应列的候选上边缘点；
对于每一视频帧，根据相应视频帧的差值矩阵中各个列的候选上边缘点，确定相应视频帧的上边缘线。
在本实施例中，由于用户手机或平板录制的短视频和传统影视视频不一样，手机或平板录制视频的特点表现为：当前场景手机录制的视频虽然表现为画中画，但是外侧画面为室内的背景信息基本静止，内侧画面持续变动(视频节目)。因此，本实施例对用户上传的短视频进行预处理，用于提高后续视频指纹提取的准确度。
下面结合图2详细介绍一下确定各视频帧的上、下、左、右边缘线的过程：
假设用户录制的视频分辨率为H*W，首先生成0矩阵(即H*W大小的元素全为0的矩阵)，定义为w0，每次收到用户录制的视频录制片段中的一帧Ik(k＝0，1，...)时，执行以下步骤：记录本帧Ik，如果k不为0(不是首帧)，则计算本帧和上一帧Ik-1的差值矩阵(H*W)，记为w1，对于两个帧Ik，Ik-1，定义差值矩阵就是两帧每个像素的差值。像素的差值通过以下方法进行计算：对于两个像素Ik[i,j]和Ik'[i',j']，设其RGB值分别为(R,G,B)和(R',G',B')(R,R',G,G',B,B'均处于0到255之间)，则定义这两个像素的差值为：dist(Ik[i,j],Ik'[i',j'])＝min(64,max(|R-R'|,|G-G'|,|B-B'|))。此外，对w1做归一化，取出w1的最大元素的值记为a，将w1每个元素的值除以a，并且将结果赋回到w1，最后将w0和w1求和并且将值赋值回w0。
在本实施例中，基于差值矩阵，可以确定选取上/下边缘的候选集，以及左/右边缘的候选集。具体来说，一般可以做如下假设：用户录制的视频至少占用了总屏幕的一半(一般情况会更大)，因此可以对w0矩阵的元素按照大小排序，假设中位数为u，则上边缘的确定方式为：
①按照列等分屏幕为n+1份，每个分割的位置记为Xi(i<n)。
②对于每一列从上往下扫描w0可以提取n个候选列。
③当出现元素值a(Xi，Yi)>＝u时候就确定候选点位置。
④然后根据确定好的候选点位置，利用损失函数Huber Loss采用最优化的方法即可计算出上边缘函数f，进而确定上边缘线。此外，本实施例对上边缘线的确定方式不作限定。例如，还可以采用函数拟合的方式确定上边缘线。
当n＝4时，如图2所示，黑点表示扫描到的点位，箭头表示扫描的列，上边缘线在图2中也已经标出。
需要说明的是，下边缘和左右边缘算法类似上边缘的计算方法，这边不再详述。此外，当计算得到上下边缘，左右边缘后，对图像做拉伸变化使得图像的尺寸满足指纹提取的要求，进而进行后续的指纹提取处理。
基于上述实施例的内容，在本实施例中，将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度，具体包括：
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述各视频帧匹配的视频节目和时间进度；
将匹配后出现次数最多的视频节目作为与所述视频录制片段对应的视频节目；
将匹配后得到的时间进度进行聚类，将包含时间进度数量最多的一类作为目标聚类，将目标聚类中位于聚类中心点的时间进度作为目标时间进度；
将所述目标时间进度或所述目标时间进度减去所述视频录制片段的长度得到的时间进度作为与所述视频录制片段对应的时间进度。
在本实施例中，将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述各视频帧匹配的视频节目和时间进度。其中，在将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对时，可以采用皮尔逊相关系数，例如取相关性>＝0.85作为匹配依据。在本实施例中，需要说明的是，匹配后出现次数最多的视频节目作就是需要播放的视频节目。在确定完需要播放的视频节目后，还需要进一步确定对应的时间进度，由于视频中某些视频帧可能会重复出现，因此，本实施例采用如下算法精确匹配对应的时间段：对于匹配到的视频帧，采用DPCA(密度峰值算法)将匹配到的视频帧聚类(距离的定义为各视频帧之间的时间差，截断距离暂定为7秒)，选聚类结果中视频帧数量最多的一类作为目标聚类，并将目标聚类中位于聚类中心点的时间进度作为目标时间进度，最后将所述目标时间进度或所述目标时间进度减去所述视频录制片段的长度得到的时间进度作为与所述视频录制片段对应的时间进度，也即视频播放进度位置。如图3所示，横线代表视频播放的时间条，聚类后发现聚类2包含的时间进度数量最多(3个)，因此，以聚类2的中心为基准，计算出播放的起始时间。需要说明的是，本实施例通过这样的处理，可以较为准确地确定与所述视频录制片段对应的视频节目和时间进度。
基于上述实施例的内容，在本实施例中，在将各视频帧的视频指纹与视频指纹库进行比对之前，所述方法还包括：
从各视频节目中提取关键视频帧以及相应的时间进度；
对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹；
建立所述关键视频帧与相应的视频指纹以及时间进度之间的映射关系，得到所述视频指纹库。
在本实施例中，可以预先对常见的视频节目和热门的视频节目进行关键字提取。例如，可以使用ffmpeg等解码软件从各视频节目中提取关键帧。这里各视频节目中的关键视频帧是指：各视频节目中热门视频帧和经典视频帧。如包含关键人物的视频帧，包含特定场景内容的视频帧，如包含拥抱场景、亲吻场景、吵架场景、戏剧矛盾冲突等场景内容的视频帧。在本实施例中，在提取关键视频帧的同时，也要提取关键视频帧对应的时间进度，在得到关键视频帧后，需要对得到的关键视频帧进行指纹提取，然后得到关键视频帧的视频指纹，最后建立所述关键视频帧与相应的视频指纹以及时间进度之间的映射关系，得到所述视频指纹库。
基于上述实施例的内容，在本实施例中，在对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹之后，所述方法还包括：
根据关键视频帧的视频指纹，使用皮尔逊相关系数排除掉相关性大于预设阈值的关键视频帧。
在本实施例中，为节省存储空间，可以使用皮尔逊相关系数排除掉相关性大于预设阈值(如可以取值0.9)的关键视频帧，从而只保留有效关键帧，进而可以节省视频的存储空间。
根据上面的内容可知，本实施例将视频指纹技术应用在视频进度快速确定上，本实施例的创新点在于：使得用户可以根据录制得到的短视频片段，自动确定用户在其他终端或APP上观看相同视频节目的时间进度，由此可见，本实施例实现了跨APP、跨终端的视频进度快速获取，从而解决了该领域的盲点，大大方便了用户在多个APP、多个终端间的视频观看切换，有效提升了用户在转换使用其他APP或其他终端继续观看相同视频节目时的观看体验。此外，本实施例对用户录制的视频片段进行了有针对性的预处理，实现了后续步骤中视频指纹的准确提取。
图4示出了本发明一实施例提供的视频进度确定装置的结构示意图，如图4所示，本发明实施例提供的视频进度确定装置，包括：接收模块21、提取模块22、确定模块23和推送模块24，其中：
接收模块21，用于接收与第一用户账号对应的任一客户端发送的视频录制片段；
提取模块22，用于提取所述视频录制片段中各视频帧的视频指纹；
确定模块23，用于将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；
推送模块24，用于按照确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
由于本实施例提供的视频进度确定装置，可以用于执行上述实施例提供的视频进度确定方法，其工作原理和有益效果类似，此处不再详述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；
其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信；所述通信接口303用于实现各设备之间的信息传输；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述视频进度确定方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：接收与第一用户账号对应的任一客户端发送的视频录制片段；提取所述视频录制片段中各视频帧的视频指纹；将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频进度确定方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：接收与第一用户账号对应的任一客户端发送的视频录制片段；提取所述视频录制片段中各视频帧的视频指纹；将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的视频进度确定方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视频进度确定方法，其特征在于，包括：
接收与第一用户账号对应的任一客户端发送的视频录制片段；
提取所述视频录制片段中各视频帧的视频指纹；
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；
根据确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流；
其中，根据多数原则，确定出所述视频录制片段对应的视频节目；
其中，将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度，具体包括：
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述各视频帧匹配的视频节目和时间进度；
将匹配后出现次数最多的视频节目作为与所述视频录制片段对应的视频节目；
将匹配后得到的时间进度进行聚类，将包含时间进度数量最多的一类作为目标聚类，将目标聚类中位于聚类中心点的时间进度作为目标时间进度；
将所述目标时间进度或所述目标时间进度减去所述视频录制片段的长度得到的时间进度作为与所述视频录制片段对应的时间进度。
2.根据权利要求1所述的视频进度确定方法，其特征在于，提取所述视频录制片段中各视频帧的视频指纹，具体包括：
对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域；其中，所述有效区域为包含视频播放内容的区域；
根据各视频帧的有效区域，提取各视频帧的视频指纹。
3.根据权利要求2所述的视频进度确定方法，其特征在于，所述对所述视频录制片段中各视频帧进行预处理，确定各视频帧的有效区域，具体包括：
根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上、下、左、右边缘线；
将各视频帧的上、下、左、右边缘线限定的区域作为各视频帧的有效区域。
4.根据权利要求3所述的视频进度确定方法，其特征在于，根据所述视频录制片段中相邻视频帧的差值，确定各视频帧的上边缘线，具体包括：
根据各视频帧与上一相邻视频帧的差值，确定各视频帧的差值矩阵；其中，所述差值矩阵由各视频帧与上一相邻视频帧中各像素点的差值组成；
对于每一视频帧，将相应视频帧的差值矩阵划分为若干列，并对于每一列，从上向下遍历，当相应列上的数值大于预设阈值时确定该数值对应的像素点为相应列的候选上边缘点；
对于每一视频帧，根据相应视频帧的差值矩阵中各个列的候选上边缘点，确定相应视频帧的上边缘线。
5.根据权利要求1所述的视频进度确定方法，其特征在于，在将各视频帧的视频指纹与视频指纹库进行比对之前，所述方法还包括：
从各视频节目中提取关键视频帧以及相应的时间进度；
对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹；
建立所述关键视频帧与相应的视频指纹以及时间进度之间的映射关系，得到所述视频指纹库。
6.根据权利要求5所述的视频进度确定方法，其特征在于，在对所述关键视频帧进行指纹提取，得到关键视频帧的视频指纹之后，所述方法还包括：
根据关键视频帧的视频指纹，使用皮尔逊相关系数排除掉相关性大于预设阈值的关键视频帧。
7.一种视频进度确定装置，其特征在于，包括：
接收模块，用于接收与第一用户账号对应的任一客户端发送的视频录制片段；
提取模块，用于提取所述视频录制片段中各视频帧的视频指纹；
确定模块，用于将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述视频录制片段对应的视频节目和时间进度；其中，所述视频指纹库中预先存储有各视频节目的视频帧与对应的视频指纹以及时间进度的映射关系；其中，根据多数原则，确定出所述视频录制片段对应的视频节目；
推送模块，用于按照确定的视频节目和时间进度，向与所述第一用户账号对应的任一客户端推送视频流；
其中，所述确定模块具体用于：
将所述各视频帧的视频指纹与视频指纹库中的视频指纹进行比对，确定与所述各视频帧匹配的视频节目和时间进度；
将匹配后出现次数最多的视频节目作为与所述视频录制片段对应的视频节目；
将匹配后得到的时间进度进行聚类，将包含时间进度数量最多的一类作为目标聚类，将目标聚类中位于聚类中心点的时间进度作为目标时间进度；
将所述目标时间进度或所述目标时间进度减去所述视频录制片段的长度得到的时间进度作为与所述视频录制片段对应的时间进度。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的视频进度确定方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一所述的视频进度确定方法。
CN202010388869.3A 2020-05-09 2020-05-09 视频进度确定方法、装置、电子设备及存储介质 Active CN111614991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010388869.3A CN111614991B (zh) 2020-05-09 2020-05-09 视频进度确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010388869.3A CN111614991B (zh) 2020-05-09 2020-05-09 视频进度确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111614991A CN111614991A (zh) 2020-09-01
CN111614991B true CN111614991B (zh) 2022-11-22

Family

ID=72202029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010388869.3A Active CN111614991B (zh) 2020-05-09 2020-05-09 视频进度确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111614991B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107750015A (zh) * 2017-11-02 2018-03-02 腾讯科技（深圳）有限公司 视频版权的检测方法、装置、存储介质及设备
CN110163061A (zh) * 2018-11-14 2019-08-23 腾讯科技（深圳）有限公司 用于提取视频指纹的方法、装置、设备和计算机可读介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254343A1 (en) * 2011-05-30 2015-09-10 Lei Yu Video dna (vdna) method and system for multi-dimensional content matching
US8805827B2 (en) * 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
US20160309214A1 (en) * 2015-04-15 2016-10-20 Rovi Guides, Inc. Method of synchronizing alternate audio content with video content
CN104796783B (zh) * 2015-05-12 2017-08-29 湖北省广播电视信息网络武汉有限公司 一种基于双向机顶盒的账单推送方法、装置和系统
CN105430469B (zh) * 2015-11-24 2018-12-18 小米科技有限责任公司 音视频数据的播放方法、装置、终端及服务器
US20170164026A1 (en) * 2015-12-04 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and device for detecting video data
CN108280834B (zh) * 2018-01-22 2019-11-29 西安万像电子科技有限公司 视频区域确定方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107750015A (zh) * 2017-11-02 2018-03-02 腾讯科技（深圳）有限公司 视频版权的检测方法、装置、存储介质及设备
CN110163061A (zh) * 2018-11-14 2019-08-23 腾讯科技（深圳）有限公司 用于提取视频指纹的方法、装置、设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控技术在现场勘查中的作用及其研究;王刚;《科技资讯》;20151203(第34期);全文 *

Also Published As

Publication number Publication date
CN111614991A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
US10368123B2 (en) Information pushing method, terminal and server
US10231023B2 (en) Media fingerprinting for content determination and retrieval
US9860593B2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US8737813B2 (en) Automatic content recognition system and method for providing supplementary content
US8732745B2 (en) Method and system for inserting an advertisement in a media stream
US20150227780A1 (en) Method and apparatus for determining identity and programing based on image features
US20130070152A1 (en) Sampled digital content based syncronization of supplementary digital content
CN103079092A (zh) 在视频中获取人物信息的方法和装置
CN103686344A (zh) 增强视频系统及方法
CN105872717A (zh) 视频处理方法及系统、视频播放器与云服务器
US20150128190A1 (en) Video Program Recommendation Method and Server Thereof
US20150128186A1 (en) Mobile Multimedia Terminal, Video Program Recommendation Method and Server Thereof
US20160277808A1 (en) System and method for interactive second screen
US8798437B2 (en) Moving image processing apparatus, computer-readable medium storing thumbnail image generation program, and thumbnail image generation method
WO2017185584A1 (zh) 播放优化方法和装置
CN105069005A (zh) 一种数据搜索方法和装置
US9544656B1 (en) Systems and methods for recognition of sign language for improved viewing experiences
CN110099298B (zh) 多媒体内容处理方法及终端设备
WO2016206035A1 (zh) 一种信息推荐方法及用户终端
CN111444822B (zh) 对象识别方法和装置、存储介质和电子装置
CN111614991B (zh) 视频进度确定方法、装置、电子设备及存储介质
CN112055258B (zh) 加载直播画面的时延测试方法、装置、电子设备及存储介质
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
CN105657510A (zh) 图像显示装置及其信息提供方法
JP6091552B2 (ja) 動画処理装置及び動画処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant