CN111274449A - 视频播放方法、装置、电子设备和存储介质 - Google Patents

视频播放方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111274449A
CN111274449A CN202010098190.0A CN202010098190A CN111274449A CN 111274449 A CN111274449 A CN 111274449A CN 202010098190 A CN202010098190 A CN 202010098190A CN 111274449 A CN111274449 A CN 111274449A
Authority
CN
China
Prior art keywords
video
audio
information
playing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010098190.0A
Other languages
English (en)
Other versions
CN111274449B (zh
Inventor
李炤
董超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010098190.0A priority Critical patent/CN111274449B/zh
Publication of CN111274449A publication Critical patent/CN111274449A/zh
Application granted granted Critical
Publication of CN111274449B publication Critical patent/CN111274449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例公开了一种视频播放方法、装置、电子设备和存储介质;本发明实施例可以获取环境音视频;对环境音视频进行特征提取,得到音视频特征;基于音视频特征进行视频检索,得到目标视频的视频信息;基于视频信息确定视频播放指令;基于视频播放指令播放目标视频。在本发明实施例中,可以自动地对用户周围的环境音视频进行分析、识别,从而检索出目标视频,并将目标视频的视频信息在视频详情页面展示给用户,以便用户播放该目标视频。用户无需知道环境音视频的相关信息就可以自动地检索并播放该环境音视频,由此,本方案可以提升了视频播放的效率。

Description

视频播放方法、装置、电子设备和存储介质
技术领域
本发明涉及通信领域,具体涉及一种视频播放方法、装置、电子设备和存储介质。
背景技术
随着通信技术的发展,视频的种类和数量呈井喷式增长,用户可以利用视频门户网站、网络直播平台、数字电视频道等多种媒体渠道观看视频,用户也可以利用智能手机、笔记本电脑、数字电视、平板电脑等多种电子产品来播放这些媒体渠道的视频。
然而,当跨平台、跨渠道地播放视频时,用户需要消耗大量的时间进行视频的搜索,因此,目前的视频播放方法效率低下。
发明内容
本发明实施例提供一种视频播放方法、装置、电子设备和存储介质,可以提升视频播放的效率。
本发明实施例提供一种视频播放方法,适用于客户端,包括:
获取环境音视频;
对所述环境音视频进行特征提取,得到音视频特征;
基于所述音视频特征进行视频检索,得到目标视频的视频信息;
显示视频详情页面,所述视频详情页面包括所述目标视频的视频信息;
接收通过所述视频详情页面触发的视频播放指令;
基于所述视频播放指令播放所述目标视频。
在一些实施例中,所述获取环境音视频,包括:
当存在采集权限时,基于所述采集权限采集环境音视频;
当不存在采集权限时,显示权限请求页面;
接收通过所述权限请求页面触发的权限获取指令;
基于所述权限通过指令获取采集权限。
本发明实施例提供一种视频播放方法,适用于服务端,包括:
从客户端接收环境音视频的检索信息;
根据检索信息确定目标视频,以及播放进度信息;
确定目标视频的视频信息,视频信息包括播放进度信息;
向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
在一些实施例中,所述根据检索信息确定目标视频,以及播放进度信息,包括:
当无法确定目标视频时,发送匹配失败消息;
当接收到反馈信息时,基于所述反馈信息进行视频库存补充操作。
本发明实施例还提供一种视频播放装置,适用于客户端,包括:
获取单元,用于获取环境音视频;
特征单元,用于对所述环境音视频进行特征提取,得到音视频特征;
检索单元,用于基于所述音视频特征进行视频检索,得到目标视频的视频信息;
指令单元,用于基于所述视频信息确定视频播放指令;
播放单元,用于基于所述视频播放指令播放所述目标视频。
在一些实施例中,所述环境音视频包括环境音频和环境视频,所述音视频特征包括音频特征和视频特征,所述特征单元,包括:
音频特征子单元,用于对所述环境音频进行音频特征提取,得到音频特征;
视频特征子单元,用于对所述环境视频进行视频特征提取,得到视频特征;
在一些实施例中,所述用于所述检索单元,包括:
向服务端发送子单元,用于确定环境音视频的检索信息,环境音视频的检索信息包括环境音频、音频特征、视频特征,并向服务端发送所述环境音视频的检索信息,以便服务端根据所述检索信息检索得到目标视频的视频信息;
从服务端接收子单元,用于接收服务端返回的目标视频的视频信息。
在一些实施例中,所述向服务端发送子单元,还用于:
当接收到服务端返回的匹配失败消息时,显示失败反馈控件;
当检测到通过所述失败反馈控件触发的失败反馈指令时,显示失败反馈页面;
通过所述显示失败反馈页面接收反馈信息;
向服务端发送所述反馈信息。
在一些实施例中,所述视频特征子单元,用于:
对所述环境视频进行图像特征提取处理,得到环境视频高维特征;
对所述环境视频高维特征进行视频抽帧处理,得到视频片段特征;
确定视频特征,所述视频特征包括所述视频片段特征。
在一些实施例中,所述音频特征子单元,用于:
对所述环境音频进行时频变换处理,得到处理后环境音频;
对所述处理后环境音频进行音频分段处理,得到音频片段;
对所述音频片段进行特征提取,得到所述音频片段对应的音频片段特征;
确定音频特征,所述音频特征包括所述音频片段特征。
在一些实施例中,所述获取单元,包括:
启动子单元,用于当接收到启动指令时,显示主要交互页面;
采集子单元,用于采集环境音视频;
在一些实施例中,所述检索单元,包括:
检索子单元,用于当未检测到通过所述主要交互页面触发的交互指令时,基于所述音视频内容信息进行视频检索,得到目标视频的视频信息;
停止检索子单元,用于当检测到通过所述主要交互页面触发的交互指令时,停止视频检索。
在一些实施例中,采集子单元,还用于:
对所述环境音视频进行清晰度分析,得到所述环境音视频的清晰度;
所述基于所述音视频内容信息进行视频检索,得到目标视频的视频信息,包括:
当所述环境音视频的清晰度不低于预设清晰度阈值时,基于所述音视频内容信息进行视频检索,得到目标视频的视频信息;
当所述环境音视频的清晰度低于预设清晰度阈值时,停止视频检索。
在一些实施例中,所述环境音视频包括环境音频、环境视频,所述获取单元,用于:
显示主要交互页面,所述主要交互页面包括视频检索控件;
当检测到通过所述视频检索控件触发的视频检索指令时,显示视频检索页面,所述视频检索页面包括音频采集控件和视频采集控件;
当检测到通过所述音频采集控件触发的音频采集指令时,采集环境音频;
当检测到通过所述音频采集控件触发的视频采集指令时,采集环境视频。
在一些实施例中,所述视频详情页面包括继续播放控件和重新播放控件,所述视频播放指令包括继续播放指令和重新播放指令,所述指令单元,用于:
接收通过所述继续播放控件触发的继续播放指令;
接收通过所述重新播放控件触发的重新播放指令;
所述视频信息包括播放进度信息,所述播放单元,用于:
当接收到的视频播放指令为继续播放指令时,根据所述播放进度信息继续播放所述目标视频;
当接收到的视频播放指令为重新播放指令时,重新播放所述目标视频。
本发明实施例还提供一种视频播放装置,适用于服务端,包括:
接收单元,用于从客户端接收环境音视频的检索信息;
匹配单元,用于根据检索信息确定目标视频,以及播放进度信息;
确定单元,用于确定目标视频的视频信息,视频信息包括播放进度信息;
发送单元,用于向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
在一些实施例中,所述环境音视频的检索信息包括环境视频,所述确定单元可以用于:
对环境视频进行视频特征提取,得到视频特征;
对环境视频进行图像文字识别,得到图像识别文字;
根据图像识别文字进行视频匹配,确定目标视频;
基于视频特征在目标视频中确定播放进度信息。
在一些实施例中,所述确定单元可以用于:
在一些实施例中,所述环境音视频的检索信息包括环境音频、音频特征、视频特征,所述确定单元可以用于:
对环境音频进行文字转换处理,得到音频文字;
计算音频文字与预设文字集合中的预设文字之间的文字相似度;
根据文字相似度在预设文字集合中确定目标文字;
将与目标文字之间具有映射关系的预设视频确定为目标视频;
基于音频特征、视频特征在目标视频中确定播放进度信息。
在一些实施例中,所述确定单元在用于基于音频特征、视频特征在目标视频中确定播放进度信息时,具体可以用于:
获取所述目标视频对应的目标音频片段特征集合、目标视频片段特征集合;
计算所述音频特征与所述目标音频片段特征集合中目标音频片段特征的音频特征相似度,以及,计算所述视频特征与所述目标视频片段特征集合中目标视频片段特征的视频特征相似度;
根据所述音频特征相似度在所述目标音频片段特征集合中确定候选音频片段,以及,根据所述视频特征相似度在所述目标视频片段特征集合中确定候选视频片段;
根据所述候选音频片段对应的播放时间、所述候选视频片段对应的播放时间确定播放进度信息。
本发明实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本发明实施例所提供的任一种视频播放方法中的步骤。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种视频播放方法中的步骤。
本发明实施例可以获取环境音视频;对环境音视频进行特征提取,得到音视频特征;基于音视频特征进行视频检索,得到目标视频的视频信息;显示视频详情页面,视频详情页面包括目标视频的视频信息;接收通过视频详情页面触发的视频播放指令;基于视频播放指令播放目标视频。
在本发明实施例中,可以自动地、快速地对用户周围的环境音视频进行分析、识别,从而检索出目标视频,在检出之前可以使用户对此次检索无感知,然后再将目标视频的视频信息在视频详情页面展示给用户,以便用户选择播放该目标视频。用户无需知道并输入环境音视频的相关信息(比如视频名称、视频类型等相关信息)就可以快速播放该环境音视频,由此,本方案可以提升了视频播放的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的视频播放方法应用在跨平台视频播放场景中的示意图;
图1b是本发明实施例提供的视频播放方法的第一种流程示意图;
图1c是本发明实施例提供的主要交互页面示意图;
图1d是本发明实施例提供的视频检索页面示意图;
图1e是本发明实施例提供的权限获取流程图;
图1f是本发明实施例提供的失败反馈控件示意图;
图1g是本发明实施例提供的第一种视频详情页面示意图;
图1h是本发明实施例提供的第二种视频详情页面示意图;
图1i是本发明实施例提供的第三种视频详情页面示意图;
图1j是本发明实施例提供的观看方式选择流程图;
图2a是本发明实施例提供的视频播放方法的第二种流程示意图;
图2b是本发明实施例提供的视频匹配流程示意图;
图2c是本发明实施例提供的音频片段特征集合的倒排索引表示意图;
图3a是本发明实施例提供的视频播放系统的流程示意图;
图3b是本发明实施例提供的视频播放系统的流程示意图;
图4是本发明实施例提供的视频播放装置的第一种结构示意图;
图5是本发明实施例提供的视频播放装置的第二种结构示意图;
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频播放方法、装置、电子设备和存储介质。
其中,该视频播放装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该视频播放装置还可以集成在多个电子设备中,比如,视频播放装置可以集成在多个服务器中,由多个服务器来实现本发明的视频播放方法。
在一些实施例中,服务器也可以以终端的形式来实现。
本发明实施例还提供一种视频播放系统,该视频播放系统种包括客户端和服务端,其中,客户端可以是终端,服务端可以是服务器。
例如,参考图1a,该客户端可以是笔记本电脑、该服务端可以是服务器。
其中,笔记本电脑可以采集数字电视播放的环境音视频,并对环境音视频进行特征提取,得到音频特征和视频特征,然后向服务器发送环境音频、音频特征、视频特征,以便服务器根据环境音频、音频特征、视频特征检索得到目标视频的视频信息;然后接收服务器返回的目标视频的视频信息;显示视频详情页面,视频详情页面包括目标视频的视频信息;再接收通过视频详情页面触发的视频播放指令;最后基于视频播放指令播放目标视频。
其中,服务器可以从笔记本电脑接收环境音频、音频特征、视频特征,根据环境音频进行视频匹配,确定目标视频,然后基于音频特征、视频特征在目标视频中确定播放进度信息,再向笔记本电脑发送视频信息,视频信息包括播放进度信息,以便笔记本电脑基于视频信息播放目标视频。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中,提供了一种视频播放方法,适用于客户端,如图1b所示,该视频播放方法的具体流程可以如下:
101、获取环境音视频。
环境音视频是指安装了客户端的终端所处环境中出现的音频、视频、图像、流媒体等信息。
获取环境音视频的方法具有多种,比如,客户端可以通过摄像头、麦克风等传感器采集环境音视频;比如,客户端也可以通过网络从数据库中获取环境音视频,等等。
比如,当终端处于电影院时,客户端可以通过摄像头采集屏幕中的电影视频、电影图像,以及,通过麦克风采集电影原声,等等。
在一些实施例中,为了达到用户无感知的自动视频播放效果,可以在用户启动客户端的时候就执行本方案,故步骤101可以包括以下步骤:
当接收到启动指令时,显示主要交互页面;
采集环境音视频。
其中,启动指令是用于启动客户端的指令,该启动指令可以由用户触发,也可以自动触发,比如,用户可以通过点击、划动、触摸屏幕等操作触发智能手机中安装的客户端,显示主要交互页面。
其中,主要交互页面为该客户端主要用于与用户进行交互的页面,比如,视频推荐首页、新闻推荐首页、个人主页,等等。
在一些实施例中,为了便于用户主动地在客户端使用自动视频播放功能,可以由用户触发客户端的视频检索功能,故步骤101可以包括以下步骤:
显示主要交互页面,主要交互页面包括视频检索控件;
当检测到通过视频检索控件触发的视频检索指令时,显示视频检索页面;
基于所述视频检索页面采集环境音视频。
比如,参考图1c,图1c为主要交互页面示意图,其中包括视频检索控件,当检测到通过视频检索控件触发的视频检索指令时,显示视频检索页面,参考图1d,图1d为视频检索页面示意图。
检测到通过视频检索控件触发的视频检索指令的方法具有多种,比如,通过检测用户通过触摸、滑动、点击等操作视频检索控件时可以触发的视频检索指令。
在一些实施例中,用户还可以通过摇动、晃动终端来触发的视频检索指令。
在一些实施例中,可以通过多维度的检索提高检索精确度,比如,用户可以单独通过采集声音进行检索,也可以单独通过采集视频画面来进行检索,还可以同时过采集声音、视频画面等来进行检索,故环境音视频包括环境音频、环境视频,步骤101可以包括以下步骤:
显示主要交互页面,主要交互页面包括视频检索控件;
当检测到通过视频检索控件触发的视频检索指令时,显示视频检索页面,视频检索页面包括音频采集控件和视频采集控件;
当检测到通过音频采集控件触发的音频采集指令时,采集环境音频;
当检测到通过音频采集控件触发的视频采集指令时,采集环境视频。
比如,参考图1d,在图1d中,“听一听”是音频采集控件“扫一扫”是视频采集控件;当用户点击“听一听”时,触发的音频采集指令时,采集环境音频,当用户点击“扫一扫”时,触发的视频采集指令时,采集环境视频。
在一些实施例中,为了保证用户的信息安全,需要在具有采集权限的时候获取环境音视频,故步骤101包括以下步骤:
当存在采集权限时,基于所述采集权限采集环境音视频;
当不存在采集权限时,显示权限请求页面;
接收通过所述权限请求页面触发的权限获取指令;
基于所述权限通过指令获取采集权限。
采集权限是指某个特定对象具有特定的使用系统资源才进行采集的权力,采集权限可以包括视频采集权限、图像采集权限、音频采集权限,等等。
比如,视频采集权限可以是某个摄像头的使用权限,音频采集权限可以是某个麦克风的使用权限,等等。
参考图1e,图1e是麦克风权限和摄像头权限的获取流程图,当需要采集环境音视频之前,需要判断是否具有麦克风权限和摄像头权限,若没有权限,则需要进行权限获取。
在一些实施例中,参考图1e,还可以在采集音视频后对音视频进行清晰度识别,若音视频不够清晰,则重新采集音视频。
102、对环境音视频进行特征提取,得到音视频特征。
在一些实施例中,环境音视频包括环境音频和环境视频,音视频特征包括音频特征和视频特征,为了提高视频检索的准确度、提高检索速度,步骤102可以包括以下步骤:
对环境音频进行音频特征提取,得到音频特征;
对环境视频进行视频特征提取,得到视频特征。
比如,在一些实施例中,步骤“对环境视频进行视频特征提取,得到视频特征”可以包括以下步骤:
对环境视频进行图像特征提取处理,得到环境视频高维特征;
对环境视频高维特征进行视频抽帧处理,得到视频片段特征;
确定视频特征,视频特征包括视频片段特征。
其中,对环境视频进行图像特征提取处理,得到环境视频高维特征的方法具有多种,比如,通过图像缩小、图像颜色简化、计算灰度差异、采用特征算子抽取图像的数学特征,等等。
例如,可以对环境视频的每一帧图像进行压缩、颜色简化等操作,得到环境视频高维特征,然后,每隔20帧抽取一帧视频片段特征,得到视频片段特征序列,该视频片段特征序列即为视频片段特征。
在一些实施例中,步骤“对环境音频进行音频特征提取,得到音频特征”可以包括以下步骤:
对环境音频进行时频变换处理,得到处理后环境音频;
对处理后环境音频进行音频分段处理,得到音频片段;
对音频片段进行特征提取,得到音频片段对应的音频片段特征;
确定音频特征,音频特征包括音频片段特征。
比如,可以先将环境音频进行时频变换为二维的视频图,再对该视频图进每隔50毫秒切片,得到音频片段,然后,对每一个音频片段进行峰值特征点的计算,得到该音频片段对应的音频片段特征。
在一些实施例中,客户端可以识别环境音频中的文字信息,得到音频文字。
在一些实施例中,客户端还可以识别环境视频中的文字信息,得到图像识别文字。
103、基于音视频特征进行视频检索,得到目标视频的视频信息。
目标视频的视频信息是与该目标视频相关的信息,比如,视频时长信息、视频字幕信息、视频名称、视频当前的播放进度信息,等等。
在本发明实施例中,可以采用多种方法进行视频检索,比如,在客户端的本地内存中进行视频检索;比如,通过网络在服务器的数据库中进行视频检索,等等。
例如,在一些实施例中,在步骤102中可以得到音频特征和视频特征,为了提高视频检索的准确度、提高检索速度,步骤103可以包括以下步骤:
确定环境音视频的检索信息,环境音视频的检索信息包括环境音频、音频特征、视频特征;
向服务端发送检索信息,以便服务端根据检索信息检索得到目标视频的视频信息;
接收服务端返回的目标视频的视频信息。
其中,环境音视频的检索信息可以包括客户端的身份标识信息(比如,客户端IP地址、客户端的用户编号,等等)、检索库信息、环境音频、环境视频、音频特征、视频特征、音频文字(比如,语音转换文字,等等)、图像识别文字(比如,字幕、弹幕、评论,等等)等可以用于视频检索的相关信息。
在一些实施例中,客户端可以在步骤102通过识别环境音频和环境视频中的文字信息得到音频文字和图像识别文字,在步骤103,客户端可以将音频文字和图像识别文字发送给服务端,以便服务端根据音频文字、图像识别文字、环境音频、音频特征、视频特征检索得到目标视频的视频信息。
在一些实施例中,由于数据库中可能不存在目标视频,为了提高用户体验、提高数据库丰富度,从而进一步提高视频播放的效率,步骤“向服务端发送检索信息”之后,还可以包括以下步骤:
当接收到服务端返回的匹配失败消息时,显示失败反馈控件;
当检测到通过失败反馈控件触发的失败反馈指令时,显示失败反馈页面;
通过显示失败反馈页面接收反馈信息;
向服务端发送反馈信息。
服务端的数据库中不存在目标视频时,服务端可以向客户端发送匹配失败消息,此时,客户端可以显示失败反馈控件。
比如,参考图1f,图1f是失败反馈控件示意图,当检测到通过失败反馈控件触发的失败反馈指令时,可以显示失败反馈页面。
其中,检测到通过失败反馈控件触发的失败反馈指令的方式具有多种,比如,检测到用户点击、滑动、触摸该失败反馈控件时可以触发失败反馈指令;再比如,在显示失败反馈控件时检测到用户在摇动终端时可以触发失败反馈指令,等等。
其中,失败反馈页面可以获取用户输入的反馈信息,该反馈信息可以以文字、图像、声音等多种形式表现。
例如,当接收到服务端返回的“电视剧XXX匹配失败”消息时,显示失败反馈控件,当用户点击该失败反馈控件时,跳转显示失败反馈页面,该失败反馈页面中可以包括多个选项、图片导入接口、声音导入接口、文字导入接口,等等,用户完成反馈后,可以在该失败反馈页面点击“上传反馈”控件,来将反馈信息发送给服务端。
在一些实施例中,步骤101可以在启动客户端时可以显示主要交互页面,并自动地采集环境音视频,此时,为了分辨用户当前需要使用客户端的其他功能,还是需要使用客户端的无感知自动视频播放功能,步骤103可以包括以下步骤:
当未检测到通过主要交互页面触发的交互指令时,基于音视频内容信息进行视频检索,得到目标视频的视频信息;
当检测到通过主要交互页面触发的交互指令时,停止视频检索。
其中,未检测到通过主要交互页面触发的交互指令表示用户当前并未操作客户端,即此时用户可能在等待客户端向检索目标视频;而检测到通过主要交互页面触发的交互指令意味着用户正在使用客户端的其他功能。
在一些实施例中.为了进一步提高视频检索的准确度、提高视频播放效率,在步骤101之后,还可以对环境音视频进行清晰度分析,得到环境音视频的清晰度,此时,步骤103可以包括以下步骤:
当环境音视频的清晰度不低于预设清晰度阈值时,基于音视频内容信息进行视频检索,得到目标视频的视频信息;
当环境音视频的清晰度低于预设清晰度阈值时,停止视频检索。
104、基于所述视频信息确定视频播放指令。
在一些实施例中,可以在步骤104显示视频详情页面,该视频详情页面包括目标视频的视频信息,然后接收通过视频详情页面触发的视频播放指令。
比如,关于步骤“显示视频详情页面”,参考图1g和图1h,图1g是第一种视频详情页面示意图,图1h是第二种视频详情页面示意图。
其中,当视频信息中包括播放进度信息时,可以以图1g的方式显示视频详情页面,其中可以包括继续播放控件(“续看”按钮)和重新播放控件(“重头播放”按钮),以及视频信息,该视频信息包括视频名称(“电视剧XXX”)、视频时长信息(“1:30:30”)和播放进度信息(“0:22:24”)。
当视频信息中不包括播放进度信息时,可以以图1h的方式显示视频详情页面,其中可以包括重新播放控件(“播放”按钮),以及视频信息,该视频信息包括视频名称(“电视剧XXX”)和视频时长信息(“1:30:30”)。
在一些实施例中,当用户主动通过视频检索页面触发视频检索指令时,还可以在视频详情页面中显示重新识别控件,比如,参考图1i,当用户点击重新识别控件“重新识别”后,可以返回并执行步骤101。
关于步骤“接收通过视频详情页面触发的视频播放指令”,参考图1j,图1j是观看方式选择流程图,在一些实施例中,视频详情页面可以包括继续播放控件和重新播放控件,视频播放指令可以包括继续播放指令和重新播放指令,用户可以通过视频详情页面的继续播放控件和重新播放控件来控制目标视频是重新播放还是从环境音视频当前的播放进度处继续播放,故步骤105可以包括以下步骤:
接收通过继续播放控件触发的继续播放指令;
接收通过重新播放控件触发的重新播放指令。
106、基于视频播放指令播放目标视频。
参考图1j,图1j是观看方式选择流程图,在一些实施例中,视频信息可以包括播放进度信息,用户可以通过视频详情页面的继续播放控件和重新播放控件来控制目标视频是重新播放还是从环境音视频当前的播放进度处继续播放,在步骤105中可以接收继续播放指令和重新播放指令,此时,步骤106可以包括如下步骤:
当接收到的视频播放指令为继续播放指令时,根据播放进度信息继续播放目标视频;
当接收到的视频播放指令为重新播放指令时,重新播放目标视频。
比如,参考图1g,当用户点击继续播放控件“续看”时,根据播放进度信息从“电视剧XXX”的“0:22:24”时刻开始播放。
比如,当用户点击重新播放控件“重头播放”时,从“电视剧XXX”的“0:00:00”时刻开始播放。
由上可知,本发明实施例可以获取环境音视频;对环境音视频进行特征提取,得到音视频特征;基于音视频特征进行视频检索,得到目标视频的视频信息;显示视频详情页面,视频详情页面包括目标视频的视频信息;接收通过视频详情页面触发的视频播放指令;基于视频播放指令播放目标视频。。
由此,本方案可以自动、用户无感知地识别周围的环境音视频,从而检索出环境音视频对应的目标视频,并将目标视频的视频信息展示给用户,用户可以选择重新播放该目标视频,也可以选择按照环境音视频的播放进度来播放该目标视频。故用户无需知道环境音视频的相关信息,也无需拖动进度条就可以自动地检索并按照进度播放目标视频,实现了自动流畅地跨设备、跨平台、跨应用的视频切换播放,由此,本方案可以提升了视频播放的效率。
在本实施例中,提供了一种视频播放方法,适用于客户端,如图2a所示,该视频播放方法的具体流程可以如下:
201、从客户端接收环境音视频的检索信息。
环境音视频的检索信息可以包括客户端的身份标识信息、检索库信息、环境音频、环境视频、音频特征、视频特征、音频文字、图像识别文字等可以用于视频检索的相关信息。
由于视频的数据体积大,在一些实施例中,检索信息中可以只包括环境音频、音频特征、视频特征,而不包括环境视频,使得检索信息的数据体积较小,从而减少服务端的计算压力、降低网络的传输压力。202、根据检索信息确定目标视频,以及播放进度信息。根据检索信息确定目标视频,以及播放进度信息的方式具有多种,比如,在一些实施例中,为了减轻客户端的计算压力,检索信息中可以只包括环境视频,在服务端可以对环境视频进行一系列处理从而检索到目标视频,比如,步骤如下:
对环境视频进行视频特征提取,得到视频特征;
对环境视频进行图像文字识别,得到图像识别文字;
根据图像识别文字进行视频匹配,确定目标视频;
基于视频特征在目标视频中确定播放进度信息。
例如,用户在客户端点击“扫一扫”按钮,客户端可以录制环境视频并将该环境视频发送给服务端,服务端可以对该环境视频视频特征提取,得到视频特征,以及对环境视频中的字幕进行图像文字识别,得到图像识别文字,然后根据图像识别文字进行视频匹配,确定目标视频,最后基于视频特征在目标视频中确定播放进度信息。
参考图2b,在一些实施例中,为了降低计算量、进一步提高视频播放效率,步骤202可以包括以下步骤:
对环境音频进行文字转换处理,得到音频文字;
计算音频文字与预设文字集合中的预设文字之间的文字相似度;
根据文字相似度在预设文字集合中确定目标文字;
将与目标文字之间具有映射关系的预设视频确定为目标视频;
基于音频特征、视频特征在目标视频中确定播放进度信息。
其中,计算音频文字与预设文字集合中的预设文字之间的文字相似度的方法具有多种,比如,将文字转换为文字向量后,计算两个向量之间的向量距离,该向量距离即为文字相似度,再比如,逐字、逐词进行字词对比,计算相同字词的比例,再比如,基于TF-IDF法(一种基于词频的相似度计算方法)进行文本相似度计算,等等。
在一些实施例中,还可以在步骤201获取图像识别文字,该图像识别文字可以是字幕、弹幕等等由客户端对视频中进行文字识别得到的文字信息。
在进行步骤“计算音频文字与预设文字集合中的预设文字之间的文字相似度”时还可以计算图像识别文字与预设文字集合中的预设文字之间的文字相似度。
在一些实施例中,由于服务端中不存在目标视频,为了增加数据丰富度、满足用户需求,步骤202还包括以下步骤:
当无法确定目标视频时,向客户端发送匹配失败消息;
当从客户端接收到反馈信息时,基于所述反馈信息进行视频库存补充操作。
其中,视频库存补充操作可以是由技术人员进行人工补充,也可以由服务端向其他的视频数据库发起补充请求完成视频库存补充操作,等等。
在一些实施例中,可以仅基于音频特征在目标视频中确定播放进度信息。
在一些实施例中,可以仅基于视频特征在目标视频中确定播放进度信息。
在一些实施例中,可以同时基于音频特征和视频特征在目标视频中确定播放进度信息。
具体地,在一些实施例中,步骤203可以包括以下步骤:
获取目标视频对应的目标音频片段特征集合、目标视频片段特征集合;
计算音频特征与目标音频片段特征集合中目标音频片段特征的音频特征相似度,以及,计算视频特征与目标视频片段特征集合中目标视频片段特征的视频特征相似度;
根据音频特征相似度在目标音频片段特征集合中确定候选音频片段,以及,根据视频特征相似度在目标视频片段特征集合中确定候选视频片段;
根据候选音频片段对应的播放时间、候选视频片段对应的播放时间确定播放进度信息。
比如,参考图2c,图2c是某个目标视频的目标音频片段特征集合,该目标音频特征集合中的目标音频特征为音频指纹(一种音频特征)时,该目标音频片段特征集合采用倒排索引法将音频指纹与该指纹出现在该视频中的进度信息之间构建了映射关系。
例如,“指纹2”与该“指纹2”出现在该视频中的3个进度信息“(id3,pos3)|(id4,pos4)|(id5,pos5)”之间具有映射关系,当音频特征与该目标音频片段特征集合中“指纹2”相同时,即可确定播放进度信息为(id3,pos3)|(id4,pos4)|(id5,pos5)。
类似地,基于视频特征在目标视频中确定播放进度信息的方法与基于音频特征在目标视频中确定播放进度信息相同,在此不做赘述。
203、确定目标视频的视频信息,视频信息包括播放进度信息。
目标视频的视频信息中可以包括目标视频的视频名称、视频时长、播放进度信息、视频来源信息,等等。
确定目标视频的视频信息的方式具有多种,比如,可以从数据库中获取目标视频的视频名称、视频时长,并将视频名称、视频时长、播放进度信息等进行数据编码,得到视频信息的数据包。
204、向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
由上可知,本发明实施例可以从客户端接收环境音视频的检索信息;根据检索信息确定目标视频,以及播放进度信息;确定目标视频的视频信息,视频信息包括播放进度信息;向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
由此,本方案可以多个维度进行视频匹配,从而可以准确、快速地确定目标视频,及其播放进度信息,从而提升视频播放的效率。
根据上述实施例所描述的方法,以下将作进一步详细说明。
本发明实施例提供的视频播放方案可以应用在各种视频播放场景中,比如,在本实施例中,将以跨平台视频播放为例,搭载在移动手机上的客户端可以自动检索当前时刻数字电视中播放的电视剧,并识别当前时刻的播放进度,从该进度播放,以实现电视剧从数字电视到移动手机的无缝跨平台播放,以下对本发明实施例的方法进行详细说明:
如图3a所示,一种视频播放方法具体流程如下:
301、客户端采集环境音视频。
在客户端获取麦克风权限和摄像头权限的前提下,参考图3b,客户端可以采用麦克风进行声音采集,得到环境音频,采用摄像头进行视频采集,得到环境视频。
在一些实施例中,用户首次打开该客户端时,客户端可以显示主要交互页面,并在用户无感知的前提下安静、自动地采集环境音视频。
在一些实施例中,客户端还可以在用户通过主要交互页面点击视频检索控件时采集环境音视频。
在一些实施例中,若客户端未获取麦克风权限以及摄像头权限,则每次首次开启该客户端时在该客户端的主要交互页面显示授权提示消息,若用户未同意本次授权提示消息,则在下次用户首次开启该客户端时,在该客户端的主要交互页面显示授权提示消息。
在一些实施例中,当授权提示消息出现的总次数在一段时间内超出预设的提示限制次数阈值后,则在下次用户首次开启该客户端时,不再显示授权提示消息。
在一些实施例中,当用户通过主要交互页面点击视频检索控件时采集环境音视频时,可以显示视频检索页面,在采集过程中,若识别时间超过预设采集时间阈值时,可以在视频检索页面中显示调整消息,比如,调整消息为“采集失败,请确保周围光线明亮”。
302、客户端对环境音视频进行特征提取,得到音频特征和视频特征。
参考图3b,客户端对环境音视频进行特征提取,得到音频特征(音频指纹)和视频特征(视频指纹)之后,可以将环境音频、音频特征和视频特征进行压缩。
具体的提取方式可以参考步骤101,在此不做赘述。
303、客户端向服务端发送环境音视频、音频特征和视频特征。
参考图3b,客户端可以将压缩后的环境音频、音频特征通过网络发送给服务端,比如,通过WIFI发送给服务端、通过4G发送给服务端、通过蓝牙传输服务发送给服务端,等等。
304、服务端根据客户端发送的环境音频进行视频匹配,确定目标视频。
在服务端根据客户端发送的环境音频进行视频匹配之前,在视频入库时,服务端可以预计算每个视频的对应的音频指纹、视频指纹等,以及预提取视频中的字幕文字、音频文字等,并使用每个音频指纹、视频指纹、字幕文字、音频文字等作为索引进行散列存储,将视频名称和这些音频指纹、视频指纹、字幕文字、音频文字出现在视频中的播放进度信息建立映射关系并保存。
305、服务端基于音频特征、视频特征在目标视频中确定播放进度信息。
参考步骤203,在此不做赘述。
306、服务端向客户端发送视频信息,该视频信息包括播放进度信息。
参考步骤204,在此不做赘述。
307、客户端显示视频详情页面,该视频详情页面包括服务端发送的目标视频的视频信息。
参考步骤104,在此不做赘述。
308、客户端接收通过视频详情页面触发的视频播放指令。
当视频信息中包括播放进度信息时,则参考图1g,在视频详情页面中显示重新播放控件、继续播放控件、视频名称、视频时长和播放进度信息。
当视频信息中不包括播放进度信息时,则参考图1h,在视频详情页面中显示播放控件、视频名称和视频时长。
309、客户端基于视频播放指令播放目标视频。
参考图1g,当用户点击重新播放控件时,从0:00:00处播放目标视频,当用户点击继续播放控件时,从0:22:24处播放目标视频。
由上可知,在本发明实施例中,客户端可以采集环境音视频,对环境音视频进行特征提取,得到音频特征和视频特征,向服务端发送环境音视频、音频特征和视频特征;服务端可以根据客户端发送的环境音频进行视频匹配,确定目标视频,基于音频特征、视频特征在目标视频中确定播放进度信息向客户端发送视频信息,该视频信息包括播放进度信息;客户端可以显示视频详情页面,该视频详情页面包括服务端发送的目标视频的视频信息,基于视频播放指令播放目标视频。
在通过其他终端观看视频时,当用户在首次打开客户端,客户端可以静默、快速地自动识别该视频对应的目标视频,并在客户端首页显示目标视频的视频信息,或推荐类似视频,本方案满足了用户需要将其他终端来源的视频内容转到客户端上观看的需求。
此外,在通过其他终端观看视频时,用户通常对感兴趣的内容有知其来源的诉求,通过本发明,用户可以在客户端点击主要交互页面的视频检索控件时自动识别该视频对应的目标视频,并在视频详情页面显示目标视频的视频信息,或推荐类似视频,用户可以方便、快捷的找到该视频的视频信息,并可以在该视频详情页面选择是否重头观看目标视频或是按照视频的播放进度在客户端继续播放目标视频,而无需拖动进度条。
由此,本方案可以自动、高效地进行多维度的视频检索,检索结果准确,检索速度快,且客户端可以根据播放进度信息来继续播放当前时刻环境音视频对应目标视频的播放进度,用户无需输入视频名称或其它关键字,也无需拖动进度条进行快进,就能实现无缝的视频的跨平台切换播放,故本方案减少了视频播放的链路,可以有效提升视频播放的效率。
为了更好地实施以上方法,本发明实施例还提供一种视频播放装置,适用于客户端,该视频播放装置具体可以集成在电子设备中,该电子设备可以为终端,比如,手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备。
比如,在本实施例中,将以视频播放装置具体集成在智能手机中为例,对本发明实施例的方法进行详细说明。
例如,如图4所示,该视频播放装置可以包括获取单元401、特征单元402、检索单元403、指令单元404以及播放单元405,如下:
(一)获取单元401。
获取单元401可以用于获取环境音视频。
在一些实施例中,获取单元401可以包括启动子单元和采集子单元,如下:
(1)启动子单元。
启动子单元可以用于当接收到启动指令时,显示主要交互页面。
(2)采集子单元。
采集子单元可以用于采集环境音视频。
在一些实施例中,采集子单元,还用于:
对环境音视频进行清晰度分析,得到环境音视频的清晰度;
基于音视频内容信息进行视频检索,得到目标视频的视频信息可以包括:
当环境音视频的清晰度不低于预设清晰度阈值时,基于音视频内容信息进行视频检索,得到目标视频的视频信息;
当环境音视频的清晰度低于预设清晰度阈值时,停止视频检索。
在一些实施例中,环境音视频包括环境音频、环境视频,获取单元401可以用于:
显示主要交互页面,主要交互页面包括视频检索控件;
当检测到通过视频检索控件触发的视频检索指令时,显示视频检索页面,视频检索页面包括音频采集控件和视频采集控件;
当检测到通过音频采集控件触发的音频采集指令时,采集环境音频;
当检测到通过音频采集控件触发的视频采集指令时,采集环境视频。
(二)特征单元402。
特征单元402可以用于对环境音视频进行特征提取,得到音视频特征。
在一些实施例中,环境音视频包括环境音频和环境视频,音视频特征包括音频特征和视频特征,特征单元402可以包括音频特征子单元和视频特征子单元,如下:
(1)音频特征子单元。
音频特征子单元可以用于对环境音频进行音频特征提取,得到音频特征。
在一些实施例中,音频特征子单元可以用于:
对环境音频进行时频变换处理,得到处理后环境音频;
对处理后环境音频进行音频分段处理,得到音频片段;
对音频片段进行特征提取,得到音频片段对应的音频片段特征;
确定音频特征,音频特征包括音频片段特征。
(2)视频特征子单元。
视频特征子单元可以用于对环境视频进行视频特征提取,得到视频特征。
在一些实施例中,视频特征子单元可以用于:
对环境视频进行图像特征提取处理,得到环境视频高维特征;
对环境视频高维特征进行视频抽帧处理,得到视频片段特征;
确定视频特征,视频特征包括视频片段特征。
(三)检索单元403。
检索单元403可以用于基于音视频特征进行视频检索,得到目标视频的视频信息。
在一些实施例中,环境音视频包括环境音频和环境视频,音视频特征包括音频特征和视频特征,特征单元402可以得到音频特征和视频特征,故检索单元403可以包括向服务端发送子单元和从服务端接收子单元,如下:
(1)向服务端发送子单元。
向服务端发送子单元可以用于确定环境音视频的检索信息,环境音视频的检索信息包括环境音频、音频特征、视频特征,并向服务端发送检索信息,以便服务端根据检索信息检索得到目标视频的视频信息。
在一些实施例中,向服务端发送子单元,还用于:
当接收到服务端返回的匹配失败消息时,显示失败反馈控件;
当检测到通过失败反馈控件触发的失败反馈指令时,显示失败反馈页面;
通过显示失败反馈页面接收反馈信息;
向服务端发送反馈信息。
(2)从服务端接收子单元。
从服务端接收子单元可以用于接收服务端返回的目标视频的视频信息。
在一些实施例中,获取单元401可以显示主要交互页面,检索单元403可以包括:
检索子单元可以用于当未检测到通过主要交互页面触发的交互指令时,基于音视频内容信息进行视频检索,得到目标视频的视频信息;
停止检索子单元可以用于当检测到通过主要交互页面触发的交互指令时,停止视频检索。
(四)指令单元404。
指令单元404可以用于接收通过视频详情页面触发的视频播放指令。
在一些实施例中,视频详情页面包括继续播放控件和重新播放控件,视频播放指令包括继续播放指令和重新播放指令,指令单元404可以用于:
接收通过继续播放控件触发的继续播放指令;
接收通过重新播放控件触发的重新播放指令;
(五)播放单元405。
播放单元405可以用于基于视频播放指令播放目标视频。
在一些实施例中,视频信息可以包括播放进度信息,播放单元405可以用于:
当接收到的视频播放指令为继续播放指令时,根据播放进度信息继续播放目标视频;
当接收到的视频播放指令为重新播放指令时,重新播放目标视频。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视频播放装置可以由获取单元获取环境音视频;由特征单元对环境音视频进行特征提取,得到音视频特征;由检索单元基于音视频特征进行视频检索,得到目标视频的视频信息;由指令单元基于所述视频信息确定视频播放指令;由播放单元基于视频播放指令播放目标视频。
由此,本发明实施例可以提升视频播放的效率。
为了更好地实施以上方法,本发明实施例还提供一种视频播放装置,适用于服务端,该视频播放装置具体可以集成在电子设备中,该电子设备可以服务器,该服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以视频播放装置具体集成在服务器集群中为例,对本发明实施例的方法进行详细说明。
例如,如图5所示,该视频播放装置可以包括接收单元501、匹配单元502、进度单元503以及发送单元504,如下:
(一)接收单元501。
接收单元501可以用于从客户端接收环境音视频的检索信息。
(二)匹配单元502。
匹配单元502可以用于根据检索信息确定目标视频,以及播放进度信息。
在一些实施例中,环境音视频的检索信息包括环境视频,匹配单元502可以用于:
对环境音频进行文字转换处理,得到音频文字;
计算音频文字与预设文字集合中的预设文字之间的文字相似度;
根据文字相似度在预设文字集合中确定目标文字;
将与目标文字之间具有映射关系的预设视频确定为目标视频;
基于音频特征、视频特征在目标视频中确定播放进度信息。
在一些实施例中,环境音视频的检索信息包括环境音频、音频特征、视频特征,匹配单元502可以用于:
对环境音频进行文字转换处理,得到音频文字;
计算音频文字与预设文字集合中的预设文字之间的文字相似度;
根据文字相似度在预设文字集合中确定目标文字;
将与目标文字之间具有映射关系的预设视频确定为目标视频;
基于音频特征、视频特征在目标视频中确定播放进度信息。
在一些实施例中,匹配单元502在用于基于音频特征、视频特征在目标视频中确定播放进度信息时,具体可以用于:
获取目标视频对应的目标音频片段特征集合、目标视频片段特征集合;
计算音频特征与目标音频片段特征集合中目标音频片段特征的音频特征相似度,以及,计算视频特征与目标视频片段特征集合中目标视频片段特征的视频特征相似度;
根据音频特征相似度在目标音频片段特征集合中确定候选音频片段,以及,根据视频特征相似度在目标视频片段特征集合中确定候选视频片段;
根据候选音频片段对应的播放时间、候选视频片段对应的播放时间确定播放进度信息。
(三)确定单元503。
确定单元503可以用于确定目标视频的视频信息,视频信息包括播放进度信息。
(四)发送单元504。
发送单元504可以用于向客户端发送视频信息,视频信息包括播放进度信息,以便客户端基于视频信息播放目标视频。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视频播放装置可以由接收单元从客户端接收环境音视频的检索信息;由匹配单元根据环境音频进行视频匹配,确定目标视频;由进度单元基于音频特征、视频特征在目标视频中确定播放进度信息;由发送单元向客户端发送视频信息,视频信息包括播放进度信息,以便客户端基于视频信息播放目标视频。
由此,本发明实施例可以提升视频播放的效率。
本发明实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该视频播放装置还可以集成在多个电子设备中,比如,视频播放装置可以集成在多个服务器中,由多个服务器来实现本发明的视频播放方法。
在本实施例中,将以本实施例的电子设备是电子设备为例进行详细描述,比如,如图6所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603、输入模块604以及通信模块605等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一些实施例中,处理器601可包括一个或多个处理核心;在一些实施例中,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
电子设备还包括给各个部件供电的电源603,在一些实施例中,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块604,该输入模块604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块605,在一些实施例中通信模块605可以包括无线模块,电子设备可以通过该通信模块605的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块605可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。
在一些实施例中,电子设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取环境音视频;
对环境音视频进行特征提取,得到音视频特征;
基于音视频特征进行视频检索,得到目标视频的视频信息;
显示视频详情页面,视频详情页面包括目标视频的视频信息;
接收通过视频详情页面触发的视频播放指令;
基于视频播放指令播放目标视频。
在一些实施例中,电子设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
从客户端接收环境音视频的检索信息;
根据检索信息确定目标视频,以及播放进度信息;
确定目标视频的视频信息,视频信息包括播放进度信息;
向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本方案可以提升了视频播放的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种视频播放方法中的步骤。
例如,在一些实施例中,该指令可以执行如下步骤:
获取环境音视频;
对环境音视频进行特征提取,得到音视频特征;
基于音视频特征进行视频检索,得到目标视频的视频信息;
显示视频详情页面,视频详情页面包括目标视频的视频信息;
接收通过视频详情页面触发的视频播放指令;
基于视频播放指令播放目标视频。
例如,在一些实施例中,该指令可以执行如下步骤:
从客户端接收环境音视频的检索信息;
根据检索信息确定目标视频,以及播放进度信息;
确定目标视频的视频信息,视频信息包括播放进度信息;
向客户端发送视频信息,以便客户端基于视频信息播放目标视频。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种视频播放方法中的步骤,因此,可以实现本发明实施例所提供的任一种视频播放方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种视频播放方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种视频播放方法,其特征在于,适用于客户端,包括:
获取环境音视频;
对所述环境音视频进行特征提取,得到音视频特征;
基于所述音视频特征进行视频检索,得到目标视频的视频信息;
基于所述视频信息确定视频播放指令;
基于所述视频播放指令播放所述目标视频。
2.如权利要求1所述的视频播放方法,其特征在于,所述环境音视频包括环境音频和环境视频,所述音视频特征包括音频特征和视频特征,所述对所述环境音视频进行特征提取,得到音视频特征,包括:
对所述环境音频进行音频特征提取,得到音频特征;
对所述环境视频进行视频特征提取,得到视频特征;
所述基于所述音视频特征进行视频检索,得到目标视频的视频信息,包括:
确定所述环境音视频的检索信息,所述环境音视频的检索信息包括所述环境音频、音频特征、视频特征;
向服务端发送所述环境音视频的检索信息,以便服务端根据所述环境音视频的检索信息检索得到目标视频的视频信息;
接收服务端返回的目标视频的视频信息。
3.如权利要求2所述的视频播放方法,其特征在于,所述向服务端发送所述环境音视频的检索信息之后,还包括:
当接收到服务端返回的匹配失败消息时,显示失败反馈控件;
当检测到通过所述失败反馈控件触发的失败反馈指令时,显示失败反馈页面;
通过所述显示失败反馈页面接收反馈信息;
向服务端发送所述反馈信息。
4.如权利要求2所述的视频播放方法,其特征在于,所述对所述环境视频进行视频特征提取,得到视频特征,包括:
对所述环境视频进行图像特征提取处理,得到环境视频高维特征;
对所述环境视频高维特征进行视频抽帧处理,得到视频片段特征;
确定视频特征,所述视频特征包括所述视频片段特征。
5.如权利要求2所述的视频播放方法,其特征在于,所述对所述环境音频进行音频特征提取,得到音频特征,包括:
对所述环境音频进行时频变换处理,得到处理后环境音频;
对所述处理后环境音频进行音频分段处理,得到音频片段;
对所述音频片段进行特征提取,得到所述音频片段对应的音频片段特征;
确定音频特征,所述音频特征包括所述音频片段特征。
6.如权利要求1所述的视频播放方法,其特征在于,所述获取环境音视频,包括:
当接收到启动指令时,显示主要交互页面;
采集环境音视频;
所述基于所述音视频内容信息进行视频检索,得到目标视频的视频信息,包括:
当未检测到通过所述主要交互页面触发的交互指令时,基于所述音视频内容信息进行视频检索,得到目标视频的视频信息;
当检测到通过所述主要交互页面触发的交互指令时,停止视频检索。
7.如权利要求6所述的视频播放方法,其特征在于,所述采集环境音视频之后,还包括:
对所述环境音视频进行清晰度分析,得到所述环境音视频的清晰度;
所述基于所述音视频内容信息进行视频检索,得到目标视频的视频信息,包括:
当所述环境音视频的清晰度不低于预设清晰度阈值时,基于所述音视频内容信息进行视频检索,得到目标视频的视频信息;
当所述环境音视频的清晰度低于预设清晰度阈值时,停止视频检索。
8.如权利要求1所述的视频播放方法,其特征在于,所述环境音视频包括环境音频、环境视频,所述获取环境音视频,包括:
显示主要交互页面,所述主要交互页面包括视频检索控件;
当检测到通过所述视频检索控件触发的视频检索指令时,显示视频检索页面,所述视频检索页面包括音频采集控件和视频采集控件;
当检测到通过所述音频采集控件触发的音频采集指令时,采集环境音频;
当检测到通过所述音频采集控件触发的视频采集指令时,采集环境视频。
9.如权利要求1所述的视频播放方法,其特征在于,所述视频信息包括播放进度信息,所述视频播放指令包括继续播放指令和重新播放指令,所述基于所述视频信息确定视频播放指令,包括:
显示视频详情页面,所述视频详情页面包括所述目标视频的视频信息、继续播放控件和重新播放控件;
接收通过所述继续播放控件触发的继续播放指令;
接收通过所述重新播放控件触发的重新播放指令;
当接收到的视频播放指令为继续播放指令时,根据所述播放进度信息继续播放所述目标视频;
当接收到的视频播放指令为重新播放指令时,重新播放所述目标视频。
10.一种视频播放方法,其特征在于,适用于服务端,包括:
从客户端接收环境音视频的检索信息;
根据所述检索信息确定目标视频,以及播放进度信息;
确定所述目标视频的视频信息,所述视频信息包括所述播放进度信息;
向所述客户端发送视频信息,以便所述客户端基于所述视频信息播放所述目标视频。
11.如权利要求10所述的视频播放方法,其特征在于,所述环境音视频的检索信息包括环境视频,所述根据所述检索信息确定目标视频,以及播放进度信息,包括:
对所述环境视频进行视频特征提取,得到视频特征;
对所述环境视频进行图像文字识别,得到图像识别文字;
根据所述图像识别文字进行视频匹配,确定目标视频;
基于所述视频特征在所述目标视频中确定播放进度信息。
12.如权利要求10所述的视频播放方法,其特征在于,所述环境音视频的检索信息包括环境音频、音频特征、视频特征,所述根据所述检索信息确定目标视频,以及播放进度信息,包括:
对所述环境音频进行文字转换处理,得到音频文字;
计算所述音频文字与预设文字集合中的预设文字之间的文字相似度;
根据所述文字相似度在所述预设文字集合中确定目标文字;
将与所述目标文字之间具有映射关系的预设视频确定为目标视频;基于所述音频特征、视频特征在所述目标视频中确定播放进度信息。
13.如权利要求12所述的视频播放方法,其特征在于,所述基于所述音频特征、视频特征在所述目标视频中确定播放进度信息,包括:
获取所述目标视频对应的目标音频片段特征集合、目标视频片段特征集合;
计算所述音频特征与所述目标音频片段特征集合中目标音频片段特征的音频特征相似度,以及,计算所述视频特征与所述目标视频片段特征集合中目标视频片段特征的视频特征相似度;
根据所述音频特征相似度在所述目标音频片段特征集合中确定候选音频片段,以及,根据所述视频特征相似度在所述目标视频片段特征集合中确定候选视频片段;
根据所述候选音频片段对应的播放时间、所述候选视频片段对应的播放时间确定播放进度信息。
14.一种视频播放装置,其特征在于,适用于客户端,包括:
获取单元,用于获取环境音视频;
特征单元,用于对所述环境音视频进行特征提取,得到音视频特征;
检索单元,用于基于所述音视频特征进行视频检索,得到目标视频的视频信息;
指令单元,用于基于所述视频信息确定视频播放指令;
播放单元,用于基于所述视频播放指令播放所述目标视频。
15.一种视频播放装置,其特征在于,适用于服务端,包括:
接收单元,用于从客户端接收环境音视频的检索信息;
匹配单元,用于根据所述检索信息确定目标视频,以及播放进度信息;
确定单元,用于确定所述目标视频的视频信息,所述视频信息包括所述播放进度信息;
发送单元,用于向所述客户端发送视频信息,以便所述客户端基于所述视频信息播放所述目标视频。
CN202010098190.0A 2020-02-18 2020-02-18 视频播放方法、装置、电子设备和存储介质 Active CN111274449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098190.0A CN111274449B (zh) 2020-02-18 2020-02-18 视频播放方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098190.0A CN111274449B (zh) 2020-02-18 2020-02-18 视频播放方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111274449A true CN111274449A (zh) 2020-06-12
CN111274449B CN111274449B (zh) 2023-08-29

Family

ID=71003918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098190.0A Active CN111274449B (zh) 2020-02-18 2020-02-18 视频播放方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111274449B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761360A (zh) * 2021-05-27 2021-12-07 腾讯科技(深圳)有限公司 基于视频的物品搜索方法、装置、设备及存储介质
CN114079806A (zh) * 2020-08-06 2022-02-22 深圳Tcl新技术有限公司 一种个性化页面显示方法及相关设备
CN114461820A (zh) * 2021-12-16 2022-05-10 浙商银行股份有限公司 一种提升音视频数据区块链存证查询效率的方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN104092654A (zh) * 2014-01-22 2014-10-08 腾讯科技(深圳)有限公司 媒体播放方法、客户端及系统
CN105989000A (zh) * 2015-01-27 2016-10-05 腾讯科技(深圳)有限公司 音视频拷贝检测方法及装置
WO2017148442A1 (zh) * 2016-03-03 2017-09-08 腾讯科技(深圳)有限公司 一种音视频处理方法和装置、计算机存储介质
WO2017201935A1 (zh) * 2016-05-23 2017-11-30 乐视控股(北京)有限公司 视频播放方法及装置
CN107978323A (zh) * 2017-12-01 2018-05-01 腾讯科技(深圳)有限公司 音频识别方法、装置及存储介质
CN108241729A (zh) * 2017-09-28 2018-07-03 新华智云科技有限公司 筛选视频的方法及设备
CN108470452A (zh) * 2018-05-18 2018-08-31 厦门客管家网络科技有限公司 一种基于图像识别的车辆信息管理方法、系统及存储介质
CN108922537A (zh) * 2018-05-28 2018-11-30 Oppo广东移动通信有限公司 音频识别方法、装置、终端、耳机及可读存储介质
CN109389088A (zh) * 2018-10-12 2019-02-26 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质
CN109922334A (zh) * 2017-12-13 2019-06-21 优酷信息技术(北京)有限公司 一种视频质量的识别方法及系统
CN110047515A (zh) * 2019-04-04 2019-07-23 腾讯音乐娱乐科技(深圳)有限公司 一种音频识别方法、装置、设备及存储介质
CN110134829A (zh) * 2019-04-28 2019-08-16 腾讯科技(深圳)有限公司 视频定位方法和装置、存储介质及电子装置
CN110225409A (zh) * 2019-07-19 2019-09-10 北京字节跳动网络技术有限公司 音视频播放方法、装置、电子设备及可读介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN104092654A (zh) * 2014-01-22 2014-10-08 腾讯科技(深圳)有限公司 媒体播放方法、客户端及系统
CN105989000A (zh) * 2015-01-27 2016-10-05 腾讯科技(深圳)有限公司 音视频拷贝检测方法及装置
WO2017148442A1 (zh) * 2016-03-03 2017-09-08 腾讯科技(深圳)有限公司 一种音视频处理方法和装置、计算机存储介质
WO2017201935A1 (zh) * 2016-05-23 2017-11-30 乐视控股(北京)有限公司 视频播放方法及装置
CN108241729A (zh) * 2017-09-28 2018-07-03 新华智云科技有限公司 筛选视频的方法及设备
CN107978323A (zh) * 2017-12-01 2018-05-01 腾讯科技(深圳)有限公司 音频识别方法、装置及存储介质
CN109922334A (zh) * 2017-12-13 2019-06-21 优酷信息技术(北京)有限公司 一种视频质量的识别方法及系统
CN108470452A (zh) * 2018-05-18 2018-08-31 厦门客管家网络科技有限公司 一种基于图像识别的车辆信息管理方法、系统及存储介质
CN108922537A (zh) * 2018-05-28 2018-11-30 Oppo广东移动通信有限公司 音频识别方法、装置、终端、耳机及可读存储介质
CN109389088A (zh) * 2018-10-12 2019-02-26 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质
CN110047515A (zh) * 2019-04-04 2019-07-23 腾讯音乐娱乐科技(深圳)有限公司 一种音频识别方法、装置、设备及存储介质
CN110134829A (zh) * 2019-04-28 2019-08-16 腾讯科技(深圳)有限公司 视频定位方法和装置、存储介质及电子装置
CN110225409A (zh) * 2019-07-19 2019-09-10 北京字节跳动网络技术有限公司 音视频播放方法、装置、电子设备及可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘利强;刘朝辉;: "基于Android的视频播放系统的设计与实现", 湖南理工学院学报(自然科学版), no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079806A (zh) * 2020-08-06 2022-02-22 深圳Tcl新技术有限公司 一种个性化页面显示方法及相关设备
CN114079806B (zh) * 2020-08-06 2024-06-04 深圳Tcl新技术有限公司 一种个性化页面显示方法及相关设备
CN113761360A (zh) * 2021-05-27 2021-12-07 腾讯科技(深圳)有限公司 基于视频的物品搜索方法、装置、设备及存储介质
CN114461820A (zh) * 2021-12-16 2022-05-10 浙商银行股份有限公司 一种提升音视频数据区块链存证查询效率的方法及系统

Also Published As

Publication number Publication date
CN111274449B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US11743557B2 (en) Methods, systems, and media for presenting supplemental content relating to media content based on state information that indicates a subsequent visit to the content interface
US10271098B2 (en) Methods for identifying video segments and displaying contextually targeted content on a connected television
KR102212355B1 (ko) 현재 재생되는 텔레비젼 프로그램들과 연관된 인터넷-액세스가능 컨텐츠의 식별 및 제시
US9740696B2 (en) Presenting mobile content based on programming context
US20180077452A1 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
EP2541963A2 (en) Method for identifying video segments and displaying contextually targeted content on a connected television
US20130111514A1 (en) Second screen interactive platform
CN105122242A (zh) 用于呈现与媒体内容相对应的方法、系统以及介质
KR20160104661A (ko) 온-디맨드 미디어 컨텐츠에 대응하는 보충적인 정보를 제시하기 위한 방법들, 시스템들 및 매체들
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
US20130276029A1 (en) Using Gestures to Capture Multimedia Clips
CN102868934A (zh) 基于智能电视的视频对象信息检索方法及装置
CN110691281B (zh) 视频播放处理方法、终端设备、服务器及存储介质
WO2011153392A2 (en) Semantic enrichment by exploiting top-k processing
CN104185040A (zh) 应用同步方法、应用服务器及终端
CN111010598A (zh) 一种截屏应用方法及智能电视
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
CN112052376A (zh) 资源推荐方法、装置、服务器、设备和介质
CN110691256B (zh) 视频关联信息的处理方法、装置,服务器及存储介质
CN115486089A (zh) 实时音视频推荐方法、装置、设备以及计算机存储介质
JP2014530390A (ja) マルチメディア探索を用いて製品を識別すること

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025252

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant