CN111541951B - 基于视频的交互处理方法、装置、终端及可读存储介质 - Google Patents

基于视频的交互处理方法、装置、终端及可读存储介质 Download PDF

Info

Publication number
CN111541951B
CN111541951B CN202010380601.5A CN202010380601A CN111541951B CN 111541951 B CN111541951 B CN 111541951B CN 202010380601 A CN202010380601 A CN 202010380601A CN 111541951 B CN111541951 B CN 111541951B
Authority
CN
China
Prior art keywords
target
image
user
action information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010380601.5A
Other languages
English (en)
Other versions
CN111541951A (zh
Inventor
夏海雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010380601.5A priority Critical patent/CN111541951B/zh
Publication of CN111541951A publication Critical patent/CN111541951A/zh
Application granted granted Critical
Publication of CN111541951B publication Critical patent/CN111541951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

本申请提供了一种基于视频的交互处理方法、装置、终端及可读存储介质，属于多媒体技术领域。该方法包括：在播放目标视频时，通过终端的图像采集器件，对目标用户进行图像采集，得到目标图像，分别对目标图像和目标视频当前播放到的画面图像进行识别，得到目标图像中目标用户的用户动作信息和画面图像中的人物动作信息，以确定观看视频的用户正在进行的动作和当前播放到的目标视频的画面图像中人物正在进行的动作，进而在用户动作与人物匹配时进行相应的互动，以便提供一种实时互动的方法，来提供更多的趣味性互动方式，而且可以提升用户的参与感，提高用户体验。

Description

基于视频的交互处理方法、装置、终端及可读存储介质
技术领域
本申请涉及多媒体技术领域，特别涉及一种基于视频的交互处理方法、装置、终端及可读存储介质。
背景技术
视频已经成为人们日常生活中的主流娱乐消费形式。随着计算机技术的发展和人们生活水平的不断提高，人们已经不满足单纯地对视频进行观看，而希望在视频观看时，可以进行更多有趣的互动，增加视频观看的娱乐性。
目前，在终端的可视化界面上提供有用户界面(User Interface，UI)控件，不同UI控件可以对应于不同的功能，用户可以通过对UI控件进行触发操作，来对视频内容发表评论，实现在视频观看过程中的互动。
上述实现过程中仅有一种对视频内容发表评论的互动方式，互动方式较为单一，用户体验较差。
发明内容
本申请实施例提供了一种基于视频的交互处理方法、装置、终端及可读存储介质，可以丰富视频观看过程中的互动方式，提高用户体验。该技术方案如下：
一方面，提供了一种基于视频的交互处理方法，该方法包括：
在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像；
对该目标图像进行识别，得到该目标图像中该目标用户的用户动作信息；
对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息；
若该用户动作信息与该人物动作信息匹配，则基于该目标视频，显示目标互动信息，该目标互动信息用于提供视频观看过程中的互动功能。
一方面，提供了一种基于视频的交互处理装置，该装置包括：
图像采集模块，用于在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像；
识别模块，用于对该目标图像进行识别，得到该目标图像中该目标用户的用户动作信息；
该识别模块，还用于对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息；
显示模块，用于若该用户动作信息与该人物动作信息匹配，则基于该目标视频，显示目标互动信息，该目标互动信息用于提供视频观看过程中的互动功能。
在一种可能的实现方式中，该识别模块，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，将人物动作信息的动作幅度满足第一目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，将人物的显示尺寸满足第二目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，获取该至少两个人物的人物信息，将该人物信息满足第三目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块，还用于若该用户动作信息与预先存储的该目标视频的人物动作信息中任一个人物动作信息匹配，则执行对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息的步骤。
在一种可能的实现方式中，该识别模块，用于将该目标图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该目标图像的特征图，通过该图像识别模型的采样层，对该目标图像的特征图进行采样，得到该目标图像的特征图的卷积特征，通过该图像识别模型的全连接层，根据该卷积特征确定该目标图像中该目标用户的用户动作信息。
在一种可能的实现方式中，该识别模块，用于将该画面图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该画面图像的特征图，通过该图像识别模型的采样层，对该画面图像的特征图进行采样，得到该画面图像的特征图的卷积特征，通过该图像识别模型的全连接层，根据该卷积特征确定该画面图像中的人物动作信息。
在一种可能的实现方式中，该装置还包括：
比较模块，用于将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较；
控制模块，用于若该用户动作信息与该预设动作信息中任一个预设动作信息匹配，则根据该任一个预设动作信息对应的控制功能，对该目标视频的播放进行控制。
在一种可能的实现方式中，该控制模块，用于获取该用户动作信息所指示的动作幅度，根据该用户动作信息对应的控制功能，按照该动作幅度对应的调整步长，对该目标视频的播放进行控制。
在一种可能的实现方式中，该装置还包括：
发送模块，用于向服务器发送信息获取请求，该信息获取请求用于获取该至少一个控制功能对应的预设动作信息；
接收模块，用于接收该服务器发送的该至少一个控制功能对应的预设动作信息。
一方面，提供了一种终端，该终端包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该程序代码由该一个或多个处理器加载并执行以实现该基于视频的交互处理方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该程序代码由处理器加载并执行以实现该基于视频的交互处理方法所执行的操作。
本申请提供的方案，通过在播放目标视频时，通过终端的图像采集器件，对目标用户进行图像采集，得到目标图像，分别对目标图像和目标视频当前播放到的画面图像进行识别，得到目标图像中目标用户的用户动作信息和画面图像中的人物动作信息，以确定观看视频的用户正在进行的动作和当前播放到的目标视频的画面图像中人物正在进行的动作，进而在用户动作与人物匹配时进行相应的互动，以便提供一种实时互动的方法，来提供更多的趣味性互动方式，而且可以提升用户的参与感，提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于视频的交互处理方法的实施环境示意图；
图2是本申请实施例提供的一种基于视频的交互处理方法的流程图；
图3是本申请实施例提供的一种基于视频的交互处理方法的流程图；
图4是本申请实施例提供的一种获取目标图像的方法示意图；
图5是本申请实施例提供的一种基于视频的交互处理方法的流程图；
图6是本申请实施例提供的一种基于视频的播放控制方法的基本流程图；
图7是本申请实施例提供的一种基于视频的交互处理方法的技术流程图；
图8是本申请实施例提供的一种基于视频的交互处理装置的结构示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能云服务，一般也被称作是人工智能即服务(Artificial Intelligenceas a Service，AIaaS)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的人工智能(Artificial Intelligence，AI)服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过应用程序编程接口(Application Programming Interface，API)的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(Three-Dimensional，3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能云服务的图像识别等技术，具体通过如下实施例进行说明：
图1是本申请实施例提供的一种基于视频的交互处理方法的实施环境，参见图1，该实施环境包括：终端101和服务器102。
终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。终端101中设有客户端，该客户端可以是视频客户端、浏览器客户端、即时通信客户端、教育客户端等，本申请对客户端的类型不加以限定。终端101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。终端101可以向服务器102发送视频获取请求，以便从服务器102处获取视频，终端101还可以安装并运行有目标播放器，来对获取到的视频进行播放。终端101可以内置或外接有图像采集器件，通过图像采集器件对正在观看视频的用户进行图像采集，以便依据采集到的包括用户的目标图像和目标视频中当前播放到的图像画面，来显示用于提供视频观看过程中的互动功能的目标互动信息。终端101还可以向服务器102发送信息获取请求，来获取至少一个控制功能对应的预设动作信息，并依据采集到的包括用户的目标图像以及从服务器102处获取到的预设动作信息，来对目标视频的播放进行控制。
终端101可以泛指多个终端中的一个，本实施例以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，本申请实施例对终端的数量和设备类型不加以限定。
服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102以及终端101可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。服务器102可以维护有一个视频数据库，用于存储多个视频。服务器102可以接收终端101发送的视频获取请求，并根据该视频获取请求，从视频数据库中获取对应的视频，将获取到的视频发送给终端101。服务器102还可以维护有一个预设动作信息数据库，用于存储至少一个控制功能对应的预设动作信息。服务器102可以接收终端101发送的信息获取请求，并从预设动作信息数据库中获取至少一个控制功能对应的预设动作信息，并将至少一个控制功能对应的预设动作信息发送给终端101。可选地，上述服务器的数量可以更多或更少，本申请实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
图2是本申请实施例提供的一种基于视频的交互处理方法的流程图，参见图2，该方法可以由终端执行，还可以由终端和服务器共同执行，下面以该方法由终端执行为例进行说明，该方法包括：
201、在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像。
需要说明的是，该目标视频的播放方式可以为在线播放，也可以为离线播放，本申请实施例对此不加以限定。该图像采集器件可以内置于终端中，也可以外接于终端，本申请实施例对此不加以限定。目标视频处于播放状态，包括目标视频正在播放、暂停播放等情况。
202、对该目标图像进行识别，得到该目标图像中该目标用户的用户动作信息。
其中，该用户动作信息可以为目标用户的肢体动作，如鼓掌、点头、摇头等，还可以为目标用户的面部动作，如哭、笑等，本申请实施例对用户动作信息的类型不加以限定。
需要说明的是，终端在识别出该目标图像中该目标用户的用户动作信息后，可以将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较，若该用户动作信息与该预设动作信息中任一个预设动作信息匹配，则根据该任一个预设动作信息对应的控制功能，对该目标视频的播放进行控制。
其中，对目标视频的播放进行控制时可以有多种控制方式，例如，拖动播放条、开始播放、暂停播放等，可选地，对目标视频的播放进行控制还可以有其他的控制方式，本申请实施例对此不加以限定。
203、对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息。
需要说明的是，该人物动作信息可以为画面图像中人物的肢体动作，如鼓掌、点头、摇头等，还可以为人物的面部动作，如哭、笑等，本申请实施例对人物动作信息的类型不加以限定。
204、若该用户动作信息与该人物动作信息匹配，则基于该目标视频，显示目标互动信息，该目标互动信息用于提供视频观看过程中的互动功能。
本申请实施例提供的方案，通过对正在观看视频的用户进行图像采集，对采集到的图像中用户的动作进行识别，来确定用户正在进行的动作，并对当前播放到的目标视频的画面图像中人物的动作进行识别，来确定人物正在进行的动作，进而在用户动作与人物匹配时进行相应的互动，以便提供一种实时互动的方法，来提供更多的趣味性互动方式，而且可以提升用户的参与感，提高用户体验。
图3是本申请实施例提供的一种基于视频的交互处理方法的流程图，参见图3，该方法可以由终端执行，还可以由终端和服务器共同执行，下面以该方法由终端执行为例进行说明，该方法包括：
301、在终端播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像。
在一种可能的实现方式中，终端可以将多个视频展示在可视化界面上，用户可以从多个视频中选择一个作为目标视频，并通过触发该目标视频对应的播放按钮来发起播放指令，终端在检测到该播放指令时，可以通过图像采集器件实时采集正在观看视频的用户的图像，得到目标图像。
在另一种可能的实现方式中，终端可以对正在播放的视频进行检测，若检测到该视频携带交互标签，则终端可以确定该视频为目标视频，进而可以通过图像采集器件实时采集正在观看视频的用户的图像，得到目标图像。其中，该交互标签用于指示该视频具有基于动作匹配进行互动的功能。
需要说明的是，在对用户进行图像采集时，可以通过内置在终端中的图像采集器件来实现，参见图4，图4是本申请实施例提供的一种获取目标图像的方法示意图，终端正在进行目标视频的播放，401为当前播放到的视频画面，终端可以通过内置于其中的图像采集器402，来对正在观看视频的用户403进行图像采集。可选地，终端还可以通过外接的图像采集器件，来对用户进行图像采集，本申请实施例对此不加以限定。
302、终端将该目标图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该目标图像的特征图。
需要说明的是，该图像识别模型可以具有对图像进行识别以得到图像中人物的动作信息的功能，该图像识别模型可以包括至少一个卷积层、一个采样层和一个全连接层。可选地，该图像识别模型还可以为其他结构，本申请实施例对此不加以限定。
在一种可能的实现方式中，终端可以将获取到的目标图像输入至图像识别模型中，通过该图像识别模型的卷积层，对输入其中的图像进行卷积处理，以提取目标图像的特征图。
需要说明的是，该图像识别模型可以由服务器预先训练得到。在对初始模型进行训练时，服务器可以获取多个包含用户动作信息或人物动作信息的样本图像以及该样本图像中的动作信息，通过该初始模型对样本图像进行识别，得到该样本图像中的动作信息，根据获取到的样本图像中的动作信息以及识别出的动作信息，确定初始模型的损失函数值，根据该损失函数值，通过梯度下降法，对该初始模型的参数进行调整，再继续对下一个样本图像进行相同的处理，直至调整后的初始模型满足预设条件，则将满足预设条件的初始模型作为该图像识别模型。其中，该预设条件可以为识别结果的准确性满足迭代截止条件，还可以为损失函数值满足迭代截止条件，还可以为迭代次数达到预设次数，本申请实施例对具体采用哪种预设条件不加以限定。
需要说明的是，通过对初始模型进行训练得到图像识别模型后，服务器可以将该图像识别模型下发到终端，以便终端通过该图像识别模型，来执行步骤302至步骤304。
303、终端通过该图像识别模型的采样层，对该目标图像的特征图进行采样，得到该目标图像的特征图的卷积特征。
需要说明的是，通过采样层来对特征图进行采样时，可以采用最大值采样或均值采样的方式，可选地，还可以采用其他采样方式，本申请实施例对具体采用哪种方式不加以限定。通过对特征图进行采样，可以降低特征的维度，并保留有效信息，从而可以一定程度上避免过拟合，提高识别结果的准确性。
在一种可能的实现方式中，终端可以采用最大值采样的方式，通过图像识别模型的采样层，根据预设的模板，选出模板对应的区域的特征值中的最大特征值，以实现对特征图的采样。通过最大值采样，可以帮助图像识别模型迅速抓取到关键特征，忽略大量不相干特征，提高图像识别模型的处理速度。
在另一种可能的实现方式中，终端可以采用均值采样的方式，通过图像识别模型的采样层，根据预设的模板，计算模板对应的区域的特征值的平均值，以实现对特征图的采样。通过均值采样，可以帮助图像识别模型根据固定区域内的所有特征，得到较为均衡的特征，减少需要处理的特征，提高图像识别模型的处理速度。
304、终端通过该图像识别模型的全连接层，根据该卷积特征确定该目标图像中该目标用户的用户动作信息。
在一种可能的实现方式中，终端可以将采样得到的卷积特征输入至全连接层，通过全连接层对卷积特征进行进一步处理，得到该目标图像中该目标用户的用户动作信息。
需要说明的是，上述过程以采集到了某一个用户的图像来识别用户动作信息为例进行说明的，在其他可能的实现方式中，可能采集到包括至少两个用户的图像，若该目标图像中包括至少两个用户的图像，则终端可以通过该图像识别模型对该目标图像中的至少两个用户的动作信息进行识别，得到该至少两个用户的用户动作信息，将用户动作信息的动作幅度满足第一目标条件的用户对应的用户动作信息，确定为该目标用户的用户动作信息。可选地，该第一目标条件可以为该用户动作信息的动作幅度大于预设幅度值，该第一目标条件还可以为其他类型，本申请实施例对此不加以限定。通过将动作幅度满足第一目标条件的用户动作信息，确定为该目标用户的用户动作信息，以便后续基于该动作幅度较大的用户动作信息，来与画面图像中的人物动作信息进行匹配，忽略图像中其他用户的微小动作，可以减少终端的处理压力，提高交互处理速度。
305、终端将该目标视频的画面图像输入至该图像识别模型，通过该图像识别模型的卷积层，提取该画面图像的特征图。
需要说明的是，若该目标视频的播放方式为在线播放时，终端可以从服务器接收该目标视频的视频数据流，并对接收到的视频数据流进行解码和编码，得到多个画面图像，以便基于这多个画面图像进行播放。若该目标视频的播放方式为离线播放时，终端可以直接对缓存中所存储的目标视频进行编码，以得到多个画面图像，来对目标视频进行播放。终端在通过图像采集器件获取到目标图像后，可以获取目标视频当前播放到的画面图像，以便将该画面图像输入至图像识别模型，通过该图像识别模型的卷积层提取该画面图像的特征图，具体过程与上述步骤302同理，此处不再赘述。
306、终端通过该图像识别模型的采样层，对该画面图像的特征图进行采样，得到该画面图像的特征图的卷积特征。
其中，该步骤与上述步骤303同理，此处不再赘述。
307、终端根据该卷积特征，确定该画面图像中的人物动作信息。
需要说明的是，该步骤与上述步骤304同理，此处不再赘述。
其中，上述步骤305至步骤307的过程可以参见图5，对于目标视频当前播放到的图像画面505，终端可以通过图像识别模型503识别出该画面图像505中的人物动作信息。
需要说明的是，上述过程是以识别包括一个人物的画面图像中的人物动作信息为例进行说明的，在其他可能的实现方式中，该画面图像中可能包括至少两个人物，若该画面图像中包括至少两个人物，则终端可以通过该图像识别模型对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，进而从这至少两个人物的人物动作信息中，选择一个人物的人物动作信息，作为该画面图像中的人物动作信息。上述选择过程可以有如下三种实现方式中任一种：
在一种可能的实现方式中，终端可以将人物动作信息的动作幅度满足第一目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。通过将动作幅度满足第一目标条件的用户动作信息，确定为该目标用户的用户动作信息，以便后续基于该动作幅度较大的用户动作信息，来与画面图像中的人物动作信息进行匹配，忽略图像中其他用户的微小动作，可以减少终端的处理压力，提高交互处理速度。
在另一种可能的实现方式中，终端可以将人物的显示尺寸满足第二目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。其中，该第二目标条件可以为人物的显示尺寸大于预设尺寸值，可选地，该第二目标条件还可以为其他类型，本申请实施例对此不加以限定。通过将人物的显示尺寸满足第二目标条件的人物动作信息，确定为该画面图像中的人物动作信息，以便基于该人物显示尺寸较大的人物对应的人物动作信息，来与目标用户的用户动作信息进行匹配，符合用户观看视频时较为关注显示尺寸较大的人物的观看习惯，可以提高用户体验，增加用户粘性。
在另一种可能的实现方式中，终端可以获取该至少两个人物的人物信息，该人物信息满足第三目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。其中，该第三目标条件可以为人物信息所指示的人物身份为主要角色，可选地，该第三目标条件还可以为其他类型，本申请实施例对此不加以限定。通过将人物信息满足第三目标条件的人物动作信息，确定为该画面图像中的人物动作信息，以便基于该目标视频中的主要角色对应的人物动作信息，来与目标用户的用户动作信息进行匹配，符合用户观看视频时较为关注主要角色的观看习惯，可以提高用户体验，增加用户粘性。
需要说明的是，上述步骤305至步骤307中通过该图像识别模型对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息的过程，可以与上述步骤302至步骤304中通过图像识别模型对该目标图像进行识别，得到该目标图像中该目标用户的用户动作信息的过程同步进行，可选地，终端中还可以预先存储有目标视频中各个人物的人物动作信息，终端在识别出该目标图像中该目标用户的用户动作信息后，可以先将该用户动作信息与预先存储的各个人物的人物动作信息进行比较，若该用户动作信息与预先存储的该目标视频的人物动作信息中任一个人物动作信息匹配，则终端执行上述步骤305至步骤307，否则，继续对获取到的下一个目标图像进行处理。
在一些可能的实现方式中，终端还可以将通过图像采集器件采集到的目标图像发送给服务器，由服务器执行上述步骤302至步骤307，进而由服务器对识别出的目标图像中目标用户的用户动作信息，与识别出的画面图像中的人物动作信息进行比较，并将该用户动作信息与该人物动作信息是否匹配的结果发送给终端，由终端根据接收到的结果，在该用户动作信息与该人物动作信息匹配时，执行下述步骤308，具体识别过程与上述步骤302至步骤307同理，此处不再赘述。
308、若该用户动作信息与该人物动作信息匹配，则终端基于该目标视频，显示目标互动信息，该目标互动信息用于提供视频观看过程中的互动功能。
在一种可能的实现方式中，终端可以将步骤304确定出的用户动作信息和步骤307确定出的人物动作信息进行比较，若该用户动作信息与该人物动作信息匹配，也即是，该用户动作信息与该人物动作信息的相似度满足预设条件，则终端可以在该目标视频的播放界面中，显示用于提供视频观看过程中的互动功能的目标互动信息。其中，该预设条件可以为该用户动作信息与该人物动作信息的相似度大于预设阈值，可选地，该预设条件还可以为其他类型，本申请实施例对此不加以限定。
需要说明的是，该互动功能可以有多种类型，如显示对话框、增加用户经验值、展示特效等，本申请实施例对此不加以限定。具体地，若步骤304确定出的用户动作信息和步骤307确定出的人物动作信息均为鼓掌，则终端可以在该目标视频的播放界面中显示一个对话框，该对话框中可以包括类似“恭喜您完成隐藏鼓掌任务”的提示信息。若该用户动作信息和该人物动作信息均为鼓掌，则终端可以在该目标视频的播放界面中，显示鼓掌特效。
可选地，还可以由服务器在该用户动作信息与该人物动作信息匹配时，确定出目标互动信息，进而将该目标互动信息发送给终端，由终端基于目标视频显示该目标互动信息。
本申请实施例提供的方案，通过对正在观看视频的用户进行图像采集，对采集到的图像中用户的动作进行识别，来确定用户正在进行的动作，并对当前播放到的目标视频的画面图像中人物的动作进行识别，来确定人物正在进行的动作，进而在用户动作与人物匹配时进行相应的互动，以便提供一种实时互动的方法，来提供更多的趣味性互动方式，而且可以提升用户的参与感，提高用户体验。
图5是本申请实施例提供的一种基于视频的交互处理方法的流程图，参见图5，该方法包括：
501、在终端播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像。
需要说明的是，该步骤与上述步骤301同理，此处不再赘述。参见图6，图6是本申请实施例提供的一种基于视频的播放控制方法的基本流程图，该步骤501可以参见步骤601。具体地，终端可以通过步骤601，来进行数据采集，也即是，通过终端的图像采集器件进行图像采集。
502、终端将该目标图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该目标图像的特征图。
需要说明的是，该步骤与上述步骤302同理，此处不再赘述。
503、终端通过该图像识别模型的采样层，对该目标图像的特征图进行采样，得到该目标图像的特征图的卷积特征。
需要说明的是，该步骤与上述步骤303同理，此处不再赘述。
504、终端通过该图像识别模型的全连接层，根据该卷积特征确定该目标图像中该目标用户的用户动作信息。
需要说明的是，该步骤与上述步骤304同理，此处不再赘述。参见图6，上述步骤502至步骤504的过程即为图6中步骤602对目标图像中用户的动作进行识别的过程。
505、终端将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较。
其中，该至少一个控制功能对应的预设动作信息的获取过程可以如下所示：终端可以向服务器发送信息获取请求，该信息获取请求用于获取该至少一个控制功能对应的预设动作信息，并接收该服务器发送的该至少一个控制功能对应的预设动作信息。
需要说明的是，该至少一个控制功能对应的预设动作信息还可以由用户自行进行设置。例如，终端可以将从服务器获取到的至少一个控制功能对应的预设动作信息展示在可视化界面上，并在各个控制功能对应的预设动作信息后设置相应的复选框，用户可以在可视化界面上对至少一个控制功能对应的预设动作信息进行查看，并基于自己的需求，通过勾选自己需要的控制功能对应的预设动作信息后的复选框，实现控制功能对应的预设动作信息的个性化设置。通过用户自行对至少一个控制功能对应的预设动作信息进行选择，可以方便用户根据自己的实际情况选择自己需要的控制功能对应的预设动作信息，提高用户体验，增加用户粘性。
在一些可能的实现方式中，终端还可以将通过图像采集器件采集到的目标图像发送给服务器，由服务器执行上述步骤502至步骤505，进而由服务器将比较得到的该用户动作信息与该预设动作信息中任一个预设动作信息是否匹配的结果发送给终端，由终端根据接收到的结果，在该用户动作信息与该预设动作信息中任一个预设动作信息匹配时，执行下述步骤506，具体识别过程与上述步骤502至步骤505同理，此处不再赘述。
506、若该用户动作信息与该预设动作信息中任一个预设动作信息匹配，则终端根据该任一个预设动作信息对应的控制功能，对该目标视频的播放进行控制。
在一种可能的实现方式中，终端可以将步骤504确定出的用户动作信息和至少一个控制功能对应的预设动作信息进行比较，若该用户动作信息与该至少一个控制功能对应的预设动作信息中任一个控制功能对应的预设动作信息匹配，也即是，该用户动作信息与任一个控制功能对应的预设动作信息的相似度满足预设条件，则终端可以根据该任一个控制功能对应的预设动作信息，来对目标视频的播放进行控制。其中，该预设条件可以为该用户动作信息与该预设动作信息的相似度大于预设阈值，可选地，该预设条件还可以为其他类型，本申请实施例对此不加以限定。参见图6，终端可以通过步骤603，根据用户动作信息来对目标视频的播放进行控制，播放目标视频的播放器可以对用户动作信息做出响应，实现对目标视频的播放的控制。
需要说明的是，对目标视频的播放进行控制时可以有多种控制方式，例如，拖动播放条、开始播放、暂停播放等，可选地，对目标视频的播放进行控制还可以有其他的控制方式，本申请实施例对此不加以限定。
例如，若终端通过上述步骤502至步骤504，识别出目标图像中的用户动作信息为手指向右滑动，而至少一个控制功能对应的预设动作信息中包括手指向右滑动的动作信息，且该手指向右滑动的动作信息对应的控制功能为视频快进功能，则终端可以根据该手指向右滑动的动作信息对应的视频快进功能，来向右拖动目标视频的播放条，实现对目标视频的播放进度的快进；若目标图像中的用户动作信息为手指向左滑动，而至少一个控制功能对应的预设动作信息中包括手指向左滑动的动作信息，且该手指向左滑动的动作信息对应的控制功能为视频后退功能，则终端可以根据该手指向左滑动的动作信息对应的视频后退功能，来向左拖动目标视频的播放条，实现对目标视频的播放进度的后退。
其中，在根据该任一个预设动作信息对应的控制功能，对该目标视频的播放进行控制时，终端可以获取该用户动作信息所指示的动作幅度，根据该用户动作信息对应的控制功能，按照该动作幅度对应的调整步长，对该目标视频的播放进行控制。例如，若目标图像中的用户动作信息为手指向右滑动，则终端可以获取手指向右滑动的动作信息所指示的动作幅度，也即是，手指向右滑动的幅度，根据该手指向右滑动的幅度对应的调整步长，确定需要对目标视频快进多少，并据此来对目标视频的播放进度进行控制，实现对目标视频的播放进度的快进；若目标图像中的用户动作信息为手指向左滑动，则终端可以获取手指向左滑动的动作信息所指示的动作幅度，也即是，手指向左滑动的幅度，根据该手指向左滑动的幅度对应的调整步长，确定需要对目标视频后退多少，并据此来对目标视频的播放进度进行控制，实现对目标视频播放进度的后退。通过根据用户动作信息所指示的动作幅度对应的调整步长，来对目标视频的播放进行控制，用户想要快进较多时，就可以做出较大幅度的动作，用户想要快进较多时，就可以做出较小幅度的动作，可以方便用户根据自己的意愿来进行控制，提高用户体验，增加用户粘性。
需要说明的是，上述图3与图5所示的实施例，可以分别用于提供一种实时互动的方法和一种远程控制视频播放的方法，在其他可能的实现方式中，上述两种方法还可以结合使用，参见图7，图7是本申请实施例提供的一种基于视频的交互处理方法的技术流程图，终端通过图像采集器件获取到目标图像701后，可以通过服务器702下发的图像识别模型703，来对目标图像701进行识别，得到该目标图像中的用户动作信息，通过步骤704，将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较，在该用户动作信息与任一个控制功能对应的预设动作信息匹配时，来对目标视频的播放进行控制。同时，终端还可以通过图像识别模型703，对目标视频播放到的画面图像705进行识别，得到画面图像中的人物动作信息，通过步骤706对比该用户动作信息和该人物动作信息，在该用户动作信息和该人物动作信息匹配时实现如707所示的产品交互，也即是，基于目标视频显示目标互动信息。
可选地，还可以由服务器在该用户动作信息与该预设动作信息中任一个预设动作信息匹配时，根据该任一个预设动作信息对应的控制功能，生成控制指令，并将该控制指令发送给终端，以便终端根据接收到的控制指令，执行对应的控制功能，来对目标视频的播放进行控制。
本申请实施例提供的方案，在识别出目标图像中的用户动作信息后，将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较，以便在用户动作信息与至少一个控制功能对应的预设动作信息中任一个控制功能对应的预设动作信息匹配时，实现对目标视频的播放的控制，无需对终端的可视化界面上的UI控件进行触发，实现对目标视频的远程控制，提高视频控制效率，提高用户体验。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图8是本申请实施例提供的一种基于视频的交互处理装置的结构示意图，参见图8，该装置包括：
图像采集模块801，用于在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，该目标图像包括目标用户的图像；
识别模块802，用于对该目标图像进行识别，得到该目标图像中该目标用户的用户动作信息；
该识别模块802，还用于对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息；
显示模块803，用于若该用户动作信息与该人物动作信息匹配，则基于该目标视频，显示目标互动信息，该目标互动信息用于提供视频观看过程中的互动功能。
本申请实施例提供的装置，通过对正在观看视频的用户进行图像采集，对采集到的图像中用户的动作进行识别，来确定用户正在进行的动作，并对当前播放到的目标视频的画面图像中人物的动作进行识别，来确定人物正在进行的动作，进而在用户动作与人物匹配时进行相应的互动，以便提供一种实时互动的方法，来提供更多的趣味性互动方式，而且可以提升用户的参与感，提高用户体验。
在一种可能的实现方式中，该识别模块802，用于若该目标图像中包括至少两个用户的图像，对该目标图像中的至少两个用户的动作信息进行识别，得到该至少两个用户的用户动作信息，将用户动作信息的动作幅度满足第一目标条件的用户对应的用户动作信息，确定为该目标用户的用户动作信息。
在一种可能的实现方式中，该识别模块802，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，将人物动作信息的动作幅度满足第一目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块802，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，将人物的显示尺寸满足第二目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块802，用于若该画面图像中包括至少两个人物，对该画面图像中的至少两个人物的动作信息进行识别，得到该至少两个人物的人物动作信息，获取该至少两个人物的人物信息，将该人物信息满足第三目标条件的人物对应的人物动作信息，确定为该画面图像中的人物动作信息。
在一种可能的实现方式中，该识别模块802，还用于若该用户动作信息与预先存储的该目标视频的人物动作信息中任一个人物动作信息匹配，则执行对该目标视频的画面图像进行识别，得到该画面图像中的人物动作信息的步骤。
在一种可能的实现方式中，该识别模块，用于将该目标图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该目标图像的特征图，通过该图像识别模型的采样层，对该目标图像的特征图进行采样，得到该目标图像的特征图的卷积特征，根据该卷积特征，确定该目标图像中该目标用户的用户动作信息。
在一种可能的实现方式中，该识别模块802，用于将该画面图像输入至图像识别模型，通过该图像识别模型的卷积层，提取该画面图像的特征图，通过该图像识别模型的采样层，对该画面图像的特征图进行采样，得到该画面图像的特征图的卷积特征，根据该卷积特征，确定该画面图像中的人物动作信息。
在一种可能的实现方式中，该装置还包括：
比较模块，用于将该用户动作信息与至少一个控制功能对应的预设动作信息进行比较；
控制模块，用于若该用户动作信息与该预设动作信息中任一个预设动作信息匹配，则根据该任一个预设动作信息对应的控制功能，对该目标视频的播放进行控制。
在一种可能的实现方式中，该控制模块，用于获取该用户动作信息所指示的动作幅度，根据该用户动作信息对应的控制功能，按照该动作幅度对应的调整步长，对该目标视频的播放进行控制。
在一种可能的实现方式中，该装置还包括：
发送模块，用于向服务器发送信息获取请求，该信息获取请求用于获取该至少一个控制功能对应的预设动作信息；
接收模块，用于接收该服务器发送的该至少一个控制功能对应的预设动作信息。
需要说明的是：上述实施例提供的基于视频的交互处理装置在提供视频观看过程中的互动功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于视频的交互处理装置与基于视频的交互处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种终端的结构示意图。通常，该终端900包括有：一个或多个处理器901和一个或多个存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、9核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器901所执行以实现本申请中方法实施例提供的基于视频的交互处理方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头906、音频电路907、定位组件909和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的基于视频的交互处理方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种基于视频的交互处理方法，其特征在于，所述方法包括：
在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，所述目标图像包括目标用户的图像；
对所述目标图像进行识别，得到所述目标图像中所述目标用户的用户动作信息，所述用户动作信息为所述目标用户的肢体动作；
对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息；
若所述用户动作信息与所述人物动作信息匹配，则基于所述目标视频，显示目标互动信息，所述目标互动信息用于提供视频观看过程中的互动功能；
所述对所述目标图像进行识别，得到所述目标图像中所述目标用户的用户动作信息之后，所述方法还包括：
将所述用户动作信息与至少一个控制功能对应的预设动作信息进行比较；
若所述用户动作信息与所述预设动作信息中任一个预设动作信息匹配，则获取所述用户动作信息所指示的动作幅度；
根据所述用户动作信息对应的控制功能，按照所述动作幅度对应的调整步长，对所述目标视频的播放进行控制。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行识别，得到所述目标图像中所述目标用户的用户动作信息包括：
若所述目标图像中包括至少两个用户的图像，对所述目标图像中的至少两个用户的动作信息进行识别，得到所述至少两个用户的用户动作信息；
将用户动作信息的动作幅度满足第一目标条件的用户对应的用户动作信息，确定为所述目标用户的用户动作信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息包括：
若所述画面图像中包括至少两个人物，对所述画面图像中的至少两个人物的动作信息进行识别，得到所述至少两个人物的人物动作信息；
将人物动作信息的动作幅度满足第一目标条件的人物对应的人物动作信息，确定为所述画面图像中的人物动作信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息包括：
若所述画面图像中包括至少两个人物，对所述画面图像中的至少两个人物的动作信息进行识别，得到所述至少两个人物的人物动作信息；
将人物的显示尺寸满足第二目标条件的人物对应的人物动作信息，确定为所述画面图像中的人物动作信息。
5.根据权利要求1所述的方法，其特征在于，所述对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息包括：
若所述画面图像中包括至少两个人物，对所述画面图像中的至少两个人物的动作信息进行识别，得到所述至少两个人物的人物动作信息；
获取所述至少两个人物的人物信息，将所述人物信息满足第三目标条件的人物对应的人物动作信息，确定为所述画面图像中的人物动作信息。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述用户动作信息与预先存储的所述目标视频的人物动作信息中任一个人物动作信息匹配，则执行对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息的步骤。
7.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行识别，得到所述目标图像中所述目标用户的用户动作信息包括：
将所述目标图像输入至图像识别模型，通过所述图像识别模型的卷积层，提取所述目标图像的特征图；
通过所述图像识别模型的采样层，对所述目标图像的特征图进行采样，得到所述目标图像的特征图的卷积特征；
通过所述图像识别模型的全连接层，根据所述卷积特征确定所述目标图像中所述目标用户的用户动作信息。
8.根据权利要求1所述的方法，其特征在于，所述对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息包括：
将所述画面图像输入至图像识别模型，通过所述图像识别模型的卷积层，提取所述画面图像的特征图；
通过所述图像识别模型的采样层，对所述画面图像的特征图进行采样，得到所述画面图像的特征图的卷积特征；
通过所述图像识别模型的全连接层，根据所述卷积特征确定所述画面图像中的人物动作信息。
9.根据权利要求1所述的方法，其特征在于，所述将所述用户动作信息与至少一个控制功能对应的预设动作信息进行比较之前，所述方法还包括：
向服务器发送信息获取请求，所述信息获取请求用于获取所述至少一个控制功能对应的预设动作信息；
接收所述服务器发送的所述至少一个控制功能对应的预设动作信息。
10.一种基于视频的交互处理装置，其特征在于，所述装置包括：
图像采集模块，用于在播放目标视频时，通过终端的图像采集器件进行图像采集，得到目标图像，所述目标图像包括目标用户的图像；
识别模块，用于对所述目标图像进行识别，得到所述目标图像中所述目标用户的用户动作信息，所述用户动作信息为所述目标用户的肢体动作；
所述识别模块，还用于对所述目标视频的画面图像进行识别，得到所述画面图像中的人物动作信息；
显示模块，用于若所述用户动作信息与所述人物动作信息匹配，则基于所述目标视频，显示目标互动信息，所述目标互动信息用于提供视频观看过程中的互动功能；
所述装置还包括：
比较模块，用于将所述用户动作信息与至少一个控制功能对应的预设动作信息进行比较；
控制模块，用于若所述用户动作信息与所述预设动作信息中任一个预设动作信息匹配，则获取所述用户动作信息所指示的动作幅度，根据所述用户动作信息对应的控制功能，按照所述动作幅度对应的调整步长，对所述目标视频的播放进行控制。
11.根据权利要求10所述的装置，其特征在于，所述识别模块，用于若所述目标图像中包括至少两个用户的图像，对所述目标图像中的至少两个用户的动作信息进行识别，得到所述至少两个用户的用户动作信息，将用户动作信息的动作幅度满足第一目标条件的用户对应的用户动作信息，确定为所述目标用户的用户动作信息。
12.一种终端，其特征在于，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的基于视频的交互处理方法所执行的操作。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的基于视频的交互处理方法所执行的操作。
CN202010380601.5A 2020-05-08 2020-05-08 基于视频的交互处理方法、装置、终端及可读存储介质 Active CN111541951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010380601.5A CN111541951B (zh) 2020-05-08 2020-05-08 基于视频的交互处理方法、装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010380601.5A CN111541951B (zh) 2020-05-08 2020-05-08 基于视频的交互处理方法、装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN111541951A CN111541951A (zh) 2020-08-14
CN111541951B true CN111541951B (zh) 2021-11-02

Family

ID=71979079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010380601.5A Active CN111541951B (zh) 2020-05-08 2020-05-08 基于视频的交互处理方法、装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN111541951B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866810B (zh) * 2021-01-05 2023-04-21 三星电子（中国）研发中心 视频播放方法及视频播放装置
CN113179445B (zh) * 2021-04-15 2023-07-14 腾讯科技（深圳）有限公司 基于互动物品的视频分享方法、互动物品
CN113766297B (zh) * 2021-05-27 2023-12-05 腾讯科技（深圳）有限公司 视频处理方法、播放终端及计算机可读存储介质
CN114900738A (zh) * 2022-06-02 2022-08-12 咪咕文化科技有限公司 一种观影互动方法、装置及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统
US20140357369A1 (en) * 2013-06-04 2014-12-04 Microsoft Corporation Group inputs via image sensor system
CN106658038A (zh) * 2016-12-19 2017-05-10 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN107239139B (zh) * 2017-05-18 2018-03-16 刘国华 基于正视的人机交互方法与系统
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
CN110602516A (zh) * 2019-09-16 2019-12-20 腾讯科技（深圳）有限公司 基于视频直播的信息交互方法、装置及电子设备
CN110636377A (zh) * 2019-09-20 2019-12-31 北京达佳互联信息技术有限公司 视频处理方法、装置、存储介质、终端及服务器
CN110636383A (zh) * 2019-09-20 2019-12-31 北京达佳互联信息技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN110809172A (zh) * 2019-11-19 2020-02-18 广州虎牙科技有限公司 交互特效展示方法、装置及电子设备

Also Published As

Publication number Publication date
CN111541951A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111652678B (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN113395542B (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111476783B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN111031386B (zh) 基于语音合成的视频配音方法、装置、计算机设备及介质
CN110135336B (zh) 行人生成模型的训练方法、装置及存储介质
CN111327772B (zh) 进行自动语音应答处理的方法、装置、设备及存储介质
CN112749956A (zh) 信息处理方法、装置及设备
CN111339938A (zh) 信息交互方法、装置、设备及存储介质
CN113750523A (zh) 三维虚拟对象的动作生成方法、装置、设备及存储介质
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
CN113392687A (zh) 视频标题生成方法、装置、计算机设备及存储介质
CN113762971A (zh) 数据加密方法、装置、计算机设备及存储介质
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN111368127B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110493635B (zh) 视频播放方法、装置及终端
CN111835621A (zh) 会话消息处理方法、装置、计算机设备及可读存储介质
CN111582862A (zh) 信息处理方法、装置、系统、计算机设备及存储介质
CN113205569A (zh) 图像绘制方法及装置、计算机可读介质和电子设备
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN113409770A (zh) 发音特征处理方法、装置、服务器及介质
CN111341307A (zh) 语音识别方法、装置、电子设备及存储介质
CN112988984B (zh) 特征获取方法、装置、计算机设备及存储介质
CN112235635A (zh) 动画显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027965

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant