CN111523491A - 一种基于混合深度学习的视频序列表情识别方法及系统 - Google Patents

一种基于混合深度学习的视频序列表情识别方法及系统 Download PDF

Info

Publication number
CN111523491A
CN111523491A CN202010339037.2A CN202010339037A CN111523491A CN 111523491 A CN111523491 A CN 111523491A CN 202010339037 A CN202010339037 A CN 202010339037A CN 111523491 A CN111523491 A CN 111523491A
Authority
CN
China
Prior art keywords
deep learning
central computer
mobile terminal
learning function
hybrid deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010339037.2A
Other languages
English (en)
Inventor
陈虹君
罗福强
马磊
赵力衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jincheng College of Sichuan University
Original Assignee
Jincheng College of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jincheng College of Sichuan University filed Critical Jincheng College of Sichuan University
Priority to CN202010339037.2A priority Critical patent/CN111523491A/zh
Publication of CN111523491A publication Critical patent/CN111523491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于混合深度学习的视频序列表情识别方法，包括：收集视频序列；向具有混合深度学习功能的中心计算机发送视频发送请求；接收视频发送准许消息；向具有混合深度学习功能的中心计算机发送视频发送确认消息；由具有混合深度学习功能的中心计算机向移动终端发送具有混合深度学习功能的中心计算机的功能指示；基于功能指示，确定具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；如果确定具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则向具有混合深度学习功能的中心计算机发送耗电量偏好通知；由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示。

Description

一种基于混合深度学习的视频序列表情识别方法及系统
技术领域
本发明是关于混合深度学习技术领域，特别是关于一种基于混合深度学习的视频序列表情识别方法及系统。
背景技术
混合深度学习是一种新的深度学习方法，主要是研究不同深度学习算法或与其它算法之间的混合。比如智能故障检测领域最常见的就是故障的特征提取和检测(分类)两步工作分别使用深度学习算法和传统的机器算法(如one class支持向量机等)。
现有技术CN109635791A公开了一种基于深度学习的视频取证方法，包括：获取所需分析的数据集；应用三维卷积神经网络聚合所述数据集中的视频帧，以捕获帧间时间运动的固有属性，输出特征立方体；应用二维卷积神经网络，以所述特征立方体作为输入，聚合视频帧，以捕获每帧的帧内空间信息，为每个视频帧输出相应的一维向量；应用长短期记忆网络聚合所述二维卷积神经网络输出的一维向量，输出视频取证结果。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于混合深度学习的视频序列表情识别方法及系统，其能够克服现有技术的缺点。
为实现上述目的，本发明提供了一种基于混合深度学习的视频序列表情识别方法，其特征在于：基于混合深度学习的视频序列表情识别方法包括如下步骤：
由移动终端收集视频序列；
由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
由移动终端接收视频发送准许消息，其中，视频发送准许消息是具有混合深度学习功能的中心计算机响应于接收到视频发送请求而发送的；
响应于接收到视频发送准许消息，由移动终端向具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，视频发送确认消息中包括用于查询具有混合深度学习功能的中心计算机的功能的请求消息；
响应于接收到用于查询具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向移动终端发送具有混合深度学习功能的中心计算机的功能指示；
响应于接收到功能指示，由移动终端基于功能指示，确定具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
如果确定具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向具有混合深度学习功能的中心计算机发送耗电量偏好通知；
响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示；
响应于接收到视频发送模式指示，由移动终端基于视频发送模式指示，来确定监听时段；
由移动终端在监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在监听时段所定义的时间段之外，移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
由移动终端基于接收到视频序列请求消息向具有混合深度学习功能的中心计算机发送视频序列；
响应于接收到视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。
在一优选的实施方式中，其中，耗电量偏好通知用于指示移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断具有混合深度学习功能的中心计算机是否要对移动终端进行高优先级配置；
如果判断具有混合深度学习功能的中心计算机不对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断耗电量偏好通知指示移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断耗电量偏好通知指示移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断耗电量偏好通知指示移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置；
如果判断具有混合深度学习功能的中心计算机要对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断具有混合深度学习功能的中心计算机要对移动终端进行哪种配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置。
在一优选的实施方式中，其中，由移动终端基于视频发送模式指示，来确定监听时段包括如下步骤：
判断视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，第二开启时间比第一开启时间更短。
在一优选的实施方式中，其中，由移动终端根据监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，第二关闭时间的长度比第一关闭时间的长度更长。
在一优选的实施方式中，其中，如果在预定时间内，具有混合深度学习功能的中心计算机没有接收到视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向移动终端发送视频发送准许消息。
本发明提供了一种基于混合深度学习的视频序列表情识别系统，其特征在于：基于混合深度学习的视频序列表情识别系统包括：
用于由移动终端收集视频序列；
用于由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
用于由移动终端接收视频发送准许消息，其中，视频发送准许消息是具有混合深度学习功能的中心计算机响应于接收到视频发送请求而发送的；
用于响应于接收到视频发送准许消息，由移动终端向具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，视频发送确认消息中包括用于查询具有混合深度学习功能的中心计算机的功能的请求消息；
用于响应于接收到用于查询具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向移动终端发送具有混合深度学习功能的中心计算机的功能指示；
用于响应于接收到功能指示，由移动终端基于功能指示，确定具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
用于如果确定具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向具有混合深度学习功能的中心计算机发送耗电量偏好通知；
用于响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示；
用于响应于接收到视频发送模式指示，由移动终端基于视频发送模式指示，来确定监听时段；
用于由移动终端在监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在监听时段所定义的时间段之外，移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
用于由移动终端基于接收到视频序列请求消息向具有混合深度学习功能的中心计算机发送视频序列；
用于响应于接收到视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。
在一优选的实施方式中，其中，耗电量偏好通知用于指示移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断具有混合深度学习功能的中心计算机是否要对移动终端进行高优先级配置；
如果判断具有混合深度学习功能的中心计算机不对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断耗电量偏好通知指示移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断耗电量偏好通知指示移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断耗电量偏好通知指示移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置；
如果判断具有混合深度学习功能的中心计算机要对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断具有混合深度学习功能的中心计算机要对移动终端进行哪种配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置。
在一优选的实施方式中，其中，由移动终端基于视频发送模式指示，来确定监听时段包括如下步骤：
判断视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，第二开启时间比第一开启时间更短。
在一优选的实施方式中，其中，由移动终端根据监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，第二关闭时间的长度比第一关闭时间的长度更长。
在一优选的实施方式中，其中，如果在预定时间内，具有混合深度学习功能的中心计算机没有接收到视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向所述移动终端发送所述视频发送准许消息。
与现有技术相比，本发明具有如下优点，经常使用手机APP的用户都知道，各种同类APP功能基本类似、性能基本上相同，比如健身类APP的记步精度一般都是一样的，其提供的服务也基本都是完全相同的。目前视频序列表情识别类的APP也具有类似现象，这种现象的本质原因是视频序列表情识别算法本身的研发和演进比较困难，短时间内希望通过开发新算法来全面提升用户体验是不现实的。为了完成提升用户体验的任务，就需要从其它方面寻找解决途径，众所周知的是，视频传输是非常耗电的一项应用，如果能够实现一种低能耗的视频传输，那么相关的视频序列表情识别类的APP的用户体验必将提升。针对现有技术的需求，本申请提出了一种基于混合深度学习的视频序列表情识别方法，本申请的方法在视频传输过程中能够保证移动终端具有尽量低的耗电水平。
附图说明
图1是根据本发明一实施方式的方法流程图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
图1是根据本发明一实施方式的方法流程图。如图所示，本发明的方法包括如下步骤：
步骤101：由移动终端收集视频序列；
步骤102：由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
步骤103：由移动终端接收视频发送准许消息，其中，视频发送准许消息是具有混合深度学习功能的中心计算机响应于接收到视频发送请求而发送的；
步骤104：响应于接收到视频发送准许消息，由移动终端向具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，视频发送确认消息中包括用于查询具有混合深度学习功能的中心计算机的功能的请求消息；
步骤105：响应于接收到用于查询具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向移动终端发送具有混合深度学习功能的中心计算机的功能指示；
步骤106：响应于接收到功能指示，由移动终端基于功能指示，确定具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
步骤107：如果确定具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向具有混合深度学习功能的中心计算机发送耗电量偏好通知；
步骤108：响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示；
步骤109：响应于接收到视频发送模式指示，由移动终端基于视频发送模式指示，来确定监听时段；
步骤110：由移动终端在监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在监听时段所定义的时间段之外，移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
步骤111：由移动终端基于接收到视频序列请求消息向具有混合深度学习功能的中心计算机发送视频序列；
步骤112：响应于接收到视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。需要指出的是，本申请的重点是如何高效的将视频序列发送到计算机，以便计算机能够及时稳定的获得分析对象，并且保证视频手机终端耗电速度不过快，从而全面提升视频序列表情识别的用户体验。本申请使用的混合深度学习算法本身是现有技术，该算法的示例可以例如是本申请背景技术中提及的专利文献中介绍的方法。
在一优选的实施方式中，其中，耗电量偏好通知用于指示移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断具有混合深度学习功能的中心计算机是否要对移动终端进行高优先级配置；高优先级配置的设置保证了中心计算机具有对于移动终端的控制能力，这种设计能够保证中心计算机能够基于情况自适应的调整移动终端的传输情况。
如果判断具有混合深度学习功能的中心计算机不对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断耗电量偏好通知指示移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断耗电量偏好通知指示移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断耗电量偏好通知指示移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置；
如果判断具有混合深度学习功能的中心计算机要对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断具有混合深度学习功能的中心计算机要对移动终端进行哪种配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置。
在一优选的实施方式中，其中，由移动终端基于视频发送模式指示，来确定监听时段包括如下步骤：
判断视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，第二开启时间比第一开启时间更短。
在一优选的实施方式中，其中，由移动终端根据监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，第二关闭时间的长度比第一关闭时间的长度更长。
在一优选的实施方式中，其中，如果在预定时间内，具有混合深度学习功能的中心计算机没有接收到视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向移动终端发送视频发送准许消息。
本发明提供了一种基于混合深度学习的视频序列表情识别系统，其特征在于：基于混合深度学习的视频序列表情识别系统包括：
用于由移动终端收集视频序列；
用于由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
用于由移动终端接收视频发送准许消息，其中，视频发送准许消息是具有混合深度学习功能的中心计算机响应于接收到视频发送请求而发送的；
用于响应于接收到视频发送准许消息，由移动终端向具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，视频发送确认消息中包括用于查询具有混合深度学习功能的中心计算机的功能的请求消息；
用于响应于接收到用于查询具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向移动终端发送具有混合深度学习功能的中心计算机的功能指示；
用于响应于接收到功能指示，由移动终端基于功能指示，确定具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
用于如果确定具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向具有混合深度学习功能的中心计算机发送耗电量偏好通知；
用于响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示；
用于响应于接收到视频发送模式指示，由移动终端基于视频发送模式指示，来确定监听时段；
用于由移动终端在监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在监听时段所定义的时间段之外，移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
用于由移动终端基于接收到视频序列请求消息向具有混合深度学习功能的中心计算机发送视频序列；
用于响应于接收到视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。
在一优选的实施方式中，其中，耗电量偏好通知用于指示移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到耗电量偏好通知，由具有混合深度学习功能的中心计算机向移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断具有混合深度学习功能的中心计算机是否要对移动终端进行高优先级配置；
如果判断具有混合深度学习功能的中心计算机不对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断耗电量偏好通知指示移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断耗电量偏好通知指示移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断耗电量偏好通知指示移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置；
如果判断具有混合深度学习功能的中心计算机要对移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断具有混合深度学习功能的中心计算机要对移动终端进行哪种配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第一配置；
如果判断具有混合深度学习功能的中心计算机要配置移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在视频发送模式指示中包括对于监听时段的第二配置。
在一优选的实施方式中，其中，由移动终端基于视频发送模式指示，来确定监听时段包括如下步骤：
判断视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，第二开启时间比第一开启时间更短。
在一优选的实施方式中，其中，由移动终端根据监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，第二关闭时间的长度比第一关闭时间的长度更长。
在一优选的实施方式中，其中，如果在预定时间内，具有混合深度学习功能的中心计算机没有接收到视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向所述移动终端发送所述视频发送准许消息。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于混合深度学习的视频序列表情识别方法，其特征在于：所述基于混合深度学习的视频序列表情识别方法包括如下步骤：
由移动终端收集视频序列；
由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
由移动终端接收视频发送准许消息，其中，所述视频发送准许消息是所述具有混合深度学习功能的中心计算机响应于接收到所述视频发送请求而发送的；
响应于接收到所述视频发送准许消息，由移动终端向所述具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，所述视频发送确认消息中包括用于查询所述具有混合深度学习功能的中心计算机的功能的请求消息；
响应于接收到所述用于查询所述具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向所述移动终端发送具有混合深度学习功能的中心计算机的功能指示；
响应于接收到所述功能指示，由移动终端基于所述功能指示，确定所述具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
如果确定所述具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向所述具有混合深度学习功能的中心计算机发送耗电量偏好通知；
响应于接收到所述耗电量偏好通知，由具有混合深度学习功能的中心计算机向所述移动终端发送视频发送模式指示；
响应于接收到所述视频发送模式指示，由移动终端基于所述视频发送模式指示，来确定监听时段；
由移动终端在所述监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在所述监听时段所定义的时间段之外，所述移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
由移动终端基于接收到所述视频序列请求消息向所述具有混合深度学习功能的中心计算机发送视频序列；
响应于接收到所述视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。
2.如权利要求1所述的基于混合深度学习的视频序列表情识别方法，其特征在于：其中，所述耗电量偏好通知用于指示所述移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到所述耗电量偏好通知，由具有混合深度学习功能的中心计算机向所述移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断所述具有混合深度学习功能的中心计算机是否要对所述移动终端进行高优先级配置；
如果判断所述具有混合深度学习功能的中心计算机不对所述移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断所述耗电量偏好通知指示所述移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断所述耗电量偏好通知指示所述移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第一配置；
如果判断所述耗电量偏好通知指示所述移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第二配置；
如果判断所述具有混合深度学习功能的中心计算机要对所述移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断所述具有混合深度学习功能的中心计算机要对所述移动终端进行哪种配置；
如果判断所述具有混合深度学习功能的中心计算机要配置所述移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第一配置；
如果判断所述具有混合深度学习功能的中心计算机要配置所述移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第二配置。
3.如权利要求2所述的基于混合深度学习的视频序列表情识别方法，其特征在于：其中，由移动终端基于所述视频发送模式指示，来确定监听时段包括如下步骤：
判断所述视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果所述视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果所述视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，所述第二开启时间比第一开启时间更短。
4.如权利要求3所述的基于混合深度学习的视频序列表情识别方法，其特征在于：其中，由移动终端根据所述监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，所述第二关闭时间的长度比所述第一关闭时间的长度更长。
5.如权利要求4所述的基于混合深度学习的视频序列表情识别方法，其特征在于：其中，如果在预定时间内，所述具有混合深度学习功能的中心计算机没有接收到所述视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向所述移动终端发送所述视频发送准许消息。
6.一种基于混合深度学习的视频序列表情识别系统，其特征在于：所述基于混合深度学习的视频序列表情识别系统包括：
用于由移动终端收集视频序列；
用于由移动终端向具有混合深度学习功能的中心计算机发送视频发送请求；
用于由移动终端接收视频发送准许消息，其中，所述视频发送准许消息是所述具有混合深度学习功能的中心计算机响应于接收到所述视频发送请求而发送的；
用于响应于接收到所述视频发送准许消息，由移动终端向所述具有混合深度学习功能的中心计算机发送视频发送确认消息，其中，所述视频发送确认消息中包括用于查询所述具有混合深度学习功能的中心计算机的功能的请求消息；
用于响应于接收到所述用于查询所述具有混合深度学习功能的中心计算机的功能的请求消息，由具有混合深度学习功能的中心计算机向所述移动终端发送具有混合深度学习功能的中心计算机的功能指示；
用于响应于接收到所述功能指示，由移动终端基于所述功能指示，确定所述具有混合深度学习功能的中心计算机是否支持具有较低耗电量的传输模式；
用于如果确定所述具有混合深度学习功能的中心计算机支持具有较低耗电量的传输模式，则由移动终端向所述具有混合深度学习功能的中心计算机发送耗电量偏好通知；
用于响应于接收到所述耗电量偏好通知，由具有混合深度学习功能的中心计算机向所述移动终端发送视频发送模式指示；
用于响应于接收到所述视频发送模式指示，由移动终端基于所述视频发送模式指示，来确定监听时段；
用于由移动终端在所述监听时段内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，其中，在所述监听时段所定义的时间段之外，所述移动终端不监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
用于由移动终端基于接收到所述视频序列请求消息向所述具有混合深度学习功能的中心计算机发送视频序列；
用于响应于接收到所述视频序列，由具有混合深度学习功能的中心计算机基于混合深度学习算法来进行视频序列表情识别。
7.如权利要求6所述的基于混合深度学习的视频序列表情识别系统，其特征在于：其中，所述耗电量偏好通知用于指示所述移动终端在正常耗电量状态下工作或者在低耗电量状态下工作，并且其中，响应于接收到所述耗电量偏好通知，由具有混合深度学习功能的中心计算机向所述移动终端发送视频发送模式指示包括：
由具有混合深度学习功能的中心计算机判断所述具有混合深度学习功能的中心计算机是否要对所述移动终端进行高优先级配置；
如果判断所述具有混合深度学习功能的中心计算机不对所述移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断所述耗电量偏好通知指示所述移动终端在正常耗电量状态下工作还是在低耗电量状态下工作；
如果判断所述耗电量偏好通知指示所述移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第一配置；
如果判断所述耗电量偏好通知指示所述移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第二配置；
如果判断所述具有混合深度学习功能的中心计算机要对所述移动终端进行高优先级配置，则由具有混合深度学习功能的中心计算机继续判断所述具有混合深度学习功能的中心计算机要对所述移动终端进行哪种配置；
如果判断所述具有混合深度学习功能的中心计算机要配置所述移动终端在正常耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第一配置；
如果判断所述具有混合深度学习功能的中心计算机要配置所述移动终端在低耗电量状态下工作，则由具有混合深度学习功能的中心计算机在所述视频发送模式指示中包括对于监听时段的第二配置。
8.如权利要求7所述的基于混合深度学习的视频序列表情识别系统，其特征在于：其中，由移动终端基于所述视频发送模式指示，来确定监听时段包括如下步骤：
判断所述视频发送模式指示中是包括对于监听时段的第一配置还是包括对于监听时段的第二配置；
如果所述视频发送模式指示中包括对于监听时段的第一配置，则确定监听时段具有第一开启时间；
如果所述视频发送模式指示中包括对于监听时段的第二配置，则确定监听时段具有第二开启时间；
其中，所述第二开启时间比第一开启时间更短。
9.如权利要求8所述的基于混合深度学习的视频序列表情识别系统，其特征在于：其中，由移动终端根据所述监听时段监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息包括如下步骤：
如果确定监听时段具有第一开启时间，则由移动终端在第一开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第一开启时间之后的第一关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
如果确定监听时段具有第二开启时间，则由移动终端在第二开启时间内监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息，并且在第二开启时间之后的第二关闭时间内，停止监测由具有混合深度学习功能的中心计算机发送的视频序列请求消息；
其中，所述第二关闭时间的长度比所述第一关闭时间的长度更长。
10.如权利要求9所述的基于混合深度学习的视频序列表情识别系统，其特征在于：其中，如果在预定时间内，所述具有混合深度学习功能的中心计算机没有接收到所述视频发送确认消息，则由具有混合深度学习功能的中心计算机重新向所述移动终端发送所述视频发送准许消息。
CN202010339037.2A 2020-04-26 2020-04-26 一种基于混合深度学习的视频序列表情识别方法及系统 Pending CN111523491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010339037.2A CN111523491A (zh) 2020-04-26 2020-04-26 一种基于混合深度学习的视频序列表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010339037.2A CN111523491A (zh) 2020-04-26 2020-04-26 一种基于混合深度学习的视频序列表情识别方法及系统

Publications (1)

Publication Number Publication Date
CN111523491A true CN111523491A (zh) 2020-08-11

Family

ID=71904639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010339037.2A Pending CN111523491A (zh) 2020-04-26 2020-04-26 一种基于混合深度学习的视频序列表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN111523491A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN108765869A (zh) * 2018-05-31 2018-11-06 深圳市零度智控科技有限公司 基于人脸识别的儿童安全手表
CN110169761A (zh) * 2019-07-04 2019-08-27 郑州工程技术学院 一种运动监测信息传输方法及智能计步器
CN110569795A (zh) * 2018-03-13 2019-12-13 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN110569795A (zh) * 2018-03-13 2019-12-13 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108765869A (zh) * 2018-05-31 2018-11-06 深圳市零度智控科技有限公司 基于人脸识别的儿童安全手表
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN110169761A (zh) * 2019-07-04 2019-08-27 郑州工程技术学院 一种运动监测信息传输方法及智能计步器

Similar Documents

Publication Publication Date Title
WO2019184433A1 (zh) 一种网络数据的监测方法及装置
CN110113381B (zh) 一种区块链中订阅主题的方法及装置
CN107741899B (zh) 处理终端数据的方法、装置及系统
CN109961032B (zh) 用于生成分类模型的方法和装置
CN107223353A (zh) 用于请求系统消息的方法、装置、用户设备及基站
CN114282581B (zh) 基于数据增强的训练样本获取方法、装置和电子设备
CN109062715B (zh) 内存时钟频率的确定方法、装置及终端
CN112965804A (zh) 一种处理信息的方法、装置、终端、系统以及存储介质
EP4369776A1 (en) Computing power information acquiring method and related device
CN112423349B (zh) 一种新能源大数据平台数据清洗方法及系统
CN112530205A (zh) 机场停机坪飞机状态检测方法及装置
CN111130867B (zh) 一种基于物联网的智能家居设备告警方法及装置
CN112860431B (zh) 微服务节点的连接方法、系统、设备及存储介质
CN104536676A (zh) 一种处理邮件的方法及装置
CN111523491A (zh) 一种基于混合深度学习的视频序列表情识别方法及系统
US10721192B2 (en) Visual media file transmission method and user terminal
CN107562599A (zh) 一种参数检测方法及装置
CN109379449B (zh) 数据连接方法、装置、终端及存储介质
CN113746665A (zh) 日志数据处理方法、装置、计算机程序产品及存储介质
CN110809325A (zh) 一种基于长期演进通信系统的智能医学检验系统
CN113038630B (zh) 一种基于大数据的信息收集分析方法及系统
CN113329502B (zh) 一种基于可变二维码的多环节独立设备标识方法及系统
CN111178135B (zh) 一种用于深度学习的人面部信息的传输方法及系统
CN112532696B (zh) 一种将数据上传到云服务器以进行云计算的方法及系统
CN112165729B (zh) 基于区块链系统的化妆品原料溯源信息传输方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No.1 Xiyuan Avenue, high tech Zone, Chengdu, Sichuan 610000

Applicant after: Chengdu Jincheng University

Address before: 610000 No. 1 Xiyuan Avenue, Chengdu City, Sichuan Province

Applicant before: JINCHENG COLLEGE OF SICHUAN University

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200811

RJ01 Rejection of invention patent application after publication