CN113965612A - 基于消息队列遥测传输的微表情识别方法 - Google Patents

基于消息队列遥测传输的微表情识别方法 Download PDF

Info

Publication number
CN113965612A
CN113965612A CN202110139114.4A CN202110139114A CN113965612A CN 113965612 A CN113965612 A CN 113965612A CN 202110139114 A CN202110139114 A CN 202110139114A CN 113965612 A CN113965612 A CN 113965612A
Authority
CN
China
Prior art keywords
client
micro
message
connection
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110139114.4A
Other languages
English (en)
Inventor
凌志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinktech Information Technology Co ltd
Original Assignee
Nanjing Xinktech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinktech Information Technology Co ltd filed Critical Nanjing Xinktech Information Technology Co ltd
Priority to CN202110139114.4A priority Critical patent/CN113965612A/zh
Publication of CN113965612A publication Critical patent/CN113965612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及微表情识别技术领域，且公开了基于消息队列遥测传输的微表情识别方法，包括以下步骤：S1：建立连接，首先建立微表情识别算法服务客户端与代理服务端的TCP连接；S2：确定连接，代理服务端收到建立连接的请求后检查自己的连接权限配置中是否允许该账号密码连接，如果允许则建立会话标识并保存，绑定客户端ID与会话，并记录心跳间隔时间和遗嘱消息；S3：订阅主题；S4：解析数据；S5：发送数据；S6：处理主题消息。本发明实现了及时算法数据通讯，将微表情识别算法模块以解耦合的形式融合到整个系统中，起到承接底层数据源到上层应用的智能处理作用，为上层多模态情绪分析提供微表情模态的算法数据支撑。

Description

基于消息队列遥测传输的微表情识别方法
技术领域
本发明涉及微表情识别技术领域，具体为基于消息队列遥测传输的微表情识别方法。
背景技术
微表情，是心理学名词，人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但有时表达相反的情绪。
在多模态情绪分析研判系统中，实时微表情识别是其中的一个算法服务模块，承接底层视频流数据与上层情绪分析研判应用层，需要快速接收底层传入的实时视频流数据，并快速计算分析每一帧的微表情，及时将微表情数据发送到上层应用，那么就需要采用一种轻量型、低开销、低带宽占用的即使通讯协议来实现上述算法通讯过程。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于消息队列遥测传输的微表情识别方法，主要为解决现有的实时微表情识别算法服务模块不能快速接收底层传入的实时视频流数据，并快速计算分析每一帧的微表情，及时将微表情数据发送到上层应用的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：
基于消息队列遥测传输的微表情识别方法，包括以下步骤：
S1：建立连接，首先建立微表情识别算法服务客户端与代理服务端的TCP连接；
S2：确定连接，代理服务端收到建立连接的请求后检查自己的连接权限配置中是否允许该账号密码连接，如果允许则建立会话标识并保存，绑定客户端ID与会话，并记录心跳间隔时间和遗嘱消息，然后回发连接成功确认消息给算法客户端，算法客户端收到连接成功的确认消息后，进入下一步；
S3：订阅主题，算法客户端订阅底层视频流数据层客户端发送的base_topic主题，将其通过SUBSCRIBE报文发送到代理服务端；
S4：解析数据，微表情识别算法服务客户端接收到base_topic的消息之后，解析视频流数据，对视频流中的帧数据进行处理；
S5：发送数据，微表情识别算法服务客户端将微表情分析结果实时发送出去，以emotion_topic主题的形式发送给代理服务端；
S6：处理主题消息，代理服务端接收并处理该主题消息，上层多模态情绪分析应用层客户端订阅emotion_topic主题，即完成微表情识别算法服务接收底层数据、处理底层数据、发给上层应用的链路过程。
作为本发明再进一步的方案，所述S1中包括系统模块，系统模块包括底层视频流数据层客户端、MQTT代理服务端和上层多模态情绪分析应用层客户端。
进一步的，所述MQTT代理服务端连接有连接监听处理模块、订阅监听处理模块和发布监听处理模块，连接监听处理模块首先配置账号密码，然后调用connect方法，确定解析报文连接成功后开始订阅topic。
在前述方案的基础上，所述订阅监听处理模块在工作时首先准备待订阅的base_topic，然后调用Subscibe方法，在解析报文订阅成功后监听代理端的消息。
本发明再进一步的方案，所述发布监听处理模块在工作时首先准备待发布的emotion_topic，然后调用Publish方法，在解析报文发布成功后监听代理端的消息。
进一步的，所述S1中建立连接的过程是由算法客户端主动发起，代理服务一直处于指定端口的监听状态，当监听到有客户端要接入的时候，就会立刻去处理，算法客户端在发起连接请求时，携带客户端ID、账号、密码、心跳间隔时间等数据。
在前述方案的基础上，所述S3中代理服务端将该主题记录到算法客户端ID下，然后回复确认消息SUBACK报文，算法客户端接到SUBACK报文订阅成功。
本发明再进一步的方案，所述S4中处理时包括人脸检测、面部微动作检测、面部动态微动作分析、微表情分析。
(三)有益效果
与现有技术相比，本发明提供了基于消息队列遥测传输的微表情识别方法，具备以下有益效果：
1、本发明能够支持微表情识别算法模块的快速迭代及回滚，迭代过程不影响其余模块功能的正常运行，通过底层视频流数据层客户端来发布base_topic，通过上层多模态情绪分析应用层客户端来订阅emotion_topic。
2、本发明能够将微表情识别算法服务与其余模块解耦，并承接底层数据流与应用分析展示层，快速读取底层数据、处理数据、发送算法结果数据，实现算法服务数据的即使流通。
3、本发明实现了及时算法数据通讯，将微表情识别算法模块以解耦合的形式融合到整个系统中，起到承接底层数据源到上层应用的智能处理作用，为上层多模态情绪分析提供微表情模态的算法数据支撑。
附图说明
图1为本发明提出的基于消息队列遥测传输的微表情识别方法的流程结构示意图。
图2为本发明提出的基于消息队列遥测传输的微表情识别方法的系统模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1-2，基于消息队列遥测传输的微表情识别方法，包括以下步骤：
S1：建立连接，首先建立微表情识别算法服务客户端与代理服务端的TCP连接；
S2：确定连接，代理服务端收到建立连接的请求后检查自己的连接权限配置中是否允许该账号密码连接，如果允许则建立会话标识并保存，绑定客户端ID与会话，并记录心跳间隔时间和遗嘱消息，然后回发连接成功确认消息给算法客户端，算法客户端收到连接成功的确认消息后，进入下一步；
S3：订阅主题，算法客户端订阅底层视频流数据层客户端发送的base_topic主题，将其通过SUBSCRIBE报文发送到代理服务端；
S4：解析数据，微表情识别算法服务客户端接收到base_topic的消息之后，解析视频流数据，对视频流中的帧数据进行处理；
S5：发送数据，微表情识别算法服务客户端将微表情分析结果实时发送出去，以emotion_topic主题的形式发送给代理服务端，能够支持微表情识别算法模块的快速迭代及回滚，迭代过程不影响其余模块功能的正常运行；
S6：处理主题消息，代理服务端接收并处理该主题消息，上层多模态情绪分析应用层客户端订阅emotion_topic主题，即完成微表情识别算法服务接收底层数据、处理底层数据、发给上层应用的链路过程，采用该方案设计的服务架构，能够将微表情识别算法服务与其余模块解耦，并承接底层数据流与应用分析展示层，快速读取底层数据、处理数据、发送算法结果数据，实现算法服务数据的即使流通。
本发明的S1中包括系统模块，系统模块包括底层视频流数据层客户端、MQTT代理服务端和上层多模态情绪分析应用层客户端，通过底层视频流数据层客户端来发布base_topic，通过上层多模态情绪分析应用层客户端来订阅emotion_topic，MQTT代理服务端连接有连接监听处理模块、订阅监听处理模块和发布监听处理模块，连接监听处理模块首先配置账号密码，然后调用connect方法，确定解析报文连接成功后开始订阅topic，订阅监听处理模块在工作时首先准备待订阅的base_topic，然后调用Subscibe方法，在解析报文订阅成功后监听代理端的消息，发布监听处理模块在工作时首先准备待发布的emotion_topic，然后调用Publish方法，在解析报文发布成功后监听代理端的消息。
需要特别说明的是，S1中建立连接的过程是由算法客户端主动发起，代理服务一直处于指定端口的监听状态，当监听到有客户端要接入的时候，就会立刻去处理，算法客户端在发起连接请求时，携带客户端ID、账号、密码、心跳间隔时间等数据，实现了及时算法数据通讯，将微表情识别算法模块以解耦合的形式融合到整个系统中，起到承接底层数据源到上层应用的智能处理作用，为上层多模态情绪分析提供微表情模态的算法数据支撑，S3中代理服务端将该主题记录到算法客户端ID下，然后回复确认消息SUBACK报文，算法客户端接到SUBACK报文订阅成功，S4中处理时包括人脸检测、面部微动作检测、面部动态微动作分析、微表情分析。
实施例2
参照图1-2，基于消息队列遥测传输的微表情识别方法，包括以下步骤：
S1：建立连接，首先建立微表情识别算法服务客户端与代理服务端的TCP连接；
S2：确定连接，代理服务端收到建立连接的请求后检查自己的连接权限配置中是否允许该账号密码连接，如果允许则建立会话标识并保存，绑定客户端ID与会话，并记录心跳间隔时间和遗嘱消息，然后回发连接成功确认消息给算法客户端，算法客户端收到连接成功的确认消息后，进入下一步；
S3：订阅主题，算法客户端订阅底层视频流数据层客户端发送的base_topic主题，将其通过SUBSCRIBE报文发送到代理服务端；
S4：解析数据，微表情识别算法服务客户端接收到base_topic的消息之后，解析视频流数据，对视频流中的帧数据进行处理；
S5：发送数据，微表情识别算法服务客户端将微表情分析结果实时发送出去，以emotion_topic主题的形式发送给代理服务端，能够支持微表情识别算法模块的快速迭代及回滚，迭代过程不影响其余模块功能的正常运行；
S6：处理主题消息，代理服务端接收并处理该主题消息，上层多模态情绪分析应用层客户端订阅emotion_topic主题，即完成微表情识别算法服务接收底层数据、处理底层数据、发给上层应用的链路过程，采用该方案设计的服务架构，能够将微表情识别算法服务与其余模块解耦，并承接底层数据流与应用分析展示层，快速读取底层数据、处理数据、发送算法结果数据，实现算法服务数据的即使流通。
本发明的S1中包括系统模块，系统模块包括底层视频流数据层客户端、MQTT代理服务端和上层多模态情绪分析应用层客户端，通过底层视频流数据层客户端来发布base_topic，通过上层多模态情绪分析应用层客户端来订阅emotion_topic，MQTT代理服务端连接有连接监听处理模块、订阅监听处理模块和发布监听处理模块，连接监听处理模块首先配置账号密码，然后调用connect方法，确定解析报文连接成功后开始订阅topic，订阅监听处理模块在工作时首先准备待订阅的base_topic，然后调用Subscibe方法，在解析报文订阅成功后监听代理端的消息，发布监听处理模块在工作时首先准备待发布的emotion_topic，然后调用Publish方法，在解析报文发布成功后监听代理端的消息，在系统模块工作时，加载初始化的模型，然后存储在内存中待调用，在解析base_topic数据后进行数据预处理，预处理后调取微表情识别模型与存储的微表情识别模型进行比对。
需要特别说明的是，S1中建立连接的过程是由算法客户端主动发起，代理服务一直处于指定端口的监听状态，当监听到有客户端要接入的时候，就会立刻去处理，算法客户端在发起连接请求时，携带客户端ID、账号、密码、心跳间隔时间等数据，实现了及时算法数据通讯，将微表情识别算法模块以解耦合的形式融合到整个系统中，起到承接底层数据源到上层应用的智能处理作用，为上层多模态情绪分析提供微表情模态的算法数据支撑，S3中代理服务端将该主题记录到算法客户端ID下，然后回复确认消息SUBACK报文，算法客户端接到SUBACK报文订阅成功，S4中处理时包括人脸检测、面部微动作检测、面部动态微动作分析、微表情分析。
在该文中的描述中，需要说明的是，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于消息队列遥测传输的微表情识别方法，其特征在于，包括以下步骤：
S1：建立连接，首先建立微表情识别算法服务客户端与代理服务端的TCP连接；
S2：确定连接，代理服务端收到建立连接的请求后检查自己的连接权限配置中是否允许该账号密码连接，如果允许则建立会话标识并保存，绑定客户端ID与会话，并记录心跳间隔时间和遗嘱消息，然后回发连接成功确认消息给算法客户端，算法客户端收到连接成功的确认消息后，进入下一步；
S3：订阅主题，算法客户端订阅底层视频流数据层客户端发送的base_topic主题，将其通过SUBSCRIBE报文发送到代理服务端；
S4：解析数据，微表情识别算法服务客户端接收到base_topic的消息之后，解析视频流数据，对视频流中的帧数据进行处理；
S5：发送数据，微表情识别算法服务客户端将微表情分析结果实时发送出去，以emotion_topic主题的形式发送给代理服务端；
S6：处理主题消息，代理服务端接收并处理该主题消息，上层多模态情绪分析应用层客户端订阅emotion_topic主题，即完成微表情识别算法服务接收底层数据、处理底层数据、发给上层应用的链路过程。
2.根据权利要求1所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述S1中包括系统模块，系统模块包括底层视频流数据层客户端、MQTT代理服务端和上层多模态情绪分析应用层客户端。
3.根据权利要求2所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述MQTT代理服务端连接有连接监听处理模块、订阅监听处理模块和发布监听处理模块，连接监听处理模块首先配置账号密码，然后调用connect方法，确定解析报文连接成功后开始订阅topic。
4.根据权利要求3所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述订阅监听处理模块在工作时首先准备待订阅的base_topic，然后调用Subscibe方法，在解析报文订阅成功后监听代理端的消息。
5.根据权利要求3所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述发布监听处理模块在工作时首先准备待发布的emotion_topic，然后调用Publish方法，在解析报文发布成功后监听代理端的消息。
6.根据权利要求1所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述S1中建立连接的过程是由算法客户端主动发起，代理服务一直处于指定端口的监听状态，当监听到有客户端要接入的时候，就会立刻去处理，算法客户端在发起连接请求时，携带客户端ID、账号、密码、心跳间隔时间等数据。
7.根据权利要求1所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述S3中代理服务端将该主题记录到算法客户端ID下，然后回复确认消息SUBACK报文，算法客户端接到SUBACK报文订阅成功。
8.根据权利要求1所述的基于消息队列遥测传输的微表情识别方法，其特征在于，所述S4中处理时包括人脸检测、面部微动作检测、面部动态微动作分析、微表情分析。
CN202110139114.4A 2021-02-01 2021-02-01 基于消息队列遥测传输的微表情识别方法 Pending CN113965612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139114.4A CN113965612A (zh) 2021-02-01 2021-02-01 基于消息队列遥测传输的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139114.4A CN113965612A (zh) 2021-02-01 2021-02-01 基于消息队列遥测传输的微表情识别方法

Publications (1)

Publication Number Publication Date
CN113965612A true CN113965612A (zh) 2022-01-21

Family

ID=79459410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139114.4A Pending CN113965612A (zh) 2021-02-01 2021-02-01 基于消息队列遥测传输的微表情识别方法

Country Status (1)

Country Link
CN (1) CN113965612A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287805A1 (en) * 2008-05-13 2009-11-19 International Business Machines Corporation System & method for non-http session based publish/subscribe support using pre-emptive subscriptions
CN106130882A (zh) * 2016-07-13 2016-11-16 北京百度网讯科技有限公司 用于传输消息的方法和装置
CN111131501A (zh) * 2019-12-31 2020-05-08 郑州信大捷安信息技术股份有限公司 一种基于mqtt协议的消息推送系统及方法
CN111580985A (zh) * 2020-03-31 2020-08-25 西安电子科技大学 一种物联网中间件数据处理方法、系统、存储介质、终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287805A1 (en) * 2008-05-13 2009-11-19 International Business Machines Corporation System & method for non-http session based publish/subscribe support using pre-emptive subscriptions
CN106130882A (zh) * 2016-07-13 2016-11-16 北京百度网讯科技有限公司 用于传输消息的方法和装置
CN111131501A (zh) * 2019-12-31 2020-05-08 郑州信大捷安信息技术股份有限公司 一种基于mqtt协议的消息推送系统及方法
CN111580985A (zh) * 2020-03-31 2020-08-25 西安电子科技大学 一种物联网中间件数据处理方法、系统、存储介质、终端

Similar Documents

Publication Publication Date Title
EP1703699B1 (en) Systems, method and session manager for web-based applications
US7777777B2 (en) System and method for active call monitoring
US20040215723A1 (en) Methods and apparatus for facilitating online presence based actions
US7742762B1 (en) Systems and methods for remote notification, diagnostics and remedy management
CA3177668C (en) Smart device monitoring method and apparatus
US6219710B1 (en) Method and apparatus for peer-to-peer communication
US9591083B1 (en) Method and apparatus providing connection recovery for a chat client
CN100407644C (zh) 一种web网管系统中显示实时数据的方法
US9130894B2 (en) Delivering messages in a communication system
US20040068572A1 (en) Methods and systems for communicating over a client-server network
US20070033284A1 (en) System server for data processing with multiple clients and a data processing method
JP6918845B2 (ja) オーディオ信号をテキストにリアルタイムで文字起こしするためのシステムおよび方法
CN113098985B (zh) 一种会话管理方法及调度服务器
US20060009198A1 (en) Apparatus and method for delivering messages to a mobile information terminal
US6417934B1 (en) Facsimile telecommunications system and method
CN113259138A (zh) 一种会议事件触发与通知的方法、系统和可读存储介质
CN113965612A (zh) 基于消息队列遥测传输的微表情识别方法
CN110569178B (zh) 基于大数据平台的接口预警方法和系统
CN109300070A (zh) 一种救护通信方法、装置、服务器及存储介质
CN113285825A (zh) 一种设备接入系统及接入方法
CN112506682A (zh) 业务服务器异常救济方法、装置和计算机可读存储介质
CN110569238B (zh) 一种基于大数据的数据治理方法、系统、存储介质和服务端
CN109302435A (zh) 消息发布方法、装置、系统、服务器及计算机可读存储介质
US20070016640A1 (en) Contacting method for inter-person communication
CN114217932A (zh) 第三方对接异常处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination