CN110213667B - 在线视频交互的网络保障方法、系统、设备及存储介质 - Google Patents

在线视频交互的网络保障方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110213667B
CN110213667B CN201910305766.3A CN201910305766A CN110213667B CN 110213667 B CN110213667 B CN 110213667B CN 201910305766 A CN201910305766 A CN 201910305766A CN 110213667 B CN110213667 B CN 110213667B
Authority
CN
China
Prior art keywords
network
user
expression
picture
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910305766.3A
Other languages
English (en)
Other versions
CN110213667A (zh
Inventor
杨正大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan fengzhisheng Education Consulting Service Co.,Ltd.
Original Assignee
Foshan Fengzhisheng Education Consulting Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Fengzhisheng Education Consulting Service Co ltd filed Critical Foshan Fengzhisheng Education Consulting Service Co ltd
Priority to CN201910305766.3A priority Critical patent/CN110213667B/zh
Priority to TW108130581A priority patent/TWI713370B/zh
Publication of CN110213667A publication Critical patent/CN110213667A/zh
Application granted granted Critical
Publication of CN110213667B publication Critical patent/CN110213667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

本发明提供了在线视频交互的网络保障方法、系统、设备及存储介质，其中，方法包括基于进行在线视频的服务器采集网络延迟状态下用户的画面建立一对应网络延迟状态的表情识别模型库；分别对用户的当前节点与服务器之间的网络进行网络状态检测；当网络状态低于预设网络阈值时提取至少一帧画面；若当前面部表情特征是否符合表情识别模型库中的面部表情特征，自预设备用网络中转节点组中选出一未被延迟用户使用过的备用网络中转节点，建立新的网络连接；再次检测当前面部表情特征是否符合表情识别模型库中的面部表情特征，若是，则再次更换备用网络中转节点，重新建立新的网络连接；本发明自动更换最优的网络节点，充分保证远程双向视频交互的质量。

Description

在线视频交互的网络保障方法、系统、设备及存储介质
技术领域
本发明涉及在线视频交互领域，具体地说，涉及在线视频交互的网络保障方法、系统、设备及存储介质。
背景技术
在目前的在线视频教育领域，学生与老师不在局限于同一空间中。尤其是外语教学中，很有可能学生和老师在不同的国家通过服务器进行交互，由于长距离的网络传输，发生网络延迟，丢包、卡顿的情况时有发生，严重影响在线视频教育的质量和沟通效果。并且，由于跨国网络环境的复杂性，普通的网络监测手段的监测容易发生误差，页难以直接判断网络问题的原因。
现有DevOps系统可以实现对实时音视频系统的数据搜集，同时完成监控和报警等工作。DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称，用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。它是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。但是，对于故障信息的判断是机械和不准确的，经常出现漏报和误报，对于维护远程双向视频交互的质量没有很好的贡献。
因此，本发明提供了一种在线视频交互的网络保障方法、系统、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供在线视频交互的网络保障方法、系统、设备及存储介质，克服了现有技术的困难，能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
本发明的实施例提供一种在线视频交互的网络保障方法，包括以下步骤：
S100、基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库；
S110、至少两位用户通过服务器进行视频交互，分别对所述用户的当前节点与服务器之间的网络进行网络状态检测；
S120、当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面；
S130、对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则执行步骤S140，若否，则返回步骤S120；
S140、自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点，通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器，建立新的网络连接；
S150、将该用户当前的视频数据流中提取至少一帧画面；
S160、对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则返回步骤S140，若否，则执行步骤S170；以及
S170、结束。
优选地，所述步骤S140中，自预设备用网络中转节点组中选择最优备用网络中转节点，包括以下步骤：
S141、获得每个所述备用网络中转节点与所述延迟用户的网络节点的第一ping值；
S142、获得每个所述备用网络中转节点与所述服务器的第二ping值；
S143、获得每个所述备用网络中转节点的第一ping值与第二ping值的ping总和；以及
S144、将ping总和最小的所述备用网络中转节点作为最优备用网络中转节点。
优选地，所述步骤S120中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面；
S130、对所述多帧画面进行表情识别，判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S120。
优选地，所述步骤S150中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面；
S160、对所述多帧画面进行表情识别，判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S170。
优选地，所述步骤S100中包括以下步骤：
S101、对画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S102、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S103、根据各个所述表情特征点的在平面坐标系内坐标形成坐标组合，并将多个坐标组合建立表情识别模型库。
优选地，所述步骤S130中包括以下步骤：
S131、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S132、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S133、根据各个所述表情特征点的在平面坐标系的坐标；
S134、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断所述用户为延迟用户，并执行步骤S140；若否，则判断所述用户为非延迟用户，并执行步骤S120。
优选地，所述步骤S160中包括以下步骤：
S161、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S162、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S163、根据各个所述表情特征点的在平面坐标系的坐标；
S164、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断所述用户为延迟用户，并执行步骤S140；若否，则判断所述用户为非延迟用户，并执行步骤S120。
本发明的实施例还提供一种在线视频交互的网络保障系统，用于实现上述的在线视频交互的网络保障方法，所述在线视频交互的网络保障系统包括：
表情模型模块，基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库；
网络监测模块，至少两位用户通过服务器进行视频交互，分别对所述用户的当前节点与服务器之间的网络进行网络状态检测；
第一画面提取模块，当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面；
第一表情匹配模块，对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则执行节点更换模块，若否，则返回第一画面提取模块；
节点更换模块，自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点，通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器，建立新的网络连接；
第二画面提取模块，将该用户当前的视频数据流中提取至少一帧画面；
第二表情匹配模块，对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则返回节点更换模块，若否，则结束。
本发明的实施例还提供一种在线视频交互的网络保障设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述在线视频交互的网络保障方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述在线视频交互的网络保障方法的步骤。
本发明的在线视频交互的网络保障方法、系统、设备及存储介质，能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的在线视频交互的网络保障方法的流程图；
图2是本发明的在线视频交互的网络保障方法中交互界面的示意图；
图3至8是本发明的在线视频交互的网络保障方法实施过程的示意图；
图9是本发明的在线视频交互的网络保障系统的架构示意图；
图10是本发明的在线视频交互的网络保障设备的结构示意图；以及
图11是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的在线视频交互的网络保障方法的流程图。如图1所示，本发明的在线视频交互的网络保障方法，包括以下步骤：
S100、基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库。
S110、至少两位用户通过服务器进行视频交互，分别对用户的当前节点与服务器之间的网络进行网络状态检测。
S120、当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面。
S130、对画面进行表情识别，提取当前面部表情特征，判断当前面部表情特征是否符合表情识别模型库中的面部表情特征，若是，则执行步骤S140，若否，则返回步骤S120。
S140、自预设备用网络中转节点组中选出一未被延迟用户使用过的备用网络中转节点，通过备用网络中转节点桥接延迟用户的网络节点与服务器，建立新的网络连接。
S150、将该用户当前的视频数据流中提取至少一帧画面。
S160、对画面进行表情识别，提取当前面部表情特征，判断当前面部表情特征是否符合表情识别模型库中的面部表情特征，若是，则返回步骤S140，若否，则执行步骤S170。以及
S170、结束。
本发明通过根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
在一个优选实施例中，步骤S140中，自预设备用网络中转节点组中选择最优备用网络中转节点，包括以下步骤：
S141、获得每个备用网络中转节点与延迟用户的网络节点的第一ping值。
S142、获得每个备用网络中转节点与服务器的第二ping值。
S143、获得每个备用网络中转节点的第一ping值与第二ping值的ping总和。以及
S144、将ping总和最小的备用网络中转节点作为最优备用网络中转节点。
在一个优选实施例中，步骤S120中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面。
S130、对多帧画面进行表情识别，判断多帧画面中符合表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S120。
在一个优选实施例中，步骤S150中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面。
S160、对多帧画面进行表情识别，判断多帧画面中符合表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S170。
在一个优选实施例中，步骤S100中包括以下步骤：
S101、对画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自框型脸部区域的中心为原点，建立平面坐标系。
S102、自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。
S103、根据各个表情特征点的在平面坐标系内坐标形成坐标组合，并将多个坐标组合建立表情识别模型库。
在一个优选实施例中，步骤S130中包括以下步骤：
S131、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自框型脸部区域的中心为原点，建立平面坐标系。
S132、自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。
S133、根据各个表情特征点的在平面坐标系的坐标。
S134、计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断用户为延迟用户，并执行步骤S140。若否，则判断用户为非延迟用户，并执行步骤S120。
在一个优选实施例中，步骤S160中包括以下步骤：
S161、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自框型脸部区域的中心为原点，建立平面坐标系。
S162、自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。
S163、根据各个表情特征点的在平面坐标系的坐标。
S164、计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断用户为延迟用户，并执行步骤S140。若否，则判断用户为非延迟用户，并执行步骤S120。
图2是本发明的在线视频交互的网络保障方法中交互界面的示意图。如图2所示，本实施例中的在线视频交互的网络保障方法中交互界面1是一个在线视频教育的界面，其中包括了显示第一用户2的画面的第一显示区域、显示第二用户3的画面的第二显示区域，以及显示板书内容的第三显示区域4。
图3至8是本发明的在线视频交互的网络保障方法实施过程的示意图。本实施例中，实施本发明的过程如下：服务器5基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库。通常，这类表情的主要表现为焦虑和着急，服务器5对画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自框型脸部区域的中心为原点，建立平面坐标系。自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。根据各个表情特征点的在平面坐标系内坐标形成坐标组合，并将多个坐标组合建立表情识别模型库。
如图3所示，本实施例中，位于美国洛杉矶A的第一用户2和位于中国上海C的第二用户3通过位于中国北京B的服务器5进行在线视频教育。分别对第一用户2的当前节点、第二用户3的当前节点与服务器之间的网络进行网络状态检测。当其中第一用户2的网络状态低于预设网络阈值时，将第一用户2当前的视频数据流中提取至少一帧画面。
如图4所示，对画面进行表情识别，提取第一用户2当前面部表情特征，此时，由于第一用户2的网络情况不好，第一用户2出现了焦虑和着急的表情。此时，对第一用户2的当前画面进行脸部识别，建立一包含第一用户2脸部的框型脸部区域21，并自框型脸部区域21的中心为原点，建立平面坐标系。自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。根据各个表情特征点的在平面坐标系的坐标。计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断用户为延迟用户。
如图5所示，自预设备用网络中转节点组中选出一未被延迟用户使用过的备用网络中转节点。可以通过，获得每个备用网络中转节点巴黎D与延迟用户的网络节点美国洛杉矶A的第一ping值。获得每个备用网络中转节点巴黎D与中国北京B的服务器的第二ping值。获得每个备用网络中转节点的第一ping值与第二ping值的ping总和。将ping总和最小的备用网络中转节点作为最优备用网络中转节点。本实施例中，被选出的最优备用网络中转节点是巴黎D，通过备用网络中转节点巴黎D桥接延迟用户的网络节点美国洛杉矶A与中国北京B的服务器5，建立新的网络连接。之后，将该第一用户2当前的视频数据流中提取至少一帧画面。对第一用户2的当前画面进行表情识别，将第一用户2当前的视频数据流中提取至少一帧画面。对画面进行表情识别，提取第一用户2当前面部表情特征，此时，由于通过备用网络中转节点巴黎D的作用，网络传输稳定，第一用户2不再显示出焦虑，着急的表情。对第一用户2的当前画面进行脸部识别，建立一包含第一用户2脸部的框型脸部区域，并自框型脸部区域的中心为原点，建立平面坐标系。自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。根据各个表情特征点的在平面坐标系的坐标。计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值大于等于一预设阈值，则判断用户为非延迟用户，结束。
同样地，如图6所示，本实施例中，位于美国洛杉矶A的第一用户2和位于中国上海C的第二用户3通过位于中国北京B的服务器5进行在线视频教育。分别对第一用户2的当前节点、第二用户3的当前节点与服务器之间的网络进行网络状态检测。当其中第二用户3的网络状态低于预设网络阈值时，将第二用户3当前的视频数据流中提取至少一帧画面。
如图7所示，对第二用户3的当前画面进行表情识别，提取第二用户3当前面部表情特征，此时，由于第二用户3的网络情况不好，第二用户3出现了焦虑和着急的表情。将该用户当前的视频数据流中按照预设顺时间间隔提取十帧画面。对十帧画面进行表情识别，判断多帧画面中符合表情识别模型库中的面部表情特征的概率是否大于预设阈值。其中，对于每一帧画面建立一包含第二用户3脸部的框型脸部区域31，并自框型脸部区域31的中心为原点，建立平面坐标系。自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。根据各个表情特征点的在平面坐标系的坐标。计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断用户为延迟用户。由于十帧画面中有8帧画面符合表情识别模型库中的面部表情特征，高于预设的70％，所以判断第二用户3而延迟用户。
如图8所示，自预设备用网络中转节点组中选出一未被延迟用户使用过的备用网络中转节点。可以通过，获得每个备用网络中转节点广州E与延迟用户的网络节点中国上海C的第一ping值。获得每个备用网络中转节点广州E与中国北京B的服务器的第二ping值。获得每个备用网络中转节点的第一ping值与第二ping值的ping总和。将ping总和最小的备用网络中转节点作为最优备用网络中转节点。本实施例中，被选出的最优备用网络中转节点是广州E，通过备用网络中转节点广州E桥接延迟用户的网络节点中国上海C与中国北京B的服务器5，建立新的网络连接。之后，对第二用户3的当前画面进行表情识别，提取第二用户3当前面部表情特征，此时，由于通过备用网络中转节点广州E的作用，网络传输稳定，第二用户3不再显示出焦虑，着急的表情。将第二用户3当前的视频数据流中按照预设顺时间间隔提取十帧画面。对十帧画面进行表情识别，判断多帧画面中符合表情识别模型库中的面部表情特征的概率是否大于预设阈值。其中，对于每一帧画面建立一包含第二用户3脸部的框型脸部区域31，并自框型脸部区域31的中心为原点，建立平面坐标系。自框型脸部区域内设置表情特征点组合，表情特征点组合包括多个预设的位置关系的表情特征点。根据各个表情特征点的在平面坐标系的坐标。计算当前画面的表情特征点与表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断用户为延迟用户。由于十帧画面中只有1帧画面符合表情识别模型库中的面部表情特征，低于预设的70％，所以判断第二用户3而非延迟用户，结束。
图9是本发明的在线视频交互的网络保障方法的第一种实施例的示意图。如图9所示，本发明的实施例还提供一种在线视频交互的网络保障系统，用于实现上述的在线视频交互的网络保障方法，在线视频交互的网络保障系统5包括：
表情模型模块51，基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库。
网络监测模块52，至少两位用户通过服务器进行视频交互，分别对用户的当前节点与服务器之间的网络进行网络状态检测。
第一画面提取模块53，当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面。
第一表情匹配模块54，对画面进行表情识别，提取当前面部表情特征，判断当前面部表情特征是否符合表情识别模型库中的面部表情特征，若是，则执行节点更换模块55，若否，则返回第一画面提取模块53。
节点更换模块55，自预设备用网络中转节点组中选出一未被延迟用户使用过的备用网络中转节点，通过备用网络中转节点桥接延迟用户的网络节点与服务器，建立新的网络连接。
第二画面提取模块56，将该用户当前的视频数据流中提取至少一帧画面。
第二表情匹配模块57，对画面进行表情识别，提取当前面部表情特征，判断当前面部表情特征是否符合表情识别模型库中的面部表情特征，若是，则返回节点更换模块56，若否，则结束。
本发明的在线视频交互的网络保障系统，能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
本发明实施例还提供一种在线视频交互的网络保障设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的在线视频交互的网络保障方法的步骤。
如上所示，该实施例能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图10是本发明的在线视频交互的网络保障设备的结构示意图。下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的在线视频交互的网络保障方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
图11是本发明的计算机可读存储介质的结构示意图。参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的目的在于提供在线视频交互的网络保障方法、系统、设备及存储介质，能够根据网络环境下的用户表情反馈来评估网络质量的用户体验，并且自动更换最优的网络节点，充分保证远程双向视频交互的质量。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种在线视频交互的网络保障方法，其特征在于，包括以下步骤：
S100、基于进行在线视频的服务器采集网络延迟状态下用户的画面，对画面进行脸部识别，提取面部表情特征以为所述用户建立一对应网络延迟状态的表情识别模型库；
S110、至少两位用户通过服务器进行视频交互，分别对所述用户的当前节点与服务器之间的网络进行网络状态检测；
S120、当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面；
S130、对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则执行步骤S140，若否，则返回步骤S120；
S140、自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点，通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器，建立新的网络连接；
S150、将该用户当前的视频数据流中提取至少一帧画面；
S160、对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则返回步骤S140，若否，则执行步骤S170；以及
S170、结束；
所述步骤S100中包括以下步骤：
S101、对画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S102、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S103、根据各个所述表情特征点的在平面坐标系内坐标形成坐标组合，并将多个坐标组合建立表情识别模型库；
所述步骤S130中包括以下步骤：
S131、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S132、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S133、根据各个所述表情特征点的在平面坐标系的坐标；
S134、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断所述用户为延迟用户，并执行步骤S140；若否，则判断所述用户为非延迟用户，并执行步骤S120；
所述步骤S160中包括以下步骤：
S161、对当前画面进行脸部识别，建立一包含用户脸部的框型脸部区域，并自所述框型脸部区域的中心为原点，建立平面坐标系；
S162、自所述框型脸部区域内设置表情特征点组合，所述表情特征点组合包括多个预设的位置关系的表情特征点；
S163、根据各个所述表情特征点的在平面坐标系的坐标；
S164、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值，则判断所述用户为延迟用户，并执行步骤S140；若否，则判断所述用户为非延迟用户，并执行步骤S120。
2.如权利要求1所述的在线视频交互的网络保障方法，其特征在于，所述步骤S140中，自预设备用网络中转节点组中选择最优备用网络中转节点，包括以下步骤：
S141、获得每个所述备用网络中转节点与所述延迟用户的网络节点的第一ping值；
S142、获得每个所述备用网络中转节点与所述服务器的第二ping值；
S143、获得每个所述备用网络中转节点的第一ping值与第二ping值的ping总和；以及
S144、将ping总和最小的所述备用网络中转节点作为最优备用网络中转节点。
3.如权利要求1所述的在线视频交互的网络保障方法，其特征在于，所述步骤S120中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面；
S130、对所述多帧画面进行表情识别，判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S120。
4.如权利要求1所述的在线视频交互的网络保障方法，其特征在于，所述步骤S150中，将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面；
S160、对所述多帧画面进行表情识别，判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值，若是，则执行步骤S140，若否，则返回步骤S170。
5.一种在线视频交互的网络保障系统，其特征在于，用于实现如权利要求1至4中任意一项所述的在线视频交互的网络保障方法，包括：
表情模型模块，基于进行在线视频的服务器采集网络延迟状态下用户的画面，提取面部表情特征以建立一对应网络延迟状态的表情识别模型库；
网络监测模块，至少两位用户通过服务器进行视频交互，分别对所述用户的当前节点与服务器之间的网络进行网络状态检测；
第一画面提取模块，当其中一位用户的网络状态低于预设网络阈值时，将该用户当前的视频数据流中提取至少一帧画面；
第一表情匹配模块，对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则执行节点更换模块，若否，则返回第一画面提取模块；
节点更换模块，自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点，通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器，建立新的网络连接；
第二画面提取模块，将该用户当前的视频数据流中提取至少一帧画面；
第二表情匹配模块，对所述画面进行表情识别，提取当前面部表情特征，判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征，若是，则返回节点更换模块，若否，则结束。
6.一种在线视频交互的网络保障设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任意一项所述在线视频交互的网络保障方法的步骤。
7.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至4中任意一项所述在线视频交互的网络保障方法的步骤。
CN201910305766.3A 2019-04-16 2019-04-16 在线视频交互的网络保障方法、系统、设备及存储介质 Active CN110213667B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910305766.3A CN110213667B (zh) 2019-04-16 2019-04-16 在线视频交互的网络保障方法、系统、设备及存储介质
TW108130581A TWI713370B (zh) 2019-04-16 2019-08-27 視訊通話品質保障方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910305766.3A CN110213667B (zh) 2019-04-16 2019-04-16 在线视频交互的网络保障方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110213667A CN110213667A (zh) 2019-09-06
CN110213667B true CN110213667B (zh) 2022-04-05

Family

ID=67786145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910305766.3A Active CN110213667B (zh) 2019-04-16 2019-04-16 在线视频交互的网络保障方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110213667B (zh)
TW (1) TWI713370B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507193A (zh) * 2020-03-20 2020-08-07 威比网络科技(上海)有限公司 基于脸部识别的在线教育方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
CN206611514U (zh) * 2016-12-02 2017-11-03 刘昌永 一种基于脸部情绪识别的智能安防系统
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品
CN109447001A (zh) * 2018-10-31 2019-03-08 深圳市安视宝科技有限公司 一种动态情绪识别方法
CN109462493A (zh) * 2018-09-13 2019-03-12 国网浙江省电力有限公司丽水供电公司 一种基于ping的局域网络监测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541640A (en) * 1992-06-23 1996-07-30 Larson; Craig R. Videophone for simultaneous audio and video communication via a standard telephone line
US6597736B1 (en) * 2000-03-29 2003-07-22 Cisco Technology, Inc. Throughput enhanced video communication
US7224851B2 (en) * 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
KR101240261B1 (ko) * 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
JP4432054B2 (ja) * 2006-06-20 2010-03-17 富士フイルム株式会社 撮像装置及び方法
TWI339987B (en) * 2007-07-31 2011-04-01 Sunplus Technology Co Ltd Method and system for transmitting video frame
US10706367B2 (en) * 2013-09-10 2020-07-07 Facebook, Inc. Sentiment polarity for users of a social networking system
WO2018104834A1 (en) * 2016-12-07 2018-06-14 Yogesh Chunilal Rathod Real-time, ephemeral, single mode, group & auto taking visual media, stories, auto status, following feed types, mass actions, suggested activities, ar media & platform
TWI640294B (zh) * 2018-02-27 2018-11-11 國立臺北科技大學 Method for analyzing physiological characteristics in real time in video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
CN206611514U (zh) * 2016-12-02 2017-11-03 刘昌永 一种基于脸部情绪识别的智能安防系统
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品
CN109462493A (zh) * 2018-09-13 2019-03-12 国网浙江省电力有限公司丽水供电公司 一种基于ping的局域网络监测方法
CN109447001A (zh) * 2018-10-31 2019-03-08 深圳市安视宝科技有限公司 一种动态情绪识别方法

Also Published As

Publication number Publication date
TW202040998A (zh) 2020-11-01
CN110213667A (zh) 2019-09-06
TWI713370B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN110457176B (zh) 用于分布式系统的监控方法、装置、存储介质及电子设备
CN109684038B (zh) Docker服务容器日志的处理方法、装置和电子设备
CN110362622B (zh) 基于实时数仓的实时流处理系统、方法、设备及存储介质
CN110806958A (zh) 一种监控方法、监控装置、存储介质及电子设备
US8966325B2 (en) Identifying unreliable parts in an IT infrastructure
CN108280020A (zh) 计算机设备的监控方法、装置、终端及计算机存储介质
CN112860504A (zh) 监控方法及装置、计算机存储介质、电子设备
CN110213667B (zh) 在线视频交互的网络保障方法、系统、设备及存储介质
CN111198902A (zh) 元数据管理方法、装置、存储介质及电子设备
WO2023224764A1 (en) Multi-modality root cause localization for cloud computing systems
CN111130856A (zh) 一种服务器配置方法、系统、设备及计算机可读存储介质
CN112738153B (zh) 业务系统中的网关选择方法、系统、装置、服务器及介质
TWI720627B (zh) 線上教育資源自動切換方法、系統、裝置、電子設備，及儲存介質
CN115221892A (zh) 工单数据处理方法及装置、存储介质及电子设备
CN115296979A (zh) 一种故障处理方法、装置、设备及存储介质
CN114283565A (zh) 多屏席位机预警方法、装置、电子设备及存储介质
CN114091909A (zh) 一种协同开发的方法、系统、装置及电子设备
CN114900430A (zh) 容器网络优化方法、装置、计算机设备和存储介质
CN114756301A (zh) 日志处理方法、装置和系统
CN112799957A (zh) 基于用户行为的故障处理方法、系统、设备和介质
CN111092758A (zh) 降低告警及恢复误报的方法、装置及电子设备
CN116708135B (zh) 网络业务故障监测方法、装置、电子设备及存储介质
CN113836291B (zh) 数据处理方法、装置、设备和存储介质
CN114567536B (zh) 异常数据处理方法、装置、电子设备和存储介质
CN115277652B (zh) 基于推理服务的流媒体处理方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201228

Address after: 200030 unit 01, room 801, 166 Kaibin Road, Xuhui District, Shanghai

Applicant after: Shanghai Ping An Education Technology Co.,Ltd.

Address before: 152, 86 Tianshui Road, Hongkou District, Shanghai

Applicant before: TUTORABC NETWORK TECHNOLOGY (SHANGHAI) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220311

Address after: 528011 6th floor, No. 12, No. 22, Bitang East 2nd Street, Chancheng District, Foshan City, Guangdong Province

Applicant after: Foshan fengzhisheng Education Consulting Service Co.,Ltd.

Address before: 200030 unit 01, room 801, 166 Kaibin Road, Xuhui District, Shanghai

Applicant before: Shanghai Ping An Education Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant