CN112347975B - 一种可视化融合通信调度系统及其实现方法 - Google Patents

一种可视化融合通信调度系统及其实现方法 Download PDF

Info

Publication number
CN112347975B
CN112347975B CN202011317024.1A CN202011317024A CN112347975B CN 112347975 B CN112347975 B CN 112347975B CN 202011317024 A CN202011317024 A CN 202011317024A CN 112347975 B CN112347975 B CN 112347975B
Authority
CN
China
Prior art keywords
target
image
feature
scheduling
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011317024.1A
Other languages
English (en)
Other versions
CN112347975A (zh
Inventor
张建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hualuo Communication Equipment Co ltd
Original Assignee
Zhejiang Hualuo Communication Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hualuo Communication Equipment Co ltd filed Critical Zhejiang Hualuo Communication Equipment Co ltd
Priority to CN202011317024.1A priority Critical patent/CN112347975B/zh
Publication of CN112347975A publication Critical patent/CN112347975A/zh
Application granted granted Critical
Publication of CN112347975B publication Critical patent/CN112347975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种可视化融合通信调度系统及其实现方法，所述系统包括视频采集客户端和服务器；所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度。本公开支持全自动的通信调度。

Description

一种可视化融合通信调度系统及其实现方法
技术领域
本发明涉及计算机领域，尤其涉及一种可视化融合通信调度系统及其实现方法。
背景技术
随着我国社会经济的高速发展，为满足新形势下人们日益增长的通信需求以及通信应用场景的不断变化，各种行业都有自己的视频调度解决方案。视频调度大多依赖手动触发指令进行，其自动化程度有待提升。
发明内容
为了解决上述技术问题，本发明提出了一种可视化融合通信调度系统及其实现方法。本发明具体是以如下技术方案实现的：
本公开提出一种可视化融合通信调度系统，所述系统包括视频采集客户端和服务器；
所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；
所述视频采集器用于采集用户产生的视频，所述用户产生的视频可以用于触发通信调度，所述可视化组件用于与用户进行可视化交互，所述视频流处理器用于进行视频流处理，所述控制器中包括调度判断器，用于与殴视频采集器进行数据交互，根据数据交互结果触发可视化组件进行可视化交互，根据可视化交互结果与服务器交互；
所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；
所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度。
进一步地，所述调度模块通过控制所述视频采集客户端的视频流处理器进行通信调度，所述通信调度具体为视频融合相关调度。
进一步地，所述目标检测模块包括目标检测模型，所述目标检测模型包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测。
进一步地，所述目标检测模型基于下述训练方法得到：
获取训练样本集；
根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；
根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接。
进一步地，所述特征提取网络用于对目标密文进行解密，并对解密结果进行多尺度特征提取得到特征图集；所述分割网络用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；所述分类网络用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果。
一种可视化融合通信调度实现方法，所述方法包括：
获取目标密文和目标类别；
解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
若所述目标检测结果不为空，则获取目标手势图片；
识别所述目标手势图片中的目标手势；
根据所述目标手势确定对应的调度指令；
执行所述调度指令。
一种可视化融合通信调度实现装置，所述装置包括：
数据获取模块，用于获取目标密文和目标类别；
解密及特征提取模块，用于解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
分割模块，用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
识别模块，用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
手势获取模块，用于若所述目标检测结果不为空，则获取目标手势图片；
手势识别模块，用于识别所述目标手势图片中的目标手势；
调度指令确定模块，用于根据所述目标手势确定对应的调度指令；
执行模块，用于执行所述调度指令。
本发明实施例提供了一种可视化融合通信调度系统及其实现方法，通过全自动的视频采集、视频分析、目标识别和手势检测实现了全自动的通信调度指令的获取，从而可以进行全自动的通信调度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种可视化融合通信调度系统示意图；
图2是本发明实施例提供的一种可视化融合通信调度实现方法流程图；
图3是本发明实施例提供的在所述多帧图像中确定目标图像流程图；
图4是本发明实施例提供的目标检测模型示意图；
图5是本发明实施例提供的目标检测模型的训练方法流程图；
图6是本发明实施例提供的一种可视化融合通信调度实现方法流程图；
图7是本发明实施例提供的一种可视化融合通信调度实现装置框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种可视化融合通信调度系统，如图1所示，所述系统包括视频采集客户端和服务器；
其中，所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；
所述视频采集器用于采集用户产生的视频，所述用户产生的视频可以用于触发通信调度，所述可视化组件用于与用户进行可视化交互，所述视频流处理器用于进行视频流处理，所述控制器中包括调度判断器，用于与殴视频采集器进行数据交互，根据数据交互结果触发可视化组件进行可视化交互，根据可视化交互结果与服务器交互；
所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；
所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度。
具体地，所述调度模块通过控制所述视频采集客户端的视频流处理器进行通信调度，所述通信调度具体为视频融合相关调度。
其中，所述目标检测模块包括目标检测模型，所述目标检测模型包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测。
基于上述可视化融合通信调度系统，本公开提供一种可视化融合通信调度实现方法，所述方法由视频采集客户端和服务器联合实施。具体地，所述方法包括：
S101.视频采集客户端采集视频，并按照预设要求提取所述视频中的多帧图像。
具体地，可以对所述视频进行间隔采样得到所述多帧图像。
S102.所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文。
当然，若不满足，则终止执行本次所述调度方法。
具体地，所述调度判断器用于对于该多帧图像进行初选，若通过调度判断器的判断，则可以认为该多帧图像可能能够触发调度，否则，直接不执行后续过程，减少了不必要的与服务器的交互，降低服务器负担，也将部分本可以在服务器端进行的计算工作的逻辑前置，在客户端即可完成。
本公开中，该调度判断器中存储有预设数量参考样本，所述参考样本被分为N类，对于接收到多帧图像的调度判断器，其执行下述逻辑：
(1)对于该多帧图像进行线性化表达，即将某帧图像表达为其邻近的参考样本的线性表达，本公开中参与进行线性化表达的参考样本为该帧图像的邻域内的参考样本。事实上，由于多帧图像的相关度较高，因此，参与其线性化表达的参考样本也相关度较高，本公开中可以将参与该多帧图像的线性化表达的参考样本的并集确定为Δ，因此使用公式
Figure GDA0003928716970000071
进行线性化表达，yip，A，bpk，
Figure GDA0003928716970000072
表达第p帧图像的特征序列，并集的总元素数量，并集的第k个元素在线性化表达的权重，第k个元素的特征序列，其中某个系数bpk可以为0。比如
Figure GDA0003928716970000073
若并集为
Figure GDA0003928716970000074
则第二项和第四项系数为0。
(2)根据该并集中各个参考样本所属的类别和线性化表达的结果，判断各个类别对于各帧图像的相关度。
本公开示出了对于某帧图像而言，其与某个类别的关联度计算方法：
首先，计算该帧图像的关键向量，该关键向量值可以根据公式(XTX+μI)-1XTy计算，X，μ，I，y分别表示并集Δ中每个元素对应的特征序列形成的列向量，预设常量(可以取3-5)，单位矩阵以及该帧图像的特征序列。
第二，根据该关键向量和所述某个类别在所述并集中的元素，得到参考序列gr＝asxs+……+atxt，其中gr，as，xs，at，xt分别表示参考序列，属于该某个类别的元素xs在关键向量中的对应的值，元素xs，属于该某个类别的元素xt在关键向量中的对应的值，元素xt。
第三，计算参考序列gr与该帧图像的特征序列的距离，并将距离的倒数作为该帧图像相对于该类别的相关度。
(3)若所述各个类别对于各帧图像的相关度的最大值大于预设阈值，则判定满足调度判断条件。
在一个优选的实施例中，还可以将该最大值对于的目标类别传输至服务器。
在一个实施例中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，如图3所示，包括：
S1.计算各帧图像i(i<N)的与下一张相邻的图像的曝光特征差值αi，其中，曝光特征由公式
Figure GDA0003928716970000081
计算得到，其中，Ni,ti,si,ci,Δ分别表示第i个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿、预设常数(通常取值90)。
S2.计算各个图像i(i<N)的与下一张相邻的图像的关联特征差值βi，其中所述关联特征差值由公式
Figure GDA0003928716970000082
得到，其中i,Li(k),k,Γ分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数，总阶数。
S3.计算特征值T(i)＝k1αi+k2(βi-1)，其中T,k1,k2分别表征特征值，第一权值和第二权值。
S4.将特征值最小的图像确定为目标图像。
本公开中对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式
Figure GDA0003928716970000083
得到目标密文，其中Sin(k)，α，β，λ，γ，So分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。第一固设参数，第二固设参数，第三固设参数，第四固设参数分别在四个位置调整加密难度，可以根据实际需要进行任意设定，不影响本方案的实施。
S103.所述视频采集客户端提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器。
具体地，所述目标手势图片可以为所述多张图片中的其中一张图片，确定方法可以使用现有技术，本公开不做赘述，比如可以选择清晰度最高的，曝光最好的，或者聚焦效果好的；也可以对所述多张图片进行融合得到目标手势图片。
S104.服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
该调度指令可以应用于多个场合的通信调度，比如可以为安防视频融合相关的调度指令，从而使得本公开可以适用于安防场景之中。具体的调度算法可以参考相关技术，本公开不做赘述。
本公开中还可以将目标类别一并传输至服务器，因此，所述服务器根据所述目标密文进行图片目标检测，包括：将所述目标类别和所述目标密文一并输入预设的目标检测模型，以得到目标检测结果。
为了提升目标检测结果的精准度，服务器端创造性的对于目标检测模型进行了设计，本公开中的目标检测模型的结构如图4所示，其包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测。
在现有技术中，通常分割的要求要高于分类，因此，通常先分类然后再分割，而本公开反其道而行之，在目标检测之前先进行了初始的分割，并将得到的分割结果作为一种先验信息输入了分类网络，分类网络根据解密图像，特征图集和分割结果这三种信息综合考虑进行目标检测，提升了目标检测的精度。本公开中将分割对象和目标检测对象都作用于特征图集，将分割作为一种先验策略提升目标检测精度，效果是十分显著的。
进一步地，本公开中可以对于各个不同的类别使用不同的分割器进行分割，从而进一步提升分割精度，进而提升目标检测精度。在实际进行目标检测的过程中，分割器的选取充分考虑到目标图像与参考样本的相关度，而参考样本是用于进行目标检测模型中特征提取网络和分割网络训练的样本数据，根据目标图像与参考样本的相关度选取最合适的分割器进行目标检测，进一步提升分割精度。
本公开示出该目标检测模型的训练方法，如图5所示，包括：
S10.获取训练样本集；
训练样本集为参考样本的集合的子集。
S20.根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；
S30.根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接；
其中，所述特征提取网络用于对所述目标密文进行解密，并对解密结果进行多尺度特征提取得到特征图集；所述分割网络用于根据所述目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；所述分类网络用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果。
事实上，第一神经网络和第二神经网络的训练是分开进行的，第一神经网络训练完成后，作为成熟的神经网络载入步骤S30，进行第二神经网络的训练，从而使得先验的分割网络充分在提升目标检测网络中发挥作用。本公开具体的训练方法可以参考相关技术，再次不再赘述。
本发明实施例公开了一种可视化融合通信调度实现方法，通过视频采集、视频分析、目标识别和手势检测实现了全自动的通信调度指令的获取，从而可以进行全自动的通信调度。
本公开还提供一种可视化融合通信调度实现方法，应用于服务器，如图6所示，所述方法包括：
获取目标密文和目标类别；
解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
若所述目标检测结果不为空，则获取目标手势图片；
识别所述目标手势图片中的目标手势；
根据所述目标手势确定对应的调度指令；
执行所述调度指令。
一种可视化融合通信调度实现装置，如图7所示，所述装置包括：
数据获取模块，用于获取目标密文和目标类别；
解密及特征提取模块，用于解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
分割模块，用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
识别模块，用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
手势获取模块，用于若所述目标检测结果不为空，则获取目标手势图片；
手势识别模块，用于识别所述目标手势图片中的目标手势；
调度指令确定模块，用于根据所述目标手势确定对应的调度指令；
执行模块，用于执行所述调度指令。
需要说明的是：上述本发明实施例的先后顺序仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种可视化融合通信调度系统，其特征在于，所述系统包括视频采集客户端和服务器；
所述视频采集客户端包括视频采集器、可视化组件、视频流处理器和控制器，所述视频采集器、可视化组件和视频流处理器均与所述控制器连接；
所述视频采集器用于采集用户产生的视频，所述用户产生的视频可以用于触发通信调度，所述可视化组件用于与用户进行可视化交互，所述视频流处理器用于进行视频流处理，所述控制器中包括调度判断器，用于与视频采集器进行数据交互，根据数据交互结果触发可视化组件进行可视化交互，根据可视化交互结果与服务器交互；
所述服务器包括目标检测模块、手势识别模块、调度指令确定模块和调度模块；
所述目标检测模块用于基于所述视频采集客户端传输的数据进行目标检测；所述手势识别模块用于基于目标检测的结果进行手势识别；所述调度指令确定模块用于根据手势识别的结果确定调度指令；所述调度模块用于根据所述调度指令进行通信调度；
所述调度模块通过控制所述视频采集客户端的视频流处理器进行通信调度，所述通信调度具体为视频融合相关调度；
所述目标检测模块包括目标检测模型，所述目标检测模型包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测；
其中视频采集客户端采集视频，对所述视频进行间隔采样得到多帧图像；所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
其中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：
S1.计算各帧图像i(i<N)的与下一张相邻的图像的曝光特征差值αi，其中，曝光特征由公式
Figure FDA0003928716960000021
计算得到，其中，Ni,ti,si,ci,Δ分别表示第i个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿、预设常数；
S2.计算各个图像i(i<N)的与下一张相邻的图像的关联特征差值βi，其中所述关联特征差值由公式
Figure FDA0003928716960000022
得到，其中i,Li(k),k,Γ分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数、总阶数；
S3.计算特征值T(i)＝k1αi+k2(βi-1)，其中T,k1,k2分别表征特征值，第一权值和第二权值；
S4.将特征值最小的图像确定为目标图像；
对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式
Figure FDA0003928716960000031
得到目标密文，其中Sin(k)，α，β，λ，γ，So分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。
2.根据权利要求1所述的系统，其特征在于，所述目标检测模型基于下述训练方法得到：
获取训练样本集；
根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；
根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接。
3.根据权利要求2所述的系统，其特征在于：
所述特征提取网络用于对目标密文进行解密，并对解密结果进行多尺度特征提取得到特征图集；所述分割网络用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；所述分类网络用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果。
4.一种可视化融合通信调度实现方法，其特征在于，所述方法包括：
获取目标密文和目标类别；
所述获取目标密文：通过视频采集客户端采集视频，对所述视频进行间隔采样得到多帧图像；所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
若所述目标检测结果不为空，则获取目标手势图片；
识别所述目标手势图片中的目标手势；
根据所述目标手势确定对应的调度指令；
执行所述调度指令；
所述方法中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：
S1.计算各帧图像i(i<N)的与下一张相邻的图像的曝光特征差值αi，其中，曝光特征由公式
Figure FDA0003928716960000041
计算得到，其中，Ni,ti,si,ci,Δ分别表示第i个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿、预设常数；
S2.计算各个图像i(i<N)的与下一张相邻的图像的关联特征差值βi，其中所述关联特征差值由公式
Figure FDA0003928716960000042
得到，其中i,Li(k),k,Γ分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数、总阶数；
S3.计算特征值T(i)＝k1αi+k2(βi-1)，其中T,k1,k2分别表征特征值，第一权值和第二权值；
S4.将特征值最小的图像确定为目标图像；
对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式
Figure FDA0003928716960000051
得到目标密文，其中Sin(k)，α，β，λ，γ，So分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。
5.一种可视化融合通信调度实现装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标密文和目标类别；
所述数据获取模块，通过视频采集客户端采集视频，对所述视频进行间隔采样得到多帧图像；所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
解密及特征提取模块，用于解密所述目标密文，并对解密结果进行多尺度特征提取得到特征图集；
分割模块，用于根据目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；
识别模块，用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果；
手势获取模块，用于若所述目标检测结果不为空，则获取目标手势图片；
手势识别模块，用于识别所述目标手势图片中的目标手势；
调度指令确定模块，用于根据所述目标手势确定对应的调度指令；
执行模块，用于执行所述调度指令；
其中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：
S1.计算各帧图像i(i<N)的与下一张相邻的图像的曝光特征差值αi，其中，曝光特征由公式
Figure FDA0003928716960000061
计算得到，其中，Ni,ti,si,ci,Δ分别表示第i个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿、预设常数；
S2.计算各个图像i(i<N)的与下一张相邻的图像的关联特征差值βi，其中所述关联特征差值由公式
Figure FDA0003928716960000062
得到，其中i,Li(k),k,Γ分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数、总阶数；
S3.计算特征值T(i)＝k1αi+k2(βi-1)，其中T,k1,k2分别表征特征值，第一权值和第二权值；
S4.将特征值最小的图像确定为目标图像；
对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式
Figure FDA0003928716960000071
得到目标密文，其中Sin(k)，α，β，λ，γ，So分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。
CN202011317024.1A 2020-11-23 2020-11-23 一种可视化融合通信调度系统及其实现方法 Active CN112347975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317024.1A CN112347975B (zh) 2020-11-23 2020-11-23 一种可视化融合通信调度系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317024.1A CN112347975B (zh) 2020-11-23 2020-11-23 一种可视化融合通信调度系统及其实现方法

Publications (2)

Publication Number Publication Date
CN112347975A CN112347975A (zh) 2021-02-09
CN112347975B true CN112347975B (zh) 2023-04-07

Family

ID=74364596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317024.1A Active CN112347975B (zh) 2020-11-23 2020-11-23 一种可视化融合通信调度系统及其实现方法

Country Status (1)

Country Link
CN (1) CN112347975B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015169061A1 (zh) * 2014-05-05 2015-11-12 小米科技有限责任公司 图像分割方法及装置
CN108124131A (zh) * 2017-12-22 2018-06-05 合肥寰景信息技术有限公司 一种可识别预设动作的监控报警系统
CN108459785A (zh) * 2018-01-17 2018-08-28 中国科学院软件研究所 一种视频多尺度可视化方法与交互方法
CN111047472A (zh) * 2019-12-26 2020-04-21 国网福建省电力有限公司 一种多维度信息融合的电力应急指挥调度通信系统
CN111695408A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 一种智能手势信息识别系统及方法、信息数据处理终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015169061A1 (zh) * 2014-05-05 2015-11-12 小米科技有限责任公司 图像分割方法及装置
CN108124131A (zh) * 2017-12-22 2018-06-05 合肥寰景信息技术有限公司 一种可识别预设动作的监控报警系统
CN108459785A (zh) * 2018-01-17 2018-08-28 中国科学院软件研究所 一种视频多尺度可视化方法与交互方法
CN111047472A (zh) * 2019-12-26 2020-04-21 国网福建省电力有限公司 一种多维度信息融合的电力应急指挥调度通信系统
CN111695408A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 一种智能手势信息识别系统及方法、信息数据处理终端

Also Published As

Publication number Publication date
CN112347975A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US11216690B2 (en) System and method for performing image processing based on a damage assessment image judgement model
US10769496B2 (en) Logo detection
CN107463888B (zh) 基于多任务学习与深度学习的人脸情绪分析方法及系统
US20170161591A1 (en) System and method for deep-learning based object tracking
KR20200145827A (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
US8331619B2 (en) Image processing apparatus and image processing method
US10395091B2 (en) Image processing apparatus, image processing method, and storage medium identifying cell candidate area
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN107169503B (zh) 一种室内场景的分类方法及装置
CN109447022B (zh) 一种镜头类型识别方法及装置
CN110505513A (zh) 一种视频截图方法、装置、电子设备及存储介质
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
Shahrian et al. Temporally coherent and spatially accurate video matting
CN113784171A (zh) 视频数据处理方法、装置、计算机系统及可读存储介质
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN112347975B (zh) 一种可视化融合通信调度系统及其实现方法
CN109886963B (zh) 一种图像处理方法及系统
CN112101331B (zh) 一种安防视频融合调度方法及装置
CN112101479B (zh) 一种发型识别方法及装置
Prabakaran et al. Key frame extraction analysis based on optimized convolution neural network (ocnn) using intensity feature selection (ifs)
CN112085025B (zh) 物体分割方法、装置、设备
CN109040774B (zh) 一种节目信息提取方法、终端设备、服务器及存储介质
KR101213280B1 (ko) 프로브 영상 변환을 이용한 얼굴 인식 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant