CN112101331B - 一种安防视频融合调度方法及装置 - Google Patents

一种安防视频融合调度方法及装置 Download PDF

Info

Publication number
CN112101331B
CN112101331B CN202011317121.0A CN202011317121A CN112101331B CN 112101331 B CN112101331 B CN 112101331B CN 202011317121 A CN202011317121 A CN 202011317121A CN 112101331 B CN112101331 B CN 112101331B
Authority
CN
China
Prior art keywords
target
image
frame
scheduling
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011317121.0A
Other languages
English (en)
Other versions
CN112101331A (zh
Inventor
张建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hualuo Communication Equipment Co ltd
Original Assignee
Zhejiang Hualuo Communication Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hualuo Communication Equipment Co ltd filed Critical Zhejiang Hualuo Communication Equipment Co ltd
Priority to CN202011317121.0A priority Critical patent/CN112101331B/zh
Publication of CN112101331A publication Critical patent/CN112101331A/zh
Application granted granted Critical
Publication of CN112101331B publication Critical patent/CN112101331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种安防视频融合调度方法，该方法包括：视频采集客户端采集视频，并按照预设要求提取该视频中的多帧图像；该视频采集客户端将该多帧图像输入调度判断器，判断该多帧图像是否满足调度判断条件，若满足，则在该多帧图像中确定目标图像，对该目标图像进行特征提取，得到第一特征序列，根据该第一特征序列得到目标密文；该视频采集客户端提醒用户拍摄包括调度手势的多张图片，在该多张图片中确定目标手势图片，将该目标手势图片和该目标密文传输至服务器；服务器根据该目标密文进行图片目标检测，若检测结果不为空，则识别该目标手势图片中的手势，并执行该手势对应的调度指令。本公开支持全自动的安防视频融合调度。

Description

一种安防视频融合调度方法及装置
技术领域
本发明涉及视频处理领域，尤其涉及一种安防视频融合调度方法及装置。
背景技术
随着我国社会经济的高速发展，为满足新形势下人们日益增长的通信需求以及通信应用场景的不断变化，各种行业都有自己的视频调度解决方案。视频调度大多依赖手动触发指令进行，其自动化程度有待提升。
发明内容
为了解决上述技术问题，本发明提出了一种安防视频融合调度方法及装置。本发明具体是以如下技术方案实现的：
本公开提出一种安防视频融合调度方法，所述方法包括：
视频采集客户端采集视频，并按照预设要求提取所述视频中的多帧图像；
所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
所述视频采集客户端提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；
服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
进一步地，该调度指令可以为安防视频融合相关的调度指令，从而使得本公开可以适用于安防场景之中。
进一步地，所述调度判断器，其执行下述逻辑：
对于该多帧图像进行线性化表达，即将某帧图像表达为其邻近的参考样本的线性表达；
根据该并集中各个参考样本所属的类别和线性化表达的结果，判断各个类别对于各帧图像的相关度；
若所述各个类别对于各帧图像的相关度的最大值大于预设阈值，则判定满足调度判断条件。
进一步地，将参与该多帧图像的线性化表达的参考样本的并集确定为
Figure 542771DEST_PATH_IMAGE001
，使用公式
Figure 489999DEST_PATH_IMAGE002
进行线性化表达，
Figure 71153DEST_PATH_IMAGE003
表达第p帧图像的特征序列，并集的总元素数量，并集的第k个元素在线性化表达的权重，第k个元素的特征序列，其中某个系数
Figure 346932DEST_PATH_IMAGE004
可以为0。
进一步地，对于某帧图像而言，其与某个类别的关联度计算方法：
首先，计算该帧图像的关键向量，该关键向量值可以根据公式
Figure 810274DEST_PATH_IMAGE005
计算，
Figure 826772DEST_PATH_IMAGE006
分别表示并集
Figure 262433DEST_PATH_IMAGE001
中每个元素对应的特征序列形成的列向量，预设常量，单位矩阵以及该帧图像的特征序列；
根据该关键向量和所述某个类别在所述并集中的元素，得到参考序列
Figure 706183DEST_PATH_IMAGE007
，其中
Figure 594505DEST_PATH_IMAGE008
分别表示参考序列，属于该某个类别的元素
Figure 211431DEST_PATH_IMAGE009
在关键向量中的对应的值，元素
Figure 236019DEST_PATH_IMAGE009
，属于该某个类别的元素
Figure 912988DEST_PATH_IMAGE010
在关键向量中的对应的值，元素
Figure 23026DEST_PATH_IMAGE010
；
计算参考序列
Figure 175134DEST_PATH_IMAGE011
与该帧图像的特征序列的距离，并将距离的倒数作为该帧图像相对于该类别的相关度。
一种安防视频融合调度方法，所述方法包括：
采集视频，并按照预设要求提取所述视频中的多帧图像；
将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；以使得服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
一种安防视频融合调度装置，所述装置包括：
提取模块，用于采集视频，并按照预设要求提取所述视频中的多帧图像；
判断模块，用于将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
手势处理模块，用于提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；以使得服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
本发明实施例提供了一种安防视频融合调度方法及装置，通过视频采集、视频分析、目标识别和手势检测实现了全自动的安防视频融合指令的获取，从而可以进行全自动的安防视频融合调度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的安防视频融合调度方法流程图；
图2是本发明实施例提供的在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文流程图；
图3是本发明实施例提供的目标检测模型示意图；
图4是本发明实施例提供的目标检测模型的训练方法流程图；
图5是本发明实施例提供的一种安防视频融合调度方法流程图；
图6是本发明实施例提供的一种安防视频融合调度装置框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种安防视频融合调度方法，如图1所示，所述调度方法由视频采集客户端和服务器联合实施。具体地，所述方法包括：
S101. 视频采集客户端采集视频，并按照预设要求提取所述视频中的多帧图像。
具体地，可以对所述视频进行间隔采样得到所述多帧图像。
S102. 所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文。
当然，若不满足，则终止执行本次所述调度方法。
具体地，所述调度判断器用于对于该多帧图像进行初选，若通过调度判断器的判断，则可以认为该多帧图像可能能够触发调度，否则，直接不执行后续过程，减少了不必要的与服务器的交互，降低服务器负担，也将部分本可以在服务器端进行的计算工作的逻辑前置，在客户端即可完成。
本公开中，该调度判断器中存储有预设数量参考样本，所述参考样本被分为N类，对于接收到多帧图像的调度判断器，其执行下述逻辑：
（1）对于该多帧图像进行线性化表达，即将某帧图像表达为其邻近的参考样本的线性表达，本公开中参与进行线性化表达的参考样本为该帧图像的邻域内的参考样本。事实上，由于多帧图像的相关度较高，因此，参与其线性化表达的参考样本也相关度较高，本公开中可以将参与该多帧图像的线性化表达的参考样本的并集确定为
Figure 319808DEST_PATH_IMAGE001
，因此使用公式
Figure 167678DEST_PATH_IMAGE002
进行线性化表达，
Figure 765013DEST_PATH_IMAGE003
表达第p帧图像的特征序列，并集的总元素数量，并集的第k个元素在线性化表达的权重，第k个元素的特征序列，其中某个系数
Figure 723742DEST_PATH_IMAGE004
可以为0。比如
Figure 457342DEST_PATH_IMAGE012
，若并集为
Figure 476114DEST_PATH_IMAGE013
，则第二项和第四项系数为0。
（2）根据该并集中各个参考样本所属的类别和线性化表达的结果，判断各个类别对于各帧图像的相关度。
本公开示出了对于某帧图像而言，其与某个类别的关联度计算方法：
首先，计算该帧图像的关键向量，该关键向量值可以根据公式
Figure 560745DEST_PATH_IMAGE014
计算，
Figure 323164DEST_PATH_IMAGE015
分别表示并集
Figure 176851DEST_PATH_IMAGE016
中每个元素对应的特征序列形成的列向量，预设常量（可以取3-5），单位矩阵以及该帧图像的特征序列。
第二，根据该关键向量和所述某个类别在所述并集中的元素，得到参考序列
Figure 835365DEST_PATH_IMAGE017
，其中
Figure 484257DEST_PATH_IMAGE018
分别表示参考序列，属于该某个类别的元素
Figure 722472DEST_PATH_IMAGE019
在关键向量中的对应的值，元素
Figure 758561DEST_PATH_IMAGE019
，属于该某个类别的元素
Figure 791239DEST_PATH_IMAGE020
在关键向量中的对应的值，元素
Figure 116041DEST_PATH_IMAGE020
。
第三，计算参考序列
Figure 220263DEST_PATH_IMAGE021
与该帧图像的特征序列的距离，并将距离的倒数作为该帧图像相对于该类别的相关度。
（3）若所述各个类别对于各帧图像的相关度的最大值大于预设阈值，则判定满足调度判断条件。
在一个优选的实施例中，还可以将该最大值对于的目标类别传输至服务器。
在一个实施例中，所述在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，如图2所示，包括：
S1. 计算各帧图像
Figure 517384DEST_PATH_IMAGE022
（i<N）的与下一张相邻的图像的曝光特征差值
Figure 986542DEST_PATH_IMAGE023
，其中，曝光特征由公式
Figure 533061DEST_PATH_IMAGE024
计算得到，其中，
Figure 438045DEST_PATH_IMAGE025
分别表示第
Figure 386409DEST_PATH_IMAGE022
个图像的镜头的焦距/镜头通光直径得出的相对值、曝光时间、感光灵敏度、曝光补偿，预设常数（通常取值90）。
S2. 计算各个图像
Figure 26469DEST_PATH_IMAGE022
（i<N）的与下一张相邻的图像的关联特征差值
Figure 857022DEST_PATH_IMAGE026
，其中所述关联特征差值由公式
Figure 240730DEST_PATH_IMAGE027
得到，其中
Figure 840338DEST_PATH_IMAGE028
分别表征图像编号，图像的灰度级分布统计函数，所述灰度级分布统计函数的阶数，总阶数。
S3. 计算特征值
Figure 120141DEST_PATH_IMAGE029
，其中
Figure 641252DEST_PATH_IMAGE030
分别表征特征值，第一权值和第二权值。
S4. 将特征值最小的图像确定为目标图像。
本公开中对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文，包括：根据公式
Figure 625389DEST_PATH_IMAGE031
得到目标密文，其中
Figure 285696DEST_PATH_IMAGE032
分别表示第一特征序列，第一固设参数，第二固设参数，第三固设参数，第四固设参数和目标密文。第一固设参数，第二固设参数，第三固设参数，第四固设参数分别在四个位置调整加密难度，可以根据实际需要进行任意设定，不影响本方案的实施。
S103. 所述视频采集客户端提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器。
具体地，所述目标手势图片可以为所述多张图片中的其中一张图片，确定方法可以使用现有技术，本公开不做赘述，比如可以选择清晰度最高的，曝光最好的，或者聚焦效果好的；也可以对所述多张图片进行融合得到目标手势图片。
S104. 服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
该调度指令可以为安防视频融合相关的调度指令，从而使得本公开可以适用于安防场景之中。具体的调度算法可以参考相关技术，本公开不做赘述。
本公开中还可以将目标类别一并传输至服务器，因此，所述服务器根据所述目标密文进行图片目标检测，包括：将所述目标类别和所述目标密文一并输入预设的目标检测模型，以得到目标检测结果。
为了提升目标检测结果的精准度，服务器端创造性的对于目标检测模型进行了设计，本公开中的目标检测模型的结构如图3所示，其包括特征提取网络、分割网络和分类网络，其中特征提取网络包括解密器和提取器，解密器用于目标密文进行解密得到解密图像，提取器用于对该解密图像进行多尺度提取得到特征图集；分割网络包括分割路由和多个分割器，该分割路由用于根据目标类别确定对特征图集进行分割的分割器，将该特征图集传输至该分割器进行分割处理，以得到分割结果；分类网络根据解密图像、特征图集和分割结果进行目标检测。
在现有技术中，通常分割的要求要高于分类，因此，通常先分类然后再分割，而本公开反其道而行之，在目标检测之前先进行了初始的分割，并将得到的分割结果作为一种先验信息输入了分类网络，分类网络根据解密图像，特征图集和分割结果这三种信息综合考虑进行目标检测，提升了目标检测的精度。本公开中将分割对象和目标检测对象都作用于特征图集，将分割作为一种先验策略提升目标检测精度，效果是十分显著的。
进一步地，本公开中可以对于各个不同的类别使用不同的分割器进行分割，从而进一步提升分割精度，进而提升目标检测精度。在实际进行目标检测的过程中，分割器的选取充分考虑到目标图像与参考样本的相关度，而参考样本是用于进行目标检测模型中特征提取网络和分割网络训练的样本数据，根据目标图像与参考样本的相关度选取最合适的分割器进行目标检测，进一步提升分割精度。
本公开示出该目标检测模型的训练方法，如图4所示，包括：
S10. 获取训练样本集；
训练样本集为参考样本的集合的子集。
S20. 根据所述训练样本集训练第一神经网络，直至所述第一神经网络产生的损失小于第一损失阈值；所述第一神经网络包括特征提取网络和与所述特征提取网络连接的分割网络；
S30. 根据所述训练样本集和所述第一神经网络，训练第二神经网络，直至所述第二神经网络产生的损失小于第二损失阈值；所述第二神经网络为分类网络，所述特征提取网络和所述分割网络均与所述分类网络连接；
其中，所述特征提取网络用于对所述目标密文进行解密，并对解密结果进行多尺度特征提取得到特征图集；所述分割网络用于根据所述目标类别选择对应的分割器，利用该分割器对所述特征图集进行分割，得到分割结果；所述分类网络用于根据所述特征图集和所述分割结果得到所述目标图像的目标检测结果。
事实上，第一神经网络和第二神经网络的训练是分开进行的，第一神经网络训练完成后，作为成熟的神经网络载入步骤S30，进行第二神经网络的训练，从而使得先验的分割网络充分在提升目标检测网络中发挥作用。本公开具体的训练方法可以参考相关技术，再次不再赘述。
本发明实施例公开了一种安防视频融合调度方法，通过视频采集、视频分析、目标识别和手势检测实现了全自动的安防视频融合指令的获取，从而可以进行全自动的安防视频融合调度。
一种安防视频融合调度方法，如图5所示，所述方法包括：
采集视频，并按照预设要求提取所述视频中的多帧图像；
将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；以使得服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
一种安防视频融合调度装置，如图6所示，所述装置包括：
提取模块，用于采集视频，并按照预设要求提取所述视频中的多帧图像；
判断模块，用于将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
手势处理模块，用于提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；以使得服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令。
需要说明的是：上述本发明实施例的先后顺序仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种安防视频融合调度方法，其特征在于，所述方法包括：
视频采集客户端采集视频，并按照预设要求提取所述视频中的多帧图像；
所述视频采集客户端将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
所述视频采集客户端提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；
服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令；
该调度指令可以为安防视频融合相关的调度指令，从而用于安防场景之中；
所述调度判断器，其执行下述逻辑：
对于该多帧图像进行线性化表达，即将某帧图像表达为其邻近的参考样本的线性表达；
根据多帧图像的线性化表达的参考样本的并集中各个参考样本所属的类别和线性化表达的结果，判断各个类别对于各帧图像的相关度；
若所述各个类别对于各帧图像的相关度的最大值大于预设阈值，则判定满足调度判断条件；
将参与该多帧图像的线性化表达的参考样本的并集确定为
Figure DEST_PATH_IMAGE002
，使用公式
Figure DEST_PATH_IMAGE004
进行线性化表达，
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
表达第
Figure DEST_PATH_IMAGE014
帧图像的特征序列，并集的总元素数量，并集的第
Figure DEST_PATH_IMAGE016
个元素在线性化表达的权重，第
Figure DEST_PATH_IMAGE016A
个元素的特征序列；
对于某帧图像而言，其与某个类别的关联度计算方法：
首先，计算该帧图像的关键向量，该关键向量的值可以根据公式
Figure DEST_PATH_IMAGE018
计算，
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
分别表示并集
Figure DEST_PATH_IMAGE002A
中每个元素对应的特征序列形成的列向量，预设常量，单位矩阵以及该帧图像的特征序列；
根据该关键向量和所述某个类别在所述并集中的元素，得到参考序列
Figure DEST_PATH_IMAGE028
，其中
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE038
分别表示参考序列，属于该某个类别的元素
Figure DEST_PATH_IMAGE034A
在关键向量中的对应的值，元素
Figure DEST_PATH_IMAGE034AA
，属于该某个类别的元素
Figure DEST_PATH_IMAGE039
在关键向量中的对应的值，元素
Figure DEST_PATH_IMAGE038A
；
计算参考序列
Figure DEST_PATH_IMAGE040
与该帧图像的特征序列的距离，并将距离的倒数作为该帧图像相对于该类别的相关度。
2.一种安防视频融合调度装置，其特征在于，所述装置包括：
提取模块，用于采集视频，并按照预设要求提取所述视频中的多帧图像；
判断模块，用于将所述多帧图像输入调度判断器，判断所述多帧图像是否满足调度判断条件，若满足，则在所述多帧图像中确定目标图像，对所述目标图像进行特征提取，得到第一特征序列，根据所述第一特征序列得到目标密文；
手势处理模块，用于提醒用户拍摄包括调度手势的多张图片，在所述多张图片中确定目标手势图片，将所述目标手势图片和所述目标密文传输至服务器；以使得服务器根据所述目标密文进行图片目标检测，若检测结果不为空，则识别所述目标手势图片中的手势，并执行所述手势对应的调度指令；
该调度指令可以为安防视频融合相关的调度指令，从而用于安防场景之中；
所述调度判断器，其执行下述逻辑：
对于该多帧图像进行线性化表达，即将某帧图像表达为其邻近的参考样本的线性表达；
根据多帧图像的线性化表达的参考样本的并集中各个参考样本所属的类别和线性化表达的结果，判断各个类别对于各帧图像的相关度；
若所述各个类别对于各帧图像的相关度的最大值大于预设阈值，则判定满足调度判断条件；
将参与该多帧图像的线性化表达的参考样本的并集确定为
Figure DEST_PATH_IMAGE002AA
，使用公式
Figure DEST_PATH_IMAGE004A
进行线性化表达，
Figure DEST_PATH_IMAGE006A
，
Figure DEST_PATH_IMAGE008A
，
Figure DEST_PATH_IMAGE010A
，
Figure DEST_PATH_IMAGE012A
表达第
Figure DEST_PATH_IMAGE014A
帧图像的特征序列，并集的总元素数量，并集的第
Figure DEST_PATH_IMAGE016AA
个元素在线性化表达的权重，第
Figure DEST_PATH_IMAGE016AAA
个元素的特征序列；
对于某帧图像而言，其与某个类别的关联度计算方法：
首先，计算该帧图像的关键向量，该关键向量的值可以根据公式
Figure DEST_PATH_IMAGE041
计算，
Figure DEST_PATH_IMAGE020A
，
Figure DEST_PATH_IMAGE022A
，
Figure DEST_PATH_IMAGE024A
，
Figure DEST_PATH_IMAGE026A
分别表示并集
Figure DEST_PATH_IMAGE002AAA
中每个元素对应的特征序列形成的列向量，预设常量，单位矩阵以及该帧图像的特征序列；
根据该关键向量和所述某个类别在所述并集中的元素，得到参考序列
Figure DEST_PATH_IMAGE028A
，其中
Figure DEST_PATH_IMAGE030A
，
Figure DEST_PATH_IMAGE032A
，
Figure DEST_PATH_IMAGE034AAA
，
Figure DEST_PATH_IMAGE036A
，
Figure DEST_PATH_IMAGE038AA
分别表示参考序列，属于该某个类别的元素
Figure DEST_PATH_IMAGE034AAAA
在关键向量中的对应的值，元素
Figure DEST_PATH_IMAGE034AAAAA
，属于该某个类别的元素
Figure DEST_PATH_IMAGE039A
在关键向量中的对应的值，元素
Figure DEST_PATH_IMAGE038AAA
；
计算参考序列
Figure DEST_PATH_IMAGE040A
与该帧图像的特征序列的距离，并将距离的倒数作为该帧图像相对于该类别的相关度。
CN202011317121.0A 2020-11-23 2020-11-23 一种安防视频融合调度方法及装置 Active CN112101331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317121.0A CN112101331B (zh) 2020-11-23 2020-11-23 一种安防视频融合调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317121.0A CN112101331B (zh) 2020-11-23 2020-11-23 一种安防视频融合调度方法及装置

Publications (2)

Publication Number Publication Date
CN112101331A CN112101331A (zh) 2020-12-18
CN112101331B true CN112101331B (zh) 2021-02-19

Family

ID=73785934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317121.0A Active CN112101331B (zh) 2020-11-23 2020-11-23 一种安防视频融合调度方法及装置

Country Status (1)

Country Link
CN (1) CN112101331B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163055A (zh) * 2018-08-10 2019-08-23 腾讯科技（深圳）有限公司 手势识别方法、装置和计算机设备
CN111240486A (zh) * 2020-02-17 2020-06-05 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
US10778450B1 (en) * 2017-04-28 2020-09-15 Wells Fargo Bank, N.A. Gesture-extracted passwords for authenticated key exchange
CN111932226A (zh) * 2020-07-04 2020-11-13 周浩 基于区块链和大数据的数据流监测方法及云计算服务平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427831B (zh) * 2019-07-09 2022-02-11 淮阴工学院 一种基于融合特征的人体动作分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10778450B1 (en) * 2017-04-28 2020-09-15 Wells Fargo Bank, N.A. Gesture-extracted passwords for authenticated key exchange
CN110163055A (zh) * 2018-08-10 2019-08-23 腾讯科技（深圳）有限公司 手势识别方法、装置和计算机设备
CN111240486A (zh) * 2020-02-17 2020-06-05 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
CN111932226A (zh) * 2020-07-04 2020-11-13 周浩 基于区块链和大数据的数据流监测方法及云计算服务平台

Also Published As

Publication number Publication date
CN112101331A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
KR102385463B1 (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
CN111444878B (zh) 一种视频分类方法、装置及计算机可读存储介质
CN107463888B (zh) 基于多任务学习与深度学习的人脸情绪分析方法及系统
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN107169503B (zh) 一种室内场景的分类方法及装置
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN108154086A (zh) 一种图像提取方法、装置及电子设备
CN103546803A (zh) 一种图像处理的方法、客户端和图像处理的系统
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN113784171A (zh) 视频数据处理方法、装置、计算机系统及可读存储介质
CN107948721B (zh) 推送信息的方法和装置
CN113010736B (zh) 一种视频分类方法、装置、电子设备及存储介质
US11687782B2 (en) Systems and methods for recognition of user-provided images
CN111083469A (zh) 一种视频质量确定方法、装置、电子设备及可读存储介质
CN112949456B (zh) 视频特征提取模型训练、视频特征提取方法和装置
CN109977738B (zh) 一种视频场景分割判断方法、智能终端及存储介质
CN112101331B (zh) 一种安防视频融合调度方法及装置
CN116095363B (zh) 基于关键行为识别的移动端短视频高光时刻剪辑方法
CN112347975B (zh) 一种可视化融合通信调度系统及其实现方法
Bongini et al. GADA: Generative adversarial data augmentation for image quality assessment
KR102440073B1 (ko) 최적화 모델 선택 장치 및 방법
CN112101479B (zh) 一种发型识别方法及装置
CN115019376A (zh) 一种基于云服务的电力信息管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant