CN109376610B - 视频监控中基于图像概念网络的行人不安全行为检测方法 - Google Patents

视频监控中基于图像概念网络的行人不安全行为检测方法 Download PDF

Info

Publication number
CN109376610B
CN109376610B CN201811132864.3A CN201811132864A CN109376610B CN 109376610 B CN109376610 B CN 109376610B CN 201811132864 A CN201811132864 A CN 201811132864A CN 109376610 B CN109376610 B CN 109376610B
Authority
CN
China
Prior art keywords
concept
semantic
network
word
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811132864.3A
Other languages
English (en)
Other versions
CN109376610A (zh
Inventor
李群
肖甫
徐鼎
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201811132864.3A priority Critical patent/CN109376610B/zh
Publication of CN109376610A publication Critical patent/CN109376610A/zh
Application granted granted Critical
Publication of CN109376610B publication Critical patent/CN109376610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种视频监控中基于图像概念网络的行人不安全行为检测方法，由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测；另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测。本发明能够实现行人不安全行为检测，同时对行人在参与交通过程中普遍存在的不安全行为有很好的预警效果。

Description

视频监控中基于图像概念网络的行人不安全行为检测方法
技术领域
本发明涉及一种行人不安全行为检测方法，属于视频监控应用和计算机视觉集成领域。
背景技术
马路上行人的交通陋习导致的不安全行为是目前我国道路交通伤害的重要诱因。行人不安全行为如过马路不走人行横道、行走中低头看手机等。如果能够及时对行人不安全行为预警，就能避免交通隐患，保证行人和行车的安全。计算机视觉技术和图像识别技术已经被广泛应用到交通流量控制、车辆检测和追踪等领域。除此之外，图像识别还被广泛应用于人体行为识别，如对于图像中包含的人与对象交互行为的识别，对于图像中包含场景信息的人体行为的识别等。所以，可以利用图像识别来进行行人不安全行为检测。
面向行人不安全行为检测的图像识别技术的关键是跨越语义鸿沟。而要跨越语义鸿沟，关键是获取图像的语义特征。其中，语义概念提取是语义特征提取这一基本研究问题中的一个颇具生命力的方向，也是目前视觉研究中的一个热点。而且，目前的研究表明，利用概念的共现模式，可以加强语义概念的提取。同时考虑到语义概念的关系复杂，类似一个网络。
发明内容
发明目的：本发明针对语义概念提取方法的不足，提出一种视频监控中基于图像概念网络的行人不安全行为检测方法，采用视觉一致语义概念和场景语义概念提取方案，前者用于检测视觉相关语义概念以及同一概念的视觉变化性，后者挖掘语义概念的共现模式和相关性。针对集群概念相关性研究的不足，同时考虑到语义概念的复杂关系类似一个网络，本发明应用复杂网络建模方法——词激活力构建语义概念网络，应用网络分析方法，有效的获取集群概念的相关性。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种视频监控中基于图像概念网络的行人不安全行为检测方法，由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测；另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测。
具体包括以下步骤：
步骤1，给定训练集，提取每幅图像的语义概念，根据其在图像中的位置信息组成句子，同类图像概念构成的句子集合为一个文本，由此构建语义概念词汇表。
根据给定训练集和查询图提取图像的视觉特征，应用概念推理模型提取视觉一致语义概念，同时根据语义概念词汇表建立个体概念模型，进而提取图像描述子。
步骤2，基于词激活力的概念网络建模：由语义概念词汇表通过网络结构对语义概念网络建模，应用词激活力转化为图像语义概念激活力，构建基于词激活力的语义概念网络，并应用社会网络分析方法挖掘图像语义概念的共现属性，提取场景语义概念描述子。
步骤3，融合个体语义概念特征和场景语义概念特征获取融合特征，或者以场景语义概念描述子优化图像描述子作为最终特征，把融合特征或者优化后的图像描述子输入到线性SVM分类器(Support Vector Machine，支持向量机)对分类器进行训练，利用训练好的分类器实现行人不安全行为检测从而给定不安全行为标识。
优选的：所述步骤2中基于词激活力的语义概念网络构建包括以下步骤：
步骤21，给定语义概念词汇表中的一对语义概念词汇，记为词汇一cl和词汇二ck，首先计算得出它们各自的词汇一频率
Figure BDA0001813999530000021
和词汇二频率
Figure BDA0001813999530000022
以及它们的共现频率
Figure BDA0001813999530000023
它们的激活力
Figure BDA0001813999530000024
为：
Figure BDA0001813999530000025
其中，
Figure BDA0001813999530000026
是词汇一cl和词汇二ck共生频率中词汇一cl对词汇二ck前向距离的平均值。
步骤22，构建网络结构S＝(N,E,W)，其中N表示节点集，E表示连接节点的边缘集，且每个边缘对应其重要性被分配给一个大于零的权重W。对应于网络结构事先建立的概念词汇表C，概念网络则由每个概念c关联网络结构S中的节点n构建。
步骤23，网络边缘权重由谷歌距离NGD(the Normalized Google Distance，NGD)和激活力二次加权获取，其中谷歌距离NGD用于评估全局语义概念共现，词激活力用于捕捉局部共现活跃性属性。两两成对的词汇一cl和词汇二ck之间的全局语义共现依据谷歌距离NGD计算为：
Figure BDA0001813999530000027
其中，S(cl)表示包含词汇一cl的页面数量，S(ck)表示包含词汇二ck的页面数量，S(cl,ck)表示同时包含词汇一cl和词汇二ck的页面数量，Ω表示谷歌所搜索的总页面数；
步骤24，以网络的加权边缘表示各节点之间的共现相关性，以快速模块式最大化算法作为网络中的分层社区检测共现模式，实现场景语义概念描述子的提取。
优选的：所述步骤3中融合个体语义概念特征和场景语义概念特征获取融合特征的方法：
设个体概念概率特征为Fc，场景概念概率特征为Fs，获取融合特征F＝[F1F2]，其中F1＝W1Fc，F2＝W2Fs，则目标函数定义为：
Figure BDA0001813999530000031
Figure BDA0001813999530000032
Figure BDA0001813999530000033
τ1+τ2＝1,τ1≥0,τ2≥0.
其中，R1(W1,F1)、R2(W2,F2)为重构函数，C1、C2为特征相关项，g(F1)、g(F2)为惩罚函数，W1,W2,τ1,τ2，λ，λ1，λ2为权重系数,
Figure BDA0001813999530000034
为惩罚因子。
优选的：采用模块化优化模式对场景语义概念提取，通过比较节点的链路密度测量模块化分区的质量，模块化优化模式为：M＝ψ(Ni,Nj),i≠j＝1,2,3,......,，其中，M表示优化模式，ψ表示优化函数，Ni表示模块i，Nj表示模块j。
优选的：词激活力是加权复杂网络链接的一种统计学方法，能够获取词网络中的重要信息，是一种映射方法。
优选的：所述分类器为SVM分类器。
优选的：采用CoHOG(Co-occurrence Histograms of Oriented Gradients，共生方向梯度直方图)、PHOG(pyramid of histogram of oriented gradients，金字塔方向梯度直方图)、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、或GIST(Generalized Search Trees，通用搜索树)提取图像的视觉特征。
本发明相比现有技术，具有以下有益效果：
1、本发明把加权复杂网络链接的统计学方法——词激活力引入到图像识别领域，抽象和升华词激活力为场景图像语义概念激活力，并基于此构建场景图像语义概念的稀疏编码网络。并应用社会网络分析方法，提取语义概念的共现相关模式，从网络分析的角度分析和提取概念的语义相关，其能够获取图像语义概念及其相关性的重要信息。
2、本发明利用概率推理模型检测视觉一致语义概念，研究同一概念的视觉变化性及其与其它概念的视觉距离。并以网络的加权边缘表示各节点之间的共现相关性，以一种快速的模块式最大化算法作为网络中的分层社区检测共现模式，实现场景语义概念的提取。视觉一致语义概念与场景概念结合应用于行人不安全行为的检测，可以加强行人不安全行为语义概念的提取，构建稳定的检测模型。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提出的视频监控中基于图像概念网络的行人不安全行为检测方法，由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测。另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测。如图1所示，包括视觉一致语义概念提取、基于词激活力的语义概念网络构建、基于社会网络分析方法的网络共现模式挖掘、和基于判别模型的行人不安全行为识别，具体包括以下步骤：
步骤1，个体视觉一致语义概念提取，给定训练集，提取每幅图像的语义概念，根据其在图像中的位置信息组成句子，同类图像概念构成的句子集合为一个文本，由此构建语义概念词汇表。
根据给定训练集和查询图提取图像的视觉特征，应用概念推理模型提取视觉一致语义概念，同时根据语义概念词汇表建立个体概念模型，进而提取图像描述子。
1)提取图像的视觉特征，可以选用共生方向梯度直方图CoHOG、金字塔方向梯度直方图PHOG、尺度不变特征SIFT、或通用搜索树GIST。
2)利用个体概念模型，提取视觉一致语义概念特征。个体语义概念模型P定义如下：
P(concept,visual feature),
P(concept|visual feature).
由此视觉一致语义概念模型提取的描述子既不像传统的视觉描述子纯粹基于底层图像特征，也不像文本描述子仅包含高层语义概念，该描述子可以记录高层语义以及从底层特征获取的相关置信度值。
步骤2，基于词激活力的语义概念网络构建。基于词激活力的概念网络建模：由语义概念词汇表通过网络结构对语义概念网络建模，应用词激活力转化为图像语义概念激活力，构建基于词激活力的语义概念网络，并应用社会网络分析方法挖掘图像语义概念的共现属性，提取场景语义概念描述子。
所述步骤2中基于词激活力的语义概念网络构建包括以下步骤：
步骤21，给定语义概念词汇表中的一对语义概念词汇，记为词汇一cl和词汇二ck，首先计算得出它们各自的词汇一频率
Figure BDA0001813999530000051
和词汇二频率
Figure BDA0001813999530000052
以及它们的共现频率
Figure BDA0001813999530000053
它们的激活力
Figure BDA0001813999530000054
为：
Figure BDA0001813999530000055
其中，
Figure BDA0001813999530000056
是词汇一cl和词汇二ck共生频率中词汇一cl对词汇二ck前向距离的平均值。
步骤22，构建网络结构S＝(N,E,W)，其中N表示节点集，E表示连接节点的边缘集，且每个边缘对应其重要性被分配给一个大于零的权重W。对应于网络结构事先建立的概念词汇表C，概念网络则由每个概念c关联网络结构S中的节点n构建。
步骤23，网络边缘权重由谷歌距离和激活力二次加权获取，其中谷歌距离NGD用于评估全局语义概念共现，词激活力用于捕捉局部共现活跃性属性。两两成对的词汇一cl和词汇二ck之间的全局语义共现依据谷歌距离NGD计算为：
Figure BDA0001813999530000057
其中，S(cl)表示包含词汇一cl的页面数量，S(ck)表示包含词汇二ck的页面数量，S(cl,ck)表示同时包含词汇一cl和词汇二ck的页面数量，Ω表示谷歌所搜索的总页面数。
步骤24，以网络的加权边缘表示各节点之间的共现相关性，以快速模块式最大化算法作为网络中的分层社区检测共现模式，实现场景语义概念描述子的提取。
本发明通过一个网络结构对语义概念网络建模，应用词激活力转化为图像语义概念激活力，构建语义概念网络，并挖掘图像语义概念的共现属性。词激活力是加权复杂网络链接的一种统计学方法，其公式定义形式与万有引力公式相仿，其能够获取词网络中的重要信息，是一种优越的映射方法。实验表明，词激活力网络能够有效的挖掘出合理的词簇和层次结构，而且揭示了大脑中词网络编码的方式。
本发明应用社会网络分析技术，通过检测网络结构中的分层社区来开发概念共现模式，提取场景语义概念。许多现实生活中的复杂网络如社交网络和生物学网络中存在一个普遍的属性：社区结构。社区被定义为网络中具有严密的内部链接和松动的外部链接的节点群。检测有意义的概念共现模式的问题可以看作检测概念网络中存在重叠节点的社区。为了实现场景语义概念提取，采用模块化优化模式对场景语义概念提取，通过比较节点的链路密度测量模块化分区的质量。
步骤3，融合个体语义概念特征和场景语义概念特征获取融合特征，把融合特征输入到线性SVM对分类器进行训练，利用训练好的分类器实现行人不安全行为检测从而给定不安全行为标识。
所述步骤3中融合个体语义概念特征和场景语义概念特征获取融合特征的方法：
设个体概念概率特征为Fc，场景概念概率特征为Fs，获取融合特征F＝[F1F2]，其中F1＝W1Fc，F2＝W2Fs，则目标函数定义为：
Figure BDA0001813999530000061
Figure BDA0001813999530000062
Figure BDA0001813999530000063
τ1+τ2＝1,τ1≥0,τ2≥0.
其中，R1(W1,F1)、R2(W2,F2)为重构函数，C1、C2为特征相关项，g(F1)、g(F2)为惩罚函数，W1,W2,τ1,τ2，λ，λ1，λ2为权重系数,
Figure BDA0001813999530000064
为惩罚因子。
采用模块化优化模式对场景语义概念提取，通过比较节点的链路密度测量模块化分区的质量，模块化优化模式为：M＝ψ(Ni,Nj),i≠j＝1,2,3,......,，其中，M表示优化模式，ψ表示优化函数，Ni表示模块i，Nj表示模块j。
应用特征融合算法获取融合特征后，给定一个图像，其融合特征可以输入到SVM等辨别式分类器实现分类，从而给定不安全行为标识。优化后特征描述子提取，优化后的特征描述子既包含个体语义概念本身的属性，又包含概念之间的共现相关属性。
本发明以语义概念提取为基础，通过识别和分类图像中的场景和对象，以确定视频图像中是否包含行人不安全行为。本发明应用复杂网络建模方法构建语义概念网络，目的是应用社会网络分析方法挖掘众多语义概念的复杂关系，进一步地提取视觉一致语义概念，用以检测概念的视觉相关以及视觉变化性，并提取场景语义概念挖掘语义概念的共现模式和相关性。本发明从跨越图像视觉信息与语义信息之间的“语义鸿沟”入手，提出了一种基于概念网络建模和社会网络分析方法的行人不安全行为检测方案，网络构建采用复杂网络构建方法词激活力，成功的实现了从文本词到图像语义概念词汇的抽象，并应用此激活力实现了语义概念网络的构建。基于社会网络分析实现了语义概念共现模式的挖掘，分析和充分挖掘了场景中的对象之间和人与对象之间的位置和相互作用关系，从而加强场景图像中对象的识别。采用判别模型可以实现鲁棒的行人不安全行为检测。本发明提出以语义概念提取为基础，应用复杂网络建模方法构建语义概念网络，挖掘概念共现模式，以此实现行人不安全行为检测，同时对行人在参与交通过程中普遍存在的不安全行为有很好的预警效果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种视频监控中基于图像概念网络的行人不安全行为检测方法，其特征在于：由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测；另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测；包括以下步骤：
步骤1，给定训练集，提取每幅图像的语义概念，根据其在图像中的位置信息组成句子，同类图像概念构成的句子集合为一个文本，由此构建语义概念词汇表；
根据给定训练集和查询图提取图像的视觉特征，应用概念推理模型提取视觉一致语义概念，同时根据语义概念词汇表建立个体概念模型，进而提取图像描述子；
步骤2，基于词激活力的语义概念网络构建；基于词激活力的概念网络建模：由语义概念词汇表通过网络结构对语义概念网络建模，应用词激活力转化为图像语义概念激活力，构建基于词激活力的语义概念网络，并应用社会网络分析方法挖掘图像语义概念的共现相关，提取场景语义概念描述子；
基于词激活力的语义概念网络构建包括以下步骤：
步骤21，给定语义概念词汇表中的一对语义概念词汇，记为词汇一cl和词汇二ck，首先计算得出它们各自的词汇一频率
Figure FDA0003506208640000011
和词汇二频率
Figure FDA0003506208640000012
以及它们的共现频率
Figure FDA0003506208640000013
它们的激活力
Figure FDA0003506208640000014
为：
Figure FDA0003506208640000015
其中，
Figure FDA0003506208640000016
是词汇一cl和词汇二ck共生频率中词汇一cl对词汇二ck前向距离的平均值；
步骤22，构建网络结构S＝(N,E,W)，其中N表示节点集，E表示连接节点的边缘集，且每个边缘对应其重要性被分配给一个大于零的权重W；对应于网络结构事先建立的概念词汇表C，概念网络则由每个概念c关联网络结构S中的节点n构建；
步骤23，网络边缘权重由谷歌距离NGD和激活力二次加权获取，其中谷歌距离NGD用于评估全局语义概念共现，词激活力用于捕捉局部共现活跃性属性；两两成对的词汇一cl和词汇二ck之间的全局语义共现依据谷歌距离NGD计算为：
Figure FDA0003506208640000017
其中，S(cl)表示包含词汇一cl的页面数量，S(ck)表示包含词汇二ck的页面数量，S(cl,ck)表示同时包含词汇一cl和词汇二ck的页面数量，Ω表示谷歌所搜索的总页面数；
步骤24，以网络的加权边缘表示各节点之间的共现相关性，以快速模块式最大化算法作为网络中的分层社区检测共现模式，实现场景语义概念描述子的提取；
步骤3，融合个体语义概念特征和场景语义概念特征获取融合特征，把融合特征或者优化后的图像描述子输入到线性SVM分类器对分类器进行训练，利用训练好的分类器实现行人不安全行为检测从而给定不安全行为标识；
融合个体语义概念特征和场景语义概念特征获取融合特征的方法：
设个体概念概率特征为Fc，场景概念概率特征为Fs，获取融合特征F＝[F1 F2]，其中F1＝W1Fc，F2＝W2Fs，则目标函数定义为：
Figure FDA0003506208640000021
Figure FDA0003506208640000022
Figure FDA0003506208640000023
τ1+τ2＝1,τ1≥0,τ2≥0，
其中，R1(W1,F1)、R2(W2,F2)为重构函数，C1、C2为特征相关项，g(F1)、g(F2)为惩罚函数，W1,W2,τ1,τ2，λ，λ1，λ2为权重系数,
Figure FDA0003506208640000024
为惩罚因子。
2.根据权利要求1所述视频监控中基于图像概念网络的行人不安全行为检测方法，其特征在于：采用模块化优化模式对场景语义概念提取，通过比较节点的链路密度测量模块化分区的质量，
模块化优化模式M为：M＝ψ(Ni,Nj),i≠j＝1,2,3,......,，
其中，ψ表示优化函数，Ni表示模块i，Nj表示模块j。
3.根据权利要求1所述视频监控中基于图像概念网络的行人不安全行为检测方法，其特征在于：词激活力是加权复杂网络链接的一种统计学方法，能够获取词网络中的重要信息，是一种映射方法。
4.根据权利要求1所述视频监控中基于图像概念网络的行人不安全行为检测方法，其特征在于：所述分类器为SVM分类器。
5.根据权利要求1所述视频监控中基于图像概念网络的行人不安全行为检测方法，其特征在于：采用共生方向梯度直方图、金字塔方向梯度直方图、尺度不变特征、或通用搜索树提取图像的视觉特征。
CN201811132864.3A 2018-09-27 2018-09-27 视频监控中基于图像概念网络的行人不安全行为检测方法 Active CN109376610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811132864.3A CN109376610B (zh) 2018-09-27 2018-09-27 视频监控中基于图像概念网络的行人不安全行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811132864.3A CN109376610B (zh) 2018-09-27 2018-09-27 视频监控中基于图像概念网络的行人不安全行为检测方法

Publications (2)

Publication Number Publication Date
CN109376610A CN109376610A (zh) 2019-02-22
CN109376610B true CN109376610B (zh) 2022-03-29

Family

ID=65402610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811132864.3A Active CN109376610B (zh) 2018-09-27 2018-09-27 视频监控中基于图像概念网络的行人不安全行为检测方法

Country Status (1)

Country Link
CN (1) CN109376610B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135345A (zh) * 2019-05-15 2019-08-16 武汉纵横智慧城市股份有限公司 基于深度学习的行为识别方法、装置、设备及存储介质
CN110990777B (zh) * 2019-07-03 2022-03-18 北京市应急管理科学技术研究院 数据关联性分析方法及系统、可读存储介质
CN111079430B (zh) * 2019-10-21 2023-09-15 国家电网公司华中分部 一种组合深度学习和概念图谱的电力故障事件抽取方法
CN111126194B (zh) * 2019-12-10 2023-04-07 郑州轻工业大学 一种社交媒体视觉内容情感分类方法
CN111737511B (zh) * 2020-06-17 2022-06-07 南强智视(厦门)科技有限公司 基于自适应局部概念嵌入的图像描述方法
CN117037502B (zh) * 2023-10-09 2023-12-22 中关村科学城城市大脑股份有限公司 车辆处理信息生成方法、装置、设备和计算机可读介质
CN117115564B (zh) * 2023-10-19 2024-03-26 南方科技大学 基于跨模态概念发现与推理的图像分类方法及智能终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402612A (zh) * 2011-12-20 2012-04-04 广州中长康达信息技术有限公司 一种视频语义网关
CN103379266A (zh) * 2013-07-05 2013-10-30 武汉烽火众智数字技术有限责任公司 一种具有视频语义分析功能的高清网络摄像机
CN108027834A (zh) * 2015-09-21 2018-05-11 高通股份有限公司 用于通过文本的视频搜索的语义多感官嵌入

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402612A (zh) * 2011-12-20 2012-04-04 广州中长康达信息技术有限公司 一种视频语义网关
CN103379266A (zh) * 2013-07-05 2013-10-30 武汉烽火众智数字技术有限责任公司 一种具有视频语义分析功能的高清网络摄像机
CN108027834A (zh) * 2015-09-21 2018-05-11 高通股份有限公司 用于通过文本的视频搜索的语义多感官嵌入

Also Published As

Publication number Publication date
CN109376610A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109376610B (zh) 视频监控中基于图像概念网络的行人不安全行为检测方法
Li et al. Image retrieval from remote sensing big data: A survey
US10719664B2 (en) Cross-media search method
Wu et al. Dynamic graph convolutional network for multi-video summarization
CN104899253B (zh) 面向社会图像的跨模态图像-标签相关度学习方法
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN107562812A (zh) 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN113158023B (zh) 基于混合推荐算法的公共数字生活精准分类服务方法
Yin et al. Region search based on hybrid convolutional neural network in optical remote sensing images
CN106202256A (zh) 基于语义传播及混合多示例学习的Web图像检索方法
CN103942575A (zh) 基于场景和马尔科夫逻辑网的智能行为分析系统及方法
CN105824959A (zh) 舆情监控方法及系统
CN111858940B (zh) 一种基于多头注意力的法律案例相似度计算方法及系统
CN111324765A (zh) 基于深度级联跨模态相关性的细粒度草图图像检索方法
CN109271486A (zh) 一种相似性保留跨模态哈希检索方法
WO2024087639A1 (zh) 基于内容理解的遥感影像推荐方法
Riquelme et al. Explaining VQA predictions using visual grounding and a knowledge base
Li et al. Event specific multimodal pattern mining for knowledge base construction
Wang et al. Deep learning for scene-independent crowd analysis
Can et al. Modeling concept dependencies for event detection
Piekarczyk et al. Matrix-based hierarchical graph matching in off-line handwritten signatures recognition
Zhang et al. Automated data collection and safety analysis at intersections based on a novel video processing system
Hernes et al. Advances in computational collective intelligence: 12th international conference, ICCCI 2020, Da Nang, Vietnam, November 30–December 3, 2020, proceedings
Karnik et al. A new deep model for family and non-family photo identification
Ke et al. Multi-scale salient region and relevant visual keywords based model for automatic image annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant