CN111783618A - 一种基于视频内容分析的园区大脑感知方法和系统 - Google Patents

一种基于视频内容分析的园区大脑感知方法和系统 Download PDF

Info

Publication number
CN111783618A
CN111783618A CN202010603000.6A CN202010603000A CN111783618A CN 111783618 A CN111783618 A CN 111783618A CN 202010603000 A CN202010603000 A CN 202010603000A CN 111783618 A CN111783618 A CN 111783618A
Authority
CN
China
Prior art keywords
target
matched
vehicle
pedestrian
unmatched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010603000.6A
Other languages
English (en)
Inventor
郭昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Zhejiang Industrial Internet Co Ltd
Original Assignee
China Unicom Zhejiang Industrial Internet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Zhejiang Industrial Internet Co Ltd filed Critical China Unicom Zhejiang Industrial Internet Co Ltd
Priority to CN202010603000.6A priority Critical patent/CN111783618A/zh
Publication of CN111783618A publication Critical patent/CN111783618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频内容分析的园区大脑感知方法和系统，方法包括：获取视频中的I帧和I帧之后的第一个B帧作为重点帧；采用卷积神经网络获取重点帧的检测目标，并计算重点帧的目标位置、类别和特征向量；根据光流算法计算当前重点帧和上一帧的光流图，以获取当前重点帧的目标的预测位置；计算历史跟踪目标和当前检测目标的相似度信息，据KM算法计算当前检测目标和历史跟踪目标二分图的完备匹配，获取第一次匹配的目标集，第一次未匹配的历史跟踪目标集，第一次未匹配的检测目标集；根据计算获取的目标相似度信息剔除第一次匹配的目标集中不相似的元素，根据第一次匹配结果进行第二次匹配，根据第一和第二次匹配结果判断跟踪目标。

Description

一种基于视频内容分析的园区大脑感知方法和系统
技术领域
本发明涉及视频处理领域，特别涉及一种基于视频内容分析的园区大脑感知方法和系统。
技术背景
当前基于视频内容分析的园区大脑需要获取监控视频，并对监控视频进行逐帧分析，比如可疑人员行为预警，车辆超速、交通事故判别、人流量、车流量统计等信息，将需要监控判别的信息存储于数据库中，在视频内容提取后进行分析。然而上述现有技术方案中需要高性能的GPU对视频进行部署处理，而部署的GPU的数量不足往往容易导致视频堆积，无法实现实时感知和处理，其滞后的处理特性无法有效地处理突发事件。
发明目的
本发明其中一个主要目的在于提供一种基于视频内容分析的园区大脑感知方法和系统，所述方法和系统采用光流算法预测目标位置，通过KM算法获取完备匹配集合，并采用计算目标特征向量余弦相似度或IOU验证完备集合中的相似度，在KM算法中加入匹配的权值，使得在最大程度上匹配到视频前后帧中的同一个物体。
本发明另一个主要目的在于提供一种基于视频内容分析的园区大脑感知方法和系统，所述方法和系统对相同历史目标多次匹配，并根据相似度阈值判每次匹配结果是否满足要求，合并两次或两次以上的满足要求的匹配结果，作为匹配的目标输出，因此可大幅提高匹配的准确性。
本发明另一个主要目的在于提供一种基于视频内容分析的园区大脑感知方法和系统，所述方法和系统对于重点帧和非重点帧区分处理，可减少计算量，提高检测效率以提高园区大脑的反应灵敏度。
本发明另一个主要目的在于提供一种基于视频内容分析的园区大脑感知方法和系统，所述方法和系统对目标匹配采用不同算法，两次匹配成功后的结果作为追踪目标，因此可减少单一算法缺陷对目标识别和追踪失败的概率。
本发明另一个主要目的在于提供一种基于视频内容分析的园区大脑感知方法和系统，所述方法和系统通过将采集视频中的关键帧和非关键帧分别进行处理，对关键帧和关键帧之后的第一个B的帧执行跟踪操作，对其它非关键帧采用光流算法获取目标图像位置的移动信息，用于更新当前帧的目标位置，从而使得目标跟踪连续稳定，同时可大幅减少对视频数据的处理量，可适用于CPU、NPU等处理器进行图像分析处理，可降低系统的成本。
为了实现至少一个上述发明目的，本发明进一步提供一种基于视频内容分析的园区大脑感知方法，包括如下步骤：
获取视频中的I帧和I帧之后的第一个B帧作为重点帧；
采用卷积神经网络获取重点帧的检测目标，并计算重点帧的目标位置、类别和特征向量；
根据光流算法计算当前重点帧和上一帧的光流图，以获取当前重点帧的目标的预测位置；
计算历史跟踪目标和当前检测目标的相似度信息，采用KM算法计算当前检测目标和历史跟踪目标二分图的完备匹配，获取第一次匹配的目标集，第一次未匹配的历史跟踪目标集，第一次未匹配的检测目标集；
根据计算获取的目标相似度信息剔除第一次匹配的目标集中不相似的元素；
根据光流算法预测的目标位置，采用KM算法将第一次未匹配的历史跟踪目标和第一次未匹配的检测目标进行匹配，获取第二次匹配的目标集合，第二次未匹配的历史跟踪目标和第二次未匹配的检测目标。
根据本发明其中一个较佳实施例，根据特征向量计算当前检测行人目标和历史跟踪行人目标余弦相似度，采用KM算法计算当前检测行人目标和历史跟踪行人目标二分图的完备匹配，获取第一次匹配的行人目标集，第一次未匹配的历史跟踪行人目标集，第一次未匹配的检测行人目标集；
根据计算获取的行人目标余弦相似度剔除第一次匹配行人目标集中不相似的元素；
根据光流算法预测的行人目标匹配位置，采用KM算法将第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，获取第二次匹配的行人目标集合，第二次未匹配的历史跟踪行人目标和第二次未匹配的检测行人目标。
根据本发明另一个较佳实施例，设定行人目标余弦相似度阈值，若第一次匹配的行人目标集中行人目标余弦相似度小于所述行人目标余弦相似度阈值，则将该行人目标从第一次匹配的行人目标集中剔除，并将该对行人目标分别加入至第一次未匹配的历史跟踪行人目标集和第一次未匹配的检测行人目标集进行匹配。
根据本发明另一个较佳实施例，根据光流算法计算当前帧的匹配位置，将第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，用于获取第二次匹配的行人目标集、第二次未匹配的历史跟踪行人目标集和第二次未检测行人目标集。
根据本发明其中一个较佳实施例，合并第一次和第二次均匹配到并匹配成功的目标，作为跟踪成功目标，删除第一次和第二次均未匹配或匹配失败的历史跟踪目标，并将第一和第二次均未匹配的检测目标作为新的跟踪目标添加到历史跟踪目标集中。
根据本发明另一个较佳实施例，根据特征向量获取车辆目标，建立含有特征向量的历史跟踪车辆集合A，并建立含特征向量的当前检测车辆目标集合B，根据交并比函数IOU计算集合A和集合B的相似度，其中IOU＝(A∩B)/(A∪B)，利用KM算法匹配A集合和B集合，以获取第一次匹配车辆目标集、第一次未匹配的检测车辆目标集、第一次未匹配的历史跟踪车辆目标集，设定历史跟踪车辆目标和当前检测车辆目标的IOU阈值，若第一次匹配的车辆目标之间的IOU值小于IOU阈值，则将该车辆目标从第一次匹配的车辆目标集中剔除，将该车辆目标分别加入第一次未匹配的检测车辆目标集和第一未匹配的历史跟踪车辆目标集进行匹配，根据KM算法获取第二次匹配车辆目标集、第二次未匹配的检测车辆目标集和第二次未匹配的历史跟踪车辆目标集。
根据本发明另一个较佳实施例，第一次车辆目标匹配集和第二次车辆目标匹配集合并，作为车辆跟踪目标集，并在历史车辆跟踪目标集中更新车辆跟踪目标的状态，若在第二次车辆目标匹配中依然未匹配成功，则历史跟踪目标中剔除该车辆目标，并将第二次未匹配成功的检测的车辆目标作为新的历史跟踪车辆目标加入到历史跟踪车辆目标集合中。
根据本发明另一个较佳实施例，所述第一次未匹配的历史跟踪车辆目标从上一个重点帧中获取。
根据本发明另一个较佳实施例，根据光流算法计算当前帧和当前帧上一帧的光流图，获取历史跟踪目标位置区域的中心点位置，根据光流图更新历史跟踪目标在当前帧中的目标位置，若历史跟踪目标中心位置不在当前帧范围，则删除该历史跟踪目标。
根据本发明另一个较佳实施例，根据光流图获取对应目标位置区域的中心值(uc，vc)和众数值(uz,vz)，计算均值(um,vm)＝C(uc，vc)+D(uz,vz)，其中C和D分别为光流图对应目标位置区域的中心值和众数值的加权值，预测当前目标位置为：(x+um,y+vm)，其中x和y分别为图片的横坐标和纵坐标。
为了实现至少一个上述发明目标，本发明进一步提供一种基于视频内容分析的园区大脑感知系统，所述系统采用上述方法运行，包括：
视频采集模块；
分析处理模块；
警报模块；
所述视频采集模块获取视频信息，将视频信息传输至分析处理模块识别车辆和行人，用于识别行人和车辆的危险信息，驱动警报模块发送警报信息。
附图说明
图1显示的是本发明一种基于视频内容分析的园区大脑感知方法的流程示意图；
图2显示的是本发明一种基于视频内容分析的园区大脑预警系统的模块示意图；
图3显示的是本发明涉及的二分图其中一种匹配示意图；
图4显示的是本发明涉及的二分图另一种示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
请参考图2显示的本发明一种基于视频内容分析的园区大脑预警系统，所述系统包括图像采集模块、分析处理模块和警报模块，其中所述图像采集模块由摄像头和通讯模块组成，摄像头用于获取园区内的视频信息，通讯模块将摄像头获取的视频信息发送至分析处理模块，值得一提的是分析处理的CPU优选为可支持openVINO的CPU，用于处理视频信息，警报模块根据分析处理模块处理结果选择对移动端或上位机输警报信息。
值得一提的是，请参考图1显示的一种基于视频内容分析的园区大脑感知方法，其中该方法包括如下步骤：
获取视频中的I帧和I帧之后的第一个B帧作为重点帧；
采用卷积神经网络获取重点帧的检测目标，并计算重点帧的目标位置、类别和特征向量；
根据光流算法计算当前重点帧和上一帧的光流图，以获取当前重点帧的目标的预测位置；
根据特征向量计算当前检测行人目标和历史跟踪行人目标余弦相似度，采用KM算法计算当前检测行人目标和历史跟踪行人目标二分图的完备匹配，获取第一次匹配的行人目标集，第一次未匹配的历史跟踪行人目标集，第一次未匹配的检测行人目标集；
根据计算获取的行人目标余弦相似度剔除第一次匹配行人目标集中不相似的元素；
根据光流算法预测的行人目标匹配位置，采用KM算法将第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，获取第二次匹配的目标集合，第二次未匹配的历史跟踪目标集和第二次未匹配的检测目标集。
需要说明的是，本发明采用X264编码的视频，在X264编码的视频中包括关键帧I帧和非关键帧P帧和B帧，其中关键帧I帧保留较多的原始数据，P帧和B帧根据相邻的关键帧合成当前帧数据，其中P帧倾向于结合之前的关键帧合成当前帧，而B帧倾向于结合之后的关键帧合成当前帧，本发明优选将视频中的I帧和I帧之后的第一个B帧作为重点帧处理视频信息，因此可减少视频分析中的计算量，提高视频识别和处理的效率。
采用光流算法预测当前帧目标的具体位置，根据光流算法获取当前帧和当前帧上一帧的光流图，采用卷积神经网络截取上一帧光流图中目标光流图，并获取光流图对应目标位置区域的中心点值(uc，vc)以及众数值(uz,vz)，进一步对中心点值进行加权平均，均值(um,vm)＝C(uc，vc)+D(uz,vz)，其中C和D分别为对应目标位置区域的中心值影响参量和众数值影响参量。需要说明的是，目标在光流图中的具体位置和目标的具体姿态、远近、形态都将影参量C和D的值，因此影响参量C和D的具体数值根据实际情况自动或手动设置。
对于行人目标，首先采取特征向量计算历史跟踪行人目标hn和当前检测行人目标gn，计算历史跟踪行人目标和当前检测行人目标的余弦相似度，进一步采用KM算法匹配当前检测行人目标和历史跟踪行人目标，用于获取第一次匹配行人目标集F1、第一次未匹配的检测行人目标集G1和第一次未匹配的历史跟踪行人目标集H1，进一步设定行人目标余弦相似度阈值t1，在所述第一次匹配行人目标集中两个匹配元素的余弦相似度小于余弦相似度阈值，则可判断该两个元素匹配失败，将该两个元素从匹配的集合中删除，并分别加入到第一次未匹配的历史跟踪行人目标集和未匹配的检测行人目标集中。
举例来说，请参考图3，H为待匹配的历史跟踪行人目标集合,H＝(h1，h2，h3，h4)，h1-h4分别为单个待匹配的历史跟踪行人目标，G为待匹配的检测行人目标集合，G＝(g1，g2，g3，g4),g1-g4分别为单个待匹配的检测行人目标，采用KM算法对集合H和集合G进行匹配，若h1和g3匹配，h4和g4匹配，则H集合中未匹配元素为h2和h3，G集合中未匹配行人目标为g1和g2,根据特征向量，分别计算h1和g3、h4和g4的余弦相似度值，若设定余弦相似度阈值为0.8，而h1和g3余弦相似度值为0.9，h4和g4余弦相似度值为0.1，则可以判断h4和g4为匹配后未成功的两个元素，则将g4加入至g1和g2形成第一次未匹配的检测行人目标集G1，即G1＝(g1，g2，g4)，将h4加入h2和h3以形成第一次未匹配的历史跟踪行人目标H1＝(h2，h3，h4),进一步地，采用光流算法预测目标位置，采用KM算法对所述第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，以获取第二次匹配的行人目标集、第二次未匹配的历史跟踪行人目标集和第二次未匹配的检测行人目标集。
具体地，上述H1集合和G1集合的匹配中若h3和g2匹配，根据特征向量计算h3和g2的余弦相似度，若大于余弦相似度阈值，则说明h3和g2匹配成功，则将第一次匹配成功的行人目标和第二次匹配成功的历史跟踪行人目标合并，即F2＝(g2，g3)作为需要跟踪和分析处理的行人目标。若是两次均未匹配或匹配失败的历史跟踪行人目标，如g1、g4，则从历史跟踪目标集合剔除。
需要说明的是，在本发明其他可行实施例中，若存在足够数量的历史跟踪行人目标集合，第一次未匹配行人目标在第二次匹配完成后，第二次匹配成功的结果可说明历史跟踪目标集中存在该目标，因此可直接将第二次匹配成功的历史行人目标作为需要跟踪的目标处理。
值得一提的是，本发明进一步提供对车辆的识别和跟踪，其中目标车辆通过卷积神经网络获取的车辆的图片信息，输出目标车辆的车型、车辆位置和颜色等目标车辆的属性信息，其中车牌号可采用OCR技术识别获取。
进一步地，针对目标车辆的识别和分析包括如下步骤：
建立含有位置信息的历史跟踪车辆目标集合A；
建立含有特征向量的检测车辆目标集合B；
车辆预测位置信息可根据光流图计算得到，历史跟踪车辆目标可从上一重点帧获取，特征向量通过卷积神经网络计算获取。
设定集合A和集合B中车辆目标检测框，根据光流算法获取历史跟踪车辆目标的预测位置，和当前帧检测车辆目标位置建立IOU矩阵，IOU＝(a∩b)/(a∪b)，其中a和b分别为集合A和集合B中车辆目标的检测框区域，a∩b表示A集合中车辆的目标和B集合中车辆目标检测区域的交集区域，a∪b表示A集合车辆目标和B集合中车辆目标检测区域的并集区域。采用KM算法匹配A集合和B集合中目标车辆，即采用KM算法匹配的历史跟踪车辆目标和当前帧的检测车辆目标，获取第一次匹配的车辆目标集合、第一次未匹配的历史跟踪车辆目标集合A1和第一次未匹配的检测车辆目标B1。设定IOU矩阵相似度阈值t2,若第一次匹配的车辆目标集合中IOU矩阵相似度小于t2,则说明匹配失败，将匹配失败的历史跟踪车辆目标和检测车辆目标从匹配的集合中删除，并分别加入集合A1和集合B1。
举例来说，请参考图4，集合A＝(a1，a2，a3，a4)，集合B＝(b1，b2，b3，b4)，根据KM算法获取a1和b1匹配，a2和b2匹配，分别计算a1和b1，a2和b2的IOU，假设a1和b1的IOU小于设定的IOU矩阵相似阈值，则认为a1和b1匹配失败，将a1和b1从集合A和集合B中删除，并分别加入到第一次未匹配的历史跟踪车辆目标和第一次未匹配的检测车辆目标中，即A1＝(a1，a3，a4)，B1＝(b1，b3，b4),根据光流图预测检测车辆目标位置，采用KM算法将A1和B1集合中的车辆目标匹配，以获取第二次匹配车辆目标、第二次未匹配的历史跟踪车辆目标和第二次未匹配的检测车辆目标，比如a3和b3第二次匹配成功，且a3和b3的IOU值大于IOU矩阵相似阈值，则删除A集合中历史车辆目标第一次和第二次均匹配未成功的历史目标车辆a4，一并删除A集合中匹配失败的历史跟踪车辆a1,将两次匹配成功的历史跟踪目标a2和a3合并，作为跟踪目标识别和分析。
需要说明的是，在本发明其他可行实施例中，若存在足够数量的历史跟踪车辆目标集合，第一次未匹配行人目标在第二次匹配完成后，第二次匹配成功的结果可说明历史跟踪车辆目标集中存在该目标，因此可直接将第二次匹配成功的历史行人目标作为需要跟踪的目标处理。
需要说明的是，本发明在完成对行人目标的识别和跟踪后，可采用人脸识别技术，人体姿态识别技术分析目标行人的身份和动作，或在本发明基础上对视频中信息进一步分析处理，如突发事件识别(火灾)，这些技术皆为现有技术，可作为本发明的具有应用，可以理解的是上述现有技术的在本发明中的应用不是本发明的限制。
在匹配过程中，本发明优选在所述KM算法中引入权值，其具体步骤如下：
首先对每个二分图顶点赋值，将左边的顶点赋值为与其相连的边的最大权重，右边的顶点赋值为0；
将连接权重与左边赋值相同的边进行匹配，若找不到边匹配，对此条路径的所有左边顶点的顶标减d，所有右边顶点的顶标加d。优选的，参数d在本发明中取值为0.1。
当期望值降为0，放弃匹配，得到未匹配集合。
通过引入权重，可最大限度地匹配同一个物体。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (11)

1.一种基于视频内容分析的园区大脑感知方法，其特征在于，包括如下步骤：
获取视频中的I帧和I帧之后的第一个B帧作为重点帧；
采用卷积神经网络获取重点帧的检测目标，并计算重点帧的目标位置、类别和特征向量；
根据光流算法计算当前重点帧和上一帧的光流图，以获取当前重点帧的目标的预测位置；
计算历史跟踪目标和当前检测目标的相似度信息，采用KM算法计算当前检测目标和历史跟踪目标二分图的完备匹配，获取第一次匹配的目标集，第一次未匹配的历史跟踪目标集，第一次未匹配的检测目标集；
根据计算获取的目标相似度信息剔除第一次匹配的目标集中不相似的元素；
根据光流算法预测的目标位置，采用KM算法将第一次未匹配的历史跟踪目标和第一次未匹配的检测目标进行匹配，获取第二次匹配的目标集合，第二次未匹配的历史跟踪目标和第二次未匹配的检测目标。
2.根据权利要求1所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，
根据特征向量计算当前检测行人目标和历史跟踪行人目标余弦相似度，采用KM算法计算当前检测行人目标和历史跟踪行人目标二分图的完备匹配，获取第一次匹配的行人目标集，第一次未匹配的历史跟踪行人目标集，第一次未匹配的检测行人目标集；
根据计算获取的行人目标余弦相似度剔除第一次匹配行人目标集中不相似的元素；
根据光流算法预测的行人目标匹配位置，采用KM算法将第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，获取第二次匹配的行人目标集合，第二次未匹配的历史跟踪行人目标和第二次未匹配的检测行人目标。
3.根据权利要求2所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，设定行人目标余弦相似度阈值，若第一次匹配的行人目标集中行人目标余弦相似度小于所述行人目标余弦相似度阈值，则将该行人目标从第一次匹配的行人目标集中剔除，并将该行人目标分别加入至第一次未匹配的历史跟踪行人目标集和第一次未匹配成功的检测行人目标集。
4.根据权利要求3所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，根据光流算法计算当前帧的匹配位置，将第一次未匹配的历史跟踪行人目标和第一次未匹配的检测行人目标进行匹配，用于获取第二次匹配的行人目标集、第二次未匹配的历史跟踪行人目标集和第二次未匹配的检测行人目标集。
5.根据权利要求4所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，合并第一次和第二次匹配成功的行人目标集，作为跟踪成功行人目标集，并更新匹配成功的行人目标的状态，删除第二次未匹配或匹配失败的历史跟踪行人目标，并将第二次未匹配成功的检测行人目标作为新的跟踪行人目标添加到历史跟踪行人目标集中。
6.根据权利要求1所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，根据卷积神经网络获取类别为车辆的检测目标，建立含有特征向量、目标位置等信息的历史跟踪车辆集合A，并建立含特征向量、目标位置等信息的当前检测车辆目标集合B，根据交并比函数IOU计算集合A和集合B的目标位置重合度，其中IOU＝(A∩B)/(A∪B)，利用KM算法匹配A集合和B集合中的目标，以获取第一次匹配车辆目标集、第一次未匹配的检测车辆目标集、第一次未匹配的历史跟踪车辆目标集，设定历史跟踪车辆目标和当前检测车辆目标的IOU阈值，若第一次匹配的车辆目标之间的IOU值小于IOU阈值，则将该车辆目标从第一次匹配的车辆目标集中剔除，将该对车辆目标的匹配分别加入第一次未匹配的检测车辆目标集和第一次未匹配的历史跟踪车辆目标集，根据向量余弦函数计算第一次未匹配的检测车辆目标集和第一次未匹配的历史跟踪车辆目标集之间车辆目标对应的特征向量余弦相似度，根据KM算法将第一次未匹配的检测车辆目标集和第一次未匹配的历史跟踪车辆目标集进行匹配，获取第二次匹配车辆目标集、第二次未匹配的历史跟踪车辆目标集，第二次未匹配的检测车辆目标集。
7.根据权利要求6所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，第一次匹配车辆目标集和第二次匹配车辆目标集合并，作为匹配车辆跟踪目标集，若在第二次车辆目标匹配中依然存在未匹配成功的历史跟踪车辆目标，则在历史跟踪目标集中剔除该车辆目标，并将第二次未匹配成功的检测车辆目标作为新的历史跟踪车辆目标加入到历史跟踪目标集中。
8.根据权利要求7所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，合并第一次和第二次匹配到并匹配成功的历史车辆跟踪目标和车辆检测目标，作为跟踪车辆目标，并在历史跟踪目标集中更新跟踪车辆目标的状态信息，删除第二次未匹配成功的历史跟踪车辆目标，并将第二次依然未匹配成功的车辆检测目标作为新的跟踪车辆目标添加到历史跟踪车辆目标集中。
9.根据权利要求1所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，根据光流算法计算当前帧与当前帧的上一帧的光流图，获取历史跟踪目标位置区域的中心点位置，根据光流图更新历史跟踪目标在当前帧中的目标位置，若历史跟踪目标中心位置不在当前帧范围，则删除该历史跟踪目标。
10.根据权利要求9所述的一种基于视频内容分析的园区大脑感知方法，其特征在于，根据光流图获取对应目标位置区域的中心值(uc，vc)和众数值(uz,vz)，计算均值(um,vm)＝A(uc，vc)+B(uz,vz)，其中A和B分别为光流图中对应目标位置区域的中心值和众数值的加权值，预测当前目标位置为：(x+um,y+vm)，其中x和y分别为图片的横坐标和纵坐标。
11.一种基于视频内容分析的园区大脑感知系统，所述系统采用上述权利要求1-10任意一项所述的基于视频内容分析的园区大脑感知方法运行，其特征在于，包括：
视频采集模块；
分析处理模块；
警报模块；
所述视频采集模块获取视频信息，将视频信息传输至分析处理模块识别车辆和行人，用于识别行人和车辆的危险信息，驱动警报模块发送警报信息。
CN202010603000.6A 2020-06-29 2020-06-29 一种基于视频内容分析的园区大脑感知方法和系统 Pending CN111783618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010603000.6A CN111783618A (zh) 2020-06-29 2020-06-29 一种基于视频内容分析的园区大脑感知方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603000.6A CN111783618A (zh) 2020-06-29 2020-06-29 一种基于视频内容分析的园区大脑感知方法和系统

Publications (1)

Publication Number Publication Date
CN111783618A true CN111783618A (zh) 2020-10-16

Family

ID=72760217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603000.6A Pending CN111783618A (zh) 2020-06-29 2020-06-29 一种基于视频内容分析的园区大脑感知方法和系统

Country Status (1)

Country Link
CN (1) CN111783618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735083A (zh) * 2021-01-19 2021-04-30 齐鲁工业大学 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036295A2 (en) * 2014-09-05 2016-03-10 Telefonaktiebolaget L M Ericsson (Publ) Method, device, computer program and computer program product for encoding of high frame rate video
US20190034700A1 (en) * 2016-02-03 2019-01-31 Goertek Inc. Method and device for face tracking and smart terminal
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036295A2 (en) * 2014-09-05 2016-03-10 Telefonaktiebolaget L M Ericsson (Publ) Method, device, computer program and computer program product for encoding of high frame rate video
US20190034700A1 (en) * 2016-02-03 2019-01-31 Goertek Inc. Method and device for face tracking and smart terminal
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735083A (zh) * 2021-01-19 2021-04-30 齐鲁工业大学 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法

Similar Documents

Publication Publication Date Title
CN109784162B (zh) 一种行人行为识别及轨迹跟踪方法
US5554983A (en) Object recognition system and abnormality detection system using image processing
CN108725440B (zh) 前向碰撞控制方法和装置、电子设备、程序和介质
Alpatov et al. Vehicle detection and counting system for real-time traffic surveillance
US8744125B2 (en) Clustering-based object classification
CN110264495B (zh) 一种目标跟踪方法及装置
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
US9245187B1 (en) System and method for robust motion detection
US20090304229A1 (en) Object tracking using color histogram and object size
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR101298684B1 (ko) 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법
EP2926296A2 (en) Systems and methods to classify moving airplanes in airports
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
CN113420682A (zh) 车路协同中目标检测方法、装置和路侧设备
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN113299073B (zh) 识别车辆违章停车的方法、装置、设备和存储介质
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
CN114648748A (zh) 一种基于深度学习的机动车违停智能识别方法及系统
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测系统及方法
CN111783618A (zh) 一种基于视频内容分析的园区大脑感知方法和系统
KR101842488B1 (ko) 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
KR101453386B1 (ko) 차량 지능형 검색 시스템 및 그 동작방법
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination