CN111881321A - 一种基于人工智能的智慧城市安全监控方法 - Google Patents

一种基于人工智能的智慧城市安全监控方法 Download PDF

Info

Publication number
CN111881321A
CN111881321A CN202010733584.9A CN202010733584A CN111881321A CN 111881321 A CN111881321 A CN 111881321A CN 202010733584 A CN202010733584 A CN 202010733584A CN 111881321 A CN111881321 A CN 111881321A
Authority
CN
China
Prior art keywords
vehicle
monitoring
image
target
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010733584.9A
Other languages
English (en)
Other versions
CN111881321B (zh
Inventor
刘应森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donglai Intelligent Transportation Technology (Shenzhen) Co.,Ltd.
Original Assignee
Guangyuan Liangzhihui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangyuan Liangzhihui Technology Co ltd filed Critical Guangyuan Liangzhihui Technology Co ltd
Priority to CN202010733584.9A priority Critical patent/CN111881321B/zh
Priority to CN202011460959.5A priority patent/CN112541096B/zh
Publication of CN111881321A publication Critical patent/CN111881321A/zh
Application granted granted Critical
Publication of CN111881321B publication Critical patent/CN111881321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工智能的智慧城市安全监控方法，其包括：管理员客户端根据车牌号和车辆登记信息获取目标车辆图像并生成车辆监控查询请求；车辆监控获取模块根据车辆监控查询请求获取目标监控视频以得到车辆监控图像包，并根据目标监控视频对应的监控设备的安装位置、安装方位和安装高度生成监控角度信息；图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像；预测图像生成模块根据车辆标准图像和监控角度信息生成不同监控角度下的若干个车辆预测图像，并对其进行特征归一化判别得到车辆预测图像包；目标车辆识别模块将车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型得到目标车辆查询结果。

Description

一种基于人工智能的智慧城市安全监控方法
技术领域
本发明涉及人工智能和智慧城市领域，尤其涉及一种基于人工智能的智慧城市安全监控方法。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，有助于缓解“大城市病”，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。
为了两地往来的便利性及机动性，车辆的普及率每年不断成长，而车辆的造成的事故也相对提高，并且车辆被不法人士作为犯罪工具时，也会对社会安全也造成严重的威胁，因此通过监控系统查询车辆对提升城市管理成效和保障市民生活安全变得尤为重要。
发明内容
在现有技术中，在进行车辆查询时，没有考虑监控设备的拍摄角度和拍摄方位对图片成像的影响，造成车辆查询结果准确度不高，出现车辆的误查和漏查的情况。
有鉴于此，本发明提供了一种基于人工智能的智慧城市安全监控方法，其包括：
管理员客户端根据车牌号和车辆登记信息获取目标车辆图像并生成车辆监控查询请求，所述车辆监控查询请求包括目标车辆图像、目标监控时间和目标监控位置；
安全监控平台的车辆监控获取模块根据目标监控时间和目标监控位置获取目标监控视频，并对目标监控视频进行处理以得到车辆监控图像包；
车辆监控获取模块根据目标监控视频对应的监控设备的安装位置、安装方位和安装高度生成监控角度信息；
图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像；
预测图像生成模块根据车辆标准图像和监控角度信息生成不同监控角度下的若干个车辆预测图像，并对所有车辆预测图像进行特征归一化判别以得到车辆预测图像包；
目标车辆识别模块将车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型以得到目标车辆查询结果。
根据一个优选实施方式，所述车辆标准图像为目标车辆图像去除空间冗余和视觉冗余后的车辆图像，目标车辆图像为目标车辆的外观图像。
根据一个优选实施方式，所述监控角度信息包括监控视角信息和监控方位信息，所述监控视角包括：正面视角、侧面视角、仰拍视角和俯拍视角。
根据一个优选实施方式，预测图像生成模块对车辆预测图像进行特征归一化判别包括：
预测图像生成模块提取车辆标准图像的车辆标准特征；
预测图像生成模块提取每张车辆预测图像的车辆预测特征；
预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理以得到每张车辆预测图像的统一监控角度特征；
预测图像生成模块计算每张车辆预测图像的统一监控角度特征与车辆标准特征的特征相似度，并将所述特征相似度与相似度阈值进行比较。
根据一个优选实施方式，预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理得到每张车辆预测图像的统一监控角度特征包括：
预测图像生成模块根据每张车辆预测图像的车辆预测特征得到每张车辆预测图像的车辆预测向量；
预测图像生成模块根据每张车辆预测图像的车辆预测向量得到每张车辆预测图像的统一监控角度特征。
根据一个优选实施方式，预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理得到每张车辆预测图像的统一监控角度特征还包括：
Figure BDA0002604191340000031
其中，R为统一监控角度特征，j为特征索引，m为车辆预测向量的特征个数，qj为第j个特征的权重，
Figure BDA0002604191340000032
为第j个维度归一化处理后的特征向量，u为车辆预测图像对应的监控角度，
Figure BDA0002604191340000033
为多维度损失函数。
根据一个优选实施方式，车辆监控获取模块对目标监控视频进行处理得到车辆监控图像包，包括：
车辆监控获取模块将目标监控视频分割为一帧一帧的监控图像以得到监控图像包；
车辆监控获取模块识别监控图像包中的车辆图像，并标注车辆图像的监控时间和监控位置得到车辆监控图像；
车辆监控获取模块对所有车辆监控图像进行处理以得到车辆监控图像包。
根据一个优选实施方式，车辆识别卷积神经网络模型的训练过程包括：
选取若干张车辆监控图像和对应的车辆预测图像，将若干张车辆监控图像作为车辆监控图像数据集，将对应的若干张车辆预测图像作为车辆预测图像数据集；
将车辆监控图像数据集和对应的车辆预测图像数据集作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层和池化层；
采用卷积层对车辆监控图像和车辆预测图像进行卷积操作，采用池化层对车辆监控图像和车辆预测图像进行池化操作；
采用随机梯度下降算法优化卷积神经网络权重和最小化特征损失；
训练卷积神经网络模型直到收敛以得到训练好的车辆识别卷积神经网络模型。
根据一个优选实施方式，最小化特征损失包括：
Figure BDA0002604191340000041
其中，i为特征索引，n为特征数量，ti为车辆监控图像第i个特征的特征值，Q(ti,k)为第k张车辆预测图像的第i个特征的特征值，k为车辆预测图像的索引。
本发明至少包括以下有益效果：
本发明通过目标监控视频对应的监控设备的安装位置、安装角度和安装高度得到目标监控视频的监控角度信息，并通过车辆标准图像和监控角度信息生成不同监控角度和不同方位下的车辆预测图像，以消除不同监控视角和不同监控方位对车辆查询的影响，提高了车辆查询的准确度，避免了目标车辆的漏查和误查的情况。
附图说明
图1为一示例性实施例提供的智慧城市安全监控方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
需要理解的是，尽管第一、第二、第三等术语在本文中可以用来描述各种设备、元件、部件或元素，但是这些设备、元件、部件或元素不应当由这些术语限制。这些术语仅用来将一个设备、元件、部件或元素与另一个设备、元件、部件或元素相区分。
参见图1，在一个实施例中，一种基于人工智能的智慧城市安全监控方法包括：
S1、管理员客户端根据车牌号和车辆登记信息获取目标车辆图像并生成车辆监控查询请求，所述车辆监控查询请求包括目标车辆图像、目标监控时间和目标监控位置。
可选地，管理员客户端根据车牌号查询车辆登记信息，并获取车辆登记信息中的车辆图像。
可选地，目标监控时间为目标车辆可能出现的时间，目标监控位置为目标车辆可能出现的位置范围。
在一个具体地实施例中，某区域发生肇事逃逸事件，警方接到报警后根据车牌号码查询车辆登记信息获取目标车辆图像，警方根据肇事时间和案发地判断肇事司机的可能逃逸路线以得到目标监控时间和目标监控范围。
S2、安全监控平台的车辆监控获取模块根据目标监控时间和目标监控位置获取目标监控视频，并对目标监控视频进行处理以得到车辆监控图像包。
具体地，步骤S2包括：
步骤S2.1、车辆监控获取模块根据目标监控时间和目标监控位置获取目标监控视频。
可选地，车辆监控获取模块根据目标监控时间从数据库获取在目标监控时间段内所有监控范围的监控视频，然后根据目标监控位置在目标监控时间段内所有监控范围的监控视频中获取目标监控时间段的目标监控位置范围的监控视频以得到目标监控视频，目标监控视频可以是一个或多个监控设备拍摄的一个或多个监控视频。
步骤S2.2、车辆监控获取模块将目标监控视频分割为一帧一帧的监控图像以得到监控图像包。监控图像包中包括若干张监控图像。
步骤S2.3、车辆监控获取模块识别监控图像包中的车辆图像，并标注车辆图像的监控时间和监控位置得到车辆监控图像。
具体地，车辆监控获取模块识别监控图像包中所有出现车辆的图像，以得到监控图像包中所有的车辆图像，并根据车辆图像在目标监控视频中出现的时间和车辆图像所属目标监控视频的监控位置，为每个车辆图像标注监控时间和监控位置以得到车辆监控图像。
步骤S2.4、车辆监控获取模块对所有车辆监控图像进行处理以得到车辆监控图像包。
车辆监控获取模块将所有的车辆监控图像进行整合处理以得到车辆监控图像包，车辆监控图像包中包含若干张车辆监控图像。
在一个具体地实施例中，警方根据目标监控时间和目标监控范围获取有可能拍到肇事车辆的目标监控视频，并将目标监控视频分割为一帧一帧的监控图像并识别所有监控图像中出现车辆的图像以得到车辆图像，然后标记车辆图像的监控时间和监控位置以得到车辆监控图像包。
S3、车辆监控获取模块根据目标监控视频对应的监控设备的安装位置、安装方位和安装高度生成监控角度信息。
监控设备为具有监控摄像功能的智能设备，其包括有线监控和无线监控。
可选地，有线监控就是在安装时候采用铺设网线和电源线，或者只铺设网线的方式，这种方式使监控系统在后期工作稳定，不会因为WiFi信号不均的情况而造成画面丢失，缺点就是相对成本高一些。
无线方式就是只在安装位置布置电源线，用于监控系统供电，传输信号采用无线WiFi覆盖方式来进行，这对于现在WiFi覆盖越来越广的情况十分吻合，而且现在无线设备技术已经成熟，全可以应对监控高淸传输的需求。
可选地，监控设备周期性将监控视频上传到安全监控平台，并将其存储到安全监控平台的数据库，上传周期可以根据人为进行设置。
安全监控平台自动将存储在数据库中大于存储周期的监控视频删除，以减缓安全监控平台的存储负担，存储周期根据安防监控平台的存储空间和实际需求进行人为设置。
可选地，测量每个监控设备的安装高度、安装位置和安装方位，并根据监控设备的安装高度、安装位置和安装方位获取监控角度信息。
可选地，监控角度信息包括监控视角信息和监控方位信息，监控视角信息包括监控视角类型和监控视角大小，监控视角类型包括：正面视角、侧面视角、仰拍视角和俯拍视角。监控视角大小为以目标监控设备为参照中心的拍摄视角的角度大小。
监控方位信息包括监控设备的监控方位类型和监控方位角，监控方位类型包括：左方位、右方位和正方位，所述监控方位角为目标监控设备偏离正面的角度。
在一个具体地实施例中，根据所有目标监控视频对应的所有的监控设备的安装高度、安装位置和安装方位获取监控角度信息。
S4、图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像。
可选地，所述冗余信息包括空间冗余、视觉冗余、信息熵冗余和结构冗余。空间冗余是指图像内部相邻像素之间存在的较强相关性多造成的冗余；视觉冗余是指人眼不能感知或不敏感的部分图像信息；信息熵冗余为图像中平均每个像素使用的比特数大于该图像的信息熵；结构冗余是指图像中存在很强的纹理结构或自相似性。
可选地，所述车辆标准图像为目标车辆图像去除空间冗余、视觉冗余、信息熵冗余和结构冗余后的车辆图像，目标车辆图像为目标车辆的车辆外观图像。
本发明中，图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像以减少图像冗余信息与图像的影响，以使得生成的车辆预测图像更接近于车辆本身的外观图像，提高车辆查询的准确率。
S5、预测图像生成模块根据车辆标准图像和监控角度信息生成不同监控角度下的若干个车辆预测图像，并对所有车辆预测图像进行特征归一化判别以得到车辆预测图像包。
具体地，步骤S5包括：
S5.1、预测图像生成模块提取车辆标准图像的车辆标准特征，预测图像生成模块提取每张车辆预测图像的车辆预测特征。
S5.2、预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理以得到每张车辆预测图像的统一监控角度特征。
可选地，预测图像生成模块根据每张车辆预测图像的车辆预测特征得到每张车辆预测图像的车辆预测向量；
预测图像生成模块根据每张车辆预测图像的车辆预测向量得到每张车辆预测图像的统一监控角度特征。
预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理得到每张车辆预测图像的统一监控角度特征还包括：
Figure BDA0002604191340000081
其中，R为统一监控角度特征，j为特征索引，m为车辆预测向量的特征个数，qj为第j个特征的权重，
Figure BDA0002604191340000082
为第j个维度归一化处理后的特征向量，u为车辆预测图像对应的监控角度，
Figure BDA0002604191340000083
为多维度损失函数。
S5.3、预测图像生成模块计算每张车辆预测图像的统一监控角度特征与车辆标准特征的特征相似度，并将所述特征相似度与相似度阈值进行比较。
具体地，预测图像生成模块根据统一监控角度特征生成统一监控角度向量，
T＝[t1,t2…tp]
其中，T统一监控角度向量，tp为统一监控角度向量中第p个特征的特征值，p为统一监控角度向量中的特征个数。
预测图像生成模块根据车辆标准特征生成车辆标准特征向量，
W＝[w1,w2…wp]
其中，W车辆标准特征向量，wp为车辆标准特征向量中第p个特征的特征值，p为车辆标准特征向量中的特征个数。
预测图像生成模块根据统一监控角度向量和车辆标准特征向量计算统一监控角度特征与车辆标准特征的特征相似度，
Figure BDA0002604191340000084
其中，S为统一监控角度特征与车辆标准特征的特征相似度，p为统一监控角度向量中的特征个数，a为特征索引，wa为车辆标准特征向量中第a个特征的特征值，ta为统一监控角度向量中第a个特征的特征值。
S5.4、预测图像生成模块将所有特征相似度大于相似度阈值的车辆预测图像进行整合处理得到车辆预测图像包。
在特征相似度不大于相似度阈值时，表示生成的对应监控方位和监控角度的车辆预测图像未通过判别，预测图像生成模块将删除该车辆预测图像并重新生成。
可选地，预测图像生成模块对所有车辆预测图像进行特征归一化判别以提高生成的不同监控角度和监控方位下的车辆预测图像的真实度，使其能够作为不同监控角度和监控方位下的车辆预测图像进行车辆查询时的标准参照图像。
在实际应用中，通过监控视频对车辆进行查询时，受不同拍摄监控视角和监控方位的影响，从不同监控视角和监控方位下的目标车辆的车辆监控图像中提取出的外观特征也会不同，此外，而且不同监控视角和监控方位会对相应的车辆外观发生不同程度的遮挡，从而丢失某些重要信息，也会导致车辆查询结果的准确率不高，因此，本发明通过车辆标准图像和监控角度信息生成监控视角和监控方位下的车辆预测图像，将会提高车辆查询结果的准确率。
可选地，所述相似度阈值为用于验证来自生成的对应的车辆预测图像是否符合标准，所述相似阈值为管理人员根据实际情况预先设置的数值。
可选地，所述车辆预测图像对相同监控视角和监控方位下目标车辆的车辆监控图像进行查询识别，能够提高车辆查询的准确率。
优选地，车辆预测图像包，包括目标车辆在不同监控方位和不同监控视角下的车辆图像。
在一个具体地实施例中，根据监控角度信息和车辆标准图像生成肇事车辆在不同拍摄角度和不同拍摄方位下的车辆预测图像，并将所有肇事车辆的车辆预测图像进行整合处理以得到肇事车辆的车辆预测图像包。
本发明能够根据车辆标准图像和监控角度信息生成不同监控角度和监控方位下的车辆预测图像，在对目标车辆进行查询时，消除了不同监控视角和不同监控方位对车辆查询的影响，提高了车辆查询的准确度，避免了目标车辆的漏查和误查的情况。
S6、目标车辆识别模块将车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型以得到目标车辆查询结果。
优选地，车辆识别卷积神经网络模型的训练过程包括：
选取若干张车辆监控图像和对应的车辆预测图像，将若干张车辆监控图像作为车辆监控图像数据集，将对应的若干张车辆预测图像作为车辆预测图像数据集；
将车辆监控图像数据集和对应的车辆预测图像数据集作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层和池化层；
采用卷积层对车辆监控图像和车辆预测图像进行卷积操作，采用池化层对车辆监控图像和车辆预测图像进行池化操作；
采用随机梯度下降算法优化卷积神经网络权重和最小化特征损失；
训练卷积神经网络模型直到收敛以得到训练好的车辆识别卷积神经网络模型。
具体地，最小化特征损失包括：
Figure BDA0002604191340000101
其中，i为特征索引，n为特征数量，ti为车辆监控图像第i个特征的特征值，Q(ti,k)为第k张车辆预测图像的第i个特征的特征值，k为车辆预测图像的索引。
在一个实施例中，目标车辆识别模块将肇事车辆的车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型以查询肇事车辆是否在目标监控视频中出现，并在肇事车辆在目标监控视频中出现时获取肇事车辆出现的位置和时间。
在实际应用中，通过监控视频对车辆进行查询时，受不同拍摄监控视角和监控方位的影响，从不同监控视角和监控方位下的目标车辆的车辆监控图像中提取出的外观特征也会不同，此外，而且不同监控视角和监控方位会对相应的车辆外观发生不同程度的遮挡，从而丢失某些重要信息，也会导致车辆查询结果的准确率不高，因此，本发明通过车辆标准图像和监控角度信息生成监控视角和监控方位下的车辆预测图像，将会提高车辆查询结果的准确率。
本发明通过目标监控视频对应的监控设备的安装位置、安装角度和安装高度得到目标监控视频的监控角度信息，并通过车辆标准图像和监控角度信息生成不同监控角度和不同方位下的车辆预测图像，以消除不同监控视角和不同监控方位对车辆查询的影响，提高了车辆查询的准确度，避免了目标车辆的漏查和误查的情况。
在一个实施例中，人工智能的智慧城市安全监控系统包括：安全监控平台和管理员终端，管理员终端和安全监控平台具有通信连接，其中管理员终端为安全管理员所持的具有通信、传输数据和存储功能的智能设备，其包括：智能手机、智能手表、智能穿戴设备、笔记本电脑、平板电脑和台式电脑。
管理员客户端用于根据车牌号和车辆登记信息获取目标车辆图像并生成车辆监控查询请求，车辆监控查询请求包括目标车辆图像、目标监控时间和目标监控位置。
安全监控平台包括：车辆监控获取模块、图像预处理模块、预测图像生成模块、目标车辆识别模块，其中各模块间具有通信连接。
车辆监控获取模块用于根据目标监控时间和目标监控位置获取目标监控视频并对目标监控视频进行处理以得到车辆监控图像包，然后根据目标监控视频对应的监控设备的安装位置、安装方位和安装高度生成监控角度信息。
图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像
预测图像生成模块用于根据车辆标准图像和监控角度信息生成不同监控角度下的若干个车辆预测图像，并对所有车辆预测图像进行特征归一化判别以得到车辆预测图像包。
目标车辆识别模块用于将车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型以得到目标车辆查询结果。
尽管已经结合一些实施例描述了本发明，但是其不旨在被限于在本文中所阐述的特定形式。相反，本发明的范围仅由所附权利要求来限制。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其它元件，并且不定冠词“一”或“一个”不排除多个。

Claims (8)

1.一种基于人工智能的智慧城市安全监控方法，其特征在于，管理员客户端根据车牌号和车辆登记信息获取目标车辆图像并生成车辆监控查询请求，所述车辆监控查询请求包括目标车辆图像、目标监控时间和目标监控位置；
安全监控平台的车辆监控获取模块根据目标监控时间和目标监控位置获取目标监控视频，并对目标监控视频进行处理以得到车辆监控图像包；
车辆监控获取模块根据目标监控视频对应的监控设备的安装位置、安装方位和安装高度生成监控角度信息；
图像预处理模块去除目标车辆图像的冗余信息以得到车辆标准图像；
预测图像生成模块根据车辆标准图像和监控角度信息生成不同监控角度下的若干个车辆预测图像，并对所有车辆预测图像进行特征归一化判别以得到车辆预测图像包；
目标车辆识别模块将车辆监控图像包和车辆预测图像包输入车辆识别卷积神经网络模型以得到目标车辆查询结果。
2.根据权利要求1所述的方法，其特征在于，所述车辆标准图像为目标车辆图像去除空间冗余和视觉冗余后的车辆图像。
3.根据权利要求2所述的方法，其特征在于，所述监控角度信息包括监控视角信息和监控方位信息，所述监控视角包括：正面视角、侧面视角、仰拍视角和俯拍视角。
4.根据权利要求3所述的方法，其特征在于，预测图像生成模块对车辆预测图像进行特征归一化判别包括：
预测图像生成模块提取车辆标准图像的车辆标准特征；
预测图像生成模块提取每张车辆预测图像的车辆预测特征；
预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理以得到每张车辆预测图像的统一监控角度特征；
预测图像生成模块计算每张车辆预测图像的统一监控角度特征与车辆标准特征的特征相似度，并将所述特征相似度与相似度阈值进行比较。
5.根据权利要求4所述的方法，其特征在于，预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理得到每张车辆预测图像的统一监控角度特征包括：
预测图像生成模块根据每张车辆预测图像的车辆预测特征得到每张车辆预测图像的车辆预测向量；
预测图像生成模块根据每张车辆预测图像的车辆预测向量得到每张车辆预测图像的统一监控角度特征。
6.根据权利要求5所述的方法，其特征在于，预测图像生成模块将每张车辆预测图像的车辆预测特征进行特征归一化处理得到每张车辆预测图像的统一监控角度特征还包括：
Figure FDA0002604191330000021
其中，R为统一监控角度特征，j为特征索引，m为车辆预测向量的特征个数，qj为第j个特征的权重，
Figure FDA0002604191330000022
为第j个维度归一化处理后的特征向量，u为车辆预测图像对应的监控角度，
Figure FDA0002604191330000023
为多维度损失函数。
7.根据权利要求6所述的方法，其特征在于，车辆监控获取模块对目标监控视频进行处理得到车辆监控图像包，包括：
车辆监控获取模块将目标监控视频分割为一帧一帧的监控图像以得到监控图像包；
车辆监控获取模块识别监控图像包中的车辆图像，并标注车辆图像的监控时间和监控位置得到车辆监控图像；
车辆监控获取模块对所有车辆监控图像进行处理以得到车辆监控图像包。
8.根据权利要求7所述的方法，其特征在于，车辆识别卷积神经网络模型的训练过程包括：
选取若干张车辆监控图像和对应的车辆预测图像，将若干张车辆监控图像作为车辆监控图像数据集，将对应的若干张车辆预测图像作为车辆预测图像数据集；
将车辆监控图像数据集和对应的车辆预测图像数据集作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层和池化层；
采用卷积层对车辆监控图像和车辆预测图像进行卷积操作，采用池化层对车辆监控图像和车辆预测图像进行池化操作；
采用随机梯度下降算法优化卷积神经网络权重和最小化特征损失；
训练卷积神经网络模型直到收敛以得到训练好的车辆识别卷积神经网络模型。
CN202010733584.9A 2020-07-27 2020-07-27 一种基于人工智能的智慧城市安全监控方法 Active CN111881321B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010733584.9A CN111881321B (zh) 2020-07-27 2020-07-27 一种基于人工智能的智慧城市安全监控方法
CN202011460959.5A CN112541096B (zh) 2020-07-27 2020-07-27 一种用于智慧城市的视频监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733584.9A CN111881321B (zh) 2020-07-27 2020-07-27 一种基于人工智能的智慧城市安全监控方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011460959.5A Division CN112541096B (zh) 2020-07-27 2020-07-27 一种用于智慧城市的视频监控方法

Publications (2)

Publication Number Publication Date
CN111881321A true CN111881321A (zh) 2020-11-03
CN111881321B CN111881321B (zh) 2021-04-20

Family

ID=73200809

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010733584.9A Active CN111881321B (zh) 2020-07-27 2020-07-27 一种基于人工智能的智慧城市安全监控方法
CN202011460959.5A Active CN112541096B (zh) 2020-07-27 2020-07-27 一种用于智慧城市的视频监控方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011460959.5A Active CN112541096B (zh) 2020-07-27 2020-07-27 一种用于智慧城市的视频监控方法

Country Status (1)

Country Link
CN (2) CN111881321B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541096A (zh) * 2020-07-27 2021-03-23 广元量知汇科技有限公司 一种用于智慧城市的视频监控方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378014A1 (en) * 2013-08-07 2015-12-31 Sandia Corporation Ascertaining class of a vehicle captured in an image
US20170243028A1 (en) * 2013-11-01 2017-08-24 Anonos Inc. Systems and Methods for Enhancing Data Protection by Anonosizing Structured and Unstructured Data and Incorporating Machine Learning and Artificial Intelligence in Classical and Quantum Computing Environments
CN108091142A (zh) * 2017-12-12 2018-05-29 公安部交通管理科学研究所 用于高速公路大场景下车辆违法行为跟踪识别和自动抓拍的方法
US20180189573A1 (en) * 2013-05-23 2018-07-05 Sri International Real-time detection, tracking and occlusion reasoning
CN108764018A (zh) * 2018-04-03 2018-11-06 北京交通大学 一种基于卷积神经网络的多任务车辆再识别方法及装置
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110097068A (zh) * 2019-01-17 2019-08-06 北京航空航天大学 相似车辆的识别方法和装置
CN110210378A (zh) * 2019-05-30 2019-09-06 中国电子科技集团公司第三十八研究所 一种基于边缘计算的嵌入式视频图像解析方法及装置
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
CN110704666A (zh) * 2019-08-30 2020-01-17 北京大学 一种提升跨视角车辆精确检索的方法及系统
CN110826484A (zh) * 2019-11-05 2020-02-21 上海眼控科技股份有限公司 车辆重识别的方法、装置、计算机设备及模型训练方法
KR20200026492A (ko) * 2018-09-03 2020-03-11 주식회사 월드씨엔에스 IoT기반의 카메라 그룹핑을 이용한 터널 내 유고 감시 시스템
US20200097742A1 (en) * 2018-09-20 2020-03-26 Nvidia Corporation Training neural networks for vehicle re-identification
CN110929589A (zh) * 2019-10-31 2020-03-27 浙江大华技术股份有限公司 车辆特征识别的方法、设备、计算机设备和存储介质
CN111291722A (zh) * 2020-03-10 2020-06-16 无锡物联网创新中心有限公司 一种基于v2i技术的车辆重识别系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320710B (zh) * 2014-08-05 2018-11-27 北京大学 抗光照变化的车辆检索方法及装置
US10339813B2 (en) * 2017-04-17 2019-07-02 GM Global Technology Operations LLC Display control systems and methods for a vehicle
CN111914692B (zh) * 2017-04-28 2023-07-14 创新先进技术有限公司 车辆定损图像获取方法及装置
CN107368776B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN107679078B (zh) * 2017-08-29 2020-01-10 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN108197538B (zh) * 2017-12-21 2020-10-16 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索系统及方法
US20200180692A1 (en) * 2018-12-07 2020-06-11 GM Global Technology Operations LLC System and method to model steering characteristics
CN110704652A (zh) * 2019-08-22 2020-01-17 长沙千视通智能科技有限公司 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN111259777A (zh) * 2020-01-13 2020-06-09 天地伟业技术有限公司 一种端到端的多任务车辆品牌识别方法
CN111881321B (zh) * 2020-07-27 2021-04-20 东来智慧交通科技(深圳)有限公司 一种基于人工智能的智慧城市安全监控方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189573A1 (en) * 2013-05-23 2018-07-05 Sri International Real-time detection, tracking and occlusion reasoning
US20150378014A1 (en) * 2013-08-07 2015-12-31 Sandia Corporation Ascertaining class of a vehicle captured in an image
US20170243028A1 (en) * 2013-11-01 2017-08-24 Anonos Inc. Systems and Methods for Enhancing Data Protection by Anonosizing Structured and Unstructured Data and Incorporating Machine Learning and Artificial Intelligence in Classical and Quantum Computing Environments
CN108091142A (zh) * 2017-12-12 2018-05-29 公安部交通管理科学研究所 用于高速公路大场景下车辆违法行为跟踪识别和自动抓拍的方法
CN108764018A (zh) * 2018-04-03 2018-11-06 北京交通大学 一种基于卷积神经网络的多任务车辆再识别方法及装置
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
KR20200026492A (ko) * 2018-09-03 2020-03-11 주식회사 월드씨엔에스 IoT기반의 카메라 그룹핑을 이용한 터널 내 유고 감시 시스템
US20200097742A1 (en) * 2018-09-20 2020-03-26 Nvidia Corporation Training neural networks for vehicle re-identification
CN110097068A (zh) * 2019-01-17 2019-08-06 北京航空航天大学 相似车辆的识别方法和装置
CN110210378A (zh) * 2019-05-30 2019-09-06 中国电子科技集团公司第三十八研究所 一种基于边缘计算的嵌入式视频图像解析方法及装置
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
CN110704666A (zh) * 2019-08-30 2020-01-17 北京大学 一种提升跨视角车辆精确检索的方法及系统
CN110929589A (zh) * 2019-10-31 2020-03-27 浙江大华技术股份有限公司 车辆特征识别的方法、设备、计算机设备和存储介质
CN110826484A (zh) * 2019-11-05 2020-02-21 上海眼控科技股份有限公司 车辆重识别的方法、装置、计算机设备及模型训练方法
CN111291722A (zh) * 2020-03-10 2020-06-16 无锡物联网创新中心有限公司 一种基于v2i技术的车辆重识别系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
MAYANK GUPTA等: "Zero Shot License Plate Re-Identification", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
RUIHANG CHU等: "vehicle re-identification with view-point-aware metric learning", 《PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
VIKTOR ECKSTEIN等: "Large Scale Vehicle Re-Identification by Knowledge Transfer From Simulated Data and Temporal Attention", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) WORKSHOPS》 *
WEIPENG LIN等: "multi-view learning for vehicle re-identification", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
XIAOXIAO SUN等: "dissecting person re-identification from the viewpoint of viewpoint", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHEDONG ZHENG等: "Going Beyond Real Data: A Robust Visual Representation for Vehicle Re-Identification", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) WORKSHOPS》 *
ZHENG TANG等: "CityFlow: A City-Scale Benchmark for Multi-Target Multi-Camera Vehicle Tracking and Re-Identification", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
刘鑫辰: "城市视频监控网络中车辆搜索关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
王崇屹: "基于多任务学习的车辆重识别系统研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541096A (zh) * 2020-07-27 2021-03-23 广元量知汇科技有限公司 一种用于智慧城市的视频监控方法

Also Published As

Publication number Publication date
CN111881321B (zh) 2021-04-20
CN112541096A (zh) 2021-03-23
CN112541096B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN111179345B (zh) 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统
CN109271554B (zh) 一种智能视频识别系统及其应用
CN111160149B (zh) 基于运动场景及深度学习的车载人脸识别系统及方法
CN113676702B (zh) 基于视频流的目标追踪监测方法、系统、装置及存储介质
CN108234927A (zh) 视频追踪方法和系统
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN103294775A (zh) 基于地理时空约束的警务云图像识别车辆管控系统
CN102509090A (zh) 一种基于天网工程中公共安全视频图像的车辆特征识别装置
CN110867046A (zh) 一种基于云计算的智能洗车机视频监控预警系统
KR102043922B1 (ko) Cctv 분할 운영시스템 및 그 운영방법
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN111881321B (zh) 一种基于人工智能的智慧城市安全监控方法
CN106548113A (zh) 图像识别方法及系统
CN111901564B (zh) 基于人工智能的智慧城市安全监控系统
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN111091093A (zh) 一种高密度人群的数量估测方法、系统及相关装置
CN112132861B (zh) 一种车辆事故监测方法、系统和计算机设备
CN114154017A (zh) 一种无监督可见光与红外双向跨模态行人搜索方法
CN109509368A (zh) 一种基于车顶模型的停车行为算法
CN112907972A (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN112102623A (zh) 交通违章识别方法和装置、智能可穿戴设备
CN111241918A (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN114339168B (zh) 一种区域安全监控方法、装置、电子设备及存储介质
CN115170059A (zh) 户外工地智能安全监测系统及工作方法
CN116208633A (zh) 一种人工智能服务平台系统、方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210113

Address after: 215123 room 1018-01, building 23, Times Square, Suzhou Industrial Park, Suzhou area, Suzhou pilot Free Trade Zone, Jiangsu Province

Applicant after: Suzhou Treasure Box Technology Co.,Ltd.

Address before: 628000 Xuefeng Qiao Road 338, Lizhou District, Guangyuan, Sichuan

Applicant before: GUANGYUAN LIANGZHIHUI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: B3701, building 12, Shenzhen Bay science and technology ecological park, No.18, South Keji Road, high tech community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Donglai Intelligent Transportation Technology (Shenzhen) Co.,Ltd.

Address before: 215123 room 1018-01, building 23, Times Square, Suzhou Industrial Park, Suzhou area, Suzhou pilot Free Trade Zone, Jiangsu Province

Applicant before: Suzhou Treasure Box Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant