CN111523397B - 一种智慧灯杆视觉识别装置、方法及其系统和电子设备 - Google Patents

一种智慧灯杆视觉识别装置、方法及其系统和电子设备 Download PDF

Info

Publication number
CN111523397B
CN111523397B CN202010240648.1A CN202010240648A CN111523397B CN 111523397 B CN111523397 B CN 111523397B CN 202010240648 A CN202010240648 A CN 202010240648A CN 111523397 B CN111523397 B CN 111523397B
Authority
CN
China
Prior art keywords
image
video
moving
moving object
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010240648.1A
Other languages
English (en)
Other versions
CN111523397A (zh
Inventor
胡绪桢
李选中
吴振志
吴涵渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aoto Electronics Co Ltd
Original Assignee
Shenzhen Aoto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aoto Electronics Co Ltd filed Critical Shenzhen Aoto Electronics Co Ltd
Priority to CN202010240648.1A priority Critical patent/CN111523397B/zh
Publication of CN111523397A publication Critical patent/CN111523397A/zh
Application granted granted Critical
Publication of CN111523397B publication Critical patent/CN111523397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种智慧灯杆视觉识别装置、方法及其系统和电子设备,智慧灯杆视觉识别方法包括:设置监测目标范围,实时采集和调用监测视频和/或图像;根据实时采集和调用的监测视频和/或图像分辨运动物体;采集所述运动物体的部分移动轨迹,结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;依据所述移动种类,决定采取对应措施。本发明利用了实时图像,通过有线和/或无线输入的气象信息、气象数据、视频和/或图像信息、视频和/或图像数据,运用算法,避免了智慧灯杆视觉识别过程中误判比率高、报警次数多,减轻了系统运行负担,提高了报警准确率。

Description

一种智慧灯杆视觉识别装置、方法及其系统和电子设备
技术领域
本发明属于智慧灯杆视觉识别技术领域,具体涉及一种智慧灯杆视觉识别装置、方法及其系统和电子设备。
背景技术
摄像装置广泛应用于智慧灯杆。智慧灯杆领域的视觉识别技术可以用于解决各种现实生活中的问题。例如,高空楼层随意抛物、各种车辆在小区内高速行驶、危险行驶或肇事逃逸,高楼层盗窃。这些问题给社会治安带来很大隐患,应当是智慧灯杆重点关注的技术领域。这些问题社会危害性极大,目击者少,即使有目击者也由于抛物时间很短而难以留存有效证据,使得执法部门很难追究抛物者的法律责任。还有一些问题,例如深夜发生的火灾,跳楼自杀,幼童在高空危险区域玩耍,违规高空作业,房屋顶层违规加建建筑物,都可以依赖智慧灯杆智能视觉识别技术加以解决。因此,实现智能对高空抛物的检测就非常的重要。
现有技术中,有使用背景差分法进行运动对象的检测,用采集到的现有帧减去背景图像得到背景差分图像,再辅助以阈值判定,对得到的差分图像进行处理后得到运动对象,从而进行对运动对象的监测。此种方法高度依赖所建立的背景模型。但是,现实生活中受到气象因素,图像的清晰度并不稳定,同时存在大量的运动物体不断干扰图像的识别;这些运动的物体有来自人的活动,也有来自动物的活动,还有基于气象条件引发的风、雨、雪、雾霾和因四季气候变化导致的背景图像的大幅度变化。例如,阳台所处的环境受光照角度、物体因风力晃动、经过动物、雨雪等气候干扰,导致背景图像呈现不同的动态变化。这些情况不仅容易将前景的信息混合在背景图像中,也容易造成各种基于背景构建的模型出现很大偏差。
现有技术公开了一种基于背景差分的抛物检测方法,引入建立背景参数模型来近似背景图像的像素值,实现对运动对象区域的检测,区别较大的像素区域被认为是运动区域,区别较小的像素区域被认为是背景区域。但是此种技术方案仅从区别大小判断背景区域和运动区域,进而用于判断发生高空抛物行为。但是,如果仅仅关注监控区域中实时采集的图像信息,会导致智能监控检测误报率高,浪费系统资源,降低安保人员警示程度,滋扰警务部门正常工作。
发明内容
本发明的目的在于提供一种智慧灯杆视觉识别装置、方法及其系统和电子设备,以解决上述技术问题。
为了实现上述目的,本发明采用如下技术方案:
第一方面,本申请实施例提供了一种智慧灯杆视觉识别装置,所述智慧灯杆视觉识别装置包括:LED信息发布屏、报警装置、监测装置、控制装置,所述控制装置包括:设置模块、视频采集模块、视频采集图像分析模块、计算模块、传输模块、模型设置模块、判断模块;
所述设置模块,用以设置监测目标范围;
所述视频采集模块,用以视频和/或图像的采集,采集所述运动物体的移动轨迹;
所述视频采集图像分析模块,用以根据实时采集和调用的图像数据分辨运动物体;还用以视频和/或图像的放大、缩小、拆分、整合;
所述计算模块,用以在对运动物体与视频和/或图像背景数据库中的运动物体数据模型进行比对过程中的计算;还用以对运动的目标物体进行检测;还用以对检测的运动目标物体同数据库的目标物体进行匹配;
所述传输模块,用以将采集的视频图像传输至系统服务数据处理端;
所述模型设置模块,用以建立目标运动物体数据库;
所述判断模块,用以对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪;用以结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;还用以依据所述移动种类,决定采取对应措施。
优选地,所述监测装置,包括:摄像头、雷达、输入模块、远程控制模块;
所述雷达,用以精确判断目标远近和边缘轮廓;
所述输入模块,用以接收有线和/或无线发送来的气象信息、气象数据、视频和/或图像信息、视频和/或图像数据;
所述远程控制模块,用以远程控制所述监测装置。
第二方面,本发明实施例提供了一种智慧灯杆视觉识别方法,包括:
设置监测目标范围,实时采集和调用图像数据;
根据实时采集和调用的图像数据分辨运动物体;
采集所述运动物体的移动轨迹,结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;
依据所述移动种类,决定采取对应措施。
优选地,所述设置监测目标范围的方法包括:
对智慧灯杆摄像头能够覆盖的区域进行背景视频和/或图像的采集;
对所述背景视频和/或图像以太阳在一年中的运行轨迹推算出所述目标范围的阴影,并输入视频和/或图像背景数据库;
对所述背景视频和/或图像内的物体根据所在地区极端气候条件设定移动阈值,并输入视频和/或图像背景数据库;所述移动阈值包括固定物体移动阈值和运动物体移动阈值;
所述背景视频和/或图像的采集范围之内设置所述监测目标范围;
计算所述监测目标范围的最高点到最低点进行自由落体运动所需的时间,作为最长时间阈值范围;
优选地,所述根据实时采集和调用的图像数据分辨运动物体的步骤,包括:
摄像机连续采集视频和/或图像,编码形成序列放入视频和/或图像数据库;
调取多个输入时间段内且采集日期不同的视频和/或图像数据库,识别图像中的物体是否相同或近似,若是,则判定可能相同或近似,所述图像中的物体为所述固定物体;若否,则判定不相同或近似,所述图像中的物体为所述运动物体;
将所述固定物体输入所述视频和/或图像背景数据库;
对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪。
优选地,所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪的步骤,包括:
步骤1、从摄像机拍摄的视频序列中选取一帧图像,如是RGB图像,则对图像进行灰度处理;
步骤2、运用Feature from Accelerated Segment Test算法,通过检测局部像素灰度变化来提取特征点位置;
步骤3、随机选取一个候选点C,以C为圆心构建一个离散圆,比较圆周上的像素与P候选的像素值;
步骤4、设定阀值Tc,当有连续的n个像素值与P值之差超过阀值Tc,C被确认为特征点;
步骤5、在Kn范围内提取FAST特征点,得出特征点集合Fn
步骤6、依照上述方法对Kn-1,Kn+1图像进行FAST特征点提取,得特征点集Fn-1,Fn+1
步骤7、根据提取的特征点集,同特征描述子进行匹配,通过匹配找出运动物体,显示匹配效果;
步骤8、根据Three Frame Differencing方法,引用Kn'(x,y)=|Kn(x,y)-Kn-1(x,y)|∩|Kn+1(x,y)-Kn(x,y)|公式得到运动目标物体图像;
步骤9、计算出目标物体后,求出目标物体最左、最右、最前、最后4个点,画出目标物体最小外接矩形框;
步骤10、将步骤7与步骤9得出的目标物体进行对比、通过调整获得新的目标物体,再进行滤波处理、软通性检测,最后得到与实际运动目标最相近的运动目标物体。
步骤11、对步骤10进行多重训练,直至可以追踪运动的目标物体。
优选地,所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪之后,还包括步骤:
对运动目标物体进行分类,建立目标数据库;
通过对追踪的运动目标物体和所述目标数据库中的运动目标物体进行比对,再进行告警提升,并自动记录数据;
所述目标数据库可以升级,支持对各种输入的运动目标物体进行识别。
优选地,所述依据所述移动种类,决定采取对应措施的步骤,包括:
对需要智慧灯杆监测的运动物体的所述移动种类进行分类,形成运动物体移动种类数据库;
对经过智慧灯杆进行过所述追踪过程的运动物体的数据与所述运动物体移动种类数据库中的数据进行比对;
依据所述比对结果,选择采取对应措施;所述对应措施包括,通过广播设置文本、显示屏显示信息、远程发送信息、发布报警信息。
第三方面,本发明实施例提供了一种智慧灯杆视觉识别系统,包括实现本申请实施例所述的智慧灯杆视觉识别的任一项装置或实现本申请实施例所述的智慧灯杆视觉识别的任一项方法。
第四方面,本发明实施例提供了一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,在被处理器调用和执行时,所述处理器可执行指令促使所述处理器:实现本申请实施例所述的智慧灯杆视觉识别的任一项方法。
由以上可见,本发明申请实施例提供的方案中,相对于现有技术,本发明具有以下有益效果:本发明不仅采用实时采集的图像数据,而且还采用调用的图像数据作为判定是否为需要追踪的运动对象的方法步骤,不仅利用了实时图像,而且利用了通过有线和/或无线输入的气象信息、气象数据、视频和/或图像信息、视频和/或图像数据,比对区分固定物体和运动物体,并对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,运用Feature from Accelerated Segment Test算法,避免了智慧灯杆视觉识别过程中误判比率高、报警次数多,减轻了系统运行负担,提高了报警准确率;
本发明根据具体气象数据,采用雷达以辅助摄像头采集视频和/或图像,从而可以在多种气候和不良条件中精确判断目标远近和边缘轮廓,提高了系统适应性和可靠性。本发明技术方案充分考虑了各种时间因素对技术的影响,通过调取多个输入时间段内且采集日期不同的视频和/或图像数据库,识别图像中的物体是否相同或近似,可以准确判断图像中的物体为固定物体还是运动物体;以太阳在一年中的运行轨迹推算出所述目标范围的阴影,并输入视频和/或图像背景数据库,进而提高了检测运动对象的准确率,从而降低误检率。大幅度降低了日照形成的阴影、雨、雪、风力等不利条件导致对运动物体的追踪失败率,对无需追踪的微小目标的运动对象可以自动采取忽略措施,从而使得在监控目标范围内的需要追踪的各种大小目标更加明确,从而提高了智慧灯杆的视觉识别效果,并能够解决待追踪目标被短暂遮挡、背景环境发生缓慢变化、背景环境被其他无关的运动物体干扰的技术问题。
本发明技术方案还能够选择采取对应措施,包括,通过广播设置文本、显示屏显示信息、远程发送信息、发布报警信息或者以远程控制模块,控制所述监测装置,使得智慧灯杆的视觉识别装置和系统应用更加便利和高效。
在综合考虑各种因素的前提下,本发明技术方案还能够通过AI智能训练和图像识别技术相结合,实现了对复杂场景下,综合时间周期、固定物体、可移动物体等因素对目标进行分类辨识和精准识别。智慧灯杆的视觉识别技术还可以采用实时通知物业中心管理人员,以有线或无线的方式传输视频至后端监控中心,启动人工重点视频监控,可配合公众广播系统进行远程喊话等措施解决多种现实生活中的问题。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图说明
图1为本发明一实施例的智慧灯杆视觉识别装置的结构示意图;
图2为本发明一实施例的智慧灯杆视觉识别装置的监测装置的结构示意图;
图3为本发明一实施例的智慧灯杆视觉识别方法的流程图;
图4为本发明一实施例的智慧灯杆视觉识别方法中所述设置监测目标范围的方法;
图5为本发明一实施例的智慧灯杆视觉识别方法中所述根据实时采集和调用的图像数据分辨运动物体的步骤的流程图;
图6为本发明一实施例的智慧灯杆视觉识别方法中所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪的步骤的流程图;
图7为本发明一实施例的智慧灯杆视觉识别方法中对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪之后的方法流程图;
图8为本发明一实施例的智慧灯杆视觉识别方法中依据所述移动种类,决定采取对应措施的方法流程图;
图9为本发明一实施例的智慧灯杆视觉识别系统的结构示意。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施方式及实施方式中的特征可以相互组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。
请参阅图1,图1为本发明一实施例的智慧灯杆视觉识别装置的结构示意图。
本发明实施例提供了一种智慧灯杆视觉识别装置,所述智慧灯杆视觉识别装置包括:LED信息发布屏10、报警装置13、监测装置14、控制装置15;
所述控制装置15包括:设置模块16、视频采集模块17、视频采集图像分析模块18、计算模块19、传输模块20、模型设置模块21、判断模块22;
设置模块16,用以设置监测目标范围;
视频采集模块17,用以视频和/或图像的采集,采集所述运动物体的移动轨迹;所述视频采集模块可以位于摄像头内或者其他显示设备内,也可以位于智慧灯杆控制装置内;
视频采集图像分析模块18,用以根据实时采集和调用的图像数据分辨运动物体;还用以视频和/或图像的放大、缩小、拆分、整合;
计算模块19,用以在对运动物体与视频和/或图像背景数据库中的运动物体数据模型进行比对过程中的计算;还用以对运动的目标物体进行检测;还用以对检测的运动目标物体同数据库的目标物体进行匹配;
传输模块20,用以将采集的视频图像传输至系统服务数据处理端;
模型设置模块21,用以建立目标运动物体数据库;
判断模块22,用以对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪;用以结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;还用以依据所述移动种类,决定采取对应措施;对应措施包括进行录像记录、以广播或屏幕显示等形式发布警报、向设置的特定单位或人员发送信息或开通同步视频音频;
所述智慧灯杆视觉识别装置还可以具备广播装置11和/或照明装置12。
请参阅图2,图2为本发明一实施例的智慧灯杆视觉识别装置的监测装置的结构示意图。所述监测装置14,包括:摄像头30、雷达31、输入模块32、远程控制模块33;
所述雷达31,用以精确判断目标远近和边缘轮廓,可以是激光雷达;在正常气象条件下提高监测装置的精度;在雨、雪、大雾、雾霾、沙尘等特殊气象条件下,辅助摄像头工作;
所述输入模块32,用以接收有线和/或无线发送来的气象信息、气象数据、视频和/或图像信息、视频和/或图像数据;
所述远程控制模块33,用以远程控制所述监测装置。
请参阅图3,图3为本发明一实施例的智慧灯杆视觉识别方法的流程示意图。所述智慧灯杆视觉识别方法包括:
S3010:设置监测目标范围,实时采集和调用图像数据;
具体而言,所述图像数据包括,监测视频和/或图像;
S3020:根据实时采集和调用的图像数据分辨运动物体;
S3030:采集所述运动物体的移动轨迹,结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;
S3040:依据所述移动种类,决定采取对应措施。
请参阅图4,图4为本发明一实施例的智慧灯杆视觉识别方法中所述设置监测目标范围的方法,包括:
S4010、对智慧灯杆摄像头能够覆盖的区域进行背景视频和/或图像的采集;
S4020、对所述背景视频和/或图像以太阳在一年中的运行轨迹推算出所述目标范围的阴影,并输入视频和/或图像背景数据库;
具体而言,目标范围是指摄像头所能够监视的目标区域。鉴于阴影的存在会直接影响运动目标识别的准确性,并对后续目标分割、提取、跟踪等一系列处理造成不良的影响,因此阴影的消除是智能视频监控系统中的一个十分重要的环节。
S4030、对所述背景视频和/或图像内的物体根据所在地区极端气候条件设定移动阈值,并输入视频和/或图像背景数据库;
具体而言,所述移动阈值包括固定物体移动阈值和运动物体移动阈值;视频和/或图像背景数据库中还包括固定物体忽略数据、运动物体忽略数据。对于固定物体忽略数据,是因为所述固定物体包括固定物体、也包括运动物体,例如飞鸟、飘雪、被风吹起的树叶等空中正常的漂浮物;当固定物体在所在移动阈值范围内摇摆时,应当忽略视频和/或图像背景数据库中所述固定物体忽略数据;运动物体忽略数据是因为运动物体在所述移动阈值范围内,在空中漂浮时,应当忽略视频和/或图像背景数据库中所述运动物体忽略数据。
S4040、所述背景视频和/或图像的采集范围之内设置所述监测目标范围;
S4050、计算所述监测目标范围的最高点到最低点进行自由落体运动所需的时间,作为最长时间阈值范围。
请参阅图5,图5为本发明一实施例的智慧灯杆视觉识别方法中所述根据实时采集和调用的图像数据分辨运动物体的步骤的流程图;所述步骤,包括:
S5010、摄像机连续采集视频和/或图像,编码形成序列放入视频和/或图像数据库;
具体而言,摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标,则连续帧的变化很微弱,如果存在运动目标,则连续的帧和帧之间会有明显地变化。
S5020、调取多个输入时间段内且采集日期不同的视频和/或图像数据库,识别图像中的物体是否相同或近似,若是,则判定可能相同或近似,所述图像中的物体为所述固定物体;若否,则判定不相同或近似,所述图像中的物体为所述运动物体;
S5030、将所述固定物体输入所述视频和/或图像背景数据库;
S5040、对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪。
请参阅图6,图6为本发明一实施例的智慧灯杆视觉识别方法中所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪的步骤的流程图。所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪的步骤包括:
步骤S6010、从实时采集的视频序列中选取一帧图像Ii(Kn),如是RGB图像,则对图像进行灰度处理;
具体而言,所述实时采集可以是由摄像机拍摄获得的,所述Ii(Kn)表示一帧图像Kn,将一帧图像定义为Kn,是图像数字化的表示方法;
步骤S6020、运用Feature from Accelerated Segment Test算法,通过检测局部像素灰度变化来提取特征点位置;
具体而言,所述Feature from Accelerated Segment Test算法简称FAST算法;
步骤S6030、随机选取一个候选点C,以C为圆心构建一个离散圆,比较圆周上的像素与P候选的像素值;
具体而言P,定义为候选的像素值,离散圆的半径为3个像素;
步骤S6040、设定阀值Tc,当有连续的n个像素值与P值之差超过阀值Tc,C被确认为特征点;例如,n可以设为12;
步骤S6050、在Kn范围内提取FAST特征点,得出特征点集合;
步骤S6060、依照上述方法对Kn-1,Kn+1图像进行FAST特征点提取,得特征点集Fn-1,Fn+1
具体而言,所述特征点集就是不同帧图像的特征点;
步骤S6070、根据提取的特征点集,同特征描述子进行匹配,通过匹配找出运动物体,显示匹配效果;
步骤S6080、根据Three Frame Differencing方法,引用
Kn'(x,y)=|Kn(x,y)-Kn-1(x,y)|∩|Kn+1(x,y)-Kn(x,y)|公式,得到运动目标物体图像;
具体而言,所述Three Frame Differencing方法中文名称“三帧法”;三帧法的变量含义是:kn’(x,y)为运动目标物体图像=(第二幅图像-第一幅图像)∩(第三幅图像-第二幅图像),kn(x,y)=图像,kn-1(x,y)前一帧图像,kn+1(x,y)后一帧图像;
运动目标物体就是此方法需要识别的高空掉落物体;
运动目标物体图像就是需要识别的高空掉落物体图片;
运动物体可以是摄像头拍摄的所有运动的物体;目标物体可以是摄像头需要判断的高空掉落物体;实际运动目标可以是需要找出的真正的高空掉落物体;
步骤S6090、计算出目标物体后,求出目标物体最左、最右、最前、最后4个点,画出目标物体最小外接矩形框;
步骤S6100、将步骤S6070与步骤S6090得出的目标物体进行对比、通过调整获得新的目标物体,再进行滤波处理和/或软通性检测,最后得到与实际运动目标最相近的运动目标物体。
步骤S6110、对步骤S6100进行多重训练,直至可以追踪运动的目标物体;
所述多重训练可以是对不同运动物体进行训练。
请参阅图7,图7为本发明一实施例的智慧灯杆视觉识别方法中对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪之后的方法流程图;对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪之后的所述方法包括:
步骤S7010、对运动目标物体进行分类,建立目标数据库;
具体而言,所述分类可以根据质量、物体运动速度、根据物体的特性进行分类;例如,杯子,石头为一类;又例如,剪刀、菜刀、水果刀为一类;该步骤具有为了优化对实际需要的运动目标物体的检测,减少误报警的有益效果;
步骤S7020、通过对追踪的运动目标物体和所述目标数据库中的运动目标物体进行比对,再进行告警提升,并自动记录数据;
具体而言,可以在比对之后进行判断,判断是否为数据库中的运动物体,再进行告警提升,并自动记录数据;;
步骤S7030、所述目标数据库可以升级,支持对各种输入的运动目标物体进行识别。
具体而言,可以通过本实施例的算法对AI智能视频分析功能进行抗干扰训练,以实现对复杂场景下目标行为的精准识别。系统针对建筑物外墙及广告牌、阳台放置物、高空抛物、高空作业、高空玩耍、高空跳楼等异常行为进行预测、监测、报警。本实施例解决了因多种原因导致的因背景图像呈现动态变化,或者在监控区域内经常性的小区住户活动,导致的智能监控检测误报率较高的技术问题;提升了监控警报发布的准确性和高效性。
请参阅图8,图8为本发明一实施例的智慧灯杆视觉识别方法中依据所述移动种类,决定采取对应措施的方法流程图;依据所述移动种类,决定采取对应措施的所述方法包括:
步骤S8010、对需要智慧灯杆监测的运动物体的所述移动种类进行分类,形成运动物体移动种类数据库;
具体而言,所述分类可以根据质量、物体运动速度、根据物体的特性进行分类;例如,杯子,石头为一类;又例如,剪刀、菜刀、水果刀为一类;
步骤S8020、对经过智慧灯杆进行过所述追踪过程的运动物体的数据与所述运动物体移动种类数据库中的数据进行比对;
步骤S8030、依据所述比对结果,选择采取对应措施;所述对应措施包括,通过广播设置文本、显示屏显示信息、远程发送信息、发布报警信息。
请参阅图9,图9为本发明一实施例的智慧灯杆视觉识别系统的结构示意图。所述智慧灯杆视觉识别系统,包括:控制单元150;
所述控制单元150包括:设置模块160、视频采集模块170、视频采集图像分析模块180、计算模块190、传输模块200、模型设置模块210、判断模块220;
设置模块160,用以设置监测目标范围;
视频采集模块170,用以视频和/或图像的采集,采集所述运动物体的移动轨迹;所述视频采集模块可以位于摄像头内或者其他显示设备内,也可以位于智慧灯杆控制装置内;
视频采集图像分析模块180,用以根据实时采集和调用的图像数据分辨运动物体;还用以视频和/或图像的放大、缩小、拆分、整合;
计算模块190,用以在对运动物体与视频和/或图像背景数据库中的运动物体数据模型进行比对过程中的计算;还用以对运动的目标物体进行检测;还用以对检测的运动目标物体同数据库的目标物体进行匹配;
传输模块200,用以将采集的视频图像传输至系统服务数据处理端;
模型设置模块210,用以建立目标运动物体数据库;
判断模块220,用以对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪;用以结合所述设置的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;还用以依据所述移动种类,决定采取对应措施;对应措施包括进行录像记录、以广播或屏幕显示等形式发布警报、向设置的特定单位或人员发送信息或开通同步视频音频;
所述智慧灯杆视觉识别系统还可以具备广播模块110和/或照明模块120、LED信息发布屏100、报警模块130、监测模块140。
本发明实施例还提供了一种智慧灯杆视觉识别系统,包括实现本申请实施例所述的智慧灯杆视觉识别的任一项装置或实现本申请实施例所述的智慧灯杆视觉识别的任一项方法。
本发明实施例还提供了一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,在被处理器调用和执行时,所述处理器可执行指令促使所述处理器:实现本申请实施例所述的智慧灯杆视觉识别的任一项方法。
本发明一实施例还提供一种存储介质,其上存储有计算机程序,其中所述计算机程序在由处理器执行时实现上述任一实施例所述的智慧灯杆视觉识别的方法。
所述系统/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施方式方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述各个方法实施方式的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个具体实施方式中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施方式仅仅是示意性的,例如,所述部件的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
另外,在本发明各个实施例中的各功能模块/部件可以集成在相同处理模块/部件中,也可以是各个模块/部件单独物理存在,也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现,也可以采用硬件加软件功能模块/部件的形式实现。
对于本领域技术人员而言,显然本发明实施例不限于上述示范性实施例的细节,而且在不背离本发明实施例的精神或基本特征的情况下,能够以其他的具体形式实现本发明实施例。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明实施例的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种智慧灯杆视觉识别装置,所述智慧灯杆视觉识别装置,包括:LED信息发布屏、报警装置、监测装置、控制装置,其特征在于,所述控制装置包括:设置模块、视频采集模块、视频采集图像分析模块、计算模块、传输模块、模型设置模块、判断模块;
所述设置模块,用以设置监测目标范围;对智慧灯杆摄像头能够覆盖的区域进行背景视频和/或图像的采集;对所述背景视频和/或图像以太阳在一年中的运行轨迹推算出所述目标范围的阴影,并输入视频和/或图像背景数据库;对所述背景视频和/或图像内的物体根据所在地区极端气候条件设定移动阈值,并输入视频和/或图像背景数据库;所述移动阈值包括固定物体移动阈值和运动物体移动阈值;所述背景视频和/或图像的采集范围之内设置所述监测目标范围;计算所述监测目标范围的最高点到最低点进行自由落体运动所需的时间,作为最长时间阈值范围;
所述视频采集模块,用以视频和/或图像的采集,采集运动物体的移动轨迹;
所述视频采集图像分析模块,用以根据实时采集和调用的图像数据分辨运动物体,摄像机连续采集视频和/或图像,编码形成序列放入视频和/或图像数据库;调取多个输入时间段内且采集日期不同的视频和/或图像数据库,识别图像中的物体是否相同或近似,若是,则判定可能相同或近似,所述图像中的物体为固定物体;若否,则判定不相同或近似,所述图像中的物体为运动物体;将所述固定物体输入所述视频和/或图像背景数据库;对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪;还用以视频和/或图像的放大、缩小、拆分、整合;
所述计算模块,用以在对运动物体与视频和/或图像背景数据库中的运动物体数据模型进行比对过程中的计算;还用以对运动的目标物体进行检测;还用以对检测的运动目标物体同数据库的目标物体进行匹配;
所述传输模块,用以将采集的视频图像传输至系统服务数据处理端;
所述模型设置模块,用以建立目标运动物体数据库;
所述判断模块,用以对所述运动物体与所述视频和/或图像背景数据库中的运动物体 数据模型进行比对,确定是否采取追踪,从摄像机拍摄的视频序列中选取一帧图像,如是 RGB图像,则对图像进行灰度处理;运用FAST算法,通过检测局部像素灰度变化来提取特征 点位置;随机选取一个候选点C,以C为圆心构建一个离散圆,比较圆周上的像素与P候选的 像素值; P定义为候选的像素值,离散圆的半径为3个像素;设定阀值TC,当有连续的n个像 素值与P值之差超过阀值TC,C被确认为特征点;在范围内提取FAST特征点,得出特征点集 合;将一帧图像定义为Kn;依照上述方法对图像进行FAST特征点提取,得特征点集;根据提 取的特征点集,同特征描述子进行匹配,通过匹配找出运动物体,显示匹配效果;根据三帧 法,引用公式得到运动目 标物体图像;三帧法的变量含义是:Kn (x,y)为运动目标物体图像=|当前图像-前一帧图像| ∩|后一帧图像-当前图像|,Kn(x,y)=当前图像,Kn-1(x,y)=前一帧图像,Kn+1(x,y)=后一帧 图像;计算出目标物体后,求出目标物体最左、最右、最前、最后4个点,画出目标物体最小外 接矩形框;将通过匹配找出运动物体的显示匹配效果与目标物体最小外接矩形框进行对 比,通过调整获得新的目标物体,再进行滤波处理、软通性检测,最后得到与实际运动目标 最相近的运动目标物体;进行多重训练,直至可以追踪运动的目标物体;用以结合所述设置 的监测目标范围,依据物体移动数学模型判定运动物体对应的移动种类;还用以依据所述 移动种类,决定采取对应措施。
2.根据权利要求1所述的智慧灯杆视觉识别装置,其特征在于,所述监测装置,包括:摄像头、雷达、输入模块、远程控制模块;
所述雷达,用以精确判断目标远近和边缘轮廓;
所述输入模块,用以接收有线和/或无线发送来的气象信息、气象数据、视频和/或图像信息、视频和/或图像数据;
所述远程控制模块,用以远程控制所述监测装置。
3.一种智慧灯杆视觉识别方法,其特征在于,所述智慧灯杆视觉识别方法包括:
设置监测目标范围,实时采集和调用图像数据;对智慧灯杆摄像头能够覆盖的区域进行背景视频和/或图像的采集;对所述背景视频和/或图像以太阳在一年中的运行轨迹推算出所述目标范围的阴影,并输入视频和/或图像背景数据库;对所述背景视频和/或图像内的物体根据所在地区极端气候条件设定移动阈值,并输入视频和/或图像背景数据库;所述移动阈值包括固定物体移动阈值和运动物体移动阈值; 所述背景视频和/或图像的采集范围之内设置所述监测目标范围;计算所述监测目标范围的最高点到最低点进行自由落体运动所需的时间,作为最长时间阈值范围;
根据实时采集和调用的图像数据分辨运动物体;摄像机连续采集视频和/或图像,编码形成序列放入视频和/或图像数据库;调取多个输入时间段内且采集日期不同的视频和/或图像数据库,识别图像中的物体是否相同或近似,若是,则判定可能相同或近似,所述图像中的物体为固定物体;若否,则判定不相同或近似,所述图像中的物体为运动物体;将所述固定物体输入所述视频和/或图像背景数据库;对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪,步骤如下;
采集所述运动物体的移动轨迹,结合所述设置的监测目标范围,依据物体移动数学模 型判定运动物体对应的移动种类,步骤1、从摄像机拍摄的视频序列中选取一帧图像,如是 RGB图像,则对图像进行灰度处理;步骤2、运用FAST 算法,通过检测局部像素灰度变化来提 取特征点位置;步骤3、随机选取一个候选点C,以C为圆心构建一个离散圆,比较圆周上的像 素与P候选的像素值; P定义为候选的像素值 ,离散圆的半径为3个像素;步骤4、设定阀值 Tc,当有连续的n个像素值与P值之差超过阀值,C被确认为特征点;步骤5、在范围内 提取采用FAST算法计算出的特征点,得出特征点集合;将一帧图像定义为Kn;步骤6、依 照步骤5的方法对图像进行FAST算法特征点提取,得特征点集; 步骤7、根据提取的特征点集,同特征描述子进行匹配,通过匹配找出运动物体,显示匹配效 果;步骤8、根据三帧法,引用 公式得到运动目标物体图像;三帧法的变量含义是:Kn (x,y)为运动目标物体图像=|当前图 像-前一帧图像|∩|后一帧图像-当前图像|,Kn(x,y)=当前图像,Kn-1(x,y)=前一帧图像, Kn+1(x,y)=后一帧图像;步骤9、计算出目标物体后,求出目标物体最左、最右、最前、最后4个 点,画出目标物体最小外接矩形框;步骤10、将步骤7通过匹配找出运动物体,显示的匹配效 果与步骤9得出的目标物体最小外接矩形框进行对比,通过调整获得新的目标物体,再进行 滤波处理、软通性检测,最后得到与实际运动目标最相近的运动目标物体;步骤11、对步骤 10进行多重训练,直至可以追踪运动的目标物体;
依据所述移动种类,决定采取对应措施。
4.根据权利要求3所述的智慧灯杆视觉识别方法,其特征在于,所述对所述运动物体与所述视频和/或图像背景数据库中的运动物体数据模型进行比对,确定是否采取追踪之后,还包括步骤:
对运动目标物体进行分类,建立目标数据库;
通过对追踪的运动目标物体和所述目标数据库中的运动目标物体进行比对,再进行告警提升,并自动记录数据;
所述目标数据库可以升级,支持对各种输入的运动目标物体进行识别。
5.根据权利要求3所述的智慧灯杆视觉识别方法,其特征在于,所述依据所述移动种类,决定采取对应措施的方法,包括:
对需要智慧灯杆监测的运动物体的所述移动种类进行分类,形成运动物体移动种类数据库;
对经过智慧灯杆进行过追踪过程的运动物体的数据与所述运动物体移动种类数据库中的数据进行比对;
依据所述比对的结果,选择采取对应措施;所述对应措施包括,通过广播设置文本、显示屏显示信息、远程发送信息、发布报警信息。
6.一种智慧灯杆视觉识别系统,其特征在于,包括权利要求1-2任一项所述的智慧灯杆视觉识别装置或权利要求3-5任一项所述的智慧灯杆视觉识别方法。
7.一种电子设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,在被处理器调用和执行时,所述处理器可执行指令促使所述处理器:实现权利要求3-5任一项所述的智慧灯杆视觉识别方法。
CN202010240648.1A 2020-03-31 2020-03-31 一种智慧灯杆视觉识别装置、方法及其系统和电子设备 Active CN111523397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010240648.1A CN111523397B (zh) 2020-03-31 2020-03-31 一种智慧灯杆视觉识别装置、方法及其系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010240648.1A CN111523397B (zh) 2020-03-31 2020-03-31 一种智慧灯杆视觉识别装置、方法及其系统和电子设备

Publications (2)

Publication Number Publication Date
CN111523397A CN111523397A (zh) 2020-08-11
CN111523397B true CN111523397B (zh) 2023-11-24

Family

ID=71901301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010240648.1A Active CN111523397B (zh) 2020-03-31 2020-03-31 一种智慧灯杆视觉识别装置、方法及其系统和电子设备

Country Status (1)

Country Link
CN (1) CN111523397B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015133A (zh) * 2020-08-24 2020-12-01 南京宝珵软件有限公司 一种带实时检测功能的防摇摆悬吊系统及其控制方法
CN113119082A (zh) * 2021-03-18 2021-07-16 深圳市优必选科技股份有限公司 视觉识别电路、视觉识别装置以及机器人
CN113938593A (zh) * 2021-10-19 2022-01-14 衡阳市智赢电子科技有限公司 一种高楼抛物视频监测装置及其管理系统
CN113870647A (zh) * 2021-11-19 2021-12-31 山西宁志科技有限公司 视觉识别系统教学实训台
CN114979497B (zh) * 2022-07-28 2022-11-08 深圳联和智慧科技有限公司 一种基于杆载的无人机联动跟踪方法、系统及云平台
CN117372967B (zh) * 2023-12-06 2024-03-26 广东申创光电科技有限公司 基于物联网智慧路灯的远程监控方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465033A (zh) * 2008-05-28 2009-06-24 丁国锋 一种自动追踪识别系统及方法
CN107103615A (zh) * 2017-04-05 2017-08-29 合肥酷睿网络科技有限公司 一种监控视频目标锁定追踪系统及锁定追踪方法
CN107592508A (zh) * 2017-10-10 2018-01-16 珠海市领创智能物联网研究院有限公司 一种智能追踪识别系统
CN109309811A (zh) * 2018-08-31 2019-02-05 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465033A (zh) * 2008-05-28 2009-06-24 丁国锋 一种自动追踪识别系统及方法
CN107103615A (zh) * 2017-04-05 2017-08-29 合肥酷睿网络科技有限公司 一种监控视频目标锁定追踪系统及锁定追踪方法
CN107592508A (zh) * 2017-10-10 2018-01-16 珠海市领创智能物联网研究院有限公司 一种智能追踪识别系统
CN109309811A (zh) * 2018-08-31 2019-02-05 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测系统与方法

Also Published As

Publication number Publication date
CN111523397A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523397B (zh) 一种智慧灯杆视觉识别装置、方法及其系统和电子设备
CN108446630B (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
US20240062518A1 (en) Method, apparatus, computer device and storage medium for detecting objects thrown from height
CN109670404B (zh) 一种基于混合模型的道路积水图像检测预警方法
CN107229894B (zh) 基于计算机视觉分析技术的智能视频监控方法及系统
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR101095528B1 (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
CN111488799B (zh) 一种基于图像识别的坠落物识别方法及系统
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN107437318B (zh) 一种可见光智能识别算法
US20120045090A1 (en) Multi-mode video event indexing
CN101908142A (zh) 一种基于特征分析的视频火焰检测方法
CN103106766A (zh) 林火识别方法与系统
CN111800507A (zh) 一种交通监控方法及交通监控系统
CN105184258A (zh) 目标跟踪方法及系统、人员行为分析方法及系统
CN101872526A (zh) 基于可编程摄像技术的烟火智能识别方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN103324910A (zh) 一种基于视频检测的火灾报警方法
CN112776856A (zh) 轨道异物侵限监测方法、装置、系统及监控主机设备
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN111783700B (zh) 一种路面异物自动识别预警方法和系统
CN111461078A (zh) 一种基于计算机视觉技术的防钓监控方法
CN104463253A (zh) 基于自适应背景学习的消防通道安全检测方法
CN110691224A (zh) 一种变电站周界视频智能检测系统
CN110674753A (zh) 偷盗行为预警方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 1805, tower 2, Shenye Jinyuan Building, No.112, Qingshuihe 1st Road, Qingshuihe community, Luohu District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN AOTO ELECTRONICS Co.,Ltd.

Address before: 518000 joint headquarters building, No. 63 High-tech Zone, Nanshan District Xuefu Road, Shenzhen City, Guangdong Province, 9

Applicant before: SHENZHEN AOTO ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant