发明内容
基于此,有必要针对上述技术问题,提供一种分布式目标监测系统和方法,能够实时监测重点目标并及时报警。
第一方面,本发明实施例提供了一种分布式目标监测系统,所述系统包括至少一个检测报警设备、图像检测设备和远程监控终端,所述图像检测设备分别与所述检测报警设备和所述远程监控终端连接;
所述检测报警设备包括红外检测单元、中央处理单元和报警单元,所述中央处理单元分别与所述红外检测单元和所述报警单元电性连接;
所述红外检测单元用于检测感应范围内的热红外信号,所述中央处理单元用于接收所述热红外信号,并根据所述热红外信号控制所述报警单元发出报警信号;
所述图像检测设备包括电性连接的图像采集单元和控制单元,所述图像采集单元用于采集目标区域图像,所述控制单元用于接收目标区域图像并对所述目标区域图像进行处理,并根据所述目标区域图像控制所述中央处理单元,以使所述中央处理单元控制所述报警单元发出报警信号;
所述远程监控终端包括电性连接的图像显示单元和遥控单元,所述遥控单元用于获得所述图像检测设备采集的目标区域图像、并将所述目标区域图像在所述图像显示单元显示,以及控制所述中央处理单元,以使所述中央处理单元控制所述报警单元发出报警信号。
在一些实施例中,所述所述红外检测单元为红外感应器、热释电触感器和红外热传感器中的任意一种。
在一些实施例中,所述报警单元包括用于产生光源的光发生器和用于产生声音的声发生器,所述声发生器和所述光发生器均与所述中央处理单元电性连接。
在一些实施例中,所述检测报警设备还包括光敏单元;
所述光敏单元与所述中央处理单元电性连接,用于将光照信息传送给所述中央处理单元,以使所述中央处理单元根据所述光照信息控制所述红外检测单元和所述报警单元工作。
在一些实施例中,所述检测报警设备、图像检测设备和远程监控终端均设有无线通信单元。
在一些实施例中,所述系统还包括云端服务器;
所述云端服务器与所述图像检测设备连接,用于接收所述图像检测设备发送的目标区域图像、自身的状态信息和检测报警设备的状态信息。
第二方面,本发明实施例还提供了一种分布式目标监测方法,应用于图像检测设备,所述方法包括:
获取目标区域图像;
将所述目标区域图像输入预设的深度神经网络模型,获得第一识别结果;
基于所述目标区域图像和预设基准图像获得第二识别结果;
融合所述第一识别结果和所述第二识别结果获得所述目标区域图像中的目标对象和目标位置;
获取所述目标位置、时间与频次的关系;
根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息。
在一些实施例中,所述方法还包括:
获取目标区域样本图像和目标对象,对所述样本图像中的目标对象进行标注,生成标注信息;
将标注完成的图像输入深度神经网络模型进行训练,得到所述预设的深度神经网络模型。
在一些实施例中,所述预设的深度神经网络模型包括若干卷积层和池化层,所述第一识别结果包括所述目标区域图像中的第一目标对象、所述第一目标对象对应的第一概率以及所述第一目标对象在所述目标区域图像中的第一目标位置。
在一些实施例中,所述基于所述目标区域图像和预设基准图像获得第二识别结果,包括:
获取所述目标区域图像中相对于所述预设基准图像的变化部分图像,并将所述变化部分图像转换为灰度图像;
对所述灰度图像进行噪声过滤和阈值分割,得到二值化图像,通过连通域算法得到所述二值化图像中的连通区域;
根据所述连通区域获取目标对象的潜在轮廓;
对所述目标对象的潜在轮廓进行形态学操作,获得第二识别结果,所述第二识别结果包括所述目标区域图像中的第二目标对象、所述第二目标对象对应的第二概率以及所述第二目标对象在所述目标区域图像中的第二目标位置。
在一些实施例中,所述根据所述第一识别结果和所述第二识别结果获得所述目标区域图像中的目标对象和目标位置,包括:
比较所述第一概率和所述第二概率;
如果所述第一概率大于所述第二概率,且所述第一概率大于或等于预设概率阈值,则将所述第一目标对象作为目标对象,将所述第一目标位置作为目标位置;
如果所述第一概率小于第二概率,且所述第二概率大于或等于预设概率阈值,则将所述第二目标对象作为目标对象,将所述第二目标位置作为目标位置;
如果所述第一概率和所述第二概率均小于预设概率阈值,但所述第一概率和所述第二概率之和大于预设第二概率阈值,则作为疑似目标;
如果所述第一概率和所述第二概率均小于预设概率阈值,且所述第一概率和所述第二概率之和小于预设第二概率阈值,则放弃所述第一识别结果和所述第二识别结果。
第三方面,本发明实施例还提供了一种分布式目标监测方法,应用于检测报警设备,所述方法包括:
获取感应范围内的热红外信号;
根据所述热红外信号确定目标位置、时间与频次的关系;
根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息。
与现有技术相比,本发明的有益效果是:区别于现有技术的情况,本发明实施例中的一种分布式目标监测系统,通过检测报警单元中的红外检测单元检测感应范围内的热红外信息,中央处理单元根据红外检测单元检测到的热红外信息控制报警单元发出报警信号,另一方面,通过图像检测设备中的图像采集单元采集目标区域图像,并根据目标区域图像控制中央处理单元,以使中央处理单元控制报警单元发出报警信号,同时,远程监控终端中的遥控单元获取目标区域图像,并将目标区域图像在图像显示单元显示,遥控单元控制中央处理单元,以使中央处理单元控制报警单元发出报警信号。检测报警设备和图像检测设备分布式分布,且相互配合,从而能够实时监测重点目标并及时报警。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。再者,本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
请一并参阅图1至图9,本发明实施例提供了一种分布式目标监测系统,包括至少一个检测报警设备、远程监控终端20和图像检测设备30,所述图像检测设备30分别与所述检测报警设备和所述远程监控终端20连接。
具体地,如图1a所示,图1a示例性的示出了图像检测设备30通过总线(比如485总线)分别与检测报警设备1、检测报警设备2、检测报警设备3及检测报警设备N连接,同时,所述图像检测设备30与远程监控终端20通过无线(比如433MHZ无线频段)连接。需要说明的是,本实施例中的总线并不都是由图像检测设备连接出来,而是通过设备之间的级联,从而使得实际操作中更方便、更灵活。并且通过无线连接的设备均设有无线通信单元,无线通信单元可以采用物联网系统,例如,WIFI网络、Zigbee网络、蓝牙和NB-IOT网络等,也可以采用移动通信系统,例如,2G、3G、4G和5G等,无线通信单元还可以包括433MHz等开放频段。
可以理解的是,在其他一些实施例中,如图1b所示,本发明实施例还提供了一种分布式目标监测系统,包括至少一个检测报警设备、网络服务器50和远程监控终端20。
具体地,如图1b所示,图1b示例性的示出了网络服务器50分别与检测报警设备1、检测报警设备2、检测报警设备3及检测报警设备N通过总线连接,网络服务器50和远程监控终端20通过无线连接。多个检测报警设备组合在一起构建成一个物联网系统,将检测到的热红外信号以及报警信号通过网络服务器50发送给远程监控终端20。需要说明的是,本实施例中的总线并不都是由网络服务器连接出来,而是网络服务器与其中一台检测报警设备连接,然后再通过检测报警设备之间的级联,从而使得实际操作中更方便、更灵活。
可以理解的是,在其他一些实施例中,如图2所示,所述检测报警设备、图像检测设备30和远程监控终端20均设有无线通信单元,图2示例性的示出了图像检测设备30分别与远程监控终端20,检测报警设备1、检测报警设备2、检测报警设备3和检测报警设备N通过无线(比如433MHZ无线频段)连接,在实际的环境中包括更多的检测报警设备。
如图3a所示,所述检测报警设备10包括红外检测单元110,中央处理单元120和报警单元130,所述中央处理单元120分别与所述红外检测单元110和所述报警单元130电性连接。
在本发明实施例中,所述红外检测单元110可以为红外感应器、热释电触感器和其他红外热传感器等,用于检测感应范围内的热红外信号。具体地,将红外检测单元110固定在高处,红外传感区域可覆盖目标活动区域,红外检测单元110可以根据待测目标的红外辐射特性进行红外系统的设定,当目标进入感应范围时,红外感应器探测到目标红外光谱的变化,并将其发送给中央处理单元120,中央处理单元120可以采用STM系列芯片。为了提升红外检测单元的感应效果,还可以为红外检测单元110配备菲涅尔透镜。需要说明的是,本申请中的目标可以为有害生物,也可以为动物或者人体等。
可以理解的是,在其他一些实施例中,红外传感器包括红外线发光二极管和红外线光敏二极管,红外线发光二极管和红外线光敏二极管封装在一个塑料外壳内。实际使用时,红外线发光二极管点亮,发出一道人眼看不见的红外光,如果红外传感器前方没有目标,那么这道红外光就消失在宇宙空间内,若红外传感器的前方存在有害物体,红外光就会被反射回来,照在自己也照在旁边的红外线光敏二极管上,红外线光敏二极管接收到红外光时,其输出引脚的电阻值就会发生变化,通过判断红外线光敏二极管阻值的变化,就可以感应前方的目标。
在本发明实施例中,所述中央处理单元120可以为中央处理器(CPU:centralprocessing unit),或者是GPU图形处理器(GPU:Graphics Processing Unit)等,用于接收热红外信号,并且根据热红外信号控制报警单元130发出报警信号。具体地,当红外检测单元110检测到感应范围内的热红外信号后,将其发送给中央处理单元120,中央处理单元120根据热红外信号判断感应范围内是否存在活动的目标,当发现感应范围内存在活动的目标迹象后则控制报警单元130发出报警信号。
可以理解的是,在其他一些实施例中,如图3b所示,所述检测报警设备10仅包括电性连接的红外检测单元110和中央处理单元120,当红外检测单元110检测到感应范围内的热红外信号后,将其发送给中央处理单元120进行处理,中央处理单元120根据热红外信号判断感应范围内是否存在活动的目标。
在本发明实施例中,如图4所示,报警单元130包括光发生器131和声发生器132,所述声发生器132和所述光发生器131均与所述中央处理单元120电性连接。其中,所述光发生器131为强光发生器,强光发生器可以为大功率led灯珠贴片,产生的光源为高强光源,所述声发生器132可以为蜂鸣器或者超声发生器,比如型号为3840的超声波喇叭,产生的声音为高分贝声音。具体地,当红外检测单元110发现活动的目标时,中央处理单元120将控制光发生器131产生高强光源,同时中央处理单元120控制声发生器132产生高分贝声音对活动的目标进行驱赶。
可以理解的是,在其他一些实施例中,可以在封闭空间或开放空间的每个角落,分布多个光发生器131和声发生器132,当红外检测单元110发现活动目标时,中央处理单元120将控制各个角落的光发生器131产生高强光源,同时中央处理单元120将控制各个角落的声发生器132产生高分贝声音对活动的目标进行驱赶。
在其他一些实施例中,所述光发生器131可以替换为灯带,通过3M胶将灯带固定在墙壁四周底部,类似于踢脚线,当红外检测单元110发现活动的目标时,中央处理单元120控制灯带不停闪光,对活动的目标进行驱赶。
在一些实施例中,如图5所示,所述检测报警设备10还包括光敏单元140,所述光敏单元140可以为光敏二极管或类似组件,例如HPI-6FER2光敏二极管。所述光敏单元140可以通过感知光照信息从而确定当前时刻是白天还是黑夜,所述光敏单元140与所述中央处理单元120电性连接,用于将光照信息传送给中央处理单元120,所述中央处理单元120根据所述光照信息控制所述红外检测单元110和所述报警单元130在晚上工作,从而降低功耗。需要说明的是,上述光敏单元的型号可根据需求自行选择,无需拘泥于本实施例中的限定。
在本发明实施例中,如图6所示,图像检测设备30包括图像采集单元310和控制单元320,所述控制单元320和所述图像采集单元310电性连接,所述图像检测设备30可固定在高处。所述图像采集单元310,用于采集目标区域图像,所述图像采集单元310可以例如是红外光和/或可见光摄像头等,控制单元320,可以采用intel movidius或华为海思3519等芯片,红外光摄像头和/或可见光摄像头利用高空优势,将采集的目标图像上传至控制单元320,控制单元320通过机器视觉和神经网络对目标图像进行分析,若发现目标图像中存在活动的目标,控制单元320则发送控制信号和目标的图像信息给中央处理单元120,以使所述中央处理单元120根据接收到的控制信号和目标的图像信息控制所述报警单元130发出报警信号对活动的目标进行驱赶。
可以理解的是,在其他一些实施例中,所述图像检测设备30仅包括控制单元320。所述图像检测设备30与检测报警设备10通过总线或者无线连接。所述图像检测设备30中的控制单元320用于采集和分析多个检测报警设备10的数据,其中,所述数据可以为目标信息,然后上传至云端服务器,用户可以通过终端设备,比如手机或电脑实时查看目标信息。
在本发明实施例中,如图7所示,远程监控终端20包括图像显示单元210和遥控单元220,所述遥控单元220和所述图像显示单元210电性连接。其中,所述图像显示单元210可以为电脑、手机、平板等显示系统,遥控单元220可以例如是上位机软件等。具体地,所述遥控单元220用于获取所述控制单元320发送的目标区域图像,以及图像检测设备30和检测报警设备10的状态信息等,并将其发送给图像显示单元210进行显示。所述遥控单元220还用于根据所述目标区域图像控制所述图像检测设备30中的控制单元320,以使所述控制单元320控制所述检测报警设备中的中央处理单元120,从而使得中央处理单元120控制所述报警单元130发出报警信号对目标进行驱赶。
可以理解的是,在其他一些实施例中,所述远程监测终端20分别与所述图像检测设备30和所述检测报警设备无线连接。所述远程监控终端20中的遥控单元220获取到图像检测设备30发送的目标区域图像后,所述遥控单元220可直接控制所述检测报警设备对目标进行驱赶,具体地,所述遥控单元220控制所述中央处理单元120,以使所述中央处理单元120控制所述报警单元130发出报警信号,从而对目标进行驱赶。
在其他一些实施例中,所述分布式目标监测系统还包括云端服务器40。云端服务器40与图像检测设备30通过无线连接,云端服务器40用于接收所述图像检测设备30发送的目标区域图像,目标信息,图像检测设备30的状态信息和检测报警设备的状态信息等。云端服务器40可以是一台服务器,例如机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等,也可以是由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
在本发明实施例中,如图8所示,图8示例性的示出了云端服务器40,远程监控终端20,图像检测设备30和检测报警设备1、检测报警设备2、检测报警设备3和检测报警设备N。其中,所述云端服务器40和所述远程监控终端20均通过无线的方式与图像检测设备30连接,所述图像检测设备30通过总线分别与所述检测报警设备1、检测报警设备2、检测报警设备3和检测报警设备N连接。
具体地,所述图像检测设备30通过总线接收所述检测报警设备发送的热红外信号和报警信号等信息,并将热红外信号和报警信号,以及自身采集到的目标区域图像,检测报警设备的状态信息及自身的状态信息等,一并通过无线通信单元发送给远程监控终端20和云端服务器40。用户可直接在远程监控终端20上查看上述各种信息,或者通过终端设备例如手机或者电脑无线连接所述云端服务器40实时查看上述各种信息。需要说明的是,通过无线连接的设备均设有无线通信单元。
在本发明实施例中,如图9所示,图9示例性的示出了云端服务器40,远程监控终端A和远程监控终端B,图像检测设备1和图像检测设备2,以及检测报警设备1、检测报警设备2、检测报警设备3、检测报警设备4、检测报警设备5以及检测报警设备N。云端服务器40分别与所述图像检测设备1和图像检测设备2无线连接,所述远程监控终端A与所述图像检测设备1无线连接,同时,所述图像检测设备1分别与所述检测报警设备1、检测报警设备2、检测报警设备3无线连接;远程监控终端B与图像检测单元2无线连接,同时所述图像检测设备2分别与所述检测报警设备4、检测报警设备5以及检测报警设备N无线连接。
具体地,所述图像检测设备通过无线通信单元接收所述检测报警设备通过无线的方式发送的热红外信号和报警信号等信息,并将热红外信号和报警信号,以及自身获取到的目标区域图像,检测报警设备的状态信息及自身的状态信息等,一并通过无线通信单元发送给远程监控终端和云端服务器40。用户可直接在远程监控终端上查看上述各种信息,或者通过终端设备例如手机或者电脑无线连接所述云端服务器40实时查看有上述各种信息,从而能够实时监测目标。需要说明的是,通过无线连接的设备均设有无线通信单元。
相应的,如图10所示,本发明实施例还提供了一种分布式目标监测方法,应用于图像检测设备,所述方法由图像检测设备中的控制单元执行,包括:
步骤1010,获取目标区域图像。
在本发明实施例中,目标区域为生物活动区域或者人体活动区域,优选为有害生物活动区域,图像包括视频图像和图片图像,获取摄像头拍摄到的目标区域图像,该目标区域图像中包含了有害生物或者人体。
步骤1020,将所述目标区域图像输入预设的深度神经网络模型,获得第一识别结果。
第一识别结果是将摄像头拍摄到的目标区域图像输入预设的深度神经网络模型得到的,预设的深度神经网络模型是对大量携带目标区域图像进行学习训练得到的。
步骤1030,基于所述目标区域图像和预设基准图像获得第二识别结果。
预设的基准图像为预先拍摄的不包含目标的图像,将该图像作为背景图像,通过将红外设备拍摄到的目标区域图像与背景图像进行比对,进而获得第二识别结果。
步骤1040,根据所述第一识别结果和所述第二识别结果获得所述目标区域图像中的目标对象和目标位置。
在本发明实施例中,目标对象为有害生物或者人体,目标位置为有害生物或者人体在目标区域图像中的位置,例如可以为框住所述目标对象的最小外接矩形框,这个矩形框的位置就是目标对象的位置,通过第一识别结果和第二识别结果来获得目标区域图像中的目标对象和目标位置。
步骤1050,获取所述目标位置、时间与频次的关系。
在本发明实施例中,可以在目标区域对应的电子地图中使用坐标位置标记目标位置,坐标位置可以为二维平面坐标,也可以为三维空间坐标。由于目标对象在不同的时间点可能位于不同的位置,并且不同的时间点,目标对象活动的次数也不同,因此,红外设备24小时不间断的采集目标对象在不同的时间点出现的位置,以及不同的时间点出现的次数,从而确定目标位置、时间和频次的关系。
步骤1060,根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息。
在本发明实施例中,摄像头不间断的对目标区域进行图像采集,控制单元通过分析采集的图像信息,将目标对象在时间序列上的目标位置、频次连接成线从而形成目标对象的活动轨迹,将所述目标位置、时间和频次进行统计,可以确定目标对象的活动密度,根据目标对象的活动轨迹和目标对象的活动密度可以清楚的知道,目标对象的活动区域和生活习性,例如可以知道,在特定时间范围内,目标对象在那个时间段活动频率最高,目标对象喜欢在哪些区域活动,便于后续对目标对象采取处理措施。
可以理解的是,在其他一些实施例中,目标对象为有害生物,目标对象的活动密度信息包括有害生物密度、峰值有害生物密度、平均有害生物密度、峰值有害生物数量、有害生物连续活动时间、有害生物峰值连续活动时间、有害生物总数量时间以及有害生物密度分布图等。
其中,有害生物密度,为单位区域单位时间出现有害生物次数的密度。
其中,N
i为单位时间内有害生物数量,单位为只;Δt为单位时间,单位为分钟或者小时等时间计量单位;Δs为单位面积,单位为平方米或者平方厘米等面积计量单位;ρ
i为有害生物密度,典型单位为只/(m
2·h),该数值在不同时刻一直处于变化之中。
峰值有害生物密度,为单位区域单位时间出现有害生物次数密度的最大值。ρmax=MAX{ρi},ρi为第i次单位时间单位区域监测到的有害生物密度;ρmax为一定时间段内或者一定区域范围内的峰值有害生物密度。
平均有害生物密度,为单位区域单位时间出现有害生物次数密度的平均值。
ρ
i为第i次单位时间单位区域监测到的有害生物密度;n为一段时间内单位时间段的数量;
为一定时间段内或者一定区域范围内的平均有害生物密度。
峰值有害生物数量,为单位区域单位时间出现有害生物次数数量的最大值。Nmax=MAX{Ni},其中,Ni为单位区域内某一时刻的有害生物数量,单位为只;Nmax为单位区域内一定时间段内峰值有害生物数量,单位为只。
有害生物连续活动时间,为视场范围内单位时间有害生物活动时间的总和。
其中,T
i为第i次连续活动时间,单位为分钟或者秒等时间计量单位;T
总为总活动时间。单位时间一般为24小时,只要视场范围看到有害生物在活动,则累计活动时间得到总时间。
有害生物峰值连续活动时间,为视场范围内单位时间有害生物最长连续活动时间。Tmax=MAX{Ti},Ti为第i次连续活动时间,单位为分钟或者秒等时间计量单位;Tmax为大卫时间内有害生物峰值连续活动时间。单位时间一般为24小时。
有害生物总数量时间,为视场范围内单位时间有害生物数量乘以活动时间的总和。
且n=T/Δt,其中,Δt为单位时间,单位为分钟或者小时等时间计量单位;N
i为某一时刻的有害生物数量,单位为只;T为单位时间,一般为24小时;n为一段时间内单位时间段的数量;NT
总为单位时间内有害生物总数量时间,单位为只·h(只·小时),请参阅图11。
有害生物密度分布图,为视场范围内单位时间有害生物出现的密度,用图表的方式表现出来。密度分布图的每个像素值都体现了该区域位置处,单位时间内有害生物出现的次数,请参阅图12a和图12b。
在本发明实施例中,通过摄像头获取目标区域图像,并将目标区域图像输入预设的深度神经网络模型,获得第一识别结果,然后基于目标区域图像和预设的基准图像获得第二识别结果,根据第一识别结果和第二识别结果确定目标对象及目标位置,接着获取目标位置、时间和频次的关系,根据目标位置、时间和频次的关系确定目标对象的活动轨迹和/或活动密度,由此,能够准确的对有害生物密度进行监测。
在一些实施例中,如图13所示,所述方法还包括:
步骤1310,获取目标区域样本图像和目标对象,对所述样本图像中的目标对象进行标注,生成标注信息。
在本发明实施例中,目标对象为目标区域样本图像中的目标选框,其中,所述目标选框包括目标的坐标位置、中心位置等信息。当获取到大量的目标区域样本图像后,需要对每一张样本图像进行标注。具体地,当候选目标确定是真实目标的情况下,系统自动完成标注;当候选目标为疑似目标的情况下,判断是否为目标,是目标则完成标注工作,不是目标则放弃该数据。
步骤1320,将标注完成的图像输入深度神经网络模型进行训练,得到所述预设的深度神经网络模型。
当所有的样本图像标注完成后,使用标注完成后的样本图像训练模型,目的是提高模型训练的准确度,进而提高密度监测的准确度。样本图像越多,涵盖的情形就越多,从而深度神经网络模型的识别能力也越高。
在其他一些实施例中,如图14所示,预设的深度神经网络模型内含多层卷积层和池化层,通过将获得的目标区域图像输入预设的深度神经网络模型,输入的目标区域图像经过卷积池化层1之后得到中间结果1,再经过卷积池化层2得到中间结果2;中间结果2经过卷积池化层4,得到中间结果4;中间结果1和中间结果4通过融合,得到融合结果;融合结果经过卷积池化层5得到中间结果5;中间结果2结果卷积池化层3,得到中间结果3;中间结果3和中间结果5融合得到最终结果即第一识别结果。
可以理解的是,在其他一些实施例中,可以将获得的目标区域图像样本整合成图像样本集合,然后将图像样本集合分为训练样本集合和测试样本集合,其中,样本训练集合用作训练深度神经网络模型,测试样本集合用于对训练后的深度神经网络模型进行测试。
具体地,将训练样本集合中的各个图片输入到深度神经网路模型中,通过该深度神经网络模型自动对训练样本集合中的图片进行训练,得到训练后的深度神经网络模型。
将测试样本集合的各个图片输入训练后的深度神经网络模型,通过该模型对输入的各个图片进行识别,得到对应的识别结果,将每个图像对应的识别结果进行整合,得到识别结果集合。根据识别结果集合中的目标对象个数和测试样本集合中的目标对象个数可以确定测试识别率,测试识别率用于衡量训练后的深度神经网络模型的识别能力。若测试识别率到达预设阈值时,则表示训练后的深度神经网络模型的识别能力符合预期,可直接将训练后的深度神经网络模型作为已训练好的深度神经网络模型进行图像识别。反之,则不断调整深度神经网络模型的各个参数,再次训练该深度神经网络模型,直到该模型的识别率达到预设阈值。
在一些实施例中,请一并参阅图15和图16,所述基于所述目标区域图像和预设基准图像获得第二识别结果,包括:
步骤1510,获取所述目标区域图像中相对于所述预设基准图像的变化部分图像,并将所述变化部分图像转换为灰度图像。
首先将获得的目标区域图像和预设的基准图像进行比对,得到目标区域图像中变化的部分,将目标区域图像中变化部分图像转换为灰度图像,灰度转换后可以去除图像中的彩色信息,减小后续的计算量。例如可以通过将同一个像素位置3个通道RGB的值进行平均,可以得到灰度图像,也可以获取同一个像素位置的RGB中亮度最大的和最小的进行平均,也可以得到灰度图像,将变化部分图像转换为灰度图像的方式不限于上述两种。
步骤1520,对所述灰度图像进行噪声过滤和阈值分割,得到二值化图像,通过连通域算法得到所述二值化图像中的连通区域。
图像在生成和传送的过程中,会因为各种原因受到各种噪声的干扰和影响,从而降低图像的质量,对后续图像处理和分析造成影响。因此,需要对灰度图像进行噪声过滤,可以采用线性滤波、阈值平均、加权平均和模板平滑等多种方式对噪声进行过滤,得到过滤后的二值化图像,将过滤后的二值化图像像素点分为若干类,对若干类像素点进行划分,找到感兴趣的目标点,将感兴趣的目标点中具有相同像素值且位置相邻的前景像素点组成连通区域。
步骤1530,根据所述连通区域获取目标对象的潜在轮廓。
通过将感兴趣的目标点中具有相同像素值且位置相邻的前景像素点组成连通区域,通过该连通区域可以得到每个目标的潜在轮廓。
步骤1540,对所述目标对象的潜在轮廓进行形态学操作,获得第二识别结果,所述第二识别结果包括所述目标区域图像中的第二目标对象、所述第二目标对象对应的第二概率以及所述第二目标对象在所述目标区域图像中的第二目标位置。
在本发明实施例中,为了识别目标对象的潜在轮廓,需要对目标对象进行形态学操作,形态学操作包括膨胀和填充封闭区域,具体地,可以给图像中的目标对象边界添加像素,对目标对象的特征轮廓图进行孔洞填充,获得第二目标对象,第二目标对象对应的概率以及第二目标对象在所述目标区域图像中的第二目标位置。
在一些实施例中,如图17所示,所述根据所述第一识别结果和所述第二识别结果获得所述目标区域图像中的目标对象和目标位置,包括:
步骤1710,比较所述第一概率和所述第二概率。
在本发明实施例中,第一概率是指目标对象通过深度神经网络模型识别得到的;第二概率是指目标对象通过图像处理得到的。通过比较第一概率和第二概率,可以确定目标对象。
步骤1720,如果所述第一概率大于所述第二概率,且所述第一概率大于或等于预设概率阈值,则将所述第一目标对象作为目标对象,将所述第一目标位置作为目标位置。
预设概率阈值可以作为目标对象的评判标准,可预先设置概率阈值。如果通过深度神经网络模型识别得到的目标概率即第一概率大于所述通过图像处理得到的目标概率即第二概率,并且第一概率大于或者等于预设概率阈值,则将通过深度学习网络模型识别得到的第一目标对象作为目标对象,将第一目标对象的位置作为目标位置。例如,预设概率阈值为60%,第一概率为70%,第二概率为40%,第一概率70%大于第二概率40%,且第一概率70%大于预设概率阈值60%,则将第一目标对象作为目标对象,并且将第一目标位置作为目标位置。
步骤1730,如果所述第一概率小于第二概率,且所述第二概率大于或等于预设概率阈值,则将所述第二目标对象作为目标对象,将所述第二目标位置作为目标位置。
具体地,通过深度神经网络模型识别得到的目标概率即第一概率小于通过图像处理得到的目标概率即第二概率,并且第二概率大于或者等于预设概率阈值,则将通过图像处理得到的第二目标对象作为目标对象,将第二目标对象的位置作为目标位置。例如,预设概率为60%,第一概率为20%,第二概率为80%,第一概率20%小于第二概率80%,且第二概率80%大于预设概率阈值60%,则将第二目标对象作为目标对象,并且将第二目标位置作为目标位置。
步骤1740,如果所述第一概率和所述第二概率均小于预设概率阈值,但所述第一概率和所述第二概率之和大于预设第二概率阈值,则作为疑似目标。
具体地,预设概率为60%,预设第二概率为55%,第一概率为40%,第二概率为18%。可知,第一概括40%和第二概率18%均小于预设概率阈值60%,但第一概率40%和第二概率18%之和58%,大于预设第二阈值55%,则将所述目标作为疑似目标。
步骤1750,如果所述第一概率和所述第二概率均小于预设概率阈值,且所述第一概率和所述第二概率之和小于预设第二概率阈值,则放弃所述第一识别结果和所述第二识别结果。
通过深度神经网络模型识别得到的目标概率即第一概率和通过图像识别得到的目标概率即第二概率均小于预设概率阈值,且所述第一概率和所述第二概率之和均小于预设第二概率阈值,则说明识别结果不准确,放弃通过深度神经网络模型得到的第一识别结果即第一目标对象、第一目标对象的位置以及此处识别的第一概率,同时放弃通过图像处理得到的第二识别结果即第二目标对象、第二目标对象的位置以及此次识别的第二概率。例如,预设概率阈值为60%,预设第二概率阈值为55%,通过深度神经网络模型识别得到的第一目标对象的概率为40%,通过图像处理得到的第二目标对象的概率为10%,第一概率40%和第二概率10%均小于60%,且第一概率和第二概率之和50%小于预设第二概率阈值55%,则放弃第一识别结果和第二识别结果。需要说明的是,上述预设的概率阈值,可以根据实际需要自行设置,无需拘泥于本实施例中的限定。
相应的,本发明实施例还提供了一种分布式目标监测方法,如图18至图19所示,应用于检测报警设备,所述方法由检测报警设备中的中央处理单元执行,所述方法包括:
步骤1810,获取感应范围内的热红外信号。
在本发明实施例中,将所述检测报警设备放置在室内或房间的各个角落,检测报警设备中的中央处理单元获取红外检测单元发送的热红外信号,红外检测单元可以为红外传感器等,数量可以为一个或者多个,可参考系统实施例。
步骤1820,根据所述热红外信号确定目标位置、时间与频次的关系。
在本发明实施例中,热红外信号为感应范围内的目标对象具有的特殊信号,由于目标对象在不同的时间点可能位于不同的位置,并且不同的时间点,目标对象活动的次数也不同,因此,红外检测单元24小时不间断的采集目标对象在不同的时间点出现的位置,以及不同的时间点出现的次数,从而确定目标位置、时间和频次的关系。
步骤1830,根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息。
在本发明实施例中,红外检测单元不间断的对目标区域进行红外感应,并将感应到的热红外信号发送给中央处理单元,中央处理单元将目标对象在时间序列上的目标位置、频次连接成线从而形成目标对象的活动轨迹,将所述目标位置、时间和频次进行统计,可以确定目标对象的活动密度,根据目标对象的活动轨迹和目标对象的活动密度可以清楚的知道,目标对象的活动区域和生活习性,例如可以知道,在特定时间范围内,目标对象在那个时间段活动频率最高,目标对象喜欢在哪些区域活动,便于后续对目标对象采取处理措施。
可以理解的是,目标对象为有害生物,目标对象的活动密度信息包括:检测报警设备处有害生物密度、检测报警设备区域有害生物密度、检测报警设备区域平均有害生物密度、检测报警设备区域有害生物密度分布图等。
其中,检测报警设备处有害生物密度,为单位时间检测报警设备发现有害生物的次数。ρ=N/T,其中,N为单位时间内发现的有害生物总数量,单位为只;T为单位时间,单位为小时或者天等时间计量单位;ρ为有害生物密度,典型单位为只/天。
检测报警设备区域有害生物密度,为单位区域单位时间检测报警设备发现有害生物的次数。
ρ
i=N
i/T,其中,N
i为第i台设备单位时间内发现的有害生物总数量,单位为只;T为单位时间,单位为小时或者天等时间计量单位;ρ
i为第i台设备监测到的有害生物密度,典型单位为只/天;n为单位区域里面检测报警设备的数量;ρ
total为一定区域一定时间内有害生物密度,典型单位为只/天。
检测报警设备区域平均有害生物密度,为单位区域单位时间出现有害生物次数密度的平均值。
ρ
i=N
i/T,其中,N
i为第i台设备单位时间内发现的有害生物总数量,单位为只;T为单位时间,单位为小时或者天等时间计量单位;ρ
i为第i台设备监测到的有害生物密度,典型单位为只/天;n为单位区域里面检测报警设备的数量;
为一定区域一定时间内平均有害生物密度,典型单位为只/天。
检测报警设备区域有害生物密度分布图,为单位区域单位时间有害生物出现的密度,用图表的方式表现出来。密度分布图的每个传感位置的数值都体现了该区域位置处,单位时间内有害生物出现的次数。
在本发明实施例中,通过检测报警设备获取感应范围内的热红外信号,根据所述热红外信号确定目标位置、时间与频次的关系,根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息,由此能够准确的对有害生物的密度进行监测。
相应的,如图20所示,本发明实施例还提供了一种分布式目标监测装置2000,所述装置2000包括:
第一获取模块2010,用于获取目标区域图像;
输入模块2020,用于将所述目标区域图像输入预设的深度神经网络模型,获得第一识别结果;
第二获取模块2030,用于基于所述目标区域图像和预设基准图像获得第二识别结果;
第三获取模块2040,用于根据所述第一识别结果和所述第二识别结果获得所述目标区域图像中的目标对象和目标位置;
第四获取模块2050,用于获取所述目标位置、时间与频次的关系;
确定模块2060,用于根据所述目标位置、时间与频次的关系确定所述目标对象的活动轨迹和/或目标对象的活动密度信息。
本发明实施例提供的分布式目标监测装置,通过第一获取模块获取目标区域图像,然后通过输入模块将获取到的目标区域图像输入预设的深度神经网络模型,获得第一识别结果,接着使用第二获取模块,基于目标区域图像和预设的基准图像获得第二识别结果,通过第三获取模块,根据第一识别结果和第二识别结果获得目标区域图像中的目标对象和目标位置,第四获取模块获取目标位置、时间和频次的关系,最后,确定模块根据目标对象、时间和频次的关确定计目标的活动轨迹和/或活动密度,由此能够准确的对有害生物密度进行监测。
可选的,在装置的其他实施例中,如图20所示,所述装置2000还包括:
标注模块2070,获取目标区域样本图像和目标对象,对所述样本图像中的目标对象进行标注,生成标注信息。
训练模块2080,将标注完成的图像输入深度神经网络模型进行训练,得到所述预设的深度神经网络模型。
可选的,在装置的其他实施例中,所述输入模块2020具体用于:
所述预设的深度神经网络模型包括若干卷积层和池化层,所述第一识别结果包括所述目标区域图像中的第一目标对象、所述第一目标对象对应的第一概率以及所述第一目标对象在所述目标区域图像中的第一目标位置。
可选的,在装置的其他实施例中,所述第二获取模块2030具体用于:
获取所述目标区域图像中相对于所述预设基准图像的变化部分图像,并将所述变化部分图像转换为灰度图像;
对所述灰度图像进行噪声过滤和阈值分割,得到二值化图像,通过连通域算法得到所述灰度图像中的连通区域;
根据所述连通区域获取目标对象的潜在轮廓;
对所述目标对象的潜在轮廓进行形态学操作,获得第二识别结果,所述第二识别结果包括所述目标区域图像中的第二目标对象、所述第二目标对象对应的第二概率以及所述第二目标对象在所述目标区域图像中的第二目标位置。
可选的,在装置的其他实施例中,第三获取模块2040具体用于:
比较所述第一概率和所述第二概率;
如果所述第一概率大于所述第二概率,且所述第一概率大于或等于预设概率阈值,则将所述第一目标对象作为目标对象,将所述第一目标位置作为目标位置;
如果所述第一概率小于第二概率,且所述第二概率大于或等于预设概率阈值,则将所述第二目标对象作为目标对象,将所述第二目标位置作为目标位置;
如果所述第一概率和所述第二概率均小于预设概率阈值,但所述第一概率和所述第二概率之和大于预设第二概率阈值,则作为疑似目标;
如果所述第一概率和所述第二概率均小于预设概率阈值,且所述第一概率和所述第二概率之和小于预设第二概率阈值,则放弃所述第一识别结果和所述第二识别结果。
需要说明的是,上述分布式目标监测装置可执行本发明实施例所提供的分布式目标监测方法,具备执行方法相应的功能模块和有益效果。未在分布式目标监测装置实施例中详尽描述的技术细节,请参见本发明实施例提供的分布式目标监测方法。
图21是本发明实施例提供的图像检测设备中的控制单元的硬件结构示意图,如图21所示,该控制单元2100包括:
一个或多个处理器2110以及存储器2120,图21中以一个处理器2110为例。
处理器2110和存储器2120可以通过总线或者其他方式连接,图21中以通过总线连接为例。
存储器2120作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的分布式目标监测方法对应的程序指令/模块(例如,附图20所示的第一获取模块2010、输入模块2020、第二获取模块2030、第三获取模块2040、第四获取模块2050和确定模块2060)。处理器2110通过运行存储在存储器2120中的非易失性软件程序、指令以及模块,从而执行图像检测设备的各种功能应用以及数据处理,即实现上述方法实施例的分布式目标监测方法。
存储器2120可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据分布式目标监测装置使用所创建的数据等。此外,存储器2120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器2120可选包括相对于处理器2110远程设置的存储器,这些远程存储器可以通过网络连接至分布式目标监测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器2120中,当被所述一个或者多个控制单元2100执行时,执行上述任意方法实施例中的分布式目标监测方法,例如,执行以上描述的图10中的方法步骤1010至步骤1060、图13中的方法步骤1310至步骤1320、图15中的方法步骤1510至步骤1540、图17中的方法步骤1710至步骤1750;实现图20中的模块2010至2080的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。