提示信息生成方法和装置,存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种提示信息生成方法和装置,存储介质及电子装置。
背景技术
工厂厂房往往是虫鼠等有害生物出没的高危区域,尤其是对于食品、药品等厂房,不管是用于加工生产的区域,还是用于存放产品货物的堆放暴露区域,对虫鼠等有害生物的接受度几乎为零。而且在工厂厂房内为了避免对产品货物造成药物污染,又不能大范围使用杀虫剂或灭鼠药等药物来进行防治。也就是说,目前在工厂进行对虫鼠等有害生物的防治过程中,只能是在厂房内部署捕捉装置,并进行定期训检,以达到防治的目的。
然而,采用上述方式在工厂进行防治时,需要专门人员定期到各个部署点检查捕捉装置的捕捉情况,并对捕捉装置进行定期更新。这种被动采取防治措施的方式,将出现因未得到及时的防治提示,而无法保证防治效果的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种提示信息生成方法和装置,存储介质及电子装置,以至少解决相关技术提供的在有害生物防治过程中防治提示信息不够及时的技术问题。
根据本发明实施例的一个方面,提供了一种提示信息生成方法,包括:获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;在从上述图像数据集中识别出目标对象的情况下,根据上述图像数据集获取上述目标对象在上述目标建筑内的移动轨迹信息,其中,上述目标对象为在特征时间段内按照特征姿态进行移动的对象;根据上述移动轨迹信息确定上述目标建筑中待调整的目标结构,其中,上述目标结构是上述目标建筑内上述目标对象所藏匿的结构;生成提示信息,其中,上述提示信息用于对上述目标建筑中的上述目标结构进行调整,以使得上述目标对象无法藏匿在上述目标结构。
作为一种可选的实施方式,上述根据上述移动轨迹信息确定上述目标建筑中待调整的目标结构包括:根据上述移动轨迹信息获取上述目标对象在目标时间段内连续移动所生成的移动路径;从上述移动路径中确定出缺省上述目标对象的轨迹的目标位置;将上述目标位置所在的区域确定为上述目标对象所藏匿的目标区域;利用上述目标区域确定上述目标结构。
作为一种可选的实施方式,上述利用上述目标区域确定上述目标结构包括:从上述图像数据集中获取上述目标区域内的清洁度信息;在上述清洁度信息指示上述目标区域满足预定清洁度条件的情况下,确定上述目标区域内所设置的建筑结构为上述目标结构;在上述清洁度信息指示上述目标区域未满足上述预定清洁度条件的情况下,确定上述目标区域内所放置的物品装置为上述目标结构。
作为一种可选的实施方式,上述生成提示信息包括:生成用于提示拆除上述目标结构的拆除提示信息,其中,上述提示信息包括上述拆除提示信息;或者,生成用于提示改造上述目标结构的构造的改造提示信息,其中,上述提示信息包括上述改造提示信息;或者,生成用于提示移动上述目标结构所在的位置的移动提示信息,其中,上述提示信息包括上述移动提示信息。
作为一种可选的实施方式,上述生成用于提示改造上述目标结构的构造的改造提示信息包括:识别上述目标结构的结构尺寸;根据上述目标结构的结构尺寸生成上述改造提示信息,其中,上述改造提示信息用于提示在上述目标结构中设置的捕获装置的类型和/或数量,上述捕获装置用于捕获上述目标对象。
作为一种可选的实施方式,在上述生成提示信息之前,还包括:在上述目标结构为上述目标建筑内的固定建筑结构且允许拆除的情况下,确定上述提示信息为上述拆除提示信息;或者,在上述目标结构为上述目标建筑内的固定建筑结构且无法拆除的情况下,确定上述提示信息为上述改造提示信息;或者,在上述目标结构为上述目标建筑内的放置的物品装置的情况下,确定上述提示信息为上述移动提示信息。
作为一种可选的实施方式,在上述生成提示信息之后,还包括:在上述目标建筑对应的结构布局图中标记上述目标结构,以提示对上述目标结构进行调整;或者,在上述图像数据集对应的图像画面中标记上述目标结构,以提示对上述目标结构进行调整。
作为一种可选的实施方式,在上述根据上述图像数据集获取上述目标对象在上述目标建筑内的移动轨迹信息之前,还包括:对上述图像数据集中每个上述目标图像进行目标对象的检测,得到每个上述目标图像的图像特征,其中,每个上述目标图像用于指示在上述目标建筑内的空间区域中存在运动的对象,上述图像特征用于表示在上述存在运动的对象中,与上述目标对象之间的相似度大于第一阈值的对象所在的目标图像区域;根据每个上述目标图像的图像特征确定出运动特征,其中,上述运动特征用于表示多个上述目标图像中上述存在运动的对象的运动速度和运动方向;根据上述运动特征和每个上述目标图像的图像特征,识别上述图像数据集中是否出现有上述目标对象。
作为一种可选的实施方式,上述获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集包括:对上述图像采集设备采集到的视频文件进行抽帧采样,得到一组视频帧图像;获取上述一组视频帧图像中的每个像素点的平均像素值;获取上述一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的上述平均像素值之间的差值;将上述一组视频帧图像中上述差值满足预定条件的视频帧图像确定为上述目标图像。
根据本发明实施例的另一方面,还提供了一种提示信息生成装置,包括:第一获取单元,用于获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;第二获取单元,用于在从上述图像数据集中识别出目标对象的情况下,根据上述图像数据集获取上述目标对象在上述目标建筑内的移动轨迹信息,其中,上述目标对象为在特征时间段内按照特征姿态进行移动的对象;第一确定单元,用于根据上述移动轨迹信息确定上述目标建筑中待调整的目标结构,其中,上述目标结构是上述目标建筑内上述目标对象所藏匿的结构;生成单元,用于生成提示信息,其中,上述提示信息用于对上述目标建筑中的上述目标结构进行调整,以使得上述目标对象无法藏匿在上述目标结构。
作为一种可选的实施方式,上述第一确定单元包括:获取模块,用于根据上述移动轨迹信息获取上述目标对象在目标时间段内连续移动所生成的移动路径;第一确定模块,用于从上述移动路径中确定出缺省上述目标对象的轨迹的目标位置;第二确定模块,用于将上述目标位置所在的区域确定为上述目标对象所藏匿的目标区域;第三确定模块,用于利用上述目标区域确定上述目标结构。
作为一种可选的实施方式,上述第三确定模块包括:获取子模块,用于从上述图像数据集中获取上述目标区域内的清洁度信息;第一确定子模块,用于在上述清洁度信息指示上述目标区域满足预定清洁度条件的情况下,确定上述目标区域内所设置的建筑结构为上述目标结构;第二确定子模块,用于在上述清洁度信息指示上述目标区域未满足上述预定清洁度条件的情况下,确定上述目标区域内所放置的物品装置为上述目标结构。
作为一种可选的实施方式,上述生成单元包括:第一生成模块,用于生成用于提示拆除上述目标结构的拆除提示信息,其中,上述提示信息包括上述拆除提示信息;或者,第二生成模块,用于生成用于提示改造上述目标结构的构造的改造提示信息,其中,上述提示信息包括上述改造提示信息;或者,第三生成模块,用于生成用于提示移动上述目标结构所在的位置的移动提示信息,其中,上述提示信息包括上述移动提示信息。
作为一种可选的实施方式,上述第二生成模块包括:识别子模块,用于识别上述目标结构的结构尺寸;生成子模块,用于根据上述目标结构的结构尺寸生成上述改造提示信息,其中,上述改造提示信息用于提示在上述目标结构中设置的捕获装置的类型和/或数量,上述捕获装置用于捕获上述目标对象。
作为一种可选的实施方式,还包括:第四确定模块,用于在上述生成提示信息之前,在上述目标结构为上述目标建筑内的固定建筑结构且允许拆除的情况下,确定上述提示信息为上述拆除提示信息;或者,第五确定模块,用于在上述生成提示信息之前,在上述目标结构为上述目标建筑内的固定建筑结构且无法拆除的情况下,确定上述提示信息为上述改造提示信息;或者,第六确定模块,用于在上述生成提示信息之前,在上述目标结构为上述目标建筑内的放置的物品装置的情况下,确定上述提示信息为上述移动提示信息。
作为一种可选的实施方式,还包括:第一标记单元,用于在上述生成提示信息之后,在上述目标建筑对应的结构布局图中标记上述目标结构,以提示对上述目标结构进行调整;或者,第二标记单元,用于在上述生成提示信息之后,在上述图像数据集对应的图像画面中标记上述目标结构,以提示对上述目标结构进行调整。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述提示信息生成方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的提示信息生成方法。
在本发明实施例中,通过预先部署的图像采集设备对目标建筑内的空间区域进行图像采集,以得到对应的图像数据集。对图像数据集进行图像识别,在从中识别出目标对象的情况下,则根据上述图像数据集获取该目标对象在目标建筑内的移动轨迹信息,其中,该目标对象为在特征时间段内按照特征姿态进行移动的对象(即上述有害的生物对象)。然后,根据上述移动轨迹信息确定出目标建筑中待调整的目标结构,该目标结构是目标对象在目标建筑内可能藏匿其中的结构。最后生成用于提示对上述目标结构进行调整,以使得该目标对象无法继续藏匿在上述目标结构中的提示信息。从而实现利用实时采集到的图像数据集中所记录的目标对象的移动轨迹信息,来达到及时提示目标建筑内存在的生物安全风险的目的,进而解决了相关技术提供的在有害生物防治过程中防治提示信息不够及时的技术问题。此外,通过提示调整目标建筑中的目标结构,还将使得目标对象无法继续藏匿在目标结构中,保证对目标建筑采取的防治措施的有效性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的提示信息生成方法的流程图;
图2是根据本发明实施例的一种可选的提示信息生成方法的示意图;
图3是根据本发明实施例的另一种可选的提示信息生成方法的示意图;
图4是根据本发明实施例的又一种可选的提示信息生成方法的示意图;
图5是根据本发明实施例的又一种可选的提示信息生成方法的示意图;
图6是根据本发明实施例的又一种可选的提示信息生成方法的示意图;
图7是根据本发明实施例的又一种可选的提示信息生成方法的示意图;
图8是根据本发明实施例的又一种可选的各模块数据连接的示意图;
图9是根据本发明实施例的又一种可选的鼠患检测系统的原理示意图;
图10是根据本发明实施例的又一种可选的Faster-RCNN网络模型的示意图;
图11是根据本发明实施例的一种可选的提示信息生成装置的结构示意图;
图12是根据本发明实施例的另一种可选的提示信息生成装置的结构示意图;
图13是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种提示信息生成方法,作为一种可选的实施方式,如图1所示,上述提示信息生成方法包括:
S102,获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;
S104,在从图像数据集中识别出目标对象的情况下,根据图像数据集获取目标对象在目标建筑内的移动轨迹信息,其中,目标对象为在特征时间段内按照特征姿态进行移动的对象;
S106,根据移动轨迹信息确定目标建筑中待调整的目标结构,其中,目标结构是目标建筑内目标对象所藏匿的结构;
S108,生成提示信息,其中,提示信息用于对目标建筑中的目标结构进行调整,以使得目标对象无法藏匿在目标结构。
可选地,在本实施例中,上述提示信息生成方法可以但不限于应用于对目标建筑内的有害生物进行有效防治的过程中。其中,上述目标建筑可以包括但不限于工厂厂房、仓库等用于生产存储大量货物的大型建筑。上述有害生物可以包括但不限于在建筑内出现时,可能会危及货物生产安全或存放安全的生物对象,如:老鼠、蟑螂、飞虫等等。上述图像采集设备可以包括但不限于:预先部署在目标建筑内的监控设备,如视频监控设备、拍照摄像头、红外探测设备等。上述仅是一种示例,本实施例中对此不作任何限定。
需要说明的是,在本实施例中,通过预先部署的图像采集设备对目标建筑内的空间区域进行图像采集,以得到对应的图像数据集。对图像数据集进行图像识别,在从中识别出目标对象的情况下,则根据上述图像数据集获取该目标对象在目标建筑内的移动轨迹信息,其中,该目标对象为在特征时间段内按照特征姿态进行移动的对象(即上述有害的生物对象)。然后,根据上述移动轨迹信息确定出目标建筑中待调整的目标结构,该目标结构是目标对象在目标建筑内可能藏匿其中的结构。最后生成用于提示对上述目标结构进行调整,以使得该目标对象无法继续藏匿在上述目标结构中的提示信息。从而实现利用实时采集到的图像数据集中所记录的目标对象的移动轨迹信息,来达到及时提示目标建筑内存在的生物安全风险的目的,进而避免提示不及时所导致的防治效果差的问题。此外,通过提示调整目标建筑中的目标结构,还将使得目标对象无法继续藏匿在目标结构中,保证对目标建筑采取的防治措施的有效性。
可选地,在本实施例中,从图像采集设备获取到的图像数据集可以但不限于为连续图像帧,如录制的视频帧。也可以但不限于为离散图像帧,如定期拍照得到的多张图片。此外,上述图像数据集中的图像数据可以包括但不限于为实景图像,如可以反映场景内所摆放的所有实物的实景照片,也可以包括但不限于为抽象图像,如经过图像处理后的图片,如二值化处理后的黑白图片。上述仅是示例,本实施例中对此不作任何限定。
可选地,在本实施例中,在获取到图像采集设备进行图像采集所得到的图像数据集之后,可以包括但不限于:图像采集设备将上述图像数据集通过网络发送给云处理服务器,以使云处理服务器通过图像识别算法识别图像数据集中是否包括目标对象。其中,在本实施例中所提供的图像识别算法可以但不限于为,利用多张样本图像经过机器训练所得到的用于识别在特征时间段内按照特征姿态进行移动的目标对象的神经网络模型。
可选地,在本实施例中,上述目标建筑中待调整的目标结构可以包括但不限于:构成目标建筑的一部分建筑结构、目标建筑内所放置的物品装置。例如,上述建筑建构可以为吊顶、夹层等,上述物品装置可以为垃圾桶、收纳池等。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,在本实施例中,上述提示信息的提示方式可以包括但不限于以下至少一种及其组合:文字提示、图标提示、音频提示等。此外,上述提示信息可以包括但不限于以下至少之一:待调整的目标结构在目标建筑内所在的位置、待调整的目标结构的类型、对待调整的目标结构进行调整的调整建议。其中,上述调整建议可以包括但不限于根据目标结构的类型给出以下至少一种建议:用于提示拆除目标结构的拆除提示信息;用于提示改造目标架构的构造的改造提示信息;用于提示移动目标结构所在位置的移动提示信息。上述仅是一种示例,本实施例中对此不作任何限定。
需要说明的是,上述提示信息在提示不同类型时所使用的图标可以包括但不限于:利用图标颜色区分不同类型的提示信息、利用图标边框样式区分不同类型的提示信息、利用不同文字信息区分说明不同类型的提示信息。上述仅是示例,还可以用其他区分标记方式来提示,本实施例中对此不作任何限定。
例如,如图2所示,假设在目标建筑内部署的图像采集设备(如图2所示斜线阴影所示)采集到的图像数据集指示在区域A中识别出目标对象(如图2所示实心圆点),则可以生成提示信息,如图2所示可以通过加粗边框线来标记区域A,以及时提示建筑生物防治人员对该区域A中的目标结构进行调整。进一步,还可以具体标记处区域A中待调整的目标结构(图2未示出),以根据该目标结构的类型确定对应的调整方式,以达到有效防治的目的。
通过本申请提供的实施例,利用实时采集到的图像数据集中所记录的目标对象的移动轨迹信息,来达到及时提示目标建筑内存在的生物安全风险的目的,进而避免提示不及时所导致的防治效果差的问题。此外,通过提示调整目标建筑中的目标结构,还将使得目标对象无法继续藏匿在目标结构中,保证对目标建筑采取的防治措施的有效性。
作为一种可选的方案,根据移动轨迹信息确定目标建筑中待调整的目标结构包括:
S1,根据移动轨迹信息获取目标对象在目标时间段内连续移动所生成的移动路径;
S2,从移动路径中确定出缺省目标对象的轨迹的目标位置;
S3,将目标位置所在的区域确定为目标对象所藏匿的目标区域;
S4,利用目标区域确定目标结构。
需要说明的是,在本实施例中,上述目标对象是在特征时间段内按照特征姿态进行移动的对象,也就是说,目标对象是在特定的时间段内出没移动,且移动姿态特定,很容易藏匿在目标建筑中的各种结构中。为了准确确定出待调整的目标结构,在本实施例中可以但不限于根据目标对象在连续移动的移动路径中的缺省位置(即目标对象消失的目标位置)来确定目标对象所藏匿的目标区域,以便于确定待调整的目标结构。
例如,具体结合图3所示示例进行说明,假设获取到目标对象的移动轨迹信息为如图3所示虚线。其中,区域C附近的虚线轨迹是在清晨6点采集到的,而区域A与区域B附近的虚线轨迹是在凌晨1点-2点采集到的。以区域A与区域B附近的虚线轨迹所形成的连续的移动路径为例进行说明。
进一步,从图3所示的区域A与区域B之间的连续的移动路径中,可以确定出目标对象缺省的目标位置位于区域A,则可以将该区域A确定为目标对象所藏匿的目标区域,并从区域A中确定出待调整的目标结构。
通过本申请提供的实施例,在根据移动轨迹信息获取到目标对象在目标时间段内连续移动所生成的移动路径之后,从移动路径中确定出缺省目标对象的轨迹的目标位置,并将该目标位置所在的区域确定为目标对象所藏匿的目标区域,以便于从中确定出目标结构。也就是说,利用图像采集设备采集的移动轨迹信息来确定目标对象消失的目标位置所在的目标区域,以便于快速准确地从目标区域中确定出有待调整的目标结构,从而实现保证提示信息生成的及时性和有效性。
作为一种可选的方案,利用目标区域确定目标结构包括:
S1,从图像数据集中获取目标区域内的清洁度信息;
S2,在清洁度信息指示目标区域满足预定清洁度条件的情况下,确定目标区域内所设置的建筑结构为目标结构;
S3,在清洁度信息指示目标区域未满足预定清洁度条件的情况下,确定目标区域内所放置的物品装置为目标结构。
可选地,在本实施例中,为了定位出在目标区域中藏匿目标对象的目标结构,还可以包括但不限于根据图像数据集获取目标区域内的清洁度信息,以结合清洁度信息确定用于藏匿目标对象的目标结构是目标区域内所设置的建筑结构,还是目标区域内所放置的物品装置。
需要说明的是,在本实施例中,上述清洁度信息可以包括但不限于以下至少之一:杂物堆放指示信息、垃圾桶摆放指示信息、积水指示信息等用于指示存在滋生有害物质以吸引目标对象的信息。上述仅是一种示例,本实施例中对此不作任何限定。
此外,在本实施例中,上述预定清洁度条件可以但不限于用于指示目标区域内的清洁度达到标准,而不会滋生有害物质。换言之,上述预定清洁度条件可以但不限于指示无杂物堆放指示信息,无垃圾桶,无积水等。上述仅是一种示例,本实施例中对此不作任何限定。
具体结合图4所示示例进行说明:仍以上述场景继续说明,假设从图像数据集中识别出该目标区域(如图4所示区域A)内的清洁度信息满足预定清洁度条件,则确定目标对象出现在区域A是藏匿在目标区域内所设置的建筑结构,也就是说目标结构为目标区域内所设置的建筑结构,如图4所示的结构“夹层”。则可以对该“夹层”执行调整,以达到对目标对象进行防治的目的。例如,提示拆除区域A中的“夹层”。
具体结合图5所示示例进行说明:仍以上述场景继续说明,假设从图像数据集中识别出该目标区域(如图4所示区域A)内的清洁度信息未满足预定清洁度条件,进一步从图像数据集中识别出区域A中设有垃圾桶,则可确定目标对象出现在区域A是藏匿在目标区域内所放置的物品装置中,也就是说目标结构为目标区域内所放置的物品装置,如图5所示的结构“垃圾桶L”。则可以对该“垃圾桶L”执行调整,以达到对目标对象进行防治的目的。例如,提示移除区域A中的“垃圾桶L”。
通过本申请提供的实施例,在从图像数据集中获取目标区域内的清洁度信息之后,结合清洁度信息确定用于藏匿目标对象的目标结构是目标区域内所设置的建筑结构,还是目标区域内所放置的物品装置。从而实现更加精准地确定出藏匿目标对象的目标结构,以便于针对不同的目标结构提供准确的提示信息。
作为一种可选的方案,生成提示信息包括:
1)生成用于提示拆除目标结构的拆除提示信息,其中,提示信息包括拆除提示信息;或者
需要说明的是,在本实施例中,在目标结构为目标建筑内的固定建筑结构且允许拆除的情况下,可以确定提示信息为拆除提示信息。其中,上述固定建筑结构且允许拆除可以包括但不限于目标建筑内的吊顶、夹层等结构。例如,拆除提示信息可以但不限于通过如图6(a)所示虚线框内点阵来标记,还可以但不限于通过图标标识,如图6(a)所示方形实心图标来标识待拆除的目标结构。
2)生成用于提示改造目标结构的构造的改造提示信息,其中,提示信息包括改造提示信息;或者
需要说明的是,在本实施例中,在目标结构为目标建筑内的固定建筑结构且无法拆除的情况下,可以确定提示信息为改造提示信息。其中,上述固定建筑结构且无法拆除可以包括但不限于目标建筑内的死角、承重柱等结构。例如,改造提示信息可以但不限于通过如图6(b)所示实线框内横线来标记,还可以但不限于通过图标标识,如图6(b)所示三角形实心图标来标识待改造的目标结构。
此外,在本实施例中,上述改造提示信息可以但不限于用于提示在该待改造的目标结构内,增设用于捕捉目标对象的捕捉装置的类型和/或数量等。上述仅是示例,本实施例中对此不作任何限定。
3)生成用于提示移动目标结构所在的位置的移动提示信息,其中,提示信息包括移动提示信息。
需要说明的是,在本实施例中,在目标结构为目标建筑内的放置的物品装置的情况下,可以确定提示信息为移动提示信息。其中,上述放置的物品装置可以包括但不限于目标建筑内的垃圾桶、洗水池、堆放车等结构。例如,移动提示信息可以但不限于通过如图6(c)所示点线框内竖线来标记,还可以但不限于通过图标标识,如图6(c)所示菱形实心图标来标识待改造的目标结构。
在本实施例中,用于区分不同类型的提示信息可以但不限于采用以上图6所示的至少一种标记方式。此外,还可以采用其他标记方式,如利用不同颜色来标记不同的提示信息等。图6仅是示例,本实施例中对标记区分的方式不作任何限定。
通过本申请提供的实施例,通过生成不同类型的提示信息,来提示不同类型的目标结构,以便于针对不同的目标结构执行相适应的防治措施,从而实现在保证及时生成提示信息的同时,还将提高对目标对象采取对应防治措施的效率。
作为一种可选的方案,生成用于提示改造目标结构的构造的改造提示信息包括:
S1,识别目标结构的结构尺寸;
S2,根据目标结构的结构尺寸生成改造提示信息,其中,改造提示信息用于提示在目标结构中设置的捕获装置的类型和/或数量,捕获装置用于捕获目标对象。
可选地,在本实施例中,上述捕获装置可以但不限于针对不同类型的有害生物将采用不同的装置,如有害生物包括老鼠、蟑螂、飞虫等等,则对应的捕获装置可以包括但不限于:捕鼠夹/粘鼠板、防虫胶条、风幕机等等。上述仅是示例,本实施例中对此不作任何限定。
具体结合图7所示示例进行说明:仍以上述场景继续说明,假设区域A中已识别出目标结构,且识别出目标对象为老鼠。则根据目标结构的结构尺寸可以确定所要设置的捕捉装置的类型和/或数量,如捕鼠夹的数量、粘鼠板的数量。
通过本申请提供的实施例,通过识别目标结构的结构尺寸,从而实现根据目标结构的结构尺寸生成用于提示在目标结构中所设置的捕获装置的类型和/或数量。从而实现对目标区域内的目标结构采取及时有效的防治措施,进而达到改善对有害生物的防治效果的目的。
作为一种可选的方案,在生成提示信息之后,还包括:
1)在目标建筑对应的结构布局图中标记目标结构,以提示对目标结构进行调整;或者
2)在图像数据集对应的图像画面中标记目标结构,以提示对目标结构进行调整。
需要说明的是,上述图像数据集中的图像数据可以包括但不限于为实景图像,如可以反映场景内所摆放的所有实物的实景照片,也可以包括但不限于为抽象图像,如经过图像处理后的图片,如二值化处理后的黑白图片。上述仅是示例,本实施例中对此不作任何限定。
此外,在本实施例中,上述提示信息的提示场景可以但不限于呈现在目标建筑对应的结构布局图中,如图4所示标记目标结构夹层;也可以但不限于呈现在监控设备拍摄到的实景图像画面中,直接对目标结构进行标记。
通过本申请提供的实施例,通过直接标记目标结构来及时提示调整目标结构,以使目标对象无法继续藏匿在目标建筑内的目标结构中,从而达到改善防治效果的目的。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
可选地,在本实施例中,还提供了一种目标对象的确定方法。假设图像采集设备为摄像设备,采集到的图像数据集是从视频文件中提取出的图像帧。图像采集设备所监控的目标建筑内的空间区域为目标区域。上述方法包括以下步骤:
步骤S1,获取摄像设备对目标区域拍摄得到的视频文件。
在本申请上述步骤S1提供的技术方案中,摄像设备可以为监控摄像头,比如,该摄像设备为红外微光夜视摄像头,用于对目标区域进行拍摄监控,得到视频文件。其中,目标区域为目标建筑内被检测的空间区域,也即,用于检测是否有目标对象出现的区域,该目标对象可以为体型较大的需要进行防治的病媒生物,比如,该目标对象为老鼠。
该实施例的视频文件包括对目标区域进行拍摄得到的原始视频数据,可以包括目标区域的监控视频序列,该监控视频序列也即图像视频序列。
可选地,该实施例在视频数据采集层通过ARM板获取目标区域的原始视频数据,以生成上述视频文件,从而实现了对目标区域的视频进行采集的目的。
步骤S2,对视频文件进行抽帧采样,得到一组视频帧图像。
在本申请上述步骤S2提供的技术方案中,在获取摄像设备对目标区域拍摄得到的视频文件之后,对视频文件进行预处理,可以在视频数据处理层对视频文件进行抽帧采样,得到一组视频帧图像。
在该实施例中,可以对视频文件进行等间隔的抽帧采样,从而得到视频文件的一组视频帧图像,比如,视频文件包括100个视频帧序列,在进行抽帧采样之后,得到10个视频帧序列,则将这10个视频帧序列作为上述一组视频帧图像,从而减少对目标对象进行确定的算法的运算量。
步骤S3,根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像。
在本申请上述步骤S3提供的技术方案中,在对视频文件进行抽帧采样,得到一组视频帧图像之后,根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像,其中,每个目标图像用于指示在对应的目标区域中存在运动的对象。
在该实施例中,对视频文件进行预处理,还包括对视频文件进行动态检测,从一组视频帧图像中确定用于指示在目标区域中存在运动的对象的目标图像,也即,在该目标图像中存在运动的对象,该目标图像可以为存在运动的对象的视频片段,其中,存在运动的对象可能是目标对象,也可能不是。该实施例可以通过动态检测算法确定目标图像,根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像,进而执行步骤S4。
可选地,在一组视频帧图像中,除多个目标图像之外的视频帧图像未指示出在对应的目标区域中有运动的图像,可以不进行后续的检测。
步骤S4,对每个目标图像进行目标对象检测,得到每个目标图像的图像特征。
在本申请上述步骤S4提供的技术方案中,在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像之后,对每个目标图像进行目标对象检测,得到每个目标图像的图像特征,其中,图像特征针对每个目标图像而言,用于表示在存在运动的对象中,与所要识别的目标对象之间的相似度大于第一阈值的对象所在的目标图像区域。
在该实施例中,对每个目标图像进行目标对象检测,也即,对目标图像中存在的运动对象进行检测,可以通过目标检测系统采用动态目标检测方法和基于神经网络的目标检测方法对目标图像中存在的运动对象进行检测,得到每个目标图像的图像特征,其中,动态目标检测方法的运算速度快、对机器配置要求较低,而基于神经网络的目标检测方法的准确性和鲁棒性更好,图像特征可以为矩形框中的视觉信息,用于表示目标图像区域,该矩形框可以为检测框,用于表示在存在运动的对象中,与所要识别的目标对象之间的相似度大于第一阈值的对象所在的目标图像区域。也就是说,上述图像特征用于指示粗筛确认出的目标对象可能出现的位置。
步骤S5,根据每个目标图像的图像特征确定出运动特征。
在本申请上述步骤S5,提供的技术方案中,在对每个目标图像进行目标对象检测,得到每个目标图像的图像特征之后,根据每个目标图像的图像特征确定出运动特征,其中,运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向。
在该实施例中,在对每个目标图像进行目标对象检测,得到每个目标图像的图像特征之后,可以将每个目标图像的图像特征输入至运动特征提取模块,该运动特征提取模块根据每个目标图像的图像特征确定出运动特征,该运动特征针对多个目标图像而言,用于表示多个目标图像中存在运动的对象的运动速度和运动方向,同时进一步过滤掉非目标对象的移动所造成的干扰图像,比如,删除掉蚊虫的移动等干扰信息。
可选地,在该实施例中,由于每个目标图像中存在运动的对象的运动是连续的,运动特征提取模块的运动特征提取算法可以先根据每个目标图像的图像特征检测多个目标图像之间的图像特征的相关性,可以将相关性大的图像特征对应的对象确定为同一对象,对每一目标图像的图像特征进行匹配,得到对象的一系列运动图片,最后可以使用3D的特征提取网络提取运动序列的特征,从而得到运动特征,比如,根据每个目标图像的检测框,计算多个目标图像之间检测框的相关性,可以将相关性大的检测框对应的对象确定为同一对象,对每个目标图像的检测框进行匹配,得到对象的一系列运动图片,最后使用3D的特征提取网络提取运动序列的特征,得到运动特征,进而确定多个目标图像中存在运动的对象的运动速度和运动方向。
可选地,该实施例也可以将多个目标图像的图像特征进行融合和且进行特征提取,从而防止单帧的目标检测器出现误判的情况,进而实现对目标图像进行精筛以准确确定出是否出现目标对象。
步骤S6,根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象。
在本申请上述步骤S6提供的技术方案中,在根据每个目标图像的图像特征确定出运动特征之后,可以将运动特征和每个目标图像的图像特征进行融合,输入至预先训练好的分类网络中,该分类网络为预先设计好的用于确定多个目标图像中是否出现有目标对象的分类网络模型,进而根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象,比如,确定多个目标图像中是否出现有老鼠。
可选地,该实施例可以将多个目标图像中有目标对象的图像中的图像特征输入至前端显示界面,该前端显示界面可以进而显示出目标对象的检测框和移动轨迹。
可选地,该实施例的分类网络模型可以用于过滤非目标对象的图片序列,而保留目标对象的图片序列,从而降低虚警率,保证目标对象提示信息的准确性。
通过上述步骤S1至步骤S6,通过获取摄像设备对目标区域拍摄得到的视频文件;对视频文件进行抽帧采样,得到一组视频帧图像;根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像,其中,每个目标图像用于指示在目标区域中存在运动的对象;对每个目标图像进行目标对象检测,得到每个目标图像的图像特征,其中,图像特征用于表示在存在运动的对象中,与目标对象之间的相似度大于第一阈值的对象所在的目标图像区域;根据每个目标图像的图像特征确定出运动特征,其中,运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向;根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象。也就是说,对目标区域的视频文件进行抽帧采样,得到一组视频帧图像,根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出用于指示在目标区域中存在运动的对象的多个目标图像,再根据每个目标图像的图像特征确定出运动特征,进而根据运动特征和每个目标图像的图像特征,达到自动确定多个目标图像中是否出现有目标对象的目的,不仅大大减少了确定目标对象的人力成本,而且提高了确定目标对象的准确率,解决了对目标对象进行确定的效率低的问题,进而达到了提高鼠患检测准确度的效果。
作为一种可选的实施方式,步骤S3,根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像包括:获取一组视频帧图像中的每个像素点的平均像素值;获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值;将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像。
在该实施例中,在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像时,可以获取一组视频帧图像中的每个像素点的像素值,根据每个像素点的像素值计算出平均像素值,再获取一组视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值。
可选地,该实施例还可以获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与背景或者每个视频帧图像的前一帧之间的差值。
在获取上述差值之后,判断差值是否满足预定条件,将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像,从而得到一组视频帧图像中的多个目标图像。
作为一种可选的实施方式,获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值包括:对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作,其中,在执行以下操作时每个视频帧图像被视为当前视频帧图像,将每个像素点视为当前像素点:D(x,y)=|f(x,y)-b(x,y)|,其中,(x,y)为当前像素点在当前视频帧图像中的坐标,f(x,y)表示当前像素点的像素值,b(x,y)表示当前像素点的平均像素值,D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值。
在该实施例中,在获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值时,每个视频帧图像被视为当前视频帧图像,将每个像素点视为当前像素点,可以通过(x,y)表示当前像素点在当前视频帧图像中的坐标,比如,为以当前视频帧图像左上角为原点,宽方向为X轴,高方向为Y轴建立的坐标系中像素点的坐标,通过f(x,y)表示当前像素点的像素值,通过b(x,y)表示当前像素点的平均像素值,通过D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值,按照公式D(x,y)=|f(x,y)-b(x,y)|计算出当前像素点的像素值与对应的平均像素值之间的差值,从而通过上述方法达到获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值的目的。
作为一种可选的实施方式,将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像包括:对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作,其中,在执行以下操作时每个视频帧图像被视为当前视频帧图像,将每个像素点视为当前像素点:
其中,D(x,y)表示为当前像素点的像素值与对应的平均像素值之间的差值,T为第一预设阈值;其中,预定条件包括:目标图像中M(x,y)=1的像素点的个数超过第二预设阈值。
在该实施例中,在将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像时,每个视频帧图像被视为当前视频帧图像,每个像素点被视为当前像素点,通过M(x,y)表示当前视频帧图像,D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值,通过T表示第一预设阈值,如果当前视频帧中M(x,y)=1的像素点的个数超过第二预设阈值,则将当前视频帧图像确定为目标图像,也即,则当前视频帧图像中存在运动的对象,为目标图像,否则,当前视频帧图像中不存在运动的对象。
该实施例的一组视频帧图像中多个目标图像组成了运动目标图像,可以经过形态学运算合并像素点可得出所有运动的对象,作为输出结果。
可选地,该实施例对目标图像中存在运动的对象的检测为基于神经网络的目标检测,可以将一组视频帧图像输入预先训练好的网络模型,得出所有存在运动的对象和其置信度,将大于某个置信度阈值的图像特征作为该网络模块的输出。使用的网络模型可以包含但不限于单次多目标检测器(Single Shot MultiBox Detector,简称为SSD)、区域卷积网络(Faster Region-CNN,简称为Faster-RCNN)、特征金字塔网络(Feature PyramidNetwork,简称为FPN)等,此处不做任何限制。
作为一种可选的实施方式,步骤S5,根据每个目标图像的图像特征确定出运动特征包括:获取与每个目标图像的图像特征所表示的目标图像区域对应的目标矢量,得到多个目标矢量,其中,每个目标矢量用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向;将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量,其中,运动特征包括第一目标向量;或者获取与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图,得到多个二维光流图,其中,每个二维光流图包括对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向;将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量,其中,运动特征包括三维第二目标向量。
在该实施例中,每个目标图像的图像特征可以用于表示与目标图像区域对应的目标矢量,从而得到与多个目标视频帧一一对应的多个目标矢量,其中的每个目标矢量用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向,也即,可以将每个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向,作为每个目标图像的图像特征。在得到多个目标矢量之后,将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量,其中,每个目标图像在视频文件中的时间顺序可以通过时间轴表示,进而可以将多个目标矢量沿着时间轴做拼接,得到第一目标向量,该第一目标向量为一维向量,将该一维向量作为运动特征进行输出。
可选地,每个目标图像的图像特征用于表示目标图像区域,可以计算每个目标图像区域的光流(Optical flow or optic flow),得到与该目标图像区域对应的二维光流图,进而得到与多个目标图像一一对应的多个二维光流图,其中,光流用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。该实施例的每个二维光流图包括对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向,也即,目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向可以通过二维光流图来表示。在得到多个二维光流图之后,将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量,其中,每个目标图像在视频文件中的时间顺序可以通过时间轴表示,可以将多个二维光流图沿着时间轴做拼接,得到第二目标向量,该第二目标向量为三维向量,将该三维向量作为运动特征进行输出。
该实施例通过用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向的目标矢量,或者与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图来确定出运动特征,该运动特征可以为一维向量或者为三维向量,从而实现了根据每个目标图像的图像特征确定出运动特征的目的,进而根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象,达到自动确定多个目标图像中是否出现有目标对象的目的,提高了确定目标对象的准确率。
作为一种可选的示例,通过融合了对上述存在运动的对象的检测(目标检测)和运动特征提取的网络输出特征图,该特征图融合了包括视觉和运动特征的四维向量,其中,该四维向量可以包括但不限于时间维度、通道维度、长维度、高维度。
作为一种可选的实施方式,步骤S6,根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象包括:将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果,其中,对象识别结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中,在根据运动特征和每个目标图像的图像特征,确定多个目标图像中是否出现有目标对象时,可以将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果,该神经网络模型也即分类网络模型,可以根据存在有运动的目标对象的图像特征样本、运动特征样本和用于指示目标对象的数据对初始神经网络模型进行训练,且用于确定视频帧图像中是否出现有目标对象的模型。对象识别结果也即分类结果、判别结果,用于表示多个目标图像中是否出现有目标对象。
作为一种可选的实施方式,将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果包括:将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构,得到多个第一特征向量;将多个第一特征向量与运动特征进行融合,得到第二特征向量;将第二特征向量输入到全连接层进行分类,得到第一分类结果,其中,神经网络模型包括神经网络层结构和全连接层,对象识别结果包括第一分类结果,第一分类结果用于表示多个目标图像中是否出现有目标对象;或者将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构,得到多个第一特征向量;将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构,得到第二特征向量;将多个第一特征向量与第二特征向量进行融合,得到第三特征向量;将第三特征向量输入到全连接层进行分类,得到第二分类结果,其中,神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层,对象识别结果包括第二分类结果,第二分类结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中,神经网络模型的总体结构可以分为卷积层、正则化层、激活函数层、全连接层,其中,卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的;正则化层可以用于防止神经网络模型训练的过拟合,激活函数层可以将非线性引入网络,全连接层在整个卷积神经网络中起到分类器的作用。
在该实施例中,在将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果时,可以将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构,得到多个第一特征向量,将该多个第一特征向量与上述运动特征进行融合,从而得到第二特征向量,其中,运动特征为一维运动特征。
作为一种可选的融合方式,可以将多个第一特征向量与运动特征进行拼接(或称为组合),得到第二特征向量。
在得到第二特征向量之后,将第二特征向量输入到全连接层进行分类,也即,通全连接层对第二特征向量进行分类,从而得到第一分类结果,其中,该实施例的神经网络模型包括上述神经网络层结构和上述全连接层,第一分类结果用于表示多个目标图像中是否出现有目标对象的对象识别结果,比如,为多个目标图像中是否出现有老鼠的分类结果。
可选地,上述将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构,得到多个第一特征向量,将多个第一特征向量与运动特征进行融合,得到第二特征向量,将第二特征向量输入到全连接层进行分类,得到第一分类结果的方法,可以在获取与每个目标图像的图像特征所表示的目标图像区域对应的目标矢量,得到多个目标矢量,将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量之后执行。
可选地,在将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果时,将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构,得到多个第一特征向量;将上述运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构,得到第二特征向量。在得到第一特征向量和得到第二特征向量之后,将多个第一特征向量与第二特征向量进行融合,得到第三特征向量。
作为一种可选的融合方式,可以将多个第一特征向量与第二特征向量进行拼接(或称为组合),得到第三特征向量。
在得到第三特征向量之后,将第三特征向量输入到全连接层进行分类,从而得到第二分类结果,其中,该实施例的神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层,对象识别结果包括第二分类结果,该第二分类结果用于表示多个目标图像中是否出现有目标对象,比如,为多个目标图像中是否出现有老鼠的分类结果。
可选地,上述将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构,得到多个第一特征向量,将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构,得到第二特征向量,将多个第一特征向量与第二特征向量进行融合,得到第三特征向量,将第三特征向量输入到全连接层进行分类,得到第二分类结果的方法,可以在获取与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图,得到多个二维光流图,将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量之后执行。
作为另一种可选的示例,将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中,得到对象识别结果包括:将每个图像特征依次经过多个块,得到多个第一特征向量,其中,在每个块中会对块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作;将多个第一特征向量与运动特征进行拼接,得到第二特征向量;将第二特征向量输入到全连接层,通过全连接层输出得到第一分类结果,其中,神经网络模型包括多个块和全连接层,对象识别结果包括第一分类结果,第一分类结果用于表示多个目标图像中是否出现有目标对象;或者将每个图像特征依次经过多个第一块,得到多个第一特征向量,其中,在每个第一块中会对第一块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作;将运动特征依次经过多个第二块,得到第二特征向量,其中,在每个第二块中会对第二块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作;将多个第一特征向量与第二特征向量进行拼接,得到第三特征向量;将第三特征向量输入到全连接层,通过全连接层输出得到第二分类结果,其中,神经网络模型包括多个第一块、多个第二块和全连接层,对象识别结果包括第二分类结果,第二分类结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中,还可以通过块对每个图像特征进行处理。可以将每个图像特征依次经过多个块,得到多个第一特征向量,在每个块中会对块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量之后,将多个第一特征向量与运动特征进行拼接,从而得到第二特征向量。在得到第二特征向量之后,将第二特征向量输入到全连接层进行分类,通过全连接层输出得到第一分类结果,其中,该实施例的神经网络模型包括多个块和全连接层,对象识别结果包括第一分类结果,该第一分类结果用于表示多个目标图像中是否出现有目标对象,比如,为多个目标图像中是否出现有老鼠的分类结果。
可选地,该实施例通过第一块对每个图像特征进行处理,将每个图像特征依次经过多个第一块,得到多个第一特征向量,在每个第一块中会对第一块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。该实施例还可以通过第二块对运动特征进行处理,将运动特征依次经过多个第二块,得到第二特征向量,在每个第二块中会对第二块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量和第二特征向量之后,将多个第一特征向量与第二特征向量进行拼接,得到第三特征向量,最后将第三特征向量输入到全连接层进行分类,通过全连接层输出得到第二分类结果,其中,该实施例的神经网络模型包括多个第一块、多个第二块和全连接层,对象识别结果包括第二分类结果,该第二分类结果用于表示多个目标图像中是否出现有目标对象,比如,为多个目标图像中是否出现有老鼠的分类结果。
作为一种可选的实施方式,对视频文件进行抽帧采样,得到一组视频帧图像包括:对视频文件中的视频序列进行等间隔的抽帧采样,得到一组视频帧图像。
在该实施例中,视频文件包括视频序列,可以在对视频文件进行抽帧采样,得到一组视频帧图像时,对视频文件中的视频序列进行等间隔的抽帧采样,得到一组视频帧图像,从而减少对目标对象进行确定的算法的运算量,进而快速多个目标视频帧中是否出现有目标对象,提高了对目标对象进行确定的效率。
作为一种可选的实施方式,获取摄像设备对目标区域拍摄得到的视频文件包括:获取的视频文件包括:获取红外微光夜视摄像头对目标区域拍摄得到的视频文件,其中,视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
在该实施例中,摄像设备可以为摄像头,比如,为红外微光夜视摄像头,该红外微光夜视摄像头带有红外照明功能。通过红外微光夜视摄像头对目标区域进行拍摄,得到视频文件,该视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
可选地,该实施例的摄像设备还包括但不限于:移动侦测功能、联网功能(如wifi联网)及高清晰度(如大于1080p)配置。
作为一种可选的实施方式,在确定多个目标图像中是否出现有目标对象之后,该方法还包括:在确定出多个目标图像中出现有目标对象的情况下,确定目标对象在多个目标图像中的位置;将位置显示在多个目标图像中。
在该实施例中,在确定多个目标图像中是否出现有目标对象之后,在确定出多个目标图像中出现有目标对象的情况下,可以进一步确定目标对象在多个目标图像中的位置,比如,确定老鼠在多个目标图像中的位置,进而将位置显示在多个目标图像中,比如,将用于指示位置的图标、文本等信息显示在多个目标图像中。
可选地,该实施例还可以获取目标对象出现的时间、在目标区域中的活动区域等信息,将目标对象的位置、时间、在目标区域中的具体活动区域、在目标区域的活动频率、移动轨迹等信息输出至前端,该前端也即显示部件,目标对象出现的时间、活动区域等信息可以在显示界面中进行显示,从而避免了人工确定目标对象导致对目标对象进行确定的效率低下的为问题。
可选地,在确定出多个目标图像中出现有目标对象的情况下,可以发送报警信息至前端,该报警信息用于指示目标区域中出现有目标对象,以使相关防治人员采取防治措施,从而提高对目标对象进行防治的效率。
作为一种可选的实施方式,目标对象的确定方法由设置在本地的服务器执行。
该实施例的目标对象的确定方法可以由设置在本地的服务器执行,无需连接云服务器,内部即可实现上述的运算和可视化,避免了运算端在云服务器上,会有计算资源上、传输上的问题,导致整个框架效率较为低下的问题,从而提高了对目标对象进行确定的效率。
该实施例旨在应用图像识别的技术,融合图像特征和运动特征,自动检测监控视频中是否有目标对象,对目标对象做定位和跟踪,可以生成目标对象的移动轨迹和在各目标区域的活动频率,整个过程全为算法实现,无需额外的人力成本;另外,该实施例无需通过放置目标捕捉装置来确定目标区域中的目标对象,也无需花费人力进行观测,不仅大大减少了监测目标对象的人力成本,提高了对目标对象进行确定的效率,进而方便了进一步对目标对象进行防治的工作。
进一步,下面结合优选的实施例对本发明实施例的技术方案进行举例说明。具体以目标对象为老鼠进行举例说明。
根据本发明实施例的另一种目标对象的确定方法。该方法还包括:
步骤S1,获取红外微光夜视摄像头拍摄到的视频文件。
步骤S2,判断视频文件中是否存在运动物体。
步骤S3,如果存在运动物体,则提取存在运动物体的视频片段。
步骤S4,对存在运动物体的视频片段进行图像特征和动态特征提取。
步骤S5,根据提取到的图像特征和动态特征判断运动物体是否为老鼠。
步骤S6,如果判断结果为是,则发出提示信息。
该实施例采用获取红外微光夜视摄像头拍摄到的视频文件;判断视频文件中是否存在运动物体;如果存在运动物体,则提取存在运动物体的视频片段;对存在运动物体的视频片段进行图像特征和动态特征提取;根据提取到的图像特征和动态特征判断运动物体是否为老鼠;如果判断结果为是,则发出提示信息,从而解决了对目标对象进行确定的效率低的问题,进而达到了提高鼠患检测准确度的效果。
本发明实施例的技术方案可以作为一种融合视觉特征和轨迹特征的鼠患视频监测方法,可以应用在多种场景中用于检测拍摄到的视频中是否存在老鼠,通过红外微光夜视摄像头拍摄当前环境的视频文件,然后判断是否存在运动物体,如果存在运动物体,则通过提取运动物体的视频片段进行特征识别,进一步判断提取运动物体是否为老鼠,如果判断出是老鼠,则发出提示信息,提示信息可以是在屏幕上显示文字,也可以是发出声音提示信息,也可以是亮灯或闪烁等多种类型的提示信息。
需要说明的是,本发明实施例的技术方案中,监控摄像头采用的是红外微光夜视摄像头,另外,其判断、提取等处理过程是在本地服务器中进行的,无需将数据发送到远程服务器来处理,可以减少数据传输量,提高监测效率。
可选地,在发出提示信息之后,确定运动物体在视频文件中每帧图片中的位置;将预设标记叠加在每帧图片对应的位置处显示在前端界面上。
在发出有老鼠的提示后,确定老鼠在视频文件中每帧图片中的位置,然后将预设的标记叠加在每帧图片对应的位置处显示,预设标记可以是绿色或者红色的矩形框,把每帧图片中老鼠的位置用矩形框标记出,以方便用户可以及时查看到老鼠的位置和经常出没区域。
可选地,判断视频文件中是否存在运动物体包括:对视频文件中的视频序列进行等间隔的抽帧采样,得到采样视频帧;通过动态目标检测算法或者基于神经网络的目标检测算法判断采样视频帧图像中是否有运动物体。
在判断视频文件中是否存在运动物体时,可以对视频序列进行等间隔的抽帧采样,以减少算法的运算量,然后判断采样视频帧中是否有运动物体,判断时可以采用动态目标检测算法或者基于神经网络的目标检测算法中的任意一种,在一些情况下,也可以两者混合使用。
可选地,通过动态目标检测算法判断采样视频帧图像中是否有运动物体包括:通过D
k(x,y)=丨f
k(x,y)-b
k(x,y)丨计算当前帧和背景或前一帧的差值;通过
判断是否存在运动物体,其中,(x,y)为以图像左上角为原点,宽方向为X轴,高方向为Y轴建立的坐标系中像素点的坐标,k为当前帧的索引,f表示当前帧,b表示背景或者上一帧,M(x,y)为运动图像,T为阈值。
若M(x,y)为1表示有运动目标,所有X(x,y)的像素组成了运动目标图像,经过形态学运算合并像素点可得出所有运动的目标。
可选地,根据提取到的图像特征和动态特征判断运动物体是否为老鼠包括:将提取到的图像特征和动态特征输入到预先训练好的神经网络模型中,进行模型判别,得到模型输出结果;根据模型输出结果判断运动物体是否为老鼠。
可以通过预先训练好的神经网络模型对提取到的图像特征和动态特征进行模型判别,模型是预先根据大量的样本训练得到的,大量的样本包括图片和该图片中是否有老鼠的标签,在一些情况下,还可以包括该图片中的老鼠数量的标签,这样可以使模型更加精确。
本发明实施例的技术方案可以应用在厨房、餐厅等需要监测是否有鼠害的应用场景中,也可以使用于酒店业学校、实验室、医院等室内外对于环境卫生有要求的场所,对在鼠害防治工作中,应用本发明实施例的图像识别技术进行老鼠检测和跟踪,使用独立的一个装置,通过监控摄像头在本地完成鼠患的监控,无需放置鼠夹鼠笼,也无需花费人力进行观测,将监测鼠害变为高效全自动的流程工作,不仅大大减少了监测鼠害的人力成本,同时准确率高,方便对鼠害卫生的监管,并且提供了轨迹信息,方便了进一步的灭鼠工作。
本发明实施例的技术方案还提供了一种优选实施方式,下面结合该优选实施方式对本发明实施例的技术方案进行说明。
本发明实施例旨在应用图像识别的技术,融合视觉和图像序列特征,自动检测监控视频中是否有老鼠,对老鼠做定位和跟踪,并且生成老鼠的运动轨迹路线和各区域的活动频率,整个过程全为算法实现,无需额外的人力成本,并且是一个独立的装置,无需连接云服务器,内部可实现所有的运算和可视化。
根据本发明实施例的一种鼠患视频监测装置可以包括分为几个部件:红外微光夜视摄像头、数据处理模块和前端显示部件,上述装置工作时原理如下:红外微光夜视摄像头负责采集场景视频序列,数据处理模块接收视频序列并且检测视频中有无老鼠,若检测到老鼠,将老鼠的位置等一系列信息输出至前端显示界面,前端显示界面显示老鼠的位置、出现时间、活动区域并且可以即时进行鼠患的报警。
上述数据处理模块可以分为视频采集模块802、视频处理模块804和存储模块806。图8是根据本发明实施例的一种各模块数据连接的示意图,如图8所示,视频采集模块802通过ARM板8022采集视频数据,并通过视频预处理模块8024进行预处理,视频处理模块804读入已训练好的模型在嵌入式GPU处理器8042中根据深度学习算法进行视频处理,若深度学习网络模型检测到某一个片段时间有老鼠,则将该片段以及相应的检测结果存储至存储模块806,存储模块806将这一系列信息输出至前端。
图9是根据本发明实施例的一种鼠患检测系统的原理示意图。如图9所示,该算法包括以下几个模块:预处理、目标检测,运动特征提取和分类网络,系统的输入为原始视频序列,预处理包含两个步骤:抽帧和动态检测,先是对原始视频序列进行等间隔的抽帧采样,减少算法的运算量,然后利用目标检测算法进行目标检测,判断图像中是否有运动物体,若无运动物体,则不进行后续的检测,若有运动物体,则将有运动物体的视频片段输入后续模块。在目标检测过程中,对预处理后的视频序列的每一帧进行检测,在可能存在老鼠的位置获取图像特征(如该位置对应的检测框内的视觉信息),并通过运动特征提取模块,将各个视频图像帧之间的信息进行融合和特征提取,防止单帧的目标检测器出现误判的情况,随后将提取的运动特征和与图像特征输入分类网络,由分类网络判别是否是老鼠,若是老鼠,则将老鼠在每一帧所在位置的矩形检测框传给前端显示界面。
需要说明的是,在本实施例中,上述目标检测过程是根据具体的机器计算资源分配了两种算法:动态目标检测算法和基于神经网络的目标检测算法,前者运算速度快、对机器配置要求低,后者准确性和鲁棒性。
1)动态目标检测算法包含背景差和帧差法,利用下述公式(1),计算当前帧和背景或者前一帧的差值:
Dk(x,y)=丨fk(x,y)-bk(x,y)丨 (1)
上式中,(x,y)为以图像左上角为原点,宽方向为X轴,高方向为Y轴建立的坐标系中像素点的坐标,k为当前帧的索引,f代表当前帧,b代表背景或者上一帧。利用公式(2)判断是否存在运动目标:
M(x,y)为运动图像,T为阈值,若M(x,y)为1表示有运动目标,所有X(x,y)的像素组成了运动目标图像,经过形态学运算合并像素点可得出所有运动的目标,作为该模块的输出。
2)基于神经网络的目标检测算法将图片输入预先训练好的网络模型,得出所有可能的目标和其置信度,大于某个置信度阈值的检测框作为该模块的输出。使用的网络模型包含但不限于SSD、Faster-RCNN、FPN等。图10是本发明实施例的一种Faster-RCNN网络模型的示意图。如图10所示,其中conv是卷积层,由卷积核(是一个矩阵)在输入上进行划窗,对每个输入的划窗位置都和矩阵根据公式(3)相点乘,结果F作为该划窗位置的特征输出。
F=∑0≤i,j≤nk(i,j)*I(i,j) (3)
RPN为区域提出网络,会提出一系列的候选框,ROI pooling池化层将卷积层提到的特征图在RPN输出的坐标下的区域映射成大小(w,h)固定的矩形框,输入由全连接层构成的分类器和边框回归器,边框回归输出老鼠的可能坐标位置,分类器输出是该位置老鼠的置信度。
上述运动特征提取:因为物体的运动是连续的,运动特征提取算法先根据每一帧得到的检测框,计算帧与帧之间检测框的相关性,相关性大的检测框认为是同一物体,对每一帧的检测框进行匹配,得到物体的一系列运动图片,最后使用3D的特征提取网络提取运动序列的特征。
上述分类网络:将目标检测框中的视觉信息和运动特征融合,输入设计好的分类的网络模型,用于筛除非老鼠的图片序列,降低虚警率,将结果输入前端显示界面,显示老鼠的检测框和轨迹。
在本发明实施例中,对于整体的框架,还可以但不限于通过目标检测和分类网络来达到检测识别的目的,以节省框架布局成本。
本发明实施例提出了利用图像识别算法,自动识别监控视频中的老鼠,无需放置鼠夹鼠笼,也无需花费人力进行观测,将监测鼠害变为高效全自动的流程工作,不仅大大减少了监测鼠害的人力成本,同时准确率高,方便对后厨鼠害卫生的监管,同时,还可以提供老鼠活动的轨迹,便于人员选择灭鼠工具放置位置,方便了进一步的除害工作。
根据本发明实施例的另一个方面,还提供了一种用于实施上述提示信息生成方法的提示信息生成装置。如图11所示,该装置包括:
1)第一获取单元1102,用于获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;
2)第二获取单元1104,用于在从图像数据集中识别出目标对象的情况下,根据图像数据集获取目标对象在目标建筑内的移动轨迹信息,其中,目标对象为在特征时间段内按照特征姿态进行移动的对象;
3)第一确定单元1106,用于根据移动轨迹信息确定目标建筑中待调整的目标结构,其中,目标结构是目标建筑内目标对象所藏匿的结构;
4)生成单元1108,用于生成提示信息,其中,提示信息用于对目标建筑中的目标结构进行调整,以使得目标对象无法藏匿在目标结构。
可选地,在本实施例中,上述提示信息生成装置可以但不限于应用于对目标建筑内的有害生物进行有效防治的过程中。其中,上述目标建筑可以包括但不限于工厂厂房、仓库等用于生产存储大量货物的大型建筑。上述有害生物可以包括但不限于在建筑内出现时,可能会危及货物生产安全或存放安全的生物对象,如:老鼠、蟑螂、飞虫等等。上述图像采集设备可以包括但不限于:预先部署在目标建筑内的监控设备,如视频监控设备、拍照摄像头、红外探测设备等。上述仅是一种示例,本实施例中对此不作任何限定。
需要说明的是,在本实施例中,通过预先部署的图像采集设备对目标建筑内的空间区域进行图像采集,以得到对应的图像数据集。对图像数据集进行图像识别,在从中识别出目标对象的情况下,则根据上述图像数据集获取该目标对象在目标建筑内的移动轨迹信息,其中,该目标对象为在特征时间段内按照特征姿态进行移动的对象(即上述有害的生物对象)。然后,根据上述移动轨迹信息确定出目标建筑中待调整的目标结构,该目标结构是目标对象在目标建筑内可能藏匿其中的结构。最后生成用于提示对上述目标结构进行调整,以使得该目标对象无法继续藏匿在上述目标结构中的提示信息。从而实现利用实时采集到的图像数据集中所记录的目标对象的移动轨迹信息,来达到及时提示目标建筑内存在的生物安全风险的目的,进而避免提示不及时所导致的防治效果差的问题。此外,通过提示调整目标建筑中的目标结构,还将使得目标对象无法继续藏匿在目标结构中,保证对目标建筑采取的防治措施的有效性。
可选地,在本实施例中,从图像采集设备获取到的图像数据集可以但不限于为连续图像帧,如录制的视频帧。也可以但不限于为离散图像帧,如定期拍照得到的多张图片。此外,上述图像数据集中的图像数据可以包括但不限于为实景图像,如可以反映场景内所摆放的所有实物的实景照片,也可以包括但不限于为抽象图像,如经过图像处理后的图片,如二值化处理后的黑白图片。上述仅是示例,本实施例中对此不作任何限定。
可选地,在本实施例中,在获取到图像采集设备进行图像采集所得到的图像数据集之后,可以包括但不限于:图像采集设备将上述图像数据集通过网络发送给云处理服务器,以使云处理服务器通过图像识别算法识别图像数据集中是否包括目标对象。其中,在本实施例中所提供的图像识别算法可以但不限于为,利用多张样本图像经过机器训练所得到的用于识别在特征时间段内按照特征姿态进行移动的目标对象的神经网络模型。
可选地,在本实施例中,上述目标建筑中待调整的目标结构可以包括但不限于:构成目标建筑的一部分建筑结构、目标建筑内所放置的物品装置。例如,上述建筑建构可以为吊顶、夹层等,上述物品装置可以为垃圾桶、收纳池等。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,在本实施例中,上述提示信息的提示方式可以包括但不限于以下至少一种及其组合:文字提示、图标提示、音频提示等。此外,上述提示信息可以包括但不限于以下至少之一:待调整的目标结构在目标建筑内所在的位置、待调整的目标结构的类型、对待调整的目标结构进行调整的调整建议。其中,上述调整建议可以包括但不限于根据目标结构的类型给出以下至少一种建议:用于提示拆除目标结构的拆除提示信息;用于提示改造目标架构的构造的改造提示信息;用于提示移动目标结构所在位置的移动提示信息。上述仅是一种示例,本实施例中对此不作任何限定。
需要说明的是,上述提示信息在提示不同类型时所使用的图标可以包括但不限于:利用图标颜色区分不同类型的提示信息、利用图标边框样式区分不同类型的提示信息、利用不同文字信息区分说明不同类型的提示信息。上述仅是示例,还可以用其他区分标记方式来提示,本实施例中对此不作任何限定。
例如,如图2所示,假设在目标建筑内部署的图像采集设备(如图2所示斜线阴影所示)采集到的图像数据集指示在区域A中识别出目标对象(如图2所示实心圆点),则可以生成提示信息,如图2所示可以通过加粗边框线来标记区域A,以及时提示建筑生物防治人员对该区域A中的目标结构进行调整。进一步,还可以具体标记处区域A中待调整的目标结构(图2未示出),以根据该目标结构的类型确定对应的调整方式,以达到有效防治的目的。
通过本申请提供的实施例,利用实时采集到的图像数据集中所记录的目标对象的移动轨迹信息,来达到及时提示目标建筑内存在的生物安全风险的目的,进而避免提示不及时所导致的防治效果差的问题。此外,通过提示调整目标建筑中的目标结构,还将使得目标对象无法继续藏匿在目标结构中,保证对目标建筑采取的防治措施的有效性。
作为一种可选的方案,如图12所示,第一确定单元1106包括:
1)获取模块1202,用于根据移动轨迹信息获取目标对象在目标时间段内连续移动所生成的移动路径;
2)第一确定模块1204,用于从移动路径中确定出缺省目标对象的轨迹的目标位置;
3)第二确定模块1206,用于将目标位置所在的区域确定为目标对象所藏匿的目标区域;
4)第三确定模块1208,用于利用目标区域确定目标结构。
需要说明的是,在本实施例中,上述目标对象是在特征时间段内按照特征姿态进行移动的对象,也就是说,目标对象是在特定的时间段内出没移动,且移动姿态特定,很容易藏匿在目标建筑中的各种结构中。为了准确确定出待调整的目标结构,在本实施例中可以但不限于根据目标对象在连续移动的移动路径中的缺省位置(即目标对象消失的目标位置)来确定目标对象所藏匿的目标区域,以便于确定待调整的目标结构。
例如,具体结合图3所示示例进行说明,假设获取到目标对象的移动轨迹信息为如图3所示虚线。其中,区域C附近的虚线轨迹是在清晨6点采集到的,而区域A与区域B附近的虚线轨迹是在凌晨1点-2点采集到的。以区域A与区域B附近的虚线轨迹所形成的连续的移动路径为例进行说明。
进一步,从图3所示的区域A与区域B之间的连续的移动路径中,可以确定出目标对象缺省的目标位置位于区域A,则可以将该区域A确定为目标对象所藏匿的目标区域,并从区域A中确定出待调整的目标结构。
通过本申请提供的实施例,在根据移动轨迹信息获取到目标对象在目标时间段内连续移动所生成的移动路径之后,从移动路径中确定出缺省目标对象的轨迹的目标位置,并将该目标位置所在的区域确定为目标对象所藏匿的目标区域,以便于从中确定出目标结构。也就是说,利用图像采集设备采集的移动轨迹信息来确定目标对象消失的目标位置所在的目标区域,以便于快速准确地从目标区域中确定出有待调整的目标结构,从而实现保证提示信息生成的及时性和有效性。
作为一种可选的方案,第三确定模块包括:
1)获取子模块,用于从图像数据集中获取目标区域内的清洁度信息;
2)第一确定子模块,用于在清洁度信息指示目标区域满足预定清洁度条件的情况下,确定目标区域内所设置的建筑结构为目标结构;
3)第二确定子模块,用于在清洁度信息指示目标区域未满足预定清洁度条件的情况下,确定目标区域内所放置的物品装置为目标结构。
可选地,在本实施例中,为了定位出在目标区域中藏匿目标对象的目标结构,还可以包括但不限于根据图像数据集获取目标区域内的清洁度信息,以结合清洁度信息确定用于藏匿目标对象的目标结构是目标区域内所设置的建筑结构,还是目标区域内所放置的物品装置。
需要说明的是,在本实施例中,上述清洁度信息可以包括但不限于以下至少之一:杂物堆放指示信息、垃圾桶摆放指示信息、积水指示信息等用于指示存在滋生有害物质以吸引目标对象的信息。上述仅是一种示例,本实施例中对此不作任何限定。
此外,在本实施例中,上述预定清洁度条件可以但不限于用于指示目标区域内的清洁度达到标准,而不会滋生有害物质。换言之,上述预定清洁度条件可以但不限于指示无杂物堆放指示信息,无垃圾桶,无积水等。上述仅是一种示例,本实施例中对此不作任何限定。
具体结合图4所示示例进行说明:仍以上述场景继续说明,假设从图像数据集中识别出该目标区域(如图4所示区域A)内的清洁度信息满足预定清洁度条件,则确定目标对象出现在区域A是藏匿在目标区域内所设置的建筑结构,也就是说目标结构为目标区域内所设置的建筑结构,如图4所示的结构“夹层”。则可以对该“夹层”执行调整,以达到对目标对象进行防治的目的。例如,提示拆除区域A中的“夹层”。
具体结合图5所示示例进行说明:仍以上述场景继续说明,假设从图像数据集中识别出该目标区域(如图4所示区域A)内的清洁度信息未满足预定清洁度条件,进一步从图像数据集中识别出区域A中设有垃圾桶,则可确定目标对象出现在区域A是藏匿在目标区域内所放置的物品装置中,也就是说目标结构为目标区域内所放置的物品装置,如图5所示的结构“垃圾桶L”。则可以对该“垃圾桶L”执行调整,以达到对目标对象进行防治的目的。例如,提示移除区域A中的“垃圾桶L”。
通过本申请提供的实施例,在从图像数据集中获取目标区域内的清洁度信息之后,结合清洁度信息确定用于藏匿目标对象的目标结构是目标区域内所设置的建筑结构,还是目标区域内所放置的物品装置。从而实现更加精准地确定出藏匿目标对象的目标结构,以便于针对不同的目标结构提供准确的提示信息。
作为一种可选的方案,生成单元1108包括:
1)第一生成模块,用于生成用于提示拆除目标结构的拆除提示信息,其中,提示信息包括拆除提示信息;或者
2)第二生成模块,用于生成用于提示改造目标结构的构造的改造提示信息,其中,提示信息包括改造提示信息;或者
3)第三生成模块,用于生成用于提示移动目标结构所在的位置的移动提示信息,其中,提示信息包括移动提示信息。
可选地,上述装置还包括:
4)第四确定模块,用于在生成提示信息之前,在目标结构为目标建筑内的固定建筑结构且允许拆除的情况下,确定提示信息为拆除提示信息;或者
5)第五确定模块,用于在生成提示信息之前,在目标结构为目标建筑内的固定建筑结构且无法拆除的情况下,确定提示信息为改造提示信息;或者
6)第六确定模块,用于在生成提示信息之前,在目标结构为目标建筑内的放置的物品装置的情况下,确定提示信息为移动提示信息。
需要说明的是,在本实施例中,在目标结构为目标建筑内的固定建筑结构且允许拆除的情况下,可以确定提示信息为拆除提示信息。其中,上述固定建筑结构且允许拆除可以包括但不限于目标建筑内的吊顶、夹层等结构。例如,拆除提示信息可以但不限于通过如图6(a)所示虚线框内点阵来标记,还可以但不限于通过图标标识,如图6(a)所示方形实心图标来标识待拆除的目标结构。
此外,在本实施例中,在目标结构为目标建筑内的固定建筑结构且无法拆除的情况下,可以确定提示信息为改造提示信息。其中,上述固定建筑结构且无法拆除可以包括但不限于目标建筑内的死角、承重柱等结构。例如,改造提示信息可以但不限于通过如图6(b)所示实线框内横线来标记,还可以但不限于通过图标标识,如图6(b)所示三角形实心图标来标识待改造的目标结构。在本实施例中,上述改造提示信息可以但不限于用于提示在该待改造的目标结构内,增设用于捕捉目标对象的捕捉装置的类型和/或数量等。上述仅是示例,本实施例中对此不作任何限定。
在本实施例中,在目标结构为目标建筑内的放置的物品装置的情况下,可以确定提示信息为移动提示信息。其中,上述放置的物品装置可以包括但不限于目标建筑内的垃圾桶、洗水池、堆放车等结构。例如,移动提示信息可以但不限于通过如图6(c)所示点线框内竖线来标记,还可以但不限于通过图标标识,如图6(c)所示菱形实心图标来标识待改造的目标结构。
进一步,在本实施例中,用于区分不同类型的提示信息可以但不限于采用以上图6所示的至少一种标记方式。此外,还可以采用其他标记方式,如利用不同颜色来标记不同的提示信息等。图6仅是示例,本实施例中对标记区分的方式不作任何限定。
通过本申请提供的实施例,通过生成不同类型的提示信息,来提示不同类型的目标结构,以便于针对不同的目标结构执行相适应的防治措施,从而实现在保证及时生成提示信息的同时,还将提高对目标对象采取对应防治措施的效率。
作为一种可选的方案,第二生成模块包括:
1)识别子模块,用于识别目标结构的结构尺寸;
2)生成子模块,用于根据目标结构的结构尺寸生成改造提示信息,其中,改造提示信息用于提示在目标结构中设置的捕获装置的类型和/或数量,捕获装置用于捕获目标对象。
可选地,在本实施例中,上述捕获装置可以但不限于针对不同类型的有害生物将采用不同的装置,如有害生物包括老鼠、蟑螂、飞虫等等,则对应的捕获装置可以包括但不限于:捕鼠夹/粘鼠板、防虫胶条、风幕机等等。上述仅是示例,本实施例中对此不作任何限定。
具体结合图7所示示例进行说明:仍以上述场景继续说明,假设区域A中已识别出目标结构,且识别出目标对象为老鼠。则根据目标结构的结构尺寸可以确定所要设置的捕捉装置的类型和/或数量,如捕鼠夹的数量、粘鼠板的数量。
通过本申请提供的实施例,通过识别目标结构的结构尺寸,从而实现根据目标结构的结构尺寸生成用于提示在目标结构中所设置的捕获装置的类型和/或数量。从而实现对目标区域内的目标结构采取及时有效的防治措施,进而达到改善对有害生物的防治效果的目的。
作为一种可选的方案,还包括:
1)第一标记单元,用于在生成提示信息之后,在目标建筑对应的结构布局图中标记目标结构,以提示对目标结构进行调整;或者
2)第二标记单元,用于在生成提示信息之后,在图像数据集对应的图像画面中标记目标结构,以提示对目标结构进行调整。
需要说明的是,上述图像数据集中的图像数据可以包括但不限于为实景图像,如可以反映场景内所摆放的所有实物的实景照片,也可以包括但不限于为抽象图像,如经过图像处理后的图片,如二值化处理后的黑白图片。上述仅是示例,本实施例中对此不作任何限定。
此外,在本实施例中,上述提示信息的提示场景可以但不限于呈现在目标建筑对应的结构布局图中,如图4所示标记目标结构夹层;也可以但不限于呈现在监控设备拍摄到的实景图像画面中,直接对目标结构进行标记。
通过本申请提供的实施例,通过直接标记目标结构来及时提示调整目标结构,以使目标对象无法继续藏匿在目标建筑内的目标结构中,从而达到改善防治效果的目的。
根据本发明实施例的又一个方面,还提供了一种用于实施上述提示信息生成方法的计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述提示信息生成方法的电子装置,如图13所示,该电子装置包括存储器1302和处理器1304,该存储器1302中存储有计算机程序,该处理器1304被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;
S2,在从图像数据集中识别出目标对象的情况下,根据图像数据集获取目标对象在目标建筑内的移动轨迹信息,其中,目标对象为在特征时间段内按照特征姿态进行移动的对象;
S3,根据移动轨迹信息确定目标建筑中待调整的目标结构,其中,目标结构是目标建筑内目标对象所藏匿的结构;
S4,生成提示信息,其中,提示信息用于对目标建筑中的目标结构进行调整,以使得目标对象无法藏匿在目标结构。
可选地,本领域普通技术人员可以理解,图13所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图13中所示更多或者更少的组件(如网络接口等),或者具有与图13所示不同的配置。
其中,存储器1302可用于存储软件程序以及模块,如本发明实施例中的提示信息生成方法和装置对应的程序指令/模块,处理器1304通过运行存储在存储器1302内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的提示信息生成方法。存储器1302可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1302可进一步包括相对于处理器1304远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1302具体可以但不限于用于存储图像数据集、移动轨迹信息等信息。作为一种示例,如图13所示,上述存储器1302中可以但不限于包括上述提示信息生成装置中的第一获取单元1102、第二获取单元1104、第一确定单元1106及生成单元1108。此外,还可以包括但不限于上述提示信息生成装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1306包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1306为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1308,用于显示上述提示信息;和连接总线1310,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取图像采集设备对待监控的目标建筑内的空间区域进行图像采集所得到的图像数据集;
S2,在从图像数据集中识别出目标对象的情况下,根据图像数据集获取目标对象在目标建筑内的移动轨迹信息,其中,目标对象为在特征时间段内按照特征姿态进行移动的对象;
S3,根据移动轨迹信息确定目标建筑中待调整的目标结构,其中,目标结构是目标建筑内目标对象所藏匿的结构;
S4,生成提示信息,其中,提示信息用于对目标建筑中的目标结构进行调整,以使得目标对象无法藏匿在目标结构。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。