CN111354024B - 关键目标的行为预测方法、ai服务器及存储介质 - Google Patents
关键目标的行为预测方法、ai服务器及存储介质 Download PDFInfo
- Publication number
- CN111354024B CN111354024B CN202010281441.9A CN202010281441A CN111354024B CN 111354024 B CN111354024 B CN 111354024B CN 202010281441 A CN202010281441 A CN 202010281441A CN 111354024 B CN111354024 B CN 111354024B
- Authority
- CN
- China
- Prior art keywords
- information
- target
- outdoor
- image
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006399 behavior Effects 0.000 claims abstract description 121
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 238000002372 labelling Methods 0.000 claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000035622 drinking Effects 0.000 claims description 5
- 230000002650 habitual effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims 1
- 241001465754 Metazoa Species 0.000 abstract description 21
- 238000012544 monitoring process Methods 0.000 abstract description 16
- 241000282817 Bovidae Species 0.000 description 14
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 241000282994 Cervidae Species 0.000 description 2
- 241000283899 Gazella Species 0.000 description 2
- 241000282898 Sus scrofa Species 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种关键目标的行为预测方法，该方法包括：获取追踪相机在预设时间片段内自触发拍摄的户外图像；将户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；根据目标类别，从带标注信息的户外图像中筛选出包含关键目标的目标图像；当目标图像的数量超过预设数值后，根据目标图像的时间信息、地理信息、场景类别、行为信息及追踪相机的当前环境信息建立行为预测模型，并根据行为预测模型预测关键目标的未来行为。本发明可实现对人或动物的分类识别和行为预测，不仅能更准确地跟踪关键目标，而且还能帮助用户有效监控和管理监控区域内的关键目标，提升用户体验。
Description
技术领域
本发明属于人工智能领域，尤其涉及一种关键目标的行为预测方法、AI服务器及可读存储介质。
背景技术
追踪相机是常应用于野外或者郊区的无人看守相机，可用于帮助猎人打猎、动物行为记录、保护区野生动物多样性调查研究、养殖果园监控、非法狩猎监控、私人庭院监控、工地查看等，其能够利用红外或其它感应技术的运动探测器，自动捕捉动物的运动状态。通常情况下，当追踪相机通过运动探测器发现动物后，会发出触发信号并自动拍摄高清晰度的图片和视频，然后通过wifi或移动网络上传至后台服务器，因此，很多用户在自己感兴趣的地方安装追踪相机后，然后通过用户终端查看追踪相机上传的图像或视频来观察出现在监控区域的目标对象(人或动物)。
然而，用户通过用户终端(例如手机)查看追踪相机上传的图像或视频，需要消耗大量的时间才能判断目标对象的行为特点，其用户体验较差，娱乐性低。
发明内容
本发明提供一种关键目标的行为预测方法，该方法应用于AI服务器，实施该方法，可实现对关键目标的分类识别和行为预测，不仅能更准确地跟踪关键目标的行为轨迹，而且还能帮助用户有效监控和管理监控区域内的目标对象，提升用户体验。
第一方面，提供一种关键目标的行为预测方法，应用于AI服务器，包括：
获取追踪相机在预设时间片段内自触发拍摄的户外图像；
将所述户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；其中所述标注信息包括场景类别、目标类别和行为信息；
根据所述目标类别，从所述带标注信息的户外图像中筛选出包含关键目标的目标图像；
当所述目标图像的数量超过预设数值后，根据所述目标图像的时间信息、地理信息、场景类别、行为信息及所述追踪相机的当前环境信息建立行为预测模型，并根据所述行为预测模型预测所述关键目标的未来行为。
优选地，在预测所述关键目标的未来行为之后，所述方法还包括：继续获取所述追踪相机自触发拍摄得到的户外图像；若将所述户外图像输入到所述卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为所述关键目标，而且其行为信息与预测的所述未来行为相符，则触发向用户终端发送提醒信息。
优选地，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，所述方法还包括：若所述户外图像为误触发拍摄得到的，则过滤该户外图像；若所述户外图像的图像质量低于预设阈值，则对该户外图像进行修正处理，以使该户外图像的图像质量满足所述预设阈值；若所述户外图像为在光线较弱的环境拍摄得到的，则对该户外图像进行彩色化处理。
优选地，在从所述带标注信息的户外图像中筛选出包含关键目标的目标图像之后，所述方法还包括：根据所述目标图像生成所述关键目标的时间轴信息，其中所述时间轴信息包括时间信息、地理信息、场景类别和行为信息；并将所述时间轴信息和所述目标图像发送至用户终端，以使所述用户终端显示所述目标图像和所述时间轴信息。
优选地，在根据所述目标图像生成所述关键目标的时间轴信息之后，所述方法还包括：对所述关键目标的时间轴信息进行统计，得到所述关键目标的习惯行为，并将所述关键目标的习惯行为发送至所述用户终端。
优选地，在将所述时间轴信息和所述目标图像发送至用户终端之后，或者在将所述关键目标的习惯行为发送至所述用户终端之后，所述方法还包括：接收从用户终端反馈的错误信息，并获取所述错误信息对应的目标图像；其中所述错误信息包括错误时间轴信息，和/或，错误习惯行为；获取所述错误信息对应的目标图像的人为标注信息，并将该人为标注信息和该目标图像重新输入到所述卷积神经网络中进行训练。
优选地，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，所述方法包括:若无法得到带标注信息的户外图像，则获取该户外图像的人为标注信息，并将该户外图像和其人为标注信息重新输入到所述卷积神经网络中进行训练。
优选地，所述追踪相机为多个，且各个追踪相机的地理位置不同，在筛选出包含关键目标的目标图像之后，所述方法还包括：根据从多个不同地理位置的追踪相机对应的目标图像，生成关键目标地图，并将所述关键目标地图发送至用户终端；其中所述关键目标地图包括所述关键目标的休息地，和/或，饮水地。
第二方面，提供一种用于关键目标的行为预测的装置，包括：
通信模块，用于获取追踪相机在预设时间片段内自触发拍摄的户外图像；
神经网络模块，用于将所述户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；其中所述标注信息包括场景类别、目标类别和行为信息；
关键目标筛选模块，用于根据所述目标类别，从所述带标注信息的户外图像中筛选出包含关键目标的目标图像；
行为预测模块，用于当所述目标图像的数量超过预设数值后，根据所述目标图像的时间信息、地理信息、场景类别、行为信息及所述追踪相机的当前环境信息建立行为预测模型，并根据所述行为预测模型预测所述关键目标的未来行为。
优选地，所述装置还包括预警模块，所述预警模块用于，继续获取所述追踪相机自触发拍摄得到的户外图像；若将所述户外图像输入到所述卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为所述关键目标，而且其行为信息与预测的所述未来行为相符，则触发向用户终端发送提醒信息。
优选地，所述装置还包括图像筛选处理模块，所述图像筛选处理模块用于，若所述户外图像为误触发拍摄得到的，则过滤该户外图像；若所述户外图像的图像质量低于预设阈值，则对该户外图像进行修正处理，以使该户外图像的图像质量满足所述预设阈值；若所述户外图像为在光线较弱的环境拍摄得到的，则对该户外图像进行彩色化处理。
优选地，时间轴信息生成模块，所述时间轴信息生成模块用于，根据所述目标图像生成所述关键目标的时间轴信息，其中所述时间轴信息包括时间信息、地理信息、场景类别和行为信息；并将所述时间轴信息和所述目标图像发送至用户终端，以使所述用户终端显示所述目标图像和所述时间轴信息。
优选地，所述行为预测模块还用于，对所述关键目标的时间轴信息进行统计，得到所述关键目标的习惯行为，并将所述关键目标的习惯行为发送至所述用户终端。
优选地，所述装置还包括校正模块，所述校正模块用于，接收从用户终端反馈的错误信息，并获取所述错误信息对应的目标图像；其中所述错误信息包括错误时间轴信息，和/或，错误习惯行为；获取所述错误信息对应的目标图像的人为标注信息，并将该人为标注信息和该目标图像重新输入到所述卷积神经网络中进行训练。
优选地，所述校正模块还用于，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，若无法得到带标注信息的户外图像，则获取该户外图像的人为标注信息，并将该户外图像和其人为标注信息重新输入到所述卷积神经网络中进行训练。
优选地，所述装置还包括地图生成模块，所述地图生成模块用于，根据从多个不同地理位置的追踪相机对应的目标图像，生成关键目标地图，并将所述关键目标地图发送至用户终端；其中所述关键目标地图包括所述关键目标的休息地，和/或，饮水地。
第三方面，提供一种AI服务器，包括处理器、输入接口、输出接口和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令，执行如第一方面任一实施例的方法和步骤。
第四方面，提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面任一实施例的方法和步骤。
本发明实施例中，AI服务器获取追踪相机在预设时间片段内自触发拍摄的户外图像；并将户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；然后根据目标类别，从带标注信息的户外图像中筛选出包含关键目标的目标图像；当目标图像的数量超过预设数值后，根据目标图像的时间信息、地理信息、场景类别、行为信息及追踪相机的当前环境信息建立行为预测模型，并根据行为预测模型预测关键目标的未来行为。本发明基于人工智能可实现对人或动物的分类识别和行为预测，不仅能更准确地跟踪关键目标的行为轨迹，而且还能帮助用户有效监控和管理监控区域内的关键目标，提升用户体验。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种关键目标的行为预测的网络架构示意图；
图2是本发明实施例提供的一种关键目标的行为预测方法的流程示意图；
图3是本发明实施例提供的一种关键目标的行为预测装置结构示意图；
图4是本发明实施例提供的一种AI服务器的硬件结构框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本发明实施例提供了一种新的关键目标的行为预测技术方案，可实现对人或动物的分类识别和行为预测，不仅能更准确地跟踪关键目标，而且还能帮助用户有效监控和管理监控区域内的关键目标，提升用户体验。下面首先介绍本发明提供的关键目标的行为预测的网络架构，具体参见图1，该架构主要包括：
(1)追踪相机：追踪相机内设置有红外感应的追踪传感器，用于在检测到人或动物向外散发的热红外线或者检测到温度差的情况下，触发追踪相机进行拍摄并将拍摄得到的户外图像通过WiFi或者移动网络(3G/4G/5G)传输到AI服务器中。
(2)AI服务器：AI服务器为部署在云端的服务器，在AI服务器内部署具有分类和识别功能的卷积神经网络，当AI服务器接收到追踪相机通过通讯网络发送的户外图像时，AI服务器对该户外图像进行分类和识别，而且，当AI服务器积累的户外图像的数量足够多的情况下，该AI服务器还可以根据大量的户外图像中的关键目标信息进行数学建模，建立行为预测模型，并通过该行为预测模型预测人或动物的未来行为。
(3)用户终端：该用户终端通常为智能手机，平板电脑、智能可穿戴设备，计算机等智能设备。该用户终端可用于接收AI服务器对户外图像的分类和识别结果，并将分类和识别结果以时间轴或者地图的形式呈现，以方便用户查看追踪相机监控区域的人或动物情况；该用户终端还可用于接收AI服务器预测追踪相机监控区域内人或动物的未来行为，用户可根据预测的未来行为提高打猎成功的概率，或者帮助用户有效监控该监控区域内的人或动物。
下面结合附图详细描述本发明实施例提供的关键目标的行为预测方法，参见图2，图2是本发明实施例提供的一种关键目标的行为预测的流程示意图。如图2所示，该方法应用于AI服务器，具体包括：
S101、获取追踪相机在预设时间片段内自触发拍摄的户外图像。
在本发明实例中，追踪相机为具体红外探测功能，和/或，温差感应功能的户外相机。以打猎为例子，用户常常将追踪相机绑在户外的树干上，当有人或动物经过该追踪相机的监控范围时，追踪相机可以检测到人或动物散发的红外线或者经过的温差变化，从而触发追踪相机进行拍摄得到户外图像或者户外视频，并将户外图像或者户外视频通过WiFi或者移动网络(3G/4G/5G)发送至AI服务器中，相应的AI服务器接收追踪相机发送的户外图像或者户外视频。
可选地，AI服务器还可以接收由用户终端，例如智能手机或者个人电脑，发送的户外图像或者户外视频，例如，用户终端通过读卡器读取追踪相机的存储卡(例如sd卡或者tf卡)中的户外图像或者户外视频后，将户外图像或者户外视频通过用户终端发送至AI服务器。
S102、将户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像。
在AI服务器中预先部署已训练完成的卷积神经网络，该卷积神经网络可基于图像内容对户外图像中的场景和目标(动物或者人)进行分类和识别。AI服务器将接收到户外图像输入到该卷积神经网络进行识别和分类后，将输出得到带标注信息的户外图像，其中标注信息至少包括：场景类别、目标类别和行为信息。举例来说，场景类别例如为栖息地、饮水地等，目标类别例如为野猪、羚羊、花鹿等动物或者为偷盗的人，行为信息例如为停留、行走、进食、休息等。
本发明中的卷积神经网络可以是LeNet、AlexNet、GoogLeNet、VGGNet、ResNet等任意类型的神经网络模型，本发明对此不作具体限定。
可选的，若户外图像为误触发拍摄得到的，例如根据卷积神经网络识别该户外图像中不存在相关目标对象，例如不存在动物或者人，则过滤删除该户外图像，无需通过网络向用户终端传输该图像，以减少用户使用的流量和被打扰的次数；若所述户外图像的图像质量低于预设阈值，例如根据卷积神经网络识别该户外图像中存在模糊、偏色、偏暗、拖影中的一种或者多种，则对该户外图像进行修正处理，例如对该图像进行除雾、提高分辨率、提高清晰度、调整对比度、调整偏色等处理，经处理后的图像质量满足预设阈值；若户外图像为在光线较弱的环境，例如夜晚拍摄得到的，该户外图像通常为黑白图像，则需对该户外图像进行彩色化处理。
S103、根据目标类别，从带标注信息的户外图像中筛选出包含关键目标的目标图像。
在追踪相机监控区域内通常会出现不止一种类型的动物，为帮助用户对不同类型的动物进行有效管理和监控，提高用户体验，AI服务器还可以根据关键目标的目标类别，从带标注信息的户外图像中筛选出包含关键目标的目标图像，例如从野猪图像、羚羊图像、花鹿图像中筛选出羚羊图像。
为便于用户查看追踪相机所在监控区域内关键目标随时间的动态变化情况，本发明在筛选出包含关键目标的目标图像之后，还根据目标图像生成关键目标的时间轴信息，其中时间轴信息包括时间信息、地理信息、场景类别和行为信息；并将时间轴信息和目标图像发送至用户终端，以使用户终端显示目标图像和时间轴信息。举例来说，在筛选出包含羚羊的所有图像之后，分别从这些图像中提取拍摄时间和拍摄地点，并基于卷积神经网络识别图像中的场景和关键目标的行为之后，按照拍摄时间顺序梳理上述信息得到羚羊的时间轴信息，并将包含羚羊的目标图像和羚羊的时间轴信息发送至用户终端，用户终端可将羚羊的目标图像按照羚羊的时间顺序进行排布并显示，并在各个目标图像附近显示拍摄时间、拍摄地点、拍摄场景、羚羊的行为中任意一项或者任意多项组合。
可选的，在根据目标图像生成关键目标的时间轴信息之后，对关键目标的时间轴信息进行统计，得到关键目标的习惯行为，并将关键目标的习惯行为发送至用户终端。例如，从羚羊的时间轴信息中可以统计出羚羊习惯在什么时间段，什么地点，什么场景，做了什么行为。因此，可更加准准确地追踪关键目标的行为轨迹，基于行为轨迹可以帮助用户获取关键目标行为特征等信息。
为提高卷积神经网络的分类和识别的准确率，本发明的AI服务器还对卷积神经网络的分类和识别结果进行校正和纠错。在将时间轴信息和目标图像发送至用户终端之后，或者在将关键目标的习惯行为发送至用户终端之后，如用户终端向AI服务器反馈错误信息，该错误信息可包括错误时间轴信息，和/或，错误习惯行为，则AI服务器会获取错误信息对应的目标图像及其对应的人为标注信息，并将该人为标注信息和该目标图像重新输入到卷积神经网络中进行训练。
在提高卷积神经网络的分类和识别的准确率方面，如果将户外图像输入到卷积神经网络中进行分类和识别之后，无法得到带标注信息的户外图像，则获取该户外图像的人为标注信息，并将该户外图像和其人为标注信息重新输入到卷积神经网络中进行重新训练。
可能的实施例中，追踪相机为多个，且各个追踪相机的地理位置不同，AI服务器接收来自不同地理位置的追踪相机发送的户外图像，并针对各个户外图像进行分类和识别后，从中筛选出包含关键目标的目标图像。AI服务器基于这些目标图像，生成关键目标地图，例如生成羚羊地图，在羚羊地图可显示羚羊经常出没的标记，羚羊休息地和羚羊饮水地等。AI服务器还可将关键目标地图发送至用户终端，不仅帮助了用户提升打猎的成功概率，而且大大增加了趣味性。
S104、当目标图像的数量超过预设数值后，根据目标图像的时间信息、地理信息、场景类别、行为信息及追踪相机的当前环境信息建立行为预测模型，并根据行为预测模型预测关键目标的未来行为。
其中当前环境信息包括：天气、日期、温湿度、气温、风向、降雨情况、日出、日落、月相中的任意一种或者任意多种组合。
行为预测模型可基于关键目标过往一段时间内的行为特性以及当前环境特征，对该关键目标未来一段时间内可能会出现的行为进行预测。在根据行为预测模型预测关键目标的未来行为之后，AI服务器还将预测得到的关键目标的未来行为发送至用户终端，以帮助用户提升打猎成功的概率。
另外，如果追踪相机用于监控养殖畜牧场，行为预测模型还可用于预测是否有偷盗的行为，例如如监控到陌生人持续三天以上都在某个时间段出现在追踪相机的监控范围内并且在关键目标附近持续逗留一段时间，则行为预测模型会预测可能出现偷盗行为，并向用户发送偷盗预警信息，以帮助畜牧场主人有效保护养殖的动物。上述场景仅仅用于举例，诸如此类应用场景，本发明实施例均可适用。
在预测关键目标的未来行为之后，AI服务器获取追踪相机自触发拍摄得到的户外图像；若将户外图像输入到卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为关键目标，而且其行为信息与预测的未来行为相符，则触发向用户终端发送提醒信息或者预警信息。
本发明实施例中，AI服务器获取追踪相机在预设时间片段内自触发拍摄的户外图像；并将户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；然后根据目标类别，从带标注信息的户外图像中筛选出包含关键目标的目标图像；当目标图像的数量超过预设数值后，根据目标图像的时间信息、地理信息、场景类别、行为信息及追踪相机的当前环境信息建立行为预测模型，并根据行为预测模型预测关键目标的未来行为。本发明基于人工智能可实现对关键目标的分类识别和行为预测，不仅能更准确地跟踪关键目标的行为轨迹，而且还能帮助用户有效监控和管理监控区域内的关键目标，提升用户体验。
图3是本发明实施例提供的一种用于关键目标的行为预测装置300，该装置300包括：
通信模块301，用于获取追踪相机在预设时间片段内自触发拍摄的户外图像；
神经网络模块302，用于将所述户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；其中所述标注信息包括场景类别、目标类别和行为信息；
关键目标筛选模块303，用于根据所述目标类别，从所述带标注信息的户外图像中筛选出包含关键目标的目标图像；
行为预测模块304，用于当所述目标图像的数量超过预设数值后，根据所述目标图像的时间信息、地理信息、场景类别、行为信息及所述追踪相机的当前环境信息建立行为预测模型，并根据所述行为预测模型预测所述关键目标的未来行为。
优选地，所述装置还包括预警模块305，所述预警模块305用于，继续获取所述追踪相机自触发拍摄得到的户外图像；若将所述户外图像输入到所述卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为所述关键目标，而且其行为信息与预测的所述未来行为相符，则触发向用户终端发送提醒信息。
优选地，所述装置还包括图像筛选处理模块306，所述图像筛选处理模块306用于，若所述户外图像为误触发拍摄得到的，则过滤该户外图像；若所述户外图像的图像质量低于预设阈值，则对该户外图像进行修正处理，以使该户外图像的图像质量满足所述预设阈值；若所述户外图像为在光线较弱的环境拍摄得到的，则对该户外图像进行彩色化处理。
优选地，时间轴信息生成模块307，所述时间轴信息生成模块307用于，根据所述目标图像生成所述关键目标的时间轴信息，其中所述时间轴信息包括时间信息、地理信息、场景类别和行为信息；并将所述时间轴信息和所述目标图像发送至用户终端，以使所述用户终端显示所述目标图像和所述时间轴信息。
优选地，所述行为预测模块304还用于，对所述关键目标的时间轴信息进行统计，得到所述关键目标的习惯行为，并将所述关键目标的习惯行为发送至所述用户终端。
优选地，所述装置还包括校正模块308，所述校正模块308用于，接收从用户终端反馈的错误信息，并获取所述错误信息对应的目标图像；其中所述错误信息包括错误时间轴信息，和/或，错误习惯行为；获取所述错误信息对应的目标图像的人为标注信息，并将该人为标注信息和该目标图像重新输入到所述卷积神经网络中进行训练。
优选地，所述校正模块308还用于，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，若无法得到带标注信息的户外图像，则获取该户外图像的人为标注信息，并将该户外图像和其人为标注信息重新输入到所述卷积神经网络中进行训练。
优选地，所述装置还包括地图生成模块309，所述地图生成模块309用于，根据从多个不同地理位置的追踪相机对应的目标图像，生成关键目标地图，并将所述关键目标地图发送至用户终端；其中所述关键目标地图包括所述关键目标的休息地，和/或，饮水地。
在一些实施例中，所述本发明实施例提供的用于关键目标的行为预测装置具有的功能或包含的模块可以用于执行上文图2方法实施例描述的方法，其具体实现可以参照上文图2方法实施描述，为了简洁，这里不再赘述。
图4是本发明实施例提供的一种AI服务器的硬件结构框图。该AI服务器可以是部署在云端的服务器。具体的，该AI服务器包括：包括处理器401、一个或多个输入接口402、一个或多个输出接口403和存储器404，其中，所述存储器404用于存储计算机程序，所述计算机程序包括程序指令，所述处理器401用于调用所述程序指令，执行图2方法实施例中的任一方法和步骤。
上述处理器401、一个或多个输入接口402、一个或多个输出接口403和存储器404通过总线405连接。存储器404用于存储指令，处理器401用于执行存储器404存储的指令，输入接口402用于接收数据，例如接收追踪相机发送的户外图像，输出接口603用于输出数据，例如向用户终端发送预测的关键目标的未来行为、关键目标地图等。
应当理解，在本公开实施例中，所称处理器401可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如，存储器404还可以存储接口类型的信息。
在一些实现方式中，本公开实施例中所描述的AI服务器的上述各部件可用于执行图2方法实施例中的任一方法步骤，为了简洁，这里不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，若该计算机可读存储介质应用于AI服务器，所述程序指令被处理器执行时实现图2方法实施例描述的步骤。
所述计算机可读存储介质可以是前述任一实施例所述的计算设备的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述计算设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述计算设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种关键目标的行为预测方法，其特征在于，应用于AI服务器，并用于打猎场景，包括：
获取追踪相机在预设时间片段内自触发拍摄的户外图像；其中所述追踪相机检基于红外探测功能和温差感应功能触发拍摄；
将所述户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；其中所述标注信息包括场景类别、目标类别和行为信息；
根据所述目标类别，从所述带标注信息的户外图像中筛选出包含关键目标的目标图像；
当所述目标图像的数量超过预设数值后，根据所述目标图像的时间信息、地理信息、场景类别、行为信息及所述追踪相机的当前环境信息建立行为预测模型，并根据所述行为预测模型预测所述关键目标的未来行为；
继续获取所述追踪相机自触发拍摄得到的户外图像；若将所述户外图像输入到所述卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为所述关键目标，而且其行为信息与预测的所述未来行为相符，则触发向用户终端发送提醒信息。
2.根据权利要求1所述的方法，其特征在于，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，所述方法还包括：
若所述户外图像为误触发拍摄得到的，则过滤该户外图像；
若所述户外图像的图像质量低于预设阈值，则对该户外图像进行修正处理，以使该户外图像的图像质量满足所述预设阈值；
若所述户外图像为在光线较弱的环境拍摄得到的，则对该户外图像进行彩色化处理。
3.根据权利要求2所述的方法，其特征在于，在从所述带标注信息的户外图像中筛选出包含关键目标的目标图像之后，所述方法还包括：
根据所述目标图像生成所述关键目标的时间轴信息，其中所述时间轴信息包括时间信息、地理信息、场景类别和行为信息；
并将所述时间轴信息和所述目标图像发送至用户终端，以使所述用户终端显示所述目标图像和所述时间轴信息。
4.根据权利要求3所述的方法，其特征在于，在根据所述目标图像生成所述关键目标的时间轴信息之后，所述方法还包括：
对所述关键目标的时间轴信息进行统计，得到所述关键目标的习惯行为，并将所述关键目标的习惯行为发送至所述用户终端。
5.根据权利要求4所述的方法，其特征在于，在将所述时间轴信息和所述目标图像发送至用户终端之后，或者在将所述关键目标的习惯行为发送至所述用户终端之后，所述方法还包括：
接收从用户终端反馈的错误信息，并获取所述错误信息对应的目标图像；其中所述错误信息包括错误时间轴信息，和/或，错误习惯行为；
获取所述错误信息对应的目标图像的人为标注信息，并将该人为标注信息和该目标图像重新输入到所述卷积神经网络中进行训练。
6.根据权利要求1所述的方法，其特征在于，在将所述户外图像输入到卷积神经网络中进行分类和识别之后，所述方法包括:
若无法得到带标注信息的户外图像，则获取该户外图像的人为标注信息，并将该户外图像和其人为标注信息重新输入到所述卷积神经网络中进行训练。
7.根据权利要求1所述的方法，其特征在于，所述追踪相机为多个，且各个追踪相机的地理位置不同，在筛选出包含关键目标的目标图像之后，所述方法还包括：
根据从多个不同地理位置的追踪相机对应的目标图像，生成关键目标地图，并将所述关键目标地图发送至用户终端；其中所述关键目标地图包括所述关键目标的休息地，和/或，饮水地。
8.一种用于关键目标的行为预测的装置，其特征在于，包括：
通信模块，用于获取追踪相机在预设时间片段内自触发拍摄的户外图像；
神经网络模块，用于将所述户外图像输入到卷积神经网络中进行分类和识别，得到带标注信息的户外图像；其中所述标注信息包括场景类别、目标类别和行为信息；
关键目标筛选模块，用于根据所述目标类别，从所述带标注信息的户外图像中筛选出包含关键目标的目标图像；
行为预测模块，用于当所述目标图像的数量超过预设数值后，根据所述目标图像的时间信息、地理信息、场景类别、行为信息及所述追踪相机的当前环境信息建立行为预测模型，并根据所述行为预测模型预测所述关键目标的未来行为；
预警模块，用于继续获取所述追踪相机自触发拍摄得到的户外图像；若将所述户外图像输入到所述卷积神经网络中进行分类和识别，得到的带标注信息的户外图像中的目标类别为所述关键目标，而且其行为信息与预测的所述未来行为相符，则触发向用户终端发送提醒信息。
9.一种AI服务器，其特征在于，包括处理器、输入接口、输出接口和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281441.9A CN111354024B (zh) | 2020-04-10 | 2020-04-10 | 关键目标的行为预测方法、ai服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281441.9A CN111354024B (zh) | 2020-04-10 | 2020-04-10 | 关键目标的行为预测方法、ai服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111354024A CN111354024A (zh) | 2020-06-30 |
| CN111354024B true CN111354024B (zh) | 2023-04-21 |
Family
ID=71197671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010281441.9A Active CN111354024B (zh) | 2020-04-10 | 2020-04-10 | 关键目标的行为预测方法、ai服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111354024B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881946A (zh) * | 2020-07-09 | 2020-11-03 | 珠海格力电器股份有限公司 | 一种安全监控方法、装置、存储介质、电子设备以及空调 |
| CN112255628A (zh) * | 2020-10-09 | 2021-01-22 | 新石器慧义知行智驰(北京)科技有限公司 | 障碍物轨迹预测方法、装置、设备和介质 |
| CN112559099B (zh) * | 2020-12-04 | 2024-02-27 | 北京国家新能源汽车技术创新中心有限公司 | 基于用户行为的远程图像显示方法、装置、系统及存储介质 |
| CN113673351A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种行为检测方法、设备以及存储介质 |
| CN114384813B (zh) * | 2021-11-30 | 2023-06-20 | 重庆电子工程职业学院 | 智能家居的预警提示系统 |
| CN117831134A (zh) * | 2024-03-01 | 2024-04-05 | 广州大学 | 一种动态环境下动物异常行为的监测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818312A (zh) * | 2017-11-20 | 2018-03-20 | 湖南远钧科技有限公司 | 一种基于异常行为识别的嵌入式系统 |
| CN110135345A (zh) * | 2019-05-15 | 2019-08-16 | 武汉纵横智慧城市股份有限公司 | 基于深度学习的行为识别方法、装置、设备及存储介质 |
| CN110751675A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208957427U (zh) * | 2017-08-16 | 2019-06-11 | 图灵通诺（北京）科技有限公司 | 结算装置用货架 |
-
2020
- 2020-04-10 CN CN202010281441.9A patent/CN111354024B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818312A (zh) * | 2017-11-20 | 2018-03-20 | 湖南远钧科技有限公司 | 一种基于异常行为识别的嵌入式系统 |
| CN110135345A (zh) * | 2019-05-15 | 2019-08-16 | 武汉纵横智慧城市股份有限公司 | 基于深度学习的行为识别方法、装置、设备及存储介质 |
| CN110751675A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技（深圳）有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111354024A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354024B (zh) | 关键目标的行为预测方法、ai服务器及存储介质 | |
| CN108777815B (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108764370B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| KR101825045B1 (ko) | 경보 방법 및 장치 | |
| CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| US20200226360A1 (en) | System and method for automatically detecting and classifying an animal in an image | |
| CN111476179B (zh) | 关键目标的行为预测方法、ai追踪相机及存储介质 | |
| US11710392B2 (en) | Targeted video surveillance processing | |
| CN112166439A (zh) | 真实到合成图像域转移 | |
| CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN106791710A (zh) | 目标检测方法、装置和电子设备 | |
| CN111210399B (zh) | 一种成像质量评价方法、装置及设备 | |
| CN108765033B (zh) | 广告信息推送方法和装置、存储介质、电子设备 | |
| JP2004534315A (ja) | 移動対象物を監視する方法およびシステム | |
| JP2004531842A (ja) | サーベイランスシステムおよび監視システムに関する方法 | |
| JP2004537790A (ja) | 移動対象物評価システムおよび方法 | |
| CN112396116B (zh) | 一种雷电检测方法、装置、计算机设备及可读介质 | |
| CN115004269B (zh) | 监视装置、监视方法及程序 | |
| CN110956118B (zh) | 目标对象检测方法和装置、存储介质及电子装置 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN112733690A (zh) | 一种高空抛物检测方法、装置及电子设备 | |
| US11134221B1 (en) | Automated system and method for detecting, identifying and tracking wildlife | |
| Giyenko et al. | Application of convolutional neural networks for visibility estimation of CCTV images | |
| CN111444758A (zh) | 一种基于时空信息的行人重识别方法及装置 | |
| CN112166432A (zh) | 用于相机间个体及个体特性识别的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240506 Address after: 518000 Room 501, building 4, Antongda industrial plant, 68 Xingdong community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN SIYUAN ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: SHENZHEN CITY FIVE TECHNOLOGY Co.,Ltd. Country or region before: China |