CN108874910B - 基于视觉的小目标识别系统 - Google Patents

Abstract

本申请公开了一种基于视觉的小目标识别系统。该系统包括：摄像装置用于采集图像；视觉算法服务器用于接收该图像，对该图像中的小目标进行识别；数据库集群用于在该图像中存在该小目标的情况下，存储该图像；关系数据库用于根据该图像的采集时间，对存储在该数据库集群中的该图像进行数据清洗并存储清洗后的图像；应用服务器用于数据交互；和用户终端用于显示图像和与该图像相关的信息；其中，该摄像装置、该视觉算法服务器、该数据库集群、该关系数据库、该应用服务器和该用户终端依次连接，该数据库集群与该应用服务器连接。该系统采用视觉技术实现对指定区域内小目标的识别、检测，从而用户能够快速查看图片。

Description

基于视觉的小目标识别系统

技术领域

本申请涉及图像识别与处理技术领域，特别是涉及一种基于视觉的小目标识别系统。

背景技术

传统识别鼠情的方式一般通过传统的方式，如粉剂法，鼠夹法，粘鼠板，目测法，这样原始的方式识别鼠情存在诸多不足，粉剂法往往在指定区域铺洒粉剂，根据生物在上面通过之后留下痕迹来判断是否有生物通过，通过足迹来判断生物是否为老鼠，但是这样的识别方式往往只能识别是否有老鼠通过，但不能统计老鼠出现的具体时间和规律，并且这样的方式又要受到环境等诸多因素的限制，如：天气、湿度、风力，是否有其他宠物或生物破坏等。鼠夹法和粘鼠板方式仅适用于捕鼠或灭鼠，但是如果鼠夹或粘鼠板捕获老鼠后如果未被主人发现及时清理的话，老鼠因为“被困”而死亡后，但老鼠身上的病菌并未因为老鼠的死亡而消失，恰恰因为老鼠的尸体因为未被及时清理而发霉变质，病菌会以几何级数的速率增长和蔓延，灭鼠不但没有消灭病菌，反而更使得病菌快速蔓延，同时老鼠的尸体还可能会二次污染给老鼠食物链上端的生物，如：猫，蛇，狗等动物。用目测法来获取老鼠信息无异于守株待兔，用专人来“看管”老鼠往往更是得不偿失的。现有技术中虽然存在利用图像识别技术识别小型生物的方法，但是如果采用摄像机进行不间断地拍照时，会产生大量的图像数据，将这些数据存放在数据库中时，由于数据量大，导致查看速度变慢，用户不能快速获得关于当前时间老鼠的检测图片。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于视觉的小目标识别系统，包括：

摄像装置，用于采集某个区域的图像；

视觉算法服务器，用于接收所述图像，对所述图像中的特定的小目标进行识别；

数据库集群，用于在所述图像中存在所述小目标的情况下，存储所述图像；

关系数据库，用于根据所述图像的采集时间，对存储在所述数据库集群中的所述图像进行数据清洗并存储清洗后的图像；

应用服务器，用于在所述数据库集群、所述关系数据库和用户终端之间进行数据交互；和

用户终端，用于显示所述数据库集群和/或所示所述关系数据库中的图像和与该图像相关的信息；

其中，所述摄像装置、所述视觉算法服务器、所述数据库集群、所述关系数据库、所述应用服务器和所述用户终端依次连接，所述数据库集群与所述应用服务器连接。

该系统采用机器视觉技术实现对指定区域内老鼠的识别、检测，将采集的数据存储在数据库集群中，根据所述图像的采集时间，将一部分图片存储在关系数据库中，从而用户能够快速查看存储在关系数据库中的图片，由于数据库集群中保存完整的数据，因此用户也能够查看其它时刻拍摄的图片。

可选地，所述视觉算法服务器包括第一存储装置和第二存储装置，其中，所述第一存储装置用于在所述图像中存在所述小目标的情况下，临时存储所述小目标的数量值，并且根据对该图像后面的图像进行小目标识别得到的识别结果调整所述数量值，所述第二存储装置用于存储所述小目标的历史统计值，在从后续的图像中不能识别出所述小目标的情况下，利用当前数量值与所述历史统计值的和更新所述历史统计值并存储更新后的历史统计值。

可选地，所述视觉算法服务器用于通过人工智能对所述图像中的特定的小目标进行识别。

可选地，所述数据库集群包括以下数据库中的一种或几种：大数据平台、数据仓库、实时数据库、时序数据库、分布式关系型数据库、分布式非关系型数据库和基于分布式文件存储的数据库。

可选地，所述关系数据库用于根据所述图像的采集时间，将存储在所述数据库集群中的最新采集的图像进行数据清洗并存储清洗后的图像。

可选地，所述应用服务器用于将所述数据库集群中图像和所述关系数据库中的图像按照时间标签分为不同的组，接收所述用户终端传送的用户对所述不同的组的操作，从所述数据库集群和/或所述关系数据库中调取与所述操作相对应的图片并传送给所述用户终端。

可选地，所述用户终端用于显示数据显示界面，所述数据显示界面中包括时间标签和查询框，其中，所述时间标签与对应的图像数据列表相关联；所述查询框用于接收用户的查询条件，将所述查询条件传送给应用服务器，以便所述应用服务器在所述数据库集群和/或所述关系数据库进行查询，所述用户终端用于接收所述应用服务器的查询结果并将所述查询结果显示给所述用户。

可选地，所述摄像装置的数量为两个以上，设置在同一个区域的不同位置或者设置在不同区域。

可选地，所述用户终端包括以下终端中的一种或几种：智能手机、可穿戴设备、掌上电脑、平板电脑或大屏幕显示系统。

可选地，所述摄像装置和所述视觉算法服务器通过物联网连接。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请的基于视觉的小目标识别系统的一个实施例的示意性框图；

图2、图3和图4是根据本申请的系统得到的识别结果的示意图；

图5至图8是数据显示界面的实施例的示意图。

具体实施方式

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请的实施例提供了基于视觉的小目标识别系统。图1是根据本申请的基于视觉的小目标识别系统的一个实施例的示意性框图。该系统包括：

摄像装置，用于采集某个区域的图像；

视觉算法服务器，用于接收所述图像，对所述图像中的特定的小目标进行识别；

数据库集群，用于在所述图像中存在所述小目标的情况下，存储所述图像；

关系数据库，用于根据所述图像的采集时间，对存储在所述数据库集群中的所述图像进行数据清洗并存储清洗后的图像；

应用服务器，用于在所述数据库集群、所述关系数据库和用户终端之间进行数据交互；和

用户终端，用于显示所述数据库集群和/或所示所述关系数据库中的图像和与该图像相关的信息；

其中，所述摄像装置、所述视觉算法服务器、所述数据库集群、所述关系数据库、所述应用服务器和所述用户终端依次连接，所述数据库集群与所述应用服务器连接。

该系统采用视觉技术实现对指定区域内老鼠的识别、检测，将采集的数据存储在数据库集群中，根据所述图像的采集时间，将一部分图片存储在关系数据库中，从而用户能够快速查看存储在关系数据库中的图片，由于数据库集群中保存完整的数据，因此用户也能够查看其它时刻拍摄的图片。

该系统包括至少一个摄像装置，该摄像装置可以是具有夜视功能的网络摄像机，以便在夜间没有光源的情况下也能进行拍摄。摄像装置的数量可以是一个、两个也可以是多个，具体数量可以根据区域的范围确定。多个摄像装置可以设置同一个区域的不同位置，也可以设置在不同的区域，从而能够对多区域同时进行远程采集和处理。采集图像的频率可以根据需要设置，例如，设置为每秒采集一次。采集的图片通过物联网上传到视觉算法服务器，由视觉算法服务器进行图像的处理。例如，视觉算法服务器存储有小目标识别算法，能够对图像中的小目标进行识别。小目标可以是小型生物，例如，老鼠等。

在图1中显示的是第一用户终端和第二用户终端。可以理解的是，该图仅仅是示意，并不对用户终端的数量进行限制。用户终端包括至少一个用户终端，也可以是多个用户终端。

在视觉算法服务器中，可以通过人工智能等进行小目标识别。人工智能可以包括机器学习、深度学习和神经网络。例如，可以通过粒子群算法、遗传算法、贪婪算法或蚁群算法进行小目标识别。

可选地，在视觉算法服务器中，通过人工智能对所述图像中的特定的小目标进行识别。可选地，在视觉算法服务器中，通过经过训练的深度学习模型对所述图像中的特定的小目标进行识别。该视觉算法服务器能够实现单只或多只老鼠的自动识别。

在视觉算法服务器中可以执行以下步骤：

背景模型建立步骤：将图像集合中的第一图像作为背景模型，将所述第一图像的每一个像素点建立初始样本集，所述初始样本集包括与该像素点临近的像素点的像素值；像素点分类步骤：将所述图像集合的第二图像中的像素点的第二样本集与第一图片中对应的像素点的所述初始样本集进行对比，将第二图像的像素点划分为前景点或背景点，其中，所述第二图像中的像素点的样本集包括与该像素点临近的像素点；轮廓确定步骤：确定所述第二图像中被划分为前景的像素点所构成的轮廓以形成前景区域图片；和目标检测步骤：利用经过训练的分类模型对所述前景区域图片进行分类，从而确定待检测的目标。其中，第二图像可以是图像采集步骤中采集的图像。采用第一图像作为背景模型能够极大降低建立背景模型对内存的大量消耗，加快运算速度；采用人工智能进行分类相对于传统的特征点匹配分类方法分类的精度更高，并且更灵活。

可选地，在所述背景模型建立步骤之前，该视觉算法服务器中可以执行：分类模型训练步骤：利用背景样本集和待检测的目标样本集对分类模型进行训练，在该分类模型的准确率达到第一阈值的情况下，得到经过训练的分类模型。该步骤能够将获取的一定数量的待检测小目标样本集和背景负样本集利用人工智能建立高精度分类器，对制作的分类样本集进行训练生成人工智能模型，将目标样本与负样本有效分类。

可选地，所述像素点分类步骤包括：将所述第二样本集中的每一个元素与所述初始样本集中的每一个元素作差，在所有的差值均大于第二阈值的情况下，将所述第二样本集对应的像素点设置为前景点，否则将该像素点设置为背景点，根据前景点和背景点对所述第二图像的像素点进行二值化处理，将被设置为背景点的像素点加入背景模型中。

可选地，所述轮廓确定步骤包括：通过开闭运算消除离散的前景点，通过积分运算将前景点围成的区域中的像素点设置为前景点。采用该方法，能够得到连续的轮廓，消除了噪声的干扰。

可选地，在所述目标检测步骤之后，还包括；分类模型更新步骤：在利用经过训练的分类模型对所述前景区域图片进行分类得到的分类结果为背景，则利用该分类结果反向更新所述背景模型。该方法能够通过结果对分类模型进行反馈和更新，使得分类模型更加准确，提高后续目标检测的速度和效果。

图2、图3和图4是根据本申请的系统得到的识别结果的示意图。利用该系统对在某餐厅中进行实验时拍摄的图像进行处理，通过小目标识别得到识别结果，并在图像中用轮廓线描出小目标的轮廓。可以看出，图2中对视野近处检测结果为一只老鼠且轮廓比较完整；图3中有两只老鼠，虽然在视野远处，但是也可检测出这两只老鼠，显示易辨别的轮廓；图4中有三只老鼠，检测的结果也为三个。可以理解的是，该方法也可以对更多只老鼠同时进行检测。可见，该方法能够准确识别小目标。

可选地，所述视觉算法服务器包括第一存储装置和第二存储装置，其中，所述第一存储装置用于在所述图像中存在所述小目标的情况下，临时存储所述小目标的数量值，并且根据对该图像后面的图像进行小目标识别得到的识别结果调整所述数量值，所述第二存储装置用于存储所述小目标的历史统计值，在从后续的图像中不能识别出所述小目标的情况下，利用当前数量值与所述历史统计值的和更新所述历史统计值并存储更新后的历史统计值。

对包含检测结果的图片进行存储，按照时间顺序，得到历史数据和最新数据。历史数据可以是一天、几天、一个月甚至更长时间的数据，方便用户随时提取某个时段的检测数量。最新数据可以是最近若干分钟、若干小时甚至更长时间的数据。通过这些历史数据和最新数据，能够核查老鼠的检测情况，从而计算出系统的漏检率和误检率。例如，某只老鼠在某一天没有在摄像头范围内出没，则判断这一天的存在漏检。例如，某只老鼠刚刚已经被统计并计入了历史统计值，但是后来这只老鼠从图像中消失了，该老鼠的数据对于后续统计数据而言，属于误检。

本申请采用人工智能对图像进行识别，能实现抗干扰的功能。背景受光照、遮挡物、周边环境等因素的干扰，都会对检测结果造成影响。通过人工智能可以排除背景变化以及周边环境对老鼠检测的干扰，也能避免误抓的可能性，保证老鼠检测识别的准确性。

拍摄图像的时间间隔可以自行定义。根据具体的环境设置图像采集间隔，一般每秒钟产生三张图片，如果当前实验地点老鼠出没频率较高，可以将设置拍摄图像的时间间隔设置得更小。

可选地，所述数据库集群包括以下数据库中的一种或几种：大数据平台仓库、分布式关系型数据库、分布式非关系型数据库。数据库集群通过大数据流式处理技术，将采集的图像实时传送到数据库集群中。

可选地，所述关系数据库用于根据所述图像的采集时间，将存储在所述数据库集群中的最新采集的图像进行数据清洗并存储清洗后的图像。

可选地，所述关系数据库用于根据所述图像的采集时间，将存储在所述数据库集群中的最新采集的图像进行数据清洗并存储清洗后的图像。

该关系数据库可以基于采集时间，将最新采集的数据存放在关系数据库中。如果用户通过网站或者应用程序(APP)访问历史数据，则通过访问数据库集群中的历史报表进行图片或者信息的查询，如果用户想要查看最新数据，则到普通关系型数据库或缓存数据库中获取。可以理解的是，最新数据也可以通过关系型数据库获取。由于存储在数据库集群中的海量的原始数据中存在着图片不完整、存储信息不一致、数据异常的情况，影响用户在终端上的查询和显示，所以进行数据清洗就显得尤为重要，数据清洗主要是通过一致性检查对不同数据库集群的数据格式进行统一，处理无效值和缺失值等，以提高数据的质量。

由于关系型数据库存储能力的限制，存在存储瓶颈问题。采用该种方式，将最新的数据存储在关系型数据库中，而将历史数据存储在大数据仓库或分布式数据库中，既能够保证所有数据不丢失、防止数据或计算机资源的溢出，又能提供最新数据的访问速度。

可选地，所述应用服务器用于将所述数据库集群中图像和所述关系数据库中的图像按照时间标签分为不同的组，接收所述用户终端传送的用户对所述不同的组的操作，从所述数据库集群和/或所述关系数据库中调取与所述操作相对应的图片并传送给所述用户终端。

可选地，所述用户终端用于显示数据显示界面，所述数据显示界面中包括时间标签和查询框，其中，所述时间标签与对应的图像数据列表相关联；所述查询框用于接收用户的查询条件，将所述查询条件传送给应用服务器，以便所述应用服务器在所述数据库集群和/或所述关系数据库进行查询，所述用户终端用于接收所述应用服务器的查询结果并将所述查询结果显示给所述用户。

图5是数据显示界面的一个实施例的示意图。为了便于理解，在图5中用方框圈出了各个数据的列表，可以理解的是，在实际显示中，这些方框可以不存在。

在图5的数据显示界面中，将采集到的图像按照时间标签分为不同的组，时间标签包括：本日、本周、近1月、近3月、更多，根据用户选择的时间标签显示对应的图像数据列表，列表的每一行中显示监测点编号、监测点名称、抓拍时间、历史统计值和图片链接。图6是数据显示界面的另一个实施例的示意图，通过图片链接，用户可以查看相应时刻采集的图片。用户可以在输入框中输入查询条件，查询条件可以是捕获数量的区间值，根据该查询条件在所述数据库集群和/或所述第二数据库中进行查询，将查询结果显示给所述用户。例如，用户在表示捕获数量是输入框中输入50到100，用户选择的时间标签为“近3月”，第二数据库中存储本周的数据，数据库集群中存储所有的数据，则在所述数据库集群和所述第二数据库查询历史统计值为50至100的数据，将数据列表显示给用户。

图7和图8是数据显示界面的另一个实施例的示意图。图7给出了对多个摄像装置拍摄的图片进行小目标统计的结果。横轴表示的是摄像装置的编号，纵轴表示的是在一定时间段的小目标的历史统计值。图8给出了按月对所有摄像装置进行统计量的结果。该系统能够按日、按周、按月、按年进行统计，还可以针对每一个摄像装置、全部摄像装置、某些区域的摄像装置分别进行统计分析。

可选地，所述用户终端包括以下终端中的一种或几种：智能手机、可穿戴设备、掌上电脑、平板电脑或大屏幕显示系统。

可选地，用户终端还用于在历史统计值超过设定阈值时，生成提示指令。该用户终端具有预警功能，能够在小目标数量超过一定限度时提醒用户。

本申请的系统通过网络摄像机采集检测区域的图像，能够及时准确的统计出鼠情信息，具有准确率高，时效性强的特点。通过此方式获取的图像信息通过网络方式将数据传输到数据存储装置，这里采用了大数据技术，以确保海量数据存储和计算的过程中不会出现硬件瓶颈。进入数据仓库后通过人工智能自动识别影像中是否有老鼠信息，如果没有则忽略该数据，如果识别到有老鼠信息，将会通过只能程序，将捕捉到的老鼠信息完整记录到数据仓库的相关数据表中，并保留相关的影像资料，以便于以后的查验和数据统计。本申请的方法适用于各种监控场所，能够实现全天24小时不间断监控，具有可视化的统计分析功能，得到的数据真实可靠，并且能够将数据自动汇总，自动进行预警提醒，节省了大量的人力物力成本。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于视觉的小目标识别系统，包括：

摄像装置，用于采集某个区域的图像；

视觉算法服务器，用于接收所述图像，通过经过训练的深度学习模型对所述图像中的特定的小目标进行识别，该视觉算法服务器能够实现单只或多只老鼠的自动识别；

数据库集群，用于在所述图像中存在所述小目标的情况下，存储所述图像；

关系数据库，用于根据所述图像的采集时间，对存储在所述数据库集群中的所述图像进行数据清洗并存储清洗后的图像，所述数据清洗包括：通过一致性检查对不同数据库集群的数据格式进行统一、处理无效值和缺失值；

应用服务器，用于在所述数据库集群、所述关系数据库和用户终端之间进行数据交互；和

用户终端，用于显示所述数据库集群和/或所示所述关系数据库中的图像和与该图像相关的信息；

其中，所述摄像装置、所述视觉算法服务器、所述数据库集群、所述关系数据库、所述应用服务器和所述用户终端依次连接，所述数据库集群与所述应用服务器连接；

视觉算法服务器通过经过训练的深度学习模型对所述图像中的特定的小目标进行识别包括：

背景模型建立步骤：将图像集合中的第一图像作为背景模型，将所述第一图像的每一个像素点建立初始样本集，所述初始样本集包括与该像素点临近的像素点的像素值；

像素点分类步骤：将所述图像集合的第二图像中的像素点的第二样本集与第一图片中对应的像素点的所述初始样本集进行对比，将第二图像的像素点划分为前景点或背景点，其中，所述第二图像中的像素点的样本集包括与该像素点临近的像素点；

轮廓确定步骤：确定所述第二图像中被划分为前景的像素点所构成的轮廓以形成前景区域图片；和

目标检测步骤：利用经过训练的分类模型对所述前景区域图片进行分类，从而确定待检测的目标。

2.根据权利要求1所述的系统，其特征在于，所述视觉算法服务器包括第一存储装置和第二存储装置，其中，所述第一存储装置用于在所述图像中存在所述小目标的情况下，临时存储所述小目标的数量值，并且根据对该图像后面的图像进行小目标识别得到的识别结果调整所述数量值，所述第二存储装置用于存储所述小目标的历史统计值，在从后续的图像中不能识别出所述小目标的情况下，利用当前数量值与所述历史统计值的和更新所述历史统计值并存储更新后的历史统计值。

3.根据权利要求1所述的系统，其特征在于，所述视觉算法服务器用于通过人工智能对所述图像中的特定的小目标进行识别。

4.根据权利要求1所述的系统，其特征在于，所述数据库集群包括以下数据库中的一种或几种：大数据平台、数据仓库、实时数据库、时序数据库、分布式关系型数据库、分布式非关系型数据库和基于分布式文件存储的数据库。

5.根据权利要求1所述的系统，其特征在于，所述关系数据库用于根据所述图像的采集时间，将存储在所述数据库集群中的最新采集的图像进行数据清洗并存储清洗后的图像。

6.根据权利要求1所述的系统，其特征在于，所述应用服务器用于将所述数据库集群中图像和所述关系数据库中的图像按照时间标签分为不同的组，接收所述用户终端传送的用户对所述不同的组的操作，从所述数据库集群和/或所述关系数据库中调取与所述操作相对应的图片并传送给所述用户终端。

7.根据权利要求1至6中任一项所述的系统，其特征在于，所述用户终端用于显示数据显示界面，所述数据显示界面中包括时间标签和查询框，其中，所述时间标签与对应的图像数据列表相关联；所述查询框用于接收用户的查询条件，将所述查询条件传送给应用服务器，以便所述应用服务器在所述数据库集群和/或所述关系数据库进行查询，所述用户终端用于接收所述应用服务器的查询结果并将所述查询结果显示给所述用户。

8.根据权利要求1所述的系统，其特征在于，所述摄像装置的数量为两个以上，设置在同一个区域的不同位置或者设置在不同区域。

9.根据权利要求1所述的系统，其特征在于，所述用户终端包括以下终端中的一种或几种：智能手机、可穿戴设备、掌上电脑、平板电脑或大屏幕显示系统。

10.根据权利要求1所述的系统，其特征在于，所述摄像装置和所述视觉算法服务器通过物联网连接。

Images