CN111353331A - 一种目标物的检测方法、检测装置及机器人 - Google Patents
一种目标物的检测方法、检测装置及机器人 Download PDFInfo
- Publication number
- CN111353331A CN111353331A CN201811564457.XA CN201811564457A CN111353331A CN 111353331 A CN111353331 A CN 111353331A CN 201811564457 A CN201811564457 A CN 201811564457A CN 111353331 A CN111353331 A CN 111353331A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- layer
- convolutional
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标物的检测方法、检测装置及机器人，涉及图像处理技术领域。在本发明实施例中，通过对卷积神经网络进行改进，即将卷积神经网络中第一层卷积层中一半滤波算子根据边缘析出效果确定，在利用该卷积神经网络确定获取到的图像中是否存在目标物时，可以快速准确地确定出图像中是否存在目标物，同时还可以大大提高目标物识别的精确度。
Description
技术领域
本发明涉及图像处理技术领域，尤指一种目标物的检测方法、检测装置及机器人。
背景技术
随着生活水平的增加，智能机器人在生活中随处可见，例如扫地机器人，可以自动地对地面进行清理，大大提高了人们的生活品质。然而，在地面上有宠物的粪便时，如果扫地机器人无法识别，会直接从粪便上清扫过去，导致在扫地机器人的行进过程中，造成更大面积地污染，给清理工作增加难度。
那么，如何使得扫地机器人能够快速准确地识别出前方地面上的粪便，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种目标物的检测方法、检测装置及机器人，以使机器人能够快速准确地识别出前方地面上的粪便。
第一方面，本发明实施例提供了一种目标物的检测方法，该方法包括：
获取机器人前方区域的图像；
采用卷积神经网络确定获取到的图像中是否存在目标物；其中，所述卷积神经网络为利用包括目标物的训练集训练后的，所述卷积神经网络包括多层卷积层，第一层卷积层中一半的滤波算子根据边缘析出效果确定；
在所述卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定所述机器人前方存在目标物。
如此，通过对卷积神经网络进行改进，即将卷积神经网络中第一层卷积层中一半滤波算子根据边缘析出效果确定，在利用该卷积神经网络确定获取到的图像中是否存在目标物时，可以快速准确地确定出图像中是否存在目标物，同时还可以大大提高目标物识别的精确度。
可选地，采用卷积神经网络确定获取到的图像中是否存在目标物，具体包括：
针对所述第一层卷积层，在采用第一类滤波算子对输入至所述卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至所述卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和所述第一特征值均传输至第二层卷积层；其中，所述第一类滤波算子为根据边缘析出效果确定，所述第二类滤波算子为在所述卷积神经网络的训练过程中确定；
针对从所述第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将所述新的特征图像、接收到的所述第一特征值和各第二特征值、以及本层卷积层确定出的所述第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的所述第二特征值、以及接收到的所述第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示所述卷积神经网络包括的卷积层的数量。
可选地，所述第一层卷积层包括128个滤波算子。
可选地，根据边缘析出效果确定滤波算子，具体包括：
获取训练样本集合，所述训练样本集合包括多张训练样本图像，所述训练样本图像包括目标物信息；
利用边缘检测算子库中的各边缘检测算子，依次对所述训练样本集合进行边缘析出处理；其中，所述边缘检测算子库中包括的边缘检测算子的数量大于64个；
按照边缘析出处理后的结果从优到差的顺序，对各所述边缘检测算子进行排序；
将前六十四个边缘检测算子确定为所述第一层卷积层中的六十四个滤波算子。
如此，在目标物为粪便时，可以增强粪便的形态特征在分类，以及BBox(矩形外包框)的中心、宽、高的回归过程中的权重，从而增强对小目标(如粪便)的识别精度。
可选地，第二层卷积层包括128个滤波算子；
所述第二层卷积层包括的各所述滤波算子在所述卷积神经网络的训练过程中确定。
如此，可以进一步提高卷积神经网络的识别精确度。
可选地，还包括：
在采用卷积神经网络确定获取到的图像中是否存在目标物之后，确定与输入至所述卷积神经网络中的图像相匹配的概率；所述概率为图像中存在目标物的概率；
判断接收到的所述概率是否大于或等于预设概率；
若是，则确定前方存在目标物；
若否，则确定前方不存在目标物。
如此，可以进一步提高目标物的检测精确度。
可选地，获取机器人前方图像，具体包括：
获取至少三张曝光程度不同的图像；
在获取机器人前方图像之后，还包括：
对获取到的各图像进行防抖处理；
对至少三张具有不同曝光程度的图像进行融合处理后，形成待检测图像；
采用卷积神经网络确定获取到的图像中是否存在目标物，具体包括：
采用卷积神经网络确定所述待检测图像中是否存在目标物。
第二方面，本发明实施例提供了一种目标物的检测装置，应用于机器人，该装置包括：
获取单元，用于获取机器人前方区域的图像；
判断单元，用于采用卷积神经网络确定获取到的图像中是否存在目标物；其中，所述卷积神经网络为利用包括目标物的训练集训练后的，所述卷积神经网络包括多层卷积层，第一层卷积层中一半的滤波算子根据边缘析出效果确定；
确定单元，用于在所述卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定所述机器人前方存在目标物。
可选地，所述判断单元具体用于：
针对所述第一层卷积层，在采用第一类滤波算子对输入至所述卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至所述卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和所述第一特征值均传输至第二层卷积层；其中，所述第一类滤波算子为根据边缘析出效果确定，所述第二类滤波算子为在所述卷积神经网络的训练过程中确定；
针对从所述第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将所述新的特征图像、接收到的所述第一特征值和各第二特征值、以及本层卷积层确定出的所述第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的所述第二特征值、以及接收到的所述第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示所述卷积神经网络包括的卷积层的数量。
第三方面，本发明实施例提供了一种机器人，包括：如本发明实施例提供的上述目标物的检测装置和前置摄像头。
本发明有益效果如下：
本发明实施例提供的一种目标物的检测方法、检测装置及机器人，通过对卷积神经网络进行改进，即将卷积神经网络中第一层卷积层中一半滤波算子根据边缘析出效果确定，在利用该卷积神经网络确定获取到的图像中是否存在目标物时，可以快速准确地确定出图像中是否存在目标物，同时还可以大大提高目标物识别的精确度。
附图说明
图1为本发明实施例中提供的目标物的检测方法的流程图；
图2为本发明实施例中提供的卷积神经网络的训练过程的流程图；
图3为本发明实施例中提供的目标物的检测装置的结构示意图；
图4为本发明实施例中提供的扫地机器人的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种目标物的检测方法、检测装置及机器人的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种目标物的检测方法，应用于机器人，如图1所示，该方法包括：
S101、获取机器人前方区域的图像；
其中，在目标物为粪便时，获取的图像可以是包括地面信息的图像。
S102、采用卷积神经网络确定获取到的图像中是否存在目标物；
其中，卷积神经网络为利用包括目标物的训练集训练后的。
对于目前的faster-RCNN卷积神经网络，是以VGG16网络(该网络为16层的网络，包括13层卷积层和3个全链接层)作为网络基础，该卷积神经网络包括多层卷积层，且第一层卷积层和第二层卷积层均包括64个滤波算子，第三层卷积层和第四层卷积层均包括128个滤波算子，第五层卷积层至第七层卷积层均包括256个滤波算子，第八层卷积层至第十四层卷积层均包括512个滤波算子。
而在本发明实施例中，卷积神经网络为faster-RCNN卷积神经网络，即将第一层卷积层中包括的滤波算子增加了一倍，也就是说第一层卷积层包括128个滤波算子，如此，可以增强粪便的形态特征在分类，以及BBox(矩形外包框)的中心、宽、高的回归过程中的权重，从而增强对小目标(如粪便)的识别精度。
可选地，在本发明实施例中，滤波算子可以为sobel边缘检测算子，但并不限于此。并且，在滤波算子为边缘检测算子时，对于第一卷积层包括的128个滤波算子中，其中一半的滤波算子(即其中的64个)可以根据边缘析出效果确定，而其余的64个滤波算子在卷积神经网络的训练过程中确定。
具体地，在本发明实施例中，根据边缘析出效果确定64个滤波算子的方式可以为：
步骤一、获取训练样本集合，训练样本集合包括多张训练样本图像，训练样本图像包括目标物(如粪便)信息；当然，训练样本图像中还可以包括：光照信息和地面信息等，以有利于提高卷积神经网络的泛化能力。
步骤二、利用边缘检测算子库中的各边缘检测算子，依次对训练样本集合进行边缘析出处理；
其中，边缘检测算子库中包括的边缘检测算子的数量大于64个；利用边缘检测算子对训练样本集合进行边缘析出处理，实质上是利用边缘检测算子对训练样本集合中的各训练样本图像进行处理。而边缘检测算子库中存储了多个边缘检测算子，在利用每一个边缘检测算子对训练样本集合进行处理后均会得到一个边缘析出处理结果(即边缘析出效果)，所以有多少个边缘检测算子，就会得到多少个对应的边缘析出效果，以便于后续根据得到的各边缘析出效果选择出边缘检测算子。
步骤三、按照边缘析出处理后的结果从优到差的顺序，对各边缘检测算子进行排序；
步骤四、将前64个边缘检测算子确定为第一层卷积层中的64个滤波算子。
如此，可以将边缘析出效果较好的前64个边缘检测算子确定为第一层卷积层中的64个滤波算子，进而在利用卷积神经网络提取目标物图像时，可以提高准确度，保证提取到的目标物图像中包括粪便，有利于提高粪便的检测精确度。
可选地，在本发明实施例中，对于卷积神经网络，第二层卷积层可以包括64个滤波算子；或者，为了提高检测的精确度，第二层卷积层还可以包括128个滤波算子，且所有的滤波算子均是在卷积神经网络的训练过程中确定的，对于如何在卷积神经网络的训练过程中确定滤波算子，可参见现有技术，在此不再赘述。
可选地，在本发明实施例中，采用卷积神经网络确定获取到的图像中是否存在目标物，可以具体包括：
针对第一层卷积层，在采用第一类滤波算子对输入至卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和第一特征值均传输至第二层卷积层；其中，第一类滤波算子为根据边缘析出效果确定，第二类滤波算子为在卷积神经网络的训练过程中确定；
针对从第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将新的特征图像、接收到的第一特征值和各第二特征值、以及本层卷积层确定出的第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的第二特征值、以及接收到的第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示卷积神经网络包括的卷积层的数量。
例如，以卷积神经网络包括3层卷积层为例，第一层卷积层中的第一类滤波算子(如sobel边缘检测算子)对输入的图像进行边缘特征提取，第二类滤波算子对输入的图像进行滤波处理，得到第一特征图像，计算与该第一特征图像匹配的第一特征值，将第一特征图像和匹配的第一特征值传输至第二层卷积层。
对于第二层卷积层，滤波算子对接收到的第一特征图像进行滤波处理，得到第二特征图像，计算与该第二特征图像匹配的第二特征值，并将第二特征图像，第二特征值和第一特征值传输至第三层卷积层。
对于第三层卷积层，滤波算子对接收到的第二特征图像进行滤波处理，得到第三特征图像，计算与该第三特征图像匹配的第二特征值；计算接收到的第一特征值和第二特征值、以及与第三特征图像匹配的第二特征值三者的特征值累积值，判断计算出的累积值是否不小于预设特征阈值；若是，则确定输入至卷积神经网络的图像中存在目标物，将第三特征图像作为目标物图像输出；若否，则确定输入至卷积神经网络的图像中不存在目标物，且不会输出任何图像。
具体地，采用第一类滤波算子对输入至卷积神经网络中的图像进行边缘特征提取处理，可以具体包括：
利用第一类滤波算子，对输入至卷积神经网络中的图像进行边缘析出处理，得到边缘析出图像；提取边缘析出图像中的边缘特征信息。
具体地，采用第二类滤波算子对输入至卷积神经网络中的图像进行滤波处理，具体包括：
利用第二类滤波算子，对输入至卷积神经网络中的图像进行滤波处理，得到滤波图像；提取滤波图像中的非边缘特征信息。
需要说明的是，在本发明实施例中，对获取到的图像进行处理的模型，除了上述的卷积神经网络，还可以是学习型深度监督对象检测器(DSOD)，其中，对于DSOD，其中的滤波算子可以是在训练过程中确定出的，或者是第一层卷积层中的部分滤波算子根据边缘析出效果确定，且采用类似上述卷积神经网络中第一类滤波算子的确定方式，重复之处不再赘述。
S103、在卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定机器人前方存在目标物。
在具体实施时，在采用卷积神经网络提取目标物图像时，只要卷积神经网络判断输入的图像中存在疑似目标物的图像，就会认为疑似目标物的图像即为目标物图像，从而提取出该目标物图像，因此可能会出现以下情况：卷积神经网络输出的目标物图像中实际上并不包括目标物，即卷积神经网络输出错误；但由于在卷积神经网络输出目标物图像时即确定前方存在目标物，所以机器人会采取一定的避让措施，此时就会使得机器人进行进一步地处理和运算；这样一来，由于卷积神经网络输出错误，导致后面进行的一系列避让动作均是无用的，所以会引起机器人的功耗增加，若机器人为充电式的机器人时，会大大降低充电电池的使用时间，最终造成资源浪费。
因此，为减少卷积神经网络的输出错误的几率，在本发明实施例中，在采用卷积神经网络确定获取到的图像中是否存在目标物之后，还可以包括：
确定与输入至卷积神经网络中的图像相匹配的概率；概率为图像中存在目标物的概率；
判断接收到的概率值是否大于或等于预设概率；
若是，则确定前方存在目标物；
若否，则确定前方不存在目标物。
也就是说，在卷积神经网络输出目标物图像时，卷积神经网络也会输出概率，该概率用于表示输入至卷积神经网络中的图像中存在目标物的概率，根据该概率可以做进一步地判断，以提高目标物的检测精确度，减少误判的几率。
其中，预设概率可以设置为80％、85％或90％等，可以根据实际需要进行具体设置，在此并不限定。
例如，以目标物为粪便为例，卷积神经网络确定输入的图像中存在疑似粪便的图像，而该疑似粪便的东西有75％的概率为粪便，所以卷积神经网络输出的概率为75％，在预设概率为85％时，因75％小于85％，所以确定前方地面无粪便，机器人可以按照原路径继续行进，或者是采取其他的处理措施。
又例如，以目标物为粪便为例，卷积神经网络确定输入的图像中存在疑似粪便的图像，而该疑似粪便的东西有85％的概率为粪便，所以卷积神经网络输出的概率为85％，在预设概率为85％时，因85％＝85％，所以确定前方地面有粪便，机器人可以采取一定的避让措施。
在具体实施时，在本发明实施例中，在机器人为扫地机器人时，且目标物为粪便时，在确定出前方地面存在粪便时，可以采取避障措施，如重新规划扫地机器人的移动路径，以避免扫地机器人从粪便上扫过，进而避免造成更大面积的污染，最终提高扫地机器人的清洁效率。除了采取避障措施之外，还可以在扫地机器人具有较强的清理功能时，可以在确定出前方地面存在粪便时，对粪便进行清理，以提高扫地机器人的清洁效率。
在具体实施时，对于前述步骤101获取机器人前方的图像，可以利用机器人的前置摄像头来实现，即通过前置摄像头采集前方图像，然后将图像传输至目标物的检测装置中，但是由于机器人在移动过程中，所以通过前置摄像头采集到的图像(如照片)可能会出现抖动、过爆光或过暗的情况，而若将这类图像输入至卷积神经网络中时，可能会导致卷积神经网络识别不出输入的图像中是否存在目标物，从而导致检测耗时较长，检测效率下降。
因此，为了提高卷积神经网络的识别效率，在本发明实施例中，在将获取到的图像输入至卷积神经网络之前，还需要对获取到的图像进行预处理，以提高输入至卷积神经网络中的图像的质量。
具体地，首先，对于前述步骤101获取机器人前方的图像，具体包括：
获取至少三张曝光程度不同的图像。
然后，具体地预处理过程如下：
对获取到的各图像进行防抖处理；
对至少三张具有不同曝光程度的图像进行融合处理后，形成待检测图像。
其中，在对获取到的各图像进行防抖处理时，可以在机器人的移动过程中，调整前置摄像头的快门和传感器增益，对获取到的各图像进行防抖处理。对于融合处理，可以理解为高动态范围曝光(HDR)合成，且可以选择三张具有不同曝光程度的图像即可，将这三张图像融合为一张待检测图像，以便于卷积神经网络的识别。
如此，可以保证待检测图像中没有过曝光部分、以及过暗部分，使得待检测图像接近于目视效果，或者说待检测图像可以认为是输入至卷积神经网络中的合格图像，以提高卷积神经网络的识别效率和准确率。
当然，为了能够保证待检测图像更加接近于目视效果，以及保证待检测图像更加符合卷积神经网络对输入图像的质量要求，还可以选择四张、五张或是更多张具有不同曝光程度的图像，然后将选择出的这些图像融合为一张待检测图像。对于选择将多少张图像融合为一张待检测图像，可以根据实际需要确定，在此并不限定。
最后，对于前述步骤102采用卷积神经网络确定获取到的图像中是否存在目标物，具体包括：采用卷积神经网络确定待检测图像中是否存在目标物。
下面以目标物为粪便为例，对卷积神经网络的训练过程进行描述，参见图2所示。
S201、获取训练样本集合；
其中，训练样本集合中可以包括多张具有粪便的训练样本图像，训练样本图像包括光照信息、粪便信息、以及地面信息；
例如，训练样本集合中可以包括4万张(并不限于此)粪便照片，这些照片可以是在居家环境下地板上的粪便照片，还可以是屋外环境下地面上的粪便照片。这些照片的解像度为1280×720，由红、绿、蓝三色通道构成。并且，为了提高faster-RCNN的泛化能力，4万张照片中可以涵盖以下信息：
光照变化(如顺光或逆光等)；
光照强度(如自然光下的不同光强度，或日光灯下的不同光强度等)；
日光(如早晨的日光、中午的日光或晚上的月光等)；
粪便长度(如2cm、3cm……20cm等)；
粪便直径(如0.5cm、0.75cm、1cm、1.25cm、1.5cm等)；
粪便的新鲜程度(如1分钟内的粪便、1小时内的粪便、1天内的粪便等)；
地面颜色(如地板的颜色(白、橙黄色木地板等)，或是地面的颜色(白色、黑色、红色、灰色等))。
S202、对训练样本集合中包括的各训练样本图像中的粪便进行拉框标定处理；
其中，该步骤实质上是将训练样本图像中的粪便所在区域框选出来，以便于后期训练时使用。
S203、根据拉框标定处理后的图像，确定标定文件；
也就是说，由拉框标定处理后的图像(即粪便所在区域的图像)来构成标定文件，且该标定文件可以是但并不限于label.xml格式的文件。
S204、利用标定文件和训练样本集合中包括的各训练样本图像，对卷积神经网络进行交替训练；
其中，交替的次数可以设置为但并不限于4次，从而有利于生成较好的网络参数，以便于提高卷积神经网络的识别精确度。
在训练后得到Pet_manure_detection_VGG16.caffemodel文件，该文件中包括了训练后得到的网络参数，由Pet_manure_detection_VGG16.caffemodel文件以及卷积神经网络构成了训练好的卷积神经网络。之后将训练好的卷积神经网络加载到芯片中，再将芯片植入到机器人中，以便于在获取到的前方包括地面的图像后，可以利用芯片中训练好的改进后卷积神经网络对图像进行识别，以确定前方地面是否存在粪便。
需要说明的是，在本发明实施例中，粪便可以是各种宠物的粪便，或是人类的粪便，在此并不限定，只要是粪便，均可以通过本发明实施例提供的方法进行检测，以提高具有清洁功能的机器人的清洁效率。
综上，通过本发明实施例提供的检测方法，在目标物为粪便时，在以下几个方面具有较强的优势：对光照变化适应性更强(如适应于居家环境下的各种光照条件)、对粪便形状的变化适应性更强(如可以检测出长度在2cm至20cm，直径在0.5cm以上的粪便；又如可以有效检测出落在地面上的干粪便、湿粪便)、检测准确率更高(如可以达到85％以上)、检测错误更低(如可以降低至1％以下)，从而可以大大提高机器人对粪便的检测精确度。
基于同一发明构思，本发明实施例提供了一种目标物的检测装置，由于该装置的工作原理与前述一种目标物的检测方法的工作原理类似，所以该装置的具体实施方式可参见前述一种目标物的检测方法的实施方式，重复之处不再赘述。
具体地，本发明实施例提供的一种目标物的检测装置，如图3所示，可以包括：
获取单元301，用于获取机器人前方区域的图像；
判断单元302，用于采用卷积神经网络确定获取到的图像中是否存在目标物；其中，卷积神经网络为利用包括目标物的训练集训练后的，卷积神经网络包括多层卷积层，第一层卷积层中一半的滤波算子根据边缘析出效果确定；
确定单元303，用于在卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定机器人前方存在目标物。
可选地，判断单元302具体用于：
针对第一层卷积层，在采用第一类滤波算子对输入至卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和第一特征值均传输至第二层卷积层；其中，第一类滤波算子为根据边缘析出效果确定，第二类滤波算子为在卷积神经网络的训练过程中确定；
针对从第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将新的特征图像、接收到的第一特征值和各第二特征值、以及本层卷积层确定出的第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的第二特征值、以及接收到的第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示卷积神经网络包括的卷积层的数量。
基于同一发明构思，本发明实施例还提供了一种机器人，如图4所示的扫地机器人，图中箭头表示扫地机器人的移动方向，可以包括：如本发明实施例提供的上述目标物的检测装置410和前置摄像头420。当然，本发明实施例提供的机器人并不限于扫地机器人，还可以是其他机器人，在此并不限定。
可选地，在本发明实施例中，前置摄像头420，用于采集机器人前方的图像，然后将采集到的图像传输至目标物的检测装置410中，以便于目标物的检测装置410对前方目标物进行检测和识别。
综上，本发明实施例提供了一种目标物的检测方法、检测装置及机器人，通过对卷积神经网络进行改进，即将卷积神经网络中第一层卷积层中一半滤波算子根据边缘析出效果确定，在利用该卷积神经网络确定获取到的图像中是否存在目标物时，可以快速准确地确定出图像中是否存在目标物，同时还可以大大提高目标物识别的精确度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种目标物的检测方法，其特征在于，包括：
获取机器人前方区域的图像；
采用卷积神经网络确定获取到的图像中是否存在目标物；其中，所述卷积神经网络为利用包括目标物的训练集训练后的，所述卷积神经网络包括多层卷积层，第一层卷积层中一半的滤波算子根据边缘析出效果确定；
在所述卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定所述机器人前方存在目标物。
2.如权利要求1所述的方法，其特征在于，采用卷积神经网络确定获取到的图像中是否存在目标物，具体包括：
针对所述第一层卷积层，在采用第一类滤波算子对输入至所述卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至所述卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和所述第一特征值均传输至第二层卷积层；其中，所述第一类滤波算子为根据边缘析出效果确定，所述第二类滤波算子为在所述卷积神经网络的训练过程中确定；
针对从所述第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将所述新的特征图像、接收到的所述第一特征值和各第二特征值、以及本层卷积层确定出的所述第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的所述第二特征值、以及接收到的所述第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示所述卷积神经网络包括的卷积层的数量。
3.如权利要求1所述的方法，其特征在于，所述第一层卷积层包括128个滤波算子。
4.如权利要求3所述的方法，其特征在于，根据边缘析出效果确定滤波算子，具体包括：
获取训练样本集合，所述训练样本集合包括多张训练样本图像，所述训练样本图像包括目标物信息；
利用边缘检测算子库中的各边缘检测算子，依次对所述训练样本集合进行边缘析出处理；其中，所述边缘检测算子库中包括的边缘检测算子的数量大于64个；
按照边缘析出处理后的结果从优到差的顺序，对各所述边缘检测算子进行排序；
将前六十四个边缘检测算子确定为所述第一层卷积层中的六十四个滤波算子。
5.如权利要求1所述的方法，其特征在于，第二层卷积层包括128个滤波算子；
所述第二层卷积层包括的各所述滤波算子在所述卷积神经网络的训练过程中确定。
6.如权利要求1所述的方法，其特征在于，还包括：
在采用卷积神经网络确定获取到的图像中是否存在目标物之后，确定与输入至所述卷积神经网络中的图像相匹配的概率；所述概率为图像中存在目标物的概率；
判断接收到的所述概率是否大于或等于预设概率；
若是，则确定前方存在目标物；
若否，则确定前方不存在目标物。
7.如权利要求1-6任一项所述的方法，其特征在于，获取机器人前方图像，具体包括：
获取至少三张曝光程度不同的图像；
在获取机器人前方图像之后，还包括：
对获取到的各图像进行防抖处理；
对至少三张具有不同曝光程度的图像进行融合处理后，形成待检测图像；
采用卷积神经网络确定获取到的图像中是否存在目标物，具体包括：
采用卷积神经网络确定所述待检测图像中是否存在目标物。
8.一种目标物的检测装置，其特征在于，包括：
获取单元，用于获取机器人前方区域的图像；
判断单元，用于采用卷积神经网络确定获取到的图像中是否存在目标物；其中，所述卷积神经网络为利用包括目标物的训练集训练后的，所述卷积神经网络包括多层卷积层，第一层卷积层中一半的滤波算子根据边缘析出效果确定；
确定单元，用于在所述卷积神经网络确定获取到的图像中存在目标物输出目标物图像时，确定所述机器人前方存在目标物。
9.如权利要求8所述的装置，其特征在于，所述判断单元具体用于：
针对所述第一层卷积层，在采用第一类滤波算子对输入至所述卷积神经网络中的图像进行边缘特征提取处理，以及采用第二类滤波算子对输入至所述卷积神经网络中的图像进行滤波处理后，得到包括边缘特征的图像，确定与得到的图像匹配的第一的特征值，并将得到的图像和所述第一特征值均传输至第二层卷积层；其中，所述第一类滤波算子为根据边缘析出效果确定，所述第二类滤波算子为在所述卷积神经网络的训练过程中确定；
针对从所述第二层卷积层至第M-1层卷积层中的每一层卷积层，均执行以下过程：采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并将所述新的特征图像、接收到的所述第一特征值和各第二特征值、以及本层卷积层确定出的所述第二特征值均输出至下一层卷积层；
针对第M层卷积层，采用在所述卷积神经网络的训练过程中确定出的滤波算子，对上一层卷积层输入的特征图像进行滤波处理，得到新的特征图像，确定与新的特征图像匹配的第二特征值，并判断接收到的各第二特征值、本层卷积层确定出的所述第二特征值、以及接收到的所述第一层卷积层的累积值是否不小于预设特征阈值，若是，则确定获取到的图像中存在目标物，将得到的新的特征图像作为目标物图像输出，若否，则确定获取到的图像中不存在目标物，无输出图像；
其中，M表示所述卷积神经网络包括的卷积层的数量。
10.一种机器人，其特征在于，包括：如权利要求8或9所述的检测装置和前置摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811564457.XA CN111353331B (zh) | 2018-12-20 | 2018-12-20 | 一种目标物的检测方法、检测装置及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811564457.XA CN111353331B (zh) | 2018-12-20 | 2018-12-20 | 一种目标物的检测方法、检测装置及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353331A true CN111353331A (zh) | 2020-06-30 |
| CN111353331B CN111353331B (zh) | 2023-09-05 |
Family
ID=71193598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811564457.XA Active CN111353331B (zh) | 2018-12-20 | 2018-12-20 | 一种目标物的检测方法、检测装置及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353331B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210150192A1 (en) * | 2019-11-19 | 2021-05-20 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216435A (zh) * | 2008-01-03 | 2008-07-09 | 东华大学 | 一种基于多分形特征参数的织物瑕疵自动检测方法 |
| CN102446358A (zh) * | 2012-01-17 | 2012-05-09 | 南京航空航天大学 | 基于边缘特征和cs信息的多模态医学图像配准方法 |
| CN104834926A (zh) * | 2015-04-09 | 2015-08-12 | 孙晓航 | 一种字符区域提取方法及系统 |
| CN104851085A (zh) * | 2014-02-17 | 2015-08-19 | 征图新视（江苏）科技有限公司 | 自动获取图像中检测区的方法及系统 |
| US20170255830A1 (en) * | 2014-08-27 | 2017-09-07 | Alibaba Group Holding Limited | Method, apparatus, and system for identifying objects in video images and displaying information of same |
| CN107437099A (zh) * | 2017-08-03 | 2017-12-05 | 哈尔滨工业大学 | 一种基于机器学习的特定服饰图像识别与检测方法 |
| CN107506711A (zh) * | 2017-08-15 | 2017-12-22 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测系统及方法 |
| CN107830846A (zh) * | 2017-09-30 | 2018-03-23 | 杭州艾航科技有限公司 | 一种利用无人机和卷积神经网络测量通信塔天线角度方法 |
| CN108737750A (zh) * | 2018-06-07 | 2018-11-02 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
-
2018
- 2018-12-20 CN CN201811564457.XA patent/CN111353331B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216435A (zh) * | 2008-01-03 | 2008-07-09 | 东华大学 | 一种基于多分形特征参数的织物瑕疵自动检测方法 |
| CN102446358A (zh) * | 2012-01-17 | 2012-05-09 | 南京航空航天大学 | 基于边缘特征和cs信息的多模态医学图像配准方法 |
| CN104851085A (zh) * | 2014-02-17 | 2015-08-19 | 征图新视（江苏）科技有限公司 | 自动获取图像中检测区的方法及系统 |
| US20170255830A1 (en) * | 2014-08-27 | 2017-09-07 | Alibaba Group Holding Limited | Method, apparatus, and system for identifying objects in video images and displaying information of same |
| CN104834926A (zh) * | 2015-04-09 | 2015-08-12 | 孙晓航 | 一种字符区域提取方法及系统 |
| CN107437099A (zh) * | 2017-08-03 | 2017-12-05 | 哈尔滨工业大学 | 一种基于机器学习的特定服饰图像识别与检测方法 |
| CN107506711A (zh) * | 2017-08-15 | 2017-12-22 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测系统及方法 |
| CN107830846A (zh) * | 2017-09-30 | 2018-03-23 | 杭州艾航科技有限公司 | 一种利用无人机和卷积神经网络测量通信塔天线角度方法 |
| CN108737750A (zh) * | 2018-06-07 | 2018-11-02 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 任雁;李强;张鹏军;: "基于粒子群和蚁群算法的枪弹图像边缘检测方法", 中北大学学报(自然科学版), vol. 39, no. 3, pages 355 - 361 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210150192A1 (en) * | 2019-11-19 | 2021-05-20 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| US11900722B2 (en) * | 2019-11-19 | 2024-02-13 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353331B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461168B (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
| Beery et al. | Recognition in terra incognita | |
| CN110648364B (zh) | 一种多维度空间固废视觉检测定位及识别方法与系统 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN103454285A (zh) | 基于机器视觉的传动链条质量检测系统 | |
| JP5106356B2 (ja) | 画像監視装置 | |
| CN113409362B (zh) | 高空抛物检测方法和装置、设备及计算机存储介质 | |
| CN105651776A (zh) | 基于计算机视觉的牛胴体产肉量自动分级装置与方法 | |
| JP2011138310A (ja) | 有害鳥類の数及び停留位置の確定方法及びその確定装置並びに有害鳥類の防除方法 | |
| Kaixuan et al. | Target detection method for moving cows based on background subtraction | |
| CN111784171A (zh) | 基于人工智能及图像处理的市政cim环卫工作分配方法 | |
| US20190096066A1 (en) | System and Method for Segmenting Out Multiple Body Parts | |
| CN112151167A (zh) | 一种基于深度学习的儿童六龄牙龋齿智能筛查方法 | |
| US11935378B2 (en) | Intrusion detection methods and devices | |
| CN110728810A (zh) | 一种分布式目标监测系统和方法 | |
| CN114267082A (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN111353331B (zh) | 一种目标物的检测方法、检测装置及机器人 | |
| CN111832749B (zh) | 垃圾袋识别方法及相关装置 | |
| JP4990030B2 (ja) | 移動物体検知装置 | |
| JPH05263411A (ja) | 物体の観察方法および装置 | |
| KR102505691B1 (ko) | 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치 | |
| CN115311589B (zh) | 一种用于采光建筑的隐患处理方法及设备 | |
| Mazzei et al. | Automated video imaging system for counting deep-sea bioluminescence organisms events | |
| CN104820818A (zh) | 一种移动物体的快速识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230614 Address after: 314400 floor 3, building 5, No. 17, Caohejing Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province Applicant after: ZHEJIANG SINEVA INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Building 10, jingdongbei science and Technology Park, 18 Kechuang 10th Street, Daxing District, Beijing 100176 Applicant before: BEIJING SINEVA TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |