CN113362355A - 一种地面材质识别方法、装置和扫地机器人 - Google Patents

一种地面材质识别方法、装置和扫地机器人 Download PDF

Info

Publication number
CN113362355A
CN113362355A CN202110599721.9A CN202110599721A CN113362355A CN 113362355 A CN113362355 A CN 113362355A CN 202110599721 A CN202110599721 A CN 202110599721A CN 113362355 A CN113362355 A CN 113362355A
Authority
CN
China
Prior art keywords
image frame
processed
pixel point
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110599721.9A
Other languages
English (en)
Other versions
CN113362355B (zh
Inventor
苏辉
蒋海青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202110599721.9A priority Critical patent/CN113362355B/zh
Publication of CN113362355A publication Critical patent/CN113362355A/zh
Application granted granted Critical
Publication of CN113362355B publication Critical patent/CN113362355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例提供了一种地面材质识别方法、装置和扫地机器人，方法包括：在扫地机器人移动的过程中，获取在扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，第一边缘像素点为目标对象在第一方向上的边缘的像素点；第二边缘像素点为目标对象在第二方向上的边缘的像素点；第一方向与第二方向互相垂直；基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。

Description

一种地面材质识别方法、装置和扫地机器人
技术领域
本发明涉及图像处理技术领域，特别是涉及一种地面材质识别方法、装置和扫地机器人。
背景技术
扫地机器人，又可以称为自动打扫机、智能吸尘器等，是智能家用电器的一种，能够自动在房间内完成地面清理工作。
为了提升地面清理的效果，针对不同材质的地面，扫地机器人可以采用不同的清理模式，例如，针对地毯，扫地机器人可以开启大吸力模式，以完成对地毯的深度清洁；针对地砖，扫地机器人则可以开启湿拖模式，以更好地清理地砖上的灰尘。
可见，为了提升地面清理的效果，对地面材质进行识别至关重要。
发明内容
本发明实施例的目的在于提供一种地面材质识别方法、装置和扫地机器人，能够有效地对地面材质进行识别。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种地面材质识别方法，所述方法应用于扫地机器人，所述方法包括：
在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；
基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点，包括：
针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度；
若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点；
若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
可选的，所述基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果；
基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果，包括：
针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值；
若所述第一数值大于第一阈值，且所述第二数值大于第二阈值，则计算所述第一数值和所述第二数值中较大数值与较小数值的比值，作为目标数值；
若所述目标数值大于第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地板；
若所述目标数值不大于所述第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地砖。
可选的，所述基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目；
从各个待处理数目中确定出数值最大的目标数目；
若所述目标数目大于第四阈值，则确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，为所述目标数目对应的地面材质。
可选的，在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧之后，所述方法还包括：
针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况；
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点；
若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯。
可选的，所述针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点，包括：
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配；
如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
可选的，在若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯之后，所述方法还包括：
对所述目标图像帧中的前景像素点进行连通域处理；
判断确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值是否大于第六阈值；
若确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值大于第六阈值，则确定所述最大连通域对应的位置为地毯。
可选的，在确定所述最大连通域对应的位置为地毯之前，所述方法还包括：
将最大连通域对应的图像输入至预先训练的材质识别网络；其中，所述材质识别网络为基于样本图像进行训练得到的；所述样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像；
所述确定所述最大连通域对应的位置为地毯，包括：
在所述材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定所述最大连通域对应的位置为地毯。
第二方面，为了达到上述目的，本发明实施例公开了一种地面材质识别装置，所述装置应用于扫地机器人，所述装置包括：
图像获取模块，用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
图像处理模块，用于针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块，具体用于针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度；
若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点；
若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
可选的，所述图像处理模块，具体用于基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块，具体用于针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果；
基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块，具体用于针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值；
若所述第一数值大于第一阈值，且所述第二数值大于第二阈值，则计算所述第一数值和所述第二数值中较大数值与较小数值的比值，作为目标数值；
若所述目标数值大于第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地板；
若所述目标数值不大于所述第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地砖。
可选的，所述图像处理模块，具体用于针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目；
从各个待处理数目中确定出数值最大的目标数目；
若所述目标数目大于第四阈值，则确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，为所述目标数目对应的地面材质。
可选的，所述图像处理模块，还用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧之后，针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况；
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点；
若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯。
可选的，所述图像处理模块，具体用于针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配；
如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
可选的，所述图像处理模块，还用于在若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯之后，对所述目标图像帧中的前景像素点进行连通域处理；
判断确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值是否大于第六阈值；
若确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值大于第六阈值，则确定所述最大连通域对应的位置为地毯。
可选的，所述图像处理模块，还用于在确定所述最大连通域对应的位置为地毯之前，将最大连通域对应的图像输入至预先训练的材质识别网络；其中，所述材质识别网络为基于样本图像进行训练得到的；所述样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像；
在所述材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定所述最大连通域对应的位置为地毯。
为了达到上述目的，本发明实施例还公开了一种扫地机器人，所述扫地机器人包括摄像头、处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器，所述摄像头通过所述通信总线完成相互间的通信；
所述摄像头，用于采集扫地机器人的指定方向上针对地面的图像帧；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的地面材质识别方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的地面材质识别方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的地面材质识别方法。
本发明实施例有益效果：
本发明实施例提供的地面材质识别方法，可以应用于扫地机器人，在扫地机器人移动的过程中，获取在扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，第一边缘像素点为目标对象在第一方向上的边缘的像素点；第二边缘像素点为目标对象在第二方向上的边缘的像素点；第一方向与第二方向互相垂直；基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前扫地机器人的指定方向上地面材质的最终识别结果。
不同的地面材质对应的对象具有不同的边缘特征，因此，基于待处理图像帧中目标对象的第一边缘像素点和第二边缘像素点，能够有效地确定出地面材质。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种地面材质识别方法的流程图；
图2为本发明实施例提供的另一种地面材质识别方法的流程图；
图3为本发明实施例提供的另一种地面材质识别方法的流程图；
图4为本发明实施例提供的另一种地面材质识别方法的流程图；
图5为本发明实施例提供的另一种地面材质识别方法的流程图；
图6为本发明实施例提供的另一种地面材质识别方法的流程图；
图7为本发明实施例提供的地面材质识别过程中一种识别地毯的方法的流程图；
图8为本发明实施例提供的地面材质识别过程中另一种识别地毯的方法的流程图；
图9为本发明实施例提供的地面材质识别过程中另一种识别地毯的方法的流程图；
图10为本发明实施例提供的一种识别地板和地砖的方法示例的流程图；
图11为本发明实施例提供的一种识别地毯的方法的流程图；
图12为本发明实施例提供的一种地面材质识别装置的结构图；
图13为本发明实施例提供的一种扫地机器人的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种地面材质识别方法，该方法可以应用于扫地机器人，参见图1，图1为本发明实施例提供的一种地面材质识别方法的流程图，该方法可以包括以下步骤：
S101：在扫地机器人移动的过程中，获取在扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧。
S102：针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点。
其中，第一边缘像素点为目标对象在第一方向上的边缘的像素点；第二边缘像素点为目标对象在第二方向上的边缘的像素点；第一方向与第二方向互相垂直。
S103：基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前扫地机器人的指定方向上地面材质的最终识别结果。
不同的地面材质对应的对象具有不同的边缘特征，因此，基于待处理图像帧中目标对象的第一边缘像素点和第二边缘像素点，能够有效地确定出地面材质。
针对步骤S101，扫地机器人可以包含有摄像头，该摄像头可以采集扫地机器人的指定方向上针对地面的图像帧。指定方向也就是需要识别材质的地面的方向。例如，指定方向可以为扫地机器人移动时的正前方。
针对步骤S102，当地面上铺设地板时，则待处理图像帧包含的目标对象为铺设的地板；当地面上铺设地砖时，则待处理图像帧包含的目标对象为铺设的地砖。相应的，第一方向和第二方向可以为铺设的地板或地砖的横向和纵向。
针对步骤S103，预设的不同地面材质的边缘像素点识别条件，可以基于边缘像素点的数目确定，或，也可以基于识别网络确定。
一种实现方式中，可以预先基于包含地面的样本图像(可以称为第一样本图像)训练材质识别网络(可以称为第一识别网络)。例如，可以预先标记第一样本图像中地面的材质，以及第一样本图像中目标对象的第一边缘像素点和第二边缘像素点。相应的，将第一样本图像输入至待训练的第一识别网络，可以得到第一样本图像中地面的材质属于预设类别的概率，根据该概率对第一识别网络的网络参数进行调整，直至收敛。
进而，针对每一待处理图像帧，在确定出将该待处理图像帧中的第一边缘像素点和第二边缘像素点后，可以输入第一识别网络，得到该待处理图像帧中地面的材质属于预设类别的概率，并根据该概率，确定该处理图像帧对应的初始识别结果，相应的，还可以结合各待处理图像帧对应的初始识别结果，确定当前扫地机器人的指定方向上地面材质的最终识别结果。
在一个实施例中，参见图2，在图1的基础上，上述步骤S102可以包括以下步骤：
S1021：针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度。
S1022：若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点。
S1023：若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
第一预设梯度和第二预设梯度可以由技术人员根据经验设置，例如，可以为20，或者，也可以为25，但并不限于此。
在一个实施例中，像素点在图像宽度方向上的像素值的梯度可以用公式(1)表示。
dx(i，j)＝ABS(I(i+1，j)-I(i，j)) (1)
像素点在图像高度方向上的像素值的梯度可以用公式(2)表示。
dy(i，j)＝ABS(I(i，j+1)-I(i，j)) (2)
其中，dx(i，j)表示坐标为(i，j)的像素点在图像宽度方向上的像素值的梯度，dy(i，j)表示坐标为(i，j)的像素点在图像高度方向上的像素值的梯度，I(i，j)表示坐标为(i，j)的像素点的像素值，I(i+1，j)表示坐标为(i+1，j)的像素点的像素值，I(i，j+1)表示坐标为(i，j+1)的像素点的像素值。
若一个像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，表明该像素点与其在图像宽度方向上相邻的像素点之间像素值的差异较大，因此，可以确定该像素点为目标对象在图像高度方向上的边缘像素点。
同理，若一个像素点在图像高度方向上的像素值的梯度大于第二预设梯度，表明该像素点与其在图像高度方向上相邻的像素点之间像素值的差异较大，因此，可以确定该像素点为目标对象在图像宽度方向上的边缘像素点。
在一个实施例中，预设的不同地面材质的边缘像素点识别条件，可以基于边缘像素点的数目确定。相应的，参见图3，在图1的基础上，上述步骤S103可以包括以下步骤：
S1031：基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前扫地机器人的指定方向上地面材质的最终识别结果。
在本发明实施例中，由于不同的地面材质对应的对象在不同方向上的边缘的长度的比例不同，因此，基于待处理图像帧中目标对象的第一边缘像素点和第二边缘像素点的数量，能够有效地确定出地面材质。
在一个实施例中，参见图4，在图3的基础上，上述步骤S1031可以包括以下步骤：
S10311：针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对扫地机器人的指定方向上地面材质的初始识别结果。
S10312：基于各个待处理图像帧对应的初始识别结果，确定当前扫地机器人的指定方向上地面材质的最终识别结果。
一种实现方式中，可以预先基于包含地面的样本图像(可以称为第二样本图像)训练材质识别网络(可以称为第二识别网络)。例如，可以预先标记第二样本图像中地面的材质，以及第二样本图像中目标对象的第一边缘像素点和第二边缘像素点的数量。相应的，将第二样本图像输入至待训练的第二识别网络，可以得到第二样本图像中地面的材质属于预设类别的概率，根据该概率对第二识别网络的网络参数进行调整，直至收敛。
进而，针对每一待处理图像帧，在确定出将该待处理图像帧中的第一边缘像素点和第二边缘像素点的数量后，可以输入第二识别网络，得到该待处理图像帧中地面的材质属于预设类别的概率，并根据该概率，确定该处理图像帧对应的初始识别结果，相应的，还可以结合各待处理图像帧对应的初始识别结果，确定最终识别结果。
例如，针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，并将最大的数目对应的地面材质，确定为最终识别结果。
在一个实施例中，参见图5，在图4的基础上，上述步骤S10311可以包括以下步骤：
S103111：针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值。
S103112：若第一数值大于第一阈值，且第二数值大于第二阈值，则计算第一数值和第二数值中较大数值与较小数值的比值，作为目标数值。
S103113：若目标数值大于第三阈值，则确定该待处理图像帧对应的，针对扫地机器人的指定方向上地面材质的初始识别结果为地板。
S103114：若目标数值不大于第三阈值，则确定该待处理图像帧对应的，针对扫地机器人的指定方向上地面材质的初始识别结果为地砖。
其中，第一阈值、第二阈值可以由技术人员根据经验进行设置，例如，第一阈值和第二阈值可以为0.01％，或者，也可以为0.02％，但并不限于此。
若第一数值大于第一阈值，且第二数值大于第二阈值，表明该待处理图像帧在图像宽度方向和高度方向上，像素点之间的像素值存在一定的差值，也就是说，在采集该待处理图像帧时，扫地机器人的指定方向上地面材质中存在线条纹理。
通常地板和地砖的长宽比差异较大，也就使得地板和地砖在图像帧中体现出的线条纹理存在区别。例如，地板的长宽比为5:1至7:1范围，也就是说，若地面铺设地板，则待处理图像帧中第一方向和第二方向上，较长边缘的边缘像素点与较短边缘的边缘像素点的数量的比值为5:1至7:1范围。而地砖的长宽比为1:1至2:1范围，也就是说，若地面铺设地砖，则待处理图像帧中第一方向和第二方向上，较长边缘的边缘像素点与较短边缘的边缘像素点的数量的比值为1:1至2:1范围。
因此，若目标数值大于第三阈值，表明待处理图像帧中，两个互相垂直的方向上的纹理走向更倾向于地板，因此，可以确定该待处理图像帧对应的初始识别结果为地板。
若目标数值不大于第三阈值，表明待处理图像帧中，两个互相垂直的方向上的纹理走向更倾向于地砖，可以确定该待处理图像帧对应的初始识别结果为地砖。
在一个实施例中，若第一数值不大于第一阈值，且第二数值不大于第二阈值，则可以确定在采集该待处理图像帧时，扫地机器人的指定方向上地面材质的初始识别结果为除底板和地砖以外的其他材质(例如，水泥地)。
在一个实施例中，参见图6，在图4的基础上，上述步骤S10312可以包括以下步骤：
S103121：针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目。
S103122：从各个待处理数目中确定出数值最大的目标数目。
S103123：若目标数目大于第四阈值，则确定当前扫地机器人的指定方向上地面材质的最终识别结果，为目标数目对应的地面材质。
其中，第四阈值可以由技术人员根据经验以及预设数目确定，例如，第四阈值可以为预设数目的70％，或者，也可以为预设数目的75％，但并不限于此。
在本发明实施例中，目标数目大于第四阈值，表明预设数目个待处理图像帧中，大部分待处理图像帧确定出的初始识别结果为目标数目对应的地面材质，因此，可以确定最终识别结果为目标数目对应的地面材质。
在一个实施例中，扫地机器人可以在每采集一个待处理图像帧后，确定对应的初始识别结果，进而，当采集预设数目个待处理图像帧时，则可以基于各个待处理图像帧对应的初始识别结果，确定最终识别结果。
或者，扫地机器人也可以在采集预设数目个待处理图像帧后，分别确定每一待处理图像帧对应的初始识别结果，进而，则可以基于各个待处理图像帧对应的初始识别结果，确定最终识别结果。
在一个实施例中，若目标数目不大于第四阈值，则不进行任何处理。
在一个实施例中，还可以对地面铺设的地毯进行识别，参见图7，该方法还可以包括以下步骤：
S701：针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况。
S702：针对当前获取的在指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到目标图像帧中的前景像素点。
S703：若目标图像帧中的前景像素点，在目标图像帧中所占的比值大于第五阈值，则确定当前扫地机器人的指定方向上地面中存在地毯。
其中，第五阈值可以由技术人员根据经验进行设置，例如，第五阈值可以为20％，或者，也可以为30％，但并不限于此。
在一个实施例中，可以基于GMM(Gaussian Mixed Model，高斯混合模型)对每一位置进行建模，即，对每一位置上像素点的像素值进行时间方向的统计，为每个位置分配多个高斯概率密度函数作为该位置的像素值概率分布模型，像素值概率分布模型表示该位置的像素点的像素值分布情况。
若确定出的前景像素点的比值大于第五阈值，表明目标图像帧中存在较多的前景像素点，也就是说，当前扫地机器人的指定方向上的地面中存在面积较大的物体，则可以确定当前扫地机器人的指定方向上地面中存在地毯。
在一个实施例中，上述步骤S702可以包括以下步骤：
步骤一：针对当前获取的在指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配。
步骤二：如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
在本发明实施例中，由于像素值分布情况是基于各待处理图像帧确定的，而在各待处理图像帧中保持不变的为背景，前景则可能会发生变化。因此，若目标图像帧中，位于一个位置的像素点的像素值，与该位置对应的像素值分布情况不匹配，则可以确定目标图像帧中位于该位置的像素点为前景像素点。否则，可以确定为背景像素点。
在一个实施例中，若确定出的前景像素点的比值不大于第五阈值，则可以基于该图像帧中像素点的像素值，更新各个位置对应的像素值分布情况，并基于更新后的像素值分布情况，对采集到的下一个图像帧进行处理。
在一个实施例中，参见图8，在图7的基础上，在步骤S703之后，该方法还可以包括以下步骤：
S704：对目标图像帧中的前景像素点进行连通域处理。
S705：判断确定出的最大连通域包含的前景像素点，在目标图像帧中所占的比值是否大于第六阈值。若是，执行步骤S706。
S706：确定最大连通域对应的位置为地毯。
其中，第六阈值可以由技术人员根据经验进行设置，第六阈值小于第五阈值。例如，第六阈值可以为5％，或者，也可以为6％，但并不限于此。
在本发明实施例中，可以基于Two-Pass(两遍扫描)算法或者Seed Filling(种子填充)算法对前景像素点进行连通域处理。
在一个实施例中，若确定出的最大连通域包含的前景像素点，在目标图像帧中所占的比值不大于第六阈值，则可以不进行任何处理。
在一个实施例中，为了进一步提高识别的精确度，还可以结合识别网络对地毯进行识别。
相应的，参见图9，在图8的基础上，在步骤S706之前，该方法还可以包括以下步骤：
S707：将最大连通域对应的图像输入至预先训练的材质识别网络。
其中，材质识别网络为基于样本图像进行训练得到的；样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像。
相应的，上述步骤S706可以包括：
S7061：在材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定最大连通域对应的位置为地毯。
在本发明实施例中，此处的材质识别网络可以称为第三识别网络。将最大连通域对应的图像输入至第三识别网络，可以得到输出结果，输出结果可以为最大连通域对应的图像中的材质为地毯的概率。
相应的，则可以在第三识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定最大连通域对应的位置为地毯。
参见图10，图10为本发明实施例提供的一种识别地板和地砖的方法示例的流程图。
扫地机器人运动，获取图像帧：在扫地机器人均速直线运动时，通过扫地机器人中的摄像头，采集正前方针对对面的图像帧。
遍历图像帧，得到total_dx_num和total_dy_num：total_dx_num即图像帧中图像宽度方向上的像素值的梯度大于第一预设梯度的像素点的数目，total_dy_num即图像帧中图像高度方向上的像素值的梯度大于第二预设梯度的像素点的数目。
判断是否total_dx_num＜P1且total_dy_num小于P2：P1和P2可以根据图像帧中像素点的个数确定，也就是判断第一数值是否大于第一阈值，且第二数值是否大于第二阈值。
判定当前帧材质为其他：若第一数值不大于第一阈值，且第二数值不大于第二阈值，表明纹理较少，即，该图像帧对应的初始识别结果为除底板和地砖以外的其他材质(例如，水泥地)。
判断是否dx_dy_ratio＞T：dx_dy_ratio表示第一数值和第二数值中较大数值与较小数值的比值(即目标数值)，也就是，若第一数值大于第一阈值，且第二数值大于第二阈值，则判断目标数值是否大于第三阈值。
当前帧材质为地板：若目标数值大于第三阈值，确定该图像帧对应的初始识别结果为地板。
当前帧材质为砖板：若目标数值不大于第三阈值，确定该图像帧对应的初始识别结果为地砖。
判断已经处理帧数是否大于N：N即预设数目，即，判断是否已获取预设数目个图像帧并得到初始识别结果。
根据各图像帧的初始识别结果，确定最终识别结果。
参见图11，图11为本发明实施例提供的一种识别地毯的方法的流程图。
扫地机器人运动，获取图像帧：在扫地机器人均速直线运动时，通过扫地机器人中的摄像头，采集正前方针对对面的图像帧。
基于初始N个图像帧，对地面进行建模，得到每一位置的像素值分布情况：对每一位置上像素点的像素值进行时间方向的统计，为每个位置分配多个高斯概率密度函数作为该位置的像素值概率分布模型，像素值概率分布模型表示该位置的像素点的像素值分布情况。
基于每一位置的像素值分布情况，确定当前图像帧中的前景像素点，并更新像素值分布情况：若当前图像帧中一位置的像素点的像素值与该位置对应的像素值分布情况相匹配，则确定该位置的像素点为背景像素点；否则，确定为前景像素点。
判断前景像素点所占比值是否大于第五阈值，如果是，则对前景像素点进行连通域处理，确定最大连通域；如果否，当采集到下一图像帧时，进行处理。
判断最大连通域包含的前景像素点所占的比值是否大于第六阈值，如果是，确定当前扫地机器人的正前方地面中，最大连通域对应的位置为地毯；如果否，当采集到下一图像帧时，进行处理。
基于相同的发明构思，本发明实施例还提供了一种地面材质识别装置，参见图12，图12为本发明实施例提供的一种地面材质识别装置的结构图，该装置可以应用于扫地机器人，可以包括：
图像获取模块1201，用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
图像处理模块1202，用于针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块1202，具体用于针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度；
若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点；
若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
可选的，所述图像处理模块1202，具体用于基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块1202，具体用于针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果；
基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
可选的，所述图像处理模块1202，具体用于针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值；
若所述第一数值大于第一阈值，且所述第二数值大于第二阈值，则计算所述第一数值和所述第二数值中较大数值与较小数值的比值，作为目标数值；
若所述目标数值大于第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地板；
若所述目标数值不大于所述第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地砖。
可选的，所述图像处理模块1202，具体用于针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目；
从各个待处理数目中确定出数值最大的目标数目；
若所述目标数目大于第四阈值，则确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，为所述目标数目对应的地面材质。
可选的，所述图像处理模块1202，还用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧之后，针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况；
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点；
若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯。
可选的，所述图像处理模块1202，具体用于针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配；
如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
可选的，所述图像处理模块1202，还用于在若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯之后，对所述目标图像帧中的前景像素点进行连通域处理；
判断确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值是否大于第六阈值；
若确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值大于第六阈值，则确定所述最大连通域对应的位置为地毯。
可选的，所述图像处理模块1202，还用于在确定所述最大连通域对应的位置为地毯之前，将最大连通域对应的图像输入至预先训练的材质识别网络；其中，所述材质识别网络为基于样本图像进行训练得到的；所述样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像；
在所述材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定所述最大连通域对应的位置为地毯。
本发明实施例还提供了一种扫地机器人，如图13所示，包括处理器1301、通信接口1302、存储器1303、通信总线1304和摄像头1305，其中，处理器1301，通信接口1302，存储器1303、摄像头1305通过通信总线1304完成相互间的通信，
摄像头1305，用于采集扫地机器人的指定方向上针对地面的图像帧；
存储器1303，用于存放计算机程序；
处理器1301，用于执行存储器1303上所存放的程序时，实现如下步骤：
在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；
基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
上述扫地机器人提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述扫地机器人与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一地面材质识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一地面材质识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、扫地机器人、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (22)

1.一种地面材质识别方法，其特征在于，所述方法应用于扫地机器人，所述方法包括：
在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；
基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
2.根据权利要求1所述的方法，其特征在于，所述针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点，包括：
针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度；
若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点；
若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
3.根据权利要求1所述的方法，其特征在于，所述基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
4.根据权利要求3所述的方法，其特征在于，所述基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果；
基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
5.根据权利要求4所述的方法，其特征在于，所述针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果，包括：
针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值；
若所述第一数值大于第一阈值，且所述第二数值大于第二阈值，则计算所述第一数值和所述第二数值中较大数值与较小数值的比值，作为目标数值；
若所述目标数值大于第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地板；
若所述目标数值不大于所述第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地砖。
6.根据权利要求4所述的方法，其特征在于，所述基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，包括：
针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目；
从各个待处理数目中确定出数值最大的目标数目；
若所述目标数目大于第四阈值，则确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，为所述目标数目对应的地面材质。
7.根据权利要求1所述的方法，其特征在于，在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧之后，所述方法还包括：
针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况；
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点；
若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯。
8.根据权利要求7所述的方法，其特征在于，所述针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点，包括：
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配；
如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
9.根据权利要求7所述的方法，其特征在于，在若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯之后，所述方法还包括：
对所述目标图像帧中的前景像素点进行连通域处理；
判断确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值是否大于第六阈值；
若确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值大于第六阈值，则确定所述最大连通域对应的位置为地毯。
10.根据权利要求9所述的方法，其特征在于，在确定所述最大连通域对应的位置为地毯之前，所述方法还包括：
将最大连通域对应的图像输入至预先训练的材质识别网络；其中，所述材质识别网络为基于样本图像进行训练得到的；所述样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像；
所述确定所述最大连通域对应的位置为地毯，包括：
在所述材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定所述最大连通域对应的位置为地毯。
11.一种地面材质识别装置，其特征在于，所述装置应用于扫地机器人，所述装置包括：
图像获取模块，用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧；
图像处理模块，用于针对每一待处理图像帧，识别该待处理图像帧包含的目标对象的第一边缘像素点和第二边缘像素点；其中，所述第一边缘像素点为所述目标对象在第一方向上的边缘的像素点；所述第二边缘像素点为所述目标对象在第二方向上的边缘的像素点；所述第一方向与所述第二方向互相垂直；基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点，以及预设的不同地面材质的边缘像素点识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
12.根据权利要求11所述的装置，其特征在于，所述图像处理模块，具体用于针对每一待处理图像帧，计算该待处理图像帧中每一像素点在图像宽度方向上的像素值的梯度，以及在图像高度方向上的像素值的梯度；
若该像素点在图像宽度方向上的像素值的梯度大于第一预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第一边缘像素点；
若该像素点在图像高度方向上的像素值的梯度大于第二预设梯度，则确定该像素点为该待处理图像帧包含的目标对象的第二边缘像素点。
13.根据权利要求11所述的装置，其特征在于，所述图像处理模块，具体用于基于各个待处理图像帧中的第一边缘像素点和第二边缘像素点的数量，以及预设的不同地面材质的边缘像素点数目识别条件，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
14.根据权利要求13所述的装置，其特征在于，所述图像处理模块，具体于针对每一待处理图像帧，基于该待处理图像帧中的第一边缘像素点和第二边缘像素点的数目，以及预设的不同地面材质的边缘像素点数目识别条件，确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果；
基于各个待处理图像帧对应的初始识别结果，确定当前所述扫地机器人的指定方向上地面材质的最终识别结果。
15.根据权利要求14所述的装置，其特征在于，所述图像处理模块，具体用于针对每一待处理图像帧，计算该待处理图像帧中的第一边缘像素点在该待处理图像帧中所占的比值，作为第一数值，以及该待处理图像帧中的第二边缘像素点在该待处理图像帧中所占的比值，作为第二数值；
若所述第一数值大于第一阈值，且所述第二数值大于第二阈值，则计算所述第一数值和所述第二数值中较大数值与较小数值的比值，作为目标数值；
若所述目标数值大于第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地板；
若所述目标数值不大于所述第三阈值，则确定该待处理图像帧对应的，针对所述扫地机器人的指定方向上地面材质的初始识别结果为地砖。
16.根据权利要求14所述的装置，其特征在于，所述图像处理模块，具体用于针对每一地面材质，统计初始识别结果为该地面材质的待处理图像帧的数目，作为该地面材质对应的待处理数目；
从各个待处理数目中确定出数值最大的目标数目；
若所述目标数目大于第四阈值，则确定当前所述扫地机器人的指定方向上地面材质的最终识别结果，为所述目标数目对应的地面材质。
17.根据权利要求11所述的装置，其特征在于，所述图像处理模块，还用于在所述扫地机器人移动的过程中，获取在所述扫地机器人的指定方向上，针对地面拍摄的预设数目个图像帧，作为待处理图像帧之后，针对各待处理图像帧中的每一相同位置，获取该位置在各待处理图像帧中对应的像素点的像素值分布情况；
针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，将该像素点的像素值，与该像素点的位置对应的像素值分布情况进行匹配检测，得到所述目标图像帧中的前景像素点；
若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯。
18.根据权利要求17所述的装置，其特征在于，所述图像处理模块，具体用于针对当前获取的在所述指定方向上针对地面拍摄的目标图像帧中的每一像素点，判断该像素点的像素值，与该像素点的位置对应的像素值分布情况是否相匹配；
如果该像素点的像素值，与该像素点的位置对应的像素值分布情况不相匹配，则确定该像素点为前景像素点。
19.根据权利要求17所述的装置，其特征在于，所述图像处理模块，还用于在若所述目标图像帧中的前景像素点，在所述目标图像帧中所占的比值大于第五阈值，则确定当前所述扫地机器人的指定方向上地面中存在地毯之后，对所述目标图像帧中的前景像素点进行连通域处理；
判断确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值是否大于第六阈值；
若确定出的最大连通域包含的前景像素点，在所述目标图像帧中所占的比值大于第六阈值，则确定所述最大连通域对应的位置为地毯。
20.根据权利要求19所述的装置，其特征在于，所述图像处理模块，还用于在确定所述最大连通域对应的位置为地毯之前，将最大连通域对应的图像输入至预先训练的材质识别网络；其中，所述材质识别网络为基于样本图像进行训练得到的；所述样本图像包括：包含地毯的正样本图像和不包含地毯的负样本图像；
在所述材质识别网络的输出结果表示，最大连通域对应的图像中的材质为地毯的情况下，确定所述最大连通域对应的位置为地毯。
21.一种扫地机器人，其特征在于，包括摄像头、处理器、通信接口、存储器和通信总线，其中，摄像头、处理器，通信接口，存储器通过通信总线完成相互间的通信；
摄像头，用于采集扫地机器人的指定方向上针对地面的图像帧；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
CN202110599721.9A 2021-05-31 2021-05-31 一种地面材质识别方法、装置和扫地机器人 Active CN113362355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599721.9A CN113362355B (zh) 2021-05-31 2021-05-31 一种地面材质识别方法、装置和扫地机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599721.9A CN113362355B (zh) 2021-05-31 2021-05-31 一种地面材质识别方法、装置和扫地机器人

Publications (2)

Publication Number Publication Date
CN113362355A true CN113362355A (zh) 2021-09-07
CN113362355B CN113362355B (zh) 2023-06-02

Family

ID=77528326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599721.9A Active CN113362355B (zh) 2021-05-31 2021-05-31 一种地面材质识别方法、装置和扫地机器人

Country Status (1)

Country Link
CN (1) CN113362355B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142830A1 (en) * 2007-03-30 2010-06-10 Yoichiro Yahata Image processing device, control program, computer-readable storage medium, electronic apparatus, and image processing device control method
US20140146998A1 (en) * 2012-11-28 2014-05-29 Dieter Wieser Systems and methods to classify moving airplanes in airports
CN106257495A (zh) * 2015-06-19 2016-12-28 阿里巴巴集团控股有限公司 一种数字识别方法及装置
CN111126254A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像识别方法、装置、设备及存储介质
CN112016375A (zh) * 2019-05-30 2020-12-01 三个机器人公司 基于地面材质自适应控制扫地机器人的方法及扫地机器人
CN112053372A (zh) * 2019-06-05 2020-12-08 腾讯科技（深圳）有限公司 一种屏幕显示类型的识别方法以及相关装置
CN112270356A (zh) * 2020-10-28 2021-01-26 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置及电子设备
WO2021023310A1 (zh) * 2019-08-07 2021-02-11 中兴通讯股份有限公司 客流估计与展示方法、系统及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142830A1 (en) * 2007-03-30 2010-06-10 Yoichiro Yahata Image processing device, control program, computer-readable storage medium, electronic apparatus, and image processing device control method
US20140146998A1 (en) * 2012-11-28 2014-05-29 Dieter Wieser Systems and methods to classify moving airplanes in airports
CN106257495A (zh) * 2015-06-19 2016-12-28 阿里巴巴集团控股有限公司 一种数字识别方法及装置
CN112016375A (zh) * 2019-05-30 2020-12-01 三个机器人公司 基于地面材质自适应控制扫地机器人的方法及扫地机器人
CN112053372A (zh) * 2019-06-05 2020-12-08 腾讯科技（深圳）有限公司 一种屏幕显示类型的识别方法以及相关装置
WO2021023310A1 (zh) * 2019-08-07 2021-02-11 中兴通讯股份有限公司 客流估计与展示方法、系统及计算机可读存储介质
CN111126254A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像识别方法、装置、设备及存储介质
CN112270356A (zh) * 2020-10-28 2021-01-26 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. SEZGIN; B. SANKUR: "Selection of thresholding methods for nondestructive testing applications", 《PROCEEDINGS 2001 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (CAT. NO.01CH37205)》 *
夏国清；陈华珍；李嘉昌: "摄像头寻轨的服务机器人路径识别算法研究", 《单片机与嵌入式系统应用 》 *

Also Published As

Publication number Publication date
CN113362355B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
WO2020239015A1 (zh) 一种图像识别、分类方法、装置、电子设备及存储介质
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN104899849B (zh) 一种多目标交互式图像分割方法和装置
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN112842184A (zh) 一种清扫方法及清洁机器人
CN112132892B (zh) 目标位置标注方法、装置及设备
CN111105459A (zh) 描述子地图生成方法、定位方法、装置、设备和存储介质
CN110414294A (zh) 行人重识别方法和装置
CN113362355A (zh) 一种地面材质识别方法、装置和扫地机器人
CN108133116B (zh) Cad户型图墙厚自动识别方法及系统
CN113658345A (zh) 一种样本标注方法及装置
CN111968102B (zh) 一种目标设备检测方法、系统、介质及电子终端
CN108846339A (zh) 一种文字识别方法、装置、电子设备和存储介质
CN113744329A (zh) 区域自动划分、机器人行走控制方法、系统、设备和介质
CN114569004B (zh) 行进方向调整方法、移动机器人系统及电子设备
CN110765926A (zh) 图画书识别方法、装置、电子设备和存储介质
CN107818287B (zh) 一种客流统计装置及系统
CN111429487B (zh) 一种深度图像的黏连前景分割方法及装置
CN112435274A (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
CN112749753A (zh) 电器设备控制方法、装置、电器设备和存储介质
CN113255911B (zh) 一种模型训练方法、装置、电子设备及存储介质
CN102087711A (zh) 闭环的图像比较系统
CN116993797B (zh) 深度图无效点的估计方法和装置
WO2023197822A1 (zh) 机器人控制方法、装置、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant