CN113567550A - 地面材质检测方法、装置、电子设备、芯片和存储介质 - Google Patents
地面材质检测方法、装置、电子设备、芯片和存储介质 Download PDFInfo
- Publication number
- CN113567550A CN113567550A CN202110830642.4A CN202110830642A CN113567550A CN 113567550 A CN113567550 A CN 113567550A CN 202110830642 A CN202110830642 A CN 202110830642A CN 113567550 A CN113567550 A CN 113567550A
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- area
- visual
- cleaned
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 335
- 238000001514 detection method Methods 0.000 title claims abstract description 127
- 230000000007 visual effect Effects 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000002604 ultrasonography Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 239000013077 target material Substances 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/023—Solids
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Acoustics & Sound (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种地面材质检测方法、装置、电子设备、芯片和存储介质，其中，该方法包括：基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。本发明通过使用视觉数据和超声数据共同确定材质评分从而提高地面材质检测的准确性，可增加待清洁区域的检测距离，减少环境对检测的影响，可提升清洁区域检测的稳定性。
Description
技术领域
本发明涉及自动化控制技术领域，尤其涉及一种地面材质检测方法、装置、电子设备、芯片和存储介质。
背景技术
在当今生活中清洁机器人已经成为必不可缺的设备，机器人在执行清洁任务的过程中往往会面对多样的清洁场景，例如，木制地板区域、水泥地面区域、大理石地面区域以及地毯区域等，清洁机器人针对不同的地面需要采取不同的清扫测量。针对地毯区域，清洁机器人不能用水清洗，需要使用尘推清洁地毯内的灰尘和来讲，实现地毯区域的精准清洁。清洁机器人在面对多样的清洁场景时需要对地毯区域进行检测和标记，使得清洁机器人在清洁过程中采用正确的清洁方式对地毯区域进行清洁。
目前为了实现精准的地毯区域识别，常常使用超声传感器或视觉传感器对地毯进行识别。其中，清洁机器人利用超声传感器对地面材质进行检测以获取到不同的信号返回，通过对信号的处理完成地毯区域的识别，而清洁机器人使用视觉传感器对周围环境采集视频数据，利用视频帧进行地毯区域检测。但是现有的地毯区域识别方案的存在以下问题：1、在地毯缝隙处容易被误识别，导致清洁区域错误；2、识别距离存在限制，当机器人处于地毯区域时才被检测成功，导致部分地毯区域被错误清洁；3、地毯区域检测容易受到光线影响，检测率不稳定。
发明内容
本发明提供一种地面材质检测方法、装置、电子设备、芯片和存储介质，以实现地面材质的准确检测，提高设备的检测距离，增强地面材质检测的稳定性。
第一方面，本发明实施例还提供了一种地面材质检测方法，该方法包括：
基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；
将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；
根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；
根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
第二方面，本发明实施例还提供了一种地面材质检测装置，该装置包括：
数据采集模块，用于基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；
视觉评分模块，用于将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；
超声评分模块，用于根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；
评分融合模块，用于根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的地面材质检测方法。
第四方面，本发明实施例还提供了一种芯片，包括：至少一个处理器和接口；
所述接口，用于为所述至少一个处理器提供程序指令或者数据；
所述至少一个处理器用于执行所述程序指令，以实现如本发明实施例所述的地面材质检测方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例中任一所述的地面材质检测方法。
本发明实施例，通过分别使用视觉传感器和超声波传感器对待清洁区域进行检测以获取图像数据和超声波数据，使用预设材质检测模型确定图像数据对应的视觉材质评分，基于预设电平确定超声波数据对应的超声材质评分，根据视觉材质评分和超声材质评分确定待清洁区域的地面材质，实现了地面材质的准确检测，可增加待清洁区域的检测距离，减少环境对检测的影响，可提升清洁区域检测的稳定性。
附图说明
图1是本发明实施例一提供的一种地面材质检测方法的流程图；
图2是本发明实施例二提供的一种地面材质检测方法的流程图；
图3是本发明实施例二提供的一种材质地面图像标记示例图；
图4是本发明实施例二提供的一种HarDNet Block模块的结构示意图；
图5是本发明实施例二提供的一种地毯检测的示例图；
图6是本发明实施例二提供的一种超声波地毯检测的示例图；
图7是本发明实施例三提供的一种地面材质检测装置的结构示意图；
图8是本发明实施例四提供的一种电子设备的结构示意图；
图9是本发明实施例五提供的一种芯片的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1是本发明实施例一提供的一种地面材质检测方法的流程图，本实施例可适用于检测地面材质的情况，该方法可以由地面材质检测装置来执行，该装置可以采用硬件和/或软件的方式来实现，并一般集成在清洁机器人，参见图1，本发明实施例提供的地面材质检测方法具体可以包括如下步骤：
步骤110、基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据。
其中，视觉传感器可以是机器视觉的来源，可以利用光学元件和程序装置获取外部环境图像信息，超声波传感器可以是利用超声波碰到杂质或分界面查收显著反射英寸反射回波特性的传感器，可以用于检测机器周围环境中的物体。待清洁区域可以是需要进行清洁的区域，可以是清洁机器人的工作区域，待清洁区域可以由用户输入或者清洁机器人扫描环境生成。
在本发明实施例中，清洁机器人可以使用视觉传感器采集待清洁区域的图像数据，以及，使用超声波传感器采集待清洁区域的超声波数据，其中，视觉传感器和超声波传感器的采集频率可以相同也可以不同，例如，超声波传感器可以以6ms为间隔持续采集待清洁区域的超声波数据，而视觉传感器每隔1S采集依次待清洁区域的图像数据。可以理解的是，不对视觉传感器的安装位置进行限制，在图像数据的采集过程中，视觉传感器的采集角度可以发生变化，可以不同角度采集到待清洁区域的图像数据。
步骤120、将图像数据输入预设材质检测模型确定待清洁区域的视觉材质评分。
其中，预设材质检测模型可以是对材质进行检测的卷积神经网络模型，预设材质检测模型可以预先使用海量地面图片进行训练，地面图片中标记有对应的材料信息，预设材质检测模型可以针对一种材质进行训练也可以针对多种材质进行训练，例如，针对一种材质训练的预设材质检测模型可以判断输入的图像数据是否为对应的材质的置信度，针对多种材质训练的预设材质检测模型可以输入一组对应各材质的置信度。视觉材质评分可以反映图像数据中包括某种材质的可能性，视觉材质评分越高则图像数据属于该材质的可能性越高。
在本发明实施例中，可以将图像数据输入到预设材质检测模型，由预设材质检测模型对图像数据进行处理，可以将预设材质检测模型输出的结果作为视觉材质评分，可以理解的是，清洁机器人内可以预先设置有一个或多个预设材质检测模型，当预存材质检测模型输出多种材质分别对应的置信度时，可以将取值最大的置信度作为视觉材质评分或者将多个置信度均作为视觉材质评分。
步骤130、根据超声波数据和预设电平确定待清洁区域的超声材质评分。
其中，预设电平可以用于判断待清洁区域对应材质的电信号，由于地面材质不同，超声波的反射生成的电信号可以不同，可以针对不同的材质设置不同的预设电平。超声材质评分可以是反映超声波数据属于某种材质的可能性，超声材质评分具体可以为置信度。
具体的，可以将超声波数据与预设电平进行对比，确定出超声波数据属于预设电平的可能性，例如，超声波数据中包括N帧超声数据，将N帧超声数据分别与预设电平进行对比，依据超声数据判别待清洁区域的地面材质，当N帧中存在M帧的超声数据确定出的地面材质为A，则地面材质A的超声材质评分为M/N。又例如，如果N帧超声数据确定出的地面材质为B，则地面材质B的超声材质评分为100,如果N帧中仅有M-1帧超声数据确定出的地面材质为B，则地面材质B的超声材质评分为50，当确定出地面材质为B的超声数据的帧数X处于N与M之间时，可以通过0.5+(0.5/(N-M+1))*(X-N-M+1)确定超声材质评分。
步骤140、根据视觉材质评分和超声材质评分确定待清洁区域的地面材质。
在本发明实施例中，可以将视觉材质评分和超声材质评分进行融合，可以通过融合后的评分确定出待清洁区域的地面材质，融合的方式可以包括计算加权平均值或者求总和的方式等。示例性的，可以针对每种材质统计视觉材质评分和超声材质评分的加权平均值，视觉材质评分和超声材质评分可以具有不同的权重，可以确定出各材质对应加权平均值中的取值最大的加权平均值，可以将该加权平均值对应的材质作为待清洁区域的地面材质。可以理解的是，若视觉材质评分和超声材质评分仅为一种地面材质的评分，可以将生成的加权平均值与阈值进行比较，若加权平均值大于该阈值，则确定待清洁区域的地面材质属于对应的材质。
本发明实施例，通过使用视觉传感器获取待清洁区域的图像数据以及使用超声波传感器采集待清洁区域的超声波数据，将图像数据输入预设材质检测模型以获取视觉材质评分，将超声波数据与预设电平比较以确定超声材质评分，综合超声材质评分和视觉材质评分以确定出待清洁区域的地面材质，实现地面材质的精准检测，可提高地面材质的检测距离，减少环境因素对检测的影响，可增强地面材质检测的稳定性。
实施例二
图2是本发明实施例二提供的一种地面材质检测方法的流程图，本发明实施例是在上述发明实施例基础上的具体化，参见图2，本发明实施例提供的方法具体包括如下步骤：
步骤210、使用视觉传感器在至少一个场景类型下采集材质地面图像。
其中，场景类型可以是反映不同地面应用场景的信息，场景类型可以包括仓库、商城、医院、工厂、街道、体育馆、机场等，材质地面图像可以是包括地面的图像，材质地面图像中可以包括单一材质地面的图像。
在本发明实施例中，可以使用视觉传感器在不同场景类型下采集地面的图像作为材质地面图像，每个场景类型下可以采集多种不同材质的地面图像，采集到的材质地面图像覆盖的场景类型和材质类型越多，则训练生成的预设材质检测模型的对图像数据检测的准确率也越高。
步骤220、标记材质地面图像的目标材质地面。
其中，目标材质地面可以是预设材质检测模型用于检测的地面。
在本发明实施例中，可以对材质地面图像中的目标材质地面进行标识，确定出目标材质地面在材质地面图像中的位置以及材质类型。示例性的，参见图3，可以使用标注工具对材质地面图像进行标志，输出目标材质地面的掩膜，图3中左侧部分为标记前的原始材质地面图像，图3中右侧部分为标记后生成的掩膜mask图像，图像中的浅色区域为材质地面图像中被标记的地毯区域。进一步的，常见的标注工具可以包括BBox图像标注工具、Labelimg图像标注工具、image Labeler图像标注工具等。
步骤230、使用标记后的材质地面图像训练预设材质检测模型。
在本发明实施例中，可以将处理后的所有材质地面图像分为训练集和验证集，可以使用训练集中的材质地面图像对预设材质检测模型进行训练，可以使用验证集中的预设材质检测模型进行验证以确定预设材质检测模型的检测准确率是否满足要求，在不满足时继续使用训练集中的材质地面图像对预设材质检测模型进行训练。进一步的，在使用标记后的材质地面图像训练之前，还可以利用数据增强方法增加材质地面图像的数量，可以通过平移、翻转、旋转等图片变换方法生成其他相似的材质地面图像，以提高训练的预设材质检测模型的精度。
步骤240、基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据。
步骤250、将图像数据输入预设材质检测模型以获取对应的材质置信度。
其中，材质置信度可以是待清洁区域属于相应材质的可能性大小，该材质可以与预设材质检测模型相对于，例如，预设材质检测模型通过包括地毯地面的材质地面图像训练生成，则预设材质检测模型输出的材质置信度对应于地毯。
在本发明实施例中，预设材质检测模型可以针对不同的材质生成对应的材质置信度，可以在清洁机器人内部存储有一个或多个训练好的预设材质检测模型，每个预设材质检测模型可以分别对应一种材质的材质置信度。具体的，可以将图像数据输入到预设材质检测模型中，使用预设材质检测模型处理图像数据以生成对应的材质置信度。可以理解的是，预设材质检测模型的数量可以与生成的材质执行度的数量相对应。
步骤260、确定图像数据在待清洁区域的对应位置，并将材质置信度作为待清洁区域内位置的视觉材质评分。
在本发明实施例中，图像数据可以是待清洁区域中的一部分，可以通过图像匹配或者坐标转换的方式将图像数据对应到待清洁区域的对应位置，可以将图像数据确定出的材质置信度关联存储到待清洁区域的对应位置，可以将该材质置信度作为视觉材质评分。
步骤270、获取设置超声波传感器的电子设备的运行状态，其中，所述运行状态对应于超声波数据的采集时间。
其中，电子设备可以是执行本发明实施例方式的设备，例如，清洁机器人。运行状态可以是反映电子设备在超声波数据采集过程中运动状态，可以包括电子设备的移动距离或者旋转角度等，运行状态可以反映出电子设备是否移动。
具体的，可以在超声波数据采集过程对电子设备的运行状态进行检测，获取到移动距离或者旋转角度等信息作为电子设备的运行状态，运行状态可以存储在电子设备内部，在进行超声波数据处理时，可以根据超声波数据的采集时间获取到对应的运行状态。
步骤280、确定运行状态为平稳运行时，获取超声波数据中满足预设电平的超声波帧的数量。
其中，平稳状态可以是反映电子设备处于正常运行的状态，平稳状态可以通过运行状态的具体参数确定，例如，单位时间内电子设备的移动距离大于阈值或者单位时间内电子设备的旋转角度大于阈值等。超声波帧可以是组成超声波数据的信息，超声波数据是超声波传感器以间隔时间固定采集超声波的反射信号生成，每次采集到的反射信号生成的电信号可以是一帧超声波帧。
在本发明实施例中，可以在超声波数据中提取到各帧超声波帧，可以将各帧超声波帧的电平信号与预设电平进行比较，确定满足预设电平的超声波帧的数量，其中，满足可以包括超声波帧的电平信号大于预设电平。
步骤290、根据数量与超声波数据中超声波帧的帧数的比值确定待清洁区域的超声材质评分。
其中，帧数可以是超声波数据中超声波帧的数量。
具体的，可以将步骤280中确定出的数量与超声波数据中超声波帧的数量进行比运算获取到结果比值，可以根据该比值生成超声材质评分，例如，可以为不同的比值设置不同的超声材质评分，可以根据生成的比值查找对应的超声材质评分。
步骤2100、将视觉材质评分映射到待清洁区域的导航地图的对应位置，并记录对应位置的视觉材质评分和检测次数。
其中，导航地图可以是清洁机器人进行清洁使用的地图，导航地图可以由清洁机器人扫描环境空间生成，导航地图中可以包括地面各位置已进行材质检测的视觉检测评分以及检测次数。检测次数可以是对应位置已进行材质检测的次数。
在本发明实施中，可以按照视觉材质评分在待清洁区域中的对应位置，并在导航地图中查找该对应位置，可以将视觉材质评分和检测次数更新到导航地图中的对应位置，例如，本次使用视觉传感器获取了三次视觉材质评分，可以将这三次视觉材质评分存储到对应位置，并将对应的检测次数增加3。
进一步的，在上述发明实施例的基础上，将所述视觉材质评分映射到所述待清洁区域的导航地图的对应位置，包括以下步骤：
步骤211、使用单应性矩阵将视觉材质评分对应的图像数据转换到导航地图的坐标系。
其中，单应性矩阵可以是投影几何中用于透视变换的函数，可以将图像的视觉进行变换，可以将坐标系A下的像素坐标转换为坐标系B下的像素坐标。
在本发明实施例中，可以使用单应性矩阵对图像数据中的各像素位置进行坐标转换，使得各像素位置变更到导航地图所在的坐标系下，便于确定出图像数据对应的区域在导航地图中的位置。
步骤212、确定图像数据对应的待清洁区域在导航地图的对应位置。
具体的，在图像数据转换坐标后，可以使用图像匹配的方式确定出各图像数据对应的待清洁区域在导航地图所处的对应位置。
步骤213、将视觉材质评分与导航地图的对应位置关联存储。
在本发明实施例中，可以将各图像数据对应的视觉材质评分与导航地图中的对应位置关联存储，进一步的，在关联存储的同时还可以按照图像数据对对应位置的检测次数更新对应位置中的检测次数。
步骤2110、将导航地图内各对应位置的视觉材质评分更新为记录的视觉材质评分的平均值。
在本发明实施例中，可以对导航地图中各对应位置的视觉材质评分处理，使用各对应位置上存储的视觉材质评分和检测次数确定出视觉材质评分的平均值，例如，可以将视觉材质评分的总和与检测次数的比值作为视觉材质评分的平均值。可以将各对应位置上的平均值作为导航地图的视觉材质评分。
步骤2120、将视觉材质评分、超声材质评分以及导航地图的视觉材质评分代入预设贝叶斯公式以确定材质评分值，并根据材质评分值确定待清洁区域的地面材质。
具体的，可以使用预设贝叶斯公式对视觉材质评分、超声材质评分以及导航地图的视觉材质评分进行处理，可以将处理结果作为材质评分值。在本发明实施例中存在材质评分值大于阈值时，可以确定待清洁区域的地面材质为材质评分对应的材质。
进一步的，在上述发明实施例的基础上，所述预设贝叶斯公式包括：
在本发明实施例中，可以将导航地图的视觉材质评分与超声材质评分的乘积再与视觉材质评分的商作为确定待清洁区域的地面材质使用的材质评分值。
本发明实施例，通过视觉传感器采集多场景类型下的材质地面图像，标记材质地面图像中的目标材质地面，并使用标记后的材质地面图像训练预设材质检测模型，分别使用视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据，使用预设材质检测模型确定图像数据对应的材质置信度，确定图像数据在待清洁区域的对应位置，并将材质置信度作为对应的视觉材质评分，确定运行状态平稳时且获取超声波数据中满足预设电平的超声波帧数量，按照数量与超声波帧的帧数的比值确定超声材质评分，将视觉材质评分映射到待清洁区域在导航地图在对应位置，并记录视觉材质评分和检测次数，计算各位置的视觉材质评分的平均值作为导航地图的视觉材质评分，使用预设贝叶斯公式处理视觉材质评分、超声材质评分以及导航地图的视觉材质评分以生成材质评分值用于确定待清洁地面的地面材质，实现了地面材质的准确检测，可增加待清洁区域的检测距离，减少环境对检测的影响，可提升清洁区域检测的稳定性。
进一步的，在上述发明实施例的基础上，预设材质检测模型包括至少一个HarDNetBlock模块的卷积神经网络模型。
其中，HarDNet Block模块可以是全卷积Hardnet分割网络中的组成模块，该模块中使用3*3的传统卷积，并且利用Conv-BN-Relu作为激活函数。参见图4，在卷积神经网络模型中每一块都是经过Conv-BN-Relu激活函数处理的输出，Conv是3*3的卷积，其中，k表示通道数，m表示下一层扩张的通道倍数，卷积神经网络模型可以是将数个HarDNetblock模块连接起来构成的网络。
在本发明实施例中，当电子设备为清洁机器人时，由于清洁机器人上配备的设备算力较弱，因此预设材质检测模型的的精度和推理速度具有较高要求，如下表对比所示：
卷积神经网络模型。
进一步的，在上述发明实施例的基础上，确定所述运行状态为平稳运行，包括以下至少之一：电子设备的移动距离小于第一阈值距离；电子设备的旋转角度小于第二阈值角度。
在本发明实施例中，可以使用距离或角度判断电子设备是否处理平稳运行，当电子设备的移动距离小于第一阈值距离或电子设备的旋转角度小于第二阈值角度，则认为电子设备的运行状态为平稳运行。
进一步的，在上述发明实施例的基础上，在所述根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分之前，还包括：
按照采集时间依次提取超声波数据中的超声波帧；若存在目标超声波帧的取值与相邻的超声波帧的取值的差值大于阈值电平，则将目标超声波帧从超声波数据中剔除。
在本发明实施例中，可以过滤超声波数据中的电平跳动，当存在一个目标超声波帧的取值与左右相邻的超声波帧的取值均不同时，可以将目标超声波帧从超声波数据中剔除，进一步的，为了避免数据缺失，还可以将目标超声波帧的取值设置为相邻的超声波帧的取值。
示例性的，图5是本发明实施例二提供的一种地毯检测的示例图，机器人通过激光雷达和摄像头对地毯区域进行检测的过程可以包括如下步骤：
1、数据采集与标注：利用摄像头采集环境中出现地毯的图像数据，尽量覆盖所有场景类型的地毯数据，图像数据采集的数量至少为5000张；利用标注工具对采集到的图像数据进行标注，输出标注图像的掩膜mask。可以使用标注后的各图像数据分别作为训练数据和测试数据。
2、地毯检测模型训练：将准备好的训练数据输入到全卷积hardnet分割网络(FullyConvolutional HarmonicDenseNetforSegmentation,FCHardNet)训练。其中，Hardnet各层为3x3的传统卷积，并且利用Conv-BN-ReLU作为激活函数，Hardnet网络中的关键结构是将数个HarDNetblock模块连接起来构成最终的网络，网络检测的性能更高，利用深度可分离卷积来提高模型的运行速度。模型的训练过程可以是通过训练数据进行模型训练，使用测试数据对经过训练的模型进行测试确定模型的准确率，并在模型的准确率满足要求时停止模型的训练过程。
3、视觉地毯检测：将机器人的摄像头数据输入到训练好的地毯检测网络当中，实时检测当前位置是否为地毯区域，如果检测到地毯区域，从摄像头数据的图像中获取地毯区域的多边形绘制函数polygon；将激光雷达和摄像头进行标定以确定各自的坐标系，利用单应性矩阵将图像中的地毯区域的轮廓的各组成像素投影到激光雷达坐标系，获得地毯轮廓在导航地图的坐标位置；建立地毯区域标记地图，利用投影轮廓结果实时更新地毯区域标记地图，并且根据每次检测的置信度来更新当前地毯区域所处的语义地图的置信度，记录地毯区域的位置。
4、超声地图检测：首先利用超声波传感器以6ms为间隔进行采样，采集超声波传感器反馈的电信号，其中，0信号表示地图，1信号表示其他材质，采集到的超声波数据的数据格式可以包括如下结构：Seq表示第几帧数据，Stamp表示时间戳，Secs表示秒，Nsecs表示毫秒，Frame_id表示参考坐标系名称。其次，参见图6，使用超声波数据检测地毯区域，具体包括：首先过滤电平跳动，若某个数据与左右相邻的数据均不同，则将其修正为与相邻数据相同的值，对最近获得的n个数据进行判断，若所有数据均为0，则至少有连续k组数据均0，即连续k次的判断结果均为地毯,且机器人在上述过程中前进的距离大于0.1米，或者旋转角度大于10度，则最终检测结果是地毯；若所有数据均为1，则至少有连续k组数据均为0，即连续k次的判断结果均为非地毯,且机器人在上述过程中前进的距离大于0.1米，或者旋转角度大于10度，则最终检测结果是非地毯；若数据中同时包含0和1，则此次不进行判断，将前一次的判断结果返回。
5、超声地毯检测与世界地毯检测融合：利用视觉检测地毯，生成polygon,利用单应性矩阵将图像检测的polygon投影到语义地图，该语义地图与一般通过slam建立的地图不同，语义地图为2D平面上的位置特征图，语义地图结合位置特征图赋予与普通地图不同的属性，例如，椅子、门、衣橱等。，语义地图的每一个网格包含两个信息，一个是检测次数，另外一个是当前位置为地毯的置信度，每一个polygon包含了地毯的置信度，以及地毯的位置。从世界坐标系下转换到网格坐标系，更新polygon所在网格位置的地毯置信度，更新策略可以包括：网格当前的置信与polygon的置信度之和除以检测次数作为当前网格属于地毯的置信度。然后获取超声检测到的结果，因为超声检测结果根据n帧的数据来判断是否为地毯，如果N帧全是地毯，则置信度为100，如果N里最少有M-1帧为地毯，则置信度为50，M到N帧的置信度,则在这之间的置信度为0.5+(0.5/(N-M+1))(x-N-M+1),其中x为当前有几帧为地毯。最后根据贝叶斯公式
其中，P(X)代表当前网格的置信度，P(Y)代表当前网格视觉检测地毯的置信度，P(X|Y)代表超声检测为地毯情况下所确定是地毯的概率。根据上述的贝叶斯公式获取当前位置为地毯的概率，可以根据该概率更新语义地图以及，根据概率与置信度阈值确定当前位置是否为地毯，并执行相应的清洁策略。
实施例三
图7是本发明实施例三提供的一种地面材质检测装置的结构示意图，可执行本发明任意实施例所提供的地面材质检测方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：数据采集模块301、视觉评分模块302、超声评分模块303和评分融合模块304。
数据采集模块301，用于基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据。
视觉评分模块302，用于将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分。
超声评分模块303，用于根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分。
评分融合模块304，用于根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
本发明实施例，通过数据采集模块分别使用视觉传感器和超声波传感器对待清洁区域进行检测以获取图像数据和超声波数据，视觉评分模块使用预设材质检测模型确定图像数据对应的视觉材质评分，超声评分模块基于预设电平确定超声波数据对应的超声材质评分，评分融合模块根据视觉材质评分和超声材质评分确定待清洁区域的地面材质，实现了地面材质的准确检测，可增加待清洁区域的检测距离，减少环境对检测的影响，可提升清洁区域检测的稳定性。
进一步的，在上述发明实施例的基础上，所述装置还包括：
图像采集模块，用于使用视觉传感器在至少一个场景类型下采集材质地面图像。
图像标记模块，用于标记所述材质地面图像的目标材质地面。
模型训练模块，用于使用标记后的所述材质地面图像训练预设材质检测模型。
进一步的，在上述发明实施例的基础上，所述装置中预设材质检测模型包括至少一个HarDNet Block模块的卷积神经网络模型。
进一步的，在上述发明实施例的基础上，所述视觉评分模块302包括：
模型处理单元，用于将所述图像数据输入所述预设材质检测模型以获取对应的材质置信度。
评分映射单元，用于确定所述图像数据在所述待清洁区域的对应位置，并将所述材质置信度作为所述待清洁区域内所述位置的视觉材质评分。
进一步的，在上述发明实施例的基础上，所述装置中超声评分模块303包括：
状态确定单元，用于获取设置所述超声波传感器的电子设备的运行状态，其中，所述运行状态对应于所述超声波数据的采集时间。
帧数确定单元，用于确定所述运行状态为平稳运行时，获取所述超声波数据中满足所述预设电平的超声波帧的数量。
评分确定单元，用于根据所述数量与所述超声波数据中所述超声波帧的帧数的比值确定所述待清洁区域的超声材质评分。
进一步的，在上述发明实施例的基础上，所述状态确定单元中确定所述运行状态为平稳运行，包括以下至少之一：所述电子设备的移动距离大于第一阈值距离；所述电子设备的旋转角度大于第二阈值角度。
进一步的，在上述发明实施例的基础上，所述装置还包括：
预存模块，用于按照采集时间依次提取所述超声波数据中的超声波帧；若存在目标超声波帧的取值与相邻的所述超声波帧的取值的差值大于阈值电平，则将所述目标超声波帧从所述超声波数据中剔除。
进一步的，在上述发明实施例的基础上，所述评分融合模块304包括：
评分映射单元，用于将所述视觉材质评分映射到所述待清洁区域的导航地图的对应位置，并记录所述对应位置的所述视觉材质评分和检测次数。
评分更新单元，用于将所述导航地图内各所述对应位置的视觉材质评分更新为所述记录的所述视觉材质评分的平均值。
材质确定单元，用于将所述视觉材质评分、所述超声材质评分以及所述导航地图的所述视觉材质评分代入预设贝叶斯公式以确定材质评分值，并根据所述材质评分值确定所述待清洁区域的地面材质。
进一步的，在上述发明实施例的基础上，所述装置中预设贝叶斯公式包括：
其中，P(X)代表所述视觉材质评分，P(Y)代表所述超声材质评分，P(X|Y)代表所述导航地图的所述视觉材质评分。
进一步的，在上述发明实施例的基础上，所述评分映射单元具体用于：使用单应性矩阵将所述视觉材质评分对应的所述图像数据转换到所述导航地图的坐标系；确定所述图像数据对应的所述待清洁区域在所述导航地图的对应位置；将所述视觉材质评分与所述导航地图的所述对应位置关联存储。
实施例四
图8是本发明实施例四提供的一种电子设备的结构示意图，如图8所示，该电子设备包括处理器40、存储器41、输入装置42和输出装置43；电子设备中处理器40的数量可以是一个或多个，图8中以一个处理器40为例；电子设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的地面材质检测方法对应的程序指令/模块(例如，地面材质检测装置中数据采集模块301、视觉评分模块302、超声评分模块303和评分融合模块304)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的地面材质检测方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
图9是本发明实施例五提供的一种芯片的结构示意图，芯片900包括一个或多个处理器901以及接口电路902。可选的，芯片900还可以包含总线903。其中：
处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字通信器(DSP)、专用集成电路((ASIC)、现场可编程门阵列((FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、MCU、MPU、CPU或者协处理器中的一个或多个。可以实现或者执行本发明实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
接口电路902可以用于数据、指令或者信息的发送或者接收，处理器901可以利用接口电路902接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路902发送出去。
可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。
可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
可选的，芯片可以使用在本申请实施例涉及的目标检测装置中。可选的，接口电路902可用于输出处理器901的执行结果。关于本申请的一个或多个实施例提供的目标检测方法可参考前述各个实施例，这里不再赘述。
需要说明的，处理器901、接口电路902各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种地面材质检测方法，该方法包括：
基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；
将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；
根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；
根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的地面材质检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述地面材质检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种地面材质检测方法，其特征在于，所述方法包括：
基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；
将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；
根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；
根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
2.根据权利要求1所述的方法，其特征在于，还包括：
使用视觉传感器在至少一个场景类型下采集材质地面图像；
标记所述材质地面图像的目标材质地面；
使用标记后的所述材质地面图像训练预设材质检测模型。
3.根据权利要求2所述的方法，其特征在于，所述预设材质检测模型包括至少一个HarDNet Block模块的卷积神经网络模型。
4.根据权利要求1所述的方法，其特征在于，所述将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分，包括：
将所述图像数据输入所述预设材质检测模型以获取对应的材质置信度；
确定所述图像数据在所述待清洁区域的对应位置，并将所述材质置信度作为所述待清洁区域内所述位置的视觉材质评分。
5.根据权利要求1所述的方法，其特征在于，所述根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分，包括：
获取设置所述超声波传感器的电子设备的运行状态，其中，所述运行状态对应于所述超声波数据的采集时间；
确定所述运行状态为平稳运行时，获取所述超声波数据中满足所述预设电平的超声波帧的数量；
根据所述数量与所述超声波数据中所述超声波帧的帧数的比值确定所述待清洁区域的超声材质评分。
6.根据权利要求5所述的方法，其特征在于，所述确定所述运行状态为平稳运行，包括以下至少之一：
所述电子设备的移动距离大于第一阈值距离；
所述电子设备的旋转角度大于第二阈值角度。
7.根据权利要求1所述的方法，其特征在于，在所述根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分之前，还包括：
按照采集时间依次提取所述超声波数据中的超声波帧；
若存在目标超声波帧的取值与相邻的所述超声波帧的取值的差值大于阈值电平，则将所述目标超声波帧从所述超声波数据中剔除。
8.根据权利要求4或5所述的方法，其特征在于，所述根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质，包括：
将所述视觉材质评分映射到所述待清洁区域的导航地图的对应位置，并记录所述对应位置的所述视觉材质评分和检测次数；
将所述导航地图内各所述对应位置的视觉材质评分更新为所述记录的所述视觉材质评分的平均值；
将所述视觉材质评分、所述超声材质评分以及所述导航地图的所述视觉材质评分代入预设贝叶斯公式以确定材质评分值，并根据所述材质评分值确定所述待清洁区域的地面材质。
9.根据权利要求8所述的方法，其特征在于，所述预设贝叶斯公式包括：
10.根据权利要求8所述的方法，其特征在于，所述将所述视觉材质评分映射到所述待清洁区域的导航地图的对应位置，包括：
使用单应性矩阵将所述视觉材质评分对应的所述图像数据转换到所述导航地图的坐标系；
确定所述图像数据对应的所述待清洁区域在所述导航地图的对应位置；
将所述视觉材质评分与所述导航地图的所述对应位置关联存储。
11.一种地面材质检测装置，其特征在于，所述装置包括：
数据采集模块，用于基于视觉传感器和超声波传感器采集待清洁区域的图像数据和超声波数据；
视觉评分模块，用于将所述图像数据输入预设材质检测模型确定所述待清洁区域的视觉材质评分；
超声评分模块，用于根据所述超声波数据和预设电平确定所述待清洁区域的超声材质评分；
评分融合模块，用于根据所述视觉材质评分和所述超声材质评分确定所述待清洁区域的地面材质。
12.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的地面材质检测方法。
13.一种芯片，其特征在于，所述芯片包括至少一个处理器和接口；
所述接口，用于为所述至少一个处理器提供程序指令或者数据；
所述至少一个处理器用于执行所述程序指令，以实现如权利要求1-10中任一所述的地面材质检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10中任一所述的地面材质检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110830642.4A CN113567550B (zh) | 2021-07-22 | 2021-07-22 | 地面材质检测方法、装置、电子设备、芯片和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110830642.4A CN113567550B (zh) | 2021-07-22 | 2021-07-22 | 地面材质检测方法、装置、电子设备、芯片和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113567550A true CN113567550A (zh) | 2021-10-29 |
| CN113567550B CN113567550B (zh) | 2024-05-17 |
Family
ID=78166287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110830642.4A Active CN113567550B (zh) | 2021-07-22 | 2021-07-22 | 地面材质检测方法、装置、电子设备、芯片和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113567550B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782317A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像工作区域检测方法 |
| CN115373408A (zh) * | 2022-10-26 | 2022-11-22 | 科大讯飞股份有限公司 | 清洁机器人及其控制方法、装置、设备及存储介质 |
| WO2024148949A1 (zh) * | 2023-01-11 | 2024-07-18 | 杭州萤石软件有限公司 | 一种地毯区域检测方法、装置及清洁机器人 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200064857A1 (en) * | 2016-12-09 | 2020-02-27 | Diversey, Inc. | Robotic Cleaning Device with Operating Speed Variation Based on Environment |
| WO2020060091A1 (ko) * | 2018-09-20 | 2020-03-26 | 삼성전자주식회사 | 청소 로봇 및 그의 태스크 수행 방법 |
| CN111409070A (zh) * | 2020-03-25 | 2020-07-14 | 上海高仙自动化科技发展有限公司 | 检测方法及装置、智能机器人及存储介质 |
| CN111643010A (zh) * | 2020-05-26 | 2020-09-11 | 深圳市杉川机器人有限公司 | 清洁机器人控制方法、装置、清洁机器人和存储介质 |
| CN112056993A (zh) * | 2020-09-07 | 2020-12-11 | 上海高仙自动化科技发展有限公司 | 一种清洁方法、装置、电子设备及计算机可读存储介质 |
| CN112287834A (zh) * | 2020-10-29 | 2021-01-29 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN112828879A (zh) * | 2019-11-25 | 2021-05-25 | 上海高仙自动化科技发展有限公司 | 一种任务管理方法、装置、智能机器人和介质 |
| CN113008982A (zh) * | 2021-02-08 | 2021-06-22 | 中科传启（苏州）科技有限公司 | 一种地面材质识别方法、装置及智能清洁装置 |
-
2021
- 2021-07-22 CN CN202110830642.4A patent/CN113567550B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200064857A1 (en) * | 2016-12-09 | 2020-02-27 | Diversey, Inc. | Robotic Cleaning Device with Operating Speed Variation Based on Environment |
| WO2020060091A1 (ko) * | 2018-09-20 | 2020-03-26 | 삼성전자주식회사 | 청소 로봇 및 그의 태스크 수행 방법 |
| CN112828879A (zh) * | 2019-11-25 | 2021-05-25 | 上海高仙自动化科技发展有限公司 | 一种任务管理方法、装置、智能机器人和介质 |
| CN111409070A (zh) * | 2020-03-25 | 2020-07-14 | 上海高仙自动化科技发展有限公司 | 检测方法及装置、智能机器人及存储介质 |
| CN111643010A (zh) * | 2020-05-26 | 2020-09-11 | 深圳市杉川机器人有限公司 | 清洁机器人控制方法、装置、清洁机器人和存储介质 |
| CN112056993A (zh) * | 2020-09-07 | 2020-12-11 | 上海高仙自动化科技发展有限公司 | 一种清洁方法、装置、电子设备及计算机可读存储介质 |
| CN112287834A (zh) * | 2020-10-29 | 2021-01-29 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN113008982A (zh) * | 2021-02-08 | 2021-06-22 | 中科传启（苏州）科技有限公司 | 一种地面材质识别方法、装置及智能清洁装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782317A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像工作区域检测方法 |
| CN114782317B (zh) * | 2022-03-24 | 2024-07-16 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像工作区域检测方法 |
| CN115373408A (zh) * | 2022-10-26 | 2022-11-22 | 科大讯飞股份有限公司 | 清洁机器人及其控制方法、装置、设备及存储介质 |
| WO2024148949A1 (zh) * | 2023-01-11 | 2024-07-18 | 杭州萤石软件有限公司 | 一种地毯区域检测方法、装置及清洁机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113567550B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| US10109055B2 (en) | Multiple hypotheses segmentation-guided 3D object detection and pose estimation | |
| US10810734B2 (en) | Computer aided rebar measurement and inspection system | |
| CN108369741B (zh) | 用于配准数据的方法和系统 | |
| CN113567550B (zh) | 地面材质检测方法、装置、电子设备、芯片和存储介质 | |
| Dimitrov et al. | Segmentation of building point cloud models including detailed architectural/structural features and MEP systems | |
| Shufelt | Performance evaluation and analysis of monocular building extraction from aerial imagery | |
| US20170161546A1 (en) | Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping | |
| Alvarez et al. | Providing guidance for maintenance operations using automatic markerless augmented reality system | |
| US7928978B2 (en) | Method for generating multi-resolution three-dimensional model | |
| CN105069799A (zh) | 一种角点定位方法及装置 | |
| JP2008304268A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| CN102930251A (zh) | 两维收藏品数据收录与甄别的装置和方法 | |
| CA3236016A1 (en) | Three-dimensional building model generation based on classification of image elements | |
| Lee et al. | A real-time 3D workspace modeling with stereo camera | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| Bassier et al. | BIM reconstruction: Automated procedural modeling from point cloud data | |
| CN114677439A (zh) | 相机的位姿确定方法、装置、电子设备以及存储介质 | |
| Shin et al. | Object proposal using 3D point cloud for DRC-HUBO+ | |
| Yin et al. | Robotic grasp detection for parallel grippers: A review | |
| KR102518014B1 (ko) | 부품 스캔 장치 및 방법 | |
| Lifshits et al. | Image-based wafer navigation | |
| JPH09231358A (ja) | 画像対応点抽出装置、及び方法 | |
| Chen et al. | 3DVPS: A 3D Point Cloud-Based Visual Positioning System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |