CN113313089B - 数据处理方法、装置及计算机可读存储介质 - Google Patents

数据处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113313089B
CN113313089B CN202110856207.9A CN202110856207A CN113313089B CN 113313089 B CN113313089 B CN 113313089B CN 202110856207 A CN202110856207 A CN 202110856207A CN 113313089 B CN113313089 B CN 113313089B
Authority
CN
China
Prior art keywords
image
standard image
camera
obstacles
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110856207.9A
Other languages
English (en)
Other versions
CN113313089A (zh
Inventor
龙涛
肖健宇
刘懿
冯新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan International Economics University
Original Assignee
Hunan International Economics University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan International Economics University filed Critical Hunan International Economics University
Priority to CN202110856207.9A priority Critical patent/CN113313089B/zh
Publication of CN113313089A publication Critical patent/CN113313089A/zh
Application granted granted Critical
Publication of CN113313089B publication Critical patent/CN113313089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域,公开一种数据处理方法、装置及计算机可读存储介质,以提高扫地机器人在空间狭小区域采集图像的智能型和自动性。方法包括:将激光雷达和摄像头两种成像方式融为一体,两者的融合使得在被障碍物遮挡的墙角边的重构过程中,取得了能满足不同情况下都能分别进行差异化重构的技术效果。然后基于墙角边重构后的距离图像和标准图像确定扫地机器人以摄像头对被遮挡部分补拍照片的点位并优化行进路线,提高了图像采集效率,并确保最终图像采集结果能覆盖标准图像中所有被障碍物遮挡区域的完整性效果;从而提高了扫地机器人在空间狭小区域采集图像的智能型和自动性。

Description

数据处理方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种数据处理方法、装置及计算机可读存储介质。
背景技术
扫地机器人,又称自动打扫机、智能吸尘、机器人吸尘器等,是智能家用电器的一种,能凭借一定的人工智能,自动在房间内完成地板清理工作。一般采用刷扫和真空方式,将地面杂物先吸纳进入自身的垃圾收纳盒,从而完成地面清理的功能。
扫地机器的机身为无线机器,通常以圆盘型为主,能规划被清扫地区和路线,并设置感应器以侦测障碍物。目前,部分智能扫地机器人配备有摄像头和激光测距仪以实现更复杂的一些功能。而且,扫地机器人凭借其所具灵活的移动性和集成芯片功能的多样化,大有晋级为家庭智能管家的趋势。在实际家庭生活场景中,还可以基于扫地机器人来实现一些辅助功能;例如,深入一些空间狭小的区域进行图像采集以观测清扫效果、寻找失物等等。
然而,在狭小空间区域进行图像采集,由于障碍物的阻挡,会存在部分被遮挡的区域;而现有的扫地机器人只会规避障碍物;从而使得现有扫地机器人在狭小空间的图像采集方式只能通过人工遥控的方式确定行进路线;而且,由于人工操作的方式误差通常比较大,进而使得最终的图像采集效率和效果达不到预期。
发明内容
本发明目的在于公开一种数据处理方法、装置及计算机可读存储介质,以提高扫地机器人在空间狭小区域采集图像的智能型和自动性。
为达上述目的,本发明公开一种数据处理方法,包括:
扫地机器人的处理器指示激光雷达和相机摄像头在第一位置进行图像采集;
所述处理器获取在所述第一位置基于激光雷达生成的距离图像和基于摄像头采集的标准图像,分别识别所述距离图像和所述标准图像中的障碍物,并基于所述距离图像和所述标准图像中的障碍物的分布趋势近似原理得出所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系;
所述处理器识别所述距离图像和所述标准图像中未被障碍物阻挡的地板与墙板之间连接的墙脚边,然后根据所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系实现所述距离图像和所述标准图像中映射同一特定实物的相类比图像内容之间的对位,所述特定实物具体为部分未被障碍物遮挡的墙脚边;
对被各该障碍物遮挡的部分,基于所述距离图像识别被遮挡部分左右相邻的墙脚边是否为折线或弧线,如果是折线或弧线,根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边;并将重构的被遮挡部分的墙脚边映射到所述标准图像中;若基于所述距离图像识别被遮挡部分左右相邻的任一墙脚边既不是折线也不是弧线,则将所述标准图像经网络端口发送至绑定的APP客户端,并提示所述APP客户端的操作用户手动对被遮挡部分的墙脚边进行描边处理,然后将手动描边结果映射到所述距离图像中相对应的遮挡部分;
结合所述距离图像和所述标准图像中重构后的墙脚边确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线,并将所述第一位置的标准图像和各该点位补拍后的照片发送给所述APP客户端供所述操作用户查看。
优选地,在所述扫地机器人的处理器指示激光雷达和相机摄像头在第一位置进行图像采集之前,还包括:
所述操作用户通过所述APP客户端将所述扫地机器人移动到对应的图像采集位置。
优选地,所述处理器确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线包括:
确定摄像头在所述标准图像中的位置、并根据识别出的障碍物结果及相对应的几何投影关系确定被障碍物遮挡部分的数量和区域范围;
判断是否存在覆盖所有被障碍物遮挡区域的第二位置,如果不存在,按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,再判断是否存在覆盖剩余所有被障碍物遮挡区域的第二位置,以此类推,如果还不存在,继续按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,直到确定一个第二位置;然后对被分离出来的遮挡区域,以同样的方法重新确定第三位置及剩余的必要点位,直至各点位的组合能覆盖所述标准图像中所有被障碍物遮挡区域为止;其中,各点位及所述第二位置满足与所述扫地机器人的外壳尺寸累加后不超出墙脚边范围;
结合所述距离图像判断相邻两障碍物之间、及各墙脚边与相邻障碍物之间是否存在容纳所述扫地机器人的外壳尺寸行进的路宽,得出行进至各点位的潜在路径,然后以各点位累积的总路径最短求解最佳规划路径。
优选地,本发明方法还包括:
当所述扫地机器人抵达目标点位后,所述处理器根据摄像头的视场角参数判断是否能覆盖预期的被障碍物遮挡区域,如果不能,通过旋转摄像头或旋转所述扫地机器人的方式采集至少两张照片以覆盖预期的被障碍物遮挡区域。
可选地,基于本实施例方法,所述操作用户通过所述APP客户端中所显示的所述标准图像和补拍后的照片查找是否存在目标遗失物件。
为达上述目的,本发明还公开一种数据处理装置,具体为绑定APP客户端的扫地机器人,包括:
激光雷达;
设有摄像头的相机;
处理器,用于执行下述步骤:
指示激光雷达和相机摄像头在第一位置进行图像采集;
获取在所述第一位置基于激光雷达生成的距离图像和基于摄像头采集的标准图像,分别识别所述距离图像和所述标准图像中的障碍物,并基于所述距离图像和所述标准图像中的障碍物的分布趋势近似原理得出所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系;
识别所述距离图像和所述标准图像中未被障碍物阻挡的地板与墙板之间连接的墙脚边,然后根据所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系实现所述距离图像和所述标准图像中映射同一特定实物的相类比图像内容之间的对位,所述特定实物具体为部分未被障碍物遮挡的墙脚边;
对被各该障碍物遮挡的部分,基于所述距离图像识别被遮挡部分左右相邻的墙脚边是否为折线或弧线,如果是折线或弧线,根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边;并将重构的被遮挡部分的墙脚边映射到所述标准图像中;若基于所述距离图像识别被遮挡部分左右相邻的任一墙脚边既不是折线也不是弧线,则将所述标准图像经网络端口发送至所述APP客户端,并提示所述APP客户端的操作用户手动对被遮挡部分的墙脚边进行描边处理,然后将手动描边结果映射到所述距离图像中相对应的遮挡部分;
结合所述距离图像和所述标准图像中重构后的墙脚边确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线,并将所述第一位置的标准图像和各该点位补拍后的照片发送给所述APP客户端供所述操作用户查看。
优选地,所述处理器确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线包括:
确定摄像头在所述标准图像中的位置、并根据识别出的障碍物结果及相对应的几何投影关系确定被障碍物遮挡部分的数量和区域范围;
判断是否存在覆盖所有被障碍物遮挡区域的第二位置,如果不存在,按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,再判断是否存在覆盖剩余所有被障碍物遮挡区域的第二位置,以此类推,如果还不存在,继续按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,直到确定一个第二位置;然后对被分离出来的遮挡区域,以同样的方法重新确定第三位置及剩余的必要点位,直至各点位的组合能覆盖所述标准图像中所有被障碍物遮挡区域为止;其中,各点位及所述第二位置满足与所述扫地机器人的外壳尺寸累加后不超出墙脚边范围;
结合所述距离图像判断相邻两障碍物之间、及各墙脚边与相邻障碍物之间是否存在容纳所述扫地机器人的外壳尺寸行进的路宽,得出行进至各点位的潜在路径,然后以各点位累积的总路径最短求解最佳规划路径。
优选地,所述处理器还用于:当所述扫地机器人抵达目标点位后,根据摄像头的视场角参数判断是否能覆盖预期的被障碍物遮挡区域,如果不能,通过旋转摄像头或旋转所述扫地机器人的方式采集至少两张照片以覆盖预期的被障碍物遮挡区域。
为达上述目的,本发明还公开一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法中的步骤。
本发明具有以下有益效果:
激光雷达生成的图像能通过旋转覆盖更大的范围并携带距离测量信息,而经相机摄像头生成的标准图像则允许测量颜色并符合用户的直观视觉和手动描边习惯。因此,本发明将激光雷达和摄像头两种成像方式融为一体,获得了明显的互补作用。而且,两者的融合使得在被障碍物遮挡的墙角边的重构过程中,取得了能满足不同情况下都能分别进行差异化重构这一意想不到的技术效果。
与此同时,本发明基于墙角边重构后的距离图像和标准图像确定扫地机器人以摄像头对被遮挡部分补拍照片的点位并优化行进路线,提高了图像采集效率,并确保最终图像采集结果能覆盖标准图像中所有被障碍物遮挡区域的完整性效果;从而提高了扫地机器人在空间狭小区域采集图像的智能型和自动性。
下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例公开的数据处理方法流程示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
本实施例公开一种数据处理方法,如图1所示,包括:
步骤S1、扫地机器人的处理器指示激光雷达和相机摄像头在第一位置进行图像采集。
在该步骤中,可选地,物理关系上彼此独立的激光雷达与摄像头同步在第一位置进行图像采集。由于在狭小空间中,物件的摆放通常是静态的,因此,两者按时序先后进行成像也基本不影响后续图像处理的精度。
通常,在该步骤之前,还包括:操作用户通过APP客户端将扫地机器人移动到对应的图像采集位置。
本发明中,激光雷达是光探测和测距的缩写,是一种与雷达几乎相同的技术。激光雷达使用脉冲光束(通常是激光)和一个旋转的头/镜,用脉冲光束快速扫描该区域。在每一个光脉冲上,一个内部计数器启动,当光束击中远处的物体时,它会反弹(返回的光量取决于物体的反射率)。传感器检测到反射光束,然后计数器停止工作。由于计数器的频率以及光速已知,因此可以确定物体与激光雷达传感器之间的距离。其中,激光雷达采集的数据,有很多优点。比如空间信息丰富,比如光照不足也不影响感知。
步骤S2、处理器获取在第一位置基于激光雷达生成的距离图像和基于摄像头采集的标准图像,分别识别距离图像和标准图像中的障碍物,并基于距离图像和标准图像中的障碍物的分布趋势近似原理得出距离图像和标准图像中部分相类比的障碍物之间的映射关系。
在该步骤中,虽然墙体也是能对光进行反射,但墙体本身处于扫地机器人能活动的最大区域边界上,因此不被视为障碍物。其中,所谓“标准图像”即携带颜色信息以符合用户观测习惯并按标准格式进行存储的二维图像,其对应的标准格式包括但不限于JPEG、TIFF、RAW等。基于距离图像通常是三维图像,在本步骤障碍物及后续步骤墙脚边等的类比对位过程中,必要情况下,可先将距离图像转换为二维图像再与摄像头所采集的标准图像进行类比对位。藉此,由于二维摄像头所生成的静态图像不能存储距离,而激光雷达是一种与标准图像相反的距离图,其生成的图像由距离测量组成,因此两者的结合能起到与双目视觉或3D摄像头类似的既能进行深度定位又能保持颜色信息的技术效果。
在该步骤中,在家居等场景中各障碍物大多限于常规的几种,如在家居环境中,狭小空间(如沙发、床底)下的障碍物包括但不限于鞋、包裹、玩具、插线板等;因此可以通过提取特征建模以辅助图像识别。相对应的,障碍物之间的分布趋势,可以通过依次将障碍物与剩余距离最近的下一障碍物相连以确定其分布规律。换言之,在该步骤中,标准图像中的障碍物分布规律曲线会在距离图像中存在近似的分布曲线;由于这类分布曲线通常在一副图像中具有唯一性,进而可以确定该分布曲线上各障碍物之间的映射关系。
步骤S3、处理器识别距离图像和标准图像中未被障碍物阻挡的地板与墙板之间连接的墙脚边,然后根据障碍物之间类比的映射关系对距离图像和标准图像中的部分未被障碍物遮挡的墙脚边进行类比对位。
在该步骤中,本质即将基于障碍物分布的映射关系延伸到其他部分,实现两幅图像中映射同一实物的相类比图像内容之间的对位,从而为后续步骤S4中基于一副图像中被遮挡部分重构后的墙脚边去映射另一幅图像中也需重构的相对位墙脚边的位置关系垫定条件。在理想情况下,若距离图像转换为二维图像后与标准图像中对应上述步骤中所识别的障碍物两两之间的距离参数所显示的尺寸相一致时,该映射关系即等同于复制;若尺寸不一致,则需通过插值计算并结合三维与二维图像之间的转换关系等进行相应的缩放处理。
步骤S4、对被各该障碍物遮挡的部分,基于距离图像识别被遮挡部分左右相邻的墙脚边是否为折线或弧线,如果是折线或弧线,根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边;并将重构的被遮挡部分的墙脚边映射到标准图像中;若基于距离图像识别被遮挡部分左右相邻的任一墙脚边既不是折线也不是弧线,则将标准图像经网络端口发送至绑定的APP客户端,并提示APP客户端的操作用户手动对被遮挡部分的墙脚边进行描边处理,然后将手动描边结果映射到距离图像中相对应的遮挡部分。通常,该APP客户端装载于操作用户的移动通信终端上,该移动通信终端包括但不限于智能手机、平板电脑等。
在该步骤中,相比于3D摄像头生成的三维图像,操作用户在二维的标准图像中进行描边处理更便捷,而且便于传输还降低了成本。
与此同时,在该步骤中,基于大部分的建筑的墙面装修是有规律的平面或弧面结构,其对应的墙脚边也呈相应的折线或弧线结构。对于非平面和弧面的异形结构,用户可以通过手动描边的方式进行手工录入。通过墙脚边的重构即可确定扫地机器人精确的活动范围,从而为后续步骤的执行垫定基础。
其中,折线指的是多条线段顺次首尾依次相接组成的曲折连线,也可以说折线是把不在一条直线上的几个点(称为端点),依次用线段连接起来(每个公共端至多有两条线段相连)所构成的图形。
在该步骤中,上述根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边存在四种排列方式,即相邻的左右两边各存在折线和弧线的可能;该重构过程,即将被遮挡区域的墙角边视为已探明的左右相邻的两个未被遮挡的墙角边以相同的折线形或弧形做延伸,然后通过几何计算确定相邻两墙角边延伸后的交点。
步骤S5、结合距离图像和标准图像中重构后的墙脚边确定扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线,并将第一位置的标准图像和各该点位补拍后的照片发送给APP客户端供操作用户查看。在该步骤中,距离图像与标准图像相结合的优选方式可为:以标准图像中的平面几何投影关系确定点位的位置信息,必要时,还可将程序自动确定的点位呈现给用户以做确认或做进一步修订;然后再以距离图像确定可行的行进路线。当然,本领域技术人员可以理解,作为一种替换,也可采用用户直接在标准图像中以手工方式确定点位的具体位置,然后程序配合显示相应各点位对被遮挡区域投影的覆盖范围供用户做校正。基于本领域技术人员的公知常识,该步骤的具体实施方式还存在其他潜在的多种变形,不做赘述。
在该步骤中,优选地,处理器确定扫地机器人以摄像头对被遮挡部分补拍照片的点位和相对应的行进路线包括:
步骤S51、确定摄像头在标准图像中的位置、并根据识别出的障碍物结果及相对应的几何投影关系确定被障碍物遮挡部分的数量和区域范围。
步骤S52、判断是否存在覆盖所有被障碍物遮挡区域的第二位置,如果不存在,按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,再判断是否存在覆盖剩余所有被障碍物遮挡区域的第二位置,以此类推,如果还不存在,继续按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,直到确定一个第二位置;然后对被分离出来的遮挡区域,以同样的方法重新确定第三位置及剩余的必要点位,直至各点位的组合能覆盖标准图像中所有被障碍物遮挡区域为止;其中,各点位及第二位置满足与扫地机器人的外壳尺寸累加后不超出墙脚边范围。作为一种替换,该步骤也可通过用户在标准图像中基于视觉观测效果后通过手工描点位的方式予以置换。
步骤S53、结合距离图像判断相邻两障碍物之间、及各墙脚边与相邻障碍物之间是否存在容纳扫地机器人的外壳尺寸行进的路宽,得出行进至各点位的潜在路径,然后以各点位累积的总路径最短求解最佳规划路径。
优选地,本实施例方法还包括下述步骤(图中未示出):
步骤S6、当扫地机器人抵达目标点位后,所述处理器根据摄像头的视场角参数判断是否能覆盖预期的被障碍物遮挡区域,如果不能,通过旋转摄像头或旋转扫地机器人的方式采集至少两张照片以覆盖预期的被障碍物遮挡区域。
可选地,基于本实施例上述方法,操作用户通过APP客户端中所显示的标准图像和补拍后的照片查找是否存在目标遗失物件。
实施例2
与上述实施例相对应的,本实施例公开一种数据处理装置,具体为绑定APP客户端的扫地机器人,包括:激光雷达;设有摄像头的相机和处理器。其中处理用于加载相应的程序以执行下述上述步骤S1至步骤S6,不做赘述。
实施例3
本实施例公开一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法实施例中相对应的步骤。
综上,本发明上述各实施例所分别公开的数据处理方法、装置及计算机可读存储介质,至少具有以下有益效果:
激光雷达生成的图像能通过旋转覆盖更大的范围并携带距离测量信息,而经相机摄像头生成的标准图像则允许测量颜色并符合用户的直观视觉和手动描边习惯。因此,本发明将激光雷达和摄像头两种成像方式融为一体,获得了明显的互补作用。而且,两者的融合使得在被障碍物遮挡的墙角边的重构过程中,取得了能满足不同情况下都能分别进行差异化重构这一意想不到的技术效果。
与此同时,本发明基于墙角边重构后的距离图像和标准图像确定扫地机器人以摄像头对被遮挡部分补拍照片的点位并优化行进路线,提高了图像采集效率,并确保最终图像采集结果能覆盖标准图像中所有被障碍物遮挡区域的完整性效果;从而提高了扫地机器人在空间狭小区域采集图像的智能型和自动性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种数据处理方法,其特征在于,包括:
扫地机器人的处理器指示激光雷达和相机摄像头在第一位置进行图像采集;
所述处理器获取在所述第一位置基于激光雷达生成的距离图像和基于摄像头采集的标准图像,分别识别所述距离图像和所述标准图像中的障碍物,并基于所述距离图像和所述标准图像中的障碍物的分布趋势近似原理得出所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系;
所述处理器识别所述距离图像和所述标准图像中未被障碍物阻挡的地板与墙板之间连接的墙脚边,然后根据所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系实现所述距离图像和所述标准图像中映射同一特定实物的相类比图像内容之间的对位,所述特定实物具体为部分未被障碍物遮挡的墙脚边;
对被各该障碍物遮挡的部分,基于所述距离图像识别被遮挡部分左右相邻的墙脚边是否为折线或弧线,如果是折线或弧线,根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边;并将重构的被遮挡部分的墙脚边映射到所述标准图像中;若基于所述距离图像识别被遮挡部分左右相邻的任一墙脚边既不是折线也不是弧线,则将所述标准图像经网络端口发送至绑定的APP客户端,并提示所述APP客户端的操作用户手动对被遮挡部分的墙脚边进行描边处理,然后将手动描边结果映射到所述距离图像中相对应的遮挡部分;
结合所述距离图像和所述标准图像中重构后的墙脚边确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线,并将所述第一位置的标准图像和各该点位补拍后的照片发送给所述APP客户端供所述操作用户查看。
2.根据权利要求1所述的方法,其特征在于,在所述扫地机器人的处理器指示激光雷达和相机摄像头在第一位置进行图像采集之前,还包括:
所述操作用户通过所述APP客户端将所述扫地机器人移动到对应的图像采集位置。
3.根据权利要求2所述的方法,其特征在于,所述确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线包括:
确定摄像头在所述标准图像中的位置、并根据识别出的障碍物结果及相对应的几何投影关系确定被障碍物遮挡部分的数量和区域范围;
判断是否存在覆盖所有被障碍物遮挡区域的第二位置,如果不存在,按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,再判断是否存在覆盖剩余所有被障碍物遮挡区域的第二位置,以此类推,如果还不存在,继续按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,直到确定一个第二位置;然后对被分离出来的遮挡区域,以同样的方法重新确定第三位置及剩余的必要点位,直至各点位的组合能覆盖所述标准图像中所有被障碍物遮挡区域为止;其中,各点位及所述第二位置满足与所述扫地机器人的外壳尺寸累加后不超出墙脚边范围;
结合所述距离图像判断相邻两障碍物之间、及各墙脚边与相邻障碍物之间是否存在容纳所述扫地机器人的外壳尺寸行进的路宽,得出行进至各点位的潜在路径,然后以各点位累积的总路径最短求解最佳规划路径。
4.根据权利要求3所述的方法,其特征在于,还包括:
当所述扫地机器人抵达目标点位后,所述处理器根据摄像头的视场角参数判断是否能覆盖预期的被障碍物遮挡区域,如果不能,通过旋转摄像头或旋转所述扫地机器人的方式采集至少两张照片以覆盖预期的被障碍物遮挡区域。
5.根据权利要求1、2、3或4所述的方法,其特征在于,还包括:
所述操作用户通过所述APP客户端中所显示的所述标准图像和补拍后的照片查找是否存在目标遗失物件。
6.一种数据处理装置,具体为绑定APP客户端的扫地机器人,其特征在于,包括:
激光雷达;
设有摄像头的相机;
处理器,用于执行下述步骤:
指示激光雷达和相机摄像头在第一位置进行图像采集;
获取在所述第一位置基于激光雷达生成的距离图像和基于摄像头采集的标准图像,分别识别所述距离图像和所述标准图像中的障碍物,并基于所述距离图像和所述标准图像中的障碍物的分布趋势近似原理得出所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系;
识别所述距离图像和所述标准图像中未被障碍物阻挡的地板与墙板之间连接的墙脚边,然后根据所述距离图像和所述标准图像中部分相类比的障碍物之间的映射关系实现所述距离图像和所述标准图像中映射同一特定实物的相类比图像内容之间的对位,所述特定实物具体为部分未被障碍物遮挡的墙脚边;
对被各该障碍物遮挡的部分,基于所述距离图像识别被遮挡部分左右相邻的墙脚边是否为折线或弧线,如果是折线或弧线,根据相邻墙脚边的延伸趋势重构被遮挡部分的墙脚边;并将重构的被遮挡部分的墙脚边映射到所述标准图像中;若基于所述距离图像识别被遮挡部分左右相邻的任一墙脚边既不是折线也不是弧线,则将所述标准图像经网络端口发送至所述APP客户端,并提示所述APP客户端的操作用户手动对被遮挡部分的墙脚边进行描边处理,然后将手动描边结果映射到所述距离图像中相对应的遮挡部分;
结合所述距离图像和所述标准图像中重构后的墙脚边确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线,并将所述第一位置的标准图像和各该点位补拍后的照片发送给所述APP客户端供所述操作用户查看。
7.根据权利要求6所述的装置,其特征在于,所述处理器确定所述扫地机器人以摄像头对被遮挡部分补拍照片的至少一个点位和相对应的行进路线包括:
确定摄像头在所述标准图像中的位置、并根据识别出的障碍物结果及相对应的几何投影关系确定被障碍物遮挡部分的数量和区域范围;
判断是否存在覆盖所有被障碍物遮挡区域的第二位置,如果不存在,按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,再判断是否存在覆盖剩余所有被障碍物遮挡区域的第二位置,以此类推,如果还不存在,继续按从左到右或从右到左的顺序将其中一个被障碍物遮挡区域分离出来,直到确定一个第二位置;然后对被分离出来的遮挡区域,以同样的方法重新确定第三位置及剩余的必要点位,直至各点位的组合能覆盖所述标准图像中所有被障碍物遮挡区域为止;其中,各点位及所述第二位置满足与所述扫地机器人的外壳尺寸累加后不超出墙脚边范围;
结合所述距离图像判断相邻两障碍物之间、及各墙脚边与相邻障碍物之间是否存在容纳所述扫地机器人的外壳尺寸行进的路宽,得出行进至各点位的潜在路径,然后以各点位累积的总路径最短求解最佳规划路径。
8.根据权利要求7所述的装置,其特征在于,所述处理器还用于:
当所述扫地机器人抵达目标点位后,根据摄像头的视场角参数判断是否能覆盖预期的被障碍物遮挡区域,如果不能,通过旋转摄像头或旋转所述扫地机器人的方式采集至少两张照片以覆盖预期的被障碍物遮挡区域。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现上述权利要求1至5中任一所述方法中的步骤。
CN202110856207.9A 2021-07-28 2021-07-28 数据处理方法、装置及计算机可读存储介质 Active CN113313089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856207.9A CN113313089B (zh) 2021-07-28 2021-07-28 数据处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856207.9A CN113313089B (zh) 2021-07-28 2021-07-28 数据处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113313089A CN113313089A (zh) 2021-08-27
CN113313089B true CN113313089B (zh) 2021-10-01

Family

ID=77381798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856207.9A Active CN113313089B (zh) 2021-07-28 2021-07-28 数据处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113313089B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237061A (zh) * 2021-12-10 2022-03-25 珠海格力电器股份有限公司 设备控制方法、装置、非易失性存储介质及智能网关
CN114489549B (zh) * 2022-01-30 2023-04-25 深圳创维-Rgb电子有限公司 投屏图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256019A (zh) * 2017-06-23 2017-10-17 杭州九阳小家电有限公司 一种清洁机器人的路径规划方法
CN110946508A (zh) * 2018-09-27 2020-04-03 广东美的生活电器制造有限公司 使用激光雷达和摄像头的扫地机器人的控制方法及装置
WO2020200586A1 (en) * 2019-04-05 2020-10-08 Arcelik Anonim Sirketi A robot vacuum cleaner and the control method thereof
CN112180931A (zh) * 2020-09-30 2021-01-05 小狗电器互联网科技(北京)股份有限公司 扫地机的清扫路径规划方法、装置及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069103A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 로봇 청소기 및 로봇 청소기의 청소 경로 계획 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256019A (zh) * 2017-06-23 2017-10-17 杭州九阳小家电有限公司 一种清洁机器人的路径规划方法
CN110946508A (zh) * 2018-09-27 2020-04-03 广东美的生活电器制造有限公司 使用激光雷达和摄像头的扫地机器人的控制方法及装置
WO2020200586A1 (en) * 2019-04-05 2020-10-08 Arcelik Anonim Sirketi A robot vacuum cleaner and the control method thereof
CN112180931A (zh) * 2020-09-30 2021-01-05 小狗电器互联网科技(北京)股份有限公司 扫地机的清扫路径规划方法、装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robot navigation: Review of techniques and research challenges;Swati Aggarwal et al;《2016 3rd International Conference on Computing for Sustainable Global Development (INDIACom)》;20161031;第3660-3665页 *
扫地机器人的人行道动态障碍自主局部避障方法研究;王晨钰;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》;20210215;全文 *

Also Published As

Publication number Publication date
CN113313089A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110522359B (zh) 清洁机器人以及清洁机器人的控制方法
CN113313089B (zh) 数据处理方法、装置及计算机可读存储介质
CN110801180B (zh) 清洁机器人的运行方法及装置
WO2022027869A1 (zh) 一种基于边界的机器人区域划分方法、芯片及机器人
US10391630B2 (en) Systems and methods for performing occlusion detection
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
GB2597399A (en) Cleaning control method and apparatus, cleaning robot and storage medium
TWI664948B (zh) Electric sweeper
JP2015534048A (ja) ロボット位置決めシステム
CN106896809A (zh) 具有区域划分的测绘制图
KR20140133369A (ko) 청소 로봇 및 그 제어방법
CN111568312B (zh) 一种物体边界提取方法及装置
CN113331743A (zh) 清洁机器人清洁地面的方法以及清洁机器人
KR101333496B1 (ko) 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법
CN105989590A (zh) 立体匹配方法和装置
Fleck et al. Omnidirectional 3d modeling on a mobile robot using graph cuts
WO2022135556A1 (zh) 一种清洁机器人及其清洁控制方法
KR102314537B1 (ko) 이동 로봇 및 그 제어방법
CN113503877A (zh) 机器人分区地图建立方法、装置及机器人
JP2018196513A (ja) 電気掃除機
CN113536820A (zh) 位置识别方法、装置以及电子设备
CN115342800A (zh) 一种基于三目视觉传感器的地图构建方法及系统
CN116245929A (zh) 图像处理方法、系统和存储介质
JP4584405B2 (ja) 3次元物体検出装置と3次元物体検出方法及び記録媒体
CN219126188U (zh) 一种高匹配度扫地机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant