CN113671944A - 控制方法、控制装置、智能机器人及可读存储介质 - Google Patents

控制方法、控制装置、智能机器人及可读存储介质 Download PDF

Info

Publication number
CN113671944A
CN113671944A CN202110756228.3A CN202110756228A CN113671944A CN 113671944 A CN113671944 A CN 113671944A CN 202110756228 A CN202110756228 A CN 202110756228A CN 113671944 A CN113671944 A CN 113671944A
Authority
CN
China
Prior art keywords
predetermined
preset
intelligent robot
blocks
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110756228.3A
Other languages
English (en)
Other versions
CN113671944B (zh
Inventor
沈孝通
王健威
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202110756228.3A priority Critical patent/CN113671944B/zh
Publication of CN113671944A publication Critical patent/CN113671944A/zh
Application granted granted Critical
Publication of CN113671944B publication Critical patent/CN113671944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种控制方法、控制装置、智能机器人及非易失性计算机可读存储介质。本申请实施方式的控制方法用于智能机器人，智能机器人包括有红外摄像头及深度摄像头，在智能机器人的工作场景内的特定区域内、和\或特定区域周围预设范围内设有预定标记，控制方法包括：控制红外摄像头和深度摄像头，分别获取工作场景的红外图和深度图；根据红外图识别工作场景中的预定标记；根据深度图计算预定标记的三维坐标；根据预定标记的三维坐标，确定工作场景中的特定区域；及控制智能机器人避开特定区域行驶。本申请通过红外摄像头和深度摄像头识别特定区域，使得智能机器人在行驶时可准确地避开特定区域。

Description

控制方法、控制装置、智能机器人及可读存储介质
技术领域
本申请涉及机器人技术领域，特别涉及一种控制方法、控制装置、智能机器人及非易失性计算机可读存储介质。
背景技术
智能移动机器人是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置，目前广泛用于商场、超市、场馆等公共位置。然而，机器人不能像人一样通过扶梯或走下楼梯，扶梯、楼梯这类区域对于机器人属于危险区域，如不慎进入更可能造成危险并伤害行人和机器。以及，放置贵重物品(例如珠宝首饰、古董等)的区域，若智能移动机器人不慎进入容易造成贵重物品损坏。
发明内容
有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请实施方式提供了一种控制方法、控制装置、智能机器人及非易失性计算机可读存储介质。
本申请实施方式的控制方法用于智能机器人，所述智能机器人包括有红外摄像头及深度摄像头，在所述智能机器人的工作场景内的特定区域内、和\或所述特定区域周围预设范围内设有预定标记，所述控制方法包括：控制所述红外摄像头和所述深度摄像头，分别获取所述工作场景的红外图和深度图；根据所述红外图识别所述工作场景中的所述预定标记；根据所述深度图计算所述预定标记的三维坐标；根据所述预定标记的三维坐标，确定所述工作场景中的所述特定区域；及控制所述智能机器人避开所述特定区域行驶。
本申请实施方式的控制方法中，在智能机器人的工作场景中的特定区域内、和\或特定区域周围预设范围内设有预定标记，控制智能机器人上的红外摄像头和深度摄像头，分别获取工作场景内的红外图和深度图，进而根据红外图识别工作场景中的预定标记，以及根据深度图计算预定标记的三维坐标，然后确定工作场景中的特定区域，由此确定的特定区域位置更加准确，控制智能机器人避开特定区域行驶，如此，智能机器人在工作过程中不会误进入到特定区域中，智能机器人行驶更加安全，不易造成人受伤及财产损坏。
在某些实施方式中，所述预定标记包括预定数量且以预定排列方式排列的预定区块，所述根据红外图识别所述工作场景中的预定标记，包括：对所述红外图进行二值化处理，以获得二值化图；根据所述二值化图识别所述工作场景中所述预定区块；及对所述预定区块进行聚类，以获得多个预定区块组；根据每个预定区块组中的所述预定区块的分布，输出所述预定标记。
本实施方式中，通过对红外图进行二值化处理得到二值化图，然后根据二值化图识别工作场景中的预定区块，然后对识别到的预定区块进行聚类可以获得多个预定区块组，根据预定区块组中的预定区块的分布输出预定标记，由此，首先可以较准确地识别到工作场景中的预定区块，然后通过聚类预定区块可以得到多个预定区块组，从而可以更加准确地判断预定区块组是否为预定标记，可以避免错误地将预定区块作为预定标记而导致缩小了智能机器人的行驶范围。
在某些实施方式中，所述对所述预定区块进行聚类，以获得多个预定区块组，包括：计算相邻的所述预定区块之间的距离；及将所述距离小于或等于预定距离的所述预定区块，划分为同一组预定区块；所述根据每组所述预定区块组中的所述预定区块的分布，输出所述预定标记，包括：判断所述预定区块组中的所述预定区块的分布，是否满足预定条件；及若是，将所述预定区块组确定为所述预定标记。
本实施方式中，通过计算相邻的预定区块之间的距离，根据相邻的预定区块之间的距离与预定距离之间的关系，可以对多个预定区块进行聚类，从而可以得到多个预定区块组，有利于根据多个预定区块组中的预定区块的分布，确定预定标记。并且，通过判断预定区块组中预定区块的分布是否满足预定条件，满足预定条件的预定区块组确定为预定标记，进而智能机器人可以准确地识别预定标记，可以排除非预定标记的预定区块组，有利于智能机器人高效地完成工作任务。
在某些实施方式中，所述预定条件包括:所述预定区块的数量是否大于预定数量、多个所述预定区块是否以预定线型排列、相邻的所述预定区块之间的距离之间的差值是否小于差值阈值、及多个所述预定区块的面积之间的面积差是否小于预定差值、多个所述预定区块的形状之间的相似度是否大于预定相似度。
本实施方式中，判断预定区块的数量是否大于预定数量、多个预定区块是否以预定线型排列、相邻的预定区块之间的距离之间的差值是否小于差值阈值、及多个预定区块的面积之间的面积差是否小于预定差值及多个预定区块的形状之间的相似度是否大于预定相似度，使得得到的预定标记更加准确，进而智能机器人更不易进入特定区域，同时还可避免非预定标记的预定区块的干扰。
在某些实施方式中，所述根据所述深度图计算所述预定标记的三维坐标，包括：匹配与所述红外图对应的所述匹配深度图；确定所述匹配深度图中与所述预定标记所对应的匹配像素点；及根据所述匹配像素点的深度值及所述深度摄像头的参数，计算所述工作场景中与所述匹配像素点的相对应的匹配点的三维坐标，多个所述匹配点形成所述预定标记。
本实施方式中，通过匹配与红外图对应的匹配深度图，使得匹配深度图中的像素点可以和红外图中的像素点一一对应，然后可以确定匹配深度图中的与预定标记所对应的匹配像素点，进一步根据匹配像素的深度值及深度摄像头的参数，可以计算工作场景中与匹配像素的相对应的匹配点的三维坐标，如此，可以得到工作场景中预定标记的空间位置，使得智能机器人可以较好地避开特定区域。
在某些实施方式中，所述深度摄像头的参数包括内参矩阵和外参矩阵，所述根据所述匹配像素的深度值及所述深度摄像头的参数，计算所述工作场景中与所述匹配像素的相对应的点的三维坐标，包括：根据所述深度值、所述内参矩阵及所述外参矩阵，计算所述匹配点的三维坐标。
本实施方式中，通过匹配像素点的深度值及深度摄像头的内参矩阵和外参矩阵，计算工作环境中与匹配像素点对应的匹配点的三维坐标，计算得到的三维坐标比较准确，同时便于智能机器人确定特定区域。
在某些实施方式中，所述根据所述三维坐标，确定所述工作场景中的特定区域，包括：将所述三维坐标所对应的匹配点，标记为所述特定区域。
本实施方式中，将计算得到的三维坐标所对应的匹配点，标记为特定区域，使得智能机器人在行驶过程中不会进入到特定区域中。
在某些实施方式中，所述根据所述三维坐标，确定所述工作场景中的特定区域，包括：对所述三维坐标进行空间拟合，以得到拟合空间；及将所述拟合空间标记为所述特定区域。
本实施方式中，通过对工作环境中的预定标记的三维坐标进行空间拟合，然后可以根据拟合空间得到特定区域，使得确定的特定区域更加准确。
本申请实施方式的控制装置用于智能机器人，所述智能机器人包括红外摄像头及深度摄像头，在所述智能机器人的工作场景内的特定区域内、和\或所述特定区域的周围预设范围内设有预定标记，所述控制方法包括第一控制模块、识别模块、计算模块、确定模块及第二控制模块。第一控制模块用于控制所述红外摄像头和所述深度摄像头，分别获取工作场景的红外图和深度图；识别模块用于根据所述红外图识别所述工作场景中的预定标记；计算模块用于根据所述深度图计算所述预定标记的三维坐标；确定模块用于根据所述预定标记的三维坐标，确定所述工作场景中的特定区域；第二控制模块用于控制所述智能机器人避开所述特定区域行驶。
本申请实施方式的控制装置中，在智能机器人的工作场景中的特定区域内、和\或特定区域周围预设范围内设有预定标记，控制智能机器人上的红外摄像头和深度摄像头，分别获取工作场景内的红外图和深度图，进而根据红外图识别工作场景中的预定标记，以及根据深度图计算预定标记的三维坐标，然后确定工作场景中的特定区域，由此确定的特定区域位置更加准确，控制智能机器人避开特定区域行驶，如此，智能机器人在工作过程中不会误进入到特定区域中，智能机器人行驶更加安全，不易造成人受伤及财产损坏。
在某些实施方式中，所述预定标记包括预定数量且以预定排列方式排列的预定区块，所述识别模块还用于：对所述红外图进行二值化处理，以获得二值化图；根据所述二值化图识别所述工作场景中所述预定区块；及对所述预定区块进行聚类，以获得多个预定区块组；根据每个预定区块组中的所述预定区块的分布，输出所述预定标记。
本实施方式中，通过对红外图进行二值化处理得到二值化图，然后根据二值化图识别工作场景中的预定区块，然后对识别到的预定区块进行聚类可以获得多个预定区块组，根据预定区块组中的预定区块的分布输出预定标记，由此，首先可以较准确地识别到工作场景中的预定区块，然后通过聚类预定区块可以得到多个预定区块组，从而可以更加准确地判断预定区块组是否为预定标记，可以避免错误地将预定区块作为预定标记而导致缩小了智能机器人的行驶范围。
在某些实施方式中，所述识别模块还用于：计算相邻的所述预定区块之间的距离；及将所述距离小于或等于预定距离的所述预定区块，划分为同一组预定区块；所述根据每组所述预定区块组中的所述预定区块的分布，输出所述预定标记，包括：判断所述预定区块组中的所述预定区块的分布，是否满足预定条件；及若是，将所述预定区块组确定为所述预定标记。
本实施方式中，通过计算相邻的预定区块之间的距离，根据相邻的预定区块之间的距离与预定距离之间的关系，可以对多个预定区块进行聚类，从而可以得到多个预定区块组，有利于根据多个预定区块组中的预定区块的分布，确定预定标记。并且，通过判断预定区块组中预定区块的分布是否满足预定条件，满足预定条件的预定区块组确定为预定标记，进而智能机器人可以准确地识别预定标记，可以排除非预定标记的预定区块组，有利于智能机器人高效地完成工作任务。
在某些实施方式中，所述预定条件包括:所述预定区块的数量是否大于预定数量、多个所述预定区块是否以预定线型排列、相邻的所述预定区块之间的距离之间的差值是否小于差值阈值、及多个所述预定区块的面积之间的面积差是否小于预定差值、多个所述预定区块的形状之间的相似度是否大于预定相似度。
本实施方式中，判断预定区块的数量是否大于预定数量、多个预定区块是否以预定线型排列、相邻的预定区块之间的距离之间的差值是否小于差值阈值、及多个预定区块的面积之间的面积差是否小于预定差值及多个预定区块的形状之间的相似度是否大于预定相似度，使得得到的预定标记更加准确，进而智能机器人更不易进入特定区域，同时还可避免非预定标记的预定区块的干扰。
在某些实施方式中，所述计算模块还用于：匹配与所述红外图对应的所述匹配深度图；确定所述匹配深度图中与所述预定标记所对应的匹配像素点；及根据所述匹配像素点的深度值及所述深度摄像头的参数，计算所述工作场景中与所述匹配像素点的相对应的匹配点的三维坐标，多个所述匹配点形成所述预定标记。
本实施方式中，通过匹配与红外图对应的匹配深度图，使得匹配深度图中的像素点可以和红外图中的像素点一一对应，然后可以确定匹配深度图中的与预定标记所对应的匹配像素点，进一步根据匹配像素的深度值及深度摄像头的参数，可以计算工作场景中与匹配像素的相对应的匹配点的三维坐标，如此，可以得到工作场景中预定标记的空间位置，使得智能机器人可以较好地避开特定区域。
在某些实施方式中，所述深度摄像头的参数包括内参矩阵和外参矩阵，所述计算模块还用于：根据所述深度值、所述内参矩阵及所述外参矩阵，计算所述匹配点的三维坐标。
本实施方式中，通过匹配像素点的深度值及深度摄像头的内参矩阵和外参矩阵，计算工作环境中与匹配像素点对应的匹配点的三维坐标，计算得到的三维坐标比较准确，同时便于智能机器人确定特定区域。
在某些实施方式中，所述确定模块还用于：将所述三维坐标所对应的匹配点，标记为所述特定区域。
本实施方式中，将计算得到的三维坐标所对应的匹配点，标记为特定区域，使得智能机器人在行驶过程中不会进入到特定区域中。
在某些实施方式中，所述确定模块还用于：对所述三维坐标进行空间拟合，以得到拟合空间；及将所述拟合空间标记为所述特定区域。
本实施方式中，通过对工作环境中的预定标记的三维坐标进行空间拟合，然后可以根据拟合空间得到特定区域，使得确定的特定区域更加准确。
本申请实施方式的智能机器人包括包括红外摄像头及深度摄像头，所述智能机器人还包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行上述任一实施方式所述的控制方法的指令。
本申请实施方式的智能机器人中，在智能机器人的工作场景中的特定区域内、和\或特定区域周围预设范围内设有预定标记，控制智能机器人上的红外摄像头和深度摄像头，分别获取工作场景内的红外图和深度图，进而根据红外图识别工作场景中的预定标记，以及根据深度图计算预定标记的三维坐标，然后确定工作场景中的特定区域，由此确定的特定区域位置更加准确，控制智能机器人避开特定区域行驶，如此，智能机器人在工作过程中不会误进入到特定区域中，智能机器人行驶更加安全，不易造成人受伤及财产损坏。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现上述任意一项实施方式所述的控制方法。
本申请实施方式的计算机可读存储介质中，在智能机器人的工作场景中的特定区域内、和\或特定区域周围预设范围内设有预定标记，控制智能机器人上的红外摄像头和深度摄像头，分别获取工作场景内的红外图和深度图，进而根据红外图识别工作场景中的预定标记，以及根据深度图计算预定标记的三维坐标，然后确定工作场景中的特定区域，由此确定的特定区域位置更加准确，控制智能机器人避开特定区域行驶，如此，智能机器人在工作过程中不会误进入到特定区域中，智能机器人行驶更加安全，不易造成人受伤及财产损坏。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的控制方法的流程示意图；
图2是本申请实施方式的控制装置的结构示意图；
图3是本申请实施方式的智能机器人的结构示意图；
图4是本申请实施方式的控制方法的一个场景示意图；
图5是本申请实施方式的控制方法的流程示意图；
图6是本申请实施方式的控制方法的流程示意图；
图7是本申请实施方式的控制方法的流程示意图；
图8是本申请实施方式的控制方法的流程示意图；
图9是本申请实施方式的控制方法的流程示意图；
图10是本申请实施方式的控制方法的流程示意图；
图11是本申请实施方式的控制方法的流程示意图；
图12是本申请实施方式的计算机可读存储介质与处理器的连接关系示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1至图4，本申请实施方式的智能机器人100包括有红外摄像头10及深度摄像头20，在智能机器人100的工作场景内的特定区域A内、和\或特定区域A周围预设范围内设有预定标记B，本申请实施方式的控制方法用于智能机器人100，控制方法包括以下步骤：
01：控制红外摄像头10和深度摄像头20，分别获取工作场景的红外图和深度图；
02：根据红外图识别工作场景中的预定标记B；
03：根据深度图计算预定标记B的三维坐标；
04：根据预定标记B的三维坐标，确定工作场景中的特定区域A；及
05：控制智能机器人100避开特定区域A行驶。
本申请实施方式的控制装置200用于智能机器人100，控制装置200包括第一控制模块210、识别模块220、计算模块230、确定模块240及第二控制模块250。第一控制模块210、识别模块220、计算模块230、确定模块240及第二控制模块250可分别用于实现步骤01、步骤02、步骤03、步骤04和步骤05，也即是说，第一控制模块210可以用于控制红外摄像头10和深度摄像头20，分别获取工作场景的红外图和深度图；识别模块220可以用于根据红外图识别工作场景中的预定标记B；计算模块230可以用于根据深度图计算预定标记B的三维坐标；确定模块240可以用于根据预定标记B的三维坐标，确定工作场景中的特定区域A；第二控制模块250可以用于控制智能机器人100避开特定区域A行驶。
本申请实施方式的智能机器人100还可包括一个或多个处理器30、存储器和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被一个或多个所述处理器30执行，所述程序包括用于执行本申请实施方式所述的控制方法的指令。处理器30在执行程序时，处理器30可以实现步骤01、步骤02、步骤03、步骤04和步骤05。即，处理器30可以用于：：控制红外摄像头10和深度摄像头20，分别获取工作场景的红外图和深度图；根据红外图识别工作场景中的预定标记B；根据深度图计算预定标记B的三维坐标；根据预定标记B的三维坐标，确定工作场景中的特定区域A；及控制智能机器人100避开特定区域A行驶。
本申请实施方式的控制方法、控制装置200及智能机器人100中，在智能机器人100的工作场景中的特定区域A内、和\或特定区域A周围预设范围内设有预定标记B，控制智能机器人100上的红外摄像头10和深度摄像头20，分别获取工作场景内的红外图和深度图，进而根据红外图识别工作场景中的预定标记B，以及根据深度图计算预定标记B的三维坐标，然后确定工作场景中的特定区域A，由此确定的特定区域A位置更加准确，控制智能机器人100避开特定区域A行驶，如此，智能机器人100在工作过程中不会误进入到特定区域A中，智能机器人100行驶更加安全，不易造成人受伤及财产损坏。
智能机器人100具体可以是工业机器人、农业机器人、家庭机器人、服务机器人、清洁机器人等，在此不做限制。进一步地，清洁机器人可以是扫地机、洗地机、吸尘器等智能机器人100。智能机器人100还可以包括通信接口50、任务执行装置等元件，例如，智能机器人100可以用于清洁地板、地砖、路面或者水泥地等表面，智能机器人100还可以用于运输货物、执行救援等任务。
特定区域A可以包括智能机器人100无法自动行驶的区域，例如电动扶梯区域、楼梯区域等危险区域，智能机器人100进入该区域无法像人一样行驶，不慎进入容易伤害智能机器人100及人。特定区域A还可包括用户不想智能机器人100进入的区域(例如，放置珍珠、翡翠、花瓶等珠宝首饰的区域、放置古董的区域)。特定区域A还可包括智能机器人100进入容易摔倒的区域，例如台阶区域、高度差较大的区域。
为了可以让智能机器人100可以自动识别到工作场景中的特定区域A，可以在特定区域A内设置预定标记B，也可以在特定区域A周围预设范围内设置预定标记B，还可以同时在特定区域A及特定区域A周围预设范围内设置预定标记B。预设范围可以是以特定区域A为中心周围10厘米、15厘米、20厘米、30厘米、40厘米等范围，在此不一一列举。预定标记B可不同于周围的物体，以便于可较准确地识别预定标记B。预定标记B可以包括呈预定排列的多张贴纸、多个柱子等，多张贴纸可分组贴设在特定区域A的四周。例如，在一个实施例中，预定标记B可包括由高反光材料制成的贴纸，具体可以由红外高反光材料制成，且贴纸可为预定形状及多张贴纸呈预定排列方式排列，该贴纸可较多地反射红外光，使得红外图中的该区域的亮度较高，从而可以在红外图中较准确且较迅速的识别到预定标记B。其中，高反光指的是光线到达时反射率大于预定数值，例如反射率大于70％、80％、90％等。高反光材料可包括石英晶体或者多种金属介质材料的组合，在此不做详细描述。
在图4中，特定区域A为扶梯区域，由于智能机器人100无法自动乘坐扶梯，因此不能让智能机器人100进入扶梯区域，则在扶梯区域周围贴设有预定标记B(例如图4中的预定区块组101)，智能机器人100识别到该预定标记B时，则会调整行驶路线避开特定区域A，保证了智能机器人100的安全。
红外摄像头10可以用于获取工作场景中的红外光，并可以根据获取到的红外光进行成像得到红外图。智能机器人100还可包括红外发射器，红外发射器可以用于朝工作场景发射红外光，以使得红外摄像头10获取到工作场景内的红外图更加清楚。另外，在工作场景较暗时，红外摄像头10也可以较清楚地获取到工作场景的红外图。
深度摄像头20可以用于获取工作场景中的深度图，并且可以获取到目标场景中各个点的深度信息，深度图中各个像素的像素值即可表示工作场景中与各个像素对应的位置处的深度距离。深度摄像头20的测距原理可包括通过双目测距、结构光测距、飞行时间测距中的一种；或者可同时包括多种深度摄像头20，可分别获取工作场景中的多张深度图，可以选择深度信息较准确地一张深度图。例如，在深度摄像头20的测距原理为结构光测距或飞行时间测距时，深度摄像头20可包括激光投射器和接收器，激光投射器可用于朝目标场景内投射激光，接收器可以用于接收反射回的激光并生成深度图。例如，深度摄像头20可包括Kinect、Intel Realsense、奥比中光的大白、Orbbec Astr等深度摄像头20，在此不一一列举。
在步骤01中，控制红外摄像头10和深度摄像头20，分别获取工作场景的红外图和深度图。具体可以是智能机器人100的定位丢失、或者智能机器人100行驶到地图中标记的特定区域A周围时，可以控制红外摄像头10获取工作场景的红外图，控制深度摄像头20获取工作场景的深度图，深度摄像头20和红外摄像头10的视角可相同，红外图和深度图中的像素可一一对应。
在步骤02中，根据红外图识别工作场景中的预定标记B。预定标记B在工作场景中不同于其他物体，例如预定标记B的亮度、预定标记B的颜色、预定标记B的形状等可不同于工作场景中的其他物体，以使得可以根据红外图识别工作场景中的预定标记B。可以根据预定标记B的属性，对红外图进行简单的图像处理，从而可以从红外图从识别出预定标记B。
在步骤03中，根据深度图计算预定标记B的三维坐标。在步骤02中可以识别到工作场景中的预定标记B的位置，可以确定预定标记B在深度图中的位置以及对应的像素，然后可以根据深度图中对应的像素值及像素位置计算预定标记B在工作场景中的三维坐标，进而可以确定预定标记B在工作场景中的具体位置。
在步骤04中，根据预定标记B的三维坐标，确定工作场景中的特定区域A。可以直接将预定标记B所对应的三维坐标标记为特定区域A，也可以将三维坐标依次相连接起来，连接后形成的区域为特定区域A。
在步骤05中，控制智能机器人100避开特定区域A行驶。智能机器人100在进行路径规划时可以避开特定区域A，或者智能机器人100行驶至特定区域A附近时可以及时改变方向，进而智能机器人100在行驶过程中不易误进入特定区域A，在特定区域A为危险区域时，可以保证了智能机器人100行驶时的安全性；在特定区域A为贵重物品区域时，可以保证贵重物品不会发生损坏。
请参阅图2至图5，在某些实施方式中，预定标记包括预定数量且以预定排列方式排列的预定区块，步骤02包括以下步骤：
021：对红外图进行二值化处理，以获得二值化图；
022：根据二值化图识别工作场景中的预定区块；
023：对预定区块进行聚类，以获得多个预定区块组；及
024：根据每个预定区块组中的预定区块的分布，输出预定标记。
在某些实施方式中，识别模块220还可以用于：对红外图进行二值化处理，以获得二值化图；根据二值化图识别工作场景中的预定区块；对预定区块进行聚类，以获得多个预定区块组；及根据每个预定区块组中的预定区块的分布，输出预定标记。也即是说，识别模块220还可以用于实现步骤021、步骤022、步骤023和步骤024。
在某些实施方式中，处理器30还可以用于：对红外图进行二值化处理，以获得二值化图；根据二值化图识别工作场景中的预定区块；对预定区块进行聚类，以获得多个预定区块组；及根据每个预定区块组中的预定区块的分布，输出预定标记。也即是说，处理器30还可以用于实现步骤021、步骤022、步骤023和步骤024。
具体地，预定区块可为由红外高反光材料制成，使得预定区块可反射较多的红外光，从而预定在红外图中的亮度将比较高，则预定区块在红外图中的颜色将与其他部分之间的颜色区别较大。
在其中一些实施方式中，获取红外图中各个像素点的像素值，由于预定区块的亮度较高，则红外图中预定色块所包括的像素点的像素值将较大或者最大，可以将最大的像素值作为标准值，然后选取然后选取一个偏移值，标准值加减偏移值后即为二值化像素阈值，然后可以将像素值在二值化阈值内的像素点修改为第一颜色(例如黑色)，然后可以将像素值未在二值化阈值内的像素点修改为第二颜色，然后得到二值化图。二值化图中第一颜色的像素点大概率为预定区块，第二颜色的像素点大概率为其他区域的像素点。
在二值化图中，可以识别呈预定形状的区块，将识别到的形状为预定形状的区块作为预定区块，预定形状可以为预定区块的形状，例如预定区块可以为圆形、方形、三角形、五角星形等，具体以用户设计的预定区块形状进行调整。识别到预定区块后，预定区块的数量可为多个，可以将识别到的预定区块通过聚类算法进行聚类，将同一类的预定区块划分至同一组内。例如，可以将相邻近的预定区块聚为一组；或者，可以将一条直线上的预定区块聚为一组。然后可以将预定区块的分布满足设定条件的预定区块组作为预定标记，并输出该预定标记，以便于可以根据预定标记确定特定区域。本实施例中，通过聚类算法对预定区块进行归类然后输出预定标记，使得预定标记更加准确。
当然，在其他的一些实施方式中，二值化红外图也可以是如下步骤：获取红外图中各个像素点的像素值，然后可以根据像素值、及像素值对应的像素点的数目建立直方图，可以根据直方图中像素值的分布情况获取二值化像素阈值，进而可以根据二值化像素阈值对红外图进行二值化处理得到二值化图，在二值化图中可以较清晰地识别到各个预定区块。例如，可以连接直方图中波峰与波谷得到一条连线，然后将直方图中的各个点向连线做垂线，将垂线长度最长的点所对应的像素值作为标准值，或者，可以将直方图中波峰所对应的像素值作为标准值，然后选取一个偏移值，标准值加减偏移值即为二值化像素阈值，然后可以将像素值在二值化阈值内的像素点修改为第一颜色(例如黑色)，然后可以将像素值未在二值化阈值内的像素点修改为第二颜色，然后得到二值化图。
请参阅图图2、图3及图6，在某些实施方式中，步骤023可包括以下步骤：
0231：计算相邻的预定区块之间的距离；
0232：将距离小于或等于预定距离的预定区块，划分为同一组预定区块。
在某些实施方式中，识别模块220还可以用于实现步骤0231和步骤0232。也即是说，识别模块220还可以用于：计算相邻的预定区块之间的距离；及将距离小于或等于预定距离的预定区块，划分为同一组预定区块。
在某些实施方式中，处理器30还可以用于实现步骤0231和步骤0232。也即是说，处理器30还可以用于：计算相邻的预定区块之间的距离；及将距离小于或等于预定距离的预定区块，划分为同一组预定区块。
具体地，在步骤02中识别出来了预定区块，为了更加准确地识别出预定标记，需对预定区块进行聚类。一般预定标记中相邻的预定区块之间距离较小，相邻的预定区块不会隔得太远，因此，可以计算相邻的预定区块之间的距离。具体可计算两个相邻的预定区块的中心之间的距离。如果相邻的预定区块之间的距离小于或等于预定距离，则可以认为这两个预定区块为同一类，将这两个预定区块可以划分为同一组预定区块；如果相邻的预定区块之间的距离大于或等于预定距离，则可以认为这两个预定区块并非是同一类。其中，预定距离可较小，例如2厘米、3厘米、4厘米、5厘米等，预定距离也可根据用户在工作场景中的实际设置进行调整。
进一步地，请参阅图2、图3及图7，在某些实施方式中，步骤024包括以下步骤：
0241：判断预定区块组中的预定区块的分布，是否满足预定条件；及
0242：若是，将预定区块组确定为所述预定标记。
在某些实施方式中，识别模块220还可以用于判断每个预定区块组中的预定区块的分布，是否满足预定条件；及若是，将预定区块组确定为预定标记。即，识别模块220还可以用于实现步骤0241和步骤0242。
在某些实施方式中，处理器30还可以用于判断每个预定区块组中的预定区块的分布，是否满足预定条件；及若是，将预定区块组确定为预定标记。即，处理器30还可以用于实现步骤0241和步骤0242。
具体地，对多个预定区块进行聚类后，可以得到多个预定区块组，但是可能存在一些预定区块组并非为预定标记，为了避免错误地将这些预定区块组作为预定标记，可判断每个预定区块组是否为预定标记。具体地，可以识别每个预定区块组中的预定区块的分布，然后判断每个预定区块组中的预定区块的分布是否满足预定条件，将满足预定条件的预定区块组确定为预定标记，不满足预定条件的预定区块则不是预定标记，如此，智能机器人100可以准确地识别工作场景中的预定标记，而不会将不是预定标记的预定区块组识别为预定标记，使得智能机器人100在既能够避开特定区域的同时还能够较大范围地执行工作任务。
进一步地，在一些实施方式中，预定条件可以包括：预定区块的数量是否大于预定数量、多个预定区块是否以预定线型排列、相邻的预定区块之间的距离之间的差值是否小于差值阈值、及多个预定区块的面积之间的面积差是否小于预定差值、多个预定区块的形状之间的相似度是否大于预定相似度。可以理解，为了使智能机器人100可以更准确地识别到预定标记，用户会将预定数量的预定区块以预定线型及预定间距排列，并且预定标记中的预定区块的面积基本相等，且预定标记中的预定区块的形状一般相同且为预定形状。例如，请结合图4，在一个例子中，预定区块为贴纸，贴纸的形状为圆形，则预定标记中的预定区块的形状也为圆形。
更具体地，在判断预定区块组中预定区块的分布是否满足预定条件时，需计算每个预定区块组中预定区块的数量、识别多个预定区块的排列线型、计算每两个相邻的预定区块之间的相邻距离、计算相邻的相邻距离之间的距离差值、计算每个预定区块的面积、计算多个预定区块之间的面积差、识别每个预定区块的相似度、以及计算多个预定区块之间的相似度。然后可以判断每个预定区块组中：预定区块的数量是否大于预定数量、多个预定区块的排列线型是否为预定线型、相邻的相邻距离之间的距离差值是否小于预定差值、多个面积差是否小于预定差值、多个预定区块的形状之间的相似度是否大于预定相似度，在满足上述所有的条件时，可将该预定区块组确定为预定标记。由此，预定标记将更加准确，进而得到的特定区域更加准确，有利于智能机器人100避开特定区域。
在图4所示的实施例中，特定区域为扶梯区域，扶梯区域周围共有6个预定区块组101，每个预定区块组101包括4个预定区块1011，预定区块1011为圆形贴纸，其中预定条件为：预定区块为圆形、预定区块的数量为4个、4个预定区块的面积相等、相邻的预定区块之间的距离相等、4个预定区块呈直线型排列。图4中的6个预定区块组101均满足预定条件，则6个预定区块组101均为预定标记。图4中在扶梯区域的左右两侧及前侧均设置有预定区块组101，使得智能机器人100从左侧靠近扶梯区域时，可以识别到预定区块组101，而不会进入扶梯区域；使得智能机器人100从右侧靠近扶梯区域时，可以识别到预定区块组101，而不会进入扶梯区域；使得智能机器人100从前方靠近扶梯区域时，可以识别到预定区块组101，而不会进入扶梯区域；由此，可以保证智能机器人100从任何方向靠近扶梯区域，均能够准确识别到扶梯区域而不会进入。
请参阅图2、图3及图8，在某些实施方式中，步骤03包括以下步骤：
031：匹配与红外图对应的匹配深度图；
032：确定匹配深度图中与预定标记所对应的匹配像素点；及
033：根据匹配像素点的深度值及深度摄像头20的参数，计算工作场景中与匹配像素点的相对应的匹配点的三维坐标，多个匹配点形成预定标记。
在某些实施方式中，计算模块230还可以用于：匹配与红外图对应的匹配深度图；确定匹配深度图中与预定标记所对应的匹配像素点；及根据匹配像素点的深度值及深度摄像头20的参数，计算工作场景中与匹配像素点的相对应的匹配点的三维坐标。即，计算模块230还可以用于实现步骤031、步骤032和步骤033。
在某些实施方式中，处理器30还可以用于：匹配与红外图对应的匹配深度图；确定匹配深度图中与预定标记所对应的匹配像素点；及根据匹配像素点的深度值及深度摄像头20的参数，计算工作场景中与匹配像素点的相对应的匹配点的三维坐标。即，处理器30还可以用于实现步骤031、步骤032和步骤033。
具体地，由于红外图拍摄到的是二维图像，通过二维图像难以确定预定标记在工作场景中的位置坐标，因此，可以结合深度图计算预定标记在工作场景中的三维坐标，进而有利于智能机器人100识别特定区域并避开特定区域。智能机器人100可能拍摄有多张红外图和多张深度图，需要从多张深度图中匹配与识别到预定标记的红外图，所对应的深度图(即，匹配深度图)。具体可以根据识别深度图和红外图的时间戳，将多张红外图和多张深度图一一对应，进而可以得到匹配深度图。例如，深度摄像头20和红外摄像头10同时拍摄，则可以选择拍摄时间相同的的深度图和红外图作为一对；或者，深度摄像头20和红外摄像头10拍摄时间存在预定间隔，则拍摄时间间隔预定间隔的深度图和红外图为一对，则可以根据预定间隔匹配深度图和红外图。
由于匹配深度图和红外图对相对应的，则红外图中的像素点和匹配深度图中的像素点是一一对应的，可以在匹配深度图中找到与红外图相对应的位置，然后可以根据预定标记在红外图中的位置确定预定标记在深度图中的位置，然后确定深度图中与预定标记对应的匹配像素点，根据匹配像素点对应的深度值及深度摄像头20的参数，可以计算工作场景中与匹配像素点相对应的匹配点(即，预定标记)的三维坐标，进而可以根据匹配点的三维坐标得到特定区域的空间位置。可以理解，匹配像素对应的深度值、深度摄像头20的参数及工作场景中的匹配点三者可以呈预定的映射关系，进而可以根据映射关系计算得到匹配点的三维坐标。由此，可以更加准确地确定特定区域在工作场景中的实际位置，便于智能机器人100准确地避开。
更具体地，像素点所在的坐标系为像素坐标系、深度图所在的坐标系为图像坐标系、深度摄像头20所在的坐标系为相机坐标系、以及智能机器人100所在的坐标系为世界坐标系，可以根据像素坐标系与图像坐标系之间的映射关系、图像坐标系与相机坐标系之间的映射关系、相机坐标系与世界坐标系之间的映射关系，则可根据匹配像素点的深度值及坐标，逐级反推计算得到工作场景中与匹配像素点对应的匹配点的三维空间坐标，即，将匹配像素点从像素坐标系转换至图像坐标系中，然后从图像坐标系转换至相机坐标系，进一步地从相机坐标系转换至世界坐标系，进而可以得到匹配点的三维空间坐标。其中，每一个层级的映射关系可根据深度摄像头20的参数确定。
进一步地，请参阅图2、图3及图9，在某些实施方式中，深度摄像头20的参数可包括内参矩阵可外参矩阵，步骤033可包括以下步骤：
0331：根据深度值、内参矩阵及外参矩阵，计算匹配点的三维坐标。
在某些实施方式中，计算模块230还可以用于根据深度值、内参矩阵及外参矩阵，计算匹配点的三维坐标。即，计算模块230还可以用于实现步骤0331。
在某些实施方式中，处理器30还可以用于根据深度值、内参矩阵及外参矩阵，计算匹配点的三维坐标。即，处理器30还可以用于实现步骤0331。
具体地，像素坐标系与图像坐标系之间可以存在一定的转换关系，如下：
Figure BDA0003147601100000141
然后采用齐次坐标在用矩阵形式可以将上式表示成：
Figure BDA0003147601100000142
其中，其中(u0,v0)是图像坐标系原点在像素坐标系中的坐标，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。
图像坐标系与相机坐标系之间的关系如下：假设相机坐标系中有一点N，则在理想图像坐标系下(无畸变)的成像点P的坐标为(可由相似三角形原则得出)：
Figure BDA0003147601100000143
Figure BDA0003147601100000144
其中，xc、yc、zc为N的坐标，f为焦距(像平面与相机坐标系原点的距离)，将以上关系表示为矩阵形式，有：
Figure BDA0003147601100000145
则矩阵：
Figure BDA0003147601100000151
该矩阵可以称之为内参矩阵，可以理解为内聚矩阵内各值只与深度摄像头20的内部参数有关，且不随物体位置变化而变化。其中
Figure BDA0003147601100000152
的单位为个(像素数目)。
相机坐标系与世界坐标系之间的变化可以为如下关系：
Figure BDA0003147601100000153
其中，[R T]为深度摄像头20的外参矩阵，R为世界坐标系与相机坐标系之间的相对旋转矩阵，T为为世界坐标系与相机坐标系之间的相对平移矩阵，外参矩阵可以理解为只与相机外部参数有关，且外参矩阵随刚体位置的变化而变化。xw、yw、zw表示世界坐标系下的三维坐标点，zc表示相机坐标的z轴值，即目标到深度摄像头20的距离，即目标的深度值。
进一步地，上式可以转化为：
Figure BDA0003147601100000154
定义世界坐标系的原点和相机坐标系的原点重合，即没有旋转和平移，则
Figure BDA0003147601100000155
Figure BDA0003147601100000156
因为相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw.于是公式可进一步简化为：
Figure BDA0003147601100000157
从以上的变换矩阵公式，可以计算得到图像点[u，v]到世界坐标点[xw，yw，zw]的变换公式：
xw＝zc(u-u0)·dx/f
yw＝zc(v-v0)·dy/f
zw＝zc
因此，可以根据匹配像素点的坐标及深度值，计算得到工作场景中与匹配像素点的对应的匹配点的三维坐标。一个预定区块可以包括一个或多个匹配像素点，计算工作场景中与每个匹配像素点的对应的匹配点的三维坐标，可以得到多个匹配点的三维坐标，以便于根据多个匹配点的三维坐标确定特定区域的具体位置。
请参阅图2、图3及图10，在某些实施方式中，步骤04可以包括以下步骤：
041：将三维坐标所对应的匹配点，标记为特定区域。
在某些实施方式中，确定模块240还可以用于将三维坐标所对应的匹配点，标记为特定区域。即，确定模块240还可以用于实现步骤041。
在某些实施方式中，处理器30还可以用于将三维坐标所对应的匹配点，标记为特定区域。即，处理器30还可以用于实现步骤041。
具体地，智能机器人100得到工作场景中预定标记的三维坐标后，可以在智能机器人100所存储的地图或者智能机器人100所实时生成的地图中，将这些三维坐标进行标记，例如将这些三维坐标在地图中标记为红色，或者将这些三维坐标在地图中打上“X”等，以表示该位置为特定区域，不能进入该区域内。由此，智能机器人100在后续路径规划以及行驶过程中，可以避开该特定区域行驶，进而确保了智能机器人100行驶时的安全性。
请参阅图2、图3及图11，在某些实施方式中，步骤04可以包括以下步骤：
042：对三维坐标进行空间拟合，以得到拟合空间；及
043：将拟合空间标记为特定区域。
在某些实施方式中，确定模块240还可以用于：对三维坐标进行空间拟合，以得到拟合空间；及将拟合空间标记为特定区域。即，确定模块240还可以用于实现步骤042和步骤043。
在某些实施方式中，处理器30还可以用于：对三维坐标进行空间拟合，以得到拟合空间；及将拟合空间标记为特定区域。即，处理器30还可以用于实现步骤042和步骤043。
具体地，计算得到预定标记在工作场景中的三维坐标后，可以将多个三维坐标进行拟合，例如可以通过空间拟合算法对多个三维坐标进行拟合，可以得到一个拟合空间，拟合空间内可以认为是特定区域。或者，可以使用聚类算法对多个三维坐标进行聚类，将位于同一个平面内的三维坐标可以划分为同一类，可以得到多类三维坐标，并根据每类三维坐标拟合一个平面，可以得到多个平面，根据多个平面可以得到工作场景中的特定区域。或者，特定区域可以包括扶梯区域、步梯区域、贵重物品区域等区域，每种特定区域中预定标记的分布可不相同，对多个三维坐标进行拟合后，可以对拟合空间进行识别，判断拟合空间与哪个特定区域相对应，进而结合确定的特定区域的特征对拟合空间进行补充后可以得到较完整的特定区域，如此，可以得到较完整的特定区域，使得智能机器人100可以更好地避开特定区域行驶。
请结合图4，在某些实施方式中，在特定区域的周围的多个方向可以分别均部署预定区块组，例如，在特定区域的前、后、左、右均可布置有预定区块组，使得智能机器人100从任意角度接近特定区域时，均可识别到特定区域，进而降低了智能机器人100进入特定区域的概率，提高了智能机器人100识别的准确率。
请再次参阅图1及图2，存储器40用于存放可在处理器30上运行的计算机程序，处理器30执行程序时实现上述任一实施方式中的控制方法。
存储器40可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。进一步地，智能机器人100还可包括通信接口50，通信接口50用于存储器40和处理器30之间的通信。
如果存储器40、处理器30和通信接口50独立实现，则通信接口50、存储器40和处理器30可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器40、处理器30及通信接口50，集成在一块芯片上实现，则存储器40、处理器30及通信接口50可以通过内部接口完成相互间的通信。
处理器30可能是一个中央处理器30(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
请参阅图12，本申请实施方式的非易失性计算机可读存储介质300包括计算机可执行指令301，当计算机可执行指令301被一个或多个处理器400执行时，使得处理器400执行本申请任一实施方式的控制方法。即，处理器30可以执行上述实施方式中的步骤步骤01、步骤02、步骤03、步骤04、步骤021、步骤022、步骤023、步骤024、步骤0231、步骤0232、步骤0241、步骤0242、步骤031、步骤032、步骤033、步骤0331、步骤041、步骤042和步骤043。
例如，请结合图1、图2及图4，计算可执行指令301被处理器400执行时，处理器400用于实施以下步骤：
01：控制红外摄像头10和深度摄像头20，分别获取工作场景的红外图和深度图；
02：根据红外图识别工作场景中的预定标记B；
03：根据深度图计算预定标记B的三维坐标；
04：根据预定标记B的三维坐标，确定工作场景中的特定区域A；及
05：控制智能机器人100避开特定区域A行驶。
再例如，请结合图5，计算可执行指令301被处理器400执行时，处理器400用于实施以下步骤：
021：对红外图进行二值化处理，以获得二值化图；
022：根据二值化图识别工作场景中的预定区块；
023：对预定区块进行聚类，以获得多个预定区块组；及
024：根据每个预定区块组中的预定区块的分布，输出预定标记。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种控制方法，其特征在于，用于智能机器人，所述智能机器人包括红外摄像头及深度摄像头，在所述智能机器人的工作场景内的特定区域内、和\或所述特定区域的周围预设范围内设有预定标记，所述控制方法包括：
控制所述红外摄像头和所述深度摄像头，分别获取所述工作场景的红外图和深度图；
根据所述红外图识别所述工作场景中的所述预定标记；
根据所述深度图计算所述预定标记的三维坐标；
根据所述预定标记的三维坐标，确定所述工作场景中的所述特定区域；及
控制所述智能机器人避开所述特定区域行驶。
2.根据权利要求1所述的控制方法，其特征在于，所述预定标记包括预定数量且以预定排列方式排列的预定区块，所述根据红外图识别所述工作场景中的预定标记，包括：
对所述红外图进行二值化处理，以获得二值化图；
根据所述二值化图识别所述工作场景中所述预定区块；及
对所述预定区块进行聚类，以获得多个预定区块组；
根据每个预定区块组中的所述预定区块的分布，输出所述预定标记。
3.根据权利要求2所述的控制方法，其特征在于，所述对所述预定区块进行聚类，以获得多个预定区块组，包括：
计算相邻的所述预定区块之间的距离；及
将所述距离小于或等于预定距离的所述预定区块，划分为同一组预定区块；
所述根据每组所述预定区块组中的所述预定区块的分布，输出所述预定标记，包括：
判断所述预定区块组中的所述预定区块的分布，是否满足预定条件；及
若是，将所述预定区块组确定为所述预定标记。
4.根据权利要求3所述的控制方法，其特征在于，所述预定条件包括:所述预定区块的数量是否大于预定数量、多个所述预定区块是否以预定线型排列、相邻的所述预定区块之间的距离之间的差值是否小于差值阈值、及多个所述预定区块的面积之间的面积差是否小于预定差值、多个所述预定区块的形状之间的相似度是否大于预定相似度。
5.根据权利要求1所述的控制方法，其特征在于，所述根据所述深度图计算所述预定标记的三维坐标，包括：
匹配与所述红外图对应的所述匹配深度图；
确定所述匹配深度图中与所述预定标记所对应的匹配像素点；及
根据所述匹配像素点的深度值及所述深度摄像头的参数，计算所述工作场景中与所述匹配像素点的相对应的匹配点的三维坐标，多个所述匹配点形成所述预定标记。
6.根据权利要求5所述的控制方法，其特征在于，所述深度摄像头的参数包括内参矩阵和外参矩阵，所述根据所述匹配像素点的深度值及所述深度摄像头的参数，计算所述工作场景中与所述匹配像素点的相对应的匹配点的三维坐标，包括：
根据所述深度值、所述内参矩阵及所述外参矩阵，计算所述匹配点的三维坐标。
7.根据权利要求1所述的控制方法，其特征在于，所述根据所述三维坐标，确定所述工作场景中的特定区域，包括：
将所述三维坐标所对应的匹配点，标记为所述特定区域；
或
对所述三维坐标进行空间拟合，以得到拟合空间；及
将所述拟合空间标记为所述特定区域。
8.一种控制装置，其特征在于，用于智能机器人，所述智能机器人包括红外摄像头及深度摄像头，在所述智能机器人的工作场景内的特定区域内、和\或所述特定区域的周围预设范围内设有预定标记，所述控制方法包括：
第一控制模块，用于控制所述红外摄像头和所述深度摄像头，分别获取工作场景的红外图和深度图；
识别模块，用于根据所述红外图识别所述工作场景中的预定标记；
计算模块，用于根据所述深度图计算所述预定标记的三维坐标；
确定模块，用于根据所述预定标记的三维坐标，确定所述工作场景中的特定区域；及
第二控制模块，用于控制所述智能机器人避开所述特定区域行驶。
9.一种智能机器人，其特征在于，所述智能机器人包括红外摄像头及深度摄像头，所述智能机器人还包括：
一个或多个处理器、存储器；和
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行权利要求1至7任意一项所述的控制方法的指令。
10.一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现权利要求1至7任意一项所述的控制方法。
CN202110756228.3A 2021-07-05 2021-07-05 控制方法、控制装置、智能机器人及可读存储介质 Active CN113671944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110756228.3A CN113671944B (zh) 2021-07-05 2021-07-05 控制方法、控制装置、智能机器人及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110756228.3A CN113671944B (zh) 2021-07-05 2021-07-05 控制方法、控制装置、智能机器人及可读存储介质

Publications (2)

Publication Number Publication Date
CN113671944A true CN113671944A (zh) 2021-11-19
CN113671944B CN113671944B (zh) 2024-04-16

Family

ID=78538579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110756228.3A Active CN113671944B (zh) 2021-07-05 2021-07-05 控制方法、控制装置、智能机器人及可读存储介质

Country Status (1)

Country Link
CN (1) CN113671944B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109258060A (zh) * 2018-08-24 2019-01-25 宁波市德霖机械有限公司 基于特殊图像标识识别的地图构建智能割草机
CN110838144A (zh) * 2018-08-15 2020-02-25 杭州萤石软件有限公司 一种充电设备识别方法、移动机器人和充电设备识别系统
CN111409070A (zh) * 2020-03-25 2020-07-14 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838144A (zh) * 2018-08-15 2020-02-25 杭州萤石软件有限公司 一种充电设备识别方法、移动机器人和充电设备识别系统
CN109258060A (zh) * 2018-08-24 2019-01-25 宁波市德霖机械有限公司 基于特殊图像标识识别的地图构建智能割草机
CN111409070A (zh) * 2020-03-25 2020-07-14 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质

Also Published As

Publication number Publication date
CN113671944B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
US10366310B2 (en) Enhanced camera object detection for automated vehicles
Li et al. A sensor-fusion drivable-region and lane-detection system for autonomous vehicle navigation in challenging road scenarios
Guo et al. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning
Shinzato et al. Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion
EP1394761B1 (en) Obstacle detection device and method therefor
Schneider et al. Fusing vision and lidar-synchronization, correction and occlusion reasoning
JP6667065B2 (ja) 位置推定装置および位置推定方法
Gschwandtner et al. Infrared camera calibration for dense depth map construction
CN113984081B (zh) 定位方法、装置、自移动设备和存储介质
US11674907B2 (en) Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
JP2015191619A (ja) 車外環境認識装置
CN104792312A (zh) 以定距三球为视觉标志物的室内自动运输车定位系统
JP2014170540A (ja) 路面高度形状推定方法とシステム
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN107218927A (zh) 一种基于tof相机的货物托盘检测系统和方法
Huang et al. Robust lane marking detection under different road conditions
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
JP6339840B2 (ja) 車外環境認識装置
CN111932617B (zh) 一种对规则物体实现实时检测定位方法和系统
Guo et al. Stereovision-based road boundary detection for intelligent vehicles in challenging scenarios
CN113671944B (zh) 控制方法、控制装置、智能机器人及可读存储介质
Hoermann et al. Vehicle localization and classification using off-board vision and 3-D models
JP7043787B2 (ja) 対象物検知システム
Bhowmick et al. A novel floor segmentation algorithm for mobile robot navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant