CN112571410B - 一种区域确定方法、装置、移动机器人及系统 - Google Patents

一种区域确定方法、装置、移动机器人及系统 Download PDF

Info

Publication number
CN112571410B
CN112571410B CN201910927146.3A CN201910927146A CN112571410B CN 112571410 B CN112571410 B CN 112571410B CN 201910927146 A CN201910927146 A CN 201910927146A CN 112571410 B CN112571410 B CN 112571410B
Authority
CN
China
Prior art keywords
coordinate system
target pixel
thermal imaging
pixel point
imaging camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910927146.3A
Other languages
English (en)
Other versions
CN112571410A (zh
Inventor
沈冰伟
宋滨彬
石彦麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN201910927146.3A priority Critical patent/CN112571410B/zh
Publication of CN112571410A publication Critical patent/CN112571410A/zh
Application granted granted Critical
Publication of CN112571410B publication Critical patent/CN112571410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种区域确定方法、装置、移动机器人及系统，该方法应用于移动机器人，移动机器人与热成像摄像机通信，该方法包括：从热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，目标像素点为：目标图像中高温区域中的任一像素点，目标图像为热成像摄像机所拍摄的包括地面上高温区域的图像；将第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标；确定移动机器人的禁止运行区域，其中，禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。可见，移动机器人可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。

Description

一种区域确定方法、装置、移动机器人及系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及一种区域确定方法、装置、移动机器人及系统。
背景技术
随着科学技术的发展，仓储机器人、扫地机器人和农业机器人等各种移动机器人越来越普遍，可以代替用户执行相关任务。例如，仓储机器人可以在仓库中搬运货物；扫地机器人可以在办公室中扫地；农业机器人可以在草坪锄草、在田里收割庄稼等，节省了人力成本和时间成本，提高了执行任务的效率，为人们的生活带来极大便利。
但是，相关技术中，移动机器人在移动过程中，无法感知地面上的高温区域，例如，移动机器人无法感知地面上的高温物体或正燃烧的物体。当移动机器人移动到高温区域内或者高温区域附近时，会对移动机器人造成不可逆转的损害，导致移动机器人的使用寿命缩短甚至不能正常工作，甚至导致次生灾害的发生。
为此，如何使移动机器人感知到地面上的高温区域称为亟待解决的问题。
发明内容
为了解决相关技术存在的移动机器人无法感知地面上的高温区域的技术问题，本发明实施例提供了一种区域确定方法、装置、移动机器人及系统。
第一方面，本发明实施例提供了一种区域确定方法，应用于移动机器人，所述移动机器人与热成像摄像机通信，所述方法包括：
从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述目标图像为所述热成像摄像机所拍摄的包括地面上高温区域的图像，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系；
确定所述移动机器人的禁止运行区域，其中，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
可选的，所述热成像摄像机确定目标像素点在第一坐标系中的第一位置坐标，包括：
确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
可选的，所述确定目标像素点在第三坐标系中的第三位置坐标，包括：
利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure GDA0003476475370000021
Figure GDA0003476475370000022
Figure GDA0003476475370000023
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
可选的，所述第一位置坐标为：
(htan(α)-yc,-xc)。
可选的，所述将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，包括：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000031
其中，
Figure GDA0003476475370000032
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure GDA0003476475370000033
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure GDA0003476475370000034
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000035
第二方面，本发明实施例提供了一种区域确定装置，应用于移动机器人，所述移动机器人与热成像摄像机通信，所述装置包括：
位置获取模块，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述目标图像为所述热成像摄像机所拍摄的包括地面上高温区域的图像，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
位置转换模块，用于将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系；
区域确定模块，用于确定所述移动机器人的禁止运行区域，其中，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
可选的，所述热成像摄像机包括位置确定模块，所述位置确定模块，包括：
第一位置确定单元，用于确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
第二位置确定单元，用于根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标；
其中，所述第一位置确定单元，具体用于：
利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure GDA0003476475370000041
Figure GDA0003476475370000042
Figure GDA0003476475370000043
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
可选的，所述第一位置坐标为：
(htan(α)-yc,-xc)；
所述区域确定模块，用于：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000044
其中，
Figure GDA0003476475370000045
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure GDA0003476475370000046
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure GDA0003476475370000047
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000051
第三方面，本发明实施例提供了一种移动机器人，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的区域确定方法。
第四方面，本发明实施例所提供的一种区域确定系统，所述系统包括：移动机器人和热成像摄像机，所述移动机器人与热成像摄像机通信；
所述热成像摄像机，用于拍摄的包括地面上高温区域的目标图像，确定目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
所述移动机器人，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标；将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标；确定所述移动机器人的禁止运行区域；
其中，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
可选的，所述热成像摄像机，具体用于：
确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
可选的，所述热成像摄像机，具体用于：利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure GDA0003476475370000061
Figure GDA0003476475370000062
Figure GDA0003476475370000063
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
可选的，所述第一位置坐标为：(htan(α)-yc,-xc)。
可选的，所述移动机器人，具体用于：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000064
其中，
Figure GDA0003476475370000065
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure GDA0003476475370000066
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure GDA0003476475370000067
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000068
第四方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的区域确定方法的步骤。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种区域确定系统中，移动机器人与热成像摄像机的交互示意图；
图2为本发明实施例所提供的移动机器人在移动过程中构建的二维地图的示意图；
图3为本发明实施例所提供的包含禁止运行区域的二维地图的示意图；
图4为本发明实施例所提供的一种区域确定方法的流程图；
图5为本发明实施例所提供的一种区域确定装置的结构示意图；
图6为本发明实施例所提供的一种移动机器人的示意图；
图7为本发明实施例所提供的一种区域确定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决相关技术中存在的“移动机器人无法感知地面上的高温区域”的技术问题，本发明实施例提供了一种区域确定方法、装置、移动机器人及系统。
为了方案描述清楚，第一方面，首先对本发明实施例的整体架构进行简单介绍。
如图1所示，本发明实施例提供的一种区域确定系统，可以包括：移动机器人110与热成像摄像机120，其中，移动机器人110与热成像摄像机120相关联，也就是说，移动机器人与热成像摄像机通信。
具体的，热成像摄像机120可以拍摄包含地面上高温区域的目标图像；并且，在拍摄到目标图像后，可以确定目标像素点在第一坐标系中的第一坐标位置，其中，目标像素点为：目标图像中高温区域中的任一像素点，第一坐标系为：以热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系。
在一种实施方式中，热成像摄像机确定目标像素点在第一坐标系中的第一坐标位置的方式，可以为：首先确定目标像素点在第三坐标系中的第三位置坐标，其中，第三坐标系为：以热成像摄像机的光心为原点，所构建的坐标系；然后根据第三位置坐标，确定目标像素点在第一坐标系中的第一位置坐标。为了方案描述清楚，将在下面方法实施例中对确定第三位置坐标及第一位置坐标的具体实施方式进行详细阐述。
移动机器人110在移动过程中构建了地面二维地图，如图2所示，为移动机器人110在移动过程中构建的二维地图的示意图，xw轴所指的方向为二维地图的横轴的正方向，yw轴所指的方向为二维地图的纵轴的正方向。
因此，移动机器人从热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标之后，可以将该第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标，其中，该第二坐标系可以为：移动机器人所构建的地面二维地图中的二维坐标系，这样，就确定了目标像素点在地面二维地图中的位置。由于目标像素点为高温区域中的任一像素点，因此，移动机器人在确定了各个目标像素点的第二位置坐标之后，可以确定移动机器人的禁止运行区域。
其中，禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。可以理解的是，禁止运行区域可以与各个目标像素点的第二位置坐标构成的区域相同，也可以大于各个目标像素点的第二位置坐标构成的区域，这都是合理的。如图3所示，禁止运行区域可以包括各个目标像素点的第二位置坐标构成的区域，即禁止运行区域可以包括高温区域。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
在对本发明实施例的整体架构进行简单介绍后，下面将对本发明实施例提供的一种区域确定方法、装置及移动机器人进行详细介绍。
第二方面，对本发明实施例提供的一种区域确定方法进行介绍。
需要说明的是，本发明实施例所提供的一种区域确定方法的执行主体可以为区域确定装置，该区域确定装置可以运行于移动机器人。
如图4所示，本发明实施例提供的一种区域确定方法，可以包括如下步骤：
S410，从热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标。
其中，目标像素点为：目标图像中高温区域中的任一像素点，目标图像为热成像摄像机所拍摄的包括地面上高温区域的图像，第一坐标系为：以热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系。
具体的，热成像摄像机可以实时或者每隔预设时长拍摄目标图像，其中，该目标图像包括地面上的高温区域，并且，为了后续步骤中，移动机器人能够确定高温区域中各个目标像素点，在移动机器人所构建的地面二维地图中的位置，热成像摄像机需要确定高温区域中各个目标像素点在第一坐标系中的位置坐标。
在一种实施方式中，热成像摄像机确定目标像素点在第一坐标系中的第一位置坐标，可以包括如下两个步骤，分别为a1和a2：
a1，确定目标像素点在第三坐标系中的第三位置坐标，其中，第三坐标系为：以热成像摄像机的光心为原点，所构建的坐标系。
可以理解的是，热成像摄像机可以以热成像摄像机的光心为原点，构建第三坐标系。移动机器人在获取目标图像后，可以确定高温区域中各个目标像素点在第三坐标系中的第三位置坐标。
作为本发明实施例的一种实现方式，确定目标像素点在第三坐标系中的第三位置坐标，可以包括如下两个步骤：
第一步，利用热成像摄像机的镜头内参和镜头畸变参数，对目标像素点在目标图像中的像素位置进行畸变矫正，得到目标像素点在第三坐标系的目标归一化平面内的目标像素位置。
具体的，假设目标像素点在目标图像中的像素位置为(u，v)。那么，可以利用以下公式对目标像素点在目标图像中的像素位置进行畸变校正：
[x’y’1]T＝K-1[u v 1]T
x’＝x(1+k1r2+k2r4+k3r6)+2p1xy+P2(r2+2x2)
y’＝y(1+k1r2+k2r4+k3r6)+P1(r2+2y2)+2p2xy
r＝x2+y2
其中，K为热成像摄像机的已知镜头内参，k1，k2，k3，p1,p2为热成像摄像机的镜头畸变参数，x’，y’和r为中间变量，(x,y)为目标像素点在第三坐标系的目标归一化平面内的目标像素位置。而且，目标归一化平面可以为：第三坐标系中，z＝1对应的平面。当然，也可以根据实际情况确定目标归一化平面，本发明实施例对目标归一化平面不做具体限定。
第二步，将目标像素位置代入到预先设定的转化公式中，得到目标像素点在第三坐标系中的第三位置坐标；
其中，转化公式为：
Figure GDA0003476475370000101
Figure GDA0003476475370000102
Figure GDA0003476475370000103
其中，(xc，yc，zc)为第三位置坐标，(x，y)目标像素点的目标像素位置，h为热成像摄像机的光心距离地面的高度；α为热成像摄像机的安装方向与垂直方向的夹角。
a2，根据第三位置坐标，确定目标像素点在第一坐标系中的第一位置坐标。
具体的，在第三位置坐标为：(xc，yc，zc)时，第一位置坐标可以为：(htan(α)-yc,-xc)。
S420，将第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标，
其中，第二坐标系为：移动机器人所构建的地面二维地图中的二维坐标系。
具体的，为了确定目标像素点在地面二维地图中的位置，移动机器人在获取到第一位置坐标后，需要将第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标。
在一种实施方式中，将第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标，可以包括：
确定热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000111
其中，
Figure GDA0003476475370000112
为热成像摄像机在第二坐标系中的横坐标，
Figure GDA0003476475370000113
为热成像摄像机在第二坐标系中的纵坐标；
Figure GDA0003476475370000114
为热成像摄像机在第二坐标系中相对于x轴的夹角；
利用以下公式计算目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000115
具体的，第二坐标系的横坐标方向可以是移动机器人运动的方法，第二坐标系的纵坐标方向是与横坐标方向垂直的方向。通过确定热成像摄像机在第二坐标系中的横坐标、纵坐标以及热成像摄像机在第二坐标系中相对于x轴的夹角即热成像摄像机的安装方向，可以唯一确定热成像摄像机在地面二维地图中的位置。
利用上述公式，可以将第一位置坐标转换为目标像素点在第二坐标系中的第二位置坐标，从而可以确定高温区域中各个目标像素点在第二坐标系中的第二位置坐标。
S430，确定移动机器人的禁止运行区域，其中，禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
由于目标像素点为高温区域中的任一像素点，因此，移动机器人在确定了各个目标像素点的第二位置坐标之后，可以确定移动机器人的禁止运行区域。
其中，禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。可以理解的是，禁止运行区域可以与各个目标像素点的第二位置坐标构成的区域相同，也可以大于各个目标像素点的第二位置坐标构成的区域，这都是合理的。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，从而可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
第三方面，本发明实施例提供了一种区域确定装置，应用于移动机器人，所述移动机器人与热成像摄像机通信，如图5所示，所述装置包括：
位置获取模块510，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述目标图像为所述热成像摄像机所拍摄的包括地面上高温区域的图像，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
位置转换模块520，用于将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系；
区域确定模块530，用于确定所述移动机器人的禁止运行区域，其中，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，从而可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
可选的，所述热成像摄像机包括位置确定模块，所述位置确定模块，包括：
第一位置确定单元，用于确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
第二位置确定单元，用于根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
其中，所述第一位置确定单元，具体用于：
利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure GDA0003476475370000131
Figure GDA0003476475370000132
Figure GDA0003476475370000133
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
可选的，所述第一位置坐标为：
(htan(α)-yc,-xc)。
其中，所述区域确定模块，具体用于：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000134
其中，
Figure GDA0003476475370000135
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure GDA0003476475370000136
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure GDA0003476475370000137
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000141
第四方面，本发明实施例提供了一种移动机器人，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现第二方面所述的区域确定方法。
上述接收方设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述接收方设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，从而可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
第五方面，本发明实施例提供了一种区域确定系统，如图7所示，所述系统包括：移动机器人710和热成像摄像机720，所述移动机器人与热成像摄像机通信；
所述热成像摄像机，用于拍摄的包括地面上高温区域的目标图像，确定目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
所述移动机器人，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标；将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标；确定所述移动机器人的禁止运行区域；
其中，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，从而可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
可选的，所述热成像摄像机，具体用于：
确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
可选的，所述热成像摄像机，具体用于：利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure GDA0003476475370000161
Figure GDA0003476475370000162
Figure GDA0003476475370000163
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
可选的，所述第一位置坐标为：(htan(α)-yc,-xc)。
可选的，所述移动机器人，具体用于：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure GDA0003476475370000164
其中，
Figure GDA0003476475370000165
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure GDA0003476475370000166
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure GDA0003476475370000167
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure GDA0003476475370000168
第五方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的区域确定方法的步骤。
可见，通过本发明实施例提供的技术方案，移动机器人通过在其自身构建的地面二维地图中，确定禁止运行区域，其中，该禁止运行区域中包括高温区域，从而可以实现感知地面上的高温区域，避免移动机器人移动到高温区域内或者高温区域附近，进而防止高温区域对移动机器人造成损害，提高了移动机器人的安全性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种区域确定方法，其特征在于，应用于移动机器人，所述移动机器人与热成像摄像机通信，所述方法包括：
从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述目标图像为所述热成像摄像机所拍摄的包括地面上高温区域的图像，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系；
确定所述移动机器人的禁止运行区域，其中，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域；
其中，所述热成像摄像机确定目标像素点在第一坐标系中的第一位置坐标，包括：
确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
2.根据权利要求1所述的方法，其特征在于，所述确定目标像素点在第三坐标系中的第三位置坐标，包括：
利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure FDA0003476475360000021
Figure FDA0003476475360000022
Figure FDA0003476475360000023
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
3.根据权利要求2所述的方法，其特征在于，所述第一位置坐标为：
(htan(α)-yc,-xc)。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，包括：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure FDA0003476475360000024
其中，
Figure FDA0003476475360000025
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure FDA0003476475360000026
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure FDA0003476475360000027
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure FDA0003476475360000028
5.一种区域确定装置，其特征在于，应用于移动机器人，所述移动机器人与热成像摄像机通信，所述装置包括：
位置获取模块，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述目标图像为所述热成像摄像机所拍摄的包括地面上高温区域的图像，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
位置转换模块，用于将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系；
区域确定模块，用于确定所述移动机器人的禁止运行区域，其中，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域；
其中，所述热成像摄像机包括位置确定模块，所述位置确定模块，包括：
第一位置确定单元，用于确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
第二位置确定单元，用于根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
6.根据权利要求5所述的装置，其特征在于，所述第一位置确定单元，具体用于：
利用热成像摄像机的镜头内参和镜头畸变参数，对所述目标像素点在所述目标图像中的像素位置进行畸变矫正，得到所述目标像素点在所述第三坐标系的目标归一化平面内的目标像素位置；
将所述目标像素位置代入到预先设定的转化公式中，得到所述目标像素点在所述第三坐标系中的第三位置坐标；
其中，所述转化公式为：
Figure FDA0003476475360000031
Figure FDA0003476475360000032
Figure FDA0003476475360000033
其中，(xc，yc，zc)为第三位置坐标，(x，y)所述目标像素点的目标像素位置，h为所述热成像摄像机的光心距离地面的高度；所述α为所述热成像摄像机的安装方向与垂直方向的夹角。
7.根据权利要求6所述的装置，其特征在于，所述第一位置坐标为：
(htan(α)-yc,-xc)；
所述区域确定模块，具体用于：
确定所述热成像摄像机在第二坐标系的安装位置信息
Figure FDA0003476475360000041
其中，
Figure FDA0003476475360000042
为所述热成像摄像机在所述第二坐标系中的横坐标，
Figure FDA0003476475360000043
为所述热成像摄像机在所述第二坐标系中的纵坐标；
Figure FDA0003476475360000044
为所述热成像摄像机在所述第二坐标系中相对于x轴的夹角；
利用以下公式计算所述目标像素点在第二坐标系中的第二位置坐标(xw，yw)：
Figure FDA0003476475360000045
8.一种移动机器人，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至4任一所述的区域确定方法的步骤。
9.一种区域确定系统，其特征在于，所述系统包括：移动机器人和热成像摄像机，所述移动机器人与热成像摄像机通信；
所述热成像摄像机，用于拍摄的包括地面上高温区域的目标图像，确定目标像素点在第一坐标系中的第一位置坐标，所述目标像素点为：目标图像中高温区域中的任一像素点，所述第一坐标系为：以所述热成像摄像机的光心在地面上的投影点为原点，所构建的坐标系；
所述移动机器人，用于从所述热成像摄像机获取目标像素点在第一坐标系中的第一位置坐标；将所述第一位置坐标转换为所述目标像素点在第二坐标系中的第二位置坐标；确定所述移动机器人的禁止运行区域；
其中，所述第二坐标系为：所述移动机器人所构建的地面二维地图中的二维坐标系，所述禁止运行区域包括：各个目标像素点的第二位置坐标构成的区域；
其中，所述热成像摄像机确定目标像素点在第一坐标系中的第一位置坐标，包括：
确定目标像素点在第三坐标系中的第三位置坐标，其中，所述第三坐标系为：以所述热成像摄像机的光心为原点，所构建的坐标系；
根据所述第三位置坐标，确定所述目标像素点在第一坐标系中的第一位置坐标。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的区域确定方法的步骤。
CN201910927146.3A 2019-09-27 2019-09-27 一种区域确定方法、装置、移动机器人及系统 Active CN112571410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927146.3A CN112571410B (zh) 2019-09-27 2019-09-27 一种区域确定方法、装置、移动机器人及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927146.3A CN112571410B (zh) 2019-09-27 2019-09-27 一种区域确定方法、装置、移动机器人及系统

Publications (2)

Publication Number Publication Date
CN112571410A CN112571410A (zh) 2021-03-30
CN112571410B true CN112571410B (zh) 2022-04-29

Family

ID=75110164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927146.3A Active CN112571410B (zh) 2019-09-27 2019-09-27 一种区域确定方法、装置、移动机器人及系统

Country Status (1)

Country Link
CN (1) CN112571410B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
KR20160133020A (ko) * 2015-05-11 2016-11-22 부산외국어대학교 산학협력단 건물 및 토목시설 붕괴지역 탐사 대응 로봇
CN106598046A (zh) * 2016-11-29 2017-04-26 北京智能管家科技有限公司 机器人躲避控制方法和装置
CN107291080A (zh) * 2017-06-27 2017-10-24 深圳普思英察科技有限公司 一种扫地机器人及避障方法、可读存储介质
CN107463177A (zh) * 2017-08-22 2017-12-12 北京小米移动软件有限公司 控制移动的方法、装置及系统
CN107831760A (zh) * 2017-09-27 2018-03-23 安徽硕威智能科技有限公司 机器人障碍物处理系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
KR20160133020A (ko) * 2015-05-11 2016-11-22 부산외국어대학교 산학협력단 건물 및 토목시설 붕괴지역 탐사 대응 로봇
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN106598046A (zh) * 2016-11-29 2017-04-26 北京智能管家科技有限公司 机器人躲避控制方法和装置
CN107291080A (zh) * 2017-06-27 2017-10-24 深圳普思英察科技有限公司 一种扫地机器人及避障方法、可读存储介质
CN107463177A (zh) * 2017-08-22 2017-12-12 北京小米移动软件有限公司 控制移动的方法、装置及系统
CN107831760A (zh) * 2017-09-27 2018-03-23 安徽硕威智能科技有限公司 机器人障碍物处理系统及方法

Also Published As

Publication number Publication date
CN112571410A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN111390904A (zh) 一种以高运行效率实现多机器人协同作业的方法及装置
US11715293B2 (en) Methods for identifying charging device, mobile robots and systems for identifying charging device
CN108364369B (zh) 无人机巡检点确定方法、装置、介质、设备及系统
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN114677410A (zh) 一种障碍物测距方法、移动机器人、设备及介质
CN109685062A (zh) 一种目标检测方法、装置、设备及存储介质
CN112571410B (zh) 一种区域确定方法、装置、移动机器人及系统
Dima et al. Enabling learning from large datasets: Applying active learning to mobile robotics
CN114063046A (zh) 参数标定方法、装置、计算机设备和存储介质
CN111797715A (zh) 车位检测方法、装置、电子设备及存储介质
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
JP4512778B2 (ja) 不法投棄箇所検知装置、方法、およびプログラム
CN114966578A (zh) 基于拍摄设备的雷达外参标定方法、装置和计算机设备
JP2021102253A (ja) 画像処理装置、ロボットシステム、及び画像処理方法
CN114494396B (zh) 作业对象高度确定方法、装置、设备和存储介质
CN111292297A (zh) 基于双目立体视觉焊缝检测方法、装置、设备及存储介质
CN113066136B (zh) 自动化标定方法、装置、电子设备及介质
JP2020065218A (ja) 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法
CN117095342B (zh) 跌落区域检测方法、装置、计算机设备和存储介质
CN111586299B (zh) 一种图像处理方法和相关设备
CN109218707A (zh) 口扫系统及口扫方法
CN114515124B (zh) 清洁位置确定方法、装置、设备及存储介质
CN111914856B (zh) 板材余料的排样方法、装置、系统、电子设备及存储介质
CN113009911B (zh) 清洁路径的生成方法、装置和自移动设备
CN113610881B (zh) 目标对象的确定方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant