CN115588036A - 图像采集方法及装置、机器人 - Google Patents

图像采集方法及装置、机器人 Download PDF

Info

Publication number
CN115588036A
CN115588036A CN202211246082.9A CN202211246082A CN115588036A CN 115588036 A CN115588036 A CN 115588036A CN 202211246082 A CN202211246082 A CN 202211246082A CN 115588036 A CN115588036 A CN 115588036A
Authority
CN
China
Prior art keywords
depth
infrared image
infrared
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211246082.9A
Other languages
English (en)
Inventor
王水根
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202211246082.9A priority Critical patent/CN115588036A/zh
Publication of CN115588036A publication Critical patent/CN115588036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像采集方法及装置、机器人，方法包括：利用第一红外热成像装置获取周围物体的第一红外图像，利用深度传感装置获取周围物体的深度数据，或，利用第二红外热成像装置获取周围物体的第二红外图像，进一步将第一红外图像与深度数据融合，得到带有深度信息的深度红外图像，或，将第一红外图像与第二红外图像融合，得到带有深度信息的深度红外图像。获得的带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，获取红外图像不容易受环境光线的变化影响。

Description

图像采集方法及装置、机器人
技术领域
本发明涉及人工智能领域，特别是涉及一种图像采集方法及装置。本发明还涉及一种机器人。
背景技术
近几年，随着人工智能、图像识别技术以及智能机器人技术的高速发展，移动机器人行业发展迅猛。在移动机器人领域，准确地感知自身状态是机器人执行自主决策和控制的基础，建图定位模块就是为了对机器人所处的位置进行定位和对周围的环境进行建图而存在的，导航避障模块则是根据传感器的信息进行路径规划。
在目前的应用中，机器人建图、定位和避障过程中常用的一种传感器是可见光相机。用于采集图像，但可见光相机很容易受环境光线的影响，比如，在白天工作时很容易因为环境光线的变化影响图像效果，进而影响定位建图的精度，在夜间或者光线较暗时甚至无法工作，导致避障功能无法实现。
发明内容
本发明的目的是提供一种图像采集方法及装置，能够获得带有深度信息的红外图像，用以实现机器人的定位建图或/和导航避障，不容易受环境光线的变化影响。本发明还提供一种机器人。
为实现上述目的，本发明提供如下技术方案：
一种图像采集方法，包括：
利用第一红外热成像装置获取周围物体的第一红外图像；
利用深度传感装置获取周围物体的深度数据，或，利用第二红外热成像装置获取周围物体的第二红外图像；
将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像；或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
可选地，所述利用深度传感装置获取周围物体的深度数据包括：利用深度相机获取周围物体的深度图像；
则所述将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像包括：
获取所述第一红外图像与所述深度图像之间的第一变换矩阵，所述第一变换矩阵描述了所述第一红外图像的像素点与所述深度图像的像素点之间的对应关系；
根据所述第一变换矩阵，从所述深度图像获得所述第一红外图像中每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
可选地，所述利用深度传感装置获取周围物体的深度数据包括：利用雷达测量周围物体的深度，获得三维点数据，所述三维点数据描述了周围空间内物点的三维坐标；
则所述将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像包括：
将所述三维点数据转换到预设世界坐标系，将所述第一红外图像转换到所述预设世界坐标系；
根据在所述预设世界坐标系中，所述三维点数据与所述第一红外图像各个像素点的对应关系，获得所述第一红外图像的每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
可选地，所述将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像包括：
对于现实空间的每一物点，获取该物点在所述第一红外图像中对应像素点的坐标UL和在所述第二红外图像中对应像素点的坐标UR；
根据坐标UL、坐标UR、焦距f、所述第一红外热成像装置和所述第二红外热成像装置之间的距离b、该物点的深度值Z，建立相似三角形关系式；
基于所述相似三角形关系式和已知的坐标UL、坐标UR、焦距f、距离b，计算得到该物点的深度值Z，以得到所述第一红外图像中每一像素点对应的深度值。
可选地，当所述第一红外热成像装置、所述深度传感装置、所述第二红外热成像装置安装在移动设备上时，在所述得到带有深度信息的深度红外图像之后，所述方法还包括：
根据所述深度红外图像，获得所述移动设备的位置信息和姿态信息，以根据所述移动设备在运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图。
可选地，所述根据所述深度红外图像，获得所述移动设备的位置信息和姿态信息，以根据在所述移动设备运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图包括：
对于每一时刻采集到的所述深度红外图像，从所述深度红外图像中提取特征点；
将相邻时刻的所述深度红外图像的特征点进行匹配，利用非线性优化方法减小相邻时刻的所述深度红外图像的特征点的匹配误差；
根据在所述移动设备运动过程中各个时刻的匹配特征点，获得在所述移动设备运动过程中各个时刻的位置信息和姿态信息；
将各个时刻的位置信息和姿态信息乘以相应时刻的地图点，建立所述移动设备运动的地图。
可选地，当所述第一红外热成像装置、所述深度传感装置、所述第二红外热成像装置安装在移动设备上时，在所述得到带有深度信息的深度红外图像之后，所述方法还包括：
根据所述深度红外图像，识别所述移动设备周围的障碍物，以规划所述移动设备避障的运动路径。
可选地，所述根据所述深度红外图像，识别所述移动设备周围的障碍物包括：根据所述深度红外图像包括的红外图像特征以及深度信息，识别所述移动设备周围的障碍物。
一种图像采集装置，包括：
第一红外热成像装置，用于获取周围物体的第一红外图像；
深度传感装置，用于获取周围物体的深度数据；或，第二红外热成像装置，用于获取周围物体的第二红外图像；
数据处理装置，与所述第一红外热成像装置、所述深度传感装置或所述第二红外热成像装置分别相连，用于将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像，或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
一种机器人，包括以上所述的图像采集装置。
由上述技术方案可知，本发明所提供的一种图像采集方法及装置，方法包括：利用第一红外热成像装置获取周围物体的第一红外图像，利用深度传感装置获取周围物体的深度数据，或，利用第二红外热成像装置获取周围物体的第二红外图像，进一步将第一红外图像与深度数据融合，得到带有深度信息的深度红外图像，或，将第一红外图像与第二红外图像融合，得到带有深度信息的深度红外图像。获得的带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，获取红外图像不容易受环境光线的变化影响。
本发明提供的一种机器人，能够达到上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种图像采集方法的流程图；
图2为本发明一实施例中使用双目红外热成像装置测量深度的原理示意图；
图3为本发明又一实施例提供的一种图像采集方法的流程图；
图4为本发明一实施例中建立移动设备运动的地图的方法流程图；
图5为本发明一实施例提供的一种图像采集装置的示意图；
图6为本发明又一实施例提供的一种图像采集装置的示意图；
图7为本发明又一实施例提供的一种图像采集装置的示意图；
图8为本发明又一实施例提供的一种图像采集装置的示意图；
图9为本发明实施例提供的一种机器人的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为一实施例提供的一种图像采集方法的流程图，如图所示，图像采集方法包括以下步骤：
S11：利用第一红外热成像装置获取周围物体的第一红外图像。
S12：利用深度传感装置获取周围物体的深度数据，或，利用第二红外热成像装置获取周围物体的第二红外图像。
S13：将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像；或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
深度红外图像包含的深度信息是指周围空间内物点的深度值。本实施例的图像采集方法获得的带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，获取红外图像不容易受环境光线的变化影响。
本实施例中，对深度传感装置获取周围物体的深度数据的方式不做限定，只要能够实现获得周围物体的深度数据即可。在一些实施方式中，利用深度传感装置获取周围物体的深度数据可包括：利用深度相机获取周围物体的深度图像。相应的，将第一红外图像与深度数据融合，得到带有深度信息的深度红外图像包括：获取所述第一红外图像与所述深度图像之间的第一变换矩阵，所述第一变换矩阵描述了所述第一红外图像的像素点与所述深度图像的像素点之间的对应关系；根据所述第一变换矩阵，从所述深度图像获得所述第一红外图像中每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
深度图像包含深度信息。使用深度相机获取得到周围物体的深度图像，通过第一红外热成像装置获取得到周围物体的第一红外图像，可以根据深度相机和第一红外热成像装置之间的相对位置，计算得到第一变换矩阵。进而，根据第一变换矩阵，可以从深度图像获得第一红外图像中每一像素点对应的深度值，将每一像素点的深度值融合到第一红外图像，获得带有深度信息的深度红外图像。本实施例中，深度相机可以是但不限于TOF深度相机或者结构光深度相机。
在另一些实施方式中，利用深度传感装置获取周围物体的深度数据可包括：利用雷达测量周围物体的深度，获得三维点数据，所述三维点数据描述了周围空间内物点的三维坐标。相应的，将第一红外图像与深度数据融合，得到带有深度信息的深度红外图像包括：将所述三维点数据转换到预设世界坐标系，将所述第一红外图像转换到所述预设世界坐标系；根据在所述预设世界坐标系中，所述三维点数据与所述第一红外图像各个像素点的对应关系，获得所述第一红外图像的每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
预设世界坐标系可以是基于机器人自身建立的世界坐标系。对于测量获得三维点数据的测量装置比如雷达，可以根据该测量装置与机器人之间的相对位置，计算获得描述该测量装置的坐标系与预设世界坐标系之间转换关系的第二变换矩阵，根据该第二变换矩阵，可以将三维点数据转换到预设世界坐标系。通过第一红外热成像装置获取得到周围物体的第一红外图像，可以根据第一红外热成像装置与机器人之间的相对位置，计算获得描述第一红外热成像装置的坐标系与预设世界坐标系之间转换关系的第三变换矩阵，根据该第三变换矩阵，可以将第一红外图像转换到预设世界坐标系。
如果测得的三维点数据是稀疏的，将三维点数据和第一红外图像转换到预设世界坐标系中时，对于第一红外图像的一像素点，如果没有对应到三维点坐标，可以根据与该像素点相邻的三维点的三维坐标，来确定出该像素点对应的深度值。本实施例中，测量获得三维点数据的测量装置可以是但不限于激光雷达。
在另一些实施方式中，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像可采用以下方法，具体包括：对于现实空间的每一物点，获取该物点在所述第一红外图像中对应像素点的坐标UL和在所述第二红外图像中对应像素点的坐标UR；根据坐标UL、坐标UR、焦距f、所述第一红外热成像装置和所述第二红外热成像装置之间的距离b、该物点的深度值Z，建立相似三角形关系式；基于所述相似三角形关系式和已知的坐标UL、坐标UR、焦距f、距离b，计算得到该物点的深度值Z，以得到所述第一红外图像中每一像素点对应的深度值。
基于三角形相似的原理，可建立以下相似三角形关系式：(Z–f)/Z＝(b–UL+UR)/b，其中，Z表示现实空间的该物点的深度值，b表示获取第一红外图像的第一红外热成像装置和获取第二红外图像的第二红外热成像装置之间的距离，UL表示现实空间的该物点在第一红外图像中对应像素点的坐标，UR表示现实空间的该物点在第二红外图像中对应像素点的坐标。
示例地可参考图2所示，图2为一实施例中使用双目红外热成像装置测量深度的原理示意图，根据三角形相似的原理建立关系式：(Z–f)/Z＝(b–UL+UR)/b，根据该式可以得到现实空间的该物点的深度值为：Z＝f*b/(UL-UR)。其中，UL-UR表示视差，视差是指该物点在第一红外图像中对应像素点的坐标与该物点在第二红外图像中对应像素点的坐标的差量。双目基线即第一红外热成像装置和第二红外热成像装置之间的距离b是已知的，比如在安装第一红外热成像装置和第二红外热成像装置时确定好。
根据第一红外图像和第二红外图像可以获得第一红外图像中每一像素点对应的深度值，将深度信息融合到第一红外图像，进而可以得到带有深度信息的深度红外图像。
进一步地可参考图3，图3为又一实施例提供的一种图像采集方法的流程图，如图所示，在以上实施例的基础上，当第一红外热成像装置、深度传感装置、第二红外热成像装置安装在移动设备上时，在得到带有深度信息的深度红外图像之后，图像采集方法还包括以下步骤：
S14：根据所述深度红外图像，获得移动设备的位置信息和姿态信息，以根据在移动设备运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图。
移动设备可以是机器人或者车辆，比如具有自动驾驶功能的车辆，但不限于此，移动设备也可以是其它可移动的设备。
在移动设备运动过程中，在各个时刻分别获取移动设备周围物体的深度红外图像，在每一时刻相应获得一帧深度红外图像。根据各个时刻的深度红外图像，获得移动设备运动过程中各个时刻的位置信息和姿态信息，以建立移动设备运动的地图。
本实施例的图像采集方法，在移动设备运动过程中，获取得到各个时刻的移动设备周围的深度红外图像，获得的深度红外图像是包含深度信息的红外图像，根据该深度红外图像建立移动设备运动的地图，实现移动设备的定位建图。而与现有使用可见光相机采集图像相比，本方法是通过采集包含深度信息的红外图像实现的，采集红外图像不容易受环境光线的变化影响，使得进行移动设备的定位建图不容易受环境光线的变化影响。
在一些实施方式中，根据所述深度红外图像，获得移动设备的位置信息和姿态信息，以根据在移动设备运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图可包括以下过程，可参考图4，图4为一实施例中建立移动设备运动的地图的方法流程图，如图所示具体包括以下步骤：
S31：对于每一时刻采集到的所述深度红外图像，从所述深度红外图像中提取特征点。
S32：将相邻时刻的所述深度红外图像的特征点进行匹配，利用非线性优化方法减小相邻时刻的所述深度红外图像的特征点的匹配误差。
对于相邻时刻的两帧深度红外图像，将该相邻两帧的特征点进行匹配。其中优选地，利用非线性优化方法减小相邻帧特征点的匹配误差，另外，还可以利用非线性优化方法减小局部地图点间的匹配误差，局部地图点是通过利用相邻帧的位姿和相邻帧的特征点计算得到。通过优化得到最优位姿，即得到最优的位置信息和姿态信息。本实施例中，深度红外图像带有深度信息，基于引入深度信息的特征进行特征点匹配，能够提高定位精度。
S33：根据在所述移动设备运动过程中各个时刻的匹配特征点，获得在所述移动设备运动过程中各个时刻的位置信息和姿态信息。
S34：将各个时刻的位置信息和姿态信息乘以相应时刻的地图点，建立所述移动设备运动的地图。
在获取到各个时刻的移动设备的位置信息后，可以将相应的位置信息转换到预设世界坐标系中，比如预设世界坐标系可以是基于移动设备自身建立的世界坐标系。进而，将各个时刻的位置信息和姿态信息乘以相应时刻的地图点，建立移动设备运动的地图。
进一步地可参考图3，在以上实施例的基础上，当第一红外热成像装置、深度传感装置、第二红外热成像装置安装在移动设备上时，在得到带有深度信息的深度红外图像之后，图像采集方法还可包括以下步骤：
S15：根据所述深度红外图像，识别移动设备周围的障碍物，以规划所述移动设备避障的运动路径。
在移动设备运动过程中，在各个时刻分别获取移动设备周围物体的深度红外图像，在每一时刻相应获得一帧深度红外图像。对于每一时刻获得的深度红外图像，根据深度红外图像识别移动设备周围的障碍物。根据各个时刻的深度红外图像，识别移动设备运动过程中周围的障碍物，规划出移动设备避障的运动路径。
本实施例的图像采集方法，在移动设备运动过程中，获取得到各个时刻的移动设备周围的深度红外图像，获得的深度红外图像是包含深度信息的红外图像，根据该深度红外图像规划移动设备避障的运动路径，实现移动设备的导航避障。而与现有使用可见光相机采集图像相比，本方法是通过采集包含深度信息的红外图像实现的，采集红外图像不容易受环境光线的变化影响，使得进行移动设备的导航避障不容易受环境光线的变化影响。
在一些实施方式中，根据所述深度红外图像，识别移动设备周围的障碍物包括：根据所述深度红外图像包括的红外图像特征以及深度信息，识别所述移动设备周围的障碍物。利用带有深度信息的红外热成像图像进行目标识别，对于光线不足或者障碍物与环境颜色一致的场景，现有的使用可见光相机采集图像来识别障碍物的方法容易出现误判，而本方法中采集红外热成像图像则不易受到环境光线的干扰，同时，对于障碍物与环境颜色一致的场景，红外热成像图像能凸显出障碍物本体，同时又可以根据额外的深度信息提升对障碍物目标识别的准确度。并且，本方法根据带有深度信息的红外图像识别障碍物，结合根据红外图像特征以及深度信息识别障碍物，可提高为移动设备规划避障的运动路径的准确度。
本实施例还提供一种图像采集装置，在一些实施例中，图像采集装置包括：
第一红外热成像装置，用于获取周围物体的第一红外图像；
深度传感装置，用于获取周围物体的深度数据；
数据处理装置，与所述第一红外热成像装置、所述深度传感装置分别相连，用于将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像。
深度红外图像包含的深度信息是指周围空间内物点的深度值。本实施例的图像采集装置可以获得带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，本图像采集装置获取红外图像不容易受环境光线的变化影响。
在一些实施方式中，深度传感装置可以是TOF深度相机、结构光深度相机或者激光雷达。示例地可参考图5，图5为一实施例提供的一种图像采集装置的示意图，该图像采集装置包括第一红外热成像装置101和深度相机102，深度相机102可以是TOF深度相机或者结构光深度相机。示例地可参考图6，图6为又一实施例提供的一种图像采集装置的示意图，该图像采集装置包括第一红外热成像装置101和激光雷达103。在实际应用中，可以根据现实场景选择通过哪种深度传感装置来测量周围物体的深度，比如，在室内小场地可主要使用TOF深度相机或者结构光深度相机，若在室外时则可使用激光雷达。
在另一些实施例中，图像采集装置可包括：
第一红外热成像装置，用于获取周围物体的第一红外图像；
第二红外热成像装置，用于获取周围物体的第二红外图像；
数据处理装置，与所述第一红外热成像装置、所述第二红外热成像装置分别相连，用于将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
深度红外图像包含的深度信息是指周围空间内物点的深度值。本实施例的图像采集装置可以获得带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，本图像采集装置获取红外图像不容易受环境光线的变化影响。
示例地可参考图7，图7为又一实施例提供的一种图像采集装置的示意图，该图像采集装置包括第一红外热成像装置101和第二红外热成像装置104，形成双目红外热成像装置。
在另一些实施例中，图像采集装置可包括：
第一红外热成像装置，用于获取周围物体的第一红外图像；
深度传感装置，用于获取周围物体的深度数据；
第二红外热成像装置，用于获取周围物体的第二红外图像；
数据处理装置，与所述第一红外热成像装置、所述深度传感装置以及所述第二红外热成像装置分别相连，用于将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像，或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
深度红外图像包含的深度信息是指周围空间内物点的深度值。本实施例的图像采集装置可以获得带有深度信息的深度红外图像，可以用于进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，本图像采集装置获取红外图像不容易受环境光线的变化影响。
示例地可参考图8，图8为又一实施例提供的一种图像采集装置的示意图，该图像采集装置包括第一红外热成像装置101、第二红外热成像装置104以及激光雷达103。在实际应用中，可以根据现实场景的情况选择通过双目红外热成像装置获得周围物体的深度数据或者选择激光雷达103测量周围物体的深度。
进一步地，本实施例还提供一种机器人，包括以上所述的图像采集装置。
本实施例的机器人通过图像采集装置可以获得带有深度信息的深度红外图像，可以进行机器人的定位建图或/和导航避障，而与现有使用可见光相机采集图像相比，获取红外图像不容易受环境光线的变化影响，使得进行机器人的定位建图或/和导航避障不容易受环境光线的变化影响。
示例地可参考图9，图9为本实施例提供的一种机器人的示意图，如图所示，图像采集装置201可以设置于能够方便地采集周围物体的红外图像以及深度数据的位置，图中设置于机器人200的顶部。图像采集装置201与智能处理装置202相连，智能处理装置202用于执行相应程序，实现根据获得的带有深度信息的深度红外图像，进行机器人的定位建图或/和导航避障。
以上对本发明所提供的图像采集方法及装置、机器人进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种图像采集方法，其特征在于，包括：
利用第一红外热成像装置获取周围物体的第一红外图像；
利用深度传感装置获取周围物体的深度数据，或，利用第二红外热成像装置获取周围物体的第二红外图像；
将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像；或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
2.根据权利要求1所述的图像采集方法，其特征在于，所述利用深度传感装置获取周围物体的深度数据包括：利用深度相机获取周围物体的深度图像；
则所述将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像包括：
获取所述第一红外图像与所述深度图像之间的第一变换矩阵，所述第一变换矩阵描述了所述第一红外图像的像素点与所述深度图像的像素点之间的对应关系；
根据所述第一变换矩阵，从所述深度图像获得所述第一红外图像中每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
3.根据权利要求1所述的图像采集方法，其特征在于，所述利用深度传感装置获取周围物体的深度数据包括：利用雷达测量周围物体的深度，获得三维点数据，所述三维点数据描述了周围空间内物点的三维坐标；
则所述将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像包括：
将所述三维点数据转换到预设世界坐标系，将所述第一红外图像转换到所述预设世界坐标系；
根据在所述预设世界坐标系中，所述三维点数据与所述第一红外图像各个像素点的对应关系，获得所述第一红外图像的每一像素点对应的深度值，获得带有深度信息的所述深度红外图像。
4.根据权利要求1所述的图像采集方法，其特征在于，所述将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像包括：
对于现实空间的每一物点，获取该物点在所述第一红外图像中对应像素点的坐标UL和在所述第二红外图像中对应像素点的坐标UR；
根据坐标UL、坐标UR、焦距f、所述第一红外热成像装置和所述第二红外热成像装置之间的距离b、该物点的深度值Z，建立相似三角形关系式；
基于所述相似三角形关系式和已知的坐标UL、坐标UR、焦距f、距离b，计算得到该物点的深度值Z，以得到所述第一红外图像中每一像素点对应的深度值。
5.根据权利要求1所述的图像采集方法，其特征在于，当所述第一红外热成像装置、所述深度传感装置、所述第二红外热成像装置安装在移动设备上时，在所述得到带有深度信息的深度红外图像之后，所述方法还包括：
根据所述深度红外图像，获得所述移动设备的位置信息和姿态信息，以根据所述移动设备在运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图。
6.根据权利要求5所述的图像采集方法，其特征在于，所述根据所述深度红外图像，获得所述移动设备的位置信息和姿态信息，以根据在所述移动设备运动过程中各个时刻的位置信息、姿态信息，建立所述移动设备运动的地图包括：
对于每一时刻采集到的所述深度红外图像，从所述深度红外图像中提取特征点；
将相邻时刻的所述深度红外图像的特征点进行匹配，利用非线性优化方法减小相邻时刻的所述深度红外图像的特征点的匹配误差；
根据在所述移动设备运动过程中各个时刻的匹配特征点，获得在所述移动设备运动过程中各个时刻的位置信息和姿态信息；
将各个时刻的位置信息和姿态信息乘以相应时刻的地图点，建立所述移动设备运动的地图。
7.根据权利要求1所述的图像采集方法，其特征在于，当所述第一红外热成像装置、所述深度传感装置、所述第二红外热成像装置安装在移动设备上时，在所述得到带有深度信息的深度红外图像之后，所述方法还包括：
根据所述深度红外图像，识别所述移动设备周围的障碍物，以规划所述移动设备避障的运动路径。
8.根据权利要求7所述的图像采集方法，其特征在于，所述根据所述深度红外图像，识别所述移动设备周围的障碍物包括：根据所述深度红外图像包括的红外图像特征以及深度信息，识别所述移动设备周围的障碍物。
9.一种图像采集装置，其特征在于，包括：
第一红外热成像装置，用于获取周围物体的第一红外图像；
深度传感装置，用于获取周围物体的深度数据；或，第二红外热成像装置，用于获取周围物体的第二红外图像；
数据处理装置，与所述第一红外热成像装置、所述深度传感装置或所述第二红外热成像装置分别相连，用于将所述第一红外图像与所述深度数据融合，得到带有深度信息的深度红外图像，或，将所述第一红外图像与所述第二红外图像融合，得到带有深度信息的深度红外图像。
10.一种机器人，其特征在于，包括权利要求9所述的图像采集装置。
CN202211246082.9A 2022-10-12 2022-10-12 图像采集方法及装置、机器人 Pending CN115588036A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211246082.9A CN115588036A (zh) 2022-10-12 2022-10-12 图像采集方法及装置、机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211246082.9A CN115588036A (zh) 2022-10-12 2022-10-12 图像采集方法及装置、机器人

Publications (1)

Publication Number Publication Date
CN115588036A true CN115588036A (zh) 2023-01-10

Family

ID=84780009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211246082.9A Pending CN115588036A (zh) 2022-10-12 2022-10-12 图像采集方法及装置、机器人

Country Status (1)

Country Link
CN (1) CN115588036A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117824624A (zh) * 2024-03-05 2024-04-05 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117824624A (zh) * 2024-03-05 2024-04-05 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质
CN117824624B (zh) * 2024-03-05 2024-05-14 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN110221603B (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110446159B (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN110765894A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN111123911A (zh) 一种腿足式智能星表探测机器人感知系统及其工作方法
CN113160327A (zh) 一种点云补全的实现方法和系统
Momeni-k et al. Height estimation from a single camera view
CN112254729A (zh) 一种基于多传感器融合的移动机器人定位方法
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN111958593B (zh) 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN111811502B (zh) 一种运动载体多源信息融合导航方法及系统
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN115588036A (zh) 图像采集方法及装置、机器人
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN112327868A (zh) 一种智能机器人自动导航系统
CN113158779A (zh) 一种行走方法、装置和计算机存储介质
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN112182122A (zh) 一种移动机器人工作环境导航地图的获取方法及装置
CN114800524A (zh) 一种人机交互协作机器人主动避碰的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination