CN112287831A

CN112287831A - 基于编码热红外标志的跟随机器人多目标识别系统及方法

Info

Publication number: CN112287831A
Application number: CN202011181170.6A
Authority: CN
Inventors: 张慧; 严志国; 赵永国; 肖永飞; 汪尚; 马凤英
Original assignee: Qilu University of Technology
Current assignee: Qilu University of Technology
Priority date: 2020-10-29
Filing date: 2020-10-29
Publication date: 2021-01-29
Anticipated expiration: 2040-10-29
Also published as: CN112287831B; AU2021368390A1; WO2022088544A1; AU2021368390B2

Abstract

本公开公开的基于编码热红外标志的跟随机器人多目标识别系统及方法，包括：热辐射标志，用于设置在待识别目标上，所述热辐射标志中布置多根发热丝，发热丝按照不同的编码规则进行加热；热红外图像采集模块，用于采集待识别目标的热红外图像并传送至数据处理模块；数据处理模块，从热红外图像中识别热辐射标志图像，根据热辐射标志图像识别热辐射标志的编码信息，通过编码信息对待识别目标进行识别。通过识别待识别目标所佩戴的热辐射标志，并提取热辐射标志中的编码信息，根据编码信息实现跟随机器人对不同目标的识别。

Description

基于编码热红外标志的跟随机器人多目标识别系统及方法

技术领域

本发明涉及机器人目标识别技术领域，尤其涉及基于编码热红外标志的跟随机器人多目标识别系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目标人识别是实现机器人跟随行走任务的关键，然而现有目标人识别技术尚都处于实验室阶段，无法满足真实环境下跟随行走机器人的应用要求。此外，当同一场景下运行的跟随机器人个数增多时，其跟随的目标也会相应增加，但现有的跟随机器人的目标识别方法往往适用于单一目标对象，针对多目标人同时存在下的机器人自主识别问题同样尚未取得较满意的解决方案。

为了提高目标人识别的稳定性并实现多目标识别功能，提出了基于热辐射标志及热红外图像识别的跟随行走机器人目标识别装置及方法，该种基于热红外图像的目标识别方式避免了传统色彩图像识别方式易受环境光照变化影响的缺点，可满足室内及室外环境下的应用要求，具有良好的环境适应性。

发明人发现，热成像技术也有其弊端，如红外热成像的边缘比较模糊，特征难以提取；易受物体的表面特性以及辐射波长等外界因素的影响，领航员衣服厚薄和运动方向，以及衣服的材质都会影响图像的亮度。因此，基于红外热成像的人体检测仍是一个极具挑战性的难题。

发明内容

本公开为了解决上述问题，提出了基于编码热红外标志的跟随机器人多目标识别系统及方法，识别待识别目标所佩戴的热辐射标志，并提取热辐射标志中的编码信息，根据编码信息实现跟随机器人对不同目标的识别。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了基于编码热红外标志的跟随机器人多目标识别系统，包括：

热辐射标志，用于设置在待识别目标上，所述热辐射标志中布置多根发热丝，发热丝按照不同的编码规则进行加热；

热红外图像采集模块，用于采集待识别目标的热红外图像并传送至数据处理模块；

数据处理模块，从热红外图像中识别热辐射标志图像，根据热辐射标志图像识别热辐射标志的编码信息，通过编码信息对待识别目标进行识别。

第二方面，提出了基于编码热红外标志的跟随机器人多目标识别方法，包括：

采集待识别目标的热红外图像；

从热红外图像中识别热辐射标志图像；

根据热辐射标志图像识别热辐射标志的编码信息；

通过编码信息对待识别目标进行识别。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。

与现有技术相比，本公开的有益效果为：

1、本公开对热辐射标志中的发热丝进行编码，从而具有多目标识别能力，通过识别依据编码规则加热后的热辐射标志的编码信息，根据编码信息实现跟随机器人对不同目标的识别。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例1的结构简图；

图2为本公开实施例1的识别流程图；

图3为本公开实施例1中热辐射标志的编码规则；

图4为本公开实施例1采集的热红外图像；

图5为本公开实施例1对热红外图像中值滤波后图像；

图6为本公开实施例1提取的边缘检测图像；

图7为本公开实施例1的竖向边缘像素寻找规则；

图8为本公开实施例1对边缘检测图像消除竖向边缘的图像；

图9为本公开实施例1对图8图像膨胀3次后图像；

图10为本公开实施1对图9图像腐蚀4次图像；

图11为本公开实施例1确定的热辐射标志所在区域图像；

图12为本公开实施例1提取的热辐射标志图像；

图13为本公开实施例1识别的亮暗条纹图像；

图14为本公开实施例1确认的编码识别图像。

其中：1、跟随机器人，2、热红外相机，3、热辐射标志。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

在本实施例中，为了实现跟随机器人对多目标的识别，公开了基于编码热红外标志的跟随机器人多目标识别系统，包括：

进一步的，热辐射标志采用二进制规则对发热丝进行编码。

进一步的，热辐射标志携带的编码信息与待识别目标一一对应。

进一步的，热辐射标志中的发热丝平行等间距布置。

进一步的，数据处理模块从热红外图像中识别热辐射标志图像的具体过程为：

对热红外图像进行滤波处理；

对滤波处理后的热红外图像进行发热丝边缘提取，获取边缘检测图像；

消除边缘检测图像的竖向边缘和离散边缘，并根据热辐射标志所处区域面积最大，从边缘检测图像中提取热辐射标志图像。

进一步的，数据处理模块根据热辐射标志图像识别热辐射标志编码信息的具体过程为：

根据像素灰度值识别热辐射标志图像中加热发热丝图像和未加热发热丝图像，根据加热发热丝图像和未加热发热丝图像竖直方向上的高度信息确定热辐射标志的编码信息。

进一步的，数据处理模块判断热辐射标志图像中加热发热丝图像和未加热发热丝图像是否满足形态约束，当满足形态约束时，根据加热发热丝图像和未加热发热丝图像竖直方向上的高度信息确定热辐射标志的编码信息。

结合图1-图14对基于编码热红外标志的跟随机器人多目标识别系统进行详细说明。

基于编码热红外标志的跟随机器人多目标识别系统，如图1所示，包括，待识别目标所佩戴的热辐射标志1，热辐射标志中布置有多根平行的碳纤维发热丝，该碳纤维发热丝按照不同的编码规则进行加热，进而可由热红外相机获取特征差异明显的灰度图像，并进一步通过图像处理的方式提取不同热辐射标志所携带的相互独立的编码信息从而实现不同目标的识别。

采用二进制规则对热辐射标志中的加热丝进行编码，如图3所示，以热辐射标志含有5根加热丝为例对编码规则进行说明，最上方加热丝与最下方加热丝作为热辐射标志的边界确定标志，其始终处于加热状态，内部的3根加热丝则以二进制的编码规则进行加热，其具有0到7共8种组合方式，即如编号为0则所有加热丝均不加热，编号为1时仅最下方加热丝加热，编号为2时仅中间的加热丝加热，……，编号为7时3根加热丝全都加热。该种方式可实现同一热辐射标志的多特征区分，因而可满足多目标人存在条件下的机器人识别要求。

图3所示为热红外相机获取的由5根加热丝构成的热辐射标志采用上述编码规则时对应的编号为0、2、5、7的待识别目标的热红外图像，由图3可知加热后的发热丝与周围环境有明显的区分，证明了该识别方案的可行性。

虽然人用肉眼可很容易地识别条码区域在图像的位置，但若让机器人实现识别功能则需要采用数字图像处理技术一步一步的分析图像的特征，为此通过跟随机器人3的数据处理模块对热红外图像进行识别。下文仅以编码为7时的待识别目标的热红外图像识别过程为例，对数据处理模块对热红外图像识别的具体原理进行说明。

第一步：图像滤波

一般情况下，实际获得的图像在形成、传输、接收和处理的过程中，不可避免地存在外部噪声干扰和内部噪声干扰，从而影响图像的质量，使得图像模糊，特征淹没，给分析带来困难。对受到噪声污染的图像除去噪声并恢复图像是图像预处理中一个十分重要的过程。

这里主要利用中值滤波来去除条码图像中由光学采集系统所带来的椒盐噪声，因为当图像中存在较强的椒盐噪声干扰时，这些干扰点所对应的灰度值与其邻近的像素的灰度值有很大的差别，所以通过排序去中值的方法，将这些干扰点灰度值变为与其邻近的某些像素的灰度值相近，达到除去噪声的效果。

中值滤波是一种减少边缘模糊的非线性平滑方法，它的基本思想如下：设有一个一维序列f₁,f₂,f₃,…,f_n，取该窗口长度为m，对一维序列进行中值滤波，即从序列中相继抽出m个数f_i-v,…,f_i-1,f₁,f_i+1…,f_i+v其中为窗口的中心点值，再将这m个数按照其值的大小进行排序，取中间的那个数作为滤波输出，即：

y_i＝median{f_i-v,…,f_i-1,f₁,f_i+1…,f_i+v}

其中i∈Z,v＝(m-1)/2。

中值滤波的效果依赖于两个要素：邻域的空间范围和中值计算中涉及的像素数。中值滤波能够在抑制随机噪声的同时不使边缘模糊。采用3*3的模板对带有噪声的原始图像进行中值滤波处理，得到的处理结果如图5所示。

第二步：边缘检测

对于加热后的热辐射标志图像，加热丝边缘点上的梯度具有一致性，加热丝边缘两侧的颜色反射率相差很大，且边缘较为密集。以上特征可以通过边缘检测的方式，提取滤波处理后的热红外图像中特征明显、信息量大的像素点进行处理，从而减少计算量，提高算法效率。常用的边缘检测算法有Prewitts算子、Roberts算子、Soble算子、Canny算子等经典边缘检测算子，由于随人体运动时发热丝基本处于水平状态，因而采用Prewitts算子更有利于热辐射标志的边缘提取。

Prewitt算子是一种图像边缘检测的微分算子，其原理是利用特定区域内像素灰度值产生的差分实现边缘检测。Prewitt算子采用3*3模板对区域内的像素值进行计算，故边缘检测结果在水平方向和垂直方向更加明显。Prewitt算子适合用来识别噪声较多、灰度渐变的图像。图6为采用Prewitt算子进行边缘提取后的边缘检测图像。

第三步：消除竖向边缘

上述边缘检测图像的原始边缘信息含有较多与热辐射标志无关的边缘数据，如目标人躯体边缘信息以及其它物体的边缘信息等，这些边缘会对后续处理引入不必要的干扰信息，为此需要采用一定的滤波操作消除多余的边缘数据。

由图6可知由于加热丝边缘近似呈水平分布，为此采用下述规则删除明显的竖向边缘，设1为边缘像素0为背景像素，则像素点P(i,j)满足如下公式则视其为竖向边缘点：

该公式的图像描述如图7所示。

采用上述方法后的结果如图8所示，与图7对比可知该算法能够有效的消除竖向边缘信息。

第四步：消除离散边缘

由于单根发热丝热成像的上下边缘距离较近，而其余物体边缘彼此比较分散，因而采用膨胀运算后发热丝边缘会融合形成具有较大连通面积的区域，其余物体边缘膨胀后的像素基本不会出现区域重叠进而形成连通区域的现象。为此采用先对图8进行n次膨胀，然后再进行n+1次腐蚀的方式实现对离散边缘的消除。图9所示为膨胀3次后的结果，图10所示为腐蚀4次后的结果。

第五步：提取热辐射标志图像

如图10所示图像存在着多个面积大小不一的连通区域，而热辐射标志所处的区域面积最大。因此可以分析图像像素的连通情况，提取出图像中具有最大连通面积的区域，该区域即为热辐射标志所在的区域，结果如图11所示。

由于图11所示的连通区域是对边缘图像先膨胀3次后腐蚀4次的结果，因而在图11的基础上再膨胀1次即为热辐射标志的边缘区域，从而由此可得到如图12所示的热辐射标志图像。

第六步：亮暗条纹识别

计算热辐射标志图像中热辐射标志区域像素灰度值的平均值，继而将灰度值高于该平均值的像素视为加热后的发热丝图像，其余像素视为未加热的发热丝以及背景图像，处理结果如图13所示。

其中，亮条纹指加热发热丝图像，暗条纹指未加热发热丝图像。

第七步：热辐射标志图像确认

以热辐射标志区域中心像素所在的列图像采用从上往下的顺序统计在竖直方向各个亮条纹包含的像素个数L(L₁,L₂,…,L_i)及暗条纹对应的像素个数D(D₁,D₂,…,D_i)，并计算亮条纹包含像素个数的均值A及所有条纹的像素综合T。

由于5根发热丝采用平行等间距布置，因而在竖直方向上上述亮条纹占据像素高度的平均值与热辐射标志整体的像素高度成比例关系，从而认为满足下式时上述条纹信息满足热辐射标志形态条件约束。

6*A≤T≤14*A

第八步：编码识别

对如图14所示的满足形态约束的热辐射标志图像，依据亮暗条纹竖直方向上的高度信息并采用下式即可获得当前热辐射标志的编码信息Num。

完整的识别步骤如图2所示。

数据处理模块通过编码信息对待识别目标进行识别。

本实施例针对基于热红外图像的目标识别领域所面临的红外热成像边缘模糊，特征难以提取，易受物体的表面特性以及辐射波长等外界因素的影响，领航员衣服厚薄和运动方向，以及衣服的材质都会影响图像的亮度等固有问题，该发明提供了基于编码热红外标志的跟随机器人多目标识别系统，该系统识别的热红外图像具有结构清晰、特征明显、易于分辨等特点从而可准确地与背景进行区分。

热辐射标志中的发热丝通过二进制形式进行编码，从而具有多目标识别能力，该系统通过对依据编码规则加热后的热辐射标志的红外图像采用图像滤波、边缘检测、消除竖向边缘、消除离散边缘、提取热辐射标志图像、亮暗条纹识别、形态约束、热辐射标志图像确认、编码识别等步骤可以准确地识别热辐射标志并提取其编码信息，从而实现机器人对目标的识别。

实施例2

在该实施例中，公开了基于编码热红外标志的跟随机器人多目标识别方法，包括：

采集待识别目标的热红外图像；

从热红外图像中识别热辐射标志图像；

根据热辐射标志图像识别热辐射标志的编码信息；

通过编码信息对待识别目标进行识别。

进一步的，从热红外图像中识别热辐射标志图的具体过程为：

对热红外图像进行滤波处理；

对滤波处理后的热红外图像进行发热丝边缘检测，获取边缘检测后图像；

消除边缘检测后图像的竖向边缘和离散边缘，并根据热辐射标志所处区域面积最大，从边缘检测后图像中提取热辐射标志图像。

进一步的，根据热辐射标志图像识别热辐射标志编码信息的具体过程为：

根据像素灰度值识别热辐射标志图像中加热发热丝曲线和未加热发热丝曲线，根据加热发热丝曲线和未加热发热丝曲线竖直方向上的高度信息确定热辐射标志的编码信息。

实施例3

在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例2公开的基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。

实施例4

在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例2公开的基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.基于编码热红外标志的跟随机器人多目标识别系统，其特征在于，包括：

热辐射标志，设置在待识别目标上，所述热辐射标志中布置多根发热丝，发热丝按照不同的编码规则进行加热；

2.如权利要求1所述的基于编码热红外标志的跟随机器人多目标识别系统，其特征在于，热辐射标志采用二进制规则对发热丝进行编码。

3.如权利要求1所述的基于编码热红外标志的跟随机器人多目标识别系统，热辐射标志中的发热丝平行等间距布置。

4.如权利要求1所述的基于编码热红外标志的跟随机器人多目标识别系统，数据处理模块从热红外图像中识别热辐射标志图像的具体过程为：

对热红外图像进行滤波处理；

5.如权利要求1所述的基于编码热红外标志的跟随机器人多目标识别系统，数据处理模块根据热辐射标志图像识别热辐射标志编码信息的具体过程为：

6.如权利要求5所述的基于编码热红外标志的跟随机器人多目标识别系统，数据处理模块判断热辐射标志图像中加热发热丝图像和未加热发热丝图像是否满足形态约束，当满足形态约束时，根据加热发热丝图像和未加热发热丝图像竖直方向上的高度信息确定热辐射标志的编码信息。

7.基于编码热红外标志的跟随机器人多目标识别方法，其特征在于，包括：

采集待识别目标的热红外图像；

从热红外图像中识别热辐射标志图像；

根据热辐射标志图像识别热辐射标志的编码信息；

通过编码信息对待识别目标进行识别。

8.如权利要求7所述的基于编码热红外标志的跟随机器人多目标识别方法，其特征在于，根据热辐射标志图像识别热辐射标志编码信息的具体过程为：

9.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求7-8任一项所述的基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。

10.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求7-8任一项所述的基于编码热红外标志的跟随机器人多目标识别方法所述的步骤。