CN114872029A - 一种机器人视觉识别系统 - Google Patents

Abstract

本申请涉及一种机器人视觉识别系统，其包括：场景载入模块，用于根据机器人的行动需求载入机器人行进相关的路线信息；图像采集模块，用于采集机器人周围场景环境全景图像信息；识别比对模块，用于将路线信息与图像信息进行比对，以进行环境识别；预分析模块，用于对采集到的全景图像信息进行预分析，并根据分析结果对机器人进行避障与路线规划。本申请具有对陌生环境进行识别，使机器人能根据识别到的信息在陌生环境中进行自主探索，进而使机器人对陌生环境的自主探索更加便利的效果。

Description

一种机器人视觉识别系统

技术领域

本申请涉及机器人领域，尤其是涉及一种机器人视觉识别系统。

背景技术

机器人是一种能够半自主或全自主的机器，机器人的感官主要是通过各种传感器来进行达成，例如视觉传感器则是收集环境视觉信息、触觉传感器传递触觉信息、测距传感器则用来测量目标障碍物的远近、速度传感器用来测量机器人的行进速度等。

常见的机器人工业机器人与特种机器人，工业机器人是指面向工业领域的多关节机械手或多自由度机器人，特种机器人则是用于对人类进行服务的各种机器人，常见的包括扫地机器人、水下机器人、娱乐机器人与农业机器人等。而对陌生环境的探索的领域，机器人也起到了巨大的作用，例如进行外星探索时的各种机器人。在进行常规的探索时，机器人可通过遥控的方式进行控制，在进行特种环境探索或遥控的方式延迟较大时，则需根据机器人识别到的陌生环境进行自主探索。

发明内容

为了使机器人对陌生环境的自主探索更加便利，本申请提供一种机器人视觉识别系统。

本申请提供的一种机器人视觉识别系统采用如下的技术方案：

一种机器人视觉识别系统，包括：

场景载入模块，用于根据机器人的行动需求载入所述机器人行进相关的路线信息；

图像采集模块，用于采集所述机器人周围场景环境全景图像信息；

识别比对模块，用于将所述路线信息与所述图像信息进行比对，以进行环境识别；

预分析模块，用于对采集到的所述全景图像信息进行预分析，并根据分析结果对所述机器人进行避障与路线规划。

通过采用上述技术方案，当机器人应用于未知环境的探索时，通过场景载入模块根据机器人的行动需求预先载入机器人行进相关的路线信息，以便于对机器人的初始行动路线进行参考，当机器人根据预先载入的行进相关的路线信息进行行动时，图像采集单元采集机器人周围场景环境的全景图像信息，以对陌生周围场景环境在进行采集，识别比对模块将路线信息与图像信息进行比对，以对周围环境进行识别，使能根据采集到的图像信息识别到周围环境中的具体情况，预分析模块对采集到的全景图像信息进行预分析，并根据分析结果对机器人进行避障与路线规划，使机器人能根据识别到的信息在陌生环境中进行自主探索，进而使机器人对陌生环境的自主探索更加便利。

可选的，所述场景载入模块包括：

初始场景载入单元，用于根据所述机器人的行动需求载入初始三维场景；

线路载入单元，用于根据所述机器人的行动需求在所述初始三维场景中载入所述机器人行动路线的路线信息。

通过采用上述技术方案，初始场景载入单元根据机器人的行动需求载入初始三维场景，线路载入单元根据机器人的行动需求在初始三维场景中载入机器人行动路线的路线信息，使机器人能根据载入的场景信息中的路线信息进行初始的活动。

可选的，所述场景载入模块还包括：

场景迭代单元，用于根据所述全景图像信息对载入的所述路线信息进行迭代。

通过采用上述技术方案，场景迭代单元根据全景图像信息对载入的路线信息进行迭代，以对机器人的行动路线进行迭代。

可选的，所述图像采集模块包括：

全景图像采集单元，用于采集所述机器人周侧每一方向的单向图像；

图像拼接单元，用于将多个所述单向图像进行图像拼接形成全景图像信息。

通过采用上述技术方案，图像采集模块中的全景图像采集单元采集机器人周侧每一方向的单向图像，图像拼接单元将单向图像进行图像拼接形成全景图像信息，使图像采集模块能采集机器人周围场景环境全景图像信息。

可选的，所述识别比对模块包括：

识别单元，用于分别识别出所述全景图像中与所述路线信息中待比对的环境对象；

比对单元，用于将所述全景图像中的所述环境对象与所述路线信息中的环境对象之间的差异。

通过采用上述技术方案，识别单元分别识别出全景图像中与路线信息中待比对的环境图像，比对单元将全景中的环境对象与路线中的环境对象之间的差异，使对周围环境进行比对与识别，判断出周围环境所发生的变化。

可选的，所述识别比对模块还包括：

差异存储单元，用于存储差异信息，所述差异信息为所述比对单元在比对所述全景图像与所述路线信息过程中所述全景图像与所述路线信息不同的部分，所述差异存储单元与所述场景在载入模块连接。

通过采用上述技术方案，差异存储单元将周围环境中的差异产生的差异信息进行存储，并与场景载入模块连接，使将差异信息存入场景载入模块。

可选的，所述预分析模块包括：

预分析子模块，用于对所述机器人前进方向上的环境随着所述机器人的行进而进行预分析获取分析结果；

避障与规划子模块，用于根据所述分析结果向所述机器人发出避障指令，以进行障碍物躲避，并根据所述分析结果对所述机器人的路线进行规划。

通过采用上述技术方案，使能对机器人前进方向上的周围环境进行预分析，并根据分析结果向机器人发出避障指令，使机器人能及时躲避障碍并进行路线规划。

可选的，所述预分析子模块包括：

区域划分单元，用于将识别到的所述全景图像进行远段区域、中段区域与近段区域地划分；

区域预分析单元，用于分别对所述远段区域、中段区域与近段区域进行预分析。

通过采用上述技术方案，区域划分单元将识别到的全景图像按照区域进行划分，使区域预分析单元进行不同区域的分析。

可选的，所述区域预分析单元包括：

远段预分析子单元，用于对所述全景图像中的远段环境进行预分析；

中段预分析子单元，用于对所述全景图像中的中段环境进行预分析：

近段预分析子单元，用于对所述全景图像中的近段环境进行预分析。

通过采用上述技术方案，使对全景图像进行不同距离的预分析。

可选的，所述避障与规划子模块包括：

避障建议子单元，用于根据中段预分析结果与近段预分析结果对所述机器人进行避障规划建议；

规划建议子单元，用于根据远段预分析、所述中段预分析结果与近段预分析结果进行对所述机器人的路线规划建议。

通过采用上述技术方案，避障建议子单元根据对应的预分析结果进行避障规划建议，而规划建议子单元根据与避障建议子单元不同的分析结果进行路线规划。

附图说明

图1是本申请其中一实施例一种机器人视觉识别系统的结构框图。

附图标记：1、场景载入模块；11、初始场景载入单元；12、线路载入单元；13、场景迭代单元；2、图像采集模块；21、全景图像采集单元；22、图像拼接单元；3、识别比对模块；31、识别单元；32、比对单元；33、差异存储单元；4、预分析模块；41、预分析子模块；411、区域划分单元；412、区域预分析单元；4121、远段预分析子单元；4122、中段预分析子单元；4123、近段预分析子单元；42、避障与规划子模块；421、避障建议子单元；422、规划建议子单元。

具体实施方式

以下结合附图对本申请作进一步详细说明。

为了使机器人能在陌生环境进行得自主探索更加便利，本申请实施例公开一种机器人视觉识别系统。

参照图1，一种机器人视觉识别系统，包括：

场景载入模块1，用于根据机器人的行动需求载入机器人行进相关的路线信息。行进相关的信息为预先载入至机器人行进相关的路线信息中，例如当机器人处于陌生环境中时，需要先进行第一步的路线行走，预先载入的信息机器人行进相关的路线信息可为机器人随机选择的行进路线信息，也可为经过预先初步探查到的路线信息，然而处于陌生环境中时，预先探查到的路线信息也为比较模糊的信息，例如只有一个探查的方向或者是机器人进行探查的角度。

场景载入模块1包括：

初始场景载入单元11，用于根据机器人的行动需求载入初始三维场景。其中初始三维场景为预先为该陌生环境进行初步探查所生成的较为模糊的场景或范围较小的场景，在本实施例中初始场景载入单元11的设置使本系统的本模块中还有场景存储功能，以存储初始的三维场景与在后续探查到的三维全景信息。

线路载入单元12，用于根据机器人的行动需求在初始三维场景中载入机器人行动路线的路线信息。其中，当线路为不熟悉的线路时，进行的线路载入为信息含量较少的线路，例如只是规划了线路的方向，或对应的坐标，此时需进行线路的载入，分别得出目标的曼哈顿距离与欧式距离，曼哈顿距离为实际上的距离，欧式距离为距离目标的直线距离，以便于后续进行线路分析与规划。

图像采集模块2，用于采集机器人周围场景环境全景图像信息。其中，全景图像信息为机器人在行进图中所采集到的信息，采集手段包括可见光成像、微光成像、红外成像与激光雷达扫描等，在可见光可视环境、微光环境、无光环境等进行环境图像采集。进一步的，在本实施例中采集的是全景图像，在其他实施例中采集的还可为全景影像。

图像采集模块2包括：

全景图像采集单元21，用于采集机器人周侧每一方向的单向图像。在本实施例中，当将多个单向图像进行组合时减少拍摄的死角，以便于进行全景图像的拍摄，采集到的每一单向图像的边缘部分均会与相邻的单向图像的边缘位置产生有重叠，以便于通过重叠的部分对图像进行拼接。

图像拼接单元22，用于将多个单向图像进行图像拼接形成全景图像信息。在本实施例中，通过图像拼接技术基于相邻图像中重叠的部分对每一单向图像进行拼接，当采集的周围场景环境为单向影像时，则将单向影像进行指定帧数的抽帧操作，例如对单数如第一帧、第三帧、第五帧等帧数的单向影像进行抽帧，减少图像拼接过程中的计算压力，并将对应帧的图像进行拼接后还原为全景影像，或通过深度学习算法在机器人行进过程进行全景影像的拼接，以即时生成全景影像。

图像采集模块2采集到机器人周围场景环境全景图像信息后，由于预先载入的三维场景与路线信息较为模糊，为了载入的全景图像进行更新，使机器人能原路返回或对三维场景与路线信息进行更新，场景载入模块1还包括：

场景迭代单元13，用于根据全景图像信息对载入的路线信息进行迭代。其中，在机器人的行进过程中，比对预先载入的路线信息与识别到的路线信息，以对机器人行进过的路线进行迭代更新，增加细节，当机器人返程时，可减少机器人的行进时间与避障所花费的时间。

当采集到全景图像或全景影像后，需对全景图像或全景影像中环境的个体进行识别，例如对陌生环境中的障碍物进行识别，对凸出地表的石块等进行识别。因此本申请实施例中还设置有识别比对模块3，识别比对模块3，用于将路线信息与图像信息进行比对，以进行环境识别。路线信息中包含有障碍物模型，例如植物模型、树木模型、石块模型、生物模型、建筑模型等，内置设置有物体模型库，以便于对不同种类的障碍物进行识别，而图像信息中包含有陌生环境中的物体的信息，包括形状信息、颜色信息、以及是否处于活动状态等信息，路线信息中障碍物模型与图像信息中的障碍物模型进行比对，以进行环境识别。

识别比对模块3包括：

识别单元31，用于分别识别出全景图像中与路线信息中待比对的环境对象。其中，环境对象即上述中的障碍物信息中不同模型对应的对象，例如植物模型中的植物与石块模型中的石块。

比对单元32，用于将全景图像中的环境对象与路线信息中的环境对象之间的差异。其中，在本实施例中全景图像中的环境对象与路线信息中的差异包括环境对象的大小、形状、颜色、位置等差异，例如在预设路线信息中存在有一环境对象如石块处于机器人行进路线中的路线中央，最大宽度达到1.5M，而识别到的全景图像中该环境对象对应的石块处于机器人行进路线中的路线偏左，且最大宽度为1.8M，且高度大于机器人识别到的最大高度，即全景图像中的环境对象与路线信息中的环境对象之间差异为石块的大小、位置、与最大高度。

当比对单元32识别到全景图像与预先载入的路线信息之间的差异时，为了对该差异进行记录，以对陌生环境进行识别并进行数据的迭代，识别比对模块3还包括：

差异存储单元33，用于存储差异信息，差异信息为比对单元32在比对全景图像与路线信息过程中全景图像与路线信息不同的部分，差异存储单元33与场景在载入模块连接。在本实施例中通过差异存储单元33将对应不同的差异进行存储，以便于载入模块中的场景迭代单元13逐步对陌生环境中预设的路线信息进行迭代。

预分析模块4，用于对采集到的全景图像信息进行预分析，并根据分析结果对机器人进行避障与路线规划。其中，预分析模块4将机器人行进路线前方的环境作出分析，使机器人能根据分析结果及时避开障碍物，降低机器人在行进过程中发生碰撞的概率，并进行路线规划，选取路线较短，障碍物较少的路线。

预分析模块4包括：

预分析单元预分析子模块41，用于对机器人前进方向上的环境随着机器人的行进而进行预分析获取分析结果。在本实施例中预分析子模块41进行预分析包括分析障碍物是否会对机器人的行进线路进行阻挡、前方路况是否能通行、前方是否安全、选取的行进路线是否为最短的路线等。

当发现障碍物时，需要提示机器人及时避障，因此预分析模块4还包括避障与规划子模块42，避障与规划子模块42，用于根据分析结果向机器人发出避障指令，以进行障碍物躲避。在本实施例中，避障指令中还包括避障的方向与进行避障的位置，避障的方向为不包括机器人当前行进方向的其他方向，包括但不限定于左右与原路返回，避障的位置为距离障碍物的距离，例如在距离障碍物1M处进行避障，避障的位置使机器人能安全进行方向的偏转。并根据分析结果对机器人的路线进行规划。其中，路线规划单元为根据机器人前进方向上的分析结果对机器人的路线进行规划，例如当分析结果为前方五十米处存在有不可通过的障碍物，而前方三十米处存在有绕行的路口，则规划路线为在前方三十米处进行转向。

预分析子模块41包括：

区域划分单元411，用于将识别到的全景图像进行远段区域、中段区域与近段区域地划分。在本实施例中远段区域、中段区域与近段区域的划分为根据环境对象的密度进行划分。例如采集到全景图像中显示出的环境对象中石块的密度分布较大，会对机器人的行进路线造成影响或机器人会因颠簸对全景图像的画质造成影响，此时划分的远段区域、中段区域与近段区域则距离较短，机器人需减速慢行以降低机器人因路况出现侧翻的概率，或减少机器人的颠簸以降低颠簸对全景图像拍摄的影响。当拍摄到的前方路面较为平坦或环境对象中对环境拍摄造成影响较小时，则增加划分的远段区域、中段区域与近段区域的距离。

区域预分析单元412，用于分别对远段区域、中段区域与近段区域进行预分析。在本申请实施例中，远段区域为进行大致分析的区域，远段区域可为20M以外的区域。近段区域为进行进一步分析的区域，如可设为10M-20M范围内的区域。近段区域则进一步可设为0M-10M内的区域。当环境状态较为平整使，可分别将远段区域与中段区域进行延长，增加感应范围。

区域预分析单元412包括：

远段预分析子单元4121，用于对全景图像中的远段环境进行预分析。通过远段预分析子单元4121分析远方是否存在有对机器人当前行进较大影响的环境对象，如巨大的石块、起伏程度较大的路面、断崖与峡谷等。

中段预分析子单元4122，用于对全景图像中的中段环境进行预分析。通过中段预分析子单元4122判断在中段区域是否存在有对机器人行进造成一般影响的环境对象，如路面平整程度较差或障碍物较多。

近段预分析子单元4123，用于对全景图像中的近段环境进行预分析。通过近段预分析子单元4123是否存在有对全景图像画质产生影响的地形与环境对象，例如分析当前路面的平整程度，以及以全景图像进行媒介，对陌生环境进行较为详细的记录。

避障与规划子模块42，用于根据区域预分析单元412分析出的结果向机器人进行避障与规划建议。

避障与规划单元包括：

避障建议子单元421，用于根据中段预分析结果与近段预分析结果对机器人进行避障规划建议。其中，当中段预分析结果与近段预分析结果显示，在中段区域与近段区域分析出存在有对机器人行进产生影响的障碍物或路面较为颠簸会导致画质较差时，则发出避障的建议，建议调转方向或原路返回至较为平整的区域再调转方向。

规划建议子单元422，用于根据远段预分析、中段预分析结果与近段预分析结果进行对机器人的路线规划建议。其中，当远段预分析结果显示，远方区域存在有机器人所不能继续前进的地形，或存在有较大障碍物阻挡使机器人不能继续前进，或近段预分析结果显示，机器人继续前进会对拍摄出的全景画质造成模糊以至于不能识别环境对象的重大影响，规划建议子单元422对路线进行规划，规划范围包括机器人的行进速度、行进线路与行进方向。

本申请实施例一种机器人视觉识别系统的实施原理为：当机器人应用于未知环境的探索时，通过场景载入模块1根据机器人的行动需求预先载入机器人行进相关的路线信息，以便于对机器人的初始行动路线进行参考，当机器人根据预先载入的行进相关的路线信息进行行动时，图像采集单元采集机器人周围场景环境的全景图像信息，以对陌生周围场景环境在进行采集，识别比对模块3将路线信息与图像信息进行比对，以对周围环境进行识别，使能根据采集到的图像信息识别到周围环境中的具体情况，预分析模块4对采集到的全景图像信息进行预分析，并根据分析结果对机器人进行避障与路线规划，使机器人能根据识别到的信息在陌生环境中进行自主探索。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种机器人视觉识别系统，其特征在于，包括：

场景载入模块（1），用于根据机器人的行动需求载入所述机器人行进相关的路线信息；

图像采集模块（2），用于采集所述机器人周围场景环境全景图像信息；

识别比对模块（3），用于将所述路线信息与所述图像信息进行比对，以进行环境识别；

预分析模块（4），用于对采集到的所述全景图像信息进行预分析，并根据分析结果对所述机器人进行避障与路线规划。

2.根据权利要求1所述的一种机器人视觉识别系统，其特征在于，所述场景载入模块（1）包括：

初始场景载入单元（11），用于根据所述机器人的行动需求载入初始三维场景；

线路载入单元（12），用于根据所述机器人的行动需求在所述初始三维场景中载入所述机器人行动路线的路线信息。

3.根据权利要求2所述的一种机器人视觉识别系统，其特征在于，所述场景载入模块（1）还包括：

场景迭代单元（13），用于根据所述全景图像信息对载入的所述路线信息进行迭代。

4.根据权利要求1所述的一种机器人视觉识别系统，其特征在于，所述图像采集模块（2）包括：

全景图像采集单元（21），用于采集所述机器人周侧每一方向的单向图像；

图像拼接单元（22），用于将多个所述单向图像进行图像拼接形成全景图像信息。

5.根据权利要求1所述的一种机器人视觉识别系统，其特征在于，所述识别比对模块（3）包括：

识别单元（31），用于分别识别出所述全景图像中与所述路线信息中待比对的环境对象；

比对单元（32），用于将所述全景图像中的所述环境对象与所述路线信息中的环境对象之间的差异。

6.根据权利要求5所述的一种机器人视觉识别系统，其特征在于，所述识别比对模块（3）还包括：

差异存储单元（33），用于存储差异信息，所述差异信息为所述比对单元（32）在比对所述全景图像与所述路线信息过程中所述全景图像与所述路线信息不同的部分，所述差异存储单元（33）与所述场景在载入模块连接。

7.根据权利要求1所述的一种机器人视觉识别系统，其特征在于，所述预分析模块（4）包括：

预分析子模块（41），用于对所述机器人前进方向上的环境随着所述机器人的行进而进行预分析获取分析结果；

避障与规划子模块（42），用于根据所述分析结果向所述机器人发出避障指令，以进行障碍物躲避，并根据所述分析结果对所述机器人的路线进行规划。

8.根据权利要求7所述的一种机器人视觉识别系统，其特征在于，所述预分析子模块（41）包括：

区域划分单元（411），用于将识别到的所述全景图像进行远段区域、中段区域与近段区域地划分；

区域预分析单元（412），用于分别对所述远段区域、中段区域与近段区域进行预分析。

9.根据权利要求8所述的一种机器人视觉识别系统，其特征在于，所述区域预分析单元（412）包括：

远段预分析子单元（4121），用于对所述全景图像中的远段环境进行预分析；

中段预分析子单元（4122），用于对所述全景图像中的中段环境进行预分析：

近段预分析子单元（4123），用于对所述全景图像中的近段环境进行预分析。

10.根据权利要求7所述的一种机器人视觉识别系统，其特征在于，所述避障与规划子模块（42）包括：

避障建议子单元（421），用于根据中段预分析结果与近段预分析结果对所述机器人进行避障规划建议；

规划建议子单元（422），用于根据远段预分析、所述中段预分析结果与近段预分析结果进行对所述机器人的路线规划建议。

Images