CN107609520B - 障碍物识别方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供的一种障碍物识别方法、装置及电子设备，涉及数据处理技术领域。电子设备包括RGB‑D传感器和处理器，RGB‑D传感器与处理器电连接，所述方法包括：处理器获取RGB‑D传感器采集的用户所在环境的RGB‑D信息；获取RGB‑D信息对应的点云，点云包括第一点云，第一点云表征用户所在环境的地面的物理特征；基于所述第一点云及NAPSAC算法，提取地面的平面方程；点云还包括至少一个第二点云，基于所述至少一个第二点云及地面平面方程，识别用户所在环境的障碍物的信息；其中，所述第二点云表征用户所在环境的障碍物的物理特征。从而识别障碍物的信息，更详细，更高效，提升用户体验。

Description

障碍物识别方法、装置及电子设备

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种障碍物识别方法、 装置及电子设备。

背景技术

根据《第二次全国残疾人抽样调查主要数据公报》统计，中国盲人数 目约为1233万，是盲人数目最多的国家，并且盲人数目以每年45万人的 速度增加。在陌生的环境中，盲人最常用的两种导航工具分别为导盲杖和 导盲犬。然而这两种工具存在诸多限制，如导盲杖对使用者有较高要求， 导盲犬训练价格昂贵，通常只能用于户外，而在室内环境中盲人大多靠自 己摸索。

计算机技术的发展为协助盲人的创新解决方案提供了技术支持，人们 开发出了各种帮助盲人熟悉环境的辅助设备。现在已经确认存在超过140 个用于帮助盲人导航的系统，且其中有21个系统已经商业化。而其中大部 分系统都是基于全球定位系统(GlobalPosition System—GPS)。事实上，这 些系统准确性不高，极易受GPS信号强弱的影响，而且不能提供给盲人当 前障碍物的详细信息。这部分基于GPS的产品都是适用于户外环境，而盲 人大多数时间是在室内活动，相关室内辅助产品较少见。还有许多系统只 给盲人提供非常原始的环境提示信息。部分系统仅将获取的深度图转换为 语音表示，并没有任何进一步的对象分割检索。部分系统仅提示盲人前方 传感器(如超声波)检测到的障碍物，而没有给予用户关于周边环境中障 碍物的具体描述。

发明内容

本发明的目的在于提供一种障碍物识别方法、装置及电子设备，以改 善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本发明实施例提供了一种障碍物识别方法，应用于电子设 备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所 述处理器电连接，所述方法包括：所述处理器获取所述RGB-D传感器采集 的用户所在环境的RGB-D信息；获取所述RGB-D信息对应的点云，所述 点云包括第一点云，所述第一点云表征所述用户所在环境的地面的物理特 征；基于所述第一点云及NAPSAC算法，提取所述地面的平面方程；所述 点云还包括至少一个第二点云，基于所述至少一个第二点云及所述地面平 面方程，识别所述用户所在环境的障碍物的信息；其中，所述第二点云表 征用户所在环境的障碍物的物理特征。

第二方面，本发明实施例提供了一种障碍物识别装置，运行于电子设 备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所 述处理器电连接。所述装置包括：第一获取单元、第二获取单元、提取单 元和识别单元。第一获取单元，用于获取所述RGB-D传感器采集的用户所 在环境的RGB-D信息。第二获取单元，用于获取所述RGB-D信息对应的 点云，所述点云包括第一点云，所述第一点云表征所述用户所在环境的地 面的物理特征。提取单元，用于基于所述第一点云及NAPSAC算法，提取 所述地面的平面方程。识别单元，用于所述点云还包括至少一个第二点云， 基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境 的障碍物的信息；其中，所述第二点云表征用户所在环境的障碍物的物理 特征。

本发明实施例提供的一种障碍物识别方法、装置及电子设备，应用于 电子设备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感 器与所述处理器电连接，所述方法包括：所述处理器获取所述RGB-D传感 器采集的用户所在环境的RGB-D信息；获取所述RGB-D信息对应的点云， 所述点云包括第一点云，所述第一点云表征所述用户所在环境的地面的物 理特征；基于所述第一点云及NAPSAC算法，提取所述地面的平面方程； 所述点云还包括至少一个第二点云，基于所述至少一个第二点云及所述地 面平面方程，识别所述用户所在环境的障碍物的信息；其中，所述第二点 云表征用户所在环境的障碍物的物理特征。从而识别障碍物的信息，更详 细，更高效，提升用户体验。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说 明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和 其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的 结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种可应用于本发明实施例中的电子设备的结构框图；

图2为本发明实施例提供的障碍物识别方法的流程图；

图3为本发明实施例提供的RGB-D传感器在用户的位置及坐标系变换 示意图；

图4为本发明实施例提供的障碍物识别装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配 置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描 述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于 区分描述，而不能理解为指示或暗示相对重要性。

图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。 如图1所示，所述电子设备100可以包括RGB-D传感器118、一个或多个 (图1中仅示出一个)处理器106和存储器102，所述RGB-D传感器118、 所述存储器102均与所述处理器106电连接。所述存储器102用于存储程 序。

所述RGB-D传感器118，用于采集用户所在环境的RGB-D信息。所 述RGB-D传感器118可以为Kinect传感器。在本实施例中，RGB-D传感 器118为Kinect 2.0传感器。

Kinect 2.0传感器主要包含有一个彩色摄像头，一个红外摄像头，一个 红外发射器以及一个麦克风阵列。其中彩色摄像头用于拍摄视角范围内的 彩色视频图像。红外发射器则主动发射近红外光谱，照射到粗糙的物体或 是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点(称为散斑)，进而 能被红外摄像头读取。红外摄像头分析读取到的红外光谱，创建可视范围 内的人体、物体的深度图像。麦克风阵列用四个麦克风采集声音，内置数字处理器DSP等组件，同时过滤背景噪声，可定位声源方向。同时在设备 的轴承处可以根据需要对摄像头的倾斜角度进行手动调整。

所述处理器106，用于通过所述总线调用存储在所述存储器102中的程 序，执行：

获取所述RGB-D传感器118采集的用户所在环境的RGB-D信息；

获取所述RGB-D信息对应的点云，所述点云包括第一点云，所述第一 点云表征所述用户所在环境的地面的物理特征；

基于所述第一点云及NAPSAC算法，提取所述地面的平面方程；

所述点云还包括至少一个第二点云，基于所述至少一个第二点云及所 述地面平面方程，识别所述用户所在环境的障碍物的信息；其中，所述第 二点云表征用户所在环境的障碍物的物理特征。

所述电子设备100还可以包括存储控制器104、外设接口108、输入输 出模块110、音频模块112、显示模块114、射频模块116和障碍物识别装 置。存储控制器104、外设接口108、输入输出模块110、音频模块112、 显示模块114、射频模块116各元件之间直接或间接地电连接，以实现数据 的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号 总线实现电连接。障碍物识别方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器102中的软件功能模块，例如所述障碍物 识别装置包括的软件功能模块或计算机程序。

存储器102可以存储各种软件程序以及模块，如本申请实施例提供的 障碍物识别方法及装置对应的程序指设定/模块。处理器106通过运行存储 在存储器102中的软件程序以及模块，从而执行各种功能应用以及数据处 理，即实现本申请实施例中的障碍物识别方法。

存储器102可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读 存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器 (Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储 器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器106可以是一种集成电路芯片，具有信号处理能力。上述处理 器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、 网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器 (DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻 辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执 行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是 微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口108将各种输入/输入装置耦合至处理器106以及存储器 102。在一些实施例中，外设接口108、处理器106以及存储控制器104可 以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实 现。

输入输出模块110用于提供给用户输入数据实现用户与电子设备100 的交互。所述输入输出模块110可以是，但不限于，鼠标和键盘等。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一 个或者多个扬声器以及音频电路。

显示模块114在电子设备100与用户之间提供一个交互界面(例如用 户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示 模块114可以是液晶显示器或触控显示器。若为触控显示器，其可为支持 单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点 触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处 同时产生的触控操作，并将该感应到的触控操作交由处理器106进行计算和处理。

射频模块116用于接收以及发送电磁波，实现电磁波与电信号的相互 转换，从而与通信网络或者其他设备进行通信。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1 中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所 示的各组件可以采用硬件、软件或其组合实现。

于本发明实施例中，电子设备100可以作为用户终端，或者作为服务 器。用户终端可以为PC(personal computer)电脑、平板电脑、手机、笔记本 电脑、智能电视、机顶盒、车载终端等终端设备。

请参阅图2，本发明实施例提供了一种障碍物识别方法，应用于电子设 备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所 述处理器电连接，所述方法可以包括步骤S200、步骤S210、步骤S220和 步骤S230。

步骤S200：所述处理器获取所述RGB-D传感器采集的用户所在环境 的RGB-D信息。

步骤S210：获取所述RGB-D信息对应的点云，所述点云包括第一点 云，所述第一点云表征所述用户所在环境的地面的物理特征。

基于步骤S210，进一步地，基于所述RGB-D信息，建立以所述RGB-D 传感器的中心点为原点的第一三维坐标系；基于预设的旋转平移规则，将 所述第一三维坐标系转换为第二三维坐标系，获取所述RGB-D信息对应的 在所述第二三维坐标中的待处理点云；对所述待处理点云进行滤波处理， 获得所述RGB-D信息对应的点云。

针对Nguyen Dinh Chieu学校里盲人学生的调查结果显示，盲人学生在 室内有许多常见的需要避让的障碍物，比如运动目标、墙、门、楼梯、柱 子、垃圾桶和花盆等。

请参阅图3，n_f为所述用户所在地面的法向量，将RGB-D传感器设置 于用户的腰部，与地面成一定角度α，采集用户所在前方的RGB-D信息。 所述用户为盲人。基于所述RGB-D信息，建立以所述RGB-D传感器的中 心点O_c为原点的第一三维坐标系x_cO_cy_cz_c；基于预设的旋转平移规则即T，将 所述第一三维坐标系x_cO_cy_cz_c转换为第二三维坐标系x_wO_wy_wz_w，获取所述 RGB-D信息对应的在所述第二三维坐标中的待处理点云；所述预设的选择 平移规则T为将所述第一三维坐标系x_cO_cy_cz_c从用户的腰部旋转平移至用户 的脚边，转换为第二三维坐标系x_wO_wy_wz_w。对所述待处理点云进行滤波处理， 获得所述RGB-D信息对应的点云。以减少数据量，加快处理速度。

步骤S220：基于所述第一点云及NAPSAC算法，提取所述地面的平面 方程。

进一步地，步骤S220可以包括步骤S221、步骤S222、步骤S223、步 骤S224、步骤S225和步骤S226。

步骤S221：利用NAPSAC算法，输入：u,η₀,k_max,t；初始化多个可信参 数k＝0,k′_max＝k_max,n_max＝0,N＝|u|。

步骤S222：从所述第一点云u中随机获取一个定点o，再建立以所述定 点o为球心，以预设长度r为半径的球体。

步骤S223：判断所述第一点云中的数据点在所述球体内的个数是否小 于第一预设阈值，若否，从所述球体内均匀地获取第一预设常数个数据点， 组成最小子集。

所述第一预设阈值可以为3，第一预设常数可以为3。

步骤S224：基于所述最小子集及预设的地面平面模型，计算获得地面 平面模型的参数θ_k(a_k,b_k,c_k,d_k)，以获得待更新的地面的平面方程。

步骤S225：计算所述第一点云中的所有数据点分别到所述待更新的地 面的平面方程的距离D，若距离D不大于预设局内点阈值t则认为该数据点 为局内点，获得局内点集合I_k，所述局内点集合I_k包括n_k个数据点。

步骤S226：设定k＝k+1，基于以上操作，直到不满足k<k_max||k<k′_max，基 于最小二乘法及更新后的局内点集合I^*，计算获得更新后的地面平面模型的 参数θ^*(a^*,b^*,c^*,d^*)，输出更新后的局内点集合I^*和更新后的地面平面模型的参 数θ^*(a^*,b^*,c^*,d^*)，以提取所述地面的平面方程。

具体地，所述预设的地面平面模型为：ax+by+cz+d＝0，

平面模型参数为θ(a,b,c,d)，其中

为平面法向量。点(x,y,z)到平面 θ(a,b,c,d)的距离公式为：

NAPSAC算法的输入包括：经过预处理，含有较多局外点(非同一平面 上的点)的点云数据u；多个可信参数(如最大迭代次数k_max、置信裕度η₀、预 设局内点阈值t)。置信裕度η₀的取值范围一般为[0.95,0.99]，η₀与迭代次数k′_max的关系为：

公式(2)中，ε为局内点在数据集u中的比例。公式(2)表示在k′_max次 循环过程中，至少有一次采样使得采样出的3个点均为局内点的概率为η₀。 随着局内点数目n_max增大，ε增大，k′_max变小，加快了迭代进程。算法输出为 平面模型的参数θ^*(a^*,b^*,c^*,d^*)，以及满足该模型的所有局内点的集合I^*，其中 该模型的局内点(同一平面上的点)在所有可能的模型中数目最多。

进一步地，基于步骤S225，若n_k>n_max，则计算θ^*＝θ_k,I^*＝I_k,n_max＝n_k,ε＝n_max/N， 通过公式(2)更新k′_max；继续执行步骤S226。若n_k>n_max不成立，则继续执 行步骤S226。

在步骤S225之前，所述方法还可以包括：

获取一个向量

判断所述平面法向量

与所述向量

的夹角 是否在预设角度范围内。

具体地，要求提取垂直于某向量

的平面，即要求平面法向量

与

平 行，利用最小子集估算平面模型参数θ_k，其中平面法向量为

判 断

与

的夹角是否在预设角度范围[-T_θ,T_θ]内，若是则执行步骤S225，否 则返回步骤S222。其中求解两向量(x₁,y₁,z₁)与(x₂,y₂,z₂)夹角公式为：

接近垂直于y轴的地平面可通过上述方法进行提 取。类似，若要求提取平行于向量

的平面，限制平面法向量与

垂直，夹 角在[90-T_θ,90+T_θ]范围内即可。例如垂直于地面的墙面和门平面等。

步骤S230：所述点云还包括至少一个第二点云，基于所述至少一个第 二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息；其 中，所述第二点云表征用户所在环境的障碍物的物理特征。

作为一种实施方式，为了识别分散的障碍物，基于步骤S230，根据欧 式聚类提取方法及所述地面平面方程对所述至少一个第二点云的所有数据 点进行聚类提取，获得多个聚类集群，以识别所述用户所在环境的多个障 碍物；基于所述多个障碍物及轴对齐包围盒方法，获得所述多个障碍物各 自对应的尺寸；基于所述多个障碍物及预设的距离计算规则，获得每个障 碍物相对于用户的距离。

具体地，在室内环境中，地面上分散着各种障碍物，比如垃圾桶、箱 子、桌子和椅子等。由于这些障碍物是分散的，因此在3D点云中表现为地 面上的一个个点云簇。去除地面之后，每个点云簇之间都间隔着一定距离， 而同一个点云簇里的点之间的距离应小于一个阈值。根据这个特性，利用 欧式聚类提取方法分别将这一个个点云簇提取出来。

欧式聚类提取算法主要过程是遍历所述至少第二点云中所有数据点， 以各数据点为中心向周围搜索，将距离在阈值以内的点归类为同一集群， 最终将输入的点云分为多个集群，每个集群表示一个障碍物。用欧式距离 来衡量点(x₁,y₁,z₁)与点(x₂,y₂,z₂)之间的距离，公式为：

提取出各障碍物点云簇。

轴对齐包围盒方法(AABB—axis-aligned bounding box)对外形复杂的 障碍物进行近似描述。一个三维的AABB就是一个简单的长方体，每一边 都平行于一个坐标轴，其内部是个简单的几何空间，可包含形状复杂的物 体。AABB内的点满足以下条件：

x_min≤x≤x_max,y_min≤y≤y_max,z_min≤z≤z_max (3)

基于(3)，遍历点第二云点中所有数据点，获得x,y,z各方向上的最大 值、最小值，组成两个重要顶点(x_min,y_min,z_min)和(x_max,y_max,z_max)即可唯一的定义一 个AABB，获得所述多个障碍物各自对应的尺寸。

为了获取每个障碍物相对于用户的距离和方向，方向包括靠左、靠右 和正前方，如图3所示，点云所在第二三维坐标系的z_w轴正方向即为正前 方。可以利用公式(4)计算获得障碍物对应的第二点云的中心点P_ct(x_ct,y_ct,z_ct)：

(4)中，P_i(x_i,y_i,c_i)为第二点云中的第i点，n为第二点云的大小，可以 得出P_ct在xz平面的投影点P′_ct(x_ct,0,z_ct)。O为坐标原点，障碍物到用户的距离大 小为向量

的模：

即为所示预设的距离计算规则。此外， 基于前述的夹角公式，类似可求出向量

与z_w轴的夹角β。若x_ct>0，则障 碍物靠右，若x_ct<0，则障碍物靠左，以此获取每个障碍物相对于用户的距 离、方向及夹角。

作为另一种实施方式，为了识别障碍物为门和墙，基于步骤S230，进 一步地，基于所述至少一个第二点云、所述地面平面方程及NAPSAC算法， 获取与所述地面垂直的多个平面；基于快速凸包算法及所述多个平面，获 得所述多个平面各自的凸包点，并计算获得所述多个平面各自的宽度和高 度；对比所述多个平面各自的宽度和高度是否满足门的限制条件，若满足， 识别所述用户所在环境的障碍物为门的信息，剩下的平面为墙。所述快速凸包算法为Qhull库中的快速凸包算法。

在实际场景中，门是镶嵌在墙中的，而门所在平面与墙平面并非同一 平面，在垂直方向可能存在一定距离，且两平面都垂直于地面，因此可通 过NAPSAC算法分别将两平面提取出来。根据国际建筑条例(IBC— International Building Code)，门的最小宽度为81.3cm，高度最低不能低于 200cm，最高不能超过240cm。然而并非所有门都满足上述条例，尤其是许 多门都是双扇门，每扇门的宽度都不是81.3cm。因此将门的宽度的限制条 件设置为最小60cm，最大120cm，而高度的限制条件为200cm到240cm之 间。此外，按照上述识别分散的障碍物的方法，类似计算获得门、墙与用 户的距离和方向。

作为另一种实施方式，为了识别障碍物为楼梯，基于步骤S230，进一 步地，基于所述至少一个第二点云、所述地面平面方程及预设的检波器， 提取所述第二点云对应的多条边缘直线；若多条边缘直线不小于预定值， 识别所述用户所在环境的障碍物为楼梯的信息。

具体地，楼梯最显著的特征是具有一组互相平行的直线边缘，因此最 直观的识别方法就是在图像中检测出这些边缘，提取图像中的直线特征即 边缘检测与边缘提取，并且采用模式识别的结构方法按一定的规则进行识 别。将楼梯作为一种纹理进行检测。与纹理分割的目的不同，无需对图像 中出现的所有纹理进行分类,而只需对特定的楼梯模式的纹理设计一种相应 的检测器。该检测器应该具备两方面的功能：能够对楼梯模式给出较强的响应,以区别图像中是否存在楼梯；给出楼梯模式在图像中出现的大致位置, 用以粗略的对楼梯定位。基于以上要求，本实施例采用Gabor滤波器作为 检测算法来设计楼梯纹理检测器。所述预设的检波器为Gabor滤波器。

Gabor函数是由Gabor首先定义的，而后由Daugman将其扩展成2维 结构。在一般情况下，设定2维Gabor函数的纵横比为1，此时2维Gabor 函数可表示为：

h(x,y)＝g(x,y)exp[2πj(Ux+vVy)] (5)

公式(9)中，(U,V)表示特定的空间频率，g(x,y)为：

(5)和(6)可知，Gabor函数h(x,y)是一个被复正弦函数调制的高斯 函数，它是一个R²→C上的复值函数。h(x,y)的Fourier变换为：

H(u,v)＝exp{-2π²σ²[(u-U)²+(v-V)²]} (7)

进一步地，Gabor滤波器可以定义为：

m(x,y)＝O_h<i(x,y)>＝|i(x,y)*h(x,y)| (8)

(8)中，i(x,y)表示一幅图像，m(x,y)为Gabor滤波器的输出，*表示卷 积，||表示模运算。生物学研究表明，单纯的线性机制并不足以解释人类识 别纹理的过程。为了模拟人类认知纹理的机制，引入了非线性机制，式(8) 的模运算正是这种非线性机制的一种体现。

由公式(5)-(8)可知。若要确定一个Gabor滤波器，需要确定其频 率参数(U,V)和高斯函数σ。设定，

θ＝tan^-1(V/U)则H(u,v)可被解释 为形状为圆形，径向中心频率和方向角为F和θ(与u轴)的一种带通滤 波器。实际应用中，经常用F和θ代替(U,V)进行滤波器设计。

Gabor滤波器具有方向性。楼梯是一种水平条纹在垂直方向上重复排列 的纹理，因此将在垂直方向的Gabor滤波器上产生最大响应，同时在水平 方向的Gabor滤波器上产生最小响应，所以只需分别在垂直和水平方向上 用Gabor滤波器与图像卷积。通过选择同时满足θ＝0°和θ＝90°这两个条件 的区域即可确定图像中是否存在楼梯，以及楼梯在图像中的位置。

用V表示每一阶楼梯垂直平面的高度，H表示每一阶楼梯水平平面的 宽度。对于一般的楼梯而言都有V<H，这一性质在图像上表现为平行直线 之间距离的变化，即平行直线之间宽间距(H)与窄间距(V)依次交替出 现。直线间距在楼梯图像与其他干扰图像中的不同变化规律，可以用来作 为识别楼梯的另一个判据，将此判据称为“直线间距判据”。

楼梯识别的第一条判据是平行直线的数目。对边缘提取得到的直线进 行精简，仅保留一组主要的直线边缘。如果直线边缘的数量小于某一预定 值，则认为不是楼梯，如2阶楼梯应至少具有5条直线边缘。

作为另一种实施方式，为了识别障碍物为楼梯，基于步骤S230，进一 步地，基于所述至少一个第二点云、所述地面平面方程及预设的检波器， 提取所述第二点云对应的多条边缘直线；统计所述多条边缘直线中两两相 邻的直线间的距离，获得距离序列；基于所述距离序列及预设串生成规则， 生成串结构；若所述串结构满足预设条件，识别所述用户所在环境的障碍 物为楼梯的信息。

具体地，统计所述多条边缘直线中两两相邻的直线间的距离，获得距 离序列L:l₁,l₂,...,l_n，基于所述距离序列L:l₁,l₂,...,l_n及预设串生成规则，生 成串结构S，其中，所述预设串生成规则为：判断距离序列L:l₁,l₂,...,l_n的 前两个元素，若l₁<l₂，则S＝ab，若l₁>l₂，则S＝ba，从k＝3开始，直到 k＝n，依次判断l_k和l_k-1的大小，并按

生成串结构S。若串结 构s满足预设条件即串结构S具有a和b交替出现的形式S＝…abababab…，识别所述用户所在环境的障碍物为楼梯，如S＝abab。等间距的平行直线目 标，在图像上则形成S＝abbbb...b或S＝baaa...b的串结构，可以用非常简 单的字符串的匹配来实现串的识别以此达到对楼梯的识别。

为了更进一步地评估本发明实施例提供的障碍物识别方法在实际场景 中的检测效果，在本实施例中，在Visual Studio 2013平台上使用C++进行 编程实验。电子设备为计算机，其配置为i5 4200M(2.5Ghz)CPU，6G内 存。对三个常见室内环境进行了图像采集：办公室、走廊、楼道。总共采 集了212幅RGB-D图像，其中办公室92幅，走廊55幅，楼道65幅，包含多种室内常见障碍物。设置Kinect 2.0传感器离地高度为1m，倾斜角度 α＝20°，有效检测范围为前方1m到3.5m。NAPSAC算法中置信裕度η₀＝0.95， 最大迭代次数k_max＝100，距离阈值d＝4cm。NAPSAC算法中搜索半径r＝0.4m。 欧式聚类提取算法中距离阈值τ＝4cm，向上楼梯检测中W_N设为25cm，W_tol为 10cm，向下楼梯设置H_N设为20cm，H_tol为10cm。判断向量平行或垂直的夹 角阈值T_θ＝15°。

本发明实施例提供的一种障碍物识别方法，应用于电子设备，所述电 子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所述处理器电 连接，所述方法包括：所述处理器获取所述RGB-D传感器采集的用户所在 环境的RGB-D信息；获取所述RGB-D信息对应的点云，所述点云包括第 一点云，所述第一点云表征所述用户所在环境的地面的物理特征；基于所 述第一点云及NAPSAC算法，提取所述地面的平面方程；所述点云还包括 至少一个第二点云，基于所述至少一个第二点云及所述地面平面方程，识 别所述用户所在环境的障碍物的信息；其中，所述第二点云表征用户所在 环境的障碍物的物理特征。从而识别障碍物的信息，更详细，更高效，提 升用户体验。

请参阅图4，本发明实施例提供了一种障碍物识别装置300，运行于电 子设备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器 与所述处理器电连接。所述装置300可以包括：第一获取单元310、第二获 取单元320、提取单元330和识别单元340。

第一获取单元310，用于获取所述RGB-D传感器采集的用户所在环境 的RGB-D信息。

第二获取单元320，用于获取所述RGB-D信息对应的点云，所述点云 包括第一点云，所述第一点云表征所述用户所在环境的地面的物理特征。

作为一种实施方式，所述第二获取单元320可以包括第二获取子单元321。

第二获取子单元321，用于基于所述RGB-D信息，建立以所述RGB-D 传感器的中心点为原点的第一三维坐标系；基于预设的旋转平移规则，将 所述第一三维坐标系转换为第二三维坐标系，获取所述RGB-D信息对应的 在所述第二三维坐标中的待处理点云；对所述待处理点云进行滤波处理， 获得所述RGB-D信息对应的点云。

提取单元330，用于基于所述第一点云及NAPSAC算法，提取所述地 面的平面方程。

作为一种实施方式，所述提取单元330可以包括提取子单元331。

所述提取子单元331，用于利用NAPSAC算法，输入：u,η₀,k_max,t；初始 化多个可信参数k＝0,k′_max＝k_max,n_max＝0,N＝|u|；从所述第一点云u中随机获取一个 定点o，再建立以所述定点o为球心，以预设长度r为半径的球体；判断所 述第一点云中的数据点在所述球体内的个数是否小于第一预设阈值，若否， 从所述球体内均匀地获取第一预设常数个数据点，组成最小子集；基于所 述最小子集及预设的地面平面模型，计算获得地面平面模型的参数 θ_k(a_k,b_k,c_k,d_k)，以获得待更新的地面的平面方程；计算所述第一点云中的所 有数据点分别到所述待更新的地面的平面方程的距离D，若距离D不大于预 设局内点阈值t则认为该数据点为局内点，获得局内点集合I_k，所述局内点 集合I_k包括n_k个数据点；设定k＝k+1，基于以上操作，直到不满足 k<k_max||k<k′_max，基于最小二乘法及更新后的局内点集合I^*，计算获得更新后 的地面平面模型的参数θ^*(a^*,b^*,c^*,d^*)，输出更新后的局内点集合I^*和更新后的 地面平面模型的参数θ^*(a^*,b^*,c^*,d^*)，以提取所述地面的平面方程。

所述提取子单元331，还用于获取一个向量

判断所述平面法向量

与所述向量

的夹角是否在预设角度范围内。

识别单元340，用于所述点云还包括至少一个第二点云，基于所述至少 一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信 息；其中，所述第二点云表征用户所在环境的障碍物的物理特征。

所述识别单元340可以包括第一识别子单元341。

第一识别子单元341，用于根据欧式聚类提取方法及所述地面平面方程 对所述至少一个第二点云的所有数据点进行聚类提取，获得多个聚类集群， 以识别所述用户所在环境的多个障碍物；基于所述多个障碍物及轴对齐包 围盒方法，获得所述多个障碍物各自对应的尺寸；基于所述多个障碍物及 预设的距离计算规则，获得每个障碍物相对于用户的距离。

所述识别单元340还可以包括第二识别子单元342。

所述第二识别子单元342，用于基于所述至少一个第二点云、所述地面 平面方程及NAPSAC算法，获取与所述地面垂直的多个平面；基于快速凸 包算法及所述多个平面，获得所述多个平面各自的凸包点，并计算获得所 述多个平面各自的宽度和高度；对比所述多个平面各自的宽度和高度是否 满足门的限制条件，若满足，识别所述用户所在环境的障碍物为门的信息， 剩下的平面为墙。

所述识别单元340还可以包括第三识别子单元343。

第三识别子单元343，用于基于所述至少一个第二点云、所述地面平面 方程及预设的检波器，提取所述第二点云对应的多条边缘直线；若多条边 缘直线不小于预定值，识别所述用户所在环境的障碍物为楼梯的信息。

所述识别单元340还可以包括第四识别子单元344。

第四识别子单元344，用于基于所述至少一个第二点云、所述地面平面 方程及预设的检波器，提取所述第二点云对应的多条边缘直线；统计所述 多条边缘直线中两两相邻的直线间的距离，获得距离序列；基于所述距离 序列及预设串生成规则，生成串结构；若所述串结构满足预设条件，识别 所述用户所在环境的障碍物为楼梯的信息。

以上各单元可以是由软件代码实现，此时，上述的各单元可存储于存 储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。

本发明实施例提供的障碍物识别装置300，其实现原理及产生的技术效 果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可 参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法， 也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的， 例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方 法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流 程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所 述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指设定。也应当注意，在有些作为替换的实现方式中，方框中所 标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的 方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这 依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以 及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用 的基于硬件的系统来实现，或者可以用专用硬件与计算机指设定的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个 独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集 成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指设定用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分 步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中， 诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个 实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任 何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其 他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、 物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素， 或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更 多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括 所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似 项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对 其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可 轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语 “包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使 得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品 或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……” 限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还 存在另外的相同要素。

Claims (9)

1.一种障碍物识别方法，其特征在于，应用于电子设备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所述处理器电连接，所述方法包括：

所述处理器获取所述RGB-D传感器采集的用户所在环境的RGB-D信息；

获取所述RGB-D信息对应的点云，所述点云包括第一点云，所述第一点云表征所述用户所在环境的地面的物理特征；

基于所述第一点云及NAPSAC算法，提取所述地面的平面方程；

所述点云还包括至少一个第二点云，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息；其中，所述第二点云表征用户所在环境的障碍物的物理特征；

所述基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，包括：

根据欧式聚类提取方法及所述地面平面方程对所述至少一个第二点云的所有数据点进行聚类提取，获得多个聚类集群，以识别所述用户所在环境的多个障碍物；

基于所述多个障碍物及轴对齐包围盒方法，获得所述多个障碍物各自对应的尺寸；

其中，获得所述多个障碍物各自对应的尺寸包括以下步骤：遍历第二点云中所有数据点，获得x,y,z各方向上的最大值、最小值，组成两个重要顶点(x_min,y_min,z_min)和(x_max,y_max,z_max)，得到唯一定义的一个包围盒；

基于所述多个障碍物及预设的距离计算规则，获得每个障碍物相对于用户的距离；

其中，获得每个障碍物相对于用户的距离包括以下步骤：第二点云所在第二三维坐标系的z_w轴正方向为正前方，利用以下公式计算获得障碍物对应的第二点云的中心点P_ct(x_ct,y_ct,z_ct)：

其中，P_i(x_i,y_i,c_i)为第二点云中的第i点，n为第二点云的大小，可以得出P_ct在xz平面的投影点P′_ct(x_ct,0,z_ct)，O为坐标原点，障碍物到用户的距离大小为向量

的模；

为所述预设的距离计算规则。

2.根据权利要求1所述的方法，其特征在于，获取所述RGB-D信息对应的点云，包括：

基于所述RGB-D信息，建立以所述RGB-D传感器的中心点为原点的第一三维坐标系；

基于预设的旋转平移规则，将所述第一三维坐标系转换为第二三维坐标系，获取所述RGB-D信息对应的在所述第二三维坐标中的待处理点云；

对所述待处理点云进行滤波处理，获得所述RGB-D信息对应的点云。

3.根据权利要求1所述的方法，其特征在于，基于所述第一点云及NAPSAC算法，提取所述地面的平面方程，包括：

利用NAPSAC算法，输入：u,η₀,k_max,t；初始化多个可信参数k＝0,k′_max＝k_max,n_max＝0,N＝|u|；

从所述第一点云u中随机获取一个定点o，再建立以所述定点o为球心，以预设长度r为半径的球体；

判断所述第一点云中的数据点在所述球体内的个数是否小于第一预设阈值，若否，从所述球体内均匀地获取第一预设常数个数据点，组成最小子集；

基于所述最小子集及预设的地面平面模型，计算获得地面平面模型的参数θ_k(a_k,b_k,c_k,d_k)，以获得待更新的地面的平面方程；

计算所述第一点云中的所有数据点分别到所述待更新的地面的平面方程的距离D，若距离D不大于预设局内点阈值t则认为该数据点为局内点，获得局内点集合I_k，所述局内点集合I_k包括n_k个数据点；

设定k＝k+1，基于以上操作，直到不满足k<k_max||k<k′_max，基于最小二乘法及更新后的局内点集合I^*，计算获得更新后的地面平面模型的参数θ^*(a^*,b^*,c^*,d^*)，输出更新后的局内点集合I^*和更新后的地面平面模型的参数θ^*(a^*,b^*,c^*,d^*)，以提取所述地面的平面方程。

4.根据权利要求3所述的方法，其特征在于，所述待更新的地面的平面方程对应的平面法向量为

计算所述第一点云中的所有数据点分别到所述待更新的地面的平面方程的距离D，若距离D不大于预设局内点阈值t则认为该数据点为局内点，获得局内点集合I_k，所述局内点集合I_k包括n_k个数据点之前，所述方法还包括：

获取一个向量

判断所述平面法向量

与所述向量

的夹角是否在预设角度范围内。

5.根据权利要求1所述的方法，其特征在于，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，还包括：

基于所述至少一个第二点云、所述地面平面方程及NAPSAC算法，获取与所述地面垂直的多个平面；

基于快速凸包算法及所述多个平面，获得所述多个平面各自的凸包点，并计算获得所述多个平面各自的宽度和高度；

对比所述多个平面各自的宽度和高度是否满足门的限制条件，若满足，识别所述用户所在环境的障碍物为门的信息，剩下的平面为墙。

6.根据权利要求1所述的方法，其特征在于，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，还包括：

基于所述至少一个第二点云、所述地面平面方程及预设的检波器，提取所述第二点云对应的多条边缘直线；

若多条边缘直线不小于预定值，识别所述用户所在环境的障碍物为楼梯的信息。

7.根据权利要求1所述的方法，其特征在于，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，还包括：

基于所述至少一个第二点云、所述地面平面方程及预设的检波器，提取所述第二点云对应的多条边缘直线；

统计所述多条边缘直线中两两相邻的直线间的距离，获得距离序列；

基于所述距离序列及预设串生成规则，生成串结构；

若所述串结构满足预设条件，识别所述用户所在环境的障碍物为楼梯的信息。

8.一种障碍物识别装置，其特征在于，运行于电子设备，所述电子设备包括RGB-D传感器和处理器，所述RGB-D传感器与所述处理器电连接，所述装置包括：

第一获取单元，用于获取所述RGB-D传感器采集的用户所在环境的RGB-D信息；

第二获取单元，用于获取所述RGB-D信息对应的点云，所述点云包括第一点云，所述第一点云表征所述用户所在环境的地面的物理特征；

提取单元，用于基于所述第一点云及NAPSAC算法，提取所述地面的平面方程；

识别单元，用于所述点云还包括至少一个第二点云，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息；其中，所述第二点云表征用户所在环境的障碍物的物理特征；

所述基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，包括：

根据欧式聚类提取方法及所述地面平面方程对所述至少一个第二点云的所有数据点进行聚类提取，获得多个聚类集群，以识别所述用户所在环境的多个障碍物；

基于所述多个障碍物及轴对齐包围盒方法，获得所述多个障碍物各自对应的尺寸；

其中，获得所述多个障碍物各自对应的尺寸包括以下步骤：遍历第二点云中所有数据点，获得x,y,z各方向上的最大值、最小值，组成两个重要顶点(x_min,y_min,z_min)和(x_max,y_max,z_max)，得到唯一定义的一个包围盒；

基于所述多个障碍物及预设的距离计算规则，获得每个障碍物相对于用户的距离；

其中，获得每个障碍物相对于用户的距离包括以下步骤：第二点云所在第二三维坐标系的z_w轴正方向为正前方，利用以下公式计算获得障碍物对应的第二点云的中心点P_ct(x_ct,y_ct,z_ct)：

其中，P_i(x_i,y_i,c_i)为第二点云中的第i点，n为第二点云的大小，可以得出P_ct在xz平面的投影点P′_ct(x_ct,0,z_ct)，O为坐标原点，障碍物到用户的距离大小为向量

的模；

为所述预设的距离计算规则。

9.一种电子设备，其特征在于，所述电子设备包括RGB-D传感器、处理器和存储器，所述RGB-D传感器、所述存储器均与所述处理器电连接；

所述存储器用于存储程序；

所述RGB-D传感器，用于采集用户所在环境的RGB-D信息；

所述处理器，用于调用存储在所述存储器中的程序，执行：

获取所述RGB-D传感器采集的用户所在环境的RGB-D信息；

获取所述RGB-D信息对应的点云，所述点云包括第一点云，所述第一点云表征所述用户所在环境的地面的物理特征；

基于所述第一点云及NAPSAC算法，提取所述地面的平面方程；

所述点云还包括至少一个第二点云，基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息；其中，所述第二点云表征用户所在环境的障碍物的物理特征；

所述基于所述至少一个第二点云及所述地面平面方程，识别所述用户所在环境的障碍物的信息，包括：

根据欧式聚类提取方法及所述地面平面方程对所述至少一个第二点云的所有数据点进行聚类提取，获得多个聚类集群，以识别所述用户所在环境的多个障碍物；

基于所述多个障碍物及轴对齐包围盒方法，获得所述多个障碍物各自对应的尺寸；

其中，获得所述多个障碍物各自对应的尺寸包括以下步骤：遍历第二点云中所有数据点，获得x,y,z各方向上的最大值、最小值，组成两个重要顶点(x_min,y_min,z_min)和(x_max,y_max,z_max)，得到唯一定义的一个包围盒；

基于所述多个障碍物及预设的距离计算规则，获得每个障碍物相对于用户的距离；

其中，获得每个障碍物相对于用户的距离包括以下步骤：第二点云所在第二三维坐标系的z_w轴正方向为正前方，利用以下公式计算获得障碍物对应的第二点云的中心点P_ct(x_ct,y_ct,z_ct)：

其中，P_i(x_i,y_i,c_i)为第二点云中的第i点，n为第二点云的大小，可以得出P_ct在xz平面的投影点P′_ct(x_ct,0,z_ct)，O为坐标原点，障碍物到用户的距离大小为向量

的模；

为所述预设的距离计算规则。

Images