CN103455144B - 车载人机交互系统及方法 - Google Patents

Abstract

本发明提供一种车载人机交互系统，包括：前视双目摄像头与激光雷达，对车外信息进行采集；下视双目摄像头，对车主的手势进行采集；存储器，存储车主的指定手势或手势运动轨迹及对应的操作；处理器，对所述前视双目摄像头与激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还根据所述存储器对下视双目摄像头所采集的手势进行识别，并当识别到指定手势或手势运动轨迹后通知执行模块执行所对应的操作；执行模块，以声光电之一者或结合给出提醒信息、以及执行手势对应操作。还提供了一种车载系统的人机交互方法。通过本系统及方法，对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。

Description

车载人机交互系统及方法

技术领域

本发明涉及一种车载系统，尤其涉及一种车载人机交互系统及方法。

背景技术

由于车辆越来越多，且交通规则越来越严苛，而忙碌的工作和生活导致车主在驾驶时由于疲劳或视觉死角等问题，导致违章，甚至交通惨剧的发生。因此，就需要车载系统能为车主提供更多的人性化设计。

发明内容

本发明针对此问题，提供了一种车载人机交互系统及方法，可以对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。

本发明的车载人机交互系统，包括：前视双目摄像头，用于对车外信息进行采集；激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集；下视双目摄像头，用于对车主的手势进行采集；存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作；处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还用于结合对车主手势的采集通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作；执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。

优选地，系统的一部分集成或粘贴或卡扣在后视镜上。

优选地，所述前视双目摄像头，拼接后形成的可视广角范围在150-170度之间。

优选地，所述激光雷达所形成第一道激光面与地面平行高度400mm～500mm，第二道激光面与第一道激光面成1～2度的仰角。

优选地，所述前视双目摄像头与所述激光雷达用于对在不安全距离内的行人与汽车进行监视。

本发明的车载系统的人机交互方法，用于对车外与车内的视觉信息进行识别并提供安全提醒或辅助操作，执行所述方法的系统包括：前视双目摄像头、激光雷达、下视双目摄像头、存储器、处理器；所述方法包括：

1）对车外：将所述前视双目摄像头的坐标与所述激光雷达所获得的坐标进行联合标定；将所述激光雷达的图像数据聚类，去除噪点；通过算法检测聚类后的图像中的行人和汽车，并将检测结果的区域标记感兴趣区域；双目摄像头在感兴趣区域内通过算法检测行人和汽车，并对其运动轨迹做出预判，以提醒驾驶员；

2）对车内：所述下视双目摄像头获得手势信息，由所述处理器通过三维重建确定手指位置，并根据指定手势或手势运动轨迹发出相应指令。

优选地，所述坐标联合标定包括如下步骤：所述激光雷达进行激光束扫描，并将获得的极坐标转换到直角坐标系中；所述前视双目摄像头获得内参数矩阵与外参数矩阵；将车的位置设为世界坐标的原点，通过旋转矩阵和平移向量将所述参数矩阵与所述直角坐标系进行转换，并获得三维的所述世界坐标。

优选地，所述图形数据聚类包括如下步骤：通过划分规则，将空间点集划分为多个子集雷达数据点；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中。

优选地，所述下视双目摄像头确定手指位置的步骤包括：所述下视双目摄像头的获取手指区域的重叠部分；所述处理器在手指区域的重叠部分中确定唯一的椭圆形；所述处理器通过所述双目摄像头的光心计算所述椭圆形的中心；根据所述重叠部分、切线、下视双目摄像头光心、及椭圆形的中心在三维空间中唯一确定手指的横截面的几何图形。

本发明的车载人机交互系统及方法，通过前视双目摄像头与激光雷达，对车外状况进行监视并进行安全提示，还通过下视双目摄像头接受车内驾驶人的手势控制，提供更加人性化服务。

附图说明

图1是本发明中车载人机交互系统的结构框图。

图2是本发明中车载系统的人机交互方法种车外激光雷达探测模拟图。

图3是本发明中车载人机中摄像头与后视镜的安装位置的示例图。

图4是本发明中与后视镜卡扣部分的实物示例图。

图5是本发明中实现车外信息安全提醒的工作流程图。

图6是本发明中激光雷达的激光束的扫描方式及坐标系的形成示意图。

图7是本发明中激光雷达的聚类示例图。

图8是本发明中车辆聚类点示例图。

图9是本发明中行人聚类点示例图。

图10是双目摄像头的工作原理图。

图11本发明中获取与识别手指横截面的步骤。

图12是本发明中获取与识别手指横截面的过程演示图。

具体实施方式

【人机交互系统的结构框图及部分实体示例图】

如图1所示，为一种车载人机交互系统10的结构框图。该系统10的一部分集成或粘贴或卡扣在后视镜上。车载人机交互系统10主要包括：前视双目摄像头11、激光雷达12、下视双目摄像头13、存储器14、处理器15以及执行模块16。

其中，前视双目摄像头11与激光雷达12用于采集车外信息，主要是对在不安全距离内的行人与汽车进行监视。此处，不安全距离是指在此距离内进行刹车、转弯等变化相对不充裕的距离，该不安全距离可以根据车速信息进行实时计算，也可以根据通常情况进行日常监视。通常情况下不安全距离小于50米。

前视双目摄像头11安装后位于后视镜背面位置，通过双目拼接形成的可视广角范围在150-170度之间，较佳为160度。安装方便且视角广阔。

且，存储器14还可以保存前视双目摄像头11拼接后的图像结果，亦可作为超广角的行车记录仪使用。

激光雷达12安装于车前，激光雷达12所形成第一道激光面与地面平行高度400mm～500mm，第二道激光面与第一道激光面成1～2度的仰角。结合图2的激光雷达12探测模拟图，通过实践可知，此仰角与激光面的设置方便扫描到50m以内人的膝盖以上的部位及普通车的部分侧面轮廓，即能对不安全距离内出现的行人与车辆进行探测。当然，此处的仰角、高度略微调整也应在本发明的精髓之内。

下视双目摄像头13用于对车主的手势进行采集，结合图3的安装位置示意图与图4与后视镜21卡扣部分的示例图。以卡扣为例安装在后视镜21上，前视双目摄像头11方便通过前挡风玻璃22采集信息。此位置的好处是系统的集成度较高，可以将前视双目摄像头11与下视双目摄像头13等具信息采集功能的模块集成在一起。在其他实施方式中，亦可将下视双目摄像头13集成或安装于车内的任意方便观察车主手势的位置。

存储器14用于存储车主的指定手势或手势运动轨迹及对应的操作。比如，在车内设备控制界面，两指画圆手势为开启车内空调等。

处理器15用于对前视双目摄像头11与激光雷达12所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒；还用于结合下视双目摄像头13对车主手势的采集通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块16执行存储器14中所对应的操作。

目前采用的是TI的TMS320DM8168开发平台，提供处理器15的处理与执行功能，作为视频图像处理的中心、人机交互的主体。其他具有同等能力及更高级能力的平台或其他处理器亦可。

执行模块16用于给出安全提醒信息、以及执行手势对应操作。其中包含提醒模块160，以声光电之一者或结合给出安全提醒，例如警报声或语音提示。

【双目摄像头工作原理简介】

请参阅图10，此处简单介绍下双目摄像头的工作原理，为文中前视或下视双目摄像头中出现的改进的地方提供支持。

双目摄像头获取图像序列，并对图像进行分割，对特征点进行提取，并对特征点进行匹配，再通过摄像机自标定方法计算出摄像机矩阵，联合匹配数据计算出空间点的三维坐标。

【车外信息安全提醒的实现方法】

请参阅图5，所示为实现车外信息安全提醒的工作流程。

在步骤S501中，将前视双目摄像头的坐标与激光雷达的坐标进行联合标定。

在步骤S502中，将激光雷达的图像数据聚类，去除噪点。

在步骤S503中，通过算法检测聚类后的图像中的行人和汽车并将检测结果的区域标记感兴趣区域；

在步骤S504中，双目摄像头在感兴趣区域内通过算法检测行人和汽车，并对其运动轨迹做出预判，输出执行，以提醒驾驶员。

下面具体对各步骤中的具体流程进行说明：

一、前视双目摄像头和激光雷达的坐标联合标定

利用激光雷达和前视双目摄像头联合标定的方法对行人及车辆进行检测、标定，得到两个坐标系之间的透视变换关系，并可通过激光雷达返回距离信息和汽车当前的速度信息检测或推测目标的速度。

请参阅图6，所示为激光雷达的激光束的扫描方式及坐标系的形成示意图。激光雷达能够较准确的将周围环境中的障碍物探测出来，并由处理器将极坐标(r,θ)变换到直角坐标系(x,y)中，方便处理。图6中，已将激光束扫描所获得的点云数据的极坐标转化成直角坐标。其中点云数据是激光雷达通过激光点快速旋转扫描形成，通过数据配准而形成极坐标的形式。

这里第二道激光面的有向上1～2度的仰角是为了在50m左右的距离内可以多道激光检测以提高反射精度降低误检率。由于第二道激光面的仰角α已知，激光雷达反射距离d已知，则转换到世界坐标系下车与物体的距离D为：D=d*cosα，以转换到世界坐标系下。其中描述现实场景中摄像机或任意物体位置的坐标系称为世界坐标系，世界坐标系也由三个方向轴组成，X、Y、Z。通过旋转矩阵和平移向量可以对世界坐标系和摄像机坐标系进行转换。对检测物体做统一的标注。

前视双目摄像头通过内参数矩阵和外参数矩阵来确定其与世界坐标的关系。这里将车的位置设为世界坐标的原点，激光雷达和双目摄像头都安装在车上，并分别与世界坐标标定从而实现激光雷达和双目摄像头的联合标定。

二、将检检测点聚类：

由于激光的激光面扫描频率约为37.5Hz，即相邻两帧间距离为0.026s。所以有效数据中通过照射到同一物体的相邻几帧激光雷达束之间的距离相似，角度也相似。

请参阅图7所示的激光雷达的聚类示例图，通过划分规则，将空间点集划分为多个子集雷达数据点，使每个子集中的点在划分规则下是相似的；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中。

在图7中，以得到4个聚类为例，其中每个聚类都可能是车辆或行人等障碍物，待后面继续分析。

三、在感兴趣区域内搜索车辆和行人的特征

利用透视变换将聚类投影到图像上得到感兴趣区域，利用车辆形状对聚类的图像判定和点云分析等算法将更加接近车辆和行人模型的聚类作为兴趣区域。前视双目摄像头再根据感兴趣区域结合视觉算法进行检测跟踪。

1.车辆的一般特征

前视双目摄像头结合实施反馈的激光雷达信号，利用全局特征的方法，如车的阴影，车的对称性，车的纹理、角点特征等进一步对车辆进行检测跟踪，降低车辆的误检率。

请参阅图8，其中车辆的聚类点一般分为“L”型，“I”型和“U”型。

2.行人的一般特征

①聚类点的宽度在200mm～800mm（第二道激光雷达的高度大约在人的大腿至上半身之间形成一个200mm～800mm左右的聚类图形）

②形如图9，两个聚类点a、b之间的距离在800mm之内，（由于扫射的高度在500mm处和500mm至1.5m处。500mm左右为膝盖的位置。如看到的就是两个形如a、b的聚类点，且其距离在800mm之内。可以基本判定为一个物体。同理c、d为一个物体）加上第二道激光面数据的判断以进一步判断哪些聚类点为一个物体。

③通过汽车的速度计算物体的移动速度，人正常的移动速度在10km/s以下将满足以上特征的聚类点作为感兴趣区域，再通过行人特征和分类器等图像计算的方法结合激光雷达连续的图像反馈来进行进一步检测跟踪。如果检测到是一群人或者无法剔除的噪点的时候也将其设为感兴趣区域，以避免漏检的情况。

四、输出执行

最终将对行人和车辆的分析结果在图像上标记出来，进行安全警示，甚至在紧急的时刻主动干预刹车，避免交通事故的产生。

【车内手势识别的实现方法】

请参阅图10，所示为双目摄像头的工作原理图，此处，下视摄像头的主要发明点在于特征点匹配后的图像通过本文所述的方法确定手指的位置，即，在手势识别过程中，对手指横截面信息的捕获算法，故，此处仅对该步骤进行描述。

请参阅图11，所示为获取与识别手指横截面的步骤。同时参阅图12，所示为获取与识别手指横截面的过程演示图。

S101中，下视双目摄像头的获取手指区域的重叠部分，大致是四边形。结合图12，手指出现在3维相机的重叠部分，左边摄像头看到手指的区域与右边摄像头看到的手指区域的重叠部分刚好是一个四边形A。

在步骤S102中，处理器在手指区域的重叠部分的四边形中模拟得到2个相切的椭圆，由于已知椭圆形的长轴不大于短轴长度的2倍，因此，可确定唯一的椭圆，排除C，如B所示。

在步骤S103中，处理器通过双目摄像头光心计算椭圆形的中心。

具体而言，参照图12，通过双目摄像头之a找到切点c与切点i，通过双目摄像头b找到切点d和切点h，确定四个切点c、i、h、d的相应坐标，由此，通过构建ci与hd两条直线方程我们就能求出其交点o的坐标位置，这里我们近似的认为o为椭圆的中心，即手指的坐标。需要说明的是这点并不是椭圆数学概念中的实际中心，只是近似可以看成椭圆的中心，这种方式计算量小，求解较方便，且可以达到确定大致位置的目的。

在步骤S104中，根据所述重叠部分、切线及椭圆形的中心，就可以在三维空间中唯一确定手指的横截面的几何图形。

通过这种原理就可以获取手指的信息，从而实现本文中手势识别与控制的目的。

实现功能：

①前视双目摄像头通过双目拼接及视频算法实现道路行人检测提醒及辅助刹车、变线超车状态提醒、将要经过路口提醒、车辆跟踪、自动泊车等功能。

②前视双目摄像头能保存实时保存拼接后的图像结果，亦可作为超广角的行车记录仪使用。

③装在后视镜下方的下视双目摄像头近距离捕捉手部图像，通过上述算法快速准确计算出手指的三维空间信息，发出相应的控制指令。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种车载人机交互系统，其特征在于，所述车载人机交互系统包括：

前视双目摄像头，用于对车外信息进行采集；

激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集；

下视双目摄像头，用于对车主的手势进行采集；

存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作；

处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，将前视双目摄像头的坐标与所述激光雷达所获得的坐标进行联合标定，

所述坐标联合标定包括如下步骤：所述激光雷达进行激光束扫描，并将获得的极坐标转换到直角坐标系中；所述前视双目摄像头获得内参数矩阵与外参数矩阵；将车的位置设为世界坐标的原点，通过旋转矩阵和平移向量将所述参数矩阵与所述直角坐标系进行转换，并获得三维的所述世界坐标；

将所述激光雷达的图像数据聚类，所述激光雷达图像数据的聚类包括：通过划分规则，将空间点集划分为多个子集雷达数据点，使每个子集中的点在划分规则下是相似的；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中；

通过算法检测聚类后的图像中的行人和汽车，并将检测结果的区域标记感兴趣区域；具体为利用透视变换将聚类投影到图像上得到感兴趣区域，利用车辆形状对聚类的图像判定和点云分析算法将更加接近车辆和行人模型的聚类作为兴趣区域；前视双目摄像头再根据感兴趣区域结合视觉算法进行检测跟踪；

通过行人特征和分类器图像计算的方法结合激光雷达连续的图像反馈来进行进一步检测跟踪；如果检测到是一群人或者无法剔除的噪点的时候也将其设为感兴趣区域；

还用于结合对车主手势的采集，通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作；

执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。

2.如权利要求1所述的车载人机交互系统，其特征在于，系统的一部分集成或粘贴或卡扣在后视镜上。

3.如权利要求1所述的车载人机交互系统，其特征在于，所述前视双目摄像头，拼接后形成的可视广角范围在150-170度之间。

4.如权利要求1所述的车载人机交互系统，其特征在于，所述激光雷达所形成第一道激光面与地面平行高度400mm～500mm，第二道激光面与第一道激光面成1～2度的仰角。

5.如权利要求1所述的车载人机交互系统，其特征在于，所述前视双目摄像头与所述激光雷达用于对在不安全距离内的行人与汽车进行监视。

6.一种车载系统的人机交互方法，用于对车外与车内的视觉信息进行识别并提供安全提醒或辅助操作，执行所述方法的系统包括：前视双目摄像头、激光雷达、下视双目摄像头、存储器、处理器；其特征在于，所述方法包括：

1)对车外：

将所述前视双目摄像头的坐标与所述激光雷达所获得的坐标进行联合标定；所述坐标联合标定包括如下步骤：

所述激光雷达进行激光束扫描，并将获得的极坐标转换到直角坐标系中；

所述前视双目摄像头获得内参数矩阵与外参数矩阵；

将车的位置设为世界坐标的原点，通过旋转矩阵和平移向量将所述参数矩阵与所述直角坐标系进行转换，并获得三维的所述世界坐标；

将所述激光雷达的图像数据聚类，去除噪点；所述激光雷达图像数据的聚类包括：通过划分规则，将空间点集划分为多个子集雷达数据点，使每个子集中的点在划分规则下是相似的；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中；

通过算法检测聚类后的图像中的行人和汽车，并将检测结果的区域标记感兴趣区域；具体为利用透视变换将聚类投影到图像上得到感兴趣区域，利用车辆形状对聚类的图像判定和点云分析算法将更加接近车辆和行人模型的聚类作为兴趣区域；前视双目摄像头再根据感兴趣区域结合视觉算法进行检测跟踪；

通过行人特征和分类器图像计算的方法结合激光雷达连续的图像反馈来进行进一步检测跟踪；如果检测到是一群人或者无法剔除的噪点的时候也将其设为感兴趣区域；

双目摄像头在感兴趣区域内通过算法检测行人和汽车，并对其运动轨迹做出预判，以提醒驾驶员；

2)对车内：

所述下视双目摄像头获得手势信息，由所述处理器通过三维重建确定手指位置，并根据指定手势或手势运动轨迹发出相应指令。

7.如权利要求6所述的车载系统的人机交互方法，其特征在于，所述下视双目摄像头确定手指位置的步骤包括：

所述下视双目摄像头的获取手指区域的重叠部分；

所述处理器在手指区域的重叠部分中确定唯一的椭圆形；

所述处理器通过所述双目摄像头光心的位置关系计算所述椭圆形的中心；

根据所述重叠部分、切线、下视双目摄像头光心、及椭圆形的中心在三维空间中唯一确定手指的横截面的几何图形。