CN109345542A - 一种穿戴式视觉注视目标定位装置及方法 - Google Patents

Abstract

本发明涉及一种穿戴式视觉注视目标定位装置及方法，硬件部分包括肩背支撑架、转轴及角度传感器、颈部转动卡环、视觉传感器、微处理器，用于数据接收和处理，将装置安置在受试者身上，首先得到头颈位置的角度方位，得到了视觉注视方向，利用颈部转动卡环将视觉传感器与视觉朝向同步，使得视觉传感器与人正视方向保持同步，利用二维机器视觉定位技术和深度信息确定目标物在注视视野中的空间位置，经坐标变换和视觉注视方位信息融合获取被注视目标物的位置信息，然后将三维信息进行坐标转换到需要的应用坐标。本装置可以用于实现人机混合的视觉主动选择目标并确定其相对于身体的空间坐标位置。

Description

一种穿戴式视觉注视目标定位装置及方法

技术领域

本发明属于注视目标的三维定位识别领域，涉及一种穿戴式视觉注视目标定位装置及方法。

背景技术

视场的三维扩展，在机器定位中三维定位目前属于研究的热门部分，机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制，技术最大的特点是速度快、信息量大、功能多。机器视觉的研究是从20世纪60年代中期美国学者L.R.罗伯兹关于理解多面体组成的积木世界研究开始的。在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40％-50％都集中在半导体行业。而在中国，视觉技术的应用开始于90年代，因为行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致很多行业的应用几乎空白。

日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，实现了对运动方式未知的目标的自适应跟踪。华盛顿大学与微软公司合作为火星卫星“探测者”号研制的宽基线立体视觉系统，使其可以在火星对其即将跨越的几千米内的地形进行精确的定位导航。东南大学电子工程系基于双目视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可进行非接触精密测量。哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。火星863计划课题“人体三维尺寸的非接触测量”，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可以根据需要获取人体图像上任意一点的三维坐标。

在国内专利在机器视觉三维定位方面仅仅有两篇可以参考，牛晓芳提供了一种应用于机器视觉的球型体三维定位方法(专利公开号CN102252661A)，该方法只需预先标定好一个摄像机内外参数，图像处理也仅需要识别圆，另外朱金辉等提供了一种基于机器视觉的三维定位装置(专利公开号CN103886575A)，该方法同样单纯的做三维定位识别，未做到人机混合，而在人眼意图识别的专利方面：刘倩提出了一种眼动检测跟踪方法、装置及其用途(专利公开号CN105677024A)，捕获可能包含眼球的连续图像序列；在所述图像序列的成像图片中检测定位候选眼球目标矩形；去除非眼球定位并得到跟踪的眼球目标矩形；曾雪骢提出了基于眼动的视觉训练系统、智能终端及头戴设备(CN107028738A)，这种基于眼动的视觉训练方法利用眼动技术监测眼球的注视方向，结合用户眼睛的注视点和眼睛的标准屈光度来获得变焦镜片的最佳屈光度，然后相应地调节变焦镜片的屈光度，目的是让用户在观看电子影像时，睫状肌尽量处于放松的状态。国外的瑞典人Hakan Lans提出了Bringing Bull′s Eye Precision to the Skies在准确性和可靠性方面，这些系统代表了雷达上的技术飞跃，这是改变了船舶和空中交通管制所使用的传统方法，使用于交通方向；德国人Jens Frahm提出了a computer is then ableto create an accurate，three-dimensional map of the eye′s visual system，irregularities included.(专利公开号为EP0191431，EP2699926，EP2550541)使用多镜头多层算法实现三维眼睛的视觉系统图，；美国人Liu；Kuo-Chi提供了Wireless power transfer system having positioningfunction and positioning device and method there for(Family ID：56368205)具有定位功能的全文无线电力传输系统和定位装置及其方法，利用感应电压的信号来转换成定位信号，对传输电压得出更优的建议。查阅的文献包括《红外头盔式眼动仪的瞳孔中心定位算法》，《托架式眼动仪的设计及算法研究》，眼动仪用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究，的确实现了人体意图识别，但是结构和算法复杂，包括光学系统，瞳孔中心坐标提取系统，视景与瞳孔坐标迭加系统和图像与数据的记录分析系统，并且几万美元的价格显得成本昂贵，而《基于深度相机的场景物体定位与抓取研究》，《基于深度相机的场景物体定位与抓取研究》，《基于三维机器视觉的机器人定位技术研究》这些文章都是机器视觉的研究，机器视觉，主要侧重对量的分析，比如通过视觉去测量一个零件的直径，对准确度要求很高。更多用于工业的流水线的工作，在三维定位领域主要应用于工业目标，基本未涉及到人体意图识别。

国外的专利以航空地域定位为多，研究更多的新型的定位信息。国内外文献主要是以提高精度和减小镜头误差为主的研究。目前三维坐标定位的研究现状也基本未涉及人机混合应用领域。同样在使用更加先进的人机交互方面，国内暂时也没有相关研究报道，国外的一些公司可以利用眼动仪将坐标标识在一个平面上，可以用于商业用途，但是结构复杂而且成本高昂。

发明内容

有鉴于此，本发明的目的在于提供一种穿戴式视觉注视目标定位装置及方法，相较于传统的机器视觉领域的单一定位功能，该装置实现了人机混合功能。并且相较于人机混合领域里一般使用的眼动仪进行意图识别，是一种更为简单且高效的方法和装置并且成本低廉。同时从人体工程学的角度减轻了人头戴式的负担，符合人体工学。

为达到上述目的，本发明提供如下技术方案：

一种穿戴式视觉注视目标定位方法，采取人体头颈部转动的角度位置信息，采用视觉传感部分与人正视方向保持同步，得到了视觉注视方向，利用视觉传感部分测得深度信息参数，利用二维标定法定位出目标的二维坐标信息，将得到的信息扩展到三维得到基于视觉传感部分为中心的三维空间位置信息，确定了目标物在空间中的位置，然后将三维信息进行坐标转换传给机械臂助力其精确地抓取物件。

进一步，视觉传感器与人体相对固定，当人体颈部扭转时，角度传感器相对转动即测得人体颈部的扭转角度，得到人的正视位置将信息传送给视觉传感器，将视觉传感器做到与人正视角度位置同步。

进一步，视觉传感部分采用基于双目立体视觉的深度相机，依靠拍摄的彩色RGB和灰度图来计算深度，深度相机拍摄的图片上的每一个像素点的值都代表了摄像机原点到该处实际位置之间的距离，其图片像素点的明暗程度就代表距离摄像机的远近，进而实现二维的图像和深度信息获得。

进一步，二维坐标到三维坐标的算法，拓展到三维坐标包括以下步骤：

步骤一，区域分割，基于深度图像的区域分割，用深度图像进行分割，获得的深度图是灰度图，距离和灰度级相关，然后利用直方图统计灰度级，接着分别将直方块作为阈值分割的阈值；

步骤二，物体分类，区域分割后获取了主区域集合，对于这个主区域集合中的每个区域进行物体的类别判断，判断的依据依靠预处理阶段训练生成的物体分类器，若该区域中有物体则分类器会相应地输出预测的物体标签；若区域不包含物体，则分类器输出0，表示该区域属于背景类，主区域集合通过分类器的筛选后，剩下的就是含有物体的区域集合，这个集合内每个区域都有相应的物体类别标签，将这个区域集合记作候选区域集；

步骤三，点云配准，对于候选区域集，对每个候选区域生成点云模型，然后根据候选区域预测的类别标签加载对应的预扫描二维点云模型，在生成点云与点云模型之间利用点云配准的方法进行配准，从而得出点云配准的变换矩阵，将二维候选区域点转换成三维点云数据，在生成的点云数据上抽取三维空间特征，基于抽取的三维空间特征使用点云配准方法使生成点云与预处理阶段的点云模型进行贴合，并输出迁移矩阵，根据迁移矩阵，将点云模型上的预定义的抓取点云映射到深度相机的空间坐标上去；

步骤四，坐标映射，得到变换矩阵后，将预定义的目标位置通过变换矩阵转换可以得到目标位置在实际点云空间的位置信息，将此坐标与应用部分的坐标进行转换，转换的过程利用棋盘标定将相机坐标与机械臂坐标做迁移矩阵估计，得到需要的被注视目标物的位置信息。

进一步，记录下在一定时间内的所有动态数据，根据上述动态数据实现人体意图和视线目标坐标的实时联系，实现动态监测的效果。

一种穿戴式视觉注视目标定位装置，所述定位装置包括：

肩背支撑架，肩背支撑架佩戴在人体的肩部位置；

轴固定平台，连接肩背带和转轴，用于固定轴和人体相对位置；轴上的角度传感器可转动；

惯性传感器，惯性传感器连接转轴，置于头的颈部位置的轴固定平台，用于测量头部转动的角度；

颈部转动卡环，位于头颈部位置，用于惯性传感器的固定，并与肩背支撑架连接；

视觉传感部分，固定在肩背支撑架上，用于测量目标物的二维坐标和得到深度信息；

微处理器，用于数据接收和处理。

进一步，所述定位装置还包括定时器，所述定时器设置在肩背支撑架上，用于记录下在一定时间内的所有动态数据。

进一步，所述惯性传感器包括角度传感器。

进一步，所述视觉传感部分包括深度相机。

本发明的有益效果在于：

(1)本装置定义为穿戴式视觉装置，穿戴于人肩部，无需佩戴于头部或者代替眼镜，减轻了人头戴式的负担，符合人体工学。

(2)具体功能是获得人的注视方向，通过佩戴在颈部的惯性传感器，得到人的注视方向；是在注视方向上找到目标，此目标就是人眼选择目标，通过视觉传感器和三维坐标算法获得三维坐标；是一种新的人机混合方式，相较于传统的机器视觉单一的定位实现了人机混合功能。

(3)与传统的人体意图识别的眼动仪不同，本装置结构更加的简单和高效；与现阶段的人体意图识别的方案使用的一般核心的眼动仪几万美元的成本相比，成本低廉。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本装置的结构示意图；

图2为角度检测部分的结构示意图；

图3为本装置穿戴在人体上的示意图；

图4为本装置穿戴在人体上的俯视图；

图5为本装置穿戴在人体上的主视图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1为本定位装置的结构示意图，如图5为本装置穿戴在人体上的主视图，应用于机械臂部分，本实施例中的机械臂也可以是其他应用部分，机械臂是用于描述的较好应用。

所述定位装置包括：肩背支撑架1，肩背支撑架佩戴在人体的肩部位置；惯性传感器采用角度传感器3，惯性传感器连接转轴，置于头的颈部位置，用于测量头部转动的角度；视觉传感部分，视觉传感部分采用深度相机2，固定在肩背支撑架上，用于测量目标物的二维坐标和得到深度信息；颈部转动卡环4，位于人体头颈部位置，用于转轴及惯性传感器的固定，并与肩背支撑架1连接；机械臂10，应用部分实例。微处理器，用于数据接收和处理，实现二维定位信息与深度信息相结合做出三维坐标信息的软件支撑平台，也是实现转换坐标算法的支撑平台。其中5为人体头部，6为测量目标物，7为肩关节，9为肘关节，通过肩关节7的外展或内收以及肘关节9的外展或内收来控制机械手的转动，8为机械上臂、10为机械前臂，机械上臂8和机械前臂10作为机械臂主体，对定位装置起支撑作用。作为另外一种实施例，如图2-3为应用于正常手臂部分，11为右侧正常手臂，16为左侧正常手臂，17为肩背带，18为轴固定平台，19为转轴。肩背带17和轴固定平台18配合使用，用于固定于人体颈部肩部位置。

本装置得到头颈部位置的角度传感器3的角度位置，将深度相机2同步化(角度与水平校准)使得相机与人正视方向保持同步，得到了视觉注视方向，此时利用深度相机测得深度信息参数，利用二维标定法定位出目标的二维坐标信息，将得到的信息扩展到三维得到基于摄像机为中心的三维空间位置信息，确定了测量目标物6在空间中的位置，然后将三维信息进行坐标转换传给机械臂助力其精确地抓取物件，首先需要通过搭建硬件平台，软件平台建立一个三维模型视场，根据二维视觉提供的视觉点。机械臂位置(与深度相机距离固定)提供一个视场平面通过位置转换公式，将视点与之对应，这时根据视觉点位置的确定提取出该区域的三维扩展公式。另外一部分根据深度相机得到深度信息带入到三维扩展公式中，最后得到的就是机械臂需要的目标物的空间坐标了。本装置首先确定人眼主动注视目标方向，再通过机器视觉系统跟随人眼注视方位以确定视觉注视目标的空间信息，提取目标物空间信息，应用方向是实现了基于视觉注视的目标物主动选择、基于机器视觉的目标物空间定位。

本实施例视觉传感器部分选取深度相机：基于双目立体视觉的深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片(彩色RGB和灰度图)来计算深度，深度相机拍摄的图片上的每一个像素点的值都代表了摄像机原点到该处实际位置之间的距离，单位通常为毫米，其图片像素点的明暗程度就代表距离摄像机的远近。进而实现二维的图像和深度信息获得。角度传感器3用于测量颈部角度的变换。因为只需要测量头部倾斜的角度，使用单轴种类的角度传感器用来检测角度的。

如图2所示是角度检测部分的结构示意图，角度传感器3及转轴19，置于轴固定平台18，轴固定平台与肩部背带和转轴完全固定，保证了在佩戴过程中轴与人体相对位置不会发生变化，而角度传感器与轴配合可动，与颈部转动卡环固定，当颈部转动卡环转动时角度传感器跟随转动，也相对于轴转动，这样就可以读出颈部转动的角度数据。传感器设置在头颈部的位置是因为这样可以感受到人的头部转动的位置。因为只需要测量头部倾斜的角度，使用的是单轴种类，角度传感器3用来检测角度。它的身体中有一个孔，配合轴。当轴每转过1/16圈，角度传感器3就会计数一次。往一个方向转动时，计数增加，转动方向改变时，计数减少。计数与角度传感器3的初始位置有关。当初始化角度传感器3时，它的计数值被设置为0，如果需要，可以用编程把它重新复位。

一种穿戴式视觉注视目标定位方法，采取人体头颈部转动的角度位置信息，采用视觉传感部分与人正视方向保持同步，得到了视觉注视方向，利用视觉传感部分测得深度信息参数，利用二维标定法定位出二维坐标位置，将得到的信息扩展到三维得到基于视觉传感部分为中心的三维坐标，确定了目标物在空间中的位置，然后将三维信息进行坐标转换传给机械臂助力其精确地抓取物件。

本实施例中，视觉传感器与人体相对固定，当测得人体颈部的扭转度数，视觉传感器相对的转动，得到人的正视位置将信息传送给视觉传感器，将视觉传感器同样做到与人正视角度位置同步。

本实施例中，视觉传感部分采用基于双目立体视觉的深度相机，依靠拍摄的彩色RGB和灰度图来计算深度，深度相机拍摄的图片上的每一个像素点的值都代表了摄像机原点到该处实际位置之间的距离，其图片像素点的明暗程度就代表距离摄像机的远近，进而实现二维的图像和深度信息获得。

本实施例中，二维坐标到三维坐标的算法，拓展到三维坐标包括以下步骤：

步骤一，区域分割，基于深度图像的区域分割，用深度图像进行分割，获得的深度图是灰度图，距离和灰度级相关，然后利用直方图统计灰度级，接着分别将直方块作为阈值分割的阈值；

步骤二，物体分类，区域分割后获取了主区域集合，对于这个主区域集合中的每个区域进行物体的类别判断，判断的依据依靠预处理阶段训练生成的物体分类器，若该区域中有物体则分类器会相应地输出预测的物体标签；若区域不包含物体，则分类器输出0，表示该区域属于背景类，主区域集合通过分类器的筛选后，剩下的就是含有物体的区域集合，这个集合内每个区域都有相应的物体类别标签，将这个区域集合记作候选区域集；(一般而言，候选区域集里只有一个区域，也就是说一个场景图片里只含有一个物体)

步骤三，点云配准，对于候选区域集，对每个候选区域生成点云模型，然后根据候选区域预测的类别标签加载对应的预扫描二维点云模型，在生成点云与点云模型之间利用点云配准的方法进行配准，从而得出点云配准的变换矩阵，将二位候选区域点转换成三维点云数据，在生成的点云数据上抽取三维空间特征，基于抽取的三维空间特征使用点云配准方法使生成点云与预处理阶段的点云模型进行贴合，并输出迁移矩阵，根据迁移矩阵，将点云模型上的预定义的抓取点云映射到深度相机的空间坐标上去；

步骤四，坐标映射，得到变换矩阵后，将预定义的目标位置通过变换矩阵转换可以得到目标位置在实际点云空间的位置信息，将此坐标与应用部分的坐标进行转换，转换的过程利用棋盘标定将相机坐标与机械臂坐标做迁移矩阵估计，得到需要的被注视目标物的位置信息。

如图1所示，本装置的17，18用于更好的佩戴于受试者身上，对整体的运行上起到了很好的固定支撑作用。

如图4所示，本定位装置还包括定时器15，所述定时器15设置在肩背支撑架1上，时间间隔发送命令执行功能，用于记录下在一定时间内的所有动态数据。

本实施例中，根据时间间隔启动定时器，记录下在一定时间内的所有动态数据，根据上述动态数据实现人体意图和视线目标坐标的实时联系，实现动态监测的效果，实际上是人机混合功能的体现。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (9)

1.一种穿戴式视觉注视目标定位方法，其特征在于，采取人体头颈部转动的角度位置信息，采用视觉传感部分与人正视方向保持同步，得到了视觉注视方向，利用视觉传感部分测得深度信息参数，利用二维标定法定位出目标的二维坐标信息，将得到的信息扩展到三维得到基于视觉传感部分为中心的三维空间位置信息，确定了目标物在空间中的位置，然后将三维信息进行坐标转换传给机械臂助力其精确地抓取物件。

2.根据权利要求1所述的一种穿戴式视觉注视目标定位方法，其特征在于，视觉传感器与人体相对固定，当测得人体颈部的扭转度数，视觉传感器相对的转动，将得到人的正视位置信息传送给视觉传感器，将视觉传感器做到与人正视角度位置同步。

3.根据权利要求1所述的一种穿戴式视觉注视目标定位方法，其特征在于，视觉传感部分采用基于双目立体视觉的深度相机，依靠拍摄的彩色RGB和灰度图来计算深度，深度相机拍摄的图片上的每一个像素点的值都代表了摄像机原点到该处实际位置之间的距离，其图片像素点的明暗程度就代表距离摄像机的远近，进而实现二维的图像和深度信息获得。

4.根据权利要求3所述的一种穿戴式视觉注视目标定位方法，其特征在于，二维坐标到三维坐标的算法，拓展到三维坐标包括以下步骤：

步骤一，区域分割，基于深度图像的区域分割，用深度图像进行分割，获得的深度图是灰度图，距离和灰度级相关，然后利用直方图统计灰度级，接着分别将直方块作为阈值分割的阈值；

步骤二，物体分类，区域分割后获取了主区域集合，对于这个主区域集合中的每个区域进行物体的类别判断，判断的依据依靠预处理阶段训练生成的物体分类器，若该区域中有物体则分类器会相应地输出预测的物体标签；若区域不包含物体，则分类器输出0，表示该区域属于背景类，主区域集合通过分类器的筛选后，剩下的就是含有物体的区域集合，这个集合内每个区域都有相应的物体类别标签，将这个区域集合记作候选区域集；

步骤三，点云配准，对于候选区域集，对每个候选区域生成点云模型，然后根据候选区域预测的类别标签加载对应的预扫描二维点云模型，在生成点云与点云模型之间利用点云配准的方法进行配准，从而得出点云配准的变换矩阵，将二维候选区域点转换成三维点云数据，在生成的点云数据上抽取三维空间特征，基于抽取的三维空间特征使用点云配准方法使生成点云与预处理阶段的点云模型进行贴合，并输出迁移矩阵，根据迁移矩阵，将点云模型上的预定义的抓取点云映射到深度相机的空间坐标上去；

步骤四，坐标映射，得到变换矩阵后，将预定义的目标位置通过变换矩阵转换可以得到目标位置在实际点云空间的位置信息，将此坐标与应用部分的坐标进行转换，转换的过程利用棋盘标定将相机坐标与机械臂坐标做迁移矩阵估计，得到需要的被注视目标物的位置信息。

5.根据权利要求4所述的一种穿戴式视觉注视目标定位方法，其特征在于，记录下在一定时间内的所有动态数据，根据上述动态数据实现人体意图和视线目标坐标的实时联系，实现动态监测的效果。

6.一种穿戴式视觉注视目标定位装置，其特征在于，所述定位装置包括：

肩背支撑架，肩背支撑架佩戴在人体的肩部位置，与颈部转动卡环连接；

惯性传感器，惯性传感器连接转轴，置于头的颈部位置，用于测量头部转动的角度；

颈部转动卡环，位于头颈部位置，用于转轴及惯性传感器的固定，并与肩背支撑架连接；

视觉传感部分，固定在肩背支撑架上，用于测量目标物的二维坐标和得到深度信息；

微处理器，用于数据接收和处理。

7.根据权利要求6所述的一种穿戴式视觉注视目标定位装置，其特征在于，所述定位装置还包括定时器，所述定时器设置在肩背支撑架上，用于记录下在一定时间内的所有动态数据。

8.根据权利要求6所述的一种穿戴式视觉注视目标定位装置，其特征在于，所述惯性传感器包括角度传感器，角度传感器模块也可用其他惯性传感器模块代替，均在本专利保护范围之内。

9.根据权利要求6所述的一种穿戴式视觉注视目标定位装置，其特征在于，所述视觉传感部分包括深度相机，深度相机也可用其他视觉传感器模块代替，均在本专利保护范围之内。