CN113938613A - 一种工程机械用户数据采集装置及方法 - Google Patents

Abstract

本发明公开了一种工程机械用户数据采集装置及方法，包括面部相机、人体相机、环视相机、眼动仪、计算机和NTP；眼动仪用于采集用户的视野及其眼球图像数据；人体相机用于采集用户的人体图像数据；面部相机用于采集用户的面部图像数据；环视相机用于采集车辆周边的图像数据；计算机用于对所述人体相机、眼动仪和环视相机采集的图像数据进行计算处理，得到眼动图像及轨迹参数、人体图像及关节点参数以及面部图像及特征参数；NTP用于对面部相机、人体相机、环视相机、眼动仪和计算机进行授时。本发明通过对采集数据进行同步分析，从用户人体行为、面部行为、观察对象和周边环境变化方面，全方位研究用户感知信息对其行为影响的机理。

Description

一种工程机械用户数据采集装置及方法

技术领域

本发明涉及数据采集设备技术领域，尤其涉及一种工程机械用户数据采集装置及方法。

背景技术

随着工程机械行业的发展，主机厂越来越关注用户操作体验，这就需要对用户相关的多种数据进行采集，但目前数据采集方设备都是相互独立的，各设备采集的数据无法同步存储，而后期人工同步会造成很大的误差，导致分析结果准确度降低。除此之外，每种采集设备在使用过程中需要单独操作，易用性差。因此，需要能同步采集多种用户数据的设备，同时该设备能快速方便地部署到各种工程车辆上。

发明内容

本发明的目的是提供一种能同步采集多种用户数据的工程机械用户数据采集装置及方法，从用户人体行为、面部行为、观察对象和周边环境变化方面，全方位研究用户感知信息对其行为影响的机理。

本发明为实现上述发明目的采用如下技术方案：

本发明提供了一种工程机械用户数据采集装置，包括面部相机、人体相机、环视相机、眼动仪、计算机和NTP；

所述眼动仪用于采集用户的视野及其眼球图像数据；

所述人体相机用于采集用户的人体图像数据；

所述面部相机用于采集用户的面部图像数据；

所述环视相机用于采集车辆周边的图像数据；

所述计算机用于对所述人体相机、眼动仪和环视相机采集的图像数据进行计算处理，得到眼动图像及轨迹参数、人体图像及关节点参数以及面部图像及特征参数；

所述计算机对所述面部相机采集的图像数据，及计算处理得到的眼动图像及轨迹参数、人体图像及关节点参数和面部图像及特征参数进行存储显示；

所述NTP用于对所述面部相机、人体相机、环视相机、眼动仪和计算机进行授时。

进一步地，所述采集装置还包括录像机；

所述环视相机与所述录像机相连，所述录像机用于对所述环视相机采集的图像数据进行处理和传递。

进一步地，所述环视相机包括依次安装在车顶的前方、后方、左侧和右侧四个方向上的第一环视相机、第二环视相机、第三环视相机、第四环视相机。

进一步地，所述环视相机为180度鱼眼相机。

进一步地，所述环视相机安装在可旋转的云台上，所述云台固定在车顶上。

进一步地，所述眼动仪包含三个相机，依次安装于左眼侧、右眼侧和眼镜中间部位，用于观测左眼球、右眼球的位置以及正前方视角。

进一步地，所述采集装置还包括交换机；

所述计算机、录像机和NTP均与所述交换机连接，用于各设备间的数据交换及传输。

进一步地，所述采集装置还包括供电设备；

所述计算机、录像机、交换机和NTP均与供电设备连接。

进一步地，所述计算机、录像机和NTP的IP均设置为静态IP，且为同一网段。

本发明提供了一种工程机械用户数据采集方法，所述方法包括：

确定NTP对面部相机、人体相机、环视相机、眼动仪和计算机提供正常的授时服务后；

获取眼动仪、人体相机、面部相机和环视相机依次采集的用户视野及眼球图像数据、用户人体图像数据、用户面部图像数据及车辆周边图像数据；

对获取的用户视野及眼球图像数据、用户人体图像数据和用户面部图像数据进行计算处理，得到眼动图像及轨迹参数、人体图像及关节点参数以及面部图像及特征参数；

对获取的车辆周边图像数据，及计算处理得到的眼动图像及轨迹参数、人体图像及关节点参数和面部图像及特征参数进行存储显示。

本发明的有益效果如下：

本发明可实时同步采集车内用户的人体、面部和眼动图像数据，同时实时同步采集车辆周边图像数据，可实时对眼球图像、人体图像和面部图像进行识别，得到眼动轨迹参数、人体关节点参数和面部特征参数，从用户人体行为、面部行为、观察对象和周边环境变化方面，全方位研究用户感知信息对其行为影响的机理。

本发明可快速安装部署在不同的车型上，方便安装使用。

附图说明

图1为根据本发明实施例提供的一种工程机械用户数据采集装置及方法的原理示意图；

图2为根据本发明实施例提供的一种工程机械用户数据采集装置的结构示意图；

图3为根据本发明实施例提供的一种工程机械用户数据采集装置及方法的使用流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明所述的一种工程机械用户数据采集装置，包括计算机1、录像机2、交换机3、NTP4、NTP天线5、第一环视相机6、第二环视相机7、第三环视相机8、第四环视相机9、面部识别相机10、骨架识别相机11、眼动仪12和供电设备。

如图2所示，所述计算机1、录像机2、交换机3和NTP4均与供电设备连接；本技术方案所述的供电设备由插排和移动电源组成，移动电源用于输出220V交流电，由于移动电源上的接口数量有限，因此通过连接插排来拓展接口，从而给其他设备供电。

如图1和图2所示，所述计算机1、录像机2和NTP4通过网线连接在交换机3上，用于各设备间的数据交换及传输。

优选的，计算机1、录像机2和NTP4的IP均设置为静态IP，且为同一网段。

如图1所示，所述计算机1包括但不限于笔记本电脑、树莓派、jetson Nano等计算设备。

如图1和图2所示，所述NTP天线5与NTP4连接，并安装在车外，用于接收卫星信号；为了使环视相机、人体相机11、面部相机10、眼动仪12和计算机1之间采集接收数据保持同步，因此需要通过NTP4对环视相机、人体相机、面部相机、眼动仪和计算机进行授时。

如图1和图2所示，所述第一环视相机6、第二环视相机7、第三环视相机8和第四环视相机9均与录像机2相连接，录像机用于对环视相机采集的图像数据进行处理和传递，第一环视相机6、第二环视相机7、第三环视相机8和第四环视相机9依次安装在车顶的前方、后方、左侧和右侧四个方向上，本技术方案采用的四个环视相机均为180度鱼眼相机，以保证采集到图像视野足够广。

优选的，所述第一环视相机6、第二环视相机7、第三环视相机8和第四环视相机9都安装在云台上，可以360度旋转环视相机，调整视野范围；同时，云台固定在磁铁上，通过磁铁吸附在车顶，方便安装。

如图1所示，所述环视相机、面部相机10、人体相机11和眼动仪12均与计算机1相连接；利用环视相机(四路)采集工程机械车辆前、后、左、右四个方向的图像，利用眼动仪12采集车辆用户的视野图像及其眼球的图像，利用人体相机11采集用户人体图像，包含头顶、颈部和四肢主要关节部位，利用面部相机10采集用户面部的图像。环视相机(四路)采集的图像直接发送到计算机1进行存储，眼动仪12采集的用户视野及眼球图像、人体相机11采集的用户人体图像和面部相机10采集的用户面部图像发送到计算机1后，先经过计算机数据分析模块进行处理，实时计算得到眼动图像及轨迹参数(可记录人眼所注视的位置及眼睛运动的轨迹)、人体图像及关节点参数(用于用户行为判定)以及面部图像及特征参数(用于身份识别和疲劳检测)，然后进行存储。采集的图像和分析得到的参数可通过计算机显示器实时显示。

如图2和图3所示，所述采集方法包括以下步骤顺序：

步骤S1：启动设备，即按照接线顺序将每个设备有机地连接起来，启动电源之后，确定每个设备通电情况以及接入状态；

步骤S2：更改各设备的IP地址，即更改每个连接在交换机上的设备，将其IP更改为同一网段，例如：192.168.1.X，其中，每个设备的“X”不同；

步骤S3：确定NTP的授时状态，主要为了使各个设备之间采集的数据保持同步，通过网页端登录到NTP 4的管理界面，然后查看NTP 4的授时状态，确认NTP 4能够提供正常的授时服务后，再执行下一步骤；

步骤S4：确定采集频率，包括第一环视相机6、第二环视相机7、第三环视相机8、第四环视相机9、面部相机10、人体相机11和眼动仪12，工作正常的情况下，设置每个设备的采样频率；

步骤S5：启动各设备驱动，在准备工作完成后，启动各设备获取相对应的图像，使第一环视相机6、第二环视相机7、第三环视相机8和第四环视相机9拍摄方向与工程机械车辆的前、后、左、右四个方向对应，面部相机10拍摄范围覆盖用户的面部，人体相机11拍摄范围覆盖用户头部、颈部及四肢，眼动仪12为眼镜式眼动仪，直接由用户佩戴即可；

步骤S7：开始同步采集，在环视相机识别、眼球图像识别、人体识别、面部识别都正常工作后，开始计时，同步接收多路视频图像数据和分析数据；

步骤S8：数据存储以时间为基准分别存储图像和分析数据，待设定时间结束后完成采集。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种工程机械用户数据采集装置，其特征在于，包括面部相机、人体相机、环视相机、眼动仪、计算机和NTP；

所述眼动仪用于采集用户的视野及其眼球图像数据；

所述人体相机用于采集用户的人体图像数据；

所述面部相机用于采集用户的面部图像数据；

所述环视相机用于采集车辆周边的图像数据；

所述计算机用于对所述人体相机、眼动仪和环视相机采集的图像数据进行计算处理，得到眼动图像及轨迹参数、人体图像及关节点参数以及面部图像及特征参数；

所述计算机对所述面部相机采集的图像数据，及计算处理得到的眼动图像及轨迹参数、人体图像及关节点参数和面部图像及特征参数进行存储显示；

所述NTP用于对所述面部相机、人体相机、环视相机、眼动仪和计算机进行授时。

2.根据权利要求1所述的一种工程机械用户数据采集装置，其特征在于，所述采集装置还包括录像机；

所述环视相机与所述录像机相连，所述录像机用于对所述环视相机采集的图像数据进行处理和传递。

3.根据权利要求1所述的一种工程机械用户数据采集装置，其特征在于，所述环视相机包括依次安装在车顶的前方、后方、左侧和右侧四个方向上的第一环视相机、第二环视相机、第三环视相机、第四环视相机。

4.根据权利要求3所述的一种工程机械用户数据采集装置，其特征在于，所述环视相机为180度鱼眼相机。

5.根据权利要求3或4所述的一种工程机械用户数据采集装置，其特征在于，所述环视相机安装在可旋转的云台上，所述云台固定在车顶上。

6.根据权利要求1所述的一种工程机械用户数据采集装置，其特征在于，所述眼动仪包含三个相机，依次安装于左眼侧、右眼侧和眼镜中间部位，用于观测左眼球、右眼球的位置以及正前方视角。

7.根据权利要求2所述的一种工程机械用户数据采集装置，其特征在于，所述采集装置还包括交换机；

所述计算机、录像机和NTP均与所述交换机连接，用于各设备间的数据交换及传输。

8.根据权利要求7所述的一种工程机械用户数据采集装置，其特征在于，所述采集装置还包括供电设备；

所述计算机、录像机、交换机和NTP均与供电设备连接。

9.根据权利要求7所述的一种工程机械用户数据采集装置，其特征在于，所述计算机、录像机和NTP 的IP均设置为静态IP，且为同一网段。

10.一种工程机械用户数据采集方法，其特征在于，所述方法包括：

确定NTP对面部相机、人体相机、环视相机、眼动仪和计算机提供正常的授时服务后；

获取眼动仪、人体相机、面部相机和环视相机依次采集的用户视野及眼球图像数据、用户人体图像数据、用户面部图像数据及车辆周边图像数据；

对获取的用户视野及眼球图像数据、用户人体图像数据和用户面部图像数据进行计算处理，得到眼动图像及轨迹参数、人体图像及关节点参数以及面部图像及特征参数；

对获取的车辆周边图像数据，及计算处理得到的眼动图像及轨迹参数、人体图像及关节点参数和面部图像及特征参数进行存储显示。

Images