CN109217961A - 一种多通道人机交互与人机环境测试数据同步装置和方法 - Google Patents

一种多通道人机交互与人机环境测试数据同步装置和方法 Download PDF

Info

Publication number
CN109217961A
CN109217961A CN201810661046.6A CN201810661046A CN109217961A CN 109217961 A CN109217961 A CN 109217961A CN 201810661046 A CN201810661046 A CN 201810661046A CN 109217961 A CN109217961 A CN 109217961A
Authority
CN
China
Prior art keywords
time
data
data packet
acquisition
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810661046.6A
Other languages
English (en)
Other versions
CN109217961B (zh
Inventor
赵起超
杨苒
李召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinfa Technology Co Ltd
Original Assignee
Beijing Jinfa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinfa Technology Co Ltd filed Critical Beijing Jinfa Technology Co Ltd
Priority to CN201810661046.6A priority Critical patent/CN109217961B/zh
Publication of CN109217961A publication Critical patent/CN109217961A/zh
Application granted granted Critical
Publication of CN109217961B publication Critical patent/CN109217961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0647—Synchronisation among TDM nodes
    • H04J3/065—Synchronisation among TDM nodes using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Abstract

本发明提供了一种多通道人机交互和人机环境测试数据同步装置和方法，该装置包括：多通道人机交互与人‑机‑环境数据无线采集单元，其接收来自多个外部装置的数据包，所接收的数据包中含有数据包编号和采样率信息；第一处理单元，其连接基准时间获取装置，从中获取时间基标准时间，并对多通道人机交互和人‑机‑环境数据无线采集单元采集的数据包进行扩展，以在接收的数据包上中添加时间基标准时间；以及第二处理单元，其基于扩展的数据包中的时间基标准时间数据包编号和采样率信息将来自多个外部装置的数据包叠加到同一时间轴。本发明可以将不同设备的数据在同一时间轴上进行叠加，保证时间的准确性。

Description

一种多通道人机交互与人机环境测试数据同步装置和方法
技术领域
本发明涉及人因工程与工效学、人-机-环境系统工程学、智能人机交互与人机混合智能、认知神经科学与心理学等研究领域，特别涉及一种多通道人机交互与人机环境测试数据同步装置、系统和方法。
背景技术
任何系统或机器，即使是目前最先进的人工智能系统，其使用和保障总是要直接或间接地通过人在一定的环境条件下完成的，因此为了使系统或机器具有良好的保障性、适用性和最大化发挥其效能，必须考虑人的因素，使人、机、环境协同工作，相互适应。
1981年，在伟大科学家钱学森的亲自指导下，一门综合性交叉技术科学—人-机-环境系统工程(Man-Machine-Environment System Engineering，简称MMESE)在中国诞生。人-机-环境系统工程是运用系统工程理论研究方法，通过正确处理人、机、环境三大要素的关系，深入研究人-机-环境系统最优组合的一门科学技术，从而实现“安全、高效、经济”的系统最优组合。
未来人工智能与人机交互研究领域中的人机协同、人机混合智能、智能人机交互等领域都需要进行人的因素研究，并通过“以人为中心”的设计使人、智能系统、环境协同工作，相互适应。
人因工程与工效学是研究系统中人与工具、机器及环境之间的关系和交互作用，以提升人机系统的总体效率，同时提高人的健康、安全和生活质量。根据国际工效学联合会(IEA)的定义，人因工程(工效学)是一个研究人与系统其他元素之间的交互作用的科学领域，是一个将理论、原则、数据、方法进行设计以提升人类福利并优化整体系统表现的专业。
人因与工效学研究专家秉持着以用户为中心的思想，致力于通过比较分析用户的需求、能力和限制来评估和设计任务、工作、产品、环境和系统等。人因工程有三个专业研究领域：生理人因学、认知人因学和组织人因学。生理人因学：关注人在进行生理活动时人体解剖学、人体测量学、生理学和生物力学特征。认知人因学：关注认知过程，如感知、记忆、推理和响应等过程。他们影响着人与系统其他元素的交互。相关课题包括脑力负荷、决策过程、熟练操作、人机交互、人的可靠性、工作压力和训练等。这些方面都影响着人机系统的设计。组织人因学：关注社会技术系统的优化，包括组织的结构、政策和过程。
随着新的科学技术的发展，如虚拟/增强现实与仿真技术、眼动追踪与眼控交互技术、脑电测量与脑机交互接口技术、人机交互与人工智能、认知神经科学以及大数据、云计算等技术深入交叉融合，单通道的人机交互和单通道数据进行人的因素分析已经不能满足科研和应用发展需要。
发明内容
鉴于如上现有技术，本发明的目的在于提供一种多通道人机交互和人机环境测试数据同步装置、系统和方法，以精准实现多种数据的同步。
本发明的技术方案如下：
一种多通道人机交互和人机环境同步装置，其包括：
多通道人机交互和人-机-环境数据无线采集单元，其接收来自多个外部装置的数据包，其中，所述多通道人机交互和人-机-环境数据无线采集单元所接收的数据包中含有数据包编号和采样率信息；以及
同步处理装置，该同步处理装置包括：
第一处理单元，其连接用于获取时间基标准时间的基准时间获取装置，从所述基准时间获取装置获取时间基标准时间，并对所述多通道人机交互和人-机-环境数据无线采集单元采集的数据包进行扩展，以在接收的数据包中添加数据包到达时的时间基标准时间；以及
第二处理单元，其基于扩展的数据包中的时间基标准时间、数据包编号和采样率信息将来自多个外部装置的数据包叠加到同一时间轴。
优选地，所述外部装置至少包括无线传感器。
优选地，所述装置还包括：
声音刺激数据同步采集装置接口，其连接所述第一处理单元，由第一处理单元基于预设的声音阈值对所述声音刺激数据同步采集装置接口输入的声音进行声音事件的时间标记，生成包含时间基标准时间的声音事件数据包；和/或
光刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的光阈值对所述光刺激数据同步采集装置接口输入的光信号进行光刺激事件的时间标记，生成包含时间基标准时间的光刺激事件数据包；和/或
电刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的电流阈值对所述电刺激数据同步采集装置接口输入的电信号进行电刺激事件的时间标记，生成包含时间基标准时间的电刺激事件数据包；
触觉或视觉刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的阈值对所述触觉或视觉刺激数据同步采集装置接口输入的触觉或视觉信号进行视觉刺激事件的时间标记，生成包含时间基标准时间的触觉或视觉刺激数据同步采集装置刺激事件数据包；
其中，所述第二处理单元基于生成的数据包中的时间基标准时间叠加到同一时间轴。
优选地，所述装置还包括连接所述同步处理装置的晶体管-晶体管逻辑电平TTL时间事件标记输入接口，用于接收事件标签；所述装置还包括连接所述同步处理单元的TTL时间事件标记输出接口，用于输出事件标签；所述同步处理装置接收到事件标签数据包后，对接收的数据包进行扩展，以在接收的数据包中添加事件到达的标准时间。
本发明还提供一种多通道人机交互与人机环境测试数据同步装置，该装置包括：
多通道人机交互和人-机-环境数据无线采集终端，该多通道人机交互和人-机-环境数据无线采集终端包括：多通道人机交互和人-机-环境数据无线采集单元，其接收来自多个外部装置的数据包，其中，所述多通道人机交互和人-机-环境数据无线采集单元所接收的数据包中含有数据包编号和采样率信息；以及处理单元，其从用于获取时间基标准时间的基准时间获取装置获取时间基标准时间，对所述多通道人机交互和人-机-环境数据无线采集单元采集的数据包进行扩展以在接收的数据包中添加时间基标准时间，并发送扩展后的数据包；以及
数据同步终端，所述数据同步终端接收来自所述多通道人机交互和人-机-环境数据无线采集终端的数据包，基于接收的数据包中的数据包编号、采样率信息以及标准时间信息将接收的数据包叠加到同一时间轴。
优选地，所述装置还包括：所述基准时间获取装置；所述基准时间获取装置包括：数据有线传输接口、GPS通信模块和移动通信模块。
优选地，所述多通道人机交互和人-机-环境数据无线采集终端还包括：数据有线传输接口、无线通信模块以及用于切换数据采集方式的数据采集方式切换模块，其中，所述数据采集方式包括按频率采集方式和按时间基标准时间采集方式，所述无线采集终端基于数据有线传输接口连接所述基准时间获取装置以获取时间基标准时间。
本发明一实施例提供的多通道人机交互与人机环境测试数据同步装置中，外部装置可以是眼动定标器，眼动定标器在专利号为ZL201510556459.4的中国发明专利中有详细描述，在此以合并方式引用于此，如同在此进行了完整的描述。眼动定标仪连接多通道人机交互和人-机-环境数据无线采集终端，以由多通道人机交互和人-机-环境数据无线采集终端采集眼控交互和眼动数据。眼动定标器可与时间基进行通讯确定实际时间，多通道人机交互和人-机-环境数据无线采集终端将眼动定标器数据扩展，以在接收的数据包中添加事件到达的标准时间，并通过TTL数据接口将数据在相同时间轴上进行时间点叠加。
本发明还提供一种多通道人机交互与人机环境同步方法，该方法包括以下步骤：
获取时间基标准时间；
接收多组数据包，其中各数据包中含有数据包编号和采样率信息；
对接收的多组数据包进行扩展，以在数据包中添加时间基标准时间；
基于扩展的数据包中的时间基标准时间、数据包编号和采样率信息将接收的数据包叠加到同一时间轴。
优选地，所述方法还包括：通过晶体管-晶体管逻辑电平TTL时间事件标记输入接口和TTL时间事件标记输出接口输入和输出事件标签；接收到事件标签数据包后，对接收的数据包进行扩展，以在接收的数据包中添加事件到达的标准时间。
优选地，在从TTL时间事件标记输入接口输入的来自外围设备的事件标签数据包中带有所述外围设备自身的时间数据的情况下，所述方法还包括，基于如下步骤进行时间同步：记录外围设备向时间基发送请求消息时的时间标签T0；记录外围设备接收到时间基的响应消息的时间T1，该响应消息中携带有时间基的当前时间TS；基于如下公式重置外围设备的时间T1：T1＝TS+(T1-T0)/2；以固定的递增的时间间期为准询问外部装置的时间，并计算出时间偏移进行补偿，实现数据包中的非时间基时间与相应外设装置的时钟的转换。
本发明提供的基于多技术方法数据同步组合的多通道人机交互与人机环境同步平台可以将不同设备的数据在同一时间轴上进行叠加，同时外部装置与同步平台进行互相通讯确定基准时间，保证时间的准确性。
针对不同采样率的设备，本发明根据不同采样率的数据包在相同时间轴上以时间事件标记点的方式进行数据在时间轴上的叠加，并且通过基准时间获取装置可将每一个时间事件标记点的坐标进行时间数据量化，并与基准时间获取装置的时间数据相对应，保证数据在时间轴上的精准叠加，对促进人因工程与工效学、人-机-环境系统工程学、智能人机交互与人机混合智能、认知神经科学与心理学等研究领域有重大意义。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1为本发明一实施例中多通道人机交互与人机环境同步系统的示意性框图。
图2为本发明另一实施例中多通道人机交互与人机环境同步系统的示意性框图。
图3示意性示出本发明一实施例中基准时间获取装置的结构示意图。
图4示意性示出本发明一实施例中无线采集终端的结构示意图。
图5示意性示出本发明一实施例中多通道人机交互与人-机-环境数据同步平台的结构示意图。
图6示意性示出本发明一实施例中多通道人机交互与人-机-环境数据同步平台的背面结构示意图。
图7为外部装置重置时钟流程示意图。
图8为需同步参数时钟的同步过程示意图。
图9为多通道人机交互和人-机-环境数据同步平台执行一个同步指令后的时间往返示意图。
图10为本发明提供的基于多技术方法数据同步组合的多通道人机交互和人机环境同步平台的同步流程图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
鉴于现有技术存在的问题，多通道人机交互和多通道人-机-环境数据同步采集与分析将是未来科研与应用发展的趋势，为此，本发明提供一种多通道人机交互与人机环境测试数据同步装置和方法，作为解决在以上领域科学研究中进行多通道人机交互和多通道人机环境测试过程中在同一个时间点对人-机-环境数据进行精准同步采集与分析的科研工具，实现时间与事件、刺激、多通道信息的人机交互以及人-机-环境数据同步采集与分析。
图1所示为本发明一实施例提供一种多通道人机交互与人机环境同步系统，其可以包括：基准时间获取装置10、多数据无线采集终端(又称多通道人-机-环境数据无线采集终端)30和数据同步处理器40。
基准时间获取装置10也称为时间基，是用于获取数据同步基准时钟(或称时间基标准时间)的硬件设备，其可以提供精准的基准时钟，该基准时钟可以是国际标准时间。基准时间获取装置可以通过GPS或移动通信网络(如3G/4G/5G)获取基准时钟。图3为基准时间获取装置10的结构示意图，其可包括GPS模块(未示出)和移动通信模块(未示出)。此外，还可以包括USB接口11、线缆12、GPS窗口13、RGB全彩信号指示灯14、外壳体15和SIM卡插槽16等。基准时间获取装置10经由GPS模块或移动通信模块相应通过GPS或通过3G/4G/5G网络获取国际标准时间。当基准时间获取装置10通过USB接口11接入设备(如多数据无线采集终端30和/或数据同步处理器40等)时，基准时间获取装置10内置的GPS模块优先启动，开启搜索卫星步骤，特定时间(如45秒)内搜索到卫星后，默认以GPS的模式进行国际标准时间获取，此时RGB全彩信号指示灯14的颜色例如显示为绿色；若特定时间(45秒)内没有搜到卫星，GPS连接不成功，自动切换3G/4G/5G网络，网络制式取决于SIM卡支持的网络类型。切换到3G/4G/5G网络后自动联网在时间服务器网站获取当前时间作为基准时间，此时RGB全彩信号指示灯14的颜色例如显示为蓝色或红色。在此，时间45秒仅为示例，亦可设置为其它数值。如上示出的基准时间获取装置10的外部结构仅为示例，在不脱离本发明的精神的情况下，还可以有更多或更少的部件。
在图1所示的系统中，多数据无线采集终端(简称无线采集终端)30用于接收来自多个无线传感器20的数据包，对数据包进行扩展，即将接收到的每个数据包中添加从基准时间获取装置获得的、数据包到达时的时间基标准时间(如国际标准时间)，并传送至数据同步处理器40。本发明实施例中，多数据无线采集终端是指一对多接收无线传感器的数据的终端，其作为一个接收端可以采集多个无线传感器的数据。作为示例，多数据无线采集终端可包括多数据无线采集单元和处理单元(或称处理器)，多数据无线采集单元用于接收来自多个外部装置(如多个无线传感器)的数据包；处理单元连接基准时间获取装置，从基准时间获取装置获取时间基标准时间，并对所述多数据无线采集单元采集的数据包进行扩展，以在接收的数据包上加上时间基标准时间。在专利号为ZL201410056693.6CN的中国专利中记载了多数据无线采集单元实现一对多数据采集的实现方式，在此不做赘述。每个无线传感器2的采样率可以不同，采样率可以从16Hz到8192Hz不等。无线传感器20向多数据无线采集终端30发送数据包时会对数据包进行编号，例如第一个传感器第一个包记做为P11，第二个传感器第一个包记做为P21，第m个传感器第n个数据包记做为Pmn，这样发出去的数据就可以很清楚的知道丢包情况。此外，无线传感器20在向无线采集终端30发送数据包时，会同时将自身采样率发送到无线采集终端30，第一个传感器采样率记做为f1，第k个传感器采样率记做为fk。无线采集终端30接收的数据包中含有数据包编号和采样率信息。在本发明实施例中，无线采集终端30的处理单元可通过有线数据传输接口(如USB接口)与基准时间获取装置10连接，以从基准时间获取装置10获取国际标准时间。当设置开始采集数据命令后，每个传感器的第一包被无线采集终端收到时，在无线采集终端的处理器进行处理，在数据包的数据格式加上标准时间，进行数据长度扩展，然后将扩展之后的数据包发送给数据同步处理器40，由数据同步处理器进行数据同步。无线采集终端30包括数据有线传输接口(如USB接口)以及无线通信模块(未示出)。此外，无线采集终端30还可包括用于切换数据采集方式的数据采集方式切换模块(如切换按钮)。图4中示出了无线采集终端30的外部结构，如USB插头31、切换按钮32、指示灯33、收发无线数据的天线34、壳体35和USB接口36等。切换按钮32用于切换数据采集模式，可选择以频率方式采集或者以时间基进行采集。
在采用频率采集模式进行采集数据时，无线采集终端的主控MCU会对数据进行固定频率的采集，比如500KHz，说明平均每秒采集500K个数据，频率采集模式下，在发送数据包的时候会有数据包编号，那么主控MCU每一秒会收到500K个数据包。那么这500K个数据包就构成了1秒的时间。在本发明一实施例中，对于无线采集终端30按频率方式采集的数据，无线采集终端30的处理单元可以对每个接收的数据包进行扩展，在数据包上加上时间基标准时间，也可以仅对第一个数据包进行扩展。这样，数据同步处理器40可以基于时间基标准时间和采样频率将数据包在时间轴上按照时间进行排序。另选地，对于按频率方式采集的数据，也可以不基于时间基进行扩展，即不在数据包中添加时间基标准时间，此时，处理器将第一个数据包对应的时间作为时间轴的起始时间0:0:0，即该时间轴的第一个点是第一个数据包的数据点，并依照采样频率将所有数据包对应到同一时间轴上。
以时间基进行采集的方式，是对时间的精准度要求更高，就是利用时间基标准时间对每时每刻采集的数据进行时间事件标记，即采集数据时会将每一个数据包的数据进行扩展，中添加当前时间基同步的时间。有了时间基的时间这些数据就会在时间轴上按照时间进行排序。
图4中示出的指示灯33用于显示连接状态和信号采集状态USB接口36。如上示出的无线采集终端30的外部结构仅为示例，在不脱离本发明的精神的情况下，还可以有更多或更少的部件。
在图1所示的系统中，数据同步处理器40接收无线采集终端30发送的带有国际时间标准的数据包。数据同步处理器40中可安装有数据同步软件，在接收到数据包后，处理器利用该软件解析数据包后会得到该数据包的国际标准时间、传感器的采样率等信息。处理器将传感器的第一个数据包的国际标准时间作为时间轴的起始时间，该时间轴的第一个点便是第一个数据包的数据点。如果传感器的采样率信息为f，那么当在时间横轴上画完f个点的时候，时间便是对应的一秒。例如，某传感器的采样率是500KHz，那么当时间横轴上画完500K个点的时候，时间横轴的时间正好是1秒。采样率不同，1秒内画的点数不同。在本发明实施例，数据同步处理器可以是PC端处理器或数据同步盒中的处理器。
数据包在传输的过程中可能会产生丢包等问题。如果无线采集终端30接收到的数据包不是第一个数据包，由于每个数据包里都会带有数据包编号、采样率等必要信息，无线采集终端30也会对包进行数据扩展操作，加上国际标准时间后发送给数据同步处理器40。数据同步处理器40的处理器可基于数据包编号确定数据包是全部存在或丢了哪些数据包。如果存在丢包的情况，处理器可根据数据包编号和采样率进行补数据包，将丢失的数据包补上，以形成完整的时间序列。
某个传感器数据最终的时间轴上的点的总和记为SUM，那么SUM/f即得出时间数据长度。如果不按照时间基的时间进行在时间轴上画点，那么时间从0:0:0开始，时间长度为SUM/f。如果按照基准时间获取装置10提供的国际标准时间来计算，时间起始按照基准时间获取装置10标记的时间进行计算，时间长度为SUM/f。
在本发明另一实施例中，多数据无线采集终端和数据同步处理器可以整合在一数据同步盒中，如图2所示，此时，多数据无线采集终端的处理单元(第一通信单元)和数据同步处理器(第二处理单元)可以通过同一处理器来实现。
在图1和图2中，与数据同步处理器连接的外围设备可以是传送声音信号、光电信号、震动(触觉)信号、气味信号、视觉信号、脑电信号、眼动信号、TTL信号等的设备，如眼动设备，光电传感器，眼动定标器设备(专利号为CN201510556459.4)等，主要用于与这些设备的时间同步，数据同步。
图2所示的数据同步盒40’可包括数据有线传输接口(如USB接口和/或其他接口)、无线通信模块、无线采集终端和数据同步处理器等。图5为本发明实施例中数据同步盒40’的外部结构示意图，图5中示出了数据同步盒40’的以下部件：壳体41；前面板42；天线接口43、49；电源开关44；电源接口45；显示屏46；第一USB接口47；第二USB接口48；侧面板散热口410。USB接口47、48用于连接基准时间获取装置和其他外部装置(如用户PC端)，以从基准时间获取装置获取时间基标准时间以及与其他外部装置进行数据传输。天线接口43、49用于接收无线信号，例如接收来自无线传感器的数据，接收到无线传感器的数据后，数据同步盒40’对无线传感器的数据包的处理与前述无线采集终端的处理方式相同，即接收到来自传感器的数据包后给数据包加上国际标准时间，进行数据包扩展，在此不再赘述。电源接口45用于给数据同步盒40’供电。显示屏46优选为触摸屏，用于显示当前数据状态以及国际标准时间状态等。
图6为数据同步盒40的背面结构示意图，如图6所示，数据同步平台装置40还包括以下接口中的至少一个：声音数据接口(或称“声音刺激数据同步采集装置接口”)411和光传感接口(或称“光刺激数据同步采集装置接口”)412。声音数据接口连接第一处理单元(即处理器)，由第一处理单元基于预设的声音阈值对声音数据接口输入的音频数据进行声音事件标记，生成包含时间基标准时间的声音刺激事件数据包。光传感接口连接第一处理单元，由第一处理单元基于预设的光阈值对光传感接口输入的光信号进行光刺激事件的时间标记，生成包含时间基标准时间的光刺激事件数据包。更具体地，声音数据接口411分为左右声道和输入，主要用于进行声音的时间标记，可通过图5所示的触摸屏46进行声音阈值的设置，当声音达到阈值的时候数据同步盒40的处理器会发出标记事件，标记事件是一组数据包，数据包发出时会被进行数据包扩展，即加上基准时间获取装置10对应的国际标准时间。数据同步盒40’的处理器对数据包进行解析后可将标记事件数据对齐到时间轴，数据包扩展方法和数据对齐到时间轴的方法与上述无线采集终端30处理无线传感器20的数据方法一致，在此不再赘述。光传感接口412主要用于光阈值触发打标事件，即光强达到阈值后会发出标记事件，进行对本次光刺激事件的标记，标记事件是一组数据包，数据包发出时会被进行数据包扩展，加上从基准时间获取装置10获得的国际标准时间，处理器进行解析数据后可将标记事件数据对齐到时间轴。
刺激可指能被人体视觉、听觉、震动(触觉)、嗅觉、味觉等感觉到并引起人体机能发生变化的因素，引起刺激的因素的类型可称为事件。这里刺激主要是指物理刺激，例如：温度、声、光、电、视觉、震动(触觉)、嗅觉、味觉等。
本发明实施例中，数据同步平台装置40还可包括以下接口中的至少一个：电刺激数据同步采集装置接口，以及触觉或视觉刺激数据同步采集装置接口。电刺激数据同步采集装置接口连接第一处理单元(即处理器)，由处理器基于预设的阈值对电刺激传感接口输入的电刺激信号进行电刺激事件的时间标记，生成包含时间基标准时间的电刺激事件数据包。触觉或视觉刺激数据同步采集装置接口连接处理器，由处理器基于预设的阈值对视觉刺激传感接口输入的触觉或视觉刺激信号进行视觉刺激事件的时间标记，生成包含时间基标准时间的触觉或视觉刺激事件数据包。
此外，数据同步盒40’还可包括第三USB接口413，用于对用户调用API接口进行事件的标记，在用户每次发出API调用请求时，数据同步盒40’向基准时间获取装置10发送一次时间获取请求，获取当前国际标准时间，并利用当前国际标准时间将用户调用的API接口数据包进行扩展，即将用户调用的API接口数据包与当前国际标准时间打包成新的数据包，在处理器将一系列数据包进行时间轴对齐。
此外，数据同步盒40’还可包括事件标记(如晶体管-晶体管逻辑电平(TTL))输入接口414和TTL输出接口415，此两个端口用来接收或者输出事件标签。事件标签是实验设计的需要，比如在人因工程与工效学、人-机-环境系统工程学、人机工程与人机融合智能和心理学等研究领域的实验可能会时常用到刺激事件，此事件发生的一瞬间，接收到刺激时间的设备会接收或者输出一组标记，以进行此事件在时间轴上的同步，方便事后分析。TTL输入接口414的TTL输入值为1～255，可接纳3V逻辑电平或者5V逻辑电平。TTL输出接口415的TTL输出可设置为3V逻辑电平或者是5V逻辑电平，TTL输出值范围是1～255，输出时自带时间基获取的时间数据T2。T2以数据包的格式与TTL值一起发送。
如上示出的数据同步盒40的外部结构仅为示例，在不脱离本发明的精神的情况下，还可以有更多或更少的部件。
在标准TTL时间事件标记输入时，如果外围设备输入时间事件标记没有时间基准，则使用时间基基准作为事件到达的基准时间以在时间轴进行叠加。如果外围设备输入进行事件时间事件标记时带有自己的时间数据，需要进行事件到达的标准时间的确定，确定时间方法例如可以基于Cristian同步算法来实现，Cristian同步算法的原理是使用一个时间服务器(如时间基)，提供标准时钟，外围设备通过询问与时间服务器同步。误差周期内，每个机器(外围设备)向时间基发出校时请求，服务器进行响应，发出自己的时间基时钟，各外部设备可根据响应值重置自己的时钟，从而完成同步。本发明实施例中，进行同步的步骤如下：
步骤一：记录外围设备发送请求消息时的时间标签T0。
步骤二：记录外围设备接收到与同步盒连接的时间基(相当于时间服务器)响应消息的时间T1，响应消息中携带有时间基的当前时间(或称开始时间ST)值。T0、T1是同一时钟测量的时间。
步骤三：使用时间基提供的标准时钟，外围设备通过此基准时间获取装置完成同步。
在误差周期内，每个外围设备都会经由同步盒向时间基发出校时的请求，时间基响应之后发出自己的时间基时钟(如国际标准时钟)，每个外围设备根据该标准时钟对自己的时钟进行重置(如图7)，T1＝ST+(T1-T0)/2，由此完成外围设备的时间同步。
步骤四：进一步地，以固定的递增的时间间期为准，数据同步盒可询问每个外围设备的时间，并计算出时间偏移进行补偿，自动实现同步编码程序包(即扩展数据后的数据包)中的时钟与每个外部装置的时钟的转换(如图8)。
在规则的时间间期内，数据同步盒执行一个同步运行指令，每一个运行指令的发送，在最短的时间RTT(往返时间)将获得一个同步时间点，该同步时间点包含两个当地的时间戳L1、L2以及一个远程的时间戳R(如图9)。由两个时间戳的中点L＝(L1+L2)/2，推测L＝R。
RTT＝L2-L1，往返时间可评估同步精度误差。同步精度误差的分析方法如下：假设min是从时间基到终端的最短时间，T为定义RTT中的时间，那么终端设置的时间范围应该是[T+min，T+RTT-min]，这样时间的偏差范围就在RTT-2min以内，算法上精度误差为RTT/2-min。
步骤五：时间转换公式如下：
t需同步参数＝drift*t同步编码程序包+offset
Drift是时间偏移量误差，可记做精度误差RTT/2-min；offset是时间误差补偿，其偏差范围是RTT-2min。
作为TTL输出设备，如果以接收设备的时钟时间作为主时钟的话，需要进行询问接收设备时钟T3，接收到时钟T3之后，再确定数据同步盒的基准时间T2。时间确定方法与上同理，T2＝ST+(T2-T3)/2。
如图10为本发明实施例提供的人机环境同步方法的同步流程图，该方法包括以下步骤：
步骤S110，基准时间获取装置(时间基)开始运行，以获取GPS或GPRS获取基准时间(时间基标准时间)。
基准时间获取装置首先通过GPS获取时间基标准时间；若在特定时间(如45s)内GPS未获取到时间基标准时间，则通过GPRS网络获取时间基标准时间。
步骤S120，接收来自外部装置的多组数据包或者接收刺激生成数据包，各数据包中含有数据包编号和采样率信息。
其中，该步骤可以由数据同步盒来完成或者由多数据无线采集终端来完成。外部装置可以是无线传感器或传送数据包的其他外部装置。
刺激例如可以是温度、声、光、电、视觉、震动(触觉)、嗅觉、味觉等信号。本发明中，刺激可指能被人体感觉到并引起人体机能发生变化的因素。这里刺激主要是指物理刺激，例如：温度、声、光、电、视觉、震动(触觉)、嗅觉、味觉等。引起刺激的因素的类型可称为事件。
在步骤S130，数据同步盒或对接收的数据包进行扩展，对数据包打上时间戳，从而加上时间基标准时间。一个数据包是一组数据，比如数据包的长度是32字节，那么进行对该组数据包加以时间戳，扩充数据包，扩充至少3个字节(扩展的数据长度根据时间精度而定)，每个字节分别为时、分、秒。这样数据包就有了时间戳。
此外，本步骤中，数据同步盒如果根据数据包编号发现有丢包，则向数据包发送方重新请求该数据包，进行补包。
对于数据同步盒接收的刺激信号(如声音、光信号)，数据同步盒同样进行数据包扩展，加上时间基标准时间。
在步骤S140，根据扩展后的数据包中的标准时间和采样率将来自各数据包叠加到同一时间轴，从而将来自不同设备的多种类型数据包呈现在同一时间轴上。
本发明提供的多通道人机交互与人机环境同步装置和方法，可以将不同设备的数据(如TTL数据、脑电数据、眼动、生理数据、行为数据、动作、表情、生物力学、刺激信号、物理环境等)在同一时间轴上进行叠加，同时外部装置与同步平台进行互相询问确定基准时间，不仅保证时间关系的准确性，从而能更准确地分析多维数据之间的关联性，对促进人因工程与工效学、人-机-环境系统工程学、智能人机交互与人机混合智能、认知神经科学与心理学等研究领域有重大意义。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (11)

1.一种多通道人机交互和人机环境测试数据同步装置，其特征在于，所述多通道人机交互和人机环境测试数据同步装置包括：
多通道人机交互和人-机-环境数据无线采集单元，其接收来自多个外部装置的数据包，其中，所述多通道人机交互和人-机-环境数据无线采集单元所接收的数据包中含有数据包编号和采样率信息；以及
数据同步处理装置，该数据同步处理装置包括：
第一处理单元，其连接用于获取时间基标准时间的基准时间获取装置，从所述基准时间获取装置获取时间基标准时间，并对所述多通道人机交互和人-机-环境数据无线采集单元采集的数据包进行数据扩展，以在接收的数据包上匹配数据包到达时的时间基标准时间；以及
第二处理单元，其基于扩展的数据包中的时间基标准时间、数据包编号和采样率信息将来自多个外部装置的数据包叠加到同一时间轴。
2.根据权利要求1所述的装置，其特征在于：
所述外部装置至少包括无线传感器以及外部设备数据接入接口。
3.根据权利要求1所述的装置，其特征在于，所述装置还包括：
声音刺激数据同步采集装置接口，其连接所述第一处理单元，由第一处理单元基于预设的声音阈值对所述声音刺激数据同步采集装置接口输入的音频数据进行声音事件的时间标记，生成包含时间基标准时间的声音刺激事件数据包；和/或
光刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的光阈值对所述光刺激数据同步采集装置接口输入的光信号进行光刺激事件的时间标记，生成包含时间基标准时间的光刺激事件数据包；和/或
电刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的电流阈值对所述电刺激数据同步采集装置接口输入的电刺激信号进行电刺激事件的时间标记，生成包含时间基标准时间的电刺激事件数据包；和/或
触觉或视觉刺激数据同步采集装置接口，其连接所述第一处理单元，由所述第一处理单元基于预设的阈值对所述触觉或视觉刺激数据同步采集装置接口输入的触觉或视觉刺激信号进行视觉刺激事件的时间标记，生成包含时间基标准时间的触觉或视觉刺激事件数据包；
其中，所述第二处理单元基于生成的数据包中的时间基标准时间叠加到同一时间轴。
4.根据权利要求1所述的装置，其特征在于，所述装置还包括连接所述同步处理装置的晶体管-晶体管逻辑电平TTL时间事件标记输入接口，用于接收时间事件标签；
所述装置还包括连接所述同步处理单元的TTL时间事件标记输出接口，用于输出时间事件标签；
所述同步处理装置接收到时间事件标签数据包后，对接收的数据包进行扩展，以在接收的数据包中添加事件到达的标准时间。
5.一种多通道人机交互和人机环境测试数据同步装置，其特征在于，所述装置包括：
多通道人机交互和人-机-环境数据无线采集终端，该多通道人机交互和人-机-环境数据无线采集终端包括：多通道人机交互和人-机-环境数据无线采集单元，其接收来自多个外部装置的数据包，其中，所述多通道人机交互和人-机-环境数据无线采集单元所接收的数据包中含有数据包编号和采样率信息；以及处理单元，其从用于获取时间基标准时间的基准时间获取装置获取时间基标准时间，对所述多通道人机交互和人-机-环境数据无线采集单元采集的数据包进行扩展以在接收的数据包中添加时间基标准时间，并发送扩展后的数据包；以及
数据同步终端，所述数据同步终端接收来自所述多通道人机交互和人-机-环境数据无线采集终端的数据包，基于接收的数据包中的数据包编号、采样率信息以及标准时间信息将接收的数据包叠加到同一时间轴。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
所述基准时间获取装置；
所述基准时间获取装置包括：数据有线传输接口、GPS通信模块和移动通信模块。
7.根据权利要求5所述的装置，其特征在于，所述多通道人机交互和人-机-环境数据无线采集终端还包括：数据有线传输接口、无线通信模块以及用于切换数据采集方式的数据采集方式切换模块，其中，所述数据采集方式包括按频率采集方式和按时间基标准时间采集方式，所述无线采集终端基于数据有线传输接口连接基准时间获取装置以获取时间基标准时间。
8.一种多通道人机交互和人机环境测试数据同步方法，其特征在于，该方法包括以下步骤：
获取时间基标准时间；
接收多组数据包，其中各数据包中含有数据包编号和采样率信息；
对接收的多组数据包进行扩展，以在数据包中添加时间基标准时间；
基于扩展的数据包中的时间基标准时间、数据包编号和采样率信息将接收的数据包叠加到同一时间轴。
9.根据权利要求8所述的多通道人机交互和人机环境测试数据同步方法，其特征在于，所述方法还包括：
通过晶体管-晶体管逻辑电平TTL时间事件标记输入接口和TTL时间事件标记输出接口输入和输出事件标签；
接收到事件标签数据包后，对接收的数据包进行扩展，以在接收的数据包中添加事件到达的标准时间。
10.根据权利要求9所述的方法，其特征在于，在从TTL时间事件标记输入接口输入的来自外围设备的事件标签数据包中带有所述外围设备自身的时间数据的情况下，所述方法还包括，基于如下步骤进行时间同步：
记录外围设备向时间基发送请求消息时的时间标签T0；
记录外围设备接收到时间基的响应消息的时间T1，该响应消息中携带有时间基的当前时间TS；
基于如下公式重置外围设备的时间T1：T1＝TS+(T1-T0)/2。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
基于如下公式进行数据包中的时钟与外部装置的时钟的转换：
t需同步参数＝drift*t同步编码程序包+offset
其中，Drift是时间偏移量误差，为RTT/2-min；offset是时间误差补偿，其偏差范围是RTT-2min，其中min是从时间基到外部装置的最短时间，RTT为往返时间，T为定义的RTT中间时间。
CN201810661046.6A 2018-06-25 2018-06-25 一种多通道人机交互与人机环境测试数据同步装置和方法 Active CN109217961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810661046.6A CN109217961B (zh) 2018-06-25 2018-06-25 一种多通道人机交互与人机环境测试数据同步装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810661046.6A CN109217961B (zh) 2018-06-25 2018-06-25 一种多通道人机交互与人机环境测试数据同步装置和方法

Publications (2)

Publication Number Publication Date
CN109217961A true CN109217961A (zh) 2019-01-15
CN109217961B CN109217961B (zh) 2020-10-16

Family

ID=64989808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810661046.6A Active CN109217961B (zh) 2018-06-25 2018-06-25 一种多通道人机交互与人机环境测试数据同步装置和方法

Country Status (1)

Country Link
CN (1) CN109217961B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109875500A (zh) * 2019-01-30 2019-06-14 北京津发科技股份有限公司 数据采集装置及方法
CN110412058A (zh) * 2019-06-20 2019-11-05 新疆海纳同创智能科技有限公司 一种多通道原油化验分析系统
CN111012315A (zh) * 2020-01-02 2020-04-17 辽宁中晨优智医疗技术有限公司 一种基于人认知功能的脑健康诊断设备
CN111279728A (zh) * 2020-01-22 2020-06-12 焦旭 物联网数据获取及封装装置和方法
CN111464255A (zh) * 2020-04-02 2020-07-28 西人马(西安)测控科技有限公司 一种基于cpld的数据同步方法和数据采集装置
CN114739461A (zh) * 2022-05-05 2022-07-12 名时(北京)科技发展有限责任公司 一种用于制药领域的多通道参数验证仪器
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量系统和方法
WO2023029759A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 一种数据传输方法以及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866449A (en) * 1988-11-03 1989-09-12 General Electric Company Multichannel alignment system
CN102214123A (zh) * 2010-04-02 2011-10-12 广达电脑股份有限公司 测试方法及应用其的计算机装置及计算机测试系统
CN102231212A (zh) * 2011-03-29 2011-11-02 上海顺多智能科技有限公司 处置公众交通工具突发事件的装置和方法
CN103096441A (zh) * 2012-12-07 2013-05-08 浙江大学 适用数据采集的低速率无线传感网络的低功耗的通信方法
CN103784125A (zh) * 2014-02-19 2014-05-14 北京神州津发科技有限公司 用于生理参数监测的一对多无线数据采集通讯方法
CN105222718A (zh) * 2015-09-21 2016-01-06 天津大学 室内空间测量定位网络动态坐标测量多站数据同步方法
CN105588570A (zh) * 2015-12-16 2016-05-18 中国空间技术研究院 一种大容量和带时戳的无线数据传输采集系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866449A (en) * 1988-11-03 1989-09-12 General Electric Company Multichannel alignment system
CN102214123A (zh) * 2010-04-02 2011-10-12 广达电脑股份有限公司 测试方法及应用其的计算机装置及计算机测试系统
CN102231212A (zh) * 2011-03-29 2011-11-02 上海顺多智能科技有限公司 处置公众交通工具突发事件的装置和方法
CN103096441A (zh) * 2012-12-07 2013-05-08 浙江大学 适用数据采集的低速率无线传感网络的低功耗的通信方法
CN103784125A (zh) * 2014-02-19 2014-05-14 北京神州津发科技有限公司 用于生理参数监测的一对多无线数据采集通讯方法
CN105222718A (zh) * 2015-09-21 2016-01-06 天津大学 室内空间测量定位网络动态坐标测量多站数据同步方法
CN105588570A (zh) * 2015-12-16 2016-05-18 中国空间技术研究院 一种大容量和带时戳的无线数据传输采集系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109875500A (zh) * 2019-01-30 2019-06-14 北京津发科技股份有限公司 数据采集装置及方法
CN110412058A (zh) * 2019-06-20 2019-11-05 新疆海纳同创智能科技有限公司 一种多通道原油化验分析系统
CN111012315A (zh) * 2020-01-02 2020-04-17 辽宁中晨优智医疗技术有限公司 一种基于人认知功能的脑健康诊断设备
CN111279728A (zh) * 2020-01-22 2020-06-12 焦旭 物联网数据获取及封装装置和方法
WO2021147021A1 (zh) * 2020-01-22 2021-07-29 北京微动数联科技有限公司 物联网数据获取及封装装置和方法
CN111464255A (zh) * 2020-04-02 2020-07-28 西人马(西安)测控科技有限公司 一种基于cpld的数据同步方法和数据采集装置
WO2023029759A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 一种数据传输方法以及相关设备
CN114739461A (zh) * 2022-05-05 2022-07-12 名时(北京)科技发展有限责任公司 一种用于制药领域的多通道参数验证仪器
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量系统和方法

Also Published As

Publication number Publication date
CN109217961B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN109217961A (zh) 一种多通道人机交互与人机环境测试数据同步装置和方法
Tobón et al. Context awareness in WBANs: a survey on medical and non-medical applications
CN105808946B (zh) 基于云计算的远程移动医疗系统
CN105595997B (zh) 一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法
CN109699067A (zh) 同步信号块的处理方法、同步信号块的指示方法及装置
CN204091973U (zh) 一种基于Android移动终端的社区远程医疗监护系统
CN104921710A (zh) 学生静态生理参数远程监控系统及其远程监控方法
CN208158599U (zh) 一种多通道人机交互和人机环境测试数据同步装置和系统
CN109859324A (zh) 一种基于虚拟人的动作教学方法及装置
CN105938189A (zh) 多人协作式楼层定位方法和系统
CN104257373A (zh) 基于云技术的人体健康智能监测装置及其监测方法
CN104867090A (zh) 基于大数据应用的网络医院系统及数据库的数据应用方法
Irawan et al. Heart rate monitoring using IoT wearable for ambulatory patient
US20140315494A1 (en) Proxy communication system in ban environment and control method thereof
CN105759677A (zh) 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法
CN203012474U (zh) 一种智能数字家庭多功能控制系统
CN107678541A (zh) 智能眼镜及其信息采集及传输方法、计算机可读存储介质
CN109326356A (zh) 一种智慧虚拟病房系统
WO2013115432A1 (ko) 센서 정보와 헬스 아바타를 이용한 운동 관리 시스템
CN106648094B (zh) 一种移动设备身份和位置识别系统及方法
JP5723014B2 (ja) センサ端末
CN204288219U (zh) 社区自助健康服务系统
CN103812980A (zh) 利用手机应用检测健康的方法
CN203953629U (zh) 用于自闭症患者安抚与沟通的佩戴装置
CN104257365A (zh) 用于笔记本电脑操作者非接触式健康监测的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant