CN107847194B - 使有操作延迟的pc与有实时时钟的微控制器同步的系统 - Google Patents

使有操作延迟的pc与有实时时钟的微控制器同步的系统 Download PDF

Info

Publication number
CN107847194B
CN107847194B CN201580045886.4A CN201580045886A CN107847194B CN 107847194 B CN107847194 B CN 107847194B CN 201580045886 A CN201580045886 A CN 201580045886A CN 107847194 B CN107847194 B CN 107847194B
Authority
CN
China
Prior art keywords
subject
transmitter
receiver
signal
microcontroller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580045886.4A
Other languages
English (en)
Other versions
CN107847194A (zh
Inventor
亚当·J·西蒙
加雷·S·凯斯
大卫·M·德维尔比斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ya DangJXimeng
Original Assignee
Ya DangJXimeng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ya DangJXimeng filed Critical Ya DangJXimeng
Publication of CN107847194A publication Critical patent/CN107847194A/zh
Application granted granted Critical
Publication of CN107847194B publication Critical patent/CN107847194B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/14—Time supervision arrangements, e.g. real time clock
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C1/00—Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0017—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system transmitting optical signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A61B5/125—Audiometering evaluating hearing capacity objective methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/339—Displays specially adapted therefor

Abstract

一种通过提供以下编码方案使具有操作延迟的PC与具有实时时钟的支持生物传感器的微控制器同步的系统：捕获受试者的绝对反应时间并且将受试者的反应时间从具有延迟的PC发送至具有实时时钟的微控制器。该系统包括：发送器，其从具有延迟的PC发送刺激信号；输入设备，其指示受试者对刺激信号的响应；编码电路，其适于对刺激信号和受试者对刺激信号的响应之间的时间差异进行编码；发射器，其适于发送表示受试者的反应时间的编码差异信号；以及互补接收器，其适于检测编码差异信号。接收器包括对编码差异信号进行解码以确定受试者的反应时间的解码电路，并且该接收器将受试者的反应时间提供至具有实时时钟的微控制器以与接收的生物传感器数据例如EEG数据进行同步。

Description

使有操作延迟的PC与有实时时钟的微控制器同步的系统
相关申请的交叉引用
本申请要求于2014年6月30日提交的第62/019,291号美国临时专利申请的优先权。该专利申请的内容通过引用以其全部内容被合并到本申请中。
技术领域
本发明涉及使具有标准而非实时操作系统例如Windows、Linux或iOS的商用PC机上的刺激和探针的呈现与嵌入式微控制器中的实时数据采集的精确时钟同步的硬件和系统。
背景技术
对于诊断评估而言，参照在脑评估期间收集的EEG数据对患者刺激和患者响应进行精确计时非常重要。非精确计时使得EEG迹线的正确数据段不能够与实际的刺激/响应事件时间同步。
数据收集引擎的功能是从生物传感器、人机接口设备(HID)(包括键击和鼠标/触摸板/触摸屏事件)中的每一个收集数据并且提供数据流的同步时间戳。数据收集引擎还与REM进行通信，以接收数据包流(例如通过蓝牙或Wi-Fi)以及发送配置命令和刺激数据(例如音频文件)。数据收集引擎还提供所有输出刺激(视频显示)的时间戳。该模块必须具有在设备上运行任意程序的最高优先级，以确保所有输入和输出数据的时间戳精确和准确。
例如，对于该类型的每个事件而言，鼠标点击事件、键盘开关接触事件或触摸板事件与软件指定的时间戳之间的间隔必须具有相同的延迟。另外，鼠标点击的软件生成时间戳必须与EEG数据采样时间戳精确对准。此外，刺激(例如对象在视频画面上的显示)的时间戳必须与输入数据流准确同步。这使得能够识别在另一输入事件(例如鼠标单击)或刺激事件(例如视频显示事件)期间发生的确切的EEG数据采样。当以该精度等级控制数据收集时，则设备之间的延迟差异变得不那么严重。
在非确定性环境中，最重要的事情是使抖动而非延迟最小化。
通常，收集生物传感器数据的计算机服务器提供用于客户端访问功能的环形缓冲器以及易失性存储缓冲区和存储器或加密平面文件。数据收集引擎利用安全模块/数据加密模块以在本地存储数据或将数据保留在易失性存储器(RAM)中，并且使用云通信模块将加密数据发送至云API。I/O模块还允许其他客户端软件组件访问数据流。该服务器也允许外部设备连接至环形缓冲区以进行只读访问。
对于Windows操作系统而言，存在很多使得引擎例如该引擎能够实时运行或以实时线程运行的软件产品。一种这样的产品是tenAsys在http//www.tenasvs.com/overview- ifw中描述的用于Windows的INTime。
对于Android操作系统而言，这在不对设备进行根权限管理(root)和更换内核或调度程序的情况下要困难得多。但是，使用Android操作系统的最新版本和大量软件修改，能够创建近乎实时数据收集设备。参见，例如佐治亚理工学院的Mondia BS和Mdisetti VK于2010年提交的“Reliable RealpTime Applications on Android OS”。
目前，对于数据收集引擎定义了两个精度等级。
等级1：优于10毫秒分辨率的时间戳精度。几乎所有的功能都会处于该等级。例如，键盘事件和EEG数据采样时间戳之间的时间戳精度需要小于10毫秒。具体地，键盘事件将在与键盘事件一起发生的EEG数据采样的10毫秒内被加上时间戳。
等级2：在1毫秒内或小于1毫秒的时间戳精度。这种精度等级被保留用于两种基本任务：音频诱发响应电位(ERP)任务和两个反应时间任务。在该等级下，数据采样时间戳必须在1毫秒内在输入流之间同步。例如，对于音频ERP任务，音频音调的开始必须发生并且在与音频音调共同发生的EEG数据采样的1毫秒内被加上时间戳。第二示例是反应时间任务。在此，鼠标键按压事件、键盘按压事件或触摸屏事件相对于屏幕上的图像的开始必须以1毫秒的精度被加上时间戳。由于人类反应时间以毫秒或亚毫秒量级来度量，所以该精度等级极其重要。
目前，该精度等级在PC上可行。然而，假定触摸事件与每秒60帧的垂直同步中断—其对应于16毫秒分辨率—同步，则该精度等级在Android平板电脑上不可行。
期望使具有标准而非实时操作系统例如Windows、Linux或iOS的商用PC机上的刺激和探针的呈现同步，使得可以实时获取数据。本发明解决这些需求以及本领域中的其他需求。
发明内容
本发明包括一种使具有标准而非实时操作系统例如Windows、Linux或iOS的商用PC机上的刺激和探针的呈现与嵌入式微控制器中的实时数据采集的精确时钟同步的系统。还可以提供配对的发射器/接收器以及在处理设备上实现的编码软件，以使在其输入端接收生物传感器输出的处理设备的操作系统与由处理设备的实时时钟设置的实时环境在时间上精确同步。
该系统的示例性实施方式通过提供以下编码方案使具有操作延迟的PC与具有实时时钟的支持生物传感器的微控制器同步：捕获受试者的绝对反应时间并且将受试者的反应时间从具有延迟的PC发送至具有实时时钟的微控制器。该系统包括：发送器，其从具有延迟的PC发送刺激信号；输入设备，其指示受试者对刺激信号的响应；编码电路，其适于对刺激信号和受试者对刺激信号的响应之间的时间差异进行编码；发射器，其适于发送表示受试者的反应时间的编码差异信号；以及互补接收器，其适于检测编码差异信号。该接收器包括对编码差异信号进行解码以确定受试者的反应时间的解码电路，并且该接收器将受试者的反应时间提供至具有实时时钟的微控制器以与接收的生物传感器数据例如EEG数据进行同步。
在示例性实施方式中，发射器包括可见光LED、超声换能器、红外(IR)LED、可听声扬声器、可听声换能器、蓝牙发送器/收发器、Wi-Fi发送器/收发器、ZigBee发送器/收发器或AM发送器/收发器或FM发送器/收发器，而互补接收器包括可见光光电二极管、可见光光电晶体管、超声接收器/麦克风、红外(IR)光电二极管、红外光电晶体管、可听声麦克风、蓝牙接收器/收发器、Wi-Fi接收器/收发器、ZigBee接收器/收发器、AM接收器/收发器或FM接收器/收发器。
输入设备可以是向编码电路提供输入的鼠标。该编码电路还响应于来自发送器的刺激信号并且将差异信号编码为开关(On/Off)键控无线信号，该开关键控无线信号被提供给发射器以无线传输至互补接收器。在示例性实施方式中，编码电路还可以将鼠标左击编码为一个键控脉冲而将鼠标右击编码为两个键控脉冲。
在示例性实施方式中，互补接收器位于受试者的EEG头戴式耳机处。EEG头戴式耳机包括解码电路和用于使受试者的反应时间与由EEG头戴式耳机收集的EEG数据同步的微控制器。在这样的实施方式中，发射器可以包括可听声扬声器，以及接收器可以包括受试者的耳塞，其中耳塞将接收的声音信号提供至解码电路。EEG头戴式耳机还可以适于包括手指敲击输入设备作为输入设备。
在其他实施方式中，输入设备可以为触控笔，以及具有延迟的PC可以为平板PC。
附图说明
参照以下附图可以更好地理解本发明的实施方式，在附图中：
图1是示出了当微处理器在实时环境中从多个传感器收集生物传感器数据时用于任务/探针显示和刺激的PC的示意图。
图2是使用发射器/接收器对(LED/光电二极管)、超声换能器/US接收器、红外LED/光电二极管、可听声/麦克风、蓝牙模块对以使PC操作系统的抖动和延迟与微处理器的实时数据收集同步的示意图。
图3是概括使用发射器/接收器对(LED/光电二极管)、超声换能器/US接收器、红外LED/光电二极管、可听声/麦克风、蓝牙模块对或任何其他“收发器1”和“收发器2”以使PC操作系统的抖动和延迟与微处理器的实时数据收集同步的示意图。
图4是使用整体同步系统来减小商用PC和基于微控制器的采集系统内的实时数据采集的多模式采集之间的抖动和延迟的示意图。
图5是包括计算机屏幕上的独特的视觉刺激的规格的PC的示意图。
图6是适用于使PC的抖动和延迟与基于实时数据收集微控制器的系统同步的电子电路的示意性框图。
图7是使用计算机鼠标或其他人机接口设备内的快速开关来实现PC与基于实时数据收集微控制器的系统的同步以及两者之间抖动和延迟的减小的示意图。
图8是示出了PC与实时数据收集微控制器的时间同步的示意图，其中上时间迹线示出了受试人的动作，而下时间迹线示出了以高频传输无线信号，无线信号与受试人的交互的上升沿和下降沿相对应。
图9是使用具有实时微控制器的电子模块中的电路以与其他数据流同步地添加另一数据流的示意性框图，但该数据流以高时间精度从与PC相关联的硬件/软件接收。
图10是PC与实时数据收集微控制器的时间同步的示意图，其中上时间迹线示出了受试人的动作，而下时间迹线示出了放置在受试者的脑壳上的EEG生物传感器中的同步信号。
图11是作为高精度实时同步数据的来源的、安装在头部定位的电子模块内的、直接从PC显示器捕获光的光传感器和透镜的无线光电配置的示意性框图。
图12是嵌入在触控笔或其他人机接口设备中的实现PC与包括生物传感器和基于实时的微控制器的远程电子模块之间的有线同步以及二者之间的抖动和延迟的减小的快速开关的示意图。
图13是作为由远程实时微控制器收集的多模生物传感器系统的另外的输入的声音换能器或扬声器与麦克风的无线声电配置的示意框图。
图14是连接至高响应频率或短延迟电路以无线发送音频信号在耳塞或人类声源中的出现和消失的耳塞或其他声音换能器对的有线声电配置的示意框图。
图15是使用本地加速度计或运动处理单元(可能具有陀螺测试仪)以使受试人能够敲击或提供其他物理机械的输入信号以指示对视觉、听觉或其他感官刺激或认知过程的响应的示意图。
图16是PC与实时数据收集微控制器的时间同步的示意图，其中上时间迹线示出了受试人相对于视觉或听觉刺激的动作，由此鼠标左击或触摸事件被记录为单个脉冲以及鼠标右击或触摸事件由双脉冲来编码，而下时间迹线示出了被馈送至无线收发器以传送至被连接至收集数据的远程实时微控制器的收发器的高速振荡器的同步信号。
具体实施方式
下面将参照图1至图16详细描述本发明。本领域的技术人员应当理解的是，本文中关于这些图给出的描述仅用于示例性目的，而并不意在以任何方式限制本发明的范围。关于本发明的范围的所有问题，可以通过参考所附权利要求来解决。
定义
“到头皮的电极(electrode to the scalp)”表示包括但不限于需要下述项的那些电极：凝胶、干电极传感器、非接触式传感器以及对由电磁装置引起的电势或表观电感应电势进行测量的任何其他装置。
“监视脑和神经系统”表示包括但不限于正常健康和衰老的监护、脑功能障碍的早期检测和监视、脑损伤和恢复的监视、监视疾病发作、发展以及对于治疗的响应，对于治疗方法和药物治疗方法的发现和优化而言，包括但不限于监视研究中的化合物和注册的药物制剂，以及监视非法物质以及在驾驶、参加体育运动或从事其他受管制行为时这些非法物质的存在或对个体的影响。
本文所使用的“医学疗法”旨在涵盖具有潜在医学效果的任何形式的疗法，包括但不限于：任何药物剂或药物治疗、化合物、生物制剂、医学设备疗法、运动、生物反馈或其组合。
“EEG数据”表示包括但不限于：原始时间序列、傅立叶变换或其他变换至频域之后所确定的任何频谱特性、非线性分析之后的任何非线性特性、任何小波特性、任何汇总生物特征变量以及其任意组合。
本文所使用的“感官和认知挑战”旨在涵盖：(对五种感官的)任何形式的感官刺激、(对精神的)认知挑战和其他挑战(例如呼吸CO2挑战、虚拟现实平衡挑战、膝跳反射挑战等)。
本文所使用的“感官和认知挑战状态”旨在涵盖在暴露于感官刺激和认知负荷挑战期间脑和神经系统的任何状态。
本文所使用的“电子系统”旨在包括但不限于：硬件、软件、固件、模拟电路、DC耦接电路或AC耦接电路、光学电路、数字电路、FPGA、ASICS、视觉显示器、音频换能器、温度换能器、嗅觉生成器和气味生成器或上述项的任意组合。
“谱频带(spectral band)”表示但不限于标准文献规约中普遍接受的定义，使得PSD的频带通常被分成δ频带(f<4Hz)、θ频带(4Hz<f<7Hz)、α频带(8Hz<f<12Hz)、β频带(12Hz<f<30Hz)和γ频带(30Hz<f<100Hz)。对于该领域中的所有从业者来说，这些频带的确切边界受制于某些解释，但不认为是硬性规定。
“校准”表示将已知信号输入到系统中并且调整内部增益、偏移或其他可调参数以将系统带入再现性的定量状态的过程。
“实施质量控制”表示使用已知输入信号对系统进行评估并且验证系统的输出与预期一致。此外，验证已知输入基准信号的输出构成了一种形式的质量控制，其确保系统在从受试人收集数据块之前或恰在从受试人收集数据块之后都处于良好的工作状态。
“生物标记”表示生物或生理功能或过程的客观度量。
“生物标记特征或测定值”表示对原始底层时间序列数据的一些方面进行表征的变量、生物标记、测定值或特征。作为客观量度，这些术语是生物标记的等同物，并且可以互换使用。
“非侵入地”表示不需要穿透受试人的皮肤或组织。
“诊断”表示诊断的多个预定用途中的任意一个，包括：将受试者分为分类组；在与其他附加信息一起使用时辅助诊断；不存在先验原因时以高水平进行筛选；用作预后标记；用作疾病或损伤进展标记；用作治疗响应标记或甚至用作治疗监测终点。
“电子模块”或“EM”或“可重复使用的电子模块”或“REM”或“多功能生物传感器”或“MFB”表示能够用于在不同时刻记录来自同一受试者或多个受试者的生物信号的电子模块或设备。同样的术语还表示能够使用一次然后被丢弃的可弃置型电子模块，随着微型化变得越来越普遍以及生产成本降低，该可弃置型电子模块在未来会非常常见。电子模块可以仅具有一种感测功能或多种(多于一种)感测功能，其中后者(多于一种)比较常见。所有这些术语是等同的，并且不限制本发明的范围。
“生物信号(biosignals或bio signals或bio-signals)”表示从待评估的受试人直接得到或从受试人间接得到的任何直接或间接的生物信号测量数据流。出于说明目的的非限制性示例包括从头皮直接记录或从头皮非接触式记录的EEG脑波数据、核心温度、从体戴式加速度计、陀螺仪和磁罗盘获得的物理运动或平衡、来自用于捕获个体声音的麦克风的声学声音；来自前置相机的相机图像流、来自脉搏血氧仪的心率、心率变异性和动脉血氧、沿皮肤测量的皮肤电导(Galvonic皮肤电导/电阻，也称为皮肤电活动)、被记录为键盘敲击事件、鼠标点击事件或触摸屏事件记录的认知任务信息。还存在很多要被记录的其他生物信号。
“微处理器”或“微控制器”表示任何面向计算的硅或包括具有或不具有直接存储RAM的微处理器的其他集成电路技术，作为非限制性的说明示例，包括来自飞思卡尔、意法半导体或其他制造商的16位TI MSP430或32位ARM Cortex M0或M4微控制器。
“具有延迟的抖动PC”表示具有下述操作系统的任何商用计算设备，所述操作系统能够离开去做用户无法控制的活动和任务(例如垃圾收集)，而不被认为是嵌入式微控制器领域公知的“实时操作系统”(RTOS)。这将包括大部分的商用PC，包括运行微软公司的Windows、Linux和谷歌公司的Android操作系统或苹果公司的iOS操作系统的标准版本的台式电脑、膝上型计算机、平板电脑和智能手机。安装有实时操作系统的设备排除在外，由此，所有的事件控制提供给工程师和用户，而没有给设备制造商和操作系统的创造者保留事件控制。
“实时时钟”表示形成高精度和高准确度时间设施的任何计时实现，该时间设施允许通过固件或软件以低计算开销确定事件的时间戳。作为非限制性示例，高精度可以被理解为小于0.1毫秒的计时间隔，而高准确度可以被理解为±5PPM。
具有用于在脑相关问题的定期生物传感器评估时进行刺激和记录生理和脑响应 的多个换能器的系统
本发明的系统和方法包括用于进行刺激和记录脑和身体的生理反应以评估其健康和功能的多个换能器。该系统的核心是能够根据非侵入地放置在头皮上或头皮附近的电极直接记录脑波活动。此外，可以从测量以下项的换能器中得到关于脑健康和功能的另外的信息：仅举几个非限制性的另外的生物信号测量数据流示例，位置和运动、温度、诸如心率、心率变异性和动脉氧的心血管性能、以及认知信息、语音、眼球运动和表面皮肤电导。通常需要将该系统带至受试人，带出医院或医生的办公室，以及使得能够在家里或体育场或格斗剧场进行数据收集，从而以轻巧且便携的形式要素提供对脑健康和功能评估的可访问性。此外，有利的是，具有与该系统相关联的最低成本，使得可以在全球各地使用该系统来帮助需要脑健康和功能评估的人。
这些问题的解决方案包括创建以下系统，该系统包括身戴式或身体接近式电子模块(EMS)或可重复使用的电子模块(REMS)，其能够记录生物信号测量数据流(生物传感器数据)以及将刺激以各种感官和认知挑战和任务的形式呈现给受试人。具体地，一个这样的电子模块(EM)或可重复使用的电子模块(REM)可以被放置在头部附近，并且在不接触人体的情况下反复使用或者在与人体直接接触的情况下被处理掉。
外围PC与具有传感器输入的微控制器之间的精确同步需求
外围计算机系统(通常是膝上型计算机或平板PC，但是也包括智能电话和其他中间形式要素)用于管理受试人的脑健康评估，其包括记录生理参数和生物传感器数据流的各种生物传感器。也可以包括对受试者在呈现有感官刺激(即视频、声音)时的反应时间的时间测量，并且在经由外围计算机的时钟来测量刺激呈现与受试者的响应之间的反应时间时通过计算机或其他输入设备(即鼠标、触控笔、键盘、麦克风、加速度计等)记录受试者的响应。反应时间测量的精度和可重复性通常取决于由于软件延迟和计时抖动会引入计时误差的商用多任务操作系统(例如微软公司的Windows、Linux、谷歌公司的Android或苹果公司的iOS)。
本发明描述了一种能够附接至外围计算机系统的成本低且实现简单的电子硬件解决方案。在一种特定实施方式中，本发明提供患者的刺激、患者的响应和从受试人流送至具有实时时钟的嵌入式微控制器的其他生物传感器数据之间的实时时间戳，从而与未被设计为实时操作系统(RTOS)的商用多任务OS相比能够以更高的速率(小于1毫秒并且可能快至1微秒)和更大的时间精度使多个数据包同步。
在示例性实施方式中，实时硬件系统包括：传感器，其检测计算机系统何时生成刺激或刺激何时被呈现给受试者；第二传感器，其感测受试者的响应；以及微控制器，其以微秒分辨率精确记录响应时间。另外，本发明向生物传感器测量系统提供同步信号，以实现生物传感器数据相对于外围计算机中的刺激/响应事件的时间锁定。
通常难以以比PC上的操作系统(最经常的Windows、Linux、Android或iOS)的固有波动的延迟大的时间分辨率使商用PC(台式电脑、膝上型计算机、或平板电脑、或智能电话)上的刺激和探针的呈现同步。本发明是一种可以通过使用各种编码方案使膝上型PC上的探针和刺激与生物传感器系统在时间上同步的解决方案。
使具有延迟的抖动PC上的刺激/探针与附接至具有实时时钟的嵌入式微控制器的 生物传感器数据流同步的时间精确装置
图1示出了本发明的一种实施方式。在该实施方式中，如果使用诸如I2C或SPI或UART的本地串行数据总线或者诸如蓝牙、WiFi或ZigBee的无线连接将附接至受试者的生物传感器阵列都集成至嵌入式微控制器的输入端，则微控制器的实时时钟可以在各种传感器数据之间保持微秒精度(或更好)。具体地，可以使用流行的微控制器例如德州仪器MSP430系列或ARM Cortex系列。难以做到使商用PC上的探针呈现与嵌入式微控制器的实时时钟同步。
考虑图1，其中具有视觉显示探针和音频显示探针的膝上型或平板PC 420经由蓝牙模块1(434)连接至蓝牙模块2(432)。多个传感器422被组合成一个，以及I2C或替代地SPI数字总线426将生物传感器数据提供至具有实时时钟的微控制器430。具有实时时钟的支持生物传感器的微控制器430经由UART接口对接至蓝牙模块2(432)，这完成了到蓝牙无线电装置1(434)的回路，蓝牙无线电装置1(434)为PC或平板420的一部分。
可以在PC端定期地从PC 420输出能够由连接至具有实时时钟的嵌入式微处理器430的传感器感测的信号。作为第一个非限制性示例，PC声卡可以发出各种频率的短20毫秒正弦波脉冲串。第一秒的第一脉冲串可以是1010Hz，使得在短20毫秒传输中可以广播20个周期。在一秒以后的下一个脉冲串中，频率可以为1020Hz，第三发射可以为1030Hz等。因此，N秒之后，频率将被编码成包含1000Hz+N*10Hz。如果N＝120秒，则最后一个脉冲串将包含1000Hz+120*10Hz＝2200Hz。以这种方式，附接至嵌入式微处理器的麦克风传感器可以用于精确调整可变PC操作系统的延迟。
一般而言，将信息从外围PC传送至微控制器需要能够从PC被发送至微控制器的能量。该能量在硬连线的情况下可以为电信号的形式，或者替代地可以为光(光子)、声波、无线电传输(RF)的形式。还可以设想其他形式的能量。衍生形式还可以进一步被分段，例如光子可以是可见光或紫外线或红外线。在声波情况下，声波可以是人听得见的声波或超声波。
在图2中可以看到替选实施方式，在该替选实施方式中可以使用附接至PC 520的发射器522中任之一来发射能够由直接连接至具有实时时钟和操作系统的支持生物传感器的微处理器/微控制器530的传感器526检测的能量。在示例性实施方式中，附接至PC 520的LED用作发射器，而光电二极管或其他光接收器附接至嵌入式微控制器530。与基于声音的编码方案类似，基于光的编码方案可以将从PC到一个专门包括的传感器的基准信号调制成微处理器530的输入，从而独立地和精确地测量PC 520上的探针/刺激与记录的生物传感器信号在时间上的相对位置。由于光比声音传得更快，因此这将更精确，但并不一定需要。
替选实施方式是自明的，并且包括通过超声换能器使用20KHz-50KHz范围内的超声波，该范围的超声波人类听不见，但是容易使用现代发射器和接收器来广播和测量。可以将小型发射器装置插入到USB、耳机输出端和PC 520的其他模拟和数字输出端，然后将其耦接至微处理器530中包括的特定生物传感器，以使PC与记录生物传感器阵列时间上同步。
替选实施方式包括使用红外LED(波长小于眼睛能看到的波长)和接收所发送的光的适当的IR光电二极管、可听声和可听声麦克风或甚至第一蓝牙无线电装置1和第二蓝牙无线电装置2。
如在图3中可以看到，这种配对的发射器--接收器方法可以通过包含附接至具有延迟的PC 520的收发器1(532)和附接至实时嵌入式微处理器530的收发器2(534)来概括。
视觉刺激--鼠标点击响应硬件
如图4所示，视觉刺激和鼠标点击响应计算机系统的硬件包括光传感器566(即光电二极管、光电晶体管、光电管、光敏电阻器)，其附接至计算机屏幕570(即LCD、触摸屏)。光传感器566被定位在屏幕的角落，使得它不阻挡计算机屏幕的主视图。光传感器566可以借助于吸盘、夹子、胶带或其他装置来附接。光传感器566将被遮蔽以防止房间杂散光照射在检测器上，以确保该传感器仅检测来自计算机显示器的光。
当向患者呈现视觉刺激时，在光传感器566的影响下，小点568也同时被照射在计算机显示器570上。光传感器信号580将由放大器582(图6)进行放大并且通过电压比较器584进行脉冲成形。基准电压583设置光强度阈值。该基准电压可以通过来自微控制器586的模拟输出来自动调整。光传感器580和电压比较器584的电路向微控制器586呈现精确触发信号，由此用信号表示视觉刺激的开始时间。微控制器将立即激活数字输出588逻辑高来用信号表示刺激的开始。然后，无线发送器590将数字输出588提供给天线592以供传输。
为了感测病人的响应，使用定制鼠标572(图4)。微控制器将监测计算机鼠标的开关触点600(图7)。当受试者通过点击鼠标键来响应刺激时，微控制器将数字输出588复位成逻辑低，以用信号表示患者的反应响应发生的精确时间。数字输出610(图8)的脉冲宽度表示受试者的反应时间，以及上升沿612(图8)指示视觉刺激的开始时间。
选通数字开关脉冲588将用于接通/关断无线发送器590，其将开关键控(OOK)调制载波发送至匹配的接收器578(图9)。接收器578对该载波进行放大632和解调630，由此将反应时间脉冲的数字副本616(图8)呈现给生物传感器数据收集微控制器。该生物传感器数据收集微控制器将使用生物传感器数据646(图10)给该数据加上时间戳。
无线发送器/接收器对可以是如下所述的在RF频谱中操作的发送器、在红外光谱中操作的脉冲红外光或在超声声谱中操作的超声脉冲。
RF链路
用于RF无线链路的硬件可以包括在433MHz的RF频段操作的LTNX公司的TXM-433-LR射频发送器和RXM-433-LR接收器对。该小型集成电路实现RF链路的简单部件数少的解决方案。http://www.linxtechnologies.com/resources/data-guides/txm-xxx-lr.pdf。替选选择包括与在868MHz和915MHz的频段可操作的ST4313或射频解决方案AM110C1-315配对的芯科科技公司(Silicon Labs)的Si4010。甚至可以在配对中使用2.4GHz的无线发送器例如北欧的nRF24L01+。蓝牙收发器、ZigBee、ANT及其他也是本发明的实施方式。甚至在配对中可以采用Wi-Fi模块例如ESP8266Wi-Fi。
红外链路
用于红外线无线链路的IR发送器硬件可以包括以940nm的红外波长操作并通过微控制器在36KHz的载波频率下启动/关断(pulsedOn/Off)的威世半导体TSAL4400红外(IR)发光二极管(LED)。http://www.vishay.com/docs/81006/tsal4400.pdf。作为非限制性示例，IR接收器硬件可以包括具有消除背景噪音的36KHz带通滤波器的威世半导体TSOP6236。http://www.vishay.com/docs/82463/tsop62.pdf。也可以是VS1838 TL和TL1838或VS1838B通用接收头。
超声链路
用于超声链路的超声发送器硬件可以包括利用微控制器在40KHz的声频率下操作以生成40KHz载波的村田电子MA40S4S超声发送器。http://www.murata.com/～/media/webrenewal/support/library/catalog/products/k70e.ashx。超声接收器硬件可以包括村田电子MA40S4R接收器。超声空间中的替选发送器/接收器对包括HC-SR04发送器与US-015接收器，以及TCT40-16T发送器与TCT40-16R接收器。
硬连线链路
传输链路还可以是生物传感器头戴式耳机和刺激/响应电路之间的硬连线连接。在这种配置中，可以使用光隔离电路来确保患者的安全。
测试号识别/校准
可以通过使用附接至计算机屏幕570的两个或更多个光传感器容易地发送开始患者的测试之前的前置码传输。通过以二进制格式点亮适当的点阵列，微控制器可以确定哪些测试即将发生并且将该信息发送至EEG数据收集微控制器。
因此，在图4所示的实施方式中，一种用于使具有视觉显示器570的具有延迟的抖动PC 560与受试者上的包括嵌入式微控制器的头戴式电子模块576同步的系统。在该特定实施方式中，发射器是视觉显示器570的特定区域568，该特定区域568发射由光电二极管或光电晶体管566接收的光，所述光电二极管或光电晶体管566被连接到电子电路564，电子电路564包括编码方案562，编码方案562将编码数据无线发送至由受试者佩戴的电子模块576中的接收电路578。另外，经由连接574直接接线的鼠标572的鼠标点击的精确计时通过电子电路564输入至该系统。
现在可以更详细地描述系统的各个部件。如图5所示，具有视觉屏幕570的PC 560具有特定关注区域568，该关注区域568负责生成与PC视觉显示器570上显示的并且作为探针呈现给受试者的其他对象571很好地同步的基准光信号。
图6示出了接线到电子电路564的光电二极管或光敏电阻器580的细节，电子电路564包括放大器582，放大器582的输出连接至电压比较器584，电压比较器584查看阈值基准583并且在微控制器586中将两者进行比较，微控制器586具有选通开关输出588，其移至无线发送器590以经由天线592输出。
图7示出了计算机鼠标572的细节，计算机鼠标572具有在其制造中包括的高速精密开关600，使得鼠标左键和右键602可以经由到受试者样式嵌入式微控制器的有线接口或无线接口的直接链路574被编码。
图8示出了编码方案562的详细视图，由此在上迹线看到随着沿x轴的时间变化的幅值的图形表示。在上迹线的最左边可以看到视觉刺激612开始，然后在点击鼠标响应时间614结束，从而产生测试1反应时间610。在下迹线中，可以看到发射器的为相对高频率的开关键控无线信号形式的输出，以实现在确定视觉刺激开始612和受试者的鼠标点击响应结束614的精确计时，从而通过键控高频率无线信号的存在和持续时间对测试1反应时间进行编码。在上迹线的右侧，可以看到第二测试反应时间618并且在其下面可以看到其相应的键控高频无线信号620，其中通过键控高频无线信号620的起始和终止对试验的反应时间618的持续时间进行编码。
图9提供了更详细地观察具有无线接收器的EEG头戴式耳机或戴在头上的其他电子模块576，该无线接收器用于捕获与EEG数据、加速度数据、脉搏血氧数据和基于任何其他头戴式生物传感器的信号同步的无线反应时间信号。可以在受测者576佩戴的电子模块内看到接收器电路578，接收器电路578包括接收天线634，接收天线634附接至放大器632，放大器632由解调器630来解调。
图10示出了受试者的反应时间信息如何与具有实时时钟的微控制器中的基于生物传感器的信号例如EEG信号精确同步。该方案580在上迹线中示出了来自受试者与具有延迟的抖动PC的交互的数字信号的随着x轴上的时间变化的y轴上的幅值。如前所述，诸如视觉刺激的事物呈现在642处开始，以及受试者将会具有事件或响应，在此示出为非限制性的鼠标点击响应644，因此产生视觉刺激642与响应644之间的差异，该差异构成测试1反应时间640。然后该数字信号与在本示例中示出为非限制性的EEG信号的基于生物传感器的连续信号紧密同步。与图10的左侧类似，在图10的上迹线右侧可以看到有较长的响应测试2反应时间648连同同步的并且与下迹线右侧对应的生物传感器信号650，在该情况下生物传感器信号650为EEG信号。
在替选实施方式中，图11示出了安装在EEG头戴式耳机或直接从计算机LCD或视觉显示器捕获光的受试者佩戴的电子模块中的光传感器662和透镜660。在该情况下，来自由具有延迟的抖动PC的视觉显示器发出的光经由透镜660直接收集在光电二极管或光电晶体管662中。光电二极管或光电晶体管信号被耦合至放大器664，放大器664连同阈值基准666连接至电压比较器668，使得微控制器670可以因此确定从具有延迟的抖动PC收集的光何时上升超过预设阈值，该预设阈值指示受试者对其响应的探针或刺激的呈现。该实施方式具有以下优点：在具有延迟的抖动PC附近不需要另外的硬件，但是具有另外的要求：由具有延迟的抖动PC的视觉显示器发出的光被接收并且可以通过透镜660收集。
图12示出了本发明的替选实施方式，该实施方式不包括计算机鼠标而是包括在该情况下与线686连接的特定触控笔684，由此触控笔684具有嵌入在触控笔的末端的高速开关682，使得每次触控笔按压到平板PC或视觉显示器680上时，以高速开关682的开启和关闭对精确计时进行编码。可以理解，这种人类接口设备与鼠标不同并且可以在某些情况下提供更自然的交互，从而更好地评估受试者对视觉显示器上的刺激探针或经由声卡通向受试者的听觉皮层的听觉刺激的响应的相对计时。
发送器和接收器之间的听觉联动
本发明也可以用于其他类型的刺激例如听觉刺激。在该配置中，使用附接至计算机的扬声器格栅(grill)的微型麦克风694(图13)来替换光传感器，该扬声器格栅用信号表示听觉刺激被呈现给患者的确切时间，这与计算机的操作系统计时抖动无关。如果使用耳塞而不是扬声器，可以在源生成声卡和耳塞之间插入加密狗。如图13中所示，可听声用作用于同步的能量传送。在该情况下，可听声麦克风694被包括为在由受试者佩戴的电子设备模块中的或本地定位在外围PC上的、从用作发射器的PC扬声器690产生的人类可听声捕获声音的接收器。更精确地说，该计算机扬声器690发出声波作为能量源692，能量源692由麦克风694在受试人上接收，麦克风694的输出端连接至电子电路708，电子电路708包括放大器696，放大器696与输入阈值基准698一起耦接至电压比较器700。然后，电压比较器700的输出转到微控制器702，微控制器702具有开关选通输出，该开关选通输出由无线发送器704接收作为输入，无线发送器机704的输出通过天线706来生成。该实施方式的优点在于，由PC扬声器690生成的声音被均匀地接纳，使得该声音易于由受试者佩戴的麦克风694检测。这种方法的潜在问题是声音对受试者的中枢神经系统的影响。
在图14中，示出了用于检测通过耳塞递送的可听声的替选实施方式。在该实施方式中，在接线盒714处拦截要进入耳塞712的有线声音，接线盒714经由连接710对电声音信号的第二副本进行划分，连接710以类似类型进入电子电路708。在该情况下，当声音安静，幅值相对于阈值基准将为低，并且当声音实际上被接受时，检测到的信号将大于阈值基准，这将以高精度和相对短延迟同步地选通和关断无线发送器，以实现耳塞712的可听刺激探针与由具有实时时钟的微控制器收集的基于生物传感器的数据的其余部分之间的同步无线传输。
其他类型的响应设备
本发明也可以与除了计算机鼠标以外的其他患者响应设备一起使用。在图12中，例如，对于平板PC 680，本发明可以被并入具有开关682的触控笔684，以检测触控笔何时接触PC的触摸屏的屏幕。在另一种实施方式中，触控笔可以具有不同着色的两个末端以唯一地标记每个末端。根据所呈现的刺激，可以按压着色/标记有A并且包含微型开关的末端。对于另一任务，可以按压标记有B的替选末端，从而区分受试者的选择。雪茄形状的形式要素可以替选地用于坡度或加速度计内，以测量受试者的响应。可以经由陀螺测试仪获得角旋转，以进行6轴而不是仅3线性轴运动分析从而对受试者的运动微妙细化。
此外，对刺激的响应也可以是受试者眨眼。在这种布置中，位置Fp1和/或Fp2处的EEG信号会很容易直接获得眨眼响应。
如在图15所实现的，如果加速度计被并入生物传感器头戴式耳机电子模块720或邻近于生物传感器头戴式耳机电子模块720放置，则对刺激的响应也可以是患者的头部倾斜。还可以利用手势检测，由此运动处理单元(加速度+专门的微控制器722)被用作为事件标记器，使得一次物理敲击对一种类型的事件进行编码，而连续两次物理敲击对第二类型事件进行编码。更具体地，替代使用鼠标点击，右敲击一次，左敲击两次。
图15的这种配置的优点在于，受试者仅需敲击他们的头部，以向嵌入式微控制器722指示以下响应：指示他们听到了什么、看到了什么或其他感官和认知输入。
用于二进制和更多选择的其他编码方案
图16示出了以下替选实施方式，其包括将鼠标左击或右击事件或右触摸屏事件或左触摸屏事件编码成开关键控无线信号的替选手段，在此鼠标左击被被编码为单输出脉冲而鼠标右击被编码为双输出脉冲。在该方案中，可以看到上迹线示出了数字信号的随着时间变化的幅值，并且在上迹线精确同步的正下方是开关键控无线信号的随着时间变化的幅值输出。当视觉刺激或听觉刺激呈现在732处开始时，该视觉刺激或听觉刺激由受试者通过鼠标点击—在这种情况下响应734—来感知，并且时间差被示出为测试1反应时间730。在这结束时，如果鼠标左键被按下，则数字系统736表达单个脉冲。在左下迹线中，可以看到，如750所示，开关键控无线系统在刺激呈现开始和受试者的鼠标响应点击之间具有高幅值，以及在该开关键控无线信号之后是单个脉冲的持续时间输出748。这种后续输出脉冲对这是鼠标左键而不是鼠标右键的事实进行编码。类似地，在右手侧的上迹线中，可以看到由鼠标点击响应740—在这种情况下鼠标右键响应—结束的测试2反应时间738，所以固定宽度能量的两个脉冲742被标记在反应时间之后。这可以在右下迹线被可视化为以开关键控无线信号746对反应时间进行编码，其中在鼠标点击响应中，上升沿指示视觉刺激的开始而下降缘指示对视觉刺激开始的响应，但是在该情况下在开关键控无线信号746之后是两个能量脉冲744，从而对这是右手侧鼠标键按压而非左手侧鼠标键按压的事实进行编码。本领域的普通技术人员可以设想其他类似的方案，由此以另外的能量脉冲的频率或者以多个能量脉冲或者在该情况下实际数目的能量脉冲的幅值对另外的信息进行编码。
本领域的技术人员还将理解，本发明可以适用于其他应用，并且在不偏离本发明的范围的情况下可以对本发明进行修改。例如，可以在工业应用中使用本文所描述的具有延迟的抖动PC，以及远程传感器和嵌入式微控制器可以在服务器上、在云中、在电子模块中或在本地PC、平板PC、智能电话或定制手持设备上。因此，本发明的范围并不意在受上述示例性实施方式限制，而是仅由所附权利要求书限制。

Claims (10)

1.一种用于使具有操作延迟的PC与具有实时时钟的支持生物传感器的微控制器同步的系统，包括：
发送器，所述发送器从所述具有延迟的PC发送刺激信号；
输入设备，所述输入设备指示受试者对所述刺激信号的响应；
编码电路，所述编码电路适于对所述刺激信号和所述受试者对所述刺激信号的响应之间的时间差异进行编码；
发射器，所述发射器适于发送表示所述受试者的反应时间的编码差异信号；以及
互补接收器，所述互补接收器适于检测所述编码差异信号，所述互补接收器包括对所述编码差异信号进行解码以确定所述受试者的反应时间的解码电路，所述互补接收器将所述受试者的反应时间提供至所述具有实时时钟的支持生物传感器的微控制器，用以使所述具有操作延迟的PC与所述具有实时时钟的支持生物传感器的微控制器同步。
2.根据权利要求1所述的系统，其中，所述发射器包括可见光LED、超声换能器、红外(IR)LED、可听声扬声器、可听声换能器、蓝牙发送器/收发器、Wi-Fi发送器/收发器、ZigBee发送器/收发器或AM发送器/收发器或FM发送器/收发器。
3.根据权利要求2所述的系统，其中，所述互补接收器包括可见光光电二极管、可见光光电晶体管、超声接收器/麦克风、红外(IR)光电二极管、红外光电晶体管、可听声麦克风、蓝牙接收器/收发器、Wi-Fi接收器/收发器、ZigBee接收器/收发器、AM接收器/收发器或FM接收器/收发器。
4.根据权利要求1所述的系统，其中，所述输入设备为鼠标，以及所述编码电路响应于来自所述发送器的所述刺激信号和来自所述鼠标的对所述刺激信号作出响应的输入信号。
5.根据权利要求4所述的系统，其中，所述编码电路将所述差异信号编码为开关键控无线信号，并且将所述编码差异信号提供至所述发射器以无线传输至所述互补接收器。
6.根据权利要求5所述的系统，其中，所述编码电路将鼠标左击编码为一个键控脉冲，而将鼠标右击编码为两个键控脉冲。
7.根据权利要求1所述的系统，其中，所述互补接收器位于所述受试者的EEG头戴式耳机处，所述EEG头戴式耳机包括所述解码电路和用于使所述受试者的反应时间与由所述EEG头戴式耳机收集的EEG数据同步的所述微控制器。
8.根据权利要求7所述的系统，其中，所述发射器包括可听声扬声器，以及所述互补接收器包括所述受试者的耳塞，所述耳塞将接收的声音信号提供至所述解码电路。
9.根据权利要求7所述的系统，其中，所述EEG头戴式耳机包括手指敲击输入设备作为所述输入设备。
10.根据权利要求1所述的系统，其中，所述输入设备为触控笔，以及所述具有延迟的PC为平板PC。
CN201580045886.4A 2014-06-30 2015-06-30 使有操作延迟的pc与有实时时钟的微控制器同步的系统 Expired - Fee Related CN107847194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462019291P 2014-06-30 2014-06-30
US62/019,291 2014-06-30
PCT/US2015/038673 WO2016004111A1 (en) 2014-06-30 2015-06-30 System and methods for the synchronization of a non-real time operating system pc to a remote real-time data collecting microcontroller

Publications (2)

Publication Number Publication Date
CN107847194A CN107847194A (zh) 2018-03-27
CN107847194B true CN107847194B (zh) 2020-11-24

Family

ID=55019937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580045886.4A Expired - Fee Related CN107847194B (zh) 2014-06-30 2015-06-30 使有操作延迟的pc与有实时时钟的微控制器同步的系统

Country Status (4)

Country Link
US (2) US20180184964A1 (zh)
EP (1) EP3160347B1 (zh)
CN (1) CN107847194B (zh)
WO (2) WO2016004117A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004117A1 (en) 2014-06-30 2016-01-07 Cerora, Inc. System and signatures for a multi-modal physiological periodic biomarker assessment
WO2017027709A1 (en) 2015-08-11 2017-02-16 Cognoa, Inc. Methods and apparatus to determine developmental progress with artificial intelligence and user input
US11064881B2 (en) * 2015-11-13 2021-07-20 Hennepin Healthcare System, Inc Method for predicting convergence disorders caused by concussion or other neuropathology
JP2019504402A (ja) * 2015-12-18 2019-02-14 コグノア， インコーポレイテッド デジタル個別化医療のためのプラットフォームおよびシステム
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
US11504038B2 (en) * 2016-02-12 2022-11-22 Newton Howard Early detection of neurodegenerative disease
US20170258390A1 (en) * 2016-02-12 2017-09-14 Newton Howard Early Detection Of Neurodegenerative Disease
US11164596B2 (en) 2016-02-25 2021-11-02 Samsung Electronics Co., Ltd. Sensor assisted evaluation of health and rehabilitation
CN108697392B (zh) * 2016-02-29 2022-01-28 大金工业株式会社 判定结果输出装置、判定结果提供装置及判定结果输出系统
US10682096B2 (en) * 2016-03-31 2020-06-16 Wave Neuroscience, Inc. System for diagnosing mental disorders using neurometrics
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
CN106361322A (zh) * 2016-08-31 2017-02-01 博睿康科技（常州）股份有限公司 一种脑电装置的累计偏差自动检测方法和装置
JP7324709B2 (ja) 2017-02-09 2023-08-10 コグノア，インク． デジタル個別化医療のためのプラットフォームとシステム
RU2670668C9 (ru) * 2017-07-07 2018-12-12 Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр психиатрии и наркологии имени В.П. Сербского" Министерства здравоохранения Российской Федерации (ФГБУ "НМИЦ ПН им. В.П. Сербского" Минздрава России) Способ выявления и дифференциальной диагностики шизофрении от расстройств личности
EP3454339A1 (en) 2017-09-07 2019-03-13 Koninklijke Philips N.V. Method and apparatus for improving the measurement of the timing of touches of a touch screen
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
JP6337362B1 (ja) * 2017-11-02 2018-06-06 パナソニックＩｐマネジメント株式会社 認知機能評価装置、及び、認知機能評価システム
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
JP6973508B2 (ja) * 2017-12-28 2021-12-01 日本電気株式会社 信号処理装置、解析システム、信号処理方法および信号処理プログラム
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10799169B2 (en) * 2018-06-08 2020-10-13 Timothy J. Wahlberg Apparatus, system and method for detecting onset Autism Spectrum Disorder via a portable device
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
KR20210093281A (ko) * 2018-11-09 2021-07-27 아킬리 인터랙티브 랩스 인크. 정서 장애의 검사 및 치료를 위한 얼굴 표정 검출
CN109545293A (zh) * 2018-12-04 2019-03-29 北京大学 一种基于app的孤独症高危婴儿筛查系统
CN111326253A (zh) * 2018-12-14 2020-06-23 深圳先进技术研究院 自闭症谱系障碍患者的多模态情感认知能力的评估方法
CN109784287A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于情景信号类前额叶网络的信息处理方法、系统、装置
EP3941340A4 (en) 2019-03-22 2022-11-30 Cognoa, Inc. PERSONALIZED DIGITAL THERAPY METHODS AND DEVICES
CN110141231B (zh) * 2019-05-17 2022-08-16 天津大学 一种无线脑电采集中的事件时点同步记录方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US20220022790A1 (en) * 2020-07-22 2022-01-27 Actibrain Bio, Inc. Ai (artificial intelligence) based device for providing brain information
RU2744353C1 (ru) * 2020-07-23 2021-03-05 Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр психиатрии и наркологии имени В.П. Сербского" Министерства здравоохранения Российской Федерации (ФГБУ "НМИЦ ПН им. В.П. Сербского" Минздрава России) Способ диагностики предрасположенности к импульсивному агрессивному поведению у психически здоровых лиц
WO2022046740A1 (en) * 2020-08-26 2022-03-03 Brain Scientific, Inc. Integrated brain machine interface platform with graphene based electrodes
EP3967223A1 (en) * 2020-09-09 2022-03-16 Beats Medical Limited A system and method for providing tailored therapy to a user
AU2021232775A1 (en) * 2020-09-22 2022-04-07 Health Tech Connex Inc. Methods and apparatus for triggering a stimulus for evoked brain response analysis
IL303193A (en) * 2020-12-22 2023-07-01 Regeneron Pharma Systems and methods for analyzing signal-based features for determining clinical outcomes
CN112773331B (zh) * 2021-01-14 2022-07-12 成都福瑞至脑健康科技有限公司 一种脑健康状态监测与评价方法与系统
FR3121834A1 (fr) 2021-04-20 2022-10-21 Scale-1 Portal Système de traitement de troubles neurovisuels ou vestibulaires et procédé de commande d’un tel système
EP4329588A1 (en) * 2021-04-28 2024-03-06 Cumulus Neuroscience Limited Technique for obtaining and processing a measurement of a biosignal
SE545345C2 (en) * 2021-06-30 2023-07-11 Tobii Ab Method and system for alignment of data
US11670184B2 (en) * 2021-07-22 2023-06-06 Justin Ryan Learning system that automatically converts entertainment screen time into learning time
CN113724863B (zh) * 2021-09-08 2022-10-25 山东建筑大学 一种自闭症谱系障碍的自动判别系统、存储介质及设备
CN115062328B (zh) * 2022-07-12 2023-03-10 中国科学院大学 一种基于跨模态数据融合的信息智能解析方法
HUP2200356A1 (hu) * 2022-09-06 2024-03-28 Kiserleti Orvostudomanyi Ki Rendszer és eljárások biológiai adatok valós idõben milliszekundumos idõbeli pontossággal történõ szinkronizációjára
CN116236205A (zh) * 2022-12-19 2023-06-09 天津大学 一种多通道微型脑电采集系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552284A (zh) * 2003-12-18 2004-12-08 常州市第一人民医院 儿童认知功能发育测试系统
CN1622839A (zh) * 2001-12-28 2005-06-01 斯科特实验室公司 自动评价并监测患者响应能力的设备和方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366805B1 (en) * 1999-05-26 2002-04-02 Viasys Healthcare Inc. Time frame synchronization of medical monitoring signals
ES2467154T3 (es) 2000-05-18 2014-06-12 Commwell, Inc. Método para la monitorización médica remota que incorpora procesamiento de video
US7261690B2 (en) 2000-06-16 2007-08-28 Bodymedia, Inc. Apparatus for monitoring health, wellness and fitness
US7460903B2 (en) * 2002-07-25 2008-12-02 Pineda Jaime A Method and system for a real time adaptive system for effecting changes in cognitive-emotive profiles
CN1323637C (zh) * 2003-01-27 2007-07-04 周曙 神经行为通用测试系统
US20050085744A1 (en) * 2003-10-20 2005-04-21 Stmicroelectronics S.R.I. Man-machine interfaces system and method, for instance applications in the area of rehabilitation
US20050261559A1 (en) 2004-05-18 2005-11-24 Mumford John R Wireless physiological monitoring system
WO2006009771A1 (en) 2004-06-18 2006-01-26 Neuronetrix, Inc. Evoked response testing system for neurological disorders
CN1778272A (zh) * 2004-11-22 2006-05-31 中国科学院心理研究所 便携式事件相关电位仪
US20090024050A1 (en) 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
CN100571612C (zh) * 2007-07-13 2009-12-23 深圳迪美泰数字医学技术有限公司 用于临床或非临床生物信号记录的纯数字医用放大器
US8393734B2 (en) 2007-09-14 2013-03-12 Neuroptics, Inc. Pupilary screening method and system
GB2462101B (en) * 2008-07-24 2012-08-08 Lifelines Ltd A system for monitoring a patient's EEG output
US8494857B2 (en) 2009-01-06 2013-07-23 Regents Of The University Of Minnesota Automatic measurement of speech fluency
US8521439B2 (en) 2009-05-08 2013-08-27 Pulsar Informatics, Inc. Method of using a calibration system to generate a latency value
US9492344B2 (en) * 2009-08-03 2016-11-15 Nike, Inc. Unified vision testing and/or training
CN101695448A (zh) * 2009-10-22 2010-04-21 安徽医科大学 一种用于测量反应延时的测量装置
US20110224571A1 (en) * 2009-11-16 2011-09-15 Alvaro Pascual-Leone Non-invasive methods for evaluating cortical plasticity impairments
US8744875B2 (en) 2009-12-23 2014-06-03 Mindray Ds Usa, Inc. Systems and methods for synchronizing data of a patient monitor and a portable sensor module
US8655428B2 (en) * 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
US8948861B2 (en) * 2011-03-31 2015-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for determining optimum wake time
US20130035579A1 (en) * 2011-08-02 2013-02-07 Tan Le Methods for modeling neurological development and diagnosing a neurological impairment of a patient
CN103211652B (zh) * 2012-01-20 2015-07-22 有医科技股份有限公司 生物刺激信号测量方法
US20130274626A1 (en) * 2012-04-13 2013-10-17 UE Technology Measuring method for synchronizing bio-signals with stimulations
US20170020406A1 (en) * 2012-04-13 2017-01-26 UE Technology Method for measuring biological stimulus signal
US20140012509A1 (en) * 2012-07-06 2014-01-09 Daniel Barber Methods and systems for synchronization and distribution of multiple physiological and performance measures
US20140128735A1 (en) 2012-11-02 2014-05-08 Cardiac Science Corporation Wireless real-time electrocardiogram and medical image integration
US10085688B2 (en) * 2012-11-20 2018-10-02 El-Mar Inc. Method of identifying an individual with a disorder or efficacy of a treatment of a disorder
CA2929286A1 (en) 2012-11-28 2014-06-05 Neuren Pharmaceuticals Limited Treatment of autism spectrum disorders using glycyl-l-2-methylprolyl-l-glutamic acid
US20140180060A1 (en) 2012-12-17 2014-06-26 Todd Parrish Methods and Systems for Automated Functional MRI in Clinical Applications
JP6142354B2 (ja) * 2013-02-27 2017-06-07 国立研究開発法人理化学研究所 脳波信号処理装置、脳波信号処理方法、プログラム、及び記録媒体
US9463132B2 (en) 2013-03-15 2016-10-11 John Castle Simmons Vision-based diagnosis and treatment
US20160029965A1 (en) 2013-03-15 2016-02-04 Adam J. Simon Artifact as a feature in neuro diagnostics
AU2014228116B2 (en) * 2013-03-15 2019-01-03 Adam J. Simon System and signatures for the multi-modal physiological stimulation and assessment of brain health
US20160235323A1 (en) * 2013-09-25 2016-08-18 Mindmaze Sa Physiological parameter measurement and feedback system
US20150261936A1 (en) * 2014-03-13 2015-09-17 Hong Kong Baptist University Method for Separating and Analyzing Overlapping Data Components with Variable Delays in Single Trials
WO2016004117A1 (en) 2014-06-30 2016-01-07 Cerora, Inc. System and signatures for a multi-modal physiological periodic biomarker assessment
US20160029962A1 (en) 2014-07-29 2016-02-04 Elwha Llc Medically active toys
CN106156480A (zh) * 2015-07-01 2016-11-23 安徽华米信息科技有限公司 一种数据统计方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1622839A (zh) * 2001-12-28 2005-06-01 斯科特实验室公司 自动评价并监测患者响应能力的设备和方法
CN1552284A (zh) * 2003-12-18 2004-12-08 常州市第一人民医院 儿童认知功能发育测试系统

Also Published As

Publication number Publication date
US20180184964A1 (en) 2018-07-05
US20170177023A1 (en) 2017-06-22
WO2016004117A1 (en) 2016-01-07
US10254785B2 (en) 2019-04-09
EP3160347A1 (en) 2017-05-03
EP3160347B1 (en) 2021-03-03
CN107847194A (zh) 2018-03-27
EP3160347A4 (en) 2018-02-28
WO2016004111A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
CN107847194B (zh) 使有操作延迟的pc与有实时时钟的微控制器同步的系统
EP3548994B1 (en) Detecting and using body tissue electrical signals
JP6330199B2 (ja) スマートウェアラブル装置の身体位置最適化及び生体信号フィードバック
US20160015289A1 (en) Form factors for the multi-modal physiological assessment of brain health
US20200305792A1 (en) Determining an orientation of a wearable device
KR20160055103A (ko) 뇌 건강의 다중-모드 생리적 자극 및 평가를 위한 시스템 및 시그너처
KR102173725B1 (ko) 생체 신호를 측정하는 방법 및 장치
JP2017520358A (ja) 生理学的信号検出および解析システムおよび装置
US20120299822A1 (en) Communication and Device Control System Based on Multi-Frequency, Multi-Phase Encoded Visual Evoked Brain Waves
KR20110105363A (ko) 인체 장착형 센서셋 및 그 동작 방법
US11699524B2 (en) System for continuous detection and monitoring of symptoms of Parkinson&#39;s disease
KR20200103397A (ko) 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
US20160120474A1 (en) Wearable Device for the Ear with Electroencephalographic and Spectroscopic Sensors
KR20120111030A (ko) 인체 장착형 센서셋 및 그 동작 방법
KR20160108967A (ko) 생체신호 측정장치 및 이를 이용한 생체신호 측정방법
US20210022641A1 (en) Wearable multi-modal bio-sensing system
KR20190078929A (ko) 집중력 향상 스마트 책상
KR20170142227A (ko) 생체신호를 이용한 수면상태 모니터링방법
US20150272508A1 (en) Signal processing system providing marking of living creature physiological signal at a specific time
JP2002102190A (ja) 生体機能測定システム
WO2023115558A1 (en) A system and a method of health monitoring
CN108207108A (zh) 基于云端的脉搏血氧测量系统和方法及可选的头带组件
JP2015188649A (ja) 複数の生理指標および視線の分析支援装置、プログラム
KR20220047187A (ko) 피처 결합을 이용한 인지 기능 검사 방법 및 서버
CN115770013A (zh) 辅助弱势人群的眼动测试方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124

Termination date: 20210630