CN113079411B - 一种多模态数据同步可视化系统 - Google Patents

一种多模态数据同步可视化系统 Download PDF

Info

Publication number
CN113079411B
CN113079411B CN202110426969.5A CN202110426969A CN113079411B CN 113079411 B CN113079411 B CN 113079411B CN 202110426969 A CN202110426969 A CN 202110426969A CN 113079411 B CN113079411 B CN 113079411B
Authority
CN
China
Prior art keywords
data
video
screen
subject
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110426969.5A
Other languages
English (en)
Other versions
CN113079411A (zh
Inventor
徐韬
张高天
王佳宝
王旭
朱越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110426969.5A priority Critical patent/CN113079411B/zh
Publication of CN113079411A publication Critical patent/CN113079411A/zh
Application granted granted Critical
Publication of CN113079411B publication Critical patent/CN113079411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种多模态数据同步可视化系统，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；在采集脑电信号时，同步录制的诱发视频和受试者面部表情视频叠加在脑电图的波形下面，并且将记录的眼睛注视位置在录制的呈现诱发图像屏幕的视频上进行标注，以固定大小的圆的方式进行显示，让实验人员达到仅仅通过观察更易于注意的标注形状和视频图像信息，就可以侦测到受试者眼动情况以及受试者当前对应的状态，降低了受试者状态监测难度。

Description

一种多模态数据同步可视化系统
技术领域
本发明属于生物医电技术领域，具体涉及一种数据同步可视化系统。
背景技术
大脑在进行活动时会自发性进行电活动，将该电活动放大记录而获得的图形就是脑电信号，脑电信号中包含了大量的生理与疾病信息,在临床医学方面,通过分析脑电信号频率、波形等特征，不仅可为某些脑疾病提供诊断依据,而且还为某些脑疾病提供了有效的治疗手段。在工程应用方面，根据脑电信号实现的脑机接口,通过分析人对不同的感觉、运动或认知活动产生脑电的差异,进而对脑电信号进行有效提取和分类，最终达到某种控制目的。无论是对于辅助医生决策诊断，还是帮助实验人员发现脑电信号中存在的规律和特征，脑电信号的分析都是必不可少的阶段。
现有技术中，【专利】(博睿康科技(常州)股份有限公司.一种脑电图时频信息可视化方法:中国,CN201910596246.2[P].2019-09-20.)提出了一个比较有效的脑电可视化方法。该专利提供了一种脑电图时频信息的可视化方法，其将视频信息叠加于脑电图的波形下面，以伪彩的方式进行显示，让医生达到仅仅通过观察更易于注意的颜色信息，就可以侦测到脑电图的病理变化，降低了监测难度，方便了医生对患者脑电图的分析过程。区别于一般的脑电图可视化方法或者软件仅仅显示脑电数据的做法，该专利考虑了脑电信号时频信息对于监测用户病理状态的重要性，即不同频率的脑电图会体现出病人或者受试者不同的生理或者病理信息,这对诊断和病灶的定位起到关键性作用。所以该专利在可视化脑电信号的基础上，又同时计算了脑电信号的时频信息并进行同步可视化，有利于医生对患者状态的及时评估及推进进一步的治疗。
该专利通过计算脑电信号的时频信息来推断患者或者受试者产生该段脑电信号时所处的状态，但对于他们真实所处的状态并没有进行关注、记录和显示。在该专利的基础上，如果能够同步可视化患者或受试者的实时状态，对于医生判断患者准确情况提出治疗方案，亦或是实验人员后续分析受试者的行为，都能提供极大的帮助。除此之外，在进行脑电相关实验时，由于受试者无意识的眼睛运动，采集到的脑电信号中会掺杂难以识别和分离的眼电信号，而通过记录受试者的面部状态可以很简单的解决这个问题。
发明内容
为了克服现有技术的不足，本发明提供了一种多模态数据同步可视化系统，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；在采集脑电信号时，同步录制的诱发视频和受试者面部表情视频叠加在脑电图的波形下面，并且将记录的眼睛注视位置在录制的呈现诱发图像屏幕的视频上进行标注，以固定大小的圆的方式进行显示，让实验人员达到仅仅通过观察更易于注意的标注形状和视频图像信息，就可以侦测到受试者眼动情况以及受试者当前对应的状态，降低了受试者状态监测难度。
本发明解决其技术问题所采用的技术方案如下：
一种多模态数据同步可视化系统，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；
所述数据采集模块在受试者观看屏幕上播放的实验视频时采集三部分数据：一是受试者的脑电数据；二是受试者面部表情变化数据；三是受试者眼睛注视屏幕位置的眼动数据；
所述数据读取模块读取四部分内容：一是采集的受试者的脑电数据；二是采集的录制受试者面部表情变化数据的视频；三是采集的受试者眼睛注视屏幕位置的眼动数据；四是屏幕上播放的实验视频，又称屏幕录制视频；
所述数据显示模块将数据读取模块读取的四部分内容通过计算机的画布进行可视化显示；所述脑电数据的波形直接显示在画布上；所述屏幕录制视频和受试者面部表情变化数据的视频，被解析成一帧一帧的图像后直接绘制在画布中；所述眼动数据的可视化显示是将脑电信号对应的同一时刻左右眼注视屏幕的坐标在屏幕录制图像上进行标注；
所述播放参数设置模块包括两部分功能，一是对脑电数据进行可视化显示时选择实时显示的脑电数据的通道；二是对脑电数据播放速度进行调节；
所述播放控制模块包括如下五个功能：(1)选择屏幕录制视频和受试者面部表情变化数据的视频的显示精度；(2)实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频和眼动数据的同步播放；(3)实现播放时对进度的控制，包括设置进度条、播放按钮、暂停按钮、下一秒按钮和退出按钮；(4)对画布进行布局，将画布划分成上、下左、下右三部分，上部分显示脑电数据波形，下左部分显示受试者面部表情变化数据的视频，下右部分显示屏幕录制视频；(5)对眼动数据在屏幕录制视频中进行标注。
进一步地，所述数据读取模块将脑电数据存储在一个二维数组中，数组第一维代表时间信息，第二维代表通道信息，数组每一行数据称之为一个采样点。
进一步地，所述解析屏幕录制视频和受试者面部表情变化数据的视频时将视频解析成一帧一帧的图像，能够获取视频长度、分辨率、视频总帧数和视频帧率。
进一步地，所述采集的受试者眼睛注视屏幕位置的眼动数据时以屏幕的左上角为坐标轴原点，左右眼睛注视位置分别通过一组坐标进行表示，同时记录受试者的左右眼瞳距和注视的中心位置。
进一步地，所述播放时对进度的控制采用滑动条让用户设定播放速度，滑动条范围在0到1之间，每次最小移动距离为0.1，代表用户播放速度在0到1之间自由选择，选择的精度是0.1。
进一步地，所述播放控制模块通过同步播放控制实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频、眼动数据之间关于时间戳的对应关系并且进行同步播放。
本发明的有益效果如下：
本发明通过同步可视化脑电多模态数据，可以直接观察出受试者当前状态和脑电信号时间上的对应关系，进而找到受试者状态和脑电图波形的潜在联系，本软件具有简单易用、直观明了的优点。
附图说明
图1为本发明方法的脑电多模态数据同步可视化软件总体处理流程图。
图2为现有技术脑电信号可视化图。
图3为本发明提出的脑电多模态数据同步可视化软件运行结果图；
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提出了一种脑电多模态数据同步可视化系统。所谓脑电多模态数据，是指受试者在进行脑电实验时，不只是单纯的采集受试者头皮产生的脑电信号，还要记录受试者实时的状态，具体包括受试者当前在进行实验的内容、受试者面部状态的变化以及受试者眼动的状态。本发明的目的就是在可视化脑电信息的同时，同步可视化受试者对应于该段脑电信号以上三种实时状态。通过直观明了的同步可视化受试者或患者真实状态，极大方便了医生决策的过程，对于准确的诊断提供了帮助。对于实验人员而言，通过观察受试者真实状态，更容易发现脑电信息和受试者行为的内在联系，为得出相关结论提供了帮助。
一种多模态数据同步可视化系统，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；
所述数据采集模块在受试者观看屏幕上播放的实验视频时采集三部分数据：一是受试者的脑电数据；二是受试者面部表情变化数据；三是受试者眼睛注视屏幕位置的眼动数据；
所述数据读取模块读取四部分内容：一是采集的受试者的脑电数据；二是采集的录制受试者面部表情变化数据的视频；三是采集的受试者眼睛注视屏幕位置的眼动数据；四是屏幕上播放的实验视频，又称屏幕录制视频；
所述数据显示模块将数据读取模块读取的四部分内容通过计算机的画布进行可视化显示；所述脑电数据的波形直接显示在画布上；所述屏幕录制视频和受试者面部表情变化数据的视频，被解析成一帧一帧的图像后直接绘制在画布中；所述眼动数据的可视化显示是将脑电信号对应的同一时刻左右眼注视屏幕的坐标在屏幕录制图像上进行标注；
所述播放参数设置模块包括两部分功能，一是对脑电数据进行可视化显示时选择实时显示的脑电数据的通道；二是对脑电数据播放速度进行调节；
所述播放控制模块包括如下五个功能：(1)选择屏幕录制视频和受试者面部表情变化数据的视频的显示精度；(2)实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频和眼动数据的同步播放；(3)实现播放时对进度的控制，包括设置进度条、播放按钮、暂停按钮、下一秒按钮和退出按钮；(4)对画布进行布局，将画布划分成上、下左、下右三部分，上部分显示脑电数据波形，下左部分显示受试者面部表情变化数据的视频，下右部分显示屏幕录制视频；(5)对眼动数据在屏幕录制视频中进行标注。
进一步地，所述数据读取模块将脑电数据存储在一个二维数组中，数组第一维代表时间信息，第二维代表通道信息，数组每一行数据称之为一个采样点。
进一步地，所述解析屏幕录制视频和受试者面部表情变化数据的视频时将视频解析成一帧一帧的图像，能够获取视频长度、分辨率、视频总帧数和视频帧率。
进一步地，所述采集的受试者眼睛注视屏幕位置的眼动数据时以屏幕的左上角为坐标轴原点，左右眼睛注视位置分别通过一组坐标进行表示，同时记录受试者的左右眼瞳距和注视的中心位置。
进一步地，所述播放时对进度的控制采用滑动条让用户设定播放速度，滑动条范围在0到1之间，每次最小移动距离为0.1，代表用户播放速度在0到1之间自由选择，选择的精度是0.1。
进一步地，所述播放控制模块通过同步播放控制实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频、眼动数据之间关于时间戳的对应关系并且进行同步播放。
具体实施例：
本发明使用Opensesame软件采集受试者的脑电多模态数据，实验进行时首先需要发送特定的信号“Trigger:1”标志着实验开始，同时Opensesame调用Pygaze运行pygaze_recording_start函数开始记录受试者的眼动数据，屏幕循环呈现特定的图像诱发受试者产生脑电信号，每次循环开始时先发送一个信号“Trigger：2”标志着此次循环开始，向眼动数据中写入一个事件信息pic_name_show，其中pic_name是呈现的图片的文件名。接着是呈现图片，同时等待受试者键盘输入正确的答案，按键后立即开始下一次循环；若15秒未输入依然进入下一次循环,此时行为数据记录不到键盘的按键。记录当前受试者的行为数据后结束本次循环。所有循环结束之后通过pygaze_recording_stop函数停止记录眼动数据并发送特定信号“Trigger：3”标志着实验正式结束。实验结束之后会呈现实验结果反馈界面，呈现内容为总正确数，总反应时间，总反应次数，平均反应时间，正确率等信息，呈现的同时记录上述信息。实验结束后受试者可以按任意键退出诱发程序。
数据读取模块负责读取脑电多模态数据，也就是由上述方法采集到的待同步显示化的数据。脑电多模态数据的源数据不同于普通的脑电数据只是单一的源数据。它一共有四种不同的源数据，一是原始的脑电数据，二是实验进行时录制的受试者屏幕视频数据，三是录制的受试者面部变化的视频数据，四是受试者眼睛注视屏幕位置的眼动数据。可以通过MNE打开这三个文件，之后便可以从这三个文件获取到此次实验的原始脑电数据及相关信息。为了方便可视化操作，将原始脑电数据存储在一个二维数组中，数组第一维代表时间信息，第二维代表通道信息。数组每一行数据称之为一个采样点，也叫作sample。通过简单计算存储数组的长度还可额外获得采样点个数和采样时长信息。打开录制的带有实验内容的屏幕视频和实验过程中受试者面部状态的录制视频，需要用到opencv库。opencv库通过底层调用ffmpeg，可以将视频解析成一帧一帧的图像，还可以获取视频长度、分辨率、视频总帧数、视频帧率等基本信息。视频解析成图像之后，便可直接绘制在画布中，会极大简化后续的可视化步骤。使用opencv另一个好处是可以在不全部解析视频的基础上直接获取指定帧的图像。受试者在观察屏幕时，虽然本身不会移动，但因为人的感受野范围是有限的，所以眼球会不断移动注视感兴趣的位置，眼球的移动可以通过特定设备记录下来。记录时，以屏幕的左上角为坐标轴原点，左右眼睛注视位置可以分别通过一组坐标进行表示，受试者的左右眼瞳距和注视的中心位置也在记录数据中有所体现。在显示眼动数据时，其实就是将某段脑电信号对应的左右眼注视坐标在屏幕录制图像上进行标注。但是一旦受试者在记录过程中产生眨眼动作，便无法获取到此时的眼动数据，故实际采集中直接记录为空值并且备注为无效数据，故在读取的时候，需要对空值和无效数据做相应的处理才能保证同步可视化结果的有效性。
数据采集后数据文件根据固定形式组织存储，在根文件夹下有四个子文件夹，分别为：Behavior文件夹，其中存放Opensesame记录的行为数据，包括反应时间，正确与否，正确率等；EEG文件夹下使用Opensesame采集到的原始的脑电数据保存在该文件夹下三个文件中：vhdr结尾的文件是BP导出的脑电数据的元数据文件，包括通道数目，通道名称，通道位置布局，采样率等相关信息。它是一个文本文件，可用任意编辑器打开。vmrk结尾文件是BP导出的标记数据文件。用于记录试验时为了区分不同情况所打的不同标记。eeg结尾文件则是BP导出的脑电数据文件。它是二进制文件，需要专门的打开工具，如EEGlab,MNE；EyeTracking文件夹中存储opensesame调用Pygaze保存的眼动数据文件，数据列间以"tab"分割。Event列记录了眼动数据的关键节点，如图片开始呈现等；Video文件夹下有两个视频文件，sujectX_Facevideo_0.avi调用Opencv录制的面部视频文件，分辨率为640*480。开始时间与脑电数据中Trigger:"1"，和眼动数据中的"start_trial"事件所在位置的时间相同；结束时间与脑电数据中Trigger:"3"，和眼动数据中的"stop_trial"事件所在位置的时间相同。sujectX_Screenvideo_0.avi调用Opencv录制的实验屏幕文件，分辨率为1920*1080。开始时间与脑电数据中Trigger:"1"，和眼动数据中的"start_trial"事件所在位置的时间相同；结束时间与脑电数据中Trigger:"3"，和眼动数据中的"stop_trial"事件所在位置的时间相同。
为了避免用户手动输入，所以使用tkinter中函数来实现交互选择相应文件。此部分文件读取的函数主要有四个，分别是读取脑电信号数据的路径函数open_eeg，读取眼动数据路径的函数open_eye_tracking,读取面部录制视频文件路径的函数open_face_video，读取屏幕录制视频路径的函数open_screen_video。这四个函数都是调用tkinter中自带的askopenfilename函数实现。
播放参数设置模块有两部分，在最终可视化结果上，实验人员观察到的脑电图横轴是时间、纵轴是导联位置，本发明测试所用的脑电数据导联数有32个，而目前最多的导联数可以有256个，人的精力是有限的，所有导联数据同时显示，实验人员不可能同时关注到所有导联脑电信号的变化情况，而且画布大小有限，同时展示的导联越多，每个导联可用空间越少，很容易发生细节的丢失，对于得到准确的分析结果是十分不利的。所以需要让实验人员自行选择兴趣的导联并进行显示。而在实现时，需要先从脑电信号元文件中获取到所有的导联名称，以复选框的形式展示所有导联名字让实验人员进行选择，再根据导联名字获取导联对应的数据进行可视化即可。为了同时保证可视化时播放的速度和显示细节，特别设置了最大可显示导联的数目。另一方面是能够在可视化对脑电信号播放速度进行调节，不重要的实验内容比如休息部分采集到的脑电，实验人员可以选择快速播放跳过，重要部分实验内容对应的脑电信号可以适当放慢播放速度，有利于发现特殊脑电波形产生的原因。使用滑动条来让用户设定合理的播放速度，滑动条范围是0到1之间，每次最小移动距离是0.1，代表用户播放速度可以在0到1之间自由选择，选择的精度是0.1，数值越大则播放速度越慢。
播放参数设置模块功能之一是展示通道选择。因为画布的大小有限，不可能把所有通道的数据同时展示在画布上。故默认展示'Fp1','F3','F7','FT9'四个通道的脑电数据，但本发明希望可以通过一个界面让用户手动选择他想要展示感兴趣的通道。因此定义了select_channel函数让用户可以自主选择通道。该函数首先使用MNE库根据读取的脑电信号路径获取本次打开的脑电信号数据，进而读取脑电信号元数据中通道相关的信息，包括通道数量和通道名字。然后使用tkinter中Checkbutton函数创建等同于通道数量个复选框，每个复选框的名字设置为一个通道名字。用户选中复选框并确定之后，通过获取被选中复选框的值，便可获得用户选择了哪些通道进行展示，并把这些通道名字存放在一个列表变量selected_channels中，该列表是一个全局变量，在任何位置都可以获得其中值。为了防止列表中数据叠加，每次向列表中写入新一轮的选中通道时，都要把原列表清空。
播放参数设置模块功能之一是播放速度调节。为了实现脑电信号和视频图像的播放速度可调节，故在每次播放的时候使用了time.sleep函数让进程休眠，休眠时长可以由用户通过tkinter.Scale函数创建出来的滑动条来决定。本发明中设置的滑动条范围是0-1之间，每次最小移动距离是0.1。该功能在select_player_speed函数中实现。
最后一部分是播放控制模块。在该模块要实现脑电多模态数据的同步播放控制，也就是逐秒显示当前秒的脑电信号以及对应的另外三种源数据。除此之外，还需要实现暂停功能，以便于深究可能感兴趣的某一秒数据；进度条以及进度条的跳转功能，进度条可以显示当前播放的进度以及剩余的进度，拖动进度条跳转可以在已知实验范式的情况下，快速找到感兴趣的脑电信息片段；以及播放退出功能。同步播放控制需要找到脑电信号、屏幕录制视频、面部录制视频、眼动数据之间关于时间戳的对应关系并且将之对应起来播放即可。而暂停、进度条、退出功能可以调用opencv库中函数进行实现。
脑电多模态数据同步可视化功能对应于播放控制模块是本软件最主要的功能，在该功能实现过程中有以下问题需要解决。
一是视频展示精度问题，以本次采集到的数据为例，脑电信号的采样率是1000hz，视频的帧率是每秒30帧，两个视频都是，眼动数据的采集频率是60hz。所以意味着每秒展示1000个脑电sample，30幅图像，60个眼动sample。可以每秒从30幅图像中任选其中之一，配合上该秒对应的眼电数据和眼动数据进行展示，但是这样做浪费了很多的信息，一些重要但是播放极其快的信息比如屏幕展示图像的改变在或是受试者的眨眼动作可能就捕捉不到，所以以秒为单位进行展示同步播放是不妥的，选择逐帧展示视频。
二是同步播放问题，只要找到一组对应关系，就可以解决这个问题，如果以秒为播放精度的对应关系上面已经提到了，如果是以帧为播放单位的话，只需要拿一秒的脑电采样点数和眼动采样点数除帧数即可得到一组对应关系，还是以上边的数据为例，33个脑电sample，对应1帧画面，对应2个眼动sample。找到对应关系使用一个for循环，循环长度设置为帧数，即可实现同步播放一秒的画面。外层再套一个大的循环，循环长度设置为采样总时长或者视频总时长(两者理论上应该是一致的)，即可完整播放所有数据。
第三是进度条、播放、暂停、下一秒、退出播放的实现。进度条直接通过cv2.createTrackbar函数创建，通过cv2.setTrackbarPos函数可以设置进度条进度，cv2.getTrackbarPos函数获得进度条当前进度。通过while循环和自己定义的两个标记loop_flag、pos即可实现自动播放，初始值pos＝-1，loop_flag＝0，每次循环开始判断pos的值和通过getTrackbarPos函数获得值是否一致，若不一致则当前秒就是getTrackbarPos函数获得的当前的进度条进度，按照上述方法同步展示当前秒的脑电和视频图像即可。同时将pos值置为getTrackbarPos函数得到的值，若循环开始pos的值和通过getTrackbarPos函数获得值一致的话，将loop_flag的值自加1并且把当前进度条通过setTrackbarPos函数设置到loop_flag对应的位置。如此以来，便可实现一秒接一秒的播放。但是需要注意的是，pos值和cv2.getTrackbarPos值不一致的原因一方面是上述提到的随着循环的进行而产生不一致，另一个产生不一致的原因则是在一秒数据播放过程中拖动了进度条，如果是这种情况loop_flag值也要置为getTrackbarPos函数得到的值。至于暂停、下一秒和退出播放都是通过cv2.waitKey(1)函数接受键盘命令实现的，当接受到键盘命令是空格时，进行等待，以实现暂停播放。是“n”时，结束该秒播放的循环，实现下一秒功能。接收到“q”时，退出大循环，并销毁播放窗口。
第四是展示的布局问题，将整个软件划分成上、下左、下右三部分，上这一部分再根据选择通道的数量划分成相应的小部分，下左这一部分用来显示某帧人脸录制图像，下右这一部分用来显示某帧屏幕录制图像。
第五是眼动数据在屏幕录制视频中进行标注，因为采集到的眼动数据其实是以屏幕左上角为原点，受试者左右眼注视的坐标。故把某帧对应的眼动sample的左右眼坐标分别求平均值，再通过cv2.circle函数在该帧图像上标注即可，通过使用cv2.circle函数，可以在指定的坐标位置绘制出半径大小和颜色可指定圆形。

Claims (6)

1.一种多模态数据同步可视化系统，其特征在于，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；
所述数据采集模块在受试者观看屏幕上播放的实验视频时采集三部分数据：一是受试者的脑电数据；二是受试者面部表情变化数据；三是受试者眼睛注视屏幕位置的眼动数据；
所述数据读取模块读取四部分内容：一是采集的受试者的脑电数据；二是采集的录制受试者面部表情变化数据的视频；三是采集的受试者眼睛注视屏幕位置的眼动数据；四是屏幕上播放的实验视频，又称屏幕录制视频；
所述数据显示模块将数据读取模块读取的四部分内容通过计算机的画布进行可视化显示；所述脑电数据的波形直接显示在画布上；所述屏幕录制视频和受试者面部表情变化数据的视频，被解析成一帧一帧的图像后直接绘制在画布中；所述眼动数据的可视化显示是将脑电信号对应的同一时刻左右眼注视屏幕的坐标在屏幕录制图像上进行标注；
所述播放参数设置模块包括两部分功能，一是对脑电数据进行可视化显示时选择实时显示的脑电数据的通道；二是对脑电数据播放速度进行调节；
所述播放控制模块包括如下五个功能：(1)选择屏幕录制视频和受试者面部表情变化数据的视频的显示精度；(2)实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频和眼动数据的同步播放；(3)实现播放时对进度的控制，包括设置进度条、播放按钮、暂停按钮、下一秒按钮和退出按钮；(4)对画布进行布局，将画布划分成上、下左、下右三部分，上部分显示脑电数据波形，下左部分显示受试者面部表情变化数据的视频，下右部分显示屏幕录制视频；(5)对眼动数据在屏幕录制视频中进行标注。
2.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述数据读取模块将脑电数据存储在一个二维数组中，数组第一维代表时间信息，第二维代表通道信息，数组每一行数据称之为一个采样点。
3.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述解析屏幕录制视频和受试者面部表情变化数据的视频时将视频解析成一帧一帧的图像，能够获取视频长度、分辨率、视频总帧数和视频帧率。
4.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述采集的受试者眼睛注视屏幕位置的眼动数据时以屏幕的左上角为坐标轴原点，左右眼睛注视位置分别通过一组坐标进行表示，同时记录受试者的左右眼瞳距和注视的中心位置。
5.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述播放时对进度的控制采用滑动条让用户设定播放速度，滑动条范围在0到1之间，每次最小移动距离为0.1，代表用户播放速度在0到1之间自由选择，选择的精度是0.1。
6.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述播放控制模块通过同步播放控制实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频、眼动数据之间关于时间戳的对应关系并且进行同步播放。
CN202110426969.5A 2021-04-20 2021-04-20 一种多模态数据同步可视化系统 Active CN113079411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110426969.5A CN113079411B (zh) 2021-04-20 2021-04-20 一种多模态数据同步可视化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426969.5A CN113079411B (zh) 2021-04-20 2021-04-20 一种多模态数据同步可视化系统

Publications (2)

Publication Number Publication Date
CN113079411A CN113079411A (zh) 2021-07-06
CN113079411B true CN113079411B (zh) 2023-02-28

Family

ID=76618173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426969.5A Active CN113079411B (zh) 2021-04-20 2021-04-20 一种多模态数据同步可视化系统

Country Status (1)

Country Link
CN (1) CN113079411B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890959B (zh) * 2021-09-10 2024-02-06 鹏城实验室 一种多模态图像同步采集系统及方法
CN116458850B (zh) * 2023-05-06 2023-11-03 江西恒必达实业有限公司 一种vr脑电采集装置及脑电监测系统
CN116369920A (zh) * 2023-06-05 2023-07-04 深圳市心流科技有限公司 脑电训练设备、工作方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135796A1 (ja) * 2006-05-18 2007-11-29 Visual Interactive Sensitivity Research Institute Co., Ltd. コンテンツに対する利用者応答を評価する制御装置
US9355366B1 (en) * 2011-12-19 2016-05-31 Hello-Hello, Inc. Automated systems for improving communication at the human-machine interface
CN109814718A (zh) * 2019-01-30 2019-05-28 天津大学 一种基于Kinect V2的多模态信息采集系统
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统
CN112578905A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6773400B2 (en) * 2002-04-01 2004-08-10 Philip Chidi Njemanze Noninvasive transcranial doppler ultrasound face and object recognition testing system
US20180032126A1 (en) * 2016-08-01 2018-02-01 Yadong Liu Method and system for measuring emotional state

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135796A1 (ja) * 2006-05-18 2007-11-29 Visual Interactive Sensitivity Research Institute Co., Ltd. コンテンツに対する利用者応答を評価する制御装置
US9355366B1 (en) * 2011-12-19 2016-05-31 Hello-Hello, Inc. Automated systems for improving communication at the human-machine interface
CN109814718A (zh) * 2019-01-30 2019-05-28 天津大学 一种基于Kinect V2的多模态信息采集系统
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统
CN112578905A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多模态理论的大数据可视化的优化与拓展;吕月米等;《包装工程》;20191220(第24期);全文 *

Also Published As

Publication number Publication date
CN113079411A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113079411B (zh) 一种多模态数据同步可视化系统
US11848083B2 (en) Measuring representational motions in a medical context
Giannakos et al. Multimodal data as a means to understand the learning experience
WO2019182816A1 (en) Apparatus and method for user evaluation
US20220044821A1 (en) Systems and methods for diagnosing a stroke condition
WO2011109509A1 (en) Displaying and manipulating brain function data including enhanced data scrolling functionality
WO2010051037A1 (en) Visually directed human-computer interaction for medical applications
WO2011109522A1 (en) Displaying and manipulating brain function data including filtering of annotations
JP2020146204A (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US20190236824A1 (en) Information processing device, information processing method, computer program product, and biosignal measurement system
JP2018153469A (ja) 情報表示装置、生体信号計測システムおよびプログラム
CN114640699B (zh) 基于vr角色扮演游戏交互的情绪诱发监测系统
Szajerman et al. Joint analysis of simultaneous EEG and eye tracking data for video images
JP2020151082A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
US11484268B2 (en) Biological signal analysis device, biological signal measurement system, and computer-readable medium
Jo et al. Rosbag-based multimodal affective dataset for emotional and cognitive states
Koelstra Affective and Implicit Tagging using Facial Expressions and Electroencephalography.
JP2020146206A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
WO2020139108A1 (ru) Способ проведения когнитивных исследований с использованием системы нейровизуализации и механизма обратной связи
CN110942812A (zh) 自动化认知功能评估系统
CN115813343A (zh) 儿童行为异常评估方法和系统
JP7135845B2 (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
CN109805945B (zh) 记录回放装置及方法
Tarnowski et al. A system for synchronous acquisition of selected physiological signals aimed at emotion recognition
Chin et al. An affective interaction system using virtual reality and brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant