CN115981464A - 一种虚拟现实系统、显示模式控制方法及电子设备 - Google Patents
一种虚拟现实系统、显示模式控制方法及电子设备 Download PDFInfo
- Publication number
- CN115981464A CN115981464A CN202211654517.3A CN202211654517A CN115981464A CN 115981464 A CN115981464 A CN 115981464A CN 202211654517 A CN202211654517 A CN 202211654517A CN 115981464 A CN115981464 A CN 115981464A
- Authority
- CN
- China
- Prior art keywords
- data
- electroencephalogram
- signal
- brain
- display mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000004556 brain Anatomy 0.000 claims abstract description 145
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请实施例提供了一种虚拟现实系统、显示模式控制方法及电子设备，包括：主控模块、脑电信号获取模块及显示模块；显示模块用于按照当前的显示模式进行图像数据的显示；脑电信号获取模块用于获取人脑响应于显示模块显示的图像数据的脑电信号，并将脑电信号发送给主控模块；主控模块用于确定脑电信号对应的目标显示模式，将目标显示模式及待显示图像数据发送给显示模块；显示模块用于按照目标显示模式，对待显示图像数据进行显示。主控模块根据脑电信号确定对应的目标显示模式后，显示模块按照目标显示模式调整待显示图像数据，并对调整后的待显示图像数据进行显示，可以根据用户的实际VR体验需求自适应切换显示模式，提高了用户的VR视觉体验。
Description
技术领域
本申请涉及电子技术领域，特别是涉及一种虚拟现实系统、显示模式控制方法及电子设备。
背景技术
在相关虚拟现实VR(Virtual Reality)技术中，一般是通过头戴式VR显示器进行三维场景画面显示，增进人机交互体验。但是目前的虚拟现实设备的显示分辨率和刷新率都是固定的，因此在实际使用中无法根据用户的实际VR体验需求自适应切换显示模式，降低了用户的VR体验。
发明内容
本申请实施例的目的在于提供一种虚拟现实系统、显示模式控制方法及电子设备，以提高用户的VR体验。具体技术方案如下：
第一方面，本申请实施例提供一种虚拟现实系统，所述系统包括：
主控模块、脑电信号获取模块及显示模块；
所述显示模块，用于按照当前的显示模式，进行图像数据的显示；
所述脑电信号获取模块，用于获取人脑响应于所述显示模块显示的图像数据的脑电信号，并将所述脑电信号发送给所述主控模块；
所述主控模块，用于确定所述脑电信号对应的目标显示模式，将所述目标显示模式及待显示图像数据发送给所述显示模块；
所述显示模块，还用于按照所述目标显示模式，对所述待显示图像数据进行显示。
在一种可能的实施方式中，所述脑电信号获取模块包括多个采集电极、信号放大器、模数转换器；
所述采集电极，用于采集人脑的光电信号，并将所述光电信号发送给所述信号放大器；
所述信号放大器，用于接收所述光电信号，对所述光电信号进行滤波及放大，得到校正后的光电信号；将所述校正后的光电信号发送给所述模数转换器；
所述模数转换器，用于接收所述放大后的光电信号，将所述放大后的光电信号转换为数字形式的脑电信号，并将所述脑电信号发送给所述主控模块。
在一种可能的实施方式中，所述脑电信号获取模块包括4-10个采集电极。
在一种可能的实施方式中，所述主控模块包括中央处理器、图形处理器；所述显示模块包括显示控制芯片及显示屏；
所述中央处理器，用于获取所述脑电信号；对所述脑电信号进行特征提取，得到脑电特征；确定所述脑电特征对应的目标显示模式，并将所述目标显示模式配置给所述显示控制芯片；
所述图形处理器，用于对图像数据进行预处理，得到待显示图像数据；将所述待显示图像数据发送给所述显示控制芯片；
所述显示控制芯片，用于按照所述目标显示模式对所述待显示图像数据渲染，并在所述显示屏上进行显示。
在一种可能的实施方式中，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述中央处理器，具体用于针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；计算所述脑网络数据的网络平均路径数作为脑电特征。
在一种可能的实施方式中，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述中央处理器，具体用于针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
在一种可能的实施方式中，所述中央处理器，具体用于利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；分别计算各所述数据队列的能量值；选取最小的能量值作为距离阈值。
在一种可能的实施方式中，所述中央处理器，具体用于：针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
在一种可能的实施方式中，所述中央处理器，具体用于：针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
第二方面，本申请实施例提供一种显示模式控制方法，所述方法包括：
获取待显示图像数据及人脑响应于显示模块显示的图像数据的脑电信号；
确定所述脑电信号对应的目标显示模式；
将所述目标显示模式及所述待显示图像数据发送给显示模块，以使所述显示模块按照所述目标显示模式对所述待显示图像数据进行显示。
在一种可能的实施方式中，所述确定所述脑电信号对应的目标显示模式，包括：
对所述脑电信号进行特征提取，得到脑电特征；
按照预先确定的脑电特征与显示模式的第一对应关系，确定所述脑电特征对应的目标显示模式。
在一种可能的实施方式中，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述对所述脑电信号进行特征提取，得到脑电特征，包括：
针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；
在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；
获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；
计算所述脑网络数据的网络平均路径数作为脑电特征。
在一种可能的实施方式中，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离，包括：
针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
在一种可能的实施方式中，所述获取距离阈值，包括：
利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；
分别计算各所述数据队列的能量值；
选取最小的能量值作为距离阈值。
在一种可能的实施方式中，所述分别计算各所述数据队列的能量值，包括：
针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
在一种可能的实施方式中，所述计算所述脑网络数据的网络平均路径数作为脑电特征，包括：
针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
第三方面，本申请实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第二方面中任一所述的方法步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面中任一所述的方法步骤。
本申请实施例有益效果：
本申请实施例提供的一种虚拟现实系统、显示模式控制方法及电子设备，该虚拟现实系统包括：主控模块、脑电信号获取模块及显示模块；所述显示模块，用于按照当前的显示模式，进行图像数据的显示；所述脑电信号获取模块，用于获取人脑响应于所述显示模块显示的图像数据的脑电信号，并将所述脑电信号发送给所述主控模块；所述主控模块，用于确定所述脑电信号对应的目标显示模式，将所述目标显示模式及待显示图像数据发送给所述显示模块；所述显示模块，用于按照所述目标显示模式，对所述待显示图像数据进行显示。主控模块根据脑电信号确定对应的目标显示模式后，显示模块按照目标显示模式调整待显示图像数据，并对调整后的待显示图像数据进行显示，通过上述虚拟现实VR系统，可以根据用户的实际VR体验需求自适应切换显示模式，提高了用户的VR视觉体验。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的虚拟现实系统的第一种结构示意图；
图2a为本申请实施例提供的虚拟现实系统的第二种结构示意图；
图2b为采集电极名称及与头部接触位置示意图；
图3a为本申请实施例提供的虚拟现实系统的第三种结构示意图；
图3b为本申请实施例提供的虚拟现实系统的第四种结构示意图；
图4为一个包含5个节点和5条边/连边的简单网络示意图；
图5为本申请实施例提供的显示模式控制方法的一种流程示意图；
图6为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
随着科学技术的发展，虚拟现实VR技术日渐成熟，越来越得到大众的青睐。在传统虚拟现实VR技术中，一般是通过头戴式虚拟现实显示器进行三维场景画面显示，增进人机交互体验，其根本原理是让用户的左右眼分别观看两幅近乎完全相同，仅拍摄角度稍有差异的图像，经过用户大脑处理成立体感，为用户提供虚拟的立体环境。但是目前的虚拟现实VR设备的显示分辨率和刷新率都是固定的(显示模组规格参数固定)，因此在实际使用中无法根据用户的实际VR体验需求来自适应切换显示模式。例如：用户在需要真实沉浸感的虚拟游戏等交互环境中时，无法根据用户当下的实际VR体验自适应提升系统的分辨率和刷新率；当用户观看时间较长时，出现疲劳，无法根据用户当下的观看状态调节分辨率，以使显示画面不要过于清晰。
针对上述问题，相关技术中通过提供一种显示模式切换方法来进行解决，但是仅仅可以实现显示器包含并列排列的第一显示屏和第二显示屏显示方式的切换，具体的，获取显示模式切换指令，根据所述显示模式的指示信息切换所述第一显示屏和第二显示屏的显示图像信息。并不能根据用户的实际VR体验需求来自适应切换显示模式。
为了可以根据用户的实际VR体验需求自适应切换显示模式，提高用户的VR体验，本申请实施例提供了一种虚拟现实系统及显示模式控制方法。
首先，对本申请实施例提供的一种虚拟现实系统进行详细说明，参见图1，所述虚拟现实系统包括：
主控模块1、脑电信号获取模块2及显示模块3；
所述显示模块3，用于按照当前的显示模式，进行图像数据的显示；
所述脑电信号获取模块2，用于获取人脑响应于所述显示模块显示的图像数据的脑电信号，并将所述脑电信号发送给所述主控模块1；
所述主控模块1，用于确定所述脑电信号对应的目标显示模式，将所述目标显示模式及待显示图像数据发送给所述显示模块3；
所述显示模块3，还用于按照所述目标显示模式，对所述待显示图像数据进行显示。
在虚拟现实系统运行的过程中，显示模块会按照当前的显示模块进行图像数据的显示。此处当前的显示模式，可以为显示模块初始状态下的预设显示模式，也可以为主控模块发送给显示模块的显示模式，均在本申请的保护范围内。
用户在观看显示模块显示的图像数据的过程中，用户的人脑响应于观看到的图像，会产生相应的信号，利用脑电信号获取模块采集该信号并进行预处理，得到人脑的脑电信号(Electroenc Ephalo gram，EEG)。脑电信号是通过相关设备从头皮上将大脑皮层的自发性生物电位加以放大记录而获取的信号，是通过电极记录下来的脑细胞群的自发性、节律性电活动。EEG采集是一种非侵入式记录大脑皮层放电信号的方式，是一种常用的检测大脑活动的方式。
脑电信号对应的目标显示模式，是指实时获取用户在虚拟现实VR环境中激励生成的脑电信号，根据一定时间范围内得到的脑电信号变化趋势判断用户的实时VR体验需求。例如：当用户的脑电信号反映出当前观看的视频不够清晰时，此时目标显示模式应为高显示分辨率、高显示刷新率，以满足用户需要高清视觉体验的实时需求。
显示模块接收到目标显示模式及待显示图像数据后，按照目标显示模式调整待显示图像数据，显示调整后的图像数据。一个例子中，当用户的脑电信号反映出当前观看的视频不够清晰时，此时目标显示模式可以为高显示分辨率、高显示刷新率，显示模块按照该目标显示模式提高待显示图像数据的显示分辨率及显示刷新率，以满足用户需要高清视觉体验的实时需求。一个例子中，当用户的脑电信号反映出当前观看的视频出现卡顿、清晰度恰好时，说明视频解码或渲染的资源可能不足，此时目标显示模式可以为保持清晰度不变，降低视频的刷新率；显示模块按照该目标显示模式保持待显示图像数据的分辨率不变，而降低显示刷新率，以减少视频卡顿的情况。
待显示图像数据可以为压缩后图像数据，也可以为源图像数据，具体可以根据图像数据的存储大小进行选择。一个例子中，待显示图像数据为RGB(三原色)24图像，每个像素占三个字节，每个字节为8bit(binarydigit，比特)，需要将图像数据进行压缩后发送给显示模块。
在本申请实施例中，主控模块根据脑电信号确定对应的目标显示模式后，显示模块按照目标显示模式调整待显示图像数据，并对调整后的待显示图像数据进行显示，因此可以根据用户的实际VR体验需求自适应切换显示模式，提高了用户的VR视觉体验。
在一种可能的实施方式中，参见图2a，所述脑电信号获取模块2包括多个采集电极21、信号放大器22、模数转换器23；
所述采集电极21，用于采集人脑的光电信号，并将所述光电信号发送给所述信号放大器22；
所述信号放大器22，用于接收所述光电信号，对所述光电信号进行滤波及放大，得到校正后的光电信号；将所述校正后的光电信号发送给所述模数转换器23；
所述模数转换器23，用于接收所述放大后的光电信号，将所述放大后的光电信号转换为数字形式的脑电信号，并将所述脑电信号发送给所述主控模块1。
用户在VR场景中进行交互时，会很容易激发产生事件相关电位(event-relatedpotential,ERP)，事件相关电位是一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。它反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当用户对VR场景进行认知加工时，从头皮表面记录到的脑电位。采集电极通过与用户头皮接触从而实时获取人脑的事件相关电位，采集电极命名以及与头部接触对应的位置可以根据“国际标准导联”方法确定，如图2b所示，其中人脸的朝向为上方，采集电极位置应根据颅骨标志的测量加以确定，尽可能与头颅的大小和形状成正比；采集电极的标准位置应当适当分布在头颅的所有部位；采集电极位置的名称应结合脑部分区(额区，颞区，顶区，枕区)；用国际阿拉伯数字标示电极：左半球为奇数，右半球为偶数，零点代表头颅正中央，A1，A2代表左右耳垂，接近中线的用较小的数字，较外侧用较大的数字，采集电极的命名及位置对应表如下表1所示。
表1
| 位置 | 英文名称 | 采集电极名称 |
| 前额 | pre frontal lobe | FP1、FP2 |
| 侧额 | inferior frontal lobe | F7、F8 |
| 额区 | frontal lobe | F3、F4、FZ |
| 中央 | central lobe | C3、C4、CZ |
| 颞区 | temperal lobe | T3、T4 |
| 后颞 | posterior temperal lobe | T5、T6 |
| 顶区 | parietal lobe | P3、P4、PZ |
| 枕区 | occipital lobe | O1、O2 |
| 耳 | auricular | A1、A2 |
在进行脑电信号采集前，用户需要先佩戴好虚拟现实VR头盔，并在头部对应位置固定好采集电极，确保接触良好并可以获得光电信号。准备工作完成后，用户可以正常启动虚拟现实VR系统，并可以在专业光电信号采集应用界面监测到采集电极接触是否良好，采集电极接触良好可以保证脑电信号获取模块实时采集到较为明显的脑电信号。
在一种可能的实施方式中，所述脑电信号获取模块2包括4-10个采集电极。
采集电极过少会导致脑电信号采集数据过少，从而判断得到的用户实际的VR体验需求欠缺说服力；采集电极过多导致脑电信号采集数据过多，计算量增大，主控模块负担过重造成系统延时，因此根据图2b中所示在头戴式设备(用于采集人脑的光电信号)正上方头箍对应位置安装4-10个采集电极即可，一个例子中，采集电极的数量可以为4个，如图2a中所示，给出4个采集电极进行示意(第一采集电极211、第二采集电极212、第三采集电极213、第四采集电极214)。采集电极通过转接线与信号放大器相连，信号放大器用于将采集的光电信号进行滤波及放大，将校正后的光电信号发送给模数转换器，模数转换器负责将校正后的光电信号转换为数字形式的脑电信号并将脑电信号发送给主控模块。
在本申请实施例中，通过采集电极、信号放大器及模数转换器实现了对数字形式的脑电信号的采集，并将其发送给主控模块进行处理。
在一种可能的实施方式中，参见图3a，所述主控模块1包括CPU(centralprocessing unit，中央处理器)11、GPU(Graphics Processing Unit，图形处理器)12；所述显示模块3包括显示控制芯片31及显示屏32；
所述CPU11，用于获取所述脑电信号；对所述脑电信号进行特征提取，得到脑电特征；确定所述脑电特征对应的目标显示模式，并将所述目标显示模式配置给所述显示控制芯片31；
所述GPU12，用于对图像数据进行预处理，得到待显示图像数据；将所述待显示图像数据发送给所述显示控制芯片31；
所述显示控制芯片31，用于按照所述目标显示模式对所述待显示图像数据渲染，并在所述显示屏32上进行显示。
主控模块用于整个系统的控制及信号数据计算，包括显示模块驱动、脑电信号获取模块驱动、脑电信号处理、三维场景渲染等，主控模块包括CPU(Central ProcessingUnit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)及内存，内存用于存储所述图像数据。为了兼容更广泛的应用范围，保证系统计算速度和稳定性，本申请中的CPU可以使用高性能android(安卓)处理器，一个例子中，安卓处理器可以为Qualcomm(高通)865处理器，也可以为Qualcomm XR2处理器等，本申请对此不做具体限定。
可以通过构建脑网络模型对脑电信号进行特征提取，一个例子中，可以将每个阶段的脑网络平均路径长度作为该阶段的脑电特征，路径长度定义为脑网络中任意两节点间的距离的平均值，用以刻画全局连接特征。例如，某个阶段的脑电特征可以为0.25-0.5。
一个例子中，脑电特征为0.25-0.5时，对应的目标显示模式为2160*1600p，90Hz。即当用户的脑电特征反映为0.25-0.5时，此时目标显示模式应为显示分辨率2160*1600p、显示刷新率90Hz，以满足用户当下的视觉体验需求。
在一种可能的实施方式中，通过构建脑网络模型得到的脑电特征可以与显示模式对应的寄存器值进行匹配，即在进行脑电信号获取、特征提取得到脑电特征后，CPU会对该脑电特征进行识别，并按照该脑电特征对应的目标显示模式，在显示控制芯片对应的寄存器中写入对应的寄存器值，如图3b所示。显示控制芯片支持多种显示模式的输出，以用于多种应用场景，显示控制芯片中会提前写好不同寄存器值对应的显示模式列表，通过读取到不同的寄存器值设定不同的显示分辨率和显示刷新率。通过建立脑电特征--显示模式—寄存器值之间的对应关系，从而实现根据用户的实际VR体验需求自适应调整显示模式。脑电特征--显示模式—寄存器值之间的对应关系如下表2所示：
表2
| 脑电特征 | 显示模式 | 寄存器值 |
| 0～0.25 | 3840*2160p，75Hz | flag＝0 |
| 0.25～0.5 | 2160*1600p，90Hz | flag＝1 |
| 0.5～0.75 | 1920*1080p，60Hz | flag＝2 |
| 0.75～1 | 1280*720p，60Hz | flag＝3 |
| …… | …… | …… |
需要说明的是，表2中只是对脑电特征--显示模式—寄存器值之间的对应关系作一个示意，并不展示所有的对应关系。
在本申请的虚拟现实VR系统中，如果频繁自适应调整显示模式，会对主控模块的损耗非常大，因此显示控制芯片可以对待显示图像数据渲染，渲染是将三维场景中的模型，按照设定好的环境、灯光、材质及渲染参数等，二维投影成数字图像的过程。当寄存器中写入目标显示模式对应的寄存器值后，显示控制芯片按照目标显示模式对待显示图像渲染，并在显示屏上进行显示。显示控制芯片将接收到的待显示图像数据进行解压缩，并按照寄存器值对应的显示模式输出待显示图像，具体步骤如下：
(1)主控模块可以对待显示图像数据进行压缩后，发送给显示控制芯片进行解压缩；
(2)显示控制芯片对待显示图像数据进行DSC(Display Stream Compression，影像压缩传输，常用的显示压缩技术)解压缩后，进行信息行处理，主要是读取寄存器中写入的寄存器值；
(3)显示控制芯片中会提前写好不同寄存器值对应的显示模式列表，读取到不同的寄存器值后会设定不同的显示分辨率和显示刷新率；
(4)显示控制芯片按照目标显示模式对待显示图像数据进行显示分辨率和显示刷新率的调整，最终输出调整后的图像数据在显示屏上进行显示。
需要注意的是，显示控制芯片对应的寄存器具有记忆功能，如果读取到前后两次的寄存器值一样，则认为虚拟现实VR系统不需要切换显示模式，进行解压缩后直接输出，节省进程。
参见图3b，脑电信号获取模块可以通过USB(Universal Serial Bus，通用串行总线)与主控模块中的CPU进行通信，一个例子中，USB接口可以为Type-c接口，也可以为其它的USB接口。主控模块中的CPU可以通过I2C通讯接口(同步串行总线)与寄存器进行通信，主控模块中的GPU可以通过MIPI PORT(Mobile Industry Processor Interface，移动行业处理器接口)与显示控制芯片进行通信。
在本申请实施例中，CPU根据脑电特征确定对应的目标显示模式后，显示控制芯片按照目标显示模式调整待显示图像数据，并对调整后的待显示图像数据进行显示，因此可以根据用户的实际VR体验需求自适应切换显示模式，提高了用户的VR视觉体验。
在一种可能的实施方式中，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述CPU，具体用于针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；计算所述脑网络数据的网络平均路径数作为脑电特征。
为了更好地监测用户在虚拟现实VR环境中一段时间内的脑电信号，可以根据预设间隔时间对脑电信号进行采集，每次采集的时间可以根据实际情况及数据量需求进行设置，预设间隔时间也可以根据实际情况及数据量需求进行设置。一个例子中，可以每间隔一小时采集一次脑电信号，每次采集时间可以为90秒，即用户每使用一小时VR设备进行一次脑电信号监测，计算得到脑电特征，根据脑电特征自适应调整显示模式。脑电信号获取模块的采集频率可以为1000Hz，一个例子中，如果每次采集90秒的脑电信号，单路脑电子信号长度可以为9万，可以基于充足的数据量构建脑网络模型。
距离阈值可以根据脑网络模型中的能量值进行确定，距离阈值过大会导致连边过多造成网络冗余，距离阈值过小会出现散点或子网络，可以将整个脑网络模型看作弹性力学系统，通过计算脑网络模型中的最小能量值(平均差异最小值)来作为距离阈值，从而构建更能反映用户生理特征的脑网络模型。
脑网络可以分为结构性脑网络(由神经单元之间的解剖性连接构成，反映大脑生理结构)、功能性网络(描述网络各节点之间的统计性连接关系，为无向网络)、因效性网络(描述网络各节点之间的相互影响或信息流向，为有向网络)。在脑网络研究领域，复杂脑网络研究是最为广泛的，也被称为基于图论分析的脑网络研究。在图论中，一个具体的网络可抽象为由点集和边集组成的图，边表示其连接的两个节点之间存在某种“关系”。如果边是无向的，则称该网络是无向网络，反之则称为有向网络；如各个边有不同的权重，则称该网络为加权网络；若节点之间的边既有方向又有权重，则称网络为有向加权网络。节点的度定义为与该节点连接的边的数目，有向网络中节点的度分为出度(该节点指向其他节点的边的数目)和入度(从其他节点指向该节点的边的数目)。加权网络中，与度对应的是节点强度，定义为与该节点相连的边的权重和。
在脑网络相关研究领域，特征路径长度、聚类系数、介数等测度指标常被用来度量网络整体或局部特征。网络特征路径长度(网络平均路径长度/网络平均路径数)定义为网络中任意两节点间的距离的平均值，用以刻画全局连接特征。当网络中存在非联通部分(如孤立点)，其特征路径长度的值将为无穷大。因此采用效率(定义为网络中所有节点的距离的调和平均的倒数)来刻画网络连接特征。效率值越大，表示信息或能量等在该网络上进行交换所需的代价越小。聚类系数用于刻画网络局部连接特征。对于度为k的某节点，若与之相连的k个节点之间实际连接的边数为m，则聚类系数定义为与之相连的k个节点之间实际连接的边数与k个节点之间可能连接的边数之比(C＝2m/[k(k-1)])。整个网络的聚类系数定义为各个节点的聚类系数的均值，用以描述网络中节点之间的连接紧密程度。网络各节点的重要性可用介数来刻画，通过一个节点(或边)的最短路径数成为该节点(或边)的介数。度或介数很高的节点成为中枢点。介数很高的节点(或边)通常对保持整个网络通讯的有效性很重要。而某个节点(或边)对网络的重要性可通过计算去掉该节点(或边)后的“受损”网络的效率来评估。
如图4所示，为一个包含5个节点和5条边/连边的简单网络。其中，“圆圈”表示网络中的节点，两个节点之间的“连接线”表示边/连边。
目前，复杂脑网络研究是脑科学领域的一个热点，同时也是复杂网络理论的一个重要分支。现有的基于脑电图、脑磁图、功能磁共振成像、弥散张量成像等脑成像技术的复杂脑网络研究已表明复杂网络理论在脑结构和脑功能分析方面是一个十分强大的工具。但基于医学造影技术的不断进步，目前的脑网络研究大多需要分子生物学、神经电生理学等辅助，用于大脑的功能性及疾病的诊断，需要特殊仪器设备，造价昂贵，不适用于虚拟现实VR领域。因此本申请实施例将实时采集的脑电信号时间序列映射成复杂网络，采用多路(通道)脑电子信号，根据距离阈值分别在同一通道脑电子信号间和同一采样时刻不同通道脑电子信号间建立连边，形成一个复杂脑网络模型。
在本申请实施例中，根据确定好的距离阈值，将脑电信号中距离小于距离阈值的数据进行连接，得到了脑网络模型；基于脑网络模型，通过计算网络平均路径长度得到了脑电特征。
在一种可能的实施方式中，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述CPU，具体用于针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
一个例子中，针对第1路脑电子信号，j+1的取值范围可以为2-9万(由上述实施例可知，单路脑电子信号长度可以为9万)，为了将脑网络模型更清晰地进行表示，引入混沌系统理论，即采集时间相邻的各数据间的距离可以通过欧氏距离来测量。欧氏距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
在本申请实施例中，针对每一路脑电子信号，通过公式可以计算得到每一路脑电子信号中采集时间相邻的各数据之间的距离。
在一种可能的实施方式中，所述CPU，具体用于利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；分别计算各所述数据队列的能量值；选取最小的能量值作为距离阈值。
可以根据每一路脑电子信号的长度及距离阈值的精确程度来设置窗口的预设长度。预设长度设置越短，距离阈值的选取越合适，但计算量会增加；预设长度设置越长，计算量会越小，但距离阈值的选取相对合适存在偏差。一个例子中，单路脑电子信号长度可以为9万，滑动窗口的预设长度可以设置为800，即用一个长度为800的滑动窗口随机截取各路脑电子信号的数据。
选取最小的能量值作为距离阈值，当
小于等于距离阈值时，j和j+1间建立连边，反之无连边。
在本申请实施例中，利用预设长度的滑动窗口，从各路脑电子信号中获取到多个预设长度的数据队列，通过计算各数据队列的能量值，得到了距离阈值。
在一种可能的实施方式中，所述CPU，具体用于：针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
使用上述公式计算每个数据队列的能量值，进行比较将最小的能量值作为距离阈值。得到距离阈值后，在各路脑电子信号之间，计算各采集时间相同的数据之间的距离，若距离小于等于距离阈值，则建立连边，反之无连边。一个例子中，{x11,x21,x31,x41}为四路脑电子信号之间，第一采集时刻分别对应的各数据，通过公式(1)计算上述各数据间的距离，距离小于等于距离阈值时，建立连边，反之无连边。需要注意的是，不同采集时间点且不同路脑电子信号间不需要建立连边。
在本申请实施例中，针对每一个数据队列，通过公式可以计算得到每一个数据队列的能量值。
在一种可能的实施方式中，所述CPU，具体用于：针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
通过将脑电信号中距离小于距离阈值的数据进行连接，得到脑网络数据后，通过计算网络平均路径长度来反映用户在该阶段的脑电特征，如公式(3)所示。
在本申请实施例中，通过计算网络平均路径长度得到了用户在该阶段的脑电特征。
基于同一构思，本申请实施例还提供了一种显示模式控制方法，参见图5，包括以下步骤：
步骤S501，获取待显示图像数据及人脑响应于显示模块显示的图像数据的脑电信号。
步骤S502，确定所述脑电信号对应的目标显示模式。
步骤S503，将所述目标显示模式及所述待显示图像数据发送给显示模块，以使所述显示模块按照所述目标显示模式对所述待显示图像数据进行显示。
在本申请实施例中，根据脑电信号确定对应的目标显示模式后，显示模块按照目标显示模式调整待显示图像数据，并对调整后的待显示图像数据进行显示，因此可以根据用户的实际VR体验需求自适应切换显示模式，提高了用户的VR视觉体验。
在一种可能的实施方式中，所述确定所述脑电信号对应的目标显示模式，包括：
对所述脑电信号进行特征提取，得到脑电特征；
按照预先确定的脑电特征与显示模式的第一对应关系，确定所述脑电特征对应的目标显示模式。
在本申请实施例中，通过预先确定的脑电特征与显示模式的第一对应关系，对脑电特征对应的目标显示模式进行确定。
在一种可能的实施方式中，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述对所述脑电信号进行特征提取，得到脑电特征，包括：
针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；
在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；
获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；
计算所述脑网络数据的网络平均路径数作为脑电特征。
在本申请实施例中，根据确定好的距离阈值，将脑电信号中距离小于距离阈值的数据进行连接，得到了脑网络模型；基于脑网络模型，通过计算网络平均路径长度得到了脑电特征。
在一种可能的实施方式中，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离，包括：
针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
在本申请实施例中，针对每一路脑电子信号，通过公式可以计算得到每一路脑电子信号中采集时间相邻的各数据之间的距离。
在一种可能的实施方式中，所述获取距离阈值，包括：
利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；
分别计算各所述数据队列的能量值；
选取最小的能量值作为距离阈值。
在本申请实施例中，利用预设长度的滑动窗口，从各路脑电子信号中获取到多个预设长度的数据队列，通过计算各数据队列的能量值，得到了距离阈值。
在一种可能的实施方式中，所述分别计算各所述数据队列的能量值，包括：
针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
在本申请实施例中，针对每一个数据队列，通过公式可以计算得到每一个数据队列的能量值。
在一种可能的实施方式中，所述计算所述脑网络数据的网络平均路径数作为脑电特征，包括：
针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
在本申请实施例中，通过计算网络平均路径长度得到了用户在该阶段的脑电特征。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述实施例中任一显示模式控制方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一显示模式控制方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一显示模式控制方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备、存储介质、计算机程序产品实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (14)
1.一种虚拟现实系统，其特征在于，所述系统包括：
主控模块、脑电信号获取模块及显示模块；
所述显示模块，用于按照当前的显示模式，进行图像数据的显示；
所述脑电信号获取模块，用于获取人脑响应于所述显示模块显示的图像数据的脑电信号，并将所述脑电信号发送给所述主控模块；
所述主控模块，用于确定所述脑电信号对应的目标显示模式，将所述目标显示模式及待显示图像数据发送给所述显示模块；
所述显示模块，还用于按照所述目标显示模式，对所述待显示图像数据进行显示。
2.根据权利要求1所述的系统，其特征在于，所述脑电信号获取模块包括多个采集电极、信号放大器、模数转换器；
所述采集电极，用于采集人脑的光电信号，并将所述光电信号发送给所述信号放大器；
所述信号放大器，用于接收所述光电信号，对所述光电信号进行滤波及放大，得到校正后的光电信号；将所述校正后的光电信号发送给所述模数转换器；
所述模数转换器，用于接收所述放大后的光电信号，将所述放大后的光电信号转换为数字形式的脑电信号，并将所述脑电信号发送给所述主控模块。
3.根据权利要求1所述的系统，其特征在于，所述主控模块包括中央处理器、图形处理器；所述显示模块包括显示控制芯片及显示屏；
所述中央处理器，用于获取所述脑电信号；对所述脑电信号进行特征提取，得到脑电特征；确定所述脑电特征对应的目标显示模式，并将所述目标显示模式配置给所述显示控制芯片；
所述图形处理器，用于对图像数据进行预处理，得到待显示图像数据；将所述待显示图像数据发送给所述显示控制芯片；
所述显示控制芯片，用于按照所述目标显示模式对所述待显示图像数据渲染，并在所述显示屏上进行显示。
4.根据权利要求3所述的系统，其特征在于，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述中央处理器，具体用于针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；计算所述脑网络数据的网络平均路径数作为脑电特征。
5.根据权利要求4所述的系统，其特征在于，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述中央处理器，具体用于针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
6.根据权利要求4所述的系统，其特征在于，所述中央处理器，具体用于利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；分别计算各所述数据队列的能量值；选取最小的能量值作为距离阈值。
7.根据权利要求6所述的系统，其特征在于，所述中央处理器，具体用于：针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
8.根据权利要求4所述的系统，其特征在于，所述中央处理器，具体用于：针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
9.一种显示模式控制方法，其特征在于，所述方法包括：
获取待显示图像数据及人脑响应于显示模块显示的图像数据的脑电信号；
确定所述脑电信号对应的目标显示模式；
将所述目标显示模式及所述待显示图像数据发送给显示模块，以使所述显示模块按照所述目标显示模式对所述待显示图像数据进行显示。
10.根据权利要求9所述的方法，其特征在于，所述脑电信号包括N路脑电子信号，每路所述脑电子信号对应一个采集电极；
所述确定所述脑电信号对应的目标显示模式，包括：
针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离；
在各路脑电子信号之间，计算各采集时间相同的数据之间的距离；
获取距离阈值，将所述脑电信号中距离小于所述距离阈值的数据进行连接，得到脑网络数据；
计算所述脑网络数据的网络平均路径数作为脑电特征；
按照预先确定的脑电特征与显示模式的第一对应关系，确定所述脑电特征对应的目标显示模式。
11.根据权利要求10所述的方法，其特征在于，第i路脑电子信号表示为{xi，1，xi，2，xi，3，…，xi，n}，其中，n为第i路脑电子信号中数据的数量；
所述针对每一路脑电子信号，计算该路脑电子信号中采集时间相邻的各数据之间的距离，包括：
针对第i路脑电子信号，通过如下公式计算第i路脑电子信号中采集时间相邻的各数据之间的距离：
其中，
表示第i路脑电子信号中第j+1各数据与第j个数据之间的欧氏距离，xi,j+1表示第i路脑电子信号中的第j+1个数据，xi,j表示第i路脑电子信号中的第j个数据。
12.根据权利要求10所述的方法，其特征在于，所述获取距离阈值，包括：
利用预设长度的滑动窗口，从各路所述脑电子信号中获取多个预设长度的数据队列，其中，每一所述脑电子信号中至少获取一个数据队列；
分别计算各所述数据队列的能量值；
选取最小的能量值作为距离阈值；
所述分别计算各所述数据队列的能量值，包括：
针对每一个数据队列，通过如下公式计算该数据队列的能量值：
其中，E表示该数据队列的能量值，Xi表示该数据队列中的第i个数据，Xj表示该数据队列中的第j个数据。
13.根据权利要求10所述的方法，其特征在于，所述计算所述脑网络数据的网络平均路径数作为脑电特征，包括：
针对所述脑网络数据，通过如下公式计算网络平均路径数作为脑电特征：
其中，L表示网络平均路径数，M表示所述脑网络数据中数据的数量，Dij为两个数据间最短路径上的连边数。
14.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述权利要求9-13中任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211654517.3A CN115981464A (zh) | 2022-12-22 | 2022-12-22 | 一种虚拟现实系统、显示模式控制方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211654517.3A CN115981464A (zh) | 2022-12-22 | 2022-12-22 | 一种虚拟现实系统、显示模式控制方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115981464A true CN115981464A (zh) | 2023-04-18 |
Family
ID=85971720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211654517.3A Pending CN115981464A (zh) | 2022-12-22 | 2022-12-22 | 一种虚拟现实系统、显示模式控制方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115981464A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118000684A (zh) * | 2024-04-08 | 2024-05-10 | 北京智精灵科技有限公司 | 基于心理测量网络的认知评估方法、训练方法及评估系统 |
-
2022
- 2022-12-22 CN CN202211654517.3A patent/CN115981464A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118000684A (zh) * | 2024-04-08 | 2024-05-10 | 北京智精灵科技有限公司 | 基于心理测量网络的认知评估方法、训练方法及评估系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI752466B (zh) | 影像處理方法、處理器、電子設備、儲存媒介 | |
| Zhao et al. | Learning sleep stages from radio signals: A conditional adversarial architecture | |
| WO2018214528A1 (zh) | 运动效果的展示方法及装置 | |
| WO2019184499A1 (zh) | 一种视频通话的方法、设备和计算机存储介质 | |
| TWI714926B (zh) | 夢境重現模型的構建方法、夢境重現方法及裝置 | |
| CN115981464A (zh) | 一种虚拟现实系统、显示模式控制方法及电子设备 | |
| Ding et al. | Noncontact multiphysiological signals estimation via visible and infrared facial features fusion | |
| Khan et al. | Robust extraction of P300 using constrained ICA for BCI applications | |
| WO2023056753A1 (zh) | 时空行为轨迹采集、生成方法、装置、设备、系统及存储介质 | |
| CN108304074A (zh) | 显示控制方法及相关产品 | |
| CN107773254A (zh) | 一种测试用户体验的方法及装置 | |
| US20190043154A1 (en) | Concentration based adaptive graphics quality | |
| CN103169451A (zh) | 一种疾病诊断方法、装置及机顶盒 | |
| CN111317466A (zh) | 一种脑电信号成像方法、系统以及计算机设备 | |
| CN113409220A (zh) | 人脸图像处理方法、装置、介质及设备 | |
| EP3893197A1 (en) | Image analysis method and system | |
| CN113040757B (zh) | 头部姿态监测方法、装置、头部智能穿戴设备及存储介质 | |
| Wang et al. | Multi-channel LFP recording data compression scheme using Cooperative PCA and Kalman Filter | |
| CN108937925A (zh) | 一种诱发脑电信号提取的方法、装置、设备及存储介质 | |
| CN116491960B (zh) | 脑瞬态监测设备、电子设备及存储介质 | |
| CN110148468A (zh) | 动态人脸图像重建的方法及装置 | |
| CN221860902U (zh) | 穿戴设备 | |
| CN217985239U (zh) | 一种智能监控系统 | |
| CN114898877B (zh) | 适用于多维度健康数据的处理方法及系统 | |
| KR102567684B1 (ko) | 디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |