CN116603229A - 基于脑电信号的电子游戏难度动态调整方法 - Google Patents

基于脑电信号的电子游戏难度动态调整方法 Download PDF

Info

Publication number
CN116603229A
CN116603229A CN202310430185.9A CN202310430185A CN116603229A CN 116603229 A CN116603229 A CN 116603229A CN 202310430185 A CN202310430185 A CN 202310430185A CN 116603229 A CN116603229 A CN 116603229A
Authority
CN
China
Prior art keywords
player
difficulty
electroencephalogram
network
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310430185.9A
Other languages
English (en)
Inventor
许超
郝达
刘鑫
王浩宇
王云健
高森源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University
Original Assignee
Liaoning University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University filed Critical Liaoning University
Priority to CN202310430185.9A priority Critical patent/CN116603229A/zh
Publication of CN116603229A publication Critical patent/CN116603229A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

基于脑电信号的电子游戏难度动态调整方法，即基于单通道脑机接口EEG信号的特征提取方法。其中所述方法包括：通过脑电传感器采集玩家脑电信号；对采集到的脑电信号进行预处理后，输入到已经训练好的一维多分支卷积神经网络1D‑MBCNN模型，从而得到玩家的专注度与放松度状态信号，进而判断玩家的投入度状态；可以根据玩家的投入度状态调整游戏的难度。依据本发明所提供的技术方案，能够通过处理后的脑电信号判断玩家的投入度状态，从而实时调整游戏难度，实现游戏难度与玩家能力相匹配，有利于增强玩家的游戏体验与游戏粘度。

Description

基于脑电信号的电子游戏难度动态调整方法
技术领域
本发明提出基于脑电信号的电子游戏难度动态调整方法，尤其涉及EEG信号处理领域以及深度学习领域。
背景技术
电子游戏正日益成为人们重要的休闲娱乐方式，适当平衡电子游戏的难度对于为玩家提供愉快的体验来说至关重要。但电子游戏的难度设计很难照顾到全部玩家，大多数开发人员使用动态难度方法利用游戏数据估算玩家的情绪，并相应地调整难度级别以最大限度提高玩家的满意度。这一方法虽然应用广泛，但其局限性在于只考虑了玩家在游戏中的表现，而非玩家在游戏中所获得的乐趣。
一般而言，脑电波的产生分为自发脑电与诱发脑电两种，实验中通过观察脑区主要波段或人脑专注/放松值的大小，可得到此时人脑活跃状态，进而可提取有效的脑电信号。近年来深度学习在处理EEG信号方面的优势越来越明显，许多研究者将深度学习算法应用到EEG信号处理领域并取得了相当的成果。
目前，设定游戏的难点主要采用将游戏试用版发给玩家，通过游戏论坛或者反馈意见收集游戏玩家对于游戏的反馈意见，并根据反馈意见重新调整游戏难度。但上述方法反馈周期长且缺乏时效性，且只能根据大部分的玩家修改内容，具有很大的局限。
发明内容
为了解决现有关于路径研究的不足，本发明提出一种新型的动态难度调整方法，提出一种基于脑电信号的电子游戏难度动态调整方法，利用结合注意力机制的一维卷积网络建立脑电信号与游戏投入状态之间的对应关系，判断游戏玩家的游戏状态，最大限度地提高玩家满意度。
本发明是通过以下技术方案实现的：基于脑电信号的电子游戏难度动态调整方法，其步骤为：
S1：通过脑电传感器采集玩家的脑电信号；
所述脑电信号采集设备采用的是非侵入式单通道脑电传感器，包含头带、耳夹、前额传感器、蓝牙传输模块，通过单极导联法完成对人脑的实时信号采集。
S2：对采集到的脑电信号进行眼动伪迹与坏段去除、转换格式、归一化预处理，建立脑电信号数据集，并将数据集划分为训练集与测试集；
利用MATLAB软件平台，采用ICA工具箱调用独立成分分析算法对脑电信号进行数据处理；
S21：通过频率范围为0.1Hz-30Hz的带通滤波器对玩家脑电信号进行滤波，得到需要的脑电活动区间并去除坏段；运用ICA算法进行相关运算处理，实现脑电信号的眼动伪迹滤除；
S22：对预处理过的脑电数据进行格式转换，将数据转换为TGAM格式，使数据信息以数字阈值形式进行保存，实现对脑电信号的可视化处理；
S23：对数据进行归一化处理，使用min-max标准化又称离差标准化，是对原始数据的线性变换，使结果值映射到[0-1]之间，转换函数如下：其中max为样本数据的最大值，min为样本数据的最小值；
S24：使用K-Fold交叉验证按5：1比例划分训练集与测试集，增大训练数据量，避免过拟合问题；
S25：分别计算训练集与验证集的脑电信号的时域维度，利用窗口函数分别对训练集和测试集的脑电信号进行划分；计算时域维度为其中NT为时域样本点，f为脑电信号采样频率，L为时间窗大小；利用Nt个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分。
S3；构建结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型；
S31：1D-MBCNN的架构可以视为由四个多分支单元MB-Unit层和三个全连接层组成，网络的输入是一个包含脑电信号的长度208的向量，输出专注度向量；
S32：1D-MBCNN的架构包含四个MB-Unit，其中每一个MB-Unit由三个分支组成，分支1基于1D-SKConv自适应地动态提取特征，由于1D-SKConv包含两种不同的卷积运算，需要利用不同的填充方式进行数据填充，以避免丢失边缘信息；
常规卷积的填充值计算方式为
空洞卷积的填充值计算方式为
其中insize与outsize表示输入特征图与输出特征图的大小,stride为步长取1，k为卷积核大小，d表示空洞卷积的膨胀率，取值为2；
分支2采用了1×1卷积，这有助于减少网络的内部参数，而分支3使用最大池化层进行特征提取，尽可能的增加网络效率和性能，充分利用硬件资源；
S33：在每一个MB-Unit单元的末尾，特征信息由ReLU函数激活，然后由1×2最大池化层进行下采样；
S34：通过MB-Unit提取特征后，网络将特征图进行展平，并将它们传递给全连接层。为了防止过拟合，提高网络的泛化能力，每个全连接层引入了dropout技术，随机丢弃20％的神经元。
S4：通过S2得到的训练集对结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型进行训练；
所述的S4中，模型1D-MBCNN训练前需要选择的超参数包括：训练次数Trainepoch、批大小Batch size、学习率Learning rate以及正则化参数。
S5：通过S2得到的测试集对结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型进行测试，并对网络模型的性能做出评价；若评价结果网络的符合要求，则使用网络进行游戏投入度判别；若评价结果不符合要求，重新采集脑电信号并重新训练网络，直至网络符合要求；
在使用训练集对模型完成训练后使用测试集对模型进行测试并对模型性能进行评价，评价的标准为正确率accuracy、错误率error rate、灵敏度sensitive、精度precision、召回率recall；
将分类目标计为正例positive和负例negtive分别是：
(1)True positives:被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；
(2)False positives:被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；
(3)False negatives:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
(4)True negatives:被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；
(5)P＝TP+FN表示实际为正例的样本个数，N＝FP+TN表示实际为负例的样本个数，P+N既为网络分类总数。Positive、Negative是分类器的分类结果；
正确率accuracy：描述网络正确分类的比例，accuracy＝(TP+TN)/(P+N)，既为被分对的样本数除以所有的样本数，通常来说，正确率越高，网络效果越好；
错误率error rate：描述网络错误分类的比例，error rate＝(FP+FN)/(P+N)，由于分对与分错是互斥事件，所以accuracy＝1-error rate，通常来说，错误率越低，网络效果越好；
灵敏度sensitive：衡量了分类器对正例的识别能力，sensitive＝TP/P，表示的是所有正例中被分对的比例，通常来说，灵敏度越高，网络效果越好；
精度precision：对网络精确性的度量，precision＝TP/(TP+FP)，表示被分为正例的示例中实际为正例的比例，通常来说，精度越高，网络效果越好；
召回率recall：召回率是覆盖面的度量，度量有多个正例被分为正例，recall＝TP/(TP+FN)，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力，通常来说，召回率越高，网络效果越好。
S6：采集玩家实时脑电信号，将预处理后的实时脑电信号输入经过训练后的1D-MBCNN网络，得到玩家的专注度与放松度状态信号；
S7：根据玩家的专注度与放松度判断玩家的游戏投入度；依据“沉浸体验理论”，“最佳体验”状态的获得需要电子游戏提供适合玩家技能水平的难度级别使玩家顺利进行游戏，使得玩家维持在专注与放松之间的“沉浸区域”，玩家的投入度更高，给玩家带来“快乐”的感觉，具体既为：
(1)当玩家专注度高于阈值且放松度低于阈值时为紧张状态；
(2)当玩家专注度低于阈值且放松度高于阈值时为厌倦状态；
(3)玩家专注度低于阈值且放松度低于阈值时为沉浸状态。
S8：根据玩家的游戏投入度变化对游戏的难度进行动态调整。
S81：将游戏依照时间限制、敌方非玩家控制角色的数量与受伤害程度、敌方非玩家控制角色的智能程度、提示信息限制、资源供给等难度相关的游戏参数值调整，将游戏依照难度区分为5个级别：非常简单、简单、正常、困难、非常困难；
S82：调整模型对于实现以玩家为中心进行难度变化，当使得游戏的难度和玩家能力之间建立起平衡，具体既为：
(1)在玩家投入度状态为厌倦状态时，提高游戏难度；
(2)在玩家投入度状态为紧张状态时，降低游戏难度；
(3)当玩家投入度状态为沉浸状态时，维持游戏难度。
本发明创造的有益效果是：与现有技术相比，本发明的有益效果是：
相较于传统的依赖于玩家的反馈意见的游戏难度调整方法，本发明提出的动态调整方法，调整周期短，时效性更好。由于每位玩家的技能水平不同，统一难度无法覆盖所有玩家的需求，本发明且可以针对不同玩家的水平调整游戏的难度，使游戏难度与每位玩家的技术水平相互匹配。
相较于依赖于部分依赖于皮电的的动态难度调整方式，本发明从脑电信号出发，建立脑电信号与游戏投入度的非线性关系，得到的信息更加直接准确，误差与干扰信息更小，判断更加准确，信号回馈更加迅速，实现对游戏投入状态的实时检测。
对于脑电信号的的处理上，本发明提出一种利用结合注意力机制的一维卷积网络结构，本发明提出一种基于感受野注意力机制的选择核卷积用于脑电信号的特征提取。神经网络的整体架构基于AlexNet并融入了多分支结构提取多尺度特征，建立采集脑电信号与游戏投入状态之间的对应关系，判断游戏玩家的游戏状态，最大限度地提高玩家满意度。将此神经网络分别进行了仿真实验、噪声实验。实验结果表明1D-MBCNN相较于传统算法有着更好的准确性、鲁棒性。
附图说明
图1为本发明实现基于脑电信号的电子游戏难度动态调整方法的流程图；
图2为脑电单极导联采集设备放置示意图；
图3为包含眼动伪迹的EEG信号；
图4为经过ICA算法处理后的EEG信号；
图5为K-Fold交叉验证流程图；
图6为1D-MBCNN结构示意图；
图7为MB-Unit结构示意图；
图8为沉浸区域影响因素。
具体实施方式
实施例1：
图1是本发明步骤示意图，如图所示，基于脑电信号的电子游戏难度动态调整方法包括以下步骤。
所述步骤S1具体包括：
通过脑电传感器采集玩家的脑电信号。具体地，在本实施例中，所述脑电传感器采用非侵入单通道式，包含头带、耳夹、前额传感器、蓝牙传输模块。脑电信号通过蓝牙传输模块HC-05蓝牙传输给数据处理平台。
本发明使用操作系统为Ubuntu20.04LTS 64位的PC作为数据处理平台，使用NVIDIA GeForce RTX 3090图形加速卡搭建基于PyTorch-GPU、CUDA11.7及其他常用的Python库的深度学习框架进行加速训练。
本发明选用的是非侵入式脑电信号，所以选用头戴式脑电采集设备。通常，头戴式采集设备的电极分为三种：作用电极、参考电极、接地电极。作用电极指记录电极，安放于实验者头皮之上；收集的脑电信号数据即是作用电极与参考电极的差值；参考电极是安放于身体相对零电位的地方；接地电极一般放置于头前部的中点处，根据以上三种电极作用的不同，通常采用单/双极导联的方法进行脑电信号的获取。本发明选用单极板导联方式记录脑电数据，选定一个电极作为参考电极，记录其他有效电极与该参考电极的电位差来作为各电极的电位值，佩戴方式如图2。
所述的采集脑电信号使用头戴式脑电采集设备。前额传感器与耳夹采集的电极分别记作作用电极、参考电极，实验中收集的脑电信号数据即是作用电极与参考电极的差值。
本发明采用的是非侵入式单通道脑电传感器，通过单极导联法完成对人脑的实时信号采集，步骤如下：
①调节头带长度，确保传感器整体内径刚好符合实验者头围大小。
②将耳套圈从耳后环绕过来，然后把耳夹夹在耳垂上。
③确保耳夹的前、后金属电极与人耳完全接触，中间无耳环、头发等异物。
④调节前额传感器位置，使传感头部分与前额肌肤紧密贴合，中间无头发等，并
保证实验期间，前额一直与传感器保持直接接触。
⑤拨动传感器开关，对人脑信号进行采集。
本发明中采集到的脑电信号通过蓝牙传输模块HC-05蓝牙传输给数据处理平台，可使用MindViewer软件读取和保存数据，以及实时观测到人脑活动的波形图。
所述步骤S2具体包括：
一般而言，脑电波的产生分为两种：自发脑电与诱发脑电。自发脑电是指人的大脑皮层含有自发性的电活动，其电位实时发生变化，通过电极将这种电位波形采集出来就可以得到脑电信号图。诱发脑电是指赋予机体一定的刺激，经过一段等待期后，脑的某些区域会出现相关的电位反应，通过电极采集后得到脑电波。通常，根据频率大小不同，脑电波分为四个波段，1-3Hz为δ波；4-7Hz为θ波；8-13Hz为α波；14-30Hz为β波。这四种波形代表了人脑的不同状态与活跃度：δ波多表现在人深度睡眠或麻醉状态；可以简单地将一位成年人的大脑状态总体可分为紧张或放松两种，当他专注某事时，其β波信号较为明显，大脑则对α波产生抑制，此时脑区活动信号表现为专注度值较高，放松度值较低；而人放松时则大脑产生相反信号，此时收集的脑电信号呈现专注度值较低，放松度值较高的状态。由此，实验中通过观察脑区主要波段或者人脑专注/放松值的大小，可得到此时人脑活跃状态，进而可提取有效的脑电信号。
通常，因实验周期较长，实验者难免会进行眨眼等动作，从而产生相应的眼动伪迹，对EEG信号造成一定的影响如图3所示。针对实时采集到的人脑波形图，运用ICA算法进行相关运算处理，实现脑电信号的眼动伪迹滤除，剔除眼动伪迹后的EEG信号如图4所示。
本发明是可以基于MATLAB软件平台对EEG信号进行伪迹剔除，选用ICA工具箱调用独立成分分析算法对数据进行处理。如下是调用ICA工具箱进行伪迹处理的步骤：
①基于MATLAB平台运行变量程序，将实验所需数据从硬盘中导入软件。待MATLAB装载完成后，运行调用程序，生成ICA运算工具箱。在工具箱对应栏目中填入变量名称，可将实验数据从软件中导入工具箱内，实现数据的ICA处理。
②ICA计算完成后，工具箱自动呈现出解混图片，成功的将伪迹信号分离开来。通过对比可以看出解混结果与原始数据非常相近，极大程度的还原了纯净的脑电信号，完成了盲源分离的目的。
完成上述步骤后，接下来对预处理过的数据进行格式转换，实现脑电信号的可视化处理。可选用Realterm软件，通过将上文处理过后的数据导入，完成数据TGAM格式转换，以数字阈值形式进行保存。
TGAM格式将信号以秒为单位分为513个包，在这513个包中又分为512个小包与1个大包。小包的格式为AA AA04 80 02xxHigh xxLow xxCheckSum，该包中开头固定不变的，只有后三位数据是实时跳动的。xxHigh和xxLow构成了原始数据rawdata，而xxCheckSum则代表着校验和。在处理包中的rawdata前，要先计算校验和，若校验和不符合，则将该包丢弃。
对数据进行归一化处理，使用min-max标准化又称离差标准化，是对原始数据的线性变换，使结果值映射到[0-1]之间。转换函数如下：其中max为样本数据的最大值，min为样本数据的最小值。
使用K-Fold交叉验证按5：1比例划分训练集与测试集,增大训练数据量，避免过拟合问题，K-Fold交叉验证流程如图5。
计算时域维度为其中NT为时域样本点，f为脑电信号采样频率，L为时间窗大小。利用Nt个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分。
构建结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型。
所述步骤S3，使用经过预处理后的训练集对结合注意力机制的一维多分支卷积神经网络1D-MBCNN进行训练。具体包括：
1D-MBCNN的架构如图6所示。网络的输入是一个包含脑电信号的长度208的向量，输出是所判断专注度与放松度的向量。
1D-MBCNN由四个多分支单元MB-Unit和三个全连接层组成。其中，MB-Unit由三个分支组成，每个分支的组成如图7所示。分支1基于1D-SKConv自适应地动态提取特征。由于1D-SKConv包含两种不同的卷积运算，需要利用不同的填充方式进行数据填充，以避免丢失边缘信息。常规卷积的填充值计算方式为空洞卷积的填充值计算方式为/>其中insize与outsize表示输入特征图与输出特征图的大小,stride为步长取1，k为卷积核大小，d表示空洞卷积的膨胀率，取值为2。
分支2采用了1×1卷积，这有助于减少网络的内部参数，而分支3使用最大池化层进行特征提取，尽可能的增加网络效率和性能，充分利用硬件资源。
如图7所示，在每一个MB-Unit的末尾，特征信息由ReLU激活，然后由1×2最大池层进行下采样。
通过MB-Unit提取特征后，网络将特征图进行展平，并将它们传递给全连接层。为了防止过拟合，提高网络的泛化能力，每个全连接层引入了dropout技术，随机丢弃20％的神经元。
所述步骤S5，通过经过预处理后的测试集输入至经过训练后的结合注意力机制的一维多分支卷积神经网络1D-MBCNN并对网络的性能做出评价，评价的标准为正确率accuracy、错误率error rate、灵敏度sensitive、精度precision、召回率recall。
神经网络的训练对最终的模型性能有着密不可分的联系。超参数作为神经网络训练前需要决定的参数，对整个训练过程有着指导作用。选取最优的超参数组合，使得1D-MBCNN在训练中的输出更加趋近真实的专注度与放松度。
在使用神经网络模型进行注意力监控的研究中，专注度/放松度的数据需要进行二值化处理。即将高专注度设置为1，将低专注度设置为0，以便神经网络训练中进行学习。本质上说，专注度监控任务是一个多标签二分类的任务，所以在神经网络的训练选择二分类交叉熵损失函数BCELoss来计算输出专注度与实际专注度之间的误差。BCELoss的计算公式为。
其中，yk是神经网络的第K个输出值，是相对应的经过二值化的数值，N是批大小。此外为了防止网络过拟合，将L2正则化应用于损失函数中，带有L2正则化的二分类交叉熵损失函数可以表示为/>其中λ为正则化参数，w为权重值。
在神经网络的训练中，超参数需要在训练前人为定义其大小并对其进行优化。1D-MBCNN训练前需要选择的超参数包括:训练次数Train epoch、批大小Batch size、学习率Learning rate、以及正则化参数Regularized parameters。通过查阅相关文献及考虑到GPU的计算资源，本文选取不同的超参数，其中训练次数的预选值为200、300及400，批大小的预选值为32、64及128，学习率的预选值为0.01、0.005及0.001，正则化参数()的预选值为0.0001、0.0005及0.00001。预先停止策略使模型进行无限次数的训练，一旦模型损失值在验证集上趋近于收敛，就停止训练。通过上述不同超参数组合在训练集中使用预先停止策略，得到最优的超参数组合。
所述步骤S6具体包括：采集玩家实时脑电信号，将预处理后的实时脑电信号输入经过训练后的1D-MBCNN网络，得到玩家的专注度与放松度状态信号；
所述步骤S7具体包括：根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述步骤S7包括：如图8所示，“最佳体验”状态的获得需要游戏提供适合玩家技能水平的难度级别使玩家顺利进行游戏，使得玩家维持在专注与放松之间的“沉浸区域”，玩家的投入度更高，给玩家带来“快乐”的感觉，具体既为：
①当玩家专注度高于阈值且放松度低于阈值时为紧张状态；
②当玩家专注度低于阈值且放松度高于阈值时为厌倦状态；
③当玩家专注度低于阈值且放松度低于阈值时为沉浸状态。
所述步骤S8具体包括：
S81:将游戏依照时间限制、敌方非玩家控制角色的数量与受伤害程度、敌方非玩家控制角色的智能程度、提示信息限制、资源供给等难度相关的游戏参数值调整，将游戏依照难度区分为5个级别：非常简单、简单、正常、困难、非常困难。
S82:玩家在游戏中获得最佳体验的关键在于游戏本身要提供给玩家与其能力相适应的挑战感，这种挑战感就源自于游戏的困难度。如果玩家专注度高于阈值且放松度低于阈值，既玩家处于紧张状态，则说明游戏的难度高于游戏玩家的灵敏性和相应的知识技能，需要将游戏的难度调低，以避免因为玩家感觉游戏过于困难，产生挫败感，放弃继续游戏；如果玩家的专注度低于阈值且放松度高于阈值，既玩家处于厌倦状态，则说明游戏的难度低于游戏玩家的灵敏性和相应的知识技能，需要将游戏的难度调高，以避免因为玩家感觉游戏过于简单，会觉得索然无味，放弃继续游戏。
本发明通过实时获取玩家的投入度状态，并以此调整游戏的难度。调整模型对于实现以玩家为中心进行难度变化，使得游戏难度与玩家水平相匹配，增强了玩家的游戏体验和玩家的游戏粘度。
以上所述仅为本发明的较佳实施例。显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。应当指出，对于本技术领域的普通技术人员，在不脱离上述实施例基础的前提下，还可以做出若干改进和替换。这些改进和替换也应视为本发明的保护范围。

Claims (9)

1.基于脑电信号的电子游戏难度动态调整方法，其特征在于，其步骤为：
S1：通过脑电传感器采集玩家的脑电信号；
S2：对采集到的脑电信号进行眼动伪迹与坏段去除、转换格式、归一化预处理，建立脑电信号数据集，并将数据集划分为训练集与测试集；
S3；构建结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型；
S4：通过S2得到的训练集对结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型进行训练；
S5：通过S2得到的测试集对结合注意力机制的一维多分支卷积神经网络1D-MBCNN模型进行测试，并对网络模型的性能做出评价；若评价结果网络的符合要求，则使用网络进行游戏投入度判别；若评价结果不符合要求，重新采集脑电信号并重新训练网络，直至网络符合要求；
S6：采集玩家实时脑电信号，将预处理后的实时脑电信号输入经过训练后的1D-MBCNN网络，得到玩家的专注度与放松度状态信号；
S7：根据玩家的专注度与放松度判断玩家的游戏投入度；
S8：根据玩家的游戏投入度变化对游戏的难度进行动态调整。
2.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述S1具体为，所述脑电信号采集设备采用的是非侵入式单通道脑电传感器，包含头带、耳夹、前额传感器、蓝牙传输模块，通过单极导联法完成对人脑的实时信号采集。
3.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S2中，利用MATLAB软件平台，采用ICA工具箱调用独立成分分析算法对脑电信号进行数据处理。
4.根据权利要求2所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S2数据处理方法为：
S21：通过频率范围为0.1Hz-30Hz的带通滤波器对玩家脑电信号进行滤波，得到需要的脑电活动区间并去除坏段；运用ICA算法进行相关运算处理，实现脑电信号的眼动伪迹滤除；
S22：对预处理过的脑电数据进行格式转换，将数据转换为TGAM格式，使数据信息以数字阈值形式进行保存，实现对脑电信号的可视化处理；
S23：对数据进行归一化处理，使用min-max标准化又称离差标准化，是对原始数据的线性变换，使结果值映射到[0-1]之间，转换函数如下：其中max为样本数据的最大值，min为样本数据的最小值；
S24：使用K-Fold交叉验证按5：1比例划分训练集与测试集，增大训练数据量，避免过拟合问题；
S25：分别计算训练集与验证集的脑电信号的时域维度，利用窗口函数分别对训练集和测试集的脑电信号进行划分；计算时域维度为其中NT为时域样本点，f为脑电信号采样频率，L为时间窗大小；利用Nt个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分。
5.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S3中具体方法为：
S31：1D-MBCNN的架构可以视为由四个多分支单元MB-Unit层和三个全连接层组成，网络的输入是一个包含脑电信号的长度208的向量，输出专注度向量；
S32：1D-MBCNN的架构包含四个MB-Unit，其中每一个MB-Unit由三个分支组成，分支1基于1D-SKConv自适应地动态提取特征，由于1D-SKConv包含两种不同的卷积运算，需要利用不同的填充方式进行数据填充，以避免丢失边缘信息；
常规卷积的填充值计算方式为
空洞卷积的填充值计算方式为
其中insize与outsize表示输入特征图与输出特征图的大小,stride为步长取1，k为卷积核大小，d表示空洞卷积的膨胀率，取值为2；
分支2采用了1×1卷积，这有助于减少网络的内部参数，而分支3使用最大池化层进行特征提取，尽可能的增加网络效率和性能，充分利用硬件资源；
S33：在每一个MB-Unit单元的末尾，特征信息由ReLU函数激活，然后由1×2最大池化层进行下采样；
S34：通过MB-Unit提取特征后，网络将特征图进行展平，并将它们传递给全连接层。为了防止过拟合，提高网络的泛化能力，每个全连接层引入了dropout技术，随机丢弃20％的神经元。
6.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S4中，模型1D-MBCNN训练前需要选择的超参数包括：训练次数Train epoch、批大小Batch size、学习率Learning rate以及正则化参数。
7.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S5中，在使用训练集对模型完成训练后使用测试集对模型进行测试并对模型性能进行评价，评价的标准为正确率accuracy、错误率error rate、灵敏度sensitive、精度precision、召回率recall；
将分类目标计为正例positive和负例negtive分别是：
(1)True positives:被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；
(2)False positives:被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；
(3)False negatives:被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
(4)True negatives:被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；
(5)P＝TP+FN表示实际为正例的样本个数，N＝FP+TN表示实际为负例的样本个数，P+N既为网络分类总数。Positive、Negative是分类器的分类结果；
正确率accuracy：描述网络正确分类的比例，accuracy＝(TP+TN)/(P+N)，既为被分对的样本数除以所有的样本数，通常来说，正确率越高，网络效果越好；
错误率error rate：描述网络错误分类的比例，error rate＝(FP+FN)/(P+N)，由于分对与分错是互斥事件，所以accuracy＝1-error rate，通常来说，错误率越低，网络效果越好；
灵敏度sensitive：衡量了分类器对正例的识别能力，sensitive＝TP/P，表示的是所有正例中被分对的比例，通常来说，灵敏度越高，网络效果越好；
精度precision：对网络精确性的度量，precision＝TP/(TP+FP)，表示被分为正例的示例中实际为正例的比例，通常来说，精度越高，网络效果越好；
召回率recall：召回率是覆盖面的度量，度量有多个正例被分为正例，recall＝TP/(TP+FN)，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力，通常来说，召回率越高，网络效果越好。
8.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S7包括：依据“沉浸体验理论”，“最佳体验”状态的获得需要电子游戏提供适合玩家技能水平的难度级别使玩家顺利进行游戏，使得玩家维持在专注与放松之间的“沉浸区域”，玩家的投入度更高，给玩家带来“快乐”的感觉，具体既为：
(1)当玩家专注度高于阈值且放松度低于阈值时为紧张状态；
(2)当玩家专注度低于阈值且放松度高于阈值时为厌倦状态；
(3)玩家专注度低于阈值且放松度低于阈值时为沉浸状态。
9.根据权利要求1所述的基于脑电信号的电子游戏难度动态调整方法，其特征在于，所述的S8包括：
S81：将游戏依照时间限制、敌方非玩家控制角色的数量与受伤害程度、敌方非玩家控制角色的智能程度、提示信息限制、资源供给等难度相关的游戏参数值调整，将游戏依照难度区分为5个级别：非常简单、简单、正常、困难、非常困难；
S82：调整模型对于实现以玩家为中心进行难度变化，当使得游戏的难度和玩家能力之间建立起平衡，具体既为：
(1)在玩家投入度状态为厌倦状态时，提高游戏难度；
(2)在玩家投入度状态为紧张状态时，降低游戏难度；
(3)当玩家投入度状态为沉浸状态时，维持游戏难度。
CN202310430185.9A 2023-04-21 2023-04-21 基于脑电信号的电子游戏难度动态调整方法 Pending CN116603229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310430185.9A CN116603229A (zh) 2023-04-21 2023-04-21 基于脑电信号的电子游戏难度动态调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310430185.9A CN116603229A (zh) 2023-04-21 2023-04-21 基于脑电信号的电子游戏难度动态调整方法

Publications (1)

Publication Number Publication Date
CN116603229A true CN116603229A (zh) 2023-08-18

Family

ID=87675480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310430185.9A Pending CN116603229A (zh) 2023-04-21 2023-04-21 基于脑电信号的电子游戏难度动态调整方法

Country Status (1)

Country Link
CN (1) CN116603229A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331442A (zh) * 2023-10-16 2024-01-02 廊坊市珍圭谷科技有限公司 一种基于脑波信号的多人协同控制装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331442A (zh) * 2023-10-16 2024-01-02 廊坊市珍圭谷科技有限公司 一种基于脑波信号的多人协同控制装置

Similar Documents

Publication Publication Date Title
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
US9211078B2 (en) Process and device for brain computer interface
CN107024987B (zh) 一种基于eeg的实时人脑注意力测试和训练系统
Barbosa et al. Activation of a mobile robot through a brain computer interface
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
US20120226185A1 (en) Readiness potential-based brain-computer interface device and method
CN110135285B (zh) 一种使用单导设备的脑电静息态身份认证方法及装置
Zhao et al. Deep CNN model based on serial-parallel structure optimization for four-class motor imagery EEG classification
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN109871831B (zh) 一种情感识别方法及系统
CN111000556A (zh) 一种基于深度模糊森林的情绪识别方法
CN116603229A (zh) 基于脑电信号的电子游戏难度动态调整方法
CN108143412B (zh) 一种儿童脑电情绪分析的控制方法、装置及系统
Dash et al. Spatial and Spectral Fingerprint in the Brain: Speaker Identification from Single Trial MEG Signals.
Tian et al. Study on classification of left-right hands motor imagery EEG signals based on CNN
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
CN111671421A (zh) 一种基于脑电图的儿童需求感知方法
CN113208623A (zh) 一种基于卷积神经网络的睡眠分期方法、系统
CN112957050A (zh) 基于脑机接口设备技术的视觉记忆能力评测装置及方法
CN111736690A (zh) 基于贝叶斯网络结构辨识的运动想象脑机接口
Xing et al. Deep autoencoder for real-time single-channel EEG cleaning and its smartphone implementation using TensorFlow Lite with hardware/software acceleration
Barbosa et al. Implementation of a wheelchair control using a four-command brain computer interface
Azam et al. Classification Of Complicated Upper Limb Movements From Pre-movement EEG Signals Using STFT And Spectral Characteristics
KR102521180B1 (ko) 유사 심전도 기반 개인 인증 시스템, 개인 인증 방법 및 개인 인증 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램
Gebre-Amlak et al. Spatial correlation preserving EEG dimensionality reduction using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination