CN117494061A - 用户兴趣挖掘方法、装置、电子设备及介质 - Google Patents
用户兴趣挖掘方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117494061A CN117494061A CN202410006000.6A CN202410006000A CN117494061A CN 117494061 A CN117494061 A CN 117494061A CN 202410006000 A CN202410006000 A CN 202410006000A CN 117494061 A CN117494061 A CN 117494061A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- data
- image
- target
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005065 mining Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 150
- 238000013145 classification model Methods 0.000 claims abstract description 85
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 7
- 210000004556 brain Anatomy 0.000 description 17
- 230000003993 interaction Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000001595 mastoid Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000001030 ventral striatum Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/26—Discovering frequent patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种用户兴趣挖掘方法、装置、电子设备及介质，属于脑机接口应用技术领域。该方法应用于穿戴设备，穿戴设备集成有头显设备和脑机接口设备，该方法包括：对目标用户的第一脑电数据进行预处理，得到第二脑电数据，第一脑电数据是在头显设备显示目标图像序列的情况下通过脑机接口设备采集；将第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，脑电分类模型基于预处理后的脑电样本训练数据和对应标签训练得到，标签用于指示脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像；基于分类结果，确定目标用户感兴趣的图像内容。本发明提供的用户兴趣挖掘方法，可以实现更加准确的用户兴趣挖掘。
Description
技术领域
本发明涉及脑机接口应用技术领域，尤其涉及一种用户兴趣挖掘方法、装置、电子设备及介质。
背景技术
信息技术与互联网行业的飞速发展，带来了严重信息过载的问题，催生了推荐系统来缓解这一问题。推荐系统能够实现对信息的筛选，预测用户的兴趣和偏好，其核心技术之一是对用户感兴趣内容的准确挖掘。当前，广泛采用用户行为数据和用户反馈信息来进行用户兴趣挖掘。随着虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）和脑机接口（Brain-Computer Interface，BCI）技术发展的进步，上述设备结合了微显示、传感器、芯片和算法等多项技术，被称为“下一代人机交互平台”，带来了不同于当前的全新人机交互方式，通过BCI设备可以实现人脑与外部设备的直接交流。
已有研究表明，人看到自己感兴趣、偏好或熟知的内容时会产生特异性的脑响应。一些神经营销学相关的研究表明，吸引人的广告会激活消费者的腹侧前额叶皮层和腹侧纹状体，消费者在选择其偏爱的品牌时，腹内侧前额叶等视觉区域被明显激活。而AR头戴显示设备或VR头戴显示设备，会受制于屏幕尺寸和人的视野范围，可供展示人机交互的空间范围少，无法发挥人机交互的优势。
发明内容
本发明提供一种用户兴趣挖掘方法、装置、电子设备及介质，用以解决现有技术中AR/VR设备人机交互的空间范围少导致无法发挥人机交互的优势的问题同时实现基于脑电的准确用户兴趣挖掘。
本发明提供一种用户兴趣挖掘方法，应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，所述方法包括：
对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
基于所述分类结果，确定所述目标用户感兴趣的图像内容。
在一些实施例中，所述脑电分类模型通过如下方式训练：
在所述头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过所述脑机接口设备获取所述目标用户的初始脑电训练数据；
对所述初始脑电训练数据进行预处理，得到所述预处理后的脑电样本训练数据；
将所述预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签构成脑电训练数据集，利用所述脑电训练数据集对所述脑电分类模型进行训练，直至所述脑电分类模型收敛后，得到所述训练完成的脑电分类模型。
在一些实施例中，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，所述方法还包括：
判断所述训练完成的脑电分类模型的有效性；
在所述训练完成的脑电分类模型为有效模型的情况下，获取所述第一脑电数据；
在所述训练完成的脑电分类模型为无效模型的情况下，重新训练所述脑电分类模型。
在一些实施例中，所述基于所述分类结果，确定所述目标用户感兴趣的图像内容，包括：
基于所述每张图像的图像内容对应的预测概率值，确定同一类别的图像内容对应的预测概率值的平均概率值；
基于所有类别的图像内容分别对应的平均概率值，确定所述目标用户感兴趣的图像内容。
在一些实施例中，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，所述方法还包括：
基于所述目标用户对应的用户画像信息，确定所述目标用户可能感兴趣的M个类别的图像内容；
确定所述M个类别的图像内容分别对应的N张图像；
基于所述M个类别的图像内容分别对应的N张图像，确定所述目标图像序列，所述目标图像序列包含按照随机顺序排列的M×N张图像。
在一些实施例中，所述预处理包括：降采样、重参考、滤波、分段和归一化，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据，包括：
对所述第一脑电数据依次进行降采样、重参考、滤波和分段，得到分段后的脑电数据；
对所述分段后的脑电数据对应的每个导联进行归一化，得到所述第二脑电数据。
本发明还提供一种用户兴趣挖掘装置，应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，所述装置包括：
预处理模块，用于对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
分类预测模块，用于将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
内容识别模块，用于基于所述分类结果，确定所述目标用户感兴趣的图像内容。
在一些实施例中，所述脑电分类模型通过如下方式训练：
在所述头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过所述脑机接口设备获取所述目标用户的初始脑电训练数据；
对所述初始脑电训练数据进行预处理，得到所述预处理后的脑电样本训练数据；
将所述预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签构成脑电训练数据集，利用所述脑电训练数据集对所述脑电分类模型进行训练，直至所述脑电分类模型收敛后，得到所述训练完成的脑电分类模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用户兴趣挖掘方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用户兴趣挖掘方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用户兴趣挖掘方法。
本发明提供的用户兴趣挖掘方法、装置、电子设备及介质，通过在头显设备提供的固定视野范围内呈现目标图像序列的情况下，对采集到的目标用户的第一脑电数据进行预处理，得到第二脑电数据，实现分析用户观察不同图像内容的图像时产生的脑电数据，同时基于目标图像序列在有限的屏幕空间提供了更多的信息，提高人机交互效率并更容易捕捉和贴近用户的真实想法；然后将第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，并基于分类结果，确定目标用户感兴趣的目标图像内容，实现对用户感兴趣内容的快速识别，并且具有更好的实时性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的用户兴趣挖掘方法的流程示意图之一；
图2是本发明提供的用户兴趣挖掘方法的整体架构示意图；
图3是本发明提供的用户兴趣挖掘方法的流程示意图之二；
图4是本发明提供的用户兴趣挖掘方法的模型训练过程示意图；
图5是本发明提供的用户兴趣挖掘装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的用户兴趣挖掘方法、装置、电子设备及介质。
本发明提供的用户兴趣挖掘方法的执行主体可以是穿戴设备，穿戴设备可以是AR/VR-BCI设备，AR/VR-BCI设备表示穿戴设备集成有VR设备或AR设备中的一个和BCI设备，或者穿戴设备是一体化的头显设备与BCI设备等，在此不做具体限定。
下面以AR/VR-BCI设备执行本发明提供的用户兴趣挖掘方法为例，详细说明本发明的技术方案。
图1是本发明提供的用户兴趣挖掘方法的流程示意图之一。参照图1，本发明提供的用户兴趣挖掘方法应用于穿戴设备，穿戴设备集成有头显设备和脑机接口设备，该方法包括：
步骤110、对目标用户的第一脑电数据进行预处理，得到第二脑电数据，第一脑电数据是在头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，目标用户穿戴有穿戴设备；
步骤120、将第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，分类结果包括目标图像序列中每张图像的图像内容对应的预测概率值，预测概率值用于指示目标用户对图像内容的感兴趣程度，脑电分类模型基于预处理后的脑电样本训练数据和脑电样本训练数据对应的标签训练得到，标签用于指示脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，目标检测训练任务为在样本图像序列中检测到目标图像的任务；
步骤130、基于分类结果，确定目标用户感兴趣的图像内容。
需要说明的是，目标用户为需要进行兴趣挖掘的用户。头显设备具有内侧显示屏，内侧显示屏为穿戴者（目标用户）视野范围内可以看到的显示区域，其中，头显设备包括但不限于AR头显设备或VR头显设备。BCI设备是通过将大脑与外部设备（如计算机或机器）连接起来，实现人脑与计算机或机器之间的直接交互和通信的设备。
本发明提到的脑电数据指的是大脑神经元之间的活动所产生的电信号，脑电数据是一系列随着时间变化而不断变化的曲线。
图2是本发明提供的用户兴趣挖掘方法的整体架构示意图。如图2所示，该方法包括内容呈现、脑电采集、脑电处理和用户兴趣识别。
一、内容呈现
基于目标用户可能感兴趣的图像内容，获取对应的图像，并将图像随机排序组成目标图像序列，以快速序列视觉呈现的方式，通过头显设备依次呈现给目标用户。
其中，快速序列视觉呈现的方式为在用户视野中央的固定位置，以一个较快的固定速率，例如大于每秒2张图像，不断呈现图像。
目标图像序列包含的所有图像内容中，每个类别的图像内容可以对应多张不同的图像。图像按照随机顺序排列。例如：图像序列中包含M个类别的图像内容，每个类别的图像内容对应有N张图像，将这M×N张图像的排列顺序随机打乱，再组成目标图像序列。
在一些实施例中，M的值不小于5，并在时长允许的条件下尽可能大，N的值范围可以在5~10之间。M的值和N的值可以根据实际情况设置，在此不作具体限定。
在实际执行中，目标图像序列可以在不同应用程序中随机生成，或者基于应用程序中的用户画像生成。
例如：在听歌软件中，为了确认目标用户对哪个歌手的音乐感兴趣，可以基于不同歌手的专辑图像生成目标图像序列，在目标用户浏览听歌软件时显示在目标用户对应的头显设备中。
或者是在购物软件中，为了确认目标用户对哪个品类的产品感兴趣，可以基于不同类别的产品图像生成目标图像序列，在目标用户浏览购物软件时显示在目标用户对应的头显设备中。
或者是在视频软件中，为了确认目标用户对哪个类型的视频感兴趣，可以基于不同视频类型的视频封面图像生成目标图像序列，在目标用户浏览视频软件时显示在目标用户对应的头显设备中。
可以理解的是，基于用户画像可以更加准确的确认目标用户可能感兴趣的图像内容，进一步生成的目标图像序列可以贴近用户的想法。
二、脑电采集
可以理解的是，用户在观察到感兴趣的内容时会产生脑电中特异性响应。因此，在图像内容呈现的过程中，可以通过BCI设备同时进行目标用户脑电数据的采集，得到第一脑电数据。
三、脑电分析
脑电分析包括脑电处理和脑电分类。
（1）脑电处理指的是对采集的第一脑电数据进行预处理，预处理后得到的第二脑电数据均为一张图像内容对应的图像所诱发的脑电响应。
在一些实施例中，预处理包括：降采样、重参考、滤波、分段和归一化，对目标用户的第一脑电数据进行预处理，得到第二脑电数据，包括：
对第一脑电数据依次进行降采样、重参考、滤波和分段，得到分段后的脑电数据；
对分段后的脑电数据对应的每个导联进行归一化，得到第二脑电数据。
需要说明的是，降采样指的是降低采样率。采样率的单位是Hz，指的是一秒内需要记录多少个数据点，比如：原始脑电数据的采样率是1000Hz的话，就是代表一秒内有1000个数据点。
在实际执行中，可以将脑电信号降采样至128Hz或者其他频率，在此不作具体限定。降采样的好处是减小数据量，以提高计算速度。降采样尽可能设置在滤波之后。因为降采样会丢失高频信息，使高频信息变得扭曲，所以最好在保留了感兴趣波段之后再降采样，这样可以保证信号最大程度不会失真。
重参考指的是将脑电数据换一个参考电极。
可以理解的是，采集后的脑电数据是一个个的数值，这个数值的含义是电极所在位置跟参考电极之间的电位差。一般在脑电记录的时候会采用的参考电极，有鼻尖参考或头顶中央参考，还有单侧乳突参考。脑电数据中每个通道的数值，其实就是指这个通道跟参考通道之间的电位差。本发明可以对第二脑电数据重参考至左右乳突平均电位，指将两个乳突数据的平均值作为参考数据。
滤波指的是过滤某个频率段范围内的信号，本发明主要采用带通滤波。带通滤波指的是在某个频率段范围内的信号可以通过，而这个频率段范围以外的信号会被衰减过滤掉，就相当于同时做了高通滤波和低通滤波。
分段将连续脑电信号划分为多个脑电数据，划分后的脑电数据均为图像内容呈现时刻开始到呈现后1秒之间的脑电数据。
归一化指的是对分段后的脑电数据所对应的每个导联，采用零均值和单位方差归一化的方式进行处理。
需要说明的是，归一化是对于脑电分类重要的一步，尤其对于基于神经网络的脑电分类模型。
（2）脑电分类指的是利用已完成训练的脑电分类模型，对第二脑电数据进行分类，输出的分类结果为每张图像的图像内容对应的预测概率值，预测概率值用于指示目标用户对图像内容的感兴趣程度。
需要说明的是，预测概率值越接近于1则表示目标用户对该图像内容越感兴趣，而预测概率值越接近于0则表示目标用户对该图像内容越不感兴趣。
在一些实施例中，脑电分类模型包括但不限于EEGNet模型或其他任一单试次脑电信号分类模型。其中，EEGnet模型是为脑电图识别任务而设计的卷积神经网络。
在实际执行中，脑电分类模型基于预处理后的脑电样本训练数据和每个脑电样本训练数据对应的标签训练得到。
有标签的脑电样本训练数据为执行训练任务中所记录的脑电数据。其中，训练任务是指需要提前执行的一个目标检测任务，采用相同的快速序列视觉呈现方式，用户观察样本图像序列并需要找到指定的目标图像。在样本图像序列中，若为目标图像，则标签为1，若为非目标图像，则标签为0。
训练任务的样本图像序列中目标图像出现的概率应当小于20%，样本图像序列中包含与非目标图像和目标图像颜色差异大的干扰图像，干扰图像的占比小于目标图像。
脑电分类模型的模型训练过程将在后续实施例中进行详细说明。
四、用户兴趣识别
基于每张图像的图像内容对应的预测概率值，可以确定不同类别的图像内容对应的预测结果，采用概率最大值或阈值划分的策略对用户感兴趣的图像内容进行识别，进而可以确定目标用户感兴趣的图像内容。
本发明提供的用户兴趣挖掘方法，通过在头显设备提供的固定视野范围内呈现目标图像序列的情况下，对采集到的目标用户的第一脑电数据进行预处理，得到第二脑电数据，实现分析用户观察不同图像内容的图像时产生的脑电数据，同时基于目标图像序列在有限的屏幕空间提供了更多的信息，提高了人机交互效率，更容易捕捉和贴近用户的真实想法；然后将第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，并基于分类结果，确定目标用户感兴趣的图像内容，实现对用户感兴趣内容的快速识别，并且具有更好的实时性。
下面结合图3描述本发明提供的用户兴趣挖掘方法进行说明。
在一些实施例中，对步骤110之前，该用户兴趣挖掘方法还包括：
判断训练完成的脑电分类模型的有效性；
在训练完成的脑电分类模型为有效模型的情况下，获取第一脑电数据；
在训练完成的脑电分类模型为无效模型的情况下，重新训练脑电分类模型。
如图3所示，在步骤S201中，首先判断是否具有当前目标用户对应的已完成训练的脑电分类模型。若存在则进行步骤S202，若不存在则需要进行模型训练，进行步骤S203。
在实际执行中，在本地数据库中进行检测，判断本地数据库中是否保存了该目标用户过往的已经完成训练并保存的脑电分类模型。
在步骤S202中，判断目标用户已有的脑电分类模型有效性是否满足要求。
若有效性满足要求，即训练完成的脑电分类模型为有效模型，则进行步骤S206进行用户兴趣挖掘环节。若不满足有效性，即训练完成的脑电分类模型为无效模型，则需要重新训练模型，进行步骤S203。
在实际执行中，读取目标用户的已完成训练的脑电分类模型的信息，基于该信息判断现有的脑电分类模型是否具有有效性。例如，读取该脑电分类模型所使用的训练数据的采集时间，若采集时间与当前时间的间隔超过7天，由于脑电数据在时间上的非平稳性，则该脑电分类模型可能无法保证分类的准确性，需要重新进行模型训练。
在步骤S203中，开始脑电分类模型训练阶段，向用户呈现训练阶段的任务指导语。在用户阅读并确认后进入步骤S204。
在步骤S204中，基于快速序列视觉呈现训练图像组织与呈现，同时进行脑电采集。在实际执行中，通过头显设备将训练阶段的目标检测训练任务呈现在目标用户的视野中央，并且告知目标用户。目标检测任务为在样本图像序列中检测到目标图像的任务。例如，设置该目标检测训练任务为从不同场景下拍摄的不同的宠物照片中找到包含猫的目标图像。头显设备的内侧显示屏显示指导语，指导语可以设置为“接下来您将观看到一系列快速闪现的图像，图像中包含不同场景下拍摄的宠物的照片，请留意找到其中包含猫的照片。请确认后继续”。因此，目标用户可以通过第一输入，确认进行模型训练。
示例性地，第一输入包括但不限于：用户按压头显设备上的按键或手柄上的按键的操作，或者为目标用户输入的语音指令，例如：“确认开始训练”，或者为目标用户输入的特定手势，或者为其他电子设备对头显设备输入的启动指令，或者为其他可行性输入，具体的可以根据实际使用需求确定，本发明实施例不作限定。当然，在其他实施例中，第一输入也可以为其他形式，包括但不限于字符输入、指纹输入或虹膜输入等，具体可根据实际需要决定，本发明实施例对此不作限定。
下面结合图4对步骤S204和步骤S205进行详细说明。
在一些实施例中，脑电分类模型通过如下方式训练：
步骤S204、在头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过脑机接口设备获取目标用户的初始脑电训练数据；
步骤S2051、对初始脑电训练数据进行预处理，得到预处理后的脑电样本训练数据；
步骤S2052、将预处理后的脑电样本训练数据和脑电样本训练数据对应的标签构成脑电训练数据集，利用脑电训练数据集对脑电分类模型进行训练，直至脑电分类模型收敛后，得到训练完成的脑电分类模型。
如图4所示，在步骤S204中，在头显设备的内侧显示屏加载所设计的训练阶段的目标检测任务所需要展现的样本图像序列，按照快速序列视觉呈现的方式显示样本图像序列，通过头显设备将样本图像序列不断呈现在用户视野中央，与此同时记录用户的初始脑电训练数据。
其中，快速序列视觉呈现的方式为固定模式，样本图像序列中的图像固定在用户的视野中央出现，图像呈现速率不低于2Hz（即每秒钟出现不少于2张图像）；样本图像序列中的目标图像占比应当小于20%，非目标图像中包含干扰图像，其中干扰图像应当与非目标图像色彩差异较大，干扰图像的占总图像数量的比例应当小于等于目标图像的占比，以实现更好的脑响应诱发。脑电数据采集同时记录初始脑电训练数据以及图像序列中每张图像出现的对应时刻。目标图像即为目标检索训练任务中提前设置好的图像。
在步骤S205中，对用户进行训练任务时的初始脑电训练数据进行预处理，而后进行模型训练，完成模型训练后保存训练完成的脑电分类模型及模型训练相关信息。
步骤S205可以分为步骤2051和步骤2052进行说明：
在步骤2051中，预处理步骤包括降采样、重参考、滤波、分段和归一化。预处理步骤在上述实施例中已进行相应说明，在此不作具体限定。例如：对于采集的初始脑电训练数据首先降采样至128Hz；重参考至左右乳突平均电位；滤波采用0.5-15Hz带通滤波；分段将连续信号划分为多个脑电样本训练数据，每个样本为图像内容呈现时刻开始到呈现后1秒之间的脑电数据；归一化对分段后的数据样本每个导联采用零均值和单位方差的方式进行归一化，得到预处理后的脑电样本训练数据。
在步骤2052中，脑电样本训练数据与诱发该脑电样本训练数据的图像内容相对应，若该图像内容对应的图像为目标图像，则对应的脑电样本训练数据的标签为1，若该图像内容对应的图像为非目标图像，则对应的脑电样本训练数据的标签为0。
利用预处理后的脑电样本训练数据及对应的标签，开展脑电分类模型训练。其中，脑电分类模型可以采用快速序列视觉呈现范式下的脑机接口常用脑电分类模型，如基于卷积神经网络的EEGNet模型。
在训练中，采用交叉验证的方式划分训练集和验证集，进行模型参数寻优。在模型训练到达收敛时，保存训练完成的脑电分类模型以及模型相关信息，如用户、模型训练数据采集的日期等，便于后续数据管理。
在步骤S206中，开始进行用户兴趣挖掘，首先组织待识别的目标用户可能感兴趣的内容的图像序列。
在一些实施例中，用户兴趣挖掘方法还包括：
基于目标用户对应的用户画像信息，确定目标用户可能感兴趣的M个类别的图像内容；
确定M个类别的图像内容分别对应的N张图像；
基于M个类别的图像内容分别对应的N张图像，确定目标图像序列，目标图像序列包含按照随机顺序排列的M×N张图像。
在实际执行中，基于目标用户对应的用户画像信息，列举目标用户可能感兴趣的M个不同类别的图像内容。其中，用户画像信息可以是从AR/VR-BCI设备中采集的用户行为数据中确定。
对于每个类别的图像内容，整理N张不同图像，也可以是在N段短视频中截取的图像。将这M×N张图像的排列顺序随机打乱再组成目标图像序列。
其中，M的值不小于5，并在时长允许的条件下尽可能大；M类不同的图像内容涉及的范围应当尽量宽泛；N的值范围在5~10之间（不同类别图像内容下的图像数量应当尽可能相同），N张不同的图像应当风格相似、内容同质。例如，在电商应用中，要获取用户对不同类商品的感兴趣程度，组织8个品类的内容（例如：数码、家电、服装、鞋包、医药、食品、化妆品和房产），每个品类下准备5张风格相似、内容同质的图像，随机打乱这些图像的顺序后，构成了总数40张的图像序列。
在步骤S207中，加载步骤S206所组织的目标图像序列，按照快速序列视觉呈现的方式进行呈现，同时记录该过程中目标用户的脑电数据。
在实际执行中，加载步骤S206所组织的包含M×N张图像的目标图像序列，按照快速序列视觉呈现的方式，通过头显设备将目标图像序列不断呈现在用户视野中央，与此同时记录用户的脑电数据。其中快速序列视觉呈现的模式为固定模式，图像固定在用户的视野中央出现，图像呈现速率不低于2Hz（即每秒钟出现不少于2张图像）。脑电数据采集同时记录脑电数据以及目标图像序列中每张图像出现的对应的时刻。
在步骤S208中，对步骤S207中所采集的第一脑电数据进行预处理，而后加载已完成训练的脑电分类模型对与处理后得到第二脑电数据进行分类，获得每张图像的图像内容对应的预测概率值。其中，预处理步骤与上述实施例中的预处理相同，在此不再赘述。
在步骤S209处，综合不同图像内容对应的预测概率值，使用最大或阈值策略对用户感兴趣内容进行识别。
在一些实施例中，基于分类结果，确定目标用户感兴趣的图像内容，可以包括：
基于每张图像的图像内容对应的预测概率值，确定同一类别的图像内容对应的预测概率值的平均概率值；
基于所有类别的图像内容分别对应的平均概率值，确定目标用户所感兴趣的图像内容。
在实际执行中，对步骤S208所获得的每张图像的图像内容对应的预测概率值，即M×N个预测概率值，记为，，进行综合，实现对这M个不同类别的图像内容中哪些是用户所感兴趣的内容的最终判定。
综合判断的方式可以是对每个类别的图像内容下的N个预测值进行平均，得到同一类别的所有图像内容对应的预测概率值的平均概率值为。对用户所感兴趣的目标类别的图像内容的最终判定是基于对M个不同类别的图像内容对应的平均感兴趣概率值（/>）的筛选。筛选策略可以是最大概率值策略，即判定第类的图像内容为用户所感兴趣的目标类别的图像内容；筛选策略可以是阈值策略，即选定阈值/>，判断/>为用户感兴趣的图像内容。基于上述策略，实现对用户所感兴趣内容的最终识别。
本发明提供的用户兴趣挖掘方法，应用于AR/VR-BCI设备，并基于快速序列视觉呈现和脑电数据，通过将丰富信息按照快速序列视觉呈现方式呈现给用户，同时采集用户脑电信号。呈现给用户的不同图像内容中，用户感兴趣的内容会诱发出特异性的脑响应，对过程中脑电信号进行解析，通过基于脑电的用户感兴趣内容识别算法，分析出其中用户感兴趣的信息实现快速准确的用户兴趣挖掘。基于AR/VR-BCI设备的用户兴趣挖掘方法，有机会能够突破当前仅能利用用户行为数据和反馈信息，实现利用用户的脑信息，贴近用户的真实感受，从而实现更加准确的用户兴趣挖掘。
下面对本发明提供的用户兴趣挖掘装置进行描述，下文描述的用户兴趣挖掘装置与上文描述的用户兴趣挖掘方法可相互对应参照。
图5是本发明提供的用户兴趣挖掘装置的结构示意图。参照图5，本发明提供的用户兴趣挖掘装置，应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，所述装置包括：
预处理模块510，用于对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
分类预测模块520，用于将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和每个脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
内容识别模块530，用于基于所述分类结果，确定所述目标用户感兴趣的图像内容。
本发明提供的用户兴趣挖掘装置，通过在头显设备提供的固定视野范围内呈现目标图像序列的情况下，对采集到的目标用户的第一脑电数据进行预处理，得到第二脑电数据，实现分析用户观察不同图像内容的图像时产生的脑电数据，同时基于目标图像序列在有限的屏幕提供了更多的信息，提高了人机交互效率，更容易捕捉和贴近用户的真实想法；然后将第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，并基于分类结果，确定目标用户感兴趣的目标图像内容，实现对用户感兴趣内容的快速识别，并且具有更好的实时性。
在一些实施例中，所述装置还包括：
模型训练模块540，用于在所述头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过所述脑机接口设备获取所述目标用户的初始脑电训练数据；
对所述初始脑电训练数据进行预处理，得到所述预处理后的脑电样本训练数据；
将所述预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签构成脑电训练数据集，利用所述脑电训练数据集对所述脑电分类模型进行训练，直至所述脑电分类模型收敛后，得到所述训练完成的脑电分类模型。
在一些实施例中，所述装置还包括：
判断模块，用于在所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，判断所述训练完成的脑电分类模型的有效性；
在所述训练完成的脑电分类模型为有效模型的情况下，获取所述第一脑电数据；
在所述训练完成的脑电分类模型为无效模型的情况下，重新训练所述脑电分类模型。
在一些实施例中，所述内容识别模块530，具体用于：
基于所述每张图像的图像内容对应的预测概率值，确定同一类别的图像内容对应的预测概率值的平均概率值；
基于所有类别的图像内容分别对应的平均概率值，确定所述目标用户感兴趣的图像内容。
在一些实施例中，所述装置还包括：
图像序列生成模块，用于在所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，基于所述目标用户对应的用户画像信息，确定所述目标用户可能感兴趣的M个类别的图像内容；
确定所述M个类别的图像内容分别对应的N张图像；
基于所述M个类别的图像内容分别对应的N张图像，确定所述目标图像序列，所述目标图像序列包含按照随机顺序排列的M×N张图像。
在一些实施例中，所述预处理包括：降采样、重参考、滤波、分段和归一化，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据，包括：
对所述第一脑电数据依次进行降采样、重参考、滤波和分段，得到分段后的脑电数据；
对所述分段后的脑电数据对应的每个导联进行归一化，得到所述第二脑电数据。
在一些实施例中，所述脑电分类模型为EEGNet模型。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行用户兴趣挖掘方法，该方法应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，该方法包括：
对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和每个脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
基于所述分类结果，确定所述目标用户感兴趣的图像内容。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的用户兴趣挖掘方法，该方法应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，该方法包括：
对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和每个脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
基于所述分类结果，确定所述目标用户感兴趣的图像内容。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用户兴趣挖掘方法，该方法应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，该方法包括：
对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和每个脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
基于所述分类结果，确定所述目标用户感兴趣的图像内容。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用户兴趣挖掘方法，其特征在于，应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，所述方法包括：
对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
基于所述分类结果，确定所述目标用户感兴趣的图像内容。
2.根据权利要求1所述的用户兴趣挖掘方法，其特征在于，所述脑电分类模型通过如下方式训练：
在所述头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过所述脑机接口设备获取所述目标用户的初始脑电训练数据；
对所述初始脑电训练数据进行预处理，得到所述预处理后的脑电样本训练数据；
将所述预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签构成脑电训练数据集，利用所述脑电训练数据集对所述脑电分类模型进行训练，直至所述脑电分类模型收敛后，得到所述训练完成的脑电分类模型。
3.根据权利要求1所述的用户兴趣挖掘方法，其特征在于，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，所述方法还包括：
判断所述训练完成的脑电分类模型的有效性；
在所述训练完成的脑电分类模型为有效模型的情况下，获取所述第一脑电数据；
在所述训练完成的脑电分类模型为无效模型的情况下，重新训练所述脑电分类模型。
4.根据权利要求1所述的用户兴趣挖掘方法，其特征在于，所述基于所述分类结果，确定所述目标用户感兴趣的图像内容，包括：
基于所述每张图像的图像内容对应的预测概率值，确定同一类别的图像内容对应的预测概率值的平均概率值；
基于所有类别的图像内容分别对应的平均概率值，确定所述目标用户感兴趣的图像内容。
5.根据权利要求1所述的用户兴趣挖掘方法，其特征在于，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据之前，所述方法还包括：
基于所述目标用户对应的用户画像信息，确定所述目标用户可能感兴趣的M个类别的图像内容；
确定所述M个类别的图像内容分别对应的N张图像；
基于所述M个类别的图像内容分别对应的N张图像，确定所述目标图像序列，所述目标图像序列包含按照随机顺序排列的M×N张图像。
6.根据权利要求1-5任一项所述的用户兴趣挖掘方法，其特征在于，所述预处理包括：降采样、重参考、滤波、分段和归一化，所述对目标用户的第一脑电数据进行预处理，得到第二脑电数据，包括：
对所述第一脑电数据依次进行降采样、重参考、滤波和分段，得到分段后的脑电数据；
对所述分段后的脑电数据对应的每个导联进行归一化，得到所述第二脑电数据。
7.一种用户兴趣挖掘装置，其特征在于，应用于穿戴设备，所述穿戴设备集成有头显设备和脑机接口设备，所述装置包括：
预处理模块，用于对目标用户的第一脑电数据进行预处理，得到第二脑电数据，所述第一脑电数据是在所述头显设备显示目标图像序列的情况下通过所述脑机接口设备采集的，所述目标用户穿戴有所述穿戴设备；
分类预测模块，用于将所述第二脑电数据输入至训练完成的脑电分类模型，得到分类结果，所述分类结果包括所述目标图像序列中每张图像的图像内容对应的预测概率值，所述预测概率值用于指示所述目标用户对所述图像内容的感兴趣程度，所述脑电分类模型基于预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签训练得到，所述标签用于指示所述脑电样本训练数据对应的图像是否为目标检测训练任务中的目标图像，所述目标检测训练任务为在样本图像序列中检测到所述目标图像的任务；
内容识别模块，用于基于所述分类结果，确定所述目标用户感兴趣的图像内容。
8.根据权利要求7所述的用户兴趣挖掘装置，其特征在于，所述脑电分类模型通过如下方式训练：
在所述头显设备中按照快速序列视觉呈现的方式显示样本图像序列，并通过所述脑机接口设备获取所述目标用户的初始脑电训练数据；
对所述初始脑电训练数据进行预处理，得到所述预处理后的脑电样本训练数据；
将所述预处理后的脑电样本训练数据和所述脑电样本训练数据对应的标签构成脑电训练数据集，利用所述脑电训练数据集对所述脑电分类模型进行训练，直至所述脑电分类模型收敛后，得到所述训练完成的脑电分类模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述用户兴趣挖掘方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述用户兴趣挖掘方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410006000.6A CN117494061A (zh) | 2024-01-03 | 2024-01-03 | 用户兴趣挖掘方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410006000.6A CN117494061A (zh) | 2024-01-03 | 2024-01-03 | 用户兴趣挖掘方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117494061A true CN117494061A (zh) | 2024-02-02 |
Family
ID=89669462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410006000.6A Pending CN117494061A (zh) | 2024-01-03 | 2024-01-03 | 用户兴趣挖掘方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117494061A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200193299A1 (en) * | 2016-12-21 | 2020-06-18 | Innereye Ltd. | System and method for iterative classification using neurophysiological signals |
| CN112990074A (zh) * | 2021-03-31 | 2021-06-18 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| KR20230170466A (ko) * | 2022-06-10 | 2023-12-19 | 연세대학교 산학협력단 | 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치 |
-
2024
- 2024-01-03 CN CN202410006000.6A patent/CN117494061A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200193299A1 (en) * | 2016-12-21 | 2020-06-18 | Innereye Ltd. | System and method for iterative classification using neurophysiological signals |
| CN112990074A (zh) * | 2021-03-31 | 2021-06-18 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| KR20230170466A (ko) * | 2022-06-10 | 2023-12-19 | 연세대학교 산학협력단 | 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Continuous convolutional neural network with 3D input for EEG-based emotion recognition | |
| US11188965B2 (en) | Method and apparatus for recommending customer item based on visual information | |
| CN108446635B (zh) | 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法 | |
| US10303971B2 (en) | Image classification by brain computer interface | |
| KR102664008B1 (ko) | 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 | |
| CN111329474B (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
| Riyad et al. | Incep-EEGNet: a convnet for motor imagery decoding | |
| WO2016115895A1 (zh) | 一种基于视觉行为的网上用户类型识别方法及系统 | |
| CN103154953A (zh) | 测量具有上网功能的应用程序的情感数据 | |
| CN110738116B (zh) | 活体检测方法及装置和电子设备 | |
| WO2016123777A1 (zh) | 一种基于生物特征的对象呈现、推荐方法和装置 | |
| Dong et al. | An on-board monitoring system for driving fatigue and distraction detection | |
| Carabez et al. | Convolutional neural networks with 3D input for P300 identification in auditory brain-computer interfaces | |
| Tapia et al. | Semantic segmentation of periocular near-infra-red eye images under alcohol effects | |
| CN111931679A (zh) | 动作识别方法、装置、设备及存储介质 | |
| Nakra et al. | Motor imagery EEG signal classification using long short-term memory deep network and neighbourhood component analysis | |
| Chacon-Murguia et al. | A CNN-based modular classification scheme for motor imagery using a novel EEG sampling protocol suitable for IoT healthcare systems | |
| CN112438741A (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
| Dehnavi et al. | Design and implementation of a real time and train less eye state recognition system | |
| CN117494061A (zh) | 用户兴趣挖掘方法、装置、电子设备及介质 | |
| Pal et al. | Study of neuromarketing with eeg signals and machine learning techniques | |
| Ghimire et al. | Classification of EEG Motor Imagery Tasks Utilizing 2D Temporal Patterns with Deep Learning. | |
| Li et al. | A Method of Attention Analysis on Video | |
| Tan et al. | Driver Distraction Behavior Recognition for Autonomous Driving: Approaches, Datasets and Challenges | |
| EP3757950B1 (en) | Method and system for selecting parameters of a design or security element of banknotes based on neuroanalysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |