CN116578731A - 多媒体信息处理方法、系统、计算机设备和存储介质 - Google Patents
多媒体信息处理方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116578731A CN116578731A CN202310818907.8A CN202310818907A CN116578731A CN 116578731 A CN116578731 A CN 116578731A CN 202310818907 A CN202310818907 A CN 202310818907A CN 116578731 A CN116578731 A CN 116578731A
- Authority
- CN
- China
- Prior art keywords
- response
- multimedia information
- topic
- features
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000010365 information processing Effects 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 171
- 230000008451 emotion Effects 0.000 claims abstract description 83
- 238000003062 neural network model Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 30
- 210000004556 brain Anatomy 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000463 material Substances 0.000 description 24
- 230000036651 mood Effects 0.000 description 13
- 230000000284 resting effect Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 238000009223 counseling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 230000010482 emotional regulation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000005389 magnetism Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000007848 Alcoholism Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 206010009244 Claustrophobia Diseases 0.000 description 1
- 206010013654 Drug abuse Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 206010001584 alcohol abuse Diseases 0.000 description 1
- 208000025746 alcohol use disease Diseases 0.000 description 1
- 210000004727 amygdala Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004326 gyrus cinguli Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 208000011117 substance-related disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000003827 upregulation Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
- G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种多媒体信息处理方法、系统、计算机设备和存储介质，获取语义特征和响应特征，建立语义特征和响应特征之间的关联关系；获取目标响应特征，基于语义特征和响应特征之间的关联关系，得到与目标响应特征相关的话题集合；获取目标用户的对话数据，根据目标用户的对话数据和话题集合生成多媒体信息，并输出多媒体信息。本申请改善了多媒体信息的处理方法，生成并输出了能够精准、个性化地激活情绪环路的多媒体信息。
Description
技术领域
本申请涉及人工智能领域，特别是涉及一种多媒体信息处理方法、系统、计算机设备和存储介质。
背景技术
情绪调节是人类生活中必不可少的一个环节，它可以有效地改善负面情绪、促进积极情绪和提高个体心理健康水平，从而更好地应对生活中遇到的各种挑战和相应的情绪变化。过去的研究表明，情绪调节能力和个体的心理健康和幸福感密切相关。然而，相对于健康人而言，抑郁症患者的情绪调节能力通常会变得较差，他们更容易出现情绪的不稳定、负面评估、情感过度激烈以及情感难以自我控制等问题，常常呈现出情绪反应迟钝、情感表达不足、避免情感的行为方式，因此，需要为患者提供一种用于情绪调节的多媒体素材。
相关方法中，大多数是基于被试的行为或基于医生主观猜测获取相关多媒体素材，如：沟通话题，等。以获取沟通话题为例，由于被试存在不喜欢说话、表达不清楚的情况，会存在主观意识下话题推断错误的情况。因此，需要改善多媒体素材的处理方法。针对如何改善多媒体素材的处理方法的问题，目前还没有提出有效的解决方案。
发明内容
基于此，提供一种多媒体信息处理方法、系统、计算机设备和存储介质。
第一方面，本申请提供了一种多媒体信息处理方法，包括：
获取语义特征和响应特征，建立所述语义特征和所述响应特征之间的关联关系；
获取目标响应特征，基于所述语义特征和所述响应特征之间的关联关系，得到与所述目标响应特征相关的话题集合；
获取目标用户的对话数据，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，并输出所述多媒体信息。
在其中一个实施例中，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，包括：
基于所述对话数据生成所述目标用户的训练话题和情绪词汇，根据所述训练话题和所述情绪词汇训练第一神经网络模型；
基于训练好的所述第一神经网络模型和所述话题集合，生成所述多媒体信息。
在其中一个实施例中，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，并传输所述多媒体信息至所述目标用户，包括：
获取所述话题集合中的第一话题，根据所述第一话题生成第一多媒体信息；
获取所述目标用户根据所述第一多媒体信息生成的第一响应信号，判断所述第一响应信号是否满足预设条件；
若不满足所述预设条件，则获取所述话题集合中的第二话题，根据第二话题生成第二多媒体信息。
在其中一个实施例中，获取语义特征，包括：
获取预设多媒体信息，识别所述预设多媒体信息的语义信息，提取所述语义信息的特征，得到所述语义特征。
在其中一个实施例中，获取响应特征，包括：
在判断到所述预设对象处于第一状态的情况下，传输与所述语义特征对应的预设多媒体信息至所述预设对象，获取所述预设对象的第一响应信号，提取所述第一响应信号的特征，得到第一响应特征；
在判断到所述预设对象处于第二状态的情况下，不传输与所述语义特征对应的预设多媒体信息，获取所述预设对象的第二响应信号，提取所述第二响应信号的特征，得到第二响应特征。
在其中一个实施例中，建立所述语义特征和所述响应特征之间的关联关系，包括：
将所述语义特征作为第二神经网络模型的输入数据，将所述响应特征作为所述第二神经网络模型的标签数据；
通过所述语义特征和所述响应特征训练所述第二神经网络模型，得到所述语义特征和所述响应特征之间的关联关系。
在其中一个实施例中，获取目标响应特征，包括：
确定预设对象中与情绪环路对应的脑区，获取所述情绪环路所对应的脑区生成的目标响应信号，提取所述目标响应信号的特征，得到所述目标响应特征。
第二方面，本申请还提供了一种多媒体信息生成系统，其特征在于，包括：生成装置和输出装置，所述生成装置与所述输出装置连接；其中，
所述生成装置用于获取语义特征和响应特征，建立所述语义特征和所述响应特征之间的关联关系；获取目标响应特征，基于所述语义特征和所述响应特征之间的关联关系，得到与所述目标响应特征相关的话题集合；获取目标用户的对话数据，根据所述目标用户的对话数据和所述话题集合生成多媒体信息；
所述输出装置用于输出所述多媒体信息。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的多媒体信息处理方法。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的多媒体信息处理方法。
多媒体信息处理方法、系统、计算机设备和存储介质，获取语义特征和响应特征，建立语义特征和响应特征之间的关联关系；获取目标响应特征，基于语义特征和响应特征之间的关联关系，得到与目标响应特征相关的话题集合；获取目标用户的对话数据，根据目标用户的对话数据和话题集合生成多媒体信息，并输出多媒体信息，改善了多媒体信息的处理方法，生成并输出了能够精准、个性化地激活情绪环路的多媒体信息。
附图说明
图1为本申请一个实施例中多媒体信息处理方法的应用环境图；
图2为本申请一个实施例中多媒体信息处理方法的流程图；
图3为本申请一个实施例中根据提示词生成话题语句的示意图；
图4为本申请一个实施例中听觉刺激处理的示意图；
图5为本申请一个实施例中基于chatGPT和实时功能磁共振的听觉刺激生成的流程图；
图6为本申请一个实施例中多媒体信息生成系统的结构框图；
图7为本申请一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的多媒体信息处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，图2是本申请一实施例中的多媒体信息处理方法的流程示意图，如图2所示，提供了一种多媒体信息处理方法，包括以下步骤：
步骤S201，获取语义特征和响应特征，建立语义特征和响应特征之间的关联关系。
其中，语义特征由多媒体素材的语义信息编码后得到。响应特征是预设对象基于多媒体素材生成的响应信号的特征，预设对象包括符合情绪调节需求的被试，如抑郁患者。响应信号可以包括磁共振信号、脑电、脑磁、肌电、心电、呼吸等能反映情绪的信号。
具体地，获取用于训练的多媒体素材，获取多媒体素材的语义信息并提取特征得到语义特征。获取预设对象接受到多媒体素材后产生的响应信号，提取响应信号的特征得到响应特征。并通过神经网络模型训练得到语义特征和响应特征之间的关联关系，其中，关联关系为非线性关系。
步骤S202，获取目标响应特征，基于语义特征和响应特征之间的关联关系，得到与目标响应特征相关的话题集合。
获取目标响应信号，提取目标响应信号的特征，得到目标响应特征。其中，目标响应信号包括因用户情绪上调所产生的响应信号。具体地，根据语义特征和响应特征训练第二神经网络模型，根据训练好的第二神经网络模型，得到语义特征和响应特征之间的关联关系。其中，语义特征和响应特征之间的关联关系为非线性关系。根据训练好的第二神经网络模型进行反演，根据目标响应特征得到话题集合。
步骤S203，获取目标用户的对话数据，根据目标用户的对话数据和话题集合生成多媒体信息，并输出多媒体信息。
目标用户的对话数据包括目标用户的心理辅导对话数据、目标用户和第一神经网络模型交互产生的对话数据。根据目标用户的对话数据，个性化地生成与话题集合相关的多媒体信息。
示例性地，第一神经网络模型为语言模型，通过心理辅导对话数据对语言模型进行训练，基于目标用户个性化生成对话机器人。向对话机器人输入能够引起目标用户情绪环路响应的话题合集和对应的情绪表达提示词，如：“喜欢”、“讨厌”等。对话机器人能够输出与话题相关的描述、共情表述、心理辅导建议和情绪调节提示，如“放松”、“深呼吸”等。
通过本实施例的步骤S201-S203，建立语义特征和响应特征之间的关联关系，根据关联关系获取能够精准生成与情绪环路相关响应的话题集合。在话题集合的基础上，基于目标用户的需求，生成并输出与话题集合相关的多媒体素材，使生成的多媒体素材具备激活目标用户的情绪环路，并上调与情绪环路对应的响应信号的效果。本实施例根据经多媒体素材语义与响应的关联关系，精准且客观地定位用户感兴趣话题；从用户个体偏好出发，个性化地生成多媒体素材。改善了多媒体素材的处理方法，使生成的多媒体素材能够为目标用户提供高效的情绪调节支持。
在其中一个实施例中，获取语义特征，包括：获取预设多媒体信息，识别预设多媒体信息的语义信息，提取语义信息的特征，得到语义特征。提取语义信息的特征包括对语义信息进行编码。可选地，预设多媒体信息可以是不同话题的若干音频信号。将不同话题的音频信号送入预训练的包含注意力模块的语音识别模型，例如speech-Transformer模型，进行语义编码，形成语义特征。
获取响应特征，包括：在判断到预设对象处于第一状态的情况下，传输与语义特征对应的预设多媒体信息至预设对象，获取预设对象的第一响应信号，提取第一响应信号的特征，得到第一响应特征；在判断到预设对象处于第二状态的情况下，不传输与语义特征对应的预设多媒体信息，获取预设对象的第二响应信号，提取第二响应信号的特征，得到第二响应特征。
使用广义线性模型提取响应信号的特征，其中，响应信号包括功能磁共振信号，还可以包含脑电、脑磁、肌电、心电、呼吸等能反映情绪的信号。其中，第一状态为情绪调节条件下的状态，第二状态为静息条件下的状态。当预设对象处于第一状态下时，预设对象大脑处于放空状态，当预设对象处于第二状态下时，预设对象处于受积极情绪诱发、自我情绪调节状态。第一状态和第二状态交替进行。可选地，在预设对象未接受到预设多媒体信息的情况下，预设对象处于第一状态。在预设对象接受到预设多媒体信息的情况下，预设对象处于第二状态。第一响应信号为情绪环路受多媒体信息激发所产生的响应信号，第二响应信号为情绪环路未受激发时，产生的基准信号。
以预设多媒体信息为听觉刺激为例，从材料话题库中随机抽选听觉刺激，预设对象佩戴头戴式耳机，通过耳机双侧同步播放听觉刺激，播放持续时间为4~8s。播放过程处于情绪调节条件，预设对象仔细聆听，并通过右手按键判断该听觉刺激对应的话题是不是自己感兴趣的。同时采集预设对象生成的磁共振信号。播放结束后是6s的静息，预设对象此时进入静息条件，保持大脑放空，放松精神。
建立语义特征和响应特征之间的关联关系，包括：将语义特征作为第二神经网络模型的输入数据，将响应特征作为第二神经网络模型的标签数据；通过语义特征和响应特征训练第二神经网络模型，得到语义特征和响应特征之间的关联关系。
将语义特征作为输入数据，响应特征作为标签数据，使用第二神经网络模型进行回归训练，其中，第二神经网络模型包括可逆深度卷积模型，例如Inveritble ResNet模型（可逆残差网络模型）。通过训练好的第二神经网络模型得到刺激特征和响应特征之间的非线性关联关系。语义特征和响应特征之间的关联关系可以通过语义图谱形式表现，具体地，整理语义特征获取多个话题，并得到不同话题和大脑响应之间的非线性关系，根据话题和大脑响应之间的非线性关系建立语义图谱。基于语义图谱，能够通过用户大脑信号响应，客观地推测出用户所感兴趣的话题，进而能为第一申请网络生成多媒体素材提供话题集合。其中，话题集合包括使得用户情绪环路上调的积极话题集合。根据话题集合生成的多媒体素材可以上调用户情绪，即，用户接收到根据话题集合生成的多媒体素材时，其情绪环路激活信号大于先验的平均激活信号。
获取目标响应特征，包括：确定预设对象中与情绪环路对应的脑区，获取情绪环路所对应的脑区生成的目标响应信号，提取目标响应信号的特征，得到目标响应特征。
其中，情绪环路包括全脑中与情绪表达和感受有关的脑区，包括双侧前额叶皮层、杏仁核、海马体、前扣带回和脑岛等，目标响应信号为上述情绪环路对应的脑区产生的响应信号，包括功能磁共振信号，还可以包含脑电、脑磁、肌电、心电、呼吸等能反映情绪的信号。具体地，确定根据情绪环路所需要的响应信号，计算出响应特征，再根据训练好的可逆深度卷积模型进行反演，即能得到该情绪所需要的语义信息，也就是该情绪对应的话题。
在其中一个实施例中，根据目标用户的对话数据和话题集合生成多媒体信息，包括：基于对话数据生成目标用户的训练话题和情绪词汇，根据训练话题和情绪词汇训练第一神经网络模型；基于训练好的第一神经网络模型和话题集合，生成多媒体信息。
第一神经网络模型包括语言模型，语言模型可以包括人机交互特征，如ChatGPT（Chat Generative Pre-trained Transformer，基于大规模语言模型的聊天机器人）。其中，ChatGPT具有个性化、定制化的优势，它可以根据用户的需求和偏好，提供个性化的情绪调节方案，比如制定专业的情绪调节计划、建议合适的休闲娱乐活动等，从而使情绪调节更加有效。
示例性地，对第一神经网络模型训练包括：获取预训练语言模型，如GPT-4模型（Generative Pre-trained Transformer 4，第4代生成式预训练变换模型）、BERT模型（BidirectionalEncoder Representations fromTransformer，基于Transformer的双向编码模型）等。获取目标用户的心理辅导对话数据。在预训练语言模型的基础上，通过心理辅导对话数据对预训练语言模型进行精调，得到所需的对话机器人，输入可以引起目标用户情绪环路响应的“话题”和对应的“喜欢”、“讨厌”这样的情绪表达提示词，例如“情绪调节大海 喜欢”，图3是本实施例中根据提示词生成话题语句的示意图，如图3所示，对话机器人输出为与话题相关的描述、共情表述、心理辅导建议和情绪调节提示。
在其中一个实施例中，根据目标用户的对话数据和话题集合生成多媒体信息，并传输多媒体信息至目标用户，包括：获取话题集合中的第一话题，根据第一话题生成第一多媒体信息；获取目标用户根据第一多媒体信息生成的第一响应信号，判断第一响应信号是否满足预设条件；若不满足预设条件，则获取话题集合中的第二话题，根据第二话题生成第二多媒体信息。
预设条件为判断第一响应信号是否大于等于预设阈值。若目标用户情绪环路的第一响应信号小于预设阈值，则表明第一话题对于目标用户的积极情绪调节不起作用，则选择话题集合中的其他话题；若目标用户情绪环路的第一响应信号大于或等于预设阈值，则表明第一多媒体素材能够较好地激活目标用户情绪环路，使得目标用户的情绪上调。因此，第一话题为目标用户的感兴趣话题，让第一神经网络模型继续根据第一话题生成多媒体素材，直到第一响应信号小于预设阈值，目标用户对于该话题产生厌倦。
其中，基于第一话题生成第一多媒体信息，第一多媒体信息可以是与第一话题相关的多个描述性语句、图像、视频等。
以多媒体信息是描述性语句为例，图4是本实施例中听觉刺激处理的示意图。如图4所示，根据可逆深度卷积模型输出话题合集，根据话题的语义信息进行语义整理，并形成包括多个类别话题的列表集合。将整理后的话题集合作为提示词输入chatGPT，chatGPT输出描述性语句并转换成听觉刺激。
听觉刺激处理过程包括静息条件和情绪调节条件，静息条件和情绪调节条件交替进行。在静息条件下，被试躺在磁共振里脑袋放空注视屏幕中的十字。判断到被试处于静息条件后，从话题列表中随机筛选出一类话题，比如“大海”，并输入到chatGPT生成话题相关语句，例如输入“生成一段30个字描述海边的话”。chatGPT生成语句：“在这里，海浪带着海草和细沙拍打着轻盈的脚步声，海鸟和风一起舞动，太阳和天空一起歌唱，让人们尽情享受着这里最美的景色和氛围。”利用语音阅读工具将生成的话题相关语句转换成听觉刺激，时长不超过30s。在情绪调节条件下，将上述听觉刺激通过psychopy工具（心理学刺激呈现软件）进行载入，通过双侧头戴式耳机给被试播放，并获取被试生成的响应信号。紧接着是30s的静息条件，将情绪调节条件下引起的情绪脑区激活下降到基线水平，并判断响应信号是否符合预设条件，根据判断结果，生成对应的话题相关语句。
利用psychopy工具播放听觉刺激给被试时，需要将情绪调节条件下每个时间点获得的磁共振信号进行传输并实时处理。示例性地，传输并实时处理磁共振信号包括：
数据实时传输。实施传输被试生成的磁共振信号。每当获得一个时间点的数据，利用传输通信协议将数据从磁共振机器里输出，并输入、保存到外置实时平台计算机对应文件夹。
实时预处理。获得实时磁共振数据之后，在外置实时平台计算机上对磁共振数据进行预处理，包括实时头动参数估计和校正、实时层间对齐和实时平滑，从而得到预处理之后的数据。
一般线性模型实时分析。使用自回归模型（Autoregression，AR(1)）建立一般线性模型，接着对当前时间点信号进行卡尔曼低通滤波和去噪，并设置滑动窗规范到统一尺度，将情绪脑区图谱映射到全脑，得到情绪环路当前时间点的时间序列。将连续的一次静息条件和一次情绪调节条件作为一组实验，获取一组实验中生成的一组响应信号；
按时间顺序对接收到的多组响应信号进行处理。如果当前获取的一组响应信号，属于第一个实验组块（block），则确定静息条件后7个时间点，获取并计算这7个时间点内响应信号的平均时间序列，再将当前时间点响应信号的时间序列与上述平均时间序列相减，得到当前时间点响应信号相对于静息条件下响应信号的对比激活值；如果当前获取的一组响应信号处于第n个block（n>1），则获取第一个实验组块中，第一个静息block后7个时间点的响应信号，以及前n个静息block包含第3个时间点到最后一个时间点的响应信号，对获取的响应信号进行平均处理，并将平均处理后得到的响应信号与将当前时间点响应信号的时间序列进行相减。一个情绪调节block之后，对这些差值进行平均计算；
如果该block的平均差值高于或等于设定的阈值，则表明该被试对于话题语句感兴趣从而产生了情绪波动，并且朝着积极情绪调节的方向发展，下一个block继续使用该话题进行情绪调节；而如果该block的平均差值低于设定的阈值，则表明该语句对被试的情绪不起作用，从而从基于语义图谱产生的话题中重新挑选某一话题，在下一个block的时候使用新话题进行情绪调节。
在一个实施例中，还提供了一种基于chatGPT和实时功能磁共振的调节方法。图5是本实施例的基于chatGPT和实时功能磁共振的情绪调节方法的流程图，如图5所示，该流程包括如下步骤：
步骤S501，获取多个话题的若干听觉刺激。
步骤S502，磁共振扫描；获取在依次播放若干个不同话题的听觉刺激时被试的功能磁共振信号。
步骤S503，利用语义图谱从情绪环路中筛选话题；将步骤S502获得的功能磁共振信号输入构建的语义模型，选择经典的情绪环路，并基于情绪环路从语义图谱上筛选能够稳定上调被试情绪的话题集合。
其中，语义模型构建过程包括：将多个话题的若干听觉刺激送入预训练的包含注意力模块的模型进行语义编码，形成语义特征；提取被试在不同刺激信号下功能磁共振信号的响应特征；将语义特征作为输入数据，响应特征作为标签数据，使用可逆模型进行回归训练，得到刺激特征和响应特征之间的非线性关系；根据若干听觉刺激和磁共振数据训练可逆模型，根据可逆模型得到听觉刺激的语义和磁共振数据的关系，并生成语义图谱。
步骤S504，确定能上调患者情绪的话题。患者，即本实施例中的目标用户，确定上调患者情绪环路所需的响应，根据响应的特征，得到该情绪所需要的语义信息，也就是该情绪对应的话题。
步骤S505，随机选择一类话题。从步骤S504生成的话题集合中随机选择一类话题。
步骤S506，生成话题相关材料。通过心理辅导对话数据对预训练语言模型进行精调，得到实验所需的chatGPT；将步骤S506中随机选择的话题进行语义整理，形成对应类别的话题列表集合，准备作为chatGPT的提示词，chatGPT根据提示词生成话题相关材料。
步骤S507，转化为听觉刺激。若干个不同话题的听觉刺激包括双侧同步播放的相同音量和频率的不同种类话题语音材料，比如汽车、动物、天气和运动相关话题相关语句，或者不同类型的音乐片段。若生成的是话题相关语句，利用语音阅读工具转换成听觉刺激。
步骤S508，实时情绪调节。利用psychopy工具播放听觉刺激给患者，用于患者的心理疏导和情绪开解。
步骤S509，判断响应信号是否高于阈值。获取Bold（血氧水平依赖响应信号），根据血氧水平依赖响应信号判断被试在听觉任务过程中情绪环路的激活情况，其中，激活阈值根据先验知识设定。如果Bold大于或等于阈值，执行步骤S506，如果被试情绪环路的激活信号小于阈值，则执行步骤S505，即重新选择一类话题。
其中，接受磁共振扫描的被试须为符合要求的抑郁症患者，可选地，要求被试为满足精神疾病诊断与统计手册第五版（DSM-V）抑郁症的诊断标准，无其他精神疾病，无其他脑疾病或躯体疾病，无酒精或者药物滥用史，无妊娠或者幽闭恐惧症。听觉刺激的刺激原材料根据“聊天话题”、“感兴趣话题”等关键词，以及涉及工作、生活、学习、家庭、爱情、兴趣爱好、运动和食物等若干话题的筛选得到。聊天话题可以包括：“如果有一天自己变成了超人你最想干什么呢？”，“你喜欢养宠物吗？”，“让你最开心的事情是什么呢？”，“一年四季你最喜欢哪个季节呢？”，“你满意你目前的生活状态吗？”，“现在的工作你觉得还满意吗？”，“你觉得爱情最美好的样子是什么样子？”，“你最想去旅游的城市是哪个城市呢？”等，所有的刺激是由母语为中文并且普通话标准的女声进行录制。
其中，上述步骤开始前，可以为所有患者进行一般人口统计学特征数据采集和当前情绪状态评估。示例性地，要求患者在填写6个评估睡眠和情绪状态的量表，包括匹兹堡睡眠质量指数(PSQI)、失眠严重程度指数(ISI)、汉密顿抑郁量表(HAMD)、汉密顿焦虑量表(HAMA)、积极情感和消极情感量表(PANAS)和贝克抑郁量表(BDI)。以上量表在患者完成步骤五之后再进行测量。
在完成步骤S509后，可以让患者重新填写上述6个评估睡眠和情绪的量表，用于测量当前的情绪状态，通过前后量表的分值对比查看被试是否在情绪调节实验中获益，相应的抑郁情绪是否有减弱。如果被试的情绪状态有所提升的话，则表明被试通过基于chatGPT和实时功能磁共振的听觉刺激生成方法改善了情绪状态，表明该方法的有效性。
本实施例中，通过依次播放若干个不同话题的听觉刺激同步获得被试的磁共振信号，基于语义模型确定被试的情绪环路和环路对应的被试偏好话题。利用chatGPT生成该话题相关语句并转化为听觉刺激信息；播放生成的听觉刺激并让被试聆听，如果该话题能够有效地上调情绪环路信号则继续利用该话题生成语句，反之则重新选择话题集。将通过语义图谱定位情绪偏好话题和chatGPT生成话题语句功能相结合，从被试个体偏好出发，实现积极话题语句个性化生成，通过生成的话题语句调节被试情绪环路的激活情况，并被试生成诱发积极情绪，为提供了更加灵活、全面的情绪调节支持。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多媒体信息生成方法的多媒体信息生成系统。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多媒体信息生成系统实施例中的具体限定可以参见上文中对于多媒体信息生成方法的限定，在此不再赘述。
在一个实施例中，图6为本申请一个实施例中多媒体信息生成系统的结构框图，如图6所示，多媒体信息生成系统，包括：生成装置和输出装置，所述生成装置与所述输出装置连接；其中，
所述生成装置用于获取语义特征和响应特征，建立所述语义特征和所述响应特征之间的关联关系；获取目标响应特征，基于所述语义特征和所述响应特征之间的关联关系，得到与所述目标响应特征相关的话题集合；获取目标用户的对话数据，根据所述目标用户的对话数据和所述话题集合生成多媒体信息；
所述输出装置用于输出所述多媒体信息。
在一个实施例中，多媒体信息生成系统的生成装置还包括：基于所述对话数据生成所述目标用户的训练话题和情绪词汇，根据所述训练话题和所述情绪词汇训练第一神经网络模型；基于训练好的所述第一神经网络模型和所述话题集合，生成所述多媒体信息。
在其中一个实施例中，多媒体信息生成系统的生成装置还包括：获取所述话题集合中的第一话题，根据所述第一话题生成第一多媒体信息；获取所述目标用户根据所述第一多媒体信息生成的第一响应信号，判断所述第一响应信号是否满足预设条件；若不满足所述预设条件，则获取所述话题集合中的第二话题，根据第二话题生成第二多媒体信息。
在其中一个实施例中，多媒体信息生成系统的生成装置还包括：获取预设多媒体信息，识别所述预设多媒体信息的语义信息，提取所述语义信息的特征，得到所述语义特征。
在其中一个实施例中，生成装置还包括：在判断到所述预设对象处于第一状态的情况下，传输与所述语义特征对应的预设多媒体信息至所述预设对象，获取所述预设对象的第一响应信号，提取所述第一响应信号的特征，得到第一响应特征；在判断到所述预设对象处于第二状态的情况下，不传输与所述语义特征对应的预设多媒体信息，获取所述预设对象的第二响应信号，提取所述第二响应信号的特征，得到第二响应特征。
在其中一个实施例中，生成装置还包括：将所述语义特征作为第二神经网络模型的输入数据，将所述响应特征作为所述第二神经网络模型的标签数据；通过所述语义特征和所述响应特征训练所述第二神经网络模型，得到所述语义特征和所述响应特征之间的关联关系。
在其中一个实施例中，生成装置还包括：确定预设对象中与情绪环路对应的脑区，获取所述情绪环路所对应的脑区生成的目标响应信号，提取所述目标响应信号的特征，得到所述目标响应特征。
上述多媒体信息生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储语义特征和响应特征的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体信息处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时以执行上述任一项方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以执行上述任一项方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random AccessMemory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random AccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种多媒体信息处理方法，其特征在于，所述方法包括：
获取语义特征和响应特征，建立所述语义特征和所述响应特征之间的关联关系；
获取目标响应特征，基于所述语义特征和所述响应特征之间的关联关系，得到与所述目标响应特征相关的话题集合；
获取目标用户的对话数据，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，并输出所述多媒体信息。
2.根据权利要求1所述的方法，其特征在于，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，包括：
基于所述对话数据生成所述目标用户的训练话题和情绪词汇，根据所述训练话题和所述情绪词汇训练第一神经网络模型；
基于训练好的所述第一神经网络模型和所述话题集合，生成所述多媒体信息。
3.根据权利要求1所述的方法，其特征在于，根据所述目标用户的对话数据和所述话题集合生成多媒体信息，并传输所述多媒体信息至所述目标用户，包括：
获取所述话题集合中的第一话题，根据所述第一话题生成第一多媒体信息；
获取所述目标用户根据所述第一多媒体信息生成的第一响应信号，判断所述第一响应信号是否满足预设条件；
若不满足所述预设条件，则获取所述话题集合中的第二话题，根据第二话题生成第二多媒体信息。
4.根据权利要求1所述的方法，其特征在于，获取语义特征，包括：
获取预设多媒体信息，识别所述预设多媒体信息的语义信息，提取所述语义信息的特征，得到所述语义特征。
5.根据权利要求1所述的方法，其特征在于，获取响应特征，包括：
在判断到预设对象处于第一状态的情况下，传输与所述语义特征对应的预设多媒体信息至所述预设对象，获取所述预设对象的第一响应信号，提取所述第一响应信号的特征，得到第一响应特征；
在判断到所述预设对象处于第二状态的情况下，不传输与所述语义特征对应的预设多媒体信息，获取所述预设对象的第二响应信号，提取所述第二响应信号的特征，得到第二响应特征。
6.根据权利要求1所述的方法，其特征在于，建立所述语义特征和所述响应特征之间的关联关系，包括：
将所述语义特征作为第二神经网络模型的输入数据，将所述响应特征作为所述第二神经网络模型的标签数据；
通过所述语义特征和所述响应特征训练所述第二神经网络模型，得到所述语义特征和所述响应特征之间的关联关系。
7.根据权利要求1所述的方法，其特征在于，获取目标响应特征，包括：
确定预设对象中与情绪环路对应的脑区，获取所述情绪环路所对应的脑区生成的目标响应信号，提取所述目标响应信号的特征，得到所述目标响应特征。
8.一种多媒体信息生成系统，其特征在于，包括：生成装置和输出装置，所述生成装置与所述输出装置连接；其中，
所述生成装置用于获取语义特征和响应特征，建立所述语义特征和所述响应特征之间的关联关系；获取目标响应特征，基于所述语义特征和所述响应特征之间的关联关系，得到与所述目标响应特征相关的话题集合；获取目标用户的对话数据，根据所述目标用户的对话数据和所述话题集合生成多媒体信息；
所述输出装置用于输出所述多媒体信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818907.8A CN116578731B (zh) | 2023-07-05 | 2023-07-05 | 多媒体信息处理方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818907.8A CN116578731B (zh) | 2023-07-05 | 2023-07-05 | 多媒体信息处理方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116578731A true CN116578731A (zh) | 2023-08-11 |
| CN116578731B CN116578731B (zh) | 2023-09-29 |
Family
ID=87536076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310818907.8A Active CN116578731B (zh) | 2023-07-05 | 2023-07-05 | 多媒体信息处理方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578731B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116861902A (zh) * | 2023-09-04 | 2023-10-10 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN117216312A (zh) * | 2023-11-06 | 2023-12-12 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120259240A1 (en) * | 2011-04-08 | 2012-10-11 | Nviso Sarl | Method and System for Assessing and Measuring Emotional Intensity to a Stimulus |
| US20180247554A1 (en) * | 2017-02-27 | 2018-08-30 | Speech Kingdom Llc | System and method for treatment of individuals on the autism spectrum by using interactive multimedia |
| US20180308508A1 (en) * | 2017-04-21 | 2018-10-25 | audEERING GmbH | Method for Automatic Affective State Inference and an Automated Affective State Inference System |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| WO2018227169A1 (en) * | 2017-06-08 | 2018-12-13 | Newvoicemedia Us Inc. | Optimal human-machine conversations using emotion-enhanced natural speech |
| CN109493885A (zh) * | 2018-11-13 | 2019-03-19 | 平安科技（深圳）有限公司 | 心理状态评估及调节方法、装置及存储介质、服务器 |
| US20190139575A1 (en) * | 2017-11-06 | 2019-05-09 | International Business Machines Corporation | Dynamic generation of videos based on emotion and sentiment recognition |
| CN111061847A (zh) * | 2019-11-22 | 2020-04-24 | 中国南方电网有限责任公司 | 对话生成及语料扩充方法、装置、计算机设备和存储介质 |
| CN112000776A (zh) * | 2020-08-27 | 2020-11-27 | 中国平安财产保险股份有限公司 | 基于语音语义的话题匹配方法、装置、设备及存储介质 |
| CN112464052A (zh) * | 2020-12-22 | 2021-03-09 | 游艺星际(北京)科技有限公司 | 反馈信息的处理方法、显示方法、装置及电子设备 |
| US20210193130A1 (en) * | 2019-12-18 | 2021-06-24 | Fujitsu Limited | Recommending multimedia based on user utterances |
| CN113974632A (zh) * | 2021-12-07 | 2022-01-28 | 首都师范大学 | 一种多维度心理状态测评与调控方法、装置、介质及设备 |
| US20230169990A1 (en) * | 2021-12-01 | 2023-06-01 | Verizon Patent And Licensing Inc. | Emotionally-aware voice response generation method and apparatus |
| WO2023108994A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技（深圳）有限公司 | 一种语句生成方法及电子设备、存储介质 |
| CN116312971A (zh) * | 2023-05-15 | 2023-06-23 | 之江实验室 | 认知训练素材生成方法、认知训练方法、装置和介质 |
-
2023
- 2023-07-05 CN CN202310818907.8A patent/CN116578731B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120259240A1 (en) * | 2011-04-08 | 2012-10-11 | Nviso Sarl | Method and System for Assessing and Measuring Emotional Intensity to a Stimulus |
| US20180247554A1 (en) * | 2017-02-27 | 2018-08-30 | Speech Kingdom Llc | System and method for treatment of individuals on the autism spectrum by using interactive multimedia |
| US20180308508A1 (en) * | 2017-04-21 | 2018-10-25 | audEERING GmbH | Method for Automatic Affective State Inference and an Automated Affective State Inference System |
| WO2018227169A1 (en) * | 2017-06-08 | 2018-12-13 | Newvoicemedia Us Inc. | Optimal human-machine conversations using emotion-enhanced natural speech |
| US20190139575A1 (en) * | 2017-11-06 | 2019-05-09 | International Business Machines Corporation | Dynamic generation of videos based on emotion and sentiment recognition |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109493885A (zh) * | 2018-11-13 | 2019-03-19 | 平安科技（深圳）有限公司 | 心理状态评估及调节方法、装置及存储介质、服务器 |
| CN111061847A (zh) * | 2019-11-22 | 2020-04-24 | 中国南方电网有限责任公司 | 对话生成及语料扩充方法、装置、计算机设备和存储介质 |
| US20210193130A1 (en) * | 2019-12-18 | 2021-06-24 | Fujitsu Limited | Recommending multimedia based on user utterances |
| CN112000776A (zh) * | 2020-08-27 | 2020-11-27 | 中国平安财产保险股份有限公司 | 基于语音语义的话题匹配方法、装置、设备及存储介质 |
| CN112464052A (zh) * | 2020-12-22 | 2021-03-09 | 游艺星际(北京)科技有限公司 | 反馈信息的处理方法、显示方法、装置及电子设备 |
| US20230169990A1 (en) * | 2021-12-01 | 2023-06-01 | Verizon Patent And Licensing Inc. | Emotionally-aware voice response generation method and apparatus |
| CN113974632A (zh) * | 2021-12-07 | 2022-01-28 | 首都师范大学 | 一种多维度心理状态测评与调控方法、装置、介质及设备 |
| WO2023108994A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技（深圳）有限公司 | 一种语句生成方法及电子设备、存储介质 |
| CN116312971A (zh) * | 2023-05-15 | 2023-06-23 | 之江实验室 | 认知训练素材生成方法、认知训练方法、装置和介质 |
Non-Patent Citations (4)
| Title |
|---|
| OFIR SADKA 等: "Interactive Technologies for Emotion-regulation Training: Opportunities and Challenges", ACM, pages 1 * |
| SHIH-FU CHANG 等: "New Frontiers of Large Scale Multimedia Information Retrieval", ACM, pages 5 * |
| 李海峰;陈婧;马琳;薄洪健;徐聪;李洪伟;: "维度语音情感识别研究综述", 软件学报, no. 08, pages 2465 - 2491 * |
| 王亮;方勇;: "敏感话题收集相关技术的研究", 现代计算机(专业版), no. 12, pages 3 - 6 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116861902A (zh) * | 2023-09-04 | 2023-10-10 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN116861902B (zh) * | 2023-09-04 | 2023-11-28 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN117216312A (zh) * | 2023-11-06 | 2023-12-12 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
| CN117216312B (zh) * | 2023-11-06 | 2024-01-26 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116578731B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schoeller et al. | Physics of mind: experimental confirmations of theoretical predictions | |
| Latinus et al. | Norm-based coding of voice identity in human auditory cortex | |
| CN116578731B (zh) | 多媒体信息处理方法、系统、计算机设备和存储介质 | |
| Wheatley et al. | From mind perception to mental connection: Synchrony as a mechanism for social understanding | |
| Grimshaw et al. | Sonic virtuality: Sound as emergent perception | |
| Barsalou et al. | Social embodiment | |
| Janssen et al. | Tune in to your emotions: a robust personalized affective music player | |
| Rabovsky et al. | The time course of semantic richness effects in visual word recognition | |
| Schäfer et al. | Does the body move the soul? The impact of arousal on music preference | |
| Raz et al. | Forking cinematic paths to the self: Neurocinematically informed model of empathy in motion pictures | |
| De Smedt et al. | Toward an integrative approach of cognitive neuroscientific and evolutionary psychological studies of art | |
| Yu et al. | A hybrid user experience evaluation method for mobile games | |
| Kuppen et al. | Basic auditory processing skills and phonological awareness in low-IQ readers and typically developing controls | |
| Champoux et al. | Early-and late-onset blindness both curb audiotactile integration on the parchment-skin illusion | |
| Rodero et al. | Synthetic versus human voices in audiobooks: The human emotional intimacy effect | |
| CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
| Parncutt et al. | Chuckrow’s theory of the prenatal origin of music | |
| EP3856012B1 (en) | Visualized virtual agent | |
| Hutson et al. | Distractor frequency effects in picture–word interference tasks with vocal and manual responses | |
| Jiang et al. | Emotion recognition using electroencephalography signals of older people for reminiscence therapy | |
| Zacks et al. | The cognitive neuroscience of discourse: Covered ground and new directions | |
| JP7300929B2 (ja) | 認知機能促進支援システム、学習システム、推定システム、及び認知機能促進支援方法 | |
| WO2022165832A1 (zh) | 在大脑中产生反馈的方法、系统及大脑键盘 | |
| Grandy | The Explosion of Consciousness: TSC Conference Tucson Arizona 2012 | |
| Zurawicki et al. | Exploring the brain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |