CN114779937A - 多媒体互动成像方法、装置、存储介质和计算机程序产品 - Google Patents

多媒体互动成像方法、装置、存储介质和计算机程序产品 Download PDF

Info

Publication number
CN114779937A
CN114779937A CN202210461864.8A CN202210461864A CN114779937A CN 114779937 A CN114779937 A CN 114779937A CN 202210461864 A CN202210461864 A CN 202210461864A CN 114779937 A CN114779937 A CN 114779937A
Authority
CN
China
Prior art keywords
target object
imaging
display
target
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210461864.8A
Other languages
English (en)
Inventor
郭倩
金铭
王博
杨望舒
王晓岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naolu Chongqing Intelligent Technology Research Institute Co ltd
Original Assignee
Naolu Chongqing Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naolu Chongqing Intelligent Technology Research Institute Co ltd filed Critical Naolu Chongqing Intelligent Technology Research Institute Co ltd
Priority to CN202210461864.8A priority Critical patent/CN114779937A/zh
Publication of CN114779937A publication Critical patent/CN114779937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种多媒体互动成像方法、装置、存储介质和计算机程序产品。所述方法包括：获取目标对象的脑电数据，根据脑电数据，确定目标对象的当前状态识别结果；当前状态识别结果用于表征目标对象的情绪和/或专注度的特征属性；响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；根据目标显示成像策略，对目标对象进行互动成像。采用本方法实现了通过状态识别结果对多媒体互动成像设备的互动控制。

Description

多媒体互动成像方法、装置、存储介质和计算机程序产品
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种多媒体互动成像方法、装置、存储介质和计算机程序产品。
背景技术
脑机接口(Brain Computer Interface，BCI)是在脑(或者脑细胞)与外部设备之间直接建立的连接通路。通过脑机接口技术获取目标对象的脑电数据，进而，可以对脑电数据进行识别分析，得到目标对象的脑电数据识别结果。例如，脑电数据识别结果可以为情绪分类等等。进而，针对脑电数据识别结果协助目标对象调整自身情绪状态。
由于脑电数据识别结果，具有抽象性和无感知性，因此，目前的脑电数据识别结果的应用过程中，往往需要技术人员，基于目标对象的脑电数据识别结果，对目标对象进行自身情绪状态调节等。目标对象无法实现与脑电数据识别结果的自主互动，也无法实现针对脑电数据识别结果做出进一步应用控制。
发明内容
本发明实施例所要解决的一个技术问题是实现对脑电数据识别结果的互动成像。
第一方面，本申请提供了一种多媒体互动成像方法。所述方法包括：
获取目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；所述当前状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；
响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；
根据所述目标显示成像策略，对所述目标对象进行互动成像。
在其中一个实施例中，所述根据所述脑电数据，确定所述目标对象的当前状态识别结果，包括：
对所述脑电数据进行滤波处理，得到处理后的目标脑电数据；
根据预设的特征提取算法，提取所述目标脑电数据中的脑电特征；所述脑电特征中包含所述目标对象的状态信息；
根据所述脑电特征以及预设的状态识别算法，确定所述目标对象的当前状态识别结果。
在其中一个实施例中，所述目标对象的状态识别结果为情绪识别结果，所述根据所述目标显示成像策略，对所述目标对象进行互动成像，包括：
根据所述目标显示成像策略，确定与所述情绪识别结果对应的显示粒子、以及所述显示粒子的目标属性参数；所述显示粒子用于标记所述目标对象的互动轨迹；
根据所述目标对象的影像数据，识别所述目标对象的互动轨迹；
根据所述显示粒子、所述显示粒子的目标属性参数、所述互动轨迹以及所述目标对象的影像数据，对所述目标对象进行互动成像。
在其中一个实施例中，所述目标对象的状态识别结果为专注度识别结果，所述根据所述目标显示成像策略，对所述目标对象进行互动成像，包括：
根据所述目标显示成像策略，在所述目标对象的专注度识别结果为高专注度的情况下，控制灯光强度大于或者等于预设灯光阈值，以通过平面玻璃的镜面反射所述目标对象的影像，进行镜像互动成像；
在所述目标对象的专注度识别结果为低专注度的情况下，控制所述灯光强度小于预设灯光阈值，以通过平面玻璃透射显示设备的显示互动成像。
在其中一个实施例中，所述控制所述灯光强度小于预设灯光阈值之后，所述方法还包括：
获取所述目标对象的影像数据和深度数据；
根据所述深度数据确定所述目标对象的成像位置，并对所述影像数据进行处理，得到成像内容；
根据所述目标对象的情绪识别结果、所述成像位置、所述成像内容以及目标显示成像策略，确定所述目标对象在显示设备的显示互动成像。
在其中一个实施例中，所述深度数据中包含所述目标对象的目标特征点的位置坐标；所述目标特征点的位置坐标为在所述深度相机预设倾斜角度的坐标系下的坐标值；所述根据所述深度数据确定所述目标对象的成像位置，包括：
对所述目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标；
根据所述预设倾斜角度，对所述第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；
对所述第二位置坐标按照预设比例缩小，得到所述目标对象的成像位置。
在其中一个实施例中，所述根据所述目标对象的情绪识别结果、所述成像位置、所述成像内容以及目标显示成像策略，确定所述目标对象在显示设备的显示互动成像之后，所述方法还包括：
响应于对所述显示互动成像的位移操作，确定位移后的所述显示互动成像的更新位置信息；
根据所述更新位置信息，输出所述目标对象的位移后的显示互动成像。
在其中一个实施例中，所述目标对象的状态识别结果为专注度识别结果，所述方法还包括：
在所述目标对象的专注度识别结果为高专注度的情况下，控制音响设备的音量参数满足第一预设音频条件；
在所述目标对象的专注度识别结果为低专注度的情况下，控制所述音响设备的音量参数满足第二预设音频条件。
第二方面，本申请还提供了一种多媒体互动成像设备。所述多媒体互动成像设备包括：支撑部件和显示设备；
所述支撑部件，用于支撑所述显示设备；
所述显示设备，包括外壳，深度相机和显示装置；所述外壳内部固定有所述显示装置和所述深度相机；所述外壳的透面与所述显示装置的显示界面平行；
所述显示装置，用于响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；并根据所述目标显示成像策略，对所述目标对象进行互动成像。
在其中一个实施例中，所述多媒体互动设备还包括：
光源设备，用于提供显示光源；
控制器，用于在所述目标对象的状态识别结果为专注度识别结果的情况下，响应于所述目标对象的专注度识别结果，根据所述目标显示成像策略，控制光源设备的灯光强度。
在其中一个实施例中，所述多媒体互动设备还包括：
音响设备，包括控制单元和扬声器，所述控制电源用于根据所述目标对象的状态识别结果，控制所述扬声器的音量参数；
所述扬声器，用于根据所述音量参数播放音频。
在其中一个实施例中，所述显示设备还包括：
平面玻璃，与所述显示装置平行设置于所述外壳中，位于所述显示装置与所述外壳的透光面之间，用于根据预设的第二显示成像策略以及所述显示光源的强度，对所述目标对象的互动成像进行展示。
在其中一个实施例中，所述深度相机，用于获取所述目标对象的影像数据和深度数据；
所述显示装置，用于根据所述深度数据确定所述目标对象的成像位置，并对所述影像数据进行处理，得到成像内容；以及，
根据所述目标对象的状态识别结果、所述成像位置、所述成像内容以及预设的第二显示成像策略，确定所述目标对象的数字互动成像。
在其中一个实施例中，所述深度数据中包含目标对象的目标特征点的位置坐标；所述目标特征点的位置坐标为在预设倾斜角度的所述深度相机的坐标系下的坐标值；
所述显示装置，还用于对所述目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标；所述第一位置坐标与所述目标对象的镜像的位置坐标对称；
根据所述预设倾斜角度，对所述第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；
对所述第二位置坐标按照预设比例缩小，得到所述目标对象的成像位置。
在其中一个实施例中，所述显示装置还用于提供成像位置控制按钮，所述成像位置控制按钮，用于响应于用户的触发操作，对所述目标对象的显示互动成像的成像位置进行位移调整。
在其中一个实施例中，所述支撑部件包括支撑杆和底座；所述支撑杆上设置有移动卡口，用于连接所述显示设备，并且通过所述移动卡扣调整所述显示设备的高度；
所述底座设置有移动部件，用于移动所述支撑杆和所述显示设备的位置。
第三方面，本申请还提供了一种多媒体互动成像系统，所述系统包括脑机设备和第二方面任一项所述的多媒体互动成像设备：其中：
所述脑机设备，用于采集目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；并将所述当前状态识别结果发送至所述多媒体互动成像设备；所述当前状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；
所述多媒体互动成像设备，用于响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；根据所述目标显示成像策略，对所述目标对象进行互动成像。
第四方面，本申请还提供了一种多媒体互动成像装置，所述装置包括：
第一确定模块，用于获取目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；所述状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；
第二确定模块，用于响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；
成像模块，用于根据所述目标显示成像策略，对所述目标对象进行互动成像。
在其中一个实施例中，所述第一确定模块，用于：
对所述脑电数据进行滤波处理，得到处理后的目标脑电数据；
根据预设的特征提取算法，提取所述目标脑电数据中的脑电特征；所述脑电特征中包含所述目标对象的状态信息；
根据所述脑电特征以及预设的状态识别算法，确定所述目标对象的当前状态识别结果。
在其中一个实施例中，所述目标对象的状态识别结果为情绪识别结果，所述成像模块，具体用于：
根据所述目标显示成像策略，确定与所述情绪识别结果对应的显示粒子、以及所述显示粒子的目标属性参数；所述显示粒子用于标记所述目标对象的互动轨迹；
根据所述目标对象的影像数据，识别所述目标对象的互动轨迹；
根据所述显示粒子、所述显示粒子的目标属性参数、所述互动轨迹以及所述目标对象的影像数据，对所述目标对象进行互动成像。
在其中一个实施例中，所述目标对象的状态识别结果为专注度识别结果，所述成像模块，具体用于：
根据所述目标显示成像策略，在所述目标对象的专注度识别结果为高专注度的情况下，控制灯光强度大于或者等于预设灯光阈值，以通过平面玻璃的镜面反射所述目标对象的影像，进行镜像互动成像；
在所述目标对象的专注度识别结果为低专注度的情况下，控制所述灯光强度小于预设灯光阈值，以通过平面玻璃透射显示设备的显示互动成像。
在其中一个实施例中，所述装置还包括：
获取模块，用于获取所述目标对象的影像数据和深度数据；
处理模块，用于根据所述深度数据确定所述目标对象的成像位置，并对所述影像数据进行处理，得到成像内容；
第三确定模块，用于根据所述目标对象的情绪识别结果、所述成像位置、所述成像内容以及目标显示成像策略，确定所述目标对象在显示设备的显示互动成像。
在其中一个实施例中，所述深度数据中包含所述目标对象的目标特征点的位置坐标；所述目标特征点的位置坐标为在所述深度相机预设倾斜角度的坐标系下的坐标值；所述处理模块，具体用于：
对所述目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标；
根据所述预设倾斜角度，对所述第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；
对所述第二位置坐标按照预设比例缩小，得到所述目标对象的成像位置。
在其中一个实施例中，所述装置还包括：
第四确定模块，用于响应于对所述显示互动成像的位移操作，确定位移后的所述显示互动成像的更新位置信息；
输出模块，用于根据所述更新位置信息，输出所述目标对象的位移后的显示互动成像。
在其中一个实施例中，所述目标对象的状态识别结果为专注度识别结果，所述装置还包括：
第一控制模块，用于在所述目标对象的专注度识别结果为高专注度的情况下，控制音响设备的音量参数满足第一预设音频条件；
第二控制模块，用于在所述目标对象的专注度识别结果为低专注度的情况下，控制所述音响设备的音量参数满足第二预设音频条件。
第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的步骤。
第六方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的步骤。
第七方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面的步骤。
上述多媒体互动成像方法、设备、系统、装置、存储介质和计算机程序产品，获取目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；所述状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；根据所述目标显示成像策略，对所述目标对象进行互动成像。采用本方法，对目标对象的脑机数据进行分析识别，确定目标对象的状态识别结果，进而，基于状态识别结果与确定出的目标显示成像策略，对目标对象进行互动成像，实现了通过状态识别结果对多媒体互动成像装置的互动控制。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为一个实施例中多媒体互动成像方法的应用环境图；
图2为一个实施例中多媒体互动成像方法的流程示意图；
图3为一个实施例中确定目标对象当前状态识别结果步骤的流程示意图；
图4为一个实施例中确定情绪状态识别结果步骤的流程示意图；
图5为一个实施例中确定专注度识别结果步骤的流程示意图；
图6为一个实施例中情绪状态识别结果对应的显示成像步骤的流程示意图；
图7为一个实施例中情绪识别结果中显示策略示意图；
图8为一个实施例中调整互动成像的成像位置步骤的流程示意图；
图9为一个实施例中针对显示设备的显示互动成像方法的流程示意图；
图10为一个实施例中校正显示互动成像位置步骤的流程示意图；
图11为一个实施例中深度相机坐标系转换示意图；
图12为一个实施例中成像位置校正原理图；
图13为一个实施例中调整互动成像的成像位置步骤的流程示意图；
图14为一个实施例中基于专注度识别结果控制音响设备的流程示意图；
图15为一个实施例中基于专注度识别结果控制音响设备方法的流程图；
图16为一个实施例中多媒体互动成像设备的结构示意图；
图17为一个实施例中多媒体互动成像装置的结构框图；
图18为一个实施例中计算机设备的内部结构图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本发明实施例提供的多媒体互动成像方法，可以应用于如图1所示的多媒体互动成像系统100。其中，脑机设备102通过网络与多媒体互动成像设备104进行通信。数据存储系统可以存储多媒体互动成像设备104需要处理的数据。该数据存储系统可以集成在多媒体互动成像设备104上，也可以放在云上或其他网络服务器上，本发明实施例不做限定。具体地，脑机设备102获取目标对象的脑电数据。然后，脑机设备102根据脑电数据，确定目标对象的当前状态识别结果。其中，当前状态识别结果用于表征目标对象的情绪和/或专注度的特征属性。然后，多媒体互动成像设备104，响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略。然后，多媒体互动成像设备104根据目标显示成像策略，对目标对象进行互动成像。
在一个实施例中，如图2所示，提供了一种多媒体互动成像方法，以该方法应用于图1中的多媒体互动成像系统进行说明，包括以下步骤：
步骤202，获取目标对象的脑电数据，根据脑电数据，确定目标对象的当前状态识别结果。
其中，状态识别结果用于表征目标对象的情绪和/或专注度的特征属性。
在实施中，在多媒体互动成像系统中可以包括脑机设备和多媒体互动成像设备。脑机设备通过脑机接口技术(BCI)获取目标对象的脑电数据，然后，根据预设的脑电特征提取算法对目标对象的脑电数据进行特征提取，得到目标对象的脑电特征。在得到脑电特征之后，脑机设备根据预设的特征识别算法对脑电特征进行分析处理，得到目标对象的当前状态识别结果。例如，目标对象的当前状态识别结果可以包含目标对象的情绪识别结果，其中，该情绪识别结果包括开心、悲伤、恐惧、愤怒等多种类型，用于反映目标对象的当前情绪特征。
可选的，针对上述预设的脑电特征提取算法，本公开实施例不做限定。具体地，多种特征提取方法均可以应用于脑电数据特征提取的过程，从而得到目标对象的脑电特征。具体地，在脑电数据的特征提取过程中，脑机设备提取到的脑电特征可以分为三类：时域特征、频域特征和时频域特征。时域特征主要用于捕捉脑电信号的时间组织信息，例如，Hjorth特征、分形维数特征和高阶交叉特征等等都是时域特征。频域特征主要从频域的角度捕捉目标对象情感信息。时频域特征同时捕获时域信息和频域信息，即从滑动窗口分割的单位时间信号中提取频域信息，由于滑动窗口在时间维度对脑电数据进行分割，同时也可以获取到脑电数据的时域信息。针对上述三种特征，本申请以提取频域特征为例进行说明，脑机设备可以先将原始频段分解为几个子频段，然后分别提取每个频段的脑电特征，可采用的提取方法有傅里叶变换(RT，Fourier transform)、功率谱密度(PSD、PowerSpectral Density)、小波变换(WT，wavelet transform)和微分熵(DT，differentialentropy)等。
可选的，对于脑电数据的识别算法也存在多种，例如，机器学习算法中的支持向量机(SVM)、K近邻(K-nearest neighbor，KNN)和朴素贝叶斯(naiveBayes，NB)等有监督学习算法。本发明实施例对于脑电数据的识别算法也不做限定。后文会针对本申请中识别目标对象的脑电特征的识别算法进行具体说明，在此不做过多赘述。
步骤204，响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略。
在实施中，多媒体互动成像设备中预先存储有多种显示成像策略，每种显示成像策略用于控制多媒体互动成像设备中的不同的互动部件执行相应的互动效果。并且，预先建立每种显示成像策略与状态识别结果的对应关系，从而，多媒体互动成像设备响应于目标对象的当前状态识别结果，在多种对应关系中，确定当前状态识别结果的对应关系中的目标显示成像策略，以使多媒体互动成像设备可以执行对应的目标显示成像策略。
步骤206，根据目标显示成像策略，对目标对象进行互动成像。
在实施中，针对当前状态识别结果确定出的目标显示成像策略可以用于控制目标对象的互动成像的成像内容，还可以用于控制光源设备的灯光强度等等，本发明实施例对于目标显示成像策略的具体内容不做限定。然后，针对确定出的目标显示成像策略，多媒体互动成像设备可以执行目标显示成像策略，实现对目标对象的目标显示效果的互动成像。
上述多媒体互动成像方法中，脑机设备获取目标对象的脑电数据，根据脑电数据，确定目标对象的当前状态识别结果。然后，多媒体互动成像设备响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略。进而，多媒体互动成像设备根据目标显示成像策略，对目标对象进行互动成像。采用本方法，对目标对象的脑机数据进行分析识别，确定目标对象的状态识别结果，进而，基于状态识别结果与确定出的目标显示成像策略，对目标对象进行互动成像，实现了通过状态识别结果对多媒体互动成像设备的互动控制。
在一个实施例中，如图3所示，脑机设备中可以预先存储有用于实现脑电数据分析和识别的程序，以通过执行该程序对脑电数据进行分析和识别处理。还可以外接计算机设备，由该计算机设备存储有用于实现脑电数据分析和识别的程序，当脑机设备采集目标对象的脑电数据后，传输至该计算机设备，以使该计算机设备执行该程序对脑电数据进行分析处理。本发明实施例中以脑机设备中存储有实现脑电数据分析和识别的程序为例，进行说明，则在步骤202中，根据脑电数据，确定目标对象的当前状态识别结果，具体实现过程如下：
步骤302，对脑电数据进行滤波处理，得到处理后的目标脑电数据。
在实施中，针对获取到的目标对象的原始脑电数据，脑机设备先对原始脑电数据进行滤波处理，以得到处理后的目标脑电数据。具体地，脑机设备包含目标对象的情绪和专注度(或称为注意力)等的特征属性，针对不同的特征，可以执行不同的数据处理策略。例如，针对目标对象的情绪状态属性，脑机设备可以根据45-55Hz带通滤波器以及0.5-50Hz带通滤波器对原始脑电数据进行处理，得到处理后的目标脑电数据。该处理后的目标脑电数据为各通道数据被分为5个主要频带的脑电数据。又如，针对目标对象的注意力状态属性，脑机设备可以基于高通滤波器、低通滤波器、50Hz频带滤波器和100Hz频带滤波器对原始脑电数据进行处理，得到处理后的目标脑电数据。
步骤304，根据预设的特征提取算法，提取目标脑电数据中的脑电特征。
其中，脑电特征中包含目标对象的状态信息。该状态信息包含目标对象的情绪状态信息和注意力状态信息。
在实施中，脑机设备根据预设的特征提取算法，提取目标脑电数据中的脑电特征。具体地，脑机设备可以针对目标对象的脑电数据中的情绪状态，进行特征提取，主要提取脑电数据中的时域特征，例如，Hjorth特征(该Hjorth特征包含脑电数据的活动性、移动性及复杂性)以及DE(微分熵)特征。
脑机设备根据预设的特征提取算法，针对目标对象的脑电数据中的注意力状态，进行特征提取。具体的提取过程为：脑机设备将滤波后的目标脑电数据以125个数据点划分为一个窗口(也称为时间窗口)，进而每个数据通道对应10个窗口，脑电数据一共对应5个数据通道。然后，脑机设备计算每个通道内这10个窗口的数据标准差。然后，脑机设备将每个窗口的数据标准差与预设的标准差阈值进行比较，将数据标准差大于预设标准差阈值的窗口确定为眨眼窗口。进而，脑机设备统计5秒(预设时间周期)内每个数据通道的眨眼窗口的数量总和。将该眨眼窗口的数量总和作为对目标对象专注度状态的特征提取。
步骤306，根据脑电特征以及预设的状态识别算法，确定目标对象的当前状态识别结果。
在实施中，脑机设备根据脑电特征以及预设的状态识别算法，确定目标对象的当前状态识别结果。具体地，预设的状态识别算法有多种，针对不同的脑电特征，可以选择不同的状态识别算法(或称为特征识别算法)来确定目标对象的当前状态识别结果。
其中，状态识别算法可以为传统的机器学习算法，例如，支持向量机算法、K近邻算法、朴素贝叶斯等等。具体地，如图4所示，在状态识别算法的应用过程中，本申请针对目标对象的情绪状态进行特征识别时，可以采用随机森林算法，对目标对象的目标脑电特征进行分类识别，得到用于表征目标对象情绪类别的情绪识别结果，如“开心”、“轻松”、“伤心”和“恐惧”等，本发明实施例对于情绪识别结果的种类不做限定。如图5所示，本申请中针对目标对象的专注度状态进行特征识别时，可以基于预设的专注度计算方法，对提取到的目标对象的专注度特征进行识别。该专注度特征识别过程为：脑机设备根据预设时间周期(例如，5秒)内的眨眼窗口的数量总和，计算目标对象的专注度数值。然后，针对专注度数值以及预设的专注度阈值，确定目标对象的专注度识别结果。
可选的，可以对由眨眼窗口的数量总和计算出的专注度数值进行平滑化处理，以此得到最终专注度数值。进而，根据最终专注度数值以及预设的专注度阈值，确定目标对象的专注度识别结果(即当前状态识别结果)。
可选的，不同目标显示成像策略中对应的专注度识别结果的专注度阈值是不同的。在一个示例中，针对控制光源设备的目标显示成像策略中，专注度阈值包括上限阈值和下限阈值，上限阈值为85，下限阈值为60；针对控制音响设备的目标显示成像策略中，专注度阈值包括上限阈值和下限阈值，上限阈值为80，下限阈值为30。针对不同的专注度阈值，可以划分不同的专注度等级，本发明实施例不做限定。
在一个实施例中，如图6所示，针对目标对象的脑电数据进行分析处理，可以得到目标对象的状态识别结果，其中，目标对象的状态识别结果为情绪识别结果，该情绪识别结果表征目标对象的一种情绪类别。基于该情绪识别结果，多媒体互动成像设备可以确定出对应的目标显示成像策略。在步骤206中，根据目标显示成像策略，对目标对象进行互动成像，具体实现过程如下：
在步骤602中，根据目标显示成像策略，确定与情绪识别结果对应的显示粒子、以及显示粒子的目标属性参数。
其中，显示粒子用于标记目标对象的互动轨迹；
在实施中，由于情绪识别结果可以包含多种，例如，开心、悲伤、恐惧、轻松等等，多媒体互动成像设备针对每种情绪识别结果，在显示成像策略中为目标对象每种情绪识别结果均匹配有对应的可视化显示粒子。进而，当基于目标对象的当前情绪识别结果确定出目标显示成像策略时，多媒体互动成像设备可以确定出该具体种类的情绪识别结果对应的显示粒子以及该显示粒子的目标属性参数。其中，显示粒子的目标属性参数可以但不限于包括显示粒子的颜色参数、形状参数、亮度参数。
例如，当目标对象的当前情绪识别结果为“开心”时，针对“开心”对应的目标显示成像策略，确定用于标注目标对象的互动轨迹的显示粒子以及显示粒子的目标属性参数。在该目标属性参数配置下的显示粒子的成像效果即为：显示粒子的显示颜色为粉色，显示亮度为明亮以及粒子形状为圆形等。
可选的，如图7所示，对应情绪识别结果确定出的不同的目标显示成像策略，可以对应不同的显示粒子属性参数，以用于区分不同的情绪类型。具体地，以显示粒子的颜色属性参数为例，当目标对象的当前情绪识别结果为“开心”时，显示粒子的颜色属性参数对应为粉色，当目标对象的当前情绪识别结果为“恐惧”时，显示粒子的颜色属性参数对应为橙色，当目标对象的当前情绪识别结果为“伤心”时，显示粒子的颜色属性参数对应为蓝色，当目标对象的当前情绪识别结果为“轻松”时，显示粒子的颜色属性参数对应为绿色。本发明实施例对于区分不同情绪识别结果的目标显示策略不做限定。
在步骤604中，根据目标对象的影像数据，识别目标对象的互动轨迹。
在实施中，多媒体互动成像设备根据目标对象的影像数据，识别目标对象的互动轨迹。具体地，针对目标对象的影像数据中包含的两两相邻的图像帧，多媒体互动成像设备可以进行相邻图像帧间的对比，识别相邻图像帧中包含的目标对象的目标部位的位移变化，计算位移差值。进而，多媒体互动成像设备根据位移差值和位移变化，可以确定出目标对象的目标部位的变化轨迹。
在步骤606中，根据显示粒子、显示粒子的目标属性参数、互动轨迹以及目标对象的影像数据，对目标对象进行互动成像。
在实施中，多媒体互动成像设备根据目标显示策略中配置的显示粒子、显示粒子的目标属性参数，确定出的互动轨迹以及目标对象的影像数据，对目标对象进行互动成像。
在一个实施例中，如图8所示，针对目标对象的脑电数据进行分析处理，可以得到目标对象的状态识别结果，其中，目标对象的状态识别结果为专注度识别结果，多媒体互动成像设备中针对专注度类型的状态识别结果，设置的显示成像策略中包含用于控制灯光强度的控制指令。进而，针对目标对象的专注度识别结果，多媒体互动成像设备可以控制光源设备的灯光强度。由于专注度识别结果可以包含不同的专注度等级，例如，划分为高专注度和低专注度两个等级。则针对不同的专注度识别结果，多媒体互动成像设备执行对应的目标显示成像策略，在步骤106中，根据目标显示成像策略，对目标对象进行互动成像的具体实现过程如下：
步骤802，根据目标显示成像策略，在目标对象的专注度识别结果为低专注度的情况下，控制灯光强度大于或者等于预设灯光阈值，以通过平面玻璃的镜面反射目标对象的影像，进行镜像互动成像。
在实施中，多媒体互动成像设备中包含有显示设备，该显示设备的外壳中可以封装深度相机和显示装置，并且，在显示设备中还可以包含有平面玻璃，该平面玻璃位于显示装置与外壳的透光面(也即多媒体互动成像设备的显示区域面)之间。该平面玻璃具备针对不同的灯光强度，具有不同光线呈现状态的特性。具体地，在目标对象的专注度识别结果为高专注度的情况下，显示装置执行对应的目标显示成像策略，根据该目标显示成像策略的控制指令，控制光源设备的灯光强度大于或者等于预设灯光阈值(即灯光强度为高强度)，以使平面玻璃针对高强度灯光时，具备反射强、透射弱的特性。平面玻璃呈现为镜面，然后，显示装置以通过该镜面的镜面反射，进行目标对象的镜像互动成像。
步骤804，在目标对象的专注度识别结果为低专注度的情况下，控制灯光强度小于预设灯光阈值，以通过平面玻璃透射显示设备的显示互动成像。
在实施中，在目标对象的专注度识别结果为高专注度的情况下，显示设备中的显示装置基于目标显示成像策略中的控制指令，控制光源设备的灯光强度小于预设灯光阈值(即灯光强度为低强度)，以使平面玻璃针对低强度灯光时，具备反射弱、透射强的特性。平面玻璃呈现为透镜，然后，通过透射位于平面玻璃后方的显示装置的显示互动成像。
可选的，显示装置可以为具备显示单元和数据处理单元的一体机，也可以为包含显示器和数据处理器的组合装置，因此，显示装置的具体结构可以根据实际需要进行选取，本申请不做限定。
在一个具体的实施例中，显示设备中的显示装置根据目标对象的专注度识别结果以及对应的目标显示成像策略，以平面玻璃为媒介进行互动成像的具体过程包括：
步骤一，当目标对象的专注度识别结果为低专注度(即专注度低于专注度下限阈值(如取值为60))时，显示装置中的显示互动成像不显示，目标对象只看到自己在平面玻璃(镜面)上的镜像互动成像。
步骤二，当目标对象的专注度识别结果为中等专注度(即专注度高于专注度下限阈值(如取值为60))时，但低于专注度上限阈值(如取值为100)，显示装置上的显示互动成像慢慢浮现，可见度随专注度高低变化；
步骤三，当目标对象的专注度识别结果为高专注度(即专注度高于专注度上限阈值(如取值为100))时,显示装置中的显示互动成像完全可见。
步骤四，在显示设备的显示装置中显示互动成像，该显示互动成像为根据用户的情绪识别结果确定出的显示色彩和显示风格。
在一个实施例中，如图9所示，在步骤804中控制灯光强度小于预设灯光阈值之后，目标对象可以观测到多媒体互动成像设备中显示设备的显示互动成像，进而，该多媒体互动成像方法还包括：
步骤902，获取目标对象的影像数据和深度数据。
在实施中，显示设备中包含深度相机和显示装置，在显示设备中深度相机与显示装置连接，其中，该深度相机用于获取目标对象的影像数据和深度数据。
步骤904，根据深度数据确定目标对象的成像位置，并对影像数据进行处理，得到成像内容。
在实施中，显示装置中预先安装有touchdesigner(多媒体特效交互软件)软件，显示装置(也可以具体为显示装置中的数据处理器)运行该touchdesigner软件，根据深度数据，确定目标对象在显示器中的成像位置。并且，显示装置还可以对目标对象的影像数据进行处理，确定目标对象在显示器中的成像内容。
步骤906，根据目标对象的情绪识别结果、成像位置、成像内容以及目标显示成像策略，确定目标对象在显示设备的显示互动成像。
在实施中，针对目标对象的情绪识别结果、该情绪识别结果对应的目标显示成像策略、包含目标对象的影像(即成像内容)以及确定出的目标对象的成像位置，确定目标对象在显示装置中的显示互动成像。该显示互动成像中包含了情绪识别结果对应的显示特效，如上述步骤602中为目标对象的互动轨迹增加显示粒子的特效。
在一个实施例中，如图10所示，由于人眼与深度相机的位置差异，因此，多媒体互动成像设备中的显示设备，通过深度相机直接采集到的数据进行互动成像时，往往无法与目标对象的镜面(即平面玻璃)反射结合，进而，会造成在视觉上的成像错位。因此，显示设备需要对目标对象的成像位置数据(深度数据)进行处理，在步骤904中根据深度数据确定目标对象的成像位置的具体处理过程包括：
步骤1002，对目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标。
在实施中，在显示设备中，深度相机具有一定的安装角度，该安装角度为深度相机相对于水平方向的倾斜角。因此，该深度相机采集到的深度数据的位置坐标，即为与水平面具备倾斜角度的坐标系下的位置坐标。故而，在显示设备中，显示装置需要对该倾斜角度的坐标系下的目标特征点的位置坐标进行处理，以得到处理后的第一位置坐标。
可选的，采集的目标对象的深度数据可以为目标对象的目标特征点的深度位置坐标，该目标特征点为针对目标对象的图像帧预先标记的点。因此，显示装置还可以先在各目标特征点中确定目标点(例如，目标点选为各目标特征点中的以面部左右眼中心位置点的目标特征点)，将该目标点作为中心点，对其他各目标特征点进行平滑化处理，进而得到处理后的目标特征点的第一位置坐标。
步骤1004，根据预设倾斜角度，对第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标。
在实施中，由于深度相机存在倾斜角度，因此，显示装置根据该倾斜角度，对目标特征点的第一位置坐标进行坐标值变换，变换为竖直坐标系下的第二位置坐标。如图11所示，该竖直坐标系即为与水平面平行(不存在倾斜角度)的坐标系。该竖直坐标系下的目标对象的第二位置坐标为与目标对象的镜像各目标特征点相对称的位置坐标，这也就表明，消除了深度相机成像与人眼视觉成像的位置差异。
步骤1006，对第二位置坐标按照预设比例缩小，得到目标对象的成像位置。
在实施中，显示装置将确定出的第二位置坐标按照预设比例缩小，得到目标对象的成像位置。其中，预设比例可以基于显示装置的显示界面进行确定，本发明实施例不做限定。
具体地，上述实施例中，目标对象的目标特征点的坐标变换的原理，如图12所示，将目标对象的深度数据进行坐标系转换，转换后的第二位置坐标基于目标对象的镜像(图12中虚像)的成像位置对称，然后，再基于预设缩小比例，确定在显示装置中的最终成像位置，消除了深度相机成像与人眼视觉成像的位置差异。
在一个实施例中，如图13所示，在步骤906之后，该多媒体互动成像方法还包括：
步骤1302，响应于对显示互动成像的位移操作，确定位移后的显示互动成像的更新位置信息。
在实施中，显示装置中提供有用于控制成像位置的控制选项，目标对象可以触发该控制选项，生成显示互动成像的位移控制指令，对显示互动成像的成像位置进行调整。具体地，目标对象将平面玻璃反射的自身镜像为参考，触发对显示装置中的显示互动成像进行位置调整，显示装置响应于对该显示互动成像的位移指令，确定位移后的显示互动成像的更新位置信息。可选的，更新位置信息可以为显示互动成像包含的各目标特征点的更新位置坐标。
步骤1304，根据更新位置信息，输出目标对象的位移后的显示互动成像。
在实施中，显示装置根据更新位置信息，输出目标对象的位移后的显示互动成像。该显示互动成像可以与目标对象的镜像更准确的贴合。
在一个实施例中，如图14所示，当目标对象的状态识别结果为专注度识别结果时，多媒体互动成像设备中还包含有用于控制音频音量的控制策略，该多媒体互动成像方法还包括：
步骤1402，在目标对象的专注度识别结果为高专注度的情况下，控制音响设备的音量参数满足第一预设音频条件。
在实施中，在目标对象的专注度识别结果为高专注度的情况下，多媒体互动成像设备基于目标控制策略中的控制指令，控制音响设备的音量参数满足第一预设音频条件。具体地，如图15所示，第一预设音频条件可以但不限于为噪音音量指标大于或者等于预设噪音阈值，主旋律音量指标小于预设旋律阈值，高音音量指标取值为0。
步骤1404，在目标对象的专注度识别结果为低专注度的情况下，控制音响设备的音量参数满足第二预设音频条件。
在实施中，在目标对象的专注度识别结果为低专注度的情况下，多媒体互动成像设备基于目标控制策略中的控制指令，控制音响设备的音量参数满足第一预设音频条件。具体地，第二预设音频条件可以但不限于为噪音音量指标取值为0，主旋律音量指标小于预设旋律阈值，高音音量指标大于或者等于预设高音阈值。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图16所示，提供了一种多媒体互动成像设备1600，该多媒体互动成像设备包括：支撑部件1610和显示设备1620；
支撑部件1610，用于支撑显示设备；
显示设备1620，包括外壳，深度相机和显示装置。其中，外壳内部固定有显示装置和深度相机；外壳的透光面与显示装置的显示界面平行。
显示装置，用于响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；并根据目标显示成像策略，对目标对象进行互动成像。
在一个实施例中，如图16所示，多媒体互动成像设备1600还包括：
光源设备，用于提供显示光源。
控制器，用于响应于目标对象的专注度识别结果，根据目标显示成像策略，控制光源设备的灯光强度。
可选的，控制器也可以集成于光源设备的内部，以对光源设备中的发光部件进行灯光强度的控制。并且，光源设备可以固定于多媒体互动成像设备的支撑部件上，以实现多媒体互动成像设备的一体化。
在一个实施例中，多媒体互动成像设备1600还包括：
音响设备，包括控制单元和扬声器，控制电源用于根据目标对象的状态识别结果，控制扬声器的音量参数；
扬声器，用于根据音量参数播放音频。
可选的，音响设备可以设置于显示设备的外壳中，具体地，可以通过固定于显示器的支架上，与显示器连接，本发明实施例对于音响设备在显示设备中的位置不做限定。
在一个实施例中，显示设备1620还包括：
平面玻璃，与显示装置平行设置于外壳中，位于显示装置与外壳的透光面之间，用于根据预设的第二显示成像策略以及显示光源的强度，对目标对象的互动成像进行展示。
在一个实施例中，深度相机用于获取目标对象的影像数据和深度数据；
显示装置，用于根据深度数据确定目标对象的成像位置，并对影像数据进行处理，得到成像内容；根据目标对象的状态识别结果、成像位置、成像内容以及预设的第二显示成像策略，确定目标对象的数字互动成像。
在实施中，显示装置对目标对象的影像数据和深度数据的处理过程，如上述方法实施例的步骤902至906所述，本实施例不再赘述。
在一个实施例中，其中，深度数据中包含目标对象的目标特征点的位置坐标；目标特征点的位置坐标为在预设倾斜角度的深度相机的坐标系下的坐标值；
显示装置，还用于对目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标。其中，第一位置坐标与目标对象的镜像的位置坐标对称。
还用于根据预设倾斜角度，对第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；对第二位置坐标按照预设比例缩小，得到目标对象的成像位置。
在一个实施例中，显示装置还用于提供成像位置控制按钮。其中，该成像位置控制按钮，用于响应于用户的触发操作，对目标对象的显示互动成像的成像位置进行位移调整。
在一个实施例中，支撑部件1610包括支撑杆和底座；支撑杆上设置有移动卡口，用于连接显示设备，并且通过移动卡扣调整显示设备的高度；
底座设置有移动部件，用于移动支撑杆和显示设备的位置。
在本实施例中，通过将深度相机、光源设备、音响设备等硬件进行整合，实现了设备一体化，并且基于多媒体互动成像设备中包含的显示设备等器件实现目标对象不同状态识别结果下的互动成像，克服了实现显示成像所需较大布局空间的局限性。
基于同样的发明构思，如上述图1所示，本发明实施例还提供了一种用于实现上述所涉及的多媒体互动成像方法的多媒体互动成像系统100。该系统100所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多媒体互动成像系统实施例中的具体限定可以参见上文中对于多媒体互动成像方法的限定，在此不再赘述。
在一个实施例中，提供了一种多媒体互动成像系统100，该系统100包括脑机设备和上述多媒体互动成像设备：其中：
脑机设备，用于采集目标对象的脑电数据，根据脑电数据，确定目标对象的当前状态识别结果；并将当前状态识别结果发送至多媒体互动成像设备；当前状态识别结果用于表征目标对象的情绪和/或专注度的特征属性；
多媒体互动成像设备，用于响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；根据目标显示成像策略，对目标对象进行互动成像。
本发明实施例中，多媒体互动成像系统可以通过脑机设备采集目标对象的脑电数据，对目标对象的脑机数据进行分析识别，确定目标对象的状态识别结果，并将当前状态识别结果发送至多媒体互动成像设备，进而，多媒体互动成像设备基于状态识别结果与确定出的目标显示成像策略，对目标对象进行互动成像，实现了通过状态识别结果对多媒体互动成像装置的互动控制。
基于同样的发明构思，本发明实施例还提供了一种用于实现上述所涉及的多媒体互动成像方法的多媒体互动成像装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多媒体互动成像装置实施例中的具体限定可以参见上文中对于多媒体互动成像方法的限定，在此不再赘述。
在一个实施例中，如图17所示，提供了一种多媒体互动成像装置，包括：第一确定模块1710、第二确定模块1720和成像模块1730，其中：
第一确定模块1710，用于获取目标对象的脑电数据，根据脑电数据，确定目标对象的当前状态识别结果；状态识别结果用于表征目标对象的情绪和/或专注度的特征属性；
第二确定模块1720，用于响应于目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；
成像模块1730，用于根据目标显示成像策略，对目标对象进行互动成像。
在其中一个实施例中，第一确定模块1710，具体用于：
对脑电数据进行滤波处理，得到处理后的目标脑电数据；
根据预设的特征提取算法，提取目标脑电数据中的脑电特征；脑电特征中包含目标对象的状态信息；
根据脑电特征以及预设的状态识别算法，确定目标对象的当前状态识别结果。
在其中一个实施例中，目标对象的状态识别结果为情绪识别结果，成像模块1730，具体用于：
根据目标显示成像策略，确定与情绪识别结果对应的显示粒子、以及显示粒子的目标属性参数；显示粒子用于标记目标对象的互动轨迹；
根据目标对象的影像数据，识别目标对象的互动轨迹；
根据显示粒子、显示粒子的目标属性参数、互动轨迹以及目标对象的影像数据，对目标对象进行互动成像。
在其中一个实施例中，目标对象的状态识别结果为专注度识别结果，成像模块1730，具体用于：
根据目标显示成像策略，在目标对象的专注度识别结果为高专注度的情况下，控制灯光强度大于或者等于预设灯光阈值，以通过平面玻璃的镜面反射目标对象的影像，进行镜像互动成像；
在目标对象的专注度识别结果为低专注度的情况下，控制灯光强度小于预设灯光阈值，以通过平面玻璃透射显示设备的显示互动成像。
在其中一个实施例中，装置1700还包括：
获取模块，用于获取目标对象的影像数据和深度数据；
处理模块，用于根据深度数据确定目标对象的成像位置，并对影像数据进行处理，得到成像内容；
第三确定模块，用于根据目标对象的情绪识别结果、成像位置、成像内容以及目标显示成像策略，确定目标对象在显示设备的显示互动成像。
在其中一个实施例中，深度数据中包含目标对象的目标特征点的位置坐标；目标特征点的位置坐标为在深度相机预设倾斜角度的坐标系下的坐标值；处理模块，具体用于：
对目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标；
根据预设倾斜角度，对第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；
对第二位置坐标按照预设比例缩小，得到目标对象的成像位置。
在其中一个实施例中，装置1700还包括：
第四确定模块，用于响应于对显示互动成像的位移操作，确定位移后的显示互动成像的更新位置信息；
输出模块，用于根据更新位置信息，输出目标对象的位移后的显示互动成像。
在其中一个实施例中，目标对象的状态识别结果为专注度识别结果，装置还包括：
第一控制模块，用于在目标对象的专注度识别结果为高专注度的情况下，控制音响设备的音量参数满足第一预设音频条件；
第二控制模块，用于在目标对象的专注度识别结果为低专注度的情况下，控制音响设备的音量参数满足第二预设音频条件。
本发明实施例中，多媒体互动成像装置可以对目标对象的脑机数据进行分析识别，确定目标对象的状态识别结果，进而，基于状态识别结果与确定出的目标显示成像策略，对目标对象进行互动成像，实现了通过状态识别结果对多媒体互动成像装置的互动控制。
上述多媒体互动成像装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多媒体互动成像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述多媒体互动成像方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述多媒体互动成像方法的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种多媒体互动成像方法，其特征在于，包括：
获取目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；所述当前状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；
响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；
根据所述目标显示成像策略，对所述目标对象进行互动成像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述脑电数据，确定所述目标对象的当前状态识别结果，包括：
对所述脑电数据进行滤波处理，得到处理后的目标脑电数据；
根据预设的特征提取算法，提取所述目标脑电数据中的脑电特征；所述脑电特征中包含所述目标对象的状态信息；
根据所述脑电特征以及预设的状态识别算法，确定所述目标对象的当前状态识别结果。
3.根据权利要求1所述的方法，其特征在于，所述目标对象的状态识别结果为情绪识别结果，所述根据所述目标显示成像策略，对所述目标对象进行互动成像，包括：
根据所述目标显示成像策略，确定与所述情绪识别结果对应的显示粒子、以及所述显示粒子的目标属性参数；所述显示粒子用于标记所述目标对象的互动轨迹；
根据所述目标对象的影像数据，识别所述目标对象的互动轨迹；
根据所述显示粒子、所述显示粒子的目标属性参数、所述互动轨迹以及所述目标对象的影像数据，对所述目标对象进行互动成像。
4.根据权利要求1所述的方法，其特征在于，所述目标对象的状态识别结果为专注度识别结果，所述根据所述目标显示成像策略，对所述目标对象进行互动成像，包括：
根据所述目标显示成像策略，在所述目标对象的专注度识别结果为低专注度的情况下，控制灯光强度大于或者等于预设灯光阈值，以通过平面玻璃的镜面反射所述目标对象的影像，进行镜像互动成像；
在所述目标对象的专注度识别结果为高专注度的情况下，控制所述灯光强度小于预设灯光阈值，以通过平面玻璃透射显示设备的显示互动成像。
5.根据权利要求4所述的方法，其特征在于，所述控制所述灯光强度小于预设灯光阈值之后，所述方法还包括：
获取所述目标对象的影像数据和深度数据；
根据所述深度数据确定所述目标对象的成像位置，并对所述影像数据进行处理，得到成像内容；
根据所述目标对象的情绪识别结果、所述成像位置、所述成像内容以及目标显示成像策略，确定所述目标对象在显示设备的显示互动成像。
6.根据权利要求5所述的方法，其特征在于，所述深度数据中包含所述目标对象的目标特征点的位置坐标；所述目标特征点的位置坐标为在所述深度相机预设倾斜角度的坐标系下的坐标值；所述根据所述深度数据确定所述目标对象的成像位置，包括：
对所述目标特征点的位置坐标进行平滑化处理，得到处理后的目标特征点的第一位置坐标；
根据所述预设倾斜角度，对所述第一位置坐标进行坐标值变换，得到竖直坐标系下的第二位置坐标；
对所述第二位置坐标按照预设比例缩小，得到所述目标对象的成像位置。
7.根据权利要求5所述的方法，其特征在于，所述根据所述目标对象的情绪识别结果、所述成像位置、所述成像内容以及目标显示成像策略，确定所述目标对象在显示设备的显示互动成像之后，所述方法还包括：
响应于对所述显示互动成像的位移操作，确定位移后的所述显示互动成像的更新位置信息；
根据所述更新位置信息，输出所述目标对象的位移后的显示互动成像。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述目标对象的状态识别结果为专注度识别结果，所述方法还包括：
在所述目标对象的专注度识别结果为高专注度的情况下，控制音响设备的音量参数满足第一预设音频条件；
在所述目标对象的专注度识别结果为低专注度的情况下，控制所述音响设备的音量参数满足第二预设音频条件。
9.一种多媒体互动成像装置，其特征在于，所述装置包括：
第一确定模块，用于获取目标对象的脑电数据，根据所述脑电数据，确定所述目标对象的当前状态识别结果；所述状态识别结果用于表征所述目标对象的情绪和/或专注度的特征属性；
第二确定模块，用于响应于所述目标对象的当前状态识别结果，在各状态识别结果与显示成像策略的对应关系中，确定目标显示成像策略；
成像模块，用于根据所述目标显示成像策略，对所述目标对象进行互动成像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202210461864.8A 2022-04-28 2022-04-28 多媒体互动成像方法、装置、存储介质和计算机程序产品 Pending CN114779937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461864.8A CN114779937A (zh) 2022-04-28 2022-04-28 多媒体互动成像方法、装置、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461864.8A CN114779937A (zh) 2022-04-28 2022-04-28 多媒体互动成像方法、装置、存储介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114779937A true CN114779937A (zh) 2022-07-22

Family

ID=82434594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461864.8A Pending CN114779937A (zh) 2022-04-28 2022-04-28 多媒体互动成像方法、装置、存储介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114779937A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373519A (zh) * 2022-10-21 2022-11-22 北京脑陆科技有限公司 脑电数据交互显示方法、装置、系统和计算机设备
CN116189028A (zh) * 2022-11-29 2023-05-30 北京百度网讯科技有限公司 图像识别方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
US20160292917A1 (en) * 2015-03-30 2016-10-06 Amazon Technologies, Inc. Blended reality systems and methods
CN108388340A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 电子设备控制方法及相关产品
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置
US20210001228A1 (en) * 2018-08-28 2021-01-07 Tencent Technology (Shenzhen) Company Limited Interaction method of application scene, mobile terminal, and storage medium
US20210065450A1 (en) * 2019-08-28 2021-03-04 Lg Electronics Inc. Electronic device
CN112603335A (zh) * 2020-12-29 2021-04-06 深圳航天科技创新研究院 脑电情感识别方法、系统、设备及存储介质
CN114115534A (zh) * 2021-11-12 2022-03-01 山东大学 一种基于房间式互动投影的关系增强系统及方法
CN114343636A (zh) * 2021-12-28 2022-04-15 北方工业大学 一种情绪调节方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
US20160292917A1 (en) * 2015-03-30 2016-10-06 Amazon Technologies, Inc. Blended reality systems and methods
CN108388340A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 电子设备控制方法及相关产品
US20210001228A1 (en) * 2018-08-28 2021-01-07 Tencent Technology (Shenzhen) Company Limited Interaction method of application scene, mobile terminal, and storage medium
US20210065450A1 (en) * 2019-08-28 2021-03-04 Lg Electronics Inc. Electronic device
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置
CN112603335A (zh) * 2020-12-29 2021-04-06 深圳航天科技创新研究院 脑电情感识别方法、系统、设备及存储介质
CN114115534A (zh) * 2021-11-12 2022-03-01 山东大学 一种基于房间式互动投影的关系增强系统及方法
CN114343636A (zh) * 2021-12-28 2022-04-15 北方工业大学 一种情绪调节方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373519A (zh) * 2022-10-21 2022-11-22 北京脑陆科技有限公司 脑电数据交互显示方法、装置、系统和计算机设备
CN116189028A (zh) * 2022-11-29 2023-05-30 北京百度网讯科技有限公司 图像识别方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US20230105027A1 (en) Adapting a virtual reality experience for a user based on a mood improvement score
US11726324B2 (en) Display system
CN114779937A (zh) 多媒体互动成像方法、装置、存储介质和计算机程序产品
EP3520428B1 (en) Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US9585581B1 (en) Real-time biometric detection of oscillatory phenomena and voltage events
CN108351961A (zh) 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别系统融合眼部血管与面部及/或子面部信息
CN107392124A (zh) 情绪识别方法、装置、终端及存储介质
US9891884B1 (en) Augmented reality enabled response modification
US9830395B2 (en) Spatial data processing
CN104823201B (zh) 光照敏感面部识别
US11782508B2 (en) Creation of optimal working, learning, and resting environments on electronic devices
KR20200093235A (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR20220036368A (ko) 뇌-컴퓨터 인터페이스
WO2022146890A1 (en) Detection and obfuscation of display screens in augmented reality content
CN113076903A (zh) 一种目标行为检测方法、系统、计算机设备及机器可读介质
CN113538696A (zh) 特效生成方法、装置、存储介质及电子设备
CN110381212A (zh) 终端的控制方法、终端及计算机可读存储介质
Narwaria et al. Effect of tone mapping operators on visual attention deployment
US20200226012A1 (en) File system manipulation using machine learning
EP4149636A1 (en) Personal protective equipment training system with user-specific augmented reality content construction and rendering
US9501710B2 (en) Systems, methods, and media for identifying object characteristics based on fixation points
US11622708B2 (en) Low-noise multi-channel voltage recording device
CN115373519A (zh) 脑电数据交互显示方法、装置、系统和计算机设备
CN110222576A (zh) 拳击动作识别方法、装置和电子设备
AU2016201929A1 (en) System and method for modifying display of augmented reality content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination