CN111901943B - 一种情感交互的照明系统 - Google Patents

一种情感交互的照明系统 Download PDF

Info

Publication number
CN111901943B
CN111901943B CN202010783623.6A CN202010783623A CN111901943B CN 111901943 B CN111901943 B CN 111901943B CN 202010783623 A CN202010783623 A CN 202010783623A CN 111901943 B CN111901943 B CN 111901943B
Authority
CN
China
Prior art keywords
information
emotional state
action
emotional
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010783623.6A
Other languages
English (en)
Other versions
CN111901943A (zh
Inventor
包瑞
郭睿倩
刘姝
贺洪朝
戴聪棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holsay Technology Group Co ltd
Fudan University
Original Assignee
Holsay Technology Group Co ltd
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Holsay Technology Group Co ltd, Fudan University filed Critical Holsay Technology Group Co ltd
Priority to CN202010783623.6A priority Critical patent/CN111901943B/zh
Publication of CN111901943A publication Critical patent/CN111901943A/zh
Application granted granted Critical
Publication of CN111901943B publication Critical patent/CN111901943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本发明涉及一种情感交互的照明系统，属于照明系统技术领域，解决了情感交互照明系统相关技术空白的问题。该系统包括，信息采集模块，用于采集目标人物的声音及图像；信息识别模块，用于根据对采集的所述声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息；处理控制模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于所述目标人物的情感状态按照对应的情感响应策略控制灯光及辅助设备做出响应反馈。该系统实现了人与照明系统之间的情感交互，提高了生活的智慧化水平。

Description

一种情感交互的照明系统
技术领域
本发明涉及照明系统技术领域，尤其涉及一种情感交互的照明系统。
背景技术
在文化旅游和城市夜景照明项目中，灯光不仅让建筑更美丽，也让城市和景区更有活力，从而吸引更多的游客，促进夜经济发展。现在照明技术的发展，使灯光更容易被控制和调节，可以通过灯光的亮度、颜色和形态变化的行为，表达出更多文化信息和精神内涵，并能够通过物联网传感器的应用，感知周边的环境，与人的动作、声音等进行交互，实现在智慧照明、智慧景区等场景中的应用。
现有照明系统与人的互动仍主要停留在动作和声音的识别，通过识别人的声音或动作实现照明系统的开或关。但通过识别人的情绪、情感并自动作出相应的反馈的照明系统相关技术尚存在空缺。
发明内容
鉴于上述的分析，本发明旨在提供一种情感交互的照明系统，用以解决现有照明系统只能对人的动作和声音做出机械反馈，而无法针对人的情绪或情感做出情感反馈的问题。
本发明提供了一种情感交互的照明系统，包括，
信息采集模块，用于采集目标人物的声音及图像；
信息识别模块，用于对采集的所述声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息；
处理控制模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于所述灯光及辅助设备的情感响应模式根据目标人物的情感状态控制灯光及辅助设备做出响应反馈。
进一步的，所述处理控制模块包括情感解析子模块、控制器、灯光及辅助设备控制子模块；
所述情感解析子模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得所述目标人物的情感状态；
所述控制器，用于发送与所述情感状态相对应的控制信号至所述灯光及辅助设备控制子模块；
所述灯光及辅助设备控制子模块，用于根据所述控制信号控制灯光及辅助设备做出响应反馈。
进一步的，所述情感解析子模块包括声音解析模型、表情解析模型及动作解析模型；
将所述声音信息、表情信息及动作信息作为输入量分别输入所述声音解析模型、表情解析模型及动作解析模型获得对应的声音值、表情值及动作值，不同的值表示目标人物不同的情感状态。
进一步的，通过下述方式确定目标人物的情感状态：
当表情值表示的情感状态不是中性时，则将所述表情表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态是中性，且声音值表示的情感状态不是中性时，则将所述声音值表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态是中性，声音值表示的情感状态是中性，且动作值表示的情感状态不是中性，则将所述动作值表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态、声音值表示的情感状态及动作值表示的情感状态均是中性时，则目标人物的情感状态为中性。
进一步的，所述灯光及辅助设备的情感响应模式包括：
直接模式，工作于该模式的灯光及辅助设备做出与所述目标人物情感状态相同或相似的响应反馈；
对话模式，工作于该模式的灯光及辅助设备根据所述目标人物的情感状态做出仿生的响应反馈；
告警模式，工作于该模式的灯光及辅助设备对存在安全隐含的所述目标人物情感状态做出告警的响应反馈。
进一步的，所述信息识别模块通过下述方式识别获得目标人物的声音信息、表情信息及动作信息：
利用训练好的声音识别模型对采集到的声音进行语音识别获得目标人物的声音信息；
利用训练好的人脸表情识别模型基于采集到的图像中的目标人物的面部几何特征或局部纹理变化对其进行识别，以获得所述目标人物的表情信息；所述几何特征包括面部特征点的距离变化、变形程度及曲率；
利用训练好的动作识别模型提取采集到的图像中的目标人物的动作特征，以获得所述目标人物的动作信息。
进一步的，所述语音识别包括情绪韵律识别和非言语情绪识别；
所述情绪韵律识别包括识别目标人物声音的音高、短时平均能量值、时长、基频及共振峰。
进一步的，通过下述方式训练动作识别模型：
分别采集不同人物在不同情感状态下的图像；
从所述图像中提取所述目标人物的动作特征，所述动作特征包括手部动作特征、手臂动作特征、身体动作特征及腿部动作特征；
将所述图像作为所述动作识别模型的输入量，对应的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输出量，对所述动作识别模型进行训练，获得训练好的动作识别模型。
进一步的，通过下述方式从所述图像中提取所述目标人物的动作特征：
采用三维人体姿态估计提取所述目标人物的手部动态、手臂动态、身体动态及腿部动态；
利用长短期记忆LSTM网络根据所述目标人物的手部动态、手臂动态、身体动态及腿部动态提取所述目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。
进一步的，还包括触发模块；
所述照明系统包括情感交互模式和正常照明模式；根据使用需求通过触发模块直接触发所述照明系统的情感交互模式；
或者，所述触发模块根据预先设置的声音、表情或动作触发所述照明系统的情感交互模式。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明提出的情感交互的照明系统，通过识别目标人物的表情、声音及动作确定目标人物的情感状态，并控制照明系统的灯光及辅助设备对目标人物的情感状态做出响应反馈，实现人与照明系统间的情感交互，提供更和谐、更智慧的光环境，提高照明系统的智慧化水平。
2、本发明提出的情感交互的照明系统，通过配置不同的灯光及辅助设备可以应用于家居室内、酒店房间室内、建筑媒体立面互动场景及灯光秀表演等不同的场景，使建筑、景观、家居环境等的灯光呈现出拟人化的响应反馈，为人们提供更和谐、更智慧的光环境。
3、本发明提出的情感交互的照明系统，对公共场合中的人的情感状态进行识别，当识别到人的情感状态处于恐惧或愤怒的状态时，可以初步判断可能存在危险状况或安全隐患，并发出告警，以便及时确认是否存在安全隐患并及时处理。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例情感交互的照明系统的示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种情感交互的照明系统。如图1所示。该系统包括：
信息采集模块，即图1所示的感知设备，用于采集目标人物的声音及图像。
信息识别模块，用于对采集的声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息。其中，信息识别模块位于图1所示的网关中。
处理控制模块，用于解析目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于灯光及辅助设备的情感响应模式根据目标人物的情感状态控制灯光及辅助设备做出响应反馈。
具体的，交换机是转换通讯协议的设备，通常用于单类设备。工控机本义是为了控制包含多个设备的系统，由于系统内的不同设备控制协议相互之间不同，与通过网络传输至中心服务器的协议也往往不同，因此也属于涉及通讯协议转换的设备。图1中，交换机用于根据感知设备和网关之间的转换通讯协议对感知设备采集到的数据进行转换，工控机用于根据子控制器与处理控制模块间的转换通讯协议对灯光及辅助设备控制子模块解析后的控制信号数据进行转换。
具体的，云计算指通过网络将数据传输至远程控制中心的服务器中完成的计算过程；边缘计算指在本地设备的微型处理器中完成的计算过程。在本发明中，处理控制模块中的情感解析子模块、控制器、灯光及辅助设备控制子模块内的计算通过云计算来完成，信息识别模块中声音及图像的识别过程通过边缘计算来完成。
优选的，信息采集模块包括麦克风和摄像头，通过麦克风采集目标人物的声音，通过摄像头采集目标人物的图像，将采集到的声音及图像传送至信息识别模块。
优选的，信息识别模块通过下述方式识别获得目标人物的声音信息、表情信息及动作信息：
步骤1、利用训练好的声音识别模型对采集到的声音进行语音识别获得目标人物的声音信息。优选的，语音识别包括情绪韵律识别和非言语情绪识别；其中，情绪韵律识别包括识别目标人物声音的音高、短时平均能量值、时长、基频及共振峰；非言语情绪包括笑声、叹息声、哭声、尖叫声等。
具体的，通过下述方式训练声音识别模型：
分别采集人处于不同情感状态下的声音，并为非言语情绪进行赋值。示例性的，笑声对应的值为0、哭声对应的值为1、叹息声对应的值为2、尖叫声对应的值为3。
将不同情感状态下的人的声音作为输入量，声音的音高、短时平均能量值、时长、基频及共振峰，以及赋值后的非言语情绪，包括笑声、叹息声、哭泣声、尖叫声作为输出量，对声音识别模型进行训练，获得训练好的声音识别模型。
具体的，声音识别模型可以是基于GMM(gaussian mixture model)模型、ANN(artificial neural network)或SVM(support vector machine)模型等训练得到的。
示例性的，将采集到的声音输入训练好的声音识别模型，获得声音的音高值、短时平均能量值、时长、基频及共振峰值，以及代表笑声、叹息声、哭声或尖叫声的值。
步骤2、利用训练好的人脸表情识别模型基于采集到的图像中的目标人物的面部几何特征或局部纹理变化对其进行识别，以获得目标人物的表情信息。其中，几何特征包括面部特征点(包括嘴、眼睛、眉毛、鼻子、嘴巴、皱纹等)的距离变化、变形程度及曲率。
具体的，通过下述方式训练人脸表情识别模型。
分别采集人处于不同情感状态下的图像。
将不同情感状态下人脸部的图像作为输入量，人的面部几何特征，包括面部特征点的距离变化、变形程度及曲率，以及局部纹理变化作为输出量，对模型进行训练获得训练好的人脸识别模型。
优选的，将采集到的人脸图像输入人脸表情识别模型，首先通过过滤器(如局部二元模式、Gabor滤波器、金字塔梯度直方图等)对人脸局部纹理进行编码，并与中性状态下的人脸局部纹理编码进行比较，从而获取局部纹理变化值。以及应利用大间隔最近邻居(large marginnearest neighbor，LMNN)分类算法、IL-CNN算法、IACNN算法、DLP-CNN算法或SJMT算法等对人脸的几何特征进行计算获得面部特征点的距离变化值、变形程度及曲率。使用卷积神经网络(CNN)通过多层次自动学习的方式基于获得三维面部特征点的距离变化值、变形程度及曲率获取对应的情感状态。
步骤3、利用训练好的动作识别模型提取采集到的图像中的目标人物的动作特征，以获得目标人物的动作信息。
具体的，通过下述方式训练动作识别模型：
分别采集不同人物在不同情感状态下的图像；
从图像中提取目标人物的动作特征，具体的，动作特征包括手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。
将图像作为动作识别模型的输入量，对应的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输出量，对动作识别模型进行训练，获得训练好的动作识别模型。
具体的，通过下述方式从图像中提取目标人物的动作特征：
采用三维人体姿态估计提取所述目标人物的手部动态、手臂动态、身体动态及腿部动态。
利用长短期记忆LSTM网络根据目标人物的手部动态、手臂动态、身体动态及腿部动态提取目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。
声音识别模块通过交换机将获得声音信息、表情信息及动作信息发送至网关的端口，并通过网关传输至处理控制模块。
优选的，处理控制模块包括情感解析子模块、控制器、灯光及辅助设备控制子模块。
情感解析子模块，用于解析目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态。
控制器，用于发送与所述情感状态相对应的控制信号至灯光及辅助设备控制子模块。
灯光及辅助设备控制子模块，用于根据控制信号控制灯光及辅助设备做出响应反馈。
优选的，情感解析子模块包括声音解析模型、表情解析模型及动作解析模型。
将声音信息，包括声音的音高、短时平均能量值、时长、基频及共振峰，以及赋值后的非言语情绪，包括笑声、叹息声、哭泣声、尖叫声，作为输入量，其对应的情感状态值(声音值)作为输出量对声音解析模型进行训练，获得训练好的声音解析模型。
将表情信息，包括面部特征点的距离变化、变形程度、曲率及局部纹理变化值作为输入量，对应的情感状态值(表情值)作为输出量，对表情解析模型进行训练，获得训练好的表情解析模型。
将动作信息，包括目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输入量，对应的情感状态值(动作值)作为输出量，对动作解析模型进行训练，获得训练好的动作解析模型。
示例性的，将声音信息、表情信息及动作信息作为输入量分别输入训练好的声音解析模型、表情解析模型及动作解析模型获得对应的声音值、表情值及动作值，不同的值表示目标人物不同的情感状态。
示例性的，不同声音信息对应的情感状态如表1所示。
表1
Figure BDA0002621138460000101
不同动作信息对应的情感状态如表2所示。
表2
Figure BDA0002621138460000102
考虑到，情感状态为中性时，人的肢体可能处于各种随意的状态，并不存在象征性的动作，因此未设置对应的特征动作识别。
对于不同表情信息的表情值，示例性的，使用卷积神经网络(CNN)通过多层次自动学习的方式从表情数据(三维面部特征点的距离变化值、变形程度及曲率)中获取不同情感的表情特征。通过深层神经网络架构和损失函数，显式地为局部面部区域和表情建模，利用CK+、JAFFE等公开的数据集来评估深层神经网络模型的识别准确性。例如：CK+数据集中已经对人脸面部特征点进行标注，可以直接用于模型训练。具体的，CK+和JAFFE数据集的分类识别准确率如表3所示：
表3
Figure BDA0002621138460000103
Figure BDA0002621138460000111
示例性的，解析模型获得的值为0时，表示人物的情感状态为中性；值为1时，表示人物的情感状态为喜悦；值为2时，表示人物的情感状态为悲伤；值为3时，表示人物的情感状态为愤怒；值为4时，表示人物的情感状态为恐惧。
优选的，通过下述方式确定目标人物的情感状态：
当表情值表示的情感状态不是中性时，则将表情值表示的情感状态作为目标人物的情感状态。
当表情值表示的情感状态是中性，且声音值表示的情感状态不是中性时，则将声音值表示的情感状态作为目标人物的情感状态。
当表情值表示的情感状态是中性，声音值表示的情感状态是中性，且动作值表示的情感状态不是中性，则将动作值表示的情感状态作为目标人物的情感状态。
当表情值表示的情感状态、声音值表示的情感状态及动作值表示的情感状态均是中性时，则目标人物的情感状态为中性。
情感解析子模块获得目标人物的情感状态后，控制器基于灯光及辅助设备子模块的情感相应模式，发送与情感状态相对应的控制信号至灯光及辅助设备子模块。灯光及辅助设备子模块通过工控机及子控制器控制灯光及辅助设备做出响应反馈。示例性的，灯光的响应反馈行为与情感表达的对应关系如表4所示。
表4
Figure BDA0002621138460000112
Figure BDA0002621138460000121
实现灯光情感表达的灯具，应能输出彩色光，例如红R、绿G、蓝B、白W或者其他颜色搭配组合；应具有亮度调节能力，可以通过DMX512或其他协议来改变发光的亮度、颜色、角度和投射物体。
优选的，灯光及辅助设备的情感响应模式包括：
直接模式，工作于该模式的灯光及辅助设备做出与目标人物情感状态相同或相似的响应反馈。
对话模式，工作于该模式的灯光及辅助设备根据目标人物的情感状态做出仿生的响应反馈。
告警模式，工作于该模式的灯光及辅助设备对存在安全隐含的目标人物情感状态做出告警的响应反馈。
示例性的，如表5所示：
表5
Figure BDA0002621138460000122
具体的，在实际应用中，可以根据不同的应用场景预先设置灯光及辅助设备的情感响应模式。优选的，在不同的应用场景，灯光及辅助设备工作于不同的情景响应模式。示例性的，如表6所示。
表6
应用场景 情感响应模式
家居 直接模式/对话模式
酒店 直接模式/对话模式
公共空间媒体立面体验 直接模式/对话模式
灯光秀表演 直接模式/对话模式
园区安防 告警模式
优选的，在不同的应用场景中，可以根据需求配置灯光及辅助设备。示例性的，不同场景中配置的灯光及辅助设备如表7所示。
表7
Figure BDA0002621138460000131
示例性的，在家居场景中，当照明系统确定目标人物的情感状态为悲伤时，可以控制灯光设备发出动态变化频率低、中低亮度及低色温暖的黄光，并控制智能音箱播放舒缓的音乐，以起到安慰目标人物悲伤状态的效果。
示例性的，在灯光秀表演的场景中，当照明系统确定目标人群的情感状态为喜悦时，可以控制的灯光设备发出动态变化频率高、大色块及高饱和度彩光，并控制音箱、舞台机械设备、喷泉、雾森及焰火等呈现动感的效果。
示例性，在园区安防场景中，当照明系统确定某一人物的情感状态为恐惧或愤怒时，则控制灯光及辅助设备发出红色闪烁灯光及警报声。
优选的，该照明系统还包括触发模块。
照明系统包括情感交互模式和正常照明模式。用户可以根据使用需求通过触发模块直接触发照明系统的情感交互模式。
或者，触发模块根据预先设置的声音、表情或动作触发照明系统的情感交互模式。
在不同的应用场景中，可以通过设置不同的触发方式，示例性的，如表8所示。
表8
Figure BDA0002621138460000141
与现有技术相比，本发明公开的的情感交互的照明系统，首先，通过识别目标人物的表情、声音及动作确定目标人物的情感状态，并控制照明系统的灯光及辅助设备对目标人物的情感状态做出响应反馈，实现人与照明系统间的情感交互，提供更和谐、更智慧的光环境，提高照明系统的智慧化水平；其次，通过配置不同的灯光及辅助设备可以应用于家居室内、酒店房间室内、建筑媒体立面互动场景及灯光秀表演等不同的场景，使建筑、景观、家居环境等的灯光呈现出拟人化的响应反馈，为人们提供更和谐、更智慧的光环境；最后，本发明提出的情感交互的照明系统，对公共场合中的人的情感状态进行识别，当识别到人的情感状态处于恐惧或愤怒的状态时，可以初步判断可能存在危险状况或安全隐患，并发出告警，以便及时确认是否存在安全隐患并及时处理。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种情感交互的照明系统，其特征在于，包括，
信息采集模块，用于采集目标人物的声音及图像；
信息识别模块，用于对采集的所述声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息；
处理控制模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于灯光及辅助设备的情感响应模式根据目标人物的情感状态控制灯光及辅助设备做出响应反馈；
所述处理控制模块包括情感解析子模块，所述情感解析子模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得所述目标人物的情感状态；
所述情感解析子模块包括声音解析模型、表情解析模型及动作解析模型；
将所述声音信息、表情信息及动作信息作为输入量分别输入所述声音解析模型、表情解析模型及动作解析模型获得对应的声音值、表情值及动作值，不同的值表示目标人物不同的情感状态；所述声音信息包括目标人物声音的音高、短时平均能量值、时长、基频及共振峰，所述表情信息包括目标人物面部特征点的距离变化、变形程度及曲率，所述动作信息包括目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征；
所述获得所述目标人物的情感状态，包括：
当表情值表示的情感状态不是中性时，则将所述表情表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态是中性，且声音值表示的情感状态不是中性时，则将所述声音值表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态是中性，声音值表示的情感状态是中性，且动作值表示的情感状态不是中性，则将所述动作值表示的情感状态作为目标人物的情感状态；
当表情值表示的情感状态、声音值表示的情感状态及动作值表示的情感状态均是中性时，则目标人物的情感状态为中性。
2.根据权利要求1所述的照明系统，其特征在于，所述处理控制模块还包括控制器、灯光及辅助设备控制子模块；
所述控制器，用于发送与所述情感状态相对应的控制信号至所述灯光及辅助设备控制子模块；
所述灯光及辅助设备控制子模块，用于根据所述控制信号控制灯光及辅助设备做出响应反馈。
3.据权利要求2所述的照明系统，其特征在于，所述灯光及辅助设备的情感响应模式包括：
直接模式，工作于该模式的灯光及辅助设备做出与所述目标人物情感状态相同或相似的响应反馈；
对话模式，工作于该模式的灯光及辅助设备根据所述目标人物的情感状态做出仿生的响应反馈；
告警模式，工作于该模式的灯光及辅助设备对存在安全隐含的所述目标人物情感状态做出告警的响应反馈。
4.据权利要求1-3任一项所述的照明系统，其特征在于，所述信息识别模块通过下述方式识别获得目标人物的声音信息、表情信息及动作信息：
利用训练好的声音识别模型对采集到的声音进行语音识别获得目标人物的声音信息；
利用训练好的人脸表情识别模型基于采集到的图像中的目标人物的面部几何特征或局部纹理变化对其进行识别，以获得所述目标人物的表情信息；
利用训练好的动作识别模型提取采集到的图像中的目标人物的动作特征，以获得所述目标人物的动作信息。
5.根据权利要求4所述的照明系统，其特征在于，所述语音识别包括情绪韵律识别和非言语情绪识别；
所述情绪韵律识别包括识别目标人物声音的音高、短时平均能量值、时长、基频及共振峰。
6.根据权利要求4所述的照明系统，其特征在于，通过下述方式训练动作识别模型：
分别采集不同人物在不同情感状态下的图像；
从所述图像中提取所述目标人物的动作特征，所述动作特征包括手部动作特征、手臂动作特征、身体动作特征及腿部动作特征；
将所述图像作为所述动作识别模型的输入量，对应的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输出量，对所述动作识别模型进行训练，获得训练好的动作识别模型。
7.根据权利要求6所述的照明系统，其特征在于，通过下述方式从所述图像中提取所述目标人物的动作特征：
采用三维人体姿态估计提取所述目标人物的手部动态、手臂动态、身体动态及腿部动态；
利用长短期记忆LSTM网络根据所述目标人物的手部动态、手臂动态、身体动态及腿部动态提取所述目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。
8.根据权利要求1-3、5-7任一项所述的照明系统，其特征在于，还包括触发模块；
所述照明系统包括情感交互模式和正常照明模式；根据使用需求通过触发模块直接触发所述照明系统的情感交互模式；
或者，所述触发模块根据预先设置的声音、表情或动作触发所述照明系统的情感交互模式。
CN202010783623.6A 2020-08-06 2020-08-06 一种情感交互的照明系统 Active CN111901943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783623.6A CN111901943B (zh) 2020-08-06 2020-08-06 一种情感交互的照明系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783623.6A CN111901943B (zh) 2020-08-06 2020-08-06 一种情感交互的照明系统

Publications (2)

Publication Number Publication Date
CN111901943A CN111901943A (zh) 2020-11-06
CN111901943B true CN111901943B (zh) 2021-09-21

Family

ID=73245858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783623.6A Active CN111901943B (zh) 2020-08-06 2020-08-06 一种情感交互的照明系统

Country Status (1)

Country Link
CN (1) CN111901943B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329648B (zh) * 2020-11-09 2023-08-08 东北大学 基于面部表情交互的人际关系行为模式识别方法
CN113116319A (zh) * 2021-04-22 2021-07-16 科曼利(广东)电气有限公司 一种感知情绪用以转化场景变换的智能家居控制系统
CN113282178A (zh) * 2021-06-17 2021-08-20 威强科技(北京)有限公司 一种可自动调节姿态的照明装置
CN116528438B (zh) * 2023-04-28 2023-10-10 广州力铭光电科技有限公司 一种灯具的智能调光方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204681652U (zh) * 2015-06-24 2015-09-30 河北工业大学 基于表情模型识别的灯光调节装置
KR20160010238A (ko) * 2014-07-19 2016-01-27 최광석 화상 및 적외선 카메라를 이용한 감성조명시스템 및 그 방법
CN205508402U (zh) * 2016-04-08 2016-08-24 殷瑞鸿 一种感知情绪变化控制灯光和音乐的系统
CN106658899A (zh) * 2016-12-01 2017-05-10 厦门迈信物联科技股份有限公司 一种情感互动照明系统
CN106804076A (zh) * 2017-02-28 2017-06-06 深圳市喜悦智慧实验室有限公司 一种智能家居的照明系统
CN109803468A (zh) * 2019-03-04 2019-05-24 深圳市拓润光电科技有限公司 一种可根据人的情绪变化自动调节的智能照明系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010238A (ko) * 2014-07-19 2016-01-27 최광석 화상 및 적외선 카메라를 이용한 감성조명시스템 및 그 방법
CN204681652U (zh) * 2015-06-24 2015-09-30 河北工业大学 基于表情模型识别的灯光调节装置
CN205508402U (zh) * 2016-04-08 2016-08-24 殷瑞鸿 一种感知情绪变化控制灯光和音乐的系统
CN106658899A (zh) * 2016-12-01 2017-05-10 厦门迈信物联科技股份有限公司 一种情感互动照明系统
CN106804076A (zh) * 2017-02-28 2017-06-06 深圳市喜悦智慧实验室有限公司 一种智能家居的照明系统
CN109803468A (zh) * 2019-03-04 2019-05-24 深圳市拓润光电科技有限公司 一种可根据人的情绪变化自动调节的智能照明系统

Also Published As

Publication number Publication date
CN111901943A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111901943B (zh) 一种情感交互的照明系统
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及系统
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
KR20200034039A (ko) 로봇 및 그 동작 방법
US11948241B2 (en) Robot and method for operating same
JP2019536150A (ja) 環境制御機能を有する社会ロボット
KR20200031459A (ko) 감성 인식기 및 이를 포함하는 로봇, 서버
KR100752098B1 (ko) 신경망 기반 로봇 시스템
US20200282555A1 (en) Method and device for robot interactions
JP2013099823A (ja) ロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステム
US20200110968A1 (en) Identification device, robot, identification method, and storage medium
CN116916497B (zh) 基于嵌套态势识别的落地柱形氛围灯光照控制方法及系统
CN111726921A (zh) 一种体感交互灯光控制系统
US11511410B2 (en) Artificial intelligence (AI) robot and control method thereof
CN115884471A (zh) 灯效控制方法及其装置、设备、介质、产品
WO2019235067A1 (ja) 情報処理装置、情報処理システム、プログラム、及び情報処理方法
KR102236718B1 (ko) 감정이 반영된 개인화 객체 생성을 위한 서비스 제공 장치 및 방법
CN111881857B (zh) 一种基于人脸检测的电子蜡烛控制方法
KR102596833B1 (ko) 인공지능 기반 애완동물 주변 영역을 이용한 애완동물의 감정 상태 증강 방법
CN117036555A (zh) 数字人的生成方法、装置和数字人的生成系统
KR101066999B1 (ko) 지능형 플라워 로봇 및 그 로봇의 제어 방법
JP2001215940A (ja) 表情を有する知的ロボット
JPWO2019058673A1 (ja) 情報処理装置、情報処理端末、情報処理方法、および、プログラム
CN113116319A (zh) 一种感知情绪用以转化场景变换的智能家居控制系统
Pentland Smart rooms: machine understanding of human behavior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant