CN107145326A - 一种基于目标面部表情采集的音乐自动播放系统及方法 - Google Patents
一种基于目标面部表情采集的音乐自动播放系统及方法 Download PDFInfo
- Publication number
- CN107145326A CN107145326A CN201710193334.9A CN201710193334A CN107145326A CN 107145326 A CN107145326 A CN 107145326A CN 201710193334 A CN201710193334 A CN 201710193334A CN 107145326 A CN107145326 A CN 107145326A
- Authority
- CN
- China
- Prior art keywords
- mrow
- music
- user
- mfrac
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于目标面部表情采集的音乐自动播放系统及方法，所述系统包括采集单元、处理单元和音乐播放单元；所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。本发明系统及方法可以对目标进行面部情绪和心率的准确检测，并且根据用户的实时心理变化智能播放音乐，给用户以最好的体验。
Description
技术领域
本发明涉及日常娱乐领域，具体涉及一种基于面部表情采集的音乐自动播放系统及方法。
背景技术
情感是人们日常交流中的重要一部分，而一个人的表情则从很大程度上反应了这个人的情感，这些情感信息将会产生很多实际的应用。而基于一系列分离的静态图片的面部表情识别极容易出现误判。
保罗·艾克曼提出不同文化的面部表情都有共通性，他发现某些基本情绪(快乐、悲伤、愤怒、厌恶、惊讶和恐惧)的表达在两种文化中都很雷同。因此，他和他的研究伙伴较早地对脸部肌肉群的运动及其对表情的控制作用做了深入研究，开发了面部动作编码系统(Facial Action Coding System，FACS)。
现在的音乐播放器往往只能基于用户的历史记录实现音乐的推荐，而不能根据用户的实时心理变化自动播放音乐。
发明内容
本发明的目的在于针对现有技术的不足，提供一种操作简易、适用范围广、可移植性强的音乐自动播放系统及方法。
本发明的目的是通过以下技术方案来实现的：一种基于目标面部表情采集的音乐自动播放系统，其特征在于，包括采集单元、处理单元和音乐播放单元，其中：
所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；
所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；
所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。
进一步地，面部情绪的观测部位是用户身体上具有情绪信息的部位，包括额头、眉毛、眼睛、面颊、鼻翼、嘴巴等。
进一步地，所述音乐播放单元在得到用户表情愉悦的信息时，继续播放当前播放的，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述的处理单元还包括心率信息的采集，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
一种基于目标面部表情采集的音乐自动播放方法，该方法包括以步骤：
(1)视频采集：采集单元在处理单元的控制下获取用户面部的视频信息，将其传递给处理单元；
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；
(3)音乐自动播放：根据用户的面部表情变化实现音乐的智能播放。
进一步地，所述的步骤1中，当用户进入摄像头采集范围内时，处理单元锁定待测目标身上能提取面部情绪的部位，并控制采集单元对其进行视频采集。
进一步地，所述步骤2中，提取面部情绪信号采用基于图像空间变换的放大算法，具体包括以下子步骤：
(2.1)把图像分割为若干帧；
(2.2)对于分割好的帧图，在每一帧上选取特征点，记录坐标。再任选其中某一帧为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。
(2.3)在变换后的图像上锁定能提取出面部情绪信号的关注部位，选取各个关注部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。
(2.4)通过与面部动作编码系统FACS中的数据对比，从而判定用户此时的心情。
进一步地，所述步骤3中，处理单元自动识别用户的心情后，作记录。当用户表情愉悦时，则继续播放该歌曲，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，作记录，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述波形调制具体为：
假设初始音频在调制时刻的表达式为y＝u(x)，目标音频在该时刻的表达式是h＝g(x)，其中u(x)、g(x)皆为三角函数表达式。通过开关的切换，改变音频在状态空间的切换面s(x)＝0两边的结构，切换函数为s＝s(x)。
即在系统x∈R n 的状态空间中，有一个超曲面s＝s(x1,x2,…,xn)＝0，n为空间维度数，它将状态空间分为上下两部分，s＞0及s＜0。
在切换面上某一区域内所有点均是终止点的话，则一旦运动点RP趋近于该区域时，就被吸引在该区域(模态区)内运动，当运动点RP到达切换面s(x)＝0附近时，有：
等效于：
不等式对系统提出形如v(x1,x2,…,xn)＝[s(x1,x2,…,xn)]2的李亚普洛夫稳定的必要条件。
设系统的状态方程为：
如果实现了滑模变，系统已进入滑动模态区，此时ds/dt＝0，则
即：
对u的解为u*＝u*(x)，将等效控制u*(x)代入方程式可得：
s(x)＝0
从而实现波形调制。
进一步地，该方法还包括采集心率信息的步骤，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
本发明的有益效果是：
(1)本发明方法可以对目标进行面部情绪的准确检测，并且根据用户的实时心理变化智能播放音乐，给用户以最好的体验。
(2)本发明方法在硬件方面需求简单，软件方面也仅需普通的视频、图像处理软件，不涉及额外的硬件采购和软件部署。
(3)本发明采集系统的所有单元可以集成在一个移动智能终端上，因此有很高的可移植性。
(4)本发明最终实现的波形调制体现在音乐的节拍、节奏等方面上，可以趋于缓慢从而引导用户平静下来；也可使节奏适当加快，让用户适度提高心跳变得兴奋愉悦(节奏的加快有上限阈值，不能高于一定的心跳速率，否则不利于健康)。
附图说明
图1为本发明的系统组成图。
图2为本发明的方法流程图。
图3为本发明中面部情绪提取及音乐自动播放的流程图。
图4为本发明中初始信号转化为目标信息的信息传递图。
图5为本发明中初始信号转化为目标信息的信息传递图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于目标面部表情采集的音乐自动播放系统，包括采集单元、处理单元和音乐播放单元，其中：
所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；
所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；
所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。
其中，所述的采集单元与处理单元之间、处理单元与音乐自动播放单元可部分或全部通过有线或无线方式进行连接，以保证数据的有效传输。可以根据实际需要，全部采用有线方式连接，全部采用无线方式连接，或部分采用有线方式连接、部分采用无线方式连接。
进一步地，面部情绪的观测部位是用户身体上具有情绪信息的部位，包括额头、眉毛、眼睛、面颊、鼻翼、嘴巴等。
进一步地，所述音乐播放单元在得到用户表情愉悦的信息时，继续播放当前播放的，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述的处理单元还包括心率信息的采集，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
进一步地，采集单元、处理单元和音乐播放单元可以集成在台式电脑、笔记本电脑、移动智能终端、各种智能手机、平板电脑(如iPad等)、掌上电脑、智能掌上游戏机等。
如图2所示，本发明提供的一种基于目标面部表情采集的音乐自动播放方法，该方法包括以步骤：
(1)视频采集：采集单元在处理单元的控制下获取用户面部的视频信息，将其传递给处理单元；
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；
(3)音乐自动播放：根据用户的面部表情变化实现音乐的智能播放。
进一步地，所述的步骤1中，当用户进入摄像头采集范围内时，处理单元锁定待测目标身上能提取面部情绪的部位，并控制采集单元对其进行视频采集。
进一步地，所述步骤2中，提取面部情绪信号采用基于图像空间变换的放大算法，具体包括以下子步骤：
(2.1)把图像分割为若干帧；
(2.2)对于分割好的帧图，在每一帧上选取特征点，记录坐标。再任选其中某一帧为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。
(2.3)在变换后的图像上锁定能提取出面部情绪信号的关注部位，选取各个关注部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。
(2.4)通过与面部动作编码系统FACS中的数据对比，从而判定用户此时的心情。
进一步地，所述步骤3中，处理单元自动识别用户的心情后，作记录。当用户表情愉悦时，则继续播放该歌曲，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，作记录，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐，并不产生明显突兀的变化。
进一步地，所述波形调制具体为：
假设初始音频在调制时刻的表达式为y＝u(x)，目标音频在该时刻的表达式是h＝g(x)，其中u(x)、g(x)皆为三角函数表达式。通过开关的切换，改变音频在状态空间的切换面s(x)＝0两边的结构，切换函数为s＝s(x)。
即在系统x∈Rn的状态空间中，有一个超曲面s＝s(x1,x2,…,xn)＝0，n为空间维度数，它将状态空间分为上下两部分，s＞0及s＜0。
在切换面上某一区域内所有点均是终止点的话，则一旦运动点RP趋近于该区域时，就被吸引在该区域(模态区)内运动，当运动点RP到达切换面s(x)＝0附近时，有：
等效于：
不等式对系统提出形如v(x1,x2,…,xn)＝[s(x1,x2,…,xn)]2的李亚普洛夫稳定的必要条件。
设系统的状态方程为：
如果实现了滑模变，系统已进入滑动模态区，此时ds/dt＝0，则
即：
对u的解为u*＝u*(x)，将等效控制u*(x)代入方程式可得：
s(x)＝0
从而实现波形调制。
本发明最终实现的波形调制体现在音乐的节拍、节奏等方面上，可以趋于缓慢从而引导用户平静下来；也可使节奏适当加快，让用户适度提高心跳变得兴奋愉悦(节奏的加快有上限阈值，不能高于一定的心跳速率，否则不利于健康)。
进一步地，该方法还包括采集心率信息的步骤，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
实施例
下面以用一个由可移动的摄像头和笔记本电脑组成的系统采集某利用听音乐缓解紧张情绪的学生的面部情绪为例，具体说明面部情绪的采集方法和音乐自动播放系统。
(1)视频采集：采集单元在处理单元的控制下获取用户被观测部位持续、完整的视频信息，再将其传递给处理单元；具体地，当该学生处于摄像头采集范围内时，笔记本电脑通过图像识别算法锁定该学生面部，并控制摄像头开始对其进行视频采集。在采集过程中，其面部可能会脱离摄像头的采集范围，此时，由笔记本电脑发出指令控制可移动摄像头跟随学生同步运动，以保持学生面部仍处于采集范围之内。采集结束后，摄像头将视频信息传递给笔记本电脑。
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；所述的提取面部情绪信号的方法是基于图像空间变换的放大算法。
具体地，当接收到学生面部的视频信息以后，笔记本电脑锁定视频中学生面部的具体位置。由于视频信息来源于一台可移动的摄像头，笔记本电脑可直接获得学生面部的视频信号。此后，对整合后的视频采用基于图像空间变换的频率放大算法，即提取出学生的面部情绪信号。更具体地，首先把学生面部信息图像分割为800帧。对于分割好的帧图，在每一帧上选取面部特征点，如嘴部、鼻翼的边缘，记录坐标。再任选其中某一帧，如第一帧，为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。然后在变换后的图像上锁定面部能凸显出肌肉运动与面部动作的具体部位，进行滤波、去噪，选取各个具体部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，可以得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。通过与面部动作编码系统中的数据对比，可以判定每一小段时间内学生的面部情绪，进而可以获得学生面部情绪随时间的变化。
(3)音乐自动播放：对获得的学生面部情绪进行分析，得出该学生此时的情绪状态，如果呈现为正面情绪则继续播放与当前歌曲频率和柔和度相似的歌曲，如果呈现为偏负面情绪或有向负面情绪变化的趋势，则根据曲库中已经存储的数据，选择该学生喜欢的歌曲进行非感知性切换，实现音乐的自动播放。
在上述实施例中，步骤(2)和(3)的流程图如图3所示。
整个方法过程中，信息量的转化关系如图4和图5所示，在音乐的调节中参考了心率这个数值，来实现平静或欢快的过度，最终从原始视频提取出用户的面部情绪信号。
对本领域的技术人员来说应理解，根据设计要求和其他因素可以进行各种修改、组合、自组合和变化，只要它们都落于所附权利要求及其等效方案所限定的范围内。
Claims (10)
1.一种基于目标面部表情采集的音乐自动播放系统，其特征在于，包括采集单元、处理单元和音乐播放单元，其中：
所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；
所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；
所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。
2.根据权利要求1所述的一种基于目标面部表情采集的音乐自动播放系统，其特征在于，面部情绪的观测部位是用户身体上具有情绪信息的部位，包括额头、眉毛、眼睛、面颊、鼻翼、嘴巴等。
3.根据权利要求1所述的一种基于目标面部表情采集的音乐自动播放系统，其特征在于，所述音乐播放单元在得到用户表情愉悦的信息时，继续播放当前播放的，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
4.根据权利要求1所述的一种基于目标面部表情采集的音乐自动播放系统，其特征在于，所述的处理单元还包括心率信息的采集，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
5.一种基于目标面部表情采集的音乐自动播放方法，其特征在于，该方法包括以步骤：
(1)视频采集：采集单元在处理单元的控制下获取用户面部的视频信息，将其传递给处理单元；
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；
(3)音乐自动播放：根据用户的面部表情变化实现音乐的智能播放。
6.根据权利要求5所述的一种基于目标面部表情采集的音乐自动播放方法，其特征在于，所述的步骤1中，当用户进入摄像头采集范围内时，处理单元锁定待测目标身上能提取面部情绪的部位，并控制采集单元对其进行视频采集。
7.根据权利要求5所述的一种基于目标面部表情采集的音乐自动播放方法，其特征在于，所述步骤2中，提取面部情绪信号采用基于图像空间变换的放大算法，具体包括以下子步骤：
(2.1)把图像分割为若干帧；
(2.2)对于分割好的帧图，在每一帧上选取特征点，记录坐标。再任选其中某一帧为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。
(2.3)在变换后的图像上锁定能提取出面部情绪信号的关注部位，选取各个关注部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。
(2.4)通过与面部动作编码系统FACS中的数据对比，从而判定用户此时的心情。
8.根据权利要求5所述的一种基于目标面部表情采集的音乐自动播放方法，其特征在于，所述步骤3中，处理单元自动识别用户的心情后，作记录。当用户表情愉悦时，则继续播放该歌曲，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，作记录，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
9.根据权利要求8所述的一种基于目标面部表情采集的音乐自动播放方法，其特征在于，所述波形调制具体为：
假设初始音频在调制时刻的表达式为y＝u(x)，目标音频在该时刻的表达式是h＝g(x)，其中u(x)、g(x)皆为三角函数表达式。通过开关的切换，改变音频在状态空间的切换面s(x)＝0两边的结构，切换函数为s＝s(x)。
即在系统x∈Rn的状态空间中，有一个超曲面s＝s(x1,x2,…,xn)＝0，n为空间维度数，它将状态空间分为上下两部分，s＞0及s＜0。
在切换面上某一区域内所有点均是终止点的话，则一旦运动点RP趋近于该区域时，就被吸引在该区域(模态区)内运动，当运动点RP到达切换面s(x)＝0附近时，有：
<mrow>
<munder>
<mi>lim</mi>
<mrow>
<mi>s</mi>
<mo>&RightArrow;</mo>
<msup>
<mn>0</mn>
<mo>+</mo>
</msup>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>&le;</mo>
<mn>0</mn>
<mo>&le;</mo>
<munder>
<mi>lim</mi>
<mrow>
<mi>s</mi>
<mo>&RightArrow;</mo>
<msup>
<mn>0</mn>
<mo>-</mo>
</msup>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
</mrow>
等效于：
<mrow>
<munder>
<mi>lim</mi>
<mrow>
<mi>s</mi>
<mo>&RightArrow;</mo>
<mn>0</mn>
</mrow>
</munder>
<mfrac>
<mi>d</mi>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
<mo>&le;</mo>
<mn>0</mn>
</mrow>
不等式对系统提出形如v(x1,x2,…,xn)＝[s(x1,x2,…,xn)]2的李亚普洛夫稳定的必要条件。
设系统的状态方程为：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>u</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>x</mi>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mi>n</mi>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>u</mi>
<mo>&Element;</mo>
<mi>R</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
如果实现了滑模变，系统已进入滑动模态区，此时ds/dt＝0，则
<mrow>
<mfrac>
<mrow>
<mi>d</mi>
<mi>s</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>s</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mfrac>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mn>0</mn>
</mrow>
即：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>s</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>u</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
</mrow>
对u的解为u*＝u*(x)，将等效控制u*(x)代入方程式可得：
<mrow>
<mfrac>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msup>
<mi>u</mi>
<mo>*</mo>
</msup>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
</mrow>
从而实现波形调制。
10.根据权利要求5所述的一种基于目标面部表情采集的音乐自动播放方法，其特征在于，该方法还包括采集心率信息的步骤，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710193334.9A CN107145326B (zh) | 2017-03-28 | 2017-03-28 | 一种基于目标面部表情采集的音乐自动播放系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710193334.9A CN107145326B (zh) | 2017-03-28 | 2017-03-28 | 一种基于目标面部表情采集的音乐自动播放系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107145326A true CN107145326A (zh) | 2017-09-08 |
| CN107145326B CN107145326B (zh) | 2020-07-28 |
Family
ID=59783567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710193334.9A Active CN107145326B (zh) | 2017-03-28 | 2017-03-28 | 一种基于目标面部表情采集的音乐自动播放系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107145326B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678291A (zh) * | 2017-10-31 | 2018-02-09 | 珠海格力电器股份有限公司 | 室内环境的控制方法及装置 |
| CN107948732A (zh) * | 2017-12-04 | 2018-04-20 | 京东方科技集团股份有限公司 | 视频的播放方法、视频播放装置及系统 |
| CN108197533A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨（深圳）科技有限公司 | 一种基于用户表情的人机交互方法、电子设备及存储介质 |
| CN108509660A (zh) * | 2018-05-29 | 2018-09-07 | 维沃移动通信有限公司 | 一种播放对象推荐方法及终端设备 |
| CN109285567A (zh) * | 2018-09-10 | 2019-01-29 | 深圳市宇墨科技有限公司 | 卫生间音乐播放控制方法及卫生间管理系统 |
| CN109413351A (zh) * | 2018-10-26 | 2019-03-01 | 平安科技（深圳）有限公司 | 一种音乐生成方法及装置 |
| CN109683541A (zh) * | 2019-02-28 | 2019-04-26 | 河南经贸职业学院 | 一种基于物联网大数据的智能家居系统 |
| CN110047520A (zh) * | 2019-03-19 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 音频播放的控制方法、装置、电子设备和计算机可读存储介质 |
| CN110197677A (zh) * | 2019-05-16 | 2019-09-03 | 北京小米移动软件有限公司 | 一种播放控制方法、装置及播放设备 |
| GB2572317A (en) * | 2018-03-06 | 2019-10-02 | Skoogmusic Ltd | Control apparatus and method |
| CN110309349A (zh) * | 2019-04-08 | 2019-10-08 | 浙江工业大学 | 一种基于面部表情识别和循环神经网络的音乐生成方法 |
| CN110555128A (zh) * | 2018-05-31 | 2019-12-10 | 蔚来汽车有限公司 | 一种音乐推荐播放方法以及车载资讯娱乐系统 |
| CN111009241A (zh) * | 2019-07-29 | 2020-04-14 | 恒大智慧科技有限公司 | 一种基于智能门锁的音乐播放方法以及存储介质 |
| WO2020103649A1 (zh) * | 2018-11-20 | 2020-05-28 | 青岛海尔洗衣机有限公司 | 家用电器输出视听信息的控制方法 |
| CN111416934A (zh) * | 2020-03-16 | 2020-07-14 | 南昌航空大学 | 一种基于功能性音乐干预的人脸表情采集方法及其系统 |
| CN111666444A (zh) * | 2020-06-02 | 2020-09-15 | 中国科学院计算技术研究所 | 基于人工智能的音频推送方法及系统、相关方法及设备 |
| CN112231499A (zh) * | 2019-07-15 | 2021-01-15 | 李姿慧 | 一种视频配乐智能系统 |
| CN112402044A (zh) * | 2020-11-16 | 2021-02-26 | 浙江万里学院 | 一种电动牙刷音视频儿童教育方法 |
| CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
| CN112837707A (zh) * | 2021-01-29 | 2021-05-25 | 苏州车萝卜汽车电子科技有限公司 | 多媒体播放控制方法、装置、设备和存储介质 |
| CN113221611A (zh) * | 2020-02-05 | 2021-08-06 | 丰田自动车株式会社 | 情绪推断装置、方法、程序以及车辆 |
| CN114117116A (zh) * | 2022-01-28 | 2022-03-01 | 中国传媒大学 | 基于生物特征交互的音乐解锁方法及电子设备 |
| CN115756178A (zh) * | 2023-01-10 | 2023-03-07 | 深圳市心流科技有限公司 | 一种冥想应用程序的控制方法、装置、终端及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957657A (zh) * | 2010-09-10 | 2011-01-26 | 李隆 | 一种基于互联网具有身心调节功能的音乐彩光键盘 |
| CN102541259A (zh) * | 2011-12-26 | 2012-07-04 | 鸿富锦精密工业（深圳）有限公司 | 电子设备及其根据脸部表情提供心情服务的方法 |
| CN102566740A (zh) * | 2010-12-16 | 2012-07-11 | 富泰华工业（深圳）有限公司 | 具有情绪识别功能的电子装置及其输出控制方法 |
| CN102750964A (zh) * | 2012-07-30 | 2012-10-24 | 西北工业大学 | 基于表情的背景音乐控制方法及装置 |
| CN103126655A (zh) * | 2013-03-14 | 2013-06-05 | 浙江大学 | 一种非约束目标的非接触式脉搏波采集系统及采集方法 |
| CN104284018A (zh) * | 2014-09-23 | 2015-01-14 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN104991464A (zh) * | 2015-05-08 | 2015-10-21 | 联想(北京)有限公司 | 一种信息处理方法及控制系统 |
| CN106127139A (zh) * | 2016-06-21 | 2016-11-16 | 东北大学 | 一种mooc课程中学生面部表情的动态识别方法 |
-
2017
- 2017-03-28 CN CN201710193334.9A patent/CN107145326B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957657A (zh) * | 2010-09-10 | 2011-01-26 | 李隆 | 一种基于互联网具有身心调节功能的音乐彩光键盘 |
| CN102566740A (zh) * | 2010-12-16 | 2012-07-11 | 富泰华工业（深圳）有限公司 | 具有情绪识别功能的电子装置及其输出控制方法 |
| CN102541259A (zh) * | 2011-12-26 | 2012-07-04 | 鸿富锦精密工业（深圳）有限公司 | 电子设备及其根据脸部表情提供心情服务的方法 |
| CN102750964A (zh) * | 2012-07-30 | 2012-10-24 | 西北工业大学 | 基于表情的背景音乐控制方法及装置 |
| CN103126655A (zh) * | 2013-03-14 | 2013-06-05 | 浙江大学 | 一种非约束目标的非接触式脉搏波采集系统及采集方法 |
| CN104284018A (zh) * | 2014-09-23 | 2015-01-14 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN104991464A (zh) * | 2015-05-08 | 2015-10-21 | 联想(北京)有限公司 | 一种信息处理方法及控制系统 |
| CN106127139A (zh) * | 2016-06-21 | 2016-11-16 | 东北大学 | 一种mooc课程中学生面部表情的动态识别方法 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678291A (zh) * | 2017-10-31 | 2018-02-09 | 珠海格力电器股份有限公司 | 室内环境的控制方法及装置 |
| US10560749B2 (en) | 2017-12-04 | 2020-02-11 | Boe Technology Group Co., Ltd. | Video playing method, video playing device, video playing system, apparatus and computer-readable storage medium |
| CN107948732A (zh) * | 2017-12-04 | 2018-04-20 | 京东方科技集团股份有限公司 | 视频的播放方法、视频播放装置及系统 |
| CN107948732B (zh) * | 2017-12-04 | 2020-12-01 | 京东方科技集团股份有限公司 | 视频的播放方法、视频播放装置及系统 |
| CN108197533A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨（深圳）科技有限公司 | 一种基于用户表情的人机交互方法、电子设备及存储介质 |
| GB2572317A (en) * | 2018-03-06 | 2019-10-02 | Skoogmusic Ltd | Control apparatus and method |
| CN108509660A (zh) * | 2018-05-29 | 2018-09-07 | 维沃移动通信有限公司 | 一种播放对象推荐方法及终端设备 |
| CN110555128A (zh) * | 2018-05-31 | 2019-12-10 | 蔚来汽车有限公司 | 一种音乐推荐播放方法以及车载资讯娱乐系统 |
| CN109285567A (zh) * | 2018-09-10 | 2019-01-29 | 深圳市宇墨科技有限公司 | 卫生间音乐播放控制方法及卫生间管理系统 |
| CN109413351A (zh) * | 2018-10-26 | 2019-03-01 | 平安科技（深圳）有限公司 | 一种音乐生成方法及装置 |
| WO2020103649A1 (zh) * | 2018-11-20 | 2020-05-28 | 青岛海尔洗衣机有限公司 | 家用电器输出视听信息的控制方法 |
| CN109683541A (zh) * | 2019-02-28 | 2019-04-26 | 河南经贸职业学院 | 一种基于物联网大数据的智能家居系统 |
| CN110047520A (zh) * | 2019-03-19 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 音频播放的控制方法、装置、电子设备和计算机可读存储介质 |
| CN110047520B (zh) * | 2019-03-19 | 2021-09-17 | 北京字节跳动网络技术有限公司 | 音频播放的控制方法、装置、电子设备和计算机可读存储介质 |
| CN110309349A (zh) * | 2019-04-08 | 2019-10-08 | 浙江工业大学 | 一种基于面部表情识别和循环神经网络的音乐生成方法 |
| CN110197677A (zh) * | 2019-05-16 | 2019-09-03 | 北京小米移动软件有限公司 | 一种播放控制方法、装置及播放设备 |
| CN112231499A (zh) * | 2019-07-15 | 2021-01-15 | 李姿慧 | 一种视频配乐智能系统 |
| CN111009241A (zh) * | 2019-07-29 | 2020-04-14 | 恒大智慧科技有限公司 | 一种基于智能门锁的音乐播放方法以及存储介质 |
| CN113221611A (zh) * | 2020-02-05 | 2021-08-06 | 丰田自动车株式会社 | 情绪推断装置、方法、程序以及车辆 |
| CN113221611B (zh) * | 2020-02-05 | 2024-03-15 | 丰田自动车株式会社 | 情绪推断装置、方法、程序以及车辆 |
| CN111416934A (zh) * | 2020-03-16 | 2020-07-14 | 南昌航空大学 | 一种基于功能性音乐干预的人脸表情采集方法及其系统 |
| CN111666444A (zh) * | 2020-06-02 | 2020-09-15 | 中国科学院计算技术研究所 | 基于人工智能的音频推送方法及系统、相关方法及设备 |
| CN112402044A (zh) * | 2020-11-16 | 2021-02-26 | 浙江万里学院 | 一种电动牙刷音视频儿童教育方法 |
| CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
| CN112837707A (zh) * | 2021-01-29 | 2021-05-25 | 苏州车萝卜汽车电子科技有限公司 | 多媒体播放控制方法、装置、设备和存储介质 |
| CN114117116A (zh) * | 2022-01-28 | 2022-03-01 | 中国传媒大学 | 基于生物特征交互的音乐解锁方法及电子设备 |
| CN114117116B (zh) * | 2022-01-28 | 2022-07-01 | 中国传媒大学 | 基于生物特征交互的音乐解锁方法及电子设备 |
| CN115756178A (zh) * | 2023-01-10 | 2023-03-07 | 深圳市心流科技有限公司 | 一种冥想应用程序的控制方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107145326B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145326A (zh) | 一种基于目标面部表情采集的音乐自动播放系统及方法 | |
| CN110598576B (zh) | 一种手语交互方法、装置及计算机介质 | |
| CN109976513B (zh) | 一种系统界面设计方法 | |
| US9639744B2 (en) | Method for controlling and requesting information from displaying multimedia | |
| CN105511600B (zh) | 一种基于混合现实的多媒体人机交互平台 | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作系统 | |
| CN102567716B (zh) | 一种人脸合成系统及实现方法 | |
| EP2384465A1 (en) | Method to control media with face detection and hot spot motion | |
| CN102271241A (zh) | 一种基于面部表情/动作识别的图像通信方法及系统 | |
| CN111047511A (zh) | 一种图像处理方法及电子设备 | |
| CN111783687A (zh) | 一种基于人工智能的教学直播方法 | |
| Zhang et al. | Multimodal fusion framework based on statistical attention and contrastive attention for sign language recognition | |
| CN113556603B (zh) | 调整视频播放效果的方法及装置、电子设备 | |
| CN113761966A (zh) | 一种动作自适应同步方法及电子设备 | |
| CN104754112A (zh) | 用户信息获取方法及移动终端 | |
| KR20220127568A (ko) | 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치 | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| TWM438671U (en) | Hand gesture manipulation electronic apparatus control system | |
| CN112149599B (zh) | 表情追踪方法、装置、存储介质和电子设备 | |
| CN111312363B (zh) | 一种基于虚拟现实的双手协调性增强系统 | |
| Wang et al. | EXG wearable human-machine interface for natural multimodal interaction in VR environment | |
| CN103136541B (zh) | 基于深度摄像头的双手三维非接触式动态手势识别方法 | |
| CN108255308A (zh) | 一种基于虚拟人的手势交互方法及系统 | |
| CN207218881U (zh) | 基于异构嵌入式平台的眼动追踪系统 | |
| Böck | Recognition of human movement patterns during a human-agent interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |