CN110287766A - 一种基于人脸识别自适应调节方法、系统和可读存储介质 - Google Patents
一种基于人脸识别自适应调节方法、系统和可读存储介质 Download PDFInfo
- Publication number
- CN110287766A CN110287766A CN201910371003.9A CN201910371003A CN110287766A CN 110287766 A CN110287766 A CN 110287766A CN 201910371003 A CN201910371003 A CN 201910371003A CN 110287766 A CN110287766 A CN 110287766A
- Authority
- CN
- China
- Prior art keywords
- user
- mood
- light
- emotion
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033228 biological regulation Effects 0.000 title claims abstract description 36
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000036651 mood Effects 0.000 claims abstract description 178
- 230000008451 emotion Effects 0.000 claims abstract description 111
- 230000001815 facial effect Effects 0.000 claims abstract description 41
- 230000001105 regulatory effect Effects 0.000 claims description 36
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 10
- 238000013019 agitation Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种生物识别技术，具体公开了一种基于人脸识别的自适应调节方法、系统和可读存储介质，其中方法包括：对用户进行人脸识别，获取用户的面部特征数据；通过所述面部特征数据识别出用户情绪；将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。通过本发明的方案，现场可以根据用户的情绪进行自适应的灯光和声音调节，提高了用户的体验感，并且使得现场的调节更加智能；通过训练的模型进行情绪识别，准确性更高，速度更快；通过对灯光和声音的线性调节，不容易出现灯光和声音的忽强忽弱，使得用户更不容易察觉，提高了用户的体验感和听觉视觉的舒适度。
Description
技术领域
本发明涉及一种生物识别技术，具体公开了一种基于人脸识别的自适应调节方法、系统和可读存储介质
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，并对检测到的人脸进行特征提取，与模板库中的人脸图像特征做比对，达到识别不同人身份的目的。包括：人脸图像的采集，人脸定位，人脸图像的预处理与特征提取，人脸识别。
面部表情识别在智能人机交互中有重要的意义，使机器人能够读懂人的情感，更具人性化。面部表情识别通过对静态的表情和动态变化的表情提取特征，并分析判断，获取人的情感信息，从而达到了解人的情绪，并基于表情属性满足人们的某些需要和提供某些服务。
通常在演出音乐厅等公共的演出场所，现场无法及时获取现场听众的表情和动作反馈，不当的灯光强度和音响大小都会影响到观众的情绪，降低观众的体验感。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于人脸识别的自适应调节方法，包括：
对用户进行人脸识别，获取用户的面部特征数据；
通过所述面部特征数据识别出用户情绪；
将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
本方案中，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取用户情绪，划分情绪类别；
判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
若达到了预设时长，则获取对应的灯光和/或声音模式信息。
本方案中，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
判断预定情绪类别下用户数量是否大于预设用户数量阈值；
若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
本方案中，所述通过所述面部特征数据识别出用户情绪，具体为：
将获取的用户的面部特征数据输入预设的情绪识别模型；
通过情绪识别模型进行情绪识别；
将满足条件的情绪类别输出，得到用户情绪。
本方案中，所述通过情绪识别模型进行情绪识别，包括：
将用户的面部特征与预设情绪识别模型中的情绪类别进行比对；
计算每个情绪类别的情绪概率值；
将所述的每个情绪类别的情绪概率值进行排序，选出最高的情绪概率值；
将所述最高的情绪概率值与所述的预设情绪值进行比较；
若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。
本方案中，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
本发明第二方面还提供了一种基于人脸识别的自适应调节系统，该系统包括：存储器、处理器及摄像装置，所述存储器中包括一种基于人脸识别的自适应调节方法程序，所述一种基于人脸识别的自适应调节方法程序被所述处理器执行时实现如下步骤：
对用户进行人脸识别，获取用户的面部特征数据；
通过所述面部特征数据识别出用户情绪；
将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
本方案中，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取用户情绪，划分情绪类别；
判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
若达到了预设时长，则获取对应的灯光和/或声音模式信息；或
获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
判断预定情绪类别下用户数量是否大于预设用户数量阈值；
若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
本方案中，所述通过所述面部特征数据识别出用户情绪，具体为：
将获取的用户的面部特征数据输入预设的情绪识别模型；
通过情绪识别模型进行情绪识别；
将满足条件的情绪类别输出，得到用户情绪。
本方案中，所述通过情绪识别模型进行情绪识别，包括：
将用户的面部特征与预设情绪识别模型中的情绪类别进行比对；
计算每个情绪类别的情绪概率值；
将所述的每个情绪类别的情绪概率值进行排序，选出最高的情绪概率值；
将所述最高的情绪概率值与所述的预设情绪值进行比较；
若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。
本方案中，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
本发明第三方面还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于人脸识别的自适应调节方法程序，所述基于人脸识别的自适应调节方法程序被处理器执行时，实现如上述任一所述的基于人脸识别的自适应调节方法的步骤。
通过本发明的基于人脸识别的自适应调节方案，现场可以根据用户的情绪进行自适应的灯光和声音调节，提高了用户的体验感，并且使得现场的调节更加智能。本发明通过训练的模型进行情绪识别，准确性更高，速度更快，可以实时的获取用户的情绪变化；另外，通过对灯光和声音的线性调节，不容易出现灯光和声音的忽强忽弱，使得用户更不容易察觉，提高了用户的体验感和听觉视觉的舒适度。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明基于人脸识别的自适应调节方法的流程图；
图2示出了本发明获取模式信息方法的流程图；
图3示出了本发明获取模式信息方法的流程图；
图4示出了本发明情绪计算方法的流程图；
图5示出了本发明基于人脸识别的自适应调节系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明基于人脸识别的自适应调节方法的流程图。
如图1所示，本发明公开了一种基于人脸识别的自适应调节方法，包括：
S102，对用户进行人脸识别，获取用户的面部特征数据；
S104，通过所述面部特征数据识别出用户情绪；
S106，将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
S108，根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
需要说明的是，进行现场通过摄像装置对用户情绪的采集和判断，所述摄像装置可以进行视频和图像的采集，可以为摄像机、照相机、手机或其他采集图像数据的装置。在进行人脸识别的时候，可以实时采集，也可以间隔预定的时长进行采集。例如，可以设定预定的时间间隔为30秒，则摄像装置会每次间隔30秒采集一次图像数据，然后将采集的图像数据进行人脸识别，获取面部特征数据。其中，所述的情绪为高兴、惊讶、愤怒、恐惧、厌恶和悲伤等。
具体的，面部特征数据为眼睛参数值、眉毛参数值、鼻子参数值、嘴唇参数值和下巴参数值中的至少一项。
需要说明的是，在获取了用户的情绪之后，将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息。再控制现场的灯光或音响进行调节，以增加用户的感受。其中，灯光调节可以是加强或减弱灯光强度，又或者是改变照射的方向和角度，又或者是改变灯光照射的区域范围等。声音调节可以是加强或减弱灯光强度，又或者是改变声响的频率等。本发明并不限制灯光和声音调节的范围和模式，任何进行灯光和声音的调节都将落入本发明的保护范围中。
图2示出了本发明获取模式信息方法的流程图，如图2所示，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
S202，获取用户情绪，划分情绪类别；
S204，判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
S206，若达到了预设时长，则获取对应的灯光和/或声音模式信息。
需要说明的是在获取了用户的情绪情况时，需要划分情绪类别，确定用户的情绪是愉悦还是烦躁等情绪，每个情绪类别中对应有灯光和/或声音模式信息。例如，烦躁情绪对应有一组灯光和声音模式的调节信息；愉悦情绪对应有一组灯光和声音模式的调节信息；惊讶情绪对应有一组灯光和声音模式的调节信息。并且通过判断用户情绪的持续时间确定用户目前的状态，是一直烦躁，还是之前烦躁现在愉悦等状态。其中预设时长为系统预先设置的时间，可以选择2分钟、5分钟等时间范围。优选的，选择2分钟作为预设时长。例如，在判断用户的情绪为烦躁时，检测到已经持续了2分钟，则将获取对应的灯光和/或声音模式信息，去改变灯光和声音。
图3示出了本发明获取模式信息方法的流程图，如图3所示，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
S302，获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
S304，判断预定情绪类别下用户数量是否大于预设用户数量阈值；
S306，若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
需要说明的是，为了提高用户情绪获取的速率，并且保证全场观众情绪准确性情况下，可以选择小的样本进行判断，也就是说，选取一个固定区域的用户进行情绪的判断。优选的，预设区域范围设置在观众席前面的区域。在进行情绪判断时，通过获取预设区域范围内每个用户的情绪，进行统计，得到每个情绪类别下的用户数量。并且判断判断预定情绪类别下用户数量是否大于预设用户数量阈值。若大于预设用户数量阈值，则能反映出全场用户的情绪，获取对应的灯光和/或声音模式信息，进行声音和灯光的调节。所述预设用户数量的阈值由管理人员预先设定。优选的，设置为预设区域范围内所在用户数量的百分之70-80。例如，预设区域内的用户为100名，则预设用户数量的阈值为70-80。
根据本发明实施例，所述通过所述面部特征数据识别出用户情绪，具体为：
将获取的用户的面部特征数据输入预设的情绪识别模型；
通过情绪识别模型进行情绪识别；
将满足条件的情绪类别输出，得到用户情绪。
需要说明的是预设的情绪识别模型为预先设置的，通过大量的图像数据进行训练得到。可通过情绪识别模型进行情绪的识别，将满足条件的情绪类别输出，得到用户情绪。训练模型的方法为现有技术，本发明不再一一赘述。
图4示出了本发明情绪计算方法的流程图，如图4所示，所述通过情绪识别模型进行情绪识别，包括：
S402，将用户的面部特征与预设情绪识别模型中的情绪类别进行比对；
S404，计算每个情绪类别的情绪概率值；
S406，将所述的每个情绪类别的情绪概率值进行排序，选出最高的情绪概率值；
S408，将所述最高的情绪概率值与所述的预设情绪值进行比较；
S410，若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。
需要说明的是，将用户的面部特征与预设情绪识别模型中的情绪类别进行比对是为了得到用户的情绪在情绪识别模型中每个情绪类别对应的概率。例如，在情绪识别模型中有7个情绪类别，则计算用户的面部特征在这7个情绪类别中的概率。然后将得到的7个概率值进行排序，按照从高到底的顺序进行排序，选出最高的情绪概率值，为郁闷情绪值，数值为0.9。将所述最高的情绪概率值与所述的预设情绪值进行比较，其中所述预设情绪值为管理员在后台预设的。优选的，所述预设情绪值为0.8。若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。最高的郁闷情绪概率值0.9大于0.8，则判定为用户的情绪为郁闷。通过此步骤可以更好的确认用户的情绪，使得判断用户情绪的准确率更高。
根据本发明实施例，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
需要说明的是，在确定了需要调节的灯光或者声音模式后，需要获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值。例如，灯光当前的强度为80，要调节灯光强度至120，则其差值为40。确定了差值后，则需要确定调节的时间，用以判断多久完成灯光和声音的调节。调节的时间可以是后台管理员自行设置的，也可以是每个情绪模式下对应的预设时长。例如，调节的时间为10秒。确定了调节时间之后，则要计算单位时间内的调节值。其单位时间调节值＝调节差值/调节时间。例如，调节差值为40，调节时间为10秒，则单位时间调节值为40/10＝4，也就是说每秒要调节的强度为4。最后根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。通过线性的方式调节灯光和声音，用户不易察觉，不会造成声音和灯光忽强忽弱的效果，提高了用户体验感。
图5示出了本发明基于人脸识别的自适应调节系统的框图。
如图5所示，本发明第二方面还提供了一种基于人脸识别的自适应调节系统，该系统包括：存储器51、处理器52及摄像装置53，所述存储器中包括一种基于人脸识别的自适应调节方法程序，所述一种基于人脸识别的自适应调节方法程序被所述处理器执行时实现如下步骤：
对用户进行人脸识别，获取用户的面部特征数据；
通过所述面部特征数据识别出用户情绪；
将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
需要说明的是，进行现场通过摄像装置对用户情绪的采集和判断，所述摄像装置可以进行视频和图像的采集，可以为摄像机、照相机、手机或其他采集图像数据的装置。在进行人脸识别的时候，可以实时采集，也可以间隔预定的时长进行采集。例如，可以设定预定的时间间隔为30秒，则摄像装置会每次间隔30秒采集一次图像数据，然后将采集的图像数据进行人脸识别，获取面部特征数据。其中，所述的情绪为高兴、惊讶、愤怒、恐惧、厌恶和悲伤等。
具体的，面部特征数据为眼睛参数值、眉毛参数值、鼻子参数值、嘴唇参数值和下巴参数值中的至少一项。
需要说明的是，在获取了用户的情绪之后，将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息。再控制现场的灯光或音响进行调节，以增加用户的感受。其中，灯光调节可以是加强或减弱灯光强度，又或者是改变照射的方向和角度，又或者是改变灯光照射的区域范围等。声音调节可以是加强或减弱灯光强度，又或者是改变声响的频率等。本发明并不限制灯光和声音调节的范围和模式，任何进行灯光和声音的调节都将落入本发明的保护范围中。
根据本发明实施例，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取用户情绪，划分情绪类别；
判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
若达到了预设时长，则获取对应的灯光和/或声音模式信息；或
获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
判断预定情绪类别下用户数量是否大于预设用户数量阈值；
若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
需要说明的是在获取了用户的情绪情况时，需要划分情绪类别，确定用户的情绪是愉悦还是烦躁等情绪，每个情绪类别中对应有灯光和/或声音模式信息。例如，烦躁情绪对应有一组灯光和声音模式的调节信息；愉悦情绪对应有一组灯光和声音模式的调节信息；惊讶情绪对应有一组灯光和声音模式的调节信息。并且通过判断用户情绪的持续时间确定用户目前的状态，是一直烦躁，还是之前烦躁现在愉悦等状态。其中预设时长为系统预先设置的时间，可以选择2分钟、5分钟等时间范围。优选的，选择2分钟作为预设时长。例如，在判断用户的情绪为烦躁时，检测到已经持续了2分钟，则将获取对应的灯光和/或声音模式信息，去改变灯光和声音。
需要说明的是，为了提高用户情绪获取的速率，并且保证全场观众情绪准确性情况下，可以选择小的样本进行判断，也就是说，选取一个固定区域的用户进行情绪的判断。优选的，预设区域范围设置在观众席前面的区域。在进行情绪判断时，通过获取预设区域范围内每个用户的情绪，进行统计，得到每个情绪类别下的用户数量。并且判断判断预定情绪类别下用户数量是否大于预设用户数量阈值。若大于预设用户数量阈值，则能反映出全场用户的情绪，获取对应的灯光和/或声音模式信息，进行声音和灯光的调节。所述预设用户数量的阈值由管理人员预先设定。优选的，设置为预设区域范围内所在用户数量的百分之70-80。例如，预设区域内的用户为100名，则预设用户数量的阈值为70-80。
根据本发明实施例，所述通过所述面部特征数据识别出用户情绪，具体为：
将获取的用户的面部特征数据输入预设的情绪识别模型；
通过情绪识别模型进行情绪识别；
将满足条件的情绪类别输出，得到用户情绪。
需要说明的是预设的情绪识别模型为预先设置的，通过大量的图像数据进行训练得到。可通过情绪识别模型进行情绪的识别，将满足条件的情绪类别输出，得到用户情绪。训练模型的方法为现有技术，本发明不再一一赘述。
根据本发明实施例，所述通过情绪识别模型进行情绪识别，包括：
将用户的面部特征与预设情绪识别模型中的情绪类别进行比对；
计算每个情绪类别的情绪概率值；
将所述的每个情绪类别的情绪概率值进行排序，选出最高的情绪概率值；
将所述最高的情绪概率值与所述的预设情绪值进行比较；
若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。
需要说明的是，将用户的面部特征与预设情绪识别模型中的情绪类别进行比对是为了得到用户的情绪在情绪识别模型中每个情绪类别对应的概率。例如，在情绪识别模型中有7个情绪类别，则计算用户的面部特征在这7个情绪类别中的概率。然后将得到的7个概率值进行排序，按照从高到底的顺序进行排序，选出最高的情绪概率值，为郁闷情绪值，数值为0.9。将所述最高的情绪概率值与所述的预设情绪值进行比较，其中所述预设情绪值为管理员在后台预设的。优选的，所述预设情绪值为0.8。若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。最高的郁闷情绪概率值0.9大于0.8，则判定为用户的情绪为郁闷。通过此步骤可以更好的确认用户的情绪，使得判断用户情绪的准确率更高。
根据本发明实施例，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
需要说明的是，在确定了需要调节的灯光或者声音模式后，需要获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值。例如，灯光当前的强度为80，要调节灯光强度至120，则其差值为40。确定了差值后，则需要确定调节的时间，用以判断多久完成灯光和声音的调节。调节的时间可以是后台管理员自行设置的，也可以是每个情绪模式下对应的预设时长。例如，调节的时间为10秒。确定了调节时间之后，则要计算单位时间内的调节值。其单位时间调节值＝调节差值/调节时间。例如，调节差值为40，调节时间为10秒，则单位时间调节值为40/10＝4，也就是说每秒要调节的强度为4。最后根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。通过线性的方式调节灯光和声音，用户不易察觉，不会造成声音和灯光忽强忽弱的效果，提高了用户体验感。
本发明第三方面还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于人脸识别的自适应调节方法程序，所述基于人脸识别的自适应调节方法程序被处理器执行时，实现如上述任一所述的基于人脸识别的自适应调节方法的步骤。
通过本发明的基于人脸识别的自适应调节方案，现场可以根据用户的情绪进行自适应的灯光和声音调节，提高了用户的体验感，并且使得现场的调节更加智能。本发明通过训练的模型进行情绪识别，准确性更高，速度更快，可以实时的获取用户的情绪变化；另外，通过对灯光和声音的线性调节，不容易出现灯光和声音的忽强忽弱，使得用户更不容易察觉，提高了用户的体验感和听觉视觉的舒适度。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于人脸识别的自适应调节方法，其特征在于，包括：
对用户进行人脸识别，获取用户的面部特征数据；
通过所述面部特征数据识别出用户情绪；
将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
2.根据权利要求1所述的一种基于人脸识别的自适应调节方法，其特征在于，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取用户情绪，划分情绪类别；
判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
若达到了预设时长，则获取对应的灯光和/或声音模式信息。
3.根据权利要求1所述的一种基于人脸识别的自适应调节方法，其特征在于，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
判断预定情绪类别下用户数量是否大于预设用户数量阈值；
若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
4.根据权利要求1所述的一种基于人脸识别的自适应调节方法，其特征在于，所述通过所述面部特征数据识别出用户情绪，具体为：
将获取的用户的面部特征数据输入预设的情绪识别模型；
通过情绪识别模型进行情绪识别；
将满足条件的情绪类别输出，得到用户情绪。
5.根据权利要求4所述的一种基于人脸识别的自适应调节方法，其特征在于，所述通过情绪识别模型进行情绪识别，包括：
将用户的面部特征与预设情绪识别模型中的情绪类别进行比对；
计算每个情绪类别的情绪概率值；
将所述的每个情绪类别的情绪概率值进行排序，选出最高的情绪概率值；
将所述最高的情绪概率值与所述的预设情绪值进行比较；
若所述最高的情绪概率值大于所述的预设情绪值，则确认所述最高的情绪概率值对应的情绪为用户情绪。
6.根据权利要求1所述的一种基于人脸识别的自适应调节方法，其特征在于，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
7.一种基于人脸识别的自适应调节系统，其特征在于，该系统包括：存储器、处理器及摄像装置，所述存储器中包括一种基于人脸识别的自适应调节方法程序，所述一种基于人脸识别的自适应调节方法程序被所述处理器执行时实现如下步骤：
对用户进行人脸识别，获取用户的面部特征数据；
通过所述面部特征数据识别出用户情绪；
将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息；
根据所述灯光和/或声音模式信息，对灯光和/或声音进行调节。
8.根据权利要求7所述的一种基于人脸识别的自适应调节系统，其特征在于，所述将所述用户情绪与预设的条件进行比对，获取对应的灯光和/或声音模式信息，包括：
获取用户情绪，划分情绪类别；
判断所述用户情绪的保持时间是否达到所属情绪类别的预设时长；
若达到了预设时长，则获取对应的灯光和/或声音模式信息；或
获取预设区域范围内每个用户的情绪，并进行统计，得到每个情绪类别下的用户数量；
判断预定情绪类别下用户数量是否大于预设用户数量阈值；
若大于预设用户数量阈值，则获取对应的灯光和/或声音模式信息。
9.根据权利要求7所述的一种基于人脸识别的自适应调节系统，其特征在于，所述对灯光和/或声音进行调节，包括：
获取模式信息，根据所述模式信息判断调节时间和调节状态值；
获取将灯光和/或声音的当前状态值，与所述调节状态值进行比较，获取调节差值；
通过所述调节差值和调节时间得到单位时间调节值；
根据所述单位时间调节值以线性方式对灯光和/或声音进行调节。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于人脸识别的自适应调节方法程序，所述基于人脸识别的自适应调节方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种基于人脸识别的自适应调节方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910371003.9A CN110287766B (zh) | 2019-05-06 | 一种基于人脸识别自适应调节方法、系统和可读存储介质 | |
| PCT/CN2019/103595 WO2020224126A1 (zh) | 2019-05-06 | 2019-08-30 | 一种基于人脸识别的自适应调节方法、系统和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910371003.9A CN110287766B (zh) | 2019-05-06 | 一种基于人脸识别自适应调节方法、系统和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110287766A true CN110287766A (zh) | 2019-09-27 |
| CN110287766B CN110287766B (zh) | 2024-07-05 |
Family
ID=
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111835984A (zh) * | 2020-07-24 | 2020-10-27 | 中国平安人寿保险股份有限公司 | 智能补光方法、装置、电子设备及存储介质 |
| CN113490302A (zh) * | 2021-07-19 | 2021-10-08 | 厦门狄耐克智能科技股份有限公司 | 一种基于体征数据进行灯光控制的方法、系统、设备 |
| CN113691900A (zh) * | 2020-04-20 | 2021-11-23 | 浙江德方智能科技有限公司 | 一种具有情感分析的灯光音响管理方法和系统 |
| CN114681258A (zh) * | 2020-12-25 | 2022-07-01 | 深圳Tcl新技术有限公司 | 一种自适应调整按摩模式的方法及按摩设备 |
| CN115016308A (zh) * | 2022-06-27 | 2022-09-06 | 江苏振宁半导体研究院有限公司 | 一种光强强度的可视化方法 |
| CN117593949A (zh) * | 2024-01-19 | 2024-02-23 | 成都金都超星天文设备有限公司 | 一种用于天象仪运行演示天象的控制方法、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104768309A (zh) * | 2015-04-23 | 2015-07-08 | 天脉聚源(北京)传媒科技有限公司 | 一种根据用户情绪调节灯光的方法及装置 |
| CN105050247A (zh) * | 2015-06-24 | 2015-11-11 | 河北工业大学 | 基于表情模型识别的灯光智能调节系统及其方法 |
| CN106804076A (zh) * | 2017-02-28 | 2017-06-06 | 深圳市喜悦智慧实验室有限公司 | 一种智能家居的照明系统 |
| CN107609480A (zh) * | 2017-08-10 | 2018-01-19 | 青岛萨纳斯新能源科技有限公司 | 一种基于实时视频检测表情的公共安全视频监测算法 |
| CN108875464A (zh) * | 2017-05-16 | 2018-11-23 | 南京农业大学 | 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法 |
| CN208353483U (zh) * | 2018-05-11 | 2019-01-08 | 广州镭威视安防科技有限公司 | 一种基于脸部情绪识别的智能安防系统 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104768309A (zh) * | 2015-04-23 | 2015-07-08 | 天脉聚源(北京)传媒科技有限公司 | 一种根据用户情绪调节灯光的方法及装置 |
| CN105050247A (zh) * | 2015-06-24 | 2015-11-11 | 河北工业大学 | 基于表情模型识别的灯光智能调节系统及其方法 |
| CN106804076A (zh) * | 2017-02-28 | 2017-06-06 | 深圳市喜悦智慧实验室有限公司 | 一种智能家居的照明系统 |
| CN108875464A (zh) * | 2017-05-16 | 2018-11-23 | 南京农业大学 | 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法 |
| CN107609480A (zh) * | 2017-08-10 | 2018-01-19 | 青岛萨纳斯新能源科技有限公司 | 一种基于实时视频检测表情的公共安全视频监测算法 |
| CN208353483U (zh) * | 2018-05-11 | 2019-01-08 | 广州镭威视安防科技有限公司 | 一种基于脸部情绪识别的智能安防系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691900A (zh) * | 2020-04-20 | 2021-11-23 | 浙江德方智能科技有限公司 | 一种具有情感分析的灯光音响管理方法和系统 |
| CN113691900B (zh) * | 2020-04-20 | 2024-04-30 | 浙江德方智能科技有限公司 | 一种具有情感分析的灯光音响管理方法和系统 |
| CN111835984A (zh) * | 2020-07-24 | 2020-10-27 | 中国平安人寿保险股份有限公司 | 智能补光方法、装置、电子设备及存储介质 |
| CN114681258A (zh) * | 2020-12-25 | 2022-07-01 | 深圳Tcl新技术有限公司 | 一种自适应调整按摩模式的方法及按摩设备 |
| CN114681258B (zh) * | 2020-12-25 | 2024-04-30 | 深圳Tcl新技术有限公司 | 一种自适应调整按摩模式的方法及按摩设备 |
| CN113490302A (zh) * | 2021-07-19 | 2021-10-08 | 厦门狄耐克智能科技股份有限公司 | 一种基于体征数据进行灯光控制的方法、系统、设备 |
| CN115016308A (zh) * | 2022-06-27 | 2022-09-06 | 江苏振宁半导体研究院有限公司 | 一种光强强度的可视化方法 |
| CN115016308B (zh) * | 2022-06-27 | 2023-10-13 | 江苏振宁半导体研究院有限公司 | 一种光强强度的可视化方法 |
| CN117593949A (zh) * | 2024-01-19 | 2024-02-23 | 成都金都超星天文设备有限公司 | 一种用于天象仪运行演示天象的控制方法、设备及介质 |
| CN117593949B (zh) * | 2024-01-19 | 2024-03-29 | 成都金都超星天文设备有限公司 | 一种用于天象仪运行演示天象的控制方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020224126A1 (zh) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105074822B (zh) | 用于音频分类和处理的装置和方法 | |
| US20200005781A1 (en) | Human-machine interaction processing method and apparatus thereof | |
| TWI681315B (zh) | 數據發送系統及其方法 | |
| CN103229174B (zh) | 显示控制装置、集成电路以及显示控制方法 | |
| CN110171271A (zh) | 一种汽车香氛控制方法及装置 | |
| US10789972B2 (en) | Apparatus for generating relations between feature amounts of audio and scene types and method therefor | |
| CN108153158A (zh) | 家居场景的切换方法、装置、存储介质及服务器 | |
| KR20090092839A (ko) | ２ｄ 비디오를 ３ｄ 비디오로 변환하기 위한 시스템 및 방법 | |
| WO2015198716A1 (ja) | 情報処理装置及び情報処理方法並びにプログラム | |
| CN109597313A (zh) | 场景切换方法及装置 | |
| Da Silva et al. | Image complexity measure based on visual attention | |
| KR20230027252A (ko) | 차량 캐빈에서의 음성 명령 제어 방법 및 관련 디바이스 | |
| CN109429416A (zh) | 用于多用户场景的照明控制方法、装置及系统 | |
| CN109891405A (zh) | 基于用户装置的消费模式来修改视频内容在用户装置上的呈现的方法、系统和介质 | |
| CN111447124B (zh) | 基于生物特征识别的智能家居控制方法及智能控制设备 | |
| WO2020224126A1 (zh) | 一种基于人脸识别的自适应调节方法、系统和可读存储介质 | |
| CN109429415A (zh) | 照明控制方法、装置及系统 | |
| CN110336892A (zh) | 一种多设备协作方法、装置 | |
| CN111081244B (zh) | 一种语音交互方法和装置 | |
| CN109273002A (zh) | 车辆配置方法、系统、车机以及车辆 | |
| CN109903748A (zh) | 一种基于自定义语音库的语音合成方法及装置 | |
| JP5626221B2 (ja) | 音響画像区間分類装置および方法 | |
| KR20130001635A (ko) | 깊이 맵 생성 방법 및 장치 | |
| CN109976703B (zh) | 指引说明方法、计算机可读存储介质和烹饪设备 | |
| CN116939300A (zh) | 基于感知分析的智能终端服务调整处理方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |