CN116682159B - 一种立体音响自动识别方法 - Google Patents
一种立体音响自动识别方法 Download PDFInfo
- Publication number
- CN116682159B CN116682159B CN202310670180.3A CN202310670180A CN116682159B CN 116682159 B CN116682159 B CN 116682159B CN 202310670180 A CN202310670180 A CN 202310670180A CN 116682159 B CN116682159 B CN 116682159B
- Authority
- CN
- China
- Prior art keywords
- emotion
- evaluation value
- user
- emotion evaluation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008451 emotion Effects 0.000 claims abstract description 265
- 238000011156 evaluation Methods 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000007405 data analysis Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 210000001747 pupil Anatomy 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 22
- 210000004709 eyebrow Anatomy 0.000 claims description 16
- 238000005315 distribution function Methods 0.000 claims description 9
- 230000008909 emotion recognition Effects 0.000 description 48
- 230000008859 change Effects 0.000 description 22
- 230000002996 emotional effect Effects 0.000 description 15
- 230000001815 facial effect Effects 0.000 description 14
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 238000004445 quantitative analysis Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102220203103 rs1057521344 Human genes 0.000 description 1
- 102220295519 rs779762640 Human genes 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及立体音响领域，尤其涉及一种立体音响自动识别方法，包括步骤S1、数据采集模块录入用户自然状态的面部信息，对于采集到的面部信息的图像的预处理；步骤S2、指令接收模块接收识别指令；步骤S3、数据采集模块获取用户使用状态的面部信息；步骤S4、数据分析模块根据面部信息建立坐标系，确定特征点的坐标，根据特征点的坐标确定特征点之间的距离并计算特征点之间的距离差值；步骤S5、数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级；步骤S6、数据处理模块根据用户的情绪类型确定歌曲表单；克服了现有技术中识别准确性低，音乐播放的及时性及时性差的问题。
Description
技术领域
本发明涉及立体音响技术领域，尤其涉及一种立体音响自动识别方法。
背景技术
随着人们对生活品质的要求越来越高，音响设备等电子产品也被广泛使用。现有技术中，在使用音响设备时，往往需要用户根据自己的喜好、情绪状况来从曲库中手动搜索、筛选曲目进行播放，整个过程操作繁琐、刻板，不够智能化。
中国专利公开号：CN108846049A公开了一种音响设备控制方法及音响设备控制装置，包括：在检测到用户开启音响设备时，获取所述用户的面部图像；对所述用户的面部图像进行预处理，以得到目标面部图像；根据所述目标面部图像，确定所述用户的情绪类型；获取所述用户的情绪类型对应的目标歌曲表单；播放所述目标歌曲表单中的曲目；由此可见，所述一种音响设备控制方法及音响设备控制装置存在以下问题：
1、面部图像识别情绪类型的准确性可能受到光照、遮挡、表情模糊等因素的影响，导致识别错误，准确性低的问题。
2、用户的情绪可能会在短时间内发生变化，现有技术可能无法实时跟踪用户情绪的变化，从而影响音乐播放的及时性和准确性。
发明内容
为此，本发明提供一种立体音响自动识别方法，用以克服现有技术中准确性低及时性差的问题。
为实现上述目的，本发明提供一种立体音响自动识别方法，包括：
步骤S1、数据采集模块录入用户自然状态的面部信息，对于采集到的面部信息的图像的预处理；
步骤S2、指令接收模块接收识别指令；
步骤S3、数据采集模块获取用户使用状态的面部信息；
步骤S4、数据分析模块根据面部信息建立坐标系，确定特征点的坐标，根据特征点的坐标确定特征点之间的距离并计算特征点之间的距离差值；
步骤S5、数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级；
步骤S6、数据处理模块根据用户的情绪类型确定歌曲表单。
进一步地，在所述步骤S4中，当数据采集模块对用户自然状态和使用状态的面部信息采集完成时，数据分析模块根据采集的面部信息建立平面坐标系并确定特征点的坐标，根据特征点的坐标确定特征点之间的距离，包括：自然状态的左眉毛与右眉毛分别对应的特征点之间的第一距离Dxa1、自然状态的左眼与右眼分别对应的特征点之间的第二距离Dxb1、自然状态的左眉毛与左眼分别对应的特征点之间的距离与自然状态的右眉毛和右眼分别对应的特征点之间的距离的第一均值Dy1，使用状态的左眉毛与右眉毛分别对应的特征点之间的第三距离Dxa2、使用状态的左眼与右眼分别对应的特征点之间的第四距离Dxb2、使用状态的左眉毛与左眼分别对应的特征点之间的距离与使用状态的右眉毛和右眼分别对应的特征点之间的距离的第二均值Dy2。
进一步地，在所述步骤S4中，当数据分析模块根据采集的面部信息数据确定特征点之间的距离完成时，根据特征点之间的距离计算差值，设定第一差值Dxa=|Dxa1-Dxa2|，第二差值Dxb=|Dxb1-Dxb2|，第三差值Dy=|Dy1-Dy2|。
进一步地，在所述步骤S5中，当数据分析模块确定差值完成时，数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级为一级情绪，二级情绪，三级情绪。
进一步地，所述情绪评价值标准的确定方法为：针对单个情绪，选取大量明确属于该情绪的图片分别计算针对各图片中第一差值，第二差值，第三差值，得到针对该情绪的情绪评价值区间，多个情绪统计完成后选取相邻情绪评价值区间之间的临界值作为情绪评价值标准。
进一步地，在所述步骤S5中，当所述数据处理模块确定用户情绪等级为二级情绪时，根据用户瞳孔尺寸与预设瞳孔尺寸确定情绪评价值修正系数，从而调节情绪评价值，所述数据处理模块根据调节后的情绪评价值与预设情绪评价值的比对结果重新确定用户情绪等级。
进一步地，在所述步骤S5中，当所述数据处理模块确定用户情绪等级为三级情绪时，检索数据库，统计与当前评价值偏差最小的的历史预设周期内的情绪评价值被判定为不同情绪等级的次数的占比，根据当前情绪评价值与历史预设周期内的情绪评价值的偏差与预设偏差的比对结果确定以不同占比的判定结果作为当前情绪的判定结果。
进一步地，在所述步骤S5中，当用户体验了预设时长后，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数以及使用数据库确定情绪等级的次数之和与预设次数的比对结果确定情绪评价值标准的调整系数，从而确定调整后的情绪评价值标准。
进一步地，在所述步骤S5中，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数与使用数据库确定情绪等级的次数的比值与预设比值的比对结果确定情绪评价值标准的修正插值系数，从而确定修正后的情绪评价标准。
进一步地，在所述步骤S1中，数据采集模块对于采集到的面部信息的图像的预处理，包括：统计图像中每个像素值的出现次数，然后将统计结果归一化，得到每个像素值的概率分布，对直方图中的每个像素值，计算其对应的累积分布函数值，对图像中的每个像素，根据其灰度值找到对应的累积分布函数值，然后将累积分布函数值乘以图像的最大灰度级，得到新的像素值。将所有像素的值替换为新的像素值，完成直方图均衡化。
与现有技术相比，本发明的有益效果在于，本发明通过计算特征点之间的距离，可以将用户面部特征量化为数值，便于后续的数据分析和处理，通过计算自然状态和使用状态下特征点之间的距离，可以对比两种状态下的面部特征差异，从而分析用户在使用过程中的面部表情变化，根据用户在不同状态下的面部特征数据，可以为用户提供个性化的设置和服务，提高用户体验。
进一步地，本发明通过计算特征点之间的距离差值，可以更好地描述用户面部特征的变化。这有助于捕捉用户情绪状态的变化，从而提高情绪识别的准确性，计算差值而不是直接比较特征点之间的距离，可以降低计算复杂度，提高数据处理速度，这对于实时情绪识别和音乐推荐系统来说尤为重要，通过计算差值，可以减少因面部表情差异、角度变化等因素对情绪识别的影响，这有助于提高情绪识别的鲁棒性，使系统在不同环境和条件下都能保持较高的准确性。
进一步地，本发明通过计算情绪评价值Q，将用户的情绪状态量化为数值，便于后续的数据分析和处理；这样可以更直观、准确地了解用户在使用过程中的情绪变化；通过计算情绪评价值Q，并根据预设的情绪评价值标准判断用户的情绪等级，可以更准确地识别用户的情绪状态；这有助于提高立体音响自动识别方法的准确性，从而提高用户的听音乐体验；将用户的情绪状态量化为数值，可以更直观、准确地了解用户在使用过程中的情绪变化；这有助于后续的数据分析和处理，为音乐推荐提供依据；通过将用户的情绪状态量化为数值，便于后续的数据处理和分析，如根据用户的情绪等级确定歌曲表单等；这有助于实现对用户情绪状态的量化分析，为音乐推荐提供依据；同时，这种方法还可以为后续的用户研究和产品改进提供有价值的参考信息。
进一步地，本发明通过统计多个情绪的情绪评价值区间，并选取相邻情绪评价值区间之间的临界值作为情绪评价值标准，可以建立一个较为完善的情绪评价体系。这有助于实现对用户情绪状态的量化分析，为音乐推荐提供依据；这种方法可以针对不同类型的情绪进行统计和计算，从而得到各种情绪的情绪评价值区间和标准；这种方法具有较好的可扩展性，可以根据实际需求添加新的情绪类型和图片，以便更准确地确定情绪评价值标准。这有助于不断优化和完善情绪评价体系，提高情绪识别的准确性；通过这种方法确定的情绪评价值标准可以根据实际需求进行优化和调整，以满足不同用户和场景的需求。这有助于提高立体音响自动识别方法的灵活性和实用性。
进一步地，本发明通过引入瞳孔尺寸作为情绪识别的参考指标，可以更准确地识别用户的情绪；瞳孔尺寸与人的情绪状态有一定的关联，因此，结合瞳孔尺寸可以提高情绪识别的准确性；不同的人在同样的情绪状态下，瞳孔尺寸可能存在差异。通过设置预设瞳孔尺寸和情绪评价值修正系数，可以根据实际情况进行调整，实现个性化的情绪识别；根据调节后的情绪评价值与预设情绪评价值的比对结果重新确定用户情绪等级，可以更灵活地判断用户的情绪，提高情绪识别的灵活性；通过设置预设瞳孔尺寸和情绪评价值修正系数，可以根据不同场景和用户需求进行调整，使情绪识别方法具有更强的适应性。
进一步地，本发明通过分析历史预设周期内的情绪评价值数据，可以更准确地识别用户当前的情绪状态。这样可以提高情绪识别的准确性，从而提高情绪识别系统的整体性能；根据当前情绪评价值与历史预设周期内的情绪评价值的偏差与预设偏差的比对结果，可以动态地调整判定结果，使得情绪识别系统能够更好地适应用户情绪的变化；通过分析历史预设周期内的情绪评价值数据，可以发现用户情绪的个性化特征，从而实现个性化的情绪识别，提高用户体验；根据不同的偏差值，可以灵活地选择不同占比的判定结果作为当前情绪的判定结果，提高情绪识别的灵活性。
进一步地，本发明通过设置不同的预设次数和调整系数，可以根据用户体验的实际情况动态调整情绪评价值标准，使得情绪识别系统更具灵活性；根据用户在预设时长内的实际情绪变化情况，调整情绪评价值标准，实现个性化的情绪识别，从而提高用户体验；通过调整情绪评价值标准，情绪识别系统可以更好地适应用户情绪的变化，提高情绪识别的准确性和实用性；根据用户在预设时长内的实际情绪变化情况，调整情绪评价值标准，可以更准确地识别用户当前的情绪状态，从而提高情绪识别的准确性；通过动态调整情绪评价值标准，可以更好地满足用户的需求，提高用户体验；本领域技术人员可以根据具体情况对情绪评价值标准的调整系数进行调整，使得情绪识别方法具有更强的适应性。
进一步地，本发明通过设置不同的预设比值和修正插值系数，可以根据用户体验的实际情况动态调整情绪评价值标准，使得情绪识别系统具有更高的灵活性；调整情绪评价值标准，可以更准确地识别用户当前的情绪状态，从而提高情绪识别的准确性；通过动态调整情绪评价值标准，可以更好地满足用户的需求，提高用户体验；本领域技术人员可以根据具体情况对预设比值和修正插值系数进行调整，使得情绪识别方法具有更强的适应性。
进一步地，本发明通过将图像中的像素值重新分布，使得图像的灰度级别更加均匀，从而提高了图像的对比度；提高图像对比度后，图像中的细节信息更加明显，有利于后续的面部特征提取和情绪识别；直方图均衡化可以减小光照不均匀的影响，使得图像在不同光照条件下的表现更加稳定；预处理后的图像具有更好的对比度和细节信息，有利于提高情绪识别的准确性；直方图均衡化是一种自适应的图像增强方法，可以根据图像的实际情况进行调整，适应不同场景和光照条件；直方图均衡化算法相对简单，易于实现，计算量较小，适合实时处理。
附图说明
图1为本发明所述立体音响自动识别方法的流程图。
实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
请参阅图1所示，其为本发明实施例立体音响自动识别方法的流程图。
本发明实施例立体音响自动识别方法，包括：
步骤S1、数据采集模块录入用户自然状态的面部信息，对于采集到的面部信息的图像的预处理；
步骤S2、指令接收模块接收识别指令；
步骤S3、数据采集模块获取用户使用状态的面部信息；
步骤S4、数据分析模块根据面部信息建立坐标系，确定特征点的坐标，根据特征点的坐标确定特征点之间的距离并计算特征点之间的距离差值；
步骤S5、数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级；
步骤S6、数据处理模块根据用户的情绪类型确定歌曲表单；
具体而言，在所述步骤S4中，当数据采集模块对用户自然状态和使用状态的面部信息采集完成时，数据分析模块根据采集的面部信息建立平面坐标系并确定特征点的坐标，根据特征点的坐标确定特征点之间的距离，包括：自然状态的左眉毛与右眉毛分别对应的特征点之间的第一距离Dxa1、自然状态的左眼与右眼分别对应的特征点之间的第二距离Dxb1、自然状态的左眉毛与左眼分别对应的特征点之间的距离与自然状态的右眉毛和右眼分别对应的特征点之间的距离的第一均值Dy1，使用状态的左眉毛与右眉毛分别对应的特征点之间的第三距离Dxa2、使用状态的左眼与右眼分别对应的特征点之间的第四距离Dxb2、使用状态的左眉毛与左眼分别对应的特征点之间的距离与使用状态的右眉毛和右眼分别对应的特征点之间的距离的第二均值Dy2。
本发明实施例中以单个眉毛的中心点、单个眼睛的中心点为特征点。
本发明通过计算特征点之间的距离，可以将用户面部特征量化为数值，便于后续的数据分析和处理，通过计算自然状态和使用状态下特征点之间的距离，可以对比两种状态下的面部特征差异，从而分析用户在使用过程中的面部表情变化，根据用户在不同状态下的面部特征数据，可以为用户提供个性化的设置和服务，提高用户体验。
具体而言，在所述步骤S4中，当数据分析模块根据采集的面部信息数据确定特征点之间的距离完成时，根据特征点之间的距离计算差值，设定第一差值Dxa=|Dxa1-Dxa2|，第二差值Dxb=|Dxb1-Dxb2|，第三差值Dy=|Dy1-Dy2|。
本发明通过计算特征点之间的距离差值，可以更好地描述用户面部特征的变化。这有助于捕捉用户情绪状态的变化，从而提高情绪识别的准确性，计算差值而不是直接比较特征点之间的距离，可以降低计算复杂度，提高数据处理速度，这对于实时情绪识别和音乐推荐系统来说尤为重要，通过计算差值，可以减少因面部表情差异、角度变化等因素对情绪识别的影响，这有助于提高情绪识别的鲁棒性，使系统在不同环境和条件下都能保持较高的准确性。
具体而言，在所述步骤S5中，当数据分析模块确定差值完成时，数据处理模块根据所述差值计算情绪评价值Q，并根据情绪评价值与情绪评价值标准确定用户情绪等级，所述情绪评价值标准包括第一情绪评价值标准Q1和第二预设情绪评价值标准Q2，设定Q1≤Q2，情绪评价值Q=Dxa×Dxb×Dy，
若Q≤Q1，所述数据处理模块确定用户情绪等级为一级情绪；
若Q1＜Q≤Q2，所述数据处理模块确定用户情绪等级为二级情绪；
若Q＞Q2，所述数据处理模块确定用户情绪等级为三级情绪；
本发明通过计算情绪评价值Q，将用户的情绪状态量化为数值，便于后续的数据分析和处理；这样可以更直观、准确地了解用户在使用过程中的情绪变化；通过计算情绪评价值Q，并根据预设的情绪评价值标准判断用户的情绪等级，可以更准确地识别用户的情绪状态；这有助于提高立体音响自动识别方法的准确性，从而提高用户的听音乐体验；将用户的情绪状态量化为数值，可以更直观、准确地了解用户在使用过程中的情绪变化；这有助于后续的数据分析和处理，为音乐推荐提供依据；通过将用户的情绪状态量化为数值，便于后续的数据处理和分析，如根据用户的情绪等级确定歌曲表单等；这有助于实现对用户情绪状态的量化分析，为音乐推荐提供依据；同时，这种方法还可以为后续的用户研究和产品改进提供有价值的参考信息。
具体而言，所述情绪评价值标准的确定方法为：针对单个情绪，选取大量明确属于该情绪的图片分别计算针对各图片中第一差值，第二差值，第三差值，得到针对该情绪的情绪评价值区间，多个情绪统计完成后选取相邻情绪评价值区间之间的临界值作为情绪评价值标准。
本发明通过统计多个情绪的情绪评价值区间，并选取相邻情绪评价值区间之间的临界值作为情绪评价值标准，可以建立一个较为完善的情绪评价体系。这有助于实现对用户情绪状态的量化分析，为音乐推荐提供依据；这种方法可以针对不同类型的情绪进行统计和计算，从而得到各种情绪的情绪评价值区间和标准；这种方法具有较好的可扩展性，可以根据实际需求添加新的情绪类型和图片，以便更准确地确定情绪评价值标准。这有助于不断优化和完善情绪评价体系，提高情绪识别的准确性；通过这种方法确定的情绪评价值标准可以根据实际需求进行优化和调整，以满足不同用户和场景的需求。这有助于提高立体音响自动识别方法的灵活性和实用性。
具体而言，在所述步骤S5中，当所述数据处理模块确定用户情绪等级为二级情绪时，根据用户瞳孔尺寸R与预设瞳孔尺寸确定情绪评价值修正系数，其中，所述数据分析单元设有第一预设瞳孔尺寸R1和第二预设瞳孔尺寸R2，第一情绪评价值修正系数K1，第二情绪评价值修正系数K2，第三情绪评价值修正系数K3，设定R1≤R2，0.8＜K1＜K2＜K3＜1；
若R≤R1，所述数据处理模块将情绪评价值修正系数设置为K1；
若R1＜R≤R2，所述数据处理模块将情绪评价值修正系数设置为K2；
若R＞R2，所述数据处理模块将情绪评价值修正系数设置为K3；
若所述数据处理模块将情绪评价值修正系数设置为Kn时，设定n=1,2,3，所述数据处理模块将调节后的情绪评价值设置为Q0，设定Q0=Kn×Dxa×Dxb×Dy，所述数据处理模块根据调节后的情绪评价值与预设情绪评价值的比对结果重新确定用户情绪等级。
其中，第一预设瞳孔尺寸为3毫米，第二预设瞳孔尺寸为5毫米，第一情绪评价值修正系数为1.2，第二情绪评价值修正系数为1.0，第三情绪评价值修正系数为0.8，本领域技术人员可以根据具体情况对预设瞳孔尺寸，情绪评价值修正系数进行调整。
本发明通过引入瞳孔尺寸作为情绪识别的参考指标，可以更准确地识别用户的情绪；瞳孔尺寸与人的情绪状态有一定的关联，因此，结合瞳孔尺寸可以提高情绪识别的准确性；不同的人在同样的情绪状态下，瞳孔尺寸可能存在差异。通过设置预设瞳孔尺寸和情绪评价值修正系数，可以根据实际情况进行调整，实现个性化的情绪识别；根据调节后的情绪评价值与预设情绪评价值的比对结果重新确定用户情绪等级，可以更灵活地判断用户的情绪，提高情绪识别的灵活性；通过设置预设瞳孔尺寸和情绪评价值修正系数，可以根据不同场景和用户需求进行调整，使情绪识别方法具有更强的适应性。
具体而言，在所述步骤S5中，当所述数据处理模块确定用户情绪等级为三级情绪时，检索数据库，统计与当前评价值偏差最小的的历史预设周期内的情绪评价值被判定为不同情绪等级的次数的占比，根据当前情绪评价值与历史预设周期内的情绪评价值的偏差△Q与预设偏差的比对结果确定以不同占比的判定结果作为当前情绪的判定结果，所述预设偏差为第一预设偏差△Q1和第二预设偏差△Q2，所述不同占比有最高占比，第二占比，第三占比，且最高占比＜第二占比＜第三占比；
若△Q≤△Q1，所述数据处理模块确定以最高占比的判定结果作为当前情绪的判定结果；
若△Q1＜△Q≤△Q2，所述数据处理模块确定以第二占比的判定结果作为当前情绪的判定结果；
若△Q＞△Q2，所述数据处理模块确定以第三占比的判定结果作为当前情绪的判定结果；
其中，第一预设偏差为3，第二预设偏差为5，本领域技术人员可以根据具体情况对预设偏差进行调整。
本发明通过分析历史预设周期内的情绪评价值数据，可以更准确地识别用户当前的情绪状态。这样可以提高情绪识别的准确性，从而提高情绪识别系统的整体性能；根据当前情绪评价值与历史预设周期内的情绪评价值的偏差与预设偏差的比对结果，可以动态地调整判定结果，使得情绪识别系统能够更好地适应用户情绪的变化；通过分析历史预设周期内的情绪评价值数据，可以发现用户情绪的个性化特征，从而实现个性化的情绪识别，提高用户体验；根据不同的偏差值，可以灵活地选择不同占比的判定结果作为当前情绪的判定结果，提高情绪识别的灵活性。
具体而言，在所述步骤S5中，当用户体验了预设时长后，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数以及使用数据库确定情绪等级的次数之和H与预设次数的比对结果确定情绪评价值标准的调整系数，其中，预设次数有第一预设次数H1与第二预设次数H2，情绪评价值标准的调整系数有第一调整系数T1，第二调整系数T2，第三调整系数T3，设定H1＜H2，T1＜T2＜T3；
若H≤H1，所述数据处理模块确定情绪评价值标准的调整系数为T1；
若H1＜H≤H2，所述数据处理模块确定情绪评价值标准的调整系数为T2；
若H＞H2，所述数据处理模块确定情绪评价值标准的调整系数为T3；
若所述数据处理模块确定情绪评价值标准的调整系数为Tn时，n=1,2,3，所述数据处理模块确定调整后的第一情绪评价值标准Q10=Q1×Tn,调整后的第二情绪评价值标准Q20=Q2×Tn。
其中，第一调整系数为0.8，第二调整系数为1.0，第三调整系数为1.2，本领域技术人员可以根据具体情况对情绪评价值标准的调整系数进行调整。
本发明通过设置不同的预设次数和调整系数，可以根据用户体验的实际情况动态调整情绪评价值标准，使得情绪识别系统更具灵活性；根据用户在预设时长内的实际情绪变化情况，调整情绪评价值标准，实现个性化的情绪识别，从而提高用户体验；通过调整情绪评价值标准，情绪识别系统可以更好地适应用户情绪的变化，提高情绪识别的准确性和实用性；根据用户在预设时长内的实际情绪变化情况，调整情绪评价值标准，可以更准确地识别用户当前的情绪状态，从而提高情绪识别的准确性；通过动态调整情绪评价值标准，可以更好地满足用户的需求，提高用户体验；本领域技术人员可以根据具体情况对情绪评价值标准的调整系数进行调整，使得情绪识别方法具有更强的适应性。
具体而言，在所述步骤S5中，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数与使用数据库确定情绪等级的次数的比值B与预设比值的比对结果确定情绪评价值标准的修正插值系数，所述数据处理模块设有第一预设比值B1，第二预设比值B2，第一修正插值系数C1，第二修正插值系数C2，第三修正插值系数C3，
若B≤B1，所述数据处理模块确定修正插值系数为C1；
若B1＜B≤B2，所述数据处理模块确定修正插值系数为C2；
若B＞B2，所述数据处理模块确定修正插值系数为C3；
若所述数据处理模块确定修正插值系数为Cn时，设定n=1,2,3,所述数据处理模块将修正后的第一情绪评价标准设置为Q11=Q1-Cn（Q2-Q1）,第二情绪评价标准设置为Q21=Q2+Cn（Q2-Q1）
其中，第一预设比值为0.9，第二预设比值为1.1，第一修正插值系数为0.3，第二修正插值系数为0，第三修正插值系数为-0.3，本领域技术人员可以根据具体情况对预设比值，修正插值系数进行调整。
本发明通过设置不同的预设比值和修正插值系数，可以根据用户体验的实际情况动态调整情绪评价值标准，使得情绪识别系统具有更高的灵活性；调整情绪评价值标准，可以更准确地识别用户当前的情绪状态，从而提高情绪识别的准确性；通过动态调整情绪评价值标准，可以更好地满足用户的需求，提高用户体验；本领域技术人员可以根据具体情况对预设比值和修正插值系数进行调整，使得情绪识别方法具有更强的适应性。
具体而言，在所述步骤S1中，数据采集模块对于采集到的面部信息的图像的预处理，包括：
统计图像中每个像素值的出现次数，然后将统计结果归一化，得到每个像素值的概率分布，对直方图中的每个像素值，计算其对应的累积分布函数值，对图像中的每个像素，根据其灰度值找到对应的累积分布函数值，然后将累积分布函数值乘以图像的最大灰度级，得到新的像素值。将所有像素的值替换为新的像素值，完成直方图均衡化。
本发明通过将图像中的像素值重新分布，使得图像的灰度级别更加均匀，从而提高了图像的对比度；提高图像对比度后，图像中的细节信息更加明显，有利于后续的面部特征提取和情绪识别；直方图均衡化可以减小光照不均匀的影响，使得图像在不同光照条件下的表现更加稳定；预处理后的图像具有更好的对比度和细节信息，有利于提高情绪识别的准确性；直方图均衡化是一种自适应的图像增强方法，可以根据图像的实际情况进行调整，适应不同场景和光照条件；直方图均衡化算法相对简单，易于实现，计算量较小，适合实时处理。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种立体音响自动识别方法，其特征在于，包括：
步骤S1、数据采集模块录入用户自然状态的面部信息，对于采集到的面部信息的图像的预处理；
步骤S2、指令接收模块接收识别指令；
步骤S3、数据采集模块获取用户使用状态的面部信息；
步骤S4、数据分析模块根据面部信息建立坐标系，确定特征点的坐标，根据特征点的坐标确定特征点之间的距离并计算特征点之间的距离差值；
步骤S5、数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级；
步骤S6、数据处理模块根据用户的情绪类型确定歌曲表单，
在所述步骤S5中，当数据分析模块确定差值完成时，数据处理模块根据所述差值计算情绪评价值，并根据情绪评价值与情绪评价值标准确定用户情绪等级为一级情绪，二级情绪，三级情绪；
在所述步骤S5中，当所述数据处理模块确定用户情绪等级为二级情绪时，根据用户瞳孔尺寸与预设瞳孔尺寸确定情绪评价值修正系数，从而调节情绪评价值，所述数据处理模块根据调节后的情绪评价值与预设情绪评价值的比对结果重新确定用户情绪等级；
在所述步骤S5中，当所述数据处理模块确定用户情绪等级为三级情绪时，检索数据库，统计与当前评价值偏差最小的的历史预设周期内的情绪评价值被判定为不同情绪等级的次数的占比，根据当前情绪评价值与历史预设周期内的情绪评价值的偏差与预设偏差的比对结果确定以不同占比的判定结果作为当前情绪的判定结果；
在所述步骤S5中，当用户体验了预设时长后，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数以及使用数据库确定情绪等级的次数之和与预设次数的比对结果确定情绪评价值标准的调整系数，从而确定调整后的情绪评价值标准；
在所述步骤S5中，所述数据处理模块根据使用用户瞳孔尺寸修正情绪评价值的次数与使用数据库确定情绪等级的次数的比值与预设比值的比对结果确定情绪评价值标准的修正插值系数，从而确定修正后的情绪评价标准。
2.根据权利要求1所述的立体音响自动识别方法，其特征在于，在所述步骤S4中，当数据采集模块对用户自然状态和使用状态的面部信息采集完成时，数据分析模块根据采集的面部信息建立平面坐标系并确定特征点的坐标，根据特征点的坐标确定特征点之间的距离，包括：自然状态的左眉毛与右眉毛分别对应的特征点之间的第一距离Dxa1、自然状态的左眼与右眼分别对应的特征点之间的第二距离Dxb1、自然状态的左眉毛与左眼分别对应的特征点之间的距离与自然状态的右眉毛和右眼分别对应的特征点之间的距离的第一均值Dy1，使用状态的左眉毛与右眉毛分别对应的特征点之间的第三距离Dxa2、使用状态的左眼与右眼分别对应的特征点之间的第四距离Dxb2、使用状态的左眉毛与左眼分别对应的特征点之间的距离与使用状态的右眉毛和右眼分别对应的特征点之间的距离的第二均值Dy2。
3.根据权利要求2所述的立体音响自动识别方法，其特征在于，在所述步骤S4中，当数据分析模块根据采集的面部信息数据确定特征点之间的距离完成时，根据特征点之间的距离计算差值，设定第一差值Dxa=|Dxa1-Dxa2|，第二差值Dxb=|Dxb1-Dxb2|，第三差值Dy=|Dy1-Dy2|。
4.根据权利要求3所述的立体音响自动识别方法，其特征在于，所述情绪评价值标准的确定方法为：针对单个情绪，选取大量明确属于该情绪的图片分别计算针对各图片中第一差值，第二差值，第三差值，得到针对该情绪的情绪评价值区间，多个情绪统计完成后选取相邻情绪评价值区间之间的临界值作为情绪评价值标准。
5.根据权利要求1所述的立体音响自动识别方法，其特征在于，在所述步骤S1中，数据采集模块对于采集到的面部信息的图像的预处理，包括：统计图像中每个像素值的出现次数，然后将统计结果归一化，得到每个像素值的概率分布，对直方图中的每个像素值，计算其对应的累积分布函数值，对图像中的每个像素，根据其灰度值找到对应的累积分布函数值，然后将累积分布函数值乘以图像的最大灰度级，得到新的像素值，将所有像素的值替换为新的像素值，完成直方图均衡化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670180.3A CN116682159B (zh) | 2023-06-07 | 2023-06-07 | 一种立体音响自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670180.3A CN116682159B (zh) | 2023-06-07 | 2023-06-07 | 一种立体音响自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116682159A CN116682159A (zh) | 2023-09-01 |
| CN116682159B true CN116682159B (zh) | 2024-02-02 |
Family
ID=87788680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310670180.3A Active CN116682159B (zh) | 2023-06-07 | 2023-06-07 | 一种立体音响自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682159B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140028160A (ko) * | 2011-10-24 | 2014-03-10 | 건국대학교 산학협력단 | 감성 및 상황 정보 융합 기반의 확장된 협업 필터링을 이용한 음악추천 시스템 |
| CN108846049A (zh) * | 2018-05-30 | 2018-11-20 | 郑州易通众联电子科技有限公司 | 音响设备控制方法及音响设备控制装置 |
| CN110363154A (zh) * | 2019-07-17 | 2019-10-22 | 安徽航天信息有限公司 | 一种基于情绪识别的服务质量考评方法及系统 |
| CN110399836A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| KR20200055811A (ko) * | 2018-11-06 | 2020-05-22 | 숙명여자대학교산학협력단 | 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 |
| CN112784733A (zh) * | 2021-01-21 | 2021-05-11 | 敖客星云(北京)科技发展有限公司 | 一种基于线上教育的情绪识别方法、装置及电子设备 |
| CN114067185A (zh) * | 2021-11-16 | 2022-02-18 | 金陵科技学院 | 一种基于人脸表情识别的电影评价系统 |
| CN115294632A (zh) * | 2022-08-08 | 2022-11-04 | 深圳市中科网威科技有限公司 | 一种真假笑容辨别方法及系统 |
| CN115904075A (zh) * | 2022-11-28 | 2023-04-04 | 中国汽车技术研究中心有限公司 | 车辆配置改进方法、系统、设备和存储介质 |
-
2023
- 2023-06-07 CN CN202310670180.3A patent/CN116682159B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140028160A (ko) * | 2011-10-24 | 2014-03-10 | 건국대학교 산학협력단 | 감성 및 상황 정보 융합 기반의 확장된 협업 필터링을 이용한 음악추천 시스템 |
| CN108846049A (zh) * | 2018-05-30 | 2018-11-20 | 郑州易通众联电子科技有限公司 | 音响设备控制方法及音响设备控制装置 |
| KR20200055811A (ko) * | 2018-11-06 | 2020-05-22 | 숙명여자대학교산학협력단 | 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 |
| CN110363154A (zh) * | 2019-07-17 | 2019-10-22 | 安徽航天信息有限公司 | 一种基于情绪识别的服务质量考评方法及系统 |
| CN110399836A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN112784733A (zh) * | 2021-01-21 | 2021-05-11 | 敖客星云(北京)科技发展有限公司 | 一种基于线上教育的情绪识别方法、装置及电子设备 |
| CN114067185A (zh) * | 2021-11-16 | 2022-02-18 | 金陵科技学院 | 一种基于人脸表情识别的电影评价系统 |
| CN115294632A (zh) * | 2022-08-08 | 2022-11-04 | 深圳市中科网威科技有限公司 | 一种真假笑容辨别方法及系统 |
| CN115904075A (zh) * | 2022-11-28 | 2023-04-04 | 中国汽车技术研究中心有限公司 | 车辆配置改进方法、系统、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116682159A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871760B (zh) | 一种人脸定位方法、装置、终端设备及存储介质 | |
| US5953440A (en) | Method of measuring the focus of close-up images of eyes | |
| US11113511B2 (en) | Makeup evaluation system and operating method thereof | |
| US8331628B2 (en) | Vision assistance using mobile telephone | |
| US8254644B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
| CN106993188B (zh) | 一种基于多人脸视频显著性的hevc压缩编码方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| CN117456428B (zh) | 基于视频图像特征分析的垃圾投放行为检测方法 | |
| CN112185191B (zh) | 一种智能数字化教学模型 | |
| US20210235166A1 (en) | Commercial section detection device, commercial section detection method, and program | |
| CN112132797B (zh) | 一种短视频质量筛选方法 | |
| CN107563278B (zh) | 一种基于肤色检测的快速眼唇定位方法和系统 | |
| CN116682159B (zh) | 一种立体音响自动识别方法 | |
| CN117152092B (zh) | 全参考图像评价方法、装置、电子设备和计算机存储介质 | |
| CN109948564B (zh) | 一种基于有监督深度学习的人脸图像质量分类和评估方法 | |
| CN115272737B (zh) | 一种橡胶圈流痕识别方法 | |
| CN115760816A (zh) | 一种人脸图像光照质量的确定方法、装置和存储介质 | |
| CN115984973A (zh) | 一种用于防偷窥屏幕的人体异常行为监测方法 | |
| CN114693553A (zh) | 一种移动智能终端图像处理方法及系统 | |
| CN115984178A (zh) | 伪造图像检测方法、电子设备和计算机可读存储介质 | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| CN114358131A (zh) | 数码相框智能照片优化处理系统 | |
| CN114255193A (zh) | 一种板卡图像增强方法、装置、设备及可读存储介质 | |
| US10977482B2 (en) | Object attribution analyzing method and related object attribution analyzing device | |
| CN112818950A (zh) | 一种基于生成对抗网络和时间卷积网络的唇语识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |