CN112418572A - 一种基于表情分析技术的会议质量评估系统及方法 - Google Patents
一种基于表情分析技术的会议质量评估系统及方法 Download PDFInfo
- Publication number
- CN112418572A CN112418572A CN201910769230.7A CN201910769230A CN112418572A CN 112418572 A CN112418572 A CN 112418572A CN 201910769230 A CN201910769230 A CN 201910769230A CN 112418572 A CN112418572 A CN 112418572A
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- expression
- facial
- conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种基于表情分析技术的会议质量评估系统及方法，涉及商业信息化领域，所述会议质量评估系统包括至少一个图像采集单元、数据计算单元以及结果显示单元；所述图像采集单元用于采集参会人员的面部表情图像数据；所述数据计算单元用于将面部图像数据转化为对应的情感数据，并且根据情感数据获取参会人员的综合投入指数，形成会议质量评估结果；所述结果显示单元所述结果显示模块用于对会议质量评估结果进行可视化展示。本发明实现了面部图像数据采集，并建立面部图像数据集与情感数据的关联，从而通过情感指标量化会议信息接收程度，有助于实现公司管理层对会议效果、会议效率、员工投入度以及企业文化进行评测和优化。
Description
技术领域
本发明涉及商业信息化领域，特别是涉及一种基于表情分析技术的会议质量评估系统及方法。
背景技术
现有会议组织管理中，通常只能对会议出勤率、会议发言、会议纪要等客观数据进行收集整理，相关技术也主要集中在过程数据便捷性，比如自动打卡、语音实时记录、信息自动化归档等；但是客观数据记录并不能代表一个会议的质量好坏，因为衡量一个会议质量高低的本质还是信息传递的有效性，而信息传递有效性主观上同参会人的注意力集中度、思维活跃度、情绪积极等生理反应相关。
因此怎样将参会人在会议期间的脸部表情情况进行收集整理，将面部表情变化按照特定算法映射成投入度指数，从而量化为数据指标，最终得到会议质量有效评估指标数据，是本发明所要解决的技术问题，通过有效的评估指标数据有助于实现公司管理层对会议效果、会议效率、员工投入度以及企业文化进行评测和优化。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于表情分析技术的会议质量评估系统及方法，实现了面部图像数据采集，并建立表情图像数据集与情感数据的关联，从而通过情感指标量化会议信息接收程度，有助于实现公司管理层对会议效果、会议效率、员工投入度以及企业文化进行评测和优化。
本发明提供一种基于表情分析技术的会议质量评估系统，所述会议质量评估系统包括至少一个图像采集单元、数据计算单元以及结果显示单元；
所述图像采集单元用于周期性采集参会人员的面部图像数据；
所述数据计算单元首先对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；然后结合情感数据获取参会人员的综合投入指数；最后根据所有参会人员的综合投入指数形成会议评估结果；
所述结果显示单元用于对会议质量评估结果进行可视化展示。
进一步的，所述数据计算单元包括数据连接模块、表情识别模块、投入度计算模块以及图像显示模块；
所述数据连接模块用于周期性接收参会人员的面部图像数据；
所述表情识别模块用于对面部图像数据进行特征识别，通过人脸运动与表情的关系，检测特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；
所述投入度计算模块用于将参会人员的情感数据分别整合成时间序列数据，结合情感数据的权重指数计算参会人员的投入度指数，并将所有参会人员的投入度指数整合，形成会议质量评估结果；
所述图像显示模块用于将会议质量评估结果传输到结果显示单元。
进一步的，所述数据计算单元还包括图像消重模块，所述图像消重模块用于对不同图像采集单元采集的同一个参会人员的面部图像数据进行整合过滤。
进一步的，所述情感数据包括正向情感数据和负向情感数据。
进一步的，所述表情图像数据和对应的情感数据是预先关联设置的。
一种基于表情分析技术的会议质量评估方法，所述方法包括以下步骤：
步骤一：周期性采集参会人员的面部图像数据；
步骤二：对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且参照表情图像数据和情感数据预先关联设置，将表情图像数据转化为对应的情感数据；
步骤三：将参会人员的情感数据分别整合成时间序列数据，结合情感数据的权重指数计算参会人员的投入度指数；
步骤四：将所有参会人员的投入度指数整合，形成会议质量评估结果并显示。
进一步的，在对面部图像数据进行面部特征识别时，需要对同一个参会人员的面部图像数据进行整合过滤。
如上所述，本发明的一种基于表情分析技术的会议质量评估系统及方法，具有以下有益效果：本发明将参会人在会议期间的脸部表情情况进行收集整理，将面部表情变化映射成投入度指数，从而量化为数据指标，最终得到会议质量有效评估指标数据，通过有效的评估指标数据有助于实现公司管理层对会议效果、会议效率、员工投入度以及企业文化进行评测和优化。
附图说明
图1显示为本发明实施例中公开的会议质量评估系统的部署构架图。
图2显示为本发明实施例中公开的会议质量评估系统的功能模块框图。
图3显示为本发明实施例中公开的会议质量评估方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种基于表情分析技术的会议质量评估系统，所述会议质量评估系统包括至少一个图像采集单元、数据计算单元以及结果显示单元；
其中，所述图像采集单元可以为摄像机，数据计算单元可以为设置于计算机主机上的软件系统，结果显示单元可以为显示屏。
所述图像采集单元用于周期性采集参会人员的面部图像数据；
所述数据计算单元首先对面部图像数据进行特征识别，通过人脸运动与表情的关系，检测特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；然后结合情感数据获取参会人员的综合投入指数；最后根据所有参会人员的综合投入指数形成会议评估结果；
其中，所述表情图像数据和对应的情感数据是预先关联设置的；所述情感数据包括正向情感数据和负向情感数据。
所述结果显示单元用于对会议质量评估结果进行可视化展示。
如图2所示，所述数据计算单元包括数据连接模块、表情识别模块、图像消重模块、投入度计算模块以及图像显示模块；
所述数据连接模块用于周期性接收参会人员的面部图像数据；
所述图像消重模块用于对不同图像采集单元采集的同一个参会人员的面部图像数据进行整合过滤，避免一个人多条数据信息；
所述表情识别模块用于对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；
其中，表情识别模块是基于表情分析技术实现的，首先对面部图像数据进行面部特征识别，检测出眼睛、嘴巴等面部特征，然后根据人脸运动与表情的关系，检测眼睛、嘴巴等面部特征细微变化，得到表情图像数据，例如瘪嘴、微微张嘴、发言、两侧嘴角倾斜向上、两侧嘴角倾斜向下等，并且将表情图像数据转化为对应的情感数据。
所述投入度计算模块用于将参会人员的情感数据分别整合成时间序列数据，结合情感数据的权重指数计算参会人员的投入度指数，并将所有参会人员的投入度指数整合，形成会议质量评估结果。所述图像显示模块用于将会议质量评估结果传输到结果显示单元。
上述会议质量评估系统分别对每一个参会人员进行面部图像采集，并通过将面部图像数据转化为对应的情感数据，得到参会人员的综合投入指数；最后结合所有参会人员的综合投入度指数形成会议质量评估结果；本发明提供一种基于表情分析技术的会议质量评估方法，所述会议质量评估方法是基于上述会议质量评估系统实现的，所述方法包括以下步骤：
进行会议质量评估之前：
1.将情感数据预先分为正向情感数据和负向情感数据；
2.将表情图像数据和情感数据预先关联设置；即将典型表情图像和正向情感和负向情感进行关联。如表一所示：
| 表情 | 情感类型 |
| 闭眼10s以上 | 负向情感 |
| 轻微抬眼皮 | 正向情感 |
| 两侧嘴角倾斜向上 | 正向情感 |
| 两侧嘴角倾斜向下 | 负向情感 |
| 皱眉 | 负向情感 |
| 低头 | 负向情感 |
| 皱鼻子 | 负向情感 |
| 瘪嘴 | 负向情感 |
| 微微张嘴 | 正向情感 |
| 发言 | 正向情感 |
表一
进行会议评估时：如图3所示，
1.通过图像采集单元周期性采集参会人员在参会期间的面部图像数据。
2.通过数据连接模块对图像采集单元采集的面部图像数据进行收集。
3.通过图像消重模块将不同图像采集单元采集的同一个参会人员的面部图像数据进行整合过滤，避免出现一个人多条信息的情况。
4.通过表情识别模块对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，参照表情图像数据和情感数据预先关联设置，将表情图像数据转换为对应的情感数据。
5.通过投入度计算模块将单个参会人员的情感数据整合成时间序列数据，结合情感数据的权重指数计算单个参会人员的投入度指数，并将所有参会人员的投入度指数整合，形成会议质量评估结果；
其中，权重指数前期进行人为预设，后期通过输入机器学习模块进行动态调整，随着学习样本增加权重指数会进行动态调整。
6.通过图像显示模块用于将会议质量评估结果传输到结果显示单元。
7.通过结果显示单元对会议质量评估结果进行可视化展示。
综上所述，本发明实现了面部图像数据采集，并建立面部图像数据集与情感数据的关联，从而通过情感指标量化会议信息接收程度，有助于实现公司管理层对会议效果、会议效率、员工投入度以及企业文化进行评测和优化。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种基于表情分析技术的会议质量评估系统，其特征在于：所述会议质量评估系统包括至少一个图像采集单元、数据计算单元以及结果显示单元；
所述图像采集单元用于周期性采集参会人员的面部图像数据；
所述数据计算单元首先对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；
然后结合情感数据获取参会人员的综合投入指数；最后根据所有参会人员的综合投入指数形成会议评估结果；
所述结果显示单元用于对会议质量评估结果进行可视化展示。
2.根据权利要求1所述的基于表情分析技术的会议质量评估系统，其特征在于：所述数据计算单元包括数据连接模块、表情识别模块、投入度计算模块以及图像显示模块；
所述数据连接模块用于周期性接收参会人员的面部图像数据；
所述表情识别模块用于对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且将表情图像数据转化为对应的情感数据；
所述投入度计算模块用于将参会人员的情感数据分别整合成时间序列数据，结合情感数据的权重指数计算参会人员的投入度指数，并将所有参会人员的投入度指数整合，形成会议质量评估结果；
所述图像显示模块用于将会议质量评估结果传输到结果显示单元。
3.根据权利要求1所述的基于表情分析技术的会议质量评估系统，其特征在于：所述数据计算单元还包括图像消重模块，所述图像消重模块用于对不同图像采集单元采集的同一个参会人员的面部图像数据进行整合过滤。
4.根据权利要求1所述的基于表情分析技术的会议质量评估系统，其特征在于：所述情感数据包括正向情感数据和负向情感数据。
5.根据权利要求1所述的基于表情分析技术的会议质量评估系统，其特征在于：所述表情图像数据和对应的情感数据是预先关联设置的。
6.一种基于表情分析技术的会议质量评估方法，其特征在于，所述方法包括以下步骤：
步骤一：周期性采集参会人员的面部图像数据；
步骤二：对面部图像数据进行面部特征识别，通过人脸运动与表情的关系，检测面部特征细微变化得到表情图像数据，并且参照表情图像数据和情感数据预先关联设置，将表情图像数据转化为对应的情感数据；
步骤三：将参会人员的情感数据分别整合成时间序列数据，结合情感数据的权重指数计算参会人员的投入度指数；
步骤四：将所有参会人员的投入度指数整合，形成会议质量评估结果并显示。
7.根据权利要求6所述的基于表情分析技术的会议质量评估方法，其特征在于：在对面部图像数据进行面部特征识别时，需要对同一个参会人员的面部图像数据进行整合过滤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910769230.7A CN112418572A (zh) | 2019-08-20 | 2019-08-20 | 一种基于表情分析技术的会议质量评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910769230.7A CN112418572A (zh) | 2019-08-20 | 2019-08-20 | 一种基于表情分析技术的会议质量评估系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112418572A true CN112418572A (zh) | 2021-02-26 |
Family
ID=74780054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910769230.7A Pending CN112418572A (zh) | 2019-08-20 | 2019-08-20 | 一种基于表情分析技术的会议质量评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418572A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791579A (zh) * | 2016-12-30 | 2017-05-31 | 唐常芳 | 一种视频会议质量的处理方法及系统 |
| CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
| KR101840594B1 (ko) * | 2017-03-15 | 2018-03-20 | 한국전자통신연구원 | 영상 회의 참여도 평가 방법 |
| CN108537508A (zh) * | 2018-03-30 | 2018-09-14 | 上海爱优威软件开发有限公司 | 会议记录方法及系统 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
-
2019
- 2019-08-20 CN CN201910769230.7A patent/CN112418572A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791579A (zh) * | 2016-12-30 | 2017-05-31 | 唐常芳 | 一种视频会议质量的处理方法及系统 |
| KR101840594B1 (ko) * | 2017-03-15 | 2018-03-20 | 한국전자통신연구원 | 영상 회의 참여도 평가 방법 |
| CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
| CN108537508A (zh) * | 2018-03-30 | 2018-09-14 | 上海爱优威软件开发有限公司 | 会议记录方法及系统 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| CN111915148B (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| CN111401797B (zh) | 一种教学质量评测方法及系统 | |
| CN108154304A (zh) | 具有教学质量评估功能的服务器 | |
| CN110135380B (zh) | 一种基于人脸检测的课堂专注度识别的方法 | |
| CN111027865A (zh) | 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法 | |
| CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| CN112365471B (zh) | 基于深度学习的宫颈癌细胞智能检测方法 | |
| CN109685692A (zh) | 一种多维度学生学习行为的无感采集及分析系统 | |
| CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
| CN112990794B (zh) | 一种视频会议质量检测方法、系统、存储介质及电子设备 | |
| CN110084289A (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| CN111444389A (zh) | 一种基于目标检测的会议视频分析方法及系统 | |
| CN109754653B (zh) | 一种个性化教学的方法及系统 | |
| CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
| CN111523445A (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
| CN113378831B (zh) | 一种小鼠胚胎器官识别与评分方法与系统 | |
| RU2005100267A (ru) | Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности | |
| CN112418572A (zh) | 一种基于表情分析技术的会议质量评估系统及方法 | |
| CN110225294B (zh) | 自动化视频会议调度系统 | |
| CN115736922A (zh) | 一种基于信创环境的情绪常态化监测系统及方法 | |
| CN102209236A (zh) | 考试监控系统中的信息处理系统及其实现方法 | |
| CN114255426A (zh) | 一种基于视频识别和语音分离技术的学生专注度评估系统 | |
| CN113974625A (zh) | 一种基于脑机跨模态迁移的情绪识别方法 | |
| CN113255535A (zh) | 一种基于微表情分析的抑郁症识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |