CN112801608A - 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台 - Google Patents

基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台 Download PDF

Info

Publication number
CN112801608A
CN112801608A CN202110053463.4A CN202110053463A CN112801608A CN 112801608 A CN112801608 A CN 112801608A CN 202110053463 A CN202110053463 A CN 202110053463A CN 112801608 A CN112801608 A CN 112801608A
Authority
CN
China
Prior art keywords
participant
conference
participants
image acquisition
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110053463.4A
Other languages
English (en)
Inventor
招明香
蒋安国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110053463.4A priority Critical patent/CN112801608A/zh
Publication of CN112801608A publication Critical patent/CN112801608A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台，通过对参加远程视频会议的参会人员在会议过程中进行参会图像采集，并获取各参会人员在会议过程中的表情和坐姿，以此统计各参会人员对应的综合参会精神状态系数，同时对各参会人员的发言进行跟踪，对发言内容进行分析，进而统计各参会人员对应的发言相关度系数，由此根据以上统计各参会人员对应的参会表现力系数，为远程会议主办方分析会议召开的效果提供全面可靠的参考依据，有效弥补了目前对参会人员表现情况分析存在的单一、片面化的弊端，提高了分析结果的准确度和可靠度，进而提高了远程视频会议的管理水平。

Description

基于大数据和云计算的远程视频会议智能管理系统及云会议 管理平台
技术领域
本发明属于会议管理技术领域，涉及远程视频会议管理技术，具体为基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台。
背景技术
远程视频会议是指两个或两个以上不同地方的个人或群体,通过传输线路及相关设备,达到即时互动的沟通,以完成会议目的，其打破了传统会议必须把人们聚到一起才能够举行的常规,突破了空间的限制。这种视频会议可视化的交流自然,简单,高效,成为众多企业会议方式的首选。但对于远程视频会议主办方来说，如何分析整个远程视频会议召开的效果，即各参会人员的参会表现情况，是远程视频会议主办方进行会议管理的重点。
目前对参会人员表现情况的分析方式大多是根据参会人员的发言情况进行分析，这种分析方式存在单一、片面化的弊端，因而使得分析的结果可靠度低，无法综合反映各参会人员的参会表现力。
发明内容
为了改善上述问题，本发明提供一种基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台，通过对参加远程视频会议的参会人员在会议过程中进行参会图像采集，并以此统计各参会人员对应的综合参会精神状态系数，同时对各参会人员进行发言内容分析，进而统计各参会人员对应的发言相关度系数，由此根据以上统计各参会人员对应的参会表现力系数，有效弥补了目前对参会人员表现情况分析存在的单一、片面化的弊端。
本发明的第一方面提出基于大数据和云计算的远程视频会议智能管理系统，包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端；
所述视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接；
所述视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员；
所述参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块；
所述参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名；
所述参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，并构成图像采集时间段参会图像集合Pr(pr1,pr2,...,prt,...,prk)，prt表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块；
所述参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，存储各种坐姿状态对应的坐姿特征，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词；
所述参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合Qw r(qw r1,qw r2,...,qw rt,...,qw rk)，qw rt表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，并发送至监控管理服务器；
所述参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块；
所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名；
所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长；
所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：
S1:将截取的语音信息进行语音增强处理；
S2:对语音增强处理后的语音信息进行语音特征提取；
S3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；
S4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；
S5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；
S6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；
所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数，并发送至监控管理服务器；
所述监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数，并发送至后台显示终端；
所述后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示。
在第一方面的一种可能的设计中，所述各种表情包括兴奋、喜欢、惊讶、痛苦、恐惧、羞辱、厌恶和愤怒，各种坐姿状态包括端正状态、斜坐状态、趴坐状态和仰靠状态。
在第一方面的一种可能的设计中，所述参会人员身份确认模块还包括对未参会人员进行统计,具体统计过程为将各视频终端对应的参会人员姓名与本次远程视频会议的应参会人员姓名进行比对，若存在某应参会人员的姓名与各视频终端对应的参会人员姓名比对失败，则表明该应参会人员未参会，由此统计未参会的人员。
在第一方面的一种可能的设计中，所述图像采集时间段的获取方法为统计整个视频会议的时长，将整个视频会议的时长除以预设的图像采集时间间隔即为图像采集时间段的个数，并将各图像采集时间段按照图像采集时间点的先后顺序进行编号，依次标记为1,2...t...k。
在第一方面的一种可能的设计中，所述各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数的计算公式为
Figure BDA0002899823350000061
ηr表示为第r个视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，εr t、δr t分别表示为第r个视频终端的参会人员在第t个图像采集时间段对应的面部精神状态系数、坐姿精神状态系数。
在第一方面的一种可能的设计中，所述文本预处理包括去停用词和分词操作。
在第一方面的一种可能的设计中，所述各参会人员对应的发言相关度系数的计算公式为
Figure BDA0002899823350000062
σr表示为第r个视频终端的参会人员对应的发言相关度系数，tr表示为第r个视频终端的参会人员对应的发言时长，t0表示为设置的发言时长阈值，kr表示为第r个视频终端的参会人员匹配成功的发言关键词数量，kr′表示为第r个视频终端的参会人员对应的发言关键词总数量。
在第一方面的一种可能的设计中，所述各参会人员对应的参会表现力系数的计算公式为
Figure BDA0002899823350000063
Figure BDA0002899823350000064
表示为第r个视频终端的参会人员对应的参会表现力系数。
本发明的第二方面提出一种云会议管理平台，所述云会议管理平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个远程视频会议智能管理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于大数据和云计算的远程视频会议智能管理系统。
基于上述任一方面，本发明的有益效果如下：
(1)本发明通过对参加远程视频会议的参会人员在会议过程中进行参会图像采集，并获取各参会人员在会议过程中的表情和坐姿，以此统计各参会人员对应的综合参会精神状态系数，同时对各参会人员的发言进行跟踪，对发言内容进行分析，进而统计各参会人员对应的发言相关度系数，由此根据以上统计各参会人员对应的参会表现力系数，为远程会议主办方分析会议召开的效果提供全面可靠的参考依据，有效弥补了目前对参会人员表现情况分析存在的单一、片面化的弊端，提高了分析结果的准确度和可靠度，进而提高了远程视频会议的管理水平。
(2)本发明统计的各参会人员对应的综合参会精神状态系数综合了参会人员的面部精神状态状况和坐姿精神状态状况，全面直观反映了各参会人员在整个会议过程中的综合精神状态状况，避免了只根据面部精神状态或坐姿精神状态统计综合参会精神状态系数造成的统计结果片面，影响后面参会人员对应参会表现力系数统计的可靠度。
(3)本发明在统计各参会人员对应的综合参会精神状态系数过程中，通过将整个会议时长划分为若干图像采集时间段，以此采集各参会人员在各图像采集时间段的参会图像，避免在整个会议过程中只采集单张参会图像进行综合参会精神状态系数统计造成的统计误差，使统计结果更能全过程性的反映参会人员的真实参会精神状态。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的系统模块连接示意图；
图2为本发明的参会人员发言跟踪模块连接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明的第一方面提出一种基于大数据和云计算的远程视频会议智能管理系统，包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端，其中视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接。
视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员。
参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块。
参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名，为后面统计各参会人员对应的参会表现力系数提供铺垫，同时还能够对未参会人员进行统计,具体统计过程为将各视频终端对应的参会人员姓名与本次远程视频会议的应参会人员姓名进行比对，若存在某应参会人员的姓名与各视频终端对应的参会人员姓名比对失败，则表明该应参会人员未参会，由此统计未参会的人员。
参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，其中图像采集时间段的获取方法为统计整个视频会议的时长，将整个视频会议的时长除以预设的图像采集时间间隔即为图像采集时间段的个数，并将各图像采集时间段按照图像采集时间点的先后顺序进行编号，依次标记为1,2...t...k，并构成图像采集时间段参会图像集合Pr(pr1,pr2,...,prt,...,prk)，prt表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块。
本实施例通过将整个会议时长划分为若干图像采集时间段，以此采集各参会人员在各图像采集时间段的参会图像，避免在整个会议过程中只采集单张参会图像进行综合参会精神状态系数统计造成的统计误差，使统计结果更能全过程性的反映参会人员的真实参会精神状态。
参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，其中各种表情包括兴奋、喜欢、惊讶、痛苦、恐惧、羞辱、厌恶和愤怒，存储各种坐姿状态对应的坐姿特征，其中各种坐姿状态包括端正状态、斜坐状态、趴坐状态和仰靠状态，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词。
参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合Qw r(qw r1,qw r2,...,qw rt,...,qw rk)，qw rt表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数
Figure BDA0002899823350000111
ηr表示为第r个视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，εr t、δr t分别表示为第r个视频终端的参会人员在第t个图像采集时间段对应的面部精神状态系数、坐姿精神状态系数，并发送至监控管理服务器。
本实施例统计的各参会人员对应的综合参会精神状态系数综合了参会人员的面部精神状态状况和坐姿精神状态状况，全面直观反映了各参会人员在整个会议过程中的综合精神状态状况，避免了只根据面部精神状态或坐姿精神状态统计综合参会精神状态系数造成的统计结果片面性，影响后面参会人员对应参会表现力系数统计的可靠度。
参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块。
所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名。
所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长。
所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：
S1:将截取的语音信息进行语音增强处理；
S2:对语音增强处理后的语音信息进行语音特征提取；
S3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；
S4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；
S5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，其中文本预处理包括去停用词和分词操作，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；
S6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；
所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数
Figure BDA0002899823350000121
σr表示为第r个视频终端的参会人员对应的发言相关度系数，tr表示为第r个视频终端的参会人员对应的发言时长，t0表示为设置的发言时长阈值，kr表示为第r个视频终端的参会人员匹配成功的发言关键词数量，kr′表示为第r个视频终端的参会人员对应的发言关键词总数量，并发送至监控管理服务器。
本实施例统计的发言相关度系数实现了参会人员发言内容与会议主题相关度的量化展示，发言相关度系数越大，表明与会议主题的相关度越高，为后期统计参会表现力系数提供发言内容的相关参数。
监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数
Figure BDA0002899823350000131
Figure BDA0002899823350000132
表示为第r个视频终端的参会人员对应的参会表现力系数，并发送至后台显示终端。
本实施例统计的参会人员对应的参会表现力系数融合了参会人员整个会议过程中的参会精神状态和发言内容与会议主题的相关度，有效弥补了目前对参会人员表现情况只针对发言内容进行分析存在的单一、片面化的弊端，提高了统计结果的准确度和可靠度。
后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示，便于远程会议主办方直观了解各参会人员的参会表现情况，为分析会议召开的效果提供全面可靠的参考依据，提高了远程视频会议的管理水平。
本发明的第二方面提出一种云会议管理平台，所述云会议管理平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个远程视频会议智能管理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，如本发明实施例中的远程视频会议智能管理程序指令/模块，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于大数据和云计算的远程视频会议智能管理系统。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (9)

1.基于大数据和云计算的远程视频会议智能管理系统，其特征在于：包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端；
所述视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接；
所述视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员；
所述参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块；
所述参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名；
所述参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，并构成图像采集时间段参会图像集合Pr(pr1,pr2,…,prt,...,prk)，prt表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块；
所述参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，存储各种坐姿状态对应的坐姿特征，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词；
所述参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合Qw r(qw r1,qw r2,...,qw rt,...,qw rk)，qw rt表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，并发送至监控管理服务器；
所述参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块；
所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名；
所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长；
所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：
S1:将截取的语音信息进行语音增强处理；
S2:对语音增强处理后的语音信息进行语音特征提取；
S3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；
S4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；
S5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；
S6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；
所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数，并发送至监控管理服务器；
所述监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数，并发送至后台显示终端；
所述后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示。
2.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述各种表情包括兴奋、喜欢、惊讶、痛苦、恐惧、羞辱、厌恶和愤怒，各种坐姿状态包括端正状态、斜坐状态、趴坐状态和仰靠状态。
3.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述参会人员身份确认模块还包括对未参会人员进行统计,具体统计过程为将各视频终端对应的参会人员姓名与本次远程视频会议的应参会人员姓名进行比对，若存在某应参会人员的姓名与各视频终端对应的参会人员姓名比对失败，则表明该应参会人员未参会，由此统计未参会的人员。
4.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述图像采集时间段的获取方法为统计整个视频会议的时长，将整个视频会议的时长除以预设的图像采集时间间隔即为图像采集时间段的个数，并将各图像采集时间段按照图像采集时间点的先后顺序进行编号，依次标记为1,2...t...k。
5.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数的计算公式为
Figure FDA0002899823340000051
ηr表示为第r个视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，εr t、δr t分别表示为第r个视频终端的参会人员在第t个图像采集时间段对应的面部精神状态系数、坐姿精神状态系数。
6.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述文本预处理包括去停用词和分词操作。
7.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述各参会人员对应的发言相关度系数的计算公式为
Figure FDA0002899823340000052
σr表示为第r个视频终端的参会人员对应的发言相关度系数，tr表示为第r个视频终端的参会人员对应的发言时长，t0表示为设置的发言时长阈值，kr表示为第r个视频终端的参会人员匹配成功的发言关键词数量，kr′表示为第r个视频终端的参会人员对应的发言关键词总数量。
8.根据权利要求1所述的基于大数据和云计算的远程视频会议智能管理系统，其特征在于：所述各参会人员对应的参会表现力系数的计算公式为
Figure FDA0002899823340000061
Figure FDA0002899823340000062
表示为第r个视频终端的参会人员对应的参会表现力系数。
9.一种云会议管理平台，其特征在于：所述云会议管理平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个远程视频会议智能管理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-8中任意一项所述的基于大数据和云计算的远程视频会议智能管理系统。
CN202110053463.4A 2021-01-15 2021-01-15 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台 Withdrawn CN112801608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110053463.4A CN112801608A (zh) 2021-01-15 2021-01-15 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110053463.4A CN112801608A (zh) 2021-01-15 2021-01-15 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台

Publications (1)

Publication Number Publication Date
CN112801608A true CN112801608A (zh) 2021-05-14

Family

ID=75809536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110053463.4A Withdrawn CN112801608A (zh) 2021-01-15 2021-01-15 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台

Country Status (1)

Country Link
CN (1) CN112801608A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757155A (zh) * 2022-06-14 2022-07-15 深圳乐播科技有限公司 一种会议文档的生成方法及装置
CN114826804A (zh) * 2022-06-30 2022-07-29 天津大学 一种基于机器学习的远程会议质量监控的方法和系统
CN114900644A (zh) * 2022-07-13 2022-08-12 杭州全能数字科技有限公司 一种视频会议中云台相机的预置位远程操作方法及系统
CN115052126A (zh) * 2022-08-12 2022-09-13 深圳市稻兴实业有限公司 一种基于人工智能的超高清视频会议分析管理系统
CN115065667A (zh) * 2022-06-17 2022-09-16 深圳市炫本电子有限公司 预约式集成会议系统及带有该系统的投屏器
CN116452157A (zh) * 2023-06-16 2023-07-18 山东省地震工程研究院 财务报表核验方法及系统
CN117577115A (zh) * 2024-01-15 2024-02-20 杭州讯意迪科技有限公司 一种智慧型无纸化会议系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757155A (zh) * 2022-06-14 2022-07-15 深圳乐播科技有限公司 一种会议文档的生成方法及装置
CN114757155B (zh) * 2022-06-14 2022-09-27 深圳乐播科技有限公司 一种会议文档的生成方法及装置
CN115065667A (zh) * 2022-06-17 2022-09-16 深圳市炫本电子有限公司 预约式集成会议系统及带有该系统的投屏器
CN115065667B (zh) * 2022-06-17 2024-04-16 深圳市炫本电子有限公司 预约式集成会议系统及带有该系统的投屏器
CN114826804A (zh) * 2022-06-30 2022-07-29 天津大学 一种基于机器学习的远程会议质量监控的方法和系统
CN114826804B (zh) * 2022-06-30 2022-09-16 天津大学 一种基于机器学习的远程会议质量监控的方法和系统
CN114900644A (zh) * 2022-07-13 2022-08-12 杭州全能数字科技有限公司 一种视频会议中云台相机的预置位远程操作方法及系统
CN115052126A (zh) * 2022-08-12 2022-09-13 深圳市稻兴实业有限公司 一种基于人工智能的超高清视频会议分析管理系统
CN116452157A (zh) * 2023-06-16 2023-07-18 山东省地震工程研究院 财务报表核验方法及系统
CN116452157B (zh) * 2023-06-16 2023-09-26 山东省地震工程研究院 财务报表核验方法及系统
CN117577115A (zh) * 2024-01-15 2024-02-20 杭州讯意迪科技有限公司 一种智慧型无纸化会议系统
CN117577115B (zh) * 2024-01-15 2024-03-29 杭州讯意迪科技有限公司 一种智慧型无纸化会议系统

Similar Documents

Publication Publication Date Title
CN112801608A (zh) 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台
CN110853646B (zh) 会议发言角色的区分方法、装置、设备及可读存储介质
US8311292B2 (en) Context aware, multiple target image recognition
CN111401826A (zh) 电子合同签署的双录方法、装置、计算机设备及存储介质
CN112148922A (zh) 会议记录方法、装置、数据处理设备及可读存储介质
CN112395461A (zh) 一种基于大数据分析的商务会议智能管理系统
US20090074261A1 (en) Interactive system for recognition analysis of multiple streams of video
CN111260313A (zh) 发言者的识别方法、会议纪要生成方法、装置及电子设备
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
CN110309799B (zh) 基于摄像头的说话判断方法
CN111881726A (zh) 一种活体检测方法、装置及存储介质
CN111325082B (zh) 一种人员专注度分析方法及装置
CN108257594A (zh) 一种会议系统及其信息处理方法
CN109560941A (zh) 会议记录方法、装置、智能终端及存储介质
CN111970471B (zh) 基于视频会议的参会人员评分方法、装置、设备及介质
WO2022151639A1 (zh) 待识别图片的提取方法、装置、设备以及存储介质
US20220335949A1 (en) Conference Data Processing Method and Related Device
CN104135638A (zh) 优化的视频快照
US20140025624A1 (en) System and method for demographic analytics based on multimodal information
CN111210818B (zh) 匹配情感极性的词语采集方法、装置、电子设备
CN116074629A (zh) 一种基于多模态数据的视频会议发言人跟踪装置、系统及方法
CN115294630A (zh) 一种会议系统及会议管理方法
CN112950801B (zh) 远程办公考勤记录方法及装置
CN111310602A (zh) 一种基于情绪识别的展品关注度分析系统及分析方法
CN112560559A (zh) 人脸库更新的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210514

WW01 Invention patent application withdrawn after publication