CN109560941A - 会议记录方法、装置、智能终端及存储介质 - Google Patents
会议记录方法、装置、智能终端及存储介质 Download PDFInfo
- Publication number
- CN109560941A CN109560941A CN201811519100.XA CN201811519100A CN109560941A CN 109560941 A CN109560941 A CN 109560941A CN 201811519100 A CN201811519100 A CN 201811519100A CN 109560941 A CN109560941 A CN 109560941A
- Authority
- CN
- China
- Prior art keywords
- spokesman
- name
- voice
- minutes
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000001815 facial effect Effects 0.000 claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000008569 process Effects 0.000 description 10
- 230000001755 vocal effect Effects 0.000 description 9
- 230000003542 behavioural effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明揭示了一种会议记录方法、装置、智能终端及存储介质,方法包括:接收与会终端发送的发言信息;获取与会终端对应的发言人的人脸图像;将人脸图像与预留信息进行匹配,得到对应人脸图像的第一发言人姓名;其中,预留信息包括与会人员姓名和人脸特征图像的对应关系;将第一发言人姓名及发言信息生成会议记录。通过获取发言信息对应的与会终端中的发言人的人脸图像,辨别出发言人的姓名,并将发言人的姓名与发言信息整理成发言人姓名与发言信息相对应的会议记录,智能化完成会议记录,降低了人工成本和节省时间成本,提高了会议记录效率。
Description
技术领域
本发明涉及到通信技术领域,特别是涉及到一种会议记录方法、装置、智能终端及存储介质。
背景技术
现有的会议记录通常是通过利用摄像头、麦克风、录音笔等设备对会议过程中各人员的发言进行录音及录像,在会后,会议记录人员查看录音或录像以整理会议记录,然而,通过人工对录音或录像进行整理会议记录,对用户来说费时费力。
发明内容
本发明的主要目的为提供一种会议记录方法、装置、智能终端及存储介质,实现降低人工成本和节省时间成本。
本发明提出一种会议记录方法,包括:
接收与会终端发送的发言信息;
获取与会终端对应的发言人的人脸图像;
将人脸图像与预留信息进行匹配,得到对应人脸图像的第一发言人姓名;其中,预留信息包括与会人员姓名和人脸特征图像的对应关系;
将第一发言人姓名及发言信息生成会议记录。
进一步地,发言信息包括发言人语音,接收与会终端发送的发言信息的步骤,包括:
接收与会终端发送的发言人语音;
记录发言人语音的发言起始时间和结束时间。
进一步地,将第一发言人姓名及发言信息生成会议记录的步骤,包括:
将发言人语音转换为文字;
将文字与第一发言人姓名组合为发言人文字;
将发言人文字、起始时间和/或结束时间添加至预设模板生成会议记录。
进一步地,将发言人语音转换为文字的步骤,包括:
提取发言人语音的特征值;
将特征值与语音文字数据库匹配,以将发言人语音转换为文字。
进一步地,预留信息还包括特征语音,方法还包括:
将发言人语音与特征语音进行匹配,得到发言人语音对应的第二发言人姓名;
判断第一发言人姓名与第二发言人姓名是否一致;
若是,则进入将第一发言人姓名及发言信息形成会议记录的步骤。
进一步地,判断第一发言人姓名与第二发言人姓名是否一致的步骤之后,还包括:
若第一发言人姓名与第二发言人姓名不一致,则获取人脸图像与人脸特征图像的第一匹配相似度以及发言人语音与特征语音的第二匹配相似度;
判断第一匹配相似度是否大于第二匹配相似度;
若是,则进入将第一发言人姓名及发言信息形成会议记录的步骤。
进一步地,将第一发言人姓名及发言信息形成会议记录的步骤之后,包括:
将发言信息和会议记录制作成视频;发言信息包括发言人语音;
将发言人语音、会议记录和/或视频发送到与会终端。
进一步地,方法还包括:
会议开始时,开始录制与会人员的录像;
会议结束时,结束录制录像,并根据录像统计与会人员出现的不同行为特征,及出现不同行为特征的次数;
根据行为特征及其对应的次数评估会议效果,并将会议效果记录在会议记录中。
进一步地,根据行为特征及其对应的次数评估会议效果,并将会议效果记录在会议记录中的步骤,包括:
从预设评分表获取各个行为特征对应的评分,并结合各行为特征对应的次数按照预设计算公式统计所有行为特征对应的总评分,得到会议分数;
根据预设的会议分数与会议效果的对应关系,获取会议分数对应的会议效果,并将会议效果记录在会议记录中。
本发明还提出一种会议记录装置,包括:
接收模块,用于接收与会终端发送的发言信息;
第一获取模块,用于获取与会终端对应的发言人的人脸图像;
第一匹配模块,用于将人脸图像与预留信息进行匹配,得到人脸图像对应的第一发言人姓名;其中,预留信息包括与会人员姓名和特征图像;
生成模块,用于将第一发言人姓名及发言信息生成会议记录。
本发明还提出一种智能终端,包括存储器和处理器;
存储器存储有计算机程序,处理器执行计算机程序以实现上述会议记录方法的步骤。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现上述会议记录方法的步骤。
本发明的有益效果在于,通过获取发言信息对应的与会终端中的发言人的人脸图像,辨别出发言人的姓名,并将发言人的姓名与发言信息整理成发言人姓名与发言信息相对应的会议记录,智能化完成会议记录,降低了人工成本和节省时间成本,提高了会议记录效率。
附图说明
图1为本发明会议记录方法一实施例的步骤示意图;
图2为本发明会议记录方法一实施例中步骤S1的步骤示意图;
图3为本发明会议记录方法一实施例中步骤S3的步骤示意图;
图4为本发明会议记录方法另一实施例的步骤示意图;
图5为本发明会议记录方法另一实施例的步骤示意图;
图6为本发明会议记录方法一实施例中步骤S302的步骤示意图;
图7为本发明会议记录方法又一实施例的步骤示意图;
图8为本发明会议记录装置一实施例的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,本发明会议记录方法一实施例,包括:
S1,接收与会终端发送的发言信息;
S2,获取与会终端对应的发言人的人脸图像;
S3,将人脸图像与预留信息进行匹配,得到对应人脸图像的第一发言人姓名;其中,预留信息包括与会人员姓名和人脸特征图像的对应关系;
S4,将第一发言人姓名及发言信息生成会议记录。
本发明应用于至少两个与会终端间的视频会议,与会终端包括主与会终端和至少一个普通与会终端,上述与会终端可为移动终端,如智能手机,笔记本电脑,平板电脑;也可以为台式电脑;在一实施例中,多个与会终端分别与服务终端通信连接,服务终端用于实现各与会终端间的信息交互。
在上述步骤S1中,上述发言信息包括发言人语音和发言人文字,发言人语音为与会人员在与会期间发言时被与会终端上的麦克风采集到的语音信号;发言人文字为与会人员在与会期间通过与会终端上的输入单元输入的文字;与会人员参与会议发言时作为发言人,通过与会终端上的麦克风采集发言人的语音信号;在其他与会终端的与会人员参与会议发言时也作为发言人,则通过上述其他与会终端上的麦克风接收发言人的语音信号;接收到不同与会终端的语音信号时,接收到的语音信号的通信地址不同;上述通信地址与接收到的语音的与会终端对应。
在上述步骤S2中,可通过接收到的发言人语音的IP地址判断出发送该发言人语音的与会终端;上述IP地址(Internet Protocol Address,网际协议地址)为与会终端的通信地址,IP地址具有唯一性,每个与会终端都具有其特定的IP地址;根据语音的发送源不同,即通信地址不同,获取语音对应与会终端的IP地址;根据IP地址所在与会终端,进一步辨别与会终端对应的发言人,从而分辨出是谁在讲话,上述辨别发言人的方式可以是人脸识别、语音识别和/或虹膜识别,也可以是预存IP地址和与会终端的对应关系信息。
上述人脸图像为具有脸部特征的图像;通过与会终端上的摄像头获取发言人的一张或多张人脸图像;作为优选,人脸图像为正面脸部图像,正面脸部图像更接近人脸识别的识别姿态,从而提高人脸特征识别算法的识别率,使识别更加精准;对于其他人脸识别算法,人脸图像可以为其他角度的脸部图像。
在上述步骤S3中,上述预留信息包含所有与会人员的用户信息;对于本实施例来说,用户信息包括与会人员姓名和与会人员姓名对应的人脸特征图像等特征信息;在一实施例中,采用相同的人脸识别算法将发言人的人脸图像与预留信息中的人脸特征图像进行匹配,当匹配相似度达到上述人脸识别算法中的预设值时,则判定上述发言人为预留信息中的与会人员,并将预留信息中的与会人员姓名作为第一发言人姓名;在另一实施例中,服务终端采用人脸识别算法提取发言人的人脸图像的某一特征与预留信息中的人脸特征图像的某一特征,当发言人的人脸图像的某一特征与预留信息中的人脸特征图像的某一特征相同时,则判定上述发言人为预留信息中的与会人员,并将预留信息中的与会人员姓名作为第一发言人姓名;对于不同的人脸识别算法,人脸图像的匹配方式不同。
在上述步骤S4中,上述会议记录为本次会议的会议记录;根据预设的会议模板将发言人对应的发言文字自动添加到上述会议记录中,即上述会议记录包含了发言人姓名和发言人姓名对应的文字,而不需要会议记录人员通过听会议录音将文字对应到相应的发言人,从而减少会议记录人员的工作量,以降低人工成本和提高会议记录效率。
本发明通过获取发言信息对应的与会终端中的发言人的人脸图像,辨别出发言人的姓名,再根据预设模板整理出会议记录,智能化完成会议记录,降低了人工成本和节省时间成本,提高了会议记录效率。
参照图2,在本发明一实施例中,上述发言信息包括发言人语音,上述接收与会终端发送的发言信息的步骤S1,包括:
S11,接收与会终端发送的发言人语音;
S12,记录发言人语音的发言起始时间和结束时间。
在上述步骤S11中,上述发言人语音为与会人员在与会期间发言时被与会终端上的麦克风采集到的语音信号。
在上述步骤S12中,上述起始时间和结束时间分别是发言人开始发言的时间点和结束发言的时间点;上述时间点可以为xx时xx分,也可以为xx时xx分xx秒;记录发言人发言的起始时间和结束时间使会议记录更加详细,并用于计算出会议过程中发言人发言的用时时长。
参照图3,在本发明一实施例中,上述将第一发言人姓名及发言信息生成会议记录的步骤S4,包括:
S41,将发言人语音转换为文字;
S42,将文字与第一发言人姓名组合为发言人文字;
S43,将发言人文字、起始时间和/或结束时间添加至预设模板生成会议记录。
在上述步骤S41中,上述文字为发言人语音对应的文字信息;根据语音对应的IP地址所获取的人脸图像分辨出上述语音的第一发言人姓名,将第一发言人姓名以文字的形式输出为发言人姓名。
在上述步骤S42中,上述发言人文字为将发言人姓名与对应发言人语音的文字结合在一起得到,例如:接收到张三的语音:“大家好”,则文字为“张三:大家好!”或者“大家好!(张三)”;文字的标记形式不限于上述例子,但文字内容都包含了发言人姓名和语音对应的文字。
在上述步骤S43中,上述预设模板为设定有会议记录格式的记录模板;在本实施例中,记录模板包含会议主题、会议时间、发言人姓名、发言人发言内容和发言人发言时间等会议内容;上述会议主题和会议时间可以由会议发起者填写,也可以通过根据预设程序获取会议开始时间作为会议时间和提取会议内容中的关键词作为会议主题。
上述发言时长为发言人发言的时长,具体的为发言人单次发言的时长;计算发言人单次发言的时长有利于会议记录人员分析发言人单次发言的时长占会议总时长的多少更利于会议的进行;进一步地,可以根据每个发言人单次发言的时长统计每个发言人发言的总时长,也可以根据每个发言人发言的总时长来统计所有发言人发言的总时长,又可以根据所有发言人的发言的总时长和会议总时长来统计用于发言的时长占会议总时长的比例;会议记录人员可以根据上述时间数据分析出最佳的会议时长、发言总时长以及单次发言时长,从而提高会议效果和会议质量。
上述起始时间、结束时间和/或发言时长置于预设模板的指定位置;例如:张三(10:22-10:25,3min):大家好!但指定位置不限于上述例子;会议记录人员可以通过与会终端选择中存储器存储的会议模板;记录发言人的发言时长有利于会议记录人员分析会议发言时长的最佳时长,以提高会议质量。
参照图4,本发明一实施例中,上述将发言人语音转换为文字的步骤S41,包括:
S411,提取发言人语音的特征值;
S412,将特征值与语音文字数据库匹配,以将发言人语音转换为文字。
在上述步骤S411中,接收到上述发言人语音后,先经过模数转换,将模拟信号转为数字信号,再将语音信号进行分帧,包括预加重处理、加窗处理,再FFT(Fast FourierTransformation)变换之后,经过Mel参数的滤波和取对数、离散余弦变换等一系列算法处置后,用梅尔频率倒谱系数(MFCC)特征提取,得到声学特征,即本实施例中的发言人语音的特征值。
在上述步骤S412中,上述语音文字数据库为将语音转换为对应文字的数据库;通过语音文本转换技术将上述语音转换为文字;将语音转换为文字后还包括对文字进行文本校正,例如常用语校正,包括常用字、常用语和常用句子;上述常用语校正使语音转换为文字更加准确和符合日常用语;在语音转换为文字过程中,当语音和/或文字中包含重复出现预设次数的词语和/句子时,将重复出现的该词语和/或句子作为常用语存储于上述语音文字数据库中。
参照图5,在本发明一实施例中,上述预留信息还包括特征语音,上述方法还包括:
S301,将发言人语音与特征语音进行匹配,得到发言人语音对应的第二发言人姓名;
S302,判断第一发言人姓名与第二发言人姓名是否一致;
S303,若是,则进入将第一发言人姓名及发言信息形成会议记录的步骤。
在上述步骤S301中,用户信息包括与会人员姓名、与会人员姓名对应的人脸特征图像和特征语音等特征信息;将发言人语音与预留信息中的特征语音进行匹配,通过声纹识别技术对发言人语音的语音信号进行处理,先提取发言人语音的声纹特征,再对发言人语音的声纹特征进行声纹建模,然后将发言人语音的声纹与特征语音的声纹进行比对,最后根据声纹的匹配相似度进行辨别决策;当发言人语音的声纹与特征语音的声纹的匹配相似度达到设定值时,则判定上述发言人为预留信息中的与会人员,并将预留信息中的与会人员姓名作为第二发言人姓名。
在上述步骤S302中,当与会人员在会议过程发言时没有面对镜头,未能获取到发言人的人脸图像,此时第一发言人姓名为空,则需要通过发言人的声音与预留的特征语音进行对比来辨别出发言人姓名;又或者采用单一的人脸图像进行辨别发言人姓名的准确度还不够高,进而需要通过发言人的声音与预留的特征语音进行对比来精准确认出发言人姓名,以提高发言人姓名的辨别准确度;从而通过人脸图像辨别的第一发言人姓名与声音辨别的第二发言人姓名可能存在不一致的情况,所以需要判断第一发言人姓名与第二发言人姓名是否一致。
在上述步骤S303中,当通过发言人的人脸图像辨别的用户信息与通过发言人语音辨别的用户信息相同,即同一个人时,则第一发言人姓名与第二发言人姓名一致;在本实施例中,进入将第一发言人姓名及发言信息形成会议记录的步骤;由于第一发言人姓名与第二发言人姓名一致,所以在另一实施例中,将第二发言人姓名及发言信息形成会议记录。
参照图6,在本发明一实施例中,上述判断第一发言人姓名与第二发言人姓名是否一致的步骤S302之后,还包括:
S304,若第一发言人姓名与第二发言人姓名不一致,则获取人脸图像与人脸特征图像的第一匹配相似度以及发言人语音与特征语音的第二匹配相似度;
S305,判断第一匹配相似度是否大于第二匹配相似度;
S306,若是,则进入将第一发言人姓名及发言信息形成会议记录的步骤。在上述步骤S304中,当与会人员在会议过程发言时没有面对镜头,未能获取到发言人的人脸图像,此时第一发言人姓名为空,出现第一发言人姓名与第二发言人姓名的情况;又或者当服务终端获取到了发言人的人脸图像,但通过发言人的人脸图像辨别的发言人姓名与通过发言人语音辨别的发言人姓名不一致,又出现第一发言人姓名与第二发言人姓名的情况;在其他的实施例中,出现上述情况的原因可以多样的。
在上述步骤S305中,通过人脸识别技术将发言人的上述人脸图像与预留信息中的人脸特征图像进行匹配,并根据匹配的匹配相识度作出辨别决策,辨别成功时得到第一发言人姓名;通过声纹识别技术将发言人的上述发言人语音与预留信息终端中的特征语音进行匹配,并根据匹配的匹配相似度作出辨别决策,辨别成功时得到第二发言人姓名;当第一发言人姓名与第二发言人姓名不一致,判断上述人脸图像的匹配相似度是否大于上述发言人语音的匹配相似度。
在上述步骤S306中,当判断第一匹配相似度大于第二匹配相似度,即发言人的人脸图像与预留信息中人脸特征图像的匹配程度更高时,则进入将第一发言人姓名及发言信息形成会议记录的步骤。
当判断第一匹配相似度不大于第二匹配相似度,即发言人语音与预留信息中的特征语音的匹配程度更高时,或者发言人语音与预留信息中的特征语音的匹配程度,和发言人的人脸图像与预留信息中人脸特征图像的匹配程度相同时,则将第二发言人姓名及发言信息形成会议记录;在一些实施例中,当发言人语音与预留信息中的特征语音的匹配程度和发言人的人脸图像与预留信息中人脸特征图像的匹配程度相同时,将第二发言人姓名标记为发言人姓名,因为此时人脸识别与声纹识别的匹配相似度是一样的,无法说明哪个更准确,但此种情况基本不会出现。
参照图7,在本发明一实施例中,上述将第一发言人姓名及所述发言信息形成会议记录的步骤S4之后,包括:
S51,将发言人信息和会议记录制作成视频;发言信息包括发言人语音;
S52,将发言人语音、会议记录和/或视频发送给与会终端。
在上述步骤S51中,上述视频为包含上述发言人语音和会议记录文本的会议记录视频;在一实施例中,上述视频可以将语音对应的文字作为字幕的形式呈现,在呈现字幕的同时伴随对应字幕的上述语音,用户可以一边看字幕一边听发言人语音;在另一实施例中,上述视频也可以将语音对应的文字作为字幕的形式呈现,同时视频中还显示发言人发言时的录像或图像,以及伴随与上述字幕对应的语音;在其他实施例中,视频的呈现形式可以是多样的。
在上述步骤S52中,上述与会人员的预留信息包含与会人员姓名、与会人员对应的人脸图像、特征语音和通信地址;服务终端将整理好的发言人语音、会议记录和/或视频发送到预留信息中的通信地址;在一实施例中,服务终端也可以将整理好的发言人语音、会议记录和/或视频发送到会议记录人员指定的通信地址,与会人员到上述指定的通信地址自行下载上述发言人语音、会议记录和/或视频。
参照图8,本发明还提供一种会议记录装置,包括:
接收模块1,用于接收与会终端发送的发言信息;
第一获取模块2,用于获取与会终端对应的发言人的人脸图像;
第一匹配模块3,用于将人脸图像与预留信息进行匹配,得到人脸图像对应的第一发言人姓名;其中,预留信息包括与会人员姓名和特征图像;
生成模块4,用于将所述第一发言人姓名及所述发言信息生成会议记录。
在上述接收模块1中,上述发言信息包括发言人语音和发言人文字,发言人语音为与会人员在与会期间发言时被与会终端上的麦克风采集到的语音信号;发言人文字为与会人员在与会期间通过与会终端上的输入单元输入的文字;与会人员参与会议发言时作为发言人,通过与会终端上的麦克风采集发言人的语音信号;在其他与会终端的与会人员参与会议发言时也作为发言人,则接收模块1通过上述其他与会终端上的麦克风接收发言人的语音信号;接收模块1接收到不同与会终端的语音信号时,接收到的语音信号的通信地址不同;上述通信地址与接收到的语音的与会终端对应。
在上述第一获取模块2中,可通过接收模块1接收到的发言人语音的IP地址判断出发送该发言人语音的与会终端;上述IP地址(Internet Protocol Address,网际协议地址)为与会终端的通信地址,IP地址具有唯一性,每个与会终端都具有其特定的IP地址;根据语音的发送源不同,即通信地址不同,获取语音对应与会终端的IP地址;根据IP地址所在与会终端,进一步辨别与会终端对应的发言人,从而分辨出是谁在讲话,上述辨别发言人的方式可以是人脸识别、语音识别和/或虹膜识别,也可以是预存IP地址和与会终端的对应关系信息。
上述人脸图像为具有脸部特征的图像;第一获取模块2通过与会终端上的摄像头获取发言人的一张或多张人脸图像;作为优选,人脸图像为正面脸部图像,正面脸部图像更接近人脸识别的识别姿态,从而提高人脸特征识别算法的识别率,使识别更加精准;对于其他人脸识别算法,人脸图像可以为其他角度的脸部图像。
在上述第一匹配模块3中,上述预留信息包含所有与会人员的用户信息;对于本实施例来说,用户信息包括与会人员姓名和与会人员姓名对应的人脸特征图像等特征信息;在一实施例中,第一匹配模块3采用相同的人脸识别算法将发言人的人脸图像与预留信息中的人脸特征图像进行匹配,当匹配相似度达到上述人脸识别算法中的预设值时,则判定上述发言人为预留信息中的与会人员,并将预留信息中的与会人员姓名作为第一发言人姓名;在另一实施例中,匹配模块3采用人脸识别算法提取发言人的人脸图像的某一特征与预留信息中的人脸特征图像的某一特征,当发言人的人脸图像的某一特征与预留信息中的人脸特征图像的某一特征相同时,则判定上述发言人为预留信息中的与会人员,并将预留信息中的与会人员姓名作为第一发言人姓名;对于不同的人脸识别算法,人脸图像的匹配方式不同。
在上述生成模块4中,上述会议记录为本次会议的会议记录;生成模块4根据预设的会议模板将发言人文字自动添加到上述会议记录中,即上述会议记录包含了发言人姓名和发言人姓名对应的文字,而不需要会议记录人员通过听会议录音将文字对应到相应的发言人,从而减少会议记录人员的工作量,以降低人工成本和提高会议记录效率。
在本发明一实施例中,上述发言信息包括发言人语音,上述接收模块1,包括:
接收单元11,用于接收所述与会终端发送的发言人语音;
记录单元12,用于记录所述发言人语音的发言起始时间和结束时间。
在本发明一实施例中,上述生成模块4,包括:
转换单元41,用于将所述发言人语音转换为文字;
组合单元42,用于将所述文字与所述第一发言人姓名组合为发言人文字;
生成单元43,用于将所述发言人文字、所述起始时间和/或结束时间添加至预设模板生成会议记录。
在本发明一实施例中,上述转换单元41,包括:
提取子单元411,用于提取所述发言人语音的特征值;
匹配子单元412将所述特征值与语音文字数据库匹配,以将所述发言人语音转换为所述文字。
在本发明一实施例中,上述装置还包括:
第二匹配模块301,用于将所述发言人语音与所述特征语音进行匹配,得到所述发言人语音对应的第二发言人姓名;
第一判断模块302,用于判断所述第一发言人姓名与所述第二发言人姓名是否一致;
第一进入模块303,用于若是,则进入将所述第一发言人姓名及所述发言信息形成会议记录的步骤。
在本发明一实施例中,上述装置,还包括:
第二获取模块304,用于若所述第一发言人姓名与所述第二发言人姓名不一致,则获取所述人脸图像与所述人脸特征图像的第一匹配相似度以及所述发言人语音与所述特征语音的第二匹配相似度;
第二模块305,用于判断所述第一匹配相似度是否大于所述第二匹配相似度;
第二进入模块306,用于若是,则进入将所述第一发言人姓名及所述发言信息形成会议记录的步骤。
在本发明一实施例中,上述装置,还包括:
制作模块51,用于将所述发言信息和所述会议记录制作成视频;所述发言信息包括发言人语音;
发送模块52,用于将所述发言人语音、所述会议记录和/或所述视频发送到所述与会终端。
上述装置的解释可参照对应方法实施例中的解释,在此不再赘述。
本发明实施例中还提供一种智能终端,包括存储器和处理器;存储器存储有计算机程序,处理器执行计算机程序以实现上述会议记录方法的步骤。
上述智能终端可以为移动终端,如智能手机、笔记本电脑、平板电脑,也可以为台式电脑、服务器;上述服务器用于实现各与会终端间的信息交互。
本领域技术人员可以理解,本发明所述的终端和上述所涉及用于执行本申请中所述方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序或应用程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
在本发明一实施例中,与会终端包括摄像头和阵列式麦克风;摄像头用于获取发言人的人脸图像和录制与会人员的行为特征;阵列式麦克风用于获取发言人语音。与会终端可理解为移动终端,如智能手机,笔记本电脑,平板电脑;也可以理解为台式电脑,以手机为例,手机还包括:输入单元、显示单元、语音电路、无线保真(wireless fidelity,WiFi)模块、处理器、以及电源等部件。
本发明实施例中还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现会议记录方法,包括:接收与会终端发送的发言信息;获取与会终端对应的发言人的人脸图像;将人脸图像与预留信息进行匹配,得到对应人脸图像的第一发言人姓名;其中,预留信息包括与会人员姓名和人脸特征图像的对应关系;将第一发言人姓名及发言信息生成会议记录。
上述本申请的会议记录方法,通过获取发言人语音对应IP地址的与会终端中的发言人的人脸图像,辨别出发言人的姓名,再根据预设模板整理出会议记录,智能化完成会议记录,降低了人工成本和节省时间成本,提高了会议记录效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种会议记录方法,其特征在于,所述方法包括:
接收与会终端发送的发言信息;
获取所述与会终端对应的发言人的人脸图像;
将所述人脸图像与预留信息进行匹配,得到对应所述人脸图像的第一发言人姓名;其中,所述预留信息包括与会人员姓名和人脸特征图像的对应关系;
将所述第一发言人姓名及所述发言信息生成会议记录。
2.根据权利要求1所述的会议记录方法,其特征在于,所述发言信息包括发言人语音,所述接收与会终端发送的发言信息的步骤,包括:
接收所述与会终端发送的发言人语音;
记录所述发言人语音的发言起始时间和结束时间。
3.根据权利要求2所述的会议记录方法,其特征在于,所述将所述第一发言人姓名及所述发言信息生成成会议记录的步骤,包括:
将所述发言人语音转换为文字;
将所述文字与所述第一发言人姓名组合为发言人文字;
将所述发言人文字、所述起始时间和/或结束时间添加至预设模板生成会议记录。
4.根据权利要求3所述的会议记录方法,其特征在于,所述将所述发言人语音转换为文字的步骤,包括:
提取所述发言人语音的特征值;
将所述特征值与语音文字数据库匹配,以将所述发言人语音转换为所述文字。
5.根据权利要求2-4任一项所述的会议记录方法,其特征在于,所述预留信息还包括特征语音,所述方法还包括:
将所述发言人语音与所述特征语音进行匹配,得到所述发言人语音对应的第二发言人姓名;
判断所述第一发言人姓名与所述第二发言人姓名是否一致;
若是,则进入将所述第一发言人姓名及所述发言信息形成会议记录的步骤。
6.根据权利要求5所述的会议记录方法,其特征在于,所述判断所述第一发言人姓名与所述第二发言人姓名是否一致的步骤之后,还包括:
若所述第一发言人姓名与所述第二发言人姓名不一致,则获取所述人脸图像与所述人脸特征图像的第一匹配相似度以及所述发言人语音与所述特征语音的第二匹配相似度;
判断所述第一匹配相似度是否大于所述第二匹配相似度;
若是,则进入将所述第一发言人姓名及所述发言信息形成会议记录的步骤。
7.根据权利要求1所述的会议记录方法,其特征在于,所述将所述第一发言人姓名及所述发言信息形成会议记录的步骤之后,包括:
将所述发言信息和所述会议记录制作成视频;所述发言信息包括发言人语音;
将所述发言人语音、所述会议记录和/或所述视频发送到所述与会终端。
8.一种会议记录装置,其特征在于,包括:
接收模块,用于接收与会终端发送的发言信息;
第一获取模块,用于获取所述与会终端对应的发言人的人脸图像;
第一匹配模块,用于将所述人脸图像与预留信息进行匹配,得到所述人脸图像对应的第一发言人姓名;其中,所述预留信息包括与会人员姓名和特征图像;
生成模块,用于将所述第一发言人姓名及所述发言信息生成会议记录。
9.一种智能终端,其特征在于,包括存储器和处理器;
所述存储器存储有计算机程序,所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811519100.XA CN109560941A (zh) | 2018-12-12 | 2018-12-12 | 会议记录方法、装置、智能终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811519100.XA CN109560941A (zh) | 2018-12-12 | 2018-12-12 | 会议记录方法、装置、智能终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109560941A true CN109560941A (zh) | 2019-04-02 |
Family
ID=65869918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811519100.XA Pending CN109560941A (zh) | 2018-12-12 | 2018-12-12 | 会议记录方法、装置、智能终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109560941A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232925A (zh) * | 2019-06-28 | 2019-09-13 | 百度在线网络技术(北京)有限公司 | 生成会议记录的方法、装置和会议终端 |
CN111835529A (zh) * | 2019-04-23 | 2020-10-27 | 海能达通信股份有限公司 | 一种语音处理方法及装置 |
WO2020220546A1 (zh) * | 2019-04-30 | 2020-11-05 | 平安科技(深圳)有限公司 | 一种基于人脸识别的会议管理方法、系统和可读存储介质 |
CN112348493A (zh) * | 2021-01-07 | 2021-02-09 | 北京电信易通信息技术股份有限公司 | 一种智能会议记录系统及方法 |
CN113193972A (zh) * | 2021-04-23 | 2021-07-30 | 上海明略人工智能(集团)有限公司 | 用于创建会议邀请信息的方法、装置、电子设备和可读存储介质 |
WO2022016994A1 (zh) * | 2020-07-23 | 2022-01-27 | 平安科技(深圳)有限公司 | 基于ai识别的会议纪要生成方法、装置、设备及介质 |
WO2022062471A1 (zh) * | 2020-09-25 | 2022-03-31 | 华为技术有限公司 | 一种音频数据的处理方法、设备和系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101502088A (zh) * | 2006-10-11 | 2009-08-05 | 思科技术公司 | 基于对会议参与者的脸部识别的交互 |
CN103841108A (zh) * | 2014-03-12 | 2014-06-04 | 北京天诚盛业科技有限公司 | 用户生物特征的认证方法和系统 |
CN105447578A (zh) * | 2014-09-24 | 2016-03-30 | 三星电子株式会社 | 用于推进会议的会议进行装置和方法 |
CN105512535A (zh) * | 2016-01-08 | 2016-04-20 | 广东德生科技股份有限公司 | 一种用户认证的方法及装置 |
US20160198125A1 (en) * | 2014-06-30 | 2016-07-07 | International Business Machines Corporation | Dynamic facial feature substitution for video conferencing |
US20170134446A1 (en) * | 2015-11-10 | 2017-05-11 | Ricoh Company, Ltd. | Electronic Meeting Intelligence |
CN106790054A (zh) * | 2016-12-20 | 2017-05-31 | 四川长虹电器股份有限公司 | 基于人脸识别和声纹识别的交互式认证系统及方法 |
CN107094139A (zh) * | 2017-04-12 | 2017-08-25 | 黄晓咏 | 一种电话会议通讯系统 |
CN108922538A (zh) * | 2018-05-29 | 2018-11-30 | 平安科技(深圳)有限公司 | 会议信息记录方法、装置、计算机设备及存储介质 |
CN108933915A (zh) * | 2017-05-26 | 2018-12-04 | 和硕联合科技股份有限公司 | 视频会议装置与视频会议管理方法 |
CN108986826A (zh) * | 2018-08-14 | 2018-12-11 | 中国平安人寿保险股份有限公司 | 自动生成会议记录的方法、电子装置及可读存储介质 |
-
2018
- 2018-12-12 CN CN201811519100.XA patent/CN109560941A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101502088A (zh) * | 2006-10-11 | 2009-08-05 | 思科技术公司 | 基于对会议参与者的脸部识别的交互 |
CN103841108A (zh) * | 2014-03-12 | 2014-06-04 | 北京天诚盛业科技有限公司 | 用户生物特征的认证方法和系统 |
US20160198125A1 (en) * | 2014-06-30 | 2016-07-07 | International Business Machines Corporation | Dynamic facial feature substitution for video conferencing |
CN105447578A (zh) * | 2014-09-24 | 2016-03-30 | 三星电子株式会社 | 用于推进会议的会议进行装置和方法 |
US20170134446A1 (en) * | 2015-11-10 | 2017-05-11 | Ricoh Company, Ltd. | Electronic Meeting Intelligence |
CN105512535A (zh) * | 2016-01-08 | 2016-04-20 | 广东德生科技股份有限公司 | 一种用户认证的方法及装置 |
CN106790054A (zh) * | 2016-12-20 | 2017-05-31 | 四川长虹电器股份有限公司 | 基于人脸识别和声纹识别的交互式认证系统及方法 |
CN107094139A (zh) * | 2017-04-12 | 2017-08-25 | 黄晓咏 | 一种电话会议通讯系统 |
CN108933915A (zh) * | 2017-05-26 | 2018-12-04 | 和硕联合科技股份有限公司 | 视频会议装置与视频会议管理方法 |
CN108922538A (zh) * | 2018-05-29 | 2018-11-30 | 平安科技(深圳)有限公司 | 会议信息记录方法、装置、计算机设备及存储介质 |
CN108986826A (zh) * | 2018-08-14 | 2018-12-11 | 中国平安人寿保险股份有限公司 | 自动生成会议记录的方法、电子装置及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
胡德文等: "《生物特征识别技术与方法》", 31 December 2013 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111835529A (zh) * | 2019-04-23 | 2020-10-27 | 海能达通信股份有限公司 | 一种语音处理方法及装置 |
WO2020220546A1 (zh) * | 2019-04-30 | 2020-11-05 | 平安科技(深圳)有限公司 | 一种基于人脸识别的会议管理方法、系统和可读存储介质 |
CN110232925A (zh) * | 2019-06-28 | 2019-09-13 | 百度在线网络技术(北京)有限公司 | 生成会议记录的方法、装置和会议终端 |
WO2022016994A1 (zh) * | 2020-07-23 | 2022-01-27 | 平安科技(深圳)有限公司 | 基于ai识别的会议纪要生成方法、装置、设备及介质 |
WO2022062471A1 (zh) * | 2020-09-25 | 2022-03-31 | 华为技术有限公司 | 一种音频数据的处理方法、设备和系统 |
CN112348493A (zh) * | 2021-01-07 | 2021-02-09 | 北京电信易通信息技术股份有限公司 | 一种智能会议记录系统及方法 |
CN113193972A (zh) * | 2021-04-23 | 2021-07-30 | 上海明略人工智能(集团)有限公司 | 用于创建会议邀请信息的方法、装置、电子设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109560941A (zh) | 会议记录方法、装置、智能终端及存储介质 | |
CN108346034B (zh) | 一种会议智能管理方法及系统 | |
Czyzewski et al. | An audio-visual corpus for multimodal automatic speech recognition | |
JP7536789B2 (ja) | 分散システムにおいてユーザの好みに最適化するためのカスタマイズされた出力 | |
CN112037791B (zh) | 会议纪要转录方法、设备和存储介质 | |
CN110853646B (zh) | 会议发言角色的区分方法、装置、设备及可读存储介质 | |
WO2020237855A1 (zh) | 声音分离方法、装置及计算机可读存储介质 | |
WO2020181824A1 (zh) | 声纹识别方法、装置、设备以及计算机可读存储介质 | |
CN107274916B (zh) | 基于声纹信息对音频/视频文件进行操作的方法及装置 | |
CN110049270A (zh) | 多人会议语音转写方法、装置、系统、设备及存储介质 | |
CN110797043B (zh) | 会议语音实时转写方法及系统 | |
CN105488227B (zh) | 一种电子设备及其基于声纹特征处理音频文件的方法 | |
CN112148922A (zh) | 会议记录方法、装置、数据处理设备及可读存储介质 | |
CN111243590A (zh) | 一种会议记录的生成方法及设备 | |
WO2020147407A1 (zh) | 一种会议记录生成方法、装置、存储介质及计算机设备 | |
CN111818294A (zh) | 结合音视频的多人会议实时展示的方法、介质和电子设备 | |
CN111883168A (zh) | 一种语音处理方法及装置 | |
CN109829691B (zh) | 基于位置和深度学习多重生物特征的c/s打卡方法和装置 | |
CN107507626A (zh) | 一种基于语音频谱融合特征的手机来源识别方法 | |
WO2021120190A1 (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN107492153A (zh) | 考勤系统、方法、考勤服务器及考勤终端 | |
WO2021134720A1 (zh) | 一种会议数据处理方法及相关设备 | |
CN111626061A (zh) | 会议记录生成方法、装置、设备及可读存储介质 | |
CN113744742B (zh) | 对话场景下的角色识别方法、装置和系统 | |
CN112417412A (zh) | 一种银行账户余额查询方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190402 |