CN104836981A - 智能会议的协作方法和会议终端 - Google Patents
智能会议的协作方法和会议终端 Download PDFInfo
- Publication number
- CN104836981A CN104836981A CN201510227117.8A CN201510227117A CN104836981A CN 104836981 A CN104836981 A CN 104836981A CN 201510227117 A CN201510227117 A CN 201510227117A CN 104836981 A CN104836981 A CN 104836981A
- Authority
- CN
- China
- Prior art keywords
- meeting
- user
- multimedia messages
- conference terminal
- default
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Abstract
本发明实施例提供一种智能会议的协作方法和会议终端。该方法包括:会议终端接收远端设备发送的会议的多媒体信息;会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;会议终端确定所述用户的参会状态;若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。本发明实施例提供的方法,可以准确控制用户入会的时间,使得用户不会错过会议的内容,进而提高了用户的参会效率。
Description
技术领域
本发明实施例涉及通信技术,尤其涉及一种智能会议的协作方法和会议终端。
背景技术
对于许多工作忙碌的人来说,经常有同时参加多个会议的需求。但是一个人同时只能参加一个传统的面对面会议。电话、视频会议系统等的出现允许用户同时加入多个远程会议,但是一个人很难对多个会议的进度保持跟踪。在参加某些会议时,往往有较大一部分时间的会议内容和参会人关系不大,但参会人又必须得参加。参会人大部分时间处于听取别人的发言内容或者做不相关的事情的状态,参会者真正所关心的会议内容或会议需要参会人参与的时间较短且比较随机,因此导致参会者浪费了很多时间。
由于会议涉及到参会人的内容经常只占会议的一小部分集中的时间段,因此为了能够节省时间,参会者采用分时间段参与的方式参会,但这种方式下何时入会的时间点也比较难控制,可能上一个议题被延期或提前导致不能在正确的时间段参会,而错过参会者所关注的会议内容,从而使得参会者的参会效率不高。
发明内容
本发明实施例提供一种智能会议的协作方法和会议终端,用以解决现有技术中无法控制参会者的入会时间,导致参会者错过其所关注的会议内容进而引发参会者参会效率低下的技术问题。
第一方面,本发明实施例提供一种智能会议的协作方法,包括:
会议终端接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
所述会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种;
所述会议终端确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态;
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
结合第一方面,在第一方面的第一种可能的实施方式中,所述会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加,包括:
所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息;
若所述会议的多媒体信息中存在所述预设的会议信息,则所述会议终端确定所述会议需要所述用户参加。
结合第一方面的第一种可能的实施方式,在第一方面的第二种可能的实施方式中,所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息,还包括:
若所述会议终端确定所述会议的多媒体信息中不存在所述预设的会议信息,则所述会议终端确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息;
当所述会议的多媒体信息中存在所述第一多媒体信息时,所述会议终端根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系;
所述会议终端判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则所述会议终端确定所述会议需要所述用户参加;若否,则所述会议终端确定所述会议不需要所述用户参加。
结合第一方面的第二种可能的实施方式,在第一方面的第三种可能的实施方式中,所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息,包括:
所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果;
所述会议终端判断所述特征匹配结果是否大于预设的匹配阈值;
若是,则所述会议终端确定所述会议的多媒体信息中存在所述第一多媒体信息;
若否,则所述会议终端确定所述会议的多媒体信息中不存在所述第一多媒体信息。
结合第一方面至第一方面的第三种可能的实施方式中的任一项,在第一方面的第四种可能的实施方式中,所述方法还包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;
则所述会议终端向所述用户发送参会提醒信息,包括:
所述会议终端根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
结合第一方面至第一方面的第四种可能的实施方式中的任一项,在第一方面的第五种可能的实施方式中,所述方法还包括:
所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;
所述会议终端根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。
结合第一方面的第五种可能的实施方式,在第一方面的第六种可能的实施方式中,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
结合第一方面的第五种可能的实施方式,在第一方面的第七种可能的实施方式中,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
结合第一方面的第五种可能的实施方式,在第一方面的第八种可能的实施方式中,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
结合第一方面的第五种可能的实施方式,在第一方面的第九种可能的实施方式中,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施方式中的任一项,在第一方面的第十种可能的实施方式中,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小;
所述会议终端对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征;
所述会议终端将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度;
所述会议终端确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息;
所述会议终端将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施方式中的任一项,在第一方面的第十一种可能的实施方式中,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小;
所述会议终端根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
所述会议终端将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度;
所述会议终端确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息;
所述会议终端将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施方式中的任一项,在第一方面的第十二种可能的实施方式中,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
所述会议终端根据所述文本块的几何特征确定所述识别结果;
所述会议终端将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
结合第一方面的第十一种可能的实施方式或第一方面的第十二种可能的实施方式,在第一方面的第十三种可能的实施方式中,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,还包括:
所述会议终端对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息;
所述会议终端根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度;
所述会议终端确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息;
所述会议终端将所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
结合第一方面的第五种可能的实施方式至第一方面的第十三种可能的实施方式中的任一项,在第一方面的第十四种可能的实施方式中,所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
第二方面,本发明实施例提供一种会议终端,包括:
接收模块,用于接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
第一确定模块,用于根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种;
第二确定模块,用于确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态;
发送模块,用于在所述第一确定模块确定所述会议需要所述用户参加,且所述第二确定模块确定所述用户的参会状态为缺席状态时,向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
结合第二方面,在第二方面的第一种可能的实施方式中,所述第一确定模块,包括:
第一确定单元,用于根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息,若所述会议的多媒体信息中存在所述预设的会议信息时,确定所述会议需要所述用户参加;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。
结合第二方面的第一种可能的实施方式,在第二方面的第二种可能的实施方式中,所述第一确定模块,还包括:
第二确定单元,用于在所述第一确定单元确定所述会议的多媒体信息中不存在所述预设的会议信息时,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息,并在确定所述会议的多媒体信息中存在所述用户关注的第一多媒体信息时,根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系;
判断单元,用于判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则确定所述会议需要所述用户参加;若否,则确定所述会议不需要所述用户参加。
结合第二方面的第二种可能的实施方式,在第二方面的第三种可能的实施方式中,所述第二确定单元,具体用于对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,并判断所述特征匹配结果是否大于预设的匹配阈值;若是,则确定所述会议的多媒体信息中存在所述第一多媒体信息;若否,则确定所述会议的多媒体信息中不存在所述第一多媒体信息。
结合第二方面至第二方面的第三种可能的实施方式中的任一项,在第二方面的第四种可能的实施方式中,所述会议终端还包括:
第三确定模块,用于在所述第一确定模块确定所述会议需要所述用户参加,且所述第二确定模块确定所述用户的参会状态为缺席状态时,确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;
所述发送模块,具体用于根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
结合第二方面至第二方面的第四种可能的实施方式中的任一项,在第二方面的第五种可能的实施方式中,所述会议终端还包括:第四确定模块;
所述第四确定模块,用于根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;
则所述发送模块,还用于根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。
结合第二方面的第五种可能的实施方式,在第二方面的第六种可能的实施方式中,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
结合第二方面的第五种可能的实施方式,在第二方面的第七种可能的实施方式中,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
结合第二方面的第五种可能的实施方式,在第二方面的第八种可能的实施方式中,所述第四确定模块,具体用于若所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
结合第二方面的第五种可能的实施方式,在第二方面的第九种可能的实施方式中,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则确定所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施方式中的任一项,在第二方面的第十种可能的实施方式中,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则所述第二确定单元,具体包括:
第一检测子单元,用于对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小;
特征提取子单元,用于对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征;
第一匹配子单元,用于将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度;
第一确定子单元,用于确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息;
第二匹配子单元,用于将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施方式中的任一项,在第二方面的第十一种可能的实施方式中,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元,具体包括:
第二检测子单元,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小;
获取子单元,用于根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三匹配子单元,用于将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度;
第二确定子单元,用于确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息;
第四匹配子单元,用于将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施方式中的任一项,在第二方面的第十二种可能的实施方式中,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元,具体包括:
第三检测子单元,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三确定子单元,用于根据所述文本块的几何特征确定所述识别结果;
第五匹配子单元,用于将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
结合第二方面的第十一种可能的实施方式或第二方面的第十二种可能的实施方式,在第二方面的第十三种可能的实施方式中,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述第二确定子单元,还包括:
第四检测子单元,用于对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息;
第四确定子单元,用于根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度;
第五确定子单元,用于确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息;
第六匹配子单元,用于所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
结合第二方面的第五种可能的实施方式至第二方面的第十三种可能的实施方式中的任一项,在第二方面的第十四种可能的实施方式中,所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
本发明实施例提供的智能会议的协作方法和会议终端,会议终端根据所接收到的所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加,同时,会议终端确定用户的参会状态;当会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则会议终端向所述用户发送用于提示所述用户参加所述会议的参会提醒信息。本发明实施例提供的方法,通过会议终端确定当前会议是否需要用户参加,并结合用户当前的参会状态来确定向用户发送参会提醒信息,从而可以准确控制用户入会的时间,使得用户不会错过会议的内容,进而提高了用户的参会效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的智能会议协作机器人设备的实现框架示意图;
图2为本发明实施例提供的智能视频会议协作系统的组网示意图;
图3为本发明实施例提供的智能会议的协作方法实施例一的流程示意图;
图4为本发明实施例提供的智能会议的协作方法实施例二的流程示意图;
图5为本发明实施例提供的智能会议的协作方法实施例三的流程示意图;
图6为本发明实施例提供的智能会议的协作方法实施例四的流程示意图;
图7为本发明实施例提供的智能会议的协作方法实施例五的流程示意图;
图8为本发明实施例提供的智能会议的协作方法实施例六的流程示意图;
图9为本发明实施例提供的智能会议的协作方法实施例七的流程示意图;
图10为本发明实施例提供的智能会议的协作方法实施例八的流程示意图;
图11为本发明实施例提供的会议终端实施例一的结构示意图;
图12为本发明实施例提供的会议终端实施例二的结构示意图;
图13为本发明实施例提供的会议终端实施例三的结构示意图;
图14为本发明实施例提供的会议终端实施例四的结构示意图;
图15为本发明实施例提供的会议终端实施例五的结构示意图;
图16为本发明实施例提供的会议终端实施例六的结构示意图;
图17为本发明实施例提供的会议终端实施例七的结构示意图;
图18为本发明实施例提供的会议终端实施例八的结构示意图;
图19为本发明实施例提供的会议终端实施例九的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例涉及的方法,适用于智能视频会议协作系统,该系统可以集成在会议终端中,该会议终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant,PDA)、平板电脑、便携设备(例如,便携式计算机)或者普通的计算机(PC)等通讯设备,还可以是基于智能视频会议协作系统的智能会议协作机器人设备,该智能会议协作机器人设备的实现框架图可以参见图1所示。图1中,最底层为机器人设备的硬件层;硬件层之上为相关的设备驱动和协议栈,该协议栈可以包括网络协议栈,如无线保真(WiFi)协议栈或第三代移动通信网络(3G)协议栈、传感器协议栈等,设备驱动可以GPS驱动等;该设备驱动和协议栈之上为操作系统层;操作系统的上层为应用层,包括智能会议协作机器人的一些功能模块和智能视频会议协作系统。本发明实施例对终端的形式并不限定。
由于传统的参会过程中,需要用户全程参加会议,即使会议中只有小部分内容与用户相关,用户也必须参加整个会议,否则就有可能错过与该用户相关的那小部分内容,这使得用户的参会效率非常低下。因此,本发明可以将上述智能视频会议协作系统集成在终端中,当该集成了智能视频会议协作系统的终端在接收到远端设备发送的连接请求时,其可以代替用户(即本端的参会者)加入会议,也就是说用户可以安排该集成了智能视频会议协作系统的终端参加一个或同时参加多个会议,作为该用户在会议中的一个替身。图2为本发明实施例提供的智能视频会议协作系统的组网图。
传统的会议模式中,由参会者直接进行面对面会议或者使用音视频会议系统参加会议。在本发明实施例中,上述集成了智能视频会议协作系统的终端作为一个智能代理代替参会者参加会议。该智能视频会议协作系统可以看作是一个逻辑实体,其物理实现可以是软件,也可以是硬件设备,还可以作为一个功能模块部署在终端的会议客户端软件中。上述集成了智能视频会议协作系统的终端可以与其所代替的参会者通过图形界面、语音、视频等方式进行交互。
上述智能视频会议协作系统在部署时,可以支持同时和多个语音/视频会议进行交互,这些语音/视频会议可以由一个或多个基于硬终端或软终端的视频会议系统创建。基于智能视频会议协作系统的终端可以模拟一个参会方,能够同时从多个语音/视频会议接收视频、音频和数据信息。例如,智能视频会议协作系统本身可以实现为会议客户端软件,安装了该智能视频会议协作系统的终端可以通过网络作为一个参会方接入一个或多个视频会议;又例如,智能视频会议协作系统可以作为独立的软件和会议客户端软件部署在同一台计算机上,通过进程间通信机制和会议客户端软件进行通信,获取会议上的视频、音频和数据等信息。
本发明实施例设计的方法旨在解决现有技术中无法控制参会者的入会时间,导致参会者错过其所关注的会议内容,参会者参会效率低下的技术问题。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本发明实施例提供的智能会议的协作方法实施例一的流程示意图。本发明实施例涉及的方法的执行主体可以为集成了上述智能视频会议协作系统的终端(下述均简称为会议终端或者本端设备)。如图3所示,该方法包括:
S101:会议终端接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端。
具体的,当会议终端接收到远端设备发送的会议连接指示后,会议终端接入该会议,从而使得该会议终端可以作为一个虚拟参会者参与该会议。即,会议终端可以接收该会议的远端设备通过会议服务器发送的会议的多媒体信息,该会议的多媒体信息可以包括语音信息、图像信息和文本信息中的至少一种。可选的,上述图像信息可以是远端设备通过视频的形式传送给会议终端的,上述图像信息可以为会议中参会者的人脸信息,还可以为会议中涉及的其他图片的信息(例如,会议中所共享的胶片中涉及的图片),上述文本信息可以为会议中所共享的胶片中的文本内容。
S102:会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种。
具体的,当上述会议终端接收到会议的多媒体信息后,会议终端根据该会议的多媒体信息和预设的多媒体内容确定当前的会议是否需要用户参加。该预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种。可选的,会议终端根据会议的多媒体信息和预设的多媒体内容确定当前的会议是否需要用户参加,可以是会议终端确定会议的多媒体信息与预设的多媒体内容的相关度,根据该相关度的大小来确定当前会议是否需要用户参加;还可以是会议终端确定上述预设的多媒体内容在会议的多媒体信息中所占的比例,根据该比例的大小来确定当前会议是否需要用户参加;还可以是会议终端确定会议的多媒体信息是否存在上述预设的多媒体内容中的任一种,来确定当前会议是否需要用户参加。总之,本发明实施例只要能够根据会议的多媒体信息和预设的多媒体内容确定所述会议是否需要用户参加即可,至于采用哪一种确定方式,本发明实施例对此并不做限定。
可选的,上述用户关注的图像内容的关联信息可以是与用户所关注的图像内容相关的信息,例如,用户关注的图像内容是人脸图像,则预设的多媒体内容中包括的用户关注的图像内容的关联信息就可以是与该人脸信息对应的身份信息。
可选的,上述预设的多媒体内容可以预设在会议终端内部的存储器中,也可以预设在与会议终端连接的外部设备中,当会议终端获得会议的多媒体信息后,可以从外部设备中调用预设的多媒体内容进行判断(这样可以减缓会议终端内部存储器的缓存压力)。
S103:终端确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态。
可选的,会议终端可以根据是否检测到用户说话的声音来确定用户是否参会,还可以通过摄像机是否能够拍摄到用户的图像来判断用户是否参会或者判断用户是否处于会议环境中。可选的,用户的参会状态可以包括用户当前为缺席状态(即用户当前在会议环境中但没有参会会议讨论或者用户不在会议环境中)或用户参会冲突状态,用户的参会状态还可以包括用户当前正在参与会议讨论。需要说明的是,上述“用户处于会议环境中”可以为会议终端代替用户接入会议后,用户本人并没有关注会议的内容,而是在做其他重要的事情,只要摄像机可以拍到用户的图像,则就认为用户处于会议环境中;“用户为缺席状态”可以为会议终端代替用户接入会议,用户本人当前在会议环境中但没有参会会议讨论,也可以为用户当前不在会议环境中;对于“用户是否参会讨论”可以为通过麦克风或者声音检测软件来检测是否接收到用户的声音来确定用户是否参与讨论;对于上述“用户参会冲突状态”可以为当前会议需要用户参加,但用户此时正在参加别的会议,则会议终端就会确定用户的参会状态为用户参会冲突状态,例如,对于音频会议,会议终端确定当前会议需要用户参加,但会议终端此时检测到麦克风已经打开,用户已经在参与别的会议讨论了,则会议终端就认为用户的参会状态为用户参会冲突状态。
需要说明的是,上述S102和S103之间并没有先后顺序,二者也可以同时进行。
S104:若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
可选的,会议终端向用户发送的参会提醒信息的形式可以是任意的形式,只要能够通知用户及时参加所述会议即可,本发明实施例中对参会提醒信息的形式并不做限制。
本发明实施例提供的智能会议的协作方法,会议终端根据所接收到的所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加,同时,会议终端确定用户的参会状态;当会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则会议终端向所述用户发送用于提示所述用户参加所述会议的参会提醒信息。本发明实施例提供的方法,通过会议终端确定当前会议是否需要用户参加,并结合用户当前的参会状态来确定向用户发送参会提醒信息,从而可以准确控制用户入会的时间,使得用户不会错过会议的内容,进而提高了用户的参会效率。
图4为本发明实施例提供的智能会议的协作方法实施例二的流程示意图。本实施例涉及的是会议终端根据会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加的具体过程。在上述实施例的基础上,上述S102具体包括:
S201:会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。若是,则执行S202,若否,则执行S203。
可选的,上述预设的多媒体内容可以包括预设的会议信息,该预设的会议信息可以是音频形式的信息,还可以是视频形式的信息,还可以是图像信息的形式,还可以是文本信息的形式,还可以是以上形式中的两种或两种以上结合的形式。该预设的会议信息为需要用户参加当前会议的信息,也就是说只要会议终端确定出会议的多媒体信息中存在上述预设的多媒体内容中的预设的会议信息,就可以确定出当前的会议需要用户参加。
可选的,会议终端可以通过确定会议的多媒体信息是否与预设的多媒体内容中的预设的会议信息完全相同或者大部分相同,来确定会议的多媒体信息中是否存在上述预设的会议信息,例如,会议终端可以通过判断会议的多媒体信息与预设的会议信息的相似度,当相似度大于某一设定的阈值时,就可以确定会议的多媒体信息中存在上述预设的会议信息。又例如,该预设的会议信息可以是用户的名字XXX,当会议终端检测到会议的多媒体信息中包括“由XXX讲述会议相关内容”的语音时,会议终端就确定该会议需要用户参加;再例如,该预设的会议信息可以是用户预设的自己在该会议里需要讲述的议题A,那么当会议终端检测到会议的多媒体信息中包括A时,会议终端就确定该会议需要用户参加。总而言之,本发明实施例对上述预设的会议信息的表现形式并不做限定,只要其能够表征当前会议需要用户参加即可。
S202:会议终端确定所述会议需要所述用户参加。
S203:会议终端确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息。若是,则执行S204,若否,则执行S207。
具体的,当会议终端确定会议的多媒体信息中不存在上述预设的会议信息时,则会议终端进一步确定该会议的多媒体信息中是否存在用户的关注的第一多媒体信息。具体的,会议终端确定会议的多媒体信息中是否存在用户的关注的第一多媒体信息,可以参见图5所示的实施例三,具体包括如下步骤:
S301:会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果。
具体的,当会议终端接收到远端设备发送的会议的多媒体信息后,对该会议的多媒体信息进行检测识别,确定出会议终端可识别的文本信息或者字符串或者图片信息等,作为识别结果。需要说明的是,不同形式的会议的多媒体信息,会议终端所采取的检测识别方式可以不同。例如,当上述会议的多媒体信息仅包括图像信息时,则会议终端会提取该图像的特征参数,以使会议终端可以根据图像的特征参数确定图像的内容,从而得到识别结果。可选的,该图像信息的特征参数可以为图像的亮度、饱和度、颜色、几何特征、分辨率、像素特征等;当上述会议的多媒体信息包括音频信息时,会议终端会根据语音识别技术确定该音频信息中语音的实际含义,得到识别结果。
待会议终端获得会议的多媒体信息的识别结果后,会议终端将该识别结果与预设的多媒体内容进行特征匹配,获得特征匹配结果。该特征匹配结果可以为上述识别结果与预设的多媒体内容中的图像内容、文本内容的相同或者相关或者相近的程度(即匹配度或相关度)。
S302:会议终端判断所述特征匹配结果是否大于预设的匹配阈值;若是在,则执行S303,若否,则执行S304。
具体的,会议终端确定上述特征匹配结果可以为上述识别结果与预设的多媒体内容相同或者相关或者相近的程度(即匹配度或相关度),并判断该相关度或者匹配度是否大于预设的匹配阈值(匹配度或相关度超过匹配阈值越多,说明该识别结果与预设的多媒体内容越相关),并根据判断结果确定上述会议的多媒体信息中是否存在用户关注的第一多媒体信息。
S303:会议终端确定所述会议的多媒体信息中存在所述第一多媒体信息。
具体的,若上述特征匹配结果大于预设的匹配阈值,则会议终端确定会议的多媒体信息中存在上述第一多媒体信息,该第一多媒体信息可以为用户关注的图像数据或者用户关注的文本信息或者用户关注的音频信息等。
可选的,当会议终端确定出上述会议的多媒体信息中存在用户关注的第一多媒体信息后,会议终端可以根据一定的策略对用户关注的第一多媒体信息(例如,用户关注的图像信息、语音信息、文本信息)进行格式转换或压缩等处理,并保存处理后的第一多媒体信息,方便用户后期查看。例如:当会议终端确定出第一多媒体信息为用户关注的图像信息或用户关注的语音信息后,可以将第一多媒体信息录制为文件进行保存,用户可以对这些文件进行检索和点播;又例如,当会议终端确定出第一多媒体信息为用户关注的文本信息后,会议终端可以将文本信息直接保存为文件;再例如,当会议终端确定出第一多媒体信息为用户关注的音频信息后,会议终端可以将该音频数据转化为文本形式的会议纪要进行保存。
S304:会议终端确定所述会议的多媒体信息中不存在所述第一多媒体信息。
综上,上述S301至S304具体描述了会议终端如何确定会议的多媒体信息中是否存在用户关注的第一多媒体信息的过程。
S204:会议终端根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系。
具体的,继上述S203之后,当会议终端确定会议的多媒体信息中存在用户关注的第一多媒体信息后,会议终端根据该第一多媒体信息和第一映射关系确定该第一多媒体信息的用户关注度,上述第一映射关系可以为上述预设的多媒体内容中的不同内容与用户关注度的对应关系,可选的,上述第一映射关系中,上述预设的多媒体内容中的不同内容可以对应不同的用户关注度,还可以为预设的多媒体内容中的部分不同的内容对应相同的用户关注度。
可选的,上述第一映射关系可以预设在会议终端内部的存储器中,也可以预设在与会议终端连接的外部设备中,当会议终端确定会议的多媒体信息中存在第一多媒体信息时,可以从外部设备中调用该第一映射关系来确定第一多媒体信息的用户关注度(这样可以减缓会议终端内部存储器的缓存压力)。
S205:会议终端判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则执行S206,若否,则执行S207。
S206:会议终端确定所述会议需要所述用户参加。
S207:会议终端确定所述会议不需要所述用户参加。
具体的,当会议终端确定了上述第一多媒体信息的用户关注度之后,判断该第一多媒体信息的用户关注度是否大于预设的用户关注度阈值,当第一多媒体信息的用户关注度大于上述预设的用户关注度阈值时,则会议终端确定当前会议需要用户参加,当第一多媒体信息的用户关注度小于或等于上述预设的用户关注度阈值时,则会议终端确定当前会议不需要用户参加。
本发明实施例提供的智能会议的协作方法,通过会议终端接收远端设备发送的会议的多媒体信息,并根据所述会议的多媒体信息和预设的多媒体内容,确定会议的多媒体信息中是否存在预设的会议信息,并在判断不存在预设的会议信息时,进一步确定会议的多媒体信息中是否存在用户关注的第一多媒体信息,并在存在第一多媒体信息的情况下,通过确定该第一多媒体信息的用户关注度和预设的用户关注度阈值的大小,来确定当前会议是否需要用户参加。本发明实施例提供的方法,通过会议终端确定当前会议是否需要用户参加,并结合用户当前的参会状态来确定向用户发送参会提醒信息,从而可以准确控制用户入会的时间,使得用户不会错过会议的内容,进而提高了用户的参会效率;另外,上述会议终端不仅可以识别会议中的用户所关注的音频内容,还可以识别会议中用户所关注的图像内容、文本内容等第一多媒体信息,从而使得用户在需要查看自己所缺席的会议的会议内容时,可以获得比较全面的会议信息,进一步提高了提高用户的参会效率。
在上述实施例的基础上,可选的,在上述S104之前,该方法还可以包括:若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;则上述S104具体为:会议终端根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
可选的,会议终端确定向用户发送的参会提醒信息的形式,可以包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种。例如,当用户处于会议环境中但并没有参与讨论(比如用户处于计算机的显示屏正前方,虽然处于会议环境中,但用户却在做其他的事情,这种情况用户的参会状态也是缺席状态),因此会议终端可以为通过特殊的界面、特殊的颜色或界面闪烁等方式提醒用户;或者,会议终端可以通过播放一段视频或音频提醒用户,可选的,所播放的视频或音频可以是会议终端识别的用户感兴趣的音频数据或视频数据,也可以是会议终端内部生成或会议终端从外部设备调用的音频数据或视频数据;当用户不在会议环境中时(比如用户并没有在摄像机可以拍摄得到的范围内,或者用户并未处在计算机的显示屏前方),会议终端可以通过短信、邮件和其他即时消息的形式提醒用户参与会议讨论。
图6为本发明实施例提供的智能会议的协作方法实施例四的流程示意图。本实施例涉及的是当终端代替用户参会时,检测到会议需要用户参会,向用户的对端设备发送反馈数据的具体过程。可选的,图6中的方法可以与上述实施例中的S104之间并没有时序关系的限制,二者可以同时进行。在上述实施例的基础上,进一步地,在上述S103之后,该方法还包括:
S401:会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型。
S402:会议终端根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。
具体的,该反馈策略所指示的会议终端向远端设备发送反馈数据的类型,可以包括下述的第一反馈数据、第二反馈数据、第三反馈数据和第四反馈数据中的任一种类型。可选的,会议终端可以根据上述会议是否需要用户参加和用户的参会状态构建决策树,进行决策树学习得到反馈策略。可选的,上述反馈数据可以为用户预设的反馈内容,还可以为根据上述反馈策略和用户预设的反馈内容生成的数据,该反馈数据可以包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。可选的,上述反馈策略还可以用于指示反馈数据的形式。例如,若用户预设的反馈数据为图像数据,但是反馈策略中指示反馈数据的形式应该为文本格式,则会议终端就会将用户预设的图像格式的反馈数据转换为文本格式,进而发送给远端设备。
上述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,可以包括下述四种方式:
第一种:若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
具体的,当会议终端确定用户的参会状态为缺席状态,且会议终端确定当前会议需要用户参加,则会议终端确定出反馈策略为向其他会场的设备(即远端设备)发送第一反馈数据,该第一反馈数据用于向其他会场的设备指示所述会议终端正在通知所述用户加入所述会议。可选的,会议终端向其他会场的设备发送的第一反馈数据,可以是向其他会场发送告知用户当前为缺席状态且正在通知用户及时参加会议的提示信息,该提示信息可以是文本、语音或视频片段。例如,在其它会场所显示的图像上叠加提示文本信息,或者,在发送给其它会场的音频流中混入提示语音,或者,在发送给其它会场的图像上叠加提示图像等。
第二种:若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
具体的,会议终端内部可以有用户预设的参会讨论的第二反馈数据,该第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。在一些场景下,用户预先知道自己在本次会议中会涉及到哪些议题的讨论或者发表哪些自己观点,故用户可以预先录制音频或视频文件,或者预先存储相关的文本信息(例如共享的胶片)等文件作为第二反馈数据,则当会议终端确定用户的参会状态为缺席状态,且确定会议需要用户参会讨论时,会议终端确定出反馈策略为向其他会场的设备反馈用户预设的第二反馈数据。
第三种:若所述会议终端确定所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
具体的,当会议终端确定用户的参会状态为缺席状态(即用户当前在会议环境中但没有参会讨论或者用户不在会议环境中),且会议终端确定当前的会议需要用户参加,则会议终端可以确定反馈策略为向其他会场的设备发送第三反馈数据。该第三反馈数据用于向所述远端设备指示所述用户正在参会。可选的,该第三反馈数据可以为一个静态的用户图像,或者是一段用户在会议室中的视频,进而可以使得其它会场的参会者认为用户处于会议环境中且正在参加当前会议。
第四种:若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
具体的,会议终端可以检测用户参与多个会议是否存在冲突,在冲突发生时,会议终端确定用户的参会状态为用户参会冲突状态,并且,当会议终端同时也确定此时用户正在参加其他会议,无法及时参加当前需要用户参加的会议,则会议终端确定出反馈策略为向当前会议的会场发送第四反馈数据,以告知当前会场用户当前的状态,或者提示当前会场的参会者等待一段时间或者先进行其他的会议环节,与此同时,会议终端可以记录这些会场当前的会议内容(例如其他参会者的发言内容),待用户本人后续参与时能够先了解其他参会人的发言内容,从而能够快速融入会议。可选的,该第四反馈数据的形式可以是音频、视频或文本的形式,本发明实施例对此并不做限制。
需要说明的是,当用户本人加入会议后,用户会代替会议终端得到会议的控制权,此时会议终端不再模拟用户参会,而是发送用户真实的实时音视频等数据流给其它参会方。当用户离开会议讨论时,会议终端再次可以代替用户参加会议。例如,会议终端代替用户参加3个会议,后来其中1个会议需要用户参加,则会议终端向用户发送参会提醒信息通知用户参加该会议,则用户在接收到参会提醒信息后,接管该会议(即用户本人参加该会议),可选的,对于视频会议而言,会议终端发送参会提醒信息后,检测到摄像头拍摄到了用户的真实视频或检测到了用户入会的某些实际操作(例如用户点击了某个控件),则会议终端就会将上述发送给远端设备的第三反馈数据(例如录制的一段用户在会议室中的视频)变成摄像头拍摄的实时视频。
本发明实施例提供的智能会议的协作方法,会议终端通过检测用户是否参会,获得用户的参会状态,并根据用户的参会状态和当前会议是否需要用户参加,确定向远端设备(或者其他会场)发送相应类型的反馈数据以及确定向用户发送参会提醒信息,从而使得用户可以及时入会,与其他会场的参会者进行交互,因此,本发明实施例提供的方法,可以避免用户错过与自己相关的会议内容,提高了用户的参会效率;另外,会议终端不仅可以识别会议中的用户所关注的音频内容,还可以识别会议中用户所关注的图像内容和文本内容等第一多媒体信息,从而使得用户在需要查看自己所缺席的会议的会议内容时,可以获得比较全面的会议信息,故进一步提高了用户的参会效率。
图7为本发明实施例提供的智能会议的协作方法实施例五的流程示意图。本实施例涉及的是当用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息,会议终端获得特征匹配结果的具体过程。在上述实施例的基础上,上述S301具体包括:
S501:会议终端对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小。
具体的,会议终端可以对接收到的会议的多媒体信息进行检测,一般的,该会议的多媒体信息可以为一段视频图像,会议终端可以在视频图像中识别出所有参会者在视频图像中的人脸位置和人脸大小。会议终端对会议的多媒体信息进行的人脸检测,基于的是视频图像中包含的人脸的模式特征,例如直方图特征、颜色特征、模板特征、结构特征及哈尔(Haar)特征等,即,会议终端可以通过图像处理技术可以将这些模式特征检测出来,并利用这些特征确定人脸位置和人脸大小。
S502:会议终端对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征。
具体的,当会议终端从会议的多媒体信息中确定出所有参会者的人脸位置和人脸大小后,会议终端根据所确定的这些参会者的人脸位置和人脸大小进行特征提取,特征提取的过程实际上是对人脸进行特征建模的过程,例如,可以利用几何特征的方法。由于人脸是由眼睛、鼻子、嘴、下巴等局部构成,因此对这些局部和它们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征。根据人脸器官的形状描述以及两者之间的距离特性可以获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等。会议终端根据几何特征的方法,可以确定出所有参会者的人脸特征。
S503:会议终端将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度。
具体的,在会议终端获得所有参会者的人脸特征后,会议终端可以将这些人脸特征与预设的人脸信息库进行匹配,确定每个参会者的人脸特征与预设的人脸信息库的人脸信息的第一匹配度。可选的,该预设的人脸信息库可以为用户通过一些加载软件将涉及的参会概率高的用户的人脸以及其他信息加载在会议终端的处理器中。该预设的人脸信息库可以包括多个人脸信息,每个人脸信息对应一个参会者的身份信息。例如,假设会议终端从会议的多媒体信息中确定了4个参会者的人脸特征,然后会议终端将这4个参会者(A、B、C、D)的人脸特征与人脸信息库中的每个人脸信息进行匹配,确定各自的第一匹配度。
S504:会议终端确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息。
具体的,继续按照上述举例,假设会议终端确定参会者A的人脸特征与人脸信息库中的A’的人脸信息的第一匹配度大于第一阈值,参会者B、参会者C和参会者D与人脸信息库中的所有人脸信息匹配后,其第一匹配度均小于第一阈值,则会议终端确定识别结果为人脸信息库中的A’的人脸信息对应的参会者的身份信息。
可选的,上述S503和S504的执行主体也可以是与会议终端可以进行通信的网络设备,例如网络服务器等,即终端将每个参会者的人脸特征发送给网络设备,由网络设备将每个参会者的人脸特征与网络设备上预设的人脸信息库进行匹配,获得第一匹配度,并确定最终的识别结果为人脸信息库中的第一匹配度大于预设的第一阈值的参会者的身份信息,从而将该人脸信息库中的第一匹配度大于预设的第一阈值的参会者的身份信息发送给会议终端。
S505:会议终端将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
具体的,继续按照上述举例,会议终端判断上述A’的人脸信息对应的参会者的身份信息是否与预设的多媒体内容中的第一参会者的身份信息匹配,即判断上述A’的人脸信息对应的参会者的身份信息是否与第一参会者的身份信息相同或者相近,从而获得特征匹配结果,并根据特征匹配结果确定当前会议是否需要用户参加。需要说明的是,会议终端根据特征匹配结果确定当前会议是否需要用户参加可以参见上述实施例二和实施例三中的描述,在此不再赘述。
图8为本发明实施例提供的智能会议的协作方法实施例六的流程示意图。在上述实施例的基础上,本实施例涉及的是当用户关注的第一多媒体信息包括所述会议中的第一文本信息,用户关注的文本内容为所述第一文本信息时,会议终端获得特征匹配结果的具体过程。在上述实施例的基础上,上述S301具体包括:
S601:会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小。
S602:会议终端根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块。
具体的,会议终端可以对接收到的会议的多媒体信息进行检测,一般的,该会议的多媒体信息可以为一段视频图像,会议终端可以在视频图像中检测出视频图像中存在的所有文本块区域的位置和大小,进而确定出会议的多媒体信息中的所有文本块。可选的,会议终端可以利用基于纹理的方法、或者基于边缘检测的方法或者基于连通域的方法,来进行文本块区域的位置和大小的检测。例如,基于纹理的方法主要是通过基于背景与字符纹理特性的差异来获取文本块在视频图像中的位置和大小,进而获得会议的多媒体信息中的所有文本块。
S603:会议终端将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度。
S604:会议终端确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息。
具体的,会议终端可以通过模板匹配法,将上述确定的会议的多媒体信息中的所有文本块中的文字与预设的文本信息库进行相关匹配,计算文本块中的文字与预设的文本信息库中各个文本信息之间的第二匹配度,并将文本信息库中与文本块中的文字的第二匹配度大于预设的第二阈值的文本信息作为识别结果。需要说明的是,上述文本信息库中的文本信息是会议终端可识别的文本信息(例如会议终端可识别的字符串),但上述文本块中的文字却是会议终端识别不了的,因此,会议终端需要通过上述模板匹配法,从文本信息库中找到与文本块的文字具有相同或者相近含义的文本信息(即第二匹配度大于第二阈值的文本信息),将其作为识别结果。
S605:会议终端将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
具体的,会议终端将上述文本信息库中的第二匹配度大于预设的第二阈值的文本信息与预设的多媒体内容中的所述第一文本信息匹配,即判断上述文本信息库中的第二匹配度大于预设的第二阈值的文本信息与预设的多媒体内容中的所述第一文本信息是否相同或相近,从而确定出特征匹配结果,并根据特征匹配结果确定当前会议是否需要用户参加。需要说明的是,会议终端根据特征匹配结果确定当前会议是否需要用户参加可以参见上述实施例二和实施例三的具体描述,在此不再赘述。
图9为本发明实施例提供的智能会议的协作方法实施例七的流程示意图。在上述实施例的基础上,本实施例涉及的是当用户关注的第一多媒体信息包括所述会议中的第一文本信息,用户关注的文本内容为所述第一文本信息时,会议终端获得特征匹配结果的另一具体过程。在上述实施例的基础上,上述S301具体包括:
S701:会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块。
具体的,S701可以参见上述S601的描述过程,在此不再赘述。
S702:会议终端根据所述文本块的几何特征确定所述识别结果。
具体的,会议终端可以通过几何特征抽取法,抽取文本块中的文字的一些几何特征,如文字的端点、分叉点、凹凸部分以及水平、垂直、倾斜等各方向的线段、闭合环路等,根据这些特征的位置和相互关系进行逻辑组合判断,确定出会议终端可识别的文本信息,作为识别结果。
S703:会议终端将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
具体的,会议终端通过上述通过几何特征抽取法,将文本块的文字转换为会议终端可识别的文本信息后,将该文本信息与预设的多媒体内容中的所述第一文本信息匹配,即判断该文本信息与预设的多媒体内容中的所述第一文本信息是否相同或相近,从而确定出特征匹配结果,并根据特征匹配结果确定当前会议是否需要用户参加。需要说明的是,会议终端根据特征匹配结果确定当前会议是否需要用户参加可以参见上述实施例二和实施例三中的描述,在此不再赘述。
图10为本发明实施例提供的智能会议的协作方法实施例八的流程示意图。在上述实施例的基础上,本实施例涉及的是当用户关注的第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息时,会议终端获得特征匹配结果的另一具体过程。在上述实施例的基础上,上述S301具体包括:
S801:会议终端对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息。
具体的,本实施例涉及的方法是用户关注的第一多媒体信息不再是文本信息或参会者的人脸信息,而是会议的多媒体信息中除这两者之外的与上述实施例七中的第一文本信息相关的第一数据信息。可选的,当第一文本信息为对某一个图片的描述信息时,该第一数据信息实际上就为第一文本信息所描述的图片的相关内容,例如,当第一文本信息描述的是一副图片的颜色时,则第一数据信息就可以是该图片的颜色深度或者亮度等特征;当第一文本信息为一段GUI界面的介绍时,第一数据信息就可以为该GUI界面的颜色、亮度或者大小等属性信息。
S802:会议终端根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度。
S803:会议终端确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息。
具体的,当会议终端从上述会议的多媒体信息中确定除所述文本类型、所述参会者人脸类型之外其他数据信息后,判断所述其他数据信息与所述第一文本信息是否相关,确定其相关度,并将所述其他数据信息中相关度大于预设的第三阈值的数据信息作为识别结果。例如,当第一数据信息为用户关注的第一文本信息(假设为一段艺术字)的亮度,则若会议终端从会议的多媒体信息中确定的除文本类型、参会者人脸类型之外的有一个数据信息为艺术字的亮度或颜色的,则会议终端确定的二者的相关度大于第三阈值,则会议终端就将该数据信息作为识别结果。
S804:会议终端将所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
本发明实施例提供的智能会议的协作方法,会议终端通过检测用户是否参会,获得用户的参会状态,并根据用户的参会状态和当前会议是否需要用户参加,确定向远端设备(或者其他会场)发送相应类型的反馈数据以及确定向用户发送参会提醒信息,从而使得用户可以及时入会,与其他会场的参会者进行交互,因此,本发明实施例提供的方法,可以避免用户错过与自己相关的会议内容,提高了用户的参会效率;另外,会议终端不仅可以识别会议中的用户所关注的音频内容,还可以识别会议中用户所关注的图像内容和文本内容等第一多媒体信息,从而使得用户在需要查看自己所缺席的会议的会议内容时,可以获得比较全面的会议信息,故进一步提高了用户的参会效率。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图11为本发明实施例提供的会议终端实施例一的结构示意图,如图11所示,该会议终端可以包括接收模块10、第一确定模块11、第二确定模块12和发送模块13。
其中,接收模块10,用于接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
第一确定模块11,用于根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种;
第二确定模块12,用于确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态;
发送模块13,用于在所述第一确定模块11确定所述会议需要所述用户参加,且所述第二确定模块12确定所述用户的参会状态为缺席状态时,向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图12为本发明实施例提供的会议终端实施例二的结构示意图。在上述图11所示实施例的基础上,进一步地,如图12所示,所述第一确定模块11,包括:第一确定单元111,用于根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息,若所述会议的多媒体信息中存在所述预设的会议信息时,确定所述会议需要所述用户参加;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。
更进一步地,所述第一确定模块11,还包括:第二确定单元112和判断单元113。其中,所述第二确定单元112,用于在所述第一确定单元111确定所述会议的多媒体信息中不存在所述预设的会议信息时,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息,并在确定所述会议的多媒体信息中存在所述用户关注的第一多媒体信息时,根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系;所述判断单元113,用于判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则确定所述会议需要所述用户参加;若否,则确定所述会议不需要所述用户参加。
更进一步地,所述第二确定单元112,具体用于对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,并判断所述特征匹配结果是否大于预设的匹配阈值;若是,则确定所述会议的多媒体信息中存在所述第一多媒体信息;若否,则确定所述会议的多媒体信息中不存在所述第一多媒体信息。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图13为本发明实施例提供的会议终端实施例三的结构示意图。在上述图11或图12所示实施例的基础上,进一步地,如图13所示,所述会议终端还包括:第三确定模块14,用于在所述第一确定模块11确定所述会议需要所述用户参加,且所述第二确定模块12确定所述用户的参会状态为缺席状态时,确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;
则所述发送模块13,具体用于根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
需要说明的是,图13示出的指示基于图12所示的实施例的结构,当然,图13也可以基于图11所示的实施例,本发明只是示出了其中的一种。
图14为本发明实施例提供的会议终端实施例四的结构示意图。在上述图11或图12或图13所示实施例的基础上,进一步地,如图14所示,所述会议终端还包括:第四确定模块15,用于根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;
则所述发送模块13,还用于根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
可选的,所述第四确定模块15,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
可选的,所述第四确定模块15,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
可选的,所述第四确定模块15,具体用于若所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
可选的,所述第四确定模块15,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则确定所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
需要说明的是,图14示出的指示基于图13所示的实施例的结构,当然,图14也可以基于图11或图12所示的实施例,本发明只是示出了其中的一种。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图15为本发明实施例提供的会议终端实施例五的结构示意图。在上述图12或图13或图14所示实施例的基础上,进一步地,如图15所示,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则上述第二确定单元112,具体包括:第一检测子单元1121、特征提取子单元1122、第一匹配子单元1123、第一确定子单元1124和第二匹配子单元1125。
其中,第一检测子单元1121,用于对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小;
特征提取子单元1122,用于对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征;
第一匹配子单元1123,用于将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度;
第一确定子单元1124,用于确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息;
第二匹配子单元1125,用于将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
需要说明的是,图15示出的指示基于图14所示的实施例的结构,当然,图15也可以基于图12或图13所示的实施例,本发明只是示出了其中的一种。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图16为本发明实施例提供的会议终端实施例六的结构示意图。在上述图12或图13或图14所示实施例的基础上,进一步地,如图16所示,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元112,具体包括:第二检测子单元1126、获取子单元1127、第三匹配子单元1128、第二确定子单元1129和第四匹配子单元1130。
其中,第二检测子单元1126,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小;
获取子单元1127,用于根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三匹配子单元1128,用于将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度;
第二确定子单元1129,用于确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息;
第四匹配子单元1130,用于将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
需要说明的是,图16示出的指示基于图14所示的实施例的结构,当然,图16也可以基于图12或图13所示的实施例,本发明只是示出了其中的一种。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图17为本发明实施例提供的会议终端实施例七的结构示意图。在上述图12或图13或图14所示实施例的基础上,进一步地,如图17所示,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元112,具体包括:第三检测子单元1131、第三确定子单元1132和第五匹配子单元1133。
其中,第三检测子单元1131,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三确定子单元1132,用于根据所述文本块的几何特征确定所述识别结果;
第五匹配子单元1133,用于将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
需要说明的是,图17示出的指示基于图14所示的实施例的结构,当然,图17也可以基于图12或图13所示的实施例,本发明只是示出了其中的一种。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图18为本发明实施例提供的会议终端实施例八的结构示意图。在上述图12至图17任一所示实施例的基础上,进一步地,如图18所示,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述第二确定子单元1129,包括:第四检测子单元1134、第四确定子单元1135、第五确定子单元1136和第六匹配子单元1137。
其中,第四检测子单元1134,用于对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息;
第四确定子单元1135,用于根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度;
第五确定子单元1136,用于确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息;
第六匹配子单元1137,用于所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
需要说明的是,图18示出的指示基于图14所示的实施例的结构,当然,图18也可以基于图12或图13或图16或图17任一所示的实施例,本发明只是示出了其中的一种。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
图19为本发明实施例提供的会议终端实施例九的结构示意图。如图19所示,该会议终端可以包括处理器20,例如CPU;存储器21,至少一个通信总线22。通信总线22用于实现元件之间的通信连接。存储器21可能包含高速RAM存储器,也可能还包括非易失性存储器NVM,例如至少一个磁盘存储器,存储器21中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
在本发明实施例中,上述会议终端还包括:接收器23和发送器24。
其中,所述接收器23,用于接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
所述处理器20,用于根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加,并确定所述用户的参会状态;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种,所述用户的参会状态包括缺席状态或用户参会冲突状态;
所述发送器24,用于在所述处理器20确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态时,向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
进一步地,所述处理器20,具体用于根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息;若所述会议的多媒体信息中存在所述预设的会议信息,则确定所述会议需要所述用户参加;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。
进一步地,所述处理器20,还用于在所述会议的多媒体信息中不存在所述预设的会议信息时,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息;当所述会议的多媒体信息中存在所述第一多媒体信息时,根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度,并判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则确定所述会议需要所述用户参加;若否,则确定所述会议不需要所述用户参加;其中,所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系。
更进一步地,所述处理器20,具体用于对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,并判断所述特征匹配结果是否大于预设的匹配阈值;若是,则确定所述会议的多媒体信息中存在所述第一多媒体信息;若否,则确定所述会议的多媒体信息中不存在所述第一多媒体信息。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
可选的,所述处理器20,还用于在所述会议需要所述用户参加,且所述用户的参会状态为缺席状态时,确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;则所述发送器24,具体用于根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
可选的,所述处理器20,还可以用于根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;则所述发送器24,还用于根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
可选的,所述处理器20,具体用于在所述会议需要所述用户参加,且所述用户的参会状态为缺席状态时,确定所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
可选的,所述处理器20,具体用于在所述会议需要所述用户参加,且所述用户的参会状态为缺席状态时,确定所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
可选的,所述处理器20,具体用于在所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态时,确定所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
可选的,所述处理器20,具体用于在所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态时,确定所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
作为本发明实施例的一种可能的实施方式,可选的,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则所述处理器20,具体用于对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小,并对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征,并将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度,进而确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息,并将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
作为本发明实施例的另一种可能的实施方式,可选的,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,所述处理器20,具体用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,并根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块,并将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度,进而确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息,并将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
作为本发明实施例的第三种可能的实施方式,可选的,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述处理器20,具体用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块,并根据所述文本块的几何特征确定所述识别结果,并将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
作为本发明实施例的第四种可能的实施方式,进一步地,在上述第三种可能的实施方式或第四种可能的实施方式的基础上,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述处理器20,具体用于对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息,并根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度,并确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息,进而将所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
本发明实施例提供的会议终端,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (30)
1.一种智能会议的协作方法,其特征在于,包括:
会议终端接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
所述会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种;
所述会议终端确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态;
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
2.根据权利要求1所述的方法,其特征在于,所述会议终端根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加,包括:
所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息;
若所述会议的多媒体信息中存在所述预设的会议信息,则所述会议终端确定所述会议需要所述用户参加。
3.根据权利要求2所述的方法,其特征在于,所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息,还包括:
若所述会议终端确定所述会议的多媒体信息中不存在所述预设的会议信息,则所述会议终端确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息;
当所述会议的多媒体信息中存在所述第一多媒体信息时,所述会议终端根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系;
所述会议终端判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则所述会议终端确定所述会议需要所述用户参加;若否,则所述会议终端确定所述会议不需要所述用户参加。
4.根据权利要求3所述的方法,其特征在于,所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息,包括:
所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果;
所述会议终端判断所述特征匹配结果是否大于预设的匹配阈值;
若是,则所述会议终端确定所述会议的多媒体信息中存在所述第一多媒体信息;
若否,则所述会议终端确定所述会议的多媒体信息中不存在所述第一多媒体信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;
则所述会议终端向所述用户发送参会提醒信息,包括:
所述会议终端根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;
所述会议终端根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。
7.根据权利要求6所述的方法,其特征在于,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
8.根据权利要求6所述的方法,其特征在于,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
9.根据权利要求6所述的方法,其特征在于,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
10.根据权利要求6所述的方法,其特征在于,所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略,包括:
若所述会议终端确定所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则所述会议终端确定的所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
11.根据权利要求3-10任一项所述的方法,其特征在于,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小;
所述会议终端对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征;
所述会议终端将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度;
所述会议终端确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息;
所述会议终端将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
12.根据权利要求3-10任一项所述的方法,其特征在于,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小;
所述会议终端根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
所述会议终端将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度;
所述会议终端确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息;
所述会议终端将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
13.根据权利要求3-10任一项所述的方法,其特征在于,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,具体包括:
所述会议终端对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
所述会议终端根据所述文本块的几何特征确定所述识别结果;
所述会议终端将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
14.根据权利要求12或13所述的方法,其特征在于,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述会议终端对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,还包括:
所述会议终端对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息;
所述会议终端根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度;
所述会议终端确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息;
所述会议终端将所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
15.根据权利要求6-14任一项所述的方法,其特征在于,所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
16.一种会议终端,其特征在于,包括:
接收模块,用于接收远端设备发送的会议的多媒体信息;所述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种;其中,所述会议终端为已加入所述会议的终端;
第一确定模块,用于根据所述会议的多媒体信息和预设的多媒体内容,确定所述会议是否需要所述用户参加;其中,所述预设的多媒体内容包括:所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的至少一种;
第二确定模块,用于确定所述用户的参会状态;所述用户的参会状态包括缺席状态或用户参会冲突状态;
发送模块,用于在所述第一确定模块确定所述会议需要所述用户参加,且所述第二确定模块确定所述用户的参会状态为缺席状态时,向所述用户发送参会提醒信息;所述参会提醒信息用于提示所述用户参加所述会议。
17.根据权利要求16所述的会议终端,其特征在于,所述第一确定模块,包括:
第一确定单元,用于根据所述会议的多媒体信息和所述预设的多媒体内容,确定所述会议的多媒体信息中是否存在预设的会议信息,若所述会议的多媒体信息中存在所述预设的会议信息时,确定所述会议需要所述用户参加;所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。
18.根据权利要求17所述的会议终端,其特征在于,所述第一确定模块,还包括:
第二确定单元,用于在所述第一确定单元确定所述会议的多媒体信息中不存在所述预设的会议信息时,确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息,并在确定所述会议的多媒体信息中存在所述用户关注的第一多媒体信息时,根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关注度;所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系;
判断单元,用于判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度阈值;若是,则确定所述会议需要所述用户参加;若否,则确定所述会议不需要所述用户参加。
19.根据权利要求18所述的会议终端,其特征在于,所述第二确定单元,具体用于对所述会议的多媒体信息进行检测识别,获得识别结果,并将所述识别结果和所述预设的多媒体内容进行特征匹配,获得特征匹配结果,并判断所述特征匹配结果是否大于预设的匹配阈值;若是,则确定所述会议的多媒体信息中存在所述第一多媒体信息;若否,则确定所述会议的多媒体信息中不存在所述第一多媒体信息。
20.根据权利要求16-19任一项所述的会议终端,其特征在于,所述会议终端还包括:
第三确定模块,用于在所述第一确定模块确定所述会议需要所述用户参加,且所述第二确定模块确定所述用户的参会状态为缺席状态时,确定所述参会提醒信息的形式;其中,所述参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种;
所述发送模块,具体用于根据所述参会提醒信息的形式向所述用户发送所述参会提醒信息。
21.根据权利要求16-20任一项所述的会议终端,其特征在于,所述会议终端还包括:第四确定模块;
所述第四确定模块,用于根据所述会议是否需要所述用户参会以及所述用户的参会状态确定反馈策略;所述反馈策略用于指示所述会议终端向所述远端设备发送反馈数据的类型;
则所述发送模块,还用于根据所述反馈策略向所述远端设备发送所述反馈数据;所述反馈数据包括:与所述远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。
22.根据权利要求21所述的会议终端,其特征在于,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第一反馈数据,所述第一反馈数据用于向所述远端设备指示所述会议终端正在通知所述用户加入所述会议。
23.根据权利要求21所述的会议终端,其特征在于,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第二反馈数据;所述第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会议内容。
24.根据权利要求21所述的会议终端,其特征在于,所述第四确定模块,具体用于若所述会议不需要所述用户参加,且所述用户的参会状态为缺席状态,则确定所述反馈策略为向所述远端设备发送第三反馈数据;所述第三反馈数据用于向所述远端设备指示所述用户正在参会。
25.根据权利要求21所述的会议终端,其特征在于,所述第四确定模块,具体用于若所述会议需要所述用户参加,且所述用户的参会状态为用户参会冲突状态,则确定所述反馈策略为向所述远端设备发送第四反馈数据,并记录所述会议当前的会议内容;所述第四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。
26.根据权利要求18-25任一项所述的会议终端,其特征在于,若所述用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息,所述预设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息;则所述第二确定单元,具体包括:
第一检测子单元,用于对所述会议的多媒体信息进行检测,确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小;
特征提取子单元,用于对所述参会者在所述多媒体信息中的人脸位置和人脸大小进行特征提取,获得所述参会者的人脸特征;
第一匹配子单元,用于将每个参会者的人脸特征与预设的人脸信息库进行匹配,确定第一匹配度;
第一确定子单元,用于确定所述识别结果为所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息;
第二匹配子单元,用于将所述人脸信息库中的所述第一匹配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息匹配,获得所述特征匹配结果。
27.根据权利要求18-25任一项所述的会议终端,其特征在于,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元,具体包括:
第二检测子单元,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小;
获取子单元,用于根据所述文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三匹配子单元,用于将所述会议的多媒体信息中的文本块与预设的文本信息库进行匹配,确定第二匹配度;
第二确定子单元,用于确定所述识别结果为所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息;
第四匹配子单元,用于将所述文本信息库中的所述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
28.根据权利要求18-25任一项所述的会议终端,其特征在于,若所述用户关注的第一多媒体信息包括第一文本信息,所述用户关注的文本内容为所述第一文本信息,则所述第二确定单元,具体包括:
第三检测子单元,用于对所述会议的多媒体信息进行检测,确定文本块区域在所述会议的多媒体信息中的位置和大小,获得所述会议的多媒体信息中的文本块;
第三确定子单元,用于根据所述文本块的几何特征确定所述识别结果;
第五匹配子单元,用于将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配,获得所述特征匹配结果。
29.根据权利要求27或28所述的会议终端,其特征在于,若所述第一多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第一文本信息相关的第一数据信息,则所述第二确定子单元,还包括:
第四检测子单元,用于对所述会议的多媒体信息进行检测,确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息;
第四确定子单元,用于根据所述第一文本信息和所述其他数据信息,确定所述其他数据信息与所述第一文本信息的相关度;
第五确定子单元,用于确定所述识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信息;
第六匹配子单元,用于所述其他数据信息中所述相关度大于预设的第三阈值的数据信息与所述第一数据信息匹配,获得所述特征匹配结果。
30.根据权利要求21-29任一项所述的会议终端,其特征在于,所述反馈数据为所述用户预设的反馈内容,或者,根据所述反馈策略和所述用户预设的反馈内容生成的数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510227117.8A CN104836981B (zh) | 2015-05-06 | 2015-05-06 | 智能会议的协作方法和会议终端 |
PCT/CN2016/079202 WO2016177262A1 (zh) | 2015-05-06 | 2016-04-13 | 智能会议的协作方法和会议终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510227117.8A CN104836981B (zh) | 2015-05-06 | 2015-05-06 | 智能会议的协作方法和会议终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104836981A true CN104836981A (zh) | 2015-08-12 |
CN104836981B CN104836981B (zh) | 2018-02-06 |
Family
ID=53814594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510227117.8A Active CN104836981B (zh) | 2015-05-06 | 2015-05-06 | 智能会议的协作方法和会议终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104836981B (zh) |
WO (1) | WO2016177262A1 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844253A (zh) * | 2016-04-01 | 2016-08-10 | 乐视控股(北京)有限公司 | 移动终端图像识别的数据比对方法及装置 |
WO2016177262A1 (zh) * | 2015-05-06 | 2016-11-10 | 华为技术有限公司 | 智能会议的协作方法和会议终端 |
CN106851179A (zh) * | 2017-04-18 | 2017-06-13 | 成都晟远致和信息技术咨询有限公司 | 会议多媒体近距离操作的实现方法 |
CN107682164A (zh) * | 2017-09-05 | 2018-02-09 | 深圳市盛路物联通讯技术有限公司 | 数据处理方法及相关设备 |
CN108111798A (zh) * | 2016-11-24 | 2018-06-01 | 北京中创视讯科技有限公司 | 与会者处理方法和装置 |
CN108540746A (zh) * | 2018-06-12 | 2018-09-14 | 广州市创为信息科技有限公司 | 一种会议视频管理系统 |
CN109151235A (zh) * | 2018-10-22 | 2019-01-04 | 奇酷互联网络科技(深圳)有限公司 | 远程通信群组的协同操控方法、服务器和存储装置 |
CN109348165A (zh) * | 2018-11-27 | 2019-02-15 | 平安科技(深圳)有限公司 | 视频会议接入方法及系统、服务器、计算机可读存储介质 |
CN109379205A (zh) * | 2018-11-27 | 2019-02-22 | 平安科技(深圳)有限公司 | 一种会议延时的处理方法和装置 |
CN109905628A (zh) * | 2019-01-24 | 2019-06-18 | 杭州志远科技有限公司 | 一种三维可视化视频会议通讯系统 |
CN110491388A (zh) * | 2018-05-15 | 2019-11-22 | 视联动力信息技术股份有限公司 | 一种音频数据的处理方法和终端 |
CN110769189A (zh) * | 2019-10-15 | 2020-02-07 | 广州国音智能科技有限公司 | 视频会议切换方法、装置及可读存储介质 |
CN113507587A (zh) * | 2021-08-16 | 2021-10-15 | 湖南白杨网络科技有限公司 | 一种视频会议系统及其互动显示方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797226B (zh) * | 2020-06-30 | 2024-04-05 | 北京百度网讯科技有限公司 | 会议纪要的生成方法、装置、电子设备以及可读存储介质 |
CN112541495A (zh) * | 2020-12-22 | 2021-03-23 | 厦门亿联网络技术股份有限公司 | 会议消息的检测方法、装置、服务器及存储介质 |
US20230016960A1 (en) * | 2021-07-15 | 2023-01-19 | Avaya Management L.P. | Live meeting assistance for connecting to a new member |
CN114897744B (zh) * | 2022-07-14 | 2022-12-09 | 深圳乐播科技有限公司 | 一种图文的修正方法及装置 |
CN115334048B (zh) * | 2022-07-19 | 2023-10-27 | 贵州华云信安科技有限公司 | 一种基于人工智能的视频会议用信息安全系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101141612A (zh) * | 2007-10-10 | 2008-03-12 | 中国联合通信有限公司 | 一种用即时消息系统实现视频会议的方法及系统 |
CN102647577A (zh) * | 2011-02-16 | 2012-08-22 | 鸿富锦精密工业(深圳)有限公司 | 远程会议管理系统及管理方法 |
CN104486331A (zh) * | 2014-12-11 | 2015-04-01 | 上海元趣信息技术有限公司 | 多媒体文件的处理方法、客户端及互动系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8224896B2 (en) * | 2005-11-23 | 2012-07-17 | Cisco Technology, Inc. | Methods and apparatuses for locating and contacting an invited participant of a meeting |
CN102404286A (zh) * | 2010-09-08 | 2012-04-04 | 中华电信股份有限公司 | 主动式网络语音会议系统及其方法 |
CN104836981B (zh) * | 2015-05-06 | 2018-02-06 | 华为技术有限公司 | 智能会议的协作方法和会议终端 |
-
2015
- 2015-05-06 CN CN201510227117.8A patent/CN104836981B/zh active Active
-
2016
- 2016-04-13 WO PCT/CN2016/079202 patent/WO2016177262A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101141612A (zh) * | 2007-10-10 | 2008-03-12 | 中国联合通信有限公司 | 一种用即时消息系统实现视频会议的方法及系统 |
CN102647577A (zh) * | 2011-02-16 | 2012-08-22 | 鸿富锦精密工业(深圳)有限公司 | 远程会议管理系统及管理方法 |
CN104486331A (zh) * | 2014-12-11 | 2015-04-01 | 上海元趣信息技术有限公司 | 多媒体文件的处理方法、客户端及互动系统 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016177262A1 (zh) * | 2015-05-06 | 2016-11-10 | 华为技术有限公司 | 智能会议的协作方法和会议终端 |
CN105844253A (zh) * | 2016-04-01 | 2016-08-10 | 乐视控股(北京)有限公司 | 移动终端图像识别的数据比对方法及装置 |
CN108111798A (zh) * | 2016-11-24 | 2018-06-01 | 北京中创视讯科技有限公司 | 与会者处理方法和装置 |
CN106851179A (zh) * | 2017-04-18 | 2017-06-13 | 成都晟远致和信息技术咨询有限公司 | 会议多媒体近距离操作的实现方法 |
CN107682164B (zh) * | 2017-09-05 | 2021-03-19 | 深圳市盛路物联通讯技术有限公司 | 数据处理方法及相关设备 |
CN107682164A (zh) * | 2017-09-05 | 2018-02-09 | 深圳市盛路物联通讯技术有限公司 | 数据处理方法及相关设备 |
CN110491388A (zh) * | 2018-05-15 | 2019-11-22 | 视联动力信息技术股份有限公司 | 一种音频数据的处理方法和终端 |
CN108540746A (zh) * | 2018-06-12 | 2018-09-14 | 广州市创为信息科技有限公司 | 一种会议视频管理系统 |
CN109151235A (zh) * | 2018-10-22 | 2019-01-04 | 奇酷互联网络科技(深圳)有限公司 | 远程通信群组的协同操控方法、服务器和存储装置 |
CN109151235B (zh) * | 2018-10-22 | 2021-03-30 | 奇酷互联网络科技(深圳)有限公司 | 远程通信群组的协同操控方法、服务器和存储装置 |
CN109348165A (zh) * | 2018-11-27 | 2019-02-15 | 平安科技(深圳)有限公司 | 视频会议接入方法及系统、服务器、计算机可读存储介质 |
CN109379205A (zh) * | 2018-11-27 | 2019-02-22 | 平安科技(深圳)有限公司 | 一种会议延时的处理方法和装置 |
CN109348165B (zh) * | 2018-11-27 | 2021-10-22 | 平安科技(深圳)有限公司 | 视频会议接入方法及系统、服务器、计算机可读存储介质 |
CN109905628A (zh) * | 2019-01-24 | 2019-06-18 | 杭州志远科技有限公司 | 一种三维可视化视频会议通讯系统 |
CN110769189A (zh) * | 2019-10-15 | 2020-02-07 | 广州国音智能科技有限公司 | 视频会议切换方法、装置及可读存储介质 |
CN113507587A (zh) * | 2021-08-16 | 2021-10-15 | 湖南白杨网络科技有限公司 | 一种视频会议系统及其互动显示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104836981B (zh) | 2018-02-06 |
WO2016177262A1 (zh) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104836981A (zh) | 智能会议的协作方法和会议终端 | |
US10375125B2 (en) | Automatically joining devices to a video conference | |
CN103703719B (zh) | 使通信会话中的参与者静音的方法及设备 | |
US7840638B2 (en) | Participant positioning in multimedia conferencing | |
CN104038722B (zh) | 一种视频会议的内容交互方法及系统 | |
US10938725B2 (en) | Load balancing multimedia conferencing system, device, and methods | |
US9055189B2 (en) | Virtual circular conferencing experience using unified communication technology | |
CN104427293B (zh) | 一种建立视频会议界面的方法、装置及视频终端 | |
CN107409060A (zh) | 在视频/音频电信中的邻近资源池化 | |
US20100153858A1 (en) | Uniform virtual environments | |
CN101484886A (zh) | 动态共享基于应用的屏幕采样的一部分显示的方法和装置 | |
US20130198657A1 (en) | Integrated Public/Private Online Conference | |
CN107613242A (zh) | 视频会议处理方法及终端、服务器 | |
US20130198635A1 (en) | Managing Multiple Participants at the Same Location in an Online Conference | |
EP3131257B1 (en) | Program, information processing apparatus, and information processing system for use in an electronic conference system | |
CN105009599A (zh) | 精彩时刻的自动标识 | |
US9270713B2 (en) | Mechanism for compacting shared content in collaborative computing sessions | |
CN111405234A (zh) | 一种云端和边缘计算融合的视频会议信息系统和方法 | |
CN110536095A (zh) | 通话方法、装置、终端及存储介质 | |
CN106454195A (zh) | 一种基于vr视频聊天防偷窥的方法及系统 | |
US10848530B2 (en) | Conference system and method for interworking between audio conference and web conference | |
CN204721476U (zh) | 沉浸式和交互式的视频会议房间环境 | |
WO2016206471A1 (zh) | 多媒体业务处理方法、系统及装置 | |
US20150007054A1 (en) | Capture, Store and Transmit Snapshots of Online Collaborative Sessions | |
CN216017005U (zh) | 一种智慧型全数字会议系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |