CN115037903A - 针对会议服务的信息搜索 - Google Patents

针对会议服务的信息搜索 Download PDF

Info

Publication number
CN115037903A
CN115037903A CN202110240057.9A CN202110240057A CN115037903A CN 115037903 A CN115037903 A CN 115037903A CN 202110240057 A CN202110240057 A CN 202110240057A CN 115037903 A CN115037903 A CN 115037903A
Authority
CN
China
Prior art keywords
image
information
message
query
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110240057.9A
Other languages
English (en)
Inventor
田元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202110240057.9A priority Critical patent/CN115037903A/zh
Priority to PCT/US2022/017176 priority patent/WO2022187011A1/en
Publication of CN115037903A publication Critical patent/CN115037903A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提出了用于针对会议服务的信息搜索的方法和装置。可以接收针对会议服务的查询。可以在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息。可以提供所述搜索的搜索结果。

Description

针对会议服务的信息搜索
背景技术
随着数字设备、通信技术、视频处理技术等的发展,人们可以使用诸如台式计算机、平板电脑、智能电话等的终端设备来与位于其他地方的人召开在线会议以实现工作讨论、远程培训、技术支持等目的。在本文中,在线会议可以广泛地指基于互联网的跨区域多人间会议,其也可以被称为网络会议、远程会议等。术语“在线会议”和“会议”在本文中可以互换使用。人们可以通过会议服务平台与会议的其他参与者进行资料共享、即时互动等。
发明内容
提供本发明内容以便介绍一组构思,这组构思将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征,也不旨在用于限制所保护主题的范围。
本公开的实施例提出了用于针对会议服务的信息搜索的方法和装置。可以接收针对会议服务的查询。可以在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息。可以提供所述搜索的搜索结果。
应当注意,以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式,并且本公开旨在包括所有这些方面和其等同变换。
附图说明
以下将结合附图描述所公开的多个方面,这些附图被提供用以说明而非限制所公开的多个方面。
图1示出了根据本公开实施例的示例性会议服务网络架构。
图2A至图2D示出了根据本公开实施例的会议服务的会议进行期间的示例性界面。
图3示出了根据本公开实施例的用于构建与会议服务相关联的信息库的示例性过程。
图4A至图4B示出了根据本公开实施例的会议服务的呈现搜索结果的示例性界面。
图5A至图5B示出了根据本公开实施例的会议服务的呈现搜索结果的示例性界面。
图6是根据本公开实施例的用于针对会议服务的信息搜索的示例性方法的流程图。
图7示出了根据本公开实施例的用于针对会议服务的信息搜索的示例性装置。
图8示出了根据本公开实施例的用于针对会议服务的信息搜索的示例性装置。
具体实施方式
现在将参考若干示例性实施方式来讨论本公开。应当理解,这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例,而并非教导对本公开的范围的任何限制。
会议服务平台通常可以提供搜索功能,以便于用户查找期望的在线会议。具体地,用户可以在搜索框中输入查询。会议服务平台将执行针对该查询的搜索并返回相应的搜索结果以供用户查看。现有的会议服务平台提供的搜索结果通常包括具有与查询相关的主题、参与者或会议时间的在线会议。
本公开的实施例提出了针对会议服务的信息搜索的改进的方法。在本文中,会议服务可以指支持在线会议并且可以以例如视频、音频、文本、图像等形式对在线会议的会议内容进行记录的服务。例如,可以通过捕获在线会议的参与者的话语、参与者所处环境的环境声音等来将在线会议的会议内容记录成音频。另外,还可以通过在捕获参与者话语、环境声音等的同时录制会议服务的用户界面来将在线会议的会议内容记录成视频。会议服务的用户界面可以包括例如由参与者的终端设备中的或布置在参与者所处环境中的摄像头所拍摄的画面,参与者在会议期间所共享的文件或桌面,等等。在本文中,可以将基于会议内容所记录的音频和/或视频统称为媒体内容。此外,会议服务还可以提供与在线会议有关的聊天服务并且将聊天内容记录成聊天记录。聊天记录可以包括例如在线会议的参与者发送的消息、文件等。针对同一会议的媒体内容和聊天记录可以被相关联地存储。
在一个方面,本公开的实施例提出了将在线会议的媒体内容和/或与媒体内容相关联的聊天记录转换成具有可搜索的表达形式的信息,以便在执行针对查询的搜索时,不仅可以搜索到与查询相关的在线会议,还能够搜索到来自在线会议的与查询相关的信息。基于媒体内容和/或与媒体内容相关联的聊天记录而转换的具有可搜索的表达形式的信息可以被组合在一起,以构建与会议服务相关联的信息库。所构建的信息库可以包括例如与媒体内容的音频相对应的文本信息、与媒体内容的图像相对应的图像信息、与聊天记录中的消息相对应的消息信息、与聊天记录中的文件相对应的文件信息等。
在另一个方面,本公开的实施例提出了在搜索到来自在线会议的与查询相关的信息的情况下,在呈现搜索结果时,不仅可以提供所搜索到的信息,还可以提供来自在线会议的与所搜索到的信息相对应的其他信息,例如包括所搜索的信息的信息、与所搜索到的信息同时出现的其他信息等。用户可以通过观看所提供的其他信息而直观清楚地获得对所搜索到的信息的上下文的更完整的了解。
在另一个方面,本公开的实施例提出了对聊天记录中的消息之间的引用关系进行分析,以识别出引用消息和被引用消息。在本文中,引用消息可以指引用了其他消息的消息,而被引用消息可以指被其他消息引用的消息。进一步地,可以将被引用消息添加到相应的引用消息中,使得在执行针对查询的搜索时,如果被引用消息与查询相关,也可以搜索出引用了该被引用消息的引用消息。
在另一个方面,本公开的实施例提出了在查询包括与人物相关联的关键词时,在信息库中搜索与该人物相关的各类信息,例如与该人物相关的图像和/或图像对象、该人物说过的话语、该人物发送的消息或文件、提及该人物的话语和/或消息等等。
图1示出了根据本公开实施例的示例性会议服务网络架构100。架构100可以包括直接地或通过网络进行互联的各种网络实体,以提供在线会议以及与在线会议有关的聊天服务、搜索服务等。例如,架构100中的会议应用服务器102可以通过网络向用户提供在线会议以及与在线会议有关的聊天服务、搜索服务等。用户可以通过终端设备,例如终端设备中的会议服务客户端/浏览器,访问会议应用服务器102提供的各类服务。例如,用户104可以通过与其相关联的终端设备106中的会议服务客户端/浏览器108访问会议应用服务器102提供的各类服务。
会议应用服务器102中的会议支持单元110可以支持在线会议。在线会议可以涉及在会议的参与者之间进行音频同步、图像同步、桌面共享、文件共享等。例如,可以通过参与者的终端设备中的或布置在参与者所处环境中的麦克风捕获音频信息,例如参与者的话语、环境声音等,并通过网络将这些音频信息传送至其他参与者处,从而实现参与者之间的音频同步。另外地或替代地,可以通过参与者的终端设备中的或布置在参与者所处环境中的摄像头捕获图像信息,例如参与者的图像、环境图像等,并通过网络将这些图像信息传送至其他参与者处,从而实现参与者之间的图像同步。参与者还可以共享其终端设备的桌面,以便向其他参与者演示其在终端设备上进行的操作。此外,参与者还可以选取其终端设备中的特定文件并与其他参与者共享。所共享的文件可以是能够通过互联网传送的任何文件,例如图片、视频、网页、电子邮件、生产力工具文档等。
会议应用服务器102中的聊天服务单元112可以提供与在线会议有关的聊天服务。通过聊天服务,会议的参与者可以在会议开始前、进行期间及结束后与其他参与者聊天,例如发送消息、发送文件等。消息可以包括例如文字、字符、表情符号等。文件可以包括能够通过互联网传送的任何数字内容,例如图片、视频、网页、电子邮件、生产力工具文档等。可以将聊天内容,例如参与者在聊天中发送的消息、文件等,记录成聊天记录。聊天记录可以被存储在存储单元118中。可以例如通过在会议服务的界面上轻扫来调出启动聊天服务的按钮并通过点击该按钮来与其他参与者聊天。
会议应用服务器102中的会议记录单元114可以对在线会议的会议内容进行记录,以获得与该在线会议相对应的媒体内容。例如,会议记录单元114可以将会议内容记录成音频,该音频可以包括在线会议的参与者的话语、参与者所处环境的环境声音等。另外,会议记录单元114可以将会议内容记录成视频,该视频中的音频可以包括该会议的参与者的话语、参与者所处环境的环境声音等;而该视频中的图像可以与关联于该会议的会议服务的界面相对应。会议服务的用户界面可以包括例如共享画面、参与者画面等。共享画面可以包括参与者在会议期间所共享的桌面、文件等,其中所共享的文件可以是能够通过互联网传送的任何文件,例如图片、视频、网页、电子邮件、生产力工具文档等。参与者画面可以与会议的参与者相关联,并且可以包括例如与参与者的终端设备中的或布置在参与者所处环境中的摄像头所拍摄的画面。相应地,视频中的图像可以包括共享画面、参与者画面等。
会议记录单元114可以将所记录的媒体内容存储在存储单元118中。会议内容的记录可以与会议同步进行。会议记录单元114可以在会议结束后将所记录的具有完整的会议内容的视频存储到存储单元118中。替代地,会议记录单元114也可以在会议进行期间,以预定的时间间隔将当前记录的具有部分会议内容的媒体内容逐步存储到存储单元118中。替代地,会议记录单元114也可以在会议进行期间,实时地记录会议媒体流并将会议媒体流实时地存储到存储单元118中。
会议应用服务器102中的搜索服务单元116可以提供针对会议服务的搜索服务,该搜索服务可以响应于接收到针对会议服务的查询而执行针对该查询的搜索,并提供相应的搜索结果。例如,用户104可以通过其终端设备106中的会议服务客户端/浏览器108发送针对会议服务的查询。搜索服务单元116可以在接收到该查询时,执行针对该查询的搜索,并提供相应的搜索结果。搜索结果可以包括与查询相关的在线会议。另外,搜索服务单元116可以将在线会议的媒体内容和/或与媒体内容相关联的聊天记录转换成具有可搜索的表达形式的信息,以便在执行针对查询的搜索时,不仅可以搜索到与查询相关的在线会议,还能够搜索到来自在线会议的与查询相关的信息。基于媒体内容和/或与媒体内容相关联的聊天记录而转换的具有可搜索的表达形式的信息可以被组合在一起,以构建与会议服务相关联的信息库。所构建的信息库可以包括例如与媒体内容的音频相对应的文本信息、与媒体内容的图像相对应的图像信息、与聊天记录中的消息相对应的消息信息、与聊天记录中的文件相对应的文件信息等。后面将结合图3来说明构建与会议服务相关联的信息库的示例性过程。该信息库可以被存储在存储单元118中。搜索服务单元116可以在所构建的信息库中执行针对查询的搜索,并提供相应的搜索结果。后面将结合图4A至图4B以及图5A至图5B来说明执行搜索及提供搜索结果的示例性过程。
应当理解,架构100所包括的所有网络实体都是示例性的,根据实际的应用场景和需求,架构100可以包括更多或更少的网络实体,并且可以对这些网络实体进行任意方式的组合和分割。另外,尽管在架构100中仅示出了一个终端设备106,但是也可能存在不同数量的终端设备通过网络连接到会议应用服务器102。此外,尽管在架构100中,存储单元118被包含在会议应用服务器102内以用于存储媒体内容、聊天记录、信息库等,但是存储单元118也可以是独立于会议应用服务器102的单独存储装置。
此外,应当理解,尽管在架构100中示出了可以在会议服务处执行针对查询的搜索,并提供来自在线会议的与查询相关的信息,但本公开的实施例并不局限于此。根据实际应用需求,可以在不同于会议服务的、或者包括会议服务的其他服务处执行针对查询的搜索。相应地,可以在该其他服务处提供包括来自在线会议的与查询相关的信息,和/或来自在线会议之外的与查询相关的信息。
图2A至图2D分别示出了根据本公开实施例的会议服务的会议进行期间的示例性界面200a至200d。界面200a至200d可以是与同一在线会议相关联但对应于不同时刻的界面。在界面200a至200d的顶部示出了该会议的主题202,即“2021年产品规划讨论”。
在界面200a中,主题202下方是共享画面204。共享画面204可以例如与当前共享的桌面、文件等相关联。例如,共享画面204中正在展示演示文稿中的一个页面。界面200a还可以包括参与者画面206。参与者画面206可以包括会议的参与者的信息,例如参与者的姓名、头像等。在参与者开启了摄像头的情况下,参与者画面206还可以包括由摄像头拍摄的与该参与者相关联的画面。参与者画面206包括四名参与者,例如“琳达”、“汤姆”、“迈克”和“南希”。另外,在参与者画面中,可以以各种方式指示当前正在发言的参与者。例如,在参与者画面206中,汤姆头像的边框为虚线,而其他参与者的头像或姓名的边框为实线,这可以指示当前正在发言的参与者为汤姆。作为示例,汤姆此时可能在说“我们组今年要参与三个产品的架构设计。AABB可能会投入大一些的……”。在将会议记录成视频时,与界面200a相对应的图像可以包括共享画面204和参与者画面206。
可以例如通过在会议服务的界面上轻扫来调出启动聊天服务的按钮并通过点击该按钮来与其他参与者聊天。图2B至图2D分别示出了会议服务的包括聊天画面的示例性界面200b至200d。除了共享画面和参与者画面之外,界面200b至200d还可以包括聊天画面。聊天画面可以例如是响应于在会议服务的界面上轻扫来调出启动聊天服务的按钮并通过点击该按钮而显示的。由于聊天内容可以被记录在聊天记录中,因此在将会议记录成视频时,与界面200b至200d相对应的图像可以不包括聊天画面。例如,与界面200b相对应的图像可以包括共享画面220和参与者画面222,与界面200c相对应的图像可以包括共享画面240和参与者画面242,并且与界面200d相对应的图像可以包括共享画面260和参与者画面262。
界面200b的左部示出了共享画面220和参与者画面222,并且右部示出了聊天画面224。例如,共享画面220中正在展示演示文稿中的一个页面。该页面可以包括文本226和图片228。图片228可以例如是产品“AABB”的标志。应当理解,除了文本、图片之外,演示文稿中还可以包括或嵌入例如视频、网页、电子邮件、生产力工具文档等的其他文件。在参与者画面222中,迈克头像的边框为虚线,而其他参与者的头像或姓名的边框为实线,这可以指示当前正在发言的参与者为迈克。作为示例,迈克此时可能在说“目前的项目计划是:1月21日完成需求分析,3月30日完成架构设计……”。聊天画面224中示出了一组消息230至236。所述一组消息230至236可以例如是在迈克正在介绍共享画面220中的演示文稿时,其他参与者发送的消息。
界面200c的左部示出了共享画面240和参与者画面242,并且右部示出了聊天画面244。例如,共享画面240中正在展示演示文稿中的一个页面。该页面可以包括文本246。在参与者画面242中,琳达头像的边框为虚线,而其他参与者的头像或姓名的边框为实线,这可以指示当前正在发言的参与者为琳达。作为示例,琳达此时可能在说“目前要加入的新功能包括群组通话、即时消息、文件协作……”。聊天画面244中示出了一组消息248至254。消息248可以对应于界面200b中的消息236。消息250包括发送者迈克和由迈克在10点55分发送的消息内容“我建议在AABB中加入语音识别功能”。消息252包括发送者汤姆和由汤姆在10点59分发送的消息内容“我们需要考虑使用场景”。消息252引用了消息250,即发送者为迈克且消息内容为“我建议在AABB中加入语音识别功能”的消息。在进行聊天时,引用别人发送的消息可以有针对性地进行更深入的讨论。消息254包括发送者南希和由南希在11点03分发送的消息内容“@迈克那交付得推迟了”,其中符号“@”可以指示对“迈克”的提及。
界面200d的左部示出了共享画面260和参与者画面262,并且右部示出了聊天画面264。共享画面260中没有内容显示,此时可能没有参与者在共享文件或桌面。在参与者画面262中,所有参与者的头像或姓名的边框都是实线,这可以指示当前没有参与者正在发言。聊天画面264中示出了一组消息和文件。消息266可以对应于界面200c中的消息254。消息268包括发送者琳达和由琳达在11点49分发送的消息内容“又是忙碌的一年啊”。文件270包括发送者迈克和由迈克在11点51分发送的文件“AABB项目计划.pptx”。随后,消息272包括发送者汤姆和由汤姆在11点53分发送的消息内容“收到”。
应当理解,在图2A至图2D中分别示出的界面200a至200d仅是会议服务的会议进行期间的界面的示例。根据实际应用需求,会议服务的会议进行期间的界面还可以包括任意其他画面/元素,并且可以任意其他方式来布局界面中的各个画面/元素。
图3示出了根据本公开实施例的用于构建与会议服务相关联的信息库的示例性过程300。过程300可以将在线会议的媒体内容,例如音频、视频等,以及与媒体内容相关联的聊天记录构建成具有可搜索的表达形式的信息。过程300可以由搜索服务单元执行,例如由图1中的搜索服务单元116执行。可以针对媒体内容302以及与媒体内容302相关联的聊天记录304执行过程300。媒体内容302可以是音频、视频等。下面以媒体内容302是视频为例来说明过程300。
在306处,可以对媒体内容302执行音频提取,以获取媒体内容302的音频308。在310处,可以将音频308转写(transcribe)成一组文本片段312。每个文本片段可以包括例如讲述者标识符、话语内容、时间戳等,其中讲述者标识符可以指示与该文本片段相对应的音频片段的讲述者,话语内容可以指示该文本片段的内容,并且时间戳可以指示与该文本片段相对应的音频片段的时间。可以通过任何已知的音频转写技术来执行310处的音频转写。在314处,可以将一组文本片段312组合成文本信息316。
在318处,可以对媒体内容302执行图像提取,以获取与媒体内容302相对应的一组图像320。所述一组图像320可以包括n个图像,例如图像320-1、图像320-2、……、图像320-n。318处的图像提取可以例如以预定时间间隔执行,从而可以从媒体内容302中提取出具有该预定时间间隔的一组图像320。每个图像可以具有指示该图像的时间的时间戳。
可以对一组图像320中的每个图像执行图像识别以获得所述图像中的图像对象集合和与所述图像对象集合相对应的标签集合,并将所述图像对象集合和所述标签集合组合成与所述图像相对应的识别结果。图像对象的标签集合可以包括例如指示该图像对象中包含的物体的标签、指示该图像对象中包含的文字的标签等。可以通过任何已知的图像识别技术来执行图像识别。例如,对于图像320-i(1≤i≤n),在322-i处,可以对图像320-i执行图像识别以获得图像320-i中的图像对象集合324-i,并进一步获得与图像对象集合324-i相对应的标签集合326-i。可以将图像对象集合324-i和标签集合326-i组合成与图像320-i相对应的识别结果330-i。
所述一组图像320中的每个图像可以包括例如共享画面、参与者画面等。可以对图像中的共享画面执行图像识别。相应地,可以将通过对共享画面进行图像识别而获得的标签集合作为与该图像相对应的标签集合。例如,由于参与者画面中包括的参与者的信息可以通过加入会议的用户的登陆信息获得,因此在对图像执行图像识别时,可以将该图像中的参与者画面视为冗余信息,而将图像识别操作关注于共享画面。以图2B中的界面200b为例,与界面200b相对应的图像可以包括共享画面220和参与者画面222。在对该图像执行图像识别时,可以关注于共享画面220,并将通过对共享画面220进行图像识别而获得的标签集合作为与该图像相对应的标签集合。与该图像相对应的标签集合可以包括例如“AABB”、“项目计划”等。
在332处,可以将与一组图像320相对应的一组识别结果330组合成图像信息334。在图像信息334中,各个图像和图像对象可以具有相应的标签集合。
在336处,可以对与媒体内容302相关联的聊天记录304执行消息提取,以获得一组消息338。每个消息可以包括例如发送者标识符、消息内容、时间戳等,其中发送者标识符可以指示该消息的发送者,消息内容可以指示该消息中包含的内容,例如文字、字符、表情符号等,并且时间戳可以指示发送该消息的时间。在340处,可以将一组消息338组合成消息信息342。
可选地,在344处,可以对一组消息338中的引用关系进行分析,以识别出引用消息及被引用消息346。例如,参考图2C,可以将消息252识别为引用消息,并且将消息250识别为被引用消息,其中消息252引用了消息250。
在348处,可以对消息信息342进行更新。例如,可以通过将被引用消息添加到引用消息中来更新该引用消息,从而更新消息信息342。例如,可以将被引用消息的发送者标识符、消息内容、时间戳等添加到引用消息中来更新该引用消息。将被引用消息添加到引用消息中可以使得在执行针对查询的搜索时,如果被引用消息与查询相关,也可以搜索出引用了该被引用消息的引用消息。
在350处,可以对聊天记录304执行文件提取,以获得文件352。文件352可以包括例如会议的参与者在聊天中发送的图片、视频、网页、电子邮件、生产力工具文档等。生产力工具文档可以是使用文档创作或编辑软件所处理的各种电子文档,包括例如文字处理文档、电子表格、演示文稿等。上述文字处理文档、电子表格、演示文稿等可以是由生产力工具所创作或编辑的。在354处,可以生成文件352的文件信息356。可以在文件信息356中执行针对查询的搜索,并且提供从文件信息356中所搜索到的信息。作为示例,当文件352是图片时,可以通过任何已知的图像识别技术来识别与文件352相对应的标签集合,并将文件352和相应的标签集合组成文件信息356。作为另一示例,当文件352是视频时,可以获得文件352的文本信息和图像信息,并将所获得的文本信息和图像信息组合成文件信息356。可以例如通过与上述获得媒体内容302的文本信息316和图像信息334的过程相类似的过程来获得文件352的文本信息和图像信息。作为又一示例,当文件352是网页、电子邮件、生产力工具文档等时,可以从文件352中提取文本作为文件352的文件信息。另外,可以从文件352中提取图片,识别与所提取的图片相对应的标签集合,并将所提取的图片和相应的标签集合组成文件352的图像信息。可以将文件352的文本信息和图像信息组合成文件信息356。应当理解,上述用于执行文件提取和文件信息生成的过程仅是示例性的。根据实际应用需求,还可以从附加内容中提取其他类型的文件。相应地,可以通过其他方式来生成所提取的文件的文件信息。
可以将通过过程300而获得的文本信息316、图像信息334、消息信息342、文件信息356等添加到信息库中,以实现信息库的构建。应当理解,上文结合图3描述的用于构建信息库的过程300仅是示例性的。根据实际应用需求,用于构建信息库的过程可以包括任意其他步骤,并且可以包括更多或更少的步骤。另外,过程300可以在任意时间执行。例如,可以在会议期间或者会议结束后针对存储单元中已有的媒体内容部分或者完整的媒体内容执行过程300。此外,应当理解,当媒体内容302是音频时,过程300可以不包括与图像提取、图像识别等有关的操作。相应地,所构建的信息库可以不包括图像信息。
当接收到针对会议服务的查询时,可以在与会议服务相关联的信息库中执行针对该查询的搜索,并提供该搜索的搜索结果。可以通过搜索服务单元,例如图1中的搜索服务单元116,来执行针对查询的搜索。查询可以包括一个或多个关键词。在信息库中执行针对该查询的搜索可以包括例如在信息库中搜索与这一个或多个关键词相关的各类信息,例如文本片段、图像、图像对象、消息、文件等。另外,根据本公开的实施例,在呈现搜索结果时,不仅可以提供所搜索到的信息,还可以提供来自在线会议的与所搜索到的信息相对应的其他信息,例如包括所搜索的信息的信息、与所搜索到的信息同时出现的其他信息等。例如,在所搜索到的信息是图像的情况下,除了提供所搜索到的图像之外,还可以提供包括所搜索到的图像的视频片段,和/或与所搜索到的图像同时出现的话语、音频片段、消息、文件、聊天片段等;在所搜索到的信息是消息的情况下,除了提供所搜索到的消息之外,还可以提供包括所搜索到的消息的聊天片段,和/或与所搜索到的消息同时出现的的话语、图像、音频/视频片段等;等等。用户可以通过观看所提到的其他信息而直观清楚地获得对所搜索到的信息的上下文的更完整的了解。图4A至图4B示出了根据本公开实施例的会议服务的呈现搜索结果的示例性界面400a至400b。界面400a至400b可以是会议服务的用户界面,其可以由例如用户的终端设备中的会议服务客户端/浏览器提供。
例如,用户可以在搜索框402中输入查询“AABB”,并且可以点击搜索按钮404,以将该查询发送到与其终端设备相连接的会议应用服务器。会议应用服务器,具体地,会议应用服务器中的搜索服务单元,可以接收该查询,并在与会议服务相关联的信息库中执行针对该查询的搜索,并提供搜索结果。例如,搜索服务单元可以例如在与会议服务相关联的信息库中搜索与查询“AABB”相关的各类信息,例如文本片段、图像、图像对象、消息、文件等。搜索结果会返回给终端设备,并在与会议服务客户端/浏览器相关联的用户界面,例如界面400a至400b,中进行显示。
在界面400a中,在搜索框402的下方示出了提示“为您找到与‘AABB’相关的3个会议”,并且示出了3个可点击的会议编号,例如会议1、会议2和会议3。用户可以点击各个会议编号以获得来自该会议的与查询“AABB”相关的信息。例如,在用户点击了“会议2”的情况下,可以首先呈现该会议的基本信息,例如会议主题“2021年产品规划讨论”、参与者“琳达、汤姆、迈克、南希”、会议时间“2021年1月4日09:58~11:55”等,如区域406所示。该会议可以例如与图2A至图2D中呈现的会议相同。
区域408可以示出来自会议2的与查询相关的信息,例如基于会议2的会议内容所记录的媒体内容中的音频、图像,以及会议2的聊天记录中的消息、文件等。另外,可以通过拖动区域408右侧的滚动条,进入界面400b来查看来自会议2的与查询“AABB”相关的更多信息。
可以搜索来自在线会议的与查询相关的话语。可以在与在线会议的音频相对应的文本信息中执行针对查询的搜索,并且提供从文本信息中所搜索到的信息。如前所述,文本信息可以是由通过对媒体内容中提取的音频进行转写而获取的一组文本片段组合而成的,其中每个文本片段可以包括例如讲述者标识符、话语内容、时间戳等。相应地,在文本信息中执行针对查询的搜索可以包括在文本信息中搜索与查询相关的文本片段。例如,与查询相关的文本片段可以是具有与查询所包括的一个或多个关键词相关的话语内容的文本片段。在查询所包括的关键词为人物标识符的情况下,与查询相关的文本片段可以是例如具有包含该人物标识符的话语内容的文本片段、具有与该人物标识符相匹配的讲述者的文本片段等。可以提供文本信息中所搜索到的文本片段作为搜索结果。例如,在框410中示出了来自会议2的与查询“AABB”相关的文本片段412。文本片段412可以例如是与汤姆在与图2A中的界面200a相对应的时间段期间的话语相对应的。文本片段412的话语内容可以是“我们组今年要参与三个产品的架构设计。AABB可能会投入大一些的……”。由于该话语内容包括查询“AABB”,因此可以被搜索出来。优选地,可以通过时间轴414来显示与文本片段412相对应的音频片段在媒体内容中的位置,使得用户可以直观地看到该音频片段是在会议的什么时候发生的。优选地,还可以提供媒体内容中与所搜索到的文本片段相对应的媒体片段作为搜索结果。例如,用户可以通过点击按钮416来收听与文本片段412相对应的音频片段。另外地或替代地,在媒体内容是视频的情况下,用户可以通过点击按钮418来观看与文本片段412相对应的视频片段。所播放的视频片段可以例如与对应于该文本片段的音频片段相对应。视频片段的长度可以取决于该音频片段的持续时间。当对应于所搜索到的文本片段的音频片段的持续时间过短时,相应地,视频片段的长度也会过短。优选地,为了保证所提供的视频片段不会过短以便于播放,可以设置针对视频片段的长度的预定阈值。视频片段的长度应当大于该预定阈值。另外,还可以提供会议2的聊天记录中与所搜索到的文本片段相对应的其他信息。例如,可以提供与所搜索到的文本片段同时出现的消息、文件、聊天片段等。优选地,可以设置针对聊天片段中所包括的消息或文件的数量的预定阈值。搜索结果中提供的聊天片段中所包括的消息或文件的数量应当大于该预定阈值。由于在文本片段412持续时间期间,即与界面200a相对应的时间段期间,参与者没有进行聊天,因此框410中未示出聊天记录中的信息。
可以搜索来自在线会议的与查询相关的图像。可以在图像信息中执行针对查询的搜索,并且提供从图像信息中所搜索到的信息。如前所述,图像信息可以是由从媒体内容中提取的一组图像和相应的一组识别结果组合而成的,其中识别结果可以包括图像对象集合和相应的标签集合。相应地,从图像信息中所搜索到的信息可以是与查询相关的图像和/或图像对象。例如,与查询相关的图像和/或图像对象可以是具有与查询所包括的一个或多个关键词相关的标签的图像和/或图像对象。可以提供图像信息中所搜索到的图像和/或图像对象作为搜索结果。例如,在框430中示出了来自会议2的与查询“AABB”相关的图像432和图像对象434。图像432可以例如是与图2B中的界面200b相对应的图像。如前所述,图像432的标签集合可以包括标签“AABB”,其与查询“AABB”相关,因而图像432可以是与查询“AABB”相关的图像。图像对象434可以是图像432中的图像对象,其可以是产品“AABB”的标志并且可以具有标签“AABB”,因而也是与查询“AABB”相关的。优选地,搜索结果还可以包括与所搜索到的图像和/或图像对象相关联的图像对象,例如图像中的其他图像对象。例如,除了图像对象434之外,图像432还包括文本。可以将该文本识别并显示出来,如436所示。应当理解,当图像432还包括指示其他文件的图像对象时,可以相应地提供该其他文件。优选地,可以通过时间轴438来显示图像432在媒体内容中的位置,使得用户可以直观地看到图像432是在会议的什么时候呈现的。优选地,还可以提供媒体内容中与所搜索到的图像和/或图像对象相对应的媒体片段作为搜索结果。例如,用户可以通过点击按钮440来收听与图像432相对应的音频片段。另外地或替代地,用户可以通过点击按钮442来观看与图像432相对应的视频片段。所播放的视频片段可以例如与图像432在媒体内容中的持续时间相对应。优选地,视频片段长度可以大于所设置的针对视频片段的长度的预定阈值以便于播放。另外,还可以提供会议2的聊天记录中与所搜索到的图像相对应的消息、文件、聊天片段等。在图像432持续时间期间,即与界面200b相对应的时间段期间,参与者进行了聊天,如聊天画面224中所示。框444中示出了与图像432相对应的一组消息,该组消息可以是聊天画面224中的一组消息。
可以搜索来自在线会议的与查询相关的消息。可以在消息信息中执行针对查询的搜索,并且提供从消息信息中所搜索到的信息。如前所述,消息信息可以是由从与视频相关联的聊天记录中提取的一组消息组合而成的,其中每个消息可以包括发送者标识符、消息内容、时间戳等。相应地,在消息信息中执行针对查询的搜索可以包括在消息信息中搜索与查询相关的消息。例如,与查询相关的消息可以是具有与查询所包括的一个或多个关键词相关的消息内容的消息。在查询所包括的关键词为人物标识符的情况下,与查询相关的消息可以是例如具有与该人物标识符相匹配的发送者标识符的消息、具有包含该人物标识符的消息内容的消息。可以提供消息信息中所搜索到的消息作为搜索结果。根据本公开的实施例,在一组消息包括引用消息和被引用消息的情况下,可以将被引用消息添加到相应的引用消息中。相应地,如果引用消息所引用的消息与查询相关,该引用消息也可以被搜索出来,并作为搜索结果提供给用户。例如,在框450中示出了来自会议2的与查询“AABB”相关的消息452和454,其中,消息452和454可以分别对应于图2C中的消息250和252。消息452的消息内容是“我建议在AABB中加入语音识别功能”,该消息内容包括查询中的关键词“AABB”,因而可以被搜索到并作为搜索结果被提供。消息454的消息内容“我们需要考虑使用场景”不包括查询中的关键词,但其引用了包括“AABB”的消息,因而可以被搜索出来并作为搜索结果而被显示在框450中。优选地,可以提供聊天记录中与所搜索到的消息相对应的聊天片段。例如,框456中显示了在消息452和454之前及之后发送的消息。优选地,还可以提供来自会议2的与所搜索到的消息相对应的话语、图像、媒体片段等。例如,文本片段458可以是与在发送消息452和454的同时,参与者的话语的相对应的文本片段。图像460可以是在发送消息452和454的同时呈现的图像。图像460可以例如是与图2C中的界面200c相对应的图像。另外,用户可以通过点击按钮462来收听与文本片段458相对应的音频片段。另外地或替代地,用户可以通过点击按钮464来观看与文本片段458和图像460相对应的视频片段。应当理解,在框450中,示出了两个连续的消息452和454,并相应地示出了与这两个连续消息相对应的聊天片段、话语、图像、媒体片段等,但在搜索出并非连续的多个消息时,可以单独示出所搜索出的多个消息,并分别地示出与各个消息相对应的聊天片段、话语、图像、媒体片段等。
可以搜索来自在线会议的与查询相关的文件。可以在文件信息中执行针对查询的搜索,并且提供从文件信息中所搜索到的信息。如前所述,文件信息可以是由与视频相关联的聊天记录中提取的文件和相应的标签集合组合而成的。相应地,从文件信息中所搜索到的信息可以是与查询相关的文件。例如,与查询相关的文件可以是具有与查询所包括的一个或多个关键词相关的标签的文件。可以提供文件信息中所搜索到的文件作为搜索结果。例如,框480中示出了来自会议2的与查询“AABB”相关的文件482,并示出了该文件的发送者和发送时间。文件482可以对应于图2D中的文件270。优选地,还可以提供聊天记录中与所搜索到的文件相对应的聊天片段。例如,框484中显示了在文件482之前及之后发送的消息。优选地,还可以提供来自会议2的与所搜索到的文件相对应的音频、图像、媒体片段等。由于在发送文件482时,即与界面200d相对应的时间段期间,参与者没有进行发言和共享文件、桌面等,因此框480中未示出相应信息。应当理解,尽管在框480中仅示出了文件482及其发送者和发送时间,但在文件482中包括与查询相关的信息的情况下,例如与查询相关的段落、图片等,还可以相应地提供文件482中的相关信息。
应当理解,上文描述的在信息库中执行针对查询的搜索仅是示例性的。根据实际应用需求,信息库可以还包括来自会议服务的其他信息,相应地,可以在这些信息中执行针对查询的搜索,从而获取来自会议服务的与查询相关的其他信息。另外,图4A至图4B中的界面400a至400b仅是呈现搜索结果的界面的示例。根据会议服务的界面的具体设计,可以以任意其他方式来呈现搜索结果,并且可以任意其他方式来布局界面中的各个元素。此外,当在不同于会议服务的、或者包括会议服务的其他服务处执行针对查询的搜索时,可以在与该其他服务相对应的界面处呈现搜索结果。
根据本公开的实施例,在查询包括人物标识符时,可以在信息库中搜索与该人物相关的各类信息。例如,可以在信息库中搜索与人物标识符相关的文本片段、图像、图像对象、消息、文件等。图5A至图5B示出了根据本公开实施例的会议服务的呈现搜索结果的示例性界面500a至500b。界面500a至500b可以是会议服务的用户界面,其可以由例如用户的终端设备中的会议服务客户端/浏览器提供。
例如,用户可以在搜索框502中输入查询“迈克”,并且可以点击搜索按钮504,以将该查询发送到与其终端设备相连接的会议应用服务器。会议应用服务器,具体地,会议应用服务器中的搜索服务单元,可以接收该查询,并在与会议服务相关联的信息库中执行针对该查询的搜索,并提供搜索结果。例如,搜索服务单元可以例如在与会议服务相关联的信息库中搜索与查询“迈克”相关的各类信息,例如文本片段、图像、图像对象、消息、文件等。搜索结果会返回给终端设备,并在与会议服务客户端/浏览器相关联的用户界面,例如界面500a至500b,中进行显示。
在界面500a中,在搜索框502的下方示出了提示“为您找到与‘迈克’相关的4个会议”,并且示出了4个可点击的会议编号,例如会议1、会议2、会议3和会议4。用户可以点击各个会议编号以获得来自该会议的与查询“迈克”相关的信息。例如,在用户点击了“会议3”的情况下,可以首先呈现该会议的基本信息,例如会议主题“2021年产品规划讨论”、参与者“琳达、汤姆、迈克、南希”、会议时间“2021年1月4日09:58~11:55”等,如区域506所示。该会议可以例如与图2A至图2D中呈现的会议相同。
区域508可以示出来自会议3的与查询“迈克”相关的信息,例如基于会议3的会议内容所记录的媒体内容中的音频、图像,以及会议3的聊天记录中的消息、文件等。另外,可以通过拖动区域508右侧的滚动条,进入界面500b来查看来自会议3的与查询“迈克”相关的更多信息。
可以搜索来自在线会议的与查询所包括的人物标识符相关的话语。可以在与在线会议的音频相对应的文本信息中执行针对人物标识符的搜索,并且提供从文本信息中所搜索到的文本片段。例如,可以在文本信息中搜索具有包含该人物标识符的话语内容的文本片段,从而可以搜索到提及该人物的话语。还可以在文本信息中搜索具有与该人物标识符相匹配的讲述者的文本片段,从而可以搜索到该人物说过的话语。例如,在框510中示出了来自会议3的与查询“迈克”相关的文本片段512。文本片段512可以是与迈克在例如与图2B中的界面200b相对应的时间段期间的话语相对应的。优选地,可以通过时间轴514来显示与文本片段512相对应的音频片段在媒体内容中的位置,使得用户可以直观地看到该音频片段是在会议的什么时候发生的。优选地,可以提供媒体内容中与所搜索到的文本片段相对应的媒体片段作为搜索结果。例如,用户可以通过点击按钮516来收听与文本片段512相对应的音频片段。另外地或替代地,在媒体内容是视频的情况下,用户可以通过点击按钮518来观看与文本片段512相对应的视频片段。所播放的视频片段可以例如与对应于该文本片段的音频片段相对应。优选地,视频片段长度可以大于所设置的针对视频片段的长度的预定阈值以便于播放。优选地,可以提供来自会议3的与所搜索到的文本片段相对应的图像等。例如,图像520可以是在迈克发言的同时呈现的图像。图像520可以例如是与图2B中的界面200b相对应的图像。还示出了图像520中的图像对象,例如文本522和图片524。应当理解,当图像520还包括指示其他文件的图像对象时,可以相应地提供该其他文件。另外,还可以提供会议3的聊天记录中与所搜索到的文本片段相对应的消息、文件、聊天片段等。在迈克发言期间,即与界面200b相对应的时间段期间,参与者进行了聊天,如聊天画面224中所示。框526中示出了与文本片段512相对应的一组消息,该组消息可以是聊天画面224中的一组消息。
可以搜索来自在线会议的与查询所包括的人物标识符相关的消息。例如,可以在消息信息中搜索具有包含该人物标识符的消息内容的消息,从而可以搜索到提及该人物的消息。此外,可以在消息信息中搜索具有与该人物标识符相匹配的发送者的消息,从而可以搜索到该人物发送的消息。例如,在框550中示出了来自会议3的与查询“迈克”相关的消息552、554和556,其中,消息552、554和556可以分别对应于图2C中的消息250、252和254。消息552是由迈克发送的消息。消息554引用了迈克发送的消息,因此可以被搜索出来。消息556提及了迈克,因此也可以被搜索出来。优选地,可以提供聊天记录中与所搜索到的消息相对应的聊天片段。例如,框558中显示了在消息552、554和556之前及之后发送的消息。优选地,还可以提供来自会议3的与所搜索到的消息相对应的音频、图像、媒体片段等。文本片段560可以例如是与在发送消息552、554和556的同时,参与者的话语相对应的文本片段。图像562可以是在发送消息552、554和556的同时呈现的图像。图像562可以例如是与图2C中的界面200c相对应的图像。另外,用户可以通过点击按钮564来收听与文本片段560相对应的音频片段。另外地或替代地,用户可以通过点击按钮566来观看与文本片段560和图像562相对应的视频片段。应当理解,在框550中,示出了三个连续的消息552、554和556,并相应地示出了与这三个连续消息相对应的聊天片段、话语、图像、媒体片段等,但在搜索出并非连续的多个消息时,可以单独示出所搜索出的多个消息,并分别地示出与各个消息相对应的聊天片段、话语、图像、媒体片段等。
可以搜索来自在线会议的与查询所包括的人物标识符相关的文件。可以在文件信息中执行针对查询的搜索,并且提供从文件信息中所搜索到的信息。例如,可以在文件信息中搜索具有包含该人物标识符的文件,从而可以搜索到提及该人物的文件。此外,可以在文件信息中搜索具有与该人物标识符相匹配的发送者的文件,从而可以搜索到该人物发送的文件。例如,框580中示出了来自会议3的与查询“迈克”相关的文件582,并示出了文件582的发送者和发送时间。文件582的发送者是迈克,因此可以被搜索出来。文件582可以对应于图2D中的文件270。优选地,还可以提供聊天记录中与所搜索到的文件相对应的聊天片段。例如,框584中显示了在文件582之前及之后发送的消息。应当理解,尽管在框580中仅示出了文件582及其发送者和发送时间,但在文件582中包括与查询相关的信息的情况下,例如与查询相关的段落、图片等,还可以相应地提供文件582中的相关信息。
应当理解,上述用于搜索与人物相关的信息的方式仅是示例性的,还可以通过其他方式来搜索与人物相关的信息。例如,可以在图像信息中搜索具有与人物标识符相关的标签的图像和/或图像对象,从而可以搜索到包括该人物的姓名、形象等的图像和/或图像对象。另外,图5A至图5B中的界面500a至500b仅是呈现搜索结果的界面的示例。根据会议服务的界面的具体设计,可以以任意其他方式来呈现搜索结果,并且可以任意其他方式来布局界面中的各个元素。此外,当在不同于会议服务的、或者包括会议服务的其他服务处执行针对查询的搜索时,可以在与该其他服务相对应的界面处呈现搜索结果。
图6是根据本公开实施例的用于针对会议服务的信息搜索的示例性方法600的流程图。
在610处,可以接收针对会议服务的查询。
在620处,可以在与所述会议服务相关联的信息库中执行针对所述查询的搜索。所述信息库可以包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息。
在630处,可以提供所述搜索的搜索结果。
在一种实施方式中,所述至少一个媒体内容可以包括视频和/或音频。
在一种实施方式中,所述文本信息可以是通过以下操作获得的:从所述至少一个媒体内容中提取音频;将所述音频转写成一组文本片段,每个文本片段包括讲述者标识符、话语内容和时间戳中至少之一;以及将所述一组文本片段组合成所述文本信息。
在一种实施方式中,所述图像信息可以是通过以下操作获得的:从所述至少一个媒体内容中提取一组图像;对所述一组图像中的每个图像执行图像识别以获得所述图像中的图像对象集合和与所述图像对象集合相对应的标签集合,并将所述图像对象集合和所述标签集合组合成与所述图像相对应的识别结果;以及将与所述一组图像相对应的一组识别结果组合成所述图像信息。
所述图像可以包括共享画面和参与者画面。所述执行图像识别可以包括:对所述图像中的所述共享画面执行图像识别。
所述共享画面可以与在会议期间共享的桌面、图片、视频、网页、电子邮件和生产力工具文档中至少之一相关联。
在一种实施方式中,所述消息信息可以是通过以下操作获得的:从所述聊天记录中提取一组消息,每个消息包括发送者标识符、消息内容和时间戳中至少之一;以及将所述一组消息组合成所述消息信息。
方法600还可以包括:从所述一组消息中识别引用消息和被引用消息;以及通过将所述被引用消息添加到所述引用消息中来更新所述引用消息。
在一种实施方式中,所述文件信息可以是通过以下操作获得的:从所述聊天记录中提取文件,所述文件包括图片、视频、网页、电子邮件和生产力工具文档中至少之一;以及生成所述文件的文件信息。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述文本信息中搜索与所述查询相关的文本片段。所述提供搜索结果可以包括提供以下至少之一:所搜索到的文本片段,所述至少一个媒体内容中与所搜索到的文本片段相对应的媒体片段,以及所述聊天记录中与所搜索到的文本片段相对应的消息、文件和聊天片段中至少之一。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述图像信息中搜索与所述查询相关的图像和/或图像对象。所述提供搜索结果可以包括提供以下至少之一:所搜索到的图像和/或图像对象,与所搜索到的图像和/或图像对象相关联的图像对象,所述至少一个媒体内容中与所搜索到的图像和/或图像对象相对应的媒体片段,以及所述聊天记录中与所搜索到的图像和/或图像对象相对应的消息、文件和聊天片段中至少之一。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述消息信息和/或所述文件信息中搜索与所述查询相关的消息和/或文件。所述提供搜索结果可以包括提供以下至少之一:所搜索到的消息和/或文件,所述聊天记录中与所搜索到的消息和/或文件相对应的聊天片段,以及所述至少一个媒体内容中与所搜索到的消息和/或文件相对应的文本、图像和媒体片段中至少之一。
在一种实施方式中,所述查询可以包括人物标识符。所述执行针对所述查询的搜索可以包括:在所述信息库中搜索与所述人物标识符相关的文本片段、图像、图像对象、消息和文件中至少之一。
应当理解,方法600还可以包括根据上述本公开的实施例的用于针对会议服务的信息搜索的任何步骤/过程。
图7示出了根据本公开实施例的用于针对会议服务的信息搜索的示例性装置700。
装置700可以包括:查询接收模块710,用于接收针对会议服务的查询;搜索执行模块720,用于在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息;以及结果提供模块730,用于提供所述搜索的搜索结果。
应当理解,装置700还可以包括根据上述本公开的实施例的被配置用于针对会议服务的信息搜索的任何其他模块。
图8示出了根据本公开实施例的用于针对会议服务的信息搜索的示例性装置800。
装置800可以包括:至少一个处理器810;以及存储计算机可执行指令的存储器820。所述计算机可执行指令在被执行时可以使得所述至少一个处理器810:接收针对会议服务的查询;在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息;以及提供所述搜索的搜索结果。
在一种实施方式中,所述图像信息可以是通过以下操作获得的:从所述至少一个媒体内容中提取一组图像;对所述一组图像中的每个图像执行图像识别以获得所述图像中的图像对象集合和与所述图像对象集合相对应的标签集合,并将所述图像对象集合和所述标签集合组合成与所述图像相对应的识别结果;以及将与所述一组图像相对应的一组识别结果组合成所述图像信息。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述文本信息中搜索与所述查询相关的文本片段。所述提供搜索结果可以包括提供以下至少之一:所搜索到的文本片段,所述至少一个媒体内容中与所搜索到的文本片段相对应的媒体片段,以及所述聊天记录中与所搜索到的文本片段相对应的消息、文件和聊天片段中至少之一。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述图像信息中搜索与所述查询相关的图像和/或图像对象。所述提供搜索结果可以包括提供以下至少之一:所搜索到的图像和/或图像对象,与所搜索到的图像和/或图像对象相关联的图像对象,所述至少一个媒体内容中与所搜索到的图像和/或图像对象相对应的媒体片段,以及所述聊天记录中与所搜索到的图像和/或图像对象相对应的消息、文件和聊天片段中至少之一。
在一种实施方式中,所述执行针对所述查询的搜索可以包括:在所述消息信息和/或所述文件信息中搜索与所述查询相关的消息和/或文件。所述提供搜索结果可以包括提供以下至少之一:所搜索到的消息和/或文件,所述聊天记录中与所搜索到的消息和/或文件相对应的聊天片段,以及所述至少一个媒体内容中与所搜索到的消息和/或文件相对应的文本、图像和媒体片段中至少之一。
在一种实施方式中,所述查询可以包括人物标识符。所述执行针对所述查询的搜索可以包括:在所述信息库中搜索与所述人物标识符相关的文本片段、图像、图像对象、消息和文件中至少之一。
应当理解,处理器810还可以执行根据上述本公开实施例的用于针对会议服务的信息搜索的方法的任何其他步骤/过程。
本公开的实施例提出了用于针对会议服务的信息搜索的计算机程序产品,包括计算机程序,所述计算机程序被至少一个处理器执行用于:接收针对会议服务的查询;在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息;以及提供所述搜索的搜索结果。此外,所述计算机程序还可以被执行用于实现根据上述本公开实施例的用于针对会议服务的信息搜索的方法的任何其他步骤/过程。
本公开的实施例可以体现在非暂时性计算机可读介质中。所述非暂时性计算机可读介质可以包括指令,所述指令当被执行时,使得一个或多个处理器执行根据如上所述的本公开的实施例的用于针对会议服务的信息搜索的方法的任何操作。
应当理解,以上描述的方法中的所有操作都仅仅是示例性的,本公开并不限制于方法中的任何操作或这些操作的顺序,而是应当涵盖在相同或相似构思下的所有其他等同变换。
还应当理解,以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外,这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。
已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例,本公开中给出的处理器、处理器的任意部分、或者处理器的任意组合可以利用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑单元、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其他适合的处理组件来实现。本公开给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以利用由微处理器、微控制器、DSP或其他适合的平台所执行的软件来实现。
软件应当被广泛地视为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器,存储器可以例如为磁性存储设备(例如,硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本公开给出的多个方面中将存储器示出为是与处理器分离的,但是存储器也可以位于处理器内部,例如高速缓存器或寄存器。
以上描述被提供用于使得本领域任何技术人员能够实践本文所描述的各个方面。对这些方面的各种修改对于本领域技术人员将是显而易见的,并且本文限定的一般性原理可以应用于其他方面。因此,权利要求并非旨在被局限于本文示出的方面。关于本领域普通技术人员已知或即将获知的、对本公开所描述各个方面的元素的所有结构和功能上的等同变换都被明确并入本文并且由权利要求所覆盖。

Claims (20)

1.一种用于针对会议服务的信息搜索的方法,包括:
接收针对会议服务的查询;
在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息;以及
提供所述搜索的搜索结果。
2.根据权利要求1所述的方法,其中,所述至少一个媒体内容包括视频和/或音频。
3.根据权利要求1所述的方法,其中,所述文本信息是通过以下操作获得的:
从所述至少一个媒体内容中提取音频;
将所述音频转写成一组文本片段,每个文本片段包括讲述者标识符、话语内容和时间戳中至少之一;以及
将所述一组文本片段组合成所述文本信息。
4.根据权利要求1所述的方法,其中,所述图像信息是通过以下操作获得的:
从所述至少一个媒体内容中提取一组图像;
对所述一组图像中的每个图像执行图像识别以获得所述图像中的图像对象集合和与所述图像对象集合相对应的标签集合,并将所述图像对象集合和所述标签集合组合成与所述图像相对应的识别结果;以及
将与所述一组图像相对应的一组识别结果组合成所述图像信息。
5.根据权利要求4所述的方法,其中,所述图像包括共享画面和参与者画面,并且所述执行图像识别包括:
对所述图像中的所述共享画面执行图像识别。
6.根据权利要求5所述的方法,其中,所述共享画面与在会议期间共享的桌面、图片、视频、网页、电子邮件和生产力工具文档中至少之一相关联。
7.根据权利要求1所述的方法,其中,所述消息信息是通过以下操作获得的:
从所述聊天记录中提取一组消息,每个消息包括发送者标识符、消息内容和时间戳中至少之一;以及
将所述一组消息组合成所述消息信息。
8.根据权利要求7所述的方法,还包括:
从所述一组消息中识别引用消息和被引用消息;以及
通过将所述被引用消息添加到所述引用消息中来更新所述引用消息。
9.根据权利要求1所述的方法,其中,所述文件信息是通过以下操作获得的:
从所述聊天记录中提取文件,所述文件包括图片、视频、网页、电子邮件和生产力工具文档中至少之一;以及
生成所述文件的文件信息。
10.根据权利要求1所述的方法,其中,
所述执行针对所述查询的搜索包括:在所述文本信息中搜索与所述查询相关的文本片段,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的文本片段,所述至少一个媒体内容中与所搜索到的文本片段相对应的媒体片段,以及所述聊天记录中与所搜索到的文本片段相对应的消息、文件和聊天片段中至少之一。
11.根据权利要求1所述的方法,其中,
所述执行针对所述查询的搜索包括:在所述图像信息中搜索与所述查询相关的图像和/或图像对象,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的图像和/或图像对象,与所搜索到的图像和/或图像对象相关联的图像对象,所述至少一个媒体内容中与所搜索到的图像和/或图像对象相对应的媒体片段,以及所述聊天记录中与所搜索到的图像和/或图像对象相对应的消息、文件和聊天片段中至少之一。
12.根据权利要求1所述的方法,其中,
所述执行针对所述查询的搜索包括:在所述消息信息和/或所述文件信息中搜索与所述查询相关的消息和/或文件,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的消息和/或文件,所述聊天记录中与所搜索到的消息和/或文件相对应的聊天片段,以及所述至少一个媒体内容中与所搜索到的消息和/或文件相对应的文本、图像和媒体片段中至少之一。
13.根据权利要求1所述的方法,其中,
所述查询包括人物标识符,并且
所述执行针对所述查询的搜索包括:在所述信息库中搜索与所述人物标识符相关的文本片段、图像、图像对象、消息和文件中至少之一。
14.一种用于针对会议服务的信息搜索的装置,包括:
至少一个处理器;以及
存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使得所述至少一个处理器:
接收针对会议服务的查询,
在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息,以及
提供所述搜索的搜索结果。
15.根据权利要求14所述的装置,其中,所述图像信息是通过以下操作获得的:
从所述至少一个媒体内容中提取一组图像;
对所述一组图像中的每个图像执行图像识别以获得所述图像中的图像对象集合和与所述图像对象集合相对应的标签集合,并将所述图像对象集合和所述标签集合组合成与所述图像相对应的识别结果;以及
将与所述一组图像相对应的一组识别结果组合成所述图像信息。
16.根据权利要求14所述的装置,其中,
所述执行针对所述查询的搜索包括:在所述文本信息中搜索与所述查询相关的文本片段,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的文本片段,所述至少一个媒体内容中与所搜索到的文本片段相对应的媒体片段,以及所述聊天记录中与所搜索到的文本片段相对应的消息、文件和聊天片段中至少之一。
17.根据权利要求14所述的装置,其中,
所述执行针对所述查询的搜索包括:在所述图像信息中搜索与所述查询相关的图像和/或图像对象,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的图像和/或图像对象,与所搜索到的图像和/或图像对象相关联的图像对象,所述至少一个媒体内容中与所搜索到的图像和/或图像对象相对应的媒体片段,以及所述聊天记录中与所搜索到的图像和/或图像对象相对应的消息、文件和聊天片段中至少之一。
18.根据权利要求14所述的装置,其中,
所述执行针对所述查询的搜索包括:在所述消息信息和/或所述文件信息中搜索与所述查询相关的消息和/或文件,并且
所述提供搜索结果包括提供以下至少之一:所搜索到的消息和/或文件,所述聊天记录中与所搜索到的消息和/或文件相对应的聊天片段,以及所述至少一个媒体内容中与所搜索到的消息和/或文件相对应的文本、图像和媒体片段中至少之一。
19.根据权利要求14所述的装置,其中,
所述查询包括人物标识符,并且
所述执行针对所述查询的搜索包括:在所述信息库中搜索与所述人物标识符相关的文本片段、图像、图像对象、消息和文件中至少之一。
20.一种用于针对会议服务的信息搜索的计算机程序产品,包括计算机程序,所述计算机程序被至少一个处理器执行用于:
接收针对会议服务的查询;
在与所述会议服务相关联的信息库中执行针对所述查询的搜索,所述信息库包括以下至少之一:来自所述会议服务的至少一个媒体内容的文本信息,来自所述至少一个媒体内容的图像信息,与所述至少一个媒体内容相关联的聊天记录中的消息信息,以及所述聊天记录中的文件信息;以及
提供所述搜索的搜索结果。
CN202110240057.9A 2021-03-04 2021-03-04 针对会议服务的信息搜索 Withdrawn CN115037903A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110240057.9A CN115037903A (zh) 2021-03-04 2021-03-04 针对会议服务的信息搜索
PCT/US2022/017176 WO2022187011A1 (en) 2021-03-04 2022-02-21 Information search for a conference service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240057.9A CN115037903A (zh) 2021-03-04 2021-03-04 针对会议服务的信息搜索

Publications (1)

Publication Number Publication Date
CN115037903A true CN115037903A (zh) 2022-09-09

Family

ID=80685289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240057.9A Withdrawn CN115037903A (zh) 2021-03-04 2021-03-04 针对会议服务的信息搜索

Country Status (2)

Country Link
CN (1) CN115037903A (zh)
WO (1) WO2022187011A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854417B2 (en) * 2010-04-27 2014-10-07 Lifesize Communications, Inc. Initiating recording of a videoconference via a single user interaction
US8812510B2 (en) * 2011-05-19 2014-08-19 Oracle International Corporation Temporally-correlated activity streams for conferences

Also Published As

Publication number Publication date
WO2022187011A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
US10629188B2 (en) Automatic note taking within a virtual meeting
CN107391523B (zh) 多用户消息交互话题中提供用于与自动化助理交互的建议
US10608831B2 (en) Analysis of multi-modal parallel communication timeboxes in electronic meeting for automated opportunity qualification and response
US10911718B2 (en) Enhancing meeting participation by an interactive virtual assistant
US9712569B2 (en) Method and apparatus for timeline-synchronized note taking during a web conference
KR101721270B1 (ko) 대화 환경과 회의 환경을 가지는 통신 어플리케이션
US11483273B2 (en) Chat-based interaction with an in-meeting virtual assistant
CN102362271B (zh) 用于合并在托管的会话系统中的会话的编辑的系统和方法
JP5003125B2 (ja) 議事録作成装置及びプログラム
CN110741601A (zh) 具有会议功能的自动助理
US8391455B2 (en) Method and system for live collaborative tagging of audio conferences
US9728190B2 (en) Summarization of audio data
US20180295077A1 (en) Preserving collaboration history with relevant contextual information
US20150066935A1 (en) Crowdsourcing and consolidating user notes taken in a virtual meeting
US20120317210A1 (en) Asynchronous Video Threads
US20110125784A1 (en) Playback of synchronized media archives augmented with user notes
US20090306981A1 (en) Systems and methods for conversation enhancement
US10468051B2 (en) Meeting assistant
US10084829B2 (en) Auto-generation of previews of web conferences
Duguid Insistent voices: Government messages
US20140222840A1 (en) Insertion of non-realtime content to complete interaction record
CN115037903A (zh) 针对会议服务的信息搜索
US20220210109A1 (en) System and method for facilitating online chat edits
WO2018069580A1 (en) Interactive collaboration tool
US20060031332A1 (en) Logging external events in a persistent human-to-human conversational space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220909