CN114846493A - 将内容项与会议内容的捕捉的图像相关联 - Google Patents

将内容项与会议内容的捕捉的图像相关联 Download PDF

Info

Publication number
CN114846493A
CN114846493A CN202080083403.0A CN202080083403A CN114846493A CN 114846493 A CN114846493 A CN 114846493A CN 202080083403 A CN202080083403 A CN 202080083403A CN 114846493 A CN114846493 A CN 114846493A
Authority
CN
China
Prior art keywords
image
content
computing device
content item
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083403.0A
Other languages
English (en)
Inventor
B·S·施蒂克
A·S·李
A·S·费恩格
E·L·梅斯三世
R·F·罗马诺
L·D·洛
H·A·根茨科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN114846493A publication Critical patent/CN114846493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093Calendar-based scheduling for persons or groups
    • G06Q10/1095Meeting or appointment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Abstract

本文中公开了用于将图像与内容项相关联的系统、方法和软件。在一种实施方式中,计算设备确定场景的捕捉的图像包括会议内容的显示。所述设备识别包括场景中的会议内容源的内容项,然后可以创建图像的实例和内容项的实例之间的关联。例如,设备可以创建到内容项的链接,所述到内容项的链接可以嵌入到图像文件中或以其他方式与图像文件相关联。也可以实现相反的操作,由此可以创建到图像的链接并将其嵌入到内容项中或以其他方式与内容项相关联。

Description

将内容项与会议内容的捕捉的图像相关联
技术领域
本公开内容的一些方面涉及计算设备和软件应用领域,并且具体地说,涉及增强会议中的内容捕捉体验。
背景技术
各种内容捕捉技术允许用户捕捉会议内容以供日后参考和理解。一些解决方案内置于给定的会议环境,例如记录在线会议期间交换的音频和/或视频的能力,以及各种参与者的屏幕共享。其他捕捉方式可以以更加自组织的方式使用,例如当用户拍摄白板内容的照片时。
沿着相同的思路,会议参与者经常拍摄在会议的上下文中显示的数字内容的照片。例如,用户可以从正在显示屏幕上呈现给会议参与者的幻灯片版面拍摄照片或捕捉幻灯片的屏幕截图。然后根据许多合适的文件格式(例如JPEG、BMP和GIF)中的一种来保存所得到的图像,并且可以对其进行查看、共享等。
发明内容
计算设备是本文公开的软件,其通过将呈现的内容项链接到用户从它们拍摄的图像来增强内容捕捉体验。这种进步提高了用户查找和使用作为会议内容呈现的基础的内容项的能力。
在一种或多种实施方式中,计算设备确定场景中的捕捉的图像包括会议内容的显示。所述设备识别所述场景中包括所述会议内容源的内容项,然后可以在图像的实例和内容项的实例之间创建关联。例如,所述设备可以创建到内容项的链接,到所述内容项的链接可以被嵌入到所述图像文件中或以其他方式与所述图像文件相关联。也可以实现相反的操作,由此可以创建到所述图像的链接并将其嵌入到内容项中或以其他方式与所述内容项相关联。
提供本发明内容以便以简化的形式对下面在具体实施方式中进一步描述的设计构思的选择进行介绍。可以理解的是:本发明内容并不旨在标识要求保护的主题的关键特征或重要特征,也不旨在用于限制要求保护的主题的范围。
附图说明
参考以下附图可以更好地理解本公开内容的许多方面。附图中的组件不一定按比例绘制,而是强调清楚地说明本公开内容的原理。此外,附图中相似的附图标记贯穿多个视图表示相对应的部分。尽管结合这些附图描述了若干实施方式,但本公开内容不限于本文中公开的实施方式。相反,意图是涵盖所有替代方案、修改和等价物。
图1示出了一种实施方式中的操作场景。
图2示出了一种实施方式中的内容关联过程。
图3示出了一种实施方式中的用户体验。
图4示出了一种实施方式中的用户体验。
图5示出了一种实施方式中的用户体验。
图6示出了适用于实现以下针对附图讨论的各种操作环境、用户体验、架构、过程、场景和序列的计算系统。
具体实施方式
本公开内容的方面涉及增强关于内容捕捉和检索的用户体验的计算技术。在各种实施方式中,计算设备捕捉场景的图像,并确定该图像是否包括会议内容的显示。例如,会议中的用户可以拍摄在会议室的监视器上呈现的幻灯片的照片,并且设备可以识别出场景包括内容。设备然后可以识别包括场景中的会议内容的源的内容项,使得可以在图像和内容项之间创建关联,从而提高内容项的可访问性。
在一些实施方式中,创建图像和内容项之间的关联可以包括:在图像中嵌入去往内容项的链接。确定场景的图像包括:会议内容的显示可以通过将内容识别算法应用于图像的至少一部分来完成。内容识别算法可以包括基于训练数据配置的机器学习模型,训练数据表示被分类为包括其他会议内容的显示的其他图像。
在系统的相同或其他实施方式中,识别内容项可以包括:基于与图像相关联的搜索标准在数据储存库中搜索内容项。内容项可以包括根据呈现格式、文字处理文档格式或电子表格工作簿格式被格式化的文件。在一些情况下,会议内容可以包括文件的视觉渲染。数据储存库可以包括云存储,并且为了搜索数据储存库,程序指令指示一个或多个处理器使用搜索标准对云储存进行远程调用。
本文的技术的这些和其他特征和特性,以及结构相关元素的操作方法和功能以及部件的组合和制造经济性,在参考附图考虑以下描述和所附权利要求后将变得更显而易见,所有这些形成了本说明书的一部分,其中相似的附图标记指定各个图中的相对应部分。然而,应明确理解的是:附图仅是出于说明和描述的目的,而非旨在作为权利要求书的限制性定义。
现在参考附图,图1示出了一种实施方式中的操作环境100和计算设备101。计算设备101的示例包括但不限于移动电话、平板计算机、膝上型计算机、桌面式计算机、可穿戴设备(例如手表和眼镜),图6中的计算设备601是其中的代表。计算设备101使用内容关联过程200,其可以在硬件、软件、固件或其任何组合中实现。参考括号中的图2中的步骤,计算设备101在执行内容关联过程200时如下操作。
在操作中,计算设备101捕捉、接收或以其他方式获得场景的图像111(步骤201)。该场景包括固定到墙壁103的显示设备105,例如在会议室中。该墙壁还包括未在图像中捕捉到的白板107。计算设备101使用其集成相机来捕捉图像。或者,连接到计算设备101的外部相机可以捕捉图像,远程相机也可以。在这两种情况下,计算设备101可以被理解为通过接收由外部和远程相机捕捉的图像来捕捉图像。
已经捕捉、接收或以其他方式获得了图像111的计算设备101确定该场景的图像包括会议内容的显示(步骤203)。内容的示例包括电子幻灯片呈现(例如幻灯片版面)、文字处理文档、电子表格工作簿、文本消息、聊天室消息、博客帖子、微博帖子、社交网络帖子或者可以被显示的任何其他数字内容。内容可以显示在会议室监视器、计算机监视器或电话屏幕上,投影到显示表面上,或以任何其他合适的方式视觉地渲染。在该场景下,显示设备105显示来自幻灯片呈现的幻灯片106。
计算设备101可以用多种方式确定场景的图像包括会议内容。例如,计算设备101(或远程服务)可以采用内容识别算法来确定在场景中显示内容。在其他示例中,可以通过用户输入来向计算设备101指示或通知:场景包括内容的显示。在其他示例中,可以避免显式地确定场景包括内容。而是,计算设备101可以隐式地确定场景包括内容,或者可以假定它的存在。
接下来,计算设备101提取关于内容的标识信息(步骤205)。可以从下列一项或多项中提取信息:图像本身、图像的上下文以及用户输入。例如,计算设备101可以使用字符识别算法从图像中提取文本。可以从图像文件元数据或从操作环境的其他方面提取日期、时间和/或位置。关于用户输入,口头话语可以被转录和解析以识别信息。计算设备101可以使用本地资源、远程资源或本地资源和远程资源的组合来提取标识信息。
使用标识信息,计算设备101继续搜索包括在场景中显示的内容的源的内容项(步骤207)。这可以通过使用与给定内容项相关联的标识信息搜索数据存储117、118和119中的一个或多个来实现。标识信息的非限制性示例包括从内容项的图像中提取的文本和/或对象、与和图像捕捉的时间和日期重叠的一个或多个安排事件相关联的事件信息以及从口头话语的转录中提取的信息。数据存储的非限制性示例包括电子邮件邮箱、数字日历、文件储存库、云存储、消息储存库、聊天消息、微博、协作站点、社交网络等。
在识别了一个或多个内容项之后,计算设备101继续将场景的图像的实例与一个或多个内容项相关联(步骤209)。这可以通过多种方式实现,例如:将元数据添加到图像文件(步骤209A)、更新关联列表(步骤209B)或者创建容器文件(步骤209C)。例如,到给定内容项的链接可以嵌入到图像(或图像的副本)中,使得用户可以通过触摸、点击或以其他方式选择嵌入的链接来导航到内容项。嵌入链接的元数据可以存储在图像文件本身中,或者可以与用于渲染图像的图像数据分开维护。在另一示例中,可以维护包括详细说明内容项和图像之间的关联的元数据的列表或其他这种单独的数据结构。在容器场景中,可以创建保存图像文件和一个或多个关联内容项的单个数据结构(例如,容器文件)。
图像111与内容项113的关联115产生各种技术效果。关联115允许用户从图像的位置容易地打开和使用内容项,减少否则将执行以搜索、导航到和打开内容项的数个步骤。以类似的方式,图像111与内容项133的关联115可以允许用户从内容项的位置更容易地打开和使用图像111。在一些(但不是全部)情况下,步骤的减少可以降低功耗、提高电池寿命,并以其他方式提高给定设备的性能。在任何情况下,这样的进步都会改善用户在创建、捕捉和管理内容时的体验。
图3示出了在一种实施方式中关于计算设备301的用户体验300。计算设备301的示例包括但不限于移动电话、平板计算机、膝上型计算机、桌面式计算机以及可穿戴设备(例如手表和眼镜),图6中的计算设备601是其中的代表。计算设备301包括能够显示用户界面和接收用户输入的显示器303。计算设备301可以包括其他元件,例如麦克风组件、扬声器组件、相机组件等。
用户体验300开始于用户界面310出现在显示器303上。用户界面310包括用于与相机应用进行交互的各种控件。控件包括捕捉按钮311、图库按钮313和方向按钮315。用户界面310还包括用于改变模态(例如视频、照片和慢动作)的各种选项。可以按下捕捉按钮311以捕捉通过计算设备301的相机组件查看的场景的图像,而图库按钮313提供用于导航到存储在设备上的图像的图库视图的机制。方向按钮315允许用户改变使用哪个相机子组件(正面或背面)来拍照。
本示例中的用户界面310还包括经由计算设备301的相机组件(和前置子组件)捕捉到的场景的实况图像317。在用户输入319包括对捕捉按钮311的选择时,可以将实况图像作为捕捉到的图像保留。然后可以通过直接导航到图像、经由图像库或以某种其他方式来查看图像的捕捉到的版本。这样做时,显示器303从用户界面310转换到用户界面320。
用户界面320包括用于与显示在功能菜单321和功能菜单323内的所捕捉的图像325进行交互的各种控件。功能菜单321包括用于导航回到图库的按钮、用于喜欢图像的按钮以及用于导航到子菜单的按钮。功能菜单323包括图像识别按钮、编辑按钮、共享按钮以及垃圾按钮。
在图像被捕捉期间或之后,计算设备301采用与内容关联过程200相同或相似的过程来识别内容并将内容与图像相关联。可以在图像中嵌入去往内容的链接,使得链接的实例可以呈现在用户界面320中。用户界面320中的图标327是可以与所捕捉的图像325相关联地显示的链接的实例的一个示例。
图标327链接到由计算设备301确定为与所捕捉的图像325相关联的幻灯片呈现。与针对图1提供的示例类似,用户体验300中的所捕捉的图像325包括显示在显示设备上的幻灯片内容。该事实由计算设备301采用的内容关联过程识别。相关的幻灯片呈现被相应地识别并且到它的链接以层叠的方式显示在用户界面320中。图标327包括到幻灯片呈现的活动链接,使得包括对图标的选择的用户输入329导致计算设备301启动呈现应用并在用户界面330中打开幻灯片呈现。
用户界面330是可以在其中打开幻灯片呈现、文字处理文档、电子表格或其他此类内容的应用环境的示例。该示例中的用户界面330包括用于与幻灯片呈现交互的功能菜单331和功能菜单333中的各种控件。功能菜单331包括后退按钮、编辑按钮、搜索按钮以及播放按钮。功能菜单333包括用于从呈现应用导航到本地环境的其他方面的控件。
用户界面330还包括由幻灯片334、幻灯片336和幻灯片338表示的幻灯片呈现中的各种幻灯片的预览版本。触摸或以其他方式选择功能菜单331中的播放按钮将使幻灯片以全屏模式显示,一次一张幻灯片。可以理解,幻灯片336对应于由显示屏幕在场景的所捕捉的图像325中显示的内容。因此,用户能够容易地直接从所捕捉的图像325的视图导航到幻灯片呈现,而不必导航到别处来搜索呈现和/或打开它。
图4示出了一种实施方式中的另一种用户体验400。用户体验400涉及计算设备401,其中计算设备601是代表。示例包括但不限于移动电话、平板计算机、膝上型计算机、桌面式计算机以及可穿戴设备(例如手表和眼镜)。计算设备301包括能够显示用户界面和接收用户输入的显示器303。计算设备301可以包括其他元件,例如麦克风组件、扬声器组件、相机组件等。
用户体验400包括到由显示器403呈现的照片图库的用户界面410。用户界面410包括图像预览网格411-418,其中一些包括到与图像相关联的内容项的链接。例如,图像预览411不包括链接,而图像预览412包括链接到相应内容项(例如,文字处理文档)的文件图标422。内容项将被确定为与在由图像预览412预览的图像中所捕捉的内容相关,而图像预览411后面的图像将被确定为缺少与内容项相关联的内容。类似地,图像预览413缺少嵌入的图标,而图像预览414包括链接到幻灯片呈现的文件图标424。幻灯片预览415、417和418也缺少任何此类链接。
在操作中,用户提供用户输入425,包括对文件图标424的选择。选择链接到幻灯片呈现的文件图标424使得计算设备401在用户界面410中呈现该幻灯片呈现的预览430。预览显示幻灯片呈现中的幻灯片的部分,包括幻灯片431。幻灯片431值得注意的是作为在图像预览414后面的图像中所捕捉的内容的源。
包括选择预览430的用户输入435使得计算设备401打开与预览相关联的完整幻灯片呈现。幻灯片呈现在呈现应用的用户界面440中打开。用户界面440包括功能菜单441和功能菜单443中用于与幻灯片呈现交互的各种控件,例如功能菜单441中的后退按钮、编辑按钮、搜索按钮和播放按钮,以及用于从呈现应用导航到功能菜单443中的本地环境的其他方面的控件。
用户界面440还包括由幻灯片444、幻灯片446和幻灯片448表示的幻灯片呈现中的各种幻灯片的预览或最小化的版本。触摸或以其他方式选择功能菜单441中的播放按钮将使得幻灯片以全屏模式显示,一次一张幻灯片。可以理解的是,幻灯片446对应于在图像预览414后面的图像中捕捉到的内容。从用户体验400可以理解,用户能够容易地导航到幻灯片呈现,而不必导航到别处来搜索呈现和/或打开它。此外,用户能够从所捕捉的图像的图库预览导航到幻灯片呈现,以减少在与链接到呈现的文件图标交互之前不得不打开图像的需要。
图5中的用户体验500示出了这样的场景:内容项包括到图像的链接,与具有到内容项的链接的图像相反。在操作中,计算设备501包括到内容项的最近使用(MRU)列表的用户界面505。MRU列表包括呈现图形511、呈现图形513和呈现图形515。可以触摸、单击或以其他方式选择每个呈现图形以打开其底层幻灯片呈现。用户界面505还包括用于搜索和打开新的呈现的功能菜单508,以及用于导航到计算环境的其他方面的功能菜单504。
此外,呈现图形511和515分别包括链接到与内容项相关联的图像的照片图标521和525。包括对照片图标521的选择的用户输入527使得计算设备501在用户界面540中向图像查看器打开其相应的图像。用户界面540包括具有用于与图像交互的选项的功能菜单541,以及具有用于导航到本地计算环境的其他方面的选项的功能菜单542。可以理解的是,用户界面540中的图像捕捉内容的显示545,在该示例中,该内容是来自屏幕上显示的幻灯片呈现的幻灯片。
用户界面540还包括链接到幻灯片呈现的文件图标547,该幻灯片呈现包括显示在屏幕上的幻灯片的源。即,计算设备501(或某个其他设备)先前确定该图像包括内容显示的描绘并且幻灯片呈现是该内容的源。因此,文件图标547对应于幻灯片呈现,并且对文件图标547的选择将使得计算设备501在合适的应用的上下文中打开幻灯片呈现。
继续用户体验500,用户输入529包括对照片图标525的选择,这使得计算设备501在用户界面540中打开相应的图像文件。可以理解的是,用户界面540中的图像捕捉内容的显示555,在该示例中,该内容是来自在监视器上显示的幻灯片呈现的幻灯片。
在该实例中,用户界面540包括链接到幻灯片呈现的文件图标547,该幻灯片呈现包括显示在屏幕上的幻灯片的源。即,计算设备501(或某个其他设备)先前确定该图像包括内容显示的描绘并且幻灯片呈现是该内容的源。因此,文件图标557对应于幻灯片呈现,并且对文件图标557的选择将使得计算设备501在合适的应用的上下文中打开幻灯片呈现。
图6示出了计算设备601,其代表可以在其中实现本文公开的各种过程、程序、服务和场景的任何设备或设备集合。计算设备601的示例包括但不限于移动电话、平板电脑、膝上型电脑、桌面式电脑、手表和其他可穿戴设备,以及物联网(IoT)设备。本文公开的各种过程、程序、服务和场景的一些或所有方面也可以在服务器计算机、云计算平台和数据中心设备,以及任何其他类型的物理或虚拟服务器机器、容器和它们的任意变体或组合上实现。
计算设备601可以被实现为单个装置、系统或设备,或者可以以分布式的方式实现为多个装置、系统或设备。计算设备601包括但不限于:处理系统608、存储系统603、软件605、通信接口系统607和用户接口系统609。处理系统608与存储系统603、通信接口系统607和用户接口系统609操作地耦合。
处理系统608加载并执行来自存储系统603的软件605。软件605包括并实现内容关联过程606,其代表针对前面的图所讨论的内容关联过程。当由处理系统608执行以增强关于内容捕捉体验的用户体验时,软件605指导处理系统608如本文中所描述的至少针对前述实施方式中讨论的各种过程、操作场景和序列进行操作。计算设备601可以可选地包括为了简明的目的而未讨论的额外的设备、特征或功能。
仍然参照图6,处理系统608可以包括微处理器以及从存储系统603检索和执行软件605的其他电路。处理系统608可在单个处理设备中实现,但也可分布于协作执行程序指令的多个处理设备或子系统之间。处理系统608的示例包括:通用中央处理单元、图形处理单元、专用处理器和逻辑器件,以及任何其他类型的处理设备、它们的组合或者它们的变体。
存储系统603可以包括处理系统608可读的并且能够存储软件605的任何计算机可读存储介质。存储系统603可包括用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)、以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储介质的示例包括随机存取存储器、只读存储器、磁盘、光盘、闪存器、虚拟存储器和非虚拟存储器、磁盒、磁带、磁盘存储或其他磁存储设备,或者任何其他合适的存储介质。计算机可读存储介质在任何情况下都不是所传播的信号。
除了计算机可读存储介质以外,在一些实施方式中,存储系统603还可以包括可以通过其在内部或外部传输软件605中的至少一些软件的计算机可读通信介质。存储系统603可实现为单个存储设备,但也可在多个存储设备或相对于彼此是共置或分布式的子系统上实现。存储系统603可包括额外的单元,如能够与处理系统608或者可能其他系统通信的控制器。
软件605(包括内容关联过程606)可以在程序指令中实现,并且可以在由处理系统608执行时,指导处理系统608如针对本文中说明的各种操作场景、序列和过程所描述的那样来进行操作,以及执行其他功能。例如,软件605可以包括用于实现本文所述的内容关联过程的程序指令。
具体而言,程序指令可以包括协作或以其他方式交互以执行本文中描述的各种过程和操作场景的各种组件或模块。各种组件或模块可体现为经编译或解释的指令或者指令的某种其他变体或组合。各种组件或模块可以以同步或异步的方式、串行或并行、在单线程环境或多线程中,或者根据任何其他合适的执行范式、变体或它们的组合来执行。软件605可以包括额外的过程、程序或组件(例如操作系统软件、虚拟化软件,或其他应用软件)。软件605还可以包括固件或可由处理系统608执行的某种其他形式的机器可读处理指令。
一般来说,当被加载进处理系统608并执行时,软件605可以将总体来自通用计算系统的合适的装置、系统或设备(计算设备601所代表的)转变成定制以提供增强的内容捕捉能力的专用计算系统。的确,存储系统603上的编码软件605可转变存储系统603的物理结构。物理结构的具体信息可依赖于本说明书的不同实施方式中的各种因素。这些因素的示例可包括但不限于:用于实现存储系统603的存储介质的技术,以及计算机存储介质被表征为主要存储还是次要存储,以及其他因素。
例如,如果计算机可读存储介质被实现为基于半导体的存储器,那么当程序指令被编码在软件605中时,软件605可以转变半导体存储器的物理状态,例如通过转变构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。类似的转变可以针对磁介质或光介质发生。在不脱离本说明书的范围的情况下,物理介质的其他转变是可能的,提供前述示例仅为了便利该讨论。
通信接口系统607可以包括允许通过通信网络(未示出)与其他计算系统(未示出)进行通信的通信连接和设备。一起以允许系统间通信的连接和设备的示例可包括:网络接口卡、天线、功率放大器、RF电路、收发机和其他通信电路。连接和设备可通过通信介质(如金属、玻璃、空气或任何其他合适的通信介质)进行通信以便与其他计算系统或系统网络交换通信。上述介质、连接和设备是公知的,并且不需在此详细讨论。
计算设备601和其他计算系统(未示出)之间的通信可通过通信网络或一些网络并且根据各种通信协议、协议的组合或其变体来发生。示例包括内联网、互联网、因特网、局域网、广域网、无线网络、有线网络、虚拟网络、软件定义的网络、数据中心总线以及背板或任何其他类型的网络、网络组合、或者它们的变体。上述通信网络和协议是公知的,并且不需在此详细讨论。
用户接口系统609可以包括键盘、鼠标、语音输入设备、用于接收来自用户的触摸手势的触摸输入设备、用于检测用户的非触摸手势及其他运动的运动输入设备和其他相当的输入设备以及能够接收来自用户的用户输入的相关联的处理单元。诸如显示器、扬声器、触觉设备的输出设备和其他类型的输出设备也可以包括在用户接口系统609中。在一些情况下,输入设备和输出设备可组合在单个设备(如能够显示图像和接收触摸手势的显示器)中。上述用户输入和输出设备是本领域公知的,并且不需在此详细讨论。
用户接口系统609还可以包括:可由处理系统602执行以支持上文讨论的各种用户输入和输出设备的相关联的用户接口软件。单独地或者彼此相结合以及与其他硬件和软件单元相结合,用户接口软件和用户接口设备可支持图形用户接口、自然用户接口、对话式用户接口或任何其他类型的用户接口。
如本领域技术人员将明白的:本发明的方面可以体现为系统、方法或计算机程序产品。因此,本发明的方面可以采取以下形式:完全的硬件实施例、完全的软件实施例(包括固件、驻留软件、微代码等)或在本文中可以全部通常被称为“电路”、“模块”或“系统”的对软件和硬件方面进行组合的实施例。另外,本发明的方面可以采取体现在具有体现在其上的计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。
所包括的描述和附图描绘了具体实施例以便教导本领域的技术人员如何做出和使用最佳模式。出于教导发明原理的目的,一些常规方面已被简化或省略。本领域的技术人员将理解落入本公开内容的范围内的这些实施例的变体。本领域的技术人员还将理解的是:可以用各种方式来组合上述特征以形成多个实施例。因此,本发明不局限于上述具体实施例,而是仅由权利要求及其等价物限定。

Claims (15)

1.一种计算装置,包括:
一个或多个计算机可读存储介质;
一个或多个处理器,可操作地与所述一个或多个计算机可读存储介质耦合;以及
程序指令,存储在所述一个或多个计算机可读介质上,当由所述一个或多个处理器执行时,所述程序指令指导所述计算装置至少进行以下操作:
确定场景的捕捉的图像包括会议内容的显示;
识别包括所述场景中的所述会议内容的源的内容项;以及
创建所述图像的实例和所述内容项之间的关联。
2.根据权利要求1所述的计算装置,其中,为了创建所述图像和所述内容项之间的所述关联,所述程序指令指导所述计算装置在所述图像中嵌入去往所述内容项的链接。
3.根据权利要求1所述的计算装置,其中,为了识别包括所述会议内容的所述源的所述内容项,所述程序指令指导所述计算装置基于与所述图像相关联的搜索标准针对所述内容项搜索数据储存库。
4.根据权利要求3所述的计算装置,其中:
所述内容项包括根据呈现格式、文字处理文档格式或电子表格工作簿格式被格式化的文件;以及
所述会议内容包括所述文件的视觉渲染。
5.根据权利要求4所述的计算装置,其中:
所述搜索标准包括所述图像的日期和时间;
所述数据储存库包括事件日历;以及
所述文件包括所述事件日历中事件的附件。
6.根据权利要求4所述的计算装置,其中:
所述搜索标准包括所述图像的日期和时间;
所述数据储存库包括电子邮件邮箱;以及
所述文件包括所述电子邮件邮箱中的电子邮件的附件。
7.根据权利要求4所述的计算装置,其中:
所述搜索标准包括从所述图像中提取的信息;
所述数据储存库包括文件存储;以及
所述文件包括存储在所述文件存储中的多个文件之一。
8.一种用于操作计算设备的方法,所述方法包括:
捕捉场景的图像;
确定所述图像包括会议内容的显示;
识别包括所述会议内容的源的内容项;以及
创建所述图像的实例和所述内容项之间的关联。
9.根据权利要求8所述的方法,其中,创建所述图像和所述内容项之间的所述关联包括:在所述图像中嵌入去往所述内容项的链接。
10.根据权利要求8所述的方法,其中,识别所述内容项包括:基于与所述图像相关联的搜索标准针对所述内容项搜索数据储存库。
11.根据权利要求10所述的方法,其中:
所述内容项包括根据呈现格式、文字处理文档格式或电子表格工作簿格式被格式化的文件;以及
所述会议内容包括所述文件的视觉渲染。
12.根据权利要求11所述的方法,其中,所述数据储存库包括云存储,并且其中,搜索所述数据储存库包括:使用所述搜索标准对所述云存储进行远程调用。
13.根据权利要求11所述的方法,其中,所述搜索标准包括所述图像的日期和时间,所述数据储存库包括事件日历,并且所述文件包括所述事件日历中的事件的附件。
14.根据权利要求11所述的方法,其中,所述搜索标准包括所述图像的日期和时间,所述数据储存库包括电子邮件邮箱,并且所述文件包括所述电子邮件邮箱中的邮件的附件。
15.根据权利要求11所述的方法,其中,所述搜索标准包括从所述图像提取的信息,所述数据储存库包括文件存储,并且所述文件包括存储在所述文件存储中的多个文件之一。
CN202080083403.0A 2019-12-05 2020-11-06 将内容项与会议内容的捕捉的图像相关联 Pending CN114846493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/704,771 US11303464B2 (en) 2019-12-05 2019-12-05 Associating content items with images captured of meeting content
US16/704,771 2019-12-05
PCT/US2020/059248 WO2021113015A1 (en) 2019-12-05 2020-11-06 Associating content items with images captured of meeting content

Publications (1)

Publication Number Publication Date
CN114846493A true CN114846493A (zh) 2022-08-02

Family

ID=73654905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083403.0A Pending CN114846493A (zh) 2019-12-05 2020-11-06 将内容项与会议内容的捕捉的图像相关联

Country Status (4)

Country Link
US (1) US11303464B2 (zh)
EP (1) EP4070256A1 (zh)
CN (1) CN114846493A (zh)
WO (1) WO2021113015A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773231B2 (en) * 2013-05-29 2017-09-26 Evernote Corporation Content associations and sharing for scheduled events

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403225B2 (en) 2004-07-12 2008-07-22 Scenera Technologies, Llc System and method for automatically annotating images in an image-capture device
JP2007052565A (ja) 2005-08-16 2007-03-01 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法
EP2615818A3 (en) 2008-02-28 2013-09-18 BlackBerry Limited Method of automatically geotagging data
US8370358B2 (en) 2009-09-18 2013-02-05 Microsoft Corporation Tagging content with metadata pre-filtered by context
US9591149B2 (en) * 2012-04-30 2017-03-07 Qualcomm Incorporated Generation of a combined image of a presentation surface
US20150143211A1 (en) 2013-11-18 2015-05-21 Microsoft Corporation Link insertion and link preview features
US20150294220A1 (en) * 2014-04-11 2015-10-15 Khalid Ragaei Oreif Structuring data around a topical matter and a.i./n.l.p./ machine learning knowledge system that enhances source content by identifying content topics and keywords and integrating associated/related contents
CN109035079B (zh) * 2017-06-08 2021-10-15 深圳市鹰硕技术有限公司 一种基于互联网的录播课程跟随学习系统和方法
US10915501B2 (en) 2017-06-23 2021-02-09 Microsoft Technology Licensing, Llc Inline content file item attachment
US11238414B2 (en) * 2018-02-28 2022-02-01 Dropbox, Inc. Generating digital associations between documents and digital calendar events based on content connections
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN108920488B (zh) * 2018-05-14 2021-09-28 平安科技(深圳)有限公司 多系统相结合的自然语言处理方法及装置
CN108847241B (zh) * 2018-06-07 2022-09-13 平安科技(深圳)有限公司 将会议语音识别为文本的方法、电子设备及存储介质
CN109817245A (zh) * 2019-01-17 2019-05-28 深圳壹账通智能科技有限公司 会议纪要的生成方法、装置、计算机设备及存储介质
KR20190095181A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 인공 지능을 이용한 화상 회의 시스템
CN110473566A (zh) * 2019-07-25 2019-11-19 深圳壹账通智能科技有限公司 音频分离方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US11303464B2 (en) 2022-04-12
WO2021113015A1 (en) 2021-06-10
EP4070256A1 (en) 2022-10-12
US20210176081A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US11256381B2 (en) Method for providing message function and electronic device thereof
US20230077736A1 (en) Inline message alert
US10235018B2 (en) Browsing electronic messages displayed as titles
US10156966B2 (en) Device, method, and graphical user interface for presenting and installing applications
CN111339032B (zh) 管理具有多页面的文件夹的设备、方法和图形用户界面
US20170024086A1 (en) System and methods for detection and handling of focus elements
EP2972742B1 (en) Semantic zoom-based navigation of displayed content
KR102223698B1 (ko) 변경을 커밋하기 전에 문서에서 제안된 변경의 효과 보기
US20140137020A1 (en) Graphical user interface for navigating applications
US10013664B2 (en) Quick drafts of items in a primary work queue
CN116034385A (zh) 指示相关联内容的可用性的动画视觉提示
WO2021008334A1 (zh) 小程序的数据绑定方法、装置、设备及存储介质
KR102213548B1 (ko) 전자 콘텐츠 저장소로부터 스크린샷을 자동으로 분리 및 선택하기 위한 기법
WO2022062070A1 (en) Software clipboard
WO2022252932A1 (zh) 电子文档的编辑方法、装置、设备及存储介质
TW201545042A (zh) 暫態使用者介面元素
US11243679B2 (en) Remote data input framework
US11303464B2 (en) Associating content items with images captured of meeting content
CN108369692B (zh) 用于在通信概要中提供通信的丰富预览的方法和设备
US20180173377A1 (en) Condensed communication chain control surfacing
US11403064B2 (en) Content capture experiences driven by multi-modal user inputs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination