CN112055847B - 处理图像的方法和系统 - Google Patents

Abstract

本公开针对使用一个或多个机器学习(ML)模型来处理图像。具体地，可以接收描述包括多个不同且独特的帧的图像的数据；以及，对于多个不同且独特的帧中的每个帧，至少部分地基于一个或多个ML模型和描述图像的数据，可以确定该帧的一个或多个得分。得分中的每个得分可以指示确定的该帧相对于各种不同且独特的用途中的一个或多个的适合性的度量，ML模型被配置为确定图像对于各种不同且独特的用途的适合性。

Description

处理图像的方法和系统

技术领域

本公开总体上涉及数字图像。更具体地，本公开涉及使用一个或多个机器学习(machine learning，ML)模型来处理图像。

背景技术

计算设备(例如，台式计算机、膝上型计算机、平板计算机、智能电话、可穿戴计算设备等)在现代社会中无处不在。它们可以支持其用户之间的通信，向其用户提供有关其环境、当前事件、整个世界等的信息。这种设备的普遍用途是生成、操纵、传递和/或类似地处理数字图像(例如，图片、视频等)。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中习得，或者可以通过对实施例的实践而习得。

本公开的一个示例方面针对一种计算机实现的方法。该方法可以包括：由一个或多个计算设备提供用于使用一个或多个机器学习(ML)模型处理图像的应用编程接口(application programming interface，API)，以识别被确定为适合于一个或多个不同且独特(different and distinct)的用途的图像。该方法还可以包括：由计算设备经由API从请求应用接收描述图像的数据，该图像包括用于使用ML模型处理的多个不同且独特的帧。该方法还可以包括：对于多个不同且独特的帧中的每个帧，由计算设备至少部分地基于ML模型和描述图像的数据确定该帧的一个或多个得分。这些得分中的每个得分可以指示确定的该帧相对于不同且独特的用途中的用途的适合性的度量。该方法还可以包括：对于多个不同且独特的帧中的一个或多个帧中的每个帧，由计算设备经由API将指示该帧的得分中的至少一个的数据传递到请求应用。

本公开的另一个示例方面针对一种系统。该系统可以包括一个或多个处理器以及存储指令的存储器，该指令在由处理器运行时使系统执行操作。该操作可以包括：接收描述包括多个不同且独特的帧的图像的数据。该操作还可以包括：对于多个不同且独特的帧中的每个帧，至少部分地基于一个或多个ML模型和描述图像的数据确定该帧的一个或多个得分。这些得分中的每个得分可以指示确定的该帧相对于各种不同且独特的用途中的一个或多个的适合性的度量，ML模型被配置为确定图像对于各种不同且独特的用途的适合性。

本公开的又一示例方面针对一个或多个非暂时性计算机可读介质。非暂时性计算机可读介质可以包括指令，这些指令在由一个或多个计算设备运行时使计算设备执行操作。该操作可以包括：至少部分地基于描述包括多个不同且独特的帧的图像的数据，对于多个不同且独特的帧中的每个帧，利用一个或多个ML模型来确定该帧的一个或多个得分。得分的每个得分可以指示确定的该帧相对于各种不同且独特的用途中的一个或多个的适合性的度量，ML模型被配置为确定图像对于各种不同且独特的用途的适合性。

本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。

附图说明

参考附图在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：

图1描绘了根据本公开的示例实施例的示例计算环境；

图2A和图2B描绘了根据本公开的示例实施例的示例事件序列；

图3A至图3D描绘了根据本公开的示例实施例的示例图形用户界面(GUI)；

图4描绘了根据本公开的示例实施例的示例计算平台；以及

图5描绘了根据本公开的示例实施例的示例方法。

具体实施方式

本公开的示例方面针对使用一种或多个机器学习(ML)模型来处理图像。具体地，一个或多个计算设备可以接收描述包括多个不同且独特的帧(例如，单个静止图像、一个或多个视频的分量帧等)的图像的数据。至少部分地基于一个或多个ML模型和描述图像的数据，对于多个不同且独特的帧中的每个帧，计算设备可以确定该帧的一个或多个得分。得分中的每个得分可以指示确定的该帧相对于各种不同且独特的用途中的一个或多个的帧的适合性的度量，ML模型配置为确定图像对于各种不同且独特的用途的适合性。

此类用途可以包括，例如，针对(with)特定应用(例如，电子邮件应用、消息传递应用、社交媒体应用等)的用途；针对特定受众(例如，整个公众、消息传递小组、特定收件人的列表、朋友、家庭成员、工作同事等)的用途；包括在用于顺序呈现的帧序列(例如，幻灯片、蒙太奇等)中；用作相关帧的相册、集合、序列等的代表、缩略图、封面等；等等。

在一些实施例中，计算设备可以提供用于使用ML模型来处理图像的应用编程接口(application programming interface，API)，例如，以识别被确定为适合于各种不同且独特的用途中的一个或多个的图像。在一些此类实施例中，计算设备可以经由API(例如，从请求应用等)接收描述图像的数据。在一些实施例中，计算设备可以(例如，经由API、向请求应用等)传递数据，对于多个不同且独特的帧中的一个或多个帧中的每个帧，该数据指示该帧的得分中的至少一个。在一些此类实施例中，至少部分地基于此类数据，计算设备可以生成描述包括此类帧的至少一部分的策展(curation)(例如，用于呈现、浏览、操纵等)的界面的数据。

在一些实施例中，对于多个不同且独特的帧中包括的帧集合中的一个或多个帧，计算设备可以确定一个或多个得分，这一个或多个得分指示该集合中的帧被确定为比该集合中的每个其他帧更适合于各种不同且独特的用途中的一个或多个特定用途。在一些此类实施例中，计算设备可以(例如，经由API、从请求应用等)(例如，与识别适合于此类用途的一个或多个帧的请求等相关联地)接收指示特定用途的数据。

在一些实施例中，该帧集合可以包括同时生成的相似帧序列(例如，突发、流等)。该序列中的每个帧可以包括与该序列中的每个其他帧共享的一个或多个主题(例如，人、动物、焦点对象等)以及与该序列中的每个其他帧共享的一个或多个主题的(例如，与设置、周围环境等相关联的)上下文背景。另外地或可替代地，该帧集合可以包括不同且独特的帧的集合，该帧的集合包括来自多个不同且独特的帧序列的帧。此集合中的每个帧可以包括与此集合中的每个其他帧不同且独特的一个或多个主题，和/或与此集合中的每个其他帧不同且独特的一个或多个主题的上下文背景。

在一些实施例中，计算设备可以(例如，经由API、从请求应用、与识别一个或多个帧等的请求相关联地)接收指示多个不同且独特的帧中的一个或多个特定主题、由多个不同且独特的帧的主题展示的一个或多个特定表达(例如，微笑、睁开的眼睛、笑声(laughter)等)、由多个不同且独特的帧描绘的一个或多个特定事件(例如，在体育赛事中得分)等的数据。在一些此类实施例中，确定多个不同且独特的帧中的每一个的得分可以包括从多个不同且独特的帧中识别帧集合，该帧集合每个包括特定主题、表达、事件等。

在一些实施例中，对于一个或多个帧中的每个帧，计算设备可以(例如，与识别包括在幻灯片、蒙太奇等中的一个或多个帧的请求相关联地)(例如，至少部分地基于此类帧的得分等)确定该帧在用于顺序呈现的帧序列中的位置。在一些此类实施例中，对于此类帧中的每个帧，计算设备可以(例如，经由API、向请求应用等)传递指示该帧在用于顺序呈现的帧序列中的位置的数据。

在一些实施例中，描述图像的数据可以至少部分地基于图像中包括的像素的一个或多个布置(例如，图像的视觉内容等)来生成，但不足以实现此类布置的重建(例如，以减轻隐私问题等)。

在一些实施例中，计算设备可以至少部分基于描述其他图像的数据(例如，训练数据等)和关于此类图像的用户输入来生成ML模型。在一些实施例中，可以从特定用户设备接收描述此类其他图像的数据和用户输入，描述包括多个不同且独特的帧的图像的数据从该特定用户设备接收。另外地或可替代地，可以从与特定用户设备不同且独特的一个或多个用户设备接收描述其他图像的数据和用户输入，描述包括多个不同且独特的帧的图像的数据从该特定用户设备接收。

在一些实施例中，ML模型可以是或以其它方式包括等各种ML模型(例如，神经网络(例如，深度神经网络等))、其他类型的ML模型(包括非线性模型、线性模型、多层模型等)。神经网络可以包括前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络等)、卷积神经网络、其他形式的神经网络等。在一些实施例中，可以使用监督技术、半监督技术、非监督技术等来训练ML模型。

本文描述的技术可以提供许多技术效果和益处。例如，本文描述的技术可以实现适合于一个或多个特定用途的图像(例如，一个或多个帧、帧集合、帧序列等)的有效识别、组织、生成等，从而避免或以其他方式减少所需的用户努力和设备交互，从而节省了计算资源(例如，能源、处理周期、网络带宽等)。

现在参考附图，将进一步详细讨论本公开的示例实施例。

图1描绘了根据本公开的示例实施例的示例计算环境。

参照图1，环境100可以包括一个或多个计算设备(例如，一个或多个台式计算机、膝上型计算机、平板计算机、移动设备、智能电话、可穿戴设备、服务器等)。例如，环境100可以包括计算设备10、20、30、40和50以及计算系统112，计算系统112可以包括一个或多个计算设备。环境100还可以包括一个或多个网络110(例如，一个或多个有线网络、无线网络等)。网络110可以将计算设备10、20、30、40和/或50彼此对接和/或与计算系统112对接。

计算设备10可以包括一个或多个处理器102、一个或多个通信接口104和存储器106(例如，用于存储可运行指令、数据等的一个或多个硬件组件)。通信接口104可以使计算设备10能够与计算设备20、30、40和/或50通信和/或与计算系统112通信。存储器106可以包括(例如，存储等)指令108。当由处理器102运行时，指令108可以使计算设备10执行本文所述的一个或多个操作、功能等。将会领会，计算设备20、30、40和/或50可以包括以上关于计算设备10描述的组件中的一个或多个。

计算系统112可以包括一个或多个处理器114、一个或多个通信接口116和存储器118(例如，用于存储可运行指令、数据等的一个或多个硬件组件)。通信接口116可以使计算系统112能够与计算设备10、20、30、40和/或50通信。存储器118可以包括(例如，存储等)指令120。当由处理器114运行时，指令120可以使计算系统112执行本文所述的一个或多个操作、功能等。

除非另有明确指示，否则本文所述的操作、功能等可由计算设备10、20、30、40和/或50和/或计算系统112(例如，由计算设备10、20、30、40或50、由计算系统112、由计算设备10、20、30、40和/或50中的一个或多个和/或计算系统112的组合等)执行。

图2A和2B描绘了根据本公开的示例实施例的示例事件序列。

参照图2A，在(202)，计算设备40可以生成描述图像、图像的一个或多个方面、图像非常适合的一个或多个用途等的数据，并且可以(例如，经由网络110(如由从网络110向下延伸的线上的图案填充的框所指示)等)将此类数据传递到可以接收数据的计算系统112。类似地，在(204)，计算设备50可以生成描述图像、图像的一个或多个方面、图像非常适合的一个或多个用途等的数据，并且可以将此类数据传递到可以接收数据的计算系统112。

在(206)，可以经由计算设备10提供关于图像的用户输入(例如，图像可以用于其非常适合的一个或多个特定目的等)，并且在(208)，计算设备10可以(例如，至少部分地基于用户输入等)生成描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的数据，并且可以将此类数据传递到可以接收数据的计算系统112。类似地，在(210)，可以经由计算设备20提供关于图像的用户输入，并且在(212)，计算设备20可以(例如，至少部分地基于用户输入等)生成描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的数据，并且可以将此类数据传递到可以接收数据的计算系统112；以及，在(214)，可以经由计算设备30提供关于图像的用户输入，并且在(216)，计算设备30可以(例如，至少部分地基于用户输入等)生成描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的数据，并且可以将此类数据传递到可以接收数据的计算系统112。

例如，计算设备10可以是用户设备(例如，至少暂时与特定用户、用户帐户等相关联的一个或多个关联计算设备)。类似地，计算设备20可以是与计算设备10不同且独特的用户设备(例如，至少暂时与不同且独特的用户、用户帐户等相关联的一个或多个关联计算设备)；以及，计算设备30可以是与计算设备10和20不同且独特的用户设备(例如，至少暂时与另一不同且独特的用户、用户账户等相关联的一个或多个关联计算设备)。

计算设备10、20和/或30可以运行一个或多个不同且独特的应用。例如，参照图3A，计算设备10、20和/或30可以运行与图形用户界面(graphical user interface，GUI)元素302等相关联的应用(例如，照片管理应用等)。

参照图3B，在一些实施例中(例如，为了减轻潜在的隐私问题等)，可以向计算设备10、20和/或30的一个或多个用户提供关于某些数据等的收集的信息(例如，经由元件304等)、用于允许用户对本文所述的方法、系统、功能、操作等是否和/或何时可以实现某些数据等(例如，描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的数据)的收集进行一次或多次选择的一个或多个控件(例如，经由元件306和/或308等)。另外地或可替代地，某些数据(例如，描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的数据)可以在被存储、利用等之前以一个或多个方式进行处理(例如，因此可以删除个人身份信息，可以删除、抽象图像的基本视觉内容等)。例如，可以处理用户的身份、图像、与其相关联的数据等，使得无法确定用户的个人可识别信息，无法辨别、重建等图像的基本视觉内容。因此，用户可以控制收集关于他们的哪些数据、如何使用这些信息、向他们提供哪些信息等。

根据本公开的一个或多个方面，计算系统112和/或计算设备10、20和/或30可以提供用于使用一个或多个机器学习(ML)模型处理图像的应用编程接口(applicationprogramming interface，API)，例如，以识别被确定为适合于各种不同且独特的用途中的一个或多个的图像，ML模型被配置为确定图像对于各种不同且独特的用途的适合性等。在一些实施例中，描述图像、图像的一个或多个方面、用户输入、图像非常适合的一个或多个用途等的(例如，在(208)、(212)、(216)等传递的)数据可以经由此类API等传递。各种不同且独特的用途可以包括，例如，针对特定应用(例如，电子邮件应用、消息传递应用、社交媒体应用等)的用途；针对特定受众(例如，公众、消息传递小组、特定收件人列表、朋友、家人、工作同事等)的用途；包括在用于顺序呈现的帧序列(例如，幻灯片、蒙太奇等)中；用作相关帧的相册、集合、序列等的代表、缩略图、封面等；等。

参考图2B，在(218)，计算系统112可以(例如，至少部分地基于在(202)、(204)、(208)、(212)、(216)等传递的数据)生成数据，并且可以将此类数据传递给可以接收数据的计算设备10。

在(220)，可以生成被配置为确定图像对于各种不同且独特的用途的适合性的ML模型。例如，在(220A)，计算设备10可以(例如，至少部分地基于在(208)、(218)等传递的数据)生成一个或多个此类ML模型。另外地或可替代地，在(220B)，计算系统112可以(例如，至少部分地基于在(202)、(204)、(208)、(212)、(216)等传递的数据)生成一个或多个此类ML模型。

图4描绘了根据本公开的示例实施例的示例计算平台。

参照图4，计算设备10和/或计算系统112可以运行一个或多个不同且独特的应用402、404和/或406。例如，应用402可以是与元素302等相关联的应用(例如，照片管理应用等)。计算设备10和/或计算系统112还可以运行ML平台408，ML平台408可以提供用于使用机器学习(ML)模型处理图像的API。此类API可以(例如，经由一个或多个调用、返回等)在ML平台408和应用402、404和/或406之间进行对接、实现通信等。将会领会到，计算设备20和/或30可以提供与关于计算设备10和/或计算系统112描述的功能类似的(例如，与ML平台408相关联的等)功能。

ML平台408可以与模型库414对接，模型库414可以包括由一个或多个ML引擎412例如至少部分地基于示例数据库410中包括的一个或多个示例(例如，训练数据等)生成的一个或多个ML模型416、418和/或420(例如，被配置为确定图像对于各种不同且独特的用途的适合性的ML模型等)。此类示例可以例如包括由ML平台408例如至少部分地基于在(208)、(212)、(216)等传递的(例如，来自应用402、404和/或406、经由API等的)数据、在(202)、(204)、(218)等传递的数据管理、生成等的一个或多个示例。

在一些实施例中，ML模型416、418和/或420可以是、以其它方式包括等各种ML模型，例如，神经网络(例如，深度神经网络等)、其他类型的ML模型(包括非线性模型、线性模型、多层模型等)。神经网络可以包括前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络等)、卷积神经网络、其他形式的神经网络等。在一些实施例中，可以使用监督技术、半监督技术、非监督技术等来训练ML模型416、418和/或420。

返回图2B，在(222)，可以经由计算设备10提供关于图像的用户输入，并且在(224)，计算设备10可以(例如，至少部分地基于用户输入等)生成描述图像、图像的一个或多个方面、用户输入等的数据，并且可以(例如，经由ML平台408提供的API等)将此类数据传递到可以接收数据的计算系统112。图像可包括多个不同且独特的帧(例如，单个静止图像、一个或多个视频的分量帧等)。

例如，参考图3C，所示GUI的部分310可以与应用402(例如，照片管理应用等)相关联，并且可以包括一个或多个部分312、314和/或316以及元素318。可以经由应用402选择图像，并且所选图像可以包括多个不同且独特的帧。例如，图像可以包括来自在部分312内标识的一个或多个所选相册中包括的图像的一个或多个帧、来自在部分314内标识的所选图像的一个或多个帧、来自在部分316内标识的一个或多个所选视频中包括的图像的一个或多个帧等。响应于元素318被调用(例如，经由应用402与请求相关联，以识别被确定为适合于各种不同且独特的用途中的一个或多个的所选图像(ML模型416、418和/或420被配置为确定图像对于各种不同且独特的用途的适合性)内的一个或多个帧等)，计算设备10可以生成描述所选图像、所选图像的一个或多个方面等的数据，并且可以(例如，经由ML平台408提供的API等)将此类数据传递到可以接收数据的计算系统112。

在一些实施例中，本文描述的数据的一个或多个部分(例如，在(202)、(204)、(208)、(212)、(216)、(218)、(224)等传递的数据)可以至少部分地基于图像中包括的像素的一个或多个布置(例如，图像的视觉内容等)生成，但是不足以实现此类布置的重建(例如，以减轻隐私问题等)。

返回到图2B(226)，至少部分地基于ML模型416、418和/或420和描述所选图像的数据，可以为所选图像的多个不同且独特的帧中的每个帧确定一个或多个得分。得分中的每一个可以指示确定的该帧相对于各种不同且独特的用途(ML模型416、418和/或420被配置为确定图像对于各种不同且独特的用途的适合性)中的一个或多个的适合性的度量。例如，在(226A)，计算设备10可以利用ML模型416、418和/或420来确定所选图像的多个不同且独特的帧中的一个或多个帧的一个或多个此类得分。另外地或替代地，在(226B)，计算系统112可以利用ML模型416、418和/或420来确定所选图像的多个不同且独特的帧中的一个或多个帧的一个或多个此类得分。

在一些实施例中，可以(例如，由经由ML平台408提供的API从应用402接收的数据、与识别被确定为适合于各种不同且独特的用途(ML模型416、418和/或420被配置为确定图像对于各种不同且独特的用途的适合性)中的一个或多个的所选图像内的一个或多个帧的请求等相关联地)指定使用ML模型416、418和/或420中的哪一个来确定此类得分。

在一些实施例中，对于多个不同且独特的帧包括的帧集合中的一个或多个帧，计算设备10和/或计算系统112可以确定一个或多个得分，这一个或多个得分指示该集合中的这一个或多个帧被确定为比该集合中的每个其他帧更适合于各种不同且独特的用途中的一个或多个特定用途。在一些这样的实施例中，计算设备10和/或计算系统112可以(例如，经由ML平台408提供的API从应用402等)(例如，与识别被确定为适合于各种不同且独特的用途(ML模型416、418和/或420被配置为确定图像对于各种不同且独特的用途的适合性)中的一个或多个的所选图像内的一个或多个帧的请求等相关联地)接收指示特定用途的数据。

在一些实施例中，帧的集合可以包括同时生成的相似帧序列(例如，突发、流等)。序列中的每个帧可以包括与序列中的每个其他帧共享的一个或多个主题(例如，人、动物、焦点对象等)以及与序列中的每个其他帧共享的一个或多个主题的(例如，与设置、周围环境等相关联的)上下文背景。在一些此类实施例中，可以实时、接近实时等确定帧的得分，例如，能够从同时生成的帧的缓冲区中选择一个或多个帧(例如，被确定为适合于一个或多个特定用途等)，例如，从而帮助用户捕获一个或多个特定帧(例如，所有主题的眼睛同时张开的镜头等)。另外地或可替代地，帧集合可以包括不同且独特的帧集合，该帧集合包括来自多个不同且独特的帧序列的帧。此集合中的每个帧可以包括与此集合中的每个其他帧不同且独特的一个或多个主题，和/或与此集合中的每个其他帧不同且独特的一个或多个主题的上下文背景。

在一些实施例中，计算设备10和/或计算系统112可以(例如，经由ML平台408提供的API从应用402、与识别被确定为适合于各种不同且独特的用途(ML模型416、418和/或420被配置为确定图像对于各种不同且独特的用途的适合性)中的一个或多个的所选图像内的一个或多个帧的请求等相关联地)接收指示多个不同且独特的帧中的一个或多个特定主题、由多个不同且独特的帧的主题展示的一个或多个特定表达(例如，微笑、睁开眼睛、笑声等)、由多个不同且独特的帧描绘的一个或多个特定事件(例如，在体育赛事中得分等)等的数据。在一些这样的实施例中，确定多个不同且独特的帧中的每个帧的得分可以包括从多个不同且独特的帧中识别出帧集合，该帧集合每个包括特定主题、表达、事件等。

在一些实施例中，确定多个不同且独特的帧中的每个帧的得分可以包括至少部分基于为该帧确定的(例如，关于图像质量、焦点、模糊、曝光等的)一个或多个质量衡量指标来确定得分。另外地或可替代地，确定得分可以包括对一个或多个特定对象(subject)、对象组等的发生、出现等进行识别、计数等。

在一些实施例中，对于一个或多个帧中的每个帧，计算设备10和/或计算系统112可以(例如，与识别包括在幻灯片、蒙太奇等中的一个或多个帧的请求相关联地)(例如，至少部分地基于此类帧的得分等)确定该帧在顺序呈现的帧序列中的位置。

在一些实施例中，对于一个或多个帧中的每个帧，计算设备10和/或计算系统112可以利用场景分析技术来确定该帧的得分中的一个或多个。例如，为了确定此类得分中的一个或多个，计算设备10和/或计算系统112可以利用在2015年12月30日提交的、题为“用于选择性地保留和编辑由移动图像捕获设备捕获的图像的系统和方法(SYSTEMS ANDMETHODS FOR SELECTIVE RETENTION AND EDITING OF IMAGES CAPTURED BY MOBILEIMAGE CAPTURE DEVICE)”的、序列号为14/984,628的美国专利申请中描述的技术的一个或多个方面，该申请的公开内容通过引用整体并入本文。

在(228)，对于多个不同且独特的帧中的一个或多个中的每个帧，计算系统112可以生成指示该帧的得分中的至少一个、该帧在用于顺序呈现的一个或多个帧序列中的一个或多个位置等的数据，并且可以将此类数据(例如，经由ML平台408提供的API向应用402等)传递到可以接收数据的计算设备10。

至少部分地基于此类数据，在(230)，计算设备10可以生成输出，例如，描述包括此类帧的至少一部分的策展(例如，用于呈现、浏览、操纵等)的接口的数据。例如，参考图3D，所示出的GUI的部分320可以识别被确定为适合于特定应用(例如，“App_1”等)的多个不同且独特的帧中的一个或多个；部分322可以识别被确定为适合于不同且独特的应用(例如，“App_N”等)的多个不同且独特的帧中的一个或多个；部分324可以识别被确定适合于特定受众(例如，“朋友”等)的多个不同且独特的帧中的一个或多个；部分326可以识别被确定为适合于不同且独特的受众(例如，“公众”等)的多个不同且独特的帧中的一个或多个；部分328可以识别包括位于一个或多个特定位置处的多个不同且独特的帧中的一个或多个的、用于顺序呈现的一个或多个帧序列(例如，“幻灯片”等)，这多个不同且独特的帧被确定为适合于这一个或多个特定位置等；以及，部分330可以识别包括位于一个或多个特定位置处的多个不同且独特的帧中的一个或多个的、用于顺序呈现的一个或多个不同且独特的帧序列(例如，“蒙太奇”等)，其中，这多个不同且独特的帧被确定为适合于这一个或多个特定位置等。

图5描绘了根据本公开的示例实施例的示例方法。

参照图5，在(502)，一个或多个计算设备可以提供用于使用一个或多个ML模型来处理图像的API，以识别被确定为适合于一个或多个不同且独特的用途的图像，ML模型被配置为确定图像对于这一个或多个不同且独特的用途的适合性。例如，计算设备10和/或计算系统112可以提供用于使用ML模型416、418和/或420来处理图像的API(例如，ML平台408提供的API等)。

在(504)，计算设备可以经由API接收描述图像的数据，该图像包括用于使用ML模型来处理的多个不同且独特的帧。例如，计算设备10和/或计算系统112可以接收(例如，经由ML平台408提供的API等)描述经由应用402选择的图像的数据。

在(506)，对于多个不同且独特的帧中的每个帧，计算设备可以确定该帧的一个或多个得分，该得分中的每个得分指示确定的帧相对于不同且独特的用途中的一个或多个的适合性的度量，ML模型被配置为确定图像对于这些不同且独特的用途的适合性。例如，对于经由应用402选择的图像的多个不同且独特的帧中的每个帧，计算设备10和/或计算系统112可以利用ML模型416、418和/或420来确定该帧的一个或多个得分。

在(508)，对于多个不同且独特的帧中的一个或多个帧中的每个帧，计算设备可以经由API传递指示该帧的得分中的至少一个的数据。例如，对于经由应用402选择的图像的多个不同且独特的帧中的一个或多个帧中的每个帧，计算设备10和/或计算系统112可以(例如，经由ML平台408提供的API等)传递指示该帧的得分中的至少一个的数据。

本文讨论的技术是指服务器、数据库、软件应用和/或其他基于计算机的系统，以及向此类系统和/或从此类系统采取的动作和发送的信息。基于计算机的系统的固有灵活性允许组件之间的任务和/或功能的多种可能的配置、组合和/或划分。例如，可以使用单个设备或组件和/或组合工作的多个设备或组件来实现本文讨论的过程。数据库和/或应用可以在单个系统上实现和/或分布在多个系统上。分布式组件可以顺序和/或并行操作。

在以上描述中讨论了元件之间的各种连接。这些连接是通用的，除非另有说明，否则这些连接可以是直接的和/或间接的、有线和/或无线的。在这方面，本说明书并非旨在进行限制。

所描绘和/或描述的步骤仅是说明性的，并且可以省略、组合和/或以不同于所描绘和/或描述的顺序来执行；所描绘的步骤的编号仅仅是为了便于参考，并不意味着任何特定的排序是必需的或优选的。

本文描述的功能和/或步骤可以体现在由一台或多台计算机和/或其他设备运行以执行本文描述的一个或多个功能的计算机可用数据和/或计算机可执行指令中。通常，此类数据和/或指令包括在由计算机和/或其他数据处理设备中的一个或多个处理器运行时执行特定任务和/或实现特定数据类型的例程、程序、对象、组件、数据结构等。可以将计算机可运行指令存储在诸如硬盘、光盘、可移动存储介质、固态存储器、只读存储器(ROM)、随机存取存储器(RAM)等的计算机可读介质上。将会领会，可以根据需要组合和/或分配这种指令的功能。另外，该功能可以全部或部分地体现在固件和/或硬件等同物中，诸如集成电路、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)等。特定的数据结构可以用于更有效地实现本公开的一个或多个方面，并且此类数据结构被设想在本文所述的计算机可运行指令和/或计算机可用数据的范围内。

尽管不是必需的，但是本领域的普通技术人员将会领会，本文描述的各个方面可以体现为方法、系统、装置和/或存储计算机可运行指令的一个或多个计算机可读介质。因此，方面可以采取完全硬件实施例、完全软件实施例、完全固件实施例和/或以任何组合方式组合软件、硬件和/或固件方面的实施例的形式。

如本文所述，各种方法和动作可以在一个或多个计算设备和/或网络上操作。功能可以任何方式分布或可以位于单个计算设备(例如，服务器、客户端计算机、用户设备等)中。

已经按照本公开的说明性实施例描述了本公开的各方面。通过审阅本公开，本领域普通技术人员可以想到所附权利要求的范围和精神内的许多其他实施例、修改和/或变化。例如，本领域的普通技术人员可以领会，所描绘和/或描述的步骤可以不同于所列举的顺序来执行，和/或一个或多个所示出的步骤可以是可选的和/或组合的。所附权利要求中的任何和所有特征可以以任何可能的方式组合和/或重新布置。

尽管已经针对本主题的各种特定示例实施例详细描述了本主题，但是每个示例都是通过说明的方式提供的，而不是对本公开的限制。本领域技术人员在理解前述内容之后，可以容易地对这些实施例进行改变、变型和/或等同。因此，本公开并不排除对本主题的此类修改、变型和/或添加，这对于本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出和/或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是本公开覆盖此类改变、变型和/或等同。

Claims (20)

1.一种计算机实现的方法，包括：

由一个或多个计算设备提供用于使用一个或多个机器学习(ML)模型处理图像的应用编程接口(API)，以识别被确定为适合于一个或多个不同且独特的用途的图像；

由所述一个或多个计算设备经由API从请求应用接收描述图像的数据，所述图像包括用于使用所述一个或多个ML模型处理的多个不同且独特的帧；

对于所述多个不同且独特的帧中的每个帧，由所述一个或多个计算设备至少部分地基于所述一个或多个ML模型和描述所述图像的数据，确定所述帧的一个或多个得分，所述一个或多个得分中的每个得分指示确定的所述帧相对于所述一个或多个不同且独特的用途中的用途的适合性的度量；以及

对于所述多个不同且独特的帧中的一个或多个帧中的每个帧，由所述一个或多个计算设备经由所述API将指示所述帧的一个或多个得分中的至少一个的数据传递到所述请求应用。

2.根据权利要求1所述的计算机实现的方法，其中：

所述多个不同且独特的帧包括同时生成的相似帧的序列，所述序列中的每个帧包括：

与所述序列中的每个其他帧共享的一个或多个主题，和

与所述序列中的每个其他帧共享的、所述一个或多个主题的上下文背景；以及

所述确定包括：对于所述序列中的一个或多个帧，确定指示序列中的所述一个或多个帧被确定为比所述序列中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

3.根据权利要求1所述的计算机实现的方法，其中：

所述多个不同且独特的帧包括不同且独特的帧的集合，所述集合包括来自多个不同且独特的帧序列的帧，所述集合中的每个帧包括以下各项中的一个或多个：

与所述集合中的每个其他帧不同且独特的一个或多个主题，或

与所述集合中的每个其他帧不同且独特的、所述集合中的帧的一个或多个主题的上下文背景；以及

所述确定包括：对于所述集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

4.根据权利要求1所述的计算机实现的方法，其中：

所述方法包括：由所述一个或多个计算设备经由所述API从所述请求应用接收指示所述一个或多个不同且独特的用途中的特定用途的数据；以及

所述确定包括：对于所述多个不同且独特的帧中包括的帧的集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

5.根据权利要求1所述的计算机实现的方法，其中：

所述一个或多个不同且独特的用途包括针对特定应用的用途；以及

所述确定包括：对于所述多个不同且独特的帧中包括的帧的集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于针对所述特定应用的用途的一个或多个得分。

6.根据权利要求1所述的计算机实现的方法，其中：

所述一个或多个不同且独特的用途包括针对特定受众的用途；以及

所述确定包括：对于所述多个不同且独特的帧中包括的帧的集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于针对特定受众的用途的一个或多个得分。

7.根据权利要求1所述的计算机实现的方法，其中：

所述方法包括：由所述一个或多个计算设备经由所述API从所述请求应用接收指示所述多个不同且独特的帧的一个或多个特定主题的数据；以及

所述确定包括：

从所述多个不同且独特的帧中识别帧的集合，所述帧的集合每个包括所述一个或多个特定主题；以及

对于所述帧的集合中的一个或多个帧，确定指示所述集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

8.根据权利要求1所述的计算机实现的方法，其中：

所述方法包括：由所述一个或多个计算设备经由所述API从所述请求应用接收指示由所述多个不同且独特的帧的主题展示的一个或多个特定表达的数据；以及

所述确定包括：

从所述多个不同且独特的帧中识别帧的集合，所述帧的集合每个包括所述一个或多个特定表达；以及

对于所述帧的集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

9.根据权利要求1所述的计算机实现的方法，其中：

所述方法包括：由所述一个或多个计算设备经由所述API从所述请求应用接收指示由所述多个不同且独特的帧描绘的一个或多个特定事件的数据；以及

所述确定包括：

从所述多个不同且独特的帧中识别帧的集合，所述帧的集合每个描绘所述一个或多个特定事件；以及

对于所述帧的集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述一个或多个不同且独特的用途中的特定用途的一个或多个得分。

10.根据权利要求1所述的计算机实现的方法，包括：由所述一个或多个计算设备至少部分地基于指示所述一个或多个得分中的至少一个的数据来生成描述包括所述一个或多个帧的至少一部分的策展的界面的数据。

11.根据权利要求1所述的计算机实现的方法，其中，接收描述所述图像的数据包括接收：

至少部分地基于所述图像中包括的像素的一个或多个布置生成的数据；和

不足以实现所述图像中包括的像素的一个或多个布置的重建的数据。

12.根据权利要求1所述的计算机实现的方法，包括：

对于所述一个或多个帧中的每个帧，由所述一个或多个计算设备至少部分地基于所述帧的一个或多个得分中的至少一个确定所述帧在用于顺序呈现的帧序列中的位置；以及

对于所述一个或多个帧中的每个帧，由所述一个或多个计算设备经由所述API将指示所述帧在用于顺序呈现的帧序列中的位置的数据传递到所述请求应用。

13.根据权利要求1所述的计算机实现的方法，其中：

接收描述所述图像的数据包括从特定用户设备接收描述所述图像的数据；以及

所述方法包括：

由所述一个或多个计算设备从所述特定用户设备接收：

描述其他图像的数据，和

描述关于所述其他图像的用户输入的数据；以及

由所述一个或多个计算设备至少部分地基于描述所述其他图像的数据和描述关于所述其他图像的用户输入的数据生成所述一个或多个ML模型。

14.根据权利要求1所述的计算机实现的方法，其中：

接收描述所述图像的数据包括从特定用户设备接收描述所述图像的数据；以及

所述方法包括：

由所述一个或多个计算设备从与所述特定用户设备不同且独特的一个或多个用户设备接收：

描述其他图像的数据，和

描述关于所述其他图像的用户输入的数据；以及

由所述一个或多个计算设备至少部分地基于描述所述其他图像的数据和描述关于所述其他图像的用户输入的数据生成所述一个或多个ML模型。

15.一种系统，包括：

一个或多个处理器；和

存储指令的存储器，所述指令在由所述一个或多个处理器运行时使所述系统执行操作，所述操作包括：

提供用于使用一个或多个机器学习(ML)处理图像的应用编程接口(API)，以识别被确定为适合于一个或多个不同且独特的用途的图像；

经由API从请求应用接收描述包括用于使用一个或多个ML模型的多个不同且独特的帧的图像的数据；以及

对于所述多个不同且独特的帧中的每个帧，至少部分地基于所述一个或多个ML模型和描述所述图像的数据，确定所述帧的一个或多个得分，所述一个或多个得分中的每个得分指示确定的所述帧相对于各种不同且独特的用途中的一个或多个的适合性的度量；以及

对于所述多个不同且独特的帧中的一个或多个帧中的每个帧，经由所述API将指示所述帧的一个或多个得分中的至少一个的数据传递到所述请求应用。

16.根据权利要求15所述的系统，其中：

所述多个不同且独特的帧包括同时生成的相似帧的序列，所述序列中的每个帧包括：

与所述序列中的每个其他帧共享的一个或多个主题，和

与所述序列中的每个其他帧共享的、所述一个或多个主题的上下文背景；以及

所述确定包括：对于所述序列中的一个或多个帧，确定指示序列中的所述一个或多个帧被确定为比所述序列中的每个其他帧更适合于所述各种不同且独特的用途中的一个或多个中的特定用途的一个或多个得分。

17.根据权利要求15所述的系统，其中：

所述多个不同且独特的帧包括不同且独特的帧的集合，所述集合包括来自多个不同且独特的帧序列的帧，所述集合中的每个帧包括以下各项中的一个或多个：

与所述集合中的每个其他帧不同且独特的一个或多个主题，或

与所述集合中的每个其他帧不同且独特的、所述集合中的帧的一个或多个主题的上下文背景；以及

所述确定包括：对于所述集合中的一个或多个帧，确定指示集合中的所述一个或多个帧被确定为比所述集合中的每个其他帧更适合于所述各种不同且独特的用途中的一个或多个中的特定用途的一个或多个得分。

18.根据权利要求15所述的系统，其中：

接收描述所述图像的数据包括从特定用户设备接收描述所述图像的数据；以及

所述操作包括：

从所述特定用户设备接收：

描述其他图像的数据，和

描述关于所述其他图像的用户输入的数据；以及

至少部分地基于描述所述其他图像的数据和描述关于所述其他图像的用户输入的数据生成所述一个或多个ML模型。

19.根据权利要求15所述的系统，其中：

接收描述所述图像的数据包括从特定用户设备接收描述所述图像的数据；以及

所述操作包括：

从与所述特定用户设备不同且独特的一个或多个用户设备接收：

描述其他图像的数据，和

描述关于所述其他图像的用户输入的数据；以及

至少部分地基于描述所述其他图像的数据和描述关于所述其他图像的用户输入的数据生成所述一个或多个ML模型。

20.一个或多个非暂时性计算机可读介质，包括指令，所述指令在由一个或多个计算设备运行时使所述一个或多个计算设备执行操作，所述操作包括：

提供用于使用一个或多个机器学习(ML)处理图像的应用编程接口(API)，以识别被确定为适合于一个或多个不同且独特的用途的图像；

经由API从请求应用接收描述包括用于使用一个或多个ML模型的多个不同且独特的帧的图像的数据；以及

对于所述多个不同且独特的帧中的每个帧，至少部分地基于所述一个或多个ML模型和描述所述图像的数据，确定所述帧的一个或多个得分，所述一个或多个得分中的每个得分指示确定的所述帧相对于各种不同且独特的用途中的一个或多个的适合性的度量；以及

对于所述多个不同且独特的帧中的一个或多个帧中的每个帧，经由所述API将指示所述帧的一个或多个得分中的至少一个的数据传递到所述请求应用。