CN108090110A - 推荐软件动作以创建图像和推荐图像以示范软件动作的效果 - Google Patents

推荐软件动作以创建图像和推荐图像以示范软件动作的效果 Download PDF

Info

Publication number
CN108090110A
CN108090110A CN201710910168.XA CN201710910168A CN108090110A CN 108090110 A CN108090110 A CN 108090110A CN 201710910168 A CN201710910168 A CN 201710910168A CN 108090110 A CN108090110 A CN 108090110A
Authority
CN
China
Prior art keywords
assets
action
represent
vector
represented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710910168.XA
Other languages
English (en)
Other versions
CN108090110B (zh
Inventor
M·D·霍夫曼
杨珑颀
金海琳
方晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN108090110A publication Critical patent/CN108090110A/zh
Application granted granted Critical
Publication of CN108090110B publication Critical patent/CN108090110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的各实施例涉及推荐软件动作以创建图像和推荐图像以示范软件动作的效果。数字介质环境包括执行对资产的编辑的资产处理应用。投影函数使用与软件编辑有关的动作和从动作产生的资产的配对而被训练以学习在动作与资产之间的联合嵌入。投影函数在资产处理应用中被用来推荐用于创建资产的软件动作，并且也推荐用于示范软件动作的效果的资产。推荐基于对距离测量进行排名，该距离测量在矢量空间中测量在动作表示与资产表示之间的距离。

Description

推荐软件动作以创建图像和推荐图像以示范软件动作的效果
技术领域
本申请的各实施例涉及推荐软件动作以创建图像和推荐图像以 示范软件动作的效果。
背景技术
设计者经常使用资产处理应用来编辑资产，比如图像、视频、音 频文件、文档、演示、绘图等。资产处理应用可以向正在编辑特定资 产的设计者推荐动作。例如，推荐动作的目标可以是向设计者示出资 产处理应用的新的或者未探索的特征。推荐的动作可以包括将对正被 编辑的特定资产做出的软件编辑。例如，在其中设计者正在编辑图像 的情况下，图像编辑应用可以推荐软件编辑，包括裁减图像和向图像 应用特定过滤器。然而，这样的推荐的动作通常基于由设计者应用的 编辑的历史而不是正由设计者编辑的特定资产。
另外，资产处理应用可以向设计者推荐资产。例如，在其中设计 者正在编辑图像的情况下，图像编辑应用可以向设计者推荐图像。这 样的推荐的资产通常基于设计者偏好，并且推荐资产的目标可以是增 加设计者将使用(例如，许可、买入、下载或者查看)推荐的资产的 可能性。例如，如果设计者经常编辑汽车的图像或者“喜爱”汽车的图 像(例如，在收藏列表中包括汽车的图像)，则图像编辑应用可以推 荐汽车的图像以用于由设计者使用。这样的推荐的资产基于设计者的 对汽车的图像的偏好而不是基于设计者将要执行的或者正在考虑执 行的动作(比如软件编辑)。
发明内容
这一发明内容以简化形式介绍以下在具体实施方式中被进一步 描述的概念的选集。这样，这一发明内容没有旨在于标识要求保护的 主题内容的基本特征，它也没有旨在于在确定要求保护的主题内容的 范围时用作辅助。
在一个或者多个实现方式中，在包括执行对资产的编辑的资产处 理应用的数字介质环境中，一种由资产处理应用实施的改进的编辑方 法，该方法包括：由至少一个计算设备确定输入表示是动作表示还是 资产表示；响应于确定输入表示是动作表示：由至少一个计算设备根 据在矢量空间中测量在动作表示与多个资产表示之间的距离的距离 测量来对资产表示进行排名；以及由至少一个计算设备基于对多个资 产表示的排名来推荐多个资产表示中的至少一个资产表示；以及响应 于确定输入表示是资产表示：由至少一个计算设备利用将资产表示投 影到矢量空间的投影函数来处理资产表示；由至少一个计算设备根据 在矢量空间中测量在经处理的资产表示与多个动作表示之间的距离 的距离测量来对多个动作表示进行排名；以及由至少一个计算设备基 于对多个动作表示的排名来推荐动作集合。
在一个或者多个实现方式中，一种在数字介质环境中被实施的系 统包括具有用于执行对资产的编辑的资产处理应用的计算设备，该系 统包括：处理系统；以及至少一个计算机可读介质，其存储经由处理 系统可执行以实施媒体处理应用的指令，媒体处理应用被配置为执行 操作，操作包括：获得包括从包括资产的内容得到的矢量的资产表示； 访问各自包括从相应软件动作列表得到的矢量的多个动作表示；利用 投影函数通过将包括资产表示的矢量的长度设置成等于包括动作表 示的矢量的长度来处理资产表示；根据测量在包括经处理的资产表示 的矢量与包括所访问的动作表示的矢量之间的距离的距离测量来对 所访问的动作表示进行排名；以及基于对所访问的动作表示的排名来 推荐动作集合。
在一个或者多个实现方式中，在包括执行对资产的编辑的资产处 理应用的数字介质环境中，一种由资产处理应用实施的改进的编辑方 法，该方法包括：用于由至少一个计算设备接收与资产的软件编辑有 关的动作列表的步骤；用于由至少一个计算设备通过基于动作列表形 成矢量来确定动作表示的步骤，矢量代表软件编辑；用于由至少一个 计算设备根据测量在动作表示与多个资产表示之间的距离的距离测 量来对多个资产表示进行排名的步骤，多个资产表示中的每个资产表 示具有与由矢量的长度确定的动作表示的维度相等的维度；以及用于 由至少一个计算设备基于对多个资产表示的排名来推荐资产表示中 的至少一个资产表示的步骤。
前文是发明内容并且因此必然包含细节的简化、概括和省略；因 而本领域技术人员将认识到，发明内容仅为说明性并且未旨在于以任 何方式限制。如仅由权利要求限定的、这里描述的设备和/或过程的其 它方面、发明特征和优点将在以下被阐述的非限制具体描述中变得清 楚。
附图说明
参照附图描述具体实施方式。在各图中，标号的最左数位标识该 标号在其中首次出现的图。在描述和各图中在不同实例中使用相同标 号可以指示相似或者相同项目。在各图中被代表的实体可以指示一个 或者多个实体并且因此可以在讨论中可互换地指代实体的单数或者 复数形式。
图1是可操作用来运用这里描述的技术的示例实现方式中的数字 介质环境的图示。
图2图示了包括根据公开内容的一个或者多个方面的示例资产处 理应用的数字介质环境，该资产处理应用包括动作表示部件、资产表 示部件、数据库部件、投影函数部件、距离测量部件和推荐部件。
图3是描绘了根据公开内容的一个或者多个方面的示例过程的流 程图。
图4是描绘了根据公开内容的一个或者多个方面的示例过程的流 程图。
图5是描绘了根据公开内容的一个或者多个方面的示例过程的流 程图。
图6图示了包括可以对于这里描述的一个或者多个实现方式而被 运用的示例设备的各种部件的示例系统。
具体实施方式
概述
在以下描述中，在编辑资产(比如图像)的情境中描述了用于推 荐资产和动作的技术。然而，将认识到和理解，可以与除了图像之外 的各种资产(比如视频内容、文档(例如，文本、地图、手册等)、 演示、绘图、可编辑网页、音频文件等)一起利用这些技术而没有脱 离要求保护的主题内容的精神实质和范围。
与基于由设计者应用的编辑的历史来推荐动作(例如，软件编辑) 以向设计者示出资产处理应用的新的或者未探索的特征的系统对照， 本公开内容描述了用于为由设计者提供的资产(例如，为整备设计者 编辑的图像)推荐根据在由设计者提供的资产与多个动作表示之间的 距离测量而被选择的动作的技术。另外，与基于设计者偏好来推荐资 产以增加设计者将使用推荐的资产的可能性的系统对照，本公开内容 描述了用于为设计者可以执行的动作(例如，软件编辑)推荐根据在 设计者可以执行的动作的表示与多个资产表示之间的距离测量而被 选择的资产的技术。投影函数用来将资产的表示变换成与动作的表示 相同的维度，以便实现在矢量空间中对距离测量的计算。
通过使用动作和从那些动作产生的资产的配对而被训练的映射 函数，在动作与资产之间的关系由投影函数学习并且可以用来做出可 靠推荐。这些所学习的关系代表在动作与资产之间的联合嵌入。通过 利用这样的训练的投影函数变换资产的表示，可以基于在矢量空间中 对资产的表示和动作的表示的简单数学比较(比如在两个矢量之间对 均方差的比较)来确定动作和资产的相似性。基于在矢量空间中的比 较，可以做出对软件动作和资产的推荐，这些推荐根据由投影函数学 习的联合嵌入来反映在矢量空间中的“接近度”。因此，可靠地推荐了 良好地适合于特定资产的软件动作，并且可靠地推荐了良好地适合于 示范特定软件动作的效果的资产。
投影函数可以是任何适当函数、比如线性投影模型或者神经网 络，并且使用动作和从那些动作产生的资产的配对而被训练。例如， 可以从由用户执行的动作的日志获得动作，并且可以从由用户在在线 社交平台上上传的项目(例如，用户已经编辑的所上传的图像)获得 从动作产生的资产。
投影函数一旦被训练就被用来在向资产处理应用时输入资产或 者动作时实现在矢量空间中对距离测量的计算。例如，在提供资产时， 根据距离测量来推荐动作，并且在提供动作时，根据距离测量来推荐 一个或者多个资产。推荐的动作可以用来高效地创建资产(比如图 像)，并且推荐的资产可以用来示范动作的效果(比如对图像的软件 编辑的效果)。
这构成较主要地基于用户的软件使用历史来推荐动作并且如果 不是唯一地则主要地基于用户的偏好来推荐资产的当前方式而言的 改进。所描述的用于学习在软件动作与资产之间的联合嵌入的实施例 的性质提供了对软件动作和资产的有用推荐，因为推荐基于对根据所 学习的联合嵌入来指示相似性的测量的比较，如以下更具体讨论的那 样。
在以下讨论中，首先描述这里使用的术语。然后描述可以运用这 里描述的技术的示例数字介质环境。然后描述可以在示例数字介质环 境以及其它环境中被执行的示例实施细节和过程。因而，对示例过程 的执行不限于示例环境，并且示例环境不限于对示例过程的执行。
术语
在这一节中，为了方便而描述了贯穿公开内容而被使用的术语。 对这些术语的描述通过示例而不是限制。
资产：包含可以由用户编辑或者消费的内容的结构。资产的示例 包括图像、视频、文档(例如，文本、地图、手册等)、演示、附图、 可编辑网页、音频文件等。
资产表示：作为在矢量空间中的矢量的资产的内容的表示。
动作：软件动作(比如将被应用于图像的编辑)的列表。
动作表示：作为在矢量空间中的矢量的软件动作的表示。
数字介质环境：可以用来实施这里描述的技术的各种计算设备和 资源。
距离测量：在矢量空间中测量在两个表示(比如动作表示和资产 表示)之间的距离的测量。距离代表在矢量空间中的相似性并且通过 在矢量空间中比较表示而被测量。
输入表示：向系统或者过程输入的表示。输入表示可以是动作表 示或者资产表示。
投影函数：将在矢量空间中的输入投影到子空间(比如矢量空间 的子空间)的函数。例如，投影函数可以通过改变包括表示的矢量的 长度来处理表示。附加地，可以通过处理投影函数来改变表示的值。 投影函数也可以处理资产以在矢量空间中产生资产表示。投影函数的 示例包括线性模型和神经网络。
矢量空间：包含矢量的线性空间，这些矢量可以被加在一起以在 矢量空间中形成矢量，以及被乘以标量以在矢量空间中形成矢量。
已经考虑了这里使用的示例术语，现在考虑对示例数字介质环境 的讨论。
示例环境
图1是可操作用于运用这里描述的技术的示例实现方式中的数字 介质环境100的图示。如这里所用，术语“数字介质环境”是指可以用 来实施这里描述的技术的各种计算设备和资源。所示数字介质环境 100包括计算设备102(包括处理系统104，处理系统104可以包括一 个或者多个处理设备)、一个或者多个计算机可读存储介质106和在 计算机可读介质106上被体现并且经由处理系统104可操作以实施这 里描述的对应功能的各种应用108。在至少一些实现方式中，应用108 包括资产处理应用110。资产处理应用110被配置为推荐用于创建资 产的软件动作和用于示范软件动作的效果的推荐的资产，如以下更具 体描述的那样。
应用108也可以包括可操作用于访问各种种类的基于web的资源 (例如，资产、动作列表、内容和服务)的web浏览器。应用108也 可以代表具有可操作用于访问基于web的资源(例如，具有网络功能 的应用)、浏览因特网、与在线提供方交互等等的集成功能的客户端 侧部件。应用108也可以包括可操作用于访问来自各种资源(包括资 产存储库)的资产等的界面。应用108还可以包括用于计算设备和其 它设备应用的操作系统。
计算设备102可以被配置为任何适当类型的计算设备。例如，计 算设备可以被配置为台式计算机、膝上型计算机、工作站(例如，非 线性编辑器或者数字音频工作站)、移动设备(例如，采用手持配置， 比如平板计算机或者移动电话)、平板计算机、相机、游戏站等等。 因此，计算设备102可以范围从具有大量存储器和处理器资源的全资 源设备(例如，个人计算机、游戏控制台)到具有有限存储器或者处 理资源的低资源设备(例如，移动设备)。附加地，虽然示出了单个 计算设备102，但是计算设备102可以代表用于如关于图6进一步描 述的那样“在云之上”执行操作的多个不同设备。
数字介质环境100还描绘被配置为通过网络114(比如因特网) 与计算设备102通信以提供“基于云”的计算环境的一个或者多个服务 提供方112。网络114可以包括多种网络、包括因特网、内部网、局 域网(LAN)、广域网(WAN)、专用网(PAN)、体域网(BAN)、 蜂窝网络、陆地网络、卫星网络、网络的组合等，并且这样可以是有 线、无线或者它们的组合。
一般而言，服务提供方112被配置为通过网络114使各种资源116 可用于客户端。在一些场景中，用户可以签注用来访问来自提供方的 对应资源的账户。提供方可以在批准对账户和对应资源116的访问之 前认证用户的证书(例如，用户名和口令)。可以许可、购买资源116 或者可以使资源116免费地可用(例如，没有认证、许可或者基于账 户的访问)。资源116可以包括由一个或者多个提供方通过网络使得 可用的服务和内容的任何适当组合。服务的一些示例包括但不限于资 产处理服务(比如运用资产处理应用(比如资产处理应用110)的资 产处理服务)、图像编辑服务、web开发和管理服务、协作服务、社 交联网服务、消息接发服务、广告服务等等。内容可以包括各种资产 组合，包括视频、广告、音频、多媒体流、动画、图像、web文档、 网页、应用、设备应用、文本文档、绘图、演示等。
资源116也可以包括可操作用于向资产处理应用110提供资产和 动作的资产存储库。可以按照任何适当形式(比如矢量化的资产表示 和矢量化的动作表示(以下讨论)、原始或者原有资产(例如，在根 据发布的标准的格式中存储的可查看图像)和动作列表(例如，软件 动作序列)或者它们的组合来向资产处理应用110提供资产和动作。 资产处理应用可以包括资产编辑能力，并且因此可以包括资产编辑应 用。
各种类型的输入设备和输入工具可以用来向计算设备102提供输 入。例如，计算设备可以将输入识别为鼠标输入、触笔输入、触摸输 入、通过自然用户界面而被提供的输入等。因此，计算设备可以识别 多种类型的手势，包括触摸手势和通过自然用户界面而被提供的手 势。计算设备102也可以包括倍配置为显示资产、资产表示、动作列 表和动作表示的图形用户界面。
尽管在图1中与计算设备102分离地被图示，但是计算设备102 可以包括网络114和服务提供方112，从而使得在一些实现方式中， 可以在计算设备102上执行这里描述的操作。在其它实现方式中，服 务提供方112代表计算设备102的第三方并且执行这里描述的操作中 的至少一些操作。
已经考虑了示例数字介质环境，现在考虑对包括示例资产处理应 用的数字介质环境的讨论，该资产处理应用包括动作表示部件、资产 表示部件、数据库部件、投影函数部件、距离测量部件和推荐部件。
示例资产处理应用
图2图示了包括示例资产处理应用110的数字介质环境200。在 这一实现方式中，资产处理应用110包括动作表示部件202、资产表 示部件204、数据库部件206、投影函数部件208、距离测量部件210 和推荐部件212。
这一节被组织为如下：对示例资产处理应用110的部件的讨论， 继而是对训练投影函数的讨论，继而是对推荐用于创建资产的软件动 作的讨论，继而是对推荐用于示范软件动作的效果的资产的讨论。
示例资产处理应用的部件
动作表示部件202代表实施对动作的处理(比如软件编辑)以在 矢量空间中表示动作的功能。在矢量空间中的动作的表示被称为动作 表示，并且由从图2中的动作表示部件202输出的矢量x指示。
可以按照任何适当方式形成动作表示，只要动作在矢量空间中由 动作表示来表示。另外，可以按照任何适当方式定义矢量空间。在一 个示例中，基于可以被执行的候选动作的数目(例如，可以被做出的 可能的编辑的数目)来定义矢量空间。例如，假设将编辑图像并且可 以被应用于图像的编辑例如包括而不限于裁剪、模糊和锐化。从这些 候选编辑定义矢量空间为：
可以通过对候选编辑中的每个候选编辑在向动作表示部件202提 供的动作列表中的出现次数进行计数来确定在矢量空间V中的动作 表示x。动作表示x的元素被设置成候选编辑在动作列表中的出现次 数。例如，如果动作列表包括四个动作裁剪、模糊、模糊和模糊的序 列，则在矢量空间V中的动作表示x被设置成：
因为在四个动作的序列中，裁剪出现一次，模糊出现三次，并且锐化 没有出现。
在矢量空间的另一示例中，通过将以上描述的矢量空间V与本身 级联与在动作列表或者序列中的动作的数目相等的次数来定义矢量 空间。例如，对于在动作序列中的四个动作，矢量空间Z从V被定义 为其中[·]T表示转置。可以通过向在每个步 骤处被执行的编辑设置一并且在该步骤另外为零来确定在矢量空间Z 中的动作表示x。这里，每个步骤对应于在Z中的不同子空间V。继 续四个动作裁剪、模糊、模糊和模糊的示例序列，矢量空间Z中的动 作表示x被设置成x＝[[100][010][010][010]]T(其中为了清楚而包括冗余 括号)。如定义的那样，矢量空间Z保留动作序列中的动作的顺序，不同于以上矢量空间V。在这一示例中，动作表示包括二元矢量(例 如，具有二元元素“0”和“1”)。在一个实现方式中，比如使用源压缩 技术来压缩矢量以形成图2中的包括动作表示的矢量x。例如，可以 使用任何适当压缩技术来压缩以上描述的二元矢量x以形成动作表示，例如包括但不限于无损压缩、有损压缩、Lempel-Ziv压缩、霍夫 曼编码、游程编码、它们的组合等。
资产表示部件204代表实施对资产(比如图像)的处理以在矢量 空间中表示资产的内容的功能。资产在矢量空间中的表示被称为资产 表示并且由从图2中的资产表示部件204输出的矢量y指示。在一个 实现方式中，矢量y的长度不等于矢量x的长度。
可以按照任何适当方式形成资产表示，只要资产的内容由在矢量 空间中的资产表示来表示。另外，可以按照任何适当方式定义矢量空 间。在一个示例中，根据图像中的像素数目定义矢量空间，并且通过 将像素中的每个像素一起级联成矢量来形成资产表示y。在另一示例 中，矢量空间被定义为包括神经网络的多个神经元。资产由资产表示 部件204中的神经网络处理，并且从包括神经网络的神经元的激活值 确定矢量空间中的资产表示(例如，矢量空间的每个元素对应于不同 神经元，并且资产表示的元素被设置成神经元的激活值)。
另外，通过利用被配置为从资产得到矢量的投影函数处理资产来 确定资产表示。在一个实现方式中，资产表示是与处理图像并且产生 从图像的内容得到的矢量的投影函数的输出对应的图像表示。
数据库部件206代表实施存储和取回资产、动作、资产表示和动 作表示的功能。数据库部件206被配置为访问数据库，比如资产的数 据库和动作的数据库。数据库可以包括计算设备102。数据库也可以 包括服务提供方112，从而使得数据库部件206被配置为通过网络114 访问数据库。
由数据库部件206访问的数据库可以是任何适当类型的数据库。 例如，数据库可以包括资产(例如，可查看图像、视频等)的数据库、 资产表示(例如，已经由神经网络预处理并且被存储为矢量的图像) 的数据库、动作(例如，候选软件编辑列表)的数据库、动作表示(例 如，对在预定矢量空间中的动作序列的参数化)的数据库以及它们的 组合。
数据库部件206被配置为访问数据库并且向动作表示部件202和 资产表示部件204提供数据库内容。另外，数据库部件206被配置为 从用户接收资产、动作、资产表示和动作表示，并且向资产表示部件 204提供资产和资产表示，以及向动作表示部件202提供动作和动作 表示。例如，用户可以指定用户有兴趣向资产应用的动作集合，并且 数据库部件206可以向动作表示部件202提供用户指定的动作以根据 用户指定的动作来形成动作表示。
数据库部件206也被配置为存储从动作表示部件202提供的动作 表示和从资产表示部件204提供的资产表示。例如，数据库部件206 可以在包括计算设备102的数据库、包括服务提供方112的数据库或 者它们的组合中存储动作表示和资产表示。
投影函数部件208代表利用投影函数来处理来自资产表示部件 204的资产表示的功能，该投影函数将经处理的资产表示的维度设置 成等于从动作表示部件202提供的动作表示的维度。投影函数由图2 中的变量f近似投影函数部件208指示。投影函数的输出由矢量f(y) 指示。通过改变包括资产表示的矢量的长度来将经处理的资产表示的 维度设置成等于动作表示的维度。例如，由投影函数f将矢量f(y)的 长度设置成等于矢量x的长度。投影函数f也可以改变矢量x的元素 的值。例如，矢量y的元素的值可以不同于矢量x的元素的值。附加 地或者备选地，可以从矢量x的元素的值复制矢量y的元素的值。
投影函数可以是任何适当类型的投影函数，只要它接受资产表示 作为输入并且输出长度与来自动作表示部件202的动作表示的长度相 等的矢量。在一个示例中，包括投影函数部件208的投影函数是线性 函数。在这一情况下，投影函数可以被为f(y)＝Wy+b，其中W是 维度为MxN的矩阵，b是长度M的矢量，M是动作表示x的长度， 并且N是资产表示y的长度。在另一示例中，包括投影函数部件208 的投影函数是神经网络，比如多层感知和卷积神经网络。在又一示例 中，包括投影函数部件208的投影函数为非线性函数，比如具有向资产表示(例如，资产表示y)的元素的非线性组合应用的系数的过滤 器。投影函数可以包括去除y的元素的未必连续的子集以形成f(y)的 稀疏过滤器。投影函数也可以包括去除y的元素的连续的子集以形成 f(y)的截断过滤器。
投影函数是包含参数(例如，W和b)的自适应函数，这些参数 是自适应的并且通过基于动作和从动作得到的资产的配对训练投影 函数而被调整(以下讨论)。
距离测量部件210代表计算距离测量的功能，该距离测量对在来 自动作表示部件202的动作表示x与来自投影函数部件208的经处理 的资产表示f(y)之间的距离进行测量。距离代表在矢量空间中的相似 性并且通过在矢量空间中比较动作表示和经处理的资产表示而被测 量。
距离测量可以是任何适当距离测量。在一个示例中，距离测量是 均方差。例如，L2损失函数可以用来根据D＝||x-f(y)||2来确定距 离测量D，其中||·||表示输入变元的平方和的平方根。在另一示例中， L1损失函数可以用来根据D＝|x-f(y)|来确定距离测量D，其中|·| 表示绝对值。在又一示例中，余弦相似性可以用来确定距离测量，在 该情况中，从在x与f(y)之间的角度的余弦确定距离测量。例如，可 以根据D＝1-cosθ来确定距离测量D，其中θ是在x与f(y)之间的 角度。
距离测量部件210被配置为向推荐部件212提供用于动作表示、 资产表示对的距离测量。距离测量部件210也可以存储针对动作表示、 资产表示对而被计算出的距离测量以用于进一步处理，比如平均、选 择最小或者最大距离测量等。
推荐部件212代表处理来自距离测量部件210的距离测量的功 能。推荐部件212从距离测量部件210接收距离测量。推荐部件212 也可以接收在计算距离测量时被使用的动作表示和经处理的资产表 示的配对。另外，推荐部件212可以访问与在计算距离测量时被使用 的动作表示和经处理的资产表示的配对中的经处理的资产表示对应 的资产表示和资产。
推荐部件212基于距离测量来对经处理的资产表示或者动作表示 进行排名。推荐部件212被配置为基于排名来推荐经处理的资产表示 或者动作表示(以下讨论)。推荐部件212也可以被配置为积累从距 离测量部件210供应的距离测量以计算损失函数。损失函数可以用来 在训练模式中调整包括投影函数部件208的投影函数的参数。
已经考虑了示例资产处理应用110的部件，现在考虑对训练包括 投影函数部件208的投影函数的讨论。
训练投影函数
在利用推荐部件212推荐经处理的资产表示或者动作表示之前， 包括投影函数部件208的投影函数被训练以学习在软件动作与资产之 间的联合嵌入。投影函数是包含可调整的参数(例如，W和b)的自 适应函数。参数通过基于动作和从动作产生的资产的配对训练投影函 数而被调整。例如，可以从由用户执行的动作日志获得动作，并且可 以从由用户在在线社交平台(例如，有助于在用户组之间的共享通信 的社交媒体服务)上上传的项目获得从动作产生的资产。在一个示例 中，用户预订相片编辑服务，该相片编辑服务的日志提供由用户执行 的动作列表，动作表示从该动作列表被创建。用户在共享媒体站点上 发表使用相片编辑服务而被编辑的相片，资产表示从该相片被创建。
可以按照任何适当方式获得动作和从动作产生的资产的配对。可 以从公共地可用的数据、私有数据、许可的数据、购买的数据、它们 的组合等获得动作和从动作产生的资产的配对。在一些示例中，获得 在指定的时间段内出现的动作，并且在相同指定的时间段内获得资 产，从而使得获得的资产对应于获得的动作(例如，从获得的动作产 生)。在一个示例中，在获得的资产与获得的动作之间的关系可以是 模糊的。例如，可能在获得的资产与获得的动作之间的关系中存在某 些不确定，比如获得的动作对获得的资产的效果或者对获得的动作有 贡献的用户的数目。因而，动作和从动作产生的资产的配对可能是不 是很一一对应的模糊配对。
动作和从动作产生的资产的配对是向资产处理应用110的输入 对。由于动作和从动作产生的资产是相关的，所以输入对可以用来训 练包括投影函数部件208的投影函数。例如，使用动作和从动作产生 的资产的配对，可以训练投影函数以学习在软件动作与资产之间的联 合嵌入。
动作和从动作产生的资产的配对可以由数据库部件206存储和访 问，数据库部件206可以向动作表示部件202提供动作并且向资产表 示部件204提供资产。对于获得的动作和从动作产生的资产的每个配 对，动作表示部件202产生动作表示x，并且资产表示部件204产生 资产表示y。
由于动作表示x和资产表示y是相关的，所以可以调整投影函数 f的参数以使损失函数(比如在获得的动作和从动作产生的资产的多 个配对内在距离测量部件210中被计算出的距离测量D的预计值)最 小化。例如，假设存在获得的动作和从动作产生的资产的P个配对， 并且使用均方差距离测量。找到在f的所有选择内使D的预计值最小 化的投影函数的最优参数，或者：
其中对于每个i，xi、yi是获得的动作和从动作产生的资产的配对。可 以按照任何适当方式为投影函数的最优参数求解这一等式，比如使用 随机梯度下降、批量梯度下降、最小批量梯度下降、递归最小平方法 等。
投影函数的最优参数代表在软件动作与从软件动作产生的资产 之间的联合嵌入，并且可以基于获得的动作和从动作产生的资产的新 的配对而被更新。一旦通过训练投影函数而被找到，投影函数的最优 参数就可以在投影函数部件208中被用来配置资产处理应用110以(i) 推荐用于创建资产的软件动作和(ii)推荐用于示范软件动作的效果 的资产。
使用投影函数以推荐软件动作和资产构成较如果不是唯一地则 主要地基于用户的软件使用历史来推荐动作或者基于用户的偏好来 推荐资产的当前推荐技术而言的改进，该投影函数使用动作和从动作 产生的资产的配对而被训练。通过学习在软件动作与资产之间的联合 嵌入，投影函数可以被用来推荐软件动作和资产。有了资产，可以通 过使用投影函数以在矢量空间中比较资产的表示与软件动作的表示 来推荐软件动作列表。有了软件动作列表，可以通过使用投影函数以 在矢量空间中比较多个资产表示与软件动作列表的表示来推荐资产。
已经考虑了对训练投影函数的讨论，现在考虑对使用资产处理应 用110以推荐用于创建资产的软件动作的讨论。
推荐用于创建资产的软件动作
资产处理应用110可以被配置为推荐用于创建资产的软件动作。 假设设计者希望使用资产处理应用110来编辑或者创建资产(比如图 像)并且，制作包含可由资产处理应用110访问的资产的文件。备选 地或者附加地，文件可以包含资产的内容的资产表示，尽管讨论将聚 焦于资产以求简化。资产处理应用110向资产表示部件204提供资产， 资产表示部件204处理资产以产生资产表示y。投影函数部件208利 用投影函数f(比如包含通过利用动作和从动作产生的资产的配对训 练投影函数而被找到的最优参数的投影函数)来处理资产表示y以产 生经处理的资产表示f(y)。
数据库部件206向动作表示部件202提供一个或者多个软件动作 列表。附加地或者备选地，数据库部件206向动作表示部件202提供 动作表示。响应于从数据库部件206接收动作或者动作表示列表，动 作表示部件202生成多个、P个动作表示xj，j＝1…P。例如，多个动 作表示中的每个动作表示包括从软件动作列表得到的矢量，该软件动 作列表是从数据库部件206被接收。
在一个示例中，软件动作列表由用户指定，并且动作表示代表在 软件动作列表上的动作而没有代表没有在软件动作列表上的动作。软 件动作列表可以包括由用户指定的和向在软件动作列表中的动作指 派的偏好。在形成多个动作表示时，动作表示部件202可以基于由用 户指定的偏好来偏置动作表示。例如，用户可以指定偏爱某些动作而 不喜爱其它动作。动作表示部件202可以通过在可能时包括偏爱的动 作而避免不喜爱的动作(例如，通过用一个或者多个喜爱的动作替换 不喜爱的动作)来生成多个动作表示。
向距离测量部件210提供经处理的资产表示f(y)和多个动作表示 xj。距离测量部件210为多个动作表示xj和经处理的资产表示f(y)中 的每个动作表示和经处理的资产表示计算距离测量。距离测量对在经 处理的资产表示与动作表示之间的距离进行测量，并且距离代表在矢 量空间中的相似性并且通过在矢量空间中比较经处理的资产表示和 动作表示而被测量。例如，假设使用均方差距离测量。在这一情况下， 可以根据下式来计算多个距离测量：
Dj＝||xj-f(y)||2
其中j＝1…P。距离测量部件210向推荐部件212提供多个距离测量。
推荐部件212根据从距离测量部件210接收的距离测量(比如根 据最小到最大距离测量)来对多个动作表示进行排名。基于排名，推 荐部件212推荐至少一个软件动作列表。例如，推荐部件212推荐与 具有最低距离测量的动作表示对应的软件动作列表。在一个示例中， 最低距离测量对应于最高排名的动作表示。
推荐软件动作列表也可以包括推荐软件动作序列或者软件动作 序列集合。例如，可以推荐按照规定的顺序执行在由推荐部件212推 荐的软件动作列表中的软件动作，从而使得在其它软件动作之前或者 之后执行某些软件动作。在一个实现方式中，向在由推荐部件212推 荐的软件动作列表中的软件动作各自指派用来向软件动作指派顺序 的指示符(比如编号)，从而使得根据与指派的指示符对应的序列来 执行软件动作。
另外，由推荐部件212推荐的推荐的软件动作列表可以在软件动 作列表中包括关于由用户设置的偏好的信息。例如，推荐的软件动作 列表可以返回在推荐的软件动作列表中包括多少可偏爱和多少不喜 爱的动作的指示，其中可偏爱和不喜爱是在软件动作列表中的由用户 指派的偏好。
资产处理应用110也可以根据推荐的软件动作列表来处理由设计 者提供的资产或者资产表示，并且推荐部件212可以被配置为推荐在 计算设备102上显示经处理的资产或者经处理的资产表示。例如，经 处理的资产或者经处理的资产表示可以是根据推荐的软件动作列表 而被编辑的和在计算设备102上显示的图像。响应于推荐显示经处理 的资产或者经处理的资产表示，设备102可以自动地在设备102上显 示经处理的资产或者经处理的资产表示。备选地，响应于推荐显示经 处理的资产或者经处理的资产表示，设备102可以比如在图形用户界 面中利用查询向用户提示用户是否希望继续在设备102上显示经处理的资产或者经处理的资产表示。
推荐部件212也可以被配置为推荐多个软件动作列表，比如与具 有最低距离测量的动作表示对应的多个软件动作列表(例如，前五个 或者前十个软件动作列表对应于具有五个或者十个最低距离测量的 动作表示)。另外，将由推荐部件212推荐的软件动作列表的数目可 以由用户比如通过在包括设备102的图形用户界面中的控件或者计数 器来设置。
使用投影函数以推荐软件动作构成较如果不是唯一地则主要地 基于用户的软件使用历史来推荐动作的当前推荐技术而言的改进，该 投影函数使用动作和从动作产生的资产的配对而被训练。通过学习在 软件动作与资产之间的联合嵌入，投影函数可以被用来推荐对资产有 用(例如，用于编辑或者创建资产)的软件动作，因为可以找到具有 与使用投影函数而形成的资产的表示相似的表示的推荐的软件动作， 其中在矢量空间中测量相似性。
已经考虑了对使用资产处理应用110以推荐用于创建资产的软件 动作的讨论，现在考虑对使用资产处理应用110以推荐用于示范软件 动作的效果的资产的讨论。
推荐用于示范软件动作的效果的资产
资产处理应用110可以被配置为推荐用于示范软件动作的效果的 资产。假设设计者希望在使用资产处理应用110时知道提出的软件动 作对资产的效果。设计者使软件动作列表可用于资产处理应用110。 例如，设计者可以在图形用户界面中指定软件动作列表或者从文件加 载列表或者访问动作数据库。备选地或者附加地，设计者可以使动作 表示可用于资产处理应用110，尽管我们的讨论将聚焦于软件动作列 表以求简化。资产处理应用110向动作表示部件202提供软件动作列 表，动作表示部件202处理软件动作列表以产生动作表示x。
在一个示例中，产生动作表示x包括确定在软件动作列表上的每 个动作的频率和类型，该频率代表多么经常执行每个动作，并且该类 型代表每个动作的编辑分类(比如动作是否包括向所有像素应用过滤 器、为非线性编辑(比如对图像的裁剪)、涉及颜色改变、调整曝光 等)。产生动作表示也可以包括对软件动作列表的序列模式(例如， 时间序列)进行建模。动作表示x可以被构造以基于动作分类来对动 作进行排序。例如，可以构造动作表示x，从而使得在线性编辑之前 应用非线性编辑(比如裁剪)，比如向图像的所有像素应用变换的过 滤器。
数据库部件206访问至少一个数据库并且向资产表示部件204提 供多个资产。附加地或者备选地，数据库部件206向资产表示部件204 提供资产表示。例如，数据库部件206可以访问与被配置为将资产表 示的维度设置成等于由包括动作表示x的矢量的长度确定的动作表示 的维度(例如，被设置为让矢量长度相等)的投影函数已经处理的资 产对应的资产表示数据库。
响应于从数据库部件206接收资产或者资产表示，资产表示部件 204生成多个、P个资产表示yj，j＝1…P。例如，多个资产表示中的 每个资产表示包括从由数据库部件206提供的相应资产的内容得到的 矢量。
附加地或者备选地，资产表示部件204可以处理从数据库部件 206提供的资产表示以产生多个资产表示。例如，资产表示部件204 可以向资产表示应用变换(比如将资产表示变换成原有资产的逆变 换)，并且然后应用投影函数以形成不同于与从数据库部件206提供 的资产表示对应的矢量的长度和矢量空间的、希望的长度和在希望的 矢量空间中的矢量化的资产表示。
投影函数部件208利用投影函数f(比如包含通过用动作和从动 作产生的资产的配对训练投影函数而被找到的最优参数的投影函数) 来处理多个资产表示yj以产生经处理的资产表示f(yj)。
向距离测量部件210提供经处理的资产表示f(yj)和动作表示x。 距离测量部件210为动作表示x和多个经处理的资产表示f(yj)中的每 个经处理的资产表示计算距离测量。距离测量对在动作表示与经处理 的资产表示之间的距离进行测量，并且距离代表在矢量空间中的相似 性并且通过在矢量空间中比较动作表示和经处理的资产表示而被测 量。例如，假设使用均方差距离测量。在这一情况下，可以根据下式 计算多个距离测量：
Dj＝||x-f(yj)||2
其中j＝1…P。距离测量部件210向推荐部件212提供多个距离测量。
推荐部件212根据从距离测量部件210接收的距离测量来对从数 据库部件206提供的多个资产表示yj、经处理的资产表示f(yj)或者资 产进行排名。基于排名，推荐部件212推荐至少一个资产、资产表示 或者经处理的资产表示。例如，推荐部件212推荐与具有最低距离测 量的经处理的资产表示对应的资产。在一个示例中，最低距离测量对 应于最高排名的经处理的资产表示。
推荐部件212也可以被配置为推荐多个资产，比如与具有最低距 离测量的经处理的资产表示对应的多个资产(例如，前五个或者前十 个资产对应于具有五个或者十个最低距离测量的经处理的资产表 示)。另外，将由推荐部件212推荐的资产的数目可以由用户比如通 过在包括设备102的图形用户界面中的控件或者计数器来设置。
可以在设备102上显示由推荐部件212推荐的资产和资产表示。 例如，推荐部件212可以被配置为推荐在设备102上显示一个或者多 个推荐的资产。响应于推荐显示一个或者多个推荐的资产，设备102 可以自动地在设备102上显示一个或者多个推荐的资产。备选地，响 应于推荐显示一个或者多个推荐的资产，设备102可以在图形用户界 面中利用查询来向用户提示用户是否希望继续在设备102上显示一个 或者多个推荐的资产。
在一个示例中，推荐部件212被配置为向由用户(比如设计者) 选择的图像应用与动作表示x对应的软件编辑。例如，用户可以对来 自推荐部件212的推荐的资产满意并且在图形用户界面中选择向由用 户选择的图像应用软件动作列表中的软件编辑。
在一个实现方式中，推荐部件212被配置为推荐没有在软件动作 列表中包括的备选动作。例如，资产处理应用110可以被配置为识别 没有在提供的软件动作列表上的动作将何时造成比与软件动作列表 对应的那些距离测量更低的距离测量，并且因此推荐备选动作。例如， 备选动作可以基于通过向与推荐的一个或者多个资产表示中的至少 一个推荐的资产或者资产表示对应的资产表示中的至少一个资产表 示和包括备选动作的备选动作表示应用距离测量来确定排名。如果计 算出的距离测量小于使用软件动作列表而被确定的距离测量，则推荐 部件212可以被配置为推荐备选动作。
使用投影函数以推荐资产构成较如果不是唯一地则主要地基于 用户的偏好来推荐资产的当前推荐技术而言的改进，该投影函数使用 动作和从动作产生的资产的配对而被训练。通过学习在软件动作与资 产之间的联合嵌入，投影函数可以被用来推荐对说明软件动作的效果 有用的资产，因为可以找到具有与提出的软件动作的表示相似的、使 用投影函数而被形成的表示的推荐的资产，其中在矢量空间中测量相 似性。
已经考虑了包括示例资产处理应用的数字介质环境，现在考虑根 据一个或者多个实施例的示例方法。
示例过程
图3图示了根据一个或者多个实施例的用于推荐资产和动作集合 的示例过程300。可以在硬件、固件或者软件或者它们的组合中实施 过程的方面。过程被示出为指定由一个或者多个设备执行的操作的块 集合并且未必限于所示的用于由相应块执行操作的顺序。在至少一些 实施例中，过程可以在数字介质环境中由适当地配置的设备(比如利 用资产处理应用110(比如以上描述的资产处理应用)的图1的示例 计算设备102执行。实施过程300的资产处理应用可以是已经被安装 在计算设备102上的独立应用、由可由计算设备102访问的服务提供 方112主控的服务或者到计算设备102的插件模块。
确定输入表示是动作表示还是资产表示(块302)。动作表示包 括从软件动作列表得到的矢量。资产表示包括从资产的内容得到的矢 量。在一个示例中，包括动作表示的矢量的长度与包括资产表示的矢 量的长度不相同。可以从访问动作表示数据库和资产表示数据库(比 如可由图2中的数据库部件206访问的数据库)的部件接收输入表示。
可以在块302处按照任何适当方式确定输入表示是动作表示还是 资产表示。在一个示例中，提供输入表示的部件也提供输入表示是动 作表示还是资产表示的指示符。例如，可以在输入表示的头部中包括 指示符。在另一示例中，基于包括输入表示的矢量的长度来确定输入 表示是动作表示还是资产表示。例如，如果包括输入表示的矢量的长 度在预定门限(比如100或者1000)以上，则确定输入表示是资产表 示而不是动作表示。可以将预定门限设置成等于或者略大于包含动作 表示的矢量空间的大小。附加地或者备选地，可以先验知道包括动作 表示的矢量的长度，并且如果包括输入表示的矢量的长度不等于包括 动作表示的矢量的已知长度，则确定输入表示是资产表示。在包括输 入表示的矢量的长度确实等于包括动作表示的矢量的已知长度时，这 一条件可以单独或者与其它方法组合而被用来确定输入表示是动作 表示。
在又一示例中，用户可以将输入表示指定为动作表示或者资产表 示。例如，用户可以指定软件动作列表并且在图形用户界面中生成动 作表示(例如，通过点击“生成动作表示按钮”)，这将输入表示指明 为动作表示。
如果在块302处确定输入表示是动作表示，则过程300前进到块 304。在另一方面，如果确定输入表示是资产表示，则过程300前进 到块308。
根据距离测量来对多个资产表示进行排名(块304)。距离测量 在矢量空间中测量在动作表示与资产表示之间的距离。距离代表在矢 量空间中的相似性并且通过在矢量空间中比较动作表示和经处理的 资产表示而被测量。在一个示例中，距离测量是在动作表示与经处理 的资产表示中的每个处理的资产表示之间的均方差。排名可以按照距 离测量的升序或者降序。例如，最高排名的经处理的资产表示可以对 应于可以在有序排名列表的第一或者最后位置中的最小距离测量。
可以从被存储为矢量的资产表示的数据库访问多个资产表示。在 一个示例中，可以从神经网络输出矢量，其中矢量代表包括神经网络 的神经元的激活值。在一个示例中，包括资产表示的矢量与包括动作 表示的矢量不是相同长度。在另一示例中，资产表示被存储在数据库 中并且对应于已经由被配置为将资产表示的维度设置成等于由包括 动作表示的矢量的长度确定的动作表示的维度(例如，因此矢量长度 相等)的投影函数处理的资产。
在一个实现方式中，通过访问多个资产并且处理多个资产以访问 多个资产表示来访问资产表示。例如，可以使用投影函数从多个所访 问的资产生成多个资产表示以将资产的内容表示为矢量。
可以利用投影函数通过改变包括资产表示的矢量的长度来处理 资产表示。例如，投影函数处理资产表示，从而使得包括经处理的资 产表示的矢量是与包括动作表示的矢量的长度相等的长度，从而使得 可以在块304处通过在矢量空间中比较矢量来在矢量空间中确定距离 测量。然热，如果所访问的资产表示包括长度与包括动作表示的矢量 的长度相等的矢量，则可以绕过由投影函数处理(比如通过在图形用 户界面中提供用于在检测到矢量是相等长度时绕过由投影函数处理 的用户可选择选项)。
基于对多个资产表示的排名来推荐多个资产表示中的至少一个 资产表示(块306)。例如，可以推荐在排名中具有最低距离测量的 资产表示或者与资产表示对应的资产。可以推荐多个资产表示(比如 预定数目的资产表示)。例如，可以推荐与在排名中具有最低距离度 量的资产表示或者经处理的资产表示对应的预定数目的资产表示。推 荐资产表示也可以包括推荐从其得到推荐的资产表示的资产。例如， 推荐资产表示可以包括显示与推荐的资产表示对应的资产，比如在图 形用户界面中显示图像。
当在块302处确定输入表示是资产表示时进入块308。例如，资 产表示可以是与处理图像并且产生从图像的内容得到的矢量的神经 网络或者相似函数的输出对应的图像表示。
利用将资产表示投影到矢量空间的投影函数处理资产表示(块 308)。例如，投影函数改变包括资产表示的矢量的长度。在一个示 例中，投影函数被配置为将包括经处理的资产表示(例如，由投影函 数处理的资产表示)的矢量的长度设置成等于包括动作表示的矢量的 长度。另外，由投影函数处理可以改变包括资产表示的矢量的元素的 值。例如，包括资产表示的矢量可以被乘以矩阵，该矩阵既减少包括 资产表示的矢量的长度又改变包括资产表示的矢量的元素的值。
另外，可以从投影函数的数据库(比如可由图2中的数据库部件 206访问的数据库)访问投影函数。投影函数是包含已经基于动作和 从动作产生的资产的配对而被调整的参数的自适应函数。在一个示例 中，已经从由用户执行的动作的日志获得了动作，并且已经从由用户 在在线社交平台上上传的项目获得了从动作产生的资产。
根据距离测量来对多个动作表示进行排名(块310)。距离测量 在矢量空间(比如在块308处的矢量空间)中测量在经处理的资产表 示与多个动作表示之间的距离。距离代表在矢量空间中的相似性并且 通过在矢量空间中比较经处理的资产表示和多个动作表示而被测量。 在一个示例中，距离测量是在经处理的资产表示与所访问的资产表示 中的每个所访问的资产表示之间的均方差。排名可以按照距离测量的 升序或者降序。例如，最高排名的所访问的动作表示可以对应于可以 在有序的排名列表的第一或者最后位置中的最小距离测量。
可以通过任何适当方式访问在排名中使用的多个动作表示。每个 动作表示包括从软件动作列表得到的相同长度的矢量。可以从被存储 为矢量的动作表示的数据库访问多个动作表示。多个动作表示可以代 表由用户指定或者由用户执行的动作。在一个示例中，动作列表可以 由用户指定，并且多个动作表示可以代表在由用户指定或者由用户执行或者由用户既指定又执行的动作列表上的动作。多个动作表示也可 以基于用来训练投影函数(比如在块308处被使用的投影函数)的动 作和资产的配对获得的动作。
基于对多个动作表示的排名来推荐动作集合(块312)。例如， 可以推荐与在排名中具有最低距离测量的动作表示对应的动作集合。 另外，可以根据推荐的动作集合来处理与资产表示对应的资产。在一 个示例中，推荐动作集合包括显示(例如，自动地或者在用户批准时 有条件地)显示根据推荐的动作集合而被处理的资产或者资产表示。
图4图示了根据一个或者多个实施例的用于推荐动作集合的示例 过程400。可以在硬件、固件或者软件或者它们的组合中实施过程的 方面。过程被示出为指定由一个或者多个设备执行的操作的块集合， 并且未必限于所示的用于由相应块执行操作的顺序。在至少一些实施 例中，过程可以在数字介质环境中由被适当地配置的设备(比如利用 资产处理应用110(比如以上描述的资产处理应用)的图1的示例计 算设备102)执行。实施过程400的资产处理应用可以是已经被安装 在计算设备102上的独立应用、由可由计算设备102访问的服务提供 方112主控的服务或者到计算设备102的插件模块。
获得资产表示(块402)。资产表示包括从包括资产的内容得到 的矢量。资产可以包括图像、视频、音频文件、文档(文本、地图或 者手册)、演示、绘图、可编辑网页、它们的组合等。
可以通过利用被配置为从资产得到矢量的投影函数处理包括资 产的内容来形成包括资产表示的矢量。可以按照任何适当方式访问投 影函数，比如从数据库访问或者在图形用户界面中在对投影函数的选 择之中从用户选择。另外，投影函数可以基于接收到的资产的性质， 比如资产大小。例如，为了有助于高效处理，对于更大大小的资产(例 如，在某个大小门限以上)，可以选择线性投影函数，并且对于更小 大小的资产(例如，在另一或者相同大小门限以下)，可以选择神经 网络。备选地或者附加地，投影函数可以基于实施过程400的计算设 备的资源。例如，对于具有更少强大资源(例如，处理器速度、类型 或者架构、存储器大小或者类型或者缓冲器大小)的计算设备，可以 选择线性投影函数，并且对于具有更多强大资源的计算设备，可以选 择神经网络。
访问各自包括从相应软件动作列表得到的矢量的多个动作表示(块404)。每个矢量是相同长度的。可以从被存储为矢量的动作表 示的数据库访问多个动作表示。多个动作表示可以代表由用户指定的 动作。在一个示例中，动作列表可以由用户指定，并且多个动作表示 可以代表在由用户指定的动作列表上的动作(例如，响应于接收由用 户指定的软件动作列表而被生成)。
利用投影函数通过将包括资产表示的矢量的长度设置成等于包 括动作表示的矢量的长度来处理资产表示(块406)。例如，包括经 处理的资产表示(例如，利用投影函数而被处理的资产表示)的矢量 的长度等于包括动作表示的矢量的长度。
可以按照任何适当方式访问在块406处使用的投影函数，比如从 数据库访问，或者在图形用户界面中在投影函数选择之中从用户选 择。另外，第二投影函数可以基于与获得的资产表示对应的资产的性 质(比如资产大小)或者资产表示的性质(比如包括资产表示的矢量 的长度)。例如，为了有助于高效处理，对于更大大小的资产表示， 可以选择线性投影函数，并且对于更小大小的资产表示，可以选择神 经网络。备选地或者附加地，投影函数可以基于实施过程400的计算 设备的资源。例如，对于具有更少强大资源(例如，处理器速度等) 的计算设备，可以选择线性投影函数作为投影函数，并且对于具有更 多强大资源的计算设备，可以选择神经网络作为投影函数。
根据测量在包括经处理的资产表示的矢量与包括所访问的动作 表示的矢量之间的距离的距离测量来对访问的动作表示进行排名(块 408)。距离代表在矢量空间中的相似性，并且通过在矢量空间中比 较经处理的资产表示和所访问的动作表示而被测量。在一个示例中， 距离测量是均方差并且根据Dj＝||xj-f(y)||2而被计算，其中Dj表示多 个距离测量，xj表示所访问的动作表示，并且f(y)表示经处理的资产 表示。
基于对所访问动作表示的排名来推荐动作集合(块410)。例如， 可以推荐与在排名中具有最低距离测量的所访问的动作表示对应的 动作集合。另外，可以根据推荐的动作集合来处理与获得的资产表示 对应的资产。在一个示例中，推荐动作集合包括显示(例如，自动地 或者在用户批准时有条件地)与根据推荐的动作集合而被处理的获得 的资产表示对应的资产。另外，可以根据距离测量来在有序列表中推 荐和显示多个动作集合。
图5图示了根据一个或者多个实施例的用于推荐资产表示的示例 过程500。可以在硬件、固件或者软件或者它们的组合中实施过程的 方面。过程被示出为指定由一个或者多个设备执行的操作的块集合， 并且未必限于所示的用于由相应块执行操作的顺序。在至少一些实施 例中，过程可以在数字介质环境中由被适当地配置的设备(比如利用 资产处理应用110(比如以上描述的资产处理应用)的图1的示例计 算设备102)执行。实施过程500的资产处理应用可以是已经被安装 在计算设备102上的独立应用、由可由计算设备102访问的服务提供 方112主控的服务或者到计算设备102的插件模块。
接收与对资产的软件编辑有关的动作集合(块502)。例如，动 作列表可以是用于由用户指定的图像的提出的软件编辑的列表，比如 已经由用户执行的软件动作的列表(例如，用户最新近地执行的软件 动作)。列表可以是有序列表(例如，软件动作序列、一个动作根据 排序而跟随另一动作)或者无序列表(例如，一组软件动作而没有与 该组中的动作关联的特定序列)。可以从被配置为访问动作的数据库 的部件接收动作列表。
通过基于动作列表形成矢量来确定动作表示，该矢量代表软件编 辑(块504)。确定动作表示可以包括确定在动作列表上的每个动作 的频率和类型。频率代表多么经常执行每个动作(例如，动作在动作 列表中的出现次数)。类型代表每个动作的编辑分类(比如动作是否 包括应用预定过滤器、是非线性编辑、涉及颜色改变、调整曝光等)。 在一个示例中，动作表示保留动作列表中的软件编辑的顺序。在另一 示例中，确定动作表示而没有指示动作的顺序。
根据距离测量来对多个资产表示进行排名(块506)。距离测量 对在动作表示与多个资产表示之间的距离进行测量。距离代表在矢量 空间中的相似性，并且通过在矢量空间中比较动作表示和多个资产表 示而被测量。在一个示例中，距离测量是均方差并且根据Dj＝||x-f(yj)||2而被计算，其中Dj表示多个距离测量，x表示动作表示， 并且f(yj)表示所访问的资产表示。
可以按照任何适当方式(比如通过访问资产表示的数据库)来访 问多个资产表示。资产表示对应于已经由被配置为将资产表示的维度 设置成等于由矢量的长度确定的动作表示的维度的投影函数处理的 资产。例如，包括数据库中的资产表示的矢量的长度与包括动作表示 的矢量的长度相同。备选地或者附加地，可以访问资产的数据库，并 且可以从所访问的资产生成资产表示(例如，使用任何适当投影函数) 以产生多个资产表示。
基于对多个资产表示的排名来推荐资产表示中的至少一个资产 表示(块508)。例如，资产表示中的选择的至少一个资产表示可以 对应于具有最高排名的所访问的资产表示中的至少一个所访问的资 产表示。在一个示例中，可以推荐与在排名中具有最低距离测量的所 访问的资产表示对应的资产表示。另外，可以推荐与推荐的资产表示 对应的一个或者多个资产。可以响应于确定将推荐一个或者多个推荐 的资产来在图形用户界面中显示一个或者多个推荐的资产。
以上描述的过程构成较如果不是唯一地则主要地基于用户的软 件使用历史推荐动作或者基于用户的偏好推荐资产的当前推荐方法 而言的改进。通过学习在软件动作与资产之间的联合嵌入，投影函数 可以被用来高效地推荐有用软件动作和资产。例如，假设设计者向图 像编辑应用输入图像。可以访问软件动作的数据库，并且可以快速地 推荐可以应用于图像而具有可靠结果的软件动作，因为可以找到具有 与使用对动作和从动作产生的图像的配对而被训练的投影函数而倍 形成的图像的表示相似的表示的推荐的软件动作。在另一示例中，假 设设计者输入软件动作序列并且希望知道那些软件动作对资产的效果。可以访问资产数据库，并且可以快速地推荐可靠地示范软件动作 的效果的资产，因为可以推荐具有与软件动作的表示相似的表示(例 如，使用对动作和从动作产生的资产的配对而被训练的投影函数而被 形成)的资产。
已经考虑了根据一个或者多个实现方式的示例过程，现在考虑可 以被用来实现这里描述的发明原理的示例系统和设备。
示例系统和设备
图6总体上在600图示了示例系统，该系统包括代表可以实施这 里描述的各种技术的一个或者多个计算系统和设备的示例计算设备 602。通过包括应用108并且特别地包括如以上描述的那样操作的资 产处理应用110来图示这一点。计算设备602可以例如是服务器提供 方的服务器、与客户端关联的设备(例如，客户端设备)、片上系统 或者任何其它适当计算设备或者计算系统。
示例计算设备602包括相互通信地耦合的处理系统604、一个或 者多个计算机可读介质606和一个或者多个I/O接口608。虽然未被 示出，但是计算设备602还可以包括相互耦合各种部件的系统总线或 者其它数据和命令传送系统。系统总线可以包括不同总线结构(比如 存储器总线或者存储器控制器、外围总线、通用串行总线和利用多种 总线架构中的任何总线架构的处理器或者本地总线)中的任何总线结 构或者组合。也设想了多种其它示例，比如控制和数据线。
处理系统604代表用于使用硬件来执行一个或者多个操作的功 能。因而，处理系统604被图示为包括可以被配置为处理器、功能块 等等的硬件单元610。这可以包括在硬件中实施为专用集成电路或者 使用例如一个或者多个半导体而被形成的其它逻辑器件。硬件单元 610不受形成它们的材料或者其中运用的处理机制所限制。例如，处 理器可以由半导体和晶体管(例如，电子集成电路(IC))组成。在 这样的上下文中，处理器可执行指令可以是电子地可执行的指令。
计算机可读存储介质606被图示为包括存储器/存储装置612。存 储器/存储装置612代表与一个或者多个计算机可读介质关联的存储 器/存储容量。存储器/存储部件612可以包括易失性介质(比如随机 存取存储器(RAM))、非易失性介质(比如只读存储器(ROM)、 闪存、光盘、磁盘等等)或者它们的组合。存储器/存储部件612可以 包括固定介质(例如，RAM、ROM、固定硬驱动等等)以及可拆卸 介质(例如，闪存、可拆卸硬驱动、光盘等等)。计算机可读介质606 可以用如以下进一步描述的多种其它方式被配置。
输入/输出接口608代表用于允许用户使用各种输入设备向计算 设备602录入命令和信息并且也允许使用各种输出设备向用户和其它 部件或者设备呈现信息的功能。输入设备的示例包括键盘、光标控制 设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为 检测物理触摸的电容或者其它传感器)、相机(例如，可以运用可见 光或者不可见光波长(比如红外线频率)以将移动识别为未涉及到触 摸的手势的相机)等等。输出设备的示例包括显示设备(例如，监视 器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等等。因此， 计算设备602可以用如以下进一步描述的多种方式被配置以支持用户 交互。
各种技术在这里可以在软件、硬件单元或者程序模块的一般上下 文中被描述。一般而言，这样的模块包括执行特定任务或者实施特定 抽象数据类型的例程、程序、对象、单元、部件、数据结构等等。如 这里所用的术语“模块”、“功能”和“部件”一般地代表软件、固件、硬 件或者它们的组合。这里描述的技术的特征独立于平台，这意味着技 术可以在具有多种处理器的多种商用计算平台上被实施。
可以在某个形式的计算机可读介质上存储或者跨该计算机可读 介质传输描述的模块及其技术的实现方式。计算机可读介质可以包括 计算设备602可以访问的多种介质。举例而言并且没有限制，计算机 可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”是指与仅信号传输、载波或者信号本身对 照而言实现持久或者非瞬态信息存储的介质、设备或者它们的组合。 因此，计算机可读存储介质没有包括信号本身或者信号承载介质。计 算机可读存储介质包括硬件，比如在适合用于存储信息(比如计算机 可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据)的方 法或者技术中被实施的易失性和非易失性、可拆卸和非可拆卸介质、 存储设备或者它们的组合。计算机可读存储介质的示例可以包括但不 限于RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、 数字万用盘(DVD)或者其它光存储装置、硬盘、磁盒、磁带、磁盘 存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可 以由计算机访问的其它存储设备、有形介质或者制造品。
“计算机可读信号介质”是指被配置为比如经由网络向计算设备 602的硬件传输指令的信号承载介质。信号介质通常可以在调制的数 据信号(比如载波、数据信号或者其它传送机制)中体现计算机可读 指令、数据结构、程序模块或者其它数据。信号介质也包括任何信息 递送介质。术语“调制的数据信号”意味着如下信号，该信号让它的特 性中的一个或者多个特性以对信号中的信息进行编码这样的方式而 被设置或者改变。举例而言并且没有限制，通信介质包括有线介质(比 如有线网络或者直接有线连接)和无线介质(比如声、RF、红外线) 和其它无线介质。
如先前描述的那样，硬件单元610和计算机可读介质606代表以 如下硬件形式被实施的模块、可编程器件逻辑、固定器件逻辑或者它 们组合，可以在一些实施例中运用该硬件形式以实施这里描述的技术 的至少一些方面，比如以执行一个或者多个指令。硬件可以包括集成 电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵 列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中 的其它实现方式。在本文中，硬件可以作为如下处理设备操作，该处 理设备执行由指令定义的程序任务、由硬件体现的逻辑或者它们的组 合以及用来存储用于执行的指令的硬件，例如，先前描述的计算机可 读存储介质。
也可以运用前述各项的组合以实施这里描述的各种技术。因而， 软件、硬件或者可执行模块可以被实施为在某个形式的计算机可读存 储介质上或者由一个或者多个硬件单元610体现的一个或者多个指 令、逻辑或者它们的组合。计算设备602可以被配置为实施与软件和 硬件模块对应的特定指令和功能。因而，可以至少部分地在硬件中(例 如，通过使用计算机可读存储介质和处理系统604的硬件单元610) 来实现可由计算设备602作为软件执行的模块的实现方式。指令和功 能可以由一个或者多个制造品(例如，一个或者多个计算设备602或 者处理系统604)可执行/可操作以实施这里描述的技术、模块和示例。
这里描述的技术可以由计算设备602的各种配置所支持而不限于 这里描述的技术的具体示例。也可以全部或者部分通过使用分布式系 统(比如如以下描述的那样经由平台616在“云”614之上)实施这一 功能。
云614包括和代表用于资源618的平台616。平台616将云614 的硬件(例如，服务器)和软件资源的下层功能抽象化。资源618可 以包括可以在计算机处理在与计算设备602远离的服务器上被执行之 时被利用的应用、数据或者应用和数据。资源618也可以包括通过因 特网、通过订户网络(比如蜂窝或者Wi-Fi网络)或者它们的组合被 提供的服务。资源618可以包括存储原始资产、资产表示、动作和动 作表示的资产存储库620并且可以由计算设备602访问。
平台616可以将用于连接计算设备602与其它计算设备的资源和 功能抽象化。平台616也可以服务于将资源伸缩抽象化以提供与对于 经由平台616被实施的资源618的所遇需求对应的规模级别。因而， 在一个互连设备实施例中，可以遍布系统600分布这里描述的功能的 实现方式。例如，可以部分在计算设备602上以及经由将云614的功 能抽象化的平台616来实施功能。
结论
在一个或者多个实现方式中，数字环境包括执行对资产的编辑的 资产处理应用。投影函数使用与软件编辑有关的动作和从动作产生的 资产的配对而被训练。投影函数在资产处理应用中被用来推荐用于创 建资产的软件动作并且也推荐用来示范软件动作的效果的资产。
虽然本发明已经用结构特征和/或方法动作特有的言语而被描述， 但是将理解，在所附权利要求中定义的本发明未必限于描述的具体特 征或者动作。实际上，具体特征和动作被公开作为实施要求保护的本 发明的示例形式。

Claims (20)

1.在包括执行对资产的编辑的资产处理应用的数字介质环境中，一种由至少一个计算设备经由所述资产处理应用实施的改进的编辑方法，所述方法包括：
由所述至少一个计算设备确定输入表示是动作表示还是资产表示；
响应于确定所述输入表示是所述动作表示：
由所述至少一个计算设备根据在矢量空间中测量在所述动作表示与多个资产表示之间的距离的距离测量来对所述资产表示进行排名；以及
由所述至少一个计算设备基于对所述多个资产表示的所述排名来推荐所述多个资产表示中的至少一个资产表示；以及
响应于确定所述输入表示是所述资产表示：
由所述至少一个计算设备利用将所述资产表示投影到所述矢量空间的投影函数来处理所述资产表示；
由所述至少一个计算设备根据在所述矢量空间中测量在经处理的所述资产表示与多个动作表示之间的距离的距离测量来对所述多个动作表示进行排名；以及
由所述至少一个计算设备基于对所述多个动作表示的所述排名来推荐动作集合。
2.根据权利要求1所述的方法，其中包括所述多个资产表示的矢量由所述投影函数设置成与包括所述动作表示的矢量的长度相等的长度。
3.根据权利要求1所述的方法，其中所述资产表示是与处理图像并且产生从所述图像的内容得到的矢量的另一投影函数的输出对应的图像表示。
4.根据权利要求1所述的方法，其中确定所述输入表示是所述动作表示还是所述资产表示基于包括所述输入表示的矢量的长度。
5.根据权利要求1所述的方法，还包括从被存储为从神经网络输出的矢量的所述多个资产表示的数据库访问所述资产表示，其中所述矢量代表包括所述神经网络的神经元的激活值。
6.根据权利要求1所述的方法，还包括利用所述动作集合来处理所述资产表示，并且其中推荐所述动作集合包括推荐经处理的所述资产表示连同所述动作集合。
7.根据权利要求1所述的方法，其中所述多个动作表示代表由用户指定的动作。
8.根据权利要求1所述的方法，其中所述投影函数是包含基于动作和从所述动作产生的资产的配对而被调整的参数的自适应函数。
9.根据权利要求8所述的方法，其中所述动作从由用户执行的动作的日志被获得，并且从所述动作产生的所述资产从由所述用户在在线社交平台上上传的项目被获得。
10.一种在包括计算设备的数字介质环境中被实施的系统，所述计算设备具有用于执行对资产的编辑的资产处理应用，所述系统包括：
处理系统；以及
至少一个计算机可读介质，其存储经由所述处理系统可执行以实施媒体处理应用的指令，所述媒体处理应用被配置为执行操作，所述操作包括：
获得包括从包括资产的内容得到的矢量的资产表示；
访问各自包括从相应软件动作列表得到的矢量的多个动作表示；
利用投影函数、通过将包括所述资产表示的所述矢量的长度设置成等于包括所述动作表示的所述矢量的所述长度来处理所述资产表示；
根据测量在包括经处理的所述资产表示的所述矢量与包括所访问的所述动作表示的所述矢量之间的距离的距离测量，来对所访问的所述动作表示进行排名；以及
基于对所访问的所述动作表示的所述排名来推荐动作集合。
11.根据权利要求10所述的系统，其中所述资产包括图像、视频、文档、演示或者绘图中的至少一项。
12.根据权利要求10所述的系统，还包括获得所述资产并且根据所述动作集合来处理所述资产，并且其中推荐所述动作集合包括显示经处理的所述资产。
13.根据权利要求10所述的系统，其中所述动作集合从最高排名的所访问的动作表示被确定，并且包括根据顺序的软件动作序列。
14.根据权利要求10所述的系统，还包括接收由用户执行的动作列表，并且其中所访问的所述动作表示代表在所述动作列表上的动作并且没有代表没有在所述动作列表上的动作。
15.根据权利要求14所述的系统，其中所述动作列表包括由所述用户指定并且向所述动作列表中的所述动作指派的偏好。
16.在包括执行对资产的编辑的资产处理应用的数字介质环境中，一种由至少一个计算设备经由所述资产处理应用实施的改进的编辑方法，所述方法包括：
用于由所述至少一个计算设备接收与资产的软件编辑有关的动作列表的步骤；
用于由所述至少一个计算设备通过基于所述动作列表形成矢量来确定动作表示的步骤，所述矢量代表所述软件编辑；
用于由所述至少一个计算设备根据测量在所述动作表示与多个资产表示之间的距离的距离测量来对所述多个资产表示进行排名的步骤，所述多个资产表示中的每个资产表示具有与由所述矢量的长度确定的所述动作表示的维度相等的维度；以及
用于由所述至少一个计算设备基于对所述多个资产表示的所述排名来推荐所述资产表示中的至少一个资产表示的步骤。
17.根据权利要求16所述的方法，其中用于确定所述动作表示的所述步骤包括确定所述动作列表上的每个动作的频率和类型，所述频率代表每个动作多么经常地被执行，并且所述类型代表每个动作的编辑分类。
18.根据权利要求16所述的方法，其中所述距离测量是均方差。
19.根据权利要求16所述的方法，其中用于推荐所述资产表示中的至少一个资产表示的所述步骤包括显示与所推荐的所述资产表示中的至少一个资产表示关联的至少一个资产。
20.根据权利要求16所述的方法，还包括用于基于通过向与所述资产表示中的所述至少一个资产表示对应的所述资产表示中的至少一个资产表示和包括没有被包括在所述动作列表中的备选动作的备选动作表示应用所述距离测量确定排名来推荐所述备选动作的步骤。
CN201710910168.XA 2016-11-21 2017-09-29 推荐软件动作以创建图像和推荐图像以示范软件动作的效果 Active CN108090110B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/357,864 US10762135B2 (en) 2016-11-21 2016-11-21 Recommending software actions to create an image and recommending images to demonstrate the effects of software actions
US15/357,864 2016-11-21

Publications (2)

Publication Number Publication Date
CN108090110A true CN108090110A (zh) 2018-05-29
CN108090110B CN108090110B (zh) 2023-09-19

Family

ID=60326683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910168.XA Active CN108090110B (zh) 2016-11-21 2017-09-29 推荐软件动作以创建图像和推荐图像以示范软件动作的效果

Country Status (5)

Country Link
US (1) US10762135B2 (zh)
CN (1) CN108090110B (zh)
AU (1) AU2017235890B2 (zh)
DE (1) DE102017009275A1 (zh)
GB (1) GB2556685A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597695A (zh) * 2020-12-03 2021-04-02 浙江大学 一种基于感知特征聚类的计算机辅助设计方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227197B2 (en) * 2018-08-02 2022-01-18 International Business Machines Corporation Semantic understanding of images based on vectorization
US20210034945A1 (en) * 2019-07-31 2021-02-04 Walmart Apollo, Llc Personalized complimentary item recommendations using sequential and triplet neural architecture

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2430460A1 (en) * 2002-06-03 2003-12-03 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (b) pictures and motion vector prediction for multi-picture reference motion compensation
US20070156614A1 (en) * 2003-11-28 2007-07-05 Manyworlds, Inc. Adaptive Fuzzy Network System and Method
WO2007084871A2 (en) * 2006-01-13 2007-07-26 Yahoo! Inc. Method and system for combining edit information with media content
US20070240072A1 (en) * 2006-04-10 2007-10-11 Yahoo! Inc. User interface for editing media assests
US20080270250A1 (en) * 2007-04-26 2008-10-30 Ebay Inc. Flexible asset and search recommendation engines
US20090115851A1 (en) * 2007-10-25 2009-05-07 Micronas Gmbh Method for estimating the motion in image processing
US20090210268A1 (en) * 2008-02-19 2009-08-20 Oracle International Corporation Bulk order management
CN101779180A (zh) * 2007-08-08 2010-07-14 贝诺特公司 基于背景的内容推荐的方法和设备
US20110161153A1 (en) * 2009-12-30 2011-06-30 Cbs Interactive Inc. Method and system for recommending assets based on recently viewed assets basket
CN102244812A (zh) * 2010-06-23 2011-11-16 微软公司 视频内容推荐
CN102460435A (zh) * 2009-06-16 2012-05-16 微软公司 媒体资产推荐服务
CN103049468A (zh) * 2011-10-11 2013-04-17 谷歌公司 确定移动应用上的推荐意图
WO2013181636A2 (en) * 2012-06-01 2013-12-05 Kimmerling Kurt L System and method for eliciting information and generating pricing information
US20140049547A1 (en) * 2011-02-01 2014-02-20 Adobe Systems Incorporated Methods and Systems for Representing Complex Animation using Style Capabilities of Rendering Applications
CN103890761A (zh) * 2011-09-08 2014-06-25 阿克塞尔斯普林格数字电视指导有限责任公司 自动生成推荐的方法和装置
US8909596B1 (en) * 2013-01-08 2014-12-09 Google Inc. Operational-transform-compatible representation of 2-dimensional page layout data
CN104239374A (zh) * 2013-06-21 2014-12-24 伊姆西公司 用于文档推荐的方法和装置
US20150058749A1 (en) * 2013-08-21 2015-02-26 Adobe Systems Incorporated Location-based asset sharing
CN104584566A (zh) * 2012-01-08 2015-04-29 汤姆逊许可公司 提供媒体资产推荐的方法和设备
US20150149236A1 (en) * 2013-11-26 2015-05-28 Ares Sakamoto Merchant action recommendation system
US20150363688A1 (en) * 2014-06-13 2015-12-17 Microsoft Corporation Modeling interestingness with deep neural networks

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659384B2 (en) * 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
DE102016101650A1 (de) * 2015-01-29 2016-08-04 Affectomatics Ltd. Korrektur von bias in messwerten der affektiven reaktion

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2430460A1 (en) * 2002-06-03 2003-12-03 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (b) pictures and motion vector prediction for multi-picture reference motion compensation
US20070156614A1 (en) * 2003-11-28 2007-07-05 Manyworlds, Inc. Adaptive Fuzzy Network System and Method
WO2007084871A2 (en) * 2006-01-13 2007-07-26 Yahoo! Inc. Method and system for combining edit information with media content
US20070240072A1 (en) * 2006-04-10 2007-10-11 Yahoo! Inc. User interface for editing media assests
US20080270250A1 (en) * 2007-04-26 2008-10-30 Ebay Inc. Flexible asset and search recommendation engines
CN101779180A (zh) * 2007-08-08 2010-07-14 贝诺特公司 基于背景的内容推荐的方法和设备
US20090115851A1 (en) * 2007-10-25 2009-05-07 Micronas Gmbh Method for estimating the motion in image processing
US20090210268A1 (en) * 2008-02-19 2009-08-20 Oracle International Corporation Bulk order management
CN102460435A (zh) * 2009-06-16 2012-05-16 微软公司 媒体资产推荐服务
US20110161153A1 (en) * 2009-12-30 2011-06-30 Cbs Interactive Inc. Method and system for recommending assets based on recently viewed assets basket
US20110320380A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Video content recommendations
CN102244812A (zh) * 2010-06-23 2011-11-16 微软公司 视频内容推荐
US20140049547A1 (en) * 2011-02-01 2014-02-20 Adobe Systems Incorporated Methods and Systems for Representing Complex Animation using Style Capabilities of Rendering Applications
CN103890761A (zh) * 2011-09-08 2014-06-25 阿克塞尔斯普林格数字电视指导有限责任公司 自动生成推荐的方法和装置
CN103049468A (zh) * 2011-10-11 2013-04-17 谷歌公司 确定移动应用上的推荐意图
CN104584566A (zh) * 2012-01-08 2015-04-29 汤姆逊许可公司 提供媒体资产推荐的方法和设备
WO2013181636A2 (en) * 2012-06-01 2013-12-05 Kimmerling Kurt L System and method for eliciting information and generating pricing information
US8909596B1 (en) * 2013-01-08 2014-12-09 Google Inc. Operational-transform-compatible representation of 2-dimensional page layout data
CN104239374A (zh) * 2013-06-21 2014-12-24 伊姆西公司 用于文档推荐的方法和装置
US20150058749A1 (en) * 2013-08-21 2015-02-26 Adobe Systems Incorporated Location-based asset sharing
US20150149236A1 (en) * 2013-11-26 2015-05-28 Ares Sakamoto Merchant action recommendation system
US20150363688A1 (en) * 2014-06-13 2015-12-17 Microsoft Corporation Modeling interestingness with deep neural networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"数字资产管理环境", 今日电子, no. 01, pages 32 - 33 *
RODRIGO JOSÉ PIRES FERREIRA等: "A decision model for portfolio selection", PESQUISA OPERACIONAL, pages 1 - 15 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597695A (zh) * 2020-12-03 2021-04-02 浙江大学 一种基于感知特征聚类的计算机辅助设计方法及系统
CN112597695B (zh) * 2020-12-03 2022-05-03 浙江大学 一种基于感知特征聚类的计算机辅助设计方法及系统

Also Published As

Publication number Publication date
DE102017009275A1 (de) 2018-05-24
CN108090110B (zh) 2023-09-19
AU2017235890B2 (en) 2021-09-09
US20180143988A1 (en) 2018-05-24
GB2556685A (en) 2018-06-06
AU2017235890A1 (en) 2018-06-07
US10762135B2 (en) 2020-09-01
GB201716526D0 (en) 2017-11-22

Similar Documents

Publication Publication Date Title
JP6852748B2 (ja) 情報処理方法および情報処理装置
CN103502899B (zh) 动态预测建模平台
CN109800885A (zh) 针对黑盒机器学习模型的规则确定
CN107330715B (zh) 选择图片广告素材的方法和装置
US11100116B2 (en) Recommendation systems implementing separated attention on like and dislike items for personalized ranking
US10445783B2 (en) Target audience content interaction quantification
CN106471525A (zh) 增强神经网络以生成附加输出
US20220172038A1 (en) Automated deep learning architecture selection for time series prediction with user interaction
CN106462803A (zh) 增强具有外部存储器的神经网络
CN108090110A (zh) 推荐软件动作以创建图像和推荐图像以示范软件动作的效果
KR20200021843A (ko) 인쇄물 제작 서비스 제공 방법 및 시스템
CN113792952A (zh) 用于生成模型的方法和装置
JP2022547369A (ja) デジタルコンテンツの視覚的品質の評価
JP2023503216A (ja) デジタルコンテンツの視覚的品質の評価
US20230186074A1 (en) Fabricating data using constraints translated from trained machine learning models
US20230012650A1 (en) Environmental impact aware product refurbishing
JP2019106099A (ja) 提供プログラム、提供装置、および提供方法
CN114764638A (zh) 机器学习处理中的跨域结构化映射
US20220036245A1 (en) EXTRACTING SEQUENCES FROM d-DIMENSIONAL INPUT DATA FOR SEQUENTIAL PROCESSING WITH NEURAL NETWORKS
CN111553375B (zh) 使用变换以验证计算机视觉质量
US11194843B2 (en) Methods and systems for visual management of relational data
CN114429384A (zh) 基于电商平台的产品智能推荐方法及系统
CN115994807A (zh) 一种物料推荐方法、装置及系统
CN110659962A (zh) 一种商品信息输出方法及相关装置
Pandey et al. Fractal Image Compression using Genetic Algorithm with Variants of Crossover

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant