CN111901638B - 媒体资产的行为策展 - Google Patents

媒体资产的行为策展 Download PDF

Info

Publication number
CN111901638B
CN111901638B CN202010361099.3A CN202010361099A CN111901638B CN 111901638 B CN111901638 B CN 111901638B CN 202010361099 A CN202010361099 A CN 202010361099A CN 111901638 B CN111901638 B CN 111901638B
Authority
CN
China
Prior art keywords
assets
asset
media library
score
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010361099.3A
Other languages
English (en)
Other versions
CN111901638A (zh
Inventor
S·瑞基克
M·R·韦斯科维
E·希尔克雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202310068503.1A priority Critical patent/CN116028659A/zh
Publication of CN111901638A publication Critical patent/CN111901638A/zh
Application granted granted Critical
Publication of CN111901638B publication Critical patent/CN111901638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及媒体资产的行为策展。在一些具体实施中,计算设备可创建语义映射,所述语义映射包括在媒体库的资产子集中的特定百分比的资产中出现的识别的特征。另外,所述计算设备可使用所述语义映射来分析所述媒体库的资产以生成语义分数,所述语义分数可用于确定来自所述媒体库的在全部资产中语义分数评级最高的第一级资产。当查看所述媒体库的资产时,所述计算设备可在用户界面中显著地呈现所述第一级资产中的至少一个第一级资产。

Description

媒体资产的行为策展
技术领域
本公开整体涉及显示媒体库的资产,并且更具体地涉及基于用户行为来过滤和选择要显示的特定媒体资产。
背景技术
常规媒体库在一个或多个界面中显示其中包括的全部图像和视频。图片和视频可根据排序参数(诸如捕获时间、文件名的字母顺序等)进行排序。然而,对于包括数百个或数千个图像和视频的大型媒体库,此类呈现可能对于用户来说管理太麻烦、加载太慢并且对于用户为了查看所需的图像和视频来说导航太繁琐。
此外,用户可能对许多图像和视频非常感兴趣,但由于存储到媒体库中的图像和视频的剪切体积,在正常情况下用户可能无法遇到这些有趣的图像和视频以允许用户查看有趣的图像和视频。因此,这些有趣的图像和视频可能仍隐藏在媒体库中并且未被充分利用。
发明内容
在一些具体实施中,计算设备可创建语义映射,所述语义映射包括在媒体库的资产子集中的特定百分比的资产中出现的识别的特征。另外,所述计算设备可使用所述语义映射来分析所述媒体库的资产以生成语义分数,所述语义分数可用于确定来自所述媒体库的在全部资产中语义分数评级最高的第一级资产。当查看所述媒体库的资产时,所述计算设备可在用户界面中显著地呈现所述第一级资产中的至少一个第一级资产。
特定具体实施提供了至少以下优点。通过基于过去用户与媒体库中的其他资产的交互来选择要向用户显示的特定于该用户的资产,可以显示可能被隐藏或较早的且通常未被显示但被预测为受到该用户青睐的用户资产。这消除了用户对许多资产进行排序以在媒体库中的全部资产中查找令人赏心悦目或对用户具有特殊意义的一个资产的需要。这节省了用户的时间和精力,并且避免了在试图访问来自媒体库的有意义的资产时对用户造成挫折感。
在下面的附图和具体实施方式中阐述了一种或多种具体实施的细节。其他特征、方面和潜在优点将在具体实施方式和附图以及权利要求书中显而易见。
附图说明
图1为用于策展媒体库的资产的示例性系统的框图。
图2示出了用于跟踪用户与媒体库的资产的交互的示例性系统。
图3示出了用于创建语义映射以预测特定用户将喜欢查看媒体库的特定资产的示例性系统。
图4示出了媒体库应用程序的示例性日视图。
图5示出了用于媒体库应用程序的示例性月视图。
图6示出了用于媒体库应用程序的示例性年视图。
图7为用于确定媒体库的资产的意义的示例性方法的流程图。
图8为用于确定用于语义映射的媒体库的资产子集的示例性方法的流程图。
图9为用于根据主题确定要显示的最佳资产的示例性方法的流程图。
图10为可实现图1至图9的特征和过程的示例性计算设备的框图。
各个附图中的类似参考符号指示类似的元素。
具体实施方式
由于数码相机的出现,照片、图像、视频和其他媒体资产的大型媒体库已变得司空见惯。更具体地讲,由于数码相机与移动设备的结合(诸如智能电话和其他电子设备),这些大型媒体库已经普及,这些移动设备便于由用户运输和每天携带以便于允许用户捕捉照片和拍摄视频以记录他们的生活。
如本文所用,媒体资产可包括数字照片和图像、视频、动画图像、组合演示和编译等。大型媒体库可包括由一个或多个用户多年来收集并存储到一个或多个位置中的数百甚至数千个单个图像和视频。当用户尝试访问大型媒体库时,可能存在与其中包括的大量图像和视频相关联的许多问题,诸如难以在存储到媒体库中的众多资产内定位所需的图像或视频、单个资产的加载时间缓慢、用户与媒体库的交互(诸如滚动通过图像和视频、选择要显示的特定图像、显示类型之间的转换等)的响应时间缓慢、捕获照片之后失去跟踪(当拍摄照片后忘记该照片已拍摄等)等。
此外,用户通常不希望从媒体库或通过其他应用程序查看用户的图像、视频和其他资产中的全部。相反,用户通常将希望查看特定于单个用户的具有特殊重要意义和/或美感的资产。对于一个用户的这些最佳图像和视频可能不同于被确定为对于另一个用户的最佳图像和视频。因此,在本文描述的示例中,可针对特定用户单个地管理每个用户的媒体库,并且被确定为特定于单个用户的具有特殊重要意义和/或美感的那些图像、视频和其他资产可被确定为对于该用户的最佳资产。可在媒体库的视图内和/或在显示媒体库的资产的其他应用程序内提升这些最佳资产。这样,本文描述的实施方案提供增强的用户体验,以更便于获得对媒体库的最佳资产的访问。
图1为用于策展媒体库的资产的示例性系统100的框图。系统100可包括多个用户设备,例如,智能电话102、膝上型电脑104等。每个用户设备102、104可包括媒体查看应用程序108,该媒体查看应用程序被配置为显示媒体查看应用程序108正在其上执行的特定用户设备可访问的资产(诸如本地存储到特定用户设备的资产)。此外,在一个示例中,用户设备102、104中的任一个可被配置为连接到媒体服务器110以允许媒体查看应用程序108访问被远程存储到媒体服务器110的附加资产(并且可能不是到特定用户设备的本地资产)。在一种方法中,媒体查看应用程序108可在用户设备102、104上的图形用户界面(GUI)中显示远程存储和/或本地存储的资产。在另一种方法中,在使用或不使用媒体服务器110的情况下,资产可跨多个用户设备102、104同步。
任何类型的用户设备(包括图1中未具体示出的那些)均可包括在系统100中,诸如台式计算机、媒体设备如机顶盒(STB)、移动电话、数字流媒体设备、智能电视(TV)、平板电脑、可穿戴设备如智能手表、带显示器的家庭智能扬声器、数码相框等。
尽管未示出,但媒体库可被配置为存储、管理和显示多个资产。这些资产可由用户与媒体库交互或使用被配置为从媒体库访问资产的应用程序来访问。任何类型的资产可显示在媒体库中,诸如图像、照片、视频、动画图像、组合演示等。
如本文所用,动画图像描述了包括一系列图像的容器或其他文件格式,这一系列的图像被操纵或处理以当打开或播放时作为相干移动图像出现。在两种方法中,动画图像可在其被显示的任何时候自动播放,或者一些输入可激活动画图像的播放。一些示例性动画图像包括但不限于图形交换格式(GIF)文件、便携式网络图形(PNG)文件、多重图像网络图形(MNG)文件、Live PhotosTM等。
如本文所用,组合演示描述了根据主题或目的选择的媒体资产诸如图像和/或视频的布置,并且可被设置为音频或音乐。组合演示也可包括相关信息诸如图形、地图、关于资产中所识别的人物的信息、关于包括在组合演示中的资产的详细信息。例如,组合演示可涉及周末滑雪旅行,并且可包括滑雪旅行的视频和照片,诸如家庭成员围着火塘喝热可可的图片、接着是滑雪胜地的图像、孩子穿着滑雪服装的照片以及家庭成员在斜坡上滑雪的视频。当然,可根据生成组合演示的应用程序的用户的需要来设置或修改资产的顺序、播放的音乐和其他音频、标题、文本或音频描述等。
媒体查看应用程序108可被配置为呈现经由用户设备102、104从媒体库访问的资产。媒体查看应用程序108可为任何类型的应用程序、程序、模块、指令集、操作系统、固件等,该媒体查看应用程序被配置为显示由媒体查看应用程序108捕获的,从用户设备102、104上的本地存储、媒体服务器110的远程存储访问的并且/或者从一些其他数据源获取的图片、图像、视频和/或其他媒体资产。一些示例性媒体查看应用程序包括但不限于在线可用的社交媒体平台、用于移动电话或智能电话的相机模块、录像机程序等。
在一个示例中,媒体查看应用程序108可为安装在智能电话102上的社交媒体应用程序,并且该社交媒体应用程序可基于在照片中发现的共享特征或性状(诸如照片被捕获的位置)向用户呈现照片集。可将该照片集存储到媒体库,其中社交媒体应用程序有权限从媒体库中访问照片以呈现在智能电话102的显示器上的社交媒体应用程序的GUI内(诸如以时间线或日历视图的方式)。在另一个示例中,在社交媒体应用程序与其他用户和/或设备一起显示照片之前,可向用户呈现是否允许社交媒体应用程序呈现该照片集的选项。基于特定选择标准,仅将来自媒体库的最佳照片提供给社交媒体应用程序以进行显示将是有益的。选择标准可指示要在所选择的资产中出现的日期、假期、旅行、主题、情绪、场景、人物、场所和/或对象。
再次参见图1,在一种方法中,用户设备102、104可利用网络106以访问媒体服务器110或任何其他远程可访问的数据源。可利用任何类型的网络106,诸如互联网、广域网(WAN)、局域网(LAN)、无线局域网(WLAN)、虚拟专用网(VPN)、移动宽带网络等。此外,在一种方法中,不止一种网络可用于将用户设备102、104连接到任何其他系统、设备或网络。
媒体服务器110可为被配置为存储资产并且向请求用户设备102、104提供对此类资产的访问和/或传输此类资产的任何类型的系统或设备。在一个示例中,媒体服务器110可为托管图像、视频和其他资产的云服务器,使得用户设备102、104可根据需要访问这些资产。在另一种方法中,媒体查看应用程序108可为客户端应用程序,该客户端应用程序依赖媒体服务器110以提供用于在用户设备102、104上显示的指令和/或资产。
在一种方法中,各种用户设备102、104中的每一者均可由单个用户利用,并且/或者用户可输入允许当使用共享设备时识别该用户的凭据。这些凭据可以被动地输入,诸如使用特定于用户的设备,或显式地输入凭据,诸如用户名/密码组合、生物特征签名、令牌交换等。
在一种方法中,因为可跨用户可用于访问媒体库的多个资产的全部不同用户设备102、104来跟踪用户对媒体库中资产的使用以及与资产的交互,所以可生成用户如何与媒体库中的多个资产进行交互的总体相干描绘。
图2示出了用于跟踪用户与媒体库206的资产202的交互的示例性系统200。如图所示,智能电话102正在运行媒体查看应用程序108。在一段时间内,媒体查看应用程序108可显示来自媒体库206的许多不同的资产210并允许与其的交互。然而,例如,仅仅因为某个照片204(例如,猫的照片)显示在智能电话102的显示器上,并不一定意味着用户实际上喜欢照片204。可能用户不喜欢猫,或者可能用户不喜欢这只特定的猫,或者可能照片中的照明很差从而难以看到猫。存在关于用户如何感知照片或其他资产的许多不同的因素,并且在生成用户与媒体库206的资产210的交互的相干描绘时可考虑这些因素中的任一个。另外,示例性系统200不限于与智能电话102一起使用,并且在示例性系统200中可以利用任何计算设备,诸如台式计算机、媒体设备如STB、数字流媒体设备、移动电话、智能TV、平板电脑、可穿戴设备如智能手表、带显示器的家庭智能扬声器、数码相框等。
在一个示例中,每次用户执行与媒体库206的资产(诸如,猫的照片204)的某些交互时,该资产被存储到特定于用户的用户配置文件208。在一种方法中,用户配置文件208由媒体查看应用程序108创建并本地存储到智能电话102。在另一些方法中,媒体查看应用程序108的不同实例可针对特定用户共享和/或同步用户配置文件208,该特定用户利用多个用户设备与媒体库206的资产202交互。在一种方法中,仅在接收到来自用户的许可之后,才进行该共享或同步。这样,全部用户与媒体库206的资产202的交互可聚合在一起并用于确定用户对特定资产的兴趣,而不是依赖于在单个设备上执行的交互并且仅针对单个设备计算用户兴趣。
用户配置文件208可包括关于用户与媒体库206的每个资产202(例如,智能电话102的显示器上显示的资产204和210)交互的每次交互的信息。例如,在用户配置文件208中显示用于资产1、资产2、资产3、资产4、…、资产N的条目。在由智能电话102的用户访问过的资产的每个条目中存储着某些信息。在一个示例中,在一种方法中,可跟踪特定时间段内的交互,并且一旦该时间段过去,则所跟踪的交互可失效。在另一种方法中,可以交互分数的形式为这些交互分配值。交互分数可如本文描述或使用任何其他合适的方法来计算,并且可涉及包括S型和其他指数或更高级多项式函数的非线性关系。在另一种方法中,所分配的值可基于所跟踪的交互的年限而时间衰减。又如,媒体库206中的每个资产202可具有条目,并且针对在特定最近时间段内未被访问或尚未被访问的资产,这些条目可为空白或包括很少交互信息或不包括交互信息。
存储在用户配置文件208的条目中的一些示例性信息可包括但不限于用户在智能电话102上查看资产的次数、用户与一个或多个其他人或设备共享资产的次数、用户播放能够被播放的资产的次数(例如,视频、动画图像、组合演示等)、用户在一个或多个应用程序、平台等上指示喜欢资产和/或将资产标记为收藏的次数、基本上类似的资产被存储到媒体库206的次数、指示与资产的一次或多次交互的近期时间的时间戳、为获取资产而对图像捕获设备进行的特殊设置的指示(例如,捕获照片的相机设置、特殊照片类型如全景或慢动作、在捕捉之前用滤镜改变照片的外观等)、在资产上执行的捕获后编辑(例如,循环、弹跳、长时间曝光、捕获后的滤镜效果等)等。
例如,用户配置文件208的每个条目包括相关资产的名称或标识符,例如,资产1,用户查看资产1的次数(例如,查看(2))、用户共享资产1的次数(例如,共享(5))、用户播放资产1的次数(例如,播放(0))以及资产1被标记为收藏的次数(例如,收藏(3))。
用户配置文件208可用于为在用户配置文件208中具有条目的每个资产生成交互分数。相应的交互分数可基于分配给每个交互类型的单个贡献值的总和。此外,可对权重进行分配以增加或降低任何类型的交互可能对交互分数产生的影响。在一种方法中,可将全部权重设置为相等,使得每种交互类型对总体交互分数提供相同的影响。
根据该方法,在计算资产的交互分数时,某些类型的交互的权重可能高于其他类型的交互。例如,共享可被加权为对交互分数的影响是查看的两倍、播放资产可能对交互分数的贡献是收藏的三倍等。
例如,在权重平均的情况下,资产1可具有的交互分数等于查看、共享、播放和收藏的次数的总和(例如,2+5+0+3=10),指示用户已与资产1以不同方式交互十次。又如,资产2可具有交互分数0,指示用户尚未与资产2进行交互。在这些示例中,分数越高,特定资产发生过的交互就越多。
在一种方法中,可基于最高计算分数将交互分数归一化到0至1的标度。为实现归一化,将每个交互分数除以最高计算分数,使得最高计算分数变为分数1.0,并且全部其他交互分数在0与1之间(包括0和1)。例如,资产1将具有最高交互分数10,归一化为1.0。资产3将具有归一化交互分数(1+2+6+0)/10=0.9,而资产4将具有归一化交互分数1/10=0.1。
归一化也可通过其他计算来实现,诸如特征缩放,平均归一化等。在一个示例中,归一化方案可使用第一计算法,其中归一化分数=分数-平均值/(最大值-最小值)。又如,归一化分数=分数-平均值/标准偏差。根据另一个示例,可基于从其他用户分数计算所得的全局分数来获得归一化分数。
在一种方法中,在将资产的播放次数加权为其他标准的影响的两倍时,资产3将具有交互分数1+2+6*2=15。因此,使用该加权方案,资产3将具有比跟踪到0次播放的资产1更高的交互分数。
任何方案、算法、计算或方法均可用于生成媒体库206的资产202的交互分数,这对于本领域的技术人员将是显而易见的,并且交互分数的计算、确定和/或生成不限于本文提供的明确描述。
一旦确定媒体库206的资产202的交互分数,就可基于这些交互分数来确定来自媒体库206的资产子集。对于归一化为1.0标度的交互分数,资产子集可包括实现了大于阈值分数的交互分数(诸如0.5、0.7、0.75、0.8、0.9等)的那些资产。在另一种方法中,资产子集可具有预先确定的尺寸(例如,全部资产的数量或百分比),并且具有最高交互分数的资产填充资产子集以实现预先确定的尺寸。
关于特定用户为什么喜欢特定照片、视频或其他资产可能存在许多不同的原因。特定用户可能喜欢资产的一些原因可能与该资产的美学吸引力相关,其特征可在于令人愉悦和美感,诸如令人惊叹的风景、艺术意图、漂亮面孔和人物等。
特定用户喜欢资产的这些原因可能是对于大多数用户而言全局一致的,因为基于资产的一个或多个对象的特征和性状的美学吸引力的概念可为近似的。在一个示例中,可基于由专家在美学吸引力的对象上创建的全局美学来估计资产的美学吸引力,使得可生成媒体库206的每个单个资产的美学分数,如下文更详细地讨论。
特定用户可能喜欢资产的一些更多原因可能与用户由于资产显示的内容而附加到资产的情绪和情感相关,诸如伟人的图像(例如,用户喜欢的名流、名人单独或与其他人一起的图像、亲戚、朋友、伴侣、孩子、过世的亲人等)、有重要意义的地方(例如,用户想去参观的地方、用户曾经参观过的地方、用户现在居住的地方、用户以前居住过的地方、朋友或亲人居住的地方等)、对用户有意义的宠物或其他动物、对用户有重要意义的对象(动物毛绒玩具、运动队和纪念品等)等。特定用户可能喜欢资产的更多原因可能与生活模式或生活方式相关,诸如用户喜欢的活动(运动、旅行、冒险、自驾游、徒步、露营等)、爱好(手工、创造事件等)等。特定用户可能喜欢资产的还有更多原因可能与智力激发、好奇心、求知欲等相关,例如,地标、文化地点和经历(例如,特定于某种文化的事件如奔牛节、五月五日节、元宵节、春节等)、宗教或文化节日和事件等。
特定用户喜欢资产的这些原因通常不是对于全部用户而言全局一致的。例如,一个用户的亲属可能不同于另一个用户的亲属。又如,一个用户曾经参观过的某个地方以及该地方的照片可能与第二用户完全无关,或者如果第二用户在该地方有过糟糕的经历甚至可能引发负面反应。因此,特定用户喜欢资产的这些原因是基于语义的,例如,用户喜欢资产的原因是基于资产中的一个或多个对象对用户的意义,而不一定取决于一个或多个对象在资产中的描绘方式。
基于上述讨论,可存在两种估计特定用户是否可能喜欢特定资产的方法:美学吸引力和语义吸引力。稍后描述用于确定美学吸引力的实施方案。下文描述确定语义吸引力的一个实施方案。
图3示出了用于创建语义映射310以预测特定用户将喜欢查看媒体库206的特定资产的示例性系统300。语义映射310可包括已从媒体库206的资产子集302中识别出的对象、场景和/或人物,这些对象、场景和/或人物在来自资产子集302的特定百分比的资产中出现。该特定百分比可为预先确定的和静态的,或动态的以允许调节以确保在包括至少特定数量(例如,10、25、50、100、200、500等)的所识别的特征的语义映射中表示稳健数据集。
在一种方法中,可基于哪些资产实现如前所述的最高交互分数来确定资产子集302。当利用该方法时,资产子集302可被称为“黄金集”。在另一种方法中,资产子集302可从媒体库206的全部资产202中随机选择。在一种方法中,可基于用户最近与哪些资产进行交互来选择包括在资产子集中的资产。如本领域的技术人员在阅读本说明时将会理解的,可使用其他方式确定多少资产和哪些资产要包括在资产子集302中。
如果无法从一个或多个资产中识别特定对象、场景和/或人员,则可能无法将该特定对象、场景和/或人员用于确定其他资产中该对象的语义吸引力。因此,在资产子集302上执行图像分析以识别在资产中出现的对象、场景和/或人物。可识别资产特征的任何类型的已知图像分析可用于提取在资产子集302中表示的各种对象、场景和/或人物。
可在资产子集302中识别的一些示例性对象包括但不限于家具、玩具、食品、体育装备、工具、书籍、建筑元素(例如,门、窗、房屋、建筑物、柱子等)、车辆、天象和行星体(例如,太阳、云、雨、雪、地球、恒星、彗星等)、自然元素(例如,树木、草、花、植物、瀑布、波浪等)等。
可在资产子集302中识别的一些示例性场景和位置包括但不限于沙滩、森林、海洋、河流、城市景观、音乐会和表演场馆、室内、专业和业余体育场馆、商业或办公室、住宅等。
可在资产子集302中识别的一些示例性人物包括但不限于家庭成员、朋友、合作伙伴和同事、名人、名流、政治家、导师、历史伟人、过世的亲人等。
为了帮助理解语义映射310,实现了媒体库206的全部资产202对应的最高交互分数的来自资产子集302的一些资产连同未具体讨论的其他资产312一起显示在智能电话102上的媒体查看应用程序108中。在该示例中,资产304(例如,沙滩视频)具有交互分数28,资产306(例如,森林视频)具有交互分数20,资产308(例如,夜间照片)具有交互分数17,并且资产204(例如,猫的照片)具有交互分数16。这些交互分数是针对这些资产中的每一个资产跟踪到的全部查看、共享、播放和收藏的总和(例如,在特定的最近时间段内)。该最近时间段可能跨越任何时间量,诸如创建媒体库后的一天、一周、一个月、一年、五年等。
基于根据用户与资产进行的多次交互和交互类型计算所得的高交互分数,当交互分数用于确定哪些资产要包括在资产子集302中时,媒体查看应用程序108可确定用户喜欢资产子集302中的每一个资产。然而,对于用户为什么更喜欢媒体库206中的这些特定资产胜过其他资产,仍然没有相干的理解。为了确定这些资产的哪些方面对用户有吸引力,生成语义映射310以定量地方式预测和分配这些资产对用户具有的重要意义和意义。
在一种方法中,对在资产子集302中最常出现的特征进行计数以生成语义映射310。例如,语义映射310显示“太阳”是资产子集中22个不同资产(例如,包括在沙滩视频304和森林视频306中)的特征,“自然”是18个不同资产(例如,包括在沙滩视频304和森林视频306中)的特征,“天空”是14个不同资产(例如,包括在沙滩视频304、夜间照片308和森林视频306中)的特征,而“猫”是仅1个资产(例如,包括在猫的照片204中)的特征。基于组织哪些特征在资产子集302中最常出现的结果,通过语义映射310将会出现哪些特征最可能引起对用户的语义吸引力(基于意义而不是美学吸引用户)的描绘。
例如,在22个资产中表示了“太阳”,而仅在1个资产中表示了“猫”。有强烈的迹象表明,用户并不偏爱猫的图像,而实际上偏爱太阳的图像。为了定量地表示用户对资产中的太阳的偏爱约22倍于猫的这种趋势,可基于语义映射310计算媒体库206的每个资产202的语义分数。
在另一种方法中,分配给用于计算语义分数的特征的值可基于包括相应特征的资产的单个交互分数。例如,对于特征“猫”,包括该特征的唯一资产的交互分数为16。因此,分配给“猫”特征的用于计算其他资产的语义分数的语义值可基于16,诸如归一化值,例如0.16。当特征包括在不止一个资产中时,可将全部这些资产对应的交互分数加到一起以形成该特征的语义值。这样,特征的语义值基于资产子集302中的资产的交互分数,而不是仅仅基于包括该特征的资产的数量。这提供了包括在交互最多的资产中的特征将比在数量上包括在更多资产中的特征增加更多的语义分数,但是通常用户与这些资产交互较少。
使用前述的技术计算所得的语义分数可使用包括该特征的资产的数量来归一化。例如,如果用户与猫的照片进行大量交互,但用户在媒体库中仅有几张猫的图片,而如果用户与狗的照片进行等量的交互,但用户在媒体库中具有许多狗的图片,则对特征“猫”的强调(权重)将可能大于对特征“狗”的强调(权重)。此外,因为发现难以找到的资产是本文描述技术的一个有益效果,由于猫的图片较少,所以比起数量更多的狗的图片,猫的图片将更难以在媒体库中找到。这是将分配给特征“猫”的交互值增大到超过特征“狗”的交互值的另一个原因。
在一个示例中,如果用户已与描绘“猫”的资产交互1000次,而用户已与描绘“狗”的另一个资产交互100次,并且两个资产均被包括在资产子集302中,则在该示例中,语义映射310可指示分配给描绘“猫”的资产的语义分数将远大于(例如,两倍于、五倍于、十倍于)分配给描绘“狗”的资产的语义分数。
一旦建立了计数或实例,就可确定最常用特征的一些、全部或特定百分比,并且可给这些特征分配值以用于为媒体库206中的资产创建语义分数。
为了计算每个资产202对应的单个语义分数,相应的值可与语义映射310中的一些或全部特征相关联。然后,当分析特定资产时,对于在特定资产中识别的每个特征,可将所识别的特征的对应值加到一起以形成特定资产的语义分数。在一种方法中,如果特征诸如“猫”在资产子集302中未得到充分表示,则当计算其他资产的语义分数时可忽略该特征。
在一种方法中,可响应于包括特征的资产的阈值百分比(例如,5%、10%等)在语义分数计算中考虑该特征;否则,在语义分数计算中可忽略该特征。
在一个示例中,对于包括在明亮阳光下懒洋洋地背光站着的猫的照片,可计算得到语义分数1+22=23,猫为1,而太阳为22。显示在美丽的夕阳映衬下高大的树木在微风中摇摆的风景的另一个视频可具有语义分数18+14+22=54,自然为18,天空为14,而太阳为22。在一种方法中,可将猫懒洋洋站着的照片的语义分数23和摇摆的树木的视频的语义分数54与其他资产的一个或多个其他计算所得的语义分数进行比较,以确定哪些资产将最可能受用户偏爱。在该示例中,可确定比起猫懒洋洋站着的照片用户更偏爱摇摆的树木的视频。
又如,可例如基于针对特征所分析的总资产数来归一化每个特征的值。假设N=100指示资产子集302中有100个总资产,则“太阳”表示为资产的22%或0.22,“自然”表示为资产的18%或0.18,“天空”表示为资产的14%或0.14,而“猫”表示为资产的1%或0.01。换句话讲,对于在所分析的资产子集302的Y个不同资产中出现的任何特征M,归一化值可等于Y/N。然后,这些归一化值可用于计算被确定具有在其中表示的对应特征的媒体库的任何资产202的语义分数。
在生成语义映射310的情况下,可使用语义映射310分析媒体库206的多个资产202以生成多个语义分数。基于语义映射310,可为媒体库206的每个资产202分配表示和预测该资产对用户有意义的程度的语义分数。
在一种方法中,对于语义映射310中的每个特征计算所得的值可用于确定媒体库206中的哪些资产202共享特定所识别的特征并使用上述技术中的任一者基于语义映射310来计算每个资产202对应的语义分数。除了从资产子集302计算所得的那些资产之外,这些语义分数还可预测资产202中的哪些资产将最可能受用户偏爱。
可周期性地诸如每周、每月,或响应于特定触发机制或条件执行语义映射的生成。可周期性地诸如每天、每周、或每月,或响应于一个或多个新资产被存储到媒体库206和/或一个或多个资产从媒体库206中被移除来进行单个资产对应的语义分数的计算。此外,可在非峰值使用时间期间(诸如在通常用户睡眠的时间(例如,在夜间)期间、在用户设备插上电源并且不使用时等)执行这些计算。
在一个示例中,与资产交互也可触发交互分数的重新计算,因为附加交互改变了关于用户的语义映射310和美学偏好。因此,可响应于以下情况触发重新计算:1)用于确定语义映射310的资产子集的特定变化,2)针对资产子集302的特定百分比而变化的交互总数,3)被添加到资产子集302的附加资产(假设特定交互量限定了资产是否应该属于资产子集302)等。
在一种方法中,可生成多个个人美学分数。媒体库206中的一些或全部资产202可生成相应的个人美学分数并且该相应的个人美学分数与资产相关。个人美学分数被配置为当与被认为是在美观上取悦大众的标准(例如,全局美学)相比时,捕获特定资产的美观程度(无论该特定资产为图像、视频、动画图像等)。
全局美学使用算法或算法集来描述可能的最高美学分数(例如,1.0),该算法或算法集尝试确定资产中的视觉方面和线索(例如,照明、对比度、元素的定位、元素的编号等)是否令用户赏心悦目。全局美学表示由领域内的专家确定的最美观的图像或一系列图像(在视频的情况下)。可将全局美学与针对单个资产计算所得的单个美学分数进行比较,以确定特定资产评级与全局标准的差距,例如,与全局美学的偏差。在另一种方法中,媒体库206中的最高评级的资产对应的美学分数可用于归一化媒体库206中的全部其他资产202以提供资产202对应的个人美学分数。使用用于确定全局美学的相同算法或算法集单个地计算针对资产202中的每一个资产的美学分数。然后,确定针对每个资产的全局美学与单个美学之间的差异,或者基于归一化方法针对整个媒体库206计算个人美学分数。
在一种方法中,仅实现个人美学分数满足特定阈值(例如,1.0分制的0.25、0.4、0.5等)的资产才可考虑进一步处理,而不考虑不美观的资产。在不同的方法中,可将个人美学分数与对应的语义分数结合用于对特定资产的加权总体分析。
加权总体分析可将特定权重分配给语义分数,并且将特定权重分配给美学分数,然后将这些分数一起加权平均以实现特定资产对应的加权语义/美学分数。如本领域的技术人员已知的,可使用任何方式确定针对这些分数的特定权重。
除了语义分数和个人美学分数之外,在计算中可利用特定资产的交互分数以用于用户将希望看见特定资产的总体分析。需注意,资产子集302受到分析并且最终有助于选择要呈现给用户的资产。
此外,在一个示例中,可将全局语义分数添加到计算以用于用户将希望看见特定资产的总体分析。例如,在旅行、地标、婚礼、音乐会等期间获取或捕获的资产可具有分配的全局语义分数,无论用户是否与这些资产进行交互,因为它们包括已知受到该用户青睐的某些特征。这允许分析最近添加到媒体库206的新资产,即使用户尚未与之交互也是如此。
一旦从媒体库206确定了第一级最高评级或最佳资产,这些第一级资产就可由其他应用程序、程序、模块等使用,并且当查看媒体库206的资产时显著地显示到用户界面,而不是简单地显示媒体库206的全部资产202的一部分。
在一个示例中,可将过度呈现的特征排除在语义分数计算之外。例如,如果第一级中的大部分资产包括共同特征诸如“母亲”、“天空”或“自然”或一些其他相当普遍的特征,则可将该特征排除在语义映射之外,并且可执行第二轮语义分数计算以清除可能扭曲资产评级的该特定特征的影响。
此外,可通过检测过度呈现的特征并降低包括该特征对资产实现高语义分数的影响,将多样化引入到第一级资产中。当较少图像包括特定特征时,更多样化的特征可包括在第一级资产中。又如,在计算语义分数时,可从考虑中移除精确重复的资产和基本上类似(例如,在捕获时间和内容上类似)但不一定是精确重复的资产。这样,重复且几乎重复的资产将不会呈现在第一级中。然而,重复且基本上类似的资产的存在可指示用户对这些资产的对象有极大的兴趣,并且可调节语义分数、交互分数和/或个人美学分数以反映这种增加的兴趣。
可使用另一种被称为丢弃的方法,在该方法中将包括在语义映射中的特征数量展平,然后可从列表中随机地移除特征。在资产子集302中更频繁出现的特征将最可能被随机选择以被移除。例如,如果存在700个夕阳和150个猫,则最有可能将移除夕阳而不是猫。在将语义映射310展平之后,可重新计算语义分数。这得到一种均衡,这可防止所用模型的过度拟合。
在一个示例中,实现多样化的另一种方法可包括计算包括在具有相同特征(例如,太阳、猫和沙滩)的资产集群中的资产的数量。应注意,来自较小集群尺寸的资产应优先于来自较大集群的资产,并且因此可以通过向来自较小聚类中的资产分配较高语义分数来反映此偏好。例如,给定的五个集群的相应资产数量为10、8、7、5和2,并限制在总共32个资产中仅搜寻十张照片用于显示,在一种方法中,可以从五个集群中的每一个集群中选择两个资产。该方法将优于从第一个集群中选择十个资产。该方法允许更好地控制如何选择与丢弃资产;然而,该过程也在计算上更严格。
例如,如果用户在沙滩上拍摄了一系列日落照片以捕获一张好照片,并且“太阳”、“沙滩”、“波浪”和“风景”都具有高语义值,则可能这一系列照片中的全部照片都将包括在第一级中,从实用的观点来看这将是不可取的,因为用户将不希望看见沙滩日落照片中的全部照片,而仅希望看见最佳的一张照片。因此,在重复且基本上类似的资产集中实现最高语义分数和/或个人美学分数的资产将被纳入考虑以供选择。
在一种方法中,来自媒体库206的第一级资产可为在全部资产202的第一百分比内对语义分数、个人美学分数或两者进行评级的那些资产。第一百分比可为用户特定的或自动生成的,并且可取决于媒体库206中的资产的数量以确保不呈现过多或过少的资产以用于显示为第一级资产,例如10%、8%、5%、2%、1%等。此外,在一个示例中,第一百分比可为可调节的。
在各种方法中,总体分析可单独地或结合其他因素利用交互分数、语义分数、全局语义分数、个人美学分数和/或全局美学分数的任何线性或非线性函数。
在其他方法中,设定数量的资产可包括在第一级中,并且/或者实现预先确定的阈值语义分数(例如,1.0分制的0.4、0.5、0.6、0.75、0.8、0.9等)的资产数量可包括在第一级资产中。
根据另一个示例,可确定来自媒体库206的第二级高评级的资产,该第二级高评级的资产得分不如第一级资产高。该第二级可包括在全部资产202的第一百分比内对语义分数或个人美学分数(而不是两者)进行评级的资产。此外,在另一种方法中,这些第二级资产可在第二百分比内对语义分数和个人美学分数两者进行评级,或在更优选的方法中,可在第二百分比内对语义分数和个人美学分数中的仅一者进行评级。第一百分比小于第二百分比,从而使资产更难以在第一百分比内进行评级并被视为第一级。
一旦确定了第二级资产,响应于确定没有第一级资产对应于用户界面的当前视图(其可基于下文描述的引导),第二级资产中的一个或多个资产可在当前视图中由应用程序、程序、模块等使用,并且当查看媒体库206的资产时显著地显示到用户界面。
第二百分比可为用户特定的、自动生成的和/或可调节的大于第一百分比的百分比,诸如25%、20%、15%、12%、10%等。第一百分比和第二百分比中的任一者可被调节以确保更多或更少的资产在第一级和第二级分组中有资格,以用于媒体库206和可访问来自媒体库206的资产的其他应用程序、程序、模块等。
在其他方法中,设定数量的资产可包括在第二级中,并且/或者实现预先确定的阈值语义分数和个人美学分数(例如,1.0分制的0.4、0.5、0.6、0.75、0.8、0.9等)的资产数量可包括在第二级资产中。
在另一种方法中,在确定要基于语义映射的资产子集之前,应用程序可提供一些指导以搜索要显示的资产。在另一种方法中,该指导可用于确定哪些资产为最高评级或最佳资产。例如,该指导可包括用于资产要遵守的日期、日期范围、主题和/或情绪等。响应于接收到该指导,当计算媒体库206的资产202对应的语义分数时,可将来自语义映射310的最佳地例示该日期、日期范围、主题和/或情绪的特征加权高于其他特征。这使得最佳地遵守指导的资产相对于其他未严格遵守指导的资产能够具有更高的语义分数。
例如,如果指导指示“圣诞”主题,则在计算语义分数时要强调的一些选定特征可包括雪、圣诞树或针叶树、圣诞老人、礼物和礼品等。基于对这些特征进行更高的加权(通过为这些特征分配更高的语义值),最高评级或最佳资产将最可能比其他资产更经常地包括这些所需特征的图像。在另一种方法中,通过降低不例示圣诞的特征的相应的语义值,可去除对这些特征的强调和加权。可能降低了语义值以将其排除在“圣诞”主题之外的特征的一些示例包括太阳、沙滩、其他假期(例如,7月4日、万圣节等)、游泳、棒球等。
又如,如果指导指示“思念”的情绪,则在计算语义分数时要强调的一些选定特征可包括年长的家庭成员、过去发生的重大活动(例如,生日、婚礼、毕业等)、对用户有重要意义的逝者图像、基于时间戳的较旧图像等。
能够被转换为用于语义分数计算加权的任何主题或情绪可用作指导,诸如某些情感(例如,快乐、悲伤、欢快、激动等)、假期、旅行、活动、人物等。应用这些主题或情绪以改变资产的语义分数的过程可根据特定用户、媒体库的尺寸、资产类型(照片与视频)等而变化。
图4示出了媒体库应用程序的示例性日视图400。媒体库应用程序是可以利用来自媒体库的资产的应用程序、模块、软件等的示例。在日视图400中,聚合卡412和日卡418被示出为示例。日视图400可用于显示与多个连续日期(例如,2019年3月12日至15日)相关联的一些或全部资产。日视图400还包括用于在媒体库应用程序的视图(包括例如,年视图402、月视图404、日视图406和全部资产视图408)之间进行切换的导航条410。由于日视图406为当前视图,因此突出显示。
在一种方法中,响应于确定来自聚合周期(例如,3月12日至15日)的单日的任一个的资产不足以在单独的日卡上显示这些日期,日视图400可在聚合卡412上显示策展资产416。换句话讲,媒体库应用程序可确定每天的策展资产的数量,将每天的策展资产的数量与预先确定的日卡阈值(例如,两个、三个、四个、五个策展资产等)进行比较,并确定一个或多个特定日期应当用其自己的日卡表示,还是与其他相邻日期(前一天或后一天)聚合在一起以形成聚合卡以表示在聚合周期期间的资产。
基于确定用户将偏爱关键资产414胜过可用于在聚合周期内显示的其他资产,将该关键资产显著地显示在聚合卡412上。在一个实施方案中,关键资产414的确定可基于可用于在聚合周期内显示的资产对应的交互分数、语义分数、全局语义分数、个人美学分数和/或全局美学分数。
类似地,日卡418显著地呈现了关键资产420,而关键资产422则不那么显著。在一个示例中,可基于语义分数和/或个人美学分数将关键资产420确定为第一级资产,同时基于语义分数和/或个人美学分数将关键资产422确定为第二级资产。
图5示出了用于媒体库应用程序的示例性月视图500。由于月视图404为当前视图,因此突出显示。该视图500可用于显示与月卡502上的特定月份(例如,2019年1月)相关联的关键资产504、506。在一个示例中,关键资产504可具有比关键资产506更高的语义分数和/或个人美学分数,这使得关键资产504比关键资产506更显著地显示。在一种方法中,关键资产504、506中的全部为与特定月份相关联的来自媒体库的资产,基于较高语义分数和/或个人美学分数将这些关键资产确定为表示该月份的最佳资产(例如,最可能是重要的、期望的、值得纪念的、美观的等)。
可基于各种策展资产的语义分数和/或个人美学分数从策展资产中选择关键资产。在一种方法中,可选择一个月中特定周的达到最高交互分数、语义分数、全局语义分数、个人美学分数和/或全局美学分数的策展资产作为关键资产来表示该周。
在一种方法中,每次显示月卡502时,可从为2019年1月确定的全部第一级和/或第二级资产中选择并显示另一个关键资产集。这样,月卡502可以在每次被显示时动态地变化,但仍然仅显示所表示月份的关键资产,这些资产最可能会是从该月份获取的最佳资产。
在月视图500中还示出了与月卡508上的特定月份(例如,2019年3月)相关的关键资产510。这些关键资产510可具有类似的语义分数和/或个人美学分数,并且因此同等显著地显示到显示器。
图6示出了用于媒体库应用程序的示例性年视图600。由于年视图402为当前视图,因此突出显示。该视图600可用于显示与年卡602上的特定年份(例如,2018)相关联的一个或多个关键资产604、606、608。在一种方法中,特定年份(例如,2018)的一个或多个特定月份(例如,四月、六月、七月、十二月)可具有用于年卡602显示的关键资产604、606、608。
在一个示例中,关键资产604和608可具有比关键资产606更高的语义分数和/或个人美学分数,这使得关键资产604、608比关键资产606更显著地显示。在一种方法中,关键资产604、606、608中的全部为与年份相关联的来自媒体库的资产,基于较高语义分数和/或个人美学分数将这些关键资产确定为表示该年份以及该年份中的单月的最佳资产(例如,最可能是重要的、期望的、值得纪念的、美观的等)。
可基于各种策展资产的语义分数和/或个人美学分数从策展资产中选择关键资产。在一种方法中,可选择一年中特定月份的达到最高交互分数、语义分数、全局语义分数、个人美学分数和/或全局美学分数的策展资产作为关键资产,以在年视图600上表示该月份。
年卡602可包括在另一个年卡610上的其他年份(例如,2019),其中该年份的月份(例如,一月、三月)的关键资产612显著地显示在年卡610上。
在一种方法中,上下文行为可用作确定要用于前述的视图中的任一者(日视图、聚合视图、月视图和年视图)显示的资产的因素。例如,如果今天是10月31日,则主题可以为“万圣节”,并且对于与万圣节相关的语义分数评级高的资产可被选择用于显示,如前所述。
示例过程
为了使读者能够清楚地理解本文所述的技术概念,以下过程描述了以特定顺序执行的具体步骤。然而,特定过程的一个或多个步骤可以被重新安排和/或省略,同时保持在本文公开的技术的预期范围内。此外,可以组合、重新组合、重新安排、省略和/或并行执行不同的过程和/或其步骤,以创建也在本文公开的技术的预期范围内的不同处理流程。此外,尽管为了清楚起见,下面的过程可以省略或简要概述本文中公开的技术的一些细节,但是以上段落中描述的细节可以与下面描述的过程步骤组合以获得对这些过程和本文所公开的技术的更完整和全面的理解。
图7为用于确定媒体库的资产的意义的示例性方法700的流程图。使用方法700确定的将对用户具有更大意义的资产可用作关键资产,该关键资产用于在图4至图6中描述的示例性视图中的任一个或本文未具体描述的其他视图中显示。
再次参见图7,在操作702中,计算设备可创建语义映射。语义映射包括从媒体库的资产子集中所识别的特征(例如,在一个示例中所识别的对象,场景和人物),这些特征在来自资产子集的特定百分比或阈值数量的资产中出现。特定百分比或阈值数量的资产可为预先确定的和静态的,或动态的以确保语义映射中的稳健数据集,例如,阈值数量(例如,10、25、50、100、200、500等)的特征可包括在语义映射中。在一些方法中,特定百分比可在从约50%至约5%的范围内,诸如10%。在一种方法中,特定阈值可基于资产子集中的总资产数。在另一种方法中,在资产子集中出现最多的预先确定的数量(例如,10、25、50、100、200等)的特征可包括在语义映射中。
计算设备可以为能够处理和分析媒体库中的图像的任何设备,诸如移动电话、膝上型计算机、台式计算机、服务器等。
在一种方法中,可如图8中描述或使用本文描述的或本领域已知的用于选择资产子集的一些其他方法来确定选自媒体库的资产子集,这些资产子集可提供关于哪些资产对特定用户具有意义的信息。
再次参考图7,在操作704中,计算设备可使用语义映射来分析媒体库的一个或多个资产以生成多个语义分数。根据资产的类型或种类或需要检查的资产的数量,所分析的资产数量可包括媒体库的一些或全部。针对媒体库的每个相应资产生成一个语义分数。可根据先前的描述来执行该分析。
在一个示例中,可基于在相应资产中出现的所识别的对象、场景和人物的数量来确定相应资产对应的语义分数。在一种方法中,语义分数可以本文描述的或本领域已知的多种方式中的一种进行归一化。
在另一个示例中,可以通过或多或少地加权与该特定特征相关联的对应语义值来在计算语义分数时强调或不强调特定特征。
在一个示例中,如果用户已与描绘“猫”的资产交互1000次,而用户已与描绘“狗”的另一个资产交互100次,并且两个资产均被包括在资产子集中,则在该示例中,语义映射可指示分配给描绘“猫”的资产的语义分数将远大于(例如,两倍于、五倍于、十倍于)分配给描绘“狗”的资产的语义分数。
在其他示例中,在计算要分配给使用语义映射分析的资产的语义分数时,用户与资产子集中的资产的交互可能不被使用,或者可能具有更少的影响。对资产的分析导致单个语义分数被分配给媒体库的资产中的至少一些资产。
在操作706中,计算设备可确定媒体库的第一资产(在一些描述中被称为第一级资产)的身份,该第一资产在全部资产的第一百分比内对至少语义分数进行评级。
在一个示例中,第一百分比可包括在全部资产的从约1%至约10%的范围内的百分比,诸如全部资产的约5%。
在操作708中,当查看媒体库的资产时,计算设备可在计算设备的用户界面中显著地呈现第一资产中的至少一个第一资产。用户界面可类似于图4至图6中所示的示例性视图中的任一个或本文未具体描述的其他视图,诸如社交媒体界面、相机界面、视频和照片整理合成界面等。
图8为用于确定用于语义映射的媒体库的资产子集的示例性方法800的流程图。在操作802中,计算设备可获取描述用户与媒体库的多个资产的交互的第一信息。可以直接或间接地采集、接收、跟踪或以其他方式向计算设备提供第一信息。在一个示例中,用户交互可包括任何访问、查看、播放、共享、喜欢、收藏、传输或指示用户已操纵或与特定资产连接的其他方式。
在一个示例中,媒体库中的每个相应资产对应的交互分数可基于相应资产被查看的次数、相应资产被播放的次数、每个相应资产是否已被标记为收藏、相应资产被共享给一个或多个其他人的次数等。当计算交互分数时,可单独地或结合其他类型的交互考虑这些交互中的一些或全部。
此外,在一个示例中,比起与较大组的其他资产共享相应资产,单独地或与较小组的其他资产共享相应资产增加了更多对应的交互分数。例如,比起当用户返回家中时自动共享在旅行中拍摄的照片和视频集,单独共享一张照片更能说明用户偏爱该图像胜过其他图像。前一个动作指示用户在选择要共享的特定照片时的想法,而后一个动作可能几乎是敷衍地执行,根本没想太多。
根据一种方法,响应于相应资产被显示在计算设备的用户界面上预先确定的时间量(例如1秒、2秒、5秒、8秒等)可确定要被查看的相应资产。在另一种方法中,用户动作(诸如用光标悬停在资产上,选择资产等)可用于确定何时查看过该资产。
在操作804中,计算设备可基于第一信息生成多个交互分数。针对媒体库的每个相应资产生成单个交互分数。可根据前述的示例或根据本领域中已知的另一种方法来计算交互分数。
在操作806中,计算设备可确定媒体库的多个资产中的哪些资产构成资产子集。该确定可基于在操作804中计算所得的交互分数。例如,具有最高交互分数的资产可包括在资产子集中。
根据一种方法,第一信息可描述用户与媒体库的多个资产在最近一段时间内发生过的交互。用于收集第一信息的时间段可由用户选择或自动确定,以提供用户近期活动的快照,诸如过去1年、过去6个月、过去3个月、过去6周、过去1个月、过去2周等。
在一个示例中,可针对媒体库的一些或全部资产生成个人美学分数。针对媒体库的每个相应资产生成一个个人美学分数。可根据本文描述的示例,基于全局美学,并且/或者根据生成媒体库的资产对特定用户而言赏心悦目或有趣的程度的单个确定的任何其他已知方法来生成个人美学分数。
在一种方法中,当利用个人美学分数时,媒体库的第一资产可在全部资产的第一百分比内对语义分数和个人美学分数进行评级。
在另一种方法中,计算设备可确定媒体库的第二资产,该第二资产在全部资产的第一百分比内对语义分数或个人美学分数(但不是两者)进行评级,并且在第二百分比内对语义分数和个人美学分数进行评级。在确定媒体库的评级略低于第一资产的第二资产之后,可当第一资产不可用时使用这些第二资产。例如,响应于确定没有第一资产对应于用户界面的当前视图,计算设备可在计算设备的用户界面中显著地呈现第二资产中的至少一个第二资产。
在特定示例中,第一百分比可包括媒体库中的全部资产的从约1%至约10%的范围,诸如全部资产的5%,并且第二百分比可包括媒体库中的全部资产的从约5%至约25%的范围,诸如全部资产的15%。在该示例中,第二百分比大于第一百分比,例如,第一百分比<第二百分比。
图9为用于根据主题确定要显示的最佳资产的示例性方法的流程图。在操作902中,计算设备可获取描述用户与媒体库的多个资产的交互的第一信息。可以直接或间接地采集、接收、跟踪或以其他方式向计算设备提供第一信息。在一个示例中,用户交互可包括任何访问、查看、播放、共享、喜欢、收藏、传输或指示用户已操纵或与特定资产连接的其他方式。
计算设备可以为能够处理和分析媒体库中的图像的任何设备,诸如移动电话、膝上型计算机、台式计算机、服务器等。
在一个示例中,媒体库中的每个相应资产对应的交互分数可基于相应资产被查看的次数、相应资产被播放的次数、每个相应资产是否已被标记为收藏、相应资产被共享给一个或多个其他人的次数等。当计算交互分数时,可单独地或结合其他类型的交互考虑这些交互中的一些或全部。
在操作904中,计算设备可基于第一信息生成多个交互分数。针对媒体库的每个相应资产生成单个交互分数。可根据前述的示例或根据本领域中已知的另一种方法来计算交互分数。
在操作906中,计算设备可确定媒体库的多个资产中的哪些资产构成用于生成语义映射的资产子集。该确定可基于在操作904中计算所得的交互分数。例如,具有最高交互分数的资产可包括在资产子集中。
根据一种方法,第一信息可描述用户与媒体库的多个资产在最近一段时间内发生过的交互。用于收集第一信息的时间段可由用户选择或自动确定,以提供用户近期活动的快照,诸如过去1年、过去6个月、过去3个月、过去6周、过去1个月、过去2周等。
在操作908中,计算设备可基于主题创建语义映射。语义映射包括从选自媒体库中的资产子集中所识别的特征。包括在语义映射中的所选特征(例如,在一个示例中所识别的对象、场景和人物)在来自资产子集的特定百分比或阈值数量的资产中出现。特定百分比或阈值数量的资产可为预先确定的和静态的,或动态的以确保语义映射中的稳健数据集,例如,阈值数量(例如,10、25、50、100、200、500等)的特征可包括在语义映射中。在一些方法中,特定百分比可在从约50%至约5%的范围内,诸如10%。在一种方法中,特定阈值可基于资产子集中的总资产数。在另一种方法中,在资产子集中出现最多的预先确定的数量(例如,10、25、50、100、200等)的特征可包括在语义映射中。
主题可由计算设备经由用户输入接收,可基于可用于计算设备的数据或信息诸如当前日期、当前时间、基于最近与其他应用程序的交互的用户的情绪等自动选择。主题可用于定制包括在语义映射中的特征以及此类特征的包括或排除如何影响特定资产的语义分数。
例如,如果主题为“快乐”,那么来自丧葬、自然灾害或其他忧郁事件的图像将无法实现高语义分数,即使在这些图像中充分表示了在资产子集中最常见的其他特征也是如此。相比之下,派对、微笑和跳舞的图像可以接收更高的语义分数,只要在这些图像中充分表示了在资产子集中最常见的其他特征。
在操作910中,计算设备可生成媒体库的一些或全部资产对应的多个个人美学分数。根据所需的主题,可生成基于语义分数的最高评级的资产集、资产子集或可使用个人美学分数来更好地分析的一些其他资产组(诸如在被使用的阈值上或被排除显示的那些资产)对应的个人美学分数。
针对媒体库的每个相应资产生成一个个人美学分数。可根据本文描述的示例,基于全局美学,并且/或者基于所需的主题,根据生成媒体库的资产对特定用户而言赏心悦目或有趣的程度的单个确定的任何其他已知方法来生成个人美学分数。
在操作912中,计算设备可使用语义映射来分析媒体库的一个或多个资产以生成多个语义分数。根据资产的类型或种类或需要检查的资产的数量,所分析的资产数量可包括媒体库的一些或全部。针对媒体库的每个相应资产生成一个语义分数。可根据先前的描述来执行该分析,其中主题是各种资产如何得分的因素。例如,比起具有与主题不相关的内容的资产,具有与主题最紧密对齐的内容的资产将接收更高的语义分数。又如,资产具有负面的或与主题相反的内容(例如,悲伤的内容与快乐的主题、风景照片与家庭主题)。
在一个示例中,可基于在相应资产中出现的所识别的对象、场景和人物的数量来确定相应资产对应的语义分数。在一种方法中,语义分数可以本文描述的或本领域已知的多种方式中的一种进行归一化。在另一个示例中,可以通过或多或少地加权与该特定特征相关联的对应语义值来在计算语义分数时强调或不强调特定特征。
在操作914中,计算设备可向第二应用程序提供语义分数和个人美学分数。第二应用程序可利用每个资产对应的语义分数、个人美学分数、全局语义分数和/或全局美学分数来确定是否应当在第二应用程序中显示相应资产。该确定可基于识别媒体库的第一资产(在一些描述中被称为第一级资产),该第一资产在全部资产的第一百分比内对至少语义分数(以及可能的个人美学分数、全局语义分数和/或全局美学分数)进行评级。
在一个示例中,第一百分比可包括在全部资产的从约1%至约10%的范围内的百分比,诸如全部资产的约5%。又如,可选择所需数量的资产用于显示,诸如如果显示器具有用于GUI中的特定数量的资产的空间,则仅那些选定数量的资产可被选择用于在GUI中显示。
图形用户界面
本公开在上文描述了用于实现各种特征、过程或工作流的各种图形用户界面(GUI)。这些GUI可被呈现在各种电子设备上,包括但不限于膝上型计算机、台式计算机、计算机终端、电视系统、平板电脑、电子书阅读器和智能电话。这些电子设备中的一者或多者可包括触敏表面。触敏表面可处理多个同时的输入点,包括处理与每个输入点的压力、程度或位置相关的数据。此类处理可促进利用多个手指所进行的手势,该手势包括捏合和轻扫。
当本公开指“选择”GUI中的用户界面元素时,这些术语被理解为包括在用户界面元素上方利用鼠标或其他输入设备来点击或“悬停”,或利用一个或多个手指或触笔来在用户界面元素上触摸、轻敲或做手势。用户界面元素可以为虚拟按钮、菜单、选择器、开关、滑动条、刷子、旋钮、缩略图、链接、图标、单选按钮、复选框和用于从用户接收输入或向用户提供反馈的任何其他机构。
隐私
如上所述,本技术的一个方面在于采集和使用来自各种来源的可用数据,以提供媒体库中的资产的行为策展以确定媒体库的关键资产。本公开预期,在一些实例中,该采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身级别相关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于提供资产的行为策展以确定媒体库的关键资产。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和惯例。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,在提供行为策展时,本技术可被配置为允许用户在注册服务期间或其后随时选择参与收集个人信息数据的“选择加入”或“选择退出”。又如,用户可以选择不为目标内容递送服务提供情绪相关联的数据。在另一个示例中,用户可选择限制与情绪相关联的数据被保持的时间长度,或完全禁止开发可用于为显著地显示媒体库的某些资产提供指导的基线情绪配置文件。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据的收集和删除数据就可最小化风险。此外,并且当适用时,包括在某些健康相关的应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低量的个人信息(诸如与用户相关联的设备正被请求的内容、对行为策展过程可用的其他非个人信息或公开可用的信息)来推断偏好,从而选择并向用户呈现媒体库的特定资产。
示例性系统架构
图10为可实现图1至图9的特征和过程的示例性计算设备1000的框图。计算设备1000可包括存储器接口1002、一个或多个数据处理器、图像处理器和/或中央处理单元1004以及外围设备接口1006。存储器接口1002、一个或多个处理器1004和/或外围设备接口1006可以为单独部件,或者可集成到一个或多个集成电路中。计算设备1000中的各种部件可通过一条或多条通信总线或信号线耦接。
传感器、设备和子系统可耦接到外围设备接口1006以促进多个功能。例如,运动传感器1010、光传感器1012和接近传感器1014可耦接到外围设备接口1006以促进取向、照明和接近功能。其他传感器1016也可连接到外围设备接口1006,诸如全球导航卫星系统(GNSS)(例如,GPS接收器)、温度传感器、生物识别传感器、磁力仪或其他感测设备以促进相关的功能。
可利用相机子系统1020和光学传感器1022(例如,电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器)以促进相机功能,诸如记录照片和视频剪辑。相机子系统1020和光学传感器1022(例如,通过执行面部识别分析)可用于收集要在用户认证期间使用的用户图像。
可通过一个或多个无线通信子系统1024来促进通信功能,该一个或多个无线通信子系统可包括射频接收器和射频发射器和/或光学(例如,红外)接收器和光学发射器。通信子系统1024的特定设计与实现可取决于计算设备1000旨在通过其上操作的一个或多个通信网络。例如,计算设备1000可包括设计用于通过GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BluetoothTM网络操作的通信子系统1024。具体地,无线通信子系统1024可包括托管协议,使得设备100可被配置作为其他无线设备的基站。
音频子系统1026可耦接到扬声器1028和麦克风1030以促进支持语音的功能,诸如讲话者识别、语音复制、数字记录和电话功能。音频子系统1026可被配置为促进例如处理语音命令、声纹鉴别和语音认证。
I/O子系统1040可包括触摸表面控制器1042和/或一个或多个其他输入控制器1044。触摸表面控制器1042可耦接到触摸表面1046。触摸表面1046和触摸表面控制器1042可例如使用多种触敏技术中的任一种(触敏技术包括但不限于电容性、电阻性、红外和表面声波技术)以及用于确定与触摸表面1046接触的一个或多个点的其他接近传感器阵列或其他元件来检测接触和运动或其中断。
一个或多个其他输入控制器1044可耦接到其他输入/控制设备1048,诸如一个或多个按钮、摇臂开关、拇指滚轮、红外端口、USB端口和/或指针设备诸如触笔。一个或多个按钮(未示出)可包括用于扬声器1028和/或麦克风1030的音量控制的增大/减小按钮。
在一个具体实施中,将按钮按下第一持续时间可解除触摸表面1046的锁定;并且将按钮按下比第一持续时间长的第二持续时间可打开或关闭计算设备1000的电源。将按钮按下第三持续时间可激活语音控制或语音命令、使用户能够向麦克风1030中说出命令的模块,以使设备执行所说的命令。用户能够定制按钮中的一个或多个按钮的功能。例如,触摸表面1046还可用于实现虚拟或软按钮和/或键盘。
在一些具体实施中,计算设备1000可呈现记录的音频和/或视频文件,诸如MP3、AAC和MPEG文件。在一些具体实施中,计算设备1000可包括MP3播放器(诸如iPodTM)的功能。
存储器接口1002可耦接到存储器1050。存储器1050可包括高速随机存取存储器和/或非易失性存储器,诸如一个或多个磁盘存储设备、一个或多个光学存储设备和/或闪存存储器(例如,NAND、NOR)。存储器1050可存储操作系统1052,诸如Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS,或嵌入式操作系统诸如VxWorks。
操作系统1052可包括用于处理基础系统服务以及用于执行硬件相关任务的指令。在一些具体实施中,操作系统1052可以为内核(例如,UNIX内核)。在一些具体实施中,操作系统1052可包括用于执行语音认证的指令。例如,操作系统1052可实现行为策展特征,如参考图1至图9描述。
存储器1050也可存储通信指令1054以促进与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器的通信。存储器1050可包括促进图形用户界面处理的图形用户界面指令1056;促进与传感器相关的处理和功能的传感器处理指令1058;促进与电话相关的过程和功能的电话指令1060;促进与电子消息处理相关的过程和功能的电子消息处理指令1062;促进与网页浏览相关的过程及功能的网页浏览器指令1064;促进与媒体处理相关的过程和功能的媒体处理指令1066;促进与GNSS和导航相关的过程和指令的GNSS/导航指令1068;和/或促进与相机相关的过程和功能的相机指令1070。
存储器1050可存储软件指令1072以促进其他过程和功能,诸如参考图1至图9描述的行为策展过程和功能。
存储器1050也可存储其他软件指令1074,诸如促进与网络视频相关的过程和功能的网络视频指令;和/或促进与网络购物相关的过程和功能的网络购物指令。在一些具体实施中,媒体处理指令1066被划分为音频处理指令和视频处理指令以分别用于促进与音频处理相关的过程和功能以及与视频处理相关的过程和功能。
上面标识的指令和应用程序中的每一者均可与用于执行上述一个或多个功能的指令集对应。这些指令不需要作为独立软件程序、进程或模块来实现。存储器1050可包括附加指令或更少指令。此外,可在硬件和/或软件中(包括在一个或多个信号处理和/或专用集成电路中)实现计算设备1000的各种功能。

Claims (20)

1.一种用于媒体资产的行为策展的方法,所述方法包括:
由计算设备基于描述用户与媒体库的多个资产的交互的第一信息来生成多个交互分数,所述媒体库的每个相应资产对应一个交互分数,其中比起将所述相应资产与较大组的其他资产一起共享,将所述相应资产单独地共享或与较小组的其他资产一起共享使对应的交互分数增加更多;
由所述计算设备确定所述媒体库的所述多个资产的资产子集,所述资产子集中的资产具有满足阈值交互分数的相应交互分数;
由所述计算设备识别在所述媒体库的所述资产子集中的特定百分比的资产中出现的对象、场景和人物;
由所述计算设备创建所识别的对象、场景和人物与指示所识别的对象、场景和人物在所述媒体库的所述资产子集中的表示的对应值之间的语义映射;
由所述计算设备使用对应于特定资产中的对象、场景和人物的所述语义映射来分析所述媒体库的所述多个资产中的每个特定资产以生成多个语义分数,所述媒体库的每个相应资产对应一个语义分数;
由所述计算设备确定所述媒体库中对于语义分数排在全部资产的第一百分比内的第一资产;以及
当查看所述媒体库的资产时,由所述计算设备在所述计算设备的用户界面中显著地呈现所述第一资产中的至少一个第一资产。
2.根据权利要求1所述的方法,其中基于在相应资产中出现的所识别的对象、场景和人物的数量来确定所述相应资产的语义分数。
3.根据权利要求1所述的方法,还包括:
由所述计算设备获取所述第一信息,
其中所述第一信息描述用户与所述媒体库的所述多个资产在最近一段时间内发生的交互。
4.根据权利要求3所述的方法,其中对于所述媒体库中的每个相应资产,所述交互分数基于所述相应资产被查看的次数、所述相应资产被播放的次数、每个相应资产是否已被标记为收藏以及所述相应资产被共享给一个或多个其他人的次数。
5.根据权利要求4所述的方法,其中响应于所述相应资产被显示在所述计算设备的所述用户界面上达预先确定的时间量,所述相应资产被确定为被查看。
6.根据权利要求1所述的方法,还包括:
由所述计算设备生成多个个人美学分数,所述媒体库的每个相应资产对应一个个人美学分数,
其中所述媒体库的所述第一资产对于语义分数和个人美学分数排在全部资产的所述第一百分比内。
7.根据权利要求6所述的方法,还包括:
由所述计算设备确定所述媒体库的第二资产,所述第二资产对于语义分数或个人美学分数排在全部资产的所述第一百分比内,并且对于语义分数和个人美学分数排在第二百分比内,其中所述第一百分比小于所述第二百分比;以及
响应于确定没有第一资产对应于所述用户界面的当前视图,由所述计算设备在所述计算设备的所述用户界面中显著地呈现所述第二资产中的至少一个第二资产。
8.根据权利要求7所述的方法,其中相应资产的个人美学分数基于全局美学,其中所述第一百分比包括全部资产的5%,并且其中所述第二百分比包括全部资产的15%。
9.一种用于媒体资产的行为策展的系统,所述系统包括:
一个或多个处理器;和
非暂态计算机可读介质,所述非暂态计算机可读介质包括一个或多个指令序列,所述一个或多个指令序列当由所述一个或多个处理器执行时使所述一个或多个处理器执行操作,所述操作包括:
基于描述用户与媒体库的多个资产的交互的第一信息来生成多个交互分数,所述媒体库的每个相应资产对应一个交互分数,其中比起将所述相应资产与较大组的其他资产一起共享,
将所述相应资产单独地共享或与较小组的其他资产一起共享使对应的交互分数增加更多;
确定所述媒体库的所述多个资产的资产子集,所述资产子集中的资产具有满足阈值交互分数的相应交互分数;
识别在所述媒体库的所述资产子集中的特定百分比的资产中出现的对象、场景和人物;
创建所识别的对象、场景和人物与指示所识别的对象、场景和人物在所述媒体库的所述资产子集中的表示的对应值之间的语义映射;
使用对应于特定资产中的对象、场景和人物的所述语义映射来分析所述媒体库的所述多个资产中的每个特定资产以生成多个语义分数,所述媒体库的每个相应资产对应一个语义分数;
确定所述媒体库的第一资产,所述第一资产对于语义分数排在全部资产的第一百分比内;以及
当查看所述媒体库的资产时,在所述系统的用户界面中显著地呈现所述第一资产中的至少一个第一资产。
10.根据权利要求9所述的系统,其中基于在相应资产中出现的所识别的对象、场景和人物的数量来确定所述相应资产的语义分数。
11.根据权利要求9所述的系统,其中所述操作还包括:
获取所述第一信息,
其中所述第一信息描述用户与所述媒体库的所述多个资产在最近一段时间内发生的交互。
12.根据权利要求11所述的系统,其中对于所述媒体库中的每个相应资产,所述交互分数基于:
所述相应资产被查看的次数,
所述相应资产被播放的次数,
每个相应资产是否已被标记为收藏,以及
所述相应资产被共享给一个或多个其他人的次数,
其中响应于所述相应资产被显示在所述系统的所述用户界面上达预先确定的时间量,所述相应资产被确定为被查看。
13.根据权利要求9所述的系统,其中所述操作还包括:
生成多个个人美学分数,所述媒体库的每个相应资产对应一个个人美学分数,
其中所述媒体库的所述第一资产对于语义分数和个人美学分数排在全部资产的所述第一百分比内。
14.根据权利要求13所述的系统,其中所述操作还包括:
确定所述媒体库的第二资产,所述第二资产对于语义分数或个人美学分数排在全部资产的所述第一百分比内,并且对于语义分数和个人美学分数排在第二百分比内,其中所述第一百分比小于所述第二百分比;以及
响应于没有第一资产对应于所述媒体库的当前视图,在所述系统的所述用户界面中显著地呈现所述第二资产中的至少一个第二资产,
其中相应资产的个人美学分数基于全局美学,
其中所述第一百分比包括全部资产的5%,并且
其中所述第二百分比包括全部资产的15%。
15.一种用于媒体资产的行为策展的系统,所述系统包括:
一个或多个处理器;和
非暂态计算机可读介质,所述非暂态计算机可读介质包括一个或多个指令序列,所述一个或多个指令序列当由所述一个或多个处理器执行时使所述一个或多个处理器执行操作,所述操作包括:
基于描述用户与媒体库的多个资产的交互的第一信息来生成多个交互分数,所述媒体库的每个相应资产对应一个交互分数,其中比起将所述相应资产与较大组的其他资产一起共享,将所述相应资产单独地共享或与较小组的其他资产一起共享使对应的交互分数增加更多;
确定所述媒体库的所述多个资产的资产子集,所述资产子集中的资产具有满足阈值交互分数的相应交互分数;
识别在所述媒体库的所述资产子集中的特定百分比的资产中出现的对象、场景和人物;
创建所识别的对象、场景和人物与指示所识别的对象、场景和人物在所述媒体库的所述资产子集中的表示的对应值之间的语义映射;
使用对应于特定资产中的对象、场景和人物的所述语义映射来分析所述媒体库的所述多个资产中的每个特定资产以生成多个语义分数,所述媒体库的每个相应资产对应一个语义分数;
生成多个个人美学分数,所述媒体库的每个相应资产对应一个个人美学分数,其中相应资产的个人美学分数基于全局美学;
确定所述媒体库的第一资产,所述第一资产对于至少语义分数排在全部资产的第一百分比内,其中所述第一百分比包括全部资产的5%;以及
当查看所述媒体库的资产时,在所述系统的用户界面中显著地呈现所述第一资产中的至少一个第一资产。
16.根据权利要求15所述的系统,其中基于在相应资产中出现的所识别的对象、场景和人物的数量来确定所述相应资产的语义分数。
17.根据权利要求15所述的系统,其中所述操作还包括:
获取所述第一信息,
其中所述第一信息描述用户与所述媒体库的所述多个资产在最近一段时间内发生的交互。
18.根据权利要求17所述的系统,其中对于所述媒体库中的每个相应资产,所述交互分数基于:
所述相应资产被查看的次数,
所述相应资产被播放的次数,
每个相应资产是否已被标记为收藏,以及
所述相应资产被共享给一个或多个其他人的次数,
其中响应于所述相应资产被显示在所述系统的所述用户界面上达预先确定的时间量,所述相应资产被确定为被查看。
19.根据权利要求15所述的系统,其中所述媒体库的所述第一资产对于语义分数和个人美学分数排在全部资产的所述第一百分比内。
20.根据权利要求19所述的系统,其中所述操作还包括:
确定所述媒体库的第二资产,所述第二资产对于语义分数或个人美学分数排在全部资产的所述第一百分比内,并且对于语义分数和个人美学分数排在第二百分比内,其中所述第一百分比小于所述第二百分比;以及
响应于没有第一资产对应于所述媒体库的当前视图,在所述系统的所述用户界面中显著地呈现所述第二资产中的至少一个第二资产,
其中所述第二百分比包括全部资产的15%。
CN202010361099.3A 2019-05-06 2020-04-30 媒体资产的行为策展 Active CN111901638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310068503.1A CN116028659A (zh) 2019-05-06 2020-04-30 媒体资产的行为策展

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962844048P 2019-05-06 2019-05-06
US62/844,048 2019-05-06
US16/560,159 US11604818B2 (en) 2019-05-06 2019-09-04 Behavioral curation of media assets
US16/560,159 2019-09-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310068503.1A Division CN116028659A (zh) 2019-05-06 2020-04-30 媒体资产的行为策展

Publications (2)

Publication Number Publication Date
CN111901638A CN111901638A (zh) 2020-11-06
CN111901638B true CN111901638B (zh) 2023-02-21

Family

ID=73046410

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310068503.1A Pending CN116028659A (zh) 2019-05-06 2020-04-30 媒体资产的行为策展
CN202010361099.3A Active CN111901638B (zh) 2019-05-06 2020-04-30 媒体资产的行为策展

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310068503.1A Pending CN116028659A (zh) 2019-05-06 2020-04-30 媒体资产的行为策展

Country Status (2)

Country Link
US (3) US11604818B2 (zh)
CN (2) CN116028659A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN114254158B (zh) * 2022-02-25 2022-06-10 北京百度网讯科技有限公司 视频生成方法及其装置、神经网络的训练方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601007A (zh) * 2007-01-07 2009-12-09 苹果公司 与主机设备的按优先级的数据同步
JP2014081957A (ja) * 2007-06-05 2014-05-08 Intellectual Ventures Fund 83 Llc 意味分類装置を利用した自動的なストーリー生成
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法
CN109408185A (zh) * 2018-10-29 2019-03-01 努比亚技术有限公司 图片显示方法、移动终端及计算机可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999063458A1 (fr) * 1998-05-29 1999-12-09 Sony Corporation Systeme generant des informations de preference constatees
US8132219B2 (en) * 2002-06-21 2012-03-06 Tivo Inc. Intelligent peer-to-peer system and method for collaborative suggestions and propagation of media
US8712157B2 (en) * 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment
US9454280B2 (en) 2011-08-29 2016-09-27 Intellectual Ventures Fund 83 Llc Display device providing feedback based on image classification
US8843491B1 (en) * 2012-01-24 2014-09-23 Google Inc. Ranking and ordering items in stream
US8923570B2 (en) * 2012-06-19 2014-12-30 Intel Coporation Automated memory book creation
US20140149427A1 (en) * 2012-11-26 2014-05-29 Nero Ag System and method for tapestry interface scoring
GB2511721A (en) 2012-12-06 2014-09-17 Nec Corp Communication system
US9286325B2 (en) * 2013-05-21 2016-03-15 Xerox Corporation Methods and systems for ranking images using semantic and aesthetic models
EP3132414A4 (en) * 2014-04-16 2017-11-22 Thakur, Ranjeet Global exchange platform for the film industry professionals
US20150347515A1 (en) 2014-05-30 2015-12-03 Apple Inc. Rule-based, preemptive download of digital media assets
US11170037B2 (en) * 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US10841640B2 (en) 2014-11-04 2020-11-17 Comcast Cable Communications, Llc Methods and systems for displaying content based on preference information
US10284916B2 (en) * 2014-11-19 2019-05-07 Comcast Cable Communications, Llc Personalized menus and media content interface
US20160313957A1 (en) * 2015-04-21 2016-10-27 Wandr LLC Real-time event management
US10674214B2 (en) * 2015-08-28 2020-06-02 DISH Technologies L.L.C. Systems, methods and apparatus for presenting relevant programming information
WO2017058826A1 (en) * 2015-09-28 2017-04-06 Google Inc. Sharing images and image albums over a communication network
US10664500B2 (en) 2015-12-29 2020-05-26 Futurewei Technologies, Inc. System and method for user-behavior based content recommendations
CN109478192B (zh) * 2016-06-02 2023-08-29 柯达阿拉里斯股份有限公司 用于提供一种或多种定制的以媒体为中心的产品的方法
US10606887B2 (en) 2016-09-23 2020-03-31 Adobe Inc. Providing relevant video scenes in response to a video search query
US20180096397A1 (en) 2016-10-03 2018-04-05 Pixability, Inc. Methods and Systems for Identifying Cross-Platform Audiences and Optimizing Campaigns
US11070501B2 (en) 2017-01-31 2021-07-20 Verizon Media Inc. Computerized system and method for automatically determining and providing digital content within an electronic communication system
CN108509465B (zh) * 2017-02-28 2022-03-15 阿里巴巴集团控股有限公司 一种视频数据的推荐方法、装置和服务器
US10691740B1 (en) * 2017-11-02 2020-06-23 Google Llc Interface elements for directed display of content data items
US11086931B2 (en) * 2018-12-31 2021-08-10 Audiobyte Llc Audio and visual asset matching platform including a master digital asset

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601007A (zh) * 2007-01-07 2009-12-09 苹果公司 与主机设备的按优先级的数据同步
JP2014081957A (ja) * 2007-06-05 2014-05-08 Intellectual Ventures Fund 83 Llc 意味分類装置を利用した自動的なストーリー生成
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法
CN109408185A (zh) * 2018-10-29 2019-03-01 努比亚技术有限公司 图片显示方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN116028659A (zh) 2023-04-28
US20230195776A1 (en) 2023-06-22
US20240320258A1 (en) 2024-09-26
US12038964B2 (en) 2024-07-16
US11604818B2 (en) 2023-03-14
CN111901638A (zh) 2020-11-06
US20200356589A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN111901638B (zh) 媒体资产的行为策展
US11734723B1 (en) System for providing context-sensitive display overlays to a mobile device via a network
US11049144B2 (en) Real-time image and signal processing in augmented reality based communications via servers
CN102945276B (zh) 生成和更新基于事件的回放体验
CN112088370A (zh) 数字资产搜索用户界面
CN103023965A (zh) 基于事件的媒体分组、回放和共享
US11520465B2 (en) Curated media library
JP7155248B2 (ja) 記憶の協調的回想の適応提示のためのキュー・データ・モデルの実装
US20200379631A1 (en) Displaying Assets in Multiple Zoom Levels of a Media Library
US10909999B2 (en) Music selections for personal media compositions
CN110389759A (zh) 一种目标界面生成方法及装置
Türkman Data as memory: Contemporary memory collection practices in extended interiors
US20240169985A1 (en) System and method for robot initiated personalised conversation with a user
WO2024163975A1 (en) User interfaces for creating journaling entries
CN115438242A (zh) 包容性节日
JP6224308B2 (ja) サーバー装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant