CN117597690A - 用于可定制媒体的混合搜索系统 - Google Patents

用于可定制媒体的混合搜索系统 Download PDF

Info

Publication number
CN117597690A
CN117597690A CN202280046841.9A CN202280046841A CN117597690A CN 117597690 A CN117597690 A CN 117597690A CN 202280046841 A CN202280046841 A CN 202280046841A CN 117597690 A CN117597690 A CN 117597690A
Authority
CN
China
Prior art keywords
item
media content
text
condition
content items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046841.9A
Other languages
English (en)
Inventor
布雷德利·科措普洛斯
何佳玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/447,121 external-priority patent/US11941227B2/en
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN117597690A publication Critical patent/CN117597690A/zh
Pending legal-status Critical Current

Links

Abstract

通过提供混合搜索系统来解决在搜索适合于结合输入文本的可定制媒体内容项时所涉及的减少处理量的技术问题。在一些示例中,混合搜索系统首先执行粗略搜索,以基于与媒体内容项相关联的字符计数条件来确定一行文本是否可以被并入至媒体内容项中。如果粗略搜索产生了指示关于输入文本中包括的特定字符的组合是否可以或不可以并入至媒体内容项中的不确定结果,则在粗略搜索之后执行关于媒体内容项对输入文本的更彻底的评估。

Description

用于可定制媒体的混合搜索系统
优先权声明
本申请要求于2021年6月30日提交的序列号为63/217,030的美国临时申请和于2021年9月8日提交的序列号为17/447,121的美国专利申请的优先权的权益,上述美国临时申请和美国专利申请中的每一个通过引用整体并入本文。
技术领域
本公开内容总体上涉及创建和操纵数字内容。
背景技术
随着基于移动的社交网络系统的普及持续增长,用户越来越多地彼此共享例如电子图像、动画或视频等媒体内容项。这些媒体内容项通常是独特个性化的,并且因此反映了在全球范围内鼓励电子视觉通信的需求。
社交网络系统包括数百万用户。社交网络系统中的每个用户可以在他或她的个人社交网络简档的成员之间或者向社交网络简档外部的个体发送媒体内容项。
附图说明
在附图中,相似的附图标记可以在不同的视图中描述类似的部件,附图不一定按比例绘制。为了容易标识对任何特定元件或动作的讨论,附图标记中的一个最高位数字或多个最高位数字指代该元件被首次引入时所在的图号。在附图中示出了一些非限制性示例,在附图中:
图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
图2是根据一些示例的具有客户端侧功能和服务器侧功能两者的消息收发系统的图解表示。
图3是根据一些示例的如在数据库中维护的数据结构的图解表示。
图4是根据一些示例的消息的图解表示。
图5是根据一些示例的用于访问限制处理的流程图。
图6示出了根据一些示例的混合搜索处理的流程图。
图7是根据一些示例的项选择用户界面的图解表示。
图8是根据一些示例的包括个性化媒体内容项的上下文用户界面的图解表示。
图9是根据一些示例的包括个性化媒体内容项的另外的上下文用户界面的图解表示。
图10是根据一些示例的呈计算机系统形式的机器的图解表示,在该计算机系统内可以执行一组指令以使该机器执行本文所讨论的方法中任何一种或更多种方法。
图11是示出可以在其中实现示例的软件架构的框图。
具体实施方式
接下来的描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中,出于解释的目的,阐述了许多具体细节,以便提供对本发明主题的各种实施方式的理解。然而,对于本领域技术人员来说明显的是,本发明主题的实施方式可以在没有这些具体细节的情况下实施。通常,公知的指令实例、协议、结构和技术不一定详细示出。
在诸如消息收发系统的社交网络系统中,被称为化身的各个用户的数字表示可以以二维或三维形式呈现,并且可以集成到虚拟游戏、消息收发系统或交互式软件应用中。在消息收发系统的后端上设计化身,并且将其存储在图像数据库中。化身可以由消息收发系统访问,以用于个体用户配置,例如,用于添加特征、文本等。
在一个示例中,消息收发系统提供以下化身,其被配置成结合文本短语,并且允许用户通过指定要合并至化身的呈现中的文本来使化身个性化。出于本描述的目的,可以通过指定要并入至化身中的文本来个性化的化身被称为可定制化身。已经被配置成结合由用户提供的文本的化身被称为个性化化身。集成有用户提供的输入(例如字母、单词、短语和表情)的个性化化身可以覆加在媒体内容项(例如照片或视频)的顶部上,可以包括在聊天消息中,可以存储以供将来使用等。
取决于给定化身的文本特征(例如,与化身相关联的文本占位符的大小),不是每个化身都会适合于用户提供的输入文本。例如,如果化身的文本特征指示化身可以包含不超过一行或不长于5个字符的文本,则文本输入拼写“FAREWELL!”不会被认为与该化身匹配。另一方面,如果化身被配置使得可以包含三行文本,每行最多5个字符,则文本输入拼写“FARE THEE WELL!”与化身的文本特征将被认为是匹配的,因为文本输入可以作为“FARE”和“THEE”以及“WELL!”被并入化身中的三行文本中。消息收发系统可以被配置成检测由用户提供的文本输入,并且识别适合于结合文本输入的可定制化身。
通过提供本文所描述的混合搜索系统来解决以下技术问题:在搜索适合于结合由用户提供的文本输入的可定制化身时减少所涉及的处理量,同时保持良好的召回率和精确度。
在一些示例中,混合搜索系统首先执行粗略搜索,以相对于每个可定制化身确定它是否适合结合由用户输入的输入文本,它是否不适合结合由用户输入的文本,或者不确定它是否适合或不适合结合由用户输入的文本。粗略搜索基于将输入文本的字符计数同与单独的化身相关联存储的阈值进行比较。在粗略搜索之后,仅相对于粗略搜索没有产生对用户输入的文本是否可以并入至化身中的明确指示的可定制化身,执行更彻底的搜索。
为了实现混合搜索方法,混合搜索系统将每个可定制化身与一组参数相关联,出于本描述的目的,该组参数被称为字符计数条件(CCC)。CCC包括最小阈值、不确定阈值和最大阈值。最小阈值指示可以并入至可定制化身中的一行文本中的最小字符数。例如,可定制化身可以被配置成要求该行文本不能为空,或者该行应包括至少两个字符。不确定阈值指示在行完全被最大字符(例如,“W”)填充的情况下可以呈现为一行文本的最大字符数。最大阈值指示在行完全被最小字符(例如,“i”)填充的情况下一行文本中可以包括的最大字符数。如果用户输入的文本中的字符计数小于或等于最大字符的最大数量(不确定阈值),则可以肯定的是,该文本可以被并入至可定制化身中的相关联行中。如果用户输入的文本中的字符计数大于最小字符的最大数量(最大阈值),则可以肯定的是,该文本不能被并入至可定制化身中的相关联行中。可定制化身被存储为与数据结构相关联,该数据结构包括化身的标识符、指示可以并入至化身中的文本的行数的值以及与每行相关联的相应CCC。
由混合搜索系统执行的处理可以描述如下。系统检测呈文本形式的用户输入。然后,检测到的输入文本被用于生成拆分选项,该拆分选项包括被分割成一个或更多个行的文本输入的各部分的各种组合。例如,输入文本“Be My Valentine”可以被拆分为以下四个拆分选项(如下面的示例1所示)。
示例1
选项(1)“Be My Valentine”
选项(2)“Be My”和“Valentine”
选项(3)“Be”和“My Valentine”
选项(4)“Be”、“My”和“Valentine”
关于每个拆分选项,混合搜索系统执行粗略搜索,以基于每个可定制化身的CCC将每个可定制化身识别为适合、不适合或不确定。使用示例1中所示的拆分选项,粗略搜索可以将被配置成结合三行文本——第一行CCC是(1,2,4),第二行CCC是(1,4,6),第三行CCC是(1,10,12)——的化身识别为相对于拆分选项(4)适合。可以使这样的化身个性化,以在第一行中包括“Be”,在第二行中包括“My”,并且在第三行中包括“Valentine”。粗略搜索可以将以下化身识别为与拆分选项(4)不适合:具有少于三行的化身;或者其中化身具有三行,但是其中每行的最大阈值为7,这小于单词“Valentine”中的字符数。粗略搜索可以将以下化身识别为关于拆分选项(4)不确定:该化身具有三行,第一行CCC是(1,2,3),第二行CCC是(1,4,5),第三行CCC是(1,8,9)。在这种情况下,第三行的不确定阈值和最大阈值分别为8和9,并且拆分选项(4)中的第三个单词具有9个字符,该单词可能适合也可能不适合文本占位符的第3行,这取决于该单词中字符的特定组合,因为一些字符可能比其他字符宽,并且一些字符可能比其他字符窄。
粗略搜索的结果可以由以下方面来表征:相应的拆分选项相对于给定的可定制化身适合、不适合或不确定。如果基于粗略搜索,为输入文本生成的拆分选项中的至少一个已经被识别为相对于给定的化身适合,则通过以该拆分选项的形式结合输入文本来使化身个性化,并且作为针对用户的选择选项呈现在显示设备上。如果基于粗略搜索,为输入文本生成的所有拆分选项已经被识别为相对于给定的化身不适合,则化身不再被认为是通过输入文本个性化的候选。如果基于粗略搜索,为输入文本生成的拆分选项中没有一个已经被识别为相对于给定的化身适合,并且为输入文本生成的拆分选项中的至少一个已经被识别为相对于给定的化身不确定,则混合搜索系统可以继续进行彻底的搜索,这涉及计算上更昂贵的基于文本的逻辑,以确定拆分选项是否可以被重新表征为适合于被并入至给定的化身中。在一些示例中,基于文本的逻辑可能需要评估不确定拆分选项中的一个或更多个行中的单独的字符的相应字形特征。字形特征包括一行文本中的每个单独字符的字体类型、大小、尺寸、字距和形状中的一个或更多个。
如果基于彻底搜索,拆分选项已经被重新表征为适合于被并入至给定的化身中,则通过以该拆分选项的形式结合输入文本来使化身个性化,并且作为针对用户的选择选项呈现在显示设备上。
当用户选择显示设备上呈现的个性化化身中的一个时,消息收发系统检测该选择,并且作为响应,将所选择的个性化化身包括至上下文用户界面中,该上下文用户界面例如是聊天消息收发用户界面(允许用户通过网络创建、发送和接收消息)、图像编辑用户界面(允许用户编辑先前捕获的图像)等。
将注意到,虽然本文针对可定制化身描述了方法,但是这些方法可以有益地相对于以下任何媒体内容项使用,其可以与字符计数条件相关联并且被配置成结合由用户提供的文本数据。
联网计算环境
图1是示出用于通过网络来交换数据(例如,消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例,多个实例中的每个实例托管包括消息收发客户端104的若干应用。每个消息收发客户端104经由网络106(例如,因特网)通信上耦接至消息收发客户端104的其他实例和消息收发服务器系统108。
消息收发客户端104能够经由网络106与另一消息收发客户端104和消息收发服务器系统108通信并交换数据。在消息收发客户端104之间以及消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如,激活功能的命令)以及有效载荷数据(例如,文本、音频、视频或其他多媒体数据)。
消息收发服务器系统108经由网络106向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端104或由消息收发服务器系统108执行,但是某些功能是位于消息收发客户端104还是消息收发服务器系统108内可以是设计选择。例如,在技术上优选的可能是:最初将某些技术和功能部署在消息收发服务器系统108内,但是后面将该技术和功能迁移至客户端设备102具有足够处理能力的消息收发客户端104。
消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端104接收数据以及对由消息收发客户端104生成的数据进行处理。作为示例,该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体增强和覆加、消息内容持续条件、社交网络信息、实况事件信息以及使用取景器环形闪光灯利用相关联的客户端设备的前置摄像装置捕获的图像和视频。通过经由消息收发客户端104的用户界面(UI)可用的功能来激活和控制消息收发系统100内的数据交换。例如,消息收发客户端104可以呈现显示与客户端设备102一起提供的相机的数字图像传感器的输出的相机视图UI、允许用户通过网络创建、发送和接收消息的聊天消息UI、允许用户编辑图像(例如先前使用相机视图UI捕获的图像)的图像编辑用户界面等。
现在具体地转至消息收发服务器系统108,应用程序接口(API)服务器110耦接至应用服务器112并向应用服务器112提供编程接口。应用服务器112通信地耦接至数据库服务器118,数据库服务器118利于对数据库120的访问,该数据库120存储与由应用服务器112处理的消息相关联的数据。类似地,web服务器124耦接至应用服务器112,并且向应用服务器112提供基于web的接口。为此,web服务器124通过超文本传输协议(HTTP)和若干其他相关协议处理传入的网络请求。
应用程序接口(API)服务器110在客户端设备102与应用服务器112之间接收和发送消息数据(例如,命令和消息有效载荷)。具体地,应用程序接口(API)服务器110提供一组接口(例如,例程和协议),消息收发客户端104可以调用或查询该组接口以激活应用服务器112的功能。应用程序接口(API)服务器110显露由应用服务器112支持的各种功能,包括:帐户注册;登录功能;经由应用服务器112将消息从特定消息收发客户端104发送至另一消息收发客户端104;将媒体文件(例如,图像或视频)从消息收发客户端104发送至消息收发服务器114并用于另一消息收发客户端104的可能访问;媒体数据集合(例如,故事)的设置;检索客户端设备102的用户的朋友列表;检索这样的集合;检索消息和内容;在实体图(例如,社交图)中添加和删除实体(例如,朋友);在社交图中定位朋友;以及打开应用事件(例如,与消息收发客户端104有关)。
应用服务器112托管若干服务器应用和子系统,包括例如消息收发服务器114、图像处理服务器116以及社交网络服务器122。消息收发服务器114实现了若干消息处理技术和功能,特别是与从消息收发客户端104的多个实例接收到的消息中包括的内容(例如,文本和多媒体内容)的聚合和其他处理有关的消息处理技术和功能。如将进一步详细地描述的,来自多个源的文本和媒体内容可以被聚合成内容的集合(例如,被称为故事或库(gallery))。然后,使这些集合对消息收发客户端104可用。在一些示例中,集合可以包括具有覆加的个性化媒体内容项例如包括对应于由用户提供的文本输入的文本的个性化化身的项。鉴于对这样的处理的硬件要求,也可以由消息收发服务器114在服务器侧执行其他处理器和存储器密集型数据处理。
应用服务器112还包括图像处理服务器116,该图像处理服务器116专用于执行各种图像处理操作,通常针对在从消息收发服务器114发送或者在消息收发服务器118处接收的消息的有效载荷内的图像或视频,执行各种图像处理操作。各种图像处理操作中的一些图像处理操作可以由各种AR部件执行,所述AR部件可以由图像处理服务器116托管或支持。在一些示例中,图像处理服务器116被配置成提供本文描述的混合搜索系统的功能,这有助于减少当搜索适合于结合由用户提供的文本输入的可定制媒体内容项时所涉及的处理量,同时保持良好的召回率和精确度。
社交网络服务器122支持各种社交联网功能和服务并使这些功能和服务可用于消息收发服务器114。为此,社交网络服务器122维护和访问数据库120内的实体图306(如图3所示)。社交网络服务器122所支持的功能和服务的示例包括识别消息收发系统100中的与特定用户具有“朋友”关系或该特定用户正在“关注”的其他用户,以及识别特定用户的兴趣和其他实体。
系统架构
图2是示出根据一些示例的关于消息收发系统100的另外的细节的框图。具体地,消息收发系统100被示为包括消息收发客户端104和应用服务器112。消息收发系统100包含若干子系统,这些子系统在客户端侧由消息收发客户端104支持并且在服务器侧由应用服务器112支持。这些子系统包括例如短暂定时器系统202、集合管理系统204、增强系统206和混合搜索系统208。
混合搜索系统208被配置成识别可定制媒体内容项,该可定制媒体内容项可以通过结合由用户提供的文本输入来个性化(如本文所述)。
短暂定时器系统202负责施行由消息收发客户端104和消息收发服务器114对内容进行临时或限时访问。短暂定时器系统202包含若干个定时器,这些定时器基于与消息或消息集合(例如,故事)相关联的持续时间和显示参数来选择性地实现经由消息收发客户端104访问(例如,用于呈现和显示)消息和相关联的内容。下面提供关于短暂定时器系统202的操作的另外的细节。
集合管理系统204负责管理媒体的合集或集合(例如,文本、图像、视频和音频数据的集合)。可以将内容(例如,消息,包括图像、视频、文本和音频)的集合组织成“事件库”或“事件故事”。可以使这样的集合在例如与内容有关的事件的持续时间的指定的时间段内可用。例如,可以在音乐会的持续时间内使与音乐会相关的内容作为“故事”可用。在另外的示例中,集合可以包括使用一个或更多个AR部件生成的内容。在一些示例中,集合中的媒体内容项包括呈个性化媒体内容项例如个性化化身形式的覆加增强数据。集合管理系统204还可以负责向消息收发客户端104的用户界面发布提供特定集合存在的通知的图标。
此外,集合管理系统204还包括允许集合管理器管理和策展内容的特定集合的策展接口212。例如,策展接口212使得事件组织者能够策展与特定事件相关的内容的集合(例如,删除不适当的内容或冗余消息)。另外,集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地策展内容集合。在某些示例中,可以为将用户生成的内容包括到集合中向用户支付补偿。在这样的情况下,集合管理系统204进行操作以自动地为使用用户的内容向这样的用户进行支付。
增强系统206提供使得用户能够增强(例如,注释或以其他方式修改或编辑)可能与消息相关联的媒体内容的各种功能。例如,增强系统206提供与生成和发布用于由消息收发系统100处理的消息的媒体覆加(media overlay)有关的功能。媒体覆加可以存储在数据库120中并且通过数据库服务器118进行访问。
增强系统206提供使得用户能够增强(例如,注释或以其他方式修改或编辑)与消息相关联的媒体内容的各种功能。例如,增强系统206提供与生成和发布用于由消息收发系统100处理的消息的媒体覆加有关的功能。增强系统206基于客户端设备102的地理定位可操作地向消息收发客户端104提供媒体覆加或增强(例如,图像过滤器)。在另一示例中,增强系统206基于诸如客户端设备102的用户的社交网络信息的其他信息可操作地向消息收发客户端104提供媒体覆加。媒体覆加可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、标志、动画和声音效果。视觉效果的示例包括颜色覆加。
音频和视觉内容或视觉效果可以应用于客户端设备102处的媒体内容项(例如,照片)。例如,媒体覆加可以包括文本或图像,其可以覆加在由客户端设备102拍摄的照片的顶部上,或者包括在从执行一个客户端设备的消息客户端发送至在另一客户端设备上执行的消息客户端的消息中。媒体覆加可以被配置成结合由用户提供的定制文本,并且可以使用本文描述的关于混合搜索系统的方法来识别为适合或不适合于结合输入文本。
在另一示例中,媒体覆加包括定位标识覆加(例如,威尼斯海滩)、实况事件的名称或商家名称覆加(例如,海滩咖啡馆)。在另一示例中,增强系统206使用客户端设备102的地理定位来标识包括在客户端设备102的地理定位处的商家的名称的媒体覆加。媒体覆加可以包括与商家相关联的其他标记。媒体覆加可以存储在数据库126中并且通过数据库服务器118进行访问。
在在一些示例中,增强系统206被配置成提供对AR部件的访问,所述AR部件可以使用适合于应用开发的编程语言例如JavaScript或Java来实现,并且在消息收发服务器系统中由相应的AR部件标识符来标识。AR部件可以包括或者引用与图像修改、过滤、媒体覆加、变换等对应的各种图像处理操作。这些图像处理操作可以提供真实世界环境的交互体验,其中,由数字图像传感器或摄像装置捕获的对象、表面、背景、照明等由计算机生成的感知信息增强。在这种情况下,AR部件包括将选定的增强现实体验应用于图像或视频馈送所需的数据、参数和其他资产的集合。
在一些实施方式中,AR部件包括被配置成以某种方式修改或变换在客户端设备的图形用户界面(GUI)内呈现的图像数据的模块。例如,可以使用AR部件数据对内容图像执行复杂的添加或变换,例如在视频剪辑中向人的头部添加兔子耳朵、向视频剪辑添加具有背景颜色的浮动心、改变视频剪辑内的人的特征的比例、或者许多其他这样的变换。这包括实时修改以及对所存储的内容的修改两者,所述实时修改在使用与客户端设备相关联的摄像装置捕获图像并且然后在客户端设备的屏幕上显示图像时利用AR部件修改对图像进行修改,所述所存储的内容例如是可以使用AR部件进行修改的库中的视频剪辑。
可以由AR部件提供的各种增强现实功能包括检测对象(例如,脸、手、身体、猫、狗、表面、对象等)、当这些对象离开、进入视频帧中的视场以及在视频帧中的视场周围移动时对其进行跟踪、以及在跟踪这些对象时对其进行修改或变换。在各种实施方式中,可以使用用于实现这样的变换的不同的方法。例如,一些实施方式可以涉及生成一个或多个对象的3D网格模型,并且在视频内使用模型的变换和动画纹理来实现变换。在其他实施方式中,可以使用对对象上的点的跟踪来将图像或纹理放置在所跟踪的位置处,该图像或纹理可以是二维或三维的。在另外的实施方式中,可以使用视频帧的神经网络分析来将图像、模型或纹理放置在内容(例如,图像或视频的帧)中。因此,AR部件数据既指用于在内容中创建变换的图像、模型和纹理,也指利用对象检测、跟踪和放置实现这样的转换所需要的附加建模和分析信息。
数据架构
图3是示出根据某些示例的可以存储在消息收发服务器系统108的数据库120中的数据结构300的示意图。虽然数据库120的内容被示为包括若干表,但是应当理解,数据可以存储在其他类型的数据结构中(例如,作为面向对象的数据库)。
数据库120包括存储在消息表302内的消息数据。对于任何特定的一条消息,该消息数据包括至少消息发送者数据、消息接收方(或接收者)数据和有效载荷。消息的有效载荷可以包括使用取景器环形闪光灯生成的内容。下面参照图4描述关于可以被包括在消息中并且被包括在存储在消息表302中的消息数据内的信息的其他细节。
实体表304存储实体数据,并且(例如,参考地)链接至实体图306和简档数据308。在实体表304内针对其维护记录的实体可以包括个人、公司实体、组织、对象、地点、事件等。无论实体类型如何,消息收发服务器系统108存储关于其的数据的任何实体可以是识别的实体。每个实体被提供有唯一标识符以及实体类型标识符(未示出)。
实体图306存储关于实体之间的关系和关联的信息。仅举例而言,这样的关系可以是社交的、职业的(例如,在共同的公司或组织工作)、基于兴趣的或基于活动的。参考由AR部件提供的功能,实体图306存储下述信息:该信息可以在AR部件被配置成允许使用除了控制相关联的客户端设备的用户的肖像图像之外的用户的肖像图像来修改目标媒体内容对象的情况下,用于确定连接至表示控制相关联的客户端设备的用户的简档的另外的简档。如上面所提及的,用户的肖像图像可以存储在消息收发系统中表示用户的用户简档中。
简档数据308存储关于特定实体的多种类型的简档数据。基于由特定实体指定的隐私设置,简档数据308可以被选择性地使用并呈现给消息收发系统100的其他用户。在实体是个人的情况下,简档数据308包括例如用户名、电话号码、地址、设置(例如,通知和隐私设置)、以及用户选择的形象化表示(或这样的形象化表示的集合)。然后,特定用户可以将这些形象化表示中的一个或更多个形象化表示选择性地包括在经由消息收发系统100传送的消息的内容内以及在由消息收发客户端104向其他用户显示的地图界面上。形象化表示的集合可以包括“状态形象化表示”,其呈现用户可以选择在特定时间传达的状态或活动的图解表示。
数据库120还在增强表310中存储增强数据。增强数据与视频(其数据存储在视频表314中)和图像(其数据存储在图像表316中)相关联并应用于视频和图像。在一些示例中,增强数据由包括AR部件的各种AR部件使用。增强数据的示例是可以在AR部件中使用以实现图像变换的增强现实(AR)工具。图像变换包括在使用客户端设备102的数字图像传感器捕获图像(例如,视频帧)时修改该图像的实时修改。经修改的图像与所述修改一起显示在客户端设备102的屏幕上。
故事表312存储关于消息和相关联的图像、视频或音频数据的集合的数据,这些数据被编译成集合(例如,故事或库)。特定集合的创建可以由特定用户(例如,在实体表304中维护其记录的每个用户)发起。用户可以以已经由该用户创建和发送/广播的内容集合的形式创建“个人故事”。为此,消息收发客户端104的用户界面可以包括用户可选择的图标,以使得发送用户能够将特定内容添加到他或她的个人故事。在一些示例中,故事表312存储使用取景器环形闪光灯创建的一个或更多个图像或视频。
如上面所提及的,视频表314存储视频数据,在一个示例中,该视频数据与其记录维护在消息表302内的消息相关联。类似地,图像表316存储可能与其消息数据存储在实体表304中的消息相关联的图像数据。在一些示例中,图像表316存储例如可定制化身的可定制覆加。实体表304可以使来自增强表310的各种增强与存储在图像表316和视频表314中的各种图像和视频相关联。
数据通信架构
图4是示出根据一些示例的消息400的结构的示意图,消息400由消息收发客户端104生成,以用于传送至另外的消息收发客户端104或消息收发服务器114。特定消息400的内容用于填充存储在数据库120内的消息表302,该消息表302可由消息收发服务器114访问。类似地,消息400的内容被存储在存储器中作为客户端设备102或应用服务器112的“传输中”或“飞行中”数据。在一些示例中,消息400的内容包括使用AR部件创建的图像或视频。消息400被示出为包括以下示例组成部分:
·消息标识符402:标识消息400的唯一标识符。
·消息文本有效载荷404:要由用户经由客户端设备102的用户界面生成并且包括在消息400中的文本。
·消息图像有效载荷406:由客户端设备102的摄像装置部件捕获的或从客户端设备102的存储器部件检索到的并且包括在消息400中的图像数据。用于发送或接收的消息400的图像数据可以存储在图像表316中。在一些示例中,图像数据可以包括个性化图像,例如包括与用户输入的文本相对于的文本的个性化化身。
·消息视频有效载荷408:由摄像装置部件捕获的或从客户端设备102的存储器部件检索到的并且包括在消息400中的视频数据。用于发送或接收的消息400的视频数据可以存储在视频表314中。视频数据可以包括使用取景器环形闪光灯生成的内容。
·消息音频有效载荷410:由麦克风捕获的或从客户端设备102的存储器部件检索到的并且包括在消息400中的音频数据。
·消息增强数据412:表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410的增强的增强数据(例如,过滤器、贴纸或其他注释或增强)。用于发送或接收的消息400的增强数据可以存储在增强表310中。
·消息持续时间参数414:指示消息的内容(例如,消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)将经由消息收发客户端104呈现给用户或使其可由用户访问的以秒为单位的时间量的参数值。
·消息地理定位参数416:与消息的内容有效载荷相关联的地理定位数据(例如,纬度坐标和经度坐标)。在有效载荷中可以包括多个消息地理定位参数416值,这些参数值中的每个参数值与关于包括在内容中的内容项(例如,消息图像有效载荷406内的特定图像,或消息视频有效载荷408中的特定视频)相关联。
·消息故事标识符418:标识与消息400的消息图像有效载荷406中的特定内容项相关联的一个或更多个内容集合(例如,在故事表312中标识的“故事”)的标识符值。例如,可以使用标识符值将消息图像有效载荷406内的多个图像各自与多个内容集合相关联。
·消息标签420:每个消息400可以用多个标签来标记,这些标签中的每个标签都指示消息有效载荷中包括的内容的主题。例如,在消息图像有效载荷406中包括的特定图像描绘动物(例如,狮子)的情况下,可以在消息标签420内包括指示相关动物的标签值。标签值可以基于用户输入手动地生成,或者可以使用例如图像识别自动地生成。
·消息发送者标识符422:指示在其上生成消息400以及从其发送消息400的客户端设备102的用户的标识符(例如,消息收发系统标识符、电子邮件地址或设备标识符)。
·消息接收者标识符424:指示消息400寻址到的客户端设备102的用户的标识符(例如,消息收发系统标识符、电子邮件地址或设备标识符)。
消息400的各种组成部分的内容(例如,值)可以是指向表中的存储内容数据值的位置的指针。例如,消息图像有效载荷406中的图像值可以是指向图像表316内的位置(或位置的地址)的指针。类似地,消息视频有效载荷408内的值可以指向存储在视频表314内的数据,存储在消息增强412内的值可以指向存储在增强表310中的数据,存储在消息故事标识符418内的值可以指向存储在故事表312中的数据,以及存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表304中的用户记录。
基于时间的访问限制架构
图5是示出访问限制处理500的示意图,根据该访问限制处理,对内容(例如,短暂消息502以及相关联的数据的多媒体有效载荷)或内容集合(例如,短暂消息组504)的访问可以是时间受限的(例如,短暂的)。在一些示例中,短暂消息502的内容包括使用取景器环形闪光灯创建的图像或视频。
短暂消息502被示出为与消息持续时间参数506相关联,该消息持续时间参数506的值确定将由消息收发客户端104向短暂消息502的接收用户显示短暂消息502的时间量。在一个示例中,取决于发送用户使用消息持续时间参数506指定的时间量,可由接收用户查看短暂消息502最多长达10秒。在一些示例中,短暂消息502可以包括个性化图像,例如包括与用户输入的文本相对应的文本的个性化化身。
消息持续时间参数506和消息接收者标识符424被示出为是消息定时器512的输入,该消息定时器512负责确定向由消息接收者标识符424标识的特定接收用户示出短暂消息502的时间量。特别地,仅将短暂消息502向相关的接收用户示出由消息持续时间参数506的值确定的时间段。消息定时器512被示出为向更一般化的短暂定时器系统202提供输出,该短暂定时器系统202负责向接收用户显示内容(例如,短暂消息502)的总体定时。
在图5中短暂消息502被示出为包括在短暂消息组504(例如,个人故事或事件故事中的消息的集合)内。短暂消息组504具有相关联的组持续时间参数508,该组持续时间参数508的值确定短暂消息组504被呈现并且可由消息收发系统100的用户访问的持续时间。例如,组持续时间参数508可以是音乐会的持续时间,其中,短暂消息组504是与该音乐会有关的内容的集合。可替选地,用户(拥有用户或者策展者用户)可以在执行短暂消息组504的设置和创建时指定组持续时间参数508的值。
另外,短暂消息组504内的每个短暂消息502具有相关联的组参与参数510,该组参与参数510的值确定在短暂消息组504的上下文内将可访问短暂消息502的持续时间。因此,在短暂消息组504本身根据组持续时间参数508到期之前,特定的短暂消息组504可以“到期”并且在短暂消息组504的上下文内变得不可访问。组持续时间参数508、组参与参数510和消息接收者标识符424各自向组定时器514提供输入,该组定时器514首先在操作上确定短暂消息组504的特定短暂消息502是否将被显示给特定接收用户,并且如果是,则确定显示多长时间。注意,由于消息接收者标识符424,短暂消息组504也知道特定接收用户的身份。
因此,组定时器514在操作上控制相关联的短暂消息组504以及包括在短暂消息组504中的单独的短暂消息502的总使用期限。在一个示例中,短暂消息组504内的每个短暂消息502保持可查看和可访问达由组持续时间参数508指定的时间段。在另外的示例中,在短暂消息组504的上下文内,某个短暂消息502可以基于组参与参数510而到期。注意,即使在短暂消息组504的上下文内,消息持续时间参数506也仍然可以确定向接收用户显示特定短暂消息502的持续时间。因此,消息持续时间参数506确定向接收用户显示特定短暂消息502的持续时间,而不管接收用户是在短暂消息组504的上下文内还是在短暂消息组504的上下文外查看该短暂消息502。
此外,短暂定时器系统202可以基于确定特定的短暂消息502已经超过相关联的组参与参数510而在操作上从短暂消息组504中移除该特定的短暂消息502。当发送用户已经建立了从发布起24小时的组参与参数510时,短暂定时器系统202将在指定的24小时之后从短暂消息组504中移除相关的短暂消息502。当针对短暂消息组504内的每个短暂消息502的组参与参数510已经到期时,或者当短暂消息组504本身根据组持续时间参数508已经到期时,短暂定时器系统202也进行操作以移除短暂消息组504。
在某些使用情况下,特定短暂消息组504的创建者可以指定无限期的组持续时间参数508。在这种情况下,短暂消息组504内最后剩余的短暂消息502的组参与参数510的到期将确定短暂消息组504本身何时到期。在这种情况下,添加至短暂消息组504的具有新的组参与参数510的新的短暂消息502有效地将短暂消息组504的寿命延长至等于组参与参数510的值。
响应于短暂定时器系统202确定短暂消息组504已经到期(例如,不再是可访问的),短暂定时器系统202与消息收发系统100(以及例如,特别是消息收发客户端104)进行通信,以使与相关的短暂消息组504相关联的标记(例如,图标)不再显示在消息收发客户端104的用户界面内。类似地,当短暂定时器系统202确定特定短暂消息502的消息持续时间参数506已经到期时,短暂定时器系统202使消息收发客户端104不再显示与短暂消息502相关联的标记(例如,图标或文本标识)。
处理流程和用户界面
图6示出了根据一些示例的混合搜索处理600的流程图。虽然处理600的某些操作可以被描述为由某些设备执行,但是在不同的示例中,不同的设备或设备的组合可以执行这些操作。例如,下面描述的操作可以由客户端设备102执行,或者与服务器侧计算设备(例如,消息收发服务器系统108)或第三方服务器计算设备结合来执行。
在操作610处,该方法以以下操作开始:访问可以由用户提供的文本输入。文本输入与字符计数相关联。操作620包括将来自存储在数据库中的媒体内容项中的每个项识别为相对于文本输入适合、不适合或不确定。将媒体内容项识别为不确定指示该项适合于匹配(fit)第一尺寸(例如最小尺寸)的字符计数,而不适合于匹配第二尺寸(较大尺寸)的字符计数。
如上所述,每个可定制媒体内容项与包括第一条件、第二条件和第三条件的CCC相关联。对于给定的媒体内容项,第一条件的值是最小阈值,第二条件的值是不确定阈值(指示如果行完全被最大字符填充,可以作为一行文本呈现的最大字符数),并且第三条件的值是最大阈值(指示如果行完全被最小字符填充,可以包括在一行文本中的最大字符数)。
例如,假设文本输入是字符计数为5的“HELLO”。还假设可定制媒体内容项与CCC(1,4,7)相关联,这指示它可以结合多达7个小字符或文本(例如“iiiiiii”),但不超过4个大字符,使得文本不能大于“WWWW”。虽然“HELLO”的字符计数小于7,但是在不评估“HELLO”中各个字符的字形特征的情况下,不能肯定地确定这样的输入文本可以并入在可定制媒体内容项中。
如上所述,通过执行粗略搜索将媒体内容项识别为相对于输入文本适合包括:确定输入文本的字符计数大于与第一条件相关联的值并且小于与第三条件相关联的值。将媒体内容项识别为不适合包括:确定输入文本的字符计数大于与第三条件相关联的值。将媒体内容项识别为不确定包括:确定输入文本的字符计数大于与第二条件相关联的值并且小于与第三条件相关联的值。
操作630包括将文本匹配逻辑应用于关于被识别为不确定的每个媒体内容项的文本输入,以便澄清不确定性并且将相应项识别为适合或不适合。应用文本匹配逻辑包括相对于可定制媒体内容项评估单独的字符的字形特征。
如上所述,可定制媒体内容项可以适合于结合一行或更多行文本,并且可以与数据结构相关联地存储,该数据结构包括针对化身的标识符、指示可以并入至化身中的文本行数的值(行计数)、以及与每行相关联的相应CCC,即一组行计数文本呈现条件。该组行计数文本呈现条件中的每个成员包括第一条件、第二条件和第三条件。在一些示例中,输入文本用于生成拆分选项,其中每个选项包括被拆分成一个或更多个行的文本输入。如果确定可定制媒体内容项可以结合至少一个拆分选项,则可定制媒体内容项被识别为相对于文本输入适合。如果基于与可定制媒体内容项相关联的CCC,确定可定制媒体内容项不能结合任何一个拆分选项,则可定制媒体内容项被识别为相对于文本输入不适合。
如果基于与可定制媒体内容项相关联的CCC确定(1)没有一个拆分选项,每行中的字符数小于或等于来自CCC的相关联的第二条件的值(最大字符的最大值),以及(2)对于至少一个拆分选项,每行中的字符数小于或等于相关联的第三条件的值(最小字符的最大值),则可定制媒体内容项被识别为相对于文本输入不确定。确定一行文本中的字符数小于或等于来自CCC的相关联的第二条件的值可以被称为与第二条件匹配。确定一行文本中的字符数小于或等于来自CCC的相关联的第三条件的值可以被称为与第三条件匹配。
可以通过以下操作来进一步分析被识别为相对于输入文本不确定的拆分选项:相对于可定制媒体内容项评估不确定选项中的单独的字符的相应字形特征。基于评估的结果,可定制媒体内容项可以被重新表征为相对于不确定选项适合或不适合。
返回图6,操作640包括通过将文本输入并入至已经被识别为适合的媒体内容项中的每一个中来生成个性化媒体内容项。在一个示例中,个性化媒体内容项包括两个图像层。第一图像层可以包括基于输入文本生成的文本,该文本覆加在第二图像层中的预定位置上,并且第二图像层可以包括存储在相关联的可定制媒体内容项中的图像。在一些示例中,在生成个性化媒体内容项时,系统操纵文本(例如,字母间距、字母大小、字母字体等)。在另一示例中,系统操纵可定制媒体内容项的特征(例如化身取向和对准、旋转、媒体对象放置等),以便将文本集成至媒体内容项中。
操作650包括生成项选择用户界面,该项选择用户界面包括个性化媒体内容项中的一个或更多个。图7示出了包括在示意图700中的项选择用户界面的示例。图7示出了区域710中的文本输入“HELLO”和个性化媒体内容项的呈现720(在该示例中,是化身)。
在项选择用户界面被呈现在显示设备上之后,并且响应于接收到从项选择用户界面中的个性化媒体内容项选择的项的指示,将所选择项包括在上下文用户界面中。图8示出了包括在图解表示800中的上下文用户界面的示例。图8示出了聊天消息收发用户界面,其中结合文本输入“HELLO”的个性化化身包括在区域810中。图9中示出了上下文用户界面的另一示例,作为图解表示900,其中结合文本输入“HELLO”的个性化化身包括在区域910中的图像编辑用户界面中。在区域910中示出的是云的图像(例如,表示先前捕获的照片),其中个性化化身结合了覆加在云的图像上的文本输入“HELLO”。
机器架构
图10是机器1000的图解表示,在该机器1000内,可以执行用于使机器1000执行本文所讨论的方法中的任何一种或更多种方法的指令1008(例如,软件、程序、应用、小程序、app或其他可执行代码)。例如,指令1008可以使机器1000执行本文所描述的方法中的任何一种或更多种方法。指令1008将通用的非编程的机器1000转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器1000。机器1000可以作为独立设备操作或者可以耦接(例如,联网)至其他机器。在联网部署中,机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份进行操作,或者在对等(或分布式)网络环境中作为对等机器进行操作。机器1000可以包括但不限于:服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如,智能手表)、智能家居设备(例如,智能电器)、其他智能设备、web装置、网络路由器、网络交换机、网络桥接器或者能够顺序地或以其他方式执行指定要由机器1000采取的动作的指令1008的任何机器。此外,虽然仅示出了单个机器1000,但是术语“机器”还应被认为包括单独地或联合地执行指令1008以执行本文所讨论的方法中的任何一种或更多种方法的机器的集合。例如,机器1000可以包括客户端设备102或者形成消息收发服务器系统108的一部分的多个服务器设备中的任何一个。在一些示例中,机器1000还可以包括客户端系统和服务器系统两者,其中,在服务器侧执行特定方法或算法的某些操作,并且在客户端侧执行特定方法或算法的某些操作。
机器1000可以包括处理器1002、存储器1004和输入/输出I/O部件1038,所述处理器1002、存储器1004和输入/输出I/O部件1038可以被配置成经由总线1040彼此通信。在示例中,处理器1002(例如,中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器或其任何合适的组合)可以包括例如执行指令1008的处理器1006和处理器1010。术语“处理器”旨在包括多核处理器,所述多核处理器可以包括可以同时执行指令的两个或更多个独立的处理器(有时被称为“核”)。虽然图10示出了多个处理器1002,但是机器1000可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或者其任何组合。
存储器1004包括主存储器1012、静态存储器1014和存储单元1016,其均可由处理器1002经由总线1040访问。主存储器1004、静态存储器1014和存储单元1016存储体现本文所描述的方法或功能中的任何一种或更多种方法或功能的指令1008。指令1008在其被机器1000执行期间还可以完全地或部分地驻留在主存储器1012内、在静态存储器1014内、在存储单元1016内的机器可读介质1018内、在处理器1002中的至少一个处理器内(例如,在处理器的高速缓存存储器内)、或者在其任何合适的组合内。
I/O部件1038可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种部件。包括在特定机器中的特定I/O部件1038将取决于机器的类型。例如,诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构,而无头(headless)服务器机器可能将不包括这样的触摸输入设备。应当理解,I/O部件1038可以包括图10中未示出的许多其他部件。在各种示例中,I/O部件1038可以包括用户输出部件1024和用户输入部件1026。用户输出部件1024可以包括视觉部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、听觉部件(例如,扬声器)、触觉部件(例如,振动马达、阻力机构)、其他信号生成器等。用户输入部件1026可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于指向的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或另一指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸姿势的定位和力的触摸屏或者其他触觉输入部件)、音频输入部件(例如,麦克风)等。
在另外的示例中,I/O部件1038可以包括生物计量部件1028、运动部件1030、环境部件1032或位置部件1034以及各种各样的其他部件。例如,生物计量部件1028包括用于检测表达(例如,手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、出汗或脑波)、识别人(例如,语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1030包括加速度传感器部件(例如,加速度计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)。
环境部件1032包括例如一个或更多个摄像装置(具有静态成像/摄像和拍摄视频能力)、照明传感器部件(例如,光度计)、温度传感器部件(例如,检测周围温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如,气压计)、声学传感器部件(例如,检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如,检测附近对象的红外传感器)、气体传感器(例如,为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。
关于摄像装置,客户端设备102可以具有摄像装置系统,该摄像装置系统包括例如客户端设备102的前表面上的前置摄像装置和客户端设备102的后表面上的后置摄像装置。前置摄像装置可以例如用于捕获客户端设备102的用户的静止图像和视频(例如,“自拍”),然后可以利用上面所描述的增强数据(例如,过滤器)对所述静止图像和视频进行增强。在其中前置摄像装置与本文中描述的取景器环形闪光灯一起使用的示例中,由于取景器环形闪光灯照亮用户的面部而不会模糊数字图像传感器的输出,因此用户具有在低光条件下甚至在完全黑暗下使用增强现实面部过滤器的能力。后置摄像装置可以例如用于以更传统的摄像装置模式捕获静止图像和视频,其中,这些图像类似地利用增强数据进行增强。除了前置摄像装置和后置摄像装置之外,客户端设备102还可以包括用于捕获360°照片和视频的360°摄像装置。
此外,客户端设备102的摄像装置系统可以包括双后置摄像装置(例如,主摄像装置以及深度感测摄像装置),或者甚至在客户端设备102的前后侧上包括三个、四个或五个后置摄像装置配置。例如,这些多摄像装置系统可以包括广角摄像装置、超广角摄像装置、长焦摄像装置、微距摄像装置和深度传感器。
位置部件1034包括定位传感器部件(例如,GPS接收器部件)、海拔传感器部件(例如,检测气压的高度计或气压计,根据该气压可以得到海拔)、取向传感器部件(例如,磁力计)等。
可以使用各种技术来实现通信。I/O部件1038还包括通信部件1036,该通信部件1036能够进行操作以经由相应的耦接或连接将机器1000耦接至网络1020或设备1022。例如,通信部件1036可以包括用于与网络1020对接的网络接口部件或另一合适的设备。在另外的示例中,通信部件1036可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、蓝牙部件(例如,蓝牙低功耗)、Wi-Fi部件和经由其他模态提供通信的其他通信部件。设备1022可以是另一机器或各种外围设备中的任何外围设备(例如,经由USB耦接的外围设备)。
此外,通信部件636可以检测标识符或包括可操作以检测标识符的部件。例如,通信部件636可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如,用于检测诸如通用产品码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵、数据符号(Dataglyph)、最大码(MaxiCode)、PDF410、超码(UltraCode)、UCC RSS-2D条形码的多维条形码和其他光学码的光学传感器)或声学检测部件(例如,用于识别经标记的音频信号的麦克风)。另外,可以经由通信部件1036得到各种信息,例如经由因特网协议(IP)地理定位得到的定位、经由Wi-Fi信号三角测量得到的定位、经由检测可以指示特定定位的NFC信标信号得到的定位等。
各种存储器(例如,主存储器1012、静态存储器1014以及处理器1002的存储器)以及存储单元1016可以存储由本文所描述的方法或功能中的任何一种或更多种方法或功能实现或使用的一组或更多组指令和数据结构(例如,软件)。这些指令(例如,指令1008)在由处理器1002执行时使得各种操作实现所公开的示例。
可以经由网络接口设备(例如,通信部件1036中包括的网络接口部件)使用传输介质并且使用若干公知的传输协议中的任意一种传输协议(例如,超文本传输协议(HTTP)),通过网络1020来发送或接收指令1008。类似地,可以使用传输介质经由与设备1022的耦接(例如,对等耦接)来发送或接收指令1008。
软件架构
图11是示出软件架构1104的框图1100,该软件架构1104可以安装在本文描述的设备中的任何一个或更多个上。软件架构1104由硬件例如包括处理器1120、存储器1126和I/O部件1138的机器1102支持。在该示例中,软件架构1104可以被概念化为层的堆栈,其中每一层提供特定的功能。软件架构1104包括诸如操作系统1112、库1110、框架1108和应用1106的层。在操作上,应用1106通过软件堆栈调用API调用11110,并且响应于API调用11110接收消息11112。
操作系统1112管理硬件资源并且提供公共服务。操作系统1112包括例如内核1114、服务1116和驱动器1122。内核1114充当硬件层与其他软件层之间的抽象层。例如,内核1114提供存储器管理、处理器管理(例如,调度)、部件管理、网络和安全设置等功能。服务1116可以为其他软件层提供其他公共服务。驱动器1122负责控制底层硬件或与底层硬件连接。例如,驱动器1122可以包括显示器驱动器、摄像装置驱动器、或/>低能耗驱动器、闪存驱动器、串行通信驱动器(例如,USB驱动器)、/>驱动器、音频驱动器、电力管理驱动器等。
库1110提供由应用1106使用的公共低级基础设施。库1110可以包括系统库1118(例如,C标准库),其提供诸如存储器分配函数、字符串操作函数、数学函数等功能。此外,库1110可以包括API库1124,例如媒体库(例如,支持各种媒体格式例如运动图像专家组组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组第3层(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合摄影专家组(JPEG或JPG)或便携式网络图形(PNG)的呈现和操作的库)、图形库(例如,用于在显示器上以二维(2D)和三维(3D)渲染图形内容的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、网络库(例如,提供网络浏览功能的WebKit)等。库1110还可以包括各种各样的其他库1128,以向应用1106提供许多其他API。
框架1108提供由应用1106使用的公共高级基础设施。例如,框架1108提供各种图形用户界面(GUI)功能、高级资源管理和高级定位服务。框架1108可以提供可以由应用程序1106使用的广泛的其他API,其中一些可以特定于特定的操作系统或平台。
在示例中,应用1106可以包括家庭应用1136、联系人应用1130、浏览器应用1132、图书阅读器应用1134、位置应用1142、媒体应用1144、消息收发应用1146、游戏应用1148以及诸如第三方应用1140的其他应用的广泛分类。应用1106是执行在程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的一个或更多个应用1106,例如面向对象编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C或汇编语言)。在特定示例中,第三方应用1140(例如,由特定平台的供应商之外的实体使用ANDROID或IOS软件开发工具包(SDK)开发的应用)可以是运行在诸如IOS、ANDROID、WINDOWS电话或另一移动操作系统的移动操作系统上的移动软件。在该示例中,第三方应用1140可以调用由操作系统1112提供的API调用11110,以促进本文描述的功能。
术语表
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这些指令的通信。可以使用传输介质经由网络接口设备来通过网络发送或接收指令。
“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、其他类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电业务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他标准、其他远距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或者对特定处理或控制功能提供分区或模块化的其他技术来定义的边界的逻辑、设备或物理实体。部件可以经由其接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的经封装的功能硬件单元并且可以是通常执行相关功能中的特定功能的程序的一部分。部件可以构成软件部件(例如,实施在机器可读介质上的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例实施方式中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置为进行操作以执行如本文所描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器,例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件临时配置成执行某些操作的可编程逻辑或电路。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置,硬件部件就成为被独特地定制成执行所配置的功能的特定机器(或机器的特定部件),而不再是通用处理器。应当理解,机械地、在专用且永久配置的电路中还是在临时配置(例如,由软件配置)的电路中实现硬件部件的决定可以由成本和时间考虑来驱动。因此,短语“硬件部件”(或者“硬件实现的部件”)应当被理解成包含有形实体,即为被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文所描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的实施方式,无需在任一时刻对硬件部件中的每个硬件部件进行配置或实例化。例如,在硬件部件包括通过软件配置成为专用处理器的通用处理器的情况下,该通用处理器可以在不同时间处分别被配置为不同的专用处理器(例如,包括不同的硬件部件)。因此,软件将一个或多个特定处理器配置成例如在一个时刻处构成特定硬件部件,并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此,所描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下,可以通过在硬件部件中的两个或更多个硬件部件之间或之中的信号传输(例如,通过适当的电路和总线)来实现通信。在其中多个硬件部件在不同时间处被配置或实例化的实施方式中,可以例如通过将信息存储在多个硬件部件访问的存储器结构中并且在所述存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在其通信地耦接至的存储器设备中。然后,另外的硬件部件可以在随后的时间访问存储器设备以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信,并且可以对资源进行操作(例如,信息的收集)。本文所描述的示例方法的各种操作可以至少部分地由被临时地配置(例如,由软件)或永久地配置成执行相关操作的一个或更多个处理器来执行。无论是被临时地配置还是永久地配置,这样的处理器可以构成进行操作以执行本文所描述的一个或更多个操作或功能的处理器实现的部件。如本文所使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,本文所描述的方法可以至少部分地由处理器实现,其中,特定的一个或多个处理器是硬件的示例。例如,方法的操作中的至少一些操作可以由一个或更多个处理器或者处理器实现的部件来执行。此外,一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或操作为“软件即服务”(SaaS)。例如,操作中的至少一些操作可以由计算机组(作为包括处理器的机器的示例)执行,其中,这些操作可经由网络(例如,因特网)并且经由一个或更多个适当的接口(例如,API)进行访问。某些操作的执行可以分布在处理器之间,不是仅驻留在单个机器内,而是跨多个机器部署。在一些示例实施方式中,处理器或处理器实现的部件可以位于单个地理定位中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中,处理器或处理器实现的部件可以跨多个地理定位分布。
“计算机可读存储介质”是指机器存储介质和传输介质两者。因此,术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物并且可以在本公开内容中可互换地使用。
“机器存储介质”是指存储可执行指令、例程和数据的单个或多个存储设备和介质(例如,集中式或分布式数据库,以及相关联的高速缓存和服务器)。因此,该术语应被视为包括但不限于固态存储器以及光学和磁性介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,例如内部硬盘和可移动盘;磁光盘;以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物,并且在本公开内容中可以可互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“非暂态计算机可读存储介质”是指能够存储、编码或携载由机器执行的指令的有形介质。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且“信号介质”包括数字或模拟通信信号或其他无形介质以有助于软件或数据的传送。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以对信号中的信息进行编码的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物并且在本公开内容中可以可互换地使用。

Claims (20)

1.一种方法,包括:
将媒体内容项存储在数据库中;
访问与字符计数相关联的文本输入;
将来自所述媒体内容项的每个项识别为相对于所述文本输入适合、不适合或不确定,被识别为不确定的项指示所述项适合于匹配第一大小的字符的字符计数并且不适合于匹配第二大小的字符的字符计数;
将文本匹配逻辑应用于关于被识别为不确定的每个项的所述文本输入,以将所述项识别为适合或不适合;
通过将所述文本输入并入至识别为适合的所述媒体内容项中的每一个中来生成个性化媒体内容项;以及
生成项选择用户界面,所述项选择用户界面包括来自所述个性化媒体内容项的一个或多个项。
2.根据权利要求1所述的方法,其中:
来自所述媒体内容项的每个项与第一条件、第二条件和第三条件相关联;以及
将来自所述媒体内容项的项识别为适合包括:确定所述字符计数大于或等于与所述第一条件相关联的值并且小于或等于与所述第二条件相关联的值。
3.根据权利要求2所述的方法,其中,将来自所述媒体内容项的项识别为不适合包括:确定所述字符计数大于与所述第三条件相关联的值。
4.根据权利要求2所述的方法,其中,将来自所述媒体内容项的项识别为不确定包括:确定所述字符计数大于与所述第二条件相关联的值并且小于与所述第三条件相关联的值。
5.根据权利要求4所述的方法,其中,应用所述文本匹配逻辑包括评估所述文本输入中的单独的字符的相应字形特征。
6.根据权利要求1所述的方法,其中,来自所述媒体内容项的每个项适合于结合一行或更多行文本,并且与行计数和一组行计数文本呈现条件相关联,所述一组行计数文本呈现条件中的每个成员包括第一条件、第二条件和第三条件,所述方法包括:
基于所述文本输入生成多个拆分选项,来自所述多个拆分选项的每个选项包括拆分成一个或更多个行的所述文本输入;以及
响应于基于与来自所述媒体内容项的第一项相关联的所述一组行计数文本呈现条件确定来自所述多个拆分选项的至少一个适合于并入至所述第一项中,将所述第一项识别为适合。
7.根据权利要求6所述的方法,包括:响应于基于与来自所述媒体内容项中的第二项相关联的所述一组行计数文本呈现条件确定没有来自所述多个拆分选项的拆分选项适合于并入至所述第一项中,将所述第二项识别为不适合。
8.根据权利要求6所述的方法,包括,针对来自所述媒体内容项的第三项:
确定没有来自所述多个拆分选项的拆分选项关于来自与所述第三项相关联的所述一组行计数文本呈现条件的第二条件匹配;
确定来自所述多个拆分选项的不确定选项关于所述第三条件匹配;
评估所述不确定选项中的单独的字符的相应字形特征;以及
响应于评估的结果,将所述第三项识别为相对于所述不确定选项适合。
9.根据权利要求1所述的方法,包括:
使得在显示设备上呈现所述项选择用户界面;
接收从所述项选择用户界面中的所述个性化媒体内容项选择的项的指示;以及
在上下文用户界面中包括所选择的项。
10.根据权利要求9所述的方法,其中,所述上下文用户界面是聊天消息收发用户界面或图像编辑用户界面。
11.一种系统,包括:
一个或更多个处理器;以及
非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括指令,所述指令在由所述一个或更多个处理器执行时使得所述一个或更多个处理器执行操作,所述操作包括:
将媒体内容项存储在数据库中;
访问与字符计数相关联的文本输入;
将来自所述媒体内容项的每个项识别为相对于所述文本输入适合、不适合或不确定,被识别为不确定的项指示所述项适合于匹配第一大小的字符的字符计数并且不适合于匹配第二大小的字符的字符计数;
将文本匹配逻辑应用于关于被识别为不确定的每个项的所述文本输入,以将所述项识别为适合或不适合;
通过将所述文本输入并入至识别为适合的所述媒体内容项中的每一个中来生成个性化媒体内容项;以及
生成项选择用户界面,所述项选择用户界面包括来自所述个性化媒体内容项的一个或多个项。
12.根据权利要求11所述的系统,其中:
来自所述媒体内容项的每个项与第一条件、第二条件和第三条件相关联;以及
将来自所述媒体内容项的项识别为适合包括:确定所述字符计数大于或等于与所述第一条件相关联的值并且小于或等于与所述第二条件相关联的值。
13.根据权利要求12所述的系统,其中,将来自所述媒体内容项的项识别为不适合包括:确定所述字符计数大于与所述第三条件相关联的值。
14.根据权利要求12所述的系统,其中,将来自所述媒体内容项的项识别为不确定包括:确定所述字符计数大于与所述第二条件相关联的值并且小于与所述第三条件相关联的值。
15.根据权利要求14所述的系统,其中,应用所述文本匹配逻辑包括评估所述文本输入中的单独的字符的相应字形特征。
16.根据权利要求11所述的系统,其中,来自所述媒体内容项的每个项适合于结合一行或更多行文本,并且与行计数和一组行计数文本呈现条件相关联,所述一组行计数文本呈现条件中的每个成员包括第一条件、第二条件和第三条件,所述操作包括:
基于所述文本输入生成多个拆分选项,来自所述多个拆分选项的每个选项包括拆分成一个或更多个行的所述文本输入;以及
响应于基于与来自所述媒体内容项的第一项相关联的所述一组行计数文本呈现条件确定来自所述多个拆分选项的至少一个适合于并入至所述第一项中,将所述第一项识别为适合。
17.根据权利要求16所述的系统,所述操作包括:响应于基于与来自所述媒体内容项中的第二项相关联的所述一组行计数文本呈现条件确定没有来自所述多个拆分选项的拆分选项适合于并入至所述第一项中,将所述第二项识别为不适合。
18.根据权利要求16所述的系统,所述操作包括,针对来自所述媒体内容项的第三项:
确定没有来自所述多个拆分选项的拆分选项关于来自与所述第三项相关联的所述一组行计数文本呈现条件的所述第二条件匹配;
确定来自所述多个拆分选项的不确定选项关于所述第三条件匹配;
评估所述不确定选项中的单独的字符的相应字形特征;以及
响应于评估的结果,将所述第三项识别为相对于所述不确定选项适合。
19.根据权利要求11所述的系统,所述操作包括:
使得在显示设备上呈现所述项选择用户界面;
接收从所述项选择用户界面中的所述个性化媒体内容项选择的项的指示;以及
在上下文用户界面中包括所选择的项。
20.一种机器可读非暂态存储介质,所述机器可读非暂态存储介质具有指令数据,所述指令数据能够由机器执行以使得所述机器执行操作,所述操作包括:
将媒体内容项存储在数据库中;
访问与字符计数相关联的文本输入;
将来自所述媒体内容项的每个项识别为相对于所述文本输入适合、不适合或不确定,被识别为不确定的项指示所述项适合于匹配第一大小的字符的字符计数并且不适合于匹配第二大小的字符的字符计数;
将文本匹配逻辑应用于关于被识别为不确定的每个项的所述文本输入,以将所述项识别为适合或不适合;
通过将所述文本输入并入至识别为适合的所述媒体内容项中的每一个中来生成个性化媒体内容项;以及
生成项选择用户界面,所述项选择用户界面包括来自所述个性化媒体内容项的一个或多个项。
CN202280046841.9A 2021-06-30 2022-06-29 用于可定制媒体的混合搜索系统 Pending CN117597690A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US63/217,030 2021-06-30
US17/447,121 2021-09-08
US17/447,121 US11941227B2 (en) 2021-06-30 2021-09-08 Hybrid search system for customizable media
PCT/US2022/073265 WO2023279028A1 (en) 2021-06-30 2022-06-29 Hybrid search system for customizable media

Publications (1)

Publication Number Publication Date
CN117597690A true CN117597690A (zh) 2024-02-23

Family

ID=89917078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046841.9A Pending CN117597690A (zh) 2021-06-30 2022-06-29 用于可定制媒体的混合搜索系统

Country Status (1)

Country Link
CN (1) CN117597690A (zh)

Similar Documents

Publication Publication Date Title
CN115552403B (zh) 用于媒体内容项的私人集合的邀请媒体覆盖物
CN110300951B (zh) 媒体项附接系统
CN115462089B (zh) 在消息收发应用中显示增强现实内容的方法、设备、介质
EP4154546A1 (en) Featured content collection interface
CN115668119A (zh) 用于消息收发系统的具有标贴的回复界面
CN116783575A (zh) 媒体内容检测和管理
CN114365198A (zh) 遮挡检测系统
KR20230002684A (ko) 자동적으로 생성된 개인화된 메시지
KR20230104676A (ko) 증강 현실 컴포넌트들에서의 초상화 이미지들의 사용
CN115885247A (zh) 用于启动应用的视觉搜索
CN116034393A (zh) 到增强现实组件的深度链接
CN117203676A (zh) 可定制的化身生成系统
CN116235194A (zh) 媒体内容传输和管理
KR20230019968A (ko) 메시지 인터페이스 확장 시스템
CN117337430A (zh) 消息系统内根据扫描操作的快捷方式
CN116349215A (zh) 利用微声音剪辑来聊天
CN116724314A (zh) 生成式对抗网络操纵的图像效果
CN115989523A (zh) 车辆识别系统
CN116034577A (zh) 上下文应用菜单
US20230273950A1 (en) Location-based timeline media content system
CN117597940A (zh) 用于呈现适用于摄像装置的功能的用户界面
CN117396849A (zh) 在消息系统内将功能组合成快捷方式
CN116235500A (zh) 生成用于分享到外部应用的媒体内容项
CN117121461A (zh) 用户存在指示数据管理
CN116349220A (zh) 实时视频编辑

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination