CN114127779A - 人物组和基于图像的创作的自动生成 - Google Patents

人物组和基于图像的创作的自动生成 Download PDF

Info

Publication number
CN114127779A
CN114127779A CN202080005126.1A CN202080005126A CN114127779A CN 114127779 A CN114127779 A CN 114127779A CN 202080005126 A CN202080005126 A CN 202080005126A CN 114127779 A CN114127779 A CN 114127779A
Authority
CN
China
Prior art keywords
image
images
people
persona
identifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005126.1A
Other languages
English (en)
Inventor
多米尼克·利姆
克里斯蒂·博尔
杰森·张
维迪亚·瓦尔米基纳森
李太熙
杰里米·朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114127779A publication Critical patent/CN114127779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本文描述的实施方式涉及用于生成和提供基于图像的创作的方法、设备和计算机可读介质。一种计算机实施的方法，包括：获得多个片段，每个片段与对应的时间段相关联，并且包括相应的图像集和每个图像的人物标识符。所述方法进一步包括针对每个片段形成包括至少两个人物标识符的相应的集群。所述方法进一步包括确定一个或多个人物标识符是否被包括在少于阈值数目的集群中，并且作为响应，从其中包括一个或多个人物标识符的集群中移除所述一个或多个人物标识符。所述方法进一步包括合并相同的集群以获得多个人物组，和提供包括基于特定人物组的基于图像的创作的用户界面，每个人物组包含两个或更多个人物标识符。

Description

人物组和基于图像的创作的自动生成
背景技术
诸如智能电话或其他数码相机的设备的用户捕获大量照片和视频并将其存储在他们的图像库中。用户利用这些库来查看他们的照片和视频，以回想诸如生日、婚礼、度假、旅行等各种事件。用户可能具有大型图像库，该图像库具有在长时间段内拍摄的数千张图像。
本文提供的背景技术描述是为了一般地呈现本公开的上下文。目前署名的发明人的工作，就在此背景技术部分中对它所进行的描述来说，以及说明书的在提交时可能无法以其它方式作为现有技术的各方面，均未被明确地或隐式地承认为针对本公开的现有技术。
发明内容
本文描述的实施方式涉及用于生成和提供基于图像的创作的方法、设备和计算机可读介质。
在一些实施方式中，一种计算机实施的方法包括：获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和在相应的图像集中的每个图像的人物标识符。所述方法进一步包括：针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符。所述方法进一步包括：确定一个或多个人物标识符是否被包括在少于阈值数目的集群中。所述方法进一步包括：如果确定一个或多个人物标识符被包括在少于阈值数目的集群中，则从包括所述一个或多个人物标识符的集群中移除所述一个或多个人物标识符。所述方法进一步包括：在移除之后，合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符。所述方法进一步包括：提供用户界面，该用户界面包括基于所述多个人物组中的特定人物组的基于图像的创作。
在一些实施方式中，针对每个片段形成相应的集群可以包括：将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到集群；从所述片段的图像集中确定包括所述片段中最频繁的人物标识符的图像数目；以及从所述集群中移除与少于阈值数目的图像相关联的人物标识符。在一些实施方式中，可以基于包括片段中最频繁的人物标识符的图像数目来确定图像的阈值数目。
在一些实施方式中，所述方法可以进一步包括：确定至少一个人物组与少于阈值数目的片段相关联。所述方法可以进一步包括：响应于确定至少一个人物组与少于阈值数目的片段相关联，将至少一个人物组与一个或多个其他人物组相组合。所述一个或多个其他人物组可以各自包括至少一个人物组中所包括的人物标识符的子集。在这些实施方式中，可以在合并至少一个人物组之后执行提供用户界面。
在一些实施方式中，合并相同的集群可以包括：基于集群将相应的片段集与多个人物组中的每一个相关联。在一些实施方式中，提供基于图像的创作可以包括：从与特定人物组相关联的片段中所包括的相应图像集中，选择图像的子集以用于基于图像的创作。所述图像的子集中的每个图像可以描绘与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物。
在一些实施方式中，响应于以下至少一项来执行提供用户界面：检测到最近捕获了与特定组相匹配的图像；检测到当前日期与和特定人物组相关联的日期相匹配；或者检测到与特定人物组相匹配的事件。
在一些实施方式中，提供基于图像的创作可以包括：基于特定人物组来选择图像的子集以用于基于图像的创作。所述图像的子集中的每个图像可以描绘与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物。所述方法可以进一步包括：基于图像的子集来生成基于图像的创作。所述图像的子集中的每个图像可以描绘与特定人物组中所包括的两个或更多个人物标识符中的每一个相对应的人物。在一些实施方式中，图像的子集中的每个图像可以描绘与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物。在一些实施方式中，图像的子集可以包括来自多个片段中的至少两个片段的图像。在一些实施方式中，可以将图像的子集选择为使得所述子集提供以下一项或多项：位置多样性、姿势多样性或视觉多样性。
一些实施方式包括一种非暂时性计算机可读介质，其上存储有指令，所述指令当由处理器执行时使处理器执行操作，所述操作包括：获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和在相应的图像集中的每个图像的人物标识符。所述操作进一步包括：针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符。所述操作进一步包括：确定一个或多个人物标识符是否被包括在少于阈值数目的集群中；以及如果确定一个或多个人物标识符被包括在少于阈值数目的集群中，则从包括所述一个或多个人物标识符的集群中移除所述一个或多个人物标识符。所述操作进一步包括：合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符。所述操作进一步包括：提供用户界面，该用户界面包括基于多个人物组中的特定人物组的基于图像的创作。
在一些实施方式中，针对每个片段形成相应的集群的操作可以包括：将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到集群；从所述片段的图像集中确定包括所述片段中最频繁的人物标识符的图像数目；以及从集群中移除与少于阈值数目的图像相关联的人物标识符。在一些实施方式中，可以基于包括片段中最频繁的人物标识符的图像数目来确定图像的阈值数目。
在一些实施方式中，所述非暂时性计算机可读介质可以在其上存储有进一步的指令，所述进一步的指令使处理器执行一些操作，所述操作包括：确定至少一个人物组与少于阈值数目的片段相关联；以及响应于确定至少一个人物组与少于阈值数目的片段相关联，将至少一个人物组与一个或多个其他人物组相组合，其中，所述一个或多个其他人物组各自包括至少一个人物组中所包括的人物标识符的子集。在这些实施方式中，可以在合并至少一个人物组之后执行提供用户界面的操作。
在一些实施方式中，提供基于图像的创作的操作可以包括：基于特定人物组来选择图像的子集以用于基于图像的创作，其中，所述图像的子集中的每个图像描绘与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物；以及基于所述图像的子集来生成基于图像的创作。
在一些实施方式中，合并相同的集群的操作可以包括：基于集群将相应的片段集与多个人物组中的每个相关联。在一些实施方式中，提供基于图像的创作可以包括：从与特定人物组相关联的片段中所包括的相应图像集中，选择图像的子集以用于基于图像的创作。
一些实施方式可以包括一种计算设备，该计算设备包括处理器以及耦合至该处理器的存储器。存储器可以在其上存储有指令，所述指令当由处理器执行时促使处理器执行一些操作，所述操作包括：获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和在相应的图像集中的每个图像的人物标识符。所述操作进一步包括：针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符。所述操作进一步包括：确定一个或多个人物标识符是否被包括在少于阈值数目的集群中；以及如果确定一个或多个人物标识符被包括在少于阈值数目的集群中，则从包括所述一个或多个人物标识符的集群中移除所述一个或多个人物标识符。所述操作可以进一步包括：在移除之后，合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符。所述操作进一步包括：提供用户界面，该用户界面包括基于多个人物组中的特定人物组的基于图像的创作。
在一些实施方式中，针对每个片段形成相应的集群的操作可以包括：将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到集群；从所述片段的图像集中确定包括在所述片段中最频繁的人物标识符的图像数目；以及从集群中移除与少于阈值数目的图像相关联的人物标识符。在一些实施方式中，可以基于包括片段中最频繁的人物标识符的图像数目来确定图像的阈值数目。
在一些实施方式中，存储器可以在其上存储有进一步的指令，所述进一步的指令当由处理器执行时促使处理器执行一些操作，所述操作包括：确定至少一个人物组与少于阈值数目的片段相关联；以及响应于确定至少一个人物组与少于阈值数目的片段相关联，将至少一个人物组与一个或多个其他人物组相组合。在一些实施方式中，一个或多个其他人物组可以各自包括至少一个人物组中所包括的人物标识符的子集。在这些实施方式中，可以在合并至少一个人物组之后执行提供用户界面的操作。
在一些实施方式中，提供基于图像的创作的操作可以包括：基于特定人物组来选择图像的子集以用于基于图像的创作，其中，图像的子集中的每个图像描绘与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物；以及基于图像的子集来生成基于图像的创作。
在一些实施方式中，合并相同的集群的操作可以包括：基于集群将相应的片段集与多个人物组中的每一个相关联。在一些实施方式中，提供基于图像的创作可以包括：从与特定人物组相关联的片段中所包括的相应图像集中，选择图像的子集以用于基于图像的创作。
附图说明
图1是可以被用于本文所述的一个或多个实施方式的示例网络环境的框图。
图2是图示根据一些实施方式的用于提供包括基于图像的创作的用户界面的示例方法的流程图。
图3A-3F图示根据一些实施方式的从图像库中的片段获得人物组的不同阶段。
图4A图示根据本文所述的一些实施方式的示例用户界面。
图4B图示根据一些实施方式的示例用户界面。
图5是可用于实施本文所述的一个或多个特征的示例计算设备的框图。
具体实施方式
本公开涉及基于用户图像库来自动确定显要人物组，并在适当的时间为这些人物组提供基于图像的创作。例如，用户可以具有包括在例如用户寿命的长时间段内拍摄的数千张照片的图像库。浏览这样的图像可能冗长乏味，因为用户可能遇到大量无趣或重复的图像。另外，尽管搜索功能可以使得用户能够识别满足某些准则的图像(例如，在特定时间段内捕获的图像、描绘特定人物的图像等)，但用户需要明确地制定公式并执行搜索以查看图像。
在图像库中，所描绘人物的子集可能对用户既有显要意义又很重要。例如，这样的子集可以包括用户的直系亲属(例如，配偶、子女、父母)、宠物、密友等。用户更有可能对这样的人物子集的图像感兴趣，因为这些是他们生命中的重要人物。
本文描述了用于自动识别在用户图像库中的显要人物组的技术，例如，其中每人均与用户具有显要关系的两个或更多个人物的组。所述技术是在特定用户许可下执行，以访问用户数据来进行这样的自动识别。在一些实施方式中，用户图像库可以被分成多个片段(episode)，使得每个片段可以对应于一个事件(例如，诸如婚礼或毕业典礼的重大事件或者诸如徒步旅行的较小事件)。根据本文所述的技术，用户图像库中的片段被分析以识别与每个片段相关联的人物集群。从人物集群中移除在所述片段中不太频繁出现或在片段中仅出现少数几次的人物，并且合并任何重复的人物集群，以获得人物组。
在一些实施方式中，如果例如基于触发条件来识别多个人物组，则可以利用这些人物组的子集来生成基于图像的创作。例如，可以将较大的人物组而非较小的人物组用于基于图像的创作。如果确定了多个相同大小的人物组，则可以基于人物标识符、基于最近的图像是否包括所述人物组、基于用户库中每个人物组的相对频率等，对人物组进行排名。
基于所识别的人物组，自动生成基于图像的创作，诸如幻灯片、拼贴、图像相册等。为用户提供用户界面以查看基于图像的创作。可以在适宜的时间(例如，在即将来临的事件前后、在用户周期性地浏览图像库中的图像的时间等)生成基于图像的创作，并且可以经由用户界面提供基于图像的创作。因此，所述技术自动识别图像库中的显要人物组，并提供使得用户能够查看这些人物组的基于图像的创作的用户界面。
图1图示可以在本文描述的一些实施方式中使用的示例网络环境100的框图。在一些实施方式中，网络环境100包括一个或多个服务器系统，例如，图1的示例中的服务器系统102；和多个客户端设备，例如，客户端设备120-126，每个与用户U1-U4中的相应用户相关联。服务器系统102和客户端设备120-126中的每一个可以被配置成与网络130通信。
服务器系统102可以包括服务器设备104和数据库106。在一些实施方式中，服务器设备104可以提供图像应用106a。在图1和其余附图中，在附图标记例如“106a”之后的字母表示对具有该特定附图标记的元件的引用。文本中没有下述字母的附图标记例如“106”，表示对携带该参考数字的元件的实施例的一般引用。
图像数据库110可以存储在作为服务器系统102的一部分的存储设备上。在一些实施方式中，图像数据库110可以使用关系数据库、键值结构或其他类型的数据库结构来实现。在一些实施方式中，图像数据库110可以包括多个分区，每个分区对应于用户U1-U4中的每个用户的相应图像库。例如，如图1中所看到的，图像数据库110可以包括用于用户U1的第一图像库(图像库1，108a)，以及用于其他各种用户的其他图像库(IL-2、IL-3、...、IL-n)。尽管图1示出单个图像数据库110，但是可以理解，图像数据库110可以被实施为例如在多个数据库服务器上的分布式数据库。此外，尽管图1示出多个分区，对于每个用户一个分区，在一些实施方式中，每个图像库可以被实施为分开的数据库。
图像库108a可以存储与用户Ul相关联的多个图像、与多个图像相关联的元数据以及与多个图像相关联地存储的一个或多个其他数据库字段。可以限制对图像库108a的访问许可，使得用户U1可以控制如何例如通过图像应用106、通过其他应用和/或通过一个或多个其他用户来访问图像库108a中的图像和其他数据。服务器系统102可以被配置为实施访问许可，使得特定用户的图像数据仅在用户许可的情况下才可访问。
本文所指的图像可以包括具有像素的数字图像，所述像素具有一个或多个像素值(例如，颜色值、亮度值等)。图像可以是静止图像(例如，静止照片、具有单帧的图像等)、动态图像(例如，动画、GIF动画、其中一部分图像包括运动而其他部分是静态的电影摄影等)或视频(例如，可以可选地包括音频的图像或图像帧的序列)。如本文所使用的图像可以被理解为以上任何一个。例如，本文描述的实施方式可以与静止图像(例如，照片或其他图像)、视频或动态图像一起使用。
网络环境100还可以包括一个或多个客户端设备，例如，客户端设备120、122、124和126，这些客户端设备可经由网络130与彼此和/或与服务器系统102进行通信。网络130可以是任何类型的通信网络，包括因特网、局域网(LAN)、无线网络、交换机或集线器连接等中的一个或多个。在一些实施方式中，网络130可以包括在设备之间的对等通信，例如使用对等无线协议(例如，
Figure BDA0002973930590000091
Wi-Fi Direct等)等。在两个客户端设备120和122之间的对等通信的一个示例通过箭头132被示出。
在各种实施方式中，用户U1、U2、U3和U4可以使用相应的客户端设备120、122、124和126来与服务器系统102和/或彼此进行通信。在一些示例中，用户U1、U2、U3和U4可以经由在相应客户端设备和/或服务器系统102运行的应用和/或经由在服务器系统102上实施的诸如社交网络服务或其它类型的网络服务的网络服务彼此交互。例如，相应的客户端设备120、122、124和126可以向和从一个或多个服务器系统(例如，服务器系统102)传达数据。
在一些实施方式中，服务器系统102可以向客户端设备提供适当的数据，使得每个客户端设备可接收上传到服务器系统102和/或网络服务的通信内容或共享内容。在一些示例中，用户U1-U4可经由图像共享、音频或视频会议、音频、视频或文本聊天、或其它通信模式或应用进行交互。
由服务器系统102实施的网络服务可以包括允许用户执行各种通信、形成链接和关联、上传并发布诸如图像、文本、音频和其它类型的内容这样的共享内容、和/或执行其它功能的系统。例如，客户端设备可显示接收到的数据，诸如发送或者流式传输到客户端设备并且经由服务器和/或网络服务源自不同的客户端设备(或者直接地从不同的客户端设备)或者源自服务器系统和/或网络服务的内容帖子。在一些实施方式中，客户端设备可例如使用如上所述的在客户端设备之间的对等通信来直接地彼此通信。在一些实施方式中，“用户”可以包括一个或多个程序或虚拟实体、以及与系统或网络对接的人。
在一些实施方式中，客户端设备120、122、124和/或126中的任一个可以提供一个或多个应用。例如，如图1中所示，客户端设备120可以提供图像应用106b。客户端设备122-126还可以提供类似的应用。可以使用客户端设备120的硬件和/或软件来实施图像应用106b。在不同的实施方式中，图像应用106b可以是独立的客户端应用，例如，在客户端设备120-124中的任何一个上执行，或者可以与在服务器系统102上设置的图像应用106b协同工作。
图像应用106可以提供与图像有关的在用户许可下实施的各种特征。例如，这样的特征可以包括以下一项或多项：使用相机捕获图像、修改图像、确定图像质量(例如，基于诸如面部尺寸、模糊度、面部数量、图像组成、照明、曝光等的因素)、将图像或视频存储在图像库108中、提供用户界面以查看图像或基于图像的创作等。
在一些实施方式中，在用户许可下，图像应用106提供的特征可以包括分析图像以确定图像中所描绘的一个或多个人物(例如，使用一种或多种用户允许的技术，诸如面部检测、面部识别、步态识别、姿势识别等)，并为图像库108中的图像中描绘的每个人物(例如，人类、宠物)生成人物标识符。可以将每个图像的人物标识符与图像库108中的图像关联地存储。在一些实施方式中，生成人物标识符可以进一步包括获得图像中所描绘的人物的缩略图表示，例如，人物的特写，其是经由缩放或裁剪描绘用户的图像而获得的。
在一些实施方式中，在用户许可下，图像应用106可以分析图像以生成数据并将此类数据存储在图像库108中。例如，图像应用106可以分析图像和相关联的元数据(例如，位置、时间戳等)以将图片分组成多个片段。在一些实施方式中，片段可以与事件(例如，生日或其他庆祝活动、旅行)或特定时间段相关联。图像应用106可以(迭代地)分析图像库108中的图像以确定多个片段。在确定片段之后，图像应用106可以更新图像库108以指示与图像库中的每个图像所相关联的片段。
尽管以上描述涉及图像应用106的各种特征，但应理解，在各种实施方式中，图像应用106可以提供更少或更多的特征。此外，向每个用户提供用于启用和/或禁用某些特征的选项。图像应用106的特征是在获得用户许可的情况下具体地实施。
客户端设备120可以包括用户U1的图像库108b，其可以是独立的图像库。在一些实施方式中，图像库108b可以与服务器系统102上的图像库108a结合使用。例如，在用户许可下，图像库108a和图像库108b可以经由网络130同步。在一些实施方式中，图像库108可以包括与用户U1关联的多个图像，例如，用户捕获(例如，使用客户端设备120或其他设备的相机)的图像、与用户U1共享的图像(例如，来自其他用户U2-U4的相应图像库)、用户U1(例如，从网站、从消息传递应用等)下载的图像、屏幕截图和其他图像。
在一些实施方式中，客户端设备120上的图像库108b可以包括服务器系统102上图像库108a中的图像的子集。例如，当客户端设备120上可用的存储空间量有限时，这样的实施方式可能是有利的。
在一些实施方式中，图像应用106可以使用户能够管理图像库。例如，用户可以使用客户端设备(例如，客户端设备120-126中的任何一个)上的图像应用106b的备份功能，以将客户端设备上的本地图像备份到服务器设备(例如，服务器设备104)。例如，用户可以手动地选择一个或多个要备份的图像，或指定用于标识要备份的图像的备份设置。将图像备份到服务器设备可以包括，例如与服务器设备104上的图像应用106a协作地，将图像传送到服务器以供服务器存储。
在不同的实施方式中，客户端设备120和/或服务器系统102可以包括其他应用(未示出)，所述其他应用可以是提供各种类型的功能性的应用，例如，日历、地址簿、电子邮件、web浏览器、购物、运输(例如，出租车、火车、机票预订等)、娱乐(例如，音乐播放器、视频播放器、游戏应用等)、社交网络(例如，消息传递或聊天、音频/视频通话、共享图像/视频等)等等。在一些实施方式中，一个或多个其他应用可以是在客户端设备120上执行的独立应用。在一些实施方式中，一个或多个其他应用可以访问服务器系统，例如，服务器系统102，其提供数据和/或其他应用的功能性。
客户端设备120、122、124和/或126上的用户界面可以使得能够显示用户内容和其它内容，包括图像、基于图像的创作、数据、和其它内容以及通信、隐私设定、通知、和其它数据。可使用客户端设备上的软件、服务器设备上的软件、和/或客户端软件和在服务器设备104上执行的服务器软件的组合(例如，与服务器系统102通信的应用软件或客户端软件)来显示这样的用户界面。用户界面可由客户端设备或服务器设备的显示设备(例如，触摸屏或其它显示屏幕、投影仪等)来显示。在一些实施方式中，在服务器系统上运行的应用可与客户端设备进行通信，以在客户端设备处接收用户输入数据并且在客户端设备处输出数据，诸如可视数据、音频数据等。
为了便于图示，图1示出用于服务器系统102、服务器设备104、图像数据库110的一个框，并且示出用于客户端设备120、122、124和126的四个框。服务器框102、104以及110可以表示多个系统、服务器设备、和网络数据库，并且可按照与所示不同的配置提供这些框。例如，服务器系统102可以表示可经由网络130与其它服务器系统进行通信的多个服务器系统。在一些实施方式中，例如，服务器系统102可以包括云托管服务器。在一些示例中，图像数据库110可以被存储在被设置在与服务器设备104分离的服务器系统框中的存储设备上，并且可经由网络130与服务器设备104和其它服务器系统进行通信。
而且，可以存在任何数目的客户端设备。每个客户端设备可以是任何类型的电子设备，例如，台式计算机、膝上型计算机、便携式或移动设备、手机、智能手机、平板计算机、电视、TV机顶盒或娱乐设备、可穿戴设备(例如，显示眼镜或护目镜、腕表、头戴式耳机、臂章、珠宝等)、个人数字助理(PDA)、媒体播放器、游戏设备等。一些客户端设备还可以具有类似于数据库106或者其它存储的本地数据库。在一些实施方式中，网络环境100可以不具有所示的所有组件，并且/或者可以具有其它元件，包括用于代替本文描述的那些元件或者除了本文描述的那些元件之外还包括的其它类型的元件。
本文描述的特征的其它实施方式可使用任何类型的系统和/或服务。例如，代替社交联网服务或者除了社交联网服务之外，还可使用其它联网服务(例如，连接到因特网)。任何类型的电子设备可利用本文描述的特征。一些实施方式可在与计算机网络断开连接或者间歇地连接到计算机网络的一个或多个客户端或服务器设备上提供本文描述的一个或多个特征。在一些示例中，包括或者连接到显示设备的客户端设备可以显示存储在客户端设备本地的存储设备上的内容帖子，例如，先前通过通信网络接收的图像。
图2是图示根据一些实施方式的用于提供包括基于图像的创作的用户界面的示例方法200的流程图。在一些实施方式中，方法200可以例如在如图1中所示的服务器系统102上实施。在一些实施方式中，方法200的一些或全部可以在如图1中所示的一个或多个客户端设备120、122、124、126、一个或多个服务器设备、和/或在服务器设备和客户端设备两者上实施。在所描述的示例中，实施系统包括一个或多个数字处理器或处理电路(“处理器”)，以及一个或多个存储设备(例如，数据库或其他存储器)。在一些实施方式中，一个或多个服务器和/或客户端的不同组件可以执行方法200的不同框或其他部分。在一些示例中，第一设备被描述为执行方法200的框。一些实施方式可以具有由可以将结果或数据发送到第一设备的一个或多个其他设备(例如，其他客户端设备或服务器设备)执行的方法200的一个或多个框。
在一些实施方式中，方法200或所述方法的部分可以由系统自动启动。在一些实施方式中，实施系统是第一设备。例如，可以周期性地(例如，每隔几个小时、每天、每周或以其他合适的间隔)执行该方法(或其部分)。在一些实施方式中，可以基于一个或多个特定事件或条件来执行该方法(或其部分)，例如，客户端设备发起图像应用106由客户端设备捕获新图像、将新图像上载到服务器系统102、自方法200的上一次执行以来已经过去了预定时间段、和/或可以在通过该方法读取的设置中指定的一个或多个其他条件发生。
方法200可以开始于框202。在框202中，获得用户许可，以在方法200的实施中使用用户数据。例如，获得许可的用户数据可以包括存储在客户端设备(例如，客户端设备120-126中的任何一个)和/或服务器设备上的图像、图像元数据、与图像管理应用的使用有关的用户数据、用户对基于图像的创建的响应等。向用户提供用于选择性提供访问这样的用户数据的许可的选项。例如，用户可以挑选以提供对访问所有所请求的用户数据、请求数据的任何子集的许可或不许可访问请求数据。在一些实施方式中，本文描述的方法的一个或多个框可以使用这样的用户数据。框202之后是框204。
在框204中，例如通过访问用户所许可的数据，确定是否能够在用户提供的许可下实施如本文所述的方法200的其余步骤(框210-224)。如果在框204中确定用户在框202中提供的许可不足，则框204后接框206，否则框204后接框210。
在框206中，请求用户许可以访问用户数据。例如，如果用户已拒绝对于可以在框210-224中使用的用户数据的一个或多个部分的许可，则可以为用户提供用户界面以提供用户数据的这些部分的许可。用户界面可以向用户指示如何使用数据、和/或提供关于提供这样的许可可以使用户受益的指示，例如通过启用提供基于图像的创作。替选地，例如，如果用户拒绝访问用户数据的请求或者以其他方式指示他们拒绝许可，则所述方法在框206处结束，使得不访问任何用户数据。在此情形下，不执行框210-224。
如果用户提供的许可足够，则框204后接框210。执行所述方法的其余步骤，例如框210-224，其中选择性访问由用户所许可的用户数据。在一些实施方式中，可以为用户提供附加的提示，以提供对用户数据的访问或修改许可。
在框210中，获得多个片段。例如，可以从本地存储在客户端设备和/或服务器设备上的用户图像库中获得片段。在一些实施方式中，每个片段可以与对应的时间段相关联，并可以包括相应的图像集。
例如，片段可以对应于特定事件。可能与片段相关联的事件的示例包括：例如，生日会、婚礼或其他庆典；旅行或活动，诸如滑雪度假、徒步旅行、海滨度假、赛事或音乐会、家庭野餐等。片段可能持续较短时间(例如，音乐会或生日会的几小时或一日)或相对较长时间(例如，多日滑雪假期)。
片段的图像集可以包括某一时间段内所拍摄的与片段相关联的图像。例如，与徒步度假相关联的图像可以包括该时间段期间所拍摄的图像，包括人物登山、在小径上步行、吃/喝、或共同参加其他活动的图像和/或其他图像(例如，山脉、树木等的图像)。
每个图像可以与相应的人物标识符相关联。在一些实施方式中，人物标识符可以是与用户图像库中所描绘的特定人物相关联的独特值，例如数据库主键或等效值。例如，描绘两个人物在小径上步行的图像可以与这两个人物中的每个人物的相应人物标识符相关联。在用户许可下，独特个人标识符可以与用户图像库中的一个或多个图像中所描绘的每个人物相关联。
在一些实施方式中，当在用户图像库中可用时，人物标识符可以与人物名称相关联。在一些实施方式中，人物标识符可以与人物的代表图像或缩略图相关联。可以理解，对于诸如检索图像或将人物标识符与图像相关联的操作，可以利用独特标识符(数据值)。在本文的其余部分中，为便于说明，人物标识符可互换使用，以指代独特标识符(例如，字母数字或其他类型的数据值)、人物名称或人物缩略图。在一些实施方式中，人物可以包括人类和宠物(例如，当图像库具有在不同动物之间进行区分的特征时)。对于未描绘人物的图像，可以不关联任何人物标识符，或者可以关联空标识符。框210可以后接框212。
图3A至图3F示出根据一些实施方式从在用户图像库中的片段中获得人物组的不同阶段。附加地参照图3A至图3F来描述方法200的其余框。
在框212中，针对每个片段形成相应的集群。在图3A至图3D中，由数字1至8标识八个集群(以及相应地，八个片段)。在一些实施方式中，形成集群可以包括将在片段的图像集中的至少一个图像中出现的全部人物标识符映射到集群。例如，如图3A所示，集群1、2、3、5、6和8各自包括3个人物标识符，而集群4和7各自包括2个人物标识符。在图3A至图3F中，每个人物标识符由相应的面部来表示。
在图3A至图3C的每个图中，每个人物标识符旁的数字指示来自该人物标识符所关联的片段的图像集中的图像数目。例如通过使用用户许可的人物识别技术来识别，例如面部识别、步态识别、姿势识别等，当在图像中描绘了与所述人物标识符相对应的人物时，该人物标识符与所述图像相关联。
为简明起见，术语“人物标识符X”和“人物X”在本文中可互换使用。从图3A可以看出，集群1包括包含人物A的20个图像、包含人物B的15个图像和包含人物C的1个图像。集群2包括人物D的50个图像、人物B的35个图像和人物A的25个图像。集群3包括人物E的40个图像、人物A的30个图像和人物B的10个图像。集群4包括人物E的35个图像和人物B的20个图像。集群5包括人物E的25个图像、人物B的10个图像和人物F的3个图像。集群6包括人物B的10个图像、人物E的5个图像和人物D的4个图像。集群7包括人物A的45个图像和人物B的20个图像。集群8包括人物A的30个图像、人物B的25个图像和人物E的2个图像。
在一些实施方式中，形成集群可以进一步包括：从片段的图像集中确定包括所述片段中最频繁的人物标识符的图像数目。例如，对于片段1，图像数目为20个(因为人物A为最频繁的人物标识符)。
在一些实施方式中，形成集群可以进一步包括：从集群中移除与少于阈值数目的图像相关联的人物标识符。在一些实施方式中，可以基于包括片段中最频繁的人物标识符的图像数目(例如，对于片段1、20)来确定图像的阈值数目。例如，对于片段1，可以确定阈值数目为5(少于20的20％)，并且可以从集群1中移除与少于该阈值数目相关联的人物标识符(例如，人物C)。如果移除人物标识符导致具有单个人物标识符的集群，则在进一步处理之前将这样的集群移除。
在不同的实施方式中，可以采用不同的方式来选取阈值数目，例如，作为百分数(包括最频繁的人物的图像数目的20％、30％或其他值)。在一些实施方式中，可以基于每个集群的最大尺寸来选取阈值数目，例如，以移除与集群中最少数目的图像相关联的人物标识符，直到集群中的人物标识符的总数小于或等于阈值大小。在一些实施方式中，可以选取阈值数目，使得每个集群至少包括与该集群相关联的每个人物标识符的最少数目的图像，例如3个图像、5个图像等。
图3B示出从集群1中移除人物标识符C，并且从集群5中移除人物标识符F。对于集群1，人物C与所述集群的仅一个图像相关联，这少于图像的阈值数目，例如，其可以确定为20×20％＝4。对于集群5，人物F与所述集群的3个图像相关联，这少于图像的阈值数目，例如，其可以确定为25×20％＝5，其中25为包括集群5中最频繁的人物标识符(人物B)的图像数目。
选择图像的阈值数目可以确保，在集群中相对频繁描绘的人物标识符是例如所述片段中的重要人物。例如，对于包括来自一组人物曾去徒步度假的图像集的片段，该片段的图像中描绘出徒步组的一部分人物的频率有可能高于其他人物，诸如其他徒步者、导游等。在另一个示例中，对于包括来自婚礼的图像集的片段，新娘亲友团中的各个人有可能是最重要的人物，并且这些人物有可能在该片段的图像集中被更频繁地描绘。如此，移除与少于阈值数目的图像相关联的人物标识符确保了基于集群的基于图像的创作包括来自该片段的重要人物。
框212可以后接框214。
在框214中，确定一个或多个人物标识符是否被包括在少于阈值数目的集群中。例如，如图3C所示，人物标识符D被识别为包括在两个集群中(集群2和集群6)，这少于集群的阈值数目，例如4个。在一些实施方式中，可以基于用户图像库中的片段总数(或具有含至少两个人物标识符的集群的片段总数)来选择集群的阈值数目。例如，对于小型图像库(例如，具有10个片段、20片段)，可以将集群的阈值数目选择为相对较低的值(例如，2个、3个等)，而对于大型图像库(例如，具有50个片段、200个片段或甚至更多个片段)，可以将阈值数目选择为相对较高的值(例如，5个、10个等)。
阈值数目的选择可以基于库大小来自动进行，使得使用所述阈值数目极有可能产生包括在用户图像库中且在相当长的时间段内频繁描绘的人物的集群，例如，对用户相对更重要的人物。例如，对用户更重要的人物可以包括：亲密的家庭成员，诸如配偶、子女、父母、兄弟姐妹等；朋友；同事的子集；等；而对用户不太重要的人物可以包括其他人物，诸如他们共同用餐的人、旅行团的成员、他们的图像中无意中捕获的人物等。
如果一个或多个人物标识符被包括在少于阈值数目的集群中，则框214后接框216。否则，框214后接框218。
在框216中，将框214中所识别的一个或多个人物标识符从包括这些标识符的集群中移除。例如，图3C示出从集群2和集群6中移除人物D。如果移除一个或多个人物标识符导致具有单个人物标识符的集群，则在进一步处理之前将这样的集群移除。框216可以后接框218。
在框218中，将相同的集群合并以获得多个人物组。每个人物组包括至少两个人物标识符。例如，图3D示出合并集群1、2、7和8(其中每个集群包括人物A和B)以获得人物组310，并且合并集群4、5和6(其中每个集群包括人物B和E)以获得人物组330。人物组320与独特集群3相同。在图3D中，在每个人物组的人物标识符旁边示出与每个人物组相对应的片段编号。
在一些实施方式中，合并相同的集群可以包括将相应的片段集(基于合并的集群来确定)与多个人物组中的每一个相关联。例如，如图3D所示，片段1、2、7和8与人物组310相关联，而片段4、5和6与人物组330相关联。将片段与人物组相关联能够使得，当为人物组生成基于图像的创作时能够从片段中选择图像，如下参照框224进一步所述。框218可以后接框220。
在框218之后执行的框220中，确定至少一个人物组是否与少于阈值数目的片段相关联。例如，如图3D所示，人物组320与单个片段相关联(片段3)。在一些实施方式中，可以将片段的阈值数目选择为两个、三个或任何其他数目。选择较高的片段的阈值数目可以启用具有更大时间多样性(diversity)的基于图像的创作，因为基于图像的创作是基于人物组和关联片段的，如下参照框224所述。选择较低的片段的阈值数目可以启用生成更多数目的基于图像的创作，例如，通过将阈值选择为两个，与即使两个片段相关联的人物组也能够用于基于图像的创作，如下参照框224所述。
如果在框220中确定至少一个人物组与少于阈值数目的片段相关联，则框220后接框222。否则，框220后接框224。
在框222中，将至少一个人物组(在框220中识别为与少于阈值数目的片段相关联)与一个或多个其他人物组相组合。在一些实施方式中，与至少一个人物组相组合的一个或多个其他人物组各自包括所述至少一个人物组中所包括的人物标识符的子集。例如，图3E示出人物组320(与单个片段相关联)与人物组310(其包括人物A和B)和人物组330(其包括人物B和E)合并。
在一些实施方式中，将人物组相组合可以包括将与至少一个人物组相关联的片段与该人物组所组合的一个或多个其他人物组相关联。例如，在组合之后，如图3F所示，片段3与人物组310和人物组330相关联。将片段与人物组相关联使得当为人物组生成基于图像的创作时能够从片段中选择图像，如下参照框224进一步所述。
框222可以后接框224。在一些实施方式中，框220和222为可选的。在这些实施方式中，框218后接框224。
在框224中，提供用户界面，该用户界面包括基于多个人物组中的特定人物组的基于图像的创作。例如，可以将用户界面提供为在图像应用(例如，图像应用106)中显示的可动作的用户界面元素，使得当用户选择可动作的用户界面元素时，显示对应的基于图像的创作。在一些实施方式中，提供用户界面可以包括使指令显示待提供给用户的客户端设备的用户界面(例如，经由客户端设备120上的图像应用106b、web浏览器等)。
在一些实施方式中，可以响应于检测到满足以下触发条件中的至少一个而执行框224。示例触发条件可以是例如自从前一次执行方法200(或子部分，例如框224)而检测到最近捕获了与特定组相匹配的图像。另一个示例触发条件可以是检测到当前日期(在执行时间框224时)与和特定人物组相关联的日期相匹配。例如，当用户库包括与周期性事件(例如，生日、结婚周年纪念日、感恩节、圣诞节或其他假期等)相关联的人物组时，可以执行框224，使得在特定事件发生时或接近特定事件发生时提供具有基于图像的创作的用户界面。另一个示例触发条件可以是检测到与特定人物组相匹配的事件。例如，可以基于诸如旅行数据的用户许可的数据来检测与该人物组中的朋友或家人的计划的度假(或者正进行的度假或刚结束的度假)，并且可以相应地执行框224。
在一些实施方式中，当检测到触发条件为顶级时，可以提前将用于基于图像的创作的图像下载到客户端设备(例如，客户端设备120-126中的任何一个)。例如，如果生日是基于特定人物组的基于图像的创作的触发条件，则可以提前生成基于图像的创作，并且将其下载和缓存到客户端设备。替选地或附加地，可以将关于人物组的图像下载和缓存到客户端设备。这样的下载能够确保在检测到触发条件时基于图像的创作是可用的(或能够由客户端设备生成的)。
在一些实施方式中，可以基于用户图像库中的人物组总数来抑制触发，例如，对于具有含相对较少数目的人物组的小型图像库的用户，可以比为具有大型图像库的用户提供基于图像的创作的频率更低。这样的优点可以在于，即使在确定极少数人物组的情况下，也能以相对规则的时间间隔(例如，每月)或特殊时刻(例如，生日会)提供基于图像的创作。
在一些实施方式中，可以周期性执行框224，例如，每天一次、每周一次、每月一次等。在各种实施方式中，可以响应于这些或其他触发条件的任何组合而执行框224。
在一些实施方式中，可以部分地基于框224的触发条件来生成基于图像的创作。例如，如果响应于捕获新的图像而执行框224，则关于基于图像的创作的特定人物组可以为与图像中所描绘的人物部分地或完全地相匹配。在另一个示例中，当周期性(例如，每月一次、每年夏季一次等)生成针对特定人物组的基于图像的创作时，可以执行框224，使得在框224中所选择的图像的子集可以包括来自对应更早时段的图像。例如，如果在每年夏季执行框224，则可以执行选择图像的子集，使得选择来自与先前夏季相关联的片段的图像，并且排除来自其他季节的图像。
在一些实施方式中，执行框224，使得不频繁地重复特定人物组，例如，每次执行框224时选择不同的特定人物组，或者在相对较短的时间段内(例如，一个月、一个季度等)，不在用户界面中显示相似的基于图像的创作，或者不重复针对一个人物组的基于图像的创作，除非是针对该人物组有可用的新图像。
在一些实施方式中，提供用户界面可以包括基于特定人物组来选择图像的子集以用于基于图像的创作。例如，可以将图像的子集选择为使得图像的子集中的每个图像描绘出与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物。在一些实施方式中，可以将图像的子集选择为使得子集中的每个图像是与人物组的精确匹配。换而言之，在这些实施方式中，图像的子集可以仅描绘与人物组中的人物标识符相关联的人物，而不描绘其他人物。
在一些实施方式中，可以将图像的子集选择为使得子集中的每个图像是与特定人物组的匹配，但还包括一个或多个其他人物。换言之，在这些实施方式中，图像的子集可以描绘与特定人物组中的人物标识符相关联的全部人物，以及一个或多个其他人物(其可以在或可以不在另一个人物组中)。在一些实施方式中，可以将图像的子集选择为使得一个或多个其他人物(其不在特定人物组中)不属于任何其他人物组的一部分。
在更进一步的实施方式中，可以将图像的子集选择为使得子集中的每个图像是与特定人物组的部分匹配，例如，包括至少两个包括在特定人物组的两个或更多个人物标识符中的人物，并可选地包括一个或多个其他人物。换言之，在这些实施方式中，图像的子集可以描绘与人物组中的人物标识符相关联的人物中的至少两个，并可选地包括一个或多个其他人物(其可以在或可以不在另一个人物组中)。在这些实施方式中的一些中，可以将图像的子集选择为使得一个或多个其他人物(其不在特定人物组中)不属于任何其他人物组的一部分。
在一些实施方式中，可以将图像的子集选择为使得该子集包括来自多个片段中的至少两个片段的图像。例如，这样的实施方式可以确保基于图像的创作具有时间多样性。换言之，在这样的实施方式中，基于图像的创作描绘出来自其中用户库包括图像的多个不同时间段或事件的图像。在一些实施方式中，例如，当要以更大时间多样性生成基于图像的创作时，可以将图像的子集选择为包括来自更多数目的片段(例如，三个片段、五个片段、十个片段等)的图像。例如，可以从每个时间段(例如，每季度、每年等)或从每个片段中选择一定数目的图像。在一些实施方式中，片段可以与相应的片段显要性分值相关联，并且可以基于特定数目的高质量片段(如基于显要性分值所确定)来选择图像的子集。
在一些实施方式中，可以基于执行框224的当前日期来选择图像的子集。例如，当以规则的时间间隔(例如，每月)执行针对特定人物组选择子集，使得每月提供一次针对特定人物组的基于图像的创作时，可以从前些年的对应月份的图像中选择图像的子集，例如，以向所述人物组提供“A and B in July”(A和B在7月份)形式的基于图像的创作。其他时间段(诸如季节、季度等)也能用于选择照片。
在一些实施方式中，可以将图像的子集选择为使得该子集包括提供位置多样性、姿势多样性或视觉多样性中的一个或多个的图像。例如，当用户已提供与用户图像库中的图像相关联的位置的访问许可时(例如，经由图像分析或从图像元数据中所确定)，则将图像的子集选择为使得来自多个位置(例如，两个、三个或更多个位置)的图像被包括在子集中。
在一些实施方式中，当用户已提供与用户库中的图像相关联的姿势数据的访问许可时，这样的数据可以用于将图像的子集选择为使得图像提供姿势多样性。例如，姿势数据可以指示图像中一个或多个人物(包括与特定人物组相关联的人物标识符)的姿势，诸如坐、站、跳舞、跳跃、弯腰、下蹲、举手击掌等。
在一些实施方式中，当用户已提供与用户库中的图像相关联的其他图像相关数据的访问许可时，这样的数据可以用于将图像的子集选择为使得图像提供视觉多样性。例如，这样的数据可以指示有关图像中描绘的对象的数据，例如山脉、地标、海洋、花卉、动物、人造物体(例如，蛋糕、自行车、游艇等)等。
在一些实施方式中，可以基于与特定人物组相关联的片段中所包括的相应图像集来选择图像的子集以用于基于图像的创作。例如，可以将图像的子集选择为使得该子集中的每个图像描绘出与特定人物组中所包括的两个或更多个人物标识符中的至少两个相对应的人物，并且每个图像选自与特定组相关联的片段之一。
在一些实施方式中，可以将子集选择为排除某些类型的图像，例如，模糊图像、以小尺寸描绘面部的图像、不符合质量标准的图像、不合适的图像、图像格式要求特殊查看器的图像(例如，360度图像、3D图像等)、具有极端长宽比的图像(例如，不适合客户端设备屏幕的极宽或极长的图像)、子集(例如，描绘相同对象或具有相似姿势的相同人物等)中图像重复(或接近重复)的图像、用户已手动隐藏的图像(例如，用户不再与之有关系的人物的图像)，等等。不会选择用于描绘已被手动隐藏的人物的图像。用户也能够选择隐藏一个或多个时间段，使得例如通过排除在一个或多个时间段中的至少一个内或与之重叠的时间段内发生的片段，将来自这些时间段的图像从基于图像的创作中排除。例如，用户可以隐藏特定的日期、日期范围等。
在一些实施方式中，基于用户提供的许可，上述因素的任意组合，例如，人物组的人物标识符的全部或子集；包括或排除不在人物组中的其他人物；从中选择图像的子集的片段；位置多样性、姿势多样性或视觉多样性；与人物组相关联的片段；等等，可以用来选择图像的子集以用于基于图像的创作。
在一些实施方式中，提供基于图像的创作可以进一步包括基于图像的子集来生成基于图像的创作。例如，在一些实施方式中，基于图像的创作可以是图像的子集的幻灯片。在这些实施方式中，生成基于图像的创作可以包括依序排列幻灯片中的图像以及每个图像的相应显示时段。例如，基于每个图像中所描绘的人物数目、基于图像是否与特定人物组准确匹配、图像的视觉内容(例如，图像中描绘的笑脸、姿势、对象)、与图像相关联的位置或者其他因素，可以按时间顺序组织图像。在一些实施方式中，基于图像的创作可以包括图像拼贴、图像相册、影片(例如，短视频)等。在一些实施方式中，用户界面可以为用户提供与其他用户(例如，人物组中的那些用户或其他用户)共享基于图像的创作的选项。
在各种实施方式中，方法200的各个框可以组合、分成多个框、并行执行或异步执行。在一些实施方式中，可以不执行方法200的一个或多个框。例如，在一些实施方式中，可以不执行框214和216，以及可以在框214之后执行框218。在一些实施方式中，可以执行多次框224，例如，以针对多个人物组中的每组来选择图像的子集并且生成在用户界面中提供的多个基于图像的创作。
可以通过使用附加输入将方法200或其一些部分重复任意多次。例如，在一些实施方式中，当将一个或多个新的片段添加到用户图像库时，可以执行方法200。在这些实施方式中，执行方法200可以包括更新先前获得的人物组，或者获得一个或多个附加人物组。在一些实施方式中，可以在初始时间执行框210-222以获得人物组，并且可以在稍后时间执行框224，例如，以按需提供用户界面(例如，当用户访问图像应用106时)。
图4A示出根据本文所述的一些实施方式的示例用户界面400。用户界面400可以被显示在客户端设备上，例如客户端设备120-126中的任何一个。在一些实施方式中，用户界面400可以包括可动作的用户界面元素402、可动作的用户界面元素的标题404和图像网格406。
图像网格406可以包括用户图像库的多个图像。为简明起见，图4A示出每行包括3个图像的网格。在各种实施方式中，网格可以每行包括任意数目的图像，并可以是可滚动的。在一些实施方式中，图像网格406中的图像可以按相反的时间顺序排列。
可动作的用户界面(UI)元素402可以与对应的基于图像的创作相关联。在一些实施方式中，当如上参照图2和图3A至图3F所述基于人物组生成可动作的用户界面元素402时，可动作的用户界面元素的标题404可以包括与为其生成基于图像的创作的人物组的人物标识符相关联的名称。可动作的UI元素402可以包括基于图像的创作的特定图像。所述特定图像可以基于各种因素来选择，例如，图像质量(例如，清晰度、亮度等)、图像中描绘的面部大小和/或质量、图像新近度、图像分辨率、图像是否包括一个或多个笑脸、如果图像为视频则该视频的长度，例如不选择过短(例如，不足3秒)或过长(例如，超过30秒)的视频，等等。可以将图像选择为使得其仅包括与人物组相关联的人物。包括在可动作的UI元素402中的图像可以被称为用于基于图像的创作的封面图像。
例如，在图4B中，标题404为“A and B”(A和B)，指示基于图像的创作是基于包括人物A和B的人物组。在一些实施方式中，例如，当人物组很大时，或者当一个或多个人物的名称不可用时，标题404可以指示名称子集，例如“A,B,and friends”(A、B和朋友)。在一些实施方式中，可以基于包括在基于图像的创作中的图像的子集来生成标题404。
用户可以例如经由轻击触摸屏、鼠标点击或其他类型的输入来选择可动作的用户界面(UI)元素402。响应于选择可操作的用户界面元素402，可以向用户显示对应的基于图像的创作，如图4B所示。
图4B示出示例用户界面412-416。用户界面(UI)412-416显示基于图像的创作。例如，当基于图像的创作是包括三个与包括人物A和B的特定人物组相关联的图像的幻灯片时，可以依序显示这些图像。例如，可以在第一时间量内显示包括基于图像的创作的第一图像的UI 412，随后在第二时间量内显示包括第二图像的UI 414，随后在第三时间量内显示包括第三图像的UI 416。在一些实施方式中，UI 412、UI 414和UI 416中的每个可以包括相同的标题(与图4A中的标题404相同)或者在UI 412至UI 416中显示的图像的相应标题。在一些实施方式中，可以在UI 412至UI 416中不显示任何标题。基于图像的创作中的图像可以按各种相继顺序排列，例如，按时间逆序、按时间顺序、按人物数目、与人物组的精确匹配、随后部分匹配或者任何其他顺序。如图所示，在所述三个UI中的图像描绘了相同的两个个人A和B。
图5是可以用于实施本文描述的一个或多个特征的示例设备500的框图。在一个示例中，设备500可以用于实施客户端设备，例如，图1中所示的客户端设备120-126中的任一个。替换地，设备500可实施服务器设备，例如，服务器104。在一些实施方式中，设备500可以是用于实施客户端设备、服务器设备、或客户端和服务器设备两者。设备500可以是如上所述的任何适合的计算机系统、服务器、或其它电子或硬件设备。
可以在可在任何类型的计算设备上执行的独立程序、在web浏览器上运行的程序、在移动计算设备(例如，手机、智能电话、平板计算机、可穿戴设备(腕表、臂章、珠宝、头饰、虚拟现实护目镜或眼镜、增强现实护目镜或眼镜、头戴式显示器等)、膝上型计算机等)上运行的移动应用(“app”)中运行本文描述的一种或多种方法。在一个示例中，可使用客户端/服务器架构，例如，移动计算设备(作为客户端设备)，向服务器设备发送用户输入数据并且从服务器接收最终输出数据以进行输出(例如，以进行显示)。在另一示例中，可在移动计算设备上的移动app(和/或其它app)内执行所有计算。在另一示例中，可在移动计算设备和一个或多个服务器设备之间拆分计算。
在一些实施方式中，设备500包括处理器502、存储器504和输入/输出(I/O)接口506。处理器502可以是用于执行程序代码并且控制设备500的基本操作的一个或多个处理器和/或处理电路。“处理器”包括用于处理数据、信号或其它信息的任何适合的硬件系统、机制、或组件。处理器可以包括具有带一个或多个核心(例如，在单个核心、双核心、或多核心配置中)的通用中央处理单元(CPU)、多个处理单元(例如，在多处理器配置中)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复杂可编程逻辑器件(CPLD)、用于实现功能性的专用电路、用于实现基于神经网络模型的处理的专用处理器、神经电路、针对矩阵计算(例如，矩阵乘法)而优化的处理器的系统、或其它系统。在一些实施方式中，处理器502可以包括实施神经网络处理的一个或多个协处理器。在一些实施方式中，处理器502可以是用于处理数据以产生概率输出的处理器，例如，由处理器502产生的输出可以是不精确的或者可以在距预期输出的范围内是准确的。处理不必限于特定地理位置或者具有时间限制。例如，处理器可以“实时地”、“离线”、在“批处理模式”等下执行其功能。可以通过不同的(或相同的)处理系统来在不同的时间并在不同的位置处执行处理的各部分。计算机可以是与存储器通信的任何处理器。
存储器504通常被设置在设备500中以供由处理器502访问，并且可以是适合于存储由处理器执行的指令并被定位为与处理器502分开和/或与其集成在一起的任何适合的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除只读存储器(EEPROM)、闪速存储器等。存储器504可存储由处理器502在服务器设备500上操作的软件，包括操作系统508、图像管理应用510(例如，可以与图1的图像应用106相同)、其它应用512、和应用数据514。其它应用512可以包括例如数据显示引擎、、web托管引擎、地图应用、图像显示引擎、通知引擎、社交网络引擎等等。在一些实施方式中，图像应用510可以包括使得处理器502能够执行本文描述的功能(例如，图2的方法中的一些或全部)的指令。
其他应用512可以包括例如地图应用、图像编辑应用、媒体显示应用、通信应用、web托管引擎或应用、媒体共享应用等等。本文公开的一种或多种方法可在多个环境和平台中操作，例如，作为可在任何类型的计算设备上运行的独立计算机程序、作为具有web页面的web应用、作为在移动计算设备上运行的移动应用(“app”)等。
存储器504中的软件中的任一个可替换地被存储在任何其它适合的存储位置或计算机可读介质上。此外，存储器504(和/或其它连接的存储设备)可存储一个或多个消息、一个或多个分类法、电子百科全书、词典、同义词库、知识库、消息数据、语法、用户偏好、和/或本文描述的特征中使用的其它指令和数据。存储器504和任何其它类型的存储装置(磁盘、光盘、磁带、或其它有形介质)可被认为是“存储装置”或“存储设备”。
I/O接口506可提供用于使得能够将服务器设备500与其它系统和设备对接的功能。对接设备可作为设备500的一部分被包括、或者可以是分开的并与设备500进行通信。例如，网络通信设备、存储设备(例如，存储器和/或数据库)、和输入/输出设备可经由I/O接口506通信。在一些实施方式中，I/O接口可连接到接口设备，诸如输入设备(键盘、指点设备、触摸屏、麦克风、相机、扫描仪、传感器等)和/或输出设备(显示设备、扬声器设备、打印机、电机等)。
可连接到I/O接口506的对接设备的一些示例可包括一个或多个显示设备520，所述显示设备520可用于显示内容，例如，图像、视频、和/或如本文所描述的应用的用户界面。显示设备520可经由本地连接(例如，显示总线)和/或经由联网连接来连接到设备500并且可以是任何适合的显示设备。显示设备520可包括任何适合的显示设备，诸如LCD、LED、或等离子体显示屏幕、CRT、电视、监视器、触摸屏、3-D显示屏幕、或其它视觉显示设备。例如，显示设备520可以是在移动设备上提供的平板显示屏幕、在护目镜或头戴式耳机设备中提供的多个显示屏幕、或用于计算机设备的监视器屏幕。
I/O接口506可与其它输入和输出设备对接。一些示例包括可捕获图像的一个或多个相机。一些实施方式可提供用于捕获声音(例如，作为捕获的图像、话音命令等的一部分)的麦克风、用于输出声音的音频扬声器设备、或其它输入和输出设备。
为了便于图示，图5示出了用于处理器502、存储器504、I/O接口506、和软件框508、510和512中的每一个的一个框。这些框可以表示一个或多个处理器或处理电路、操作系统、存储器、I/O接口、应用、和/或软件模块。在其它实施方式中，设备500可以不具有所示的所有组件，并且/或者代替本文所示的那些元件或者除了本文所示的那些元件之外还可以具有包括其它类型的元件的其它元件。虽然一些组件被描述为执行如本文的一些实施方式中所描述的框和操作，但是环境100、设备500、类似的系统的组件中的任何适合的组件或组合、或与这样的系统相关联的任何适合的一个或多个处理器可以执行所描述的框和操作。
本文描述的方法可通过可在计算机上执行的计算机程序指令或代码来实施。例如，代码可由一个或多个数字处理器(例如，微处理器或其它处理电路)实施并且可被存储在包括非暂时性计算机可读介质(例如，存储介质)的计算机程序产品上，所述非暂时性计算机可读介质诸如磁、光学、电磁、或半导体存储介质，包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、硬磁盘、光盘、固态存储器驱动器等。程序指令还可被包含在电子信号中并作为电子信号被提供，例如以从服务器(例如，分布式系统和/或云计算系统)递送的软件即服务(SaaS)的形式提供。替换地，一种或多种方法可用硬件(逻辑门等)或者用硬件和软件的组合加以实施。示例硬件可以是可编程处理器(例如，现场可编程门阵列(FPGA)、复杂可编程逻辑器件)、通用处理器、图形处理器、专用集成电路(ASIC)等。可将一种或多种方法作为在系统上运行的应用的一部分或组件、或者作为与其它应用和操作系统相结合地运行的应用或软件来执行。
尽管已相对于说明书的特定实施方式描述了说明书，但是这些特定实施方式仅仅是说明性的，而不是限制性的。示例中图示的概念可以被应用于其它示例和实施方式。
除以上描述之外，可以向用户提供有允许用户关于本文中描述的系统、程序或特征是否以及何时可以使得能够收集用户信息(例如，关于用户的社交网络、社交动作或活动、专业、用户的偏好、或用户的当前位置的信息)并且用户是否被从服务器发送了内容或通信做出选择的控制。此外，某些数据可以在它被存储或者使用之前被以一个或多个方式处理，使得个人可识别的信息被移除。例如，可以处理用户的身份，使得对用户来说不能够确定个人可识别的信息，或者用户的地理位置可以在获得位置信息的情况下被一般化(诸如到城市、邮政编码、或州级别)，使得不能够确定用户的特定位置。因此，用户可以具有对收集关于用户的什么信息、如何使用该信息并且向用户提供什么信息的控制。
注意的是，如将为本领域的技术人员所知的那样，可以将本公开中描述的功能块、操作、特征、方法、设备和系统集成或者划分到系统、设备和功能块的不同组合中。可以使用任何适合的编程语言和编程技术来实施特定实施方式的例行程序。可以采用不同的编程技术，例如过程的或面向对象的。例行程序可以在单个处理设备或多个处理器上执行。尽管可以以具体次序呈现步骤、操作或计算，但是可以在不同的特定实施方式中改变该次序。在一些实施方式中，可以同时执行在本说明书中示出为有顺序的多个步骤或操作。

Claims (20)

1.一种计算机实施的方法，所述方法包括：
获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和在所述相应的图像集中的每个图像的人物标识符；
针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符；
确定一个或多个人物标识符是否被包括在少于阈值数目的集群中；
如果确定所述一个或多个人物标识符被包括在少于所述阈值数目的集群中，则从其中包括所述一个或多个人物标识符的所述集群中移除所述一个或多个人物标识符；
在所述移除之后，合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符；以及
提供用户界面，所述用户界面包括基于所述多个人物组中的特定人物组的基于图像的创作。
2.根据权利要求1所述的计算机实施的方法，其中，针对每个片段形成相应的集群包括：
将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到所述集群；
从所述片段的图像集中确定包括所述片段的最频繁的人物标识符的图像数目；以及
从所述集群中移除与少于阈值数目的图像相关联的人物标识符，所述图像的阈值数目是基于包括所述片段的所述最频繁的人物标识符的所述图像数目而确定的。
3.根据权利要求1所述的计算机实施的方法，进一步包括：
在所述合并之后，确定至少一个人物组与少于阈值数目的片段相关联；以及
响应于确定至少一个人物组与少于所述阈值数目的片段相关联，将所述至少一个人物组与一个或多个其他人物组相组合，其中，所述一个或多个其他人物组各自包括所述至少一个人物组中所包括的所述人物标识符的子集，
并且其中，提供所述用户界面在合并所述至少一个人物组之后被执行。
4.根据权利要求1所述的计算机实施的方法，
其中，合并所述相同的集群包括：基于所述集群将相应的片段集与所述多个人物组中的每个人物组相关联，并且
其中，提供所述基于图像的创作包括：从与所述特定人物组相关联的片段中所包括的所述相应的图像集中，选择图像的子集以用于所述基于图像的创作，其中所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的至少两个人物标识符相对应的人物。
5.根据权利要求1所述的计算机实施的方法，其中，提供所述用户界面响应于以下中的至少一项而被执行：
检测到与所述特定组相匹配的图像最近被捕获；
检测到当前日期与和所述特定人物组相关联的日期相匹配；或者
检测到与所述特定人物组相匹配的事件。
6.根据权利要求1所述的计算机实施的方法，其中，提供所述基于图像的创作包括：
基于所述特定人物组来选择图像的子集以用于所述基于图像的创作，其中，所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的至少两个人物标识符相对应的人物；以及
基于所述图像的子集来生成所述基于图像的创作。
7.根据权利要求6所述的计算机实施的方法，其中，所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的每个人物标识符相对应的人物。
8.根据权利要求6所述的计算机实施的方法，其中，所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的至少两个人物标识符相对应的人物。
9.根据权利要求6所述的计算机实施的方法，其中，所述图像的子集包括来自所述多个片段中的至少两个片段的图像。
10.根据权利要求9所述的计算机实施的方法，其中，所述图像的子集被选择以使得所述子集提供以下中的一个或多个：位置多样性、姿势多样性或视觉多样性。
11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令当由处理器执行时，使所述处理器执行包括下述的操作：
获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和在所述相应的图像集中的每个图像的人物标识符；
针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符；
确定一个或多个人物标识符是否被包括在少于阈值数目的集群中；
如果确定所述一个或多个人物标识符被包括在少于所述阈值数目的集群中，则从其中包括所述一个或多个人物标识符的所述集群中移除所述一个或多个人物标识符；
在所述移除之后，合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符；以及
提供用户界面，所述用户界面包括基于所述多个人物组中的特定人物组的基于图像的创作。
12.根据权利要求11所述的非暂时性计算机可读介质，其中，针对每个片段形成相应的集群包括：
将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到所述集群；
从所述片段的图像集中确定包括所述片段的最频繁的人物标识符的图像数目；以及
从所述集群中移除与少于阈值数目的图像相关联的人物标识符，所述图像的阈值数目是基于包括所述片段的所述最频繁的人物标识符的所述图像数目而确定的。
13.根据权利要求11所述的非暂时性计算机可读介质，具有存储在所述非暂时性计算机可读介质上的进一步指令，所述进一步指令使所述处理器执行包括下述的操作：
在所述合并之后，确定至少一个人物组与少于阈值数目的片段相关联；以及
响应于确定至少一个人物组与少于所述阈值数目的片段相关联，将所述至少一个人物组与一个或多个其他人物组相组合，其中，所述一个或多个其他人物组各自包括所述至少一个人物组中所包括的所述人物标识符的子集，
并且其中，提供所述用户界面在合并所述至少一个人物组之后被执行。
14.根据权利要求11所述的非暂时性计算机可读介质，其中，提供所述基于图像的创作包括：
基于所述特定人物组来选择图像的子集以用于所述基于图像的创作，其中，所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的至少两个人物标识符相对应的人物；以及
基于所述图像的子集生成所述基于图像的创作。
15.根据权利要求11所述的非暂时性计算机可读介质，其中：
合并所述相同的集群包括：基于所述集群将相应的片段集与所述多个人物组中的每个人物组相关联，并且
其中，提供所述基于图像的创作包括：从与所述特定人物组相关联的所述片段中所包括的所述相应的图像集中，选择图像的子集以用于所述基于图像的创作。
16.一种计算设备，包括：
处理器；和
存储器，所述存储器被耦合至所述处理器，具有存储在所述存储器上的指令，所述指令当由所述处理器执行时，使所述处理器执行包括下述的操作：
获得多个片段，其中，每个片段与对应的时间段相关联，并包括相应的图像集和所述相应的图像集中的每个图像的人物标识符；
针对每个片段形成相应的集群，其中，每个集群包括至少两个人物标识符；
确定一个或多个人物标识符是否被包括在少于阈值数目的集群中；
如果确定所述一个或多个人物标识符被包括在少于所述阈值数目的集群中，则从其中包括所述一个或多个人物标识符的所述集群中移除所述一个或多个人物标识符；
在所述移除之后，合并相同的集群以获得多个人物组，其中，每个人物组包括两个或更多个人物标识符；以及
提供用户界面，所述用户界面包括基于所述多个人物组中的特定人物组的基于图像的创作。
17.根据权利要求16所述的计算设备，其中，针对每个片段形成所述相应的集群的操作包括：
将在所述片段的图像集中的至少一个图像中出现的全部人物标识符映射到所述集群；
从所述片段的图像集中确定包括所述片段的最频繁的人物标识符的图像数目；以及
从所述集群中移除与少于阈值数目的图像相关联的人物标识符，所述图像的阈值数目是基于包括所述片段的所述最频繁的人物标识符的所述图像数目而确定的。
18.根据权利要求16所述的计算设备，其中，所述存储器具有存储在所述存储器上的进一步的指令，所述进一步的指令当由处理器执行时，使所述处理器执行包括下述的操作：
在所述合并之后，确定至少一个人物组与少于阈值数目的片段相关联；以及
响应于确定至少一个人物组与少于所述阈值数目的片段相关联，将所述至少一个人物组与一个或多个其他人物组相组合，其中，所述一个或多个其他人物组各自包括所述至少一个人物组中所包括的所述人物标识符的子集，
并且其中，提供所述用户界面在合并所述至少一个人物组之后被执行。
19.根据权利要求16所述的计算设备，其中，提供所述基于图像的创作的操作包括：
基于所述特定人物组来选择图像的子集以用于所述基于图像的创作，其中，所述图像的子集中的每个图像描绘与所述特定人物组中所包括的所述两个或更多个人物标识符中的至少两个人物标识符相对应的人物；以及
基于所述图像的子集来生成所述基于图像的创作。
20.根据权利要求16所述的计算设备，其中，合并所述相同的集群的操作包括：基于所述集群将相应的片段集与所述多个人物组中的每个人物组相关联，并且其中，提供所述基于图像的创作包括：从与所述特定人物组相关联的所述片段中所包括的所述相应的图像集中，选择图像的子集以用于所述基于图像的创作。
CN202080005126.1A 2020-06-25 2020-06-25 人物组和基于图像的创作的自动生成 Pending CN114127779A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/039706 WO2021262183A1 (en) 2020-06-25 2020-06-25 Automatic generation of people groups and image-based creations

Publications (1)

Publication Number Publication Date
CN114127779A true CN114127779A (zh) 2022-03-01

Family

ID=71579691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005126.1A Pending CN114127779A (zh) 2020-06-25 2020-06-25 人物组和基于图像的创作的自动生成

Country Status (6)

Country Link
US (2) US11475616B2 (zh)
EP (2) EP4250252B1 (zh)
JP (2) JP7167318B2 (zh)
KR (2) KR20230147752A (zh)
CN (1) CN114127779A (zh)
WO (1) WO2021262183A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103236A (zh) * 2022-06-16 2022-09-23 抖音视界(北京)有限公司 影像记录生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220385694A1 (en) * 2021-05-20 2022-12-01 Group Ib, Ltd Method and device for clustering phishing web resources based on visual content image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298766A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Interactive Photo Annotation Based on Face Clustering
US20100238191A1 (en) * 2009-03-19 2010-09-23 Cyberlink Corp. Method of Browsing Photos Based on People

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003903728A0 (en) * 2003-07-21 2003-07-31 Hao Hang Zheng Method and system for performing combined image classification storage and rapid retrieval on a computer database
KR100601997B1 (ko) 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
JP2006236218A (ja) 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP4577173B2 (ja) 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8031914B2 (en) 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US10169646B2 (en) * 2007-12-31 2019-01-01 Applied Recognition Inc. Face authentication to mitigate spoofing
US20100278396A1 (en) 2008-01-18 2010-11-04 Nikon Corporation Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program
WO2010041377A1 (ja) 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
CN102265598A (zh) * 2008-10-26 2011-11-30 惠普开发有限公司 使用基于内容的过滤和基于主题的聚类将图像布置到页面中
US8457366B2 (en) * 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
US8121358B2 (en) 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
JP2011113270A (ja) 2009-11-26 2011-06-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8351661B2 (en) * 2009-12-02 2013-01-08 At&T Intellectual Property I, L.P. System and method to assign a digital image to a face cluster
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5469181B2 (ja) 2010-01-25 2014-04-09 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US9122912B1 (en) 2012-03-15 2015-09-01 Google Inc. Sharing photos in a social network system
JP6018029B2 (ja) 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US9836464B2 (en) * 2014-07-31 2017-12-05 Microsoft Technology Licensing, Llc Curating media from social connections
CA3003084A1 (en) * 2014-10-23 2016-04-28 Dele Atanda Intelligent personal information management system
CN110348274B (zh) 2018-04-08 2022-03-04 杭州海康威视数字技术股份有限公司 一种人脸识别方法、装置及设备
US10740400B2 (en) * 2018-08-28 2020-08-11 Google Llc Image analysis for results of textual image queries
US11151386B1 (en) * 2020-03-04 2021-10-19 Amazon Technologies, Inc. Automated identification and tagging of video content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298766A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Interactive Photo Annotation Based on Face Clustering
US20100238191A1 (en) * 2009-03-19 2010-09-23 Cyberlink Corp. Method of Browsing Photos Based on People

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JONGHAK KIM等: "Acquaintances Clustering for Social Relationship-Based Indexing of Digital Photos", 《IFIP INTERNATIONAL FEDERATION FOR INFORMATION PROCESSING》, 6 August 2010 (2010-08-06) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103236A (zh) * 2022-06-16 2022-09-23 抖音视界(北京)有限公司 影像记录生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3948659A1 (en) 2022-02-09
JP7167318B2 (ja) 2022-11-08
EP4250252A1 (en) 2023-09-27
US11475616B2 (en) 2022-10-18
KR20230147752A (ko) 2023-10-23
EP3948659B1 (en) 2023-08-30
US11783521B2 (en) 2023-10-10
KR102589154B1 (ko) 2023-10-13
EP4250252B1 (en) 2024-09-25
JP2023017827A (ja) 2023-02-07
WO2021262183A1 (en) 2021-12-30
JP2022541081A (ja) 2022-09-22
US20230018830A1 (en) 2023-01-19
JP7515552B2 (ja) 2024-07-12
US20220036614A1 (en) 2022-02-03
KR20220000981A (ko) 2022-01-04

Similar Documents

Publication Publication Date Title
US11778028B2 (en) Automatic image sharing with designated users over a communication network
US10885380B2 (en) Automatic suggestion to share images
US11209442B2 (en) Image selection suggestions
US20160283483A1 (en) Providing selected images from a set of images
US11775139B2 (en) Image selection suggestions
JP7515552B2 (ja) 人々のグループおよび画像ベースの作成物の自動生成
CN114080615A (zh) 反映用户偏好的基于机器学习的图像压缩设置
US10885619B2 (en) Context-based imagery selection
US20240070189A1 (en) Device messages provided in displayed image compilations based on user content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination