CN109716275A - 基于个性化主题以多维模式来显示图像的方法 - Google Patents

基于个性化主题以多维模式来显示图像的方法 Download PDF

Info

Publication number
CN109716275A
CN109716275A CN201780057627.2A CN201780057627A CN109716275A CN 109716275 A CN109716275 A CN 109716275A CN 201780057627 A CN201780057627 A CN 201780057627A CN 109716275 A CN109716275 A CN 109716275A
Authority
CN
China
Prior art keywords
personalized
theme
image
electronic equipment
personalized theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780057627.2A
Other languages
English (en)
Other versions
CN109716275B (zh
Inventor
劳珊·库马尔
维斯瓦纳特·戈帕拉克里希南
比普拉伯·钱德拉·达斯
基兰·南均达·耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109716275A publication Critical patent/CN109716275A/zh
Application granted granted Critical
Publication of CN109716275B publication Critical patent/CN109716275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode

Abstract

提供了一种基于个性化主题以多维模式来显示图像的方法，所述方法包括：由电子设备基于在预定时间段上在所述电子设备中存储的多个图像来生成多个个性化主题；以及由所述电子设备沿着时间线来显示所述多个个性化主题。

Description

基于个性化主题以多维模式来显示图像的方法
技术领域
本公开涉及显示图像。更具体地，本公开涉及一种基于个性化主题以多维模式来显示图像的方法。
背景技术
诸如智能电话之类的电子设备能够从多个电子设备中以及通过互联网来检索图像。经由电子设备中的相机所捕捉的图像也可以被存储在该电子设备中。在一段时间内，电子设备中存储的(要么从其它源检索到的，要么通过相机捕捉的)图像的数量可能相对较大。在已有的电子设备中，当在电子设备中存储数量相对较小的图像时，用户可以容易地从电子设备中检索到想要的图像。然而，在用户希望沿时间线观看特定图像并且在电子设备中存储了大量的图像的情况下，用户必须经由便于图像观看的应用来手动地操纵电子设备。当电子设备中存储了大量图像时，这对用户来说可能是麻烦且不方便的。
因此，需要一种能够自动地将图像分类成多个类别从而使用户能够容易地访问电子设备中存储的特定图像的方法。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。
发明内容
技术方案
本公开的各个方面要至少处理上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一个方面是提供一种基于个性化主题以多维模式来显示图像的方法。
本公开的另一方面是提供一种基于图像内容将图像归类成特定类别的方法，从而使用户能够容易地访问图像。
发明的有益效果
本公开可以自动地将图像分类成多个类别，从而使用户能够容易地访问电子设备中存储的特定图像。
附图说明
根据结合附图所描述的以下描述，本公开的某些实施例的上述和其它方面、特征和优点将更清楚，在附图中：
图1A和图1B是示出了根据本公开的各种实施例的基于个性化主题以多维模式来显示图像的方法的代表性框图；
图2A、图2B和图2C描绘了根据本公开的各种实施例的根据多个图像来生成多个个性化主题的示例场景；
图3示出了根据本公开实施例的二维(2-D)用户界面(UI)，其用于基于沿着时间线显示的多个个性化主题来浏览电子设备中的图像；
图4示出了根据本公开实施例的用于实现所公开的方法的电子设备的各种单元；
图5是描绘了根据本公开实施例的基于个性化主题以多维模式来显示图像的方法的流程图；
图6示出了根据本公开实施例的通过在电子设备中包括新图像而在时间线上对个性化主题的更新；
图7示出了根据本公开实施例的在电子设备中包括新图像的的时间段内对分层级别的形成；
图8A和图8B示出了根据本公开的各种实施例的基于触摸手势在时间段上显示图像，其中，所显示的图像被归类在个性化主题下；
图9示出了根据本公开的实施例的基于滑动手势在时间段上显示被归类在个性化主题下的图像；
图10A和图10B示出了根据本公开的各种实施例的基于捏开手势在时间线上显示通过个性化主题被归类的图像，该个性化主题是个性化主题的分层级别；
图11A和图11B示出了根据本公开的各种实施例的基于捏开手势在时间线上显示被归类在多个个性化主题中的每一个个性化主题的至少一个分层级别个性化主题下的图像；
图12A、图12B和图12C示出了根据本公开的各种实施例的基于捏开手势在时间线上显示被归类在至少两个个性化主题下的图像；
图13A、图13B和图13C示出了根据本公开的各种实施例的显示被归类在新的个性化主题下的图像，其中，该新的个性化主题包括被归类在两个个性化主题下的图像；以及
图14示出了根据本公开实施例的实现所公开的基于个性化主题以多维模式来显示图像的方法的计算环境。
贯穿附图，相似的附图标记将被理解为指代相似的部分、组件和结构。
具体实施方式
本公开的各个方面是为了至少处理上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一个方面提供了一种基于个性化主题以多维模式来显示图像的方法。
本公开的另一方面提供了一种基于图像内容将图像归类成特定类别的方法，从而使用户能够容易地访问图像。
本公开的另一方面提供了一种根据在预定时间段上存储到电子设备中的多个图像来生成多个个性化主题的方法。
本公开的另一方面提供了一种沿着时间线显示多个个性化主题的方法。
本公开的另一方面提供了：对是否将图像存储到电子设备的监控。
本公开的另一方面提供了：响应于识别新近存储到电子设备的图像来动态更新多个个性化主题。
本公开的另一方面提供了：在电子设备中包括新图像的情况下，形成多个个性化主题中的每一个个性化主题的分层级别个性化主题。
根据本公开的一个方面，提供了一种用于基于个性化主题以多维模式来显示图像的方法和电子设备。该方法包括：基于在预定时间段上在所述电子设备中存储的多个图像来生成多个个性化主题；以及沿着时间线来显示多个个性化主题。
在实施例中，该方法包括：结合多个个性化主题中的每一个个性化主题沿着时间线来显示标记；以及根据在预定时间段内电子设备中包括的图像的数量来改变标记。
在实施例中，生成多个个性化主题包括：基于与图像相关联的标签来生成多个个性化主题中的每一个个性化主题。
在实施例中，该方法包括：在预定时间段之后的连续时间段期间，以一定间隔来监控是否将至少一个图像存储到电子设备。
在实施例中，该生成包括：针对多个个性化主题中的每一个个性化主题来形成分层级别个性化主题。
该方法包括：检测与多个个性化主题中的一个个性化主题相对应的标记上的手势，并且之后基于检测到的手势来显示被归类在多个个性化主题中的一个个性化主题下的图像。
在实施例中，该方法包括：针对时间线中包括的时间段来检测与多个个性化主题中的一个个性化主题相对应的标记上的触摸手势。此外，该方法包括：显示与时间线中包括的时间段相对应的、被归类在多个个性化主题中的一个个性化主题下的图像。
在实施例中，该方法包括：检测与多个个性化主题中的一个个性化主题和时间线中包括的时间段相对应的标记上的滑动手势；以及显示被归类在该个性化主题下并且与时间线中包括的时间段相对应的图像。
在实施例中，该方法包括：检测与多个个性化主题中的一个个性化主题和时间线中包括的时间段相对应的标记上的捏开手势；以及针对该个性化主题来显示与时间线中包括的时间段相对应并且被归类在与该个性化主题相对应的分层级别个性化主题下的图像。
在实施例中，该方法包括：检测针对时间线中包括的时间段的捏开手势输入；根据电子设备中包括的并且与时间线中包括的时间段相对应的多个图像来生成多个附加个性化主题；以及在时间线上显示该多个附加个性化主题。
在实施例中，该方法包括：检测针对多个个性化主题中包括的至少两个个性化主题和时间线中包括的时间段的手势输入；检测针对至少两个个性化主题和时间线中包括的时间段的捏开手势输入；将与至少两个个性化主题相关联的图像归类在属于至少两个个性化主题的分层级别个性化主题下；以及显示被归类在该分层级别个性化主题下的图像。
在实施例中，该方法包括：检测针对多个个性化主题中包括的至少两个个性化主题和时间线中包括的时间段的手势输入；检测针对至少两个个性化主题和时间线中包括的时间段的捏合手势输入；形成包括被归类在两个个性化主题下的图像在内的新的个性化主题；以及显示被归类在所形成的个性化主题下的图像。对新的个性化主题的形成包括：识别至少两个个性化主题的分层级别级个性化主题。
根据本公开的另一方面，提供了一种用于基于个性化主题以多维模式来显示图像的电子设备。该电子设备包括至少一个处理器，所述至少一个处理器被配置为：基于在预定时间段上在电子设备中存储的多个图像来生成多个个性化主题；以及沿着时间线显示多个个性化主题。
根据结合附图公开了本公开各种实施例的以下具体实施方式，本公开的其它方面、优点和突出特征对于本领域技术人员将变得清楚明白。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同物所限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，对于本领域技术人员来说应当清楚明白的是：提供对本公开的各种实施例的以下描述以仅用于说明的目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。
应当理解的是：除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个表面的引用。
因此，本文中的实施例提供了一种用于基于个性化主题以多维模式来显示图像的方法和电子设备。该方法包括基于在选定的和/或预定的时间段上在电子设备中存储的多个图像来生成多个个性化主题。此外，该方法包括沿时间线显示多个个性化主题。
要注意的是：时间线可以被分割成多个时间段。这些时间段的数量可以基于分段大小。术语“时间线”也可以被解释为时间段，并且因此在某些示例的描述中也被称为时间段。在这种情况下，要考虑的是其中的术语“时间线”指的是显示图像的总的时间段。
与相关技术的方法不同，所公开的方法提供例如基于个性化主题对电子设备中存储的图像的多维可视化。所公开的方法包括：沿时间线来显示多个个性化主题。所公开的方法提供了多维用户界面(UI)，其使用户能够基于个性化主题来浏览所存储的图像。所公开的方法提供了用于对图像进行归类的个性化主题和对应的分层级别的自动识别。
现在参考附图，并且更具体地参考图1A至图14，示出了各种实施例，其中类似的附图标记在整个附图中一致地表示对应特征。
图1A和图1B是示出了根据本公开的各种实施例的基于个性化主题以多维模式来显示图像的所公开的方法的代表性框图。
所公开的方法可以在电子设备中实现。在实施例中，电子设备是配备有图像处理能力的智能电话。要理解的是：实现所公开的方法的电子设备也能够通过除本文中所描述的方法之外的方法来接收图像。
参考图1A和图1B，框图分别示出了在在线模式和离线模式期间执行的功能。离线模式指的是在电子设备处于待机模式时使用电子设备中存储的图像来执行功能的模式。在线模式指的是当电子设备中包括新图像(例如，由电子设备新捕捉或新近存储到电子设备中的图像)时执行功能的模式。在线模式的功能还包括沿着时间线显示个性化主题。
考虑离线模式的功能，如图1A所描绘的，电子设备最初可以在操作103中对电子设备中存储的图像101执行深度特征提取。例如，可以通过应用深度特征学习技术来执行深度特征提取。深度特征学习技术使用大量被标记的训练数据来训练神经网络模型，从而完成特定任务。通常，训练模型具有数百万个参数，这些参数对输入数据(例如图像)执行非线性变换。在针对特定任务(如，图像分类-对象识别、场景理解、面部识别等)进行训练期间学习这些参数。一旦使模型进行了学习，就可以使用这些模型来执行这些特定任务。在本公开中，将要针对不同任务来训练和使用多个模型。例如，可以使用面部识别模型来从图像中获得特征，该特征将有效到足以区分面部。可以从用户电话中包括的联系人列表中使用的面部照片中取得参考面部。来自图库中的不同图像的特征可以被用来区分不同的面部(例如“Alan”)并且对不同的面部进行注册。类似地，不同的模型可以被用于场景/活动理解。使用这些模型，如果图像包含海滩、餐厅等的视觉特征，则可以对诸如海滩、餐厅等图像进行分类。将来自单个图像的这些信息(如“Alan”和“海滩”)组合起来，该照片可以分类为“Alan在海滩”。根据所公开的方法，电子设备可以在操作105中经由视觉概念学习操作来分析图像的内容。在深度特征提取期间，电子设备中存储的图像被馈送给深度特征学习设备(例如，特征提取器)，以从图像中提取非线性特征。此后，电子设备可以基于每个图像的非线性特征来生成诸如对象、人物、地点、背景、活动等视觉概念和诸如快乐等的抽象概念。基于视觉概念学习，电子设备可以在操作107处预测标签并将标签与电子设备中存储的图像相关联。此外，在深度特征提取期间，电子设备可以识别图像内存储的任何全球定位系统(GPS)信息或自定义描述信息。例如，电子设备可以确定图像中的任何图像是否包括指示图像捕捉设备(例如，电子设备、与该电子设备不同的图像捕捉设备等)捕捉该图像的坐标的GPS信息。在另一示例中，电子设备可以确定图像中的任何图像是否包括自定义描述信息(例如，用户输入的诸如“在ABC餐厅与Alan吃午餐意大利面”等备注)。当电子设备确定图像包括这种GPS信息或自定义描述信息时，电子设备可以在将标签与图像相关联时提取并利用这种信息。
一旦在操作109中将标签与图像相关联，电子设备就可以继续进行到操作111中的主题学习操作。在主题学习操作期间，被电子设备用来标记图像的概念可以被存储为元数据，并且被馈送给主题建模/学习引擎以学习突出的主题(例如，基于图像内容而突出的主题)。主题学习指的是基于所生成的个性化主题进行学习。主题学习包括分析每个图像的相关联的标签和直方图，然后针对每个图像来生成个性化主题。电子设备可以根据所学习的主题(即，个性化主题)对图像进行归类或聚集(基于主题直方图的聚集)。在操作113中，电子设备可以基于主题直方图(即，个性化主题)来显示电子设备中存储的图像。
在实施例中，电子设备可以例如经由基于动态聚类的命名来对个性化主题(聚类)进行重命名。重命名操作可以由电子设备利用所公开的方法自动地执行或者响应于用户输入而执行。图像可以与重叠的类别相关联，即，图像可以被归类在多个个性化主题下。电子设备可以将图像连同与图像相关的信息(例如捕捉日期、修改日期等)以及视觉概念一起馈送给可视化框架，以在二维(2D)UI中进行呈现。经由电子设备显示的2D UI，用户可以使所公开的方法的功能可视化，即沿着时间线来显示个性化主题。时间线是范围可由用户选择或由用户预定的时间段。参考对在线模式的描述将更好地理解对时间段的选择或预定的细节。
要理解的是：所公开的方法可以扩展到以多维模式来显示图像。
当图像被电子设备新近捕捉或被新存储到电子设备时(例如，使用相机、从互联网下载等)，电子设备可以生成图像的特征和突出的主题，以及基于新图像和当前存储的图像来执行完整的流程，即，从主题建模/学习到UI生成。
参考图1B，当在电子设备中包括新图像时或者当用户期望使多个个性化主题的显示沿着时间线可视化时，执行在线模式的功能。当用户期望使多个个性化主题的显示沿着时间线可视化时，用户在操作120中选择时间线的范围，即显示被归类在个性化主题下的图像的时间段。
响应于选择或设置时间段的用户输入，接下来在操作122中，电子设备可以收集在该时间段内已经存储在电子设备中的图像。电子设备可以使用在该时间段内已经被存储的图像以及新图像来执行所公开的方法的完整流程。作为完整流程的结果，可以实现的结果包括：在操作124中形成个性化主题的预定义数量的分层级别、在操作126中动态地更新聚类名称(个性化主题)等。之后，沿着时间段显示被归类在相应个性化主题下的图像。
图2A、图2B和图2C描绘了根据本公开的各种实施例的根据多个图像来生成多个个性化主题的示例场景。
参考图2A，多个图像200被存储在电子设备中。在实施例中，电子设备是智能电话。电子设备中的图像可以通过各种手段来存储，例如，由电子设备的相机捕捉，通过有线或无线介质、通过通用串行总线(USB)从外部设备接收，从云存储、在线驱动器、电子邮件下载等。如图2A中所描绘的，在示例中，9个图像I1、I2、...、I9被存储在电子设备中。
在实施例中，所公开的方法包括执行对多个图像中的每个图像中的内容的深度特征提取，并且之后将至少一个标签与多个图像中的每个图像相关联。如图2B中所描绘的，对于图像I1，所公开的方法包括执行特征提取，并且之后将标签与图像I1相关联。在示例中，所公开的方法基于图像I1的特征提取将标签“Alan”、“Alice”、“Susan”、“玩耍”和“公园”与图像I1相关联。类似地，所公开的方法包括执行对图像I2、..、I9的特征提取，并且之后将至少一个标签与图像I2、..、I9相关联。在关联标签时，所公开的方法不限于针对图2B所提供的描述。例如，对于包括GPS信息在内的图像(例如，在华盛顿特区捕捉的图像)，所公开的方法可以包括将与GPS信息相对应的一个或多个标签(例如，“华盛顿特区”、“美国”)关联到图像。在另一示例中，对于包括自定义描述信息在内的图像(例如，用户输入的诸如“午餐时在ABC餐厅与Alan吃意大利面”等备注)，所公开的方法可以包括关联与自定义描述信息相对应的一个或多个标签(例如，“餐厅”、“午餐”、“意大利面”、“ABC餐厅”)。
所公开的方法包括根据在一定时间段上存储在电子设备中的多个图像来生成多个个性化主题。所公开的方法还包括：在将至少一个标签与多个图像中的每个图像相关联之后，针对电子设备中存储的多个图像中的每个图像来生成个性化主题。每个个性化主题包括至少一个图像。根据所公开的方法，图像可以被归类在多个个性化主题下。
所公开的方法包括使用相关联的标签来执行主题建模，以及之后将电子设备中存储的多个图像中的每个图像表示为主题直方图，即，个性化主题。在实施例中，所生成的个性化主题可以被称为图像的聚类。如图2C中所描绘的，基于图像I1、I7的相关联的标签(即Alan、Alice)来生成个性化主题(主题直方图)“Alan与Alice玩耍”。
图3示出了根据本公开的实施例的用于基于多个个性化主题沿着时间线浏览电子设备300中的图像的2D UI。
参考图3，所公开的方法包括沿着时间线在电子设备300的屏幕上显示多个个性化主题。所公开的方法包括生成四个个性化主题，即“在海滩”301、“旅行中”303、“庆祝”305和“其它”307。个性化主题是基于主题学习来生成的。被归类在个性化标签“在海滩”301下的图像均由“1”来指示。被归类在个性化标签“旅行中”303下的图像均由“2”来指示。被归类在个性化标签“庆祝”305下的图像均由“3”来指示。被归类在个性化标签“其它”307下的图像均由“4”来指示。四个个性化主题在时间线上显示，该时间线在该示例中从一月到五月。电子设备300可以响应于来自用户的输入而选择、设置或修改时间线。
响应于选择时间线(即，图像被存储在电子设备300中的时间段)的用户输入，电子设备300可以从左到右地显示在时间线上被存储在电子设备300中的图像以及电子设备300中包括的新图像。
例如，个性化主题“在海滩”301是包括至少一个图像在内的聚类，并且该聚类中包括的每个图像可以与至少一个标签相关联。基于相关联的标签，电子设备300可以通过对图像的特征提取将图像归类为与“在海滩”相关。电子设备100可以基于特征提取来将标签与图像相关联。根据所公开的方法，电子设备300可以将电子设备300中存储的所有图像归类到所学习的个性化主题中。
所公开的方法包括：基于电子设备300中包括的新图像的相关联的标签，将该新图像归类为已有的个性化主题之一，或者生成新的个性化主题。根据所公开的方法，用户可以经由电子设备300对所生成的个性化主题进行重命名。当包括新图像时，电子设备300可以自动地更新个性化主题。在示例中，当更新个性化主题时，电子设备300可以形成包括新图像的层级。在另一示例中，电子设备300可以在包括新图像时生成新的分层级别个性化主题并相应地更新个性化主题。
图4示出了根据本公开的实施例的用于实现所公开的方法的电子设备300的各种单元。
参考图4，电子设备300的各种单元是特征提取器402、主题生成器404、显示器406、手势检测器408和图像包括检测器410。特征提取器402、主题生成器404、手势检测器408和图像包括检测器410可以被实现为至少一个硬件处理器。
特征提取器402执行对电子设备300中存储的图像和电子设备300中包括的新图像的特征提取。分析图像的内容以进行视觉概念学习。特征提取器402从图像中提取非线性特征，电子设备300可以使用该非线性特征以针对每个图像来生成诸如对象、人物、地点、背景、活动之类的视觉概念和诸如快乐之类的抽象概念。基于视觉概念学习，电子设备300可以预测标签。特征提取器402可以将所预测的标签与电子设备300中存储的图像相关联。
主题生成器404对图像执行主题学习，该图像是被特征提取器402将其与标签相关联的图像。主题生成器404可以根据在时间段上电子设备中包括的多个图像来生成多个个性化主题。主题生成器404可以基于被用于标记电子设备300中存储的图像的概念来存储元数据。主题生成器404可以基于被用于标记图像的概念来执行主题建模/学习，从而学习突出的主题。电子设备300可以通过主题学习来生成个性化主题。主题生成器404可以根据所学习的主题(即，个性化主题)对图像进行归类或创建图像的聚类。主题生成器404可以基于主题直方图来表示电子设备300中存储的图像。
响应于用户输入，电子设备300的主题生成器404可以对个性化主题进行重命名。主题生成器404根据多个个性化主题来提供对特定图像的归类。
显示器406可以沿着时间线来显示多个个性化主题。在实施例中，电子设备300可以将图像连同相关信息(例如，捕捉日期、修改日期等)以及视觉概念一起馈送给显示单元406(可视化框架)，以在2D UI中进行表示。经由电子设备显示的2D UI，用户可以使所公开的方法的功能可视化，即沿着时间线显示多个个性化主题。时间线是范围可由用户选择的时间段。
用户可以输入选择时间段的用户输入，该时间段是要在其上显示多个个性化主题的时间段。响应于用户输入，显示器406可以收集在该时间段内已经被存储在电子设备300中的图像和电子设备300中包括的新图像。之后，显示器406可以沿着时间段显示被归类在相应个性化主题下的图像。时间段的范围可由用户选择。
显示器406可以在时间线上使用标记来显示多个个性化主题中的每个个性化主题。在实施例中，显示单元406可以在时间线中基于时间段内电子设备300中包括的图像的数量来改变标记。
手势检测器408可以检测针对多个个性化主题的手势输入。显示器406可以显示被归类到与检测到的手势输入相对应的个性化主题下的图像。手势检测器408可以检测不同的手势，例如触摸、悬停、滑动、捏合、捏开等。基于手势，电子设备300可以显示被归类在一个或多个个性化主题下的图像。
在实施例中，手势检测器408可以在时间线中检测针对在时间段上的多个个性化主题中的一个个性化主题的触摸手势输入。此后，电子设备300可以显示被归类在与检测到的触摸手势相对应的(例如，通过触摸手势选择的)个性化主题下的图像。
图像包括检测器410监控电子设备300中对新图像的包括。图像包括检测器410可以根据检测到在电子设备300中包括新图像来动态地更新多个个性化主题。在电子设备300中包括新图像的情况下，电子设备300可以针对多个个性化主题中的每一个个性化主题来形成分层级别。当在电子设备中包括新图像时，电子设备300可以形成个性化主题的一个或多个分层级别。如果新图像被归类在个性化主题下，则电子设备300可以更新所述个性化主题。
图4提供了电子设备300的概述，且应当理解其它实施例不限于此。各单元的标签或名称仅用于说明性目的，并不限制本公开的范围。此外，电子设备300可以包括能够与彼此通信以及与其它组件通信的任何数量的单元或子单元。类似地，在不脱离本公开的范围的情况下，一个或多个单元的功能可以被组合为单个单元，或者可以以不同于本文所描述的方式被布置或耦接在一起。
图5是描绘了根据本公开的实施例的基于个性化主题以多维模式来显示图像的方法的流程图500。
参考图5，在操作502处，该方法包括：根据在一定时间段上电子设备300中包括的多个图像(例如，在时间段期间被添加到、存储到、传递到电子设备300或由电子设备300捕捉的图像)来生成多个个性化主题。所公开的方法包括：通过特征提取器402来执行对多个图像的每个图像中的内容的深度特征提取。之后，所公开的方法包括：将至少一个标签与多个图像中的每个图像相关联。
所公开的方法包括：通过主题生成器404根据在时间段上电子设备300中存储或包括的多个图像(例如，先前、当前或新近被存储到、传递到电子设备300或由电子设备300捕捉的图像)来生成多个个性化主题。该方法还包括：一旦多个图像中的每个图像与至少一个标签相关联，就针对多个图像中的每个图像来生成个性化主题。每个个性化主题包括至少一个图像。每个图像可以与多个个性化主题相关联。
所公开的方法还包括：通过主题生成器404使用相关联的标签来执行主题建模。电子设备300可以将电子设备300中存储的多个图像中的每个图像表示为主题直方图。
电子设备300中包括的新图像(例如，新近存储到、传递到电子设备300或由电子设备300捕捉的图像)可以被归类在已有的个性化主题中的一个个性化主题下，或者被归类在新生成的个性化主题下。电子设备300可以基于与新图像相关联的标签来对新图像进行归类。当包括新图像时，电子设备300可以更新个性化主题。在示例中，电子设备300可以在形成包括新图像的层级时更新个性化主题。
在操作504处，该方法包括沿着时间线显示多个个性化主题。时间线指的是多个图像被存储在电子设备300中的时间段。时间线的范围可由用户选择。例如，时间线可以是范围1月至4月。响应于选择时间线的用户输入，电子设备300可以在电子设备300的屏幕上沿着时间段显示被归类在个性化主题下并且被存储在电子设备300中的图像，以及显示电子设备300中包括的新图像(例如，新近被存储到、传递到电子设备300或由电子设备300捕捉的图像)。电子设备300可以将“新图像”定义为在例如过去的24小时、过去的3天或任何可配置持续时间内被存储到、传递到电子设备300或由电子设备300捕捉的图像。在另一示例中，电子设备300可以将“新图像”定义为自电子设备300上存储的图像最后一次被用户访问或被备份到另一存储设备(例如，基于云的存储装置、外部安全数字(SD)卡、外部硬盘驱动器等)以后被存储到、传递到电子设备300或由电子设备300捕捉的图像。
根据所公开的方法，用户可以经由电子设备300使时间线上的多个个性化主题的显示在2D UI中可视化。根据所公开的方法，显示单元406可以在2D UI中显示图像，包括与图像有关的信息，例如，捕捉日期、修改日期、指示捕捉位置的GPS信息等。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法中的各种动作、行为、块、操作等。此外，在一些实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、行为、块、操作等。该方法和相关描述提供了控制程序的基础，该控制程序可以由微控制器、微处理器或其组合来容易地实现。
图6示出了根据本公开的实施例的基于在电子设备300中包括新图像在时间线上对个性化主题的更新。
电子设备300可以自适应地更新个性化主题(例如，自适应归类)。电子设备300可以在时间线上用新图像来更新个性化主题。由图像包括检测单元410来检测对新图像的包括(例如，检测新近存储到、传递到电子设备300或由电子设备300捕捉的图像)。图像包括检测器410可以按间隔来监控电子设备300中对新图像的包括。间隔可以由例如电子设备300或用户来配置。
参考图6，在一月，显示了两个个性化主题，即“在公园踢足球”和“在泥地里踢足球”。被归类在个性化主题“在公园踢足球”下的图像是I1、I2和I3。被归类在个性化主题“在泥地里踢足球”下的图像是I4、I5和I6。归类由主题生成器404来执行。
在三月中包括新图像即I7、I8和I9的情况下，电子设备300将个性化主题“在公园踢足球”更新为“孩子踢足球”。在更新时，电子设备300将被归类在个性化主题“在泥地里踢足球”下的图像与被归类在个性化主题“在公园踢足球”下的图像进行合并。图像的合并不限于本文中所提供的示例。例如，在更新时，电子设备300也可以将个性化主题“在泥地里踢足球”更新为“孩子踢足球”。在另一示例中，在更新时，电子设备300将被归类在个性化主题“在公园踢足球”下的图像与被归类在个性化主题“在泥地里踢足球”下的图像进行合并。
尽管在图6中，仅将图像I1、I2和I5描绘为被归类在个性化主题“孩子踢足球”下，但是应理解的是，个性化主题“孩子踢足球”包括个性化主题“在公园踢足球”和“在泥地里踢足球”的所有图像(即I1至I6)。
在三月中包括图像I7、I8和I9的情况下，电子设备300形成新的个性化主题“河边野餐”。
在六月，包括了新图像，即I10、I11、I12、I13和I14(例如，图像被新近存储到、传递到电子设备300或由电子设备300捕捉图像)。电子设备300将图像I10归类在个性化主题“孩子踢足球”下。此外，电子设备300将个性化主题“河边野餐”重命名为“户外度假”并且将图像I11包括在其下。可以响应于用户输入或自动地(公开的方法)执行重命名。电子设备300可以基于对特征提取器402是否将标签与新近包括的图像相关联的确定来重命名个性化主题。例如，在特征提取期间，特征提取器402不将与个性化主题“河边野餐”相关的标签与图像I11相关联。因此，电子设备300将被归类在个性化主题“河边野餐”下的图像与图像I11合并，并将个性化主题“河边野餐”重命名为“户外度假”。此外，电子设备300创建新的个性化主题“与朋友喝咖啡”并且将图像I12、I13和I14归类在该个性化主题“与朋友喝咖啡”下。
图7示出了根据本公开的实施例的在电子设备300中包括新图像的时间段内对分层级别的形成。
电子设备300可以经由图像包括检测器410来检测在时间线中的时间段内对新图像的包括，并且针对多个个性化主题中的每一个个性化主题来形成分层级别。如图7中所描绘的，时间段是六月。然而，各种实施例的示例不限于此。时间段可以被设置为用户期望的任何范围，例如，一月至十二月。
参考图7，最初存在三个个性化主题，即“孩子踢足球”、“户外度假”和“与朋友喝咖啡”。被归类在个性化主题“孩子踢足球”下的图像是I1、I2和I3。被归类在个性化主题“河边野餐”下的图像是I4、I5和I6。被归类在个性化主题“与朋友喝咖啡”下的图像是I7、I8和I9。
在包括新图像(即I10和I11)的情况下，电子设备300在个性化主题“孩子踢足球”的第一分层级别处形成两个新的个性化主题，即“在公园踢足球”和“在泥地里踢足球”。电子设备300将已有图像I1和I2以及新图像I10归类在新的个性化主题“在公园踢足球”下。此外，电子设备300将已有图像I3和新图像I11归类在新的个性化主题“在泥地里踢足球”下。
在包括新图像(即I12和I13)的情况下，电子设备300在个性化主题“户外度假”的第一分层级别处形成两个新的个性化主题“河边野餐”和“海滩玩乐”。电子设备300将已有图像I4和I5以及新图像I12归类在新的个性化主题“河边野餐”下。此外，电子设备300将已有图像I6和新图像I13归类在新的个性化主题“海滩玩乐”下。
在包括新图像(即I14、I15和I16)的情况下，电子设备300在个性化主题“户外度假”的第二分层级别处(即，在个性化主题“河边野餐”的子分层级别处)形成三个新的个性化主题，即“露营”、“食物和饮料”以及“划船”。电子设备300将已有图像I4和新图像I14归类在新的个性化主题“露营”下。此外，电子设备300将已有图像I5和新图像I15归类在新的个性化主题“食物和饮料”下。此外，电子设备300将已有图像I12和新图像I16归类在新的个性化主题“划船”下。
在包括新图像(即I17和I18)的情况下，电子设备300在个性化主题“户外度假”的第二分层级别处(即，在个性化主题“海滩玩乐”的子分层级别处)形成两个新的个性化主题，即“海滩驾驶”和“日落跳跃”。电子设备300将已有图像I6和新图像I17归类在新的个性化主题“海滩驾驶”下。此外，电子设备300将已有图像I13和新图像I18归类在新的个性化主题“日落跳跃”下。
图8A和8B示出了根据本公开的各种实施例的基于触摸手势在时间段上显示图像，其中，所显示的图像被归类在个性化主题下。
参考图8A和图8B，在时间线上显示了多个个性化主题。多个个性化主题中的每一个包括多个图像。根据所公开的方法，电子设备提供2D-UI，经由该2D-UI，用户可以使被归类在多个个性化主题下的多个图像在时间线上可视化。如由用户选择的，本文中所描绘的时间线是一月至四月。时间线的范围(即一月至四月)可由用户选择。该范围也可以由电子设备300默认设置。备选地，在应用程序启动时，显示完整的时间段(例如，一月至十二月)。之后，根据所公开的方法，电子设备可以沿时间线显示所存储的图像。
根据所公开的方法，电子设备300可以经由主题生成器404来生成多个个性化主题。当用户选择时间线的范围时，显示器406可以沿着时间线来显示包括多个个性化主题在内的屏幕。对个性化主题的生成和使用个性化主题对电子设备300中存储的图像的归类在离线模式或在线模式下执行，如在图1A中所讨论的。
参考图8A和图8B，在时间线上显示的个性化主题是“在海滩”、“旅行中”、“庆祝”和“其它”。每个图像由(x，y)表示法来表示。变量“x”表示图像被归类在其下的个性化主题，并且变量“y”表示该图像针对个性化主题的对应图像编号。在示例中，由(2，5)表示的图像指的是被归类在个性化主题“旅行中”的第五个图像。类似地，由(4，3)表示的图像指的是被归类在个性化主题“其它”下的第三个图像。图像的针对个性化主题的编号基于将图像存储在电子设备300中的时间。在示例中，与由(1，3)表示的图像相比较，由(1，2)表示的图像被更早地存储。
参考图8A和图8B，沿时间线的多个个性化主题中的每一个个性化主题都显示有标记。在各种实施例中，标记可以是针对多个个性化主题中的每一个个性化主题在时间线上显示的垂直线。标记的变化可以指示在时间线上的时间段内电子设备300中存储的图像的数目。在实施例中，标记的变化可以是时间线上的时间段内的竖直线的密度。时间段内的竖直线的较高密度(例如，较高数量)指示在该时间段内存储了与相应的个性化主题有关的更多数量的图像，而时间段内的竖直线的较低密度(例如，较低数量)指示在该时间段内存储了与相应的个性化主题有关的较少数量的图像。本公开的标记不限于以上描述。例如，可以基于时间线上的时间段内电子设备300中存储的图像的数量来在时间线上以不同颜色(例如，红色用于大量的图像，绿色用于少量的图像)显示垂直线(标记)。在另一示例中，可以将除竖直线之外的指示符(例如，点)用作标记，并且时间线上的时间段内的点的密度可以基于在该时间线上的时间段内电子设备300中存储的图像的数量而变化(例如，点的高密度用于大量的图像，点的低数量用于少量的图像)。
参考图8A所示，用户针对在时间段二月内的个性化主题“在海滩”执行输入手势(例如，触摸手势)。手势检测器408检测该手势。如图8B中所描绘的，在由手势检测器408检测到手势之后，根据所公开的方法，显示器406可以显示被归类在个性化主题“在海滩”下并且在二月被包括在电子设备300中(例如，被存储在、被传递到电子设备300、由电子设备300捕捉)的图像。根据实施例，在由手势检测器408检测到手势之后(例如，针对在时间段二月内的个性化主题“在海滩”的触摸手势)，显示器406可以显示询问用户是否希望提供附加输入或选择任何预设条件列表的弹出窗口。例如，用户可以在弹出窗口中所显示的文本框中输入“Alan”，或者用户可以从预设条件列表中选择“Alan”，并且电子设备300可以显示被归类在组合后的条件(例如，个性化主题“在海滩”+“Alan”)下并且在二月被包括在电子设备300中(例如，被存储在、被传递到电子设备300、由电子设备300捕捉)的图像。
应注意的是：可以响应于检测到另一种类型的输入手势(例如，悬停输入、捏开输入、运动手势、语音输入等)来执行相同的动作。基于显示器406和手势检测单元408的配置，显示器406可以执行上述动作、与上述动作不同的动作、或动作的任何组合。
图9示出了根据本公开的实施例的基于滑动手势在时间段上显示被归类在个性化主题下的图像。
图9的图像表示类似于图8A和图8B的图像表示。为简洁起见，在此不再重复针对图像解释方法在图9与图8A和图8B之间类似的元素。
参考图9，最初显示被归类在个性化主题下“在海滩”下的图像。最初显示由(1，1)表示的图像。用户可以在时间段上在个性化主题“在海滩”上输入滑动手势(例如，显示器上的从三月持续到四月的滑动手势)。手势检测器408检测该手势。在检测到该手势之后，根据所公开的方法，显示器406可以显示被归类在个性化主题“在海滩”下并且与该时间段相对应的后续图像，即由(1，2)表示的图像。
图10A和图10B示出了根据本公开的各种实施例的基于捏开手势在时间线上显示使用个性化主题来归类的图像，该个性化主题是个性化主题的分层级别。
参考图10A，在时间线上显示的个性化主题是“在海滩”、“旅行中”、“庆祝”和“其它”。被归类在个性化主题“在海滩”下的图像由“1”来表示。被归类在个性化主题“旅行中”下的图像由“2”来表示。被归类在个性化主题“庆祝”下的图像由“3”来表示。被归类在个性化主题“其它”下的图像由“4”来表示。
参考图10A，用户对个性化主题“在海滩”执行捏开手势。手势检测器408检测该手势。如图10B所描绘的，在检测到捏开手势之后，根据所公开的方法，显示器406可以显示被归类在个性化主题下的图像，其中该个性化主题被归类在(即，属于或最初与该个性化主题相关联的)个性化主题“在海滩”的分层级别下。在时间线内显示在被归类在个性化主题(该个性化主题属于个性化主题“在海滩”的分层级别)下的图像。在图10B所示的示例中，属于个性化主题“在海滩”的分层级别的个性化主题也就是“儿童玩耍”、“驾驶摩托艇”、“骑马”和“其它”。
参考图10B，每个图像由(x，y)表示法来表示。变量“y”表示图像被归类在其下的个性化主题，并且由“y”表示的个性化主题属于由“x”表示的个性化主题的分层级别。在示例中，由(1，1)表示的图像指的是被归类在个性化主题“孩子玩耍”下的图像，该个性化主题属于个性化主题“在海滩”的分层级别。类似地，由(1，3)表示的图像指的是被归类在个性化主题“骑马”下的图像，该个性化主题属于个性化主题“在海滩”的分层级别。
图11A和图11B示出了根据本公开的各种实施例的基于捏开手势在时间线上显示被归类(即，属于)在多个个性化主题中的每一个个性化主题的至少一个分层级别的个性化主题下的图像。
参考图11A，在时间线上显示的个性化主题是“在海滩”、“旅行中”、“庆祝”和“其它”。被归类在个性化主题“在海滩”下的图像由“1”来表示。被归类在个性化主题“旅行中”下的图像由“2”来表示。被归类在个性化主题“庆祝”下的图像由“3”来表示。被归类在个性化主题“其它”下的图像由“4”来表示。
图11和图11B的图像表示类似于图8A和图8B的图像表示。为了简洁起见，在此不再重复针对图像解释方法在图11A和图11B与图8A和图8B之间类似的元素。
参考图11A，用户在一月至四月的时间线中输入针对时间段三月至四月的的捏开姿势。手势检测器408检测该手势。在检测到捏开手势之后，根据所公开的方法，主题生成器404可以根据在时间段三月至四月上被包括在电子设备300中的多个图像来生成多个个性化主题(例如，基于在时间段三月至四月上被存储在、被传递到电子设备300、由电子设备300捕捉的图像)。之后，电子设备300可以沿着时间线三月至四月显示多个个性化主题。根据该方法，显示器406可以显示图像。
参考图11B，所生成的个性化主题也就是“骑马”、“泰姬陵之旅”、“婚礼”和“驾驶摩托艇”。在检测到捏开手势之后，根据所公开的方法，显示单元406可以在时间段三月至四月上显示被归类在所生成的个性化主题下的图像。
图12A、图12B和图12C示出了根据本公开的各种实施例的基于捏开手势在时间线上显示被归类在至少两个个性化主题下的图像。
参考图12A至图12C，在时间线上显示的个性化主题是“在海滩”、“旅行中”、“庆祝”和“其它”。每个图像由(x，y)表示法来表示。变量“x”表示图像被归类在其下的个性化主题，并且变量“y”表示图像针对个性化主题的对应图像编号。
被归类在个性化主题“在海滩”下的图像由(1，y)来表示。被归类在个性化主题“旅行中”下的图像由(2，y)来表示。被归类在个性化主题“庆祝”下的图像由(3，y)来表示。被归类在个性化主题“其它”下的图像由(4，y)来表示。
在示例中，由(4，1)表示的图像指的是被归类在个性化主题“其它”下的第一个图像。类似地，由(3，3)表示的图像指的是被归类在个性化主题“庆祝”下的第三个图像。图像的针对个性化主题的编号基于将图像存储在电子设备300中的时间。
参考图12A，用户沿着时间线一月至四月针对两个个性化主题(即“在海滩”和“庆祝”)执行输入手势。根据所公开的方法，手势检测器408可以检测该手势。在实施例中，该手势可以是触摸输入，例如双击输入或长按输入。之后，如图12B所描绘的，用户针对两个个性化主题(即“在海滩”和“庆祝”)执行捏开手势。由手势检测器408检测针对两个个性化主题所输入的捏开手势。
参考图12C，在检测到捏开手势之后，根据所公开的方法，主题生成器404可以将最初被归类在个性化主题下(即“在海滩”和“庆祝”下)的图像进一步或新近归类在个性化主题“与朋友吃饭”下。进一步的或新的归类基于个性化主题(即“在海滩”和“庆祝”)中的图像的存在，该图像可以由特征提取器402和主题生成器404利用，从而归类在个性化主题“与朋友吃饭”下。个性化主题“与朋友吃饭”是个性化主题“在海滩”和“庆祝”的分层级别个性化主题(即，个性化主题“与朋友吃饭”是位于个性化主题“在海滩”和“庆祝”的相应分层级别处的个性化主题)。特征提取器402将标签与具有与在海滩庆祝的特定类型相关的所识别特征的图像相关联。基于对被归类在两个个性化主题(即“在海滩”和“庆祝”)下的图像的主题学习，主题生成器404使用个性化主题“与朋友吃饭”来对图像进行归类。之后，主题生成器404将对应的图像归类在个性化主题“与朋友吃饭”下。根据所公开的方法，一旦图像被归类在个性化主题“与朋友吃饭”下，显示器406可以显示被归类在个性化主题“与朋友吃饭”下的图像。也就是说，新的个性化主题“与朋友吃饭”可以包括两个分层个性化主题“在海滩”和“庆祝”下的图像。
图13A、图13B和图13C示出了根据本公开的各种实施例的显示被归类在新的个性化主题下的图像，其中，该新的个性化主题包括被归类在两个个性化主题下的图像。
图13A、图13B和图13C的图像表示类似于图12A、图12B和图12C的图像表示。为了简洁起见，在此不再重复针对图像解释方法在图13A、图13B和图13C与图12A、图12B和图12C之间类似的元素。但是，在图13C中，被归类在个性化主题“度假”下的图像由(1，y)来表示，并且被归类在个性化主题“婚礼”下的图像由(2，y)来表示。
参考图13A，用户沿着时间线一月至四月针对两个个性化主题(即“在海滩”和“旅行中”)来输入手势。根据所公开的方法，手势检测器408可以检测该手势。在实施例中，该手势可以是触摸输入，例如双击输入或长按输入。之后，如图13B所描绘的，用户针对两个个性化主题(即“在海滩”和“旅行中”)来执行捏合手势。由手势检测器408来检测针对两个个性化主题输入的捏合手势。
参考图13C，在检测到捏合手势之后，话题生成器404可以将最初被归类在两个个性化主题“在海滩”和“旅行中”中的图像归类在新的个性化主题“度假”下。对新的个性化主题“假期”的生成基于与个性化主题相对应的已有分层级别个性化主题，即，与“在海滩”和“旅行中”相对应的分层级别级个性化主题。因此，个性化主题“度假”包括最初被归类在个性化主题“在海滩”的分层级别个性化主题下的图像和最初被归类在个性化主题“旅行中”的分层级别个性化主题下的图像。生成另一个个性化主题“婚礼”。
根据所公开的方法，一旦将最初被归类在个性化主题“在海滩”和“旅行中”中的图像归类在个性化主题“度假”下，显示器406就可以显示被归类在个性化主题“度假”下的图像。
图14示出了根据本公开的实施例的实现所公开的基于个性化主题以多维模式来显示图像的方法的计算环境。
参考图14，计算环境1402可以包括至少一个处理器1408、存储器1410、存储装置1416、一个或多个联网设备1412以及一个或多个输入/输出(I/O)设备1414，该至少一个处理器1408配备有控制器1404和算术逻辑单元(ALU)1406。处理器1408负责处理技术的指令。处理器1408可以基于从控制器1404接收的命令来处理指令。此外，可以在ALU 1406的帮助下计算在执行指令时涉及的任何逻辑和数学运算。
整个计算环境1402可以包括多个同质和/或异质内核、多个不同种类的中央处理单元(CPU)、特殊介质和其它加速器。处理器1408负责处理技术的指令。此外，多个处理器1408可以位于单个芯片上或多个芯片上。
包括针对实现所需的指令和代码在内的技术被存储在存储器1410或存储装置1416或这二者中。在执行时，指令可以从对应的存储器1410或存储装置1416中获取，并且由处理器1408执行。
在任意硬件实现的情况下，可以将各种联网设备1412或外部I/O设备1414与计算环境相连以通过联网单元和I/O设备单元来支持该实现。
可以通过在至少一个硬件设备上运行并执行网络管理功能以控制各元件的至少一个软件程序来实现本文公开的实施例。图1A至图14中所示的各元件包括可以是硬件设备或硬件设备与软件模块的组合中的至少一种的块。
虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种基于个性化主题以多维模式来显示图像的方法，所述方法包括：
由电子设备基于在预定时间段上在所述电子设备中存储的多个图像来生成多个个性化主题；以及
由所述电子设备沿着时间线显示所述多个个性化主题。
2.根据权利要求1所述的方法，其中，生成所述多个个性化主题包括：基于与所述图像相关联的标签来生成所述多个个性化主题中的每一个个性化主题。
3.根据权利要求1所述的方法，还包括：
在所述预定时间段之后的连续时间段期间，以一定间隔来监控是否将至少一个图像存储到所述电子设备；以及
响应于在所述连续时间段期间识别存储到所述电子设备的至少一个图像，动态地更新所述多个个性化主题。
4.根据权利要求1所述的方法，还包括：针对所述多个个性化主题中的每一个个性化主题来生成分层级别个性化主题。
5.根据权利要求1所述的方法，还包括：结合所述多个个性化主题中的每一个个性化主题，沿着所述时间线显示标记。
6.根据权利要求5所述的方法，还包括：根据在所述预定时间段内在所述电子设备中包括的每个相应个性化主题的图像的数量来改变所述标记。
7.根据权利要求1所述的方法，还包括：
检测针对所述多个个性化主题中包括的个性化主题和所述时间线中包括的时间段的触摸手势输入；以及
显示被归类在所述个性化主题下并且与所述时间线中包括的所述时间段相对应的图像。
8.根据权利要求1所述的方法，还包括：
检测针对所述多个个性化主题中包括的个性化主题和所述时间线中包括的时间段的滑动手势输入；以及
显示被归类在所述个性化主题下并且与所述时间线中包括的所述时间段相对应的图像。
9.根据权利要求4所述的方法，还包括：
检测针对所述多个个性化主题中包括的个性化主题和所述时间线中包括的时间段的捏开手势输入；以及
针对所述个性化主题，显示与所述时间线中包括的所述时间段相对应并且被归类在与所述个性化主题相对应的分层级别个性化主题下的图像。
10.根据权利要求1所述的方法，还包括：
检测针对所述时间线中包括的时间段的捏开手势输入；
根据包括在所述电子设备中并且与所述时间线中包括的所述时间段相对应的多个图像来生成多个附加个性化主题；以及
在所述时间线上显示所述多个附加个性化主题。
11.根据权利要求1所述的方法，还包括：
检测针对所述多个个性化主题中包括的至少两个个性化主题和所述时间线中包括的时间段的手势输入；
检测针对所述至少两个个性化主题和所述时间线中包括的所述时间段的第一手势输入；
将与所述至少两个个性化主题相关联的图像归类在所述至少两个个性化主题的分层级别个性化主题下；以及
显示被归类在所述分层级别个性化主题下的图像。
12.根据权利要求11所述的方法，其中，所述第一手势包括捏闭手势。
13.根据权利要求1所述的方法，还包括：
检测针对所述多个个性化主题中包括的至少两个个性化主题和所述时间线中包括的时间段的手势输入；
检测针对所述至少两个个性化主题和所述时间线中包括的所述时间段的第二手势输入；
基于被归类在所述至少两个个性化主题下的图像来形成个性化主题，其中，所述形成包括识别所述至少两个个性化主题的分层级别个性化主题；以及
显示所述多个图像中的被归类在所形成的个性化主题下的图像。
14.一种用于基于个性化主题以多维模式来显示图像的电子设备，所述电子设备包括：
存储器；以及
至少一个处理器，被配置为：
基于在预定时间段上在所述存储器中存储的多个图像来生成多个个性化主题；以及
沿着时间线显示所述多个个性化主题。
15.根据权利要求14所述的电子设备，其中，所述至少一个处理器还被配置为：
在所述预定时间段之后的连续时间段期间，以一定间隔来监控是否将至少一个图像存储到所述存储器；以及
响应于在所述连续时间段期间识别存储到所述存储器的至少一个图像，动态地更新所述多个个性化主题。
CN201780057627.2A 2016-09-19 2017-09-19 基于个性化主题以多维模式来显示图像的方法 Active CN109716275B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201641031898 2016-09-19
IN201641031898 2017-04-05
PCT/KR2017/010231 WO2018052269A1 (en) 2016-09-19 2017-09-19 Method of displaying images in a multi-dimensional mode based on personalized topics

Publications (2)

Publication Number Publication Date
CN109716275A true CN109716275A (zh) 2019-05-03
CN109716275B CN109716275B (zh) 2022-07-05

Family

ID=61620864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057627.2A Active CN109716275B (zh) 2016-09-19 2017-09-19 基于个性化主题以多维模式来显示图像的方法

Country Status (3)

Country Link
US (1) US10958842B2 (zh)
CN (1) CN109716275B (zh)
WO (1) WO2018052269A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467754B1 (en) * 2017-02-15 2019-11-05 Google Llc Phenotype analysis of cellular image data using a deep metric network
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
US10134131B1 (en) * 2017-02-15 2018-11-20 Google Llc Phenotype analysis of cellular image data using a deep metric network
US11126649B2 (en) 2018-07-11 2021-09-21 Google Llc Similar image search for radiology
KR102192366B1 (ko) * 2019-05-13 2020-12-18 엔에이치엔 주식회사 영상 컨텐츠 검색 사용자 인터페이스를 제공하는 이동통신 단말기 및 이를 이용한 영상 컨텐츠 관리 방법
TWI817014B (zh) * 2019-11-25 2023-10-01 仁寶電腦工業股份有限公司 基於時間軸的圖形使用者介面提供方法、系統與紀錄媒體

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282011A1 (en) * 2013-03-15 2014-09-18 Apple Inc. Device, Method, and Graphical User Interface for Organizing and Presenting a Collection of Media Items
US20160203386A1 (en) * 2015-01-13 2016-07-14 Samsung Electronics Co., Ltd. Method and apparatus for generating photo-story based on visual context analysis of digital content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950989B2 (en) * 2000-12-20 2005-09-27 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US7788592B2 (en) * 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
JP4839998B2 (ja) * 2006-07-18 2011-12-21 ソニー株式会社 情報呈示方法、情報処理装置および情報呈示用プログラム
US9665597B2 (en) 2006-12-05 2017-05-30 Qualcomm Incorporated Method and system for processing images using time and location filters
JP5149724B2 (ja) * 2007-09-07 2013-02-20 キヤノン株式会社 画像管理装置及びその制御方法、記憶媒体
KR20100034411A (ko) * 2008-09-24 2010-04-01 삼성전자주식회사 파일 속성정보 입력 방법 및 장치
JP2012079174A (ja) * 2010-10-04 2012-04-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5655112B2 (ja) * 2012-09-14 2015-01-14 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
EP2979159A4 (en) * 2013-03-29 2016-11-09 Hewlett Packard Development Co USER INTERFACE WITH ADJUSTABLE TIME LINE
WO2014197216A1 (en) 2013-06-03 2014-12-11 Yahoo! Inc. Photo and video search
US10318575B2 (en) * 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
KR102379171B1 (ko) 2015-02-27 2022-03-25 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법
US10121515B2 (en) * 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282011A1 (en) * 2013-03-15 2014-09-18 Apple Inc. Device, Method, and Graphical User Interface for Organizing and Presenting a Collection of Media Items
US20160203386A1 (en) * 2015-01-13 2016-07-14 Samsung Electronics Co., Ltd. Method and apparatus for generating photo-story based on visual context analysis of digital content

Also Published As

Publication number Publication date
US20180084198A1 (en) 2018-03-22
WO2018052269A1 (en) 2018-03-22
US10958842B2 (en) 2021-03-23
CN109716275B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN109716275A (zh) 基于个性化主题以多维模式来显示图像的方法
US11030825B2 (en) Computer aided systems and methods for creating custom products
US9734426B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
US10867081B2 (en) Computer aided systems and methods for creating custom products
Patterson et al. The sun attribute database: Beyond categories for deeper scene understanding
US8837831B2 (en) Method and system for managing digital photos
US7627831B2 (en) Interactive techniques for organizing and retrieving thumbnails and notes on large displays
CN106980868A (zh) 用于具有多个文本标签的图像的嵌入空间
CN106980867A (zh) 将嵌入空间中的语义概念建模为分布
CN107239203A (zh) 一种图像管理方法和装置
CN110472082A (zh) 数据处理方法、装置、存储介质及电子设备
CN103477317B (zh) 内容显示处理装置、内容显示处理方法以及集成电路
US9542619B2 (en) Automatic image piling
CN110490237A (zh) 数据处理方法、装置、存储介质及电子设备
Lonn et al. Smartphone picture organization: A hierarchical approach
CN106777066B (zh) 一种图像识别匹配媒体文件的方法和装置
Carah et al. Tuning machines: an approach to exploring how Instagram’s machine vision operates on and through digital media’s participatory visual cultures
JP2013501979A (ja) データベース検索方法、システムおよびコントローラ
Blighe et al. Mo Músaem Fíorúil: a web-based search and information service for museum visitors
Mayron Image retrieval using visual attention
JP2020046956A (ja) 機械学習システム
US11740849B1 (en) Apparatuses and methods for generating a modular digital wall
Yousuf et al. IMDB-Attire: A Novel Dataset for Attire Detection and Localization
Dai et al. Object detection based on visual memory: a feature learning and feature imagination process
Patterson et al. The SUN attribute database: Organizing scenes by affordances, materials, and layout

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant