CN108780389A - 用于计算设备的图像检索 - Google Patents

用于计算设备的图像检索 Download PDF

Info

Publication number
CN108780389A
CN108780389A CN201780003565.7A CN201780003565A CN108780389A CN 108780389 A CN108780389 A CN 108780389A CN 201780003565 A CN201780003565 A CN 201780003565A CN 108780389 A CN108780389 A CN 108780389A
Authority
CN
China
Prior art keywords
image
computing device
communication equipment
update
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780003565.7A
Other languages
English (en)
Other versions
CN108780389B (zh
Inventor
帕尔塔萨拉西·米什拉
玛德胡·坎德瓦尔
王子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202010211356.5A priority Critical patent/CN111383304B/zh
Publication of CN108780389A publication Critical patent/CN108780389A/zh
Application granted granted Critical
Publication of CN108780389B publication Critical patent/CN108780389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/068Hybrid storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/40Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/121Frame memory handling using a cache memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

实施方式通常涉及从设备检索由接收设备消耗的图像。在一些实施方式中,计算设备可以从通信设备接收图像集合的更新,包括先前没有在集合的之前的版本中接收的至少一个图像。计算设备可以在长期内存中存储用于集合的更新,并将来自更新的图像中的至少一个图像复制到非持久性内存。在非持久性内存中的图像可以不超过最大阀值。响应于计算设备从非活动到活动的更改,计算设备可以将来自非持久性内存的图像显示为计算设备上的背景图像。进一步响应于非持久性内存中图像数量的最小阈值,计算设备可以复制新的图像的至少一个图像到非持久性内存。

Description

用于计算设备的图像检索
背景技术
访问由计算设备消耗的大量数字图像是非常有可能的。计算机设备彼此间通信的广泛可用性扩大了图像的可访问性。图像可以通过被观看、转移、投影、显示等而被消耗。例如,图像可以被用作计算机显示屏幕中的背景图像。图像的这种利用可以为具有低处理能力的计算机设备,如智能手表的可穿戴设备,造成沉重的负担。为了应对处理和存储负担,具有有限内部资源的设备可以将一些计算和实质的存储要求卸载到具有更强能力的计算设备。
发明内容
实施方式通常涉及从设备检索由另一个设备消耗的图像。在一些实施方式中,一种方法可以通过诸如可穿戴设备的计算设备执行,以从通信设备接收图像集合的更新。集合的更新可以包括一个以上的新图像,新图像没有被包括在由计算设备存储的集合的之前的版本中。该方法还可以使用计算设备在计算设备的长期内存中存储图像集合的更新。可以将来自集合的更新的至少一个图像复制到非持久性内存,作为可用的图像。在一些实施方式中,非持久性内存中的可用的图像不超过最大阀值。响应于计算设备从非活动使用状态到活动使用状态的更改,计算设备可以在计算设备上显示可用的图像中的至少一个图像作为背景图像。进一步响应于非持久性内存中的可用的图像达到最小阈值,计算设备可以将一个以上的新图像中的至少一个图像复制到非持久性内存。在一些实施方式中,最小阈值低于最大阈值的值。
在一些方面中,可以至少部分地响应于通信设备的充电模式,来接收集合的更新。在一些实施方式中,可以至少部分地响应于用户日程表中的事件,或者响应于正在计算设备上播放的音乐曲段来接收更新。
该方法可以包括在接收集合的更新之前,确定通信设备的图像储存库的更改。在一些实施方式中,图像集合的更新可以包括之前的图像,之前的图像包括在计算设备存储的集合的之前的版本中。可以存储图像集合的更新以替换集合的之前的版本。
在一些方面,该方法包括基于显示屏幕的形状和大小来编辑背景图像。在图像编辑的一些实施方式中,可以确定用于显示屏幕的形状和大小的模板形式,可以在模板形式中确定内容形式,并且可以基于内容形式在显示屏幕上定位背景图像。该方法可以包括被配置为适合显示屏幕的形状和大小的最大尺寸和形状的模板形式。
在计算机实施的方法的一些方面,集合的之前的版本可以来自对图像的先前的请求,其中先前的请求是用户搜索查询。在一些实施方式中,集合可以是相册并且相册的之前的版本可以来自对图像的先前的请求,其中先前的请求是相册的用户选择。
在又一些实施方式中,可以提供一种系统,并且系统可以包括可穿戴设备的一个以上的处理器、长期内存和非持久性内存以及存储有指令的一个以上的计算机可读介质,当通过一个以上处理器执行指令时,引起操作的进行可以包括从通信设备接收图像集合的更新,并且在可穿戴设备的长期内存中存储集合的更新。操作可以包括复制来自集合的更新的图像中的至少一个图像到非持久性内存作为可用的图像。响应于计算设备从非活动使用状态到活动使用状态的更改,操作可以包括在可穿戴设备上显示可用的图像中的至少一个图像作为背景图像。响应于非持久性内存中的图像数量的最小阈值,操作可以包括将新的图像中的至少一个图像复制到非持久性内存。在一些实施方式中,非持久性内存中的可用的图像可以不超过最大阀值。对集合的更新可以包括一个以上的新图像,新图像没有被包括在通过可穿戴设备存储的集合的之前的版本中。
在系统的一些方面,接收集合的更新的操作可以至少部分地响应于通信设备的充电模式。在一些实施方式中,操作可以包括在接收集合的更新之前,确定通信设备的图像储存库中的更改。
在一些方面,操作可以包括基于显示屏幕的形状和大小来编辑背景图像。编辑可以包括确定用于显示屏幕的形状和大小的模板形式,确定模板形态内的内容形式,基于内容形式在显示屏幕上定位背景图像。在一些实施方式中,模板形式可以是适合显示屏幕的形状和大小的最大的大小与形状。
在又一些方面,一种计算机实施的方法可以由诸如移动设备通信设备执行,并且可以包括检测通信设备的充电模式、确定一个以上的新图像以更新图像集合,其中一个以上的新图像没有被包括在提供给计算设备的集合的之前的版本中,计算设备诸如可穿戴设备。由通信设备执行的方法可以进一步包括根据计算设备的显示屏幕的外观特征来编辑的新的图像,并且将图像集合的更新存储在储存库中。基于通信设备的充电模式,该方法可以包括将图像集合的更新传送至计算设备。
在一些方面,通过通信设备的方法可以包括响应于计算设备的充电模式,确定计算设备的充电模式并且提供图像集合的更新。在一些实施方式中,通过计算设备的方法可以包括检测通信设备的最小电力状态。可以响应于最小电力状态检测充电模式。
在一些方面,计算设备的显示屏幕的外观特征可以包括显示屏幕的形状和大小。编辑可以包括确定用于计算设备的显示屏幕的形状和大小的模板形式、确定模板形式内的主内容形式、以及基于主内容形式编辑图像。在一些实施方式中,编辑还可以包括确定模板形式的一个以上的边缘内部的一个以上的分隔间隙,并且将主内容形式的尺寸设置为不与一个以上的分隔间隙重叠。在一些示例中,模板形式可以是被配置为适合计算设备的显示屏幕的形状和大小的最大的大小与形状。
在又一个其他实施方式中,诸如介质的有形的、非暂时的可记录的计算机可读储存装置被讨论,以存储引起操作的进行的指令。非暂时性计算机可读介质可以存储指令,该指令从通信设备接收对图像集合的更新,以存储在诸如可穿戴设备的计算设备上。集合的更新可以包括一个以上的新图像,新图像没有被包括在通过计算设备存储的集合的之前的版本中。指令还可以提供用于在计算设备的长期内存中存储对图像集合的更新,并且将来自集合的更新的至少一个图像复制到非持久性内存,作为计算设备上的可用图像的执行。在一些实施方式中,非持久性内存中的可用图像不超过最大阀值。响应于计算设备从非活动使用状态到活动使用状态的更改,计算设备可以在计算设备上显示可用图像中的至少一个图像作为背景图像。进一步响应于非持久性内存中的图像数量的最小阈值,计算设备可以将新图像中的至少一个图像复制到计算设备中的非持久性内存。
附图说明
图1是图示通过计算设备的图像集合的各个方面可以在图像检索系统中实施的示例环境的概念图;
图2(a)、2(b)和c)是在背景图像上具有各种显示单元的例如可穿戴设备的计算设备的示例显示屏幕的图;
图3(a)、3(b)、3(c)、3(d)、3(e)、3(f)、3(g)以及3(h)是图示用于例如可穿戴设备的计算设备的各种显示屏幕的几何编辑的实例的示意图,其中,图3(a)-(f)示出了用于扁平圆形的显示屏幕的几何编辑处理的示例,图3(g)示出了在扁平正方形显示屏幕上的几何编辑图像以及图3(g)示出了在扁平矩形显示屏幕上的几何编辑图像;
图4是示出了来自通信设备的通过计算设备的图像集合的一个示例的示意图;
图5(a)、5(b)、5(c)和5(d)是在计算设备上提供搜索查询的示例显示屏幕的图;
图6(a)、6(b)和6(c)是用于共享来自计算设备的图像的示例显示屏幕的图;
图7(a)、7(b)、7(c)以及7(d)是用于在计算设备上显示和操纵图像的示例显示屏幕的图;
图8是用于采集和显示对图像集合的更新的示例处理的流程图;
图9是编辑图像的示例设备的流程图;以及
图10是根据本公开的至少一些实施方式的,采集图像并提供对图像集合的更新的示例设备的流程图。
具体实施方式
在各种实施方式中,图像检索系统为计算设备提供从通信设备自动地接收图像的工具。例如,可穿戴设备可以与通信设备进行通信以处理和获取图像内容,可穿戴设备例如是智能手表、耳机、健康可穿戴设备等,通信设备诸如是移动计算设备,移动计算设备例如是智能手机、平板电脑、笔记本电脑、个人计算机、服务器等。在一些实施方式中,计算设备可以是可穿戴或者不可穿戴设备,其中,网络通信、处理能力和/或存储资源可能是差的(例如慢或者不可靠的)和/或昂贵的。
在一些实施方式中,用户可以请求并且接收一个以上的图像。例如,用户可以通过输入搜索查询、通过请求图像相册和/或通过挑选一个以上的特定的图像来请求图像。计算设备的长期内存中的储存库可以与通信设备的储存库同步,通信设备的储存库包含响应于用户请求而采集的图像。通信设备可以例如,周期性地接收对储存库的一个以上的更新。当这种更新被接收时,在一些实施方式中,通信设备可以将这种更新提供给它的储存库,用于自动与计算设备的内存中的储存库同步。在将图像提供给计算设备以准备用于消耗的图像之前,通信设备可以处理图像,例如进行编辑。
可以在不需要用户专门地为任何更新图像进行新的请求的情况下发生自动同步。在一些实施方式中,可以响应于触发事件、每隔一定间隔或者在其他时间,发生更新图像的自动同步。
在一些实施方式中,一个以上的图像可以从通信设备被推送到计算设备。在更进一步的实施方式中,响应于来自计算设备的专门的请求,图像可以从通信设备被拉过来。在一些实施方式中,可以在通信设备和/或计算设备正在充电或者在其他情况下补充其电力的同时发生图像转移。
在充电期间更新图像集合的示例有可能动态地提供新的图像至计算设备,而不为通信设备和/或计算设备的供电带来负担。因此,有可能减少例如蓝牙信道为数据传输所打开的次数。在本示例中,蓝牙信道可以仅在例如夜间进行充电的同时需要被打开。计算设备可以在例如白天的非充电时间,为用户提供新的图像,而计算设备无需与通信设备通信,其中用户不会更改发起新的请求或者修改先前的请求,例如新的搜索查询或者不同的相册请求。
通过计算设备接收的图像可以被储存在计算设备的长期的内存中,并且多个图像可以被保持在队列中并为他们的使用做好准备。当计算设备进入活动状态时,来自队列的一个以上的图像可以被消耗。例如,图像可以被自动地弹出或者另外地从队列被检索出并被显示。用户可以无需专门地请求下一个要被显示的图像。例如,图像可以作为新的背景图像被显示在计算设备的显示屏幕上的控制单元和其他数据后面。这种自动的图像更新可以需要与检索更新的图像集合较少的通信,并且可以有助于为计算设备和通信设备中的任意一个或者两者节约电力使用。
在一些实施方式中,预定数量的检索图像可以被计算设备保持在队列中以用于消耗。对于图像,计算设备可获得各种类型的消耗。例如,图像可以被显示(例如,在显示屏幕上被显示)、投影(例如,被渲染到物理空间上)、共享(例如,通过发电子邮件、发即时消息、发文本消息、开视频会议或者被发布到网站上)、编辑(例如,用户直接从显示屏幕进行编辑),或者打印(例如,被发送至打印机设备)。当图像从计算设备的非持久性内存被检索到并且被渲染时,特定数量的检索图像可以被来自计算设备的长期内存的图像替换。用这样的方式,预定数量的图像,例如最小阈值,可以准备用于潜在缩短的等待期。
图像检索系统可以进一步地使图像适应不同的计算设备上的各种显示屏幕。一些这种编辑处理可以包括基于给定的显示屏幕的确定的外观特征的图像的几何编辑,外观特征为诸如是显示屏幕的形状、尺寸、表面纹理和平坦度和/或球形度。诸如正方形、矩形、方格形的模板形式可以是为显示屏幕定制的。在一些实施方式中,模板形式的尺寸可以被设置为在显示屏幕内适合的最大规格,例如,最大的正方形形式。内容形式可以是形状和尺寸被设置在模板形式内并为图像提供平台。图像可以被调整为至少基本上在内容形式之内适合。
在一些实施方式中,图像可以在显示屏幕上,例如,在智能手表的正面上,作为背景图像被显示。在一些示例中,背景图像可以包括显示在其他数据、图标以及控制单元后面的图像。背景图像还可以是屏保,例如当用户在特定的时间段没有使用该设备时显示这样的图像。背景图像还可以是锁屏的一部分,主屏幕的一部分等。
在一些实施方式中,当例如可穿戴设备的计算设备从非活动的使用状态(例如,超时、空闲或者微光模式)转换至活动状态(例如,计算设备能够与用户交互的模式,诸如用户操纵或者观看计算设备上的显示屏幕或应用软件,或者在这种交互后的一段时间)时,可以自动地显示新的图像。例如,非活动的使用模式可以通过触发事件或者自动地在预先指定时间,通过用户的请求而发生。
对于新的背景图像的显示,可以不要求用于新的背景图像的专门的用户指令。从用户的角度,更新图像的外观可以显得无缝,而无需启动应用程序来检索新的图像。举例来说,在某些示例中,对于例如智能手表的计算设备来说,能够在无需计算设备用户手动地浏览潜在的无数图像并选择图像的情况下刷新新的图像可能是有利的。
例如,如果智能手表用户最近已经在到夏威夷的家庭度假期间拍摄照片,那么在她继续她的日常活动时,度假用户可以享受地观看她的智能手表上的度假照片。在她旅途中的某些时刻,本例子中的度假用户已经请求她的智能手表检索被命名为“度假”的相册。根据对相册中的图像的初始请求,智能手表可以从用户的智能手机仅仅检索满足用户请求标准的少量照片,并迅速地显示初始结果。从用户的角度来看,她的搜索查询的结果是瞬间出现在她的智能手表正面上的。在后台,智能手表可以继续收集满足搜索标准的照片,并在例如硬盘、固态硬盘等的长期内存中存储这些剩余的照片。当用户看完初始照片时,多个剩余的照片可以被放入队列中以供用户继续观看。她在她的智能手表上观看的图像显得是无缝的。
在度假用户返回后,她对她的设备充电以为随后几天的工作做准备。在她的智能手表充电期间,她的移动电话已经将具有她旅程的新照片的集合推送到她的智能手表。该更新的集合可以包括她之前还没有在她的智能手表上观看的最近的照片。
周期性地在该用户的工作日期间,她的智能手表切换至示出了最小用户界面显示的空闲模式,例如,具有白色文本和图形的黑背景。当她扫视她的智能手表时,智能手表从非活动状态翻转至活动状态。无需该用户请求更新照片,智能手表正面自动地显示来自她的最近假期的新的背景图像。在整个一天中,随着智能手表从非活性切换至活动状态,出现她度假的新的图像的随机播放,促使她的同事和朋友询问她的旅程。在整个度假用户的日子里,她反映她旅程的时刻。
在诸如可穿戴设备的计算设备上显示的图像可以增强美感,引起情绪反应,有助于运动、健康和医疗成果,提供例如环境条件的信息,等等。图像可以包括静态图像(如照片、图形、图画等)、动画图像、动态视频等。在一些情况下,图像可以是用户个人的图像,例如,使得用户生活中正在进行的故事可见、并且作为标记用户已经到过的地方的视觉足迹的图像。一些个人图像的示例包括由用户拍摄的照片、由另一个人拍摄的用户的照片、用户的自画像、由另一个人拍摄的熟悉或者靠近用户的主题的照片等。在一些实施方式中,图像还可以包括来自社交媒体的帖子。例如,用户可以接收由其他人发布的更新图像,其他人诸如是朋友、家属或者组织等。
在又一些实施方式中,图像本质上可以是非个人的,包括如传感器信息的数据的视觉表示,用于交互目的的描绘、图片通知等。个人和非个人的其他示例也是有可能的。
图1图示了示例环境,在该示例环境中,实施图像检索系统100的一些实施例,以使用户能在计算设备102上接收图像。图像检索系统100包括计算设备102和通信设备120,两者可以通过网络112彼此连接(如虚线所示)以实施图像的检索。虽然显示了一个通信设备120,但是图像检索系统100可以包括大于一个的通信设备120。
虽然在图1示出了移动电话作为通信设备120的示例,但是可以附加的或者可选择的使用其他类型的通信设备。根据各种实施例的通信设备120可以是任意的计算设备,例如移动计算设备,该计算设备能够在具有或者不具有图像捕获单元的情况下,传送图像至计算设备102并确定和处理输入。例如,例如云端存储实施方式中的服务器的服务器、笔记本式计算机、膝上型计算机、上网本、平板电脑、媒体设备、台式计算机、游戏机等都是能够传送图像至计算设备102的适合的通信设备。
在图1所示的示例中,通信设备120包括显示屏幕110和图像捕获单元(未示出)。显示屏幕110可以是TFT(薄膜晶体管)液晶显示器、OLED(有机发光二极管)显示器或者其他适合的显示技术。通信设备120可以在显示屏幕110上显示示范性的图像106,该示范性的图像106由通信设备120的图像捕获单元捕获。在本示例中,图像106描绘了全家福的场景130。图像106可以通过通信设备120被修改并被储存在要被提供给计算设备的一个以上的图像的集合。
在一些实施方式中,图像106可以被捕获、被编辑或者另外地由其他图像捕获设备创建。图像106可以通过通信设备120从另一个图像捕获设备或者从其他图像集合源被接收。例如,诸如移动计算设备的通信设备120可以从诸如服务器的图像集合源提取图像结果,移动计算设备例如是如移动电话。在一些实施方式中,通过第三方创建的图像可以被流至通信设备。通信设备120对图像的采集可以是根据用户请求的,例如订阅来自第三方源的图像,或者图像可以在没有用户请求的情况下,通过通信设备120被采集。
通信设备120可以为用于转移到计算设备102的图像106做准备,例如,修改并存储为集合成员。图像106,例如新捕获的全家福照片,可以通过通信设备被储存为新的图像,以更新先前的图像集合。例如,计算设备可能已经为命名为“家庭”的相册做出初始请求。图像106可以被识别为家庭相册的新照片。例如,通信设备120可以在用户同意后评估图像106,并且确定新照片包含家属。在某些实施方式中,通过用户专门的同意,为了确定用于集合的图像,通信设备可以通过如图像识别分析来分析图像的视觉内容,确定图像的元数据等等。图像106还可以被被用户或其他方式辨别为属于集合。被修正的具有全家福图像106的集合可以准备好被提供给计算设备102,作为对家庭相册集合的先前请求的更新。
在一些实施方式中,当通信设备120处于充电模式为通信设备补充电力时,计算设备102可以与通信设备同步或以其他方式接收例如更新图像的图像。在一些实施方式中,当通信设备120处于充电模式时,通信设备120可以查找新的图像来更新图像的集合。在一些实施方式中,通信设备和/或计算设备的最小电力状态可以触发图像检索系统100以延迟将图像转移至计算设备102、延迟通信设备的图像采集和/或延迟通信设备的图像处理,直到进入充电模式,最小电力状态例如是电池剩余50%的电力、电池剩余80%的电力、电池剩余2小时等。例如,检测到设备50%或者更少的电力可能需要该设备进行等待,直到充电模式才进行图像转移中的一个以上的步骤。一旦通信设备和/或计算设备处于充电状态,可以根据本文描述的处理来继续进行延迟操作。
例如充电器、计算机和车辆等的电源可以与通信设备120连接,并开始通信设备120的充电模式。例如,与电源的通信可以经由例如USB电缆的电源线124被附接到通信设备120的端口上。可以采用各种电源,各种电源可能采用或者可能不采用电源线124。在一些实施方式中,充电可以经由至电源的无线连接发生,电源可以发出电流。转换或者感应电力的其他实施方式可能对通信设备充电,例如移动感应充电。
在又一些实施方式中,通信设备120可以监控其电力水平和/或接收计算设备102的电力水平的指示。可以基于电力水平周期性的更新和提供图像集合。例如,当通信设备的电力水平处于或者高于阈值电力水平时,例如,电池剩余50%、电池剩余80%、电池剩余2小时、电池充满电,通信设备120可以更新图像集合并且可以推送图像更新集合至计算设备102。在低于该电力水平时,通信设备120可以不太频繁地更新集合或者等待直到通信设备120处于充电模式,以更新和推送图像集合。
通信设备120可以确定对于图像集合的一个以上的更改并自动地推送更新集合至计算设备102。在又一些实施方式中,计算设备102可以在例如夜间的预定时间,响应于触发事件、或者响应用户的请求按需接收对于集合的更新,触发事件诸如为收到通信设备处于充电模式的通知或者收到图像集合已经被更新的通知。
在一些实施方式中,在计算设备102上运行的应用程序可以发起对图像的请求并提供用于图像集合的标准。在一些实施方式中,可以以智能方式选择图像。例如,音乐应用程序可以请求在计算设备上的与正在播放的特定的音乐曲段相关的或者其他可用的图像。举例来说,对于音乐库的更新可以触发图像的请求和/或选择,以与更新的音乐库对应。在其他示例中,可以基于用户计划的日程表的上下文来请求图像。在用户同意的情况下,计算设备和/或通信设备可以访问用户的日程表并且确定特定事件将要发生。例如,如果日程表表示用户计划参与运动事件,那么与运动相关的图像可以在该事件之前、该事件期间或者该事件之后被推送至计算设备。
在一些实施方式中,图像可以以交错的方式提供给计算设备102,例如响应于用户对图像的请求。在通信设备从计算设备102接收初始请求后,图像集合的第一部分可以通过通信设备12被即时发送。第一部分可以包括用户可能开始使用的特定数量的可用图像。例如,第一部分可以包括可以显示给用户观看的三个图像。在一些实施方式中,图像集合的第一部分可以被放置入计算设备102的队列中,用于用户的快速消耗。当用户消耗了图像集合的第一部分,通信设备120可以继续收集要添加至集合的任何其他的图像,并推送集合的第二部分至计算102设备。当第二部分图像从通信设备120被收集和推送时,可以在计算设备102的后台接收第二部分图像。当用户完成观看集合的第一部分时,图像的第二部分可以准备好被计算设备消耗。
在一些实施方式中,第二部分代表图像集合的剩余部分。在又一些实施方式中,第二部分包括少于图像集合的全部剩余部分。在这些情况中,通信设备可以继续为集合收集图像,并发送集合的一部分至计算设备102。对于任意数量的部分,例如,图像集合的第三部分、第四部分,图像的交错转移可以被重复。
这种图像的交错部分的传送可以在数据准备好传送后,使少量的数据被提供给计算设备。在通信设备提取更多数据时,计算设备可以迅速地渲染图像的部分。用这样的方式,用户可以体验为图像请求获取图像的快速响应时间,例如,响应搜索查询或者请求相册。
计算设备102可以跨一个以上的网络112收集图像集合。跨一个以上的网络112的通信可以包括保密和安全措施,例如,加密和密码保护。网络112可以包括一个以上的WAN(广域网)和/或LAN(局域网),其可以是有线和/或无线的。在一些示例中,网络112可以包括一个以上的的蜂窝网络和/或因特网,以及其他网络。在一些示例中,如BluetoothTM网络的局部网络被采用用于计算设备102和通信设备120之间的通信。在一些实施方式中,计算设备102和通信设备120可以使用近场通信(NFC)技术而彼此耦接。在又一些实施方式中,计算设备102和通信设备120可以被物理地耦接以交换信息。虽然网络112被显示为单个网络,但是应当理解,网络112可以包括本身通信连接的多个不同的网络。网络112也可以采用其他形式。
网络112可以根据一个以上的通信协议运行,例如,BluetoothTM,LTE(长期演进)、CDMA(码分多址)、WiMAX(全球微波互联接入)、WiFi(无线保真)、WiFi直连(无线保真直连)、EDGE(增强型数据速率GSM(全球移动通信系统)演进)、3G(第三代)、4G(第四代)、HTTP(超级文本传输协议)、TCP(传输控制协议)、SIP(会话发起协议)、基于设备联系的传输协议,基于设备移动的配对协议以及其他通信协议。
虽然图1将智能手表表示为计算设备102的类型,但是可以从通信设备接收用于消耗的更新图像的其他非可穿戴计算设备或者可穿戴装置的其他类型也可以使用。可穿戴设备是穿戴在与用户身体接触或者靠近身体的地方。例如,计算设备102可以是可穿戴设备,该可穿戴设备用作夹子、带子、手表、珠宝、护目镜、眼睛、隐形眼镜、服饰、配件、可穿戴物品的附属部分等。例如,用户可以在智能手表或者智能腕带的显示器上、头戴式设备(HMD)、手指戴用的戒指等上面观看图像。
一些可穿戴型的计算装置包括或者是基本上被用做健康或者运动设备。举例来说,可穿戴设备可以被配置为监控生理状态、提供健康信息以及管理医疗保健。这种健康可穿戴物可以包括测量生物信号或者环境成分的至少一个传感器。
在一些实施方式中,计算设备是将图像重叠到环境上的增强现实设备。例如,计算设备可以是具有相机和投影仪的可穿戴设备,以投影一个以上的图像并检测用户与投影图像的交互。例如,在图像识别软件被采用的情况下,这种增强现实设备可以包括供其使用的保密许可的输入。
然而,应当理解,其他类型的计算设备可以被配置为提供类似的图像检索功能,和/或可以包括如关于可穿戴设备和智能手表描述的那些组件的类似组件。
计算设备102上的显示屏幕104可以被用于显示各种用户界面。显示屏幕可以是TFT(薄膜晶体管)液晶显示器,OLED(发光二极管)显示器或者其他适合的显示技术。
图像106可以被显示在显示屏幕104上。例如,图像106可以被显示为对于一个以上的显示单元的背景图像。诸如手表时间108的各种显示单元可以在背景图像106之上被显示在显示屏幕104上。显示单元还可以包括日期、如计步器读数的传感器输出、气象数据、电子邮件、可用命令菜单等。在如下所述的一些实施方式中,图像106可以被通信设备120和/或计算设备102编辑以便在计算设备上使用。
图2(a)、(b)和2(c)显示了具有显示在背景图像204上的显示单元的、智能手表类型的计算设备的显示屏幕202的各种格式。例如,图像106可以被用作背景图像204。图2(a)示出了具有数字和日期208的数字时钟206的显示单元。图2(b)示出了传统的模拟面,具有从中心点延伸和绕中心点旋转的时针和分针210,并具有秒针212和分钟标记围着周边。图2(c)示出了分别以小时和分钟显示时间的圆形臂216、218,以及围绕手表正面的周边的五个分钟标记220。许多其他类型计算设备的正面是可能的。
在图2(a)至(c)中的示例中,显示屏幕202的形状是圆的,并且背景图像204被编辑以包围整个手表正面。在一些实施方式中,背景图像204可以显示在显示屏幕202的一部分上。计算设备的显示屏幕可以具有不同的形状、尺寸和平坦度或者曲率的各种外观特征。在一些实施方式中,显示屏幕可以是立体显示器以传达景深感觉。
在一些实施方式中,图像的几何编辑可以提供标准的图像形状和尺寸,用于各种显示屏幕。可以通过通信设备120、计算设备102或者其他计算设备来进行图像的几何编辑。图3(a)至(f)显示用于扁平圆形显示屏幕的几何编辑处理的示例,图3(g)示出了在扁平正方形显示屏幕上的几何编辑图像,以及图3(g)示出了在扁平矩形显示屏幕上的几何编辑图像。几何编辑处理可以通过被储存在通信设备120、计算设备102或者其他设备中的应用程序实施,例如,在通信设备120、计算设备102以及服务器的组合中,或者在设备120、设备102或者服务器的一个设备中。几何编辑应用程序可以是代码和程序,被配置成根据显示屏幕的外观特征编辑图像。
在图3(a)中,可以提供如空白屏幕的基础显示屏幕302,其具有诸如形状(例如圆形)、尺寸、表面纹理、硬度、平坦度和/或球形度的外观特征。基础显示屏幕302可以显示任何色彩、图案、图形等。在图3(b)中,几何编辑处理可以包括根据重叠基础显示屏幕302来确定模板形式304。模板形式304可以是根据显示屏幕的外观特征被设置尺寸的特定形状。模板形式304可以作为引导被用于编辑图像,用于对显示屏幕作裁剪。例如,模板形式304可以是适合在基础显示屏幕302内的形状的最大尺寸,如在圆或者椭圆显示屏幕中的最大正方形或者如在矩形显示屏幕中的最大的圆形或者椭圆形式。在一些实施方式中,模板形式304可以小于基础显示屏幕302并且为屏幕的一部分进行定位。在又一些实施方式中,模板形式304可以包围整个基础显示屏幕302。
在一些实施方式中,如图3(c)所示,几何编辑处理可以包括为模板形式304的周边的至少一部分,例如外围边缘或者弧线,确定尺寸被设置在模板形式304内的一个以上的分隔间隙306。分隔间隙306可以由像素填充形成并且可以在一个以上的图像和显示屏幕的边缘之间创建空间。在一些实施方式中,分隔间隙306可以用作多个图像之间的边界。分隔间隙可以是任何的形状、尺寸、规格(例如长度和宽度),诸如8个像素宽。在一些实施方式中,多个分隔间隙306的各种尺寸和形状可以被使用。
几何编辑处理可以进一步包括确定至少基本上被定位在模板形式304内和在分隔间隙306外(例如,不与之重叠)的一个以上的主内容形式308。在一些实施方式中,分隔间隙306的内缘可以定义主内容形式308的形状和尺寸。主内容形式308可以与分隔间隙306不重叠。主内容可以提供要出现在基础显示屏幕302上的焦点图像。在一些实施方式中,可以为主内容形式308设置尺寸、形状和位置以使其在模板形式304的分隔间隙306的内缘之内适合。在一些实施方式中,分隔间隙306的内边界定义主内容形式308的外边界。如图3(d)所示,几何编辑处理可以进一步包括模板形式304的移除,将主内容形式308保持在基础显示屏幕302上的适当位置上。
在一些实施方式中,如图3(e)中的示例所示,一个以上的附加内容形式310可以通过几何编辑处理被完全或者部分地确定。附加内容形式310可以在基础显示屏幕302上提供图像定位。在一些实施方式中,附加内容形式310通过滚动、声音命令、触摸命令等,使图像在基础显示屏幕302上移动位置至主内容形式308的位置。在一些实施方式中,附加内容形式310可以被确定为以大小与形状复制主内容形式308的至少一部分,以使图像部分地出现在显示屏幕302上并且部分地偏离基础显示屏幕302。附加内容形式310可以通过分隔间隙306与主内容形式308分隔开。图3(e)示出了图像的幻灯软片布局。幻灯软片布局可以能够垂直或者水平地滚动。其他布局可以被用于基础显示屏幕302上的内容形式308和310。
主内容形式308的尺寸和形状可以被几何编辑处理使用以确定编辑参数,如大小与形状,以使图像出现来填充主内容形式308。内容形式308和310在显示屏幕上的位置可以被进一步用于确定图像在基础显示屏幕302上的位置。
在图3(f)中,根据几何编辑处理被编辑的图像,可以被定位在基础显示屏幕302上内容形式的位置。主内容形式308可以提供显示屏幕302上的主图像312的位置。主图像312(例如,从在图1中的通信设备120接收的图像106)可以被定位在主内容形式308的位置上。在一些实施方式中,多个附加图像314和316可以被完全或者部分地显示在一个以上的附加内容形式310的位置上。当根据几何编辑处理修改新图像时,主图像312和附加图像314、316可以动态地更新。例如,用户可以向前和向后滚动图像,使得能够改变通过主内容形式308和附加内容形式310定位的图像。
图像之间的间隔318可以由模板形式304的分隔间隙306创建。间隔318可以是任意色彩、图案、图形等。
在图3(g)中,正方形显示屏幕320包括正方形图像322,该图像根据图3(a)至图(d)所示的几何编辑处理被编辑。在该示例中,单个主图像322被显示并且没有附加图像被显示。在该示例中,附加内容形式不被用于将图像定位在显示屏幕320上。在图3(h)中,矩形正方形显示屏幕330包括正方形主图像332,此处只有主图像332被显示,正方形主图像332根据图3(a)至(f)所示的几何编辑处理被编辑。在该示例中,部分附加内容形式可以被用于定位一个附加图像334。
图4示出了示例计算设备102和通信设备120的框图。计算装置102包括组件,这些组件可以包括内存414、处理器416、显示器410、电源组件418以及接口402,以获取和消耗图像。计算设备102可以包括电源组件418,例如电池,其通过充电接口420与电源连接。计算设备102的组件通过总线422被通信地耦接。
通信设备120可以包括内存424、处理器432、相机控制器430、电源组件434和接口442,以采集和转移图像。通信设备120还可以包括如电池的电源组件434,其可以通过充电接口436与电源连接。通信设备120的组件可以通过总线444被通信地耦接。计算设备102可以通过通信设备120的同步模块438并经由通信设备120的接口442,与通信设备120的图像储存库426进行同步。
在一些实施方式中,通信设备120可以经由接口442从计算设备102接收图像请求,例如,搜索查询、相册辨别等。响应于请求,通信设备120可以收集一个以上的图像到集合中,可选择性地准备图像,如编辑图像,并且在图像储存库426中存储集合。
在一些实施方式中,相机控制器430可以捕获图像,以供通信设备120采集和存储。图像还可以通过其他组件被创建,例如,通过通信设备120的画图工具。在一些实施方式中,一个以上的外部图像源450可以经由接口442向通信设备120提供一个以上的图像,外部图像源诸如为存储基于云的照片库的服务器、照片流源、社交网络等。通信设备120的内存424可以存储图像。
在一些实施方式中,图像检索系统100使图像的所有者能够指定和/或同意通过通信设备和计算设备使用他们的图像,图像的所有者例如为来自图像源450的图像的创建者、管理者、控制者或者拥有者。图像的所有者可以提供对关于图像的某些信息的使用的同意,其可以包括与捕获图像和捕获设备的使用相关的行为、识别在图像中被辨别的人的身份信息等。例如,图像检索系统100可以为用户提供针对指定和/或同意使用特定信息的多个选择。举例来说,关于指定和/或同意的选择可以与特定的捕获设备、捕获设备的应用程序和组件、单独的图像、所有的图像、单独的相簿、所有的相簿等关联。可以以多种方法实施选择。例如,图像检索系统100可以使按钮或者复选框被显示在各种选择旁边。在一些实施方式中,图像检索系统100可以使社交网络的用户能够指定和/或同意利用他们的图像进行目标识别的使用,目标识别通常包括面部识别。
此外,某些数据在其被通信设备120和计算设备102存储或者使用前,可以以一个以上的方式被处理,使得某些信息被去除。例如,人的身份可以被处理,从而没有辨别信息被确定,或者在位置信息被获取的情况下可以概化地理位置(例如,城市、邮政编码、或者州级),从而人的具体地点不能被确定。因此,图像的所有者可以控制图像检索系统100如何采集和使用信息。
通信设备120的分析模块440可以是通过处理器432执行的一组指令,为图像集合确定图像和分析图像,例如,图像的视觉内容、与图像相关的元数据等。在用户已经同意图像的使用的情况下,分析模块440可以采用各种目标识别技术来辨别图像中呈现的目标,以确定用于集合的图像。例如,可以使用树木和天空分割、人脸检测(其中,用户已经专门地同意了人脸检测技术的使用)、面部识别(其中用户已经专门的同意面部识别技术的使用)、如神经网络处理的学习技术、以及其他处理或者各处理的组合以辨别目标。目标识别处理可以专门用于正在处理的图像类型。例如,可以利用目标识别技术来处理自然图像,该技术检测在自然界中常见的目标。这种识别技术可以被集成到分析模块440。通信设备120还可以通过在通信设备120外部的软件或者硬件,访问识别技术。在一些实施方式中,服务器,如是图像源450的服务器,可以提供识别技术和附加图像处理技术。
在一些实施方式中,为了识别目标,分析模块440可以将目标(例如,目标图像)与参考图像进行比较和匹配。在一些实施方式中,通信设备120、图像源450或者其他计算设备可以搜索参考图像,以便辨别与图像中的目标类似的任意一个以上的参考图像。对于给定的参考图像,可以从目标的图像提取用于分析的特征,然后与一个以上参考图中的那些进行比较。例如,可以在用户同意的情况下进行对目标特征的相对位置、尺寸和/或形状的分析,目标特征诸如是面部特征、身体特征等。在一些实施方式中,从分析收集的数据可以被用于利用匹配的或者相似的特征,将图像中的目标和一个以上的参考图像匹配。在一些实施方式中,多个参考图像可以被标准化并且将来自那些图像的目标数据压缩为具有信息(例如,目标特征数据)的合成表示,然后在用户同意的情况下,可以将图像中的目标与合成表示进行比较,用于面部识别。在一些实施方式中,在用户同意使用这种信息的情况下,图像被捕获之处的位置信息和目标周围的环境可以被用于目标识别。例如,可以识别在网球场上的网球运动员,并且可以识别学校或者操场附近的孩子。
在一些情形中,图像中的目标可能类似于与相同类别中的目标相关的多个参考图像。如此,与图像中的目标相关的目标很可能与参考图像相关的目标的类型相同。
在一些实施方式中,为了方便目标识别,分析模块440可以采用基于特征辨认的几何识别。进一步地,分析模块440可以使用光度测量技术,其基于将目标特征提取为用于比对的值的统计方法。当将图像中的目标与一个以上的参考进行比较时,还可以使用几何方法和光度测量方法的组合。
其他设备或者通信设备120的分析模块440可以使用其他的识别技术。例如,分析模块440可以使用识别技术,该识别技术使用主成分分析、线性辨认分析、弹性束图匹配、隐马尔可夫模型和动态链接匹配中的一个或多个。应当理解,其他设备或者通信设备120的分析模块440可以使用其他已知的或者后续开发的识别技术和/或系统。
在一些实施方式中,通信设备120的图像储存库426可以用更新的集合来更新,更新的集合具有新图像和用于先前的图像请求的先前在集合中提供的图像。更新的集合可以替换图像储存库426中过去的集合。过去的集合可能已经响应于经由接口442接收的图像请求而被收集。
在各种实施方式中,被辨别用于集合的和从图像源450接收的图像可以被存储在内存424中,由编辑模块428修改或者被直接被提供给通信设备120的图像储存库426。在一些实施方式中,编辑模块428可以是通过处理器432执行的一组指令,用于编辑通过计算设备102消耗的图像。在一些实施方式中,编辑模块428可以被存储在通信设备120的内存424中,并且可以被处理器432访问和执行。在一些实施方式中,可以使用包括现场可编程门阵列(FPGA)或者专用集成电路(ASIC)的硬件来实施编辑模块428。在一些其他的实施方式中,可以使用硬件和软件的组合来实施编辑模块428。
可以例如响应于来自计算设备102的用户搜索查询,通过编辑模块428对来自内存424的一个以上的图像进行编辑。图像可以被编辑模块428编辑,以创建满足计算设备102、计算设备102的显示屏幕(例如,OLED、LCD等)的需求的图像,或者是另外适合计算设备102消耗的图像。例如,可以对图像进行压缩、裁剪、重新格式化、颜色深度调整(例如,16位、32位等)、分辨率调整、或者其他的处理以使得图像兼容或者适合计算设备102的使用。通信设备还可以采用其他编辑技术,例如,用于改进质量、为图像添加效果、创建例如动画GIF(图形交换格式)的动画、产生3D成像等的处理。准备好通过计算设备102接收的图像可以被存储在图像储存库426中,包括由编辑模块428修改的图像。
计算设备102可以与图像储存库426同步,以检索被存储在图像储存库426中的图像。同步模块438可以是通过处理器432执行的一组指令,用于指示与计算设备102的同步。在一些实施方式中,同步模块438可以被存储在通信设备120的内存424中,并且可以被处理器432访问和执行。在一些实施方式中,可以使用包括FPGA和ASIC的硬件来实施同步模块438。在一些其他的实施方式中,可以使用硬件和软件的组合来实施同步模块438。在一些实施方式中,除了通信设备120的同步模块438或者替换通信设备120的同步模块438,计算设备可以包括同步模块。
计算设备102可以经由接口402接收图像。计算设备102上的接口402和通信设备120上的442使得能够通过一个以上的网络112(如图1所示)与远程设备(例如,捕获设备、服务器、其他计算设备)通信。接口402和442可以包括以太网适配器、USB(通用串行总线)、无线互连组件、或者其他基于有线或者无线标准标准或者专有的接口。接口402和442可以被配置为能够通过各种通信协议进行通信,包括蓝牙TM、LTE、CDMA、WiMax、WiFi,WiFi直连EDGE、3G、4G、HTTP、TCP、SIP、基于设备联系的传输协议、基于设备移动的配对协议以及其他通信协议。计算设备102和通信设备120之间经由接口402和442的通信可以包括图像请求,例如用户搜索查询。
在一示例性方法中,搜索查询可以被用于在计算设备102上进行图像请求。例如,请求可以是替换图5(a)、(b)、(c))、和(d)所示的显示屏幕502的背景图像。还可以使用各种输入和显示屏幕采用其他的图像请求。
在示例中,计算设备102的显示屏幕502上的用户界面可以提供搜索单元图标504。在示例中,用户可以通过在屏幕上触摸和下滑,下拉搜索单元图标504,如为了说明性目的所示的下拉箭头506。在图5(b)中,通过向下的箭头506所示的说明目的的向下的移动可以导致放大的搜索单元图标504。在图5(c)中,显示屏幕502示出了搜索界面,其可以完全展开并且可以覆盖显示屏幕502的重要部分,或者整个显示屏幕502。
在某些实施方式中,用户可以通过声音或者触摸输入与计算设备102交互。例如,麦克风图标508表示准备接受音频,例如声音命令。在一些实施方式中,显示屏幕502是多点触敏屏。在屏幕502上的搜索界面508可以接受各种输入,例如,如放大、点击、滚动、滑动等的触摸指令。在一些实施方式中,计算设备102可以接受各种其他的输入,例如但不限于,如声音识别的音频、触摸屏幕、利用屏幕或者外部键盘的开关输入、头控鼠标、手势识别、面部识别、运动跟踪器、眼球运动跟踪器、智能按钮、轨迹球、轨迹笔、手写板、笔、手写笔和手形鼠标。输入可以包括应用触摸、语音、单击、点击、打字、手势、移动(例如移动眼睛、手臂、身体)以及其他动作的用户。在一些实施方式中,用户使用手指或者手写笔接触显示屏幕502,以便选择显示屏幕502显示的项。用户可以输入文本或者激活计算设备102的控制功能。
在一些实施方式中,用户可以输入项,例如,图像被捕获的日期或者日期范围、图像描述等。用户还可以从搜索类别的列表510进行选择,例如,一个以上的标准图像类别、先前的查询、用户偏好、相册标题等。在示例中,列表510包括两个类别:日期类型的类别,“2015年四月”和地方类型的类别,“意大利威尼斯”。还可以在列表510中使用类别的各种其他类型。在一些实施方式中,类别的列表510可以经由分析模块440对图像的分析,从通信设备120接收。例如,通过一个以上的图像分析模块440识别的目标可以用作列表510的类别。
如图5(d)所示,显示屏幕502上的搜索结果界面可以显示从通信设备120检索的一个以上的搜索结果图像512。结果界面还可以包括从列表510选择的搜索项。结果图像可以通过滚动单元514被滚动,并且从非持久性内存406被显示为存储在长期内存404中的图像的副本。
通过计算设备102接收的图像集合可以被存储在如硬盘的长期内存404的储存库412中,和/或被存储在如内存424的高速缓存的非持久性内存406中。储存库412可以具有多种结构,该结构使得能够快速检索图像以转移到非持久性内存406。在一些实施方式中,可以基于时间戳在储存库412中索引图像。例如,当用户前后滚动在当前图像之前或者之后拍摄的图像时。在一些实施方式中,可以根据图像中描绘的主题或者通过搜索项,例如用户可能输入的搜索项“树”来索引图像,并且根据搜索项,图像被索引成集合。用这样的方式,树的图像可以被前后滚动。在一些实施方式中,可以基于时间和主题的组合在储存库412中索引图像。在又一些实施方式中,索引可以基于其他参数,如图像所属的相册、图像质量、图像源450、分辩率等。这种索引可以使能“类似高速缓存”性能并且可以允许非持久性内存的快速的重新补充,而不管用户如何浏览图像。
可以以高速缓存有利于降低高速缓存缺失率的方式,将图像存储在长期内存404的储存库412中。为了节省内存空间,可以将图像缩小至小尺寸。通过在长期存储器中存储更新的图像集合,当离线并且与通信设备120未通信时,计算设备102可以访问图像。
在一些实施方式中,当预定数量的图像被消耗,例如被显示时,可以通过将图像从长期内存404复制到用做临时存储器的非持久性内存406中,将由计算设备102接收的预定数量的图像,例如最小阈值的图像,保持在非持久性内存406。特定数量的图像反映出在任意给定时间用户可用的图像的数目。当图像被消耗时,他们可以不被永久地保留在非持久性内存中。例如,可以为计算设备上的显示目的定义三个图像。用户可以前后滚动来自非持久性内存的集合的前三个图像。当用户滚动至第四图像时,计算设备从非持久性内存移除第一图像,以保持使用的数量为三个。当用户朝着第一图像向后滚动时,计算设备可以从非持久性内存移除第四图像并且再次重新加载第一图像用于观看。在各种实施方式中,可以采用任意数量的图像用于消耗,例如,3、4、5、6至12张图像。
在一些实施方式中,预定数量的图像,例如最小阈值的图像可以被保持在非持久性内存中作为被消耗的图像。在其中一些情况下,当某一数量的用于消耗的图像被消耗时,非持久性内存可以被补充。例如,非持久性内存中的预定数量的图像(最小阈值)可以是3,并且用于消耗的图像的数量可以是例如2的数量,其比预定数量的图像少。在图像被保持在队列中的一些情况下,可能没有最小阈值并且图像在其被消耗时可以被补充到非持久性内存中。以这些方式,可以避免或者减小为用户提供图像的延迟。在又一些实施方式中,系统可以等到非持久性内存中的所有图像被消耗时为非持久性内存补充到预定数量的图像(最小阈值)。例如,用于消耗的图像的数目可以与图像的预定数量(最小阈值)相同,或者可以不设置用于消耗的图像的数量。
可以以各种方式消耗图像。例如,图像可以通过用户在显示屏幕的各个方向上滚动被显示或者被捏而进行缩放。图像消耗可以包括选择用于共享的图像或者设置作为如智能手表正面的背景图像的图像,例如,周期性更改的背景图像或者在转到计算设备的活动模式时更改背景图像。
在一些实施方式中,非持久性内存可以以周期性的方式被补充。例如,当所有的图像已经以特定顺序被耗尽(例如,消耗)时,图像检索系统100再次按相同的顺序向非持久性内存供应图像。在一些实施方式中,给非持久性内存提供图像的顺序可以是随机打乱的。图像的其他顺序还可能例如基于图像内容、一天中的时间、日历事件、计算设备的位置、用户偏好等。
计算设备102可以包括一个以上的处理器416和内存414。处理器416可以处理在计算设备102内执行的包括存储在内存414中的指令的指令。处理器可以协调计算设备组件,例如,应用程序、通过接口的无线或有线通信等。每个组件耦接到计算机系统总线422。在一些实施方式中,可以使用多个处理器和总线422。
处理器416可以被实施为包括分离的和多个模拟数字处理器的芯片的芯片组。还可以使用各种架构实现处理器。例如,处理器416可以是CISC(复杂指令系统计算机)处理器、RISC(精简指令集计算机)处理器或者MISC(最小指令集计算机)处理器。
“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机构或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统,或者包括其他系统。处理无需限于地理位置,或者具有时间限制。例如,处理器可以“实时”、“离线”、处于“批处理模式”中等方式执行其功能。处理的各部分可以通过不同的(或者相同的)处理系统,在不同的时间和不同的地点被进行。
内存414在计算设备102内存储信息。内存414可以是任意合适的数据存储器、内存和/或非暂时性的计算机可读存储媒介,包括诸如随机存取存储器(RAM)、只读存储器(ROM)的电子存储设备、磁存储器(硬盘驱动器等等)、闪存、光存储设备(CD、DVD或者类似的)、磁或者光盘、或者其他适合存储通过处理器执行的指令(例如,程序或者软件指令)的有形介质。例如,如硬件存储设备的有形介质可用于存储控制逻辑,其可以包括可执行指令。该指令还可以被包含在电子信号中或者作为电子信号被提供,例如,以软件即服务(SaaS)的形式从服务器传递(例如,分布系统和/或云计算系统)。
一个以上的处理器416和内存414可以实施编辑模块408和显示控制器410。在一些实施方式中,编辑模块108可以是通过处理器416执行的一组指令,用于编辑由计算设备102消耗的图像。在一些实施方式中,编辑模块408可以存储在计算设备102的内存414中,并且可以由处理器416访问和执行。在一些实施方式中,可以使用包含现场可编程门阵列(FPGA)和专用集成电路(ASIC)编辑模块的硬件来实施编辑模块408。在其他一些实施方式中,可以使用硬件和软件的结合来实施编辑模块408。
显示控制器410可以包括被配置为在显示屏幕上显示图像、单元等的硬件。显示控制器410与总线422耦接,以通过信号线与计算设备102的其他组件通信。计算设备102还可以包括其他类型的非显示输出设备,例如,用于音频接口的扬声器、振动或力反馈设备等。
内存414可以保存应用程序和其他数据。至少一部分的信息还可以存储在计算设备102的其他计算机可读存储设备(未示出)中。这种存储设备包括软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备或设备阵列。
计算机程序,也称为程序、软件、软件应用程序或者代码,还可以包含执行时执行本文所描述的那些一个以上方法的指令。该计算机程序可以确切地体现在如计算机或者机器可读介质的信息载体中,例如,在内存414、存储设备或者处理器416上的内存中。机器可读介质是用于提供机器指令或者数据至可编程处理器的任意的计算机程序产品、装置或者设备。
可以使用任何合适的编程语言和编程技术来实现特定实施方式的例程。可以采用不同的编程技术,例如程序性的或者面向对象的。可以在单个或者多个处理器上执行例程。任何图像检索系统100的合适的组件或者组件的组合、或者合适的处理器或者与图像检索系统100相关的处理器可以执行所描述的步骤。
虽然步骤、操作或计算可以以特定顺序呈现,但是其顺序可以在不同的特定实施例中被更改。在一些特定实施例中,在本说明书中按次序示出的多个步骤可以被同时执行,和/或可以具有用来代替或者除本文所示的那些步骤的其他步骤。
作为可穿戴设备的计算设备120可具有尺寸小的并且可以具有各种形状和尺寸的屏幕。在一些实施方式中,在被消耗之前,诸如被显示模块410显示之前,可以通过计算设备102的编辑模块408和/或通信设备120的428更改。例如,可以将图像的几何形状更改为适应显示屏幕。可以裁剪和调整图像的大小以便在显示屏上查看。在一些实施方式中,可以调整图像以在平坦或者柔性的显示屏幕上以最小的失真度显示图像,例如局部或者全部弯曲的、可弯的、可卷曲的显示屏幕等。
可以编辑背景图像以更改颜色、饱和度、透明度将一个或多个过滤器应用于图像等,以用作背景图像与显示单元对比。当显示单元呈现亮色,如白色时,背景图像可以是暗色的。在一些实施方式中,某些目标、前景或背景可以在图像中与显示元素的外观相关地进行不同的编辑。例如,可以将背景图像中的天空变暗或者变亮而不改变图片中描绘的景色。还可以相对于显示单元的位置,在将背景图像居中或者定位在显示屏幕上,以增强显示单元和背景图像的显示。例如,可以转移背景图像以将背景图像的焦点远离显示单元,以允许在不干扰显示单元的情况下观看焦点,例如,观看时间108。
计算设备102可以以各种方式消耗图像,例如,共享、显示、组织和保存、用户编辑等。图像可以与一个或多个接收者共享各种通信,包括电子邮件、即时消息、文本消息、视频会议、如社交媒体网站和博客的网站上的帖子、对等Wi-Fi、蓝牙和近场通信连接(例如beaming)以及各种激活,例如接近接收者的手势以及使用传感器,以及其他通信图像的方式。
如图6(a)、(b)、(c)所示,共享的一个实施方式包括图像的选择。例如,图6(a)示出了在显示屏602上显示的可以滚动的具有顶部图像的一部分、主图像604和底部图像的一部分的一条图像。在特定实施方式中,为了说明的目的,可以选择一个或多个图像作为点606,其可以出现在所选图像的顶部上的显示器上或者可以不出现在屏幕上。在一些实施方式中,可以取消选择某些图像,例如通过黯化未选图像。
如图6(b)所示,可以在显示屏幕602上将共享控制单元608与选择的图像一起提供在共享界面上。如图6(c)所示,可以在显示屏幕602的菜单界面上提供共享方式的菜单610,并可以选择一个以上的方式。可以通过各种方式输入指示计算设备102的命令,例如,通过触摸、语言命令、手势等。一些语音命令的示例可以包括“滚动”、“共享”、“发短信”、“beam”、“收件箱”、“帖子”等。
可以以各种格式显示图像,例如,背景图像、电影带成像、网格布局等。非持久性内存406中的图像队列可以实现捏缩放动作的快速施行。如图7(a)、(b)、(c)以及(d)所示,可以在显示屏幕702上显示并操控一条图像704。在图7(a)中,从图像704中选择的一个,可以通过如出于说明目的的对角线朝向的箭头706的缩放使其缩小,例如,通过捏。如图7(b)所示,所选择的一个图像704的缩小化呈现可以以网格格式708与来自集合的其他缩小化图像一起显示。在图7(c),还可以通过如出于说明目的的对角线朝向的箭头710的缩放使选择的图像704扩大。在图7(d)中,选择的图像704的扩大的呈现可以填充显示屏幕702。可以通过用户的触摸、声音、手势等指示这种缩放动作。
图8通过流程图的方式示出了采集和显示图像的一些实施方式,这些实施方式可以通过如图4所示的计算设备102的处理器416来进行。计算设备102可以与通信设备120通信,并且在框802中,计算设备102可以确定更新的集合被呈现在通信设备120的储存库426中。例如,计算设备102可以从通信设备120接收更新的集合的通知,计算设备102可以向采集设备发送用于更新等的询问。在一些实施方式中,计算设备102可以通过接收更新的集合来确定对集合的更新,而不用事先通知。
计算设备102可以与通信设备120连接,并将对集合的更新接收到计算设备102中的储存库412中,如方框804所示。如方框806所示,对集合的更新可以替换或者扩充计算设备102的内存404中的储存库412中的集合。在一些实施方式中,只可以向集合提供新图像的更新,而不包括来自之前的集合的图像。在一些实施方式中,可以将更新的集合存储在储存库412中而不影响或者取代集合的之前的版本。
如在方框808中,可以将更新的集合中的一个以上的图像复制到队列中,如非持久性内存406。在一些实施方式中,可以为队列指定图像队列最小或者最大阈值。例如,诸如6的最大阈值数量的图像可以定义在队列中要被放置的最大数目的图像。在一些情况下,可以将最近从更新的集合接收的不超过最大阈值数目的一个以上的图像复制到队列中,并补充队列中之前的任意图像或者替换队列中现有的图像。在一些实施方式中,队列最大阀值表示为队列指定的内存容量的量。在这些情况中,队列可以不超过队列中存储的图像的阈值内存容量。
在图8所示的示例中,在决定方框810中,当计算设备102从非活动状态切换至活动状态时,可以从队列检索并显示下一个图像,如方框812所示。在非活动状态,该设备可能具有有限的中央处理单元(CPU)周期。如果这种切换没有出现,例如,如果计算设备保留在活动状态中,那么计算设备可以保持当前图像为当前的显示图像,如方框814所示。在一些实施方式中,例如,如果计算设备处于非活动状态,显示器可以转换到如空白的默认屏幕,直到发生有效状态切换。
在一些情况下,因为图像从队列中被使用,当队列中图像的数目达到例如最小阈值或者预定数目的阈值时,如方框816所确定的,可以通过从来自长期内存的集合复制一个以上的图像来补充队列,如方框818所示。如果队列中图像的数目高于最小阈值,例如高于预定数目,则准备显示队列中的下一个图像,并且不会对队列进行补充。例如预定数目的最小阈值可以是比队列可以容纳上限或者最大阈值小的存储数目或者数量。在一些实施方式中,队列可以保持图像的的特定数量或者被内存消耗的数量,而不是具有最大或者最小阈值。
图9以流程图的方式示出了用于显示屏幕(例如,显示屏幕104)的图像的几何编辑。可以全部或者部分地通过计算设备102、通信设备120、图像源440或者其他计算设备来进行几何编辑。在一些实施方式中,如方框902所示,可以确定显示屏幕的一个以上的外观特征。外观特征可以包括显示屏幕的形状、尺寸、表面纹理、平坦度和/或球形度中的一个或多个。在方框904中,可以基于外观特征创建模板形式。模板形式304可以指定用于图像的形状,例如,正方形、圆形、椭圆形等,以匹配显示屏幕。在一些示例中,模板形式可以指定图像的变形,例如以匹配显示屏幕的弯曲。
在方框906中,可以在模板形式304中确定一个以上的分隔间隙306,例如,在模板形式的一个以上的边缘或者沿着模板形式的一个以上的边缘。分隔间隙可以用作显示屏幕上的图像的空白区域。
在方框908中,例如308的一个以上的内容形式可以被确定为通过设置大小、形状和/或位置至少大致上适合在模板形式304以内,并且不会与分隔间隙306重叠。在一些实施方式中,分隔间隙306的内缘可以定义主内容形式308的形状和尺寸。
在方框910中,可以大致上基于内容形式编辑图像。例如,可以裁剪或者放大图像。在一些实施方式中,图像的几何图像编辑可以包括用可以从图像借用的像素填充图像的外围。如方框912所示,编辑图像可以被定位为与显示屏幕上的内容形成相一致。在一些实施方式中,图像的定位可以包括诸如通过图像分析技术确定图像中的焦点目标或者点,并且将焦点目标或者点在模板形式中居中。在一些实施方式中,可以以任意的颜色填充模板形式与显示屏幕的外缘之间的间隙,例如,实线、图案、图形等。
图10通过流程图的方式示出了采集和提供图像的一些实施方式,其可以通过如图4所示的计算设备120的处理器432进行。在方框1002中,可以检测通信设备的充电模式。在方框1004中,可以将图像确定为属于图像集合以更新集合。该图像之前可能不属于集合。例如,新的图像可能被新近捕获或者采集。在一些实施方式中,图像在之前已经被捕获或者采集但是最近被辨别为属于图像集合。
在方框1006中,例如,可以根据计算设备102的显示屏幕的一个以上的外观特征来编辑图像。编辑可以包括本文之前描述的几何编辑和/或其他编辑技术。
在方框1008中,可以将包括新图像的更新的集合存储在储存库426中,用于转移到计算设备102。在确定方框1010中,可以检测通信设备120和/或计算设备102的充电模式。响应于充电模式,可以向计算设备提供更新的图像集合,如方框1012中。储存库可以被保持,例如更新的集合可以保留在储存库中待命或者可以周期性地被更新,直到发生充电模式,如方框1014所示。例如,通信设备120可以用新的图像继续更新储存库中的集合,同时等待充电模式,以向计算设备102转移图像集合。
在此处讨论的系统采集关于用户的个人信息或者利用个人信息的情况下,可以为用户提供控制程序或者功能是否采集用户信息(例如,关于用户的社交网络、社会行动或者活动、职业、用户的偏好或者用户的当前位置的信息)的机会,或者控制是否和/或如何从内容服务器接收与用户更加相关的内容。此外,某些数据在被存储或者使用前,可以以一种以上的方式对其进行处理,从而使得个人识别信息被移除。例如,可以处理用户身份,从而使得不确定用户的个人可识别信息,或者在获得用户的位置信息(例如,城市、邮政编码、或者州级)的情况下,概化用户的地理位置,从而使得用户的具体地点无法被确定。因此,用户可以已经控制内容服务器如何采集和使用关于用户的信息。
已经描述了许多实施方式。用条件语言描述的特征可以描述可选的实施方式。如本领域技术人员所知,本公开中描述的功能块、方法、设备和系统可以被集成或划分成系统、设备和功能块的不同组合。尽管说明书已经关于其特定实施方式进行了描述,但是这些特定实现仅仅是说明性的,而不是限制性的。示例中说明的构思可以应用于其他示例和实施方式。因此,可以做出各种变形而不偏离本公开的精神和范围,并且其他实施方式在后续的权利要求的范围之内。

Claims (22)

1.一种由计算设备可执行的计算机实施的方法,其特征在于,所述方法包括:
从通信设备接收图像集合的更新,其中,所述集合的所述更新包括一个以上的新图像,所述一个以上的新图像没有被包括在由所述计算设备存储的所述集合的之前的版本中;
在所述计算设备的长期内存中存储所述图像集合的所述更新;
将来自所述集合的所述更新的至少一个图像复制到非持久性内存中,作为可用图像,其中,所述可用图像不超过最大阈值;
响应于所述计算设备从非活动使用状态到活动使用状态的更改,在所述计算设备上显示所述可用图像中的至少一个图像作为背景图像;以及
响应于所述非持久性内存中的所述可用图像达到最小阈值,复制所述一个以上的新图像中的至少一个图像到所述非持久性内存。
2.如权利要求1所述的计算机实施的方法,其特征在于,所述计算设备是可穿戴设备。
3.如权利要求1所述的计算机实施的方法,其特征在于,至少部分地响应于通信设备的充电模式,接收所述集合的所述更新。
4.如权利要求1所述的计算机实施的方法,其特征在于,至少部分地响应于用户日程表中的事件,接收所述集合的所述更新。
5.如权利要求1所述的计算机实施的方法,其特征在于,至少部分地响应于在所述计算设备上播放的音乐曲段,接收所述集合的所述更新。
6.如权利要求1所述的计算机实施的方法,其特征在于,还包括在接收所述集合的所述更新之前,确定所述通信设备的图像储存库中的更改。
7.如权利要求1所述的计算机实施的方法,其特征在于,所述图像集合的所述更新包括由所述计算设备存储的所述集合的之前的版本的之前的图像,并且其中,存储所述图像集合的所述更新包括替换所述集合的所述之前的版本。
8.如权利要求1所述的计算机实施的方法,还包括基于显示屏幕的形状和大小,编辑所述背景图像。
9.如权利要求8所述的计算机实施的方法,其特征在于,所述编辑包括:
确定用于所述显示屏幕的形状和大小的模板形式;
确定所述模板形式内的内容形式;以及
基于所述内容形式,在所述显示屏幕上定位所述背景图像。
10.如权利要求9所述的计算机实施的方法,其特征在于,所述模板形式为被配置为适合所述显示屏幕的形状和大小的最大尺寸和形状。
11.如权利要求1所述的计算机实施的方法,其特征在于,所述集合的所述之前的版本来自于对图像的先前的请求,其中,所述先前的请求是用户搜索查询。
12.如权利要求1所述的计算机实施的方法,其特征在于,所述集合是相册,并且所述相册的所述之前的版本来自于对图像的先前的请求,其中,所述先前的请求是所述相册的用户选择。
13.一种通信设备可执行的计算机实施方法,其特征在于,所述方法包括:
检测所述通信设备的充电模式;
确定用于更新图像集合的一个以上的新图像,其中,所述一个以上的新图像没有被包括在提供给计算设备的所述集合的之前的版本中;
根据所述计算设备的显示屏幕的外观特征,编辑所述一个以上的新图像;
在储存库中存储所述图像集合的所述更新;以及
基于所述通信设备的所述充电模式,将所述图像集合的所述更新传送至所述计算设备。
14.如权利要求13所述的方法,其特征在于,还包括检测所述通信设备的最小电力状态,并且其中检测所述充电模式是响应于所述最小电力状态。
15.如权利要求13所述的方法,其特征在于,所述外观特征包括所述计算设备的显示屏幕的形状和大小,并且其中编辑包括:
确定用于所述计算设备的所述显示屏幕的形状和大小的模板形式;
确定所述模板形式中的主内容形式;以及
基于所述主内容形式,编辑所述图像。
16.如权利要求15所述的方法,其特征在于,编辑还包括确定所述模板形式的一个以上的边缘内的一个以上的分隔间隙,并且所述主内容形式的尺寸被设置为不与所述一个以上的分隔间隙重叠。
17.如权利要求15所述的方法,其特征在于,所述模板形式是被配置为适合所述计算设备的所述显示屏幕的形状和大小的最大尺寸和形状。
18.一种系统,其特征在于,包括:
可穿戴设备的一个以上的处理器;
长期内存;
非持久性内存;以及
存储有指令的一个以上的计算机可读介质,当所述指令被所述一个以上的处理器执行时,引起操作的进行包括:
从通信设备接收图像集合的更新,其中,所述图像集合的所述更新包含一个以上的新图像,所述新图像不被包括在由所述可穿戴设备存储的所述集合的之前的版本中;
在所述可穿戴设备的所述长期内存中存储所述图像集合的所述更新;
将来自所述集合的所述更新的至少一个图像复制到所述非持久性内存中,作为可用图像,其中,所述可用图像不超过最大阀值;
响应于所述可穿戴设备从非活动使用状态到活动使用状态的更改,在所述可穿戴设备上显示所述可用图像中的至少一个图像作为背景图像;以及
响应于在所述非持久性内存中的所述可用图像达到最小阈值,将所述新图像中的至少一个图像复制到所述非持久性内存。
19.如权利要求18所述的系统,其特征在于,所述指令引起操作的进行还包括至少部分地响应于所述通信设备的充电模式,接收所述集合的所述更新。
20.如权利要求18所述的系统,其特征在于,所述指令引起操作的进行还包括在接收所述集合的所述更新之前,确定所述通信设备的图像储存库的更改。
21.如权利要求18所述的系统,其特征在于,所述指令引起操作的进行还包括基于显示屏幕的形状和大小,对所述背景图像进行编辑,其中,编辑包括:
确定用于所述显示屏幕的形状和大小的模板形式;
确定所述模板形态中的内容形式;以及
基于所述内容形式,在所述显示屏幕上定位所述背景图像。
22.如权利要求21所述的系统,其特征在于,所述模板形式是被配置为适合所述显示屏幕的形状和大小的最大尺寸和形状。
CN201780003565.7A 2016-01-26 2017-01-10 用于计算设备的图像检索 Active CN108780389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211356.5A CN111383304B (zh) 2016-01-26 2017-01-10 用于计算设备的图像检索

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/007,123 2016-01-26
US15/007,123 US10062133B1 (en) 2016-01-26 2016-01-26 Image retrieval for computing devices
PCT/US2017/012842 WO2017131947A1 (en) 2016-01-26 2017-01-10 Image retrieval for computing devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010211356.5A Division CN111383304B (zh) 2016-01-26 2017-01-10 用于计算设备的图像检索

Publications (2)

Publication Number Publication Date
CN108780389A true CN108780389A (zh) 2018-11-09
CN108780389B CN108780389B (zh) 2020-04-17

Family

ID=57966097

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010211356.5A Active CN111383304B (zh) 2016-01-26 2017-01-10 用于计算设备的图像检索
CN201780003565.7A Active CN108780389B (zh) 2016-01-26 2017-01-10 用于计算设备的图像检索

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010211356.5A Active CN111383304B (zh) 2016-01-26 2017-01-10 用于计算设备的图像检索

Country Status (4)

Country Link
US (3) US10062133B1 (zh)
EP (1) EP3353644A1 (zh)
CN (2) CN111383304B (zh)
WO (1) WO2017131947A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516083A (zh) * 2019-08-30 2019-11-29 京东方科技集团股份有限公司 相册管理方法、存储介质及电子设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
EP3667437A1 (en) * 2014-09-04 2020-06-17 Sony Corporation Apparatus and method for displaying information, program, and communication system
CN113521710A (zh) 2015-08-20 2021-10-22 苹果公司 基于运动的表盘和复杂功能块
EP3494458B1 (en) * 2016-12-14 2021-12-01 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus
US10810461B2 (en) * 2017-02-03 2020-10-20 Panasonic Intellectual Property Management Co., Ltd. Learned model generating method, learned model generating device, and learned model use device
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
GB2578789A (en) * 2018-11-09 2020-05-27 Sony Corp A method, apparatus and computer program for image processing
CN111309220A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 交互方法、图片处理方法及装置
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
CN112805671A (zh) 2019-05-06 2021-05-14 苹果公司 电子设备的受限操作
CN110705596A (zh) * 2019-09-04 2020-01-17 北京三快在线科技有限公司 白屏检测方法、装置、电子设备及存储介质
CN118012306A (zh) 2020-05-11 2024-05-10 苹果公司 用于管理用户界面共享的用户界面
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11372659B2 (en) 2020-05-11 2022-06-28 Apple Inc. User interfaces for managing user interface sharing
DK202070624A1 (en) * 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
CN112686229A (zh) * 2021-03-12 2021-04-20 深圳市安软科技股份有限公司 一种数据推送方法、装置、电子设备及存储介质
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070296738A1 (en) * 2006-06-21 2007-12-27 Louch John O Manipulating desktop backgrounds
CN101834939A (zh) * 2010-03-23 2010-09-15 宇龙计算机通信科技(深圳)有限公司 一种背景图像显示方法以及移动终端
CN103106017A (zh) * 2013-01-30 2013-05-15 北京奇虎科技有限公司 切换终端桌面背景的客户端、系统和方法
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
CN104660791A (zh) * 2013-11-20 2015-05-27 青岛海尔通信有限公司 手机及其壁纸自动切换方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099921A (ja) * 2000-09-21 2002-04-05 Canon Inc 画像処理装置及び画像処理方法並びに記憶媒体
JP2005165790A (ja) * 2003-12-03 2005-06-23 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP4732370B2 (ja) * 2006-02-13 2011-07-27 キヤノン株式会社 デジタルカメラ、その制御方法、プログラム
US8041291B2 (en) * 2006-11-03 2011-10-18 Apple Inc. Delivering content to mobile electronic communications devices
JP2008173452A (ja) * 2006-12-21 2008-07-31 Toshiba Tec Corp 陳列棚の画像表示制御装置
US8515255B2 (en) 2010-04-24 2013-08-20 Walker Digital, Llc Systems and methods for enhancing media with supplemental content
US20110298689A1 (en) * 2010-06-03 2011-12-08 Microsoft Corporation Device for Sharing Photographs in Social Settings
US9600176B2 (en) * 2011-06-16 2017-03-21 Nokia Technologies Oy Method and apparatus for controlling a spatial relationship between at least two groups of content during movement of the content
US9026946B2 (en) * 2011-08-08 2015-05-05 Blackberry Limited Method and apparatus for displaying an image
US20130145251A1 (en) * 2011-12-06 2013-06-06 Google Inc. Laying Out Displaying Media Content Across Heterogeneous Computing Devices
US8631239B2 (en) * 2012-01-12 2014-01-14 Facebook, Inc. Multiple system images for over-the-air updates
US9940632B2 (en) * 2012-07-09 2018-04-10 Joseph Harb Real-time broadcast content synchronization database system
EP3617843A1 (en) * 2012-12-10 2020-03-04 Samsung Electronics Co., Ltd. Mobile device, control method thereof, and ui display method
US9192863B2 (en) * 2013-10-29 2015-11-24 Disney Enterprises, Inc. Selective caching of interactive objects
US9753527B2 (en) * 2013-12-29 2017-09-05 Google Technology Holdings LLC Apparatus and method for managing graphics buffers for a processor in sleep mode
US10318575B2 (en) * 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070296738A1 (en) * 2006-06-21 2007-12-27 Louch John O Manipulating desktop backgrounds
CN101834939A (zh) * 2010-03-23 2010-09-15 宇龙计算机通信科技(深圳)有限公司 一种背景图像显示方法以及移动终端
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
CN103106017A (zh) * 2013-01-30 2013-05-15 北京奇虎科技有限公司 切换终端桌面背景的客户端、系统和方法
CN104660791A (zh) * 2013-11-20 2015-05-27 青岛海尔通信有限公司 手机及其壁纸自动切换方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516083A (zh) * 2019-08-30 2019-11-29 京东方科技集团股份有限公司 相册管理方法、存储介质及电子设备

Also Published As

Publication number Publication date
US20180365790A1 (en) 2018-12-20
US20190385266A1 (en) 2019-12-19
CN108780389B (zh) 2020-04-17
EP3353644A1 (en) 2018-08-01
WO2017131947A1 (en) 2017-08-03
CN111383304A (zh) 2020-07-07
CN111383304B (zh) 2024-01-16
US10685418B2 (en) 2020-06-16
US10430909B2 (en) 2019-10-01
US10062133B1 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
CN108780389A (zh) 用于计算设备的图像检索
US11678050B2 (en) Method and system for providing recommendation information related to photography
US11700220B2 (en) Generation of electronic media content collections
US11816256B2 (en) Interpreting commands in extended reality environments based on distances from physical input devices
CN108513060A (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
KR20220118545A (ko) 메시징 시스템에서의 캡처후 처리
US20230400965A1 (en) Media content player on an eyewear device
CN108351743A (zh) 内容显示方法和用于实现该方法的电子设备
WO2023197780A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN116685938A (zh) 眼镜设备上的3d绘制
US11782577B2 (en) Media content player on an eyewear device
US11962561B2 (en) Immersive message management
KR20230162062A (ko) 노래로부터의 신경망 반주 추출
US11693539B2 (en) Messaging system for resurfacing content items
CN116670632A (zh) 眼镜设备上的媒体内容播放器
EP3188037A1 (en) Method and device for managing personal media items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant