CN102567486B - 基于地点的图像组织 - Google Patents

基于地点的图像组织 Download PDF

Info

Publication number
CN102567486B
CN102567486B CN201110430592.7A CN201110430592A CN102567486B CN 102567486 B CN102567486 B CN 102567486B CN 201110430592 A CN201110430592 A CN 201110430592A CN 102567486 B CN102567486 B CN 102567486B
Authority
CN
China
Prior art keywords
image
clue
location label
location
computing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110430592.7A
Other languages
English (en)
Other versions
CN102567486A (zh
Inventor
S·德斯佩恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102567486A publication Critical patent/CN102567486A/zh
Application granted granted Critical
Publication of CN102567486B publication Critical patent/CN102567486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及基于地点的图像组织。提供了用于图像组织的系统和方法。根据本发明的各实施例的图像组织方法包括在用户计算设备处接收包括多个图像的图像集合,以及将该图像集合中的每一图像的一部分与包括与不同地理地点标签相对应的多个视觉线索的经验证的线索库进行比较。该方法还可包括显示包括与匹配该部分的视觉线索相对应的所推荐的地点标签的推荐面板。

Description

基于地点的图像组织
技术领域
本发明涉及图像组织,尤其涉及基于地点的图像组织。
背景技术
现代消费者能够使用日益广泛的设备来捕捉图像。结果,消费者进行将由不同设备捕捉的图像组织成数字图像库的非常耗时且劳动力密集的过程。地理标签通过在创建图像时将该图像匹配到地理位置来便于图像组织,但很少设备提供这一技术。此外,数字摄影在成熟的地理标签技术之前将已经使用,从而意味着多个现有图像不能利用地理标签或其他位置服务。
发明内容
提供了用于图像组织的系统和方法。根据本发明的各实施例的图像组织方法包括在用户计算设备处接收包括多个图像的图像集合,以及将该图像集合中的每一图像的一部分与包括与不同地理地点标签相对应的多个视觉线索的经验证的线索库进行比较。该方法还可包括显示包括与匹配该部分的视觉线索相对应的所推荐地点标签的推荐面板。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1是根据本发明的计算系统的一实施例的示意图。
图2是本发明的图像组织图形用户界面的一实施例的视图。
图3是图2的图像组织图形用户界面的另一视图。
图4是图2的图像组织图形用户界面的又一视图。
图5是在用户计算设备处执行的图像组织方法的一实施例的流程图。
图6是在服务器计算设备处执行的图像组织方法的一实施例的流程图。
具体实施方式
本说明书涉及用于向图像推荐和分配地点标签以通过按地点进行索引来便于图像组织的系统和方法。更具体而言,本说明书涉及基于图像与不同的经验证的线索进行比较来向这些图像推荐地点标签,其中该不同的经验证的线索对应于这些地点标签。通过基于匹配的不同的经验证的线索来向图像推荐地点标签,即使在创建图像之后也可以向图像分配地点标签。因此,未在创建时被分配地点标签的传统图像可被分配地点标签,使得传统图像可以按地点来索引。此外,可以在不利用启用全球定位系统(GPS)的相机等的情况下对图像加地点标签。
另外,推荐功能可被应用于单个图像,或被应用于包括多个图像的图像集合以使得该图像集合中的每一图像不必被单独地加地理标签。通过向整个图像集合推荐地点标签,可以减少或消除对单个图像的手动加标签。因此,经由地点索引的图像组织可以按需用自动化或半自动化的方式来快速且容易地执行。
图1示意性地示出其中可以实现用于向图像推荐和分配地点标签的方法或过程的计算系统100的非限制性实施例。以简化形式示出了计算系统100。应当理解,可使用基本上任何计算机体系结构而不背离本公开的范围。计算系统100可包括通过网络144与服务器计算设备或计算设备云146进行通信的用户计算设备102。
在不同的实施例中,用户计算设备102可采取台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等的形式。另外,计算设备云146可包括通过网络144彼此通信的多个不同的源。计算设备云146的不同的源可以采取各种不同的计算设备的形式,包括大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等。
在不同的实施例中,网络144可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网、或其组合(包括因特网)的形式。
用户计算设备102包括逻辑子系统104和数据保持子系统106、以及显示子系统140和/或图1中未示出的其他组件,如包括键盘、鼠标、游戏控制器、相机、话筒、和/或触摸屏等用户输入设备。
逻辑子系统104可包括被配置成执行一个或多个指令的一个或多个物理设备。例如,逻辑子系统104可被配置为执行一个或多个指令,该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。
逻辑子系统104可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换,逻辑子系统104可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统104的处理器可以是单核或多核,且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统104可以任选地包括遍布两个或更多设备的独立组件,所述设备可远程放置和/或被配置为进行协同处理。逻辑子系统104的一个或多个方面可被虚拟化并由可远程访问的联网计算设备执行,如计算设备云146中包括的逻辑子系统148。
数据保持子系统106可包括一个或更多个物理、非瞬时设备,这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令,以实现此处描述的方法和过程。在实现这样的方法和过程时,可以变换数据保持子系统106的状态(例如,以保持不同数据)。
数据保持子系统106可以包括可移动介质和/或内置设备。数据保持子系统106尤其是可以包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统106可以包括可移动计算机可读存储介质,该介质可用于存储和/或传送可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。数据保持子系统106可以包括具有以下特性中的一个或更多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中,可以将逻辑子系统104和数据保持子系统106集成到一个或更多个常见设备中,如应用专用集成电路或片上系统。
可以明白,数据保持子系统106包括一个或多个物理非暂态设备。相反,在一些实施例中,本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外,与本发明有关的数据和/或其他形式的信息可以提供纯信号传播。
术语“模块”、“程序”和“引擎”可用于描述被实现以执行一个或更多个具体功能的计算系统100的一方面。在某些情况下,用户计算设备102可以经由执行由数据保持子系统106所保持的指令的逻辑子系统104来实例化这样的模块、程序或引擎。在某些情况下,服务器计算设备/云146可以经由执行由数据存储150所保持的指令的逻辑子系统148来实例化这样的模块、程序或引擎。应当理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块、程序和/或引擎。同样,可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库纪录等。
注意,不再描述基本上与服务器计算设备/云146的各组件相同的用户计算设备102的各组件。
可以收集多个图像来形成图像库108。在一些实施例中,图像库108可被存储在用户计算设备102的数据保持子系统106中。在一些实施例中,图像库108可被存储在服务器计算设备/云146的数据存储150中。在一些实施例中,图像库108可包括包含存储在用户计算设备102的数据保持子系统106中的图像110的本地分量以及包含存储在散布于计算设备云146中的数据存储150或其他数据保持设备中的图像114的远程分量。
图像组织程序118可被配置成根据不同的索引来组织图像库108。更具体地,图像组织程序118可被配置成推荐要被分配给图像库108中的图像的地点标签,以使得可以按地点来索引图像库108。地点标签可包括标识地理位置的元数据,如地点名和/或纬度及经度坐标。在一些情况下,可以向图像库中的图像分配一个以上地点标签。例如,可以向埃菲尔铁塔的图像分配“埃菲尔铁塔”地点标签、“巴黎”地点标签、以及“法国”地点标签。
在一些实施例中,数据保持子系统106可以保持构成图像组织程序118的由逻辑子系统104在用户计算设备102本地执行的指令。对应地,在一些情况下,存在于用户计算设备本地的地点标签112可被图像组织程序118加到本地图像110上。在一些实施例中,数据存储152可以保持构成图像组织程序118的由逻辑子系统148在计算设备云146中远程执行的指令。对应地,在一些情况下,从计算设备云146中的不同的源处聚集的地点标签116可被图像组织程序118加到远程图像114上。在不同的实施例中,图像组织程序118可以采取可执行应用程序、浏览器插件、HTML5文件、移动应用程序、桌面应用程序的形式或被包括其中。
在图像组织程序118的在用户计算设备102上执行的本地实现中,图像组织程序118可包括可被配置成推荐要被分配给图像库108中的本地图像110的所选集合的地点标签的地点标签模块120。地点标签模块120可包括与不同的地点标签112相对应的线索的经验证的线索库122。经验证的线索库122可以用从存储在数据保持子系统106中的本地图像110标识出的本地现有线索来填充。在一个示例中,经验证的线索库122采取关系数据库的形式,其中不同的线索通过不同的关系来链接到不同的地点标签。
经验证的线索库122可包括视觉线索128、地点名线索126、以及补充线索124。视觉线索128可包括定义与地点标签相对应的地理地点的视觉图案或签名。视觉线索128的非限制性示例可包括光温度、阴影、物体形状、语言等。
地点名线索126可包括可以与图像110的文件名进行比较以推荐对应的地点标签的各种地理位置。地点名线索126的非限制性示例可包括地标、附近区域、城市、州、国家等。
补充线索124可包括从在用户计算设备102上执行的其他程序138中提取的可将图像的元数据链接到地理地点标签的信息。作为一个示例,补充线索可包括从对时间安排或日历程序的输入中提取的提供与用户计算设备102在特定时间的地理地点标签相对应的位置的信息。作为另一示例,补充线索可包括从网络连接程序提取的信息。具体而言,网际协议(IP)地址可被用来标识用户计算设备102在特定时间的与地理地点标签相对应的位置。
作为又一示例,在用户计算设备102是电话的实施例中,补充线索可包括从进行电话呼叫提取的信息。具体而言,可以通过对该呼叫进行中继的蜂窝塔的位置来提供电话的位置。在以上实施例中,地点标签模块120可以将图像的时间戳与补充线索所提供的时间进行比较,并且可推荐与该补充线索相对应的地理地点标签。将明白,链接到除时间戳之外的图像元数据的补充线索可以从由用户计算设备102执行的其他程序138提取。
图像组织程序118可包括被配置成分析图像110来提取每一图像的各部分以与经验证的线索库122中的视觉线索128进行比较的视觉线索分析器130。地点标签模块120可以推荐与经验证的线索库122中的同视觉线索分析器130所提供的图像110的各部分相匹配的视觉线索128相对应的地点标签112。
图像组织程序118可包括被配置成从图像110提取包括文件名的元数据以与经验证的线索库122中的地点名线索126进行比较的文件分析器132。地点标签模块120可以推荐与经验证的线索库122中的同文件分析器132所提供的包括文件名的元数据相匹配的地点名线索126相对应的地点标签112。
图像组织程序118可包括被配置成从由用户计算设备102执行的其他程序138提取可被用来将图像元数据与地理地点标签进行匹配的信息的设备分析器134。地点标签模块120可以推荐与经验证的线索库122中的同设备分析器134所提供的信息相匹配的补充线索124相对应的地点标签112。
在一些情况下,用户可以向图像库108中的所选图像分配用户提供的地点标签142。地点标签模块120可被配置成将经验证的线索库122中的与用户提供的地点标签142相对应的线索与图像库108中的图像进行比较。地点标签模块120可以提供将用户提供的地点标签142分配给图像库108中的一个或多个匹配图像的推荐。
图像组织程序118可被配置成在显示子系统140上显示图像组织图形用户界面(GUI)136。图像组织GUI 136可被配置成向用户显示所推荐的地点标签。此外,图像组织GUI 136可被配置成向用户显示按不同索引来组织的图像。将在下文参考图2-4更详细地讨论图像组织GUI 136。由于本文所描述的方法和过程改变由数据保持子系统106保持的数据,并由此变换数据保持子系统的状态,因此同样可以变换显示子系统140的状态以在视觉上表示底层数据的改变。显示子系统140可以包括使用实际上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统104和/或数据保存子系统106一起组合在共享封装中,或此类显示设备可以是外围显示设备。
继续图1,在图像组织程序118的由计算设备云146执行的全球实现中,图像组织程序118可包括包含与不同的地点标签116相对应的线索的经验证的线索库156的地点标签模块154。经验证的线索库156可以与从收集自计算设备云的不同的源(例如,计算设备)并存储在数据存储150中的图像114中标识出的经验证的线索来填充。在一个示例中,经验证的线索库156采取关系数据库的形式,其中不同的线索通过不同的关系来链接到不同的地点标签。经验证的线索库156可包括视觉线索160和地点名线索158。
经验证的线索库156可以用与地点标签相对应的从计算设备云146的不同的源聚集的不同的经验证的线索来重复地更新。例如,图像组织程序可以接收来自计算设备云146的源的被添加到经验证的线索库156的新线索166。在新线索166被添加到经验证的线索库时,可增加所聚集的信息以使得经验证的线索库156更加全面。具体而言,因为经验证的线索库156的全球实现中存在更多线索、地点标签、以及链接关系,推荐可能更加精确并且地点标签与图像匹配的概率可能增加。
图像组织程序118可包括视觉线索分析器162、文件分析器164、以及图像组织GUI 168。这些组件基本上与本地实现的那些组件相同并且不再赘述。
在一些实施例中,全球图像组织程序118可以向图像推荐全球地存储在数据存储150中的地点标签。在一些实施例中,全球图像组织程序118可以向图像推荐本地地存储在用户计算设备102的数据保持子系统106中的地点标签。换言之,图像组织程序的全球实现可以接收来自用户计算设备的所选图像集合。图像组织程序的全球实现可以分析该图像集合中的图像,并可以向用户计算设备发送与匹配所选图像集合中的图像的线索相对应的所推荐的地点标签。
图2-4是本发明的图像组织GUI 200的一实施例的不同视图。在一个示例中,图像组织GUI可由如图1所示的图像组织程序118显示在显示子系统140上。
图像组织GUI 200可包括包含多个图像204的图像显示区域202。多个图像204可形成图像库的一部分或全部。图像显示区域202中的多个图像204中的每一个可包括可被用来按不同索引来组织或过滤图像的元数据。
图像组织GUI 200可包括包含可被选择来按不同索引组织多个图像204的多个类别选择器208的图像组织控制区域206。在所示实施例中,多个类别选择器208包括例如人类别选择器、相册类别选择器、以及地点类别选择器,然而,将明白,图像组织控制区域206中可包括任何合适的类别选择器。
显示在图像显示区域202中的包括元数据(包括所分配的组织标签,如地点标签)的每一图像可包括标签图标212。标签图标212可以向用户指示该图像是加标签的,并且可按多个类别选择器210中的所选类别选择器来索引。图像显示区域中显示的不带有所分配的组织标签(如,地点标签)的每一图像可包括指示没有向该图像分配地点标签的推荐图标214。推荐图标214可帮助用户标识并选择不带有地点标签的图像集合,以使得可以向整个所选图像集合推荐和分配地点标签。
图像组织GUI 200可包括包括一个或多个地点标签选择器218的推荐面板216。地点标签选择器218可被选择来向图像显示区域202中的所选图像分配所推荐的地点标签,其中所选图像与同所推荐的地点标签相对应的经验证的线索相匹配。在视觉线索的情况下,一个或多个地点标签选择器可被选择来向所选图像分配所推荐的地点标签,其中所选图像包括与同所推荐的地点标签相对应的视觉线索相匹配的部分。在地点名线索的情况下,一个或多个地点标签选择器可被选择来向所选图像分配所推荐的地点标签,其中所选图像包括与同所推荐的地点标签相对应的地点名线索相匹配的文件名。
在一些实施例中,推荐面板216可包括与地点标签选择器218相对应的所推荐地点标签的排名列表220。排名列表220可由图像组织程序118基于图像和相匹配的经验证的线索之间的关系或对应强度来组织。
图像组织GUI 200可包括被配置成接收要分配给图像显示区域202中的一个或多个所选图像的用户提供的地点标签的用户提供的地点标签区域222。如图3所示,图像组织程序118可被配置成响应于接收到被输入用户提供的地点标签区域222中的用户提供的地点标签224,指示显示区域202中的与对应于该用户提供的地点标签224的经验证的线索相匹配的一个或多个图像。与对应于用户提供的地点标签224的线索相匹配的图像由指示符228(例如,虚线)来指示。指示符228还可指示图像集合中的被选择来用于地点标签推荐的图像。指示符228可帮助用户验证哪些图像与所推荐的地点标签相匹配。
图像组织程序118可被配置成响应于接收到对所推荐的地点标签选择器218的选择,在图像组织图形用户界面200中显示验证窗口226。验证窗口226可包括被配置成接受用户验证并向如指示符228所标识的所选图像分配选择器218的所推荐的地点标签的验证选择器230。验证窗口226可包括被配置成接受用户拒绝并解除对如指示符228所标识的所选图像的选择的拒绝选择器232。
图4示出图像组织图形用户界面200的又一视图。在该视图中,图像显示区域202中的多个图像204被分配了如标签图标212所示的同一地点标签。图像组织控制区域206中的地点类别选择器210已被选择来按所分配的地点标签对图像显示区域202中显示的多个图像204进行组织,并且推荐面板216中的地点标签选择器218已被选择。在该示例中,通过选择地点标签选择器218,只有被分配了如每一图像所共享的标签图标212所示的对应的地点标签的图像才被显示在图像显示区域中,并且其他图像被过滤出图像显示区域202。
图5是图像组织方法500的一实施例的流程图。方法500可以在用户计算设备处执行,如图1中所示的用户计算设备102。在502,该方法可包括接收包括多个图像的图像集合。在一些情况下,图像集合中的多个图像中的一个或多个可能没有所分配的地点标签。在一些情况下,图像集合中的多个图像中的一个或多个可能具有一个或多个所分配的地点标签。
在一些情况下,在504,该方法包括接收图像集合的所选图像的用户提供的地点标签。用户提供的地点标签可以担当指导来便于对该图像集合中的其他匹配图像加上地点标签。如果没有提供用户提供的地点标签,则可以从方法500中省略504。
在506,该方法可包括将图像集合中的每一图像与经验证的线索库进行比较。经验证的线索库可包括与不同的地理地点标签相对应的多个视觉线索。在508,该方法可包括将图像集合中的每一图像的一部分与多个视觉线索进行比较。
经验证的线索库可包括与不同的地理地点标签相对应的多个地点名线索。在510,该方法可包括将图像集合中的每一图像的文件名与地点名线索进行比较。经验证的线索库可包括从可由用户计算设备执行的其他应用程序提供的与不同的地理地点标签相对应的多个补充线索。在512,该方法可包括将图像集合中的每一图像的时间戳与补充线索进行比较。如果接收到对于所选图像集合的用户提供的地点标签,则在514,该方法可包括将图像集合中的每一其他图像的一部分与对应于该用户提供的地点标签的视觉线索进行比较。如果没有提供用户提供的地点标签,则可以从方法500中省略514。
在516,该方法可包括显示包括与匹配于图像的线索相对应的所推荐的地点标签的推荐面板。对于视觉线索,可以在推荐面板中显示与匹配于图像的一部分的视觉线索相对应的所推荐的地点标签。对于地点名线索,可以在推荐面板中显示与匹配于图像的文件名的地点名线索相对应的所推荐的地点标签。对于补充线索,可以在推荐面板中显示与匹配于图像的时间戳的补充线索相对应的所推荐的地点标签。
在518,该方法可包括显示包括以下推荐的推荐窗口:将用户提供的地点标签分配给具有与对应于该用户提供的地点标签的视觉线索相匹配的部分的图像。如果没有提供用户提供的地点标签,则可以从方法500中省略518。
在520,该方法可包括接收所推荐的地点标签与一个或多个图像相匹配的验证。该验证可由用户通过选择验证选择器来提供。
在522,该方法可包括响应于接收到所推荐的地点标签与图像集合中的一个或多个图像相匹配的验证来向该一个或多个图像分配所推荐的地点标签。分配所推荐的地点标签可包括将该地点标签写入图像集合中的一个或多个图像的图像文件的元数据中。
通过推荐与匹配于图像的线索相对应的地点标签,可以在不使用全球定位系统(GPS)或其他设备位置跟踪技术的情况下向图像分配地点标签。因此,用户的图像集合可以按地点来组织,即使这些图像在图像创建时没有加地理标签。
图6是图像组织方法600的一实施例的流程图。方法600在服务器计算设备处执行,如图1中所示的服务器计算设备或云146。在602,该方法可包括接收来自用户计算设备的包括多个图像的图像集合。在一些情况下,图像集合中的多个图像中的一个或多个可能没有所分配的地点标签。在一些情况下,图像集合中的多个图像中的一个或多个可能具有一个或多个所分配的地点标签。
在604,该方法可包括将图像集合中的每一图像与包括与不同的地理地点标签相对应的多个线索的经验证的线索库进行比较。该多个线索可以从计算设备云中的多个不同的源聚集。经验证的线索库可包括与不同的地理地点标签相对应的多个视觉线索。在606,该方法可包括将图像集合中的每一图像的一部分与多个视觉线索进行比较。经验证的线索库可包括与不同的地理地点标签相对应的多个地点名线索。在608,该方法可包括将图像集合中的每一图像的文件名与地点名线索进行比较。
在610,该方法可包括向用户计算设备发送与匹配于图像的线索相对应的所推荐的地点标签。对于视觉线索,可以向用户计算设备发送与匹配于图像的一部分的视觉线索相对应的所推荐的地点标签。对于地点名线索,可以向用户计算设备发送与匹配于图像的文件名的地点名线索相对应的所推荐的地点标签。
在612,该方法可包括使用新线索来更新经验证的线索库。该新线索可对应于地理地点标签。例如,该线索可包括指向经验证的线索库中的地理地点标签的关系指针。该新线索可以采取视觉线索或地点名线索的形式。在一个示例中,新线索可以从计算设备云中的多个不同的源之一接收。在另一示例中,新线索可以经由用户计算设备从用户接收。
在612,该方法可包括向用户计算设备发送与匹配于图像的该新线索相对应的地理地点标签。如果新线索是视觉线索,则可以向用户计算设备发送与匹配于图像的一部分的该新视觉线索相对应的地理地点标签。如果新线索是地点名线索,则可以向用户计算设备发送与匹配于图像的文件名的该新地点名线索相对应的地理地点标签。
通过使用从多个不同的源聚集的线索来更新经验证的线索库,该线索库可变得更全面并且可以提供更精确的地点标签推荐。此外,通过发送使用添加的新线索来更新了的附加地点标签推荐,图像被分配地点标签的概率可增加。
在某些实施例中,以上所描述的方法和过程可与包括一个或多个计算机的计算系统关联。特别地,此处描述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库和/或其他计算机程序产品。
应该理解,此处所述的配置和/或方法在本质上是示例性的,且这些具体实施例或示例不是局限性的,因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此,所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样,可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效方案。

Claims (12)

1.一种在用户计算设备处的图像组织方法(500),包括:
接收(502)包括多个图像的图像集合;
将所述图像集合中的每一图像的一部分与包括与不同的地理地点标签相对应的多个视觉线索的经验证的线索库进行比较(506);
显示包括与匹配所述部分的视觉线索相对应的所推荐地点标签的推荐面板(516);
接收对于所述图像集合中的所选图像的用户提供的地点标签;
将所述图像集合中的每一其他图像的一部分与对应于所述用户提供的地点标签的视觉线索进行比较;以及
显示包括以下推荐的推荐窗口:将所述用户提供的地点标签分配给具有与对应于所述用户提供的地点标签的视觉线索相匹配的部分的图像。
2.如权利要求1所述的方法,其特征在于,还包括:
响应于接收到所推荐的地点标签与所述图像集合中的一个或多个图像相匹配的验证来向所述一个或多个图像分配所推荐的地点标签。
3.如权利要求1所述的方法,其特征在于,所述经验证的线索库中的视觉线索是从存储在所述用户计算设备上的经验证的图像中提取的。
4.如权利要求1所述的方法,其特征在于,所述经验证的线索库中的视觉线索是从多个计算设备聚集并被存储在可由所述用户计算设备访问的远程计算设备云的数据存储中的经验证的图像中提取的。
5.如权利要求1所述的方法,其特征在于,所述经验证的线索库包括与不同的地理地点标签相对应的多个地点名线索,并且所述方法还包括:
将所述图像集合中的每一图像的文件名与所述地点名线索进行比较;以及
在所述推荐面板中显示与匹配于所述文件名的地点名线索相对应的所推荐的地点标签。
6.如权利要求1所述的方法,其特征在于,所述推荐面板包括所推荐的地点标签的排名列表。
7.如权利要求1所述的方法,其特征在于,所述图像集合中的多个图像中的一个或多个没有所分配的地点标签。
8.如权利要求1所述的方法,其特征在于,所述经验证的线索库包括从可由所述用户计算设备执行的其他应用程序提供的与不同的地理地点标签相对应的多个补充线索,并且所述方法还包括:
将所述图像集合中的每一图像的时间戳与所述补充线索进行比较;以及
在所述推荐面板中显示与匹配于所述时间戳的补充线索相对应的所推荐的地点标签。
9.如权利要求8所述的方法,其特征在于,所述用户计算设备是移动电话,并且所述补充线索包括根据所进行的在时间上接近在所述图像集合中的一个或多个图像的时间戳的呼叫来确定所述移动电话的地理位置。
10.一种在服务器计算设备处的图像组织方法:
从用户计算设备接收包括多个图像的图像集合;
将所述图像集合中的每一图像的一部分与包括与不同的地理地点标签相对应的多个视觉线索的经验证的线索库进行比较,所述多个视觉线索是从计算设备云中的多个不同的源收集的;
向所述用户计算设备发送与匹配于所述部分的视觉线索相对应的所推荐的地点标签;
从所述用户计算设备接收所推荐的地点标签与所述部分相匹配的验证;
使用对应于地理地点标签的新视觉线索来更新所述经验证的线索库,所述新视觉线索是从所述多个不同的源之一接收到的;
将所述图像集合中的每一图像的一部分与所述新视觉线索进行比较;以及
向所述用户计算设备发送与匹配于所述部分的新视觉线索相对应的地理地点标签。
11.如权利要求10所述的方法,其特征在于,所述经验证的线索库包括与不同的地理地点标签相对应的多个地点名线索,并且所述方法还包括:
将所述图像集合中的每一图像的文件名与所述地点名线索进行比较;以及
向所述用户计算设备发送与匹配于所述文件名的地点名线索相对应的所推荐的地点标签。
12.如权利要求10所述的方法,其特征在于,所述图像集合中的多个图像中的一个或多个没有所分配的地点标签。
CN201110430592.7A 2010-12-08 2011-12-07 基于地点的图像组织 Active CN102567486B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/963,527 2010-12-08
US12/963,527 US9251173B2 (en) 2010-12-08 2010-12-08 Place-based image organization

Publications (2)

Publication Number Publication Date
CN102567486A CN102567486A (zh) 2012-07-11
CN102567486B true CN102567486B (zh) 2015-07-08

Family

ID=46199452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110430592.7A Active CN102567486B (zh) 2010-12-08 2011-12-07 基于地点的图像组织

Country Status (7)

Country Link
US (2) US9251173B2 (zh)
EP (1) EP2649512A4 (zh)
JP (1) JP5908494B2 (zh)
KR (1) KR101841180B1 (zh)
CN (1) CN102567486B (zh)
TW (1) TWI560661B (zh)
WO (1) WO2012078414A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251173B2 (en) * 2010-12-08 2016-02-02 Microsoft Technology Licensing, Llc Place-based image organization
US8566329B1 (en) * 2011-06-27 2013-10-22 Amazon Technologies, Inc. Automated tag suggestions
KR101907002B1 (ko) * 2011-09-29 2018-10-12 삼성전자주식회사 컴퓨팅 기기에서 위치 정보가 부착된 컨텐츠 생성 및 검색을 위한 장치 및 방법
US9501507B1 (en) * 2012-12-27 2016-11-22 Palantir Technologies Inc. Geo-temporal indexing and searching
US8938460B2 (en) 2013-03-04 2015-01-20 Tracfone Wireless, Inc. Automated highest priority ordering of content items stored on a device
US10474714B2 (en) * 2013-05-01 2019-11-12 Kble Ltd Method and component for classifying resources of a database
US20150116541A1 (en) * 2013-10-28 2015-04-30 Jordan Gilman Method and apparatus for applying a tag/identification to a photo/video immediately after capture
US20160048989A1 (en) * 2014-08-17 2016-02-18 Mark Anthony Gabbidon Method for managing media associated with a user status
KR101668030B1 (ko) 2014-08-21 2016-10-21 삼성디스플레이 주식회사 유기 발광 소자 및 이를 포함하는 유기 발광 표시 장치
US10236464B2 (en) 2014-08-21 2019-03-19 Samsung Display Co., Ltd. Organic light emitting diode
US10003041B2 (en) 2014-08-21 2018-06-19 Samsung Display Co., Ltd. Organic light emitting diode and organic light emitting display device including the same
US11211575B2 (en) 2014-08-21 2021-12-28 Samsung Display Co., Ltd. Organic light emitting diode
US10817546B2 (en) * 2016-09-15 2020-10-27 Adobe Inc. Labelling of aggregated geolocation tags in a digital mapping system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6883146B2 (en) 2000-12-20 2005-04-19 Eastman Kodak Company Picture database graphical user interface utilizing map-based metaphors for efficient browsing and retrieving of pictures
US8285720B2 (en) 2003-04-07 2012-10-09 Belarc, Inc. Grouping of computers in a computer information database system
FI116547B (fi) 2003-09-04 2005-12-15 Nokia Corp Menetelmä ja laitteisto matkaviestimeen tallennettavien kuvien nimeämiseksi
NO323521B1 (no) * 2004-09-10 2007-06-04 Telenor Asa Lokasjonsbildekommentering pa kameratelefoner
US7702821B2 (en) * 2005-09-15 2010-04-20 Eye-Fi, Inc. Content-aware digital media storage device and methods of using the same
JP4916707B2 (ja) 2005-11-14 2012-04-18 富士フイルム株式会社 撮影位置施設検索システム及び方法
US7822746B2 (en) 2005-11-18 2010-10-26 Qurio Holdings, Inc. System and method for tagging images based on positional information
KR100649674B1 (ko) 2005-11-28 2006-11-27 한국전자통신연구원 이동단말의 내장 카메라를 이용한 위치인식 방법 및 그장치
US8712192B2 (en) * 2006-04-20 2014-04-29 Microsoft Corporation Geo-coding images
KR100868187B1 (ko) 2006-11-02 2008-11-10 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
KR20080053657A (ko) 2006-12-11 2008-06-16 주식회사 케이티 위치정보를 이용한 웹/왑 컨텐츠의 자동 태깅 방법
US20080204317A1 (en) 2007-02-27 2008-08-28 Joost Schreve System for automatic geo-tagging of photos
US8144920B2 (en) * 2007-03-15 2012-03-27 Microsoft Corporation Automated location estimation using image analysis
EP1978704A1 (en) 2007-04-02 2008-10-08 British Telecommunications Public Limited Company Content delivery
JP5229791B2 (ja) 2007-12-28 2013-07-03 独立行政法人情報通信研究機構 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US9037583B2 (en) 2008-02-29 2015-05-19 Ratnakar Nitesh Geo tagging and automatic generation of metadata for photos and videos
US8055081B2 (en) 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
TWI350974B (en) * 2008-04-18 2011-10-21 Asustek Comp Inc Method and system for information corresponding to geographical position
US20090280824A1 (en) 2008-05-07 2009-11-12 Nokia Corporation Geo-tagging objects with wireless positioning information
US20090324211A1 (en) 2008-06-25 2009-12-31 Nokia Corporation Method and Device for Geo-Tagging an Object Before or After Creation
US20100076976A1 (en) 2008-09-06 2010-03-25 Zlatko Manolov Sotirov Method of Automatically Tagging Image Data
TWI416440B (zh) * 2008-11-17 2013-11-21 Mitac Int Corp 用以顯示具有位置資料的照片之方法及其照片顯示裝置
US8122024B2 (en) 2008-12-12 2012-02-21 Research In Motion Limited Method and system for storing multiple geo-tagged media files and rendering the same
JP5023398B2 (ja) 2009-03-17 2012-09-12 Necフィールディング株式会社 電子アルバム作成装置、方法、プログラム、システム、サーバー、情報処理装置、端末装置、及び撮像装置
CN101902516B (zh) 2009-05-26 2013-11-06 深圳富泰宏精密工业有限公司 通话记录管理系统及方法
JP2011065310A (ja) 2009-09-16 2011-03-31 Panasonic Corp 位置情報付加方法、位置情報付加装置
JP5557189B2 (ja) 2010-03-31 2014-07-23 トヨタ自動車株式会社 位置推定装置、位置推定方法及びプログラム
JPWO2011145239A1 (ja) * 2010-05-19 2013-07-22 国立大学法人東京工業大学 位置推定装置、位置推定方法及びプログラム
US9251173B2 (en) * 2010-12-08 2016-02-02 Microsoft Technology Licensing, Llc Place-based image organization

Also Published As

Publication number Publication date
TWI560661B (en) 2016-12-01
WO2012078414A2 (en) 2012-06-14
EP2649512A4 (en) 2015-04-29
US20120148158A1 (en) 2012-06-14
JP2014507022A (ja) 2014-03-20
JP5908494B2 (ja) 2016-04-26
WO2012078414A3 (en) 2013-02-14
KR20130123400A (ko) 2013-11-12
KR101841180B1 (ko) 2018-05-04
CN102567486A (zh) 2012-07-11
US9412035B2 (en) 2016-08-09
US20160078308A1 (en) 2016-03-17
EP2649512A2 (en) 2013-10-16
TW201229976A (en) 2012-07-16
US9251173B2 (en) 2016-02-02

Similar Documents

Publication Publication Date Title
CN102567486B (zh) 基于地点的图像组织
CN102884400B (zh) 信息处理设备,信息处理系统和程序
US20230360394A1 (en) Systems and methods for providing an immersive user interface
CN108446015B (zh) 基于混合现实的展会展览方法及展会系统
US10585920B2 (en) Temporal layers for presenting personalization markers on imagery
US10674183B2 (en) System and method for perspective switching during video access
CA3129009C (en) Method and apparatus for providing education service using satellite imagery based on artificial intelligence
EP2626830A1 (en) Server, information-management method, information-management program, and computer-readable recording medium with said program recorded thereon
US20170103277A1 (en) Viewpoints of a point of interest
US20140068664A1 (en) Method for adding an object map to a video sequence
CN101908057B (zh) 信息处理装置与信息处理方法
CN109600625B (zh) 一种节目搜索方法、装置、设备及介质
Kaneko et al. Visual event mining from geo-tweet photos
US10509823B2 (en) Information provision system, viewing terminal, information provision method, and information provision programme
US8862995B1 (en) Automatically creating a movie from geo located content using earth
US8966007B2 (en) Method and apparatus for providing web contents
US20170169108A1 (en) Bright spot prompting method and device based on search key
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
US10038937B2 (en) Location-specific audio capture and correspondence to a video file
US20230205977A1 (en) Systems and methods for providing a view of geospatial information
US20130346240A1 (en) Media Content Location Methods and Systems
CN110781191B (zh) 编排数据的处理方法及服务器
CN114117090A (zh) 资源展示方法、装置及服务器
US20160320202A1 (en) Navigation with contextual information
Stewart et al. ORCHIS-technology in help of botanists and foresters on both sides of the border

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150717

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.