CN110062939A - 将静态图像转换成交互式地图 - Google Patents

将静态图像转换成交互式地图 Download PDF

Info

Publication number
CN110062939A
CN110062939A CN201780076501.XA CN201780076501A CN110062939A CN 110062939 A CN110062939 A CN 110062939A CN 201780076501 A CN201780076501 A CN 201780076501A CN 110062939 A CN110062939 A CN 110062939A
Authority
CN
China
Prior art keywords
geographical
geographical entity
entity
intention
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780076501.XA
Other languages
English (en)
Other versions
CN110062939B (zh
Inventor
D·扬科夫
P·伯克辛
M·R·埃文斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110062939A publication Critical patent/CN110062939A/zh
Application granted granted Critical
Publication of CN110062939B publication Critical patent/CN110062939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Instructional Devices (AREA)

Abstract

本公开涉及用于利用交互式地图替换静态地图图像的系统、方法和设备,该交互式地图与静态地图图像所描绘的地理区域近似。可以检查静态图像,并且可以做出关于静态图像是否满足地图标识阈值的确定。可以评估与静态图像相关联的至少一个信号,并且基于该评估,可以标识至少一个意图地理实体。可以利用与所标识的意图地理实体中的至少一个相对应的静态图像替换静态图像。

Description

将静态图像转换成交互式地图
背景技术
网站和应用通常包含用户可以出于各种原因查阅的静态地图图像。备选地,交互式地图提供用户可以与之交互的有用工具。用户可能希望利用允许其在地图上进行放大或缩小的交互式地图工具,访问关于地图上所包含的区域的交通信息,查看有关地图上所包含的感兴趣地点的信息等。这些工具在静态地图图像上不可用;为了利用这些特征,用户必须手动访问交互式地图服务,执行与始发网站或者应用上的感兴趣静态地图图像有关的搜索,并且手动训练搜索到的地图区域以与感兴趣静态地图图像中所显示的位置相对应。
附加地,尽管讨论了相对具体的问题,但应该理解,这些方面不应限于仅解决背景技术中所标识的这些具体问题。
发明内容
该发明内容的提供是为了以简化的形式介绍对于在下面的详细说明部分中进一步描述的构思的选择。该发明内容不旨在标识所请求保护的主题内容的关键特征或基本特征,也不旨在被用作帮助确定所请求保护的主题内容的范围。
本公开的非限制性示例描述了用于将静态图像转换成交互式地图的系统、方法和设备。可以检查静态图像,并且可以做出关于静态图像是否有可能与静态地图图像对应的确定。可以从静态地图图像中标识潜在意图地理实体,并且可以标识一个或多个意图地理区域以用于替换静态地图图像。可以应用一个或多个过滤器来减少潜在意图地理实体和/或潜在意图地理区域。可以确定替换地图视口区域。可以利用与所标识的最有可能的意图地理区域相对应的交互式地图替换原始静态地图图像。
附图说明
图1是用于利用与静态地图图像中所描绘的地理区域近似的交互式地图替换静态地图图像的环境的示例性示意图。
图2图示了用于将静态图像转换成交互式地图的示例性方法。
图3图示了用于确定针对交互式地图的视口大小以替换静态地图图像的示例性方法。
图4图示了旧金山湾区的用于转换成交互式地图的示例性静态地图图像。
图5A和图5B图示了用于经由基于空间的密度聚类(clustering)来标识意图地理实体并且随后标识意图地理区域的第一组相关地理实体数据点和第二组相关地理实体数据点。
图5C和图5D图示了与静态地图图像有关的潜在意图地理实体,可以对潜在意图地理实体进行聚类和排名以标识用以替换静态地图图像的最有可能的意图地理区域。
图6和图7是可以用来实践本公开的各个方面的移动计算设备的简化框图。
图8是图示了可以用来实践本公开的各个方面的计算设备的示例物理组件的框图。
图9是可以实践本公开的各个方面的分布式计算系统的简化框图。
图10图示了用于执行本公开的一个或多个方面的平板计算设备。
具体实施方式
将参照附图详细地描述各种实施例,其中,相同的附图标记在若干视图中表示相同的部件和组件。对各种实施例的参考不限制随附权利要求书的范围。附加地,本说明书中所阐述的任何示例不旨在作为限制,并且仅阐述了针对随附权利要求书的许多可能实施例中的一些。
通常,本公开涉及用于将静态地图图像转化成交互式地图的系统、方法和设备。如本文中所使用的,静态地图图像指的是具有非常少的(若存在)交互式功能的地理实体(街区、城市、州、国家等)的图像。即,静态地图图像通常限于将一个或多个地理实体和对应地理区域描绘为地图的像素元素。备选地,如本文中所使用的,交互式地图指的是与交互式工具集成的地图,用户可以利用该交互式工具来执行诸如进行放大或缩小、访问交通信息、查看有关感兴趣地点的信息等动作。
静态地图图像通常与用户访问的网站和应用相关联,但可以由这些地图容纳的用户交互极为有限(例如,用户可能能够放大静态地图图像,从而产生模糊的像素图像)。静态地图图像所容纳的功能是不直观的,并且通常引起不良的用户体验。例如,如果用户点击网站上的静态地图图像,那么可以将用户引导到托管静态地图图像的源网站,该源网站可以或者可以不提供对用户的预期目的有帮助的附加信息。如果用户希望在较高级别与静态地图图像中所描绘的地理位置交互,那么该用户通常将需要手动访问交互式地图服务,执行与始发网站和应用上的感兴趣静态地图图像有关的搜索,并且手动训练搜索到的地图的区域以与感兴趣静态地图图像中所显示的位置相对应。只有在执行这些步骤时,才会向用户提供针对与由原始静态地图图像提供的区域相对应的地理位置的交互式功能。
本公开提供了用于通过很少的用户交互或不通过用户交互将静态地图图像转换成交互式地图的机制。根据示例,可以利用与静态地图图像所描绘的地理实体相对应的交互式地图自动替换静态地图图像,可以提供与静态地图图像所描绘的地理实体相对应的交互式地图的链路,和/或当光标悬停在静态地图图像之上时,可以提供链接至与静态地图图像相对应的准确交互式地图的弹出提示框。
根据一些方面,在检测到网页或所访问的应用包含图像时,可以分析并且检查该图像,并且可以做出关于该图像是否描绘了地理实体地图(即,静态地图图像)的确定。在检查图像时,可以实现机器学习以检测图像是否是地理实体地图。例如,可以利用被训练成按照图像类型和类别来检测和分类图像的一个或多个卷积神经网络来确定输入图像是否与地理实体地图相对应。可以在确认静态图像是否有可能与地理实体地图相对应并且应该被分类为地理实体地图时实施地图标识阈值。即,在已经检查了静态图像之后,可以进行关于图像与地理实体地图相对应的可能性的计算。可以实施地图标识阈值,使得只有已经被确定为超过与地理实体地图相对应的特定可能性/阈值(例如计算得到的大于X%的值)的图像才可以根据本文所描述的用于将图像转换成交互式地图的系统和方法来进一步分析。
在确定静态图像满足或者超过地图标识阈值,并且因此已经将静态图像分类为静态地图图像时,可以评估与图像相关联的各种信号以产生与静态地图图像相对应的准确交互式地图。可以被评估的示例性信号包括:通过执行静态地图图像的光学字符识别分析确定的静态地图图像中所包含的文本字符串、静态地图图像中所包含的文本字符串的大小和/或强调特征(例如粗体、着色)、与产生静态地图图像的用户查询中所包含的地理实体有关的文本字符串、与同静态地图图像相邻的地理实体有关的文本字符串、与静态地图图像被托管在其上的URL中所包含的地理实体有关的文本字符串和静态地图图像中的焦点区域(例如,通过着色、粗体、突出显示在静态地图图像中突出显示的区域)等。
根据示例,可以对静态地图图像执行光学字符识别分析。通过光学字符识别从静态地图图像提取的文本提供可以被用于从静态地图图像中确定一个或多个潜在意图地理实体的信号。例如,可以针对一个或多个地理实体数据库和/或地理实体搜索引擎分析和匹配如由光学字符识别确定的一个或多个文本字符串,并且可以从中做出所提取的文本字符串与一个或多个地理实体或者一种或多种地理实体类型(例如城市、县、州、省、国家)相对应的确定。
根据附加示例,可以分析通过光学字符识别从静态地图图像提取的多个文本字符串,以确定每个文本字符串的相对文本大小,因为每个文本字符串与静态地图图像中所包含的其他文本字符串有关。较大字体的标识可以指示在地图上示出的实体的重要性,并且可以利用针对相对字体大小的阈值来滤除有可能与较小地理实体相对应的文本字符串。类似地,在计算资源、数据传输资源和/或时间资源有限的情况下,可以因对大量术语进行地理编码的成本而修改用于基于相对字体大小来过滤文本字符串的阈值。
可以分析从静态地图图像和/或其相邻区域(或嵌入在那些区域中的对象)提取的文本字符串以及用户查询中所包含的文本字符串、产生静态地图图像并且链接到静态地图图像的URL以及描述静态图像的属性备选文本,以用于与地理实体关联。例如,可以将值/权重置于来自静态地图图像的所提取的文本信号上,该文本信号是关于与该文本字符串相关联的地理位置是针对用户的意图地理实体的可能性。根据更具体的示例,如果网页包含已被确定为静态地图图像的图像,并且从该静态图像周围的区域(例如,邻接嵌入的静态地图图像定位但位于嵌入的静态地图图像的视口之外的“旧金山湾区”)提取的文本已经被确定为与地理位置相对应,那么可以单独或与其他信号组合地使用该确定,以计算一个或多个地理意图区域或者潜在地理意图区域。
可以将针对静态地图图像的焦点区域评估为指示潜在意图地理区域。例如,可以做出静态地图图像包含通过阴影、颜色、边缘和颜色区分标识的焦点区域的确定,并且可以将值/权重置于所提取的信号上,该信号是关于与焦点区域相关联的地理位置是针对用户的意图地理区域的可能性。例如,静态地图图像通常包含用以将用户的焦点吸引到这些区域的着色部分。在那些实例中,可以做出关于在焦点区域的界限内由静态地图图像提供哪些文本字符串(或者其他信号)的确定,并且可以应用过滤器来减少或者消除重点在标识意图地理实体和/或意图地理区域的区域外的其他信号的影响。
根据其他示例,可以从对与静态地图图像相关联的一个或多个信号的评估中标识一个或多个意图地理实体和/或意图地理区域,包括最有可能的意图地理实体和/或意图地理区域。在进行该标识时评估多个信号的情况下,可以对每个信号进行加权。在标识最有可能的意图地理实体和/或意图地理区域后,可以利用与静态地图图像所描绘的区域相对应的交互式地图替换静态地图图像(或以其他方式与交互式地图链接)。
在从静态地图图像中标识一个或多个潜在意图地理实体后,由于与执行地理编码相关联的成本,在执行地理编码之前可以过滤那些所标识的潜在地理实体中的一个或多个(即,通过地图搜索引擎和/或地图应用将潜在地理实体与一个或多个具体位置相匹配的过程)。例如,对与旧金山湾区的静态地图图像相关联的一个或多个信号的评估可以包含各种大小的文本字符串,并且可以在地理编码之前过滤较小大小的文本字符串。根据另一示例,可以评估从静态地图图像标识的焦点区域,以滤除处于该焦点区域之外的潜在地理实体。
可以执行剩余的潜在意图地理实体的地理编码(在过滤如上所述的那些实体之后)。例如,旧金山湾区的静态地图图像及其对应信号(例如,从静态地图图像提取的未过滤的文本字符串,诸如“旧金山”、“奥克兰”、“弗里蒙特”、“伯克利”)可以通过地图搜索引擎运行以确定与潜在意图地理区域相对应的一个或多个地理实体的位置坐标(例如经度和纬度坐标)和地理链信息(例如位置层级,诸如道路、街区、城市、县、州、国家)。例如,可以通过从静态地图图像中确定的潜在意图地理实体的地理编码来标识全世界的与来自旧金山湾区的静态地图图像的未过滤的文本字符串相对应的大量位置(例如,可能存在全世界的名称为旧金山、奥克兰、弗里蒙特、伯克利的多个城市)。
可以执行聚类和/或空间缩减以从多个潜在意图地理实体和/或意图地理区域中标识特定意图地理实体和/或意图地理区域,该多个潜在意图地理实体和/或意图地理区域已经从静态地图图像地理编码。根据各个方面,可以对针对每个位置/空间坐标的地理链信息执行凝聚层级聚类。地理链信息是实体名称连同其父级(parent)名称。例如,一个实体(旧金山湾区中的“旧金山”市)具有加利福尼亚州的地理链父级,该地理链父级具有美国的父级。该链包含有关实体级别的信息(例如,道路、街区、城市、县、州、国家)。
可以由下而上创建簇(cluster),使得在簇层级内“较低”级别中进行分组的实体更有可能与意图地理区域相对应。即,如果来自静态地图图像的一个或多个地理编码实体(即,潜在意图地理实体)以相同州级别进行聚类(例如,一个或多个地理编码实体以“州-加利福尼亚”级别进行聚类),则可以做出与来自静态地图图像的、以国家级别进行聚类的地理编码实体(例如以“国家-美国”级别进行聚类的一个或多个地理编码实体)相比,那些实体更有可能与意图地理区域相对应的确定。因此,根据示例,可以过滤在地理链中以较高级别进行聚类的地理编码实体,从而仅留下如与潜在意图地理区域有关的、在地理链中较低级别的地理编码实体。
除了执行地理链聚类凝聚层级聚类以减少从静态地图图像导出的潜在意图地理实体和/或意图地理区域之外或作为备选,可以执行潜在意图地理实体的基于空间的密度聚类以标识用于利用交互式地图替换静态地图图像的最有可能的意图地理区域。例如,在从静态地图图像中标识多个潜在意图地理实体(例如奥克兰、弗里蒙特、伯克利)并且基于地理链聚类来减少对应地理编码实体后,可以消除包含潜在意图地理实体的一个或多个簇,以便标识最有可能的意图地理区域。例如,如果相同级别(例如,道路级别、街区级别、城市级别、县级别、州级别、国家级别)的多个地理链簇包含相同的潜在意图地理实体,则可以执行基于空间的密度聚类以将簇减少到包含最有可能的意图地理区域的单个簇。例如,如果级别“州-ABC”(例如,“州-加利福尼亚”)的第一地理链簇包含:城市A、城市B和城市C,并且级别“州-XYZ”(例如,“州-德克萨斯”)的第二地理链簇包含:城市A、城市B和城市C,则可以执行空间密度分析以确定与原始静态地图图像有关的最有可能的候选。
基于空间的密度聚类和关联分析可以包括:执行以下步骤。对于地理链簇中的第一地理编码实体,可以做出关于该簇内的哪两个相邻地理编码实体最接近第一地理编码实体的确定。在确定该簇内的与第一地理编码实体的两个最接近的相邻地理编码实体后,可以做出关于将两个最接近的相邻地理编码实体与聚类中的第一地理编码实体间隔开的平均距离的确定。可以针对具有从以相同级别进行聚类的静态地图图像导出的地理编码实体的每个簇重复这些步骤。在已经针对每个相同级别簇执行了这些计算之后,可以选择具有将地理编码实体与其两个最接近的地理编码相邻实体间隔开的最小平均距离的簇作为与用于利用交互式地图替换原始静态地图图像的区域的意图地理区域相对应的最有可能的候选。根据示例,在确定与原始静态地图图像有关的最有可能的候选时,可以利用如上文所标识的一个或多个信号来训练机器学习排名算法。
例如,对于簇级别“州-ABC”的上述地理链簇,可以做出城市B和城市C在城市A附近最接近的确定,可以做出关于城市A距城市B的距离(例如100km)和距城市C的距离(例如400km)的确定,并且可以计算这两个距离的平均值(即,250km)。类似地,对于簇级别“州-XYZ”的上述地理链簇,可以做出城市B和城市C在城市A附近最接近的确定,可以做出关于城市A距城市B的距离(例如30km)和距城市C的距离(例如15km)的确定,并且可以计算这两个距离的平均值(即,22.5km)。在计算针对这些簇的平均距离后,可以过滤簇级别“州-ABC”的地理实体,由于它具有城市A与城市B和城市C之间的较大平均距离,而可以选择簇级别“州-XYZ”的地理实体作为与用于利用交互式地图替换原始静态地图图像的区域的意图地理区域相对应的最有可能的候选。
针对一些静态地图图像,可以仅基于从静态地图图像中标识地理意图的潜在实体来进行意图地理区域的合理准确估计。针对包括地理意图的所有潜在实体(甚至针对单个簇)的其他静态地图图像,可以估计不准确且过大的意图地理区域。例如,如果静态地图图像包含大文本字符串(基于字体大小),该大文本字符串指的是远离静态地图图像中所显示的区域的热门位置,那么最初可以不过滤该文本字符串,并且如果不采取其他步骤,那么相对于原始静态地图图像,用以替换静态图像的交互式地图可能过大。根据具体示例,旧金山湾区的静态地图图像可以具有大文本字符串和对应方向箭头,诸如“去往:洛杉矶→”,并且在不实施其他操作的情况下,可以生成用以替换旧金山湾区静态地图图像的交互式地图,该静态地图图像不仅包括湾区,而且还包括更大的洛杉矶地区。
可以执行一个或多个地图视口大小调整操作以进一步训练与静态地图图像相关的意图地理区域,以避免利用过大的交互式地图区域替换静态地图图像。根据示例,可以计算与所标识的潜在意图地理实体相对应的静态地图图像中的文本字符串之间的距离(以像素为单位)。类似地,在对那些意图地理实体进行地理编码后,可以计算那些地理编码实体之间的测地距离。对于位于视口内的实体对,测地距离与将每个文本字符串(针对静态地图图像)与每个地理编码的潜在意图实体间隔开的像素距离之间的比率应该保持为近似恒定,以便产生极为类似于静态地图图像的交互式地图区域。
根据上述旧金山湾区示例,针对第一文本字符串与“洛杉矶”文本字符串之间的像素距离与那些实体之间的测地距离的计算得到的比率将大得多,这是因为测地距离显著大于像素距离。在生成针对静态地图图像的替换交换式地图之前,可以过滤产生满足或者超过特定阈值的测地像素比率的潜在意图地理实体(诸如在该示例中为“洛杉矶”),使得由替换地图提供对原始静态地图图像的更准确的交互式描绘。
除了利用上述测地/像素比率机制来调整地图视口大小之外或作为备选,可以基于利用文本字符串的操作来将用于替换静态地图图像的地图视口的大小调整到静态地图边界距离。例如,可以计算与和静态地图图像的每个边界的所标识的潜在意图地理实体相对应的每个文本字符串的距离(以像素为单位)。基于该计算,可以计算从每个潜在意图地理实体到与静态地图图像的每个边界相对应的位置的测地距离,并且可以针对交互式地图图像的视口边界导出经度和纬度坐标,该视口边界与静态地图图像的边界非常近似。
可以为从静态地图图像生成的每个交互式地图确定置信度分数。可以基于被检查的初始静态图像是地图的可能性以及在产生替换交互式地图时所实施的机制已导致初始静态图像(即,静态地图图像)的唯一且准确表示的可能性来计算置信度分数。根据示例,如果置信度分数高于阈值t:(1)在离线处理期间,可以利用交互式地图信息对静态地图图像进行注释,以及(2)在在线处理期间,可以经由交互式地图调用系统使交互式地图和/或经注释的静态地图可用。根据示例,可以利用机器学习过程来处理该信息并确定置信度分数。
图1是用于利用与静态地图图像104中所描绘的地理区域近似的交互式地图120替换静态图像104的环境100的示例性示意图。环境100包括计算设备102和计算设备118,这些计算设备可以是相同计算设备或者不同计算设备。将旧金山湾区的静态图像104显示在计算设备102上,如使用通过网站或者浏览器搜索栏输入的查询“旧金山地图”而从图像搜索网站访问的。如通过图像搜索网站显示的,静态图像104包括文本字符串“旧金山”、“伯克利”、“奥克兰”和“弗里蒙特”。附加地,文本字符串“加利福尼亚州,旧金山湾区的地图”位于静态图像104的附近且恰好在静态图像104的上方。同样位于静态图像104的附近但被显示在静态图像104的下方的是文本字符串“旧金山地图的图像”,并且在该文本字符串下方显示了四个附加缩略图图像(I2、I3、I4、I5)。可以选择四个附加缩略图图像中的一个,并且在做出这种选择后,可以用所选择的图像替换静态图像104和/或可以提供去往托管该图像的网站的链路。
环境100还示出了地图转换上下文106,该地图转换上下文包括网络108以及图形分析和处理上下文110,该图像分析和处理上下文包括服务器计算设备112、114、116。尽管在图像分析和处理上下文中描绘了三个服务器计算设备,但应该理解,可以存在少于或者多于该数目的能够执行用于将静态地图图像转换成如本文所述的交互式地图的机制的服务器计算设备。
根据示例,可以经由网络108将与图像搜索网站和静态地图图像104有关的数据发送至图像分析和处理上下文110以及服务器计算设备112、114和116中的一个或多个。服务器计算设备112、114和116中的一个或多个可以检查静态图像;确定静态图像是否满足地图标识阈值;评估与静态图像相关联的至少一个信号;基于对至少一个信号的估计来标识至少一个意图地理实体;并且利用与所标识的意图地理实体中的至少一个相对应的交互式地图替换静态图像。
在确定静态图像104是否满足用于被分类为地理实体地图的地图标识阈值时,可以实施机器学习以表征静态图像104中所包含的各种特征。例如,可以利用被训练成按照图像类型和类别检测和分类图像的一个或多个卷积神经网络来确定静态图像104与地理实体地图(即,静态地图图像)相对应。
在确定静态图像104满足或者超过用于被分类为地理实体地图的阈值后,可以评估与静态图像104(现在被分类为静态地图图像)相关联的一个或多个信号。可以从静态图像104中提取文本字符串并用光学字符识别对其进行评估。除了评估来自静态图像104的文本字符串之外,可以提取在上下文中与静态图像104相邻的文本字符串、来自查询的通向静态图像104的文本字符串以及来自位于图像搜索网站和/或包含原始静态图像104的网站中的URL的文本字符串并且用光学字符识别对其进行评估。
可以分析静态图像104中所包含的文本字符串中的每一个(“旧金山”、“伯克利”、“奥克兰”和“弗里蒙特”)以便标识一个或多个意图地理实体。例如,可以针对一个或多个地理实体数据库和/或地理实体搜索引擎分析和匹配如由光学字符识别确定的静态图像104中所包含的文本字符串中的每一个,并且可以从中做出所提取的文本字符串与一个或多个地理实体或者一种或多种地理链簇层级类型(例如城市、县、州、省、国家)相对应的确定。
根据一些示例,在将来自静态图像104的所提取的文本字符串与一个或多个地理实体数据库和/或地理实体搜索引擎匹配之前或之后,可以做出关于每个文本字符串的相对字体大小的确定,因为那些字体大小与静态图像104中所包含的其他文本字符串有关。较大字体的标识可以指示在地图上示出的实体的重要性,并且可以利用用于相对字体大小的阈值来滤除有可能与较小地理实体相对应的文本字符串。由于将每个所提取的文本字符串与地理实体数据库和搜索引擎进行匹配和/或针对地理实体数据库和搜索引擎对每个所提取的文本字符串进行地理编码的成本,这些阈值可以取决于可用计算资源、数据传输资源和/或时间资源。
类似地,可以将与静态图像104相关联但不是静态图像104的部分的文本字符串与一个或多个地理实体数据库和/或地理实体搜索引擎相匹配,并且可以将值/权重与那些信号相关联,那些信号同与那些信号相关联的地理位置与意图地理实体相对应的可能性相关。因此,在图1中,可以分析来自URL的文本字符串(“www.ABCimagessearch.com”),来自查询的文本字符串(“旧金山地图”)和在上下文中与静态图像104相邻定位的文本字符串(“加利福尼亚州,旧金山湾区地图”和“旧金山地图的图像”)并将其与一个或多个地理实体数据库和/或地理实体搜索引擎相匹配,并且可以从中做出一个或多个所提取的文本字符串与一个或多个地理实体或者一种或多种地理链簇类型(例如城市、县、州、省、国家)相对应的确定。除了作为静态图像104的部分的文本字符串信号之外,那些信号中的每一个可以在标识这些实体时进行加权。例如,在标识潜在意图地理区域或者意图地理实体时,与在上下文中与静态图像104相邻定位的文本字符串相比,位于静态图像104内的文本字符串可以进行更大加权。类似地,与不重复的文本字符串(例如“湾区”)相比,在上下文中与静态图像104相邻定位的重复文本字符串(例如“旧金山”)可以进行更大加权。
在标识一个或多个意图地理实体和/或意图地理区域后,可以利用交互式地图(诸如交互式地图120)替换静态图像104,并且可以将交互式地图120显示在计算设备(诸如计算设备118)上。交互式地图120可以直接替换静态图像104,可以向示出交互式地图120的网站提供链路和/或当用户触摸静态图像104或以其他方式与静态图像104交互时(例如通过将光标悬停在静态图像104之上)时,可以向托管和显示交互式地图120的网站提供链路。
交互式地图120包括交互式窗格122,该交互式窗格提供用于与交互式地图120中所显示的地图区域交互的工具。可以在交互式地图120中实施的交互式工具的示例包括:允许用户对位置进行放大或缩小的缩放工具、允许用户查看交互式地图120上的交通状况的交通工具、允许用户查看有关交互式地图120所包含的热门地点的信息的地点工具以及允许用户获得从其当前位置或者其他位置(例如,利用来自用户的计算设备的地理位置数据)到交互式地图120所包含的实体的方向的方向工具等。
图2图示了用于将静态图像转换成交互式地图的示例方法200。该方法在操作202处开始,在此操作中,做出访问网站或者应用上所显示的静态图像的确定。从操作202处,流程移动至操作204,其中经由机器学习地图分类器做出关于图像是否为地图的确定。机器学习地图分类器检测静态图像是否为地图的表示。如果做出静态图像不是地图的确定,那么该方法在操作206处停止,并且地图调用系统可以继续其默认行为(例如,将用户重定向到针对图像的源网站)。备选地,如果在操作204处做出静态图像是地图的确定,那么流程继续进行至少操作208至214,其中做出在生成与意图地理实体或意图地理区域相对应的交互式地图时有用的确定。
在操作208处,评估与图像(现在被确定为静态地图图像)相关联的一个或多个信号。这些信号可以包括:通过执行静态图像的光学字符识别而确定的静态图像中所包含的文本字符串,静态图像中所包含的文本字符串的字体大小和/或其他强调特征(例如粗体、着色)、与产生静态地图图像的用户查询中所包含的地理实体有关的文本字符串、与同静态地图图像相邻的地理实体有关的文本字符串、与静态地图图像所托管的URL中所包含的地理实体有关的文本字符串和静态地图图像中的焦点区域等。
从操作208处,流程继续进行至操作210,在操作210中标识一个或多个潜在地理位置。在操作210处标识潜在地理位置时,与静态地图图像相关联的候选文本字符串可以基于其字体大小相对于与静态地图图像相关联的其他文本字符串更小而被过滤,并且可以评估静态地图图像中的焦点区域以便滤除来自焦点区域之外的区域的信号。在过滤与静态地图图像相关联的一个或多个信号后,可以对剩余的文本字符串进行地理编码,并且流程可以继续进行至操作212,在操作212中可以确定地理意图区域。
在操作212处确定与静态地图图像相对应的地理意图区域时,可以利用一种或多种聚类机制。地理链聚类机制可以将来自(如通过地理编码确定的)静态地图图像的地理实体分类为属于地理链层级内的层,包括层级内的类别,诸如道路、街区、城市、县、州、国家等。可以由下而上创建地理链层级内的簇,使得在簇层级内以“较低”级别分组的实体更有可能与意图地理区域相对应。附加地或备选地,可以执行潜在意图地理实体的基于空间的密度聚类以标识用于利用交互式地图替换静态地图图像的最有可能的意图地理区域。即,在从静态地图图像中标识多个潜在意图地理实体后,可能需要消除包含潜在意图地理实体的一个或多个簇,以便标识最有可能的意图地理区域。例如,如果做出多个地理链簇在地理链层级中具有相同的分类级别(例如道路级别、街区级别、城市级别、县级别、州级别、国家级别)的确定,那么可以执行基于空间的密度聚类以将簇减少到包含最有可能的意图地理区域的单个簇。根据示例,在确定与原始静态地图图像有关的最有可能的候选时,可以利用如上文所标识的一个或多个信号来训练机器学习排名算法。
在操作212处执行基于空间的密度聚类和过滤可以包括以下中间步骤中的一个或多个。对于地理链簇中的第一地理编码实体,可以做出关于该簇内的哪两个相邻地理编码实体最接近第一地理编码实体的确定。在确定该簇内的与第一地理编码实体的两个最接近的相邻地理编码实体后,可以做出关于将两个最接近的相邻地理编码实体与簇中的第一地理编码实体间隔开的平均距离的确定。可以针对具有从以相同层级级别进行聚类的静态地图图像导出的地理编码实体的每个簇重复这些步骤。在已经针对每个相同级别簇执行了这些计算之后,可以选择具有将地理编码实体与其两个最接近的地理编码相邻实体间隔开的最小平均距离的簇,作为与用于利用交互式地图替换原始静态地图图像的区域的意图地理区域相对应的最有可能的候选。
在操作212处确定要为设备的视口生成的地理意图区域时,可以执行一种或多种地图视口大小调整机制以训练与静态地图图像相关的意图地理区域,以避免利用过大的交互式地图区域替换静态地图图像。因此,在操作212处,可以计算与所标识的潜在意图地理实体相对应的静态地图图像中的文本字符串之间的距离(以像素为单位)。类似地,在对那些意图地理实体进行地理编码后,可以计算那些地理编码实体之间的测地距离。对于位于视口内的实体对,测地距离与将每个文本字符串(针对静态地图图像)与每个地理编码的潜在意图实体间隔开的像素距离之间的比率应该保持为近似恒定,以产生极为类似于静态地图图像的交互式地图区域。
除了在如上所述的操作212处利用测地/像素比率确定地理意图区域之外或作为备选,可以基于利用文本字符串与静态地图边界之间的距离的操作来确定要在设备的视口上生成和显示的地理意图区域。相应地,在操作212处,可以计算与同针对静态地图图像的每个边界的所标识的潜在意图地理实体相对应的每个文本字符串的距离(以像素为单位)。基于该计算,可以计算从每个潜在意图地理实体到与静态地图图像的每个边界相对应的位置的测地距离,并且可以针对交互式图像的视口边界导出经度和纬度坐标,该视口边界与静态地图图像的边界非常近似。
从操作212,流程继续进行至操作214。在操作214处,可以做出关于所确定的地理意图区域与原始静态地图图像相对应的可能性的确定。可以基于被检查的初始静态图像是地图的可能性以及在产生替换交互式地图时实施的机制已导致初始静态图像的唯一且准确表示的可能性来计算置信度分数。
如果在操作212处做出用于显示为交互式地图的所确定的地理意图区域不太可能与初始静态地图图像的准确表示相对应的与计算得到的低置信度分数相关的确定,那么流程继续进行至操作216,在操作216中不执行其他操作并且方法200结束。备选地,如果在操作212处做出用于显示为交互式地图的所确定的地理意图区域有可能与初始静态地图图像的准确表示相对应的与计算得到的高置信度分数相关的确定,那么流程继续进行至操作218,在操作218中生成交互式地图。在离线处理期间,可以利用交互式地图信息来注释与所生成的交互式地图相对应的静态地图图像,并且在在线处理期间,可以经由交互式地图调用系统使交互式地图和/或经注释的静态地图可用。
图3图示了用于确定针对交互式地图的视口大小以替换静态地图图像的示例方法300。该方法300在开始操作处开始并且继续进行至操作302,在操作302中基于对与静态地图图像相关联的一个或多个信号的评估来标识地理实体位置。根据示例,这种评估可以包括:提取和分析与静态图像相关联的数据,并且通过光学字符识别从中确定相关文本字符串。评估还可以包括:对相关文本字符串进行地理编码以计算针对与那些文本字符串相对应的一个或多个地理位置的位置信息(例如维度和经度坐标)。
从操作302,流程继续进行至操作304,在操作304中,确定针对每个所标识的地理位置的地理链信息。例如,在操作302处对相关文本字符串进行地理编码之后,可以分析从这些文本字符串中导出的位置坐标以确定地理编码实体中的每一个是否与一种或多种层级位置分类(例如道路、街区、城市、县、州、国家)相对应。
从操作304,流程继续进行至操作306,在操作306中,确定针对每个所标识的地理位置的空间密度信息。确定针对每个所标识的地理位置的基于空间的信息可以包括以下步骤。对于地理链簇中的第一地理编码实体,可以做出关于该簇内的哪两个相邻地理编码实体最接近第一地理编码实体的确定。在确定该簇内的与第一地理编码实体的两个最接近的相邻地理编码实体后,可以做出关于将两个最接近的相邻地理编码实体与簇中的第一地理编码实体间隔开的平均距离的确定。可以针对具有从以相同层级进行聚类的静态地图图像导出的地理编码实体的每个簇重复这些步骤。在已经针对每个相同级别簇执行了这些计算之后,可以选择具有将地理编码实体与其两个最接近的地理编码相邻实体间隔开的最小平均距离的簇,作为与用于利用交互式地图替换原始静态地图图像的区域的意图地理区域相对应的最有可能的候选。
从操作306,流程继续进行至操作308,在操作308中在过滤一个或多个地理实体或者与一个或多个地理实体相关联的区域以用于替换静态图像地图时,实施机器学习。可以将机器学习实施在评估基于地理链的聚类和基于空间的聚类以及分配给在该聚类中进行评估的一个或多个信号的权重中,以滤除不太可能的意图地理区域。
在操作308处过滤意图地理实体后,流程继续进行至操作310,在操作310中将剩余的地理实体按照以意图地理实体进行标识的最有可能到最不可能的顺序进行排名,并且在操作312处,标识最有可能的意图地理区域。从操作312,流程继续进行至终止操作,并且方法300终止。
图4图示了旧金山湾区的用于转换成交互式地图的示例静态地图图像400。可以从诸如通用网站、图像搜索网站、地图搜索网站、移动和PC应用、窗口小部件和那些位置中的嵌入式地图内容等实体访问和显示静态地图图像400。显示静态地图图像400的视口中所包括的是大字体(相对于静态地图图像中所包括的其他文本字符串)的文本字符串“旧金山”404,较小字体(相对于文本字符串“旧金山”404)的“伯克利”408,“奥克兰”406和“弗里蒙特”410。静态地图图像400中还包括的是位于静态地图图像400的右下方的文本字符串“去往:洛杉矶”412。来自文本字符串“去往:洛杉矶”412的指向南方的箭头指示用户可能对“洛杉矶”感兴趣的热门位置位于旧金山湾区南方。这些特征在地图中是常见的,并且如果在基于字体大小的文本字符串的初始过滤期间未滤除这些文本字符串,那么可能会导致生成在上下文中与原始静态地图图像相关的过大的交互式地图。
图5A和图5B图示了用于经由基于空间的密度聚类来标识意图地理实体并且随后标识意图地理区域的第一组相关地理实体数据点500A和第二组相关地理实体数据点500B。例如,当已经从静态地图图像中提取了多个文本字符串时,已经对这些文本字符串中的每一个进行了地理编码,并且已发现地理编码实体中的每一个与一个以上的地理位置相对应,可以实施地理聚类以确定与一组地理编码实体相对应的潜在意图地理区域(例如,与第一组相关地理实体数据点500A相对应的地理区域或者与第二组相关地理实体数据点500B相对应的地理区域)。在做出该确定时,可以计算来自第一组相关地理实体数据点的地理实体,该地理实体具有将其与其两个最接近的相邻地理实体间隔开的最短平均测地距离,并且可以从这些数据点中选择与这三个地理实体相对应的地理区域作为最有可能的意图地理区域。
例如,可能已经从静态地图图像(诸如静态地图图像400)中标识了潜在意图地理实体,该潜在意图地理实体包括文本字符串“伯克利”、“奥克兰”和“弗里蒙特”。可能已经对那些文本字符串进行了地理编码,并且可以做出多个空间位置包括那些实体中的每一个的确定。例如,第一空间位置(即,第一潜在意图地理区域)可以用第一组相关地理实体数据点500A表示,包括地理实体加利福尼亚州,伯克利502A、加利福尼亚州,奥克兰504A和加利福尼亚州,弗里蒙特506A。在对静态地图图像中所包含的文本字符串(包含文本字符串“伯克利”、“奥克兰”和“弗里蒙特”)进行地理编码后,可以做出关于将第一地理实体(例如加利福尼亚州,奥克兰)与其两个最接近的相邻地理实体(例如加利福尼亚州,伯克利和加利福尼亚州,弗里蒙特)中的每一个间隔开的测地距离的确定。根据那些确定,可以计算将第一地理实体(例如加利福尼亚州,奥克兰)与其两个最接近的相邻地理实体(例如加利福尼亚州,伯克利和加利福尼亚州,弗里蒙特)中的每一个间隔开的平均测地距离(例如26km)。
类似地,第二空间位置(即,第二潜在意图地理区域)可以用第二组相关地理实体数据点500B表示,包括地理实体伊利诺伊州,伯克利502B、明尼苏达州,奥克兰504B和明尼苏达州,弗里蒙特506B。在对静态地图图像中所包含的文本字符串(包含文本字符串“伯克利”、“奥克兰”和“弗里蒙特”)进行地理编码后,可以做出关于将第一地理实体(例如明尼苏达州,奥克兰)与其两个最接近的相邻地理实体(例如伊利诺伊州,伯克利和明尼苏达州,弗里蒙特)中的每一个间隔开的测地距离的确定。根据那些确定,可以计算将第一地理实体(例如明尼苏达州,奥克兰)与其两个最接近的相邻地理实体(例如伊利诺伊州,伯克利和加利福尼亚州,弗里蒙特)中的每一个间隔开的平均测地距离(例如350km)。根据示例,可以做出最有可能的意图地理区域与第一组相关地理实体数据点500A相对应的确定,这是由于将第一地理实体(加利福尼亚州,奥克兰)与其两个最接近的地理实体(加利福尼亚州,伯克利和加利福尼亚州,弗里蒙特)间隔开的平均测地距离小于将第二组相关地理实体数据点的第一地理实体(明尼苏达州,奥克兰)与其两个最接近的地理实体(伊利诺伊州,伯克利和明尼苏达州,弗里蒙特)间隔开的平均测地距离(与第二组相关地理实体数据点中的平均测地距离350km相比,第一组相关地理实体数据点500B中的平均测地距离为26km)。
在对那些地理实体进行地理编码后,还可以计算关于它们与彼此的测地距离的确定,并且可以进行附加计算以确定第一地理实体与其两个最接近的相邻地理实体中的每一个的平均测地距离。基于该确定,可以确定像素距离与测地距离比率,并将其与包含相同潜在意图地理实体(例如“伯克利”、“奥克兰”和“弗里蒙特”)的一个或多个潜在意图地理区域进行比较。在进行这种计算时,可以选择具有将地理编码实体与其两个最接近的地理编码相邻实体间隔开的最小平均距离的潜在意图地理区域(例如意图地理实体包括地理实体“伯克利”、“奥克兰”和“弗里蒙特”),作为与用于利用交互式地图替换原始静态地图图像的区域的意图地理区域相对应的最有可能的候选。
针对一些静态地图图像,可以仅基于从静态地图图像中标识地理意图的潜在实体来进行意图地理区域的合理准确估计。例如,如上文关于文本字符串“伯克利”、“奥克兰”和“弗里蒙特”所描述的,可以生成与旧金山湾区(与图4中所描绘的区域相对应)相对应的意图地理区域的准确估计。然而,静态地图图像还可以包含由于其大小而尚未从图像中过滤的大文本字符串,如果对该大文本字符串进行地理编码,那么可能会因对该文本字符串的评估而导致意图地理区域不准确。例如,图4中所示出的静态地图图像包含具有从旧金山湾区指向洛杉矶方向的箭头的文本字符串“去往:洛杉矶”412。可以执行一个或多个地图大小调整操作以进一步训练与静态地图图像相关的意图地理区域,以避免用过大的交互式地图区域替换静态地图图像。
例如,可以计算与所标识的潜在意图地理实体相对应的静态地图图像中的文本字符串之间的距离(以像素为单位)。类似地,在对意图地理实体进行地理编码后,可以计算地理编码实体之间的测地距离。对于处于视口内的实体对,测地距离与将每个文本字符串(针对静态地图图像)与每个地理编码的潜在意图实体间隔开的像素距离之间的比率应该保持为近似恒定,以生成并显示极为类似于静态地图图像的交互式地图区域。
因此,关于图4和本文所描绘的旧金山湾区的静态地图图像,针对第一文本字符串(例如“旧金山”404)与文本字符串“去往:洛杉矶”412之间的像素距离与那些地理实体之间的测地距离的计算得到的比率会大得多,这是因为测地距离显著大于像素距离。在做出该确定后,可以在生成针对静态地图图像的替换交互式地图之前过滤文本字符串“去往:洛杉矶”412(该文本字符串已经产生了满足或者超过特定阈值的测地像素比率),使得可以通过替换地图来提供原始静态地图图像的更准确的交互式描绘。
图5C和图5D图示了与静态地图图像有关的潜在意图地理实体,可以根据凝聚层级聚类对潜在意图地理实体进行分组,以标识最有可能的意图地理区域来替换静态地图图像。根据示例,可以评估旧金山湾区的静态地图图像,并且可以基于从静态地图图像提取的一个或多个信号来标识一个或多个潜在意图地理实体。例如,可能已经从静态地图图像对文本字符串“旧金山”进行了地理编码,并且可以做出在菲律宾存在具有该名称的三个地理实体的确定。那些地理实体与菲律宾,奎松,旧金山502C;菲律宾,宿务岛,旧金山504C;和菲律宾,南阿古桑省,旧金山506C相对应,那些地理实体参照菲律宾地图500C示出。类似地,可能已经从静态地图图像对文本字符串“伯克利”、“奥克兰”、“弗里蒙特”和“旧金山”进行了地理编码,并且可以做出在加利福尼亚存在具有该名称的三个地理实体的确定。那些地理实体与美国,加利福尼亚州,伯克利502D、美国,加利福尼亚州,奥克兰504D、美国,加利福尼亚州,弗里蒙特506D和美国,加利福尼亚州,旧金山508D相对应,并且那些地理实体参照加利福尼亚地图500D示出。
根据示例,可以确定针对每个所标识的地理实体的地理链信息,并且可以基于所确定的地理链信息针对每个地理实体“自下而上”地创建层级簇,使得簇层级内以“较低”级别进行分组的实体更有可能与意图地理区域相对应。在执行凝聚层级聚类时,可以基于确定一个或多个其他潜在意图地理区域已被聚类成使得其簇中的至少一个包括层级中的“较低”本体簇级别处的更多地理实体(即,最有可能的潜在地理意图区域具有包括最大数目的地理实体的“最低”本体)来过滤一个或多个潜在意图地理区域。
因此,对于图5C中的所标识的潜在意图地理实体,包含每个潜在意图地理实体的“最低”本体簇是“国家”。即,由于潜在地理实体502C、504C和506C中的每一个都属于菲律宾国内的单独的州(奎松,宿务岛和南阿古桑省),因此那些潜在地理实体中的最低共同本体是与菲律宾相对应的“国家”。备选地,对于图5D中的所标识的潜在意图地理实体,包含每个潜在意图地理实体的“最低”本体簇是“州”。即,由于潜在地理实体502D、504D、506D和508D中的每一个都属于相同州(加利福尼亚),因此那些潜在地理实体中的最低共同本体是与加利福尼亚相对应的“州”。因此,因为潜在意图地理实体502D、504D、506D和508D的凝聚层级聚类产生较低本体簇(州),与针对位于菲律宾的经聚类的潜在意图地理实体(菲律宾地图500C中具有一个以上潜在意图地理实体的最低本体簇是具有三个潜在意图地理实体的“国家”)相比,该较低本体簇(州)在该较低本体簇中具有更高数目的潜在意图地理实体(存在以本体级别“州”进行聚类的四个意图地理实体),因此可以过滤菲律宾地图中的潜在意图地理实体502C、504C和506C。因此,在该示例中,最有可能的意图地理区域与加利福尼亚地图500D中所示出的潜在意图地理实体相对应。
除了如关于图5A和图5D所描述的基于空间的密度聚类之外或作为备选,可以执行用以减少和过滤如关于图5C和图5D所描述的潜在地理实体和/或意图地理区域的地理链聚类和凝聚层级聚类。例如,如果在执行用以减少和过滤潜在意图地理实体和/或意图地理区域的地理链聚类和凝聚层级聚类时,标识与不同潜在意图地理区域相对应的一个以上的簇,并且对于那些地理区域中的每一个,相同本体级别(例如“州”)的簇包含相同数目的潜在意图地理实体(例如四个),则随后可以执行基于空间的密度聚类以确定用来替换原始静态地图图像的最有可能的意图地理区域。
图6和图7图示了移动计算设备600,例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、电子阅读器、膝上型计算机等,可以利用这些移动计算设备来实践本公开的实施例。在一些方面中,客户端可以是移动计算设备。参照图6,图示了用于实施各个方面的移动计算设备600的一个方面。在基本配置中,移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605和允许用户将信息录入到移动计算设备600中的一个或多个输入按钮610。移动计算设备600的显示器605也可以用作输入设备(例如触摸屏显示器)。若包括,那么可选侧输入元件615允许其他用户输入。侧输入元件615可以是旋转开关、按钮或者任何其他类型的手动输入元件。在备选方面中,移动计算设备600可以包含更多或者更少的输入元件。例如,在一些实施例中,显示器605可以不是触摸屏。在又一备选实施例中,移动计算设备600是便携式电话系统,诸如蜂窝电话。移动计算设备600还可以包括可选键盘635。可选键盘635可以是物理键盘或在触摸屏显示器上生成的“软”键盘。在各种实施例中,输出元件包括用于示出图形用户界面(GUI)的显示器605、视觉指示器620(例如发光二极管)和/或音频转换器625(例如扬声器)。在一些方面中,移动计算设备600包含用于向用户提供触觉反馈的振动转换器。在又一方面中,移动计算设备600包含用于向/从外部设备发送/接收信号的输入和/或输出端口,诸如音频输入端口(例如麦克风插孔)、音频输出端口(例如耳机插孔)和视频输出端口(例如HDMI端口)。
图7是图示了移动计算设备的一个方面的架构的框图。即,移动计算设备700可以包含用以实现一些方面的系统(例如架构)702。在一个实施例中,将系统702实施为能够运行一个或多个应用(例如浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面中,将系统702集成为计算设备,诸如集成个人数字助理(PDA)和无线电话。
可以将一个或多个应用程序766加载到存储器762中并在操作系统864上或与其相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可以被用来存储在系统702断电的情况下也不应丢失的持久性信息。应用程序766可以在非易失性存储区域768中使用和存储信息,诸如由电子邮件应用使用的电子邮件或者其他消息等。同步应用(未示出)也驻留在系统702上,并被编程为与驻留在主机计算机上的对应同步应用交互,以使存储在非易失性存储区域768中的信息与存储在主机计算机处的对应信息保持同步。应该理解,可以将其他应用加载到存储器762中,并且在移动计算设备700上运行这些应用,包括用于提供和操作规则平台的指令。
系统702具有电源770,可以将该电源实施为一个或多个电池。电源770还可以包括外部功率源,诸如为电池补充电或重新充电的AC适配器或者供电对接支架。
系统702还可以包括执行传送和接收射频通信的功能的无线电接口层772。无线电接口层772经由通信运营者或者服务提供者来促进系统702与“外部世界”之间的无线连接性。在操作系统764的控制下进行通向和来自无线电接口层772的传输。换言之,由无线电接口层772接收到的通信可以经由操作系统764传播到应用程序766,反之亦然。
可以使用视觉指示器620来提供视觉通知和/或可以使用音频接口774以用于经由音频转换器625产生可听通知。在所图示的实施例中,视觉指示器620是发光二极管(LED),并且音频转换器625是扬声器。这些设备可以被直接耦合至电源770,使得在这些设备被激活时,即使处理器760和其他组件可能关闭以用于节省电池功率,这些设备也在通知机制所指示的持续时间内保持开启。LED可以被编程为无限期地保持开启,直到用户采取行动来指示设备的通电状态为止。使用音频接口774向用户提供可听信号并从用户接收可听信号。例如,除了被耦合至音频转换器625之外,音频接口774还可以被耦合至麦克风以接收可听输入,诸如以便于进行电话交谈。根据本公开的实施例,如下面将描述的,麦克风还可以充当音频传感器以便于控制通知。系统702还可以包括视频接口776,该视频接口实现板上相机630记录静态图像、视频流等的操作。
实施系统702的移动计算设备700可以具有附加特征或者功能。例如,移动计算设备700还可以包括附加数据存储设备(可移除和/或不可移除),诸如磁盘、光盘或者磁带。在图7中通过非易失性存储区域768图示了这种附加存储装置。
如上所述,可以将由移动计算设备700生成或者捕获并经由系统702存储的数据/信息本地存储在移动计算设备700上,或者可以将数据存储在可以由设备经由无线电接口层772或者经由移动计算设备700与关联于移动计算设备700的单独计算设备(例如,分布式计算网络(诸如互联网)中的服务器计算机)之间的有线连接访问的任何数量的存储介质上。应该理解,可以经由移动计算设备700、经由无线电接口层772或经由分布式计算网络访问这些数据/信息。类似地,根据众所周知的数据/信息传递和存储部件(包括电子邮件和协同数据/信息共享系统),可以在计算设备之间容易地传递这些数据/信息以供存储和使用。
图8是图示了可以用来实践本公开的各个方面的计算设备800的物理组件(例如硬件)的框图。下文所描述的计算设备组件可以具有用于协助在计算设备(例如服务器计算设备112、114和116)上将静态图像转换成交互式地图的计算机可执行指令。在基本配置中,计算设备800可以包括至少一个处理单元802和系统存储器804。根据计算设备的配置和类型,系统存储器804可以包括但不限于,易失性存储装置(例如随机存取存储器),非易失性存储装置(例如只读存储器),闪速存储器或者这些存储器的任何组合。系统存储器804可以包括适合于运行一个或多个静态地图转换程序或者关于图1的一个或多个组件的操作系统805。例如,操作系统805可以适合于控制计算设备800的操作。此外,本公开的实施例可以结合图形库、其他操作系统或者任何其他应用程序来实践,并且不限于任何特定应用或者系统。在图8中用虚线808内的那些组件图示了该基本配置。计算设备800可以具有附加特征或者功能。例如,计算设备800还可以包括附加数据存储设备(可移除和/或不可移除),诸如(例如)磁盘、光盘或者磁带。在图8中用可移除存储设备809和不可移除存储设备810图示了这种附加存储装置。
如上文所陈述的,可以将若干程序模块和数据文件存储在系统存储器804中。当程序模块806(例如静态图像转换应用820)在处理单元802上执行时,该程序模块可以执行包括但不限于如本文所描述的各个方面的过程。
此外,可以在包括离散电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中或者在包含电子元件或微处理器的单个芯片上实践本公开的实施例。例如,可以经由片上系统(SOC)来实践本公开的实施例,其中可以将图5中所图示的组件中的每一个或者许多组件集成到单个集成电路上。这种SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能,所有这些都被集成(或“烧制”)到芯片衬底上作为单个集成电路。当经由SOC操作本文所描述的关于客户端切换协议的能力的功能时,可以经由与单个集成电路(芯片)上的计算设备800的其他组件集成的专用逻辑来操作这种功能。还可以使用能够执行逻辑运算(诸如(例如)与、或和非)的其他技术(包括但不限于机械、光学、流体和量子技术)来实践本公开的实施例。另外,可以在通用计算机内或者在任何其他电路或者系统中实践本公开的实施例。
计算设备800还可以具有一个或多个输入设备812,诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还可以包括(多个)输出设备814,诸如显示器、扬声器、打印机等。前述设备是示例,且可以使用其他设备。计算设备800可以包括允许与其他计算设备850通信的一个或多个通信连接816。合适的通信连接816的示例包括但不限于,射频(RF)发射器、接收器和/或收发器电路装置;通用串行总线(USB);并行端口和/或串行端口。
如本文所使用的术语“计算机可读介质”可以包括计算机存储介质。计算机存储介质可以包括实施在用于存储信息(诸如计算机可读指令、数据结构或者程序模块)的任何方法或者技术中的易失性和非易失性介质以及可移除和不可移除介质。系统存储器804、可移除存储设备909和不可移除存储设备810都是计算机存储介质示例(例如存储器存储装置)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪速存储器或者其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或者其他磁性存储设备,或者可以被用来存储信息并且可以由计算设备800访问的任何其他制品。任何这种计算机存储介质都可以是计算设备800的一部分。计算机存储介质不包括载波或其他已传播的数据信号或经调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块或者经调制的数据信号中的其他数据(诸如载波或者其他传输机制)来体现,并且包括任何信息递送介质。术语“经调制的数据信号”可以描述具有以对信号中的信息进行编码的方式设置或者改变的一种或多种特性的信号。通过示例而非限制,通信介质可以包括有线介质,诸如有线网络或者直接有线连接;和无线介质,诸如声学、射频(RF)、红外和其他无线介质。
如上所述,图9图示了用于处理在计算系统处从远程源(诸如个人/通用计算机904、平板计算设备906或者移动计算设备908)接收到的数据的系统的架构的一个方面。可以将服务器设备902处所显示的内容存储在不同通信信道或者其他存储类型中。例如,可以使用目录服务922、门户网站924、邮箱服务926、即时消息存储库928或者社交网络站点930来存储各种文档。可以由与服务器设备902通信的客户端使用程序模块806和/或可以由服务器设备902使用程序模块806。服务器设备902可以通过网络915向诸如个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如智能电话)等客户端计算设备提供数据或从客户端计算设备提供数据。通过示例,上面参照图6至图10所描述的计算机系统可以体现为个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如智能电话)。除了接收可用以在图形发起系统处进行预处理或者在接收计算系统处进行后处理的图形数据之外,计算设备的这些实施例中的任何一个还可从存储库916获得内容。
图10图示了可以执行本文所公开的一个或多个方面的示例性平板计算设备1000。另外,本文所描述的各个方面和功能可以在分布式系统(例如基于云的计算系统)上操作,其中应用功能、存储器、数据存储和检索以及各种处理功能可以通过分布式计算网络(诸如互联网或者内联网)彼此远程操作。可以经由板上计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户界面和信息。例如,可以在墙面上显示各种类型的用户界面和信息并与其交互,在该墙面上对各种类型的用户界面和信息进行投影。与可以用来实践本发明的实施例的多个计算系统的交互包括:击键录入,触摸屏录入,语音或其他音频录入,姿势录入等,在姿势录入中,相关联计算设备配备有用于捕获和解释用户姿势以用于控制计算设备的功能的检测(例如相机)功能。
例如,上文参考根据本公开的各个方面的方法、系统和计算机程序产品的框图和/或操作性说明描述了本公开的各个方面。框中标注的功能/动作可以不按如在任何流程图中所示出的顺序发生。例如,实际上,连续地示出的两个框可以大体上同时执行,或者这些框有时可以按照相反顺序执行,这取决于所涉及的功能/动作。
本申请中所提供的一个或多个方面的描述和说明不旨在以任何方式限制或限定本公开的范围。本申请中所提供的各个方面、示例和细节被视为足以传达拥有并使其他人能够制作和使用所要求保护的公开内容的最佳模式。所要求保护的公开内容不应被解释为限于本申请中所提供的任何方面、示例或者细节。无论是以组合方式还是以单独方式示出和描述,旨在选择性地包括或者省略各种特征(结构和方法)以产生具有特定特征集的实施例。已经提供了本公开的描述和说明,本领域的技术人员可以设想落入本申请中体现的一般发明构思的更广泛方面的精神内的不脱离所要求保护的公开内容的更广泛的范围的变型、修改和替代方面。
上文所描述的各种实施例仅通过说明提供,且不应被解释为限制于所附权利要求书。本领域的技术人员将容易认识到,可以在不遵循本文所说明和描述的示例实施例和应用且不脱离所附权利要求书的真实精神和范围的情况下进行各种修改和改变。

Claims (15)

1.一种用于将静态图像转换成交互式地图的方法,包括:
检查所述静态图像;
确定所述静态图像是否满足地图标识阈值;
评估与所述静态图像相关联的至少一个信号,所述至少一个信号包括从所述静态图像提取的文本;
基于对所述至少一个信号的所述评估来标识至少一个意图地理实体;以及
利用与所标识的所述意图地理实体中的至少一个意图地理实体相对应的交互式地图替换所述静态图像。
2.根据权利要求1所述的方法,其中对所述至少一个信号的所述评估还包括:分析从所提取的所述文本的光学字符识别确定的多个候选文本字符串。
3.根据权利要求2所述的方法,还包括:
分析所述候选文本字符串中的每个候选文本字符串的字体大小;以及
滤除被确定为相对于至少一个其他候选文本字符串具有较小字体大小的所述候选文本字符串中的一个或多个候选文本字符串。
4.根据权利要求2所述的方法,还包括:
评估所述候选文本字符串中的每个候选文本字符串相对于其他候选文本字符串中的每个其他候选文本字符串的像素距离;以及
基于对所述像素距离的所述评估来确定针对所述交互式地图的比例。
5.根据权利要求1所述的方法,其中所述至少一个信号还包括针对所述静态图像被嵌入其中的网页的URL,并且对所述至少一个意图地理实体的所述标识包括:从与地理实体相对应的所述URL确定至少一个项目。
6.根据权利要求1所述的方法,其中标识至少一个意图地理实体包括:
确定多个潜在意图地理实体;
针对所述多个潜在意图地理实体中的每个潜在意图地理实体,标识至少一个地理位置;
将所述多个潜在意图地理实体中的每个潜在意图地理实体聚类成地理链层级;以及
基于经聚类的所述潜在意图地理实体的机器学习排名来过滤所述潜在意图地理实体中的至少一个潜在意图地理实体,所述至少一个潜在意图地理实体在所述地理链层级中具有比至少一个其他潜在意图地理实体更低的排名。
7.根据权利要求3所述的方法,其中标识至少一个意图地理实体还包括:
以像素为单位测量从第一候选文本字符串到最接近所述第一候选文本字符串的第二候选文本字符串的第一距离;
以像素为单位测量从所述第一候选文本字符串到其次最接近所述第一候选文本字符串的第三候选文本字符串的第二距离;
计算针对所述第一距离和所述第二距离的平均测地距离;以及
过滤至少一个潜在意图地理实体,所述至少一个潜在意图地理实体相对于至少一个其他潜在意图地理实体具有针对所述第一距离和所述第二距离的更大平均测地距离。
8.根据权利要求3所述的方法,还包括:确定用以替换所述静态图像的、针对所述交互式地图的视口大小,所述确定包括:
确定从与第一潜在意图地理实体相对应的第一候选文本字符串到与第二潜在意图地理实体相对应的第二候选文本字符串的像素距离;
对所述第一潜在意图地理实体和所述第二潜在意图地理实体进行地理编码;
基于所述地理编码来确定与所述第一潜在意图地理实体和所述第二潜在意图地理实体的测地距离;
确定所确定的所述像素距离与所确定的所述测地距离之间的比率超过阈值;以及
调整所述交互式地图的所述大小以用于显示。
9.一种计算机可读存储设备,所述计算机可读存储设备具有计算机可执行指令,所述计算机可执行指令在由处理器执行时辅助将静态图像转换成交互式地图,所述计算机可执行指令由所述处理器可执行以用于:
检查所述静态图像;
确定所述静态图像是否满足地图标识阈值;
评估与所述静态图像相关联的至少一个信号,所述至少一个信号包括从所述静态图像提取的文本;
基于对所述至少一个信号的所述评估来标识至少一个意图地理实体;以及
利用与所标识的所述意图地理实体中的至少一个意图地理实体相对应的交互式地图替换所述静态图像。
10.根据权利要求9所述的计算机可读存储设备,其中对所述至少一个信号的所述评估还包括:从所提取的所述文本分析多个候选文本字符串的字体大小,并且滤除被确定为相对于所述多个候选文本字符串中的至少一个其他候选文本字符串具有较小字体大小的所述候选文本字符串中的至少一个候选文本字符串。
11.根据权利要求9所述的计算机可读存储设备,其中标识至少一个意图地理实体包括:
确定多个潜在意图地理实体;
针对所述多个潜在意图地理实体中的每个潜在意图地理实体,标识地理位置;
将所述多个潜在意图地理实体中的每个潜在意图地理实体聚类成地理链层级;以及
过滤所述潜在意图地理实体中的至少一个潜在意图地理实体,所述至少一个潜在意图地理实体在所述地理链层级中具有比至少一个其他潜在意图地理实体更低的排名。
12.根据权利要求10所述的计算机可读存储设备,其中标识至少一个意图地理实体还包括:
以像素为单位测量从第一候选文本字符串到最接近所述第一候选文本字符串的第二候选文本字符串的第一距离;
以像素为单位测量从所述第一候选文本字符串到其次最接近所述第一候选文本字符串的第三候选文本字符串的第二距离;
计算针对所述第一距离和所述第二距离的平均测地距离;以及
过滤至少一个潜在意图地理实体,所述至少一个潜在意图地理实体相对于至少一个其他潜在意图地理实体具有针对所述第一距离和所述第二距离的更大平均测地距离。
13.一种用于辅助将静态图像转换成交互式地图的系统,包括:
存储器,用于存储可执行程序代码;以及
处理器,在功能上被耦合至所述存储器,所述处理器响应于所述程序代码中所包含的计算机可执行指令并且操作以:
检查所述静态图像;
确定所述静态图像是否满足地图标识阈值;
评估与所述静态图像相关联的至少一个信号,所述至少一个信号包括从所述静态图像提取的文本;
基于对所述至少一个信号的所述评估来标识至少一个意图地理实体;以及
利用与所标识的所述意图地理实体中的至少一个意图地理实体相对应的交互式地图替换所述静态图像。
14.根据权利要求13所述的系统,其中对所述至少一个信号的所述评估还包括:从所提取的所述文本分析多个候选文本字符串的字体大小,并且过滤被确定为相对于所述多个候选文本字符串中的至少一个其他候选文本字符串具有较小字体大小的所述候选文本字符串中的至少一个候选文本字符串。
15.根据权利要求13所述的系统,其中标识至少一个意图地理实体包括:
确定多个潜在意图地理实体;
针对所述多个潜在意图地理实体中的每个潜在意图地理实体,标识至少一个地理位置;
将所述多个潜在意图地理实体中的每个潜在意图地理实体聚类成地理链层级;以及
过滤所述潜在意图地理实体中的至少一个潜在意图地理实体,所述至少一个潜在意图地理实体在所述地理链层级中具有比至少一个其他潜在意图地理实体更低的排名。
CN201780076501.XA 2016-12-22 2017-12-14 用于将静态图像转换成交互式地图的方法、系统和设备 Active CN110062939B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/388,635 2016-12-22
US15/388,635 US10417492B2 (en) 2016-12-22 2016-12-22 Conversion of static images into interactive maps
PCT/US2017/066232 WO2018118601A1 (en) 2016-12-22 2017-12-14 Conversion of static images into interactive maps

Publications (2)

Publication Number Publication Date
CN110062939A true CN110062939A (zh) 2019-07-26
CN110062939B CN110062939B (zh) 2021-07-16

Family

ID=60955400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076501.XA Active CN110062939B (zh) 2016-12-22 2017-12-14 用于将静态图像转换成交互式地图的方法、系统和设备

Country Status (4)

Country Link
US (1) US10417492B2 (zh)
EP (1) EP3559930A1 (zh)
CN (1) CN110062939B (zh)
WO (1) WO2018118601A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109792402B (zh) 2016-07-08 2020-03-06 艾赛普公司 自动响应用户的请求
US10083451B2 (en) 2016-07-08 2018-09-25 Asapp, Inc. Using semantic processing for customer support
US10109275B2 (en) 2016-12-19 2018-10-23 Asapp, Inc. Word hash language model
US10497004B2 (en) 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
US10489792B2 (en) 2018-01-05 2019-11-26 Asapp, Inc. Maintaining quality of customer support messages
US10210244B1 (en) * 2018-02-12 2019-02-19 Asapp, Inc. Updating natural language interfaces by processing usage data
US10169315B1 (en) 2018-04-27 2019-01-01 Asapp, Inc. Removing personal information from text using a neural network
US11216510B2 (en) 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
US10747957B2 (en) 2018-11-13 2020-08-18 Asapp, Inc. Processing communications using a prototype classifier
US11551004B2 (en) 2018-11-13 2023-01-10 Asapp, Inc. Intent discovery with a prototype classifier
US11425064B2 (en) 2019-10-25 2022-08-23 Asapp, Inc. Customized message suggestion with user embedding vectors
US11506508B2 (en) * 2019-12-29 2022-11-22 Dell Products L.P. System and method using deep learning machine vision to analyze localities

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060005158A1 (en) * 2004-06-30 2006-01-05 Pike William R Interactive interface for engineering standard work
US20060200308A1 (en) * 2005-03-03 2006-09-07 Arutunian Ethan B Server-based interactive enhanced map imagery engine
CN1905697A (zh) * 2006-06-08 2007-01-31 中国移动通信集团公司 内嵌于移动终端的手机地图移动终端平台
CN101263442A (zh) * 2005-09-14 2008-09-10 格瑞德Ippte有限公司 信息输出装置
US20100293035A1 (en) * 2009-05-15 2010-11-18 Athellina Athsani Map advertising system interface
US20110191014A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Mapping interface with higher zoom level inset map
CN103064959A (zh) * 2011-12-30 2013-04-24 微软公司 利用搜索结果呈现交互式图像
US20130298083A1 (en) * 2012-05-04 2013-11-07 Skybox Imaging, Inc. Overhead image viewing systems and methods
CN103839479A (zh) * 2012-11-20 2014-06-04 江苏省测绘研究所 一种高效电子地图注记交互方法
US20140282038A1 (en) * 2013-03-15 2014-09-18 InTheAirNet, LLC. Flight detail application and interactive map system and method
CN104217007A (zh) * 2014-09-16 2014-12-17 贵州榆木科技有限公司 基于个性化记号的地图信息传递与交互系统、方法
US20140380178A1 (en) * 2013-06-24 2014-12-25 Oracle International Corporation Displaying interactive charts on devices with limited resources
US20150055857A1 (en) * 2013-08-20 2015-02-26 Adobe Systems Incorporated Text detection in natural images
CN104408137A (zh) * 2014-11-28 2015-03-11 武汉大学 一种网络统计地图可视化数据制备方法
CN104981681A (zh) * 2012-06-05 2015-10-14 苹果公司 显示位置预览
CN105049747A (zh) * 2015-08-06 2015-11-11 广州市博源数码科技有限公司 一种识别静态图像并转换为动态显示的系统
CN105051494A (zh) * 2013-03-15 2015-11-11 苹果公司 具有若干个用户界面的地图绘制应用程序
CN105229704A (zh) * 2013-03-14 2016-01-06 微软技术许可有限责任公司 用于对场景的交互视图导航的综合分组
CN105934760A (zh) * 2014-01-24 2016-09-07 微软技术许可有限责任公司 利用计算机视觉辅助的适应性图像搜索
US20160267128A1 (en) * 2015-03-13 2016-09-15 Microsoft Technology Licensing , LLC Interactive reformulation of speech queries

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW586012B (en) 2002-10-23 2004-05-01 Eastern Broadcasting Co Ltd Real time positioning and audio/video formation supplying system and method thereof
US7466858B2 (en) 2005-04-28 2008-12-16 Fuji Xerox Co., Ltd. Methods for slide image classification
US20080086368A1 (en) 2006-10-05 2008-04-10 Google Inc. Location Based, Content Targeted Online Advertising
US9733091B2 (en) 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US8639033B2 (en) 2007-10-30 2014-01-28 Perot Systems Corporation System and method for viewing and utilizing data from electronic images
US8825392B2 (en) 2011-06-30 2014-09-02 Navteq B.V. Map view
US9070225B2 (en) * 2011-10-03 2015-06-30 Oracle International Corporation Interactive display elements in a visualization component
US20150187098A1 (en) 2012-09-14 2015-07-02 Google Inc. Method and apparatus for unobtrusively changing imagery supplementing a map display
WO2015191010A1 (en) * 2014-06-12 2015-12-17 Sun Vasan Searching for a map using an input image as a search query
US10049099B2 (en) * 2015-04-10 2018-08-14 Facebook, Inc. Spell correction with hidden markov models on online social networks
US9984075B2 (en) * 2015-10-06 2018-05-29 Google Llc Media consumption context for personalized instant query suggest

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060005158A1 (en) * 2004-06-30 2006-01-05 Pike William R Interactive interface for engineering standard work
US20060200308A1 (en) * 2005-03-03 2006-09-07 Arutunian Ethan B Server-based interactive enhanced map imagery engine
CN101263442A (zh) * 2005-09-14 2008-09-10 格瑞德Ippte有限公司 信息输出装置
CN1905697A (zh) * 2006-06-08 2007-01-31 中国移动通信集团公司 内嵌于移动终端的手机地图移动终端平台
US20100293035A1 (en) * 2009-05-15 2010-11-18 Athellina Athsani Map advertising system interface
US20110191014A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Mapping interface with higher zoom level inset map
CN103064959A (zh) * 2011-12-30 2013-04-24 微软公司 利用搜索结果呈现交互式图像
US20130298083A1 (en) * 2012-05-04 2013-11-07 Skybox Imaging, Inc. Overhead image viewing systems and methods
CN104981681A (zh) * 2012-06-05 2015-10-14 苹果公司 显示位置预览
CN103839479A (zh) * 2012-11-20 2014-06-04 江苏省测绘研究所 一种高效电子地图注记交互方法
CN105229704A (zh) * 2013-03-14 2016-01-06 微软技术许可有限责任公司 用于对场景的交互视图导航的综合分组
US20140282038A1 (en) * 2013-03-15 2014-09-18 InTheAirNet, LLC. Flight detail application and interactive map system and method
CN105051494A (zh) * 2013-03-15 2015-11-11 苹果公司 具有若干个用户界面的地图绘制应用程序
US20140380178A1 (en) * 2013-06-24 2014-12-25 Oracle International Corporation Displaying interactive charts on devices with limited resources
US20150055857A1 (en) * 2013-08-20 2015-02-26 Adobe Systems Incorporated Text detection in natural images
CN105934760A (zh) * 2014-01-24 2016-09-07 微软技术许可有限责任公司 利用计算机视觉辅助的适应性图像搜索
CN104217007A (zh) * 2014-09-16 2014-12-17 贵州榆木科技有限公司 基于个性化记号的地图信息传递与交互系统、方法
CN104408137A (zh) * 2014-11-28 2015-03-11 武汉大学 一种网络统计地图可视化数据制备方法
US20160267128A1 (en) * 2015-03-13 2016-09-15 Microsoft Technology Licensing , LLC Interactive reformulation of speech queries
CN105049747A (zh) * 2015-08-06 2015-11-11 广州市博源数码科技有限公司 一种识别静态图像并转换为动态显示的系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAM W. HARLEY 等: "Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval", 《2015 13TH INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION (ICDAR)》 *
LINE EIKVIL 等: "Tools for interactive map conversion and vectorization", 《PROCEEDINGS OF 3RD INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION》 *
佚名: "Search by Image", 《HTTP://WEB.ARCHIVE.ORG/WEB/20160906141658/WWW.GOOGLE.CON/INTL/ES419/INSIDESEARCH/FEATURES/IMAGES/SEARCHBYIMAGE.HTML》 *
杨琪: "GeoPDF地图浏览系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
EP3559930A1 (en) 2019-10-30
US20180181807A1 (en) 2018-06-28
CN110062939B (zh) 2021-07-16
WO2018118601A1 (en) 2018-06-28
US10417492B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110062939A (zh) 将静态图像转换成交互式地图
KR102535044B1 (ko) 단말장치, 서버 및 이벤트 제안방법
US8055271B2 (en) Intelligent location-to-cell mapping using annotated media
Niu et al. Crowdsourced data mining for urban activity: Review of data sources, applications, and methods
JP6575335B2 (ja) ソーシャルメディアメッセージ及び施設の間のリンクを推定する方法、コンピュータシステム、及びプログラム
CN106416318B (zh) 确定与邻近计算设备相关联的数据的方法、设备和系统
Rae et al. Mining the web for points of interest
KR101722687B1 (ko) 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
CN107111611A (zh) 区分歧义表达以增强用户体验
US10489447B2 (en) Method and apparatus for using business-aware latent topics for image captioning in social media
CN108780453A (zh) 提供内容选择的系统和方法
JP2016177764A (ja) 施設推定方法、デバイス及びプログラム
CN108369806A (zh) 可配置的通用语言理解模型
CN112749558B (zh) 一种目标内容获取方法、装置、计算机设备和存储介质
CN111432347A (zh) 信息处理方法、装置、存储介质及电子设备
Richter et al. Harvesting user-generated content for semantic spatial information: The case of landmarks in OpenStreetMap
CN112711645B (zh) 一种位置点信息扩展方法、装置、存储介质和电子设备
Wang Artificial intelligence for flood observation
Szomszor et al. Semantics, sensors, and the social web: The live social semantics experiments
CN109154865A (zh) 移动设备上的顺序双手触摸键入
Meng et al. A deep multi-modal fusion approach for semantic place prediction in social media
US11651280B2 (en) Recording medium, information processing system, and information processing method
Westerholt et al. Introduction to the second international symposium of platial information science
Wahurwagh et al. Personalized POI travel recommendation with multiple tourist information
Zhuang et al. Effective location-based geo-tagged image retrieval for mobile culture and tourism education

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant