CN104737160B - 来自草图的图片 - Google Patents

来自草图的图片 Download PDF

Info

Publication number
CN104737160B
CN104737160B CN201380053961.2A CN201380053961A CN104737160B CN 104737160 B CN104737160 B CN 104737160B CN 201380053961 A CN201380053961 A CN 201380053961A CN 104737160 B CN104737160 B CN 104737160B
Authority
CN
China
Prior art keywords
sketch
inquiry
picture
map
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380053961.2A
Other languages
English (en)
Other versions
CN104737160A (zh
Inventor
B·阿尔布雷切特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104737160A publication Critical patent/CN104737160A/zh
Application granted granted Critical
Publication of CN104737160B publication Critical patent/CN104737160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Stored Programmes (AREA)

Abstract

可接收图形草图，草图包括文本的一个或多个表示。可从草图自动生成查询。查询的生成可包括自动识别文本并自动在查询中表示该文本。可运行查询以响应于该查询标识图片，文本描述图片的一个或多个非文本特征。诸如响应于接收到图形草图，可返回图片。

Description

来自草图的图片
背景
对于计算机用户，输入图形，诸如图片、地图或图表通常通过以下来完成：以标准方式输入诸如搜索项的文本、浏览遍历信息、作出选择并可能重复这些动作一次或多次以定位或生成想要的图形。例如，文本可用真实的键盘或虚拟键盘(例如显示在触摸屏上的键盘)，并在各种对话、菜单等上作出选择来输入。选择可接着被用来生成和/或检索想要的图形。
概述
仅使用上面讨论的文本和选择技术来获取图形可能是麻烦和受限的。在使用一些移动设备，诸如可能不具备全功能真实键盘的平板计算机和移动电话时特别如此。已经发现，接收并分析想要的图形的草图对于在计算设备中检索这样的图形是有用的(尽管，当然，即使使用如在此描述的这样的草图不保证在所有情况中用户将得到用户正在寻找的精确图形)。例如，草图可以是可通过例如使用用于输入的指示笔或手指和/或其它输入机制，使用触敏屏幕来输入的徒手草图(可以是全徒手或部分徒手)。草图可包括可被用于传达关于使用草图要获得的图形的信息的文本(笔记)的表示和/或纯图形元素。草图可被分析且结果信息可被用于获取想要的图形。
在一个实现中，工具和技术可包括接收图形草图(诸如在计算设备接收来自用户输入的这样的草图或从草图作为用户输入被提供的另一个计算环境接收这样的草图)，该草图包括文本的一个或多个表示。可从草图自动生成查询。查询的生成可包括自动识别文本并在查询中自动表示该文本。可运行查询以响应于该查询标识图片，文本描述图片的一个或多个非文本特征。诸如响应于接收到图形草图可返回图片。
这些工具和技术的另一个实施例中，可接收包括一个或多个草绘的文本表示的图形草图。请求可被发送到图片服务，请求那个图片服务的请求返回由该草图表示的图片。可从图片服务接收图片，图片包括由草图中表示的文本描述的一个或多个非文本特征此外，图片可被显示。
提供本概述是为了以简化的形式介绍一些概念。这些概念将在以下详细描述中进一步描述。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。类似地，本发明不限于解决在背景、详细描述、或附图中讨论的专用技术、工具、环境、缺点、或优点的实现。
附图说明
图1是其中可实现所描述的各实施例中的一个或多个实施例的合适的计算环境的框图。
图2是基于草图的图形检索系统的示意图。
图3是显示草图的用户设备的图示。
图4是的显示使用图3的草图检索的各图片的图3的用户设备的图示。
图5是的显示所选的使用图3的草图检索的图片的图3的用户设备的图示。
图6是显示另一草图的图3的用户设备的图示。
图7是的显示使用图6的草图检索的地图和指引的图6的用户设备的图示。
图8是显示另一草图的图3的用户设备的图示。
图9是的显示使用图8的草图检索的图表的图8的用户设备的图示。
图10是基于草图的图形检索技术的流程图。
图11是另一基于草图的图形检索技术的流程图。
图12是又一基于草图的图形检索技术的流程图。
图13是又一基于草图的图形检索技术的流程图。
图14是又一基于草图的图形检索技术的流程图。
图15是又一基于草图的图形检索技术的流程图。
图16是又一基于草图的图形检索技术的流程图。
图17是又一基于草图的图形检索技术的流程图。
图18是又一基于草图的图形检索技术的流程图。
详细描述
在此描述的各实施例涉及用于改善的基于草图的图形检索(即，使用来自草图的信息生成和/或检索图形)的技术和工具。这样的改进可源于分开或组合地使用各种技术和工具。
这样的技术和工具可包括接收草图并使用该草图来获得一个或多个图形，诸如图片、图表，或地图。该草图可包括图形元素和文本表示，两者都可被用于检索图形。例如，这样的草图可被用来自动生成图片的查询。查询可被发送到图片服务，并且该图片服务可返回反映一个或多个图形元素并具有由文本描述的图形元素的图片，即使图片本身不包括文本。例如，草图可以是鹿的粗略徒手草图，并具有文本表示“deer(鹿)”(诸如以徒手草绘或作为键入文本输入的文本)。这样的草图可被用来构建查询，寻找具有带术语“deer”的相关联的元数据标签并具有类似于草图的图形特征的图片。例如，如果鹿的草图是侧视图，那么查询可指示请求侧视图，并且搜索的图片的诸如搜索索引的元数据标签等可指示图片是否是侧视图、前视图、后视图、前立体图等。作为替代，搜索结果可被返回并接着与草图的特征进行比较，以确定返回的各图片中的每一幅与草图关联得有多好。
作为另一个示例，所接收的草图可以是地图的草图。例如，草图可示出表示道路的线、草绘的地标图形、表示街道名称的文本、表示地标的文本等。草图还可包括两个位置之间的高亮路线。草图可被用来检索地图。例如，草图可在对地图服务的请求中被提交。地图服务可诸如通过执行图案匹配技术将草图匹配到地图区域来分析图形和草图的文本表示。这可包括将草绘的地标表示(特定建筑、湖泊等的绘图)、街道等与地图服务产生的地图所表示的地理位置进行匹配，(可包括匹配街道名称寻找草图中提供的街道名称)。地图服务可接着返回示出具有与草图中所示的特征高度相关性的地图区域的地图。地图可示出草图中表示的地标，即使这样的地标在这样的地图中通常不显示。例如，如果草图示出在Broadway和Main的拐角的“Joe’s Taco Shop(乔的墨西哥玉米面豆卷店)”，可将Joe’sTaco Shop示为地标，即使地图服务通常不在相同区域的一般地图上将那家商行示为地标。地图服务可基于它从草图接收的信息来改善其细节级别。例如，地图服务可将“Joe’s TacoShop”添加到其数据，诸如在其主地图上的一层中。这个新信息可接着响应于将来的查询被使用，可能用来在地图服务响应于将来的查询时帮助标识地图区域和位置和/或来提供附加的内容。返回的地图还可示出草图中表示的路线。此外，地图可包括靠近路线较近的更多细节以及远离路线的更少细节。注意附加的和更少的细节特征在示出路线的地图中可能是有用的，即使地图没有响应于草图而被返回。此外，除了所返回的地图，指引也可被返回并呈现(例如，通过提供指引的列表和/或通过说出指引)。
作为另一个实例，图表的草图可被提供。例如，这样的草图可包括图表特征的草绘表示，诸如图形图表特征(轴、条形图的条、柱状图的柱、线型图的线、饼图的饼选项等)、标记、标注、高亮、标题、数值等。从这样的草图可生成图表。此外，还可从草图生成图表下的数据集。图表可包括草图上表示的图表特征。此外，数据集可以是与图表的特征一致的数据的集合。例如，数据集当中的一些值可以是在草图中的文本表示所表示的值。其它值可以是从草图推导的新值。例如，可使用插值和/或外插技术使用来自草图上的文本表示的值、草图上的图形特征的相对大小和/或位置等来获得各值。图表和数据集可被显示在诸如电子表格应用用户界面中。此外，所显示的图表和数据集可以是交互的并且它们可被链接。例如，可提供用户数据以对数据集作出改变，并且这样的改变可以是(可能在用户确认更新图表以与数据集匹配之后)自动对图表作出的。此外，改变可草绘到图表上去。例如，草图可被提供在图表上以向图表添加附加的标注。
如将被理解的，从此处描述的工具和技术中可以实现一个或多个实质的益处，诸如使得提供用户输入以得到诸如图片、地图和图表的图形更为方便。然而，所附权利要求中定义的主题不必限于此处描述的益处。本发明的专用实现可提供本文描述的益处的全部、一些、或未提供本文描述的益处。尽管本文出于呈现的目的以专用的顺序次序描述了用于各种技术的操作，但应理解除非要求专用的排序，否则这种描述方式涵盖了操作顺序上的重新安排。例如，在某些情况下，可以重新安排或并发执行顺序地描述的操作。此外，为了简单起见，流程图可能未示出可结合其他技术来使用专用技术的各种方式。
在此描述的技术可被用于在此描述的一个或多个系统和/或用于一个或多个其他系统。例如，在此描述的各种过程可用硬件或软件、或两者的组合来实现。例如，专用硬件逻辑组件可被构建以实现在此描述的一个或多个技术的至少一部分。例如，但非限制，这样的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。可包括各实施例的装置和系统的应用可广泛地包括各种电子和计算机系统。可使用具有相关的控制和数据信号的两个或更多个内联硬件模块或装置或作为应用专用的集成电路的一部分来实现各技术，其中控制和数据信号可在模块之间并通过模块进行通信。此外，在此描述的各技术可由计算机系统可执行的软件程序来实现。作为一个示例，实现可包括分布的处理、组件/对象分布的处理、以及平行处理。此外，虚拟计算机系统进程可被构建以实现在此描述的一个或多个技术或功能。
I.示例性计算环境
图1示出其中可实现所描述的各实施例中的一个或多个的合适的计算环境(100)的通用示例。例如，可将一个或多个这样的计算环境用作草图输入环境和/或图形服务环境。一般而言，可使用各种不同的通用或专用计算系统配置。适用于此处所描述的工具和技术的公知计算系统配置的示例包括，但不限于，服务器场和服务器群集、个人计算机、服务器计算机、智能电话、膝上型设备、平板设备、游戏控制台、多处理器系统、基于微处理器的系统、可编程消费电子产品、网络PC、小型机、大型计算机、包括上述系统或设备中的任一个的分布式计算环境等。
计算环境(100)不旨在对本发明的使用范围或功能提出任何限制，因为本发明可以在完全不同的通用或专用计算环境中实现。
参考图1，计算环境(100)包括至少一个处理单元或处理器(110)和存储器(120)。在图1中，这一最基本的配置(130)被包括在虚线内。处理单元(110)执行计算机可执行指令，并且可以是真实或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。存储器(120)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存)或两者的某一组合。存储器(120)存储实现基于草图的图形检索的软件(180)。作为软件(180)的替代或补充，基于草图的图形检索的实现可涉及嵌入在硬件逻辑中处理器(110)和存储器(120)的动作的全部或部分。
尽管为了清楚起见用线条示出了图1的各框，但是，实际上，描绘各组件并不是那样清楚，并且用比喻方法，图1以及下文讨论的其他附图的线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等呈现组件认为是I/O组件(例如，如果显示设备包括触摸屏)。而且，处理器也具有存储器。发明人关于此点认识到，这是本领域的特性，并且重申，图1的图示只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内的并且被称为“计算机”、“计算环境”、或“计算设备”。
计算环境(100)可具有附加特征。在图1中，计算环境(100)包括存储(140)、一个或多个输入设备(150)、一个或多个输出设备(160)以及一个或多个通信连接(170)。诸如总线、控制器或网络等互连机制(未示出)将计算环境(100)的各组件互连。通常，操作系统软件(未示出)为在计算环境(100)中执行的其他软件提供了操作环境，并协调计算环境(100)的组件的活动。
存储(140)可以是可移动或不可移动的，并可包括诸如闪存驱动器、磁盘、磁带或磁带盒、CD-ROM、CD-RW、DVD之类的计算机可读存储介质，或者可用于储存信息并可在计算环境(100)内访问的任何其它介质。存储(140)存储用于软件(180)的指令。
输入设备(150)可以是各种不同输入设备的一个或多个。例如，输入设备(150)可包括诸如鼠标、键盘、轨迹球等的用户设备。输入设备(150)可实现一个或多个自然用户界面技术，诸如语音识别、触摸和指示笔识别、与输入设备(150)接触和邻近该输入设备(150)的姿势识别、头和眼睛跟踪、语音和话音识别、感测用户脑部活动(例如，使用EEG和相关方法)以及机器智能(例如，使用及其智能来理解用户意图和目的)。作为其它示例，输入设备(150)可包括扫描设备、网络适配器、CD/DVD读取器，或向计算环境(100)提供输入另一设备。输出设备(160)可以是显示器、打印机、扬声器、CD/DVD刻录机、网络适配器、或从计算环境(100)提供输出的另一设备。输入设备(150)和输出设备(160)可被结合在单个系统或设备中，诸如触摸屏或虚拟现实系统。通信连接(170)允许通过通信介质与另一计算实体进行通信。此外，计算环境(100)的各组件的功能可被实现在单个计算机器中或能够通过通信连接通信的多个计算机器中。因此，计算环境(100)可使用通往诸如手持计算设备、个人计算机、服务器、路由器、网络PC、对等设备或另一常见网络节点等一个或多个远程计算设备的逻辑连接而工作在联网环境中。通信介质传达诸如数据或计算机可执行指令之类的信息、或者已调数据信号形式的请求。已调制数据信号是其一个或多个特征以在信号中编码信息的方式设置或改变的信号。作为示例而非局限，通信介质包括以电、光、RF、红外、声学或其他载波实现的有线或无线技术。
可在可以是存储介质或通信介质的计算机可读介质的一般上下文中描述这些工具和技术。计算机可读存储介质可以是可在计算环境内访问的任何可用存储介质，但是术语计算机可读存储介质不指传播的信号本身。作为示例而非限制，结合计算环境(100)，计算机可读介质包括存储器(120)、存储(140)、和以上的组合。
这些工具和技术可在诸如程序模块中所包括的、在目标真实或虚拟处理器上的计算环境中执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行专用任务或实现专用抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功能可以如各实施例中所需的组合或在程序模块之间分离。用于程序模块的计算机可执行指令可以在本地或分布式计算环境中执行。在分布式计算环境中，程序模块可位于本地和远程计算机存储介质两者中。
出于演示的目的，详细描述使用了如“确定”、“接收”、“发送”、“生成”和“显示”和等术语来描述计算环境中的计算机操作。这些以及其他类似术语是对计算机执行的操作的高层抽象，并且不应混淆于人类执行的动作，除非明确指出人类(诸如“用户”)的动作执行。对应于这些术语的实际的计算机操作取决于实现而不同。
II.基于草图的图形检索系统和环境
图2是结合使用其可实现所描述的各实施例中的一个或多个实施例的基于草图的图形检索系统(200)的示意图。该系统(200)可包括草图输入环境(210)和图形服务环境(220)。
草图输入环境(210)可包括可接收草图的草图接收组件(230)。例如，草图接收组件(230)可包括一个或多个输入设备(触摸屏等)来接收定义草图的用户输入，以及用于处理输入以将草图以适用形式进行格式化的软件和/或硬件组件。例如，草图接收组件(230)可以以图形格式(例如，位图图像、JPEG图像等)的图形文件格式产生草图(242)。草图接收组件(230)可将草图(242)发送到图形请求组件(240)。图形请求组件(240)可使用草图(242)来产生可被发送到可主存在图形服务环境(220)中的图形服务(250)(例如，图片服务、图表服务，和/或地图服务)的请求(244)(例如图形服务查询)。例如，图形请求组件(240)可分析草图(242)来产生图形查询(可包括用于图形服务(250)的指令)，且请求(242)可包括图形查询。可替换地，图形查询组件(240)可以不分析草图(242)，而是可将草图(242)包括在请求(244)中，使得图形服务(250)可分析草图(242)。作为又一个替换，图形请求组件(24)可分析草图来产生查询，并且可将草图和查询包括在对图形服务的请求(244)中。图形服务可分析请求(244)来选择和/或生成图形响应(252)。图形响应(252)可包括所请求的图形。图形响应(252)可包括单个图形和/或多个图形。例如，如果请求(244)是对由草图(242)指示的图片的请求，图形响应(252)可包括多幅图片，并且用户输入可在草图输入环境(210)被提供以选择一个或多幅图片。作为另一个示例，请求(244)可以是对草图(242)指示的图表的请求。并且图形响应(252)可包括从草图(242)生成的单个图表。在那个示例中，图形响应(252)还可包括其它相关信息，诸如所生成的图表之下的数据集。
可替换地，基于草图的图形检索系统(200)的服务/组件可不同于图2的示例所示的来被安排。例如，图形服务(250)的全部的或部分可驻留在草图输入环境(210)中。例如，草图输入环境(210)可以是平板计算机，且该平板计算机和执行在此讨论的全部草图接收和图形服务动作。可替换地，图形服务(250)可以是远离草图输入环境(210)的服务，诸如远程web服务。
III.来自草图的图形的示例
从草图生成和/或检索图形的示例现在将结合图3－9中的说明性用户界面显示器来进行讨论。这样的用户界面显示器可在各种不同用户界面环境中，诸如一个或多个办公生产性应用(电子表格应用、字处理应用、幻灯片呈现应用等)用户界面的部分、web浏览器界面、专用草图到图形应用用户界面、一般操作系统界面等。所示出的用户界面可通过选择所讨论的草图到图形特征的用户输入来进行。例如，用户可选择用户界面控件用于草图到图片并接着输入要被用于获得对应图片的草图。作为另一个示例，用户可输入草图，并接着选择各种选项(诸如草图到图片、草图到地图、或草图到图表)之一。作为又一个示例，用户可输入草图，并接着一般地选择草图到图形特征，依赖计算设备来分析草图并确定它是否是用于图表、图片、地图等的草图。同样，注意这些分类(图表、图片、地图)可不是排他性的。例如，草图到图片特征可返回地图格式的图片，或图表格式的图片。
A.来自草图的图片的示例
现在参考图3，将讨论来自草图的图片的示例。图3示出了诸如平板计算机或移动电话的用户设备(310)。用户设备可包括显示器(320)，诸如触摸屏。显示器(320)可显示可被用户输入的草图(330)。例如，用户可能已经使用了指示笔或手指来徒手在显示器(320)上绘制草图。草图包括非文本图形元素或特征(334)。草图(330)还包括形成单词“Server(服务器)”的文本的草绘表示(336)。显示器还可显示可被用户输入选择来调用草图到图片特征的用户界面控件(340)。
当草图到图片特征被调用时，草图(330)可被接收用于处理，且查询可从草图(330)自动生成。例如，文本识别例程可执行图案匹配以识别手写或键入(如果草图(330)的部分不是徒手的)的文本表示，诸如表示(336)。此外，图案匹配例程可分析非文本图形元素或特征，诸如表示服务器计算机的图形元素或特征特征(334)。因此，服务器计算机的图片查询可被自动生成。此外，查询可使用对比不同图片和所提供的来自草图的图形特征(例如，如颜色、朝向等的图形特征)之间的相似性的图形图案匹配例程来进行搜索，寻找与非图形特征匹配的图片。例如，不同类型的项的库可被组合。例如，这可通过提取来自现有图片数据库的信息，并使用图形特征从图片中所示的具有针对项的类型的特定标签的项以形成图案来完成。可使用一个或多个搜索排名特征(诸如图形特征的相似性、图片标签与从草图获得的文本的匹配、图片的流行度等)来对图片打分。这个图案匹配和查询可在设备(310)上本地地和/或在图形服务环境远程地执行。例如，查询可运行在执行图片的图像搜索的web服务上。
该草图到图片特征可仅返回单张图片。替换地，多图片(450)可被返回，允许提供用户输入来选择想要的图片。如另一个示例，多个返回的图片可分组提供，允许用户输入以选择一个组，诸如所绘制的一组特定类型的事物。例如，草图可返回一组服务器计算机的图片以及另一组餐厅服务员的图片。如果用户选择服务器计算机的图片，那么(那些已经被标住为服务器计算机的)服务器计算机图片可显示在显示器(320)上。如图4所示，多幅图片(450)包括服务器计算机的两张图片。图4所示的图片(450)是线绘图。然而，图片可以是数码照片，非照片彩色示图，或其它图片。用户输入可被提供以选择图片之一。这样做结果是在显示器(320)中草图(330)被用所选图片(550)代替，如图5所示。
在一些情况中，可能找不到能够匹配输入的草图(330)的图片。如果是这样，那么通知会浮现在显示器(320)上，声明没有找到图片。在其它情况中，可能请求附加的用户输入以解决搜索中的歧义问题。例如，如果草图示出具有两条径向的从圆心向外延伸的线的圆，可出现提示，问用户该草图意指不同项(手表、时钟、饼图和真实的饼等)中的哪个。在接收到这样的输入后，相关的项(例如，如果选择了手表，一幅或多幅手表的图片)可被显示。类似的技术可被用于在此讨论的草图到地图以及草图到图表特征。
B.来自草图的地图的示例
现在参考图6，将讨论来自草图的地图的示例。图6示出了具有示出了地图草图(630)的显示器(320)的用户设备(310)。地图草图(630)包括非文本图形元素或特征(634)和文本表示(636)。非文本图形特征(636)包括表示地图上街道的线条，线条(640)表示湖岸线，一些潦草的线条(642)表示湖水，箭头指示(644)表示高亮路线的起点和终点。颜色可被用于图形元素(634)以指示图形特征的特性。例如，潦草的线条(642)可被上色成蓝色以指示潦草的线条(642)在地图草图(630)上表示湖水水体。此外，较粗的线条(646)和/或不同颜色的线条等，可被使用以高亮路线。
文本表示(636)可包括街道的名称，可以是缩写名，并且可以仅仅包括街道名的部分(例如“42nd(第42)”表示第42街，“405”表示州际公路405等。)文本表示(626)还可包括地标的名称，诸如公司位置的公司名称、建筑物名称、自然地理特征的名称(诸如地图草图(630)中的“Lake WA(WA湖)”)等。此外，文本表示(636)可被用来指示路线的“Start(起点)”和“End(终点)”，带有指向高亮线条(646)指示的路线的起点和终点的图形箭头(644)。可替换地，路线的起点和终点可以以其它方式来指示，诸如用叉、圆等。
显示器(320)还可显示可被选择来调用草图到地图特征的用户界面控件(650)。对用户界面控件(650)的选择的结果是草图(630)被接收并被分析以从草图创建地图服务查询。例如，草图(630)的图形特征(634)和文本表示(636)可(诸如通过用图案识别技术使用文本识别和图形特征识别)被标识，以指示可被搜索来定位地图区域的街道名称、地标等。其它信息也可被使用，诸如由用户设备(310)的全球定位系统组件指示的用户设备(310)的当前位置。在草图(630)的示例中，例如，地图查询可搜寻项“第40”的街道与项“第156”的街道相交的区域。地图查询还可搜寻大致平行于项“第40”的街道的项“第42”的街道与大致平行于项“第156”的街道的项“第92”的街道相交的区域。地图查询还可搜寻项“第92”和项“第156”的街道之间的项“第405”的街道。此外，地图查询可搜寻项“第92”的街道与项“第42”的街道交汇处附近的具有名称、部分名称、或缩写“WA”的湖泊。地图查询可通过将信息包含在将被地图服务识别并利用的查询格式中来搜寻这样的信息。这样的查询可以采取这样的形式：其中查询指示诸如街道、水体、建筑物等的地标以及它们在草图上的相互位置。例如，相对位置可以使用覆盖在草图上的坐标系统以坐标的项来表达。地图查询可被运行以寻找与查询最接近的匹配。查询可偏向接近用户设备(310)的当前位置的位置，诸如通过用接近用户设备(310)的位置开始查询和/或消除歧义(其中发现多个位置与地图草图(630)匹配)。地图服务可对多个候选地图位置针对与地图草图(630)的相关性进行排名，并选择包括最高排名分数的地图区域。例如，排名可包括混合来自多个排名特征(诸如对当前位置的接近度的特征、从地图草图识别的文本的匹配特征、与来自地图草图的形状匹配的特征等)的分数。
例如，使用地图草图(630)，可发现地图接近地对应靠近华盛顿州雷蒙德和贝尔维尤的区域。如果用户设备(310)已经位于雷蒙德和贝尔维尤，或甚至在附近城市西雅图，那么可帮助该判定。
现在参考图7，一旦地图草图(630)的图案与位置的图案匹配，地图服务可生成地图(730)。可从地图服务(可以是本地地图服务或远程地图服务)返回地图(730)，且地图(730)可被显示在显示器(320)上。地图(730)可示出与地图草图(630)中所示的相同的区域。此外，地图(730)可示出对应于地图草图(630)中的高亮线(646)并从其中获得的路线(740)。地图(730)还可包括路线(740)的起点的标注以及路线(740)的终点的标注。相比于远离路线(740)，地图(730)可包括接近路线(740)的更多细节。例如，地图(730)可指示在路线(740)起点附近的公司位置“MICROSOFT CAMPUS(微软园区)”，并可指示在路线(740)终点附近的“YARROW POINT”镇，即使类似大小的公司位置和镇不被指示(如果它们远离路线(740))。类似地，表示道路的更细化的线条被示于接近路线(740)的起点和终点，所示的全部道路具有至少一部分道路接近路线(740)。地图(730)可以是可交互地图，使得用户数据可被提供以放大或缩小地图，平扫过地图等。
除了地图(730)，沿着路线(740)的向导列表(750)可被生成。向导(750)可诸如通过将向导列表(750)包括在显示器(320)上来被呈现，如图7所示。作为列表的替换或附加，向导列表(750)可通过使用自动语音引擎或以其他方式说出向导来听觉地呈现。
C.来自草图的图表的示例
现在参考图8，将讨论从草图生成图表的示例。用户设备(310)的显示器(320)可显示通过用户输入来输入的草图(830)。草图(830)可包括非文本图形元素或特征(834)，诸如草图(830)中示出的柱状图的轴和柱。草图(830)还可包括文本的草绘表示(836)。例如，在图8所示中，草图(830)的文本表示(836)包括标有“$100k”的垂直轴，$100k在垂直轴的刻度标记旁边，可被解释为$100000。草图(830)的文本表示(836)还可以包括在草图的30)所示的五根图表柱的最左边的柱下标有“2007”在最右边的柱下标有“2011”的水平轴。除了草图(830)的顶部中间的包括单词“SALES(销售)”的草绘表示的标题，草图(830)还可包括在草绘的柱形图的主要部分一侧的图表图例，也包括单词“SALES”的草绘表示。
显示器(320)还可显示可被选择来调用草图到图表特征的用户界面控件(840)。用户界面控件(840)的选择可导致对草图(830)的分析以生成图表。例如，分析可包括文本表示(836)的识别，以及非文本图形特征(834)的图案匹配。例如，图案匹配可匹配文本表示(836)以及非文本图形特征(834)以确定意指什么类型的图表。此外，值可被内插和/或从现有值外插。例如，可确定草图(830)与柱状图的一般图案匹配。此外，可确定顶部中间的“SALES”与图表标题的图案匹配，并且主要图表右边的方块和草绘的项“SALES”与图表图例的图案匹配。还可确定“Best Ever(历史最好)”文本与指向最右柱的标注的格式匹配。此外，在水平轴左边的文本表示“2007”以及在水平轴右边的“2011”可与水平轴标签匹配。此外，可在2007和2011之间内插值以得到介于其间的水平轴标签2008、2009和2010。
此外，在垂直轴的刻度标记旁边的“$100k”可被确定为匹配垂直轴值为$100000的图案。那个值可被用来为图表柱的每一个产生新值。例如，可确定一个范围，其中每个柱延伸超过$100k刻度标记的高度或落入低于$100k刻度标记的高度。以那个方式可为每个对应柱产生成比例的值。这些图案匹配和计算技术可得到包括所确定的值的数据集。数据集可被用来生成链接到数据集中的值的图表。例如，可向图表引擎指明来自与草图(830)(在该示例中柱状图)匹配的图案的图表类型，且可向图表引擎提供数据集以产生图表。
例如，现在参照图9，示出了来自草图(830)的可能的显示的示例。设备(310)的显示器(320)可显示经格式化的图表(930)，它可包括垂直轴值标签(932)、水平轴值标签(934)，如上面所讨论的，以及标题“SALES”、声明“SALES”并具有对应于图表(930)的柱的图案(936)的图案采样的图例，以及指向最右边的柱的顶部的具有文本“Best Ever”的标注。显示器(320)还可显示在图表底部的数据集(940)。例如，数据集(940)可以以具有针对水平轴标签的表格列的表格、对应图表柱的值的对应表格列、以及在图表柱值上的首部“SALES”的形式显示。
图表(930)和数据集(940)的显示可以是交互的。因此，数据输入可被提供以改变数据集(940)中的值，并且那个改变可导致图表(930)上的对应改变。类似地，图表(930)上的改变可导致数据集(940)中的对应改变。例如，附加标注可被草绘在图表(930)上，并且草绘的标注的输入可导致将经格式化的标注自动添加到图表(930)。作为另一个示例，用户输入可将一个图表柱拖高或拖低，并且那个改变可导致数据集(940)中的对应的值的对应的改变。作为又一个示例，响应于用户输入数据集(940)中的图表柱的值之一可被改变，并且那个改变可导致对应图表柱的高度的对应改变。
类似的草图到图表技术可针对其它类型的图表执行，诸如条状图、线型图、饼图、组织图、散点图、面积图、泡式图等。
IV.基于草图的图形检索技术
现在将讨论几个基于草图的图形检索技术。可以在计算环境中执行这些技术中的每一个。例如，可在包括至少一个处理器和存储器的计算机系统中执行每种技术，该存储器包括存储于其上的、在由该至少一个处理器执行时使该至少一个处理器执行该技术的指令(存储器存储指令(例如，对象代码)，并且当处理器执行这些指令时，处理器执行该技术)。类似地，一个或多个计算机可读存储介质可具有收录于其上的计算机可执行指令，该些指令在由至少一个处理器执行时使该至少一个处理器执行该技术。以下讨论的技术可至少部分通过硬件逻辑来执行。
参考图10，将讨论基于草图的图形检索技术。该技术可包括接收(1010)图形草图，诸如部分或完全徒手的草图。草图可包括文本的一个或多个表示。该技术还可包括从草图自动生成(1020)查询。生成(1020)可包括自动识别草图中表示的文本并将该文本自动表示在查询中。图10的技术可包括运行(1030)查询以响应于查询来标识图片。草图中表示的文本可描述所标识的图片的一个或多个非文本特征。图片可被返回(1040)。连同在此讨论的其它技术，在接收到草图后技术的动作的全部或任何组合可响应于接收到草图作为自动动作(这可通过接收草图输入，连同指示草图要被用于某类基于草图的图形检索(诸如检索图片、生成地图、生成图表等)的用户输入(例如，选择用户界面控件))来完成。因此，一旦用户输入被提供以指示草图要被用来生成/检索图形(图片/图表/地图等)，图形可被自动生成无需附加用户输入，尽管这样的附加用户输入在一些情况中可被提供(例如，用户输入被请求以消除歧义)。
图片可能是不包括在草图中表示的文本的图片。草图还可包括图片的一个或多个图形特征的一个或多个图形表示。自动生成查询可包括自动标识由草图的一个或多个图形元素表示的项的一种类型，并将该类型的项的一个或多个文本表示包括在查询中。自动标识项的类型可包括对图形元素执行图案匹配。自动生成查询可包括对草图的一个或多个图形元素自动执行图案匹配并对所述文本的一个或多个草绘表示自动执行文本识别。
图片可以是照片，或某其它类型的图片，诸如线条画、阴影画，或某其它类型的图片。草图可包括颜色(例如，着色的一条或多条草绘的线)，并且查询可包括那个颜色的文本表示。例如，草图可包括某区域中的潦草线，并且查询可搜寻在潦草线的区域中包括红色(这可以以与图片相关联的或通过分析图片标识的元数据来指示)的图片。
运行(1030)查询可标识多幅图片，并且文本可描述多幅图片中的每一幅的一个或多个非文本特征。该方法可包括返回多幅图片。图片可根据排名系统，按照每副图片与草图相关得有多好来被排名。用户输入可被接收来选择被返回的多幅图片的一幅或多幅。响应于用户输入，该技术可包括将所选图片插入文档。
该技术可包括显示数字文档。接收(1010)该草图可包括在所显示的文档处接收定义草图的用户输入(例如通过在文档被显示的显示区域中接收基于触摸的输入)。该技术还可包括将返回的图片输入文档中。
图10的技术以及在此讨论的其它技术可完全或部分提供硬件逻辑来执行。
现在参考图11，将讨论另一基于草图的图形检索技术。该技术可包括接收(1110)包括一个或多个草绘的文本表示的图形草图。请求可被发送(1120)到图片服务，请求那个图片服务返回由该草图表示的图片。响应于该请求，可从图片服务接收(1130)图片。该图片可包括由草图中表示的文本所描述的一个或多个非文本特征。此外，图11的技术可包括显示(1140)该图片。
接收(1130)草图可包括接收在所显示的数字文档处定义草图的用户输入。此外，显示(1140)图片可包括在文档(例如在字处理文档、电子表格文档、幻灯片呈现文档等)中显示该图片。
对图片服务的请求可包括草图的图像和/或从草图生成的查询。对图片服务的请求可请求图片服务运行查询和/或分析草图。图片可以是不包括在草图中表示的文本的图片，并且图片可以不包括任何文本。草图可包括图片的一个或多个图形特征的一个或多个图形表示。图片服务可以是远程服务和/或本地服务。
现在参考图12，将讨论又一基于草图的图形检索技术。该技术可包括在计算机显示器上接收(1210)定义徒手图形草图的用户输入。可替换地，草图可以部分徒手。用户输入可包括绘制草图的触摸输入，并且草图可包括一个或多个草绘的图形表示以及一个或多个草绘的文本表示。可从草图自动生成(1220)查询。生成(1220)可包括自动识别文本并将该文本自动表示在查询中。此外，生成可包括与一个或多个图形表示匹配的图案。查询可被运行(1230)以响应于查询标识图片。文本可描述图片的一个或多个非文本特征，并且图片可不包括文本。一个或多个图形表示可以是图片中描绘的一个或多个图形特征的一个或多个图形表示。响应于查询可返回(1240)图片，并且响应于图片被返回，图片可被显示在计算机显示器上。
现在参考图13，将讨论又一基于草图的图形检索技术。该技术可包括接收(1310)包括一个或多个草绘的图形元素的草图。可从草图自动生成(1320)服务查询。服务查询可被自动发送(1330)到地图服务，并且响应于服务查询可接收(1340)地图。此外，地图可被显示(1350)。
地图服务可以是远程服务和/或本地服务。草图可包括第一位置的表示和第二位置的表示。图13的技术还可包括从地图服务接收向导的列表。向导可包括从第一位置到第二位置的基于文字的向导(诸如基于文本或基于声音的向导)。该技术还可包括呈现该向导。
草图可包括文本的一个或多个表示并且服务查询也可包括文本的一个或多个表示。地图可包括文本中描述的一个或多个特征。文本可描述地标。服务查询可包括请求以将地标包括在地图中。即使如果服务查询没有包括请求将地标包括在地图中来自地图服务的地图将不包括地标，地图也可包括地标的表示。
一个或多个草绘的图形元素可表示地图中图形地表示的一个或多个特征。一个或多个草绘的图像元素可包括从第一位置到第二位置的路线的草图，并且该地图可高亮该路线。地图可包括较接近路线的增加的级别的细节，以及较远离路线的减少的级别的细节。
服务查询可包括草图。此外，服务查询可包括除了草图以外的信息。该信息可包括关于接收草图的设备的当前位置的信息。
自动生成(1320)服务查询可包括分析草图以产生服务查询。服务查询可包括表示草图的一个或多个图形元素的一个或多个文本元素。
现在参考图14，将讨论又一基于草图的图形检索技术。该技术可包括接收(1410)包括一个或多个草绘的图形元素以及一个或多个草绘的文本表示的草图。具有一个或多个草绘的图形元素和草绘的文本表示的地图区域图案匹配可被自动执行(1420)。该地图区域的地图可被自动生成(1430)并显示(1440)。
该地图区域可以是所选的地图区域，它从多个潜在的地图区域中被选择。自动执行(1420)图案匹配可包括针对与一个或多个草绘的图形元素和一个或多个草绘的文本表示的相关性来自动排名多个地图区域。所选地图区域可以是在多个地图区域的自动排名中排名最高的区域。
如在此讨论的其它草图，图14的技术的草图可以是完全或部分的徒手草图。例如，草图可包括一些徒手草绘元素和非徒手草绘的其它元素(诸如键入的文本和/或预定义的图形元素)。草图可表示从第一位置到第二位置的路线，并且地图可高亮从第一位置到第二位置的路线。该技术还可附加地包括自动生成从第一位置到第二位置沿着路线的向导。该技术还可包括呈现该向导。
图14的技术还可包括从草图向地图数据的数据库添加信息，诸如由地图服务维护的用于响应于对地图的请求使用的地图数据。在生成(1430)地图(可被称为第一地图)之后，地图请求可(例如以对地图服务的服务查询的形式)被接收。草图可能也已经被包括在最初的(同样已经是以对地图服务的服务查询的形式的)地图请求中，并且响应于最初的地图请求第一地图可能已经生成。响应于在生成(1430)第一地图之后的这些地图请求，附加的地图可被生成，该生成可被地图服务执行。这些附加的地图可包括来自草图的附加的信息。
现在参考图15，将讨论另一基于草图的图形检索技术。该技术可包括接收(1510)包括一个或多个草绘的图形元素以及一个或多个草绘的文本表示的徒手草图。草图可表示从第一位置到第二位置的路线。该技术还可包括自动执行(1520)一个或多个草绘的图形元素和一个或多个草绘的文本表示与地图区域的图案匹配。该地图区域可以是所选的地图区域，它从多个潜在的地图区域中被选择。自动执行图案匹配可包括针对与一个或多个草绘的图形元素和一个或多个草绘的文本表示的相关性来自动排名多个地图区域。该地图区域可以是在多个地图区域中排名最高的地图区域。该地图区域的地图可被自动生成(1530)。地图可高亮从第一位置到第二位置的路线。可自动生成(1540)从第一位置到第二位置沿着路线基于文字的向导。此外，该地图区域的地图可被显示(1550)并且从第一位置到第二位置的向导可被呈现(1560)。
现在参考图16，将讨论又一基于草图的图形检索技术。该技术可包括接收(1610)包括图形图表表示的草图。可从草图自动生成(1620)数据集。还可从草图自动生成(1630)图形图表。图形图表可表示草图，并且数据集可包括在图形图表中表示的数据。
数据集可以以表格的形式。该技术可包括在单个应用的用户界面中显示图形图表以及数据集。例如，单个应用可包括电子表格应用。草图可以至少部分徒手。从草图生成(1630)图形图表可包括自动选择草图表示的图表的类型。同样，自动选择图表的类型可包括使用草图的一个或多个图形元素来执行一个或多个图案匹配技术。
生成(1620)数据集可包括从在草图的一个或多个文本表示中表示的一个或多个数据值中自动推导一个或多个新数据值。自动推导可包括执行从包括内插、外插及其组合的一组中选择推导计算。新数据值的自动推导可使用草图的至少一个图形特征。该至少一个图形特征可从包括图形元素的位置、图形元素的大小及其组合的一组中选择。一个或多个新数据值可由图表的一个或多个图形元素来表示，并且新数据值也可表示草图的一个或多个图形元素。
自动生成(1630)图形图表可包括从数据集中自动生成图形图表，数据集从草图生成。草图可表示一个或多个标注，并且草图也可包括一个或多个标注。图16的技术还可包括接收草绘图表的改变的表示的用户输入，并且响应于草绘图表的改变的表示的用户输入，对图表作出改变。
现在参考图17，将讨论又一基于草图的图形检索技术。该技术可包括接收(1710)至少部分徒手的草图，草图包括图形图表表示。数据集可从草图自动生成(1720)，并且该生成(1720)可包括推导未被草图中的文本表示所表示的一个或多个新数据值。此外，还可从数据集自动生成(1730)图形图表。
推导新数据值可包括从由草图中的一个或多个文本表示所标识的现有数据值来推导新数据值。推导一个或多个新数据值可包括作出关于由草图的一个或多个图形元素表示的一个或多个数据值的一个或多个假设。例如，如果线型图不包括值，那么可作出关于线上的一点的值的假设(例如，将值设为第一)，并且可从那点基于草图中线上其它点的位置外插其它值。从数据集生成(1730)图形图表可包括自动选择草图表示的图表的类型。自动选择图表的类型可包括使用草图的一个或多个图形元素来执行一个或多个图案匹配技术。
现在参考图18，将讨论又一基于草图的图形检索技术。该技术可包括接收(1810)至少部分徒手的草图。草图可包括图形图表表示。可从草图自动生成(1820)数据集。自动生成(1820)数据集可包括推导没有被草图中的文本表示所表示的一个或多个新数据值。图18的技术还可包括从数据集和草图自动生成(1830)交互图形图表。生成(1830)图形图表可包括对草图的一个或多个图形元素使用图案匹配技术来自动选择草图表示的图表的类型。图表可包括表示一个或多个新数据值的一个或多个图形元素。图18的技术还可包括显示(1835)数据集并显示(1840)图表。响应于用户输入，数据集中的一个或多个值可被改变(1850)。图表的一个或多个特征可被自动改变(1860)以表示数据集中一个或多个改变了的值。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种计算机实现的方法，包括：
接收数字图形草图；
从所述草图自动生成计算机可读的查询，从所述草图自动生成所述计算机可读的查询包括自动地对所述草图中的一个或多个文本的草图表示执行文本识别；
识别所述草图中的图形歧义，所述图形歧义是关于所述草图的一个或多个非文本图形元素描绘何种类型的项的歧义，并且识别所述图形歧义包括从所述草图的一个或多个非文本图形元素导出多个可替代的含义；
从所述多个可替代的含义之中识别所述草图的含义；
运行所述查询以响应于所述查询识别一个或多个数字图片；以及
返回所述查询的结果，所返回的所述查询的结果被限制在与所识别的所述草图的含义相对应的那些结果，所返回的所述查询的结果包括表示所述图形草图并且对应于所识别的所述草图的含义的图片。
2.如权利要求1所述的方法，其特征在于，所述图片不包括所述文本。
3.如权利要求1所述的方法，其特征在于，所述草图包括所述图片的一个或多个图形特征的一个或多个图形表示。
4.如权利要求1所述的方法，其特征在于，自动生成所述查询包括自动识别由所述草图的一个或多个图形元素表示的项的类型并且包括所述查询中的所述项的类型的一个或多个文本表示。
5.如权利要求4所述的方法，其特征在于，自动识别项的类型包括对所述一个或多个图形元素执行图案匹配。
6.如权利要求1所述的方法，其特征在于，自动生成所述查询包括对所述草图的一个或多个图形元素自动执行图案匹配。
7.如权利要求1所述的方法，其特征在于，运行所述查询包括识别多个图片，其中，所述一个或多个文本的草图表示描述所述多个图片中的每一个的一个或多个非文本特征，并且所述方法包括：
返回所述多个图片；
接收选择所述多个图片中的一个或多个的用户输入；以及
响应于选择所述多个图片中的一个或多个的用户输入，将所述多个图片中的一个或多个插入文档。
8.如权利要求1所述的方法，其特征在于，还包括显示数字文档，其中接收所述草图包括在所显示的文档处接收定义所述草图的用户输入，并且其中所述方法还包括将所返回的图片输入文档。
9.一种计算机系统，包括：
至少一个处理器；以及
包括存储于其上的指令的存储器，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器执行以下动作，包括：
接收数字图形草图；
从所述草图自动生成计算机可读的查询，从所述草图自动生成所述计算机可读的查询包括自动地对所述草图中的一个或多个文本的草图表示执行文本识别；
识别所述草图中的图形歧义，所述图形歧义是关于所述草图的一个或多个非文本图形元素描绘何种类型的项的歧义，并且识别所述图形歧义包括从所述草图的一个或多个非文本图形元素导出多个可替代的含义；
从所述多个可替代的含义之中识别所述草图的含义；
运行所述查询以响应于所述查询识别一个或多个数字图片；以及
返回所述查询的结果，所返回的所述查询的结果被限制在与所识别的所述草图的含义相对应的那些结果，所返回的所述查询的结果包括表示所述图形草图并且对应于所识别的所述草图的含义的图片。
10.一种或多种其上包含有计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在由至少一个处理器执行时使至少一个处理器执行以下动作，包括：
在计算机显示器上接收定义徒手数字图形草图的用户输入；
从所述草图自动生成计算机可读的查询，从所述草图自动生成所述计算机可读的查询包括自动地对所述草图中的一个或多个文本的草图表示执行文本识别；
识别所述草图中的图形歧义，所述图形歧义是关于所述草图的一个或多个非文本图形元素描绘何种类型的项的歧义，并且识别所述图形歧义包括从所述草图的一个或多个非文本图形元素导出多个可替代的含义；
请求选择所述草图的含义的用户输入，对用户输入的请求标识所述多个可替代的含义；
接收响应于所述对用户输入的请求的用户输入，所接收的用户输入选择所述草图的含义；
运行所述查询以响应于所述查询来识别一个或多个数字图片；
响应于所述查询返回结果；以及
响应于所述结果被返回，将来自所述结果的一个或多个图片显示在所述计算机显示器上，所显示的一个或多个图片被限制在与所选择的所述草图的含义相对应的那些图片，所显示的一个或多个图片包括表示所述图形草图并且对应于所选择的所述草图的含义的图片。
CN201380053961.2A 2012-10-15 2013-10-15 来自草图的图片 Active CN104737160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/651,470 2012-10-15
US13/651,470 US9528847B2 (en) 2012-10-15 2012-10-15 Pictures from sketches
PCT/US2013/064897 WO2014062591A2 (en) 2012-10-15 2013-10-15 Pictures from sketches

Publications (2)

Publication Number Publication Date
CN104737160A CN104737160A (zh) 2015-06-24
CN104737160B true CN104737160B (zh) 2018-04-13

Family

ID=49920591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380053961.2A Active CN104737160B (zh) 2012-10-15 2013-10-15 来自草图的图片

Country Status (6)

Country Link
US (4) US9528847B2 (zh)
EP (1) EP2907056B1 (zh)
JP (1) JP6436909B2 (zh)
KR (1) KR102124673B1 (zh)
CN (1) CN104737160B (zh)
WO (1) WO2014062591A2 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2641224A4 (en) * 2010-11-17 2016-05-18 Eloqua Inc SYSTEMS AND METHODS FOR CONTENT DESIGN AND MANAGEMENT
US9528847B2 (en) 2012-10-15 2016-12-27 Microsoft Technology Licensing, Llc Pictures from sketches
US9449415B2 (en) * 2013-03-14 2016-09-20 Mind Research Institute Method and system for presenting educational material
KR20150026095A (ko) * 2013-08-30 2015-03-11 삼성전자주식회사 전자 장치에서 차트를 표시하는 장치 및 방법
US9513671B2 (en) 2014-08-01 2016-12-06 Microsoft Technology Licensing, Llc Peripheral retention device
US10191986B2 (en) 2014-08-11 2019-01-29 Microsoft Technology Licensing, Llc Web resource compatibility with web applications
US9705637B2 (en) 2014-08-19 2017-07-11 Microsoft Technology Licensing, Llc Guard band utilization for wireless data communication
US9524429B2 (en) 2014-08-21 2016-12-20 Microsoft Technology Licensing, Llc Enhanced interpretation of character arrangements
US9805483B2 (en) 2014-08-21 2017-10-31 Microsoft Technology Licensing, Llc Enhanced recognition of charted data
US9397723B2 (en) 2014-08-26 2016-07-19 Microsoft Technology Licensing, Llc Spread spectrum wireless over non-contiguous channels
US20160063108A1 (en) * 2014-08-28 2016-03-03 General Electric Company Intelligent query for graphic patterns
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
US20160364134A1 (en) * 2015-06-12 2016-12-15 Beijing Lenovo Software Ltd. Information processing method and electronic device
US9990350B2 (en) 2015-11-02 2018-06-05 Microsoft Technology Licensing, Llc Videos associated with cells in spreadsheets
US10713428B2 (en) 2015-11-02 2020-07-14 Microsoft Technology Licensing, Llc Images associated with cells in spreadsheets
US10203103B2 (en) 2016-02-08 2019-02-12 Cree, Inc. LED luminaire having enhanced thermal management
US10347017B2 (en) * 2016-02-12 2019-07-09 Microsoft Technology Licensing, Llc Interactive controls that are collapsible and expandable and sequences for chart visualization optimizations
US10748312B2 (en) 2016-02-12 2020-08-18 Microsoft Technology Licensing, Llc Tagging utilizations for selectively preserving chart elements during visualization optimizations
CN106202189A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 一种图像搜索方法及装置
US10121096B2 (en) 2016-07-29 2018-11-06 International Business Machines Corporation Steering seismic texture analysis algorithms using expert input
US10346727B2 (en) 2016-10-28 2019-07-09 Adobe Inc. Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
US10380175B2 (en) * 2017-06-06 2019-08-13 International Business Machines Corporation Sketch-based image retrieval using feedback and hierarchies
US11250526B2 (en) * 2017-07-21 2022-02-15 Leap, Llc Dynamic content generator
US10282360B2 (en) * 2017-08-03 2019-05-07 Sap Se Uniform chart formatting based on semantics in data models
US20190095525A1 (en) * 2017-09-27 2019-03-28 International Business Machines Corporation Extraction of expression for natural language processing
JP6403861B1 (ja) * 2017-12-14 2018-10-10 ヤフー株式会社 提供プログラム、提供装置、および提供方法
US10628708B2 (en) 2018-05-18 2020-04-21 Adobe Inc. Utilizing a deep neural network-based model to identify visually similar digital images based on user-selected visual attributes
KR20190140519A (ko) * 2018-05-29 2019-12-20 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102249996B1 (ko) 2018-08-31 2021-05-11 엔에이치엔 주식회사 텍스트 기반 이미지 검색 방법 및 장치
KR102286015B1 (ko) 2018-08-31 2021-08-04 엔에이치엔 주식회사 텍스트 기반 이미지 검색 방법 및 장치
KR102103518B1 (ko) * 2018-09-18 2020-04-22 이승일 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템
US11128735B2 (en) * 2018-10-05 2021-09-21 Microsoft Technology Licensing, Llc Remote computing resource allocation
US11645939B2 (en) * 2018-11-30 2023-05-09 The Regents Of The University Of California Method for freehand sketch training
US10635413B1 (en) 2018-12-05 2020-04-28 Bank Of America Corporation System for transforming using interface image segments and constructing user interface objects
US10678521B1 (en) 2018-12-05 2020-06-09 Bank Of America Corporation System for image segmentation, transformation and user interface component construction
CN109636881A (zh) * 2018-12-19 2019-04-16 沈阳天择智能交通工程有限公司 基于ai识别技术道路交通事故现场草图绘制方法
CN111752557A (zh) * 2019-03-27 2020-10-09 阿里巴巴集团控股有限公司 一种展示方法及装置
US11436028B2 (en) * 2019-06-14 2022-09-06 eGrove Education, Inc. Systems and methods for automated real-time selection and display of guidance elements in computer implemented sketch training environments
US11971871B1 (en) * 2019-09-17 2024-04-30 Sketch Align, Inc. System controlled by data bearing records

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236717A (zh) * 2011-07-13 2011-11-09 清华大学 一种基于草图特征提取的图像检索方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735187B2 (ja) * 1987-03-17 1998-04-02 株式会社東芝 情報検索方法
JP2900720B2 (ja) * 1992-09-29 1999-06-02 松下電器産業株式会社 地図端末および表示方法
JP3464338B2 (ja) * 1995-03-31 2003-11-10 株式会社東芝 図面検索方法および装置
JP3867180B2 (ja) * 1997-12-25 2007-01-10 カシオ計算機株式会社 画像出力装置およびそのプログラム記録媒体
JP4073156B2 (ja) * 1999-07-14 2008-04-09 富士フイルム株式会社 画像検索装置
GB2360588B (en) 2000-03-23 2004-04-07 Yeoman Group Plc Navigation system
US7865306B2 (en) 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
US7061501B1 (en) 2000-11-07 2006-06-13 Intel Corporation Rendering a pencil-sketch image
JP2002366694A (ja) * 2001-06-04 2002-12-20 Sharp Corp 道案内装置および方法
CN103398718B (zh) 2004-03-23 2017-04-12 咕果公司 数字地图描绘系统
JP2006031200A (ja) * 2004-07-14 2006-02-02 Nec Corp 商品検索システム及びその方法並びにそれに用いる端末装置、サーバ装置及びプログラム
US7440616B2 (en) 2004-09-21 2008-10-21 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
US7409088B2 (en) 2004-09-21 2008-08-05 Microsoft Corporation System and method for connectivity-based recognition of a hand-drawn chart in ink input
US20060074660A1 (en) 2004-09-29 2006-04-06 France Telecom Method and apparatus for enhancing speech recognition accuracy by using geographic data to filter a set of words
US20060071915A1 (en) 2004-10-05 2006-04-06 Rehm Peter H Portable computer and method for taking notes with sketches and typed text
US20060112123A1 (en) 2004-11-24 2006-05-25 Macnica, Inc. Spreadsheet user-interfaced business data visualization and publishing system
WO2007096004A1 (en) 2006-02-27 2007-08-30 Robert Bosch Gmbh Video retrieval system, method and computer program for surveillance of moving objects
TW200825855A (en) 2006-12-06 2008-06-16 Ind Tech Res Inst A method and system for converting text image into character code are provided for mobile communication device
JP2008224343A (ja) * 2007-03-12 2008-09-25 Aisin Aw Co Ltd ナビゲーション装置
US8862986B2 (en) 2007-10-01 2014-10-14 Hewlett-Packard Development Company, L.P. Arranging graphic objects on a page with relative position based control
US20090278848A1 (en) 2008-05-12 2009-11-12 Microsoft Corporation Drawing familiar graphs while system determines suitable form
US8463774B1 (en) 2008-07-15 2013-06-11 Google Inc. Universal scores for location search queries
JP4836283B2 (ja) * 2008-09-17 2011-12-14 ヤフー株式会社 地図検索装置および地図検索方法
JP5221291B2 (ja) * 2008-11-17 2013-06-26 株式会社ゼンリンデータコム 検索装置、検索方法、およびコンピュータプログラム
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
CN104933669A (zh) * 2009-10-16 2015-09-23 日本电气株式会社 人物服装特征提取装置及方法
KR20110127894A (ko) * 2010-05-20 2011-11-28 주식회사 인프라웨어 웹 이미지 다이렉트 삽입을 통한 문서 작성 방법 및 웹 이미지 다이렉트 삽입을 통한 문서 작성 장치, 그리고 웹 이미지 다이렉트 삽입을 통한 문서 작성 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US8555192B2 (en) * 2010-06-03 2013-10-08 Microsoft Corporation Sketching and searching application for idea generation
US20110320114A1 (en) 2010-06-28 2011-12-29 Microsoft Corporation Map Annotation Messaging
US9449026B2 (en) * 2010-08-31 2016-09-20 Microsoft Technology Licensing, Llc Sketch-based image search
US8447752B2 (en) * 2010-09-16 2013-05-21 Microsoft Corporation Image search by interactive sketching and tagging
KR101698096B1 (ko) * 2010-10-08 2017-01-19 엘지전자 주식회사 단말기의 드로잉을 이용한 검색 방법 및 그 단말기
US20120162244A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Image search color sketch filtering
US8994732B2 (en) 2011-03-07 2015-03-31 Microsoft Corporation Integration of sketch-based interaction and computer data analysis
US8827710B2 (en) 2011-05-19 2014-09-09 Microsoft Corporation Realtime user guidance for freehand drawing
US8429156B2 (en) 2011-06-17 2013-04-23 Microsoft Corporation Spatial attribute ranking value index
KR101287786B1 (ko) 2011-09-22 2013-07-18 엘지전자 주식회사 3차원 입체영상 표시 방법 및 그를 이용한 영상 표시 장치
US9465507B2 (en) * 2011-10-19 2016-10-11 Microsoft Technology Licensing, Llc Techniques to facilitate asynchronous communication
US8793068B2 (en) 2012-08-30 2014-07-29 Amazon Technologies, Inc. Interpolating geolocation
US9528847B2 (en) 2012-10-15 2016-12-27 Microsoft Technology Licensing, Llc Pictures from sketches

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236717A (zh) * 2011-07-13 2011-11-09 清华大学 一种基于草图特征提取的图像检索方法

Also Published As

Publication number Publication date
KR20150070153A (ko) 2015-06-24
WO2014062591A3 (en) 2014-10-30
US9417086B2 (en) 2016-08-16
US20140288830A1 (en) 2014-09-25
US20140104279A1 (en) 2014-04-17
JP6436909B2 (ja) 2018-12-12
US20140108016A1 (en) 2014-04-17
US9528847B2 (en) 2016-12-27
US9395204B2 (en) 2016-07-19
JP2016500873A (ja) 2016-01-14
US8781742B2 (en) 2014-07-15
US20140107922A1 (en) 2014-04-17
KR102124673B1 (ko) 2020-06-18
EP2907056A2 (en) 2015-08-19
EP2907056B1 (en) 2018-11-21
CN104737160A (zh) 2015-06-24
WO2014062591A2 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
CN104737160B (zh) 来自草图的图片
Haklay Interacting with geospatial technologies
CN105143828B (zh) 地图绘制应用程序搜索功能
US20170357443A1 (en) Intelligent virtual keyboards
US7805246B2 (en) View-independent tagging of geospatial entities in images
KR20170030379A (ko) 사용자 선호에 맞춘 여행 큐레이션 서비스 방법 및 시스템
CN102930048B (zh) 使用参考和视觉数据的语义自动发现的数据丰富
CN105247465B (zh) 用于对项目选择消歧的系统和方法
Karnick et al. Route visualization using detail lenses
US20120054601A1 (en) Methods and systems for automated creation, recognition and display of icons
WO2018089222A1 (en) Responsive customized digital stickers
CN109740049B (zh) 文章的生成方法和装置
Agrawala Visualizing route maps
CN115618860A (zh) 融合lbs兴趣点多维属性与空间关系的词云生成方法及系统
US20160196349A1 (en) Geocoding multi-entity queries
Perkins Mapping and Graphicacy 22
Jo et al. Placegram: A diagrammatic map for personal geotagged data browsing
US20170277673A1 (en) Inking inputs for digital maps
Karampanah A survey of usability issues in mobile map-based systems
US20230230406A1 (en) Facilitating identification of fillable regions in a form
Krumpe Labeling interactive maps
CN114722135A (zh) 地理图资系统
Reilly A mixed-methods analysis of pointing-based interactions for coordinating spatial views in context.
Nossum Literature survey BA8204

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171018

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant