CN110998563A - 用于对视场中兴趣点消除歧义的方法、设备和计算机程序产品 - Google Patents

用于对视场中兴趣点消除歧义的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN110998563A
CN110998563A CN201880050830.1A CN201880050830A CN110998563A CN 110998563 A CN110998563 A CN 110998563A CN 201880050830 A CN201880050830 A CN 201880050830A CN 110998563 A CN110998563 A CN 110998563A
Authority
CN
China
Prior art keywords
interest
user
points
point
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880050830.1A
Other languages
English (en)
Other versions
CN110998563B (zh
Inventor
奥古斯托·恩里克·亨茨
爱德华多·维拉斯克斯
塔代伊·斯塔纳
尤利亚·科瓦洛娃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Here Global BV
Original Assignee
Here Global BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Here Global BV filed Critical Here Global BV
Publication of CN110998563A publication Critical patent/CN110998563A/zh
Application granted granted Critical
Publication of CN110998563B publication Critical patent/CN110998563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Automation & Control Theory (AREA)

Abstract

因此提供了一种方法、设备和计算机程序产品，用于在非确定性口语对话命令涉及兴趣点和关于用户视场之内或附近兴趣点的信息时，消除非确定性口语对话命令的歧义。一种设备可以包括处理器和包括程序代码指令的存储器。该程序代码指令被配置成在被执行时，使设备至少：接收用户位置的指示；接收用户在该位置的视场的指示；接收自然语言话语；从自然语言话语产生查询，其中查询包括从自然语言话语确定的至少一个请求、位置和用户的视场；通过使用所产生的查询进行数据库的搜索，来确定与查询相关联的兴趣点；以及经由用户接口提供与兴趣点相关联的信息。

Description

用于对视场中兴趣点消除歧义的方法、设备和计算机程序 产品
技术领域
本发明的示例实施例总体涉及对非确定性口语对话命令消除歧义，更具体而言，涉及在非确定性口语对话命令涉及用户视场之内或附近兴趣点时对它们消除歧义。
背景技术
地图已经在几个世纪内用于提供路线几何形状和地理信息，而常规上路线是由手沿着地图定义的路径规划的。包括来自历史上快照的道路静态图像和地理特征的常规纸质地图已经为在计算机和移动设备上呈现的数字地图开辟了道路，并且已经通过使用图形用户界面增强了导航。
数字地图和导航能够在用户沿路线行进时提供动态路线引导。此外，可以提供动态地图属性，例如路线交通、路线状况和其他动态地图相关的信息，以增强数字地图并方便导航。提供包括动态路线规划的路线引导的导航系统常规上会建立从起点到目的地的路线，以及可能的路点。导航系统和绘图服务能够提供口语指令，并能够接收口语指令或请求，例如，用于确立起点和目的地。不过，与导航系统和地图服务提供商的口语语言界面通常限于路线引导相关的对话。
发明内容
因此提供了一种方法、设备和计算机程序产品，用于在非确定性口语对话命令涉及兴趣点和关于用户视场之内或附近兴趣点的信息时，消除非确定性口语对话命令的歧义。根据示例实施例，提供了一种设备，包括至少一个处理器和至少一个非暂态存储器，该非暂态存储器包括计算机程序代码指令。该计算机程序代码指令被配置成在被执行时，使设备至少：接收用户位置的指示；接收用户在该位置的视场的指示；接收自然语言话语；从自然语言话语产生查询，其中查询包括从自然语言话语确定的至少一个请求、位置和用户的视场；通过使用所产生的查询进行数据库的搜索，来确定与所述查询相关联的兴趣点；以及经由用户接口提供与兴趣点相关联的信息。该话语可以包括对关于兴趣点的信息的请求，所述信息包括如下一项或多项：营业时间、所述兴趣点名称、在所述兴趣点提供的服务、针对所述兴趣点的联系信息或所述兴趣点的用户评论。
根据一些实施例，可以任选地使该设备产生包括与兴趣点相关联的信息的自然语言语句，其中使设备经由用户接口提供与兴趣点相关联的信息包括使所述设备大声读出自然语言语句。可以任选地通过使设备进行如下操作而使该设备确定用户视场之内的多个兴趣点：
从用户位置确定视场的圆扇区和视场的半径；以及检索位置在圆扇区和用户位置的半径之内的多个兴趣点。使设备确定视场之内的多个兴趣点可以任选地包括使设备：检索圆扇区和用户位置半径之内物体的几何形状的三维模型；判断位置在圆扇区和用户位置的半径之内的多个兴趣点的每个是否可以从用户位置对用户可见；以及丢弃被判定对用户不可见的任何兴趣点。
可以任选地通过使设备针对每个非丢弃兴趣点进行如下操作而使设备对未丢弃的多个兴趣点排序：确定距用户位置的距离；确定兴趣点在视场之内的位置，其中位置包括相对于视场中心的角度；至少部分地基于距离和位置计算兴趣点的得分；以及根据其相应得分对多个兴趣点的每个排序。使设备通过使用所产生的查询进行数据库的搜索而确定与查询相关联的兴趣点可以包括使设备：确定与查询相关联的至少两个兴趣点；确定对至少两个兴趣点消除歧义的至少一个区分特征；基于至少一个区分特征产生自然语言问题；以及响应于所接收的对自然语言问题的回复而确定至少两个兴趣点之一。至少一个区分特征可以包括如下一个或多个：兴趣点类型、建筑物特征、建筑物建设材料、相对于不同位置的位置、建筑物颜色、建筑物大小、公司名称或公司类型。使设备确定与查询相关联的兴趣点可以包括基于所确定的与查询的相关性，根据兴趣点的排序过滤多个兴趣点，其中基于相对于用户的位置、在用户视场之内的位置以及兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
本文描述的实施例可以提供一种包括至少一个非暂态计算机可读存储介质的计算机程序产品，该非暂态计算机可读存储介质中存储有计算机可执行程序代码指令。该计算机可执行程序代码指令包括用以执行如下操作的程序代码指令：接收用户位置的指示；接收用户在该位置的视场的指示；接收自然语言话语；从自然语言话语产生查询，其中查询包括从自然语言话语确定的至少一个请求、位置和用户的视场；通过使用所产生的查询进行数据库的搜索，来确定与查询相关联的兴趣点；以及经由用户接口提供与兴趣点相关联的信息。该话语可以包括对关于兴趣点的信息的请求，所述信息包括如下一项或多项：营业时间、所述兴趣点名称、在所述兴趣点提供的服务、针对所述兴趣点的联系信息或所述兴趣点的用户评论。
根据一些实施例，该计算机程序产品还可以包括用以执行如下操作的程序代码指令：产生包括与兴趣点相关联的信息的自然语言语句，其中经由用户接口提供与兴趣点相关联的信息的程序代码指令包括大声读出自然语言语句的程序代码指令。该计算机程序产品可以任选地包括使用用以执行如下操作的程序代码指令确定用户视场之内的多个兴趣点的程序代码指令：从用户位置确定视场的圆扇区和视场的半径；以及检索位置在圆扇区和用户位置的半径之内的多个兴趣点。
确定视场之内的多个兴趣点的程序代码指令还可以包括用以执行如下操作的程序代码指令：检索圆扇区和用户位置半径之内物体的几何形状的三维模型；判断位置在圆扇区和用户位置的半径之内的多个兴趣点的每个是否可以从用户位置对用户可见；以及丢弃被判定对用户不可见的任何兴趣点。实施例可以任选地包括使用用于针对每个未丢弃兴趣点执行如下操作的程序代码指令对未丢弃的多个兴趣点排序的程序代码指令：确定距用户位置的距离；确定兴趣点在视场之内的位置，其中位置包括相对于视场中心的角度；至少部分地基于距离和位置计算兴趣点的得分；以及根据其相应得分对多个兴趣点的每个排序。使用所产生的查询进行数据库的搜索而确定与查询相关联的兴趣点的程序代码指令可以包括用以执行如下操作的程序代码指令：确定与查询相关联的至少两个兴趣点；确定对至少两个兴趣点消除歧义的至少一个区分特征；基于至少一个区分特征产生自然语言问题；以及响应于所接收的对自然语言问题的回复而确定至少两个兴趣点之一。
根据一些实施例，至少一个区分特征可以包括如下一个或多个：兴趣点类型、建筑物特征、建筑物构造、建筑物材料、相对于不同位置的位置、建筑物颜色、建筑物大小、公司名称或公司类型。用以确定与查询相关联的兴趣点的程序代码指令可以包括基于所确定的与查询的相关性，根据兴趣点的排序过滤多个兴趣点的程序代码指令，其中基于相对于用户的位置、在用户视场之内的位置以及兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
本文描述的实施例可以提供一种绘图系统，包括被配置为存储地图数据以及与多个兴趣点相关联的兴趣点信息的存储器，以及处理电路。处理电路可以被配置成：接收用户位置的指示；接收用户在该位置的视场的指示；接收自然语言话语；从自然语言话语产生查询，其中查询包括从自然语言话语确定的至少一个请求、位置和用户的视场；通过使用所产生的查询进行所述存储器的搜索，来确定与所述查询相关联的兴趣点；以及经由用户接口提供与兴趣点相关联的信息。被配置成确定与查询相关联的兴趣点的处理电路可以包括被配置成基于所确定的与查询的相关性，根据兴趣点的排序过滤多个兴趣点的处理电路，其中基于相对于用户的位置、在用户视场之内的位置以及兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
附图说明
附图说明已经在一般意义上这样描述了本发明的特定示例实施例，在下文中将参考附图，附图未必按比例绘制，且其中：
图1为根据本发明示例实施例的设备的框图；
图2是根据本发明示例性实施例的系统的框图，该系统实现口语对话，用于对用户视场之内的兴趣点消除歧义；
图3是根据本发明示例性实施例的系统的另一框图，该系统实现口语对话，用于对用户视场之内的兴趣点消除歧义；
图4示出了根据本发明示例实施例的视场估计；
图5是根据本发明示例性实施例的方法的流程图，该方法用于对用户视场之内的兴趣点消除歧义；以及
图6是示出根据本发明示例实施例的方法的流程图，该方法用于对用户视场之内的兴趣点消除歧义。
具体实施方式
现在将参考示出了本发明的一些但并非全部实施例的附图在下文更全面地描述本发明的一些实施例。实际上，本发明的各实施例可以实现为很多不同形式，不应被解释为限于本文阐述的实施例；相反，提供这些实施例使得本公开将满足适用的法律要求。通篇中类似附图标记指示类似元件。如本文所用，术语“数据”、“内容”、“信息”和类似术语可以互换使用以指示能够根据本发明的实施例被传输、接收和/或存储的数据。于是，使用任何此类术语不应被认为限制本发明实施例的精神和范围。
此外，如本文所用，术语“电路”是指(a)仅硬件的电路实施方式(例如，模拟电路和/或数字电路中的实施)；(b)电路和计算机程序产品的组合，计算机程序产品包括存储于一个或多个计算机可读存储器上的软件和/或固件指令，它们一起工作以使设备执行如本文所述的一个或多个指令；以及(c)例如微处理器或微处理器一部分的电路，即使物理上没有软件或固件，也需要软件或固件来运行。“电路”的这一定义适用于本术语在本文中的所有使用，包括在任何权利要求中。作为另一个示例，术语“电路”还包括一种实施，其包括一个或多个处理器和/或其部分以及附带的软件和/或固件。作为另一个示例，本文使用的术语“电路”还包括例如用于移动电话的基带集成电路或应用处理器集成电路或服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。
如本文定义的，“计算机可读存储介质”是指物理存储介质(例如，易失性或非易失性存储器装置)，可以与指示电磁信号的“计算机可读传输介质”区分开。
根据本发明的示例实施例，提供了一种方法、设备和计算机程序产品，用于在非确定性口语对话命令涉及用户视场之内或附近的兴趣点时对它们进行歧义消除。本文描述的实施例改善了车辆中的口语对话系统的用户能够指称兴趣点的方式并允许用户通过使用模糊术语来指称其视场中的兴趣点，模糊术语也称为非确定性术语，例如“那栋建筑”、“那里”、“在那儿”、“那个餐馆”等。各实施例可以通过如下方式完成这一任务：首先使用车载传感器估计用户的视场，然后查询地理数据库，例如来自地图服务提供方，以在确定在用户视场中的区域中检索兴趣点信息。示例实施例的口语对话系统可以任选地询问歧义消除问题，以缩小用户指称的特定兴趣点的范围。这种跟进式问题可以被认真选择以使驾驶员的回答消除任何歧义的机会最大化。例如，所选择的问题可以集中于从用户的请求确立的候选兴趣点之间不同的特征上。
如本文所述，权利要求的实施例可以将口语对话系统与视场估计与现实世界的三维模型组合在一起，以允许用户得到对涉及空间参考的问题的有意义答案，例如“那里有什么？”或“那家商店什么时间开门？”尽管本文描述的实施例一般是在车辆(例如汽车)的使用上下文中描述的，但任选地可以在任何类型的车辆中或使用用户穿戴的设备实现各实施例，以便估计或确立用户的视场。在车辆的上下文中，车辆可以包括车载传感器或用户设备传感器，以确立现实世界中的车辆位置和取向。车辆传感器可以能够基于车辆正在面对的方向来理解取向，而用户设备可以基于例如移动来确立取向。用户穿戴的设备可以基于从传感器取向确立的矢量来理解取向，该矢量例如沿着用户佩戴的一副眼镜的臂，眼镜包括本文所述设备的至少一部分。从取向可以估计用户的视场。可以将这些条信息与现实世界的三维模型组合以估计在给定时间用户可看到什么地方和物体。可以将这一信息作为上下文馈送给口语对话系统，允许其确定在用户使用模糊术语，例如“那栋建筑”或“在那里”时用户所指的实际位置。
本文描述的实施例包括基于兴趣点的可见场景的概率模型和背景知识数据库的歧义消除对话策略。本文描述的是一种算法，该算法选择预计其答案包含最多信息的歧义消除问题并将候选兴趣点缩小范围至单个兴趣点。该问题被设计为找到一组属性，其中选择属性中最可能消除场景歧义的一个并导致用户选择所意指的兴趣点。
图1是被配置为执行本文所述的任何操作的示例设备的示意图。设备20是可以由多种计算设备的任何计算设备实现或与之关联而实现的示例实施例，该计算设备包括被配置成提供导航系统用户界面的设备或通过其他方式与其相关联。例如，计算设备可以是移动终端，例如个人数字助理(PDA)、移动电话、智能电话、个人导航设备、智能手表、平板计算机、相机或前述和其他类型语音和文本通信系统的任意组合。任选地，计算设备可以是固定计算设备，例如内置车辆导航设备、辅助驾驶设备等。
任选地，该设备可以由多个计算设备实现或与之相关联，多个计算设备彼此通信或以其它方式彼此联网，从而可以在彼此协同运行的多个计算设备之间划分该设备执行的各种功能。
设备20可以装备有任意数量的传感器21，例如全球定位系统(GPS)、加速度计和/或陀螺仪。任何传感器都可以用于感测关于设备移动、定位或取向的信息，以用于导航辅助，如本文根据示例实施例所述。在一些示例实施例中，此类传感器可以实现于车辆或其他远程设备中，检测到的信息可以被传输到设备20，例如通过近场通信(NFC)，包括，但不限于蓝牙TM通信等。
设备20可以包括通信接口22、处理器24、存储器件26和用户接口28，与它们相关联或可以通过其他方式与它们通信。在一些实施例中，处理器(和/或协处理器或辅助或以其它方式与处理器相关联的任何其他处理电路)可以经由总线与存储器件通信，用于在设备的部件之间传递信息。存储器件可以是非暂态的，可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储器件可以是包括门电路的电子存储器件(例如，计算机可读存储介质)，门电路被配置成存储数据(例如，比特)，可以由机器(例如，像处理器的计算设备)检索数据。存储器件可以被配置成存储信息、数据、内容、应用程序、指令等，用于使设备能够根据本发明的示例实施例执行各种功能。例如，存储器件可以被配置成缓存输入数据，供处理器处理。此外或替代地，存储器件可以被配置成存储供处理器执行的指令。
处理器24可以通过若干不同方式实现。例如，处理器可以被实现为各种硬件处理装置的一种或多种，例如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或没有附带DSP的处理元件，或包括集成电路，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等的各种其他处理电路。这样一来，在一些实施例中，处理器可以包括被配置成独立执行的一个或多个处理内核。多核处理器可以在单个物理封装之内实现多重处理。此外或替代地，处理器可以包括经由总线级联配置的一个或多个处理器，以能够独立执行指令、流水线和/或多线程。
在示例实施例中，处理器24可以被配置成执行存储器件26中存储的或以其它方式可以被处理器访问的指令。替代地或此外，处理器可以被配置成执行硬编码功能。这样一来，无论由硬件或软件方法或由其组合配置，处理器都可以代表在相应配置时能够根据本发明实施例执行操作的实体(例如，物理地实现于电路中)。于是，例如，在处理器被实现为ASIC、FPGA等时，处理器可以是用于执行本文所述操作的专门配置的硬件。或者，作为另一个示例，在处理器被实现为软件指令的执行器时，指令可以专门配置处理器以在执行指令时执行本文所述的算法和/或操作。不过，在一些情况下，处理器可以是特定设备(例如，计算设备)的处理器，其被配置成通过用于执行本文描述的算法和/或操作的指令进一步配置处理器来采用本发明的实施例。处理器可以包括时钟、算术逻辑单元(ALU)和配置为支持处理器运行的逻辑门等。
示例实施例的设备20还可以包括用户接口28或以其它方式与用户接口通信。用户接口可以包括触摸屏显示器、扬声器、物理按钮和/或输入/输出机构。在示例实施例中，处理器24可以包括用户接口电路，用户接口电路被配置成控制一个或多个输入/输出机构的至少一些功能，例如接收口语对话或向用户阅读口语对话。处理器和/或包括处理器的用户接口电路可以被配置成通过存储在处理器可访问的存储器(例如，存储器件24等)上的计算机程序指令(例如，软件和/或固件)控制一个或多个输入/输出机构的一个或多个功能。就此而言，设备20可以解释由其传感器收集的定位数据并将包括视觉和音频反馈的目的地预览提供给例如用户。
示例实施例的设备20还可以任选地包括通信接口22，该通信接口可以是任何装置，例如实现在硬件或硬件和软件组合中的设备或电路，其被配置成从/向通过如上所述例如NFC与该设备通信的其他电子设备接收和/或传输数据。此外或替代地，通信接口22可以被配置成通过全球移动通信系统(GSM)，例如，但不限于长期演进(LTE)而通信。就此而言，通信接口22可以包括例如天线(或多个天线)和支持硬件和/或软件，用于实现与无线通信网络的通信。此外或替代地，通信接口22可以包括用于与天线交互的电路，以使得经由天线传输信号或处理经由天线接收的信号。在一些环境中，通信接口22可以替代地或还支持有线通信，可以替代地支持车辆到车辆或车辆到基础设施的无线链路。
设备20可以支持绘图应用程序，以便呈现地图或以其它方式提供导航辅助。为了支持绘图应用程序，该计算设备可以包括地理数据库或以其它方式与之通信，地理数据库例如可以存储在存储器26中。例如，地理数据库包括节点数据记录、路段或链路数据记录、兴趣点(POI)数据记录和其他数据记录。可以提供更多、更少或不同的数据记录。在一个实施例中，其他数据记录包括制图数据记录、路由数据和操控数据。POI或事件数据的一个或多个部分、部件、区域、层、特征、文本和/或符号可以存储于、链接到这些数据记录中的一个或多个和/或与其相关联。例如，POI、事件数据或记录的路线信息的一个或多个部分可以经由例如位置或GPS数据关联(例如，使用已知或将来的地图匹配或地理编码技术)与相应地图或地理记录匹配。此外，可以使用其他定位技术，例如电子水平传感器、雷达、光达、超声波和/或红外传感器。
在示例实施例中，可以提供导航系统用户界面以提供从起点沿路线到达多个目的地或兴趣点的路线引导。导航系统可以接收起点的指示，该指示可以包括导航系统工作所在的设备(例如，车载导航系统或移动设备)的当前位置或由用户指定的独立位置，以及在指定位置附近用户感兴趣的兴趣点的类别的指示。响应于接收到位置和兴趣点类别，可以识别多个兴趣点。可以基于可用道路、步行道等计算从该位置到多个兴趣点的路线。例如，可以在算法中使用这些路线来生成一个或多个遭遇到两个或更多兴趣点的合并路线。换言之，可以沿合并路线找到兴趣点中的两个或更多个。导航系统用户界面可以任选地包括既用于提供口语对话指令或信息又用于从用户接收口语对话的扬声器和麦克风。
地图服务提供方数据库可以用于向导航系统提供路线引导，并可以用于合并通往不同兴趣点的路线。图2示出了用于实施本文描述的示例实施例的系统的示例实施例的通信图。图2示出的实施例包括移动设备104，移动设备可以是例如图2的设备20，例如移动电话、车载导航系统等，以及地图数据服务提供方或云服务108。移动设备104和地图数据服务提供方108的每者可以经由网络112与图2中所示的其他元件的至少一个通信，网络可以是下文将要描述的任何形式的无线或部分无线网络。可提供附加的、不同的和/或更少的部件。例如，很多移动设备104可以与网络112连接。地图数据服务提供方108可以是基于云的服务和/或可以经由托管服务器而运行，托管服务器接收、处理数据并向系统的其他元件提供数据。
地图数据服务提供方可以包括地图数据库110，地图数据库可以包括节点数据、路段数据或链路数据、兴趣点(POI)数据、交通数据等。地图数据库110还可以包括制图数据、路由数据和/或操纵数据。根据一些示例实施例，路段数据记录可以是表示道路、街道或路径的链路或区段，可以在计算路线或记录的路线信息中使用其确定一个或多个个性化路线。节点数据可以是对应于路段数据的相应链路或区段的端点。路段数据和节点数据可以代表路网，例如由车辆、汽车、卡车、公共汽车、摩托车和/或其他实体使用的路网。任选地，地图数据库110可以包含路径区段和节点数据记录或其他数据，例如，补充或替代车辆道路记录数据，它们可以代表行人路径或区域。道路/路段和节点可以与属性相关联，属性例如是地理坐标、街道名称、地址范围、速度极限、路口的转弯限制和其他导航相关的属性，以及兴趣点。
地图数据库可以包括兴趣点以及与每个兴趣点相关联的信息的数据库。与每个兴趣点相关联的信息可以包括针对兴趣点的一个或多个类别，例如加油站、旅馆、餐馆、博物馆、体育馆、办公室、自动修理店、建筑物、商店、停车场等。关于每个兴趣点的信息还可以包括子类，例如餐馆类型(例如，比萨、亚洲混合风味、意大利等)。数据库还可以包括或可以访问针对各个兴趣点的属性，例如用户评论的数据库、所提供服务/产品的价位、运行小时数、流行度等。地图数据库110可以包括关于POI的数据及其在兴趣点记录中的相应位置。地图数据库110可以包括关于地点的数据，例如城市、城镇或其他社区，以及其他地理特征，例如水体、山脉范围等。这样的地点或特征数据可以是兴趣点数据的部分，或者可以与兴趣点或兴趣点数据记录相关联(例如，用于显示或代表城市位置的数据点)。此外，地图数据库110可以包括与兴趣点数据记录或地图数据库110的其他记录相关联的事件数据(例如，交通事故、建设活动、安排的事件、未安排的事件等)。
地图数据库110可以由内容提供方，例如地图数据服务提供方维护，并可以例如由内容或服务提供方处理服务器102访问。例如，地图数据服务提供方可以收集地理数据和动态数据以产生并增强地图数据库110和动态数据，例如其中包含的交通相关的数据。地图开发者可以使用不同方式收集数据。这些方式可以包括例如经由全球信息系统数据库从其他源，例如市政或相应地理机构，获得数据。此外，例如，地图开发者可以采用现场人员驾车沿道路在整个地理区域内行驶以观察特征和/或记录关于它们的信息。而且，可以使用远程感测，例如悬空或卫星照相和/或光达以直接或通过机器学习来产生地图几何信息，如本文所述。这些地图几何信息可以任选地包括三维地图信息，其提供建筑物覆盖区信息、建筑物轮廓/外观信息、兴趣点形状和尺寸等。这种三维信息可以用于在绘图的环境中产生兴趣点的现实世界表示。
地图数据库110可以是以方便更新、维护和开发的格式存储的主地图数据库。例如，主地图数据库或主地图数据库中的数据可以是Oracle空间格式或其他空间格式，例如用于开发或生产的目的。Oracle空间格式或开发/生产数据库可以被汇编成递送格式，例如地理数据文件(GDF)格式。生产和/或递送格式中的数据可以被汇编或进一步汇编以形成地理数据库产品或数据库，其可以用于最终用户导航设备或系统中。
例如，可以汇编地理数据(例如，汇编成平台规范格式(PSF))以整理和/或配置数据，用于供导航设备，例如由移动设备104代表的车辆，执行导航相关的功能和/或服务，例如路线计算、路线引导、地图显示、速度计算、距离和行驶时间功能和其他功能。导航相关的功能可以对应于车辆导航、行人导航或其他类型的导航。尽管本文描述的示例实施例一般涉及车辆沿道路行驶，但可以针对行人沿步行道行进、自行车沿自行车路径行驶、船只沿海上导航路线行驶等实现示例实施例。可以由独立于地图开发者的一方或实体进行汇编以产生最终用户数据库。例如，地图开发者的客户，例如导航设备开发者或其他最终用户设备开发者，能够以递送格式对所接收的地图数据库进行汇编，以产生一个或多个汇编的导航数据库。
如上所述，地图数据服务提供方108的地图数据库110可以是主地理数据库，但在替代实施例中，客户端侧地图数据库可以代表汇编的导航数据库，其可以用于最终用户设备(例如，移动设备104)中或与其一起使用，以提供导航和/或地图相关的功能。例如，可以将地图数据库110用于移动设备104以为最终用户提供导航特征。在这样的情况下，可以在最终用户设备上下载或存储地图数据库110，最终用户设备可以通过无线或有线连接，例如经由处理服务器102和/或网络112访问地图数据库110。
在一个实施例中，如上所述，最终用户设备或移动设备104可以由图1的设备20实现并可以包括车载导航系统，例如在车辆头部单元、信息娱乐单元或ADAS(高级驾驶员辅助系统)、个人导航设备(PND)、便携式导航设备、蜂窝电话、智能电话、个人数字助理(PDA)、手表、相机、计算机和/或能够执行导航相关功能，例如数字路由和地图显示的其他设备中。根据一些示例实施例，最终用户可以使用移动设备104实现导航和地图功能，例如引导和地图显示，并基于一个或多个计算的和记录的路线，确定一个或多个个性化路线或路段。
本文提供的示例实施例提供了一种在非确定性口语对话命令涉及用户视场之内或附近兴趣点时对它们消除歧义的方法。该方法采用与视场估计与现实世界的三维模型组合的口语对话系统，该系统允许用户得到对涉及空间参考的问题的有意义答案，例如“那里有什么？”或“那家商店什么时间开门？”
在实践中，在用户移动通过包括多个兴趣点的地区时，用户可能对更多了解兴趣点中的特定一个或多个感兴趣。本文描述的实施例允许用户口头请求关于兴趣点的此类信息，而示例实施例的系统确立视场、视场中可见的兴趣点以及哪个(些)兴趣点与用户的请求相关。如果超过一个兴趣点与用户的信息请求相关，示例实施例的系统可以向用户提供问题，例如口头问题或在显示器上呈现的问题，其中对问题的回答将消除多个相关结果的歧义，以决定用户正在请求哪个兴趣点的更多信息。
本文描述的示例实施例解决的一个难题是在为系统指定模糊术语，例如“那个”、“在那里”或“那家餐馆”的地址时，确定用户正在指哪些现实世界兴趣点、地方或物体。这可以通过估计用户的视场加上对现实世界的地理数据库形式的理解以及用户视场中建筑物的三维模型来完成。如上所述，可以通过仔细选择向用户提出的跟进问题来解决任何剩余的歧义。
根据如图3所示的示例性实施例，用于实施本文描述的方法的系统200可以包括定位模块210，其可以包括传感器，例如图1的传感器21。定位模块可以包括全球定位系统(GPS)传感器、确定蜂窝信号三角测量的传感器、方向传感器，诸如罗盘等。定位模块还可以包括确定用户或用户所在的车辆的取向的传感器。例如，加速度计、陀螺仪或速度传感器可以确定移动方向，这可以确定用户的取向，假设移动方向也是用户注视所聚焦的方向。如果系统包括车辆，车辆可以通过车辆指向的方向来提供车头指向或取向的指示。这些传感器可以为系统提供用户的位置/地点和取向。定位模块210可以包括处理容量，以转换任何接收的信号，以识别用户或车辆的位置或地点和取向；不过，在一些实施例中，处理器205可以被独立用于解释在定位模块210接收的信号以确定位置和取向。
尽管定位模块210可以用于假设用户的注视，但实施例可以任选地包括视场估计模块220，其被专门配置成确定系统200的用户的最可能视场。视场估计模块220可以被配置以多种传感器的任何传感器，用于确定用户的视场，例如，一个或多个注视跟踪传感器或场景特色估计器。注视跟踪传感器可以安装于用户的车辆中，并可以任选地结合驾驶员警觉性检测使用，以便对传感器的使用进行多路复用，但注视跟踪传感器可以任选地为用户穿戴设备，例如眼镜，或来自诸如移动终端的设备的传感器，移动终端可以从车辆取下，例如蜂窝电话。各实施例可以使用蜂窝电话或智能电话的前向相机，其安装于车辆中提供导航辅助的位置，使得示例实施例的系统可以在移动设备中自备并容易转移。
示例实施例的系统200还可以包括存储器230中地标和兴趣点的地理数据库232。这个数据库可以提供地标和兴趣点按照其地理位置的索引，并可以将这些位置与元数据相关联，元数据例如是用户评级、开放时间、文本描述、物理特性、联系信息等。存储器230还可以包括现实世界的三维模型数据库。这个数据库可以是建筑物和物体的详细模型或简化模型，其中建筑物被表示为对其占有面积和高度编码的框。于是，三维模型数据库可以包括线网型模型，以减小数据库的尺寸，或者可以包括例如基于可用存储器、带宽和处理能力的物体和兴趣点的详细渲染。
实施例的系统200还可以包括用户接口，用户接口可以实现系统200和用户之间的口语对话通信。用户接口可以包括口语语言理解模型(例如，自然语言理解模型)，以将用户的语言转换成文本，确定文本，并确定用户语言的意图。可以任选地包括对话管理器模块以对用户的查询或请求产生结构化回答。例如，对话管理器模块可以被配置成使用一个或多个知识源，例如地理数据库232、三维模型数据库234、包含关于兴趣点信息的数据库和/或因特网，以获得数据，用于生成可以用于对用户请求做出响应的数据。对话管理器模块可以实施歧义消除策略方式，用于在对用户查询或请求形成响应时产生消除歧义可能性最高的问题，如下文详细所述。可以包括自然语言发生模块以将对话管理器的数据和信息转换成自然语言语句。尽管对话管理器可以确定对用户查询的答案，但答案可能不是用户很好理解或令用户愉悦的形式，从而自然语言发生模块可以提供更令人愉悦的用户界面。用户接口240的文本转语音模块可以最终将自然语言语句转换成口语对话，让用户听到。任选地或另外，可以将所产生的自然语言在用户界面上呈现，以被阅读，替代或补充口语语言对话。
本文将描述用户与系统的交互的示例实施例。用户可能在驾驶通过城市的车辆中。在车辆停止时，用户可能看到希望获得更多信息的兴趣点并从该系统请求该信息。用户可以讲出问题，例如“那家餐馆什么时间开放？”用户接口240的口语语言理解模块可以提取结构化形式的用户意图。提取的信息可以包括：运营小时(由系统确定)；兴趣点名称(由系统确定)；兴趣点类型(确定为餐馆)；以及位置(在用户视场之内)。系统200可以如下文更详细所述使用模块220估计用户的视场。系统200然后可以查询地理数据库232以寻找用户视场之内的兴趣点，如下文进一步所述。可以利用由口语语言理解模块建立的标准来过滤用户视场之内的兴趣点。这可能涉及基于用户请求的歧义，用户和系统之间的多次语音交互。在本示例中，口语语言理解模块检测到用户希望获得关于餐馆的信息，因此不会考虑不是餐馆的所有兴趣点。在本示例中，为了容易理解，假设在用户确立的视场中仅有一家餐馆。
在过滤之后，系统200选择单个兴趣点，在这种情况下，这是视场中的唯一的餐馆。通过地理数据库自身中可用的元信息或其他知识源检索所请求的信息(在本示例中，名称和运行时间)。在本示例中，结构化答案是：inform(POI名称＝"Bob's Burgers"，运营时间＝[星期一到星期日，上午11:00到晚上10:00])。口语对话系统产生对这一结构化信息编码的自然语言语句。在本示例中，该系统的口语对话可以是“Bob's Burgers每天从上午11点到晚上10点开放”。最后，由文本转语音系统向用户呈现该语句。
为了检索用户视场之内的兴趣点，必须要确定视场。图4示出了确定用户视场的示例实施例。如图所示，令p为通过定位模块210确定的用户在车辆310中的当前位置的坐标。角度γ1和γ2决定了用户的估计视场，搜索半径r被确定为距用户能够看到的用户的距离。从地理数据库232，检索位于由p、r、γ1和γ2确定的圆扇区之内的候选兴趣点。从三维模型数据库234，检索位于由p、r、γ1和γ2定义的圆扇区之内的所有建筑物、物体和兴趣点的几何形状。可以按照距用户当前位置的降序距离(最远物体优先)对所检索的候选兴趣点排序。对于每个兴趣点POIi，系统200可以基于三维模型数据库确定兴趣点是否为用户可见，或者兴趣点是否被遮挡而无法看到。如果兴趣点不可见，则丢弃它并不再作为候选。然后返回剩余的候选兴趣点作为对用户查询的潜在结果。
为了确定兴趣点是否为用户可见，可以实施一种算法。如果兴趣点是完整建筑物(例如，购物中心、公寓楼、街道地址或地标)，该算法可以使用三维模型几何形状返回建筑物是否可见。如果兴趣点是建筑物的部分(例如，购物中心之内的商店或建筑物一楼的零售店)，该系统可以首先使用三维模型数据库234确定用户是否可以看到建筑物。如果建筑物不可见，则丢弃它，但如果建筑物可见，则确定兴趣点是否在街道水平上面向街道。如果是这样，则兴趣点为候选，而如果不是这样，兴趣点不是候选且被丢弃。此外，通过使用三维模型数据库234、位置和取向，可以确定在用户的视场中是否有可能妨碍他们看到兴趣点的障碍物或遮挡。这样可以允许本文描述的实施例进一步限制可能被遮挡而无法看到的候选兴趣点。
一旦确定了多个候选兴趣点中的兴趣点是否可见，那些可见的保持为候选，而不可见的那些被丢弃。然后可以根据计算的兴趣点是用户查询或请求主题的概率对兴趣点排序。给定该组检索的兴趣点Π和代表相对于位置p的距离和角度的两个随机变量D和Θ，可以如下以其距离d(πi)和角度θ(πi)为条件估计给定兴趣点的概率ΡΟΙπi：
Figure BDA0002379879010000151
假设D和Θ之间条件不相关，且其中：
Figure BDA0002379879010000152
为以其与车辆的距离d为条件的兴趣点的概率估计POIπ，dmax为最远兴趣点的距离，dmin为距最近兴趣点的距离，α是缩放因子以确保概率分布总和为一。P(Π|Θ)是以其距视场中心的角度θ为条件的概率POIπ。这是通过注视追踪系统或通过场景的特色地图估计的。P(Π)为给定POIπ的先验概率。这可以通过普及度、查询频率、相对排序在缺少任何额外信息的情况下，考虑视场中N个POI之间的分布来估计。
最后，通过下式对概率进行归一化：
Figure BDA0002379879010000161
该系统然后可以根据其概率对候选兴趣点排序。概率大于经验确定的阈值的所有兴趣点可以被视为要呈现给用户的候选。如果有超过一个候选保留下来，该系统然后可以产生歧义消除对话，以进一步将兴趣点的范围缩小到单个兴趣点。
根据兴趣点的密度和来自用户的查询或请求的歧义，系统可能会在用户的视场中发现多个兴趣点。不过，为了向用户呈现口语信息，应当仅选择可见兴趣点的小子集。这样一来，示例实施例的口语对话系统可以从用户请求信息，用于消除信息的歧义，如图5的流程图中所示。
如图5所示，在400处检索候选兴趣点。在410，确定存在多少候选兴趣点。如果仅有一个，则在420向用户呈现兴趣点信息。如果有超过一个候选兴趣点，则在430处产生歧义消除对话，以缩小候选数量，直到仅剩单个兴趣点候选，随后在420向用户呈现兴趣点信息。
这里给出了歧义消除对话产生的示例实施例，其中πi∈Π是兴趣点，aij∈A是代表兴趣点具有属性j的二元属性。所在对话状态跟踪器可以返回兴趣点上的概率分布P(Π)，如上所述。目标是利用跟进式问题做出响应，跟进式问题经过措辞，会使其答案解决该问题并消除歧义的机会最大。例如，如果所有兴趣点都是具有不同颜色的建筑物，有成效的跟进式问题会是“您是指红色的还是绿色的建筑物？”或“该建筑物是什么颜色”，其中颜色，包括红色和绿色，是为消除歧义而选择的富含信息的属性j。
可以通过若干方式进行兴趣点的歧义消除，例如用于富含信息的属性的选择或学习端到端深度学习模型的一组规则，该模型在给定查询和状况的情况下预测富含信息的属性。本文描述了使用信息理论概念的一个这样的实施例，其中Π和A被作为随机变量对待。P(Π)是由所在对话跟踪器提供的兴趣点的概率。Ρ(Π|Α＝ak)是在指定属性时兴趣点上的概率分布。鉴于可以通过观测信息增益标准来选择最富含信息的属性：
IG(Π，A＝ak)＝H(Π)-H(Π|A＝ak)
其中H()为熵函数。这类似于建筑物决策树模型中使用的启发式方法，其中选择信息增益最高的属性作为决策点。本文描述的是学习深度为一的决策树的特殊情况。为了完成这个模型，必须要在两个地方及其属性之间定义条件概率分布，可以从兴趣点的空间数据集通过经验方式获得该分布。
由于地图数据可能会过期或不正确，所以在估计P(Π|Α)时可以包括属性之间的混淆因子。例如，即使建筑物的颜色可能不匹配感知的颜色，但从区别也可以产生有意义的问题。该信息增益可以被一般化为Kullback-Leibler散度，这也可以用作距离度量，使得可以从几何问题求解出另一个实施例。在这样的实施例中，可以使用由其属性定义的兴趣点的矢量空间，并可以使用在兴趣点之间产生最大分离的属性最好地代表兴趣点之间的区别。在这个模型中，给定兴趣点数据集，估计属性的权重。兴趣点的属性或区分特征可以包括例如，兴趣点类型(例如，餐馆、公园、纪念碑等)、建筑物或环境特征(例如，雨棚、柱子、树篱、树木、标牌、显示器等)、建筑物建设(例如，单层、多层等)、建筑物材料(例如，砖瓦、墙板、石头等)、建筑物颜色、建筑物尺寸、公司名称或公司类型。
本文描述的实施例允许用户获得对关于他们周围的现实环境的问题的有意义答案。根据示例实施例，用户不需要知道兴趣点的名称或地址，以便找到关于它们的更多信息，允许进行更自发的自然交互。在由车辆驾驶员使用时，在与系统交互时减少驾驶员的受抑感提供了安全益处，并使得用户能够安全地操作车辆，同时通过口语对话与系统交互。
图6为流程图，示出了根据本发明示例实施例的方法。应当理解，可以通过各种手段，例如硬件、固件、处理器、电路和/或与执行包括一个或多个计算机程序指令的软件相关联的其他通信设备，来实施流程图的每个框以及流程图中框的组合。例如，可以通过计算机程序指令实现上文描述的一个或多个流程。就此而言，实现上述流程的计算机程序指令可以由采用本发明实施例的设备的存储器件26存储并由设备20的处理器24执行。将要认识到，任何这样的计算机程序指令可以被加载到计算机上或其他可编程设备(例如，硬件)上，以产生机器，使得所得的计算机或其他可编程设备实施流程图框中指定的功能。这些计算机程序指令还可以存储于计算机可读存储器中，其可以指示计算机或其他可编程设备以特定方式工作，使得计算机可读存储器中存储的指令产生一种制品，执行该制品会实现流程图框中指定的功能。计算机程序指令还可以被加载到计算机或其他可编程设备上，以导致在计算机或其他可编程设备上执行一系列操作，以产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现流程图框中指定的功能的操作。
因此，流程图的框支持用于执行指定功能的手段的组合以及用于执行指定功能的操作的组合。还要理解的是，流程图的一个或多个框，以及流程图中框的组合，可以由执行指定功能的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实现。
图6示出了用于提供响应于自然语言话语向用户提供关于兴趣点的信息的用户接口并从非确定性口语对话查询或请求消除兴趣点歧义的方法。如510处所示，接收用户位置的指示。可以通过定位方法，例如全球定位系统传感器来确定位置。可以在520处接收用户在该位置的视场的指示，其中可以至少部分地基于用户的面对方向或取向来确定视场。可以在530处接收自然语言话语，其中自然语言话语是由系统的自然语言理解模块接收并解释的。从该自然语言话语产生查询，包括从自然语言话语确定的至少一个请求、位置和用户的视场，如540所示。在550，通过使用所产生的查询进行数据库的搜索，来确定与查询相关联的兴趣点。在560处，经由用户接口向用户提供与兴趣点相关联的信息。
在示例实施例中，用于执行上图6的方法的设备可以包括处理器(例如，处理器24)，处理器被配置成执行上述操作(510-560)中的一些或每个。处理器例如可以被配置成通过执行硬件实施的逻辑功能、执行存储的指令或执行用于执行每个操作的算法，从而执行操作(510-560)。或者，该设备可以包括用于执行上述每个操作的模块。就此而言，根据示例实施例，用于执行操作510-560的模块的示例可以包括，例如用于执行指令或执行算法以如上所述处理信息的处理器24和/或设备或电路。
受益于前文描述及相关附图中所呈现的教导内容的这些发明所属领域的技术人员将想到对本文阐述的本发明的许多修改形式和其他实施例。因此，要理解的是，本发明不限于所公开的具体实施例，并且修改形式和其他实施例旨在涵盖于所附权利要求书的范围内。此外，尽管前面的描述和相关附图在元件和/或功能的特定示例组合的上下文中描述了示例实施例，应当理解，可以由替代实施例提供元件和/或功能的不同组合而不脱离所附权利要求的范围。就此而言，例如，如所附权利要求中一些可能阐述的，还想到了上文明确描述的之外的元件和/或功能的不同组合。尽管本文中采用了特定术语，但它们仅用于一般性和描述性意义，并非用于限制。

Claims (20)

1.一种设备，包括至少一个处理器和至少一个非暂态存储器，所述至少一个非暂态存储器包括计算机程序代码指令，所述计算机程序代码指令被配置成在被执行时导致所述设备至少：
接收用户位置的指示；
接收用户在所述位置的视场的指示；
接收自然语言话语；
从所述自然语言话语产生查询，其中所述查询包括从所述自然语言话语确定的至少一个请求、所述位置和所述用户的视场；
通过使用所产生的查询进行数据库的搜索，来确定与所述查询相关联的兴趣点；以及
经由用户接口提供与所述兴趣点相关联的信息。
2.根据权利要求1所述的设备，其中所述话语包括对关于兴趣点的信息的请求，所述信息包括如下一项或多项：营业时间、所述兴趣点名称、在所述兴趣点提供的服务、针对所述兴趣点的联系信息或所述兴趣点的用户评论。
3.根据权利要求1所述的设备，其中还使所述设备：
产生包括与所述兴趣点相关联的信息的自然语言语句，其中使所述设备经由用户接口提供与所述兴趣点相关联的信息包括使所述设备大声读出所述自然语言语句。
4.根据权利要求1所述的设备，其中，通过使所述设备进行如下操作而进一步使所述设备确定所述用户视场之内的多个兴趣点：
从所述用户位置确定视场的圆扇区和视场的半径；以及
检索位置在所述圆扇区和所述用户位置的半径之内的多个兴趣点。
5.根据权利要求4所述的设备，其中，使所述设备确定所述视场之内的多个兴趣点还包括使所述设备：
检索所述圆扇区和所述用户位置的半径之内的物体的几何形状的三维模型；
判断位置在所述圆扇区和所述用户位置的半径之内的所述多个兴趣点的每个是否从所述用户位置对所述用户可见；以及
丢弃被判定对用户不可见的任何兴趣点。
6.根据权利要求5所述的设备，其中通过使所述设备针对每个非丢弃兴趣点进行如下操作而进一步使所述设备对未丢弃的所述多个兴趣点排序：
确定距用户位置的距离；
确定所述兴趣点在所述视场之内的位置，其中所述位置包括相对于所述视场中心的角度；
至少部分地基于所述距离和所述位置计算所述兴趣点的得分；以及
根据所述多个兴趣点的相应得分对所述多个兴趣点的每个排序。
7.根据权利要求1所述的设备，其中，使所述设备通过使用所产生的查询进行数据库的搜索而确定与所述查询相关联的兴趣点包括使所述设备：
确定与所述查询相关联的至少两个兴趣点；
确定对至少两个兴趣点消除歧义的至少一个区分特征；
基于所述至少一个区分特征产生自然语言问题；以及
响应于所接收的对所述自然语言问题的回复而确定所述至少两个兴趣点之一。
8.根据权利要求7所述的设备，其中，所述至少一个区分特征包括如下一个或多个：兴趣点类型、建筑物特征、建筑物构造、建筑物材料、相对于不同位置的位置、建筑物颜色、建筑物大小、公司名称或公司类型。
9.根据权利要求1所述的设备，其中使所述设备确定与所述查询相关联的兴趣点包括基于所确定的与所述查询的相关性，根据所述兴趣点的排序过滤多个兴趣点，其中基于相对于所述用户的位置、在所述用户视场之内的位置以及所述兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
10.一种计算机程序产品，包括至少一个非暂态计算机可读存储介质，所述至少一个非暂态计算机可读存储介质中存储有计算机可执行程序代码指令，所述计算机可执行程序代码指令包括用于执行如下操作的程序代码指令：
接收用户位置的指示；
接收用户在所述位置的视场的指示；
接收自然语言话语；
从所述自然语言话语产生查询，其中所述查询包括从所述自然语言话语确定的至少一个请求、所述位置和所述用户的视场；
通过使用所产生的查询进行数据库的搜索，来确定与所述查询相关联的兴趣点；以及
经由用户接口提供与所述兴趣点相关联的信息。
11.根据权利要求10所述的计算机程序产品，其中所述话语包括对关于兴趣点的信息的请求，所述信息包括如下一项或多项：营业时间、所述兴趣点名称、在所述兴趣点提供的服务、针对所述兴趣点的联系信息或所述兴趣点的用户评论。
12.根据权利要求10所述的计算机程序产品，还包括用以执行如下操作的程序代码指令：
产生包括与所述兴趣点相关联的信息的自然语言语句，其中经由用户接口提供与所述兴趣点相关联的信息的程序代码指令包括大声读出所述自然语言语句的程序代码指令。
13.根据权利要求10所述的计算机程序产品，还包括使用用以执行如下操作的程序代码指令确定所述用户视场之内的多个兴趣点的程序代码指令：
从所述用户位置确定视场的圆扇区和视场的半径；以及
检索位置在所述圆扇区和所述用户位置的半径之内的多个兴趣点。
14.根据权利要求13所述的计算机程序产品，其中确定所述视场之内的多个兴趣点的程序代码指令还包括用以执行如下操作的程序代码指令：
检索所述圆扇区和所述用户位置的半径之内的物体的几何形状的三维模型；
判断位置在所述圆扇区和所述用户位置的半径之内的所述多个兴趣点的每个是否从所述用户位置对所述用户可见；以及
丢弃被判定对所述用户不可见的任何兴趣点。
15.根据权利要求14所述的计算机程序产品，还包括使用用于针对每个未丢弃兴趣点执行如下操作的程序代码指令对未丢弃的所述多个兴趣点排序的程序代码指令：
确定距所述用户位置的距离；
确定所述兴趣点在所述视场之内的位置，其中所述位置包括相对于所述视场中心的角度；
至少部分地基于所述距离和所述位置计算所述兴趣点的得分；以及
根据所述多个兴趣点的相应得分对所述多个兴趣点的每个排序。
16.根据权利要求10所述的计算机程序产品，其中通过使用所产生的查询进行数据库的搜索而确定与所述查询相关联的兴趣点的程序代码指令包括用以执行如下操作的程序代码指令：
确定与所述查询相关联的至少两个兴趣点；
确定对所述至少两个兴趣点消除歧义的至少一个区分特征；
基于所述至少一个区分特征产生自然语言问题；以及
响应于所接收的对所述自然语言问题的回复而确定所述至少两个兴趣点之一。
17.根据权利要求16所述的计算机程序产品，其中所述至少一个区分特征包括如下一个或多个：兴趣点类型、建筑物特征、建筑物构造、建筑物材料、相对于不同位置的位置、建筑物颜色、建筑物大小、公司名称或公司类型。
18.根据权利要求10所述的计算机程序产品，其中用以确定与所述查询相关联的兴趣点的程序代码指令包括基于所确定的与所述查询的相关性，根据所述兴趣点的排序过滤多个兴趣点的程序代码指令，其中基于相对于所述用户的位置、在所述用户视场之内的位置以及所述兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
19.一种绘图系统，包括：
存储器，所述存储器被配置成存储地图数据以及与多个兴趣点相关联的兴趣点信息；以及
处理电路，所述处理电路被配置成：
接收用户位置的指示；
接收用户在所述位置的视场的指示；
接收自然语言话语；
从所述自然语言话语产生查询，其中所述查询包括从所述自然语言话语确定的至少一个请求、所述位置和所述用户的视场；
通过使用所产生的查询进行所述存储器的搜索，来确定与所述查询相关联的兴趣点；以及
经由用户接口提供与所述兴趣点相关联的信息。
20.根据权利要求19所述的绘图系统，其中被配置成确定与所述查询相关联的兴趣点的处理电路包括被配置成基于所确定的与所述查询的相关性，根据所述兴趣点的排序过滤多个兴趣点的处理电路，其中基于相对于所述用户的位置、在所述用户视场之内的位置以及所述兴趣点与针对每个相应兴趣点的至少一个请求的相关性来确定相关性。
CN201880050830.1A 2017-08-08 2018-07-27 用于对视场中兴趣点消除歧义的方法、设备和绘图系统 Active CN110998563B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/671,324 US10552680B2 (en) 2017-08-08 2017-08-08 Method, apparatus and computer program product for disambiguation of points of-interest in a field of view
US15/671,324 2017-08-08
PCT/EP2018/070520 WO2019030027A1 (en) 2017-08-08 2018-07-27 METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR DISAMBIGUTING POINTS OF INTEREST IN A FIELD OF VISION

Publications (2)

Publication Number Publication Date
CN110998563A true CN110998563A (zh) 2020-04-10
CN110998563B CN110998563B (zh) 2023-07-28

Family

ID=63108532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050830.1A Active CN110998563B (zh) 2017-08-08 2018-07-27 用于对视场中兴趣点消除歧义的方法、设备和绘图系统

Country Status (4)

Country Link
US (2) US10552680B2 (zh)
EP (1) EP3665586A1 (zh)
CN (1) CN110998563B (zh)
WO (1) WO2019030027A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552680B2 (en) * 2017-08-08 2020-02-04 Here Global B.V. Method, apparatus and computer program product for disambiguation of points of-interest in a field of view
US11308175B2 (en) * 2019-06-27 2022-04-19 Cerence Operating Company Method and apparatus for enhancing a geolocation database
US11486960B2 (en) * 2019-12-13 2022-11-01 Billups, Inc. Mobile signal based building footprints
CN111859060A (zh) * 2020-01-10 2020-10-30 北京嘀嘀无限科技发展有限公司 一种信息查询方法、装置、电子设备和可读存储介质
CN112100522B (zh) * 2020-09-15 2024-06-14 北京百度网讯科技有限公司 用于检索兴趣点的方法、装置、设备及介质
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
US20220300570A1 (en) * 2021-03-16 2022-09-22 Here Global B.V. Data augmentation with on demand entity matching

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016147A (en) * 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
CN102449625A (zh) * 2009-05-26 2012-05-09 诺基亚公司 用于自动地理位置搜索认知的方法和装置
US20140280316A1 (en) * 2011-07-26 2014-09-18 ByteLight, Inc. Location-based mobile services and applications
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
US20150039536A1 (en) * 2013-08-01 2015-02-05 International Business Machines Corporation Clarification of Submitted Questions in a Question and Answer System
CN104769584A (zh) * 2012-07-31 2015-07-08 韦韦欧股份有限公司 在对话交互中消除用户意图歧义
KR20170082755A (ko) * 2016-01-07 2017-07-17 에스케이엠앤서비스 주식회사 음성 인식 기반 경로 안내 서비스 제공 장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165607A1 (en) 2004-01-22 2005-07-28 At&T Corp. System and method to disambiguate and clarify user intention in a spoken dialog system
IL174107A0 (en) * 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int METHOD AND APPARATUS FOR ANNOTATING MULTIMEDIA STREAMS
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8438835B2 (en) * 2007-07-30 2013-05-14 General Electric Company Methods and apparatus for mixing fluid in turbine engines
EP2243094A1 (en) 2008-01-10 2010-10-27 Koninklijke Philips Electronics N.V. Method of searching in a collection of data items
US20130030811A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US20130290234A1 (en) * 2012-02-02 2013-10-31 Visa International Service Association Intelligent Consumer Service Terminal Apparatuses, Methods and Systems
US8744771B2 (en) 2012-03-26 2014-06-03 Navteq B.V. Reverse natural guidance
US9208693B2 (en) 2012-04-30 2015-12-08 International Business Machines Corporation Providing intelligent inquiries in question answer systems
US9043140B2 (en) 2012-06-29 2015-05-26 Here Global B.V. Predictive natural guidance
US10325489B2 (en) 2012-06-29 2019-06-18 Here Global B.V. Dynamic natural guidance
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9286029B2 (en) 2013-06-06 2016-03-15 Honda Motor Co., Ltd. System and method for multimodal human-vehicle interaction and belief tracking
EP3005348B1 (en) 2013-06-07 2020-03-11 Nuance Communications, Inc. Speech-based search using descriptive features of surrounding objects
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US9953644B2 (en) 2014-12-01 2018-04-24 At&T Intellectual Property I, L.P. Targeted clarification questions in speech recognition with concept presence score and concept correctness score
US10552680B2 (en) * 2017-08-08 2020-02-04 Here Global B.V. Method, apparatus and computer program product for disambiguation of points of-interest in a field of view

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016147A (en) * 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
CN102449625A (zh) * 2009-05-26 2012-05-09 诺基亚公司 用于自动地理位置搜索认知的方法和装置
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
CN102985901A (zh) * 2010-05-16 2013-03-20 诺基亚公司 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
US20140280316A1 (en) * 2011-07-26 2014-09-18 ByteLight, Inc. Location-based mobile services and applications
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
CN104769584A (zh) * 2012-07-31 2015-07-08 韦韦欧股份有限公司 在对话交互中消除用户意图歧义
US20150039536A1 (en) * 2013-08-01 2015-02-05 International Business Machines Corporation Clarification of Submitted Questions in a Question and Answer System
KR20170082755A (ko) * 2016-01-07 2017-07-17 에스케이엠앤서비스 주식회사 음성 인식 기반 경로 안내 서비스 제공 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEQIN YU; ET AL.: "Spatio-temporal data query of urban traffic navigation considering point of interest", 《2013 6TH INTERNATIONAL CONFERENCE ON INFORMATION MANAGEMENT, INNOVATION MANAGEMENT AND INDUSTRIAL ENGINEERING》 *
郑束蕾: "个性化地图的认知机理研究", 《中国博士学位论文全文数据库（电子期刊）》 *

Also Published As

Publication number Publication date
EP3665586A1 (en) 2020-06-17
US20200110938A1 (en) 2020-04-09
CN110998563B (zh) 2023-07-28
US10552680B2 (en) 2020-02-04
US20190050645A1 (en) 2019-02-14
US10810431B2 (en) 2020-10-20
WO2019030027A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN110998563B (zh) 用于对视场中兴趣点消除歧义的方法、设备和绘图系统
US10914607B2 (en) Method, apparatus and computer program product for providing route guidance to multiple points of interest
US9239246B2 (en) Method, system, and computer program product for visual disambiguation for directions queries
EP3150963B1 (en) Indexing routes using similarity hashing
US9097553B2 (en) Navigation based on direction of travel/user-defined path
US10175059B2 (en) Method, apparatus and computer program product for a navigation system user interface
US20220179857A1 (en) Method, apparatus, and system for providing a context-aware location representation
US11624626B2 (en) Method, apparatus and computer program product for using a location graph to enable natural guidance
US11920945B2 (en) Landmark-assisted navigation
US11714832B2 (en) Method, apparatus, and system for combining location data sources
US11409292B2 (en) Method, apparatus, and computer program product for generating a map of road links of a parking lot
US20200201891A1 (en) Method, apparatus, and computer program product for identifying at-risk road infrastructure
US20220180214A1 (en) Method, apparatus, and system for providing semantic categorization of an arbitrarily granular location
EP3594852A1 (en) Method, apparatus, and system for constructing a polyline from line segments
JP2024020616A (ja) ナビゲーション中に難しい操縦についての追加の命令を提供すること
US20210270629A1 (en) Method and apparatus for selecting a path to a destination
US10401187B2 (en) Method, apparatus and computer program product for a navigation system user interface
US20210364312A1 (en) Routes on Digital Maps with Interactive Turn Graphics
US20220180183A1 (en) Method, apparatus, and system for providing place category prediction
US20220180184A1 (en) Method, apparatus, and system for providing a location representation for machine learning tasks
US20240102816A1 (en) Customizing Instructions During a Navigations Session
US20230123323A1 (en) Familiarity Based Route Generation
US20220156337A1 (en) Late binding data for location-based searching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant