CN109643317A - 用于在界面中空间对象的相对表示和消岐的系统和方法 - Google Patents
用于在界面中空间对象的相对表示和消岐的系统和方法 Download PDFInfo
- Publication number
- CN109643317A CN109643317A CN201780052632.4A CN201780052632A CN109643317A CN 109643317 A CN109643317 A CN 109643317A CN 201780052632 A CN201780052632 A CN 201780052632A CN 109643317 A CN109643317 A CN 109643317A
- Authority
- CN
- China
- Prior art keywords
- equipment
- real world
- indicator
- world objects
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000013500 data storage Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims 2
- 238000005259 measurement Methods 0.000 claims 2
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 21
- 230000002452 interceptive effect Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文描述和要求保护的具体实施提供用于用户与机器之间的交互的系统和方法。在一个具体实施中,提供一种系统,其接收来自移动机器的用户的输入,该输入指示或描述世界中的对象。在一个实施例中,用户可向该对象做出由视觉传感器检测到的手势。在另一个实施例中,用户可语言描述该对象,这由音频传感器检测到。接收输入的系统然后可确定用户正在指示用户的位置附近的哪个对象。此类确定可包括利用用户或者自主机器或移动机器的地理位置附近的已知对象。
Description
相关申请的交叉引用
该专利合作条约(PCT)申请与2016年9月23日提交的题为“SYSTEMS AND METHODSFOR RELATIVE REPRESENTATION OF SPATIAL OBJECTS AND DISAMBIGUATION IN ANINTERFACE”的美国专利申请No.62/398,579相关并要求其优先权,其全部内容通过引用并入本文用于所有目的。
技术领域
本公开的方面涉及用于机器的交互式用户界面,并且更具体地涉及提供空间对象相对于机器位置的表示和消歧的交互式用户界面。
背景技术
当使用自主计算机器(包括机器人、飞行器、航空航天器、潜水器、汽车、其他地面车辆等)旅行时,用户可能经常在制定计划或请求有关他们周围世界的信息时参考他们的周围环境。然而,通常难以以对用户直观的方式向自主机器的用户呈现所请求的信息,即,在二维显示器上呈现三维空间的信息。此外,通常用户要参考机器周围的世界中的对象的指示是不准确的,尤其当机器在环境中移动时。因此,可能难以准确地确定机器的用户正在试图接收关于世界中的哪个对象的信息。正是考虑到这些和其他观察结果,构思并制定了本公开的各个方面。
发明内容
本文描述和要求保护的具体实施通过提供用于以下项的方法、系统和/或计算设备解决前述问题:通过输入系统接收对所述设备的外部环境中的现实世界对象的非触觉选择,估计设备的近似地理位置,以及针对设备的估计的近似地理位置从位于外部环境内的现实世界对象的数据库获取外部现实世界对象指示符的子集。该方法、系统和/或计算设备还可至少基于所述非触觉选择从外部现实世界对象指示符的所述子集中选择至少一个对象作为消岐选择并且显示所述外部对象指示符的子集的所述至少一个对象的表示。
本文还描述和列举了其他具体实施。此外,虽然公开了多个具体实施,但是根据示出和描述本发明所公开的技术的示例性具体实施的以下详细描述,本发明所公开的技术的其他具体实施对于本领域的技术人员而言将变得显而易见。如将认识到的,在均不脱离本发明所公开的技术的实质和范围的前提下,可在各个方面对本发明所公开的技术进行修改。因此,附图和具体实施方式在实质上将被视为是例示性的而不是限制性的。
附图说明
图1是用于在用户界面中提供空间对象相对于机器的表示的示例系统的图。
图2示出了用于在用户界面中生成空间对象相对于机器的表示的示例系统。
图3示出了用于确定三维空间中的对象并且在用户界面中提供所述对象相对于机器或用户的表示的方法的流程图。
图4示出了用于在用户界面中显示空间对象相对于机器的表示的第一实施方案。
图5示出了用于在用户界面中显示空间对象相对于机器的表示的第二实施方案。
图6示出了用于在用户界面中显示空间对象相对于机器的表示的第三实施方案。
图7示出了用于在用户界面中显示空间对象相对于机器的表示的第四实施方案。
图8示出了用于在用户界面中显示空间对象相对于机器的表示的第五实施方案。
图9示出了用于在用户界面中显示空间对象相对于机器的表示的第六实施方案。
图10示出了用于随着移动设备在环境中移动在用户界面中改变空间对象相对于机器的所显示的表示的实施方案。
图11示出了用于基于所存储的环境信息消岐对对象的选择的方法的流程图
图12是包括被布置成执行本发明所公开的技术的各种操作的操作单元的电子设备的功能框图。
图13是可实现本发明所公开的技术的各种系统和方法的示例性计算系统。
具体实施方式
本发明所公开的技术的各方面涉及用于用户与机器(诸如自主机器)之间的交互的系统和方法。通常,提供一种系统,其接收来自诸如自主车辆或移动计算设备的移动机器的用户的输入,该输入指示或描述世界中的对象。在一个实施例中,用户可对对象做出由视觉传感器检测到的手势。又如,用户可语言描述对象,这由音频传感器检测到。接收输入的系统然后可确定用户正在指示用户位置附近的哪个对象。此类确定可包括利用用户或自主或移动机器的地理位置附近的已知对象。在一个具中的对象的先前选择或者指示的数据库(对用户来说全局的或者个人的)来消岐用户的输入。
此外,系统可通过移动机器或设备的用户界面向用户或多个用户呈现所确定的对象的指示。在一个具体实施方案中,可相对于用户或设备的位置在空间上定向所确定的对象来呈现所确定的对象的指示。本文提供了用于相对于用户或移动机器的位置显示所确定的对象的用户界面的各种实施例。此外,当用户或移动机器的位置相对于所确定的对象改变时,可周期性地更新用户界面。例如,当车辆沿着道路或路径行进时,用户界面可包括在自主车辆或半自主车辆中。车辆的用户或乘客可指示车辆外部的对象以选择对象。车辆内的用户界面可向乘客提供所选对象的指示,并且随着车辆沿着道路移动,可在用户界面内改变所选对象的表示。
在另一个实施方案中,可在用户界面中显示多个对象。系统可利用消歧来基于用户输入选择“最可能”的候选者。然而,其他可能选择的对象也可显示在用户界面中。在一个实施方案中,可基于计算的用户的选择或指示的可能性来对潜在对象进行排序或显示。此外,可基于移动设备在环境内的移动来在显示器内调整所显示的潜在对象中的一者或多者,以维持所显示的对象与移动机器或设备之间的空间关系。
图1是用于在用户界面中提供空间对象相对于机器的表示的示例系统100的图示。系统100包括移动机器或计算设备108。在一个实施例中,移动机器108是移动通信设备,诸如蜂窝电话或平板电脑计算设备。在另一个实施例中,移动机器108可是自主的,半自主的或非自主的车辆。一般来讲,可在环境中移动的任何类型的计算设备可被包括在如移动机器的系统100中。
移动设备108可包括显示器104部分和/或交互部分102。在移动设备108是平板电脑或蜂窝电话的实施例中,显示器104部分可包括屏幕,通过该屏幕可查看周围的现实世界环境的部分。在移动设备108为车辆的实施例中,显示部分可包括挡风玻璃或其他透明部分,车辆的用户或乘客可通过该挡风玻璃或其他透明部分来查看车辆周围的环境。在另一个实施例中,显示部分104可为透明的显示设备。如下文更详细地解释,可在显示部分104上显示移动设备108周围的环境内的对象或多个对象的一个或多个指示,使得系统100的用户可查看所显示的指示。因此,在一些情况下,显示部分104可包括增强现实显示器(ARD)或其他类型的增强显示系统,在用户观看周围环境的同时显示指示。这样,所显示的环境中对象的指示符可叠加在环境视图上,或者可与环境本身分开显示。
在一些情况下,显示部分可与移动设备108分离并与移动设备108通信。在移动设备或机器108为车辆的实施例中,可将通信提供给单独的移动设备,诸如蜂窝电话或平板计算设备,以在移动设备上显示所提供的结果。这样,第二设备可用作移动机器108的显示部分。
系统移动设备108还可包括交互部分102,其接收来自设备的用户的输入和/或向用户提供一个或多个输出。在一些情况下,在对象指示结果106部分中呈现对移动设备108周围的环境中的对象的选择的结果。在其他实施方案中,结果部分106可提供关于在显示部分104中显示的环境的对象的信息。例如,显示在显示部分104中的对象可为移动设备108附近的办公楼。几个企业可位于建筑物内,并且可在交互部分102的结果部分106中显示这些企业中的每者或一些的列表。在一些情况下,系统100的用户可与提供的结果106交互以获得关于所显示的对象的更多或更少的信息。下面更详细地描述所选对象的不同类型的显示的几个实施例和相关的交互过程。
转到图2,示出了用于在移动设备100上的环境中生成所选对象的一个或多个指示的示例系统200。在一个具体实施中,系统200包括通过机器控制器204与多个专用机器部件206通信的对象选择控制器202。在一个具体实施中,机器控制器204是专用节点系统网络,其中对象选择控制器202和专用机器部件206基于其自身需要来通信。例如,机器控制器204可利用涉及消息传递模式的发布者-订户体系结构,其中消息被发布到机器控制器204并且被表征为类。对象选择控制器202和每个专用机器部件206都可订阅任何类别以接收对应的消息。因此,对象选择控制器202可在不知道发布者(如果有的话)是谁的情况下接收机器状态信息和/或用户状态信息。类似地,对象选择控制器202可将消息发布到机器控制器204而不知道存在哪些订阅者(如果有的话)。应当理解,可在机器控制器204中部署为对象选择控制器202和专用机器部件206提供通信信道的其他架构。
对象选择控制器202被配置为基于经由机器控制器204或通过交互式接口102获得的机器状态信息和/或用户状态信息,在移动设备100上的环境中生成所选对象的一个或多个指示。在一个具体实施中,对象选择控制器202包括:对象指示控制器208,所述对象指示控制器208被配置为在显示设备104中生成所选择或者所确定的对象的指示,以及输入控制器206,所述输入控制器206被配置为接收来自系统100的用户的输入以选择环境中的对象。
在一个具体实施中,为了允许与用户交互并显示对象的指示符,专用机器部件206向对象选择控制器202注册。专用机器部件206各自负责用于移动设备或机器的一个或多个服务和/或与移动设备或机器的一个或多个子系统通信。例如,专用机器部件206可包括导航部件、运动部件、感知或传感器部件、状态部件、环境部件等等。
机器控制器204还可通过网络218获得机器状态信息、用户状态信息、环境信息和/或其他原始或经处理的数据。在一个具体实施中,网络218由包括一个或多个数据库220的一个或多个计算或数据存储设备使用,用于与用户界面进行远程交互。服务器222还可托管用户访问的网站或应用程序以访问存储在数据库220中的信息和/或用于与用户界面的远程交互。服务器222可是单个服务器、多个服务器,每个这样的服务器是物理服务器或虚拟机,或者是物理服务器和虚拟机二者的集合。在另一个具体实施中,云托管一个或多个网络部件。机器控制器204、服务器222以及连接到网络218的其他资源(诸如数据库220或用户设备)可访问一个或多个其他服务器,以访问一个或多个网站、应用程序、网络服务接口等等,以访问用户状态信息、机器状态信息和/或其他服务或信息。服务器222还可托管用于访问和修改这种信息的搜索引擎。
为了经由系统100的用户界面与用户进行交互,采用一个或多个输入设备214和输出设备216。输入设备214一般可是与对象选择控制器202通信(有线或无线)的任何形式的输入设备,并且被配置为以视觉、音频和/或触觉输入的形式来捕捉原始数据。例如,输入设备214可包括一个或多个传感器、用户设备等等。用户设备一般是任何形式的计算设备,诸如计算机、移动设备、智能电话、平板电脑、多媒体控制台、交通工具界面控制台等等。传感器可包括但不限于麦克风、成像器、触摸屏传感器(例如,电阻、表面声学、电容,、红外(IR)、光学、压力等)。在一个具体实施方中,输入设备214将信号(诸如,可见光、不可见光(IR光)、声波等)投射到视场中。信号从视场反射并由输入设备214中的一个或多个传感器检测。应当理解,输入设备214和/或主界面控制器202可采用各种视觉、音频和触觉处理技术来摄取由输入设备214捕捉的来自用户的输入。
类似地,输出设备216一般可以是与主界面控制器202通信(有线或无线)的任何形式的输出设备,并且被配置为提供视觉、音频和/或触觉输出。输出设备216可包括但不限于:显示器、投影仪、扬声器、光源、触觉设备、用户设备等等。在一些具体实施中,输出设备216被集成到自主交通工具的部件中(例如,在座椅、方向盘等中)。
在示例性具体实施中,用户通过对环境中的现实世界的物理手势、语言描述、在显示设备上对对象的物理选择等来提供输入214到系统200。输入被提供给对象选择控制器202的输入控制器206。如下文所更详细解释的,对象选择控制器202可通过使用系统200的若干其他部件(例如通过机器控制器204部件访问的专用机器部件206、服务器222、数据库220等)来消岐所接收的用户对对象的指示。一旦消岐对对象的选择,指示控制器208就在显示设备104上向用户提供至少所选对象的指示。在一个具体实施方案中,指示控制器208可在显示设备中提供若干可能选择的对象,如下面更详细描述的。即,指示控制器208可将对象的指示提供给输入控制器206,以将对象显示在交互式界面102中作为界面的输出216。在一些实施方案中,指示控制器208可接收移动设备(例如车辆)的位置信息,并相应地调整一个或多个对象的显示。
图3示出了用于确定三维空间中的对象并在用户界面中提供所述对象相对于机器或用户的表示的方法的流程图。一般来讲,图3的方法300的操作由系统100执行,用于在用户界面中提供空间对象相对于机器的表示。因此,系统200中示出的一个或多个部件可用于执行所描述的方法300的操作。
从操作302开始,系统100从设备的用户接收移动设备108外部的现实世界对象的指示。例如,移动设备108的用户可指示移动设备周围的环境中的特定建筑物。该指示可包括用户在建筑物的方向上做出的手势,诸如指向建筑物或向建筑物挥手。在另一个实施例中,手势可包括凝视建筑物或凝视建筑物的大致附近以选择或指示建筑物。该手势可由视觉传感器检测,例如红外相机或RGB相机,其获得用户的移动或注视。在移动设备108是车辆的实施例中,视觉传感器可位于车辆内并且被配置为检测车辆乘客对车辆外部的对象的移动或注视。在移动设备是平板电脑或其他移动计算设备的实施例中,移动设备108中可包括类似的机制。
又如,从用户接收的输入可是预期对象的语言描述。在这种情况下,可包括音频传感器或以其他方式连接到移动设备108以接收预期对象的语言描述。此外,系统200(诸如对象选择控制器202)可包括用于确定外部对象的描述的含义的程序。下面更详细地描述与移动设备108的外部对象相关的语言描述的消岐。
还可接收其他输入以指示或选择外部现实世界对象。例如,可在接收来自用户的触摸输入的显示器上提供环境视图。因此,用户可触摸显示器的屏幕以选择对象。又如,输入设备(诸如鼠标或触笔)可用于向显示器或系统200提供输入。一般来讲,可结合在移动设备108外部的环境中选择对象来利用任何已知的或以后开发的用于向计算设备提供输入的设备或系统。
在操作304中,系统200确定移动设备108的近似地理位置。例如,移动设备108可是移动计算机或蜂窝电话,其包括全球定位系统(GPS)能力以确定设备的估计地理位置。类似地,车辆可包括GPS或其他定位能力以确定移动设备的位置。利用估计的位置,移动设备108可在操作306中将所接收的外部对象的指示与设备108的估计位置附近或跟前的已知对象的数据库进行比较。例如,车辆可行进穿过已知道路的特定交叉口。交叉口中的诸如建筑物、办公室、公共汽车站、交通信号灯等的对象可被分类并存储在数据库中,诸如可通过网络218访问的数据库220。可针对围绕地球的任何数量的位置获取此类对象的集合并将其存储在数据库220或移动设备108可访问的任何数量的数据库中。继而,移动设备108可在接收来自用户的输入之前或之后访问对象数据库220以检索移动设备的估计位置中的已知对象。所接收的输入与移动设备108的外部环境中的已知对象的数据库的比较可包括消歧操作,以进一步细化或确定用户在操作308中选择哪些已知对象。
具体地,系统200可将来自移动设备108的用户的接收输入与存储在数据库220中的针对估计设备位置的现实世界对象的一个或多个指示符进行比较。例如,所接收的输入可包括用户朝向移动设备108外部的位置的手势或注视。通过分析车辆的位置、手势的取向以及环境内的一个或多个现实世界对象的估计位置,系统200可确定针对所接收手势的“最佳拟合”对象。换句话讲,系统200可确定手势的视线或目的地,并将手势的预期方向与环境中的一个或多个对象的已知位置进行比较。通过该分析,系统200然后可预测或选择环境中的对象作为系统200的用户正在引用或选择的对象。
在上述另一实施例中,系统200的用户可提供用户在环境中引用的对象的语言描述。例如,用户可以向系统询问关于“红色建筑物”、“高山”、“最近的银行或ATM”、“那个咖啡店”等的更多信息。通常,用户可使用任何描述来选择移动设备108外部的环境中的对象以了解关于该对象的更多信息。系统200可接收对象的语言描述并利用一种或多种语音识别(VR)技术来确定用户所说的内容。一般来讲,系统200可利用任何已知或以后开发的VR技术来理解对象或位置的语言描述,以确定或估计用户在环境内选择的对象。
利用所确定的对象的语言描述,系统200可基于移动设备108的估计的地理位置将所接收的描述与已知或存储的现实世界对象指示符的数据库220进行比较。例如,用户可向移动设备108询问关于用户在移动设备的外部环境中查看的本地咖啡店的信息。然后,系统200可确定移动设备的估计位置,访问对象指示符或位置的数据库220,并确定咖啡店是否位于移动设备附近。在其中不止一个咖啡店位于移动设备附近的一个实施方案中,系统200可利用从其他传感器(诸如视觉传感器)检测到的来自用户的其他输入(诸如手势或注视的方向)来确定用户想要了解多个咖啡店中的哪个咖啡店。因此,在另一个实施例中,系统200可确定用户在对象的描述期间说出了“红色”和“建筑物”字样。在确定了这些描述词的情况下,系统200可分析数据库220中存储的针对移动设备108的地理位置针对红色建筑物的对象指示符并且选择那个对象作为用户的描述所指示的对象。
这样,系统200可尝试确定用户正在向外部环境中的哪个对象做手势、描述或以其他方式选择外部环境中的哪个对象。该过程可以其他方式被认作或称为“消岐”用户输入。如上所述,从移动设备的用户或系统108接收的输入可能不会清楚地选择或描述环境中的预期对象。另外,一些用户可使用特定描述词,而其他用户可使用不同的描述词。因此,系统200可利用一种或多种技术消岐从用户接收的输入,以更好地选择环境中的对象,例如利用若干传感器来确定用户的意图或限制在移动设备108附近考虑的对象的数量。下面更详细地讨论用于消岐用户正在指示的移动设备108的外部环境中的特定对象的其他方法和技术。无论系统200使用何种技术,系统都选择移动设备108的环境中的最佳拟合或几个最佳拟合的对象用于呈现或显示给用户。
在操作310中,系统200显示从上述操作获得的结果。一般来讲,系统200基于用户的输入和输入的消歧来向用户显示最佳拟合结果。结果可包括所确定的对象的指示符和/或关于该对象的信息。对于建筑物或其他此类对象,信息可包括但不限于与建筑物相关联的商业名称或位置、电话号码、地址、建筑物大小、建筑物名称等。对于诸如山的自然对象,信息可包括山的名称、山的高度以及特定于所选对象的其他信息。一般来讲,可向所确定的所选对象的用户提供或显示任何信息。
此外,可以相对于用户或移动设备位置在空间上定向该对象的方式向用户提供对象的表示。下面参考图4-10提供了通过用户界面将环境中的对象空间上定向到用户或移动设备位置的几个实施例。可通过任何类型的显示设备或用户界面向用户提供此类指示符。此外,当移动设备108在环境中移动时,移动设备相对于所显示的对象的取向和位置可以改变。例如,如上所述,系统200最初可显示由用户在交叉路口的拐角处选择的对象。然而,当车辆或其他移动设备108移动通过交叉路口并沿路径继续时,所选对象的位置相对于车辆的位置改变。因此,在操作312中,系统200可基于移动设备108的移动来改变显示的结果。具体地,当设备在环境中移动时,系统200可连续地或周期性地更新移动设备108的估计位置。随着每个位置更新,可改变显示的结果以反映移动设备和所选对象之间的新空间关系。此外,用户可在稍后选择更多对象。这些附加对象也可由系统200向用户显示。这样,可更新系统200的显示结果以反映移动设备108的位置和/或方向的变化,以进一步向移动设备提供所选对象的空间表示。
图4-10示出了显示器或用户界面400的各种实施例,通过该显示器或用户界面400,提供了与机器的交互以及相关的机器状态信息和用户状态信息。本领域的技术人员应当理解,这种描绘仅是示例性的,而并非旨在是限制性的。一般来讲,图4-10中所示的每个用户界面是相对于图1的系统100提供的。因此,每个图示包括移动设备108(诸如平板计算设备或车辆),其包括显示部分104和交互部分102。在移动设备108是车辆的实施例中,显示部分104可以包括挡风玻璃或其他透明材料,车辆的用户可以通过该挡风玻璃或其他透明材料查看外部环境。所示移动设备的一个或多个用户可与用户界面的几个方面交互,如下面更详细地解释的。
图4示出了用于在用户界面中显示空间对象相对于机器的表示的第一实施方案400。在该实施例中,外部环境可通过显示部分104可见。因此,显示部分104可包括车辆的挡风玻璃或与移动计算设备相关联的相机的视图。通过上述方法300,移动设备108的用户可指示外部环境中的对象。系统200可确定用户选择的环境中的“最佳拟合”对象。用户可能还指示的其他对象也可以显示在显示部分104中。因此,系统200可显示用户可能已经选择的几个对象的列表,以向用户提供与用户输入的多于一个潜在匹配的信息。如图4所示,系统200可在显示部分104内将所确定的对象的指示符406叠加在外部环境上。在一个实施例中,指示器406可通过与系统200结合操作的观看者或用户佩戴的ARD可见。
在图4所示的实施方案400中,外部环境中的对象的三个指示符406显示在移动设备108的显示部分104中。尽管示出为具有指向所确定的对象的箭头的圆圈,但是应当理解,可使用任何类型和形状的指示符406。响应于用户向系统200提供输入,可显示指示符406。例如,用户可指向环境中的对象以获得关于对象的信息。系统200可解释该指向并选择环境中的对象作为用户感兴趣的对象。系统200还可提供其他可能的对象作为感兴趣的对象。这样,可在显示器108中显示潜在感兴趣对象的排名,如排名1-3所示。还可在移动设备108的交互式部分402中提供关于所选对象的信息。在一个实施方案中,用户可向系统200提供附加输入(例如按下交互部分402的一部分)以获得关于所选对象的更多信息。由交互部分402提供给用户的信息可显示在显示部分108中或移动设备108的任何其他表面上。通过该界面400,用户可指示移动设备108附近的对象,被提供有所指示对象的一个或多个指示符406,并在移动设备的显示器内选择或被提供有关所选对象的信息。
在另一个实施方案中,用户可提供对象的语言描述。例如,用户可描述“左边的建筑物”。作为响应,如图所示,系统200可选择用户期望的潜在对象并在显示器104中提供所选对象。与上文相似,指示符406可包括基于用户描述的潜在对象的排名。无论接收的输入类型如何,系统200都显示所确定的对象的指示符406,并且在一些情况下,通过交互部分402或在显示器本身中向用户提供关于所选对象的附加信息。因此,用户可与移动设备108的外部环境交互以获得关于环境中的一个或多个对象的信息。
图5示出了用于在用户界面中显示空间对象相对于机器的表示的第二实施方案500。在该实施方案500中,在移动设备108的显示部分104中没有提供所选对象的视觉显示。相反,在移动设备108的交互部分102的对象指示结果区域506中提供对象的显示。这样,系统显示的结果可在显示部分104或交互部分102中提供,或者在某些情况下提供。该实施方案500可用在车辆中,以防止指示符在车辆运行期间被投射到挡风玻璃上。
图6示出了用于在用户界面中显示空间对象相对于机器的表示的第三实施方案600。在该实施方案600中,在显示器104中提供外部环境602的视觉表示。视觉表示602可包括所确定的对象的一个或多个指示符606。此外,视觉表示602可包括靠近表示的中心的道路或路径指示符604。提供道路指示符604以相对于用户/移动设备108的位置定向所选对象606。例如,当移动设备沿着路径或道路行进时,所选对象可位于道路的右手侧或左手侧。在外部环境602的视觉表示中包括道路指示器604提供关于所选择的对象相对于移动设备108的位置位于道路的哪一侧的指示。此外,关于所选择或提供的对象的信息608也可包括在视觉表示602中。在其他实施方案中,所选对象的信息或附加信息可显示在移动设备108的对象指示结果106区域中。
图7示出了用于在用户界面中显示空间对象相对于机器的表示的第四实施方案700。在该实施方案700中,在显示器104中提供外部环境702的视觉表示。在一个实施例中,视觉表示702示出了当车辆是移动设备108时车辆的一侧。在一个实施方案中,视觉表示可是外部环境的照片或图像。在另一个实施方案中,视觉表示702可是外部环境的创建图像。如图7所示,视觉表示702包括位于车辆一侧的建筑物。此外,视觉表示702可包括所确定的对象的一个或多个指示符706。具体地讲,可示出一个或多个建筑物确定为用户可能选择的对象。也可图示或示出其他未选择的建筑物。也就是说,可在视觉表示702中相对于其他非对象图示或示出所选对象706。此外,视觉表示702可包括关于所选择或提供的对象的信息708。在所示的实施方案中,信息708采用与视觉表示702中的所选对象706相关联的公司或企业的下拉列表的形式。可列出位于建筑物内的具有多个企业的建筑物,并且在一些情况下,可包括与建筑物内的商业位置相关联的楼层编号。在其他实施方案中,所选对象的信息或附加信息可显示在移动设备108的对象指示结果106区域中。
图8示出了用于在用户界面中显示空间对象相对于机器的表示的第五实施方案800。图8的实施方案800类似于图7的实施方案。然而,在图8的视觉表示802中,信息808以列表形式提供,并且不一定与特定的图示或示出的建筑物相关联。每个列出的对象的附加信息也可包括在显示部分104中。
图9是用于在用户界面中显示空间对象相对于机器的表示的第六实施方案900。在该实施方案900中,沿时间线904显示所选对象。以类似的方式,还可沿时间线904或在移动设备108的交互部分1022中提供所选对象的对应信息。在一个实施方案中,沿着时间线904的位置可对应于所选对象到用户或移动设备108的位置。例如,最接近的结果可位于时间线904的最右侧,而来自移动设备108的最远的对象可位于时间线的最左侧。然而,一般来讲,所选对象在时间线904上的位置可基于关于所选对象的任何信息,诸如对象位置和/或所选对象是由用户输入指示的特定对象的可能性。
如上所述,当移动设备108或用户在环境中移动时,可调整或改变显示的结果。例如,图10示出了当移动设备在环境中移动时用于改变用户界面中空间对象相对于机器的显示表示的实施方案1000。图10中的图示1000类似于图6中所示的图示,并且包括一个或多个对象指示符1006。然而,在该实施方案中,在视觉表示1002中示出了移动设备1004的表示。此外,当移动设备在环境中移动时,移动设备108与所选对象1006的相对位置可以改变。移动设备1004和所表示的对象1006之间的相对位置的这种改变也可以在视觉表示1002中示出。具体地,随着移动设备108移动,对象指示符1006的位置可在视觉表示1002内移动,诸如朝向表示的底部移动(如向下指示的运动箭头所示)。然而,应当理解,对象指示符1006可以任何方向或方式围绕视觉表示1002移动,以示出移动设备1004与对象之间的相对位置的变化。
以类似的方式,当移动设备108在环境中移动时,其他实施方案中的对象指示符也可被改变。例如,可在显示部分104内移动图4的对象指示符406以保持指向所选对象。在视觉表示的实施方案700,800和900中,对象指示符可在视觉表示内向左或向右移动,以示出移动设备108与对象之间的相对位置的变化。指示符的移动可由系统200通过计算移动设备108的估计位置和所选对象的位置来确定。在一个具体实施中,通过GPS设备确定移动设备108的位置,并且从已知对象位置的数据库220获得对象的位置。通过改变所选对象的显示,系统200的用户可获得关于移动设备108的位置的所选对象的位置的空间理解。
为了帮助系统200消岐来自用户的对象的输入,系统的一个具体实施可利用一个或多个机器学习技术或过去的选择来确定用户选择了哪个对象。具体地讲,图11示出了用于基于所存储的环境信息消岐对对象的选择的方法1100的流程图。方法1100的操作可由以上关于图2讨论的系统200的一个或多个部件来执行。通过所描述的操作,系统200以进一步消岐从移动设备108的用户接收的输入,以选择或指示移动设备的外部环境中的对象。
从操作1102开始,系统200接收与位于特定地理位置的对象有关的信息,并将对象信息存储在数据库220中。在一个实施方案中,数据库220可通过网络218获得,以便多个移动设备获得或以其他方式访问所存储的信息。可从任何数量的数据收集器接收存储在数据库220中的信息。例如,数据库220可是中央服务器计算系统的一部分。通过网络218与中央服务器通信,任何数量的移动机器或设备可获得所存储的信息。此外,存储在数据库220中的信息可由任何数量的数据收集器提供。在以这种方式,一组数据收集器和其他数据源可将该信息提供给数据库220以进行存储,每个信息段对应于地理区域。在一个特定具体实施中,基于信息所属的对象的估计地理位置,将信息存储和分类在数据库220中。信息一旦存储,然后可用于诸如自动驾驶车辆的移动设备,用于确定和显示关于移动设备的环境中的对象的信息。一般来讲,对象信息包括对象的估计地理位置和关于对象方面的识别信息。
以类似的方式并且在操作1104中,系统200接收并存储关于存储在数据库220中的一个或多个对象的受欢迎度分数或指示符。一般来讲,与对象相关联的受欢迎度分数提供对象受普通公众欢迎的可能性的指示。例如,与位于建筑物内的律师事务所相比,移动设备108的用户更可能对餐馆的位置和信息感兴趣。因此,那些可能具有公共利益或拥有大量顾客的对象可能比其他不太受关注的对象具有更高的受欢迎度。数据库220中的对象的受欢迎度分数可由任何数据源或收集器提供。
在操作1106中,系统200接收针对地理区域存储在数据库220中的特定对象的选择的指示。换句话讲,如上所述,系统200可从用户接收对移动设备108的外部环境中的对象的输入。如上所述,在操作1108中,系统200可从数据库220获得对象信息和/或指示符并向用户显示。在一个具体实施中,所显示的对象信息可基于所选对象由用户的输入指示的可能性和/或对象的受欢迎度分数。例如,用户可指示移动设备108的环境中的咖啡店。通过分析与移动设备108的地理区域中的对象相关联的用户输入和受欢迎度分数,可将特定咖啡店作为所选对象呈现给用户。其他对象也可以用户的预期对象的概率的降序呈现。在以这种方式,系统200试图确定用户想要选择或指向环境中的哪个对象。这种用户输入的消歧可包括对所接收的输入的分析,并且在一些情况下,包括特定对象的受欢迎度。
在一些情况下,数据库220中的对象可具有不止一个受欢迎度分数或指示。例如,书店可具有基于在一段时间内选择书店的用户的总数的第一受欢迎度分数。然而,当打算获得关于该区域中所有书店的信息时,书店还可具有基于对象的选择数量的第二受欢迎度分数。换句话讲,数据库220中的对象可具有普遍受欢迎度和/或对象类型特定受欢迎度分数。一般来讲,任何数量和类型的受欢迎度分数可与存储在数据库220中的对象相关联。
如上所述,系统200可从提供给用户的多个对象指示符接收对一个特定对象的指示或选择。例如,系统200可显示与用户的输入对齐的多个对象选项。用户继而可选择显示器或交互部分中的一个选项,用于获取有关所选对象的其他信息。在操作1110中,系统200可从用户接收对预期对象的选择。该选择可基于用户的输入和受欢迎度分数向系统200指示提供给用户的对象的准确性。换句话讲,提供给用户的对象可能性之一的选择指示系统200在预测用户输入所指示的对象方面有多精确。此外,系统200可利用选择信息来调整存储在数据库220中的信息。例如,随着越来越多的各种移动设备108的用户选择特定对象,可调整与全局可用数据库220中的对象相关联的受欢迎度分数。又如,系统200可维护用户或特定系统的用户喜欢或经常选择的对象的本地数据库。当系统200接收建议喜欢的对象的输入时,可优先考虑用户的这些偏好而不是其他对象。这样,当许多用户或特定用户选择某些对象时,可调整存储在数据库中的信息。然后,系统200可在稍后的时间利用该信息来进一步消岐用户输入,并基于该输入向用户提供特定对象作为所选对象。
转到图12,示出了电子设备1200,该电子设备包括被布置为执行本发明所公开的技术的各种操作的操作单元1202-1214。设备1200的操作单元1202至操作单元1212由执行本公开的原理的硬件或硬件与软件的组合来实现。本领域的技术人员将理解,图12中所描述的操作单元1202-1214可被组合或被分离为子块,以实现本公开的原理。因此,本文的描述支持操作单元1202至操作单元1212的任何可能的组合或分离或进一步限定。
在一个具体实施中,电子设备1200包括:用于显示信息的显示单元1202,诸如交互式用户界面100或其他图形用户界面;和与显示单元1202通信的处理单元1204;以及用于从一个或多个输入设备或系统(诸如输入设备214)接收数据的输入单元1206。可由处理单元1204使用由输入单元1206所接收的数据来实现本文所述的各种操作,以输出信息用于使用显示单元1202来显示。
附加地或另选地,电子设备1200可包括接收单元1208和结果单元1210。接收单元1208接收外部环境中的对象的信息,诸如从此类信息的数据库。结果单元1210确定从机器或用户的附近的多个对象中正在选择哪个对象。
参见图13,提供了具有可以实现本文论述的各种系统和方法的一个或多个计算单元的示例性计算系统1300的详细描述。计算系统1300可应用于对象选择控制器202、机器控制器204、专用机器部件206、输入设备214、输出设备216、服务器222以及其他计算设备或网络设备。应当理解,这些设备的具体实施方式可具有可能的不同具体计算架构,并非所有这些都在本文中进行了具体论述,但是将被本领域的普通技术人员理解。
计算机系统1300可以是能够执行计算机程序产品以执行计算机过程的计算系统。数据和程序文件可被输入到计算机系统1300中,该计算机系统读取文件并执行其中的程序。图13中示出了计算机系统1300的一些元件,包括一个或多个硬件处理器1302、一个或多个数据存储设备1304、一个或多个存储器设备1308和/或一个或多个端口1308-1312。另外,本领域技术人员将认识到的其他元件可被包括在计算系统1300中,但是在图13中没有明确地示出或者在本文中没有进一步地讨论。计算机系统1300的各种元件可通过一条或多条通信总线、点对点通信路径或图13中没有明确示出的其他通信手段彼此通信。
处理器1302可包括例如中央处理单元(CPU)、微处理器、微控制器、数字信号处理器(DSP)和/或一个或多个内部级别的高速缓存。可存在一个或多个处理器1302,使得处理器1302包括单个中央处理单元或能够执行指令并且彼此并行执行操作(通常被称为并行处理环境)的多个处理单元。
计算机系统1300可以是常规计算机、分布式计算机或任何其他类型的计算机,诸如通过云计算架构可用的一个或多个外部计算机。本发明所述的技术可选地以存储在一个或多个数据存储设备1304上、存储在一个或多个存储器设备1306上和/或经由端口1308至1312中的一个或多个进行通信的软件来实现,从而将图12中的计算机系统1300转换为用于实现本文所述的操作的专用机器。计算机系统1300的实施例包括个人计算机、终端、工作站、移动电话、平板电脑、膝上型电脑、个人计算机、多媒体控制台、游戏控制台、机顶盒等。
一个或多个数据存储设备1304可包括能够存储在计算系统1300内生成或采用的数据的任何非易失性数据存储设备,诸如用于执行计算机过程的计算机可执行指令,其可包括应用程序和管理计算系统1300的各种组件的操作系统(OS)两者的指令。数据存储设备1304可包括但不限于磁盘驱动器、光盘驱动器、固态驱动器(SSD)、闪存驱动器等。数据存储设备1304可以包括可移动的数据存储介质、不可移动的数据存储介质和/或使用这种计算机程序产品经由有线或无线网络架构可用的外部存储设备,包括一个或多个数据库管理产品、网络服务器产品、应用服务器产品和/或其他附加软件组件。可移动数据存储介质的示例包括光盘只读存储器(CD-ROM)、数字通用光盘只读存储器(DVD-ROM)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁硬盘、SSD等。一个或多个存储器设备1306可包括易失性存储器(例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和/或非易失性存储器(例如,只读存储器(ROM)、闪存存储器等)。
包含根据本发明所述的技术实现系统和方法的机制的计算机程序产品可驻留在可被称为机器可读介质的数据存储设备1304和/或存储器设备1306中。应当理解,机器可读介质可包括能够存储或编码指令以执行本公开的操作中的任何一个或多个操作以供机器执行的任何有形的非暂态介质,或者能够存储或编码由这样的指令使用或与这样的指令相关联的数据结构和/或模块。机器可读介质可包括存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如,集中式或分布式数据库,以及/或者相关联的高速缓存和服务器)。
在一些具体实施中,计算机系统1300包括用于与其他计算设备、网络设备或交通工具设备进行通信的一个或多个端口,诸如输入/输出(I/O)端口1308、通信端口1310和子系统端口1312。应当理解,端口1308至1312可被组合或分离,并且更多或更少的端口可被包括在计算机系统1300中。
I/O端口1308可连接到I/O设备或其他设备,通过所述设备,信息被输入到计算系统1300或从其输出。这样的I/O设备可包括但不限于一个或多个输入设备、输出设备和/或环境换能器设备。
在一个具体实施中,输入设备经由I/O端口1308将诸如人语音、物理移动、物理触摸或压力等人生成的信号转换为电信号作为输入数据到计算系统1300中。类似地,输出设备可经由I/O端口1308将从计算系统1300接收到的电信号转换成可作为输出由人感测到的信号,诸如声音、光和/或触摸。输入设备可以是数字字母混合输入设备,包括用于经由I/O端口1308向处理器1302传送信息和/或命令选择的字母数字键和其他键。输入设备可以是另一种类型的用户输入设备,包括但不限于:方向和选择控制设备,诸如鼠标、轨迹球、光标方向键、操纵杆和/或轮;一个或多个传感器,诸如相机、麦克风、位置传感器、取向传感器、重力传感器、惯性传感器和/或加速度计;和/或触敏显示屏(“触摸屏”)。输出设备可包括但不限于显示器、触摸屏、扬声器、触感和/或触觉输出设备等。在一些具体实施中,例如就触摸屏而言,输入设备和输出设备可以是相同的设备。
环境换能器设备将一种形式的能量或信号转换成另一种形式,以经由I/O端口1308输入到计算系统1300或从该计算系统输出。例如,计算系统1300内生成的电信号可以被转换成另一种类型的信号,和/或反之亦然。在一个具体实施中,环境换能器设备感测计算设备1300本地或远程的环境的特征或方面,诸如光、声、温度、压力、磁场、电场、化学性质、物理运动、取向、加速度、重力和/或诸如此类。此外,环境换能器设备可以产生信号来对示例性计算设备1300本地或远程的环境施加某种影响,诸如某个物体(例如,机械致动器)的物理运动、对物质的加热或冷却、添加化学物质和/或诸如此类。
在一个具体实施中,通信端口1310连接到网络,计算机系统1300可通过该网络接收用于执行本文所述的方法和系统的网络数据,以及发送由其确定的信息和网络配置改变。换句话说,通信端口1310将计算机系统1300连接到一个或多个通信接口设备,所述一个或多个通信接口设备被配置为通过一个或多个有线或无线通信网络或连接在计算系统1300和其他设备之间发送和/或接收信息。这样的网络或连接的示例包括但不限于通用串行总线(USB)、以太网、Wi-Fi、近场通信(NFC)、长期演进(LTE)等等。一个或多个这样的通信接口设备可经由通信端口1310被用于直接通过点对点通信路径、通过广域网(WAN)(例如互联网)、通过局域网(LAN)、通过蜂窝(例如,第三代(3G)或第四代(4G))网络或通过另一种通信手段来与一个或多个其他机器通信。此外,通信端口1310可与用于电磁信号发送和/或接收的天线或其他链路通信。在一些示例中,可以采用天线来接收全球定位系统(GPS)数据以便于确定机器、车辆或另一个设备的位置。
计算机系统1300可包括子系统端口1312,用于和与交通工具相关的一个或多个系统通信,以控制交通工具的操作并且/或者在计算机系统1300与交通工具的一个或多个子系统之间交换信息。交通工具的这种子系统的示例包括但不限于,就具有混合动力或电动机系统的这种交通工具而言的成像系统、雷达、激光雷达、马达控制器和系统、电池控制、燃料电池或其他能量存储系统或控制,自主或半自主处理器和控制器,转向系统,制动系统,照明系统,导航系统,环境控制,娱乐系统等。
在示例性具体实施中,机器状态信息、用户状态信息、交互式用户界面100和软件以及其他模块和服务可通过存储在数据存储设备1304和/或存储器设备1306上并由处理器1302执行的指令来体现。计算机系统1300可与交通工具的一部分集成或以其他方式形成交通工具的一部分。在一些情况下,计算机系统1300是可与交通工具的各种系统或子系统通信并结合其工作的便携式设备。
本公开认识到使用本文讨论的信息可用于使用户受益。例如,机器状态信息(包括导航信息)可用于促进用户理解自主机器的状态、动作和决定,并且导航信息可用于为交通工具提供关于“最佳”路径或路线的针对性信息。使用这种信息使得能够对自主交通工具进行计算控制,同时给用户提供与其相关的简单且直观的交互式界面。此外,用户状态信息可用于提供优化的用户行进体验以及行进、活动、任务和日程安排的管理。此外,本公开还设想机器状态信息和用户状态信息使用户受益的其他用途。
用户可选择性地阻止使用或访问个人数据诸如位置和用户状态信息。结合本文所述的一些或全部技术的系统可包括防止或阻止访问此类个人数据的硬件和/或软件。例如,系统可允许用户“加入”或“退出”参与对个人数据或其部分的收集。而且,用户可以选择不提供位置信息,或允许提供一般位置信息(例如,地理区域或区)而非精确的位置信息。
负责此类个人数据的收集、分析、公开、传输、存储或其它用途的实体应遵守已确立的隐私政策和/或实践。此类实体应保障和保护对此类个人数据的访问,并确保有权访问个人数据的其他人也遵守。此类实体应实施满足或超出对维护个人数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如,实体应该收集用户的个人数据以用于合法且合理的用途,并且不在这些合法用途之外共享或出售数据。此类收集应仅在用户知情同意之后进行。此外,第三方可评估这些实体以确认其对已确立的隐私政策和/或隐私实践的遵守。
图12所示的系统仅仅是可采用本公开各方面或根据本公开各方面来配置的计算机系统的一个可能示例。应当理解,可利用存储用于在计算系统上实现本发明所公开的技术的计算机可执行指令的其他非暂态有形计算机可读存储介质。
在本公开中,所公开的方法可实施为由设备可读的指令集或软件。此外,应当理解,本发明所公开的方法中的步骤的特定次序或分级结构为示例性方法的实例。基于设计偏好,应当理解,在被保留在本发明所公开的主题内时,可重新布置方法中的步骤的特定次序或分级结构。所附方法权利要求呈现样本次序中的各种步骤的元素,并且并不一定意味着限于所呈现的具体次序或分级结构。
所描述的本公开可被提供作为可包括在其上存储有指令的非暂态机器可读介质的计算机程序产品或软件,该非暂态机器可读介质可用于对计算机系统(或其他电子设备)进行编程以根据本公开来执行过程。机器可读介质包括用于以机器(例如,计算机)可读的形式(例如软件、处理应用程序)存储信息的任何机构。机器可读介质可包括但不限于:磁存储介质、光学存储介质;磁光存储介质、只读存储器(ROM);随机存取存储器(RAM);可擦除可编程存储器(例如EPROM和EEPROM);闪存存储器;或者适用于存储电子指令的其他类型介质。
虽然已参考各种具体实施描述了本公开,但应当理解,这些具体实施是例示性的,并且本公开的范围并不限于这些具体实施。许多变型、修改、添加和改进是可能的。更一般地,已在特定具体实施的上下文中描述了根据本公开的实施方案。在本公开的各种实施方案中可以不同方式将功能在框中分开或组合在一起,或以不同术语进行描述。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的本公开的范围内。
Claims (20)
1.一种用于与设备交互的方法,所述方法包括:
通过所述设备的外部环境中的现实世界对象的输入系统接收非触觉选择;
估计所述设备的近似地理位置;
针对所述设备的估计的近似地理位置从位于所述外部环境内的现实世界对象的数据库获得外部现实世界对象指示符的子集;
至少部分地基于所述非触觉选择从所述外部现实世界对象指示符的子集选择至少一个对象作为消岐选择;以及
显示所述外部对象指示符的子集的所述至少一个对象的表示。
2.根据权利要求1所述的方法,其中显示所述外部对象指示符的子集的所述至少一个对象的所述表示包括将所述至少一个对象的所述表示传输到所述设备的显示设备。
3.根据权利要求1所述的方法,其中显示所述外部对象指示符的子集的所述至少一个对象的所述表示包括将所述至少一个对象的所述表示传输到移动设备的显示设备。
4.根据权利要求1所述的方法,还包括:
基于所述设备相对于来自所述外部现实世界对象指示符的子集的所述至少一个对象的确定的地理位置的测量的移动来更新所述至少一个对象的所述表示的所述显示。
5.根据权利要求1所述的方法,还包括:
将受欢迎度分数与所述现实世界对象的数据库的所述对象指示符中的一者或多者相关联,其中从所述外部现实世界对象指示符的子集选择所述至少一个对象作为所述消岐选择还基于所述现实世界对象的数据库的所述对象指示符中的所述一者或多者的所述受欢迎度分数。
6.根据权利要求5所述的方法,还包括:
接收将所述外部对象指示符的子集中的所述至少一个对象作为所述设备的所述外部环境中的所选的现实世界对象的确认;以及
基于对所述至少一个指示的对象的所述确认来更新所述现实世界对象的数据库的所述对象指示符中的所述一者或多者的所述受欢迎度分数。
7.根据权利要求1所述的方法,其中所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择包括所述设备的用户的手势。
8.根据权利要求7所述的方法,其中由视觉传感器设备检测所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择。
9.根据权利要求1所述的方法,其中所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择包括对所述设备外部的所述对象的语言描述。
10.根据权利要求9所述的方法,其中由音频检测设备检测所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择。
11.一种用于与设备交互的系统,所述系统包括:
输入设备,所述输入设备接收对移动设备的外部环境中的现实世界对象的非触觉选择;
位置设备,所述位置设备估计所述移动设备的近似地理位置;
数据库,所述数据库存储与位于所述移动设备的所述外部环境中的对象对应的多个外部现实世界对象指示符;
处理器;和
存储指令的非暂态计算机可读介质,所述指令在由所述处理器执行时使得所述处理器执行以下操作:
基于所述移动设备的所述近似地理位置从所述数据库获得外部现实世界对象指示符的子集;
至少部分地基于所述非触觉选择从所述外部现实世界对象指示符的子集选择至少一个对象作为消岐选择;以及
在显示设备上显示所述外部对象指示符的子集的所述至少一个对象的表示。
12.根据权利要求11所述的系统,其中在所述显示设备上显示所述外部对象指示符的子集的所述至少一个对象的所述表示包括将所述至少一个对象的所述表示传输到所述设备的显示设备。
13.根据权利要求11所述的系统,其中所述指令在由所述处理器执行时还使得所述处理器执行以下操作:
将受欢迎度分数与所述现实世界对象的数据库的所述对象指示符中的一者或多者相关联,其中从所述外部现实世界对象指示符的子集选择所述至少一个对象作为所述消岐选择还基于所述现实世界对象的数据库的所述对象指示符中的所述一者或多者的所述受欢迎度分数。
14.根据权利要求11所述的系统,其中所述指令在由所述处理器执行时还使得所述处理器执行以下操作:
基于所述设备相对于来自所述外部现实世界对象指示符的子集的所述至少一个对象的确定的地理位置的测量的移动来更新所述至少一个对象的所述表示的所述显示。
15.根据权利要求11所述的系统,还包括:
视觉传感器,所述视觉传感器检测所述移动设备的用户的手势,其中所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择包括所述设备的所述用户的所述手势。
16.根据权利要求11所述的系统,还包括:
音频检测传感器,所述音频检测传感器检测对所述外部环境中的所述现实世界对象的语言描述,并且其中所述接收的对所述设备的所述外部环境中的所述现实世界对象的非触觉选择包括对所述设备外部的所述对象的所述语言描述。
17.一种包括指令的计算机可读数据存储介质,所述指令在由移动设备的至少一个处理器执行时使得所述移动设备执行操作,所述操作包括:
通过所述移动设备的外部环境中的现实世界对象的输入系统接收非触觉选择;
估计所述移动设备的近似地理位置;
针对所述近似地理位置访问与位于所述移动设备的所述外部环境中的对象对应的多个外部现实世界对象指示符的数据库并且从所述多个外部现实世界对象指示符获得外部现实世界对象指示符的子集;
至少部分地基于所述非触觉选择从所述外部现实世界对象指示符的子集选择至少一个对象作为消岐选择;以及
显示所述外部对象指示符的子集的所述至少一个对象的表示。
18.根据权利要求17所述的计算机可读数据存储介质,其中显示所述外部对象指示符的子集的所述至少一个对象的所述表示包括将所述至少一个对象的所述表示传输到所述设备的显示设备。
19.根据权利要求18所述的计算机可读数据存储介质,其中所述移动设备被进一步使得执行以下操作:
确定所述移动设备的更新的地理位置并且基于所述移动设备的所述更新的地理位置来更新所述至少一个指示的对象相对于所述至少一个指示的对象的确定的位置的所述显示。
20.根据权利要求17所述的计算机可读数据存储介质,其中所述移动设备被进一步使得执行以下操作:
将受欢迎度分数与所述现实世界对象的数据库的所述对象指示符中的一者或多者相关联,其中从所述外部现实世界对象指示符的子集选择所述至少一个对象作为所述消岐选择还基于所述现实世界对象的数据库的所述对象指示符中的所述一者或多者的所述受欢迎度分数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662398579P | 2016-09-23 | 2016-09-23 | |
US62/398,579 | 2016-09-23 | ||
PCT/US2017/052500 WO2018057614A1 (en) | 2016-09-23 | 2017-09-20 | Systems and methods for relative representation of spatial objects and disambiguation in an interface |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109643317A true CN109643317A (zh) | 2019-04-16 |
Family
ID=60002063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780052632.4A Pending CN109643317A (zh) | 2016-09-23 | 2017-09-20 | 用于在界面中空间对象的相对表示和消岐的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10558037B2 (zh) |
EP (2) | EP3491548A1 (zh) |
KR (3) | KR102639605B1 (zh) |
CN (1) | CN109643317A (zh) |
WO (1) | WO2018057614A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10558037B2 (en) * | 2016-09-23 | 2020-02-11 | Apple Inc. | Systems and methods for determining an object through a disambiguated selection in a mixed reality interface |
US10753763B2 (en) * | 2017-04-10 | 2020-08-25 | Chian Chiu Li | Autonomous driving under user instructions |
US11367416B1 (en) | 2019-06-27 | 2022-06-21 | Apple Inc. | Presenting computer-generated content associated with reading content based on user interactions |
US11961294B2 (en) | 2019-09-09 | 2024-04-16 | Techinvest Company Limited | Augmented, virtual and mixed-reality content selection and display |
US10997418B2 (en) | 2019-09-09 | 2021-05-04 | Ar, Llc | Augmented, virtual and mixed-reality content selection and display |
US10699124B1 (en) | 2019-09-09 | 2020-06-30 | Ar, Llc | Augmented reality content selection and display based on printed objects having security features |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130249812A1 (en) * | 2012-03-23 | 2013-09-26 | Microsoft Corporation | Interactive visual representation of points of interest data |
CN104272770A (zh) * | 2012-06-08 | 2015-01-07 | 英特尔公司 | 物理位置信息的自动化检索 |
US20150362988A1 (en) * | 2014-06-16 | 2015-12-17 | Stuart Yamamoto | Systems and methods for user indication recognition |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6671615B1 (en) | 2000-05-02 | 2003-12-30 | Navigation Technologies Corp. | Navigation system with sign assistance |
ATE552478T1 (de) * | 2004-06-03 | 2012-04-15 | Making Virtual Solid L L C | Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays |
US7728869B2 (en) | 2005-06-14 | 2010-06-01 | Lg Electronics Inc. | Matching camera-photographed image with map data in portable terminal and travel route guidance method |
WO2009098154A1 (en) | 2008-02-04 | 2009-08-13 | Tele Atlas North America Inc. | Method for map matching with sensor detected objects |
US8700301B2 (en) | 2008-06-19 | 2014-04-15 | Microsoft Corporation | Mobile computing devices, architecture and user interfaces based on dynamic direction information |
KR101667585B1 (ko) * | 2010-06-25 | 2016-10-19 | 엘지전자 주식회사 | 이동 단말기 및 이것의 객체 정보 디스플레이 방법 |
US9292093B2 (en) * | 2010-11-18 | 2016-03-22 | Alpine Electronics, Inc. | Interface method and apparatus for inputting information with air finger gesture |
EP2624198A1 (en) | 2012-01-26 | 2013-08-07 | Hyundai Motor Company | Search method using a plurality of space of interest objects |
US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
US20130328926A1 (en) * | 2012-06-08 | 2013-12-12 | Samsung Electronics Co., Ltd | Augmented reality arrangement of nearby location information |
US10146316B2 (en) * | 2012-10-31 | 2018-12-04 | Nokia Technologies Oy | Method and apparatus for disambiguating a plurality of targets |
US9626084B2 (en) * | 2014-03-21 | 2017-04-18 | Amazon Technologies, Inc. | Object tracking in zoomed video |
US9870058B2 (en) * | 2014-04-23 | 2018-01-16 | Sony Corporation | Control of a real world object user interface |
US20160313957A1 (en) * | 2015-04-21 | 2016-10-27 | Wandr LLC | Real-time event management |
US10169922B2 (en) * | 2016-02-16 | 2019-01-01 | Microsoft Technology Licensing, Llc | Reality mixer for mixed reality |
US10558037B2 (en) * | 2016-09-23 | 2020-02-11 | Apple Inc. | Systems and methods for determining an object through a disambiguated selection in a mixed reality interface |
-
2017
- 2017-09-20 US US15/710,397 patent/US10558037B2/en active Active
- 2017-09-20 KR KR1020237020691A patent/KR102639605B1/ko active IP Right Grant
- 2017-09-20 KR KR1020197005722A patent/KR102302210B1/ko active IP Right Grant
- 2017-09-20 EP EP17778075.6A patent/EP3491548A1/en not_active Ceased
- 2017-09-20 CN CN201780052632.4A patent/CN109643317A/zh active Pending
- 2017-09-20 EP EP21191006.2A patent/EP3929766A1/en active Pending
- 2017-09-20 KR KR1020217028935A patent/KR20210113448A/ko not_active IP Right Cessation
- 2017-09-20 WO PCT/US2017/052500 patent/WO2018057614A1/en unknown
-
2020
- 2020-02-10 US US16/786,754 patent/US20200233212A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130249812A1 (en) * | 2012-03-23 | 2013-09-26 | Microsoft Corporation | Interactive visual representation of points of interest data |
CN104272770A (zh) * | 2012-06-08 | 2015-01-07 | 英特尔公司 | 物理位置信息的自动化检索 |
US20150362988A1 (en) * | 2014-06-16 | 2015-12-17 | Stuart Yamamoto | Systems and methods for user indication recognition |
Also Published As
Publication number | Publication date |
---|---|
WO2018057614A1 (en) | 2018-03-29 |
US20180088324A1 (en) | 2018-03-29 |
EP3929766A1 (en) | 2021-12-29 |
EP3491548A1 (en) | 2019-06-05 |
KR20210113448A (ko) | 2021-09-15 |
KR102302210B1 (ko) | 2021-09-14 |
US10558037B2 (en) | 2020-02-11 |
KR20230098357A (ko) | 2023-07-03 |
KR102639605B1 (ko) | 2024-02-23 |
KR20190035798A (ko) | 2019-04-03 |
US20200233212A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6456901B2 (ja) | 自律走行車においてメディアコンテンツを提示するためのシステム及び方法 | |
CN109643317A (zh) | 用于在界面中空间对象的相对表示和消岐的系统和方法 | |
CN110443083B (zh) | 虚拟现实环境中的用户界面安全性 | |
JP6310531B2 (ja) | 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 | |
CN108139849B (zh) | 针对用户选择内容的动作建议 | |
RU2654133C2 (ru) | Просмотр трехмерных объектов в документах | |
US9104293B1 (en) | User interface points of interest approaches for mapping applications | |
US9098367B2 (en) | Self-configuring vehicle console application store | |
US20160070456A1 (en) | Configurable heads-up dash display | |
CN107391097A (zh) | 车辆显示器的动态内容管理 | |
US20200067786A1 (en) | System and method for a reconfigurable vehicle display | |
US11005720B2 (en) | System and method for a vehicle zone-determined reconfigurable display | |
CN105814532A (zh) | 用于三维对象显示的方法 | |
CN106062514A (zh) | 与在机动车环境中的便携式装置有关的输入/输出功能 | |
MX2009001952A (es) | Filtrado de datos en capas en aplicaciones de delineado. | |
CN106416318A (zh) | 确定与邻近计算设备相关联的数据 | |
US20230215181A1 (en) | Trigger Regions | |
US20170109007A1 (en) | Smart pan for representation of physical space | |
Robinson et al. | Exploring casual point-and-tilt interactions for mobile geo-blogging | |
US11422679B2 (en) | Systems and methods for navigating pages of a digital map | |
Yuan | Human machine interface design for next generation of vehicle | |
Amanatidis et al. | An Inclusive, Fully Autonomous Vehicle Simulator for the Introduction of Human-Robot Interaction Technologies | |
Feraq | VANET's Infotainment Services Portal Design | |
CN109885238A (zh) | 使用手指生成的地图边界作为动作触发条件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |