CN112020868A - 环境签名和深度感知 - Google Patents
环境签名和深度感知 Download PDFInfo
- Publication number
- CN112020868A CN112020868A CN201880092884.4A CN201880092884A CN112020868A CN 112020868 A CN112020868 A CN 112020868A CN 201880092884 A CN201880092884 A CN 201880092884A CN 112020868 A CN112020868 A CN 112020868A
- Authority
- CN
- China
- Prior art keywords
- environment
- signature
- mobile device
- module
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title description 3
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 23
- 230000007613 environmental effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/90—Additional features
- G08C2201/91—Remote control based on location and proximity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种移动设备,可以包括:处理器,用于从传感器接收描述移动设备所存在的环境的数据;利用环境签名模块,创建定义所述环境的特性的环境的签名;以及经由远程显示设备基于签名与环境的当前感测到的特性之间的比较以及指示移动设备附近的对象的视觉线索来向用户呈现位置标识符。
Description
背景技术
远程控制的设备在当今社会中已经变得无所不在。一些远程控制(RC)设备,诸如无人机、汽车和船,被创建用于让用户作为爱好来娱乐。其它RC设备被用于相对更严峻的情况下,诸如用于炸弹处置和救援努力的机器人。这些爱好RC设备的控制是在用户的视线内完成的,使得用户可以可视地确定RC设备是否如预期的那样适当地操纵。当不在视线内时,操作者可以使用相机来促进在整个环境中的移动。
附图说明
附图示出了本文所述原理的各种示例,并且是说明书的一部分。所示出的示例仅给出用于说明,而不限制权利要求的范围。
图1是根据本文描述的原理的示例的移动设备的框图;
图2是根据本文描述的原理的示例的环境签名模块的框图;
图3是示出根据本文描述的原理的示例的确定设备的位置的方法的流程图;
图4是根据本文描述的原理的示例的图形用户界面的视图。
贯穿附图,相同的附图标记表示相似的但不必相同的元素。附图不一定按比例,并且一些部件的尺寸可能被放大以更清楚地示出所示的示例。此外,附图提供了与本说明书一致的示例和/或实现方式;然而,本说明书并不局限于附图中提供的示例和/或实现方式。
具体实施方式
远程控制(RC)设备和/或移动设备可以包括用户可以远程控制的无数不同类型的设备。RC设备的远程控制可以通过任何类型的手持设备来实现,除其他外诸如蜂窝电话、无线电广播设备和计算设备。在这些示例中,一些波长的电磁辐射被呈送给RC设备,以由RC设备的处理器来解译。通过解译这些电磁信号,处理器可以指示多个电动机或其它机械设备,例如移动RC设备。到RC设备的这种类型的通信可以被描述为远程操作。
经由RC设备的这种远程操作,用户可以远程移动RC设备,并且进一步使与RC设备相关联的其它设备与环境交互。为了有利于RC设备通过环境的移动,RC设备可以包括相机。由相机接收的图像可以经由返回电磁信号被发送给用户并且被发送给显示设备以用于显示给用户。这可以使用户能看到环境,但是简单的二维(2D)图像不向用户提供深度感知。此外,即使多于一个相机与RC设备一起使用,图像也可以提供有限的视场(FoV)。检测视场(FoV)外的对象并避开它们的能力是有限的。此外,在来自相机的视频不清楚或不存在的情况下,依赖于视频馈送来导航RC设备的用户可能会使RC设备丢失。没有更多的信息的情况下,RC设备可能会丢失并且不可恢复。这对于任何非固定或移动设备也是如此,诸如智能电话、相机、笔记本、机器人(自主或非自主)等。
本说明书描述了一种移动设备,其包括处理器,用于:从传感器接收描述所述移动设备所存在的环境的数据;利用环境签名模块,创建定义环境的特性的环境的签名;以及经由远程显示设备基于签名与当前感测到的环境的特性之间的比较以及指示移动设备附近的对象的视觉线索来向用户呈现位置标识符。
本说明书还描述了一种环境签名模块,其包括多个传感器,用于检测移动设备物理地存在于其中的环境的特性;签名创建模块,用于创建和存储包括描述基于环境的特性的数据的签名;标签创建模块,用于接收描述要与所述签名相关联的标签的输入;以及比较模块,用于将所述签名与所述移动设备正通过的环境的当前检测到的特性进行比较。
本说明书还描述了一种确定设备的位置的方法,该方法包括:利用多个传感器实时检测设备所在的环境特性;将所述环境的检测到的特性与查找表内的多个签名进行比较,每个签名描述不同的环境;以及在显示设备上向观看者提供描述所述环境的数据的指示。
如在本说明书和所附权利要求中所使用的,术语“远程控制”意味着被理解为从远程位置控制设备的能力。在一些示例中,这可以包括控制远程控制设备的移动或功能,或者,控制耦合到远程控制设备的辅助设备的移动或功能。本文所述的远程控制设备可以实现任何无线信号以实现对远程控制设备的远程控制。
如在本说明书和所附权利要求中所使用的,术语“移动”意味着被理解为能够移动或被移动。因此,本文呈现的示例可以描述可以通过用户交互或不通过用户交互来移动的移动设备和/或远程控制设备。
现在转到附图,图1是根据本文描述的原理的示例的移动设备(100)的框图。移动设备(100)可以是任何移动设备。在一个示例中,移动设备(100)可以是远程控制设备,其实现远程操作过程以控制远离用户的RC设备(100)的移动和/或功能。在该示例中,RC设备可以包括耦合到其的多个机械器械,其允许RC设备与环境交互。作为示例,除其他外,这些机械器械可以包括机械臂、钻、铲、犁、一系列轨道、多个轮、万向节系统和抛射体传送系统。这些机械器械和RC设备中的每一个都可以通信地耦合到处理器(105)。在一个示例中,移动设备(100)可以是计算设备,其可以不自己移动,而是可以可由用户移动,除其他外,诸如移动电话、平板设备和膝上型计算设备。
处理器(105)可以通信地耦合到无线天线以从用户操作的手持设备远程地接收信号。在接收到信号时,处理器(105)可以将这些信号解译为要在移动设备(100)处采取的动作。处理器(105)然后可以向与移动设备(100)相关联的设备发送信号以移动或者以其他方式使得机械设备执行它们各自的功能。在一个示例中,处理器(105)可以通信地耦合到数据存储设备,该数据存储设备维护要由处理器(105)执行以便实现本文描述的功能的计算机可读程序代码。
移动设备(100)可以包括多个传感器(110)。每个传感器(110)可以通信地耦合到处理器(105),使得处理器(105)可以接收描述移动设备(100)所存在的环境的数据。在一个示例中,所接收的数据的类型可以取决于用于描述环境的传感器(110)的类型。作为示例,传感器(110)可以是温度计,其中继描述环境温度的数据。在一个示例中,传感器(110)可以是记录音频或将音频中继到处理器的麦克风。在一个示例中,传感器(110)可以是向处理器(105)提供大气压力测量的气压计。在一个示例中,传感器(110)是检测移动设备(100)的加速度并将该数据中继到处理器(105)的加速度计。在一个示例中,传感器(110)是速度计,其测量移动设备(100)的速度并将该信息中继到处理器(105)。在一个示例中,传感器(110)是记录在移动设备(100)周围呈现的图像并将那些图像提供给处理器(105)的相机。在一个示例中,传感器(110)可以是测量移动设备(100)周围的任何环境光的光电检测器。在一个示例中,传感器(110)是测量移动设备(100)周围的湿度的液体比重计。在一个示例中,传感器(110)是测量到设备(100)周围的对象的距离的测距仪。
在这些示例中的任何示例中,处理器(105)可以从传感器(110)接收数据并且进一步处理数据以便递送到远离用户的显示设备。在一个示例中,处理器(105)可以从传感器(110)接收数据并且使用本文描述的签名模块(115)处理数据。在一个示例中,处理器(105)可以从传感器(110)接收数据并且将该数据转发到要如本文描述的那样实现的另一设备和/或处理器。
在一个示例中,签名模块(115)可以是存储在数据存储设备上并且可由处理器(105)访问的计算机可读程序代码。在由处理器(105)执行定义签名模块(115)的该计算机可读程序代码时,处理器(105)可以处理从传感器(110)接收的数据并且创建定义环境的特性的签名。在一个示例中,所创建的签名可以包括由一些或所有传感器(110)获得的并且被存储以供将来参考的所有数据。在一个示例中,签名可以被存储为查找表。在这些示例中,任何签名都可以被加时间戳并且与该时间戳相关联或者经由例如用户输入被给予名称。该名称可以描述诸如“浴室”、“走廊”、“市政厅”、“绿色街道”、“湖滨公园”等的位置。
在移动设备(100)的后续操作期间,来自传感器(110)的任何当前感测的数据可以与任何先前创建的签名进行比较。该比较可以经由例如比较模块来进行。比较模块可以在由处理器(105)执行时接收指示来自传感器(110)的数据的数据,并且运行将来自传感器(110)中的每一个的数据与先前创建的签名中的每一个进行比较的查找过程。在找到匹配的情况下,处理器(105)可以向用户指示移动设备(100)位于何处。在一个示例中,如果当前从传感器(110)获得的数据与任何签名之间的相似性高于阈值,则找到了匹配。这样,处理器(105)可以确定是否已经达到阈值相似度以确定已经发生了匹配。如果匹配已经发生,则用户可以例如通过远离移动设备(100)但可由用户观看的显示设备来进行通知。
作为示例,移动设备(100)可以被移动到会议室。会议室可以具有某些照明特性、声学特性、颜色特性、温度特性、压力特性、湿度特性、具有信号强度分级的无线网络信号、可无线检测的设备、或者可以由本文描述的传感器(110)检测的任何其他环境特性。处理器(105)可以从传感器(110)中的每一个接收这些检测到的特性,并且执行签名模块(115)以创建与当前环境有关的签名。从传感器(110)收集数据和处理该数据可以以任何频率发生,并且可以是用户可调节的。在该示例中,如果病情当移动设备(100)被引导至会议室时,可以稍后使用签名,以便识别会议室中的那些特定环境特性,并且在本文描述的匹配过程已经发生之后通知用户该移动设备(100)在会议室中。
在一个示例中,处理器(105)在从传感器(110)中的每一个接收到数据之后,可以将来自给定传感器(110)中的任何一个的数据与权重相关联,从而给予那些读数的更重要性。例如,权重可以与环境光读数相关联,该权重小于或大于与时间戳相关联的权重。在权重与来自任何给定传感器(110)的任何给定数据相关联的情况下,在当前感测数据与签名的比较期间,这些权重可以是关于是否已经达到相似性阈值从而导致当前感测数据与任何给定特征之间的匹配的计算的一部分。
在一个示例中,比较模块可以单独地将环境的当前感测的特性中的每一个与在给定签名中描述的先前感测的特性进行比较。作为示例,由光度计感测的当前感测的环境光数据可以与在每个签名中定义的对应环境光数据进行比较。以这种方式,可以通过对最终比较分数求平均并确定该分数是否达到相似性阈值来确定总比较。
在当前感测的数据超过阈值限制地匹配多个签名的那些示例中,该过程可以包括选择具有最高分数的匹配。在任何示例中,用户可以通过接受或拒绝匹配并调整与来自传感器(110)中的每一个的给定数据中的任何数据相关联的权重来影响结果。这可以允许移动设备(100)的处理器(105)参与机器学习过程,从而渐进地改进本文描述的匹配过程的性能,而无需修改本文描述的计算机可读程序代码。这里描述了关于计算签名与当前感测的环境特性之间的相似性的特定方法的特定示例。然而,本说明书也可以考虑使用任何计算方法。
图2是根据本文描述的原理的一个示例的移动设备上的环境签名模块(205)的框图。移动设备可以是任何类型的移动设备,除其他类型的移动设备外,诸如智能电话、平板电脑、膝上型计算设备、结合图1描述的移动设备(100)。
移动设备的环境签名生成器(205)可包含如本文中所描述的任何数目的传感器(210)。传感器可以包括例如可以向处理器传达移动设备周围的环境特性的任何传感器。这些特性可以取决于可用于移动设备并与移动设备相关联的传感器(210)的类型,除其他外诸如麦克风、气压计、温度计、光电检测器、加速度计、以及速度计、无线网络天线。
每个传感器(210)可以向签名创建模块(215)提供数据。签名创建模块(215)可以在由移动设备的处理器执行时创建并存储签名,签名包括描述移动设备所处的环境的特性的数据。如本文所述,签名可存储在查找表中以供将来参考。
移动设备的环境签名生成器(205)可以包括标签创建模块(220)。标签创建模块(220)可以接收描述要与签名创建模块(215)创建的签名相关联的标签的数据。标签可以包括签名的任何字母数字描述。在一个示例中,用户可以与移动设备对接,并且输入要与任何给定签名相关联的标签。本文描述的示例可以包括对签名的特性所描述的移动设备的物理位置的描述。
环境签名生成器(205)可以包括比较模块(225)。比较模块(225)可以在执行移动设备的处理器时接收描述移动设备当前位于其中的环境的特性的当前数据。数据可以由移动设备的传感器(210)中的任何一个来接收。比较模块(225)使用来自每个传感器(210)的该数据,并将其与由签名创建模块(215)创建的任何签名中呈现的数据进行比较。如果如本文所述发现匹配,则比较模块(225)可以向用户返回移动设备的位置的指示。在一个示例中,对用户的指示可以包括与签名相关联的标签。
如本文所述,比较模块(225)可以考虑应用于从任何传感器(210)接收的任何数据的任何权重。这些权重可以用于确定在当前接收的数据和签名之间是否已经发生匹配。如果与签名的匹配在阈值极限处或超过阈值极限,则比较模块(225)可以将匹配返回给移动设备的用户。在一个示例中,是否已经达到阈值可以由阈值模块来确定。阈值模块可以应用阈值来确定签名是否与环境的当前检测到的特性相匹配。
移动设备及其环境签名生成器(205)可以包括无线网络适配器。无线网络适配器可以将移动设备上的环境签名生成器(205)通信地耦合到远离环境签名生成器(205)的显示设备,并且向用户呈现关于与签名相关联的标签的信息。
在一个示例中,环境签名生成器(205)还可以在显示设备上呈现指示移动设备附近的对象的视觉线索。在该示例中,移动设备的相机可以向用户呈现由相机补货的环境的实时显示。这在此可以被称为第一人称视图(FPV),其中相机连续地向用户呈现由相机捕获的图像。在该示例中,呈现给用户的环境的2D视图可以通过放置在由相机捕获的图像上的多个叠加图像来增强。这些图像可以包括框、线或其他图像,其或者是纯色的或者是半透明的,使得用户可以看穿对象。对象还可以基于对象到移动设备的相机的距离来改变颜色或形状。
在一个示例中,可以基于从测距仪接收的数据将叠加图像放置在由用户呈现的图像上方。因为测距仪可以是与移动设备相关联的许多传感器(210)中的一个,所以来自测距仪的数据可以被呈现给签名创建模块(215)和视频增强模块两者。如在此所述,签名创建模块(215)可以使用该数据来创建签名。视频增强模块可以从测距仪接收数据,以便将叠加图像放置在显示设备上呈现的视频图像上方。在一个示例中,当确定到对象的距离时,叠加图像实时地叠加在由相机呈现的视频上方。由相机呈现的图像中的对象可以在相机的范围内。在一些示例中,图像内的对象可以在相机的视场或视频边界之外。叠加图像可以是2D或三维(3D)渲染的对象。再次,可以基于由相机呈现的视频内的对象的距离的改变向用户呈现叠加图像的某些修改。除基于对象相对于移动设备的距离的其它类型的修改外,叠加图像的一些修改可包含改变叠加图像的不透明度、改变叠加图像的颜色、改变叠加图像的大小、改变叠加图像的定位、改变叠加图像的亮度、改变叠加图像的视角及改变叠加图像的倾斜度。
在移动设备的操作期间,用户可以使用移动设备上的FPV相机来在移动设备包括这样的移动设备的环境内导航该移动设备。作为示例,在移动设备是如结合图1所呈现的示例中所描述的RC设备的情况下,用户可以致动远程控制设备上的多个按钮,以便使轮或轨道在环境内传送RC设备(100)。当用户这样做时,相机可以在从相机接收视频馈送的显示设备上呈现环境的FPV。再次,由显示设备呈现的视频可以包括由视频增强模块呈现的叠加图像,以向用户描绘在穿过该环境传送RC设备(100)期间要避免的视图内的对象。
图3是示出根据这里描述的原理的示例的确定远程控制设备(图1,100)位置的方法(300)流程图。方法(300)可以开始于利用多个传感器实时检测(305)其中存在远程控制设备的环境的特性。如本文所述,传感器可以包括可以检测环境的特性的任何传感器。该数据可以由移动设备(100)或如本文所述的其他类型的移动设备的处理器来接收。
方法(300)还可以包括将所检测到的环境特性与查找表内的多个签名进行比较(310),每个签名描述不同的环境。签名可以在检测(305)之前使用签名模块(115)来开发并且存储在与移动设备(100)或本文描述的移动设备相关联的数据存储设备中。数据存储设备可以包括各种类型的存储器模块,包括易失性和非易失性存储器。例如,本示例的数据存储设备包括随机存取存储器(RAM)、只读存储器(ROM)和硬盘驱动器(HDD)存储器。还可以利用许多其它类型的存储器,并且本说明书考虑了在数据存储设备中使用许多不同类型的存储器,如可以适合本文描述的原理的特定应用。在某些示例中,数据存储设备中的不同类型的存储器可以用于不同的数据存储目的。例如,在某些示例中,处理器可以从只读存储器(ROM)引导,在硬盘驱动器(HDD)存储器中维护非易失性存储,并且执行存储在随机存取存储器(RAM)中的程序代码。除其他外,数据存储设备可以包括计算机可读介质、计算机可读存储介质或非暂时性计算机可读介质。例如,数据存储设备可以是但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备,或者前述的任何合适的组合。计算机可读存储介质的更具体的示例可以包括例如以下:具有多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或膳宿存储器)、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何合适的组合。在本文档的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储计算机可用程序代码,以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。在另一示例中,计算机可读存储介质可以是能够包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何非暂时性介质。数据存储设备可以存储数据,诸如由处理器(105)或其他处理设备执行的可执行程序代码。如将讨论的,数据存储设备可以具体地存储表示处理器执行以至少实现本文描述的功能的多个应用的计算机代码。
方法(300)还可以包括在显示设备上向观看者提供(315)描述环境的数据的指示。在一个示例中,相机可以向用户提供移动设备所在的环境的实际视图。在该示例中,提供给用户的数据可以包括由相机呈现的图像连同如本文所述的指示环境内的对象的叠加图像,而且还包括部分地基于环境中的对象的物理布局的移动设备所处的位置的指示。这可以通过使用测距仪来完成。在该示例中,来自测距仪的数据可以用于呈现来自相机的图像上方的叠加图像,以及通过使用该数据与签名进行比较(310)来检测移动设备所处的环境二者。
图4是根据本文描述的原理的示例的图形用户界面(GUI)(400)的视图。GUI(400)可以是移动设备的用户可以查看呈现给与移动设备相关联的显示设备的图像的任何类型的视觉显示器,如本文所述。在一个示例中,移动设备是RC设备,其包括用于记录RC设备周围环境的相机。在该示例中,由相机捕获的视频可以被无线地中继到显示设备并且呈现在GUI(400)上。
根据本文描述的原理的一个示例,移动设备可以包括视频增强模块,用于向用户呈现叠加在GUI上呈现的视频的多个叠加图像(400)。图4示出了分别表示三个不同对象(405,410,415)的由测距仪检测到的距离的三个不同叠加图像(420,425,430)。每个对象(405、410、415)可以位于距移动设备(或更准确地说,测距仪)的不同距离处。在该示例中,第一对象可离移动设备最远,而第二对象(410)可距第三对象(415)和第一对象(405)中间距离处。根据该示例,三个不同的叠加图像(420、425、430)可以表示这样的距离程度。第一叠加图像(420)可以包括填充、颜色或透明度,其向用户视觉指示第一对象(405)处于最远距离处。类似地,第二叠加图像(425)和第三叠加图像(430)可以分别向用户表示距移动设备的中间和最近距离。如可以看到的,在第二(425)和第三叠加图像(430)中填充被示出为是不同的,其提供区分特性以允许用户辨别三个不同对象(405,410,415)的距离。尽管填充被示出为叠加图像(420,425,430)的区别特征,但是叠加图像(420,425,430)也可以使用叠加图像(420,425,430)的颜色、透明度、形状和/或大小来进行区分。
图4的GUI(400)中所示的对象(405、410、415)可以距移动设备确定的距离处。描述这些距离的数据可以使用测距仪来获得。该数据可以由本文所述的签名模块(115)来使用,以确定RC设备(100)的位置。实际上,从测距仪接收的距离数据可以用于使用签名模块(115)创建签名以及使用如本文所述的比较模块(225)将数据与签名进行比较二者。
在一个示例中,并且为了实现其期望的功能,RC设备或其他移动设备(100)可以包括各种硬件组件。在这些硬件组件中可以是多个处理器(105)、多个数据存储设备、多个外围设备适配器和多个网络适配器。这些硬件组件可以通过使用多个总线和/或网络连接而互连。在一个示例中,处理器(105)、数据存储设备、外围设备适配器和网络适配器可以经由总线通信地耦合。
处理器(105)可以包括用于从数据存储设备检索可执行代码并执行可执行代码的硬件架构。根据本文所述的本说明书的方法,当由处理器(105)执行时,可执行代码可以使得处理器(105)至少实现以下功能:利用多个传感器实时检测远程控制设备存在于其中的环境的特性;将所述环境的检测到的特性与查找表内的多个签名进行比较,每个签名描述不同的环境;以及,在显示设备上向观看者提供指示,描述环境的数据。在执行代码的过程中,处理器(101)可以从多个剩余硬件单元接收输入并向其提供输出。
移动设备(100)中的硬件适配器使处理器(105)能够与移动设备(100)外部和内部的各种其它硬件元件对接。例如,外围设备适配器可以提供到诸如例如显示设备、鼠标或键盘之类的输入/输出设备的接口。外围设备适配器还可以提供对其他外部设备的访问,所述其他外部设备诸如外部存储装置、诸如例如服务器、交换机和路由器之类的多个网络设备、客户端设备、其他类型的计算设备及其组合。
可以提供显示设备以允许移动设备(100)的用户与本文描述的功能交互并实现本文描述的功能。外围设备适配器还可以创建处理器(105)与显示设备、打印机或其他媒体输出设备之间的接口。网络适配器可以提供到例如网络内的其他计算设备的接口,从而使得能够在移动设备(100)和位于网络内的其他设备(诸如显示设备)之间传输数据。
在移动设备(100)的实现中所使用的多个模块(115、215、220、225)可以包括可以由处理器(105)单独执行的可执行程序代码。在该示例中,各种模块可以被存储为单独的计算机程序产品。在另一示例中,与移动设备(100)相关联的各种模块可以被组合在多个计算机程序产品内;每个计算机程序产品包括多个模块。在一个示例中,模块可以采用专用集成电路(ASIC)的形式,其当由处理器(105)访问时,实现本文描述的功能。
本文参考根据本文描述的原理的示例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本系统和方法的方面。流程图和框图的每个框以及流程图和框图中的框的组合可以由计算机可用程序代码来实现。计算机可用程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得计算机可用程序代码在经由例如移动设备(100)或移动设备或其他可编程数据处理装置的处理器(105)执行时实现流程图和/或框图的一个或多个框中指定的功能或动作。在一个示例中,计算机可用程序代码可以被包含在计算机可读存储介质内;该计算机可读存储介质是计算机程序产品的一部分。在一个示例中,计算机可读存储介质是非暂时性计算机可读介质。
已经呈现了前面的描述以说明和描述所描述的原理的示例。本说明书不意图是穷举的,或者将这些原理限制为所公开的任何精确形式。根据上述教导,许多修改和变化是可能的。
Claims (15)
1.一种移动设备,包括:
处理器,用于:
从传感器接收描述所述移动设备所存在的环境的数据;
利用环境签名模块,创建定义所述环境的特性的所述环境的签名;以及
经由远程显示设备基于所述签名与所述环境的当前感测到的特性之间的比较以及指示接近所述移动设备的对象的视觉线索来向用户呈现位置标识符。
2.根据权利要求1所述的移动设备,其中,所述传感器是测距仪,所述测距仪检测从所述远程控制设备到所述环境中的对象的距离。
3.根据权利要求2所述的移动设备,其中,在检测到所述环境中的对象后,所述处理器在执行视频增强模块后致使在所述显示设备上实时呈现多个视觉线索。
4.根据权利要求3所述的移动设备,其中,所述视觉线索随着所述设备在所述环境内移动而在视觉上调整。
5.根据权利要求1所述的移动设备,其中,所述传感器为麦克风,并且其中,将由所述麦克风检测到的噪声与由所述签名定义的噪声特性进行比较。
6.根据权利要求1所述的移动设备,其中,所述签名与描述所述环境的标签相关联。
7.根据权利要求1所述的移动设备,其中,所述传感器包括:
麦克风;
气压计;
相机;
温度计;
加速度计;
速度计;
无线网络天线;或
上述各项的组合。
8.根据权利要求1所述的移动设备,其中,所述签名与所述环境的当前所感测特性之间的比较包括将权重添加到所述环境的特性。
9.一种环境签名模块,包括:
多个传感器,用于检测移动设备物理地存在于其中的环境的特性;
签名创建模块,用于创建和存储包括描述所述基于环境的特性的数据的签名;
标签创建模块,用于接收描述要与所述签名相关联的标签的输入;以及
比较模块,用于将所述签名与所述移动设备正通过的环境的当前检测到的特性进行比较。
10.根据权利要求9所述的环境签名模块,包括加权模块,所述加权模块用于将权重应用于所述多个传感器中的每个传感器的检测到的特性。
11.根据权利要求9所述的环境签名模块,包括阈值模块,用于应用阈值来确定所述签名是否匹配所述环境的当前检测到的特性。
12.根据权利要求9所述的环境签名模块,包括无线网络适配器,用于将所述移动设备上的环境签名模块通信地耦合到远离所述移动设备上的所述环境签名模块的显示设备,并且向所述用户呈现关于与所述签名相关联的所述标签的信息以及指示接近所述移动设备的对象的视觉线索。
13.一种确定设备的位置的方法,包括:
利用多个传感器实时检测所述设备存在于其中的环境的特性;
将所述环境的检测到的特性与查找表内的多个签名进行比较,每个签名描述不同的环境;以及
在显示设备上向观看者提供指示,描述所述环境的数据。
14.根据权利要求13所述的方法,其中,在显示设备上向观看者提供指示包括经由所述设备上的相机向用户提供视频以及覆盖所述视频的指示所述视频内的任何对象的深度的视觉线索。
15.根据权利要求13所述的方法,其中,所述多个传感器包括:
麦克风;
气压计;
时间和日期读取器;
相机;
指纹读取器;
虹膜读取器;
温度计;
加速度计;
速度计;
无线网络天线;或
上述各项的组合。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2018/055006 WO2020076303A1 (en) | 2018-10-09 | 2018-10-09 | Environment signatures and depth perception |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112020868A true CN112020868A (zh) | 2020-12-01 |
Family
ID=70164068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880092884.4A Pending CN112020868A (zh) | 2018-10-09 | 2018-10-09 | 环境签名和深度感知 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210225160A1 (zh) |
CN (1) | CN112020868A (zh) |
WO (1) | WO2020076303A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116568959A (zh) * | 2020-12-15 | 2023-08-08 | 伊顿智能动力有限公司 | 用于使用声学数据来校准距离模型的系统和方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150339098A1 (en) * | 2014-05-21 | 2015-11-26 | Samsung Electronics Co., Ltd. | Display apparatus, remote control apparatus, system and controlling method thereof |
CN107024979A (zh) * | 2015-12-09 | 2017-08-08 | 联想(新加坡)私人有限公司 | 基于背景环境的增强现实工作空间转换方法、设备和系统 |
US20180126277A1 (en) * | 2016-11-09 | 2018-05-10 | Activision Publishing, Inc. | Reality-based video game elements |
US20180184265A1 (en) * | 2016-03-30 | 2018-06-28 | Intel Corporation | Autonomous semantic labeling of physical locations |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103210410B (zh) * | 2010-09-23 | 2016-08-10 | 诺基亚技术有限公司 | 用于情境确定的方法和装置 |
CN103918327B (zh) * | 2011-09-23 | 2017-10-27 | 高通股份有限公司 | 经由靠近的指纹进行位置估计 |
US9299043B2 (en) * | 2013-12-17 | 2016-03-29 | Xerox Corporation | Virtual machine-readable tags using sensor data environmental signatures |
CN108028016B (zh) * | 2015-09-25 | 2022-05-17 | 苹果公司 | 增强现实显示系统 |
-
2018
- 2018-10-09 CN CN201880092884.4A patent/CN112020868A/zh active Pending
- 2018-10-09 WO PCT/US2018/055006 patent/WO2020076303A1/en active Application Filing
- 2018-10-09 US US17/047,433 patent/US20210225160A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150339098A1 (en) * | 2014-05-21 | 2015-11-26 | Samsung Electronics Co., Ltd. | Display apparatus, remote control apparatus, system and controlling method thereof |
CN107024979A (zh) * | 2015-12-09 | 2017-08-08 | 联想(新加坡)私人有限公司 | 基于背景环境的增强现实工作空间转换方法、设备和系统 |
US20180184265A1 (en) * | 2016-03-30 | 2018-06-28 | Intel Corporation | Autonomous semantic labeling of physical locations |
US20180126277A1 (en) * | 2016-11-09 | 2018-05-10 | Activision Publishing, Inc. | Reality-based video game elements |
Also Published As
Publication number | Publication date |
---|---|
WO2020076303A1 (en) | 2020-04-16 |
US20210225160A1 (en) | 2021-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10807236B2 (en) | System and method for multimodal mapping and localization | |
EP3131311B1 (en) | Monitoring | |
US20170235458A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6943988B2 (ja) | 移動可能物体の制御方法、機器およびシステム | |
CN109313502B (zh) | 利用选择装置的敲击事件定位 | |
JP2016502712A (ja) | 単眼視覚slamのための高速初期化 | |
EP3112986A1 (en) | Content browsing | |
KR102075844B1 (ko) | 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법 | |
CN111452050A (zh) | 基于视觉的机器人控制系统 | |
EP3422145B1 (en) | Provision of virtual reality content | |
KR101889025B1 (ko) | R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법 | |
US11106949B2 (en) | Action classification based on manipulated object movement | |
WO2016193537A1 (en) | Mediated reality | |
EP3131064B1 (en) | Searching image content | |
US11366450B2 (en) | Robot localization in a workspace via detection of a datum | |
JP2019198077A (ja) | 監視 | |
US10299982B2 (en) | Systems and methods for blind and visually impaired person environment navigation assistance | |
KR20030037692A (ko) | 손 지시 인식을 이용한 원격제어 시스템 및 방법 | |
CN112020868A (zh) | 环境签名和深度感知 | |
KR20140074129A (ko) | 상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법 | |
CN112561952A (zh) | 用于为目标设置可呈现的虚拟对象的方法和系统 | |
KR102299902B1 (ko) | 증강현실을 제공하기 위한 장치 및 이를 위한 방법 | |
US11501459B2 (en) | Information processing apparatus, method of information processing, and information processing system | |
US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
KR20180106178A (ko) | 무인 비행체, 전자 장치 및 그에 대한 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |