CN108629842A - 一种无人驾驶设备运动信息提供及运动控制方法与设备 - Google Patents

一种无人驾驶设备运动信息提供及运动控制方法与设备 Download PDF

Info

Publication number
CN108629842A
CN108629842A CN201710157544.2A CN201710157544A CN108629842A CN 108629842 A CN108629842 A CN 108629842A CN 201710157544 A CN201710157544 A CN 201710157544A CN 108629842 A CN108629842 A CN 108629842A
Authority
CN
China
Prior art keywords
information
unmanned equipment
scene image
instruction
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710157544.2A
Other languages
English (en)
Other versions
CN108629842B (zh
Inventor
沈宇
孙红亮
潘思霁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201710157544.2A priority Critical patent/CN108629842B/zh
Publication of CN108629842A publication Critical patent/CN108629842A/zh
Application granted granted Critical
Publication of CN108629842B publication Critical patent/CN108629842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0875—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本申请的目的之一是提供一种用于提供无人驾驶设备的运动信息的方法的方法，包括：获取无人驾驶设备在移动过程中拍摄的场景图像信息；基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；确定所述无人驾驶设备在所述场景模型中对应的指示信息；呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。本申请能实时感知无人驾驶设备周围的障碍物，并生成对应的虚拟场景，并与获取的实际场景结合形成“虚实结合”的画面，辅助用户操作，提高操作效率。

Description

一种无人驾驶设备运动信息提供及运动控制方法与设备
技术领域
本申请涉及计算机领域，尤其涉及一种用于提供无人驾驶设备的运动信息及用于控制无人驾驶设备的运动的技术。
背景技术
随着时代的发展，无人驾驶设备逐渐为大众所了解，例如无人机、无人驾驶汽车等。但是目前无人驾驶设备一般只能通过第三视角进行控制，或者即使能通过摄像头实现第一视角的观察，但是对周围环境中现实物体并无感知能力；尤其是无人机，需要在高空开阔出飞行。这大大限制了无人驾驶设备的应用，操作过程枯燥，且对操作者不能提供或只能少量提供参考信息。
发明内容
本申请的一个目的是提供一种用于提供无人驾驶设备的运动信息的方法。
根据本申请的一个方面，提供了一种用于提供无人驾驶设备的运动信息的方法的方法，该方法包括：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种用于控制无人驾驶设备的运动的方法，该方法包括：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
根据本申请的一个方面，提供了一种用于提供无人驾驶设备的运动信息的装置，该装置包括：
第一一模块，用于获取无人驾驶设备在移动过程中拍摄的场景图像信息；
第一二模块，用于基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
第一三模块，用于确定所述无人驾驶设备在所述场景模型中对应的指示信息；
第一四模块，用于呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种用于控制无人驾驶设备的运动的装置，该装置包括：
第二一模块，用于获取无人驾驶设备在移动过程中拍摄的场景图像信息；
第二二模块，用于基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
第二三模块，用于确定所述无人驾驶设备在所述场景模型中对应的指示信息；
第二四模块，用于呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
第二五模块，用于将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
根据本申请的一个方面，提供了一种用于提供无人驾驶设备的运动信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种用于提供无人驾驶设备的运动信息的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
与现有技术相比，本申请至少具有以下有益效果：
1)能实时感知无人驾驶设备周围的障碍物，并生成对应的虚拟场景，并与获取的实际场景结合形成“虚实结合”的画面，辅助用户操作，提高操作效率；
2)叠加不实际存在的虚拟物体或形象，可以给用户提供更丰富的信息并增加用户操作的趣味性，改善用户使用体验；
3)在生成的指示信息的提示下，用户可在更复杂的环境中操作无人驾驶设备，大大拓展了无人驾驶设备的使用场合。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于提供无人驾驶设备的运动信息的方法流程图；
图2示出根据本申请另一个实施例的一种用于控制无人驾驶设备的运动的方法流程图；
图3示出根据本申请一个实施例的一种用于提供无人驾驶设备的运动信息的装置结构图；
图4示出根据本申请另一个实施例的一种用于控制无人驾驶设备的运动的装置结构图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种用于提供无人驾驶设备的运动信息的方法，该方法包括步骤S11、步骤S12、步骤S13和步骤S14。
其中，在步骤S11中，第一装置1获取无人驾驶设备在移动过程中拍摄的场景图像信息；在步骤S12中，第一装置1基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；在步骤S13中，第一装置1确定所述无人驾驶设备在所述场景模型中对应的指示信息；在步骤S14中，第一装置1呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
具体地说，在步骤S11中，第一装置1获取无人驾驶设备在移动过程中拍摄的场景图像信息指的是，在无人驾驶设备移动过程中，从该无人驾驶设备所处的第一视角拍摄其所在场景的图像，并将该图像传递至无人驾驶设备对应的用户所用的显示设备或控制设备的显示装置上；用户所使用的显示设备或控制设备接收到的图像信息可以是未经压缩的，也可以是压缩后再传递的，也可以是压缩后传递再解压缩的。
例如，用户通过控制器控制无人机运动，无人机装有摄像头。该摄像头可以是单目摄像头，也可以是双目摄像头或者多目摄像头；可以是普通图像摄像头、深度摄像头，也可以是红外摄像头等。通过摄像头拍摄无人机所处环境的图片或视频，从而得到相应的场景图像信息。在将所拍摄的图片或视频压缩后，传输至无人机的控制器，再由控制器将被压缩的图片或视频解压缩，从而完成控制器对无人机在移动过程中拍摄的场景图像信息的获取。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在步骤S12中，第一装置1基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型是指，基于在步骤S11中控制器所获取的场景图像信息，生成无人驾驶设备所处场景中各物体的相应的三维模型。
其中，三维模型的建立基于机器视觉。例如，通过RGB-D相机获取所处场景的场景图像信息，得到两种数据：彩色图像以及深度图像；基于深度图像计算彩色图像中每个像素在空间的位置；再基于该彩色图像及深度图像建立拍摄到的物体的点云三维模型。又例如，通过单目摄像头获取所处场景的场景图像信息，获得彩色图像，再结合其他传感器建立所处场景中物体的三维模型，这些传感器包括但不限于GPS传感器、距离传感器、陀螺仪、加速度计、高度仪、重力传感器等。
在步骤S13中，第一装置1确定所述无人驾驶设备在所述场景模型中对应的指示信息是指，以根据无人驾驶设备所获取的场景图像信息生成的场景中物体相应的三维模型为基础，根据预设的规则，确定相应的指示信息。例如，在一个房间内，建立墙壁及地面等的三维模型，例如根据方向、颜色、深度等信息确定模型中地面、墙面、天空等各自对应的部分，并确定相应的指示信息，例如“检测到地面、墙面、天空”；或者进一步地根据预设规则确定指示信息相对于该三维模型的位置和/或姿态，例如一定形状的图形(圆形，方形等)，或者路标(例如可以通行、禁止通行)等。又例如，对于无人机/无人驾驶汽车而言，生成周边商铺信息、路况信息等指示信息；或者，对于无人机而言识别空中的其他飞行器、进行人脸识别等，对于无人驾驶汽车而言识别周围的其他车辆、行人等，对于无人驾驶船只而言识别水面、周边水面/水下/空中的其他物体、桥梁等。
在步骤S14中，第一装置1呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息指的是，在无人驾驶设备的控制器所对应的显示装置上显示控制器获取的场景图像信息以及根据预设规则确定的相应的指示信息，并且该指示信息叠加在场景图像信息上。其中，生成的场景模型不被呈现，仅仅作为叠加呈现的指示信息的参考信息。
例如，通过RGB-D相机获取所处场景的场景图像信息并得到两种数据：彩色图像以及深度图像后，在对应的彩色图像上对应前述三维模型的预设位置叠加显示指示信息。又例如，通过单目摄像头拍摄的场景图像建立场景图像所对应的场景的三维比例模型，再根据加速度计或其他传感器所取得的传感信息确定三维比例模型中各个物体的实际尺寸，从而获得对应场景的三维模型。其中，用于呈现显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，在步骤S13中，第一装置1根据所述无人驾驶设备在所述场景模型中的位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。即，除了建立场景对应的三维模型之外，还需确定该无人驾驶设备相对于该三维模型的位置；在某些情况下，还需要确定该无人驾驶设备相对于该三维模型的姿态。
例如，通过机器视觉的方法实现无人驾驶设备在场景空间的定位；通过高度仪确定无人驾驶设备相对于场景中“地面”的高度；通过GPS位置传感器确定无人驾驶设备的位置进而确定其在场景中的位置；通过重力传感器获取水平/竖直方向；通过加速度传感器获取无人驾驶设备，如无人机，的运动方向或运动姿态。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
进一步地，该方法还包括步骤S15。在步骤S15中，第一装置1根据所述无人驾驶设备的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。即，除通过摄像头获取周围场景的图像信息之外，无人驾驶设备还安装有其他传感器，用于获取相应的物理传感信息，再基于这些物理传感信息获取无人驾驶设备在生成的场景模型中的位置信息，或结合周围场景图像信息(例如，通过SLAM算法)生成位置信息；在此之后，再根据获取的位置信息及预设指示信息在场景中呈现的预设规则，确定相应的指示信息的内容和呈现方式，并叠加呈现于场景图像信息上。
由于无人驾驶设备的移动会使其在场景中所处位置、相对于场景模型的姿态等发生变化，为保证数据有效，在实时采集场景图像信息的前提下，相应的物理传感信息也应当满足一定的实时性，即，对于该无人驾驶设备而言，用于处理获取指示信息的场景图像信息和无人驾驶设备在场景模型中的位置信息的采集应当同步或基本同步。为实现该实时性或同步性的判断，可设立一时间阈值(同步间隔阈值)，当场景图像信息和相应物理传感信息的采集时间差小于该时间阈值，即认定二者是同步采集的。
例如，设定一时间阈值为T0，场景图像信息的采集开始时刻为t10、结束时刻为t11，相应物理传感信息的采集开始时刻为t20、结束时刻为t21，则当|t10-t20|<T0，认为场景图像信息的采集和相应的物理传感信息的采集是同步的。当然，也可规定|t11-t21|<T0为同步采集的判定条件，此处不再一一举例。考虑到场景图像信息或物理传感信息采集后还需要进行一些处理，还可根据实际需要设置一时间偏置toffset，当|t10-t20+toffset|<T0时判定采集是同步的。
结合无人驾驶设备相对于场景模型的位置信息呈现指示信息，可使得指示信息在场景图像信息上的叠加符合一般用户对三维空间中物体状态的认知，从而具有更好的趣味性和实用性。
优选地，该方法还包括步骤S16。在步骤S16中，第一装置1先获取无人驾驶设备在移动过程中通过物理传感器采集的物理传感信息，之后在步骤S15中，第一装置1根据采集得到的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。
例如，通过GPS位置传感器获取无人驾驶设备所处位置的经纬度；通过气压传感器获取当前无人驾驶设备所处位置的气压从而计算其海拔高度，或修正海拔误差、提升GPS测量高度的精度；通过磁场传感器获取地磁方向从而获取无人驾驶设备当前方位；通过重力传感器取得水平、竖直方向；通过加速度传感器获取当前无人驾驶设备的运动方向、过载等；通过陀螺仪或陀螺仪传感器测定多个方位的位置、运行轨迹、加速度等。进而，依据这些物理传感信息，获取无人驾驶设备的高度、经纬度、角速度、角加速度、速度、加速度、运动姿态等信息，从而确定无人驾驶设备相对于场景模型的位置、姿态、运动状态等。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备、物理传感器及相应的物理传感信息仅为举例，其他现有的或今后可能出现的设备、物理传感器及相应的物理传感信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，用于叠加至场景图像信息(场景的真实图像)上的指示信息，可由文字、图像、音频、动画等形式中的任一或它们的组合进行呈现。例如，在预设的位置以预设的呈现姿态，叠加呈现用于提示用户操作的文字和/或图像，在无人驾驶设备到达预定位置或处于预设状态(例如速度过高、能量不足、无人机处于滚转或倒飞状态等)时进行音频提示，或在预设的位置以预设的呈现姿态叠加动画。
其中，优选地，用于叠加呈现的指示信息或其中一部分是动画形式。在叠加呈现之前，需要确定其相对于无人驾驶设备的姿态，即确定所述指示信息相对所述无人驾驶设备的呈现姿态信息，指示信息才能以正确的方式呈现。例如，以对场景建模得到的场景模型作为基准，计算无人驾驶设备相对于场景模型的位置和姿态；指示信息相对于场景模型的位置和姿态事先确定或按照预定规律变化，即可在转换操作后获取指示信息相对于无人驾驶设备的呈现姿态，转换操作可采用坐标转换等方式进行。无人驾驶设备相对场景模型的位置和姿态可仅由物理传感信息获取，也可通过即时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)通过场景图像信息或结合物理传感信息获取。随后，再按照转换获得的呈现姿态，将相应的指示信息叠加呈现于无人驾驶设备的摄像头获取的场景图像信息(真实世界的图像)上。
例如，用户操作无人机飞行，在对应一个房间内的场景中，需要在“墙”上“叠加”一个虚拟的“破洞”，该“破洞”为动画形式呈现，其相对于墙面对应的场景模型的位置和姿态都是确定的(垂直于墙面法线设置、位置已知)，转换后取得该“破洞”相对于无人机的姿态、位置，并将其叠加呈现在场景图像信息上。又例如，用户操作无人驾驶汽车行驶，在“路面”预设位置需“叠加”一位以动画形式呈现的、正在指挥交通的“交警”，该“交警”的位置、姿态都是确定的(站立在地面上)，并且根据预设规则变化呈现(指挥交通)，转换后获取该“交警”相对于无人驾驶汽车的姿态、位置，并将其叠加呈现在场景图像信息上。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备、物理传感器及相应的物理传感信息仅为举例，其他现有的或今后可能出现的设备、物理传感器及相应的物理传感信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述指示信息相对所述无人驾驶设备的呈现姿态信息是根据所述场景图像信息的拍摄视角确定的。例如，若已知摄像头光轴相对于无人驾驶设备的角度，再根据无人驾驶设备相对于场景模型的旋转角度，转换后即可获知摄像头光轴相对于场景模型的旋转角度，从而获知相应的场景图像信息的拍摄视角。指示信息的呈现姿态信息则用于根据该拍摄视角确定指示信息的呈现姿态，它的确定可根据实际应用所需来确定，例如，当场景图像信息的拍摄视角与呈现姿态信息法线平行，则认为呈现姿态信息满足要求；考虑到可能的误差，“平行”的认定可通过比较夹角和一个较小的角度差阈值之间的大小来实现。
其中，无人驾驶设备相对于场景模型的旋转角度可根据物理传感器获取的物理传感信息计算得到，也可根据所拍摄的场景图像信息依据即时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)实现，SLAM算法也可结合物理传感信息，例如陀螺仪传感器的传感数据。特别地，若摄像头是固定安装在无人驾驶设备上且光轴平行于无人驾驶设备的某个转轴(例如纵轴)，则测量该转轴相对于场景模型的旋转角度即可获知相应场景图像信息的拍摄视角。
其中优选地，在用于叠加呈现的指示信息或其中一部分是动画形式的情况下，该指示信息是以与对应的场景图像信息拍摄视角相对的方式叠加呈现于该场景图像信息的。例如，调整该指示信息的呈现姿态信息，使得指示信息的法线与拍摄视角相对(例如，使得提示信息的法线与拍摄视角方向相反)。正对拍摄视角，使得指示信息的呈现效果较好，便于用户识别和读取。
优选地，上述方法还包括步骤S18和步骤S19。在步骤S18中，第一装置1获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令；在步骤S19中，第一装置1将所述运动控制指令发送至所述无人驾驶设备。
具体而言，在步骤S18中，第一装置1获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令指的是，用户由显示装置观察到无人驾驶设备拍摄到的场景图像信息及叠加呈现的指示信息后，通过对应的控制器控制无人驾驶设备运动。例如，用户通过控制器上连接的移动终端的屏幕，观察到其控制的无人机飞行时拍摄的房间的场景图像以及其上叠加显示的“禁止通行”标志，并推动控制手柄，从而控制器获取到对应的停止无人机前进的指令。又例如，用户通过控制器对应的虚拟现实眼镜观察到其控制的无人驾驶汽车行驶时拍摄的路面场景图像以及其上叠加显示的、正在指挥车辆“右转”的虚拟“交警”，于是向控制器发出让无人驾驶汽车右转的指令。
随后在步骤S19中，第一装置1将所述运动控制指令发送至所述无人驾驶设备，例如通过控制器将用户给出的运动控制指令编码，发送至相应的无人驾驶设备进行解码后，无人驾驶设备执行相应动作。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
参考图2，根据本申请的另一个方面，提供了一种用于控制无人驾驶设备的运动的方法，包括步骤S21、步骤S22、步骤S23、步骤S24及步骤S25。其中，在步骤S21中，第二装置2获取无人驾驶设备在移动过程中拍摄的场景图像信息；在步骤S22中，第二装置2基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；在步骤S23中，第二装置2确定所述无人驾驶设备在所述场景模型中对应的指示信息；在步骤S24中，第二装置2呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；在步骤S25中，第二装置2将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
具体地，在步骤S21中，第二装置2获取无人驾驶设备在移动过程中拍摄的场景图像信息是指，在无人驾驶设备移动过程中，从该无人驾驶设备所处的第一视角拍摄其所在场景的图像，并将该图像传递至无人驾驶设备对应的用户所用的显示设备或控制设备的显示装置上；用户所使用的显示设备或控制设备接收到的图像信息可以是未经压缩的，也可以是压缩后再传递的，也可以是压缩后传递再解压缩的。
例如，用户通过控制器控制无人机运动，无人机装有摄像头，该摄像头可以是单目摄像头，也可以是双目摄像头。通过摄像头拍摄无人机所处环境的图片或视频，从而得到相应的场景图像信息。在将所拍摄的图片或视频压缩后，传输至无人机的控制器，从而完成控制器对无人机在移动过程中拍摄的场景图像信息的获取。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在步骤S22中，第二装置2基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型是指，基于在步骤S21中控制器所获取的场景图像信息，生成无人驾驶设备所处场景中各物体的相应的三维模型。
其中，三维模型的建立基于机器视觉。例如，通过RGB-D相机获取所处场景的场景图像信息，得到两种数据：彩色图像以及深度图像；基于深度图像计算彩色图像中每个像素在空间的位置；再基于该彩色图像及深度图像建立拍摄到的物体的点云三维模型。
在步骤S23中，第二装置2确定所述无人驾驶设备在所述场景模型中对应的指示信息是指，以根据无人驾驶设备所获取的场景图像信息生成的场景中物体相应的三维模型为基础，根据预设的规则，确定相应的指示信息。例如，在一个房间内，建立墙壁及地面的三维模型，并确定指示信息，例如“检测到地面、墙面”；或者进一步地根据预设规则确定指示信息相对于该三维模型的位置和/或姿态，例如一定形状的图形(圆形，方形等)，或者路标(例如可以通行、禁止通行)等。又例如，对于无人机/无人驾驶汽车而言，生成周边商铺信息、路况信息等指示信息。
在步骤S24中，第二装置2呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息指的是，在无人驾驶设备的控制器所对应的显示装置上显示控制器获取的场景图像信息以及根据预设规则确定的相应的指示信息，并且该指示信息叠加在场景图像信息上。其中，生成的场景模型不被呈现，仅仅作为叠加呈现的指示信息的参考信息。
例如，通过RGB-D相机获取所处场景的场景图像信息并得到两种数据：彩色图像以及深度图像后，在对应的彩色图像上对应前述三维模型的预设位置叠加显示指示信息。其中，用于呈现显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在步骤S25中，第二装置2将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备是指，用户由显示装置观察到无人驾驶设备拍摄到的场景图像信息及叠加呈现的指示信息后，通过对应的控制器控制无人驾驶设备运动。例如，用户通过控制器上连接的移动终端的屏幕，观察到其控制的无人机飞行时拍摄的房间的场景图像以及其上叠加显示的“禁止通行”标志，并推动控制手柄，从而控制器获取到对应的停止无人机前进的指令。又例如，用户通过控制器对应的虚拟现实眼镜观察到其控制的无人驾驶汽车行驶时拍摄的路面场景图像以及其上叠加显示的、正在指挥车辆“右转”的虚拟“交警”，于是向控制器发出让无人驾驶汽车右转的指令。随后，将用户产生的运动控制指令发送至所述无人驾驶设备，例如通过控制器将用户给出的运动控制指令编码，发送至相应的无人驾驶设备进行解码后，无人驾驶设备执行相应动作。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图3示出了根据本申请一个方面的一种用于提供无人驾驶设备的运动信息的第一装置1，该第一装置1包括第一一模块11、第一二模块12、第一三模块13和第一四模块14。
其中，第一一模块11获取无人驾驶设备在移动过程中拍摄的场景图像信息；第一二模块12基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；第一三模块13确定所述无人驾驶设备在所述场景模型中对应的指示信息；第一四模块14呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
具体地说，第一一模块11获取无人驾驶设备在移动过程中拍摄的场景图像信息指的是，在无人驾驶设备移动过程中，从该无人驾驶设备所处的第一视角拍摄其所在场景的图像，并将该图像传递至无人驾驶设备对应的用户所用的显示设备或控制设备的显示装置上；用户所使用的显示设备或控制设备接收到的图像信息可以是未经压缩的，也可以是压缩后再传递的，也可以是压缩后传递再解压缩的。
例如，用户通过控制器控制无人机运动，无人机装有摄像头。该摄像头可以是单目摄像头，也可以是双目摄像头或者多目摄像头；可以是普通图像摄像头、深度摄像头，也可以是红外摄像头等。通过摄像头拍摄无人机所处环境的图片或视频，从而得到相应的场景图像信息。在将所拍摄的图片或视频压缩后，传输至无人机的控制器，再由控制器将被压缩的图片或视频解压缩，从而完成控制器对无人机在移动过程中拍摄的场景图像信息的获取。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
第一二模块12基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型是指，基于以上控制器所获取的场景图像信息，生成无人驾驶设备所处场景中各物体的相应的三维模型。
其中，三维模型的建立基于机器视觉。例如，通过RGB-D相机获取所处场景的场景图像信息，得到两种数据：彩色图像以及深度图像；基于深度图像计算彩色图像中每个像素在空间的位置；再基于该彩色图像及深度图像建立拍摄到的物体的点云三维模型。又例如，通过单目摄像头获取所处场景的场景图像信息，获得彩色图像，再结合其他传感器建立所处场景中物体的三维模型，这些传感器包括但不限于GPS传感器、距离传感器、陀螺仪、加速度计、高度仪、重力传感器等。
第一三模块13确定所述无人驾驶设备在所述场景模型中对应的指示信息是指，以根据无人驾驶设备所获取的场景图像信息生成的场景中物体相应的三维模型为基础，根据预设的规则，确定相应的指示信息。例如，在一个房间内，建立墙壁及地面等的三维模型，例如根据方向、颜色、深度等信息确定模型中地面、墙面、天空等各自对应的部分，并确定相应的指示信息，例如“检测到地面、墙面、天空”；或者进一步地根据预设规则确定指示信息相对于该三维模型的位置和/或姿态，例如一定形状的图形(圆形，方形等)，或者路标(例如可以通行、禁止通行)等。又例如，对于无人机/无人驾驶汽车而言，生成周边商铺信息、路况信息等指示信息；或者，对于无人机而言识别空中的其他飞行器、进行人脸识别等，对于无人驾驶汽车而言识别周围的其他车辆、行人等，对于无人驾驶船只而言识别水面、周边水面/水下/空中的其他物体、桥梁等。
第一四模块14呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息指的是，在无人驾驶设备的控制器所对应的显示装置上显示控制器获取的场景图像信息以及根据预设规则确定的相应的指示信息，并且该指示信息叠加在场景图像信息上。其中，生成的场景模型不被呈现，仅仅作为叠加呈现的指示信息的参考信息。
例如，通过RGB-D相机获取所处场景的场景图像信息并得到两种数据：彩色图像以及深度图像后，在对应的彩色图像上对应前述三维模型的预设位置叠加显示指示信息。又例如，通过单目摄像头拍摄的场景图像建立场景图像所对应的场景的三维比例模型，再根据加速度计或其他传感器所取得的传感信息确定三维比例模型中各个物体的实际尺寸，从而获得对应场景的三维模型。其中，用于呈现显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，第一三模块13根据所述无人驾驶设备在所述场景模型中的位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。即，除了建立场景对应的三维模型之外，还需确定该无人驾驶设备相对于该三维模型的位置；在某些情况下，还需要确定该无人驾驶设备相对于该三维模型的姿态。
例如，通过机器视觉的方法实现无人驾驶设备在场景空间的定位；通过高度仪确定无人驾驶设备相对于场景中“地面”的高度；通过GPS位置传感器确定无人驾驶设备的位置进而确定其在场景中的位置；通过重力传感器获取水平/竖直方向；通过加速度传感器获取无人驾驶设备，如无人机，的运动方向或运动姿态。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
进一步地，第一装置1还包括第一五模块15。第一五模块15根据所述无人驾驶设备的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。即，除通过摄像头获取周围场景的图像信息之外，无人驾驶设备还安装有其他传感器，用于获取相应的物理传感信息，再基于这些物理传感信息获取无人驾驶设备在生成的场景模型中的位置信息，或结合周围场景图像信息(例如，通过SLAM算法)生成位置信息；在此之后，再根据获取的位置信息及预设指示信息在场景中呈现的预设规则，确定相应的指示信息的内容和呈现方式，并叠加呈现于场景图像信息上。
由于无人驾驶设备的移动会使其在场景中所处位置、相对于场景模型的姿态等发生变化，为保证数据有效，在实时采集场景图像信息的前提下，相应的物理传感信息也应当满足一定的实时性，即，对于该无人驾驶设备而言，用于处理获取指示信息的场景图像信息和无人驾驶设备在场景模型中的位置信息的采集应当同步或基本同步。为实现该实时性或同步性的判断，可设立一时间阈值(同步间隔阈值)，当场景图像信息和相应物理传感信息的采集时间差小于该时间阈值，即认定二者是同步采集的。
例如，设定一时间阈值为T0，场景图像信息的采集开始时刻为t10、结束时刻为t11，相应物理传感信息的采集开始时刻为t20、结束时刻为t21，则当|t10-t20|<T0，认为场景图像信息的采集和相应的物理传感信息的采集是同步的。当然，也可规定|t11-t21|<T0为同步采集的判定条件，此处不再一一举例。考虑到场景图像信息或物理传感信息采集后还需要进行一些处理，还可根据实际需要设置一时间偏置toffset，当|t10-t20+toffset|<T0时判定采集是同步的。
结合无人驾驶设备相对于场景模型的位置信息呈现指示信息，可使得指示信息在场景图像信息上的叠加符合一般用户对三维空间中物体状态的认知，从而具有更好的趣味性和实用性。
优选地，第一装置1还包括第一六模块16。第一六模块16先获取无人驾驶设备在移动过程中通过物理传感器采集的物理传感信息，之后第一五模块15根据采集得到的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。
例如，通过GPS位置传感器获取无人驾驶设备所处位置的经纬度；通过气压传感器获取当前无人驾驶设备所处位置的气压从而计算其海拔高度，或修正海拔误差、提升GPS测量高度的精度；通过磁场传感器获取地磁方向从而获取无人驾驶设备当前方位；通过重力传感器取得水平、竖直方向；通过加速度传感器获取当前无人驾驶设备的运动方向、过载等；通过陀螺仪或陀螺仪传感器测定多个方位的位置、运行轨迹、加速度等。进而，依据这些物理传感信息，获取无人驾驶设备的高度、经纬度、角速度、角加速度、速度、加速度、运动姿态等信息，从而确定无人驾驶设备相对于场景模型的位置、姿态、运动状态等。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备、物理传感器及相应的物理传感信息仅为举例，其他现有的或今后可能出现的设备、物理传感器及相应的物理传感信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，用于叠加至场景图像信息(场景的真实图像)上的指示信息，可由文字、图像、音频、动画等形式中的任一或它们的组合进行呈现。例如，在预设的位置以预设的呈现姿态，叠加呈现用于提示用户操作的文字和/或图像，在无人驾驶设备到达预定位置或处于预设状态(例如速度过高、能量不足、无人机处于滚转或倒飞状态等)时进行音频提示，或在预设的位置以预设的呈现姿态叠加动画。
其中，优选地，用于叠加呈现的指示信息或其中一部分是动画形式。在叠加呈现之前，需要确定其相对于无人驾驶设备的姿态，即确定所述指示信息相对所述无人驾驶设备的呈现姿态信息，指示信息才能以正确的方式呈现。例如，以对场景建模得到的场景模型作为基准，计算无人驾驶设备相对于场景模型的位置和姿态；指示信息相对于场景模型的位置和姿态事先确定或按照预定规律变化，即可在转换操作后获取指示信息相对于无人驾驶设备的呈现姿态，转换操作可采用坐标转换等方式进行。无人驾驶设备相对场景模型的位置和姿态可仅由物理传感信息获取，也可通过即时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)通过场景图像信息或结合物理传感信息获取。随后，再按照转换获得的呈现姿态，将相应的指示信息叠加呈现于无人驾驶设备的摄像头获取的场景图像信息(真实世界的图像)上。
例如，用户操作无人机飞行，在对应一个房间内的场景中，需要在“墙”上“叠加”一个虚拟的“破洞”，该“破洞”为动画形式呈现，其相对于墙面对应的场景模型的位置和姿态都是确定的(垂直于墙面法线设置、位置已知)，转换后取得该“破洞”相对于无人机的姿态、位置，并将其叠加呈现在场景图像信息上。又例如，用户操作无人驾驶汽车行驶，在“路面”预设位置需“叠加”一位以动画形式呈现的、正在指挥交通的“交警”，该“交警”的位置、姿态都是确定的(站立在地面上)，并且根据预设规则变化呈现(指挥交通)，转换后获取该“交警”相对于无人驾驶汽车的姿态、位置，并将其叠加呈现在场景图像信息上。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。当然，本领域技术人员应能理解上述设备、物理传感器及相应的物理传感信息仅为举例，其他现有的或今后可能出现的设备、物理传感器及相应的物理传感信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述指示信息相对所述无人驾驶设备的呈现姿态信息是根据所述场景图像信息的拍摄视角确定的。例如，若已知摄像头光轴相对于无人驾驶设备的角度，再根据无人驾驶设备相对于场景模型的旋转角度，转换后即可获知摄像头光轴相对于场景模型的旋转角度，从而获知相应的场景图像信息的拍摄视角。指示信息的呈现姿态信息则用于根据该拍摄视角确定指示信息的呈现姿态，它的确定可根据实际应用所需来确定，例如，当场景图像信息的拍摄视角与呈现姿态信息法线平行，则认为呈现姿态信息满足要求；考虑到可能的误差，“平行”的认定可通过比较夹角和一个较小的角度差阈值之间的大小来实现。
其中，无人驾驶设备相对于场景模型的旋转角度可根据物理传感器获取的物理传感信息计算得到，也可根据所拍摄的场景图像信息依据即时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)实现，SLAM算法也可结合物理传感信息，例如陀螺仪传感器的传感数据。特别地，若摄像头是固定安装在无人驾驶设备上且光轴平行于无人驾驶设备的某个转轴(例如纵轴)，则测量该转轴相对于场景模型的旋转角度即可获知相应场景图像信息的拍摄视角。
其中优选地，在用于叠加呈现的指示信息或其中一部分是动画形式的情况下，该指示信息是以与对应的场景图像信息拍摄视角相对的方式叠加呈现于该场景图像信息的。例如，调整该指示信息的呈现姿态信息，使得指示信息的法线与拍摄视角相对(例如，使得提示信息的法线与拍摄视角方向相反)。正对拍摄视角，使得指示信息的呈现效果较好，便于用户识别和读取。
优选地，第一装置1还包括第一八模块18和第一九模块19。第一八模块18获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令；第一九模块19将所述运动控制指令发送至所述无人驾驶设备。
具体而言，第一八模块18获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令指的是，用户由显示装置观察到无人驾驶设备拍摄到的场景图像信息及叠加呈现的指示信息后，通过对应的控制器控制无人驾驶设备运动。例如，用户通过控制器上连接的移动终端的屏幕，观察到其控制的无人机飞行时拍摄的房间的场景图像以及其上叠加显示的“禁止通行”标志，并推动控制手柄，从而控制器获取到对应的停止无人机前进的指令。又例如，用户通过控制器对应的虚拟现实眼镜观察到其控制的无人驾驶汽车行驶时拍摄的路面场景图像以及其上叠加显示的、正在指挥车辆“右转”的虚拟“交警”，于是向控制器发出让无人驾驶汽车右转的指令。
随后第一九模块19将所述运动控制指令发送至所述无人驾驶设备，例如通过控制器将用户给出的运动控制指令编码，发送至相应的无人驾驶设备进行解码后，无人驾驶设备执行相应动作。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
参考图4，根据本申请的另一个方面，提供了一种用于控制无人驾驶设备的运动的第二装置2，包括第二一模块21、第二二模块22、第二三模块23、第二四模块24及第二五模块25。其中，第二一模块21获取无人驾驶设备在移动过程中拍摄的场景图像信息；第二二模块22基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；第二三模块23确定所述无人驾驶设备在所述场景模型中对应的指示信息；第二四模块24呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；第二五模块25将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
具体地，第二一模块21获取无人驾驶设备在移动过程中拍摄的场景图像信息是指，在无人驾驶设备移动过程中，从该无人驾驶设备所处的第一视角拍摄其所在场景的图像，并将该图像传递至无人驾驶设备对应的用户所用的显示设备或控制设备的显示装置上；用户所使用的显示设备或控制设备接收到的图像信息可以是未经压缩的，也可以是压缩后再传递的，也可以是压缩后传递再解压缩的。
例如，用户通过控制器控制无人机运动，无人机装有摄像头，该摄像头可以是单目摄像头，也可以是双目摄像头。通过摄像头拍摄无人机所处环境的图片或视频，从而得到相应的场景图像信息。在将所拍摄的图片或视频压缩后，传输至无人机的控制器，从而完成控制器对无人机在移动过程中拍摄的场景图像信息的获取。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
第二二模块22基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型是指，基于第二一模块21，控制器所获取的场景图像信息，生成无人驾驶设备所处场景中各物体的相应的三维模型。
其中，三维模型的建立基于机器视觉。例如，通过RGB-D相机获取所处场景的场景图像信息，得到两种数据：彩色图像以及深度图像；基于深度图像计算彩色图像中每个像素在空间的位置；再基于该彩色图像及深度图像建立拍摄到的物体的点云三维模型。
第二三模块23确定所述无人驾驶设备在所述场景模型中对应的指示信息是指，以根据无人驾驶设备所获取的场景图像信息生成的场景中物体相应的三维模型为基础，根据预设的规则，确定相应的指示信息。例如，在一个房间内，建立墙壁及地面的三维模型，并确定指示信息，例如“检测到地面、墙面”；或者进一步地根据预设规则确定指示信息相对于该三维模型的位置和/或姿态，例如一定形状的图形(圆形，方形等)，或者路标(例如可以通行、禁止通行)等。又例如，对于无人机/无人驾驶汽车而言，生成周边商铺信息、路况信息等指示信息。
第二四模块24呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息指的是，在无人驾驶设备的控制器所对应的显示装置上显示控制器获取的场景图像信息以及根据预设规则确定的相应的指示信息，并且该指示信息叠加在场景图像信息上。其中，生成的场景模型不被呈现，仅仅作为叠加呈现的指示信息的参考信息。
例如，通过RGB-D相机获取所处场景的场景图像信息并得到两种数据：彩色图像以及深度图像后，在对应的彩色图像上对应前述三维模型的预设位置叠加显示指示信息。其中，用于呈现显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
第二五模块25将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备是指，用户由显示装置观察到无人驾驶设备拍摄到的场景图像信息及叠加呈现的指示信息后，通过对应的控制器控制无人驾驶设备运动。例如，用户通过控制器上连接的移动终端的屏幕，观察到其控制的无人机飞行时拍摄的房间的场景图像以及其上叠加显示的“禁止通行”标志，并推动控制手柄，从而控制器获取到对应的停止无人机前进的指令。又例如，用户通过控制器对应的虚拟现实眼镜观察到其控制的无人驾驶汽车行驶时拍摄的路面场景图像以及其上叠加显示的、正在指挥车辆“右转”的虚拟“交警”，于是向控制器发出让无人驾驶汽车右转的指令。随后，将用户产生的运动控制指令发送至所述无人驾驶设备，例如通过控制器将用户给出的运动控制指令编码，发送至相应的无人驾驶设备进行解码后，无人驾驶设备执行相应动作。
其中，无人驾驶设备包括但不限于无人机、无人驾驶汽车/船，以及其他的包括摄像头的可远程控制运动的设备，例如扫地机器人、特种机器人等智能设备。摄像头相对于无人驾驶设备可以是固定设置的，也可以是可转动设置的，例如通过三维云台安装。无人驾驶设备和对应的控制器有线连接或无线连接，并且控制器可以是专用的带有显示装置的控制器，可以是具有运算、控制功能而通过另外的移动终端(例如手机)显示的控制器，也可以是能够控制该无人驾驶设备的、带有显示装置的移动终端。其中，显示装置可以是阴极射线管显示器、液晶显示器等显示器或显示面板，可以是投影仪，可以是抬头显示设备(HUD)，也可以是增强现实/虚拟现实头盔或眼镜等。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
根据本申请的一个方面，提供了一种用于提供无人驾驶设备的运动信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种用于提供无人驾驶设备的运动信息的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。通信介质(尤其是载波和可包含可被计算机系统使用的数据的其他传播信号)不被包括为计算机可读存储介质。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。“计算机可读存储介质”不由载波或传播信号构成。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (26)

1.一种用于提供无人驾驶设备的运动信息的方法，其中，该方法包括：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
2.根据权利要求1所述的方法，其中，所述确定所述无人驾驶设备在所述场景模型中对应的指示信息包括：
根据所述无人驾驶设备在所述场景模型中的位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。
3.根据权利要求2所述的方法，其中，所述方法还包括：
根据所述无人驾驶设备的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值；
其中，所述确定所述无人驾驶设备在所述场景模型中对应的指示信息包括：
根据所述位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。
4.根据权利要求3所述的方法，其中，所述方法还包括：
获取无人驾驶设备在移动过程中通过物理传感器采集的物理传感信息；
其中，所述根据所述无人驾驶设备的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值包括：
根据所述物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。
5.根据权利要求3或4所述的方法，其中，所述物理传感信息包括以下至少任一项：
所述无人驾驶设备的高度信息；
所述无人驾驶设备的经纬度信息；
所述无人驾驶设备的角速度信息；
所述无人驾驶设备的加速度信息；
所述无人驾驶设备的运动姿态信息。
6.根据权利要求1至5中任一项所述的方法，其中，所述指示信息包括以下至少任一项：
文字信息；
图像信息；
音频信息；
动画信息。
7.根据权利要求6所述的方法，其中，所述指示信息包括动画信息；
其中，所述方法还包括：
确定所述指示信息相对所述无人驾驶设备的呈现姿态信息；
其中，所述呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息包括：
呈现所述场景图像信息及所述指示信息，其中，所述指示信息按所述呈现姿态信息被叠加呈现于所述场景图像信息。
8.根据权利要求7所述的方法，其中，所述确定所述指示信息相对所述无人驾驶设备的呈现姿态信息包括：
根据所述场景图像信息的拍摄视角确定所述指示信息相对所述无人驾驶设备的呈现姿态信息。
9.根据权利要求6所述的方法，其中，所述指示信息包括动画信息；
其中，所述呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息包括：
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被以与所述场景图像信息的拍摄视角相对的方式叠加呈现于所述场景图像信息。
10.根据权利要求1至9中任一项所述的方法，其中，所述方法还包括：
获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令；
将所述运动控制指令发送至所述无人驾驶设备。
11.一种用于控制无人驾驶设备的运动的方法，其中，该方法包括：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
12.一种用于提供无人驾驶设备的运动信息的第一装置，其中，该第一装置包括：
第一一模块，用于获取无人驾驶设备在移动过程中拍摄的场景图像信息；
第一二模块，用于基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
第一三模块，用于确定所述无人驾驶设备在所述场景模型中对应的指示信息；
第一四模块，用于呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
13.根据权利要求12所述的第一装置，其中，所述第一三模块用于：
根据所述无人驾驶设备在所述场景模型中的位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。
14.根据权利要求13所述的第一装置，其中，所述第一装置还包括：
第一五模块，用于根据所述无人驾驶设备的物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值；
其中，所述第一三模块用于：
根据所述位置信息，确定所述无人驾驶设备在所述场景模型中对应的指示信息。
15.根据权利要求14所述的第一装置，其中，所述第一装置还包括：
第一六模块，用于获取无人驾驶设备在移动过程中通过物理传感器采集的物理传感信息；
其中，所述第一五模块用于：
根据所述物理传感信息确定所述无人驾驶设备在所述场景模型中的位置信息，其中，所述物理传感信息的采集时间与所述场景图像信息的拍摄时间的间隔小于预定的同步间隔阈值。
16.根据权利要求14或15所述的第一装置，其中，所述物理传感信息包括以下至少任一项：
所述无人驾驶设备的高度信息；
所述无人驾驶设备的经纬度信息；
所述无人驾驶设备的角速度信息；
所述无人驾驶设备的加速度信息；
所述无人驾驶设备的运动姿态信息。
17.根据权利要求12至16中任一项所述的第一装置，其中，所述指示信息包括以下至少任一项：
文字信息；
图像信息；
音频信息；
动画信息。
18.根据权利要求17所述的第一装置，其中，所述指示信息包括动画信息；
其中，所述第一装置还包括：
第一七模块，用于确定所述指示信息相对所述无人驾驶设备的呈现姿态信息；
其中，所述第一四模块用于：
呈现所述场景图像信息及所述指示信息，其中，所述指示信息按所述呈现姿态信息被叠加呈现于所述场景图像信息。
19.根据权利要求18所述的第一装置，其中，所述第一七模块用于：
根据所述场景图像信息的拍摄视角确定所述指示信息相对所述无人驾驶设备的呈现姿态信息。
20.根据权利要求17所述的第一装置，其中，所述指示信息包括动画信息；
其中，所述第一四模块用于：
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被以与所述场景图像信息的拍摄视角相对的方式叠加呈现于所述场景图像信息。
21.根据权利要求12至20中任一项所述的第一装置，其中，所述第一装置还包括：
第一八模块，用于获取用户基于被呈现的所述场景图像信息及所述指示信息输入的运动控制指令；
第一九模块，用于将所述运动控制指令发送至所述无人驾驶设备。
22.一种用于控制无人驾驶设备的运动的第二装置，其中，该第二装置包括：
第二一模块，用于获取无人驾驶设备在移动过程中拍摄的场景图像信息；
第二二模块，用于基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
第二三模块，用于确定所述无人驾驶设备在所述场景模型中对应的指示信息；
第二四模块，用于呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
第二五模块，用于将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
23.一种用于提供无人驾驶设备的运动信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
24.一种用于提供无人驾驶设备的运动信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
25.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加呈现于所述场景图像信息。
26.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：
获取无人驾驶设备在移动过程中拍摄的场景图像信息；
基于所述场景图像信息生成所述无人驾驶设备所处场景的场景模型；
确定所述无人驾驶设备在所述场景模型中对应的指示信息；
呈现所述场景图像信息及所述指示信息，其中，所述指示信息被叠加于所述场景图像信息；
将用户基于被呈现的所述场景模型及所述指示信息输入的运动控制指令发送至所述无人驾驶设备。
CN201710157544.2A 2017-03-16 2017-03-16 一种无人驾驶设备运动信息提供及运动控制方法与设备 Active CN108629842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710157544.2A CN108629842B (zh) 2017-03-16 2017-03-16 一种无人驾驶设备运动信息提供及运动控制方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710157544.2A CN108629842B (zh) 2017-03-16 2017-03-16 一种无人驾驶设备运动信息提供及运动控制方法与设备

Publications (2)

Publication Number Publication Date
CN108629842A true CN108629842A (zh) 2018-10-09
CN108629842B CN108629842B (zh) 2023-01-31

Family

ID=63686233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710157544.2A Active CN108629842B (zh) 2017-03-16 2017-03-16 一种无人驾驶设备运动信息提供及运动控制方法与设备

Country Status (1)

Country Link
CN (1) CN108629842B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410536A (zh) * 2018-11-30 2019-03-01 北京小马智行科技有限公司 一种声音提示方法、装置及存储介质
CN109561282A (zh) * 2018-11-22 2019-04-02 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN113946153A (zh) * 2021-11-25 2022-01-18 北京神舟航天软件技术股份有限公司 虚实结合模式下虚拟无人设备导航系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405402A1 (en) * 2010-07-06 2012-01-11 EADS Construcciones Aeronauticas, S.A. Method and system for assembling components
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN105974929A (zh) * 2016-06-11 2016-09-28 深圳市哈博森科技有限公司 一种基于智能装置操控的无人机控制方法
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
US20160364004A1 (en) * 2015-06-11 2016-12-15 Intel Corporation Drone controlling device and method
CN106327583A (zh) * 2016-08-24 2017-01-11 惠州Tcl移动通信有限公司 一种实现全景摄像的虚拟现实设备及其实现方法
CN106444805A (zh) * 2016-09-19 2017-02-22 高域（北京）智能科技研究院有限公司 用于控制无人飞行器的控制终端、控制方法及其控制系统
CN106444810A (zh) * 2016-10-31 2017-02-22 浙江大学 借助虚拟现实的无人机机械臂空中作业系统及其控制方法
CN106483973A (zh) * 2015-09-02 2017-03-08 中国航空工业第六八研究所 一种可视化无人机地面站

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405402A1 (en) * 2010-07-06 2012-01-11 EADS Construcciones Aeronauticas, S.A. Method and system for assembling components
US20160364004A1 (en) * 2015-06-11 2016-12-15 Intel Corporation Drone controlling device and method
CN106483973A (zh) * 2015-09-02 2017-03-08 中国航空工业第六八研究所 一种可视化无人机地面站
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN105974929A (zh) * 2016-06-11 2016-09-28 深圳市哈博森科技有限公司 一种基于智能装置操控的无人机控制方法
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN106327583A (zh) * 2016-08-24 2017-01-11 惠州Tcl移动通信有限公司 一种实现全景摄像的虚拟现实设备及其实现方法
CN106444805A (zh) * 2016-09-19 2017-02-22 高域（北京）智能科技研究院有限公司 用于控制无人飞行器的控制终端、控制方法及其控制系统
CN106444810A (zh) * 2016-10-31 2017-02-22 浙江大学 借助虚拟现实的无人机机械臂空中作业系统及其控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561282A (zh) * 2018-11-22 2019-04-02 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
CN109561282B (zh) * 2018-11-22 2021-08-06 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
CN109410536A (zh) * 2018-11-30 2019-03-01 北京小马智行科技有限公司 一种声音提示方法、装置及存储介质
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
WO2020244649A1 (zh) * 2019-06-06 2020-12-10 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN113946153A (zh) * 2021-11-25 2022-01-18 北京神舟航天软件技术股份有限公司 虚实结合模式下虚拟无人设备导航系统

Also Published As

Publication number Publication date
CN108629842B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US9558592B2 (en) Visualization of physical interactions in augmented reality
CN106993181B (zh) 多vr/ar设备协同系统及协同方法
EP3321888B1 (en) Projected image generation method and device, and method for mapping image pixels and depth values
EP3338136B1 (en) Augmented reality in vehicle platforms
JP6897668B2 (ja) 情報処理方法および情報処理装置
CN113874870A (zh) 基于图像的定位
US11415986B2 (en) Geocoding data for an automated vehicle
CN108629842A (zh) 一种无人驾驶设备运动信息提供及运动控制方法与设备
US20180094931A1 (en) Steering assist
CN112161618B (zh) 仓储机器人定位与地图构建方法、机器人及存储介质
US20130328927A1 (en) Augmented reality playspaces with adaptive game rules
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
CN116485870A (zh) 用于跟踪移动设备的方法和系统
CN109211103A (zh) 推定系统
JP7432595B2 (ja) 連携仮想インターフェース
Oskiper et al. Augmented reality binoculars
WO2021068356A1 (zh) 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统
CN109459029A (zh) 一种用于确定目标对象的导航路线信息的方法与设备
CN109656259A (zh) 一种用于确定目标对象的图像位置信息的方法与设备
JP2022097830A (ja) 表示システム及びサーバ
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
CN109618131B (zh) 一种用于呈现决策辅助信息的方法与设备
US20210142511A1 (en) Method of generating 3-dimensional model data
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
US11947354B2 (en) Geocoding data for an automated vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 1109, No. 570, Shengxia Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai, March 2012

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.