CN110392908A

CN110392908A - 用于生成地图数据的电子设备及其操作方法

Info

Publication number: CN110392908A
Application number: CN201880016696.3A
Authority: CN
Inventors: M.E.崔; A.R.白; 朴昶洙; J.E.李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2017-03-07
Filing date: 2018-02-05
Publication date: 2019-10-29
Anticipated expiration: 2038-02-05
Also published as: EP3579215A1; US11183056B2; CN110392908B; KR20180102428A; WO2018164377A1; US20210142667A1; KR102414676B1; EP3579215A4

Abstract

提供了一种电子设备和方法。该电子设备包括：至少一个感测单元，被配置为在电子设备正在移动时以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；和处理器，被配置为从图像数据中提取对象，生成用于标识所提取的对象的第一对象数据，以及存储与已经从其中提取对象的图像数据相对应的第一节点的位置数据和与该第一节点相对应的第一对象数据。

Description

用于生成地图数据的电子设备及其操作方法

技术领域

本公开涉及用于生成地图数据的电子设备及其操作方法。

背景技术

随着信息通信技术和车辆工业的融合，车辆智能化已经迅速发展。根据智能化，车辆已经从简单的机械设备发展到智能车辆，并且具体地，自主驾驶作为智能车辆的核心技术已经受到了关注。

自主驾驶表示在没有驾驶员对车轮、加速踏板、制动器等的操作的情况下自主到达目的地的技术。

近来，与自主驾驶相关的各种附加功能已经被不断开发，并且已经要求研究能够通过使用各种数据识别和确定驾驶环境来控制车辆，从而向乘客提供安全的自主驾驶体验的方法。

发明内容

技术问题

提供了生成地图数据的电子设备和方法。提供了一种其上记录有用于在计算机上执行该方法的程序的计算机可读记录介质。要解决的技术问题不限于上述技术问题，并且可能存在其他技术问题。

问题的解决方案

根据本公开的方面，一种电子设备包括：至少一个感测单元，被配置为在电子设备正在移动时以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；和处理器，被配置为从图像数据中提取对象、生成用于标识所提取的对象的第一对象数据、以及存储与已经从其中已提取对象的图像数据相对应的第一节点的位置数据和与该第一节点相对应的第一对象数据。

附图说明

图1是根据实施例的用于描述电子设备的操作示例的图。

图2是根据实施例的电子设备的操作示例的流程图。

图3是根据实施例的在节点之间生成边(edge)的示例的流程图。

图4是根据实施例的用于描述在节点之间生成边的示例的图。

图5是根据实施例的用于描述通过使用图像数据在节点之间生成边的示例的图。

图6是根据实施例的通过使用对象在节点之间生成边的示例的流程图。

图7和图8是根据实施例的用于描述通过使用对象在节点之间生成边的示例的图。

图9是根据实施例的生成地图数据的示例的流程图。

图10是根据实施例的用于描述生成地图数据的示例的图。

图11是根据实施例的用于描述在室内操作的电子设备的示例的图。

图12是根据实施例的用于描述多个电子设备之间的数据链路的示例的图。

图13是根据实施例的电子设备的框图。

图14是根据另一实施例的电子设备的框图。

图15是根据实施例的车辆的框图。

具体实施方式

最佳方式

根据本公开的方面，一种电子设备包括：至少一个感测单元，被配置为在电子设备正在移动时以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；以及处理器，被配置为从图像数据中提取对象，生成用于标识所提取的对象的第一对象数据，以及存储与已经从其中提取对象的图像数据相对应的第一节点的位置数据和与该第一节点相对应的第一对象数据。

根据本公开的另一方面，电子设备的操作方法包括：在电子设备正在移动时，以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；从图像数据中提取对象；生成用于标识所提取的对象的第一对象数据；以及存储与已经从其中提取对象的图像数据相对应的第一节点的位置数据和与该第一节点相对应的第一对象数据。

根据本公开的另一方面，一种计算机可读记录介质包括其上记录有程序的记录介质，该程序用于在计算机上执行所述方法。

公开的方式

实施例中使用的术语是本领域当前广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外，特定术语可以由申请人选择，并且在这种情况下，其详细含义将在详细描述中描述。因此，说明书中使用的术语不应理解为简单的名称，而是基于术语的含义和总体描述。

在整个说明书中，还将理解，当组件“包括”一个元件时，除非有另一与其相反的描述，否则应当理解，该组件不排除另一元件，而是可以还包括另一元件。此外，诸如“……单元”、“……模块”等术语指的是执行至少一个功能或操作的单元，并且该单元可以被实施为硬件或软件、或者硬件和软件的组合。

在下文中，将参考附图详细描述本发明的实施例，使得本领域普通技术人员可以容易地实现本发明。然而，本发明可以以许多不同的形式实施，并且不应该被解释为限于这里阐述的实施例。

在下文中，将参考附图详细描述本发明的实施例。

在本说明书中，车辆1可以包括用于辅助或控制车辆1的驾驶的电子设备100(在下文中，电子设备100)。

图1是根据实施例的用于描述电子设备的操作示例的图。

参考图1，被包括在车辆1中的电子设备100可以当车辆1正在道路上行驶时、通过感测单元110来识别周围环境，并且可以通过使用从周围检测到的对象(例如，指路牌(signpost))10来更精确地更新地图数据。根据实施例，电子设备100可以生成包括从车辆1到对象(例如，指路牌)10的距离、对象10的图形和尺寸(例如，150cm×100cm的尺寸、矩形平板)等的对象数据，并且通过使用该对象数据更容易和高效地更新地图数据。

根据实施例，对象数据可以是用于识别对象的数据。

例如，对象数据可以包括对象的图形(figure)、尺寸、形状、颜色、材料、曲率、面积、体积等。此外，对象数据可以包括从对象提取的文本、图案、徽标等。此外，对象数据可以包括从已经感测到对象的电子设备100的位置到对象的距离、对象的位置(例如，三个景深的坐标信息(3DoF：x、y和偏航角)或6DoF(x、y、z、滚转角、俯仰角和偏航角))、以及对象的方向。此外，对象数据可以包括对象的平度和反射率。然而，对象数据不限于此。

根据实施例，电子设备100可以存储对象数据而不是在驾驶时已经获取的周围环境的所有图像，用于地图更新，以最小化存储容量，并且可以最小化地图更新的计算量以降低处理器的负载。

自主车辆可以在道路上行驶时通过使用各种传感器信息来生成和更新周围环境的地图数据，并且在地图数据上定位车辆的当前位置。在这种情况下，随着车辆具有更精确的地图数据，车辆可以在地图数据上估计车辆的更准确的位置。

根据实施例，电子设备100可以通过使用在车辆1在行驶时已经从周围环境检测到的、与对象10相关的数据更新更精确的地图数据，来在地图数据上更准确地估计车辆(1)的当前位置。

此外，图1示出了被包括在车辆1中的电子设备100，但是电子设备100不限于此。根据实施例，移动设备或机器人(未示出)可以包括电子设备100。这将在下面参考图11和12详细描述。

图2是根据实施例的电子设备的操作示例的流程图。

在操作S201中，电子设备100可以在电子设备100正在移动时、根据预定间隔获取多个节点中的每一个节点的位置数据和图像数据。根据实施例，电子设备100可以根据时间间隔或距离间隔来确定多个节点。

根据实施例，节点可以指示在数据被感测单元(图13中的110)获取的时间点处车辆(图1中的1)位置。

根据实施例，当包括电子设备100的车辆(图1中的1)移动时，可以根据预定时间间隔(例如，一秒)对每个节点测量车辆(图1中的1)的位置。例如，假设在时间点t处电子设备100的位置是节点A，在时间点t+1处电子设备100的位置可以被描述为与节点A相邻的节点B。包括电子设备100的车辆(图1中的1)已经沿着其行驶的路径可以是连续节点的集合。

此外，根据实施例，当包括电子设备100的车辆(图1中的1)移动时，电子设备100可以根据预定距离间隔(例如，1m)在每个节点处获取车辆(图1中的1)的位置数据和图像数据。

根据实施例，电子设备100可以通过感测单元110获取每个节点的位置数据，该感测单元110包括里程计(odometry)传感器230、加速度传感器231、惯性测量单元(inertialmeasurement unit，IMU)225、全球定位系统(global positioning system，GPS)224等。

根据实施例，节点的位置数据可以包括该节点的位置坐标值。根据实施例，位置数据可以被获取为3DoF或6DoF，但不限于此。例如，节点A的位置数据可以被获取为(1m、2m和3°)，节点B的位置数据可以被获取为(2m、2m和3.1°)。

此外，根据实施例，电子设备100可以通过感测单元获取每个节点的图像数据，该感测单元包括光检测和测距(light detection and ranging，LIDAR)传感器227、图像传感器228等。

根据实施例，为每个节点获取的图像数据可以包括三维(three-dimensional，3D)点云、图像等。

根据实施例，电子设备100可以通过感测单元110识别电子设备100的周围环境。感测单元110可以包括LIDAR传感器227。该LIDAR传感器227可以识别移动电子设备100的周围对象的形状、到周围对象的相对距离、周围地形等。例如，LIDAR传感器227可以获取车辆(图1中的1)周围的指路牌、道路形状、到前方车辆的距离等。

具体地，LIDAR传感器227可以输出激光束以获取关于对象形状的信息。LIDAR传感器227可以包括单个激光输出设备或多个激光输出设备。单个激光输出设备可绕垂直轴(z轴)旋转，在xy平面上具有可调节的水平角度以及在xy平面和z轴之间具有可调节的垂直角度，并且还具有可调节的倾斜(tilt)。多个激光输出设备中的每一个可以与单个激光输出设备相同。多个激光输出设备也可在旋转、角度和倾斜方面独立调节。

LIDAR传感器227可以通过使用(多个)激光输出设备输出(多个)激光束，并且通过至少一个激光接收器从对象获取反射信号。

根据实施例，反射信号可以包括从对象反射的超声波、红外线、可见光束或激光束，但不限于此。

在操作S202中，电子设备100可以从图像数据中提取对象。

根据实施例，要由电子设备100提取的对象可以是在能够在移动电子设备100周围观察到的事物当中位置、图形、尺寸等随时间改变的可能性最小的事物。例如，对象可以是指路牌、标志牌、路面标记、交通灯、电线杆、铁塔、纪念碑、桥梁、路缘、护栏、建筑物、车道(lane)等，但不限于此。

根据实施例，电子设备100可以将道路上的指路牌确定或改变为用于地图更新的对象。此外，可以在电子设备100中预设关于对象的信息。

在操作S203中，电子设备100可以生成用于标识所提取的对象的第一对象数据。

根据实施例，对象数据可以包括对象的图形(figure)、尺寸、形状、颜色和材料、从已经感测到对象的电子设备100的位置到对象的距离等，但不限于此。

例如，电子设备100的处理器120可以通过使用通过感测单元110获取的传感器信息来确定图形、尺寸等。此外，电子设备100的处理器120可以通过使用通过感测单元110获取的传感器信息来确定在对象被提取的时间点处车辆(图1中的1)与对象之间的相对距离、相对角度等。

在操作S204中，电子设备100可以存储与已经从其中提取对象的图像数据相对应的第一节点的位置数据和与该第一节点相对应的第一对象数据。

根据实施例，第一节点可以被描述为在特定对象被检测到的时间点处、包括电子设备100的车辆(图1中的1)的位置。例如，假设在对象(例如，指路牌A)被检测到的时间点处车辆(图1中的1)的位置是第一节点，电子设备100可以通过将第一节点的位置数据与第一对象数据相匹配，在存储单元140中存储第一节点的位置数据和第一对象数据，该第一对象数据包括在第一节点处检测到的对象的图形和形状、到对象的距离数据等。

根据实施例，电子设备100在重复行驶相同路径时，可以再次检测相同对象。当电子设备100在不同时间点处重复检测到相同的对象时，电子设备100可以将对象的已经存储的数据与该对象的当前生成的数据进行比较。电子设备100可以通过使用预存的对象数据来计算节点的更准确的位置数据。

例如，当在节点A和节点B处观察到相同的对象时，可以通过使用节点A与对象之间的相对位置和节点B与对象之间的相对位置来计算节点A与节点B之间的相对位置。

根据实施例，电子设备100可以通过使用对象来校正节点的位置数据，并且基于该节点的经校正的位置数据来进一步更新地图数据。下面将参考图6至图8详细描述与此相关的实施例。

图3是根据实施例的在节点之间生成边的示例的流程图。图4是根据实施例的用于描述在节点之间生成边的示例的图。图5是根据实施例的用于描述通过使用图像数据在节点之间生成边的示例的图。

根据实施例，在两个节点之间生成边可以指示计算两个节点之间的相对位置数据和该相对位置数据的误差值。

参考图4，根据实施例，处理器(图13中的120)可以将路径图生成为至少两个节点和边的集合，每个边在两个节点之间。图可以通过将多个节点标记为点(dot)并借助于边连接相邻节点来生成。例如，路径图p40可以包括将节点41连接到节点42的边e41。

在图3的操作S301中，电子设备100的处理器120可以通过使用每个节点的位置数据和图像数据来计算相邻节点之间的相对位置数据和与该相对位置数据相对应的误差值。

根据实施例，电子设备100可以计算两个节点之间的相对位置数据。

根据实施例，两个节点之间的相对位置数据可以包括两个节点之间的相对距离、相对角度等。例如，假设节点A的位置数据是(1m、2m和3°)，节点B的位置数据是(2m、2m和3.1°)，节点A和节点B之间的相对位置数据可以是(1m、0m和0.1°)。

根据实施例，电子设备100可以通过使用里程计传感器230获取移动车辆的位置的改变值(移动距离、旋转角度等)。例如，里程计传感器230可以通过测量车辆正在行驶时车轮等的转数来计算车辆的位置改变值。

根据实施例，电子设备100可以计算与两个节点的相对位置数据相对应的误差值。

根据实施例，两个节点之间的边的误差值可以被计算为误差协方差。例如，当两个节点之间的相对位置数据被表示为3DoF时，相对位置数据的误差值可以被计算为3乘3的矩阵。此外，当两个节点之间的相对位置数据被表示为6DoF时，相对位置数据的误差值可以被计算为6乘6的矩阵。

根据实施例，电子设备100可以通过扫描匹配两个节点的图像数据(例如，3D点云)来计算两个节点的相对位置数据和该相对位置数据的误差值。

如图5所示，电子设备100可以通过扫描匹配在节点51处获取的图像数据d51和在节点52处获取的图像数据d52并执行图像数据比较来计算误差值。

例如，当车辆(图1中的1)正在行驶时，电子设备100可以通过扫描匹配与连续节点相对应的图像数据来在连续节点之间生成边。

此外，例如，当车辆(图1中的1)在行驶时重复经过相似的点时，第一节点处的图像数据和第二经过时间点处第二节点处的图像数据可以被扫描匹配，以在指示相邻点的节点之间生成边。

在图3的操作S302中，电子设备100的处理器120可以校正每个节点的位置数据，使得误差值被最小化。

根据实施例，处理器120可以基于与相邻节点之间的相对位置数据相对应的误差值来校正每个节点的位置数据，使得误差值被最小化。处理器120可以通过基于对每个节点的经校正的位置数据校正作为节点集合的路径图来生成更准确的路径图。

图6是根据实施例的通过使用对象在节点之间生成边的示例的流程图。图7和图8是根据实施例的用于描述通过使用对象在节点之间生成边的示例的图。

在图6的操作S601中，电子设备100的处理器(图13中的120)可以确定与第一对象数据相对应的对象与与预存的第二对象数据相对应的对象相同。

参考图7，根据实施例，当车辆(图1中的1)正在行驶时，可以生成路径图p71，该路径图p71是根据预定时间间隔的多个节点和连接相邻节点的边的集合。

如图7所示，当车辆(图1中的1)正在行驶时，电子设备100可以根据预定时间间隔为每个节点获取车辆(图1中的1)周围的图像数据，并且从图像数据中提取对象71。电子设备100的处理器120可以生成与所提取的对象71相关的对象数据。例如，电子设备100可以生成第一对象数据，该第一对象数据包括已经在节点71处观察到的对象71的相对距离和相对角度，以及对象71的尺寸、图形等。

同时，电子设备100可以存储相同对象71的第二对象数据。根据实施例，当在车辆(图1中的1)曾经在经过与生成路径图p71的路径相似的路径时已经观察到相同的对象71时，包括相同对象71的图形和尺寸、对象71的相对距离和相对角度等的第二对象数据可以是先前生成并存储的。

根据实施例，第一对象数据和第二对象数据可以分别作为在其间具有预定时间间隔的不同时间点处观察相同对象的结果而被生成。

根据实施例，电子设备100的处理器120可以通过将被包括在第一对象数据中的对象的图形、尺寸等的数据与被包括在第二对象数据中的对象的图形、尺寸等的数据进行比较，来确定对象数据是否根据相同对象的观察而已经生成。

例如，当第一对象数据和第二对象数据之间的相似性是预设阈值或更大时，处理器120可以确定已经在针对第一对象数据和第二对象数据的不同时间点处观察到相同的对象。

在图6的操作S602中，电子设备100的处理器120可以通过使用第一对象数据和第二对象数据来计算第一节点和第二节点的相对位置数据以及与该第一节点和第二节点的相对位置数据相对应的误差值。

根据实施例，计算第一节点和第二节点的相对位置数据以及与该第一节点和第二节点的相对位置数据相对应的误差值可以指示在第一节点和第二节点之间生成边。

参考图7，根据实施例，电子设备100可以通过使用基于针对第一节点节点71和第二节点节点72中的每一个观察到的相同对象71的每个对象数据而不是整个图像数据，在第一节点节点71和第二节点节点72之间生成边e71。

根据实施例，处理器120可以使用与第一节点节点71相对应的第一对象数据和与第二节点节点72相对应的第二对象数据，以在第一节点节点71和第二节点节点72之间生成边e71。

例如，处理器120可以通过基于包括第一节点节点71和对象71之间的相对位置的第一对象数据和包括第二节点节点72和对象71之间的相对位置的第二对象数据使用例如三角法，来计算第一节点节点71和第二节点节点72之间的相对位置数据。

在图6的操作S603中，电子设备100的处理器120可以校正第一节点和第二节点的位置数据，使得误差值被最小化。

根据实施例，电子设备100的处理器120可以校正每个节点的位置数据，使得构成路径图的边的误差值之和被最小化。

根据实施例，电子设备100可以在移动的车辆或机器人正在测量其位置的同时使用编辑周围环境的地图的同步定位和地图创建(simultaneous localization andmapping，SLAM)技术。电子设备100可以通过使用基于图的SLAM技术、基于两个相邻节点的相对位置来执行闭环(loop-closing)。电子设备100可以通过使用两个节点之间的相对距离、相对角度等来生成连接两个节点的闭环边，从而导出经校正的结果值。

在图6的操作S604中，电子设备100的处理器120可以基于第一节点和第二节点的经校正的位置数据来校正包括第一节点和第二节点的路径图。

根据实施例，处理器120可以通过基于经校正的位置数据校正路径图来生成具有每个节点的更准确的位置数据的路径图。

参考图8，根据实施例，电子设备100可以通过使用在车辆(图1中的1)正在行驶时观察到的多个对象来生成更准确的路径图。

根据实施例，当车辆(图1中的1)正在行驶时，电子设备100可以在节点节点81处检测对象A 81，并且在节点节点83处检测对象B 83。在这种情况下，车辆(图1中的1)的行驶路径可以被生成为路径图p81。

同时，当车辆(图1中的1)正在行驶时，在不同时间点处，电子设备100可以在节点节点82处检测对象A 81，并且在节点节点84处检测对象B 83。在这种情况下，车辆(图1中的1)的行驶路径可以被生成为路径图p82。根据实施例，电子设备100可以存储对象A 81的对象数据和对象B 83的对象数据。

根据实施例，电子设备100的处理器120可以校正节点的位置数据并通过使用多个预存的对象数据来生成高度准确的路径图。

图9是根据实施例的生成地图数据的示例的流程图。图10是根据实施例的用于描述生成地图数据的示例的图。

在图9的操作S901中，电子设备100的处理器120可以通过使用经校正的路径图和每个节点的图像数据来生成地图数据。

参考图10，例如，处理器120可以生成包括与节点101相对应的图像数据d101和与节点102相对应的图像数据d102的地图数据50。

根据实施例，地图数据可以以3D点云、2D网格地图、3D体素(voxel)地图等形式来实施，但不限于此。此外，根据实施例，当生成地图时，地图数据可以根据地图中包括的数据类型以各种形式(例如，特征地图、语义地图、密集地图(dense map)、纹理地图等)来实现。

例如，处理器120可以基于经校正的路径图中每个节点的位置数据，通过使用与每个节点相对应的3D点云形式的图像数据来生成3D点云形式的地图数据。可选地，处理器120可以通过将与每个节点相对应的3D点云形式的图像数据转换成3D体素形式来生成地图数据。可选地，处理器120可以通过仅使用从与每个节点相对应的点云形式或图像形式的图像数据中提取的道路表面来生成2D网格形式的地图数据。

在图9的操作S902中，电子设备100的处理器(图13中的120)可以存储生成的地图数据。在图9的操作S903中，电子设备100的处理器120可以存储在生成地图数据时使用的路径图。

此外，如参考图2所描述的，根据实施例，电子设备100可以存储与在其处已经观察到对象的节点相对应的对象数据。

根据实施例，处理器120可以存储路径图和对象数据，并且通过添加在车辆(图1中的1)将来行驶时获取的基于节点的位置数据和对象数据来扩展路径图。

根据实施例，处理器120可以基于预存的路径图，通过使用附加地获取的基于节点的位置数据和对象数据来校正预存的路径图，从而将预存的路径图更新为具有更精确的位置数据的路径图。此外，处理器120可以基于更精确的位置数据将地图数据更新为更精确的地图数据。

同时，在生成地图数据之后，电子设备100可以删除已经用于生成地图数据的每个节点的图像数据。根据实施例，因为对象数据和包括预存的基于节点的位置数据的路径图被用于更新地图数据，所以在生成地图数据之后，电子设备100可以删除已经用于生成地图数据的每个节点的图像数据。

根据实施例，贯穿说明书描述了电子设备100执行操作，但是本实施例不限于此。电子设备100可以执行所有操作，或者服务器(未示出)可以执行电子设备100的一些操作。

根据实施例，电子设备100可以通过正链接到服务器(未示出)来存储或处理数据。根据实施例，电子设备100可以向服务器(未示出)发送获取的数据，并且服务器可以处理该数据。例如，电子设备100可以向服务器发送获取的电子设备100的位置数据、图像数据和对象数据，并且服务器可以通过使用电子设备100的位置数据、图像数据和对象数据来生成并校正路径图，以及生成并更新地图数据，但是本实施例不限于此。

根据实施例，可移动机器人2可以包括电子设备100。

例如，用于在购物中心、机场、医院、工厂、房屋等中提供各种服务的机器人、用于检测危险情况的机器人等可以包括电子设备100。

例如，当包括电子设备100的机器人2正在室内移动时，机器人2可以通过使用感测单元110根据预定时间间隔或距离间隔来获取多个节点中的每一个节点的位置数据和图像数据。电子设备100可以从图像数据中提取对象。

根据实施例，对象可以是在机器人2能够在周围环境中观察到的事物当中事物的位置、图形、尺寸等随时间改变的可能性低的事物。例如，对象可以是出口标志、引导文本、标签(近场通信(near-field communication，NFC)标签、射频识别(radio frequencyidentification，RFID)标签等)、消防栓、海报、房间号、引导标志牌、自动扶梯、电梯、台阶、传感器(用于感测温度、湿度、空气质量、大气压力等的传感器)、闭路电视(closed-circuittelevision，CCTV)、柱子、天花板、地板、墙壁、玻璃等，但不限于此。

如图11所示，根据实施例，包括电子设备100的机器人2可以在室内移动时感测出口标志11。

根据实施例，电子设备100可以生成用于标识出口标志11的对象数据(例如，出口标志11的尺寸、图形和材料，从引导标志牌识别的文本信息，已经感测到出口标志11的电子设备100与该出口标志11之间的距离数据等)。

根据实施例，电子设备100可以通过使用对象数据校正路径图并更新地图数据。

根据实施例，被包括在车辆1中的电子设备100可以通过链接到包括在机器人2中且在机器人2中操作的电子设备100来操作。此外，根据实施例，被包括在车辆1中的电子设备100可以通过链接到被包括在另一车辆中的电子设备来操作。此外，被包括在机器人2中的电子设备100可以通过链接到被包括在另一机器人中的电子设备来操作。

如图12所示，在道路上行驶的车辆1可以通过链接到在建筑物内移动的机器人2来操作。例如，当车辆1在道路上移动时获取的位置数据和图像数据以及当机器人2正在室内移动时获取的位置数据和图像数据可以被组合以生成路径图p120和地图数据。

根据实施例，不管室内还是室外，由包括电子设备100的车辆1或机器人2获取的位置数据、图像数据和对象数据可以用于更新地图数据。

根据实施例，多个电子设备100中的每一个可以执行参考图1至11描述的电子设备100的操作。由多个电子设备100获取的数据可以与其他可链接和可操作的电子设备共享。

此外，根据实施例，多个彼此链接的电子设备中的至少一个可以从其他电子设备接收数据，并存储和处理所接收的数据。

此外，根据实施例，服务器(未示出)可以收集由多个电子设备获取的数据，并存储和处理该数据，但是本实施例不限于此。

图13是根据实施例的电子设备的框图。

根据实施例，电子设备100可以包括感测单元110和处理器120。图13中所示的电子设备100仅包括与本实施例相关的组件。因此，本实施例所属领域的普通技术人员可以理解，可以还包括除了图13中所示的组件之外的通用组件。

根据实施例，感测单元110可以获取包括位于正在道路上行驶的车辆(图1中的1)周围的对象的周围环境图像。

感测单元110可以包括多个传感器以获取周围环境图像。例如，感测单元110可以包括诸如LIDAR传感器和无线电探测和测距(radio detection and ranging，RADAR)传感器的距离传感器，以及诸如相机的图像传感器。

此外，感测单元110可以包括一个或多个致动器，该一个或多个致动器被配置为校正多个传感器的位置和/或朝向，并且因此可以感测位于车辆(图1中的1)的前、后和侧方向上的对象。

此外，感测单元110可以通过使用图像传感器来感测位于周围环境中的对象的形状、车道的形状等。根据实施例，处理器120可以包括至少一个处理器。

根据实施例，处理器120可以从图像数据中提取对象，并生成包括所提取的对象的图形的第一对象数据。

处理器120可以在存储单元140中存储与已经从其中提取对象的图像数据相对应的第一节点的位置数据和第一对象数据。

此外，当确定与第一对象数据相对应的对象与与预存的第二对象数据相对应的对象相同时，处理器120可以还被配置为通过使用第一对象数据和第二对象数据来计算第一节点和与第二对象数据相对应的第二节点的相对位置数据以及与该相对位置数据相对应的误差值。此外，处理器120可以校正第一节点和第二节点的位置数据，使得该误差值被最小化。

此外，处理器120可以基于第一节点和第二节点的经校正的位置数据来校正包括第一节点和第二节点的路径图

此外，处理器120可以通过使用基于节点的位置数据和图像数据来计算相邻节点之间的相对位置数据和与该相对位置数据相对应的误差值，并且校正每个节点的位置数据，使得该误差值被最小化。

此外，处理器120可以生成路径图，该路径图包括每个节点的位置数据、相邻节点之间的相对位置数据、和与该相对位置数据相对应的误差值。

此外，处理器120可以基于每个节点的经校正的位置数据来校正路径图。此外，处理器120可以通过使用经校正的路径图和每个节点的图像数据来生成地图数据，并存储生成的地图数据。此外，处理器120可以在生成地图数据之后存储用于生成地图数据的路径图。此外，处理器120可以删除用于生成地图数据的、每个节点的图像数据。

此外，在存储路径图之后，处理器120可以通过使用在车辆(图1中的1)正在行驶时获取的位置数据来扩展路径图。

图14是根据另一实施例的电子设备的框图。

电子设备可以包括感测单元110、处理器120、输出单元130、存储单元140、输入单元150和通信单元160。

感测单元110可以包括被配置为检测关于车辆(图1中的1)所位于的周围环境的信息的多个传感器，并且包括被配置为校正传感器的位置和/或朝向的一个或多个致动器。例如，感测单元110可以包括GPS 224、IMU 225、RADAR传感器226、LIDAR传感器227、图像传感器228和里程计传感器230。此外，感测单元110可以包括以下中的至少一个：温度/湿度传感器232、红外传感器233、大气压力传感器235、接近传感器236和RGB(照度)传感器237，但不限于此。本领域普通技术人员可以从每个传感器的名称中直观地推断出所述每个传感器的功能，因此这里省略了对其的详细描述。

此外，感测单元110可以包括能够感测车辆(图1中的1)的运动的运动感测单元238。运动感测单元238可以包括磁传感器229、加速度传感器231和陀螺仪传感器234。

GPS 224可以被配置为估计车辆(图1中的1)的地理位置。也就是说，GPS 224可以包括被配置为估计车辆(图1中的1)在地球上的位置的收发器。

IMU 225可以是一组传感器，其被配置为基于惯性加速度检测车辆(图1中的1)的位置和朝向的改变。例如，该组传感器可以包括加速度计和陀螺仪。

RADAR传感器226可以被配置为通过使用无线电信号来检测车辆(图1中的1)所位于的环境中的对象。此外，RADAR传感器226可以被配置为检测对象的速度和/或方向。

LIDAR传感器227可以被配置为通过使用激光来检测车辆(图1中的1)所位于的环境中的对象。更具体地，LIDAR传感器227可以包括被配置为发射激光束的激光源和/或激光扫描仪、以及被配置为检测激光束的反射的检测器。LIDAR传感器227可以被配置为以相干(例如，使用外差检测)或非相干检测模式操作。

图像传感器228可以是被配置为记录车辆(图1中的1)的外部环境的静态相机或视频相机。例如，图像传感器228可以包括多个相机，并且该多个相机可以布置在车辆(图1中的1)的内部和外部的多个位置处。

里程计传感器230可以估计车辆(图1中的1)的位置并测量车辆(图1中的1)的移动距离。例如，里程计传感器230可以通过使用车辆(图1中的1)的车轮的转数来测量车辆(图1中的1)的位置改变值。

此外，电子设备100的位置可以通过使用传感器和通信手段以诸如三边测量、三角测量等方法来测量，其中该通信手段诸如第三代(third generation，3G)、长期演进(longterm evolution，LTE)、全球导航卫星系统(global navigation satellite system，GNSS)、全球移动通信系统(global system for mobile communication，GSM)、远程导航修订版C(long range navigation revision C，LORAN-C)、西北欧LORAN-C系统(northwestEuropean LORAN-C system，NELS)、无线局域网(wireless local area network，WLAN)、蓝牙等。

此外，当电子设备100位于室内时，电子设备100的位置可以通过使用诸如室内GPS、蓝牙传感器、WLAN、视频局域网客户端(video local area network client，VLC)、有源徽章(active badge)、GSM传感器、RFID传感器、视觉标签、无线入侵保护系统(wirelessintrusion protection system，WIPS)、WLAN、超声波传感器、磁传感器等的传感器来测量。

根据实施例，测量电子设备100的位置的方法不限于上述示例，并且可以肯定地应用能够获取电子设备100的位置数据的另一种方法。

存储单元140可以包括磁盘驱动器、光盘驱动器和闪存。可选地，存储单元140可以是便携式通用串行总线(universal serial bus，USB)数据存储设备。存储单元140可以存储用于执行与本申请相关的示例的系统软件。用于执行与本申请相关的示例的系统软件可以存储在便携式存储介质中。

通信单元160可以包括至少一个天线，用于以无线方式与另一设备通信。例如，通信单元160可以用于通过Wi-Fi或蓝牙以无线方式与蜂窝网络或另一无线协议和系统通信。由处理器120控制的通信单元160可以发送和接收无线信号。例如，处理器120可以执行存储在存储单元140中的程序，使得通信单元160向蜂窝网络发送无线信号并从蜂窝网络接收无线信号。

输入单元150指示用于输入用于控制车辆(图1中的1)的数据的装置。例如，输入单元150可以包括键盘、圆顶开关、触摸板(电容覆盖触摸板、电阻覆盖触摸板、红外(IR)光束触摸板、表面声波触摸板、积分应变仪触摸板、压电触摸板等)、滚轮、滚轮开关等，但不限于此。此外，输入单元150可以包括麦克风，其中该麦克风可以被配置为从车辆(图1中的1)的乘客接收音频(例如，语音命令)。

输出单元130可以输出音频信号或视频信号，并且该输出单元130可以包括显示器281和声音输出单元282。

显示器281可以包括以下中的至少一个：液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、3D显示器和电泳显示器。根据输出单元130的实施形式，输出单元130可以包括两个或更多个显示器281。

声音输出单元282输出从通信单元160接收或存储在存储单元140中的音频数据。此外，声音输出单元282可以包括扬声器、蜂鸣器等。

输入单元150和输出单元130可以包括网络接口，并且可以通过触摸屏来实施。

处理器120通常可以通过执行存储在存储单元140中的程序来控制感测单元110、通信单元160、输入单元150、存储单元140和输出单元130。

图15是根据实施例的车辆的框图。

根据实施例，车辆1可以包括电子设备100和行驶(traveling)设备200。图15中所示的车辆1仅包括与本实施例相关的组件。因此，本实施例所属领域的普通技术人员可以理解，还可包括除图15中所示的组件之外的通用组件。

电子设备100可以包括感测单元110和处理器120。

上面已经参考图11和12对感测单元110和处理器120进行了描述，因此这里省略了对它们的描述。

行驶设备200可以包括制动单元221、转向单元222和节流阀223。

转向单元222可以是被配置为调节车辆1的方向的一组机构。

节流阀223可以是被配置为通过控制引擎/马达的操作速度来控制车辆1的速度的一组机构。此外，节流阀223可以调节节流阀开启速率(throttle open rate)以调节在引擎/马达中流动的燃料空气的混合气体体积，并且可以调节节流阀开启速率以调节动力和推力。

制动单元221可以是被配置为使车辆1减速的一组机构。例如，制动单元221可以使用摩擦来降低车轮/轮胎的速度。

根据上述本实施例的设备可以包括处理器、用于存储和执行程序数据的存储器、诸如盘驱动器的永久存储器、用于与外部设备通信的通信端口、诸如触摸板、按键、按钮等的用户接口设备等等。由软件模块或算法实施的方法可以作为可在处理器中执行的计算机可读代码或程序命令被存储在计算机可读记录介质中。这里，计算机可读记录介质的示例包括磁存储介质(例如，只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、软盘、硬盘等)和光学记录介质(例如，CD-ROM或数字多功能光盘(digital versatile discs，DVD))等。计算机可读记录介质也可以分布在网络耦合的计算机系统上，使得计算机可读代码以分布式方式存储和执行。该介质可由计算机读取，存储在存储器中，并可以由处理器执行。

本实施例可以用功能块和各种处理步骤来表示。这些功能块可以通过用于执行特定功能的各种数量的硬件和/或软件配置来实施。例如，实施例可以采用直接电路配置，诸如存储器、处理、逻辑和查找表，以用于在一个或多个处理器的控制下或通过其他控制设备执行各种功能。如同本实施例的组件能够用软件编程或软件元件来执行各种功能一样，本实施例可以由诸如C、C++、Java或汇编的编程或脚本语言来实施，其中各种算法用数据结构、过程、例程和/或其他编程组件的组合来实施。功能方面可以用在一个或多个处理器中执行的算法来实施。此外，本实施例可以采用现有技术，用于电子环境设置、信号处理和/或数据处理。术语，例如“机构”、“元件”、“装置”和“配置”，可以被广泛使用，并且不被界定为机械和物理配置。这些术语可以包括与处理器相关联的一系列软件例程的含义。

Claims

1.一种电子设备，包括：

至少一个感测单元，被配置为在电子设备正在移动时以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；和

处理器，被配置为：

从所述图像数据中提取对象，

生成用于标识所提取的对象的第一对象数据，以及

存储与已经从其中提取所述对象的图像数据相对应的第一节点的位置数据和与所述第一节点相对应的第一对象数据。

2.根据权利要求1所述的电子设备，其中，

当确定与所述第一对象数据相对应的对象与与预存的第二对象数据相对应的对象相同时，

处理器还被配置为：

通过使用所述第一对象数据和所述第二对象数据，来计算所述第一节点和与所述第二对象数据相对应的第二节点之间的相对位置数据、以及与所述第一节点和所述第二节点之间的相对位置数据相对应的误差值，以及

校正所述第一节点和所述第二节点的位置数据，使得所述误差值被最小化。

3.根据权利要求2所述的电子设备，其中，

处理器还被配置为：

基于所述第一节点和所述第二节点的经校正的位置数据，校正包括所述第一节点和所述第二节点的路径图。

4.根据权利要求1所述的电子设备，其中，

处理器还被配置为：

通过使用所述多个节点中的每一个节点的位置数据和图像数据，来计算相邻节点之间的相对位置数据和与所述相对位置数据相对应的误差值，以及

校正所述多个节点中的每一个节点的位置数据，使得所述误差值被最小化。

5.根据权利要求4所述的电子设备，其中，

处理器还被配置为：

生成路径图，所述路径图包括所述多个节点中的每一个节点的位置数据、相邻节点之间的相对位置数据、以及与所述相对位置数据相对应的误差值。

6.根据权利要求5所述的电子设备，其中，

处理器还被配置为：

基于所述多个节点中的每一个节点的经校正的位置数据来校正所述路径图。

7.根据权利要求6所述的电子设备，其中，

处理器还被配置为：

通过使用经校正的路径图和所述多个节点中的每一个节点的图像数据来生成地图数据，并存储生成的地图数据。

8.根据权利要求7所述的电子设备，其中，

处理器还被配置为：

在生成所述地图数据之后，存储用于生成所述地图数据的路径图，以及

删除已经用于生成所述地图数据的、所述多个节点中的每一个节点的图像数据。

9.根据权利要求8所述的电子设备，其中，

处理器还被配置为：

在存储所述路径图之后，通过使用车辆正在行驶时获取的位置数据来扩展所述路径图。

10.根据权利要求1所述的电子设备，其中，

所述第一对象数据还包括以下中的至少一个：所述对象的尺寸和颜色、指示所述第一节点和所述对象之间的距离的距离数据、以及指示所述对象相对于所述第一节点的方向的方向数据。

11.一种电子设备的操作方法，所述操作方法包括：

在电子设备正在移动时，以预定间隔获取多个节点中的每一个节点的位置数据和图像数据；

从所述图像数据中提取对象；

生成用于标识所提取的对象的第一对象数据；以及

12.根据权利要求11所述的操作方法，还包括：

确定与所述第一对象数据相对应的对象与与预存的第二对象数据相对应的对象相同；

通过使用所述第一对象数据和所述第二对象数据，来计算所述第一节点和与所述第二对象数据相对应的第二节点之间的相对位置数据、以及与所述第一节点和所述第二节点之间的相对位置数据相对应的误差值；以及

校正所述第一节点和所述第二节点的位置数据使得所述误差值被最小化。

13.根据权利要求12所述的操作方法，还包括：

14.根据权利要求11所述的操作方法，还包括：

通过使用所述多个节点中的每一个节点的位置数据和图像数据，来计算相邻节点之间的相对位置数据和与所述相对位置数据相对应的误差值；以及

校正所述多个节点中的每一个节点的位置数据使得所述误差值被最小化。

15.根据权利要求14所述的操作方法，还包括：

16.根据权利要求15所述的操作方法，还包括：

17.根据权利要求16所述的操作方法，还包括：

通过使用经校正的路径图和所述多个节点中的每一个节点的图像数据来生成地图数据；以及

存储生成的地图数据。

18.根据权利要求17所述的操作方法，还包括：

在生成所述地图数据之后，存储用于生成所述地图数据的路径图；以及

19.根据权利要求11所述的操作方法，其中，

第一对象数据还包括以下中的至少一个：所述对象的尺寸和颜色、指示所述第一节点和所述对象之间的距离的距离数据、以及指示所述对象相对于所述第一节点的方向的方向数据。

20.一种计算机可读记录介质，其上记录有程序，所述程序用于在计算机上执行根据权利要求11所述的操作方法。