CN115700508A - 一种语义地图的构建方法及相关装置 - Google Patents

Abstract

本申请公开了一种语义地图的构建方法及相关装置，可以实现通过电子设备上采集到的图像数据以及惯导数据，构建平面图，并识别图像数据中的语义兴趣点以及语义兴趣点在平面图中的位置。电子设备可以将语义兴趣点标记在平面图中，并显示采集指引提示，指引电子设备去往室内中未采集区域构建室内的完整平面图。这样，在电子设备预先未获取到平面图信息的前提下，仍可以完整采集并生成带有语义兴趣点的平面图。

Description

一种语义地图的构建方法及相关装置

技术领域

本申请涉及地图领域，尤其涉及一种地图的构建方法及相关装置。

背景技术

在基于位置的服务(LBS)的广大需求下，精准定位与导航为优良LBS的关键指标之一。精准的导航系统依赖事先采集的相关底图，例如，航位推算搭配底图匹配算法依赖向量平面图、地磁算法需要磁场强度图。电子设备通过导航底图的辅助与精准的定位可以提供相关服务，以室内地库为例：停车空位找寻，停车位置记录等等。因此，平面图在其中扮演着重要的关键角色。

目前，一般的平面图只能提供可视化的作用，且多数情况下，图资信息的采集与生产往往不够齐全。例如，一般平面图并未确切标记导航相关的语义兴趣点(pointofinterest，POI)等图资信息。例如，POI可以包括汽车/行人出入口，车位、灭火器位置等等。传统的图资信息采集方式需要搭配一张平面图，通过人工的方式记录轨迹与相关POI。对于大型的地库采集带来成本与人力的浪费，甚至在没有平面图的条件下，人工无法标注出POI等图资信息。

发明内容

本申请提供了一种语义地图的构建方法及相关装置，实现了通过采集的图像数据和惯导数据构建平面图，指引电子设备完成室内图资信息的采集。

第一方面，本申请提供了一种语义地图的构建方法，包括：电子设备通过摄像头实时采集建筑物内的图像数据，通过惯性传感器实时采集惯导数据；该电子设备基于该图像数据和该惯导数据构建第一区域的平面图，并确定出该电子设备在该建筑物内未构建平面图的第二区域；该电子设备识别该图像数据中处于该第一区域的语义兴趣点POI；该电子设备在该第一区域的平面图中标记出处于该第一区域的语义兴趣点；该电子设备显示采集指引提示，该采集指引提示用于指示该电子设备移动至该第二区域构建该第二区域的平面图。

本申请中提供一种语义地图的构建方法，可以实现通过电子设备上采集到的图像数据以及惯导数据，构建平面图，并识别图像数据中的语义兴趣点以及语义兴趣点在平面图中的位置。电子设备可以将语义兴趣点标记在平面图中，并显示采集指引提示，指引电子设备去往室内中未采集区域构建室内的完整平面图。这样，在电子设备预先未获取到平面图信息的前提下，仍可以完整采集并生成带有语义兴趣点的平面图。

在一种可能的实现方式中，该电子设备基于该图像数据和该惯导数据构建第一区域的平面图时，该方法还包括：该电子设备采集该第一区域的图资信息，其中，该图资信息包括磁场强度信息、无线信号强度信息中的一种或多种；该无线信号强度信息包括无线保真Wi-Fi信号的接收强度信息和蓝牙信号的接收强度信息中的一个或多个。这样，可以让电子设备在构建语义平面图的过程中采集更多图资信息。

在一种可能的实现方式中，在该电子设备通过摄像头实时采集建筑物内的图像数据，通过惯性传感器实时采集惯导数据之前，该方法还包括：该电子设备接收到第一输入；响应于该第一输入，该电子设备启动图资采集应用，并显示图资采集应用界面。这样，通过图资采集应用开启对语义平面图的构建。

在一种可能的实现方式中，该图资采集应用界面包括图层控件；在该电子设备基于该图像数据和该惯导数据构建第一区域的平面图后，该方法还包括：该电子设备接收到用户针对该图层控件的第二输入；响应于该第二输入，该电子设备显示图层设置窗口，该图层设置窗口包括平面图层选项控件、POI图层选项控件、道路中心线图层控件和采集位置图层控件中的一个或多个；其中，该平面图层选项控件用于触发该电子设备在该图资采集应用界面上开启或关闭显示该电子设备生成的平面图，该POI图层选项控件用于触发该电子设备在该图资采集应用界面上开启或关闭显示POI，该道路中心线图层控件用于触发该电子设备在该图资采集应用界面上开启或关闭显示道路中心线，该采集位置图层用于触发该电子设备在该图资采集应用界面上开启或关闭显示该电子设备在该建筑物内已采集该图资信息的位置。

在一种可能的实现方式中，该图资采集应用界面包括采集画面控件；该方法还包括：该电子设备接收用户针对该采集画面控件的第三输入；响应于该第三输入，该电子设备显示摄像头实时采集到的图像画面。这样，方便用户查看电子设备的采集建筑物内的图像情况。

在一种可能的实现方式中，该图资采集应用界面包括传感器控件；该方法还包括：该电子设备接收用户针对该传感器控件的第四输入；响应于该第四输入，该电子设备显示出传感器设置窗口，该传感器设置窗口包括一个或多个传感器数据的采集开关，该一个或多个传感器数据的采集开关包括Wi-Fi数据采集开关、地磁数据采集开关和蓝牙数据采集开关中的一个或多个；其中，该Wi-Fi数据采集开关用于触发该电子设备开启或关闭对Wi-Fi数据的采集，该地磁数据采集开关用于触发该电子设备开启或关闭对地磁数据的采集，该蓝牙数据采集开关用于触发该电子设备开启或关闭对蓝牙数据的采集。

在一种可能的实现方式中，该图资采集应用界面包括采集指引控件；该电子设备显示采集指引提示，具体包括：该电子设备在该图资采集应用界面上显示该第一区域的平面图；该电子设备接收用户针对该采集指引控件的第五输入；响应于该第五输入，该电子设备在该第一区域的平面图上显示该采集指引提示。

在一种可能的实现方式中，该电子设备基于该图像数据和该惯导数据构建第一区域的平面图，具体包括：该电子设备识别该图像数据中的车格、柱子和该第一区域的平面图边界线在该建筑物内的位置；该电子设备基于该车格和该柱子在该建筑物内的位置，确定出该建筑物内的道路边界线以及道路中心线；该电子设备延伸该道路中心线，并确定出延伸后的该道路中心线与该第一区域的平面图边界线没有交叉点的方向区域为该第二区域。

在一种可能的实现方式中，该POI包括汽车出入口、行人出入口、车位和灭火器位置中的一个或多个。

第二方面，本申请提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、摄像头、惯性传感器；其中，该摄像头、该惯性传感器、该一个或多个存储器与该一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当一个或多个处理器在执行该计算机指令时，使得该电子设备执行上述任一方面任一项可能的方法。

第三方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述任一方面任一项可能的实现方式中的方法。

第四方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的方法。

附图说明

图1为本申请实施例提供的一种室内定位与导航方式的示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种语义地图的构建场景示意图；

图4为本申请实施例提供的语义地图的构建方法流程示意图；

图5A-图5H为本申请实施例提供的一组界面示意图；

图6为本申请实施例提供的一种语义地图的构建方法的流程示意图；

图7为本申请实施例提供的一种确定未采集区域的算法流程示意图；

图8A-图8D为本申请实施例提供的一组平面图的示意图；

图9为本申请实施例提供的一种电子设备的硬件结构示意图；

图10为本申请实施例提供的一种电子设备的软件功能结构示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面介绍一种室内定位与导航方式。

图1示出了本申请中提及的一种室内定位与导航方式的示意图。

如图1所示，该语义地图的构建方式包括如下步骤：

S101、电子设备获取建筑物结构图及各个楼层平面图。

S102、电子设备在建筑物室内确定多个位置点，分别在各个位置点采集室内的场景图像。

S103、电子设备采集到的室内场景图像与采集该图像的位置点进行关联，该位置点信息即为预存现场位置信息。

在后续室内定位于导航过程中，电子设备可以获取用户所处位置的即时场景图像。电子设备可以在获取即时场景图像后，将即时场景图像信息发送至服务器，服务器将收到的即时场景图像信息与数据库中的若干预存场景图像信息进行特征比对、识别。

但是，在上述室内定位与导航方式中，需要事先获取建筑物结构图以及各个楼层平面图，并且需要人工记录采集的图像以及该图像的采集位置，无法通过电子设备在平面图中自动标记出建筑物所在的位置。

因此，本申请实施例中提供一种语义地图的构建方法，可以实现通过电子设备上采集到的图像数据以及惯导数据，构建平面图，并识别图像数据中的语义兴趣点以及语义兴趣点在平面图中的位置。电子设备可以将语义兴趣点标记在平面图中，并显示采集指引提示，指引电子设备去往室内中未采集区域构建室内的完整平面图。这样，在电子设备预先未获取到平面图信息的前提下，仍可以完整采集并生成带有语义兴趣点的平面图。

图2示出了电子设备100的结构示意图。

下面以电子设备100为例对实施例进行具体说明。应该理解的是，图2所示电子设备100仅是一个范例，并且电子设备100可以具有比图2中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

下面介绍本申请实施例中提供的一种语义地图的构建场景。

图3示出了本申请实施例中提供的一种语义地图的构建场景示意图。

如图3所示，电子设备100可以置于车辆上。车辆载着电子设备100在车库内移动。其中，车辆可以是人工驾驶或者自动驾驶。当车辆是人工驾驶时，电子设备100可以在显示屏上显示采集指引信息，该采集指引信息用于指示用户操纵车辆驶向车库内的未采集区域。当车辆是自动驾驶时，电子设备100可以与车辆的自动驾驶系统建立连接，电子设备100可以在确定出未采集区域后，发送采集指引指令给自动驾驶系统，自动驾驶系统在接收到该采集指引指令后，可以控制车辆驶向车库内的未采集区域。

在一种可能的实现方式中，电子设备100可以是车辆上的车机交互装置，该电子设备100可以通过摄像头采集到的图像数据以及惯性传感器获取到的惯导数据，构建车库内的平面图，并识别图像数据中的语义兴趣点以及语义兴趣点的位置，将语义兴趣点标记在平面图中。电子设备100在确定出车库内的未采集区域后，可以控制车辆向未采集区域移动，以构建未采集区域的平面图并采集未采集区域的图资信息。

在本申请实施例中，电子设备100的设备类型还可以是无人飞机、地面机器人等具有移动平台，电子设备100可以基于生成的采集指引信息，向未采集区域移动。电子设备100还可以是AR/VR眼镜等穿戴设备，电子设备100在显示屏上显示出采集指引提示，该采集指引提示用于指引用户向未采集区域移动。

下面结合上述图3所示语义地图的构建场景，介绍本申请实施例中提供的一种语义地图的构建方法。

图4示出了本申请实施例中在上述语义地图的构建场景中语义地图的构建方法流程示意图。

如图4所示，该语义地图的构建方法可以包括如下步骤：

S401、电子设备100置于车辆上。

S402、车辆载着电子设备100驶入车库中。

S403、电子设备100启动图资采集应用。

S404、在开启图资采集应用后，电子设备100获取惯导数据和车库内图像数据。

其中，惯导数据可以包括加速度数据和陀螺仪数据。电子设备100可以通过加速度计获取到加速度数据，通过陀螺仪获取到陀螺仪数据。

S405、电子设备100可以通过惯导数据和车库内图像数据建立区域平面图。

S406、电子设备100基于多个区域平面图生成导航底图。

S407、电子设备100采集图资信息并显示采集指引提示，指引车辆向车库内未采集区域移动。

其中，图资信息可以包括语义兴趣点、磁场强度信息和无线信号强度信息等等中的任一项。

电子设备100可以从摄像头获取到的室内图像数据中识别出语义目标，并结合惯导数据和图像数据确定出该语义目标在区域平面图中的位置。电子设备100可以通过磁力计采集电子设备100在区域平面图中所在位置的磁场强度信息。电子设备100可以通过无线通信模块采集电子设备100在区域平面图中所在位置的无线信号强度信息。例如，电子设备100可以通过Wi-Fi模块采集电子设备100在区域平面图所在位置的Wi-Fi信号强度信息。又例如，电子设备100可以通过蓝牙模块采集电子设备100在区域平面图所在位置的蓝牙信号强度信息。上述示例仅仅用于解释本申请，不应构成限定。

电子设备100可以基于图像数据以及惯导数据确定出车库内的未采集区域，并输出采集指引提示，指引电子设备100往未采集区域移动。其中，电子设备100如何确定出未采集区域可以参考后续实施例。

S408、电子设备100采集完车库内所有可采集区域的图资信息。

下面介绍本申请实施例中电子设备100在构建语义地图时显示的图资采集应用界面。

如图5A所示，电子设备100可以显示桌面510。其中，桌面510可以包括中显示了一个放置有应用图标的页面，该页面包括多个应用图标(例如，浏览器应用图标、股票应用图标、计算器应用图标、语音助手应用图标、视频应用图标、天气应用图标、主题应用图标、设置应用图标、地图应用图标、图库应用图标、备忘录应用图标、图资采集应用图标，等等)。可选的，该放置有应用图标的页面的下方还显示包括有页面指示符，以表明桌面上页面总数，以及当前显示的页面与其他页面的位置关系。可选的，该放置有应用图标的页面的上方还显示包括有状态栏，该状态栏中可以包括有通信信号的强度指示符、电量值、时间等信息。进一步可选的，页面指示符的下方可以有托盘(dock)区域，该dock区域中可以包括有一个或多个托盘图标(例如，拨号应用图标、信息应用图标、联系人应用图标、相机应用图标等等)，该dock区域中的一个或多个托盘图标可以在页面切换时保持显示。

电子设备100可以接收用户图资采集应用图标511的输入(例如单击)，响应于该输入，电子设备100可以显示如图5B所示的图资采集应用界面520。其中，在开启图资采集应用后，电子设备100获取惯导数据和车库内图像数据。电子设备100可以通过惯导数据和车库内图像数据建立区域平面图。

如图5B所示，该图资采集应用界面520中可以包括区域平面图526、一个或多个功能控件(例如，图层控件521、我的位置控件522、采集画面控件523、传感器控件524和采集指引控件525，等等)。该图层控件521可用于触发电子设备100选择在图资采集应用界面520上显示的图层(例如，平面图图层、POI图层、道路中心线图层、采集位置图层，等等)。该我的位置522可用于触发电子设备100将在平面图中显示电子设备100当前所在位置。该采集画面控件523可用于触发电子设备100在图资采集应用界面520上显示出摄像头采集到的图像画面。该传感器524可用于触发电子设备100选择开启对信号强度(包括Wi-Fi信号强度、地磁强度和蓝牙信号强度，等等中的一个或多个)的采集。该采集指引525控件可用于响应于用户的第五输入，触发电子设备100开启/关闭在图资采集应用界面520上显示指示采集指引提示，该采集指引提示可用于提示用户操作电子设备100前往未采集区域进行采集。可选的，该图资采集应用界面520上还可以包括平面图比例尺和地图语义注释信息。

电子设备100可以接收用户针对该采集画面控件523的第三输入(例如单击)，响应于该第三输入，如图5C所示，电子设备100可以在图资采集应用界面520上显示摄像头实时采集到的画面527。当电子设备100再次接收到用户针对该采集画面控件523的输入后，电子设备100可以关闭在图资采集应用界面520上显示摄像头实时采集到的画面527。

电子设备100可以接收用户针对该采集指引控件525的输入(例如单击)，响应于该输入，如图5D所示，电子设备100可以在平面图526上显示采集指引提示528，该采集指引提示528可用于提示电子设备100前往室内未采集区域采集图资信息。当电子设备100再次接收到用户针对该采集指引控件525的输入后，电子设备100可以关闭在图资采集应用界面520上显示采集指引提示528。

可选的，电子设备100也可以在摄像头实时采集到的画面527上显示采集指引提示529。

电子设备100可以接收用户针对该传感器控件524的第四输入(例如单击)，响应于该第四输入，如图5E所示，电子设备100可以在图资采集应用界面520上显示传感器设置窗口530。该传感器设置窗口530可以包括有一个或多个传感器数据的采集开关。例如，Wi-Fi数据采集开关531、地磁数据采集开关532和蓝牙数据采集开关533，等等。其中，该Wi-Fi数据采集开关531可用于触发电子设备100开启或关闭对室内Wi-Fi数据(包括Wi-Fi信号名称、Wi-Fi信号强度，等等)的采集。该地磁数据采集开关532可用于触发电子设备100开启或关闭对室内地磁数据(包括地磁信号强度，等等)的采集。该蓝牙数据采集开关533可用于触发电子设备100开启或关闭对室内蓝牙数据(包括蓝牙名称和蓝牙信号强度)的采集。

如图5F所示，电子设备100可以接收用户针对图层控件521的第二输入，响应于该第二输入，如图5G所示，电子设备100可以在图资采集应用界面520上显示图层设置窗口540。其中，该图层设置窗口540可以包括平面图图层选项对应的控件541、POI图层选项对应的控件542、道路中心线图层对应的控件543和采集位置图层对应的控件544。如图5G所示，当前控件541、控件542和控件544处于使能状态，控件543处于去使能状态，电子设备100开启了平面图图层、POI图层和采集位置图层的显示，关闭了道路中心线图层的显示。

电子设备100可以接收用户针对控件543的输入(例如单击)，响应于该输入，电子设备100可以开启道路中线图层的显示。

如图5H所示，在电子设备100可以开启道路中线图层的显示后，上述控件543可以切换至使能状态，电子设备100可以在平面图526上显示道路中心线551。

上述图5A-图5H所示示例，仅仅用于解释本申请，不应构成限定。

下面介绍本申请实施例中提供的一种语义地图的构建方法。

图6示出了本申请实施例中的一种语义地图的构建方法的流程示意图。

如图6所示，该方法可以包括如下步骤：

S601、电子设备100接收第一输入。

其中，第一输入可以是针对上述图5A中图资采集应用511的输入(例如单击)。

S602、响应于第一输入，电子设备100可以显示图资采集应用界面。

其中，图资采集应用界面可以参考上述图5B-图5H中针对图资采集应用界面520的文字说明，在此不在赘述。

S603、电子设备100可以判断数据库中是否记录有建筑物的室内导航地图，若否，则执行步骤S604至步骤S610。

其中，电子设备100可以先通过全球导航卫星系统((global navigationsatellite system，GNSS)定位、基站定位或Wi-Fi辅助定位，确定出建筑物的地理位置。电子设备100可以基于建筑物的地理位置，从数据库中查找是否有与该建筑物的地理位置相对应的导航地图。其中，数据库中给建筑物的导航地图都备注有地理位置。

在一种可能的实现方式中，数据库中给建筑物的导航地图都备注有地理名称。电子设备100可以通过GNSS定位、基站定位或Wi-Fi辅助定位，确定出建筑物的地理名称。然后，电子设备100可以从数据中查找是否有该建筑物的地理名称相对应的导航地图。

在一种可能的实现方式中，数据库中给建筑物的导航地图都备注有地理名称。电子设备100接收用户的输入建筑物的地理名称。电子设备100可以基于用户输入的建筑物的地理名称，从数据库中查找是否有该建筑物的地理名称对应的导航地图。

在本申请实施例中，该数据库可以存储在电子设备100上，也可以存储在服务器上。

S604、电子设备100通过摄像头获取室内的图像数据，通过惯性传感器获取惯导数据。

其中，惯导数据可以包括加速度数据和陀螺仪数据。惯性传感器可以包括加速度计和陀螺仪。电子设备100可以通过加速度计获取到加速度数据，通过陀螺仪获取到陀螺仪数据。

S605、电子设备100可以基于图像数据和惯导数据，确定出电子设备100所在区域的平面图以及电子设备100在平面图中的当前位置，并记录当前位置的图资信息。

其中，图资信息可以包括语义兴趣点(POI)、磁场数据、无线信号数据，等等中的一项或多项。电子设备100可将语义兴趣点的位置和大小标记在平面图上。其中，POI包括汽车出入口、行人出入口、车位和灭火器位置中的一个或多个。

电子设备100可以基于图像数据和惯导数据，通过即时定位于地图构建(simultaneous localization and mapping，SLAM)方式或语义视觉同步定位于地图构建(semanticsimultaneous localization and mapping，Semantic-SLAM)方式完成语义地图的构建。

具体的，电子设备100在进入该室内后，电子设备100可以识别采集到的图像数据中的语义目标。然后，电子设备100可以计算出图像数据的两帧图像画面中该语义目标移动的像素距离。电子设备100通过惯导数据确定出两帧图像画面之间电子设备100移动的地理距离。电子设备100可以基于两帧图像画面中语义目标移动的像素距离和电子设备100移动的地理距离，确定出语义目标与电子设备100当前所在位置的相对位置。其中，语义目标包括出入口、车位、柱子、道路标志、灭火器，等等中的一项或多项。

在本申请实施例中，在语义地图的构建中可以使用滤波器技术对图像数据和惯导数据的语义地图构建结果进行优化。其中，滤波器包括但不限于以下一种或多种：卡尔曼滤波器、粒子滤波器、图优化滤波器，等等。电子设备100可以借助卷积神经网络、深度学习的技术手段，通过上述处理逻辑识别出上述图像数据中的语义目标的大小和位置。

电子设备100可以通过惯性传感器采集到的惯导数据和/或磁力计采集到的磁场强度和/或无线通信模块采集到的无线信号(例如Wi-Fi信号或蓝牙信号)强度，进行车辆航位推算(dead reckoning，DR)定位，确定出电子设备100当前在室内的位置。电子设备100结合语义目标与电子设备100当前所在室内位置的相对位置，构建出电子设备100所在区域的平面图。

可选的，电子设备100在确定出电子设备100当前所在位置后，可以通过磁力计测量出当前所在位置的磁场强度。

可选的，电子设备100在确定出电子设备100当前所在位置后，可以通过无线通信模块，测量出无线信号的接收信号强度(received signal strength indication，RSSI)。例如，电子设备100可以通过Wi-Fi通信模块测量出电子设备100当前所在位置Wi-Fi信号的标识和RSSI，电子设备100可以通过蓝牙通信模块测量出电子设备100当前所在位置的蓝牙信号的标识和RSSI。

在一些实施例中，当数据库中有记录有建筑物的室内导航地图时，电子设备100可以基于室内导航地图以及和当前采集到图像中的语义信息，确定出电子设备100在室内导航地图中的当前位置。电子设备100可以显示室内导航地图，在室内导航地图中显示电子设备100的当前位置。电子设备100可以基于采集到的图像数据和惯导数据，确定出室内导航地图中未采集区域，并完成图资信息的采集。

可选的，当数据库中有记录有建筑物的室内导航地图时，电子设备100可以通过磁场定位或无线信号定位，确定出电子设备100在室内导航地图中的当前位置。这样，可以提升定位的准确度。

若电子设备100当前采集到的图像中的语义信息与室内导航地图中的语义信息不匹配，则电子设备100可以基于采集到的图像数据和惯导数据，确定出电子设备100所在区域的平面图。电子设备100可以基于该平面图完成图资信息的采集，并使用该平面图修正室内导航地图中语义信息不匹配的区域。

S606、电子设备100可以判断是否已采集完该建筑物室内所有区域的图资信息，若否，则执行步骤S607至步骤S609。若已采集完该建筑物室内所有区域的图资信息，则执行步骤S610。

具体的，电子设备100识别是否已采集完建筑物室所有区域的图资信息的算法流程可以参考下述图7所示实施例。

S607、当未采集完该室内所有区域的图资信息时，电子设备100确定出该建筑物室内的未采集区域。

其中，电子设备100确定出建筑物室内的未采集区域的算法流程可以参考下述图7所示实施例。

S608、电子设备100可以在平面图中显示采集指引提示。

其中，该采集指引提示用于指引电子设备100去往室内未采集区域移动。其中，该采集指引提示可以如上述图5D所示中的采集指引提示528。

S609、电子设备100基于采集指引提示，向室内未采集区域移动。

其中，电子设备100可以置于车辆上。电子设备100在显示出采集指引提示后，可由用户控制车辆载着电子设备100在建筑物室内移动。其中，车辆可以是人工驾驶或者自动驾驶。

可选的，当车辆是自动驾驶时，电子设备100可以与车辆的自动驾驶系统建立连接，电子设备100可以在确定出未采集区域后，发送采集指引指令给自动驾驶系统，自动驾驶系统在接收到该采集指引指令后，可以控制车辆驶向车库内的未采集区域。

在电子设备100移动到一个新位置后，电子设备100可以继续执行上述步骤S604至S606。

S610、当已采集完该室内所有区域的图资信息时，电子设备100可以结束图资信息的采集，并将已采集到的图资信息保存在云端或本地。

在本申请实施例中，未采集区域，包括未构建平面图的第二区域，已采集区域包括已构建平面图的第一区域。

通过本申请实施例提供的一种语义地图的构建方法，无需额外的制图传感器(例如激光雷达或者超声波)，单纯利用摄像头采集到的图像数据以及惯性传感器采集到的惯导数据，构建平面图，并识别图像数据中的语义目标以及语义目标在平面图中的位置。电子设备100可以将语义目标标记在平面图中，作为平面图中的语义兴趣点(POI)，并显示采集指引提示，指引电子设备去往室内中未采集区域构建室内的完整平面图。这样，电子设备100不需要专业的昂贵组件，就可以生成平面图，并采集图资信息。另外，即使在预先未获取到平面图信息的前提下，仍可以生成平面图，并完成图资信息的采集。

下面介绍本申请实施例中电子设备100确定出未采集区域的算法。

图7示出了本申请实施例中提供的一种确定未采集区域的算法流程示意图。

如图7所示，该确定未采集区域的算法流程包括如下步骤：

S701、电子设备100识别图像数据中的车格、柱子和室内边界线在平面图中的位置。

电子设备100通过摄像头获取到图像数据后，可以识别采集到的图像数据中的车格、柱子和室内边界线。然后，电子设备100可以计算出图像数据的两帧图像画面中车格和柱子移动的像素距离。电子设备100通过惯导数据确定出两帧图像画面之间电子设备100移动的地理距离。电子设备100可以基于两帧图像画面中车格、柱子和室内边界线移动的像素距离和电子设备100移动的地理距离，确定出车格、柱子和室内边界分别与电子设备100当前所在位置的相对位置。

电子设备100可以基于车格、柱子和室内边界线分别与电子设备100当前所在位置的相对位置，确定出车格和柱子分别在平面图中的位置。

S702、电子设备100基于车格与柱子在平面图的位置，确定出道路边界线以及道路中心线。

其中，电子设备100在确定出车格与柱子的位置后，可以沿着车格线和柱子的边缘，确定出建筑物室内的两条平行的道路边界线。

电子设备100可以在两条平行的道路边界线之间内插出一条或多条道路中心线。其中，本申请实施例中，以两条道路中心线进行说明。

S703、电子设备100延伸道路中心线，并确定出延伸后的道路中心线与已生成平面图中室内边界线的交叉点，以及已生成平面图中两条室内边界线的交叉点。

如图8A所示，电子设备100在确定出室内边界线以及道路中心线的位置后，可以将道路中心线延伸。延伸后的道路中心线与已生成平面图中室内边界线可以有交叉点。

S704、电子设备100可以判断已生成平面图中室内边界线是否闭合，若是，则执行步骤S705。若否，则执行步骤S706。

S705、电子设备100判断已生成平面图中延伸后的道路中心线是否与室内边界线都有交叉点，若否，则执行步骤S706至步骤S707。若是，则执行步骤S708。

S706、电子设备100确定道路中心线与室内平面图中的边界线没有交叉点的方向区域未采集区域。

S707、电子设备100显示采集指引提示，指引电子设备100向未采集区域移动。

示例性的，如图8A所示，电子设备100已生成平面图中包括有两条室内边界线(室内边界线811和室内边界线812)，两条道路边界线(道路边界线821和道路边界线822)。电子设备100可以基于道路边界线821和道路边界线822，内插出两条道路中心线(道路中心线831和道路中心线832)。其中，室内边界线811的方向由南往北，室内边界线812的方向由西往东。道路中心线831用于车辆从东向西行驶，道路中心线832用于车辆从西向东行驶。电子设备100当前在道路中心线832上从西向东行驶。室内边界线811和室内边界线812的交叉点在已生成平面图的西南角。道路中心线831在已生成平面图的西方向上与由南往北的室内边界线811相交，在已生成平面图的东方向上与室内边界线无交点。道路中心线832在已生成平面图的西方向上与室内边界线811相交，在已生成平面图的东方向上与室内边界线无交点。因此，电子设备100可以确定已生成平面图中的室内边界线未闭合，且已生成平面图中的未采集区域在道路中心线832的东方向。电子设备100可以在已生成平面图上显示出采集指引提示，指引电子设备100在道路中心线832上继续向东方向移动。

如图8B所示，电子设备100已生成平面图中包括有三条室内边界线(室内边界线811、室内边界线812和室内边界线813)，四条道路边界线(道路边界线821、道路边界线822、道路边界线823和道路边界线824)。电子设备100可以基于道路边界线821和道路边界线822，内插出两条道路中心线(道路中心线831和道路中心线832)，基于道路边界线823和道路边界线824内插出两条道路中心线(道路中心线833和道路中心线834)。其中，室内边界线811的方向由南往北，室内边界线812的方向由西往东，室内边界线813的方向由南向北。道路中心线831用于车辆从东向西行驶，道路中心线832用于车辆从西向东行驶，道路中心线833用于车辆从北向南行驶，道路中心线834用于车辆从南向北行驶。电子设备100当前在道路中心线832上从西向东行驶至道路边界824处。室内边界线811和室内边界线812的交叉点在已生成平面图的西南角。室内边界线812和室内边界线813的交叉点在已生成平面图的东南角。道路中心线831在已生成平面图的西方向上与室内边界线811相交，在已生成平面图的东方向上与室内边界线无交点。道路中心线832在已生成平面图的西方向上与室内边界线811相交，在已生成平面图的东方向上与室内边界线813相交。道路中心线834在已生成平面图的南方向上与室内边界线812相交，在已生成平面图的北方向上无相交点。由于电子设备100只在道路中心线821上由西到东方向完成图资信息的采集，并未在道路中心线832上由东到西完成图资信息的采集。因此，电子设备100可以确定已生成平面图中的室内边界线未闭合，且已生成平面图中的未采集区域在道路中心线834的北方向和道路中心线832的西方向。电子设备100可以在已生成平面图上显示出采集指引提示，指引电子设备100在道路中心线834上向北方向移动或者在道路中心线822上向西方向移动。

如图8C所示，电子设备100可以按照采集指引提示，继续建构平面图，并完成图资信息的采集。

如图8D所示，已生成平面图的中包括有四条室内边界线(室内边界线811、室内边界线812、室内边界线813和室内边界线814)。其中，室内边界线811、室内边界线812、室内边界线813和室内边界线814形成闭合的矩形。该已生成平面图中所有道路中心线都与室内边界线由交叉点，且在每条道路中的双向的道路中心线上都完成了图资信息的采集。因此，电子设备100可以确定出室内平面图已构建完成。

S708、电子设备100结束图资信息的采集。

通过本申请实施例提供的一种语义地图的构建方法，无需额外的制图传感器(例如激光雷达或者超声波)，单纯利用摄像头采集到的图像数据以及惯性传感器采集到的惯导数据，构建平面图，并识别图像数据中的语义目标以及语义目标在平面图中的位置。电子设备100可以将语义目标标记在平面图中，作为平面图中的语义兴趣点(POI)，并基于未采集区域的确定算法，输出采集指引提示，指引电子设备100去往室内中未采集区域继续采集图资信息，以构建室内的完整平面图。这样，电子设备100不需要专业的昂贵组件，就可以生成平面图，并采集图资信息。另外，即使在预先未获取到平面图信息的前提下，仍可以生成平面图，并完成图资信息的采集。

下面介绍本申请另一实施例提供的电子设备100的硬件结构。

图9示出了本申请另一实施例中提供的一种电子设备100的硬件结构示意图。

需要说明的是，图9所示电子设备100仅是一个范例，并且电子设备100可以具有比图9中所示的更多或更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图9中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

如图9所示，电子设备100可以包括处理器901、存储器902、无线通信处理模块903、天线904、显示屏905和惯性传感器906。其中，处理器901、存储器902、无线通信处理模块903、天线904、显示屏905、惯性传感器906和摄像头907，可以通过总线908连接。

其中，处理器901可用于读取和执行计算机可读指令。具体实现中，处理器901可主要包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中，处理器901的硬件架构可以是专用集成电路(ASIC)架构、MIPS架构、ARM架构或者NP架构等等。

处理器901中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器201中的存储器为高速缓冲存储器。该存储器可以保存处理器901刚用过或循环使用的指令或数据。如果处理器901需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器901的等待时间，因而提高了系统的效率。

存储器902与处理器901耦合，用于存储各种软件程序和/或多组指令。存储器902可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器901通过运行存储在存储器902的指令，从而执行电子设备100的各种功能应用以及数据处理。存储器902可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序等。存储数据区可存储电子设备100使用过程中所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

无线通信模块903可以提供应用在音频设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)等无线通信的解决方案。

在一些实施例中，无线通信模块903可以包括蓝牙(BT)通信模块903A、WLAN通信模块903B。蓝牙(BT)通信模块903A、WLAN通信模块903B中的一项或多项可以监听到其他设备发射的信号，如探测请求、扫描信号等等，并可以发送响应信号，如探测响应、扫描响应等，使得其他设备可以发现电子设备100，并与其他设备建立无线通信连接，通过蓝牙或WLAN中的一种或多种无线通信技术与其他设备进行通信。其中，蓝牙(BT)通信模块903A可以提供包括经典蓝牙(BR/EDR)或蓝牙低功耗(Bluetooth low energy，BLE)中一项或多项蓝牙通信的解决方案。WLAN通信模块903B可以包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。

天线904，用于发射和接收电磁波信号。不同通信模块的天线可以复用，也可以相互独立，以提高天线的利用率。

显示屏905，用于用于显示图像，视频等。在一种可能的实现方式中，电子设备100还可以包括触摸传感器。触摸传感器也称“触控面板”。触摸传感器可以设置于显示屏905，由触摸传感器与显示屏905组成触摸屏，也称“触控屏”。

惯性传感器906包括加速度计和陀螺仪。惯性传感器906可用于检测电子设备100的惯导数据。

摄像头907用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

电子设备100可以基于摄像头907实时采集到图像数据与惯性传感器906实时检测的惯导数据，生成带有语义信息的平面图。

下面介绍本申请实施例提供的电子设备100的软件功能结构。

图10示出了本申请另一实施例中提供的一种电子设备100的软件功能结构示意图。

需要说明的是，图10所示电子设备100仅是一个范例，并且电子设备100可以具有比图10中所示的更多或更少的功能模块。

如图10所示，电子设备100可以包括定位模块1001、视觉语义识别模块1002和构图模块1003。

其中，定位模块1001，可用于定位电子设备100在建筑物室内的位置。具体定位电子设备100在建筑物室内的位置的算法流程，可以参考前述实施例，在此不再赘述。

视觉语义识别模块1002，可用于基于电子设备100实时采集的图像数据，识别出图像数据中的柱子、车位、道路标志、灭火器等语义目标。

构图模块，可用于基于定位模块1001的定位结果以及视觉语义识别模块1002的是语义识别结果，生成平面图并且将POI标记在平面图上。其中，生成平面图的算法流程，可以参考前述实施例，在此不再赘述。

其中，定位模块1001、视觉语义识别模块1002和构图模块1003，还可用于执行前述方法实施例中的步骤，在此不再赘述。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种语义地图的构建方法，其特征在于，包括：

电子设备通过摄像头实时采集建筑物内的图像数据，通过惯性传感器实时采集惯导数据；

所述电子设备基于所述图像数据和所述惯导数据构建第一区域的平面图，并确定出所述电子设备在所述建筑物内未构建平面图的第二区域；

所述电子设备识别所述图像数据中处于所述第一区域的语义兴趣点POI；

所述电子设备在所述第一区域的平面图中标记出处于所述第一区域的语义兴趣点；

所述电子设备显示采集指引提示，所述采集指引提示用于指示所述电子设备移动至所述第二区域构建所述第二区域的平面图。

2.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述图像数据和所述惯导数据构建第一区域的平面图时，所述方法还包括：

所述电子设备采集所述第一区域的图资信息，其中，所述图资信息包括磁场强度信息、无线信号强度信息中的一种或多种；所述无线信号强度信息包括无线保真Wi-Fi信号的接收强度信息和蓝牙信号的接收强度信息中的一个或多个。

3.根据权利要求2所述的方法，其特征在于，在所述电子设备通过摄像头实时采集建筑物内的图像数据，通过惯性传感器实时采集惯导数据之前，所述方法还包括：

所述电子设备接收到第一输入；

响应于所述第一输入，所述电子设备启动图资采集应用，并显示图资采集应用界面。

4.根据权利要求3所述的方法，其特征在于，所述图资采集应用界面包括图层控件；在所述电子设备基于所述图像数据和所述惯导数据构建第一区域的平面图后，所述方法还包括：

所述电子设备接收到用户针对所述图层控件的第二输入；

响应于所述第二输入，所述电子设备显示图层设置窗口，所述图层设置窗口包括平面图层选项控件、POI图层选项控件、道路中心线图层控件和采集位置图层控件中的一个或多个；其中，所述平面图层选项控件用于触发所述电子设备在所述图资采集应用界面上开启或关闭显示所述电子设备生成的平面图，所述POI图层选项控件用于触发所述电子设备在所述图资采集应用界面上开启或关闭显示POI，所述道路中心线图层控件用于触发所述电子设备在所述图资采集应用界面上开启或关闭显示道路中心线，所述采集位置图层用于触发所述电子设备在所述图资采集应用界面上开启或关闭显示所述电子设备在所述建筑物内已采集所述图资信息的位置。

5.根据权利要求3所述的方法，其特征在于，所述图资采集应用界面包括采集画面控件；所述方法还包括：

所述电子设备接收用户针对所述采集画面控件的第三输入；

响应于所述第三输入，所述电子设备显示摄像头实时采集到的图像画面。

6.根据权利要求3所述的方法，其特征在于，所述图资采集应用界面包括传感器控件；所述方法还包括：

所述电子设备接收用户针对所述传感器控件的第四输入；

响应于所述第四输入，所述电子设备显示出传感器设置窗口，所述传感器设置窗口包括一个或多个传感器数据的采集开关，所述一个或多个传感器数据的采集开关包括Wi-Fi数据采集开关、地磁数据采集开关和蓝牙数据采集开关中的一个或多个；

其中，所述Wi-Fi数据采集开关用于触发所述电子设备开启或关闭对Wi-Fi数据的采集，所述地磁数据采集开关用于触发所述电子设备开启或关闭对地磁数据的采集，所述蓝牙数据采集开关用于触发所述电子设备开启或关闭对蓝牙数据的采集。

7.根据权利要求3所述的方法，其特征在于，所述图资采集应用界面包括采集指引控件；所述电子设备显示采集指引提示，具体包括：

所述电子设备在所述图资采集应用界面上显示所述第一区域的平面图；

所述电子设备接收用户针对所述采集指引控件的第五输入；

响应于所述第五输入，所述电子设备在所述第一区域的平面图上显示所述采集指引提示。

8.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述图像数据和所述惯导数据构建第一区域的平面图，具体包括：

所述电子设备识别所述图像数据中的车格、柱子和所述第一区域的平面图边界线在所述建筑物内的位置；

所述电子设备基于所述车格和所述柱子在所述建筑物内的位置，确定出所述建筑物内的道路边界线以及道路中心线；

所述电子设备延伸所述道路中心线，并确定出延伸后的所述道路中心线与所述第一区域的平面图边界线没有交叉点的方向区域为所述第二区域。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述POI包括汽车出入口、行人出入口、车位和灭火器位置中的一个或多个。

10.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、摄像头、惯性传感器；其中，所述摄像头、所述惯性传感器、所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当一个或多个处理器在执行所述计算机指令时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。

11.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述权利要求1-9中任一项所述的方法。

12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述权利要求1-9中任一项所述的方法。

Images