CN105631773B - 用于提供地图服务的电子设备和方法 - Google Patents

Abstract

提供了用于提供三维(3D)地图处理和3D地图服务的电子设备和方法。该电子设备包括：存储器，被配置为存储图像集合；以及地图平台模块，其与存储器功能上相连并使用处理器来实现。地图平台模块被配置为：获得包括电子设备周围的外部空间上的路径的多个图像在内的图像集合；根据该多个图像中的至少一个图像来确定与外部空间中包括的对象相对应的区域；基于对象是否被配置为与电子设备通信连接来获得与对象相关的信息；以及通过与电子设备功能上相连的显示器以与该区域相关联的方式来显示该信息。其他实施例也是可能的。

Description

用于提供地图服务的电子设备和方法

技术领域

本公开的各种实施例涉及通过使用图像来创建地图或通过使用所创建的地图来提供各种服务的电子设备和方法。

背景技术

电子设备可以提供针对周围空间的地图服务。电子设备从地图服务器接收地图数据，以向用户提供针对周围空间的地形地图或室内地图。无线保真(Wi-Fi)定位服务(WPS)基于室内定位向电子设备提供了对象在周围空间中的室内位置。电子设备可以提供与例如室内地图之类的二维(2D)地图相关的对象位置。电子设备通过使用其上安装的相机获得电子设备附近的周围空间的图像。电子设备顺序获得周围空间的图像，以基于所获得的图像来给出各种视觉效果。电子设备形成与外部设备的有线/无线通信连接。电子设备通过使用有线/无线通信来控制外部设备的功能或与外部设备交换各种数据。

传统上，基于由提供地图服务的服务提供商所收集的地形数据，向电子设备提供周围空间的地图。同样地，对于室内地图，从服务提供商向电子设备提供按平面图形式来配置的地图数据。该数据可以包括公共机构、基础设施(例如，铁路、地铁等)等的建筑信息，但是该数据中通常不包括与个人空间(例如，房屋、公司、学校等)内部或外部的周围空间的外观相关的信息以及与周围空间中存在的各种对象相关的信息。

上述信息作为背景信息来提出，仅用于辅助理解本公开。至于上述任何信息是否可适用于作为本公开的现有技术，并未作出确定和断言。

发明内容

本公开的各种方案旨在提供以下电子设备和方法，它们高效地配置用户附近的周围空间的三维(3D)地图并通过共享或使用所配置的3D地图来扩展3D地图连接范围，由此提供针对用户附近各种周围空间的地图和对象的服务。

本公开的各种方案还旨在提供以下电子设备和方法，它们提供与地图上出现的各种对象相关的信息或者提供用于控制对象的服务。

根据本公开的各种实施例，提供了一种电子设备，包括：存储器，被配置为存储图像集合；以及地图平台模块，其与存储器功能上相连并使用处理器来实现。地图平台模块被配置为：获得包括电子设备周围的外部空间上的路径的多个图像在内的图像集合；根据该多个图像中的至少一个图像来确定与外部空间中包括的对象相对应的区域；基于对象是否能够与电子设备进行通信连接来获得与对象相关的信息；以及通过与电子设备功能上连接的显示器以与该区域相关联的方式来显示该信息。

根据以下结合附图公开了本公开的示例实施例的具体实施方式部分，本公开的其他方案、优点和突出特征对于本领域技术人员将变得清楚。

附图说明

在附图中，应当注意到将相似的附图标记用于指示相同或相似的要素、特征和结构，其中：

图1示出了包括根据本公开各种实施例的电子设备在内的网络环境；

图2是根据本公开各种实施例的电子设备的框图；

图3是根据本公开各种实施例的程序模块的框图；

图4示出了根据本公开各种实施例的基于网络的地图信息系统；

图5是根据本公开各种实施例的地图平台模块的框图；

图6是根据本公开各种实施例的对象相互作用模块的框图；

图7是根据本公开各种实施例的基于地图的服务模块的框图；

图8示出了根据本公开各种实施例的电子设备中在图像捕捉时显示的用户界面(UI)的示例；

图9示出了根据本公开各种实施例的电子设备中在图像捕捉时显示的UI的示例；

图10示出了根据本公开各种实施例的电子设备合成3D地图的处理的示例；

图11是根据本公开各种实施例的用于在电子设备中创建3D地图的方法的流程图；

图12是根据本公开各种实施例的用于在电子设备中合成3D地图的方法的流程图；

图13示出了根据本公开各种实施例的电子设备中用于3D地图查询的UI的示例；

图14示出了根据本公开各种实施例的用于电子设备的导航服务方法；

图15示出了根据本公开各种实施例的电子设备将3D地图转换为2D地图的处理的示例；

图16示出了根据本公开各种实施例的用于电子设备的基于3D地图的对象识别和连接方法；

图17示出了根据本公开各种实施例的用于电子设备的基于3D地图的对象相互作用服务方法；

图18示出了根据本公开各种实施例的电子设备基于3D地图来控制对象的处理的示例；

图19是根据本公开各种实施例的用于在电子设备中显示与3D地图中的对象相关的信息的方法的流程图；

图20是根据本公开各种实施例的用于在电子设备中控制3D地图中的对象的方法的流程图；

图21示出了根据本公开各种实施例的电子设备中的灾难地图服务；以及

图22示出了根据本公开各种实施例的电子设备中的地图共享服务。

在附图中，相似的附图标记将被理解为指代相似的部分、组件和结构。

具体实施方式

下文中，将参照附图来公开本公开的各种实施例。然而，该描述并非意在将本公开限制为具体实施例，该描述应当被理解为包括根据本公开各种实施例的修改、等同物和/或替代。关于附图的描述，相似的附图标记指代相似的要素。

在本公开中，诸如“具有”、“可以具有”、“包括”或者“可以包括”之类的表述表明了对应特性(例如，诸如数值、功能、操作或组件之类的要素)的存在，但并不排除附加特性的存在。

在本公开中，诸如“A或B”、“A和/或B中至少一项”或者“A和/或B中一项或多项”之类的表述可以包括一起列出的项目中的所有可能组合。例如，“A或B”、“A和B中至少一项”或“A或B中一项或多项”可以指示以下全体：(1)包括至少一个A，(2)包括至少一个B，或者(3)既包括至少一个A也包括至少一个B。

在各种示例实施例中使用的诸如“第一”、“第二”、“主要”或“次要”之类的表述可以表示各种要素，而无论顺序和/或重要性如何，且不限制对应的要素。这些表述可以用来将要素彼此区分。例如，第一用户设备和第二用户设备可以表示不同的用户设备，而不管顺序或重要性如何。例如，在不偏离本公开的范围的情况下，第一要素可以称为第二要素，且类似地第二要素可以称为第一要素。

当描述元件(例如，第一元件)与另一元件(例如，第二元件)“可操作或可通信(地)耦合”或“连接”时，该元件可以与该另一元件直接连接，或者可以通过第三元件与该另一元件连接。然而，当描述元件(例如，第一元件)与另一元件(例如，第二元件)“直接连接”或“直接耦合”时，则其意味着在该元件和该另一元件之间不存在中间元件(例如，第三元件)。

在本公开中使用的表述“(被)配置(或设置)为”根据情形可以替换为例如“适用于”、“具有...的能力”、“(被)设计为”、“适于”、“(被)制造为”或“能够”。术语“(被)配置(或设置)为”不一定仅意味着通过硬件“被专门设计为”。备选地，在一些情形下，表述“(被)配置为...的装置”可以意味着该装置“能够”与另一装置或组件一起工作。例如，短语“(被)配置(或设置)为执行A、B和C的处理器”可以是通用处理器(例如，CPU或应用处理器)，其可以通过执行在用于执行对应操作的专用处理器(例如，嵌入式处理器)处或存储设备处存储的至少一个软件程序来执行对应操作。

在本公开中定义的术语仅用于描述具体示例实施例，而不会具有限制其他示例实施例的范围的意图。当在本公开的描述和所附权利要求中使用时，除非另行明确表示，否则单数形式可以包括多数形式。此处使用的包括技术术语和科学术语在内的所有术语可以具有与本领域普通技术人员一般理解的含义相同的含义。可以将字典中定义的常用术语解释为具有相关技术的上下文的含义相同或相类似的含义，且除非另行明确定义，否则不应解释为理想或过度正式的含义。在一些情况下，在本公开中定义的术语不能被解释为排除各示例实施例。

根据本公开各种实施例的电子设备可以是具备通信功能的设备。例如，电子设备可以包括以下至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机以及可穿戴设备。根据本公开的实施例，可穿戴设备可以包括以下至少一项：配饰型(例如，表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或衣物集成型(例如，电子衣物)、身体附着型(例如，皮肤垫或纹身)以及身体植入型(例如，可植入电路)。

根据一些实施例，电子设备可以是家电。家电可以包括例如以下至少一项：电视(TV)、数字视频盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安保控制面板、TV盒(例如，三星HomeSync^TM、苹果TV^TM或谷歌TV^TM)、游戏机(例如，Xbox^TM或PlayStation^TM)、电子字典、电子钥匙、便携式摄像机以及电子相框。

根据另一实施例，电子设备可以包括以下至少一项：各种医疗设备(例如，各种便携式医疗测量系统，如血糖测量设备、心跳测量设备、血压测量设备或体温测量设备、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、成像设备、或超声波设备)、导航系统、全球定位系统(GPS)接收机、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航系统和陀螺仪罗盘)、航空电子设备、安保设备、车头单元、工业或家用机器人、自动柜员机(ATM)、销售点(PoS)、物联网(例如，电子灯泡、各种传感器、电表或气表、洒水设备、火警设备、自动调温器、路灯、烤面包机、健身器械、热水箱、暖气、锅炉等)。

根据一些实施例，电子设备可以包括家具或房屋/建筑物的一部分、电子板、电子签名接收设备、投影仪以及各种测量仪表(例如，水、电、气或电波测量设备)。根据本公开各种实施例的电子设备可以是上面列出的设备之一或其组合。根据本公开各种实施例的电子设备可以是柔性设备。本领域普通技术人员应清楚，根据本公开各种实施例的电子设备不限于上面列出的设备，且可以包括随技术发展的新型电子设备。

下文中，将参照附图来描述根据本公开各种实施例的电子设备。本文中，在本公开的各种实施例中使用的术语“用户”可以是指使用电子设备的人或者使用电子设备的设备(例如，人工智能电子设备)。

此外，技术人员理解并意识到：“处理器”或“微处理器”构成所要求保护的发明中的硬件。在最宽泛合理的解释下，所附权利要求构成了符合35U.S.C.§101的法定主题。

根据35U.S.C.§101的法定主题，本文中所引用的术语“单元”或“模块”应被理解为包括硬件(例如，被配置用于所需特定功能的处理器或微处理器)或包括机器可执行代码的非瞬时介质，并且不构成软件本身。

参见图1，将对根据本公开各种实施例的网络环境100中的电子设备101进行描述。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160、通信接口170、地图平台模块180以及基于地图的服务模块190。根据一些实施例，电子设备101可以省略前述元件中的至少一项，或者还可以包括其他元件。

总线110可以包括用于将上述元件110到190相互连接并允许在元件110到190之间进行通信(例如，控制消息和/或数据)的电路。

处理器120可以包括以下一项或多项：中央处理单元(CPU)、应用处理器(AP)以及通信处理器(CP)。处理器120执行操作或数据处理，以便进行例如电子设备101中的至少一个其他元件的控制和/或通信。

存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101中的至少一个其他元件相关联的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143以及API 145中的至少一些可以称为操作系统(OS)。

内核141控制或管理例如用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141提供接口，通过该接口，中间件143、API 145或应用程序147访问电子设备101的各组件，以控制或管理系统资源。

中间件143可以用作中介，以允许例如API 145或应用程序147与内核141进行通信来交换数据。

关于从应用程序147接收到的一个或多个任务请求，中间件143可以根据优先级来对它们进行处理。例如，中间件143可以向至少一个应用程序147给予使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级。更具体地，中间件143可以通过根据向至少一个应用程序147给予的优先级对该一个或多个任务请求进行处理，来对该一个或多个任务请求执行调度或负载均衡。

API 145是供应用147控制内核141或中间件143提供的功能所使用的接口，且可以包括例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如，命令)。

I/O接口150用作向电子设备101中的其他元件110到190传输从用户或另一外部设备输入的命令或数据的接口。I/O接口150还可以向用户或另一外部设备输出从电子设备101中的其他元件110到190接收的命令或数据。

显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并接收例如通过使用电子笔或用户身体的一部分来输入的触摸、手势、接近或悬停。

通信接口170在例如电子设备101和外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170通过无线或有线通信连接到网络162，以与外部设备(例如，第二外部电子设备104或服务器106)通信。

无线通信可以使用例如以下至少一项作为蜂窝通信协议：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线通信可以包括例如短距通信164。短距通信164可以包括例如以下至少一项：无线保真(Wi-Fi)、蓝牙、近场通信(NFC)以及全球定位系统(GPS)。有线通信可以包括例如以下至少一项：USB(通用串行总线)、高清多媒体接口(HDMI)、推荐标准(RS)-232以及老式电话服务(POTS)。网络162可以包括电信网络，例如以下至少一项：计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网以及电话网络。

地图平台模块180从例如外部电子设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)或电子设备内部的另一元件(例如，存储器130或传感器)获得与电子设备外部的空间、路径、地点或对象相关的信息(例如，图像)，以基于所获得的信息来执行一系列处理，例如创建、编辑和转换地图，或者将地图与电子设备外部的对象进行相互作用。

基于地图的服务模块190从例如外部电子设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)或电子设备内部的另一元件(例如，存储器130)获得与电子设备外部的空间、路径、地点或对象相关的地图，以基于所获得的地图向电子设备101的用户或外部电子设备(例如，第一外部电子设备102或第二外部电子设备104)提供各种服务。

尽管地图平台模块180和基于地图的服务模块190在图1中被示出为与处理器120和存储器130相独立的元件，但是各种元件不限于该图示。地图平台模块180和基于地图的服务模块190中的至少一些可以与例如处理器120集成在一起，或者可以以软件的形式存储在存储器130中并在处理器120中执行。地图平台模块180和基于地图的服务模块190可以以分布式方式实现在处理器120和存储器130上。尽管地图平台模块180和基于地图的服务模块190被示出为独立的元件，但是它们可以用单一集成模块来实现。其它实施例也是可能的。与地图平台模块180和基于地图的服务模块190相关的附加信息结合图4来提供。

第一外部电子设备102和第二外部电子设备104中的每一个可以是与电子设备101相同类型或不同类型的设备。根据本公开的实施例，服务器106可以包括具有一个或多个服务器的组。根据各种实施例，在电子设备101中执行的全部或一些操作可以在另一电子设备或多个电子设备(例如，电子设备102和104或服务器106)中执行。根据本公开的实施例，当电子设备101必须自动或根据请求来执行功能或服务时，电子设备101可以不执行该功能或服务，或在执行该功能或服务之外，请求另一设备(例如，电子设备102和104或服务器106)来执行与该功能或服务相关联的至少一些功能。该另一电子设备(例如，电子设备102和104或服务器106)可以执行所请求的功能或附加功能，并向电子设备101传输结果。电子设备101提供接收到的结果或通过对接收到的结果进行处理来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。

图2是根据本公开各种实施例的电子设备201的框图200。

参见图2，电子设备201可以形成图1所示的整个电子设备101或图1所示的电子设备101的一部分。电子设备201可以包括一个或多个应用处理器(AP)210、通信模块220、订户识别模块(SIM)模块224、存储器230、传感器模块240、输入模块250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297以及电机298。

处理器210通过驱动操作系统(OS)或应用程序并对包括多媒体数据在内的各种数据执行处理和操作，来控制连接到处理器210的多个硬件或软件组件。处理器210可以用例如系统级芯片(SoC)来实现。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2所示元件中的至少一些元件(例如，蜂窝模块221)。处理器210将从至少一个其他元件(例如，非易失性存储器)接收到的命令或数据加载到易失性存储器中，处理该命令或数据，并在非易失性存储器中存储各种数据。

通信模块220可以具有与图1所示的通信接口170相同或相似的配置。通信模块220可以包括例如蜂窝模块221、WiFi模块223、蓝牙(BT)模块225、全球定位系统(GPS)模块227、近场通信(NFC)模块228以及射频(RF)模块229。

蜂窝模块221可以通过通信网络来提供例如语音呼叫、视频呼叫、文本服务或互联网服务。根据实施例，蜂窝模块221可以通过使用订户识别模块(例如，SIM模块224)来在通信网络中标识和认证电子设备201。根据实施例，蜂窝模块221执行可由处理器210提供的功能中的至少一项功能。根据实施例，蜂窝模块221可以包括通信处理器(CP)。

WiFi模块223、BT模块225、GPS模块227以及NFC模块228中的每一个模块可以包括用于对由对应模块发送和接收的数据进行处理的处理器。根据一些实施例，蜂窝模块221、WiFi模块223、BT模块225、GPS模块227以及NFC模块228中的至少一些模块(例如，两个或更多个)可以包括在一个集成芯片(IC)或IC封装中。

RF模块229可以发送和接收通信信号(例如，RF信号)。RF模块229可以包括收发机、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据另一实施例，蜂窝模块221、WiFi模块223、BT模块225、GPS模块227以及NFC模块228中的至少一个模块可以通过单独的RF模块来发送和接收RF信号。

SIM模块224可以包括卡，该卡包括SIM和/或嵌入式SIM，且SIM模块224可以包括唯一识别信息(例如，集成电路卡标识符(ICCID)或订户信息(例如，国际移动订户身份(IMSI))。

存储器230(例如，存储器130)可以包括内部存储器232或外部存储器234。外部存储器232可以包括以下至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))以及非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、NAND闪存或NOR闪存)、以及固态驱动器(SSD)。

外部存储器234还可以包括闪驱，例如高密度闪存(CF)、安全数字(SD)、微型SD、迷你SD、极速数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器234可以通过各种接口在功能上和/或物理上与电子设备201相连。

传感器模块240测量物理量或者感测电子设备201的操作状态，以将测量到或感测到的信息转换为电信号。传感器模块240可以包括以下至少一项：手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如，RGB传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K以及紫外线(UV)传感器240M。附加地或备选地，传感器模块240可以包括电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)或指纹传感器。传感器模块240还可以包括用于控制其中包括的至少一个传感器的控制电路。在一些实施例中，电子设备201还可以包括作为处理器210的一部分或与处理器210相分离的被配置为控制传感器模块240的处理器，以在处理器210的睡眠状态期间控制传感器模块240。

输入模块250可以包括触摸面板252、(数字)笔传感器254、按键256或超声输入设备258。触摸面板252可以使用以下至少一项：电容式、电阻式、IR式或超声式。触摸面板252还可以包括控制电路。触摸面板252还可以包括向用户提供触觉反应的触觉层。

(数字)笔传感器254可以包括作为触摸面板252的一部分的识别板或单独的识别板。按键256还可以包括物理按钮、光学按键或键区。超声输入设备258通过麦克风(例如，麦克风288)来感测在输入装置中生成的超声波，并检查与感测到的超声波相对应的数据。

显示器260(例如，显示器160)可以包括面板262、全息设备264或投影仪266。面板262可以具有与图1的显示器160相同或相似的配置。面板262可被实现为柔性的、透明的或可穿戴的。面板262可以与触摸面板252配置在一个模块中。全息设备264通过使用光的干涉在空中示出了立体图像。投影仪266通过光的投影将图像显示到外部屏幕上。屏幕可以位于电子设备201内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息设备264或投影仪266的控制电路。

接口270可以包括高清多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D-超小型(D-subminiature)278。接口270可包括在图1所示的通信接口170中。附加地或备选地，接口270可以包括移动高清链路(MHL)接口、SD/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。

音频模块280双向转换声音和电信号。音频模块280的至少一个元件可包括在图1所示的输入/输出接口150中。音频模块280处理通过扬声器282、接收机284、耳机286或麦克风288输入或输出的声音信息。

相机模块291是能够捕捉静态图像或运动图像的设备，且根据实施例，其可以包括一个或多个图像传感器(例如，正面传感器或背面传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。

电源管理模块295管理电子设备201的电源。根据实施例，电源管理模块295可以包括电源管理集成电路(PMIC)、充电IC或电池电量计。PMIC可以具有有线和/或无线充电方案。无线充电方案包括磁共振式、磁感应式以及电磁式，且对于无线充电，还可以包括附加电路，例如线圈环路、谐振电路或整流器。电池电量计测量电池296的剩余容量或者在充电期间电池296的电压、电流或温度。电池296可以包括可充电电池和/或太阳能电池。

指示器297显示电子设备201或其一部分(例如，处理器210)的特定状态，例如，引导状态、消息状态或充电状态。电机298将电信号转换为机械振动，或者产生振动或触感效果。尽管未示出，电子设备201可以包括用于支持移动TV的处理设备(例如，GPU)。用于支持移动TV的处理设备根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)、或mediaFlo^TM之类的标准来处理媒体数据。

本文中描述的每个前述元件可以包括一个或多个组件，且部件的名称可随电子设备201的类型而变化。根据本公开的电子设备可以包括前述元件中的至少一项，且一些元件可从电子设备中省略，或者还可以在其中包括其他元件。当根据本公开的电子设备的一些元件耦合为一个实体时，由此执行与未耦合时这些元件相同的功能。

图3是根据本公开各种实施例的编程模块的框图300。根据实施例，编程模块310(例如，程序140)可以包括用于控制与电子设备(例如，电子设备101)相关联的资源的操作系统(OS)和/或在OS上执行的各种应用。OS可以包括安卓、iOS、Windows、Symbian、Tizen或Bada。

编程模块310可以包括内核320、中间件330、应用编程接口(API)360和/或应用370。编程模块310的至少一部分可预先加载到电子设备上，或者可从外部电子设备(例如，电子设备102和104或服务器106)下载。

内核320(例如，内核141)可以包括系统资源管理器321和/或设备驱动器323。系统资源管理器321可以执行对系统资源的控制、分配或取回。根据实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、WiFi驱动器、音频驱动器或进程间通信(IPC)驱动器。

中间件330可以提供应用370共同需要的功能，或者通过API 360向应用370提供各种功能，以允许应用370有效地使用电子设备中的有限系统资源。根据实施例，中间件330(例如，中间件143)可以包括以下至少一项：运行库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351以及安全管理器352。

运行库335可以包括在执行应用370时编译器用来通过编程语言添加新功能的库模块。运行库335执行与输入/输出、存储器管理或计算操作相关的功能。

应用管理器341管理应用370中至少一个应用的生命周期。窗口管理器342管理使用屏幕的GUI资源。多媒体管理器343识别播放各种媒体文件所必需的格式，并通过使用适用于对应格式的编解码器对媒体文件执行编码或解码。资源管理器344管理应用370中至少一个应用的资源，例如，源代码、存储器或存储空间。

电源管理器345使用基本输入/输出系统(BIOS)来管理操作中的电池或电源，并提供操作电子设备所必需的电源信息。数据库管理器346执行管理操作，以生成、搜索或改变用于应用370中至少一个应用的数据库。包管理器347管理对以包文件格式分发的应用的安装或更新。

连接管理器348管理无线连接，例如，WiFi或蓝牙连接。通知管理器349以不打扰用户的方式来显示或通知事件，例如，到达消息、约会以及接近警告。位置管理器350管理电子设备的位置信息。图形管理器351管理要向用户提供的图形效果或者与此相关的用户界面(UI)。安全管理器352提供系统安全或用户认证所必需的一般安全功能。根据本公开的实施例，当电子设备(例如，电子设备101)具有呼叫功能时，中间件330还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。

中间件330可以包括形成上述内部元件的各种功能的组合的中间件模块。中间件330可以提供根据OS的类型来指定的模块，以提供与众不同的功能。附加地，中间件330可以动态删除一些现有元件或添加新的元件。

API 360(例如，API 145)可以作为根据OS具有不同配置的API编程功能的集合来提供。在例如安卓或iOS的情况下，每个平台可以提供一个API集合，而在Tizen的情况下，可以提供两个或更多API集合。

应用370(例如，应用程序147)可以包括能够提供例如以下功能的一个或多个应用：主页应用371、拨号器应用372、短消息服务/多媒体消息服务(SMS/MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、闹钟应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、时钟应用384、保健应用(例如，用于测量运动量或血糖的应用)或环境信息提供应用(例如，用于提供气压、湿度或温度信息的应用)。

根据本公开的实施例，应用370可以包括支持电子设备(例如，电子设备101)和外部电子设备(例如，电子设备102或104)之间的信息交换的应用(下文中，为方便起见将其称为“信息交换应用”)。信息交换应用可以包括例如：用于向外部电子设备传输特定信息的通知中继应用，或者用于管理外部电子设备的设备管理应用。

例如，通知中继应用可以包括用于向外部电子设备(例如，电子设备102或104)传输在电子设备的另一应用(例如，SMS/MMS应用、电子邮件应用、保健应用或环境信息应用)中生成的通知信息的功能。通知中继应用可以从外部电子设备接收通知信息，以将其提供给用户。设备管理应用可以管理(例如，安装、移除或更新)至少一个功能(例如，对外部电子设备自身(或其一部分)的开机/关机或者对显示器的亮度(或分辨率)的控制)、由在外部电子设备中操作的应用或由外部电子设备所提供的服务(例如，呼叫服务或消息服务)。

根据实施例，应用370可以包括根据外部电子设备(例如，电子设备102或104)的属性来指定的应用(例如，移动医疗设备的保健应用)。根据实施例，应用370可以包括从外部电子设备(例如，服务器106或电子设备102或104)接收的应用。根据实施例，应用370可以包括预先加载的应用或者可以从服务器下载的第三方应用。根据所示实施例的编程模块310的元件的名称可以根据OS的类型而变化。

根据各种实施例，编程模块310的至少一部分可以通过软件、固件、硬件或其中至少两项的组合来实现。编程模块310的至少一部分可以通过处理器(例如，处理器210)来实现(例如，执行)。编程模块310的至少一部分可以包括用于执行一个或多个功能的模块、程序、例程、指令集或者进程。

本文中使用的术语“模块”可以意味着例如包括硬件、软件和固件之一或其中两项或更多项的组合在内的单元。“模块”可以与单元、逻辑、逻辑块、组件或电路交换使用。“模块”可以是集成组件的最小单元或一部分。“模块”可以是执行一个或多个功能的最小单元或其一部分。“模块”可以用机械或电子的方式来实现。例如，根据实施例的“模块”可以包括执行已知的或待开发的某些操作的以下至少一项：专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、以及可编程逻辑器件。

图4示出了根据本公开各种实施例的基于网络的地图信息系统400。参见图4，根据本公开各种实施例的地图信息系统400可以包括通过网络405彼此相连的电子设备410、另一电子设备440、地图服务服务器460、对象相互作用服务器470以及第三方提供服务器480。

根据本公开各种实施例的电子设备410(例如，电子设备101)可以包括地图平台模块415和基于地图的服务模块412。地图平台模块415可以对例如与电子设备外部的空间、路径、地点或对象相关的3D地图执行各种处理(例如，3D地图的创建、编辑、显示以及转换，或3D地图和对象之间的相互作用)。地图平台模块415向另一模块(例如，基于地图的服务模块412)或外部设备(例如，电子设备440或地图服务服务器460)提供对3D地图的各种处理结果。基于地图的服务模块412基于由地图平台模块415所创建或处理的3D地图来提供各种服务(例如，3D地图编辑或合成服务、3D地图共享服务、基于3D地图的对象服务等)。

根据实施例，电子设备410可以从外部设备(例如，地图服务服务器460、对象相互作用服务器470、另一电子设备440等)获得执行地图相关功能(例如，由地图平台模块415提供的3D地图处理功能和/或由基于地图的服务模块412提供的基于3D地图的服务提供功能)所必需的数据和信息。电子设备具有用于通过外部设备(例如，地图服务服务器460、对象相互作用服务器470、另一电子设备440等)来执行地图相关功能所必需的至少一些计算资源。例如，地图平台模块415和/或基于地图的服务模块412中的至少一些模块可以由外部设备(例如，地图服务服务器460、对象相互作用服务器470、另一电子设备440等)来实现。

根据本公开各种实施例的地图平台模块415可以包括对象相互作用模块417。在例如对3D地图执行处理的过程中，地图平台模块415可以通过对象相互作用模块417将3D地图与电子设备外部的对象(例如，连接性对象425、非连接性对象420等)进行相互作用。

根据本公开各种实施例的对象相互作用模块417将3D地图中包括的至少一个图像的至少一些区域与对象相关联。对象相互作用模块417分析3D地图中包括的图像，以识别与对象相对应的区域。对象相互作用模块417将连接性对象425和非连接性对象420中的至少一个与所识别出的区域进行相互作用。

根据本公开的实施例，对象相互作用模块417通过通信模块来执行发现操作，以将识别出的区域与连接性对象425进行相互作用。对象相互作用模块417例如基于发现结果来确定电子设备410周围可连接的连接性对象425或要接收用于与连接性对象425进行连接的信息的外部设备(例如，对象相互作用服务器470等)。对象相互作用模块417基于该确定，从至少一个外部设备(例如，连接性对象425、对象相互作用服务器470等)获得形成连接所必需的信息。

根据本公开的实施例，对象相互作用模块417从用户获得与非连接性对象420相关的信息，以将所识别的区域与非连接性对象420进行相互作用。对象相互作用模块417通过网络405从外部设备获得与非连接性对象420相关的信息。对象相互作用模块417将所获得的关于非连接性对象420的信息与3D地图中对应于非连接性对象420的区域相关联。

根据本公开各种实施例的连接性对象425通过通信模块与电子设备410直接通信，或者通过网络405或对象相互作用服务器470与电子设备410间接通信。例如，连接性对象425可以包括具有通信模块的电子产品(例如，膝上型计算机、蜂窝电话、清洁机器人、智能洗衣机、智能冰箱等)。

根据本公开各种实施例的非连接性对象420可以包括不具有通信模块的电子产品(例如，普通冰箱)或非电子产品(例如，地毯、桌子等)。非连接性对象420可以包括连接性对象425中被确定为不可连接的对象。例如，非连接性对象420可以包括通信功能临时故障、经历停电或通信功能停用的连接性对象425。

根据本公开各种实施例的基于地图的服务模块412(或基于地图的服务模块462)可以提供基于3D地图的各种服务。各种服务可以包括以下至少一项：智能家庭服务、向导服务、教育服务、购物服务、移动服务、游戏服务、3D室内地图导航服务、对象控制服务、对象仿真服务、对象监视服务、社交网络服务(SNS)服务、地图查询服务、室内定位服务、物联网(IoT)设备控制服务、对象数据服务以及地图合成服务。

地图服务服务器460可以包括基于地图的服务模块462。地图服务服务器460的基于地图的服务模块462可以对应于例如电子设备410的基于地图的服务模块412。地图服务服务器460的基于地图的服务模块462可以提供由电子设备410的基于地图的服务模块412所提供的至少一些服务，或者可以附加地提供其他服务。取决于可访问数据的类型或者数量，基于地图的服务模块412和462可以针对相同服务提供不同的质量。

对象相互作用服务器470可以包括例如对象相互作用模块477。对象相互作用服务器470的对象相互作用模块477可以对应于例如电子设备410的对象相互作用模块417。对象相互作用服务器470的对象相互作用模块477可以提供例如由电子设备410中包括的对象相互作用模块417所提供的至少一些服务，或者可以附加地提供其他服务。取决于连接方案、连接状态和可访问数据的类型或数量，对象相互作用模块417和477可以针对相同对象提供不同质量的服务。根据所获得的关于对象的信息的类型或者是否已经获得该信息，对象相互作用模块417和477中的任何一个向另一个对象相互作用模块请求该信息或从另一个对象相互作用模块接收该信息。

根据本公开各种实施例的地图服务服务器460可以包括例如基于地图的服务模块462、数据库(DB)467以及处理模块469。地图服务服务器460从地图信息系统400的另一元件(例如，电子设备410)接收对基于3D地图的服务的请求，并响应于该请求来发送基于地图的服务模块462的处理结果。

根据本公开各种实施例的地图服务服务器460可以包括地图平台模块(例如，地图平台模块415)中的至少一些元件。地图服务服务器460通过使用处理模块469来执行至少部分3D地图处理(例如，3D地图的创建、显示、编辑和转换，或者对象和地图之间的相互作用)。

基于地图的服务模块462响应于从外部设备(例如，电子设备410)向地图服务服务器460发送的对服务的请求，处理基于3D地图的服务。例如，基于地图的服务模块462可以通过处理模块469来处理从DB 467检索的与服务相关的数据。例如，基于地图的服务模块462可以向该外部设备或另一外部设备发送处理结果。DB 467存储与3D地图相关的数据和信息，并存储与提供基于3D地图的服务相关的数据和信息。处理模块469处理3D地图并执行用于基于3D地图的服务的处理。地图服务服务器460通过处理模块469向地图信息系统400的另一元件(例如，电子设备410)提供处理3D地图所必需的计算能力。

根据本公开各种实施例的对象相互作用服务器470存储与对象(例如，非连接性对象420或连接性对象425)相关的数据或信息。响应于从地图信息系统400的另一元件(例如，电子设备410、另一电子设备440、地图服务服务器460或第三方提供服务器480)接收到的对与对象相关的数据或信息(例如，识别信息、连接信息、控制信息、操作记录数据或仿真信息)的请求，对象相互作用服务器470可以向该另一元件发送数据或信息。例如，响应于来自地图信息系统400的另一元件的针对具有用于对象的控制接口的web统一资源定位符(URL)信息的请求，可以发送该URL信息。

根据本公开的实施例，对象相互作用服务器470与连接性对象形成连接。对象相互作用服务器470通过有线/无线通信与对象连接。例如，对象相互作用服务器470可以从电子设备410接收针对连接性对象的控制命令，并向该对象发送控制信号。

根据本公开的实施例，对象相互作用服务器470可以基于对象的控制信息来提供接口。例如，对象相互作用服务器470可以通过web以URL形式来提供用于控制对象的功能的接口。对象相互作用服务器470将对象的功能映射到对应URL。对象相互作用服务器470响应于针对URL的请求，向对象发送针对与该URL相对应的功能的控制信号。

取决于数据的特性或者使用该数据的服务的特性，根据本公开各种实施例的模块(例如，基于地图的服务模块412、地图平台模块415等)可以存储该数据(例如，通过在各种外部设备(例如，另一个电子设备440(例如，智能电话、可穿戴设备、机器人等)、第三方提供服务器480或者对象相互作用服务器470)中执行各种处理所生成的与虚拟点相关的信息或图像集合))。例如，由具备相机的智能家电(例如，清洁机器人等)所捕捉的图像可存储在对象相互作用服务器470中。使用SNS服务所共享的图像集合可存储在第三方提供服务器480(例如，SNS服务提供服务器等)中。

根据本公开各种实施例的模块(例如，基于地图的服务模块412和462、地图平台模块415等)可以通过电子设备410(例如，电子设备101)的总线向/从电子设备的其他元件(例如，处理器120、存储器130、显示器160等)发送/接收数据。模块的至少一部分可以使用电子设备中的软件或硬件来实现。模块的一部分可以实现在外部设备(例如，电子设备102、电子设备104、服务器106等)中，使得电子设备410可以向外部设备发送处理请求或从外部设备接收处理结果。

图5是根据本公开各种实施例的地图平台模块500的框图。

根据本公开各种实施例的地图平台模块500可以执行包括以下至少一项在内的处理：基于从电子设备获得的各种数据来创建、显示、编辑、转换或合成地图(例如，3D地图)，以及将对象与地图进行相互作用。参见图5，根据本公开各种实施例的地图平台模块500可以包括以下至少一项：地图生成模块510、地图显示模块520、地图编辑模块530、地图转换模块540以及对象相互作用模块550。

根据本公开各种实施例的地图生成模块510可以通过使用图像集合来生成3D地图。根据本公开的实施例，地图生成模块510确定与电子设备周围的外部空间的特定半径相对应的虚拟点。地图生成模块510通过功能上相连的相机来获得外部空间的图像集合。地图生成模块510基于与图像集合相对应的位置信息(例如，捕捉时的位置、方向或运动)将图像集合映射到虚拟点。地图生成模块510将分别对应于相邻外部空间而生成的虚拟点连接为路径，由此生成外部空间的3D地图。例如，3D地图可以是室内地图或室外地图。虚拟点可以包括电子设备周围的外部空间中的特定位置以及该特定位置周围的一些区域。例如，虚拟点可以是形成虚拟路径的节点。地图生成模块510基于与虚拟点相关的位置信息将虚拟点连接为路径。

虚拟点用于描述设备(或用户)周围的假想空间。假定以设备为中心的大的假想球体，然后在设备的视点上，球体的内表面可被视为周边(surrounding)。在该情况下，特定半径表示设备与球的内表面之间的距离，且可以作为阈值来利用。其可被缺省设置为特定值，例如2米，且在该半径内停留或运动的设备可被假定为出现在同一虚拟点上。然而，如果设备移动并跨过基于半径值计算出的球体的假想边界，则可以假定该设备移动到另一视点，且该设备的处理器可以呈现已经创建的对应视点，或创建另一视点并进行其余工作。半径值可以由用户或开发者来调节和编程，且其范围不一定是明确的，然而大约从1米到5米的范围将被视为是合理的。该半径不限于水平的，而是包括垂直或斜向。

根据本公开的实施例，地图生成模块510基于与形成3D地图的虚拟点相关的位置信息，确定连接虚拟点的路径。例如，虚拟点可以包括电子设备周围的外部空间的特定位置以及该特定位置周围的一些区域。虚拟点可以是例如形成虚拟路径的节点。

根据本公开各种实施例的地图生成模块510通过与电子设备功能上相连的相机来获得图像，以配置3D地图。地图生成模块510将所获得图像的至少一部分包括为形成3D地图的图像集合的至少一部分。地图生成模块510可以通过使用所获得图像的至少一部分来生成3D地图的至少一些图像。

根据本公开的实施例，地图生成模块510通过使用所获得的图像来生成附加图像，用于详述3D地图。例如，地图生成模块510可以生成通过合成在各个角度获得的图像来连接的图像，例如，全景图像。地图生成模块510可以基于对在各个角度获得的图像的相似图像数据部分的分析来获得3D信息(例如，指示从电子设备到对象的距离的深度信息、对象的方向、对象之间的相对位置等)。例如，地图生成模块510可以基于3D信息来生成附加图像。

根据本公开的实施例，地图生成模块510通过使用安有相机的外部设备(例如，智能设备、可穿戴设备、机器人、无人机、外部相机等)来获得图像。根据本公开的实施例，图像可以包括单一格式(例如，联合图像编码专家组(JPG)、音视频交织(AVI)、运动图像专家组(MPEG)、图形交换格式(GIF)等)的数据，或者可以具有包括定制信息的格式(例如，专门用于三星Galaxy 5^TM中包括的虚拟游览拍摄功能的JPG)。根据本公开的实施例，地图生成模块510将与捕捉图像的设备相关的信息与图像一起插入单个元数据中。例如，地图生成模块510可以在图像捕捉过程中获得各种附加信息(例如，捕捉时的角度、高度、运动、时间、光特性、深度、聚焦信息、曝光信息等)。

在从相机获得图像的过程中，根据本公开各种实施例的地图生成模块510基于由与电子设备功能上相连的各种传感器或模块所获得的位置信息来配置虚拟点。例如，地图生成模块510可以使用全球定位系统(GPS)、加速度传感器、陀螺仪传感器、WPS等作为用于获得位置信息的传感器或模块。

根据本公开的实施例，地图生成模块510基于所获得的位置信息来生成虚拟点。例如，地图生成模块510可以在空间坐标系统(例如，2D或3D空间坐标系统)上确定与位置信息相对应的虚拟点。如果在单一位置上连续获得图像，则地图生成模块510可以针对连续获得的图像集合生成一个虚拟点。如果在电子设备获得图像的过程中电子设备的位置改变(例如，电子设备向前移动)，则地图生成模块510可以沿电子设备位置改变的路径来生成若干虚拟点。地图生成模块510将虚拟点与关于虚拟点的位置信息相关联，并将虚拟点与位置信息一起存储。

根据本公开的实施例，地图生成模块510可以基于关于虚拟点的位置信息来生成虚拟点之间的连接信息(例如，路径、方向、或过渡或切换效果)。例如，基于两个虚拟点之间的空间距离，地图生成模块510可以生成两个虚拟点之间的连接信息，或者将两个虚拟点集成到一个虚拟点中。地图生成模块510比较与两个虚拟点相对应的位置信息，并在两个虚拟点之间的距离落在第一阈值范围(例如，大于1米和/或小于3米)内的情况下生成连接两个虚拟点的路径。例如，地图生成模块510可以比较与两个虚拟点相对应的位置信息，并在两个虚拟点之间的距离落在第二阈值范围(例如，小于1米)内的情况下将两个虚拟点集成到连接这两个虚拟点的路径上的一个虚拟点中。地图生成模块510可以比较海拔相关位置信息，并在具有相同方向或相同距离的虚拟点具有不同海拔的情况下生成单独的路径(例如，上坡、下坡、楼下或楼上)。例如，地图生成模块510可以在考虑到两个虚拟点之间的连接方向的情况下针对虚拟点中包括的图像来生成过渡效果。地图生成模块510可以在两个虚拟点中的每一个虚拟点处通过使用与连接方向相同方向的图像来生成将一个图像切换为另一个图像的过渡效果。过渡效果可以包括例如：淡入、淡出、放大、缩小、部分合成等。

根据本公开各种实施例的地图生成模块510获得虚拟点相关信息。根据本公开的实施例，虚拟点相关信息可以包括关于与虚拟点相对应的图像集合的信息。由于地图生成模块510可以在图像捕捉过程中确定虚拟点，虚拟点相关信息可以包括3D信息(例如，位置、高度、方向等)。地图生成模块510以元数据的形式来配置针对虚拟点所收集的虚拟点相关信息。对于针对虚拟点所获得的虚拟点相关信息，地图生成模块510将具有不同特性的信息彼此相关联。例如，地图生成模块510可以将图像与关于该图像的捕捉位置信息相关联，并将图像和捕捉位置信息插入单个元数据中。

根据本公开的实施例，虚拟点相关信息可以是关于虚拟点的位置信息。地图生成模块510通过使用与捕捉与虚拟点相关的图像集合中包括的每个图像的位置相关的位置信息，来确定虚拟点的位置。地图生成模块510通过使用与电子设备功能上相连的LPPe2.0、近场通信(NFC)/射频识别(RFID)、标记、传感器等来获得位置信息。例如，LPPe2.0技术可以包括以下一项或多项：无线电特性信息(RCI)、基于图像识别的方法(IRB)、行人航位推算(Pedestrian Dead Reckoning，PDR)、用户设备(UE)辅助运动子状态、基于地图的属性、针对UE的位置和测量信息的众包(crowd sourcing)支持、室内/室外转换区域信息、无线电地图数据、基于UE的IRB定位以及基于增强WLAN定位信息提供的方法。例如，标记可以是以下一项或多项：条形码、2D码(快速响应(QR)码、PDF-417、以及数据矩阵中的一项或多项)、水印以及按预定间隔布置的光学符号。传感器可以是以下一项或多项：GPS、加速度传感器、陀螺仪传感器、压力传感器、WPS、NFC传感器、地磁传感器、光学传感器、无线通信传感器、接近传感器、超声传感器以及相机。电子设备可以是例如在自身移动时通过使用碰撞传感器、接近传感器、超声传感器、相机或深度传感器(例如，飞行时间(TOF)、红外(IR)相机、多视点相机等)来确定墙壁或对象是否存在的清洁机器人。此外，当清洁机器人移动时，可以使用安装在清洁机器人上的轮子的旋转次数以及各个轮子的旋转次数之间的差异以及加速度传感器和陀螺仪传感器来确定清洁机器人移动的距离和方向，且通过使用一个或多个方向传感器来收集清洁机器人移动的路径，可以确定房屋中墙壁的位置、对象的位置等并可以配置2D地图。通过将Wi-Fi指纹、地板的标记或天花板的NFC传感器与对应位置相组合，可以确定地图中的特定位置坐标。根据另一实施例，可以在可穿戴设备、闭路电视(CCTV)或智能电话以及机器人中使用接近传感器或深度传感器技术。

根据实施例，虚拟点相关信息可以包括与捕捉到的区域相关的信息。地图生成模块510在捕捉与虚拟点相关的图像的过程中获得与捕捉到的区域相关的信息。与捕捉到的区域相关的信息可以包括：相机朝向的方向、相机的位置、相机的海拔、捕捉时间、捕捉合成(capturing composition)、捕捉角度、捕捉时的运动以及捕捉时的移动路径。

根据本公开的实施例，虚拟点相关信息可以包括特定事件信息(例如，日程表上的生日或会议信息)。根据本公开的另一实施例，虚拟点相关信息可以包括基于捕捉图像的面部识别来获得的人员信息(例如，人员姓名、人员的联系信息等)。

根据本公开各种实施例的地图生成模块510显示图像捕捉过程中的虚拟点相关信息，以配置3D地图。根据本公开的实施例，地图生成模块510通过使用辅助图像(例如，迷你地图等)在至少一部分屏幕上显示虚拟点相关信息。例如，辅助图像可以包括形成3D地图的多个虚拟点以及与连接该多个虚拟点的路径相关的符号。地图生成模块510可以通过使用辅助图像来表征与电子设备的当前捕捉位置相对应的当前虚拟点，用于将当前虚拟点与另一虚拟点相区分。

根据本公开的实施例，在与之前生成的虚拟点间隔预定距离或更远的点处执行图像捕捉时，地图生成模块510可以生成新的虚拟点。地图生成模块510生成将虚拟点与新的虚拟点相连的路径。地图生成模块510通过使用辅助图像来显示所生成的路径。

在使用电子设备来获得图像的过程中，根据本公开各种实施例的地图生成模块510向用户提供用于允许用户在便于配置3D地图的位置或方向上获得图像的引导。地图生成模块510提供针对图像获得方向的引导，以在特定虚拟点上获得用于形成3D地图的图像中尚未获得的图像。该引导可以包括例如语音提示、图像显示、振动、发光等。

根据本公开的实施例，地图生成模块510显示用于获得生成3D信息所必需的图像的引导。地图生成模块510确定所获得的图像的捕捉方向(例如，3D坐标系统上的水平角度或垂直角度)，并显示用于获得根据所获得的图像来配置3D信息所必需的附加图像的引导。例如，地图生成模块510可以从与电子设备功能上相连的相机获得第一图像。地图生成模块510可以确定从电子设备捕捉第一图像的位置开始沿捕捉第一图像的方向的第一延长线。地图生成模块510确定并引导电子设备的相机的位置和方向，使得要从电子设备获得的第二图像可以具有便于与第一图像相关联来生成3D信息的条件。例如，地图生成模块510可以显示引导，以满足如下条件：从电子设备的位置开始沿捕捉第二图像的方向的第二延长线与第一延长线相交于一点并形成锐角(例如，小于90°的角)。

根据本公开的实施例，地图生成模块510可以基于电子设备的引导方向和运动来执行图像捕捉。例如，地图生成模块510可以确定相对于当前虚拟点电子设备已在哪个方向上获得了图像。地图生成模块510确定必须旋转相机焦点到哪个方向上，使得电子设备可以获得在尚未获得的方向上的图像。地图生成模块510向用户显示针对方向的捕捉引导。如果确定相机的焦点根据引导而朝向适当方向，地图生成模块510可以自动捕捉与该方向相对应的图像。例如，如果用户移动相机从而捕捉焦点与捕捉引导相匹配，则地图生成模块510可以自动捕捉图像。如果用户移动相机从而捕捉焦点与捕捉引导相匹配，则地图生成模块510还基于至少一个输入来捕捉图像。例如，如果捕捉焦点与捕捉引导相匹配，则地图生成模块510可以突出显示捕捉引导，以引导用户进行与捕捉相关的输入。

根据本公开的实施例，地图生成模块510响应于特定事件来引导图像获得。特定事件可以包括：地图图像更新时间到期、特定声音感测、危险因素感测等。例如，地图生成模块510可以将在特定虚拟点处获得图像的时间与当前时间进行比较；如果已经过了预定时间，则可以提供引导以捕捉新的图像用于更新。为了获得发生事件(例如，特定声音感测、气体泄漏检测等)处的地点的图像，地图生成模块510可以向功能上相连的外部设备(例如，CCTV、危险区域探索机器人等)提供例如用于捕捉事件发生地点的引导。

根据本公开各种实施例的地图生成模块510将3D地图中包括的图像集合或使用至少一部分虚拟点相关信息所生成的图像与虚拟点相匹配。根据本公开的实施例，通过使用与特定虚拟点相对应的图像集合，地图生成模块510将图像集合中包括的至少一个图像与虚拟点内部的空间相匹配。例如，地图生成模块510可以合成与虚拟点相对应的图像集合的至少一部分，以生成针对尚未获得的方向的新图像。地图生成模块510将所生成的图像与虚拟点匹配，以对应于该方向。在另一示例中，地图生成模块510可以基于与虚拟点相对应的图像集合中包括的多个图像之间的特征点比较，来生成指示3D信息(例如，深度信息)的图像。地图生成模块510将指示3D信息的图像与虚拟点相匹配。在另一实施例中，地图生成模块510通过使用两个或更多个虚拟点中包括的各个图像集合来生成在这两个或更多个虚拟点之间的空间的新的虚拟点，并将图像与该新的虚拟点相匹配。

根据本公开的实施例，地图生成模块510通过使用与虚拟点相对应的图像集合来生成全景形式的图像。例如，全景图像形式可以包括：圆柱式、立方体式、球体式或半球体式。根据本公开的另一实施例，地图生成模块510相对于虚拟点来旋转相机的方向，以直接获得包括至少一个方向在内的全景图像，而不是获得与虚拟点相对应的图像集合。根据本公开的另一实施例，地图生成模块510可以基于全景图像中包括的图像之间的特征点比较，来获得全景图像的深度信息。地图生成模块510对所生成的全景图像应用所获得的深度信息。

根据本公开的实施例，地图生成模块510基于从与虚拟点相对应的图像集合中识别出的特征点，来生成3D图像。地图生成模块510确定图像集合中包括的图像中在空间上相邻的图像。例如，地图生成模块510可以基于针对图像中公共包括的对象捕捉每个图像的方向、角度和位置，来确定图像在空间中相邻的程度。地图生成模块510分析相邻图像的图像数据，以提取公共特征点。地图生成模块510基于公共特征点来生成3D图像。地图生成模块510可以使用所生成的3D图像来生成虚拟空间。例如，地图生成模块510可以通过使用尺度不变特征变换(SIFT)、方向梯度直方图(HOG)、harr特征、蕨算法(ferns)、局部二元模式(LBP)或修正统计变换(Modified Census Transform，MCT)来生成各图像的合成图像。

根据本公开各种实施例的地图生成模块510执行对两个或更多个3D地图中的每一个3D地图的至少一部分进行合成的操作。根据本公开的实施例，地图生成模块510确定与第一3D地图和第二3D地图中包括的多个虚拟点相关的信息。例如，虚拟点相关信息可以包括以下至少一项：虚拟点的位置信息、相对于其他虚拟点的路径信息、与虚拟点相对应的图像集合以及图像集合中包括的图像的捕捉方向信息。

根据本公开各种实施例的地图生成模块510使用与两个或更多个3D地图(例如，第一3D地图和第二3D地图)中每一个3D地图所包括的虚拟点相关的信息，以生成包括这两个或更多个3D地图中每一个3D地图的至少一部分在内的新的3D地图(例如，通过合成第一3D地图和第二3D地图之间的交集所生成的第三3D地图)。地图生成模块510生成新的虚拟点或更新至少一个现有虚拟点，以在生成新的3D地图时使用。

根据本公开的实施例，在通过使用第一3D地图和第二3D地图来合成新的3D地图的过程中，地图生成模块510可以根据第一3D地图或第二3D地图中包括的虚拟点来生成新的信息。例如，地图生成模块510可以生成新的3D地图的路径信息：从第一3D地图的虚拟点经由第一3D地图和第二3D地图之间的相交部分的虚拟点到第二3D地图的虚拟点。例如，地图生成模块510可以通过使用与新的3D地图的虚拟点相对应的图像集合、与第一3D地图的第一虚拟点相对应的第一图像以及与第二3D地图的第二虚拟点相对应的第二图像，来生成合成图像。地图生成模块510可以将所生成的新的信息并入新的3D地图中。

根据本公开的实施例，地图生成模块510基于虚拟点相关信息中的位置信息来确定两个或更多个3D地图之间的相交点。地图生成模块510确定每个3D地图中与相交点相邻的虚拟点。地图生成模块510将数据收集到一个虚拟点，并通过使用所确定的虚拟点中包括的至少一些信息(例如，图像集合、获得图像集合中包括的图像的方向、位置信息或3D信息)将各个虚拟点合成为一个虚拟点。例如，图像生成模块510可以针对多个3D地图之间的重叠点来生成包括每个3D地图中与重叠点相对应的虚拟点相关的信息的至少一部分在内的新的虚拟点。地图生成模块510可以生成包括以下各项在内的新的虚拟点：与相交第一3D地图的第一虚拟点相对应的图像集合和图像获得方向、与相交第二3D地图的第二虚拟点相对应的图像集合和图像获得方向、第一3D地图的路径以及第二3D地图的路径。

根据本公开的实施例，在生成与相交点相对应的新的虚拟点的过程中，地图生成模块510分析与相交点相邻的虚拟点相对应的图像集合中包括的图像的特征点。地图生成模块510基于从图像集合中包括的至少一些图像中识别出的特征点之间的比较，来生成合成图像(例如，包括3D深度信息在内的图像或全景图像)。例如，地图生成模块510可以通过将在由第一虚拟点和第二虚拟点提供的方向上的图像合成到一个图像中，来生成全景图像作为与新的3D地图的虚拟点相对应的合成图像。所生成的全景图像可以在将视点方向从第一3D地图的区域变为第二3D地图的区域时提供连续的视野。

根据本公开的实施例，当将与两个或更多个3D地图之间的相交点相邻的虚拟点合成为一个虚拟点时，地图生成模块510基于与各个虚拟点相关的信息中的图像集合的时间信息，将虚拟点合成为一个虚拟点。例如，如果生成或合成各个虚拟点的图像集合的时间落在之前设置的时间差(例如，一个月或一周)内，则地图生成模块510可以在与一个虚拟点相对应的图像集合中包括各图像集合。可以根据时间信息将与一个虚拟点相对应的图像集合分类为若干图像集合。即使对于图像中相同或相似的图像获得方向，如果生成或合成图像的时间具有之前设置的时间差或更久(一个月或更久)，可以将图像分类为不同的图像集合。例如，根据季节、白天还是晚上、天气、年份或用户的选择，一个虚拟点可以包括若干个图像集合。如果虚拟点对应于起居室的窗前，虚拟点可以包括起居室随时间变化的不同全景图像、起居室的3D图像、通过起居室的窗户看到的风景图像或者受到白天和夜晚的照明影响的起居室图像。

根据本公开的实施例，地图生成模块510通过使用虚拟点的连接信息、位置信息以及与虚拟点对应的图像集合的时间信息中的至少一部分来生成连接虚拟点的路径。例如，当与虚拟点相对应的图像集合中的时间信息(例如，生成时间或合成时间)具有小于特定值的差时，地图生成模块510可以生成连接虚拟点的路径。如果虚拟点中包括的图像数据具有较大时间差，则地图生成模块510可以完全不合成图像数据，或者可以用最新的图像数据来覆写图像数据。根据本公开的各种实施例的地图显示模块520以各种形式来提供3D地图。例如，地图显示模块520可以以3D虚拟现实或2D平面图的形式来提供3D地图。地图显示模块520可以提供3D地图，以在3D地图中包括的虚拟点或图像之间切换视图。

根据本公开的实施例，地图显示模块520基于用户输入来提供3D地图。基于用户选择的3D地图中包括的虚拟点，地图显示模块520显示与该虚拟点相对应的图像。例如，地图显示模块520可以显示与虚拟点相对应的图像集合中包括的至少一个图像。

根据本公开的实施例，地图显示模块520响应于用户输入在3D地图中包括的虚拟点之间切换视图。地图显示模块520显示在3D地图中包括的虚拟点处与用户输入方向相对应的图像。例如，当显示与相对于虚拟点的北方相对应的图像时，地图显示模块520可以基于用户向右(或向东)做出的输入(例如，在屏幕上向右触摸或拖动或者对右向按钮的输入)将图像切换到与右方(或东方)相对应的图像。

根据本公开的实施例，地图显示模块520在3D地图中包括的图像之间切换显示时提供图像间显示过渡效果。例如，地图显示模块520可以提供过渡效果(例如，放大/缩小效果、淡入/淡出效果等)作为当前显示图像和要显示的下一图像之间的中间操作。

根据本公开各种实施例的地图显示模块520基于电子设备的方向或位置来提供3D地图。例如，地图显示模块520可以通过使用与电子设备功能上相连的至少一个传感器(例如，GPS、加速度传感器、陀螺仪传感器、压力传感器、WPS、NFC传感器、地磁传感器、光学传感器以及无线通信传感器)来获得以下至少一项：电子设备的位置、海拔和方向。地图显示模块520基于电子设备的位置、海拔和方向中的至少一项来显示3D地图上的虚拟点。如果不存在与电子设备的当前位置相对应的地图数据，则地图显示模块520从外部设备(例如，电子设备102或104或者服务器106)接收与该位置相对应的辅助地图数据。通过使用所接收的辅助地图数据的至少一部分，地图显示模块520显示通过向地图数据中插入与不存在地图数据的方向相对应的图像来补偿的3D地图。

当显示3D地图或与3D地图相对应的2D地图时，根据本公开各种实施例的地图显示模块520在一个屏幕上或者在功能上相连的多个显示器上显示3D地图或2D地图。例如，在可穿戴设备与智能电话通过无线通信相连的环境中，可穿戴设备可以显示2D地图(例如，迷你地图)且智能电话可以显示3D地图。

根据本公开各种实施例的地图显示模块520在3D地图上执行导航操作。地图显示模块520基于3D地图来确定3D地图上从第一虚拟点到第二虚拟点的路径。地图显示模块520显示与沿该路径遇到的至少一个虚拟点相对应的图像。

根据本公开的实施例，地图显示模块520基于电子设备的位置信息或移动，来自动显示或切换与沿路径移动的电子设备的位置相对应的虚拟点的图像。

根据本公开的实施例，地图显示模块520基于3D地图，通过使用辅助图像(例如，迷你地图)在至少一部分屏幕上提供与到目的地的路径相关的各种信息。例如，地图显示模块520可以通过使用辅助图像来显示以下至少一项：目的地或从起点到目的地的路径。地图显示模块520可以通过使用辅助图像来显示电子设备的当前位置。地图显示模块520可以通过使用辅助图像来显示电子设备所朝向的方向。地图显示模块520可以确定到目的地的距离，并通过使用辅助图像来显示与该距离相对应的界面。例如，地图显示模块520可以通过使用该界面来显示电子设备在路径上的当前位置。

对于特定虚拟点，地图显示模块520显示包括具有各种时间信息的图像在内的图像集合中与特定时间相对应的图像。例如，如果电子设备每三个月捕捉起居室中虚拟点处朝向沙发的图像，则地图显示模块520可以在3D地图上向用户显示随时间捕捉的若干图像(例如，3D地图上对应方向和区域中的图标、列表、重叠图像以及缩略图网格图像中的一项或多项)。地图显示模块520显示与至少一个图像相关的信息(例如，全景图像、视频、与对应虚拟点相关的路径移动信息、诸如生日之类的事件信息等)。例如，地图显示模块520可以在3D地图上显示与图像相关的时间信息(例如，包括从初始生成的图像集合的时间到最新图像集合的时间的至少一部分在内的时间相关信息)。地图显示模块520可以在3D地图中顺序切换和显示与特定持续时间相对应的图像或者显示视频效果(例如，应用图像间过渡效果)。

根据本公开各种实施例的地图编辑模块530基于用户输入(例如，触摸、拖动或手势)或自动编辑3D地图。例如，地图编辑模块530可以向用户显示用于帮助用户编辑3D地图的引导。地图编辑模块530可以确定3D地图的错误程度并自动纠正错误。

根据本公开的实施例，地图编辑模块530确定3D地图中图像的错误程度(例如，未自然映射图像的点或者由于图像合成而失真的点)。例如，通过针对边界的连贯或不连贯、垂直和水平段的不连续以及颜色改变中的一项或多项对3D地图中包括的图像应用边缘检测器、轮廓跟踪器(contour follower)以及颜色标记中至少一项，地图编辑模块530可以根据结果来确定对应点的错误程度。

根据本公开的实施例，地图编辑模块530通过显示器来显示要被编辑的点或者用于编辑的引导。例如，地图编辑模块530可以显示经分析的错误点。地图编辑模块530可以显示捕捉引导，以获得用于补偿错误点的图像。

根据本公开的实施例，地图编辑模块530提供与所选择的3D地图中包括的特定点相对应的两个或更多个获得的图像。例如，地图编辑模块530可以在存储器中搜索与用户选择的点相对应的多个图像，并在屏幕上显示找到的图像。地图编辑模块530可以基于捕捉顺序和捕捉位置信息来排列找到的图像。

根据本公开的实施例，地图编辑模块530基于用户输入来编辑(例如，删除或修改)3D地图中包括的特定点。例如，地图编辑模块530可以通过显示器来显示形成3D地图的虚拟点以及针对用户输入的编辑引导(例如，编辑菜单、编辑工具等)。地图编辑模块530可以基于针对编辑引导的用户输入来编辑虚拟点。

根据本公开的实施例，地图编辑模块530将附加图像以及与3D地图的特定点相对应的图像加以合成。例如，地图编辑模块530可以从用户接收要与附加图像合成的图像所在的点。地图编辑模块530可以通过使用与合成点对应的图像的至少一部分以及附加图像的至少一部分，将图像与附加图像加以合成。例如，图像和附加图像可以基于从图像和附加图像中识别出的特征点中的公共特征点来合成。

根据本公开各种实施例的地图转换模块540根据3D地图来生成2D地图。基于根据3D地图中包括的图像而确定的3D信息，地图转换模块540确定图像中包括的对象之间的边界。地图转换模块540基于边界来生成墨卡托(Mercator)式地图。例如，2D地图可以包括类似于辅助地图、迷你地图或平面图之类的形式。

根据本公开的实施例，地图转换模块540通过使用与一个或多个虚拟点相对应的图像以及根据图像确定的深度信息来确定对象的排列结构。例如，地图转换模块540可以基于与每个虚拟点相对应的图像的深度信息来确定3D地图中墙壁和地板之间、墙壁和天花板之间以及墙壁和另一墙壁之间的角度或边界。

根据本公开的实施例，地图转换模块540可以基于所确定的边界来确定3D地图的路径上的对象的特征结构(例如，拐角、通道或门)。地图转换模块540使用在图像捕捉时获得的位置信息或方向信息来确定特征结构的位置。地图转换模块540通过使用特征结构之间的距离、方向或角度来确定2D地图上对象之间的边界及特征结构的位置。

根据本公开的实施例，地图转换模块540通过使用从各种模块获得的信息来确定对象之间的结构特性。例如，地图转换模块540可以通过使用与电子设备功能上相连的深度传感器来生成3D信息。地图转换模块540可以基于使用与电子设备功能上相连的立体镜(stereo scope)所获得的图像来确定对象之间的距离。例如，地图转换模块540可以通过使用3D地图的图像中包括的标记(例如，沿边界以相似间隔排列的特征点、指示了位置信息的图像码等)来确定对象之间的距离。

根据本公开的实施例，地图转换模块540附加地获得3D地图配置过程中未包括的图像(例如，位于盲点上的对象的图像)，并向2D地图的一部分添加所获得的图像。

根据本公开各种实施例的地图转换模块540确定在用户的实际运动路径与在生成3D地图的过程中所生成的地图的路径(例如，3D地图的路径或者根据3D地图所生成的2D地图的路径)之间的误差。地图转换模块540针对出现误差的路径执行纠错。例如，地图转换模块540可以通过使用并行跟踪及映射(PTAM)和并行跟踪及多重映射(PTAMM)中的至少一项来校正3D地图中包括的图像的路径的误差。

根据本公开的实施例，地图转换模块540通过使用与3D地图的纠错相关的校正值来校正与电子设备功能上相连的另一模块(例如，传感器)。例如，如果确定由于与电子设备功能上相连的传感器(例如，陀螺仪传感器、加速度传感器或方位角传感器)的误差而出现路径的误差，则地图转换模块540可以通过使用在针对路径的误差修正过程中所确定的校正值(例如，经修正的方向角度信息)来校正传感器(例如，校正基准值或者针对结果进行补偿)。

根据本公开各种实施例的对象相互作用模块550(例如，对象相互作用模块417和477)识别3D地图中包括的图像上出现的对象。例如，对象相互作用模块550可以识别的对象可以包括3D地图中包括的图像上出现的各种电子产品(例如，膝上型计算机、洗衣机、冰箱等)或各种非电子产品(例如，地毯、桌子等)。通过针对3D地图的图像使用包括颜色识别、边缘检测、边界跟踪以及特征点提取中至少一项在内的图像处理方案，对象相互作用模块550可以识别与图像中的对象的至少一部分的形状相对应的图像区域。例如，对象相互作用模块550可以分析3D地图中包括的图像，以从图像的至少某个区域中区分出与对象相对应的图像区域。对象相互作用模块550将区分出的图像区域识别为与对象相对应的图像区域。在另一示例中，对于3D地图中包括的图像，对象相互作用模块550可以将用户指定的图像中的至少某个区域识别为与对象相对应的图像区域。

根据本公开的实施例，对象相互作用模块550从3D地图中包括的图像中识别出标识符，以识别与对象相对应的图像区域。例如，对象相互作用模块550可以通过光学字符识别(OCR)、条形码识别或手写识别来识别图像上出现的对象的产品名称、产品号码或序列号。对象相互作用模块550可以基于上述识别来识别与对象相对应的图像区域。

根据本公开的实施例，对象相互作用模块550通过使用与对象相关的样本图像，从3D地图中包括的图像的至少一部分中识别出与对象相对应的图像区域。样本图像可以包括指示对象的形状、颜色或大小的图像。例如，对象相互作用模块550可以从电子设备(例如，电子设备101)、对象或外部设备(例如，电子设备102或104或服务器106)获得对象的样本图像。对象相互作用模块550确定在3D地图中包括的图像的至少某个区域中是否存在与样本图像相似的区域。对象相互作用模块550基于该确定将具有高相似度级别(例如，70％相似度级别或更高)的区域识别为与对象相对应的区域。在另一示例中，对象相互作用模块550可以基于样本图像的类型来识别对象的类型(例如，显示器、家电、家具等)。

根据本公开的实施例，对象相互作用模块550将对象识别信息并入3D地图中。例如，对象相互作用模块550可以向与3D地图相关的数据中插入与识别出的与对象相对应的图像区域的大小、位置或边界相关的数据。

根据本公开的实施例，对象相互作用模块550获得与识别出的对象相关的信息。例如，与对象相关的信息可以包括以下至少一项：识别信息(例如，产品名称、产品号码、序列号、条形码、快速响应(QR)码、产品图像等)、连接信息(例如，是否安装了通信模块、是否激活了通信功能、通信协议等)、控制信息(例如，功能列表、控制接口、控制协议、API信息、针对控制接口的URL或面板信息)、操作状态信息(例如，功能是否工作或者功能是否可执行)、仿真信息(例如，功耗量、噪声生成量、操作规则或标准等)。例如，对象相互作用模块550可以从外部设备(例如，电子设备102、电子设备104或服务器106)获得与对象相关的信息。对象相互作用模块550向与对象识别信息相关的3D地图数据中插入与对象相关的信息。

根据本公开的各种实施例，对象相互作用模块550(例如，对象相互作用模块417)形成与从3D地图中识别出的对象(例如，连接性对象)的连接。对象相互作用模块550在电子设备和该对象之间形成有线/无线通信连接，以通过图像上的对象区域来提供与对应于对象区域的实际对象(例如，电子产品)相关的信息或控制功能。对象相互作用模块550直接形成与对象的有线/无线通信连接，或者通过与对象有线/无线连接的服务器(例如，对象相互作用服务器)来形成连接。

根据本公开的实施例，对象相互作用模块550向3D地图上出现的对象(例如，连接性对象)发送方向性信号，以形成与对象的连接。对象相互作用模块550可以基于对象对方向性信号的响应来形成与对象的连接。根据本公开的另一实施例，如果多个对象对方向性信号进行响应，则对象相互作用模块550使电子设备的方向变化，以改变方向性信号的入射区域。例如，如果从两个外部设备接收到对从电子设备入射的方向性信号的响应，则对象相互作用模块550可以在显示器上显示用于指引用户改变电子设备的方向性信号相对于两个外部设备位置的方向的引导。

对象相互作用模块550基于对象对方向改变后的方向性信号的入射区域的反应来确定对象之间的相对位置。例如，对象相互作用模块550可以基于以下至少一项来确定两个电子产品之间的相对位置：每个产品针对电子设备移动的反应的次序和持续时间。对象相互作用模块550基于该确定来形成与两个电子产品中至少一个电子产品的连接。

根据本公开的实施例，对象相互作用模块550识别对象的无线通信(Wi-Fi、蓝牙、NFC、IR等)信号。对象相互作用模块550基于对信号的识别来确定对象的识别信息(例如，媒体接入控制(MAC)地址、型号名称等)。对象相互作用模块550基于识别信息来形成电子设备和对象之间的连接。

根据本公开的实施例，对象相互作用模块550识别对象的图像上出现的识别码(例如，条形码、QR码、产品名称等)。对象相互作用模块550基于识别码从电子设备或服务器获得与对象相对应的识别信息。对象相互作用模块550基于识别信息来形成电子设备和对象之间的连接。

根据本公开的实施例，对象相互作用模块550基于过去连接记录来形成电子设备和对象之间的连接。对象相互作用模块550存储电子设备和对象之间的连接记录，且稍后基于该连接记录来形成与相似对象的连接。如果基于一条连接记录确定存在若干相似对象，则对象相互作用模块550形成与高相似度对象(例如，相同产品组、ID的首字母相同)的连接。

根据本公开的各种实施例，对象相互作用模块550基于与对象的连接来接收与对象相关的控制信息。控制信息可以包括以下至少一项：对象的名称、对象的3D模型信息(形状、大小、朝向、材料、颜色、反射率、透明度、纹理、弹性等)、对象所提供的功能的列表、对象提供的控制API信息、对象控制面板(例如，UI等)的配置信息以及用于控制对象的应用信息。例如，对象相互作用模块550可以从形成了连接的外部设备(例如，形成了连接的对象或服务器)接收与对象相关的控制应用。

根据本公开的实施例，对象相互作用模块550(例如，对象相互作用模块417和477)将在形成与对象的连接的过程中确定的信息(例如，标识符、ID、位置、控制信息、控制接口等)映射到3D地图中包括的图像。对象相互作用模块550基于该映射以与图像相关联的方式来显示对象的形状或对象的信息。例如，对象相互作用模块550可以在图像中包括的电子产品的形状周围显示与电子产品相关联的信息(例如，产品名称或产品ID)。

根据本公开的实施例，对象相互作用模块550与图像中对应于对象的区域相关地显示用于控制对象的接口。对象相互作用模块550确定用于控制对象的接口(例如，控制面板、开/关按钮、定时器按钮等)，并与该区域相关地显示该接口。例如，取决于电子设备和对象之间的连接状态，对象相互作用模块550可以在3D地图的图像上显示连接状态信息(例如，对是否能够控制对象的指示、与控制面板的激活相对应的视觉效果等)。

根据本公开的实施例，对象相互作用模块550基于与对象相关的控制信息来配置用于控制对象的UI。例如，对象相互作用模块550可以通过使用与对象的功能相关的API来配置UI。在另一示例中，对象相互作用模块550可以基于控制信息(例如，对象的控制API)和用户输入来定制UI，以方便用户。

根据本公开的各种实施例，对象相互作用模块550显示对象的操作状态。对象相互作用模块550基于与对象的连接来接收对象的操作状态信息(例如，操作开/关、温度、预约时间、操作时间等)。例如，在对象操作时，可以从对象向电子设备周期性发送对象的操作状态信息。对象相互作用模块550可以周期性地发送对于对象的操作状态信息的请求，并接收作为其响应的操作状态信息。对象相互作用模块550可以在3D地图上显示操作状态信息。

根据本公开的各种实施例，对象相互作用模块550基于针对在3D地图的图像上显示的对象控制接口的用户输入来控制对象的实际功能。对象相互作用模块550基于与对象的连接向对象发送由接口提供的控制命令。例如，对象相互作用模块550可以基于针对与洗衣机相对应的接口的洗涤开始输入，向洗衣机发送洗涤开始命令。接收到洗涤开始命令的洗衣机可以执行与洗涤开始相对应的操作。

根据本公开的各种实施例，对象相互作用模块550针对3D地图的图像上出现的对象执行仿真。对象相互作用模块550在电子设备中对对象提供的功能进行仿真，而不实际操作对象。对象相互作用模块550在3D地图上显示对象的仿真信息或者与仿真结果相对应的效果。

图6是根据本公开各种实施例的对象相互作用模块600的框图。参见图6，对象相互作用模块600(例如，对象相互作用模块550)可以包括：服务迁移模块630、资源布局管理模块640、非连接性资源管理模块650以及连接性资源管理模块660。

根据本公开的实施例，基于由地图平台模块处理的3D地图，对象相互作用模块600通过服务迁移模块630将3D地图的服务切换为3D地图和对象彼此相互作用的服务。根据本公开的实施例，对象相互作用模块600通过使用资源布局管理模块640来存储并管理3D地图以及3D地图上出现的对象的配置和位置信息。根据本公开的实施例，对象相互作用模块600将3D地图与3D地图上出现的实际对象进行相互作用。对象相互作用模块600通过电子设备的通信接口或网络(例如，对象相互作用服务器)形成与连接性对象的连接。对象相互作用模块600基于与用户输入或外部设备获得的关于非连接性对象的信息(例如，名称、分类、ID、3D模型等)来形成与非连接性对象的虚拟连接。

根据本公开的实施例，对象相互作用模块600存储用于在3D地图和对象之间进行相互作用所必需的与对象相关的信息。对象相互作用模块600通过使用与对象相关的信息，通过连接性资源管理模块660来执行与连接性对象相关的操作。与对象相关的信息可以包括对象的以下至少一项：ID、名称、图像、产品名称、分类、序列号、制造号、MAC地址、互连网协议(IP)地址、简档信息、连接状态信息、控制信息、接口信息、仿真信息、3D模型信息、操作状态信息和通信可能性。对象相互作用模块600从对象或外部设备接收与对象相关的信息，或者从用户输入获得该信息。对象相互作用模块600通过使用与非连接性对象相关的信息的至少一部分来提供虚拟连接，就好像非连接性对象是连接性对象一样。例如，如果执行针对非连接性对象的功能的操作，则对象相互作用模块600可以基于与非连接性对象相关的仿真信息来提供针对非连接性对象的仿真，而不是发送用于操作的控制信号。

基于从另一模块(例如，地图生成模块510、地图显示模块520、地图编辑模块530或者地图转换模块540)处理的3D地图，根据本公开各种实施例的服务迁移模块630提供针对3D地图上识别出的对象的附加功能。根据本公开的实施例，服务迁移模块630从资源布局管理模块640获得3D地图以及与3D地图上出现的对象相关的布局信息。服务迁移模块630基于布局信息来显示3D地图和对象。

根据本公开的实施例，服务迁移模块630显示用于针对对象的以下至少一种操作的接口：信息显示、控制、监视、仿真和使用数据记录。例如，服务迁移模块630可以从连接性资源管理模块660或非连接性资源管理模块650获得包括接口的配置或与接口相对应的命令在内的信息。根据本公开的实施例，服务迁移模块630响应于针对接口的用户输入向对象传输命令，使得对象可以执行与接口相对应的操作。

根据本公开的实施例，服务迁移模块630提供对象和3D地图之间的互操作。根据本公开的另一实施例，在已形成与电子设备的连接的连接性对象(例如，清洁机器人)的功能中，服务迁移模块630控制以未形成与电子设备的连接的非连接性对象(例如，地毯)为目标的功能。例如，服务迁移模块630可以响应于将3D地图的图像上出现的清洁机器人拖动到3D地图的图像上的地毯的输入，向连接性对象(例如，清洁机器人)发送与非连接性对象相关的控制命令(例如，地毯清洁命令)。

根据本公开各种实施例的资源布局管理模块640基于3D地图获得识别出的对象的布局信息。例如，布局信息可以包括以下至少一项：对象在3D地图上的位置和排列状态以及对象的3D模型。资源布局管理模块640从由另一模块(例如，地图生成模块510、地图显示模块520、地图编辑模块530或者地图转换模块540)处理的3D地图中获得布局信息。例如，资源布局管理模块640可以识别3D地图的图像上出现的对象，并基于包括所识别出的对象在内的多个3D地图图像的特征点之间的比较来确定3D地图空间中该对象所处的点。资源布局管理模块640可以基于3D地图上出现的主对象(例如，起居室和通道)的布局信息(例如，结构)来修改(例如，移动、重排列或删除)子对象(例如，空调、沙发等)的布局信息。资源布局管理模块640向外部设备发送针对与对象相关的布局信息的请求，并获得响应于该请求而来自外部设备的布局信息。例如，资源布局管理模块640可以从服务器(例如，对象相互作用服务器470、第三方提供服务器480等)获得与对象相关的3D模型信息。

根据本公开各种实施例的非连接性资源管理模块650获得、存储或提供与非连接性对象相关的信息。根据本公开的实施例，非连接性资源管理模块650通过针对识别出的非连接性对象的用户输入来获得与非连接性对象相关的信息。根据本公开的实施例，当从另一模块(例如，服务迁移模块630)接收到针对操作必需的与非连接性对象相关的信息的请求时，非连接性资源管理模块650响应于该请求向该模块传输与非连接性对象相关的信息。

根据本公开各种实施例的连接性资源管理模块660获得、存储或提供与连接性对象相关的信息。根据本公开的实施例，连接性资源管理模块660通过有线/无线通信从识别出的连接性对象获得与连接性对象相关的信息。根据本公开的实施例，当从另一模块(例如，服务迁移模块630)接收到针对操作必需的与连接性对象相关的信息的请求时，连接性资源管理模块660响应于该请求向该模块传输与连接性对象相关的信息。

根据本公开各种实施例的连接性资源管理模块660可以包括：资源控制模块662、资源仿真模块666以及资源使用记录模块668。连接性资源管理模块660通过资源控制模块662来控制连接性对象。连接性资源管理模块660通过资源仿真模块666来虚拟执行与对象接收到控制信号的情况相对应的操作，而不是控制连接性对象的实际操作。连接性资源管理模块660通过资源使用记录模块668来记录在连接性对象操作期间生成的各种数据或者基于所记录的数据对对象进行控制或仿真。

根据本公开各种实施例的资源控制模块662获得用于对已与电子设备形成连接的对象的操作进行控制的信息。根据本公开的实施例，资源控制模块662通过对象或外部设备来获得与对象(例如，连接性对象425)的功能相关的控制信息(例如，API信息)。例如，如果对象是基于IoT的产品，则资源控制模块662可以通过web来获得针对对象的接口。资源控制模块662可以包括UI/用户体验(UX)信息，例如用于控制对象功能的接口的布局或菜单配置。

根据本公开的实施例，资源控制模块662提供用于将非连接性对象指定为连接性对象的功能的执行目标的信息。资源控制模块662从非连接性资源管理模块650获得与非连接性对象相关的信息。资源控制模块662基于所获得的与非连接性对象相关的信息来确定连接性对象是否能够执行针对非连接性对象的功能。基于该确定，资源控制模块662提供用于将非连接性对象指定为连接性对象的功能的执行目标的接口。

根据本公开的实施例，资源控制模块662基于与连接性对象相关的控制信息，向对象发送针对连接性对象的控制命令。资源控制模块662将附加信息并入针对连接性对象的控制命令中，以将连接性对象的功能执行目标扩展到另一对象。例如，资源控制模块662可以将与非连接性对象相关的信息并入控制命令中，使得连接性对象可以针对非连接性对象进行操作。

根据本公开的实施例，资源控制模块662从对象或与对象相关的外部设备查询与对象控制相关的控制信息，并在存在新信息的情况下执行更新操作。

根据本公开各种实施例的资源仿真模块666执行针对3D地图上识别出的对象的仿真操作。资源仿真模块666通过使用与对象相关的以下至少一些项来提供对该对象的功能的仿真：控制信息、仿真信息以及使用记录信息。仿真信息可以包括例如与对象的操作相对应的信息，如：功耗量、发热量、发光量、发声量、耐久性下降量、振动程度、操作所需时间或者电磁波生成量。资源仿真模块666基于与功能相关的控制信息、仿真信息和使用记录信息中的至少一些来计算并显示对象操作的效果、操作半径以及操作对周围的影响，而不向对象发送针对该功能的控制命令。例如，作为与3D地图的图像上识别出的照明设备的“打开”相对应的仿真，资源仿真模块666可以明亮地显示该照明设备以及与照明设备的外围相对应的图像区域。在另一示例中，电子设备可以基于与照明设备的打开状态相对应的仿真来显示在照明设备的开启状态期间的亮度和功耗。资源仿真模块666基于对象的“断电”或与对象的通信的“断开连接”，自动将对象控制操作切换为仿真操作。

根据本公开的实施例，资源仿真模块666具有来自另一模块(例如，资源控制模块662、资源使用记录模块668等)、对象或服务器的执行仿真所必需的信息(例如，功能类型、仿真信息、资源使用数据等)。例如，仿真信息可以包括与对象的操作相对应的信息，如：功耗量、发热量、发光量、发声量、耐久性下降量、振动程度、操作所需时间或者电磁波生成量。仿真信息可以是基于对象的产品特性而之前已知的信息(例如，通过测试来收集或由制造商提供的信息)。仿真信息可以通过在资源使用记录模块668中记录的与对象相关的数据来收集。

根据本公开各种实施例的资源使用记录模块668记录在连接性对象的操作期间生成的各种数据。例如，资源使用记录模块668如果能够控制已连接的照明设备，则可以记录照明设备的使用时间、亮度改变以及温度改变。资源使用记录模块666处理所记录的数据，以导出其他信息。例如，可以基于所记录的照明设备的使用时间、亮度改变和温度改变来估计照明设备的灯泡的剩余寿命期望。如果估计出的剩余寿命期望小于特定值，则可以生成用于请求更换灯泡的信号。根据本公开的实施例，与对象相关的数据可以包括根据对象的设备元件、功能和特性可量化的各种数据。与对象相关的数据的格式或材料结构可以从对象或者与对象相关的外部设备获得。为了与和对象的功能相关联的对象的控制信息(例如，功能控制API)兼容，与对象相关的数据的格式或材料结构可以作为控制信息的一部分(例如，定义为API的格式)来提供。

根据本公开的各种实施例，与非连接性对象相关的信息或与连接性对象相关的信息是用各种方式来获得的。根据本公开的实施例，与非连接性对象相关的信息或与连接性对象相关的信息是从电子设备(例如，电子设备410)或外部设备(例如，第三方提供服务器480、另一电子设备440或对象相互作用服务器470)获得的。例如，支持与电子产品相关的信息的服务器可以拥有控制信息、接口信息和3D模型信息。电子设备可以向该服务器发送针对必需信息的请求，并从服务器接收响应于该请求的信息。根据本公开的实施例，与非连接性对象相关的信息或与连接性对象相关的信息是通过通信接口从对象获得的。例如，可以基于是否从对象接收到有线/无线通信信号来确定对象是非连接性类型还是连接性类型。从已形成通信连接的连接性对象，可以获得连接性对象中存储的信息。根据本公开的实施例，与非连接性对象相关的信息或与连接性对象相关的信息是通过用户输入获得的。例如，用户可以选择3D地图上识别出的对象，并针对所选对象使用特定输入形式来输入信息。

图7是根据本公开各种实施例的基于地图的服务模块700的框图。根据本公开各种实施例的基于地图的服务模块700(例如，基于地图的服务模块412)基于从地图平台模块(例如，地图平台模块415)处理过的3D地图向用户提供各种服务。对于每种服务，基于地图的服务模块700提供用于执行该服务的屏幕配置和UI。基于地图的服务模块700通过接口向相关服务模块发送用于执行用户所选功能的请求。接收到该请求的服务模块向地图平台模块(例如，地图平台模块412)或外部设备发送针对执行该功能所必需的信息或处理任务的请求。

根据本公开各种实施例的基于地图的服务模块700可以包括地图查询模块710、地图合成模块715、地图导航模块720、灾难地图模块725、购物地图模块730、地图共享模块735、对象控制模块750、仿真模块755以及对象数据模块760。

基于从地图平台模块处理的3D地图，地图查询模块710在屏幕上显示3D地图以及与3D地图相关的信息。例如，地图查询模块710可以在屏幕上提供用于允许用户方便查看3D地图上的空间的接口。地图查询模块710可以显示与3D地图中的场景变换相对应的屏幕效果。地图查询模块710可以提供搜索3D地图中的位置或与3D地图中包括的对象相关的信息的搜索功能。

地图合成模块715提供与3D地图的合成相关的接口和信息。例如，地图合成模块715可以提供用于合成3D地图的UI。地图合成模块715可以提供用于与外部设备共享3D地图合成的数据或与合成结果相对应的数据的UI。地图合成模块715提供与3D地图合成相关的信息(例如，用于合成的地图的列表、共享地图数据的外部设备的列表等)以及用于管理该信息的接口。

基于由地图平台模块处理的3D地图，3D地图导航模块720提供针对通向用户的目的地的路径的引导。该引导可以包括3D地图的路径指示、引导指示以及通知指示。

基于由地图平台模块处理的3D地图，灾难地图模块725显示针对3D地图上的区域中的紧急疏散路径的引导。如果接收到与发生灾难相关的信号，灾难地图模块725确定3D地图中包括的路径和紧急出口。灾难地图模块725确定最接近紧急出口或绕过灾难发生处的区域的路径，并提供该路径。

根据本公开的实施例，灾难地图模块725确定是否发生灾难。例如，灾难地图模块725可以从灾难服务服务器接收指示灾难的广播信号，并确定是否发生灾难。灾难地图模块725可以从特定传感器(例如，麦克风、烟雾传感器、热传感器、振动传感器等)获得感测数据(例如，麦克风感测到的人员尖叫(诸如“着火啦！”之类的特定词语)、由振动传感器感测到的与地震相关的振动模式等)。灾难地图模块725可以使用感测数据，通过对灾难模块应用的处理，来确定是否发生灾难。灾难地图模块725可以从能够确定是否发生灾难的另一电子设备接收与该确定相关的信息。

根据本公开的实施例，灾难地图模块725获得与灾难相对应的服务的数据(例如，灾难发生区域的3D地图、是否感测到灾难的发生、疏散路径等)。例如，灾难地图模块725可以向地图平台模块发送用于处理数据的请求。在另一实施例中，灾难地图模块725可以从附近的与灾难服务相关的广播信息中获得与能够提供灾难服务的服务器相关的信息(例如，灾难服务服务器的IP地址、域信息、连接信息以及认证信息)。灾难地图模块725可以向灾难服务服务器发送针对数据的请求。

根据本公开的实施例，如果电子设备所处的空间由于灾难倒塌或倾覆，灾难地图模块725修改3D地图并提供经修改的3D地图。例如，如果使用传感器(例如，陀螺仪传感器)感测到在用户视点(在此处执行电子设备操纵)与地平线之间发生空间旋转，则灾难地图模块725通过旋转来校正3D地图并显示经校正的3D地图。

根据本公开的实施例，灾难地图模块725在灾难情形下控制3D地图上出现的防灾对象(例如，喷淋式冷却器(spring cooler)、警报、防火安全门(fire-preventionshutter)等)。灾难地图模块725确定电子设备是否被授权在灾难情形下控制防灾对象，并基于该确定来请求与防灾对象相关的控制信息。灾难地图模块725基于控制信息来提供针对防灾对象的控制接口。

根据本公开的实施例，灾难地图模块725以各种方式来显示针对灾难情形的3D地图服务。针对灾难情形中特定事件(例如，需要降低电子设备的功耗、显示器受损、背景噪声、用户认知器官受伤害等)的发生，灾难地图模块725可以使用图像、语音和振动中至少一项来提供服务。

购物地图模块730基于地图平台模块处理过的3D地图，提供购物中心或者购物广场的内部地图以及与购物中心或购物广场的商店相关的信息。购物地图模块730提供从购物中心服务器获得的3D地图和商店信息。商店信息可以包括以下至少一项：商店名称、销售物品、联系信息、打折信息、优惠券信息以及会员服务。

基于由地图平台模块处理过的3D地图，地图共享模块735通过与另一电子设备共享3D地图来提供扩展功能和3D地图。根据本公开的实施例，地图共享模块735基于与另一电子设备的3D地图数据共享，与另一电子设备共享位置信息。例如，地图共享模块735可以识别包括该电子设备在内的数据交换组(例如，网络组、SNS组或3D地图共享组)中包括的用户，并请求与属于该组的用户相关的位置信息。地图共享模块735可以在共享的3D地图上显示该位置信息。

根据本公开的实施例，地图共享模块735基于共享的3D地图和位置信息，向另一电子设备提供信息。例如，地图共享模块735可以控制3D地图上能够传输消息的对象(例如，电子公告牌、扬声器等)来发送另一电子设备的用户能够看到或听到的消息(例如，电子公告牌消息、语音引导消息等)。例如，地图共享模块735可以基于共享的3D地图和位置信息，确定并提供另一电子设备的位置处以3D地图的特定位置为目的地的路径信息。

根据本公开的另一实施例，地图共享模块735基于共享的3D地图数据，通过另一模块来提供各种处理结果。例如，地图共享模块735可以通过将从另一电子设备提供的3D地图数据的至少一部分与电子设备中存储的3D地图数据的至少一部分加以合成来提供新的3D地图。地图共享模块735可以与共享位置的另一电子设备形成连接，或者通过对象相互作用模块来控制另一电子设备。例如，地图共享模块735可以通过3D地图导航模块来引导针对共享3D地图中特定位置的路线。

基于由地图平台模块处理过的3D地图和对象，对象控制模块750提供用于控制3D地图的图像上出现的对象的功能。对象控制模块750基于与对象的功能相关的控制信息来提供接口。基于针对该接口的用户输入，对象控制模块750通过资源控制模块(例如，资源控制模块662)向对象传输与该输入相对应的控制命令。

基于地图平台模块处理过的3D地图和对象，仿真模块755提供用于对3D地图的图像上出现的对象的功能进行仿真的功能。仿真模块基于与对象的功能相关的控制信息或使用数据，通过资源仿真模块(例如，资源仿真模块666)来显示与对象功能的执行相对应的各种效果。

基于地图平台模块处理过的3D地图和对象，对象数据模块760处理在3D地图的图像上出现的对象的功能执行期间所生成的定量数据。对象数据模块760通过资源使用记录模块(例如，资源使用记录模块668)来提供与对象的操作相关记录的数据以及通过处理至少一部分记录数据所获得的数据当中用户所需的信息。

根据本公开的一些实施例，基于地图的服务模块700可以不包括前述一些模块，或者还可以包括附加模块。在本公开的另一实施例中，基于地图的服务模块700中包括的一些模块可以包括另一模块的功能，且一些模块的至少一些功能可以由另一模块来执行。基于地图的服务模块700的一些模块可以实现为地图平台模块(例如，地图平台模块415)的一部分。

图8示出了根据本公开各种实施例的电子设备中在图像捕捉时显示的UI的示例。根据本公开各种实施例的电子设备在图像捕捉期间显示与虚拟点相关的信息以便配置3D地图。例如，可以在屏幕的一部分上显示类似于迷你地图之类的辅助图像，以显示虚拟点相关信息。

参见图8，根据本公开各种实施例的相机预览屏幕截图800可以包括对象805和迷你地图810。预览屏幕截图800可以包括在其他附图中示出的UI的一部分。

根据本公开的实施例，迷你地图810可以包括形成3D地图的多个虚拟点820和830以及连接虚拟点820和830的路径815的符号。例如，迷你地图810示出了4个不同的虚拟点、沿南北方向连接虚拟点的两条路径以及沿东西方向连接虚拟点的一条路径。电子设备可以在各路径上显示电子设备沿电子设备捕捉图像的路径移动的方向。

根据本公开的实施例，迷你地图810示出了虚拟点相关信息。例如，迷你地图810将与电子设备的当前捕捉位置相对应的当前虚拟点830显示为不同于另一虚拟点820(例如，使用不同的大小或颜色)。迷你地图810针对虚拟点显示具有特定方向(例如，向右或向东)的特定图形(例如，扇形)，例如符号835，由此指示所获得的图像(例如，对象805的图像)是通过将电子设备相对于当前位置朝向该特定方向上来捕捉到的。

根据本公开的各种实施例，迷你地图810上显示的虚拟点被显示为球形或多面体形(例如，四面体、八面体等)，以指示3D空间上在该虚拟点处获得的图像的方向、电子设备的朝向或者获得相机预览屏幕截图800的方向。根据本公开的实施例，当在与现有生成的虚拟点离开预定距离或更远的点上捕捉图像时，电子设备生成新的虚拟点。电子设备在迷你地图上显示所生成的新的虚拟点。电子设备生成将虚拟点与新的虚拟点相连的路径。电子设备可以在迷你地图上显示所生成的路径。

图9示出了根据本公开各种实施例的电子设备中在图像捕捉时显示的UI的示例。参见图9，根据本公开各种实施例的相机预览屏幕截图900可以包括对象905、捕捉焦点920、捕捉引导925以及方向引导930。预览屏幕截图900可以包括其他附图中示出的UI的一部分。捕捉焦点920指示了相机镜头朝向的方向的中心。在相对于捕捉焦点920的与要获得图像(例如，与3D地图中尚未获得的方向相对应的图像)的方向相同的方向上指示捕捉引导925。

根据本公开的实施例，当确定附加获得与右向相对应的图像时，电子设备在捕捉焦点(例如，捕捉焦点920)右侧显示捕捉引导(例如，捕捉引导925或方向引导930)，以鼓励用户移动相机。例如，如果随着用户移动相机，捕捉焦点与捕捉引导匹配，则电子设备可以自动捕捉图像。此外，如果捕捉焦点与捕捉引导匹配，则电子设备可以停止显示方向引导，并响应于针对捕捉引导的输入来捕捉图像。

图10示出了用于描述根据本公开各种实施例的电子设备中合成3D地图的处理的示例。参见图10，根据本公开各种实施例的第一3D地图1010可以包括连接多个虚拟点(例如，第一虚拟点1015、第四虚拟点1013以及第五虚拟点1017)的路径(例如，第一路径1040)。类似地，根据本公开各种实施例的第二3D地图1030可以包括连接多个虚拟点(例如，第二虚拟点1035)的路径(例如，第二路径1045)。

根据本公开各种实施例的虚拟点相关信息可以包括以下至少一项：与虚拟点相关的位置信息、与其他虚拟点相连的路径信息、与虚拟点相对应的图像集合以及与图像集合中包括的图像相关的捕捉方向信息。例如，与第五虚拟点1017相关的信息可以包括第五虚拟点1017和第一虚拟点1015之间的路径信息、指示捕捉与第五虚拟点1017相对应的图像集合中包括的每个图像的方向的捕捉方向信息1020、以及与关于第五虚拟点1017的尚未捕捉的图像所在的方向相关的未捕捉方向信息1025。

根据本公开各种实施例的电子设备通过使用与多个3D地图(例如，第一3D地图1010和第二3D地图1030)中每个3D地图中包括的虚拟点相关的信息，来生成包括这多个3D地图中每一个3D地图的至少一部分在内的新的3D地图(例如，第三3D地图1050)。电子设备生成新的虚拟点或更新至少一个现有虚拟点，以在生成新的3D地图时使用。

根据本公开的实施例，电子设备在生成新的3D地图期间，根据3D地图中包括的未被合成的虚拟点，来生成新的信息。例如，电子设备可以生成与从第一3D地图的虚拟点通过相交部分的虚拟点(例如，第三虚拟点1055)到第二3D地图的虚拟点的路径相关的路径信息。可以将通过合成与第一虚拟点1015相关的第一图像与第二虚拟点1035中包括的第二图像所获得的第三图像包括在新的3D地图中。

根据本公开的实施例，电子设备可以将与多个3D地图之间的相交点相邻的相交虚拟点合成为一个虚拟点。例如，电子设备可以生成包括与相交虚拟点相关的至少一部分信息(例如，位置信息、相关图像集合、获得相关图像集合中包括的图像的方向)在内的新的虚拟点。电子设备可以生成包括以下各项在内的第三虚拟点1055：与第一虚拟点1015相对应的图像集合和图像获得方向、与第二虚拟点1035相对应的图像集合和图像获得方向、第一路径1040以及第二路径1045。

根据本公开各种实施例的电子设备可以如下所述。

根据本公开的各种实施例，一种电子设备包括：存储器，被配置为存储图像集合；以及地图平台模块，其与存储器功能上相连并使用处理器来实现。地图平台模块被配置为：获得包括电子设备周围的外部空间上的第一路径的多个图像在内的第一图像集合；获得包括外部空间上的第二路径的多个图像在内的第二图像集合；确定第一路径和第二路径彼此重叠的点是否存在；以及如果该点存在，则通过使用第一图像集合的至少一部分和第二图像集合的至少一部分来生成针对第一路径和第二路径的3D地图。

根据本公开的各种实施例，3D地图将视图从第一图像集合的至少一些图像通过重叠点切换到第二图像集合的至少一些图像。

根据本公开的各种实施例，第一图像集合和第二图像集合中的至少一个图像集合在与该至少一个图像集合相对应的多个图像之间切换视图。

根据本公开的各种实施例，第一图像集合和第二图像集合中的至少一个图像集合包括基于与该至少一个图像集合的第一图像相对应的第一特征点以及与该至少一个图像集合的第二图像相对应的第二特征点之间的比较所生成的第一路径和第二路径中与该至少一个图像集合相对应的路径的3D信息，或者与该3D信息相关联。

根据本公开的各种实施例，地图平台模块通过合成第一图像集合的至少一部分与第二图像集合的至少一部分来生成第三图像，并通过附加地使用第三图像来生成3D地图，使得所生成的地图包括第一路径的至少一部分、第二路径的至少一部分以及重叠点。

根据本公开的各种实施例，地图平台模块基于从第一图像集合的至少一部分中识别出的第一特征点与从第二图像集合的至少一部分中识别出的第二特征点之间的比较，来生成与3D地图或3D信息的一部分相关联的至少一个3D信息。

根据本公开的各种实施例，地图平台模块捕捉针对位于第一路径上或附近的至少一个外部对象与第一视点相对应的第一图像以及针对该外部对象与第二视点相对应的第二图像，并通过使用该第一图像和该第二图像来生成与该外部对象相关的3D信息。

根据本公开的各种实施例，地图平台模块通过与电子设备功能上相连的显示器来显示与第一视点和第二视点中至少一个视点相对应的引导，并基于感测到电子设备与引导相对应的移动，通过与电子设备功能上相连的相机模块来自动捕捉与引导相对应的第一图像和第二图像中的至少一个。

根据本公开的各种实施例，第一图像集合和第二图像集合中的至少一个图像集合是从相对于电子设备的外部设备接收到的。

根据本公开的各种实施例，地图平台模块显示与3D地图相对应的图像集合中与电子设备的当前位置相对应的至少一个图像，并将视图从该至少一个图像切换到3D地图的图像集合中与电子设备的新位置相对应的图像，作为对电子设备移动的反应。

根据本公开的各种实施例，地图平台模块基于从3D地图中包括的对象识别出至少一个特征点，与3D地图相关联地生成指示对象之间边界的地图，或者作为3D地图的一部分来生成指示对象之间边界的地图。

图11是根据本公开各种实施例的电子设备中用于生成3D地图的方法的流程图。参见图11，在操作1110中，电子设备获得包括外部空间的多个图像在内的图像集合。例如，电子设备可以通过与其功能上相连的相机来捕捉图像。电子设备在捕捉图像的过程中获得与图像相对应的捕捉信息(例如，捕捉方向、捕捉位置等)。例如，电子设备可以在图像捕捉期间显示用于获得图像的引导。当连续捕捉图像时，电子设备可以基于前一图像的捕捉信息来显示用于在可以生成有效3D信息的方向上获得下一图像的引导。例如，电子设备可以从外部设备获得图像和捕捉信息。

在操作1120中，电子设备基于与图像集合中包括的图像相关的捕捉信息来生成虚拟点。例如，电子设备可以基于图像的捕捉位置信息来确定虚拟点的位置。虚拟点可被设置为具有特定半径。电子设备可以将在该半径内捕捉到的图像与虚拟点相匹配。基于与图像相关的捕捉信息，电子设备生成与图像所匹配到的虚拟点中的要素(例如，方向、海拔、距离等)相关的信息。

在操作1130中，电子设备通过使用与虚拟点相对应的图像集合中的图像来生成3D信息。例如，电子设备可以比较从图像集合中包括的第一图像中识别出的第一特征点与从第二图像中识别出的第二特征点，以使用视差信息来生成3D信息(例如，深度信息)。电子设备可以将3D信息与第一图像或第二图像相关联，或者将3D信息并入图像集合中。电子设备可以在通过使用3D信息将第一图像与第二图像加以合成所生成的第三图像中反映3D信息。

在操作1140中，电子设备生成连接信息，以允许路径上虚拟点之间的过渡。电子设备基于虚拟点的位置信息来生成虚拟点中相邻虚拟点之间的连接信息。电子设备生成与相连虚拟点相对应的图像之间的图像过渡效果，作为连接信息的至少一部分。

图12是根据本公开各种实施例的用于在电子设备中合成3D地图的方法的流程图。参见图12，在操作1210中，电子设备获得包括外部空间的第一路径的多个图像在内的第一图像集合以及包括外部空间的第二路径的多个图像在内的第二图像集合。例如，第一图像集合或第二图像集合可以形成3D地图。电子设备可以通过使用与其功能上相连的相机进行捕捉来获得第一图像集合或第二图像集合，或者从外部设备获得第一图像集合或第二图像集合。

在操作1220中，电子设备确定第一路径和第二路径之间的重叠点。例如，电子设备可以基于与第一路径和第二路径的图像相对应的至少一部分捕捉信息(例如，位置信息)来确定第一路径和第二路径之间的重叠点。

在操作1230中，电子设备生成重叠点的图像。重叠点的图像可以包括通过包括或合成与重叠点相对应的第一路径和第二路径的至少部分图像所生成的图像。例如，针对重叠点，电子设备可以基于第一路径的图像集合中包括的第一图像的特征点与第二路径的图像集合中包括的第二图像的特征点之间的比较来生成3D信息。电子设备可以将3D信息与重叠点相关联。

在操作1240中，电子设备生成包括以下各项在内的3D地图：重叠点的图像、第一路径的图像集合的至少一部分以及第二路径的图像集合的至少一部分。例如，电子设备可以生成针对连接至少部分第一路径、重叠点以及至少部分第二路径的路径的3D地图。电子设备可以生成重叠点与第一路径之间的连接信息或者重叠点与第二路径之间的连接信息。电子设备可以生成在与重叠点相对应的图像与每条路径上的点相对应的图像之间的图像过渡效果，作为连接信息的一部分。

根据本公开各种实施例的用于控制电子设备的方法可以如下所述。

根据本公开的各种实施例，一种用于控制电子设备的方法包括：在电子设备处获得包括电子设备周围的外部空间上的第一路径的多个图像在内的第一图像集合；获得包括外部空间上的第二路径的多个图像在内的第二图像集合；确定第一路径和第二路径彼此重叠的点是否存在；以及如果该点存在，则通过使用第一图像集合的至少一部分和第二图像集合的至少一部分来生成针对第一路径和第二路径的3D地图。

根据本公开的各种实施例，生成3D地图，以将视图从第一图像集合的至少一些图像通过重叠点切换到第二图像集合的至少一些图像。

根据本公开的各种实施例，获得第一图像集合和第二图像集合中的至少一个图像集合，以在与该至少一个图像集合相对应的多个图像之间切换视图。

根据本公开的各种实施例，第一图像集合和第二图像集合中的至少一个图像集合包括基于与该至少一个图像集合的第一图像相对应的第一特征点以及与该至少一个图像集合的第二图像相对应的第二特征点之间的比较所生成的第一路径和第二路径中与该至少一个图像集合相对应的路径的3D信息，或者与该3D信息相关联。

根据本公开的各种实施例，3D地图的生成包括：通过合成第一图像集合的至少一部分与第二图像集合的至少一部分来生成第三图像，并通过附加地使用第三图像来生成3D地图，使得所生成的地图包括第一路径的至少一部分、第二路径的至少一部分以及重叠点。

根据本公开的各种实施例，3D地图的生成包括：基于从第一图像集合的至少一部分中识别出的第一特征点与从第二图像集合的至少一部分中识别出的第二特征点之间的比较，来生成与3D地图或3D信息的一部分相关联的至少一个3D信息。

根据本公开的各种实施例，第一图像集合的获得包括：捕捉针对位于第一路径上或附近的至少一个外部对象与第一视点相对应的第一图像以及该外部对象与第二视点相对应的第二图像，并通过使用第一图像和第二图像来生成与该外部对象相关的3D信息。

根据本公开的各种实施例，第一图像和第二图像的获得包括：通过与电子设备功能上相连的显示器来显示与第一视点和第二视点中至少一个视点相对应的引导，并基于感测到电子设备与引导相对应的移动，通过与电子设备功能上相连的相机模块来自动捕捉与引导相对应的第一图像和第二图像中的至少一个。

根据本公开的各种实施例，第一图像集合和第二图像集合中的至少一个图像集合是从相对于电子设备的外部设备接收到的。

根据本公开的各种实施例，该方法还包括：显示与3D地图相对应的图像集合中与电子设备的当前位置相对应的至少一个图像，并将视图从该至少一个图像切换到3D地图的图像集合中与电子设备的新位置相对应的图像，作为对电子设备移动的反应。

根据本公开的各种实施例，3D地图的生成包括：基于从3D地图中包括的对象识别出至少一个特征点，与3D地图相关联地生成指示对象之间边界的地图，或者作为3D地图的一部分来生成指示对象之间边界的地图。

图13示出了根据本公开各种实施例的电子设备中用于3D地图查询的UI的示例。参见图13，根据本公开各种实施例的电子设备以各种维度的形式(例如，3D虚拟现实形式或2D平面图形式)来提供3D地图。

根据本公开各种实施例的电子设备基于电子设备的移动方向、朝向方向或位置来提供3D地图的查询屏幕。例如，电子设备可以在3D地图上显示与电子设备的位置相对应的第一虚拟点1310。电子设备可以显示例如与第一虚拟点1310相对应的2D地图。电子设备可以在2D地图上显示例如与电子设备的位置相对应的图像1321或者与电子设备的移动方向相对应的图像1323。

根据本公开各种实施例的电子设备可以在地图上显示连接多个虚拟点的接口。例如，如果对于第一虚拟点1310，存在分别连接为向北(例如，朝向紧急出口)和向东(例如，通道)的路径的虚拟点，则可以显示与向北相对应的第一连接接口1312和与向东相对应的第二连接接口1314。

根据本公开各种实施例的电子设备响应于针对接口的输入，将视图从一个虚拟点切换到另一个虚拟点。例如，电子设备可以响应于针对第二连接接口1314的输入，将视图从第一虚拟点切换到与第一虚拟点1310相连的第二虚拟点1350。

根据本公开各种实施例的电子设备在同一屏幕上显示3D地图以及与之相对应的2D地图，或者在功能上彼此相连的多个单独显示器上显示3D地图和2D地图。例如，在可穿戴设备和智能电话通过无线通信相连的环境中，可穿戴设备可以显示2D地图而智能电话可以显示3D地图。

图14示出了根据本公开各种实施例的电子设备的导航服务方法。参见图14，根据本公开各种实施例的电子设备在3D地图上显示与沿行进路径改变的每个虚拟点相对应的图像。例如，电子设备可以基于电子设备的位置信息或运动，将视图从虚拟点1410切换到另一虚拟点。

根据本公开各种实施例的电子设备基于3D地图在屏幕的至少一部分上显示通向目的地的路径的辅助地图1440。例如，辅助地图1440可以包括以下至少一项：目的地1442、从起点到目的地的路径1444、电子设备的当前位置1446以及电子设备从当前位置朝向的方向1448。

根据本公开各种实施例的电子设备确定从起点到目的地1442的距离，并显示与该距离相对应的时间轴1420。在另一示例中，电子设备可以在时间轴1420上的某位置处显示时间标记1425，其对应于电子设备在路径上的当前位置。

根据本公开各种实施例的电子设备基于电子设备从起点到目的地1442的行进路径来提供该路径的运动图像(例如，包括若干虚拟点中包括的图像之间的过渡效果在内的运动图像)。

图15示出了用于描述由根据本公开各种实施例的电子设备将3D地图转换为2D地图的处理的示例。参见图15，根据本公开各种实施例的电子设备根据3D地图1510来生成2D地图1530。电子设备基于根据3D地图1510中包括的图像所确定的3D信息，来确定图像中包括的对象之间的边界(例如，边界1512)。电子设备基于边界，根据3D地图1510来生成2D地图1530。

根据本公开各种实施例的电子设备基于与每个虚拟点相对应的图像的深度信息来确定3D地图1510上的对象之间的边界1512。例如，电子设备可以基于主对象(例如，墙壁、地板等)之间的边界1512来确定子对象(例如，转角、通道、门等)的位置。电子设备可以通过使用图像中包括的标记1515来估计3D地图1510的图像中的结构之间的距离。

例如，基于对象之间的距离、对象的方向或对象之间的角度，电子设备可以在2D地图1530上形成边界1532、结构特性1537或标记1535，以对应于3D地图1510上的边界1512、结构特性1517或标记1515。

图16示出了根据本公开各种实施例的电子设备中基于3D地图的对象识别和连接。参见图16，根据本公开各种实施例的电子设备识别3D地图1600的图像上出现的各种对象。例如，电子设备可以基于针对3D地图1600的分析来识别3D地图1600上与特定虚拟点相对应的对象(例如，电灯1610、地毯1620、洗衣机1630、清洁机器人1640等)。

根据本公开的实施例，电子设备基于3D地图1600上指示的标识符来识别对象。例如，电子设备可以识别3D地图中包括的图像上指示的标识符1635(例如，在洗衣机的正面上指示的“型号123456”)，并至少将图像中包括标识符1635在内的区域识别为对象。在另一示例中，电子设备可以从洗衣机1630或外部设备获得与标识符1635相对应的样本图像(例如，洗衣机1630的实际产品图像)。电子设备比较样本图像与3D地图1600中包括的图像，以从图像的至少一部分中确定洗衣机1630的区域。

根据本公开的实施例，电子设备确定3D地图1600上识别出的对象是否可连接。例如，电子设备可以通过发现操作来感测来自对象的通信信号存在/不存在，以确定对象是否能够进行有线/无线通信。电子设备可以基于该确定将对象分类为连接性对象或非连接性对象。如果作为发现结果，电子设备仅感测到来自洗衣机1630和清洁机器人1640的无线电通信信号，则电子设备可以将电灯1610和地毯1620分类为非连接性对象，并将洗衣机1630和清洁机器人1640分类为连接性对象。电子设备可以与被确定为非连接性对象的电灯1610和地毯1620相关地显示指示不可通信状态的第一图像1670。电子设备可以与被确定为连接性对象的洗衣机1630和清洁机器人1640相关地显示指示可通信状态的第二图像1660。

根据本公开的实施例，电子设备基于针对3D地图1600的至少一个区域的用户输入来识别对象。例如，电子设备可以基于发现信号来感测位于电子设备附近的连接性对象。电子设备可以将与感测到的连接性对象相关的信息显示为列表。电子设备接收用于将列表中示出的对象与3D地图的至少一个区域相匹配的用户输入，并将该至少一个区域识别为对象的区域(即，对象区域)。例如，电子设备可以基于清洁机器人1640的无线电信号在列表中显示清洁机器人1640。电子设备确定3D地图上的区域，该区域被用户选择为与清洁机器人1640相对应的区域，作为清洁机器人1640的识别区域。

根据本公开的实施例，电子设备与3D地图1600上识别出的对象形成连接。例如，电子设备可以通过使用有线/无线通信协议(例如，Wi-Fi、蓝牙、NFC、Zigbee等)来形成与连接性对象的连接。

根据本公开的实施例，电子设备存储并管理对象的识别信息或连接信息。例如，电子设备可以生成识别出的对象的简档并周期性更新该简档。电子设备可以通过发现来周期性地确定该对象是否能够进行有线/无线通信，并向对象的简档反映确定结果。简档可以存储在电子设备或外部设备(例如，对象相互作用服务器等)中。电子设备可以基于与对象相对应的简档来形成与对象的连接。

图17示出了根据本公开各种实施例的电子设备中基于3D地图的对象相互作用服务方法。参见图17，根据本公开各种实施例的电子设备获得与3D地图1700上出现的对象(例如，地毯1720、清洁机器人1740等)相关的信息。电子设备从电子设备、对象或外部设备(例如，对象相互作用服务器等)获得与对象相关的信息。例如，电子设备通过与清洁机器人1740形成的连接来获得与清洁机器人1740相关的信息。

根据本公开各种实施例的与对象相关的信息可以包括以下至少一项：识别信息、连接信息、控制信息、操作状态信息以及仿真信息。例如，与清洁机器人1740相关的信息可以包括诸如“产品名称：清洁机器人”、“型号：123456”、“连接状态：已连接”、“操作状态：正在充电”之类的信息。

根据本公开的实施例，电子设备以与对象相关的方式来显示与对象相关的信息。例如，电子设备可以通过针对清洁机器人1740的信息窗口1744来显示与清洁机器人1740相关的信息(例如，产品名称、型号、连接状态、操作状态等)。电子设备可以基于该信息来显示清洁机器人1740的产品图像1742。

根据本公开的实施例，电子设备基于与连接性对象相关的信息来显示针对连接性对象的接口。例如，电子设备可以基于与清洁机器人1740相关的控制信息来配置和显示控制接口1746。电子设备可以向清洁机器人1740发送与通过控制接口1746选择的功能(例如，清洁、充电、预约或电源)相对应的控制命令。

根据本公开的实施例，电子设备在3D地图1700的至少一部分上显示以下至少一些项：信息窗口1744、产品图像1742以及接口1746。

根据本公开的实施例，电子设备基于用户输入来配置与对象相关的信息。例如，如果与对象相关的至少部分信息不能通过有线/无线通信从对象获得，例如非连接性对象(例如，地毯1720)，或者如果与对象相关的至少部分信息不能找到，则电子设备可以从用户接收对与对象相关的信息的直接输入并配置与对象相关的信息。

图18示出了用于描述根据本公开各种实施例的电子设备中基于3D地图来控制对象的处理的示例。参见图18，根据本公开各种实施例的电子设备控制3D地图1800上出现的连接性对象(例如，清洁机器人1840)。电子设备基于针对连接性对象的控制信息来配置用于控制连接性对象的接口1846。电子设备向对象发送与功能相对应的命令，以执行通过该接口选择的功能。例如，电子设备可以通过接口1846来针对清洁机器人1840选择清洁命令。电子设备基于与清洁机器人1840的连接向清洁机器人1840发送与所选择的清洁命令相对应的控制命令。

根据本公开的各种实施例，电子设备基于3D地图1800来指定另一连接性对象或非连接性对象作为执行连接性对象的功能的目标。参见图18，例如，用户可以选择地毯1820作为3D地图1800上出现的清洁机器人1840的清洁功能所要执行的目标。电子设备基于与清洁机器人1840相关的控制信息以及与地毯1820相关的信息来确定清洁机器人1840的清洁功能在地毯1820上执行是否可能，作为对用户选择的反应。电子设备基于该确定向清洁机器人1840传输包括与地毯1820相关的信息在内的清洁命令。在另一示例中，电子设备可以基于与地毯1820相关的信息来确定地毯1820的位置和大小，并可以向清洁机器人1840传输包括该位置和大小在内的清洁命令作为清洁目标。

根据本公开的实施例，电子设备显示与执行对象的功能相关的图像。例如，电子设备可以显示图像(例如，图标1843)，其指示执行连接性对象的功能。电子设备可以显示图像(例如，虚线1845)，其指示将另一对象指定为要执行连接性对象的功能的目标。

根据本公开各种实施例的电子设备可以如下所述。

根据本公开的各种实施例，一种电子设备包括：存储器，被配置为存储图像集合；以及地图平台模块，其与存储器功能上相连并使用处理器来实现。地图平台模块被配置为：获得包括电子设备周围的外部空间上的路径的多个图像在内的图像集合；根据该多个图像中的至少一个图像来确定与外部空间中包括的对象相对应的区域；基于对象是否能够与电子设备进行通信连接来获得与对象相关的信息；以及通过与电子设备功能上连接的显示器以与该区域相关联的方式来显示该信息。

根据本公开的各种实施例，地图平台模块通过将第一图像和第二图像彼此切换来显示该多个图像中包括的第一图像和第二图像。

根据本公开的各种实施例，当将第一图像切换为第二图像时，地图平台模块以与第一图像或第二图像相关联的方式来显示至少一个过渡效果。

根据本公开的各种实施例，地图平台模块从该多个图像中包括的第一图像的至少一部分中识别出第一特征点，从该多个图像中包括的第二图像的至少一部分中识别出第二特征点，并基于第一特征点和第二特征点之间的比较来生成与路径相关的三维(3D)信息作为图像集合的一部分。

根据本公开的各种实施例，地图平台模块基于对象的基准图像与该至少一个图像的比较将该至少一个图像的至少一个区域确定为该区域。

根据本公开的各种实施例，地图平台模块基于对对象不能与电子设备进行通信连接的确定从外部设备和针对电子设备的用户输入中的至少一项获得该信息，并基于对对象能够与电子设备进行通信连接的确定从外部设备、用户输入或对象中的至少一项获得该信息。

根据本公开的各种实施例，地图平台模块基于对对象不能与电子设备进行通信连接的确定来获得与对象相关的以下至少一项作为该信息的至少一部分：识别信息、连接信息、控制信息、操作状态信息以及仿真信息。

根据本公开的各种实施例，地图平台模块基于控制信息来发送用于控制对象的控制信号。

根据本公开的各种实施例，地图平台模块选择用于执行对象的至少一个功能的另一个对象，并将与该另一个对象相关的信息与控制信号一起发送，或作为控制信号的至少一部分来发送。

根据本公开的各种实施例，该信息包括与对象相关的以下至少一项：识别信息、连接信息、控制信息、操作状态信息以及仿真信息。

根据本公开的各种实施例，地图平台模块基于与对象相关的控制信息，以与该区域相关联的方式来显示用于控制对象的控制接口。

根据本公开的各种实施例，地图平台模块将该信息插入3D地图中与该图像集合相对应的部分。

根据本公开的各种实施例，地图平台模块被配置为响应于来自外部设备的针对电子设备的请求向外部设备发送该信息。

图19是根据本公开各种实施例的电子设备中显示与自3D地图中的对象相关的信息的方法的流程图。参见图19，在操作1910中，电子设备获得外部空间上的路径的图像集合。图像集合可以是3D地图。电子设备从与电子设备功能上相连的相机或从外部设备获得图像集合。

在操作1920中，电子设备从图像集合中包括的图像中识别出与外部空间中包括的对象相对应的区域。例如，电子设备可以分析图像，以确定图像中对象和背景之间的边界。电子设备可以比较对象的样本图像和该图像，以从该图像中确定与对象相对应的区域。

在操作1930中，电子设备确定是否可以与该区域相对应的对象进行通信连接。例如，电子设备可以基于从对象发送的广播信号来确定与对象的通信连接是否可能。如果在感测来自对象的与通信连接相关的信号时失败或者如果根据与通信连接相关的信号确定电子设备和对象之间的通信连接不可能，则电子设备可以确定对象是非连接性对象。如果根据信号确定对象能够与电子设备进行通信连接，则电子设备可以将对象确定为连接性对象。

在操作1940中，如果确定对象被确定为连接性对象，则电子设备形成与连接性对象的连接。例如，电子设备可以与连接性对象直接形成通信连接，或者可以通过具有针对连接性对象的连接信息的外部设备(例如，服务器)形成与连接性对象的连接。

在操作1945中，电子设备获得与连接性对象相关的信息。电子设备从用户输入、从外部设备或者连接性对象获得该信息。

在操作1950中，如果对象被确定为非连接性对象，则电子设备获得与非连接性对象相关的信息。电子设备从用户输入或外部设备获得该信息。

在操作1960中，电子设备显示与对象相关的信息。该信息可以包括与对象相关的以下至少一项：识别信息、连接信息、控制信息、操作状态信息以及仿真信息。例如，电子设备可以基于与对象相关的信息，以与图像集合相关联的方式来显示对象的名称、图像、连接状态或用于功能控制的接口。

图20是根据本公开各种实施例的电子设备中用于控制3D地图中的对象的方法的流程图。参见图20，在操作2010中，电子设备执行3D地图上出现的连接性对象的功能。例如，电子设备可以从用于控制连接性对象的接口获得针对特定功能的执行命令。

在操作2020中，电子设备确定连接性对象是否处于能够执行该特定功能的状态下。例如，电子设备可以从连接性对象接收与连接性对象是否能够执行该特定功能相关的信息。

在操作2030中，如果连接性对象处于不能执行该特定功能的状态下，则电子设备对该特定功能的执行进行仿真。电子设备基于连接性对象的仿真信息来仿真该特定功能。电子设备可以在3D地图的至少一部分上显示通过仿真所生成的效果。

在操作2040中，如果连接性对象处于能够执行该特定功能的状态，则电子设备确定该特定功能是否以另一对象为目标。例如，电子设备可以从针对连接性对象的接口接收将另一对象选择为该特定功能的目标的选择。

在操作2050中，如果将另一对象选择为该特定功能的目标，则电子设备向连接性对象传输与该另一对象相关的信息。例如，电子设备可以向连接性对象发送与该另一对象相关的信息的至少一部分。电子设备可以通过控制信号来至少发送与该另一对象相关的信息中为了执行该特定功能所必需的部分。

在操作2060中，电子设备发送用于执行该特定功能的控制信号。电子设备基于与连接性对象相关的控制信息来生成用于执行该特定功能的控制信号。例如，电子设备可以向连接性对象发送控制信号。在另一示例中，电子设备可以向具有针对连接性对象的连接信息的外部设备发送控制信号。

图11、12、19和20中所示的处理或方法中包括的操作(例如，操作1110到1140、1210到1240、1910到1960或2110到2060)可以按顺序、并行、重复或启发式方式来执行。此外，这些操作中的一些可以按不同顺序执行或者被省略，或者可以具有附加的不同操作。

根据本公开各种实施例的用于控制电子设备的方法可以如下所述。

根据本公开的各种实施例，一种用于控制电子设备的方法包括：在电子设备处获得包括电子设备周围的外部空间上的路径的多个图像在内的图像集合；根据该多个图像中的至少一个图像来确定与外部空间中包括的对象相对应的区域；基于对象是否能够与电子设备进行通信连接来获得与对象相关的信息；以及通过与电子设备功能上连接的显示器以与该区域相关联的方式来显示该信息。

信息的显示包括：通过将第一图像和第二图像彼此切换来显示该多个图像中包括的第一图像和第二图像。

通过将第一图像和第二图像彼此切换来显示第一图像和第二图像包括：当将第一图像切换为第二图像时，以与第一图像或第二图像相关联的方式来显示至少一个过渡效果。

图像集合的获得包括：从该多个图像中包括的第一图像的至少一部分中识别出第一特征点，从该多个图像中包括的第二图像的至少一部分中识别出第二特征点，以及基于第一特征点和第二特征点之间的比较来生成与路径相关的三维(3D)信息作为图像集合的一部分。

对区域的确定包括：基于对象的基准图像与该至少一个图像的比较将该至少一个图像的至少一个区域确定为该区域。

图像集合的获得包括：基于对对象不能与电子设备进行通信连接的确定从外部设备和针对电子设备的用户输入中的至少一项获得该信息，并基于对对象能够与电子设备进行通信连接的确定从外部设备、用户输入或对象中的至少一项获得该信息。

该信息包括与对象相关的以下至少一项：识别信息、连接信息、控制信息、操作状态信息以及仿真信息。

该方法还包括：基于控制信息来发送用于控制对象的控制信号。

控制信号的发送包括：选择用于执行对象的至少一个功能的另一个对象，并将与该另一个对象相关的信息与控制信号一起发送，或作为控制信号的至少一部分来发送。

该方法还包括：基于与对象相关的仿真信息来仿真对象的功能，以及以与该多个图像中至少一个图像相关联的方式来显示由于仿真要对对象施加的虚拟效果或者要对外部空间施加的虚拟效果。

信息的显示包括：基于与对象相关的控制信息，以与该区域相关联的方式来显示用于控制对象的控制接口。

该方法还包括：将该信息插入3D地图中与该图像集合相对应的部分。

该方法还包括：响应于来自外部设备的针对电子设备的请求，向外部设备发送该信息。

图21示出了根据本公开各种实施例的电子设备的灾难地图服务方法。参见图21，根据本公开各种实施例的电子设备在灾难发生时显示与周围环境相关的3D地图2100。电子设备在3D地图上确定并显示灾难发生位置2110。当灾难发生时，电子设备基于3D地图来确定和显示从当前位置通向最近紧急出口的路径。

根据本公开的实施例，如果感测到在通向紧急出口的路径上发生灾难，则电子设备确定绕过该灾难发生位置的另一路径。例如，电子设备可以确定由于灾难发生位置2110而导致难以接近紧急出口2115，并基于该确定来显示绕过灾难发生位置2110的路径。在另一示例中，电子设备可以显示通向难以接近的紧急出口2115之外的另一紧急出口(例如，紧急出口2160)的路径2120。

根据本公开的实施例，电子设备显示与通向紧急出口的路径相关的信息。例如，电子设备可以基于3D地图以与路径2120相关的方式来显示与通向紧急出口的路径2120相关的信息2130。与路径相关的信息可以包括以下至少一项：路径的描述、到紧急出口的剩余距离、到紧急出口的剩余时间以及路径上需要注意的部分。

根据本公开的各种实施例，基于针对灾难的3D地图2100，电子设备显示与3D地图2100相对应的2D地图2140。例如，电子设备可以将3D地图2100上的灾难发生位置2110、难以接近的紧急出口2115和通向另一紧急出口(例如，紧急出口2160)的路径2120分别匹配到2D地图2140上的灾难发生位置2170、难以接近的紧急出口2150和通向另一紧急出口2160的路径2190。例如，电子设备可以在2D地图2140上指示电子设备的当前位置，并提供对电子设备的行进方向的指示2180。

图22示出了根据本公开各种实施例的电子设备中的地图共享服务方法。参见图22，根据本公开各种实施例的电子设备与另一电子设备(例如，电子设备440)共享3D地图。例如，电子设备可以向另一电子设备(例如，由名为“汤姆”的用户2210所拥有的电子设备)发送与3D地图2200相关的数据。与3D地图2200相关的数据可以包括以下至少一项：紧急出口2240的位置、紧急出口2240周围的3D内部结构以及与3D地图上能够发送消息的对象(例如，扬声器2220)相关的信息。

根据本公开各种实施例的另一电子设备(例如，名为“汤姆”的用户2210的电子设备)基于该另一电子设备的视点来提供对共享的3D地图数据的至少一部分的指示2250。例如，该指示可以包括以下至少一项：显示所接收的3D地图数据以及显示使用所接收的3D地图数据的至少一部分来处理的新3D地图(例如，由地图平台模块合成的3D地图)。

根据本公开各种实施例的电子设备与另一电子设备(例如，电子设备440)共享位置信息。电子设备向另一电子设备发送针对位置信息的请求，并接收响应于该请求的与该另一电子设备相关的位置信息。电子设备基于该位置信息在3D地图上显示该另一电子设备的位置。例如，电子设备可以基于与该另一电子设备(例如，名为“汤姆”的用户2210的电子设备)相关的位置信息，在3D地图上指示该另一电子设备的位置(例如，人形图像或用户名字)。

根据本公开各种实施例的电子设备基于与另一电子设备共享的3D地图数据或位置信息向该另一电子设备(例如，电子设备440)提供信息。例如，电子设备可以控制3D地图2200上出现的扬声器2220。电子设备可以通过扬声器2220向用户(例如，名为“汤姆”的用户2210)发送消息2230(例如，鼓励另一电子设备的用户来到最近紧急出口的语音消息)。例如，电子设备可以通过使用共享的3D地图数据和位置信息，确定从名为“汤姆”的用户2210的位置到紧急出口2240的路径2260。电子设备可以向另一电子设备提供或显示路径2260。

根据本公开实施例的电子设备和方法可以通过电子设备使用图像以及与图像相对应的各种信息来生成各种形式的地图。此外，可以通过合成在各种环境中生成的地图以累积大量地图信息来生成新地图，且新地图可被扩展为各种形式的地图信息。根据本公开实施例的电子设备和方法可以用各种方式来获得与地图上出现的对象相关的信息。此外，可用各种方式来识别和控制地图上出现的对象。

计算机可读记录介质包括存储和执行程序命令的以下各项：诸如硬盘、软盘或磁带之类的磁介质，诸如高密度盘只读存储器(CD-ROM)或数字多功能盘(DVD)之类的光介质，诸如光磁软盘之类的磁光介质，以及诸如ROM、RAM、闪存之类的硬件器件。此外，程序指令包括由编译器创建的机器语言代码以及可由计算机使用解释器来执行的高级语言代码。前述硬件设备可被配置为作为用以执行执行本公开的操作的至少一个软件模块进行操作，或反之亦然。

根据本公开各种实施例的存储介质可以如下所述。

根据各种实施例，在存储介质中存储有命令，该命令被设置为在由至少一个处理器执行时使该至少一个处理器执行至少一个操作，该至少一个操作包括：获得包括电子设备周围的外部空间上的路径的多个图像在内的图像集合；根据该多个图像中的至少一个图像来确定与外部空间中包括的对象相对应的区域；基于对象是否能够与电子设备进行通信连接来获得与对象相关的信息；以及通过与电子设备功能上连接的显示器以与该区域相关联的方式来显示该信息。

根据各种实施例，在存储介质中存储有命令，该命令被设置为在由至少一个处理器执行时使该至少一个处理器执行至少一个操作，该至少一个操作包括：获得包括电子设备周围的外部空间上的第一路径的多个图像在内的第一图像集合；获得包括外部空间上的第二路径的多个图像在内的第二图像集合；确定第一路径和第二路径彼此重叠的点是否存在；以及如果该点存在，则通过使用第一图像集合的至少一部分和第二图像集合的至少一部分来生成针对第一路径和第二路径的3D地图。

根据本公开各种实施例的模块或编程模块可以包括前述要素中的一项或多项，将前述要素中的一些加以省略，或者还包括附加的其它要素。由模块、编程模块或其他元件执行的操作可以按顺序、并行、重复或启发式方式来执行。此外，这些操作中的一些可以按不同顺序来执行或者被省略，或者可以具有附加的不同操作。本文公开的实施例用于描述和理解所公开的技术主题，而并非意在限制本公开的范围。因此，应当理解，本公开的范围包括基于本公开的技术精神的任何改变或其他各种实施例。

根据前面的描述将清楚，根据本公开各种实施例的电子设备和方法可以用各种方式获得与地图上出现的对象相关的信息。此外，可以使用各种方法来识别和控制这些对象。

本领域普通技术人员可以在不脱离本公开的范围的情况下对本公开做出形式或细节上的各种改变，且本公开不限于上述实施例和附图。

本公开的上述实施例可以用硬件、固件来实现，或通过执行可以存储在记录介质(例如，CD ROM、数字多功能盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码或者通过网络从原来存储在远程记录介质或非瞬时机器可读介质中下载并要存储在本地记录介质中的计算机代码来实现，使得本文描述的方法可以使用通用计算机或专用处理器或在可编程或专用硬件(例如，ASIC或FPGA)中经由存储在记录介质上的这种软件来呈现。本领域技术人员应理解，计算机、处理器、微处理器、控制器或者可编程硬件包括存储器组件，例如RAM、ROM、闪存等，其可以存储或接收软件或计算机代码，该软件或计算机代码在由计算机、处理器或硬件访问并执行时实现本文描述的处理方法。此外，应认识到，当通用计算机访问用于实现本文所示处理的代码时，对代码的执行将通用计算机变换为用于执行本文所示处理的专用计算机。

附图中提供的任何功能和步骤可以用硬件来实现，或者用配置有机器可执行代码的组合硬件来实现，且可以完全或部分地在计算机的编程指令内执行。除非使用术语“用于...的装置”来明确描述要素，否则本文权利要求中的要素不应按35U.S.C.112第六款来解释。

Claims (17)

1.一种用于控制电子设备的方法，所述方法包括：

获得与所述电子设备周围的外部空间中的第一位置相对应的第一多个图像和与所述外部空间中的第二位置相对应的第二多个图像；

当第一多个图像的第一捕捉时间与第二多个图像的第二捕捉时间之间的差异小于预定值时，基于第一多个图像和第二多个图像生成所述外部空间的三维3D地图；

当所述差异等于或大于所述预定值时，用第一多个图像或第二多个图像覆写先前存储的图像数据；

在所述3D地图中识别与第一对象相对应的区域和与第二对象相对应的另一区域；

确定所述第一对象和所述第二对象各自是否能够与所述电子设备通信连接；

当确定所述第一对象能够与所述电子设备通信连接时，连接到所述第一对象以获得关于所述第一对象的信息；以及

基于关于所述第一对象的信息，在显示器上显示所述第一对象的识别信息、用于指示所述第一对象是否能够与所述电子设备通信的指示符、用于控制所述第一对象的控制接口以及所述第一对象的操作状态信息中的至少一项。

2.根据权利要求1所述的方法，其中，所述显示包括：通过切换第一多个图像或第二多个图像中包括的第一图像和第二图像来显示所述第一图像和所述第二图像，

其中，切换第一图像和第二图像来显示所述第一图像和所述第二图像包括：

当切换第一图像和第二图像时，显示与所述第一图像或所述第二图像相对应的至少一个过渡效果。

3.根据权利要求1所述的方法，其中，所述获得第一多个图像和第二多个图像包括：

从第一多个图像或第二多个图像中包括的第一图像的至少一部分中识别出第一特征点；

从第一多个图像或第二多个图像中包括的第二图像的至少一部分中识别出第二特征点；以及

基于所述第一特征点和所述第二特征点之间的比较来生成与对应于所述外部空间的路径相关的3D信息。

4.根据权利要求1所述的方法，其中，基于所述第一对象和所述第二对象的基准图像，来识别与所述第一对象相对应的区域和与所述第二对象相对应的另一区域。

5.根据权利要求1所述的方法，其中，所述获得关于所述第一对象的信息包括：

基于确定所述对象不能与所述电子设备进行通信连接，从外部设备和针对所述电子设备的用户输入中的至少一项获得关于所述第一对象的信息；以及

基于确定所述对象能够与所述电子设备进行通信连接，从所述外部设备、所述用户输入或所述对象中的至少一项获得关于所述第一对象的信息。

6.根据权利要求1所述的方法，还包括：基于所述第一对象的控制信息来发送用于控制所述第一对象的控制信号，

其中，所述发送包括：

在所述区域中选择不同于所述第一对象的另一对象；以及

将与所述另一对象相关的信息与所述控制信号一起发送或者作为所述控制信号的至少一部分发送，以控制所述第一对象针对所述另一对象执行至少一个功能。

7.根据权利要求1所述的方法，还包括：

基于所述第一对象的仿真信息来仿真所述第一对象的功能；以及

显示由于所述仿真而要对所述第一对象施加的虚拟效果或者要对所述外部空间施加的虚拟效果。

8.根据权利要求1所述的方法，还包括：将关于所述第一对象的信息插入所述外部空间的3D地图的一部分中；以及

将所述3D地图转换为二维地图。

9.根据权利要求1所述的方法，还包括：向外部设备发送关于所述第一对象的信息。

10.一种电子设备，包括：

存储器，被配置为存储图像集合；以及

处理器，与所述存储器功能上相连，并且被配置为：

获得与所述电子设备周围的外部空间中的第一位置相对应的多个第一图像和与所述外部空间中的第二位置相对应的第二多个图像；

当第一多个图像的第一捕捉时间与第二多个图像的第二捕捉时间之间的差异小于预定值时，基于第一多个图像和第二多个图像生成所述外部空间的三维3D地图；

当所述差异等于或大于所述预定值时，用第一多个图像或第二多个图像覆写先前存储的图像数据；

在所述3D地图中识别与第一对象相对应的区域和与第二对象相对应的另一区域；

确定所述第一对象和所述第二对象各自是否被配置为能够与所述电子设备通信连接；

当确定所述第一对象能够与所述电子设备通信连接时，连接到所述第一对象以获得关于所述第一对象的信息；以及

基于关于所述第一对象的信息，在显示器上显示所述第一对象的识别信息、用于指示所述第一对象是否能够与所述电子设备通信的指示符、用于控制所述第一对象的控制接口以及所述第一对象的操作状态信息中的至少一项。

11.根据权利要求10所述的电子设备，其中，所述处理器被配置为：通过切换第一多个图像或第二多个图像中的第一图像和第二图像来显示所述第一图像和所述第二图像，

其中，所述处理器被配置为：当切换第一图像和第二图像时，显示与所述第一图像或所述第二图像相对应的至少一个过渡效果。

12.根据权利要求10所述的电子设备，其中，所述处理器被配置为：从第一多个图像或第二多个图像中包括的第一图像的至少一部分中识别出第一特征点；从第一多个图像或第二多个图像中包括的第二图像的至少一部分中识别出第二特征点；以及基于所述第一特征点和所述第二特征点之间的比较来生成与对应于所述外部空间的路径相关的3D信息。

13.根据权利要求10所述的电子设备，其中，所述处理器被配置为：基于所述第一对象和所述第二对象的基准图像，来识别与所述第一对象相对应的区域和与所述第二对象相对应的另一区域。

14.根据权利要求10所述的电子设备，其中，所述处理器被配置为：基于确定所述对象不能与所述电子设备进行通信连接，从外部设备和针对所述电子设备的用户输入中的至少一项获得关于所述第一对象的信息；以及基于确定所述对象能够与所述电子设备进行通信连接，从所述外部设备、所述用户输入或所述对象中的至少一项获得关于所述第一对象的信息。

15.根据权利要求10所述的电子设备，其中，所述处理器被配置为：基于所述第一对象的控制信息来发送用于控制所述第一对象的控制信号，

其中，所述处理器被配置为：在所述区域中选择不同于所述第一对象的另一对象，并将与所述另一对象相关的信息与所述控制信号一起发送或者作为所述控制信号的至少一部分发送，以控制所述第一对象针对所述另一对象执行至少一个功能。

16.根据权利要求10所述的电子设备，其中，所述处理器被配置为：将关于所述第一对象的信息插入所述外部空间的3D地图的一部分中，并将所述3D地图转换为二维地图。

17.根据权利要求10所述的电子设备，其中，所述处理器被配置为：向外部设备发送关于所述第一对象的信息。

Images