CN111161144A - 全景图获取方法、全景图获取装置及存储介质 - Google Patents

Abstract

一种全景图获取方法、全景图获取装置及存储介质。该全景图获取方法包括：获取全景图获取指令；响应于该全景图获取指令，向图像捕获装置输出捕获指令；从该图像捕获装置接收在第一位置所获取的全景图；以及响应于该全景图的接收，输出第一提示信号。该第一提示信号为语音提示信号，或者该第一提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。该全景图获取方法可以提高用户体验并提高采集信息的准确度。

Description

全景图获取方法、全景图获取装置及存储介质

技术领域

本公开的实施例涉及一种全景图获取方法及全景图获取装置。

背景技术

在三维对象的建模过程中，需要人工操作环境传感器实地获取三维空间的环境信息，例如终端采集的位置信息和全景图信息等。人机交互方式对于用户体验以及采集信息的准确度具有重要影响。

发明内容

本公开至少一实施例提供一种全景图获取方法，包括：获取全景图获取指令；响应于所述全景图获取指令，向图像捕获装置输出捕获指令；从所述图像捕获装置接收在第一位置所获取的全景图；以及响应于所述全景图的接收，输出第一提示信号。所述第一提示信号为语音提示信号，或者所述第一提示信号用于向提示装置输出，以使得所述提示装置输出终端提示信号。

在一些示例中，所述提示装置包括可穿戴设备。

在一些示例中，所述全景图获取方法还包括：在所述获取全景图获取指令前，响应于所述图像捕获装置与移动终端的连接，输出第二提示信号，所述第二提示信号用于提示将所述图像捕获装置移动至所述第一位置以在所述第一位置获取全景图。

在一些示例中，所述全景图获取方法还包括：响应于所述图像捕获装置的移动，输出第三提示信号，所述第三提示信号用于提示用户输入所述全景图获取指令。

在一些示例中，所述全景图获取方法还包括：响应于所述全景图获取指令，还输出第四提示信号，所述第四提示信号用于提示所述图像捕获装置即将开始获取所述全景图。

在一些示例中，所述第四提示信号为倒计时信号。

在一些示例中，所述全景图获取方法还包括：响应于所述第四提示信号的结束，输出第五提示信号，所述第五提示信号用于提示所述图像捕获装置正在获取所述全景图。

在一些示例中，所述全景图获取方法还包括：获取所述第一位置的位置信息，以得到包括所述位置信息的所述第一位置的全景图。

在一些示例中，所述第一提示信号用于提示将所述图像捕获装置移动至第二位置以获取所述第二位置的全景图。

在一些示例中，所述全景图获取方法还包括：在所述图像捕获装置移动的过程中，记录移动轨迹。

在一些示例中，当检测到移动轨迹出现异常，所述方法还包括触发第六提示信号，所述第六提示信号用于提示改变所述图像捕获装置的移动速度或移动轨迹。

在一些示例中，所述图像捕获装置由第三位置移动至所述第一位置，所述方法还包括：在所述获取全景图获取指令前，响应于所述图像捕获装置的移动，输出第七提示信号，所述第七提示信号用于提示用户输入所述全景图获取指令。

本公开至少一实施例还提供一种建模方法，该建模方法包括输出提示信号，接收基于该提示信号所进行的用户操作，以使得至少一个移动终端在三维空间内的第一位置获取该第一位置的位置信息和该三维空间的图像信息；该提示信号允许用户与该至少一个移动终端进行间接交互操作或语音交互操作。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应图像捕获装置与移动终端的连接，输出初始化提示信号，该初始化提示信号用于提示将所述图像捕获装置移动至第一位置以获取该第一位置的全景图，该初始化提示信号包括语音提示信号，或者该初始化提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应于图像捕获装置的移动，输出用户操作提示信号，该用户操作提示信号用于提示用户输入全景图获取指令，该用户操作提示信号包括语音提示信号，或者该用户操作提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

在一些示例中，该方法还包括响应于该开始提示信号的结束，输出工作提示信号(本公开实施例中第五提示信号的一个示例)，该工作提示信号用于提示该图像捕获装置正在获取所述全景图，该工作提示信号包括语音提示信号，或者该提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

本公开至少一实施例还提供一种全景图获取方法，该方法包括当检测到该图像捕获装置的移动出现异常，触发轨迹异常提示信号(本公开实施例中第六提示信号的一个示例)，所述轨迹异常提示信号用于提示改变所述图像捕获装置的移动速度或移动轨迹，该轨迹异常提示信号包括语音提示信号，或者该轨迹异常提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应于全景图获取指令，输出开始提示信号，该开始提示信号用于提示该图像捕获装置即将开始获取所述全景图，该开始提示信号包括语音提示信号，或者该开始提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。例如，该开始提示信号为倒计时提示信号。

本公开至少一实施例还提供一种全景图获取装置，包括：指令获取单元，配置为获取全景图获取指令；指令输出单元，配置为响应于所述全景图获取指令，向图像捕获装置输出捕获指令；图像接收单元，配置为从所述图像捕获装置接收在第一位置所获取的全景图；以及信号输出单元，配置为响应于所述全景图的接收，输出第一提示信号，其中，所述第一提示信号包括语音用于向提示装置输出，以使得所述提示装置输出终端提示信号。

在一些示例中，所述信号输出单元还配置为响应于所述图像捕获装置与移动终端的连接，输出第二提示信号，所述第二提示信号用于提示将所述图像捕获装置移动至所述第一位置以在所述第一位置获取全景图。

在一些示例中，所述信号输出单元还配置为响应于所述图像捕获装置的移动，输出第三提示信号，所述第三提示信号用于提示用户输入所述全景图获取指令。

在一些示例中，所述信号输出单元还配置为响应于所述全景图获取指令，还输出第四提示信号，所述第四提示信号用于提示所述图像捕获装置即将开始获取所述全景图。

在一些示例中，所述装置还包括：轨迹记录单元，配置为在移动过程中记录移动轨迹。

在一些示例中，所述信号输出单元还配置为响应于所述移动轨迹的异常，输出第五提示信号。

本公开至少一实施例还提供一种全景图获取装置，包括：处理器；存储器，包括计算机程序指令。所述计算机程序指令被存储在所述存储器中并被配置为由所述处理器执行，所述计算机程序指令包括用于实现上述全景图获取方法的指令。

本公开至少一实施例还提供一种存储介质，非暂时性地存储有计算机程序指令，当所述计算机程序指令由计算机执行时可以实现上述全景图获取方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开至少一实施例提供的一种全景图获取方法的应用场景图之一；

图2为本公开至少一实施例提供的一种全景图获取方法的流程图；

图3为本公开至少一实施例提供的一种全景图获取方法的应用场景图之二；

图4为本公开至少一实施例提供的一种二维户型的示意图；

图5为本公开至少一实施例提供的另一种全景图获取方法的流程图；

图6为本公开至少一实施例提供的一种全景图获取系统的示意图；

图7为本公开至少一实施例提供的一种全景图获取装置的示意框图；

图8为本公开至少一实施例提供的另一种全景图获取装置的示意框图；

图9为本公开至少一实施例提供的又一种全景图获取装置的结构示意图；以及

图10为本公开至少一实施例提供的一种存储介质的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

发明人发现，在进行三维空间重建时，首先要采集三维空间信息，例如采集三维空间的全景图像、终端采集的位置信息等。例如，在一种实施方式中，通过将移动终端和全景相机固定在支架上进行拍摄，因为移动终端固定在支架上，用户需要时刻关注应用程序(APP)界面反馈的文案信息，来完成各个拍摄点的拍摄，拍摄体验较差。又例如，三维重建涉及到通过同步定位与建图(Simultaneous Localization And Mapping，SLAM)技术获得定位信息等，而SLAM技术对移动速度及移动轨迹都非常敏感，移动过程中的移动速度及轨迹的选取都会对采集数据的准确性产生较大影响，因此在移动过程中及时得到反馈很重要，而在移动过程中对移动终端上的APP提示的文案信息进行查看或进行相应操作极为不便。还例如，移动终端的设定角度为其获取拍摄点的定位信息的重要因素，直接对APP进行操作可能引起移动终端的移动而造成角度的偏移，从而影响采集信息的准确度。

全景图，又称为3D实景，是基于实景照片，通过拼合、处理以合成视点图像，从而使用户产生置身于画境之中的感觉，是用于三维建模的重要信息。通常会结合图像捕获装置所获取的全景图以及移动终端所获取的拍摄点的定位信息进行三维建模。例如，该图像捕获装置包括全景相机(如球幕相机)，该移动终端包括具有能够通过SLAM技术获取定位信息的定位装置，例如实现为手机。例如，该拍摄点的位置信息可以通过获取环境的视频流信息获取。

在另一些示例中，该全景图及定位信息也可以均由图像捕获装置获取，或者均由移动终端获取，本公开实施例对此不作限制。

本公开至少一实施例提供一种全景图获取方法，该方法包括获取全景图获取指令；响应于该全景图获取指令，向图像捕获装置输出捕获指令；从该图像捕获装置接收在第一位置所获取的全景图；以及响应于该全景图的接收，输出完成提示信号(本公开实施例中第一提示信号的一个示例)，该完成提示信号包括语音提示信号，或者该完成提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

例如，该完成提示信号用于提示该图像捕获装置已经完成拍摄，例如提示用户可以将该图像捕获装置移动至下一位置(拍摄点)以获取下一位置的全景图。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应图像捕获装置与移动终端的连接，输出初始化提示信号，该初始化提示信号用于提示将所述图像捕获装置移动至第一位置以获取该第一位置的全景图，该初始化提示信号包括语音提示信号，或者该初始化提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

例如，该方法应用于该图像捕获装置的初始化阶段，在该初始化阶段，例如该图像捕获装置与该移动终端建立通信连接，从而发出初始化提示信号，提示用户可以将该图像捕获装置移动至拍摄点开始采集该拍摄点的信息。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应于图像捕获装置的移动，输出用户操作提示信号，该用户操作提示信号用于提示用户输入全景图获取指令，该用户操作提示信号包括语音提示信号，或者该用户操作提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

例如，当检测到该图像捕获装置已移动至拍摄点，输出该用户操作提示信号，提示该图像捕获装置已经处于准备状态，用户可以输入捕获指令。

本公开至少一实施例还提供一种全景图获取方法，该方法包括响应于全景图获取指令，输出开始提示信号，该开始提示信号用于提示该图像捕获装置即将开始获取所述全景图，该开始提示信号包括语音提示信号，或者该开始提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。例如，该开始提示信号为倒计时提示信号。

例如，用户获知该开始提示信号可以及时避开以避免出现在正在进行拍摄的图像捕获装置的视野中。

例如，该方法还包括响应于该开始提示信号的结束，输出工作提示信号(本公开实施例中第五提示信号的一个示例)，该工作提示信号用于提示该图像捕获装置正在获取所述全景图，该工作提示信号包括语音提示信号，或者该提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

例如，该图像捕获装置的拍摄工作需要一定时间以进行照片的合成与传输等工作，在此期间移动该图像捕获装置会对图像数据造成不利影响，基于该工作提示信号用户可以避免移动该图像捕获装置。

本公开至少一实施例还提供一种全景图获取方法，该方法包括当检测到该图像捕获装置的移动出现异常，触发轨迹异常提示信号(本公开实施例中第六提示信号的一个示例)，所述轨迹异常提示信号用于提示改变所述图像捕获装置的移动速度或移动轨迹，该轨迹异常提示信号包括语音提示信号，或者该轨迹异常提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。

例如，由于在图像捕获装置从一个拍摄点移动至下一拍摄点的过程中，需要对轨迹进行记录以准确地定位。移动过快会导致视频流信息缺少连续性，特征点匹配不上，从而造成轨迹的丢失；移动轨迹选取不当会导致特征点过少而造成轨迹的丢失。用户可以基于该轨迹异常提示信号及时找回轨迹，提高拍摄效率。

在本公开实施例提供的全景图获取方法中，用户不需要对移动终端的APP界面直接查看或时刻关注而获得该提示信号，例如实时地获得该轨迹异常提示信号。这使得用户操作更为便利，提升了用户体验；同时可以降低采集信息过程中的误差，提高了信息的准确度。

本公开至少一实施例还提供一种建模方法，该建模方法包括输出提示信号，接收基于该提示信号所进行的用户操作，以使得至少一个移动终端在三维空间内的第一位置获取该第一位置的位置信息和该三维空间的图像信息；该提示信号允许用户与该至少一个移动终端进行间接交互操作或语音交互操作。用户不需要直接查看该移动终端获得该提示信号。例如，该提示信号可以包括语音提示信号，或者该提示信号通过外接装置提供给用户。

在本公开实施例提供的建模方法中，用户不需要对移动终端的APP界面直接查看或时刻关注而获得该提示信号，例如实时地获得该提示信号。这使得用户操作更为便利，提升了用户体验；同时可以降低采集信息过程中的误差，提高了信息的准确度。

下面结合附图对本公开的实施例及其示例进行详细说明。以下实施例均以通过图像捕获装置获取全景图、通过移动终端获取拍摄点的位置信息为例进行说明，然而本公开实施例对此不作限制。

图1为本公开至少一实施例提供的移动终端与图像捕获装置示意图。如图1所示，该移动终端10与该图像捕获装置20固定于同一支架上相对靠近的位置，且具有固定的相对设置角度。例如，该图像捕获装置20固定于该支架的顶部以获取较佳的视野，该移动终端10固定于该支架的中部。该图像捕获装置10与该移动终端20配置为彼此通信连接。例如，该移动终端20可以通过无线连接与该图像捕获装置20或其它设备以及网络进行通信，该网络例如为因特网、内部网和/或诸如蜂窝电话网络之类的无线网络、无线局域网(LAN)和/或城域网(MAN)。无线通信可以使用多种通信标准、协议和技术中的任何一种，包括但不局限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi(例如基于IEEE 802.11a、IEEE 802.11b、IEEE802.11g和/或IEEE 802.11n标准)、基于因特网协议的语音传输(VoIP)、Wi-MAX，用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议，或任何其他合适的通信协议。

例如，该图像捕获装置20为全景相机，该移动终端为具有定位功能的定位装置，例如手机等移动设备。在整个拍摄过程中，将支架放置在一个空间中的一个位置点进行拍摄并定位，然后移动该支架以将该移动终端和该图像捕获装置一起移动至该空间中的下个位置点或者下个空间的下个位置点，重复上述操作，直至完成整个空间环境信息的获取。

图2为本公开至少一实施例提供的一种全景图获取方法的一个示例的流程图。该方法示例性地描述了在该图像捕获装置的初始化过程以及在第一个位置点进行全景图获取的情形。如图2所示，该全景图获取方法包括步骤S110-S190。

步骤S110：响应于图像捕获装置与移动终端的连接，输出初始化提示信号(本公开实施例的第二提示信号的一个示例)，该初始化提示信号用于提示将图像捕获装置移动至第一位置以在第一位置获取全景图。

例如，在初始化阶段，将图像捕获装置与移动终端进行通信连接，例如通过Wi-Fi无线通信连接。当移动终端检测到与该图像捕获装置连接成功，触发该初始化提示信号，该初始化提示信号用于提示将图像捕获装置移动至第一位置以在第一位置获取全景图。

该初始化提示信号均可以包括语音提示信号，或者该初始化提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。例如该初始化提示信号的内容为“请向前移动支架”。

需要说明的是，本公开实施例的人机交互的信号的名称或内容仅用于说明性的目的，而并不是用于对这些信号的范围进行限制。

例如，本实施例以下各步骤以及本公开以下各实施例中移动终端输出的各提示信号均可以包括语音提示信号，或者该提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。例如该终端提示信号可以包括语音提示信号或文本提示信号，或者同时包括语音提示信号或文本提示信号。本公开实施例对该终端提示信号的形式不作限制。例如，该语音提示信号通过扬声器以声音形式提供给用户，例如通过移动终端中的扬声器或提示装置中的扬声器输出给用户。以下各实施例与此相同，不再赘述。

例如，该提示装置包括可穿戴设备，该可穿戴设备可以通过无线通信与该移动终端连接。例如，该可穿戴设备可以实现为包括手环、手表、手镯、腰带和项圈等形式。图3示出了该提示信息通过提示装置输出的一种示意图。例如，该提示装置30实现为手环，手环例如具有显示操作界面，用于接收用户操作。

在另一些示例中，该提示装置也可以是外接的显示器，该移动终端的显示界面可以通过投屏软件投屏到该显示器上，便于用户通过该显示器对该在拍摄空间外进行操作。该提示装置例如可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、监控设备等。

用户操作通过该提示装置输入到该移动终端，而不直接作用于该移动终端，一方面使得用户的操作不受空间的限制，另一方面可以避免直接操作导致移动装置的偏移从而引起采集数据的误差。

步骤S120：响应于该图像捕获装置的移动，输出用户操作提示信号(本公开实施例中第三提示信号的一个示例)，该用户操作提示信号用于提示用户输入全景图获取指令。

例如，该移动终端定位装置具有同步定位及建图功能，例如其中运行有同步定位及建图软件，例如SLAM(Simultaneous Localization and Mapping)，通过该软件可以确定该移动终端在三维空间中的位置信息，例如位移信息和方向信息。例如，该移动终端还包括环境传感器100，例如视觉传感器(如摄像头)或激光雷达传感器，该环境传感器例如配置为获取环境的视频流信息，该软件通过该视频流信息进行特征点提取、匹配获得当前位置的位置信息。

该移动终端可以通过SLAM技术检测该移动终端单位时间移动的距离，并据此判断出该移动终端(也即图像捕获装置)的移动。当检测出该移动，该移动终端输出该用户操作提示信号，用于提示用户输入全景图获取指令。

例如，该用户操作提示信号的内容为“可以开始拍摄”。

在一些示例中，用户可以通过在移动终端的APP的操作界面进行相应的触摸选择(例如点击“开始拍摄”按钮)，例如，该移动终端包括显示界面，用于显示应用程序的操作界面。

在另一些示例中，用户也可以通过与该移动终端无线连接的外接装置输入该全景图获取指令，例如通过上述提示装置向该移动终端输入该全景图获取指令。例如，该提示装置包括操作界面，用于接收用户操作。

在又一些示例中，用户也可以通过语音输入该全景图获取指令。在这种情形，该移动终端存储有包括语音指令库，该移动终端将用户输入的语音指令与语音指令库中存储的语音数据进行匹配，匹配成功则执行该语音数据所对应的工作指令，匹配失败则输出失败提示信号，例如内容为“请重新输入”。例如，该失败提示可以包括语音提示信号，或者该提示信号用于向提示装置输出，以使得该提示装置输出终端提示信号。例如，用户可以直接向该移动终端或该提示装置输出该语音指令。

步骤S130：获取该全景图获取指令。

例如，移动终端可以通过本地应用程序的操作界面获取该用户输入的全景图获取指令，或者移动终端可以通过提示装置获取该用户输入的全景图获取装置。

步骤S140a：响应于该全景图获取指令，向图像捕获装置输出捕获指令。

移动终端接收到用户输出的全景图获取指令，会向图像捕获装置输出捕获指令，以控制该图像捕获装置开始获取在该第一位置的全景图。

例如，如步骤S140b所示，响应于该全景图获取指令，该移动终端输出开始提示信号(本公开实施例中第四提示信号的一个示例)，该第三提示信号用于提示该图像捕获即将获取全景图。

由于在拍摄进行时不希望用户出现在拍摄画面中，因此用户可以基于该开始提示信号及时地回避。

当该开始提示信号通过该提示装置输出时，用户可以不在拍摄点所在空间进行操作，例如在隔壁房间，从而避免上述问题。

例如，该开始提示信号为倒计时提示信号。响应于该全景图获取指令，移动终端可以通过软件创建计时器，该倒计时的时间长度可以由用户自行定义，例如为10秒或5秒。

步骤S150：响应于该开始提示信号的结束，输出工作提示信号(本公开实施例中第五提示信号的一个示例)，该工作提示信号用于提示图像捕获装置正在获取全景图。

例如，待倒计时完成时，该移动终端通过图像捕获装置的接口协议请求触发拍摄，同时触发该工作提示信号。

例如，该图像捕获装置的拍摄工作需要一定时间以进行照片的合成与传输等工作，在此期间移动该图像捕获装置会对图像数据造成不利影响，基于该提示信号用户可以避免移动该图像捕获装置。该第四提示信号的内容例如为“合成中，请勿移动支架”。

步骤S170：响应于该全景图的接收，输出完成提示信号(本公开实施例中第一提示信号的一个示例)，该完成提示信号用于提示将该图像捕获装置移动至第二位置以获取该第二位置的全景图。

例如，图像捕获装置完成拍摄后，将获取的全景图传输至移动终端，移动终端相应于该全景图的接收，输出该完成提示信号。例如，该完成提示信号的内容为“拍摄完成，请移动支架至下一个位置”。

该完成提示信号意味着该第一位置的获取工作已完成，用户可以根据需要将支架移动至下一个位置点或者结束获取工作。

由于此时用户并不位于拍摄点所在空间，因此当该完成提示信号为语音提示信号时，可以将该完成提示信号的音量适量调大，以确保用户可以实时接收。

例如，当用户继续移动支架至第二位置以获取该第二位置的全景图时，该方法还包括步骤S180：在图像捕获装置移动的过程中，记录移动轨迹。

例如，该第二位置可以和该第一位置为同一个三维空间(如房间)的不同位置，也可以为分别位于不同的三维空间中。

例如，在支架的移动过程中，移动终端的环境传感器100保持开启，以对移动轨迹进行记录。通过记录该移动轨迹，例如，通过获取移动过程中的视频流信息，移动终端可以获取第二位置相对于第二位置的位置信息，从而对第二位置进行定位。

例如，该方法还包括步骤S190：当检测到移动轨迹出现异常，触发轨迹异常提示信号(本公开实施例中第六提示信号的一个示例)，该轨迹异常提示信号用于提示改变图像捕获装置的移动速度或移动轨迹。

例如，该移动轨迹出现异常包括移动轨迹的丢失，也即新检测到的移动点的图像数据与之前采集的图像数据无法匹配上。例如，移动过快会导致视频流信息缺少连续性，特征点匹配不上，从而造成轨迹的丢失。例如，移动轨迹选取不当会导致特征点过少而造成轨迹的丢失。例如，环境光线不足，或者环境传感器采集的画面为白墙等缺少纹理特征的画面，会触发该轨迹异常提示信号。例如，该轨迹异常提示信号的内容为“请重新定位”。基于该轨迹异常提示信号，用户可以及时找回轨迹，提高拍摄效率。

例如，该找回轨迹的过程中，移动终端会持续将实时采集到的图像特征与之前采集的图像数据进行匹配，如果匹配不成功则提示定位失败，如果匹配成功则提示定位成功。由于该轨迹异常提示信号发生在移动终端的移动过程中，将该轨迹异常提示信号设置为语音提示信号可以极大便利用户及时地接收到该轨迹异常提示信号并进行相应的操作。

例如，该方法还包括获取所述第一位置的位置信息，以得到包括所述位置信息的所述第一位置的全景图，也即该全景图与对应的位置信息统一到同一坐标系中。例如，该位置信息由该移动终端通过SLAM技术获得，例如包括位移信息和方向信息。

本公开实施例提供的全景图的获取方法可以应用于基于全景图的二维建模或三维建模中。

例如，通过将不同空间的全景图在各自三维空间中的二维轮廓图以及各全景图所对应的拍摄点的位置信息进行尺度归一化，然后进行拼接以统一到同一坐标系中，得到多空间(多对象)的二维平面轮廓图。例如，该二维平面图为房屋的户型图。

图4示为本公开一实施例提供的一种二维户型图的示意图。如图所示，该房屋包括第一房间R1、第二房间R2和第三房间R3。例如，以生成图4所示的房屋户型图的过程为例，在第一房间R1选取第一位置Q1，在第二房间R2选取第二位置Q2，在第三房间R3选取第三位置Q3，通过本公开实施例提供的全景图获取方法分别在第一位置Q1获取第一房间R1的第一全景图及第二位置Q2的第一位置信息、在第二位置Q2获取第二房间R2的第二全景图及第二位置Q2的第二位置信息、在第三位置Q3获取第三房间R3的第三全景图及第三位置Q3的第三位置信息，然后将该第一全景图、第二全景图、第三全景图、第一位置信息、第二位置信息、第三位置信息的尺度进行归一化以统一到同一坐标系中，从而得到该房屋的二维户型图。

例如，基于移动终端在各位置点(拍摄点)的位置信息及该二维平面轮廓图还可以得到该多空间的三维模型。

图5为本公开另一实施例提供的一种全景图获取方法的一个示例的流程图。该方法示例性地描述了从上一图像获取位置移动至当前图像获取位置进行图像获取的情形。如图4所示，该方法包括步骤S210-S280。

步骤S210：将图像捕获装置从第一位置移动至第二位置，响应于图像捕获装置的移动，输出用户操作提示信号(本公开实施例的第七提示信号的一个示例)，该用户操作提示信号用于提示用户输入全景图获取指令。

例如，当图像捕获装置完成了第一位置的图像获取，从第一位置移动到第二位置，移动终端通过SLAM技术检测到该图像捕获装置的移动，可以不必进行上述初始化步骤，输出移动提示信号，该移动提示信号可以参考图2所示实施例中的用户操作提示示信号，此处不再赘述。

例如，后续步骤S220-S280可以分别参考图2所示实施例中的步骤S130-S190，此处不再赘述。

图6为一种可用于实施本公开实施例提供的全景图获取方法的系统。如图6所示，该系统200可以包括用户终端110、网络120、服务器130以及数据库140。例如，该系统200可以用于实施本公开任一实施例所述的全景图获取方法。例如，该系统200也可以用于实施本公开任一实施例所述的全景图获取方法，其具体结构及功能等可以参考下文中用于实施全景图获取方法的系统的相应内容。

用户终端110例如为电脑110-1或手机110-2。可以理解的是，用户终端110可以是能够执行数据处理的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备等。用户终端110也可以是设置有电子设备的任何装备，例如车辆、机器人等。例如，在图1所示的移动终端10及图3所示的提示装置30为具有数据处理能力和/或程序执行能力的装置(例如手机)的情形，该移动终端10和该提示装置30可以作为该用户终端110。

用户可以对安装在用户终端110上的应用程序进行操作，应用程序通过网络120将用户行为数据传输给服务器130，用户终端110还可以通过网络120接收服务器130传输的数据。用户终端110可以通过运行程序或线程的方式实施本公开实施例提供的全景图获取方法，并将得到的多个三维空间的位置关系通过网络120传输给服务器130。

在一些示例中，用户终端110可以利用其内置的应用程序执行全景图获取方法。在另一些示例中，用户终端110可以通过调用用户终端110外部存储的应用程序执行全景图获取方法。

网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。

服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。

数据库140可以泛指具有存储功能的设备。数据库140主要用于存储用户终端110和服务器130在工作中所利用、产生和输出的各种数据。例如，数据库140中存储有大量三维空间的全景图像以及位置信息等，服务器130从数据库140中读取用户所需要的信息或数据，并将该信息或数据通过网络120发送至用户终端110，用户终端110显示多个三维空间的位置关系，从而便于用户浏览。数据库140可以是本地的或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory，RAM)、只读存储器(Read OnlyMemory，ROM)等。以上提及的存储设备只是列举了一些例子，该系统100可以使用的存储设备并不局限于此。

数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。

在一些示例中，数据库140可以是独立的设备。在另一些示例中，数据库140也可以集成在用户终端110和服务器130中的至少一个中。例如，数据库140可以设置在用户终端110上，也可以设置在服务器130上。又例如，数据库140也可以是分布式的，其一部分设置在用户终端110上，另一部分设置在服务器130上。

例如，在一些示例中，用户终端110基于多个三维空间中每个三维空间的全景图像以及相机拍摄时的第二位置信息，进行处理和计算后，得到多个三维空间的位置关系，例如多个房间的链接关系，然后进一步得到多个三维空间的2D模型或3D模型，例如可以为房屋的多个房间的二维户型图或三维户型图。例如，以二维户型图或三维户型图为例，该二维户型图或三维户型图通过网络120传输给服务器130，并被保存至数据库140。当其他用户在该用户终端110或其他用户终端上使用例如看房软件时，服务器130通过网络120将用户浏览的房源信息传输给用户终端110，这些房源信息包括该房源的二维户型图或三维户型图。用户终端110上的看房软件显示房源的二维户型图或三维户型图，用户通过点击操作可以对该二维户型图或三维户型图进行缩放、挪动、标记等操作。

本公开至少一实施例还提供一种全景图获取装置。图7是本公开至少一实施例提供的全景图获取装置的示意框图。如图7所示，该全景图获取装置300包括指令获取单元310、指令输出单元320、图像接收单元340以及信号输出单元340。例如，该全景图获取装置300可以应用于应用程序中(例如全景图获取软件或二维空间或三维空间建模软件中)，也可以应用于任意的需要获取全景图的设备或系统中，本公开的实施例对此不作限制。

指令获取单元310配置为获取全景图获取指令。例如，指令获取单元310可以执行如图2所示实施例中的步骤S130或者如图5所示实施例中的步骤S220。

指令输出单元320配置为响应于该全景图获取指令，向图像捕获装置输出捕获指令。例如，指令输出单元320可以执行如图2所示实施例中的步骤S140a或者如图5所示实施例中的步骤S230a。

图像接收单元330配置为从所述图像捕获装置接收在第一位置所获取的全景图。例如，图像接收单元320可以执行如图2所示实施例中的步骤S160或者如图5所示实施例中的步骤S250。

信号输出单元340配置为响应于全景图的接收，输出完成提示信号，该完成提示信号用于向提示装置输出，以使得所述提示装置输出终端提示信号。例如，信号输出单元340可以执行如图2所示实施例中的步骤S170或者如图5所示实施例中的步骤S260。

例如，信号输出单元340还配置为响应于与所述图像捕获装置的连接，输出初始化提示信号，初始化提示信号用于提示将所述图像捕获装置移动至所述第一位置以在所述第一位置获取全景图。例如，信号输出单元340还可以执行如图2所示实施例中的步骤S110。

例如，信号输出单元340还配置为响应于该图像捕获装置的移动，输出用户操作提示信号，该用户操作提示信号用于提示用户输入全景图获取指令。例如，信号输出单元340还可以执行如图2所示实施例中的步骤S120或者如图5所示实施例中的步骤S210。

例如，信号输出单元340还配置为响应于全景图获取指令，输出开始提示信号，该开始提示信号用于提示所述图像捕获装置即将开始获取所述全景图。例如，信号输出单元340还可以执行如图2所示实施例中的步骤S140b或者如图5所示实施例中的步骤S230b。

例如，信号输出单元340还配置为响应于该开始提示信号的结束，输出工作提示信号，该工作提示信号用于提示该图像捕获装置正在获取该全景图。例如，信号输出单元340还可以执行如图2所示实施例中的步骤S150或者如图5所示实施例中的步骤S240。

例如，如图7所示，该全景图获取装置300还包括轨迹记录单元350，配置为在移动过程中记录移动轨迹。例如，轨迹记录单元340可以执行如图2所示实施例中的步骤S180或者如图5所示实施例中的步骤S270。

例如，信号输出单元340还配置为响应于移动轨迹的异常，输出轨迹异常提示信号。例如，信号输出单元340还可以执行如图2所示实施例中的步骤S190或者如图5所示实施例中的步骤S280。

例如，指令获取单元310、指令输出单元320、图像接收单元330以及信号输出单元340、轨迹记录单元350可以为硬件、软件、固件以及它们的任意可行的组合。例如，指令获取单元310、指令输出单元320、图像接收单元330以及信号输出单元340、轨迹记录单元350可以为专用或通用的电路、芯片或装置等，也可以为处理器和存储器的结合。关于上述各个单元的具体实现形式，本公开的实施例对此不作限制。

图8为本公开一实施例提供的另一种全景图获取装置的示意框图。如图8所示，该全景图获取装置500包括处理器510和存储器520。存储器520用于存储非暂时性计算机程序指令(例如一个或多个计算机程序指令)。处理器510用于运行非暂时性计算机程序指令，非暂时性计算机程序指令被处理器510运行时可以执行上文所述的全景图获取方法中的一个或多个步骤。存储器520和处理器510可以通过总线系统和/或其它形式的连接机构(未示出)互连。

例如，全景图获取装置500的存储器520存储的非暂时性计算机程序指令被处理器510运行时还可以执行上文所述的全景图获取方法中的一个或多个步骤。

例如，处理器510可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA)等；例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器510可以为通用处理器或专用处理器，可以控制全景图获取装置500中的其它组件以执行期望的功能。

例如，存储器520可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储计算机程序指令，例如一个或多个计算机程序模块，处理器510可以运行该计算机程序指令，以实现全景图获取装置500的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

需要说明的是，本公开的实施例中，全景图获取装置500的具体功能和技术效果可以参考上文中关于全景图获取方法的描述，此处不再赘述。

图9为本公开一实施例提供的再一种全景图获取装置的示意框图。该全景图获取装置400例如适于用来实施本公开实施例提供的全景图获取方法，或者也可以适于用来实施本公开实施例提供的全景图获取方法。全景图获取装置400可以是终端设备等。需要注意的是，图9示出的全景图获取装置400仅仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。

如图9所示，全景图获取装置400可以包括处理装置(例如中央处理器、图形处理器等)410，其可以根据存储在只读存储器(ROM)420中的程序或者从存储装置480加载到随机访问存储器(RAM)430中的程序而执行各种适当的动作和处理。在RAM 430中，还存储有全景图获取装置400操作所需的各种程序和数据。处理装置410、ROM 420以及RAM 430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。

通常，以下装置可以连接至I/O接口450：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置460；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置470；包括例如磁带、硬盘等的存储装置480；以及通信装置490。通信装置490可以允许全景图获取装置400与其他电子设备进行无线或有线通信以交换数据。虽然图9示出了包括各种装置的全景图获取装置400，但应理解的是，并不要求实施或具备所有示出的装置，全景图获取装置400可以替代地实施或具备更多或更少的装置。

例如，根据本公开的实施例，上述全景图获取方法或全景图获取方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述全景图获取方法(或全景图获取方法)的程序代码。在这样的实施例中，该计算机程序可以通过通信装置490从网络上被下载和安装，或者从存储装置480安装，或者从ROM420安装。在该计算机程序被处理装置410执行时，可以执行本公开实施例提供的全景图获取方法(或全景图获取方法)中限定的功能。

本公开至少一个实施例还提供一种存储介质，用于存储非暂时性计算机程序指令，当该非暂时性计算机程序指令由计算机执行时可以实现本公开任一实施例所述的全景图获取方法；或者，当该非暂时性计算机程序指令由计算机执行时可以实现本公开任一实施例所述的全景图获取方法。

图10为本公开一实施例提供的一种存储介质的示意图。如图10所示，存储介质600非暂时性地存储有计算机程序指令601。例如，当计算机程序指令601由计算机执行时可以执行根据上文所述的全景图获取方法中的一个或多个步骤。

例如，该存储介质600可以应用于上述全景图获取装置500中。例如，存储介质600可以为图8所示的全景图获取装置500中的存储器520。例如，关于存储介质600的相关说明可以参考图8所示的全景图获取装置500中的存储器520的相应描述，此处不再赘述。

以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (20)

1.一种全景图获取方法，包括：

获取全景图获取指令；

响应于所述全景图获取指令，向图像捕获装置输出捕获指令；

从所述图像捕获装置接收在第一位置所获取的全景图；以及

响应于所述全景图的接收，输出第一提示信号，

其中，所述第一提示信号为语音提示信号，或者

所述第一提示信号用于向提示装置输出，以使得所述提示装置输出终端提示信号。

2.如权利要求1所述的方法，其中，所述提示装置包括可穿戴设备。

3.如权利要求1所述的方法，还包括：在所述获取全景图获取指令前，响应于所述图像捕获装置与移动终端的连接，输出第二提示信号，所述第二提示信号用于提示将所述图像捕获装置移动至所述第一位置以在所述第一位置获取全景图。

4.如权利要求3所述的方法，还包括：响应于所述图像捕获装置的移动，输出第三提示信号，所述第三提示信号用于提示用户输入所述全景图获取指令。

5.如权利要求4所述的方法，还包括：响应于所述全景图获取指令，还输出第四提示信号，所述第四提示信号用于提示所述图像捕获装置即将开始获取所述全景图。

6.如权利要求5所述的方法，其中，所述第四提示信号为倒计时信号。

7.如权利要求6所述的方法，还包括：响应于所述第四提示信号的结束，输出第五提示信号，所述第五提示信号用于提示所述图像捕获装置正在获取所述全景图。

8.如权利要求3-7任一所述的方法，还包括：获取所述第一位置的位置信息，以得到包括所述位置信息的所述第一位置的全景图。

9.如权利要求3所述的方法，其中，所述第一提示信号用于提示将所述图像捕获装置移动至第二位置以获取所述第二位置的全景图。

10.如权利要求9所述的方法，还包括：在所述图像捕获装置移动的过程中，记录移动轨迹。

11.如权利要求10所述的方法，当检测到移动轨迹出现异常，所述方法还包括触发第六提示信号，所述第六提示信号用于提示改变所述图像捕获装置的移动速度或移动轨迹。

12.如权利要求1所述的方法，其中，所述图像捕获装置由第三位置移动至所述第一位置，

所述方法还包括：在所述获取全景图获取指令前，响应于所述图像捕获装置的移动，输出第七提示信号，所述第七提示信号用于提示用户输入所述全景图获取指令。

13.一种全景图获取装置，包括：

指令获取单元，配置为获取全景图获取指令；

指令输出单元，配置为响应于所述全景图获取指令，向图像捕获装置输出捕获指令；

图像接收单元，配置为从所述图像捕获装置接收在第一位置所获取的全景图；

以及信号输出单元，配置为响应于所述全景图的接收，输出第一提示信号，其中，所述第一提示信号包括语音用于向提示装置输出，以使得所述提示装置输出终端提示信号。

14.如权利要求13所述的装置，其中，所述信号输出单元还配置为响应于所述图像捕获装置与移动终端的连接，输出第二提示信号，所述第二提示信号用于提示将所述图像捕获装置移动至所述第一位置以在所述第一位置获取全景图。

15.如权利要求13所述的装置，其中，所述信号输出单元还配置为响应于所述图像捕获装置的移动，输出第三提示信号，所述第三提示信号用于提示用户输入所述全景图获取指令。

16.如权利要求15所述的装置，其中，所述信号输出单元还配置为响应于所述全景图获取指令，还输出第四提示信号，所述第四提示信号用于提示所述图像捕获装置即将开始获取所述全景图。

17.如权利要求13所述的装置，还包括：

轨迹记录单元，配置为在移动过程中记录移动轨迹。

18.如权利要求17所述的装置，其中，所述信号输出单元还配置为响应于所述移动轨迹的异常，输出第五提示信号。

19.一种全景图获取装置，包括：

处理器；

存储器，包括计算机程序指令；

其中，所述计算机程序指令被存储在所述存储器中并被配置为由所述处理器执行，所述计算机程序指令包括用于实现权利要求1-12任一所述的全景图获取方法的指令。

20.一种存储介质，非暂时性地存储有计算机程序指令，其中，当所述计算机程序指令由计算机执行时可以实现权利要求1-12任一所述的全景图获取方法。

Images