CN111476911A - 虚拟影像实现方法、装置、存储介质与终端设备 - Google Patents

Abstract

本公开提供虚拟影像实现方法、虚拟影像实现装置、存储介质与终端设备，涉及虚拟现实与增强现实技术领域。其中，一种虚拟影像实现方法应用于第一终端，所述方法包括：获取用户输入的针对目标物体的编辑信息；根据所述编辑信息生成所述目标物体的虚拟影像；将所述虚拟影像上传至所述目标物体所在的增强现实场景中，所述增强现实场景存储于云端，使第二终端通过从所述云端获取所述增强现实场景而显示所述虚拟影像。本公开可以提高增强现实的多样化体验，并提供一种实现信息传递与共享的渠道，具有较高的实用性与趣味性。

Description

虚拟影像实现方法、装置、存储介质与终端设备

技术领域

本公开涉及虚拟现实与增强现实技术领域，尤其涉及虚拟影像实现方法、虚拟影像实现装置、计算机可读存储介质与终端设备。

背景技术

目前，在AR(Augmented Reality，增强现实)场景或AR游戏中，用户所能观看到的AR影像一般是程序事先设定的，例如用户走到某个地点，触发特定的虚拟人物出现。这样的AR体验过程一成不变，难以引起用户多次体验的兴趣，且实用性较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了虚拟影像实现方法、虚拟影像实现装置、计算机可读存储介质与终端设备，进而至少在一定程度上克服相关技术中AR体验一成不变的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种虚拟影像实现方法，应用于第一终端，所述方法包括：获取用户输入的针对目标物体的编辑信息；根据所述编辑信息生成所述目标物体的虚拟影像；将所述虚拟影像上传至所述目标物体所在的增强现实场景中，所述增强现实场景存储于云端，使第二终端通过从所述云端获取所述增强现实场景而显示所述虚拟影像。

根据本公开的第二方面，提供一种虚拟影像实现方法，应用于第二终端，所述方法包括：从云端获取增强现实场景，所述增强现实场景至少包括一目标物体的虚拟影像，所述虚拟影像由第一终端上传至所述增强现实场景中；基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息。

根据本公开的第三方面，提供一种虚拟影像实现装置，应用于第一终端，所述装置包括：获取模块，用于获取用户输入的针对目标物体的编辑信息；生成模块，用于根据所述编辑信息生成所述目标物体的虚拟影像；上传模块，用于将所述虚拟影像上传至所述目标物体所在的增强现实场景中，所述增强现实场景存储于云端，使第二终端通过从所述云端获取所述增强现实场景而显示所述虚拟影像。

根据本公开的第四方面，提供一种虚拟影像实现装置，应用于第二终端，所述装置包括：获取模块，用于从云端获取增强现实场景，所述增强现实场景至少包括一目标物体的虚拟影像，所述虚拟影像由第一终端上传至所述增强现实场景中；重定位模块，用于基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息。

根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一或第二方面所述的虚拟影像实现方法及其可能的实施方式。

根据本公开的第六方面，提供一种终端设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及显示器；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一或第二方面所述的虚拟影像实现方法及其可能的实施方式。

本公开的技术方案具有以下有益效果：

根据上述虚拟影像实现方法、虚拟影像实现装置、计算机可读存储介质与终端设备，第一终端获取用户输入的针对目标物体的编辑信息，根据编辑信息生成目标物体的虚拟影像，并上传至存储于云端的增强现实场景中；第二终端在获取该增强现实场景后，通过重定位可以显示该虚拟影像或其提示信息。一方面，提供了一种允许用户自由编辑虚拟内容的交互方式，基于同一现实场景可以增加不同的虚拟元素，从而提高增强现实的多样化体验。另一方面，通过编辑与显示虚拟影像的方式，提供了一种实现信息传递与共享的渠道，具有较高的实用性与趣味性。再一方面，增强现实场景的相关数据存储于云端，从而节省终端的存储空间，提高运行效率，并且数据是以增强现实场景为单位存储与读取的，保证了信息的隐私性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种AR系统的架构示意图；

图2示出本示例性实施方式中一种移动终端的结构示意图；

图3示出本示例性实施方式中一种虚拟影像实现方法的流程图；

图4示出本示例性实施方式中另一种虚拟影像实现方法的流程图；

图5示出本示例性实施方式中重定位的流程图；

图6示出本示例性实施方式中修改虚拟影像的流程图；

图7示出本示例性实施方式中一种虚拟影像实现装置的结构框图；

图8示出本示例性实施方式中另一种虚拟影像实现装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供一种虚拟影像实现方法和虚拟影像实现装置。

图1示出了适于实现本公开示例性实施方式的AR系统的架构示意图。

如图1所示，AR系统100可以包括：第一终端110、第二终端120和云端130。其中，第一终端110、第二终端120由用户使用，可以是具有显示功能的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机、智能可穿戴设备(如AR眼镜)等。第一终端110、第二终端120均可以运行AR程序的客户端。云端130是部署AR程序的服务端的硬件设备集合，可以包括代理服务器、应用服务器、数据库等一系列实体架构，本公开对此不做特别区分，将其统一抽象为云端130，用于提供AR云服务。第一终端110、第二终端120可以通过网络与服务器130连接，进行数据交互。

应当理解的是，图1中终端设备的数量仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备，比如可以设置第三终端、第四终端等等。

为了实现上述虚拟影像实现方法和实现装置，本公开的示例性实施方式还提供一种终端设备，可以是上述第一终端110或第二终端120，其可以以各种形式实现，例如可以包括智能手机、平板电脑、便携式计算机、智能可穿戴设备(如AR眼镜)等。下面以图2中的移动终端200为例，对终端设备的构造进行示例性说明。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成读取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。在一些实施方式中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施方式中，处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端200的其他部件形成连接。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端200连接其他触控终端，例如连接电脑、外围设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理模块240可以通过移动终端200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为触控终端供电。

电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电，还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施方式中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(Low Noise Amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波、放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System for Mobilecommunications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(Code Division Multiple Access，CDMA)，宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)，时分码分多址(Time Division-Synchronous CodeDivision Multiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(Global Positioning System，GPS)，全球导航卫星系统(Global NavigationSatellite System，GLONASS)，北斗卫星导航系统(Beidou Navigation SatelliteSystem，BDS)，准天顶卫星系统(Quasi-Zenith Satellite System，QZSS)和/或星基增强系统(Satellite Based Augmentation Systems，SBAS)。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以包括一个或多个显示屏290，用于显示图像，视频等。显示屏290包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)，有机发光二极管(Organic Light-Emitting Diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-Matrix Organic Light Emitting Diode，AMOLED)，柔性发光二极管(Flexlight-Emitting Diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(Quantum dot Light Emitting Diodes，QLED)等。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。

ISP用于处理摄像模组291反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。在一些实施方式中，ISP可以设置在摄像模组291中。

移动终端200可以包括一个或多个摄像模组291，用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

视频编解码器用于对数字视频压缩或解压缩。移动终端200可以支持一种或多种视频编解码器。这样，移动终端200可以播放或录制多种编码格式的视频，例如：动态图像专家组(Moving Picture Experts Group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施方式中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。移动终端200可以通过扬声器271收听音乐，或收听免提通话。

受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当移动终端200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。

麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。移动终端200可以设置多个麦克风273，以实现降噪、识别声音来源、定向录音等功能。

耳机接口274用于连接有线耳机。耳机接口274可以是USB接口230，也可以是3.5mm的开放移动触控终端平台(Open Mobile Terminal Platform，OMTP)标准接口，美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA，CTIA)标准接口。

深度传感器2801用于获取景物的深度信息。在一些实施方式中，深度传感器可以设置于摄像模组291。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器2803可以用于确定移动终端200的运动姿态，可用于拍摄防抖、导航、体感游戏等场景。气压传感器2804用于测量气压，可通过计算海拔高度，辅助定位和导航。

此外，根据实际需要，还可以在传感器模块280中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等等。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

马达293可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈等。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，使移动终端200通过SIM卡和网络交互，实现通话以及数据通信等功能。

下面对本公开示例性实施方式的虚拟影像实现方法和虚拟影像实现装置进行具体说明。

虚拟影像实现方法可以以AR程序的方式实现。图3示出由上述第一终端110执行的虚拟影像实现方法的示意性流程，第一终端110可以通过运行AR程序的客户端，实现以下步骤S310至S330：

步骤S310，获取用户输入的针对目标物体的编辑信息。

其中，目标物体可以是真实世界环境中的任意物体，如房间中的冰箱、水池等。用户可以针对该目标物体，输入任何形式、任何内容的编辑信息，其可以包括文本、图片、手绘图画、动画效果、视频、音频中的任意一种或多种。例如，用户可以输入一段文字，设置相应的字体、颜色等，并为其编辑便签纸样式的图框，以及文字显示的动画效果，如以淡化的方式逐渐出现、从某个方向飞入等；或者用户可以手动绘制图画，并为其添加一定的背景纹理等；或者用户可以编辑一个虚拟图标，并添加一段音频，该虚拟图标可以触发播放该音频，等等。

在一种实施方式中，可以通过摄像头扫描的方式确定目标物体。具体来说，在步骤S310前，可以先执行以下步骤：

当从现实场景中扫描到目标物体时，触发显示编辑界面。

其中，现实场景是指目标物体所在的真实世界环境，如现实的房间、咖啡店、商场或者街道等。当用户想要对某个物体编辑虚拟影像时，可以打开第一终端的摄像头，对准该物体，摄像头扫描所采集的图像，当识别到该物体时，触发弹出编辑界面，或者弹出消息“是否编辑虚拟影像”，用户选择“是”则弹出编辑界面。编辑界面用于输入编辑信息，可以包括各种信息的编辑栏，如文本栏、图片栏、动画效果栏等。

进一步的，为了准确识别到目标物体，当用户打开摄像头扫描时，客户端可以引导用户移动多个角度，例如在扫描界面上显示“请换一个角度对准目标”、“请对准目标的背面”等引导信息，从而采集到目标物体的全貌。

在另一种实施方式中，用户可以在客户端上点击选取目标物体。具体来说，客户端可以事先从服务器下载场景信息并打开显示，用户在场景中点击某一物体，将其确定为目标物体，并进入编辑界面。

步骤S320，根据上述编辑信息生成目标物体的虚拟影像。

在编辑完成后，可以对应生成虚拟影像。一般的，用户的编辑信息即虚拟影像的主要内容，客户端可以直接将编辑信息作为虚拟影像，也可以以此为基础，添加一些虚拟的视觉效果，或者将虚拟影像与目标物体进行一定的融合。举例来说，用户以在房间内的冰箱为目标物体，编辑了一张虚拟便签，包括便签的大小、形状、颜色等，并在便签中输入了文本，客户端可以自动为虚拟便签生成虚拟的光影，或者设置一定的透明度，以放置在冰箱的一个平面上，或者对虚拟标签做一定的变形，使其更具立体感，或者对虚拟标签增加动态效果，如随风抖动等，或者对其中的文本生成对应的一段语音等等。

在一种可选的实施方式中，用户还可以编辑虚拟影像的显示位置，使其包括于上述编辑信息中。例如用户点击目标物体上的某一位置，在该位置上编辑生成虚拟便签，或者用户在编辑虚拟便签后，将其移动到某一位置上，即虚拟影像的显示位置。

步骤S330，将虚拟影像上传至目标物体所在的增强现实场景中，增强现实场景存储于云端，使第二终端通过从云端获取增强现实场景而显示虚拟影像。

本示例性实施方式中，云端对于AR数据的存储是以增强现实场景为单位实现的。增强现实场景是指对目标物体所在的现实场景建立的数据集合，可以包括现实场景的地图数据、云锚点数据、各个物体的三维点云数据、已添加的虚拟影像数据(如用户对其他物体编辑的虚拟影像)等，可见，凡是与该场景相关的AR数据，都可以存储在对应的增强现实场景中。当增加新的数据，或者数据发生更新时，都可以同步到增强现实场景中。由此，当客户端生成虚拟影像并上传云端后，可以直接存储到对应的增强现实场景中。

关于如何确定目标物体所在的增强现实场景，下面提供几个实施方式。

(1)用户首次扫描现实场景，即云端未记录关于现实场景的任何AR数据。在这种情况下，除了扫描目标物体外，还需要扫描目标物体所在的现实场景，生成地图数据。地图数据可以是反映现实场景特征的三维点云模型，包括地形、纹理、障碍物等信息。第一终端生成地图数据可以采用SLAM(Simultaneous Localization And Mapping，同时定位与建图)方法。具体来说，启动摄像头后，用户A手持(或佩戴)第一终端，在现实场景内移动；第一终端采集场景图像，并同时记录位姿信息；在获得一定帧数的图像后，可以初始化场景的地图数据，通常只包括场景的一小部分，或者与实际场景有差别；此后，每采集一帧的图像，都可以根据该图像对地图数据进行更新优化，增加地图中没有的地图点，或者修正已有地图点的位置等；直到遍历整个场景，得到完整的地图数据。在SLAM采集场景图像时，通常从连续帧图像中选取一定数量的关键帧图像，这是为了减少建模过程中的信息冗余而选取的具有代表性的帧，通常可以每间隔一定的帧数选取一帧为关键帧，或者在图像内容变化较多时提取关键帧图像。在创建地图数据时，通常将关键帧图像的集合打包到地图数据中，以便于后续使用。

之后可以将地图数据上传至云端，例如可以和目标物体的虚拟影像一起上传，也可以先于虚拟影像上传，这样可以在云端上建立现实场景对应的增强现实场景。由此，很容易确定目标物体属于所建立的增强现实场景。

举例来说，用户A以自家厨房为现实场景，扫描厨房建立地图数据，同时扫描厨房中的冰箱，编辑虚拟影像。客户端将地图数据和虚拟影像上传到云端，建立对应的增强现实场景，如可以将场景命名为“用户A的厨房”，同时将虚拟影像添加到该增强现实场景。

(2)如果之前已经建立过增强现实场景，用户在扫描目标物体前，可以先在客户端上进入增强现实场景。例如可以输入场景编号或场景名，发送请求到云端，在云端反馈允许后，客户端下载增强现实场景的信息。一般的，增强现实场景中包括一些或者全部物体的关键帧图像，例如第一次扫描厨房时，对厨房中的冰箱、水池等特征性较强的物体记录关键帧图像。当用户扫描目标物体时，客户端可以将目标物体的图像与关键帧图像进行匹配，当匹配成功时，确定目标物体为已记录的某个物体，此时可以触发显示编辑界面。

(3)如果客户端未进入某个增强现实场景，而用户直接扫描目标物体并编辑相关信息，在上传虚拟影像时，还可以从所采集的目标物体的图像中选取至少一关键帧图像，一同上传至云端。云端可以将该关键帧图像与已存储的增强现实场景中的关键帧图像进行匹配，以确定目标物体属于哪个增强现实场景。考虑到匹配计算的数据量较大，且容易出现误匹配的情况(如冰箱的外观都差不多，用户A家的冰箱可能匹配到用户B家的厨房)，第一终端在上传虚拟影像和目标物体的关键帧图像时，还可以发送GPS(Global PositioningSystem，全球定位系统)等定位数据，使云端根据定位数据缩小匹配范围。

(4)每次生成虚拟影像前，要求用户扫描目标物体和现实场景，将关键帧图像、地图数据、虚拟影像发送至云端，云端根据地图数据查找对应的增强现实场景，如果找到则直接调取增强现实场景，如果未找到则新建一个增强现实场景。

实际应用中，可以根据情况采用或结合上述不同的方式，本公开对此不做限定。

在将第一终端上编辑的虚拟影像添加到增强现实场景后，如果有第二终端获取增强现实场景的信息，可以同步获取到该虚拟影像，从而可以在第二终端上显示该虚拟影像。例如用户A编辑生成了冰箱的虚拟便签，上传到云端；用户B下载增强现实场景后，在观看冰箱时，可以显示该虚拟便签。

在一种可选的实施方式中，还可以根据目标物体在增强现实场景中的位置，生成虚拟影像的提示信息，并在上传虚拟影像时，将提示信息一同上传至增强现实场景中。该提示信息用于提示虚拟影像的方位，以便于用户处于增强现实场景中的不同位置时，都可以按照提示信息找到虚拟影像。该提示信息可以与虚拟影像同时生成，也可以晚于虚拟影像生成。下面对如何生成提示信息，提供两个具体实施方式：

在一种实施方式中，客户端首先确定目标物体在增强现实场景中的位置，通常也是虚拟影像的位置(虚拟影像大多显示在目标物体上)，然后可以以该位置为基准，将增强现实场景划分为多个区域，针对每个区域生成一条引导性的虚拟指示箭头，以指向虚拟影像的位置。

在另一种实施方式中，客户端首先确定目标物体在增强现实场景中的位置，通常也是虚拟影像的位置(虚拟影像大多显示在目标物体上)，然后可以在该位置上生成一个虚拟图标，用于提示该虚拟影像，当用户距离虚拟影像的位置较远时，可以显示该虚拟图标。

图4示出由上述第一终端120执行的虚拟影像实现方法的示意性流程，第二终端120可以通过运行AR程序的客户端，实现以下步骤S410和S420：

步骤S410，从云端获取增强现实场景，该增强现实场景至少包括一目标物体的虚拟影像，该虚拟影像由第一终端上传至该增强现实场景中。

步骤S420，基于上述增强现实场景进行重定位，当重定位成功时，显示上述虚拟影像或者虚拟影像的提示信息。

举例来说：假设用户A使用第一终端，编辑生成了虚拟影像上传到云端，之后用户B使用第二终端下载增强现实场景，则获得该虚拟影像；或者第二终端曾经下载过该增强现实场景，当第一终端上传虚拟影像后，云端可以向第二终端发送更新通知，用户B选择更新后，获取到新增的虚拟影像；或者第一终端和第二终端同时连接云端，并打开增强现实场景，第一终端生成并发送虚拟影像后，云端可以同步到第二终端。

在一种可选的实施方式中，可以为获取增强现实场景设置相应的权限。例如，用户A通过第一终端创建增强现实场景时，设置密码，其他用户需要输入正确的密码才能从云端下载该增强现实场景；或者用户A通过第一终端创建增强现实场景时，设置访问白名单，只有在白名单上的用户才能从云端下载该增强现实场景，等等。

在获取增强现实场景后，需要进行重定位，以确定第二终端所处的现实场景即增强现实场景。重定位过程一般如下：第二终端启动摄像头，用户B手持(或佩戴)第二终端，在现实场景内移动；第二终端采集现实场景的图像，与增强现实场景中的地图数据进行匹配，当匹配成功时，确定重定位成功，此时可以显示虚拟影像或其提示信息。具体现实虚拟影像还是提示信息，与用户所处的位置有关。一般的，用户距离目标物体较近，且目标物体在视野范围以内时，显示虚拟影像，否则显示提示信息，以引导用户移动到可看到虚拟影像的其他位置。

需要说明的是，虚拟影像一般显示于目标物体上，如果第一终端编辑了虚拟影像的显示位置，第二终端在获取增强现实场景时，也可以得到该位置，并将虚拟影像显示于该位置。

在一种可选的实施方式中，参考图5所示，步骤S420可以包括以下步骤S501至S504：

步骤S501，基于增强现实场景进行重定位，当重定位成功时，确定第二终端在增强现实场景中的当前位姿；

步骤S502，根据上述当前位姿确定第二终端的当前视野区域；

步骤S503，当虚拟影像的显示位置处于当前视野区域内时，显示虚拟影像；

步骤S504，当虚拟影像的显示位置处于当前视野区域外时，显示虚拟影像的提示信息。

重定位的过程也是将第二终端的相机坐标系与增强现实场景的世界坐标系进行对准的过程，通过重定位可以确定第二终端在增强现实场景的世界坐标系中的当前位姿；根据当前位姿，以及第二终端的视场角(例如可以是120度)，可以确定当前视野区域，以模拟第二终端的相机可以拍摄到的区域范围，或者用户处于当前位姿下，可以看到的视野范围；进而可以确定用户理论上是否能够看到虚拟影像，即虚拟影像的显示位置处于当前视野区域内时，判断用户能够看到虚拟影像，则显示虚拟影像，虚拟影像的显示位置处于当前视野区域外时，判断用户不能看到虚拟影像，显示提示信息。

在一种可选的实施方式中，也可以基于目标物体进行重定位，这样在重定位成功时，可以直接确定用户能够看到虚拟影像，因此显示虚拟影像。具体来说，可以从增强现实场景中获取目标物体的关键帧图像，然后将采集的当前图像与关键帧图像进行匹配，当第二终端刚好对准目标物体时，所拍摄的当前图像与关键帧图像能够匹配成功，进而显示虚拟影像。

在一种可选的实施方式中，在显示虚拟影像的提示信息时，如果用户距离目标物体较远，且目标物体不再视野范围内，则可以沿虚拟影像的方向，在当前界面的边缘处显示提示信息，如虚拟引导箭头等；如果用户距离目标物体较远，但目标物体处于视野范围内，则可以显示以虚拟图标的形式显示虚拟影像的提示信息，例如在目标物体的上方显示虚拟图标，并用一个箭头指向目标物体，以表示该位置具有虚拟影像。

在一种可选的实施方式中，可以允许用户修改虚拟影像，参考图6所示，通过以下步骤S601和S602实现：

步骤S601，获取用户针对虚拟影像的修改信息，根据修改信息得到新的虚拟影像。

步骤S602，将上述新的虚拟影像上传至增强现实场景中，以更新云端上存储的虚拟影像。

其中，用户可以针对虚拟影像的任意一方面或多方面进行修改，如修改文字内容，替换图片，修改动画效果，移动位置等。第二终端修改得到新的虚拟影像后，上传至云端，云端更新原虚拟影像，可以覆盖原虚拟影像，也可以同时保存新的虚拟影像和原虚拟影像。此后，其他终端在从云端下载增强现实场景时，可以得到新的虚拟影像。

此外，图6所示的方法过程也可以由第一终端或其他任意终端执行。例如，凡是进入增强现实场景的用户，均可以修改其中的虚拟影像；或者用户在编辑生成虚拟影像时设定密码，其他用户输入正确的密码后才能修改，等等。

综上所述，本示例性实施方式中，由第一终端获取用户输入的针对目标物体的编辑信息，根据编辑信息生成目标物体的虚拟影像，并上传至存储于云端的增强现实场景中；第二终端在获取该增强现实场景后，通过重定位可以显示该虚拟影像或其提示信息。一方面，提供了一种允许用户自由编辑虚拟内容的交互方式，基于同一现实场景可以增加不同的虚拟元素，从而提高增强现实的多样化体验。另一方面，通过编辑与显示虚拟影像的方式，提供了一种实现信息传递与共享的渠道，具有较高的实用性与趣味性。再一方面，增强现实场景的相关数据存储于云端，从而节省终端的存储空间，提高运行效率，并且数据是以增强现实场景为单位存储与读取的，保证了信息的隐私性。

本公开示例性实施方式还提供一种虚拟影像实现装置，可以应用于上述第一终端110。如图7所示，该虚拟影像实现装置700可以包括：

获取模块710，用于获取用户输入的针对目标物体的编辑信息；

生成模块720，用于根据上述编辑信息生成目标物体的虚拟影像；

上传模块730，用于将上述虚拟影像上传至增强现实场景中，该增强现实场景存储于云端，使第二终端通过从云端获取增强现实场景而显示虚拟影像。

在一种可选的实施方式中，获取模块710，还用于当从现实场景中扫描到目标物体时，触发显示编辑界面，编辑界面用于输入编辑信息。

在一种可选的实施方式中，上传模块730，还用于在上传虚拟影像时，从所采集的目标物体的图像中选取至少一关键帧图像，上传至增强现实场景中。

在一种可选的实施方式中，生成模块720，还用于根据目标物体在增强现实场景中的位置，生成虚拟影像的提示信息，提示信息用于提示虚拟影像的方位。上传模块730，还用于将提示信息上传至增强现实场景中。

在一种可选的实施方式中，上述编辑信息可以包括文本、图片、手绘图画、动画效果、视频、音频中的任意一种或多种；此外，上述编辑信息还可以包括虚拟影像的显示位置。

在一种可选的实施方式中，生成模块720，还用于扫描目标物体所在的现实场景，生成地图数据。上传模块730，还用于将地图数据上传至云端，以建立现实场景对应的增强现实场景。

本公开示例性实施方式还提供一种虚拟影像实现装置，可以应用于上述第二终端120。如图8所示，该虚拟影像实现装置800可以包括：

获取模块810，用于从云端获取增强现实场景，该增强现实场景至少包括一目标物体的虚拟影像，该虚拟影像由第一终端上传至增强现实场景中；

重定位模块820，用于基于增强现实场景进行重定位，当重定位成功时，显示虚拟影像或者虚拟影像的提示信息。

在一种可选的实施方式中，重定位模块820，被配置为：

从增强现实场景中获取目标物体的关键帧图像；

将采集的当前图像与关键帧图像进行匹配，当匹配成功时，显示虚拟影像。

在一种可选的实施方式中，重定位模块820，被配置为

基于增强现实场景进行重定位，当重定位成功时，确定第二终端在增强现实场景中的当前位姿；

根据当前位姿确定第二终端的当前视野区域；

当虚拟影像的显示位置处于当前视野区域内时，显示虚拟影像；

当虚拟影像的显示位置处于当前视野区域外时，显示虚拟影像的提示信息。

在一种可选的实施方式中，虚拟影像实现装置800还可以包括：修改模块，用于获取用户针对虚拟影像的修改信息，根据修改信息得到新的虚拟影像，以及将新的虚拟影像上传至增强现实场景中，以更新云端上存储的虚拟影像。

上述虚拟影像实现装置700和虚拟影像实现装置800中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种虚拟影像实现方法，应用于第一终端，其特征在于，所述方法包括：

获取用户输入的针对目标物体的编辑信息；

根据所述编辑信息，生成所述目标物体的虚拟影像；

将所述虚拟影像上传至所述目标物体所在的增强现实场景中，所述增强现实场景存储于云端，使第二终端通过从所述云端获取所述增强现实场景而显示所述虚拟影像。

2.根据权利要求1所述的方法，其特征在于，在获取所述编辑信息前，所述方法还包括：

当从现实场景中扫描到所述目标物体时，触发显示编辑界面，所述编辑界面用于输入编辑信息。

3.根据权利要求2所述的方法，其特征在于，在上传所述虚拟影像时，所述方法还包括：

从所采集的所述目标物体的图像中选取至少一关键帧图像，上传至所述增强现实场景。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标物体在所述增强现实场景中的位置，生成所述虚拟影像的提示信息，所述提示信息用于提示所述虚拟影像的方位；

将所述提示信息上传至所述增强现实场景中。

5.根据权利要求1所述的方法，其特征在于，所述编辑信息包括文本、图片、手绘图画、动画效果、视频、音频中的任意一种或多种，所述编辑信息还包括所述虚拟影像的显示位置。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

扫描所述目标物体所在的现实场景，生成地图数据；

将所述地图数据上传至所述云端，以建立所述现实场景对应的增强现实场景。

7.一种虚拟影像实现方法，应用于第二终端，其特征在于，所述方法包括：

从云端获取增强现实场景，所述增强现实场景至少包括一目标物体的虚拟影像，所述虚拟影像由第一终端上传至所述增强现实场景中；

基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息。

8.根据权利要求7所述的方法，其特征在于，所述基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息，包括：

从所述增强现实场景中获取所述目标物体的关键帧图像；

将采集的当前图像与所述关键帧图像进行匹配，当匹配成功时，显示所述虚拟影像。

9.根据权利要求7所述的方法，其特征在于，所述基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息，包括：

基于所述增强现实场景进行重定位，当重定位成功时，确定所述第二终端在所述增强现实场景中的当前位姿；

根据所述当前位姿确定所述第二终端的当前视野区域；

当所述虚拟影像的显示位置处于所述当前视野区域内时，显示所述虚拟影像；

当所述虚拟影像的显示位置处于所述当前视野区域外时，显示所述虚拟影像的提示信息。

10.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取用户针对所述虚拟影像的修改信息，根据所述修改信息得到新的虚拟影像；

将所述新的虚拟影像上传至所述增强现实场景中，以更新所述云端上存储的所述虚拟影像。

11.一种虚拟影像实现装置，应用于第一终端，其特征在于，所述装置包括：

获取模块，用于获取用户输入的针对目标物体的编辑信息；

生成模块，用于根据所述编辑信息生成所述目标物体的虚拟影像；

上传模块，用于将所述虚拟影像上传至所述目标物体所在的增强现实场景中，所述增强现实场景存储于云端，使第二终端通过从所述云端获取所述增强现实场景而显示所述虚拟影像。

12.一种虚拟影像实现装置，应用于第二终端，其特征在于，所述装置包括：

获取模块，用于从云端获取增强现实场景，所述增强现实场景至少包括一目标物体的虚拟影像，所述虚拟影像由第一终端上传至所述增强现实场景中；

重定位模块，用于基于所述增强现实场景进行重定位，当重定位成功时，显示所述虚拟影像或者所述虚拟影像的提示信息。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。

14.一种终端设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；以及

显示器；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10任一项所述的方法。

Images