CN111739121A - 画虚拟线条的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种画虚拟线条的方法、装置、设备及存储介质，由于三维场景模型包括目标场景对应的预构建的三维预测场景模型，由于是预先构建的，不会出现在得到组成第一动画的至少一帧视频图像后，还未构建完毕三维场景模型的情况，可理解的是，若得到至少一帧视频图像后，还未构建完毕三维场景模型，那么，就无法基于至少一帧视频图像和三维场景模型得到一个或多个三维坐标，即无法在目标场景中画出虚拟线条。本申请解决了远程用户在视频中画出线条后，现场用户并不能在现场环境中相应位置看到相应的虚拟线条的问题。

Description

画虚拟线条的方法、装置、设备及存储介质

技术领域

本申请涉及增强现实技术领域，更具体的说，是涉及一种画虚拟线条的 方法、装置、设备及存储介质。

背景技术

远程视频指导是指位于现场环境的现场用户佩戴头戴式显示设备，采集 现场环境的视频并传输给远程的电子设备，远程用户通过电子设备显示的视 频了解到现场用户所在现场场景的情况，远程用户可以在视频中的相应位置 进行标注，现场用户可以通过头戴式显示设备看到现场环境中相应位置被标 注，使得现场用户和远程用户更容易沟通。

在实现本发明创造的过程中，发明人发现远程用户在视频中进行标注后， 现场用户并不能通过头戴式显示设备在现场环境中相应位置看到该标注，使 得现场用户反复采集视频，远程用户重复进行标注。

发明内容

有鉴于此，本申请提供了一种画虚拟线条的方法、装置、设备及存储介 质。

本申请提供如下技术方案：

一种在真实场景中画虚拟线条的方法，包括：

获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视 频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线 段；

基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信 息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型；

在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第 二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线 条的画线方向相同。

一种在真实场景中画虚拟线条的装置，包括：

第一获取模块，用于获取至少一帧视频图像，所述至少一帧视频图像组 成目标场景对应的视频上被画出线条的第一动画，一帧所述视频图像至少包 括所述线条的局部线段；

第一确定模块，用于基于所述至少一帧视频图像、三维场景模型以及预 设的目标用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集 合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型；

显示模块，用于在所述目标场景的所述三维坐标集合处显示包含画出所 述虚拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一动 画中画出所述线条的画线方向相同。

一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于：

获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视 频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线 段；

基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信 息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型；

在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第 二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线 条的画线方向相同。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行 时，实现如上述任一项所述的在真实场景中画虚拟线条的方法中的各个步骤。

经由上述的技术方案可知，本申请提供的在真实场景中画虚拟线条的方 法中，由于三维场景模型包括目标场景对应的预构建的三维预测场景模型， 由于是预先构建的，不会出现在得到组成第一动画的至少一帧视频图像后， 还未构建完毕三维场景模型的情况，可理解的是，若得到至少一帧视频图像 后，还未构建完毕三维场景模型，那么，就无法基于至少一帧视频图像和三 维场景模型得到一个或多个三维坐标，即无法在目标场景中画出虚拟线条。 本申请解决了远程用户在视频中画出线条后，现场用户并不能在现场环境中相应位置看到相应的虚拟线条的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种实施环境的示意图；

图2为本申请实施例提供的在真实场景中画虚拟线条的方法的一种实现 方式的流程图；

图3a至图3d为本申请实施例提供的组成第一动画的一种实现方式的示 意图；

图4a至图4d为本申请实施例提供的组成第一动画的另一种实现方式的 示意图；

图5a至图5d为本申请实施例提供的远程用户在电子设备显示的视频中 画线的一种实现方式的示意图；

图6a至图6h为本申请实施例提供的一种应用场景示意图；

图7为本申请实施例提供的在三维坐标中未调节深度方向的值时画虚拟 线条的一种实现方式的示意图；

图8为本申请实施例提供的获得三维预测场景模型的一种实现方式的流 程图；

图9a为本申请实施例提供的基于第二工作模式对应的工作环境信息调节 后的三维物体模型的一种实现方式的示意图；

图9b为本申请实施例提供的基于电子设备采集的目标场景的至少一个视 频的得到的三维真实模型的第一局部区域的一种实现方式的示意图；

图10a和图10b分别为本申请实施例提供的基于目标用户位置信息电子 设备得到的不同视频图像的示意图；

图10c为本申请实施例提供的基于第一工作模式对应的位姿信息调整三 维物体模型对应视角的一种实现方式的示意图；

图11为本申请实施例提供的在真实场景中画虚拟线条的装置的一种实现 方式的结构图；

图12为本申请实施例提供的电子设备的一种实现方式的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而 不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了在真实场景中画虚拟线条的方法、装置、电子设备及存储 介质。

在对本申请实施例提供的在真实场景中画虚拟线条的方法进行详细介绍 之前，这里先对本申请实施例涉及的应用场景和实施环境进行简单介绍。

首先，对本申请涉及的实施环境进行介绍。

本申请实施例提供的在真实场景中画虚拟线条的方法可以应用于具有AR(Augmented Reality，增强现实)或MR(Mixed Reality，混合现实)功能的 电子设备，例如，头戴式显示设备。

如图1所示，为本申请实施例提供的一种实施环境的示意图。本申请实施 例提供的在真实场景中画虚拟线条的方法可以应用于图1中的电子设备12中。 该实施环境包括：终端设备11以及电子设备12。

可选的，终端设备11可以是任何一种可与用户通过键盘、触摸板、触摸 屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产 品，例如，手机、笔记本电脑、平板电脑、掌上电脑、个人计算机、可穿戴 设备、智能电视、PAD等。

应注意的是，图1中以终端设备11为笔记本电脑为例进行说明，但并不限 定终端设备11为笔记本电脑。

图1中以电子设备12为头戴式显示设备为例进行说明。

可选的，终端设备11与电子设备12可以通过无线网络建立连接并通信。

位于现场环境的现场用户可以携带电子设备12，电子设备12可以采集现 场环境中的目标场景的视频，并将视频发送至终端设备11。

本申请实施例中将位于现场环境的用户称为现场用户。本申请实施例中 将目标场景所在的环境称为现场环境。本申请实施例提及的真实场景即为真 实世界中的目标场景。目标场景为现场用户需要进行相应操作(例如巡检或 维修)的目标。

假设现场环境为如图1所示的环境，现场用户13利用电子设备12采集的视 频可以传输至终端设备11中，以供远程用户10观看。

可选的，本申请实施例中终端设备11相对于位于现场环境的电子设备12 而言是“远程端”(由于终端设备11不位于现场环境)。

位于“远程端”的远程用户(本申请实施例将位于“远程端”的用户称 为远程用户)可以在终端设备11上观看电子设备12采集的视频。

可选的，远程用户可以为一个或多个。

远程用户可以在终端设备11显示的视频的相应位置处画出线条。终端设 备11将在相应位置被画出线条的视频(为了与电子设备12采集的视频相区别， 本申请实施例称第一动画，第一动画包括线条被画出的过程)发送至电子设 备12。电子设备12接收到第一动画后，对第一动画进行处理，以得到线条在 真实场景中对应的三维坐标集合，并在真实场景的三维坐标集合处显示画出 虚拟线条的第二动画。

在一可选实施例中，现场用户可以通过电子设备12与远程用户进行语音 交互。

在一可选实施例中，现场用户可以通过除电子设备12外的其他设备，例 如智能手机，与远程用户进行语音交互。

在一可选实现方式中，本申请实施例提供的另一种实施环境包括：终端 设备11、电子设备以及服务器。本申请实施例提供的在真实场景中画虚拟线 条的方法可以应用于服务器。

针对终端设备11的介绍可以参见上述实施环境，这里不再赘述。

位于现场环境的现场用户可以携带电子设备12。

可选的，电子设备12可以采集现场环境的视频，并将视频发送至终端设 备11。

可选的，电子设备12可以将采集的现场环境的视频发送至服务器。可选 的，服务器可以将电子设备12采集的现场环境的视频发送至终端设备11。

可选的，远程用户可以在终端设备11显示的视频的相应位置处画出线条。 终端设备11将第一动画发送至服务器。服务器接收到第一动画后，对第一动 画进行处理，以得到线条在真实场景中对应的三维坐标集合，并将三维坐标 集合发送至电子设备12。电子设备12可以在真实场景的三维坐标集合处显示 画出虚拟线条的第二动画。

下面结合实施环境对应用场景进行说明。

可以理解的是，在得到第一动画包含的线条位于真实场景中对应的三维 坐标集合以后，才能够在真实世界的目标场景的三维坐标集合处显示第二动 画。

得到第一动画包含的线条位于真实场景中对应的三维坐标集合的过程可 以包括：采集真实世界中目标场景的至少一个视频图像；基于至少一个视频 图像，构建真实世界中目标场景对应的三维真实模型；基于三维真实模型与 第一动画包含的视频图像，得到线条位于真实世界中目标场景的三维坐标集 合。

可以理解的是，构建三维真实模型需要一定的时间，若得到第一动画后， 三维真实模型并未构建完毕，例如，还未构建出第一动画中线条标注的区域 对应的模型，可能导致无法获得第一动画包含的线条位于真实场景中对应的 三维坐标集合。导致现场用户通过电子设备12无法看到虚拟线条。

现场用户未看到虚拟线条后，可能需要远程用户重新进行画线，即重新 进行标注，在此过程中，电子设备12一直在反复采集视频，终端设备11一直 在获取视频，增加了数据处理量。

为了解决上述问题，本申请实施例提供了在真实场景中画出虚拟线条的 方法，基于第一动画包含的至少一帧视频图像以及三维场景模型，得到线条 位于三维场景模型的三维坐标集合，由于三维场景模型包括目标场景对应的 预构建的三维预测场景模型，由于是预先构建的，不会出现在得到第一动画 后，还未构建完毕三维场景模型的情况，可理解的是，若得到至少一帧视频 图像后，还未构建完毕三维场景模型，那么，就无法基于至少一帧视频图像 和三维场景模型得到一个或多个三维坐标，即无法在目标场景中画出虚拟线条。本申请解决了远程用户在视频中画出线条后，现场用户并不能在现场环 境中相应位置看到相应的虚拟线条的问题。

结合实施环境和应用场景对本申请提供的在真实场景中画虚拟线条的方 法进行详细说明。

如图2所示，为本申请实施例提供的在真实场景中画虚拟线条的方法的 一种实现方式的流程图，该方法包括：

步骤S201：获取至少一帧视频图像。

其中，所述至少一帧视频图像组成目标场景对应的视频上被画出线条的 第一动画，一帧所述视频图像至少包括所述线条的局部线段。

示例性的，一帧视频图像为二维图像，多帧连续的视频图像组成了第一 动画。

示例性的，不同视频图像包含的局部线段在相应视频图像中的位置不同， 如图3a至图3d所示，以第一动画包括4帧视频图像为例，假设4帧视频图 像按照时间早晚顺序依次为：视频图像31、视频图像32、视频图像33、视频 图像34。

如图3a至3d所示，假设线条为椭圆形，4帧视频图像中包含线条的局部 线段(用黑色粗曲线段表示)分别为：线段311、线段321、线段331、线段 341。4帧视频图像中包含的线段连接起来就得到了线条。

示例性的，下一帧视频图像包含前一帧视频图像包含的局部线段。如图 4a至图4d所示，以第一动画包括4帧视频图像为例，假设4帧视频图像按照 时间早晚顺序依次为：视频图像41、视频图像42、视频图像43、视频图像 44。

4帧视频图像中包含线条的局部线段(用黑色粗曲线段表示)分别为：线 段411、线段421、线段431、线段441。从图4a至图4d可以看出，线段421 包含线段411，线段431包含线段421，线段441包含线段431。

步骤S202：基于所述至少一帧视频图像、三维场景模型以及预设的目标 用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集合。

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型。

在一可选实施例中，不同用户群组对应的三维预测场景模型不同，示例 性的，不同用户群组对应的目标场景不同。

示例性的，用户群组可以是基于各用户分别对应的用户属性信息划分得 到的。示例性的，用户属性信息包括但不限于用户的职业、用户的年龄、用 户的工作地点中的一种或多种。

示例性的，电子设备12具有定位功能，现场用户携带电子设备12到达 现场环境，电子设备12可以对现场环境所在地理位置进行定位，进而可以确 定具体的现场环境。例如，如果现场环境所在的地理位置为汽车维修工厂， 那么，现场环境可能为汽车维修环境。

对于不同用户群组而言，三维预测场景模型是可预期的，即可以针对不 同用户群组预先构建三维预测场景模型。例如，用户群组A为机场巡检人员 对应的群组，用户群组B为汽车维修人员对应的群组，用户群组A对应的三 维预测场景模型可以为飞机的三维模型；用户群组B对应的三维预测场景模 型可以为汽车的三维模型。

示例性的，得到步骤S202中提及三维预测场景模型的过程包括：获取用 户属性信息；获取与所述用户属性信息对应的预构建的三维预测场景模型； 基于所述三维预测场景模型，获得所述三维场景模型。

在另一可选实施例中，不同用户群组对应的三维预测场景模型可以相同， 本申请实施例并不对此进行限定。

示例性的，目标用户位置信息可以是在真实世界中现场用户在目标场景 中的位置；或者，目标用户位置信息可以是在真实世界中现场用户和目标场 景之间的相对位置。

步骤S203：在所述目标场景的所述三维坐标集合处显示包含画出所述虚 拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中 画出所述线条的画线方向相同。

步骤S203与步骤S201之间的时序关系有多种，本申请实施例提供但不 限于以下几种。

第一种时序关系，远程用户在终端设备11中画线过程与电子设备显示第 二动画的过程是同步的。

远程用户在终端设备11显示的视频上画线的过程中，终端设备11不断 的将包含至少局部线段的视频图像传输至电子设备12或服务器，以使得在接 收到包含至少局部线段的视频图像时，电子设备12就能在目标场景的相应位 置处展示至少局部线段。在远程用户针对终端设备11显示的视频画线完毕时， 电子设备12也展示完毕第二动画。

如图5a至图5d所示，远程用户10可以在终端设备11显示的视频中画 线，如图5a至图5d左侧所示为远程用户画线的过程，图5a至图5d右侧为现 场用户通过电子设备12看到的虚拟线条画出的过程。

将图5a至图5d的左侧图和右侧图进行对比，可以看出，远程用户在终 端设备11显示的视频中画线的过程，与，电子设备显示画出虚拟线条的过程 同步。

可以理解的是，上述强调“同步”，从严格意义上讲，电子设备可能会 延迟第一时间，第一时间包括一帧或多帧视频图像的传输时间，因为电子设 备或服务器是基于接收到的一帧或多帧视频图像，才能确定出三维坐标集合。

为了解决上述问题，在一可选实施例中，电子设备12或服务器还可以基 于已得到的至少一帧第一视频图像分别包含的局部线段，预测远程用户画线 的方向、画线的速度等画线属性。其中，所述至少一帧视频图像包括所述至 少一帧第一视频图像以及至少一帧第二视频图像。电子设备基于画线属性得 到第一预测局部线段以及第一预测局部线段对应的目标三维坐标；电子设备 在目标场景的目标三维坐标处显示第一预测局部线段。

综上，使得远程用户在针对终端设备11显示的视频继续画出线条的后续 局部区域的同时，电子设备12能够显示自己预测的该局部区域对应的第一预 测局部线段，从而做到严格意义上的“同步”。

示例性的，电子设备12或服务器还可以基于后续得到的所述至少一帧第 二视频图像调整自己预测的第一预测局部线段。

第二种时序关系，远程用户在终端设备11中画线过程与电子设备显示第 二动画的过程不同步。

即远程用户在终端设备11显示的视频画线完毕后，电子设备显示第二动 画。

下面举例说明“画出所述虚拟线条的画线方向与所述第一动画中画出所 述线条的画线方向相同”。

例如，第一动画中画出线条的方向是顺时针，虚拟线条也是顺时针画出 的。

示例性的，第一动画中组成线条的点集合与第二动画中显示的线条的点 集合是一一对应的关系。

本申请提供的在真实场景中画虚拟线条的方法中，由于三维场景模型包 括目标场景对应的预构建的三维预测场景模型，由于是预先构建的，不会出 现在得到组成第一动画的至少一帧视频图像后，还未构建完毕三维场景模型 的情况，可理解的是，若得到至少一帧视频图像后，还未构建完毕三维场景 模型，那么，就无法基于至少一帧视频图像和三维场景模型得到一个或多个 三维坐标，即无法在目标场景中展示虚拟线条。本申请解决了远程用户在视 频中画出线条后，现场用户并不能在现场环境中相应位置看到相应的虚拟线 条的问题。

为了本领域技术人员更加理解图2所示的方法，下面举一具体例子进行 说明。

如图6a至图6g所示，为本申请实施例提供的一种应用场景示意图。

本申请实施例提供的在真实场景中画虚拟线条的方法可以应用于任何需 要远程用户进行协助的应用场景，例如，航空维检中的全停检查应用场景、 航空维检中的绕行检查应用场景、航空维检中的MEL检查应用场景、航空维 检中的航前检查应用场景、航空维检中的航后检查应用场景、航空维检中的 过站检查应用场景、电力行业中的变电室外巡检应用场景、电力行业中的变 电室内巡检应用场景、电力行业中的倒闸操作应用场景、C919飞机航电检测 应用场景、ARJ飞机航电检测应用场景、汽车维修应用场景等。

图6a至图6g中以汽车维修应用场景为例进行说明。

图6a为现场用户在汽车维修现场环境的示意图。假设现场用户直视汽车 61，以电子设备12为头戴式显示设备为例，头戴式显示设备采集的视频包含 的一帧视频图像可以如图6b所示。

终端设备11接收到电子设备12采集的视频后，远程用户可以对视频进行 操作，如图6c所示。图6c中以终端设备11为PAD为例进行说明。

可选的，远程用户可以在终端设备11上显示的视频中的相应位置画线， 如图6c所示，远程用户在汽车的引擎盖上画出椭圆形。

应注意的是，本申请实施例并不将远程用户画线的形状限定为椭圆形， 例如，还可以为圆形、三角形、直线段、曲线段、对勾、叉子等等任意形状。 可选的，远程用户画出的线条可以为封闭曲线或非封闭曲线，对此本申请不 做具体限定。

现场用户通过头戴式显示设备可以看到在真实场景中汽车的引擎盖上也 被标注椭圆形的虚拟线条，如图6d所示。

现场用户可以打开汽车的引擎盖，如图6e所示。现场用户打开引擎盖后， 俯视看汽车，头戴式显示设备可以采集到如图6f所示的视频。

远程用户可以对视频进行操作，如图6g所示。

可选的，远程用户可以在终端设备11上显示的视频中的相应位置画线， 如图6g所示，远程用户在汽车的引擎盖上画出“×”。

现场用户通过头戴式显示设备可以看到在真实场景中汽车的引擎盖上相 应位置处显示虚拟线条“×”，如图6h所示。

在一可选实施例中，可以基于视频图像与三维场景模型得到三维坐标集 合，可以理解的是，视频图像是二维图像，基于二维图像与三维场景模型得 到的三维坐标在深度方向上的值可能并不准确。

仍以图6d为例，若三维坐标深度方向上的值不准确，那么可能得到电子 设备12显示的虚拟线条可能不位于任何物体上，例如图7所示的虚拟线条71 可能位于空中，虚拟线条71位于空中。使得现场用户并不知道该虚拟线条到 底是标注哪个物体。

针对上述问题，本申请实施例提供了以现场用户的目标用户位置信息调 节三维坐标在深度方向上的值，使得三维坐标集合更加靠近需要被标注的物 体，从而使得现场用户能够确定哪个物体是被标注的物体。

例如，采用本申请实施例提供的上述方法，可以使得图7所示的虚拟线 条的位置更加接近被标注物体(例如汽车引擎盖)，实现如图6d所示虚拟线 条更加接近被标注物体(例如汽车引擎盖)的目的。

下面对步骤S202的实现方式进行详细说明，包括：

步骤A1：基于所述至少一帧视频图像以及所述三维场景模型，得到所述 线条位于三维场景模型的待调节三维坐标集合。

其中，所述待调节三维坐标集合包括位于所述线条上的至少一点分别对 应的待调节三维坐标。

在一可选实施例中，步骤A1的实现方式如下：

步骤A11：针对每一帧视频图像，获取所述视频图像与所述三维场景模 型对应的至少一组匹配点集合，以得到所述至少一帧视频图像分别对应的至 少一组匹配点集合。

一组匹配点集合包括位于所述视频图像上的第一匹配点以及位于所述三 维场景模型的第二匹配点。

步骤A12：基于所述至少一帧视频图像分别对应的至少一组匹配点集合， 得到所述线条位于所述三维场景模型的待调节三维坐标集合

可选的，步骤A12可以包括：针对每一视频图像，基于所述视频图像与 所述三维场景模型对应的至少一组匹配点集合，得到由所述视频图像对应的 二维图像转换至所述三维场景模型对应的三维图像的转换矩阵，以得到所述 至少一帧视频图像分别对应的转换矩阵。基于所述至少一帧视频图像分别对 应的转换矩阵，得到所述线条位于所述三维场景模型的待调节三维坐标集合。

可选的，针对每一视频图像，在得到视频图像包含的至少局部线段位于 所述三维场景模型的待调节三维坐标的过程中，需要该视频图像与三维场景 模型相匹配，对于本申请实施例而言，该视频图像与三维场景模型是相匹配。

“视频图像与三维场景模型相匹配”是指，假设将一台相机架设在三维 场景模型中，相机显示的画面和该视频图像相同。

下面对“获取所述视频图像与所述三维场景模型对应的至少一组匹配点 集合”进行说明。

在拾取三维场景模型和视频图像的至少一组匹配点集合的过程中，拾取 的每组匹配点集合必须实际对应，例如三维场景模型中选择灯杆底座作为第 二匹配点，则视频图像也应该选择同一个灯杆底座作为第一匹配点。拾取原 则是：选匹配点尽量分散，重点区域多选匹配点，优先选择易于分辨的匹配 点。

可选的，针对每一视频图像可以选择至少6组匹配点集合，然后利用至 少6组匹配点集合来计算转换矩阵。有了转换矩阵，就可根据视频图像上任 一点的二维坐标，找到该点位于三维场景模型中的待调节的三维坐标。

上述“选择至少6组匹配点集合”仅为示例，本申请实施例并不对选取 的匹配点集合的数目进行限定，例如，还可以为5组、4组、3组、7组、8 组等等。

步骤A2：基于所述目标用户位置信息，调整所述待调节三维坐标集合包 含的至少一个待调节三维坐标中表征深度方向的值，得到所述三维坐标集合。

示例性的，对于任一三维坐标而言，若终端设备11显示的视频图像所在 平面为XOY面，三维坐标深度方向的值可以为Z轴方向上的值。

针对每一待调节三维坐标，该待调节三维坐标对应的调节后的深度方向 的值可以是现场用户与目标场景第一距离，或者，该待调节三维坐标对应的 调节后的深度方向的值可以是基于第一距离与待调节三维坐标的z方向的值 进行预设运算得到的，或者，该待调节三维坐标对应的调节后的深度方向的 值可以是现场用户与目标场景中被标注的物体之间的第二距离，或者，该待 调节三维坐标对应的调节后的深度方向的值可以是基于第二距离与待调节三 维坐标的z方向的值进行预设运算得到的。

示例性的，预设运算可以包括：求取平均值或加权平均值等任一运算。

可以理解的是，针对每一视频图像，在得到视频图像包含的至少局部线 段位于所述三维场景模型的待调节三维坐标的过程中，需要该视频图像与三 维场景模型相匹配。下面说明视频图像与三维场景模型为什么是“相匹配” 的。

在一可选实施例中，现场用户在观察目标场景的过程中，现场用户的工 作模式可能一直不变，也可能会发生变化。工作环境信息包括：现场用户观 看所述目标场景中的目标物的位姿信息、所述目标物所处形态，以及，至少 表征所述用户在所述目标场景中位置的用户位置信息中的一种或多种。

可以理解的是，现场用户观察目标场景的工作模式发生变化，电子设备 采集的视频图像就会发生变化，若想要使得视频图像与三维场景模型相匹配， 需要对三维物体模型进行调节，以得到三维场景模型。

如图8所示，为本申请实施例提供的获得三维预测场景模型的一种实现 方式的流程图。

步骤S801：确定所述用户在所述目标场景的当前工作模式为第一工作模 式。

本申请实施例中确定当前工作模式属于第一工作模式的方式有多种，本 申请实施例提供但不限于以下两种实现方案。

第一种实现方案：基于各工作模式分别对应的工作时长，以及，预设的 工作模式执行次序，确定当前工作模式属于第一工作模式。

示例性的，第一种实现方案具体包括：若检测到当前时间与第一时间的 差值超出第二工作模式对应的工作时长，基于工作模式分别对应的执行次序， 获取第二工作模式的下一所述第一工作模式。

其中，第一时间为处于第二工作模式下现场用户观测目标物的开始的时 间。当前时间与第一时间的差值是指现场用户已经在第二工作模式下工作的 时长。

下面以现场环境为飞机巡检环境，目标物为飞机为例进行说明，可选的， 各工作模式包括：工作模式1、工作模式2、工作模式3，且预设的工作模式 执行次序依次为：工作模式1、工作模式2、工作模式3。其中，工作模式1 对应的工作时长为30分钟；工作模式2对应的工作时长为40分钟，工作模 式3对应的工作时长为20分钟。

假设，现场用户在10点10分开始进行巡检，且初始模式为工作模式1， 若随着时间的流逝，当前时间为10点20，由于当前时间与10点10分的差值 并未超出30分钟，所以当前工作模式仍为工作模式1；若随着时间的流逝， 当前时间为10点41，由于当前时间与10点10分的差值已经超出30分钟， 所以当前工作模式为工作模式1的下一工作模式，即工作模式2。

第二种实现方案：基于当前采集的所述目标场景对应的至少一个视频， 生成所述目标场景对应的三维真实模型的第一局部区域；若所述第一局部区 域与当前已调整的三维物体模型相应区域不匹配，基于预设的工作模式执行 次序，获取第二工作模式的下一所述第一工作模式，当前已调整的三维物体 模型是基于所述第二工作模式对应的工作环境信息调节得到的。

示例性的，由于基于目标场景的至少一个视频得到的三维真实模型需要 一定的时间，为了快速确定当前工作模式，可以在得到第一局部区域后，基 于第一局部区域确定。

为了本领域技术人员更加理解第二种实现方案，下面举例进行说明。

假设将一台相机架设在三维场景模型中，该相机在三维场景模型中的位 姿信息与现场用户观测目标物的位姿信息相同，该相机与目标物相对位置信 息与现场用户与目标物的相对位置信息相同，那么，本申请实施例提供的三 维物体模型的图，是相机显示的三维物体模型相应的画面。

可选的，相机位姿信息包括相机在三维场景模型中的三维坐标以及相机 拍摄三维场景模型的视角。现场用户观测目标物的位姿信息包括现场用户在 目标场景中的三维坐标以及现场用户观看目标物的视线方向。

“相机在三维场景模型中的位姿信息与现场用户观测目标物的位姿信息 相同”是指，相机在三维场景模型中的三维坐标与现场用户在目标场景中的 三维坐标相同；相机拍摄三维场景模型的视角与现场用户观看目标物的视线 方向相同。

假设现场用户所在场景如图6a所示，假设现场用户携带电子设备直视汽 车，那么，基于电子设备采集的目标场景的至少一个视频得到的三维真实模 型可以为如图6b所示。

若基于第二工作模式对应的工作环境信息调节后的三维物体模型如图9a 所示。

由于是现场用户携带电子设备直视汽车，所以基于电子设备采集的目标 场景的至少一个视频得到的三维真实模型的第一局部区域可以为如图9b所 示。图9b为图6b的局部区域。

从图9a和图9b可以看出，第一局部区域(图9b中用虚线框框出部分) 与当前已调整的三维物体模型相应区域(图9a中用虚线框框出部分)不匹配。

可选的，本申请实施例提及的“第一局部区域与当前已调整的三维物体 模型相应区域不匹配”是指第一局部区域与当前已调整的三维物体模型相应 区域的像素值不完全相同。

若第二工作模式的下一工作模式为第一工作模式，那么，确定当前工作 模式为第一工作模式。

步骤S802：基于所述第一工作模式对应的预设的工作环境信息，调节所 述目标场景中目标物对应的预构建的三维物体模型，以得到所述三维预测场 景模型。

下面对工作环境信息进行说明。

可选的，本申请实施例提及的位姿信息包括：用于表征电子设备在目标 场景下的三维坐标，以及，用于表征现场用户观测目标物的视线方向(或者， 电子设备采集目标场景现场视频的视角)。

可选的，目标物所处形态是指目标物存在的样貌，或表现形式。

可选的，不同工作模式下，目标物所处形态相同；可选的，不同工作模 式下，目标物所处形态不同。

以目标物为电力行业中变电室为例进行说明，假设包含工作模式1和工 作模式2。在工作模式1下，变电室中电闸所处形态为下拉状态，电闸的状态 指示灯所处形态为红色；在工作模式2下，变电室中电闸所处形态为上提状 态，电闸的状态指示灯所处形态为绿色。

示例性的，目标物可以包括多个部件，目标物所处形态包括：至少一个 部件所处形态，例如，目标物为变电室时，变电室包含很多部件，例如电闸、 电闸的状态指示灯。

上述实施例中提及“视频图像与三维场景模型相匹配”是指，假设将一 台相机架设在三维场景模型中，该相机在三维场景模型中的位姿信息与现场 用户观测目标物的位姿信息相同，该相机与目标物的相对位置信息与现场用 户与目标物的相对位置信息相同。相机显示的画面和该视频图像相同。

可选的，本申请实施例中，电子设备采集的视频图像即为携带电子设备 的现场用户观看到的图像，即“视频图像与三维场景模型相匹配”是指现场 用户观看到的图像与三维场景模型相匹配。

可选的，“视频图像与三维场景模型相匹配”包括：视频图像包含的目 标物的尺寸与相机显示的图像包含的目标物的尺寸相同，视频图像包含的目 标物的所处形态与相机显示的图像包含的目标物所处形态相同，以及，电子 设备采集目标物的采集视角与相机采集三维场景模型的采集视角相同中的至 少一种。

结合上述内容，对基于工作环境信息调节三维物体模型，以得到三维预 测场景模型的过程进行说明。

在一可选实施例中，基于第一工作模式对应的预设的工作环境信息调节 三维物体模型，以得到三维预测场景模型的过程可以包括以下至少一个步骤：

步骤B1：基于所述目标用户位置信息，调节所述三维物体模型的尺寸。

可以理解的是，现场用户与目标物的距离越远，现场用户观看到的目标 物越小，由于电子设备由现场用户携带，相应的电子设备得到的视频图像中 包含的目标物的尺寸较小；现场用户与目标物的距离越近，现场用户观看到 的目标物越大，由于电子设备由现场用户携带，相应的电子设备得到的视频 图像中包含的目标物的尺寸较大。

本申请实施例中，目标物的大小是现场用户的眼睛观测到的，是人感觉 到的，实际应用中目标物的大小是一直不变的。

下面以三维物体模型是正方体为例进行说明。

假设现场用户与目标物的距离为1米，电子设备得到的视频图像如图10a 所示。

假设现场用户与目标物的距离为10米，电子设备得到的视频图像如图10b 所示。

从图10a和图10b对比可知，图10a中正方体101的尺寸大于图10b中正 方体101的尺寸。

步骤B2：基于所述第一工作模式对应的位姿信息，调整所述三维物体模 型对应的视角。

可以理解的是，现场用户观测目标物的视线方向不同，电子设备采集目 标物的视角不同；可选的，现场用户观测目标物的视线方向，即为电子设备 采集目标物的视角。

下面以三维物体模型是汽车为例进行说明。

假设现场用户观测目标物的视线方向为俯视，电子设备采集目标物的视 角为俯视，电子设备得到的视频图像可以如图10c所示。可选的，可以调整 所述三维物体模型对应的视角，例如，调节相机的采集视角为俯视，使得相 机可以采集到如图10c所示的图像。

假设现场用户观测目标物的视线方向为平视，电子设备采集目标物的视 角为平视，电子设备得到的视频图像可以如图6b所示。可选的，可以调整所 述三维物体模型对应的视角，例如，调节相机的采集视角为平视，使得相机 可以采集到如图6b所示的图像。

步骤B3：基于所述第一工作模式对应的所述目标物所处形态，调整所述 三维物体模型的形态，以得到所述三维预测场景模型。

例如，在第一工作模式下，电闸所处的形态为下拉状态，那么，将三维 物体模型中电闸所处形态调整为下拉状态。

可选的，预先存储各工作模式下目标物包含的至少一个部件分别对应的 处于相应形态的三维模型。“上述调整三维物体模型的形态”是指，将一个 或多个部件分别对应的处于相应形态的三维模型加载至三维物体模型的相应 位置。

可选的，若得到三维预测场景模型的过程可以包括上述至少两个步骤， 至少两个步骤之间没有先后顺序。

获得三维场景模型的方法有很多种，本申请实施例提供但不限于以下几 种：

第一种：三维预测场景模型即为三维场景模型。

第二种：采集所述目标场景的至少一个视频，构建所述目标场景对应的 三维真实模型的第二局部区域；基于所述三维预测场景模型与所述第二局部 区域，获得所述三维场景模型。

本申请实施例中第一局部区域和第二局部区域可以相同，也可以不同。

可选的，基于所述三维预测场景模型与所述第二局部区域，获得所述三 维场景模型包括：将第二局部区域加载至三维预测场景模型中相应位置区域。

在一可选实施例中，由于三维预测场景模型是预先构建的，可能与三维 真实模型中一个或多个部件的模型不同，因此，需要基于三维真实模型对三 维预测场景模型进行更新。

本申请实施例还提供了根据三维真实模型对三维预测场景模型进行更新 的方法，该更新方法包括增加模型、替换模型以及删除模型中的至少一种。

增加模型的方法包括：

现场用户每次观测目标场景均执行以下步骤C1至步骤C2。

步骤C1：基于采集的所述目标场景对应的至少一个视频，构建三维真实 模型。

步骤C2：将所述三维真实模型与所述三维预测场景模型进行比较，以得 到第一比较结果，所述第一比较结果表征所述三维真实模型是否包含第一部 件模型。

其中，所述三维预测场景模型不包含第一部件模型。第一部件模型为目 标物包含的第一部件对应的模型。

由于现场用户每次观测目标场景均执行上述步骤B1至步骤B2，所以可 以得到多个第一比较结果。

步骤C3：若多个第一比较结果中，第一预设数目个第一比较结果表征所 述三维真实模型包含第一部件模型，基于所述第一部件模型位于三维真实模 型的位置信息，将所述第一部件模型添加至所述三维预测场景模型的相应位 置处。

第一预设数目为大于或等于1的任意整数。

替换模型的方法包括：

现场用户每次观测目标场景均执行以下步骤D1至步骤D2。

步骤D1：基于采集的所述目标场景对应的至少一个视频，构建三维真实 模型。

步骤D2：将所述三维真实模型与所述三维预测场景模型进行比较，以得 到第二比较结果，所述第二比较结果表征所述三维真实模型包含的第二部件 模型与所述三维预测场景模型包含的第二部件模型是否不同。

由于现场用户每次观测目标场景均执行上述步骤D1至步骤D2，所以可 以得到多个第二比较结果。

步骤D3：若多个第二比较结果中，第二预设数目个第二比较结果表征所 述三维真实模型包含的第二部件模型与所述三维预测场景模型包含的第二部 件模型不同，将所述三维真实模型包含的第二部件模型替换所述三维预测场 景模型中的第二部件模型。

第二预设数目为大于或等于1的任意整数。第二部件模型是目标物包含 的第二部件对应的模型。

删除模型方法包括：

现场用户每次观测目标场景均执行以下步骤E1至步骤E2。

步骤E1：基于采集的所述目标场景对应的至少一个视频，构建三维真实 模型。

步骤E2：将所述三维真实模型与所述三维预测场景模型进行比较，以得 到第三比较结果，所述第三比较结果表征三维真实模型不包含第三部件模型。

其中，三维预测场景模型包含第三部件模型。第三部件模型是目标物包 含的第三部件对应的模型。

由于现场用户每次观测目标场景均执行上述步骤E1至步骤E2，所以可 以得到多个第三比较结果。

步骤E3：若多个第三比较结果中，第三预设数目个第三比较结果表征三 维真实模型不包含第三部件模型，删除所述三维预测场景模型中所述第三部 件模型。

第三预设数目为大于或等于1的任意整数。

上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用 多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施 例进行详细说明。

如图11所示，为本申请实施例提供的在真实场景中画虚拟线条的装置的 一种实现方式的结构图，该装置包括：

第一获取模块111，用于获取至少一帧视频图像，所述至少一帧视频图像 组成目标场景对应的视频上被画出线条的第一动画，一帧所述视频图像至少 包括所述线条的局部线段；

第一确定模块112，用于基于所述至少一帧视频图像、三维场景模型以及 预设的目标用户位置信息，得到所述线条位于所述三维场景模型的三维坐标 集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型；

显示模块113，用于在所述目标场景的所述三维坐标集合处显示包含画出 所述虚拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一 动画中画出所述线条的画线方向相同。

可选的，第一确定模块包括：

第一确定单元，用于基于所述至少一帧视频图像以及所述三维场景模型， 得到所述线条位于三维场景模型的待调节三维坐标集合，所述待调节三维坐 标集合包括位于所述线条上的至少一点分别对应的待调节三维坐标；

第二确定单元，用于基于所述目标用户位置信息，调整所述待调节三维 坐标集合包含的至少一个待调节三维坐标中表征深度方向的值，得到所述三 维坐标集合。

可选的，第一确定模块还包括：

第一获取单元，用于针对每一帧视频图像，获取所述视频图像与所述三 维场景模型对应的至少一组匹配点集合，一组匹配点集合包括位于所述视频 图像上的第一匹配点以及位于所述三维场景模型的第二匹配点，以得到所述 至少一帧视频图像分别对应的至少一组匹配点集合；

第三确定单元，用于基于所述至少一帧视频图像分别对应的至少一组匹 配点集合，得到所述线条位于所述三维场景模型的待调节三维坐标集合。

可选的，还包括：

第二确定模块，用于确定所述用户在所述目标场景的当前工作模式为第 一工作模式；

调整模块，用于基于所述第一工作模式对应的预设的工作环境信息，调 节所述目标场景中目标物对应的预构建的三维物体模型，以得到所述三维预 测场景模型；

其中，一个所述工作环境信息包括：所述用户观看所述目标场景中的所 述目标物的位姿信息、所述目标物所处形态，以及，至少表征所述用户在所 述目标场景中位置的用户位置信息中的一种或多种，所述第一工作模式对应 的用户位置信息为所述目标用户位置信息。

可选的，第二确定模块包括：

生成单元，用于基于当前采集的所述目标场景对应的至少一个视频，生 成所述目标场景对应的三维真实模型的第一局部区域；

第二获取单元，用于若所述第一局部区域与当前已调整的三维物体模型 相应区域不匹配，基于预设的工作模式执行次序，获取第二工作模式的下一 所述第一工作模式，当前已调整的三维物体模型是基于所述第二工作模式对 应的工作环境信息调节得到的。

可选的，调整模块包括：

第一调整单元，用于基于所述目标用户位置信息，调节所述三维物体模 型的尺寸；

第二调整单元，用于基于所述第一工作模式对应的位姿信息，调整所述 三维物体模型对应的视角；

第三调整单元，用于基于所述第一工作模式对应的所述目标物所处形态， 调整所述三维物体模型的形态，以得到所述三维预测场景模型。

可选的，还包括：

构建模块，用于基于采集的所述目标场景的至少一个视频，构建所述目 标场景对应的三维真实模型的第二局部区域；

第二获取模块，用于基于所述三维预测场景模型与所述第二局部区域， 获得所述三维场景模型。

如图12所示，为本申请实施例提供的电子设备的一种实现方式的结构图， 该电子设备包括：

存储器121，用于存储程序；

处理器122，用于执行所述程序，所述程序具体用于：

获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视 频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线 段；

基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信 息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的 三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场 景模型；

在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第 二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线 条的画线方向相同。

处理器122可能是一个中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit)。

电子设备还可以包括通信接口123以及通信总线124，其中，存储器121、 处理器122以及通信接口123通过通信总线124完成相互间的通信。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计 算机程序被处理器执行时，实现如上述任一所述的在真实场景中画虚拟线条 的方法实施例中包含的各个步骤。

需要说明的是，本说明书中的各个实施例中记载的特征可以相互替换 或者组合。对于装置或系统类实施例而言，由于其与方法实施例基本相似， 所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗 示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包 括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包 括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括 没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的 要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外 的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存 储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可 编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的 任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下， 在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种在真实场景中画虚拟线条的方法，包括：

获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线段；

基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场景模型；

在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线条的画线方向相同。

2.根据权利要求1所述在真实场景中画虚拟线条的方法，所述基于所述至少一帧视频图像、三维场景模型以及预设的用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集合，包括：

基于所述至少一帧视频图像以及所述三维场景模型，得到所述线条位于三维场景模型的待调节三维坐标集合，所述待调节三维坐标集合包括位于所述线条上的至少一点分别对应的待调节三维坐标；

基于所述目标用户位置信息，调整所述待调节三维坐标集合包含的至少一个待调节三维坐标中表征深度方向的值，得到所述三维坐标集合。

3.根据权利要求2所述在真实场景中画虚拟线条的方法，所述基于所述至少一帧视频图像以及所述三维场景模型，得到所述线条位于所述三维场景模型的待调节三维坐标集合，包括：

针对每一帧视频图像，获取所述视频图像与所述三维场景模型对应的至少一组匹配点集合，一组匹配点集合包括位于所述视频图像上的第一匹配点以及位于所述三维场景模型的第二匹配点，以得到所述至少一帧视频图像分别对应的至少一组匹配点集合；

基于所述至少一帧视频图像分别对应的至少一组匹配点集合，得到所述线条位于所述三维场景模型的待调节三维坐标集合。

4.根据权利要求1所述在真实场景中画虚拟线条的方法，还包括：

确定所述用户在所述目标场景的当前工作模式为第一工作模式；

基于所述第一工作模式对应的预设的工作环境信息，调节所述目标场景中目标物对应的预构建的三维物体模型，以得到所述三维预测场景模型；

其中，一个所述工作环境信息包括：所述用户观看所述目标场景中的所述目标物的位姿信息、所述目标物所处形态，以及，至少表征所述用户在所述目标场景中位置的用户位置信息中的一种或多种，所述第一工作模式对应的用户位置信息为所述目标用户位置信息。

5.根据权利要求4所述在真实场景中画虚拟线条的方法，所述确定所述用户在所述目标场景的当前工作模式为第一工作模式包括：

基于当前采集的所述目标场景对应的至少一个视频，生成所述目标场景对应的三维真实模型的第一局部区域；

若所述第一局部区域与当前已调整的三维物体模型相应区域不匹配，基于预设的工作模式执行次序，获取第二工作模式的下一所述第一工作模式，当前已调整的三维物体模型是基于所述第二工作模式对应的工作环境信息调节得到的。

6.根据权利要求4或5所述在真实场景中画虚拟线条的方法，所述基于所述第一工作模式对应的预设的工作环境信息调节所述三维物体模型，以得到所述三维预测场景模型，包括以下至少一种：

基于所述目标用户位置信息，调节所述三维物体模型的尺寸；

基于所述第一工作模式对应的位姿信息，调整所述三维物体模型对应的视角；

基于所述第一工作模式对应的所述目标物所处形态，调整所述三维物体模型的形态，以得到所述三维预测场景模型。

7.根据权利要求1至5任一所述在真实场景中画虚拟线条的方法，还包括：

基于采集的所述目标场景的至少一个视频，构建所述目标场景对应的三维真实模型的第二局部区域；

基于所述三维预测场景模型与所述第二局部区域，获得所述三维场景模型。

8.一种在真实场景中画虚拟线条的装置，包括：

第一获取模块，用于获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线段；

第一确定模块，用于基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场景模型；

显示模块，用于在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线条的画线方向相同。

9.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于：

获取至少一帧视频图像，所述至少一帧视频图像组成目标场景对应的视频上被画出线条的第一动画，一帧所述视频图像至少包括所述线条的局部线段；

基于所述至少一帧视频图像、三维场景模型以及预设的目标用户位置信息，得到所述线条位于所述三维场景模型的三维坐标集合；

其中，所述三维坐标集合包括位于所述线条上的至少一个点分别对应的三维坐标；所述三维场景模型包含所述目标场景对应的预构建的三维预测场景模型；

在所述目标场景的所述三维坐标集合处显示包含画出所述虚拟线条的第二动画，其中，画出所述虚拟线条的画线方向与所述第一动画中画出所述线条的画线方向相同。

10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的在真实场景中画虚拟线条的方法中的各个步骤。

Images