CN115482364A - 增强现实图像生成方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及增强现实技术领域，提供一种增强现实图像生成方法、装置、计算机设备及存储介质，包括：获取影音文件，播放所述影音文件得到视频图像；识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线；在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息；对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。本申请有利于实现对物品进行精准管控，提高了仓储管理的可靠性，提高了目标物品的信息管理准确度。

Description

增强现实图像生成方法、装置、计算机设备及存储介质

技术领域

本申请涉及增强现实技术领域，尤其涉及一种增强现实图像生成方法、装置、计算机设备及存储介质。

背景技术

仓储管理是对仓库和仓库中储存的物资进行管理，通过仓库对商品进行储存和保管，当前的仓储管理通常是通过台账对其中的物品进行管理。

然而，发明人发现，由于仓库中物品的数量及种类繁多，且摆放形态的随机性，导致使用者无法通过台账对物品在仓库中的空间位置和摆放形态进行直观的感知，造成无法对物品进行精准管控，进而降低了仓储管理的可靠性。

发明内容

本申请提供一种增强现实图像生成方法、装置、计算机设备及存储介质，用以解决当前使用者无法通过台账对物品在仓库中的空间位置和摆放形态进行直观的感知，造成无法对物品进行精准管控，进而降低了仓储管理的可靠性的问题。

第一方面，本申请提供一种增强现实图像生成方法，包括：

获取影音文件，播放所述影音文件得到视频图像；

识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线；

在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息；

对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

上述方案中，所述创建与所述覆盖图像关联的触发事件之后，所述方法还包括：

采集所述目标物品的重量信息和位置信息，及所述视频图像中轮廓线上各轮廓点的轮廓坐标，根据所述轮廓线计算所述覆盖图像的覆盖面积，将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间，用以在所述数据孪生空间中构建相应于所述目标物品的虚拟物品，其中，所述位置信息是所述目标物品在放置位置。

上述方案中，所述将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间之后，所述方法还包括：

监控所述数据孪生空间的虚拟物品，若监听到所述虚拟物品的覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息，将所述异常信息发送至控制端。

上述方案中，所述获取影音文件之前，所述方法还包括：

获取摄像文件，对所述摄像文件进行格式处理得到影音文件。

上述方案中，所述绘制所述目标物品的轮廓线，包括：

识别所述视频图像中相应于所述目标物品的轮廓点；

对所述轮廓点进行连线获得轮廓线，其中，所述轮廓点是处于所述目标物体外部轮廓上的像素点。

上述方案中，所述在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，包括：

在所述轮廓线在所述视频图像中圈定的范围内创建覆盖图像；

根据所述轮廓线上轮廓点的坐标计算所述闭合区域的中心点；

在所述中心点上创建用于触发所述覆盖图像的触发事件，及在所述触发事件中载入所述目标物品的属性信息。

上述方案中，所述对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，包括：

在所述视频图像中创建画布，将所述覆盖图像绘制在所述画布的图层上，用以将所述覆盖图像覆盖到所述视频图像上；

将所述覆盖图像的触发事件录入所述视频图像中，通过预置的增强现实系统渲染具有所述覆盖图像和所述触发事件的视频图像得到所述增强现实图像。

第二方面，本申请提供一种增强现实图像生成装置，包括：

图像播放模块，用于获取影音文件，播放所述影音文件得到视频图像。

轮廓构建模块，用于识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线。

图像及事件模块，用于在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息。

增强现实模块，用于对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

第三方面，本申请提供一种计算机设备，包括：处理器以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求上述的增强现实图像生成方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的增强现实图像生成方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的增强现实图像生成方法。

本申请提供的增强现实图像生成方法、装置、计算机设备及存储介质，通过在视频图像中的目标物品上创建覆盖图像，创建与覆盖图像关联的触发事件，并对具有覆盖图像和触发事件的视频图像进行渲染得到增强现实图像，不仅使得使用者能够直观感知目标物品的在保存地的空间位置和摆放形态，有利于实现对物品进行精准管控，提高了仓储管理的可靠性，使用者还可通过触发所述触发事件得到目标物品的表面轮廓(即所述覆盖图像)及属性信息，进一步的提高了目标物品的信息管理准确度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种增强现实图像生成方法的实施例1的流程图；

图3为本申请实施例提供的一种增强现实图像生成方法的实施例2的流程图；

图4为本发明提供的一种增强现实图像生成装置的程序模块示意图；

图5为本发明计算机设备中计算机设备的硬件结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，本申请具体的应用场景为：

运行有增强现实图像生成方法的服务器2，从边缘设备3中获取摄像文件，对摄像文件进行格式处理得到影音文件播放影音文件得到视频图像。

服务器2识别视频图像中的目标物品，在视频图像中绘制目标物品的轮廓线，及在轮廓线圈定的闭合区域内创建覆盖图像，创建与覆盖图像关联的触发事件。在一个现实场景中，所述目标物品为保存在仓库中的大宗商品。

服务器2对具有覆盖图像和触发事件的视频图像进行渲染得到增强现实图像，使得覆盖图像和属性信息能够根据触发事件的触发展示在增强现实图像中。在一个现实场景中，所述属性信息为上述大宗商品的专业市场报价、商品种类、数量、品质、以及所述大宗物品所有者的企业生产经营信息。

服务器2还通过边缘设备3采集目标物品的重量信息和位置信息，及视频图像中轮廓线上各轮廓点的轮廓坐标，根据轮廓线计算覆盖图像的覆盖面积，将视频图像、轮廓坐标、覆盖面积、重量信息和位置信息上传至预置的数据孪生空间4，用以在数据孪生空间中构建相应于目标物品的虚拟物品。

服务器2监控数据孪生空间的虚拟物品，若监听到虚拟物品的覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息，将异常信息发送至控制端5。

所述边缘设备3包括摄像头、RFID系统和所述重量传感器

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例1：

请参阅图2，本申请提供一种增强现实图像生成方法，包括：

S101：获取影音文件，播放所述影音文件得到视频图像。

本步骤中，通过媒体源扩展控制器根据所述影音文件收到流，将流内容不断地生成blob地址并输出给HTML5的video标签进行播放。

其中，BLOB(binary large object)，二进制大对象，是一个可以存储二进制文件的容器。在计算机中，BLOB常常是数据库中用来存储二进制文件的字段类型。BLOB是一个大文件，典型的BLOB是一张图片或一个声音文件，由于它们的尺寸，必须使用特殊的方式来处理(例如：上传、下载或者存放到一个数据库)。

HTML5是构建Web内容的一种语言描述方式。HTML5是互联网的下一代标准，是构建以及呈现互联网内容的一种语言方式.被认为是互联网的核心技术之一。

video标签是HTML 5中的新标签。标签的作用是在HTML页面中嵌入视频元素。标签定义视频，比如电影片段或其他视频流。

在一个优选的实施例中，所述播放所述影音文件得到视频图像，包括：

S11：根据所述影音文件生成blob地址；

S12：将所述blob地址输出至媒体播放器，使所述媒体播放器播放所述影音文件得到视频图像。

具体地，媒体源扩展(Media Source Extensions，缩写MSE)是一项W3C规范，它允许JavaScript为<audio>和<video>动态构造媒体源。通过媒体源扩展控制器根据所述影音文件生成blob地址，并将所述blob地址输出至媒体播放器，使所述媒体播放器播放所述影音文件得到视频图像，所述播放器是指具有video标签的HTML5页面，HTML5页面通过video标签接收blob地址中的影音文件，并对所述影音文件进行播放。

S102：识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线。

本步骤中，通过识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线，以便于后续对目标物品进行识别。

在一个优选的实施例中，所述绘制所述目标物品的轮廓线，包括：

S21：识别所述视频图像中相应于所述目标物品的轮廓点。

本步骤中，通过预置的图像语义分割模型，识别所述视频图像中相应于所述目标物品的至少一个轮廓点，汇总所述轮廓点得到轮廓点集。

所述图像语义分割模型是基于计算机视觉技术，根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，进而将不同分属不同物品的像素区域分开的技术方案。例如：将前景与后景分割开，或一张图片中将狗的区域与猫的区域和背景分割开。

S22：对所述轮廓点进行连线获得轮廓线，其中，所述轮廓点是处于所述目标物体外部轮廓上的像素点。

具体地，所述识别所述像素点中的轮廓点，对所述轮廓点进行连线获得轮廓线，包括：

S221：对所述轮廓点集中的轮廓点的像素坐标进行归一化处理得到比例坐标。

本步骤中，所述归一化处理，是把数变为(0，1)之间的小数，进而把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。

将所述轮廓点在原目标坐标适配转换，由于得到的点集是像素坐标，需要将像素坐标等比归一化，转换为图像相对坐标，将其适配为能被SVG解析的path路径元素(在屏幕上表现为一些不可打印、不活动的矢量形状)。

SVG是指可缩放矢量图形(Scalable Vector Graphics，SVG)：是由W3C组织于1993年开始开发平推出的一种矢量图形描述语言的开放标准，是一种用于描述二维的矢量图形，基于XML的标记语言。

由于SVG因为是矢量图形，能够被任意放缩，所以本步骤通过将像素坐标转为比例坐标，使得视频图像无论放大缩小成何种比例，均能够准确获得视频图像中目标物品的轮廓点。

S222：根据所述比例坐标在所述视频图像上设置相应于所述轮廓点的连接点，对所述连接点进行绘制得到所述轮廓线。

本步骤中，基于开源JavaScript组件库Snap.svg，连接点集，其中，连接点集中至少具有一个所述连接点；设置延时动画，其中，设持续时间为t，连接点集为P，则时间步长为P/t，此时设置逐点遍历，设置偏移向量为|p1-p2|，即可画出轮廓线。Snap.svg是一个强大且直观的SVG动画内容操纵API，支持屏蔽、裁剪、全梯度和组别等使得内容更具吸引力和交互性的功能。

示例性地，M1：设连接点集为P＝{P1，P2，P3，……，Pn}，其中n为连接点集中连接点的个数。已知所有轮廓均为闭合曲线，则区间X＝{[P1，P2]，[P2，P3]，……，[Pn-1，Pn]，[Pn，1]}。若设动画是线性过渡的，且持续总时间为t，则可知均分到每个点的动画持续t/n。

M2：设向量Xi＝[Pi，Pi+1]为p，i∈[1，n]，其模长为|Pi-Pi+1|，由3.1可知时间步长为Δt＝t/n。此时，从起点Pi开始，沿着单位向量方向，以v1＝|Pi-Pi+1|/Δt的绘制速度。

M3：按照上述步骤将i从1到n-1遍历，逐个区间连接，直至完成闭合。

S103：在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息。

本步骤中，所述属性信息是反映目标物品性质的信息，其包括所述目标物品的专业市场报价、商品种类、数量、品质、以及所述目标物品所有者的企业生产经营信息。于本实施例中，通过智能物联网设备采集目标物品(如：大宗商品)的重量、位置等信息。所述智能物联网设备是旨在以某种方式与现实世界进行交互的物理对象。该设备可能是装配线上的传感器或智能监控摄像头。无论哪种情况，设备都可以感知物理世界中正在发生的事情。该设备本身包括集成的CPU，网络适配器和固件，通常在开放源代码平台上构建。

在一个优选的实施例中，所述在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，包括：

S31：在所述轮廓线在所述视频图像中圈定的范围内创建覆盖图像；

S32：根据所述轮廓线上轮廓点的坐标计算所述闭合区域的中心点；

S33：在所述中心点上创建用于触发所述覆盖图像的触发事件，及在所述触发事件中载入所述目标物品的属性信息。

本步骤中，基于上述举例，当轮廓线曲线动画持续时间达到t，即曲线闭合时，使用有一定透明度的条带填充曲线闭合区域得到覆盖图像，并触发回调函数用以获取相应于所述目标物品的属性信息。其中，所述覆盖图像具有透明度，所述覆盖图像为由至少一个条带平行布置，或所述覆盖图像为透明的填充颜色，或所述覆盖图像为透明的马赛克。

在所述轮廓点集中：

识别x坐标值为最小值的轮廓点，并将该轮廓点设为x最小轮廓点；

识别x坐标值为最大值的轮廓点，并将该轮廓点设为x最大轮廓点；

识别y坐标值为最小值的轮廓点，并将该轮廓点设为y最小轮廓点；

识别y坐标值为最大值的轮廓点，并将该轮廓点设为y最大轮廓点；

计算x最小轮廓点的x坐标值和x最大轮廓点的x坐标值的中值得到x中值，计算y最小轮廓点的y坐标值和y最大轮廓点的y坐标值的中值得到y中值，将坐标为x中值和y中值的点设为所述闭合区域的中心点。

创建用于触发覆盖图像的触发事件，并将所述触发事件与所述中心点绑定，用以将所述中心点作为触发所述触发事件运行的事件识别区域，使得触发事件一旦被触发，则弹出所述目标物品的属性信息。

S104：对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

本步骤不仅通过增强现实图像使得使用者能够直观感知目标物品的在保存地的空间位置和摆放形态，有利于实现对物品进行精准管控，提高了仓储管理的可靠性，使用者还可通过触发所述触发事件得到目标物品的表面轮廓(即所述覆盖图像)及属性信息，进一步的提高了目标物品的信息管理准确度。

本步骤中，采用基于AR技术的增强现实系统对覆盖图像和触发事件以及视频图像进行渲染，得到增强现实图像。

需要说明的是，增强现实系统在功能上主要包括四个关键部分，其中，图像采集处理模块是采集真实环境的视频，然后对图像进行预处理；而注册跟踪定位系统是对现实场景中的目标进行跟踪，根据目标的位置变化来实时求取相机的位姿变化，从而为将虚拟物品按照正确的空间透视关系叠加到真实场景中提供保障；虚拟信息渲染系统是在清楚虚拟物品在真实环境中的正确放置位置后，对虚拟信息进行渲染；虚实融合显示系统是将渲染后的虚拟信息叠加到真实环境中再进行显示。

在一个优选的实施例中，所述对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，包括：

S41：在所述视频图像中创建画布，将所述覆盖图像绘制在所述画布的图层上，用以将所述覆盖图像覆盖到所述视频图像上。

本步骤中，通过canvas将覆盖图像绘制到视频图像上。

其中，canvas是HTML5新增的元素，通过javascript脚本来完成图形的绘制。它可以用于动画、游戏画面、数据可视化、图片编辑以及实时视频处理等方面。

具体地，在视频图像上创建透明的画布，画布是Bitmap(位图，又称栅格图或点阵图，是使用像素阵列来表示的图像)，所有的图像都是画在这个Bitmap上的。

调用Canvas.drawXXX()函数生成透明的图层，将覆盖图像绘制在该图层上，绘制完成后，覆盖图像就覆盖在画布上。

S42：将所述覆盖图像的触发事件录入所述视频图像中，通过预置的增强现实系统渲染具有所述覆盖图像和所述触发事件的视频图像得到所述增强现实图像。

本步骤中，所述增强现实图像为AR增强现实图像，增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

实施例2：

请参阅图3，本申请提供一种增强现实图像生成方法，包括：

S201：获取摄像文件，对所述摄像文件进行格式处理得到影音文件。

本步骤中，所述获取摄像文件，包括：

通过物联化仓储平台接入边缘设备，从所述边缘设备中获取所述摄像文件。其中，物联化仓储平台是实现智能仓储的方式，智能仓储是物流过程的一个环节，智能仓储的应用保证了货物仓库管理各个环节数据输入的速度和准确性，确保企业及时准确地掌握库存的真实数据，合理保持和控制企业库存。

其中，所述边缘设备包括枪机式摄像头，全景摄像头、电子围栏、激光雷达，以及RFID和各类传感器等。RFID是指无线射频识别(Radio Frequency Identification，RFID)：是一种通过无线射频方式进行非接触式双向数据通信的自动识别技术。

于本实施例中，所述摄像文件是flv格式文件的内容，flv是flashvideo的简称，flv流媒体格式是一种新的视频格式，全称为flashvideo。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入flash后，使导出的swf文件体积庞大，不能在网络上很好的使用等缺点。

在一个优选的实施例中，所述对所述摄像文件进行格式处理得到影音文件，包括：

S51：将所述摄像文件分离成视频流和音频流。

本步骤中，通过预置的分离器按照协议进行对所述摄像文件进行格式拆分，分化出视频流和音频流，其中，所述分离器音频视频分离软件，其用于将摄像文件中的音频流和视频流进行分离。

S52：分别将所述视频流和音频流分别转换成预置的目标格式得到视频信息和音频信息。

本步骤中，所述目标格式为MP4，通过将视频流转换成目标格式，以提高视频流的清晰度，通过将音频流转换成目标格式，以扩大音频流的清晰度和内容丰富程度。所述MP4是一套用于音频、视频信息的压缩编码标准，所述MP4格式可以使用较小的文件提供较高的图像质量。

S53：对所述视频信息和所述音频信息进行合流得到影音文件。

本步骤中，通过将flv格式的视频流和音频流，转为mp4格式的视频信息和音频信息，并合流得到MP4格式的影音文件，在保证了影音文件的清晰度与原摄像文件接近甚至相同的同时，极大的降低了影音文件的内存占用量。

S202：获取影音文件，播放所述影音文件得到视频图像。

本步骤与实施例1中S101一致。

S203：识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线。

本步骤与实施例1中S102一致。

S204：在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息。

本步骤与实施例1中S103一致。

S205：采集所述目标物品的重量信息和位置信息，及所述视频图像中轮廓线上各轮廓点的轮廓坐标，根据所述轮廓线计算所述覆盖图像的覆盖面积，将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间，用以在所述数据孪生空间中构建相应于所述目标物品的虚拟物品，其中，所述位置信息是所述目标物品在放置位置。

本步骤中，通过预置的边缘设备采集所述目标物品的重量信息和位置信息，及所述视频图像中轮廓线上各轮廓点的轮廓坐标，根据所述轮廓线计算所述覆盖图像的覆盖面积，用以将计算操作分担到边缘设备中，以降低运行有增强现实图像生成方法的服务器的算力负担。

所述边缘设备是指向企业或服务提供商核心网络提供入口点的设备。所述边缘计算是指在靠近物或数据源头的一侧(即所述边缘设备中)，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。所述边缘计算的应用程序在边缘设备中发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。于本实施例中，所述边缘计算将关键处理任务置于生成数据的框架或环境中(即：所述边缘设备中)，其支持在数据创建位置生成、存储和处理数据，而无需借助数据中心或中央数据计算环境，提高了性能，加强了数据安全，降低了运营成本。

数字孪生：数字孪生是具有数据连接的特定物理实体或过程的数字化表达，该数据连接可以保证物理状态和虚拟状态之间的同速率收敛，并提供物理实体或流程过程的整个生命周期的集成视图，有助于优化整体效率；因此，通过将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至数字孪生空间，使得数字孪生空间能够在虚拟空间中完成对现实中目标物品映射，从而反映相对应的目标物品的实体的全生命周期过程。

所述重量信息通过预置的重量传感器对目标物品进行检测所获得。

所述位置信息是所述目标物品现实中的摆放位置，于本实施例中，通过预置的RFID系统扫描预设在目标物品上的RFID码，使RFID系统与目标物品关联，将RFID系统所在的位置设为所述位置信息。

RFID一般指射频识别技术，是Radio Frequency Identification的缩写。其原理为阅读器与标签之间进行非接触式的数据通信，达到识别目标的目的。

所述RFID系统和所述重量传感器为所述边缘设备的组成部分。

S206：对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

本步骤与实施例1中S104一致。

S207：监控所述数据孪生空间的虚拟物品，若监听到所述虚拟物品的覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息，将所述异常信息发送至控制端。

本步骤中，通过在数据孪生空间中构建用于监控所述虚拟物品覆盖面积、轮廓坐标、重量信息、位置信息的监控进程(例如：zabbix)，一旦监控进程发现覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息并将其发送至控制端，实现对目标物品异常的实时监控的技术效果。

zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。

实施例3：

请参阅图4，本申请提供一种增强现实图像生成装置1，包括：

图像播放模块12，用于获取影音文件，播放所述影音文件得到视频图像。

轮廓构建模块13，用于识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线。

图像及事件模块14，用于在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息。

增强现实模块16，用于对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

可选的，所述增强现实图像生成装置1，还包括：

格式处理模块11，用于获取摄像文件，对所述摄像文件进行格式处理得到影音文件。

可选的，所述增强现实图像生成装置1，还包括：

数字孪生模块15，用于采集所述目标物品的重量信息和位置信息，及所述视频图像中轮廓线上各轮廓点的轮廓坐标，根据所述轮廓线计算所述覆盖图像的覆盖面积，将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间，用以在所述数据孪生空间中构建相应于所述目标物品的虚拟物品，其中，所述位置信息是所述目标物品在放置位置。

可选的，所述增强现实图像生成装置1，还包括：

异常监控模块17，用于监控所述数据孪生空间的虚拟物品，若监听到所述虚拟物品的覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息，将所述异常信息发送至控制端。

实施例4：

为实现上述目的，本申请还提供一种计算机设备6，包括：处理器以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现上述的增强现实图像生成方法，其中，增强现实图像生成装置的组成部分可分散于不同的计算机设备中，计算机设备6可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个应用服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器61、处理器62，如图5所示。需要指出的是，图5仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。本实施例中，存储器61(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器61可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器61也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。当然，存储器61还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器61通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例三的增强现实图像生成装置的程序代码等。此外，存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备的总体操作。本实施例中，处理器62用于运行存储器61中存储的程序代码或者处理数据，例如运行增强现实图像生成装置，以实现上述实施例的增强现实图像生成方法。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

为实现上述目的，本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机执行指令，程序被处理器62执行时实现相应功能。本实施例的计算机可读存储介质用于存储实现所述增强现实图像生成方法的计算机执行指令，被处理器62执行时实现上述实施例的增强现实图像生成方法。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的增强现实图像生成方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种增强现实图像生成方法，其特征在于，包括：

获取影音文件，播放所述影音文件得到视频图像；

识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线；

在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息；

对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

2.根据权利要求1所述的增强现实图像生成方法，其特征在于，所述创建与所述覆盖图像关联的触发事件之后，所述方法还包括：

采集所述目标物品的重量信息和位置信息，及所述视频图像中轮廓线上各轮廓点的轮廓坐标，根据所述轮廓线计算所述覆盖图像的覆盖面积，将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间，用以在所述数据孪生空间中构建相应于所述目标物品的虚拟物品，其中，所述位置信息是所述目标物品在放置位置。

3.根据权利要求2所述的增强现实图像生成方法，其特征在于，所述将所述视频图像、所述轮廓坐标、所述覆盖面积、所述重量信息和所述位置信息上传至预置的数据孪生空间之后，所述方法还包括：

监控所述数据孪生空间的虚拟物品，若监听到所述虚拟物品的覆盖面积、和/或轮廓坐标、和/或重量信息、和/或位置信息变动，则生成异常信息，将所述异常信息发送至控制端。

4.根据权利要求1所述的增强现实图像生成方法，其特征在于，所述获取影音文件之前，所述方法还包括：

获取摄像文件，对所述摄像文件进行格式处理得到影音文件。

5.根据权利要求1所述的增强现实图像生成方法，其特征在于，所述绘制所述目标物品的轮廓线，包括：

识别所述视频图像中相应于所述目标物品的轮廓点；

对所述轮廓点进行连线获得轮廓线，其中，所述轮廓点是处于所述目标物体外部轮廓上的像素点。

6.根据权利要求1所述的增强现实图像生成方法，其特征在于，所述在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，包括：

在所述轮廓线在所述视频图像中圈定的范围内创建覆盖图像；

根据所述轮廓线上轮廓点的坐标计算所述闭合区域的中心点；

在所述中心点上创建用于触发所述覆盖图像的触发事件，及在所述触发事件中载入所述目标物品的属性信息。

7.根据权利要求1所述的增强现实图像生成方法，其特征在于，所述对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，包括：

在所述视频图像中创建画布，将所述覆盖图像绘制在所述画布的图层上，用以将所述覆盖图像覆盖到所述视频图像上；

将所述覆盖图像的触发事件录入所述视频图像中，通过预置的增强现实系统渲染具有所述覆盖图像和所述触发事件的视频图像得到所述增强现实图像。

8.一种增强现实图像生成装置，其特征在于，包括：

图像播放模块，用于获取影音文件，播放所述影音文件得到视频图像；

轮廓构建模块，用于识别所述视频图像中的目标物品，在所述视频图像中绘制所述目标物品的轮廓线；

图像及事件模块，用于在所述轮廓线圈定的闭合区域内创建覆盖图像，创建与所述覆盖图像关联的触发事件，其中，所述触发事件中载入有所述目标物品的属性信息；

增强现实模块，用于对具有所述覆盖图像和所述触发事件的视频图像进行渲染得到增强现实图像，使得所述覆盖图像和所述属性信息能够根据所述触发事件的触发展示在所述增强现实图像中。

9.一种计算机设备，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的增强现实图像生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的增强现实图像生成方法。

Images