CN109034167A - 视觉标记方法、系统、电子终端、及计算机可读存储介质 - Google Patents

Abstract

本发明提供视觉标记方法、系统、电子终端、及计算机可读存储介质，发起终端发送分享文件至一或多个接收终端，以待所述接收终端接收；分析所述分享文件，以生成分析结果信息；创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；将所述增强视觉标记信息发送至所述接收终端。本发明中交互各方通过远程模式即可实现场景的分享，且对场景进行增强现实标记，如绘图、写字、放置标记，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。

Description

视觉标记方法、系统、电子终端、及计算机可读存储介质

技术领域

本发明涉及网络通讯领域，特别是涉及视觉标记方法、系统、电子终端、及计算机可读存储介质。

背景技术

目前，对于视觉信息的标记，一般通过软件由人工或者机器进行预处理。例如：记录目标坐标、跟踪GPS位置、或者图片特征等信息，通过绘制或放置标记再进行图片合成来实现。以教师远程批改学生的试卷作为视觉信息标记为例：通常学生会将完成的试卷拍照，通过通讯软件发送至教师，供教师在图片上进行标记、绘画等操作，再回传至学生，从而完成一次交互。

但是，这样的交互模式面对实时性要求比较高的场合，如即时会议、实时远程教学、远程运维、远程指导等场景，存在较大弊端，用户体验差，需要亟需一种即时进行画面标记的技术来进行辅助补充，但目前市场上没有针对实时场景的标记技术出现。

发明内容

鉴于以上所述现有技术的缺点，本发明提供视觉标记方法、系统、电子终端、及计算机可读存储介质，用于解决现有的交互模式用户体验度差等技术题。

为实现上述目的及其他相关目的，本发明提供一种视觉标记方法，应用于发起终端，所述方法包括，发送分享文件至一或多个接收终端，以待所述接收终端接收；分析所述分享文件，以生成分析结果信息；创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；将所述增强视觉标记信息发送至所述接收终端。

于本发明的一实施例中，发送分享文件至一或多个接收终端的方式包括：发起终端主动发送分享文件至一或多个接收终端，或者发起终端接受来自一或多个接收终端的分享请求并发送分享文件至所述接收终端。

于本发明的一实施例中，分析所述分享文件，以生成分析结果信息包括：基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件；其中，所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征包括颜色、纹理、及形状中的任意一种或多种组合；所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

于本发明的一实施例中，所述静态帧图片特征提取算法包括SIFT算法、SURF算法、或者KAZE算法；所述即时定位与地图构建算法包括PTAM算法、DTAM算法、或者ORB-SLAM算法。

于本发明的一实施例中，所述创建视觉标记的方式包括：创建关联于所述分析结果信息的视觉标记具体包括：接收用户操作或用户输入，据以创建关联于所述分析结果信息的视觉标记；所述用户操作包括通过触摸屏进行手绘、屏幕鼠标绘制、或者预制标记放置；所述用户输入包括文字输入。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现应用于发起终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行所述应用于发起终端的视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种视觉标记方法，应用于接收终端，所述方法包括：接收来自一或多个发起终端的分享文件；分析所述分享文件，以生成分析结果信息；创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；将所述增强视觉标记信息发送至所述发起终端。

于本发明的一实施例中，接收来自一或多个发起终端的分享文件，其方式包括：一或多个发起终端发送分享文件至接收终端，或者所述接收终端主动发起分享请求至一或多个发起终端。

于本发明的一实施例中，分析所述分享文件，以生成分析结果信息包括：基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件；其中，所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征包括颜色、纹理、及形状中的任意一种或多种组合；所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

于本发明的一实施例中，所述静态帧图片特征提取算法包括SIFT算法、SURF算法、或者KAZE算法；所述即时定位与地图构建算法包括PTAM算法、DTAM算法、或者ORB-SLAM算法。

于本发明的一实施例中，所述创建视觉标记的方式包括：通过触摸屏进行手绘、屏幕鼠标绘制、预制标记放置、或者文字输入。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现应用于接收终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行应用于接收终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种视觉标记系统，其包括：一或多个发起终端，以及一或多个接收终端；其中，各所述接收终端、发起终端均通信连接有图像摄取装置；发起终端发送分享文件至接收终端，且发起终端和接收终端中的至少一者分析所述分享文件以生成分析结果信息，并创建关联于所述分析结果信息的视觉标记以生成增强视觉标记信息；其中，创建视觉标记的一者将所述增强视觉标记信息发送至另一者。

如上所述，本发明的视觉标记方法、系统、电子终端、及计算机可读存储介质，具有以下有益效果：交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。

附图说明

图1显示为本发明一实施例中视觉标记系统的示意图。

图2显示为本发明一实施例中视觉标记系统的工作流程示意图。

图3显示为本发明一实施例中视觉标记方法的流程图。

图4显示为本发明一实施例中视觉标记方法的流程图。

图5显示为本发明一实施例中电子终端的示意图。

元件标号说明

11 发起终端

12 接收终端

51 处理器

52 存储器

53 通信器

54 通信接口

55 系统总线

S201～S206 步骤

S301～S304 步骤

S401～S404 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本发明一实施例中视觉标记系统的示意图。于本实施例中，所述视觉标记系统包括一或多个发起终端，以及一或多个接收终端；各所述接收终端、发起终端均通信连接有未图示的图像摄取装置。

所述发起终端、接收终端具体可以是会议电视设备、移动终端、平板电脑、或者skype工具等等；所述图像摄取装置例如可以是摄像头，用于输入图像，其可内置于终端也可外设于终端外，本发明对此不作限定。

发起终端发送分享文件至接收终端，且发起终端和接收终端中的至少一者分析所述分享文件以生成分析结果信息，并创建关联于所述分析结果信息的视觉标记以生成增强视觉标记信息；其中，创建视觉标记的一者将所述增强视觉标记信息发送至另一者。

需要说明的是，本实施例中所述的发起终端发送分享文件至接收终端，可以是指一个发起终端将分享文件发送至一或多个接收终端，也可以是指一或多个发起终端将分享文件发送至一个接收终端，还可以是指多个发起终端将分享文件发送至多个接收终端。为便于理解，下文仅以一个发起终端和一个接收终端为例予以说明视觉标记方法的实施方式及原理。

如图2所示，展示本发明一实施例中视觉标记系统的工作流程示意图。于本实施例中，视觉标记系统的工作流程具体如下：

S201：发起终端发送分享请求至接收终端，以待所述接收终端接收分享文件。可选的，所述发起终端主动发送分享文件至接收终端，或者发起终端在接收到来自接收终端的分享请求后将分享文件发送至接收终端。其中，所述分享文件包括视觉数据，所述视觉数据例如可以是发起方所处环境的视频文件。

S202：接收终端确认该分享请求。

S203：发起终端将分享文件传送至接收终端。

S204：接收终端分析所述分享文件的内容，以生成分析结果信息。可选的，分析所述分享文件的内容的方法包括基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件。所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征例如：颜色特征、纹理特征、或者形状特征等等。所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

具体的，所述静态帧图片特征提取算法例如：SIFT算法、SURF算法、或者KAZE算法等等。SIFT算法即尺度不变特征变换算法，可在图像中检测出关键点，是一种局部特征描述子。SIFT特征生成一般包括如下步骤：构建尺度空间，检测极值点，获得尺度不变形；特征点过滤并进行精确定位；为特征点分配方向值；生成特征描述子。SURF算法是一种高鲁棒性的局部特征点检测算法，该算法的特征生成一般包括如下步骤：构建Hessian矩阵；构建尺度空间；精确定位特征点；确定主方向；生成特征点描述子。KAZE算法是基于非线性尺度空间的算法，该算法的特征生成一般包括如下步骤：构造非线性尺度空间；非线性尺度空间特征点的检测；特征点的精确定位；特征点主方向的确定；特征向量的构造；特征向量的匹配。

S205：创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息。可选的，所述创建视觉标记的方式例如：基于所述分析结果信息进行手绘、通过屏幕鼠标进行绘制、放置预制标记、或者输入文字等等。优选的，在交互过程中，发起方和接收方还可通过视频、语音等方式的同步传输，进一步加强实时互动的效果，达到视觉标记与实时语音的同步。

为便于本领域技术人员理解，下文以施工现场为例，进一步阐释本发明的技术方案。于本实施例中，以位于施工现场的用户为发起方，以远程通信的组织人员为接收方。位于施工现场的用户欲得到组织人员的远程指导，则可发送施工现场的实时视频文件至组织人员，该组织人员的接收终端接收该视频文件并分析该视频文件的内容以生成相应的分析场景。该组织人员可通过手绘或者文字输入等方式，在所述分析场景中进行标记。交互各方均可在同一视频场景中，看到视觉标记后的场景，从而实现实时远程指导现场施工。需要说明的是，除了上述实施例中的施工现场，本发明的技术方案还可应用于实时远程教育，实时远程会议，远程车间指导、远程运维等场景中，本发明对此不再一一赘述。

S206：接收终端将所述增强视觉标记信息发送至发起终端。可选的，在其他的实施例中，在接收到来自发起终端的获取增强视觉标记信息的请求后，接收终端再将所述增强视觉标记信息发送至该发起端。

需要说明的是，本实施例仅以接收终端创建视觉标记为例，但本发明的技术方案并不限于此。在其他的实施例中，也可由发起终端创建视觉标记，或者发起终端和接收终端均创建视觉标记，本发明对此不作限定。基于同样的道理，创建视觉标记的一方可将增强视觉标记信息主动发送至另一方，或者待接收到对方的获取请求后再发送增强视觉标记信息。

值得注意的是，对于视觉信息的标记，一般通过软件由人工或者机器进行预处理。例如：记录目标坐标、跟踪GPS位置、或者图片特征等信息，通过绘制或放置标记再进行图片合成来实现。这样的交互方式效率低下无法实现实时性。或者，即使有些视觉信息标记技术有较好的实时性，但却必需借助于电子白板才能实现视觉标记，这不仅导致交互成本的上升且交互终端也不利于携带。

本发明则非常巧妙地解决了上述诸技术问题，交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。

如图3所示，展示本发明一实施例中视觉标记方法的流程图。于本实施例中，所述视觉标记方法应用于发起终端，其包括：

S301：发送分享文件至一或多个接收终端，以待所述接收终端接收；

S302：分析所述分享文件，以生成分析结果信息；

S303：创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；

S304：将所述增强视觉标记信息发送至所述接收终端。该应用于发起终端的视觉标记方法与步骤S201～S206的实施方式类似，故不再赘述。

如图4所示，展示本发明一实施例中视觉标记方法的流程图。于本实施例中，所述视觉标记方法应用于接收终端，其包括：

S401：接收来自一或多个发起终端的分享文件；

S402：分析所述分享文件，以生成分析结果信息；

S403：创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；

S404：将所述增强视觉标记信息发送至所述发起终端。该应用于发起终端的视觉标记方法与步骤S201～S206的实施方式类似，故不再赘述。

本申请实施例提供的再一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器51、存储器52、通信器53、通信接口54和系统总线55；存储器52和通信接口54通过系统总线55与处理器51和通信器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信接口54、通信器53用于和其他设备进行通信，处理器51用于运行计算机程序，以使所述电子终端执行如上S301～S304或者S401～S403方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提供的视觉标记方法、系统、电子终端、及计算机可读存储介质，交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种视觉标记方法，其特征在于，应用于发起终端，所述方法包括：

发送分享文件至一或多个接收终端，以待所述接收终端接收；

分析所述分享文件，以生成分析结果信息；

创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；

将所述增强视觉标记信息发送至所述接收终端。

2.根据权利要求1所述的视觉标记方法，其特征在于，发送分享文件至一或多个接收终端的方式包括：发起终端主动发送分享文件至一或多个接收终端，或者发起终端接受来自一或多个接收终端的分享请求并发送分享文件至所述接收终端。

3.根据权利要求1所述的视觉标记方法，其特征在于，分析所述分享文件，以生成分析结果信息包括：基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件；其中，所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征包括颜色、纹理、及形状中的任意一种或多种组合；所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

4.根据权利要求3所述的视觉标记方法，其特征在于，所述静态帧图片特征提取算法包括SIFT算法、SURF算法、或者KAZE算法；所述即时定位与地图构建算法包括PTAM算法、DTAM算法、或者ORB-SLAM算法。

5.根据权利要求1所述的视觉标记方法，其特征在于，创建关联于所述分析结果信息的视觉标记具体包括：接收用户操作或用户输入，据以创建关联于所述分析结果信息的视觉标记；所述用户操作包括通过触摸屏进行手绘、屏幕鼠标绘制、或者预制标记放置；所述用户输入包括文字输入。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述的视觉标记方法。

7.一种电子终端，其特征在于，包括：处理器、存储器、及通信器；

所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行如权利要求1至5中任一项所述的视觉标记方法。

8.一种视觉标记方法，其特征在于，应用于接收终端，所述方法包括：

接收来自一或多个发起终端的分享文件；

分析所述分享文件，以生成分析结果信息；

创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；

将所述增强视觉标记信息发送至所述发起终端。

9.根据权利要求8所述的视觉标记方法，其特征在于，接收来自一或多个发起终端的分享文件，其方式包括：一或多个发起终端发送分享文件至接收终端，或者所述接收终端主动发起分享请求至一或多个发起终端。

10.根据权利要求8所述的视觉标记方法，其特征在于，分析所述分享文件，以生成分析结果信息包括：基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件；其中，所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征包括颜色、纹理、及形状中的任意一种或多种组合；所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

11.根据权利要求9所述的视觉标记方法，其特征在于，所述静态帧图片特征提取算法包括SIFT算法、SURF算法、或者KAZE算法；所述即时定位与地图构建算法包括PTAM算法、DTAM算法、或者ORB-SLAM算法。

12.根据权利要求8所述的视觉标记方法，其特征在于，创建关联于所述分析结果信息的视觉标记具体包括：接收用户操作或用户输入，据以创建关联于所述分析结果信息的视觉标记；所述用户操作包括通过触摸屏进行手绘、屏幕鼠标绘制、或者预制标记放置；所述用户输入包括文字输入。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求8～12中任一项所述的视觉标记方法。

14.一种电子终端，其特征在于，包括：处理器、存储器、及通信器；

所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行如权利要求8至12中任一项所述的视觉标记方法。

15.一种视觉标记系统，其特征在于，包括：

一或多个发起终端，以及一或多个接收终端；其中，各所述接收终端、发起终端均通信连接有图像摄取装置；

发起终端发送分享文件至接收终端，且发起终端和接收终端中的至少一者分析所述分享文件以生成分析结果信息，并创建关联于所述分析结果信息的视觉标记以生成增强视觉标记信息；其中，创建视觉标记的一者将所述增强视觉标记信息发送至另一者。