CN107710280A - 对象可视化方法 - Google Patents

Abstract

本发明涉及信息技术和计算机技术领域，并具体涉及图像数据的处理和生成，以及涉及用于计算机绘图的图像处理，还可用于图像数据的搜索、检索、处理和显示。实体可视化方法在于：捕获数字图像，从存储多个附加信息单元的电子存储器接收附加信息单元，以及显示多个附加信息单元中的至少一个单元，将多个附加信息单元中的至少一个单元叠加至数字图像上，每个附加信息单元对应于预定的实体；除了与实体相关的附加信息之外，电子存储器也存储与对应实体的表现有关的数据；在每个捕获的图像帧中，使用从电子存储器接收的实体表现数据来检测和识别至少一个实体；计算在捕获的图像上所检测的实体的坐标，以及显示至少一个附加信息单元，该至少一个附加信息单元直接接近于捕获的图像上的对应实体，该捕获的图像被输出至显示器；在预定的时间段内，如果在先前选定的帧中被检测和识别的实体在随后选定的帧中不再被检测到，则推断该实体不存在于捕获的图像中，不再输出与实体相关的附加信息；使用可视化设备的数字相机捕获图像，并将该图像输出至显示器。

Description

对象可视化方法

技术领域

本发明涉及IT、计算机技术，即处理和生成图像数据、用于计算机绘图的图像处理，并能够用于搜索、检索、处理和显示图像数据。

背景技术

在技术本质上最接近本发明的是图像捕获方法，该方法包括以下步骤：捕获数字图像；接收图像的捕获点的位置信息，该位置信息指示数字图像被捕获的位置；接收指示图像的捕获方向的信息，该信息指示数字图像被捕获的方向；从附加信息存储设备中接收多个附加信息项目，该附加信息存储设备存储多个补充信息项目，其中在多个补充信息元素内，每个元素对应于预定的对象，并且每个元素包含对象位置信息，该对象位置信息指示对应对象的位置；视图区域由图像捕获位置信息确定，图像捕获位置信息被分成子域并被选定用于对应于一个或多个附加信息元素的子域中的每一个，该子域的数量不超过设置在多个附加信息中的子域中的对应的一个的数量，该多个附加信息包含对象的多个信息项目，该信息项目分别指示包含在子域中的位置；以及从在数字图像上重叠的多个附加信息元素中显示对应的一个或多个元素，其中在选定步骤中从多个补充信息项目中选定对应的一个或多个元素（参见RU2463663C2，G06T19 / 00，G06T11 / 60）。

能够实施一种已知方法，以可视化和过滤由视频相机捕获的叠加在地形图像上的附加地标信息。

该已知方法的缺点是其应用仅限于地形的地标的映像，并且该方法需要在捕获的方向和位置上获得数据。该已知方法不能用于显示有关可移动的对象或未关联至地形的对象的附加信息。另外，需要获得有关图像捕获的位置和方向的数据意味着存在合适的坐标系统，例如GPS和指南针，这些坐标系统不够精确（特别是在高程差的条件下或城市条件下）。

这些缺点限制了该已知方法的应用范围。

发明内容

技术成果在于，通过提供这样的能力来拓宽方法的应用领域：基于对象本身的图像数据辨识在捕获的图像上对象，以及提高可视化对象的定位的精准度。

上述成果是通过对象可视化方法实现的，该方法包括：捕获数字图像；从电子存储器获得附加信息元素，该电子存储器存储多个附加信息元素，每一个附加信息元素对应于预定的对象；映像叠加在数字图像上的多个附加信息元素中的至少一个；除了所述关于对象的附加信息之外，还在电子存储器中存储各个对象的图像数据、；使用从电子存储器获得的对象的图像数据来检测并识别在所捕获的图像的每一个选定的帧中的至少一个对象；计算在捕获的图像上所检测的对象的坐标；显示至少一个附加信息元素，该附加信息元素接近于捕获的图像上对应的对象。如果先前在选定的帧上检测并识别到的对象在预定的时间段中已经停止在随后选定的帧上被检测到，则得出结论：在捕获的图像中不存在对象，并因此停止输出与对象有关的附加信息，图像捕获通过可视化设备的数字相机执行并被输出至屏幕。

此外：

基于其形状和/或颜色和/或纹理的图像数据来识别对象；

所捕获的图像（对象在捕获的图像上被检测和识别）的选定的帧为视频图像的每个第n个帧，其中n是自然数1、2、3、4……，或者为在计算装置准备好检测和识别所述帧上的对象时形成的每个帧；

对象的图像数据至少包括一般特征和特殊特征，其中使用共同对象图像特征按以下顺序执行对象检测和识别：检测在选定的帧上的对象，使用对象图像的特殊特征计算在选定的帧上所检测的对象的坐标，在捕获的图像的选定的帧中执行对象识别；

基于在先前的帧中的对象的坐标计算下一个帧中的对象的预期坐标，并通过预期的对象坐标的组来限制下一个帧上的对象的识别区域。同时，如果在随后选定的帧中的指定受限识别区域中的对象的非识别时间超过预设阈值，则在完整的选定的帧上再次执行检测。

在检测和识别的对象所在的区域显示在屏幕上标出所捕获的图像；

通过突出显示包含对象的图像的一部分图像来对所识别的对象进行标出；

通过可视化设备的相机执行图像捕获，该可视化设备包括用于输出所捕获的图像的屏幕；

对象图像数据预先被创建并记录到至电子存储器中。

工业应用。

附图说明

借助附图来解释对象可视化方法，其中，图1示出了用于实现基于数字相机的对象可视化方法的设备的框图；图2示出了有对象存在在其上的真实图像以及在移动显示设备上的渲染对象的图像；图3示出了可视化设备操作的计算装置的结构图；图4是计算装置的逻辑图。

在附图中作出如下关键：

1 - 视频相机，2 - 计算装置，3 - 服务器，4 - 数字显示器（屏幕），5 - 互联网，6 -电子存储器，7 - 服务器通信设备，8 - 实际对象的图像，9 - 对象的可视化图像，10 - 附加信息，11 - 移动可视化设备，12 - 显示设备上的图像捕获和显示，13 - 访问电子存储器和检索对象的图像数据，14 - 检测对象的数字图像分析，15 - 计算在所捕获的图像上的对象坐标，16 - 选定的帧上没有检测到对象的持续时间与时间阈值T_min的比较，17 - 对象识别，18 - 对象选定，19 - 访问电子存储器和提取附加信息，20 - 在用于显示的捕获的图像上形成用于叠加附加信息的信号，21 - 在屏幕上显示附加信息，22 - 分析数字图像信号的存在，23 - 如果数字图像不存在则结束程序，24 - 转换至下以个选定的帧，25 -数字相机（视频相机），26 - 对象图像数据检索，27 - 视频图像帧中的对象检测装置，28 -帧中的坐标计算装置，29 - 用于计算下一个帧中的对象的预期坐标的装置，30 - 用于从电子存储器提取附加信息的装置，31 - 用于生成用于叠加附加信息和突出显示对象的信号的装置，32 - 来自于相机输出的数字图像，33 - 存储在电子存储器中的对象和附加信息的图像数据，34 - 用于显示的对象可视化信号。

具体实施方式

对象可视化方法的实质在于创建对象的图像以及与对象相关联的多个附加信息元素，每个所述元素对应于预定的对象并且事先将它们存储在电子存储器中。

图像用数字相机成像设备捕获并输出至屏幕，然后基于图像数据，例如其使用从电子存储器获得的对象图像信息的形状和/或颜色和/或纹理，对捕获的图像的每个选定的帧中的至少一个对象进行检测和辨识，计算在捕获的图像中所检测的对象的坐标，与对应的对象紧邻的附加信息的至少一个项目从电子存储器获得并显示，该对应的对象准备在捕获的图像上显示，该捕获的图像叠加在数字图像上。在这种情况下，如果在先前选定的帧上所检测和识别的对象在预定的时间段在随后选定的帧上不再被检测到，则得出结论：在捕获的图像上不存在对象，并停止输出与对象相关联的附加信息。

在这种情况下，所捕获的图像（对象在捕获的图像上被检测和识别）的每个选定的帧为视频图像的每个第n个帧，其中n是自然数1、2、3、4……，或者为在计算机装置准备好检测和识别所述帧上的对象时形成的每个帧。

对象的图像数据至少包括共同特征和特殊特征，共同特征对于所有检测的对象来说是典型的，特殊特征对于特定对象来说是典型的。利用对象图像的共同特征，在选定的帧上检测的对象，在其完整的区域中，在选定的帧上确定检测的对象的坐标，然后使用对象图像的特殊特征在捕获的图像的选定的帧中识别对象。

当识别到在先前选定的帧上已经检测的对象时，在帧的限制区域上执行识别，基于在先前选定的帧上计算出的对象坐标来预测其坐标。在这种情况下，如果在随后选定的帧的限制区域中的对象的未检测时间超过预定阈值，则再次在选定的帧的完整的区域上执行进一步检测。

当通过突出显示包括对象的图像的部分图像显示捕获的图像时，在屏幕上所检测和识别的对象的区域被示出。

图像捕获通过可视化设备的数字相机执行，该可视化设备包括用于输出捕获的对象的屏幕、计算装置和电子存储器。

对象可视化方法如下实施。

确定要被可视化的对象的组成，并且预先创建它们的图像，该图像用于在所述对象的图像的检测和识别过程中使用。对象的图像包括这样的对象的多个图像特征，这些图像特征对于对应的对象来说是典型的，在捕获的图像上的对象的图像的检测和识别过程中使用。在这种情况下，对象的图像代表至少两组特征，其中一组特征是共同的，对于所有预先安装的对象来说是典型的。该组的特征用于确定图像中是否存在任何对象，即对象的检测。另一组的特征用于识别图像中的特定对象。

此外，与某些先前辨识的对象有关的附加信息的阵列以与特定对象（例如文本、图像或多媒体）中的一个相关联的以附加信息元素的形式正在被创建。对象的图像数据和关于这些对象的附加信息连同关于附加信息元素与特定对象的链接的数据被存储在与可视化设备连接的电子存储器中。

在可视化器的相机打开后，图像通过该相机被捕获并显示在可视化器的屏幕上。捕获的数字图像作为输入信号被发送至计算装置。

计算装置在使用对象的先前创建的图像来检测和识别在所捕获的图像上的预先定义的指定对象的过程中访问电子存储器。基于包括其形状和/或颜色和/或纹理的图像数据，在每个选定的视频帧上执行对象识别。每个选定的帧是视频图像的每个第n个帧，其中n是自然数1、2、3、4……。然而，如果计算装置的性能不足以处理每个第n个帧，则选定的帧为由视频图像的每一帧，该视频图像的每一帧在计算装置完成先前处理周期并将准备好处理用于对象检测和识别的新帧时形成。

对象的检测和识别在几个步骤实现，首先使用对于所有对象来说典型的图像的共同特征，在整个帧内对选定的帧执行对象检测。检测事实表明其中一个对象的存在，无需指定检测哪个特定对象。接下来，在选定的帧上计算所检测的对象的坐标，然后，利用对象图像的特殊特征，在所捕获的图像的选定的帧中识别特定对象，并考虑到所检测的对象的坐标。

为了节省可视化器的资源并提高对象的可视化的速度，已经在先前选定的帧上检测到的对象的识别不是在选定的帧完整的区域上进行，而是仅在其限制的区域上进行。基于先前选定的帧上所计算的对象坐标的值来预测该区域的坐标。然而，如果在随后选定的帧中的指定的限制区域上的对象的检测期间，时间停止超过预定的阈值（例如捕获的视频的100个帧），那么对选定的帧的完整的区域执行进一步的检测。

如果存在识别其中一个对象的事实，则转向存储在电子存储器中的附加信息的阵列，并检索与识别的对象相关联或连接的附加信息的元素。

接下来，生成并显示附加信息的数字图像信号，该数字图像信号包括多个附加信息元素中的至少一个元素，该多个附加信息预先定义为与检测的对象相关联。所述附加信息元素在来自可视化器的视频相机的数字视频图像上重叠。在显示的图像上所检测的对象通过突出显示对象位置区域来标记。

在屏幕上的附加信息的输出被执行，使得附加信息被放置在对应的被检测和识别的对象的图像的区域中的输出图像上。

实现在屏幕上的附加信息的输出，使得附加信息放置在对应的检测和识别对象的图像的区域中的输出图像上。

如果在捕获的图像的随后的帧上，不可能检测到具有已经被渲染的相关联的附加信息的对象，则在屏幕上持续显示附加信息一段预先定义的时间，之后，如果再次检测到对象图像，则得出结论：存在对象并继续输出附加信息。如果在规定的时间内未找到对象，则确定在捕获的图像上不存在对象，并且终止在屏幕上显示附加信息。

对视频图像上的对象的识别提供了通过其外部特征来辨识特定对象的能力，这反过来提供了不参考地形或地图而实施该方法的能力，并且辨识正在移动的对象或正在被移动对象。

通过直接在视频图像上检测和识别对象并跟踪帧中的移动的对象的坐标，提供了图像中对象定位的高精准度，并且不依赖于任何导航系统的限制。

可视化器的计算装置是基于处理器制成的，在对应的操作系统的控制下进行操作。当实施对象可视化方法时，计算装置的操作方案包括以下主要步骤（图3）。

执行的开始涉及打开视频相机并形成数字图像，该数字图像在可视化器的屏幕上实时显示。生成的数字图像被馈送至计算装置的输入，一旦信号出现就开始访问电子存储器。其中存储在电子存储器中的对象的参考图像。所述参考图像用于对象检测和识别。对象检测在每个选定的视频帧上重复。

一旦在由视频相机捕获的图像上检测到对象，就执行其坐标的计算。检测的坐标用于对象坐标预测装置的操作，提供在另一帧中的预期坐标的计算。

如果在计算的帧坐标内识别出检测的对象，则检测的对象图像等同于视频相机视场中的真实对象。

在随后选定的帧中的识别是在帧的限制区域上执行的，其坐标是通过预测对象的坐标的装置来计算的。如果在预定时间T_min期间，不可能在帧的该限制区域中检测到对象，则在选定的帧的完整的区域上再次执行检测。这样，同时监视帧内所检测的对象的移动。

计算装置请求电子存储器提取与检测和识别的对象相关联的附加信息。

计算的对象坐标还用于关联附加信息图像并选择捕获的图像上的对象的图像区域。

生成输出信号和附加信息在捕获的图像上的叠加，并且在屏幕上显示附加信息，考虑到输出图像上的对象坐标。

如果作为分析当前选定的帧上的数字图像的结果，不能检测到对象的图像，则图像分析处理继续处理下个选定的图像帧。图像分析继续的同时启动对应的程序。

而且，在计算装置的输入执行数字图像的存在的分析。如果数字图像信号到达计算装置的输入，则对于每个选定的帧重复该过程，跟踪在捕获的图像上的对象图像的运动并且执行可视化的附加信息的相应调整。

如果数字图像信号终止存在，则对象可视化的过程终止，这意味着例如断开视频相机。生成终止程序的命令。

计算装置的逻辑图（图4）示出了实施该方法的多个装置的元素之间的相互关系。数字视频图像被馈送至对象检测装置，对象检测装置也从对象图像提取装置的输出接收对象的图像数据。检测结果被馈送至坐标计算装置，其计算结果在计算下一帧上的对象的预期坐标的装置中分析。当前和预期坐标被馈送至识别装置的输入，视频图像和图像数据被馈送至其中。基于识别的结果，附加信息提取装置检索与对象相关联的附加信息并将其引导至包括附加信息的装置形成信号，以将其叠加在捕获的视频图像上。

示例1

可视化器是包括前置视频相机的移动设备（图2）、基于处理器的计算装置、用于存储对象图像和附加信息的电子存储器以及屏幕。

对象的先前创建的图像数据以及与这些对象相关联的附加信息进入至移动可视化器的嵌入式的存储器或可移动的存储器中。

为了使对象可视化，将相机引导至要显示的对象，并且使用视频相机捕获图像。在这种情况下，选择视频相机镜头的视角和到对象的距离，使得捕获的图像显示对象的大部分或对象完整地被表示。捕获的图像显示在移动显示设备的屏幕上。

数字图像信号还被引导至计算装置的输入，当存在捕获的图像的输入信号时，该数字图像信号寻址电子存储器，检索对象的图像数据，该图像数据用于检测和识别捕获的图像上的对象。图像的特征（例如对象作为由颜色和亮度差异的界限形成的轮廓）、颜色和颜色相关性、表征纹理的常规元素的存在等被用于识别。

在检测过程中使用对所有对象来说共同的对象特征。辨识的结果可以是检测到选定的帧中对象的存在或者检测到对象的不存在。

在第一种情况下，计算帧中的对象的坐标，并且利用对象图像的特殊特征来识别检测对象。

在几个先前选定的帧中检测的对象的坐标用于预测在随后的帧中的对象的坐标，形成预期对象坐标的集合，这可以降低可视化器的性能要求。在这种情况下，在帧的限制区域或区域内的下一个帧上进行识别。在捕获的图像中检测并辨识出对象之后，计算装置转向电子存储器以检索与检测和辨识的对象相关联的附加信息，该附加信息通过覆盖显示的捕获的图像来显示。附加信息是包括字母和/或数字的文本，其具有与检测对象有关的解释性或描述性的字符以及图像和多媒体信息。

显示附加信息以半透明的透明度被可视化，紧邻检测和辨识的对象的图像而输出。对象本身的图像区域以这种方式突出显示，使得对象的图像与背景图像相比变得更亮。

如果在输出附加信息的过程中，检测和辨识已经停止，并且在1秒内没有恢复，则停止撤回附加信息。

示例2

可视化器是数字相机（图1），该数字相机配备有镜头、计算装置、电子存储器和服务器互联器，该镜头带有数字图像生成矩阵，该矩阵形成带有数字显示的视频相机，该服务器互联器是调制解调器，用于利用互联网通过无线电通道连接至计算装置。服务器提供对象的图像数据和附加信息的存储。

用于检测和识别的对象的图像以及附加信息被预先创建并存储在服务器上，并具有通过互联网连接至其和检索存储在其中的信息的能力。

在拍摄过程中，将相机镜头投射到场景中并执行图像捕获，而由矩阵形成的视频图像显示在相机屏幕上。

捕获的数字图像也被传输至计算装置的输入，该计算装置通过调制解调器经由互联网连接至服务器。捕获的图像被计算装置压缩并被传送至服务器，图像处理在该服务器中执行，以使用先前创建并存储在服务器的存储器中的图像来检测图像上的对象的特征。

如果在图像中检测到对象并识别，则与检测对象相关联的附加信息、对应的图像从电子存储器中提取，并经由互联网传输至调制解调器的输入，然后传输至相机的电子存储器。

在相机的计算装置的帮助下，对象的图像在捕获的图像上被识别，附加信息与来自相机的电子存储器的对象相关联，并且在捕获的图像上的附加信息被显示在相机的屏幕上。在这种情况下，图像被可视化，使得检测和识别的对象显示在由较亮的线形成的正方形或椭圆形帧中，并且附加信息被叠加在紧邻对象图像的图像上。

示例3

可视化器是带有嵌入式视频相机的玻璃，带有电子存储器和屏幕的计算装置。

对象的预先创建的图像和附加信息的阵列存储在可视化器的电子存储器中。

在可视化器的屏幕上，显示由嵌入到玻璃的前置视频相机捕获的图像。捕获的数字图像还被传输用于处理计算装置，该计算装置指的是电子存储器，接收对象图像并提供在捕获的图像上的对象的检测和识别。在对象被识别之后，在屏幕上的对象周围的区域被选定为具有由亮线形成的矩形框，该亮线与输出的捕获的图像重叠，附加信息从电子存储器中提取并叠加在紧邻所检测的对象的捕获的图像输出上。

计算装置提供在捕获的视频图像上所检测的对象的坐标的计算。它们用于选定对象选定帧和附加信息的可视化坐标，使得帧的位置和附加信息的放置伴随着对象的图像，因为其在图像中检测到对象时移动。

如果在附加信息的输出期间，先前检测的对象的检测和识别停止，并且在捕获的视频图像的30个选定的帧内不恢复，则停止输出附加信息和对象选定帧。

可视化器可以使用标准电子元件实施：LED显示器、处理器、固态存储器元件、调制解调器等。

因此，由于基于对象本身的图像数据来辨识捕获的图像上的对象的能力，以及提高正在被可视化的对象的定位精准度的能力，所以可视化器具有更广泛的应用范围。

Claims (9)

1.一种对象可视化方法，该方法包括捕获数字图像、从电子存储器获取附加信息项目、显示叠加至数字图像的多个附加信息元素中的至少一个，所述电子存储器存储多个补充信息元素，每个补充信息元素对应于预定的对象，其特征在于，除了关于对象的附加信息，电子存储器存储对应对象的图像数据，检测和识别在捕获的图像的每个选定的帧中的至少一个对象，使用从电子存储器获得的对象的图像数据，计算在捕获的图像上所检测的对象的坐标，显示紧邻所显示的捕获图像上的对应对象的至少一个附加信息元素，如果在先前选定的帧上被检测和识别的对象在预定的时间内在随后选定的帧上不再检测，则得出结论：在捕获的图像上没有对象，并且停止输出与对象相关联的附加信息，图像捕捉由可视化器的数字相机执行并被输出至屏幕。

2.根据权利要求1所述的方法，其特征在于，对象识别是基于其形状和/或其颜色和/或其纹理来执行的。

3.根据权利要求1所述的方法，其特征在于，在对象在其上被检测和识别的捕获的图像的选定的帧为视频图像的每个第n个帧，其中n为1、2、3、4……的自然数，或者为计算装置准备好检测并识别在其上的对象时形成的每个帧。

4.根据权利要求1所述的方法，其特征在于，对象图像数据至少包括共同特征和特殊特征，对象的检测和识别按照以下顺序执行：使用对象图像的共同特征检测在选定的帧上的对象，使用对象图像的特殊特征来计算在选定的帧上所检测的对象的坐标，对在所捕获的图像的选定的帧中的对象执行识别。

5.根据权利要求1所述的方法，其特征在于，基于在先前的帧中的对象的坐标计算在下一个帧中的对象的预期坐标，并通过预期的对象坐标的组来限制在下一个帧的上的对象的识别区域，在随后选定的帧中的识别区域将超过预设阈值，然后在完整的选定的帧上执行进一步的检测。

6.根据权利要求1所述的方法，其特征在于，当输出所捕获的图像时，在屏幕上显示被检测和识别的对象的区域。

7.根据权利要求1所述的方法，其特征在于，通过突出显示包含对象的图像的一部分图像来选定所识别的对象。

8.根据权利要求1所述的方法，其特征在于，图像捕获由可视化器的相机执行，该可视化器包括用于输出所捕获的图像的屏幕。

9.根据权利要求1所述的方法，其特征在于，预先执行对象图像的创建及对象图像在电子存储器中的存储。