CN111787186A - 一种视频图像处理方法及基于电子地图的拼图方法 - Google Patents

Abstract

本发明实施例涉及地图显示领域，尤其涉及一种视频图像处理方法及基于电子地图的拼图方法，其中一种视频图像处理方法，其中，读取与兴趣点匹配的至少两个图像帧；并计算两个图像帧之间的时间差；判断所述时间差是否匹配预定的时间差阈值；于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧。本发明中，于同一个兴趣点中采集的两个图像帧的时间差满足预定阈值的状态下，分别根据图像帧或图像帧数据来源形成备用图像帧，并对图像帧、备用图像帧分别做复制以形成补充的视频流。

Description

一种视频图像处理方法及基于电子地图的拼图方法

本分案申请的原案申请是发明申请，原案申请号是2017104973371，发明名称是一种视频图像处理方法及基于电子地图的拼图方法，申请日是2017年6月26日。

技术领域

本发明实施例涉及地图显示领域，尤其涉及一种视频图像处理方法及基于电子地图的拼图方法。

背景技术

街景地图是一种实景地图服务，为用户提供城市、街道或其他环境的360度全景图像。通过街景地图，用户只需坐在电脑前就可以真实的看到街道上的高清景象，获得如临其境的地图浏览体验。

在现有技术中，电子地图的实现方法主要由两种方式行驶，一种方式时是由具有测绘资质的专业机构利用专业设备定期进行实地采集与地图路线相关的图片，然后进行后期处理，后期处理主要是将某一地点拍摄的图片采用无缝拼接技术拼接成一幅完整的街景图像，将完整的街景图像上传至服务端供用户获取，用户在使用时，登录相应的服务端，输入相应的控制命令，例如前进或后退，服务器根据控制命令加载下一地点的街景图像，从而实现街景视图的展示。但是，此种方式形成的街景地图仅能显示街景图像，街景视图展示方式单一，实时性相对较弱。另一种方式是由互联网用户在电子地图网站上更新地图，例如基于导航路线行驶过程中发现该路线上的部分导航路线无法行驶，例如正在修路或修桥等情况。这种方式充分利用了互联网的优势，可以发动数量庞大的互联网用户共同参与标注，简便快捷，成本低廉。但缺点是当每两个用户对同一兴趣点信息进行上传时，两次上传时间间隔相对较长，故而无法对地图进行更新处理。

发明内容

本发明提供一种视频图像处理方法及基于电子地图的拼图方法，于采集数据不足的状态下实现对地图的更新处理。

一方面，本发明提供一种视频图像处理方法，其中：

读取与兴趣点匹配的至少两个图像帧；并计算两个图像帧之间的时间差；

判断所述时间差是否匹配预定的时间差阈值；

于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧。

优选地，上述的一种视频图像处理方法，其中：还包括：

根据图像复制帧形成一匹配所述时间差的视频流。

优选地，上述的一种视频图像处理方法，其中：还包括：对所述视频流做标识处理。

优选地，上述的一种视频图像处理方法，其中：其中所述时间差阈值包括第一阈值，第二阈值；判断所述时间差是否匹配预定的时间差阈值包括，

判断所述时间差是否大于第二阈值；

于所述时间差不小于第二阈值的状态下，判定所述时间差匹配所述时间差阈值；

于所述时间差小于第二阈值的状态下，继续判断所述时间差是否大于所述第一阈值，

于所述时间差大于第一阈值的状态下，判定所述时间差不匹配所述时间差阈值。

优选地，上述的一种视频图像处理方法，其中：所述图像帧包括第一图像帧、第二图像帧，于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧包括：

读取与所述时间差匹配的第一时刻、第二时刻；

读取与所述第一时刻的下一个时刻匹配的第一备用图像帧；

读取与所述第二时刻的上一个时刻匹配的第二备用图像帧；

按照预定的算法复制所述第一图像帧、第一备用图像帧、第二图像帧、第二备用图像帧以形成所述图像复制帧。

优选地，上述的一种视频图像处理方法，其中：所述预定算法为：

＝(m/4)*25；

其中：n为所述第一图像帧、或第一备用图像帧、或第二图像帧、或第二备用图像帧的复制数量；

为所述时间差。

优选地，上述的一种视频图像处理方法，其中：于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧包括：

计算所述时间差与所述第一阈值之间的时间间隔；

根据所述时间间隔分别复制两个所述图像帧以形成图像复制帧。

另一方面，本发明再提供一种基于电子地图的拼图方法，其中：包括，

根据兴趣点位置信息于原始视频集获取与所述兴趣点位置信息匹配的图像帧；

读取每个图像帧形成的时间信息；

计算每个时间信息与任意两个相邻的所述时间信息之间时间差；

判断每个所述时间差是否匹配预定的时间差阈值；

于所述时间差匹配预定的标准阈值的状态下，根据时序对所述图像帧做排序处理；

于所述时间差不匹配预定的标准阈值的状态下，读取不匹配所述标准阈值的时间信息，复制与所述时间信息匹配的每个所述图像帧以形成复制图像帧，根据时序对所述图像帧、复制图像帧做排序处理。

优选地，上述的一种基于电子地图的拼图方法，其中：根据兴趣点位置信息于原始视频集获取与所述兴趣点位置信息匹配的图像帧，其中所述原始视频集的形成方式包括：

接收用户发送的注册请求，并于所述注册请求被验证通过后读取与用户当前位置匹配的参考图像或视频数据；

读取与每个所述参考图像或视频数据匹配的参考路线数据；

根据所述参考路线数据形成所述兴趣点；

根据所述兴趣点、所述参考图像或视频数据形成所述原始视频集。

另一方面，本发明在提供一种计算机可读的存储介质，其中，存储有上述任一种方法形成的电子地图。

与现有技术相比，本发明的优点是：

本发明中，在同一个兴趣点中采集的两个图像帧的时间差满足预定阈值的状态下，分别根据图像帧的数据来源形成备用图像帧，并对图像帧、备用图像帧分别做复制以形成补充的视频流，通过补充的视频流弥补原始数据的不足之处，一方面提高了电子地图的实时性，另一方面也提高了电子地图的准确性。

附图说明

图1为本发明实施例提供的一种视频图像处理方法流程示意图；

图2为本发明实施例提供的一种视频图像处理方法流程示意图；

图3为本发明实施例提供的一种视频图像处理方法流程示意图；

图4为本发明实施例提供的一种视频图像处理方法流程示意图；

图5为本发明实施例提供的一种基于电子地图的拼图方法流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

基于现有的电子仅只能做到简单导航功能，无法实时性和准确性，基于这一缺陷，本发明实施例基于互联网技术上实现地图的实时更新，其具体技术方案是：

实施例一

一方面，本发明提供一种视频图像处理方法，其中：如图1所示，

步骤S110、读取与兴趣点匹配的至少两个图像帧；并计算两个图像帧之间的时间差；其中与兴趣点匹配的图像帧的数量至少包括两个，每个图像帧均记录有产生该图像帧的时刻，时间差则由后一个图像帧的时刻减去前一个图像帧的时刻的差值形成。

当某一兴趣点的图像帧数量不小于3的状态下，除了首位图像帧、末位图像帧之外，每个图像帧至少包含两个时间差。例如，当兴趣点A具有4个图像帧，分别为图像帧A1，图像帧A1记录的时刻为1:10＇12＂，图像帧A2，图像帧A2记录的时刻为1:10＇22＂；图像帧A3，图像帧A3记录的时刻为1:10＇36＂，图像帧A4，图像帧A4记录的时刻为1:10＇39＂，则图像帧A2的时间差则包括，图像帧A1与图像帧A2的时间差10＂、图像帧A3与图像帧A2的时间差14＂；图像帧A3的时间差则包括图像帧A3与图像帧A2的时间差14＂、图像帧A3与图像帧A4的时间差3＂。

当某一兴趣点的图像帧数量小于3的状态下，每个图像帧的时间差则为末位图像帧与首位图像帧之间的时间差。

所述兴趣点、图像帧获取方法具体包括：如图2所示，

步骤S1101、接收用户发送的注册请求，并于所述注册请求被验证通过后读取与用户当前位置匹配的参考图像或视频数据；

步骤S1102、读取与每个所述参考图像或视频数据匹配的参考路线数据；

步骤S1103、根据所述参考路线数据形成所述兴趣点；

步骤S1104、根据所述兴趣点、所述参考图像或视频数据形成所述图像帧。

步骤S120、判断所述时间差是否匹配预定的时间差阈值，作为进一步优选实施方案，其中所述时间差阈值包括第一阈值，第二阈值，第二阈值大于第一阈值；当时间差大于第二阈值的状态下，可理解为上一个图像帧与下一个图像帧之间的时间间隔相对较长，则此时无法形成补充视频流，即上一图像帧的时间为1:15＇，下一个图像帧的时间为1:30＇，这时间差为15＇，当第二阈值设置为10＇时，则上一个图像帧与下一个图像帧之间因时间间隔时间较长则无法形成补充视频流。具体包括：

步骤S1201、判断所述时间差是否大于第二阈值；第二阈值可根据实际应用确定，此处不做具体限定，

步骤S1202、于所述时间差不小于第二阈值的状态下，判定所述时间差匹配所述时间差阈值；当所述时间差不小于第二阈值的状态；则如上述图像帧无法形成补充视频流，则终止执行后续步骤。

步骤S1203、于所述时间差小于第二阈值的状态下，于所述时间差小于第二阈值的状态下，继续判断所述时间差是否大于所述第一阈值

步骤S1204、于所述时间差大于第一阈值的状态下，判定所述时间差不匹配所述时间差阈值，判定所述时间差不匹配所述时间差阈值。

本视频图像处理方法主要应用于电子地图的更新，众所周知，电子地图仅给用户提供辅助参考意见，其图像的准确度相对较低，另外，从大数据分析可知，对于普通的公众场合，其道路两侧发生的事件于10分钟之内改变的概率相对较低，故而本发明利用这一特点对于低于10分钟之内的时间间隔差的图像做补充视频流以形成完整的视频图像。故而对于所述时间差小于第二阈值的状态下，判定所述时间差不匹配所述时间差阈值，进而可执行后续步骤。

步骤S130、于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧。作为进一步优选实施方案，所述图像帧包括第一图像帧、第二图像帧，于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧包括：具体包括：如图3所示，

步骤S1301、于所述时间差大于所述第一阈值的状态下，读取与所述时间差匹配的第一时刻、第二时刻；时间差则根据第二时刻与第一时间的数据差形成。

步骤S1302、读取与所述第一时刻的下一个时刻匹配的第一备用图像帧；如上所述，在参考图像或视频数据中当前时刻的图像帧于下一个时间的图像帧之间的差异相对较小，尤其是动作的相似度相对较小，故而采用下一个时间的图像帧作为当前时刻图像的备用帧。

步骤S1303、读取与所述第二时刻的上一个时刻匹配的第二备用图像帧；

步骤S1304、按照预定的算法复制所述第一图像帧、第一备用图像帧、第二图像帧、第二备用图像帧以形成所述图像复制帧，进一步地，所述预定算法为：

＝(m/4)*25；

其中：n为所述第一图像帧、或第一备用图像帧、或第二图像帧、或第二备用图像帧的复制数量；

为所述时间差。

步骤S140、根据图像复制帧形成一匹配所述时间差的视频流，并同时形成一匹配所述兴趣点的标识点。在视频流处形成标识点，用以提醒用户此处的视频数据准确度相对较低。

需要数量的，所述图像帧可为单独的一个静态图片，也可为动态图片，此处不做具体限制。

本发明中提供了一种通过图像帧复制的方法实现视频流，当图像帧为动态图像时，也可延长动态图像的播放实现视频流，其旨在使视频流的播放速度匹配时间差即可。

本发明中，在同一个兴趣点中采集的两个图像帧的时间差满足预定阈值的状态下，分别根据图像帧的数据来源形成备用图像帧，并对图像帧、备用图像帧分别做复制以形成补充的视频流，通过补充的视频流弥补原始数据的不足之处。

实施例二

一方面，本发明提供一种视频图像处理方法，具体地，如图4所示，

步骤S210、读取与兴趣点匹配的至少两个图像帧；并计算两个图像帧之间的时间差；其中与兴趣点匹配的图像帧的数量至少包括两个，每个图像帧均记录有产生该图像帧的时刻，时间差则由后一个图像帧的时刻减去前一个图像帧的时刻的差额形成。

步骤S220、判断所述时间差是否匹配预定的时间差阈值；

步骤S230、于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧。具体包括：

步骤S2301、于所述时间差大于所述第一阈值的状态下，计算所述时间差与所述第一阈值之间的时间间隔；例如时间差为180″，第一阈值为20″，则时间间隔为160″。

步骤S2302、根据所述时间间隔分别复制两个所述图像帧以形成图像复制帧。假设图像帧为动态图像，其实际播放时长为10秒，则每个图像帧复制8次即可。假设图像帧为静态图像，则根据每个静态图像复制后完成80秒的播放即可。

步骤S240、根据图像复制帧形成一匹配所述时间差的视频流，并同时形成一匹配所述兴趣点的标识点。在视频流处形成标识点，用以提醒用户此处的视频数据准确度相对较低。

实施例三

另一方面，如图5所示，本发明再一种基于电子地图的拼图方法，其中：包括，

步骤S310、根据兴趣点位置信息于原始视频集获取与所述兴趣点位置信息匹配的图像帧；

步骤S3101、接收用户发送的注册请求，并于所述注册请求被验证通过后读取与用户当前位置匹配的参考图像或视频数据；

参考图像或视频数据可由一个车载摄像头获取，当用户驾驶车辆时，通过车辆上的车载摄像头实时获取街景图像。用户通过通讯单元(通讯单元可由与车载摄像头有数据传输的外部通讯设备形成，也可由设置在车载摄像头内部的通讯模块形成)先向服务器发送注册请求，并于注册请求被通过后，用户直接可登录该服务，当车载摄像头处于工作状态下，即将实时获取的参考图像或视频数据上传至服务端。

通讯单元实现移动数据通信之外，还可实现定位数据获取，当车载摄像头处于工作状态下，上传参考图像或视频数据至服务端的同时也将与参考图像或视频数据匹配的定位数据发送过去。

步骤S3102、读取与每个所述参考图像或视频数据匹配的参考路线数据，服务端获取所述参考图像或视频数据、定位数据后形成参考路线数据；

待用户将所述参考图像或视频数据上传结束后，获取与每个所述参考图像或视频数据匹配的参考路线数据。简单的说是：用户的整个行驶路程为Xkm，该Xkm中包括路段A、路段B、路段C、路段D四个部分，那么该参考图像或视频数据则包括参考A路线数据、参考B路线数据、参考C路线数据、参考D路线数据。

所述参考图像或视频数据上传结束的标识可有两种，一种是实际上传结束，当用户完成整个路程的行驶后退出服务器登录，则此时标识参考图像或视频数据完成上传，另一种是虚拟上传结束，即服务器每个预定时间读取对上传的参考图像或视频数据做打包处理，当打包完成后即相当于上传结束，例如服务器每隔10分钟根据当前获取的所有参考图像或视频数据形成一文件包，当文件包形成之后，在相当于参考图像或视频数据上传结束。

步骤S3103、根据所述参考路线数据形成所述兴趣点；因同时接收了若干个用户上传的参考图像或视频数据，为了提高数据的处理效果，对同一个参考路线数据进行筛选，例如北京时间13:00有3位用户同上传了参考A路线的参考图像或视频数据，那么服务器仅保留1位用户上传的所述参考A路线数据，基于处理后的参考A路线数据形成路线信息库。

步骤S3104、根据所述兴趣点、所述参考图像或视频数据形成所述原始视频集。

步骤S320、读取每个图像帧形成的时间信息；

步骤S330、计算每个时间信息与任意两个相邻的所述时间信息之间时间差；

步骤S340、判断每个所述时间差是否匹配预定的时间差阈值；

步骤S350、于所述时间差匹配预定的标准阈值的状态下，根据时序对所述图像帧做排序处理；

步骤S360、于所述时间差不匹配预定的标准阈值的状态下，读取不匹配所述标准阈值的时间信息，复制与所述时间信息匹配的每个所述图像帧以形成复制图像帧，根据时序对所述图像帧、复制图像帧做排序处理；

步骤S370、根据图像帧、复制图像帧形成补充视频流，将补充视频流更新至现有电子数据中。

另一方面，本发明在提供一种计算机可读的存储介质，其中，存储有上述任一种方法形成的电子地图。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。此处不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频图像处理方法，其特征在于：

读取与兴趣点匹配的至少两个图像帧；并计算两个图像帧之间的时间差；

判断所述时间差是否匹配预定的时间差阈值；

于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧。

2.根据权利要求1所述的一种视频图像处理方法，其特征在于：还包括：根据图像复制帧形成一匹配所述时间差的视频流。

3.根据权利要求2所述的视频图像处理方法，其特征在于：还包括：对所述视频流做标识处理。

4.根据权利要求1所述的一种视频图像处理方法，其特征在于：其中所述时间差阈值包括第一阈值，第二阈值；判断所述时间差是否匹配预定的时间差阈值包括，判断所述时间差是否大于第二阈值；

于所述时间差不小于第二阈值的状态下，判定所述时间差匹配所述时间差阈值；

于所述时间差小于第二阈值的状态下，继续判断所述时间差是否大于所述第一阈值，于所述时间差大于第一阈值的状态下，判定所述时间差不匹配所述时间差阈值。

5.根据权利要求4所述的一种视频图像处理方法，其特征在于：所述图像帧包括第一图像帧、第二图像帧，于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧包括：读取与所述时间差匹配的第一时刻、第二时刻；

读取与所述第一时刻的下一个时刻匹配的第一备用图像帧；

读取与所述第二时刻的上一个时刻匹配的第二备用图像帧；

按照预定的算法复制所述第一图像帧、第一备用图像帧、第二图像帧、第二备用图像帧以形成所述图像复制帧。

6.根据权利要求5所述的所述的一种视频图像处理方法，其特征在于，所述预定算法为：n＝(m/4)*25；

其中：n为所述第一图像帧、或第一备用图像帧、或第二图像帧、或第二备用图像帧的复制数量；

m为所述时间差。

7.根据权利要求4所述的一种视频图像处理方法，其特征在于：于所述时间差不匹配预定的时间差阈值的状态下，分别复制两个所述图像帧以形成图像复制帧包括：计算所述时间差与所述第一阈值之间的时间间隔；

根据所述时间间隔分别复制两个所述图像帧以形成图像复制帧。

8.一种基于电子地图的拼图方法，其特征在于：包括，根据兴趣点位置信息于原始视频集获取与所述兴趣点位置信息匹配的图像帧；

读取每个图像帧形成的时间信息；

计算每个时间信息与任意两个相邻的所述时间信息之间时间差；

判断每个所述时间差是否匹配预定的时间差阈值；

于所述时间差匹配预定的标准阈值的状态下，根据时序对所述图像帧做排序处理；

于所述时间差不匹配预定的标准阈值的状态下，读取不匹配所述标准阈值的时间信息，复制与所述时间信息匹配的每个所述图像帧以形成复制图像帧，根据时序对所述图像帧、复制图像帧做排序处理。

9.根据权利要求8所述的一种基于电子地图的拼图方法，其特征在于：根据兴趣点位置信息于原始视频集获取与所述兴趣点位置信息匹配的图像帧，其中所述原始视频集的形成方式包括：接收用户发送的注册请求，并于所述注册请求被验证通过后读取与用户当前位置匹配的参考图像或视频数据；

读取与每个所述参考图像或视频数据匹配的参考路线数据；

根据所述参考路线数据形成所述兴趣点；

根据所述兴趣点、所述参考图像或视频数据形成所述原始视频集。

10.一种计算机可读的存储介质，其特征在于，存储有上述根据权利要求8-9任一种方法形成的电子地图。

Images