CN113032623B - 一种智能视频数据检索方法 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，具体涉及一种智能视频数据检索方法，包括以下步骤：录像导入步骤：在智能终端的检索界面中导入录像；界面调整步骤：在检索界面设置纵向可调时间轴和缩放比例调节轴；缩放比例调整步骤：通过缩放操作数据取得缩放比例；时间轴调整步骤：通过缩放比例找到单位刻度数据，并对纵向可调时间轴进行缩放调整；视频数据检索步骤：获取在纵向可调时间轴上对时间进度点的手势拖动数据，并根据手势拖动数据在检索界面中解析显示录像对应的图像帧。本发明解决了由于屏幕的限制，导致单手操作横向时间轴上播放节点的位置较困难，无法准确调到需要的位置，需要反复的尝试，使得查阅所需的图像帧十分不方便，效率低的问题。

Description

一种智能视频数据检索方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种智能视频数据检索方法。

背景技术

视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。

在智能家居系统中，视频监控系统属于家庭安防系统的一部分，最新的视频监控系统的视频监控平台可以为智能手机，通过智能手机可以对摄像机采集的图像进行实时观看、录入、回放、调出及储存等操作，从而实现移动互联的视频监控。

现有技术中在通过智能手机对录像内容进行视频查询时，通常采用的方式有两种，一是竖屏视频查询，以竖屏向的小屏播放以及视频查询，二是横屏视频查询，以横屏向的全屏播放以及视频查询，其中，不管是竖屏视频查询还是横屏视频查询，时间轴都是横向设置的，而横向设置的时间轴在对录像内容进行视频查询时存在以下问题：

1.现在智能手机屏幕大多为6英寸或以上尺寸大小的屏幕，6.4英寸、6.5英寸屏幕尺寸大小的手机也越来越多见，而目前大部分智能手机都采用全面屏设计。虽然智能手机屏幕越大，但是越不适用于单手操作视频查询，例如在竖屏视频查询，视频播放框相对较小，而时间轴是横向设置且设置在视频播放框中的，不方便操作，而且在移动横向时间轴上播放节点的位置来查阅所需的图像帧时，由于录像的时长度不同，导致每个像素点对应的时间长度不同，使得单手操作横向时间轴上播放节点的位置较困难，无法准确调到需要的位置，需要反复的尝试，使得查阅所需的图像帧十分不方便，效率低。而在横屏视频查询时，虽然视频播放框变大时间轴变长，操作横向时间轴上播放节点进行视频查询时，会相对变得轻松容易，但是由于手指的长度与智能手机的长度不匹配，使得单手操作横向时间轴上播放节点的位置较困难，无法准确调到需要的位置，需要一手拿持智能手机，另一手操作横向时间轴上的播放节点，在需要单手操作的环境中十分不方便，例如在南方冬天的被窝里。而且即使横向时间轴的长度增大，用户在移动横向时间轴上播放节点的位置来查阅所需的图像帧，同样无法准确调到需要的位置，需要反复拖动播放节点或滑动屏幕，使得查阅所需的图像帧十分不方便，效率低。

2.时间轴的长度相对固定，导致用户在移动横向时间轴上播放节点的位置来查阅所需的图像帧时，查询手段单一(拖动播放节点或拖动屏幕)，且查询进度先天性的不精确，导致用户体验感差。

发明内容

本发明的目的在于提供一种智能视频数据检索方法，解决在需要单手操作的环境中，由于手机屏幕的限制，导致单手操作横向时间轴上播放节点的位置较困难，无法准确调到需要的位置，需要反复的尝试，使得查阅所需的图像帧十分不方便，效率低的问题。

为了达到上述目的，提供了一种智能视频数据检索方法，包括以下步骤：

录像导入步骤：在智能终端的检索界面中导入需要进行检索的录像；

界面调整步骤：在检索界面一侧设置纵向可调时间轴，另一侧纵向设置有用于调节纵向可调时间轴缩放比例的缩放比例调节轴；

缩放比例调整步骤：获取对缩放比例调节轴的缩放操作数据，并根据缩放操作数据从缩放比例数组中获取用于调节缩放比例调节轴的缩放比例；

时间轴调整步骤：通过缩放比例找到其在缩放比例数组中的索引，并根据索引从单位刻度秒数数组中选取与之对应的单位刻度数据，然后通过单位刻度数据对纵向可调时间轴进行缩放调整；

视频数据检索步骤：获取在纵向可调时间轴上对时间进度点的手势拖动数据，并根据手势拖动数据调节时间进度点在缩放调整后的纵向可调时间轴上的时间轴坐标位置，再通过时间轴坐标位置在检索界面中解析显示录像对应的图像帧。

原理及优点：

1.录像导入步骤和界面调整步骤的设置，录像导入步骤可以方便在智能终端的检索界面中导入需要进行检索的录像，以便于用户对录像进行视频数据检索，或者实现播放、截图等功能，满足用户的多种需求。界面调整步骤通过一左一右设置纵向可调时间轴和缩放比例调节轴，以便于用户通过单手在一侧对缩放比例调节轴进行调节，用以对时间轴的单位刻度进行调整，以实现对时间轴的长度和调节精度的调整优化，打破了现有时间轴长度固定不可调节这一观点。用户再通过单手对一另侧对纵向可调时间轴的调节，由于时间轴为竖向设置，相比于横向时间轴，单手在智能手机上操作的区域更广，操作更方便，精度更高。而且时间轴的单位刻度和调节精度均已由用户事先确定好，综合之后，在对录像进行视频数据检索时，相比于传统的横向时间轴，使得录像的检索精度得以进一步提高，而且操作同样简单方便，不会变得复杂，从而使得录像的检索效率更高，体验感更佳。

2.缩放比例调整步骤和时间轴调整步骤的设置，缩放比例调整步骤中，通过缩放操作数据获取缩放比例，时间轴调整步骤中，通过缩放比例获取对应的单位刻度数据，通过单位刻度数据来对纵向可调时间轴进行缩放调整以实现充分利用智能手机的宽长比，来对视频数据检索的精度进行优化。而且更符合人使用智能手机的操作习惯，从而使得视频数据的检索更为方便。其中，缩放比例在缩放比例数组中设有多组，因此能够获取多种时间刻度纵向可调时间轴，以便于用户对视频数据的精准检索，准确调到需要的位置，无需要反复的尝试，使得操作更简单方便。

3.视频数据检索步骤的设置，在取得合适刻度的纵向可调时间轴后，对纵向可调时间轴上的时间进度点进行拖动操作，就能方便在检索界面中查阅所需的图像帧，使得操作更加方便，视频数据检索效率更高。

进一步，所述缩放操作数据包括精缩放操作数据和粗缩放操作数据，所述粗缩放操作数据为间接调节缩放比例调节轴的第一手势操作数据，所述精缩放操作数据为直接调节缩放比例调节轴的第二手势操作数据。

通过第一手势操作数据的粗调能够让用户选择视频数据检索中时间轴的单位刻度时，操作更自由更方便。通过第二手势操作数据的精调，能够精准且方便的调节缩放比例调节轴，以此获取缩放比例，方便用户通过缩放比例来获取所需的纵向可调时间轴，相比于传统的横向时间轴，打破了现有时间轴长度固定不可调节这一观点。而且通过精调使得用户能够对于纵向可调时间轴的调节精度进行精确把控，以此提高视频数据检索的精度和效率。

进一步，所述缩放比例调整步骤中具体还包括以下子步骤：

缩放比例调节轴粗调子步骤：根据第一手势操作数据获取手势缩放距离，并根据手势缩放距离从缩放比例数组中获取对应手势缩放距离的缩放比例，通过缩放比例对缩放比例调节轴进行粗调；

缩放比例调节轴精调子步骤：根据第二手势操作数据获取缩放比例调节轴上标记点所在位置的位置信息，并根据标记点的位置信息从缩放比例数组中获取对应的缩放比例，通过缩放比例对缩放比例调节轴进行精调。

缩放比例调节轴粗调子步骤中通过获取手势缩放距离，并以手势缩放距离的长短来获取缩放比例，可方便通过单手对缩放比例调节轴进行粗调，使得操作更为简单方便。而在缩放比例调节轴精调子步骤中，通过第二手势操作数据来调节标记点在缩放比例调节轴上的位置以此来得到缩放比例，通过缩放比例对缩放比例调节轴进行精调，从而方便对纵向可调时间轴进行缩放调整，相比于传统的横向时间轴，对于视频数据检索更为精确和方便。

进一步，还包括以下步骤：

录像初始化步骤：记录录像的开始时间和结束时间，以及根据开始时间和结束时间计算录像的时间长度；

缩放比例调节轴始化步骤：根据时间长度调节推荐设置缩放比例调节轴的初始缩放比例。

录像初始化步骤和缩放比例调节轴始化步骤的设置，能够根据录像的时间长度推荐设置缩放比例调节轴的初始缩放比例，以便于用户对视频数据检索更为精确和方便。

进一步，还包括以下步骤：

录像分析步骤：分析录像中的报警图像帧，并根据报警图像帧生成报警缩略图；

缩略图插入步骤：将报警缩略图插入到纵向可调时间轴上对应的位置；

缩略图显隐步骤：根据单位刻度数据的最小刻度判断纵向可调时间轴上相邻两个最小刻度之间是否存在多张缩略图，若存在则将报警缩略图在纵向可调时间轴上隐藏，若不存在则将报警缩略图在纵向可调时间轴上显示。

录像分析步骤和缩略图插入步骤的设置，通过将报警图像帧生成报警缩略图并插入到纵向可调时间轴上对应的位置，可方便用户在对视频数据检索时，快速且准确的检索到所需的视频数据。

进一步，还包括以下步骤：

缩略图处理步骤：在报警缩略图上标记播放时间信息和报警类型信息，所述报警类型信息包括移动信息报警信息和人形报警信息。

缩略图处理步骤的设置，通过在报警缩略图上标记播放时间信息和报警类型信息，可提高用户的视频数据检索效率，当报警类型信息符合用户的要求时，即可通过播放时间信息使录像准确跳转到对应位置，以便于用户确认。

进一步，还包括以下步骤：

时间进度点标记步骤：根据时间轴坐标位置获取时间进度点在纵向可调时间轴上的精确播放时间信息，并将精确播放时间信息标记在时间进度点上。

时间进度点标记步骤的设置，便于用户在调节时间进度点时，能够了解时间进度点的具体时间，以便于用户能够将时间进度点在纵向可调时间调到准确位置，从而提高视频数据检索精度。

进一步，所述缩放比例数组中包括若干数量的缩放比例，缩放比例在缩放比例数组中关联有对应的索引，所述单位刻度秒数数组中包括与缩放比例相同数量的单位刻度数据，所述单位刻度数据分为若干组。

缩放比例数组中缩放比例和单位刻度秒数数组中单位刻度数据设有若干，不仅适用于对各种时间长度的录像进行视频数据检索，而且也能提高视频数据的检索精度。

附图说明

图1为本发明实施例一种智能视频数据检索方法的流程框图；

图2为智能视频数据检索方法应用于智能终端的示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例

一种智能视频数据检索方法，应用于智能终端，本实施例中，智能终端为智能手机，智能手机远程通信连接服务器，服务器远程连接摄像头，摄像头安装在监控区域。服务器能够将摄像头的监控画面实时传输到智能终端，或将摄像头的监控录像进行存储为录像，以便于智能终端调取查看。本方法基本如附图1所示：包括以下步骤：

录像导入步骤：在智能终端的检索界面中导入需要进行检索的录像；

界面调整步骤：在检索界面一侧设置纵向可调时间轴，另一侧纵向设置有用于调节纵向可调时间轴缩放比例的缩放比例调节轴；如图2所示，本实施例中，播放的录像位于智能终端检索界面中的上部，智能终端检索界面中录像下部左侧为纵向可调时间轴，右侧为比例调节轴。

录像初始化步骤：再倒入录像时，记录录像的开始时间和结束时间，以及根据开始时间和结束时间计算录像的时间长度；本实施例中，录像的时间以天为单位，默认开始时间为零点，结束时间为第二天零点。不足一天的按一天中的实际开始时间和实际结束时间

缩放比例调节轴始化步骤：根据时间长度调节推荐设置缩放比例调节轴的初始缩放比例。

缩放比例调整步骤：获取对缩放比例调节轴的缩放操作数据，并根据缩放操作数据从缩放比例数组中获取用于调节缩放比例调节轴的缩放比例；所述缩放操作数据包括精缩放操作数据和粗缩放操作数据，所述粗缩放操作数据为间接调节缩放比例调节轴的第一手势操作数据，所述精缩放操作数据为直接调节缩放比例调节轴的第二手势操作数据。

所述缩放比例调整步骤中具体还包括以两个下子步骤：

缩放比例调节轴粗调子步骤：根据第一手势操作数据获取手势缩放距离，并根据手势缩放距离从缩放比例数组中获取对应手势缩放距离的缩放比例，通过缩放比例对缩放比例调节轴进行粗调；所述缩放比例数组中包括若干数量的缩放比例，缩放比例在缩放比例数组中关联有对应的索引，本实施例中，缩放比例数组中缩放比例的数量为16个，分别为0.0166F、0.020F、0.025F、0.030F、0.03335、0.040F、0.045F、0.050F、0.055F、0.1333F、0.1666F、0.2666F、0.3666F、1.0F、1.333F和1.50F，其索引分别为1-16，单位F为以每秒所对应的像素点个数。初始状态时，全天候录像的缩放比例默认为0.0166F，便于让纵向可调时间轴处于最短状态，从而方便用户的概览，其中手势缩放距离为两手指之间缩放操作的指尖距离，而手势缩放距离在实际操作中难以精准控制，因此得到的对应缩放比例为16个缩放比例中的任一个。但是随着两手指的滑动，可控制缩放比例增大或缩小，可方便用户找到缩放比例的大致范围。在得到缩放比例的同时，标记点在缩放比例调节轴上的位置会发生相应的变化，以便于后续缩放比例调节轴精调子步骤对缩放比例的精调。

缩放比例调节轴精调子步骤：根据第二手势操作数据获取缩放比例调节轴上标记点所在位置的位置信息，并根据标记点的位置信息从缩放比例数组中获取对应的缩放比例，通过缩放比例对缩放比例调节轴进行精调。本实施例中，缩放比例调节轴上设有用于标记点向上移动的上调节按钮和用于标记点向下移动的下调节按钮，第二手势操作数据为上调节按钮或下调节按钮的选择以及点按次数。因此通过第二手势操作数据可以精确获取缩放比例，从而对缩放比例调节轴进行精调，可方便用户找到缩放比例的准确值。

时间轴调整步骤：通过缩放比例找到其在缩放比例数组中的索引，并根据索引从单位刻度秒数数组中选取与之对应的单位刻度数据，然后通过单位刻度数据对纵向可调时间轴进行缩放调整；所述单位刻度秒数数组中包括与缩放比例相同数量的单位刻度数据，所述单位刻度数据分为若干组。本实施例中，单位刻度秒数数组中单位刻度数据的数量为16个，分别为3600s、3600s、3600s、3600s、600s、600s、600s、600s、600s、600s、300s、60s、60s、60s、60s和60s，分别依次对应索引1-16，单位刻度数据分为4组，分别为3600s、600s、300s和60s,单位刻度数据表示纵向可调时间轴上两个最小刻度之间的时间差值。

视频数据检索步骤：获取在纵向可调时间轴上对时间进度点的手势拖动数据，并根据手势拖动数据调节时间进度点在缩放调整后的纵向可调时间轴上的时间轴坐标位置，再通过时间轴坐标位置在检索界面中解析显示录像对应的图像帧。在取得合适刻度的纵向可调时间轴后，对纵向可调时间轴上的时间进度点进行拖动操作，就能方便在检索界面中查阅所需的图像帧，使得操作更加方便，视频数据检索效率更高。

时间进度点标记步骤：根据时间轴坐标位置获取时间进度点在纵向可调时间轴上的精确播放时间信息，并将精确播放时间信息标记在时间进度点上。便于用户在调节时间进度点时，能够了解时间进度点的具体时间，以便于用户能够将时间进度点在纵向可调时间调到准确位置，从而提高视频数据检索精度。

录像分析步骤：根据现有的图像识别技术分析录像中的报警图像帧，并根据报警图像帧生成报警缩略图；报警图像帧的主要分为两类，一类是移动物报警图像帧，判断方式为当摄像头所监控的画面出现非人物体移动时，也就是前后两帧的画面不同重叠时，将所述报警图像帧标记为移动物报警图像帧。另一类是人形报警图像帧，判断方式为当摄像头所监控的画面出现人形物体或人脸时，将所述报警图像帧标记为人形报警图像帧。

缩略图处理步骤：在报警缩略图上标记播放时间信息和报警类型信息，所述报警类型信息包括移动信息报警信息和人形报警信息。

缩略图插入步骤：将报警缩略图插入到纵向可调时间轴上对应的位置；

缩略图显隐步骤：根据时间轴调整步骤选择的单位刻度数据的最小刻度判断纵向可调时间轴上相邻两个最小刻度之间是否存在多张缩略图，若存在则将报警缩略图在纵向可调时间轴上隐藏，若不存在(即只有一张缩略图的情况下)则将报警缩略图在纵向可调时间轴上显示。本实施例中，缩略图设置的区域参考单位刻度秒数数组中单位刻度数据，数量为16个，分别为3600s、3600s、3600s、3600s、600s、600s、600s、600s、600s、600s、300s、60s、60s、60s、60s和60s。本实施例中，当缩略图隐藏时，缩略图通过统一的替换图替换，通过替换图以便于提示用户当前位置具有较多的缩略图重叠，也表示该位置存在较多的报警类型信息，以便于用户实现视频数据的精准检索。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种智能视频数据检索方法，其特征在于，包括以下步骤：

录像导入步骤：在智能终端的检索界面中导入需要进行检索的录像；

界面调整步骤：在检索界面一侧设置纵向可调时间轴，另一侧纵向设置有用于调节纵向可调时间轴缩放比例的缩放比例调节轴；

缩放比例调整步骤：获取对缩放比例调节轴的缩放操作数据，并根据缩放操作数据从缩放比例数组中获取用于调节缩放比例调节轴的缩放比例；所述缩放操作数据包括精缩放操作数据和粗缩放操作数据，所述粗缩放操作数据为间接调节缩放比例调节轴的第一手势操作数据，所述精缩放操作数据为直接调节缩放比例调节轴的第二手势操作数据；

所述缩放比例调整步骤中具体还包括以下子步骤：

缩放比例调节轴粗调子步骤：根据第一手势操作数据获取手势缩放距离，并根据手势缩放距离从缩放比例数组中获取对应手势缩放距离的缩放比例，通过缩放比例对缩放比例调节轴进行粗调；

缩放比例调节轴精调子步骤：根据第二手势操作数据获取缩放比例调节轴上标记点所在位置的位置信息，并根据标记点的位置信息从缩放比例数组中获取对应的缩放比例，通过缩放比例对缩放比例调节轴进行精调；缩放比例调节轴上设有用于标记点向上移动的上调节按钮和用于标记点向下移动的下调节按钮，第二手势操作数据为上调节按钮或下调节按钮的选择以及点按次数；

时间轴调整步骤：通过缩放比例找到其在缩放比例数组中的索引，并根据索引从单位刻度秒数数组中选取与之对应的单位刻度数据，然后通过单位刻度数据对纵向可调时间轴进行缩放调整；

视频数据检索步骤：获取在纵向可调时间轴上对时间进度点的手势拖动数据，并根据手势拖动数据调节时间进度点在缩放调整后的纵向可调时间轴上的时间轴坐标位置，再通过时间轴坐标位置在检索界面中解析显示录像对应的图像帧。

2.根据权利要求1所述的一种智能视频数据检索方法，其特征在于：还包括以下步骤：

录像初始化步骤：记录录像的开始时间和结束时间，以及根据开始时间和结束时间计算录像的时间长度；

缩放比例调节轴初始化步骤：根据时间长度调节推荐设置缩放比例调节轴的初始缩放比例。

3.根据权利要求2所述的一种智能视频数据检索方法，其特征在于：还包括以下步骤：

录像分析步骤：分析录像中的报警图像帧，并根据报警图像帧生成报警缩略图；

缩略图插入步骤：将报警缩略图插入到纵向可调时间轴上对应的位置；

缩略图显隐步骤：根据单位刻度数据的最小刻度判断纵向可调时间轴上相邻两个最小刻度之间是否存在多张缩略图，若存在则将报警缩略图在纵向可调时间轴上隐藏，若不存在则将报警缩略图在纵向可调时间轴上显示。

4.根据权利要求3所述的一种智能视频数据检索方法，其特征在于：还包括以下步骤：

缩略图处理步骤：在报警缩略图上标记播放时间信息和报警类型信息，所述报警类型信息包括移动信息报警信息和人形报警信息。

5.根据权利要求1所述的一种智能视频数据检索方法，其特征在于：还包括以下步骤：

时间进度点标记步骤：根据时间轴坐标位置获取时间进度点在纵向可调时间轴上的精确播放时间信息，并将精确播放时间信息标记在时间进度点上。

6.根据权利要求1所述的一种智能视频数据检索方法，其特征在于：所述缩放比例数组中包括若干数量的缩放比例，缩放比例在缩放比例数组中关联有对应的索引，所述单位刻度秒数数组中包括与缩放比例相同数量的单位刻度数据，所述单位刻度数据分为若干组。