CN110505481B - 一种利用眼动监测提高视频poi低损编码效率的方法 - Google Patents

Abstract

本发明公开了一种利用眼动监测提高视频POI低损编码效率的方法。现有方法总存储量过大，使用具有很大局限性。本发明方法通过眼动仪检测人眼观看视频采集关联视频图像的POI；通过人眼POI关联的视频区域进行无损或低损编码压缩，对非POI区域进行高损编码压缩；通过多人观看视频的眼动POI进行融合形成动态POI；通过前端摄像机的双码流编码能力，前端输出原始码流的同时，输出基于人眼捕捉高价值区域的POI的分区编码压缩码流；通过后端的POI二次视频流编码，或通过反馈POI给前端的准实时POI视频流编码。本发明方法大幅降低了视频容量，从而大幅压缩编码率。

Description

一种利用眼动监测提高视频POI低损编码效率的方法

技术领域

本发明属于图像处理技术领域，具体涉及一种利用眼动监测提高视频POI低损编码效率的方法。

背景技术

在视频图像中出现的POI(兴趣点，Point of Interest)部分是用户最为感兴趣的部分，人在监看视频图像的过程中眼睛注视在画面的某个物体、目标上，或者某个场景的变化上等，这些关注点即是POI。对于视频图像中用户关注点以外的部分，可适当降低要求。在视频图像的存储过程中，都采用基于视频压缩的编码技术进行视频编码。目前基于取样编码的压缩技术均是有损压缩，即一定是对图像画质等有损伤的压缩技术，用户在解码后获取的视频图像与原始未经压缩的视频图像相比是有一定差异的，而如何提高压缩比又最大程度减少压缩过程对原始图像的损伤就是必须面对的最大问题。

视频编码是指通过特定的视频压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，目前比较常用的视频编解码标准MPEG4、H.264、H.265等。低损失编码是指通过对视频中POI区域的无损或低损失取样压缩编码技术，而对非POI区域进行高损失压缩的模式，可以实现在减少视频存储容量的同时不损失视频图像中的价值信息。现有的低损失编码方案主要有以下两种：

一、利用AI智能技术，在视频图像中检测活动的人、车、物品等目标。也可以分析某个区域或边界分割线有目标穿越等，甚至可以通过分析某些指定的动作，如打架、人员聚集、人员突然跑动等，还有结构化提取与视频摘要/浓缩等。在视频图像中划定虚拟线圈或警戒分割线，当有目标进出或越过虚拟警戒线时触发存储，提取告警前后t秒(一般±10秒)的短视频。没有出现告警时段或不是出现在虚拟线圈或指定规则的时间不予存储。通过智能分析提取视频图像中出现的人、车、物、环境等的特征属性类的描述信息，并记录相关时空属性信息。存储的时候可以提取出现目标时的前后t秒(一般±10秒)的短视频后与特征属性信息关联存储，也可以只存储目标出现的时间戳与特征属性信息，不单独保存短视频，使用时按照特征属性信息检索后的时间戳去调取录像。采用对视频关键帧的提取，然后再组合成新的视频，最为视频摘要简要显示视频段的经过。视频浓缩采用的是分析视频出现人、车或其他指定目标，以自动或半自动的方式进行目标与北京的分离，对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合，生成新的视频段。

该技术仅能提取指定的一些目标，无法提取更多人们感兴趣的目标，甚至是静态目标，也无法通过前后情景变化去关注目标。由于须存储目标出现前后10秒的短视频，当视频中出现较多目标时，针对每个目标均对应一段短视频。通过实际测试，最终的视频存储量远大于正常视频存储量。实际应用中，除了需要准确获取目标信息外，还需要对原始视频的保存，并存储时间戳信息，按需去调取另行存储的原始视频，原始视频存储量没有减少。同时，提取的视频摘要仅仅是对视频的截取，是对原始视频的截取，损失了大量的原始图像帧或片段，必须进行智能分析出指定的目标，然后按目标出现进行画面叠加，同时必须存储原始视频，总存储量远大于原始视频。

二、采用视频动态侦测方法，也叫运动检测，通过分析视频变化来触发监控录像和自动报警。通过分析视频图像的前后变化比例，当画面有较大变化：比如有人走过，镜头被移动，如果超过阈值就能自动启动存储，一般有帧差法、背景差分法等。

帧差法：对图像序列相邻两帧或三帧间采用基于像素的时间差分通过阈值化来提取出图像中的运动区域，如果指定图像区域的像素值变化很大，超过了设置的阈值就触发启动视频录像。

背景差分法：是一种运动对象检测算法，是利用背景的参数模型来近似替代背景图像的像素值，将当前帧与背景图像进行差分比较来实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。当出现运动图像时就触发视频存储。

视频动态侦测触发视频存储技术，由于现场场景的复杂性、不可预知性、以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，使得背景的建模和模拟变得比较困难，存储了并不是真正感兴趣的运动目标带来的变化。动态侦测一般使用在固定拍摄场景中，当移动摄像机(车载、移动单兵等)拍摄的图像就无法使用，使用具有极大的局限性。动态侦测不管是由于什么原因，只要达到阈值超限就触发存储，而并不是由于出现了真正感兴趣的目标，是比较盲目的一种侦测图像变化就存储的模式。

发明内容

本发明的目的就是针对现有技术的不足，提供一种利用眼动监测提高视频POI低损编码效率的方法。

本发明通过眼动仪检测人眼观看视频采集关联视频图像的POI；通过人眼POI关联的视频区域进行无损或低损编码压缩，而对非POI区域进行高损编码压缩；通过多人观看视频的眼动POI进行融合形成动态POI；通过前端摄像机的双码流编码能力，前端输出原始码流的同时，输出基于人眼捕捉高价值区域的POI的分区编码压缩码流；通过后端的POI二次视频流编码，也可以通过反馈POI给前端的准实时POI视频流编码。

本发明方法包括历史视频POI编码、实时视频POI编码。

所述的历史视频POI编码流程如下：

(1).将视频播放和眼动仪时钟同步，启动视频播放，启动眼动仪，利用眼动仪监测视频观看者人眼的关注点。

(2).记录视频播放过程中人眼关注的焦点，生成眼动仪POI文件，关联对应视频帧。

(3).采集多人关注点，重复播放历史视频，采集眼动仪POI文件，利用眼动仪操作系统合成多人观看下的融合POI文件。

进一步，所述的融合POI文件，其融合策略为：当多人对同一帧视频提供了不同的POI，则同时保留多个POI；或者，当多人对同一帧视频提供了不同的POI，对不同的观察者设置不同的权重，根据权重计算每个POI的数值，数值超过设定阈值的POI保留，其他的POI忽略。

(4).历史视频二次编码：启动视频转码系统，先对历史视频解码，同时关联视频时间戳，提取融合POI文件中对应帧的POI，将历史视频的对应帧的POI区域进行低损编码，其他区域进行高损编码。

(5).输出POI编码视频：经过对历史视频的POI二次编码形成POI编码视频输出；

所述的实时视频POI编码流程如下：

(a).实时连接眼动仪和视频系统，保持时钟同步；启动眼动仪和实时视频播放显示系统。

(b).眼动仪捕捉观看者观看实时视频时的POI，形成实时POI信息反馈给前端摄像机。

进一步，所述的前端摄像机具有接收POI反馈的接口，具有大于等于2×25帧的缓冲空间，具有双码流编码能力。

(c).前端摄像机接收POI信息，通过目标跟踪，跟踪缓存中视频中的目标，进行POI编码：将对应帧的POI进行低损编码，其他区域进行高损编码；

(d).输出POI编码视频：前端摄像机通过网络接口输出POI编码视频，或同时保留原正常实时码流输出，形成POI编码视频+实时视频流的双码流输出；

(e).对于视频的存储，如果是POI编码视频+实时视频流的双码流，正常实时视频流按照预定周期进行写覆盖。

本发明方法中，对于历史视频，通过对POI进行低损失编码，而对其他区域进行高损失编码，从而大幅降低视频容量。对于实时视频，连接眼动仪的客户端将POI目标反馈给摄像机，摄像机对新生成的视频，通过目标检测和识别获得POI目标，对POI目标低损失编码，对其他区域高损失编码，从而大幅压缩编码率。

本发明方法可以最大程度平衡视频图像有损压缩比例与图像价值信息保留之间的关系：充分保留关注区域的图像的原始信息不受损伤，同时又最大程度提高非关注区域视频的压缩比例；在公安实战中一个有价值的视频中关键关注区域一般仅占2～3％，对于这个部分的低损或无损编码保护、而对其他97～98％进行100：1或200：1以上的编码压缩比，可以不影响视图价值的保护而又大幅度提高压缩比例减少存储容量。

本发明方法充分反映视频图像价值对于使用者的直接体现，通过观看者实际可能关注的关键、核心区域的最大程度保护，保证了最有价值部分的信息不受损伤；在实战中通过智能分析技术提供的有效信息是人们提炼的技战法的一小部分，大概仅能体现20％左右的技战法，对于其他关键区域的关注及价值提取目前尚无法实现，通过有经验人员的实际眼动关注代替视觉智能识别可以发现高达60～70％具有价值信息。

具体实施方式

一种利用眼动监测提高视频POI低损编码效率的方法，该方法利用了眼动技术，就是利用眼球监测技术获取人在处理视频图像时的眼动轨迹特征，并通过从眼动轨迹中提取诸如注视点，注视时间和次数，眼跳距离，瞳孔大小等数据，研究人在监看视频的关注点。

眼动仪可以监测人眼的关注点，放映视频时，通过收集多个人的关注点，可以过滤出每一帧受关注的焦点，从而为视频进一步压缩提供依据，动态生成POI。

该方法通过眼动仪检测人眼观看视频采集关联视频图像的POI；通过人眼POI关联的视频区域进行无损或低损编码压缩，而对非POI区域进行高损编码压缩；通过多人观看视频的眼动POI进行融合形成动态POI；通过前端摄像机的双码流编码能力，前端输出原始码流的同时，输出基于人眼捕捉高价值区域的POI的分区编码压缩码流；通过后端的POI二次视频流编码，也可以通过反馈POI给前端的准实时POI视频流编码。

该方法包括历史视频POI编码、实时视频POI编码。

历史视频POI编码流程如下：

(1).将视频播放和眼动仪时钟同步，启动视频播放，启动眼动仪，利用眼动仪监测视频观看者人眼的关注点。

(2).记录视频播放过程中人眼关注的焦点，生成眼动仪POI文件，关联对应视频帧。

(3).采集多人关注点，重复播放历史视频，采集眼动仪POI文件，利用眼动仪操作系统合成多人观看下的融合POI文件。

融合策略为：当多人对同一帧视频提供了不同的POI，则同时保留多个POI；或者，当多人对同一帧视频提供了不同的POI，对不同的观察者设置不同的权重，有经验的观察者权重大一些，根据权重计算每个POI的数值，数值超过设定阈值的POI保留，其他的POI忽略。被忽略的POI可能是个别观察者走神所致。

(4).历史视频二次编码：启动视频转码系统，先对历史视频解码，同时关联视频时间戳，提取融合POI文件中对应帧的POI，将历史视频的对应帧的POI区域进行低损编码，其他区域进行高损编码。

(5).输出POI编码视频：经过对历史视频的POI二次编码形成POI编码视频输出。

实时视频POI编码流程如下：

(a).实时连接眼动仪和视频系统，保持时钟同步；启动眼动仪和实时视频播放显示系统。

(b).眼动仪捕捉观看者观看实时视频时的POI，形成实时POI信息反馈给前端摄像机。

所述的前端摄像机具有接收POI反馈的接口，具有大于等于2×25帧的缓冲空间，具有双码流编码能力。

(c).前端摄像机接收POI信息(正常情况下是某些特定目标，若POI未锁定特定目标，可能是观察者走了神，忽略此次POI信息，继续接收下次POI信息)，通过目标跟踪，跟踪缓存中视频中的目标，进行POI编码：将对应帧的POI进行低损编码，其他区域进行高损编码。从而大幅降低视频码率。

(d).输出POI编码视频：前端摄像机通过网络接口输出POI编码视频，或同时保留原正常实时码流输出，形成POI编码视频+实时视频流的双码流输出。

后端利用眼动仪采集POI，并反馈给前端机进行融合处理后进行实时视频POI编码视频流输出。

(e).对于视频的存储，如果是POI编码视频+实时视频流的双码流，正常实时视频流按照预定周期进行写覆盖，而POI编码视频流可以保留更大的生存周期。

Claims (3)

1.一种利用眼动监测提高视频POI低损编码效率的方法，其特征在于该方法包括历史视频POI编码、实时视频POI编码；

所述的历史视频POI编码流程如下：

(1).将视频播放和眼动仪时钟同步，启动视频播放，启动眼动仪，利用眼动仪监测视频观看者人眼的关注点；

(2).记录视频播放过程中人眼关注的焦点，生成眼动仪POI文件，关联对应视频帧；

(3).采集多人关注点，重复播放历史视频，采集眼动仪POI文件，利用眼动仪操作系统合成多人观看下的融合POI文件；

(4).历史视频二次编码：启动视频转码系统，先对历史视频解码，同时关联视频时间戳，提取融合POI文件中对应帧的POI，将历史视频的对应帧的POI区域进行低损编码，其他区域进行高损编码；

(5).输出POI编码视频：经过对历史视频的POI二次编码形成POI编码视频输出；

所述的实时视频POI编码流程如下：

(a).实时连接眼动仪和视频系统，保持时钟同步；启动眼动仪和实时视频播放显示系统；

(b).眼动仪捕捉观看者观看实时视频时的POI，形成实时POI信息反馈给前端摄像机；

(c).前端摄像机接收POI信息，通过目标跟踪，跟踪缓存中视频中的目标，进行POI编码：将对应帧的POI进行低损编码，其他区域进行高损编码；

(d).输出POI编码视频：前端摄像机通过网络接口输出POI编码视频，或同时保留原正常实时码流输出，形成POI编码视频+实时视频流的双码流输出；

(e).对于视频的存储，如果是POI编码视频+实时视频流的双码流，正常实时视频流按照预定周期进行写覆盖。

2.如权利要求1所述的一种利用眼动监测提高视频POI低损编码效率的方法，其特征在于，流程(3)中所述的融合POI文件，其融合策略为：当多人对同一帧视频提供了不同的POI，则同时保留多个POI；或者，当多人对同一帧视频提供了不同的POI，对不同的观察者设置不同的权重，根据权重计算每个POI的数值，数值超过设定阈值的POI保留，其他的POI忽略。

3.如权利要求1所述的一种利用眼动监测提高视频POI低损编码效率的方法，其特征在于，流程(b)中所述的前端摄像机具有接收POI反馈的接口，具有大于等于2×25帧的缓冲空间，具有双码流编码能力。