CN109360205B

CN109360205B - 双录视频质检方法、装置、介质和电子设备

Info

Publication number: CN109360205B
Application number: CN201811494943.9A
Authority: CN
Inventors: 刘岩
Original assignee: Taikang Insurance Group Co Ltd
Current assignee: Taikang Insurance Group Co Ltd
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2021-08-31
Anticipated expiration: 2038-12-07
Also published as: CN109360205A

Abstract

本发明提供了一种双录视频质检方法、装置、介质和电子设备，该方法包括：获取待检测的双录视频的帧图像；对帧图像进行指定区域的定位；根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果。基于本发明，可以基于具体的风险点设置指定区域及其质检规则，实现对双录视频的自动化质检，降低违规操作带来的投诉风险，最大限度的保障客户权益。

Description

双录视频质检方法、装置、介质和电子设备

技术领域

本发明涉及保险技术领域，更具体地说，涉及一种双录视频质检方法、装置、介质和电子设备。

背景技术

随着银保监会对金融行业监督与指导力度的加大，要求对保险销售行为实行现场同步录音录像(简称双录视频)，记录和保存保险产品销售过程中的关键环节，从而为后续重要信息的查询、问题责任的认定提供依据。

由于双录视频作为备份数据，因此仅在发生纠纷时，才进行事后查验。一旦视频中出现违规操作，就很容易给保险公司带来投诉风险。

发明内容

有鉴于此，本发明提供一种双录视频质检方法、装置、介质和电子设备，以解决视频中一旦出现违规操作很容易给保险公司带来投诉风险的问题。技术方案如下：

基于本发明实施例的一方面，本发明实施例提供一种双录视频质检方法，包括：

获取待检测的双录视频的帧图像；

对所述帧图像进行指定区域的定位；

根据所述指定区域所对应的质检规则对所述指定区域进行质检，得到所述双录视频的质检结果。

可选的，在所述指定区域为人脸区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

通过人脸检测确定所述帧图像的所述人脸区域；

所述根据所述指定区域所对应的质检规则对所述指定区域进行质检，得到所述双录视频的质检结果，包括：

提取所述人脸区域内人脸图像的特征码；

基于所述人脸图像的特征码确定所述帧图像中的人员数量和/或人员身份数据；

根据所述人员数量和/或所述人员身份数据确定所述双录视频的人员质检结果。

可选的，在所述指定区域为用户告知区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

检测所述帧图像中的直线段，并过滤所述直线段；

从过滤后的所述直线段中选取符合指定规则的两条相互垂直的目标直线段；

基于所述目标直线段确定区域边缘直线段，并将所述区域边缘直线段所构成的区域作为所述帧图像的所述用户告知区域；

利用所述区域边缘直线段所对应的三组点对对所述帧图像进行俯拍矫正；

构建俯拍矫正后的所述帧图像的所述用户告知区域的特征向量；

基于所述用户告知区域的特征向量确定所述双录视频的用户告知填写质检结果。

可选的，所述过滤所述直线段，包括：

使用多方向搜索计数的方式，从所述直线段中滤除长度小于指定长度的线段。

可选的，所述利用所述区域边缘直线段所对应的三组点对对所述帧图像进行俯拍矫正，包括：

获取正面俯拍图像期望分辨率；

根据所述正面俯拍图像期望分辨率和所述区域边缘直线段所对应的三组点计算仿射变换矩阵，并基于所述仿射变换矩阵对所述帧图像进行图像变换。

可选的，在所述指定区域为签名区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

对所述帧图像进行指定字符串的识别，并确定识别到的所述指定字符串的坐标；

根据所述指定字符串的坐标确定所述帧图像的所述签名区域；

对所述签名区域进行二值化；

对二值化后的所述签名区域进行水平投影和/或垂直投影；

基于投影结果确定所述双录视频的签名区域填写质检结果。

可选的，所述对所述帧图像进行指定字符串的识别，包括：

采用光学字符OCR识别的方式对所述帧图像进行指定字符串的识别。

基于本发明实施例的再一方面，本发明实施例提供一种双录视频质检装置，包括：

图像获取模块，用于获取待检测的双录视频的帧图像；

区域定位模块，用于对所述帧图像进行指定区域的定位；

区域质检模块，用于根据所述指定区域所对应的质检规则对所述指定区域进行质检，得到所述双录视频的质检结果。

基于本发明实施例的再一方面，本发明实施例提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现前文所述双录视频质检方法。

基于本发明实施例的再一方面，本发明实施例提供一种电子设备，包括：

处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行前文所述双录视频质检方法。

本发明实施例提供的双录视频质检方法、装置、介质和电子设备，针对待检测的双录视频，可以先获取其帧图像，进而定位帧图像上的指定区域，从而根据指定区域所对应的质检规则对指定区域进行质检得到双录视频的质检结果。基于本发明，可以基于具体的风险点设置指定区域及其质检规则，实现对双录视频的自动化质检，降低违规操作带来的投诉风险，最大限度的保障客户权益。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的双录视频质检方法的方法流程图；

图2为用户告知区域示例；

图3为不同视角下用户告知区域的偏差示意图；

图4为本发明实施例提供的双录视频质检方法的部分方法流程图；

图5为搜索相邻像素点的方向示例；

图6为半径R分别为1、3、5时，半径R所构成的蒙板区域与直线段的遮挡情况示意图；

图7为蒙板沿直线段法线方向移动的示意图；

图8为签名区域的示例；

图9为本发明实施例提供的双录视频质检方法的另一部分方法流程图；

图10为本发明实施例提供的双录视频质检方法的再一部分方法流程图；

图11为帧图像矫正前后的对比示意图；

图12为本发明实施例提供的双录视频质检方法的又一部分方法流程图；

图13为未填写时区域的投影示例；

图14为填写后区域的投影示例；

图15为实施例提供的双录视频质检装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种双录视频质检方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，获取待检测的双录视频的帧图像。

本实施例中，针对待检测的双录视频，通过截取的方式获取该双录视频的帧图像。

而在实际应用中，双录视频常以片段的形式存储于指定的视频文件目录下。以下对在视频文件目录下获取双录视频的帧图像的过程进行介绍：

首先，遍历待检测的视频文件目录，视频文件目录下存储有双录视频片段文件。

在此过程中，可以读取视频文件目录下双录视频片段的文件扩展名/文件头信息、文件名称、总数量、先后顺序等等。

通过文件扩展名/文件头信息可以确定双录视频片段的文件格式，进而基于文件格式将非视频文件或非常规视频文件进行过滤。本实施例可处理的文件格式包括不限定于ts、mp4和wav，可以根据实际需要进行设置。

其次，读取双录视频片段文件，并截取双录视频片段文件所指示的双录视频片段的帧图像。

其中，读取双录视频片段文件的过程可以采用串行或并行的方式。

串行：将双录视频片段文件的文件名称按照ASCII码的先后顺序进行排序，以确定双录视频片段文件的读取序列；进而在同一线程下按照该读取序列依次读取双录视频片段文件并截取所指示的双录视频片段的帧图像。

也就是说，如果说，读取序列为双录视频片段文件1、双录视频片段文件2，则在读取双录视频片段文件1并截取双录视频片段文件1所指示的帧图像之后，才读取双录视频片段文件2并截取双录视频片段文件2所指示的帧图像。

并行：对于同一视频文件目录下的双录视频片段，可以启动多个线程并行读取并截取帧图像，对于双录视频片段文件的处理不分先后顺序，保证处理的总数量正确即可。而对于启动线程的数量可以具体结合实际需要进行设置。

S20，对帧图像进行指定区域的定位。

在执行步骤S20的过程中，指定区域包括但不局限于人脸区域、用户告知区域和签名区域中的一种或多种，本实施例对此不做限定。

1)在指定区域为人脸区域的情况下，可以通过人脸检测确定帧图像的人脸区域。具体可以利用成熟的人脸检测算法，比如卷积神经网络模型实现，本实施例对此不做限定。

2)在指定区域为用户告知区域的情况下，可以基于区域纹理一致性检测方法检测帧图像的用户告知区域。

如图2所示出的用户告知区域示例，用户告知区域是一个由多个网格组成的用户手抄文稿区域，用户记录用户对整个文案条款已经知晓，并手抄确认。该区域的定位以网格区域定位为主，但是由于摄像机拍摄角度的问题，以及用户或代理人手臂遮挡等原因，往往无法取得诸如图2所示的完整图像。图3示出不同视角下用户告知区域的偏差示意图。因此，为保证定位的准确度，首先需对帧图像进行俯拍矫正。

具体实现过程中，步骤S20“对帧图像进行指定区域的定位”可以具体采用以下步骤，方法流程图如图4所示：

S201，检测帧图像中的直线段，并过滤直线段。

在执行步骤S201的过程中，通过霍夫变换对帧图像中的直线段进行处理，得到二值化的直线段图像，进而过滤该直线段图像。具体的，可对其中长度小于指定长度，比如1/10个图像宽度像素点的直线段进行滤除，鉴于直线段方向的不确定性，滤除操作使用多方向搜索计数的方式实现。

如图5所示出的搜索相邻像素点的方向示例，其中，黑点表示直线段上当前像素点，黑色箭头直线表示在当前像素点位置向邻近范围搜索的方向。而为了保证不对粗线段重复计数，并且一直沿着直线的方向寻找下一个像素点，每个像素点在其半径为R(R＝1，3，5等奇数)的邻域内，如果存在多个像素点，则只累加计数一次。图6为半径R分别为1、3、5时，半径R所构成的蒙板区域与直线段的遮挡情况示意图，其中，蒙板每个小块为一个像素点长度。

参见图6，半径R的取值与直线段的粗细有关，因此可以将计算半径R的问题转换为计算蒙板与直线段最大交集的问题，以下对半径R的计算进行介绍：

分别用尺寸1*1、3*3、5*5、...的蒙板，对所有的直线段上的每个像素点进行扫描，直线段起始边缘点对应蒙板中心点，然后逐像素点沿直线段法线方向不断移动，依次计算蒙板与直线段的交集。图7为蒙板沿直线段法线方向移动的示意图，以3*3蒙板为例，蒙板沿直线段法线方向逐渐进入，并与直线段产生交集，默认初始位置为1/2蒙板，终止位置为4/4蒙板。

假设蒙板直径为r，如果蒙板移动过程中，存在大于四分之三的区域可被直线段所填充(交集)那么认为直线的半径不小于r，此时停止计算当前半径蒙板与直线的交集，而是使用更大尺寸的蒙板计算与直线段当前位置的交集，如果更大半径的蒙板不存在满足大于四分之三位置被直线填充的条件，那么直线段当前位置处的半径为r，从而确定半径R为r。

S202，从过滤后的直线段中选取符合指定规则的两条相互垂直的目标直线段。

在执行步骤S202的过程中，参见图2示出的用户告知区域，其用户告知填写区域有矩形框包裹。因此，可以先选取长度最大的两条相互垂直的目标直线段，进而判断该目标直线段是否为用户告知区域的边缘。

S203，基于目标直线段确定区域边缘直线段，并将区域边缘直线段所构成的区域作为帧图像的用户告知区域。

在执行步骤S203的过程中，获取目标直线段的三组点对，并对三组点对进行唯一性判定，以确定三组点对不重叠、不处于帧图像边界的位置且此时帧图像上剩余点对数不少于三组，如果是则将目标直线段确定为区域边缘直线段，否则返回步骤202重新选择目标直线。

3)在指定区域为签名区域的情况下，可以采用OCR(Optical CharacterRecognition，光学字符)识别的方式对帧图像进行指定字符串的识别，并确定识别到的指定字符串的坐标。具体的，通过OCR识别确定帧图像上“投保人签名”和“被保险人(若非投保人)签名”等指定字符串，进而确定该指定字符串所在的位置，并选择其右侧空白区域作为帧图像的签名区域。当然，为保证OCR识别的准确性，可以首先对帧图像进行俯拍矫正，以下对俯拍矫正进行了详细介绍，在此不再说明。

此外，除OCR识别外，还可以专门训练“投保人签字”和“被保险人(若非投保人)签名”的两个字符串的专用识别神经网络，不仅提高了识别率，而且避免了传统全汉字识别网络模型训练费时和网络模型偏大的问题。

如图8所示出的签名区域示例。在检测到“投保人签名”和“被保险人(若非投保人)签名”两个字符串后，返回这两个区域的坐标。假设这两个区域的坐标分别表示为——{x₁,y₁,x₂,y₂}和{x₃,y₃,x₄,y₄}，其中{x₁,y₁}和{x₃,y₃}分别为两个区域左上角的坐标，{x₂,y₂}和{x₄,y₄}分别为两个区域右上角的坐标。

如果指定间隔像素点的数量为5，则“投保人签名”的签名区域的坐标为{x₂+5,y₁-5,x₃-5,y₂+5}，如图8中左侧虚线框区域，该区域记为A1；“被保险人(若非投保人)签名”签名区域的坐标为{x₃+5,y₃-5,w-5,y₄+5}，如图8右侧虚线框区域，该区域记为A2，其中，为帧图像的宽度。

S30，根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果。

本实施例中，针对不同指定区域可以对应设置不同的质检规则，比如，人脸区域所对应的质检规则为“双录视频中人员数量最多为三人且代理人、投保人和被保人身份合法”、用户告知区域所对应的质检规则为“双录视频中用户已填写用户告知”、签名区域所对应的质检规则为“双录视频中用户已填写签名”。

而一旦指定区域不符合对应的质检规则时，还可以输出相应的异常原因，比如，“双录视频中人员数量超过三人”，再比如，“代理人身份不合法”，再比如“用户未填写用户告知”，再比如，“用户未填写签名”等等。

此外，为保证后续针对不同异常原因进行分类查看和统计，还可以基于质检结果对双录视频进行标注，具体可以标注是否异常以及异常原因，比如“0-无异常”，再比如“1-用户未填写用户告知”。

1)在指定区域为人脸区域的情况下，步骤S30“根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果”可以具体采用如下步骤，方法流程图如图9所示：

S301，提取人脸区域内人脸图像的特征码。

在执行步骤S301的过程中，可以通过神经网络提取人脸区域内人脸图像的特征码。

S302，基于人脸图像的特征码确定帧图像中的人员数量和/或人员身份数据。

在执行步骤S302的过程中，结合人脸图像的特征码确定帧图像中人脸图像的对应关系，具体可以针对不同的人脸图像的特征码采用不同的跟踪队列存储和标记所在的帧图像。而为节约计算资源，在结合人脸图像的特征码的基础上，还可以结合帧图像间人脸的位置关系，对前后帧间人脸图像的关系进行判定，比如距离在一定范围内的人脸图像视为一个。

跟踪队列的数量即为双录视频中人员数量。而根据人脸与保单信息的关联规则，跟踪队列中帧图像数量最多的为代理人，次之为投保人、最少的为被保人。

针对代理人/投保人/被保人，基于相应跟踪队列所对应的人脸图像，从保单数据库中调取该人脸图像对应的人员姓名和身份证号。

S303，根据人员数量和/或人员身份数据确定双录视频的人员质检结果。

在执行步骤S303的过程中，结合人脸图像的质检规则对双录视频中的人员数量和人员身份数据进行质检，比如判断人员数量是否大于三人，再比如验证人员身份数据是否合法，具体可以将代理人/投保人/被保人的人脸图像+人员姓名+身份证号发送至公安部公民身份验证接口，结合公安部公民身份验证接口反馈的验证结果来确定人员身份是否合法。

2)在指定区域为用户告知区域的情况下，步骤S30“根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果”可以具体采用如下步骤，方法流程图如图10所示：

S304，利用区域边缘直线段所对应的三组点对对帧图像进行俯拍矫正。

首先，获取正面俯拍图像期望分辨率。

以帧图像原始分辨率为参考，假设原始分辨率为w*h，以检测到的最宽直线段的宽度作为矫正后帧图像的宽度，则按照如下公式(1)计算矫正后帧图像的高度：

h1＝(h/w)*w1 (1)

其中，h1为矫正后帧图像的高度，w1为矫正后帧图像的宽度。

因此，矫正后的帧图像的期望分辨率，也就是正面俯拍图像期望分辨率为w1*h1。

其次，根据正面俯拍图像期望分辨率和区域边缘直线段所对应的三组点计算仿射变换矩阵，并基于仿射变换矩阵对帧图像进行图像变换。

考虑到拍摄过程中角度、焦距、位置等因素的差异，这里设计平面至平面的二维仿射变换矩阵M，包括旋转和缩放变换矩阵A、以及位置变换矩阵B，其矩阵表示分别为：

对于二维仿射变换矩阵M中的六个未知参数，可以使用区域边缘直线段所对应的三组点对以及正面俯拍图像期望分辨率进行求解。以下对求解过程作介绍：

假设区域边缘直线段所对应的三组点对分别为左上点(x_a,y_a)、右上点(x_b,y_b)和左下点(x_c,y_c)，正面俯拍图像期望分辨率为w1*h1。则，三组点对的期望坐标分别为(0,y_a)、(w1,y_b)和(0,y_c)，此时可按照如下公式(2)求解二维仿射变换矩阵M中的六个未知参数：

最后，使用二维仿射变换矩阵M将帧图像中所有像素点进行仿射变换，得到俯拍矫正后的帧图像。图11为帧图像矫正前后的对比示意图，比如，矫正前点对X经过二维仿射变换矩阵M的变换后得到矫正后点对Y，变换公式如以下公式(3)所示：

Y＝M*X (3)

S305，构建俯拍矫正后的帧图像的用户告知区域的特征向量。

在执行步骤S305的过程中，构建J1＝[-5°，+5°]及J2＝[-90°,-85°]和J3＝[85°,90°]范围内的梯度方向累加直方图，即如果像素点的梯度方向相同，则该方向直方图的值累加1，设J1结果为1维、J2和J3结果为1维，共得到2维的特征向量V1。

对于其它角度的梯度方向，构建16维梯度方向累加直方图，得到16为特征向量V2。

S306，基于帧图像的特征向量确定双录视频的用户告知填写质检结果。

在执行步骤S306的过程中，如果V1向量各元素的值都超过阈值T1，V2向量中大于阈值T2的元素数量超过1/2，那么判定用户告知区域已经填写。

如果V1向量各元素的值都超过阈值T1，但是V2向量中大于阈值T2的元素数量小于1/2，那么判定用户告知区域未填写。

如果V1向量各元素的值都小于阈值T1，那么判定当前区域不是用户告知区域。

3)在指定区域为用户告知区域的情况下，步骤S30“根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果”可以具体采用如下步骤，方法流程图如图12所示：

S307，对签名区域进行二值化。

对于上述A1和A2区域分别进行二值化处理。以下以A1区域为例进行说明。

S308，对二值化后的签名区域进行水平投影和/或垂直投影。

在执行步骤S308的过程中，可以对A1区域进行水平投影和垂直投影中的任意一种投影操作。如果执行水平投影和垂直投影，则对于两者的先后顺序不做限定。

S309，基于投影结果确定双录视频的签名区域填写质检结果。

在执行步骤S309的过程中，可以基于A1区域内像素值投影向量确定投影的数据分布，比如峰值数量，再比如高于某个阈值的像素点数量来判断A1区域内是否填写。图13为未填写时区域的投影示例，图14为填写后区域的投影示例。

需要说明的是，如果指定区域包括人脸区域、用户告知区域和签名区域中的多个时，任何一个区域不符合对应的质检规则，则质检不通过。

本发明实施例提供的双录视频质检方法，针对待检测的双录视频，可以先获取其帧图像，进而定位帧图像上的指定区域，从而根据指定区域所对应的质检规则对指定区域进行质检得到双录视频的质检结果。基于本发明，可以基于具体的风险点设置指定区域及其质检规则，实现对双录视频的自动化质检，降低违规操作带来的投诉风险，最大限度的保障客户权益。

基于前文本发明实施例提供的双录视频质检方法，，本发明实施例还提供一种双录视频质检装置，如图15所示，该装置包括：

图像获取模块10，用于获取待检测的双录视频的帧图像。

区域定位模块20，用于对帧图像进行指定区域的定位。

区域质检模块30，用于根据指定区域所对应的质检规则对指定区域进行质检，得到双录视频的质检结果。

可选的，区域定位模块20，具体用于：

在指定区域为人脸区域的情况下，通过人脸检测确定帧图像的人脸区域；

相应的，区域质检模块30，具体用于：

提取人脸区域内人脸图像的特征码；基于人脸图像的特征码确定帧图像中的人员数量和/或人员身份数据；根据人员数量和/或人员身份数据确定双录视频的人员质检结果。

可选的，区域定位模块20，具体用于：

在指定区域为用户告知区域的情况下，检测帧图像中的直线段，并过滤直线段；从过滤后的直线段中选取符合指定规则的两条相互垂直的目标直线段；基于目标直线段确定区域边缘直线段，并将区域边缘直线段所构成的区域作为帧图像的用户告知区域；

相应的，区域质检模块30，具体用于：

利用区域边缘直线段所对应的三组点对对帧图像进行俯拍矫正；构建俯拍矫正后的帧图像的用户告知区域的特征向量；基于用户告知区域的特征向量确定双录视频的用户告知填写质检结果。

可选的，用于过滤直线段的区域定位模块20，具体用于：

可选的，利用区域边缘直线段所对应的三组点对对帧图像进行俯拍矫正的区域质检模块30，具体用于：

获取正面俯拍图像期望分辨率；根据所述正面俯拍图像期望分辨率和所述区域边缘直线段所对应的三组点计算仿射变换矩阵，并基于所述仿射变换矩阵对所述帧图像进行图像变换。

可选的，区域定位模块20，具体用于：

在指定区域为签名区域的情况下，对帧图像进行指定字符串的识别，并确定识别到的指定字符串的坐标；根据指定字符串的坐标确定帧图像的签名区域；

相应的，区域质检模块30，具体用于：

对签名区域进行二值化；对二值化后的签名区域进行水平投影和/或垂直投影；基于投影结果确定双录视频的签名区域填写质检结果。

可选的，用于对帧图像进行指定字符串的识别的区域定位模块20，具体用于：

本发明实施例提供的双录视频质检装置，针对待检测的双录视频，可以先获取其帧图像，进而定位帧图像上的指定区域，从而根据指定区域所对应的质检规则对指定区域进行质检得到双录视频的质检结果。基于本发明，可以基于具体的风险点设置指定区域及其质检规则，实现对双录视频的自动化质检，降低违规操作带来的投诉风险，最大限度的保障客户权益。

双录视频质检装置包括处理器和存储器，上述图像获取模块10、区域定位模块20和区域质检模块30均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现双录视频自动化质检。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现前文所述双录视频质检方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行前文所述双录视频质检方法。

本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行前文所述双录视频质检方法。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化实现前文所述双录视频质检方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种双录视频质检方法，其特征在于，包括：

获取待检测的双录视频的帧图像；

对所述帧图像进行指定区域的定位，其中，所述指定区域包括人脸区域、用户告知区域和签名区域；

根据所述指定区域所对应的质检规则对所述指定区域进行质检，得到所述双录视频的质检结果；

其中，在所述指定区域为人脸区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

通过人脸检测确定所述帧图像的所述人脸区域；

提取所述人脸区域内人脸图像的特征码，所述特征码用于跟踪相应人脸图像；

根据所述人员数量和/或所述人员身份数据确定所述双录视频的人员质检结果；

在所述指定区域为用户告知区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

检测所述帧图像中的直线段，并过滤所述直线段；

基于所述用户告知区域的特征向量确定所述双录视频的用户告知填写质检结果；

所述利用所述区域边缘直线段所对应的三组点对对所述帧图像进行俯拍矫正，包括：

获取正面俯拍图像期望分辨率；

根据所述正面俯拍图像期望分辨率和所述区域边缘直线段所对应的三组点计算仿射变换矩阵，并基于所述仿射变换矩阵对所述帧图像进行图像变换；在所述指定区域为签名区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

对所述签名区域进行二值化；

对二值化后的所述签名区域进行水平投影和/或垂直投影；

基于投影结果确定所述双录视频的签名区域填写质检结果。

2.根据权利要求 1 所述的方法，其特征在于，所述过滤所述直线段，包括：

3.根据权利要求 1 所述的方法，其特征在于，所述对所述帧图像进行指定字符串的识别，包括：

采用光学字符 OCR 识别的方式对所述帧图像进行指定字符串的识别。

4.一种双录视频质检装置，其特征在于，包括：

图像获取模块，用于获取待检测的双录视频的帧图像；

区域定位模块，用于对所述帧图像进行指定区域的定位，其中，所述指定区域包括人脸区域、用户告知区域和签名区域；

区域质检模块，用于根据所述指定区域所对应的质检规则对所述指定区域进行质检，得到所述双录视频的质检结果；

在所述指定区域为人脸区域的情况下，所述区域定位模块，具体用于：

通过人脸检测确定所述帧图像的所述人脸区域；

所述区域质检模块，具体用于：

提取所述人脸区域内人脸图像的特征码，所述特征码用于跟踪相应人脸图像；基于所述人脸图像的特征码确定所述帧图像中的人员数量和/或人员身份数据；根据所述人员数量和/或所述人员身份数据确定所述双录视频的人员质检结果；

检测所述帧图像中的直线段，并过滤所述直线段；

获取正面俯拍图像期望分辨率；

根据所述正面俯拍图像期望分辨率和所述区域边缘直线段所对应的三组点计算仿射变换矩阵，并基于所述仿射变换矩阵对所述帧图像进行图像变换；

在所述指定区域为签名区域的情况下，所述对所述帧图像进行指定区域的定位，包括：

所述根据所述指定区域所对应的质检规则对所述指定区域进行质检，得

到所述双录视频的质检结果，包括：

对所述签名区域进行二值化；

对二值化后的所述签名区域进行水平投影和/或垂直投影；

基于投影结果确定所述双录视频的签名区域填写质检结果。

5.一种存储介质，其特征在于，上存储有程序，所述程序被处理器执行时实现权利要求1 至 3 中任一项所述双录视频质检方法。

6.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求 1 至 3中任一项所述双录视频质检方法。