CN110414324A - 视频录制过程监控的方法、装置、计算机设备和存储介质 - Google Patents
视频录制过程监控的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110414324A CN110414324A CN201910522475.XA CN201910522475A CN110414324A CN 110414324 A CN110414324 A CN 110414324A CN 201910522475 A CN201910522475 A CN 201910522475A CN 110414324 A CN110414324 A CN 110414324A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- information
- face
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 239000000284 extract Substances 0.000 claims abstract description 38
- 238000005259 measurement Methods 0.000 claims description 78
- 230000001815 facial effect Effects 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及业务过程优化技术领域，提供了一种视频录制过程监控的方法、装置、计算机设备和存储介质。所述方法包括：获取待检测用户人数以及各待检测用户的身份标识信息，实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，确定待检测信息集合中目标检测信息的数量，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。采用本方法能够提高对服务流程的监控效率。
Description
技术领域
本申请涉及业务过程优化技术领域，特别是涉及一种视频录制过程监控的方法、装置、计算机设备和存储介质。
背景技术
随着服务行业的发展，越来越多的企业在对客户进行服务时均需要对服务流程进行监控，通过这种方式逐步规范客服的服务行为以及保护客户的合法权益。传统地，对服务流程进行监控包括：对业务服务过程同步进行录音和录像，得到业务服务视频，人工对录制完成的业务服务视频进行质检，当质检中发现某个环节出现问题时，通知相关待检测用户进行补录。
然而，传统地对服务流程进行监控的方式，直至在最后的人工质检环节才会查找各录制节点中存在的问题并进行补录，无法对视频录制过程进行监控，并及时发现视频录制过程中的问题，存在监控效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高监控效率的视频录制过程监控的方法、装置、计算机设备和存储介质。
一种视频录制过程监控的方法，所述方法包括：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
在其中一个实施例中，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集包括：
将待检测视频拆分为多帧图像；
根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域；
根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数；
根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
在其中一个实施例中，提取出第二图像集合中各第二图像的人脸图像集合包括：
根据人脸特征提取模型提取出各第二图像中的人脸特征；
根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界；
根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
在其中一个实施例中，将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合包括：
获取各第二图像的人脸图像集合中多张人脸图像；
将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息；
根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
在其中一个实施例中，根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中的目标检测信息的数量包括：
获取待检测信息中的身份标识信息；
根据待检测信息中的身份标识信息，查询预设的用户信息数据库；
当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据目标身份标识信息从用户信息数据库中获取目标图像信息；
根据目标图像信息匹配待检测信息中的人脸图像信息；
当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息，统计目标检测信息的数量。
在其中一个实施例中，从第一图像集合中筛选出第二图像集合包括：
采集多个人脸图像样本；
对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合；
将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型；
根据人脸特征提取模型，从第一图像集合中筛选出第二图像集合。
一种视频录制过程监控的装置，所述装置包括：
第一获取模块，用于获取待检测用户人数以及各待检测用户的身份标识信息；
第二获取模块，用于实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
提取模块，用于从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
处理模块，用于将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
统计模块，用于根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
验证模块，用于当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
上述视频录制过程监控的方法、装置、计算机设备和存储介质，实时获取视频录制过程中各录制节点的待检测视频，从待检测视频中提取出第二图像集合，将第二图像集合中各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，进而根据各第二待检测信息集合中目标检测信息的数量，对视频录制过程中各录制节点的待检测视频进行实时质检，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示，实现了及时对视频录制过程中的各个环节进行监控，提高了对服务流程进行监控的效率。
附图说明
图1为一个实施例中视频录制过程监控的方法的流程示意图；
图2为一个实施例中图1中步骤S104的子流程示意图；
图3为一个实施例中图1中步骤S106的子流程示意图；
图4为一个实施例中图1中步骤S108的子流程示意图；
图5为一个实施例中图1中步骤S110的子流程示意图；
图6为一个实施例中图1中步骤S106的子流程示意图；
图7为一个实施例中视频录制过程监控的装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种视频录制过程监控的方法，包括以下步骤：
S102：获取待检测用户人数以及各待检测用户的身份标识信息。
待检测用户人数指的是参与业务服务视频录制的人数，可以为两人也可以为三人。待检测用户指的是参与业务服务视频录制的人，包括业务员以及客户。业务员的身份标识信息可以为业务员编号或者身份证号，客户的身份标识信息可以为客户的身份证号。举例说明，当业务员在进行业务办理时，会输入携带业务标识的进行录制指令至服务器，当服务器检测到对业务办理过程进行录制的触发指令时，会根据录制指令携带的业务标识获取与业务关联的需求信息，并根据需求信息获取待检测用户人数以及各待检测用户的身份标识信息。进一步地，需求信息可以为业务办理需要的参与人数，当业务员是在销售理财产品时，进行业务服务视频录制的人为业务员和客户两个人，当业务员是在销售保险产品时，进行业务服务视频录制的人可能包括业务员、投保人以及被保人三个人。
S104：实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同。
服务器会实时获取视频录制过程中各录制节点的待检测视频，将待检测视频拆分为多帧图像，根据待检测用户人数对多帧图像进行筛选，从多帧图像中提取出相应的第一图像，得到第一图像集合，第一图像中的人数与待检测用户人数相同。
S106：从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像。
因为服务器需要根据人的正脸图像进行身份验证，所以要对第一图像集合中各第一图像进行筛选，筛选出显示的人脸全为正脸的图像作为第二图像，可通过预先训练人脸特征提取模型，再根据人脸特征提取模型对第一图像集合进行筛选的方式，从第一图像集合中筛选出第二图像集合。在得到第二图像集合之后，服务器可进一步根据人脸特征提取模型对各第二图像中的人脸区域进行划分，划分出多个人脸区域，进而根据划分出的人脸区域提取人脸图像。
S108：将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合。
人脸图像集合中包括多张人脸图像，将每张人脸图像与各待检测用户的身份标识信息进行组合，可以得到每张人脸图像的多个待检测信息，进而根据每张人脸图像的多个待检测信息，可得到各第二图像的待检测信息集合。
S110：根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量。
根据各待检测信息查询预设的用户信息数据库，可以检测各待检测信息是否正确，当用户信息数据库中存在与待检测信息对应的信息时，可将该待检测信息作为目标检测信息。因为是要对业务员以及客户的身份都进行核实，所以只有当待检测信息集合中存在与待检测用户人数对应数量的目标检测信息时，才能算是验证通过，即要确保每个人的身份都得到核实。用户信息数据库包括企业内部的数据库以及公安系统的数据库，当通过企业内部的数据库无法查询到与待检测信息对应的信息时，可以调用公安系统的数据库进行查询，当两个数据库都无法查询到与待检测信息对应的信息时，即可认为该待检测信息并不正确。
S112：当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
服务器会统计目标检测信息的数量，当目标检测信息的数量与待检测用户人数相同时，即可认为验证通过，若目标检测信息的数量与待检测用户人数不相同时，即可认为验证未通过，此时服务器会生成补录提示，以提示各待检测用户进行补录，补录提示用于提示业务员和客户重新录制本节点的视频。
上述视频录制过程监控的方法，实时获取视频录制过程中各录制节点的待检测视频，从待检测视频中提取出第二图像集合，将第二图像集合中各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，进而根据各第二待检测信息集合中目标检测信息的数量，对视频录制过程中各录制节点的待检测视频进行实时质检，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示，实现了及时对视频录制过程中的各个环节进行监控，提高了对服务流程进行监控的效率。
在其中一个实施例中，如图2所示，S104包括：
S202：将待检测视频拆分为多帧图像；
S204：根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域；
S206：根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数；
S208：根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
因为每个人的肤色都不完全相同，根据预设的肤色信息数据库对各帧图像进行肤色分割，可以确定各帧图像中的多个待分析人脸肤色区域，进而根据待分析人脸肤色区域的数量即可确定各帧图像中的待分析人数，根据待检测用户人数匹配各帧图像的待分析人数，即可从多帧图像中筛选出与待检测用户人数匹配的第一图像集合。其中，预设的肤色信息数据库可按照需要自行设置。
上述实施例，采用肤色分割的方式，对拆分后的多帧图像进行处理，确定各帧图像的待分析人数，根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出与待检测用户人数匹配的第一图像集合，实现了对与待检测用户人数匹配的第一图像集合的获取。
在其中一个实施例中，如图3所示，S106包括：
S302：根据人脸特征提取模型提取出各第二图像中的人脸特征；
S304：根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界；
S306：根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
根据各第二图像中的人脸特征，可以确定各第二图像中的各人脸的五官的相对位置，从而根据各人脸的五官的相对位置，确定各人脸的脸部边界，根据各人脸的脸部边界以及各人脸的相对位置，即可划定多个人脸区域的矩形边界，根据人脸区域的矩形边界对个图形中的人脸图像进行提取，即可提取出各第二图像中的人脸图像集合。举例说明，若要从图像上提取A和B的人脸图像，首先根据A和B的五官的相对位置，确定A和B的脸部边界，当A在B的左边时，以A的右边脸部边界为起点，划定B的矩形边界，以B的左边脸部边界为终点，划定A的矩形边界。
上述实施例，根据人脸特征提取模型提取出各第二图像中的人脸特征，根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界，根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合，实现了根据各第二图像中的人脸特征对人脸图像集合的获取。
在其中一个实施例中，如图4所示，S108包括：
S402：获取各第二图像的人脸图像集合中多张人脸图像；
S404：将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息；
S406：根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
各第二图像的人脸图像集合中包括多张人脸图像，服务器将每张人脸图像与各待检测用户的身份标识信息进行组合，可以得到每张人脸图像的多个待检测信息，从而根据每张人脸图像的多个待检测信息，可以得到各第二图像的待检测信息集合。其中，进行组合指的是将每张人脸图像与身份标识信息进行一一匹配，每一组匹配数据都是一个待检测信息，若人脸图像集合中包括A张人脸图像，且同时存在B个待检测用户的身份标识信息，则可以得到A*B个待检测信息。举例说明，人脸图像集合中包括A、B以及C三张人脸图像，各待检测用户的身份标识信息可以为1、2以及3，将每张人脸图像与各待检测用户的身份标识信息进行组合，则可以得到九个待检测信息，包括A1、A2、A3、B1、B2、B3、C1、C2以及C3，这九个待检测信息即组成第二图像的待检测信息集合。
上述实施例，将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息，进而根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合，实现了对各第二图像的待检测信息集合的获取。
在其中一个实施例中，如图5所示，S110包括：
S502：获取待检测信息中的身份标识信息；
S504：根据待检测信息中的身份标识信息，查询预设的用户信息数据库；
S506：当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据目标身份标识信息从用户信息数据库中获取目标图像信息；
S508：根据目标图像信息匹配待检测信息中的人脸图像信息；
S510：当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息，统计目标检测信息的数量。
在根据待检测信息查询预设的用户信息数据库时，需要对待检测信息中的身份标识信息以及人脸图像信息都进行检测，服务器首先获取待检测信息中的身份标识信息，根据待检测信息中的身份标识信息，查询预设的用户信息数据库，当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，进而根据目标身份标识信息从用户信息数据库中获取目标图像信息，根据目标图像信息匹配待检测信息中的人脸图像信息，当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息，统计目标检测信息的数量。其中预设的阈值可按照需要自行设置，用户信息数据库中存储的是一一匹配的身份标识信息与图像信息。
上述实施例，根据待检测信息中的身份标识信息以及人脸图像信息，查询预设的用户信息数据库，确定待检测信息集合中的目标检测信息，统计目标检测信息的数量，实现了对目标检测信息的获取和数量的确定。
在其中一个实施例中，如图6所示，S106包括：
S602：采集多个人脸图像样本；
S604：对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合；
S606：将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型；
S608：根据人脸特征提取模型，从第一图像集合中筛选出第二图像集合。
人脸图像样本为清晰的人脸图像，对人脸图像样本进行人脸对齐处理，是为了获取到正面人脸图像，正面人脸图像指的是五官都清楚显示在图像中的人脸图像，将正面人脸图像集合作为训练集进行模型训练，可以得到能提取出正面图像中五官特征的人脸特征提取模型。
上述实施例，采集多个人脸图像样本，对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合，将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型，实现了对人脸特征提取模型的获取。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种视频录制过程监控的装置，包括：第一获取模块702、第二获取模块704、提取模块706、处理模块708、统计模块710和验证模块712，其中：
第一获取模块702，用于获取待检测用户人数以及各待检测用户的身份标识信息；
第二获取模块704，用于实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
提取模块706，用于从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
处理模块708，用于将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
统计模块710，用于根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
验证模块712，用于当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
上述视频录制过程监控的装置，实时获取视频录制过程中各录制节点的待检测视频，从待检测视频中提取出第二图像集合，将第二图像集合中各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，进而根据各第二待检测信息集合中目标检测信息的数量，对视频录制过程中各录制节点的待检测视频进行实时质检，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示，实现了及时对视频录制过程中的各个环节进行监控，提高了对服务流程进行监控的效率。
在其中一个实施例中，第二获取模块还用于将待检测视频拆分为多帧图像，根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域，根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数，根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
在其中一个实施例中，提取模块还用于根据人脸特征提取模型提取出各第二图像中的人脸特征，根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界，根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
在其中一个实施例中，处理模块还用于获取各第二图像的人脸图像集合中多张人脸图像，将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息，根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
在其中一个实施例中，统计模块还用于获取待检测信息中的身份标识信息，根据待检测信息中的身份标识信息，查询预设的用户信息数据库，当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据目标身份标识信息从用户信息数据库中获取目标图像信息，根据目标图像信息匹配待检测信息中的人脸图像信息，当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息。
在其中一个实施例中，提取模块还用于采集多个人脸图像样本，对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合，将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型，根据人脸特征提取模型，从第一图像集合中筛选出第二图像集合。
关于视频录制过程监控的装置的具体限定可以参见上文中对于视频录制过程监控的方法的限定，在此不再赘述。上述视频录制过程监控的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储色彩信息数据以及用户信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频录制过程监控的方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
上述视频录制过程监控的计算机设备，实时获取视频录制过程中各录制节点的待检测视频，从待检测视频中提取出第二图像集合，将第二图像集合中各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，进而根据各第二待检测信息集合中目标检测信息的数量，对视频录制过程中各录制节点的待检测视频进行实时质检，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示，实现了及时对视频录制过程中的各个环节进行监控，提高了对服务流程进行监控的效率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将待检测视频拆分为多帧图像；
根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域；
根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数；
根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据人脸特征提取模型提取出各第二图像中的人脸特征；
根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界；
根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取各第二图像的人脸图像集合中多张人脸图像；
将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息；
根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待检测信息中的身份标识信息；
根据待检测信息中的身份标识信息，查询预设的用户信息数据库；
当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据目标身份标识信息从用户信息数据库中获取目标图像信息；
根据目标图像信息匹配待检测信息中的人脸图像信息；
当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息，统计目标检测信息的数量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采集多个人脸图像样本；
对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合；
将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型；
根据人脸特征提取模型，从第一图像集合中筛选出第二图像集合。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据待检测用户人数从待检测视频中提取相应的第一图像，得到第一图像合集，第一图像中的人数与待检测用户人数相同；
从第一图像集合中筛选出第二图像集合，并提取出第二图像集合中各第二图像的人脸图像集合，第二图像为显示的人脸全为正脸的图像；
将各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定待检测信息集合中目标检测信息的数量；
当目标检测信息的数量与待检测用户人数不相同时，生成补录提示。
上述视频录制过程监控的存储介质，实时获取视频录制过程中各录制节点的待检测视频，从待检测视频中提取出第二图像集合，将第二图像集合中各第二图像的人脸图像集合与各待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合，进而根据各第二待检测信息集合中目标检测信息的数量，对视频录制过程中各录制节点的待检测视频进行实时质检，当目标检测信息的数量与待检测用户人数不相同时，生成补录提示，实现了及时对视频录制过程中的各个环节进行监控，提高了对服务流程进行监控的效率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将待检测视频拆分为多帧图像；
根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域；
根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数；
根据待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据人脸特征提取模型提取出各第二图像中的人脸特征；
根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界；
根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各第二图像的人脸图像集合中多张人脸图像；
将每张人脸图像与各待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息；
根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待检测信息中的身份标识信息；
根据待检测信息中的身份标识信息，查询预设的用户信息数据库；
当用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据目标身份标识信息从用户信息数据库中获取目标图像信息；
根据目标图像信息匹配待检测信息中的人脸图像信息；
当目标图像信息与待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将待检测信息作为目标检测信息，统计目标检测信息的数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采集多个人脸图像样本；
对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合；
将正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型；
根据人脸特征提取模型，从第一图像集合中筛选出第二图像集合。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频录制过程监控的方法，所述方法包括：
获取待检测用户人数以及各待检测用户的身份标识信息；
实时获取视频录制过程中各录制节点的待检测视频，根据所述待检测用户人数从所述待检测视频中提取相应的第一图像，得到第一图像合集，所述第一图像中的人数与所述待检测用户人数相同；
从所述第一图像集合中筛选出第二图像集合，并提取出所述第二图像集合中各第二图像的人脸图像集合，所述第二图像为显示的人脸全为正脸的图像；
将各所述第二图像的人脸图像集合与各所述待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定所述待检测信息集合中目标检测信息的数量；
当所述目标检测信息的数量与所述待检测用户人数不相同时，生成补录提示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测用户人数从所述待检测视频中提取相应的第一图像，得到第一图像合集包括：
将所述待检测视频拆分为多帧图像；
根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域；
根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数；
根据所述待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
3.根据权利要求1所述的方法，其特征在于，所述提取出所述第二图像集合中各第二图像的人脸图像集合包括：
根据所述人脸特征提取模型提取出各第二图像中的人脸特征；
根据各第二图像中的人脸特征，划定多个人脸区域的矩形边界；
根据多个人脸区域的矩形边界，提取出各第二图像的人脸图像集合。
4.根据权利要求1所述的方法，其特征在于，所述将各所述第二图像的人脸图像集合与各所述待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合包括：
获取各所述第二图像的人脸图像集合中多张人脸图像；
将每张人脸图像与各所述待检测用户的身份标识信息进行组合，得到每张人脸图像的多个待检测信息；
根据每张人脸图像的多个待检测信息，得到各第二图像的待检测信息集合。
5.根据权利要求1所述的方法，其特征在于，所述根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定所述待检测信息集合中的目标检测信息的数量包括：
获取待检测信息中的身份标识信息；
根据所述待检测信息中的身份标识信息，查询预设的用户信息数据库；
当所述用户信息数据库中存在与身份标识信息对应的目标身份标识信息时，根据所述目标身份标识信息从所述用户信息数据库中获取目标图像信息；
根据所述目标图像信息匹配所述待检测信息中的人脸图像信息；
当所述目标图像信息与所述待检测信息中的人脸图像信息的匹配度大于预设的阈值时，将所述待检测信息作为目标检测信息，统计所述目标检测信息的数量。
6.根据权利要求1所述的方法，其特征在于，所述从所述第一图像集合中筛选出第二图像集合包括：
采集多个人脸图像样本；
对各人脸图像样本进行人脸对齐处理，获取人脸对齐后的正面人脸图像集合；
将所述正面人脸图像集合作为训练集进行模型训练，得到人脸特征提取模型；
根据所述人脸特征提取模型，从所述第一图像集合中筛选出第二图像集合。
7.一种视频录制过程监控的装置，其特征在于，所述装置包括：
第一获取模块，用于获取待检测用户人数以及各待检测用户的身份标识信息；
第二获取模块，用于实时获取视频录制过程中各录制节点的待检测视频，根据所述待检测用户人数从所述待检测视频中提取相应的第一图像，得到第一图像合集，所述第一图像中的人数与所述待检测用户人数相同；
提取模块，用于从所述第一图像集合中筛选出第二图像集合，并提取出所述第二图像集合中各第二图像的人脸图像集合，所述第二图像为显示的人脸全为正脸的图像；
处理模块，用于将各所述第二图像的人脸图像集合与各所述待检测用户的身份标识信息进行组合，得到各第二图像的待检测信息集合；
统计模块，用于根据各第二图像的待检测信息集合中各待检测信息，查询预设的用户信息数据库，确定所述待检测信息集合中目标检测信息的数量；
验证模块，用于当所述目标检测信息的数量与所述待检测用户人数不相同时，生成补录提示。
8.根据权利要求7所述的装置，其特征在于，所述第二获取模块还用于将所述待检测视频拆分为多帧图像，根据预设的肤色信息数据库对各帧图像进行肤色分割，确定各帧图像中的待分析人脸肤色区域，根据各帧图像中的待分析人脸肤色区域的数量，确定各帧图像的待分析人数，根据所述待检测用户人数匹配各帧图像的待分析人数，从多帧图像中筛选出第一图像集合。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910522475.XA CN110414324A (zh) | 2019-06-17 | 2019-06-17 | 视频录制过程监控的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910522475.XA CN110414324A (zh) | 2019-06-17 | 2019-06-17 | 视频录制过程监控的方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110414324A true CN110414324A (zh) | 2019-11-05 |
Family
ID=68359324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910522475.XA Pending CN110414324A (zh) | 2019-06-17 | 2019-06-17 | 视频录制过程监控的方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414324A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804587A (zh) * | 2020-12-31 | 2021-05-14 | 平安科技（深圳）有限公司 | 基于观看人数序列的视频质检方法、装置及计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN109544595A (zh) * | 2018-10-29 | 2019-03-29 | 苏宁易购集团股份有限公司 | 一种顾客路径追踪方法及系统 |
| CN109783338A (zh) * | 2019-01-02 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于业务信息的录制处理方法、装置和计算机设备 |
-
2019
- 2019-06-17 CN CN201910522475.XA patent/CN110414324A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN109544595A (zh) * | 2018-10-29 | 2019-03-29 | 苏宁易购集团股份有限公司 | 一种顾客路径追踪方法及系统 |
| CN109783338A (zh) * | 2019-01-02 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于业务信息的录制处理方法、装置和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| 孟振江;: "公安天网视频监控系统升级改造建设初探", 有线电视技术, no. 09 * |
| 宋红, 石峰: "基于人脸检测与跟踪的智能监控系统", 北京理工大学学报, no. 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804587A (zh) * | 2020-12-31 | 2021-05-14 | 平安科技（深圳）有限公司 | 基于观看人数序列的视频质检方法、装置及计算机设备 |
| CN112804587B (zh) * | 2020-12-31 | 2022-10-14 | 平安科技（深圳）有限公司 | 基于观看人数序列的视频质检方法、装置及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Face morphing detection using Fourier spectrum of sensor pattern noise | |
| CN108269333A (zh) | 人脸识别方法、应用服务器及计算机可读存储介质 | |
| CN110364183A (zh) | 语音质检的方法、装置、计算机设备和存储介质 | |
| US20120288165A1 (en) | Surveillance-based high-resolution facial recognition | |
| CN111738349B (zh) | 目标检测算法的检测效果评估方法、装置、存储介质及设备 | |
| CN109766474A (zh) | 审讯信息审核方法、装置、计算机设备和存储介质 | |
| CN110246503A (zh) | 黑名单声纹库构建方法、装置、计算机设备和存储介质 | |
| JP2020129439A (ja) | 情報処理システムおよび情報処理方法 | |
| CN110942027A (zh) | 遮挡策略的确定方法及装置、存储介质、电子装置 | |
| CN111191506A (zh) | 人员流量统计方法、装置、计算机设备和存储介质 | |
| CN111079687A (zh) | 证件伪装识别方法、装置、设备及存储介质 | |
| CN110414324A (zh) | 视频录制过程监控的方法、装置、计算机设备和存储介质 | |
| CN112036242A (zh) | 人脸图片采集方法、装置、计算机设备及存储介质 | |
| CN108052949B (zh) | 物品类别统计方法、系统、计算机设备和可读存储介质 | |
| CN110490079A (zh) | 巡检数据处理方法、装置、计算机设备和存储介质 | |
| CN112016526B (zh) | 场所活动对象的行为监测分析系统、方法、装置和设备 | |
| CN108345847A (zh) | 一种人脸图像标签数据生成系统及其方法 | |
| CN112418196A (zh) | 人群数量预测方法、装置、计算机设备及存储介质 | |
| CN115834231A (zh) | 一种蜜罐系统的识别方法、装置、终端设备及存储介质 | |
| CN111078804B (zh) | 一种信息关联方法、系统及计算机终端 | |
| CN111858285A (zh) | 视频操作行为的异常识别方法、装置、服务器及存储介质 | |
| CN116402502B (zh) | 一种大数据移动终端支付方法及系统 | |
| EP2297697A1 (en) | Face-detection processing methods, image processing devices, and articles of manufacture | |
| Dostal et al. | HLFSIM: Objective image quality metric based on ROI analysis | |
| Anbu et al. | A comprehensive survey of detection of tampered video and localization of tampered frame |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |