CN110765869B - 分渠道采集数据的唇语活体检测方法、系统和计算机设备 - Google Patents
分渠道采集数据的唇语活体检测方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN110765869B CN110765869B CN201910883390.4A CN201910883390A CN110765869B CN 110765869 B CN110765869 B CN 110765869B CN 201910883390 A CN201910883390 A CN 201910883390A CN 110765869 B CN110765869 B CN 110765869B
- Authority
- CN
- China
- Prior art keywords
- data
- detection
- lip
- video
- user equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000009432 framing Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000012790 confirmation Methods 0.000 claims description 13
- 238000013480 data collection Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明实施例提供了一种分渠道采集数据的唇语活体检测方法，所述方法包括：判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；根据运行环境匹配相应的数据采集模式，并基于数据采集模式以及与数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；压缩初始数据以得到压缩文件，将压缩文件上传到后台进行转格式处理，得到目标数据；基于目标数据执行唇语活体检测以得到检测数据，唇语活体检测包括语音识别、图像分帧以及唇动检测；及根据检测数据判断检测对象是否为活体。本发明实施例在不同的设备环境和网络环境下通过不同的数据上传和更省耗时的数据传输方式，从而进一步提高唇语检测效率。
Description
技术领域
本发明实施例涉及数据采集领域，尤其涉及一种分渠道采集数据的唇语活体检测方法、系统、计算机设备及计算机可读存储介质。
背景技术
随着人工智能技术的普及，尤其计算机视觉人脸识别技术的大面积应用，赋能互联网应用技术，在线上身份核验，线下人脸追踪，人脸黑白红名单识别等场景中应用普遍。其中金融保险医疗行业，长久以来核心的个人业务系统，需要对业务办理人身份进行确认，在线上场景中往往面临的不但是判断本人是本人，更要判断本人是真人。移动互联网加速人脸识别落地应用，在电脑端、手机端、ATM、VTM等各类终端上，用户自助完成银行开户、卡激活、解绑、金融贷款申请、保险投保确认、电子合同签署、医保生存认证，利用活体检测技术确保操作人是真人，并确保是意识清晰、有意愿完成业务办理，变得极为重要。在当前唇语识别进行数据采集时需要消耗较多的数据流量，且在偏远地区弱网环境下无法顺利进行人脸识别社保业务办理，给业务办理人员带来了很大的困扰。
因此，如何在不同的前端设备环境和网络环境下，进行更省数据流量的数据上传和更省耗时的数据传输，从而进一步提高唇语检测效率，成为了当前要解决的技术问题之一。
发明内容
有鉴于此，有必要提供一种分渠道采集数据的唇语活体检测方法、系统、计算机设备及计算机可读存储介质，以解决在当前唇语识别进行数据采集时需要消耗较多的数据流量，且在偏远地区弱网环境下无法顺利进行人脸识别等技术问题。
为实现上述目的，本发明实施例提供了一种分渠道采集数据的唇语活体检测方法，所述方法步骤包括：
判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；
根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测；及
根据所述检测数据判断所述检测对象是否为活体。
示例性的，所述根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务以得到初始数据的步骤，包括：
根据所述运行环境生成数据采集请求信息；
将所述数据采集请求信息发送到用户设备；
接收用户设备反馈的采集确认指令；
根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；
根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；
通过所述数据采集器执行数据采集操作，以得到初始数据，其中，所述初始数据包括mov视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据。
示例性的，所述根据所述运行环境匹配相应的数据采集模式的步骤，可以包括：
当所述运行系统类型为IOS系统且所述内核类型为浏览器safari内核时，则获取录像权限，并通过视频控制接口实时调用所述用户设备中的摄像头进行视频录制，以得到mov视频数据；
当所述运行系统类型为IOS系统且所述内核类型为qq内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的相机摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；
当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；
当所述运行系统类型为Android系统且所述内核类型为微信内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；和/或
当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
示例性的，所述目标数据为mp4视频格式数据；所述转格式处理的步骤包括：
将所述mov视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据均转换为mp4视频格式数据，其中：
将mov视频数据进行视频格式转化操作，以得到mp4视频格式数据；
将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据，将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据；
通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据。
示例性的，所述通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据的步骤，包括：
将二进制字节流转化为数组，输出字符串；
将所述字符串转化为jpg图片数据；
将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据；
将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据。
为实现上述目的，本发明实施例还提供了一种分渠道采集数据的唇语活体检测系统，包括：
判断模块，用于判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；
匹配模块，用于根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
处理模块，用于压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
执行模块，用于基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测；及
检测模块，用于根据所述检测数据判断所述检测对象是否为活体。
示例性的，所述判断模块还用于：
根据所述运行环境生成数据采集请求信息；
将所述数据采集请求信息发送到用户设备；
接收用户设备反馈的采集确认指令；
根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；
根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；
通过所述数据采集器执行数据采集操作，以得到初始数据，其中，所述初始数据包括mov视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据。
示例性的，所述匹配模块还用于：
当所述运行系统类型为IOS系统且所述内核类型为浏览器safari内核时，则获取录像权限，并通过视频控制接口实时调用所述用户设备中的摄像头进行视频录制，以得到mov视频数据；
当所述运行系统类型为IOS系统且所述内核类型为qq内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的相机摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；
当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；
当所述运行系统类型为Android系统且所述内核类型为微信内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；和/或
当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的分渠道采集数据的唇语活体检测方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的分渠道采集数据的唇语活体检测方法的步骤。
本发明实施例提供的分渠道采集数据的唇语活体检测方法、系统、计算机设备及计算机可读存储介质，为唇语活体检测提供了有效的数据采集方法；在不同的设备环境和网络环境下通过不同的数据上传和更省耗时的数据传输方式，从而进一步提高唇语检测效率。
附图说明
图1为本发明实施例分渠道采集数据的唇语活体检测方法的流程示意图。
图2为本发明分渠道采集数据的唇语活体检测系统实施例二的程序模块示意图。
图3为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下实施例中，将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图1，示出了本发明实施例之分渠道采集数据的唇语活体检测方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；
示例性的，所述用户设备的运行环境的判断，可以通过navigator.userAgent组件进行判断；所述运行系统包括：iOS(iPhone OS移动操作系统)、Android、windows等；所述运行内核包括；qq内核、Safari内核、IE内核等。
示例性的，所述步骤S100可以进一步包括：
步骤S100a，根据所述运行环境生成数据采集请求信息；
步骤S100b，将所述数据采集请求信息发送到用户设备；
步骤S100c，接收用户设备反馈的采集确认指令；
步骤S100d，根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；
步骤S100e，根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；
步骤S100f，通过所述数据采集器执行数据采集操作，以得到初始数据，其中，所述初始数据包括mov(音频、视频文件格式)视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据。
步骤S102，根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
示例性的，所述步骤S102可以进一步包括：
步骤S102a，当所述运行系统类型为IOS系统且所述内核类型为浏览器safari内核时，则获取录像权限，并通过视频控制接口实时调用所述用户设备中的摄像头进行视频录制，以得到mov视频数据；
步骤S102b，当所述运行系统类型为IOS系统且所述内核类型为qq内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia(摄像头和视频控制接口)调用所述用户设备的相机摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；
步骤S102c，当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia(硬件设备媒体控制接口)调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；
步骤S102d，当所述运行系统类型为Android系统且所述内核类型为微信内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；和/或
步骤S102e，当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
步骤S104，压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
示例性的，将所述初始数据进行打包压缩操作，以得到*.zip格式的压缩文件。
示例性的，所述转格式处理包括：将所述mov视频数据、jpg图片数据、wav音频数据以及二进制字节流数据均其转为mp4视频格式数据。其中，所述目标数据为mp4视频格式数据。
示例性的，所述步骤S104可以进一步包括：
步骤S104a，将mov视频数据进行视频格式转化操作，以得到mp4视频格式数据；
步骤S104b，将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据，将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据；
步骤S104c，通过Blob(Blob Analysis，区块分析)将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据。
步骤S104，所述通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据的步骤，可以进一步包括：
步骤S104c1，将二进制字节流转化为数组，输出字符串；
步骤S104c2，将所述字符串转化为jpg图片数据；
步骤S104c3，将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据；
步骤S104c4，将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据。
步骤S106，基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测；
示例性的，对所述目标数据进行音频解析和图像解析，以得到目标音频数据和目标图像数据；对所述目标音频数据和对目标图像数据分别进行语音识别操作和唇动检测操作，得到检测数据。
示例性的，语音识别，用于对所述语音信号进行语音识别，获得语音信号对应的语言信息，与预设数值进行匹配计算；图像分帧，用于对所述视频信号进行分帧处理，获得分帧后的每帧图像中的嘴唇位置；唇动检测，用于每帧图像中的嘴唇位置进行唇动检测，连续帧趋势计算，获得连续帧图像的对应的语言信息。
其中，所述活体检测还包括：材质检测，用于对每帧图像的边框、反光纹理、摩尔纹、图像畸变等进行识别，并计算各判断因子的置信值；示例性的，对电子屏、纸张等特殊材质呈现的特征进行检测，对摩尔纹、直线边框、纸张颗粒度、图像中人脸畸变等多达30种因子识别，判断各检测因子，进行权重计算时优先取电子屏特征、人脸畸变特征，进行加权平均，保证活体检测结果。
步骤S108，根据所述检测数据判断所述检测对象是否为活体。
示例性的，通过时间对准算法计算所述唇语活体检测数据进行的相似度值，将所述相似度值作为活体检测判断因子之一，综合材质和唇语识别置信结果，判断采集的数据是否为真人产生的。
实施例二
图2为本发明分渠道采集数据的唇语活体检测系统实施例二的程序模块示意图。唇语活体检测系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述分渠道采集数据的唇语活体检测方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述唇语活体检测系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
判断模块200，用于判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型。
示例性的，所述判断模块200还用于：根据所述运行环境生成数据采集请求信息；将所述数据采集请求信息发送到用户设备；接收用户设备反馈的采集确认指令；根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；通过所述数据采集器执行数据采集操作，以得到初始数据，其中，所述初始数据包括mov视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据。
匹配模块202，用于根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
示例性的，所述匹配模块202还用于：当所述运行系统类型为IOS系统且所述内核类型为浏览器safari内核时，则获取录像权限，并通过视频控制接口实时调用所述用户设备中的摄像头进行视频录制，以得到mov视频数据；当所述运行系统类型为IOS系统且所述内核类型为qq内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的相机摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；当所述运行系统类型为Android系统且所述内核类型为微信内核时，则获取拍照权限和录音权限，并通过navigator.mediaDevices.getUserMedia调用所述用户设备的摄像头和麦克风进行图像拍摄和声音录制，以得到jpg图片数据和wav音频数据；和/或当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
处理模块204，用于压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
示例性的，所述处理模块204还用于：将所述mov视频数据、jpg图片数据、wav音频数据和/或二进制字节流数据均转换为mp4视频格式数据，其中：将mov视频数据进行视频格式转化操作，以得到mp4视频格式数据；将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据，将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据；通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据。
示例性的，所述处理模块204还用于：将二进制字节流转化为数组，输出字符串；将所述字符串转化为jpg图片数据；将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据；将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据。
执行模块206，用于基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测。
检测模块208，用于根据所述检测数据判断所述检测对象是否为活体。
实施例三
参阅图3，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及唇语活体检测系统20。
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的分渠道采集数据的唇语活体检测系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行分渠道采集数据的唇语活体检测系统20，以实现实施例一的分渠道采集数据的唇语活体检测方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图3仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的分渠道采集数据的唇语活体检测系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图2示出了本发明实施例二之所述实现分渠道采集数据的唇语活体检测系统20的程序模块示意图，该实施例中，所述分渠道采集数据的唇语活体检测系统20可以被划分为判断模块200、匹配模块202、处理模块204、执行模块206和检测模块208。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述分渠道采集数据的唇语活体检测系统20在所述计算机设备2中的执行过程。所述程序模块200-208的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于分渠道采集数据的唇语活体检测系统20，被处理器执行时实现实施例一的分渠道采集数据的唇语活体检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种分渠道采集数据的唇语活体检测方法，其特征在于，所述方法包括：
判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；
根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测；及
根据所述检测数据判断所述检测对象是否为活体；
所述目标数据为mp4视频格式数据；所述转格式处理的步骤包括：
通过Blob将二进制字节流数据进行转格式处理，以得到mp4视频格式数据；
所述通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据的步骤，包括：
将二进制字节流转化为数组，输出字符串；
将所述字符串转化为jpg图片数据；
将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据；
将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据。
2.如权利要求1所述的分渠道采集数据的唇语活体检测方法，其特征在于，所述根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务以得到初始数据的步骤，包括：
根据所述运行环境生成数据采集请求信息；
将所述数据采集请求信息发送到用户设备；
接收用户设备反馈的采集确认指令；
根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；
根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；
通过所述数据采集器执行数据采集操作，以得到初始数据。
3. 如权利要求2所述的分渠道采集数据的唇语活体检测方法，其特征在于，所述根据所述运行环境匹配相应的数据采集模式的步骤，包括：
当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；和/或
当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
4.一种分渠道采集数据的唇语活体检测系统，其特征在于，包括：
判断模块，用于判断用户设备的运行环境，所述运行环境包括：运行系统类型和运行内核类型；
匹配模块，用于根据所述运行环境匹配相应的数据采集模式，并基于所述数据采集模式以及与所述数据采集模式对应的系统资源权限执行数据采集任务，以得到与检测对象关联的初始数据；
处理模块，用于压缩所述初始数据以得到压缩文件，将所述压缩文件上传到后台进行转格式处理，得到目标数据；
执行模块，用于基于所述目标数据执行唇语活体检测以得到检测数据，所述唇语活体检测包括语音识别、图像分帧以及唇动检测；及
检测模块，用于根据所述检测数据判断所述检测对象是否为活体；
所述目标数据为mp4视频格式数据；所述转格式处理包括：
通过Blob将二进制字节流数据进行转格式处理，以得到mp4视频格式数据；
所述通过Blob将所述二进制字节流数据进行转格式处理，以得到mp4视频格式数据，包括：
将二进制字节流转化为数组，输出字符串；
将所述字符串转化为jpg图片数据；
将jpg图片数据在时间轴上进行复制扩展，以得到多张连续的单帧图像数据；
将所述多张连续的单帧图像数据进行合帧操作，以得到mp4视频格式数据。
5.如权利要求4所述的分渠道采集数据的唇语活体检测系统，其特征在于，所述判断模块还用于：
根据所述运行环境生成数据采集请求信息；
将所述数据采集请求信息发送到用户设备；
接收用户设备反馈的采集确认指令；
根据所述采集确认指令获取所述用户设备中的数据采集器的使用权限；
根据所述使用权限调用数据采集器，其中，所述数据采集器包括视频数据采集器、图像数据采集器和音频数据采集器；所述使用权限包括视频数据采集器的录像权限、图像数据采集器的拍照权限和音频数据采集器的录音权限；
通过所述数据采集器执行数据采集操作，以得到初始数据。
6. 如权利要求4所述的分渠道采集数据的唇语活体检测系统，其特征在于，所述匹配模块还用于：
当所述运行系统类型为IOS系统且所述内核类型为其他内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据；和/或
当所述运行系统类型为Android系统且所述内核类型为浏览器内核时，则获取录像权限和录音权限，并通过getUserMedia调用所述用户设备的摄像头和麦克风，进行视频录制和声音录制，以得到二进制字节流数据。
7.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的分渠道采集数据的唇语活体检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至3中任一项所述的分渠道采集数据的唇语活体检测方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883390.4A CN110765869B (zh) | 2019-09-18 | 2019-09-18 | 分渠道采集数据的唇语活体检测方法、系统和计算机设备 |
| PCT/CN2019/117766 WO2021051573A1 (zh) | 2019-09-18 | 2019-11-13 | 分渠道采集数据的唇语活体检测方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883390.4A CN110765869B (zh) | 2019-09-18 | 2019-09-18 | 分渠道采集数据的唇语活体检测方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765869A CN110765869A (zh) | 2020-02-07 |
| CN110765869B true CN110765869B (zh) | 2024-05-07 |
Family
ID=69329706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910883390.4A Active CN110765869B (zh) | 2019-09-18 | 2019-09-18 | 分渠道采集数据的唇语活体检测方法、系统和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110765869B (zh) |
| WO (1) | WO2021051573A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569622A (zh) * | 2021-06-09 | 2021-10-29 | 北京旷视科技有限公司 | 基于网页的活体检测方法、装置、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103777967A (zh) * | 2012-10-17 | 2014-05-07 | 阿里巴巴集团控股有限公司 | 页面返回方法、页面生成方法和装置 |
| CN104680375A (zh) * | 2015-02-28 | 2015-06-03 | 优化科技（苏州）有限公司 | 电子支付真人活体身份验证系统 |
| CN106203235A (zh) * | 2015-04-30 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 活体鉴别方法和装置 |
| WO2019134463A1 (en) * | 2018-01-02 | 2019-07-11 | Boe Technology Group Co., Ltd. | Lip language recognition method and mobile terminal |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200146A (zh) * | 2014-08-29 | 2014-12-10 | 华侨大学 | 一种结合视频人脸和数字唇动密码的身份验证方法 |
| US9626575B2 (en) * | 2015-08-07 | 2017-04-18 | International Business Machines Corporation | Visual liveness detection |
-
2019
- 2019-09-18 CN CN201910883390.4A patent/CN110765869B/zh active Active
- 2019-11-13 WO PCT/CN2019/117766 patent/WO2021051573A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103777967A (zh) * | 2012-10-17 | 2014-05-07 | 阿里巴巴集团控股有限公司 | 页面返回方法、页面生成方法和装置 |
| CN104680375A (zh) * | 2015-02-28 | 2015-06-03 | 优化科技（苏州）有限公司 | 电子支付真人活体身份验证系统 |
| CN106203235A (zh) * | 2015-04-30 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 活体鉴别方法和装置 |
| WO2019134463A1 (en) * | 2018-01-02 | 2019-07-11 | Boe Technology Group Co., Ltd. | Lip language recognition method and mobile terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021051573A1 (zh) | 2021-03-25 |
| CN110765869A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
| US11507324B2 (en) | Using feedback for adaptive data compression | |
| CN110765869B (zh) | 分渠道采集数据的唇语活体检测方法、系统和计算机设备 | |
| CN110765842A (zh) | 一种身份识别预处理、身份识别方法及设备 | |
| CN113158773A (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN112367348A (zh) | 数据获取方法、装置、设备及介质 | |
| CN112911003B (zh) | 电子数据提取方法、计算机设备和存储介质 | |
| CN111047657A (zh) | 图片压缩方法、装置、介质及电子设备 | |
| Mukherjee et al. | Energy efficient face recognition in mobile-fog environment | |
| CN115334333A (zh) | 直播视频的处理方法、装置、直播服务器和存储介质 | |
| CN115147756A (zh) | 一种视频流处理方法、装置、电子设备及存储介质 | |
| CN110619269A (zh) | 指纹远程管理及验证系统及其方法 | |
| CN112767348B (zh) | 一种检测信息的确定方法和装置 | |
| CN110276681B (zh) | 一种开展业务的方法及装置 | |
| CN113590467B (zh) | 数据比对方法、系统、计算机设备及计算机可读存储介质 | |
| CN112464741B (zh) | 人脸分类方法、模型训练方法、电子设备及存储介质 | |
| CN114513583B (zh) | 影像数据的压缩上传方法、装置、设备及介质 | |
| CN115208942B (zh) | 银行业务信息处理方法、装置及业务系统 | |
| CN113591513B (zh) | 用于处理图像的方法和装置 | |
| CN117291734A (zh) | 一种信息处理方法、装置、设备及其存储介质 | |
| CN116798098A (zh) | 生物特征的识别方法、第一解析设备、电子设备及介质 | |
| CN112800948A (zh) | 一种基于图像识别的分步式验证方法、装置和电子设备 | |
| CN113516137A (zh) | 一种在线图像的传输识别方法及系统 | |
| CN117880562A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN117251490A (zh) | 数据查询方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |