CN112073684A - 一种通用图像视频资源采集的方法 - Google Patents
一种通用图像视频资源采集的方法 Download PDFInfo
- Publication number
- CN112073684A CN112073684A CN202010840870.5A CN202010840870A CN112073684A CN 112073684 A CN112073684 A CN 112073684A CN 202010840870 A CN202010840870 A CN 202010840870A CN 112073684 A CN112073684 A CN 112073684A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- acquisition
- collecting
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种通用图像视频资源采集的方法,涉及图像采集技术领域；采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，并利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，利用深度学习模型进行图像人脸识别及比对，根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
Description
技术领域
本发明公开一种采集的方法,涉及图像采集技术领域，具体地说是一种通用图像视频资源采集的方法。
背景技术
随着办税大厅以及其他单位对无纸化办公、实名信息采集、人证比对等信息化及大厅视频监控信息安全进程的推进，用各种UVC摄像头以及高拍仪设备的需求越来越多。比如说办税大厅会使用高拍仪扫描采集纳税人文件资料，使用USB摄像头采集人脸照片图像，使用高清监控摄像头采集大厅监控视频，文档图片和照片采集后，需要保存到相应程序的数据库，集成到办公流程中才能更好地促进办公效率，因此需要对图像视频采集设备进行二次开发，现有图像视频采集设备种类繁多，品牌各异对设备提供的二次开发标准不一，对图像处理要求高，无法跨平台，对视频设备开发利用非常不便。
发明内容
本发明针对现有技术的问题，提供一种通用图像视频资源采集的方法，对不同视频设备二次开发提供统一的方法获取视频采集设备图像视频资源，并提供了完善的图像视频处理服务。
本发明提出的具体方案是：
一种通用图像视频资源采集的方法，采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
并利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
利用深度学习模型进行图像人脸识别及比对，根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
所述的一种通用图像视频资源采集的方法中利用深度学习模型使用mtcnn卷积神经网络的人脸检测算法进行图像中人脸矫正。
所述的一种通用图像视频资源采集的方法中利用inception-resnet网络进行图像特征提取并进行比对。
所述的一种通用图像视频资源采集的方法中还根据识别比对结果对采集到的图像进行锐化及降噪处理。
一种通用图像视频资源采集的系统，包括采集模块、兼容模块、识别比对模块、处理模块及通信模块，
采集模块采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
兼容模块利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
识别比对模块利用深度学习模型进行图像人脸识别及比对，处理模块根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通信模块通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
所述的一种通用图像视频资源采集的系统中识别比对模块利用深度学习模型使用mtcnn卷积神经网络的人脸检测算法进行图像中人脸矫正。
所述的一种通用图像视频资源采集的系统中识别比对模块利用inception-resnet网络进行图像特征提取并进行比对。
所述的一种通用图像视频资源采集的系统中处理模块还根据识别比对结果对采集到的图像进行锐化及降噪处理。
本发明的有益之处是：
本发明提供一种通用图像视频资源采集的方法，由本地服务客户端集成主流摄像头厂商提供的二次开发协议，利用通用标准UVC协议兼容UVC视频采集设备，利用深度学习模型进行图像人脸识别及比对，根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，
实施本发明方法部署简单，调用方便，兼容性好，支持设备广泛，可兼容主流操作系统包括Windows系统Windows XP以上，Linux各发行版本，支持绝大多数主流浏览器包括IE6及以上版本，Chrome、360、Firefox、Edge等等，功能强大，提供各种图像视频处理服务。
附图说明
图1是本发明方法流程示意图。
图2是本发明系统应用框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种通用图像视频资源采集的方法，采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
并利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
利用深度学习模型进行图像人脸识别及比对，根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
实施本发明方法部署简单，调用方便，兼容性好，支持设备广泛，可兼容主流操作系统包括Windows系统Windows XP以上，Linux各发行版本，支持绝大多数主流浏览器包括IE6及以上版本，Chrome、360、Firefox、Edge等等，功能强大，提供各种图像视频处理服务。
在本发明方法的一个实施例中，本地视频采集服务客户端,集成了主流高清监控摄像头厂商比如海康大华提供的二次开发协议，兼容高清监控摄像头的常用调用，支持高清监控摄像头的视频预览，播放控制，云台控制，
利用通用标准UVC协议，现实了兼容各品牌型号下的UVC视频采集设备，可利用DirectShow流媒体处理的开发包，从支持WDM驱动模型的采集卡上捕获数据，并且进行相应的后期处理乃至存储到文件中，用DirectShow成熟框架，提供了常用的视频采集预览，录像保存功能，
利用深度学习模型使用mtcnn卷积神经网络的人脸检测算法进行图像中人脸矫正，并利用inception-resnet网络进行图像特征提取并进行比对，
根据识别比对结果对采集到的图像使用OpenCV基于基于仿射变换对图像角度倾斜矫正并使用轮廓查找+ROI提取去掉多余的边进行优化处理，
用户可通过符合协议的HTTP请求或者Socket连接与本地服务程序进行通信，调用服务提供的图像视频采集功能，
调用封装在lpc_sdk_core.js(简称SDK)内对应的函数，SDK使用ajax技术实现Http请求接口与服务端通信，引入lpc_sdk_core.js包，使用LPCSDK全局变量，调用对应函数，过程是首先调用LPCSDK.InitSDK初始化服务，LPCSDK.OpenDevice打开指定设备，openCamera打开摄像头，startPreview开始预览，closeCamera关闭摄像头等，根据自己需求调用对应方法实现图像视频资源的采集以及相关操作。
在上述实施例基础上，另一实施例具体说明了图像中人脸识别和比对的方式。
其中选用mtcnn人脸检测，把歪的人脸扭正，有利于特征提取，在一定程度上可以提高识别率，即通过mtcnn定位人脸并回归得到人脸五个点的坐标，两个眼睛坐标，鼻子坐标喝嘴巴两角坐标，通过五个坐标的位置，利用仿射变换算法进行人脸矫正，提高图像中人脸识别效率，
并使用inception-resnet网络，上训练预训练模型，加强识别效果，进行特征比对时，上一步提取了特征，可以提取128维特征向量，两个人脸分别提取128维特征向量，通过计算两个特征向量的余弦距离或者欧式距离，得出两个特征向量的相似度即两个人脸的相似度，就可以判断两个人脸是否是同一个人了，余弦距离是两个向量间的角度，可以归一化到0到1，越接近1，表示两个人脸越相似，欧式距离表示两个向量空间的距离，两个向量空间距离越近，表示两个人越相似，最小值为0。
本发明还提供一种通用图像视频资源采集的系统，包括采集模块、兼容模块、识别比对模块、处理模块及通信模块，
采集模块采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
兼容模块利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
识别比对模块利用深度学习模型进行图像人脸识别及比对，处理模块根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通信模块通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
需要说明的是，上述各流程和系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (8)
1.一种通用图像视频资源采集的方法，其特征是采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
并利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
利用深度学习模型进行图像人脸识别及比对，根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
2.根据权利要求1所述的一种通用图像视频资源采集的方法，其特征是利用深度学习模型使用mtcnn卷积神经网络的人脸检测算法进行图像中人脸矫正。
3.根据权利要求1或2所述的一种通用图像视频资源采集的方法，其特征是利用inception-resnet网络进行图像特征提取并进行比对。
4.根据权利要求3所述的一种通用图像视频资源采集的方法，其特征是还根据识别比对结果对采集到的图像进行锐化及降噪处理。
5.一种通用图像视频资源采集的系统，其特征是包括采集模块、兼容模块、识别比对模块、处理模块及通信模块，
采集模块采集服务客户端集成主流摄像头厂商提供的二次开发协议，用于采集图像，
兼容模块利用通用标准UVC协议兼容UVC视频采集设备，提供视频采集预览及录像，
识别比对模块利用深度学习模型进行图像人脸识别及比对，处理模块根据识别比对结果对采集到的图像使用OpenCV的图像角度倾斜矫正进行优化处理，
通信模块通过基于HTTP和Socket的报文接口协议调用封装在SDK内对应函数，实现Http请求接口与服务端通信，根据需求调用对应方法实现图像视频资源的采集以及相关操作。
6.根据权利要求1所述的一种通用图像视频资源采集的系统，其特征是识别比对模块利用深度学习模型使用mtcnn卷积神经网络的人脸检测算法进行图像中人脸矫正。
7.根据权利要求1或2所述的一种通用图像视频资源采集的系统，其特征是识别比对模块利用inception-resnet网络进行图像特征提取并进行比对。
8.根据权利要求3所述的一种通用图像视频资源采集的系统，其特征是处理模块还根据识别比对结果对采集到的图像进行锐化及降噪处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840870.5A CN112073684A (zh) | 2020-08-20 | 2020-08-20 | 一种通用图像视频资源采集的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840870.5A CN112073684A (zh) | 2020-08-20 | 2020-08-20 | 一种通用图像视频资源采集的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112073684A true CN112073684A (zh) | 2020-12-11 |
Family
ID=73662324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010840870.5A Pending CN112073684A (zh) | 2020-08-20 | 2020-08-20 | 一种通用图像视频资源采集的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112073684A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426194A (zh) * | 2015-12-03 | 2016-03-23 | 北京利云技术开发公司 | 基于安卓otg接口驱动多个摄像头的方法和系统 |
| CN106961580A (zh) * | 2017-03-22 | 2017-07-18 | 金陵科技学院 | 基于arm9和v4l2接口的嵌入式视频采集系统 |
| CN107959828A (zh) * | 2017-12-07 | 2018-04-24 | 郑州云海信息技术有限公司 | 一种基于mjpg流传输的网络视频服务器及其设计、移植方法 |
| CN110705357A (zh) * | 2019-09-02 | 2020-01-17 | 深圳中兴网信科技有限公司 | 人脸识别方法和人脸识别装置 |
| CN110929576A (zh) * | 2019-10-23 | 2020-03-27 | 珠海研果科技有限公司 | 基于uvc协议的人脸识别方法及装置 |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
-
2020
- 2020-08-20 CN CN202010840870.5A patent/CN112073684A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426194A (zh) * | 2015-12-03 | 2016-03-23 | 北京利云技术开发公司 | 基于安卓otg接口驱动多个摄像头的方法和系统 |
| CN106961580A (zh) * | 2017-03-22 | 2017-07-18 | 金陵科技学院 | 基于arm9和v4l2接口的嵌入式视频采集系统 |
| CN107959828A (zh) * | 2017-12-07 | 2018-04-24 | 郑州云海信息技术有限公司 | 一种基于mjpg流传输的网络视频服务器及其设计、移植方法 |
| CN110705357A (zh) * | 2019-09-02 | 2020-01-17 | 深圳中兴网信科技有限公司 | 人脸识别方法和人脸识别装置 |
| CN110929576A (zh) * | 2019-10-23 | 2020-03-27 | 珠海研果科技有限公司 | 基于uvc协议的人脸识别方法及装置 |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈恒鑫等: "基于Mjpg-streamer的移动视频监控系统设计", 《计算机测量与控制》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11527055B2 (en) | Feature density object classification, systems and methods | |
| EP3440591B1 (en) | Improving optical character recognition (ocr) accuracy by combining results across video frames | |
| JP6255486B2 (ja) | 情報認識のための方法及びシステム | |
| CN108009546B (zh) | 信息识别方法和装置 | |
| JP2015529354A (ja) | 顔認識のための方法および装置 | |
| CN110705405A (zh) | 目标标注的方法及装置 | |
| JP2010218061A (ja) | 画像処理装置 | |
| US11367310B2 (en) | Method and apparatus for identity verification, electronic device, computer program, and storage medium | |
| CN104537389A (zh) | 人脸识别方法和终端设备 | |
| Vazquez-Fernandez et al. | Built-in face recognition for smart photo sharing in mobile devices | |
| CN111564157A (zh) | 会议记录优化方法、装置、设备及存储介质 | |
| WO2018103450A1 (zh) | 一种基于图像识别的通信方法和装置 | |
| US11709914B2 (en) | Face recognition method, terminal device using the same, and computer readable storage medium | |
| JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
| CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN111091056B (zh) | 图像中的墨镜识别方法及装置、电子设备、存储介质 | |
| CN112307817B (zh) | 人脸活体检测方法、装置、计算设备及计算机存储介质 | |
| WO2020244076A1 (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN112073684A (zh) | 一种通用图像视频资源采集的方法 | |
| CN111047657A (zh) | 图片压缩方法、装置、介质及电子设备 | |
| CN111291619A (zh) | 一种在线识别理赔单据中文字的方法、装置及客户端 | |
| Mukherjee et al. | Energy efficient face recognition in mobile-fog environment | |
| WO2023024424A1 (zh) | 分割网络训练方法、使用方法、装置、设备及存储介质 | |
| CN114266267A (zh) | 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质 | |
| JP2018137639A (ja) | 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201211 |
|
| RJ01 | Rejection of invention patent application after publication |