CN109299696B - 一种基于双摄像头的人脸检测方法及装置 - Google Patents
一种基于双摄像头的人脸检测方法及装置 Download PDFInfo
- Publication number
- CN109299696B CN109299696B CN201811148956.0A CN201811148956A CN109299696B CN 109299696 B CN109299696 B CN 109299696B CN 201811148956 A CN201811148956 A CN 201811148956A CN 109299696 B CN109299696 B CN 109299696B
- Authority
- CN
- China
- Prior art keywords
- wide
- image
- angle
- camera
- face area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于双摄像头的人脸检测方法及装置，双摄像头包括广角摄像头和长焦摄像头，该方法包括：利用广角摄像头和长焦摄像头分别获取广角图像和长焦图像；检测广角图像中的疑似人脸区域；对两个图像分别进行校正，得到广角校正图像和长焦校正图像，获取疑似人脸区域在广角校正图像中对应的候选人脸区域；对两个校正图像进行立体匹配，得到点对点映射关系，并得到候选人脸区域的深度信息，深度信息包含高度值；筛选出高度值处于预设范围内的候选人脸区域；确定剩余候选人脸区域在广角图像中对应的疑似人脸区域，并根据点对点映射关系提取疑似人脸区域在长焦图像中对应的目标人脸区域。本发明能够同时兼顾近距离人脸和远距离人脸的检测。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种基于双摄像头的人脸检测方法及装置。
背景技术
人脸检测和人脸识别被广泛用于监控、安防等领域。传统的人脸检测方法基于单目摄像头，利用单目摄像头获取的图像数据从而进行检测。由于单目摄像头的焦距通常是固定的，没有办法同时兼顾近距离和远距离人脸的检测。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于双摄像头的人脸检测方法及装置，能够同时兼顾近距离人脸和远距离人脸的检测。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于双摄像头的人脸检测方法，所述双摄像头包括一个广角摄像头和一个长焦摄像头，所述广角摄像头和长焦摄像头位于不同位置，所述人脸检测方法包括以下步骤：S1：利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像；S2：检测所述广角图像中的疑似人脸区域；S3：利用预置的标定数据对所述广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取所述广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域；S4：对所述广角校正图像和长焦校正图像进行立体匹配，得到所述广角图像和长焦图像之间的点对点映射关系，根据所述点对点映射关系得到所述候选人脸区域的深度信息，所述深度信息包含高度值；S5：筛选出高度值处于预设范围内的候选人脸区域；S6：确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据所述点对点映射关系提取所述疑似人脸区域在所述长焦图像中对应的目标人脸区域。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于双摄像头的人脸检测装置，所述双摄像头包括一个广角摄像头和一个长焦摄像头，所述广角摄像头和长焦摄像头位于不同位置，所述人脸检测装置包括：图像采集模块，用于利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像；初步检测模块，用于检测所述广角图像中的疑似人脸区域；双目校正模块，用于利用预置的标定数据对所述广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取所述广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域；立体匹配模块，用于对所述广角校正图像和长焦校正图像进行立体匹配，得到所述广角图像和长焦图像之间的点对点映射关系，根据所述点对点映射关系得到所述候选人脸区域的深度信息，所述深度信息包含高度值；筛选模块，用于筛选出高度值处于预设范围内的候选人脸区域；精确检测模块，用于确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据所述点对点映射关系提取所述疑似人脸区域在所述长焦图像中对应的目标人脸区域。
综上所述，由于采用了上述技术方案，本发明的基于双摄像头的人脸检测方法及装置利用广角摄像头视野较宽广、长焦摄像头视距较远的特点，可以避免出现远距离的小人脸和由于焦距造成的人脸模糊等现象，同时利用广角摄像头和长焦摄像头组成的双摄像头，通过双目立体视觉技术获得场景的深度信息，深度信息可以用于人脸检测的过滤器，筛除掉一部分错误的人脸，从而能够同时兼顾近距离人脸和远距离人脸的检测，可以提高人脸检测的正确率，有利于提高后续进行人脸识别的识别率。
附图说明
图1是本发明实施例的基于双摄像头的人脸检测方法的流程示意图。
图2是本发明实施例的基于双摄像头的人脸检测装置的原理框图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示，在本发明实施例中，双摄像头包括一个广角摄像头和一个长焦摄像头，广角摄像头和长焦摄像头位于不同位置。广角摄像头和长焦摄像头之间间隔的距离可以根据实际需要设置。基于双摄像头的人脸检测方法包括以下步骤：
S1：利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像。
其中，广角摄像头和长焦摄像头都对同一场景进行拍摄，所得到的广角图像和长焦图像是完全同步的。
S2：检测广角图像中的疑似人脸区域。
其中，可以利用基于CNN(卷积神经网络)的方法来检测疑似人脸区域，也可以采用其它已知的传统方法来检测疑似人脸区域。
S3：利用预置的标定数据对广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域。
其中，标定数据来源于摄像头制造商，摄像头制造商会对广角摄像头和长焦摄像头进行标定，标定完成后，就会得到标定数据，供后续使用。经过校正后，可以将场景由世界坐标系转换到图像坐标系，使得广角校正图像和长焦校正图像满足极限约束条件。
S4：对广角校正图像和长焦校正图像进行立体匹配，得到广角图像和长焦图像之间的点对点映射关系，根据点对点映射关系得到候选人脸区域的深度信息，深度信息包含高度值。
其中，通过点对点映射关系，对于彩色图像中的任一点都能够在红外图像中找到对应的点，同时运用双目立体视觉技术，可以根据点对点映射关系得到当前场景的深度信息，深度信息能够反映出场景的三维空间信息，高度值属于三维空间信息的一个值。
S5：筛选出高度值处于预设范围内的候选人脸区域。
其中，由于人的高度在一定范围内，因此，可以利用高度值删除太高或者太低的候选人脸区域，以过滤掉错误的人脸区域。
S6：确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据所述点对点映射关系提取疑似人脸区域在长焦图像中对应的目标人脸区域。
其中，步骤S5中经过筛选后，剩余的候选人脸区域所对应的疑似人脸区域可以认为是正确的人脸区域。这些正确的人脸区域域在长焦图像中对应的目标人脸区域可以用于后续的人脸识别。
通过上述方式，本发明的人脸检测方法结合广角摄像头和长焦摄像头的特性来兼顾远距离和近距离人脸的检测，同时利用广角摄像头和长焦摄像头组成的双目立体视觉系统来获取人脸区域的三维空间信息，利用三维空间信息过滤掉错误的人脸区域，从而可以提高人脸检测的正确率，并且有利于提高后续进行人脸识别的识别率，同时由于只是利用深度信息来对人脸区域进行筛选，因此计算复杂度也较低。
如图2所示，在本发明实施例中，双摄像头包括一个广角摄像头和一个长焦摄像头，广角摄像头和长焦摄像头位于不同位置。广角摄像头和长焦摄像头之间间隔的距离可以根据实际需要设置。人脸检测装置包括图像采集模块21、初步检测模块22、双目校正模块23、立体匹配模块24、筛选模块25和筛选模块26。
图像采集模块21用于利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像。其中，广角摄像头和长焦摄像头都对同一场景进行拍摄，所得到的广角图像和长焦图像是完全同步的。
初步检测模块22用于检测广角图像中的疑似人脸区域。其中，可以利用基于CNN(卷积神经网络)的方法来检测疑似人脸区域，也可以采用其它已知的传统方法来检测疑似人脸区域。
双目校正模块23用于利用预置的标定数据对广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域。其中，标定数据来源于摄像头制造商，摄像头制造商会对广角摄像头和长焦摄像头进行标定，标定完成后，就会得到标定数据，供后续使用。经过校正后，可以将场景由世界坐标系转换到图像坐标系，使得广角校正图像和长焦校正图像满足极限约束条件。
立体匹配模块24用于对广角校正图像和长焦校正图像进行立体匹配，得到广角图像和长焦图像之间的点对点映射关系，根据点对点映射关系得到候选人脸区域的深度信息，深度信息包含高度值。其中，通过点对点映射关系，对于彩色图像中的任一点都能够在红外图像中找到对应的点，同时运用双目立体视觉技术，可以根据点对点映射关系得到当前场景的深度信息，深度信息能够反映出场景的三维空间信息，高度值属于三维空间信息的一个值。
筛选模块25用于筛选出高度值处于预设范围内的候选人脸区域。其中，由于人的高度在一定范围内，因此，可以利用高度值删除太高或者太低的候选人脸区域，以过滤掉错误的人脸区域。
精确检测模块26用于确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据点对点映射关系提取疑似人脸区域在长焦图像中对应的目标人脸区域。其中，步骤S5中经过筛选后，剩余的候选人脸区域所对应的疑似人脸区域可以认为是正确的人脸区域。这些正确的人脸区域域在长焦图像中对应的目标人脸区域可以用于后续的人脸识别。
通过上述方式，本发明的人脸检测装置结合广角摄像头和长焦摄像头的特性来兼顾远距离和近距离人脸的检测，同时利用广角摄像头和长焦摄像头组成的双目立体视觉系统来获取人脸区域的三维空间信息，利用三维空间信息过滤掉错误的人脸区域，从而可以提高人脸检测的正确率，并且有利于提高后续进行人脸识别的识别率，同时由于只是利用深度信息来对人脸区域进行筛选，因此计算复杂度也较低。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (2)
1.一种基于双摄像头的人脸检测方法，其特征在于，所述双摄像头包括一个广角摄像头和一个长焦摄像头，所述广角摄像头和长焦摄像头位于不同位置，所述人脸检测方法包括以下步骤：
S1：利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像；
S2：检测所述广角图像中的疑似人脸区域；
S3：利用预置的标定数据对所述广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取所述广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域；
S4：对所述广角校正图像和长焦校正图像进行立体匹配，得到所述广角图像和长焦图像之间的点对点映射关系，根据所述点对点映射关系得到所述候选人脸区域的深度信息，所述深度信息包含高度值；
S5：筛选出高度值处于预设范围内的候选人脸区域；
S6：确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据所述点对点映射关系提取所述疑似人脸区域在所述长焦图像中对应的目标人脸区域。
2.一种基于双摄像头的人脸检测装置，其特征在于，所述双摄像头包括一个广角摄像头和一个长焦摄像头，所述广角摄像头和长焦摄像头位于不同位置，所述人脸检测装置包括：
图像采集模块，用于利用广角摄像头获取当前场景的广角图像，利用长焦摄像头获取当前场景的长焦图像；
初步检测模块，用于检测所述广角图像中的疑似人脸区域；
双目校正模块，用于利用预置的标定数据对所述广角图像和长焦图像分别进行校正，得到广角校正图像和长焦校正图像，并获取所述广角图像中的疑似人脸区域在广角校正图像中对应的候选人脸区域；
立体匹配模块，用于对所述广角校正图像和长焦校正图像进行立体匹配，得到所述广角图像和长焦图像之间的点对点映射关系，根据所述点对点映射关系得到所述候选人脸区域的深度信息，所述深度信息包含高度值；
筛选模块，用于筛选出高度值处于预设范围内的候选人脸区域；
精确检测模块，用于确定筛选出的候选人脸区域在广角图像中对应的疑似人脸区域，并根据所述点对点映射关系提取所述疑似人脸区域在所述长焦图像中对应的目标人脸区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811148956.0A CN109299696B (zh) | 2018-09-29 | 2018-09-29 | 一种基于双摄像头的人脸检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811148956.0A CN109299696B (zh) | 2018-09-29 | 2018-09-29 | 一种基于双摄像头的人脸检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109299696A CN109299696A (zh) | 2019-02-01 |
| CN109299696B true CN109299696B (zh) | 2021-05-18 |
Family
ID=65161179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811148956.0A Active CN109299696B (zh) | 2018-09-29 | 2018-09-29 | 一种基于双摄像头的人脸检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299696B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070684A (zh) * | 2019-04-16 | 2019-07-30 | 北京意锐新创科技有限公司 | 一种用于户外的扫码支付设备 |
| CN114930799B (zh) * | 2020-01-09 | 2024-02-20 | Oppo广东移动通信有限公司 | 用于具有多个摄像头的电子设备的方法和电子设备 |
| CN112308018A (zh) * | 2020-11-19 | 2021-02-02 | 安徽鸿程光电有限公司 | 一种图像识别方法、系统、电子设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543409A (zh) * | 2008-10-24 | 2009-09-30 | 南京大学 | 远距离虹膜识别装置 |
| US9542603B2 (en) * | 2014-11-17 | 2017-01-10 | Polycom, Inc. | System and method for localizing a talker using audio and video information |
| US10291842B2 (en) * | 2015-06-23 | 2019-05-14 | Samsung Electronics Co., Ltd. | Digital photographing apparatus and method of operating the same |
| CN105023010B (zh) * | 2015-08-17 | 2018-11-06 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
| CN105812746B (zh) * | 2016-04-21 | 2019-05-10 | 北京格灵深瞳信息技术有限公司 | 一种目标检测方法及系统 |
| CN105930822A (zh) * | 2016-05-11 | 2016-09-07 | 北京格灵深瞳信息技术有限公司 | 一种人脸抓拍方法及系统 |
| CN106650671B (zh) * | 2016-12-27 | 2020-04-21 | 深圳英飞拓科技股份有限公司 | 人脸识别方法、装置及系统 |
| CN108415875A (zh) * | 2018-02-01 | 2018-08-17 | 深圳奥比中光科技有限公司 | 深度成像移动终端及人脸识别应用的方法 |
-
2018
- 2018-09-29 CN CN201811148956.0A patent/CN109299696B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109299696A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035309B (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
| CN109615652A (zh) | 一种深度信息获取方法及装置 | |
| CN109299696B (zh) | 一种基于双摄像头的人脸检测方法及装置 | |
| CN107084680B (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
| CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| EP3588004B1 (en) | Stereoscopic camera and height acquisition method therefor and height acquisition system | |
| CN107533753A (zh) | 图像处理装置 | |
| JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
| CN101887589A (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
| CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
| CN109410264A (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
| WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN113358231B (zh) | 红外测温方法、装置及设备 | |
| CN104794717A (zh) | 一种基于双目视觉系统的深度信息对比方法 | |
| WO2019144269A1 (zh) | 多目摄像系统、终端设备及机器人 | |
| CN107036579A (zh) | 一种基于单目液透镜变焦光学系统的目标相对定位方法 | |
| CN111798507A (zh) | 一种输电线安全距离测量方法、计算机设备和存储介质 | |
| JP6035620B2 (ja) | 車載ステレオカメラシステム及びそのキャリブレーション方法 | |
| CN110763140A (zh) | 一种非平行光轴高精度双目测距方法 | |
| CN110992463B (zh) | 一种基于三目视觉的输电导线弧垂的三维重建方法及系统 | |
| CN110991306B (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
| CN113945921A (zh) | 一种多模态数据采集系统及同步采集方法 | |
| JP2016217944A (ja) | 計測装置、および計測方法 | |
| CN113379812A (zh) | 异常像素的滤除方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A face detection method and device based on dual cameras Effective date of registration: 20220318 Granted publication date: 20210518 Pledgee: Bank of China Limited Chengdu Development Zone West sub branch Pledgor: CHENGDU VISION-ZENITH TECHNOLOGY DEVELOPMENT Co.,Ltd. Registration number: Y2022510000070 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |