CN112752031A - 图像采集检测方法、装置、电子设备及存储介质 - Google Patents
图像采集检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112752031A CN112752031A CN202010756892.3A CN202010756892A CN112752031A CN 112752031 A CN112752031 A CN 112752031A CN 202010756892 A CN202010756892 A CN 202010756892A CN 112752031 A CN112752031 A CN 112752031A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- visible light
- determining
- exposure index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000015654 memory Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 230000035945 sensitivity Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000001559 infrared map Methods 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种图像采集检测方法、装置、电子设备及计算机可读存储介质；方法包括：对环境进行图像采集，并对采集到的图像进行目标识别处理；当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。通过本发明，能够采集满足身份检测需求的图像，从而提高身份检测的效率和准确性。
Description
技术领域
本发明涉及计算机图像处理技术，尤其涉及一种图像采集检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着图像处理技术的不断发展，人脸识别技术作为一种身份认证手段，在支付系统、考勤系统、以及门禁系统等应用场景下扮演着愈发重要的角色，因此保证图像质量，对于上述应用有着重要意义。
相关技术通常是通过宽动态提升摄像采集的动态范围来保证采集的图像的亮度。然而，在实际应用过程中发现，宽动态范围图像采集成本过高，并且在背光、逆光和阴影等复杂的光线条件下仍然无法提供满足身份识别需求的图像。
发明内容
本发明实施例提供一种图像采集检测方法、装置、电子设备及计算机可读存储介质，能够采集满足身份检测需求的图像，从而提高身份检测的效率和准确性。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像采集检测方法，包括：
对环境进行图像采集，并对采集到的图像进行目标识别处理；
当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；
根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；
基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。
在上述方案中，所述根据所述第三区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域，包括：
在所述深度图像的图像坐标系中，确定对应所述第三区域的边界位置的像素坐标；
在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述根据所述第四区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域，包括：
在所述红外图像的图像坐标系中，确定对应所述第四区域的边界位置的像素坐标；
在所述可见光图像中的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述确定大于所述原始曝光指数的目标曝光指数，包括：
在线性表中查询与所述亮度均值对应的目标曝光指数；
其中，所述目标曝光指数大于所述原始曝光指数。
在上述方案中，所述确定小于所述原始曝光指数的目标曝光指数，包括：
在线性表中查询与所述亮度均值对应的目标曝光指数；
其中，所述目标曝光指数小于所述原始曝光指数。
在上述方案中，所述确定大于所述原始曝光指数的目标曝光指数，包括：
确定所述亮度均值和所述最小亮度阈值之间的差值；
在所述原始曝光指数的基础上，叠加与所述差值对应的比例增益、积分增益和微分增益，以得到大于所述原始曝光指数的目标曝光指数。
在上述方案中，所述确定小于所述原始曝光指数的目标曝光指数，包括：
确定所述亮度均值和所述最大亮度阈值之间的差值；
在所述原始曝光指数的基础上，叠加与所述差值对应的比例损耗、积分损耗和微分损耗，以得到小于所述原始曝光指数的目标曝光指数。
本发明实施例提供一种图像采集检测装置，包括：
采集模块，用于对环境进行图像采集，并对采集到的图像进行目标识别处理；
亮度检测模块，用于当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；
计算模块，用于根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；
身份检测模块，用于基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。
在上述方案中，所述采集模块，还用于对环境进行图像采集，以获得包括以下至少之一的图像：可见光图像；红外图像；深度图像。
在上述方案中，所述采集模块，还用于对所述可见光图像进行目标识别处理；当在所述可见光图像中识别出所述对象时，在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块，还用于当在所述可见光图像中未识别出所述对象时，对所述红外图像进行目标识别处理；当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第一区域；根据所述第一区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块，还用于在所述红外图像的图像坐标系中，确定对应所述第一区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块，还用于当在所述红外图像中未识别出所述对象时，对所述深度图像进行目标识别处理；当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第二区域；根据所述第二区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块，还用于在所述深度图像的图像坐标系中，确定对应所述第二区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块，还用于当在所述可见光图像中未识别出所述对象时，对所述深度图像进行目标识别处理；当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第三区域；根据所述第三区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块，还用于在所述深度图像的图像坐标系中，确定对应所述第三区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块，还用于当在所述深度图像中未识别出所述对象时，对所述红外图像进行目标识别处理；当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第四区域；根据所述第四区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块，还用于在所述红外图像的图像坐标系中，确定对应所述第四区域的边界位置的像素坐标；在所述可见光图像中的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述亮度检测模块，还用于确定所述目标区域中包括的像素点总数、以及每个像素点的亮度值；将所述目标区域中的所有像素点的亮度值进行加和，并将所述加和与所述像素点总数的比值，确定为所述目标区域的亮度均值。
在上述方案中，所述计算模块，还用于确定采集所述图像所使用的原始曝光指数；其中，所述原始曝光指数包括原始感光度和原始曝光时间至少之一；当所述亮度均值小于最小亮度阈值时，确定大于所述原始曝光指数的目标曝光指数；当所述亮度均值大于最大亮度阈值时，确定小于所述原始曝光指数的目标曝光指数。
在上述方案中，所述计算模块，还用于在线性表中查询与所述亮度均值对应的目标曝光指数；其中，所述目标曝光指数大于所述原始曝光指数。
在上述方案中，所述计算模块，还用于在线性表中查询与所述亮度均值对应的目标曝光指数；其中，所述目标曝光指数小于所述原始曝光指数。
在上述方案中，所述计算模块，还用于确定所述亮度均值和所述最小亮度阈值之间的差值；在所述原始曝光指数的基础上，叠加与所述差值对应的比例增益、积分增益和微分增益，以得到大于所述原始曝光指数的目标曝光指数。
在上述方案中，所述计算模块，还用于确定所述亮度均值和所述最大亮度阈值之间的差值；在所述原始曝光指数的基础上，叠加与所述差值对应的比例损耗、积分损耗和微分损耗，以得到小于所述原始曝光指数的目标曝光指数。
在上述方案中，所述身份检测模块，还用于确定所述目标图像的质量评分；当所述目标图像的质量评分不低于评分阈值时，对所述目标图像进行目标识别处理，以获得所述目标图像中包括所述对象的目标区域；将在所述目标区域中提取的对应所述对象的特征向量，与数据库中已进行身份信息注册的特征向量进行识别比对，以获得所述对象的身份信息。
本发明实施例提供一种电子设备，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本发明实施例提供的图像采集检测方法。
本发明实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像采集检测方法。
本发明实施例具有以下有益效果：
只需要计算包括对象的目标区域的亮度均值，即可动态调整再次进行图像采集的目标曝光指数，从而获得满足身份检测需求的目标图像，能够提高后续进行身份检测的准确性；并且曝光指数的动态调整过程中计算量较小，能够提高图像采集的速度，从而提高身份检测的效率。
附图说明
图1是本发明实施例提供的图像采集检测系统100的结构示意图；
图2是本发明实施例提供的电子设备500的结构示意图；
图3是本发明实施例提供的图像采集检测方法的流程示意图；
图4是本发明实施例提供的图像采集检测方法的流程示意图；
图5是本发明实施例提供的图像采集检测方法的流程示意图；
图6是本发明实施例提供的图像采集检测方法的流程示意图；
图7A和图7B是本发明实施例提供的图像采集检测方法的应用场景示意图；
图8A和图8B是本发明实施例提供的图像采集检测方法的应用场景示意图；
图9是本发明实施例提供的图像采集检测方法的流程示意图；
图10A、图10B和图10C是本发明实施例提供的图像采集检测方法的应用场景示意图；
图11是本发明实施例提供的图像采集检测方法的应用场景示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)自动曝光(AE，Auto Exposure)，根据可用的光源条件自动设置曝光值(即曝光指数)，当主体拍摄物和背景的亮度相差很大时，一般会造成主体拍摄物的过曝光或曝光不足，为了克服这个问题，本发明实施例着重考虑了主体拍摄物的亮度情况，在进行亮度调整时给予这部分更多的比重。
2)人脸区域自动曝光(FACE AE，Face Auto Exposure)，摄像头首先通过算法找到人脸区域，再针对人脸区域的亮度均值进行曝光调整，最后基于调整后的参数采集图像。
3)高动态范围(HDR，High-Dynamic Range)图像，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围(LDR，Low-Dynamic Range)图像，并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。
4)深度图像(Depth Image)，或称距离影像(Range Image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
5)曝光时间，是为了将光投射到照相感光材料的感光面上，快门所要打开的时间。曝光时间视照相感光材料的感光度和对感光面上的照度而定。曝光时间长的话进的光就多，适合光线较暗的情况。曝光时间短的话进的光就少，适合光线较亮的情况。
6)感光度(Gain)，是衡量底片对于光的灵敏程度，由敏感度测量学及测量数个数值来决定。感光度大的话，适合光线较暗的情况。感光度小的话，适合光线较亮的情况。
以人脸识别应用场景为例，为了让人脸图像清晰，且明暗适当，相关技术中包含两个方案，分别是：(1)HDR：通过宽动态提升摄像头的动态范围，以此做到能在亮度相差很大的环境也能保证整个采集图像的清晰度。(2)固定区域曝光：测算图像中的固定区域(例如中间区域)的亮度均值，以此来调整整幅图像的亮度，从而达到看清人脸的目的。
本发明实施例在实施过程中发现相关技术中的两个方案存在以下技术问题：
(1)第一个方案中需要传感器(Sensor)或图像信号处理(ISP，Image SignalProcessing)才能支持HDR功能，导致成本过高；即使使用了HDR，性能各有差异，不同性能所达到的效果不同；即使使用了HDR，依然解决不了复杂的应用场景，例如亮暗相差很大的场景；使用了HDR会导致图像偏暗或噪点增多。
(2)第二个方案中只关注图像的中心区域，当人脸不在中心区域时，无法实现看清人脸的目的；即使人脸在中心区域，但人脸大小不一，没有进行人脸识别，从而不能准确计算人脸区域的亮度，会导致亮度均值的判断不够准确，导致调整效果不理想。
针对上述技术问题，本发明实施例提供一种图像采集检测方法，能够充分利用人脸设备场景与安防等场景的差异。采集的图像中人脸清晰，即使背景过曝或过暗也不存在影响；并且可以在低成本情况下获得清晰的人脸；同时，灵活的寻找人脸策略，能够让用户自然状态识读，不用“人找摄像头”，体验效果更好。
参见图1，图1是本发明实施例提供的图像采集检测系统100的结构示意图。其中，图像采集检测系统100包括：服务器200、网络300、以及终端400，将分别进行说明。
服务器200是客户端410的后台服务器，用于接收客户端410发送的目标图像，并根据目标图像进行身份检测处理，以确定目标图像中包含的对象的身份信息。
网络300，用于作为服务器200和终端400之间通信的媒介，可以是广域网或者局域网，又或者是二者的组合。
终端400，用于运行客户端410，客户端410是具备身份验证功能的客户端。客户端410，用于调用终端400的摄像头采集图像；还用于当从采集到的图像中识别出对象时，根据采集获得的图像调整再次进行图像采集时需要使用的目标曝光指数，并基于目标曝光指数，调用终端400的摄像头采集目标图像；还用于将目标图像发送至服务器200。
在一些实施例中，终端400通过运行计算机程序来实现本发明实施例提供的图像采集检测方法，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，例如，移动支付APP(例如微信或支付宝)或门禁系统APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的电子钱包小程序或门禁系统小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
本发明实施例可以广泛应用于各种身份验证场景，例如，移动支付系统，门禁系统，解锁系统以及数据存储系统。以移动支付系统为例，客户端410是具备移动支付功能的APP，例如微信或支付宝；客户端410响应于用户的支付操作，调用终端400的摄像头采集用户的人脸图像，并根据采集的人脸图像动态调整再次进行图像采集时需要使用的目标曝光指数；基于目标曝光指数，再次调用终端400的摄像头采集目标图像，并将目标图像发送至服务器200；服务器200对目标图像中包括的人脸进行身份检测，以确定对应人脸的身份信息；当检测获得的身份信息和当前支付账户所对应的身份信息一致时，授权执行支付操作，即支付成功。
本发明实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。
作为示例，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等，但并不局限于此。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
接下来说明本发明实施例提供的电子设备的结构，电子设备可以是图1所示的终端400，参见图2，图2是本发明实施例提供的电子设备500的结构示意图，图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像采集检测装置可以采用软件方式实现，图2示出了存储在存储器550中的图像采集检测装置555，其可以是计算机程序和插件等形式的软件，例如，小说客户端、图文阅读客户端或微博客户端。图像采集检测装置555包括以下软件模块：采集模块5551、亮度检测模块5552、计算模块5553和身份检测模块5554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
本发明实施例提供的图像采集检测方法可以由图1中的终端400单独执行，也可以由图1中的终端400和服务器200协同执行。
下面，以由图1中的终端400单独实施本发明实施例提供的图像采集检测方法为例说明。参见图3，图3是本发明实施例提供的图像采集检测方法的流程示意图，将结合图3示出的步骤进行说明。
需要说明的是，图3示出的方法可以由终端400运行的各种形式计算机程序执行，并不局限于上述的客户端410，例如上文的操作系统551、软件模块和脚本，因此客户端不应视为对本发明实施例的限定。
在步骤S101中，对环境进行图像采集，并对采集到的图像进行目标识别处理。
在一些实施例中，调用图像采集接口对环境进行图像采集，以获得包括以下至少之一的图像：可见光图像；红外图像；深度图像；对采集到的图像进行目标识别处理。
这里，图像采集接口可以是终端400的输入装置532中的摄像头。
作为示例，对采集到的图像进行目标识别可以既识别图像中是否包含对象，也识别图像中包括对象的目标区域，可以包括：将图像划分为多个候选框；根据每个候选框的特征向量，预测包括对象的候选框；将包括对象的候选框所在的区域确定为目标区域；
这里，对象的类型包括以下至少之一：人脸；人体；虹膜(瞳孔)；手掌；指纹；眼纹。
在一些实施例中，检测环境的亮度；当环境的亮度大于第一环境亮度阈值时，按照优先级为深度图像、可见光图像和红外图像的顺序进行目标识别处理；当环境的亮度小于第二环境亮度阈值时，按照优先级为红外图像、可见光图像和深度图像的顺序进行目标识别处理；当环境的亮度不小于第二环境亮度阈值、且不大于第一环境亮度阈值时，按照优先级为可见光图像、红外图像和深度图像的顺序或可见光图像、深度图像和红外图像的顺序进行目标识别处理。
这里，第一环境亮度阈值和第二环境亮度阈值可以是缺省值，也可以是用户设定的值，其中，第一环境亮度阈值大于第二环境亮度阈值。由于在光线较暗的环境(例如室内)下，红外图像相较可见光图像和深度图像更加清晰，因此优先使用红外图像进行目标识别处理，如此，能够提高目标识别速度。并且在光线较亮的环境(例如室外)下，深度图像相较可见光图像和红外图像更加清晰，因此优先使用深度图像进行目标识别处理，如此，能够提高目标识别速度。进一步的，在光线适中的环境中，红外图像、可见光图像和深度图像均比较清晰，此时可以优先使用可见光图像进行目标识别处理，如此，可以减少后续的操作(例如图像的定位处理)，从而提高目标识别速度。
当然，当环境的亮度大于第一环境亮度阈值时，也可以按照优先级为深度图像、红外图像和可见光图像的顺序进行目标识别处理，只需要保证深度图像的识别优先级最高即可；当环境的亮度小于第二环境亮度阈值时，也可以按照优先级为红外图像、深度图像和可见光图像的顺序进行目标识别处理，只需要保证红外图像的识别优先级最高即可，在此不再进行赘述。
下面，将详细说明按照上述顺序进行目标识别的具体实现方式。
(1)优先级为可见光图像、红外图像和深度图像的顺序进行目标识别处理
在一些实施例中，对可见光图像进行目标识别处理；当在可见光图像中识别出对象时，在可见光图像中确定包括对象的目标区域。
在另一些实施例中，当在可见光图像中未识别出对象时，对红外图像进行目标识别处理；当在红外图像中识别出对象时，在红外图像中确定包括对象的第一区域；根据第一区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立红外图像的图像坐标系和可见光图像的图像坐标系；在红外图像的图像坐标系中，确定对应第一区域的边界位置的像素坐标；在可见光图像的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第一区域的对角线连线的端点位置，也可以是第一区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第一区域进行定位处理，提高了目标识别的速度和效率。
在又一些实施例中，当在红外图像中未识别出对象时，对深度图像进行目标识别处理；当在深度图像中识别出对象时，在深度图像中确定包括对象的第二区域；根据第二区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立深度图像的图像坐标系和可见光图像的图像坐标系；在深度图像的图像坐标系中，确定对应第二区域的边界位置的像素坐标；在可见光图像的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第二区域的对角线连线的端点位置，也可以是第二区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第二区域进行定位处理，提高了目标识别的速度和效率。
(2)优先级为可见光图像、深度图像和红外图像的顺序进行目标识别处理
在一些实施例中，对可见光图像进行目标识别处理；当在可见光图像中识别出对象时，在可见光图像中确定包括对象的目标区域。
在另一些实施例中，当在可见光图像中未识别出对象时，对深度图像进行目标识别处理；当在深度图像中识别出对象时，在深度图像中确定包括对象的第三区域；根据第三区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立深度图像的图像坐标系和可见光图像的图像坐标系；在深度图像的图像坐标系中，确定对应第三区域的边界位置的像素坐标；在可见光图像的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第三区域的对角线连线的端点位置，也可以是第三区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第三区域进行定位处理，提高了目标识别的速度和效率。
在又一些实施例中，当在深度图像中未识别出对象时，对红外图像进行目标识别处理；当在红外图像中识别出对象时，在红外图像中确定包括对象的第四区域；根据第四区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立红外图像的图像坐标系和可见光图像的图像坐标系；在红外图像的图像坐标系中，确定对应第四区域的边界位置的像素坐标；在可见光图像中的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第四区域的对角线连线的端点位置，也可以是第四区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第四区域进行定位处理，提高了目标识别的速度和效率。
(3)优先级为红外图像、可见光图像和深度图像的顺序进行目标识别处理
在一些实施例中，对红外图像进行目标识别处理；当在红外图像中识别出对象时，在红外图像中确定包括对象的第五区域；根据第五区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立红外图像的图像坐标系和可见光图像的图像坐标系；在红外图像的图像坐标系中，确定对应第五区域的边界位置的像素坐标；在可见光图像中的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第五区域的对角线连线的端点位置，也可以是第五区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第五区域进行定位处理，提高了目标识别的速度和效率。
在另一些实施例中，当在红外图像中未识别出对象时，对可见光图像进行目标识别处理；当在可见光图像中识别出对象时，在可见光图像中确定包括对象的目标区域。
在又一些实施例中，当在可见光图像中未识别出对象时，对深度图像进行目标识别处理；当在深度图像中识别出对象时，在深度图像中确定包括对象的第六区域；根据第六区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立深度图像的图像坐标系和可见光图像的图像坐标系；在深度图像的图像坐标系中，确定对应第六区域的边界位置的像素坐标；在可见光图像的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第六区域的对角线连线的端点位置，也可以是第六区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第六区域进行定位处理，提高了目标识别的速度和效率。
(4)优先级为深度图像、可见光图像和红外图像的顺序进行目标识别处理
在一些实施例中，对深度图像进行目标识别处理；当在深度图像中识别出对象时，在深度图像中确定包括对象的第七区域；根据第七区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立深度图像的图像坐标系和可见光图像的图像坐标系；在深度图像的图像坐标系中，确定对应第七区域的边界位置的像素坐标；在可见光图像中的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第七区域的对角线连线的端点位置，也可以是第七区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第七区域进行定位处理，提高了目标识别的速度和效率。
在另一些实施例中，当在深度图像中未识别出对象时，对可见光图像进行目标识别处理；当在可见光图像中识别出对象时，在可见光图像中确定包括对象的目标区域。
在又一些实施例中，当在可见光图像中未识别出对象时，对红外图像进行目标识别处理；当在红外图像中识别出对象时，在红外图像中确定包括对象的第八区域；根据第八区域对可见光图像进行定位处理，以在可见光图像中确定包括对象的目标区域。
作为示例，分别建立红外图像的图像坐标系和可见光图像的图像坐标系；在红外图像的图像坐标系中，确定对应第八区域的边界位置的像素坐标；在可见光图像的图像坐标系中，确定与边界位置的像素坐标相同的目标边界位置，并将目标边界位置所对应的区域确定为目标区域。
这里，边界位置可以是第八区域的对角线连线的端点位置，也可以是第八区域的任意边界线的端点位置。如此，可以通过少数点的像素坐标即可准确对第八区域进行定位处理，提高了目标识别的速度和效率。
在复杂的图像识别场景中，当使用可见光图像进行目标识别时，可能无法确定包含对象的目标区域，即目标识别失败。因此，本发明实施例引入红外图像和深度图像，来进一步辅助查找目标区域，从而能够提高目标识别的准确率以及效率。
在步骤S102中，当从采集到的图像中识别出对象时，检测包括对象的目标区域的亮度均值。
在一些实施例中，确定目标区域中包括的像素点总数、以及每个像素点的亮度值；将目标区域中的所有像素点的亮度值进行加和，并将加和与像素点总数的比值，确定为目标区域的亮度均值。
在步骤S103中，根据亮度均值，确定再次进行图像采集时需要使用的目标曝光指数。
在一些实施例，确定采集图像所使用的原始曝光指数；其中，原始曝光指数包括原始感光度和原始曝光时间至少之一；当亮度均值小于最小亮度阈值时，确定大于原始曝光指数的目标曝光指数；当亮度均值大于最大亮度阈值时，确定小于原始曝光指数的目标曝光指数。
这里，最大亮度阈值和最小亮度阈值可以是缺省值，也可以是用户设定的值，其中，最大亮度阈值大于最小亮度阈值。
在一些实施例中，最大亮度阈值和最小亮度阈值还可以是根据环境的亮度确定的，可以包括：获取线性表；检测环境的亮度，在线性表中，查询对应环境的亮度的最大亮度阈值和最小亮度阈值。其中，环境的亮度和最大亮度阈值成正比，即环境越暗，最大亮度阈值越小，环境越亮，最大亮度阈值越大；环境的亮度和最小亮度阈值成正比，即环境越暗，最小亮度阈值越小，环境越亮，最小亮度阈值越大。如此，由于环境亮度越暗，所对应采集的照片的亮度越暗，可以适当降低最大亮度阈值和最小亮度阈值，能够提高调整曝光指数的速度。
下面说明调整原始感光度和/或原始曝光时间的具体实现方式。
作为第一个示例，获取线性表；在线性表中查询与亮度均值对应的目标曝光指数；其中，目标曝光指数大于原始曝光指数，在基于目标曝光指数(即查询获得的感光度和/或查询获得的曝光时间)采集的目标图像中，包含对象的目标区域的亮度均值不小于最小亮度阈值。
作为第二个示例，获取线性表；在线性表中查询与亮度均值对应的目标曝光指数；其中，目标曝光指数小于原始曝光指数，在基于目标曝光指数(即查询获得的感光度和/或查询获得的曝光时间)采集的目标图像中，包含对象的目标区域的亮度均值不大于最大亮度阈值。
本发明实施例通过线性查表法调整原始感光度和/或原始曝光时间，能够减小计算过程，提高调整曝光指数的速度，从而提高图像的采集速度。
作为第三个示例，确定亮度均值和最小亮度阈值之间的差值；在原始曝光指数的基础上，叠加与差值对应的比例增益、积分增益和微分增益，以得到大于原始曝光指数的目标曝光指数。
举例来说，根据公式
亮度均值和最小亮度阈值之间的差值err(t)、以及最小亮度阈值U(t)，确定公式中的比例增益kp、积分增益
和微分增益TD。如此，即可获得提高后的原始感光度和/或原始曝光时间，从而能够在基于目标曝光指数采集的目标图像中，包含对象的目标区域的亮度均值不小于最小亮度阈值。
作为第四个示例，确定亮度均值和最大亮度阈值之间的差值；在原始曝光指数的基础上，叠加与差值对应的比例损耗、积分损耗和微分损耗，以得到小于原始曝光指数的目标曝光指数。
这里，上述的增益和损耗是由同一参数实现的，当该参数大于1时，称之为增益，当该参数小于1时，称之为损耗。
举例来说，根据公式
亮度均值和最大亮度阈值之间的差值err(t)、以及最大亮度阈值U(t)，确定其中的比例损耗kp、积分损耗
和微分损耗TD。如此，即可获得降低后的原始感光度和/或原始曝光时间，从而能够在基于目标曝光指数采集的目标图像中，包含对象的目标区域的亮度均值不大于最大亮度阈值。
本发明实施例通过比例积分微分控制算法调整原始感光度和/或原始曝光时间，能够快速确定下一次采集图像的曝光指数，并且能够避免下一次采集图片的曝光指数过大而导致过曝，或者调整幅度过大导致难以调整到合适亮度。
在步骤S104中，基于目标曝光指数对环境中的对象进行图像采集，以获得包含对象的目标图像。
在一些实施例中，调用图像采集接口，基于目标曝光指数对环境进行图像采集，以获得包含对象的目标图像。此时采集的目标图像满足身份检测的需求。
本发明实施例中只需要计算包括对象的目标区域的亮度均值，即可动态调整再次进行图像采集的目标曝光指数，从而获得满足身份检测需求的目标图像，能够提高后续进行身份检测的准确性；并且曝光指数的动态调整过程中计算量较小，能够提高图像采集的速度，从而提高身份检测的效率。
参见图4，图4是本发明实施例提供的图像采集检测方法的流程示意图，基于图3，在步骤S104之后可以包括步骤S105。
在步骤S105中，根据采集得到的包含对象的目标图像进行身份检测处理。
在一些实施例中，客户端可以调用终端的相应服务(例如，身份检测服务)，通过终端完成身份检测的过程。客户端也可以调用服务器的相应服务(例如，身份检测服务)，通过服务器完成身份检测的过程。
作为示例，当客户端调用服务器的相应服务(例如，身份检测服务)完成身份检测的过程时，步骤S105的替换步骤为：客户端将目标图像发送至服务器；服务器根据目标图像进行身份检测处理。
下面，以由客户端调用终端的相应服务(例如，身份检测服务)，通过终端完成身份检测的过程为例进行说明。需要说明的是，客户端调用服务器的相应服务(例如，身份检测服务)完成身份检测的过程与下述类似，将不再进行赘述。
在一些实施例中，确定目标图像的质量评分；当目标图像的质量评分不低于评分阈值时，对目标图像进行目标识别处理，以获得目标图像中包括对象的目标区域；将在目标区域中提取的对应对象的特征向量，与数据库中已进行身份信息注册的特征向量进行识别比对，以获得对象的身份信息。
这里，评分阈值可以是缺省值，也可以是用户设定的值。图像的质量评分和图像的亮度、完整度以及清晰度相关。
作为示例，调用质量评分模型执行以下处理：提取目标图像的特征向量，将提取的特征向量映射为分别属于不同的候选质量评分的概率；将最大概率所对应的候选质量评分确定为目标图像的质量评分；其中，质量评分模型是以样本图像、以及针对样本图像的标注的质量评分为样本训练得到的。
在一些实施例中，接收执行敏感操作的请求；根据采集得到的包含对象的目标图像进行身份检测处理；当身份检测通过时，授权执行敏感操作。
这里，敏感操作包括以下至少之一：支付操作；增加、查看、删除和修改数据的操作；解锁操作。
以敏感操作是支付操作为例，响应于用户的支付操作，根据采集得到的包含对象的目标图像进行身份检测处理，以确定对应目标图像的身份信息；当检测获得的身份信息和当前支付账户所对应的身份信息一致时，授权执行支付操作，即支付成功。
当敏感操作是增加、查看、删除和修改数据的操作或解锁操作时，身份检测的过程和上述类似，不再进行赘述。
本发明实施例能够在符合身份检测需求的目标图像中准确提取出相应的身份信息，不仅提高了身份检测的速度，还提高了身份检测的准确性。
下面，以由图1中的终端400和服务器200协同实施本发明实施例提供的图像采集检测方法为例进行说明。参见图5，图5是本发明实施例提供的图像采集检测方法的流程示意图，将结合图5示出的步骤进行说明。
在步骤S501中，客户端对环境进行图像采集，并对采集到的图像进行目标识别处理。
在步骤S502中，当从采集到的图像中识别出对象时，客户端检测包括对象的目标区域的亮度均值。
在步骤S503中，客户端根据亮度均值，确定再次进行图像采集时需要使用的目标曝光指数。
在步骤S504中，客户端基于目标曝光指数对环境中的对象进行图像采集，以获得包含对象的目标图像。
在步骤S505中，客户端将目标图像发送至服务器。
在步骤S506中，服务器根据采集得到的包含对象的目标图像进行身份检测处理。
需要说明的是，步骤S501至步骤S506中的具体实现方式和上述步骤S101至步骤S105中包含的实施例类似，将在此不再进行赘述。
本发明实施例通过服务器和终端之间的数据交互，动态调整再次进行图像采集的目标曝光指数，从而获得满足身份检测需求的目标图像，能够提高后续进行身份检测的准确性；并且曝光指数的动态调整过程中计算量较小，能够提高图像采集的速度，从而提高身份检测的效率。
下面，以上述的对象是人脸为例说明本发明实施例提供的图像采集检测方法。
参见图6，图6是本发明实施例提供的图像采集检测方法的流程示意图。
图6中包含了人脸检测、人脸区域坐标确定、亮度测算、AE调节以及收敛优选等过程，下面结合图6详细说明。
(1)人脸检测
参见图7A和图7B，图7A和图7B是本发明实施例提供的图像采集检测方法的应用场景示意图，图7A中，通过人脸检测算法在采集的图片中查找到人脸的位置(即人脸框701)。
以支付场景为例，图7B中，摄像头采集的图片中通常包含的人脸只有一个，所检测到的人脸框701只有一个，因此人脸检测难度更小。
(2)人脸区域坐标确定
在采集的图片中查找到人脸的位置后，进一步确定测光的范围，通常在人脸框的基础进行扩大，例如，将人脸框的面积扩大为1.1倍或1.2倍，如此，能够避免边缘不清。
(3)曝光策略确定
在检测到人脸区域的亮度均值A后，需要确定下一次采集图片的曝光值(即上述的曝光指数，包括感光度或曝光时间)。此时，通过策略收敛算法，当检测到人脸区域过暗时，需要确定下一次采集图片的曝光值，并且需要避免下一次采集图片的曝光值过大而导致人脸过曝，或者调整幅度过大导致难以调整到合适亮度。其中，策略收敛算法包括线性查找表和比例积分微分(PID，Proporti on Integral Differential)控制算法等。
参见图8A和图8B，图8A和图8B是本发明实施例提供的图像采集检测方法的应用场景示意图，图8A是人脸欠曝(过暗)的示意图，图8B是人脸过曝(过亮)的示意图。
(4)重新取图
基于调整后的曝光值，通过摄像头采集图片。
(5)循环收敛，采集人脸亮暗合适的图
当上述算法都在摄像头内部完成时，能够快速实现设置闭环，能够加快收敛。评价图片是否满足要求，可以通过算法计算出质量评分来衡量。
(6)收敛完毕，人脸图片优选完成
在一些实施例中，参见图9，图9是本发明实施例提供的图像采集检测方法的流程示意图，图9中，在复杂的人脸识别场景中，当使用色彩模式(RGB，Red Green Blue)图(即上述的可见光图像)进行FACE AE、且人脸过亮或过暗时，人脸识别算法可能无法确定人脸位置(即人脸检测失败)。此时，充分利用刷脸支付所使用的3D摄像头的多传感器的特点，引入红外(IR，Infrared Spectroscopy)图和/或深度图，来进一步辅助查找人脸位置。
参见图10A、图10B和图10C，图10A、图10B和图10C是本发明实施例提供的图像采集检测方法的应用场景示意图，图10A和图10B中是由于RGB图中的人脸局部(或全部)过亮(或过暗)而无法清晰找到人脸位置的示意图。
此时，IR图有比较好的人脸识别效果，因为IR图是基于940nm波段的光线采集的，可以有效避开可见光波段。同时，当3D摄像头有IR补光灯时，采集的IR图更清晰，如图10C所示，图10C是在光线较暗下采集的IR图。
参见图11，图11是本发明实施例提供的图像采集检测方法的应用场景示意图。图8A是未开启FACE AE的情况下所采集的图像，该图像中脸部过暗；图11是开启FACE AE的情况下所采集的图像，该图像中脸部清晰可见。本发明实施例可以应用于深度相机中，能够让相机环境适应性更强，提高用户的使用体验。
需要说明的是，本发明实施例也可以适用于人体、手掌或瞳孔等识别应用场景中。
本发明实施例适用于人脸识别的各种摄像头和设备，可以提升产品的使用体验，不论光线亮暗、顺光逆光或窗边户外等各种场景，均可以助力摄像头拍摄清晰的人脸，从而提升辨识的准确度。使用者在摄像头面前时，无需刻意挪动位置即能识别(例如需要人脸对准至摄像头中间)，只需要人脸位置在摄像头的视场角范围内均可以识别，如此提升了识别速度，给用户更方便快捷的刷脸使用体验。
本发明实施例能够解决复杂环境下人脸图片过暗或过亮的问题，让采集的面部图片更清晰，从而提高刷脸识别的成功率。
本发明实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本发明实施例提供的图像采集检测方法的指令)，以下再对不同的实现方式举例说明。
一、移动端应用程序及模块
本发明实施例可提供为使用C/C++、Java等编程语言设计的软件模块，嵌入到基于Android或iOS等系统的各种移动端Apps中(例如微信等)(以可执行指令的存储在移动端的存储介质中，由移动端的处理器执行)，从而直接使用移动端自身的计算资源完成相关的图像采集、身份检测等任务，并且定期或不定期地通过各种网络通信方式将图像采集、身份检测等结果传送给远程的服务器，或者在移动端本地保存。
二、服务器应用程序及平台
本发明实施例可提供使用C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块，运行于服务器端(以可执行指令的方式在服务器端的存储介质中存储，并由服务器端的处理器运行)，将接收到的来自其它设备的各种原始数据、各级中间数据和最终结果中的至少一种，与服务器上已有的某些数据或结果综合起来针对采集的图像进行身份检测，然后实时或非实时地输出身份检测结果给其他应用程序或模块使用，也可以写入服务器端数据库或文件进行存储。
下面结合图2说明本发明实施例提供的图像采集检测装置555的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器550的图像采集检测装置555中的软件模块可以包括：
采集模块5551，用于对环境进行图像采集，并对采集到的图像进行目标识别处理；
亮度检测模块5552，用于当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；
计算模块5553，用于根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；
身份检测模块5554，用于基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。
在上述方案中，所述采集模块5551，还用于对环境进行图像采集，以获得包括以下至少之一的图像：可见光图像；红外图像；深度图像。
在上述方案中，所述采集模块5551，还用于对所述可见光图像进行目标识别处理；当在所述可见光图像中识别出所述对象时，在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块5551，还用于当在所述可见光图像中未识别出所述对象时，对所述红外图像进行目标识别处理；当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第一区域；根据所述第一区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块5551，还用于在所述红外图像的图像坐标系中，确定对应所述第一区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块5551，还用于当在所述红外图像中未识别出所述对象时，对所述深度图像进行目标识别处理；当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第二区域；根据所述第二区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块5551，还用于在所述深度图像的图像坐标系中，确定对应所述第二区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块5551，还用于当在所述可见光图像中未识别出所述对象时，对所述深度图像进行目标识别处理；当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第三区域；根据所述第三区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块5551，还用于在所述深度图像的图像坐标系中，确定对应所述第三区域的边界位置的像素坐标；在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述采集模块5551，还用于当在所述深度图像中未识别出所述对象时，对所述红外图像进行目标识别处理；当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第四区域；根据所述第四区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
在上述方案中，所述采集模块5551，还用于在所述红外图像的图像坐标系中，确定对应所述第四区域的边界位置的像素坐标；在所述可见光图像中的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
在上述方案中，所述亮度检测模块5552，还用于确定所述目标区域中包括的像素点总数、以及每个像素点的亮度值；将所述目标区域中的所有像素点的亮度值进行加和，并将所述加和与所述像素点总数的比值，确定为所述目标区域的亮度均值。
在上述方案中，所述计算模块5553，还用于确定采集所述图像所使用的原始曝光指数；其中，所述原始曝光指数包括原始感光度和原始曝光时间至少之一；当所述亮度均值小于最小亮度阈值时，确定大于所述原始曝光指数的目标曝光指数；当所述亮度均值大于最大亮度阈值时，确定小于所述原始曝光指数的目标曝光指数。
在上述方案中，所述计算模块5553，还用于在线性表中查询与所述亮度均值对应的目标曝光指数；其中，所述目标曝光指数大于所述原始曝光指数。
在上述方案中，所述计算模块，还用于在线性表中查询与所述亮度均值对应的目标曝光指数；其中，所述目标曝光指数小于所述原始曝光指数。
在上述方案中，所述计算模块5553，还用于确定所述亮度均值和所述最小亮度阈值之间的差值；在所述原始曝光指数的基础上，叠加与所述差值对应的比例增益、积分增益和微分增益，以得到大于所述原始曝光指数的目标曝光指数。
在上述方案中，所述计算模块5553，还用于确定所述亮度均值和所述最大亮度阈值之间的差值；在所述原始曝光指数的基础上，叠加与所述差值对应的比例损耗、积分损耗和微分损耗，以得到小于所述原始曝光指数的目标曝光指数。
在上述方案中，所述身份检测模块5554，还用于确定所述目标图像的质量评分；当所述目标图像的质量评分不低于评分阈值时，对所述目标图像进行目标识别处理，以获得所述目标图像中包括所述对象的目标区域；将在所述目标区域中提取的对应所述对象的特征向量，与数据库中已进行身份信息注册的特征向量进行识别比对，以获得所述对象的身份信息。
本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本发明实施例上述的图像采集检测方法。
本发明实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令，当计算机可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像采集检测方法，例如，图3、图4、图5、图6和图9示出的图像采集检测方法，计算机包括智能终端和服务器在内的各种计算设备。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，本发明实施例具有以下有益效果：
(1)在复杂的人脸识别场景中，当使用可见光图像进行目标识别时，可能无法确定目标区域，即目标识别失败。因此，本发明实施例引入红外图像和深度图像，来进一步辅助查找目标区域，从而能够提高目标识别的速度以及准确率。
(2)通过线性查表法调整原始感光度和/或原始曝光时间，能够减小计算过程，提高调整曝光指数的速度，从而提高图像的采集速度。
(3)通过比例积分微分控制算法调整原始感光度和/或原始曝光时间，能够快速确定下一次采集图像的曝光指数，并且能够避免下一次采集图片的曝光指数过大而导致过曝，或者调整幅度过大导致难以调整到合适亮度。
(4)只需要计算包括对象的目标区域的亮度均值，即可动态调整再次进行图像采集的目标曝光指数，从而获得满足身份检测需求的目标图像，能够提高后续进行身份检测的准确性；并且曝光指数的动态调整过程中计算量较小，能够提高图像采集的速度，从而提高身份检测的效率。
(5)能够在符合身份检测需求的目标图像中准确提取出相应的身份信息，不仅提高了身份检测的速度，还提高了身份检测的准确性。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (15)
1.一种图像采集检测方法，其特征在于，所述方法包括：
对环境进行图像采集，并对采集到的图像进行目标识别处理；
当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；
根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；
基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。
2.根据权利要求1所述的方法，其特征在于，所述对环境进行图像采集，包括：
对所述环境进行图像采集，以获得包括以下至少之一的图像：
可见光图像；红外图像；深度图像。
3.根据权利要求2所述的方法，其特征在于，
所述对采集到的图像进行目标识别处理，包括：
对所述可见光图像进行目标识别处理；
在所述检测包括所述对象的目标区域的亮度均值之前，所述方法还包括：
当在所述可见光图像中识别出所述对象时，在所述可见光图像中确定包括所述对象的目标区域。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当在所述可见光图像中未识别出所述对象时，对所述红外图像进行目标识别处理；
当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第一区域；
根据所述第一区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域，包括：
在所述红外图像的图像坐标系中，确定对应所述第一区域的边界位置的像素坐标；
在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当在所述红外图像中未识别出所述对象时，对所述深度图像进行目标识别处理；
当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第二区域；
根据所述第二区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域，包括：
在所述深度图像的图像坐标系中，确定对应所述第二区域的边界位置的像素坐标；
在所述可见光图像的图像坐标系中，确定与所述边界位置的像素坐标相同的目标边界位置，并将所述目标边界位置所对应的区域确定为所述目标区域。
8.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当在所述可见光图像中未识别出所述对象时，对所述深度图像进行目标识别处理；
当在所述深度图像中识别出所述对象时，在所述深度图像中确定包括所述对象的第三区域；
根据所述第三区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当在所述深度图像中未识别出所述对象时，对所述红外图像进行目标识别处理；
当在所述红外图像中识别出所述对象时，在所述红外图像中确定包括所述对象的第四区域；
根据所述第四区域对所述可见光图像进行定位处理，以在所述可见光图像中确定包括所述对象的目标区域。
10.根据权利要求1所述的方法，其特征在于，所述检测包括所述对象的目标区域的亮度均值，包括：
确定所述目标区域中包括的像素点总数、以及每个像素点的亮度值；
将所述目标区域中的所有像素点的亮度值进行加和，并将所述加和与所述像素点总数的比值，确定为所述目标区域的亮度均值。
11.根据权利要求1所述的方法，其特征在于，所述根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数，包括：
确定采集所述图像所使用的原始曝光指数；
其中，所述原始曝光指数包括原始感光度和原始曝光时间至少之一；
当所述亮度均值小于最小亮度阈值时，确定大于所述原始曝光指数的目标曝光指数；
当所述亮度均值大于最大亮度阈值时，确定小于所述原始曝光指数的目标曝光指数。
12.根据权利要求1所述的方法，其特征在于，所述根据采集得到的包含所述对象的目标图像进行身份检测处理，包括：
确定所述目标图像的质量评分；
当所述目标图像的质量评分不低于评分阈值时，对所述目标图像进行目标识别处理，以获得所述目标图像中包括所述对象的目标区域；
将在所述目标区域中提取的对应所述对象的特征向量，与数据库中已进行身份信息注册的特征向量进行识别比对，以获得所述对象的身份信息。
13.一种图像采集检测装置，其特征在于，包括：
采集模块，用于对环境进行图像采集，并对采集到的图像进行目标识别处理；
亮度检测模块，用于当从采集到的图像中识别出对象时，检测包括所述对象的目标区域的亮度均值；
计算模块，用于根据所述亮度均值，确定再次进行图像采集时需要使用的目标曝光指数；
身份检测模块，用于基于所述目标曝光指数对所述环境中的所述对象进行图像采集，根据采集得到的包含所述对象的目标图像进行身份检测处理。
14.一种电子设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至12任一项所述的图像采集检测方法。
15.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令被执行时用于实现权利要求1至12任一项所述的图像采集检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010756892.3A CN112752031B (zh) | 2020-07-31 | 2020-07-31 | 图像采集检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010756892.3A CN112752031B (zh) | 2020-07-31 | 2020-07-31 | 图像采集检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112752031A true CN112752031A (zh) | 2021-05-04 |
| CN112752031B CN112752031B (zh) | 2024-02-06 |
Family
ID=75645369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010756892.3A Active CN112752031B (zh) | 2020-07-31 | 2020-07-31 | 图像采集检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112752031B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113452901A (zh) * | 2021-05-12 | 2021-09-28 | 北京迈格威科技有限公司 | 图像采集方法及装置、电子设备、计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446873A (zh) * | 2016-11-03 | 2017-02-22 | 北京旷视科技有限公司 | 人脸检测方法及装置 |
| CN108881710A (zh) * | 2017-12-28 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN109857238A (zh) * | 2019-02-25 | 2019-06-07 | 深圳传音通讯有限公司 | 终端解锁方法及终端 |
| CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2020
- 2020-07-31 CN CN202010756892.3A patent/CN112752031B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446873A (zh) * | 2016-11-03 | 2017-02-22 | 北京旷视科技有限公司 | 人脸检测方法及装置 |
| CN108881710A (zh) * | 2017-12-28 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN109857238A (zh) * | 2019-02-25 | 2019-06-07 | 深圳传音通讯有限公司 | 终端解锁方法及终端 |
| CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113452901A (zh) * | 2021-05-12 | 2021-09-28 | 北京迈格威科技有限公司 | 图像采集方法及装置、电子设备、计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112752031B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9600741B1 (en) | Enhanced image generation based on multiple images | |
| WO2018188453A1 (zh) | 人脸区域的确定方法、存储介质、计算机设备 | |
| US9036943B1 (en) | Cloud-based image improvement | |
| US11070717B2 (en) | Context-aware image filtering | |
| CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
| CN107040726B (zh) | 双摄像头同步曝光方法及系统 | |
| WO2021147418A1 (zh) | 一种图像去雾方法、装置、设备及计算机存储介质 | |
| CN112819722A (zh) | 一种红外图像人脸曝光方法、装置、设备及存储介质 | |
| CN110418069A (zh) | 补光控制方法、移动终端及计算机可读存储介质 | |
| CN102857685A (zh) | 影像撷取方法与影像撷取系统 | |
| US20240163566A1 (en) | Exposure compensation method and apparatus, and electronic device | |
| CN109819176A (zh) | 一种拍摄方法、系统、装置、电子设备及存储介质 | |
| CN115242983B (zh) | 拍摄方法、电子设备及可读存储介质 | |
| WO2023071933A1 (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN113411498A (zh) | 图像拍摄方法、移动终端及存储介质 | |
| WO2021128593A1 (zh) | 人脸图像处理的方法、装置及系统 | |
| CN112752031B (zh) | 图像采集检测方法、装置、电子设备及存储介质 | |
| WO2019129041A1 (zh) | 一种亮度调节方法、装置、终端及计算机可读存储介质 | |
| CN112153300A (zh) | 多目摄像头曝光方法、装置、设备及介质 | |
| CN114885096B (zh) | 拍摄模式切换方法、电子设备及存储介质 | |
| US9525825B1 (en) | Delayed image data processing | |
| CN112101275B (zh) | 多目摄像头的人脸检测方法、装置、设备及介质 | |
| CN113938597B (zh) | 一种脸部识别方法、装置、计算机设备和存储介质 | |
| CN114581994A (zh) | 一种课堂考勤管理方法和系统 | |
| CN113989895A (zh) | 一种人脸皮肤分割方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043927 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |