CN112818732B - 一种图像处理方法、装置、计算机设备和存储介质 - Google Patents
一种图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112818732B CN112818732B CN202010802702.7A CN202010802702A CN112818732B CN 112818732 B CN112818732 B CN 112818732B CN 202010802702 A CN202010802702 A CN 202010802702A CN 112818732 B CN112818732 B CN 112818732B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- images
- target
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012216 screening Methods 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007499 fusion processing Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 230000001680 brushing effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、计算机设备和存储介质,涉及计算机领域,该方法包括:获取目标对象的多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。然后从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列。从筛选图像序列中选取图像质量满足预设条件的目标待处理图像,将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。基于图像质量从多组在不同曝光时间下拍摄的待处理图像中选取一组待处理图像进行融合处理,获得目标对象的高动态范围图像,而不需要将每组待处理图像进行融合处理,降低了对图像处理设备的要求,同时提高了图像质量。
Description
技术领域
本发明实施例涉及计算机领域,尤其涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着人脸识别技术的飞速发展,人脸识别技术越来越多的应用在人们的日常生活中。但是人脸识别场景复杂,特别是半室外或者室外场景,在摄像头成像时,由于背光或者光线干扰会导致画面过暗或者过亮,拍出来的图像容易丢失亮处或暗处的细节,从而影响图像质量,进而影响人脸识别的准确性。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备和存储介质,用于提升高动态范围图像的质量,进而提高人脸识别的准确度。
一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取目标对象的图像序列,所述图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像;
从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列;
从所述筛选图像序列中选取图像质量满足预设条件的目标待处理图像;
将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得所述目标对象的高动态范围图像。
一方面,本申请实施例提供了一种人脸识别方法,该方法包括:
采用上述图像处理方法获得目标人脸的高动态范围图像;
根据所述高动态范围图像进行人脸识别,获得所述目标人脸的识别结果。
一方面,本申请实施例提供了一种图像处理装置,包括:
图像采集模块,用于获取目标对象的图像序列,所述图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像;
筛选模块,用于从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列;
匹配模块,用于从所述筛选图像序列中选取图像质量满足预设条件的目标待处理图像;
融合模块,用于将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得所述目标对象的高动态范围图像。
一方面,本申请实施例提供了一种人脸识别装置,包括:
图像处理装置,用于获得目标人脸的高动态范围图像;
识别模块,用于采用所述高动态范围图像进行人脸识别,获得所述目标人脸的识别结果。
一方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像处理方法的步骤,或者上述人脸识别方法的步骤。
一方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述图像处理方法的步骤,或者上述人脸识别方法的步骤。
一方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机设备执行时,使所述计算机设备执行上述图像处理方法的步骤,或者上述人脸识别方法的步骤。
本申请实施例中,由于在获取多组在不同曝光时间下拍摄的待处理图像后,基于图像质量选取一组待处理图像进行融合处理,获得目标对象的高动态范围图像,而不需要将每组待处理图像进行融合处理,从而一方面降低了计算资源的消耗,提高了生成高动态范围图像的效率,另一方面,降低了对图像处理设备的要求,进而降低了成本。采用目标对象的多帧在不同曝光时间下拍摄的待处理图像合成目标对象的高动态范围图像,从而提高获得的目标对象的图像的质量,进而提高人脸识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种支付页面的示意图;
图2为本申请实施例提供的一种支付页面的示意图;
图3为本申请实施例提供的一种支付确认页面的示意图;
图4为本申请实施例提供的一种支付成功页面的示意图;
图5为本申请实施例提供的一种支付失败页面的示意图;
图6为本申请实施例提供的一种登录页面的示意图;
图7为本申请实施例提供的一种支登录页面的示意图;
图8为本申请实施例提供的一种直播应用首页的示意图;
图9为本申请实施例提供的一种登录失败页面的示意图;
图10为本申请实施例提供的一种系统架构的示意图;
图11为本申请实施例提供的一种图像处理方法的流程示意图;
图12为本申请实施例提供的一种选取目标待处理图像的方法的流程示意图;
图13为本申请实施例提供的一种选取目标待处理图像的方法的流程示意图;
图14为本申请实施例提供的一种合成高动态范围图像的方法的流程示意图;
图15为本申请实施例提供的一种选取目标人脸图像的方法的流程示意图;
图16为本申请实施例提供的一种合成高动态范围图像的方法的流程示意图;
图17为本申请实施例提供的一种图像处理装置的结构示意图;
图18为本申请实施例提供的一种人脸识别装置的结构示意图;
图19为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本发明实施例中涉及的名词进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。比如,本申请实施例中采用计算机视觉技术进行人脸识别。
高动态范围图像:High-Dynamic Range,简称HDR,相比普通的图像,可以提供更多的动态范围和图像细节,根据不同的曝光时间的低动态范围图像,并利用每个曝光时间相对应最佳细节的低动态范围图像来合成最终HDR,它能够更好的反映出真实环境中的视觉效果。
Bayer格式:传感器(sensor)的每一像素对应一个彩色滤光片,彩色滤光片按拜耳阵列(Bayer pattern)分布,将每一个像素的数据直接输出。
RGB格式:传统的红绿蓝格式,比如RGB565,其16-bit数据格式为5-bit R+6-bit G+5-bit B,G多一位的原因是人眼对绿色比较敏感。
YUV格式:明亮度luma(Y)+色度chroma(UV)格式,一般情况下sensor支持YUV422格式,即数据格式是按Y-U-Y-V次序输出的。
深度图像:(Depth Image)也被称为距离影像(Range Image),是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了对象可见表面的几何形状。
红外图象:根据对象红外光的强度而形成的图象。
下面对本申请实施例的设计思想进行介绍。
人脸识别场景复杂,特别是半室外或者室外场景,在摄像头成像时,由于背光或者光线干扰会导致画面过暗或者过亮,拍出来的图像容易丢失亮处或暗处的细节,从而影响图像质量,进而影响人脸识别的准确性。
通过分析发现高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节,从而提高图像质量。当采用高性能图像信号处理器(Image SignalProcessing,简称ISP)来合成HDR流,然后从HDR流中选取目标HDR进行人脸识别时,可以提高人脸识别的效果,然而高性能ISP价格较贵,导致人脸识别设备成本较高。
进一步分析发现需要借助ISP合成HDR流的原因是:在获取多组在不同曝光时间下拍摄的待处理图像后,需要对每组待处理图像分别进行融合处理,获得多帧HDR组成HDR流,同时需要保证融合每组待处理图像的时效性,这对图像处理设备提出了很高的要求。然而,在进行人脸识别时只需要从HDR流中选取一帧HDR。鉴于此,本申请实施例提供了一种图像处理方法,该方法包括:获取目标对象的图像序列,图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。然后从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列。再从筛选图像序列中选取图像质量满足预设条件的目标待处理图像,之后再将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。
本申请实施例中,由于在获取多组在不同曝光时间下拍摄的待处理图像后,基于图像质量选取一组待处理图像进行融合处理,获得目标对象的高动态范围图像,而不需要将每组待处理图像进行融合处理,从而一方面降低了计算资源的消耗,提高了生成高动态范围图像的效率,另一方面,降低了对图像处理设备的要求,进而降低了人脸识别设备的成本。采用目标对象的多帧在不同曝光时间下拍摄的待处理图像合成目标对象的高动态范围图像,从而提高获得的目标对象的图像的质量,进而提高人脸识别的准确性。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
场景一、在支付场景中。
收银设备中预先安装收银应用,当顾客在收银台进行结账时,收银员在收银应用中输入收银金额,收银应用显示支付页面,支付页面如图1所示,支付页面中包括收银金额50元以及人脸扫描区域101。顾客面向收银应用,人脸扫描区域中显示顾客的人脸图像,如图2所示。收银应用调用收银设备的摄像头采集顾客的人脸图像序列,人脸图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。然后从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列。再从筛选图像序列中选取图像质量满足人脸识别条件的目标待处理图像,之后再将目标待处理图像所在组的多帧待处理图像进行融合处理,获得顾客的高动态范围图像。收银应用将获取的顾客的高动态范围图像与人脸图像库中的人脸图像进行比对,若顾客的高动态范围图像与人脸图像库中的人脸图像匹配,则显示支付确认页面,如图3所示,支付确认页面中包括收银金额50元、顾客图标102以及“确认支付”按钮。顾客点击“确认支付”按钮,收银应用显示支付成功页面,如图4所示,支付成功页面包括支付金额50元以及“支付成功”的提醒消息。若顾客的高动态范围图像与人脸图像库中的人脸图像不匹配,则显示支付失败页面,如图5所示,支付失败页面包括“支付失败”的提醒消息、“再次刷脸”按钮以及“取消”按钮。
场景二、在应用登录场景中。
设定终端预先安装直播应用,当用户在终端启动直播应用后,直播应用显示登录页面,如图6所示,登录页面包括“刷脸登录”按钮和“其他方式登录”按钮。当用户点击“刷脸登录”按钮后,直播应用显示人脸扫描区域101,用户面向直播应用,人脸扫描区域101中显示用户的人脸图像,如图7所示。直播应用调用终端的摄像头采集用户的人脸图像序列,人脸图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。然后从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列。再从筛选图像序列中选取图像质量满足人脸识别条件的目标待处理图像,之后再将目标待处理图像所在组的多帧待处理图像进行融合处理,获得用户的高动态范围图像。直播应用将获取的用户的高动态范围图像与人脸图像库中的人脸图像进行比对,若用户的高动态范围图像与人脸图像库中的人脸图像匹配,则显示登录后的直播应用首页,如图8所示,直播应用首页中包括推荐的直播间A、直播间B和直播间C。若用户的高动态范围图像与人脸图像库中的人脸图像不匹配时,直播应用显示登录失败页面,如图9所示,登录失败页面包括“登录失败”的提醒消息、“再次刷脸”按钮以及“取消”按钮。
需要说明的是,本申请实施例中的图像处理方法并不仅限于应用在上述两种应用场景,还可以是车站的刷脸进站场景、手机解锁场景、门禁应用场景等。另外本申请实施例中的图像处理方法并不仅限于应用在人脸识别场景,还可以应用在处除人脸之外其他目标对象的识别场景,比如动物的识别场景、植物的识别场景、物品的识别场景等,对此,本申请实施例不做具体限定。
参考图10,其为本申请实施例适用的一种系统架构图,该系统架构至少包括终端设备1001和服务器1002。
终端设备1001通过图像采集器采集目标对象的图像序列,图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。终端设备1001可以包括一个或多个处理器10011、存储器10012、与服务器1002交互的I/O接口10013以及显示面板10014等。终端设备1001可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
一种可能的实施方式,终端设备1001中的处理器10011从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列,从筛选图像序列中选取图像质量满足预设条件的目标待处理图像,然后将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。
一种可能的实施方式,终端设备1001通过I/O接口10013将目标对象的图像序列发送给服务器1002,服务器1002可以包括一个或多个处理器10021、存储器10022以及与终端设备1001交互的I/O接口10023等。此外,服务器1002还可以配置数据库10024。服务器1002可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备1001、服务器1002可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器1002中的处理器10021从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列,从筛选图像序列中选取图像质量满足预设条件的目标待处理图像,然后将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。服务器1002通过I/O接口10023将目标对象的高动态范围图像发送给终端设备1001。
基于图10所示的系统架构图,本申请实施例提供了一种图像处理方法的流程,如图11所示,该方法的流程由图像处理装置执行,该装置可以是图10所示的终端设备1001或服务器1002,包括以下步骤:
步骤S1101,获取目标对象的图像序列。
具体地,目标对象可以是人脸、动物、植物、物品等。图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像。曝光时间越长,采集的待处理图像越亮,曝光时间越短,采集的待处理图像越暗。
步骤S1102,从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列。
具体地,各组待处理图像对应的目标曝光时间可以相同,即从每组待处理图像中选取曝光时间相同的待处理图像组成筛选图像序列。各组待处理图像对应的目标曝光时间也可以不完全相同,即从每组待处理图像中选取曝光时间不完全相同的待处理图像组成筛选图像序列。
步骤S1103,从筛选图像序列中选取图像质量满足预设条件的目标待处理图像。
具体实施中,预设条件可以根据不同的应用场景进行设置,比如,在人脸识别场景中,预设条件可以是人脸识别条件,具体可以是人脸的位置为正脸,人脸中各个器官清晰等。又比如,在植物识别场景中,预设条件可以是植物识别条件,具体可以是植物的茎叶清晰等。
步骤S1104,将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。
本申请实施例中,由于在获取多组在不同曝光时间下拍摄的待处理图像后,基于图像质量选取一组待处理图像进行融合处理,获得目标对象的高动态范围图像,而不需要将每组待处理图像进行融合处理,从而一方面降低了计算资源的消耗,提高了生成高动态范围图像的效率,另一方面,降低了对图像处理设备的要求,进而降低了人脸识别设备的成本。采用目标对象的多帧在不同曝光时间下拍摄的待处理图像合成目标对象的高动态范围图像,从而提高获得的目标对象的图像的质量,进而提高人脸识别的准确性。
可选地,在上述步骤S1101中,每组待处理图像中待处理图像的帧数由图像采集的曝光时间模式确定。
一种可能的实施方式,每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,第一时间大于第二时间,第二时间大于第三时间。
示例性地,图像采集的曝光时间模式为32/8/1,即第一时间为32毫秒、第二时间为8毫秒,第三时间为1毫秒,在曝光时间32毫秒下拍摄获得第一待处理图像,在曝光时间8毫秒下拍摄获得第二待处理图像,在曝光时间1毫秒下拍摄获得第三待处理图像,第一待处理图像、第二待处理图像和第三待处理图像组成一组待处理图像。
一种可能的实施方式,每组待处理图像中包括两帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第四时间、第五时间,其中,第四时间大于第五时间。
示例性地,图像采集的曝光时间模式为8/1,即第四时间为8毫秒、第五时间为1毫秒,在曝光时间8毫秒下拍摄获得第四待处理图像,在曝光时间1毫秒下拍摄获得第五待处理图像,第四待处理图像和第五待处理图像组成一组待处理图像。
需要说明的是,本申请实施例中每组待处理图像中待处理图像的帧数并不仅限于上述两种,每组待处理图像中待处理图像的帧数还可以四帧或五帧等,对此,本申请不做具体限定。
可选地,在上述步骤S1102中,从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列时,本申请实施至少提供以下几种实施方式:
一种可能的实施方式,各组待处理图像对应的目标曝光时间相同,即从每组待处理图像中选取曝光时间相同的待处理图像组成筛选图像序列。
具体实施中,预先从曝光时间模式的多个曝光时间中选取一个曝光时间作为目标曝光时间,各组待处理图像对应的目标曝光时间相同。
示例性地,设定每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,第一时间大于第二时间,第二时间大于第三时间。
实施方式一、预先选取第一时间作为目标曝光时间,从每组待处理图像中选取曝光时间为第一时间的待处理图像组成筛选图像序列。
实施方式二、预先选取第二时间作为目标曝光时间,从每组待处理图像中选取曝光时间为第二时间的待处理图像组成筛选图像序列。
实施方式三、预先选取第三时间作为目标曝光时间,从每组待处理图像中选取曝光时间为第三时间的待处理图像组成筛选图像序列。
示例性地,设定每组待处理图像中包括两帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第四时间、第五时间,其中,第四时间大于第五时间。
实施方式一、预先选取第四时间作为目标曝光时间,从每组待处理图像中选取曝光时间为第四时间的待处理图像组成筛选图像序列。
实施方式二、预先选取第五时间作为目标曝光时间,从每组待处理图像中选取曝光时间为第五时间的待处理图像组成筛选图像序列。
通过从每组待处理图像中选取曝光时间相同的待处理图像组成筛选图像序列,便于后续进行图像比较,获得图像质量满足预设条件的目标待处理图像。
需要说明的是,本申请实施例中生成筛选图像序列的实施方式并不仅限于上述举例中的几种,目标曝光时间可以是曝光时间模式的多个曝光时间中的任意一个曝光时间,对此,本申请不做具体限定。
另一种可能的实施方式,各组待处理图像对应的目标曝光时间不完全相同,即从每组待处理图像中选取曝光时间不完全相同的待处理图像组成筛选图像序列。
具体实施中,可以针对每组待处理图像,预先从曝光时间模式的多个曝光时间中选取一个曝光时间作为目标曝光时间,各组待处理图像对应的目标曝光时间不完全相同。也可以不预先为每组待处理图像选取目标曝光时间,而是随机从每组待处理图像中选取待处理图像组成筛选图像序列。
示例性地,设定每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,第一时间大于第二时间,第二时间大于第三时间。
实施方式一、预先选择第一时间作为第一组待处理图像的目标曝光时间,预先选择第二时间作为第二组待处理图像的目标曝光时间,预先选择第三时间作为第撒组待处理图像的目标曝光时间。在生成高动态范围图像时,从第一组待处理图像中选取曝光时间为第一时间的待处理图像,从第二组待处理图像中选取曝光时间为第二时间的待处理图像,从第三组待处理图像中选取曝光时间为第三时间的待处理图像,采用选取的待处理图像组成筛选图像序列。
实施方式二、在生成高动态范围图像时,从第一组待处理图像中随机选取一帧待处理图像,从第二组待处理图像中随机选取一帧待处理图像,从第三组待处理图像中随机选取一帧待处理图像,采用选取的待处理图像组成筛选图像序列。
需要说明的是,本申请实施例中生成筛选图像序列的实施方式并不仅限于上述举例中的几种,当每组待处理图像中待处理图像的帧数变化时,筛选图像序列也相应变化,对此,本申请不做具体限定。
可选地,在上述步骤S1103中,从筛选图像序列中选取图像质量满足预设条件的目标待处理图像时,本申请实施例至少提供以下两种实施方式:
实施方式一、从筛选图像序列中选取目标待处理图像的过程具体包括以下步骤,如图12所示:
步骤S1201,对筛选图像序列中的每帧待处理图像进行彩色图像处理,获得每帧待处理图像对应的彩色图像。
具体地,彩色图像处理可以是Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理中的一种图像处理或多种图像处理的组合。
Bayer域下的图像处理包括:黑电平补偿(Black Level Correction,简称BLC)、镜头校正(LENS SHADING)、色彩均匀(Color SHADING)、2D消除噪声(2DNR)、自动白平衡(Automatic White Balance,简称AWB)、自动曝光(Automatic Exposure,简称AE)、自动对焦(Auto Focus,简称AF)、将Bayer格式转成RGB格式(Bayer2RGB)等ISP算法。
RGB域下的图像处理包括:颜色校正(Color Correction Matrix,简称CCM)、灰度转换(GAMMA)、自动白平衡(Automatic White Balance,简称AWB)、自动曝光(AutomaticExposure,简称AE)、将RGB格式转成YUV格式(RGB2YUV)等ISP算法。
YUV域下的图像处理包括:自动增益控制(Automatic Gain Control,简称AGC)、色度GAIN值(UV GAIN)、时域降噪(DT NENOISE)、宽动态(Wide Dynamic Range,简称WDR)、丢弃坏帧(FRAME DROP)、自动曝光(Automatic Exposure,简称AE)、自动对焦(Auto Focus,简称AF)、自动白平衡(Automatic White Balance,简称AWB)等ISP算法。
步骤S1202,基于每帧彩色图像的时间戳,从目标对象的深度图像和红外图像中,获取每帧彩色图像对应的深度图像和红外图像。
具体地,深度图像是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了对象可见表面的几何形状。红外图象指获取对象红外光的强度而形成的图象。
每帧待处理图像对应的一个时间戳,该时间戳与拍摄待处理图像的时间对应。图像采集器在采集待处理图像时,同时采集待处理图像对应的深度图像和红外图像,深度图像和红外图像的时间戳与对应的待处理图像的时间戳相同。将待处理图像转化为彩色图像后,彩色图像的时间戳为对应的待处理图像的时间戳。
步骤S1203,根据每帧彩色图像的质量分值以及每帧彩色图像对应的深度图像和红外图像的质量分值,从多帧彩色图像中确定目标彩色图像。
当应用场景不同时,对彩色图像的质量分值以及彩色图像对应的深度图像和红外图像的质量分值的要求也不同。可以针对不同的应用场景,预设不同的条件,通过判断每帧彩色图像的质量分值以及每帧彩色图像对应的深度图像和红外图像的质量分值是否满足预设条件,从多帧彩色图像中确定目标彩色图像。
一种可能的实施方式,可以针对彩色图像的质量分值设置第一阈值,针对深度图像的质量分值设置第二阈值,针对红外图像的质量分值设置第三阈值。判断每帧彩色图像的质量分值是否大于第一阈值,若大于,则将该彩色图像确定为第一类筛选图像,否则去除该彩色图像。然后判断每帧第一类筛选图像对应的深度图像的质量分值是否大于第二阈值,若大于,则将该第一类筛选图像确定为第二类筛选图像,否则去除该第一类筛选图像。之后再判断每帧第二类筛选图像对应的红外图像的质量分值是否大于第三阈值,若大于,则将该第二类筛选图像确定为第三类筛选图像,否则去除该第二类筛选图像。
一种可能的实施方式,可以针对彩色图像的质量分值设置第一阈值,针对深度图像的质量分值设置第二阈值,针对红外图像的质量分值设置第三阈值。针对多帧彩色图像中的每帧彩色图像,首先判断该帧彩色图像的质量分值是否大于第一阈值,若是,则判断该帧彩色图像对应的深度图像的质量分值是否大于第二阈值,若是,则判断该帧彩色图像对应的红外图像的质量分值是否大于第三阈值,若是,则将该帧彩色图像确定为第三类筛选图像,否则去除该帧彩色图像。
需要说明的是,本申请实施例中并不仅限于上述描述的先对彩色图像的质量分值进行判断,后对深度图像的质量分值进行判断,最后对红外图像的质量分值进行判断这一种实施方式,判断彩色图像的质量分值、深度图像的质量分值、红外图像的质量分值的顺序可以不分先后,对此,本申请不做具体限定。
在上述任意一种实施方式的基础上,若获得的第三类筛选图像为一帧,则将该帧彩色图像作为目标彩色图像。
若获得的第三类筛选图像为多帧,则可以采用以下几种实施方式从多帧第三类筛选图像中确定目标彩色图像:
一种可能的实施方式,预先设置彩色图像、深度图像和红外图像分别对应的权值,针对每帧第三类筛选图像,根据第三类筛选图像的质量分值、第三类筛选图像对应的深度图像的质量分值、第三类筛选图像对应的红外图像的质量分值以及第三类筛选图像、第三类筛选图像对应的深度图像、第三类筛选图像对应的红外图像分别对应的权值,确定第三类筛选图像的综合质量分值。按照综合质量分值从高到底的顺序对多帧第三类筛选图像进行排序,将排在第一位的第三类筛选图像作为目标彩色图像。
一种可能的实施方式,按照彩色图像的质量分值从高到底的顺序,对多帧第三类筛选图像进行排序,将排在第一位的第三类筛选图像作为目标彩色图像。
需要说明的是,本申请实施例中从多帧第三类筛选图像中确定目标彩色图像的实施方式并不仅限于上述两种,还可以是其他实施方式,对此,本申请实施例不做具体限定。
示例性地,当进行人脸识别时,根据人脸识别算法对待识别图像的要求设置用于评估彩色图像的第一阈值、用于评估深度图像第二阈值以及用于评估红外图像第三阈值。在获得多帧彩色人脸图像和多帧彩色人脸图像对应的深度图像和红外图像后,针对每帧彩色人脸图像,先判断该帧彩色人脸图像的质量分值是否大于第一阈值,若是,则判断该帧彩色人脸图像对应的深度图像的质量分值是否大于第二阈值,若是,则判断该帧彩色人脸图像对应的红外图像的质量分值是否大于第三阈值,若是,则将该帧彩色人脸图像确定为第三类筛选图像,否则去除该帧彩色人脸图像。若第三类筛选图像为多帧,则按照彩色人脸图像的质量分值从高到底的顺序,对多帧第三类筛选图像进行排序,将排在第一位的第三类筛选图像作为目标彩色人脸图像。
步骤S1204,将目标彩色图像对应的待处理图像确定为目标待处理图像。
具体地,彩色图像是对待处理图像进行彩色图像处理后获得的,彩色图像与待处理图像之间存在对应关系。在确定目标彩色图像后,可以基于彩色图像与待处理图像之间的对应关系确定目标彩色图像对应的目标待处理图像。
本申请实施例中,将筛选图像序列中的待处理图像进行彩色图像处理,获得彩色图像,然后结合彩色图像、彩色图像对应的深度图像以及彩色图像对应的红外图像多方面的图像特征从筛选图像序列中选取目标待处理图像,从而提高了选取的目标待处理图像的质量,进而提高后续合成的高动态范围图像的图像质量。
实施方式二、从筛选图像序列中选取目标待处理图像的过程具体包括以下步骤,如图13所示:
步骤S1301,对筛选图像序列中的每帧待处理图像进行彩色图像处理,获得每帧待处理图像对应的彩色图像。
具体地,彩色图像处理可以是Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理中的一种图像处理或多种图像处理的组合,Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理在前文已有介绍,此处不再赘述。
步骤S1302,根据每帧彩色图像的质量分值,从多帧彩色图像中确定目标彩色图像。
具体实施中,当应用场景不同时,对彩色图像的质量分值的要求也不同。可以针对不同的应用场景,预设不同的条件。比如,在人脸识别场景中,根据人脸识别算法对待识别图像的要求设置用于评估彩色图像的预设阈值,然后从多帧彩色人脸图像中筛选出质量分值大于预设阈值的彩色人脸图像。当筛选出的彩色人脸图像为一帧时,将该帧彩色人脸图像确定为目标彩色人脸图像,当筛选出的彩色人脸图像为多帧时,将筛选出的多帧彩色人脸图像,按照质量分值从大到小的顺序进行排序,将排在第一位的彩色人脸图像作为目标彩色人脸图像。
步骤S1303,将目标彩色图像对应的待处理图像确定为目标待处理图像。
需要说明的是,本申请实施例中从筛选图像序列中选取目标待处理图像的实施方式并不仅限于上述两种,还可以是基于彩色图像结合深度图像或红外图像从筛选图像序列中选取目标待处理图像的方式等,对此,本申请不做具体限定。
可选地,在上述步骤S1104中,本申请实施例中采用以下方式获得高动态范围图像:
将目标待处理图像所在组的多帧待处理图像进行融合处理,获得融合图像,然后对融合图像进行彩色图像处理,获得目标对象的高动态范围图像。
具体实施中,首先将目标待处理图像所在组的多帧待处理图像进行图像配准,然后恢复目标待处理图像所在组的多帧待处理图像对应的辐射度图像,之后再根据多帧辐射度图像的权重将多帧辐射度图像合成为一帧融合图像。
彩色图像处理可以是Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理中的一种图像处理或多种图像处理的组合,Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理在前文已有介绍,此处不再赘述。
示例性地,如图14所示,设定目标待处理图像所在组的多帧待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,分别为在曝光时间31.2毫秒下拍摄的第一待处理图像,在曝光时间7.8毫秒下拍摄的第二待处理图像,在曝光时间0.98毫秒下拍摄的第三待处理图像。
图像处理装置先将第一待处理图像、第二待处理图像和第三待处理图像进行融合处理,获得Bayer格式的融合图像。然后在Bayer域下对Bayer格式的融合图像进行处理,获得RGB格式的融合图像,Bayer域下的图像处理包括:黑电平补偿、镜头校正、色彩均匀、2D消除噪声、自动白平衡、自动曝光、自动对焦、将Bayer格式转成RGB格式。
再在RGB域下对RGB格式的融合图像进行处理,获得YUV格式的融合图像,RGB域下的图像处理包括:颜色校正、灰度转换、自动白平衡、自动曝光、将RGB格式转成YUV格式。
之后再在YUV域下对YUV格式的融合图像进行处理,获得YUV格式的高动态范围图像,YUV域下的图像处理包括:自动增益控制、色度GAIN值、时域降噪、宽动态、丢弃坏帧、自动曝光、自动对焦、自动白平衡。
本申请实施例中,从多组在不同曝光时间下拍摄的待处理图像中,选取一组待处理图像进行融合处理,获得目标对象的高动态范围图像,而不需要将每组待处理图像进行融合处理,降低了对图像处理设备的要求,故采用图像处理装置中的中央处理器(CentralProcessing Unit,CPU)即可合成高动态范围图像,而不需要借助高性能的ISP,降低了成本,另外也降低了计算资源的消耗,提高了生成高动态范围图像的效率。
本申请实施例提供了一种人脸识别方法,该方法由人脸识别装置执行,具体为:采用前文介绍的图像处理方法获得目标人脸的高动态范围图像,然后根据高动态范围图像进行人脸识别,获得目标人脸的识别结果。
具体地,人脸识别装置通过图像采集器采集目标人脸的图像序列,图像序列包括多组人脸图像,每组人脸图像中包括多帧在不同曝光时间下拍摄的人脸图像。然后从每组人脸图像中选取曝光时间为目标曝光时间的人脸图像组成筛选图像序列,再从筛选图像序列中选取图像质量满足预设条件的目标人脸图像,之后再将目标人脸图像所在组的多帧人脸图像进行融合处理,获得目标人脸的高动态范围图像。然后将目标人脸的高动态范围图像与人脸图像库中的人脸图像进行比对,根据图像匹配的结构确定目标人脸的识别结果。
下面以支付场景为例进行具体说明,收银设备中预先安装收银应用,当顾客在收银台进行结账时,收银员在收银应用中输入收银金额,收银应用显示支付页面,支付页面如图1所示,支付页面中包括收银金额50元以及人脸扫描区域101。顾客面向收银应用,人脸扫描区域中显示顾客的人脸图像,如图2所示。
收银应用调用收银设备的摄像头采集顾客的人脸图像序列,人脸图像序列包括多组人脸图像,每组人脸图像中包括三帧在不同曝光时间下拍摄的待处理的人脸图像,分别为在曝光时间31.2毫秒下拍摄的第一人脸图像,在曝光时间7.8毫秒下拍摄的第二人脸图像,在曝光时间0.98毫秒下拍摄的第三人脸图像。
从每组人脸图像中选取曝光时间为7.8毫秒的第二人脸图像组成筛选图像序列。从筛选图像序列中选取图像质量满足预设条件的目标人脸图像的过程如图15所示,包括以下步骤:
针对筛选图像序列中每帧第二人脸图像,在Bayer域下对Bayer格式的第二人脸图像进行处理,获得RGB格式的第二人脸图像,Bayer域下的图像处理包括:黑电平补偿、镜头校正、色彩均匀、2D消除噪声、自动白平衡、自动曝光、自动对焦、将Bayer格式转成RGB格式。再在RGB域下对RGB格式的第二人脸图像进行处理,获得YUV格式的第二人脸图像,RGB域下的图像处理包括:颜色校正、灰度转换、自动白平衡、自动曝光、将RGB格式转成YUV格式。之后再在YUV域下对YUV格式的第二人脸图像进行处理,获得YUV格式的彩色人脸图像,YUV域下的图像处理包括:自动增益控制、色度GAIN值、时域降噪、宽动态、丢弃坏帧、自动曝光、自动对焦、自动白平衡。
基于每帧彩色人脸图像的时间戳,从目标人脸的深度图像和红外图像中,获取每帧彩色人脸图像对应的深度图像和红外图像。预先根据人脸识别算法对待识别图像的要求设置用于评估彩色人脸图像的第一阈值、用于评估深度图像第二阈值以及用于评估红外图像第三阈值。针对每帧彩色人脸图像,先判断该帧彩色人脸图像的质量分值是否大于第一阈值,若是,则判断该帧彩色人脸图像对应的深度图像的质量分值是否大于第二阈值,若是,则判断该帧彩色人脸图像对应的红外图像的质量分值是否大于第三阈值,若是,则将该帧彩色人脸图像确定为筛选图像,否则去除该帧彩色人脸图像。若筛选图像为多帧,则按照彩色人脸图像的质量分值从高到底的顺序,对多帧筛选图像进行排序,将排在第一位的筛选图像作为目标彩色人脸图像,然后将目标彩色人脸图像对应的待处理的人脸图像确定为目标人脸图像。
基于目标人脸图像所在组的多帧人脸图像获得目标人脸的高动态范围图像的过程如图16所示,包括以下步骤:
收银应用先将目标人脸图像所在组的第一人脸图像、第二人脸图像和第三人脸图像进行融合处理,获得Bayer格式的融合图像。然后在Bayer域下对Bayer格式的融合图像进行处理,获得RGB格式的融合图像,再在RGB域下对RGB格式的融合图像进行处理,获得YUV格式的融合图像,之后再在YUV域下对YUV格式的融合图像进行处理,获得YUV格式的高动态范围图像。Bayer域下的图像处理、RGB域下的图像处理以及YUV域下的图像处理在前文已有介绍,此处不再赘述。
收银应用将获取的顾客的高动态范围图像与人脸图像库中的人脸图像进行比对,若顾客的高动态范围图像与人脸图像库中的人脸图像匹配,则显示支付确认页面,如图3所示,支付确认页面中包括收银金额50元、顾客图标102以及“确认支付”按钮。顾客点击“确认支付”按钮,收银应用显示支付成功页面,如图4所示,支付成功页面包括支付金额50元以及“支付成功”的提醒消息。若顾客的高动态范围图像与人脸图像库中的人脸图像不匹配,则显示支付失败页面,如图5所示,支付失败页面包括“支付失败”的提醒消息、“再次刷脸”按钮以及“取消”按钮。
本申请实施例中,由于在获取多组在不同曝光时间下拍摄的人脸图像后,基于图像质量选取一组人脸图像进行融合处理,获得目标人脸的高动态范围图像,而不需要将每组人脸图像进行融合处理,从而一方面降低了计算资源的消耗,提高了生成高动态范围图像的效率,另一方面,降低了对图像处理设备的要求,进而降低了人脸识别设备的成本。采用目标人脸的多帧在不同曝光时间下拍摄的人脸图像合成目标人脸的高动态范围图像,从而提高获得的目标人脸的图像的质量,进而提高人脸识别的准确性。
基于相同的技术构思,本申请实施例提供了一种图像处理装置,如图17所示,该装置1700包括:
图像采集模块1701,用于获取目标对象的图像序列,图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像;
筛选模块1702,用于从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列;
匹配模块1703,用于从筛选图像序列中选取图像质量满足预设条件的目标待处理图像;
融合模块1704,用于将目标待处理图像所在组的多帧待处理图像进行融合处理,获得目标对象的高动态范围图像。
可选地,每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,第一时间大于第二时间,第二时间大于第三时间。
可选地,筛选模块1702具体用于:
从每组待处理图像中选取曝光时间为第二时间的待处理图像组成筛选图像序列。
可选地,匹配模块1703具体用于:
对筛选图像序列中的每帧待处理图像进行彩色图像处理,获得每帧待处理图像对应的彩色图像;
基于每帧彩色图像的时间戳,从目标对象的深度图像和红外图像中,获取每帧彩色图像对应的深度图像和红外图像;
根据每帧彩色图像的质量分值以及每帧彩色图像对应的深度图像和红外图像的质量分值,从多帧彩色图像中确定目标彩色图像;
将目标彩色图像对应的待处理图像确定为目标待处理图像。
可选地,融合模块1704具体用于:
将目标待处理图像所在组的多帧待处理图像进行融合处理,获得融合图像;
对融合图像进行彩色图像处理,获得目标对象的高动态范围图像。
基于相同的技术构思,本申请实施例提供了一种人脸识别装置,如图18所示,该装置1800包括:
图像处理装置1700,用于获得目标人脸的高动态范围图像。
识别模块1801,用于采用高动态范围图像进行人脸识别,获得目标人脸的识别结果。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图19所示,包括至少一个处理器1901,以及与至少一个处理器连接的存储器1902,本申请实施例中不限定处理器1901与存储器1902之间的具体连接介质,图19中处理器1901和存储器1902之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器1902存储有可被至少一个处理器1901执行的指令,至少一个处理器1901通过执行存储器1902存储的指令,可以执行前述图像处理方法的步骤,或者人脸识别方法的步骤。
其中,处理器1901是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器1902内的指令以及调用存储在存储器1902内的数据,从而进行图像处理或人脸识别。可选的,处理器1901可包括一个或多个处理单元,处理器1901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1901中。在一些实施例中,处理器1901和存储器1902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1901可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器1902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当程序在计算机设备上运行时,使得计算机设备执行上述图像处理方法的步骤,或者上述人脸识别方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取目标对象的图像序列,所述图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像;
从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列;
对所述筛选图像序列中的每帧待处理图像进行彩色图像处理,获得每帧待处理图像对应的彩色图像;
基于每帧彩色图像的时间戳,从所述目标对象的深度图像和红外图像中,获取每帧彩色图像对应的深度图像和红外图像;
根据每帧彩色图像的质量分值以及每帧彩色图像对应的深度图像和红外图像的质量分值,从多帧彩色图像中确定目标彩色图像;
将所述目标彩色图像对应的待处理图像确定为目标待处理图像;
将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得所述目标对象的高动态范围图像。
2.如权利要求1所述的方法,其特征在于,所述每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像,包括:
每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,所述第一时间大于所述第二时间,所述第二时间大于所述第三时间。
3.如权利要求2所述的方法,其特征在于,所述从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列,包括:
从每组待处理图像中选取曝光时间为所述第二时间的待处理图像组成筛选图像序列。
4.如权利要求1至3任一所述的方法,其特征在于,所述将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得所述目标对象的高动态范围图像,包括:
将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得融合图像;
对所述融合图像进行彩色图像处理,获得所述目标对象的高动态范围图像。
5.一种人脸识别方法,其特征在于,包括:
采用权利要求1至4任一项所述的图像处理方法获得目标人脸的高动态范围图像;
根据所述高动态范围图像进行人脸识别,获得所述目标人脸的识别结果。
6.一种图像处理装置,其特征在于,包括:
图像采集模块,用于获取目标对象的图像序列,所述图像序列包括多组待处理图像,每组待处理图像中包括多帧在不同曝光时间下拍摄的待处理图像;
筛选模块,用于从每组待处理图像中选取曝光时间为目标曝光时间的待处理图像组成筛选图像序列;
匹配模块,用于对所述筛选图像序列中的每帧待处理图像进行彩色图像处理,获得每帧待处理图像对应的彩色图像;基于每帧彩色图像的时间戳,从所述目标对象的深度图像和红外图像中,获取每帧彩色图像对应的深度图像和红外图像;根据每帧彩色图像的质量分值以及每帧彩色图像对应的深度图像和红外图像的质量分值,从多帧彩色图像中确定目标彩色图像;将所述目标彩色图像对应的待处理图像确定为目标待处理图像;
融合模块,用于将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得所述目标对象的高动态范围图像。
7.如权利要求6所述的装置,其特征在于,每组待处理图像中包括三帧在不同曝光时间下拍摄的待处理图像,曝光时间分别为第一时间、第二时间以及第三时间,其中,所述第一时间大于所述第二时间,所述第二时间大于所述第三时间。
8.如权利要求7所述的装置,其特征在于,所述筛选模块具体用于:
从每组待处理图像中选取曝光时间为所述第二时间的待处理图像组成筛选图像序列。
9.如权利要求6至8任一所述的装置,其特征在于,所述融合模块具体用于:
将所述目标待处理图像所在组的多帧待处理图像进行融合处理,获得融合图像;
对所述融合图像进行彩色图像处理,获得所述目标对象的高动态范围图像。
10.一种人脸识别装置,其特征在于,包括:
权利要求6至9任一项所述的图像处理装置,用于获得目标人脸的高动态范围图像;
识别模块,用于采用所述高动态范围图像进行人脸识别,获得所述目标人脸的识别结果。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~4任一项权利要求所述方法的步骤,或者所述处理器执行所述程序时实现权利要求5所述方法的步骤。
12.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~4任一项所述方法的步骤,或者使得所述计算机设备执行权利要求5所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010802702.7A CN112818732B (zh) | 2020-08-11 | 2020-08-11 | 一种图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010802702.7A CN112818732B (zh) | 2020-08-11 | 2020-08-11 | 一种图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112818732A CN112818732A (zh) | 2021-05-18 |
CN112818732B true CN112818732B (zh) | 2023-12-12 |
Family
ID=75853108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010802702.7A Active CN112818732B (zh) | 2020-08-11 | 2020-08-11 | 一种图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112818732B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628259A (zh) * | 2021-06-09 | 2021-11-09 | 维沃移动通信(杭州)有限公司 | 图像的配准处理方法及装置 |
CN113657427B (zh) * | 2021-06-29 | 2024-01-23 | 东风汽车集团股份有限公司 | 一种车内多源图像融合识别方法及装置 |
CN116452475B (zh) * | 2022-01-10 | 2024-05-31 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
WO2023240651A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN114783041B (zh) * | 2022-06-23 | 2022-11-18 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
CN117097989B (zh) * | 2023-10-18 | 2024-01-02 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107566739A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108337447A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法、装置、设备及介质 |
CN109040603A (zh) * | 2018-10-15 | 2018-12-18 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法、装置及移动终端 |
CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
CN110072051A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
CN110177221A (zh) * | 2019-06-25 | 2019-08-27 | 维沃移动通信有限公司 | 高动态范围图像的拍摄方法及装置 |
CN110266954A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110278386A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2020038072A1 (zh) * | 2018-08-22 | 2020-02-27 | Oppo广东移动通信有限公司 | 曝光控制方法、装置和电子设备 |
WO2020078243A1 (zh) * | 2018-10-19 | 2020-04-23 | 阿里巴巴集团控股有限公司 | 一种图像处理和人脸图像识别方法、装置及设备 |
CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
CN111402135A (zh) * | 2020-03-17 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-08-11 CN CN202010802702.7A patent/CN112818732B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107566739A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108337447A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法、装置、设备及介质 |
WO2020038072A1 (zh) * | 2018-08-22 | 2020-02-27 | Oppo广东移动通信有限公司 | 曝光控制方法、装置和电子设备 |
CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
CN109040603A (zh) * | 2018-10-15 | 2018-12-18 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法、装置及移动终端 |
WO2020078243A1 (zh) * | 2018-10-19 | 2020-04-23 | 阿里巴巴集团控股有限公司 | 一种图像处理和人脸图像识别方法、装置及设备 |
CN110072051A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
CN110177221A (zh) * | 2019-06-25 | 2019-08-27 | 维沃移动通信有限公司 | 高动态范围图像的拍摄方法及装置 |
CN110278386A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110266954A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
CN111402135A (zh) * | 2020-03-17 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112818732A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818732B (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
US20230214976A1 (en) | Image fusion method and apparatus and training method and apparatus for image fusion model | |
EP3937481A1 (en) | Image display method and device | |
US20190362171A1 (en) | Living body detection method, electronic device and computer readable medium | |
CN113012081B (zh) | 图像处理方法、装置和电子系统 | |
CN111935479B (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
WO2021128593A1 (zh) | 人脸图像处理的方法、装置及系统 | |
CN114387548A (zh) | 视频及活体检测方法、系统、设备、存储介质及程序产品 | |
CN113191938B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
WO2023047162A1 (en) | Object sequence recognition method, network training method, apparatuses, device, and medium | |
CN104010134B (zh) | 用于形成具有宽动态范围的系统和方法 | |
CN112489144B (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
CN118134788B (zh) | 图像融合方法、装置、存储介质以及终端 | |
CN118470613A (zh) | 一种基于人工智能的视频图像变化检测方法 | |
CN117496019A (zh) | 一种驱动静态图像的图像动画处理方法及系统 | |
US12175645B2 (en) | Methods, systems and computer program products for generating high dynamic range image frames | |
CN114373195A (zh) | 光照场景自适应的手掌防伪方法、装置、设备和存储介质 | |
CN114565506B (zh) | 图像颜色迁移方法、装置、设备及存储介质 | |
CN118474552B (zh) | 模型训练方法、图像处理方法及电子设备 | |
CN116363017B (zh) | 图像处理方法及装置 | |
CN116668773B (zh) | 增强视频画质的方法与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40044524 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |