具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端和服务器均可单独用于执行本申请实施例中提供的图像数据处理方法。
例如,终端获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列。光照色度差序列包括对象图像序列中多组相邻图像分别对应的光照色度差,光照色度差是基于同一组相邻图像中各帧图像分别对应的光照色度之间的差异得到的,预期光照色度差序列是将对象图像序列中的各帧图像输入光照色度预期模型得到的。终端基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。终端基于预期光照色度差序列和光照色度差差异序列,得到对象图像序列对应的图像信噪比序列。图像信噪比序列用于对对象图像序列进行活体检测。
终端和服务器也可协同用于执行本申请实施例中提供的图像数据处理方法。
例如,终端向服务器发送图像数据处理请求,图像数据处理事情携带对象图像序列的序列标识。服务器基于序列标识获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列。光照色度差序列包括对象图像序列中多组相邻图像分别对应的光照色度差,光照色度差是基于同一组相邻图像中各帧图像分别对应的光照色度之间的差异得到的,预期光照色度差序列是将对象图像序列中的各帧图像输入光照色度预期模型得到的。服务器基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。服务器基于预期光照色度差序列和光照色度差差异序列,得到对象图像序列对应的图像信噪比序列。图像信噪比序列用于对对象图像序列进行活体检测。服务器可以将活体检测结果发送至终端,终端可以将活体检测结果进行展示。
在一个实施例中,如图2所示,提供了一种图像数据处理方法,以该方法应用于计算机设备为例进行说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。图像数据处理方法包括以下步骤:
步骤S202,获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列;光照色度差序列包括对象图像序列中多组相邻图像分别对应的光照色度差,光照色度差是基于同一组相邻图像中各帧图像分别对应的光照色度之间的差异得到的,预期光照色度差序列是将对象图像序列中的各帧图像输入光照色度预期模型得到的。
其中,对象图像序列是指用于进行活体检测任务的图像序列,图像序列中的各帧图像分别为各自对应的光线信息下获取的对象图像,不同对象图像对应的光线信息可以是相同的,也可以是不同的。对象图像序列中包括至少一帧白色光线信息下获取的对象图像,例如,当图像序列中的检测对象为人脸时,终端屏幕发出不同颜色的光线,终端获取不同光线下的人脸图像得到不同光线信息下的人脸图像,各帧人脸图像组成对象图像序列,对象图像序列中包括至少一帧白色光线下的对象图像。
光照色度是指能够表征一帧图像的色相信息的数值,光照色度是融合一帧图像中各个像素的色相值得到的,由于任何一种颜色都包含在色相环中,对应色相环中的某一个角度,这个角度就是色相值。真实光照色度序列是指由对象图像序列中各帧图像对应的光照色度组成的序列。真实光照色度差序列是指由对象图像序列中相邻图像对应的真实光照色度之间的差异组成的序列。
光照色度预期模型是指基于对象图像序列,预测当对象图像序列中的对象是活体时,不同光线信息下的各帧图像分别应该对应的光照色度的模型。光照色度预期模型的训练样本为多个活体分别在不同光线信息下的对象图像,各帧对象图像对应的真实光照色度和各个活体分别在白色光线下的对象图像,获取任意一个活体对应的任意一帧对象图像和活体对应的白色光线下的对像图像,将活体对应的对象图像和活体对应的白色光线下的对象图像输入光照色度预期模型,模型输出对应的预期光照色度,基于预期光照色度和这帧图像对应的真实光照色度之间的差异调整模型参数,返回获取任意一个活体对应的任意一帧对象图像和活体对应的白色光线下的对像图像的步骤执行,直至满足收敛条件,光照色度预期模型训练完成。光照色度预期模型的输入数据是对象图像序列中的任意一帧图像和一帧白色光线下的图像,模型的输出数据是这帧图像对应的预期光照色度,例如,当模型的输入数据是一帧绿色光线下的图像和一帧白色光线下的图像时,模型的输出是绿色光线下的图像对应的预期光照色度。预期光照色度是指当对象图像序列中的对象为活体时不同光线信息下的各帧图像分别应该对应的光照色度。预期光照色度差序列是指由对象图像序列中相邻图像对应的预期光照色度之间的差异组成的序列。
示例性地,计算机设备可以在本地或者从其他设备上获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列。基于真实光照色度差序列和预期光照色度差序列来确定对象图像序列中的对象是活体还是非活体。
步骤S204,基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。
其中,光照色度差差异序列是指由对象图像序列对应的真实光照色度差序列和预期光照色度差序列之间的差异组成的序列。
示例性地,计算机设备基于真实光照色度差序列和预期光照色度差序列,计算对象图像序列中各组相邻图像对应的真实光照色度差和预期光照色度差之间的差异得到各组相邻图像分别对应的光照色度差差异,将各个光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。
在一个实施例中,计算机设备计算相邻图像对应的真实光照色度差和预期光照色度差之间的差异作为相邻图像对应的光照色度差差异,将各组相邻图像分别对应的光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。
在一个实施例中,计算机设备基于光照色度差序列中相邻光照色度差计算面积,基于真实光照色度差和预期光照色度差分别对应的真实面积和预期面积,得到对象图像序列对应的光照色度差差异序列。
步骤S206,基于预期光照色度差序列和光照色度差差异序列,得到对象图像序列对应的图像信噪比序列;图像信噪比序列用于对对象图像序列进行活体检测。
其中,图像信噪比序列是指由预期光照色度序列和光照色度差差异序列定义的信噪比序列,可以表征对象图像序列对应的真实光照色度差序列和预期光照色度差序列之间的接近程度,图像信噪比序列中的各个图像信噪比越小,表示对象图像序列中的对象为活体的概率越大,图像信噪比序列中的各个图像信噪比越大,表示对象图像序列中的对象为活体的概率越小。活体检测是指检测对象图像序列中的对象是活体还是非活体,活体为真实的人或动物,非活体为包含人或动物的图片,例如,非活体可以是人脸照片、动物照片等。
示例性地,计算机设备基于对象图像序列对应的预期光照色度差序列和光照色度差差异序列,计算对象图像序列对应的图像信噪比序列。计算机设备基于图像信噪比序列来进行活体检测,判断对象图像序列中的对象为活体还是非活体,
在一个实施例中,计算机设备计算同一组相邻图像对应的预期光照色度差和光照色度差差异的比值,基于同一组相邻图像对应的预期光照色度差和光照色度差差异的比值得到这组相邻图像对应的图像信噪比。例如,将同一组相邻图像对应的预期光照色度差和光照色度差差异的比值的绝对值作为这组相邻图像对应的图像信噪比;计算同一组相邻图像对应的预期光照色度差和光照色度差差异的比值,对比值的绝对值取对数得到这组相邻图像对应的图像信噪比;等等。通过相同的方法计算其他各组相邻图像对应的图像信噪比,得到各组相邻图像对应的图像信噪比,将各组相邻图像对应的图像信噪比按照图像顺序排列,得到对象图像序列对应的图像信噪比序列。
在一个实施例中,计算机设备基于预期光照色度差序列中相邻预期光照色度差计算预期面积,得到预期面积序列。基于预期面积序列中的预期面积和光照色度差差异中对应的光照色度差差异之间的比值,得到对应的图像信噪比。例如,将预期面积序列中的预期面积和光照色度差差异中对应的光照色度差差异之间的比值作为这组相邻图像对应的图像信噪比;计算预期面积序列中的预期面积和光照色度差差异中对应的光照色度差差异之间的比值,对比值取对数得到对应的图像信噪比;等等。通过相同的方法计算其他各个预期面积分别和对应的光照色度差差异之间的比值得到其他的各个图像信噪比,将各个图像信噪比按照图像顺序排列,得到对象图像序列对应的图像信噪比序列。上述图像数据处理方法中,通过获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列,相邻图像对应的真实光照色度差可以反映对象图像序列中的对象在不同的光线下的光照色度差,相邻图像对应的预期光照色度差可以反映对象图像序列中的对象为活体时,相邻图像应该对应的光照色度差。基于对象图像序列中各组相邻图像分别对应的真实光照色度差和预期光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。预期光照色度差为当对象图像序列中的对象为活体时,对象图像序列应该对应的光照色度差序列,相当于信噪比公式中的原信号。真实光照色度差序列为对象图像序列实际上对应的光照色度差序列,由于对象图像序列中的对象可能为视频中的人脸、人脸照片、动物照片等非活体,而非活体在对光线的反射效果与预期的对象为活体时对光线的反射效果之间存在较大的差异,而当对象图像序列中的对象为活体时,活体实际对光线的反射效果与预期的对象为活体时对光线的反射效果之间的差异较小,因此可以用光照色度差差异序列来表征对象图像序列中的对象实际上对光线的反射效果和预期的活体对象对光线的反射效果之间的差异,相当于信噪比公式中的噪声。基于预期光照色度差和光照色度差差异序列得到图像信噪比序列。基于计算得到的图像信噪比序列对对象图像序列进行活体检测,可以有效提高活体检测的效率,同时能够保证活体检测的准确性。
在一个实施例中,如图3所示,基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列,包括:
步骤S302,基于对象图像序列中同一组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到各组相邻图像分别对应的光照色度差差异,组成光照色度差差异序列。
示例性地,计算机设备计算对象图像序列中同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差异作为这组相邻图像对应的光照色度差差异,例如,计算同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差值,将差值的绝对值作为光照色度差差异;计算同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差值,将差值的绝对值与预设值之和作为光照色度差差异;等等。用同样的方法计算其他各组相邻图像对应的光照色度差差异,将各组相邻图像对应的光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。
上述实施例中,计算机设备直接基于同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差值得到这组相邻图像对应的光照色度差差异,从而得到对象图像序列对应的光照色度差差异序列。基于差值定义的光照色度差差异序列可以直观地反映真实光照色度差序列和预设光照色度差序列之间的相似度,也就是对象图像序列中的对象实际上对光线的反射效果和预期的活体对象对光线的反射效果之间的相似度,从而能够保证图像信噪比的可靠性。同时,基于差值定义的光照色度差差异序列可以提高图像信噪比的计算效率,从而提高活体检测的检测效率。
在一个实施例中,如图4所示,基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列,包括:
步骤S402,基于真实光照色度差序列中相邻真实光照色度差计算真实面积,基于各个真实面积得到真实面积序列。
步骤S404,基于预期光照色度差序列中相邻预期光照色度差计算预期面积,基于各个预期面积得到预期面积序列。
步骤S406,基于真实面积序列和预期面积序列之间的差异,得到光照色度差差异序列。
其中,将各组相邻图像作为x轴,例如,当对象图像序列中有四帧图像,分别为A-B-C-D时,对象图像序列中的第一组相邻图像A-B对应的x轴坐标为1,第二组相邻图像B-C对应的x轴坐标为2,第三组相邻图像C-D对应的x轴坐标为3。将各组相邻图像对应的光照色度差作为y轴,真实光照色度差序列和预期光照色度差序列为坐标系中的两条折线。真实面积是将真实光照色度差序列对应的折线平移至x轴上方后得到的折线中的各条折线段分别与x轴围成的区域的面积。预期面积是指将预期光照色度差序列对应的折线平移至x轴上方后得到的折线中的各条折线段分别与x轴围成的区域的面积。例如,当平移后的相邻光照色度差分别为a和b时,这组相邻光照色度差对应的折线段与x轴围成的区域为一个直角梯形,这个直角梯形为由x=a、x=b、x轴和这组相邻光照色度差对应的折线段围成的区域。基于相邻的两组相邻图像对应的真实光照色度差计算得到一个真实面积,基于相邻的两组相邻图像对应的预期光照色度差计算得到一个预期面积。真实面积序列是指由各个真实面积组成的序列。预期面积序列是指由各个预期面积组成的序列。
示例性地,计算机设备基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,调整真实光照色度差序列和预期光照色度差序列,计算调整后的真实光照色度差序列中相邻真实光照色度差对应的折线段分别与x轴围成的区域的面积得到各个真实面积,将各个真实面积按照图像顺序排列,得到真实面积序列,计算调整后的预期光照色度差序列中相邻预期光照色度差对应的折线段分别与x轴围成的区域面积得到各个预期面积,将各个预期面积按照图像顺序排列,得到预期面积序列。基于真实面积序列和预期面积序列,计算同一组相邻光照色度差对应的真实面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的真实面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,将各个光照色度差差异按照图像顺序排序,得到对象图像序列对应的光照色度差差异序列。例如,将对象图像序列中同一组相邻光照色度差对应的真实面积和预期面积之间的差值的绝对值作为光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到光照色度差差异序列;计算对象图像序列中同一组相邻光照色度差对应的真实面积和预期面积之间的差值,将差值的绝对值与预设值之和作为光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到光照色度差差异序列;等等。
上述实施例中,计算机设备基于真实光照色度差序列和预期光照色度差序列确定真实面积序列和预期面积序列,基于真实面积序列和预期面积序列之间的差异,来计算对象图像序列对应的光照色度差差异序列。基于真实面积和预期面积之间的差异定义的光照色度差差异序列,相比于基于差值定义的光照色度差差异序列,从面积的角度直观地反映了真实光照色度差序列和预设光照色度差序列之间的相似度,也就是对象图像序列中的对象实际上对光线的反射效果和预期的活体对象对光线的反射效果之间的相似度。
在一个实施例中,如图5所示,基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列,包括:
步骤S502,基于相邻光照色度差对应的真实面积和预期面积计算重合面积,基于各个重合面积得到重合面积序列。
步骤S504,基于重合面积序列和预期面积序列之间的差异,得到光照色度差差异序列。
其中,重合面积是指相邻光照色度差对应的真实面积和预期面积分别在坐标系中对应的区域的重合部分的面积,表征相邻光照色度差对应的真实面积在坐标系中对应的区域和预期面积在坐标系中对应的区域之间的交并比,同一组相邻光照色度差对应的交并比与图像信噪比之间呈正相关。
示例性地,计算机设备获取对象图像序列中同一组相邻光照色度差对应的真实面积和预期面积,基于真实面积和预期面积分别在坐标系中对应的区域,得到相邻光照色度差对应的重合面积。用同样的方法计算其他各组相邻光照色度差对应的重合面积,将各组相邻光照色度差对应的重合面积按照图像顺序排列,得到重合面积序列。计算同一组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。例如,将对象图像序列中同一组相邻光照色度差对应的重合面积和预期面积之间的差值的绝对值作为光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到光照色度差差异序列;计算对象图像序列中同一组相邻光照色度差对应的重合面积和预期面积之间的差值,将差值的绝对值与预设值之和作为光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到光照色度差差异序列;等等。
在一个实施例中,计算机设备可以获取对象图像序列同一组相邻光照色度差对应的真实面积和预期面积分别在坐标系中对应区域的顶点坐标,基于真实面积和预期面积对应的顶点坐标,计算重合面积。
上述实施例中,计算机设备基于对象图像序列中各组相邻光照色度差分别对应的真实面积和预期面积,确定各组相邻光照色度差对应的重合面积。基于各组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到光照色度差差异序列。基于重合面积和预期面积之间的差异定义的光照速度差差异序列,相比于基于真实面积和预期面积之间的差异定义的光照色度差差异序列,能够适用于光照色度差变化幅度相近或一致,变化方向相反的情况。例如,当真实光照色度差序列为{0.2,0.4,0.5},预期光照色度差序列为{0.4,0.2,0.5}时,第一组相邻真实光照色度差{0.2,0.4}和第一组相邻预期光照色度差{0.4,0.2}对应的变化幅度均为0.2,但变化方向相反,基于第一组相邻真实光照色度差和第一组相邻预期光照色度差计算得到的真实面积和预期面积是相同的,进而真实面积和预期面积之间的差异为0,对应的光照色度差差异为0,但实际上第一组相邻真实光照色度差和第一组相邻预期光照色度差中光照色度差的变化方向是不一样的,实际上对应的光照色度差差异很大。而使用重合度定义光照色度差差异序列时,重合面积和预期面积之间仍存在一定的差异,可以适用于光照色度差变化幅度相近或一致,变化方向相反的情况。相比于基于真实面积序列和预期面积序列之间的差异定义的光照色度差差异,基于重合面积序列和预期面积序列之间的差异定义光照色度差差异能够更加有效地保证图像信噪比的可靠性,同时能够从重合度的角度直观地反映真实光照色度差序列和预设光照色度差序列之间的相似度,也就是对象图像序列中的对象实际上对光线的反射效果和预期的活体对象对光线的反射效果之间的相似度。
在一个实施例中,当前光照色度差序列为真实光照色度差序列或预期光照色度差序列,当前面积为真实面积或预期面积,基于当前光照色度差序列中相邻当前光照色度差计算当前面积,包括:
基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,得到平移距离;基于平移距离调整当前光照色度差序列,得到更新光照色度差序列;基于更新光照色度差序列中相邻光照色度差计算当前面积。
其中,当前光照色度差序列是指当前处理的光照色度差序列,当前光照色度差序列为真实光照色度差序列或预期光照色度差序列。若当前光照色度差序列为真实光照色度差序列,则当前面积为真实面积。若当前光照色度差序列为预期光照色度差序列,则当前面积为预期面积。
平移距离是指将当前光照色度差序列在坐标系中对应的折线向y轴正方向平移的距离。更新光照色度差序列是指基于平移距离将当前光照色度差序列在坐标系中对应的折线向y轴正方向平移后,得到的折线段对应的光照色度差序列。
示例性地,计算机设备获取真实光照色度差序列和预期光照色度差序列中的最小光照色度差,基于最小光照色度差得到平移距离。例如,当最小光照色度差为负值时,将最小光照色度差的绝对值作为平移距离,当最小光照色度差为非负值时,将平移距离设置为0;将最小光照色度差的绝对值作为平移距离;等等。基于平移距离,调整当前光照色度差序列,得到更新光照色度差序列。例如,计算当前光照色度差序列中的各个当前光照色度差分别与平移距离之和,得到各个当前光照色度差分别对应的更新光照色度差,将各个更新光照色度差按照图像顺序排列,得到更新光照色度差序列;计算当前光照色度差中的各个当前光照色度差分别与平移距离之和,再计算当前光照色度差与平移距离之和与预设倍数的乘积,得到各个当前光照色度差分别对应的更新光照色度差,将各个更新光照色度差按照图像顺序排列,得到更新光照色度差序列;等等。计算机设备基于更新光照色度差序列,计算更新光照色度差序列中各个相邻光照色度差对应的折线段分别与x轴围成的区域的面积得到各个当前面积。例如,当更新光照色度差序列为{0.2,0.4,0.5}时,更新光照色度差序列中存在两组相邻当前光照色度差,更新光照色度差序列对应的折线中包含两条折线段,也就是对应的当前面积序列中包括两个当前面积,当前面积序列为{0.3,0.45}。
上述实施例中,基于最小光照色度差将当前光照色度差序列向y轴正方向平移,使得当前光照色度差序列在坐标系中对应的折线始终在x轴上方,对于折线中的每一条折线段与x轴围成的区域,都可以使用梯形面积公式计算。若当前光照色度差序列在坐标系中对应的折线中存在一条折线段穿过x轴,这条折线段与x轴围成的区域则不能使用梯形面积公式计算,对于这类折线段与x轴围成的区域的面积,需要使用其他方法进行计算,这样增加了计算当前面积的复杂度。因此,基于平移距离,调整当前光照色度差序列,得到更新光照色度差序列,基于更新光照色度差序列计算当前面积,可以提高计算当前面积的效率,进而提高活体检测的效率。
在一个实施例中,图像数据处理方法还包括:
将对象图像序列输入光照色度预期模型,光照色度预期模型输出对象图像序列中各帧图像分别对应的预期光照色度;基于各帧图像分别对应的预期光照色度,得到对象图像序列对应的预期光照色度差序列。
示例性地,将对象图像序列中任意一帧图像和一帧白色光线下的图像输入光照色度预期模型,光照色度预期模型提取图像对应的光线信息和图像中对象的特征信息,基于光线信息和对象特征信息,得到图像中的对象为活体时,在对应的光线信息下的预期光照色度。通过相同的方法,得到对象图像序列中其他各帧图像分别在对应的光线信息下预期光照色度,将各帧图像分别对应的预期光照色度按照图像顺序排列,得到预期光照色度序列。计算相邻图像对应的预期光照色度之间的差异,得到相邻图像对应的预期光照色度差,将各个预期光照色度差按照图像顺序排列,得到对象图像序列对应的预期光照色度差序列。例如,计算相邻图像对应的预期光照色度之间的差值,作为相邻两帧图像对应的预期光照色度差;计算相邻图像对应的预期光照色度之间的差值,将差值与预设值的乘积作为预期光照色度差;等等。
上述实施例中,将对象图像序列输入光照色度预期模型,得到对象图像序列对应的预期光照色度序列,再基于各帧图像对应的预期光照色度,得到对象图像序列对应的预期光照色度差序列。光照色度预期模型基于各帧图像分别对应的光线信息和图像中对象的特征信息,得到各帧图像分别对应的预期光照色度,可以保证预测光照色度序列的可靠性,从而保证活体检测的准确性。
在一个实施例中,图像数据处理方法还包括:
对图像信噪比序列中的各个图像信噪比进行统计,得到图像信噪比统计值;当图像信噪比统计值小于预设阈值,则确定对象图像序列对应的活体检测结果为无活体;当图像信噪比统计值大于或等于预设阈值,则确定对象图像序列对应的活体检测结果为有活体。
其中,图像信噪比统计值是指对象图像序列对应的信噪比,可以表征对象图像序列中的对象为活体的概率,图像信噪比统计值与对象图像序列中的对象为活体的概率呈正相关。预设阈值可以根据实际需要进行设置。
示例性地,计算机设备统计图像信噪比序列中的各个图像信噪比得到图像信噪比统计值。例如,将各个图像信噪比的平均值作为图像信噪比统计值;将各个图像信噪比的加权平均值作为图像信噪比统计值;等等。将图像信噪比统计值与预设阈值对比,当图像信噪比统计值小于预设阈值,则确定对象图像序列对应的活体检测结果为无活体,当图像信噪比统计值大于或等于预设阈值,则确定对象图像序列对应的活体检测结果为有活体。上述实施例中,计算机设备统计图像信噪比序列中的各个图像信噪比得到图像信噪比统计值。图像信噪比统计值能够直观地反映对象图像序列对应的真实光照色度序列和预期光照色度序列之间的相似度,也就是对象图像序列中的对象为活体的概率。直接将图像信噪比统计值与预设阈值进行对比,得到活体检测结果,可以有效提高活体检测的效率,并且能够保证活体检测的准确性。
在一个实施例中,计算机设备获取对象图像序列,将对象图像序列输入活体检测系统。活体检测系统融合对象图像序列中同一帧图像中的各个像素对应的色相值,得到图像对应的真实光照色度,用同样的方法计算其他各帧图像对应的真实光照色度,将各个真实光照色度按照图像顺序排列,得到对象图像序列对应的真实光照色度序列。计算对象图像序列中各组相邻图像分别对应的真实光照色度差,将各个真实光照色度差按照图像顺序排列,得到真实光照色度差序列。活体检测系统将对象图像序列中的各帧图像分别和一帧白色光线下的图像输入光照色度预期模型,得到各帧图像对应的预期光照色度,将各帧图像对应的预期光照色度按照图像顺序排列,得到预期光照色度序列。计算对象图像序列中各组相邻图像分别对应的预期光照色度差,将各个预期光照色度差按照图像顺序排列,得到预期光照色度差序列。基于真实光照色度差序列和预期光照色度差序列,活体检测系统可以通过以下三种方案计算图像信噪比序列。
方案一:计算对象图像序列中同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差异作为这组相邻图像对应的光照色度差差异,用同样的方法计算其他各组相邻图像对应的光照色度差差异,将各组相邻图像对应的光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。计算同一组相邻图像对应的预期光照色度差和光照色度差差异的比值,基于同一组相邻图像对应的预期光照色度差和光照色度差差异的比值得到这组相邻图像对应的图像信噪比。通过相同的方法计算其他各组相邻图像对应的图像信噪比,得到各组相邻图像对应的图像信噪比,将各组相邻图像对应的图像信噪比按照图像顺序排列,得到对象图像序列对应的图像信噪比序列。
方案二:基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,调整真实光照色度差序列和预期光照色度差序列,计算调整后的真实光照色度差序列中相邻真实光照色度差对应的折线段分别与x轴围成的区域的面积得到各个真实面积,从而得到真实面积序列,计算调整后的预期光照色度差序列中相邻预期光照色度差对应的折线段分别与x轴围成的区域面积得到各个预期面积,从而得到预期面积序列。基于真实面积序列和预期面积序列,计算同一组相邻光照色度差对应的真实面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的真实面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,从而得到对象图像序列对应的光照色度差差异序列。计算同一组相邻光照色度差对应的预期面积和光照色度差差异之间的比值,得到这组相邻光照色度差对应的图像信噪比。通过相同的方法计算其他各组相邻光照色度差分别对应的图像信噪比,将各个图像信噪比按照图像顺序排列,得到对象图像序列对应的图像信噪比序列。
方案三:基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,调整真实光照色度差序列和预期光照色度差序列,计算调整后的真实光照色度差序列中相邻真实光照色度差对应的折线段分别与x轴围成的区域的面积得到各个真实面积,将各个真实面积按照图像顺序排列,得到真实面积序列,计算调整后的预期光照色度差序列中相邻预期光照色度差对应的折线段分别与x轴围成的区域面积得到各个预期面积,将各个预期面积按照图像顺序排列,得到预期面积序列。获取对象图像序列同一组相邻光照色度差对应的真实面积和预期面积,基于真实面积和预期面积分别在坐标系中对应的区域,得到相邻光照色度差对应的重合面积。用同样的方法计算其他各组相邻光照色度差对应的重合面积,将各组相邻光照色度差对应的重合面积按照图像顺序排列,得到重合面积序列。计算同一组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到对象图像序列对应的光照色度差差异序列。计算同一组相邻光照色度差对应的预期面积和光照色度差差异之间的比值,得到这组相邻光照色度差对应的图像信噪比。通过相同的方法计算其他各组相邻光照色度差分别对应的图像信噪比,将各个图像信噪比按照图像顺序排列,得到对象图像序列对应的图像信噪比序列。
统计图像信噪比序列中的各个图像信噪比得到图像信噪比统计值。将图像信噪比统计值与预设阈值对比得到活体检测结果,当图像信噪比统计值小于预设阈值,则确定对象图像序列对应的活体检测结果为无活体,当图像信噪比统计值大于或等于预设阈值,则确定对象图像序列对应的活体检测结果为有活体,最终活体检测系统输出对象图像序列对应的活体检测结果。
在一个具体的实施例中,图像数据处理方法可以用于人脸识别中的活体检测。
图像数据处理方法包括以下步骤:
1、获取真实光照色度差序列和预期光照色度差序列
计算机设备获取人脸图像序列,确定人脸图像序列中各帧图像分别对应的真实光照色度,将各帧图像分别对应的真实光照色度按照图像顺序排列,得到真实光照色度序列。将人脸图像序列输入光照色度预期模型,得到各帧图像分别对应的预期光照色度,将各帧图像分别对应的预期光照色度按照图像顺序排列,得到预期光照色度序列。计算人脸图像序列中各组相邻图像分别对应的真实光照色度差,将各个真实光照色度差按照图像顺序排列,得到真实光照色度差序列。计算人脸图像序列中各组相邻图像分别对应的预期光照色度差,将各个预期光照色度差按照图像顺序排列,得到预期光照色度差序列。
2、确定光照色度差差异序列
方案一:计算人脸图像序列中同一组相邻图像对应的真实光照色度差和预期光照色度差之间的差异作为这组相邻图像对应的光照色度差差异,用同样的方法计算其他各组相邻图像对应的光照色度差差异,将各组相邻图像对应的光照色度差差异按照图像顺序排列,得到人脸图像序列对应的光照色度差差异序列。
方案二:基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,调整真实光照色度差序列和预期光照色度差序列,计算调整后的真实光照色度差序列中相邻真实光照色度差对应的折线段分别与x轴围成的区域的面积得到各个真实面积,将各个真实面积按照图像顺序排列,得到真实面积序列,计算调整后的预期光照色度差序列中相邻预期光照色度差对应的折线段分别与x轴围成的区域面积得到各个预期面积,将各个预期面积按照图像顺序排列,得到预期面积序列。基于真实面积序列和预期面积序列,计算同一组相邻光照色度差对应的真实面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的真实面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到人脸图像序列对应的光照色度差差异序列。
方案三:基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,调整真实光照色度差序列和预期光照色度差序列,计算调整后的真实光照色度差序列中相邻真实光照色度差对应的折线段分别与x轴围成的区域的面积得到各个真实面积,将各个真实面积按照图像顺序排列,得到真实面积序列,计算调整后的预期光照色度差序列中相邻预期光照色度差对应的折线段分别与x轴围成的区域面积得到各个预期面积,将各个预期面积按照图像顺序排列,得到预期面积序列。获取人脸图像序列同一组相邻光照色度差对应的真实面积和预期面积,基于真实面积和预期面积分别在坐标系中对应的区域,得到相邻光照色度差对应的重合面积。用同样的方法计算其他各组相邻光照色度差对应的重合面积,将各组相邻光照色度差对应的重合面积按照图像顺序排列,得到重合面积序列。计算同一组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到这一组相邻光照色度差对应的光照色度差差异,通过相同的方法计算其他各组相邻光照色度差分别对应的重合面积和预期面积之间的差异,得到其他各组相邻光照色度差分别对应的光照色度差差异,将各组相邻光照色度差对应的光照色度差差异按照图像顺序排列,得到人脸图像序列对应的光照色度差差异序列。
3、计算图像信噪比
对于步骤2中的方案一,计算同一组相邻图像对应的预期光照色度差和光照色度差差异的比值,对比值取对数得到这组相邻图像对应的图像信噪比。通过相同的方法计算其他各组相邻图像对应的图像信噪比,得到各组相邻图像对应的图像信噪比,将各组相邻图像对应的图像信噪比按照图像顺序排列,得到人脸图像序列对应的图像信噪比序列。
对于步骤2中的方案二和方案三,计算同一组相邻光照色度差对应的预期面积和光照色度差差异之间的比值,对比值取对数得到这组相邻光照色度差对应的图像信噪比。通过相同的方法计算其他各组相邻光照色度差分别对应的图像信噪比,将各个图像信噪比按照图像顺序排列,得到人脸图像序列对应的图像信噪比序列。
计算图像信噪比序列中各个图像信噪比的均值,得到人脸图像序列对应的图像信噪比统计值。图像信噪比统计值可以反映真实光照色度差序列和预期光照色度差序列的相似程度。将图像信噪比统计值与预设阈值对比,当图像信噪比统计值大于等于预设阈值时,则确定活体检测结果为有真人人脸,当图像信噪比统计值小于预设阈值时,则确定活体检测结果为无真人人脸。例如,当预设阈值设置0.9时,如图6所示,人脸图像序列对应的真实光照色度差序列为{0.84,0.28,0.80},对应的预期光照色度差序列为{0.77,0.35,0.82},基于真实光照色度差序列和预期光照色度差序列计算得到人脸图像序列对应的图像信噪比(图像信噪比统计值)为10.51,此时则认为人脸图像序列为真人(活体)样本对应的人脸图像序列,活体检测结果为有真人人脸;如图7所示,人脸图像序列对应的真实光照色度差序列为{0.16,0.32,0.89},对应的预期光照色度差序列为{0.21,0.72,0.62},基于真实光照色度差序列和预期光照色度差序列计算得到人脸图像序列对应的图像信噪比为4.95,此时则认为人脸图像序列为攻击(非活体)样本对应的人脸图像序列,活体检测结果为无真人人脸。
上述实施例中,计算机设备获取人脸图像序列,确定人脸图像序列对应的真实光照色度差序列。光照色度预期模型基于各帧图像分别对应的光线信息和图像中人脸的特征信息,得到各帧图像分别对应的预期光照色度,可以保证预测光照色度序列的可靠性,从而保证活体检测的准确性。基于人脸图像序列中各组相邻图像分别对应的真实光照色度差和预期光照色度差之间的差异,得到人脸图像序列对应的光照色度差差异序列。基于预期光照色度差和光照色度差差异序列得到图像信噪比序列,能够有效地保证图像信噪比的可靠性,同时能够直观地反映真实光照色度差序列和预设光照色度差序列之间的相似度。基于图像信噪比序列中各个图像信噪比的均值,得到人脸图像序列对应的图像信噪比统计值,图像信噪比统计值能够直观地反映人脸图像序列对应的真实光照色度序列和预期光照色度序列之间的相似度,也就是人脸图像序列中的人脸为真人人脸的概率。直接将计算得到的图像信噪比统计值与预设阈值对比,得到活体检测结果,可以有效提高活体检测的效率,并且能够保证活体检测的准确性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像数据处理方法的图像数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像数据处理装置实施例中的具体限定可以参见上文中对于图像数据处理方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种图像数据处理装置,包括:光照色度差获取模块802、光照色度差差异确定模块808和图像信噪比序列确定模块806,其中:
光照色度差获取模块802,用于获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列;光照色度差序列包括对象图像序列中多组相邻图像分别对应的光照色度差,光照色度差是基于同一组相邻图像中各帧图像分别对应的光照色度之间的差异得到的,预期光照色度差序列是将对象图像序列中的各帧图像输入光照色度预期模型得到的。
光照色度差差异确定模块804,用于基于对象图像序列中各组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。
图像信噪比序列确定模块806,用于基于预期光照色度差序列和光照色度差差异序列,得到对象图像序列对应的图像信噪比序列;图像信噪比序列用于对对象图像序列进行活体检测。
上述图像数据处理装置,通过获取对象图像序列对应的真实光照色度差序列和预期光照色度差序列,相邻图像对应的真实光照色度差可以反映对象图像序列中的对象在不同的光线下的光照色度差,相邻图像对应的预期光照色度差可以反映对象图像序列中的对象为活体时,相邻图像应该对应的光照色度差。基于对象图像序列中各组相邻图像分别对应的真实光照色度差和预期光照色度差之间的差异,得到对象图像序列对应的光照色度差差异序列。预期光照色度差为当对象图像序列中的对象为活体时,对象图像序列应该对应的光照色度差序列,相当于信噪比公式中的原信号。真实光照色度差序列为对象图像序列实际上对应的光照色度差序列,由于对象图像序列中的对象可能为视频中的人脸、人脸照片、动物照片等非活体,而非活体在对光线的反射效果与预期的对象为活体时对光线的反射效果之间存在较大的差异,而当对象图像序列中的对象为活体时,活体实际对光线的反射效果与预期的对象为活体时对光线的反射效果之间的差异较小,因此可以用光照色度差差异序列来表征对象图像序列中的对象实际上对光线的反射效果和预期的活体对象对光线的反射效果之间的差异,相当于信噪比公式中的噪声。基于预期光照色度差和光照色度差差异序列得到图像信噪比序列。基于计算得到的图像信噪比序列对对象图像序列进行活体检测,可以有效提高活体检测的效率,同时能够保证活体检测的准确性。
在一个实施例中,光照色度差差异确定模块804还用于:
基于对象图像序列中同一组相邻图像在真实光照色度差序列和预期光照色度差序列中对应的光照色度差之间的差异,得到各组相邻图像分别对应的光照色度差差异,组成光照色度差差异序列。
在一个实施例中,光照色度差差异确定模块804还用于:
基于真实光照色度差序列中相邻真实光照色度差计算真实面积,基于各个真实面积得到真实面积序列;基于预期光照色度差序列中相邻预期光照色度差计算预期面积,基于各个预期面积得到预期面积序列;基于真实面积序列和预期面积序列之间的差异,得到光照色度差差异序列。
在一个实施例中,光照色度差差异确定模块804还用于:
基于相邻光照色度差对应的真实面积和预期面积计算重合面积,基于各个重合面积得到重合面积序列;基于重合面积序列和预期面积序列之间的差异,得到光照色度差差异序列。
在一个实施例中,光照色度差差异确定模块804还用于:
基于真实光照色度差序列和预期光照色度差序列中的最小光照色度差,得到平移距离;基于平移距离调整当前光照色度差序列,得到更新光照色度差序列;基于更新光照色度差序列中相邻光照色度差计算当前面积。
在一个实施例中,如图9所示,图像数据处理装置还包括:
预期光照色度确定模块902,用于将对象图像序列输入光照色度预期模型,光照色度预期模型输出对象图像序列中各帧图像分别对应的预期光照色度;基于各帧图像分别对应的预期光照色度,得到对象图像序列对应的预期光照色度差序列。
活体检测结果确定模块904,用于对图像信噪比序列中的各个图像信噪比进行统计,得到图像信噪比统计值;当图像信噪比统计值小于预设阈值,则确定对象图像序列对应的活体检测结果为无活体;当图像信噪比统计值大于或等于预设阈值,则确定对象图像序列对应的活体检测结果为有活体。
上述图像数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储对象图像序列、真实光照色度差序列、预期光照色度差序列、光照色度差差异序列和图像信噪比序列等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10、11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。