CN114821730A - 人脸识别方法、装置、设备及计算机可读存储介质 - Google Patents
人脸识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114821730A CN114821730A CN202210506615.6A CN202210506615A CN114821730A CN 114821730 A CN114821730 A CN 114821730A CN 202210506615 A CN202210506615 A CN 202210506615A CN 114821730 A CN114821730 A CN 114821730A
- Authority
- CN
- China
- Prior art keywords
- sample
- visible light
- infrared
- loss function
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸识别方法、装置、设备及计算机可读存储介质,人脸识别方法包括:确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。本发明提高了跨光谱人脸识别的准确性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种人脸识别方法、装置、设备及计算机可读存储介质。
背景技术
目前在进行人脸识别时,一般是将近红外光谱图像通过图像生成迁移到可见光域,直接用现有可见光域成熟的人脸识别模型进行识别,但是由于人脸识别使用的人脸识别模型比较初级,无法保证近红外图在生成可见光图时身份信息能较好的保存下来,生成人脸的保真度较差,从而导致跨光谱人脸识别的准确性也会较低。
发明内容
本发明的主要目的在于提供一种人脸识别方法、装置、设备及计算机可读存储介质,旨在解决如何提高跨光谱人脸识别的准确性的技术问题。
为实现上述目的,本发明提供一种人脸识别方法,包括以下步骤:
确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,包括:
对所述可见光样本进行可见光编码和可见光解码,得到第一伪可见光样本,确定所述可见光样本和所述第一伪可见光样本之间的可见光重建损失函数;
对所述近红外样本进行近红外编码和近红外解码,得到第一伪近红外样本,确定所述近红外样本和所述第一伪近红外样本之间的近红外重建损失函数;
将所述可见光重建损失函数和所述近红外重建损失函数之间的和值作为图像转换生成模型的重建损失函数。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第一生成对抗损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第二生成对抗损失函数;
将所述第一生成对抗损失函数和所述第二生成对抗损失函数之间的和值作为图像转换生成模型的生成对抗损失函数。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码,得到可见光编码特征;
对所述近红外样本进行近红外编码,得到近红外编码特征;
根据所述可见光编码特征和所述近红外编码特征确定图像转换生成模型的域对抗损失函数。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,并根据所述可见光样本的可见光编码特征和所述第二伪近红外样本确定可见光样本到近红外样本的第一语义一致性损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,并根据所述近红外样本的近红外编码特征和所述第二伪可见光样本确定近红外样本到可见光样本的第二语义一致性损失函数;
将所述第一语义一致性损失函数和所述第二语义一致性损失函数之间的和值作为图像转换生成模型中的语义一致性损失函数。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码,得到可见光编码特征,并根据预设的特征编码教师网络对所述可见光样本进行训练,得到可见光训练特征,根据所述可见光编码特征和所述可见光训练特征确定可见光教师网络损失函数;
对所述近红外样本进行近红外编码,得到近红外编码特征,并根据预设的特征编码教师网络对所述近红外样本进行训练,得到近红外训练特征,根据所述近红外编码特征和所述近红外训练特征确定近红外教师网络损失函数;
将所述可见光教师网络损失函数和所述近红外教师网络损失函数之间的和值作为图像转换生成模型的教师网络损失函数。
可选地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述近红外样本进行近红外编码和可见光编码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第一像素一致性损失函数;
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第二像素一致性损失函数;
将所述第一像素一致性损失函数和所述第二像素一致性损失函数之间的和值作为图像转换生成模型中的像素一致性损失函数。
此外,为实现上述目的,本发明还提供一种人脸识别装置,包括:
模型训练模块,用于确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
所述模型训练模块,还用于获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
所述模型训练模块,还用于根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
人脸识别模块,用于将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
此外,为实现上述目的,本发明还提供一种人脸识别设备,人脸识别设备包括存储器、处理器及存储在存储器上并可在处理器上运行的人脸识别程序,人脸识别程序被处理器执行时实现如上述的人脸识别方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有人脸识别程序,人脸识别程序被处理器执行时实现如上述的人脸识别方法的步骤。
本发明通过根据可见光样本和近红外样本进行模型训练,得到图像转换生成模型,再根据图像转换生成模型确定目标可见光样本对应的目标近似红外光样本,从而可以实现根据公开的多个目标可见光样本获取到大量的目标近似红外光样本。并且会根据目标可见光样本和目标近似红外光样本进行成对数据混合增强,得到目标样本集,从而减少了可见光光谱和近红外光谱之间的差异性。再根据目标样本集对人脸识别网络进行模型训练,得到人脸识别模型,从而可以使得训练得到的人脸识别模型能进行跨光谱识别。而且由于图像转换生成模型是由信息丰富的光谱迁移到信息较少的光谱,因此在后续使用人脸识别模型对待识别的近红外图像进行人脸识别时,也会提高人脸识别结果的保真度,提高了近红外与可见光跨光谱人脸识别的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图;
图2为本发明人脸识别方法第一实施例的流程示意图;
图3为本发明人脸识别装置的装置模块示意图;
图4为本发明人脸识别方法中图像转换生成模型的网络架构示意图;
图5为本发明人脸识别方法中图像转换生成模型的重建损失函数的计算流程示意图;
图6为本发明人脸识别方法中图像转换生成模型的生成对抗损失函数的计算流程示意图;
图7为本发明人脸识别方法中图像转换生成模型的域对抗损失函数的计算流程示意图;
图8为本发明人脸识别方法中图像转换生成模型的语义一致性损失函数的计算流程示意图;
图9为本发明人脸识别方法中图像转换生成模型的教师网络损失函数的计算流程示意图;
图10为本发明人脸识别方法中图像转换生成模型的像素一致性损失函数的计算流程示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为人脸识别设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在终端设备移动到耳边时,关闭显示屏和/或背光。当然,终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸识别程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的人脸识别程序,并执行以下操作:
参照图2,本发明提供一种人脸识别方法,在人脸识别方法的第一实施例中,人脸识别方法包括以下步骤:
步骤S10,确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
由于目前的近红外-可见跨光谱人脸识别的方式会导致近红外与可见光跨模态人脸识别准确度低。因此在本实施例中,可以通过可见光和近红外相机获取配对的双光谱人脸图像并进行必要的预处理;然后将配对的双光谱人脸图像输入到基于XGAN改进的对抗生成网络中进行训练,得到能够通过可见光图生成相似近红外图的生成模型;使用上述生成模型对大量的可见光人脸数据集进行光谱转换,得到同样大小的近红外人脸数据集;最后混合可见光人脸数据集和生成的近红外人脸数据集,对成对的数据进行身份不变的数据混合增广以增加两域中间的样本,一起送到人脸识别网络中进行训练,最终得到可以跨光谱的人脸识别模型。再通过可以跨光谱的人脸识别模型进行人脸识别。其中,近红外可以是近红外光。
并且在本实施例中,需要先确定预训练集中的可见光样本和近红外样本,具体地,可以使用可见光相机和红外相机同时同位置采集配对的不同光谱人脸图像多张,如各10万张,并用MTCNN(Multi-task Cascaded Convolutional Networks,多任务卷积神经网络)人脸检测和人脸对齐模块进行预处理,裁剪出128×128的人脸图像。将裁剪的人脸图像作为预训练集,且将经可见光相机采集、裁剪后的人脸图像作为可见光样本。将经红外相机采集、裁剪后的人脸图像作为近红外样本。
并在确定可见光样本和近红外样本后,就可以将其输入至预设的XGAN中进行模型训练,得到图像转换生成模型。其中,图像转换生成模型的网络架构如图4所示,其中,A表示可见光域,B表示近红外域,包含可见光域的编码器EncA,可见光域的解码器DecA,近红外域的编码器EncB,近红外域的解码器DecB,可见光域图像判别器DA,近红外域图像判别器DB,隐空间特征判别器DF,特征编码教师网络Teach。与XGAN一致的,EncA以及EncB包含6个卷积模块,DecA以及DecB包含6个逆卷积模块,DA和DB包含6个卷积模块,DF由梯度翻转层和4个全连接层的分类器组成。xA表示可见光域的样本(即可见光样本),xB表示近红外域的样本(即近红外样本)。xAB=DecB(EncA(xA))表示xA经EncA、DecB生成的伪近红外域样本。xBA=DecA(EncB(xB))表示xB经EncB、DecA生成的伪可见光域样本。其中,特征编码教师网络Teach的基础结构式ResNet50,删除其全局池化层之后的卷积层,并对全局池化之后的特征做L2归一化。Teach网络在大型可见光人脸数据集如glint360k上以ArcFace预训练得到,并且冻结其参数。
并且在进行图像转换生成模型的训练时,可以设置迭代次数为50万次,初始学习率设置为0.0002,采用Adam优化器,batch-size(批量抓取)为N=1,表示一对输入图像。并且针对各个判别器的训练可以是固定编码器和解码器的参数不变,输入一对数据使用生成对抗损失函数Lgan和域对抗损失函数Ldann对3个判别器进行训练。生成器的训练可以是固定判别器的参数不变,输入一对数据使用总损失函数进行训练,交替训练判别器和生成器直到收敛。
步骤S20,获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
当图像转换生成模型训练完成后,需要获取目标可见光样本,可以在如glint360k数据集上以ArcFace预训练得到目标可见光样本,并将目标可见光样本输入到图像转换生成模型中进行模型训练,得到目标可见光样本对应的目标近红外样本。并且由于图像转换生成模型的生成方向是从可见光域到近红外域,且可见光域的信息更丰富,因此也提高了保真度。并且能根据公开的可见光图像生成大量的近红外图像。
步骤S30,根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
在确定目标可见光样本和目标近红外样本后,对目标可见光样本和目标近红外样本进行样本合并,得到合并后的样本集,其中样本合并可以是按照相同身份进行合并,即同一身份不同光谱也标注为同一类。然后对合并后的样本集进行成对数据混合增强,即确定合并后的样本集中成对的数据,如成对的目标可见光样本和目标近红外样本。然后进行混合增强,如设置成对的目标可见光样本和目标近红外样本分别为xA和xAB,以0到1之间的随机比例λ对数据进行混合x=λxA+(1-λ)xB,身份标签不变。并将经过混合增强的合并后的样本集作为目标样本集。再根据目标样本集对提前设置的人脸识别网络(由ResNet50和ArcFace组成)中进行模型训练,得到训练好的人脸识别模型。
步骤S40,将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
当训练得到训练好的人脸识别模型后,可以将待识别的近红外人脸图像(可以为用户提前输入的近红外人脸图像)输入到人脸识别模型中进行跨光谱人脸识别,以确定待识别的近红外人脸图像对应的可见光人脸图像,根据该可见光人脸图像完成人脸识别,并输出相应的人脸识别结果。
在本实施例中,通过根据可见光样本和近红外样本进行模型训练,得到图像转换生成模型,再根据图像转换生成模型确定目标可见光样本对应的目标近似红外光样本,从而可以实现根据公开的多个目标可见光样本获取到大量的目标近似红外光样本。并且会根据目标可见光样本和目标近似红外光样本进行成对数据混合增强,得到目标样本集,从而减少了可见光光谱和近红外光谱之间的差异性。再根据目标样本集对人脸识别网络进行模型训练,得到人脸识别模型,从而可以使得训练得到的人脸识别模型能进行跨光谱识别。而且由于图像转换生成模型是由信息丰富的光谱迁移到信息较少的光谱,因此在后续使用人脸识别模型对待识别的近红外图像进行人脸识别时,也会提高人脸识别结果的保真度,提高了近红外与可见光跨光谱人脸识别的准确性。
进一步地,基于上述本发明的第一实施例,提出本发明人脸识别方法的第二实施例,在本实施例中,上述实施例步骤S10,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤的细化,包括:
步骤a,对所述可见光样本进行可见光编码和可见光解码,得到第一伪可见光样本,确定所述可见光样本和所述第一伪可见光样本之间的可见光重建损失函数;
在本实施例中,图像转换生成模型的总损失函数至少包括重建损失函数Lrec、生成对抗损失函数Lgan、域对抗损失函数Ldann、语义一致性损失函数Lsem、教师网络损失函数Lteach和像素一致性损失函数Lpix中的至少一种或多种组合。
例如总损失函数Ltotal为:
Ltotal=WrecLrec+WganLgan+WdannLdann+WsemLsem+WteachLteach+WpixLpix。其中,重建损失函数Lrec对应的权重为Wrec。生成对抗损失函数Lgan对应的权重为Wgan。域对抗损失函数Ldann对应的权重为Wdann。语义一致性损失函数Lsem对应的权重为Wsem。教师网络损失函数Lteach对应的权重为Wteach。像素一致性损失函数Lpix对应的权重为Wpix。并且各个权重可以是根据实际场景需求进行提前设置。
因此在确定图像转换生成模型中的重建损失函数Lrec时,可以如图5所示,对可见光样本xA进行可见光编码EncA,然后进行可见光解码DecA,得到的伪可见光样本即为第一伪可见光样本xAA。再根据可见光样本xA和第一伪可见光样本xAA来计算可见光重建损失函数LrecA。即:
其中,xAA=DecA(EncA(xA))表示xA经EncA、DecA生成的伪可见光域样本,即第一伪可见光样本。
步骤b,对所述近红外样本进行近红外编码和近红外解码,得到第一伪近红外样本,确定所述近红外样本和所述第一伪近红外样本之间的近红外重建损失函数;
因此在确定图像转换生成模型中的重建损失函数Lrec时,还需要确定近红外样本的重建损失函数,因此可以如图5所示,对近红外样本本xB进行近红外编码EncB,然后进行近红外解码DecB,得到的伪近红外样本即为第一伪近红外样本xBB。再根据近红外样本xB和第一伪近红外样本xBB来计算近红外重建损失函数LrecB。也就是计算近红外重建损失函数LrecB的方式和计算可见光重建损失函数LrecA的方式相同。其中,xBB=DecB(EncB(xB))表示xB经EncB、DecB生成的伪近红外域样本,即第一伪近红外样本。
步骤c,将所述可见光重建损失函数和所述近红外重建损失函数之间的和值作为图像转换生成模型的重建损失函数。
确定可见光重建损失函数LrecA和近红外重建损失函数LrecB后,直接将两者之间的和值作为图像转换生成模型的重建损失函数Lrec。即Lrec=LrecA+LrecB。
在本实施例中,通过对可见光样本进行可见光编码和可见光解码,得到第一伪可见光样本,再以此确定可见光重建损失函数,对近红外样本进行近红外编码和近红外解码,得到第一伪近红外样本,再以此确定近红外重建损失函数,再根据可见光重建损失函数和近红外重建损失函数确定图像转换生成模型的重建损失函数,从而保障了获取到的图像转换生成模型的重建损失函数的准确性。
进一步地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
步骤d,对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第一生成对抗损失函数;
在确定图像转换生成模型中的生成对抗损失函数Lgan时,可以如图6所示,对可见光样本xA进行可见光编码EncA,然后进行近红外解码DecB,得到的伪近红外样本即为第二伪近红外样本xAB。根据近红外域图像判别器DB对第二伪近红外样本xAB进行处理,并且会根据可见光域图像判别器DA对可见光样本xA进行处理。然后再计算第一生成对抗损失函数LganA。即:
其中,xAB=DecB(EncA(xA))表示xA经EncA、DecB生成的伪近红外域样本,即第二伪近红外样本xAB。
步骤e,对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第二生成对抗损失函数;
同理需要对近红外样本做相同的处理,以计算近红外样本对应的第二生成对抗损失函数。即如图6所示,对近红外样本xB进行近红外编码EncB,然后进行可见光解码DecA,得到的伪可见光样本即为第二伪可见光样本xBA。根据可见光域图像判别器DA对第二伪可见光样本xBA进行处理,并且会根据近红外域图像判别器DB对近红外样本进行处理。然后再计算第二生成对抗损函数LganB。即:
其中,xBA=DecA(EncB(xB))表示xB经EncB、DecA生成的伪可见光域样本,即第二伪可见光样本xBA。
步骤f,将所述第一生成对抗损失函数和所述第二生成对抗损失函数之间的和值作为图像转换生成模型的生成对抗损失函数。
当确定第一生成对抗损失函数LganA和第二生成对抗损失函数LganB后,计算两者之间的和值,将其作为图像转换生成模型的生成对抗损失函数Lgan。即Lgan=LganA+LganB。
在本实施例中,通过对可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,再以此确定第一生成对抗损失函数,对近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,再以此确定第二生成对抗损失函数,再根据第一生成对抗损失函数和第二生成对抗损失函数确定图像转换生成模型的生成对抗损失函数,从而保障了获取到的图像转换生成模型的生成对抗损失函数的准确性。
进一步地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
步骤g,对所述可见光样本进行可见光编码,得到可见光编码特征;
步骤h,对所述近红外样本进行近红外编码,得到近红外编码特征;
步骤i,根据所述可见光编码特征和所述近红外编码特征确定图像转换生成模型的域对抗损失函数。
在确定图像转换生成模型中的域对抗损失函数Ldann时,可以如图7所示,需要对可见光样本xA进行可见光编码EncA,得到可见光编码特征fA。然后再通过隐空间特征判别器DF对可见光编码特征fA进行处理。同理,对近红外样本xB进行近红外编码EncB,得到近红外编码特征fB。然后再通过隐空间特征判别器DF对近红外编码特征fB进行处理。最后再计算图像转换生成模型的域对抗损失函数Ldann。即:
其中,CE为交叉熵损失。fA=EncA(xA)为xA经EncA得到的特征,fB=EncB(xB)为xB经EncB得到的特征。
在本实施例中,通过对可见光样本进行可见光编码,得到可见光编码特征,对近红外样本进行近红外编码,得到近红外编码特征,再根据可见光编码特征和近红外编码特征确定图像转换生成模型的域对抗损失函数,从而保障了获取到的图像转换生成模型的域对抗损失函数的准确性。
进一步地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
步骤j,对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,并根据所述可见光样本的可见光编码特征和所述第二伪近红外样本确定可见光样本到近红外样本的第一语义一致性损失函数;
在本实施例中,在确定图像转换生成模型中的语义一致性损失函数Lsem时,可以先计算可见光样本到近红外样本的第一语义一致性损失函数,即如图8所示,对可见光样本xA进行可见光编码EncA,然后进行近红外解码DecB,得到的伪近红外样本即为第二伪近红外样本xAB。并且对第二伪近红外样本xAB进行近红外编码EncB,得到fAB。其中,fAB=EncB(xAB)为xAB经EncB得到的特征。xAB=DecB(EncA(xA))表示xA经EncA、DecB生成的伪近红外域样本,即第二伪近红外样本xAB。
并且会对可见光样本xA进行可见光编码EncA,得到可见光编码特征fA。其中,fA=EncA(xA)为xA经EncA得到的特征。
因此计算可见光样本到近红外样本的第一语义一致性损失函数可以为:
步骤k,对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,并根据所述近红外样本的近红外编码特征和所述第二伪可见光样本确定近红外样本到可见光样本的第二语义一致性损失函数;
在确定图像转换生成模型中的语义一致性损失函数Lsem时,如图8所示,还需要计算近红外样本到可见光样本的第二语义一致性损失函数。因此可以对近红外样本xB进行近红外编码EncB,然后进行可见光解码DecA,得到的伪可见光样本即为第二伪可见光样本xBA。并且对第二伪可见光样本xBA进行可见光编码EncA,得到fBA。其中,fBA=EncA(xBA)为xBA经EncA得到的特征。xBA=DecA(EncB(xB))表示xB经EncB、DecA生成的伪可见光域样本,即第二伪可见光样本xBA。
并且会对近红外样本xB进行近红外编码EncB得到近红外编码特征fB。其中,fB=EncB(xB)为xB经EncB得到的特征。
因此计算近红外样本到可见光样本的第二语义一致性损失函数可以为:
步骤l,将所述第一语义一致性损失函数和所述第二语义一致性损失函数之间的和值作为图像转换生成模型中的语义一致性损失函数。
在计算得到第一语义一致性损失函数LsemA→B和第二语义一致性损失函数LsemB→A后,计算两者之间的和值,并将此和值作为图像转换生成模型中的语义一致性损失函数Lsem。即Lsem=LsemA→B+LsemB→A。
在本实施例中,通过对可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,再根据可见光编码特征确定可见光样本到近红外样本的第一语义一致性损失函数,并对近红外样本进行近红外编码和可见光解码,得到第二伪近可见光样本,再根据近红外编码特征确定近红外样本到可见光样本的第二语义一致性损失函数,根据第一语义一致性损失函数和第二语义一致性损失函数确定图像转换生成模型中的语义一致性损失函数,从而保障了获取到的图像转换生成模型中的语义一致性损失函数的准确性。
进一步地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
步骤m,对所述可见光样本进行可见光编码,得到可见光编码特征,并根据预设的特征编码教师网络对所述可见光样本进行训练,得到可见光训练特征,根据所述可见光编码特征和所述可见光训练特征确定可见光教师网络损失函数;
在本实施例中,在确定图像转换生成模型中的教师网络损失函数Lteach时,可以分别计算可见光教师网络损失函数和近红外教师网络损失函数。在计算可见光教师网络损失函数时,如图9所示,对可见光样本xA进行可见光编码EncA,得到可见光编码特征fA。并且会根据提前设置的特征编码教师网络Teach对可见光样本xA进行训练,得到可见光训练特征TfA。其中,TfA=Teach(xA)为xA经Teach得到的特征。最后再计算可见光教师网络损失函数LteachA。即:
步骤n,对所述近红外样本进行近红外编码,得到近红外编码特征,并根据预设的特征编码教师网络对所述近红外样本进行训练,得到近红外训练特征,根据所述近红外编码特征和所述近红外训练特征确定近红外教师网络损失函数;
在计算近红外教师网络损失函数时,如图9所示,对近红外样本xB进行近红外编码EncB,得到近红外编码特征fB。其中,fB=EncB(xB)为xB经EncB得到的特征。并且会根据提前设置的特征编码教师网络Teach对近红外样本xB进行训练,得到近红外训练特征TfB。其中,TfB=Teach(xB)为xB经Teach得到的特征。最后再计算近红外教师网络损失函数LteachB。即:
步骤o,将所述可见光教师网络损失函数和所述近红外教师网络损失函数之间的和值作为图像转换生成模型的教师网络损失函数。
在计算得到可见光教师网络损失函数LteachA和近红外教师网络损失函数LteachB后,就可以计算两者之间的和值,并将其作为图像转换生成模型的教师网络损失函数Lteach。即:Lteach=LteachA+LteachB。
在本实施例中,通过根据可见光编码特征和可见光训练特征确定可见光教师网络损失函数,根据近红外编码特征和近红外训练特征确定近红外教师网络损失函数,根据可见光教师网络损失函数和近红外教师网络损失函数确定图像转换生成模型的教师网络损失函数,从而保障了获取到的图像转换生成模型的教师网络损失函数的准确性。
进一步地,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
步骤p,对所述近红外样本进行近红外编码和可见光编码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第一像素一致性损失函数;
在本实施例中,在确定图像转换生成模型中的像素一致性损失函数Lpix时,可以分别计算可见光样本对应的第一像素一致性损失函数和近红外对应的第二像素一致性损失函数。在计算第一像素一致性损失函数时,如图10所示,对近红外样本xB进行近红外编码EncB,然后进行可见光解码DecA,得到的伪可见光样本即为第二伪可见光样本xBA。其中,xBA=DecA(EncB(xB))表示xB经EncB、DecA生成的伪可见光域样本,即第二伪可见光样本xBA。然后再根据可见光样本xA和第二伪可见光样本xBA计算第一像素一致性损失函数LpixA,即:
步骤q,对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第二像素一致性损失函数;
在计算第二像素一致性损失函数时,如图10所示,对可见光样本xA进行可见光编码EncA,然后进行近红外解码DecB,得到的伪近红外样本即为第二伪近红外样本xAB。其中,xAB=DecB(EncA(xA))表示xA经EncA、DecB生成的伪近红外域样本,即第二伪近红外样本xAB。然后再根据近红外样本xB和第二伪近红外样本xAB计算第二像素一致性损失函数LpixB。即:
步骤u,将所述第一像素一致性损失函数和所述第二像素一致性损失函数之间的和值作为图像转换生成模型中的像素一致性损失函数。
当计算得到第一像素一致性损失函数LpixA和第二像素一致性损失函数LpixB后,计算两者之间的和值,将其和值作为图像转换生成模型中的像素一致性损失函数Lpix,即Lpix=LpixA+LpixB。
在本实施例中,通过根据可见光样本和第二伪可见光样本确定第一像素一致性损失函数,并根据近红外样本和第二伪近红外样本确定第二像素一致性损失函数,再根据第一像素一致性损失函数和第二像素一致性损失函数确定图像转换生成模型中的像素一致性损失函数,从而保障了获取到的图像转换生成模型中的像素一致性损失函数的准确性。
此外,参照图3,本发明实施例还提供一种人脸识别装置,包括:
模型训练模块A10,用于确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
所述模型训练模块A10,还用于获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
所述模型训练模块A10,还用于根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
人脸识别模块A20,用于将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
可选地,所述模型训练模块A10,还用于:
对所述可见光样本进行可见光编码和可见光解码,得到第一伪可见光样本,确定所述可见光样本和所述第一伪可见光样本之间的可见光重建损失函数;
对所述近红外样本进行近红外编码和近红外解码,得到第一伪近红外样本,确定所述近红外样本和所述第一伪近红外样本之间的近红外重建损失函数;
将所述可见光重建损失函数和所述近红外重建损失函数之间的和值作为图像转换生成模型的重建损失函数。
可选地,所述模型训练模块A10,还用于:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第一生成对抗损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第二生成对抗损失函数;
将所述第一生成对抗损失函数和所述第二生成对抗损失函数之间的和值作为图像转换生成模型的生成对抗损失函数。
可选地,所述模型训练模块A10,还用于:
对所述可见光样本进行可见光编码,得到可见光编码特征;
对所述近红外样本进行近红外编码,得到近红外编码特征;
根据所述可见光编码特征和所述近红外编码特征确定图像转换生成模型的域对抗损失函数。
可选地,所述模型训练模块A10,还用于:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,并根据所述可见光样本的可见光编码特征和所述第二伪近红外样本确定可见光样本到近红外样本的第一语义一致性损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,并根据所述近红外样本的近红外编码特征和所述第二伪可见光样本确定近红外样本到可见光样本的第二语义一致性损失函数;
将所述第一语义一致性损失函数和所述第二语义一致性损失函数之间的和值作为图像转换生成模型中的语义一致性损失函数。
可选地,所述模型训练模块A10,还用于:
对所述可见光样本进行可见光编码,得到可见光编码特征,并根据预设的特征编码教师网络对所述可见光样本进行训练,得到可见光训练特征,根据所述可见光编码特征和所述可见光训练特征确定可见光教师网络损失函数;
对所述近红外样本进行近红外编码,得到近红外编码特征,并根据预设的特征编码教师网络对所述近红外样本进行训练,得到近红外训练特征,根据所述近红外编码特征和所述近红外训练特征确定近红外教师网络损失函数;
将所述可见光教师网络损失函数和所述近红外教师网络损失函数之间的和值作为图像转换生成模型的教师网络损失函数。
可选地,所述模型训练模块A10,还用于:
对所述近红外样本进行近红外编码和可见光编码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第一像素一致性损失函数;
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第二像素一致性损失函数;
将所述第一像素一致性损失函数和所述第二像素一致性损失函数之间的和值作为图像转换生成模型中的像素一致性损失函数。
其中,人脸识别装置的各个功能模块实现的步骤可参照本发明人脸识别方法的各个实施例,此处不再赘述。
此外,本发明还提供一种人脸识别设备,所述人脸识别设备包括:存储器、处理器及存储在所述存储器上的人脸识别程序;所述处理器用于执行所述人脸识别程序,以实现上述人脸识别方法各实施例的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述人脸识别方法各实施例的步骤。
本发明计算机可读存储介质具体实施方式与上述人脸识别方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸识别方法,其特征在于,所述人脸识别方法包括以下步骤:
确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
2.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,包括:
对所述可见光样本进行可见光编码和可见光解码,得到第一伪可见光样本,确定所述可见光样本和所述第一伪可见光样本之间的可见光重建损失函数;
对所述近红外样本进行近红外编码和近红外解码,得到第一伪近红外样本,确定所述近红外样本和所述第一伪近红外样本之间的近红外重建损失函数;
将所述可见光重建损失函数和所述近红外重建损失函数之间的和值作为图像转换生成模型的重建损失函数。
3.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第一生成对抗损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第二生成对抗损失函数;
将所述第一生成对抗损失函数和所述第二生成对抗损失函数之间的和值作为图像转换生成模型的生成对抗损失函数。
4.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码,得到可见光编码特征;
对所述近红外样本进行近红外编码,得到近红外编码特征;
根据所述可见光编码特征和所述近红外编码特征确定图像转换生成模型的域对抗损失函数。
5.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,并根据所述可见光样本的可见光编码特征和所述第二伪近红外样本确定可见光样本到近红外样本的第一语义一致性损失函数;
对所述近红外样本进行近红外编码和可见光解码,得到第二伪可见光样本,并根据所述近红外样本的近红外编码特征和所述第二伪可见光样本确定近红外样本到可见光样本的第二语义一致性损失函数;
将所述第一语义一致性损失函数和所述第二语义一致性损失函数之间的和值作为图像转换生成模型中的语义一致性损失函数。
6.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述可见光样本进行可见光编码,得到可见光编码特征,并根据预设的特征编码教师网络对所述可见光样本进行训练,得到可见光训练特征,根据所述可见光编码特征和所述可见光训练特征确定可见光教师网络损失函数;
对所述近红外样本进行近红外编码,得到近红外编码特征,并根据预设的特征编码教师网络对所述近红外样本进行训练,得到近红外训练特征,根据所述近红外编码特征和所述近红外训练特征确定近红外教师网络损失函数;
将所述可见光教师网络损失函数和所述近红外教师网络损失函数之间的和值作为图像转换生成模型的教师网络损失函数。
7.如权利要求1所述的人脸识别方法,其特征在于,所述根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型的步骤,还包括:
对所述近红外样本进行近红外编码和可见光编码,得到第二伪可见光样本,根据所述可见光样本和所述第二伪可见光样本确定第一像素一致性损失函数;
对所述可见光样本进行可见光编码和近红外解码,得到第二伪近红外样本,根据所述近红外样本和所述第二伪近红外样本确定第二像素一致性损失函数;
将所述第一像素一致性损失函数和所述第二像素一致性损失函数之间的和值作为图像转换生成模型中的像素一致性损失函数。
8.一种人脸识别装置,其特征在于,所述人脸识别装置包括:
模型训练模块,用于确定预训练集中的可见光样本和近红外样本,根据所述可见光样本和所述近红外样本进行模型训练,得到图像转换生成模型;
所述模型训练模块,还用于获取目标可见光样本,并将所述目标可见光样本输入至所述图像转换生成模型进行模型训练,得到目标近红外样本;
所述模型训练模块,还用于根据所述目标可见光样本和目标近红外样本进行成对数据混合增加,得到目标样本集,并根据所述目标样本集对预设的人脸识别网络进行模型训练,得到人脸识别模型;
人脸识别模块,用于将待识别的近红外人脸图像输入至所述人脸识别模型进行人脸识别。
9.一种人脸识别设备,其特征在于,所述人脸识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸识别程序,所述人脸识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的人脸识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有人脸识别程序,所述人脸识别程序被处理器执行时实现如权利要求1至7中任一项所述的人脸识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210506615.6A CN114821730A (zh) | 2022-05-10 | 2022-05-10 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210506615.6A CN114821730A (zh) | 2022-05-10 | 2022-05-10 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114821730A true CN114821730A (zh) | 2022-07-29 |
Family
ID=82513428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210506615.6A Pending CN114821730A (zh) | 2022-05-10 | 2022-05-10 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821730A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071787A (zh) * | 2023-01-06 | 2023-05-05 | 南京航空航天大学 | 一种多光谱掌纹识别方法、系统、电子设备及介质 |
-
2022
- 2022-05-10 CN CN202210506615.6A patent/CN114821730A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071787A (zh) * | 2023-01-06 | 2023-05-05 | 南京航空航天大学 | 一种多光谱掌纹识别方法、系统、电子设备及介质 |
CN116071787B (zh) * | 2023-01-06 | 2023-09-29 | 南京航空航天大学 | 一种多光谱掌纹识别方法、系统、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210110522A1 (en) | Image processing method and apparatus, and storage medium | |
CN111126573A (zh) | 基于个体学习的模型蒸馏改进方法、设备及存储介质 | |
DE202017007296U1 (de) | Elektronische Vorrichtung, umfassend einen gebogenen Anzeigebereich | |
CN112967180B (zh) | 一种生成对抗网络的训练方法、图像风格转换方法和装置 | |
CN111768326B (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
CN113377914A (zh) | 推荐文本生成方法、装置、电子设备和计算机可读介质 | |
Wang et al. | Cross-UNet: dual-branch infrared and visible image fusion framework based on cross-convolution and attention mechanism | |
US9418448B2 (en) | Devices, terminals and methods for image processing | |
CN114821730A (zh) | 人脸识别方法、装置、设备及计算机可读存储介质 | |
CN116964590A (zh) | 用平均平滑使图像到图像模型压缩 | |
CN114004905A (zh) | 人物风格形象图的生成方法、装置、设备及存储介质 | |
CN113658122A (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
CN110751251B (zh) | 生成、变换二维码图像矩阵的方法和装置 | |
Zhang et al. | Extremely efficient PM2. 5 estimator based on analysis of saliency and statistics | |
CN116433491A (zh) | 一种图像处理方法、装置、设备、存储介质及产品 | |
CN115953597B (zh) | 图像处理方法、装置、设备及介质 | |
CN111784726A (zh) | 人像抠图方法和装置 | |
US20230214639A1 (en) | Fixed-point multiplication for network quantization | |
Uchigasaki et al. | Deep image compression using scene text quality assessment | |
Xiong et al. | Parametric ratio-based method for efficient contrast-preserving decolorization | |
CN114418835A (zh) | 图像处理方法、装置、设备及介质 | |
CN114581353A (zh) | 一种红外图像的处理方法、装置、介质及电子设备 | |
CN112950501A (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
CN112764649B (zh) | 虚拟形象的生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |