CN104169943A - 用于改善的面部识别的方法和装置 - Google Patents

用于改善的面部识别的方法和装置 Download PDF

Info

Publication number
CN104169943A
CN104169943A CN201280071403.4A CN201280071403A CN104169943A CN 104169943 A CN104169943 A CN 104169943A CN 201280071403 A CN201280071403 A CN 201280071403A CN 104169943 A CN104169943 A CN 104169943A
Authority
CN
China
Prior art keywords
image
face
piece
eigenvector
program code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280071403.4A
Other languages
English (en)
Other versions
CN104169943B (zh
Inventor
邹燕明
马勇
汪孔桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN104169943A publication Critical patent/CN104169943A/zh
Application granted granted Critical
Publication of CN104169943B publication Critical patent/CN104169943B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Abstract

提供了用于改善的面部识别系统的方法、装置和计算机程序产品。一些实施例可以利用图像的加权块分割并且针对属于块内的像素捕获特性测量结果。测量结果可以被转换成矢量、被压缩并且与压缩的已登记图像的矢量比较以辨识匹配主体的特征或图像。可以利用训练处理以便优化块分割和权重。

Description

用于改善的面部识别的方法和装置
技术领域
本发明的示例实施例总体涉及面部识别,并且更具体地涉及改善辨识面部特质(characteristic)并且将主体(subject)面部图像辨识为像已登记组中的面部图像的效率和精确度的方法、装置和计算机程序产品。
背景技术
面部识别系统已被证明在各种领域中是有用的。面部识别已经在生物识别安全中发挥作用。例如,通过在他们从账户提取现金时捕获个体的实时图像并且将其与记录在案的图像比较,可以确认自动取款机用户的身份。通过捕获公共人群中的面部图像并且将它们与通缉犯数据库中的图像比较,执法机关有时已经使用面部识别系统来辨识通缉犯。
虽然有用,但当前的面部识别方法留下了改善的余地。诸如头部倾斜、照明和表情之类的跨面部图像的变体可以对特征识别的精度造成负面影响,最终导致无法找到其中主体图像是确实被登记在样本组或数据库中的个体图像的匹配。
另外,目的在于提高面部辨识成功率的许多方法是以牺牲效率为代价来实现的。例如,通过分析每一个图像的每一个像素或者对图像应用复杂的归一化算法,可以极大地提高精度。然而,诸如这些之类的任务可以是计算昂贵的并且使面部识别处理变慢。
发明内容
因此提供了方法、装置和计算机程序产品以用于改善面部识别系统的效率和精确度。实现具有改善效率的面部识别系统产生计算资源的节约,这又可以允许系统在短的时间量中处理更大批量的图像。目的朝向改善效率的系统将更好地满足在公共设置中实现的面部识别系统或者要求在有限的时间段内处理大批量图像的那些面部识别系统的需求。改善系统的精确度将产生更大数目的成功辨识和更低的错误率。
在一个实施例中,提供一种方法用于辨识像主体面部图像的已登记图像。辨识统计特性,由此来测量主体图像的块中的像素。将测量结果转换成特征矢量,并且用于辨识诸如年龄、性别或情绪之类的面部特质。还可以将特征矢量与已登记的特征矢量比较以辨识匹配的主体。另外,一个实施例的方法可以通过应用维度压缩矩阵来压缩主体和已登记图像的特征矢量。一些实施例的方法可以通过将测量结果转换成图示唯一的特性测量结果的频率的柱状图来确定特征矢量,并且在一些实施例中,可以进一步转换多个柱状图以便得出图像的特征矢量。
在另一实施例中,通过首先将应用块分割方法应用于图像的训练组来评估块分割方法,该图像的训练组包括相同个体的图像的子集。然后依照该实施例,利用用常用的统计测量获得的特征矢量对图像进行分类,并且使用分类的结果来确定维度压缩矩阵。可以使用相同的块分割方法、统计测量和压缩矩阵将评估图像组转换成特征矢量。然后可以基于矢量对评估图像进行分类,并且分类的成功率指示块分割方法的有效性。
一些实施例的方法可以采用其中块彼此重叠的块分割方法。其它实施例的方法可以采用导致其中块是独立(self-contained)的分割的技术。
附加的实施例提供了用于以一定方式加权块并且将权重并入到特征矢量中的方法,使得在辨识处理中不是每一个块都具有相同的重要性。更具体地,另一实施例提供了用于通过训练组的分类迭代确定块的权重的方法,其中迭代要求变化块的权重。通过分析贯穿迭代块对分类错误率的影响,可以辨识理想权重。
根据一些实施例的方法包含辨识面部图像的多个关键点、测量从像素到多个关键点的距离以及将像素和最靠近的关键点包含在块中。方法还可以被提供用于为面部图像的面部特征点分配权重并且在矢量转换和辨识处理之前在归一化面部图像中利用该权重。
在另一实施例中,提供了一种装置,其包含至少一个处理器和包含计算机程序代码的至少一个存储器,其中至少一个存储器和计算机程序代码被配置用于利用处理器使得装置接收主体面部图像、通过图像块中的像素确定统计特性测量结果、将测量结果转换成特征矢量、辨识特质以及比较主体与样本矢量以便将图像分类。至少一个存储器和计算机程序代码还可以被配置用于利用处理器使得装置诸如利用维度压缩矩阵压缩特征矢量,或者当将图像转换成特征矢量时创建图示统计特性测量结果的频率的柱状图。至少一个存储器和计算机程序代码还可以被配置用于利用处理器使得装置利用训练处理评估应用到面部图像的各种块分割方法或者块权重。
类似地,在又一实施例中,提供了一种计算机程序产品,其包含具有计算机可执行程序代码指令以通过利用特征矢量辨识特质和面部图像的至少一个非瞬态计算机可读存储介质。附加的实施例包含压缩矢量的计算机程序产品。其它的实施例包含当确定特征矢量时产生柱状图或者提供训练机制用于辨识块分割方法和权重以应用到块的可执行程序代码指令。
另外,一些实施例的装置提供用于通过利用特征矢量辨识面部图像的装置。附加实施例的装置包含用于压缩矢量的装置,而其它的实施例包含用于当确定特征矢量时产生柱状图或者提供训练机制用于辨识块分割方法和权重以应用到块的装置。
附图说明
从而已经概括地描述了本发明的特定示例实施例,下文中将参照不必要按比例绘制的附图,并且其中:
图1是可以被配置用于实现本发明的示例实施例的装置的框图;
图2是图示了依照本发明的一个实施例执行的用于将图像分类的操作的流程图;
图3a图示了依照本发明的一个示例实施例的多个块的辨识;
图3b图示了依照本发明的一个示例实施例的重叠的块的辨识;
图4是依照本发明的一个实施例的块的柱状图;
图5a、图5b和图5c图示了依照本发明的一个实施例的统计测量结果到特征矢量的转换;
图6是图示了依照本发明的一个实施例执行的用于评估块分割方法的操作的流程图;
图7是图示了依照本发明的一个实施例执行的用于辨识块权重或特征点权重的操作的流程图;以及
图8a和图8b图示了依照本发明的一个实施例的多个加权块的辨识。
具体实施方式
参照其中示出了发明的一些但非所有实施例的附图,现在将更加充分地在下文中描述本发明的一些实施例。事实上,本发明的各种实施例可以被实施为许多不同的形式并且不应被解释为限于本文中所阐述的实施例;更确切地说,提供这些实施例使得该公开将满足适用的法律要求。自始至终同样的附图标记指代同样的元件。如本文中所使用的,术语“数据”、“内容”、“信息”以及相似术语可以被互换使用以用于指代依照本发明的实施例能够被发送、接收和/或存储的数据。从而,任何这样的术语的使用不应被视为限制本发明的实施例的精神和范围。
另外,如本文中所使用的,术语“电路装置”指的是(a)纯硬件电路实施方式(例如模拟电路装置和/或数字电路装置中的实施方式);(b)一起工作以使得装置执行本文中描述的一个或多个功能的电路和包括存储在一个或多个计算机可读存储器上的软件和/或固件指令的计算机程序产品的组合;以及(c)诸如微处理器或微处理器的一部分之类的、即使软件或固件物理上不存在也需要软件或固件用于操作的电路。‘电路装置’的这一定义适用于本文中该术语的所有使用情况,包括任何权利要求中的使用情况。作为又一示例,如本文中所使用的,术语‘电路装置’还包含包括一个或多个处理器和/或其部分并且附带软件和/或固件的实施方式。作为另一示例,如本文中所使用的术语‘电路装置’还包含例如用于移动电话的基带集成电路或应用处理器集成电路或者服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的相似集成电路。
如本文中所定义的,指代物理存储介质(例如易失性或非易失性存储器设备)的“计算机可读存储介质”可以区别于指代电磁信号的“计算机可读传输介质”。
如下面描述的,提供方法、装置和计算机程序产品以改善面部识别系统在将相同个体捕获作为主体图像时辨识已登记的面部图像的精确度和效率。在这点上,示例实施例的方法、装置和计算机程序产品可以在将图像简化成特征矢量之前,利用训练技术优化块分割和加权以便对图像进行比较和分类。
现在参照图1,装置25可以包含处理器20和存储器设备26,或以其它方式与处理器20和存储器设备26进行通信。如下面描述的并且如由图1中的虚线指示的,在一些实施例中,装置25还可以可选地包含相机28或其它图像捕获设备、通信接口24和用户接口22。装置25可以由包括诸如个人数字助理(PDA)、寻呼机、移动电视、移动电话、游戏设备、膝上型电脑、平板电脑、相机、照相手机(camera phone)、视频记录器、音频/视频播放器、无线电、全球定位系统(GPS)设备、导航设备或上述的任意组合之类的移动终端和其它类型的语音和文本通信系统的各种各样的设备来实施。装置25不需要必定由移动设备来实施,并且作为替代,可以被实施在诸如计算机或工作站之类的固定设备中。
在一些实施例中,处理器20(和/或协同处理器或者辅助处理器20或以其它方式与处理器20关联的任何其它处理电路装置)可以经由用于在装置25的部件之间传递信息的总线与存储器设备26进行通信。存储器设备26可以包含例如一个或多个易失性和/或非易失性存储器。换句话说,例如,存储器设备26可以是包括被配置用于存储可以由机器(例如像处理器20那样的计算设备)获取的数据(例如比特)的门电路的电子存储设备(例如计算机可读存储介质)。存储器设备26可以被配置用于存储信息、数据、内容、应用、指令等以使得装置能够依照本发明的示例实施例执行各种功能。例如,存储器设备26可以被配置用于缓冲输入数据以由处理器20进行处理。附加地或备选地,存储器设备26可以被配置用于存储指令以由处理器20执行。
装置25在一些实施例中可以被实施在如上面所描述的各种设备中。然而,在一些实施例中,装置25可以被实施为芯片或芯片组。换句话说,装置25可以包括一个或多个物理封装体(例如芯片),该物理封装体包含在结构组件(例如基板)上的材料、部件和/或导线。结构组件可以提供物理强度、尺寸的保护和/或包含在其上的组成电路装置的电交互的限制。在一些情况下,装置25因此可以被配置用于在单个芯片上或者作为单个“片上系统”来实现本发明的实施例。照此,在一些情况下,芯片或芯片组可以组成用于执行一个或多个操作的装置以用于提供本文中所描述的功能。
处理器20可以以很多不同的方式来实施。例如,处理器20可以被实施为诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有附带DSP的处理元件之类的各种硬件处理装置或者包含诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等之类的集成电路的各种其它处理电路装置中的一个或多个。照此,在一些实施例中,处理器20可以包含被配置用于独立执行的一个或多个处理核。多核处理器可以实现单个物理封装体内的多重处理。附加地或备选地,处理器20可以包含经由总线被串列配置的一个或多个处理器以实现指令、流水线和/或多线程的独立执行。
在示例实施例中,处理器20可以被配置用于执行存储在存储器设备26中或者以其它方式访问处理器20的指令。备选地或附加地,处理器20可以被配置用于执行硬编码的功能。照此,无论通过硬件或软件方法还是通过其组合配置,处理器20都可以表示当据此配置时能够根据本发明的实施例执行操作的实体(例如被物理实施在电路装置中)。从而,例如,在处理器20被实施为ASIC、FPGA等时,处理器20可以是特别配置的硬件以用于进行本文中所描述的操作。备选地,作为另一示例,在处理器20被实施为软件指令的执行器时,指令可以特别配置处理器20以在指令被执行时执行本文中所描述的算法和/或操作。然而,在一些情况下,通过由用于执行本文中所描述的算法和/或操作的指令对处理器20进一步配置,处理器20可以是被配置用于采用本发明实施例的具体设备(例如移动终端或者网络实体)的处理器。在其它情况中,处理器20可以包含被配置用于支持处理器20的操作的时钟、算术逻辑单元(ALU)和逻辑门。
同时,通信接口24可以是诸如被实施在硬件或硬件和软件的组合中、被配置用于从网络和/或与装置25进行通信的任何其它设备或模块接收数据并且/或者向网络和/或与装置25进行通信的任何其它设备或模块发送数据的设备或电路装置之类的任何装置。在这点上,通信接口24可以包含例如天线(或多个天线)和用于实现与无线通信网络的通信的支持硬件和/或软件。附加地或备选地,通信接口24可以包含用于与天线交互的电路装置,以使得信号经由天线传输或者以处理经由天线接收的信号的接收。在一些环境中,通信接口24可以备选地支持有线通信,或者还支持有线通信。照此,例如,通信接口24可以包含通信调制解调器和/或用于经由电缆、数字用户线路(DSL)、通用串行总线(USB)或其它机制支持通信的其它硬件/软件。
在诸如其中装置25通过用户设备实施的实例之类的一些实施例中,装置25可以包含用户接口22,该用户接口22又可以与处理器20进行通信以接收用户输入的指示和/或以使得提供可听、可视、机械或其它输出给用户。照此,用户接口22可以包含例如键盘、鼠标、操纵杆、显示器、触摸屏、触摸区域、软键、麦克风、扬声器或其它输入/输出机制。备选地或附加地,处理器20可以包括被配置用于控制诸如扬声器、振铃器、麦克风、显示器等之类的一个或多个用户接口元件的至少一些功能的用户接口电路装置。处理器20和/或包括处理器20的用户接口电路装置可以被配置用于通过存储在可访问处理器20的存储器(例如存储器设备26等)上的计算机程序指令(例如软件和/或固件)控制一个或多个用户接口元件的一个或多个功能。
在诸如其中装置25通过用户设备实施的实例之类的一些实施例中,装置25可以包含被配置用于捕获包含视频图像的图像的相机28或其它图像捕获设备。然而,在其它实施例中,在作为替代,图像由存储器设备26或经由通信接口24提供的情况下,装置25可以不包含相机28。
现在参照图2,依照示例实施例概述用于辨识面部图像的操作。在这点上并且如下面描述的,图2的操作可以由装置25来执行。装置25可以包含诸如相机28、处理器20、通信接口24等之类的装置以用于接收面部的图像,如在操作30中示出的。如在操作31中示出的,装置可以包含诸如处理器20等之类的装置以用于可选地归一化面部的图像。图像可以是剪裁的面部图像,或者它可以是具有在辨识处理中不被利用的背景或全身的较大图像,在该情况下图像可以被剪裁以集中于面部。归一化还可以包含降低或消除变量,该变量包含但不限于头部倾斜、图像角度、照明和表情。
继续到操作32,一些实施例的装置25、方法或计算机程序产品可以包含诸如处理器20等之类的装置以用于辨识图像可以被分解成的一个或多个块。块可以涵盖整个面部图像、图像的一部分或多个部分。块可以是矩形的,或者如在一些实施例中那样、以如在图3a和图3b中图示的任何方式有利成形的,以提供相比于要求矩形分割的实施例在辨识方面的改善的精确度。块可以通过经由用户接口22或通信接口24提供的用户输入来人工辨识,或者在一些实施例中,如下面进一步详细描述的,它们可以以编程方式被规定并且可选地被完善。
如由图3a中的点Ai指示的,为了辨识块,一些实施例的装置、方法或计算机程序产品可以可选地依靠面部图像上将要被首先辨识的关键点。可以使用利用关于面部上的自然曲线和有区别的点的定位的知识的各种特征识别技术来人工辨识或系统辨识关键点Ai。在关键点Ai的辨识之后,通过测量从像素P到每个关键点Ai的距离并且将像素P分配给包含最靠近的关键点Ai的块,可以辨识块。根据该示例实施例的块分割被图示在图3a中,其中P被定位成最靠近于关键点A0,并且从而驻留于与A0相同的块中。可以对于每个像素P重复该处理。
此外,装置25可以包含诸如处理器20等之类的装置,以用于利用其是没有块之间重叠的独立的或者重叠的块分割以便辨识块。图3a图示了独立的块,同时图3b的阴影区域图示了重叠的块。一些实施例的处理器20可以利用数学公式确定阴影区域。例如,包含A0的块可以被扩展成包含像素P,对于像素P,距离(A0,P)<=(最小值(距离(Aj,P)))*Alpha,其中Aj是一组关键点。可以使用任何期望的Alpha值。例如,在图3b中,Alpha=l.3。
现在返回到图2,在操作32处在图像上辨识出块之后,可以辨识面部图像的可测量的统计特性。可测量的统计特性的简单示例是灰度级,其可以在0到255的尺度上被测量。可以依照各种实施例使用的其它统计特性可以包含局部二值模式(LBP)、离散余弦变换(DCT)参数、Gabor小波、Haar小波或者统计特性测量的任何其它形式。在一些实施例中,可以在面部识别处理中使用单个可测量的特性或者可测量的特性的任何组合。
装置25可以包含诸如处理器20等之类的装置,以诸如在操作33中测量包含在块内的像素特性,并且以可选地将数据捕获在柱状图中,如在图4中图示的并且如在操作34中描述的。表示块的统计特性分布的柱状图示出了具有特定值或二进制数(bin)的像素的数目。关于灰度值,每个二进制数可以表示在不同的灰度值范围上的不同灰度值,因此柱状图描绘了具有相应灰度值的像素的数目。接着,在操作35中,柱状图可以被转换成矢量,或者在多个块和柱状图的实例中,柱状图首先被转换成多个矢量并且然后被串联以得出图像的特征矢量。使用示例灰度值表示500个块的500个矢量的串联可以在图5a和图5b中看到。在该示例中,块1含有具有灰度级为0的16个像素、具有灰度级为1的19个像素等等。串联导致如图5b中图示的矢量,其中图像的特征矢量具有256*500或128000个元素。因为这个尺寸的矢量可以抑制矢量的高效处理或分析,所以一些实施例的装置、方法或计算机程序产品可以包含诸如处理器20等之类的装置以用于将维度压缩矩阵应用于特征矢量以便将矢量降低到更易管理的尺寸。见操作38。这样的压缩的可能结果被图示在图5c中。维度压缩矩阵可以通过包括但不限于主成分分析(PCA)或线性判别分析(LDA)的各种技术来确定。
在可选压缩之后,在操作39中,装置25可以包含诸如处理器20等之类的装置以用于比较特征矢量与可能已经经历相似或相同的块分割、矢量转换和压缩处理的已登记图像的矢量。通过维度压缩矩阵的应用,比较操作39的效率可以被大幅改善。例如通过处理器可以实现用于比较矢量的各种算法,并且对比较效率的影响在算法之间可以变化。在一些实施例中,诸如处理器20之类的装置、方法或计算机程序产品可以提供辨识其特征矢量像彼此的一对或任一组图像的比较,并且在这些情景中,图像的主体可以被推定是同一个,从而导致图像辨识。
在一些实施例中,特征矢量可以备选地或附加地被用于辨识面部图像的特质。特定统计特性可以具有已知的范围,在主体面部图像上被识别出时,该特定统计特性可以产生对性别、年龄、情绪或任何其它特质的辨识。装置可以包含诸如处理器20等之类的装置,以用于比较特征矢量与具有已知特质的图像的特征矢量中的值,并且因此提供对主体图像中相同特质的辨识。
继续到图6,在其装置、方法或计算机程序产品实现块分割的这些实施例中,如本文中所描述的,分割可以通过训练处理被优化。优化的目标是以使得产生的矢量导致更精确的辨识处理这样的方式来划分块。在操作40中,装置25可以包含诸如处理器20等之类的装置,以用于接收主体面部图像的训练组。图像可以由通信接口24、存储器设备26或用户接口22提供,或者由相机28捕获。训练组可以包含已知已经捕获相同个体的多个图像。在操作41中,装置25包含诸如处理器20、用户接口22等之类的装置,以用于辨识假设的块分割。块分割可以根据如上面所描述的关键点辨识技术来确定。分割可以经由用户接口22人工提供,或者由处理器20确定。其中处理器规定块分割的示例实施例可以包含对先前应用的块分割施加调整,或者通过采用其它的假设的块分割。
操作42可以包含诸如处理器20等之类的装置,以用于将图像分类,或者辨识图像之中的特质或匹配。更具体地,依照一个实施例,分类可以包括如先前所描述的操作30至39,并且关于块分割操作,利用假设的块分割。实现矩阵压缩的这些实施例的诸如处理器20等之类的装置、方法和计算机程序产品可以在图像分类期间学习维度压缩矩阵。
在操作43中,装置25包含诸如处理器20等之类的装置,以用于辨识一组评估面部图像。图像可以由通信接口24、存储器设备26或用户接口22提供,或者由相机28捕获。同样,一些图像可以已知是相同主体的,以便提供对块分割的精确度的测试。在操作44中,装置25包含诸如处理器20等之类的装置,以用于诸如根据操作30至39将评估图像分类,在此期间应用假设的块分割和学习到的维度压缩矩阵。在利用该训练过程的实施例中,装置、方法或计算机程序产品可以提供诸如处理器20等之类的装置以用于在操作45处通过分析图像辨识的结果来评估块分割。通过返回到操作41可以迭代训练和评估循环,其中块分割可以被微调直到达到期望的优化水平。
在利用所描述的训练过程的实施例中,方法、装置和计算机程序产品可以将优化指向关键点分布,这可以最终产生通过上述技术的块分割。在训练和评估关键点分布中,最好的关键点分布可以被定义为D^=IIargI({D})^max R(SIt|D),其中R(St│D)是利用训练集St辨识的识别率。
继续到图7,一些实施例的装置、方法或计算机程序产品可以采用训练处理将变化的权重应用于块。在操作50中,装置25包含诸如处理器20等之类的装置,以用于辨识训练的面部图像组。图像可以由通信接口24、存储器设备26或用户接口22提供,或者由相机28捕获。像先前所描述的训练组那样,一些图像可以是相同主体的。训练的图像可以经历与先前所描述的相似的矢量转换和分类处理,但是在该示例实施例中,在操作51处,装置25可以包含诸如处理器20等之类的装置,以用于应用块分割并且使用例如针对每个假设的块的权重来加权各种块。随着它们被创建,权重可以被并入到特征矢量中。例如,具有相对低的权重的块在其矢量中可以具有降低数目的元素或者降低的测量范围,然而具有较高权重的块将具有较大数目的元素。备选地,权重大的块可以在其特征矢量中包含所有其包含的像素,然而具有较低权重的块可以在其特征矢量中包含较小百分比的像素或没有像素。或者,一些实施例的装置、方法或计算机程序产品可以采用其它技术以用于降低或压缩与相对低权重的块关联的矢量。装置25可以包含诸如处理器20等之类的装置,以用于基于加权的特征矢量将图像分类。迭代开始于操作53,并且在操作54处,处理器20等可以调整权重,并且操作51和52被重复以将图像重新分类。在图7的操作55处,装置、方法或计算机程序产品可以提供用于分析训练的结果和辨识块的理想权重的装置。
在利用归一化操作31的实施例中,装置、方法和计算机程序产品可以利用个体像素的加权,从而还使用图7中图示的训练处理。这些实施例可以采用3维形变模型(3DMM)处理,其中2维图像被重构为3D图像以便改善面部识别处理。许多传统的3DMM平等地对待所有像素或面部点。在3DMM处理之前将变化的权重应用到图像中的点可以包含被配置用于改善归一化阶段中的精确度的处理器20。一些实施例的装置、方法和计算机程序产品可以实现3D拟合算法,诸如,其中a表示形状参数,ρ表示诸如姿势和照明之类的渲染参数,(xfj,yfj)是面部点fj的坐标,以及wfj表示计算的fj的权重。权重w可以通过应用操作50至55来计算。
在图7中图示的训练处理中,一些示例实施例的装置、方法和计算机程序产品可以包含被配置用于采用诸如Adaboosting之类的放大算法以便优化块的权重的处理器20。在这点上,贯穿迭代辨识和更新弱学习器(weak learner)。贯穿迭代以及相比于移动权重测量的其进度,可以计算分类错误率。通过分析块对分类错误率的影响,对各种弱学习器和它们的相应块进行适当加权,该错误率考虑错误的分类和另外错过的辨识机会。被示出大幅减少分类错误率的块可以具有比对错误率影响很小的那些块更大的权重。
权重应用的示例被图示在图8a和图8b中。依照一个实施例,图8a是面部图像,并且图8b是图示加权块的图像,其中较大权重的块颜色较浅并且具有较低权重的块颜色较深。由于诸如眼睛之类的许多特征比诸如面颊之类的其它区域提供更多的区别能力,所以对块应用变化的权重并且将它们并入到特征矢量中可以改善面部识别的精确度。
如上面所描述的,图2、图6和图7图示了根据本发明示例实施例的装置25、方法和计算机程序产品的流程图。应当理解的是,流程图的每个块和流程图中块的组合可以通过诸如硬件、固件、处理器、电路装置和/或与包含一个或多个计算机程序指令的软件执行关联的其它设备之类的各种装置来实现。例如,一个或多个上面所描述的过程可以由计算机程序指令来实施。在这点上,实施上面所描述的过程的计算机程序指令可以由采用本发明实施例的装置25的存储器设备26来存储并且由装置25的处理器20来执行。如应当理解的,任何这样的计算机程序指令都可以被加载到计算机或其它可编程装置(例如硬件)上以产生机器,使得产生的计算机或其它可编程装置实现在流程图块中指定的功能。这些计算机程序指令还可以被存储在可以指导计算机或其它可编程装置以特定的方式起作用的计算机可读存储器中,使得存储在计算机可读存储器中的指令产生其执行实现流程图块中指定的功能的制造品。计算机程序指令还可以被加载到计算机或其它可编程装置上以使得一系列操作在计算机或其它可编程装置上被执行,以产生计算机实现的处理,因此在计算机或其它可编程装置上执行的指令提供用于实现流程图块中指定的功能的操作。
据此,流程图的块支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合,以用于执行指定功能。还应当理解的是,流程图的一个或多个块以及流程图中块的组合可以通过执行指定功能的基于专用硬件的计算机系统或者专用硬件和计算机指令的组合来实现。
在一些实施例中,上面操作中的某些可以被修改或进一步扩增。此外,在一些实施例中,可以包含附加的可选操作。对上面操作的修改、附加或放大可以以任何顺序和以任何组合来执行。
方法、装置25和计算机程序产品可以被利用在各种情景中。在一个实施例中,图像可以经由用户接口22或通信接口24被提供。备选地,图像可以由相机28实时捕获。
受益于前述描述和关联的附图中给出的教导的、这些发明所属领域的技术人员将会想到本文中阐述的发明的许多修改和其它实施例。因此,要理解的是,本发明并不限于所公开的特定实施例,并且那些修改和其它实施例旨在于被包含在所附权利要求的范围内。而且,虽然前述描述和关联的附图在元件和/或功能的特定示例组合的上下文中描述了示例实施例,但应当理解的是,不同的元件和/或功能组合可以由备选实施例提供,而不脱离所附权利要求的范围。在这点上,例如,与上面明确描述的那些不同的元件和/或功能组合还被认为可以在一些所附权利要求中被阐述。虽然本文中采用了特定术语,但它们仅仅在一般和描述性意义上被使用,而不是为了限制的目的。

Claims (35)

1.一种方法,包括:
接收主体面部图像;
针对所述主体面部图像的至少一个块中的相应像素确定统计特性测量结果;
将所述统计特性测量结果转换成特征矢量;以及
通过利用所述特征矢量,由处理器辨识所述主体面部图像的至少一个特质。
2.根据权利要求1所述的方法,其中所述至少一个特质包括至少年龄、性别或表情之一。
3.根据权利要求1所述的方法,其中所述特质是所述主体面部图像的身份,并且所述辨识包括通过比较所述特征矢量与多个已登记的特征矢量来辨识像所述主体面部图像的已登记的面部图像。
4.根据权利要求1所述的方法,进一步包括:
通过应用维度压缩矩阵压缩所述特征矢量;以及
通过应用所述维度压缩矩阵压缩所述已登记的特征矢量。
5.根据权利要求1所述的方法,其中:
所述转换进一步包括创建二进制数的至少一个柱状图,其中二进制数与唯一的统计特性测量值关联并且二进制数频率表示在所述唯一的统计特性测量值下测量的所述至少一个块中像素的数目。
6.根据权利要求5所述的方法,其中:
所述转换进一步包括将各自表示所述主体面部图像块的多个柱状图转换成多个矢量并且随后将所述多个矢量转换成所述特征矢量。
7.根据权利要求1所述的方法,进一步包括:
接收包括同一主体的至少多个面部图像的面部图像的训练组;
对所述训练组应用块分割;
在所述应用块分割之后将所述训练组中的图像分类;
利用所述分类的结果确定学习到的维度压缩矩阵;
接收包括同一主体的至少多个面部图像的面部图像的评估组;
对所述评估组应用所述块分割;
在所述块分割的应用之后将所述学习到的维度压缩矩阵应用到所述评估组;以及
基于将所述学习到的维度压缩应用到所述评估组的结果来评估所述块分割。
8.根据权利要求1所述的方法,进一步包括:
辨识其中至少一个块重叠另一块的面部图像的多个块。
9.根据权利要求1所述的方法,进一步包括:
为所述面部图像的块分配权重;和
将所述权重并入到所述特征矢量中。
10.根据权利要求9所述的方法,其中为所述面部图像的块分配权重进一步包括:
接收面部图像的训练组;
利用可变的块权重分析贯穿分类迭代的分类错误率中的改变;以及
通过分析块对所述分类错误率的影响确定理想权重。
11.根据权利要求1所述的方法,进一步包括:
辨识所述面部图像的多个关键点;
测量从像素到多个关键点的距离;以及
将所述像素和最靠近的关键点包含在块中。
12.根据权利要求1所述的方法,进一步包括:
为所述面部图像的面部特征点分配权重;和
在归一化所述面部图像中利用所述权重。
13.一种装置,包括至少一个处理器和包含计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置用于利用所述处理器使得所述装置至少:
接收主体面部图像;
针对所述主体面部图像的至少一个块中的相应像素确定统计特性测量结果;
将所述统计特性测量结果转换成特征矢量;以及
通过利用所述特征矢量,由处理器辨识所述主体面部图像的至少一个特质。
14.根据权利要求13所述的装置,其中所述至少一个特质包括至少年龄、性别或表情之一。
15.根据权利要求13所述的装置,其中所述特质是所述主体面部图像的身份,并且所述辨识包括通过比较所述特征矢量与多个已登记的特征矢量来辨识像所述主体面部图像的已登记的面部图像。
16.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
通过应用维度压缩矩阵压缩所述特征矢量;以及
通过应用所述维度压缩矩阵压缩所述已登记的特征矢量。
17.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置创建二进制数的至少一个柱状图,其中二进制数与唯一的统计特性值关联并且二进制数频率表示在所述唯一的统计特性值下测量的所述至少一个块中像素的数目。
18.根据权利要求17所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置将各自表示所述主体面部图像块的多个柱状图转换成多个矢量并且随后将所述多个矢量转换成所述特征矢量。
19.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
接收面部图像的训练组;
对所述训练组应用块分割;
在块分割的应用之后将所述训练组中的图像分类;
利用所述分类的结果确定学习到的维度压缩矩阵;
接收面部图像的评估组;
对所述评估组应用所述块分割;
在所述块分割的应用之后将所述学习到的维度压缩矩阵应用到所述评估组;以及
基于所述将所述学习到的维度压缩应用到所述评估组的结果来评估所述块分割。
20.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
辨识其中至少一个块重叠另一块的面部图像的多个块。
21.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
为所述面部图像的块分配权重;和
将所述权重并入到所述特征矢量中。
22.根据权利要求21所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
接收面部图像的训练组;
利用可变的块权重分析贯穿分类迭代的分类错误率中的改变;以及
通过分析块对所述分类错误率的影响确定理想权重。
23.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
辨识所述面部图像的多个关键点;
测量从像素到多个关键点的距离;以及
将所述像素和最靠近的关键点包括在块中。
24.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机程序代码进一步被配置用于利用所述处理器使得所述装置:
为所述面部图像的面部特征点分配权重;和
在归一化所述面部图像中利用所述权重。
25.一种计算机程序产品,包括其中存储有计算机可执行程序代码指令的至少一个非瞬态计算机可读存储介质,所述计算机可执行程序代码指令包括用于如下的程序代码指令:
接收主体面部图像;
针对所述主体面部图像的至少一个块中的相应像素确定统计特性测量结果;
将所述统计特性测量结果转换成特征矢量;以及
通过利用所述特征矢量,辨识所述主体面部图像的至少一个特质。
26.根据权利要求25所述的计算机程序产品,其中所述至少一个特质包括至少年龄、性别或表情之一。
27.根据权利要求25所述的计算机程序产品,其中所述特质是所述主体面部图像的身份,并且所述辨识包括通过比较所述特征矢量与多个已登记的特征矢量来辨识像所述主体面部图像的已登记的面部图像。
28.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
通过应用维度压缩矩阵压缩所述特征矢量;以及
通过应用所述维度压缩矩阵压缩所述已登记的特征矢量。
29.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于创建二进制数的至少一个柱状图的程序代码指令,其中二进制数与唯一的统计特性测量结果关联并且二进制数频率表示在所述唯一的统计特性测量结果下测量的所述至少一个块中像素的数目。
30.根据权利要求29所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于将各自表示所述主体面部图像块的多个柱状图转换成多个矢量并且随后将所述多个矢量转换成所述特征矢量的程序代码指令。
31.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
接收面部图像的训练组;
对所述训练组应用块分割;
在块分割的应用之后将所述训练组中的图像分类;
利用所述分类的结果确定学习到的维度压缩矩阵;
接收面部图像的评估组;
对所述评估组应用所述块分割;
在所述块分割的应用之后将所述学习到的维度压缩矩阵应用到所述评估组;以及
基于所述将所述学习到的维度压缩应用到所述评估组的结果来评估所述块分割。
32.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
辨识其中至少一个块重叠另一块的面部图像的多个块。
33.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
为所述面部图像的块分配权重;和
将所述权重并入到所述特征矢量中。
34.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
接收面部图像的训练组;
分析贯穿分类迭代的分类错误率中的改变;以及
通过测量块对所述分类错误率的影响确定所述权重。
35.根据权利要求25所述的计算机程序产品,其中所述计算机可执行程序代码指令包括用于如下的程序代码指令:
辨识所述面部图像的多个关键点;
测量从像素到多个关键点的距离;以及
将所述像素和最靠近的关键点包含在块中。
CN201280071403.4A 2012-03-13 2012-03-13 用于改善的面部识别的方法和装置 Expired - Fee Related CN104169943B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/072286 WO2013134932A1 (en) 2012-03-13 2012-03-13 A method and apparatus for improved facial recognition

Publications (2)

Publication Number Publication Date
CN104169943A true CN104169943A (zh) 2014-11-26
CN104169943B CN104169943B (zh) 2018-03-23

Family

ID=49160229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071403.4A Expired - Fee Related CN104169943B (zh) 2012-03-13 2012-03-13 用于改善的面部识别的方法和装置

Country Status (4)

Country Link
US (1) US10248848B2 (zh)
EP (1) EP2825996A4 (zh)
CN (1) CN104169943B (zh)
WO (1) WO2013134932A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801207A (zh) * 2019-01-08 2019-05-24 桂林电子科技大学 Cpu-fpga协同的影像特征高速检测与匹配系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
CN104850818B (zh) * 2014-02-17 2018-05-18 华为技术有限公司 人脸检测器训练方法、人脸检测方法及装置
US9405965B2 (en) * 2014-11-07 2016-08-02 Noblis, Inc. Vector-based face recognition algorithm and image search system
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端
CN104966046B (zh) * 2015-05-20 2017-07-21 腾讯科技(深圳)有限公司 一种人脸关键点位定位结果的评估方法,及评估装置
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual
US10482336B2 (en) 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
US11093796B2 (en) 2017-03-29 2021-08-17 International Business Machines Corporation Entity learning recognition
US11087144B2 (en) * 2018-10-10 2021-08-10 Harman International Industries, Incorporated System and method for determining vehicle data set familiarity

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086593A1 (en) * 2001-05-31 2003-05-08 Chengjun Liu Feature based classification
US7203346B2 (en) * 2002-04-27 2007-04-10 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7321670B2 (en) * 2002-11-04 2008-01-22 Samsung Electronics Co., Ltd. System and method for detecting face
GB2452513A (en) * 2007-09-05 2009-03-11 Sony Corp Image recognition including modifying width of image
CN102194106A (zh) * 2011-05-11 2011-09-21 西安理工大学 一种用于门禁系统中的人脸识别方法
US20110293189A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Facial Analysis Techniques
CN102324022A (zh) * 2011-09-05 2012-01-18 辽宁工程技术大学 一种基于复合梯度向量的人脸识别方法
CN102640168A (zh) * 2009-12-31 2012-08-15 诺基亚公司 用于基于局部二进制模式的面部特征定位的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391889B2 (en) 2002-10-15 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature vector used for face recognition and retrieval
KR100601989B1 (ko) 2005-02-07 2006-07-18 삼성전자주식회사 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체
US7817826B2 (en) 2005-08-12 2010-10-19 Intelitrac Inc. Apparatus and method for partial component facial recognition
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
TWI382354B (zh) 2008-12-02 2013-01-11 Nat Univ Tsing Hua 臉部辨識方法
US8571273B2 (en) * 2009-05-22 2013-10-29 Nokia Corporation Method and apparatus for performing feature extraction using local primitive code
CN102147862B (zh) * 2011-05-26 2012-08-29 电子科技大学 一种基于生存指数熵的人脸特征提取方法
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US10748325B2 (en) * 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086593A1 (en) * 2001-05-31 2003-05-08 Chengjun Liu Feature based classification
US7203346B2 (en) * 2002-04-27 2007-04-10 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7321670B2 (en) * 2002-11-04 2008-01-22 Samsung Electronics Co., Ltd. System and method for detecting face
GB2452513A (en) * 2007-09-05 2009-03-11 Sony Corp Image recognition including modifying width of image
CN102640168A (zh) * 2009-12-31 2012-08-15 诺基亚公司 用于基于局部二进制模式的面部特征定位的方法和设备
US20110293189A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Facial Analysis Techniques
CN102194106A (zh) * 2011-05-11 2011-09-21 西安理工大学 一种用于门禁系统中的人脸识别方法
CN102324022A (zh) * 2011-09-05 2012-01-18 辽宁工程技术大学 一种基于复合梯度向量的人脸识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801207A (zh) * 2019-01-08 2019-05-24 桂林电子科技大学 Cpu-fpga协同的影像特征高速检测与匹配系统
CN109801207B (zh) * 2019-01-08 2023-05-30 桂林电子科技大学 Cpu-fpga协同的影像特征高速检测与匹配系统

Also Published As

Publication number Publication date
US10248848B2 (en) 2019-04-02
EP2825996A4 (en) 2017-03-08
US20150055834A1 (en) 2015-02-26
CN104169943B (zh) 2018-03-23
WO2013134932A1 (en) 2013-09-19
EP2825996A1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104169943A (zh) 用于改善的面部识别的方法和装置
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN108229296B (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN107633204B (zh) 人脸遮挡检测方法、装置及存储介质
CN108416324B (zh) 用于检测活体的方法和装置
CN111931592B (zh) 对象识别方法、装置及存储介质
CN101558431B (zh) 脸认证设备
US8750573B2 (en) Hand gesture detection
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
EP2608108A1 (en) Face feature vector construction
CN107609506B (zh) 用于生成图像的方法和装置
CN107633205B (zh) 嘴唇动作分析方法、装置及存储介质
CN107679448A (zh) 眼球动作分析方法、装置及存储介质
CN107679475B (zh) 门店监控评价方法、装置及存储介质
CN109829448A (zh) 人脸识别方法、装置及存储介质
CN102253995B (zh) 一种利用位置信息实现图像搜索的方法和系统
CN110555417A (zh) 一种基于深度学习的视频图像识别系统及方法
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN112668482B (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN111783896A (zh) 一种基于核方法的图像识别方法及系统
CN110110666A (zh) 目标检测方法和装置
CN108615006A (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160119

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180323

Termination date: 20200313

CF01 Termination of patent right due to non-payment of annual fee