CN101809619B - 属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法 - Google Patents

属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法 Download PDF

Info

Publication number
CN101809619B
CN101809619B CN200880109502.0A CN200880109502A CN101809619B CN 101809619 B CN101809619 B CN 101809619B CN 200880109502 A CN200880109502 A CN 200880109502A CN 101809619 B CN101809619 B CN 101809619B
Authority
CN
China
Prior art keywords
age
mark
estimated
estimation unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880109502.0A
Other languages
English (en)
Other versions
CN101809619A (zh
Inventor
植木一也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of CN101809619A publication Critical patent/CN101809619A/zh
Application granted granted Critical
Publication of CN101809619B publication Critical patent/CN101809619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了属性估计系统和的方法，其中，没有估计精度在特定的数值区域中降低的情况，并且提供了使用该属性估计系统和方法的年龄估计系统、性别估计系统与年龄和性别估计系统。其是用于估计在输入图像中被拍摄的人的年龄的系统，该系统包括：分类器3，其根据输入图像的数据来将人的年龄估计为离散量；分类器4，其根据输入图像的数据来将人的年龄估计为连续量；以及，结合单元7，其结合分类器3的估计结果和分类器4的估计结果。

Description

属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法
技术领域
本发明涉及属性估计系统，所述属性估计系统估计不可能物理地测量的值，本发明具体地涉及属性估计系统和属性估计方法，其中，没有估计精度在特定的数值区域中降低的情况，本发明并且具体地涉及使用所述属性估计系统和属性估计方法的年龄估计系统、性别估计系统与年龄和性别估计系统。
背景技术
作为一种根据从输入信息提取的特征来估计不可能物理地测量的值的系统，存在一种通过下述方式来估计人的年龄和性别的系统：从输入图像数据提取所述人的特征，并且将所提取的特征与预先学习的数据相比较。
例如，如图1中所示，一种系统相关，所述系统具有：特征提取单元，用于从输入图像提取特征；以及，分类器，其通过比较所提取的特征与预先学习的数据来估计年龄。
在上述的相关系统中，作为处理所提取的特征以估计年龄的分类器，存在像在专利文件1中公开的发明那样的将估计的结果处理为离散量的情况和像在专利文件2中公开的发明那样的将估计的结果处理为连续量的情况。
[专利文件1]日本专利申请特开No.2007-58828
[专利文件2]日本专利申请特开No.2005-148880
发明内容
本发明要解决的问题
当估计结果被处理为离散量时，估计结果被输出为用于指示其对应于被划分为年龄组的类的哪个的数据。例如，当年龄被划分为被分类为0多岁(0-9岁大)、10多岁(10-19岁大)、20多岁(20-29岁大)、30多岁(30-39岁大)、40多岁(40-49岁大)、50多岁(50-59岁大)和不小于60(60岁大或者更大)的多个类时，选择诸如“20多岁”或者“50多岁”的类名号之一，并且将其输出为估计结果。
但是，在这种情况下，存在如何划分年龄组的问题。例如，存在关于划分所述类的宽度或者关于划分年龄组的基准(中间值)的问题(例如，即时使用与上述的示例分类相同的10岁大宽度，也可以考虑诸如15-24岁大的分类)。
而且，当分隔20多岁(20-29岁大)和30多岁(30-39岁大)时，存在整体精度降低的问题，因为强制要分隔没有大区别的诸如29岁大和30岁大这样的两个年龄的数据。
当不能从图像提取特定特征时，容易出现图像容易被分类为的类和图像不容易被分类为的类。即，虽然可以对于少年组和老年组(其中容易观察特定特征)精确地估计年龄，但是难以对于年轻一代组和中年组(其中不容易观察特定特征)精确地估计。因此，当将估计结果处理为离散量的系统被应用到在商店等中的客户基础分析时，诸如少年组和老年组这样的特定类的输出提高，而诸如年轻一代组和中年组这样的特定类的输出降低，并且作为结果，不能精确地分析客户基础。
另一方面，当将估计结果处理为连续量时，因为分类器学习以便可以在学习阶段最小化残余误差，因此当试图改善整体性能时，出现估计结果向中心移动的趋势。即，存在下述趋势：年龄比平均年龄越年轻，则将所述年龄估计得越老，并且年龄比平均年龄越老，则将所述年龄估计得越年轻，因此，难以精确地估计少年组和老年组的年龄。
因此，存在下述问题：在上述的相关技术中，在特定年龄组中的人的年龄的估计精度变低。
已经鉴于上述问题做出了本发明，本发明的目的是提供一种属性估计系统和方法，其中，不存在在特定的数值区中的估计精度降低的情况，和提供使用上述系统和方法的一种年龄估计系统、一种性别估计系统与一种年龄和性别估计系统。
用于解决问题的手段
为了实现上述目的，作为第一方面，本发明提供了一种属性估计系统，其是用于估计关于至少一个输入数据的属性的系统，并且其包括：第一估计部件，其根据所述输入数据将所述属性估计为离散量；第二估计部件，其根据所述输入数据将所述属性估计为连续量；以及，结合部件，其将所述第一估计部件的估计结果与所述第二估计部件的估计结果相结合。
而且，为了实现上述目的，作为第二方面，本发明提供了一种使用根据本发明的上述第一方面的属性估计系统的年龄估计系统，其中，至少一个输入数据是图像数据，并且所述属性是在所述图像中被拍摄的人的年龄。
为了实现上述目的，作为第三方面，本发明提供了一种使用根据本发明的上述第一方面的属性估计系统的性别估计系统，其中，至少一个输入数据是图像数据，并且所述属性是在所述图像中被拍摄的人的性别。
为了实现上述目的，作为第四方面，本发明提供了一种使用根据本发明的上述第一方面的属性估计系统的年龄和性别估计系统，其中，至少一个输入数据是图像数据，并且所述属性是在所述图像中被拍摄的人的年龄和性别。
为了实现上述目的，作为第五方面，本发明提供了一种用于估计关于至少一个输入数据的属性的属性估计方法，包括：第一估计步骤，用于根据输入数据来将属性估计为离散量；第二估计步骤，用于根据输入数据将所述属性估计为连续量；以及，结合步骤，用于将在所述第一估计步骤中的估计结果和在所述第二估计步骤中的估计结果相结合。
本发明的有益效果
根据本发明，可以提供一种属性估计系统和一种其中没有在特定的数值区中的估计精度降低的情况的方法以及使用上述系统和方法的一种估计系统、一种性别估计系统与一种年龄和性别估计系统。
具体实施方式
如图2中所示，根据本发明的一种属性估计系统是用于估计与至少一个输入数据相关的属性的系统，所述系统包括：第一估计单元，其根据输入数据将所述属性估计为离散量；第二估计单元，其根据输入数据将所述属性估计为连续量；以及，结合单元，其将所述第一估计单元的估计结果与所述第二估计单元的估计结果相结合。以下，将其中输入数据是图像数据并且要估计的属性是年龄的情况作为示例，将描述优选实施例。
[第一示例性实施例]
将说明适当地实施了本发明的第一示例性实施例。
在图3中示出了根据这个示例性实施例的年龄估计系统的结构。
这种系统具有特征提取单元1和2、分类器3和4、分数产生单元5和6以及结合单元7。可使用专用硬件来构成这些单元的每个，并且也可以通过软件处理来在计算机上实现这些单元。
特征提取单元1从输入图像中提取被分类器3用于估计年龄的特征。特征提取单元2从输入图像中提取由分类器4用于估计年龄的特征。分类器3存储已经预先学习的标准数据，并且使用由所述特征提取单元1从输入图像提取的特征和所述标准数据将在输入图像上的人的年龄估计为离散量。分类器4存储已经预先学习的标准数据，并且使用由特征提取单元2从输入图像提取的特征和所述标准数据将在输入图像上的人的年龄估计为连续量。分数产生单元5产生从分类器3输出的估计结果(离散量)的分数。分数产生单元6产生从分类器4输出的估计结果(连续量)的分数。结合单元7将从分数产生单元5和6的每个输出的分数相结合。同时，分数是用于指示从分类器输出的特定估计结果(离散量和连续量)和年龄信息(估计的目标人的实际年龄和显现年龄)的相关性的值。将在下面的说明的后面部分中说明分数产生的处理的细节。
注意，特征提取单元1、分类器3和分数产生单元5对应于在图2中的第一估计单元51。而且，特征提取单元2、分类器4和分数产生单元6对应于在图2中的第二估计单元52。结合单元7对应于在图2中的结合单元53。
可以向用于使用已经由分类器3和4学习的标准数据来从特征估计人的年龄的处理应用公知的方法。可以向将人的年龄估计为离散量的分类器3应用技术，诸如线性判别分析(线性判别分析：LDA)、混合高斯分布模型(高斯混合模型：GMM)和支持向量机器。可以向将人的年龄估计为连续量的分类器4应用技术，诸如多重回归分析、中性网络和支持向量回归。
可以向其中特征提取单元1和2从输入图像提取特征的处理应用公知方法，更具体地，可以应用诸如边缘检测和二值化这样的技术。
将说明从作为从分类器3输出的估计结果的离散量产生分数的分数产生单元5的处理。如上所述，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在矩形坐标系统(其中将年龄作为另一个轴)中被指示为线性函数。在图4A、图4B和图4C中示出了当分类器3选择任何类并且输出估计结果时产生分数的示例。在这些附图中的图形的垂直轴表示离散量的分数Sc，并且水平轴表示年龄。在此，当已经从分类器3输出“20多岁”的离散量作为估计结果时的情况作为示例被示出。
在图4A的情况下，产生分数使得其对于不小于20岁和对应于20多岁的小于30岁的年龄是固定值。在图4B的情况下，产生分数使得最高值被分配到作为20多岁的类中的中间值的25岁，并且在所述中间值和年龄之间的距离越大，则所述分数以线性方式降低得越多。在图4C的情况下，产生分数使得其具有以作为20多岁的类中的中间值的25岁为中心的正态分布的形状。
在图5A、图5B和图5C中示出了当分类器3输出估计结果作为与每类对应的概率时产生分数的示例。像图4A、图4B和图4C那样，在这些图中的图形的垂直轴表示离散量的分数Sc，并且水平轴表示年龄。在此，下述情况作为示例被示出：对于0多岁为10％、对于10多岁为20％、对于20多岁为50％、对于30多岁为10％、对于40多岁为5％并且对于50多岁为5％的估计结果被输出为离散量。
在图5A的情况下，产生分数使得其根据每类的概率对于在一类中的年龄是固定值。在图5B的情况下，产生分数使得在每类的中间值是最大，并且在所述中间值和年龄之间的距离越大，则所述分数以线性方式降低得越多。在图5C的情况下，产生分数使得其具有以每类的中间值为中心的正态分布。
在图6A、图6B和图6C中示出了分数产生单元6的处理的示例。在这些图中的图形的垂直轴表示连续量的分数，并且水平轴表示年龄。在图6A的情况下，可以产生分数使得其对于分类器4的输出值的±α的范围中的年龄是固定值。而且，在图6B的情况下，可以产生分数使得分类器4的输出值的分数值最高，并且在输出值和年龄之间的距离越大，则年龄的分数以线性方式降低得越多。在图6C的情况下，可以产生分数使得其具有以分类器4的输出值为中心的正态分布。
结合单元7将分别从分数产生单元5和6输入的Sc和Sr相结合。
如图7A、图7B和图7C中所示，其中通过将离散量的分数Sc(图7C)和连续量的分数Sr(图7B)相结合而获得的在结合后的分数St(图7C)取峰值的年龄被输出为结合结果。
而且，在结合时，可以根据分类器3和4的精度来执行加权。即，当分类器3和4的加权分别被称为Wc和Wr时，在结合后的分数St被表示为St＝Wc*Sc+Wr*Sr。
因此，在分类器3和4之一比另一个更高度精确的情况下，估计精度通过使得所述更精确的分类器的加权更大而改善。
而且，通过改变每类的加权来改善估计精度。例如，因为处理离散量的分类器3在少年组和老年组的估计上更精确，因此年龄估计的精度通过使得这些类的加权大而提高。具体上，当分类器3在“X多岁”中的加权被表示为Wc(X)时，通过设置Wc(0)＝1.0、Wc(10)＝0.5、Wc(20)＝0.3、Wc(30)＝0.3、Wc(40)＝0.3、Wc(50)＝0.5和Wc(60)＝1.0，改善了少年组和老年组的年龄估计的精度。
虽然其中计算分数St(通过将连续量的分数Sr和离散量的分数Sc相结合而被获得)取最大值的年龄被计算为连续量，但可使得结合单元7的输出成为离散量。作为用于将结合单元7的输出转换为离散量的方法，存在一种将其中分数St取最大值的年龄所属的类当作结合结果的方法和一种用于将其中作为在逐类基础上结合分数St的结果的其区域变得最大的类当作结合结果的方法。在图8的示例中，在前一种方法的情况下的“10多岁”和在后一种方法的情况下的“20多岁”将作为结合结果的离散量被从结合单元7输出。
虽然可以使用两种方法，后一种方法在估计精度的稳定性上更佳。
因此，因为根据这个示例性实施例的年龄估计系统结合了作为离散量获得的估计结果和作为连续量获得的估计结果，所以没有特定年龄组的估计的精度变低的情况。
而且，通过在向它们提供加权的同时将基于作为离散量获得的估计结果的分数和基于作为连续量获得的估计结果的分数相结合，可进一步改善估计精度。在这种情况下，可以通过根据类来改变加权而使得估计精度更高。
[第二示例性实施例]
将说明其中适当地实施本发明的第二示例性实施例。
在图9中示出了根据这个示例性实施例的估计系统的结构。虽然其是几乎与第一示例性实施例的结构类似的结构，但是分数产生单元5和6可以参见分类器3和4的每个用于年龄的估计的标准数据。
特征提取单元1和2和结合单元7的处理与第一示例性实施例的相同。
在这个示例性实施例中，分数产生单元5参考分类器3的标准数据来产生估计结果的分数。当在用于学习的标准数据中包括年龄信息来作为参数时，可以通过执行分类器3的标准数据的反查找来提取被估计为属于特定年龄组的人的年龄信息的分布。因此，分数产生单元5从分类器3的标准数据提取应当被估计为特定年龄组的数据，并且将其分布输出为年龄组的分数，如图10A中所示。
类似地，分数产生单元6参考分类器4的标准数据来产生估计结果的分数。当在用于学习的标准数据中包括年龄信息来作为参数时，可以通过执行分类器4的标准数据的反查找来提取被估计为属于特定年龄组的人的年龄信息。因此，分数产生单元6从分类器4的标准数据提取应当被估计为在特定年龄的±α范围中的数据，并且将其分布输出为年龄的分数，如图10B中所示。
被估计在特定的年龄组中的人的年龄信息可以不是相对于所述年龄组的中间值对称的分布。例如，被估计在其20多岁的人的年龄信息的分布一般变得大于作为中间值的25的年龄，因为存在比第一种情况更多的第二种情况，在所述第一种情况中，在他的/她的10多岁(其中特定特征容易显现的年龄组)的人被估计为在他的/她的20多岁，在所述第二种情况中，在他的/她的30多岁(其中特定特征不容易显现的年龄组)的人被估计为在他的/她的20多岁。在连续量的情况下这也类似，并且被估计在特定年龄的人的年龄信息可能不是相对于年龄的对称分布。
在这个示例性实施例中，可更精确地估计年龄，因为使用用于年龄的估计的标准数据来产生离散量和连续量的分数。
像如图10C中所示的第一示例性实施例那样，在结合单元7中结合了离散量和连续量的分数，并且结合结果被输出为离散量或者连续量。
而且，虽然已经在此描述了其中基于由分类器3和4用于年龄的估计的标准数据来产生分数的情况，但是，当存在分类器3和4还没有学习的测量数据(包括在年龄信息和估计结果之间的关系)时，分数产生单元5和6可以执行根据其来产生分数的处理，如图11中所示。
[第三示例性实施例]
将说明其中适当地实施了本发明的第三示例性实施例。
在图12中示出了根据这个示例性实施例的年龄估计系统的结构。在这个示例性实施例中，提供了两个分类器(4a和4b)，它们将人的年龄估计为连续量，并且分别输出由特征提取单元2提取的特征量A和B。
注意，特征提取单元1、分类器3和分数产生单元5对应于在图2中的第一估计单元51。而且，特征提取单元2、分类器4a、4b和分数产生单元6对应于在图2中的第二估计单元52。结合单元7对应于在图2中的结合单元53。
分数产生单元6分别根据从分类器4a和4b输入的估计结果来输出连续量的分数Sr。
在图13A、图13B和图13C中示出了分数产生单元6的处理的示例。分数产生单元6组合基于从分类器4a(图13A)输入的估计结果的分数和基于从分类器4b(图13B)输入的估计结果的分数，并且计算连续量的分数Sr(图13C)。
像第一示例性实施例那样，在结合单元7中将组合的连续量的分数与离散量的分数相结合，并且从结合单元7输出结合结果来作为离散量或者连续量。
因此，通过经由组合从多个分类器输出的估计结果而产生分数，减少了测量误差，并且改善了估计精度。
同时，虽然在此作为示例已经描述了其中特征提取单元2提取两个特征量来输入到分立的分类器4a和4b的结构，但是，可以如图14中所示提供多个特征提取单元本身，或者可以如图15中所示向分立的分类器输入相同的特征。当向不同的分类器输入同一特征时，获得类似的效果，因为当所学习的标准数据不同时，输出的估计结果不同。
虽然在此作为示例描述了已经将组合两个分类器的估计结果的情况，但是不必说，所述结构可以使得组合不小于3个分类器的估计结果。
[第四示例性实施例]
将说明其中适当地实施了本发明的第四示例性实施例。
在图16中示出了根据这个示例性实施例的年龄估计系统的结构。在这个示例性实施例中，提供了两个分类器(3a和3b)，它们将人的年龄估计为离散量，并且分别输出由特征提取单元2提取的特征量C和D。
注意，特征提取单元1、分类器3a、3b和分数产生单元5对应于在图1中的第一估计单元51。而且，特征提取单元2、分类器和分数产生单元6对应于在图1中的第二估计单元52。结合单元7对应于在图1中的结合单元53。
分数产生单元5分别基于从分类器3a和3b输入的估计结果来输出离散量的分数Sc。
因为除了组合的目标之外第四示例性实施例与第三示例性实施例相同，因此将省略重复的说明。
[第五示例性实施例]
将说明其中适当地实施了本发明的第五示例性实施例。
在图17中示出了根据这个示例性实施例的年龄估计系统的结构。这个系统包括特征提取单元11、12、21和22、分类器13、14、23和24、分数产生单元15、16、25和26与结合单元17。
第一输入图像被输入到特征提取单元11和12，并且第二输入图像被输入到特征提取单元21和22。特征提取单元11和21类似于第一示例性实施例的特征提取单元1，特征提取单元12和22类似于第一示例性实施例的特征提取单元2，分类器13和23类似于第一示例性实施例的分类器3，分类器14和24类似于第一示例性实施例的分类器4，分数产生单元15和25类似于第一示例性实施例的分数产生单元5，分数产生单元16和26类似于第一示例性实施例的分数产生单元6，并且结合单元17类似于第一示例性实施例的结合单元7。
根据这个示例性实施例的年龄估计系统分别基于输入图像1计算离散量的分数Sc1和连续量的分数Sr1以及基于输入图像2计算离散量的分数Sc2和连续量的分数Sr2，并且通过将这些结合来获得估计结果。
因为在每个部分中的处理与上述示例性实施例的每个的处理相同，因此将省略其说明。
因为根据这个示例性实施例的年龄估计系统基于多个图像而估计年龄，因此，即使当任何一个图像的拍摄条件不良并且不能良好地提取特征时，也可以从其他图像估计年龄，并且因此，年龄估计的精度变高。
虽然已经描述了存在两个输入图像的情况，但是通过布置结构使得输入图像的数量与将年龄估计为离散量的处理系统和将年龄估计为连续量的处理系统的对的数量相同，有可能通过像上述示例那样将基于每个输入图像做出的估计结果相结合来改善估计精度。
而且，每个上述示例性实施例是本发明的适当实施方式的示例，并且本发明不限于此。
例如，在每个上述的示例性实施例中，虽然已经作为示例描述了将基于输入图像来估计人的年龄的情况，但是可以取代年龄而估计人的性别。在这种情况下，通过将女人的性别数字化为“1”并且将男人的性别数字化为“0”，可以像年龄的情况那样将其估计为离散量和连续量。如图18中所示，通过并行地执行与上面所述的示例性实施例的每个相同的处理，可以同时估计人的年龄和性别。
被作为估计基础的数据不限于图像，并且其可以是语音等，并且其可以是不少于两种形式的数据的组合(例如语音+图像)。
因此，本发明的各种修改是可能的。
本申请要求基于在2007年9月28日提交的日本专利申请No.2007-254295的优先权，其公开通过引用而被整体包含在此。
附图说明
图1是示出与本发明相关的年龄估计系统的结构的图；
图2是示出根据本发明的属性估计系统的结构的图；
图3是示出其中适当地实施本发明的第一示例性实施例的年龄估计系统的结构的图；
图4A、图4B和图4C是示出用于产生离散量的分数的示例的图；
图5A、图5B和图5C是示出用于产生离散量的分数的示例的图；
图6A、图6B和图6C是示出用于产生连续量的分数的示例的图；
图7A、图7B和图7C是示出离散量的分数和连续量的分数的结合的示例的图；
图8是示出其中将结合结果改变为离散量的处理的示例的图；
图9是示出其中适当地实施本发明的第二示例性实施例的年龄估计系统的结构的图；
图10A、图10B和图10C是示出使用标准数据来产生分数的示例的图；
图11是示出根据还没有被分类器学习的测量数据来产生分数的系统的示例构造的图；
图12是示出其中适当地实施本发明的第三示例性实施例的年龄估计系统的结构的图；
图13A、图13B和图13C是示出其中组合来自多个分类器的估计结果的分数的处理的示例的图；
图14是示出根据第三示例性实施例的年龄估计系统的不同结构的图；
图15是示出根据第三示例性实施例的年龄估计系统的不同结构的图；
图16是示出其中适当地实施本发明的第四示例性实施例的年龄估计系统的结构的图；
图17是示出其中适当地实施本发明的第五示例性实施例的年龄估计系统的结构的图；并且
图18是示出用于估计性别以及年龄的系统的结构的图。
附图标号的说明
1，2，11，12，21，22，31，32，41，42  特征提取单元；
3，4，13，14，23，24，33，34，43和44  识别单元；
5、6、15、16、25和26  分数产生单元；
7，17，37，47和53     结合单元；
51  第一估计单元；以及
52  第二估计单元

Claims (19)

1.一种基于至少为图像或语音或不少于图像和语音这两种形式的数据来估计年龄的年龄估计系统，包括：
第一估计单元，包括至少一个第一特征提取单元，所述第一特征提取单元从所述数据提取至少一个用于估计年龄的第一特征，并且所述第一估计单元基于所述用于估计年龄的第一特征和已经预先学习的标准数据将所述年龄估计为离散量；
第二估计单元，包括至少一个第二特征提取单元，所述第二特征提取单元从所述数据提取至少一个用于估计年龄的第二特征，并且所述第二估计单元基于所述用于估计年龄的第二特征和已经预先学习的标准数据将所述年龄估计为连续量；
分数产生单元，用于产生所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在将年龄作为另一个轴的矩形坐标系统中被指示为线性函数；
结合单元，所述结合单元基于通过将所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数相结合而获得的分数来输出估计年龄。
2.根据权利要求1的年龄估计系统，其中，所述分数产生单元在所述第一估计单元选择任何类并且输出估计结果时产生分数，使得分数对于所选择的类中的年龄是固定值。
3.根据权利要求1的年龄估计系统，其中，所述分数产生单元在所述第一估计单元选择任何类并且输出估计结果时产生分数，使得分数的最高值被分配给所选择的类中的中间值，并且所述中间值和年龄之间的距离越大，则所述分数在线性函数中降低得更多。
4.根据权利要求1的年龄估计系统，其中，所述分数产生单元参考所述第一估计单元的所述标准数据产生所述第一估计单元的估计结果的分数，并且当在用于学习的标准数据中包括年龄信息作为参数时通过执行所述标准数据的反查找来提取被估计为属于特定年龄组的人的年龄信息的分布，以从所述标准数据提取应当被估计为特定年龄组的数据，并且将其分布输出为年龄组的分数。
5.根据权利要求1的年龄估计系统，其中，所述分数产生单元在所述第一估计单元输出估计结果作为与每类对应的概率时产生分数，使得分数基于与每类对应的概率对于在一个类中的年龄是固定值。
6.根据权利要求1的年龄估计系统，其中，所述分数产生单元在所述第一估计单元输出估计结果作为与每类对应的概率时产生分数，使得所述分数在每一类的中间值变得最大，并且在所述中间值和年龄之间的距离越大，则所述分数以线性方式降低得越多，所述类的每一个都指示预定年龄组。
7.根据权利要求1的年龄估计系统，其中，所述分数产生单元产生所述第二估计单元的估计结果的分数使得分数对于所述第二估计单元的输出值的±α范围内的年龄是固定值。
8.根据权利要求1的年龄估计系统，其中，所述分数产生单元产生所述第二估计单元的估计结果的分数，使得所述估计结果的分数值最高，并且在所述第二估计单元的估计结果和年龄之间的距离越大，则年龄的分数在线性函数中降低得越多。
9.根据权利要求1的年龄估计系统，其中，所述分数产生单元参考所述第二估计单元的所述标准数据产生所述第二估计单元的估计结果的分数，并且当在用于学习的标准数据中包括年龄信息作为参数时通过执行所述标准数据的反查找来提取被估计为属于特定年龄组的人的年龄信息，以从所述标准数据提取应当被估计为在特定年龄的±α范围内的数据，并且将其分布输出为年龄的分数。
10.根据权利要求1的年龄估计系统，其中，所述至少为图像或语音或不少于图像和语音这两种形式的数据是图像数据，并且在所述图像中被拍摄的人的年龄被估计。
11.根据权利要求1的年龄估计系统，其中，所述至少为图像或语音或不少于图像和语音这两种形式的数据是多个图像数据，并且已经在所述多个图像中共同地被拍摄的人的年龄被估计。
12.根据权利要求10的年龄估计系统，其中，所述至少为图像或语音或不少于图像和语音这两种形式的数据是语音数据。
13.根据权利要求1的年龄估计系统，其中，所述结合单元将在下述结合结果中取峰值的年龄输出为估计年龄，所述结合结果是所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数的结合结果。
14.根据权利要求1的年龄估计系统，其中，所述结合单元将结合后的分数取最大值的年龄所属的类当作结合结果。
15.根据权利要求1的年龄估计系统，其中，所述结合单元对于每个类执行结合结果的结合计算，所述结合结果是所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数的结合结果，所述每个类指示预定年龄组，并且将其中作为在逐类基础上结合分数的值的结果的分数区域变得最大的类输出为估计年龄。
16.一种基于至少为图像或语音或不少于图像和语音这两种形式的数据来估计年龄的年龄估计系统，包括：
第一估计单元，包括至少一个第一特征提取单元，所述第一特征提取单元从所述数据提取至少一个用于估计年龄的第一特征，并且所述第一估计单元基于所述用于估计年龄的第一特征和已经预先学习的标准数据将所述年龄估计为离散量；
第二估计单元，包括至少一个第二特征提取单元，所述第二特征提取单元从所述数据提取至少一个用于估计年龄的第二特征，并且所述第二估计单元基于所述用于估计年龄的第二特征和已经预先学习的标准数据将所述年龄估计为连续量；
分数产生单元，用于产生所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在所述第一估计单元选择任何类并且输出估计结果时被指示为以所选择的类中的中间值为中心的正态分布的形状；
结合单元，所述结合单元基于通过将所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数相结合而获得的分数来输出估计年龄。
17.一种基于至少为图像或语音或不少于图像和语音这两种形式的数据来估计年龄的年龄估计系统，包括：
第一估计单元，包括至少一个第一特征提取单元，所述第一特征提取单元从所述数据提取至少一个用于估计年龄的第一特征，并且所述第一估计单元基于所述用于估计年龄的第一特征和已经预先学习的标准数据将所述年龄估计为离散量；
第二估计单元，包括至少一个第二特征提取单元，所述第二特征提取单元从所述数据提取至少一个用于估计年龄的第二特征，并且所述第二估计单元基于所述用于估计年龄的第二特征和已经预先学习的标准数据将所述年龄估计为连续量；
分数产生单元，用于产生所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在所述第一估计单元输出估计结果作为与每类对应的概率时被指示为以每类的中间值为中心的正态分布的形状；
结合单元，所述结合单元基于通过将所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数相结合而获得的分数来输出估计年龄。
18.一种基于至少为图像或语音或不少于图像和语音这两种形式的数据来估计年龄的年龄估计系统，包括：
第一估计单元，包括至少一个第一特征提取单元，所述第一特征提取单元从所述数据提取至少一个用于估计年龄的第一特征，并且所述第一估计单元基于所述用于估计年龄的第一特征和已经预先学习的标准数据将所述年龄估计为离散量；
第二估计单元，包括至少一个第二特征提取单元，所述第二特征提取单元从所述数据提取至少一个用于估计年龄的第二特征，并且所述第二估计单元基于所述用于估计年龄的第二特征和已经预先学习的标准数据将所述年龄估计为连续量；
分数产生单元，用于产生所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在产生所述第二估计单元的估计结果的分数时被指示为以所述第二估计单元的估计结果为中心的正态分布；
结合单元，所述结合单元基于通过将所述第一估计单元的估计结果的分数和所述第二估计单元的估计结果的分数相结合而获得的分数来输出估计年龄。
19.一种年龄估计方法，用于基于至少为图像或语音或不少于图像和语音这两种形式的数据来估计年龄，所述方法包括：
通过第一估计单元从用于估计年龄的所述数据提取至少一个用于估计年龄的第一特征；
基于所述至少一个用于估计年龄的第一特征以及所述第一估计单元已经预先学习的标准数据将所述年龄估计为离散量；
通过第二估计单元从用于估计年龄的所述数据提取至少一个用于估计年龄的第二特征；
基于所述至少一个用于估计年龄的第二特征以及第二估计单元已经预先学习的标准数据将所述年龄估计为连续量；
通过分数产生单元产生第一估计单元的估计结果的分数和第二估计单元的估计结果的分数，所述分数是用于指示在特定的估计结果和年龄信息之间的相关性的值，并且所述分数在将年龄作为另一个轴的矩形坐标系统中被指示为线性函数；
基于通过由结合单元将被估计为离散量的结果的分数和被估计为连续量的结果的分数相结合而获得的分数，输出估计年龄。
CN200880109502.0A 2007-09-28 2008-09-18 属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法 Active CN101809619B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-254295 2007-09-28
JP2007254295A JP4273359B2 (ja) 2007-09-28 2007-09-28 年齢推定システム及び年齢推定方法
PCT/JP2008/066878 WO2009041349A1 (ja) 2007-09-28 2008-09-18 物性値推定システム、年齢推定システム、性別推定システム、年齢・性別推定システム及び物性値推定方法

Publications (2)

Publication Number Publication Date
CN101809619A CN101809619A (zh) 2010-08-18
CN101809619B true CN101809619B (zh) 2014-09-10

Family

ID=40511234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880109502.0A Active CN101809619B (zh) 2007-09-28 2008-09-18 属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法

Country Status (4)

Country Link
US (1) US8676740B2 (zh)
JP (1) JP4273359B2 (zh)
CN (1) CN101809619B (zh)
WO (1) WO2009041349A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5287333B2 (ja) * 2008-02-25 2013-09-11 オムロン株式会社 年令推定装置
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
JP4742192B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置及び方法並びにプログラム
JP5612696B2 (ja) * 2009-10-16 2014-10-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 通信ネットワーク内のサービス品質結果の特定及びアクセスのためのネットワーク管理システム及び方法
JP5715390B2 (ja) 2009-12-03 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 視聴端末装置、視聴統計装置、視聴統計処理システムおよび視聴統計処理方法
JP5586436B2 (ja) 2009-12-03 2014-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
WO2011116514A1 (en) * 2010-03-23 2011-09-29 Nokia Corporation Method and apparatus for determining a user age range
WO2011162050A1 (ja) 2010-06-21 2011-12-29 ポーラ化成工業株式会社 年齢の推定方法、男女の判別方法
CN102306281B (zh) * 2011-07-13 2013-11-27 东南大学 一种多模态人类年龄自动估计方法
US8498491B1 (en) 2011-08-10 2013-07-30 Google Inc. Estimating age using multiple classifiers
CN102509121A (zh) * 2011-11-11 2012-06-20 东南大学 一种基于类别分布的自然场景分类排序方法
WO2013138268A1 (en) * 2012-03-12 2013-09-19 Diy, Co. Automatic face detection and parental approval in images and video and applications thereof
US8837787B2 (en) 2012-04-05 2014-09-16 Ancestry.Com Operations Inc. System and method for associating a photo with a data structure node
JP2014021795A (ja) 2012-07-19 2014-02-03 Nikon Corp 電子機器および方法
US9311564B2 (en) * 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
CN103530651A (zh) * 2013-10-22 2014-01-22 东南大学 一种基于标记分布的头部姿态估计方法
JP6216624B2 (ja) * 2013-11-19 2017-10-18 東芝テック株式会社 年齢層判定装置および年齢層判定プログラム
CA3119830C (en) 2014-03-13 2023-11-14 The Nielsen Company (Us), Llc Methods and apparatus to compensate impression data for misattribution and/or non-coverage by a database proprietor
US10122711B2 (en) 2014-03-31 2018-11-06 Kountable, Inc. Secure communications methods for use with entrepreneurial prediction systems and methods
EP3126997A4 (en) * 2014-03-31 2017-08-30 Kountable, Inc. Multi-variable assessment systems and methods that evaluate and predict entrepreneurial behavior
JP6361387B2 (ja) * 2014-09-05 2018-07-25 オムロン株式会社 識別装置および識別装置の制御方法
CN104463190B (zh) * 2014-10-30 2017-08-29 华为技术有限公司 年龄估计方法及设备
KR102307786B1 (ko) 2014-12-19 2021-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 사용자 프로파일 추측 방법
US20160189182A1 (en) 2014-12-31 2016-06-30 The Nielsen Company (Us), Llc Methods and apparatus to correct age misattribution in media impressions
US10045082B2 (en) 2015-07-02 2018-08-07 The Nielsen Company (Us), Llc Methods and apparatus to correct errors in audience measurements for media accessed using over-the-top devices
US10380633B2 (en) 2015-07-02 2019-08-13 The Nielsen Company (Us), Llc Methods and apparatus to generate corrected online audience measurement data
EP3730054B1 (en) * 2017-12-19 2024-03-27 Panasonic Intellectual Property Management Co., Ltd. Biological measurement apparatus
US11157575B2 (en) * 2018-01-16 2021-10-26 International Business Machines Corporation Determining a veridicality metric of a user profile stored in an electronic information system
JP6904651B2 (ja) * 2018-02-20 2021-07-21 Kddi株式会社 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
EP3813061A4 (en) 2018-06-21 2021-06-23 NEC Corporation ATTRIBUTE IDENTIFICATION DEVICE, ATTRIBUTE IDENTIFICATION METHOD AND PROGRAM STORAGE MEDIUM
US10747989B2 (en) * 2018-08-21 2020-08-18 Software Ag Systems and/or methods for accelerating facial feature vector matching with supervised machine learning
KR102206753B1 (ko) * 2019-01-24 2021-01-22 주식회사 수아랩 결함 검사 장치
CN110298224A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种基于方向梯度和隐变量分析的人脸年龄估计方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2770527B2 (ja) * 1990-02-08 1998-07-02 松下電器産業株式会社 情報検索装置
JPH11175724A (ja) * 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
JP4287512B2 (ja) * 1998-07-29 2009-07-01 ヤマハ株式会社 カラオケ装置
JP4575619B2 (ja) * 2001-05-08 2010-11-04 ポーラ化成工業株式会社 実年齢の推定方法
JP4303092B2 (ja) 2003-11-12 2009-07-29 株式会社国際電気通信基礎技術研究所 年齢推定装置、年齢推定方法および年齢推定プログラム
JP4511850B2 (ja) * 2004-03-03 2010-07-28 学校法人早稲田大学 人物属性識別方法およびそのシステム
JP2006318375A (ja) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 顔画像検索装置および顔画像検索方法
US20100056898A1 (en) * 2005-06-13 2010-03-04 Mckenna David R Objective Methods of Estimating Age of Animals and Carcasses
US7783095B2 (en) * 2005-08-11 2010-08-24 Siemens Medical Solutions Usa, Inc. System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age
JP2007048172A (ja) * 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
JP2007058828A (ja) 2005-08-26 2007-03-08 Toshiba Personal Computer System Kk 映像データにおける不特定多数者の集計処理システム及びプログラム並びに情報記憶媒体
JP4904835B2 (ja) * 2006-02-03 2012-03-28 トヨタ自動車株式会社 車両用制御装置
US7881933B2 (en) * 2007-03-23 2011-02-01 Verizon Patent And Licensing Inc. Age determination using speech

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP平3-232064A 1991.10.16

Also Published As

Publication number Publication date
US20100217743A1 (en) 2010-08-26
JP2009086901A (ja) 2009-04-23
US8676740B2 (en) 2014-03-18
WO2009041349A1 (ja) 2009-04-02
JP4273359B2 (ja) 2009-06-03
CN101809619A (zh) 2010-08-18

Similar Documents

Publication Publication Date Title
CN101809619B (zh) 属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法
Kutlu et al. White blood cells detection and classification based on regional convolutional neural networks
Mishra et al. Gray level co-occurrence matrix and random forest based acute lymphoblastic leukemia detection
Dehghan et al. Dager: Deep age, gender and emotion recognition using convolutional neural network
CN111861975A (zh) 辅助疾病分析的方法、装置及计算机程序、以及训练计算机算法的方法、装置及程序
CN109145921A (zh) 一种基于改进的直觉模糊c均值聚类的图像分割方法
EP3422217A1 (en) Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
CN104545792B (zh) 眼底图像的动静脉视网膜血管视盘定位方法
Mandhala et al. Object detection using machine learning for visually impaired people
CN103262118A (zh) 属性值估计装置、属性值估计方法、程序和记录介质
Foncubierta-Rodríguez et al. Using multiscale visual words for lung texture classification and retrieval
CN113343755A (zh) 红细胞图像中的红细胞分类系统及方法
CN110718301B (zh) 基于动态脑功能网络的阿尔茨海默病辅助诊断装置及方法
Sharma et al. A novel solution of using deep learning for left ventricle detection: enhanced feature extraction
Hao et al. VP-Detector: A 3D multi-scale dense convolutional neural network for macromolecule localization and classification in cryo-electron tomograms
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
CN105912851B (zh) 一种利用PCA和非环形特性估计复数fMRI数据模型阶数的方法
Lin et al. Automated malaria cells detection from blood smears under severe class imbalance via importance-aware balanced group softmax
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
CN113283465B (zh) 一种弥散张量成像数据分析方法及装置
Dinu et al. A novel modelling technique for early recognition and classification of Alzheimer’s disease
Zhao et al. MSS-WISN: Multiscale multistaining WBCs instance segmentation network
Özcan et al. Comprehensive data analysis of white blood cells with classification and segmentation by using deep learning approaches

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: JAPAN ELECTRICAL SCHEME INNOVATION CORPORATION

Free format text: FORMER NAME: NEC SOFT, LTD.

CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Japan Electrical Scheme Innovation Corporation

Address before: Tokyo, Japan

Patentee before: NEC Soft, Ltd.