CN108229263B - 目标对象的识别方法和装置、机器人 - Google Patents

目标对象的识别方法和装置、机器人 Download PDF

Info

Publication number
CN108229263B
CN108229263B CN201611202167.1A CN201611202167A CN108229263B CN 108229263 B CN108229263 B CN 108229263B CN 201611202167 A CN201611202167 A CN 201611202167A CN 108229263 B CN108229263 B CN 108229263B
Authority
CN
China
Prior art keywords
target object
feature
features
layer
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611202167.1A
Other languages
English (en)
Other versions
CN108229263A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong apipi Education Technology Co., Ltd
Original Assignee
Hangzhou Guangqi Artificial Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Guangqi Artificial Intelligence Research Institute filed Critical Hangzhou Guangqi Artificial Intelligence Research Institute
Priority to CN201611202167.1A priority Critical patent/CN108229263B/zh
Priority to PCT/CN2017/092045 priority patent/WO2018113261A1/zh
Publication of CN108229263A publication Critical patent/CN108229263A/zh
Application granted granted Critical
Publication of CN108229263B publication Critical patent/CN108229263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标对象的识别方法和装置、机器人。其中，该方法包括：获取待识别的目标对象；通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，其中，第一特征为目标对象的特定特征，第二特征为对第一特征和目标对象的基本特征进行特征提取得到的特征；通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果。本发明解决了现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。

Description

目标对象的识别方法和装置、机器人
技术领域
本发明涉及目标识别领域，具体而言，涉及一种目标对象的识别方法和装置、机器人。
背景技术
当前，深度学习的训练都是在输入端输入样本，末端给出样本标签(分类网络)或者是代价函数(回归网络)，训练过程具体如下：
1)使用自下上升非监督学习：
具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层)，由于模型capacity的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；这个过程可以看作是feature learning过程
2)自顶向下的监督学习：
基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，从顶层计算梯度，进行微调参数。
由于在现有技术中的深度学习的网络模型在学习的过程中，网络首先进行前向传输，直到最后一层，然后再计算梯度，反向传输，直到第一层，传输过程由网络进行自动更新参数。然而，由于参数是自动进行，因而会存在网络不收敛或者收敛慢等一些问题。
针对现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的识别方法和装置、机器人，以至少解决现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。
根据本发明实施例的一个方面，提供了一种目标对象的识别方法，包括：获取待识别的目标对象；通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，其中，第一特征为目标对象的特定特征，第二特征为对第一特征和目标对象的基本特征进行特征提取得到的特征；通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果。
进一步地，预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个卷积层依次连接，第一预设卷积层与多个卷积层连接，第一输出层与第一预设卷积层连接，第二预设卷积层与多个卷积层连接，第二输出层与第二预设卷积层连接。
进一步地，通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征包括：通过多个卷积层对待识别的目标对象进行特征提取，得到目标对象的基本特征；通过第一预设卷积层对目标对象的基本特征进行特征提取，得到目标对象的第一特征；通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征。
进一步地，第二预设卷积层包括：第一子卷积层和第二子卷积层，第一子卷积层与多个卷积层连接，第二子卷积层与第一预设卷积层和第一子卷积层连接，其中，通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征包括：通过第一子卷积层对基本特征进行特征提取，得到第三特征，其中，第三特征为目标对象的基本特征中除特定特征之外的其他特征；将第三特征和第一特征进行合并，得到合并后的特征；通过第二子卷积层对合并后的特征进行特征提取，得到第二特征。
进一步地，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果包括：通过第一输出层对第一特征进行分类，得到第一识别结果；通过第二输出层对第二特征进行分类，得到第二识别结果；将第一识别结果和第二识别结果进行加权，得到目标对象的识别结果。
进一步地，预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个第一全连接层连接在第一预设卷积层和第一输出层之间，多个第二全连接层连接在第二预设卷积层和第二输出层之间。
进一步地，在通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果之前，上述方法还包括：通过多个第一全连接层对第一特征进行内积运算，得到处理后的第一特征；通过多个第二全连接层对第二特征进行内积运算，得到处理后的第二特征；通过预设网络模型对处理后的第一特征和处理后的第二特征进行分类，得到目标对象的识别结果。
根据本发明实施例的另一方面，还提供了一种目标对象的识别装置，包括：获取单元，用于获取待识别的目标对象；提取单元，用于通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，其中，第一特征为目标对象的特定特征，第二特征为对第一特征和目标对象的基本特征进行特征提取得到的特征；分类单元，用于通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果。
进一步地，预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个卷积层依次连接，第一预设卷积层与多个卷积层连接，第一输出层与第一预设卷积层连接，第二预设卷积层与多个卷积层连接，第二输出层与第二预设卷积层连接。
进一步地，提取单元包括：第一提取模块，用于通过多个卷积层对待识别的目标对象进行特征提取，得到目标对象的基本特征；第二提取模块，用于通过第一预设卷积层对目标对象的基本特征进行特征提取，得到目标对象的第一特征；第三提取模块，用于通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征。
进一步地，第二预设卷积层还包括：第一子卷积层和第二子卷积层，第一子卷积层与多个卷积层连接，第二子卷积层与第一预设卷积层和第一子卷积层连接，其中，第三提取模块包括：第一提取子模块，用于通过第一子卷积层对基本特征进行特征提取，得到第三特征，其中，第三特征为目标对象的基本特征中除特定特征之外的其他特征；合并子模块，用于将第三特征和第一特征进行合并，得到合并后的特征；第二提取子模块，用于通过第二子卷积层对合并后的特征进行特征提取，得到第二特征。
进一步地，分类单元包括：第一分类模块，用于通过第一输出层对第一特征进行分类，得到第一识别结果；第二分类模块，用于通过第二输出层对第二特征进行分类，得到第二识别结果；加权模块，用于将第一识别结果和第二识别结果进行加权，得到目标对象的识别结果。
进一步地，预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个第一全连接层连接在第一预设卷积层和第一输出层之间，多个第二全连接层连接在第二预设卷积层和第二输出层之间。
进一步地，上述装置还包括：第一运算单元，用于通过多个第一全连接层对第一特征进行内积运算，得到处理后的第一特征；第二运算单元，用于通过多个第二全连接层对第二特征进行内积运算，得到处理后的第二特征；分类单元还用于通过预设网络模型对处理后的第一特征和处理后的第二特征进行分类，得到目标对象的识别结果。
根据本发明实施例的另一方面，还提供了一种机器人，包括：上述实施例中任意一项的目标对象的识别装置。
在本发明实施例中，获取待识别的目标对象，通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果，从而实现对目标对象进行识别的目的。容易注意到的是，由于可以通过预设网络模型提取目标对象的第一特征和第二特征，并对这些特征进行组合，从而能够迫使预设网络模型快速收敛，解决了现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。因此，通过本发明上述实施例提供的方案，通过预设网络模型对目标对象进行识别，可以达到加快预设网络模型的训练时间，缩短目标识别时间，避免预设网络模型的过拟合，提高目标对象识别的鲁棒性的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种目标对象的识别方法的流程图；
图2是根据本发明实施例的一种可选的卷积神经网络的示意图；以及
图3是根据本发明实施例的一种目标对象的识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种目标对象的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种目标对象的识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待识别的目标对象。
具体的，在人脸识别领域中，上述的目标对象可以是人脸，上述的待识别的目标对象可以是包含人脸信息的图像数据。
步骤S104，通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，其中，第一特征为目标对象的特定特征，第二特征为对第一特征和目标对象的基本特征进行特征提取得到的特征。
具体的，上述的预设网络模型可以是卷积神经网络(Convolutional NeuralNetwork，简写为CNN)；上述的特定特征可以是目标对象的部分重要特征，例如，在人脸识别领域中，人的眼睛、鼻子、眉毛、耳朵、嘴巴等特征；在人脸识别领域中，上述的基本特征可以包括：边缘、角点、颜色等特征。
步骤S106，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果。
在一种可选的方案中，在需要对图像数据中的人脸进行识别的情况下，可以将待识别的图像数据输入至训练好的CNN网络中，通过CNN网络，可以对图像数据中的人脸进行特征提取，得到人脸的特定特征和第二特征，然后通过CNN网络对提取到的部分重要特征和第二特征进行处理，计算得到每种特征对应的loss值，然后根据loss值，即可得到人脸识别结果；或者给出每种特征对应的分类标签，即可得到人脸识别结果。
采用本发明上述实施例，获取待识别的目标对象，通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果，从而实现对目标对象进行识别的目的。容易注意到的是，由于可以通过预设网络模型提取目标对象的第一特征和第二特征，并对这些特征进行组合，从而能够迫使预设网络模型快速收敛，解决了现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。因此，通过本发明上述实施例提供的方案，通过预设网络模型对目标对象进行识别，可以达到加快预设网络模型的训练时间，缩短目标识别时间，避免预设网络模型的过拟合，提高目标对象识别的鲁棒性的效果。
可选地，在本发明上述实施例中，预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个卷积层依次连接，第一预设卷积层与多个卷积层连接，第一输出层与第一预设卷积层连接，第二预设卷积层与多个卷积层连接，第二输出层与第二预设卷积层连接。
具体的，上述的预设网络模型可以是CNN网络，可以在CNN网络的某一个卷积层中加入一个卷积层，用于提取目标对象的特定特征；上述的第一输出层和第二输出层可以是SoftmaxWithLoss层，通过代价函数来计算特征的loss值。
此处需要说明的是，上述的第一预设卷积层的数量可以根据特征需要进行设定，可以在CNN网络的不同卷积层引入多个卷积层，以便网络可以迅速收敛，并学习到目标对象的特定特征，而新加入的第一预设卷积层不会影响最终的目标对象的识别结果。
可选地，在本发明上述实施例中，步骤S104，通过预设网络模型对的目标对象的待识别数据进行特征提取，得到目标对象的第一特征和第二特征包括：
步骤S1042，通过多个卷积层对待识别的目标对象进行特征提取，得到目标对象的基本特征。
步骤S1044，通过第一预设卷积层对目标对象的基本特征进行特征提取，得到目标对象的第一特征。
步骤S1046，通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征。
在一种可选的方案中，在人脸识别领域中，可以构建一个四层网络，即四层卷积层提取人脸的基本特征，然后在第五层的卷积网络中可以增加一个第一预设卷积层，用于提取人脸的特定特征，第五层的卷积网络中的另一个第二预设卷积层可以对基本特征和特定特征进行提取，得到人脸的第二特征。
可选地，在本发明上述实施例中，第二预设卷积层包括：第一子卷积层和第二子卷积层，第一子卷积层与多个所述卷积层连接，第二子卷积层与第一预设卷积层和第一子卷积层连接，其中，步骤S1046，通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征包括：
步骤S10462，通过第一子卷积层对基本特征进行特征提取，得到第三特征，其中，第三特征为目标对象的基本特征中除特定特征之外的其他特征。
具体的，上述的第三特征可以是目标对象的其他特征，也可以包括特定特征。
步骤S10464，将第三特征和第一特征进行合并，得到合并后的特征。
步骤S10466，通过第二子卷积层对合并后的特征进行特征提取，得到第二特征。
在一种可选的方案中，在人脸识别领域中，在四层卷积层提取到人脸的基本特征之后，可以将第五层的卷积网络分为两个卷积层模块，一个卷积层模块用于提取人脸的特定特征(即上述的第一预设卷积层)，另一个模块用于提取人脸的其他特征(即上述的第一子卷积层)，在第六层(即上述的第二子卷积层)，可以将上述两个模块提取到的特定特征和其他特征进行合并，再进行特征提取，得到上述的第二特征。
可选地，在本发明上述实施例中，步骤S106，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果包括：
步骤S1062，通过第一输出层对第一特征进行分类，得到第一识别结果。
在一种可选的方案中，将通过四层卷积层和第一预设卷积层提取到的特定特征输入SoftmaxWithLoss层，SoftmaxWithLoss层作为部分特征的代价函数计算loss值，得到第一识别结果。
步骤S1064，通过第二输出层对第二特征进行分类，得到第二识别结果。
在一种可选的方案中，将通过四层卷积层和第二预设卷积层提取到的第二特征输入SoftmaxWithLoss层，SoftmaxWithLoss层作为人脸识别的代价函数计算loss值，得到第二识别结果。
步骤S1066，将第一识别结果和第二识别结果进行加权，得到目标对象的识别结果。
在一种可选的方案中，在确定网络的最终loss值时，可以对两个loss值(即上述的第一识别结果和第二识别结果)进行加权求和，得到最后整个网络的loss值(即上述的目标对象的识别结果)。
通过上述步骤S1062至步骤S1066，可以对网络自主学习特征和部分模块特征进行权衡，以便对网络更好地进行调节。
可选地，在本发明上述实施例中，预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个第一全连接层连接在第一预设卷积层和第一输出层之间，多个第二全连接层连接在第二预设卷积层和第二输出层之间。
具体的，可以在第一预设卷积层或第二预设卷积层之后分别连接2个全连接层，然后接入SoftmaxWithLoss层。
此处需要说明的是，第一预设卷积层之后的全连接层仅用于网络训练，在网络训练好之后，将包含人脸信息的图片输入至CNN网络中，得到最终的目标位置。
可选地，在本发明上述实施例中，在步骤S106，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果之前，该方法还包括：
步骤S108，通过多个第一全连接层对第一特征进行内积运算，得到处理后的第一特征。
步骤S110，通过多个第二全连接层对第二特征进行内积运算，得到处理后的第二特征。
步骤S112，通过预设网络模型对处理后的第一特征和处理后的第二特征进行分类，得到目标对象的识别结果。
在一种可选的方案中，在人脸识别领域中，在通过四层卷积层和第一预设卷积层得到人脸的特定特征之后，可以输入2个全连接层(即上述的第一全连接层)，最后接入SoftmaxWithLoss层作为部分特征的代价函数计算loss值；在通过四层卷积层和第二预设卷积层得到人脸的第二特征之后，可以输入2个全连接层(即上述的第二全连接层)，最后SoftmaxWithLoss作为人脸识别的代价函数得到人脸识别的loss值，然后对两个loss值进行加权求和，得到最后整个CNN网络的loss值。
图2是根据本发明实施例的一种可选的卷积神经网络的示意图，下面结合如图2所示的卷积神经网络，对人脸识别领域的识别方法进行详细说明，如图2所示，首先我们构建一个人脸识别的卷积神经网络，构建四层网络(如图2中的conv1-conv4)提取人脸的基本特征(如图2中的conv4)，像边缘、角点、颜色等等信息，然后将第5层的卷积网络中分为2个模块，一个模块为conv5_1，用于提取部分特征(如图2中的conv5_1)，如人的眼睛、鼻子、眉毛、耳朵、嘴巴等信息，具体来说，在conv5_1后面接2个全连接层(如图2中的fc6和fc7_1)，最后接入SoftmaxWithLoss层(如图2中的softmax1)作为部分特征的代价函数计算loss值(如图2的loss1)。另一个模块conv5_2完成其他特征提取(也可能包括部分特征)(如图2中的conv5_2)。在conv6层，将上述两个模块进行合并，再提取特征(如图2中的conv6)，送入更上一层的模块(如图2中的fc7_2和fc8)，最后同样采用SoftmaxWithLoss(如图2中的softmax2)作为人脸识别的代价函数得到人脸识别的loss值(如图2的loss2)。在确定网络的最终loss值时，我们对两个loss进行加权求和，得到最后整个网络的loss值。conv5_1后面的全连接层仅用于训练，在网络训练好之后，将图片输入CNN网络得到最终的目标位置(如图2中的pos所示)。
通过上述方案，新加入的模块在卷积神经网络的训练阶段能快速收敛，避免网络过拟合。由于网络迫使待识别的目标具有某些必须的特征，因此，在采用上述的卷积神经网络进行人脸识别的识别阶段系统更加鲁棒。上述卷积神经网络不仅仅可以用到目标识别领域，还可以运用到自然语言处理或者图像检索领域。
实施例2
根据本发明实施例，提供了一种目标对象的识别装置的实施例。
图3是根据本发明实施例的一种目标对象的识别装置的示意图，如图3所示，该装置包括：
获取单元31，用于获取待识别的目标对象。
具体的，在人脸识别领域中，上述的目标对象可以是人脸，上述的待识别的目标对象可以是包含人脸信息的图像数据。
提取单元33，用于通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，其中，第一特征为目标对象的特定特征，第二特征为对第一特征和目标对象的基本特征进行特征提取得到的特征。
具体的，上述的预设网络模型可以是卷积神经网络(Convolutional NeuralNetwork，简写为CNN)；上述的特定特征可以是目标对象的部分重要特征，例如，在人脸识别领域中，人的眼睛、鼻子、眉毛、耳朵、嘴巴等特征；在人脸识别领域中，上述的基本特征可以包括：边缘、角点、颜色等特征。
分类单元35，用于通过预设网络模型对第一特征和第二特征进行处理，得到目标对象的识别结果。
在一种可选的方案中，在需要对图像数据中的人脸进行识别的情况下，可以将待识别的图像数据输入至训练好的CNN网络中，通过CNN网络，可以对图像数据中的人脸进行特征提取，得到人脸的特定特征和第二特征，然后通过CNN网络对提取到的部分重要特征和第二特征进行处理，计算得到每种特征对应的loss值，然后根据loss值，即可得到人脸识别结果；或者给出每种特征对应的分类标签，即可得到人脸识别结果。
采用本发明上述实施例，获取单元获取待识别的目标对象，提取单元通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，第一处理单元通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果，从而实现对目标对象进行识别的目的。容易注意到的是，由于可以通过预设网络模型提取目标对象的第一特征和第二特征，并对这些特征进行组合，从而能够迫使预设网络模型快速收敛，解决了现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。因此，通过本发明上述实施例提供的方案，通过预设网络模型对目标对象进行识别，可以达到加快预设网络模型的训练时间，缩短目标识别时间，避免预设网络模型的过拟合，提高目标对象识别的鲁棒性的效果。
可选地，在本发明上述实施例中，预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个卷积层依次连接，第一预设卷积层与多个卷积层连接，第一输出层与第一预设卷积层连接，第二预设卷积层与多个卷积层连接，第二输出层与第二预设卷积层连接。
具体的，上述的预设网络模型可以是CNN网络，可以在CNN网络的某一个卷积层中加入一个卷积层，用于提取目标对象的特定特征；上述的第一输出层和第二输出层可以是SoftmaxWithLoss层，通过代价函数来计算特征的loss值。
此处需要说明的是，上述的第一预设卷积层的数量可以根据特征需要进行设定，可以在CNN网络的不同卷积层引入多个卷积层，以便网络可以迅速收敛，并学习到目标对象的特定特征，而新加入的第一预设卷积层不会影响最终的目标对象的识别结果。
可选地，在本发明上述实施例中，提取单元包括：
第一提取模块，用于通过多个卷积层对待识别的目标对象进行特征提取，得到目标对象的基本特征。
第二提取模块，用于通过第一预设卷积层对目标对象的基本特征进行特征提取，得到目标对象的第一特征。
第三提取子模块，用于通过第二预设卷积层对基本特征和第一特征进行特征提取，得到目标对象的第二特征。
在一种可选的方案中，在人脸识别领域中，可以构建一个四层网络，即四层卷积层提取人脸的基本特征，然后在第五层的卷积网络中可以增加一个第一预设卷积层，用于提取人脸的特定特征，第五层的卷积网络中的另一个第二预设卷积层可以对基本特征和特定特征进行提取，得到人脸的第二特征。
可选地，在本发明上述实施例中，第二预设卷积层包括：第一子卷积层和第二子卷积层，第一子卷积层与多个所述卷积层连接，第二子卷积层与第一预设卷积层和第一子卷积层连接，其中，第三提取模块包括：
第一提取子模块，用于通过第一子卷积层对基本特征进行特征提取，得到第三特征，其中，第三特征为目标对象的基本特征中除特定特征之外的其他特征。
具体的，上述的第三特征可以是目标对象的其他特征，也可以包括特定特征。
合并子模块，用于将第三特征和第一特征进行合并，得到合并后的特征。
第二提取子模块，用于通过第二子卷积层对合并后的特征进行特征提取，得到第二特征。
在一种可选的方案中，在人脸识别领域中，在四层卷积层提取到人脸的基本特征之后，可以将第五层的卷积网络分为两个卷积层模块，一个卷积层模块用于提取人脸的特定特征(即上述的第一预设卷积层)，另一个模块用于提取人脸的其他特征(即上述的第一子卷积层)，在第六层(即上述的第二子卷积层)，可以将上述两个模块提取到的特定特征和其他特征进行合并，再进行特征提取，得到上述的第二特征。
可选地，在本发明上述实施例中，分类单元包括：
第一分类模块，用于通过第一输出层对第一特征进行分类，得到第一识别结果。
在一种可选的方案中，将通过四层卷积层和第一预设卷积层提取到的特定特征输入SoftmaxWithLoss层，SoftmaxWithLoss层作为部分特征的代价函数计算loss值，得到第一识别结果。
第二分类模块，用于通过第二输出层对第二特征进行分类，得到第二识别结果。
在一种可选的方案中，将通过四层卷积层和第二预设卷积层提取到的第二特征输入SoftmaxWithLoss层，SoftmaxWithLoss层作为人脸识别的代价函数计算loss值，得到第二识别结果。
加权模块，用于将第一识别结果和第二识别结果进行加权，得到目标对象的识别结果。
在一种可选的方案中，在确定网络的最终loss值时，可以对两个loss值(即上述的第一识别结果和第二识别结果)进行加权求和，得到最后整个网络的loss值(即上述的目标对象的识别结果)。
通过上述方案，可以对网络自主学习特征和部分模块特征进行权衡，以便对网络更好地进行调节。
可选地，在本发明上述实施例中，预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个第一全连接层连接在第一预设卷积层和第一输出层之间，多个第二全连接层连接在第二预设卷积层和第二输出层之间。
具体的，可以在第一预设卷积层或第二预设卷积层之后分别连接2个全连接层，然后接入SoftmaxWithLoss层。
此处需要说明的是，第一预设卷积层之后的全连接层仅用于网络训练，在网络训练好之后，将包含人脸信息的图片输入至CNN网络中，得到最终的目标位置。
可选地，在本发明上述实施例中，该装置还包括：
第一运算单元，用于通过多个第一全连接层对第一特征进行内积运算，得到处理后的第一特征。
第二运算单元，用于通过多个第二全连接层对第二特征进行内积运算，得到处理后的第二特征。
分类单元还用于通过预设网络模型对处理后的第一特征和处理后的第二特征进行分类，得到目标对象的识别结果。
在一种可选的方案中，在人脸识别领域中，在通过四层卷积层和第一预设卷积层得到人脸的特定特征之后，可以输入2个全连接层(即上述的第一全连接层)，最后接入SoftmaxWithLoss层作为部分特征的代价函数计算loss值；在通过四层卷积层和第二预设卷积层得到人脸的第二特征之后，可以输入2个全连接层(即上述的第二全连接层)，最后SoftmaxWithLoss作为人脸识别的代价函数得到人脸识别的loss值，然后对两个loss值进行加权求和，得到最后整个CNN网络的loss值。
实施例3
根据本发明实施例，提供了一种机器人的实施例，包括：上述实施例2中任意一项的目标对象的识别装置。
采用本发明上述实施例，获取待识别的目标对象，通过预设网络模型对待识别的目标对象进行特征提取，得到目标对象的第一特征和第二特征，通过预设网络模型对第一特征和第二特征进行分类，得到目标对象的识别结果，从而实现对目标对象进行识别的目的。容易注意到的是，由于可以通过预设网络模型提取目标对象的第一特征和第二特征，并对这些特征进行组合，从而能够迫使预设网络模型快速收敛，解决了现有技术中的基于深度学习的网络模型，网络不收敛或者收敛慢，导致目标对象的识别时间长，鲁棒性低的技术问题。因此，通过本发明上述实施例提供的方案，通过预设网络模型对目标对象进行识别，可以达到加快预设网络模型的训练时间，缩短目标识别时间，避免预设网络模型的过拟合，提高目标对象识别的鲁棒性的效果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种目标对象的识别方法，其特征在于，包括：
获取待识别的目标对象；
通过预设网络模型对所述待识别的目标对象进行特征提取，得到所述目标对象的第一特征和第二特征，其中，所述第一特征为所述目标对象的特定特征，所述第二特征为对所述第一特征和所述目标对象的基本特征进行特征提取得到的特征；
通过所述预设网络模型对所述第一特征和所述第二特征进行分类，得到所述目标对象的识别结果；
其中，所述预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个所述卷积层依次连接，所述第一预设卷积层与多个所述卷积层连接，所述第一输出层与所述第一预设卷积层连接，所述第二预设卷积层与多个所述卷积层和所述第一预设卷积层连接，所述第二输出层与所述第二预设卷积层连接。
2.根据权利要求1所述的方法，其特征在于，通过预设网络模型对所述待识别的目标对象进行特征提取，得到所述目标对象的第一特征和第二特征包括：
通过多个所述卷积层对所述待识别的目标对象进行特征提取，得到所述目标对象的基本特征；
通过所述第一预设卷积层对所述目标对象的基本特征进行特征提取，得到所述目标对象的第一特征；
通过所述第二预设卷积层对所述基本特征和所述第一特征进行特征提取，得到所述目标对象的第二特征。
3.根据权利要求2所述的方法，其特征在于，所述第二预设卷积层包括：第一子卷积层和第二子卷积层，所述第一子卷积层与多个所述卷积层连接，所述第二子卷积层与所述第一预设卷积层和所述第一子卷积层连接，其中，通过所述第二预设卷积层对所述基本特征和所述第一特征进行特征提取，得到所述目标对象的第二特征包括：
通过所述第一子卷积层对所述基本特征进行特征提取，得到第三特征，其中，所述第三特征为所述目标对象的基本特征中除所述特定特征之外的其他特征；
将所述第三特征和所述第一特征进行合并，得到合并后的特征；
通过所述第二子卷积层对所述合并后的特征进行特征提取，得到所述第二特征。
4.根据权利要求1所述的方法，其特征在于，通过所述预设网络模型对所述第一特征和所述第二特征进行分类，得到所述目标对象的识别结果包括：
通过所述第一输出层对所述第一特征进行分类，得到第一识别结果；
通过所述第二输出层对所述第二特征进行分类，得到第二识别结果；
将所述第一识别结果和所述第二识别结果进行加权，得到所述目标对象的识别结果。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个所述第一全连接层连接在所述第一预设卷积层和所述第一输出层之间，多个所述第二全连接层连接在所述第二预设卷积层和所述第二输出层之间。
6.根据权利要求5所述的方法，其特征在于，在通过所述预设网络模型对所述第一特征和所述第二特征进行分类，得到所述目标对象的识别结果之前，所述方法还包括：
通过多个所述第一全连接层对所述第一特征进行内积运算，得到处理后的第一特征；
通过多个所述第二全连接层对所述第二特征进行内积运算，得到处理后的第二特征；
通过所述预设网络模型对处理后的所述第一特征和处理后的所述第二特征进行分类，得到所述目标对象的识别结果。
7.一种目标对象的识别装置，其特征在于，包括：
获取单元，用于获取待识别的目标对象；
提取单元，用于通过预设网络模型对所述待识别的目标对象进行特征提取，得到所述目标对象的第一特征和第二特征，其中，所述第一特征为所述目标对象的特定特征，所述第二特征为对所述第一特征和所述目标对象的基本特征进行特征提取得到的特征；
分类单元，用于通过所述预设网络模型对所述第一特征和所述第二特征进行分类，得到所述目标对象的识别结果；
其中，所述预设网络模型包括：多个卷积层、第一预设卷积层、第二预设卷积层、第一输出层和第二输出层，其中，多个所述卷积层依次连接，所述第一预设卷积层与多个所述卷积层连接，所述第一输出层与所述第一预设卷积层连接，所述第二预设卷积层与多个所述卷积层连接，所述第二输出层与所述第二预设卷积层连接。
8.根据权利要求7所述的装置，其特征在于，所述提取单元包括：
第一提取模块，用于通过多个所述卷积层对所述待识别的目标对象进行特征提取，得到所述目标对象的基本特征；
第二提取模块，用于通过所述第一预设卷积层对所述目标对象的基本特征进行特征提取，得到所述目标对象的第一特征；
第三提取模块，用于通过所述第二预设卷积层对所述基本特征和所述第一特征进行特征提取，得到所述目标对象的第二特征。
9.根据权利要求8所述的装置，其特征在于，所述第二预设卷积层包括：第一子卷积层和第二子卷积层，所述第一子卷积层与多个所述卷积层连接，所述第二子卷积层与所述第一预设卷积层和所述第一子卷积层连接，其中，所述第三提取模块包括：
第一提取子模块，用于通过所述第一子卷积层对所述基本特征进行特征提取，得到第三特征，其中，所述第三特征为所述目标对象的基本特征中除所述特定特征之外的其他特征；
合并子模块，用于将所述第三特征和所述第一特征进行合并，得到合并后的特征；
第二提取子模块，用于通过所述第二子卷积层对所述合并后的特征进行特征提取，得到所述第二特征。
10.根据权利要求7所述的装置，其特征在于，所述分类单元包括：
第一分类模块，用于通过所述第一输出层对所述第一特征进行分类，得到第一识别结果；
第二分类模块，用于通过所述第二输出层对所述第二特征进行分类，得到第二识别结果；
加权模块，用于将所述第一识别结果和所述第二识别结果进行加权，得到所述目标对象的识别结果。
11.根据权利要求7至10中任意一项所述的装置，其特征在于，所述预设网络模型还包括：多个第一全连接层和多个第二全连接层，其中，多个所述第一全连接层连接在所述第一预设卷积层和所述第一输出层之间，多个所述第二全连接层连接在所述第二预设卷积层和所述第二输出层之间。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第一运算单元，用于通过多个所述第一全连接层对所述第一特征进行内积运算，得到处理后的第一特征；
第二运算单元，用于通过多个所述第二全连接层对所述第二特征进行内积运算，得到处理后的第二特征；
所述分类单元还用于通过所述预设网络模型对处理后的所述第一特征和处理后的所述第二特征进行分类，得到所述目标对象的识别结果。
13.一种机器人，其特征在于，包括：权利要求7至12中任意一项所述的目标对象的识别装置。
CN201611202167.1A 2016-12-22 2016-12-22 目标对象的识别方法和装置、机器人 Active CN108229263B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611202167.1A CN108229263B (zh) 2016-12-22 2016-12-22 目标对象的识别方法和装置、机器人
PCT/CN2017/092045 WO2018113261A1 (zh) 2016-12-22 2017-07-06 目标对象的识别方法和装置、机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611202167.1A CN108229263B (zh) 2016-12-22 2016-12-22 目标对象的识别方法和装置、机器人

Publications (2)

Publication Number Publication Date
CN108229263A CN108229263A (zh) 2018-06-29
CN108229263B true CN108229263B (zh) 2021-03-02

Family

ID=62624409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611202167.1A Active CN108229263B (zh) 2016-12-22 2016-12-22 目标对象的识别方法和装置、机器人

Country Status (2)

Country Link
CN (1) CN108229263B (zh)
WO (1) WO2018113261A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508675B (zh) * 2018-11-14 2020-07-28 广州广电银通金融电子科技有限公司 一种针对复杂场景的行人检测方法
CN109934813A (zh) * 2019-03-08 2019-06-25 广州视源电子科技股份有限公司 目标对象的识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116746A (zh) * 2013-03-08 2013-05-22 中国科学技术大学 一种基于多特征融合技术的视频火焰探测方法
CN104715238A (zh) * 2015-03-11 2015-06-17 南京邮电大学 一种基于多特征融合的行人检测方法
CN104751184A (zh) * 2015-04-08 2015-07-01 西安电子科技大学 基于强度统计稀疏的全极化sar图像分类方法
CN105868785A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
CN105095833B (zh) * 2014-05-08 2019-03-15 中国科学院声学研究所 用于人脸识别的网络构建方法、识别方法及系统
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
WO2016090522A1 (en) * 2014-12-12 2016-06-16 Xiaoou Tang Method and apparatus for predicting face attributes
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
CN106203298A (zh) * 2016-06-30 2016-12-07 北京集创北方科技股份有限公司 生物特征识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116746A (zh) * 2013-03-08 2013-05-22 中国科学技术大学 一种基于多特征融合技术的视频火焰探测方法
CN104715238A (zh) * 2015-03-11 2015-06-17 南京邮电大学 一种基于多特征融合的行人检测方法
CN104751184A (zh) * 2015-04-08 2015-07-01 西安电子科技大学 基于强度统计稀疏的全极化sar图像分类方法
CN105868785A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法及系统

Also Published As

Publication number Publication date
CN108229263A (zh) 2018-06-29
WO2018113261A1 (zh) 2018-06-28

Similar Documents

Publication Publication Date Title
CN109325443B (zh) 一种基于多实例多标签深度迁移学习的人脸属性识别方法
CN111164601A (zh) 情感识别方法、智能装置和计算机可读存储介质
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN111310676A (zh) 基于CNN-LSTM和attention的视频动作识别方法
CN105631398A (zh) 识别对象的方法和设备以及训练识别器的方法和设备
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
WO2020192112A1 (zh) 人脸识别方法及装置
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN108319888B (zh) 视频类型的识别方法及装置、计算机终端
CN112487207A (zh) 图像的多标签分类方法、装置、计算机设备及存储介质
CN113627402B (zh) 一种图像识别方法及相关装置
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111143613A (zh) 选择视频封面的方法、系统、电子设备与存储介质
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN114419391A (zh) 目标图像识别方法及装置、电子设备及可读存储介质
CN111027610B (zh) 图像特征融合方法、设备和介质
CN108229263B (zh) 目标对象的识别方法和装置、机器人
CN112200110A (zh) 一种基于深度干扰分离学习的人脸表情识别方法
CN111310516A (zh) 一种行为识别方法和装置
CN111612090B (zh) 基于内容颜色交叉相关的图像情感分类方法
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
CN108052944A (zh) 一种图像识别方法和装置
CN114548262B (zh) 一种情感计算中多模态生理信号的特征级融合方法
CN114333065A (zh) 一种应用于监控视频的行为识别方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180820

Address after: 311100 1101, room 14, 1008, Longxiang street, Cang Qian street, Yuhang District, Hangzhou, Zhejiang.

Applicant after: Hangzhou Institute of artificial intelligence

Address before: 518000 Guangdong, Shenzhen, Nanshan District, Nanhai Road, West Guangxi Temple Road North Sunshine Huayi Building 1 15D-02F

Applicant before: Shenzhen Guangqi Hezhong Technology Co., Ltd.

Applicant before: Shenzhen Kuang-Chi Innovation Technology Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211111

Address after: 518057 2nd floor, software building, No. 9, Gaoxin Zhongyi Road, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen Guangqi Higher Institute of Technology

Address before: 311100 room 1101, building 14, No. 1008, yearning street, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Guangqi Artificial Intelligence Research Institute

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211129

Address after: 273500 7th floor, No. 509, Gangshan North Road, Zoucheng City, Jining City, Shandong Province

Patentee after: Shandong apipi Education Technology Co., Ltd

Address before: 2 / F, software building, No.9, Gaoxin Zhongyi Road, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: KUANG-CHI INSTITUTE OF ADVANCED TECHNOLOGY