CN111191558B - 一种机器人及其人脸识别示教方法和存储介质 - Google Patents
一种机器人及其人脸识别示教方法和存储介质 Download PDFInfo
- Publication number
- CN111191558B CN111191558B CN201911356077.1A CN201911356077A CN111191558B CN 111191558 B CN111191558 B CN 111191558B CN 201911356077 A CN201911356077 A CN 201911356077A CN 111191558 B CN111191558 B CN 111191558B
- Authority
- CN
- China
- Prior art keywords
- training
- face
- face recognition
- user
- trained model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 166
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 238000007635 classification algorithm Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000013526 transfer learning Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 18
- 238000010801 machine learning Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004080 punching Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Evolutionary Biology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于人工智能技术领域，提供了一种机器人及其人脸识别示教方法和存储介质。本发明实施例通过提供一种应用于机器人的人脸识别示教方法，录入用户的多张人脸图像作为训练数据集，加载用户设置的训练模型作为预训练模型，然后基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型，并显示所述已训练模型的训练结果，再将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果，并显示所述已训练模型的人脸识别结果，能够在对机器人的人脸识别功能进行训练的过程中持续与用户进行互动，从而能够达到良好的机器学习算法的教学演示作用，提高了用户体验。
Description
技术领域
本发明属于人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种机器人及其人脸识别示教方法和存储介质。
背景技术
人工智能技术是用于模拟、延伸和扩展人的智能的技术科学，属于计算机科学的分支，它通过了解智能的实质，生产出能与人类智能相似的方式做出反应的智能机器，研究方向包括机器人、语言识别、图像识别、自然语言处理和专家系统等。目前，人工智能技术在教学机器人上得到广泛应用，能够辅助教学人员进行课程教学示范和实验教学演示，例如，用于进行学生打卡、签到的教学机器人能够采用人脸识别的方式对学生进行人脸识别，从而辅助教学人员对学生的出勤率进行统计。
然而，现有的用于进行打卡、签到的教学机器人与用户的互动性较差，不能起到良好的教学演示作用。
发明内容
有鉴于此，本发明实施例提供了一种机器人及其人脸识别示教方法和存储介质，以解决现有的用于进行打卡、签到的教学机器人与用户的互动性较差，不能起到良好的教学演示作用的问题。
本发明实施例的第一方面提供了一种人脸识别示教方法，应用于机器人，所述人脸识别示教方法包括：
录入用户的多张人脸图像作为训练数据集；
加载用户设置的训练模型作为预训练模型；
基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型；
显示所述已训练模型的训练结果；
将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果；
显示所述已训练模型的人脸识别结果。
本发明实施例的第二方面提供了一种机器人，包括摄像头、显示屏、语音模块、发光器件、舵机、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述人脸识别示教方法的步骤。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述人脸识别示教方法的步骤。
本发明实施例通过提供一种应用于机器人的人脸识别示教方法，录入用户的多张人脸图像作为训练数据集，加载用户设置的训练模型作为预训练模型，然后基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型，并显示所述已训练模型的训练结果，再将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果，并显示所述已训练模型的人脸识别结果，能够在对机器人的人脸识别功能进行训练的过程中持续与用户进行互动，从而能够达到良好的机器学习算法的教学演示作用，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸识别示教方法的第一种流程示意图；
图2是本发明实施例提供的人脸识别示教方法的第二种流程示意图；
图3是本发明实施例提供的训练模型设置界面的示意图；
图4是本发明实施例提供的训练参数设置界面的示意图；
图5是本发明实施例提供的分类算法设置界面的示意图；
图6是本发明实施例提供的人脸识别示教方法的第三种流程示意图；
图7是本发明实施例提供的机器人的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
本发明实施例提供一种人脸识别示教方法，应用于机器人，用于采用机器学习算法对机器人的人脸识别功能进行训练，并在训练的过程中使机器人能够持续与用户进行互动，由用户来选择和设置训练模型及算法，并将每一训练阶段所产生的结果传达给用户，使用户能够参与机器学习过程，了解机器人学习人脸识别功能的学习过程，能够达到良好的教学演示作用，提高用户体验。主要应用于人工智能教学，也可以用于班级学生打卡、会场签到、家庭可信任名册智能管家等场景。
在应用中，机器人可以根据实际需要设置为任意形状和构造的机器人，例如，四肢均可活动的人形机器人。机器人包括但不限于摄像头、显示屏、存储器和处理器。机器人能够通过摄像头拍摄人脸图像进行人脸识别，通过存储器存储人脸图像、相关的机器学习算法和计算机程序，通过显示屏显示可供用户选择和设置的训练模型及算法，通过处理器运行计算机程序并在运行计算机程序时采用用户选择和设置的训练模型及算法对人脸图像进行人脸识别训练，并通过显示屏显示训练过程。
如图1所示，本发明实施例提供的人脸识别示教方法包括由机器人执行的如下步骤：
步骤S101、录入用户的多张人脸图像作为训练数据集。
在应用中，可以通过机器人的摄像头采集用户的多张人脸图像。多张人脸图像可以是包括同一用户的人脸的多张不同图像，也可以是多个不同用户的人脸的多张不同图像。
如图2所示，在一个实施例中，步骤S101包括：
步骤S201、通过摄像头采集用户的多张人脸图像；
步骤S202、通过人脸检测模型检测每张人脸图像中的人脸区域，获取每张人脸图像中的人脸区域图像；
步骤S203、存储每张人脸图像中的人脸区域图像作为训练数据集。
在应用中，步骤S201中的用户可以是同一个用户，也可以是多个不同的用户。
在应用中，步骤S202中，人脸检测模型可以根据实际需要进行设置，在执行步骤S202时，可以采用用户设置的人脸检测模型检测人脸图像中的人脸区域。可以通过显示屏显示一个可供用户设置人脸检测模型的人脸检测模型设置界面，人脸检测模型设置界面用于显示至少两种人脸检测模型的加载选项和自定义上传人脸检测模型的文件输入区域，还可以显示“默认”选项，用户选择“默认”选项时，将采用系统默认设置的人脸检测模型检测人脸图像中的人脸区域。若用户未设置人脸检测模型，则在等待第一预设时间之后，直接采用系统默认的人脸检测模型。系统是指处理器所运行的操作系统(Operating System，OS)，属于计算机程序的一部分。第一预设时间是由系统默认或者用户根据实际需要设置的任意时长的等待时间，例如，5S(秒)～10S中的任意时长。为人脸区域是指人脸图像中仅包括人脸像素的图像区域，不包括人脸图像中的背景像素。
在应用中，步骤S203中，可以预先创建一个存储于存储器中的训练数据集，然后将多张人脸图像中的每张人脸图像中的人脸区域存储至该训练数据集。
在一个实施例中，步骤S201包括：
显示摄像头的预览画面；
当用户的人脸位于所述预览画面的预设区域时，拍摄人脸图像；
存储所述人脸图像；
重复上述步骤，获得多张人脸图像。
在应用中，机器人可以通过摄像头主动搜寻摄像头视野范围内用户的人脸，并在搜寻过程中实时显示摄像头视野范围内场景的预览画面，在用户的人脸位于预览画面中的预设区域时，自动拍摄用户的人脸图像，也可以由用户在自身或其他用户的人脸位于预览画面中的预设区域时，触发摄像头拍摄人脸图像。预设区域可以包括预览画面中的全部区域或围绕预览画面的几何中心分布的任意规则形状的区域，例如，假设预览画面是大小为A(长)×B(宽)的矩形区域，则预设区域可以的大小可以为mA×nB，其中，A和B不等于0，m和n均大于0且小于1，预设区域也可以长轴＝mA，短轴＝nB的椭圆区域，预设区域还可以为直径小于B的圆形区域。用户可以通过设置于机器人的实体按键、触摸显示屏的虚拟按键或者手势控制、语音控制等任意的人机交互方式触发摄像头拍摄人脸图像。摄像头每次拍摄一张人脸图像，要获得多张人脸图像，则需要重复拍摄。
步骤S102、加载用户设置的训练模型作为预训练模型。
在应用中，预训练模型可以由用户根据实际需要进行设置，预训练模块可以包括但不限于神经网络模型AlexNet、人脸识别模型FaceNet或FaceMobileNet、轻量级小型化深度网络MobileNet。可以通过显示屏显示一个可供用户设置预训练模型的训练模型设置界面，训练模型设置界面用于显示至少两种训练模型的加载选项和自定义上传训练模型的文件输入区域，还可以显示“默认”选项，用户选择“默认”选项时，将采用系统默认设置的训练模型作为预训练模型。若用户未设置训练模型，则在等待第二预设时间之后，直接采用系统默认的训练模型作为预训练模型。第二预设时间是由系统默认或者用户根据实际需要设置的任意时长的等待时间，例如，5S～10S中的任意时长。
在一个实施例中，步骤S102包括：
显示至少两种训练模型的加载选项和自定义上传训练模型的文件输入区域；
加载用户选择的训练模型或用户自定义上传的训练模型作为预训练模型。
如图3所示，示例性的示出了一个训练模型设置界面3，显示有神经网络模型AlexNet、人脸识别模型FaceNet和FaceMobileNet、轻量级小型化深度网络MobileNet共四个训练模型选项，以及一个用于用户自定义训练模型的文件输入区域。
步骤S103、基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型。
在应用中，采用用户设置或系统默认的预训模块对训练数据集进行迁移学习二次训练。
在一个实施例中，步骤S103之前包括：
显示所述预训练模型的训练参数设置区域；
根据用户的训练参数设置操作，设置所述预训练模型的训练参数。
在应用中，预训练模型的训练参数可以由用户根据实际需要进行设置，训练参数可以包括但不限于批大小(一次训练所选取的样本数)batch size、整个训练数据集被训练的次数epoch、优化函数、损失函数。可以通过显示屏显示一个可供用户设置训练参数的训练参数设置界面，训练参数设置界面用于显示用户自定义设置训练参数的参数输入区域，还可以显示“默认”选项，用户选择“默认”选项时，将采用系统默认设置的训练参数。若用户未设置训练参数，则在等待第三预设时间之后，直接采用系统默认的训练参数。第三预设时间是由系统默认或者用户根据实际需要设置的任意时长的等待时间，例如，5S(秒)～10S中的任意时长。可以由系统或用户在训练过程中根据训练结果适应性的调整训练参数，以调高训练模型的相关性能。用户通过不断调整训练参数，可以从中学习模型训练过程中的优化方法。
如图4所示，示例性的示出了一个训练参数设置界面4，显示有批大小batch size、整个训练数据集被训练的次数epoch、优化函数、损失函数共四个训练参数的参数输入区域。
步骤S104、显示所述已训练模型的训练结果。
在应用中，在获得已训练模型之后，通过显示屏显示已训练模型的训练结果，训练结果具体可以包括损失函数(loss function)和精度值(训练数据集的准确度)。在一次训练完成获得已训练模型的训练结果之后，用户或系统可以重新加载其他训练模型，再次进行迁移学习训练，直到获得所有类型的训练模型对应的训练结果，然后批量显示所有类型的训练模型对应的训练结果。
在一个实施例中，步骤S104包括：
通过绘图库显示所述已训练模型的损失函数和精度值。
在应用中，可以通过绘图库(Matplotlib库)来可视化损失函数和精度值。具体的可以通过表格或者曲线图的形式来显示损失函数和精度值的变化情况。
步骤S105、将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果。
在应用中，预设分类算法可以由用户根据实际需要进行设置，预设分类算法可以包括但不限于决策树、邻近算法(k-NearestNeighbor，KNN)、支持向量机(Support VectorMachine，SVM)、极端梯度提升树(XGBoost)。可以通过显示屏显示一个可供用户设置分类算法的分类算法设置界面，分类算法设置界面用于显示用户自定义设置分类算法的算法输入区域，还可以显示“默认”选项，用户选择“默认”选项时，将采用系统默认设置的分类算法。若用户未设置分类算法，则在等待第四预设时间之后，直接采用系统默认的分类算法。第四预设时间是由系统默认或者用户根据实际需要设置的任意时长的等待时间，例如，5S(秒)～10S中的任意时长。在一次测试完成获得分类结果(人脸识别结果)之后，用户或系统可以重新加载其他分类算法，再次进行测试，直到获得所有类型的分类算法对应的分类结果，然后批量显示所有类型的分类算法对应的分类结果。用户通过不断调整分类算法，可以体验不同的机器学习算法对大数据分类的不同效果。
在应用中，测试数据集是包括多张图像的图像集，图像集中可以包括人脸图像，人脸图像可以是用户的人脸图像。由于已经通过大量的人脸图像对机器人进行训练，使得机器人通过机器学习而具备一定的人脸识别能力，因此，可以通过一个测试数据集来检验机器人进行机器学习之后的人脸识别能力，从而实现对机器人的人脸识别能力的性能测试，也即对已训练模型进行有效性测试。可以通过更换不同的测试数据集，来测试已训练模型对不同测试数据集的识别性能。
如图5所示，示例性的示出了一个分类算法设置界面5，显示有决策树、邻近算法、支持向量机、极端梯度提升树共四个分类算法选项。
如图6所示，在一个实施例中，步骤S105包括：
步骤S601、录入目标人脸图像；
步骤S602、将所述已训练模型导入测试数据集；
步骤S603、通过用户设置的分类算法，对所述目标人脸图像与所述测试数据集中的图像进行特征匹配，获得所述已训练模型的人脸识别结果。
在应用中，目标人脸图像是训练数据集中人脸图像对应的用户的人脸图像。理论上来说，若已训练模型的有效性达标，且测试数据集中包括同一用户的人脸图像时，人脸识别结果应当为在测试数据集中找到该用户的人脸图像；当测试数据集中不包括同一用户的人脸图像时，人脸识别结果应当为在测试数据集中未找到该用户的人脸图像。目标人脸图像为用户的人脸图像时，录入目标人脸图像的方法与步骤S201原理相同，此处不再赘述。
在应用中，采集目标人脸图像的人脸信息，对人脸图像进行特征提取，然后通过分类算法进行特征匹配。人脸识别结果可以包括但不限于测试数据集中与目标人脸图像的特征匹配度大于预设匹配度阈值的人脸图像和对应的特征匹配度。
步骤S106、显示所述已训练模型的人脸识别结果。
在应用中，在获得人脸识别结果之后，通过显示屏显示已训练模型的训练结果，训练结果具体可以包括损失函数(loss function)和精度值(训练数据集的准确度)。在一次训练完成获得已训练模型的训练结果之后，用户或系统可以重新加载其他训练模型，再次进行迁移学习训练，直到获得所有类型的训练模型对应的训练结果，然后批量显示所有类型的训练模型对应的训练结果。
在一个实施例中，步骤S106包括：
通过绘图库显示所述测试数据集中与所述目标人脸图像的特征匹配度大于预设匹配度阈值的人脸图像和对应的特征匹配度。
在应用中，可以通过绘图库来可视化特征匹配度大于预设匹配度阈值的人脸图像和对应的特征匹配度。预设匹配度阈值可以由系统或用户设置，具体可以设置为大于或等于80％的数值。
在一个实施例中，步骤S101之后，包括：
将所述多张人脸图像中的不同人脸命名为不同名称；
步骤S106，还包括：
通过绘图库显示所述测试数据集中与所述目标人脸图像的特征匹配度大于预设匹配度阈值的人脸图像中人脸的名称。
在应用中，在录入用户的多张人脸图像作为训练数据集之后，可以对每张人脸图像进行命名，在对已训练模型进行有效性测试时，可以显示识别出的人脸图像中的人脸的名称，以供用户判断人脸识别结果是否准确。
在一个实施例中，步骤S105之后，包括：
对所述测试数据集中与所述目标人脸图像的特征匹配度大于预设阈值的人脸图像中人脸的名称进行语音播报。
在一个实施例中，步骤S105之后，包括：
对所述已训练模型的人脸识别结果进行语音播报；
和/或，对所述已训练模型的人脸识别结果进行动作示意；
和/或，对所述已训练模型的人脸识别结果进行灯光响应。
在应用中，在获得人脸识别结果之后，可以通过语音播报、动作示意、灯光响应等多种方式将结果反馈给用户，实现与用户的互动。具体的，可以通过机器人的语音TTS接口方式来控制机器人说出人脸识别结果，并作出相应的场景设计反应，例如，举左手、闪红灯等代表欢迎的反馈。
本实施例通过提供一种应用于机器人的人脸识别示教方法，录入用户的多张人脸图像作为训练数据集，加载用户设置的训练模型作为预训练模型，然后基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型，并显示所述已训练模型的训练结果，再将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果，并显示所述已训练模型的人脸识别结果，能够在对机器人的人脸识别功能进行训练的过程中持续与用户进行互动，从而能够达到良好的机器学习算法的教学演示作用，提高了用户体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图7所示，本发明的一个实施例还提供一种机器人7，包括：摄像头71、显示屏72、语音模块73、发光器件74、舵机75、处理器76、存储器77以及存储在所述存储器77中并可在所述处理器76上运行的计算机程序78，例如人脸识别示教程序。所述处理器60执行所述计算机程序62时实现上述各个人脸识别示教方法实施例中的步骤，例如图1所示的步骤S101至S106。
示例性的，所述计算机程序78可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器77中，并由所述处理器76执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序78在所述机器人7中的执行过程。例如，所述计算机程序78可以被分割成，各单元具体功能如下：
录入单元，用于录入用户的多张人脸图像作为训练数据集；
加载单元，用于加载用户设置的训练模型作为预训练模型；
训练单元，用于基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型；
显示单元，用于显示所述已训练模型的训练结果；
测试单元，用于将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果；
所述显示单元还用于显示所述已训练模型的人脸识别结果。
在一个实施例中，所述显示单元还用于显示所述预训练模型的训练参数设置区域；
所述计算机程序78还可以被分割成设置单元，用于根据用户的训练参数设置操作，设置所述预训练模型的训练参数。
在一个实施例中，所述计算机程序78还可以被分割成命名单元，用于将所述多张人脸图像中的不同人脸命名为不同名称；
在一个实施例中，所述计算机程序78还可以被分割成语音单元，用于对所述测试数据集中与所述目标人脸图像的特征匹配度大于预设阈值的人脸图像中人脸的名称进行语音播报。
在一个实施例中，所述语音单元还用于对所述已训练模型的人脸识别结果进行语音播报；
所述计算机程序78还可以被分割成动作示意单元，用于对所述已训练模型的人脸识别结果进行动作示意；
灯光响应单元，用于对所述已训练模型的人脸识别结果进行灯光响应。
所述机器人可包括，但不仅限于，摄像头71、显示屏72、语音模块73、发光器件74、舵机75、处理器76、存储器77。本领域技术人员可以理解，图7仅仅是机器人7的示例，并不构成对机器人7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述机器人还可以包括输入输出设备、网络接入设备、总线等。
所称处理器76可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器77可以是所述机器人7的内部存储单元，例如机器人7的硬盘或内存。所述存储器77也可以是所述机器人7的外部存储设备，例如所述机器人7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器77还可以既包括所述机器人7的内部存储单元也包括外部存储设备。所述存储器77用于存储所述计算机程序以及所述机器人所需的其他程序和数据。所述存储器77还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、单元完成，即将所述装置的内部结构划分成不同的功能单元或单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元、单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/机器人和方法，可以通过其它的方式实现。例如，以上所描述的装置/机器人实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (13)
1.一种人脸识别示教方法，其特征在于，应用于机器人，所述人脸识别示教方法包括：
录入用户的多张人脸图像作为训练数据集，所述人脸图像由摄像头主动搜寻视野范围内用户的人脸并自动拍摄或用户触发摄像头拍摄；
加载用户设置的训练模型作为预训练模型；
基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型；
显示所述已训练模型的训练结果，所述预训练模型由用户在训练过程中根据训练结果调整训练参数，以学习模型训练过程中的优化方法；
将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果，所述预设分类算法由用户从多种分类算法中选择或自定义设置；
显示所述已训练模型的人脸识别结果，所述人脸识别结果包括所述人脸图像中人脸的名称，以供用户判断人脸识别结果是否准确。
2.如权利要求1所述的人脸识别示教方法，其特征在于，录入用户的多张人脸图像作为训练数据集，包括：
通过摄像头采集用户的多张人脸图像；
通过人脸检测模型检测每张人脸图像中的人脸区域，获取每张人脸图像中的人脸区域图像；
存储每张人脸图像中的人脸区域图像作为训练数据集。
3.如权利要求2所述的人脸识别示教方法，其特征在于，通过摄像头采集用户的多张人脸图像，包括：
显示摄像头的预览画面；
当用户的人脸位于所述预览画面的预设区域时，拍摄人脸图像；
存储所述人脸图像；
重复上述步骤，获得多张人脸图像。
4.如权利要求1所述的人脸识别示教方法，其特征在于，加载用户设置的训练模型作为预训练模型，包括：
显示至少两种训练模型的加载选项和自定义上传训练模型的文件输入区域；
加载用户选择的训练模型或用户自定义上传的训练模型作为预训练模型。
5.如权利要求1所述的人脸识别示教方法，其特征在于，基于所述预训练模型对所述训练数据集进行迁移学习训练，获得已训练模型之前，包括：
显示所述预训练模型的训练参数设置区域；
根据用户的训练参数设置操作，设置所述预训练模型的训练参数。
6.如权利要求1～5任一项所述的人脸识别示教方法，其特征在于，显示所述已训练模型的训练结果，包括：
通过绘图库显示所述已训练模型的损失函数和精度值。
7.如权利要求1所述的人脸识别示教方法，其特征在于，将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果，包括：
录入目标人脸图像；
将所述已训练模型导入测试数据集；
通过用户设置的分类算法，对所述目标人脸图像与所述测试数据集中的图像进行特征匹配，获得所述已训练模型的人脸识别结果。
8.如权利要求7所述的人脸识别示教方法，其特征在于，显示所述已训练模型的人脸识别结果，包括：
通过绘图库显示所述测试数据集中与所述目标人脸图像的特征匹配度大于预设匹配度阈值的人脸图像和对应的特征匹配度。
9.如权利要求8所述的人脸识别示教方法，其特征在于，录入用户的多张人脸图像作为训练数据集之后，包括：
将所述多张人脸图像中的不同人脸命名为不同名称；
显示所述已训练模型的人脸识别结果，还包括：
通过绘图库显示所述测试数据集中与所述目标人脸图像的特征匹配度大于预设匹配度阈值的人脸图像中人脸的名称。
10.如权利要求9所述的人脸识别示教方法，其特征在于，将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果之后，包括：
对所述测试数据集中与所述目标人脸图像的特征匹配度大于预设阈值的人脸图像中人脸的名称进行语音播报。
11.如权利要求1所述的人脸识别示教方法，其特征在于，将所述已训练模型导入测试数据集，通过预设分类算法对所述已训练模型进行有效性测试，获得所述已训练模型的人脸识别结果之后，包括：
对所述已训练模型的人脸识别结果进行语音播报；
和/或，对所述已训练模型的人脸识别结果进行动作示意；
和/或，对所述已训练模型的人脸识别结果进行灯光响应。
12.一种机器人，其特征在于，包括摄像头、显示屏、语音模块、发光器件、舵机、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述人脸识别示教方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述人脸识别示教方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356077.1A CN111191558B (zh) | 2019-12-25 | 2019-12-25 | 一种机器人及其人脸识别示教方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356077.1A CN111191558B (zh) | 2019-12-25 | 2019-12-25 | 一种机器人及其人脸识别示教方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191558A CN111191558A (zh) | 2020-05-22 |
| CN111191558B true CN111191558B (zh) | 2024-02-02 |
Family
ID=70709364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911356077.1A Active CN111191558B (zh) | 2019-12-25 | 2019-12-25 | 一种机器人及其人脸识别示教方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191558B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201116B (zh) * | 2020-09-29 | 2022-08-05 | 深圳市优必选科技股份有限公司 | 一种逻辑板识别方法、装置及终端设备 |
| CN112767205A (zh) * | 2021-01-26 | 2021-05-07 | 深圳市恩孚电子科技有限公司 | 机器学习教学方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技（深圳）有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
| CN109754068A (zh) * | 2018-12-04 | 2019-05-14 | 中科恒运股份有限公司 | 基于深度学习预训练模型的迁移学习方法及终端设备 |
| CN110532920A (zh) * | 2019-08-21 | 2019-12-03 | 长江大学 | 基于FaceNet方法的小数量数据集人脸识别方法 |
| CN110569780A (zh) * | 2019-09-03 | 2019-12-13 | 北京清帆科技有限公司 | 一种基于深度迁移学习的高精度人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102675A1 (en) * | 2017-09-29 | 2019-04-04 | Coupa Software Incorporated | Generating and training machine learning systems using stored training datasets |
-
2019
- 2019-12-25 CN CN201911356077.1A patent/CN111191558B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技（深圳）有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
| CN109754068A (zh) * | 2018-12-04 | 2019-05-14 | 中科恒运股份有限公司 | 基于深度学习预训练模型的迁移学习方法及终端设备 |
| CN110532920A (zh) * | 2019-08-21 | 2019-12-03 | 长江大学 | 基于FaceNet方法的小数量数据集人脸识别方法 |
| CN110569780A (zh) * | 2019-09-03 | 2019-12-13 | 北京清帆科技有限公司 | 一种基于深度迁移学习的高精度人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191558A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11436449B2 (en) | Method and electronic apparatus for processing image and training image tag classification model | |
| US11321583B2 (en) | Image annotating method and electronic device | |
| CN109961780B (zh) | 一种人机交互方法、装置、服务器和存储介质 | |
| CN111401516A (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
| CN111191558B (zh) | 一种机器人及其人脸识别示教方法和存储介质 | |
| CN111667420B (zh) | 图像处理方法及装置 | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN112257526B (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
| CN113011403B (zh) | 手势识别方法、系统、介质及设备 | |
| CN113238972B (zh) | 一种图像检测方法、装置、设备及存储介质 | |
| CN112884868B (zh) | 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置 | |
| CN109101931A (zh) | 一种场景识别方法、场景识别装置及终端设备 | |
| CN109726481B (zh) | 一种机器人搭建的辅助方法、装置及终端设备 | |
| CN112906554B (zh) | 基于视觉图像的模型训练优化方法、装置及相关设备 | |
| CN111722700A (zh) | 一种人机交互方法及人机交互设备 | |
| CN112437231B (zh) | 图像拍摄方法和装置、电子设备及存储介质 | |
| CN112969032A (zh) | 光照模式识别方法、装置、计算机设备及存储介质 | |
| CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
| CN109981967A (zh) | 用于智能机器人的拍摄方法、装置、终端设备及介质 | |
| CN112070227A (zh) | 一种神经网络训练方法和装置以及设备 | |
| KR20210048271A (ko) | 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치 | |
| CN115690592A (zh) | 图像处理方法和模型训练方法 | |
| CN115496911A (zh) | 一种目标点检测方法、装置、设备及存储介质 | |
| CN116546304A (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |