一种自适应调节的化妆辅助方法及系统
技术领域
本发明涉及智能家居领域,更具体地说,涉及一种自适应调节的化妆辅助方法,以及一种自适应调节的化妆辅助系统。
背景技术
化妆时,通常都是通过镜子进行观察,而只有当眼睛与化妆位置在镜面反射的光路上,眼睛才能更轻松地观察到化妆位置。而有些部位,如两侧的脸颊、下颌等比较远离脸部正面的位置,在眼睛正对镜子或小角度斜向对准镜子时,无法从镜子中观察到这些化妆位置。而且,化妆过程中,对不同位置进行化妆时,最舒适、顺手的动作或姿势不同,就会造成当眼睛正对镜子或小角度斜向对准镜子时,无法从镜子中观察到某些化妆位置。为了能够从镜子中观察到这些位置,则继续进一步增加眼睛与镜子的角度,观察更吃力,也不够清楚,而且动作姿势别扭,难受。
发明内容
本发明的目的在于克服现有技术的不足,提供一种能够使化妆者始终保持眼睛正对镜子或小角度斜向对准镜子时,即可观察到所有化妆位置的自适应调节的化妆辅助方法,以及一种自适应调节的化妆辅助系统。
本发明的技术方案如下:
一种自适应调节的化妆辅助方法,通过摄像装置获得影像,检测人体化妆过程中的动作,根据识别的动作,自动将摄像装置的位置调整至适合化妆时观察的角度和位置。
作为优选,根据摄像装置的位置,协同调整照明装置的角度与位置。
作为优选,通过检测人体化妆过程中的动作,进行类别归属与动作预测;并对当前化妆者的化妆过程进行数据采集。
作为优选,类别归属与动作预测的步骤为:由记录的化妆者的化妆过程的动作数据通过机器学习建立化妆者的类别预测通用模型,将检测得到的人体化妆过程中的动作输入类别预测通用模型,归属化妆者的类别、预测下一步进行的化妆动作。
作为优选,对化妆者及记录的所有化妆者的化妆过程分别提取身份特征信息,通过机器学习建立化妆者的身份识别模型,并基于身份识别模型对化妆者进行身份识别。
作为优选,对于完成识别身份的化妆者,对其化妆过程的动作数据单独建立类别预测专用模型,将类别预测专用模型与类别预测通用模型进行比对,如果类别预测专用模型的预测准确度高于类别预测通用模型,则针对当前化妆者采用类别预测专用模型。
作为优选,如果化妆时无法完成身份识别,采用类别预测通用模型进行类别归属与动作预测,并保持提取身份特征信息与身份识别,直至完成身份识别,则对其化妆过程的动作数据单独建立类别预测专用模型,并将类别预测专用模型与类别预测通用模型进行比对,如果类别预测专用模型的预测准确度高于类别预测通用模型,则针对当前化妆者采用类别预测专用模型。
作为优选,如果用户手动调整摄像装置或照明装置后,记录调整后的摄像装置或照明装置的位置,并作为新样本,更新至通用模型样本和专用模型样本,用于通过机器学习持续优化类别预测通用模型、类别预测专用模型。
作为优选,所有化妆者在化妆过程中的动作数据记录至远程服务器中的通用数据中;对于完成识别身份的化妆者,同时记录到当前化妆者的专用数据中。
作为优选,本地通过模型判断模块对应类别预测通用模型或类别预测专用模型的输出结果调整摄像装置或照明装置的位置;当模型判断模块故障时,通过远程服务器对摄像装置或照明装置进行调整控制。
作为优选,根据所有化妆者的各个维度的数据,建立通用模型;并根据已获得的当前化妆者的数据,基于通用模型,预测下一步进行的化妆动作,并作出最优的自动调节。
作为优选,通过图像检测、超声波检测、姿态检测的一种或几种进行检测人体化妆过程中的动作。
作为优选,通过显示装置实时显示摄像装置获取的影像。
一种自适应调节的化妆辅助系统,基于所述的自适应调节的化妆辅助方法进行化妆辅助;包括摄像装置、摄像驱动装置、镜面或显示装置、动作检测装置,通过摄像装置获得影像,并通过镜面反射或者显示装置进行实时影像的显示;动作检测装置检测人体化妆过程中的动作,根据识别的动作,控制摄像驱动装置将摄像装置的位置调整至对准化妆部位。
作为优选,还包括照明装置、照明驱动装置,根据摄像装置的位置,照明驱动装置协同调整照明装置的角度与位置。
作为优选,还包括机器学习装置,机器学习装置接收动作检测装置发送的人体化妆过程中的动作,通过机器学习建立类别预测通用模型、类别预测专用模型、身份识别模型与通用模型;并进行身份识别,对完成身份识别的化妆者同时进行类别预测专用模型的持续优化。
作为优选,设置远程服务器,用于记录所有化妆者在化妆过程中的动作数据;所有化妆者的动作数据记录至用数据中;对于完成识别身份的化妆者,同时记录到当前化妆者的专用数据中。
作为优选,动作检测装置包括图像检测模块、超声波检测模块、姿态检测模块的一种或几种。
本发明的有益效果如下:
本发明所述的自适应调节的化妆辅助方法与系统,通过摄像装置进行获取影像,通过显示装置进行显示,同时可用于代替镜子,摆脱了镜面反射的物理特性的限制,摄像装置可以设置在需要的位置,显示装置可以保持与化妆者正对或小角度斜向对准,保持舒适的动作。本发明通过运动检测与识别,自动调整摄像装置的位置,化妆过程尽可能避免做除了化妆以外的其他操作,提高化妆专注度与效率。本发明中,还设置照明装置与摄像装置进行配合使用,以保证摄像装置对化妆位置的影像获取质量。
本发明还通过机器学习的方式,建立模型,以通用地匹配类似的人群,减少新用户初次使用的等待时间,方便初次使用的用户无障碍使用,降低学习成本。而且还将手动调节的情况作为当前化妆者的细节微调,使模型更加精确。
附图说明
图1是本发明的原理框图;
图2是所述的系统的实施示意图;
图中:10是摄像装置,11是显示装置,12是照明装置。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了解决传统照镜子化妆的文式存在的舒适观察范围太小的不足,提供一种自适应调节的化妆辅助方法与化妆辅助系统,以摄像、显示的方式替换传统的镜面反射的方式实现“照镜子”,并根据化妆者的动作与姿态,改变摄像装置的位置,以配合化妆者的动作或姿势,使化妆者可以以任何想要的动作或角度进行化妆,而保持正面观察。
本发明所述的自适应调节的化妆辅助方法,通过摄像装置10获得影像,检测人体化妆过程中的动作,根据识别的动作,自动将摄像装置10的位置调整至适合化妆时观察的角度和位置。摄像装置10采集的影像主要用于状态检测,并且设置能够自动调整角度的镜子,与摄像装置10采集到的状态联动。
本发明中,由于摄像装置10可以自动保持对准化妆部位,则化妆者不管以什么动作或姿势进行化妆,都可以保持正面朝向镜面进行观察,舒适轻松。实施时,还可以用显示装置11代替镜面,通过显示装置11实时显示摄像装置10获取的影像。则摄像装置10采集的影像可在显示装置11上进行实现显示,即可实时在显示装置11上显示化妆部位的影像。
基于所述的自适应调节的化妆辅助方法,本发明还提供一种自适应调节的化妆辅助系统,用于进行化妆辅助,如图1、图2所示,包括摄像装置10、摄像驱动装置、镜面或显示装置11、动作检测装置,通过摄像装置10获得影像,并通过镜面反射或者显示装置11进行实时影像的显示;动作检测装置检测人体化妆过程中的动作,根据识别的动作,控制摄像驱动装置将摄像装置10的位置调整至对准化妆部位。
为了保证动作检测的精确性,本发明中,可以采用多种动作检测方式,可以通过图像检测、超声波检测、姿态检测的一种或几种进行检测人体化妆过程中的动作。对应于化妆辅助系统,动作检测装置包括图像检测模块、超声波检测模块、姿态检测模块的一种或几种。
由于采用摄像装置10进行影像获取,则需要足够的光线,并且,也可以方便化妆者清楚地观察显示装置11,则为了提供足够的光线,并且光线的照射光线合理,不在脸上形成阴影,便于化妆观察,所述的化妆辅助系统还包括照明装置12、照明驱动装置,根据摄像装置10的位置,照明驱动装置协同调整照明装置12的角度与位置。照明装置12的设置位置与方向,应当尽可能避免在照明状态下,在化妆部位产生阴影。例如可以将照明装置12与摄像装置10相向设置,化妆部位即位于照明装置12与摄像装置10之间,照明装置12工作时,摄像装置10的阴影背向化妆部位,保证化妆部位无阴影覆盖。
为了使摄像装置10、显示装置11或照明装置12的自动调整更具智能化,能够提高对不同行为习惯或不同使用深度的化妆者的匹配度,本发明所述的方法还提供了机器学习能力,则需要记录化妆过程中产生的所有数据,包括化妆者的动作或姿势、摄像装置10、照明装置12分别在摄像驱动装置与照明驱动装置的驱动下的位移数据,这些位移数据与化妆部位、动作或姿势相关。
所述的自适应调节的化妆辅助方法中,通过检测人体化妆过程中的动作,进行类别归属与动作预测;并对当前化妆者的化妆过程进行数据采集。具体地,类别归属与动作预测的步骤为:由记录的化妆者的化妆过程的动作数据通过机器学习建立化妆者的类别预测通用模型,将检测得到的人体化妆过程中的动作输入类别预测通用模型,归属化妆者的类别、预测下一步进行的化妆动作。
在类别预测通用模型中,具备对应的动作习惯,摄像装置10、照明装置12的位移实际上是基于动作触发的,对应于不同化妆部位的动作,包括脸的朝向、手臂动作等。例如,对于惯用手为右手的化妆者,在化右腮红时,通常将脸往左摆动,手臂朝向右脸颊。检测出该动作后,将摄像装置10、照明装置12调整至对准右脸颊的位置。而此时,为了方便观察,化妆者可以是身体往右转,保护脸的正面朝向显示装置11,则摄像装置10、照明装置12跟随躯干的转动而转动。当化左腮红时,化妆可能用惯用手,即右手,或者用左手进行。当用左手时,与上述用右手的原理相同,动作的检测与类似。当仍用右手时,则需要使用另一套动作检测标准进行动作检测与识别。
当同一套化妆辅助系统存在多人共同使用时,为了使化妆辅助系统能够准确识别出当前化妆者,并进行准确而有针对性的自适应调节,本发明中,对化妆者及记录的所有化妆者的化妆过程分别提取身份特征信息,通过机器学习建立化妆者的身份识别模型,并基于身份识别模型对化妆者进行身份识别。使用过程中,完成对化妆者的身份识别后,则调用针对的类别预测通用模型,能够更准确地预测其下一步进行的化妆动作。
对应地,所述的化妆辅助系统还包括机器学习装置,机器学习装置接收动作检测装置发送的人体化妆过程中的动作,通过机器学习建立类别预测通用模型、类别预测专用模型、身份识别模型与通用模型;并进行身份识别,对完成身份识别的化妆者同时进行类别预测专用模型的持续优化。即可以将身份识别的运算放置于机器学习装置中进行,减轻动作检测装置的工作负荷。
为了使新用户在初次使用时,化妆辅助系统也能够进行有效的自适应调节,能够较精确地实现化妆辅助,即摄像装置10、照明装置12能够在未学习的情况下,也能够较精确地调整到达需要的位置。类别预测通用模型内置的摄像装置10、照明装置12的预设位置基本能够满足同一类化妆者的最低要求。进一步地,对于完成识别身份的化妆者,对其化妆过程的动作数据单独建立类别预测专用模型,以用于更有针对性地进行自适应调节。但由于实际化妆过程中存在的不可避免的动作误差,对于完成身份识别的化妆者,并不无条件地使用类别预测专用模型进行动作预测,而是在使用过程中,将类别预测专用模型与类别预测通用模型进行比对,如果类别预测专用模型的预测准确度高于类别预测通用模型,则针对当前化妆者采用类别预测专用模型。反之,则采用类别预测通用模型。具体地,将身份特征信息和前序的动作数据是作为模型判断是否准确的依据,即,将不同的身份特征信息和前序的动作数据进行组合,如果类别预测通用模型的准确率更高,则采用类别预测通用模型,如果类别预测专用模型准确率更高,则采用类别预测专用模型。
如果化妆时无法完成身份识别,采用类别预测通用模型进行类别归属与动作预测,并保持提取身份特征信息与身份识别,直至完成身份识别,则对其化妆过程的动作数据单独建立类别预测专用模型,并将类别预测专用模型与类别预测通用模型进行比对,如果类别预测专用模型的预测准确度高于类别预测通用模型,则针对当前化妆者采用类别预测专用模型。
如果根据类别预测通用模型进行控制的摄像装置10、照明装置12的位置不够理想,或者不符合个人习惯,则可以通过手动调整摄像装置10、照明装置12的位置。本发明中,如果用户手动调整摄像装置10或照明装置12后,记录调整后的摄像装置10或照明装置12的位置,并作为新样本,更新至通用模型样本和专用模型样本,用于通过机器学习持续优化类别预测通用模型、类别预测专用模型。
为了使所有化妆者在使用所有的化妆辅助系统时,均能有效地进行自适应调节,本发明以云平台为化妆者提供服务,所述的化妆辅助系统设置有远程服务器,用于记录所有化妆者在化妆过程中的动作数据;所有化妆者在化妆过程中的动作数据记录至远程服务器中的通用数据中;对于完成识别身份的化妆者,同时记录到当前化妆者的专用数据中。即在服务器中进行数据记录、机器学习等操作,本地远程调用服务器上的各类模型,用于自适应调节。
而为了实现更快速地执行,本地通过模型判断模块对应类别预测通用模型或类别预测专用模型的输出结果调整摄像装置10或照明装置12的位置;当模型判断模块故障时,通过远程服务器对摄像装置10或照明装置12进行调整控制。
由于机器学习需要建立在海量用户的基础上,基于个人动作建立的模型也只有在长时间使用积累样本后才能实现准确预测。所以基于群体的预测极其重要。本发明中,根据所有化妆者的各个维度的数据,例如地理位置、性别、年龄、职业、和操作的时间、动作等数据,通过机器学习建立通用模型;并根据已获得的当前化妆者的数据,基于通用模型,根据当前化妆者的已知信息(无需完整信息)根据已经出现的动作序列,预测下一步进行的化妆动作,并作出最优的自动调节。针对新用户或者未能识别身份的化妆者,也可采用通用模型。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。