CN113064688A - 一种可动态变换界面的控制方法 - Google Patents

一种可动态变换界面的控制方法 Download PDF

Info

Publication number
CN113064688A
CN113064688A CN202110325274.8A CN202110325274A CN113064688A CN 113064688 A CN113064688 A CN 113064688A CN 202110325274 A CN202110325274 A CN 202110325274A CN 113064688 A CN113064688 A CN 113064688A
Authority
CN
China
Prior art keywords
image
face image
face
interface
gender
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110325274.8A
Other languages
English (en)
Inventor
焦其意
陆涛
郭杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Meiling Union Technology Co Ltd
Original Assignee
Hefei Meiling Union Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Meiling Union Technology Co Ltd filed Critical Hefei Meiling Union Technology Co Ltd
Priority to CN202110325274.8A priority Critical patent/CN113064688A/zh
Publication of CN113064688A publication Critical patent/CN113064688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种可动态变换界面的控制方法，涉及智能冰箱技术领域。本发明包括如下步骤：步骤S1：冰箱的摄像头采集人脸图像；步骤S2：对采集的人脸图像进行预处理；步骤S3：对处理后的人脸图像进行特征提取；步骤S4：对提取的特征进行降维处理；步骤S5：对人脸图像进行性别识别和年龄评估，确定用户类型；步骤S6：根据用户类型，动态变化冰箱界面风格。本发明通过在冰箱内安装人脸识别装置，根据人脸识别的结果确认用户类型，动态变化智能屏的显示风格，方便老人和儿童查看显示界面，简化操作，使用方便。

Description

一种可动态变换界面的控制方法
技术领域
本发明属于智能冰箱技术领域，特别是涉及一种可动态变换界面的控制方法。
背景技术
随着人工智能的发展，现在越来越多的设备可实现与用户进行界面互动的功能，例如，智能机器人可以与用户进行界面交互沟通。
随着设备的不断发展，智能设备不断更新换代，智能冰箱的操作流程越来越复杂，对于老人或儿童来说，理解难度大，使用不方便，成为需要解决的问题。
发明内容
本发明的目的在于提供一种可动态变换界面的控制方法，通过在冰箱内安装人脸识别装置，根据人脸识别的结果确认用户类型，动态变化智能屏的显示风格，解决了现有的智能冰箱使用不方便、操作复杂的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种可动态变换界面的控制方法，包括如下步骤：
步骤S1：冰箱的摄像头采集人脸图像；
步骤S2：对采集的人脸图像进行预处理；
步骤S3：对处理后的人脸图像进行特征提取；
步骤S4：对提取的特征进行降维处理；
步骤S5：对人脸图像进行性别识别和年龄评估，确定用户类型；
步骤S6：根据用户类型，动态变化冰箱界面风格。
优选地，所述步骤S1中，摄像头安装在冰箱门体的正前方。
优选地，所述步骤S2中，人脸图像预处理包括图像灰度化处理、图像滤波处理、直方图均衡化、人脸图像定位处理和人脸图像归一化处理；
所述图像灰度化处理，用于将三通道的GRB彩色图像转换成一通道的灰度图像；
所述图像滤波处理，用于在保留图像原有特征的条件下将图像的噪声滤除掉；
所述直方图均衡化，用于对图像直方图进行对比度拉升，增大像素的动态范围，使人脸图像的对比度增强；
所述人脸图像定位处理，用于通过人脸检测分类器筛选出人脸图像信息；
所述人脸图像归一化处理，用于对样本图像中的眼睛和嘴巴进行定位，通过仿射变化，将所有的样本图像中的眼睛和嘴巴变化到相同位置，并将图像大小归一化到相同大小。
优选地，所述人脸检测分类器的训练步骤如下：
步骤S21：建立人脸图像正负样本；正样本为人脸图像，负样本为除人脸外的其他图像；
步骤S22：计算出样本积分图像，构建出特征集合；
步骤S23：利用Adaboost算法训练构建出的特征集合，生成Adaboost分类器。
优选地，所述步骤S3中，人脸图像进行特征提取的步骤如下：
步骤S31：训练样本集；
步骤S32：建立主动形状模型；
步骤S33：建立局部灰度模型；
步骤S34：初始形状；
步骤S35：特征点匹配；
步骤S36：根据局部灰度模型调整参数；
步骤S37：获取特征点的目标形状。
优选地，所述步骤S5中，人脸性别识别包括如下步骤：
步骤S51：获取人脸性别图像；
步骤S52：提取人脸面部的性别特征；
步骤S53：对性别特征进行SVM训练制得分类器；
步骤S54：将待识别人脸图像输入至分类器得到性别识别结果。
优选地，所述步骤S6中，用户类型分为三个阶段：儿童、青年和老年，儿童、青年和老年分别对应界面显示风格为卡通、炫彩和大字体。
本发明具有以下有益效果：
本发明通过在冰箱内安装人脸识别装置，根据人脸识别的结果确认用户类型，动态变化智能屏的显示风格，方便老人和儿童查看显示界面，简化操作，使用方便。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种可动态变换界面的控制方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种可动态变换界面的控制方法，包括如下步骤：
步骤S1：冰箱的摄像头采集人脸图像；
步骤S2：对采集的人脸图像进行预处理；
步骤S3：对处理后的人脸图像进行特征提取；
步骤S4：对提取的特征进行降维处理；
步骤S5：对人脸图像进行性别识别和年龄评估，确定用户类型；
步骤S6：根据用户类型，动态变化冰箱界面风格。
其中，步骤S1中，摄像头安装在冰箱门体的正前方，用于采集人脸信息并进行识别。
其中，步骤S2中，人脸图像预处理包括图像灰度化处理、图像滤波处理、直方图均衡化、人脸图像定位处理和人脸图像归一化处理；
图像灰度化处理，用于将三通道的GRB彩色图像转换成一通道的灰度图像，将彩色图像转换成灰色图像，降低了需要的存储空间，提高运行速度，具体公式如下：
Gray＝R*0.299+G*0.587+B*0.114；
图像滤波处理，用于在保留图像原有特征的条件下将图像的噪声滤除掉；常用的滤波方法有高斯滤波、均值滤波、中值滤波、最小均方差滤波以及Gabor滤波。
(1)高斯滤波是一种线性平滑滤波，它是通过像素本身与其邻域像素的加权平均来对每个像素进行处理。高斯滤波在图像的除噪过程中得到应用广泛，可以对图像起到平滑的作用，比较适用于高斯噪声的滤除。
(2)均值滤波是种线性滤波，利用邻域像素的平均值来替代图像中原有的像素。均值滤波虽然在一定程度上可以降低噪声，但是同时也破坏了图像的细节信息，使得图像的清晰度变低。
(3)中值滤波是一种非线性平滑滤波，通过像素邻域的中值来替代原有的像素，可以消除一些孤立的噪声点。中值滤波法比较适用于椒盐噪声的消除，可以有效的保护边缘信息。
(4)最小均方差滤波，是使输入信号与输出响应相乘后的结果与期望的输出响应的均方误差最小。
(5)Gabor滤波器是一种线性滤波器，实际上是一种对于傅立叶变换的加窗操作，当窗函数为高斯函数时即为Gabor变换。Gabor滤波器可用于边缘检测，并且可以取得图像不同方向和不同尺度的信息，使其与哺乳动物的视觉响应非常相似，可以用于图像处理的纹理特征提取。
本申请文件就利用了Gabor滤波器提取不同方向和尺度的人脸图像纹理特征信息，用于人脸图像的年龄估计。
直方图均衡化，用于对图像直方图进行对比度拉升，增大像素的动态范围，使人脸图像的对比度增强；直方图均衡化主要是通过对图像直方图进行对比度拉伸，使图像直方图能均匀分布，增大了像素的动态范围，从而使得整幅图像的对比度增强。这种方法比较适用于图像亮度过高或过低的情况，可以得到比较好的细节信息。
人脸图像定位处理，用于通过人脸检测分类器筛选出人脸图像信息；在实际中获取的图片不可能只含有人脸部分，还包含一些背景信息，为了提取到更可靠的人脸信息首先应该将人脸检测出来，而且人脸一般会存在一定角度的旋转，因此需要将检测到的人脸图像进行角度校正。本文主要是通过眼睛和嘴巴对图像进行仿射变换，使得样本图像的眼睛和嘴巴在相同的位置，减少位置信息对识的影响。
人脸图像归一化处理，用于对样本图像中的眼睛和嘴巴进行定位，通过仿射变化，将所有的样本图像中的眼睛和嘴巴变化到相同位置，并将图像大小归一化到相同大小。
其中，人脸检测分类器的训练步骤如下：
步骤S21：建立人脸图像正负样本；正样本为人脸图像，负样本为除人脸外的其他图像；
步骤S22：计算出样本积分图像，构建出特征集合；
步骤S23：利用Adaboost算法训练构建出的特征集合，生成Adaboost分类器。
其中，步骤S3中，人脸图像进行特征提取的步骤如下：
步骤S31：训练样本集；
步骤S32：建立主动形状模型；
步骤S33：建立局部灰度模型；
步骤S34：初始形状；
步骤S35：特征点匹配；
步骤S36：根据局部灰度模型调整参数；
步骤S37：获取特征点的目标形状。
其中，步骤S5中，人脸性别识别包括如下步骤：
步骤S51：获取人脸性别图像；
步骤S52：提取人脸面部的性别特征；
步骤S53：对性别特征进行SVM训练制得分类器；
步骤S54：将待识别人脸图像输入至分类器得到性别识别结果。
其中，步骤S6中，用户类型分为三个阶段：儿童、青年和老年，儿童、青年和老年分别对应界面显示风格为卡通、炫彩和大字体；儿童启用卡通风格的显示界面，会吸引儿童的注意力，能够更好的帮助儿童使用操作冰箱；老人由于眼神没有没有年轻人好，显示界面需要更大的字体方便老人进行观察和操作。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种可动态变换界面的控制方法，其特征在于，包括如下步骤：
步骤S1：冰箱的摄像头采集人脸图像；
步骤S2：对采集的人脸图像进行预处理；
步骤S3：对处理后的人脸图像进行特征提取；
步骤S4：对提取的特征进行降维处理；
步骤S5：对人脸图像进行性别识别和年龄评估，确定用户类型；
步骤S6：根据用户类型，动态变化冰箱界面风格。
2.根据权利要求1所述的一种可动态变换界面的控制方法，其特征在于，所述步骤S1中，摄像头安装在冰箱门体的正前方方。
3.根据权利要求1所述的一种可动态变换界面的控制方法，其特征在于，所述步骤S2中，人脸图像预处理包括图像灰度化处理、图像滤波处理、直方图均衡化、人脸图像定位处理和人脸图像归一化处理；
所述图像灰度化处理，用于将三通道的GRB彩色图像转换成一通道的灰度图像；
所述图像滤波处理，用于在保留图像原有特征的条件下将图像的噪声滤除掉；
所述直方图均衡化，用于对图像直方图进行对比度拉升，增大像素的动态范围，使人脸图像的对比度增强；
所述人脸图像定位处理，用于通过人脸检测分类器筛选出人脸图像信息；
所述人脸图像归一化处理，用于对样本图像中的眼睛和嘴巴进行定位，通过仿射变化，将所有的样本图像中的眼睛和嘴巴变化到相同位置，并将图像大小归一化到相同大小。
4.根据权利要求3所述的一种可动态变换界面的控制方法，其特征在于，所述人脸检测分类器的训练步骤如下：
步骤S21：建立人脸图像正负样本；正样本为人脸图像，负样本为除人脸外的其他图像；
步骤S22：计算出样本积分图像，构建出特征集合；
步骤S23：利用Adaboost算法训练构建出的特征集合，生成Adaboost分类器。
5.根据权利要求1所述的一种可动态变换界面的控制方法，其特征在于，所述步骤S3中，人脸图像进行特征提取的步骤如下：
步骤S31：训练样本集；
步骤S32：建立主动形状模型；
步骤S33：建立局部灰度模型；
步骤S34：初始形状；
步骤S35：特征点匹配；
步骤S36：根据局部灰度模型调整参数；
步骤S37：获取特征点的目标形状。
6.根据权利要求1所述的一种可动态变换界面的控制方法，其特征在于，所述步骤S5中，人脸性别识别包括如下步骤：
步骤S51：获取人脸性别图像；
步骤S52：提取人脸面部的性别特征；
步骤S53：对性别特征进行SVM训练制得分类器；
步骤S54：将待识别人脸图像输入至分类器得到性别识别结果。
7.根据权利要求1所述的一种可动态变换界面的控制方法，其特征在于，所述步骤S6中，用户类型分为三个阶段：儿童、青年和老年，儿童、青年和老年分别对应界面显示风格为卡通、炫彩和大字体。
CN202110325274.8A 2021-03-26 2021-03-26 一种可动态变换界面的控制方法 Pending CN113064688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325274.8A CN113064688A (zh) 2021-03-26 2021-03-26 一种可动态变换界面的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325274.8A CN113064688A (zh) 2021-03-26 2021-03-26 一种可动态变换界面的控制方法

Publications (1)

Publication Number Publication Date
CN113064688A true CN113064688A (zh) 2021-07-02

Family

ID=76563894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325274.8A Pending CN113064688A (zh) 2021-03-26 2021-03-26 一种可动态变换界面的控制方法

Country Status (1)

Country Link
CN (1) CN113064688A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748646A (zh) * 2017-10-11 2018-03-02 上海展扬通信技术有限公司 一种基于智能终端的界面控制方法及界面控制系统
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法
WO2020181749A1 (zh) * 2019-03-13 2020-09-17 青岛海尔电冰箱有限公司 冰箱门体及具有该门体的冰箱

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748646A (zh) * 2017-10-11 2018-03-02 上海展扬通信技术有限公司 一种基于智能终端的界面控制方法及界面控制系统
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法
WO2020181749A1 (zh) * 2019-03-13 2020-09-17 青岛海尔电冰箱有限公司 冰箱门体及具有该门体的冰箱

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷晓露: "基于人脸图像的性别识别和年龄估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
Jin et al. A mobile application of American sign language translation via image processing algorithms
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN105354791B (zh) 一种改进的自适应混合高斯前景检测方法
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
CN106845328B (zh) 一种基于双摄像头的智能人脸识别方法及系统
CN110221699B (zh) 一种前置摄像头视频源的眼动行为识别方法
CN108647625A (zh) 一种表情识别方法及装置
CN106651899A (zh) 基于Adaboost的眼底图像微动脉瘤检测系统
CN110717896A (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
CN101551853A (zh) 复杂静态彩色背景下的人耳检测方法
CN104021384B (zh) 一种人脸识别方法及装置
CN111223110B (zh) 一种显微图像增强方法、装置及计算机设备
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
CN107516083A (zh) 一种面向识别的远距离人脸图像增强方法
Ahmed Real-time accurate eye center localization for low-resolution grayscale images
Reddy et al. Hand gesture recognition using local histogram feature descriptor
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
Sikander et al. Facial feature detection: A facial symmetry approach
CN113064688A (zh) 一种可动态变换界面的控制方法
CN106548130A (zh) 一种视频图像提取及识别方法与系统
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
Dantas et al. A deterministic technique for identifying dicotyledons in images
Xu et al. Efficient eye states detection in real-time for drowsy driving monitoring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702