CN111027460A - 一种基于EmguCV的智能服务机器人人脸识别方法 - Google Patents

一种基于EmguCV的智能服务机器人人脸识别方法 Download PDF

Info

Publication number
CN111027460A
CN111027460A CN201911242015.8A CN201911242015A CN111027460A CN 111027460 A CN111027460 A CN 111027460A CN 201911242015 A CN201911242015 A CN 201911242015A CN 111027460 A CN111027460 A CN 111027460A
Authority
CN
China
Prior art keywords
face image
face
emgucv
image information
service robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911242015.8A
Other languages
English (en)
Inventor
范淇元
覃羡烘
朱培杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou College of South China University of Technology
Original Assignee
Guangzhou College of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou College of South China University of Technology filed Critical Guangzhou College of South China University of Technology
Priority to CN201911242015.8A priority Critical patent/CN111027460A/zh
Publication of CN111027460A publication Critical patent/CN111027460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于EmguCV的智能服务机器人人脸识别方法，属于人脸识别系统技术领域，整套智能服务机器人人脸识别系统的设计是在服务型机器人的基本运动系统中增加云端处理、语音交互、视觉模块，来实现人脸检测与识别，并对人物做出相对应的服务类型，在EmguCv基础上对图像进行灰度转换、降噪和图像的均衡化处理；同时运用Haar特征对图像进行人脸检测处理，最后给出基于EmguCV的智能服务机器人人脸识别系统的应用，并在调试中不断提高识别率，实现直接通过设备调用进行人脸检测，并添加语音互动系统，提高人机交互能力，能够在多个环境下应用，使人脸识别技术应用在更广阔的领域。

Description

一种基于EmguCV的智能服务机器人人脸识别方法
技术领域
本发明涉及一种人脸识别系统，特别是涉及一种基于EmguCV的智能服务机器人人脸识别方法，属于人脸识别系统技术领域。
背景技术
人脸识别技术是一种通过对人体脸部的特征信息进行对比识别的技术，即通过摄像设备采集视频流或人脸图像，自动检测和跟踪，进而对检测图像进行后台处理与比对识别的一系列相关技术。
现有技术中人脸识别技术，一般是先在系统中预设好待识别人脸样本，在人脸识别时通过检测到的人脸数据与系统中预存的数据进行比对，确定识别到的人脸数据，这种方式由于需要从系统预设中识别的人脸样本中进行识别，处理速度慢，且对于未在系统中预设的数据人为地一步一步地进行预设进行存储，处理时间长，同时人脸识别在实际工作中会受到光照、脸部表情和姿势等因素影响，因此出现较大的失误率，为此设计一种基于EmguCV的智能服务机器人人脸识别方法来优化上述问题。
发明内容
本发明的主要目的是为了提供一种基于EmguCV的智能服务机器人人脸识别方法，减少人脸在识别过程受到光照以及姿势等因素的影响，识别率更高，在系统中未有预设的人脸样本时能快速地对人脸样本进行保存，处理效率高。
本发明的目的可以通过采用如下技术方案达到：
一种基于EmguCV的智能服务机器人人脸识别方法，包括如下步骤：
步骤1：摄像头检测进入检测环境下的人脸并发送至人脸采集系统；
步骤2：人脸图像采集系统获取人脸图像；
步骤3：对获取的人脸图像通过采用图形去噪、灰度变换和均衡化处理得到人脸图像信息，然后通过Haar分类器判断是否为Haar分类器包含的XML文件；
步骤4：若为Haar分类器包含的XML文件则将针对该人脸图像信息对应的人物的信息与服务相关类型；
步骤5：若不为Haar分类器包含的XML文件则使用Image类Save方法将人脸图像信息保存为图片格式；然后使用System.IO命名空间下的FileStream类的OpenWrite方法，创建图片格式的人脸图像信息与编号对应的IO数据流；
步骤6：通过XmlWriter的WriteStartDocument、WriteStartElement、WriteElementString、WriteEndElement以及WriteEndDocument生成XML文件。
优选的，其中步骤3中通过Haar分类器判断是否为Haar分类器包含的XML文件还包括如下步骤：
步骤31：通过阀值法和边缘法进行分割；
步骤32：通过几何特征、纹理和颜色进行特征提取；
步骤33：通过样板匹配法和特征匹配法进行识别。
优选的，步骤图形去噪采用低通滤波，灰度变换指通过灰度变换将原直方图两端的灰度值分别拉向最小值0和最大值255，使图像占有的灰度等级充满0-255的整个区域，均衡化处理指采用常用的亮度值进行调整灰度变换之后的图像信息。
优选的，步骤32中纹理特征提取采用二值模式算法LBP实现，二值模式算法LBP具体包括：在像素3x3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如果周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，3x3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。
优选的，其中步骤3中的Haar分类器判断是否为Harr分类器包含的XML文件具体包括：对检测到的人脸图像信息，通过识别算法，对训练过的人脸图像中的各个特征点进行评估后，从XML文件中选取匹配率最高的人脸图像信息并输出该人脸图像信息对应的人脸图像。
优选的，其中步骤3中XML文件对于人脸图像保存在System.Drawing.dll的程序集文件。
优选的，步骤5中“若不为Harr分类器包含的XML文件”步骤之后还包括：则启动语音控制功能，通过语音控制模块再次调取摄像头进行图像信息录入。
优选的，在步骤4中“该人脸图像信息对应的人物的信息与身份自动服务相关类型行为”具体包括：识别人脸图像信息之后，根据人脸图像信息到云端服务器上调取该人脸图像信息对应的人物信息以及经常使用的服务类型并进行显示。
本发明的有益技术效果：
本发明提供的一种基于EmguCV的智能服务机器人人脸识别方法，整套智能服务机器人人脸识别系统的设计是在EmguCv基础上对图像进行灰度转换、降噪和图像的均衡化处理，先通过去燥处理之后除去强光图像信息，然后通过对图像灰度转换使得增加图像的层次感，达到图像细节增强的目的，然后再通过均衡化处理使得人脸图像信息更加清晰，防止人脸图像信息采集时受到光照出现强光以及姿势不对出现有些区域过暗的问题出现；同时运用Haar特征对图像进行人脸识别，若没有出现对应的XML文件，则将检测到的人脸图像信息保存为图片格式，然后通过IO数据流以及XML写文件格式将其保存为XML格式，这样以便下次人脸图像信息的读取，同时通过XML格式进行保存，能加快人脸图像信息读取速度。
附图说明
图1为按照本发明的一种基于EmguCV的智能服务机器人人脸识别方法流程图。
图2为按照本发明的一种基于EmguCV的智能服务机器人与使用者的交互图。
图3为按照本发明的一种基于EmguCV的智能服务机器人人脸识别方法中图像处理的原理图。
图4为本发明的一种基于EmguCV的智能服务机器人人脸识别方法中LBP特征提取示意图。
图5为本发明的一种基于EmguCV的智能服务机器人人脸识别方法中不同光照下LBP特征提取结果测试图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1-5所示，本实施例提供的一种基于EmguCV的智能服务机器人人脸识别方法，包括如下步骤：
步骤1：摄像头检测进入检测环境下的人脸并发送至人脸采集系统；
步骤2：人脸图像采集系统获取人脸图像；
步骤3：对获取的人脸图像通过采用图形去噪、灰度变换和均衡化处理得到人脸图像信息，然后通过Haar(即哈尔特征：Haar-like features)分类器判断是否为Haar分类器包含的XML文件；
步骤4：若为Haar分类器包含的XML文件则将针对该人脸图像信息对应的人物的信息与服务相关类型；
步骤5：若不为Haar分类器包含的XML文件则使用Image类Save方法将人脸图像信息保存为图片格式；具体地，可以为PEG、ICON、GIF、PNG、TIFF、WMF以及BMP图标图像保存格式，然后使用System.IO命名空间下的FileStream类的OpenWrite方法，创建图片格式的人脸图像信息与编号对应的IO数据流；
步骤6：通过XmlWriter的WriteStartDocument、WriteStartElement、WriteElementString、WriteEndElement以及WriteEndDocument生成XML文件。
本实施例中，其中步骤3中通过Haar分类器判断是否为Haar分类器包含的XML文件还包括如下步骤：
步骤31：通过阀值法和边缘法进行分割；本实施例中阈值法根据图像像素的不同选取一个阈值，按照阈值进行分割，比如对于像素值为0-255的，我们可以选取0-255中数值作为阈值，边缘法即指先确定图像中边缘像素，然后再把这些像素连接在一起构成所需的边界，由于在上述步骤3中灰度变换时会确定将边缘像素进行扩展从而能确定图像中边缘像素，从而确定边界。
步骤32：通过几何特征、纹理和颜色进行特征提取；从步骤31中得到的图像像素以及边缘可以确定图像的像素的几何形状、方向、面积等信息，通过二值模式算法LBP提取纹理信息，通过像素值可以确定颜色信息；
步骤33：通过样板匹配法和特征匹配法进行识别。具体地，样板匹配法是通过获取的人脸图像信息与XML文件中对应的人脸信息进行分区匹配；特征匹配法是提取人脸图像中特征点，然后以特征点为中心对其邻近像素进行匹配。
本实施例中，图形去噪采用低通滤波，灰度变换指通过灰度变换将原直方图两端的灰度值分别拉向最小值0和最大值255，使图像占有的灰度等级充满0-255的整个区域，均衡化处理指采用常用的亮度值进行调整灰度变换之后的图像信息。通过先采用滤波的方式对图像进行滤波处理，去掉强光，然后通过灰度值处理使得图像层次感更加强，最后通过均衡化处理使得图像更加清晰，更加有利于人脸图像提取受到外界环境的影响。
本实施例中，步骤32中纹理特征提取采用二值模式算法LBP实现，二值模式算法LBP具体包括：在像素3x3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如果周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，3x3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。
采用二值模式算法LBP对提取图像的纹理信息，算法简单且可靠。
本实施例中，其中步骤3中的Haar分类器判断是否为Harr分类器包含的XML文件具体包括：对检测到的人脸图像信息，通过识别算法，对训练过的人脸图像中的各个特征点进行评估后，从XML文件中选取匹配率最高的人脸图像信息并输出该人脸图像信息对应的人脸图像。识别算法可以是样板匹配算法和特征匹配算法。
本实施例中，其中步骤3中XML文件对于人脸图像保存在System.Drawing.dll的程序集文件。采用System.Drawing.dll程序集文件，能方便使用到Image类中的Save工具进行保存。
本实施例中，步骤5中“若不为Harr分类器包含的XML文件”步骤之后还包括：则启动语音控制功能，通过语音控制模块再次调取摄像头进行图像信息录入。
在没有预存的人脸样本时，通过启动语音控制功能，使用者通过发出语音的方式控制机器人调取摄像头重新获取使用者的人脸信息，方便操作。
本实施例中，在步骤4中“该人脸图像信息对应的人物的信息与身份自动服务相关类型行为”具体包括：识别人脸图像信息之后，根据人脸图像信息到云端服务器上调取该人脸图像信息对应的人物信息以及经常使用的服务类型并进行显示。
在识别到人脸图像信息之后，根据人脸信息去云端服务器上调取该人脸图像信息对应的人物信息以及该人物信息使用使用的服务类型，比如对应机器人来说可以是扫地、端菜等服务。
综上所述，整套智能服务机器人人脸识别系统的设计是在服务型机器人的基本运动系统中增加云端处理、语音交互、视觉模块，来实现人脸检测与识别，并对人物做出相对应的服务类型，在EmguCv基础上对图像进行灰度转换、降噪和图像的均衡化处理；同时运用Haar特征对图像进行人脸检测处理，最后给出基于EmguCV的智能服务机器人人脸识别系统的应用，并在调试中不断提高识别率，实现直接通过设备调用进行人脸检测，并添加语音互动系统，提高人机交互能力，能够在多个环境下应用，使人脸识别技术应用在更广阔的领域。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (8)

1.一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：包括如下步骤：
步骤1：摄像头检测进入检测环境下的人脸并发送至人脸采集系统；
步骤2：人脸图像采集系统获取人脸图像；
步骤3：对获取的人脸图像通过采用图形去噪、灰度变换和均衡化处理得到人脸图像信息，然后通过Haar分类器判断是否为Haar分类器包含的XML文件；
步骤4：若为Haar分类器包含的XML文件则将针对该人脸图像信息对应的人物的信息与服务相关类型；
步骤5：若不为Haar分类器包含的XML文件则使用Image类Save方法将人脸图像信息保存为图片格式；然后使用System.IO命名空间下的FileStream类的OpenWrite方法，创建图片格式的人脸图像信息与编号对应的IO数据流；
步骤6：通过XmlWriter的WriteStartDocument、WriteStartElement、WriteElementString、WriteEndElement以及WriteEndDocument生成XML文件。
2.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：其中步骤3中通过Haar分类器判断是否为Haar分类器包含的XML文件还包括如下步骤：
步骤31：通过阀值法和边缘法进行分割；
步骤32：通过几何特征、纹理和颜色进行特征提取；
步骤33：通过样板匹配法和特征匹配法进行识别。
3.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：步骤图形去噪采用低通滤波，灰度变换指通过灰度变换将原直方图两端的灰度值分别拉向最小值0和最大值255，使图像占有的灰度等级充满0-255的整个区域，均衡化处理指采用常用的亮度值进行调整灰度变换之后的图像信息。
4.根据权利要求2所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：步骤32中纹理特征提取采用二值模式算法LBP实现，二值模式算法LBP具体包括：在像素3x3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如果周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，3x3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。
5.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：其中步骤3中的Haar分类器判断是否为Harr分类器包含的XML文件具体包括：对检测到的人脸图像信息，通过识别算法，对训练过的人脸图像中的各个特征点进行评估后，从XML文件中选取匹配率最高的人脸图像信息并输出该人脸图像信息对应的人脸图像。
6.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：其中步骤3中XML文件对于人脸图像保存在System.Drawing.dll的程序集文件。
7.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：步骤5中“若不为Harr分类器包含的XML文件”步骤之后还包括：则启动语音控制功能，通过语音控制模块再次调取摄像头进行图像信息录入。
8.根据权利要求1所述的一种基于EmguCV的智能服务机器人人脸识别方法，其特征在于：在步骤4中“该人脸图像信息对应的人物的信息与身份自动服务相关类型行为”具体包括：识别人脸图像信息之后，根据人脸图像信息到云端服务器上调取该人脸图像信息对应的人物信息以及经常使用的服务类型并进行显示。
CN201911242015.8A 2019-12-06 2019-12-06 一种基于EmguCV的智能服务机器人人脸识别方法 Pending CN111027460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911242015.8A CN111027460A (zh) 2019-12-06 2019-12-06 一种基于EmguCV的智能服务机器人人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911242015.8A CN111027460A (zh) 2019-12-06 2019-12-06 一种基于EmguCV的智能服务机器人人脸识别方法

Publications (1)

Publication Number Publication Date
CN111027460A true CN111027460A (zh) 2020-04-17

Family

ID=70207402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911242015.8A Pending CN111027460A (zh) 2019-12-06 2019-12-06 一种基于EmguCV的智能服务机器人人脸识别方法

Country Status (1)

Country Link
CN (1) CN111027460A (zh)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范淇元 等: "基于 EmguCV 的智能服务机器人人脸识别系统设计" *

Similar Documents

Publication Publication Date Title
US10733477B2 (en) Image recognition apparatus, image recognition method, and program
EP1693782B1 (en) Method for facial features detection
JP5701182B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
US20010026633A1 (en) Method for detecting a face in a digital image
JP2010525486A (ja) 画像分割及び画像強調
CN110309806B (zh) 一种基于视频图像处理的手势识别系统及其方法
CN109815762B (zh) 远距离识别二维码的方法、存储介质
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
CN104484652A (zh) 一种指纹识别方法
KR100601453B1 (ko) 지문 인식 방법
CN113688838B (zh) 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN115018797A (zh) 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质
CN109784322A (zh) 一种基于图像处理的vin码识别方法、设备及介质
CN112990140B (zh) 手势轮廓提取方法、装置、可读存储介质及电子设备
CN111126191B (zh) 一种虹膜图像的采集方法、装置及存储介质
CN112784854A (zh) 基于数理统计的服装颜色分割提取方法、装置和设备
JP3906221B2 (ja) 画像処理方法及び画像処理装置
CN110930358A (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN111027460A (zh) 一种基于EmguCV的智能服务机器人人脸识别方法
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
CN111223050A (zh) 一种实时图像边缘检测算法
CN114821194A (zh) 一种设备运行状态识别方法及装置
CN114554188A (zh) 基于图像传感器像素阵列的手机摄像头检测方法及装置
CN114913099A (zh) 视频文件处理的方法和系统
KR100713335B1 (ko) 이미지 인식방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination