CN1710608A - 机器人绘制人脸漫画的图像处理方法 - Google Patents
机器人绘制人脸漫画的图像处理方法 Download PDFInfo
- Publication number
- CN1710608A CN1710608A CN 200510027564 CN200510027564A CN1710608A CN 1710608 A CN1710608 A CN 1710608A CN 200510027564 CN200510027564 CN 200510027564 CN 200510027564 A CN200510027564 A CN 200510027564A CN 1710608 A CN1710608 A CN 1710608A
- Authority
- CN
- China
- Prior art keywords
- face
- robot
- image
- template
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
一种属于图象处理和自动控制技术领域的机器人绘制人脸漫画的图像处理方法，本发明通过CCD(数码摄像头)得到人面部图像照片，应用图像处理的方法通过去背景、去噪声、去黑色、灰度变换、轮廓提取的图象处理方法，提取人的面部特征；将这些线条肖像特征以点阵的形式存储在计算机内存中；将无序的点阵集合进行矢量化，将相邻的点以矢量的形式描述出来；对矢量进行二次整形、简化，得到足够少的线，并确认机器人末端执行器的绘图笔画顺序，使得机器人可以在尽可能短的时间内绘出肖像。本发明应用去背景，去噪声，边缘提取得到二值图像，然后用一种模板连线的方法实现相应点的连接，这种方法运算量少，而且绘出人脸图像比较真实。
Description
技术领域
本发明涉及的是一种图象处理技术领域的方法，具体地说，是一种机器人绘制人脸漫画的图像处理方法。
背景技术
近些年，通过计算机图象处理的方法实现人的面部特征的提取，已经做过一些研究，但是关于如何用机器人来把计算机中的图像画在画纸上的发明却没有。此发明的关键在于图像处理后，如何将处理后的离散点连接起来。也就是说需要好的方法找出有相联系的计算机图像上的离散点，最后用机器人末端画笔实现这些点的连接。现有的图像处理方法主要是通过找出人面部的特征点而后实现连接，这样的方法运算量大，而且可能寻找失败，从而使得机器人绘画出的人脸严重变形。
经对现有技术文献的检索发现，顾明亮在“基于神经网络的人脸特征提取”(东南大学学报，1995.9)一文中提到应用神经网络的方法提取人脸特征，该方法实现了人脸的特征提取，但是并没有涉及到如何将这些点通过有效的矢量化的方法连接起来的问题；当然，也就不能实现在纸上用机器人将人脸绘出来。
发明内容：
本发明的目的在于克服现有技术中存在的不足，提供一种机器人绘制人脸漫画的图像处理方法，使其应用去背景，去噪声，边缘提取得到二值图像，然后用一种模板连线的方法实现相应点的连接，这种方法运算量少，而且绘出人脸图像比较真实。
本发明是通过以下技术方案实现的，本发明通过CCD(数码摄像头)得到人面部图像照片，应用图像处理的方法通过去背景、去噪声、去黑色、灰度变换、轮廓提取的图象处理方法，提取人的面部特征；将这些线条肖像特征以点阵的形式存储在计算机内存中；将无序的点阵集合进行矢量化，将相邻的点以矢量的形式描述出来；对矢量进行二次整形、简化，得到足够少的线，并确认机器人末端执行器的绘图笔画顺序，使得机器人可以在尽可能短的时间内绘出肖像。
本发明具体步骤如下：
(1)人坐在一块蓝色背景布前，调整其位置，使得其面部在CCD摄像图像中部；
(2)用CCD拍摄一帧该人的面部图象，拍摄后将其存为BMP格式文件；
(3)将此图片中的蓝色背景去掉，剩下人的面部头发和衣服图像，然后去掉黑色部分，黑色部分包括头发、眼睛、鼻孔和阴影，这样有利于轮廓检测。
(4)将图像进行灰度变换和轮廓检测处理，找到照片的点阵肖像特征。
所述的轮廓检测是指对得到的灰度图象，检测某像素点两侧的灰度变化大小。这里可以使用Sobel边缘检测算法，即检测每个像素点两侧的梯度值，当梯度值大于一个域值时，就认为这个像素点是边缘点。得到图象中的轮廓，这样可以有效提取人的脸部、眼睛、鼻子、嘴巴的轮廓。
(5)应用模板连接方法，将这些无序点矢量化，将相邻点互连简化。
所述的模板连接方法是指用一个正方形的模板在图象中移动。将这个模板内的特征点的最上点和最下点相连接，最左点和最右点相连。这个模板从图象的左上角按从左到右，从上到下的顺序移动。每次移动都按以上方法连线。当移动完毕后，连线也就完成。就将这些特征点，矢量化为相互关联的直线。
(6)由于肖像的眼睛鼻子嘴巴部分最能体现人物特征，于是通过面部检测，眼睛定位，找到眼睛位置，鼻子和嘴巴位置，在此位置范围内用小模板连线，实现细化，这样可以得到更加真实的图画，除此之外的部分为人物的轮廓，用大模板连线，这样既可以不损失太多特征，也可以简化线段，得到较少的线，让机器人在短时间内绘出肖像。
(7)对矢量数据进行艺术处理，在定位眼睛、鼻子、嘴巴的地方用标准的模板在原始图象上匹配，得到人的眼睛、鼻子、嘴巴的大小与标准模板的大小的比例，比模板大的部分，放大该部分的比例，比如大眼睛，可以将眼睛画得更大，而比模板小的部分，可以缩小该部分的比例，相应根据每个部分的放大缩小比例，调整轮廓部分线条的比例，使之与眼睛、鼻子、嘴巴的大小相协调，生成漫画矢量文件。
(8)将这些矢量线段，存储在计算机中，此后同过串口将这些数据发送到机器人控制器，实现机器人末端画笔的绘画。
本发明对于提取的特征点做了矢量化处理，这是其他相关文献没有提及的。矢量化是机器人绘画的一个关键步骤，而且在矢量化后，进行了漫画处理。所以，本发明即对特征点做了矢量化处理，也进行了后期漫画处理。而且这些数据可以通过传口传输到机器人，用机器人绘出。绘出的肖像或者漫画可以和真实照片非常接近，而且方法简单，速度快，稳定性好。
具体实施方式
实施例
本发明具体步骤如下：
1.人坐在一块蓝色背景布前。调整其位置，使得其面部在CCD摄像图像中部。
2.用CCD拍摄一帧该人的面部图象，拍摄时的人及其背景亮度，应为：200-300流明之间。这个值也可以改变，但与之相对的后续的处理参数将发生一定变化。拍摄后，将其存为BMP格式文件。
3.将此图片中的蓝色背景去掉，剩下人的面部头发和衣服图像。然后去掉黑色部分。黑色部分包括头发，眼睛，鼻孔和一些阴影，这样有利于轮廓检测。
4.将图像进行灰度变换和轮廓检测处理，找到照片的点阵肖像特征。
5.应用模板连接方法，将这些无序点矢量化。将相邻点互连简化后，一般点数为1000-2000，线数为500-700。
6.大模板连线可以得到更少的线段，减少绘画时间，大体上符合人面部轮廓。但是在眼睛鼻子嘴巴部分不够有表现力。于是用小模板连线，这样画得更像，但是却得到了更多的线数，这样无疑增加了绘画时间。为了在短时间绘出较为逼真的肖像，可以采用折中的方法，结合两种方法相结合。考虑到需要在人物眼睛嘴巴鼻子部分点密集，而且线段短。因此，可以用面部识别，和眼睛定位的方法得到眼睛嘴巴鼻子的位置。在此范围内用小模板细化。而头发轮廓和衣服部分可以用大模板进行简化。而且这样也不会丢失人物的面部特征。一般点数为500-1500，线数为150-350。这样可以让机器人在3-5分钟内绘出。
7.对矢量数据进行艺术处理，在定位眼睛、鼻子、嘴巴的地方用标准的模板在原始图象上匹配。得到人的眼睛、鼻子、嘴巴的大小与标准模板的大小的比例，比模板大的部分，放大该部分的比例。比如大眼睛，可以将眼睛画得更大。而比模板小的部分，可以缩小该部分的比例。相应根据每个部分的放大缩小比例，调整轮廓部分线条的比例，使之与眼睛、鼻子、嘴巴的大小相协调。这样就可以生成漫画矢量文件。
8.将这些矢量线段，存储在计算机中。此后通过串口将这些数据发送到机器人控制器，实现机器人末端画笔的绘画。
Claims (5)
1.一种机器人绘制人脸漫画的图像处理方法，其特征在于，通过CCD得到人面部图像照片，应用图像处理的方法通过去背景、去噪声、去黑色、灰度变换、轮廓提取的图象处理方法，提取人的面部特征，将这些线条肖像特征以点阵的形式存储在计算机内存中，将无序的点阵集合进行矢量化，将相邻的点以矢量的形式描述出来，对矢量进行二次整形、简化，得到足够少的线，并确认机器人末端执行器的绘图笔画顺序，使得机器人可以在尽可能短的时间内绘出肖像。
2.根据权利要求1所述的机器人绘制人脸漫画的图像处理方法，其特征是，包括如下步骤：
(1)人坐在一块蓝色背景布前，调整其位置，使得其面部在CCD摄像图像中部；
(2)用CCD拍摄一帧该人的面部图象，拍摄后将其存为BMP格式文件；
(3)将此图片中的蓝色背景去掉，剩下人的面部头发和衣服图像，然后去掉黑色部分；
(4)将图像进行灰度变换和轮廓检测处理，找到照片的点阵肖像特征；
(5)应用模板连接方法，将这些无序点矢量化，将相邻点互连简化；
(6)通过面部检测，眼睛定位，找到眼睛位置，鼻子和嘴巴位置，在此位置范围内用小模板连线，实现细化，这样可以得到更加真实的图画，除此之外的部分为人物的轮廓，用大模板连线，让机器人在短时间内绘出肖像；
(7)对矢量数据进行艺术处理，在定位眼睛、鼻子、嘴巴的地方用标准的模板在原始图象上匹配，得到人的眼睛、鼻子、嘴巴的大小与标准模板的大小的比例，比模板大的部分，放大该部分的比例，而比模板小的部分，缩小该部分的比例，相应根据每个部分的放大缩小比例，调整轮廓部分线条的比例，使之与眼睛、鼻子、嘴巴的大小相协调，生成漫画矢量文件；
(8)将这些矢量线段，存储在计算机中，此后同过串口将这些数据发送到机器人控制器，实现机器人末端画笔的绘画。
3.根据权利要求2所述的机器人绘制人脸漫画的图像处理方法，其特征是，所述的黑色部分包括：头发、眼睛、鼻孔和阴影。
4.根据权利要求2所述的机器人绘制人脸漫画的图像处理方法，其特征是，所述的轮廓检测是指对得到的灰度图象，检测某像素点两侧的灰度变化大小，使用Sobel边缘检测算法，即检测每个像素点两侧的梯度值，当梯度值大于一个域值时，就认为这个像素点是边缘点。
5.根据权利要求2所述的机器人绘制人脸漫画的图像处理方法，其特征是，所述的模板连接方法是指：用一个正方形的模板在图象中移动，将这个模板内的特征点的最上点和最下点相连接，最左点和最右点相连接，这个模板从图象的左上角按从左到右，从上到下的顺序移动，每次移动都按以上方法连线，当移动完毕后，连线也就完成，就将这些特征点，矢量化为相互关联的直线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510027564 CN1710608A (zh) | 2005-07-07 | 2005-07-07 | 机器人绘制人脸漫画的图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510027564 CN1710608A (zh) | 2005-07-07 | 2005-07-07 | 机器人绘制人脸漫画的图像处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1710608A true CN1710608A (zh) | 2005-12-21 |
Family
ID=35706847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200510027564 Pending CN1710608A (zh) | 2005-07-07 | 2005-07-07 | 机器人绘制人脸漫画的图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1710608A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110304A (zh) * | 2011-03-29 | 2011-06-29 | 华南理工大学 | 一种基于素材引擎的漫画自动生成方法 |
| CN102147911A (zh) * | 2010-02-04 | 2011-08-10 | 卡西欧计算机株式会社 | 图像处理装置 |
| WO2012167619A1 (en) * | 2011-07-11 | 2012-12-13 | Huawei Technologies Co., Ltd. | Image topological coding for visual search |
| CN104240274A (zh) * | 2014-09-29 | 2014-12-24 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN104637076A (zh) * | 2013-11-13 | 2015-05-20 | 沈阳新松机器人自动化股份有限公司 | 一种机器人肖像绘制系统及方法 |
| CN105291108A (zh) * | 2015-09-13 | 2016-02-03 | 常州大学 | 智能填涂镭刻标图技术 |
| CN105289884A (zh) * | 2015-09-13 | 2016-02-03 | 常州大学 | 智能人像素描喷绘机器人 |
| CN105437768A (zh) * | 2015-09-13 | 2016-03-30 | 常州大学 | 基于机器视觉的智能艺术喷绘机器人 |
| CN105701437A (zh) * | 2014-11-11 | 2016-06-22 | 沈阳新松机器人自动化股份有限公司 | 基于机器人的肖像绘制系统 |
| CN106056648A (zh) * | 2016-06-14 | 2016-10-26 | 深圳市智能机器人研究院 | 一种智能机器人的图像绘制方法及系统 |
| US9875386B2 (en) | 2011-11-15 | 2018-01-23 | Futurewei Technologies, Inc. | System and method for randomized point set geometry verification for image identification |
| CN107756399A (zh) * | 2017-10-12 | 2018-03-06 | 昆山塔米机器人有限公司 | 一种控制机器人画像的方法、装置及画像机器人 |
| CN108335423A (zh) * | 2017-12-08 | 2018-07-27 | 广东数相智能科技有限公司 | 一种肖像绘制系统、方法及存储介质 |
| CN108460369A (zh) * | 2018-04-04 | 2018-08-28 | 南京阿凡达机器人科技有限公司 | 一种基于机器视觉的绘图方法及系统 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN110446091A (zh) * | 2019-07-23 | 2019-11-12 | 天脉聚源(杭州)传媒科技有限公司 | 一种虚拟观众显示方法、系统、装置和存储介质 |
| CN111243050A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 肖像简笔画生成方法、系统及绘画机器人 |
| CN111243051A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 基于肖像照片的简笔画生成方法、系统及存储介质 |
| CN111251309A (zh) * | 2020-01-08 | 2020-06-09 | 浙江省北大信息技术高等研究院 | 控制机器人绘制图像的方法、装置、机器人及介质 |
| CN111462265A (zh) * | 2020-03-20 | 2020-07-28 | 南京赫曼机器人自动化有限公司 | 一种多模态机器人智能绘画方法 |
-
2005
- 2005-07-07 CN CN 200510027564 patent/CN1710608A/zh active Pending
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102147911A (zh) * | 2010-02-04 | 2011-08-10 | 卡西欧计算机株式会社 | 图像处理装置 |
| CN102147911B (zh) * | 2010-02-04 | 2014-02-26 | 卡西欧计算机株式会社 | 图像处理装置 |
| CN102110304A (zh) * | 2011-03-29 | 2011-06-29 | 华南理工大学 | 一种基于素材引擎的漫画自动生成方法 |
| CN102110304B (zh) * | 2011-03-29 | 2012-08-22 | 华南理工大学 | 一种基于素材引擎的漫画自动生成方法 |
| WO2012167619A1 (en) * | 2011-07-11 | 2012-12-13 | Huawei Technologies Co., Ltd. | Image topological coding for visual search |
| US8718378B2 (en) | 2011-07-11 | 2014-05-06 | Futurewei Technologies, Inc. | Image topological coding for visual search |
| US9875386B2 (en) | 2011-11-15 | 2018-01-23 | Futurewei Technologies, Inc. | System and method for randomized point set geometry verification for image identification |
| CN104637076A (zh) * | 2013-11-13 | 2015-05-20 | 沈阳新松机器人自动化股份有限公司 | 一种机器人肖像绘制系统及方法 |
| CN104240274B (zh) * | 2014-09-29 | 2017-08-25 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN104240274A (zh) * | 2014-09-29 | 2014-12-24 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN105701437A (zh) * | 2014-11-11 | 2016-06-22 | 沈阳新松机器人自动化股份有限公司 | 基于机器人的肖像绘制系统 |
| CN105701437B (zh) * | 2014-11-11 | 2019-05-21 | 沈阳新松机器人自动化股份有限公司 | 基于机器人的肖像绘制系统 |
| CN105289884A (zh) * | 2015-09-13 | 2016-02-03 | 常州大学 | 智能人像素描喷绘机器人 |
| CN105437768A (zh) * | 2015-09-13 | 2016-03-30 | 常州大学 | 基于机器视觉的智能艺术喷绘机器人 |
| CN105291108A (zh) * | 2015-09-13 | 2016-02-03 | 常州大学 | 智能填涂镭刻标图技术 |
| CN106056648B (zh) * | 2016-06-14 | 2019-04-30 | 深圳市智能机器人研究院 | 一种智能机器人的图像绘制方法及系统 |
| CN106056648A (zh) * | 2016-06-14 | 2016-10-26 | 深圳市智能机器人研究院 | 一种智能机器人的图像绘制方法及系统 |
| CN107756399A (zh) * | 2017-10-12 | 2018-03-06 | 昆山塔米机器人有限公司 | 一种控制机器人画像的方法、装置及画像机器人 |
| CN108335423A (zh) * | 2017-12-08 | 2018-07-27 | 广东数相智能科技有限公司 | 一种肖像绘制系统、方法及存储介质 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN108460369A (zh) * | 2018-04-04 | 2018-08-28 | 南京阿凡达机器人科技有限公司 | 一种基于机器视觉的绘图方法及系统 |
| WO2019192149A1 (zh) * | 2018-04-04 | 2019-10-10 | 南京阿凡达机器人科技有限公司 | 一种基于机器视觉的绘图方法及系统 |
| CN110446091A (zh) * | 2019-07-23 | 2019-11-12 | 天脉聚源(杭州)传媒科技有限公司 | 一种虚拟观众显示方法、系统、装置和存储介质 |
| CN111243050A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 肖像简笔画生成方法、系统及绘画机器人 |
| CN111243051A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 基于肖像照片的简笔画生成方法、系统及存储介质 |
| CN111251309A (zh) * | 2020-01-08 | 2020-06-09 | 浙江省北大信息技术高等研究院 | 控制机器人绘制图像的方法、装置、机器人及介质 |
| CN111243051B (zh) * | 2020-01-08 | 2023-08-18 | 杭州未名信科科技有限公司 | 基于肖像照片的简笔画生成方法、系统及存储介质 |
| CN111243050B (zh) * | 2020-01-08 | 2024-02-27 | 杭州未名信科科技有限公司 | 肖像简笔画生成方法、系统及绘画机器人 |
| CN111462265A (zh) * | 2020-03-20 | 2020-07-28 | 南京赫曼机器人自动化有限公司 | 一种多模态机器人智能绘画方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1710608A (zh) | 机器人绘制人脸漫画的图像处理方法 | |
| Nikam et al. | Sign language recognition using image based hand gesture recognition techniques | |
| CN108932493B (zh) | 一种面部皮肤质量评价方法 | |
| WO2023097931A1 (zh) | 一种基于霍夫变换的车牌倾斜校正方法 | |
| WO2021139557A1 (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
| Luo et al. | A novel fusion method of PCA and LDP for facial expression feature extraction | |
| CN104008364B (zh) | 人脸识别方法 | |
| CN102281439B (zh) | 流媒体视频图像预处理方法 | |
| CN107945244A (zh) | 一种基于人脸照片的简笔画生成方法 | |
| CN110276279B (zh) | 一种基于图像分割的任意形状场景文本探测方法 | |
| CN108146093A (zh) | 一种去除票据印章的方法 | |
| Thakur et al. | Blind approach for digital image forgery detection | |
| CN110688962B (zh) | 人脸图像处理方法、用户设备、存储介质及装置 | |
| CN104778460A (zh) | 一种在复杂背景以及光照下的单目手势识别方法 | |
| KR100887183B1 (ko) | 얼굴인식 전처리장치 및 방법과 이를 이용한얼굴인식시스템 | |
| CN106504225A (zh) | 一种规则多边形的识别方法和装置 | |
| KR101112142B1 (ko) | 참조 이미지를 이용한 카툰 렌더링 장치 및 방법 | |
| CN102799885B (zh) | 嘴唇外轮廓提取方法 | |
| CN103035000A (zh) | 一种基于cnn的彩色图像边缘提取方法 | |
| CN112308793A (zh) | 一种新型的非均匀光照图像对比度和细节增强方法 | |
| WO2022258013A1 (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN107784626B (zh) | 一种基于单幅图像的三维数字凹浮雕生成方法 | |
| CN115511823A (zh) | 一种保护压板图像预处理算法 | |
| CN109145875A (zh) | 一种人脸图像中的黑框眼镜去除方法及装置 | |
| CN115358972A (zh) | 基于视觉特征融合的烟叶分级方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |