CN105701437A - 基于机器人的肖像绘制系统 - Google Patents

Abstract

本发明公开了一种基于机器人的肖像绘制系统，包括光源，用于向人脸发送电磁波；拍摄机构，为近红外和彩色一体的工业相机，用于获取人体的近红外图像和彩色图像，并将彩色图像发送给第一图像处理机构，将近红外图像发送给第二处理机构；第一图像处理机构，用于获取拍摄机构发送的彩色图像，获取人脸的二值图像；第二图像处理机构，用于获取拍摄机构发送的近红外图像，获取人脸五官的二值图像；矢量处理机构，用于合并彩色图片的二值图像及近红外图片的二值图像，提取人脸轮廓线，并对轮廓线进行点的矢量处理；控制机构，用于根据点的矢量化把机器人本体要绘制的运动点规划出，并控制机器人的运动，完成肖像的绘画。

Description

基于机器人的肖像绘制系统

技术领域

本发明属于机器人视觉技术领域，主要涉及一种基于机器人的肖像绘制系统。

背景技术

现有技术中，机器人绘制人脸肖像过程为：待绘画者站立或端坐在相机前方，相机完成对待绘画者人脸图象的获取，获取的图象经过处理提取人脸轮廓，提取后的轮廓经过轨迹规划发送给机器人控制器，完成工业机器人人脸肖像的绘制。

在欧洲，德国机器人实验室使用六轴工业机器人做肖像自动绘制的表演。而他们所采用的技术，主要是运用图象处理中的边缘提取效果来取得人脸的轮廓线，再转成矢量点供机器人绘画，此方法对光线的要求很高，并且系统在绘画过程中并不稳定。

在中国，新松机器人自动化股份有限公司的机器人视觉实验室使用近红外技术获取人脸轮廓，并应用六轴工业机器人成功绘制出肖像画。但由于人的头发对近红外光线不敏感，绘制的人脸肖像图缺少头发的细节信息。

发明内容

本发明的主要目的在于提供一种基于机器人的肖像绘制系统，其可克服现有技术的缺陷，彩色图象处理算法与近红外图象处理算法相结合的六轴工业机器人肖像绘画系统来代替只采用近红外图象处理算法的肖像绘画系统，新的系统具有更高的安全性、稳定性、可靠性。

为实现上述目的，本发明采用如下技术方案：

包括一机器人本体、一光源、一拍摄机构，第一图像处理机构、第二图像处理机构、一矢量处理机构、一控制机构；

光源，用于向人脸发送电磁波；

拍摄机构，为近红外和彩色一体的工业相机，用于获取人体的近红外图像和彩色图像，并将彩色图像发送给第一图像处理机构，将近红外图像发送给第二处理机构；

第一图像处理机构，用于获取拍摄机构发送的彩色图像，获取人脸的二值图像；

第二图像处理机构，用于获取拍摄机构发送的近红外图像，获取人脸五官的二值图像；

矢量处理机构，用于合并彩色图片的二值图像及近红外图片的二值图像，提取人脸轮廓线，并对轮廓线进行点的矢量处理；

控制机构，用于根据点的矢量化把机器人本体要绘制的运动点规划出，并控制机器人的运动，完成肖像的绘画。

优选的，所述系统还包括：

远程管理机构，用于完成整个系统的配电管理及与外界的PLC通讯，辅助外界总控PLC管理整个系统；

画架拆纸机构，用于完成绘图纸的自动裁剪功能；

气压供应机构，用于给画架拆纸机构内的气缸提供气源。

优选的，所述第一图像处理机构，包括：色彩空间转换机构、第一阈值获取机构、二值图像获取机构；

色彩空间转换机构，用于将彩色图像RGB色彩空间转换为YCrCb色彩空间，分离Y、Cb、Cr分量；

第一阈值获取机构，用于获取图像的最佳阈值；

二值图像获取机构，根据最佳阈值T获取人脸区域的二值图像。

优选的，第二图像处理机构包括：第二阈值获取机构、五官投影机构、轮廓线获取机构；

第二阈值获取机构，用于获取近红外图像的最佳阈值；

五官投影机构，采用水平和垂直积分投影提取五官位置和五官的二值图像；

轮廓线获取机构，用于根据由人脸的垂直投影积分和水平投影积分得到的图象上下左右关键点定位出人脸轮廓；

优选的，所述电磁波的波长为830nm～870nm。

采用上述技术方案后，该发明具有如下优点：

本发明提供一种基于近红外和彩色相机相结合的肖像绘画机器人系统，能很好的适用外界环境光线的变化，在光线变化的时候本系统也能很好的提取出人脸的轮廓，使六轴工业机器人完成绘制任务。另外，该系统利用离线编程技术来完成机器人绘制人脸轮廓的轨迹规划，可以简化机器人编程过程，提高编程的效率。

附图说明

图1为本发明系统结构框图。

图2为本发明实施例第一图像处理机构结构图。

图3为本发明实施例第二图像处理机构结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参考图1所示，基于机器人的肖像绘制系统，包括一机器人本体10、一光源20、一拍摄机构30，第一图像处理机构40、第二图像处理机构50、一矢量处理机构60、一控制机构70、一远程管理机构80、一画架拆纸机构90及一气压供应机构100。

光源20为一近红外光源，用于向人脸发送电磁波，该电磁波的波长为830nm至870nm，当波长为850nm时效果最佳。光源20可以根据人体的形状大小调整位置。

拍摄机构30为近红外和彩色一体的工业相机，用于获取人体的近红外图像和彩色图像，并将彩色图像发送给第一图像处理机构40，将近红外图像发送给第二处理机构50。

第一图像处理机构40，用于获取拍摄机构30发送的彩色图像，获取人脸的二值图像。

参考附图2，第一图像处理机构40，包括：色彩空间转换机构41、第一阈值获取机构42、二值图像获取机构43。

色彩空间转换机构41，用于将彩色图像RGB色彩空间转换为YCrCb色彩空间，分离Y、Cb、Cr分量。

YCbCr色彩空间是从YUV空间演变出来的，其广泛的应用于数字视频。在这种色彩空间中，单个分量Y用来表示亮度的信息，用两个色差的分量Cb、Cr来表示色彩信息，而蓝色分量用Cb表示，红色分量用Cr表示。在YCbCr色彩空间中，样本的分布受亮度值Y的影响很小，而样本数据基本集中在Cb-Cr平面上的一个较小的区域中。

第一阈值获取机构42，用于获取图像的最佳阈值。

使用迭代阈值法来获取最佳阈值，其计算方法如下：S11：选择初始阈值T，一般可以选择图像的平均灰度值当做初始阈值；S:12：经过初始阈值T，把图像的平均灰度值分作两组R1和R2；S13：计算出两组的平均灰度值u1和u2；S14：计算出新的阈值，公式为：

T＝(u1+u2)/2(1)

S15：循环步骤2-步骤4，直到两组的平均灰度值u1和u2不发生变化，则获取到最佳阈值T。

二值图像获取机构43，根据最佳阈值T获取人脸区域的二值图像。

先进行肖像外轮廓的分割，在YCbCr色彩空间的三个分量中，Cb、Cr分量去除了亮度信息，外形轮廓比较明显，选用Cb图进行外轮廓提取。通过迭代阈值法求出最佳阈值后，以此阈值对Cb图做二值化处理，算法如下：

$f(i,j)=\left\{\begin{array}{c}0,f(i,j)<T\\ 255,f(i,j)\&GreaterEqual;T\end{array}\right.---\left(2\right)$

其中f(i,j)为像素值，因为背景的像素值较高，当大于阈值时认为是背景，将像素值设为255即白色，当小于阈值时认为是人的肖像区域，像素值设为0即黑色。经过初步的提取之后，我们发现肖像区域内存在一些噪声，采用下面的算法可以消除噪声：

$f(i,j)=\left\{\begin{array}{c}\mathrm{255,0}\&le;i<i_0\\ 0,i_0\&le;i\&le;\frac{\mathrm{wide}}{2}\end{array}\right.,0\&le;j<\mathrm{height}---\left(3\right)$

$f(i,j)=\left\{\begin{array}{c}0,\frac{\mathrm{wide}}{2}\&le;i<i_1\\ 255,i_1<i<\frac{\mathrm{wide}}{2}\end{array}\right.,0\&le;j<\mathrm{height}---\left(4\right)$

其中i0为每一行中肖像最左边的像素的列坐标，i1为每一行中肖像最右边的像素的列坐标，算法通过从左到中间和从右到中间两次逐行扫描，当没有达到肖像的边界时，把像素值设为255即白色背景，当到达第一个肖像边界点时，将此行从边界点到中间点的所有像素都设为0即黑色人像区域。每一行按照此算法扫描之后，就得到一幅完整的人像区域二值图像。

第二图像处理机构50，用于获取拍摄机构30发送的近红外图像，获取人脸五官的二值图像。

参考附图3，第二图像处理机构50包括：第二阈值获取机构51、五官投影机构52、轮廓线获取机构53。

第二阈值获取机构51，用于获取近红外图像的最佳阈值

设灰度图象灰度级是L，则灰度范围为[0，L-1]，利用OTSU算法计算图象的最佳阈值为：

t＝Max[w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²](5)

其中，当分割的阈值为t时，w0为背景比例，u0为背景均值，w1为前景比例，u1为前景均值，u为整幅图象的均值。使以上表达式值最大的t，即为分割图象的最佳阈值。

五官投影机构52，采用水平和垂直积分投影提取五官位置和五官的二值图像。

根据数学形态学理论和人脸图像的水平积分投影、垂直积分投影来定位人脸图像的关键部分。在定位的过程中主要通过数学形态学中有两个常用的算子：腐蚀、膨胀进行图象的提前处理。

其中腐蚀在数学形态学运算中的作用是消除物体边界点；膨胀运算在数学形态学中的作用是把图象周围的背景点合并到物体中。在图象处理中执行腐蚀函数时，将某点p的像素值设为与p对应的核覆盖下所有点中的最小值，同样的，对于执行膨胀操作时，将取最小值换为最大值。

$\mathrm{erode}(x,y)=\underset{(x^{\&prime;},y^{\&prime;})\&Element;\mathrm{kernel}}{\lim }\mathrm{src}(x+y^{\&prime;},y+y^{\&prime;})---\left(6\right)$

$\mathrm{dilate}(x,y)=\underset{(x^{\&prime;},y^{\&prime;})\&Element;\mathrm{kernel}}{\max }\mathrm{src}(x+y^{\&prime;},y+y^{\&prime;})---\left(7\right)$

经过形态学的处理可以有效的区分出人脸区域与非人脸区域，因此腐蚀和膨胀这两种手段可以作为有效的辅助手段来确定人脸轮廓。

根据人脸图象的投影处理，来获得人脸在整体图象中的大致位置。

$\mathrm{PV}\left(y\right)=\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}I(x,y)---\left(8\right)$

在公式(8)中，(x,y)表示像素所处的位置，I(x,y)表示该像素点的灰度值，N表示一行所有的像素点数，可见水平投影就是将一行所有的像素点的灰度值进行累加后再显示。

$\mathrm{PV}\left(y\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}I(x,y)---\left(9\right)$

在公式(9)中，(x,y)表示像素所处的位置，I(x,y)表示该像素点的灰度值，N表示一列所有的像素点数，垂直投影就是将一列所有的像素点的灰度值进行累加后再显示。

根据水平投影或垂直投影图象的各谷点之间的位置关系，可准确定位眼、嘴等器官的水平位置。具体定位方法如下：

S21：对整幅图像进行水平投影。

S22：在整幅图像的水平投影积分图中找出中心点两侧的波谷点并且记录下它们对应的原图象的纵坐标点。中心点上侧的波谷点被认为是眼睛的水平位置，中心点下侧的波谷点被认为是嘴巴的水平位置。

在眼、嘴水平位置得到确定后，便可得知这两者之间的垂直距离数值，然后确定脸部区域，其中脸部区域的上边落在眼部区域，下边落在嘴部区域。

根据水平投影或垂直投影图各峰谷点之间的位置关系，可确定人脸的大致宽度。其具体的定位方法如下：

S31：对整幅图象根据数学模型进行垂直积分投影。

S32：在整幅图象的水平垂直积分投影图中找出中心点两侧的波谷点并且记录下它们对应的原图像的横坐标点。中心点左侧的波谷点被认为是人脸左侧位置，中心点右侧的波谷点被认为是人脸右侧位置。

一旦人脸左右之间位置得到定位后，便可得知这两者之间的水平距离，从而确定脸区宽度，其中脸区的左右坐标位置得到了确定。

轮廓线获取机构53，用于根据由人脸的垂直投影积分和水平投影积分得到的图象上下左右关键点定位出人脸轮廓。

矢量处理机构60，用于合并彩色图片的二值图像及近红外图片的二值图像，提取人脸轮廓线，并对轮廓线进行点的矢量处理。

矢量化处理时把轮廓图中的单个像素点变为矢量线段，每个矢量由起点和终点结束，若干个矢量组成了轮廓图。这么做得目的是让机械臂能够理解像素点的信息，从而控制机械臂画出轮廓图。

为了达到矢量化，首先要把所有相邻的点放在一个数组里，方法为：逐行逐列扫描每一点，如果遇到像素为0，判断此点的八个领域内没有黑色像素的点。

具体搜索的算法为：首先选取一个初始搜索方向iop，计算此方向领域点的坐标，判断此坐标处是否存在黑色像素点，如果没有，继续搜索下一方向，当搜索完八个方向都没有点时，将返回值为1，返回；如果有点，将next中置入此点坐标，将方向置入iop，并且返回0。

如果判断没有八领域点，继续搜索下一点。如果有八领域点，将起始点坐标放入point[ii][0]和point[ii][1]中，我们把所有连续点保存的格式为数组中第一位和第二位是起始点的行列坐标，第三位数是总点数，第四位及以后时点相对于前一点的方向，存入point数组中，next是下一点的坐标，放入curr中作为继续扫描使用，为了防止干扰，已经扫描过的黑色点把像素都置为255白色。这样直到扫描到没有领域点为止，此时记录下这一串连续点共含有多少个点，返回下一循环继续找下一连续点的数组。

经过上一步之后，图像中分散的点就被联系起来了，互相连续的点都被保存在一个数组中，数值的结构见下表。下一步是做矢量化，分别找出每一个连续点序列，位于一条直线上所有点，并保存每条直线段的起始坐标。

控制机构70，用于根据点的矢量化把机器人本体10要绘制的运动点规划出，并控制机器人的运动，完成肖像的绘画。

根据所选近红外和彩色一体的工业相机的像素和A3画纸的固定大小，来确定机器人每像素移动的距离。初步定相机的像素为640×480，机器人待画肖像的准备点可与A3画纸的一个边缘对应。此时工业机器人画笔的笔尖的工具坐标系与A3画纸边缘建立的坐标系重合。如下公式可计算图象分别在X、Y方向移动一像素工业机器人对应移动相应的毫米数。

远程管理机构80，用于完成整个系统的配电管理及与外界的PLC通讯，辅助外界总控PLC管理整个系统。

画架拆纸机构90，用于完成绘图纸的自动裁剪功能。

气压供应机构100，用于给画架拆纸机构90内的气缸提供气源。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于机器人的肖像绘制系统，其特征在于：包括一机器人本体、一光源、一拍摄机构，第一图像处理机构、第二图像处理机构、一矢量处理机构、一控制机构；

光源，用于向人脸发送电磁波；

拍摄机构，为近红外和彩色一体的工业相机，用于获取人体的近红外图像和彩色图像，并将彩色图像发送给第一图像处理机构，将近红外图像发送给第二处理机构；

第一图像处理机构，用于获取拍摄机构发送的彩色图像，获取人脸的二值图像；

第二图像处理机构，用于获取拍摄机构发送的近红外图像，获取人脸五官的二值图像；

矢量处理机构，用于合并彩色图片的二值图像及近红外图片的二值图像，提取人脸轮廓线，并对轮廓线进行点的矢量处理；

控制机构，用于根据点的矢量化把机器人本体要绘制的运动点规划出，并控制机器人的运动，完成肖像的绘画。

2.如权利要求1所述的一种基于机器人的肖像绘制系统，其特征在于，所述系统还包括：

远程管理机构，用于完成整个系统的配电管理及与外界的PLC通讯，辅助外界总控PLC管理整个系统；

画架拆纸机构，用于完成绘图纸的自动裁剪功能；

气压供应机构，用于给画架拆纸机构内的气缸提供气源。

3.如权利要求1所述的一种基于机器人的肖像绘制系统，其特征在于，所述第一图像处理机构，包括：色彩空间转换机构、第一阈值获取机构、二值图像获取机构；

色彩空间转换机构，用于将彩色图像RGB色彩空间转换为YCrCb色彩空间，分离Y、Cb、Cr分量；

第一阈值获取机构，用于获取图像的最佳阈值；

二值图像获取机构，根据最佳阈值T获取人脸区域的二值图像。

4.如权利要求1所述的一种基于机器人的肖像绘制系统，其特征在于，第二图像处理机构包括：第二阈值获取机构、五官投影机构、轮廓线获取机构；

第二阈值获取机构，用于获取近红外图像的最佳阈值；

五官投影机构，采用水平和垂直积分投影提取五官位置和五官的二值图像；

轮廓线获取机构，用于根据由人脸的垂直投影积分和水平投影积分得到的图象上下左右关键点定位出人脸轮廓。

5.如权利要求1所述的一种基于机器人的肖像绘制系统，其特征在于，所述电磁波的波长为830nm～870nm。