CN106780533A - 一种基于数字图像处理的槟榔图像轮廓提取及校准方法 - Google Patents

Abstract

本发明公开了一种基于数字图像处理的槟榔图像轮廓提取及校准方法，涉及企业对槟榔切割工艺领域。主要包括以下步骤：1)图像采集机构分别获取在不同角度拍摄的槟榔图像；2)比较槟榔图像中目标面积大小，选择其中目标槟榔面积最大的槟榔图像，并将此参考面作为槟榔切割面；3)应用GrabCut算法对该槟榔图像进行轮廓提取；4)对3)中的结果图像二值化，计算出槟榔蒂两个端点坐标，通过坐标计算出槟榔旋转角度和偏移量。采用本方法能提高槟榔图像识别的速度和改善槟榔图像识别的精度，并以此指导槟榔切割设备准确切割槟榔。

Description

一种基于数字图像处理的槟榔图像轮廓提取及校准方法

技术领域

本发明涉及数字图像处理技术应用于企业对槟榔加工的方法，具体涉及一种基于数字图像处理的槟榔图像轮廓提取及校准方法。

背景技术

槟榔含有多种人体所需的营养元素和有益物质，是一种深受消费者欢迎的植物口香糖。嚼食槟榔在湖南等地已经成为全民性的爱好，已形成了一种独特的文化景观。而且随着人们生活水平的提高对食用槟榔的需求量日益增大。

槟榔作为一种食品在深加工过程中，要经过多道工序加工而成，其中，有一道重要的工序是将一颗完整的槟榔籽相等分切开来，即切片工序。传统的槟榔切片方式是手工剖切，难以将槟榔切割成对称度很高的两半，废品率高，而且人工手工方式分切槟榔存在着卫生管控难度大、卫生质量差、劳动强度高、生产效率低、管理成本高等和容易造成作业人员的工伤事故等一系列的问题。

为了解决这一问题，发明人经过长期研究发现，研制了一种全自动槟榔加工制作设备，主要解决现有槟榔加工设备制作复杂、效率低下、且不卫生等技术问题。为此本发明公开了一种基于数字图像处理的槟榔图像轮廓提取及校准方法。

其中用到了GrabCut图像分割算法和Ostu自动阈值法。GrabCut图像分割算法是一种高效的前景背景分割算法，该算法综合利用了纹理及辩解两种信息进行图像分割，具有分割精度高，交互式操作少，是一种比较有前途的交互式分割算法。Ostu自动取阈值法是一种全局阈值选取法，是一种对图像二值化的高效算法，可利用阈值将原图像的前景和背景进行有效的分割。

发明内容

针对上述存在的问题，本发明的目的在于提供一种基于数字图像处理的槟榔图像轮廓提取及校准方法。

根据本发明提供的实施方案：

一种基于数字图像处理的槟榔图像轮廓提取及校准方法，包括以下步骤：

1)槟榔沿槟榔蒂两端连线形成的旋转轴旋转，图像采集机构分别获取旋转轴旋转不同角度所拍摄的槟榔图像；

2)利用1)中获取的不同角度的槟榔图像，采用Ostu自动阈值法分割图像，得到前景和背景分别为黑色和白色像素的二值图像，通过比较二值图像中黑色像素点的数目，确定这些槟榔图像中目标面积大小，选择其中面积最大的槟榔图像，并将该图像参考面作为槟榔切割面，并将槟榔旋转至该角度；

3)对选定切割面的槟榔图像中的目标槟榔进行剪裁，去除图像背景，对该截取后的槟榔图像进行图像分割，得到图像中槟榔的轮廓；

4)提取3)中得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量；

5)将4)的结果反馈给槟榔切割设备，切割设备调整切割。

在本发明中，上述步骤1)所述的槟榔沿槟榔蒂轴旋转，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次。

优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

在本发明中，步骤2)所述的Ostu自动阈值法为Ostu最大类间方差法。

在本发明中，步骤3)所述的对选定切割面的槟榔图像中的目标槟榔进行剪裁及对截取后的槟榔图像进行图像分割，所采用的方法是GrabCut图像分割算法。

在本发明中，所述GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

在本发明中，所述高斯概率密度模型为：

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

在本发明中，步骤4)中所述的提取R、G、B颜色分量值具体为，对拍摄到的.JPG格式图像通过调用OpenCV中的函数读取图像，其函数的返回值为一个二维数组，数组中保存了每个像素的R、G、B颜色分量值。

在本发明中，步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的旋转角度采用如下方法：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为P₁(x₁,y₁)与P₂(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

在本发明中，步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的偏移量采用如下方法：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

在本发明中，“前景”是指槟榔本身。“目标面积大小”是指槟榔本身面积大小。

在本发明中，通过二值化处理得到的图像，由于原图中背景颜色较白，因此二值图像得到的大部分为白色像素点，而槟榔的颜色较黑，因此二值图像得到的大部分是黑色像素点，而在每次拍照过程中背景是不会发生变化的，只有拍到的槟榔面的不同，因此可以通过黑色像素点的数量来确定槟榔面积的大小。

在本发明中，计算灰度值gray的公式gray＝R*0.3+G*0.59+B*0.11为常用的彩色图像转灰度图像的公式，其参数是通过实验验证得到，以便更好地将前景与背景区分开来。

在本发明中，所述的Ostu自动阈值法采用的是日本学者Ostu(N Otsu.Athreshold selection method from gray-level histogram[J].IEEE Trans on SMC,1979,9:62-69.)提出的最大类间方差法。

与现有技术相比采用本发明可以达到如下的有益效果：

1.与传统的槟榔切割相比，增加了数字图像处理技术的GrabCut图像分割算法处理后的槟榔自动摆正效果，提高槟榔图像识别精度。在槟榔工业加工中，降低了废品率，提高了生产效益。

2.通过在原槟榔图像进行局部截图，有效地减少了无关背景的干扰，并且更快速地实现算法分割图像。

附图说明

图1槟榔机器切割部分示意图(俯视图)

图2槟榔旋转角度示意图

图3槟榔偏移量示意图

附图标记：θ：旋转角度；P₁、P₂：槟榔两个端点；y_m：槟榔蒂连线中点纵坐标；y_img：槟榔图像中点基线；l：偏移量。

具体实施方式

根据本发明的实施方案：

一种基于数字图像处理的槟榔图像轮廓提取及校准方法，包括以下步骤：

1)槟榔沿槟榔蒂两端连线形成的旋转轴旋转，图像采集机构分别获取旋转轴旋转不同角度所拍摄的槟榔图像；

2)利用1)中获取的不同角度的槟榔图像，采用Ostu自动阈值法分割图像，得到前景和背景分别为黑色和白色像素的二值图像，通过比较二值图像中黑色像素点的数目，确定这些槟榔图像中目标面积大小，选择其中面积最大的槟榔图像，并将该图像参考面作为槟榔切割面，并将槟榔旋转至该角度；

3)对选定切割面的槟榔图像中的目标槟榔进行剪裁，去除图像背景，对该截取后的槟榔图像进行图像分割，得到图像中槟榔的轮廓；

4)提取3)中得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量；

5)将4)的结果反馈给槟榔切割设备，切割设备调整切割。

在本发明中，上述步骤1)所述的槟榔沿槟榔蒂轴旋转，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次。

优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

在本发明中，步骤2)所述的Ostu自动阈值法为Ostu最大类间方差法。

在本发明中，步骤3)所述的对选定切割面的槟榔图像中的目标槟榔进行剪裁及对截取后的槟榔图像进行图像分割，所采用的方法是GrabCut图像分割算法。

在本发明中，所述GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

在本发明中，所述高斯概率密度模型为：

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

在本发明中，步骤4)中所述的提取R、G、B颜色分量值具体为，对拍摄到的.JPG格式图像通过调用OpenCV中的函数读取图像，其函数的返回值为一个二维数组，数组中保存了每个像素的R、G、B颜色分量值。

在本发明中，步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的旋转角度采用如下方法：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为(x₁,y₁)与(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

在本发明中，步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的偏移量采用如下方法：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：

实施例

下面以某个槟榔为例，具体阐述本发明在槟榔切割上的应用。

开启槟榔切割设备，调整摄像头，将所有信号初始化，进行如下过程：

1)电机带动槟榔旋转，旋转3次，每次旋转2π/3弧度，摄像头分别获取该槟榔三次拍摄的槟榔图像；

2)利用1)中获取的该槟榔的三张槟榔图像，采用Ostu自动阈值法，对槟榔图像分割，得到前景和背景分别为黑色和白色像素的二值图像，通过比较二值图像中黑色像素点数目，确定这些槟榔图像中目标面积大小，选择其中目标面积最大的槟榔图像，并将该图像参考面作为槟榔切割面，并将槟榔旋转至该角度；

3)利用2)中得到的槟榔切割面，应用GrabCut图像分割算法裁剪图像，去除图像背景，应用GrabCut图像分割算法对该截取后的槟榔图像进行图像分割，得到槟榔图像前景，及前景以外部分的纯黑色背景；

4)由于3)中处理后的图像为前景以外的部分为纯黑色背景，先将图像灰度化，那么背景为纯黑色，其像素值为0，通过选定阈值大于0，即可很简单地将背景与前景分开，得到了槟榔图像轮廓的二值图像。通过前述方法的计算，可以得到槟榔蒂端点坐标、旋转角度和偏移量。

计算槟榔蒂端点坐标、旋转角度和偏移量由以下步骤得到：

在二值化后的图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴。

通过GrabCut图像分割算法得到的图像，计算图像最左边与最右边，求权值得到槟榔蒂的端点坐标。

如果两个端点分别坐标为(23,82)与(178,103)，则旋转角度为θ＝arctan[(y1-y2)/(x1-x2)]，得到：

θ＝arctan[(82-103)/(23-178)]＝0.134(弧度)

且θ>0，逆时针旋转。

偏移量l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量。当槟榔的偏移角度调整好后，在图像中可计算出槟榔蒂连线偏离图像中心线之间多少个像素点，即y_img-y_m＝10(px)，k＝56mm/100px＝0.56(mm/px)，最终计算结果l为：

l＝(yimg-ym)*k＝10*0.56＝5.6(mm)。

5)将槟榔逆时针旋转角度为0.134弧度和偏移量为5.6mm的结果反馈给槟榔切割设备，切割设备调整后开始切割。

Claims (9)

1.一种基于数字图像处理的槟榔图像轮廓提取及校准方法，包括以下步骤：

1)槟榔沿槟榔蒂两端连线形成的旋转轴旋转，图像采集机构分别获取旋转轴旋转不同角度所拍摄的槟榔图像；

2)利用1)中获取的不同角度的槟榔图像，采用Ostu自动阈值法分割图像，得到前景和背景分别为黑色和白色像素的二值图像，通过比较二值图像中黑色像素点的数目，确定这些槟榔图像中目标面积大小，选择其中面积最大的槟榔图像，并将该图像参考面作为槟榔切割面，并将槟榔旋转至该角度；

3)对选定切割面的槟榔图像中的目标槟榔进行剪裁，去除图像背景，对该截取后的槟榔图像进行图像分割，得到图像中槟榔的轮廓；

4)提取3)中得到的槟榔轮廓图像的R、G、B颜色分量值，利用如下公式计算灰度值gray,其中R、G、B分别为红绿蓝三基色分量值：

gray＝R*0.3+G*0.59+B*0.11

通过上面公式将彩色图像变为灰度图像，在该图像中，前景为灰度图像，背景为纯黑色部分，通过对竖直y方向遍历图像像素点，即遇到像素点值不为0时，该像素点即为槟榔蒂的端点坐标，从而得出槟榔蒂的两个端点坐标，计算槟榔的旋转角度和偏移量；

5)将4)的结果反馈给槟榔切割设备，切割设备调整切割。

2.根据权利要求1所述的槟榔图像轮廓提取及校准方法，步骤1)所述的槟榔沿槟榔蒂轴旋转，其中旋转角度任意(0°～360°之间，不包括0°与360°)，旋转次数≥3次，优选的是，旋转3次，每次旋转2π/3弧度，得到3个不同角度的槟榔图像。

3.根据权利要求1或2所述的槟榔图像轮廓提取及校准方法，其特征在于：步骤2)所述的Ostu自动阈值法为Ostu最大类间方差法。

4.根据权利要求1-3中任一项所述的槟榔图像轮廓提取及校准方法，其特征在于：步骤3)所述的对选定切割面的槟榔图像中的目标槟榔进行剪裁及对截取后的槟榔图像进行图像分割，所采用的方法是GrabCut图像分割算法。

5.根据权利要求4中任一项所述的槟榔图像轮廓提取及校准方法，其中GrabCut图像分割算法是一种能量最小化迭代优化算法，构建能量函数为：

E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)

α为不透明度，α∈[0,1]，0为背景，1为目标前景；k为向量k＝{k₁,...,k_n,...,k_N}作为每个像素的独立高斯模型参数，θ为图像前景与背景的灰度直方函数，θ＝{h(z,α),a＝0,1}；Z为灰度值数组，z＝(z₁,…,z_n,…,z_N)。

6.根据权利要求5所述的槟榔图像轮廓提取及校准方法，其特征在于：所述高斯概率密度模型为：

$\begin{array}{c}D({\mathrm{\&alpha;}}_n,k_n,\mathrm{\&theta;},z_n)=-\log \mathrm{\&pi;}({\mathrm{\&alpha;}}_n,k_n)+\frac{1}{2}\log \det ({\mathrm{\&alpha;}}_n,k_n)+\\ \frac{1}{2}{\&lsqb;z-\mathrm{\&mu;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&rsqb;}^T\mathrm{\&Sigma;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&lsqb;z-\mathrm{\&mu;}\left({\mathrm{\&alpha;}}_n,k_n\right)\&rsqb;\end{array}$

通过高斯概率密度模型得到该像素分别属于目标和背景的概率，从而区分目标和背景。

7.根据权利要求1-6中任一项所述的槟榔图像轮廓提取及校准方法，其特征在于：步骤4)中所述的提取R、G、B颜色分量值具体为，对拍摄到的.JPG格式图像通过调用OpenCV中的函数读取图像，其函数的返回值为一个二维数组，数组中保存了每个像素的R、G、B颜色分量值。

8.根据权利要求1-7中任一项所述的槟榔图像轮廓提取及校准方法，其特征在于：步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的旋转角度采用如下方法：

①在灰度图像上建立平面直角坐标系，原点为图像的左上角O点，水平为X轴，竖直为Y轴；

②如果两个端点分别坐标为P₁(x₁,y₁)与P₂(x₂,y₂)，则旋转角度为θ＝arctan[(y₁-y₂)/(x₁-x₂)]，θ>0时逆时针旋转，θ<0顺时针旋转。

9.根据权利要求1-8中任一项所述的槟榔图像轮廓提取及校准方法，其特征在于：步骤4)中以槟榔蒂两个端点坐标为参数，计算槟榔的偏移量采用如下方法：

偏移量为l＝(y_img-y_m)*k，其中y_img为图像中点基线，y_m为两个槟榔蒂连线中点纵坐标，k为常量，其中k代表槟榔图像中单位像素所代表实际物体中的长度，即：