CN106447020A - 一种智能菌落计数方法 - Google Patents
一种智能菌落计数方法 Download PDFInfo
- Publication number
- CN106447020A CN106447020A CN201610819425.4A CN201610819425A CN106447020A CN 106447020 A CN106447020 A CN 106447020A CN 201610819425 A CN201610819425 A CN 201610819425A CN 106447020 A CN106447020 A CN 106447020A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- module
- coordinate
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 241000894006 Bacteria Species 0.000 title claims abstract description 55
- 238000003709 image segmentation Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000000205 computational method Methods 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 238000009396 hybridization Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000000945 filler Substances 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 3
- 230000002902 bimodal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 230000035800 maturation Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- MTZWHHIREPJPTG-UHFFFAOYSA-N phorone Chemical compound CC(C)=CC(=O)C=C(C)C MTZWHHIREPJPTG-UHFFFAOYSA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000008676 import Effects 0.000 claims description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims 1
- 235000011941 Tilia x europaea Nutrition 0.000 claims 1
- 239000004571 lime Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种智能菌落计数方法,包括:图像采集模块,用于读入待计数菌落的图像;边缘滤除模块,用于划定计数菌落的分布区域,并将区域外的点设成背景;二值化处理模块,用于把计数区域内的图像转为二值图像;图像分割模块,用于把计数区域内的图像分割成若干个独立的图像块,每一块内只包含一个菌落;特征匹配模块,用于根据客户选定的菌落图像与分割得到的每一个图像块进行特征匹配,匹配成功的图像即为菌落图像;结果显示模块,用于对匹配的结果进行显示,并能根据使用者的选择来调整匹配结果;参数交互设置模块,用于与使用者交互,为使用者提示输入并接收使用者输入的结果。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及使用计算机视觉领域的图像处理方法对照片中的菌落数目进行统计的方法。
背景技术
在生物实验中,经常需要对培养皿中的菌落数目进行统计,传统方法通过人工进行统计,这种方法费时费力,同时也容易造成实验员精神上的疲劳。
本发明使用计算机图像处理方法对培养皿中的菌落进行计数统计,由于现如今图像很容易提取,从而基于图像的菌落计数方法有着很高的适用性。本发明采用图像特征匹配方法,从而能够排除掉大量错误的菌落。
发明内容
本发明所要解决的技术问题是为了克服传统菌落计数方法采用人工计数,从而容易在多次试验后导致实验员疲劳的缺点,提出了一种智能的菌落计数方法。
本发明解决其技术问题所采用的技术方案是:
一种智能菌落计数方法,包括:图像采集模块,用于读入待计数菌落的图像;边缘滤除模块,用于划定计数菌落的分布区域,并将区域外的点设成背景;二值化处理模块,用于把计数区域内的图像进行二值化处理,该模块根据灰度图的直方图及使用者指定的菌落样本点灰度值和背景点灰度值所提供的信息,将灰度图转化为二值图;图像分割模块,用于把计数区域内的图像分割成若干个独立的图像块,每一块内只包含一个菌落(可能包含误判区域,由特征匹配模块进行筛选),该模块通过从二值图像上随机选择一个点,统计该点对应的连通区域的边界点的集合,根据边界点的信息进行霍夫变换,从而得到该点对应的圆形区域,重复上述过程后,能够得到若干个圆形区域,根据这些圆形区域的信息,将灰度图进行图像分割;特征匹配模块,用于根据客户选定的菌落图像与分割得到的每一个图像块进行特征匹配,统计匹配成功的区域,该模块对于分割后的每一个模块,提取其ORB特征,然后将该图像的ORB特征与用户选定的典型菌落样本的ORB特征进行特征匹配,匹配成功的图像即为菌落图像;结果显示模块,用于对匹配的结果进行显示,并能根据使用者的操作来调整匹配结果;参数交互设置模块,用于与使用者交互,为使用者提示输入、接收使用者输入的结果,并将其转化为处理过程中所需的参数,该模块能够指定典型菌落样本、典型菌落背景图像、最小菌落半径、最大菌落半径、特征匹配的阈值。
所述的一种智能菌落计数方法,包括图像采集模块,边缘滤除模块,二值化处理模块,图像分割模块,特征匹配模块,结果显示模块,参数交互设置模块。
所述的图像采集模块,用于接收含有带统计菌落的图像,所接收的图像可以是直接调用摄像头后采集到的图像,也可以是将已经拍摄到的图像导入到系统中,该图像通常为灰度图像M,若读入的图像为彩色RGB图像Mc,则需要将彩色图像Mc转换为灰度图像,并传递给边缘滤除模块。
所述的将彩色图像Mc转换成灰度图像M的变换方法为:对于原始彩色图片Mc上的每一个像素点所对应的R,G,B分量,不失一般性的用i和j表示其坐标,则该像素点对应在M上的灰度值为M(i,j)=0.3×B(i,j)+0.59×G(i,j)+0.11×R(i,j),其中M(i,j)为整数,若所得结果为小数的话,仅取其整数部分,从而得到彩色图像Mc所对应的灰度图像M。
所述的边缘滤除模块,用于去除可能存在的边界信息;边缘滤除模块接收图像采集模块传递过来的图像M,其步骤为:第一步将将图像M显示在屏幕上;第二步,由使用者划定合适的培养皿边界,对于不含边界的图像,使用者可以直接选择跳过该模块,直接将图像M传递给二值化处理模块;第三步,对于存在培养皿边界的图像,在图像M上浮动显示一个圆形区域,由使用者拖动培养皿进行移动、放大、缩小或调整为椭圆形以适应图片中的培养皿形状,从而使圆形(或被使用者调整为椭圆形以适应照相产生的形变)区域内包含图像中的全部菌落;第四步,将圆形区域外的图像的所有像素点设为NaN,即对于圆形区域外的任一点(a,b),M(a,b)=NaN.第五步,接收由参数交互设置模块传递来的菌落样本点灰度值Ms和背景点灰度值Mb.第六步,根据Ms和Mb对区域外的点进行填充数值;最后,将填充后的图像M传递给二值化处理模块。
所述的根据Ms和Mb对区域外的点进行填充数值,其方法如下:对于图像M中的值为NaN的像素点进行赋值,由于值为NaN的点为背景点,所以,若Mb>Ms,则对于所有值为NaN,设值为255;若Mb<Ms,则对于所有值为NaN,设值为0.
所述的二值化处理模块接收来自于边缘滤除模块所传递过来的去除边界的图像M,其步骤为:第一步,对图像M进行滤波,得到滤波后的图像M′;第二步,建立基于图片Mgray的灰度直方图,由于图片Mgray的每个点的取值范围为[0,255],所以对于i∈[0,255],计算其在图片Mgray中灰度点为i的个数ni,然后设图像Mgray为p行q列,对于每个ni,计算Pi=ni/(p×q).第三步,判断以Pi(i∈[0,255])组成的向量中存在峰值的个数,峰值的判断方法为,对于Pi(i∈[1,254]),如果Pi-1<Pi并且Pi+1<Pi则此刻的i即为一个峰值,统计出在i∈[1,254]中所有峰值的个数;第四步,若峰值个数为2,或者重复次数大于1000次,进入第五步,否则,则对Pi(i∈[0,255])进行平滑,平滑的方法为:赋值P′1=(P1+P2)/2,P′i=(Pi-1+Pi+Pi+1)/3,P′255=(P254+P255)/2,计算结束后,Pi=P′i(i∈[0,255]),进入第三步;第五步,若重复次数大于1000后峰值个数仍不为2,说明该图Mgray不是双峰结构,对其进行二值化赋值,若峰值个数为2,则说明Mgray是双峰结构,对应的两个峰值分别为u1和u1,对其进行二值化赋值。并将二值化图像M′bin传递给图像分割模块。
所述的对图像M进行滤波,得到滤波后的图像M′,设图像M为p行q列,其步骤如下:首先对于图像M上的每个点M(a,b),进行如下处理:1,如果M(a,b)为图像的角点,其计算方法为:M′(1,1)=[M(1,1)+M(1,2)+M(2,1)+M(2,2)]/4,M′(1,q)=[M(1,q)+M(2,q)+M(1,q-1)+M(2,q-1)]/4,M′(p,1)=[M(p,1)+M(p,2)+M(p-1,1)+M(p-1,2)]/4,M′(p,q)=[M(p,q)+M(p-1,q)+M(p,q-1)+M(p-1,q-1)]/4(设图像的(1,1)点为左上角的点);2,排除1中的点,如果M(a,b)为图像的边界点,其计算方法为:若a=1,则M′(1,b)=[M(1,b-1)+M(1,b)+M(1,b+1)+M(2,b-1)+M(2,b)+M(2,b+1)]/6,若a=p,则M′(p,b)=[M(p,b-1)+M(p,b)+M(p,b+1)+M(p-1,b-1)+M(p-1,b)+M(p-1,b+1)]/6,若b=1,则M′(a,1)=[M(a-1,1)+M(a,1)+M(a+1,1)+M(a-1,2)+M(a,2)+M(a+1,2)]/6,若b=q,则M′(a,q)=M[(a-1,q)+M(a,q)+ M(a+1,q)+M(a-1,q-1)+M(a,q-1)+M(a+1,q-1)]/6;3.排除1,2中的点,其余点的计算方法为M′(a,b)=[M(a-1,b-1)+M(a,b-1)+M(a+1,b-1)+M(a-1,b)+M(a,b)+M(a+1,b)+M(a-1,b+1)+M(a,b+1)+M(a+1,b+1)]/9。以上结果若不为整数,则保留整数部分,从而得到M对应的滤波图像M′.
所述的对于图Mgray不是双峰结构,对其进行二值化赋值的方法可以简单的比较Ms和Mb,1.若Mb>Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)<(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
2.若Mb<Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)>(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
所述的对于图Mgray是双峰结构,对其进行二值化赋值的方法为:第一步,找到双峰之间的最小值,即对于Pi(i∈[u1,u2])寻找使Pi取值最小的i,此刻的i即为阈值,设i=μ。第二步,对于Mgray上的每个点(x,y):
1.若Mb>Ms,则赋值的公式为:
如果Mgray(x,y)<μ,Mbin(x,y)=1,否则Mbin(x,y)=0;
2.若Mb<Ms,赋值的公式为:
如果Mgray(x,y)>μ,Mbin(x,y)=1,否则Mbin(x,y)=0;
所述的图像分割模块,其步骤为:第一步,对二值化图像Mbin进行腐蚀膨胀(开运算)处理,得到处理后的图像M″;第二步,接收由参数交互设置模块设置的最小菌落半径rmin和最大菌落半径rmax,根据图像M″寻找图像中所有的圆形区域;第三步,根据选定的圆形区域对滤波后的图像M′进行分割,将分割的结果Sp传递给特征匹配模块。
所述的对二值化图像Mbin进行腐蚀膨胀(开运算)处理,其方法如下:第一步,对于M′bin上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为1,则否则,对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可;第二步,对于上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为0,则M″(a,b)=0,否则,M″(a,b)=1.对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可。从而得到了腐蚀膨胀处理后的二值化图像M″。
所述的根据图像M″寻找图像中所有的圆形区域,其步骤如下:第一步,在图像M″中随机寻找一个值为1并且没有被选中过的点,设该点P为(x,y),构造出P点所对应的连通区域边界点集合G;第二步,判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,算法跳转到第一步;第三步,根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆;第四步,判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉;第五步,判断图像M″是否为空,如果不为空,转到第一步。
所述的构造出P点所对应的连通区域边界点集合G其步骤为:第一步,设P坐标为(x,y),i=0,判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两个端点,并将这两个端点的集合放入集合G(对于重复的端点,只记录一次),其中θ=0,θ=π/4, θ=2π/4和θ=3π/4,此刻共有四条线,每条线有两个焦点,共8个端点;第二步,设i=3,对于θ=[π/2i,3π/2i,5π/2i,…,(2i-1)π/2i](即[1,2i-1]之间所有的奇数乘以π/2i),计算通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的所有端点;第三步,若第二步中所记录的所有端点中,至少存在一个端点,该端点在集合G中不存在,则将这些不存在的端点加入到集合G中,赋值i=i+1,算法转到第二步继续计算;若第二步中所记录的所有端点在集合G中都存在,意味着不需要再细分θ,此时已经构造出点所对应的连通区域边界点集合G。
所述的判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两个端点,对于角度为θ,其步骤为:设P点为(a1,b1),计算k=tanθ,b=b1-a1×tanθ,参数k和b为通过P点的直线方程y=kx+b上所对应的参数,然后分别进行正向搜索和反向搜索。
正向搜索:
当θ≠π/2时,正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自增1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M′′的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x-1,k(x-1)+b),正向搜索边界点结束。
当θ=π/2时,tanθ不存在,此时的正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,y坐标自增1个像素;第三步,若(x,y)超出了图像M″的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(a1,y-1),正向搜索边界点结束。
反向搜索:
当θ≠π/2时,反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束。
当θ=π/2时,tanθ不存在,此时的反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束。
所述的判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,其步骤为:第一步,统计连通区域边界点集合G中所有的端点,计算其横坐标最大的像素差和纵坐标最大的像素差,选取二者最大值与相比较;第二步,如果小于说明该连通区域所围成的正方形区间小于最小菌落半径rmin所围成的区间,则根据边界点集合G中的最小横纵坐标xmin,ymin,最大横纵坐标xmax,xmax所围成的矩形区域,其端点为 (xmin,ymin),(xmax,ymin),(xmin,xmax)和(xmax,xmax),将图像M″所对应的区域内的点赋值为0.
所述的根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆,其中值rmax由参数交互设置模块设置,图像M″为p×q矩阵,num()为集合中的元素的个数,其步骤为:
1.构造一个三维矩阵Hough,其维度为p×q×r,初始时矩阵Hough的所有元素都为0.
2.当边界点集合G不为空时,从边界点集合G中取出一个点P,设其坐标为(x,y),执行如下操作:
对于r=[0,1,2,…,1.3rmax](r为整数):
对于θ=[0,π/12,2π/12,3π/12,…,11π/12]:
计算a=x-rcosθ,b=x-rsinθ.
如果0<a≤p并且0<b≤q,则Hough(a,b,r)=Hough(a,b,r)+1.
3.取三维矩阵Hough中的最大元素值为N,若N≤max(2,num(G)/25),说明当前连通区域边界点不是圆形;否则,意味着当前边界点集合G所围成的区域为一个圆形,对于三维矩阵Hough中所有元素值大于0.7×N的坐标点(ai,bi,ri)组成的集合Hp,分别计算其在各自维度的坐标的平均值:a=∑ai/num(Hp),b=∑bi/num(Hp),r=∑ri/num(Hp),其中(ai,bi,ri)∈Hp,则该圆的圆心坐标为(a,b),半径为r.
所述的判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉,其步骤为:
1.若当前边界点集合G所围成的区域为不是一个圆形,则对于集合G中的每个点(x,y),如果该点与其他点的最小距离小于2像素,则将M″(x,y),M″(x+1,y),M″(x,y+1)和M″(x+1,y+1)赋值为0;
2.若当前边界点集合G所围成的区域为一个圆形,该圆的圆心坐标为(a,b),半径为r,则:如果r<rmin,意味着当前圆形区域过小,说明当前圆形区域内的目标不是要寻找的目标,则将图像M″的区域内对应于圆形区域坐标的所有值设为0;如果rmin<r<rmax,意味着当前圆形区域内的图像可能是要寻找的图像,则将图像M″的区域内对应于圆形区域坐标的所有值设为0,将(a,b,r)保存于已选定集合Sp中;如果半径r>rmax,意味着当前圆形区域内可能有多个待识别的圆形目标,将M″(a,b)赋值为0。
所述的特征匹配模块,用来对图像分割模块所得到的圆的集合Sp进行特征匹配,将分割得到的圆形与使用者在参数交互设置模块中所选定的典型菌落样本picsample进行特征匹配,匹配成功的图像即为菌落图像,统计图像个数即可得到样本菌落个数。其步骤为:第一步,对于图像分割模块所得到的圆进行扩充,得到矩形区域集合Rp,从而保留待匹配图像的边界信息;第二步,将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征;第三步,将每一块样本图像与典型菌落样本图像进行特征点匹配,得到每一个待匹配图像与典型菌落样本图像之间的匹配点的个数;第四步,从参数交互设置模块中获得阈值,统计匹配特征点的个数高于阈值的样本图像,将这些图像构成一个集合,集合的元素个数即为样本菌落的个数,将包含匹配成功样本图像信息的集合传递给结果显示模块。
所述的对于图像分割模块所得到的圆进行扩充,其步骤为:第一步,若圆的集合Sp不为 空,则从集合Sp中提取一个元素A,设为(a1,b1,r1),则该圆的圆心为(a1,b1);第二步,计算该圆的圆心与集合Sp中其他圆的圆心之间的欧氏距离,选取距离最小的元素B设为(a2,b2,r2);第三步,计算A与B之间的欧氏距离得则点A的新半径为r1′=d×r1/(r1+r2)+10,若r1′计算结果不为整数,则只保留整数部分;第四步,将元素A所代表的圆形区域区域转化为正方形,对于(a,b,r)及新的半径r′,其扩展后的正方形区间为坐标(a-r′,b-r′),(a-r′,b+r′),(a+r′,b-r′)和(a+r′,b+r′)所围成的正方形区域,并将这四个点保存在矩形集合Rp中;第五步,将元素A从集合Sp中删除,若集合Sp为空,扩充过程结束,否则算法转至第一步。
所述的将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征,其步骤为:第一步,对于矩形集合Rp中的每一个区间,设其坐标为(a1,b1),(a2,b3),(a3,b3),(a4,b4),在灰度图像Mgray中提取对应的区域内的灰度图像P,若矩形区域所对应的坐标超出了Mgray的范围,那么将超出的部分对应的灰度图像P上的像素值设为0,从而得到了矩形集合Rp中所有的元素对应的灰度图像集合;第二步,根据典型菌落样本picsample正方形的边长,将灰度图像集合中的所有的图像进行放大或缩小,使缩放之后的图片与picsample为相同大小;第三步,对于缩放之后的图片和picsample,分别提取其ORB特征,对于每一个图像提取若干个ORB特征,每个ORB特征为一组字符串向量,其元素为[0,1],所有ORB特征向量的长度相同,为了节省空间,我们可以让字符串向量组成的二进制编码的每一位对应ORB特征的一个元素。从已知灰度图像中提取ORB特征,已经有成熟的算法,这里不再赘述。
所述的将每一块样本图像与典型菌落样本图像进行特征点匹配,其步骤为:对于每一个样本图像所提取的ORB特征集合,用VI表示,则VI(i)表示当前样本的第i个ORB特征,典型菌落样本图像的ORB特征集合,用VP表示,则VP(i)表示当前样本的第i个ORB特征:
对于VI中的每一个特征,用VI(i)表示:
计算出特征VI(i)与集合VP中的每一个特征(用VP(j)表示)的距离。
若同时满足1.最小距离小于阈值(通常为50);2.最小距离<0.8×第二小距离意味着匹配成功,将匹配成功的数量加1.
该方法结束。
所述的计算特征VI(i)与特征VP(j)的距离,其步骤如下:由于VI(i)和VP(j)为两个长度相等的向量,向量上的每一位取值为0或1,所以,从VI(i)的第0位和VP(j)的第0位开始作对比,比较两个向量对应位的值是否相同,统计两个向量中对应元素不相同的位置个数,即为两个特征的距离。
所示的结果显示模块,接收来自于特征匹配模块传递来的包含匹配成功样本图像信息的集合Vset。对于该集合的每一个特征匹配模块,在读入的原始图像M上按照集合中的每一个样本图像的位置信息绘制一个矩形图案,该位置信息即为在图像M″上所对应的矩形区域,若矩形位置超过原始图像M的边界,则超出边界部分不画出。并在图像外侧显示集合Vset的个数。考虑到可能出现的误判操作,允许用户通过鼠标操作在图像上添加、删除所绘制的矩形图案,并在集合Vset中进行对应的修改:
1.对于添加操作,使用者在认为漏判的菌落图案上操作鼠标,则绘制一个以鼠标操作位 置的坐标为中心,以(rmax+rmin)/2为边长的矩形,同时,将该区域信息加入集合Vset中。允许用户对该矩形框进行平移、放大缩小操作,在移动矩形框的同时,修改集合Vset中对应的矩形框信息。
2.对于删除操作,使用者在认为错判的菌落上的矩形框内操作鼠标,则取得当前鼠标操作位置,则对于集合Vset中的所有元素的区域信息,如果当前鼠标位置落入该元素的矩形框内,则从屏幕上删掉该矩形框,并从集合Vset中删掉该对应的元素信息,判断点(a,b)是否落入矩形框内的方法为:对于矩形框的边界点(a1,b1),(a2,b1),(a1,b2)和(a2,b2),如果a1<a<a2,并且b1<b<b2,则意味着点(a,b)落入矩形框中。
所述的参数交互设置模块,其作用是与用户交互,得到所需要的参数信息。分别包括:
1.指定典型菌落的样本图像时,第一步,由使用者在原始图像上进行操作,选定一个圆形区域,设其圆心坐标为(a,b),半径为r.第二步,对于圆心坐标为(a,b),半径为r的圆形区域的所有像素点,求其对应的灰度值的平均值,设该值为Ms.第三步,将该圆形区域扩展成正方形区域,该正方形是由如下四个端点围成的:(a-r,b-r),(a+r,b-r),(a-r,b+r)和(a+r,b+r).将图像Mgray中对于坐标(a-r,b-r),(a+r,b-r),(a-r,b+r)和(a+r,b+r)所围成的区域内的图像复制出来,作为典型菌落的样本图像picsample.
2.指定典型菌落的背景图像时,第一步,由使用者在图像上进行操作,选定一个矩形区域,该矩形区域长宽可以由使用者调节大小;第二步,对于使用者所指定的由(a1,b1),(a2,b2),(a3,b3)和(a4,b4)围成的矩形区域内的所有像素点,求其对应的灰度值的平均值,设该值为Mb,若|Ms-Mb|<20,意味着背景区域与典型菌落的样本图像过于相似,要求使用者重新划定背景图像区域。
3.指定最小菌落半径rmin和最大菌落半径rmax,第一步,指定最小菌落半径rmin时,首先,由使用者输入一个最小菌落半径rmin,并在屏幕上绘制一个半径为rmin的圆形区域,由使用者与屏幕上的菌落图案作对比,并调整rmin的大小;第二步,指定指定最大菌落半径rmax时,首先,由使用者输入一个最大菌落半径rmax,并在屏幕上绘制一个半径为rmax的圆形区域,然后,由使用者与屏幕上的菌落图案作对比,并调整rmax的大小。
4.设定特征匹配模块的关于匹配成功特征点个数的阈值。第一步,接收来自特征匹配模块所计算得到的待匹配图像和每一个图像与典型菌落图像的特征匹配点个数,将所有图片显示给使用者;第二步,由使用者选择一张图片,这张图片上的匹配成功特征点个数即为阈值。若期望得到较多的匹配图像,可以将图像按照特征匹配点个数小到大排序,由使用者选择第一个菌落图片,则阈值即为该图片对应的成功特征点个数减一;若期望得到较准确的匹配图像,则可以将图像按照特征匹配点个数大到小排序,由使用者选择第一个非菌落图片,则阈值即为该图片对应的成功特征点个数。
将1,2中指定的Ms和Mb传递给边缘滤除模块,将1中指定的典型菌落的样本图像picsample传递给特征匹配模块,将3中指定的最小菌落半径rmin和最大菌落半径rmax传递给分割模块,将4中所指定的阈值传递给特征匹配模块。
本发明的有益效果是,依靠计算机视觉领域的图像处理方法,能够智能的统计出图 像中菌落的个数,从而将实验员从费时费力的劳动中解脱出来;本发明首先使用图像分割方法对图像中的菌落进行分割,然后使用了特征点匹配方法对分割所得的图像进行筛选,减少了使用单一方法可能出现的误识别漏识别。
附图说明
图1是本发明的功能流程图;
图2是本发明整体的功能模块及其相互关系框图;
图3是本发明图像分割模块的流程图;
图4是本发明所述的通过P点的直线分别在θ=[0,π/4,2π/4,3π/4]时与圆形边界的交点示意图;
图5是本发明所述的圆心坐标为(a,b),半径为r的圆以及其对于的正方形区域的示意图;
具体实施方式
下面结合附图对本发明作进一步的说明。
所述的一种智能菌落计数方法,其功能流程图如图1所示,其模块之间的相互关系如图2所示。
下面提供一个具体实施例对本发明所述的一种智能菌落计数方法的具体过程进行说明:
实施例1:
本实施例实现了一种智能菌落计数方法的具体实施过程。
一、图像采集模块,用于接收含有带统计菌落的图像,所接收的图像可以是直接调用摄像头后采集到的图像,也可以是将已经拍摄到的图像导入到系统中,该图像通常为灰度图像M,若读入的图像为彩色RGB图像Mc,则需要将彩色图像Mc转换为灰度图像,并传递给边缘滤除模块。
所述的将彩色图像Mc转换成灰度图像M的变换方法为:对于原始彩色图片Mc上的每一个像素点所对应的R,G,B分量,不失一般性的用i和j表示其坐标,则该像素点对应在M上的灰度值为M(i,j)=0.3×B(i,j)+0.59×G(i,j)+0.11×R(i,j),其中M(i,j)为整数,若所得结果为小数的话,仅取其整数部分,从而得到彩色图像Mc所对应的灰度图像M。
图像采集模块的处理过程结束。
二、边缘滤除模块,接收图像采集模块传递过来的图像M,其步骤为:第一步将将图像M显示在屏幕上;第二步,由使用者划定合适的培养皿边界,对于不含边界的图像,使用者可以直接选择跳过该模块,直接将图像M传递给二值化处理模块;第三步,对于存在培养皿边界的图像,在图像M上浮动显示一个圆形区域,由使用者拖动培养皿进行移动、放大、缩小或调整为椭圆形以适应图片中的培养皿形状,从而使圆形(或被使用者调整为椭圆形以适应照相产生的形变)区域内包含图像中的全部菌落;第四步,将圆形区域外的图像的所有像素点设为 NaN,即对于圆形区域外的任一点(a,b),M(a,b)=NaN.第五步,接收由参数交互设置模块传递来的菌落样本点灰度值Ms和背景点灰度值Mb.第六步,根据Ms和Mb对区域外的点进行填充数值;最后,将填充后的图像M传递给二值化处理模块。
所述的根据Ms和Mb对区域外的点进行填充数值,其方法如下:对于图像N中的值为NaN的像素点进行赋值,由于值为NaN的点为背景点,所以,若Mb>Ms,则对于所有值为NaN,设值为255;若Mb<Ms,则对于所有值为NaN,设值为0.
边缘滤除模块的处理过程结束。
三、所述的二值化处理模块接收来自于边缘滤除模块所传递过来的去除边界的图像M,其步骤为:第一步,对图像M进行滤波,得到滤波后的图像M′;第二步,建立基于图片Mgray的灰度直方图,由于图片Mgray的每个点的取值范围为[0,255],所以对于i∈[0,255],计算其在图片Mgray中灰度点为i的个数ni,然后设图像Mgray为p行q列,对于每个ni,计算Pi=ni/(p×q).第三步,判断以Pi(i∈[0,255])组成的向量中存在峰值的个数,峰值的判断方法为,对于Pi(i∈[1,254]),如果Pi-1<pi并且Pi+1<pi则此刻的i即为一个峰值,统计出在i∈[1,254]中所有峰值的个数;第四步,若峰值个数为2,或者重复次数大于1000次,进入第五步,否则,则对Pi(i∈[0,255])进行平滑,平滑的方法为:赋值P′1=(P1+P2)/2,P′i=(Pi-1+Pi+Pi+1)/3,P′255=(P254+P255)/2,计算结束后,Pi=P′i(i∈[0,255]),进入第三步;第五步,若重复次数大于1000后峰值个数仍不为2,说明该图Mgray不是双峰结构,对其进行二值化赋值,若峰值个数为2,则说明Mgray是双峰结构,对应的两个峰值分别为u1和u1,对其进行二值化赋值。并将二值化图像M′bin传递给图像分割模块。
所述的对图像M进行滤波,得到滤波后的图像M′,设图像M为p行q列,其步骤如下:首先对于图像M上的每个点M(a,b),进行如下处理:1,如果M(a,b)为图像的角点,其计算方法为:M′(1,1)=[M(1,1)+M(1,2)+M(2,1)+M(2,2)]/4,M′(1,q)=[M(1,q)+M(2,q)+M(1,q-1)+M(2,q-1)]/4,M′(p,1)=[M(p,1)+M(p,2)+M(p-1,1)+M(p-1,2)]/4,M′(p,q)=[M(p,q)+M(p-1,q)+M(p,q-1)+M(p-1,q-1)]/4(设图像的(1,1)点为左上角的点);2,排除1中的点,如果M(a,b)为图像的边界点,其计算方法为:若a=1,则M′(1,b)=[M(1,b-1)+M(1,b)+M(1,b+1)+M(2,b-1)+M(2,b)+M(2,b+1)]/6,若a=p,则M′(p,b)=[M(p,b-1)+M(p,b)+M(p,b+1)+M(p-1,b-1)+M(p-1,b)+M(p-1,b+1)]/6,若b=1,则M′(a,1)=[M(a-1,1)+M(a,1)+M(a+1,1)+M(a-1,2)+M(a,2)+M(a+1,2)]/6,若b=q,则M′(a,q)=M[(a-1,q)+M(a,q)+M(a+1,q)+M(a-1,q-1)+M(a,q-1)+M(a+1,q-1)]/6;3.排除1,2中的点,其余点的计算方法为M′(a,b)=[M(a-1,b-1)+M(a,b-1)+M(a+1,b-1)+M(a-1,b)+M(a,b)+M(a+1,b)+M(a-1,b+1)+M(a,b+1)+M(a+1,b+1)]/9。以上结果若不为整数,则保留整数部分,从而得到M对应的滤波图像M′.
所述的对于图Mgray不是双峰结构,对其进行二值化赋值的方法可以简单的比较Ms和Mb,
1.若Mb>Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)<(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
2.若Mb<Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)>(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
所述的对于图Mgray是双峰结构,对其进行二值化赋值的方法为:第一步,找到双峰之间的最小值,即对于Pi(i∈[u1,u2])寻找使Pi取值最小的i,此刻的i即为阈值,设i=μ。第二步,对于Mgray上的每个点(x,y):
1.若Mb>Ms,则赋值的公式为:
如果Mgray(x,y)<μ,Mbin(x,y)=1,否则Mbin(x,y)=0;
2.若Mb<Ms,赋值的公式为:
如果Mgray(x,y)>μ,Mbin(x,y)=1,否则Mbin(x,y)=0;
边缘滤除模块的处理过程结束。
四、图像分割模块,其流程图如图3所示。其步骤为:第一步,对二值化图像Mbin进行腐蚀膨胀(开运算)处理,得到处理后的图像M″;第二步,接收由参数交互设置模块设置的最小菌落半径rmin和最大菌落半径rmax,根据图像M″寻找图像中所有的圆形区域;第三步,根据选定的圆形区域对滤波后的图像M′进行分割,将分割的结果Sp传递给特征匹配模块。
所述的对二值化图像Mbin进行腐蚀膨胀(开运算)处理,其方法如下:第一步,对于M′bin上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为1,则否则,对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可;第二步,对于上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为0,则M″(a,b)=0,否则,M″(a,b)=1.对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可。从而得到了腐蚀膨胀处理后的二值化图像M″。
所述的根据图像M′′寻找图像中所有的圆形区域,其步骤如下:第一步,在图像M″中随机寻找一个值为1并且没有被选中过的点,设该点P为(x,y),构造出P点所对应的连通区域边界点集合G;第二步,判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,算法跳转到第一步;第三步,根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆;第四步,判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉;第五步,判断图像M″是否为空,如果不为空,转到第一步。
所述的构造出P点所对应的连通区域边界点集合G其步骤为:第一步,设P坐标为(x,y),i=0,判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两个端点,并将这两个端点的集合放入集合G(对于重复的端点,只记录一次),其中θ=0,θ=π/4,θ=2π/4和θ=3π/4,此刻共有四条线,每条线有两个焦点,共8个端点,如图4所示;第二步,设i=3,对于θ=[π/2i,3π/2i,5π/2i,…,(2i-1)π/2i](即[1,2i-1]之间所有的奇数乘以π/2i),计算通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的所有端点;第三步,若第二步中所记录的所有端点中,至少存在一个端点,该端点在集合G中不存在,则将这些不存在的端点加入到集合G中,赋值i=i+1,算法转到第二步继续计算;若第二步中所记录的所有端点在集合G中都存在,意味着不需要再细分θ,此时已经构造出点所对应的连通区域边界点集合G。
所述的判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两 个端点,对于角度为θ,其步骤为:设P点为(a1,b1),计算k=tanθ,b=b1-a1×tanθ,参数k和b为通过P点的直线方程y=kx+b上所对应的参数,然后分别进行正向搜索和反向搜索。
正向搜索:
当θ≠π/2时,正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自增1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x-1,k(x-1)+b),正向搜索边界点结束。
当θ=π/2时,tanθ不存在,此时的正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,y坐标自增1个像素;第三步,若(x,y)超出了图像M″的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(a1,y-1),正向搜索边界点结束。
反向搜索:
当θ≠π/2时,反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M′′的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束。
当θ=π/2时,tanθ不存在,此时的反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束。
所述的判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,其步骤为:第一步,统计连通区域边界点集合G中所有的端点,计算其横坐标最大的像素差和纵坐标最大的像素差,选取二者最大值与相比较;第二步,如果小于说明该连通区域所围成的正方形区间小于最小菌落半径rmin所围成的区间,则根据边界点集合G中的最小横纵坐标xmin,ymin,最大横纵坐标xmax,xmax所围成的矩形区域,其端点为(xmin,ymin),(xmax,ymin),(xmin,xmax)和(xmax,xmax),将图像M″所对应的区域内的点赋值为0.
所述的根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆,其中值rmax由参数交互设置模块设置,图像M″为p×q矩阵,num()为集合中的元素的个数,其步骤为:
1.构造一个三维矩阵Hough,其维度为p×q×r,初始时矩阵Hough的所有元素都为0.
2.当边界点集合G不为空时,从边界点集合G中取出一个点P,设其坐标为(x,y),执行如下操作:
对于r=[0,1,2,…,1.3rmax](r为整数):
对于θ=[0,π/12,2π/12,3π/12,…,11π/12]:
计算a=x-rcosθ,b=x-rsinθ.
如果0<a≤p并且0<b≤q,则Hough(a,b,r)=Hough(a,b,r)+1.
3.取三维矩阵Hough中的最大元素值为N,若N≤max(2,num(G)/25),说明当前连通区域边界点不是圆形;否则,意味着当前边界点集合G所围成的区域为一个圆形,对于三维矩阵Hough中所有元素值大于0.7×N的坐标点(ai,bi,ri)组成的集合Hp,分别计算其在各自维度的坐标的平均值:a=∑ai/num(Hp),b=∑bi/num(Hp),r=∑ri/num(Hp),其中(ai,bi,ri)∈Hp,则该圆的圆心坐标为(a,b),半径为r.
所述的判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉,其步骤为:
1.若当前边界点集合G所围成的区域为不是一个圆形,则对于集合G中的每个点(x,y),如果该点与其他点的最小距离小于2像素,则将M″(x,y),M″(x+1,y),M″(x,y+1)和M″(x+1,y+1)赋值为0;
2.若当前边界点集合G所围成的区域为一个圆形,该圆的圆心坐标为(a,b),半径为r,则:如果r<rmin,意味着当前圆形区域过小,说明当前圆形区域内的目标不是要寻找的目标,则将图像M″的区域内对应于圆形区域坐标的所有值设为0;如果rmin<r<rmax,意味着当前圆形区域内的图像可能是要寻找的图像,则将图像M″的区域内对应于圆形区域坐标的所有值设为0,将(a,b,r)保存于已选定集合Sp中;如果半径r>rmax,意味着当前圆形区域内可能有多个待识别的圆形目标,将M″(a,b)赋值为0。
图像分割模块的处理过程结束。
五、特征匹配模块,用来对图像分割模块所得到的圆的集合Sp进行特征匹配,将分割得到的圆形与使用者在参数交互设置模块中所选定的典型菌落样本picsample进行特征匹配,匹配成功的图像即为菌落图像,统计图像个数即可得到样本菌落个数。其步骤为:第一步,对于图像分割模块所得到的圆进行扩充,得到矩形区域集合Rp,从而保留待匹配图像的边界信息;第二步,将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征;第三步,将每一块样本图像与典型菌落样本图像进行特征点匹配,得到每一个待匹配图像与典型菌落样本图像之间的匹配点的个数;第四步,从参数交互设置模块中获得阈值,统计匹配特征点的个数高于阈值的样本图像,将这些图像构成一个集合,集合的元素个数即为样本菌落的个数,将包含匹配成功样本图像信息的集合传递给结果显示模块。
所述的对于图像分割模块所得到的圆进行扩充,其步骤为:第一步,若圆的集合Sp不为空,则从集合Sp中提取一个元素A,设为(a1,b1,r1),则该圆的圆心为(a1,b1);第二步,计算该圆的圆心与集合Sp中其他圆的圆心之间的欧氏距离,选取距离最小的元素B设为(a2,b2,r2);第三步,计算A与B之间的欧氏距离得则点A的新半径为r1′=d×r1/(r1+r2)+10,若r1′计算结果不为整数,则只保留整数部分;第四步,将元素A所代表的圆形区域区域转化为正方形,对于(a,b,r)及新的半径r′,其扩展后的正方形区间为坐标(a-r′,b-r′),(a-r′,b+r′),(a+r′,b-r′)和(a+r′,b+r′)所围成的正方形区域,并将这四个点保存在矩形集合Rp中;第五步,将元素A从集合Sp中删除,若集合Sp为空,扩充过程结束,否则算法转至第一步。
所述的将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征,其步骤为:第一步,对于矩形集合Rp中的每一个区间,设其坐标为(a1,b1),(a2,b3),(a3,b3),(a4,b4),在灰度图像Mgray中提取对应的区域内的灰度图像P,若矩形区域所对应的坐标超出了Mgray的范围,那么将超出的部分对应的灰度图像P上的像素值设为0,从而得到了矩形集合Rp中所有的元素对应的灰度图像集合;第二步,根据典型菌落样本picsample正方形的边长,将灰度图像集合中的所有的图像进行放大或缩小,使缩放之后的图片与picsample为相同大小;第三步,对于缩放之后的图片和picsample,分别提取其ORB特征,对于每一个图像提取若干个ORB特征,每个ORB特征为一组字符串向量,其元素为[0,1],所有ORB特征向量的长度相同,为了节省空间,我们可以让字符串向量组成的二进制编码的每一位对应ORB特征的一个元素。从已知灰度图像中提取ORB特征,已经有成熟的算法,这里不再赘述。
所述的将每一块样本图像与典型菌落样本图像进行特征点匹配,其步骤为:对于每一个样本图像所提取的ORB特征集合,用VI表示,则VI(i)表示当前样本的第i个ORB特征,典型菌落样本图像的ORB特征集合,用VP表示,则VP(i)表示当前样本的第i个ORB特征:
对于VI中的每一个特征,用VI(i)表示:
计算出特征VI(i)与集合VP中的每一个特征(用VP(j)表示)的距离。
若同时满足1.最小距离小于阈值(通常为50);2.最小距离<0.8×第二小距离意味着匹配成功,将匹配成功的数量加1.
该方法结束。
所述的计算特征VI(i)与特征VP(j)的距离,其步骤如下:由于VI(i)和VP(j)为两个长度相等的向量,向量上的每一位取值为0或1,所以,从VI(i)的第0位和VP(j)的第0位开始作对比,比较两个向量对应位的值是否相同,统计两个向量中对应元素不相同的位置个数,即为两个特征的距离。
特征匹配模块的处理过程结束。
六、结果显示模块,接收来自于特征匹配模块传递来的包含匹配成功样本图像信息的集合Vset。对于该集合的每一个特征匹配模块,在读入的原始图像M上按照集合中的每一个样本图像的位置信息绘制一个矩形图案,该位置信息即为在图像M″上所对应的矩形区域,若矩形位置超过原始图像M的边界,则超出边界部分不画出。并在图像外侧显示集合Vset的个数。考虑到可能出现的误判操作,允许用户通过鼠标操作在图像上添加、删除所绘制的矩形图案,并在集合Vset中进行对应的修改:
1.对于添加操作,使用者在认为漏判的菌落图案上操作鼠标,则绘制一个以鼠标操作位置的坐标为中心,以(rmax+rmin)/2为边长的矩形,同时,将该区域信息加入集合Vset中。允许用户对该矩形框进行平移、放大缩小操作,在移动矩形框的同时,修改集合Vset中对应的矩形框信息。
2.对于删除操作,使用者在认为错判的菌落上的矩形框内操作鼠标,则取得当前鼠标操作位置,则对于集合Vset中的所有元素的区域信息,如果当前鼠标位置落入该元素的矩形框内,则从屏幕上删掉该矩形框,并从集合Vset中删掉该对应的元素信息,判断点(a,b)是否落 入矩形框内的方法为:对于矩形框的边界点(a1,b1),(a2,b1),(a1,b2)和(a2,b2),如果a1<a<a2,并且b1<b<b2,则意味着点(a,b)落入矩形框中。
结果显示模块的处理过程结束。
所述的参数交互设置模块,其作用是与用户交互,得到所需要的参数信息。分别包括:
1.指定典型菌落的样本图像时,第一步,由使用者在原始图像上进行操作,选定一个圆形区域,设其圆心坐标为(a,b),半径为r.第二步,对于圆心坐标为(a,b),半径为r的圆形区域的所有像素点,求其对应的灰度值的平均值,设该值为Ms.第三步,将该圆形区域扩展成正方形区域,如图5所示,,该正方形是由如下四个端点围成的:(a-r,b-r),(a+r,b-r),(a-r,b+r)和(a+r,b+r).将图像Mgray中对于坐标(a-r,b-r),(a+r,b-r),(a-r,b+r)和(a+r,b+r)所围成的区域内的图像复制出来,作为典型菌落的样本图像picsample.
2.指定典型菌落的背景图像时,第一步,由使用者在图像上进行操作,选定一个矩形区域,该矩形区域长宽可以由使用者调节大小;第二步,对于使用者所指定的由(a1,b1),(a2,b2),(a3,b3)和(a4,b4)围成的矩形区域内的所有像素点,求其对应的灰度值的平均值,设该值为Mb,若|Ms-Mb|<20,意味着背景区域与典型菌落的样本图像过于相似,要求使用者重新划定背景图像区域。
3.指定最小菌落半径rmin和最大菌落半径rmax,第一步,指定最小菌落半径rmin时,首先,由使用者输入一个最小菌落半径rmin,并在屏幕上绘制一个半径为rmin的圆形区域,由使用者与屏幕上的菌落图案作对比,并调整rmin的大小;第二步,指定指定最大菌落半径rmax时,首先,由使用者输入一个最大菌落半径rmax,并在屏幕上绘制一个半径为rmax的圆形区域,
然后,由使用者与屏幕上的菌落图案作对比,并调整rmax的大小。
4.设定特征匹配模块的关于匹配成功特征点个数的阈值。第一步,接收来自特征匹配模块所计算得到的待匹配图像和每一个图像与典型菌落图像的特征匹配点个数,将所有图片显示给使用者;第二步,由使用者选择一张图片,这张图片上的匹配成功特征点个数即为阈值。若期望得到较多的匹配图像,可以将图像按照特征匹配点个数小到大排序,由使用者选择第一个菌落图片,则阈值即为该图片对应的成功特征点个数减一;若期望得到较准确的匹配图像,则可以将图像按照特征匹配点个数大到小排序,由使用者选择第一个非菌落图片,则阈值即为该图片对应的成功特征点个数。
将1,2中指定的Ms和Mb传递给边缘滤除模块,将1中指定的典型菌落的样本图像picsample传递给特征匹配模块,将3中指定的最小菌落半径rmin和最大菌落半径rmax传递给分割模块,将4中所指定的阈值传递给特征匹配模块。
Claims (8)
1.一种智能菌落计数方法,其特征在于所述的一种智能菌落计数方法,包括:图像采集模块,用于读入待计数菌落的图像;边缘滤除模块,用于划定计数菌落的分布区域,并将区域外的点设成背景;二值化处理模块,用于把计数区域内的图像进行二值化处理,该模块根据灰度图的直方图及使用者指定的菌落样本点灰度值和背景点灰度值所提供的信息,将灰度图转化为二值图;图像分割模块,用于把计数区域内的图像分割成若干个独立的图像块,每一块内只包含一个菌落(可能包含误判区域,由特征匹配模块进行筛选),该模块通过从二值图像上随机选择一个点,统计该点对应的连通区域的边界点的集合,根据边界点的信息进行霍夫变换,从而得到该点对应的圆形区域,重复上述过程后,能够得到若干个圆形区域,根据这些圆形区域的信息,将灰度图进行图像分割;特征匹配模块,用于根据客户选定的菌落图像与分割得到的每一个图像块进行特征匹配,统计匹配成功的区域,该模块对于分割后的每一个模块,提取其ORB特征,然后将该图像的ORB特征与用户选定的典型菌落样本的ORB特征进行特征匹配,匹配成功的图像即为菌落图像;结果显示模块,用于对匹配的结果进行显示,并能根据使用者的操作来调整匹配结果;参数交互设置模块,用于与使用者交互,为使用者提示输入、接收使用者输入的结果,并将其转化为处理过程中所需的参数,该模块能够指定典型菌落样本、典型菌落背景图像、最小菌落半径、最大菌落半径、特征匹配的阈值。
2.根据权利要求1所述的一种智能菌落计数方法,其特征在于所述的图像采集模块,用于接收含有带统计菌落的图像,所接收的图像可以是直接调用摄像头后采集到的图像,也可以是将已经拍摄到的图像导入到系统中,该图像通常为灰度图像M,若读入的图像为彩色RGB图像Mc,则需要将彩色图像Mc转换为灰度图像,并传递给边缘滤除模块;
所述的将彩色图像Mc转换成灰度图像M的变换方法为:对于原始彩色图片Mc上的每一个像素点所对应的R,G,B分量,不失一般性的用i和j表示其坐标,则该像素点对应在M上的灰度值为M(i,j)=0.3×B(i,j)+0.59×G(i,j)+0.11×R(i,j),其中M(i,j)为整数,若所得结果为小数的话,仅取其整数部分,从而得到彩色图像Mc所对应的灰度图像M。
3.根据权利要求1或2所述的一种智能菌落计数方法,其特征在于所述的边缘滤除模块,用于去除可能存在的边界信息;边缘滤除模块接收图像采集模块传递过来的图像M,其步骤为:第一步将将图像M显示在屏幕上;第二步,由使用者划定合适的培养皿边界,对于不含边界的图像,使用者可以直接选择跳过该模块,直接将图像M传递给二值化处理模块;第三步,对于存在培养皿边界的图像,在图像M上浮动显示一个圆形区域,由使用者拖动培养皿进行移动、放大、缩小或调整为椭圆形以适应图片中的培养皿形状,从而使圆形(或被使用者调整为椭圆形以适应照相产生的形变)区域内包含图像中的全部菌落;第四步,将圆形区域外的图像的所有像素点设为NaN,即对于圆形区域外的任一点(a,b),M(a,b)=NaN;第五步,接收由参数交互设置模块传递来的菌落样本点灰度值Ms和背景点灰度值Mb;第六步,根据Ms和Mb对区域外的点进行填充数值,否则提示用户;最后,将填充后的图像M传递给二值化处理模块;
所述的根据Ms和Mb对区域外的点进行填充数值,其方法如下:对于图像M中的值为NaN的像素点进行赋值,由于值为NaN的点为背景点,所以,若Mb>Ms,则对于所有值为NaN,设值为255;若Mb<Ms,则对于所有值为NaN,设值为0。
4.根据权利要求1或2或3所述的一种智能菌落计数方法,其特征在于所述的二值化处理模块,其步骤为:该模块接收来自于边缘滤除模块所传递过来的去除边界的图像M,第一步,对图像M进行滤波,得到滤波后的图像M′;第二步,建立基于图片Mgray的灰度直方图,由于图片Mgray的每个点的取值范围为[0,255],所以对于i∈[0,255],计算其在图片Mgray中灰度点为i的个数ni,然后设图像Mgray为p行q列,对于每个ni,计算Pi=ni/(p×q);第三步,判断以Pi(i∈[0,255])组成的向量中存在峰值的个数,峰值的判断方法为,对于Pi(i∈[1,254]),如果Pi-1<Pi并且Pi+1<Pi则此刻的i即为一个峰值,统计出在i∈[1,254]中所有峰值的个数;第四步,若峰值个数为2,或者重复次数大于1000次,进入第五步,否则,则对Pi(i∈[0,255])进行平滑,平滑的方法为:赋值P′1=(P1+P2)/2,P′i=(Pi-1+Pi+Pi+1)/3,P′255=(P254+P255)/2,计算结束后,Pi=P′i(i∈[0,255]),进入第三步;第五步,若重复次数大于1000后峰值个数仍不为2,说明该图Mgray不是双峰结构,对其进行二值化赋值,若峰值个数为2,则说明Mgray是双峰结构,对应的两个峰值分别为u1和u1,对其进行二值化赋值;并将二值化图像M′bin传递给图像分割模块;
所述的对图像M进行滤波,得到滤波后的图像M′,设图像M为p行q列,其步骤如下:首先对于图像M上的每个点M(a,b),进行如下处理:1.如果M(a,b)为图像的角点,其计算方法为:M′(1,1)=[M(1,1)+M(1,2)+M(2,1)+M(2,2)]/4,M′(1,q)=[M(1,q)+M(2,q)+M(1,q-1)+M(2,q-1)]/4,M′(p,1)=[M(p,1)+M(p,2)+M(p-1,1)+M(p-1,2)]/4,M′(p,q)=[M(p,q)+M(p-1,q)+M(p,q-1)+M(p-1,q-1)]/4(设图像的(1,1)点为左上角的点);2.排除1中的点,如果M(a,b)为图像的边界点,其计算方法为:若a=1,则M′(1,b)=[M(1,b-1)+M(1,b)+M(1,b+1)+M(2,b-1)+M(2,b)+M(2,b+1)]/6,若a=p,则M′(p,b)=[M(p,b-1)+M(p,b)+M(p,b+1)+M(p-1,b-1)+M(p-1,b)+M(p-1,b+1)]/6,若b=1,则M′(a,1)=[M(a-1,1)+M(a,1)+M(a+1,1)+M(a-1,2)+M(a,2)+M(a+1,2)]/6,若b=q,则M′(a,q)=M[(a-1,q)+M(a,q)+M(a+1,q)+M(a-1,q-1)+M(a,q-1)+M(a+1,q-1)]/6;3.排除1,2中的点,其余点的计算方法为M′(a,b)=[M(a-1,b-1)+M(a,b-1)+M(a+1,b-1)+M(a-1,b)+M(a,b)+M(a+1,b)+M(a-1,b+1)+M(a,b+1)+M(a+1,b+1)]/9;以上结果若不为整数,则保留整数部分,从而得到M对应的滤波图像M′;
所述的对于图Mgray不是双峰结构,对其进行二值化赋值的方法可以简单的比较Ms和Mb,
判断1.若Mb>Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)<(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
判断2.若Mb<Ms,对于Mgray上的每个点(x,y),赋值的公式为:
如果Mgray(x,y)>(Mb+Ms)/2,Mbin(x,y)=1,否则Mbin(x,y)=0;
所述的对于图Mgray是双峰结构,对其进行二值化赋值的方法为:第一步,找到双峰之间的最小值,即对于Pi(i∈[u1,u2])寻找使Pi取值最小的i,此刻的i即为阈值,设i=μ;第二步,对于Mgray上的每个点(x,y):
判断1.若Mb>Ms,则赋值的公式为:
如果Mgray(x,y)<μ,Mbin(x,y)=1,否则Mbin(x,y)=0;
判断2.若Mb<Ms,赋值的公式为:
如果Mgray(x,y)>μ,Mbin(x,y)=1,否则Mbin(x,y)=0。
5.根据权利要求1或2或3或4所述的一种智能菌落计数方法,其特征在于所述的图像分割模块,其步骤为:第一步,对二值化图像Mbin进行腐蚀膨胀(开运算)处理,得到处理后的图像M″;第二步,接收由参数交互设置模块设置的最小菌落半径rmin和最大菌落半径rmax,根据图像M″寻找图像中所有的圆形区域;第三步,根据选定的圆形区域对滤波后的图像M′进行分割,将分割的结果Sp传递给特征匹配模块;
所述的对二值化图像Mbin进行腐蚀膨胀(开运算)处理,其方法如下:第一步,对于M′bin上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为1,则否则,对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可;第二步,对于上的所有点,选取当前点(a,b)及以当前点周围的8个点所构成的3×3区间内的9个点,若都为0,则M″(a,b)=0,否则,M″(a,b)=1;对于边界点,会出现不够9个点的情况,那么只需考虑3×3区间内存在的点即可;从而得到了腐蚀膨胀处理后的二值化图像M″;
所述的根据图像M″寻找图像中所有的圆形区域,其步骤如下:第一步,在图像M″中随机寻找一个值为1并且没有被选中过的点,设该点P为(x,y),构造出P点所对应的连通区域边界点集合G;第二步,判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,算法跳转到第一步;第三步,根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆;第四步,判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉;第五步,判断图像M″是否为空,如果不为空,转到第一步;
所述的构造出P点所对应的连通区域边界点集合G其步骤为:第一步,设P坐标为(x,y),i=0,判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两个端点,并将这两个端点的集合放入集合G(对于重复的端点,只记录一次),其中θ=0,θ=π/4,θ=2π/4和θ=3π/4,此刻共有四条线,每条线有两个焦点,共8个端点;第二步,设i=3,对于θ=[π/2i,3π/2i,5π/2i,…,(2i-1)π/2i](即[1,2i-1]之间所有的奇数乘以π/2i),计算通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的所有端点;第三步,若第二步中所记录的所有端点中,至少存在一个端点,该端点在集合G中不存在,则将这些不存在的端点加入到集合G中,赋值i=i+1,算法转到第二步继续计算;若第二步中所记录的所有端点在集合G中都存在,意味着不需要再细分θ,此时已经构造出点所对应的连通区域边界点集合G;
所述的判断通过P点角度为θ的直线在图像M″上划过的全为1的区间,记录该区间的两个端点,对于角度为θ,其步骤为:设P点为(a1,b1),计算k=tanθ,b=b1-a1×tanθ,参数k和b为通过P点的直线方程y=kx+b上所对应的参数,然后分别进行正向搜索和反向搜索:
正向搜索:
当θ≠π/2时,正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自增1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x-1,k(x-1)+b),正向搜索边界点结束;
当θ=π/2时,tanθ不存在,此时的正向搜索步骤为:
第一步,x坐标设为x=a1;第二步,y坐标自增1个像素;第三步,若(x,y)超出了图像M″的坐标范围,则点正向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(a1,y-1),正向搜索边界点结束;
反向搜索:
当θ≠π/2时,反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束;
当θ=π/2时,tanθ不存在,此时的反向搜索步骤为:
第一步,x坐标设为x=a1;第二步,x坐标自减1个像素,并根据y=kx+b计算对应的y坐标;第三步,若(x,y)超出了图像M″的坐标范围,则点反向搜索边界点结束,否则判断M″(x,y)是否为0,若不为0,则转入第二步继续计算,若为0,则记录点A=(x+1,k(x+1)+b),反向搜索边界点结束;
所述的判断该连通区域边界点集合G所围成的区间是否小于最小菌落半径rmin所围成的区间,如果小于,则将连通区域边界点集合G所围成的区间在图像M″中所对应的点赋值为0,其步骤为:第一步,统计连通区域边界点集合G中所有的端点,计算其横坐标最大的像素差和纵坐标最大的像素差,选取二者最大值与相比较;第二步,如果小于说明该连通区域所围成的正方形区间小于最小菌落半径rmin所围成的区间,则根据边界点集合G中的最小横纵坐标xmin,ymin,最大横纵坐标xmax,xmax所围成的矩形区域,其端点为(xmin,ymin),(xmax,ymin),(xmin,xmax)和(xmax,xmax),将图像M″所对应的区域内的点赋值为0;
所述的根据连通区域边界点集合G,进行霍夫变换,从而得到边界点集合G所对应的最可能的圆,其中值rmax由参数交互设置模块设置,图像M″为p×q矩阵,num()为集合中的元素的个数,其步骤为:
第一步,构造一个三维矩阵Hough,其维度为p×q×r,初始时矩阵Hough的所有元素都为0;
第二步,当边界点集合G不为空时,从边界点集合G中取出一个点P,设其坐标为(x,y),执行如下操作:
对于r=[0,1,2,…,1.3rmax](r为整数):
对于θ=[0,π/12,2π/12,3π/12,…,11π/12]:
计算a=x-rcosθ,b=x-rsinθ;
如果0<a≤p并且0<b≤q,则Hough(a,b,r)=Hough(a,b,r)+1;
第三步,取三维矩阵Hough中的最大元素值为N,若N≤max(2,num(G)/25),说明当前连通区域边界点不是圆形;否则,意味着当前边界点集合G所围成的区域为一个圆形,对于三维矩阵Hough中所有元素值大于0.7×N的坐标点(ai,bi,ri)组成的集合Hp,分别计算其在各自维度的坐标的平均值:a=∑ai/num(Hp),b=∑bi/num(Hp),r=∑ri/num(Hp),其中 (ai,bi,ri)∈Hp,则该圆的圆心坐标为(a,b),半径为r;
所述的判断该区域是否为所要求的圆形,如果是,则将当前的圆形信息保存在集合Sp中,并在图像M″中将该圆形区域覆盖掉,其步骤为:
第一步,若当前边界点集合G所围成的区域为不是一个圆形,则对于集合G中的每个点(x,y),如果该点与其他点的最小距离小于2像素,则将M″(x,y),M″(x+1,y),M″(x,y+1)和M″(x+1,y+1)赋值为0;
第二步,若当前边界点集合G所围成的区域为一个圆形,该圆的圆心坐标为(a,b),半径为r,则:如果r<rmin,意味着当前圆形区域过小,说明当前圆形区域内的目标不是要寻找的目标,则将图像M″的区域内对应于圆形区域坐标的所有值设为0;如果rmin<r<rmax,意味着当前圆形区域内的图像可能是要寻找的图像,则将图像M″的区域内对应于圆形区域坐标的所有值设为0,将(a,b,r)保存于已选定集合Sp中;如果半径r>rmax,意味着当前圆形区域内可能有多个待识别的圆形目标,将M″(a,b)赋值为0。
6.根据权利要求1或2或3或4或5所述的一种智能菌落计数方法,其特征在于:所述的特征匹配模块,用来对图像分割模块所得到的圆的集合Sp进行特征匹配,将分割得到的圆形与使用者在参数交互设置模块中所选定的典型菌落样本picsample进行特征匹配,匹配成功的图像即为菌落图像,统计图像个数即可得到样本菌落个数;其步骤为:第一步,对于图像分割模块所得到的圆进行扩充,得到矩形区域集合Rp,从而保留待匹配图像的边界信息;第二步,将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征;第三步,将每一块样本图像与典型菌落样本图像进行特征点匹配,得到每一个待匹配图像与典型菌落样本图像之间的匹配点的个数;第四步,从参数交互设置模块中获得阈值,统计匹配特征点的个数高于阈值的样本图像,将这些图像构成一个集合,集合的元素个数即为样本菌落的个数,将包含匹配成功样本图像信息的集合传递给结果显示模块;
所述的对于图像分割模块所得到的圆进行扩充,其步骤为:第一步,若圆的集合Sp不为空,则从集合Sp中提取一个元素A,设为(a1,b1,r1),则该圆的圆心为(a1,b1);第二步,计算该圆的圆心与集合Sp中其他圆的圆心之间的欧氏距离,选取距离最小的元素B设为(a2,b2,r2);第三步,计算A与B之间的欧氏距离得则点A的新半径为r1′=d×r1/(r1+r2)+10,若r1′计算结果不为整数,则只保留整数部分;第四步,将元素A所代表的圆形区域区域转化为正方形,对于(a,b,r)及新的半径r′,其扩展后的正方形区间为坐标(a-r′,b-r′),(a-r′,b+r′),(a+r′,b-r′)和(a+r′,b+r′)所围成的正方形区域,并将这四个点保存在矩形集合Rp中;第五步,将元素A从集合Sp中删除,若集合Sp为空,扩充过程结束,否则算法转至第一步;
所述的将待匹配图像和典型菌落样本图像构成一个集合,分别对集合中的每一张图片提取ORB特征,其步骤为:第一步,对于矩形集合Rp中的每一个区间,设其坐标为(a1,b1),(a2,b3),(a3,b3),(a4,b4),在灰度图像Mgray中提取对应的区域内的灰度图像P,若矩形区域所对应的坐标超出了Mgray的范围,那么将超出的部分对应的灰度图像P上的像素值设为0,从而得到了矩形集合Rp中所有的元素对应的灰度图像集合;第二步,根据典型菌落样本picsample正方形的边长,将灰度图像集合中的所有的图像进行放大或缩小,使缩放之后的图片与picsample为相同大小;第三步,对于缩放之后的图片和picsample,分别提取其ORB特征,对于每一个图像提取若干个ORB特征,每个ORB特征为一组字符串向量,其元素为[0,1],所 有ORB特征向量的长度相同,为了节省空间,我们可以让字符串向量组成的二进制编码的每一位对应ORB特征的一个元素;从已知灰度图像中提取ORB特征,已经有成熟的算法,这里不再赘述;
所述的将每一块样本图像与典型菌落样本图像进行特征点匹配,其步骤为:对于每一个样本图像所提取的ORB特征集合,用VI表示,则VI(i)表示当前样本的第i个ORB特征,典型菌落样本图像的ORB特征集合,用VP表示,则VP(i)表示当前样本的第i个ORB特征:
对于VI中的每一个特征,用VI(i)表示:
计算出特征VI(i)与集合VP中的每一个特征(用VP(j)表示)的距离;
若同时满足1.最小距离小于阈值(通常为50);2.最小距离<0.8×第二小距离
意味着匹配成功,将匹配成功的数量加1;
该方法结束;
所述的计算特征VI(i)与特征VP(j)的距离,其步骤如下:由于VI(i)和VP(j)为两个长度相等的向量,向量上的每一位取值为0或1,所以,从VI(i)的第0位和VP(j)的第0位开始作对比,比较两个向量对应位的值是否相同,统计两个向量中对应元素不相同的位置个数,即为两个特征的距离。
7.根据权利要求1或2或3或4或5或6所述的一种智能菌落计数方法,其特征在于:所示的结果显示模块,接收来自于特征匹配模块传递来的包含匹配成功样本图像信息的集合Vset;对于该集合的每一个特征匹配模块,在读入的原始图像M上按照集合中的每一个样本图像的位置信息绘制一个矩形图案,该位置信息即为在图像M″上所对应的矩形区域,若矩形位置超过原始图像M的边界,则超出边界部分不画出;并在图像外侧显示集合Vset的个数;考虑到可能出现的误判操作,允许用户通过鼠标操作在图像上添加、删除所绘制的矩形图案,并在集合Vset中进行对应的修改:
(1).对于添加操作,使用者在认为漏判的菌落图案上操作鼠标,则绘制一个以鼠标操作位置的坐标为中心,以(rmax+rmin)/2为边长的矩形,同时,将该区域信息加入集合Vset中;允许用户对该矩形框进行平移、放大缩小操作,在移动矩形框的同时,修改集合Vset中对应的矩形框信息;
(2).对于删除操作,使用者在认为错判的菌落上的矩形框内操作鼠标,则取得当前鼠标操作位置,则对于集合Vset中的所有元素的区域信息,如果当前鼠标位置落入该元素的矩形框内,则从屏幕上删掉该矩形框,并从集合Vset中删掉该对应的元素信息,判断点(a,b)是否落入矩形框内的方法为:对于矩形框的边界点(a1,b1),(a2,b1),(a1,b2)和(a2,b2),如果a1<a<a2,并且b1<b<b2,则意味着点(a,b)落入矩形框中。
8.根据权利要求1或2或3或4或5或6或7所述的一种智能菌落计数方法,其特征在于:所述的参数交互设置模块,其作用是与用户交互,得到所需要的参数信息;分别包括:
(1).指定典型菌落的样本图像时,第一步,由使用者在原始图像上进行操作,选定一个圆形区域,设其圆心坐标为(a,b),半径为r;第二步,对于圆心坐标为(a,b),半径为r的圆形区域的所有像素点,求其对应的灰度值的平均值,设该值为Ms;第三步,将该圆形区域扩展成正方形区域,该正方形是由如下四个端点围成的:(a-r,b-r),(a+r,b-r),(a-r,b+r)和(a+r,b+r);将图像Mgray中对于坐标(a-r,b-r),(a+r,b-r),(a-r,b+r) 和(a+r,b+r)所围成的区域内的图像复制出来,作为典型菌落的样本图像picsample;
(2).指定典型菌落的背景图像时,第一步,由使用者在图像上进行操作,选定一个矩形区域,该矩形区域长宽可以由使用者调节大小;第二步,对于使用者所指定的由(a1,b1),(a2,b2),(a3,b3)和(a4,b4)围成的矩形区域内的所有像素点,求其对应的灰度值的平均值,设该值为Mb;若|Ms-Mb|<20,意味着背景区域与典型菌落的样本图像过于相似,要求使用者重新划定背景图像区域。
(3).指定最小菌落半径rmin和最大菌落半径rmax,第一步,指定最小菌落半径rmin时,首先,由使用者输入一个最小菌落半径rmin,并在屏幕上绘制一个半径为rmin的圆形区域,由使用者与屏幕上的菌落图案作对比,并调整rmin的大小;第二步,指定指定最大菌落半径rmax时,首先,由使用者输入一个最大菌落半径rmax,并在屏幕上绘制一个半径为rmax的圆形区域,然后,由使用者与屏幕上的菌落图案作对比,并调整rmax的大小;
(4).设定特征匹配模块的关于匹配成功特征点个数的阈值;第一步,接收来自特征匹配模块所计算得到的待匹配图像和每一个图像与典型菌落图像的特征匹配点个数,将所有图片显示给使用者;第二步,由使用者选择一张图片,这张图片上的匹配成功特征点个数即为阈值;若期望得到较多的匹配图像,可以将图像按照特征匹配点个数小到大排序,由使用者选择第一个菌落图片,则阈值即为该图片对应的成功特征点个数减一;若期望得到较准确的匹配图像,则可以将图像按照特征匹配点个数大到小排序,由使用者选择第一个非菌落图片,则阈值即为该图片对应的成功特征点个数;
将(1),(2)中指定的Ms和Mb传递给边缘滤除模块,将(1)中指定的典型菌落的样本图像picsample传递给特征匹配模块,将(3)中指定的最小菌落半径rmin和最大菌落半径rmax传递给分割模块,将(4)中所指定的阈值传递给特征匹配模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610819425.4A CN106447020B (zh) | 2016-09-13 | 2016-09-13 | 一种智能菌落计数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610819425.4A CN106447020B (zh) | 2016-09-13 | 2016-09-13 | 一种智能菌落计数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106447020A true CN106447020A (zh) | 2017-02-22 |
CN106447020B CN106447020B (zh) | 2018-11-23 |
Family
ID=58167806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610819425.4A Expired - Fee Related CN106447020B (zh) | 2016-09-13 | 2016-09-13 | 一种智能菌落计数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106447020B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197598A (zh) * | 2018-01-25 | 2018-06-22 | 曹凯 | 一种噬线虫1号战线菌群的制配系统 |
CN108305270A (zh) * | 2018-03-19 | 2018-07-20 | 河南工业大学 | 一种基于手机拍照的仓储粮虫计数系统及方法 |
CN108376403A (zh) * | 2018-01-30 | 2018-08-07 | 西安电子科技大学 | 基于霍夫圆变换的网格菌落图像分割方法 |
CN108776979A (zh) * | 2018-07-04 | 2018-11-09 | 安图实验仪器(郑州)有限公司 | 利用图像测量平板培养基菌株直径的方法 |
CN109001150A (zh) * | 2018-09-11 | 2018-12-14 | 西北农林科技大学 | 一种基于近红外图像技术实现菌落计数的方法和装置 |
CN109087276A (zh) * | 2018-05-17 | 2018-12-25 | 苏州斯玛维科技有限公司 | 基于smt料盘的x射线图像的元器件自动计数和定位方法 |
CN109948544A (zh) * | 2019-03-20 | 2019-06-28 | 南京师范大学 | 一种目标菌落自动定位与识别方法 |
CN111286523A (zh) * | 2020-02-20 | 2020-06-16 | 中国水产科学研究院黄海水产研究所 | 一种细菌的三原色鉴别及计数方法 |
CN112466007A (zh) * | 2020-10-19 | 2021-03-09 | 北京戴纳实验科技有限公司 | 一种移液器智能存储箱 |
CN113808067A (zh) * | 2020-06-11 | 2021-12-17 | 广东美的白色家电技术创新中心有限公司 | 电路板检测方法、视觉检测设备及具有存储功能的装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080032325A1 (en) * | 2006-08-07 | 2008-02-07 | Northeastern University | Phase subtraction cell counting method |
CN102676633A (zh) * | 2012-03-08 | 2012-09-19 | 天津大学 | 一种菌落自动计数方法 |
CN105420107A (zh) * | 2015-11-11 | 2016-03-23 | 上海大学 | 一种基于菌落形态特征的菌落自动筛选方法 |
CN105491279A (zh) * | 2015-11-19 | 2016-04-13 | 北京工业大学 | 一种菌落的图像采集和识别方法 |
-
2016
- 2016-09-13 CN CN201610819425.4A patent/CN106447020B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080032325A1 (en) * | 2006-08-07 | 2008-02-07 | Northeastern University | Phase subtraction cell counting method |
CN102676633A (zh) * | 2012-03-08 | 2012-09-19 | 天津大学 | 一种菌落自动计数方法 |
CN105420107A (zh) * | 2015-11-11 | 2016-03-23 | 上海大学 | 一种基于菌落形态特征的菌落自动筛选方法 |
CN105491279A (zh) * | 2015-11-19 | 2016-04-13 | 北京工业大学 | 一种菌落的图像采集和识别方法 |
Non-Patent Citations (3)
Title |
---|
刘威等: "一种基于ORB检测的特征点匹配算法", 《激光与红外》 * |
刘欢: "细胞图像分析处理系统的开发", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
门洪等: "基于图像处理的异养菌菌落计数方法研究", 《化工自动化及仪表》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197598A (zh) * | 2018-01-25 | 2018-06-22 | 曹凯 | 一种噬线虫1号战线菌群的制配系统 |
CN108376403A (zh) * | 2018-01-30 | 2018-08-07 | 西安电子科技大学 | 基于霍夫圆变换的网格菌落图像分割方法 |
CN108305270A (zh) * | 2018-03-19 | 2018-07-20 | 河南工业大学 | 一种基于手机拍照的仓储粮虫计数系统及方法 |
CN109087276A (zh) * | 2018-05-17 | 2018-12-25 | 苏州斯玛维科技有限公司 | 基于smt料盘的x射线图像的元器件自动计数和定位方法 |
CN109087276B (zh) * | 2018-05-17 | 2022-02-01 | 苏州斯玛维科技有限公司 | 基于smt料盘的x射线图像的元器件自动计数和定位方法 |
CN108776979A (zh) * | 2018-07-04 | 2018-11-09 | 安图实验仪器(郑州)有限公司 | 利用图像测量平板培养基菌株直径的方法 |
CN109001150A (zh) * | 2018-09-11 | 2018-12-14 | 西北农林科技大学 | 一种基于近红外图像技术实现菌落计数的方法和装置 |
CN109948544A (zh) * | 2019-03-20 | 2019-06-28 | 南京师范大学 | 一种目标菌落自动定位与识别方法 |
CN111286523A (zh) * | 2020-02-20 | 2020-06-16 | 中国水产科学研究院黄海水产研究所 | 一种细菌的三原色鉴别及计数方法 |
CN113808067A (zh) * | 2020-06-11 | 2021-12-17 | 广东美的白色家电技术创新中心有限公司 | 电路板检测方法、视觉检测设备及具有存储功能的装置 |
CN112466007A (zh) * | 2020-10-19 | 2021-03-09 | 北京戴纳实验科技有限公司 | 一种移液器智能存储箱 |
Also Published As
Publication number | Publication date |
---|---|
CN106447020B (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106447020A (zh) | 一种智能菌落计数方法 | |
CN110084241B (zh) | 一种基于图像识别的电表自动读数方法 | |
CN104851113B (zh) | 多分辨率遥感影像的城市植被自动提取方法 | |
CN110533084A (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
CN106169080B (zh) | 一种基于图像的燃气指数自动识别方法 | |
CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN108038839B (zh) | 一种流水生产线上双绞线绞距实时检测方法 | |
CN109903282B (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
CN106529543B (zh) | 一种动态计算多色级二值化自适应阈值的方法及其系统 | |
CN111062331B (zh) | 图像的马赛克检测方法、装置、电子设备及存储介质 | |
CN107066952A (zh) | 一种车道线检测方法 | |
CN106650668A (zh) | 一种实时检测可移动目标物的方法及系统 | |
CN110472479A (zh) | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 | |
CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
CN107403180A (zh) | 一种数字类型设备检测识别方法和系统 | |
CN113077486A (zh) | 一种山区植被覆盖率监测方法及系统 | |
CN116721391B (zh) | 一种基于计算机视觉的原料油分离效果检测方法 | |
CN108961301A (zh) | 一种基于无监督逐像素分类的角毛藻图像分割方法 | |
CN110111347A (zh) | 图像标志提取方法、装置及存储介质 | |
CN115330868A (zh) | 一种基于深度学习与深度信息融合的葡萄采摘方法 | |
CN105761207B (zh) | 基于最大线性块邻域嵌入的图像超分辨重建方法 | |
CN110334751A (zh) | 用于捆扎节点的图像处理方法及装置、终端 | |
CN109492544A (zh) | 一种通过增强光学显微镜对动物纤维进行分类的方法 | |
CN109816629A (zh) | 一种基于k-means聚类的苔质分离方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181123 |