CN101561316A - 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 - Google Patents
一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 Download PDFInfo
- Publication number
- CN101561316A CN101561316A CNA200910027829XA CN200910027829A CN101561316A CN 101561316 A CN101561316 A CN 101561316A CN A200910027829X A CNA200910027829X A CN A200910027829XA CN 200910027829 A CN200910027829 A CN 200910027829A CN 101561316 A CN101561316 A CN 101561316A
- Authority
- CN
- China
- Prior art keywords
- image
- roi
- fruit
- distribution
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于感兴趣区域(ROI)的在线检测视觉数据处理系统，其由图像获取模块和图像处理模块经图像视觉数据信号依次连接而成；其中所述的图像获取模块包括原始图像采集模块、Bayer转换模块和白平衡校正模块组成；其中所述的图像处理模块包括判断水果分布ROI定位、单果分割ROI定位和特征参数提取。本发明通过在获取到的图像中定位1个像素宽、与辊子同高的ROI快速判断水果在图像中的分布情况；再定位一定大小的ROI锁定图像中水果所在区域，实现快速单体分割；最后根据水果在图像中的分布情况，有选择的对有水果的ROI提取特征参数，而对无水果的ROI不进行任何处理。提高了代码执行效率，为整个系统实现快速检测打下坚实的基础。
Description
技术领域
本发明涉及一种在线检测和分级的机器视觉检测系统；特指一种基于感兴趣区域(Regionof Interest，ROI)的在线检测视觉数据处理系统。
背景技术
近年来，利用机器视觉技术对水果进行分级得到了广泛的研究。相关的美国专利有，YangTao等人的美国专利“Method and apparatus for sorting objects(用颜色对物品进行分级的方法和装置)申请号：5339963”，用彩色摄像头对输送链条上的物品进行快速检测与分级，主要用HIS颜色系统中的色度(H)进行分类计算。Yang Tao等人的美国专利“Method and apparatus forsorting objects by color including stable color transformation(用颜色对物品进行分级的方法和装置包括一种静态图像的转换方法)申请号：5533628”，描述了一种基于单个摄像头的水果分级系统。国内，有应义斌等人在他们申请的多个相关中国专利(申请号：02136377.3，02266031.3，02160193.302295073.7，02295073.7)中也描述了单个摄像头的水果分级系统；这些系统有水果翻转系统、计算机识别系统、分级系统组成。水果在输送装置上以一定的速度前进并绕水平轴自由转动，摄像头获取水果表面的信息。通过计算机视觉识别系统的智能识别判断每个水果的等级，并确定水果的位置信息，由计算机识别系统的控制模块将指令传个分级系统，完成对水果的分级。赵杰文、邹小波等人申请的相关专利“一种水果外观质量在线检测技术的视觉数据处理系统(专利号：ZL200510038530.6)”描述了使用陷阱法分割背景.跳格法分割单体，把外观质量参数有序的存储在3*3*4三维数组中，通过这些方法虽然可以实现水果外观质量的在线检测，但这些方法过于复杂，限制了在线检测的速度，不利于水果的高速检测；这些方法也缺乏一定的灵活性，比如不管图像中有无水果，图像处理代码都会对整个图片进行处理。同时在计算机视觉系统中如何根据每幅图像具体情况灵活进行图像处理、如何快速获取检测对象的表面信息等在线检测技术中的关键步骤在软件上的实现鲜见报道。
发明内容
为了克服上述不足，本发明提供一种基于感兴趣区域(ROI)在线检测视觉数据处理系统，可在高速的水果检测线上通过外触发控制的方式获取目标图像；通过在目标图像上定义不同的矩形区域即感兴趣区域(Region of Interest，ROI)，快速灵活的提取待测水果多个特征参数。
本发明的技术方案如下：
本发明由图像获取模块和图像处理模块组成，两个模块经图像视觉数据信号依次连接而成。
所述的图像获取模块包括原始图像采集、Bayer转换、白平衡校正等功能模块组成。原始图像采用Eurasys系列采集卡和STC-CLC33A摄像头对输送线上的待检测小型水果进行拍摄，采集到的原图像是8位的Bayer图像，Bayer转换是对单色图像根据自身的彩色编码进行加码进而生成将单色图像转换成彩色图像的过程。白平衡是用白色对图像采集系统进行校正，摄像机内部有三个CCD电子耦合元件，它们分别感受蓝色、绿色、红色，在预置情况下这三个感光电路电子放大比例是相同的，为1∶1∶1的关系，白平衡的调整就是根据被调校的景物改变了这种比例关系，以获取同待检测物色度尽量一致的图像。(白平衡和bayer变换参照专利ZL200510038530.6实施)
所述的图像处理模块包括判断水果分布ROI定位、单果分割ROI定位和特征参数提取。
(1)所述的判断水果分布ROI定位是指在图像上定位宽为1个像素，与辊子等高的ROI，通过计算这些ROI内像素的平均灰度值判断图像中哪些工位上有水果。将ROI的中心位置分别定义在图像中辊子缝隙的中央，若有水果被排列在检测线的辊子缝隙之间，水果图像的一部分像素会出现在对应的ROI区域内，计算出ROI内像素的平均灰度值同没有水果时的值进行比较，可以判断出图像中水果的分布情况，为后续处理提供依据。
(2)所述的单果分割ROI定位是指在获取到的图像中定位宽大于待测水果最大宽度，高大于待测水果最大高度ROI，锁定每个水果在图像中可能出现的区域，实现快速单果分割。该单果分割方法不需要像一般的搜索定位算法对图像中的像素进行标记或反复搜索，几乎不需要任何运算即可实现单果分割。节约了系统运算量，同时也减少了代码开销，为整个系统实现高速检测提供了保证。
(3)所述的特征参数提取指根据图像处理模块(1)中的判断结果，调用特征提取代码对图像处理模块(2)中相应的ROI提取特征参数。由于在图像处理模块(1)中判断出了水果在图像中的分布情况，在提取特征参数的时候只对图像处理模块(2)中有水果的ROI进行图像处理，而没有水果的ROI则不进行任何处理。这种特征提取方式同传统的方式相比，能根据具体情况选择性的处理图像中有水果的区域，避免了盲目的对整幅图片进行处理，提高了处理的效率。
本发明通过上述技术方案，获得如下效果：通过在获取到的图像中定位1个像素宽、与辊子同高的ROI快速判断水果在图像中的分布情况；再定位一定大小的ROI锁定图像中水果所在区域，实现快速单果分割；最后根据水果在图像中的分布情况，有选择的对有水果的ROI提取特征参数，而对无水果的ROI不进行任何处理。提高了代码执行效率，为整个系统实现快速检测打下坚实的基础。
附图说明
图1各功能模块间的关系；
图2判断水果分布ROI定位；
其中1输送线上辊子，2待测水果，3、4、5判断水果分布ROI；
图3单果分割ROI定位；
其中1输送线上辊子，2待测水果，3、4、5单果分割ROI；
图4数据处理系统流程图。
具体实施方式
下面结合附图对本发明进一步的描述：
如图1所示，二个模块由图像视觉数据信号依次连接而成：
1、图像获取模块
包括原始图像采集、Bayer转换、白平衡校正等功能模块组成。原始图像采用Eurasys系列采集卡和STC-CLC33A摄像头对输送线上的待检测小型水果进行拍摄，采集到的原图像是8位的Bayer图像。同过转换某像素的周边像素彩色分量就可以获得该像素的三维彩色分量(R，G，B)。如果某源像素是G值，则目标像素的R值和G值就可以同过该源像素的2邻域获得；若源像素是R或则G，目标像素的其他分量是由源像素的4邻域获得。白平衡校正过程中，测试得到白颜色的RGB分量为(255，255，189)，即在图像获取过程中R’＝255(R/255)，G’＝255(R/255)，B’＝255(R/189)。然后把R’，G’，B’赋值给原理的R、G、B即可获取同待检测物色度一致的图像。
2、图像处理模块
所述的图像处理模块包括判断水果分布ROI定位、单果分割ROI定位和特征参数提取。
(1)所述的判断水果分布ROI定位是指在图像上定位宽为1个像素，与辊子等高的ROI，通过计算这些ROI内像素的平均灰度值判断图像中水果的分布情况。如图二所示；图中1表示输送线上的辊子，2表示待检测的水果(以番茄为例子)，3、4、5是定义在工位上的宽度为1个像素，与辊子子同高的ROI。当某个工位上有水果时(如图示的第二个工位)，4所在的ROI内像素平均灰度值要高于无水果的3、5所在的ROI平均灰度值。因此只要计算3、4、5对应ROI内非常有限的几个像素点的灰度值就能得知水果在工位上的分布情况。
(2)所述的单果分割ROI定位是指在图像中定位宽度大于待测水果最大宽度，高度大于水果最大高度的ROI。如图三所示；图中1表示输送线上的辊子，2表示待检测的水果(以番茄为例子)，3、4、5是定义在工位上的ROI。ROI的宽度大于待测水果最大宽度，高度大于水果最大高度，当某个工位上有水果时，能确保水果区域所有像素都包含在上述ROI中。从而实现了对待检测水果的单体分割。该单体分割方法同一般方法相比较，不需要使用搜索定位算法对图像中的像素进行标记或反复搜索，几乎不需要任何运算即实现单体分割，减少了系统运算量，同时也节约了代码开销，为整个系统实现高速检测提供了保证。
(3)所述的特征参数提取指根据图像处理模块(1)中的判断结果，调用特征提取代码对图像处理模块(2)中对应的ROI提取特征参数。由于在图像处理模块(1)中判断出了水果在图像中的分布情况，在提取特征参数的时候只对有水果的ROI区域进行图像处理，而没有水果的ROI区域则不进行任何处理。如图二所示的情况，通过图像处理模块(1)可以得知图像中仅第二个工位上有水果，在接下来的特征提取过程中，只需对图三中4所在的ROI进行运算，图像中其它不包含有用信息的像素点则不进行任何运算。在实际的检测过程中，不能保证所有的工位上刚好排列有水果，当没有水果的工位轮换到图像中时，本模块能够判断出空的工位，不会对这些空位所在的像素区域作任何运算。这种特征提取方式同传统的方式相比，能智能选择需要处理的区域，提高了处理的效率。
Claims (3)
1、一种基于感兴趣区域(ROI)的在线检测视觉数据处理系统，其特征在于由图像获取模块和图像处理模块组成，两个模块由图像视觉数据信号依次连接而成；其中所述的图像获取模块包括原始图像采集模块、Bayer转换模块和白平衡校正模块组成；其中所述的图像处理模块包括判断水果分布ROI定位、单果分割ROI定位和特征参数提取。
2、根据权利要求1所述一种基于感兴趣区域(ROI)的在线检测视觉数据处理系统，其特征在于图像获取模块中原始图像采用Eurasys系列采集卡和STC-CLC33A摄像头对输送线上的待检测水果进行拍摄，采集到的原图像是8位的Bayer图像，Bayer转换模块是对单色图像根据自身的彩色编码进行加码进而生成将单色图像转换成彩色图像的过程；白平衡模块是用白色对图像采集系统进行校正，摄像机内部有三个CCD电子耦合元件，它们分别感受蓝色、绿色、红色，在预置情况下这三个感光电路电子放大比例是相同的，为1∶1∶1的关系，白平衡的调整就是根据被调校的景物改变了这种比例关系，以获取同待检测物色度尽量一致的图像。
3、根据权利要求1所述一种基于感兴趣区域(ROI)的在线检测视觉数据处理系统，其特征在于所述的图像处理模块包括判断水果分布ROI定位、单果分割ROI定位和特征参数提取，其处理过程如下：
(1)判断水果分布ROI定位是指在图像上定位宽为1个像素，与辊子等高的ROI，通过计算这些ROI内像素的平均灰度值判断图像中哪些工位上有水果；将ROI的中心位置分别定义在图像中辊子缝隙的中央，若有水果被排列在检测线的辊子缝隙之间，水果图像的一部分像素会出现在对应的ROI区域内，计算出ROI内像素的平均灰度值同没有水果时的值进行比较，可以判断出图像中水果的分布情况，为后续处理提供依据；
(2)单果分割ROI定位是指在获取到的图像中定位宽大于待测水果最大宽度，高大于待测水果最大高度ROI，锁定每个水果在图像中可能出现的区域，实现快速单果分割；该单果分割方法不需要像一般的搜索定位算法对图像中的像素进行标记或反复搜索，几乎不需要任何运算即可实现单果分割；节约了系统运算量，同时也减少了代码开销，为整个系统实现高速检测提供了保证；
(3)特征参数提取指根据图像处理模块中判断水果分布ROI定位的判断结果，调用特征提取代码对图像处理模块中单果分割ROI定位相应的ROI提取特征参数；由于在图像处理模块中判断水果分布ROI定位中判断出了水果在图像中的分布情况，在提取特征参数的时候只对有水果的ROI进行图像处理，而没有水果的ROI则不进行任何处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910027829XA CN101561316B (zh) | 2009-05-15 | 2009-05-15 | 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910027829XA CN101561316B (zh) | 2009-05-15 | 2009-05-15 | 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101561316A true CN101561316A (zh) | 2009-10-21 |
| CN101561316B CN101561316B (zh) | 2011-06-01 |
Family
ID=41220214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910027829XA Expired - Fee Related CN101561316B (zh) | 2009-05-15 | 2009-05-15 | 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101561316B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158190A1 (en) * | 2014-04-18 | 2015-10-22 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Image processing methods and image processing apparatuses |
| CN106060522A (zh) * | 2016-06-29 | 2016-10-26 | 努比亚技术有限公司 | 一种视频图像的处理装置及方法 |
| CN106203527A (zh) * | 2016-07-12 | 2016-12-07 | 沈阳东之昕智能科技有限公司 | 一种用于水果去核的视觉识别方法 |
| CN107860766A (zh) * | 2017-10-24 | 2018-03-30 | 吉林大学 | 基于颜色传感器的干化学法精确检测装置及方法 |
| CN108695559A (zh) * | 2017-03-29 | 2018-10-23 | Ckd株式会社 | 检查装置和卷绕装置 |
| CN111507325A (zh) * | 2020-03-16 | 2020-08-07 | 重庆大学 | 基于深度学习的工业视觉ocr识别系统及方法 |
-
2009
- 2009-05-15 CN CN200910027829XA patent/CN101561316B/zh not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015158190A1 (en) * | 2014-04-18 | 2015-10-22 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Image processing methods and image processing apparatuses |
| US10123024B2 (en) | 2014-04-18 | 2018-11-06 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Image processing methods and image processing apparatuses |
| CN106060522A (zh) * | 2016-06-29 | 2016-10-26 | 努比亚技术有限公司 | 一种视频图像的处理装置及方法 |
| CN106203527A (zh) * | 2016-07-12 | 2016-12-07 | 沈阳东之昕智能科技有限公司 | 一种用于水果去核的视觉识别方法 |
| CN108695559A (zh) * | 2017-03-29 | 2018-10-23 | Ckd株式会社 | 检查装置和卷绕装置 |
| CN108695559B (zh) * | 2017-03-29 | 2021-06-18 | Ckd株式会社 | 检查装置和卷绕装置 |
| CN107860766A (zh) * | 2017-10-24 | 2018-03-30 | 吉林大学 | 基于颜色传感器的干化学法精确检测装置及方法 |
| CN111507325A (zh) * | 2020-03-16 | 2020-08-07 | 重庆大学 | 基于深度学习的工业视觉ocr识别系统及方法 |
| CN111507325B (zh) * | 2020-03-16 | 2023-04-07 | 重庆大学 | 基于深度学习的工业视觉ocr识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101561316B (zh) | 2011-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105631880B (zh) | 车道线分割方法和装置 | |
| CN101561316B (zh) | 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统 | |
| CN102132323B (zh) | 用于自动图像矫直的系统和方法 | |
| CN107507172A (zh) | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 | |
| CN106384117B (zh) | 一种车辆颜色识别方法及装置 | |
| CN108319973A (zh) | 一种树上柑橘果实检测方法 | |
| CN111489346B (zh) | 一种全参考图像质量评价方法及系统 | |
| CN107580175A (zh) | 一种单镜头全景拼接的方法 | |
| CN109544501A (zh) | 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法 | |
| CN108876723A (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| CN108133460B (zh) | 一种适用于电力作业机器人的颜色型状态指示器识别方法 | |
| CN102169585A (zh) | 图像偏色的检测方法及装置 | |
| CN106529556A (zh) | 一种仪表指示灯的视觉检测系统 | |
| CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
| CN110245592A (zh) | 一种用于提升监控场景的行人重识别率的方法 | |
| Härtl et al. | Robust and efficient object recognition for a humanoid soccer robot | |
| CN110084746A (zh) | 一种马赛克拼图机器人的识图拼图方法 | |
| CN104299234B (zh) | 视频数据中雨场去除的方法和系统 | |
| CN112101260B (zh) | 一种作业人员安全带识别方法、装置、设备和存储介质 | |
| CN108830834B (zh) | 一种爬索机器人视频缺陷信息自动提取方法 | |
| Wang et al. | Deep learning-based human activity analysis for aerial images | |
| Klančar et al. | Robust and efficient vision system for group of cooperating mobile robots with application to soccer robots | |
| CN109919973A (zh) | 基于多特征联合的多视角目标关联方法、系统及介质 | |
| Javadi et al. | Change detection in aerial images using a Kendall's TAU distance pattern correlation | |
| CN110490192A (zh) | 一种商品生产日期标签检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110601 Termination date: 20180515 |