CN116030368B - 门限自适应的花椒果实识别方法和花椒采摘设备 - Google Patents
门限自适应的花椒果实识别方法和花椒采摘设备 Download PDFInfo
- Publication number
- CN116030368B CN116030368B CN202310063311.1A CN202310063311A CN116030368B CN 116030368 B CN116030368 B CN 116030368B CN 202310063311 A CN202310063311 A CN 202310063311A CN 116030368 B CN116030368 B CN 116030368B
- Authority
- CN
- China
- Prior art keywords
- component
- value
- max
- mask
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000002566 Capsicum Nutrition 0.000 title claims abstract description 98
- 239000006002 Pepper Substances 0.000 title claims abstract description 73
- 241000722363 Piper Species 0.000 title claims abstract description 73
- 235000016761 Piper aduncum Nutrition 0.000 title claims abstract description 73
- 235000017804 Piper guineense Nutrition 0.000 title claims abstract description 73
- 235000008184 Piper nigrum Nutrition 0.000 title claims abstract description 73
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003044 adaptive effect Effects 0.000 claims abstract description 44
- 241000949456 Zanthoxylum Species 0.000 claims abstract description 28
- 241000758706 Piperaceae Species 0.000 claims abstract description 25
- 235000007650 Aralia spinosa Nutrition 0.000 claims description 27
- 238000003708 edge detection Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 239000010935 stainless steel Substances 0.000 claims description 4
- 229910001220 stainless steel Inorganic materials 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 13
- 239000004575 stone Substances 0.000 abstract description 13
- 239000002689 soil Substances 0.000 abstract description 8
- 244000089698 Zanthoxylum simulans Species 0.000 abstract description 4
- 239000000306 component Substances 0.000 description 50
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 4
- 235000008496 Drimys aromatica Nutrition 0.000 description 3
- 240000008202 Schinus molle Species 0.000 description 3
- 235000005151 Schinus molle Nutrition 0.000 description 3
- 235000013880 Schinus terebinthifolius var. raddianus Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 240000004160 Capsicum annuum Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 235000007862 Capsicum baccatum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000001728 capsicum frutescens Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种门限自适应的花椒果实识别方法和一种花椒采摘设备。其中门限自适应的花椒果实识别方法包括：通过检测邻近颜色区间是否存在峰值，以确定红色区间H分量的自适应门限h0H和h1L；通过保持S分量和V分量的和不变，分别设置S分量和V分量最小值，并把所有掩码进行合并，以确定S分量的自适应门限sL和V分量的自适应门限vL；通过索贝尔算子Sobel检测后设置灰度门限消除模糊区间。如此，克服了背景光线的影响，以及花椒树的土地、地上的石块、公路等对花椒果实识别的干扰，提升了识别的准确性。上述花椒采摘设备中的双目图像识别定位部件通过执行上述花椒果实别方法进行定位待采摘的花椒。
Description
技术领域
本说明书一个或多个实施例涉及果实识别领域，尤其涉及一种门限自适应的花椒果实识别方法和一种花椒采摘设备。
背景技术
目前，花椒在我国种植广泛，由于花椒采用人工采摘的方式不仅容易伤手，而且采摘效率也比较低，因此，采用机器自动化采摘的方法是必然的要求。作为机器自动化采摘设备的一个核心部件，需要通过相机拍照，然后对照片中的花椒果实进行识别，计算出花椒果实的位置，指挥采摘器件进行采摘，其中对照片中的花椒果实识别方法就是核心中的核心，只有准确识别出花椒果实才能进行下一步操作，如果识别错误，误把地或者地上的石块当作花椒进行采摘，甚至可能导致采摘器件损坏。
然而，当前的花椒识别方法，只是针对红色花椒的识别，通常利用颜色区分花椒果实和其它东西，利用RGB(Red，Green，Blue}、HSV(Hue，Saturation，Value)等颜色空间采用固定门限进行识别，通过仿真或测试找到合适的门限或辅助滤波的方法克服光线的影响，还没有考虑实际采摘场景中，花椒树的土地、花椒树地上的石块、公路边花椒树的公路等对花椒果实识别的影响，以及掺和光线的影响。
采用固定门限进行识别，即在下面公式中：
H∈[h0L，h0H]∪[h1L，h1H] (1)
S∈[sL，sH] (2)
V∈[vL，vH] (3)
在OpenCV中，H取值范围为0～180时，对于花椒识别，h0L固定取值为0，因为在HSV颜色空间中，红色取值范围通常为0至10和156至180，h0H取值10，h1L取值156，h1H固定取值180，sL取值43，sH取值255，vL取值46，vH取值255。
发明内容
本发明描述一种门限自适应的花椒果实识别方法，以及一种花椒采摘设备，可以解决上述技术问题。
根据第一方面，提供一种门限自适应的花椒果实识别方法。该方法包括：
从双目相机读取拍摄的花椒果实的原始彩色图片；在所述原始彩色图片转换到HSV颜色空间后，确定所述HSV颜色空间中H分量的柱状图R，所述柱状图R包括所述H分量的取值和对应的像素个数；通过估计所述柱状图第一H值在附近是否存在峰值突起，确定所述H分量的自适应门限h0H；通过估计所述柱状图在第二H值附近是否存在峰值突起，确定所述H分量的自适应门限h1L；所述第二H值大于第一H值；基于所述H分量的自适应门限h0H和h1L，采用保持所述HSV颜色空间中S分量和V分量的和不变的方式，确定所述S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜；对所述第一掩膜进行膨胀和腐蚀得到第二掩膜；基于所述原始彩色图片得到全部轮廓；存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩码对应的识别区域进行边缘检测；对所述边缘检测后的结果进行腐蚀和膨胀，并通过预设的灰度门限消除其中的模糊区域，得到第三掩膜；基于所述第二掩膜和第三掩膜的交集，选取面积最大轮廓画外围的矩形框作为所述原始彩色图片中花椒果实的最终识别区域。判断存在下一幅所述原始彩色图片，读取所述原始彩色图片。
在一些实施例中，所述通过估计所述柱状图R在第一H值附近是否存在峰值突起，确定所述H分量的自适应门限h0H，包括：
获取第一种、第二种和第三种颜色的起始取值ha、hb和hc，其中hc＞hb＞ha。
初始化h0H＝hb-1。
搜索左最小值范围的柱状图的最小值得到其对应的H值hl。
如果在hl至int((ha+hb)/2)的范围内有多个最小值，选择更大的H值对应的最小值：从hl+1到int((ha+hb)/2)搜索hi，如果 那么hl＝hi，/>
搜索hb至int((hb+hc)/2)范围的柱状图峰值得到对应的H值hp。
搜索右最小值范围的柱状图的最小值并得到对应的H值hr。
以hi/hp为x轴、为Y轴做直线拟合，得到直线的斜率gl，l；其中，hp≥hi≥hl。
以hj/hr为x轴、为Y轴做直线拟合，得到直线的斜率gr，l；其中，hr≥hj≥hp。
如果gl，l≥T1且gr，l≤T2，那么h0H＝hl，否则h0H保持不变。
计算从而得到所述柱状图R的归一化的柱状图R′。
计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin。
初始化集合Umax和Umin为空。
如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]。
如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
对Umax和Umin进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的Umax和Umin，hi从ha+1至hb-2取值，如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
得到本轮更新后的Umax和Umin。
直至hi超出hb-1＞hi＞ha的范围迭代结束。
从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：
如果Umin(i)＜Umax(j)＜Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T3，那么h0H＝min(h0H，Umin(i))。
在一些实施例中，所述通过估计所述柱状图R在第二H值附近是否存在峰值突起，确定所述H分量的自适应门限h1L，包括：
获取第四种、第五种和第六种颜色的起始取值hd、he和hf，其中(hd＞he＞hf)。
初始化h1L＝he+1。
搜索右最小值范围的柱状图的最小值得到其对应的H值hr。
如果在hr至int((hd+he)/2的范围内有多个最小值，选择更小的H值对应的最小值：从hr-1至int((hd+he)/2)搜索hi，如果 那么hr＝hi，/>
搜索he至int((he+hf)/2)范围的柱状图峰值得到对应的H值hp。
搜索左最小值范围的柱状图的最小值并得到对应的H值hl。
以hi/hr为x轴、为Y轴做直线拟合，得到直线的斜率gr，r；其中，hr≥hi≥hp。
以hj/hp为x轴、为Y轴做直线拟合，得到直线的斜率gl，r；其中，hp≥hj≥hl。
如果gl，r≥T5且gr，r≤T6，那么h1L＝hr，否则h1L保持不变。
计算从而得到H分量归一化的柱状图。
计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin。
初始化集合Umax和Umin为空。
如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]。
如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
对Umax和Umin进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的Umax和Umin，hi从hd-2至he+1取值，如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
得到本轮更新后的Umax和Umin。
直至hi超出hd-1＞hi＞he的范围迭代结束。
从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：
如果Umin(i)＜Umax(j)＜Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T7，那么h1L＝min(h1L，Umin(i))。
在一些实施例中，所述基于所述H分量的自适应门限h0H和h1L，采用保持所述HSV颜色空间中S分量和V分量的和不变的方式，确定所述S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜，包括：
初始化掩膜ROI为空。
令si＝smin。
根据B＝si+vi和vi≥vmin计算得到vi，其中B为预设参数。
根据sL＝si，sH＝255，vL＝vi和vH＝255以及上述确定的所述H分量的自适应门限h0H和H分量的自适应门限h1L，得到掩膜ROIi。
合并所述掩膜ROI和ROIi。
si+1＝si+sstep。
对si和vi进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的si和vi，根据B＝si+vi和vi≥vmin计算得到vi。
根据sL＝si，sH＝255，vL＝vi和vH＝255以及上述确定的H分量的自适应门限h0H和H分量的自适应门限h1L，得到掩膜ROIi。
合并所述掩膜ROI和ROIi。
si+1＝si+sstep。
得到本轮更新后的si和vi。
直到si+1＞255或者vi+1＜vmin为止迭代结束。
得到S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜。
在一些实施例中，所述存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测，包括：
基于所述原始彩色图片得到全部轮廓。
存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩码对应的识别区域进行边缘检测。
索贝尔算子Sobel使用卷积核K对所述识别区域的像素群p进行卷积后输出为N可以用下面公式表示：
卷积核K可以分为两个，一个是水平面即x轴方向的卷积核(Kx)，一个是垂直面即y轴方向的卷积核(Ky)，它们的值分别为：
在水平和垂直分别卷积后，水平的卷积结果为Nx(x，y)，垂直的卷积结果为Ny(x，y)，那么最后索贝尔算子Sobel的输出为：
在一些实施例中，所述对所述边缘检测后的结果进行膨胀，并通过预设的灰度门限消除其中的模糊区域，得到第三掩膜，包括：
对所述边缘检测后的结果进行开运算的形态学操作腐蚀，以及迭代次数为5的膨胀。
通过预设的灰度门限消除模糊区域得到第三掩膜。
根据第二方面，本申请实施例还提供一种花椒采摘设备，该设备包括：
具有伸缩定位特性的三脚架，所述三脚架可折叠收缩为长杆状；六自由度机械臂，设置于所述三角架之上，由伺服关节电机连接空心不锈钢管构成；采用所述门限自适应的花椒果实识别方法识别花椒果实的双目图像识别定位部件，由双目相机和带图形处理器GPU以及Arm处理器的Arm开发版构成，设置于所述六自由度机械臂末端，通过串口和所述六自由度机械臂的控制芯片建立连接；花椒采摘头，设置于所述六自由度机械臂末端，在运动控制单元控制所述六自由度机械臂运行到花椒果实位置，并使用所述花椒采摘头摘下花椒；运算控制单元，通过串口和所述六自由度机械臂建立连接。
所述花椒采摘设备中的双目图像识别定位部件通过执行所述门限自适应的花椒果实别方法进行定位待采摘的花椒。
在本说明书实施例提供的上述方法和设备中，针对现有技术采用固定门限的方法，根据花椒和其它东西的颜色特征和光线情况，在HSV颜色空间下采用自适应门限的方法，分别对H、S和V分类采用自适应门限获取花椒果实的颜色空间，从而准确识别出花椒果实，有效克服了背景光线的影响，以及花椒树的土地、花椒树地上的石块、公路边花椒树的公路等对花椒果实识别的干扰，大大提升了识别的准确性，把地或者地上的石块等识别为花椒的误报概率降低到0。
本申请实施例采用的自适应门限的方法，保持h0L固定取值为0、h1H固定取值180、sH固定取值255、vH固定取值255的基础上，考虑红色的邻近颜色橙色和紫色的影响，以及考虑颜色、光照等条件，根据每幅图像的条件计算得到h0H、h1L、sL和vL的取值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本申请实施例提供的一种门限自适应的花椒果实识别方法的流程示意图；
图2示出本申请实施例提供的原始彩色图片转换到HSV颜色空间后H分量的柱状图；
图3示出本申请实施例提供的未波动消除的H值门限；
图4示出本申请实施例提供的未波动消除存在虚检的识别结果；
图5示出本申请实施例提供的使用波动消除的H值门限；
图6示出本申请实施例提供的使用波动消除有效去除虚检的识别结果；
图7示出本申请实施例提供的未边缘检测图片；
图8示出本申请实施例提供的使用索贝尔算子sobel的检测结果；
图9示出本申请实施例提供的膨胀并去除低灰度部分的图片；
图10示出本申请实施例提供的去除模糊区域的检测结果；
图11示出本申请实施例提供的晴天时花椒果实的识别结果；
图12示出本申请实施例提供的阴天时花椒果实的识别结果；
图13示出本申请实施例提供的有泥土无花椒果实的识别结果；
图14示出本申请实施例提供的有泥土的花椒果实的识别结果；
图15示出本申请实施例提供的石块旁无花椒果实的识别结果；
图16示出本申请实施例提供的有石块的花椒果实的识别结果；
图17示出本申请实施例提供的公路旁无花椒果实的识别结果；
图18示出本申请实施例提供的有公路的花椒果实的识别结果；
图19示出本申请实施例提供的检测区域与真实区域的比例示意图；
图20示出本申请实施例提供的理想区域中心坐标与识别区域中心坐标的比值示意图；
图21示出本申请实施例提供的召回率统计图；
图22示出本申请实施例提供的精确度统计图；
图23示出本申请实施例提供的虚警概率统计图；
图24示出本申请实施例提供的Roa统计图；
图25示出本申请实施例提供的xce统计图；
图26示出本申请实施例提供的yce统计图；
图27示出本申请实施例提供的一般化花椒采摘设备构成框图；
图28示出本申请实施例提供的一种花椒采摘设备的构成框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。
在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在OpenCV中，H值的常用取值范围为0～180和0～360，S值和V值的取值范围为0～255。在理论分析或数学计算中，H值、S值和V值的常用取值范围都为0～1。
在本发明中提供的实施例中，以H值的取值范围为0～180进行说明。可以理解，在H值采用另外两种取值范围，S值和V值根据H值取值范围采用相应的取值范围时，也属于本发明的范畴。
图1示出本申请实施例提供的一种门限自适应的花椒果实识别方法的流程示意图，如图1所示，本方法包括以下步骤：
1)从双目相机读取拍摄的花椒果实的原始彩色图片。
在一些实施例中，双目相机属于双目图像识别定位部件的一个组成部分，双目识别定位部件位于本申请实施例提供的一种花椒采摘设备上。
2)在原始彩色图片转换到HSV颜色空间后，确定HSV颜色空间中H分量的柱状图R，柱状图R包括H分量的取值和对应的像素个数。
在一些实施例中，图2示出本申请实施例提供的原始彩色图片转换到HSV颜色空间后H分量的柱状图。先使用opencv开源库函数cvtColor把图片转换到HSV颜色空间，再使用opencv开源库函数calcHist计算H的柱状图R。如图2所示，按照H分量的值0至180的顺序排列，其中hmin为0，hmax为180，图中显示每个H分量的取值和对应的像素个数。
3)通过估计所述柱状图在第一H值附近是否存在峰值突起，需理解，文中hue值也可以换称为H值或者H分量的值。确定所述H分量的自适应门限h0H。第一H值在本申请实施例中为采用取值范围0～180时所确定的，即第一H值为11。
在一些实施例中，第一H值采用取值范围0～360所确定时，第一H值为22。
3.1)计算h0H的原理在于估计H分量的值等于11时附近是否存在峰值突起，即是否H值在11附近存在如图2的分布，因此，估计这个分布，通过查找左最小值和峰值间的直线拟合(图2中左边红色虚线)斜率是否超过一定门限，并且右边最小值和峰值间的直线拟合(图2中右边红色虚线)斜率是否低于一定门限，如果存在，则h0H选取左最小值，否则h0H选取10。基于这个思想，通过以下步骤计算h0H的值。
3.1.1)假定ha，hb和hc(hc＞hb＞ha)分别为第一种、第二种和第三种颜色的起始取值，示例性的，ha＝0为红色(取值范围为0～10)的起始取值，hb＝11为橙色(取值范围11～25)的起始取值，hc＝26为黄色(取值范围26～34)的起始取值。
3.1.2)初始化h0H＝hb-1。
3.1.3)搜索左最小值(ha至int((ha+hb)/2)范围的柱状图的最小值)得到其对应的H值hl。
3.1.4)如果(hl至int((ha+hb)/2)范围内有多个最小值，其中差值小于T0都算最小值，选择更大的hue值对应的最小值：从hl+1到int((ha+hb)/2)搜索hi，如果那么：
hl＝hi，
3.1.5)搜索hb至int((hb+hc)/2)范围的柱状图峰值得到对应的H值hp。
3.1.6)搜索右最小值(hb至int((hb+hc)/2)范围的柱状图的最小值)并得到对应的H值hr。
3.1.7)以hi/hp(hp≥hi≥hl)为x轴、为Y轴做直线拟合(采用python开源科学计算库numpy的polyfit函数)，得到直线的斜率gl，l。
3.1.8)类似地，以hi/hr(hr≥hi≥hp)为x轴、为Y轴做直线拟合，得到直线的斜率gr，l。
3.1.9)如果gl，l≥T1且gr，l≤T2，那么h0H＝hl，否则h0H保持不变。
3.1.10)从H值等于0到h0H通常是一个逐渐减小的过程，但是由于波动，存在一些极小值和极大值，为了消除波动性的影响，思想在于搜索一个极小值，它的下一个极大值比该极小值还大于一定门限，那么该极小值就应该成为h0H。通过下述步骤消除最小值附近的波动影响。
3.1.10.1)计算从而得到H分量归一化的柱状图。
3.1.10.2)计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin。
3.1.10.3)初始化集合Umax和Umin为空。
3.1.10.4)如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]。
3.1.10.5)如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
3.1.10.6)hi从ha+1至hb-2取值重复3.1.10.4至3.1.10.5直至hi超出hb-1＞hi＞ha的范围。
3.1.10.7)从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：
如果Umin(i)＜Umax(j)＜Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T3，那么h0H＝min(h0H，Umin(i))。
4)通过估计柱状图在第二H值附近是否存在峰值突起，确定H分量的自适应门限h1L。第二H值在本申请实施例中为采用取值范围0～180时所确定的，即第二H值为155。
在一些实施例中，第二H值还可以采用取值范围0～360确定。
在一个实施例中，步骤4)具体包括：
4.1)假定hd，he和hf(hd＞he＞hf)为第一种、第二种和第三种颜色的截止取值，hd＝180为红色(取值范围为156～180)的截止取值，he＝155为紫色(取值范围125～155)的截止取值，hf＝124为蓝色(取值范围100～124)的截止取值。
4.2)初始化h1L＝he+1。
4.3)搜索右最小值(hd至int((hd+he)/2)范围的柱状图的最小值)得到对应的H值hr。
4.4)如果(hr至int((hd+he)/2)范围内有多个最小值(差值小于T4都算最小值)，选择更小的H值对应的最小值：从hr-1至int((hd+he)/2)搜索hi，如果那么hr＝hi，/>
4.5)搜索he至int((he+hf)/2)范围的柱状图峰值并得到对应的H值hp。
4.6)搜索左最小值(hf至int((he+hf)/2)范围的柱状图的最小值)得到对应的H值hl。
4.7)以hi/hr(hr≥hi≥hp)为x轴、为Y轴做直线拟合(采用python开源科学计算库numpy的polyfit函数)，得到直线的斜率gr，r。
4.8)以hi/hp(hp≥hi≥hl)为x轴、为Y轴做直线拟合，得到直线的斜率gl，r。
4.9)如果gl，r≥T5和gr，r≤T6，那么h1L＝hr。
4.10)从H值等于180到h1L通常是一个逐渐减小的过程，但是由于波动，存在一些极小值和极大值，为了消除波动性的影响，思想在于搜索一个极小值，它的下一个极大值比该极小值还大于一定门限，那么该极小值就应该成为h1L。图3示出本申请实施例提供的未波动消除的H值门限，图4示出本申请实施例提供的未波动消除存在虚检的识别结果。
通过下述步骤消除最小值附近的波动影响：
4.10.1)计算从而得到H分量归一化的柱状图。
4.10.2)计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin。
4.10.3)初始化集合Umax和Umin为空。
4.10.4)如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]。
4.10.5)如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]。
4.10.6)hi从hd-2至he+1取值重复4.10.4)至4.10.5)直至hi超出hd-1＞hi＞he的范围。
4.10.7)从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：如果Umin(i)＜Umax(j)＜Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T7，那么h1L＝min(h1L，Umin(i))。
图5示出本申请实施例提供的使用波动消除的H值门限，图6示出本申请实施例提供的使用波动消除有效去除虚检的识别结果。
5)基于H分量的自适应门限h0H和H分量的自适应门限h1L，采用保持HSV颜色空间中S分量和V分量的和不变的方式，确定S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜。
在一个实施例中，本步骤的子步骤具体包括：
5.1)初始化集合ROI为空。
5.2)令si＝smin。
5.3)根据B＝si+vi和vi≥vmin计算得到vi，其中B为预设的参数。
5.4)根据sL＝si，sH＝255，vL＝vi和vH＝255以及步骤3)和步骤4)得到的H分量的值，使用opencv的函数inRange得到掩膜ROIi。
5.5)把掩膜进行合并，即ROI＝ROI∪ROIi。
5.6)si+1＝si+sstep。
5.7)重复5.3)至5.6)直至si+1＞255或者vi+1＜vmin为止。
6)对第一掩膜进行膨胀和腐蚀得到第二掩膜，第二掩膜即图1中初始的掩膜。
在一些实施例中，对步骤5)中得到的第一掩膜采用opencv的函数dilate和opencv的函数erode进行膨胀和腐蚀得到第二掩膜。
7)基于原始彩色图片得到全部轮廓。
在一些实施例中，采用opencv的函数findContours得到所有轮廓。
以下按照步骤8)、9)步骤消除模糊区域(通常是拍照远处的花椒得到的)：
8)存在轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测。
在一个实施例中，步骤8)具体包括：
8.1)对所有的轮廓按照面积(通过opencv的函数contourArea得到)进行排序。
8.2)如果轮廓数量大于等于2个，并且最大轮廓面积大于等于100，采用索贝尔Sobel算法对根据步骤6)得到的第二掩膜取出的识别区域(即采用opencv的函数bitwise_and对掩膜和原始彩色图像操作后的结果)进行边缘检测。
在一些实施例中，索贝尔Sobel使用卷积核K对图片像素群p进行卷积后输出为N可以用下面公式表示：
其中，K表示卷积核，p表示图片像素群。
通常，卷积核K可以分为两个，一个是水平面即x轴方向的卷积核(Kx)，一个是垂直面即y轴方向的卷积核(Ky)，它们的值分别为：
在水平和垂直分别卷积后，水平的卷积结果为Nx(x，y)，垂直的卷积结果为Ny(x，y)，那么最后索贝尔算子Sobel的输出为：
图7示出本申请实施例提供的未边缘检测图片，图8示出本申请实施例提供的使用索贝尔算子sobel的检测结果。
9)对边缘检测后的结果进行腐蚀和膨胀，并通过预设的灰度门限消除其中的模糊区域，得到第三掩膜，所述第三掩膜即图1中最后的掩膜；
9.1)对边缘检测后的结果开运算的形态学操作(即采用opencv的函数morphologyEx并采用MORPH_OPEN参数值)。
9.2)进行迭代次数为5的膨胀。
9.3)对灰度低于16的区域去除，即采用opencv的函数threshold，灰度值最小为16、最大为255，参数值THRESH_BINARY。
9.4)把步骤6)得到的掩膜与步骤9.3)得到的掩膜进行交集运算，即采用opencv的函数bitwise_and。
9.5)对步骤9.4)得到的掩膜重新计算轮廓，即用opencv的函数findContours再操作一次。
图9示出本申请实施例提供的膨胀并去除低灰度部分的图片，图10示出本申请实施例提供的去除模糊区域的检测结果。
10)选取面积最大的轮廓画外围的矩形框作为最终的识别区域输出结果。
11)判断是否还有下一幅彩色图片，如果存在，则读取该图片。
如果不存在下一幅原始彩色图片，则结束识别过程。
以上是对门限自适应的花椒果实识别方法的说明。示例性的，h0L固定取0，h1H固定取180，T0～T7为参数，T0为0.08，T1为0.45，T2为-0.45，T3为0.15，T4为0.05，T5为0.45，T6为-0.45，T7为0.15；B，smin，vmin和sstep也是参数，B＝230，smin＝110，vmin＝40和sstep＝10。
通过采用图1示出的方法，对晴天、阴天、泥土、有泥土的花椒、石块、有石块的花椒、公路和有公路的花椒等不同的场景都能正确识别。图11示出本申请实施例提供的晴天时花椒果实的识别结果，图12示出本申请实施例提供的阴天时花椒果实的识别结果，图13示出本申请实施例提供的有泥土无花椒果实的识别结果，图14示出本申请实施例提供的有泥土的花椒果实的识别结果，图15示出本申请实施例提供的石块旁无花椒果实的识别结果，图16示出本申请实施例提供的有石块的花椒果实的识别结果，图17示出本申请实施例提供的公路旁无花椒果实的识别结果，图18示出本申请实施例提供的有公路的花椒果实的识别结果。其中蓝色框表示识别的结果，没有花椒的图片没有蓝色框表示正确检测到无花椒。
为了进一步说明本发明的有益效果，先定义下性能指标，TP为有花椒正确识别出花椒，TN为无花椒正确识别出无花椒，FP为有花椒识别出无花椒，FN表示无花椒识别出有花椒，那么召回率为：
精确度为：
虚检概率为：
图19示出本申请实施例提供的检测区域与真实区域的比例示意图。如图19所示，检测区域与真实区域的重叠区域比例为：
其中Ao重叠区域，Aideal为理想区域。
图20示出本申请实施例提供的理想区域中心坐标与识别区域中心坐标的比值示意图，如图20所示，定位坐标误差为理想区域中心坐标与识别区域中心坐标的比值：
其中，xideal和xreal分别是理想和实际的x轴的中心坐标，yideal和yreal分别是理想和实际的y轴的中心坐标，wideal和hideal分别是理想区域的宽度和高度。
对1800多张图片的测试结果，图21示出本申请实施例提供的召回率统计图，图22示出本申请实施例提供的精确度统计图，图23示出本申请实施例提供的虚警概率统计图，图24示出本申请实施例提供的Roa统计图，图25示出本申请实施例提供的xce统计图，图26示出本申请实施例提供的yce统计图。如图所示，230～270表示B的取值，fixed表示固定门限，h0L固定取值为0，h0H取值10，h1L取值156，h1H固定取值180，sL取值43，sH取值255，vL取值46，vH取值255。
本发明有效克服了背景光线的影响，以及花椒树的土地、花椒树地上的石块、公路边花椒树的公路等对花椒果实识别的干扰，大大提升了识别的准确性，在测试的1800多张花椒图片中，正确识别率100％，把地或者地上的石块等识别为花椒的误报概率降低到0，定位偏差相对于花椒果实簇的宽度和高度比值在8％左右。
本申请实施例提供的一种门限自适应的花椒果实识别方法，通过检测邻近颜色区间是否存在峰值，以确定红色区间的自适应确定门限的方法；通过保持S和V分量的和不变，分别设置S和V最小值，并把所有掩码进行合并，以确定S和V自适应门限；通过Sobel检测后设置灰度门限消除模糊区间。
下面介绍本申请实施例提供的一种花椒采摘设备。机器自动化采摘设备通常由花椒采摘器件、相机、图像单元、采摘控制单元、底座等组成。图27示出本申请实施例提供的一般化花椒采摘设备构成框图。
本申请实施例提供的花椒采摘设备，由三脚架底座支撑、六自由度机械臂、花椒采摘头、双目图像识别定位部件、等部分构成主体，运算控制单元负责控制上述所有部件。图28示出本申请实施例提供的一种花椒采摘设备的构成框图，如图28所示，该设备包括：
具有伸缩定位特性的三脚架，所述三脚架可折叠收缩为长杆状。
六自由度机械臂，设置于所述三角架之上，由伺服关节电机连接空心不锈钢管构成。
采用上述门限自适应的花椒果实识别方法识别花椒果实的双目图像识别定位部件，由双目相机和带图形处理器GPU以及Arm处理器的Arm开发版构成，设置于所述六自由度机械臂末端，通过串口和所述六自由度机械臂的控制芯片建立连接。
花椒采摘头，设置于所述六自由度机械臂末端，在运动控制单元控制所述六自由度机械臂运行到花椒果实位置，并使用所述花椒采摘头摘下花椒。
运算控制单元，通过串口和所述六自由度机械臂建立连接。
整体装置工作时处于直立状态，通过三脚架架设在花椒树旁。为适应不同地势，研究具备伸缩定位特性的三脚架。该部件可折叠收缩成长杆状，以便搬运。
三脚架之上为机械臂，该部件经伸展，端部可到达球面半径1m范围内任意点。该部件折叠后为1.2m长杆状外形，以便搬运。上述两个部件为整机的机械主体部分。为达到轻量化目的，设计上述部件主要使用铝合金以及非金属复合材料，并且大量采用镂空方案。
机械臂末端安装花椒采摘头、双目摄像头。双目摄像头利用本发明的方法识别花椒果实，并定位其坐标的方法，操控运动控制单元根据花椒坐标控制机械臂运行到花椒果实位置，并使用采摘头摘下花椒。花椒采摘头，达到不损伤果实、叶、芽的前提下，采摘下花椒果实。
机械臂由伺服关节电机(硬件：115：1减速机行星减速电机，500线编码器)连接空心不锈钢管构成。伺服电机由分布式伺服控制器(STM32F103处理器，BTN7971B驱动芯片)控制，所有伺服控制器之间由485总线串联接收运动指令。
双目图像识别定位部件和运算控制单元跟机械臂的控制芯片(STM32F103)通过串口相连，发送花椒果实的坐标信息给机械臂的控制芯片，从而控制机械臂进行采摘。
双目图像识别定位部件由双目相机和带GPU(Graphics Processing Unit)的Arm开发板构成。双目相机和arm开发板通过USB(Universal Serial Bus)连接。Arm开发板与机械臂的控制芯片通过串口连接。
本申请实施例中采用的双目相机为Intel RealSense D435，arm开发板为TW-T506，集成了GPU和arm处理器，并支持USB口和串口。
本申请实施例提供的花椒采摘设备的处理过程为：
1)开机准备开始采摘花椒；
2)运行在arm处理器的控制程序控制Intel RealSense D435同时拍摄彩色图片和深度图片；
3)运行在arm处理器的控制程序把Intel RealSense D435拍摄的图片传输到arm处理器中；
4)运行在arm处理器的控制程序调用GPU应用本发明的方法对彩色图片进行花椒识别；
5)运行在arm处理器的控制程序根据本申请实施例提供的门限自适应的花椒果实识别方法得到的花椒果实识别结果和深度图片调用Intel RealSense D435提供的函数把花椒识别结果的图像坐标计算出花椒的真实位置和距离，即真实的三维坐标；
6)运行在arm处理器的控制程序把三维坐标通过串口发给机械臂的控制芯片(STM32F103)；
7)机械臂的控制芯片(STM32F103)控制机械臂运行到花椒果实位置，并使用采摘头摘下花椒；
8)机械臂的控制芯片(STM32F103)通过串口传输回采摘完成的信号；
9)运行在arm处理器的控制程序接收到采摘完成的信号后，控制Intel RealSenseD435同时拍摄下一副彩色和深度图片；
10)重复3)～9)步，直至无法识别到花椒表示当前姿势下采摘完成，可以调整三脚架换个位置采摘。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (7)
1.一种门限自适应的花椒果实识别方法，其特征在于，所述方法包括：
从双目相机读取拍摄的花椒果实的原始彩色图片；
在所述原始彩色图片转换到HSV颜色空间后，确定所述HSV颜色空间中H分量的柱状图R，所述柱状图R包括所述H分量的取值和对应的像素个数；
通过估计所述柱状图在第一H值附近是否存在峰值突起，确定所述H分量的自适应门限h0H；
通过估计所述柱状图在第二H值附近是否存在峰值突起，确定所述H分量的自适应门限h1L；所述第二H值大于第一H值；
基于所述H分量的自适应门限h0H和h1L，采用保持所述HSV颜色空间中S分量和V分量的和不变的方式，确定所述S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜；
对所述第一掩膜进行膨胀和腐蚀得到第二掩膜；
基于所述原始彩色图片得到全部轮廓；
存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测；
对所述边缘检测后的结果进行腐蚀和膨胀，并通过预设的灰度门限消除其中的模糊区域，得到第三掩膜；
基于所述第二掩膜和第三掩膜的交集，选取面积最大轮廓画外围的矩形框作为所述原始彩色图片中花椒果实的最终识别区域。
2.根据权利要求1所述的方法，其特征在于，所述通过估计所述柱状图R在第一H值附近是否存在峰值突起，确定所述H分量的自适应门限h0H，包括：
获取第一种、第二种和第三种颜色的起始取值ha、hb和hc，其中hc＞hb＞ha；
初始化h0H＝hb-1；
搜索左最小值范围的柱状图的最小值得到其对应的H值hl；
如果在hl至int((ha+hb)/2)的范围内有多个最小值，选择更大的H值对应的最小值：从hi+1到int((ha+hb)/2)搜索hi，如果 那么hl＝hi，/>
搜索hb至int((hb+hc)/2)范围的柱状图峰值得到对应的H值hp；
搜索右最小值范围的柱状图的最小值并得到对应的H值hr；
以hi/hp为x轴、为Y轴做直线拟合，得到直线的斜率gl，l；其中，hp≥hi≥hl；
以hj/hr为x轴、为Y轴做直线拟合，得到直线的斜率gr，l；其中，hr≥hj≥hp；
如果gl，l≥T1且gr，l≤T2，那么h0H＝hl，否则h0H保持不变；
计算从而得到所述柱状图R的归一化的柱状图R′：
计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin；
初始化集合Umax和Umin为空；
如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；
如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]；
对Umax和Umin进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的Umax和Umin，hi从ha+1至hb-2取值，如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]；得到本轮更新后的Umax和Umin；
直至hi超出hb-1＞hi＞ha的范围迭代结束；
从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：
如果Umin(i)<Umax(j)<Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T3，那么h0H＝min(h0H，Umin(i))；所述hmin表示所述H分量的最小值，hmax表示所述H分量的最大值，T0为0.08，T1为0.45，T2为-0.45，T3为0.15。
3.根据权利要求1所述的方法，其特征在于，所述通过估计所述柱状图R在第二H值附近是否存在峰值突起，确定所述H分量的自适应门限h1L，包括：
获取第四种、第五种和第六种颜色的起始取值hd、he和hf，其中(hd＞he＞hf)；
初始化h1L＝he+1；
搜索右最小值范围的柱状图的最小值得到其对应的H值hr；
如果在hr至int((hd+he)/2的范围内有多个最小值，选择更小的H值对应的最小值：从hr-1至int((hd+he)/2)搜索hi，如果 那么hr＝hi，/>
搜索he至int((he+hf)/2)范围的柱状图峰值得到对应的H值hp；
搜索左最小值范围的柱状图的最小值并得到对应的H值hl；
以hi/hr为x轴、为Y轴做直线拟合，得到直线的斜率gr，r；其中，hr≥hi≥hp；
以hj/hp为x轴、为Y轴做直线拟合，得到直线的斜率gl，r；其中，hp≥hj≥hl；
如果gl，r≥T5且gr，r≤T6，那么h1L＝hr，否则h1L保持不变；
计算从而得到H分量归一化的柱状图；
计算差分值：D(hi)＝R′(hi+1)-R′(hi)，hmax＞hi≥hmin；
初始化集合Umax和Umin为空；
如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；
如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]；
对Umax和Umin进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的Umax和Umin，hi从hd-2至he+1取值，如果D(hi)≥0且D(hi-1)≤0，那么Umin＝Umin∪[hi]；如果D(hi)≤0且D(hi-1)≥0，那么Umax＝Umax∪[hi]；
得到本轮更新后的Umax和Umin；
直至hi超出hd-1＞hi＞he的范围迭代结束；
从0至Umax和Umin的最大序号搜索第一个满足以下条件的结果：
如果Umin(i)<Umax(j)<Umin(i+1)且R′(Umax(j))-R′(Umin(i))＞T7，那么h1L＝min(h1L，Umin(i))；其中所述hmin表示所述H分量的最小值，hmax表示所述H分量的最大值，T4为0.05，T5为0.45，T6为-0.45，T7为0.15。
4.根据权利要求1所述的方法，其特征在于，所述基于所述H分量的自适应门限h0H和h1L，采用保持所述HSV颜色空间中S分量和V分量的和不变的方式，确定所述S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜，包括：
初始化掩膜ROI为空；
令si＝smin；
根据B＝si+vi和vi≥vmin计算得到vi；
根据sL＝si，sH＝255，vL＝vi和vH＝255以及所述H分量的自适应门限h0H和所述H分量的自适应门限h1L，得到掩膜ROIi；
合并所述掩膜ROI和ROIi；
si+1＝si+sstep；
对si和vi进行多轮次迭代，其中任一轮次的迭代包括：
针对当前的si和vi，根据B＝si+vi和vi≥vmin计算得到vi；
根据sL＝si，sH＝255，vL＝vi和vH＝255以及权利要求2得到的H分量的自适应门限h0H和权利要求3得到的H分量的自适应门限h1L，得到掩膜ROIi；
合并所述掩膜ROI和ROIi；
si+1＝Si+sstep；
得到本轮更新后的si和vi；
直到si+1＞255或者vi+1<vmin为止迭代结束；
得到S分量的自适应门限sL和V分量的自适应门限vL，以及第一掩膜。
5.根据权利要求1所述的方法，其特征在于，所述存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测，包括：
基于所述原始彩色图片得到全部轮廓；
存在所述轮廓数量大于等于2个且最大轮廓面积大于等于100，则利用索贝尔算子Sobel，对所述原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测；
索贝尔算子Sobel使用卷积核K对所述识别区域的像素群p进行卷积后输出为N用下面公式表示：
其中，K表示卷积核，p表示图片像素群，卷积核K分为两个，一个是水平面即x轴方向的卷积核(Kx)，一个是垂直面即y轴方向的卷积核(Ky)，它们的值分别为：
在水平和垂直分别卷积后，水平的卷积结果为Nx(x，y)，垂直的卷积结果为Ny(x，y)，那么最后索贝尔算子Sobel的输出为：
6.根据权利要求5所述的方法，其特征在于，所述对所述边缘检测后的结果进行腐蚀和膨胀，并通过预设的灰度门限消除其中的模糊区域，得到第三掩膜，包括：
基于对所述原始彩色图片中与所述第二掩膜对应的识别区域进行边缘检测后的结果，进行腐蚀和迭代次数为5的膨胀；
通过预设的灰度门限消除模糊区域得到第三掩膜。
7.一种花椒采摘设备，采用如权利要求1所述的花椒果实识别方法，其特征在于，所述设备包括：
具有伸缩定位特性的三脚架，所述具有伸缩定位特性的三脚架可折叠收缩为长杆状；
六自由度机械臂，设置于所述三脚架之上，由伺服关节电机连接空心不锈钢管构成；
用于花椒果实识别的双目图像识别定位部件，由双目相机和带图形处理器GPU以及Arm处理器的Arm开发版构成，设置于所述六自由度机械臂末端，通过串口和所述六自由度机械臂的控制芯片建立连接；
花椒采摘头，设置于所述六自由度机械臂末端，在运动控制单元控制所述六自由度机械臂运行到花椒果实位置，并使用所述花椒采摘头摘下花椒；
运算控制单元，通过串口和所述六自由度机械臂建立连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310063311.1A CN116030368B (zh) | 2023-01-17 | 2023-01-17 | 门限自适应的花椒果实识别方法和花椒采摘设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310063311.1A CN116030368B (zh) | 2023-01-17 | 2023-01-17 | 门限自适应的花椒果实识别方法和花椒采摘设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030368A CN116030368A (zh) | 2023-04-28 |
| CN116030368B true CN116030368B (zh) | 2024-01-26 |
Family
ID=86075724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310063311.1A Active CN116030368B (zh) | 2023-01-17 | 2023-01-17 | 门限自适应的花椒果实识别方法和花椒采摘设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030368B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104285588A (zh) * | 2014-09-25 | 2015-01-21 | 甘肃农业大学 | 一种基于机器视觉的花椒采摘机器人 |
| CN105574514A (zh) * | 2015-12-31 | 2016-05-11 | 上海交通大学 | 温室生西红柿自动识别方法 |
| CN107490967A (zh) * | 2017-09-18 | 2017-12-19 | 河南科技学院 | 适应光照度突变的采摘机器人目标自主识别系统及其方法 |
| CN111758395A (zh) * | 2020-07-21 | 2020-10-13 | 四川省机械研究设计院 | 一种花椒采摘装置及其所构成的花椒视觉采摘机器人 |
-
2023
- 2023-01-17 CN CN202310063311.1A patent/CN116030368B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104285588A (zh) * | 2014-09-25 | 2015-01-21 | 甘肃农业大学 | 一种基于机器视觉的花椒采摘机器人 |
| CN105574514A (zh) * | 2015-12-31 | 2016-05-11 | 上海交通大学 | 温室生西红柿自动识别方法 |
| CN107490967A (zh) * | 2017-09-18 | 2017-12-19 | 河南科技学院 | 适应光照度突变的采摘机器人目标自主识别系统及其方法 |
| CN111758395A (zh) * | 2020-07-21 | 2020-10-13 | 四川省机械研究设计院 | 一种花椒采摘装置及其所构成的花椒视觉采摘机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 基于HSV与形状特征融合的花椒图像识别;汪杰等;《中国农机化学报》;第42卷(第10期);第180-185页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030368A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| US11631192B2 (en) | Robot climbing control method and device and storage medium and robot | |
| Jung et al. | A robust linear-parabolic model for lane following | |
| CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN109001757B (zh) | 一种基于2d激光雷达的车位智能检测方法 | |
| CN110021029B (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| CN107895375B (zh) | 基于视觉多特征的复杂道路线提取方法 | |
| CN108171715B (zh) | 一种图像分割方法及装置 | |
| CN109341692B (zh) | 一种沿线导航方法及机器人 | |
| CN112861654B (zh) | 一种基于机器视觉的名优茶采摘点位置信息获取方法 | |
| CN111964680B (zh) | 一种巡检机器人的实时定位方法 | |
| CN113450402B (zh) | 用于蔬菜大棚巡检机器人的导航中心线提取方法 | |
| CN112734816A (zh) | 基于CSS-Delaunay的异源图像配准方法 | |
| JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
| CN112862862B (zh) | 基于人工智能视觉跟踪的飞机自主受油装置及应用方法 | |
| CN113781523A (zh) | 一种足球检测跟踪方法及装置、电子设备、存储介质 | |
| CN116030368B (zh) | 门限自适应的花椒果实识别方法和花椒采摘设备 | |
| CN113689365A (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| CN112767425A (zh) | 一种基于视觉的车位检测方法及装置 | |
| CN116863463A (zh) | 一种鸡蛋流水线快速识别计数方法 | |
| CN111667429A (zh) | 一种巡检机器人目标定位校正方法 | |
| Rui | Lane line detection technology based on machine vision | |
| CN114549978A (zh) | 一种基于多摄像头的移动机器人运行方法及系统 | |
| CN113223034A (zh) | 一种道路边沿检测跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |