CN109190493A

CN109190493A - 图像识别方法、装置及机器人视觉系统

Info

Publication number: CN109190493A
Application number: CN201810899652.1A
Authority: CN
Inventors: 刘立群; 火久元
Original assignee: Gansu Agricultural University
Current assignee: Gansu Agricultural University
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2019-01-11

Abstract

本发明提供了一种图像识别方法、装置及图像视觉系统，属于图像处理技术领域。本发明实施例提供的图像识别方法、装置及图像视觉系统通过获取图像采集装置拍摄的包含目标对象的待识别图像，并对待识别图像进行预处理，得到灰度图像，然后对灰度图像进行多阈值搜索，获得最优和声阈值解集，最后对最优和声阈值解集进行分割，得到目标对象所对应的图像，可以准确快速地定位到苹果具体位置，避免因苹果粘连造成定位不准确的现象，从而提高苹果采摘效率。

Description

图像识别方法、装置及机器人视觉系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像识别方法、装置及机器人视觉系统。

背景技术

自然场景下拍摄的苹果图像背景复杂，干扰因素多，苹果存在粘连，目标苹果在生长过程中可能会被树叶部分遮挡和存在光照不均等现象，精准探测苹果实现采摘存在困难。用传统的图像分割方法采摘苹果时，往往存在图像分割不准确的现象，导致苹果采摘机器人无法准确定位到苹果位置进行采摘，降低了苹果采摘的效率。

发明内容

针对上述现有技术中存在的问题，本发明提供了一种图像识别方法、装置及机器人视觉系统，可以准确快速地定位到苹果具体位置，提高苹果采摘效率。

第一方面，本发明实施例提供了一种图像识别方法，应用于采摘机器人视觉系统，所述方法包括：

获取图像采集装置拍摄的包含目标对象的待识别图像；

对所述待识别图像进行预处理，得到灰度图像；

对所述灰度图像进行多阈值搜索，获得最优和声阈值解集；

对所述最优和声阈值解集进行分割，得到目标对象所对应的图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对所述待识别图像进行预处理，得到灰度图像的步骤，包括：

统计所述待识别图像的灰度等级和所述待识别图像的每个灰度等级对应的像素个数，计算灰度出现的概率；

根据每个灰度等级对应的像素个数和灰度出现的概率获得灰度图像。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对所述灰度图像进行多阈值搜索，获得最优和声阈值解集的步骤，包括：

采用多目标和声搜索算法搜索最优和声阈值解集。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述采用多目标和声搜索算法搜索最优和声阈值解集步骤，包括：

采用Pareto最优解集构造方法构造所述最优和声阈值解集。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对所述灰度图像进行多阈值搜索，获得最优和声阈值解集的步骤，还包括：

采用密集度算子算法减小所述最优和声阈值解集的密集度。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，对所述最优和声阈值解集进行分割，得到目标对象所对应的图像的步骤，包括：

利用多阈值分割算法对所述最优和声阈值解集进行图像分割，得到目标对象所对应的图像。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对所述最优和声阈值解集进行分割，得到目标对象所对应的图像的步骤之后，所述方法还包括：

判断是否继续分割图像采集装置拍摄的其他的待识别图像。

第二方面，本发明实施例还提供了一种图像识别装置，其中，所述装置包括：

图像获取模块，用于获取图像采集装置拍摄的包含目标对象的待识别图像；

图像处理模块，用于对所述待识别图像进行预处理，得到灰度图像；

搜索模块，用于对所述灰度图像进行多阈值搜索，获得最优和声阈值解集；

图像分割模块，用于对所述最优和声阈值解集进行分割，得到目标对象所对应的图像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，所述装置还包括：

判断模块，用于判断是否继续分割图像采集装置拍摄的其他的待识别图像。

第三方面，本发明实施例还提供了一种机器人视觉系统，其中，包括存储器以及与所述存储器连接的处理器，所述存储器用于存储支持处理器执行第一方面的任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明实施例带来了以下有益效果：

本发明实施例提供的图像识别方法、装置及机器人视觉系统，通过获取图像采集装置拍摄的包含目标对象的待识别图像，并对待识别图像进行预处理，得到灰度图像，然后对灰度图像进行多阈值搜索，获得最优和声阈值解集，最后对最优和声阈值解集进行分割，得到目标对象所对应的图像，可以准确快速地定位到苹果具体位置，提高苹果采摘效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例所提供的图像识别方法的流程图；

图2为本发明一另实施例所提供的图像识别装置的模块图；

图3为本发明一另实施例所提供的图像识别装置的模块图；

图4为本发明一又实施例所提供的机器人视觉系统结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有的问题，本发明实施例提供了一种图像识别方法、装置及机器人视觉系统，以下首先对本发明的图像识别方法进行详细介绍。

实施例一

本实施例提供了一种图像识别方法，该方法应用于采摘机器人视觉系统，如图1所示，该方法包括：

步骤S102，获取图像采集装置拍摄的包含目标对象的待识别图像。

其中，图像采集装置可以采用摄像头进行拍摄，目标对象的待识别图像可以是农业中的待采摘图像，比如，苹果、桃子等。例如，当进行苹果采摘时，可以在自然场景下通过摄像头准确定位、识别并拍摄待采摘的苹果图像。

步骤S104，对待识别图像进行预处理，得到灰度图像。

为了更准确确定目标对象的待识别图像，需要将待识别图像进行预处理，转化为灰度图像。具体地，需要统计待识别图像的灰度等级和待识别图像的每个灰度等级对应的像素个数，计算灰度出现的概率，然后根据每个灰度等级对应的像素个数和灰度出现的概率获得灰度图像，进一步地，当灰度等级为L的对应像素的个数为W_i，计算灰度i出现的概率p_i，例如，灰度等级在0～255的范围内对应像素的总个数W_i＝2000，灰度i出现的次数Ni＝100，则计算灰度i出现的概率p_i＝Ni/W_i＝0.2，以此类推，可以求得在灰度等级为L的范围内的任意一个灰度值出现的概率，然后根据每个灰度等级对应的像素个数和灰度出现的概率获得灰度图像。

步骤S106，对灰度图像进行多阈值搜索，获得最优和声阈值解集。

目前，现有的对灰度图像搜索方法采用和声搜索算法，但是，和声搜索算法是单个体进化算法，新和声通过学习和声记忆库随机产生，再通过音调微调机制及音调微调带宽进行调节，这种产生方式具有单一性，搜索能力较差，要求进化次数较长，一旦产生的和声在最优和声附近，极易陷入局部最优，引起早熟收敛。其次，和声搜索算法尽管提供了引入新和声的机制，即通过随机选择音调的方式产生新和声，但建立在和声记忆库取值概率上；其中参数大多为固定经验取值，导致算法求解精度不高。此外算法中对和声库内选定的概率值进行扰动，对和声库外进行随机搜索，这样的扰动和搜索极具盲目性，不利于找到Pareto最优解。例如：和声搜索算法利用随机生成HMS个和声放入和声记忆库(harmony memory，HM)，每个和声都由N个音调分量组成，即第j,j＝1,2,…,HMS个和声为初始化后的和声记忆库形式如下(1)式。其中HMS为和声记忆库的大小，HMCR为和声记忆库取值概率，PAR为音调微调概率，BW为音调微调带宽，为算法进化的最大次数。且r₁,r₂,r∈[0,1]。

设生成的新和声为则新和声的每个音调分量按学习和声记忆库、音调分量微调及随机选择音调分量三个规则产生。

通过(2)式产生的音调分量再以概率PAR判断是否需要进行音调微调：

对和声记忆库按以下更新策略进行更新：

如果那么x^worst＝x^new (4)

上述过程不断重复，直至进化次数达到T_max为止。

由于上述和声搜索算法只能获得一个最优和声阈值解而非最优和声阈值解，本实施例采用多目标和声搜索算法搜索最优和声阈值解集。具体地，多目标问题可以采用以下方式定义：

以最小化为例，多目标优化问题可以定义如下：

其中，x为决策变量，f(x)为目标函数，X为决策空间，l和u是下界和上界。

Pareto支配：解x^*支配x'，记作x^*＞x'，当且仅当f_i(x^*)≤f_i(x'),i＝1,…,m。

Pareto最优解：如果解x^*是Pareto最优的当且仅当

Pareto最优解集：所有Pareto最优解的集合又称为非劣解集。

Pareto最优前沿：所有Pareto最优解对应的目标函数值所构成的区域：P_F＝{f(x)＝[f₁(x),…,f_m(x)]|x∈P_S}。

具体地，采用Pareto最优解集构造方法采用逐个排序的方法获取最优和声阈值解集，即首先搜索到第一个目标函数的最优值f₁(x^g)，再将对应的第二个目标函数f₂(x^g)设置为基准值，其它解只与此基准值比较。Pareto最优解集构造方法如下：

Step 1:对和声记忆库中每个和声x^j,j＝1,2,…,HMS分别计算f₁(x^j)和f₂(x^j)。

Step 2:分别对所有的f₁(x^j)和f₂(x^j)降序排序，找出两个函数对应的最优值f₁(x^g)和f₂(x'^g)，计算f₁(x^g)对应的f₂(x^g)，假定x^g是最优解，将其加入最优和声阈值解集中。

Step 3:若有解使f₁(x_same ^g)＝f₁(x^g)，则转向Step 4，否则转向Step5。

Step 4:计算f₁(x_same ^g)对应的f₂(x_same ^g)，比较f₂(x_same ^g)和f₂(x^g)，若f₂(x_same ^g)<f₂(x^g)，则x^g不是最优解，将其从最优和声阈值解集中删除，并将x_same ^g暂时加入最优和声阈值解集中。

Step 5:比较f₂(x^g)和f₂(x'^g)，若f₂(x^g)<f₂(x'^g)，则x^g不是最优解，将其从最优和声阈值解集中删除，并将x'^g暂时加入最优和声阈值解集中。

Step 6:按照新和声搜索方式，产生新和声，并加入最优和声阈值解集合，转向Step 2并重新计算构造最优和声阈值解集，从而获取最优和声阈值解集。

为了保证最优和声阈值解集之间的分布不过于密集，采用密集度算子算法减小最优和声阈值解集的密集度。具体地，将上述最优和声阈值解集删除的和声记为x^w,old，将利用改进的和声搜索策略产生的新和声记为x^w,new，则密集度算子可以表达为：

若den(x^w,new)<den(x^w,old)，则表示新和声x^w,new比更新前的删除的旧和声x^w,old具有更大的密集程度，那么x^w,new可以取代x^{w old}，以保证最优解集里的解的密集程度。

步骤S108，对最优和声阈值解集进行分割，得到目标对象所对应的图像。

具体地，利用多阈值图像分割算法对上述最优和声阈值解集进行图像分割，得到目标对象所对应的图像。进一步地，采用多阈值分割方法对苹果图像进行分割，以单阈值、两阈值和三阈值三种方式分别作为输入的阈值解，以多阈值最大类间方差函数和多阈值最大倒数熵函数作为多目标优化问题的两个目标函数，也就是作为多目标优化和声搜索算法的两个适应度函数。进一步地，多阈值最大累计方差函数为：比如，假设苹果图像中n个待区分的类中分别对应n-1个阈值T₁,T₂,…,T_n-1，其中0≤T₁,T₂,…,T_n-1≤L-1，各类分别可以表示为C₀＝{0,1,…,T₁}，Λ，C_n-1＝{T_n-1+1,…,L-1}，各类出现的概率分别记为ω₀,ω₁,…,ω_n-1，其中灰度均值记为μ₀,μ₁,…,μ_n-1，其中整幅图像的灰度均值记为多阈值类间方差记为σ_B ²。

进一步地，多阈值的倒数熵函数为：

与多阈值最大累计方差函数不同的是，最大倒数熵准则强调的是类间的差异性，应用在阈值化分割中就是搜索使目标和背景间的差异最大的最优阈值，因此很适用于背景复杂的自然场景苹果图像的分割。

为了获取最优和声阈值解集中的最佳阈值：T^*＝{T₁,T₂,…,T_n-1}，应使上述阈值最大累计方差函数和多阈值的倒数熵函数最大，即为下述公式：f(T^*)＝[f₁(T^*),f₂(T^*)]＝[σ² _B(T^*),H(T^*)] (9)，

其中，

进一步地，最优和声阈值解集进行分割，得到目标对象所对应的图像的步骤之后还包括：判断是否继续分割图像采集装置拍摄的其他的待识别图像，如果还有未分割的待识别图像，则继续读取待识别图像，重复上述步骤；如果没有未分割的待识别图像，则结束。

本实施例提供的图像识别方法，通过获取图像采集装置拍摄的包含目标对象的待识别图像，并对待识别图像进行预处理，得到灰度图像，然后对灰度图像进行多阈值搜索，获得最优和声阈值解集，最后对最优和声阈值解集进行分割，得到目标对象所对应的图像，可以准确快速地定位到苹果具体位置，避免因苹果粘连造成定位不准确的现象，从而提高苹果采摘效率。

实施例二

与上述方法实施例相对应地，本发明实施例还提供了一种图像识别装置，如图2所示，该装置包括：

图像获取模块21，用于获取图像采集装置拍摄的包含目标对象的待识别图像；

图像处理模块22，用于对所述待识别图像进行预处理，得到灰度图像；

搜索模块23，用于对所述灰度图像进行多阈值搜索，获得最优和声阈值解集；

图像分割模块24，用于对所述最优和声阈值解集进行分割，得到目标对象所对应的图像。

其中，搜索模块23还可以用于采用密集度算子算法减小最优和声阈值解集的密集度。

如图4所示，图像识别装置还包括判断模块35，用于判断是否继续分割图像采集装置拍摄的其他的待识别图像。

本实施例提供的图像识别装置，通过获取图像采集装置拍摄的包含目标对象的待识别图像，并对待识别图像进行预处理，得到灰度图像，然后对灰度图像进行多阈值搜索，获得最优和声阈值解集，最后对最优和声阈值解集进行分割，得到目标对象所对应的图像，可以准确快速地定位到苹果具体位置，避免因苹果粘连造成定位不准确的现象，从而提高苹果采摘效率。

实施例三

本发明实施例还提供了一种机器人视觉系统，如图4所示，包括处理器110,以及与处理器110连接的存储器120、通信模块130和摄像头140。

其中，存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可用于存储软件程序以及模块，如本发明实施例中的油烟机状态检测方法以及装置对应的程序指令/模块，处理器110通过运行存储在存储器120的软件程序以及模块，实现本发明实施例提供的图像识别方法。存储数据区可用于存储待识别图像，此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110可以利用各种接口或线路连接机器人视觉系统的上述各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的状态数据，实现本发明实施例提供的图像识别方法。可选的，处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

通信模块130用于连接网络，发送处理器110生成的搜索最优和声阈值解集及对最优和声阈值解集进行分割信息。

摄像头140用于拍摄待识别图像，摄像头140用于采集待识别图像。可选地，机器人视觉系统上可以设置一个或多个摄像头140。多个摄像头140可以从多个角度拍摄待识别图像。

进一步地，本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的数据备份方法。

本发明实施例提供的图像识别方法、装置及机器人视觉系统具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

需要说明的是，在本发明所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种图像识别方法，其特征在于，应用于采摘机器人视觉系统，所述方法包括：

获取图像采集装置拍摄的包含目标对象的待识别图像；

对所述待识别图像进行预处理，得到灰度图像；

对所述灰度图像进行多阈值搜索，获得最优和声阈值解集；

2.根据权利要求1所述的方法，其特征在于，对所述待识别图像进行预处理，得到灰度图像的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，对所述灰度图像进行多阈值搜索，获得最优和声阈值解集的步骤，包括：

采用多目标和声搜索算法搜索最优和声阈值解集。

4.根据权利要求3所述的方法，其特征在于，所述采用多目标和声搜索算法搜索最优和声阈值解集步骤，包括：

采用Pareto最优解集构造方法构造所述最优和声阈值解集。

5.根据权利要求3所述的方法，其特征在于，对所述灰度图像进行多阈值搜索，获得最优和声阈值解集的步骤，还包括：

采用密集度算子算法减小所述最优和声阈值解集的密集度。

6.根据权利要求1所述的方法，其特征在于，对所述最优和声阈值解集进行分割，得到目标对象所对应的图像的步骤，包括：

利用多阈值分割算法对所述最优和声阈值解集进行分割，得到目标对象所对应的图像。

7.根据权利要求1所述的方法，其特征在于，对所述最优和声阈值解集进行分割，得到目标对象所对应的图像的步骤之后，所述方法还包括：

判断是否继续分割图像采集装置拍摄的其他的待识别图像。

8.一种图像识别装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：判断模块，用于判断是否继续分割图像采集装置拍摄的其他的待识别图像。

10.一种机器人视觉系统，其特征在于，包括存储器以及与所述存储器连接的处理器，所述存储器用于存储支持处理器执行权利要求1～7中任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。