CN114092822B - 图像处理方法、移动控制方法以及移动控制系统 - Google Patents

图像处理方法、移动控制方法以及移动控制系统 Download PDF

Info

Publication number
CN114092822B
CN114092822B CN202210076189.7A CN202210076189A CN114092822B CN 114092822 B CN114092822 B CN 114092822B CN 202210076189 A CN202210076189 A CN 202210076189A CN 114092822 B CN114092822 B CN 114092822B
Authority
CN
China
Prior art keywords
area
image
points
target
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210076189.7A
Other languages
English (en)
Other versions
CN114092822A (zh
Inventor
潘凯
宋晓倩
刘朋
周森标
苏泉
吴秶菘
邹小飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Haohang Technology Co ltd
Original Assignee
Guangdong Haohang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Haohang Technology Co ltd filed Critical Guangdong Haohang Technology Co ltd
Priority to CN202210076189.7A priority Critical patent/CN114092822B/zh
Publication of CN114092822A publication Critical patent/CN114092822A/zh
Application granted granted Critical
Publication of CN114092822B publication Critical patent/CN114092822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、移动控制方法以及移动控制系统,所述移动控制系统包括摄像装置,所述方法包括:获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;基于所述区域参数,从所述待处理图像中提取到第一区域;对所述第一区域进行特征提取,得到多个目标点;基于多个所述目标点,获得移动路线。

Description

图像处理方法、移动控制方法以及移动控制系统
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、移动控制方法以及移动控制系统。
背景技术
在农场中,由于玉米等作物播种作业时移动控制系统如植保机等的行走误差或者玉米等作物在生长过程中受土壤的肥力、天气(如风、雨等)、病虫害等的影响,玉米等作物在生长过程中,会出现长势不均匀、植株左右倾斜、同排或同列植株不在同一条直线上等情况。因此,在玉米等作物进行植保作业(如喷洒农药等)时,需要实时调整移动控制系统的移动路线,以避免造成植保作业效率低、车轮轧苗等问题。
现有技术中,通过颜色特征、多通道组合特征或者深度学习方法等对采集到的图像进行特征提取,以识别到玉米等作物,并拟合出玉米等作物的苗垄线,作为计算移动控制系统的移动路线的依据。然而,由于采集到的图像中可能包含杂草区域或其他苗垄区域等干扰区域,导致图像识别准确度较低,苗垄线拟合误差较大,使得计算得到的移动路线误差较大,易导致在植保作业中出现植保机串行、车轮轧苗、漏洒农药等问题。
发明内容
本申请提供了一种图像处理方法、移动控制方法以及移动控制系统,其能够排除图像中干扰区域,提高图像识别准确度,有利于提高移动控制模型的移动路线准确度,降低误差。
第一方面,本申请提供了一种图像处理方法,应用于移动控制系统,所述移动控制系统包括摄像装置,所述方法包括:
获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;
基于所述区域参数,从所述待处理图像中提取到第一区域;
对所述第一区域进行特征提取,得到多个目标点;
基于多个所述目标点,获得移动路线。
其中一种可能的实现方式中,所述区域参数包括所述待识别区域的世界坐标,所述基于所述区域参数,从所述待处理图像中提取到第一区域,包括:
获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
其中一种可能的实现方式中,所述对所述第一区域进行特征提取,得到多个目标点,包括:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,所述待处理图像中包含所述摄像装置的位置,所述基于多个所述第二区域,得到多个所述目标点,包括:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,所述基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,包括:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
其中一种可能的实现方式中,所述基于筛选后的所述第二区域,得到多个所述目标点,包括:
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
其中一种可能的实现方式中,所述基于多个所述目标点,获得移动路线,包括:
判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
基于多个类别的所述目标点集合,获得移动路线。
其中一种可能的实现方式中,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,所述根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,包括:
从多个所述目标点中,选取到所述初始目标点;
判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
其中一种可能的实现方式中,所述基于多个类别的所述目标点集合,获得移动路线,包括:
对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
基于多个所述坐标点,得到图像路线;
将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
其中一种可能的实现方式中,多个所述拟合线中还包含第三拟合线以及第四拟合线,所述第三拟合线中包含多个第三拟合点,所述第四拟合线中包含多个第四拟合点,所述基于多个所述坐标点,得到图像路线,包括:
对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
第二方面,本申请提供一种移动控制方法,应用于移动控制系统,所述方法包括:
采集待处理图像;
利用如第一方面所述的方法对所述待处理图像进行处理,获取移动路线;
控制所述移动控制系统按照所述移动路线进行移动。
第三方面,本申请提供一种图像处理装置,所述图像处理装置包括:
图像获取模块,用于获取待处理图像以及区域参数,所述待处理图像由摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;
区域提取模块,用于基于所述区域参数,从所述待处理图像中提取到第一区域;
特征提取模块,用于对所述第一区域进行特征提取,得到多个目标点;
路线获得模块,用于基于多个所述目标点,获得移动路线。
第四方面,本申请提供一种移动控制装置,所述移动控制装置包括:
图像采集模块,用于采集待处理图像;
处理模块,用于利用如第一方面所述的方法对所述待处理图像进行处理,获取移动路线;
控制模块,用于控制移动控制系统按照所述移动路线进行移动。
第五方面,本申请提供一种移动控制系统,包括:
图像采集装置,用于采集待处理图像;
控制装置,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述系统执行时,使得所述系统执行如第一方面或第二方面所述的方法;
移动装置,用于受控于所述控制装置,以执行移动操作。
第六方面,本申请提供了一种电子设备,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行如第一方面或第二方面所述的方法。
第七方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如第一方面或第二方面所述的方法。
第八方面,本申请提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行第一方面或第二方面所述的方法。
在一种可能的设计中,第八方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
本申请提供的图像处理方法、移动控制方法以及移动控制系统,至少达到以下有益效果:
(1)在对图像进行特征提取之前,排除干扰区域,以提高图像识别准确度,有利于提高移动控制模型的移动路线准确度,降低误差。
(2)在对图像进行目标提取之前,排除图像中G颜色分量低于R颜色分量或者G颜色分量低于B颜色分量的像素点,以提高目标提取的准确度,提高算法鲁棒性。
(3)根据提取到的图像区域(如上述第二区域等)与图像中摄像装置的位置之间的距离(如上述第一距离等),以及设定的多个距离范围与每个距离范围相对应的矩形框范围,对图像区域(如上述第二区域等)的最小外接矩形框进行筛选,以提高图像提取准确度。为进一步提高图像提取准确度,筛选出图像区域(如上述第二区域等)的重心点处于最小外接矩形框内,且与最小外接矩形框的中心点之间的距离(如上述第二距离等)小于或等于距离阈值的重心点作为目标点。
(4)考虑到同一类别(如同行或同列等)的多个目标点大致经过同一条直线,如多个目标点之间的斜率相等或近似相等(或斜率差值小于或等于斜率阈值等),因此,将同一类别的多个目标点进行聚类,并对同一类别的多个目标点进行拟合,得到拟合结果,以排除其他类别的目标点的干扰,提高拟合准确度,该拟合结果可以用于作为计算移动控制系统的移动路线的依据。
(5)其能够对图像路线进行校准,提高图像路线的准确度,进而提高移动路线的准确度。
附图说明
图1为本申请图像处理方法一个实施例的方法示意图;
图2为本申请图像处理方法一个实施例的流程示意图;
图3为本申请图像处理方法一个实施例中待处理图像示意图;
图4为本申请图像处理方法一个实施例中第一区域示意图;
图5为本申请图像处理方法一个实施例中第二区域的二值图像示意图;
图6为本申请图像处理方法一个实施例中划分多行区域的二值图像示意图;
图7为本申请图像处理方法一个实施例中图像路线的二值图像示意图;
图8为本申请移动控制方法一个实施例中的方法示意图;
图9为本申请图像处理装置一个实施例的结构示意图;
图10为本申请移动控制装置一个实施例的结构示意图;
图11为本申请移动控制系统一个实施例的结构示意图;
图12为本申请电子设备一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
现有技术一,通过颜色、纹理等特征提取方法对采集到的图像进行识别,无法适应室外农田场景、自然光线多变化等情况,而且缺苗、歪苗、苗长势不一等情况对识别结果影响较大,由于作物如玉米等叶片空间排列随机,大小、生长状态各异,导致该方法计算效率较低,识别误差较大,算法鲁棒性较低。
现有技术二,利用深度学习方法对采集到的图像进行识别,由于深度学习需要精确大量的标签,学习过程耗时久,工作量较大,且由于不同生长苗期的作物特征差异较大,给模型训练带来难度,无法满足实时性。
此外,上述现有技术一以及现有技术二,受采集到的图像中杂草或其他苗垄区域等干扰区域的影响,导致算法计算速度较低,识别准确度较低,苗垄线拟合误差较大,使得计算得到的移动路线误差较大,易导致在植保作业中出现植保机串行、车轮轧苗、漏洒农药等问题。
为此,本申请提出一种图像处理方法、移动控制方法以及移动控制系统,其能够排除图像中干扰区域,提高图像识别准确度,有利于提高移动控制模型的移动路线准确度,降低误差。
本申请提供的图像处理方法,可以应用于移动控制系统,该移动控制系统中包含摄像装置,摄像装置用于采集待处理图像,该待处理图像如对农场中处于苗期的玉米等作物进行拍摄得到的图像等。该图像处理方法用于对该待处理图像进行处理,得到移动路线,该移动路线可用于移动控制方法中对移动控制系统进行导航控制,使得该移动控制系统可以按照该移动路线进行移动,该移动控制系统如植保机或自动驾驶车辆等,其中,植保机用于在移动过程中执行植保操作等,该植保操作如喷洒农药等。
在本实施例中,移动控制系统以植保机为例,以大规模且统一种植玉米等作物的标准农场或农田为例,农场中包含有多列苗垄区域以及处于苗垄区域之间的行道区域,每列苗垄区域中种植有一列或多列玉米等作物,为避免植保机串行、车轮轧苗、漏洒农药等问题,植保机的车轮一般应在行道区域内行走或行驶。
图1为本申请图像处理方法一个实施例的方法示意图。如图1和图2所示,上述图像处理方法可以包括:
S101、获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数。
在本实施例中,拍摄区域如移动控制系统前行或后退的方向或区域等。举例地,该拍摄区域中可以包含多列苗垄区域以及位于每两列相邻苗垄区域之间的行道区域等,拍摄区域的竖直方向与列方向相同,考虑到摄像装置的视野可能涵盖到农场外的区域如杂草区域等,因此,该拍摄区域中可能还包含该杂草区域等。
在植保机的移动过程中,摄像装置可以拍摄得到视频数据,该待处理图像(如RGB图像等)可以按照时间间隔(如1秒等)从该视频数据中抽取视频帧得到,然后根据处理该待处理图像得到的移动路线,实时地调整植保机的行进方向,以满足实时性。
考虑到植保机的车轮(如左前轮或右前轮等)在两列相邻苗垄区域之间的行道区域内向前或向后行走等,在本实施例中,以两列相邻苗垄区域及其之间的行道区域作为待识别区域,以处于待识别区域以外的区域如杂草区域或其他苗垄区域等作为干扰区域。
也就是说,摄像装置拍摄到的待处理图像中不仅包含与该待识别区域对应的区域,而且还可能包含与该干扰区域对应的区域。如图3所示为一个实施例中待处理图像101的示意图,其中,待处理图像101中可以包含待识别区域102、其他苗垄区域103、杂草区域104,其中,待识别区域102中可以包含两列相邻苗垄区域1021以及行道区域1022,该苗垄区域1021中包含有两列玉米等作物105。
因此,在对图像进行特征提取之前,需要对该待处理图像中与该待识别区域对应的区域进行提取,以避免干扰区域对图像识别等的影响,以提高图像识别准确度,提高算法速度,有利于提高移动控制模型的移动路线准确度,降低误差。
优选地,该区域参数可以包括待识别区域的世界坐标,其可以通过该待识别区域在拍摄区域内的位置或大小等计算得到。考虑到摄像装置的拍摄区域的中心线(如竖直方向对称轴线等)与待处理图像的中心线基本保持一致,以及植保机的行进方向(如左前轮或右前轮等的行进方向等)与行道区域的中心线基本保持一致,为提高后续计算移动路线的准确度,在本实施例中,摄像装置被安装在植保机的左前轮或右前轮的上方位置,并保持拍摄方向或角度等不变,使得摄像装置拍摄到的待处理图像的中心线(如竖直方向对称轴线等)与植保机的行进方向(如左前轮或右前轮的行进方向等)基本保持一致,或者,待处理图像沿植保机的行进方向对称。也就是说,沿植保机的行进方向,待识别区域中的行道区域对应于待处理图像的中心线位置,待识别区域中行道区域两侧的相邻苗垄区域分别对应于待处理图像的中心线两侧的位置。
进一步地,拍摄区域可以根据摄像装置的拍摄参数(如俯拍角度、前向视角或横向视角等)确定。举例地,摄像装置的俯拍角为45度左右,拍摄前向视角为2米以上,横向视角为2米左右。考虑到标准农场中苗垄区域以及行道区域具有对称性以及一致性,在摄像装置保持固定的情况下,在不同拍摄区域内的待识别区域的位置以及大小基本保持一致,即上述区域参数基本保持不变。因此,通过测量拍摄区域内待识别区域的位置以及大小或根据已有种植规格参数对待识别区域的位置以及大小进行计算等,可以计算得到待识别区域参数,例如,待识别区域参数可以包括区域宽度以及区域长度等,区域宽度可以通过测量待识别区域沿拍摄区域的中心线向左右各延伸宽度得到,如延伸宽度为1米等,区域长度可以通过测量待识别区域沿拍摄区域的竖直方向延伸长度得到,如区域长度为5米等。
可选地,为满足移动需求,摄像装置可旋转,或者摄像装置可调整拍摄角度或方向等,例如,当植保机转向时,根据转向角度实时调整摄像机的旋转角度或拍摄角度等,使得摄像装置的拍摄区域的中心线与植保机的行进方向基本保持一致。或者,植保机上可以设置惯性传感器等,当因地面起伏等出现车身倾斜等时,根据该惯性传感器的反馈信号控制摄像装置的旋转角度或拍摄角度等,使得摄像装置的拍摄区域与农场水平面(或地面等)基本保持相对平行等。在一些其他可选实施例中,摄像装置的安装位置可以在移动控制系统的中间位置或其他位置等,在此不受限制。
S102、基于所述区域参数,从所述待处理图像中提取到第一区域。
第一区域可以用于表示待处理图像中与上述待识别区域相对应的区域,因此,避免了待处理图像中与上述干扰区域相对应的区域对后续步骤的干扰,且明确了计算范围,提高了算法速度。
具体地,步骤S102可以包括:
S202、获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
S203、基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
S204、对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
优选地,在摄像装置保持固定后,以地面(或水平面等)为世界坐标系Z平面对摄像装置进行标定,以确定摄像装置的内参和/或外参,其中,摄像装置的内参和/或外参用于确定上述坐标转换关系,其中,内参如焦距大小、像素大小等,外参如摄像装置的位置、旋转角度或方向等。可以理解的是,摄像装置的世界坐标与图像坐标之间的转换关系可以表示从世界坐标系转换到图像坐标系中的坐标转换关系。可选地,上述坐标转换关系还可以包含世界坐标系到相机坐标系、相机坐标系到图像坐标系或图像坐标系到像素坐标系等坐标转换关系。
因此,在转换得到待识别区域的图像坐标后,按照该待识别区域的图像坐标,对待处理图像进行裁剪,裁剪得到与待识别区域相对应的图像为上述第一区域。也就是说,该第一区域中可以包含与两列相邻苗垄区域相对应的区域,以及与位于该两列相邻苗垄区域之间的行道区域相对应的区域。如图4所示为本申请一个实施例中第一区域201的示意图,其中,该第一区域201中包含待识别区域102,该待识别区域102中包含两列相邻苗垄区域1021以及行道区域1022,从图3和图4中可以看出的是,该第一区域201中并不包含上述其他苗垄区域103以及上述杂草区域104。
S103、对所述第一区域进行特征提取,得到多个目标点。
在本实施例中,该目标如玉米等作物,该目标点用于表示玉米等作物在图像(如上述第一区域)中的区域、位置或坐标等。由于玉米等作物的颜色特征较为明显,如呈绿色等,因此,步骤S103中,可以根据颜色特征对第一区域进行目标提取,以提取到多个目标点。
其中一种可能的实现方式中,在步骤S103中,可以包括:
S301、对所述第一区域内每个像素点的多个颜色分量进行比较;
S302、根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
S303、对筛选后的所述第一区域进行目标提取,得到多个第二区域;
S304、基于多个所述第二区域,得到多个所述目标点。
在本实施例中,第一区域内每个像素点可以包含绿色(G)颜色分量、红色(R)颜色分量以及蓝色(B)颜色分量。
进一步地,在步骤S301之前,步骤S103还可以包括:
S305、将所述第一区域的颜色分量进行通道分离,得到每个像素点的多个颜色分量;
S306、将每个像素点的多个颜色分量分别除以预设数值(如255等)。
也就是说,在将每个像素点的多个颜色分量分别除以255后,使得后续进行超绿特征提取后每个像素点的像素值保持在目标数值范围内,目标数值范围如-2到2之间等。
考虑到玉米等作物的G颜色分量一般大于R颜色分量以及大于B颜色分量,在步骤S302中,筛选后的第一区域内包含G颜色分量大于R颜色分量且G颜色分量大于B颜色分量的像素点。
也就是说,在对第一区域进行目标提取之前,排除第一区域中G颜色分量小于或等于R颜色分量或者G颜色分量小于或等于B颜色分量的像素点,以提高目标提取的准确度,提高算法鲁棒性,降低算法计算量。
其中一种可能的实现方式中,步骤S303可以包括:
S401、对筛选后的第一区域进行超绿特征提取,得到灰度图;
S402、基于所述灰度图,得到分布灰度图;
S403、对所述分布灰度图进行二值化处理,得到二值图;
S404、对所述二值图进行运算处理,得到多个第二区域。
在步骤S401中,灰度图由公式:
Figure 709585DEST_PATH_IMAGE001
计算得到;
其中,
Figure 666040DEST_PATH_IMAGE002
为灰度图,
Figure 547408DEST_PATH_IMAGE003
Figure 44249DEST_PATH_IMAGE004
为像素点的坐标,G为像素点的绿色颜色分量,R为 像素点的红色颜色分量,B为像素点的蓝色颜色分量,其中,
Figure 960252DEST_PATH_IMAGE002
处于上述目标数值范 围内。
在步骤S402中,将上述灰度图变换到0-255之间,得到分布灰度图。具体地,该分布灰度图可以由公式:
Figure 618767DEST_PATH_IMAGE005
计算得到;
其中,
Figure 987431DEST_PATH_IMAGE006
为分布灰度图,
Figure 22383DEST_PATH_IMAGE007
Figure 996155DEST_PATH_IMAGE002
的最大值,
Figure 91150DEST_PATH_IMAGE008
Figure 947111DEST_PATH_IMAGE009
的最小值。
为降低光线、背景差异大等对图像识别的影响,在步骤S403中,设定灰度阈值i,对分布灰度图中每个像素点进行二值化处理,其中,若当前像素点的灰度值小于灰度阈值i,则将该当前像素点置为黑色(如像素值为0等),用于表示非目标的背景区域,若当前像素点的灰度值大于灰度阈值i,则将当前像素点置为白色(如像素值为255等),用于表示目标区域(如上述第二区域等)。可以理解的是,二值图中非目标的背景区域与目标区域的像素值可以互换,如非目标的背景区域的像素值均为255(即白色),目标区域的像素值均为0(即黑色),或者,二值图中非目标的背景区域与目标区域的像素值可以分别为其他数值,在此不受限制。
具体地,上述二值图可以由公式:
Figure 785754DEST_PATH_IMAGE010
计算得到;
其中,
Figure 145191DEST_PATH_IMAGE011
为二值图,i为灰度阈值,其可以根据玉米等作物的颜色分量等自 适应确定,或者由用户根据实际情况设定等。
在步骤S404中,通过对二值图进行形态学运算、膨胀运算以及腐蚀运算等处理,得到运算处理后的二值图像,该运算处理后的二值图像中包含多个第二区域。每个第二区域可以用于表示由玉米等作物对应的多个像素点聚集形成的区域,其具备玉米等作物的形态学特征等。因此,每个第二区域可以用于确定与每个玉米等作物相对应的目标点,该目标点可以包含第二区域的重心点等。如图5所示为本申请一个实施例中第二区域203的二值图像202示意图,其中,二值图像202中包含多个第二区域203,从图5中可以看出的是,二值图像202中包含多列的第二区域203,与实际拍摄区域中多列玉米等作物相对应。
考虑到实际拍摄图像近大远小等因素,若玉米等作物距离摄像装置越近,则其在图像中的成像越大,反之越小。因此,根据上述第二区域与图像中摄像装置的位置之间的距离,可以对上述第二区域进行筛选,以提高图像识别的准确度。
其中一种可能的实现方式中,步骤S304可以包括:
S501、获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
S502、基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
S503、基于筛选后的所述第二区域,得到多个所述目标点。
在本实施例中,待处理图像中包含摄像装置的位置,例如,摄像装置的位置为待处理图像的竖直中心线的最下方位置,其与第二区域的竖直中心线的最下方位置相同,则同列的玉米等作物在图像中对应的区域的大小由下到上逐渐增大,同行的玉米等作物在图像中对应的区域的大小基本保持一致。
在步骤S501中,上述第一距离可以用于表示第二区域到摄像装置的位置的竖直距离(或纵向距离、Y轴距离等)。在本实施例中,可以采用第二区域的最小外接矩形框来表示第二区域的大小,其中,最小外接矩形框可以根据给定的二维形状(如第二区域等)的各顶点中最大横坐标、最小横坐标、最大纵坐标以及最小纵坐标为边界的矩形。作为优选地,以第二区域的最小外接矩形框的大小来对第二区域进行筛选,而本领域技术人员可以理解的是,上述最小外接矩形框在其他可选实施例中可以被替换为其他多边形框或第二区域的面积等,在此不受限制。
步骤S502中,可以包括:
S601、获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
S602、根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
S603、对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
在步骤S601中,可以根据实际拍摄区域中玉米等作物的成像大小等,将图像按照行划分为多个行区域,并设定与每个行区域相对应的距离范围以及每个距离范围相对应的矩形框范围。每个距离范围可以包括最大距离值以及最小距离值,最大距离值用于表示每个行区域距离摄像装置的位置的最大竖直距离,最小距离值用于表示每个行区域距离摄像装置的位置的最小竖直距离。
例如,上述运算处理后的二值图像按照行划分为第一行区域、第二行区域以及第三行区域,其中,第一行区域距离摄像装置的位置最近,第三行区域距离摄像装置的位置最远,第二行区域位于第一行区域与第三行区域之间。多个距离范围可以包含第一距离范围、第二距离范围以及第三距离范围,其中,第一距离范围的最大距离值小于或等于第二距离范围的最小距离值,第二距离范围的最大距离值小于或等于第三距离范围的最小距离值,第一距离范围可以根据第一行区域与摄像装置的位置之间的距离确定,第二距离范围可以根据第二行区域与摄像装置的位置之间的距离确定,第三距离范围可以根据第三行区域与摄像装置的位置之间的距离确定。如图6所示为本申请一个实施例中划分多行区域的二值图像202示意图,其中,第二区域203包含最小外接矩形框2031以及重心点2032,该二值图像202中包含第一行区域204、第二行区域205以及第三行区域206。
进一步地,第一距离范围对应第一矩形框范围,第二距离范围对应第二矩形框范围,第三距离范围对应第三矩形框范围,其中,第一矩形框范围、第二矩形框范围以及第三矩形框范围逐渐增大,第一矩形框范围可以根据第一行区域内玉米等作物在成像后的大小确定,第二矩形选框范围可以根据第二行区域内玉米等作物在成像后的大小确定,第三矩形框范围可以根据第三行区域内玉米等作物在成像后的大小确定。考虑到玉米等作物存在大小不一的情况,使得在成像后,可能存在较远的玉米等作物的成像略大于或等于较近的玉米等作物的成像的现象,因此,为进一步提高图像识别的准确度,第一矩形框范围与第二矩形框范围可以部分重叠,第二矩形框范围与第三矩形框范围可以部分重叠。
因此,在步骤S602中,若第二区域与摄像装置的位置之间的第一距离处于第一距离范围内,则第一矩形框范围为目标矩形框范围,并在步骤S603中,判断该第二区域的最小外接矩形框是否处于第一矩形框范围内,若是,筛选得到该第二区域,若否,则该第二区域为干扰信息并去除。在步骤S602中,若第二区域与摄像装置的位置之间的第一距离处于第二距离范围内,则第二矩形框范围为目标矩形框范围,并在步骤S603中,判断该第二区域的最小外接矩形框是否处于第二矩形框范围内,若是,筛选得到该第二区域,若否,则该第二区域为干扰信息并去除。在步骤S602中,若第二区域与摄像装置的位置之间的第一距离处于第三距离范围内,则第三矩形框范围为目标矩形框范围,并在步骤S603中,判断该第二区域的最小外接矩形框是否处于第三矩形框范围内,若是,筛选得到该第二区域,若否,则该第二区域为干扰信息并去除。
也就是说,筛选后的第二区域中可以包含第一距离处于第一距离范围内且最小外接矩形框处于第一矩形框范围内的第二区域、第一距离处于第二距离范围内且最小外接矩形框处于第二矩形框范围内的第二区域以及第一距离处于第三距离范围内且最小外接矩形框处于第三矩形框范围内的第二区域。
为了能够准确地表示玉米等作物所在的位置或坐标等,在本实施例中,以玉米等作物的重心点作为其所在的位置或坐标等,其中,第二区域的重心点可以用于表示玉米等作物的重心点,即上述目标点可以包含第二区域的重心点。在一些其他可选实施例中,可以选用第二区域的最小外接矩形框的中心点作为目标点,或者,选取第二区域的中心点作为目标点等,在此不受限制。
考虑到玉米等作物的重心点与其最小外接矩形框之间的距离关系,为进一步提高图像提取准确度,在步骤S503中(或在步骤S603之后),可以根据第二区域的重心点与最小外接矩形框之间的距离,对筛选后的多个第二区域进行再次筛选,并将再次筛选后的第二区域的重心点作为目标点。
具体地,步骤S503可以包括:
S604、判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
S605、若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
S606、判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
也就是说,若第二区域的重心点未处于第二区域的最小外接矩形框内,则表示该第二区域可能是杂草等噪点,因此排除该第二区域,或该第二区域的重心点不作为目标点,以过滤杂草等噪点对后续计算移动路线的影响。若第二区域的重心点处于第二区域的最小外接矩形框内,则判断该第二区域的重心点与最小外接矩形框的中心点之间的第二距离是否小于或等于距离阈值d,若该第二距离大于距离阈值d,则表示该第二区域可能是玉米等作物的多余叶片等噪点,因此排除该第二区域,或该第二区域的重心点不作为目标点,以过滤多余叶片等噪点对后续计算移动路线的影响。若该第二距离小于或等于距离阈值d,则该第二区域可能是玉米等作物,因此,以该第二区域的重心点作为目标点。
S104、基于多个所述目标点,获得移动路线。
也就是说,每个目标点代表每个玉米等作物所处的位置或坐标等,因此,多个目标点可以用于拟合得到多个玉米等作物所处的直线、曲线或区域范围等拟合结果,根据该拟合结果,可以计算得到移动路线,该移动路线可以用于导航植保机等,以避免植保机在移动过程中出现串行、轧苗或漏洒农药等情况。
考虑到同一类别(如同行或同列等)的多个目标点大致经过同一条直线,如多个目标点之间的斜率相等或近似相等(或斜率差值小于或等于斜率阈值等),因此,将同一类别的多个目标点进行聚类,并对同一类别的多个目标点进行拟合,得到拟合结果(如拟合线等),以排除其他类别的目标点的干扰,提高拟合准确度,该拟合结果可以用于作为计算移动控制系统的移动路线的依据。
在本实施例中,以同一列的多个玉米等作物大致经过同一条直线为例,聚类类别可以表示多个目标点所处的列,也就是说,同一列的多个目标点大致经过同一条直线,即同一列的多个目标点之间的斜率大致相同或处于同一斜率范围内等。
具体地,步骤S104可以包括:
S701、判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
S702、根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
S703、基于多个类别的所述目标点集合,获得移动路线。
也就是说,若多个目标点之间的斜率差值小于或等于斜率阈值,则该多个目标点属于同一列。因此,每个目标点集合中包含同一列的多个目标点,每个目标点集合中的多个目标点对应于上述苗垄区域中同一列的多个玉米等作物。
其中一种可能的实现方式中,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,步骤S702可以包括:
S801、从多个所述目标点中,选取到所述初始目标点;
S802、判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
在本实施例中,以竖直方向为图像(如包含上述第二区域的二值图像等)的Y(或纵向)坐标轴,以水平方向为图像的X(或横向)坐标轴,考虑到图像的竖直中心线与拍摄区域内的行道区域基本保持一致,按照苗垄区域内的玉米等作物的排列规则,同一行的多个目标点的Y轴坐标基本相同且X轴坐标明显不同。初始目标点可以用于表示每列目标点集合中的任一个目标点,为便于计算,初始目标点优选地为距离图像的竖直中心轴最近的目标点等。
在步骤S801中,以图像(如包含上述第二区域的二值图像等)的竖直中心线为对称轴线,选取距离该对称轴线最近的目标点作为初始目标点。由于相邻两列苗垄区域以中间的行道区域对称,且图像的竖直中心线与该行道区域基本保持一致,因此,多个类别的目标点集合中至少包含第一列目标点集合以及第二列目标点集合,其中,第一列目标点集合中包含第一初始目标点,第一初始目标点为距离该对称轴线最近且位于左侧的目标点,第二列目标点集合中包含第二初始目标点,第二初始目标点为距离该对称轴线最近且位于右侧的目标点。
进一步地,考虑到每列苗垄区域中玉米等作物的列数可以预先确定,且玉米等作物的列数与目标点集合的类别数相同,例如,以行道区域为分界线,左侧苗垄区域与右侧苗垄区域中均包含两列玉米等作物,因此,多个列表的目标点集合中还可以包含第三列目标点集合以及第四列目标点集合,其中,第一列目标点集合与第三列目标点集合分别位于对称轴线的左侧,第二列目标点集合与第四列目标点集合分别位于对称轴线的右侧。
第三列目标点集合中包含第三初始目标点,第三初始目标点与第一初始目标点的Y轴坐标值基本相同(或Y轴坐标差值等于0或小于等于预设差值等),且第三初始目标点到对称轴线的X轴距离大于第一初始目标点到对称轴线的X轴距离,或以对称轴线为X轴零点,第三初始目标点的X轴坐标数值或绝对值大于第一初始目标点的X轴坐标数值或绝对值等。相应地,第四列目标点集合中包含第四初始目标点,第四初始目标点与第二初始目标点的Y轴坐标值基本相同,(或Y轴坐标差值等于0或小于等于预设差值等),且第四初始目标点到对称轴线的X轴距离大于第二初始目标点到对称轴线的X轴距离,或以对称轴线为X轴零点,第四初始目标点的X轴坐标数值或绝对值大于第二初始目标点的X轴坐标数值或绝对值等。
在步骤S802中,以第一列目标点集合为例,设第一个目标点为第一初始目标点,第一个目标点的坐标为(x0,y0),第二个目标点的坐标为(x1,y1),则第一个目标点与第二个目标点之间的第一斜率K1为(y0-y1)/(x0-x1),第三个目标点的坐标为(x2,y2),则第一个目标点与第三个目标点之间的第二斜率K2为(y0-y2)/(x0-x2),第一斜率K1与第二斜率K2近似相等,或第一斜率K1与第二斜率K2的差值小于或等于上述斜率阈值,…,以此类推,第一列目标点集合中各目标点之间的斜率差值应当小于或等于上述斜率阈值,该斜率阈值可以接近于0等,而由于其他列的多个目标点与第一初始目标点基本不处于同一条直线上,因此其他列的多个目标点与第一初始目标点之间的斜率差别较大,其斜率差值大于该斜率阈值。因此,基于该原理,可以计算得到与第一初始目标点处于同一列的多个目标点,从而得到第一列目标点集合,其中,第一列目标点集合中第一初始目标点与第一列其他多个目标点之间的斜率基本相同。相应地,第二列目标点集合中第二初始目标点与第二列其他多个目标点之间的斜率基本相同,第三列目标点集合中第三初始目标点与第三列其他多个目标点之间的斜率基本相同,第四列目标点集合中第四初始目标点与第四列其他多个目标点之间的斜率基本相同。
熟知本领域的技术人员可以理解的是,在不同规格的农场中,每列苗垄区域内可以包含一列玉米等作物、三列或三列以上的玉米等作物,因此,目标点集合的聚类类别的数量也可以相应的调整。由于本实施例中,以每列玉米等作物处于同一条直线上作为举例,因此,聚类后的同一列目标点集合中多个目标点之间的斜率基本相同,然而,在一些其他可选实施例中,同一类别的多个目标(该目标可以是玉米等作物,也可以是其他物体等)并不一定处于同一条直线,如处于同一条曲线或处于同一区域范围内等,因此,聚类后的同一类目标点集合中多个目标点也基本处于同一条曲线或处于同一区域范围内等,也就是说,本申请中,同一类目标点集合的聚类方式并不局限于以同一条直线的方式进行聚类,其还可以包括以同一条曲线或同一区域范围等方式进行聚类,在此不受限制。
其中一种可能的实现方式中,S703可以包括:
S803、对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
S804、对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
S805、基于多个所述坐标点,得到图像路线;
S806、将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
该拟合线可以包含直线、曲线如圆弧线、椭圆弧线、抛物线等。在本实施例中,考虑到同一列的目标点集合中所有目标点基本处于同一条直线上,因此,步骤S803中,对第一列目标点集合中所有目标点进行直线拟合或霍夫(hough)变换拟合等,得到第一拟合线,对第二列目标点集合中所有目标点进行直线拟合或霍夫(hough)变换拟合等,得到第二拟合线,其中,第一拟合点为在第一拟合线上的坐标点,第二拟合点为在第二拟合线上的坐标点。可以理解的是,通过已确定的同一类别目标点集合进行直线拟合或霍夫(hough)变换拟合等,得到对应于同列玉米等作物的拟合线,可有效提高抗干扰能力,简化计算过程,提高处理速度,可以有效地解决作物长势不一、缺苗、漏检或误检等因素对后续计算得到移动路线的影响。在一些其他可选实施例中,可以采用最小二乘法进行线性拟合等,在此不受限制。
同一维度可以包含同一行或同一列等。在本实施例中,考虑到苗垄区域以及行道区域沿列方向延伸,且行道区域位于相邻两列苗垄区域之间,第一拟合线与左侧苗垄区域第一列(如靠近该行道区域)玉米等作物相对应,第三拟合线与左侧苗垄区域第二列玉米等作物相对应,第二拟合线与右侧苗垄区域第一列玉米等作物相对应,第四拟合线与右侧苗垄区域第二列玉米等作物相对应。因此,在步骤S804中,可以对同一行的第一拟合点与第二拟合点进行计算,得到多个坐标点,该坐标点可以用于拟合得到图像路线。
具体地,该坐标点(Ai,Bi)可以为位于同一行的第一拟合点与第二拟合点之间的中间坐标点,如该坐标点可以由公式:
Ai=(x1i+x2i)/2,Bi=y1i=y2i计算得到;
其中,Ai为第i行坐标点的横坐标,Bi为第i行坐标点的纵坐标,x1i为第i行第一拟合点的横坐标,y1i为第i行第一拟合点的纵坐标,x2i为第i行第二拟合点的横坐标,y2i为第i行第二拟合点的纵坐标。
在步骤S805中,对多个坐标点进行直线拟合或或霍夫(hough)变换拟合等,得到图像路线,也就是说,该图像路线对应于上述行道区域。
在步骤S806中,按照上述坐标转换关系,将该图像路线的图像坐标转换为世界坐标,即可得到移动路线,该移动路线可以用于导航植保机。
其中一种可能的实现方式中,多个拟合线中还可以包含第三拟合线以及第四拟合线,第三拟合线通过对第三列目标点集合进行拟合得到,第四拟合线通过对第四列目标点集合进行拟合得到。利用上述第三拟合线以及上述第四拟合线对该图像路线进行校准,以得到校准后的图像路线,从而进一步提高移动路线的准确度。
具体地,步骤S805可以包括:
S901、对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
S902、判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
S903、根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
S904、对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
在步骤S901中,该校准点(Ci,Di)可以为处于第三拟合点与第四拟合点之间的中间坐标点。该校准点可以由公式:
Ci=(x3i+x4i)/2,Di=y3i=y4i计算得到;
其中,Ci为第i行坐标点的横坐标,Di为第i行坐标点的纵坐标,x3i为第i行第三拟合点的横坐标,y3i为第i行第三拟合点的纵坐标,x4i为第i行第四拟合点的横坐标,y4i为第i行第四拟合点的纵坐标。
在步骤S902中,对同一行(或纵坐标相等)的校准点与坐标点之间的间距进行计 算,得到间距L,其中,
Figure 611420DEST_PATH_IMAGE012
,其中,
Figure 689097DEST_PATH_IMAGE013
为第i行第一拟合点与第二拟合点之间的 中间坐标点的横坐标,
Figure 331431DEST_PATH_IMAGE014
为第i行第三拟合点与第四拟合点之间的中间坐标点的横坐标。该 间距阈值可以根据实际情况预先设定,或者根据多个上述坐标点或多个上述校准点计算得 到等。
在步骤S903中,以间距阈值为5为例,若L≤5,则保留该坐标点(即筛选后的坐标点),若L>5,则舍去该坐标点。
如图7所示为本申请一个实施例中图像路线305的二值图像202示意图,其中,该二值图像202中包含第一拟合线301、第二拟合线302、第三拟合线303以及第四拟合线304,该图像路线305位于第一拟合线301与第二拟合线302之间。
因此,在步骤S904中,利用筛选后的多个坐标点进行直线拟合或霍夫变换拟合,得到的图像路线的准确度更高,使得通过该图像路线转换得到的移动路线的准确度更高,从而减小了植保机的导航误差,有利于降低串行、轧苗或漏洒农药等现象发生。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
如图8所示为本申请移动控制方法一个实施例的方法示意图。如图8所示,上述移动控制方法应用于移动控制系统,所述方法包括:
S01、采集待处理图像;
S02、对所述待处理图像进行处理,获取移动路线;
S03、控制所述移动控制系统按照所述移动路线进行移动。
移动控制系统可以包含摄像装置,在移动控制装置移动过程中,摄像装置可以实时地拍摄得到多帧待处理图像。为指导该移动控制系统进行移动,在步骤S01中,该摄像装置可以朝向移动控制系统的前方、后方、左侧或右侧等方向进行拍摄得到待处理图像。
在步骤S02中,可以采用图1所示的方法实施例提供的图像处理方法对待处理图像进行处理,得到移动路线,具体步骤或原理可以参考上述图像处理方法,在此不再赘述。
在步骤S03中,该移动路线可以用于实时导航移动控制系统,在移动过程中,根据实时拍摄到的待处理图像可以实时调整该移动路线,进而调整移动控制系统的移动路径或方向等,实现自动驾驶功能。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
如图9所示为本申请图像处理装置100一个实施例的结构示意图,所述图像处理装置100包括:
图像获取模块110,用于获取待处理图像以及区域参数,所述待处理图像由摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;
区域提取模块120,用于基于所述区域参数,从所述待处理图像中提取到第一区域;
特征提取模块130,用于对所述第一区域进行特征提取,得到多个目标点;
路线获得模块140,用于基于多个所述目标点,获得移动路线。
其中一种可能的实现方式中,所述区域参数包括所述待识别区域的世界坐标,区域提取模块120还用于:
获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
其中一种可能的实现方式中,特征提取模块130还用于:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,所述待处理图像中包含所述摄像装置的位置,特征提取模块130还用于:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,特征提取模块130还用于:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
其中一种可能的实现方式中,特征提取模块130还用于:
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
其中一种可能的实现方式中,路线获得模块140还用于:
判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
基于多个类别的所述目标点集合,获得移动路线。
其中一种可能的实现方式中,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,路线获得模块140还用于:
从多个所述目标点中,选取到所述初始目标点;
判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
其中一种可能的实现方式中,路线获得模块140还用于:
对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
基于多个所述坐标点,得到图像路线;
将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
其中一种可能的实现方式中,多个所述拟合线中还包含第三拟合线以及第四拟合线,所述第三拟合线中包含多个第三拟合点,所述第四拟合线中包含多个第四拟合点,路线获得模块140还用于:
对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
可以理解的是,图9所示实施例提供的图像处理装置100可用于执行本申请图1所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
如图10所示为本申请移动控制装置200一个实施例的结构示意图,所述移动控制装置200包括:
图像采集模块210,用于采集待处理图像;
处理模块220,用于利用如图1所示方法实施例提供的所述方法对所述待处理图像进行处理,获取移动路线;
控制模块230,用于控制移动控制系统按照所述移动路线进行移动。
可以理解的是,图10所示实施例提供的移动控制装置200可用于执行本申请图8所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解图9所示的图像处理装置100或图10所述的移动控制装置200的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,控制模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些模块可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。
图11为本申请移动控制系统300一个实施例的结构示意图,如图11所示,上述移动控制系统300可以包括:图像采集装置310,用于采集图像;控制装置320,以及移动装置330,移动装置330用于受控于控制装置320,以移动操作。
控制装置320,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述系统执行时,使得所述系统执行以下步骤;
获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;
基于所述区域参数,从所述待处理图像中提取到第一区域;
对所述第一区域进行特征提取,得到多个目标点;
基于多个所述目标点,获得移动路线。
其中一种可能的实现方式中,所述区域参数包括所述待识别区域的世界坐标,当所述指令被所述系统执行时,使得所述系统执行所述基于所述区域参数,从所述待处理图像中提取到第一区域,包括:
获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统执行所述对所述第一区域进行特征提取,得到多个目标点,包括:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,所述待处理图像中包含所述摄像装置的位置,当所述指令被所述系统执行时,使得所述系统执行所述基于多个所述第二区域,得到多个所述目标点,包括:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统执行所述基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,包括:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统执行所述基于筛选后的所述第二区域,得到多个所述目标点,包括:
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统执行所述基于多个所述目标点,获得移动路线,包括:
判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
基于多个类别的所述目标点集合,获得移动路线。
其中一种可能的实现方式中,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,当所述指令被所述系统执行时,使得所述系统执行所述根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,包括:
从多个所述目标点中,选取到所述初始目标点;
判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统执行所述基于多个类别的所述目标点集合,获得移动路线,包括:
对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
基于多个所述坐标点,得到图像路线;
将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
其中一种可能的实现方式中,多个所述拟合线中还包含第三拟合线以及第四拟合线,所述第三拟合线中包含多个第三拟合点,当所述指令被所述系统执行时,使得所述系统执行所述第四拟合线中包含多个第四拟合点,所述基于多个所述坐标点,得到图像路线,包括:
对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
其中一种可能的实现方式中,当所述指令被所述系统执行时,使得所述系统还执行步骤:
采集待处理图像;
利用如图1所示方法实施例提供的所述方法对所述待处理图像进行处理,获取移动路线;
控制移动控制系统按照所述移动路线进行移动。
可以理解的是,图11所示实施例提供的移动控制系统300可用于执行本申请图1所示方法实施例的技术方案和/或图7所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
该移动控制系统300如植保机或自动驾驶车辆等。图像采集装置310如摄像装置,用于拍摄得到待处理图像。移动装置330可以包括车轮,摄像装置可以按照在车轮的上方位置,并朝向前进或后退方向进行拍摄等。
应理解,本实施例移动控制系统300可以包括其他不同类型的操作机构,以受控于所述控制装置320,执行不同的操作,在此不受限制。
应理解,控制装置可以被实施为控制电路,控制装置中的处理器可以是片上系统SOC,该处理器中可以包括中央处理器(Central Processing Unit;以下简称:CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(Graphics Processing Unit;以下简称:GPU)等。
图12为本申请电子设备一个实施例的结构示意图,如图12所示,上述电子设备可以包括:一个或多个处理器;存储器;以及一个或多个计算机程序。
其中,上述电子设备可以为植保机、自动驾驶车辆或内置于植保机或自动驾驶车辆中的电路设备等。
其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被上述设备执行时,使得上述设备执行以下步骤:
获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数;
基于所述区域参数,从所述待处理图像中提取到第一区域;
对所述第一区域进行特征提取,得到多个目标点;
基于多个所述目标点,获得移动路线。
其中一种可能的实现方式中,所述区域参数包括所述待识别区域的世界坐标,当上述指令被上述设备执行时,使得上述设备执行所述基于所述区域参数,从所述待处理图像中提取到第一区域,包括:
获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备执行所述对所述第一区域进行特征提取,得到多个目标点,包括:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,所述待处理图像中包含所述摄像装置的位置,当上述指令被上述设备执行时,使得上述设备执行所述基于多个所述第二区域,得到多个所述目标点,包括:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备执行所述基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,包括:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备执行所述基于筛选后的所述第二区域,得到多个所述目标点,包括:
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备执行所述基于多个所述目标点,获得移动路线,包括:
判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
基于多个类别的所述目标点集合,获得移动路线。
其中一种可能的实现方式中,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,当上述指令被上述设备执行时,使得上述设备执行所述根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,包括:
从多个所述目标点中,选取到所述初始目标点;
判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备执行所述基于多个类别的所述目标点集合,获得移动路线,包括:
对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
基于多个所述坐标点,得到图像路线;
将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
其中一种可能的实现方式中,多个所述拟合线中还包含第三拟合线以及第四拟合线,所述第三拟合线中包含多个第三拟合点,所述第四拟合线中包含多个第四拟合点,当上述指令被上述设备执行时,使得上述设备执行所述基于多个所述坐标点,得到图像路线,包括:
对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
其中一种可能的实现方式中,当上述指令被上述设备执行时,使得上述设备还执行步骤:
采集待处理图像;
利用如图1所示方法实施例提供的所述方法对所述待处理图像进行处理,获取移动路线;
控制移动控制系统按照所述移动路线进行移动。
该设备可以用于执行本申请图1所示实施例提供的图像处理方法和/或图7所示实施例提供的移动控制方法中的功能/步骤。
如图12所示,电子设备900包括处理器910和存储器920。其中,处理器910和存储器920之间可以通过内部连接通路互相通信,传递控制和/或数据信号,该存储器920用于存储计算机程序,该处理器910用于从该存储器920中调用并运行该计算机程序。
上述存储器920可以是只读存储器(read-only memory,ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory,RAM)或可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
上述处理器910可以和存储器920可以合成一个处理装置,更常见的是彼此独立的部件,处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时,该存储器920也可以集成在处理器910中,或者,独立于处理器910。
除此之外,为了使得电子设备900的功能更加完善,该电子设备900还可以包括传感器930、电源940、输入单元950等中的一个或多个。
可选地,电源940用于给电子设备中的各种器件或电路提供电源。
应理解,图12所示的电子设备900能够实现本申请图1或图7所示实施例提供的方法的各个过程。电子设备900中的各个模块的操作和/或功能,分别为了实现上述方法实施例中的相应流程。具体可参见本申请图1或图7所示方法实施例中的描述,为避免重复,此处适当省略详细描述。
应理解,图12所示的电子设备900中的处理器910可以是片上系统SOC,该处理器910中可以包括中央处理器(Central Processing Unit;以下简称:CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(Graphics Processing Unit;以下简称:GPU)等。
总之,处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程,且各部分处理器或处理单元相应的软件程序可存储在存储器920中。
本申请还提供一种电子设备,所述设备包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图1或图7所示实施例提供的方法。
以上各实施例中,涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units;以下简称:NPU)和图像信号处理器(Image Signal Processing;以下简称:ISP),该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储介质中。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图1或图7所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图1或图7所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法,应用于移动控制系统,其特征在于,所述移动控制系统包括摄像装置,所述方法包括:
获取待处理图像以及区域参数,所述待处理图像由所述摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数,其中,所述区域参数包括待识别区域的世界坐标;
基于所述区域参数,从所述待处理图像中提取到第一区域;
对所述第一区域进行特征提取,得到多个目标点;
基于多个所述目标点,获得移动路线;
所述对所述第一区域进行特征提取,得到多个目标点,包括:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点;
所述待处理图像中包含所述摄像装置的位置,所述基于多个所述第二区域,得到多个所述目标点,包括:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点;
所述基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,包括:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
2.根据权利要求1所述的方法,其特征在于,所述基于所述区域参数,从所述待处理图像中提取到第一区域,包括:
获取坐标转换关系,所述坐标转换关系用于表示所述摄像装置的世界坐标与图像坐标之间的转换关系;
基于所述坐标转换关系,将所述待识别区域的世界坐标转换为所述待识别区域的图像坐标;
对所述待处理图像中与所述待识别区域的图像坐标相对应的区域进行提取,得到第一区域。
3.根据权利要求1所述的方法,其特征在于,所述基于筛选后的所述第二区域,得到多个所述目标点,包括:
判断所述第二区域的重心点是否处于所述第二区域的最小外接矩形框内;
若所述第二区域的重心点处于所述第二区域的最小外接矩形框内,则获取所述第二区域的重心点与最小外接矩形框的中心点之间的第二距离;
判断所述第二距离是否小于或等于距离阈值,根据判断结果,得到多个目标点,其中,所述目标点中包含所述重心点处于所述最小外接矩形框内且所述第二距离小于或等于所述距离阈值的所述第二区域的重心点。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于多个所述目标点,获得移动路线,包括:
判断多个所述目标点之间的斜率差值是否小于或等于斜率阈值;
根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,其中,同一类别的所述目标点集合中包含所述斜率差值小于或等于所述斜率阈值的多个所述目标点;
基于多个类别的所述目标点集合,获得移动路线。
5.根据权利要求4所述的方法,其特征在于,每个类别的所述目标点集合中包含初始目标点以及多个同类别目标点,所述根据判断结果,对多个所述目标点进行聚类,得到多个类别的目标点集合,包括:
从多个所述目标点中,选取到所述初始目标点;
判断所述初始目标点分别与多个其他所述目标点之间的斜率差值是否小于或等于斜率阈值,根据判断结果,确定出多个所述同类别目标点,其中,所述初始目标点与多个所述同类别目标点之间的斜率差值小于或等于所述斜率阈值。
6.根据权利要求4所述的方法,其特征在于,所述基于多个类别的所述目标点集合,获得移动路线,包括:
对每个类别的所述目标点集合进行线性拟合,得到多个拟合线,其中,多个所述拟合线中包含第一拟合线以及第二拟合线,其中,所述第一拟合线中包含多个第一拟合点,所述第二拟合线中包含多个第二拟合点;
对同一维度的所述第一拟合点与所述第二拟合点进行计算,得到多个坐标点;
基于多个所述坐标点,得到图像路线;
将所述图像路线的图像坐标转换为世界坐标,得到移动路线。
7.根据权利要求6所述的方法,其特征在于,多个所述拟合线中还包含第三拟合线以及第四拟合线,所述第三拟合线中包含多个第三拟合点,所述第四拟合线中包含多个第四拟合点,所述基于多个所述坐标点,得到图像路线,包括:
对同一维度的所述第三拟合点与所述第四拟合点进行计算,得到多个校准点;
判断同一维度的所述校准点与所述坐标点之间的间距是否小于或等于间距阈值;
根据判断结果,对多个所述坐标点进行筛选,得到筛选后的多个所述坐标点,其中,筛选后的所述坐标点与同一维度的所述校准点之间的间距小于或等于所述间距阈值;
对筛选后的多个所述坐标点进行线性拟合,得到图像路线。
8.一种移动控制方法,应用于移动控制系统,其特征在于,所述方法包括:
采集待处理图像;
利用如权利要求1至7任一项所述的方法对所述待处理图像进行处理,获取移动路线;
控制所述移动控制系统按照所述移动路线进行移动。
9.一种图像处理装置,其特征在于,所述图像处理装置包括:
图像获取模块,用于获取待处理图像以及区域参数,所述待处理图像由摄像装置对拍摄区域进行拍摄得到,所述区域参数用于表示所述拍摄区域内的待识别区域参数,其中,所述区域参数包括待识别区域的世界坐标;
区域提取模块,用于基于所述区域参数,从所述待处理图像中提取到第一区域;
特征提取模块,用于对所述第一区域进行特征提取,得到多个目标点;
路线获得模块,用于基于多个所述目标点,获得移动路线;
所述特征提取模块还用于:
对所述第一区域内每个像素点的多个颜色分量进行比较;
根据比较结果,对所述第一区域内的像素点进行筛选,得到筛选后的所述第一区域;
对筛选后的所述第一区域进行目标提取,得到多个第二区域;
基于多个所述第二区域,得到多个所述目标点;
所述待处理图像中包含所述摄像装置的位置,所述特征提取模块还用于:
获取每个所述第二区域与所述摄像装置的位置之间的第一距离;
基于所述第一距离,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域;
基于筛选后的所述第二区域,得到多个所述目标点;
所述特征提取模块还用于:
获取多个距离范围以及与每个所述距离范围相对应的矩形框范围;
根据所述第一距离与所述距离范围的大小,确定到与所述第二区域相对应的目标矩形框范围;
对所述第二区域的最小外接矩形框与相对应的所述目标矩形框范围进行比较,根据比较结果,对多个所述第二区域进行筛选,得到筛选后的多个所述第二区域,其中,筛选后的所述第二区域中包含所述最小外接矩形框处于相对应的所述目标矩形框范围内的所述第二区域。
10.一种移动控制装置,其特征在于,所述移动控制装置包括:
图像采集模块,用于采集待处理图像;
处理模块,用于利用如权利要求1至7任一项所述的方法对所述待处理图像进行处理,获取移动路线;
控制模块,用于控制移动控制系统按照所述移动路线进行移动。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行如权利要求1至7或8任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1至7或8任一项所述的方法。
13.一种移动控制系统,其特征在于,包括:
图像采集装置,用于采集待处理图像;
控制装置,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述系统执行时,使得所述系统执行如权利要求1至7或8任一项所述的方法;
移动装置,用于受控于所述控制装置,以执行移动操作。
CN202210076189.7A 2022-01-24 2022-01-24 图像处理方法、移动控制方法以及移动控制系统 Active CN114092822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210076189.7A CN114092822B (zh) 2022-01-24 2022-01-24 图像处理方法、移动控制方法以及移动控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076189.7A CN114092822B (zh) 2022-01-24 2022-01-24 图像处理方法、移动控制方法以及移动控制系统

Publications (2)

Publication Number Publication Date
CN114092822A CN114092822A (zh) 2022-02-25
CN114092822B true CN114092822B (zh) 2022-07-26

Family

ID=80309125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076189.7A Active CN114092822B (zh) 2022-01-24 2022-01-24 图像处理方法、移动控制方法以及移动控制系统

Country Status (1)

Country Link
CN (1) CN114092822B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114577232A (zh) * 2022-03-08 2022-06-03 广东皓行科技有限公司 一种差分信号丢失的车辆自动导航方法及装置
CN115722491B (zh) * 2022-11-01 2023-09-01 智能网联汽车(山东)协同创新研究院有限公司 一种表面加工除尘用控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175360A1 (ja) * 2016-04-07 2017-10-12 株式会社日立製作所 制御システムおよび制御装置
CN112560713A (zh) * 2020-12-18 2021-03-26 广东智源机器人科技有限公司 图像识别方法、装置、设备以及烹饪系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184296A (zh) * 2015-07-29 2015-12-23 深圳一电科技有限公司 图像处理方法和装置
CN105279511B (zh) * 2015-10-20 2020-04-07 浙江宇视科技有限公司 基于颜色时变特征的交通信号灯重定位方法及装置
WO2021184289A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 对象解算、绕点飞行方法及设备
CN113252027B (zh) * 2021-06-21 2021-10-01 中南大学 井下无人驾驶车辆局部路径规划方法、装置、设备及存储介质
CN113568435B (zh) * 2021-09-24 2021-12-24 深圳火眼智能有限公司 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN113963330A (zh) * 2021-10-21 2022-01-21 京东鲲鹏(江苏)科技有限公司 障碍物检测方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175360A1 (ja) * 2016-04-07 2017-10-12 株式会社日立製作所 制御システムおよび制御装置
CN112560713A (zh) * 2020-12-18 2021-03-26 广东智源机器人科技有限公司 图像识别方法、装置、设备以及烹饪系统

Also Published As

Publication number Publication date
CN114092822A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110243372B (zh) 基于机器视觉的智能农机导航系统及方法
CN114092822B (zh) 图像处理方法、移动控制方法以及移动控制系统
RU2571918C2 (ru) Способ выявления структуры в поле, способ рулевого управления сельскохозяйственным транспортным средством и сельскохозяйственное транспортное средство
Vong et al. Early corn stand count of different cropping systems using UAV-imagery and deep learning
Chen et al. Extracting the navigation path of a tomato-cucumber greenhouse robot based on a median point Hough transform
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
CN114239756B (zh) 一种虫害检测方法及系统
CN112395984B (zh) 一种用于无人驾驶农业机械的苗列导航线检测方法
Ospina et al. Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN113778081A (zh) 一种基于激光雷达和视觉的果园路径识别方法和机器人
Liu et al. Recognition method of maize crop rows at the seedling stage based on MS-ERFNet model
Xie et al. Multi-feature detection of in-field grain lodging for adaptive low-loss control of combine harvesters
Zhang et al. Feasibility assessment of tree-level flower intensity quantification from UAV RGB imagery: a triennial study in an apple orchard
CN114966733B (zh) 基于激光阵列和单目摄像机的肉牛立体深度图像采集系统
CN111815612A (zh) 一种基于物联网的红枣病虫预测系统
CN115294482B (zh) 一种基于无人机遥感图像的食用菌产量估算方法
CN111179303B (zh) 基于粒子滤波的谷物收获机器人视觉导航方法及其应用
WO2023276228A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2023276227A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2023120182A1 (ja) 農業機械
WO2023120183A1 (ja) 農業機械
WO2024095993A1 (ja) 列検出システム、列検出システムを備える農業機械、および列検出方法
Zhang et al. Novel method for the visual navigation path detection of jujube harvester autopilot based on image processing
CN114485612B (zh) 路线生成方法、装置、无人作业车、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant