CN115239631A - 工程机械路边缘定位方法、路边缘定位装置和工程机械 - Google Patents

工程机械路边缘定位方法、路边缘定位装置和工程机械 Download PDF

Info

Publication number
CN115239631A
CN115239631A CN202210724564.4A CN202210724564A CN115239631A CN 115239631 A CN115239631 A CN 115239631A CN 202210724564 A CN202210724564 A CN 202210724564A CN 115239631 A CN115239631 A CN 115239631A
Authority
CN
China
Prior art keywords
road edge
detection module
positioning
information
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210724564.4A
Other languages
English (en)
Inventor
罗石
阳辉勇
钟辉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Sanyi Huayuan Machinery Co
Original Assignee
Hunan Sanyi Huayuan Machinery Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Sanyi Huayuan Machinery Co filed Critical Hunan Sanyi Huayuan Machinery Co
Priority to CN202210724564.4A priority Critical patent/CN115239631A/zh
Publication of CN115239631A publication Critical patent/CN115239631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明属于工程机械技术领域,具体涉及一种工程机械路边缘定位方法、路边缘定位装置及工程机械。工程机械路边缘定位方法包括:获取路边缘的粗略位置信息;根据路边缘的粗略位置信息,调整检测模块与路边缘的相对位置;获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。通过本发明的技术方案,优化了路边缘检测的方式和过程,能够确定路边缘的精确位置,检测装置和方法简单高效,能够实现高精度的检测结果,以满足工程机械厘米级的施工需求,且检测方法和装置抗干扰能力强,检测结果准确性高,能够适用于施工现场的复杂环境。

Description

工程机械路边缘定位方法、路边缘定位装置和工程机械
技术领域
本发明属于工程机械技术领域,具体涉及工程机械路边缘定位方法、路边缘定位装置和工程机械。
背景技术
目前,在路面工程机械施工过程中,涉及到路边缘附近的区域,施工作业难度较大,对操作人员的操作技术和作业经验要求较高,增加了劳动强度,也影响整体的施工效率。为此,现有的一些工程机械制造商提供了具有路边缘检测功能的路面工程机械,例如,采用GPS(Global Positioning System,全球定位系统)+RTK(Real-time kinematic,实时动态载波相位差分技术)双重定位技术、采用图像采集和处理技术等,以检测路边缘的位置。但在上述技术方案中,检测结果的精度不高,误差仍然较大,难以实现厘米级精度的施工需求,且上述技术方案中检测结果容易受施工现场的环境影响,抗干扰能力差。
发明内容
有鉴于此,为改善现有技术中所存在的上述问题中的至少一个,本发明提供了工程机械路边缘定位方法、路边缘定位装置和工程机械。
本发明的第一方面提供一种工程机械路边缘定位方法,工程机械路边缘定位方法包括:
步骤S100:获取路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息;
其中,检测模块可移动设置,检测模块用于获取路边缘的粗略位置信息、红外深度图像信息、以及检测模块的定位信息,定位信息包括第一定位信息。
本发明上述技术方案中的有益效果体现在:
优化了路边缘检测定位的方式和过程,通过不同在不同的位置和不同的时间分别对路边缘进行不同的检测操作,利用路边缘的粗略位置信息和红外深度图像相结合,进而确定路边缘的精确位置信息,检测装置和方法简单高效,能够实现高精度的检测结果,满足工程机械厘米级的施工需求,且抗干扰能力强,准确性高,能够适用于施工现场的复杂环境。
在一种可行的实现方式中,检测模块包括第一检测单元和定位单元;其中,定位单元适于检测检测模块的定位信息,定位信息还包括第二定位信息;
步骤S100:获取路边缘的粗略位置信息,包括:
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息。
在一种可行的实现方式中,第一检测单元包括RGB相机(RGB为一种颜色标准,通过对红R、绿G、蓝B三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色);
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置,包括:
步骤S111:通过RGB相机获取路边缘的第一图像信息;
步骤S112:通过语义分割算法对第一图像信息进行分析,确定第一图像信息中的路面区域与非路面区域;
步骤S113:根据路面区域与非路面区域的分界线,确定路边缘相对于检测模块的第一相对位置;或
第一检测单元包括激光雷达;
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置,包括:
步骤S115:通过激光雷达检测路边缘与检测模块之间的距离信息;
步骤S116:根据距离信息确定路边缘相对于检测模块的第一相对位置。
在一种可行的实现方式中,步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘的相对位置,包括:
步骤S210:根据路边缘的粗略位置信息,控制检测模块移动至路边缘的正上方或接近正上方的位置。
在一种可行的实现方式中,检测模块还包括第二检测单元,第二检测单元包括双目红外相机;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息,包括:
步骤S310:调整第二检测单元的姿态,使双目红外相机的左右视差图深度差分度为预设角度;
步骤S320:通过双目红外相机拍摄路边缘的图像,并生成红外深度图像信息;
步骤S330:通过定位单元获取检测模块的第一定位信息。
在一种可行的实现方式中,步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息,包括:
步骤S410:根据第一定位信息确定检测模块相对于工程机械的第一坐标;
步骤S420:根据红外深度图像信息确定路边缘相对于检测模块的第二坐标;
步骤S430:根据第一坐标和第二坐标,确定路边缘相对于工程机械的精确位置信息。
在一种可行的实现方式中,步骤S420:根据红外深度图像信息确定路边缘相对于检测模块的第二坐标,包括:
步骤S421:采用canny算子提取红外深度图像信息中路边缘的轮廓线条,并确定轮廓线条中的点相对于检测模块的第二坐标;
其中,canny算子是由John F.Canny提出的多级边缘检测算法;精确位置信息包括路边缘相对于工程机械的横向距离、以及路边缘的延伸方向与工程机械的行驶方向之间的夹角。
本发明的第二方面还提供了一种路边缘定位装置,包括:支撑架;检测模块,与支撑架活动连接,检测模块包括第一检测单元、第二检测单元和定位单元;其中,第二检测单元包括双目红外相机;驱动机构,与检测模块传动连接,驱动机构能够驱动检测模块沿支撑架的延伸方向移动,并能够调整检测模块的姿态;控制器,与检测模块和驱动机构通信连接,以控制检测模块和驱动机构工作,并执行上述第一方面任一项中的工程机械路边缘定位方法。
在一种可行的实现方式中,支撑架上设有滑轨结构和滑块,滑块与滑轨结构滑动连接;驱动机构包括直线电机和伺服电机,直线电机设于支撑架上,并与滑块传动连接;检测模块和伺服电机均设于滑块上,且伺服电机与检测模块传动连接,以驱动检测模块转动;其中,检测模块还包括照明单元。
本发明的第三方面还提供了一种工程机械,包括:车体;上述第二方面任一项中的路边缘定位装置,路边缘定位装置的支撑架沿车体的横向方向设置,并与车体相连接。
其中,工程机械包括但不限于压路机等需要进行贴边作业的机械设备。
本发明的第四方面还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述第一方面任一项中的工程机械路边缘定位方法。
本发明的第五方面还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任一项中的工程机械路边缘定位方法。
附图说明
图1所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图2所示为本发明一个实施例提供的一种路边缘定位装置的示意图。
图3所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图4所示为本发明一个实施例提供的一种路边缘定位装置的检测模块的示意框图。
图5所示为本发明一个实施例提供的一种路边缘定位装置的部分结构的示意图。
图6所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图7所示为本发明一个实施例提供的一种路边缘定位装置的检测模块的示意图。
图8所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图9所示为本发明一个实施例提供的一种路边缘定位装置的部分结构的示意图。
图10所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图11所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图12所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图13所示为本发明一个实施例提供的一种工程机械路边缘定位方法的流程示意图。
图14所示为本发明一个实施例提供的一种路边缘定位装置的示意框图。
图15所示为本发明一个实施例提供的一种路边缘定位装置的检测模块的示意图。
图16所示为本发明一个实施例提供的一种工程机械的示意图。
具体实施方式
本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后、顶、底……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下提供了本发明的技术方案中的该工程机械路边缘定位方法、路边缘定位装置和工程机械的一些实施例。
在本发明的第一方面的实施例中提供了一种工程机械路边缘定位方法,如图1所示,工程机械路边缘定位方法包括:
步骤S100:获取路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,工程机械路边缘定位方法可以应用于具有可移动的检测模块的路边缘定位装置。如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。检测模块用于获取路边缘的粗略位置信息、红外深度图像信息、以及检测模块自身的定位信息,定位信息包括第一定位信息。此外,工程机械包括但不限于压路机等需要进行贴边作业的机械设备,下文实施例中的情况与本实施例类似,下文中不再赘述。
在本实施例中的工程机械路边缘定位方法中,通过步骤S100,先检测路边缘的粗略位置信息,以确定路边缘相对于工程机械的大致位置,以作为调整路边缘定位装置的检测模块位置的初步依据;然后通过步骤S200,对检测模块进行位置调整,使检测模块移动至与路边缘相对的位置,以为进一步的精确检测操作提供条件。通过步骤S300,获取路边缘的红外深度图像信息,作为进一步进行图像处理和分析的数据基础,同时获取检测模块的第一定位信息(即检测模块当前的定位信息),以作为确定路边缘精确位置的依据;通过步骤S400,根据对红外深度图像信息的处理和分析结果,得出路边缘与检测模块的相对位置,结合检测模块的第一定位信息,从而确定出路边缘相对于工程机械的精确位置信息。
本实施例中的工程机械路边缘定位方法,优化了路边缘检测定位的方式和过程,采用路边缘的粗略位置信息和红外深度图像信息相结合的方式确定路边缘的精确位置信息,检测装置和方法简单高效,能够实现高精度的检测结果,以满足工程机械厘米级的施工需求。其中,采用的红外深度图像抗干扰能力强,准确性高,能够适用于施工现场的复杂环境。
进一步地,在本发明的一个实施例中提供了一种工程机械路边缘定位方法,如图3所示,工程机械路边缘定位方法包括:
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图5所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,第二检测单元包括双目红外相机,用于拍摄路边缘的红外深度图像,以获取红外深度图像信息;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S100做了进一步改进。通过步骤S110,利用第一检测单元检测路边缘相对于检测模块的位置,以获取第一相对位置;通过步骤S120,利用定位单元获取检测模块的第二定位信息(即检测模块的初始定位信息);进而通过步骤S130,以第一相对位置和第二定位信息为依据,确定路边缘相对于工程机械的粗略位置信息,以作为后续对检测模块进行位置调整操作的依据。
可以理解,第一检测单元是在检测模块处于初始位置时进行检测,检测距离相对较远,所得到的检测结果的精度尚未到达厘米级,因而是路边缘的粗略位置信息,仅作为后续精确检测操作之前的初始数据。
进一步地,在本发明的一个实施例中提供了一种工程机械路边缘定位方法,如图6所示,工程机械路边缘定位方法包括:
步骤S111:通过RGB相机获取路边缘的第一图像信息;
步骤S112:通过语义分割算法对第一图像信息进行分析,确定第一图像信息中的路面区域与非路面区域;
步骤S113:根据路面区域与非路面区域的分界线,确定路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图5所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,如图7所示,第一检测单元包括RGB相机(RGB为一种颜色标准,通过对红R、绿G、蓝B三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色);第二检测单元包括双目红外相机,用于拍摄路边缘的红外深度图像,以获取红外深度图像信息;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S110做了进一步改进。通过步骤S111,采用第一检测单元的RGB相机拍摄路边缘的RGB图像,以获取第一图像信息,RGB图像采用了目前广泛应用的RGB颜色标准,有利于后续图像处理和分析操作。通过步骤S112,采用语义分割算法对第一图像信息进行分析和处理,从而确定第一图像信息中的路面区域和非路面区域,可以实现神经网络训练,相对于传统的图像算法而言,泛化能力更强,鲁棒性更高,有利于提高准确性和精确度。然后通过步骤S113,利用第一图像信息中的路面区域与非路面区域的分界线拟合路边缘的轮廓,进而确定路边缘在图像中的位置,从而通过图像分析确定路边缘相对于检测模块的第一相对位置。
需要说明的是,第一检测单元不限于通过RGB相机进行检测,也可以采用其他的检测器件,例如可以采用激光雷达。以下为第一检测单元采用激光雷达作为检测器件时的一个实施例,如图8所示,工程机械路边缘定位方法包括:
步骤S115:通过激光雷达检测路边缘与检测模块之间的距离信息;
步骤S116:根据距离信息确定路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图9所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,第一检测单元包括激光雷达;第二检测单元包括双目红外相机;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S110做了进一步改进。通过步骤S115,采用激光雷达直接检测路边缘相对于检测模块的距离,进而通过步骤S116,通过检测得到的距离信息计算得出路边缘相对于检测模块的第一相对位置。采用激光雷达检测操作相对简单,无需进行图像分析和处理操作;由于第一相对位置仅作为确定路边缘的粗略位置信息的依据,因而激光雷达所得到的检测结果的精确度不会对最终的精确检测造成影响。
进一步地,在本发明的一个实施例中提供了一种工程机械路边缘定位方法,如图10所示,工程机械路边缘定位方法包括:
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S210:根据路边缘的粗略位置信息,控制检测模块移动至路边缘的正上方或接近正上方的位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图5所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,第二检测单元包括双目红外相机,用于拍摄路边缘的红外深度图像,以获取红外深度图像信息;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S200做了进一步改进。通过步骤S210,以路边缘的粗略位置信息为参照,作为检测模块的初始位置,以控制检测模块移动至路边缘的正上方或接近正上方的位置,以使检测模块位于路边缘的较佳的拍摄位置,有利于提高后续检测操作中所拍摄的红外深度图像的成像效果。其中,检测模块移动至目标位置时,可以通过后续对检测模块的姿态调整操作进一步校正拍摄角度。
其中,路边缘的正上方的位置可以理解为:检测模块移动至该位置时,检测模块与路边缘当前拍摄位置之间的连线垂直于大地;路边缘的接近正上方的位置可以理解为:检测模块移动至该位置时,检测模块与路边缘当前拍摄位置之间的连线相对大地的倾斜角度落在不大于5°的范围内。下文实施例中的情况与此相同,后续不再赘述。
进一步地,在本发明的一个实施例中提供了一种工程机械路边缘定位方法,如图11所示,工程机械路边缘定位方法包括:
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S310:调整第二检测单元的姿态,使双目红外相机的左右视差图深度差分度为预设角度;
步骤S320:通过双目红外相机拍摄路边缘的图像,并生成红外深度图像信息;
步骤S330:通过定位单元获取检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图5所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,第二检测单元包括双目红外相机;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S300做了进一步改进。由于在步骤S300之前,检测模块已经移动至路边缘的正上方或接近正上方的位置。此时,通过步骤S310,对第二检测单元进行姿态调整操作,以改变双目红外相机的拍摄角度,使得双目红外相机的左右视差图深度差分度达到预设角度,以符合拍摄红外深度图像的角度要求。其中,较优地,预设角度可以取左右5°以内双目红外相机视差图深度差分度最大角度。进而通过步骤S320,双目红外相机拍摄路边缘的图像,以生成红外深度图像信息,作为后续图像处理和分析的依据。然后通过定位单元获取检测模块的第一定位信息(即检测模块当前的定位信息)。
进一步地,在本发明的一个实施例中提供了一种工程机械路边缘定位方法,如图12所示,工程机械路边缘定位方法包括:
步骤S110:通过第一检测单元获取路边缘相对于检测模块的第一相对位置;
步骤S120:通过定位单元获取检测模块的第二定位信息;
步骤S130:根据第一相对位置和第二定位信息,确定路边缘的粗略位置信息;
步骤S200:根据路边缘的粗略位置信息,调整检测模块与路边缘之间的相对位置;
步骤S300:获取路边缘的红外深度图像信息、以及检测模块的第一定位信息;
步骤S400:根据红外深度图像信息和第一定位信息,确定路边缘的精确位置信息。
其中,如图2所示,路边缘定位装置可以装配于工程机械上,检测模块可以相对于工程机械进行移动,以实现位置调整。如图4和图5所示,检测模块包括第一检测单元、第二检测单元和定位单元。具体地,第二检测单元包括双目红外相机,用于拍摄路边缘的红外深度图像,以获取红外深度图像信息;定位单元用于对检测模块进行定位,以获取检测模块的定位信息,定位信息包括第一定位信息和第二定位信息。
在本实施例中,对上述实施例中的步骤S400做了进一步改进。在获取了路边缘的和红外深度图像信息和第一定位信息后,通过步骤S410,确定检测模块相对于工程机械的第一坐标;进而通过步骤S420,对红外深度图像信息进行处理和分析,确定路边缘相对于检测模块的第二坐标;然后通过步骤S430,将第一坐标和第二坐标相结合,通过运算得出路边缘相对于工程机械的坐标,从而确定路边缘的精确位置信息。其中,第一坐标和第二坐标均为三维坐标。
由于红外深度图像的成像效果更佳,且能够在具有灰尘、烟雾、光线条件较差的环境下应用,抗干扰性更强,准确性和精确度更高。
更进一步地,如图13中示出的工程机械路边缘定位方法中,对步骤S420做了进一步改进。通过步骤S421,采用canny算子(由John F.Canny提出的多级边缘检测算法)提取红外深度图像信息中的路边缘的轮廓线条,进而确定轮廓线条中的点相对于检测模块的第二坐标,不仅可以确定路边缘中每个点与工程机械之间的横向距离,还可以通过轮廓线条中所有点的第二坐标的集合,确定出路边缘的延伸方向,进而得出路边缘的延伸方向与工程机械的行驶方向之间的夹角(即航向角)。其中,canny算子具有抗噪能力强、适用于不同的场合、边缘点能够被很好地定位等优点。
通过上述步骤可以得到动态的路边缘的精确位置信息,可以为工程机械的进一步施工操作提供精确参照,可以使工程机械的行驶轨迹与路边缘相契合,有效防止工程机械在施工过程中发生跨越路边缘或碰撞路沿石的现象,有利于提高施工质量和效率。
在本发明第二方面的实施例中还提供了一种路边缘定位装置1,如图2和图14所示,路边缘定位装置1包括支撑架11、检测模块12、驱动机构13和控制器14。
支撑架11作为路边缘定位装置1的安装基体,检测模块12和驱动机构13均设置在支撑架11上;在装配时,可以通过支撑架11与工程机械进行连接。检测模块12与支撑架11活动连接,可以相对于支撑架11进行移动,以调整检测模块12相对于工程机械的距离,从而将检测模块12调整至与路边缘相对的位置,以提高检测结果的准确性和精确度。驱动机构13与检测模块12传动连接,以驱动检测模块12移动,例如检测模块12可以沿支撑架11的延伸方向移动,同时,驱动机构13还能够驱动检测模块12进行姿态调整,以改变检测角度。控制器14与检测模块12和驱动机构13通信连接,以控制检测模块12和驱动机构13工作,并执行上述第一方面任一实施例中的工程机械路边缘定位方法,以确定路边缘的精确位置。
其中,如图4和图5所示,检测模块12具体包括第一检测单元121、第二检测单元122和定位单元123,且第一检测单元121、第二检测单元122和定位单元123均与控制器14通信连接。定位单元123能够获取检测模块12相对于工程机械的定位信息;第一检测单元121用于检测路边缘的粗略位置信息;控制器14根据路边缘的粗略位置信息控制驱动机构13工作,以使检测模块12移动至与路边缘相对的位置。第二检测单元122包括双目红外相机1221,用于获取路边缘的红外深度图像信息,控制器14通过对红外深度图像信息进行处理和分析,结合检测模块12的定位信息,确定路边缘的精确位置信息。
本实施例中的路边缘定位装置1,结构简单高效,抗干扰能力强,准确性高,能够适用于施工现场的复杂环境(例如灰尘、烟雾、光线差等环境)。其中,检测模块12中具有不同的检测单元,可以分别对路边缘进行检测,以先确定路边缘的粗略位置信息,再通过粗略位置信息和红外深度图像信息相结合确定路边缘的精确位置信息,能够实现高精度的检测结果,以满足工程机械厘米级的施工需求,能够为工程机械的施工作业提供高效的指导,有利于提高施工质量和效率,同时能够降低施工过程对操作人员的经验依赖,降低操作难度和劳动强度。
需要说明的是,定位单元123具体可以是GPS定位装置。控制器14可以设置在支撑架11上或集成在检测模块12中,当然也可以设置在工程机械的车体中。此外,控制器14还可以是工程机械自带的行车电脑。
进一步地,如图2和图5所示,支撑架11设有滑轨结构112和滑块113。滑轨结构112沿支撑架11的延伸方向设置,滑块113与滑轨结构112滑动连接。驱动机构13具体包括直线电机131和伺服电机132,检测模块12和伺服电机132均连接于滑块113上。直线电机131设置在支撑架11上,并与滑块113传动连接,以驱动滑块113沿滑轨结构112进行滑动,带动检测模块12移动;伺服电机132与检测模块12传动连接,以驱动检测模块12转动,从而调整检测模块12的姿态。
进一步地,如图7所示,第一检测单元121包括RGB相机1211,第二检测单元122包括双目红外相机1221。
在另一种实现方式中,如图9所示,第一检测单元121包括激光雷达1212,第二检测单元122包括双目红外相机1221。
更进一步地,如图15所示,检测模块12还包括照明单元124,具体地,照明单元124可以包括一个或多个补光灯。
此外,本实施例中的路边缘定位装置1还具有上述第一方面任一实施例中的工程机械路边缘定位方法的全部有益效果,在此不再赘述。
在本发明的第三方面的实施例中还提供了一种工程机械2。如图2、图14和图16所示,工程机械2包括车体21和上述第二方面任一实施例中的路边缘定位装置1。其中,路边缘定位装置1的支撑架11与车体21相连接,并沿车体21的横向方向设置,以使路边缘定位装置1的检测模块12能够相对于车体21进行横向移动,以便于对路边缘进行定位检测,此时,支撑架的延伸方向沿车体的横向方向设置。路边缘定位装置1的控制器14控制检测模块12和驱动机构13工作,以实现上述第一方面任一实施例中的工程机械路边缘定位方法,从而确定路边缘的精确位置信息,以为工程机械2的驾驶和操作提供指导,有利于提高工程机械2的施工质量和效率,同时能够降低工程机械2的操作难度和操作人员的劳动强度。
进一步地,本实施例中的工程机械2也可以在车体21横向方向的两侧分别设置一个路边缘定位装置1,以分别对车体21左右两侧的路边缘进行检测定位。
在另一种实现方式中,也可以调整路边缘定位装置1的安装位置以及支撑架11的尺寸,使得支撑架11的两端分别由车体21横向上的两侧伸出,使得检测模块12能够沿支撑架11向车体21的两端移动,以对车体21横向上两侧的路边缘进行检测定位。
此外,本实施例中的工程机械2还具有上述第二方面任一实施例中的路边缘定位装置1以及上述第一方面任一实施例中的工程机械路边缘定位方法的全部有益效果,在此不再赘述。
需要说明的是,本实施例中的工程机械2包括但不限于压路机等需要进行贴边作业的机械设备。
本发明的一个实施例中提供了一种电子设备。电子设备包括处理器和存储器,其中,存储器中存储有适于在处理器中运行的计算机程序。当处理器运行存储器中的计算机程序时,能够实现上述任一实施例中的工程机械路边缘定位方法。进一步地,电子设备还可以设置通信接口和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信。本实施例中的电子设备具有上述任一实施例中的工程机械路边缘定位方法的全部有益效果,在此不再赘述。
需要说明的是,上述实施例中的存储器中的计算机程序可以通过软件功能单元的形式实现。当通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的工程机械路边缘定位方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另外,本发明的一个实施例中还提供了一种可读存储介质,可读存储介质中存储有计算机程序,当该计算机程序被处理器执行时实现上述任一实施例中的工程机械路边缘定位方法。因而,本实施例中的可读存储介质具有上述任一实施例中的工程机械路边缘定位方法的全部有益效果,在此不再赘述。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,在本发明中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。还需要指出的是,在本发明的装置和设备中,各部件是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
本发明中的计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
本发明中的可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不意图被限制到在此示出的方面,而是按照与在此发明的原理和新颖的特征一致的最宽范围。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种工程机械路边缘定位方法,其特征在于,所述工程机械路边缘定位方法包括:
步骤S100:获取路边缘的粗略位置信息;
步骤S200:根据所述路边缘的粗略位置信息,调整检测模块与所述路边缘之间的相对位置;
步骤S300:获取所述路边缘的红外深度图像信息、以及所述检测模块的第一定位信息;
步骤S400:根据所述红外深度图像信息和所述第一定位信息,确定所述路边缘的精确位置信息;
其中,所述检测模块可移动设置,所述检测模块用于获取路边缘的粗略位置信息、红外深度图像信息、以及所述检测模块的定位信息,所述定位信息包括所述第一定位信息。
2.根据权利要求1所述的工程机械路边缘定位方法,其特征在于,
所述检测模块包括第一检测单元和定位单元;其中,所述定位单元适于检测所述检测模块的所述定位信息,所述定位信息还包括第二定位信息;
所述步骤S100:获取路边缘的粗略位置信息,包括:
步骤S110:通过所述第一检测单元获取所述路边缘相对于所述检测模块的第一相对位置;
步骤S120:通过所述定位单元获取所述检测模块的所述第二定位信息;
步骤S130:根据所述第一相对位置和所述第二定位信息,确定所述路边缘的粗略位置信息。
3.根据权利要求2所述的工程机械路边缘定位方法,其特征在于,
所述第一检测单元包括RGB相机;
所述步骤S110:通过所述第一检测单元获取所述路边缘相对于所述检测模块的第一相对位置,包括:
步骤S111:通过所述RGB相机获取所述路边缘的第一图像信息;
步骤S112:通过语义分割算法对所述第一图像信息进行分析,确定所述第一图像信息中的路面区域与非路面区域;
步骤S113:根据所述路面区域与所述非路面区域的分界线,确定所述路边缘相对于所述检测模块的第一相对位置;或
所述第一检测单元包括激光雷达;
所述步骤S110:通过所述第一检测单元获取所述路边缘相对于所述检测模块的第一相对位置,包括:
步骤S115:通过所述激光雷达检测所述路边缘与所述检测模块之间的距离信息;
步骤S116:根据所述距离信息确定所述路边缘相对于所述检测模块的第一相对位置。
4.根据权利要求2或3所述的工程机械路边缘定位方法,其特征在于,
所述步骤S200:根据所述路边缘的粗略位置信息,调整所述检测模块与所述路边缘的相对位置,包括:
步骤S210:根据所述路边缘的粗略位置信息,控制所述检测模块移动至所述路边缘的正上方或接近正上方的位置。
5.根据权利要求2或3所述的工程机械路边缘定位方法,其特征在于,
所述检测模块还包括第二检测单元,所述第二检测单元包括双目红外相机;
所述步骤S300:获取所述路边缘的红外深度图像信息、以及所述检测模块的第一定位信息,包括:
步骤S310:调整所述第二检测单元的姿态,使所述双目红外相机的左右视差图深度差分度为预设角度;
步骤S320:通过所述双目红外相机拍摄所述路边缘的图像,并生成红外深度图像信息;
步骤S330:通过所述定位单元获取所述检测模块的第一定位信息。
6.根据权利要求2或3所述的工程机械路边缘定位方法,其特征在于,
所述步骤S400:根据所述红外深度图像信息和所述第一定位信息,确定所述路边缘的精确位置信息,包括:
步骤S410:根据所述第一定位信息确定所述检测模块相对于所述工程机械的第一坐标;
步骤S420:根据所述红外深度图像信息确定所述路边缘相对于所述检测模块的第二坐标;
步骤S430:根据所述第一坐标和所述第二坐标,确定所述路边缘相对于所述工程机械的精确位置信息。
7.根据权利要求6所述的工程机械路边缘定位方法,其特征在于,
所述步骤S420:根据所述红外深度图像信息确定所述路边缘相对于所述检测模块的第二坐标,包括:
步骤S421:采用canny算子提取所述红外深度图像信息中所述路边缘的轮廓线条,并确定所述轮廓线条中的点相对于所述检测模块的第二坐标;
其中,所述精确位置信息包括所述路边缘相对于所述工程机械的横向距离、以及所述路边缘的延伸方向与所述工程机械的行驶方向之间的夹角。
8.一种路边缘定位装置,其特征在于,包括:
支撑架(11);
检测模块(12),与所述支撑架(11)活动连接,所述检测模块(12)包括第一检测单元(121)、第二检测单元(122)和定位单元(123);其中,所述第二检测单元(122)包括双目红外相机;
驱动机构(13),与所述检测模块(12)传动连接,所述驱动机构(13)能够驱动所述检测模块(12)沿所述支撑架(11)的延伸方向移动,并能够调整所述检测模块(12)的姿态;
控制器(14),与所述检测模块(12)和所述驱动机构(13)通信连接,以控制所述检测模块(12)和所述驱动机构(13)工作,并执行如权利要求1至7中任一项所述的工程机械路边缘定位方法。
9.根据权利要求8所述的路边缘定位装置,其特征在于,
所述支撑架(11)上设有滑轨结构(112)和滑块(113),所述滑块(113)与所述滑轨结构(112)滑动连接;
所述驱动机构(13)包括直线电机(131)和伺服电机(132),所述直线电机(131)设于所述支撑架(11)上,并与所述滑块(113)传动连接;所述检测模块(12)和所述伺服电机(132)均设于所述滑块(113)上,且所述伺服电机(132)与所述检测模块(12)传动连接,以驱动所述检测模块(12)转动;
其中,所述检测模块(12)还包括照明单元(124)。
10.一种工程机械,其特征在于,包括:
车体(21);
如权利要求8或9所述的路边缘定位装置,所述路边缘定位装置的支撑架(11)沿所述车体(21)的横向方向设置,并与所述车体(21)相连接。
CN202210724564.4A 2022-06-24 2022-06-24 工程机械路边缘定位方法、路边缘定位装置和工程机械 Pending CN115239631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210724564.4A CN115239631A (zh) 2022-06-24 2022-06-24 工程机械路边缘定位方法、路边缘定位装置和工程机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210724564.4A CN115239631A (zh) 2022-06-24 2022-06-24 工程机械路边缘定位方法、路边缘定位装置和工程机械

Publications (1)

Publication Number Publication Date
CN115239631A true CN115239631A (zh) 2022-10-25

Family

ID=83669116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210724564.4A Pending CN115239631A (zh) 2022-06-24 2022-06-24 工程机械路边缘定位方法、路边缘定位装置和工程机械

Country Status (1)

Country Link
CN (1) CN115239631A (zh)

Similar Documents

Publication Publication Date Title
JP3556766B2 (ja) 道路白線検出装置
KR101926322B1 (ko) 차량 위치 추정 장치, 차량 위치 추정 방법
KR100899820B1 (ko) 자율 이동 차량용 지면/장애물 판별장치 및 판별방법
US6661449B1 (en) Object recognizing apparatus for vehicle and the method thereof
US7554282B2 (en) Method of controlling movement of robot, mobile robot, and computer program product
US9896810B2 (en) Method for controlling a self-propelled construction machine to account for identified objects in a working direction
KR101927038B1 (ko) 차량 위치 추정 장치, 차량 위치 추정 방법
CN107203208B (zh) 无人行驶作业车
CN104714547A (zh) 带有相机的自主园林车辆
CN108088414A (zh) 一种单目测距方法
CN110019609A (zh) 地图更新方法、装置以及计算机可读存储介质
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN107203207B (zh) 无人行驶作业车
KR20130067851A (ko) 차량 위치 인식 장치 및 방법
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2018030010A1 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
CN109444916A (zh) 一种无人驾驶可行驶区域确定装置及方法
CN112125226B (zh) 一种激光导航叉车的视觉检测系统及方法
WO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
JP2020126626A (ja) V2v通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置
CN107203206B (zh) 无人行驶作业车
KR20130130943A (ko) 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
CN115239631A (zh) 工程机械路边缘定位方法、路边缘定位装置和工程机械
CN113910225A (zh) 一种基于视觉边界检测的机器人控制系统及方法
JP6763198B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination