CN113271410A - 用于确定工程机械的支腿开度的方法、处理器及装置 - Google Patents

Abstract

本发明涉及工程机械领域，公开了一种用于确定工程机械的支腿开度的方法、处理器及装置，工程机械包括至少一个支腿，以及图像采集设备，方法包括：获取图像采集设备采集到的支腿的第一图像；根据第一图像确定支腿上的参考点与所选参照物之间的距离值；基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者；根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。采用本发明的方法可以提高安全性。

Description

用于确定工程机械的支腿开度的方法、处理器及装置

技术领域

本发明涉及工程机械领域，具体地，涉及一种用于确定工程机械的支腿开度的方法、处理器及装置。

背景技术

目前，工程机械如混凝土泵车、汽车起重机、消防车等都包括支腿，为确保安全，这类设备在施工作业过程中，都需要尽可能地将各个支腿打开至最大角度。以混凝土泵车为例，它是一种将混凝土泵送机构和布料臂架集成在汽车底盘上的工程机械。当泵车臂架完全展开施工时，由四个支腿支撑整个工程机械的重量，若其中某一个或某几个支腿未完全展开导致工程机械产生超出一定范围的侧向力矩时，泵车很有可能会发生倾翻而导致重大经济和生命安全问题，故泵车支腿开度的实时检测对泵车臂架展开后施工过程的安全性至关重要，同理，汽车起重机、消防车等设备的支腿开度检测对其施工过程中的安全同样非常重要。

现有技术中，工程机械支腿开度确定方法通常是采用在支腿内部安装相关的传感器元件，例如通过角度传感器或者长度传感器分别检测支腿实际展开的角度或者长度，进一步确定支腿的开度。然而，上述方法在实际应用过程中存在较大弊端，如开关量检测，探头覆盖面不覆盖或遮挡就可能导致误判，误判支腿已打开，存在安全性不高的问题。

发明内容

本发明的目的是提供一种用于确定工程机械的支腿开度的方法、处理器、装置、工程机械及存储介质，以解决现有的用于确定工程机械的支腿开度的方法存在安全性不高的问题。

为了实现上述目的，本发明第一方面提供一种用于确定工程机械的支腿开度的方法，工程机械包括至少一个支腿，以及图像采集设备，方法包括：

获取图像采集设备采集到的支腿的第一图像；

根据第一图像确定支腿上的参考点与所选参照物之间的距离值；

基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者；

根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。

在本发明实施例中，关系通过以下步骤来确定：在支腿展开至预设角度时，获取图像采集设备采集到的支腿的第二图像；根据第二图像确定支腿上的参考点与参照物之间的距离值；根据预设角度和距离值确定关系。

在本发明实施例中，关系还通过以下步骤来确定：在支腿展开至预设长度时，获取图像采集设备采集到的支腿的第三图像；根据第三图像确定支腿上的参考点与参照物之间的距离值；根据预设长度和距离值确定关系。

在本发明实施例中，根据第一图像确定支腿上的参考点与所选参照物之间的距离值，包括：获取第一图像中支腿上的参考点对应的像素点坐标；根据像素点坐标的横坐标值确定参考点与所选参照物之间的距离值。

在本发明实施例中，预设角度的数量为多个；根据预设角度和距离值确定关系包括：获取多个预设角度和预设角度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

在本发明实施例中，预设长度的数量为多个；根据预设长度和距离值确定关系包括：获取多个预设长度和预设长度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

在本发明实施例中，曲线拟合的方法包括最小二乘法。

本发明第二方面提供一种处理器，应用于工程机械，工程机械包括至少一个支腿，以及图像采集设备，处理器被配置成执行根据上述的用于确定工程机械的支腿开度的方法。

本发明第三方面提供一种用于确定工程机械的支腿开度的装置，包括：图像采集设备，用于采集支腿的图像；以及根据上述的处理器。

在本发明实施例中，图像采集设备安装于工程机械的车身侧。

本发明第四方面提供一种工程机械，包括：至少一个支腿；以及根据上述的用于确定工程机械的支腿开度的装置。

本发明第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器执行根据上述的用于确定工程机械的支腿开度的方法。

上述用于确定工程机械的支腿开度的方法，通过获取图像采集设备采集到的支腿在展开过程中的第一图像，根据第一图像确定支腿上的参考点与所选参照物之间的距离值，并基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者，从而根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。上述方法不需要依靠传感器来确定开度，只需要通过图像采集设备采集支腿的图像，从而根据图像确定支腿上的参考点与参照物之间的距离值，根据距离值和预先存储的关系，确定支腿的角度和长度中的至少一者，进一步确定支腿的开度，解决了传感器应用过程中容易导致误判的问题，提升了工程机械运行过程中的安全性，不受传感器使用寿命和成本等因素限制，减少了硬件成本。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1示意性示出了本发明一实施例中用于确定工程机械的支腿开度的方法的流程示意图；

图2示意性示出了本发明一实施例中工程机械(图示为泵车)的俯视示意图；

图3示意性示出了本发明一实施例中泵车支腿旋转的俯视示意图；

图4示意性示出了本发明一实施例中泵车支腿伸展的俯视示意图；

图5示意性示出了本发明一实施例中最小二乘法的流程示意图；

图6示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图；

图7示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图；

图8示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图；

图9示意性示出了本发明一实施例中用于确定工程机械的支腿开度的装置的结构框图。

附图标记说明

900用于确定工程机械的支腿开度的装置

910图像采集设备920处理器

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

工程机械如混凝土泵车、汽车起重机、消防车等均是属于包括四条支腿的工程机械。由于在工程机械的臂架完全展开进行施工作业时，工程机械的四个支腿支撑着整个工程机械的重量，故支腿的展开与否关系着工程机械能否正常工作。为了确定支腿打开的开度，通常可以在支腿特定位置安装相关传感器来检测支腿打开的角度或者长度，从而确定支腿的开度。

部分厂商采用点位方式检测支腿打开与否，实际使用过程中存在较大弊端，如开关量检测，探头覆盖面不覆盖或遮挡就存在误判断，欺骗系统误认为支腿已打开，上述处理存在较大的安全隐患。其次，传感器检测手段对设备而言可视性较差，且受传感器使用寿命和价格较贵等因素限制，导致这种确定支腿开度的方案比较难大力推广。

为解决上述问题，本发明实施例提供一种用于确定工程机械的支腿开度的方法。图1示意性示出了本发明一实施例中用于确定工程机械的支腿开度的方法的流程示意图。如图1所示，在本发明实施例中，提供了一种用于确定工程机械的支腿开度的方法，工程机械包括至少一个支腿，以及图像采集设备，以该方法应用于工程机械的处理器为例进行说明，该方法可以包括以下步骤：

步骤S102，获取图像采集设备采集到的支腿的第一图像。

可以理解，工程机械可以包括车辆，图像采集设备可以是图像传感器(包括但不限于摄像头或者雷达等)，具体可以安装在车身两侧或者是车身靠近支腿的位置。第一图像为图像采集设备采集得到的关于支腿的图像，例如支腿的运动图像。

具体地，在一些场景中，例如在工程机械的支腿展开的过程中或者在工程机械的支腿处于静止状态的情况下，处理器可以实时或者相隔预设时间间隔或者预设时间段内获取图像采集设备(例如，摄像头)实时或者相隔某一时间间隔或者某一预设时间段内采集到的有关工程机械支腿的图像。

步骤S104，根据第一图像确定支腿上的参考点与所选参照物之间的距离值。

可以理解，参考点为预先设置的支腿上的某一固定位置，参考点理论上可以是支腿上任何在图像获取范围内的点，实际中，为便于图像获取，可以选择具有明显区别特征的点，如支腿边缘处横向板和纵向板的交汇点，也可以选择支腿中点或者支腿远离车身一侧的端点。参照物可选择为所拍摄图像中在多个支腿图像拍摄过程中固定不动的点或线作为参照物，如可以是图像坐标系坐标轴、坐标原点、图像边、顶点等，或车身边缘(车身侧)，或车身上其他在支腿展开过程中固定不动的部分。

具体地，处理器可以根据图像采集设备(例如，摄像头)采集到的关于支腿的第一图像确定支腿上的参考点(例如，支腿中点)和所选参照物之间的距离值，具体地，可以通过目标检测算法(包括但不限于深度学习目标检测算法)识别参考点的位置，从而确定参考点与所选参照物(例如，车身侧)的距离。

步骤S106，基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者。

可以理解，支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系为预先确定并存储的，例如在所选参照物为车身侧的时候，可以包括支腿的角度和支腿的参考点(例如，支腿中点)与车身侧之间的距离之间的关系，也可以包括支腿的长度和支腿的参考点(例如，支腿中点)与车身侧之间的距离之间的关系。

具体地，处理器根据预先存储的支腿的角度和长度中的至少一者和参考点(例如，支腿中点)与所选参照物之间的距离之间的关系，在已经确定了支腿上的参考点(例如，支腿中点)与所选参照物之间的距离值之后，即可对应确定支腿对应的角度和长度中的至少一者，例如，基于预先存储的支腿的角度和参考点与所选参照物之间的距离之间的关系，根据已确定的距离值确定支腿对应的角度。

在一个示例中，在需要确定支腿在展开过程中对应的角度时，可以基于预先存储的支腿的角度和支腿的参考点(例如，支腿中点)与所选参照物之间的距离之间的关系，根据通过第一图像确定的实际展开过程中的参考点(例如，支腿中点)与所选参照物之间的距离值，从而确定支腿所对应的角度。

在另一个示例中，在需要确定支腿在展开过程中对应的长度时，可以基于预先存储的支腿的长度和支腿的参考点(例如，支腿中点)与所选参照物之间的距离之间的关系，根据通过第一图像确定的实际展开过程中的参考点(例如，支腿中点)与所选参照物之间的距离值，从而确定支腿所对应的长度。

步骤S108，根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。

可以理解，支腿开度为支腿的实际展开角度与支腿的最大展开角度的比值或者支腿的实际展开长度与支腿的最大展开长度的比值。例如，当支腿展开至最大角度或伸长至最大长度的时候，此时支腿的开度为100％。

具体地，处理器可以根据确定的该支腿对应的角度或者长度，基于预先存储的该支腿对应的支腿最大展开角度或者支腿最大展开长度，确定该支腿对应的支腿开度。

上述用于确定工程机械的支腿开度的方法，通过获取图像采集设备采集到的支腿在展开过程中的第一图像，根据第一图像确定支腿上的参考点与所选参照物之间的距离值，并基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者，从而根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。上述方法不需要依靠传感器来确定开度，只需要通过图像采集设备采集支腿的图像，从而根据图像确定支腿上的参考点与参照物之间的距离值，根据距离值和预先存储的关系，确定支腿的角度和长度中的至少一者，进一步确定支腿的开度，解决了传感器应用过程中容易导致误判的问题，提升了工程机械运行过程中的安全性，不受传感器使用寿命和成本等因素限制，减少了硬件成本。

在一个实施例中，关系通过以下步骤来确定：在支腿展开至预设角度时，获取图像采集设备采集到的支腿的第二图像；根据第二图像确定支腿上的参考点与参照物之间的距离值；根据预设角度和距离值确定关系。

可以理解，支腿在展开过程中可以进行旋转运动，预设角度为预先设置的位于支腿旋转范围内的该支腿与车身之间的角度，例如30度或45度。第二图像为在工程机械的支腿展开至预设角度时图像采集设备拍摄采集到的图像内容包括该支腿的图像。

具体地，图像采集设备(例如，摄像头)可以随着支腿的动作而进行图像采集动作(如拍照)，也可以在预设时间间隔或者预设时间点对支腿运动进行图像采集。在支腿展开至预设角度时，具体可以通过安装在车身上靠近支腿位置的角度传感器或者转角传感器检测并读取支腿在旋转过程中与车身的角度值，在角度值等于预设角度的时候，通过图像采集设备采集此时支腿的第二图像，处理器获取此时图像采集设备采集到的第二图像，根据第二图像确定图像上支腿的参考点(例如中点)与参照物(例如，车身侧)之间的距离值，从而根据预设角度和该距离值确定角度和距离之间的关系。

在一个示例中，处理器根据第二图像确定图像上支腿的参考点(例如，中点)与参照物(例如，车身侧)之间的距离值的方法可以是对第二图像进行图像识别，具体地，例如处理器可以通过目标检测(包括但不限于深度学习目标检测方法、传统的基于模板匹配的目标检测方法)的方法识别参考点(例如，中点)，进而根据该参考点(例如，中点)的位置确定参考点(例如，中点)与参照物(例如，车身侧)之间的距离值。

在一个实施例中，关系还通过以下步骤来确定：在支腿展开至预设长度时，获取图像采集设备采集到的支腿的第三图像；根据第三图像确定支腿上的参考点与参照物之间的距离值；根据预设长度和距离值确定关系。

可以理解，支腿在展开过程中可以进行伸展运动，预设长度为预先设置的位于支腿长度范围内的作参考的支腿伸长长度，例如2米或2.5米。第三图像为在工程机械的支腿伸长至预设长度时图像采集设备拍摄采集到的图像内容包括该支腿的图像。

具体地，图像采集设备(例如，摄像头)可以随支腿的动作而进行图像采集动作(如拍照)，也可以在预设时间间隔或者预设时间点对支腿运动的图像进行采集。在支腿展开(伸长)至预设长度时，具体可以通过安装在车身上靠近支腿位置的长度传感器检测并读取支腿在伸展过程中的伸长长度值，在伸长长度值等于预设长度的时候，通过图像采集设备采集此时支腿的第三图像，处理器获取此时图像采集设备采集到的第三图像，根据第三图像确定图像上支腿的参考点(例如中点)与参照物(例如，车身侧)之间的距离值，从而根据预先存储的预设长度和该距离值确定长度和距离之间的关系。

在一个示例中，处理器根据第三图像确定图像上支腿的参考点(例如，中点)与参照物(例如，车身侧)之间的距离值的方法可以是对第三图像进行图像识别，具体地，例如处理器可以通过目标检测(包括但不限于深度学习目标检测方法、传统的基于模板匹配的目标检测方法)的方法识别参考点(例如，中点)，进而根据该参考点(例如，中点)的位置确定参考点(例如，中点)与参照物(例如，车身侧)之间的距离值。

图2示意性示出了本发明一实施例中工程机械(图示为泵车)的俯视示意图。如图2所示，AF、BE、CH、DG分别表示泵车左前、右前、左后、右后支腿，假设该图中泵车支腿的支撑状态为全支撑状态，所谓全支撑是指泵车所有支腿均展开至最大角度或者伸长至最大长度，此时各个支腿的开度均为100％，这里开度值定义如下：

A、B两位置各安装一个传感器，在前支腿由AA(BB)位置伸长至AF(BE)位置的过程中A、B两位置的传感器可分别获取对应支腿展开的长度信息；C、D两位置各安装一个转角传感器，在后支腿由CI(DJ)位置旋转至CH(DG)位置的过程中可分别获取对应支腿的旋转角度信息；除此以外，车身两侧AC与BD之间各安装一个摄像头Ca1、Ca2，用于实时记录左右两侧前后支腿的位置。

在一个实施例中，根据第一图像确定支腿上的参考点与所选参照物之间的距离值，包括：获取第一图像中支腿上的参考点对应的像素点坐标；根据像素点坐标的横坐标值确定参考点与所选参照物之间的距离值。

具体地，处理器可以获取第一图像的像素坐标系中支腿上的参考点(例如，中点)对应的像素点坐标，所选参照物可以是车身侧，其中，像素坐标系的纵轴可以与车身平行，即纵轴与车身的方向相同，横轴可以与车身方向垂直。参考点的像素点坐标包括横坐标值和纵坐标值，横坐标值可以对应参考点(例如，中点)与车身侧之间间隔的距离，因此可以根据参考点(例如，中点)对应的像素点坐标的横坐标值确定参考点与所选参照物(例如，车身侧)之间的距离值。

在一个实施例中，预设角度的数量为多个；根据预设角度和距离值确定关系包括：获取多个预设角度和预设角度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

可以理解，预设角度的数量可以设置两个或者两个以上，以便根据多个预设角度以及预设角度对应的距离值，确定角度和距离之间的关系。

具体地，处理器获取多个预设角度和预设角度对应的支腿上的参考点与参照物(例如，车身侧)之间的距离值，由于支腿在旋转的过程中，支腿与车身之间的角度和支腿上的参考点(例如，中点)与参照物(例如，车身侧)之间的距离值存在一一对应的关系，因此可以采用曲线拟合的方式确定支腿的角度和支腿上的参考点(例如，中点)与参照物(例如，车身侧)之间的距离之间的关系。

本实施例中，支腿在展开过程中其对应的角度值与支腿参考点在图像像素坐标系中的横坐标(纵坐标)值一一对应，因此可采用多项式曲线拟合的方式来描述二者之间的函数关系，应尽可能多采集几组数据，保证拟合曲线的泛化能力及准确性。基于计算机视觉技术的目标检测方法，参考点位置检测的准确性直接关系到支腿开度估计的准确性，所以应尽可能在支腿上选择合适的参考点。

图3示意性示出了本发明一实施例中泵车支腿旋转的俯视示意图。如图3所示，泵车支腿从DJ位置旋转至DG位置的过程中，安装在D位置的转角传感器实时记录了该支腿旋转到每个参考位置时支腿与车身的夹角值。

在支腿旋转范围内设置n个参考点位(也就是预设角度)，分别记录为{p₁，p₂，p₃，……，p_n}，通过安装在位置D处的转角传感器分别读取支腿旋转到p₁、p₂、p₃、……、p_n点位时支腿与车身的夹角值{y₁，y₂，y₃，……，y_n}，然后在图3所示的图像坐标系中分别获取p₁、p₂、p₃、……、p_n点位的横坐标值{x₁，x₂，x₃，……，x_n}，由图3可知，支腿在DJ位置旋转至DG位置的过程中(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、……(x_n，y_n)存在一一对应的关系，由此可以通过曲线拟合的方式找到(x_i，y_i)的之间隐藏的某种函数关系，其中1<＝i<＝n，曲线拟合常用的方式为多项式拟合，即y＝f(x)的近似曲线可以为：

y＝φ(x)＝axⁿ+bx^n-1+cx^n-2+……+δx+c₀

其中，n表示多项式的幂，y表示预设角度，x表示距离值，a、b、c、δ以及c₀表示常数项。

在一个实施例中，预设长度的数量为多个；根据预设长度和距离值确定关系包括：获取多个预设长度和预设长度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

可以理解，预设长度的数量可以设置两个或者两个以上，以便根据多个预设长度以及预设长度对应的距离值，确定长度和距离之间的关系。

具体地，处理器获取多个预设长度和预设长度对应的支腿上的参考点与所选参照物(例如，车身侧)之间的距离值，由于支腿在伸长的过程中，支腿的伸长长度和支腿上的参考点(例如，中点)与所选参照物(例如，车身侧)之间的距离值存在一一对应的关系，因此可以采用曲线拟合的方式确定支腿的长度和支腿上的参考点(例如，中点)与所选参照物(例如，车身侧)之间的距离之间的关系。

本实施例中，支腿对应的长度值与支腿参考点在图像像素坐标系中的横坐标(纵坐标)值一一对应，因此可采用多项式曲线拟合的方式来描述二者之间的函数关系，应尽可能多采集几组数据，保证拟合曲线的泛化能力及准确性。基于计算机视觉技术的目标检测方法，参考点位置检测的准确性直接关系到支腿开度估计的准确性，所以应尽可能在支腿上选择合适的参考点。

图4示意性示出了本发明一实施例中泵车支腿伸展的俯视示意图。如图4所示，在支腿由BB位置逐渐伸展到BE位置的过程中，亦可设置n个不同的参考点位(也就是预设长度)，如上图4所示，通过安装在B位置的传感器分别获取n个参考点位对应的支腿长度值。然后再在摄像头采集的图像中获取n个参考点位在图像坐标系下的横坐标值，显然，所设置的n个参考点位的传感器获取的长度值与对应参考点位在图像坐标系中的横坐标值为一一对应关系，也可通过上述多项式曲线拟合方式拟合出该n个参考点位的支腿长度值与参考点位的支腿参考点对应的像素横坐标之间的函数关系。曲线拟合常用的方式为多项式拟合，即y＝f(x)的近似曲线可以为：

y＝φ(x)＝axⁿ+bx^n-1+cx^n-2+……+δx+c₀

其中，n表示多项式的幂，y表示预设长度，x表示距离值，a、b、c、δ以及c₀表示常数项。

在一个实施例中，曲线拟合的方法包括最小二乘法。

可以理解，曲线拟合最常用的优化方法为最小二乘法，根据给定的m个点，并不要求这条曲线精确的经过这些点，但是需要近似的描述这些点的走势。最小二乘法核心原理为以下公式：

其中，m表示需要拟合的数据点的个数，x_i表示距离值，y_i表示预设角度或者预设长度，1<＝i<＝n，对应的流程图可以如图5所示。

图6示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图。如图6所示，在本发明实施例中，提供了一种用于确定工程机械的支腿开度的方法，工程机械包括至少一个支腿，以及图像采集设备，以该方法应用于工程机械的处理器为例进行说明，该方法可以包括以下步骤：

步骤S602，获取图像采集设备采集到的支腿的第一图像。

步骤S604，获取第一图像中支腿上的参考点对应的像素点坐标。

步骤S606，根据像素点坐标的横坐标值确定参考点与所选参照物之间的距离值。

步骤S608，基于预存储的支腿的角度和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度。

步骤S610，根据支腿对应的角度确定支腿的支腿开度。

本实施例中，不需要依靠传感器来确定支腿的开度，只需要通过图像采集设备采集支腿的图像，从而根据图像确定支腿上的参考点与参照物之间的距离值，根据距离值和预先存储的关系，确定支腿的角度值，进一步根据预先存储的关系和角度值确定支腿的开度，解决了传感器应用过程中容易导致误判的问题，提升了工程机械运行过程中的安全性，不受传感器使用寿命和成本等因素限制，减少了硬件成本。

图7示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图。如图7所示，在本发明实施例中，提供了一种用于确定工程机械的支腿开度的方法，工程机械包括至少一个支腿，以及图像采集设备，以该方法应用于工程机械的处理器为例进行说明，该方法可以包括以下步骤：

步骤S702，获取图像采集设备采集到的支腿的第一图像。

步骤S704，获取第一图像中支腿上的参考点对应的像素点坐标。

步骤S706，根据像素点坐标的横坐标值确定参考点与所选参照物之间的距离值。

步骤S708，基于预存储的支腿的长度和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的长度。

步骤S710，根据支腿对应的长度确定支腿的支腿开度。

本实施例中，不需要依靠传感器来确定支腿的开度，只需要通过图像采集设备采集支腿的图像，从而根据图像确定支腿上的参考点与参照物之间的距离值，根据距离值和预先存储的关系，确定支腿的长度值，进一步根据预先存储的关系和长度值确定支腿的开度，解决了传感器应用过程中容易导致误判的问题，提升了工程机械运行过程中的安全性，不受传感器使用寿命和成本等因素限制，减少了硬件成本。

图8示意性示出了本发明另一实施例中用于确定工程机械的支腿开度的方法的流程示意图。如图8所示，在本发明实施例中，提供了一种用于确定工程机械的支腿开度的方法，具体包括：在调试安装完摄像头之后，通过预先设置参考点位(也就是预设角度或者预设长度)，获取参考点位对应的传感器数值，同时启动摄像头的录像功能，获取参考点位对应图像的支腿上参考点的像素坐标值，以得到横坐标值。根据传感器数值和横坐标值，采用多项式曲线拟合的方式，优选地，采用最小二乘法的方法得到角度或者长度中的至少一者和参考点与所选参照物之间的距离之间的关系。在实际的支腿开度确定过程中，采用参考点目标检测的方式识别确定参考点在图像坐标系上的横坐标，根据事先确定的角度或者长度中的至少一者和参考点与所选参照物(例如，车身侧)之间的距离之间的函数关系，计算确定参考点所在支腿与车身的夹角角度或者支腿参考点与所选参照物(例如，车身侧)的距离，从而根据角度值或者长度值，进一步确定支腿的开度。

上述用于确定工程机械的支腿开度的方法，也就是基于数据拟合与目标检查的泵车支腿开度确定方法，在找到工程机械(例如，泵车)支腿各参考点位的角度值(长度值)与其在图像像素坐标系下的横坐标之间的函数关系y＝φ(x)后，只要通过目标检测(不限于深度学习目标检测方法)的方法找到参考点位在图像坐标系下的横坐标后，便可通过上述所求的函数关系y＝φ(x)实时计算工程机械(例如，泵车)支腿的角度或者长度，以确定支腿的开度。

对于同种型号的其它泵车，可以不用再需要重复安装价格昂贵的传感器，只需将上述实验过程中各支腿所求得的函数关系(不同的支腿多项式拟合曲线的参数可能不同)y＝φ(x)引用过来，并记录好上述实验过程中泵车左右两摄像头的安装位置和朝向即可通过视觉的方式实时获取泵车支腿的开度。

本方案与一般方案相比，除数据拟合阶段需要对实验工程机械安装相应传感器外，其它同一型号的泵车只需在车身两侧各自安装一个图像传感器(包括但不限于摄像头，雷达等)，并通过部署目标检测方法和确定的曲线拟合函数即可完成泵车支腿开度的实时检测。

其次，系统和破损成本低，可更换，程序维护升级方便，若仅仅通过传感器来直接获取支腿开度，一旦传感器损坏，必须跟换新的传感器，而更换传感其会非常麻烦。因此本方案具有性价比高，易推广、易量产等特点。

图9示意性示出了本发明一实施例中用于确定工程机械的支腿开度的装置的结构框图。如图9所示，在本发明实施例中，提供了一种用于确定工程机械的支腿开度的装置900，包括：图像采集设备910和处理器920，其中：

图像采集设备910，用于采集支腿的图像。

处理器920，被配置成：获取图像采集设备采集到的支腿的第一图像；根据第一图像确定支腿上的参考点与所选参照物之间的距离值；基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者；根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。

上述用于确定工程机械的支腿开度的装置900，通过获取图像采集设备910采集到的支腿的第一图像，根据第一图像确定支腿上的参考点与所选参照物之间的距离值，并基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据距离值确定支腿对应的角度和长度中的至少一者，从而根据支腿对应的角度和长度中的至少一者确定支腿的支腿开度。上述方法不需要依靠传感器来确定开度，只需要通过图像采集设备910采集支腿的图像，从而处理器920根据图像确定支腿上的参考点与参照物之间的距离值，根据距离值和预先存储的关系，确定支腿的角度和长度中的至少一者，进一步确定支腿的开度，解决了传感器应用过程中容易导致误判的问题，提升了工程机械运行过程中的安全性，不受传感器使用寿命和成本等因素限制，减少了硬件成本。

在一个实施例中，图像采集设备910安装于工程机械的车身侧。

具体地，工程机械(例如，泵车)左右车身两侧各自安装一个图像采集设备910(例如，摄像头)，其中摄像头也可以用任意图像传感器替代，其它所有方式不变。

在一个实施例中，处理器920进一步被配置成通过以下步骤来确定关系：在支腿展开至预设角度时，获取图像采集设备采集到的支腿的第二图像；根据第二图像确定支腿上的参考点与参照物之间的距离值；根据预设角度和距离值确定关系。

在一个实施例中，处理器920进一步被配置成通过以下步骤来确定关系：在支腿展开至预设长度时，获取图像采集设备采集到的支腿的第三图像；根据第三图像确定支腿上的参考点与参照物之间的距离值；根据预设长度和距离值确定关系。

在一个实施例中，处理器920进一步被配置成：获取第一图像中支腿上的参考点对应的像素点坐标；根据像素点坐标的横坐标值确定参考点与所选参照物之间的距离值。

在一个实施例中，预设角度的数量为多个；处理器920进一步被配置成：获取多个预设角度和预设角度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

在一个实施例中，预设长度的数量为多个；处理器920进一步被配置成：获取多个预设长度和预设长度对应的距离值；根据预设角度和距离值，基于曲线拟合的方法确定关系。

在一个实施例中，曲线拟合的方法包括最小二乘法。

本发明实施例提供了一种处理器，应用于工程机械，工程机械包括至少一个支腿，以及图像采集设备，该处理器被配置成执行根据上述的用于确定工程机械的支腿开度的方法。

本发明实施例提供了一种工程机械，包括：至少一个支腿；以及根据上述的用于确定工程机械的支腿开度的装置。

本发明实施例提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器执行根据上述的用于确定工程机械的支腿开度的方法。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。例如，曲线拟合方法不限于使用最小二乘法。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (12)

1.一种用于确定工程机械的支腿开度的方法，所述工程机械包括至少一个支腿，以及图像采集设备，其特征在于，所述方法包括：

获取所述图像采集设备采集到的所述支腿的第一图像；

根据所述第一图像确定所述支腿上的参考点与所选参照物之间的距离值；

基于预存储的支腿的角度和长度中的至少一者和参考点与所选参照物之间的距离之间的关系，根据所述距离值确定所述支腿对应的角度和长度中的至少一者；

根据所述支腿对应的角度和长度中的至少一者确定所述支腿的支腿开度。

2.根据权利要求1所述的用于确定工程机械的支腿开度的方法，其特征在于，所述关系通过以下步骤来确定：

在所述支腿展开至预设角度时，获取所述图像采集设备采集到的所述支腿的第二图像；

根据所述第二图像确定所述支腿上的参考点与所述参照物之间的距离值；

根据所述预设角度和所述距离值确定所述关系。

3.根据权利要求2所述的用于确定工程机械的支腿开度的方法，其特征在于，所述关系还通过以下步骤来确定：

在所述支腿展开至预设长度时，获取所述图像采集设备采集到的所述支腿的第三图像；

根据所述第三图像确定所述支腿上的参考点与所述参照物之间的距离值；

根据所述预设长度和所述距离值确定所述关系。

4.根据权利要求1所述的用于确定工程机械的支腿开度的方法，其特征在于，所述根据所述第一图像确定所述支腿上的参考点与所选参照物之间的距离值，包括：

获取所述第一图像中所述支腿上的参考点对应的像素点坐标；

根据所述像素点坐标的横坐标值确定所述参考点与所选参照物之间的距离值。

5.根据权利要求2所述的用于确定工程机械的支腿开度的方法，其特征在于，所述预设角度的数量为多个；所述根据所述预设角度和所述距离值确定所述关系包括：

获取多个所述预设角度和所述预设角度对应的所述距离值；

根据所述预设角度和所述距离值，基于曲线拟合的方法确定所述关系。

6.根据权利要求3所述的用于确定工程机械的支腿开度的方法，其特征在于，所述预设长度的数量为多个；所述根据所述预设长度和所述距离值确定所述关系包括：

获取多个所述预设长度和所述预设长度对应的所述距离值；

根据所述预设角度和所述距离值，基于曲线拟合的方法确定所述关系。

7.根据权利要求5或6所述的用于确定工程机械的支腿开度的方法，其特征在于，所述曲线拟合的方法包括最小二乘法。

8.一种处理器，应用于工程机械，所述工程机械包括至少一个支腿，以及图像采集设备，其特征在于，所述处理器被配置成执行根据权利要求1至7中任一项所述的用于确定工程机械的支腿开度的方法。

9.一种用于确定工程机械的支腿开度的装置，其特征在于，包括：

图像采集设备，用于采集所述支腿的图像；以及

根据权利要求8所述的处理器。

10.根据权利要求9所述的用于确定工程机械的支腿开度的装置，其特征在于，所述图像采集设备安装于所述工程机械的车身侧。

11.一种工程机械，其特征在于，包括：

至少一个支腿；以及

根据权利要求9所述的用于确定工程机械的支腿开度的装置。

12.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器执行根据权利要求1至7中任一项所述的用于确定工程机械的支腿开度的方法。

Images