CN113280805B - 用于识别臂架姿态的方法、处理器、装置及工程机械 - Google Patents

用于识别臂架姿态的方法、处理器、装置及工程机械 Download PDF

Info

Publication number
CN113280805B
CN113280805B CN202110402348.3A CN202110402348A CN113280805B CN 113280805 B CN113280805 B CN 113280805B CN 202110402348 A CN202110402348 A CN 202110402348A CN 113280805 B CN113280805 B CN 113280805B
Authority
CN
China
Prior art keywords
arm
arm section
inclination angle
preset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110402348.3A
Other languages
English (en)
Other versions
CN113280805A (zh
Inventor
陈超辉
聂一彪
万梁
李淇阳
尹君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN202110402348.3A priority Critical patent/CN113280805B/zh
Publication of CN113280805A publication Critical patent/CN113280805A/zh
Application granted granted Critical
Publication of CN113280805B publication Critical patent/CN113280805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及工程机械领域，公开了一种用于识别臂架姿态的方法、处理器、装置及工程机械，臂架包括至少一个臂节，以及图像采集设备，方法包括：获取图像采集设备采集到的臂节的第一图像；根据第一图像确定臂节上的参考点的位置信息；基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。采用本发明的方法可以减少硬件成本。

Description

用于识别臂架姿态的方法、处理器、装置及工程机械
技术领域
本发明涉及工程机械领域，具体地，涉及一种用于识别臂架姿态的方法、处理器、装置及工程机械。
背景技术
通常，工程机械(例如，混凝土泵车)的臂架由3节以上的臂节构成。在臂架展开实际施工的过程中，臂架的受力非常复杂，因泵送而导致的臂架抖动不可避免，严重的臂架抖动可能会给臂架的焊缝带来极大的破坏，威胁施工安全。
目前，为降低工程机械施工过程中臂架产生振动给设备整体的带来的安全隐患，一般需要对臂架采取主动减振。当前阶段臂架减振的方法之一包括实时获取臂架的准确姿态。现有的工程机械在识别臂架姿态时，通常是依靠倾角传感器或者惯性传感器获取臂节水平倾角从而实现臂架姿态感知，具体地，在每个臂节的首末端均布置倾角传感器或者惯性传感器，多个传感器串联以获取臂架姿态，这种方式导致硬件成本较高。
发明内容
本发明的目的是提供一种用于识别臂架姿态的方法、处理器、装置、工程机械及存储介质，以解决现有的用于识别臂架姿态的方法存在硬件成本较高的问题。
为了实现上述目的，本发明第一方面提供一种用于识别臂架姿态的方法，臂架包括至少一个臂节，以及图像采集设备，方法包括：
获取图像采集设备采集到的臂节的第一图像；
根据第一图像确定臂节上的参考点的位置信息；
基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。
在本发明实施例中，根据第一图像确定臂节上的参考点的位置信息，包括：获取臂节上的参考点在第一图像的预设像素坐标系中的像素点坐标，其中，预设像素坐标系包括臂节的旋转角度范围；根据像素点坐标确定参考点的位置信息。
在本发明实施例中，关系通过以下步骤来确定：在臂节旋转至预设倾角的情况下，获取图像采集设备采集到的臂节的第二图像；根据第二图像确定臂节上的参考点的位置信息；根据位置信息和预设倾角确定关系。
在本发明实施例中，预设倾角的数量为多个；根据位置信息和预设倾角确定关系，包括：获取多个预设倾角对应的位置信息；根据预设倾角和位置信息，基于曲线拟合的方法确定关系。
在本发明实施例中，关系通过以下步骤来确定：在臂节上的参考点位于预设位置的情况下，获取臂节的倾角信息；根据倾角信息和预设位置确定关系。
在本发明实施例中，预设位置的数量为多个；根据倾角信息和预设位置确定关系，包括：获取多个预设位置对应的倾角信息；根据预设位置和倾角信息，基于曲线拟合的方法确定关系。
在本发明实施例中，曲线拟合的方法包括最小二乘法。
本发明第二方面提供一种处理器，应用于工程机械的臂架，臂架包括至少一个臂节，以及图像采集设备，处理器被配置成执行根据上述的用于识别臂架姿态的方法。
本发明第三方面提供一种用于识别臂架姿态的装置，包括：图像采集设备，用于采集臂节的图像；以及根据上述的处理器。
在本发明实施例中，图像采集设备安装于臂节靠近臂架底座的一端和臂架底座的至少一者。
本发明第四方面提供一种工程机械，包括：臂架，臂架包括至少一个臂节；以及根据上述的用于识别臂架姿态的装置。
本发明第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器执行根据上述的用于识别臂架姿态的方法。
上述用于识别臂架姿态的方法，通过获取图像采集设备采集到的臂节的第一图像，根据第一图像确定臂节上的参考点的位置信息，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。上述方法不需要依靠传感器即可识别臂架姿态，只需要通过图像采集设备采集臂节的图像，从而确定臂节上参考点的位置信息，基于参考点的位置和臂节倾角之间的关系确定臂节的倾角，减少了硬件成本，解决了传感器在测量臂节倾角时受臂架振动影响存在数据误差较大的问题，提高了臂架姿态识别的准确性，而且不受传感器使用寿命的限制，避免了经常更换传感器给用户造成的不便。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1示意性示出了本发明一实施例中用于识别臂架姿态的方法的流程示意图；
图2示意性示出了本发明一实施例中臂架各臂节的旋转角度示意图；
图3示意性示出了本发明一实施例中臂架展开姿态示意图；
图4示意性示出了本发明另一实施例中用于识别臂架姿态的方法的流程示意图；
图5示意性示出了本发明另一实施例中用于识别臂架姿态的方法的流程示意图；
图6示意性示出了本发明一实施例中用于识别臂架姿态的装置的结构框图。
附图标记说明
600用于识别臂架姿态的装置
610图像采集设备 620处理器
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
现有的臂架姿态识别方法通常是通过各种传感器进行臂节倾角的检测识别，以惯性传感器为例进行说明，工程机械(例如，混凝土泵车)包括六个臂节，则需要在每个臂节的首尾端均安装惯性传感器，惯性传感器的检测数据经过互补滤波器计算后得到臂节倾角。上述方法存在以下弊端：在臂架振动时，传感器获取的臂架姿态数据误差较大，传感器检测手段对设备而言可视性较差，传感器标定、数据滤波计算相对比较复杂，多个传感器串联成本较高，传感器易老化需经常更换。
因此，为解决上述问题，本发明实施例提供一种用于识别臂架姿态的方法。图1示意性示出了本发明一实施例中用于识别臂架姿态的方法的流程示意图。如图1所示，在本发明实施例中，提供了一种用于识别臂架姿态的方法，臂架包括至少一个臂节，以及图像采集设备，以该方法应用于处理器为例进行说明，该方法可以包括以下步骤：
步骤S102，获取图像采集设备采集到的臂节的第一图像。
可以理解，图像采集设备可以是图像传感器(包括但不限于摄像头或者雷达等)，具体可以安装在臂节末端靠近臂架旋转底座的一端或者臂架旋转底座上。第一图像为图像采集设备采集得到的记录臂节姿态(即臂节与水平面的夹角)的图像。图像采集设备包括但不限于摄像头、相机、雷达等图像传感器。
具体地，处理器可以实时或者相隔预设时间间隔或者预设时间段内获取图像采集设备(例如，摄像头)实时或者相隔某一时间间隔或者某一预设时间段内采集到的记录臂节姿态的第一图像。
步骤S104，根据第一图像确定臂节上的参考点的位置信息。
可以理解，参考点为预先设置的臂节上的某一固定位置，例如臂节中点或者臂节远离臂架旋转底座一侧的端点。参考点的位置信息可以是参考点在图像上的坐标。
具体地，处理器可以根据图像采集设备(例如，摄像头)采集到的关于臂节的第一图像确定该臂节上的参考点(例如，臂节中点)的位置信息，具体地，可以通过目标检测算法(包括但不限于深度学习目标检测算法)识别参考点(例如，臂节中点)的位置以确定其位置信息。
步骤S106，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。
可以理解，臂节上的参考点的位置与臂节的倾角之间的关系为事先确定并存储的，其中，在实际生产过程中，臂节的姿态发生变化的时候，臂节的倾角也会跟随发生变化，臂节上参考点(例如，臂节中点)的位置也会发生变化。参考点的位置与臂节的倾角之间的关系可以是算法的形式，也可以是数据列表的形式。臂节的倾角为臂节与水平面的夹角，臂架姿态由各节臂节倾角反映。进一步地，每段臂架由于其可旋转角度范围不一样，每段臂节上参考点的位置与臂节的倾角之间的关系也不同。
具体地，处理器根据预先存储的臂节的参考点的位置与臂节的倾角之间的关系，在已经确定了该段臂节上的参考点(例如，臂节中点)的位置信息之后，即可根据该位置信息对应确定该段臂节的倾角。
上述用于识别臂架姿态的方法，通过获取图像采集设备采集到的臂节的第一图像，根据第一图像确定臂节上的参考点的位置信息，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。上述方法不需要依靠传感器即可识别臂架姿态，只需要通过图像采集设备采集臂节的图像，从而确定臂节上参考点的位置信息，基于参考点的位置和臂节倾角之间的关系确定臂节的倾角，减少了硬件成本，解决了传感器在测量臂节倾角时受臂架振动影响存在数据误差较大的问题，提高了臂架姿态识别的准确性，而且不受传感器使用寿命的限制，避免了经常更换传感器给用户造成的不便。
在一个实施例中，根据第一图像确定臂节上的参考点的位置信息，包括：获取臂节上的参考点在第一图像的预设像素坐标系中的像素点坐标，其中，预设像素坐标系包括臂节的旋转角度范围；根据像素点坐标确定参考点的位置信息。
可以理解，每个臂节可以旋转的角度范围可能相同，也可能不相同，故针对不同的臂节，可以事先根据臂节的可旋转角度范围设置对应的预设像素坐标系。预设像素坐标系的范围区间包括了该段臂节可以旋转的角度范围，具体可以参考图2示意图。
图2示意性示出了本发明一实施例中臂架各臂节的旋转角度示意图。如图2所示，若臂架包括六节臂节(参考图3)，设定各节臂节逆时针旋转为正方向，顺时针旋转为负方向，则可以把第一节臂节、第二节臂节、第三节臂节、……、第六节臂节与水平面的倾角分别记录为α(0°～90°)、β(-180°～0°)、γ(-180°～0°)、θ(-60°～180°)、σ(-30°～180°)、μ(-90°～15°)，括号中的角度范围为对应臂节的可旋转角度范围。以图像的左上角顶点为原点O，可以创建如图2(1)中所示的图像像素坐标系xOy，也就是预设像素坐标系。
具体地，处理器可以获取第一图像的预设像素坐标系中臂节上的参考点(例如，臂节中点)对应的像素点坐标，具体可以采用计算机视觉技术的目标检测方法，通过深度学习或者模板匹配的方法获取每段臂节中点的坐标信息。其中，参考点的像素点坐标包括横坐标值和纵坐标值，处理器根据参考点的像素点坐标即可确定参考点的位置信息。
本实施例中，基于图像的预设像素坐标系确定参考点的像素点坐标，从而根据像素点坐标确定参考点的位置信息，针对每个臂节采用相应的预设像素坐标系作为统一参照坐标系，可以快速确定臂节上参考点的位置信息，提高了参考点位置信息的准确度。
在一个实施例中，臂节上的参考点的位置与臂节的倾角之间的关系，可以通过以下步骤来确定：在臂节旋转至预设倾角的情况下，获取图像采集设备采集到的臂节的第二图像；根据第二图像确定臂节上的参考点的位置信息；根据位置信息和预设倾角确定关系。
可以理解，臂节在作业过程中可以进行旋转运动，预设倾角为预先设置的臂节与水平面的夹角，例如30度或60度。第二图像为臂节旋转至预设倾角的时候图像采集设备拍摄或采集到的包括该臂节的图像。
具体地，图像采集设备(例如，摄像头)可以随着臂节的动作而进行图像采集动作(如拍照)，即采集臂节的图像，也可以在预设时间间隔或者预设时间点对臂节旋转进行图像采集。在臂节旋转至预设倾角时，具体可以通过安装在臂节首尾位置的惯性传感器或者倾角传感器检测并读取臂节在旋转过程中与水平面的夹角，在夹角等于预设倾角的时候，通过图像采集设备采集此时包括该臂节的第二图像，处理器获取图像采集设备采集到的第二图像，根据第二图像确定图像上臂节的参考点(例如，臂节中点)的位置信息，参考点目标检测具体可以通过深度学习或者模板匹配的方法获取每段臂节中点的坐标信息，从而根据位置信息和该预设倾角确定臂节上参考点的位置与臂节倾角之间的关系。
本实施例中，通过获取臂节在旋转至预设倾角时的图像，从而根据该图像确定臂节上的参考点的位置信息，以根据位置信息和预设倾角确定两者之间的关系，可以减少数据计算量，提高两者关系确定的准确度。
在一个实施例中，预设倾角的数量为多个；根据位置信息和预设倾角确定关系，包括：获取多个预设倾角对应的位置信息；根据预设倾角和位置信息，基于曲线拟合的方法确定关系。
可以理解，预设倾角的数量可以设置两个或者两个以上，以便根据多个预设倾角以及预设倾角对应的位置信息确定臂节上参考点的位置和臂节倾角之间的关系。
具体地，处理器获取多个预设倾角和预设倾角对应的位置信息，由于臂节在旋转过程中，臂节上的参考点的位置(可以包括横坐标值和纵坐标值)与该臂节对应的倾角值存在一一对应的关系，因此处理器可以根据多组预设倾角和预设倾角对应的位置信息数据，采用曲线拟合的方式，确定臂节上参考点的位置和臂节倾角之间的关系。
本实施例中，臂节在旋转过程中其对应的倾角值与臂节上的参考点的位置一一对应，因此可采用多项式曲线拟合的方式来描述二者之间的函数关系，采集多组数据，可以保证拟合曲线的泛化能力及准确性。基于计算机视觉技术的目标检测方法，参考点位置检测的准确性确保了臂节倾角估计的准确性。
在另一个实施例中，臂节上的参考点的位置与臂节的倾角之间的关系，可以通过以下步骤来确定：在臂节上的参考点位于预设位置的情况下，获取臂节的倾角信息；根据倾角信息和预设位置确定关系。
可以理解，预设位置为预先设置的臂节上的参考点在旋转过程中所到达的位置，具体可以通过图像采集设备(包括但不限于摄像头、雷达等)采集臂节旋转的图像以确定臂节上的参考点是否位于预设位置。
具体地，在臂节上的参考点位于预设位置的时候，例如可以通过图像采集设备检测到臂节上的参考点到达预设位置的时候，通过安装在该臂节首尾位置的惯性传感器或者倾角传感器检测臂节与水平面的夹角，处理器获取惯性传感器或者倾角传感器检测到的倾角信息，从而根据该倾角信息和预设位置确定参考点的位置与倾角之间的关系。
本实施例中，通过获取臂节的参考点位于预设位置时臂节的倾角信息，以根据预设位置和倾角信息确定两者之间的关系，可以减少数据计算量，提高两者关系确定的准确度。
在一个实施例中，预设位置的数量为多个；根据倾角信息和预设位置确定关系，包括：获取多个预设位置对应的倾角信息；根据预设位置和倾角信息，基于曲线拟合的方法确定关系。
可以理解，预设位置的数量可以设置两个或者两个以上，以便根据多个预设位置以及预设位置对应的倾角信息确定臂节上参考点的位置和臂节倾角之间的关系。
具体地，处理器获取多个预设位置和预设位置对应的倾角信息，由于臂节在旋转过程中，臂节上的参考点的位置(可以包括横坐标值和纵坐标值)与该臂节对应的倾角值存在一一对应的关系，因此处理器可以根据多组预设位置和预设位置对应的倾角信息数据，采用曲线拟合的方式确定臂节上参考点的位置和臂节倾角之间的关系。
本实施例中，臂节在旋转过程中其对应的倾角值与臂节上的参考点的位置一一对应，因此可采用多项式曲线拟合的方式来描述二者之间的函数关系，采集多组数据，可以保证拟合曲线的泛化能力及准确性。基于计算机视觉技术的目标检测方法，参考点位置检测的准确性确保了臂节倾角估计的准确性。
在一个实施例中，曲线拟合的方法包括最小二乘法。
可以理解，数据拟合过程中最常用的优化方法为最小二乘法，根据给定的n个点，并不要求这条曲线精确的经过这些点，但是需要近似的描述这些点的走势。此处最小二乘法的核心原理表述为：
Figure BDA0003020892650000101
其中，n表示参与拟合的数据点的个数，xi表示横坐标值，yi表示纵坐标值，ai表示倾角值，1<＝i<＝n。
图3示意性示出了本发明一实施例中臂架展开姿态示意图。如图3所示，L1、L2、L3、……、L6分别表示臂架的第一至第六节臂节，其对应长度可以分别为l1、l2、l3、l4、l5、l6；s0、s1、s2、……、s11分别表示安装在每节臂架首尾位置的惯性传感器，该类传感器能够实时记录所在臂的姿态即各臂节与水平面的夹角，图像采集设备(图示为相机)安装在每节臂末端的合适位置(可拍摄到对应臂节全貌的位置皆可)。以图2中的第一节臂节为例，当其围绕旋转点从水平位置旋转到垂直角度时即该臂节从0°逆时针旋转至90°的过程中，安装在该臂节首末端的惯性传感器实时记录了该臂节旋转到每个位置时其对应的水平倾角。
将第一节臂节在旋转过程中臂节的中点经过的n个不同位置设置为参考点位，分别记录为{c1，c2，c3，……，cn}，通过安装在该臂节首末端的惯性传感器分别获取该臂节旋转到对应位置时的该臂节倾角为{α1，α2，α3，……，αn}，基于图像采集设备(图示为相机)采集到的该臂节的图像，在图2(1)所示坐标系中分别获取对应n个参考点位即该臂节的中点{c1，c2，c3，……，cn}的横纵坐标值{(x1，y1)，(x2，y2)，(x3，y3)，……，(xn，yn)}，显然一臂在由水平位置逆时针旋转至垂直位置的过程中{c1，c2，c3，……，cn}n个参考点位的臂节中点的横纵坐标值{(x1，y1)，(x2，y2)，(x3，y3)，……，(xn，yn)}与其对应的倾角值{α1，α2，α3，……，αn}存在一一对应的关系，这种空间点对应关系f(x，y)＝ax+by+c可以通过数据拟合的方式找到。
同理，在不影响臂架展开、收起、作业的前提下，在二臂、三臂、四臂、五臂、六臂的转角位置均安装一个用于捕获对应段臂节图像的图像采集设备(例如，摄像头和/或相机)，如图3所示，同样可以通过数据拟合与目标检测的方式实时获取对应段臂节的倾角，此处提及的目标检测是指通过深度学习或者模板匹配的方法实时获取每段臂节中点的坐标(x,y)，即获取臂节中点的位置信息。
图4示意性示出了本发明另一实施例中用于识别臂架姿态的方法的流程示意图。如图4所示，在本发明实施例中，提供了一种用于识别臂架姿态的方法，臂架包括至少一个臂节，以及图像采集设备，以该方法应用于处理器为例进行说明，该方法可以包括以下步骤：
步骤S402，获取图像采集设备采集到的臂节的第一图像。
步骤S404，获取臂节上的参考点在第一图像的预设像素坐标系中的像素点坐标，其中，预设像素坐标系包括臂节的旋转角度范围。
步骤S406，根据像素点坐标确定参考点的位置信息。
步骤S408，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。
本实施例中，通过获取图像采集设备采集到的臂节的第一图像，根据第一图像获取臂节上的参考点的像素点坐标，从而确定参考点的位置信息，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据该位置信息确定臂节对应的倾角值。上述方法不需要依靠传感器即可识别臂架姿态，只需要通过图像采集设备采集臂节的图像，采用目标检测方法识别图像中臂节上参考点的坐标，从而确定臂节上参考点的位置信息，基于参考点的位置和臂节倾角之间的关系确定臂节的倾角，减少了硬件成本，解决了传感器在测量臂节倾角时受臂架振动影响存在数据误差较大的问题，提高了臂架姿态识别的准确性，而且不受传感器使用寿命的限制，避免了经常更换传感器给用户造成的不便。
图5示意性示出了本发明另一实施例中用于识别臂架姿态的方法的流程示意图。如图5所示，在本发明实施例中，提供了一种用于识别臂架姿态的方法，具体包括：在调试安装完摄像头之后，通过预先设置参考点位(也就是预设位置)，获取参考点位对应的传感器检测数值，同时启动摄像头的录像功能，获取参考点位对应图像的臂节上参考点的像素坐标值。根据传感器数值和像素坐标值，采用多项式曲线拟合的方式，优选地，采用最小二乘法的方法得到臂节上的参考点的位置与臂节的倾角之间的关系。在实际的应用过程中，采用参考点目标检测的方式(通过深度学习或者模板匹配的方法)获取参考点(例如，臂节中点)的坐标，根据事先确定的臂节上的参考点的位置与臂节的倾角之间的函数关系，计算确定参考点所在臂节与水平面的夹角。
本方案与一般方案相比，除数据拟合阶段需要对工程机械安装相应的传感器外，其它同一型号的臂架车只需在臂架转盘底座上或者臂节末端安装一个或多个图像采集设备(包括但不限于相机、摄像头，雷达等)，并通过部署目标检测方法和所事先确定的曲线拟合函数即可获取臂节与水平面的倾角值。
其次，本方案的系统和破损成本低，可更换，程序维护升级方便，若仅仅通过传感器来直接获取臂节倾角，一旦传感器损坏，必须更换新的传感器，而更换传感其会非常麻烦。因此本方案具有性价比高，易推广、易量产等特点。
图6示意性示出了本发明一实施例中用于识别臂架姿态的装置的结构框图。如图6所示，在本发明实施例中，提供了一种用于识别臂架姿态的装置600，包括：图像采集设备610和处理器620，其中：
图像采集设备610，用于采集臂节的图像。
处理器620，被配置成：获取图像采集设备610采集到的臂节的第一图像；根据第一图像确定臂节上的参考点的位置信息；基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。
上述用于识别臂架姿态的装置600，通过获取图像采集设备610采集到的臂节的第一图像，处理器620根据第一图像确定臂节上的参考点的位置信息，基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据位置信息确定臂节对应的倾角值。上述方法不需要依靠传感器即可识别臂架姿态，只需要通过图像采集设备610采集臂节的图像，从而确定臂节上参考点的位置信息，基于参考点的位置和臂节倾角之间的关系确定臂节的倾角，减少了硬件成本，解决了传感器在测量臂节倾角时受臂架振动影响存在数据误差较大的问题，提高了臂架姿态识别的准确性，而且不受传感器使用寿命的限制，避免了经常更换传感器给用户造成的不便。
在一个实施例中，图像采集设备安装于臂节靠近臂架底座的一端和臂架底座的至少一者。
具体地，工程机械(包括臂架的工程机械)包括臂架底座，可以用来支撑臂节。图像采集设备(包括但不限于相机、摄像头，雷达等)可以安装在工程机械(包括臂架的工程机械)的臂节靠近臂架底座的一端，也可以安装于臂架底座上，图像采集设备的数量可以是一个也可以是多个。
在一个实施例中，处理器620进一步被配置成：获取臂节上的参考点在第一图像的预设像素坐标系中的像素点坐标，其中，预设像素坐标系包括臂节的旋转角度范围；根据像素点坐标确定参考点的位置信息。
在一个实施例中，处理器620进一步被配置成通过以下步骤来确定关系：在臂节旋转至预设倾角的情况下，获取图像采集设备采集到的臂节的第二图像；根据第二图像确定臂节上的参考点的位置信息；根据位置信息和预设倾角确定关系。
在一个实施例中，预设倾角的数量为多个；处理器620进一步被配置成：获取多个预设倾角对应的位置信息；根据预设倾角和位置信息，基于曲线拟合的方法确定关系。
在一个实施例中，处理器620进一步被配置成通过以下步骤来确定关系：在臂节上的参考点位于预设位置的情况下，获取臂节的倾角信息；根据倾角信息和预设位置确定关系。
在一个实施例中，预设位置的数量为多个；处理器620进一步被配置成：获取多个预设位置对应的倾角信息；根据预设位置和倾角信息，基于曲线拟合的方法确定关系。
在一个实施例中，曲线拟合的方法包括最小二乘法。
本发明实施例提供了一种处理器，应用于工程机械的臂架，臂架包括至少一个臂节，以及图像采集设备，该处理器被配置成执行根据上述的用于识别臂架姿态的方法。
本发明实施例提供了一种工程机械，包括：臂架，臂架包括至少一个臂节；以及根据上述的用于识别臂架姿态的装置。
可以理解，工程机械可以是包括臂架的车辆，也可以是其他包括臂架的机械设备，例如布料机，其中布料机包括基座和臂架，基座为固定的。
本发明实施例提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器执行根据上述的用于识别臂架姿态的方法。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。例如，曲线拟合的方法不限于使用最小二乘法，也不限于多项式拟合方法，现有技术中的其他曲线拟合方法均可应用于本申请。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (11)

1.一种用于识别臂架姿态的方法，所述臂架包括至少一个臂节，以及图像采集设备，其特征在于，所述臂架包括距离臂架底座最近的第一臂节和远离所述臂架底座的其余臂节，所述第一臂节上靠近臂架底座的一端的铰点中心或所述臂架底座上设置有图像采集设备，用于采集所述第一臂节对应的第一图像，所述其余臂节的臂节末端与上一臂节的连接处的铰点中心设置有图像采集设备，用于采集所述其余臂节对应的第一图像，所述方法包括：
获取所述图像采集设备采集到的第一臂节或其余臂节对应的第一图像；
根据所述第一臂节或其余臂节对应的第一图像确定所述臂节上的任一参考点的位置信息；
基于预存储的臂节上的参考点的位置与臂节的倾角之间的关系，根据所述位置信息确定所述臂节对应的倾角值。
2.根据权利要求1所述的用于识别臂架姿态的方法，其特征在于，所述根据所述第一臂节或其余臂节对应的第一图像确定所述臂节上的任一参考点的位置信息，包括：
获取所述臂节上的任一参考点在所述第一臂节或其余臂节对应的第一图像的预设像素坐标系中的像素点坐标，其中，所述预设像素坐标系包括所述臂节的旋转角度范围；
根据所述像素点坐标确定所述参考点的位置信息。
3.根据权利要求1所述的用于识别臂架姿态的方法，其特征在于，所述关系通过以下步骤来确定：
在所述臂节旋转至预设倾角的情况下，获取所述图像采集设备采集到的所述臂节的第二图像；
根据所述第二图像确定所述臂节上的参考点的位置信息；
根据所述位置信息和所述预设倾角确定所述关系。
4.根据权利要求3所述的用于识别臂架姿态的方法，其特征在于，所述预设倾角的数量为多个；所述根据所述位置信息和所述预设倾角确定所述关系，包括：
获取多个所述预设倾角对应的位置信息；
根据所述预设倾角和所述位置信息，基于曲线拟合的方法确定所述关系。
5.根据权利要求1所述的用于识别臂架姿态的方法，其特征在于，所述关系通过以下步骤来确定：
在所述臂节上的参考点位于预设位置的情况下，获取所述臂节的倾角信息；
根据所述倾角信息和所述预设位置确定所述关系。
6.根据权利要求5所述的用于识别臂架姿态的方法，其特征在于，所述预设位置的数量为多个；所述根据所述倾角信息和所述预设位置确定所述关系，包括：
获取多个所述预设位置对应的倾角信息；
根据所述预设位置和所述倾角信息，基于曲线拟合的方法确定所述关系。
7.根据权利要求4或6所述的用于识别臂架姿态的方法，其特征在于，所述曲线拟合的方法包括最小二乘法。
8.一种处理器，应用于工程机械的臂架，所述臂架包括至少一个臂节，以及图像采集设备，其特征在于，所述臂架包括距离臂架底座最近的第一臂节和远离所述臂架底座的其余臂节，所述第一臂节上靠近臂架底座的一端的铰点中心或所述臂架底座上设置有图像采集设备，用于采集所述第一臂节对应的第一图像，所述其余臂节的臂节末端与上一臂节的连接处的铰点中心设置有图像采集设备，用于采集所述其余臂节对应的第一图像，所述处理器被配置成执行根据权利要求1至7中任一项所述的用于识别臂架姿态的方法。
9.一种用于识别臂架姿态的装置，其特征在于，包括：
图像采集设备，用于采集臂节的图像；以及
根据权利要求8所述的处理器。
10.一种工程机械，其特征在于，包括：
臂架，所述臂架包括至少一个臂节；以及
根据权利要求9所述的用于识别臂架姿态的装置。
11.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器执行根据权利要求1至7中任一项所述的用于识别臂架姿态的方法。
CN202110402348.3A 2021-04-14 2021-04-14 用于识别臂架姿态的方法、处理器、装置及工程机械 Active CN113280805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110402348.3A CN113280805B (zh) 2021-04-14 2021-04-14 用于识别臂架姿态的方法、处理器、装置及工程机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110402348.3A CN113280805B (zh) 2021-04-14 2021-04-14 用于识别臂架姿态的方法、处理器、装置及工程机械

Publications (2)

Publication Number Publication Date
CN113280805A CN113280805A (zh) 2021-08-20
CN113280805B true CN113280805B (zh) 2023-03-17

Family

ID=77276714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110402348.3A Active CN113280805B (zh) 2021-04-14 2021-04-14 用于识别臂架姿态的方法、处理器、装置及工程机械

Country Status (1)

Country Link
CN (1) CN113280805B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06186384A (ja) * 1992-12-16 1994-07-08 Toshiba Eng & Constr Co Ltd 水中カメラの架台
CN102608926A (zh) * 2012-02-09 2012-07-25 三一重工股份有限公司 折叠臂架的控制方法和系统、控制器及混凝土布料机械
CN103663149A (zh) * 2013-12-12 2014-03-26 中联重科股份有限公司 一种起重机吊臂末端位置检测设备、方法、系统及起重机
CN106384115A (zh) * 2016-10-26 2017-02-08 武汉工程大学 一种机械臂关节角度检测方法
CN110346367A (zh) * 2018-04-04 2019-10-18 波音公司 移动视觉检查系统
CN111402337A (zh) * 2020-04-03 2020-07-10 中联重科股份有限公司 工程机械臂架类设备的姿态识别方法、装置及该工程机械
CN212425180U (zh) * 2020-04-16 2021-01-29 中联重科股份有限公司 吊装信息识别系统、吊装定位系统及吊装设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041745A (ja) * 1999-08-04 2001-02-16 Asahi Optical Co Ltd 写真測量方法および写真測量画像処理装置
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP2006098065A (ja) * 2004-09-28 2006-04-13 Sanyo Electric Co Ltd キャリブレーション装置および方法、ならびにそれらを利用可能な３次元モデリング装置および３次元モデリングシステム
CN202361989U (zh) * 2011-11-16 2012-08-01 山推楚天工程机械有限公司 基于机器视觉的工程机械远距离测量的设备
CN102589493B (zh) * 2012-02-08 2014-05-21 三一重工股份有限公司 臂架系统、工程机械和臂架系统末端位置参数获取方法
CN103321428B (zh) * 2013-07-03 2015-12-23 中联重科股份有限公司 一种臂架智能控制装置、系统、方法和工程机械
CN103366169A (zh) * 2013-07-19 2013-10-23 中联重科股份有限公司 一种工程机械臂架多点状态识别方法、设备及系统
CN205537632U (zh) * 2016-03-30 2016-08-31 湘潭大学 一种混凝土泵车臂架防碰撞系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06186384A (ja) * 1992-12-16 1994-07-08 Toshiba Eng & Constr Co Ltd 水中カメラの架台
CN102608926A (zh) * 2012-02-09 2012-07-25 三一重工股份有限公司 折叠臂架的控制方法和系统、控制器及混凝土布料机械
CN103663149A (zh) * 2013-12-12 2014-03-26 中联重科股份有限公司 一种起重机吊臂末端位置检测设备、方法、系统及起重机
CN106384115A (zh) * 2016-10-26 2017-02-08 武汉工程大学 一种机械臂关节角度检测方法
CN110346367A (zh) * 2018-04-04 2019-10-18 波音公司 移动视觉检查系统
CN111402337A (zh) * 2020-04-03 2020-07-10 中联重科股份有限公司 工程机械臂架类设备的姿态识别方法、装置及该工程机械
CN212425180U (zh) * 2020-04-16 2021-01-29 中联重科股份有限公司 吊装信息识别系统、吊装定位系统及吊装设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂一彪.混合动力在混凝土作业车辆中的应用研究.2020,51卷(12期),24-29. *

Also Published As

Publication number Publication date
CN113280805A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US10630971B2 (en) Automatic calibration of PTZ camera system
JP4367475B2 (ja) 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
CN1178467C (zh) 自动跟踪运动目标的方法和装置
JP4931218B2 (ja) 撮像装置、物体検出方法及び姿勢パラメータの算出方法
JP2004354257A (ja) キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP5111447B2 (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
US11843865B2 (en) Method and device for generating vehicle panoramic surround view image
JP2001116515A (ja) キャリブレーション方法
WO2019237433A1 (zh) 扫地机器人的摄像头与里程计坐标标定方法及系统
CN113280805B (zh) 用于识别臂架姿态的方法、处理器、装置及工程机械
CN113781558A (zh) 一种姿态与位置解耦的机器人视觉寻位方法
JP3465047B2 (ja) 垂直降下時に平坦区域を検出する立体視システム
CN110977970B (zh) 图像识别系统的识别方法
JP3511551B2 (ja) ロボットアームの状態検出方法および検出システム
Jiang et al. Bridge Deformation Measurement Using Unmanned Aerial Dual Camera and Learning‐Based Tracking Method
CN113271410B (zh) 用于确定工程机械的支腿开度的方法、处理器及装置
CN107727059B (zh) 目标位置确定系统及目标方位确定装置
CN213769002U (zh) 一种用于混凝土裂缝检测的相机云台
CN112153270A (zh) 云台零点检测方法、装置、摄像机及存储介质
JP2020003290A (ja) 構造物の変位計測システムおよび構造物の変位計測方法
CN2645034Y (zh) 物体空间位姿检测装置
CN111102957B (zh) 一种前悬总成夹角检测方法及电子设备
JP2002112421A (ja) 架空線弛度監視方法
US20200252531A1 (en) Imaging device, control method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210820

Assignee: Zoomlion Concrete Pumping Machinery Branch

Assignor: ZOOMLION HEAVY INDUSTRY SCIENCE AND TECHNOLOGY Co.,Ltd.

Contract record no.: X2023980042686

Denomination of invention: Method, processor, device, and engineering machinery for identifying arm posture

Granted publication date: 20230317

License type: Common License

Record date: 20231010

EE01 Entry into force of recordation of patent licensing contract