CN102384744B - 基于机器视觉的工程机械远距离测量的方法及设备 - Google Patents
基于机器视觉的工程机械远距离测量的方法及设备 Download PDFInfo
- Publication number
- CN102384744B CN102384744B CN 201110362171 CN201110362171A CN102384744B CN 102384744 B CN102384744 B CN 102384744B CN 201110362171 CN201110362171 CN 201110362171 CN 201110362171 A CN201110362171 A CN 201110362171A CN 102384744 B CN102384744 B CN 102384744B
- Authority
- CN
- China
- Prior art keywords
- video camera
- marker
- measured
- machine vision
- long distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于机器视觉的工程机械远距离测量的方法及设备，其方法包括：在待测目标上设置标识物；以标识物在地面上的投影点为原点O，在地面上架设摄像机A和摄像机B，分别对准标识物的中心位置，同时对待测目标进行一段时间的摄像；对拍摄影像进行图像处理，根据待测目标在影像上的像素移动变化值、标识物在影像上的像素值和标识物的实际大小计算待测目标的实际移动变化值。本发明是采用摄影或是摄像的方式，获取一段录像或是一系列照片，即自动可获取位移、速度、加速度信息等。因此对臂架或吊具振动和发动机的运行信息进行现场测量是可行的，而且录像或是照片能更加方便的记录此时的工作状态，更利于后期分析。
Description
技术领域
本发明涉及一种基于机器视觉的工程机械远距离测量的方法及设备，具体涉及臂架式混凝土泵车及起重机等高空作业的机械在工作过程中执行部件的位移测量，属于工程机械领域。
背景技术
在工程机械(如起重机、泵车等)施工现场，基于试验测量或故障原因排查的需要，经常需要测量执行部件(如臂架、吊具等)的位移，而在施工现场测量此类工程机械的位移是十分不方便。目前采用位移传感器面对现场的恶劣环境及需要一个固定参考点等因素，使这类传感器使用起来非常困难，同时，此类型传感器通常需要各种规格电源(220V交流电，24V直流电，36V直流电等都需要专用的电源模块，携带不便)的准备、位移基准的标定以及安装传感器的不便(有些需要停机安装)，给现场测量带来了诸多不便，加大了测量的工作量和难度。目前缺少方便有效的测量方法。
因此，如何方便快速的工程机械的执行部件的高空测量问题，是本领域技术人员所需解决的技术问题。
由于工程机械的执行部件(臂架、吊具等)具有较小刚度和较大的质量，在振动或是移动时速度通常比较慢，因此采用较低频的采样频率进行测量是能满足大部分的测量要求的。
发明内容
本发明为了克服上述现有技术存在的问题及缺点，提供一种使用简便、性能可靠的臂架运动测量方式以及发动机运行信息测量方式。
本发明所采用的技术方案是：
一种基于机器视觉的工程机械远距离测量的方法，以工程机械作为待测目标，设置有摄像机A和摄像机B，包括以下步骤：
步骤一、在待测目标上设置标识物；
步骤二、以标识物在地面上的投影点为原点O，在地面上架设摄像机A和摄像机B，摄像机A到原点O的距离LA与摄像机B到原点O的距离LB相等，且OA两点连线与OB连点连线互相垂直；
步骤三、摄像机A和摄像机B的镜头分别对准标识物的中心位置，且摄像机A和摄像机B的拍摄角度和焦距相同；
步骤四、摄像机A和摄像机B同时对待测目标进行一段时间的摄像；
步骤五、对摄像机A和摄像机B的拍摄影像进行图像处理，根据待测目标在影像上的像素移动变化值、标识物在影像上的像素值和标识物的实际大小计算待测目标的实际移动变化值；
步骤六、根据摄像机A和摄像机B的影像分别得出的两组待测目标实际移动变化值数据进行比较，若一致则输出并存储数据，退出；若不一致，则数据作废，回到步骤四。
优选的，上述步骤一中设置标识物时将标识物的形状和颜色与背景进行明显区别。
优选的，上述步骤五中像素移动变化值包括上下方向像素移动变化值和左右方向像素移动变化值，实际移动变化值包括上下方向实际移动变化值和左右方向实际移动变化值。
优选的，上述实际移动变化值通过以下公式进行计算：
优选的，上述方法中，将标识物设置在臂架上，则通过以下公式进行计算：
优选的，上述方法中，根据臂架的运动幅度以及运动时间可以计算出相应方向的变化速度和加速度。
优选的，上述方法中，对臂架的运动幅度在时域进行傅里叶变换，作进一步数据分析。
优选的，上述基于机器视觉的工程机械远距离测量的方法还包括录音设备，在施工现场采集正常工作时发动机的声音和施工现场的噪声，对其做简单的处理后从发动机的声音中去除施工现场的噪声，将波形显示出来并保存到数据库。
优选的，上述方法中，将上述影像处理结果和声音处理结果通过网络传输到待测目标设备生产厂商终端，由生产厂商根据处理结果进行实时判断，得到设备运行状况并进行维护指导和技术方案制定。
本发明同时还提供了相应执行上述方法的设备，包括设置在待测目标上的标识物、两台摄像机、个人PC电脑和网络传输设备，其特征在于：两台摄像机为摄像机A和摄像机B，以标识物在地面上的投影点为原点O，在地面上架设摄像机A和摄像机B，摄像机A到原点O的距离LA与摄像机B到原点O的距离LB相等，且OA两点连线与OB连点连线互相垂直；摄像机A和摄像机B的镜头分别对准标识物的中心位置，且摄像机A和摄像机B的拍摄角度和焦距相同。
所述设备还包括录音设备。
所述标识物的形状和颜色与背景进行明显区别。
所述两台摄像机与个人PC电脑，个人PC电脑通过网络传输设备与生产厂商终端连接。
本发明是采用摄影或是摄像的方式，获取一段录像或是一系列照片，即自动可获取位移、速度、加速度信息等，如采用摄像的方式，更可通过同时获取的声音信息，对发动机等进行声音分析，获取此时转速等信息。因此对臂架或吊具振动和发动机的运行信息进行现场测量是可行的，而且录像或是照片能更加方便的记录此时的工作状态，更利于后期分析。
采用此种测量方式，只需客户或施工单位用相机或录像机设备将施工现场采集的图像信息和声音信息传递给工程机械生产厂家，由设备生产厂家的相应技术部门进行测量即可得到运行信息，并可进一步判断可能存在的故障以及故障原因，这大大节省了售后服务的成本并提高了售后服务的质量。若是长期与客户保持联系，定期测量工程机械的运行状况信息，还可提前发现工程机械的异常，并提醒客户做出相应的处理，这大大节省了客户的时间。
附图说明
图1是本发明电子设备与臂架示意图；
图2是本发明臂架实际运动幅度的计算示意图；
图3-1是本发明测量方式实施示意图；
图3-2是本发明测量方式另一实施示意图；
图4是本发明两架电子设备采集图像示意图；
图5-1是本发明实施例选择标识物示意图；
图5-2是本发明实施例对标识物进行标识示意图；
图5-3是本发明实施例标识物跟踪示意图；
图5-4是本发明实施例标识物继续跟踪示意图
图6-1是本发明臂架运动幅度示意图；
图6-2是本发明臂架实际运动幅度示意图；
图6-3是本发明臂架实际运动速度示意图；
图6-4是本发明臂架实际运动加速度示意图；
图6-5是本发明傅里叶变换示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述。本发明以臂架式混凝土泵车为例进行说明。
根据在臂架式混凝土泵车等高空作业机械的施工现场采集到的录像(每秒的帧数越多，频率分析精度越高)或高速摄影图片。通过录像或是照片通过机器视觉发现目标(臂架上的某个标识物)，锁定标识物，然后自动跟随(踪)标识物的运动，由于标识物附着在臂架上且无弹性形变，其运动反映了臂架的运动情况，通过对标识物运动情况的测量，以标识物的中心点为基准点，以标识物的边(不一定是实际意义上的边)为标准，计算可得标识物的运动幅度，即是臂架的运动幅度。这种测量方式是以标识物为基准测量的，而标识物是必然要与背景明显区分开来的，因此与背景的变化无关。这种测量方式还与拍摄位置(同一次拍摄的位置是一致的，不同次拍摄的位置可不同)、焦距、拍摄角度的变化无关。通过对臂架运动测量所得数据的分析，可判断故障原因并进一步完善产品设计。
为了更好的显示臂架的运动情况，考虑做出臂架运动幅度的三维图，用两架摄像机分别从两个方位同时拍摄臂架的运动情况，且这两架摄像机必须以臂架末端在地面上的投影为原点成直角(90°)，并且距离投影点同样远近，即LA＝LB，如图4所示。由于两架摄像机同时拍摄臂架的运动情况，则它们在上下方向上的运动幅度理论上是一致的，故采用标识物在上下方向运动的像素和对应的实际幅度为标准。具体测量方式与上述相同。将臂架上下方向运动的测量结果进行对比，若一致则进行后续分析处理，否则放弃。如此可完全展现臂架在整个空间的运动情况。
在施工现场采集正常工作时发动机的声音(各种工况)和施工现场的噪声(如其他工程机械设备的声音等)，对其做简单的处理后从发动机的声音中去除施工现场的噪声，将波形显示出来并保存到数据库。然后客户在施工现场采集发动机的声音和施工现场的噪声，首先显示波形并做一些简单的处理，然后去除施工现场的噪声，最后与数据库中正常工作时的声音进行对比，可借助编程软件Visual C++、辅助分析软件LabView等，提取出故障段，依此可判断发动机的工作状况和故障信息，便于进一步的保养和维修。
所采用的臂架运动幅度测量方式是对每一帧画面都要锁定标识物，并计算标识物的区域，因此拍摄位置、焦距和拍摄角度的变化相应的引起画面中标识物形状和大小的变化，但是对于同一次测量，拍摄位置、拍摄角度和焦距是不变的，锁定的标识物的形状和大小也是不变的，而摄像机等电子设备离臂架很远，一般为10米以上，因此标识物边的上沿与下沿到电子设备的角度差可忽略不计，如图1所示，此时按照公式
计算即可，如图2所示，图2是图1圆圈部分的放大，所给出的公式是基本公式的一种具体形式。
对于不同次测量，拍摄位置在远近位置上的变化可反应为焦距的变化，由于每帧画面都要测量标识物的像素值，当焦距变化时，拍摄到的标识物所占用的像素值会随之变化，同时拍摄到的臂架运动的像素值也同比例变化，由臂架的实际运动计算公式可知，对最终的计算结果即臂架运动幅度没有影响。
拍摄角度的变化相应的引起标识物大小和形状的变化，测量的标识物的像素值也会随之同比例变化，但标识物的中心点是不变的，而且标识物距离摄像机等电子设备很远，标识物的边长远远小于距离，其形状的变化可忽略不计；而大小变化可参考拍摄位置和焦距变化时的解释。故拍摄角度的变化对像素值的测量没有影响，对最终的计算结果即臂架运动幅度也没有影响。
对臂架运动幅度的测量示意图如图3-1和图3-2所示。
如图4所示，假设摄像机A采集的为臂架上下、左右两个方向(左右方向为运动幅度大的方向)的运动情况，则摄像机B采集的为臂架上下、前后两个方向的运动情况。由于两架摄像机同时拍摄臂架的运动情况，则它们在上下方向上的运动幅度理论上是一致的。我们以摄像机A为主、摄像机B为辅采集图像，由于两架摄像机采集到的臂架在上下方向的运动幅度是一致的，因此像素标准和对应的实际幅度标准均采用上下方向即Y方向。将摄像机A采集的图像用臂架运动状态的测量方式即上述三、四两部分所述的方法进行分析测量；并对摄像机B采集的图像进行同样的分析测量，所测量出的上下方向的运动与A的结果进行对比，若一致则有效，否则此次测量数据作废。在最后臂架运动幅度显示时，用两种显示方式：一是用像素值或实际运动幅度值显示每个方向的运动幅度值，分析臂架在三个方向的运动情况；二是采用三维图显示整个臂架在空间的坐标情况，展示其空间运动区域范围。
具体实施例如下：
首先提取第一帧画面，在显示器上手动选择与背景颜色不同的标识物(附着在臂架上，跟随臂架运动)的某个点作为输入(最后测量所得的结果与此点的位置无关)，并将此点显示出来(可以是+、*、◇等，不限)，如图5-1所示，然后以此点为基准自动确定标识物的区域(用一颜色模块表示，其形状、颜色任意，颜色一般选择醒目的颜色，不作要求)，如图5-2所示。然后运行相应的图像处理算法，在整幅画面中或者某已定位的局部区域测量臂架的运动，在此过程中，表示标识物的颜色模块一直自动跟随臂架，如图5-3、5-4所示，并用二维图像绘出每帧画面中臂架的运动情况(此时绘出的是像素值，图像的左上角为原点)，如图6-1所示。然后依据如下公式，
计算可得臂架的运动幅度(用国际单位米或者厘米表示)，如图6-2所示，此时完成对臂架的运动测量。我们还可计算得到臂架运动的速度和加速度，如图6-3、6-4所示。对臂架在时域的实际运动幅度进行傅立叶变换，以便于进一步分析，如图6-5所示。
以上所述，仅是用以说明本发明的具体实施案例而已，并非用以限定本发明的可实施范围，举凡本领域熟练技术人员在未脱离本发明所指示的精神与原理下所完成的一切等效改变或修饰，仍应由本发明权利要求的范围所覆盖。
Claims (1)
1.一种基于机器视觉的工程机械远距离测量的方法，以工程机械作为待测目标，设置有摄像机A和摄像机B，其特征在于包括以下步骤：
步骤一、在待测目标上设置标识物；
步骤二、以标识物在地面上的投影点为原点O，在地面上架设摄像机A和摄像机B，摄像机A到原点O的距离LA与摄像机B到原点O的距离LB相等，且OA两点连线与OB连点连线互相垂直；
步骤三、摄像机A和摄像机B的镜头分别对准标识物的中心位置，且摄像机A和摄像机B的拍摄角度和焦距相同；
步骤四、摄像机A和摄像机B同时对待测目标进行一段时间的摄像；
步骤五、对摄像机A和摄像机B的拍摄影像进行图像处理，根据待测目标在影像上的像素移动变化值、标识物在影像上的像素值和标识物的实际大小计算待测目标的实际移动变化值；
步骤六、根据摄像机A和摄像机B的影像分别得出的两组待测目标实际移动变化值数据进行比较，若一致则输出并存储数据，退出；若不一致，则数据作废，回到步骤四。
2、根据权利要求1所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：所述步骤一中设置标识物时将标识物的形状和颜色与背景进行明显区别。
3、根据权利要求1所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：所述步骤五中像素移动变化值包括上下方向像素移动变化值和左右方向像素移动变化值，实际移动变化值包括上下方向实际移动变化值和左右方向实际移动变化值。
4、根据权利要求3所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：所述实际移动变化值通过以下公式进行计算：
。
5、根据权利要求3所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：将标识物设置在臂架上，则通过以下公式进行计算：
6、根据权利要求5所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：根据臂架的运动幅度以及运动时间计算出相应方向的变化速度和加速度。
7、根据权利要求5所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：对臂架的运动幅度在时域进行傅里叶变换，作进一步数据分析。
8、根据权利要求1-7之一所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：所述基于机器视觉的工程机械远距离测量的方法还包括录音设备，在施工现场采集正常工作时发动机的声音和施工现场的噪声，对其做简单的处理后从发动机的声音中去除施工现场的噪声，将波形显示出来并保存到数据库。
9、根据权利要求8所述的基于机器视觉的工程机械远距离测量的方法，其特征在于：将所述影像处理结果和声音处理结果通过网络传输到待测目标设备生产厂商终端，由生产厂商根据处理结果进行实时判断，得到设备运行状况并进行维护指导和技术方案制定。
10、一种执行如权利要求1-9之一所述的基于机器视觉的工程机械远距离测量的方法的设备，其特征在于包括设置在待测目标上的标识物、两台摄像机、个人PC电脑和网络传输设备，两台摄像机为摄像机A和摄像机B，以标识物在地面上的投影点为原点O，在地面上架设摄像机A和摄像机B，摄像机A到原点O的距离LA与摄像机B到原点O的距离LB相等，且OA两点连线与OB连点连线互相垂直；摄像机A和摄像机B的镜头分别对准标识物的中心位置，且摄像机A和摄像机B的拍摄角度和焦距相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110362171 CN102384744B (zh) | 2011-11-16 | 2011-11-16 | 基于机器视觉的工程机械远距离测量的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110362171 CN102384744B (zh) | 2011-11-16 | 2011-11-16 | 基于机器视觉的工程机械远距离测量的方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102384744A CN102384744A (zh) | 2012-03-21 |
| CN102384744B true CN102384744B (zh) | 2013-04-24 |
Family
ID=45824387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110362171 Expired - Fee Related CN102384744B (zh) | 2011-11-16 | 2011-11-16 | 基于机器视觉的工程机械远距离测量的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102384744B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103663149B (zh) * | 2013-12-12 | 2015-08-05 | 中联重科股份有限公司 | 一种起重机吊臂末端位置检测设备、方法、系统及起重机 |
| CN104361594B (zh) * | 2014-11-18 | 2018-04-03 | 国家电网公司 | 一种摄像机交叉定位方法 |
| CN105783877B (zh) * | 2016-05-11 | 2018-04-27 | 上海振华重工电气有限公司 | 起重设备行走的位姿检测装置及方法 |
| CN107101711A (zh) * | 2017-03-20 | 2017-08-29 | 三峡大学 | 一种特高压输电线路屏蔽环的振动频率识别方法 |
| CN109764822A (zh) * | 2019-01-24 | 2019-05-17 | 武汉理工大学 | 基于图像与几何轮廓的大型门式起重机梁变形测量方法 |
| CN109798877B (zh) * | 2019-02-20 | 2021-08-06 | 博雅工道（北京）机器人科技有限公司 | 一种仿生水下机器鱼双目立体测距方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060018910A (ko) * | 2006-02-02 | 2006-03-02 | (재) 한국건설품질연구원 | 구조물 감시, 진단을 위한 이미지 프로세싱에 기반한구조물의 정적영상변위계측시스템 |
| CN100360898C (zh) * | 2006-03-02 | 2008-01-09 | 浣石 | 远距离面内小位移测量方法 |
| CN101832760B (zh) * | 2010-04-23 | 2011-12-07 | 清华大学 | 一种远距离三维微小形变视觉在线监测方法和系统 |
-
2011
- 2011-11-16 CN CN 201110362171 patent/CN102384744B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102384744A (zh) | 2012-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102384744B (zh) | 基于机器视觉的工程机械远距离测量的方法及设备 | |
| Chen et al. | Modal identification of simple structures with high-speed video using motion magnification | |
| Baqersad et al. | Photogrammetry and optical methods in structural dynamics–A review | |
| CN102798456B (zh) | 一种工程机械臂架系统工作幅度的测量方法、装置及系统 | |
| Chen et al. | Structural modal identification through high speed camera video: Motion magnification | |
| Ji et al. | Nontarget stereo vision technique for spatiotemporal response measurement of line-like structures | |
| CN103090883A (zh) | 一种光电跟踪系统动态跟踪精度校准装置及方法 | |
| KR101309443B1 (ko) | 모션 캡처를 이용한 구조물 모니터링 장치 및 방법 | |
| CN102608351B (zh) | 机械臂三维姿态的检测方法和系统、及控制其运行的系统 | |
| CN102848389A (zh) | 基于视觉运动捕捉的机械臂标定及跟踪系统实现方法 | |
| CN105403143A (zh) | 一种获取模拟地震振动台的位移变化的测量方法及其系统 | |
| AU2016308995A1 (en) | Method, device, and program for measuring displacement and vibration of object by single camera | |
| CN106949936A (zh) | 利用双目视觉位移监测系统分析输电塔结构模态的方法 | |
| CN105607760A (zh) | 一种基于微惯性传感器的轨迹还原方法及系统 | |
| CN104279960A (zh) | 用移动设备进行物体尺寸测量的方法 | |
| CN102788572A (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
| CN110569849A (zh) | 一种基于ar眼镜的多仪表同时识别及空间定位方法及系统 | |
| JP2013104862A (ja) | 三次元変位測定装置 | |
| Wang et al. | Vibration measurement method based on point tracking for irregular structures | |
| CN102506727A (zh) | 臂架振动位移测量方法、系统及包含其的混凝土泵车 | |
| Lemkens et al. | Multi RGB-D camera setup for generating large 3D point clouds | |
| Wang et al. | Real-time vibration visualization using GPU-based high-speed vision | |
| CN202361989U (zh) | 基于机器视觉的工程机械远距离测量的设备 | |
| CN203443582U (zh) | 升空烟花综合参数检测系统 | |
| Sabato et al. | Development of an IMU-radar sensor board for three-dimensional digital image correlation camera triangulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130424 Termination date: 20161116 |