CN116170576A - 多元感知数据故障诊断方法及系统 - Google Patents
多元感知数据故障诊断方法及系统 Download PDFInfo
- Publication number
- CN116170576A CN116170576A CN202211657147.9A CN202211657147A CN116170576A CN 116170576 A CN116170576 A CN 116170576A CN 202211657147 A CN202211657147 A CN 202211657147A CN 116170576 A CN116170576 A CN 116170576A
- Authority
- CN
- China
- Prior art keywords
- camera
- adjacent
- initial
- cameras
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003745 diagnosis Methods 0.000 title claims abstract description 12
- 230000008447 perception Effects 0.000 title claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 17
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及数据处理领域，具体涉及多元感知数据故障诊断方法及系统，包括：获取得到各相机的初始环境图像、当前环境图像和标准图像，根据各相机与相邻相机的初始环境图像、当前环境图像得到各相机基于各相邻相机的初始透视变换矩阵、当前透视变换矩阵，根据各相机基于各相邻相机的初始变换矩阵、当前透视变换矩阵和标准图像得到各相机基于各相邻相机的初始参考图像和当前参考图像，根据各相机基于各相邻相机的初始参考图像和当前参考图像得到各相机基于各相邻相机的异常系数，根据各相机基于各相邻相机的异常系数对各相机进行故障诊断，从而实现对装载机上的各相机进行准确的诊断。
Description
技术领域
本申请涉及数据处理领域，具体涉及多元感知数据故障诊断方法及系统。
背景技术
在装载机的作业场景中，由于装载机体积较大，可视窗口较小，导致在驾驶人员驾驶装载机作业中具有较大的视野盲区，进而为现有装载机打造全景可视化系统，以扩大装载机作业的可视视野，提高装载机作业安全性。
现有的装载机全景可视系统会在装载机周身安装RGB相机，利用相机拍摄装载机机身周围环境，通过对采集的周围环境图像进行分析来实现装载机作业环境的检测。但是由于装载机作业环境复杂，容易发生碰撞导致的摄像头安装位置偏离，当摄像头安装位置发生较大偏离时就会无法获取想要视野的图像，影响装载机的驾驶安全。
由于装载机全景可视化系统一般是通过对多张图像进行匹配融合来获取全景视野，如果部分相机安装位置发生偏离，虽然此时相机仍能采集图像，但是采集的图像不是想要的视野，同时当部分相机发生较大位置偏移时，还容易导致相机脱落的风险。
本方案提出了多元感知数据故障诊断方法及系统，用于装载机可视系统中的多相机感知环境异常检测，防止由于部分相机被碰撞发生较大位置偏移导致的装载机不能及时感知作业环境，影响装载机驾驶安全。
发明内容
为了解决上述技术问题，本发明提供多元感知数据故障诊断方法，所述方法包括：
获取装载机的各相机的当前环境图像和初始环境图像；获取各相机的标准图像；
根据各相机与相邻相机的当前环境图像、初始环境图像得到各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵；根据各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵和标准图像得到各相机基于各相邻相机的当前参考图像、初始参考图像；
根据各相机基于各相邻相机的当前参考图像和初始参考图像得到各相机基于各相邻相机的当前交点坐标、初始交点坐标，将各相机基于各相邻相机的当前交点坐标和初始交点坐标的欧氏距离作为各相机基于各相邻相机的位置偏移系数；根据各相机基于各相邻相机的当前参考图像和初始参考图像中直线的斜率得到各相机基于各相邻相机的当前斜率序列和初始斜率序列，将各相机基于各相邻相机的当前斜率序列与初始斜率序列的相关系数作为各相机基于各相邻相机的斜率一致性；根据各相机基于各相邻相机的位置偏移系数和斜率一致性得到各相机基于各相邻相机的异常系数；获取各相机的所有相邻相机，获取各相机基于各相邻相机的异常系数，得到各相机的异常系数序列,在各相机的异常系数序列中获取各相机的最小异常系数值，根据各相机的最小异常系数值对装载机各相机进行故障诊断。
优选的，所述根据各相机与相邻相机的当前环境图像、初始环境图像得到各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵，包括的具体步骤为：
根据各相机和各相邻相机的初始环境图像得到各相机基于各相邻相机的初始透视变换矩阵：获取各相机和相邻相机的初始环境图像的特征点，对各相机的初始环境图像与相邻相机的初始环境图像的特征点进行匹配得到各相机的初始环境图像与各相邻相机的初始环境图像的多个匹配点对，在多个匹配点对中获取匹配值最大的四个匹配点对作为各相机的初始环境图像与各相邻相机的初始环境图像的最优特征点对，利用最优特征点对计算得到各相机的初始环境图像与各相邻相机的初始环境图像的单应性矩阵，即各相机基于各相邻相机的初始透视变化矩阵；
根据各相机和各相邻相机的当前环境图像得到各相机基于各相邻相机的当前透视变换矩阵。
优选的，所述根据各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵和标准图像得到各相机基于各相邻相机的当前参考图像、初始参考图像，包括的具体步骤为：
通过各相机基于各相邻相机的初始透视变换矩阵对各相机的标准图像进行透视变换得到各相机基于各相邻相机的初始参考图像；
通过各相机基于各相邻相机的当前透视变换矩阵对各相机的标准图像进行透视变换得到各相机基于各相邻相机的当前参考图像。
优选的，所述根据各相机基于各相邻相机的当前参考图像和初始参考图像得到各相机基于各相邻相机的当前交点坐标、初始交点坐标，包括的具体步骤为：
根据各相机基于各相邻相机的初始参考图像得到各相机基于各相邻相机的初始交点坐标：
获取各相机基于各相邻相机的初始参考图像的二值化图像，对各相机基于各相邻相机的初始参考图像的二值化图像进行处理得到各相机基于各相邻相机的初始参考图像的细化图像，对各相机基于各相邻相机的初始参考图像的细化图像进行直线检测得到各相机基于各相邻相机的初始参考图像的多条直线，获取各直线的函数关系式，根据所有直线的函数关系式得到各相机基于各相机的初始交点坐标；
根据各相机基于各相邻相机的当前参考图像得到各相机基于各相邻相机的当前交点坐标。
优选的，所述根据各相机基于各相邻相机的当前参考图像和初始参考图像中直线的斜率得到各相机基于各相邻相机的当前斜率序列和初始斜率序列，包括的具体步骤为：
根据各相机基于各相邻相机的初始参考图像的多条直线得到各相机基于各相邻相机的初始斜率序列：获取各相机基于各相邻相机的初始参考图像的每条直线的斜率，将所有直线的斜率从小到大排列得到斜率序列，记为各相机基于各相邻相机的初始斜率序列；
根据各相机基于各相邻相机的当前参考图像的多条直线得到各相机基于各相邻相机的当前斜率序列。
优选的，所述根据各相机基于各相邻相机的位置偏移系数和斜率一致性得到各相机基于各相邻相机的异常系数，包括的具体步骤为：
第i个相机基于第j个相邻相机的异常系数的计算公式为：
其中，
表示第i个相机基于第j个相邻相机的位置偏移系数，
表示第i个相机基于第j个相邻相机的斜率一致性，exp()表示以自然数为底数的指数函数，
表示第i个相机基于第j个相邻相机的异常系数。
优选的，所述根据各相机的最小异常系数值对装载机各相机进行故障诊断，包括的具体步骤为：
当各相机的最小异常系数值大于预设异常阈值时，判定所述相机存在故障，需要所述相机进行检修，当各相机的最小异常系数值小于预设异常阈值时，判定所述相机没有存在故障，无需进行检修。
多元感知数据故障诊断系统，所述系统包括：
数据采集模块、数据处理模块、故障提示模块，其中数据采集模块用于采集环境图像，数据处理模块通过调用计算机程序实现多元感知数据故障诊断方法得到各相机的故障结论，故障提示模块用于根据故障结论进行故障提示。
本发明实施例至少具有如下有益效果： 根据相邻相机的初始环境图像和当前环境图像确定初始参考图像和当前参考图像，当各相机及相邻相机发生较大的位置偏移时，各相机基于各相邻相机的初始参考图像和当前参考图像存在较大的信息差异；并进一步确定各相机基于各相邻相机的位置偏移系数和斜率一致性，保证得到的各相机基于各相邻相机的异常系数能够准确反映了各相机位置偏移和旋转状况，当各相机基于各相邻相机的异常系数较大时，说明相机由于碰撞发生位置偏移和旋转的概率较大偏移和旋转状，通过各相机基于所有相邻相机的异常系数对各相机进行碰撞故障判断，综合了周围多个相机的偏移和旋转状况来确定一个相机是否由于碰撞发生位置偏移和旋转，避免由于相邻相机同时都发生偏移和旋转导致判读结果不客观和不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的多元感知数据故障诊断方法及系统的流程图；
图2为本发明提供的各相机的标准图像；
图3为本发明提供的各相机基于相邻相机的初始参考图像。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的多元感知数据故障诊断方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的多元感知数据故障诊断方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的多元感知数据故障诊断方法及系统的步骤流程图，该方法包括以下步骤：
步骤S001，获取得到各相机的初始环境图像和当前环境图像。
将装载机全景可视化系统安装在装载机上，其中全景可视化系统的安装方式，本方案不再赘述。装载机全景可视化系统包含数据采集模块、数据处理模块和存储模块。
数据采集模块：数据采集模块通过安装在装载机周围的N个相机来采集环境图像，并将采集的环境图像传输至数据处理模块。需要说明的是，在进行相机安装时，需保障相邻相机采集得到的环境图像存在图像重合，本方案中N取4。
1、获取初始环境图像：
刚质检完成后的新装载机，此时装载机的各相机均被安装在要求的位置上，将这种相机状态称为初始状态，利用装载机的第i个相机采集得到初始环境图像记为
,多个相机得到多张初始环境图像。
2、获取当前环境图像：
在当前使用过程，此时装载机上的相机呈现成一种位置状态称为当前状态，利用装载机上的第i个相机采集得到当前环境图像记为
,多个相机得到多张当前环境图像。
步骤S002，根据各相机的初始环境图像和当前环境图像得到各相机基于各相邻相机的当前参考图像和初始参考图像。
由于当相机发生碰撞而产生偏移时，会导致相机的当前视角相较于初始视角发生变化，即相机相较于世界坐标系的透视关系发生变化，下面基于此来进行各相机进行异常分析，判断各相机是否出现较大的碰撞偏移现象，需要说明的是各相机的初始视角是指刚质检完成的装载机上各相机的视角，当前视角是指当前时刻的各相机的视角。
1、获取相机之间的初始透视变换矩阵和当前透视变换矩阵：
获取第i个相机的第j个相邻相机的初始环境图像和当前环境图像；
根据第i个相机和第j个相邻相机的初始环境图像得到第i个相机和第j个相邻相机的初始透视变换矩阵：利用SURF对第i个相机和第j个相邻相机的初始环境图像
和
分别进行处理，得到第i个相机和第j个相邻相机的初始环境图像
和
的特征点，利用暴力匹配算法对第i个相机的初始环境图像与第j个相邻相机的初始环境图像的特征点进行匹配得到第i个相机的初始环境图像
与第j个相邻相机的初始环境图像
的多个匹配点对，在多个匹配点对中获取匹配值最大的四个匹配点对作为第i个相机的初始环境图像
与第j个相邻相机的初始环境图像
的最优特征点对，利用最优特征点对计算得到第i个相机的初始环境图像
与第j个相邻相机的初始环境图像
的单应性矩阵，即第i个相机基于第j个相邻相机的初始透视变化矩阵
。
同理，根据第i个相机和第j个相邻相机的当前环境图像得到第i个相机基于第j个相邻相机的当前透视变换矩阵
。
2、根据初始透视变换矩阵、当前透视变换矩阵和标准图像得到初始参考图像和当前参考图像：
(1)获取标准图像：
为了能够直观观测碰撞后相机位置发生变化，需为每个相机建立一张标准图像，所选用的标准图像需满足：通过标准图像能够较为直观的体现视角情况。
本实施例中选用如图2所示的米字型图像作为各相机的标准图像
，当各相机发生偏移或旋转时会导致通过该标准图像得到的相关图像的米字交点发生位移或各米字边发生旋转。
(2)获取各相机的初始参考图像和当前参考图像：
由于通过标准图像只能反映各相机的初始视角，而无法反映相机的当前视角与初始视角的关系，只有通过各相机的初始视角和当前视角的关系才能说明相机是否发生碰撞偏移情况，而在实际过程中难以获取当前时刻的标准图像，因而也很难获取当前视角和初始视角的关系。
装载机上会安装多个相机，而相机之间的视角关系可通过两相机的透视变换矩阵来体现出来，当一个相机发生碰撞偏移时，就会导致两相机的视角关系发生变化，即两相机的透视变换矩阵也会发生变化。因而可以通过相机之间的视角关系变化情况来对各相机进行异常分析，但是由于视角关系变化难以进行量化分析，因而可将视角关系信息在图像信息中呈现出来，利用图像信息变化情况来进行相机异常分析。
第i个相机基于第j个相邻相机的初始透视变换矩阵
反映了初始状态时两相机的视角关系，初始状态是指刚质检完成的装载机，此时第i个相机和第j相机均安装在要求位置上时的状态。
第i个相机基于第j个相邻相机的当前透视变换矩阵
反映了当前时刻的两相机的视角关系。
通过第i个相机基于第j个相邻相机的初始透视变换矩阵
对第i个相机的标准图像进行透视变换得到第i个相机基于第j个相邻相机的初始参考图像
，如示意图3所示，初始参考图像能够反映初始状态下的第i个相机的标准图像在第j个相邻相机视野下的呈现形式。
通过第i个相机基于第j个相邻相机的当前透视变换矩阵
对第i个相机标准图像进行透视变换得到第i个相机基于第j个相邻相机的当前参考图像
，当前参考图像能够反映当前状态下的第i个相机的标准图像在第j个相邻相机视野下的呈现形式。
步骤S003，根据各相机基于各相邻相机的当前参考图像与初始参考图像得到各相机基于各相邻相机的异常系数。
当第i个相机和第j个相邻相机相较于初始状态均未发生位置变化时，第i个相机基于第j个相邻相机的初始参考图像和当前参考图像应该相同，只有当第i个相机或第j个相邻相机相较于初始状态发生位置变化或旋转时，第i个相机基于第j个相邻相机的初始参考图像
和当前参考图像
会存在差异。当第i个相机或第j个相邻相机发生位置变化时，第i个相机基于第j个相邻相机的当前参考图像
相较于初始参考图像的米字交点位置发生变化，当第i个相机或第j个相邻相机发生旋转变化时，第i个相机基于第j个相邻相机的当前参考图像
相交于初始参考图像
的米字直线会发生旋转变化。因而根据第i个相机基于第j个相邻相机的初始参考图像与当前参考图像的信息变化来得到第i个相机基于第j个相邻相机的异常系数。
1、获取各相机基于其他相机的初始交点坐标、当前交点坐标、初始斜率序列和当前斜率序列：
根据第i个相机基于第j个相邻相机的初始参考图像
得到第i个相机基于第j个相邻相机的初始交点坐标和初始斜率序列：利用二值化算法对第i个相机基于第j个相邻相机的初始参考图像
进行处理得到第i个相机基于第j个相邻相机的初始参考图像
的二值化图像，利用骨架提取算法对第i个相机基于第j个相邻相机的初始参考图像的二值化图像进行处理得到第i个相机基于第j个相邻相机的初始参考图像的细化图像，利用霍夫变化算法对第i个相机基于第j个相邻相机的初始参考图像的细化图像进行直线检测得到第i个相机基于第j个相邻相机的初始参考图像的多条直线，获取各直线的函数关系式，根据所有直线的函数关系式得到多条直线的交点坐标，记为第i个相机基于第j个相邻相机的初始交点
；根据各直线的函数关系式得到各直线的斜率，将所有直线的斜率从小到大排列得到斜率序列，记为第i个相机基于第j个相邻相机的初始斜率序列
。
同理获取第i个相机基于第j个相邻相机的当前参考图像的当前交点坐标
和当前斜率序列
；
2、计算各相机基于其他相机的异常系数：
计算第i个相机基于第j个相邻相机的初始交点坐标与当前交点坐标的欧式距离，作为第i个相机基于第j个相邻相机的位置偏移系数
，该值越大说明，第i个相机基于第j个相邻相机的初始交点坐标与当前交点坐标的距离越大，即以第j个相邻相机为参考，第i个相机相较于初始状态发生较大的位置偏移；
计算第i个相机基于第j个相邻相机的初始斜率序列与当前斜率序列的皮尔相关系数，作为第i个相机基于第j个相邻相机的斜率一致性
，该值越大说明，第i个相机基于第j个相邻相机的初始参考图像中的直线的斜率与当前参考图像中的直线的斜率发生较小的变化，即两张图像上的直线发生较小的旋转变化，即以第j个相邻相机为参考，第i个相机相较于初始状态旋转变化越小。
根据第i个相机基于第j个相邻相机的位置偏移系数和斜率关系得到第i个相机基于第j个相邻相机的异常系数为：
其中，
表示第i个相机基于第j个相邻相机的位置偏移系数，该值越大说明以第j个相邻相机为参考，第i个相机相较于初始状态发生较大的位置偏移，因而基于第j个相邻相机进行分析第i个相机的异常系数越大，
表示第i个相机基于第j个相邻相机的斜率一致性，该值越大说明以第j个相邻相机为参考，第i个相机相较于初始状态旋转变化越小，因而基于此j个相机进行分析第i个相机的异常系数越小，exp()表示以自然数为底数的指数函数，
表示第i个相机基于第j个相邻相机的异常系数。
步骤S004，根据各相机基于各相邻相机的异常系数对各相机进行故障诊断。
由于第i个相机基于第j个相邻相机的异常系数是以第j个相邻相机为参考得到第i个相机的异常系数，当第j个相邻相机发生位置偏移或旋转时，也会使得第i个相机的异常系数越大，因而仅仅基于第j个相邻相机得到异常系数对第i个相机进行异常分析不够准确。
获取第i个相机的所有相邻相机，获取第i个相机基于各相邻相机的异常系数，得到第i个相机的异常系数序列
,在第i个相机的异常系数序列中获取第i个相机的最小异常系数值
。需要说明的是，当第i个相机的当前环境图像与相邻相机的当前环境图像之间没有足够最优特征点对时，则认为第i个相机基于该相邻相机的异常系数为无穷大。
进行相机故障判定：当第i个相机的最小异常系数值
大于预设异常阈值
时，则认为第i个相机存在故障，需要装载机驾驶人员对装载机的第i个相机进行检修，以防产生装载机安全事故，如果第i个相机的最小异常系数值
小于预设异常阈值
时，表示装载机全景可视化系统中第i个相机工作正常，无需进行检修，本实施例中预设异常阈值
取5，其他实施中实施者可根据实际设置。
综上所述，本发明实施例提供了多元感知数据故障诊断方法及系统，根据相邻相机的初始环境图像和当前环境图像确定初始参考图像和当前参考图像，当各相机及相邻相机发生较大的位置偏移时，各相机基于各相邻相机的初始参考图像和当前参考图像存在较大的信息差异；并进一步确定各相机基于各相邻相机的位置偏移系数和斜率一致性，保证得到的各相机基于各相邻相机的异常系数能够准确反映了各相机位置偏移和旋转状况，当各相机基于各相邻相机的异常系数较大时，说明相机由于碰撞发生位置偏移和旋转的概率较大偏移和旋转状，通过各相机基于所有相邻相机的异常系数对各相机进行碰撞故障判断，综合了周围多个相机的偏移和旋转状况来确定一个相机是否由于碰撞发生位置偏移和旋转，避免由于相邻相机同时都发生偏移和旋转导致判读结果不客观和不准确的问题。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.多元感知数据故障诊断方法，其特征在于，所述方法包括：
获取装载机的各相机的当前环境图像和初始环境图像；获取各相机的标准图像；
根据各相机与相邻相机的当前环境图像、初始环境图像得到各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵；根据各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵和标准图像得到各相机基于各相邻相机的当前参考图像、初始参考图像；
根据各相机基于各相邻相机的当前参考图像和初始参考图像得到各相机基于各相邻相机的当前交点坐标、初始交点坐标，将各相机基于各相邻相机的当前交点坐标和初始交点坐标的欧氏距离作为各相机基于各相邻相机的位置偏移系数；根据各相机基于各相邻相机的当前参考图像和初始参考图像中直线的斜率得到各相机基于各相邻相机的当前斜率序列和初始斜率序列，将各相机基于各相邻相机的当前斜率序列与初始斜率序列的相关系数作为各相机基于各相邻相机的斜率一致性；根据各相机基于各相邻相机的位置偏移系数和斜率一致性得到各相机基于各相邻相机的异常系数；获取各相机的所有相邻相机，获取各相机基于各相邻相机的异常系数，得到各相机的异常系数序列,在各相机的异常系数序列中获取各相机的最小异常系数值，根据各相机的最小异常系数值对装载机各相机进行故障诊断。
2.如权利要求1所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机与相邻相机的当前环境图像、初始环境图像得到各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵，包括的具体步骤为：
根据各相机和各相邻相机的初始环境图像得到各相机基于各相邻相机的初始透视变换矩阵：获取各相机和相邻相机的初始环境图像的特征点，对各相机的初始环境图像与相邻相机的初始环境图像的特征点进行匹配得到各相机的初始环境图像与各相邻相机的初始环境图像的多个匹配点对，在多个匹配点对中获取匹配值最大的四个匹配点对作为各相机的初始环境图像与各相邻相机的初始环境图像的最优特征点对，利用最优特征点对计算得到各相机的初始环境图像与各相邻相机的初始环境图像的单应性矩阵，即各相机基于各相邻相机的初始透视变化矩阵；
根据各相机和各相邻相机的当前环境图像得到各相机基于各相邻相机的当前透视变换矩阵。
3.如权利要求1所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机基于各相邻相机的当前透视变换矩阵、初始透视变换矩阵和标准图像得到各相机基于各相邻相机的当前参考图像、初始参考图像，包括的具体步骤为：
通过各相机基于各相邻相机的初始透视变换矩阵对各相机的标准图像进行透视变换得到各相机基于各相邻相机的初始参考图像；
通过各相机基于各相邻相机的当前透视变换矩阵对各相机的标准图像进行透视变换得到各相机基于各相邻相机的当前参考图像。
4.如权利要求1所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机基于各相邻相机的当前参考图像和初始参考图像得到各相机基于各相邻相机的当前交点坐标、初始交点坐标，包括的具体步骤为：
根据各相机基于各相邻相机的初始参考图像得到各相机基于各相邻相机的初始交点坐标：
获取各相机基于各相邻相机的初始参考图像的二值化图像，对各相机基于各相邻相机的初始参考图像的二值化图像进行处理得到各相机基于各相邻相机的初始参考图像的细化图像，对各相机基于各相邻相机的初始参考图像的细化图像进行直线检测得到各相机基于各相邻相机的初始参考图像的多条直线，获取各直线的函数关系式，根据所有直线的函数关系式得到各相机基于各相机的初始交点坐标；
根据各相机基于各相邻相机的当前参考图像得到各相机基于各相邻相机的当前交点坐标。
5.如权利要求4所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机基于各相邻相机的当前参考图像和初始参考图像中直线的斜率得到各相机基于各相邻相机的当前斜率序列和初始斜率序列，包括的具体步骤为：
根据各相机基于各相邻相机的初始参考图像的多条直线得到各相机基于各相邻相机的初始斜率序列：获取各相机基于各相邻相机的初始参考图像的每条直线的斜率，将所有直线的斜率从小到大排列得到斜率序列，记为各相机基于各相邻相机的初始斜率序列；
根据各相机基于各相邻相机的当前参考图像的多条直线得到各相机基于各相邻相机的当前斜率序列。
6.如权利要求1所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机基于各相邻相机的位置偏移系数和斜率一致性得到各相机基于各相邻相机的异常系数，包括的具体步骤为：
第i个相机基于第j个相邻相机的异常系数的计算公式为：
其中，
表示第i个相机基于第j个相邻相机的位置偏移系数，
表示第i个相机基于第j个相邻相机的斜率一致性，exp()表示以自然数为底数的指数函数，
表示第i个相机基于第j个相邻相机的异常系数。
7.如权利要求1所述的多元感知数据故障诊断方法，其特征在于，所述根据各相机的最小异常系数值对装载机各相机进行故障诊断，包括的具体步骤为：
当各相机的最小异常系数值大于预设异常阈值时，判定所述相机存在故障，需要所述相机进行检修，当各相机的最小异常系数值小于预设异常阈值时，判定所述相机没有存在故障，无需进行检修。
8.多元感知数据故障诊断系统，其特征在于，所述系统包括：
数据采集模块、数据处理模块、故障提示模块，其中数据采集模块用于采集环境图像，数据处理模块通过调用计算机程序实现权利要求
任意一项方法的步骤得到各相机的故障结论，故障提示模块用于根据故障结论进行故障提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657147.9A CN116170576B (zh) | 2022-12-22 | 2022-12-22 | 多元感知数据故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657147.9A CN116170576B (zh) | 2022-12-22 | 2022-12-22 | 多元感知数据故障诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116170576A true CN116170576A (zh) | 2023-05-26 |
| CN116170576B CN116170576B (zh) | 2024-04-02 |
Family
ID=86410436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211657147.9A Active CN116170576B (zh) | 2022-12-22 | 2022-12-22 | 多元感知数据故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116170576B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506857A (zh) * | 2015-01-15 | 2015-04-08 | 苏州阔地网络科技有限公司 | 一种摄像头位置偏离检测方法及设备 |
| CN107564062A (zh) * | 2017-08-16 | 2018-01-09 | 清华大学 | 位姿异常检测方法及装置 |
| CN112040219A (zh) * | 2020-07-28 | 2020-12-04 | 北京旷视科技有限公司 | 相机画面检测方法、装置、电子设备及可读存储介质 |
| US20210329201A1 (en) * | 2020-04-15 | 2021-10-21 | Primax Electronics Ltd. | Camera module aligning method |
| CN113766209A (zh) * | 2020-05-29 | 2021-12-07 | 上海汉时信息科技有限公司 | 相机偏移量处理方法及装置 |
| CN114943773A (zh) * | 2022-04-06 | 2022-08-26 | 阿里巴巴（中国）有限公司 | 相机标定方法、装置、设备和存储介质 |
-
2022
- 2022-12-22 CN CN202211657147.9A patent/CN116170576B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506857A (zh) * | 2015-01-15 | 2015-04-08 | 苏州阔地网络科技有限公司 | 一种摄像头位置偏离检测方法及设备 |
| CN107564062A (zh) * | 2017-08-16 | 2018-01-09 | 清华大学 | 位姿异常检测方法及装置 |
| US20210329201A1 (en) * | 2020-04-15 | 2021-10-21 | Primax Electronics Ltd. | Camera module aligning method |
| CN113766209A (zh) * | 2020-05-29 | 2021-12-07 | 上海汉时信息科技有限公司 | 相机偏移量处理方法及装置 |
| CN112040219A (zh) * | 2020-07-28 | 2020-12-04 | 北京旷视科技有限公司 | 相机画面检测方法、装置、电子设备及可读存储介质 |
| CN114943773A (zh) * | 2022-04-06 | 2022-08-26 | 阿里巴巴（中国）有限公司 | 相机标定方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116170576B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| EP2776816B1 (en) | System and method for data-driven automated defect detection | |
| US9471057B2 (en) | Method and system for position control based on automated defect detection feedback | |
| CN111383285B (zh) | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 | |
| WO2019150872A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP7059883B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
| US20130113916A1 (en) | System and Method for Multiple Simultaneous Automated Defect Detection | |
| CN110942458A (zh) | 一种温度异常缺陷检测定位方法及系统 | |
| CN109799073B (zh) | 一种光学畸变测量装置及方法、图像处理系统、电子设备和显示设备 | |
| CN110199316A (zh) | 相机和相机的图像处理方法 | |
| CN113781393B (zh) | 屏幕缺陷检测方法、装置、设备及存储介质 | |
| CN112001963B (zh) | 消防通道的排查的方法、系统和计算机设备 | |
| CN113688817A (zh) | 一种自动巡检的仪表识别方法及识别系统 | |
| EP2249307B1 (en) | Method for image reframing | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| CN117173125A (zh) | 一种基于全景图的缺陷点位显示方法、装置及存储介质 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| CN108428247B (zh) | 焊锡点方向的检测方法和系统 | |
| CN110111018A (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
| CN116170576B (zh) | 多元感知数据故障诊断方法 | |
| EP4010873B1 (en) | Use of an hdr image in a visual inspection process | |
| CN117406212A (zh) | 一种交通多要素雷达视觉融合检测方法 | |
| CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN116778837A (zh) | 一种多功能显示器故障检测平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |