CN115686418A - 用于辅助对管的方法、视觉辅助对管系统及控制器 - Google Patents
用于辅助对管的方法、视觉辅助对管系统及控制器 Download PDFInfo
- Publication number
- CN115686418A CN115686418A CN202211454344.0A CN202211454344A CN115686418A CN 115686418 A CN115686418 A CN 115686418A CN 202211454344 A CN202211454344 A CN 202211454344A CN 115686418 A CN115686418 A CN 115686418A
- Authority
- CN
- China
- Prior art keywords
- pipe
- target
- image
- tube
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 title claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000003860 storage Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 239000003638 chemical reducing agent Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种用于辅助对管的方法、视觉辅助对管系统及控制器。该方法包括：获取图像采集设备的当前视频帧，根据当前视频帧判断视频帧的显示画面中是否包含第一目标管。在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离，然后根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态，最后在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。本申请能自动扩大目标管在系统显示画面中的占比，以便让驾驶员看到更多的管口细节，并引导驾驶员微调车辆以提高对管时的精度和效率。
Description
技术领域
本申请涉及视觉辅助对管技术领域，具体地涉及一种用于辅助对管的方法、视觉辅助对管系统及控制器。
背景技术
混凝土车载泵因其作业灵活、施工范围广、泵送性能高等优势被广泛使用在工程建筑行业中。但是通常因施工环境复杂、操作手经验不足等问题，混凝土车载泵对管作业需要耗费较长时间。
目前已有部分车载泵搭载了倒车辅助影像(类似于倒车影像)，用于实时观察工地目标砼管位置及车辆可能的运动轨迹。但实际使用中，对管的精度要求较严格。一般的短焦广角摄像头能兼顾车身四周环境，防止危险发生。但是在引导司机做较为精细的对齐操作时，由于两根管子管口在摄像头成像画面中占比较小，因此很难达到正常投入生产的精度，需要车尾管子处的人工指引结合系统共同达成高精度对管，效率较低。
发明内容
本申请实施例的目的是提供一种用于辅助对管的方法、视觉辅助对管系统及控制器，用以解决现有技术中对管效率较低的问题。
为了实现上述目的，本申请第一方面提供一种用于辅助对管的方法，应用于视觉辅助对管系统，视觉辅助对管系统包括图像采集设备和控制器，图像采集设备与控制器通信，该方法包括：
获取图像采集设备的当前视频帧；
根据当前视频帧判断视频帧的显示画面中是否包含第一目标管；
在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离；
根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态；
在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。
在本申请实施例中，根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态包括：
判断第一目标管与第二目标管的距离是否小于第一阈值；
在判定第一目标管与第二目标管的距离小于第一阈值的情况下，控制视觉辅助对管系统进入超分辨率状态。
在本申请实施例中，通过超分辨率算法调整第一目标管在显示画面的占比包括：
识别第二目标管的管口切面；
以第二目标管的管口切面的中心点为中心在显示画面中裁剪预设大小的目标区域以得到第一图像，其中，第一图像包含第一目标管；
通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像。
在本申请实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像包括：
获取第二图像上的第二待插值点在第一图像上对应的第一待插值点周围预设个数的像素点；
对预设个数的像素点进行插值以得到第二待插值点在第二图像上的像素值；
将第二待插值点在第二图像上的像素值代入至第二图像上的第二待插值点以得到第二图像。
在本申请实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像包括：
将第一图像输入深度学习模型，以得到第二图像。
在本申请实施例中，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离包括：
获取第一目标管的管口高度在显示画面中的像素数量；
根据像素数量和第一目标管的管口高度确定第一目标管的管口高度的单位像素；
根据第二目标管的管口高度和第二目标管的像素数量确定第二目标管的管口高度的单位像素；
根据第一目标管的管口高度的单位像素、第二目标管的管口高度的单位像素和第二目标管与图像采集设备之间的距离确定第一目标管和图像采集设备之间的距离；
根据第一目标管与图像采集设备之间的距离和第二目标管与图像采集设备之间的距离确定第一目标管与第二目标管的距离。
在本申请实施例中，方法还包括：
在视觉辅助对管系统处于超分辨率状态，且第一目标管与第二目标管的距离大于第二阈值的情况下，控制视觉辅助对管系统回到初始状态。
本申请第二方面提供一种控制器，包括：
存储器，被配置成存储指令；以及
处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的用于辅助对管的方法。
本申请第三方面提供一种视觉辅助对管系统，包括：
图像采集设备，被配置成获取画面；以及
根据上述的控制器，与图像采集设备通信。
本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的辅助对管的方法。
通过上述技术方案，首先获取图像采集设备的当前视频帧，根据当前视频帧判断视频帧的显示画面中是否包含第一目标管。在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离，然后根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态，最后在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。本申请能自动扩大目标管在系统显示画面中的占比，以便让驾驶员看到更多的管口细节，并引导驾驶员微调车辆以提高对管时的精度和效率。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的一种用于辅助对管的方法的流程图；
图2示意性示出了根据本申请实施例的一种通过超分辨率算法调整第一目标管在显示画面的占比的方法的流程图；
图3示意性示出了根据本申请实施例的一种控制器的结构框图；
图4示意性示出了根据本申请实施例的一种视觉辅助对管系统的结构图。
附图标记说明
1图像采集设备2控制器
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的一种用于辅助对管的方法的流程图。如图1所示，本申请实施例提供一种用于辅助对管的方法，该方法可以包括下列步骤。
步骤101、获取图像采集设备的当前视频帧。
在本申请实施例中，对管指将两根目标管进行对接的过程。例如，在工程机械领域，对管可以为目标砼管与变径管的对接，其中，目标砼管设置于工地上，变径管和图像采集设备设置于工程机械上。优选地，图像采集设备可以为摄像头。在一个示例中，该工程机械可以为混泥土车载泵车，操作人员驾驶混泥土车载泵车以实现目标砼管与变径管的对接。现有技术一般使用定焦摄像头，摄像头的视野范围固定，当视摄像头视野较宽阔时，不便于高精度对管。但实际使用中，对管的精度要求较严格。一般的短焦广角摄像头能兼顾车身四周环境，防止危险发生，但是在引导驾驶员做较为精细的对齐操作时，由于两根管子管口在摄像头成像画面中占比较小，因此很难达到正常投入生产的精度。还需要车尾管子处的人工指引结合系统共同达成高精度对管。但是如果将短焦摄像头替换为长焦，此时摄像头视野又会较小，看不到远处的目标砼管，也不能兼顾车身四周环境。因此，基于现有技术的不足，本申请提出一种用于辅助对管的方法。当目标砼管距离车身上变径管较近(进入近距离对管)时，采用超分辨率技术自动扩大目标砼管在系统显示画面中的占比，以便让司机看到更多的管口细节，引导其微调车辆让管子对齐精度更高，从而实现不同距离下高精度的对管过程视觉辅助。
在本申请实施例中，以第一目标管为目标砼管，第二目标管为变径管为例，当目标砼管距离车身上变径管较近(进入近距离对管)时，通过识别当前视频帧定位目标砼管，然后采用超分辨率技术自动扩大目标砼管在系统显示画面中的占比，以便让司机看到更多的管口细节，引导其微调车辆让管子对齐精度更高，从而实现不同距离下高精度的对管过程视觉辅助。通过识别当前视频帧定位目标砼管首先需要获取图像采集设备的当前视频帧，然后基于传统视觉特征和深度学习算法识别视频帧可以迅速定位目标砼管在画面中的位置。
步骤102、根据当前视频帧判断视频帧的显示画面中是否包含第一目标管。
在本申请实施例中，在本申请实施例中，控制器通过识别当前视频帧以判断当前视频帧的显示画面中是否包含目标砼管即第一目标管。具体地，首先需要在当前视频帧中定位目标砼管。在一个示例中，可以基于传统视觉特征在当前视频帧中定位目标砼管，如超像素分割方法，利用位置相邻且颜色、亮度、纹理等特征相似的像素点进行区域性的分割，再结合预设的变径管或目标砼管颜色特征对目标砼管进行定位。在另一个示例中，可以通过深度学习方法在当前视频帧中定位目标砼管，如语义分割算法对摄像头成像进行像素级的分类，从而实现对目标砼管的定位。或者使用目标检测方法直接在图像采集设备成像上找到目标砼管的最小外接矩，以边界框(Bounding Box，BBox)的形式返回目标砼管在图像上的位置。需要说明的是，由于变径管和图像采集设备均设置在工程机械上，因此，变径管一直存在于显示画面中。
步骤103、在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离。
在本申请实施例中，在判定显示画面中包含第一目标管的情况下，表示显示画面中存在第一目标管即目标砼管。此时，目标砼管和变径管均存在于显示画面中，可以开始进行对管操作。为了实现近距离下高精度的对管过程视觉辅助，首先需要确定第一目标管与第二目标管即目标砼管与变径管之间的距离。确定目标砼管与变径管之间的距离的方法可以参考小孔成像的原理，即当图像采集设备的参数和位置固定时，可以根据某大小固定物体在图像采集设备视野中的像素数量求出该物体距离图像采集设备的距离。也就是说，工程机械上的变径管即第二目标管与图像采集设备之间的距离是已知的，根据变径管与图像采集设备之间的距离，结合小孔成像原理和图像采集设备的内参，可以计算得到目标砼管即第一目标管与图像采集设备之间的距离。最后将两根目标管分别与图像采集设备之间的距离相减，即为第一目标管与第二目标管之间的距离。在本申请实施例中，以第一目标管即目标砼管的管口高度在图像采集设备视野中的像素数量作为目标砼管的大小依据，因为管口直径是不会变化的，但是目标砼管距离工程机械的远近能够在图像上的像素数量体现，因此可以根据目标砼管的管口高度在显示画面中的像素数量确定目标砼管与变径管的距离。
步骤104、根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态。
在本申请实施例中，当目标砼管距离车身上变径管较近(进入近距离对管)时，需要进行较为精细的对其操作，但在初始状态时，第一目标管与第二目标管即目标砼管和变径管的管口在图像采集设备成像画面中占比较小，导致很难达到正常投入生产的精度。因此，当目标砼管距离车身上变径管较近(进入近距离对管)时，控制器可以控制视觉辅助对管系统进入超分辨率状态，以使第一目标管与第二目标管即目标砼管和变径管的管口在图像采集设备成像画面中占比增大，从而进行较为精细的对管操作。
步骤105、在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。
在本申请实施例中，在视觉辅助对管系统进入超分辨率状态的情况下，可以通过超分辨率算法调整第一目标管即目标砼管在显示画面中的占比。超分辨率(Super-Resolution，SR)技术是数字图像处理中的一项技术，旨在提高图像的分辨率，即超分辨率技术可以把低分辨率图像转换为相应的高分辨率图像。图像的分辨率又可看作是像素点的尺寸，例如，对于1080P的图像，在16:9的图像比例下，长宽像素点之比为1920:1080，而在相应的2K分辨率下为2160:1440。那么显然地，低分辨率图像在相同的尺寸下，像素点的个数少于高分辨率图像，而超分辨率所做的工作就是重建低分辨率图像中缺失的像素点。也就是说，在本申请实施例中，可以通过超分辨算法将第一目标管即目标砼管在原显示画面中的图像恢复至原显示画面的大小并使其清晰。
通过上述技术方案，首先获取图像采集设备的当前视频帧，根据当前视频帧判断视频帧的显示画面中是否包含第一目标管。在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离，然后根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态，最后在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。本申请能自动扩大目标管在系统显示画面中的占比，以便让驾驶员看到更多的管口细节，并引导驾驶员微调车辆以提高让对管时的精度和效率。
在本申请实施例中，根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态可以包括：
判断第一目标管与第二目标管的距离是否小于第一阈值；
在判定第一目标管与第二目标管的距离小于第一阈值的情况下，控制视觉辅助对管系统进入超分辨率状态。
在本申请实施例中，当目标砼管距离车身上变径管较近(进入近距离对管)时，需要进行较为精细的对其操作。因此可以根据第一目标管与第二目标管即目标砼管和变径管的距离判断视觉辅助对管系统是否进入超分辨率状态。首先可以预设一个距离的阈值即第一阈值，通过判断第一目标管与第二目标管即目标砼管和变径管的距离是否小于第一阈值，可以确定目标砼管和变径管是否进入近距离对管。在确定目标砼管和变径管的距离小于第一阈值即目标砼管和变径管进入近距离对管时，控制器控制视觉辅助对管系统进入超分辨率状态。
图2示意性示出了根据本申请实施例的一种通过超分辨率算法调整第一目标管在显示画面的占比的方法的流程图。如图2所示，在本申请实施例中，通过超分辨率算法调整第一目标管在显示画面的占比可以包括包括下列步骤。
步骤201、识别第二目标管的管口切面；
步骤202、以第二目标管的管口切面的中心点为中心在显示画面中裁剪预设大小的目标区域以得到第一图像，其中，第一图像包含第一目标管；
步骤203、通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像。
在本申请实施例中，在视觉辅助对管系统进入超分辨率状态的情况下，可以通过超分辨率算法调整第一目标管即目标砼管在显示画面中的占比。具体地，当视觉辅助对管系统进入超分辨率状态时，控制器可以通过算法识别到第二目标管即变径管的管口切面的中心点，然后以该中心点为中心，在显示画面中裁剪一个预设大小的感兴趣区域(Regionof Interest,ROI)即目标区域以得到第一图像，第一图像包含第一目标管和第二目标管即目标砼管和变径管。其中，裁剪目标区域的位置根据可以根据变径管的管口位置确定，目标区域的大小可以根据变径管的大小确定。再对第一图像采用超分辨率算法使其恢复到原显示画面的大小即目标尺寸的同时更清晰以得到第二图像。此时目标砼管在视觉辅助对管系统的显示画面中的占比加大，管口细节更多。
在本申请实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像可以包括：
获取第二图像上的第二待插值点在第一图像上对应的第一待插值点周围预设个数的像素点；
对预设个数的像素点进行插值以得到第二待插值点在第二图像上的像素值；
将第二待插值点在第二图像上的像素值代入至第二图像上的第二待插值点以得到第二图像。
在本申请实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像的方法可以是线性插值算法。插值指利用已知的点来“猜”未知的点，图像领域插值常用在修改图像尺寸的过程，由旧的图像矩阵中的点计算新图像矩阵中的点并插入，不同的计算过程就是不同的插值算法。在本申请实施例中，首先获取超分辨算法处理后的图即第二图像上的第二待插值点在原图上即第一图像上对应的插值点即第一插值点周围预设个数的像素点，对预设个数的像素点进行插值可以得到第二待插值点在第二图像上的像素值，最后将第二待插值点在第二图像上的像素值代入至第二图像上的第二待插值点以得到第二图像。在一个示例中，线性插值算法可以是最近邻插值法，在第一图像上确定和第二图像上待插值点即第二插值点对应的第一插值点的距离最近的点，然后获取该最近的点的像素值，最后将该最近的点的像素值作为第二图像上待插值点即第二插值点的像素值。在另一个示例中，线性插值算法可以是双线性插值法，在第一图像上确定和第二图像上待插值点即第二插值点对应的第一插值点的距离最近的四个像素点，并在x和y方向上对这四个点的像素按照距离进行插值，最后将插值的结果即第二待插值点在第二图像上的像素值赋给第二图像中的第二待差值点。
在本申请另一实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像可以包括：
将第一图像输入深度学习模型，以得到第二图像。
在本申请实施例中，通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像的方法可以是将第一图像输入深度学习模型，以得到第二图像。也就是说，利用高分辨率图像的先验知识和以混叠形式存在的高频信息对图像的细节进行复现。深度学习模型建立的方法可以包括下列步骤：
S1、获取训练图像数据库中的若干个数据对，每个数据对包含一个低清图像和一个真实高清图像；
S2、将低清图像输入到深度学习模型中，以得到重建高清图像；
S3、通过损失函数衡量重建高清图像与真实高清图像之间的差异；
S4、通过梯度下降法和梯度反向传播重建高清图像与真实高清图像之间的差异，以优化模型参数。
该深度模型在本申请实施例中的应用为：将第一图像输入此模型，以得到第二图像。通过深度学习模型可以对第一图像的细节进行复现。
在本申请实施例中，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离可以包括：
获取第一目标管的管口高度在显示画面中的像素数量；
根据像素数量和第一目标管的管口高度确定第一目标管的管口高度的单位像素；
根据第二目标管的管口高度和第二目标管的像素数量确定第二目标管的管口高度的单位像素；
根据第一目标管的管口高度的单位像素、第二目标管的管口高度的单位像素和第二目标管与图像采集设备之间的距离确定第一目标管和图像采集设备之间的距离；
根据第一目标管与图像采集设备之间的距离和第二目标管与图像采集设备之间的距离确定第一目标管与第二目标管的距离。
在本申请实施例中，确定目标砼管与变径管之间的距离的方法可以参考小孔成像的原理，即当图像采集设备的参数和位置固定时，可以根据某大小固定物体在图像采集设备视野中的像素数量求出该物体距离图像采集设备的距离。在本申请实施例中，以第一目标管即目标砼管的管口高度作为目标砼管的大小依据，因为管口直径是不会变化的，但是目标砼管距离工程机械的远近能够在图像上的像素数量体现，因此可以根据目标砼管的管口高度确定目标砼管与变径管的距离。具体地，控制器首先获取第一目标管即目标砼管管口高度在显示画面中的像素数量，基于小孔成像原理和已知的图像采集设备的内参，控制器可以根据像素数量和第一目标管即目标砼管的管口高度确定第一目标管的管口高度的单位像素，根据第二目标管即变径管的管口高度和第二目标管的像素数量确定第二目标管的管口高度的单位像素，根据第一目标管的管口高度的单位像素、第二目标管的管口高度的单位像素和的第二目标管与图像采集设备之间的距离可以得到第一目标管和图像采集设备之间的距离即目标砼管与图像采集设备之间的距离。其中，由于图像采集设备和第二目标管即变径管均设置于工程机械上，所以变径管与图像采集设备之间的距离是预先确定的，因此，根据目标砼管与图像采集设备之间的距离，结合已知的变径管与图像采集设备之间的距离可以得到第一目标管与第二目标管即目标砼管和变径管的距离。
在本申请实施例中，用于辅助对管的方法还可以包括：
在视觉辅助对管系统处于超分辨率状态，且第一目标管与第二目标管的距离大于第二阈值的情况下，控制视觉辅助对管系统回到初始状态。
在本申请实施例中，在视觉辅助对管系统处于超分辨率状态，且第一目标管与第二目标管即目标砼管和变径管的距离大于预设阈值即第二阈值的情况下，说明目标砼管和变径管不处于近距离对管状态。此时，控制器可以控制视觉辅助对管系统回到初始状态以使图像采集设备的视野范围变大，驾驶员在进行对管操作的同时可以兼顾工程机械四周的环境。
图3示意性示出了根据本申请实施例的一种控制器的结构框图。如图3所示，本申请实施例提供一种控制器，可以包括：
存储器310，被配置成存储指令；以及
处理器320，被配置成从存储器310调用指令以及在执行指令时能够实现上述的用于控制臂架的方法。
具体地，在本申请实施例中，处理器320可以被配置成：
获取图像采集设备的当前视频帧；
根据当前视频帧判断视频帧的显示画面中是否包含第一目标管；
在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离；
根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态；
在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。
进一步地，处理器320还可以被配置成：
判断第一目标管与第二目标管的距离是否小于第一阈值；
在判定第一目标管与第二目标管的距离小于第一阈值的情况下，控制视觉辅助对管系统进入超分辨率状态。
进一步地，处理器320还可以被配置成：
识别第二目标管的管口切面；
以第二目标管的管口切面的中心点为中心在显示画面中裁剪预设大小的目标区域以得到第一图像，其中，第一图像包含第一目标管；
通过超分辨率算法将第一图像扩大至目标尺寸，以得到第二图像。
进一步地，处理器320还可以被配置成：
获取第二图像上的第二待插值点在第一图像上对应的第一待插值点周围预设个数的像素点；
对预设个数的像素点进行插值以得到第二待插值点在第二图像上的像素值；
将第二待插值点在第二图像上的像素值代入至第二图像上的第二待插值点以得到第二图像。
进一步地，处理器320还可以被配置成：
将第一图像输入深度学习模型，以得到第二图像。
进一步地，处理器320还可以被配置成：
获取第一目标管的管口高度在显示画面中的像素数量；
根据像素数量和第一目标管的管口高度确定第一目标管的管口高度的单位像素；
根据第二目标管的管口高度和第二目标管的像素数量确定第二目标管的管口高度的单位像素；
根据第一目标管的管口高度的单位像素、第二目标管的管口高度的单位像素和第二目标管与图像采集设备之间的距离确定第一目标管和图像采集设备之间的距离；；
根据第一目标管与图像采集设备之间的距离和第二目标管与图像采集设备之间的距离确定第一目标管与第二目标管的距离。
进一步地，处理器320还可以被配置成：
在视觉辅助对管系统处于超分辨率状态，且第一目标管与第二目标管的距离大于第二阈值的情况下，控制视觉辅助对管系统回到初始状态。
通过上述技术方案，首先获取图像采集设备的当前视频帧，根据当前视频帧判断视频帧的显示画面中是否包含第一目标管。在判定显示画面中包含第一目标管的情况下，根据第一目标管的管口高度在显示画面中的像素数量确定第一目标管与第二目标管的距离，然后根据第一目标管与第二目标管的距离判断视觉辅助对管系统是否进入超分辨率状态，最后在确定视觉辅助对管系统进入超分辨率状态的情况下，通过超分辨率算法调整第一目标管在显示画面的占比。本申请能自动扩大目标管在系统显示画面中的占比，以便让驾驶员看到更多的管口细节，并引导驾驶员微调车辆以提高对管时的精度和效率。
图4示意性示出了根据本申请实施例的一种视觉辅助对管系统的结构图。如图4所示，本申请实施例还提供一种视觉辅助对管系统，可以包括：
图像采集设备1，被配置成获取画面；以及
根据上述的控制器2，与图像采集设备通信。
在本申请实施例中，通过图像采集设备1获取对管画面，基于传统视觉特征和深度学习算法自动定位工地目标砼管位置，当控制器2判断目标砼管距离车身上变径管较近(进入近距离对管)时，则采用超分辨率技术自动扩大目标砼管在系统显示画面中的占比，以便让驾驶员看到更多的管口细节，并引导驾驶员微调车辆让管子对齐精度更高，从而实现不同距离下高精度的对管过程视觉辅助。
本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于辅助对管的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种用于辅助对管的方法，其特征在于，应用于视觉辅助对管系统，所述视觉辅助对管系统包括图像采集设备和控制器，所述图像采集设备与所述控制器通信，所述方法包括：
获取所述图像采集设备的当前视频帧；
根据所述当前视频帧判断所述视频帧的显示画面中是否包含第一目标管；
在判定所述显示画面中包含所述第一目标管的情况下，根据所述第一目标管的管口高度在所述显示画面中的像素数量确定所述第一目标管与第二目标管的距离；
根据所述第一目标管与所述第二目标管的距离判断所述视觉辅助对管系统是否进入超分辨率状态；
在确定所述视觉辅助对管系统进入所述超分辨率状态的情况下，通过超分辨率算法调整所述第一目标管在所述显示画面的占比。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标管与所述第二目标管的距离判断所述视觉辅助对管系统是否进入超分辨率状态包括：
判断所述第一目标管与所述第二目标管的距离是否小于第一阈值；
在判定所述第一目标管与所述第二目标管的距离小于所述第一阈值的情况下，控制所述视觉辅助对管系统进入所述超分辨率状态。
3.根据权利要求1所述的方法，其特征在于，所述通过超分辨率算法调整所述第一目标管在所述显示画面的占比包括：
识别所述第二目标管的管口切面；
以所述第二目标管的管口切面的中心点为中心在所述显示画面中裁剪预设大小的目标区域以得到第一图像，其中，所述第一图像包含所述第一目标管；
通过所述超分辨率算法将所述第一图像扩大至目标尺寸，以得到第二图像。
4.根据权利要求3所述的方法，其特征在于，所述通过所述超分辨率算法将所述第一图像扩大至目标尺寸，以得到第二图像包括：
获取所述第二图像上的第二待插值点在所述第一图像上对应的第一待插值点周围预设个数的像素点；
对所述预设个数的像素点进行插值以得到所述第二待插值点在第二图像上的像素值；
将所述第二待插值点在第二图像上的像素值代入至所述第二图像上的第二待插值点以得到第二图像。
5.根据权利要求3所述的方法，其特征在于，所述通过所述超分辨率算法将所述第一图像扩大至目标尺寸，以得到第二图像包括：
将所述第一图像输入深度学习模型，以得到所述第二图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标管的管口高度在所述显示画面中的像素数量确定所述第一目标管与第二目标管的距离包括：
获取所述第一目标管的管口高度在所述显示画面中的像素数量；
根据所述像素数量和所述第一目标管的管口高度确定所述第一目标管的管口高度的单位像素；
根据所述第二目标管的管口高度和所述第二目标管的像素数量确定所述第二目标管的管口高度的单位像素；
根据所述第一目标管的管口高度的单位像素、所述第二目标管的管口高度的单位像素和所述第二目标管与所述图像采集设备之间的距离确定所述第一目标管和所述图像采集设备之间的距离；
根据所述第一目标管与所述图像采集设备之间的距离和所述第二目标管与所述图像采集设备之间的距离确定所述第一目标管与所述第二目标管的距离。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述视觉辅助对管系统处于超分辨率状态，且所述第一目标管与所述第二目标管的距离大于第二阈值的情况下，控制所述视觉辅助对管系统回到初始状态。
8.一种控制器，其特征在于，包括：
存储器，被配置成存储指令；以及
处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至7中任一项所述的用于辅助对管的方法。
9.一种视觉辅助对管系统，其特征在于，包括：
图像采集设备，被配置成获取画面；以及
根据权利要求8的控制器，与所述图像采集设备通信。
10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至7中任一项所述的用于辅助对管的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211454344.0A CN115686418A (zh) | 2022-11-21 | 2022-11-21 | 用于辅助对管的方法、视觉辅助对管系统及控制器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211454344.0A CN115686418A (zh) | 2022-11-21 | 2022-11-21 | 用于辅助对管的方法、视觉辅助对管系统及控制器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115686418A true CN115686418A (zh) | 2023-02-03 |
Family
ID=85054098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211454344.0A Pending CN115686418A (zh) | 2022-11-21 | 2022-11-21 | 用于辅助对管的方法、视觉辅助对管系统及控制器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115686418A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309593A (zh) * | 2023-05-23 | 2023-06-23 | 天津市中西医结合医院（天津市南开医院） | 基于数学模型的肝脏穿刺活检b超图像处理方法及系统 |
-
2022
- 2022-11-21 CN CN202211454344.0A patent/CN115686418A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309593A (zh) * | 2023-05-23 | 2023-06-23 | 天津市中西医结合医院（天津市南开医院） | 基于数学模型的肝脏穿刺活检b超图像处理方法及系统 |
| CN116309593B (zh) * | 2023-05-23 | 2023-09-12 | 天津市中西医结合医院（天津市南开医院） | 基于数学模型的肝脏穿刺活检b超图像处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE10296593B4 (de) | Fahrunterstützungsvorrichtung | |
| KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
| US7511731B2 (en) | Image photographing apparatus and image processing method | |
| DE102013220669A1 (de) | Dynamische Rückspiegelanzeigemerkmale | |
| US20180160046A1 (en) | Depth-based zoom function using multiple cameras | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| KR102469650B1 (ko) | 운전자 지원 시스템 | |
| US20080055407A1 (en) | Apparatus And Method For Displaying An Image Of Vehicle Surroundings | |
| JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
| DE102007043110A1 (de) | Verfahren und Vorrichtung zum Erkennen einer Parklücke unter Nutzung einer Vogelperspektivansicht und ein diese verwendendes Einparkhilfesystem | |
| CN102783143A (zh) | 车辆用周围监视装置 | |
| CN110570367A (zh) | 鱼眼图像的校正方法、电子设备及存储介质 | |
| JPWO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
| DE112010005086T5 (de) | Kameraplattformsystem | |
| CN115686418A (zh) | 用于辅助对管的方法、视觉辅助对管系统及控制器 | |
| CN113365028B (zh) | 一种巡检路径的生成方法、装置及系统 | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN115546027B (zh) | 图像缝合线确定方法、装置以及存储介质 | |
| CN113256709A (zh) | 目标检测方法、装置、计算机设备以及存储介质 | |
| US20230269475A1 (en) | Image reconstruction method and device | |
| CN112912895B (zh) | 一种检测方法、装置和车辆 | |
| Yeh et al. | Driver assistance system providing an intuitive perspective view of vehicle surrounding | |
| DE102013220013A1 (de) | Abbildungsflächenmodellierung für die Kameramodellierung und für die Synthese virtueller Ansichten | |
| JP2018077713A (ja) | 区画線検出システム | |
| CN116343155A (zh) | 一种bev视角下的可行驶区域的确定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |