CN115546691A - 用于辅助对管的方法、对管辅助系统及控制器 - Google Patents
用于辅助对管的方法、对管辅助系统及控制器 Download PDFInfo
- Publication number
- CN115546691A CN115546691A CN202211216613.XA CN202211216613A CN115546691A CN 115546691 A CN115546691 A CN 115546691A CN 202211216613 A CN202211216613 A CN 202211216613A CN 115546691 A CN115546691 A CN 115546691A
- Authority
- CN
- China
- Prior art keywords
- target
- pipe
- tube
- image acquisition
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004891 communication Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 11
- 239000003638 chemical reducing agent Substances 0.000 description 33
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本申请公开了一种用于辅助对管的方法、对管辅助系统及控制器。该方法包括：首先获取多个图像采集设备的当前视频帧并判断多个图像采集设备的显示画面中是否检测到第一目标管，在检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态。在追踪到第一目标管的管口切面中心点处于显示画面的中央并检测到第二目标管的情况下，控制目标云台进入第二追踪状态。本申请能实现对目标管的自动追踪功能，在保持高分辨率的对管现场画面显示的同时，还对目标管进行实时追踪，通过对管过程视觉辅助，提高了目标管在不同距离不同方位下的对管精度。
Description
技术领域
本申请涉及智能辅助对管技术领域，具体地涉及一种用于辅助对管的方法、对管辅助系统及控制器。
背景技术
混凝土车载泵因其作业灵活、施工范围广、泵送性能高等优势被广泛使用在工程建筑行业中。但是通常因施工环境复杂、操作手经验不足等问题，混凝土车载泵对管作业需要耗费较长时间。
目前已有部分车载泵搭载了倒车辅助影像(类似于倒车影像)，用于实时观察工地目标砼管位置及车辆可能的运动轨迹。然而该技术通常只针对变径管做了辅助线标定，但是未考虑实际使用中目标砼管的位置，通常需要人为判断两根管子的相对位置再去调整车身。并且现有技术中一般使用定焦摄像头，摄像头的视野范围固定。当摄像头视野较小时，看不到远处的目标砼管；当视摄像头视野较宽阔时，管口特征少不便于高精度对管。
发明内容
本申请实施例的目的是提供一种用于辅助对管的方法、对管辅助系统及控制器，用以解决现有技术中对管时目标管容易超出视野范围以及高精度对管时视野范围过大的问题。
为了实现上述目的，本申请第一方面提供一种用于辅助对管的方法，应用于对管辅助系统，该对管辅助系统包括多个云台、多个图像采集设备和控制器，多个图像采集设备分别设置于多个云台上，多个云台和多个图像采集设备分别与控制器通信，该方法包括：
获取多个图像采集设备的当前视频帧；
根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管；
在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态，以使第一目标管的管口切面中心点处于显示画面的中央；
在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管；
在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态，以使所述第二目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，该方法还包括：
在判定显示画面中未检测到第一目标管的情况下，控制目标云台进入目标搜索状态，直至显示画面中检测到第一目标管。
在本申请实施例中，该方法还包括：
在第二追踪状态下检测到显示画面不包含第二目标管的情况下，控制目标云台进入目标搜索状态。
在本申请实施例中，控制目标云台进入目标搜索状态包括：
控制目标云台以预设的轨迹转动，并根据当前视频帧判断图像采集设备的显示画面中是否检测到第一目标管。
在本申请实施例中，该方法还包括；
在判定显示画面中检测到多个候选第二目标管的情况下，将与第一目标管距离最近的候选第二目标管确定为第二目标管。
在本申请实施例中，根据当前视频帧判断图像采集设备的显示画面中是否检测到第一目标管包括：
识别当前视频帧中的目标对象；
在识别到视频帧中包含一个目标对象的情况下，将目标对象确定为第一目标管；
在识别到视频帧中包含的目标对象的数量大于两个的情况下，根据图像采集设备的位置和目标对象的宽高比、宽高绝对值确定确定第一目标管和多个候选第二目标管。
在本申请实施例中，在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态包括，以使所述第一目标管的管口切面中心点处于所述显示画面的中央：
在判定显示画面中检测到第一目标管的情况下，确定第一目标管的管口切面中心点；
控制目标云台的转向以使第一目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，确定第一目标管的管口切面中心点包括：
确定第一目标管的管身中轴线；
根据第一目标管的管身中轴线的中心点和第一目标管切面上的点组成矢量；
根据矢量到第一目标管的管身中轴线上的投影确定第一目标管的管口切面中心点。
在本申请实施例中，在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态包括，以使所述第二目标管的管口切面中心点处于所述显示画面的中央：
在判定显示画面中检测到第二目标管的情况下，确定第二目标管的管口切面中心点；
控制目标云台的转向以使第二目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，确定第二目标管的管口切面中心点包括：
确定第二目标管的管身中轴线；
根据第二目标管的管身中轴线的中心点和第二目标管切面上的点组成矢量；
根据矢量到第二目标管的管身中轴线上的投影确定第二目标管的管口切面中心点。
本申请第二方面提供一种控制器，包括：
存储器，被配置成存储指令；以及
处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权上述的用于辅助对管的方法。
本申请第三方面提供一种对管辅助系统，包括：
多个云台，被配置成多个调整图像采集设备的朝向；
多个图像采集设备，分别设置于多个云台上，被配置成采集图像；以及
上述的控制器，与多个云台和多个图像采集设备通信。
本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于辅助对管的方法。
通过上述技术方案，首先获取多个图像采集设备的当前视频帧，根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管，在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态。在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管，在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态。本申请能实现对目标管的自动追踪功能，在保持高分辨率的对管现场画面显示的同时，还对目标管进行实时追踪，通过对管过程视觉辅助，提高了目标管在不同距离不同方位下的对管精度。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的一种用于辅助对管的方法的流程图；
图2示意性示出了根据本申请实施例的一种控制器的结构框图；
图3示意性示出了根据本申请实施例的一种对管辅助系统的结构图。
附图标记说明
1 多个云台 2 多个图像采集设备
3 控制器
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的一种用于辅助对管的方法的流程图。如图1所示，本申请实施例提供一种用于辅助对管的方法，该方法可以包括下列步骤。
步骤101、获取多个图像采集设备的当前视频帧。
在本申请实施例中，对管指将两根目标管进行对接的过程。例如，在工程机械领域，对管可以为目标砼管与变径管的对接，其中，目标砼管设置于工地上，变径管设置于工程机械上。在一个示例中，该工程机械可以为混泥土车载泵车，操作人员驾驶混泥土车载泵车以实现目标砼管与变径管的对接。在本申请实施例中，为了实现对目标砼管的自动追踪功能，在保持高分辨率的对管现场画面显示的同时，还对目标砼管进行实时追踪，实现目标砼管在不同距离不同方位下的高精度对管过程视觉辅助。因此，在对管辅助系统上电之后，控制器首先获取多个图像采集设备的当前视频帧，多个图像采集设备可以是摄像头，摄像头设置在工程机械上，通过图像采集设备获取视频帧。在一个示例中，可以预设一个间隔时间，以一定的周期频率获取视频帧。在另一个示例中，可以通过控制器发送指令，每发送一次指令采集获取一次视频帧。在又一个示例中，通过图像采集设备持续获取视频帧。在本申请实施例中，以第一目标管为变径管，第二目标管为目标砼管为例，通过识别当前视频帧定位变径管，从而实现对目标砼管的实时追踪。
步骤102、根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管。
在本申请实施例中，变径管与多个图像采集设备均设置于工程机械上，多个图像采集设备的安装位置可以拍摄到目标管，优选地，多个图像采集设备的数量可以为两个，分别设置于工程机械的两侧以拍摄到目标管。系统通电后会由算法判断显示画面中是否有目标管，变径管和目标砼管均有可能出现在显示画面中，选择包含第一目标管即变径管的图像采集设备作为后续系统显示画面的来源。因此，为了使后续的对管精度更高，控制器首先定位变径管的位置，再对目标砼管进行实时追踪。具体地，控制器通过识别当前视频帧以判断图像采集设备的显示画面中是否包含变径管即第一目标管。首先需要在当前视频帧中定位目标对象。在一个示例中，可以基于传统视觉特征在当前视频帧中定位目标对象。在另一个示例中，可以通过深度学习的方法在当前视频帧中定位目标对象。在确定目标对象在图像上的位置后，通过判断目标对象的数量及位置确定图像采集设备的显示画面中是否检测到变径管即第一目标管。
步骤103、在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态。
在本申请实施例中，在显示画面中出现第一目标管的情况下，表示画面中存在第一目标管即变径管，因此，将出现第一目标管的显示画面所对应的图像采集设备设置为目标图像采集设备，后续对管辅助过程中的显示画面均由该目标图像显示设备提供。同时，将该目标图像显示设备所对应的云台设置为目标云台。控制器控制目标云台进入第一追踪状态。第一追踪状态指控制器控制运动转动以调整摄图像采集设备朝向，从而追踪第一目标管的管口切面的中心点的状态。具体地，控制器首先可以通过算法定位第一目标管的管口切面的中心点。然后将第一目标管的管口切面的中心点作为目标云台的追踪对象，控制目标云台转动调整图像采集设备的朝向以追踪第一目标管的管口切面的中心点，即第一追踪状态。使用第一目标管的管口切面的中心点作为目标云台的追踪对象可以使追踪精度更高、更灵敏。
步骤104、在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管。
在本申请实施例中，在第一追踪状态下，即目标云台转动调整图像采集设备的朝向以追踪第一目标管的管口切面的中心点，当第一目标管的管口切面的中心点处于显示画面的中央时，表示第一目标管已处于显示画面的中央，即对管的最佳位置。然后，控制器检测显示画面中是否出现第二目标管即目标砼管。
步骤105、在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态。
在本申请实施例中，在第一追踪状态下，当控制器检测到显示画面中出现第二目标管即目标砼管时，表示画面中存在第二目标管即目标砼管，此时控制器更新追踪对象为第二目标管的管口切面的中心点，控制器控制目标云台进入第二追踪状态。第二追踪状态指控制器控制运动转动以调整摄像头朝向，从而追踪第二目标管的管口切面的中心点的状态。具体地，控制器首先可以通过算法定位第二目标管的管口切面的中心点。然后将第二目标管的管口切面的中心点作为目标云台的追踪对象，控制目标云台转动调整图像采集设备的朝向以追踪第二目标管的管口切面的中心点，即第二追踪状态。使用第二目标管的管口切面的中心点作为目标云台的追踪对象可以使追踪精度更高、更灵敏。
通过上述技术方案，首先获取多个图像采集设备的当前视频帧，根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管，在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态。在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管，在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态。本申请能实现对目标管的自动追踪功能，在保持高分辨率的对管现场画面显示的同时，还对目标管进行实时追踪，通过对管过程视觉辅助，提高了目标管在不同距离不同方位下的对管精度。
在本申请实施例中，用于辅助对管的方法还可以包括：
在判定显示画面中未检测到第一目标管的情况下，控制目标云台进入目标搜索状态，直至显示画面中检测到所述第一目标管。
在本申请实施例中，在控制器判定显示画面中未检测到变径管即第一目标管的情况下，表示当前画面中不存在第一目标管。因此，控制器控制目标云台进入目标搜索状态。目标搜索状态指控制器控制目标云台转动调整图像采集设备的朝向以寻找第一目标管的状态。在一个示例中，可以控制目标云台以预设的轨迹转动，同时继续识别检测第一目标管，直至显示画面中检测到所述第一目标管。
在本申请实施例中，用于辅助对管的方法还可以包括：
在第二追踪状态下检测到显示画面不包含第二目标管的情况下，控制目标云台进入目标搜索状态。
在本申请实施例中，在第二追踪状态下，检测到显示画面不包含第二目标管时，表示当前画面中不存在第二目标管。因此，控制器控制目标云台进入目标搜索状态。目标搜索状态指控制器控制目标云台转台转动调整图像采集设备的朝向以寻找第一目标管的状态。在一个示例中，可以控制目标云台以预设的轨迹转动，同时继续识别检测第一目标管，直至显示画面中检测到所述第一目标管。
在本申请实施例中，控制目标云台进入目标搜索状态还可以包括：
控制目标云台以预设的轨迹转动，并根据当前视频帧判断图像采集设备的显示画面中是否检测到第一目标管。
在本申请实施例中，目标搜索状态指控制器控制目标云台转动调整图像采集设备的朝向以寻找第一目标管的状态，控制器通过识别当前视频帧以判断图像采集设备的显示画面中是否包含变径管即第一目标管。当图像采集设备的显示画面中没有检测到第一目标管时，表示画面中不存在第一目标管即变径管。因此控制器控制目标云台进入目标搜索状态，并根据当前视频帧判断图像采集设备的显示画面中是否检测到第一目标管。
在本申请实施例中，用于辅助对管的方法还可以包括：
在判定显示画面中检测到多个候选第二目标管的情况下，将与第一目标管距离最近的候选第二目标管确定为第二目标管。
在本申请实施例中，在检测到显示画面中出现多个候选第二目标管时，分别计算每个候选第二目标管上的“目标点”和变径管即第一目标管上“目标点”的距离，将距离最近的候选第二目标管确定为第二目标管即目标砼管。
在本申请实施例中，根据当前视频帧判断图像采集设备的显示画面中是否检测到第一目标管可以包括：
识别当前视频帧中的目标对象；
在识别到视频帧中包含一个目标对象的情况下，将目标对象确定为第一目标管；
在识别到视频帧中包含的目标对象的数量大于两个的情况下，根据所述图像采集设备的位置和所述目标对象的宽高比、宽高绝对值确定确定所述第一目标管和多个候选第二目标管。
在本申请实施例中，控制器通过识别当前视频帧以判断图像采集设备的显示画面中是否包含变径管即第一目标管。具体地，首先需要在当前视频帧中定位变径管或目标砼管。在一个示例中，可以基于传统视觉特征在当前视频帧中定位变径管或目标砼管，如超像素分割方法，利用位置相邻且颜色、亮度、纹理等特征相似的像素点进行区域性的分割，再结合预设的变径管或目标砼管颜色特征对变径管或目标砼管进行定位。在另一个示例中，可以通过深度学习方法在当前视频帧中定位变径管或目标砼管，如语义分割算法对摄像头成像进行像素级的分类，从而实现对变径管或目标砼管的定位。或者使用目标检测方法直接在图像采集设备成像上找到变径管或目标砼管的最小外接矩，以边界框(Bounding Box，BBox)的形式返回变径管或目标砼管在图像上的位置。
在确认变径管或目标砼管在图像上的位置后，需要对变径管和目标砼管进行区分。具体地，可以根据定位结果进行数量以及位置的判断。在一个示例中，图像上只存在一个目标对象，则该目标对象为第一目标管。在另一个示例中，图像上存在的目标对象数量大于两个，首先可以根据图像采集设备的位置确定第一目标管在图像上的左右位置，再根据该目标对象的宽高比、宽高绝对值确定确定第一目标管即变径管。此时，除了唯一的一个第一目标管，其他的均为候选第二目标管。
在本申请实施例中，在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态可以包括：
在判定显示画面中检测到第一目标管的情况下，确定第一目标管的管口切面中心点；
控制目标云台的转向以使第一目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，在判定显示画面中检测到第一目标管的情况下，表示画面中存在第一目标管即变径管，因此，控制器控制目标云台进入第一追踪状态。而第一追踪状态指控制器控制运动转动以调整图像采集设备朝向，从而追踪第一目标管的管口切面的中心点的状态，因此，首先需要确定第一目标管的管口切面中心点并将其作为追踪对象，然后控制器控制目标云台的转向以使第一目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，确定第一目标管的管口切面中心点可以包括：
确定第一目标管的管身中轴线；
根据第一目标管的管身中轴线的中心点和第一目标管切面上的点组成矢量；
根据矢量到第一目标管的管身中轴线上的投影确定第一目标管的管口切面中心点。
在本申请实施例中，可以通过算法计算第一目标管即变径管的管身中轴线，再通过算法或者根据经验值取到第一目标管切面上的点，再计算由管身中轴线的中心点和第一目标管切面上的点组成的矢量到管身中轴线上的投影，从而可以得到第一目标管的管口切面中心点。
在本申请实施例中，在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态可以包括：
在判定显示画面中检测到第二目标管的情况下，确定第二目标管的管口切面中心点；
控制目标云台的转向以使第二目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，在判定显示画面中检测到第二目标管的情况下，表示画面中存在第一目标管即变径管，因此，控制器控制目标云台进入第二追踪状态。而第二追踪状态指控制器控制运动转动以调整摄像头朝向，从而追踪第二目标管的管口切面的中心点的状态，因此，首先需要确定第二目标管的管口切面中心点并将其作为追踪对象。然后控制器控制目标云台的转向以使第二目标管的管口切面中心点处于显示画面的中央。
在本申请实施例中，确定第二目标管的管口切面中心点可以包括：
确定第二目标管的管身中轴线；
根据第二目标管的管身中轴线的中心点和第二目标管切面上的点组成矢量；
根据矢量到第二目标管的管身中轴线上的投影确定第二目标管的管口切面中心点。
在本申请实施例中，可以通过算法计算第二目标管即变径管的管身中轴线，再通过算法或者根据经验值取到第二目标管切面上的点，再计算由管身中轴线的中心点和第二目标管切面上的点组成的矢量到管身中轴线上的投影，从而可以得到第二目标管的管口切面中心点。
图2示意性示出了根据本申请实施例的一种控制器的结构框图。如图2所示，本申请实施例提供一种控制器，可以包括：
存储器210，被配置成存储指令；以及
处理器220，被配置成从存储器210调用指令以及在执行指令时能够实现上述的用于控制臂架的方法。
具体地，在本申请实施例中，处理器220可以被配置成：
获取多个图像采集设备的当前视频帧；
根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管；
在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态，以使所述第一目标管的管口切面中心点处于所述显示画面的中央；
在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管；
在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态，以使所述第二目标管的管口切面中心点处于所述显示画面的中央。
进一步地，处理器220还可以被配置成：
在判定显示画面中未检测到第一目标管的情况下，控制目标云台进入目标搜索状态，直至显示画面中检测到所述第一目标管。
进一步地，处理器220还可以被配置成：
在第二追踪状态下检测到显示画面不包含第二目标管的情况下，控制目标云台进入目标搜索状态。
进一步地，处理器220还可以被配置成：
控制目标云台以预设的轨迹转动，并根据当前视频帧判断所述图像采集设备的显示画面中是否检测到第一目标管。
进一步地，处理器220还可以被配置成：
在判定显示画面中检测到多个候选第二目标管的情况下，将与第一目标管距离最近的候选第二目标管确定为第二目标管。
进一步地，处理器220还可以被配置成：
识别当前视频帧中的目标对象；
在识别到视频帧中包含一个目标对象的情况下，将目标对象确定为第一目标管，并且根据目标对象在图像上的像素质量以及目标管的宽高比确定第一目标管的数量；
在识别到视频帧中包含的目标对象的数量大于两个的情况下，根据图像采集设备的位置和目标对象的宽高比、宽高绝对值确定确定第一目标管和多个候选第二目标管。
进一步地，处理器220还可以被配置成：
在判定显示画面中检测到第一目标管的情况下，确定第一目标管的管口切面中心点；
控制目标云台的转向以使第一目标管的管口切面中心点处于显示画面的中央。
进一步地，处理器220还可以被配置成：
确定第一目标管的管身中轴线；
根据第一目标管的管身中轴线的中心点和第一目标管切面上的点组成矢量；
根据矢量到第一目标管的管身中轴线上的投影确定第一目标管的管口切面中心点。
进一步地，处理器220还可以被配置成：
在判定显示画面中检测到第二目标管的情况下，确定第二目标管的管口切面中心点；
控制目标云台的转向以使第二目标管的管口切面中心点处于显示画面的中央。
进一步地，处理器220还可以被配置成：
确定第二目标管的管身中轴线；
根据第二目标管的管身中轴线的中心点和第二目标管切面上的点组成矢量；
根据矢量到第二目标管的管身中轴线上的投影确定第二目标管的管口切面中心点。
通过上述技术方案，首先获取多个图像采集设备的当前视频帧，根据当前视频帧判断多个图像采集设备的显示画面中是否检测到第一目标管，在判定显示画面中检测到第一目标管的情况下，将与显示画面对应的图像采集设备设置为目标图像采集设备，将与目标图像采集设备对应的云台设置为目标云台，并控制目标云台进入第一追踪状态。在第一追踪状态下追踪到第一目标管的管口切面中心点处于显示画面的中央的情况下，判断显示画面中是否检测到第二目标管，在判定显示画面中检测到第二目标管的情况下，控制目标云台进入第二追踪状态。本申请能实现对目标管的自动追踪功能，在保持高分辨率的对管现场画面显示的同时，还对目标管进行实时追踪，通过对管过程视觉辅助，提高了目标管在不同距离不同方位下的对管精度。
图3示意性示出了根据本申请实施例的一对管辅助系统的结构图。如图3所示，本申请实施例还提供一种对管辅助系统，可以包括：
多个云台1，被配置成调整图像采集设备的朝向；
多个图像采集设备2，设置于多个云台1上，被配置成采集图像；以及
上述的控制器3，与多个云台1和多个图像采集设备2通信。
本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于辅助对管的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种用于辅助对管的方法，其特征在于，应用于对管辅助系统，所述对管辅助系统包括多个云台、多个图像采集设备和控制器，所述多个图像采集设备分别设置于所述多个云台上，所述多个云台和所述多个图像采集设备分别与所述控制器通信，所述方法包括：
获取所述多个图像采集设备的当前视频帧；
根据所述当前视频帧判断所述多个图像采集设备的显示画面中是否检测到第一目标管；
在判定所述显示画面中检测到所述第一目标管的情况下，将与所述显示画面对应的图像采集设备设置为目标图像采集设备，将与所述目标图像采集设备对应的云台设置为目标云台，并控制所述目标云台进入第一追踪状态，以使所述第一目标管的管口切面中心点处于所述显示画面的中央；
在所述第一追踪状态下追踪到所述第一目标管的管口切面中心点处于所述显示画面的中央的情况下，判断所述显示画面中是否检测到第二目标管；
在判定所述显示画面中检测到所述第二目标管的情况下，控制所述目标云台进入第二追踪状态，以使所述第二目标管的管口切面中心点处于所述显示画面的中央。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在判定所述显示画面中未检测到所述第一目标管的情况下，控制所述目标云台进入目标搜索状态，直至所述显示画面中检测到所述第一目标管。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第二追踪状态下检测到所述显示画面不包含所述第二目标管的情况下，控制所述目标云台进入目标搜索状态。
4.根据权利要求2或3所述的方法，其特征在于，所述控制所述目标云台进入目标搜索状态包括：
控制所述目标云台以预设的轨迹转动，并根据所述当前视频帧判断所述图像采集设备的显示画面中是否检测到第一目标管。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括；
在判定所述显示画面中检测到多个候选第二目标管的情况下，将与所述第一目标管距离最近的候选第二目标管确定为第二目标管。
6.根据权利要求1所述的方法，其特征在于，所述根据所述当前视频帧判断所述图像采集设备的显示画面中是否检测到第一目标管包括：
识别所述当前视频帧中的目标对象；
在识别到所述视频帧中包含一个目标对象的情况下，将所述目标对象确定为所述第一目标管；
在识别到所述视频帧中包含的目标对象的数量大于两个的情况下，根据所述图像采集设备的位置和所述目标对象的宽高比、宽高绝对值确定确定所述第一目标管和多个候选第二目标管。
7.根据权利要求1所述的方法，其特征在于，所述在判定所述显示画面中检测到所述第一目标管的情况下，将与所述显示画面对应的图像采集设备设置为目标图像采集设备，将与所述目标图像采集设备对应的云台设置为目标云台，并控制所述目标云台进入第一追踪状态，以使所述第一目标管的管口切面中心点处于所述显示画面的中央包括：
在判定所述显示画面中检测到所述第一目标管的情况下，确定所述第一目标管的管口切面中心点；
控制所述目标云台的转向以使所述第一目标管的管口切面中心点处于所述显示画面的中央。
8.根据权利要7所述的方法，其特征在于，所述确定所述第一目标管的管口切面中心点包括：
确定所述第一目标管的管身中轴线；
根据所述第一目标管的管身中轴线的中心点和所述第一目标管切面上的点组成矢量；
根据所述矢量到所述第一目标管的管身中轴线上的投影确定所述第一目标管的管口切面中心点。
9.根据权利要求1所述的方法，其特征在于，所述在判定所述显示画面中检测到所述第二目标管的情况下，控制所述目标云台进入第二追踪状态，以使所述第二目标管的管口切面中心点处于所述显示画面的中央包括：
在判定所述显示画面中检测到所述第二目标管的情况下，确定所述第二目标管的管口切面中心点；
控制所述目标云台的转向以使所述第二目标管的管口切面中心点处于所述显示画面的中央。
10.根据权利要求9所述的方法，其特征在于，所述确定所述第二目标管的管口切面中心点包括：
确定所述第二目标管的管身中轴线；
根据所述第二目标管的管身中轴线的中心点和所述第二目标管切面上的点组成矢量；
根据所述矢量到所述第二目标管的管身中轴线上的投影确定所述第二目标管的管口切面中心点。
11.一种控制器，其特征在于，包括：
存储器，被配置成存储指令；以及
处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至10中任一项所述的用于辅助对管的方法。
12.一种对管辅助系统，其特征在于，包括：
多个云台，被配置成调整多个图像采集设备的朝向；
所述多个图像采集设备，分别设置于所述多个云台上，被配置成采集图像；以及
根据权利要求11的控制器，与所述多个云台和所述多个图像采集设备通信。
13.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至10中任一项所述的用于辅助对管的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211216613.XA CN115546691A (zh) | 2022-09-30 | 2022-09-30 | 用于辅助对管的方法、对管辅助系统及控制器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211216613.XA CN115546691A (zh) | 2022-09-30 | 2022-09-30 | 用于辅助对管的方法、对管辅助系统及控制器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546691A true CN115546691A (zh) | 2022-12-30 |
Family
ID=84730783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211216613.XA Pending CN115546691A (zh) | 2022-09-30 | 2022-09-30 | 用于辅助对管的方法、对管辅助系统及控制器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546691A (zh) |
-
2022
- 2022-09-30 CN CN202211216613.XA patent/CN115546691A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8803992B2 (en) | Augmented reality navigation for repeat photography and difference extraction | |
| EP3886053A1 (en) | Slam mapping method and system for vehicle | |
| CN108574825B (zh) | 一种云台摄像机的调整方法和装置 | |
| CN108076281A (zh) | 一种自动聚焦方法及ptz摄像机 | |
| KR100816589B1 (ko) | 화상 처리 장치 | |
| CN113365028B (zh) | 一种巡检路径的生成方法、装置及系统 | |
| CN111105695B (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
| CN107465877A (zh) | 跟踪对焦方法及装置和相关介质产品 | |
| CN111614951B (zh) | 一种一体化云台摄像机的光轴校准设备及方法 | |
| JP2018165889A (ja) | 自律移動装置、方法およびプログラム | |
| CN111487610A (zh) | 起重机及其吊装作业的定位系统和定位方法、存储介质 | |
| CN110602376B (zh) | 抓拍方法及装置、摄像机 | |
| CN115299031A (zh) | 自动对焦方法及其相机系统 | |
| WO2022126430A1 (zh) | 辅助对焦方法、装置及系统 | |
| CN115546691A (zh) | 用于辅助对管的方法、对管辅助系统及控制器 | |
| TWI726536B (zh) | 影像擷取方法及影像擷取設備 | |
| CN115686418A (zh) | 用于辅助对管的方法、视觉辅助对管系统及控制器 | |
| CN112363510A (zh) | 一种自动驾驶编组车自动对接方法 | |
| JP2000155839A (ja) | 標識領域画像抽出方法、装置、標識領域画像抽出プログラムを記録した記録媒体 | |
| JP2003259357A (ja) | カメラのキャリブレーション方法及びカメラのアタッチメント | |
| JP5277600B2 (ja) | 架空線撮影システム及び方法 | |
| WO2019031244A1 (ja) | 情報処理装置、撮影システム、撮影システムの制御方法、及びプログラム | |
| CN110036411A (zh) | 生成电子三维漫游环境的装置和方法 | |
| CN115756362A (zh) | 用于辅助对管的方法、视觉辅助对管系统及控制器 | |
| CN112085799B (zh) | 一种电力设备自主配准方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |