CN113256512A - 深度图像的补全方法、装置及巡检机器人 - Google Patents

深度图像的补全方法、装置及巡检机器人 Download PDF

Info

Publication number
CN113256512A
CN113256512A CN202110480632.2A CN202110480632A CN113256512A CN 113256512 A CN113256512 A CN 113256512A CN 202110480632 A CN202110480632 A CN 202110480632A CN 113256512 A CN113256512 A CN 113256512A
Authority
CN
China
Prior art keywords
depth image
inspection robot
distance
acquisition device
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110480632.2A
Other languages
English (en)
Other versions
CN113256512B (zh
Inventor
许哲涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110480632.2A priority Critical patent/CN113256512B/zh
Publication of CN113256512A publication Critical patent/CN113256512A/zh
Application granted granted Critical
Publication of CN113256512B publication Critical patent/CN113256512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/02—Manipulators mounted on wheels or on carriages travelling along a guideway
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提出了一种深度图像的补全方法、装置及巡检机器人，涉及巡检技术领域。本公开控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。

Description

深度图像的补全方法、装置及巡检机器人
技术领域
本申请涉及巡检技术领域，尤其涉及深度图像的补全方法、装置及巡检机器人。
背景技术
轨道巡检机器人用于火车、高铁、地铁等交通工具的运行轨道健康状态的自动化巡检。巡检机器人会搭载图像采集装置，机器人沿轨道运行，图像采集装置连续拍摄，从而获取到整个路段的轨道图像，用于分析路段的健康状态。相关技术中，部分轨道间隔存在缝隙，当巡检机器人通过这些缝隙时会产生震动，导致拍摄的图像产生抖动。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的一个目的在于提出一种巡检机器人，搭载深度图像采集装置，巡检机器人沿巡检轨道运行，深度图像采集装置连续拍摄，从而获取到整个路段的巡检轨道的深度图像，用于分析巡检轨道的健康状态，能够广泛应用于火车、高铁、地铁等交通工具的运行轨道健康状态的自动化巡检，提高准确度，降低人力成本。
本申请的第二个目的在于提出一种深度图像的补全方法。
本申请的第三个目的在于提出一种深度图像的补全装置。
本申请的第四个目的在于提出一种电子设备。
本申请的第五个目的在于提出一种非瞬时计算机可读存储介质。
本申请的第六个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种巡检机器人，包括：
巡检机器人车体和处理器，以及安装在所述车体上的深度图像采集装置和测距传感器，其中，所述测距传感器安装在所述车体的底部。
所述深度图像采集装置，用于在巡检过程中采集巡检轨道的深度图像。
所述测距传感器，用于与所述深度图像采集装置同步测量所述测距传感器与所述巡检轨道之间的实际距离值。
所述处理器，用于根据所述实际距离值对所述深度图像进行校正。
本申请实施例提出的巡检机器人，搭载深度图像采集装置，巡检机器人沿巡检轨道运行，深度图像采集装置连续拍摄，从而获取到整个路段的巡检轨道的深度图像，用于分析巡检轨道的健康状态，能够广泛应用于火车、高铁、地铁等交通工具的运行轨道健康状态的自动化巡检，提高准确度，降低人力成本。
根据本申请的一个实施例，所述巡检机器人还包括：信号同步装置，用于控制所述深度图像采集装置和所述测距传感器同步采集。
根据本申请的一个实施例，所述信号同步装置还用于：在每次到达所述深度图像采集装置的采样周期时，向所述测距传感器发送同步信号。
根据本申请的一个实施例，所述处理器还用于：控制所述深度图像采集装置按照第一采样频率进行图像采集，以及控制所述测距传感器按照第二采样频率进行测距，其中，所述第一采样频率大于所述第二采样频率。
根据本申请的一个实施例，所述测距传感器的探测宽度大于所述巡检轨道上轨道缝隙的宽度。
根据本申请的一个实施例，所述测距传感器的安装位置距离所述巡检轨道的上表面的高度为标准高度值。
根据本申请的一个实施例，所述处理器还用于：获取与所述测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据所述第一采集时刻，获取待补全的第一深度图像；获取所述距离值与所述标准距离值之间的偏移量，并基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像。
为达上述目的，本申请第二方面实施例提出了一种深度图像的补全方法，包括：
控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取所述深度图像采集装置采集的深度图像和所述测距传感器测量的实际距离值。
根据所述实际距离，对采集的深度图像进行校正。
本申请实施例提出的深度图像的补全方法，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
根据本申请的一个实施例，所述根据所述实际距离，对采集的深度图像进行校正，包括：获取与所述测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据所述第一采集时刻，获取待补全的第一深度图像。获取所述距离值与所述标准距离值之间的偏移量，并基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像。
根据本申请的一个实施例，所述控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，包括：在每次到达所述深度图像采集装置的采样周期时，向所述测距传感器发送同步信号。
根据本申请的一个实施例，所述深度图像的补全方法还包括：控制所述深度图像采集装置按照第一采样频率进行图像采集，控制所述测距传感器按照第二采样频率进行测距，其中，所述第一采样频率大于所述第二采样频率。
根据本申请的一个实施例，所述根据所述第一采集时刻，获取待补全的第一深度图像，包括：获取所述深度图像的第二采集时刻，并识别出与所述第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻；获取所述目标第二采集时刻对应的深度图像，作为所述待补全的第一深度图像。
根据本申请的一个实施例，所述基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像，包括：获取所述第一深度图像中每个像素点的深度值；针对每个像素点，将所述像素点的深度值与所述偏移量相加，得到所述像素点的修正深度值；基于每个像素点的修正深度值，生成所述第二深度图像。
为达上述目的，本申请第三方面实施例提出了一种深度图像的补全装置，包括：
获取模块，用于控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取所述深度图像采集装置采集的深度图像和所述测距传感器测量的实际距离值。
图像校正模块，用于根据所述实际距离，对采集的深度图像进行校正。
本申请实施例提出的深度图像的补全装置，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
为达上述目的，本申请第四方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本申请第二方面实施例所述的深度图像的补全方法。
为达上述目的，本申请第五方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本申请第二方面实施例所述的深度图像的补全方法。
为达上述目的，本申请第六方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第二方面实施例所述的深度图像的补全方法。
附图说明
图1是本申请一个实施例的一种巡检机器人的示意图。
图2是本申请一个实施例的一种巡检机器人的示意图。
图3是本申请一个实施例测距传感器工作状态示意图。
图4是本申请一个实施例测距传感器运行到轨道缝隙上方时示意图。
图5是本申请一个实施例信号同步装置发送同步信号示意图。
图6是本申请一个实施例的一种深度图像的补全方法的流程图。
图7是本申请另一个实施例的一种深度图像的补全方法的流程图。
图8是本申请一个实施例巡检机器人处于轨道缝隙颠簸区域时示意图。
图9是本申请一个实施例获取待补全的第一深度图像示意图。
图10是本申请一个实施例生成第二深度图像示意图。
图11是本申请一个实施例的一种深度图像的补全方法的总体流程图。
图12是本申请一个实施例的一种深度图像的补全装置的示意图。
图13是本申请一个实施例的一种电子设备的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1是根据本申请一个实施例的一种巡检机器人侧视状态下的示意图，图2是根据本申请一个实施例的一种巡检机器人俯视状态下的示意图，如图1所示，该巡检机器人包括巡检机器人车体11，以及安装在车体11上的深度图像采集装置12和测距传感器13。可选地，深度图像采集装置12可以安装在车体11的前方头部区域。可选地，测距传感器13可以安装在车体11的靠近前轮的底部。
其中，为了防止由于深度图像采集装置12或者测距传感器13自身振动产生的测量误差，从而保证测距传感器13测量的距离值与车轮振动抬升的距离值相匹配。可选地，将深度图像采集装置12安装在车体11的头部区域的刚性结构上。可选地，将测距传感器13安装在车体11的底部前轮14的刚性结构上。
深度图像采集装置12，用于在巡检过程中采集巡检轨道15的深度图像。其中，轨道巡检机器人搭载深度图像采集装置12，巡检机器人沿巡检轨道15运行，深度图像采集装置12连续拍摄，从而获取到整个路段的巡检轨道15的深度图像，由于深度图像的像素值是指深度图像采集装置12到巡检轨道15上表面的距离，连续多帧深度图像可以识别出巡检轨道15上表面的凹凸不平，可以表明轨道出现磨损或者异常，用于分析巡检轨道15的健康状态。比如说，若巡检轨道15上表面被人恶意放上了多个石子或者山体发生泥石流冲到巡检轨道15上，对列车行驶有危险因素，则认为是不健康状态，需要进行维护。可选地，深度图像采集装置12可以为线阵相机、3D相机或者激光测距阵列。
测距传感器13，用于与深度图像采集装置12同步测量测距传感器13与巡检轨道15上表面之间的实际距离值。其中，测距传感器13工作时如图3所示，测距传感器13安装距巡检轨道15的平面高度记为h，h为标准距离值，视场角记为β，由于测距传感器13有视场角，照射到巡检轨道15上会是一个矩形面，沿巡检轨道15方向的长度，即为投影长度，将投影长度记为L，投影长度也即测距传感器13的探测宽度，巡检轨道15周期间隔存在的轨道缝隙17宽度记为d。其中，为了防止测距传感器13位于轨道缝隙17上方时，测距传感器13的发散投影投射到轨道缝隙17里边，使得测距传感器13测量出的高度值包含轨道缝隙17的深度，投影长度L需要大于轨道缝隙17的宽度d。本公开实施例设置L>2d。
本公开实施例中，如图4所示，巡检机器人通过轨道缝隙17时，测距传感器13运行到轨道缝隙17上方，设置L>2d，可以确保测距时大部分光落在巡检轨道15上，从而测距传感器13测出的距离值为巡检轨道15上表面到测距传感器13的高度差，不受轨道缝隙17的影响，测距传感器13获得的高度值依旧是测距传感器13距巡检轨道15上表面高度值h。
其中，测距传感器13的安装位置距离巡检轨道15上表面的高度为标准高度值，其高度值可由实施者根据实际情况设置。比如，可以将标准高度值设置为0.2米。可选地，测距传感器13可以为超声波测距传感器、激光测距传感器或者红外线测距传感器。
巡检机器人还包括信号同步装置，如图5所示，在每次深度图像采集装置12采样时，信号同步装置向测距传感器13发送同步信号，从而控制深度图像采集装置12和测距传感器13能够同步采集。
巡检机器人还包括处理器，用于对深度图像采集装置12所拍摄到的深度图像进行深度值修正。
本申请实施例提出的巡检机器人，搭载深度图像采集装置12，巡检机器人沿巡检轨道15运行，深度图像采集装置12连续拍摄，从而获取到整个路段的巡检轨道15的深度图像，用于分析巡检轨道15的健康状态。能够广泛应用于火车、高铁、地铁等交通工具的运行轨道健康状态的自动化巡检，提高准确度，降低人力成本。
图6是根据本申请一个实施例的一种深度图像的补全方法的流程图，该深度图像的补全方法适用于上述实施例中的巡检机器人，如图6所示，该深度图像的补全方法包括以下步骤：
S601，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值。
其中，深度图像采集装置12和测距传感器13都有各自的采样周期，获取在每个采样时刻深度图像采集装置12采集的深度图像和测距传感器13测量的实际距离值。
其中，为了保证深度图像采集装置12采样时测距传感器13能够准确的测量出振动偏移量，在每次深度图像采集装置12拍摄巡检轨道15进行采样时，信号同步装置向测距传感器13发送同步信号，测距传感器13测量出此时测距传感器13距巡检轨道15上表面高度值。
S602,根据实际距离，对采集的深度图像进行校正。
其中，根据测距传感器13测量的实际距离值与轨道15实际高度作比较，得到实际上测距传感器13的偏移量，巡检机器人上的处理器对深度图像采集装置12采集的深度图像进行校正，得到校正后的深度图像。
本申请实施例提出的深度图像的补全方法，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
图7是根据本申请一个实施例的一种深度图像的补全方法的流程图，该深度图像的补全方法适用于上述实施例中的巡检机器人，如图7所示，根据实际距离，对采集的深度图像进行校正包括以下步骤：
S701，获取与测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据第一采集时刻，获取待补全的第一深度图像。
由于巡检机器人车轮为圆形且在做规则运动，当巡检机器人运行到轨道缝隙17时，巡检机器人会产生振动，巡检机器人产生振动会影响测距传感器13所测量的距离值，从而造成深度图像采集装置12所拍摄的深度图像产生失真。如图8所示，当巡检机器人处于轨道15的颠簸区域时，测距传感器13会测量出测距传感器13此时距离巡检轨道15上表面的高度值，记为h1。
其中，巡检机器人可以储存深度图像采集装置12拍摄得到的深度图像以及其对应的采样时刻，也可储存测距传感器13所测量出的所有距离值以及其对应的采样时刻，并且能够对各采样时刻进行比较或者识别。举例说明：巡检机器人内部有储存器和识别器。储存器用于储存深度图像采集装置12所拍摄的所有深度图像以及其对应的采样时刻，也用于储存测距传感器13所测量出的所有距离值以及其对应的采样时刻。识别器用于识别测距传感器13每次测量的距离值与标准距离值是否相同。当识别器识别到测距传感器13的测距与标准距离值不同时，即测距传感器13此刻所测量到的距离值h1与标准距离值h不相同，保存此时刻，记为第一采集时刻。根据第一采集时刻可以得到深度图像采集装置12对应的采集时刻，获得深度图像采集装置12此采集时刻所拍摄的深度图像，记为第一深度图像。其中，第一深度图像即为待补全的深度图像。
S702，获取距离值与标准距离值之间的偏移量，并基于偏移量对第一深度图像进行补全，生成第二深度图像。
其中，偏移量即为巡检机器人运行到巡检轨道15缝隙颠簸区域时，测距传感器13此时距离巡检轨道15上表面的高度值h1与正常状态下测距传感器13距巡检轨道15上表面高度标准值h之间的差值，即获得巡检机器人处于巡检轨道15缝隙颠簸区域时，测距传感器13测得的距离值与标准距离值之间的偏移量，记为H,其中，H＝h1-h。根据偏移量，可以对上述获得的第一深度图像进行深度补全，得到深度补全后的图像，记作第二深度图像。
本申请实施例提出的深度图像的补全方法，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，获取与测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据第一采集时刻，获取待补全的第一深度图像，获取距离值与标准距离值之间的偏移量，并基于偏移量对第一深度图像进行补全，生成第二深度图像。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像用测量出的偏移量进行修正，以修复相机获取的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
图9是根据本申请一个实施例的一种深度图像的补全方法的流程图，如图9所示，在上述实施例的基础上，根据第一采集时刻获取待补全的第一深度图像，包括以下步骤：
S901，获取深度图像的第二采集时刻，并识别出与第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻。
其中，深度图像采集装置12的采样是周期性的，将深度图像采集装置12的采样频率作为第一采样频率，记为f1，设置深度图像采集装置12按照第一采样频率f1进行图像采集，得到轨道15对应的深度图像，深度图像采集装置12的采样周期记为T1。比如，若第一采样频率f1为50HZ，表明深度图像采集装置12每秒拍摄50张深度图像，此时采样周期T1为20ms。
测距传感器13的采样同样是周期性的，将测距传感器13的采样频率作为第二采样频率，记为f2，设置测距传感器13按照第二采样频率f2进行测距，得到测距传感器13测量的实际距离值，测距传感器13的采样周期记为T2。比如，若第二采样频率f2为100HZ，表明深度测距传感器13每秒进行100次测距，此时采样周期T2为10ms。
在每次深度图像采集装置12采样时，信号同步装置向测距传感器13发送同步信号，从而控制深度图像采集装置12和测距传感器13能够同步采集。
其中，为了保证深度图像采集装置12发送同步信号采样时，测距传感器13能及时响应，需要保证测距传感器13采样频率高于深度图像采集装置12采样频率，即第二采样频率f2需大于第一采样频率f1。本公开实施例中，设置f2>2f1。
由于深度图像采集装置12与测距传感器13的采样频率不同，所以采样时刻也可能不同。根据深度图像采集装置12的采样频率和采样起始时间，获取深度图像采集装置12的所有采样时刻，作为第二采集时刻。根据上述测距传感器13的第一采集时刻，经过对巡检机器人中储存器中第一采集时刻左右一定范围内的第二采集时刻作时间差进行比对，得到与第一采集时刻时间差最小的第二采集时刻，将此时刻记为目标第二采集时刻。
S902，获取目标第二采集时刻对应的深度图像，作为待补全的第一深度图像。
根据目标第二采集时刻，可以确定巡检机器人中储存器目标第二采集时刻对应的深度图像采集装置12所拍摄的深度图像，将此深度图像记为第一深度图像。其中，第一深度图像即为待补全的深度图像。
本申请实施例中，由于图像采集装置12与测距传感器13的采样频率不同，故其采样时刻也存在不同，获取与第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻，并得到目标第二采集时刻对应的待补全的深度图像，可以使所获得的待补全的第一深度图像更精准。
图10是根据本申请一个实施例的一种深度图像的补全方法的流程图，如图10所示，在上述实施例的基础上，基于偏移量对第一深度图像进行补全，生成第二深度图像，包括以下步骤：
S1001，获取第一深度图像中每个像素点的深度值。
深度图像照片是由图像中每个像素点的深度值构成的，确定第一深度图像后，根据第一深度图像，可以获得第一深度图像中每个像素点的深度值。
S1002，针对每个像素点，将像素点的深度值与偏移量相加，得到像素点的修正深度值。
由于深度图像的像素点的深度值是指深度图像采集装置12到巡检轨道15上表面的距离，每个像素点的深度值的偏移量是一样的，可以基于偏移量对像素点的深度值进行修正。其中，对于第一深度图像中每个像素点，将每个像素点的深度值与上述获得的偏移量相加，即得到每个像素点的相加后的深度值，记为修正深度值。
S1003，基于每个像素点的修正深度值，生成第二深度图像。
对于第一深度图像中每个像素点都进行深度值修正后，根据第一深度图像中每个像素点的修正深度值，可得到新的图像，记为第二深度图像。第二深度图像即为深度补全后的图像。
本申请实施例中，测量出巡检机器人在缝隙处振动时因振动产生的偏移量，对振动区域获取的深度图像用测量出的偏移量进行修正，以修复深度图像采集装置12获取的深度图像，解决深度图像失真问题。
图11是根据本申请一个实施例的一种深度图像的补全方法的流程图，如图11所示，深度图像的补全方法包括以下步骤：
S1101，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值。
S1102，获取与测距传感器的标准距离值不同的实际距离值的第一采集时刻。
S1103，获取深度图像的第二采集时刻，并识别出与第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻。
S1104，获取目标第二采集时刻对应的深度图像，作为待补全的第一深度图像。
关于上述S1102～S1104的具体介绍，上述实施例已做具体介绍，此处不再赘述。
S1105，获取距离值与标准距离值之间的偏移量。
S1106，获取第一深度图像中每个像素点的深度值。
S1107，针对每个像素点，将像素点的深度值与偏移量相加，得到像素点的修正深度值。
S1108，基于每个像素点的修正深度值，生成第二深度图像。
关于上述S1105～S1108的具体介绍，上述实施例已做具体介绍，此处不再赘述。
本申请实施例提出的深度图像的补全方法，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
图12是根据本申请一个实施例的一种深度图像的补全装置的结构图。如图12所示，深度图像的补全装置1200包括：
获取模块1201，用于控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值。
图像校正模块1202，用于根据实际距离，对采集的深度图像进行校正。
其中，图像校正模块1202还包括第一获取模块1203和第二获取模块1204，其中，第一获取模块1203，用于获取与测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据第一采集时刻，获取待补全的第一深度图像。
第二获取模块1204，用于获取距离值与标准距离值之间的偏移量，并基于偏移量对第一深度图像进行补全，生成第二深度图像。
需要说明的是，前述对深度图像的补全方法实施例的解释说明也适用于该实施例的深度图像的补全装置，此处不再赘述。
本申请实施例提出的深度图像的补全装置，控制巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取深度图像采集装置采集的深度图像和测距传感器测量的实际距离值，根据实际距离，对采集的深度图像进行校正。本公开测量出机器人因振动产生的偏移量，对振动区域获取的深度图像进行校正，以获得校正好的的深度图像，解决了轨道巡检机器人因轨道缝隙振动，造成的相机获取的深度图像失真问题。
进一步地，在本申请实施例一种可能的实现方式中，第一获取模块1201，还用于：在每次到达深度图像采集装置的采样周期时，向测距传感器发送同步信号。
进一步地，在本申请实施例一种可能的实现方式中，第一获取模块1201，还用于：控制深度图像采集装置按照第一采样频率进行图像采集；控制测距传感器按照第二采样频率进行测距，其中，第一采样频率大于第二采样频率。
进一步地，在本申请实施例一种可能的实现方式中，图像校正模块1202还用于：获取深度图像的第二采集时刻，并识别出与第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻；获取目标第二采集时刻对应的深度图像，作为待补全的第一深度图像。
进一步地，在本申请实施例一种可能的实现方式中，图像校正模块1202还用于：获取第一深度图像中每个像素点的深度值；针对每个像素点，将像素点的深度值与偏移量相加，得到像素点的修正深度值；基于每个像素点的修正深度值，生成第二深度图像。
为了实现上述实施例，本申请实施例还提出一种电子设备31，如图13所示，该电子设备31包括：处理器32和处理器通信连接的存储器33，存储器33存储有可被至少一个处理器执行的指令，指令被至少一个处理器32执行，以实现如上述实施例所示的深度图像的补全方法。
为了实现上述实施例，本申请实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的深度图像的补全方法。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例所示的深度图像的补全方法。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种巡检机器人，其特征在于，包括：
巡检机器人车体和处理器，以及安装在所述车体上的深度图像采集装置和测距传感器，其中，所述测距传感器安装在所述车体的底部；
所述深度图像采集装置，用于在巡检过程中采集巡检轨道的深度图像；
所述测距传感器，用于与所述深度图像采集装置同步测量所述测距传感器与所述巡检轨道之间的实际距离值；
所述处理器，用于根据所述实际距离值对所述深度图像进行校正。
2.根据权利要求1所述的巡检机器人，其特征在于，还包括：
信号同步装置，用于控制所述深度图像采集装置和所述测距传感器同步采集。
3.根据权利要求2所述的巡检机器人，其特征在于，所述信号同步装置，还用于：
在每次到达所述深度图像采集装置的采样周期时，向所述测距传感器发送同步信号。
4.根据权利要求3所述的巡检机器人，其特征在于，所述处理器，还用于：
控制所述深度图像采集装置按照第一采样频率进行图像采集，以及控制所述测距传感器按照第二采样频率进行测距，其中，所述第一采样频率大于所述第二采样频率。
5.根据权利要求1所述的巡检机器人，其特征在于，所述处理器，还用于：
获取与所述测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据所述第一采集时刻，获取待补全的第一深度图像；
获取所述距离值与所述标准距离值之间的偏移量，并基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像。
6.根据权利要求1-5任一项所述的巡检机器人，其特征在于，所述测距传感器的探测宽度大于所述巡检轨道上轨道缝隙的宽度。
7.根据权利要求1-5任一项所述的巡检机器人，其特征在于，所述测距传感器的安装位置距离所述巡检轨道的上表面的高度为标准高度值。
8.根据权利要求1-5任一项所述的巡检机器人，其特征在于，所述测距传感器安装在所述巡检机器人的前部车轮的刚性轴上。
9.一种深度图像的补全方法，其特征在于，适用于如权利要求1-4任一项所述的巡检机器人，所述方法包括：
控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取所述深度图像采集装置采集的深度图像和所述测距传感器测量的实际距离值；
根据所述实际距离，对采集的深度图像进行校正。
10.根据权利要求9所述的方法，其特征在于，所述根据所述实际距离，对采集的深度图像进行校正，包括：
获取与所述测距传感器的标准距离值不同的实际距离值的第一采集时刻，并根据所述第一采集时刻，获取待补全的第一深度图像；
获取所述距离值与所述标准距离值之间的偏移量，并基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像。
11.根据权利要求9所述的方法，其特征在于，所述控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，包括：
在每次到达所述深度图像采集装置的采样周期时，向所述测距传感器发送同步信号。
12.根据权利要求9或10所述的方法，其特征在于，还包括：
控制所述深度图像采集装置按照第一采样频率进行图像采集；
控制所述测距传感器按照第二采样频率进行测距，其中，所述第一采样频率大于所述第二采样频率。
13.根据权利要求10所述的方法，其特征在于，所述根据所述第一采集时刻，获取待补全的第一深度图像，包括：
获取所述深度图像的第二采集时刻，并识别出与所述第一采集时刻时间差最小的第二采集时刻，作为目标第二采集时刻；
获取所述目标第二采集时刻对应的深度图像，作为所述待补全的第一深度图像。
14.根据权利要求10所述的方法，其特征在于，所述基于所述偏移量对所述第一深度图像进行补全，生成第二深度图像，包括：
获取所述第一深度图像中每个像素点的深度值；
针对每个像素点，将所述像素点的深度值与所述偏移量相加，得到所述像素点的修正深度值；
基于每个像素点的修正深度值，生成所述第二深度图像。
15.一种深度图像的补全装置，其特征在于，包括：
获取模块，用于控制所述巡检机器人上的深度图像采集装置和测距传感器同步采集，并获取所述深度图像采集装置采集的深度图像和所述测距传感器测量的实际距离值；
图像校正模块，用于根据所述实际距离，对采集的深度图像进行校正。
16.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求9-14中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求9-14中任一项所述的方法。
18.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求9-14中任一项所述的方法。
CN202110480632.2A 2021-04-30 2021-04-30 深度图像的补全方法、装置及巡检机器人 Active CN113256512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110480632.2A CN113256512B (zh) 2021-04-30 2021-04-30 深度图像的补全方法、装置及巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480632.2A CN113256512B (zh) 2021-04-30 2021-04-30 深度图像的补全方法、装置及巡检机器人

Publications (2)

Publication Number Publication Date
CN113256512A true CN113256512A (zh) 2021-08-13
CN113256512B CN113256512B (zh) 2024-06-21

Family

ID=77223375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480632.2A Active CN113256512B (zh) 2021-04-30 2021-04-30 深度图像的补全方法、装置及巡检机器人

Country Status (1)

Country Link
CN (1) CN113256512B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021125157A (ja) * 2020-02-10 2021-08-30 住友重機械工業株式会社 距離画像推定装置及び操縦装置
CN115188090A (zh) * 2022-06-29 2022-10-14 日海通信服务有限公司 一种基于5g通讯的智能巡检维护方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254923A1 (en) * 2010-04-19 2011-10-20 Samsung Electronics Co., Ltd. Image processing apparatus, method and computer-readable medium
US20140211045A1 (en) * 2013-01-31 2014-07-31 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus
CN107292826A (zh) * 2016-03-31 2017-10-24 富士通株式会社 图像处理设备、图像处理方法以及图像处理装置
WO2019011027A1 (zh) * 2017-07-11 2019-01-17 深圳市道通智能航空技术有限公司 应用于三维相机的图像校准方法和装置
CN109664301A (zh) * 2019-01-17 2019-04-23 中国石油大学(北京) 巡检方法、装置、设备及计算机可读存储介质
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
CN109902637A (zh) * 2019-03-05 2019-06-18 长沙智能驾驶研究院有限公司 车道线检测方法、装置、计算机设备和存储介质
CN110868582A (zh) * 2018-08-28 2020-03-06 钰立微电子股份有限公司 具有校正功能的图像获取系统
CN111385461A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254923A1 (en) * 2010-04-19 2011-10-20 Samsung Electronics Co., Ltd. Image processing apparatus, method and computer-readable medium
US20140211045A1 (en) * 2013-01-31 2014-07-31 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus
CN107292826A (zh) * 2016-03-31 2017-10-24 富士通株式会社 图像处理设备、图像处理方法以及图像处理装置
WO2019011027A1 (zh) * 2017-07-11 2019-01-17 深圳市道通智能航空技术有限公司 应用于三维相机的图像校准方法和装置
CN110868582A (zh) * 2018-08-28 2020-03-06 钰立微电子股份有限公司 具有校正功能的图像获取系统
CN111385461A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
CN109664301A (zh) * 2019-01-17 2019-04-23 中国石油大学(北京) 巡检方法、装置、设备及计算机可读存储介质
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
CN109902637A (zh) * 2019-03-05 2019-06-18 长沙智能驾驶研究院有限公司 车道线检测方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021125157A (ja) * 2020-02-10 2021-08-30 住友重機械工業株式会社 距離画像推定装置及び操縦装置
JP7341079B2 (ja) 2020-02-10 2023-09-08 住友重機械工業株式会社 距離画像推定装置及び操縦装置
CN115188090A (zh) * 2022-06-29 2022-10-14 日海通信服务有限公司 一种基于5g通讯的智能巡检维护方法

Also Published As

Publication number Publication date
CN113256512B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN106192634B (zh) 一种铁路轨道弹条扣件状态自动检测装置以及方法
CN113256512A (zh) 深度图像的补全方法、装置及巡检机器人
CN102756744B (zh) 铁路轨道监控
US20120300060A1 (en) Vision system for imaging and measuring rail deflection
JP5861318B2 (ja) トロリ線データ比較装置
EP2966400B1 (en) Overhead line position measuring device and method
JP6737638B2 (ja) 鉄道車両の外観検査装置
KR101128835B1 (ko) 라인스캔 카메라를 이용한 전차선 높이 및 편위 검측장치 및 그 방법
EP3980313B1 (en) A track monitoring system
WO2020194539A1 (ja) 構造物の変位計測装置
WO2020179194A1 (ja) パンタグラフ変位測定装置及びトロリ線硬点検出方法
CN107621229B (zh) 基于面阵黑白相机的实时铁路轨道宽度测量系统及方法
KR101181382B1 (ko) 터널 내공변위 측정 방법
KR101280960B1 (ko) 터널 내공변위 측정 장치
JP5151845B2 (ja) 画像処理によるパンタグラフの鉛直加速度測定装置および測定方法
JP2019188846A (ja) 物体検知システム
KR101994412B1 (ko) 무인 비행체와 센서 인터페이스를 이용한 구조물 표면 열화 진단 장치 및 그 방법
CN205991785U (zh) 一种铁路隧道限界动态检测系统
JP6638353B2 (ja) 重錘位置検出装置及び方法
JP5162412B2 (ja) トンネル壁面撮影装置
JP4723777B2 (ja) 画像検査方法および画像検査装置
JP2009052907A (ja) 異物検出システム
JP4818747B2 (ja) 長尺画像を用いた鉄道車両検査方法及びその装置
JP5149403B2 (ja) 画像検査方法および画像検査装置
JP4448268B2 (ja) 電柱位置検出方法およびこの方法を用いる路線の異常箇所画像収録装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant