CN114332794A - 用于列车线阵图像的目标检测方法、系统、装置及介质 - Google Patents

用于列车线阵图像的目标检测方法、系统、装置及介质 Download PDF

Info

Publication number
CN114332794A
CN114332794A CN202111525585.5A CN202111525585A CN114332794A CN 114332794 A CN114332794 A CN 114332794A CN 202111525585 A CN202111525585 A CN 202111525585A CN 114332794 A CN114332794 A CN 114332794A
Authority
CN
China
Prior art keywords
image
boundary
target
target frame
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111525585.5A
Other languages
English (en)
Inventor
傅振洲
李苏祺
黄磊
刘浩
王刘杰
王满意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Original Assignee
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd filed Critical Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority to CN202111525585.5A priority Critical patent/CN114332794A/zh
Publication of CN114332794A publication Critical patent/CN114332794A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供了用于列车线阵图像的目标检测方法，实现了在图像切分处完整目标框的获取，提高了目标检测效率，包括：以固定的宽度对线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；进行目标检测，获得被检测目标的种类及目标框；判断图像中目标框边界与图像边界之间的距离是否大于边界阈值，若不满足，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，再判断拼合图像，若不满足，将切分的宽度降为一半再拼接，重复判断直至满足条件，输出目标框的坐标；比较拼合图像与其原图像相邻的左右图像中的被检测目标，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。

Description

用于列车线阵图像的目标检测方法、系统、装置及介质
技术领域
本发明涉及轨道交通智能检测技术领域，具体涉及一种用于列车线阵图像的目标检测方法、系统、装置及介质。
背景技术
近些年来,随着我国轨道交通行业的迅猛发展，对保证列车安全运行的检测要求也在不断提升,长期以来，我国铁路部门对列车车体关键部件检测主要还是依靠人工经验，由于过车车次频繁，车辆细小部件多且分布分散，长时间的人工检测往往会受到疲劳的影响导致误判或者漏判的情况发生，而现有自动检测设备对线阵序列图像的目标检测算法尚不完善，往面临着精度差、效率低、误报漏报率高等问题，给列车的运行带来严重的安全隐患，因此实现轨道交通领域的智能检测是当前我国铁路发展的迫切急需。其中，影响列车线阵图像的目标检测精度和效率的最主要因素之一是对列车车体线阵序列图像分割处目标完整边界框的精准获取。
现有技术中，线阵相机是通过推扫的方式进行图像采集。采集到的整幅图像具有分辨率高、纵横比例差异大等特点，沿推扫方向目标尺寸占比较小，而通用目标检测方法通常仅适用于图像纵横比接近1：1的图像，若将整幅线阵图像进行强制缩放，那么势必会造成图像严重失真，丢失待检测目标的图像特征信息，因此，无法直接使用通用目标检测算法处理此类线阵采集图像目标检测问题。
为解决上述问题，现有方法主要通过将高分辨率的大尺寸图像按照一定的切分规则分割成若干个子区域，在分别对自区域内的图像单独进行目标检测，最后在按照切分规则恢复目标在全图中的图像坐标。
为了应对目标出现在图像切分处的情况，现有方法主要采取的处理方式是在图像分割处采用了区域交叠的图像分割方式，但这会带来两个比较严重的问题，第一，随着推扫方向的图像分辨率的增加，该方式会额外带来越来越多的重复计算区域，造成检测效率下降；第二，这种方式区域交叠的尺寸要大于检测目标的尺寸，随着检测目标尺寸的增加，要求交叠区域比例要随之增加，这不仅增加了重复检测区域，并且对不同尺寸的目标检测不具备自适应能力同样也会给检测效率带来严重影响。
发明内容
针对上述问题，本发明提供了用于列车线阵图像的目标检测方法、系统、装置及介质，可以实现在图像切分处完整目标框的获取，并且适用不同尺寸的待检目标，减少了由于图片交叠而造成图像重复计算问题，提高目标检测效率。
其技术方案是：一种用于列车线阵图像的目标检测方法，其特征在于，包括以下步骤：
以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足标框的目边界与图像边界之间的距离满足不大于边界阈值，使得每张拼合图像满足包含完整的目标框，输出目标框的坐标；
比较拼合图像与其原图像相邻的左右图像中的被检测目标，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
进一步的，所述的对图像进行目标检测，包括：采用深度学习的目标检测网络对目标进行检测。
进一步的，在使用目标检测网络前，通过训练样本对目标检测网络进训练，在训练目标检测网络时，对训练样本进行包括随机平移和裁剪的数据增强操作，用于提高目标检测网络的泛化能力。
进一步的，所述边界阈值用于判断有无在边界阈值以内的目标框出现，若目标框的左侧边界与图像左边界的距离小于边界阈值t，取kl＝1，将第i-1张图片中的后
Figure BDA0003410241970000021
像素宽度的图像与第i张图片中的前
Figure BDA0003410241970000022
像素宽度的图像拼合在一起，得到第i张图片左边界第一次拼合图像
Figure BDA0003410241970000023
对第i张图片左边界拼合图像
Figure BDA0003410241970000024
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片左边界拼合图像
Figure BDA0003410241970000025
中目标框的右侧边界距图像右边界距离小于等边界阈值于t，则重新令kl＝kl+1，将第i-1张图片中的后
Figure BDA0003410241970000026
像素宽度的图像与第i张图片中的前
Figure BDA0003410241970000027
像素宽度的图像拼合在一起，更新得到的第i张图片左边界第kl次迭代拼合图像
Figure BDA0003410241970000031
重复判断第i张图片左边界拼合图像
Figure BDA0003410241970000032
中目标框的右侧边界距图像右边界距离是否大于t，直至第i张图片左边界拼合图像
Figure BDA0003410241970000033
中目标框的右侧边界距图像右边界距离大于边界阈值t，获得残缺目标框的最右侧边界，并停止图片左边界迭代拼合操作；
若目标框的右侧边界距图像右边界距离小于等于t，取kr＝1，将第i张图片中的后
Figure BDA0003410241970000034
像素宽度的图像与第i+1张图片中的前
Figure BDA0003410241970000035
像素宽度的图像拼合在一起，得到第i张图片右边界第一次拼合图像
Figure BDA0003410241970000036
对第i张图片右边界拼合图像
Figure BDA0003410241970000037
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片右边界拼合图像
Figure BDA0003410241970000038
中目标框的左侧边界小于等于边界阈值t，重新令kr＝kr+1，将第i张图片中的后
Figure BDA0003410241970000039
像素宽度的图像与第i+1张图片中的前
Figure BDA00034102419700000310
像素宽度的图像拼合在一起，更新得到的第i张图片右边界第kr次拼合图像
Figure BDA00034102419700000311
重复判断第i张图片右边界拼合图像
Figure BDA00034102419700000312
中目标框的左侧边界是否小于等于边界阈值t，直至第i张图片右边界拼合图像
Figure BDA00034102419700000313
中目标框的左侧边界大于边界阈值t，获得残缺目标框的最左侧边界，并停止图片右边界迭代拼合操作。
进一步的，在迭代拼合图像包含完整的目标框后，根据进行切分拼合的迭代次数，将被检测目标的坐标从拼合图像的图像坐标系，转换到对应原图像的图像坐标系，输出目标框在原图像的图像坐标。
进一步的，融合拼合图像与其原图像相邻的左右图像中的被检测目标框，将获得的目标框的坐标转换到整列列车的全局图像坐标系中。
一种用于列车线阵图像的目标检测系统，其特征在于，包括：
图像切分模块，用于以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
目标检测模块，用于分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
边界附近目标搜索模块，用于设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足标框的目边界与图像边界之间的距离满足大于边界阈值，使得每张拼合图像包含完整的目标框，输出目标框的坐标；
全局目标融合模块，用于融合拼合图像与其原图像相邻的左右图像中的被检测目标框，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
一种用于列车线阵图像的目标检测装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的用于列车线阵图像的目标检测方法。
一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的用于列车线阵图像的目标检测方法。
本发明具有以下优点：
本发明将线阵相机采集图片直接进行无交叠区域切分，并且仅在图像切分处出现目标时进行目标复检，减少由于图片交叠而造成图像重复计算问题，提高目标检测效率。
本发明可以实现在图像切分处完整目标框的获取，并且适用不同尺寸的待检目标。
本发明中的目标检测可以通过现有几乎所有的通用深度学习目标检测算法实现，结合任意一种通用目标检测算法便可以实现对线阵序列图像完整目标框的获取。
本发明可以实现相邻分割图像中检测目标框的自动融合，去除重复或者残缺目标框。
附图说明
图1为实施例中的一种用于列车线阵图像的目标检测方法的步骤示意图；
图2为本发明中的线阵图像切分方式与现有技术中的线阵图像切分方式的对比图；
图3为实施例的方法中步骤3中进行一次切分拼合得到拼合图像具有完整目标框的示意图；
图4为实施例的方法中步骤3中进行两次切分拼合后拼合图像具有完整目标框的示意图；
图5为本发明的方法与现有技术目标检测的时间复杂度对比；
图6为一个实施例中计算机装置的内部结构图。
具体实施方式
以下描述中，参考构成本发明的一部分的附图，这些附图通过说明的方式示出本发明实施例的特定方面或可以使用本发明实施例的特定方面。应理解，本发明的实施例可以用于其它方面，并且包括在附图中未描绘的结构上或逻辑上的变化。因此，以下详细描述不作为限制意义，并且本发明的范围由所附权利要求限定。
应当理解，尽管在本公开实施例为了便于理解而编号的方式对步骤进行了说明，但是这些编号并不代表步骤的执行顺序，也并不代表采用顺序编号的步骤必须在一起执行。应当理解，采用顺序编号的多个步骤中的一个或几个步骤可以单独执行以解决相应的技术问题并达到预定的技术方案。即使是在附图中被示例性的列在一起的多个步骤，并不代表这些步骤必须被一起执行；附图只是为了便于理解而示例性的将这些步骤列在了一起。
见图1，本发明中的一种用于列车线阵图像的目标检测方法，至少包括以下步骤：
步骤1：以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
步骤2：分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
步骤3：设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足标框的目边界与图像边界之间的距离满足大于边界阈值，使得每张拼合图像满足包含完整的目标框，输出目标框的坐标；
步骤4：比较拼合图像与其原图像相邻的左右图像中的被检测目标框，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
在本发明的一个实施例中，在步骤1中，首先对采集到的线阵图像在相机推扫方向进行无交叠切分，如图2中a)所示，按照固定长度对图像进行切分，得到一系列尺寸相同的序列图像。图2中b)表示的是现有高分辨率图像目标检测方法中常用的按照一定交叠比例的图像切分方法。
经过步骤1处理之后，得到一系列的序列图像，进而在步骤2中，对每一张图片分别进行目标检测，得到被检测目标的种类以及对应的目标框，其中，采用深度学习的目标检测网络对目标进行检测。本发明中可以采用现有的基于深度学习的目标检测算法，对所使用的目标检测算法没有限制，本实施例中采用的目标检测算法为CenterNet目标检测网络。
按照固定尺寸切分后的图片序列Ii(i＝1…m)，m为自然数，从i＝1开始，使用目标检测算法检测图片序列Ii中的目标位置；
在步骤2中，目标检测网络使用前会通过样本进行训练，在进行目标检测网络训练前，采用数据增强手段处理训练样本，对训练样本进行随机平移和裁剪操作，用于提高目标检测网络的泛化能力，进而增强对图像边界处非完整目标的检测识别效果。
在步骤3中，则对于图像边界处的目标进行迭代搜索，具体如下：
设定边界阈值t，边界阈值t用于判断有无在边界阈值以内的目标框出现，当第i张图片中第j个目标包围框bboxij(xmin,ymin,xmax,ymax)的左侧边界与图像左边界的距离不大于边界阈值t，取kl＝1，kl为迭代搜索次数，将第i-1张图片中的后
Figure BDA0003410241970000061
像素宽度的图像与第i张图片中的前
Figure BDA0003410241970000062
像素宽度的图像拼合在一起，得到第i张图片左边界拼合图像
Figure BDA0003410241970000063
对第i张图片左边界拼合图像
Figure BDA0003410241970000064
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片左边界拼合图像
Figure BDA0003410241970000065
中目标框的右侧边界距图像右边界距离小于等边界阈值于t，则重新令kl＝kl+1，将第i-1张图片中的后
Figure BDA0003410241970000066
像素宽度的图像与第i张图片中的前
Figure BDA0003410241970000067
像素宽度的图像拼合在一起，更新得到的第i张图片左边界拼合图像
Figure BDA0003410241970000068
重复判断第i张图片左边界拼合图像
Figure BDA0003410241970000069
中目标框的右侧边界距图像右边界距离是否大于t，直至第i张图片左边界拼合图像
Figure BDA00034102419700000610
中目标框的右侧边界距图像右边界距离大于边界阈值t，获得残缺目标框的最右侧边界；
在kl＝1时是第一次迭代搜索，将第i-1张图片中的后1/2像素宽度的图像与第i张图片中的前1/2像素宽度的图像拼合在一起，得到左边界拼合图像
Figure BDA00034102419700000611
如果此时满足左边界拼合图像
Figure BDA00034102419700000612
中目标框的右侧边界距图像右边界距离大于边界阈值t，则不再进行迭代搜索，可以输出目标框坐标，
若第一次迭代搜索后，左边界拼合图像
Figure BDA00034102419700000613
中目标框的右侧边界距图像右边界距离小于等边界阈值于t，则进行第二次迭代搜索，将第i-1张图片中的后1/4像素宽度的图像与第i张图片中的前3/4像素宽度的图像拼合在一起，更新得到的第i张图片左边界拼合图像
Figure BDA0003410241970000071
并对该图像进行目标检测，判断目标框的右边界与拼合图像右边界的距离是否大于阈值t，若满足该条件，停止图像左边界的迭代拼合操作，并获得目标框的最右侧边界坐标；若不满足阈值条件，则继续图像的迭代拼合操作。
对于另外一种情况，若目标框的右侧边界距图像右边界距离小于等于t，取kr＝1，kr为迭代搜索次数，将第i张图片中的后
Figure BDA0003410241970000072
像素宽度的图像与第i+1张图片中的前
Figure BDA0003410241970000073
像素宽度的图像拼合在一起，得到第i张图片右边界拼合图像
Figure BDA0003410241970000074
对第i张图片右边界拼合图像
Figure BDA0003410241970000075
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片右边界拼合图像
Figure BDA0003410241970000076
中目标框的左侧边界小于等于边界阈值t，重新令kr＝kr+1，将第i张图片中的后
Figure BDA0003410241970000077
像素宽度的图像与第i+1张图片中的前
Figure BDA0003410241970000078
像素宽度的图像拼合在一起，更新得到的第i张图片右边界拼合图像
Figure BDA0003410241970000079
重复判断第i张图片右边界拼合图像
Figure BDA00034102419700000710
中目标框的左侧边界是否小于等于边界阈值t，直至第i张图片右边界拼合图像
Figure BDA00034102419700000711
中目标框的左侧边界大于边界阈值t，获得残缺目标框的最左侧边界。
如图3所示，经过第一次迭代搜索就获得了完整的目标框，而在图4中，则是经历了两次迭代搜索获得完整的目标框，图3、图4为相机拍摄得到的线阵图像找到目标后的示意图，图3、4中还分别对于目标框添加了黑色粗框和箭头指向指出目标框。
在拼合图像满足包含完整的目标框后，根据图像迭代拼合的次数，将被检测目标的坐标从拼合图像的图像坐标系，转换到对应原图像的图像坐标，输出目标框在原图像的图像坐标。
具体来说，可以分别对Ii_left和Ii_right的检测结果进行目标框的融合，Ii_left获得了完整目标框的最右侧边界，然后根据迭代次数kl，将目标框右边界的结果变换至原图像坐标即可得到完整目标框在原图中的最右侧坐标。同理，Ii_right获得了完整目标框的最左侧边界，然后根据迭代次数kr，将目标框左边界的结果变换至原图像坐标即可得到完整目标框在原图中的最左侧坐标。最后，综合图像左右边界的检测结果，去除重复的目标框即可得到最终的完整目标框的左右坐标。
上述步骤3的过程所得到的目标框的坐标均是以每一张图片的左上角点为原点的局部图像坐标。并不是整列列车的全局坐标，所以在步骤4中，在比较拼合图像与其原图像相邻的左右图像中的被检测目标时，将获得的目标框的坐标转换到整列列车的全局图像坐标系中。比较拼合图像与其原图像相邻的左右图像中的被检测目标框，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
当目标出现在图像边界附近时，以图像的右侧边界为例，当目标出现在本张图片右侧边界附近时，同时调取本张图片目标检测结果、边界处目标迭代搜索结果以及与本张图片右侧相邻图片的目标检测结果，将上述目标检测结果中同类目标且目标框的交并比IOU大于指定阈值的目标框进行合并，从而实现在图像边界处目标完整框的获取以及残缺或重复目标框的过滤。
本发明提出的方法与常用的基于图像区域交叠切分的目标检测方法的时间复杂度对比结果如图5所示，这里衡量目标检测时间复杂度的指标采用的是调用目标检测方法的次数，每检测一块图像，对应调用一次目标检测方法，图5中a)表示随着线阵图像扫描方向的分辨率增加，不同图像分割方案对应调用目标检测算法次数的对比情况。显然，如果不在图像块边界进行重复检测的话，本发明所采用的图像切分方案所调用的目标检测算法次数最少。图5中b)表示的是不同交叠比例情况下目标检测算法调用次数与本文采用分割方式的差值。其中，图片的高度方向分辨率为2048，线阵扫描方向的分辨率从0到310000像素，切分后的图像块为2048*2000，上述参数也是现有TEDS现场采集设备所用的典型参数，一般8编组动车过或者高铁一个线阵相机采集到的图像在扫描方向的分辨率大约为31万像素。此外，采用的三种交叠比例也是现有文献中所采用的典型图块交叠比例，并且在此交叠比例下，传统方法要求待检测目标的尺寸要小于所选用的交叠比例，而本文方法对目标尺寸没有具体要求，并且在所选择的三种交叠比例情况下，图块分界处的目标检测仅需要进行一次重复检测即可。
此外，从图5中b)可以看出，当线阵相机采集图像在扫描方向的分辨为31万像素时，在相邻图像块交叠比为5％情况下，整张线阵图像被切分为163块，本文采用的切分方式会比采用交叠区域的方式减少9次目标检测算法调用次数；在相邻图像块交叠比为10％情况下，整张线阵图像被切分为171块，本文采用的切分方式会比采用交叠区域的方式减少18次目标检测算法调用次数；在相邻图像块交叠比为20％情况下，整张线阵图像被切分为192块，本发明采用的切分方式会比采用交叠区域的方式减少36次目标检测算法调用次数。这意味着目标没有出现在图像切分处时，本发明采用的切分策略在检测效率上具有明显优势，更少的目标检测算法调用次数意味着线阵整图有着更快的目标检测效率。同时，以20％交叠比情况为例，这也意味着在少于36个边界出现目标的情况时，相当于图像切分处出现目标部件的概率小于18％时，本发明的方法在检测效率上仍然有优势。
在本发明的实施例中，还提供了一种用于列车线阵图像的目标检测系统，包括：
图像切分模块，用于以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
目标检测模块，用于分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
边界附近目标搜索模块，用于设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足标框的目边界与图像边界之间的距离大于边界阈值，使得每张拼合图像包含完整的目标框，输出目标框的坐标；
全局目标融合模块，用于比较拼合图像与其原图像相邻的左右图像中的被检测目标框，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
在本发明的实施例中，还提供了一种用于列车线阵图像的目标检测装置，具体包括：处理器、存储器以及程序；
程序存储在存储器中，处理器调用存储器存储的程序，以执行上述实施例中的用于列车线阵图像的目标检测方法。
该计算机装置可以是终端，其内部结构图可以如图6所示。该计算机装置包括通过总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机装置的处理器用于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现用于列车线阵图像的目标检测方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机装置的限定，具体的计算机装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序，程序用于执行上述的一种用于列车线阵图像的目标检测方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、计算机装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、计算机装置、或计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
以上对本发明所提供的在用于列车线阵图像的目标检测方法、计算机装置、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于列车线阵图像的目标检测方法，其特征在于，包括以下步骤：
以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足标框的目边界与图像边界之间的距离满足不大于边界阈值，使得每张拼合图像满足包含完整的目标框，输出目标框的坐标；
比较拼合图像与其原图像相邻的左右图像中的被检测目标，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
2.根据权利要求1所述的一种用于列车线阵图像的目标检测方法，其特征在于：所述的对图像进行目标检测，包括：采用深度学习的目标检测网络对目标进行检测。
3.根据权利要求2所述的一种用于列车线阵图像的目标检测方法，其特征在于：在使用目标检测网络前，通过训练样本对目标检测网络进训练，在训练目标检测网络时，对训练样本进行包括随机平移和裁剪的数据增强操作，用于提高目标检测网络的泛化能力。
4.根据权利要求3所述的一种用于列车线阵图像的目标检测方法，其特征在于：所述边界阈值用于判断有无在边界阈值以内的目标框出现，若目标框的左侧边界与图像左边界的距离小于等于边界阈值t，取kl＝1，将第i-1张图片中的后
Figure FDA0003410241960000011
个像素宽度的图像与第i张图片中的前
Figure FDA0003410241960000012
像素宽度的图像拼合在一起，得到第i张图片左边界第一次拼合图像
Figure FDA0003410241960000013
对第i张图片左边界拼合图像
Figure FDA0003410241960000014
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片左边界拼合图像
Figure FDA0003410241960000015
中目标框的右侧边界距图像右边界距离小于等边界阈值于t，则重新令kl＝kl+1，将第i-1张图片中的后
Figure FDA0003410241960000016
像素宽度的图像与第i张图片中的前
Figure FDA0003410241960000017
像素宽度的图像拼合在一起，更新得到的第i张图片左边界第kl次拼合图像
Figure FDA0003410241960000018
重复判断第i张图片左边界拼合图像
Figure FDA0003410241960000019
中目标框的右侧边界距图像右边界距离是否大于t，直至第i张图片左边界拼合图像
Figure FDA0003410241960000021
中目标框的右侧边界距图像右边界距离大于边界阈值t，获得残缺目标框的最右侧边界，并停止第i张图片左边界图像迭代拼合操作。
5.根据权利要求3所述的一种用于列车线阵图像的目标检测方法，其特征在于：若目标框的右侧边界距图像右边界距离小于等于t，取kr＝1，将第i张图片中的后
Figure FDA0003410241960000022
像素宽度的图像与第i+1张图片中的前
Figure FDA0003410241960000023
像素宽度的图像拼合在一起，得到第i张图片右边界第一次拼合图像
Figure FDA0003410241960000024
对第i张图片右边界拼合图像
Figure FDA0003410241960000025
进行目标检测，若检测到目标，则继续检测边界阈值t，若第i张图片右边界拼合图像
Figure FDA0003410241960000026
中目标框的左侧边界小于等于边界阈值t，重新令kr＝kr+1，将第i张图片中的后
Figure FDA0003410241960000027
像素宽度的图像与第i+1张图片中的前
Figure FDA0003410241960000028
宽度的图像拼合在一起，更新得到的第i张图片右边界第kr次拼合图像
Figure FDA0003410241960000029
重复判断第i张图片右边界拼合图像
Figure FDA00034102419600000210
中目标框的左侧边界是否小于等于边界阈值t，直至第i张图片右边界拼合图像
Figure FDA00034102419600000211
中目标框的左侧边界大于边界阈值t，获得残缺目标框的最左侧边界，并停止第i张图片右边界图像的迭代拼合操作。
6.根据权利要求4或5所述的一种用于列车线阵图像的目标检测方法，其特征在于：在拼合图像满足包含完整的目标框后，根据进行图像拼合操作的迭代次数，将被检测目标的坐标从拼合图像的图像坐标系，转换到对应原图像的图像坐标系，输出目标框在原图像坐标系中的图像坐标。
7.根据权利要求1所述的一种用于列车线阵图像的目标检测方法，其特征在于：融合拼合图像与其原图像相邻的左右图像中的被检测目标的目标框，将获得的目标框的坐标转换到整列列车的全局图像坐标系中。
8.一种用于列车线阵图像的目标检测系统，其特征在于具有：
图像切分模块，用于以固定的宽度对采集到的线阵图像进行无交叠切分，得到若干尺寸相同的序列图像；
目标检测模块，用于分别对每一张图像进行目标检测，获得被检测目标的种类以及对应的目标框；
边界附近目标搜索模块，用于设定边界阈值，分别判断每张图像中，目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，则基于二分法，在图像的宽度方向上，对半切分当前图像与相邻的图像，进行拼接得到拼合图像，对于检测到被检测目标的拼合图像，再判断拼合图像中的目标框的边界与图像边界之间的距离是否大于边界阈值，若不满足，将切分的宽度降为一半再进行拼接，维持拼合图像的宽度不变，重复判断直至满足目标框的边界与图像边界之间的距离大于边界阈值，使得每张拼合图像包含完整的目标框，输出目标框的坐标；
全局目标融合模块，用于比较拼合图像与其原图像相邻的左右图像中的被检测目标，若被检测目标的种类相同，且目标框的交并比大于指定阈值，认为被检测目标相同，融合目标框，输出被检测目标的坐标。
9.一种用于列车线阵图像的目标检测装置，其特征在于，其包括：处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1-7任意项所述的用于列车线阵图像的目标检测方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1-7任意项所述的用于列车线阵图像的目标检测方法。
CN202111525585.5A 2021-12-14 2021-12-14 用于列车线阵图像的目标检测方法、系统、装置及介质 Pending CN114332794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111525585.5A CN114332794A (zh) 2021-12-14 2021-12-14 用于列车线阵图像的目标检测方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111525585.5A CN114332794A (zh) 2021-12-14 2021-12-14 用于列车线阵图像的目标检测方法、系统、装置及介质

Publications (1)

Publication Number Publication Date
CN114332794A true CN114332794A (zh) 2022-04-12

Family

ID=81051625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111525585.5A Pending CN114332794A (zh) 2021-12-14 2021-12-14 用于列车线阵图像的目标检测方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN114332794A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346109A (zh) * 2022-08-02 2022-11-15 北京新岳纵横科技有限公司 一种基于iou策略的增强样本生成方法
CN117036175A (zh) * 2023-10-08 2023-11-10 之江实验室 一种线阵图片拼接方法、装置、介质以及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346109A (zh) * 2022-08-02 2022-11-15 北京新岳纵横科技有限公司 一种基于iou策略的增强样本生成方法
CN117036175A (zh) * 2023-10-08 2023-11-10 之江实验室 一种线阵图片拼接方法、装置、介质以及设备
CN117036175B (zh) * 2023-10-08 2024-01-09 之江实验室 一种线阵图片拼接方法、装置、介质以及设备

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
JP4928310B2 (ja) ナンバープレート認識装置、その制御方法、コンピュータプログラム
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN114332794A (zh) 用于列车线阵图像的目标检测方法、系统、装置及介质
US11275955B2 (en) Lane line processing method and device
US11042734B2 (en) Electronic document segmentation using deep learning
CN111950353B (zh) 印章文本识别方法、装置及电子设备
JP2014059875A (ja) 画像内のロゴの存在を検出する装置、及び方法
CN111259878A (zh) 一种检测文本的方法和设备
Sun et al. ET: Edge-enhanced transformer for image splicing detection
CN111626145B (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN114638294A (zh) 一种数据增强方法、装置、终端设备及存储介质
Ayesh et al. A robust line segmentation algorithm for Arabic printed text with diacritics
Huang et al. Detecting shadows in high-resolution remote-sensing images of urban areas using spectral and spatial features
CN112364863B (zh) 证照文档的文字定位方法及系统
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN112784737B (zh) 结合像素分割和线段锚的文本检测方法、系统及装置
CN115357490A (zh) 一种针对移动应用的界面缩放缺陷检测方法及电子装置
CN113591862A (zh) 文本识别的方法及装置
CN113159193A (zh) 模型训练方法、图像识别方法、存储介质及程序产品
CN114648751A (zh) 一种处理视频字幕的方法、装置、终端及存储介质
CN106934814B (zh) 一种基于图像的背景信息识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination