CN111460854A - 一种远距离目标检测方法、装置及系统 - Google Patents

一种远距离目标检测方法、装置及系统 Download PDF

Info

Publication number
CN111460854A
CN111460854A CN201910049829.3A CN201910049829A CN111460854A CN 111460854 A CN111460854 A CN 111460854A CN 201910049829 A CN201910049829 A CN 201910049829A CN 111460854 A CN111460854 A CN 111460854A
Authority
CN
China
Prior art keywords
image
target
area
coordinate system
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910049829.3A
Other languages
English (en)
Other versions
CN111460854B (zh
Inventor
刘楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910049829.3A priority Critical patent/CN111460854B/zh
Publication of CN111460854A publication Critical patent/CN111460854A/zh
Application granted granted Critical
Publication of CN111460854B publication Critical patent/CN111460854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种远距离目标检测方法、装置及系统，该方法包括：分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，第一检测区域为第一图像中的区域，第二检测区域为第二图像中的区域；第一图像和第二图像是在不同焦距下针对相同场景采集得到的不同图像；分别确定第一检测区域和第二检测区域中目标区域；确定第二坐标系映射到第一坐标系的坐标映射关系，第一坐标系为第一图像应用的坐标系，第二坐标系为第二图像应用的坐标系；按照坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至第一坐标系中，并依据已映射至第一坐标系中的目标区域、及第一检测区域中的目标区域检测目标对象。

Description

一种远距离目标检测方法、装置及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种远距离目标检测方法、装置及系统。
背景技术
目标检测是较多场景中都会涉及到的技术，一般是从图像中检测出目标对象。例如在智能驾驶场景中，为了保证车辆的正常行驶，需要精确的检测出前方一定距离范围内的机动车辆、行人、非机动车辆等目标对象，以便智能地做出决策，可检测出目标对象的距离范围越远越有利于做出正确的决策，尤其在高速等自动驾驶场景中，对更远距离目标对象的检测需求更加迫切。
相关的目标检测方式中，是从单焦距图像中检测出目标对象，为了保证近距离目标对象不丢失，通常是在短焦距下采集图像，从采集得到的短焦距图像中检测出目标对象。目标检测时要求图像中的目标对象具有一定的像素尺寸，否则目标对象无法被检出，而一些距离较远的目标对象(比如人、非机动车等)在短焦距图像中的像素尺寸会很小，满足不了目标检测的像素尺寸要求。因此，上述方式存在远距离目标对象因像素尺寸过小而无法被检出的问题。
发明内容
有鉴于此，本发明提供一种远距离目标检测方法、装置及系统，避免远距离目标对象因像素尺寸过小而无法被检出的问题。
本发明第一方面提供一种远距离目标检测方法，包括：
分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景采集得到的不同图像；
分别确定所述第一检测区域和第二检测区域中的目标区域；
确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
根据本发明的一个实施例，所述分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，包括：
将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
根据本发明的一个实施例，所述确定第二坐标系映射到第一坐标系的坐标映射关系，包括：
对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
根据本发明的一个实施例，所述分别确定所述第一检测区域和第二检测区域中的目标区域，包括：
分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
根据本发明的一个实施例，所述依据已映射至所述第一坐标系中的目标区域、所述第一检测区域中的目标区域检测所述目标对象，包括：
将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
在已修改的第一图像中检测所述目标对象。
根据本发明的一个实施例，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
判断所述T2是否满足指定条件，包括：
将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
根据本发明的一个实施例，所述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；
所述分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络，包括：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
本发明第二方面提供一种远距离目标检测装置，包括：
检测区域确定模块，用于分别确定包含至少一个目标对象的第一检测区域和第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景采集得到的不同图像；
目标区域确定模块，用于分别确定所述第一检测区域和第二检测区域中目标区域；
映射关系确定模块，用于确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
目标区域映射模块，用于按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、所述第一检测区域中的目标区域检测所述目标对象。
根据本发明的一个实施例，所述检测区域确定模块，包括：
语义分割处理单元，用于将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
第一检测区域确定单元，用于确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
第二检测区域确定单元，用于确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
根据本发明的一个实施例，所述映射关系确定模块，包括：
特征点对获取单元，用于对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
根据本发明的一个实施例，所述目标区域确定模块，包括：
检测区域处理单元，用于分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
第一目标区域确定单元，用于依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
第二目标区域确定单元，用于依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
根据本发明的一个实施例，所述目标区域映射模块，包括：
位置信息记录单元，用于将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
位置信息融合单元，用于针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
目标对象检测单元，用于在已修改的第一图像中检测所述目标对象。
根据本发明的一个实施例，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
所述位置信息融合单元，包括：
边界映射子单元，用于将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
第一判断子单元，用于判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
第二判断子单元，用于若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
根据本发明的一个实施例，所述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；
所述检测区域处理单元具体用于：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
本发明第三方面提供一种远距离目标检测系统，包括：
双目相机，所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；所述第一图像和第二图像是所述双目相机针对相同场景同步采集得到的不同图像；
远距离目标检测装置，用于分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；分别确定所述第一检测区域和第二检测区域中的目标区域；确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
本发明实施例具有以下有益效果：
由于第二图像和第一图像是从不同焦距下针对相同场景采集得到，长焦距下采集的图像中可检测到更远距离的目标对象、但可能遗漏近距离处的目标对象，短焦距下采集的图像中可检测到更近距离的目标对象、但因远距离目标对象在图像中的像素尺寸会很小而无法被检测到，因而从第一图像的第一检测区域和第二图像的第二检测区域中确定出的目标区域可以互补，将其中一个检测区域的目标区域执行坐标映射处理后，两个检测区域的目标区域处于同一坐标系中，在此基础上依据该坐标系下的目标区域检测目标对象可使得检出结果更全，可避免远距离目标对象因像素尺寸过小而无法被检出的问题。
附图说明
图1是本发明一示例性实施例示出的远距离目标检测方法的流程示意图；
图2是本发明一示例性实施例示出的不同焦距下的视场角比较示意图；
图3是本发明一示例性实施例示出的远距离目标检测装置的结构框图；
图4是本发明一示例性实施例示出的确定坐标映射关系的示意图；
图5a和5b是本发明一示例性实施例示出的对第二检测区域的目标区域执行映射处理的示意图；
图6是本发明一示例性实施例示出的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
神经网络：一种通过模仿大脑结构抽象而成的技术，该技术将大量简单的函数进行复杂的连接，形成一个网络系统，该系统可以拟合极其复杂的函数关系，一般可以包括卷积/反卷积操作、激活操作、池化操作，以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练，调整其中的连接，可以让神经网络学习拟合输入和输出之间的映射关系。
在现有的目标检测方式中，采用单目检测方式，由于受目标检测时要求图像中的目标对象具有一定的像素尺寸的限制，保证目标对象的24像素尺寸(机动车像素宽度、非机动车行人像素高度)目标检测，可实现100米内机动车、70米内的行人与非机动车目标检测。但是，对于高速等自动驾驶场景，100米、70米的探测距离还不能满足要求，需要探索实现检测距离更远的方案。
本发明可以通过在不同焦距下针对相同场景同步采集得到的不同图像以双目不共焦的方式检测目标对象，可在增加较少计算量的情况下，实现远距离目标检测，主要用于高速公路上的远距离目标对象检测，尤其适用于车辆的检测，不再局限于现有方式的100米内机动车、70米内的行人与非机动车目标检测。
本发明实施例中的远距离目标检测方法可应用于具有图像处理能力的电子设备上，电子设备例如可以是具有采集部件(摄像头)的图像采集设备，或者是能够从图像采集设备上获取图像的图像后处理设备等，具体不限。电子设备可以安装在可移动平台或安装在固定平台上。可移动平台例如是无人机、无人驾驶汽车、地面机器人等不限，从而电子设备可在可移动平台移动过程中的目标检测。
本发明实施例中的目标检测可以是单类目标检测，也可以是多类目标检测。可以理解，在单类目标检测时，可以无需对目标对象进行分类，而在多类目标检测时，可对目标对象进行分类，依据分类结果确定目标对象的类别。例如，在驾驶场景中，电子设备可对图像中的机动车、非机动车、行人等这些不同类别的目标对象进行检测。
下面对本发明实施例的远距离目标检测方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，一种远距离目标检测方法可以包括以下步骤：
S100：分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景同步采集得到的不同图像；
S200：分别确定所述第一检测区域和第二检测区域中的目标区域；
S300：确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
S400：按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
本发明实施例中的远距离目标检测方法的执行主体为电子设备。电子设备例如可以包括存储器、处理器、双目相机等。双目相机包括第一采集部件和第二采集部件，第一采集部件和第二采集部件可以在不同焦距下分别针对相同场景采集得到的图像。存储器可以存储程序、图像等。处理器可调用并执行存储器中的程序，在执行所调用的程序时可实现本发明实施例的远距离目标检测方法。当然，第一图像和第二图像也可以是从外部设备获取的，具体不限，只要两者是在不同焦距下针对相同场景同步采集得到的不同图像。
例如，第一图像是由双目相机的第一采集部件采集的，第二图像是由双目相机的第二采集部件采集的，第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值。相应的，第一图像为焦距较短的图像(简称短焦距图像)，第二图像为焦距较长的图像(简称长焦距图像)，当然反之亦可，具体焦距不限。
参看图2，第一采集部件和第二采集部件可以集成在车辆上，F1是第一采集部件在焦距为第一设定值时的视场角，F2是第二采集部件在焦距为第二设定值时的视场角。但是，对于分置于P1点处和P2点处的同样大小的物体来说，P1点处的物体在F1下采集的图像中的大小与P2点处的物体在F2下采集的图像中的大小是相同的。可见，虽然F1比F2大，但是，远距离物体在第二采集部件采集的图像中比在第一采集部件采集的图像中的像素尺寸更大，因此，在第一采集部件采集的图像中因像素尺寸过小检测不到的目标对象，可以在第二采集部件采集的图像中被检测到。
步骤S100中，检测区域的确定方式不限，可以是根据先验知识标定，也可依据ISP图像处理技术确定，或可通过已训练的神经网络确定，具体不限，只要保证图像中各自所需检测的目标对象处于检测区域中即可。换言之，第一检测区域中包含第一图像中感兴趣的目标对象，第二检测区域中包含第二图像中感兴趣的目标对象。
第一检测区域可以是第一图像的整个区域，当然也可以是第一图像上的局部区域，例如是目标较为集中的局部区域；第二检测区域同样也可以如此。优选的，第一检测区域和第二检测区域均为各自图像中的局部检测区域，检测区域尺寸更小，能减少在后续处理过程中的计算量。
步骤S200中，分别确定所述第一检测区域和第二检测区域中的目标区域。
目标区域是目标对象所在区域，每个目标区域上优选只包含一个目标对象，当然具体也不限，目标区域上也可包含两个以上目标对象。目标对象可以属于一个类别，也可以属于不同类别，比如可以只是车辆类的目标对象，或者可以是车辆类和行人类这两类的目标对象，具体不限，在多个类别时，确定出的目标区域也可具有相应的类别。
可利用目标检测算法对每个检测区域进行目标检测，以确定各个检测区域上的目标区域。目标检测算法可以是基于深度学习的目标检测算法，当然也可以是ISP目标检测算法，例如目标模板匹配算法等，具体不限。
基于前述描述，由于第一采集部件和第二采集部件的视场角不同，因而第一图像和第二图像中包含的目标对象的数量可能不同、以及能检测出的目标对象的数量也可能不同，因而从第一检测区域和第二检测区域中确定出的目标区域数量也可能不同，并且，可能存在的情况是，两个检测区域中的目标区域对应的目标对象有相同的、也有不同的，当然也不排除都相同、或者都不相同的情况。
例如第一检测区域中确定出5辆车辆分别对应的5个目标区域，而第二检测区域中确定出2辆车辆分别对应的2个目标区域，而这2辆车辆是5辆车辆中的其中2辆，当然，由于采集第一图像时的焦距比采集第二图像时的焦距小，因而第一检测区域中该2辆车辆所在目标区域的像素尺寸可能很小，比不上第二检测区域中该2辆车辆所在目标区域的像素尺寸。
步骤S300中，确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系。
由于第一坐标系是应用于第一图像的坐标系，第二坐标系是应用于第二图像的坐标系，因而通过坐标映射关系可以确定第二图像中的目标区域映射到第一图像中时的位置。
该坐标映射关系可以通过第二图像和第一图像中相匹配的特征点的位置关系计算确定。具体特征点不限，可以是各个图像的检测区域内的特征点，也可以是检测区域外的特征点。
当然，该坐标映射关系也可以是此前已计算好并预存在双目相机中的，在步骤S300中，从双目相机中获取该坐标映射关系即可。长焦距镜头和短焦距镜头的位置关系及配置参数可在确定后沿用，因而，第二坐标系到第一坐标系的坐标映射关系在确定之后也可沿用，直到后续需要调整长焦距镜头和短焦距镜头时再重新计算。
步骤S400中，按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
可以将步骤S200中确定出的第二检测区域的所有目标区域均从第二坐标系映射到第一坐标系中，也可以从该所有目标区域中选择其中几个目标区域从第二坐标系映射到第一坐标系中，例如选择更远距离处的目标对象所在的目标区域，具体不限。已映射至第一坐标系中的目标区域与第一检测区域中的目标区域共处于同一坐标系下，可依据处于第一坐标系中的所有目标区域来检测目标对象。
本发明实施例中，由于第二图像和第一图像是从不同焦距下针对相同场景采集得到，长焦距下采集的图像中可检测到更远距离的目标对象、但可能遗漏近距离处的目标对象，短焦距下采集的图像中可检测到更近距离的目标对象、但因远距离目标对象在图像中的像素尺寸会很小而无法被检测到，因而从第一图像的第一检测区域和第二图像的第二检测区域中确定出的目标区域可以互补，将其中一个检测区域的目标区域执行坐标映射处理后，两个检测区域的目标区域处于同一坐标系中，在此基础上依据该坐标系下的目标区域检测目标对象可使得检出结果更全，可避免远距离目标对象因像素尺寸过小而无法被检出的问题。
在一个实施例中，上述远距离目标检测方法流程可由远距离目标检测装置10执行，如图3所示，远距离目标检测装置10主要包含4个模块：检测区域确定模块100，目标区域确定模块200，映射关系确定模块300和目标区域映射模块400。检测区域确定模块100用于执行上述步骤S100，目标区域确定模块200用于执行上述步骤S200，映射关系确定模块300用于执行上述步骤S300，目标区域映射模块400用于执行上述步骤S400。
在一个实施例中，检测区域确定模块100可以通过执行步骤S101至步骤S103来实现上述步骤S100：
S101：将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
S102：确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
S103：确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
为了降低确定目标区域时的计算量，及为了保证第一图像和第二图像中目标区域的全覆盖检测，采用已训练好的基于语义分割的第一神经网络分别对第一图像和第二图像进行语义分割，得到第一图像对应的第一分割图像及第二图像对应的第二分割图像。
步骤S102和S103中，分别从第一分割图像、第二分割图像中确定出用于确定对应的检测区域的指定分割线。以第一分割图像为例，在第一神经网络输出第一分割图像后，第一分割图像被分割成几个区域(例如上下左右四个区域)，可对第一分割图像进行图像后处理，例如平滑处理、对区域间分割线的断点连接处理等，而后确定出区域间分割线中的指定分割线在第一分割图像中的位置，第一分割图像可与输入至第一神经网络中的第一图像大小相同，依据指定分割线在第一分割图像中的位置可以确定第一图像中对应的线条位置，进而可确定出第一检测区域。
指定分割线可视具体场景而定。以驾驶场景为例，第一分割图像中的指定分割线可以是对应于第一图像中的地面消隐线，第二分割图像中的指定分割线可以是对应于第二图像中的地面消隐线。地面消隐线，即图像中地面消失处的水平线。
根据拍摄角度的不同，地面消隐线在图像中的位置也不同，相应的检测区域位置也不同。比如，地面消隐线处于图像的中间位置，一般在图像的地面消隐线附近和地面消隐线以下的区域会存在目标对象，在图像的上方距地面消隐线超过一定距离的区域则不会存在目标对象，因而可以依据图像中的地面消隐线确定出图像中的检测区域。
以第一图像为例，在第一图像中以指定分割线对应的地面消隐线为基准确定上检测边界和下检测边界，上检测边界和下检测边界之间的区域确定为第一检测区域。当然也可以仅确定出上检测边界并将上检测边界以下的区域确定为第一检测区域，具体不限。第二检测区域确定方式也是同理。第一检测区域、第二检测区域的上检测边界和下检测边界可不同。
在确定出检测区域后，可从图像中提取出检测区域，或者复制一份图像并将图像裁剪至只剩检测区域，具体不限，只要能够得到相应的检测区域即可。相比整个图像而言，从检测区域中确定目标区域，可以减小所需的计算量。
第一神经网络是已训练好的，可预存在检测区域确定模块100中并在需要使用时调用，或者可在使用时从外部调用，具体不限。
作为第一神经网络的一个实施例，第一神经网络可以包括用于对输入的图像执行提取图像特征并输出特征图的卷积层、用于对卷积层输出的特征图执行非线性运算并输出运算后的特征图的激活层、用于对激活层输出的特征图执行下采样处理并输出下采样后的特征图的池化层、用于对池化层输出的特征图执行上采样并输出上采样后的特征图的上采样层，及用于对上采样层输出的特征图执行像素级分类处理得到分割图像并输出分割图像的分类层。
当然，上述各层数量不限，上采样层和下采样层是对称设置的，上采样层采样后的特征图与对称的下采样层采样之前的特征图尺寸一致。第一神经网络也还可以包括其他层，例如还包括融合层，用于将每个上采样层采样后的特征图与对称的下采样层采样之前的特征图进行对应位置像素的叠加，融合层的输出作为下一个上采样层的输入或者作为分类层的输入。
对第一神经网络的训练方式具体可以如下：将带地面消隐线(也可以是其他类型)的场景图像样本作为输入，将与场景图像样本对应的分割图像(不同分类的区域可用不同颜色标定)作为输出，对初始化的第一神经网络进行训练。
第一图像和第二图像可以用同一个神经网络框架，神经网络所用的网络参数可不同。换言之，对于焦距不同的图像而言，可以分开进行第一神经网络的训练，以便确定各自焦距下更合适的网络参数，在使用时，利用配置有与采集第一图像时的焦距对应的网络参数的第一神经网络来对第一图像进行计算处理，利用配置有与采集第二图像时的焦距对应的网络参数的第一神经网络来对第二图像进行计算处理。
在一个实施例中，映射关系确定模块300可以通过执行步骤S301至步骤S302来实现上述步骤S300：
S301：对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
S302：依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
步骤S301中，可以采用SURF(Speeded-Up Robust Features，一种具有鲁棒性的局部特征检测算法)特征点检测算法检测出第一图像的各个第一特征点和第二图像中的各个第二特征点，使用FLANN(快速最近邻逼近搜索函数库)匹配器进行匹配，对匹配出的特征点使用RANSAC(随机抽样一致算法)算法进行过滤，得到更合理的至少三对相互匹配的特征点对。
如图4，第一图像IM1中的第一特征点FP1与第二图像IM2中的第二特征点FP1’为一对特征点对，第一图像IM1中的第一特征点FP2与第二图像IM2中的第二特征点FP2’为一对特征点对，第一图像IM1中的第一特征点FP3与第二图像IM2中的第二特征点FP3’为一对特征点对。将相互匹配的特征点对代入下述公式(1)中：
Figure BDA0001950385310000161
其中，(X_long，Y_long)为第二图像中的第二特征点的位置信息，(X_short，Y_short)为第一图像中的第一特征点的位置信息，
Figure BDA0001950385310000162
为从第一坐标系映射到第二坐标系的坐标映射关系，
Figure BDA0001950385310000163
的转置即为从第二坐标系映射到第一坐标系的坐标映射关系。
在一个实施例中，目标区域确定模块200可以通过执行步骤S201至步骤S203来实现上述步骤S200：
S201：分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
S202：依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
S203：依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
可以理解，第二神经网络除了上述涉及的卷积层、池化层、输出层，还可包括其他层，例如拼接层concat层，用于将池化层输出的特征图按照通道维度进行拼接并将拼接后的特征图输入至输出层中计算，具体不限。
不将第一图像原图和第二图像原图分别输入至第二神经网络进行计算，而是仅将各自的检测区域分别输入至第二神经网络进行计算，图像尺寸小很多，需要计算的数据量及复杂度均降低，处理效率更快。
优选的，述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；步骤S201具体包括：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
由于采集第一图像和第二图像时的焦距不同，确定出的第一检测区域、第二检测区域中的场景远近也不一。因而，针对不同焦距的情况，第二神经网络所使用的网络参数可以分开训练得到。
针对某个焦距(采集第一图像时的焦距与采集第二图像时的焦距中的任一个)，对第二神经网络训练时，将该焦距下图像的检测区域作为输入，将检测区域中的目标区域的相关信息(比如位置信息、置信度、所属类别等)作为输出，对初始化的神经网络进行训练，得到与该焦距下对应的网络参数。
训练前，可先确定出各个检测区域所需负责目标检测的场景范围，将检测区域作为输入、将检测区域所负责的场景范围内的目标区域作为输出来训练第二神经网络。如此，在使用第二神经网络时，第一检测区域、第二检测区域负责目标检测的场景范围可以存在一定范围的重合，这样确保覆盖场景中的全部目标对象，又使得各个检测区域中目标区域的检出精度更高。
例如，用采集第一图像时的焦距采集图像I1，从I1中确定出检测区域Z1，且Z1负责距双目相机100m内的目标检测；用采集第二图像时的焦距采集图像I1，从I1中确定出检测区域Z2，Z2负责距双目相机70m外的目标检测。将Z1作为输入、Z1中距双目相机100m内的目标对象所在目标区域的相关信息作为输出，训练第二神经网络得到与采集第一图像时的焦距对应的网络参数，将Z2作为输入、Z2中距双目相机70m外的目标对象所在目标区域的相关信息作为输出，训练第二神经网络得到与采集第二图像时的焦距对应的网络参数。
具体确定各个检测区域所需负责目标检测的场景范围的方式可以是，在场景中可以通过标记物预先标定距离，比如预先在距双目相机50m、100m、150m等位置处设置一些标定用目标对象，双目相机进行图像采集后可确定图像中的各个标定用目标对象的像素尺寸，找出能够被检出的最小像素尺寸的标定用目标对象，确定标定用目标对象在场景中距双目相机的距离，从而可确定出Z1和Z2各自所需负责目标检测的场景范围。
进一步的，针对I1，可进一步划分出两个场景范围，一个短焦近处范围，一个短焦远处范围，具体远近可依据实际需要而定，针对这两个场景范围可分别训练第二神经网络可得到对应的两组网络参数。为简化描述，配置有与对应的网络参数的第二神经网络称为短焦近处目标检测模型，配置有与短焦远处范围对应的网络参数的第二神经网络称为短焦远处目标检测模型。由于短焦距图像中的目标对象一般像素尺寸较小，且远处和近处目标对象的像素尺寸相差也较大，因而利用短焦近处目标检测模型定位短焦距图像的检测区域中的近处目标对象所在区域，利用短焦远处目标检测模型定位短焦距图像的检测区域中的远处目标对象所在区域，可提升各自所负责的场景范围内目标检出精度。
具体的，短焦近处目标检测模型可负责第一检测区域中近处目标区域的定位，可以将第一检测区域输入到短焦近处目标检测模型中实现近距离目标区域的位置信息的定位；短焦远处目标检测模型可负责第一检测区域中远处目标区域的定位，可以将第一检测区域输入到短焦远处目标检测模型中实现远距离目标区域的位置信息的定位。
可以理解，对第一检测区域和第二检测区域处理时所利用的第二神经网络也可以是配置为相同的网络参数，如此只需训练一组网络参数即可。
至此，已确定出第一检测区域和第二检测区域的目标区域、及坐标映射关系，接着可将第二检测区域中的目标区域从第二坐标系映射至第一坐标系中。
在一个实施例中，目标区域映射模块400可以通过执行步骤S401至步骤S403来实现上述步骤S400中的所述依据已映射至所述第一坐标系中的目标区域、所述第一检测区域中的目标区域检测所述目标对象：
S401：将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
S402：针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
S403：在已修改的第一图像中检测所述目标对象。
可以理解，所述T1指指定目标区域，所述T2指已映射至所述第一坐标系中的目标区域。
结果列表中可记录的信息包括各个目标区域的位置信息，当然还可以记录有其他的关联信息，关联信息比如置信度、类别等，具体不限。步骤S401中，在将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中时，可将与各个目标区域相关的关联信息一并记录至结果列表中。
S402中，判断所述结果列表中是否存在指定目标区域T1的位置信息，即判断所述结果列表中是否存在第一检测区域中的与所述T2的重叠面积大于设定重叠值的目标区域的位置信息，若存在，说明T1与T2中的目标对象为同一个，需要进一步确定是否用T2的位置信息替换表中T1的位置信息，若不存在，说明T2中的目标对象是第一图像中未检测到的目标对象，将T2的位置信息直接加入到结果列表。
当遍历完成所有已映射至所述第一坐标系中的目标区域T2之后，得到修改后的第一图像、及记录了第一图像中各个目标区域的位置信息及其关联信息的结果列表。因而，步骤S403中，在已修改的第一图像中检测所述目标对象时，可直接依据结果列表中记录的位置信息来定位第一图像中的目标区域，从而检测出每个目标区域上的目标对象。
在一个实施例中，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
步骤S402中，判断所述T2是否满足指定条件，具体可以包括以下步骤：
S4021：将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
S4022：判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
S4023：若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
基于前述实施例中的第二神经网络，输出层除了用于执行坐标计算，还用于执行置信度的计算，并分别输出第一检测区域中各目标区域的位置信息及对应置信度、第二检测区域中各目标区域的位置信息及对应置信度。
步骤S4022中，T2与第二检测区域的边界在第一坐标系中的距离小于指定距离，说明目标对象在第二图像中很可能出镜、T2很可能只能体现目标对象的局部，因而选择信任第一检测区域中的目标区域，维持结果列表中T1的位置信息及其关联信息。
步骤S4023中，当T1处于已映射至第一坐标系中的边界内时，说明T1和T2两者都是可信任的，选择其中置信度高的为佳。因而，当T2的置信度高于T1的置信度时，确定T2满足指定条件，需要将结果列表中T1的位置信息修改为T2在所述第一坐标系中的位置信息，否则，确定T2不满足指定条件，维持结果列表中T1的位置信息。
当T1未处于已映射至第一坐标系中的边界内时，不能够直接确定是否信任T2，需要通过两者的置信度来进一步判断，但此时，需要T2的置信度高出T1的置信度一定值时，才选择信任T2，确定T2满足指定条件，需要将结果列表中T1的位置信息修改为T2在所述第一坐标系中的位置信息，否则，确定T2不满足指定条件，维持结果列表中T1的位置信息。如此，可提高目标检测结果的可靠性。
本发明实施例的远距离目标检测方法可检测到100米之外的车辆。如图5a，IM1a为第一图像，IM2a为第二图像，B1为道路上距双目相机100米距离处的标记。第二图像IM2a中距双目相机最近的目标对象在IM1a中满足像素尺寸要求，因而该目标对象对应的目标区域无需进行映射；第二图像IM2a中距双目相机较远的两个目标对象在IM1a中不满足像素尺寸要求，因而对应的两个目标区域需要进行映射并替换掉第一图像IM1a中对应的目标区域，最终得到修改后的第一图像IM1a。
本发明实施例的远距离目标检测方法当然也可检测到远距离的人。如图5b，IM1b为第一图像，IM2b为第二图像；第二图像IM2b中距双目相机最近的一个目标区域无需进行映射，第二图像IM2b中距双目相机较远的两个目标区域需要进行映射并替换掉第一图像IM1b中对应的目标区域，最终得到修改后的第一图像IM1b。
在检测出目标对象后，还可进行后续的处理，例如对目标对象的位姿进行检测，依据检测出的目标对象实现避障，或进行路径规划处理等，具体不限。
下面对本发明实施例的远距离目标检测装置进行描述，但不应以此为限。
在一个实施例中，图3示出了一种远距离目标检测装置，该远距离目标检测装置10包括：
检测区域确定模块100，用于分别确定包含至少一个目标对象的第一检测区域和第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景采集得到的不同图像；
目标区域确定模块200，用于分别确定所述第一检测区域和第二检测区域中目标区域；
映射关系确定模块300，用于确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
目标区域映射模块400，用于按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、所述第一检测区域中的目标区域检测所述目标对象。
在一个实施例中，所述检测区域确定模块，包括：
语义分割处理单元，用于将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
第一检测区域确定单元，用于确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
第二检测区域确定单元，用于确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
在一个实施例中，所述映射关系确定模块，包括：
特征点对获取单元，用于对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
在一个实施例中，所述目标区域确定模块，包括：
检测区域处理单元，用于分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
第一目标区域确定单元，用于依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
第二目标区域确定单元，用于依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
在一个实施例中，所述目标区域映射模块，包括：
位置信息记录单元，用于将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
位置信息融合单元，用于针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
目标对象检测单元，用于在已修改的第一图像中检测所述目标对象。
在一个实施例中，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
所述位置信息融合单元，包括：
边界映射子单元，用于将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
第一判断子单元，用于判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
第二判断子单元，用于若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
在一个实施例中，所述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；
所述检测区域处理单元具体用于：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种远距离目标检测系统，包括：
双目相机，所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；所述第一图像和第二图像是所述双目相机针对相同场景同步采集得到的不同图像；
远距离目标检测装置，用于分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；分别确定所述第一检测区域和第二检测区域中的目标区域；确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的远距离目标检测方法。
本发明远距离目标检测装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的远距离目标检测装置10所在电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置10所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的远距离目标检测方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种远距离目标检测方法，其特征在于，包括：
分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景同步采集得到的不同图像；
分别确定所述第一检测区域和第二检测区域中的目标区域；
确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
2.如权利要求1所述的远距离目标检测方法，其特征在于，所述分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，包括：
将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
3.如权利要求1所述的远距离目标检测方法，其特征在于，所述确定第二坐标系映射到第一坐标系的坐标映射关系，包括：
对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
4.如权利要求1所述的远距离目标检测方法，其特征在于，所述分别确定所述第一检测区域和第二检测区域中的目标区域，包括：
分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
5.如权利要求4所述的远距离目标检测方法，其特征在于，所述依据已映射至所述第一坐标系中的目标区域、所述第一检测区域中的目标区域检测所述目标对象，包括：
将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
在已修改的第一图像中检测所述目标对象。
6.如权利要求5所述的远距离目标检测方法，其特征在于，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
判断所述T2是否满足指定条件，包括：
将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
7.如权利要求4所述的远距离目标检测方法，其特征在于，所述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；
所述分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络，包括：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
8.一种远距离目标检测装置，其特征在于，包括：
检测区域确定模块，用于分别确定包含至少一个目标对象的第一检测区域和第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；所述第一图像和第二图像是在不同焦距下针对相同场景采集得到的不同图像；
目标区域确定模块，用于分别确定所述第一检测区域和第二检测区域中目标区域；
映射关系确定模块，用于确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；
目标区域映射模块，用于按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
9.如权利要求8所述的远距离目标检测装置，其特征在于，所述检测区域确定模块，包括：
语义分割处理单元，用于将所述第一图像、第二图像分别输入至已训练的第一神经网络，以利用所述第一神经网络对输入的第一图像进行语义分割并输出分割后的第一分割图像、对输入的第二图像进行语义分割并输出分割后的第二分割图像；
第一检测区域确定单元，用于确定第一分割图像中的指定分割线，并依据所述第一分割图像中的指定分割线确定所述第一检测区域；
第二检测区域确定单元，用于确定所述第二分割图像中的指定分割线，并依据所述第二分割图像中的指定分割线确定所述第二检测区域。
10.如权利要求8所述的远距离目标检测装置，其特征在于，所述映射关系确定模块，包括：
特征点对获取单元，用于对所述第一图像中各个第一特征点和第二图像中各个第二特征点进行匹配，获取至少三对相匹配的特征点对，所述特征点对包括相互匹配的第一特征点和第二特征点；
依据各个特征点对中第一特征点在第一坐标系中的位置信息和第二特征点在第二坐标系中的位置信息，确定所述坐标映射关系。
11.如权利要求8所述的远距离目标检测装置，其特征在于，所述目标区域确定模块，包括：
检测区域处理单元，用于分别将所述第一检测区域、第二检测区域输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行特征提取的卷积层、用于执行下采样的池化层、用于执行坐标计算的输出层分别输出第一检测区域中各目标区域的位置信息、第二检测区域中各目标区域的位置信息；
第一目标区域确定单元，用于依据所述第二神经网络输出的第一检测区域中各目标区域的位置信息确定第一检测区域中的目标区域；
第二目标区域确定单元，用于依据所述第二神经网络输出的第二检测区域中各目标区域的位置信息确定第二检测区域中的目标区域。
12.如权利要求11所述的远距离目标检测装置，其特征在于，所述目标区域映射模块，包括：
位置信息记录单元，用于将第一检测区域中各目标区域的位置信息记录至已初始化的结果列表中；
位置信息融合单元，用于针对每个已映射至所述第一坐标系中的目标区域T2，判断所述结果列表中是否存在指定目标区域T1的位置信息，若不存在，则将所述T2在所述第一坐标系中的位置信息记录至所述结果列表中，并将所述第一图像中与所述T2在所述第一坐标系中的位置信息对应的区域修改为所述T2，若存在，则判断所述T2是否满足指定条件，若满足，则将所述结果列表中所述T1的位置信息修改为所述T2在所述第一坐标系中的位置信息，并将所述第一图像中的所述T1修改为所述T2；其中，所述T1为第一检测区域中与所述T2的重叠面积大于设定重叠值的目标区域；
目标对象检测单元，用于在已修改的第一图像中检测所述目标对象。
13.如权利要求12所述的远距离目标检测装置，其特征在于，所述第二神经网络还用于分别输出第一检测区域中各目标区域的置信度、第二检测区域中各目标区域的置信度；
所述位置信息融合单元，包括：
边界映射子单元，用于将所述第二检测区域的边界从第二坐标系映射至第一坐标系中；
第一判断子单元，用于判断所述T2与所述边界在第一坐标系中的距离是否小于指定距离；
第二判断子单元，用于若否，则判断所述T1是否处于已映射在第一坐标系中的所述边界内；若处于，当所述T2的置信度高于所述T1的置信度时，确定所述T2满足指定条件；若未处于，当所述T2的置信度与所述T1的置信度之差大于指定阈值时，确定所述T2满足指定条件。
14.如权利要求11所述的远距离目标检测装置，其特征在于，所述第一图像和第二图像是双目相机针对相同场景同步采集得到的不同图像；
所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；
所述检测区域处理单元具体用于：
将所述第一检测区域输入至配置有与采集第一图像时的焦距对应的网络参数的第二神经网络中，将所述第二检测区域输入至配置有采集第二图像时的焦距对应的网络参数的第二神经网络中。
15.一种远距离目标检测系统，其特征在于，包括：
双目相机，所述双目相机的第一采集部件用于采集第一图像，所述双目相机的第二采集部件用于采集第二图像，所述第一采集部件采集第一图像时的焦距小于第一设定值，所述第二采集部件采集第二图像时的焦距大于第二设定值，所述第一设定值小于所述第二设定值；所述第一图像和第二图像是所述双目相机针对相同场景同步采集得到的不同图像；
远距离目标检测装置，用于分别确定包含至少一个目标对象的第一检测区域和包含至少一个目标对象的第二检测区域，所述第一检测区域为第一图像中的区域，所述第二检测区域为第二图像中的区域；分别确定所述第一检测区域和第二检测区域中的目标区域；确定第二坐标系映射到第一坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；按照所述坐标映射关系将第二检测区域中的目标区域从第二坐标系映射至所述第一坐标系中，并依据已映射至所述第一坐标系中的目标区域、及所述第一检测区域中的目标区域检测所述目标对象。
CN201910049829.3A 2019-01-18 2019-01-18 一种远距离目标检测方法、装置及系统 Active CN111460854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910049829.3A CN111460854B (zh) 2019-01-18 2019-01-18 一种远距离目标检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910049829.3A CN111460854B (zh) 2019-01-18 2019-01-18 一种远距离目标检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111460854A true CN111460854A (zh) 2020-07-28
CN111460854B CN111460854B (zh) 2023-04-28

Family

ID=71684954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910049829.3A Active CN111460854B (zh) 2019-01-18 2019-01-18 一种远距离目标检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111460854B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166017A1 (en) * 2006-12-19 2008-07-10 Wataru Ito Image processing apparatus
US20140361981A1 (en) * 2013-06-07 2014-12-11 Canon Kabushiki Kaisha Information processing apparatus and method thereof
US20150116481A1 (en) * 2013-10-29 2015-04-30 The Boeing Company Mapping damaged regions on objects
US20150332104A1 (en) * 2014-05-14 2015-11-19 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
US20170032197A1 (en) * 2015-07-29 2017-02-02 Mando Corporation Camera device for vehicle
US20170103258A1 (en) * 2015-10-10 2017-04-13 Beijing Kuangshi Technology Co., Ltd. Object detection method and object detection apparatus
US20170220876A1 (en) * 2017-04-20 2017-08-03 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
JP6188860B1 (ja) * 2016-04-13 2017-08-30 三菱電機株式会社 オブジェクト検出装置
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
US20180330171A1 (en) * 2017-05-10 2018-11-15 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166017A1 (en) * 2006-12-19 2008-07-10 Wataru Ito Image processing apparatus
US20140361981A1 (en) * 2013-06-07 2014-12-11 Canon Kabushiki Kaisha Information processing apparatus and method thereof
US20150116481A1 (en) * 2013-10-29 2015-04-30 The Boeing Company Mapping damaged regions on objects
US20150332104A1 (en) * 2014-05-14 2015-11-19 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
US20170032197A1 (en) * 2015-07-29 2017-02-02 Mando Corporation Camera device for vehicle
CN106394406A (zh) * 2015-07-29 2017-02-15 株式会社万都 用于车辆的摄像机装置
US20170103258A1 (en) * 2015-10-10 2017-04-13 Beijing Kuangshi Technology Co., Ltd. Object detection method and object detection apparatus
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
JP6188860B1 (ja) * 2016-04-13 2017-08-30 三菱電機株式会社 オブジェクト検出装置
US20170220876A1 (en) * 2017-04-20 2017-08-03 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US20180330171A1 (en) * 2017-05-10 2018-11-15 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙新领;谭志伟;杨观赐;: "双目立体视觉在人形机器人三维重建中的应用" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113989696B (zh) * 2021-09-18 2022-11-25 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111460854B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111830953B (zh) 车辆自定位方法、装置及系统
WO2018177159A1 (zh) 运动物体的位置确定方法及系统
CN108388879A (zh) 目标的检测方法、装置和存储介质
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
CN112015847A (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN111169468A (zh) 一种自动泊车的系统及方法
CN111508258A (zh) 一种定位方法及装置
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN111754388B (zh) 一种建图方法及车载终端
CN111539907A (zh) 用于目标检测的图像处理方法及装置
CN110345924B (zh) 一种距离获取的方法和装置
CN114543819A (zh) 车辆定位方法、装置、电子设备及存储介质
CN111460854B (zh) 一种远距离目标检测方法、装置及系统
CN112990099B (zh) 一种车道线检测的方法以及装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN114830185A (zh) 借助于神经网络的位置确定
CN111488771B (zh) Ocr挂接方法、装置与设备
CN115131762A (zh) 一种车辆泊车方法、系统及计算机可读存储介质
Kuriakose et al. Distance estimation methods for smartphone-based navigation support systems
CN114764905A (zh) 用于交通环境检测的方法及设备
Atanasyan et al. Improving self-localization using CNN-based monocular landmark detection and distance estimation in virtual testbeds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant