CN116912517A - 相机视野边界的检测方法及装置 - Google Patents

相机视野边界的检测方法及装置 Download PDF

Info

Publication number
CN116912517A
CN116912517A CN202310666651.3A CN202310666651A CN116912517A CN 116912517 A CN116912517 A CN 116912517A CN 202310666651 A CN202310666651 A CN 202310666651A CN 116912517 A CN116912517 A CN 116912517A
Authority
CN
China
Prior art keywords
image
camera
boundary
view
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310666651.3A
Other languages
English (en)
Other versions
CN116912517B (zh
Inventor
周橹楠
吴婷
毛泉涌
危春波
邓兵
叶杰平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310666651.3A priority Critical patent/CN116912517B/zh
Publication of CN116912517A publication Critical patent/CN116912517A/zh
Application granted granted Critical
Publication of CN116912517B publication Critical patent/CN116912517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种相机视野边界的检测方法及装置。主要技术方案包括：获取第一相机采集到的第一图像以及第二相机采集到的第二图像，第一图像和第二图像对应同一时间点；在第一图像中确定第二相机的多个候选视野边界；针对各候选视野边界分别执行：确定第一图像中距离当前候选视野边界预设范围内的交通要素关系信息；确定距离当前候选视野边界预设范围内的交通要素关系信息与距离第二图像的图像边界预设范围内的交通要素关系信息之间的差异；从多个候选视野边界中搜索对应差异满足预设要求的候选视野边界作为第二相机的视野边界。本申请能够自动检测出相机的视野边界，相比较人工标注的方式，大大降低了人力成本且提高了检测效率。

Description

相机视野边界的检测方法及装置
技术领域
本申请涉及信息技术和安全监测技术领域，特别是涉及一种相机视野边界的检测方法及装置。
背景技术
在新一代信息技术服务中，深度学习技术被广泛地应用于城市视觉智能引擎，为交通和安全管理提供了基础。监测系统通常在需要监测的区域布设多个相机，并调整相机的视角以覆盖整个需要监测的区域。然而相邻相机通常覆盖的区域会存在重叠区域，例如相机第一和第二相机的覆盖范围存在重叠，如图1中所示，第二相机的图像边界在第一相机采集的图像中的位置称为第二相机的视野边界。确定相机的视野边界对于监测系统的布设、跨相机目标跟踪以及跨相机的图像拼接等提供了重要的基础。
然而，目前相机视野边界大多是通过人工进行标定的，只要监测系统中存在相机视角发生变化就需要重新进行人工标定，人工成本高且效率低下。
发明内容
有鉴于此，本申请提供了一种相机视野边界的检测方法及装置，以便于降低人工成本，提高效率。
本申请提供了如下方案：
第一方面，提供了一种相机视野边界的检测方法，所述方法包括：
获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
在所述第一图像中确定第二相机的多个候选视野边界；
针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界。
根据本申请实施例中一可实现的方式，在所述第一图像中确定第二相机的多个候选视野边界包括：
依据所述第一相机和第二相机的布设视角，在所述第一图像中确定待搜索的重叠区域；
在所述重叠区域中采集在预设斜率范围内的直线段作为所述第二相机的多个候选视野边界，所述预设斜率范围依据所述第二相机的布设视角确定。
根据本申请实施例中一可实现的方式，所述交通要素关系包括车辆之间的关系、车辆与车道之间的关系、车辆与行人之间的关系以及车辆与交通设施之间的关系中的至少一种。
根据本申请实施例中一可实现的方式，所述车道线采用如下方式进行检测：
在图像上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；
确定所述车道区域的边缘或中线，对所述边缘或中线进行霍夫直线检测，得到车道线。
根据本申请实施例中一可实现的方式，所述交通要素关系采用关系矩阵或关系图的形式；
所述差异通过所述第一图像中距离当前候选视野边界预设范围内的交通要素关系矩阵与距离所述第二图像的图像边界预设范围内的交通要素关系矩阵之间的距离体现，或者通过所述第一图像中距离当前候选视野边界预设范围内的交通要素关系图与距离所述第二图像的图像边界预设范围内的交通要素关系图之间的相似度体现；
其中，所述交通要素关系矩阵中各元素的取值体现交通要素之间的位置关系；
所述交通要素关系图包括交通要素节点以及节点之间的边；所述交通要素节点包括交通要素的属性信息，所述节点之间的边包括节点之间的距离信息。
根据本申请实施例中一可实现的方式，分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，所述第一图像序列和所述第二图像序列在时间上对齐，针对各候选视野边界分别确定在所述第一图像序列和第二图像序列中的各帧图像之间的所述差异的统计值；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界包括：从所述多个候选视野边界中搜索对应所述差异的统计值满足预设要求的候选视野边界。
根据本申请实施例中一可实现的方式，所述预设要求包括：取值最小。
第二方面，提供了一种相机视野边界的检测方法，所述方法包括：
将监测系统中相邻相机分别作为第一相机和第二相机执行如权利要求1至7中任一项所述的方法，确定在所述第二相机的视野边界；
依据各相机的视野边界，调整所述监测系统中的相机布设，或者进行跨相机目标跟踪，或者对所述监测系统中的多个相机采集的图像进行拼接。
第三方面，提供了一种相机视野边界的检测方法，由云端服务器执行，所述方法包括：
获取监测系统中第一相机采集的第一图像以及第二相机采集的第二图像，所述第一图像和所述第二图像对应同一时间点；
在所述第一图像中确定第二相机的多个候选视野边界；
针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界；
将所述第二相机的视野边界的信息发送给下游装置，所述下游装置包括跨相机目标跟踪装置或图像拼接装置。
第四方面，提供了一种跨相机确定车道的方法，所述方法包括：
获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
对所述第一图像和所述第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从所述至少一个第二车道线中选择目标车道线；
针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与所述第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异；
从所述多个第一车道线中搜索对应所述差异满足预设要求的第一车道线，确定搜索得到的第一车道线与所述目标车道线对应同一车道。
第五方面，提供了一种相机视野边界的检测装置，所述装置包括：
图像获取单元，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
候选确定单元，被配置为在所述第一图像中确定第二相机的多个候选视野边界；
差异确定单元，被配置为针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
边界搜索单元，被配置为从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界。
第六方面，提供了一种跨相机确定车道的装置，所述装置包括：
图像获取单元，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
车道线检测单元，被配置为对所述第一图像和所述第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从所述至少一个第二车道线中选择目标车道线；
差异确定单元，被配置为针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与所述第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异；
车道搜索单元，被配置为从所述多个第一车道线中搜索对应所述差异满足预设要求的第一车道线，确定搜索得到的第一车道线与所述目标车道线对应同一车道。
根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
根据第八方面，提供了一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面中任一项所述的方法的步骤。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
1)本申请在第一相机采集到的第一图像中确定多个候选视野边界后，基于第二相机采集的第二图像的图像边界附近的交通要素关系信息与各候选视野边界附近的交通要素关系信息进行搜索，从而在多个候选视野边界中搜索得到第二相机的视野边界。这种方式能够自动检测出相机的视野边界，相比较人工标注的方式，大大降低了人工成本且提高了检测效率。
2)本申请基于交通要素关系即交通要素的属性信息、交通要素之间的距离或位置关系等作为特征进行视野边界的搜索，相比较单纯依据道路的视觉特征确定视野边界的方式，具有更高的准确性。
3)本申请基于车辆过轨迹的统计结果结合霍夫直线检测来进行车道线检测，计算效率高，为交通要素关系的提取提供有效的基础，更进一步提高了视野边界的检测效率。
4)本申请能够通过各候选视野边界在两个相机采集的时间上对齐的图像序列上的差异统计值，来搜索视野边界，降低了误差的干扰，提高了视野边界的检测准确度。
5)本申请对第一相机采集的第一图像和第二相机采集的第二图像进行车道线检测后，基于第一图像中检测到的各第一车道线与第二图像中检测到的目标车道线附近的交通要素关系信息进行搜索，从而在多个第一车道线中搜索得到与目标车道线对应同一车道的第一车道线。这种方式能够自动标定两个图像中的同一车道，大大降低了人工成本且提高了效率。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为第二相机在第一相机所采集图像中视野边界的示意图；
图2为是本申请实施例所适用的系统架构图；
图3为本申请实施例提供的相机视野边界的检测方法流程图；
图4为本申请实施例提供的确定候选视野边界的示意图；
图5为本申请实施例提供的交通要素关系图的实例图；
图6为本申请实施例提供的相机视野边界的检测装置的示意性框图；
图7为本申请实施例提供的跨相机确定车道的方法流程图；
图8为本申请实施例提供的跨相机确定车道的装置的示意性框图；
图9为本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
目前已经存在一些自动确定相机视野边界的方法，例如，从两个相机采集的图像中分别进行Sift(Scale Invariant Feature Transform，尺度边特征变换)特征点的提取，利用Sift特征点在两个相机采集的图像中进行匹配，找到预设数量(例如4对)以上的对应点对，利用投影不变量关系在重叠区域内做任意点的投影，生成视野分界线。这种方式基于传统的视觉特征，往往在两个相机视角差异较大时，视觉特征共性减弱，匹配精度下降，会造成视野边界的检测准确度较低。
有鉴于此，本申请提供了一种全新的思路。为了方便对本申请的理解，图2示出了可以应用本申请实施例的示例性系统架构。该系统架构主要包括相机、视野边界检测装置和下游装置。
相机按照需要被布设于实际环境中，用以采集周围环境的图像数据。本申请实施例中涉及的相机指的是视觉传感器，是比较广泛的含义，利用光学元件和成像装置获取外部环境图像的仪器。可以是传统相机、数码相机、摄像头、摄像机等。例如可以采用球机等相机。球机是一种可以实现全方位实时监测的摄像头，可以实现360度全景，可以进行云台控制、多倍变焦等功能。另外，本申请实施例中的相机可以布设于交通系统中，相机视角通常朝向道路，以俯视视角采集包含道路环境的图像。
视野边界检测装置用于获取相邻两个相机采集的图像，例如第一相机和第二相机。采用本申请实施例提供的方式确定第二相机在第一相机采集的图像中的视野边界。确定出的视野边界信息可以提供给下游装置。
下游装置可以包括跨相机目标跟踪装置、图像拼接装置等。例如跨相机目标跟踪装置可以根据相机的视野边界信息进行跨相机的目标跟踪。再例如图像拼接装置可以根据监测系统中各相机的视野边界信息进行多相机的图像拼接。
另外在该系统中，还可以包括其他设备，例如用以显示相机所采集图像的显示设备等等，图2中对于这些设备均未示出。
上述的视野边界检测装置和下游装置可以设置于服务端，可以设置于单一的服务器中，也可以设置于多个服务器构成的服务器群组，还可以设置于云服务器。云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，服务扩展性弱的缺陷。也可以设置于具有较强计算能力的计算机终端。
应该理解，图2中的视野边界检测装置、下游装置和相机的数目仅仅是示意性的。根据实现需要，可以具有任意数目的视野边界检测装置、下游装置和相机。
图3为本申请实施例提供的相机视野边界的检测方法流程图，该方法流程可以由图2所示系统中的视野边界检测装置执行。如图3中所示，该方法可以包括以下步骤：
步骤302：获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点。
步骤304：在第一图像中确定第二相机的多个候选视野边界。
步骤306：针对各候选视野边界分别执行：确定第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离第二图像的图像边界预设范围内的交通要素关系信息之间的差异。
步骤308：从多个候选视野边界中搜索对应差异满足预设要求的候选视野边界作为第二相机的视野边界。
由上述流程可以看出，本申请在第一相机采集到的第一图像中确定多个候选视野边界后，基于第二相机采集的第二图像的图像边界附近的交通要素关系信息与各候选视野边界附近的交通要素关系信息进行搜索，从而在多个候选视野边界中搜索得到第二相机的视野边界。这种方式能够自动检测出相机的视野边界，相比较人工标注的方式，大大降低了人力成本且提高了检测效率。
下面结合实施例对上述流程中的各步骤分别进行详细描述。需要说明的是，本申请实施例中涉及的“第一”、“第二”等限定并不具备大小、顺序和数量等方面的限制，仅仅用以在名称上加以区分。例如“第一相机”和“第二相机”用以在名称上区分两个相机。再例如“第一图像”和“第二图像”用以在名称上区分两个不同相机采集的图像。
首先结合实施例对上述步骤302即“获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点”进行详细描述。
本实施例中的流程旨在确定第二相机的图像边界在第一相机采集到的第一图像中的对应位置，即第二相机的视野边界。其中第一相机和第二相机可以是监测系统中任意两个相邻相机。所谓相邻相机指的是采集到的图像之间存在重叠区域的两个相机。为了方便描述，将第一相机采集的图像称为第一图像，第二相机采集的图像称为第二图像，其中第一图像和第二图像对应同一时间点，即第一相机和第二相机在同一时间点采集的图像。
举个例子，在监测系统中存在相机A、相机B、相机C、相机D和相机E等，依据顺序设置以使得相邻相机之间存在重叠区域。那么可以将相机A和相机B分别作为第二相机和第一相机，确定相机A在相机B采集的图像中的视野边界；将相机B和相机C分别作为第二相机和第一相机，确定相机B在相机C采集的图像中的视野边界；将相机C和相机D分别作为第二相机和第一相机，确定相机C在相机D采集的图像中的视野边界；以此类推。
下面对上述步骤304即“在第一图像中确定第二相机的多个候选视野边界”进行详细描述。
作为其中一种可实现的方式，可以依据第一相机和第二相机的布设视角，在第一图像中确定待搜索的重叠区域；在重叠区域中采集在预设斜率范围内的直线段作为第二相机的多个候选视野边界，预设斜率范围依据第二相机的布设视角确定。
依据第一相机和第二相机的布设视角，还可以进一步结合诸如布设位置等，可以在第一图像中确定出第二相机的视野边界可能所在的范围，将该范围作为待搜索的重叠区域。其中，可以依据经验或者预设的规则等来确定待搜索的重叠区域。如图4中所示，可以将第一相机采集的第一图像中右一半的区域作为待搜索的重叠区域(图中的灰色填充区域)。如果第一相机和第二相机的布设使得第一图像和第二图像存在上下部分的重叠，则可以将第一图像中下半部分的区域作为待搜索的重叠区域。也可以根据实际情况，将诸如右四分之一的区域作为待搜索重叠区域，等等。
在确定出重叠区域后，可以在待搜索重叠区域中按照预设的距离间隔采样直线段作为第二相机的多个候选视野边界。依据第二相机的布设视角可以确定出采样的直线段的斜率范围。图1中所示布设场景时，直线的斜率为90度，可以在图4所示待搜索的重叠区域中采样斜率为90度的直线段，采样的直线段的距离间隔可以是一个像素或多个像素。图中以90度斜率为例进行的描述，在实际场景下可以依据第二相机的布设视角取其他斜率。
除了上述可实现的方式之外，也可以采用其他方式在第一图像中确定第二相机的多个候选视野边界，例如在第一图像的整个图像中采样预设斜率范围内的直线段作为多个候选视野边界等等，在此不做一一列举。
下面结合实施例对上述步骤306即“针对各候选视野边界分别执行：确定第一图像中距离当前候选视野边界预设范围内的交通要素关系信息；确定距离当前候选视野边界预设范围内的交通要素关系信息与距离第二相机采集到的第二图像的图像边界预设范围内的交通要素关系信息之间的差异”。
本申请实施例中涉及的交通要素可以包括诸如车辆、行人、车道、交通设施等等。其中车辆可以包括诸如小汽车、公交车、卡车等。交通设施可以包括诸如交通灯、交通标识、照明设施、公交停靠站、路障、栅栏等等。交通要素关系就是交通要素之间的关系，主要是位置关系。
由于交通要素中特征比较明确的是车辆，因此采用的交通要素关系可以为车辆与车辆之间的关系，以及车辆与其他交通要素之间的关系。即交通要素关系可以包括车辆之间的关系、车辆与车道之间的关系、车辆与行人之间的关系以及车辆与交通设施之间的关系中的至少一种。在本申请实施例中以车辆与车辆之间的关系，以及车辆与车道线之间的关系来作为交通要素关系为例。
其中图像中的车辆识别可以采用目标检测技术实现，利用目标检测技术识别车辆是目前比较成熟的技术，在此不做详述。
本申请实施例中涉及的车道线可以统一采用车道中线，或者统一采用车道边线。车道线的检测可以采用任意的车道检测方式，例如基于霍夫变换的车道线检测、基于拟合的车道线检测、基于平行透视灭点的车道线检测、基于LSD(Line Segment Detector，线段检测器)直线的车道线检测、基于深度神经网络的车道线检测，等等。
在此本申请实施例提供了一种较为高效的车道线检测方式，具体地，可以在图像上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；然后确定车道区域的边缘或中线，对边缘或中线进行霍夫直线检测，得到车道线。
可以采集相机在一段时间内采集的图像序列，需要保证该图像序列对应的相机视角是相同的。对图像序列中的车辆轨迹进行统计，例如车辆轨迹每经过一个图像网格(Grid)就对该图像网格进行一次计数，最终统计图像中各图像网格的计数值。选择计数值超过预设阈值(例如20次)的图像网格构成车道区域。然后对车道区域的中线或者边缘进行霍夫直线检测，从而得到车道线。
本申请实施例中，可以确定距离第二相机采集到的第二图像的图像边界预设范围内的交通要素关系信息，并分别针对弍候选视野边界确定距离候选视野边界预设范围内的交通要素关系信息，进而确定距离当前候选视野边界预设范围内的交通要素关系信息与距离第二相机采集到的第二图像的图像边界预设范围内的交通要素关系信息之间的差异。
其中，上述预设范围可以是诸如2个车位的距离范围，具体可以采用经验值或实验值。
上述交通要素关系可以采用多种形式，本申请实施例中可以采用关系矩阵或关系图的形式。
若采用交通要素关系矩阵，交通要素关系矩阵中的各元素的取值体现交通要素之间的位置关系。例如，矩阵的行与车辆对应、列与车道对应。如果其中一行对应的车辆不在其中一列对应的车道上，则对应该行和该列的元素取值为0，否则取值为1，这样形成了一个0-1矩阵来作为交通要素关系矩阵。该0-1矩阵体现的是车辆与车道的位置关系，并且通过车辆与车道的位置关系间接体现了车辆与车辆之间的位置关系。
这种方式下，上述差异是通过距离候选视野边界预设范围内的交通要素关系矩阵与距离所述第二图像的图像边界预设范围内的交通要素关系矩阵之间的距离体现。矩阵之间的距离可以采用诸如曼哈顿距离、欧式距离、切比雪夫距离等。
若采用交通要素关系图，则交通要素关系图可以包括交通要素节点以及节点之间的边。其中交通要素节点可以包括交通要素的属性信息，例如位置坐标、所在车道、交通要素的类型等。边包括节点之间的距离信息。例如，距离一个候选视野边界预设范围内的交通要素关系图是无向图，可以如图5中所示，包括车辆节点和车道节点。其中车辆节点为图中圆形节点，可以包括车辆的位置坐标、所在车道以及车辆类型等信息。车道节点为图中方形节点，可以包括车道位置、车道类型等信息。边包括车辆与车辆之间的距离信息、车辆与车道之间的距离信息以及车道与车道之间的距离信息。
这种方式下，上述差异是通过距离候选视野边界预设范围内的交通要素关系图与距离所述第二图像的图像边界预设范围内的交通要素关系图之间的相似度体现。相似度越高，差异越大，反之相似度越低，差异越大。其中交通要素关系图之间的相似度可以通过图编辑距离(GED，Graph Edit Distance)、最大共同子图(MCS，Maximum Common Subgraph)、对图进行编码后得到的特征表示之间的距离等来确定。
作为其中一种可实现的方式，可以预先针对第一图像建立交通要素关系图，该交通要素关系图中将候选视野边界作为其中一种类型的节点。那么在确定距离候选视野边界预设范围内的交通要素关系图时，实际上是依据其他类型的节点与候选视野边界节点之间的距离，从第一图像对应的交通要素关系图中提取子图来作为距离候选视野边界因素和范围内的交通要素关系图。
下面结合实施例对上述步骤308即“从多个候选视野边界中搜索对应差异满足预设要求的候选视野边界作为第二相机的视野边界”进行详细描述。
作为其中一种可实现的方式，上述预设要求可以是取值最小。例如从多个候选视野边界中搜索对应差异最小的候选视野边界作为第二相机的视野边界。除此之外，也可以采用其他预设要求，例如差异小于预设阈值并且取值最小，等等。
以取值最小为例，本申请实施例实际上就是利用第二相机采集到的第二图像的图像边界附近的交通要素关系特征在候选视野边界附近的交通要素关系特征中进行搜索，找到差异最小的候选视野边界作为第二相机的视野边界。
由于在单幅图像中进行检测可能存在误差的情况，为了提高检测的鲁棒性，可以基于一段时间两个相机采集的图像序列进行检测。作为一种更为优选的实施方式，可以分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，其中第一图像序列和第二图像序列在时间上对齐，即第一图像序列中各帧对应的时间点分别与第二图像序列中各帧对应的时间点一致。然后针对各候选视野边界分别确定在第一图像序列和第二图像序列中的各帧图像之间的上述差异的统计值；最后从多个候选视野边界中搜索对应上述差异的统计值满足预设要求的候选视野边界。
举个例子，假设第一相机采集的第一图像序列中包含N帧，第二相机采集的第二图像序列中也包含N帧。第一图像序列和第二图像序列在时间上是对齐的，例如第一图像序列中的第i帧表示为A_clipi，第二图像序列的第i帧表示为B_clipi，A_clipi和B_clipi是在同一时间点被采集到的。
第一图像序列中的各帧分别作为第一图像，第二图像序列中的各帧分别作为第二图像。假设在第一图像中确定出的候选视野边界为M条，则针对第j条候选视野边界，在A_clipi中距离该第j条候选视野边界预设范围内的交通要素关系矩阵表示为A_matrix_clipij，在B_clipi中距离图像边界预设范围内的交通要素关系矩阵表示为B_matrix_clipi。可以针对每个候选视野边界分别计算差异统计值，例如表示为costj：
其中，abs()是取绝对值的函数，sum()是计算矩阵元素之和的函数。
将对应costj最小的候选视野边界确定为第二相机的视野边界。上面例子中以交通要素关系矩阵为例进行的描述，当采用交通要素关系图时，方法类似，仅仅是在计算costj时是基于关系图的相似度来计算的，在此不做赘述。
通过上述实施例中，各候选视野边界在两个相机采集的时间上对齐的图像序列上的差异统计值，来搜索视野边界，能够有效降低误差的干扰，提高了视野边界的检测准确度。
需要说明的是，只要第一相机和第二相机的视角不发生变化，则无需重复执行图3所示流程，只需要执行一次即可。但若第一相机或第二相机的视角发生变化，则第二相机在第一图像中的视野边界也会相应发生变化，需要针对变化视角后的第一相机和第二相机采集到的第一图像和第二图像重新执行图3所示流程，来确定并更新第二相机在第一图像中的视野边界。
在采用上述方式确定出监测系统中各相机的视野边界后，可以应用于后续多种应用场景，包括但不限于：
应用场景1：
采用本申请实施例提供的方式确定出监测系统中各相机的视野边界，例如监测系统中存在相机A、相机B、相机C、相机D和相机E等，依据顺序设置以使得相邻相机之间存在重叠区域。那么可以将相机A和相机B分别作为第二相机和第一相机，确定相机A在相机B采集的图像中的视野边界；将相机B和相机C分别作为第二相机和第一相机，确定相机B在相机C采集的图像中的视野边界；将相机C和相机D分别作为第二相机和第一相机，确定相机C在相机D采集的图像中的视野边界；以此类推。然后可以利用监测系统中各相机的视野边界获知当前相机的布设是否能够覆盖要监测的范围，并调整监测系统中的相机布设，从而满足覆盖要求。
应用场景2：
跨相机的目标跟踪是智能监测系统中的一项重要研究内容，旨在实现运动目标在不同相机下的持续跟踪。跨相机目标跟踪的主要难点为目标交接，即当一个目标从一个相机的图像中走出进入另一个相机的图像时，需要给同一个目标分配相同的标识。通过本申请实施例提供的方式确定出第二相机在第一相机采集到的第一图像中的视野边界后，就能够确定出第一图像与第二相机采集的第二图像之间的重叠区域，通过该重叠区域既能够确定出进入第一图像中的新目标与第二图像中的目标是否为同一个目标，从而方便地为同一个目标分配相同的标识。
应用场景3：
在监测系统中常常希望能够将多相机采集到的图像拼接为一个大图像在显示屏上进行显示，从而方便监测人员从整体上获知被监测环境的整体安全状况。通过本申请实施例提供的方式可以确定出监测系统中相邻相机的视野边界，进而能够利用该视野边界对多相机采集到的图像进行拼接。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，提供了一种相机视野边界的检测装置。图6示出根据一个实施例的相机视野边界的检测装置的示意性框图，该装置对应图1所示架构中的视野边界检测装置。如图6所示，该装置600包括：图像获取单元601、候选确定单元602、差异确定单元603和边界搜索单元604，还可以进一步包括车道线检测单元605。其中各组成单元的主要功能如下：
图像获取单元601，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，第一图像和第二图像对应同一时间点。
候选确定单元602，被配置为在第一图像中确定第二相机的多个候选视野边界。
差异确定单元603，被配置为针对各候选视野边界分别执行：确定第一图像中距离当前候选视野边界预设范围内的交通要素关系信息；确定距离当前候选视野边界预设范围内的交通要素关系信息与距离第二图像的图像边界预设范围内的交通要素关系信息之间的差异。
边界搜索单元604，被配置为从多个候选视野边界中搜索对应差异满足预设要求的候选视野边界作为第二相机的视野边界。
作为其中一种可实现的方式，候选确定单元602，可以具体被配置为依据第一相机和第二相机的布设视角，在第一图像中确定待搜索的重叠区域；在重叠区域中采集在预设斜率范围内的直线段作为第二相机的多个候选视野边界，预设斜率范围依据第二相机的布设视角确定。
本申请实施例中涉及的交通要素可以包括诸如车辆、行人、车道、交通设施等等。由于交通要素中特征比较明确的是车辆，作为其中一种可实现的方式，交通要素关系包括车辆之间的关系、车辆与车道之间的关系、车辆与行人之间的关系以及车辆与交通设施之间的关系中的至少一种。
作为其中一种可实现的方式，车道线检测单元605，可以被配置为在图像上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；确定车道区域的边缘或中线，对边缘或中线进行霍夫直线检测，得到车道线。
作为其中一种可实现的方式，交通要素关系可以采用关系矩阵的形式，上述差异可以通过第一图像中距离当前候选视野边界预设范围内的交通要素关系矩阵与距离第二图像的图像边界预设范围内的交通要素关系矩阵之间的距离体现。
其中，交通要素关系矩阵中各元素的取值体现交通要素之间的位置关系。
作为另一种可实现的方式，交通要素关系可以采用关系图的形式，上述差异可以通过第一图像中距离当前候选视野边界预设范围内的交通要素关系图与距离第二图像的图像边界预设范围内的交通要素关系图之间的相似度体现。
其中，交通要素关系图包括交通要素节点以及节点之间的边；交通要素节点包括交通要素的属性信息，节点之间的边包括节点之间的距离信息。
作为其中一种更优选的方式，图像获取单元601可以分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，第一图像序列和第二图像序列在时间上对齐。利用上述候选确定单元602和差异确定单元603针对各候选视野边界分别确定在第一图像序列和第二图像序列中的各帧图像之间的差异的统计值。相应地，边界搜索单元604从多个候选视野边界中搜索对应差异的统计值满足预设要求的候选视野边界。
本申请实施例提供的上述检测相机视野边界的思路也可以应用于跨相机确定车道，即确定第一相机采集到的第一图像和第二相机采集到的第二图像中对应的同一车道。如图7中所示，跨相机确定车道的方法可以包括以下步骤：
步骤702：获取第一相机采集到的第一图像以及第二相机采集到的第二图像，第一图像和第二图像对应同一时间点。
本步骤可以参见之前实施例中针对图3所示步骤302的相关记载，在此不做赘述。
步骤704：对第一图像和第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从至少一个第二车道线中选择目标车道线。
本实施例中涉及的车道线可以统一采用车道中线，或者统一采用车道边线。车道线的检测可以采用任意的车道检测方式，例如基于霍夫变换的车道线检测、基于拟合的车道线检测、基于平行透视灭点的车道线检测、基于LSD(Line Segment Detector，线段检测器)直线的车道线检测、基于深度神经网络的车道线检测，等等。
在此本申请实施例提供了一种较为高效的车道线检测方式，具体地，可以在图像上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；然后确定车道区域的边缘或中线，对边缘或中线进行霍夫直线检测，得到车道线。
可以采集相机在一段时间内采集的图像序列，需要保证该图像序列对应的相机视角是相同的。对图像序列中的车辆轨迹进行统计，例如车辆轨迹每经过一个图像网格(Grid)就对该图像网格进行一次计数，最终统计图像中各图像网格的计数值。选择计数值超过预设阈值(例如20次)的图像网格构成车道区域。然后对车道区域的中线或者边缘进行霍夫直线检测，从而得到车道线。
从第一图像和第二图像中可以分别检测到多个车道线，为了方便描述，将第一图像中检测得到的车道线称为第一车道线，将第二图像中检测得到的车道线称为第二车道线。可以从第二车道线中选择目标车道线，例如可以逐一将各第二车道线分别作为目标车道线进行步骤706中的搜索，以确定第一车道线中哪个与目标车道线对应同一车道。
步骤706：针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异。
其中，上述预设范围可以是诸如2～3个车位的距离范围，具体可以采用经验值或实验值。
与图3所示实施例中类似地，上述交通要素关系可以采用多种形式，本申请实施例中可以采用关系矩阵或关系图的形式。
若采用交通要素关系矩阵，交通要素关系矩阵中的各元素的取值体现交通要素之间的位置关系。例如，矩阵的行与车辆对应、列与车道对应。如果其中一行对应的车辆不在其中一列对应的车道上，则对应该行和该列的元素取值为0，否则取值为1，这样形成了一个0-1矩阵来作为交通要素关系矩阵。该0-1矩阵体现的是车辆与车道的位置关系，并且通过车辆与车道的位置关系间接体现了车辆与车辆之间的位置关系。
这种方式下，上述差异是通过第一图像中距离第一车道线预设范围内的交通要素关系矩阵与第二图像中距离目标车道线预设范围内的交通要素关系矩阵之间的距离体现。矩阵之间的距离可以采用诸如曼哈顿距离、欧式距离、切比雪夫距离等。
若采用交通要素关系图，则交通要素关系图可以包括交通要素节点以及节点之间的边。其中交通要素节点可以包括交通要素的属性信息，例如位置坐标、所在车道、交通要素的类型等。边包括节点之间的距离信息。
这种方式下，上述差异是通过第一图像中距离第一车道线预设范围内的交通要素关系图与第二图像中距离目标车道线预设范围内的交通要素关系图之间的相似度体现。相似度越高，差异越大，反之相似度越低，差异越大。其中交通要素关系图之间的相似度可以通过图编辑距离(GED，Graph Edit Distance)、最大共同子图(MCS，Maximum CommonSubgraph)、对图进行编码后得到的特征表示之间的距离等来确定。
步骤708：从多个第一车道线中搜索对应差异满足预设要求的第一车道线，确定搜索得到的第一车道线与目标车道线对应同一车道。
作为其中一种可实现的方式，上述预设要求可以是取值最小。例如从多个第一车道线中搜索对应差异最小的第一车道线与目标车道线对应同一车道。除此之外，也可以采用其他预设要求，例如差异小于预设阈值并且取值最小，等等。
由于在单幅图像中跨相机确定车道可能存在误差的情况，为了提高检测的鲁棒性，可以基于一段时间两个相机采集的图像序列跨相机确定车道。作为一种更为优选的实施方式，可以分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，其中第一图像序列和第二图像序列在时间上对齐，即第一图像序列中各帧对应的时间点分别与第二图像序列中各帧对应的时间点一致。然后针对各第一车道线分别确定在第一图像序列和第二图像序列中的各帧图像之间的上述差异的统计值；最后从多个第一车道线中搜索对应上述差异的统计值满足预设要求的第一车道线。
举个例子，假设第一相机采集的第一图像序列中包含N帧，第二相机采集的第二图像序列中也包含N帧。第一图像序列和第二图像序列在时间上是对齐的，例如第一图像序列中的第i帧表示为A_clipi，第二图像序列的第i帧表示为B_clipi，A_clipi和B_clipi是在同一时间点被采集到的。
第一图像序列中的各帧分别作为第一图像，第二图像序列中的各帧分别作为第二图像。假设在第一图像中确定出的第一车道线为M条，则针对第j条第一车道线，在A_clipi中距离该第j条第一车道线预设范围内的交通要素关系矩阵表示为A_matrix_clipij，在B_clipi中距离目标车道线预设范围内的交通要素关系矩阵表示为B_matrix_clipi。可以针对每个第一车道线分别计算差异统计值，例如表示为costj：
其中，abs()是取绝对值的函数，sum()是计算矩阵元素之和的函数。
确定对应costj最小的第一车道线与目标车道线对应同一车道。上面例子中以交通要素关系矩阵为例进行的描述，当采用交通要素关系图时，方法类似，仅仅是在计算costj时是基于关系图的相似度来计算的，在此不做赘述。
确定出第一图像和第二图像中对应同一车道的车道线后，可以为后续跨相机目标追踪提供参考，从而提高跨相机目标追踪的精度。
图8为本申请实施例提供的跨相机确定车道的装置，如图8中所示，该装置可以包括：图像获取单元801、车道线检测单元802、差异确定单元803和车道搜索单元804。其中各组成单元的主要功能如下：
图像获取单元801，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点。
车道线检测单元802，被配置为对所述第一图像和所述第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从所述至少一个第二车道线中选择目标车道线。
差异确定单元803，被配置为针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与所述第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异。
车道搜索单元804，被配置为从所述多个第一车道线中搜索对应所述差异满足预设要求的第一车道线，确定搜索得到的第一车道线与所述目标车道线对应同一车道。
作为其中一种可实现的方式，上述交通要素关系包括车辆之间的关系、车辆与车道之间的关系、车辆与行人之间的关系以及车辆与交通设施之间的关系中的至少一种。
作为其中一种可实现的方式，车道线检测单元802，可以具体被配置为在图像(分别在第一图像和第二图像)上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；确定所述车道区域的边缘或中线，对所述边缘或中线进行霍夫直线检测，得到车道线。
作为其中一种可实现的方式，交通要素关系可以采用关系矩阵的形式，上述差异可以通过第一图像中距离第一车道线预设范围内的交通要素关系矩阵与距离第二图像的目标车道线预设范围内的交通要素关系矩阵之间的距离体现。
其中，交通要素关系矩阵中各元素的取值体现交通要素之间的位置关系。
作为另一种可实现的方式，交通要素关系可以采用关系图的形式，上述差异可以通过第一图像中距离第一车道线预设范围内的交通要素关系图与距离第二图像的目标车道线预设范围内的交通要素关系图之间的相似度体现。
其中，交通要素关系图包括交通要素节点以及节点之间的边；交通要素节点包括交通要素的属性信息，节点之间的边包括节点之间的距离信息。
作为其中一种更优选的方式，图像获取单元801可以分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，第一图像序列和第二图像序列在时间上对齐。上述差异确定单元803针对各第一车道线分别确定在第一图像序列和第二图像序列中的各帧图像之间的上述差异的统计值。最后车道搜索单元804从多个第一车道线中搜索对应上述差异的统计值满足预设要求的第一车道线。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
其中，图9示例性的展示出了电子设备的架构，具体可以包括处理器910，视频显示适配器911，磁盘驱动器912，输入/输出接口913，网络接口914，以及存储器920。上述处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，与存储器920之间可以通过通信总线930进行通信连接。
其中，处理器910可以采用通用的CPU、微处理器、应用专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器920可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器920可以存储用于控制电子设备900运行的操作系统921，用于控制电子设备900的低级别操作的基本输入输出系统(BIOS)922。另外，还可以存储网页浏览器923，数据存储管理系统924，以及视野边界检测装置/跨相机的车道确定装置925等等。上述视野边界检测装置/跨相机的车道确定装置925就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行。
输入/输出接口913用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口914用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线930包括一通路，在设备的各个组件(例如处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，与存储器920)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，存储器920，总线930等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序产品的形式体现出来，该计算机程序产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种相机视野边界的检测方法，其特征在于，所述方法包括：
获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
在所述第一图像中确定第二相机的多个候选视野边界；
针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界。
2.根据权利要求1所述的方法，其特征在于，在所述第一图像中确定第二相机的多个候选视野边界包括：
依据所述第一相机和第二相机的布设视角，在所述第一图像中确定待搜索的重叠区域；
在所述重叠区域中采集在预设斜率范围内的直线段作为所述第二相机的多个候选视野边界，所述预设斜率范围依据所述第二相机的布设视角确定。
3.根据权利要求1所述的方法，其特征在于，所述交通要素关系包括车辆之间的关系、车辆与车道之间的关系、车辆与行人之间的关系以及车辆与交通设施之间的关系中的至少一种。
4.根据权利要求3所述的方法，其特征在于，所述车道线采用如下方式进行检测：
在图像上进行车辆轨迹的统计，基于车辆轨迹的统计结果确定车道区域；
确定所述车道区域的边缘或中线，对所述边缘或中线进行霍夫直线检测，得到车道线。
5.根据权利要求1或3所述的方法，其特征在于，所述交通要素关系采用关系矩阵或关系图的形式；
所述差异通过所述第一图像中距离当前候选视野边界预设范围内的交通要素关系矩阵与距离所述第二图像的图像边界预设范围内的交通要素关系矩阵之间的距离体现，或者通过所述第一图像中距离当前候选视野边界预设范围内的交通要素关系图与距离所述第二图像的图像边界预设范围内的交通要素关系图之间的相似度体现；
其中，所述交通要素关系矩阵中各元素的取值体现交通要素之间的位置关系；
所述交通要素关系图包括交通要素节点以及节点之间的边；所述交通要素节点包括交通要素的属性信息，所述节点之间的边包括节点之间的距离信息。
6.根据权利要求1所述的方法，其特征在于，分别获取第一相机采集的第一图像序列以及第二相机采集的第二图像序列，所述第一图像序列和所述第二图像序列在时间上对齐，针对各候选视野边界分别确定在所述第一图像序列和第二图像序列中的各帧图像之间的所述差异的统计值；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界包括：从所述多个候选视野边界中搜索对应所述差异的统计值满足预设要求的候选视野边界。
7.根据权利要求1或6所述的方法，其特征在于，所述预设要求包括：取值最小。
8.一种相机视野边界的检测方法，其特征在于，所述方法包括：
将监测系统中相邻相机分别作为第一相机和第二相机执行如权利要求1至7中任一项所述的方法，确定在所述第二相机的视野边界；
依据各相机的视野边界，调整所述监测系统中的相机布设，或者进行跨相机目标跟踪，或者对所述监测系统中的多个相机采集的图像进行拼接。
9.一种相机视野边界的检测方法，由云端服务器执行，其特征在于，所述方法包括：
获取监测系统中第一相机采集的第一图像以及第二相机采集的第二图像，所述第一图像和所述第二图像对应同一时间点；
在所述第一图像中确定第二相机的多个候选视野边界；
针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界；
将所述第二相机的视野边界的信息发送给下游装置，所述下游装置包括跨相机目标跟踪装置或图像拼接装置。
10.一种跨相机确定车道的方法，其特征在于，所述方法包括：
获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
对所述第一图像和所述第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从所述至少一个第二车道线中选择目标车道线；
针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与所述第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异；
从所述多个第一车道线中搜索对应所述差异满足预设要求的第一车道线，确定搜索得到的第一车道线与所述目标车道线对应同一车道。
11.一种相机视野边界的检测装置，其特征在于，所述装置包括：
图像获取单元，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
候选确定单元，被配置为在所述第一图像中确定第二相机的多个候选视野边界；
差异确定单元，被配置为针对各候选视野边界分别执行：确定所述第一图像中距离当前候选视野边界预设范围内的交通要素关系信息与距离所述第二图像的图像边界预设范围内的交通要素关系信息之间的差异；
边界搜索单元，被配置为从所述多个候选视野边界中搜索对应所述差异满足预设要求的候选视野边界作为所述第二相机的视野边界。
12.一种跨相机确定车道的装置，其特征在于，所述装置包括：
图像获取单元，被配置为获取第一相机采集到的第一图像以及第二相机采集到的第二图像，所述第一图像和所述第二图像对应同一时间点；
车道线检测单元，被配置为对所述第一图像和所述第二图像分别进行车道线检测，得到第一图像中的多个第一车道线以及第二图像中的至少一个第二车道线，从所述至少一个第二车道线中选择目标车道线；
差异确定单元，被配置为针对各第一车道线分别执行：确定距离当前第一车道线预设范围内的交通要素关系信息与所述第二图像中距离目标车道线预设范围内的交通要素关系信息之间的差异；
车道搜索单元，被配置为从所述多个第一车道线中搜索对应所述差异满足预设要求的第一车道线，确定搜索得到的第一车道线与所述目标车道线对应同一车道。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至10中任一项所述的方法的步骤。
CN202310666651.3A 2023-06-06 2023-06-06 相机视野边界的检测方法及装置 Active CN116912517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310666651.3A CN116912517B (zh) 2023-06-06 2023-06-06 相机视野边界的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310666651.3A CN116912517B (zh) 2023-06-06 2023-06-06 相机视野边界的检测方法及装置

Publications (2)

Publication Number Publication Date
CN116912517A true CN116912517A (zh) 2023-10-20
CN116912517B CN116912517B (zh) 2024-04-02

Family

ID=88359064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310666651.3A Active CN116912517B (zh) 2023-06-06 2023-06-06 相机视野边界的检测方法及装置

Country Status (1)

Country Link
CN (1) CN116912517B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974656A (zh) * 2024-03-29 2024-05-03 深圳市众翔奕精密科技有限公司 基于电子辅料加工下的材料切片方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294231A1 (en) * 2013-03-28 2014-10-02 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
CN106971381A (zh) * 2017-03-14 2017-07-21 东北大学 一种具有重叠视域的广角相机视野分界线生成方法
CN110177723A (zh) * 2017-01-13 2019-08-27 Lg伊诺特有限公司 用于提供周围视野的装置
CN111405243A (zh) * 2020-02-28 2020-07-10 北京大学（天津滨海）新一代信息技术研究院 基于多摄像机的目标监控方法及系统
KR20210092605A (ko) * 2020-01-16 2021-07-26 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
CN113592917A (zh) * 2021-07-28 2021-11-02 清华大学 一种摄像机目标交接方法和交接系统
CN114140512A (zh) * 2021-08-13 2022-03-04 华为技术有限公司 一种图像处理方法以及相关设备
CN114677414A (zh) * 2021-11-24 2022-06-28 江苏方天电力技术有限公司 一种视域重叠的多摄像机目标匹配方法和系统
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294231A1 (en) * 2013-03-28 2014-10-02 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
CN110177723A (zh) * 2017-01-13 2019-08-27 Lg伊诺特有限公司 用于提供周围视野的装置
CN106971381A (zh) * 2017-03-14 2017-07-21 东北大学 一种具有重叠视域的广角相机视野分界线生成方法
KR20210092605A (ko) * 2020-01-16 2021-07-26 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
CN111405243A (zh) * 2020-02-28 2020-07-10 北京大学（天津滨海）新一代信息技术研究院 基于多摄像机的目标监控方法及系统
CN113592917A (zh) * 2021-07-28 2021-11-02 清华大学 一种摄像机目标交接方法和交接系统
CN114140512A (zh) * 2021-08-13 2022-03-04 华为技术有限公司 一种图像处理方法以及相关设备
CN114677414A (zh) * 2021-11-24 2022-06-28 江苏方天电力技术有限公司 一种视域重叠的多摄像机目标匹配方法和系统
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN115731266A (zh) * 2022-11-24 2023-03-03 武汉东信同邦信息技术有限公司 跨相机多目标跟踪方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛翠红 等: "多摄像机视野分界线恢复算法", 《综合电子信息技术》, 30 April 2012 (2012-04-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974656A (zh) * 2024-03-29 2024-05-03 深圳市众翔奕精密科技有限公司 基于电子辅料加工下的材料切片方法及系统
CN117974656B (zh) * 2024-03-29 2024-07-12 深圳市众翔奕精密科技有限公司 基于电子辅料加工下的材料切片方法及系统

Also Published As

Publication number Publication date
CN116912517B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN109598743B (zh) 行人目标跟踪方法、装置及设备
CN109035292B (zh) 基于深度学习的运动目标检测方法及装置
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN116912517B (zh) 相机视野边界的检测方法及装置
CN113205692B (zh) 一种路侧停车泊位异常变动的自动识别方法
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN114969221A (zh) 一种更新地图的方法及相关设备
Yang et al. Intelligent video analysis: A Pedestrian trajectory extraction method for the whole indoor space without blind areas
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN110636248B (zh) 目标跟踪方法与装置
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN116246308A (zh) 基于视觉识别的多目标跟踪预警方法、装置及终端设备
Xu et al. Space-time vehicle tracking at the edge of the network
Tang Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN110781797B (zh) 一种标注方法、装置及电子设备
CN115731247A (zh) 目标计数方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant