CN116245933A - 一种摄像机偏移检测方法、系统及存储介质 - Google Patents

一种摄像机偏移检测方法、系统及存储介质 Download PDF

Info

Publication number
CN116245933A
CN116245933A CN202111484385.XA CN202111484385A CN116245933A CN 116245933 A CN116245933 A CN 116245933A CN 202111484385 A CN202111484385 A CN 202111484385A CN 116245933 A CN116245933 A CN 116245933A
Authority
CN
China
Prior art keywords
camera
image
characteristic
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111484385.XA
Other languages
English (en)
Inventor
李�昊
张志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111484385.XA priority Critical patent/CN116245933A/zh
Publication of CN116245933A publication Critical patent/CN116245933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种摄像机偏移检测方法、系统及存储介质，包括：获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；获取动态图像，所述动态图像是摄像机实时拍摄的图像；确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。采用本发明，能够有效降低人力成本，并及时给出反馈。

Description

一种摄像机偏移检测方法、系统及存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种摄像机偏移检测方法、系统及存储介质。
背景技术
随着我国智慧交通，智慧城市等新型产业不断发展，对于与人民群众出行相关的基础设施，如高速公路、城市交通等路网的数字化升级改造提出了更高的要求。当前，出于对高速公路的监管和运营需要，通常交通管理部门或者运营部门会在高速公路两侧以一定距离间隔为基准架设摄像头，用于抓拍实时路况。摄像头采集的图像数据，不仅可以用于监测当前路段的车流量、车速、道路拥堵情况等日常监管目的，也可以在突发事件的应急处置工作中发挥作用。但是在高速公路摄像头实际运行过程中，不可避免地会受到大风天气等自然因素的影响，发生摄像头拍摄视角偏移，拍摄场景出现偏离道路等主目标的情况发生，从而导致无法实现数据分析和监测功能。一旦出现诸如摄像头视角偏移这种情况，会给交通监管和运营部门的日常监测带来一定影响，更重要的是，如遇极端天气或突发事件，对于应急响应处理也会造成一定影响。
现有技术的不足在于：以人工监测，人为干预的方式来处理，人工成本较高，并且时效性较差。
发明内容
本发明提供了一种摄像机偏移检测方法、系统及存储介质，用以解决人工成本较高，并且时效性较差的问题。
本发明提供以下技术方案：
一种摄像机偏移检测方法，包括：
获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
获取动态图像，所述动态图像是摄像机实时拍摄的图像；
确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
实施中，特征目标是通过深度神经网络学习的方法识别确定的。
实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
实施中，通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，进一步包括：
获取至少一个与摄像机相邻的其他摄像机的动态图像；
根据其他摄像机的动态图像确定摄像机是否发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，确定摄像机发生偏移时，进一步包括：
根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
实施中，对摄像机进行摄像角度调整，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
一种摄像机偏移检测系统，包括：
处理器，用于读取存储器中的程序，执行下列过程：
获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
获取动态图像，所述动态图像是摄像机实时拍摄的图像；
确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移；
收发机，用于在处理器的控制下接收和发送数据。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
实施中，特征目标是通过深度神经网络学习的方法识别确定的。
实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
实施中，通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，进一步包括：
获取至少一个与摄像机相邻的其他摄像机的动态图像；
根据其他摄像机的动态图像确定摄像机是否发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，确定摄像机发生偏移时，进一步包括：
根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
实施中，对摄像机进行摄像角度调整，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
一种摄像机偏移检测系统，包括：
基础模块，用于获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
动态模块，用于获取动态图像，所述动态图像是摄像机实时拍摄的图像；确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
比较模块，用于通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
实施中，特征目标是通过深度神经网络学习的方法识别确定的。
实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
实施中，比较模块进一步用于在通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移时，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，比较模块进一步用于获取至少一个与摄像机相邻的其他摄像机的动态图像；根据其他摄像机的动态图像确定摄像机是否发生偏移。
实施中，比较模块进一步用于在根据其他摄像机的动态图像确定摄像机是否发生偏移时，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
实施中，比较模块进一步用于在根据其他摄像机的动态图像确定摄像机是否发生偏移时，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，进一步包括：
控制系统，用于确定摄像机发生偏移时，根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
实施中，控制系统进一步用于在对摄像机进行摄像角度调整时，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
实施中，控制系统部署在云端。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述摄像机偏移检测方法。
本发明有益效果如下：
本发明实施例提供的技术方案，由于通过摄像机获取的图像进行分析，因此可以采用现有的网络信息传输、图像自动分析等技术自动进行摄像机偏移检测，相较于传统只能通过人工方式对摄像机所拍摄视频进行监测来判断是否存在偏移情况，能够有效降低人力成本。
进一步的，由于通过人工方式筛查摄像机是否偏移，很容易发生出现问题未及时发现的情况，实时性难以保证。而本方案通过自动化的手段可以实现高效、准确的发现存在的问题，并及时给出反馈。
进一步的，由于方案中判断摄像机角度发生偏移的计算指标是特征目标的位置、特征目标所占区域的形状、特征目标所占区域在图像的所占的面积比率之一或者其组合，因此实现了从多个维度对主要目标检测结果的分析研判，从而使得评价指标得到完善，提升了检测精度。
进一步的，本方案中提出的针对摄像机角度发生偏移的自动检测方案，不仅根据运行数据与初始数据的分析对比，进一步地，还可以联合了相邻点位的相机拍摄的视频数据的检测结果进行判断，有效提高了检测结果的冗余性，保证了检测准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中摄像机偏移检测方法实施流程示意图；
图2为本发明实施例中融合周边相邻相机采集的视频图像数据的分析流程示意图；
图3为本发明实施例中摄像机偏移检测结构示意图。
具体实施方式
发明人在发明过程中注意到：
针对摄像机拍摄角度出现偏移的情况，目前主要的解决手段是通过人工识别的方式进行问题筛查。路侧摄像头采集的数据会传输到后台系统中，监测人员定时对负责区域内的摄像头采集的数据内容进行检查，查看是否存在摄像头偏离正确拍摄角度的情况发生，若发现存在异常情况的摄像机点位，操作人员则手动操作进行角度纠正，使其回到正确工作状态。当前基于人工识别操作的方法主要有以下缺点：
人力成本较高。以目前我国高速公路摄像机的架设标准为例，通常一公里左右部署一个摄像头，重点区域或城市交通路网则部署间隔更会缩短。若仅通过区域监测人员通过人工方式筛查出现异常的摄像头点位，耗费的人力成本过于巨大。
实时性无法得到保证。路侧摄像头因天气等自然因素或者交通事故导致拍摄角度发生偏移的地点和时间都比较随机，若仅通过监测人员人工筛查，无法做到出现问题实时排查，若此时段出现突发情况，很可能会导致遗漏重要交通路况信息。
基于此，本发明实施例中中提出了一种摄像机拍摄角度发生偏移的自动检测方案，该方案通过利用摄像机初始阶段拍摄图像数据为基准，并联合相邻位置的多个关联摄像机采集的图像数据，对摄像机拍摄角度是否异常进行分析，并及时反馈分析结果。若通过分析发现存在偏移的摄像机，进一步计算其偏移角度和方向，并主动报告控制系统，对异常摄像机进行方向角度纠正，使其回归正常工作状态。通过自动化的检测方法，大大提高了检测的实时性、有效性，并且也减少了人力成本的投入，使监测人员可以更高效的进行路况监管。
下面结合附图对本发明的具体实施方式进行说明。
图1为摄像机偏移检测方法实施流程示意图，如图所示，可以包括：
步骤101、获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
步骤102、确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
步骤103、获取动态图像，所述动态图像是摄像机实时拍摄的图像；
步骤104、确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
步骤105、通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
当然，也可以根据需要选用其他目标作为特征目标。
实施中，通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，可以考虑借助其他摄像机来进行辅助判断，则还可以进一步包括：
获取至少一个与摄像机相邻的其他摄像机的动态图像；
根据其他摄像机的动态图像确定摄像机是否发生偏移。
具体实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
具体的，若没有检测到主要目标等数据，对比相邻点位摄像机的视频检测结果，若相邻点位能够正常检测到相应的主要目标，则可以判定当前摄像机点位存在偏移情况。
具体实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
具体的，计算当前摄像机检测的主目标的面积占比，与相邻相机检测的主目标的面积占比以及两者的大小关系，并与预设的阈值进行比较；依据上述多个指标的计算结果，可以判定当前点位摄像机是否存在偏移情况。
实施中，确定摄像机发生偏移时，还可以进一步包括：
根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
具体的，基于计算结果，对于判定未出现偏移的摄像机，无其他处理动作。对于判定出现偏移的摄像机，则可以进一步计算其偏移角度并反馈给控制系统，由控制系统对出现偏移的摄像机进行角度纠正。
具体实施中，对摄像机进行摄像角度调整，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
下面通过实例进行进一步说明。
方案的目的在于通过采集、记录并分析摄像机采集的视频图像数据，并融合周边相邻相机采集的视频图像数据，实现针对发生拍摄角度偏移的摄像机的自动检测与纠正。
图2为融合周边相邻相机采集的视频图像数据的分析流程示意图，如图所示，可以分为：初始数据采集与分析阶段、运行期数据采集与处理阶段、判断筛选阶段、后处理阶段(反馈结果)，需要说明，该流程的阶段划分仅供说明如何实施，在实际实施中无需划分这样的阶段。下面对各阶段的实施进行说明。
1、初始数据采集与分析阶段：
这一阶段涉及基础图像的处理。
预先记录一系列多个相邻摄像机点位的相对位置关系。如一段高速公路的相邻位置的摄像头点位的位置关系，空间间隔等信息；
采集各摄像机在初始使用阶段，即在没有出现相机拍摄角度偏移的情况时拍摄的视频数据；
分析各摄像机在初始使用阶段拍摄的视频图像中主要目标的位置信息与面积占比。其中主要目标(也即特征目标)包括：车道线、交通标识物、主要建筑物等。具体实施可以如下：
A、对采集的视频图像数据(基础图像)进行特定目标的检测识别，如车道线检测、交通标识物检测等。具体实施时可通过深度神经网络学习的方法完成，具体可利用如LaneNet(车道线检测算法)、FastRCNN(目标检测算法)等深度学习算法实现。也即，实施中，特征目标是通过深度神经网络学习的方法识别确定的。
B、针对图像中检测到的车道线、交通路标等主要目标，进一步地标记图像中的位置及轮廓、隔离带轮廓等。
C、计算图像中主要目标在图像中的面积Areainitial_target，如道路面积、交通标识物面积等，并计算其在整幅图像中的面积占比Sinitial_ratio。具体地可通过图像二值化方法，计算目标的像素面积Areainitial_target。也即，实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
进一步的，计算目标在全图中的面积占比：
Sinitial_ratio＝Areainitial_target/Areaimg
D、将上述计算结果作为该摄像机点位的拍摄场景的标准采集模板，具体地有：主目标(如车道线)位置及与水平夹角、主目标(如路面、交通路标)面积、主目标在图像中的面积占比。
2、运行期数据采集与处理阶段：
这一阶段涉及动态图像的处理。
1)采集各个摄像机运行期间拍摄的视频图像数据；
2)对采集的视频图像数据进行处理分析，检测并计算图像中主要目标的位置及面积占比等信息，具体地可通过深度神经网络学习的方法，如LaneNet、FastRCNN等完成；
3)将运行阶段视频数据中主目标的位置及面积与初始无偏移阶段同一相机的检测结果进行对比，具体包括：计算车道线的偏移夹角、两阶段主目标面积重叠区域、比较两阶段主要目标在整个图像中的占比率等。
4)基于先验知识已知，相邻区域的路面情况大体上会保持一致，因此相邻点位摄像机对于拍摄场景中主目标的认定以及主目标的面积轮廓等信息基本一致。所以将本摄像机对于主目标的检测计算结果与相邻点位检测计算的结果进行对比分析。
3、判断筛选阶段：
基于上述步骤2的针对运行期间视频数据中主要目标的检测结果，可以分为以下两种情况：
1)若没有检测到主要目标等数据，进一步地，对比相邻点位摄像机的视频检测结果，若相邻点位能够正常检测到相应的主要目标，则可以判定当前摄像机点位存在偏移情况。
2)若在图像数据中检测到主要目标，进而可以通过以下指标来进行综合判断是否存在偏移情况：
A、计算当前检测结果中主要目标(如车道线)的位置信息Poscur_Lane，以及与初始状态时检测到的车道线Posinitial_Lane的夹角θ，并与预设的阈值Threshangle进行比较；
Figure BDA0003396915520000131
B、计算当前检测结果中主要目标(如道路面积)在图像中的面积Areacur_target与初始状态检测到的主目标的面积Areainitial_target的重叠程度Soverlap，并与预设的阈值Threshoverlap进行比较；
Soverlap＝Areacur_target∩Areainitial_target
C、计算当前检测结果中主要目标的面积在全图面积的占比Scur_ratio，与初始状态时计算的主要目标占全图的面积占比Sinitial_ratio的大小关系Sratio_distance，并与预设的阈值Threshratio进行比较；
Scur_ratio＝Areacur_target/Areaimg
Sinitial_ratio＝Areainitial_target/Areaimg
Sratio_distance＝|Scur_ratio-Sinitial_ratio|
D、进一步地，计算当前摄像机检测的主目标的面积占比，与相邻相机检测的主目标的面积占比以及两者的大小关系，并与预设的阈值进行比较；
E、依据上述多个指标的计算结果，判定当前点位摄像机是否存在偏移情况。其中α，β，γ为影响系数，可以根据经验值确定。
Resfinal＝α|θ-Threshangle|+β|Soverlap-Threshoverlap|+γ|Sratio_distance-Threshratio|
4、后处理阶段：
基于上述步骤3的计算结果，对于判定未出现偏移的摄像机，无其他处理动作。对于判定出现偏移的摄像机，进一步计算其偏移角度并反馈给控制系统，由控制系统对出现偏移的摄像机进行角度纠正，控制系统可以部署在云端，也即，实施本方案的检测系统包括控制系统，该控制系统部署在云端，当检测到摄像机出现偏移，上报控制系统进行角度纠正。具体地：
1)计算运行阶段图像中主目标的质心坐标；
2)计算运行阶段主目标的质心坐标与图像坐标原点所连线段和图像X轴方向射线的夹角θcur；计算初始阶段主目标质心坐标与图像坐标原点所连线段和图像X轴方向射线的夹角θinitial。
3)根据上述两阶段的夹角θcur与θinitial的差值判断偏移程度ρoffset。
ρoffset＝θcur-θinitial
4)将偏移程度ρoffset反馈给控制系统。
基于同一发明构思，本发明实施例中还提供了一种摄像机偏移检测系统、及计算机可读存储介质，由于这些设备解决问题的原理与摄像机偏移检测方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。
在实施本发明实施例提供的技术方案时，可以按如下方式实施。
图3为摄像机偏移检测结构示意图，如图所示，系统中包括：
处理器300，用于读取存储器320中的程序，执行下列过程：
获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
获取动态图像，所述动态图像是摄像机实时拍摄的图像；
确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移；
收发机310，用于在处理器300的控制下接收和发送数据。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
实施中，特征目标是通过深度神经网络学习的方法识别确定的。
实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
实施中，通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，进一步包括：
获取至少一个与摄像机相邻的其他摄像机的动态图像；
根据其他摄像机的动态图像确定摄像机是否发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
实施中，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，确定摄像机发生偏移时，进一步包括：
根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
实施中，对摄像机进行摄像角度调整，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
其中，在图3中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器300代表的一个或多个处理器和存储器320代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机310可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器300负责管理总线架构和通常的处理，存储器320可以存储处理器300在执行操作时所使用的数据。
本发明实施例中还提供了一种摄像机偏移检测系统，包括：
基础模块，用于获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
动态模块，用于获取动态图像，所述动态图像是摄像机实时拍摄的图像；确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
比较模块，用于通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
实施中，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
实施中，特征目标是通过深度神经网络学习的方法识别确定的。
实施中，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
实施中，比较模块进一步用于在通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移时，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，比较模块进一步用于获取至少一个与摄像机相邻的其他摄像机的动态图像；根据其他摄像机的动态图像确定摄像机是否发生偏移。
实施中，比较模块进一步用于在根据其他摄像机的动态图像确定摄像机是否发生偏移时，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
实施中，比较模块进一步用于在根据其他摄像机的动态图像确定摄像机是否发生偏移时，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
实施中，进一步包括：
控制系统，用于确定摄像机发生偏移时，根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
实施中，控制系统进一步用于在对摄像机进行摄像角度调整时，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
实施中，控制系统部署在云端。
为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述摄像机偏移检测方法。
具体可以参见摄像机偏移检测方法的实施。
综上所述，本发明实施例提供的技术方案，相较于传统检测摄像机偏移，只能通过人工方式对摄像机所拍摄视频进行监测来判断是否存在偏移情况，能够有效降低人力成本。
由于通过人工方式筛查摄像机是否偏移，很容易发生出现问题未及时发现的情况，实时性难以保证。本方案通过自动化的手段可以实现高效、准确的发现存在的问题，并及时给出反馈。
本方案中提出的针对摄像机角度发生偏移的自动检测方案，不仅根据运行数据与初始数据的分析对比，进一步地，联合了相邻点位的相机拍摄的视频数据的检测结果进行判断，有效提高了检测结果的冗余性，保证了检测准确度。
本方案中制定的判断摄像机角度发生偏移的多个计算指标，实现了从多个维度对主要目标检测结果的分析研判，从而使得评价指标得到完善，提升了检测精度。
本方案能够有效解决因人工监测导致的时效性问题，大大减少现有技术面临的出现问题未能及时发现的情况发生，因此提高了时效性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种摄像机偏移检测方法，其特征在于，包括：
获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
获取动态图像，所述动态图像是摄像机实时拍摄的图像；
确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
2.如权利要求1所述的方法，其特征在于，特征目标为以下目标之一或者其组合：
车道线、交通标识物、主要建筑物、隔离带、道路。
3.如权利要求1所述的方法，其特征在于，特征目标是通过深度神经网络学习的方法识别确定的。
4.如权利要求1所述的方法，其特征在于，特征目标所占区域的面积是通过图像二值化方法计算出的特征目标的像素面积。
5.如权利要求1所述的方法，其特征在于，通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移，包括：
若没有检测到特征目标，确定摄像机发生偏移；
若检测到特征目标，特征目标的位置偏移夹角大于预设角度值，确定摄像机发生偏移；
若检测到特征目标，特征目标的形状重叠程度小于预设阈值，确定摄像机发生偏移；
若检测到特征目标，特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在基础图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
6.如权利要求1至5任一所述的方法，其特征在于，进一步包括：
获取至少一个与摄像机相邻的其他摄像机的动态图像；
根据其他摄像机的动态图像确定摄像机是否发生偏移。
7.如权利要求6所述的方法，其特征在于，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
若摄像机没有检测到特征目标，其他摄像机的动态图像检测到特征目标，确定摄像机发生偏移。
8.如权利要求6所述的方法，其特征在于，根据其他摄像机的动态图像确定摄像机是否发生偏移，包括：
特征目标所占区域在动态图像的所占的面积比率与特征目标所占区域在其他摄像机的动态图像的所占的面积比率之差大于预设阈值，确定摄像机发生偏移。
9.如权利要求1至5任一所述的方法，其特征在于，确定摄像机发生偏移时，进一步包括：
根据动态图像的第二特征参数与基础图像的第一特征参数确定摄像机偏移值，对摄像机进行摄像角度调整。
10.如权利要求9所述的方法，其特征在于，对摄像机进行摄像角度调整，包括：
确定动态图像中特征目标中的主特征目标的质心坐标；
确定主特征目标的质心坐标与动态图像的坐标原点所连线段和图像X轴方向射线的夹角θ_cur；
确定基础图像中主特征目标的质心坐标与基础图像的坐标原点所连线段和图像X轴方向射线的夹角θ_initial；
根据夹角θ_cur与θ_initial的差值判断偏移程度ρ_offset；
根据偏移程度ρ_offset进行摄像角度调整。
11.一种摄像机偏移检测系统，其特征在于，包括：
处理器，用于读取存储器中的程序，执行下列过程：
获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；
确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
获取动态图像，所述动态图像是摄像机实时拍摄的图像；
确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移；
收发机，用于在处理器的控制下接收和发送数据。
12.一种摄像机偏移检测系统，其特征在于，包括：
基础模块，用于获取基础图像，所述基础图像是摄像机在预设位置拍摄的图像；确定基础图像中特征目标的以下第一特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在基础图像的所占的面积比率；
动态模块，用于获取动态图像，所述动态图像是摄像机实时拍摄的图像；确定动态图像中特征目标的以下第二特征参数之一或者其组合：特征目标的位置、特征目标所占区域的形状、特征目标所占区域在动态图像的所占的面积比率；
比较模块，用于通过比较动态图像的第二特征参数与基础图像的第一特征参数的相似度确定摄像机是否发生偏移。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。
CN202111484385.XA 2021-12-07 2021-12-07 一种摄像机偏移检测方法、系统及存储介质 Pending CN116245933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111484385.XA CN116245933A (zh) 2021-12-07 2021-12-07 一种摄像机偏移检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111484385.XA CN116245933A (zh) 2021-12-07 2021-12-07 一种摄像机偏移检测方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116245933A true CN116245933A (zh) 2023-06-09

Family

ID=86629976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111484385.XA Pending CN116245933A (zh) 2021-12-07 2021-12-07 一种摄像机偏移检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116245933A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527877A (zh) * 2023-07-04 2023-08-01 广州思涵信息科技有限公司 设备检测方法、装置、设备及存储介质
CN117459688A (zh) * 2023-12-26 2024-01-26 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527877A (zh) * 2023-07-04 2023-08-01 广州思涵信息科技有限公司 设备检测方法、装置、设备及存储介质
CN116527877B (zh) * 2023-07-04 2023-09-29 广州思涵信息科技有限公司 设备检测方法、装置、设备及存储介质
CN117459688A (zh) * 2023-12-26 2024-01-26 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Similar Documents

Publication Publication Date Title
EP3576008B1 (en) Image based lane marking classification
CN108513674B (zh) 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN112883819B (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN104751634B (zh) 高速公路隧道行车图像采集信息的综合应用方法
US11380105B2 (en) Identification and classification of traffic conflicts
CN116245933A (zh) 一种摄像机偏移检测方法、系统及存储介质
CN110264495B (zh) 一种目标跟踪方法及装置
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN110781853B (zh) 人群异常检测方法以及相关装置
CN111383429A (zh) 建筑工地工人着装检测方法、系统、装置、存储介质
CN114248819B (zh) 基于深度学习的铁路侵限异物无人机检测方法、装置及系统
CN110021167A (zh) 一种高速公路云巡查系统及数据处理方法
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN114419421A (zh) 一种基于影像的地铁隧道裂缝识别系统及方法
CN117474870B (zh) 一种基于大数据筛选的公路路面裂缝识别决策方法及系统
CN113723273A (zh) 一种车辆轨迹信息确定方法、装置及计算机设备
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN115909219A (zh) 一种基于视频分析的场景变更检测方法与系统
EP4064120B1 (en) Method for determining images plausible to have a false negative object detection
CN110556000A (zh) 人工智慧交通检测系统
CN114693722A (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN116681955B (zh) 用于交通护栏异常识别的方法及计算设备
Malbog et al. PED-AI: Pedestrian Detection for Autonomous Vehicles using YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination