CN115190251B - 基于亿像阵列式摄像机的机场地面安全分析方法及装置 - Google Patents

基于亿像阵列式摄像机的机场地面安全分析方法及装置 Download PDF

Info

Publication number
CN115190251B
CN115190251B CN202210802752.4A CN202210802752A CN115190251B CN 115190251 B CN115190251 B CN 115190251B CN 202210802752 A CN202210802752 A CN 202210802752A CN 115190251 B CN115190251 B CN 115190251B
Authority
CN
China
Prior art keywords
image data
main image
target object
local image
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210802752.4A
Other languages
English (en)
Other versions
CN115190251A (zh
Inventor
温建伟
邓迪旻
李营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210802752.4A priority Critical patent/CN115190251B/zh
Publication of CN115190251A publication Critical patent/CN115190251A/zh
Application granted granted Critical
Publication of CN115190251B publication Critical patent/CN115190251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供的一种基于亿像素阵列式摄像机的机场地面安全分析方法及装置，其中所述方法包括：获取主摄像机的主图像数据；基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；获取所述副摄像机的局部图像数据；查找所述局部图像数据在所述主图像数据中对应的主图像块；并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；基于所述总图像数据，得到所述目标对象对应的第二特征信息。本申请旨在解决现有技术中旨在解决现有技术中处理量大、效率不高的技术问题。

Description

基于亿像阵列式摄像机的机场地面安全分析方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于亿像素阵列式摄像机的机场地面安全分析方法及装置。
背景技术
亿像阵列式摄像机多采用一个主摄像机和多个副摄像机。图像采集过程中，主摄像机的分辨率较低，通常用于采集机场地面全局的图像，副摄像机的分辨率较高，通常用于采集机场某一地面局部的图像。然而，机场地面会存在多个不同的运动目标。现有技术中，会将所有的局部图像与全局图像进行融合处理，以对机场地面进行安全分析，存在处理量大、效率不高的不足。
发明内容
本发明实施例的亿像阵列式摄像机的机场地面安全分析方法和装置，旨在解决现有技术中处理量大、效率不高的技术问题。
本发明提出一种基于亿像阵列式摄像机的机场地面安全分析方法，包括如下步骤：
获取主摄像机的主图像数据；
基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
获取所述副摄像机的局部图像数据；
查找所述局部图像数据在所述主图像数据中对应的主图像块；
并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
基于所述总图像数据，得到所述目标对象对应的第二特征信息。
可选地，所述查找所述局部图像数据在所述主图像数据中对应的主图像块的步骤具体包括：选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；标定所述局部图像块；计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
可选地，所述将所述局部图像数据与所述主图像块进行融合，得到总图像数据的步骤包括：提取所述匹配程度最高的主图像子块的第一图像特征；提取所述局部图像块的第二图像特征，基于所述第一图像特征和所述第二图像特征，融合得到所述总图像数据。
可选地，所述获取所述副摄像机的局部图像数据的步骤包括：若所述副摄像机的个数为一个，则以该所述副摄像机的拍摄数据为所述局部图像数据；若所述副摄像机的个数为一个以上，则获取每一个所述副摄像机的拍摄数据；对所述拍摄数据进行校正处理，得到所述局部图像数据。
可选地，所述主图像数据包括连续的第一主图像和第二主图像；所述第一特征信息包括第一特征点集和第二特征点集；所述基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息的步骤包括：基于所述第一主图像，得到所述目标对应的第一特征点集；基于所述第二主图像，得到所述目标对应的第二特征点集。
可选地，所述基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机的步骤包括：判断基于所述第一特征点集查找得到的副摄像机和基于所述第二特征点集得到的主摄像机是否为同一个或者同一组；若是，则所述获取所述副摄像机的第一局部图像数据和第二局部图像数据；其中，所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的时刻或时段与所述第二主图像数据的采集时刻或采集时段对应；若否，获取第一副摄像机的第一局部图像数据和第二副摄像机的第二局部图像数据；所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的采集时刻或采集时段与所述第二主图像数据采集的时刻或采集时段对应；调整所述第一局部图像数据和所述第二局部图像数据的像素比、分辨率和/或灰度一致。
可选地，本申请还提出一种基于亿像阵列式摄像机的机场地面安全分析装置，包括：
主提取模块，用于获取主摄像机的主图像数据；
目标对象提取模块，基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
第一查找模块，用于基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
副提取模块，获取所述副摄像机的局部图像数据；
第二查找模块，查找所述局部图像数据在所述主图像数据中对应的主图像块；
融合模块，并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
分析模块，基于所述总图像数据，得到所述目标对象对应的第二特征信息。
可选地，所述第二查找模块进一步适于，选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；标定所述局部图像块；计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
本申请还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前所述的亿像阵列式摄像机的机场地面安全分析方法的步骤。
本申请还提出一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如前所述基于亿像阵列式摄像机的机场地面安全分析方法的步骤。
本申请实施例的技术方案中，通过主摄像机采集的主图像数据，得到运动的目标对象，并采集目标对象的第一特征信息。基于该第一特征信息查找到用于拍摄该第一特征信息的副摄像机，获取所述副摄像机的局部图像数据，查找所述局部图像数据在所述主图像数据中对应的主图像块；并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；基于所述总图像数据，得到所述目标对象对应的第二特征信息。通过上述实施例，本申请能够仅将目标对象的较高分辨率的局部图像融合到较低分辨率的主图像数据中，得到目标对象的总图像数据，减少了局部图像数据和主图像数据的融合处理量，提高了处理效率，并且能够从总图像数据中得到目标对象对应的第二特征信息，用于分析目标对象的危险程度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于亿像阵列式摄像机的机场地面安全分析装置的应用场景示意图；
图2是本申请实施例提供的基于亿像阵列式摄像机的机场地面安全分析方法的流程示意图；
图3是本申请实施例提供的基于亿像阵列式摄像机的机场地面安全分析装置的结构示意图；
图4是本申请实施例提供的计算机设备的内部结构图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种基于亿像阵列式摄像机的机场地面安全分析方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，基于亿像阵列式摄像机的机场地面安全分析方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本申请一些实施例所示的基于亿像阵列式摄像机的机场地面安全分析装置的应用场景示意图。如图1所示，基于亿像阵列式摄像机的机场地面安全分析装置100可以包括服务器110、网络120、亿像阵列式摄像机组130、和存储器140。亿像阵列式摄像机组包括至少一个主摄像机和至少一个副摄像机。比如，其中，亿像素阵列式相机是由一个主摄像机和N个副摄像机阵列式结合的跨尺度成像相机。副摄像机一般具有微型镜头，微型镜头根据不同的光路设计，可以形成不同的焦距，多个镜头并行工作时，能够捕捉到远近不同的画面。
由此通过亿像素阵列式相机采集图像数据，不仅能够大幅度提升采集数据和成像范围的数量级，同时获得多个焦点，实现大视野和细节的兼顾。
服务器110可以处理从基于亿像阵列式摄像机的机场地面安全分析装置100的至少一个组件(例如，亿像阵列式摄像机组130和存储器140)或外部数据源(例如，云数据中心)获取的数据和/或信息。例如，服务器110可以从亿像阵列式摄像机组130获取交互指令。又例如，服务器110还可以从存储器140获取历史数据。
在一些实施例中，服务器110可以包括处理设备112。处理设备112可以处理与人机交互系统相关的信息和/或数据以执行本说明书中描述的一个或多个功能。例如，处理设备112可以基于交互指令和/或历史数据确定成像控制策略。在一些实施例中，处理设备112可包括至少一个处理单元(例如，单核处理引擎或多核处理引擎)。在一些实施例中，处理设备112可以为亿像阵列式摄像机组130的一部分。
网络120可以提供信息交换的渠道。在一些实施例中，网络120可以包括一个或多个网络接入点。基于亿像阵列式摄像机的机场地面安全分析装置100的一个或多个部件可以通过接入点连接到网络120以交换数据和/或信息。在一些实施例中，基于亿像阵列式摄像机的机场地面安全分析装置100中的至少一个组件可以经由网络120访问存储在存储器140中的数据或指令。
亿像阵列式摄像机组130可以由多个亿像阵列式摄像机组成，图像采集设备的种类不做限制，例如可以是摄像头、光场相机或具有图像采集功能的移动终端等。
在一些实施例中，存储器140可以存储处理设备112可以执行或使用以完成本说明书描述的示例性基于亿像阵列式摄像机的机场地面安全分析方法的数据和/或指令。例如，存储器140可以存储历史数据。在一些实施例中，存储器140可以作为后端存储器直接连接到服务器110。在一些实施例中，存储器140可以是服务器110、亿像阵列式摄像机组130一部分。
图2示出了一种基于亿像阵列式摄像机的机场地面安全分析方法，包括如下步骤：
S100，获取主摄像机的主图像数据；
S200，基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
S300，基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；比如，第一特征信息可以包括运动目标的位置信息或者像素点；基于该位置信息找到拍摄所述目标对象的副摄像机；
S400，获取所述副摄像机的局部图像数据；
S500，查找所述局部图像数据在所述主图像数据中对应的主图像块；
S600，并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；S700，基于所述总图像数据，得到所述目标对象对应的第二特征信息。
本申请实施例的技术方案中，通过主摄像机采集的主图像数据，得到运动的目标对象，并采集目标对象的第一特征信息。基于该第一特征信息查找到用于拍摄该第一特征信息的副摄像机，获取所述副摄像机的局部图像数据，查找所述局部图像数据在所述主图像数据中对应的主图像块；并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；基于所述总图像数据，得到所述目标对象对应的第二特征信息。通过上述实施例，本申请能够仅将目标对象的较高分辨率的局部图像融合到较低分辨率的主图像数据中，得到目标对象的总图像数据，减少了局部图像数据和主图像数据的融合处理量，提高了处理效率，并且能够从总图像数据中得到目标对象对应的第二特征信息，用于分析目标对象的危险程度。
作为上述实施例的可选实施方式，所述查找所述局部图像数据在所述主图像数据中对应的主图像块的步骤具体包括：选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；
标定所述局部图像块；局部图像块包含了目标对象的图像信息，因此标定该局部图像块利于在主图像中找到包含了目标对象的主图像子块。计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
具体实施过程中，采用跨像素一致性网络结构进行网络训练。通过跨像素一致性网络结构能给出局部图像块和全局图像的特征匹配概率图，从而可以用于在全局图像中找到局部图像所对应的图像块。将一个局部图像块进行标定。然后计算主图像子块的特征f及特征映射gi,j，再用内积计算两者的匹配程度：
si,j＝<f，gi,j>
将定义为匹配程度值，并有柔性最大传输函数层进行计算，得到损失函数：
式中，qi,j为单热矩阵，上式为p，q的交叉熵。
通过跨像素一致性网络结构进行训练后，找到局部图像块在全局图像中对应的主图像子块，使得两者的特征内积s最大，也即匹配程度最高，从而找到各个局部图像块在全局图像中的对应关系。
作为上述实施例的可选实施方式，所述将所述局部图像数据与所述主图像块进行融合，得到总图像数据的步骤包括：提取所述匹配程度最高的主图像子块的第一图像特征；提取所述局部图像块的第二图像特征，基于所述第一图像特征和所述第二图像特征，融合得到所述总图像数据。
在具体实施例中，将跨像素一致性网络结构查找到的局部图像块在主图像局部中的主图像子块，放入到超分辨图像生成网络中，进行多尺度融合，生成最终的高分辨率图像。具体地：超分辨图像生成的结构包括一个在ImageNet中预先训练好的低像素图特征提取模块(也即全局图像特征提取模块，用于提取所述匹配程度最高的主图像子块的第一图像特征)和一个高像素图特征提取模块(也即局部图特征提取模块，用于提取所述局部图像块的第二图像特征)以及核心的将低分辨图像特征和高分辨图像特征融合进行超分辨的预测模块(用于融合得到总图像数据)：低像素图特征提取模块包括16个卷积残差层，配合越层连接方法，生成特征图，最后再加上一个利用最近邻方法的上采样层，这个网络在ImageNet数据集中进行了预训练；高像素图特征提取模块由一个卷积层和三个特征提取块组成，其中特征提取块又由一个卷积层和一个2步长的池化层组成，依次输出不同像素比的图像特征，各自又输入到预测模块中；预测模块将不同像素比的高像素图特征与低像素图特征进行融合，最后输出预测图像；其中对不同图片尺度i＝0,1,2,3…图像的融合特征图像以如下形式定义：
式中，为对局部图像块的第二图像特征/>进行处理的卷积核；/>为通过卷积核申城第一图像特征的二维置信区间，M(i)为归一化的二维置信区间；/>表示融合生成特征图像/>时的卷积核，Fi+1为主图像子块的第一图像特征(上一层网络输出的主图像子块特征图)，*表示卷积算法，⊙表示矩阵点乘，δ()表示sigmod函数，relu()表示修正线性函数，SP()表示一种2倍子像素上采样方法，/>表示最近邻2倍上采样方法。
在一些情况下，目标对象位于多个副摄像机的重合拍摄区域，作为上述实施例的可选实施方式，所述获取所述副摄像机的局部图像数据的步骤包括：若所述副摄像机的个数为一个，则以该所述副摄像机的拍摄数据为所述局部图像数据。若所述副摄像机的个数为一个以上，则获取每一个所述副摄像机的拍摄数据；对所述拍摄数据进行校正处理，得到所述局部图像数据。也即在所述副摄像机的个数为一个以上时，需要将多个拍摄数据进行校正处理，以使得得到的局部图像数据在颜色上、光照上等发明具有一致性，便于与主图像数据融合得到总图像数据。
具体地，在副摄像机的个数为多个时，由于局部相机所摄图像的颜色、光照等问题，不可避免地会使得最后得到的超分辨图像存在着一定程度的颜色差异以及图像暗角。针对颜色差异，由于主图像数据是一致的，因此将每一个图以全局图像颜色模型进行映射，随后再加以暗角修正，以进行最终的图像融合。
另外，由于副摄像机位置物理结构上的原因，局部图像数据产生一定程度的重合。对于重合部分，由于上述步骤是对原图局部图像块进行了超分辨，而并非是将局部图像进行变换，从根本上解决了局部图像块配准的难题，不会产生视差、鬼影等问题。因此最后将局部图像与主图像融合时，采用滑动窗口融合的算法将多个局部图像融合，能够使得重合区域平滑过渡，无明显缝合线。
作为上述实施例的可选实施方式，所述主图像数据包括连续的第一主图像和第二主图像；所述第一特征信息包括第一特征点集和第二特征点集；所述基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息的步骤包括：基于所述第一主图像，得到所述目标对象对应的第一特征点集；基于所述第二主图像，得到所述目标对象对应的第二特征点集；基于所述第一特征点集和所述第二特征点集，得到运动的目标对象和所述目标对象对应的第一特征信息。
第一特征点集可以包括第一帧的位置信息、姿态信息和方位信息；第二特征点集可以包括第二帧的位置信息、姿态信息和方位信息。第一主图像和第二主图像为连续两帧的图像。若第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息存在不同，则可以得到目标对象。第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息可以形成第一特征信息。
作为上述实施例的可选实施方式，所述基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机的步骤包括：判断基于所述第一特征点集查找得到的副摄像机和基于所述第二特征点集得到的主摄像机是否为同一个或者同一组；若是，则所述获取所述副摄像机的第一局部图像数据和第二局部图像数据；其中，所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的时刻或时段与所述第二主图像数据的采集时刻或采集时段对应；若否，获取第一副摄像机的第一局部图像数据和第二副摄像机的第二局部图像数据；所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的采集时刻或采集时段与所述第二主图像数据采集的时刻或采集时段对应；调整所述第一局部图像数据和所述第二局部图像数据的像素比、分辨率和/或灰度一致。由于目标对象是运动的，第一局部图像数据和所述第二局部图像数据存在非同一个副摄像机(组)采集的情况，由于上述步骤是对第一局部图像数据和所述第二局部图像数据进行了同一像素比、分辨率或者一度的处理，使得第一局部图像数据和所述第二局部图像数据是在同一参数下与主图像数据融合，得到的总图像数据的目标对象的第二特征信息是在同一参数下获得，减少了第二特征信息偏差。
图3所示，本申请实施例还提出一种基于亿像阵列式摄像机的机场地面安全分析装置，包括：
主提取模块10，用于获取主摄像机的主图像数据；
目标对象提取模块20，基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
第一查找模块30，用于基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
副提取模块40，获取所述副摄像机的局部图像数据；
第二查找模块50，查找所述局部图像数据在所述主图像数据中对应的主图像块；
融合模块60，并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
分析模块70，基于所述总图像数据，得到所述目标对象对应的第二特征信息。
其中，所述第二查找模块50进一步适于，选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；标定所述局部图像块；计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述基于亿像阵列式摄像机的机场地面安全分析方法实施例中的对应过程，在此不再赘述。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像采集设备的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于亿像阵列式摄像机的机场地面安全分析方法。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现基于亿像阵列式摄像机的机场地面安全分析。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各基于亿像阵列式摄像机的机场地面安全分析方法实施例中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各基于亿像阵列式摄像机的机场地面安全分析方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例基于亿像阵列式摄像机的机场地面安全分析方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各基于亿像阵列式摄像机的机场地面安全分析方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
综上所述，本申请还提供的一种基于亿像阵列式摄像机的机场地面安全分析基于亿像阵列式摄像机的机场地面安全分析方法，包括：
获取主摄像机的主图像数据；
基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
获取所述副摄像机的局部图像数据；
查找所述局部图像数据在所述主图像数据中对应的主图像块；
并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
基于所述总图像数据，得到所述目标对象对应的第二特征信息。
在本申请所提供的实施例中，应该理解到，所揭露装置和基于亿像阵列式摄像机的机场地面安全分析方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述基于亿像阵列式摄像机的机场地面安全分析方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于亿像阵列式摄像机的机场地面安全分析方法，其特征在于，包括如下步骤：
获取主摄像机的主图像数据；
基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
获取所述副摄像机的局部图像数据；
查找所述局部图像数据在所述主图像数据中对应的主图像块；
并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
基于所述总图像数据，得到所述目标对象对应的第二特征信息；
其中，所述主图像数据包括连续的第一主图像和第二主图像；所述第一特征信息包括第一特征点集和第二特征点集；
所述基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息的步骤包括：
基于所述第一主图像，得到所述目标对象对应的第一特征点集；
基于所述第二主图像，得到所述目标对象对应的第二特征点集；
基于所述第一特征点集和所述第二特征点集，得到运动的目标对象和所述目标对象对应的第一特征信息；
其中，所述第一特征点集包括第一帧的位置信息、姿态信息和方位信息，所述第二特征点集包括第二帧的位置信息、姿态信息和方位信息，第一主图像和第二主图像为连续两帧的图像，若第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息存在不同，则得到目标对象，第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息形成第一特征信息；
其中，所述基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机的步骤包括：
判断基于所述第一特征点集查找得到的副摄像机和基于所述第二特征点集得到的主摄像机是否为同一个或者同一组；
若是，则所述获取所述副摄像机的第一局部图像数据和第二局部图像数据；其中，所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的时刻或时段与所述第二主图像数据的采集时刻或采集时段对应；
若否，获取第一副摄像机的第一局部图像数据和第二副摄像机的第二局部图像数据；所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的采集时刻或采集时段与所述第二主图像数据采集的时刻或采集时段对应；调整所述第一局部图像数据和所述第二局部图像数据的像素比、分辨率和/或灰度一致。
2.如权利要求1所述的基于亿像阵列式摄像机的机场地面安全分析方法，其特征在于，所述查找所述局部图像数据在所述主图像数据中对应的主图像块的步骤具体包括：
选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；
标定所述局部图像块；
计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；
根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
3.如权利要求2所述的基于亿像阵列式摄像机的机场地面安全分析方法，其特征在于，所述将所述局部图像数据与所述主图像块进行融合，得到总图像数据的步骤包括：
提取所述匹配程度最高的主图像子块的第一图像特征；
提取所述局部图像块的第二图像特征；
基于所述第一图像特征和所述第二图像特征，融合得到所述总图像数据。
4.如权利要求1所述的基于亿像阵列式摄像机的机场地面安全分析方法，其特征在于，所述获取所述副摄像机的局部图像数据的步骤包括：
若所述副摄像机的个数为一个，则以该所述副摄像机的拍摄数据为所述局部图像数据；
若所述副摄像机的个数为一个以上，则获取每一个所述副摄像机的拍摄数据；对所述拍摄数据进行校正处理，得到所述局部图像数据。
5.一种基于亿像阵列式摄像机的机场地面安全分析装置，其特征在于，包括：
主提取模块，用于获取主摄像机的主图像数据；
目标对象提取模块，基于所述主图像数据，得到运动的目标对象和所述目标对象对应的第一特征信息；
第一查找模块，用于基于所述第一特征信息，查找用于拍摄所述目标对象的副摄像机；
副提取模块，获取所述副摄像机的局部图像数据；
第二查找模块，查找所述局部图像数据在所述主图像数据中对应的主图像块；
融合模块，并将所述局部图像数据与所述主图像块进行融合，得到总图像数据；
分析模块，基于所述总图像数据，得到所述目标对象对应的第二特征信息；
其中，所述主图像数据包括连续的第一主图像和第二主图像；所述第一特征信息包括第一特征点集和第二特征点集；
所述目标对象提取模块还具体用于：
基于所述第一主图像，得到所述目标对象对应的第一特征点集；
基于所述第二主图像，得到所述目标对象对应的第二特征点集；
基于所述第一特征点集和所述第二特征点集，得到运动的目标对象和所述目标对象对应的第一特征信息；
其中，所述第一特征点集包括第一帧的位置信息、姿态信息和方位信息，所述第二特征点集包括第二帧的位置信息、姿态信息和方位信息，第一主图像和第二主图像为连续两帧的图像，若第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息存在不同，则得到目标对象，第一帧的位置信息、姿态信息和方位信息和第二帧的位置信息、姿态信息和方位信息形成第一特征信息；
其中，所述第一查找模块还具体用于：
判断基于所述第一特征点集查找得到的副摄像机和基于所述第二特征点集得到的主摄像机是否为同一个或者同一组；
若是，则所述获取所述副摄像机的第一局部图像数据和第二局部图像数据；其中，所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的时刻或时段与所述第二主图像数据的采集时刻或采集时段对应；
若否，获取第一副摄像机的第一局部图像数据和第二副摄像机的第二局部图像数据；所述第一局部图像数据的采集时刻或采集时段与所述第一主图像采集的时刻或采集时段对应；所述第二局部图像数据的采集时刻或采集时段与所述第二主图像数据采集的时刻或采集时段对应；调整所述第一局部图像数据和所述第二局部图像数据的像素比、分辨率和/或灰度一致。
6.如权利要求5所述的装置，其特征在于，所述第二查找模块进一步适于，选取所述局部图像数据中的局部图像块，所述局部图像块包括所述目标对象；标定所述局部图像块；计算所述主图像块中的每一个主图像子块与所述局部图像块的匹配程度；根据损失函数找到与所述局部图像块匹配程度最高的主图像子块，所述匹配程度最高的主图像子块为所述局部图像数据在所述主图像数据中对应的主图像块。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-4中任意一项所述基于亿像阵列式摄像机的机场地面安全分析方法的步骤。
8.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任意一项所述基于亿像阵列式摄像机的机场地面安全分析方法的步骤。
CN202210802752.4A 2022-07-07 2022-07-07 基于亿像阵列式摄像机的机场地面安全分析方法及装置 Active CN115190251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210802752.4A CN115190251B (zh) 2022-07-07 2022-07-07 基于亿像阵列式摄像机的机场地面安全分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210802752.4A CN115190251B (zh) 2022-07-07 2022-07-07 基于亿像阵列式摄像机的机场地面安全分析方法及装置

Publications (2)

Publication Number Publication Date
CN115190251A CN115190251A (zh) 2022-10-14
CN115190251B true CN115190251B (zh) 2023-09-22

Family

ID=83517922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210802752.4A Active CN115190251B (zh) 2022-07-07 2022-07-07 基于亿像阵列式摄像机的机场地面安全分析方法及装置

Country Status (1)

Country Link
CN (1) CN115190251B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038893A (zh) * 2017-12-06 2018-05-15 深圳市未来媒体技术研究院 一种基于混合相机阵列的十亿像素视频的生成方法
CN110232654A (zh) * 2019-04-24 2019-09-13 薄涛 图像合成方法、装置、设备及其存储介质
CN112102372A (zh) * 2020-09-16 2020-12-18 上海麦图信息科技有限公司 一种针对机场地面对象的跨摄像头轨迹跟踪系统
CN112367443A (zh) * 2020-10-30 2021-02-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置
CN114581462A (zh) * 2022-03-01 2022-06-03 京东科技信息技术有限公司 一种图像分割方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038893A (zh) * 2017-12-06 2018-05-15 深圳市未来媒体技术研究院 一种基于混合相机阵列的十亿像素视频的生成方法
CN110232654A (zh) * 2019-04-24 2019-09-13 薄涛 图像合成方法、装置、设备及其存储介质
CN112102372A (zh) * 2020-09-16 2020-12-18 上海麦图信息科技有限公司 一种针对机场地面对象的跨摄像头轨迹跟踪系统
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置
CN112367443A (zh) * 2020-10-30 2021-02-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN114581462A (zh) * 2022-03-01 2022-06-03 京东科技信息技术有限公司 一种图像分割方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN115190251A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
EP3755204B1 (en) Eye tracking method and system
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN107301620B (zh) 基于相机阵列的全景成像方法
KR101379066B1 (ko) 화상 처리 장치, 화상 처리 방법, 및, 기록 매체
JP4556813B2 (ja) 画像処理装置、及びプログラム
Wang et al. Dual-camera super-resolution with aligned attention modules
JP6104010B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN109635714B (zh) 文档扫描图像的矫正方法及装置
CN113902657A (zh) 图像拼接方法、装置和电子设备
US20220398698A1 (en) Image processing model generation method, processing method, storage medium, and terminal
CN116457776A (zh) 图像处理方法、装置、计算设备及介质
Tian et al. VSOIQE: A novel viewport-based stitched 360° omnidirectional image quality evaluator
JP2021165944A (ja) 学習方法、プログラム及び画像処理装置
CN111914890B (zh) 图像之间的图像块匹配方法、图像配准方法和产品
CN115190251B (zh) 基于亿像阵列式摄像机的机场地面安全分析方法及装置
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
CN111582024B (zh) 视频流处理方法、装置、计算机设备和存储介质
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
US20220207857A1 (en) Control system and control method
JP2020204880A (ja) 学習方法、プログラム及び画像処理装置
Xia et al. A coarse-to-fine ghost removal scheme for HDR imaging
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
US11783625B2 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant