CN109583458A - 空间态势感知方法和计算机可读存储介质 - Google Patents

空间态势感知方法和计算机可读存储介质 Download PDF

Info

Publication number
CN109583458A
CN109583458A CN201811476119.0A CN201811476119A CN109583458A CN 109583458 A CN109583458 A CN 109583458A CN 201811476119 A CN201811476119 A CN 201811476119A CN 109583458 A CN109583458 A CN 109583458A
Authority
CN
China
Prior art keywords
data
point
acquisition
scale
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811476119.0A
Other languages
English (en)
Other versions
CN109583458B (zh
Inventor
高照恒
曾昭周
冷丽萍
朱卯成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Control Research Institute Of China Ordnance Equipment Group
Original Assignee
Shanghai Electric Control Research Institute Of China Ordnance Equipment Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Control Research Institute Of China Ordnance Equipment Group filed Critical Shanghai Electric Control Research Institute Of China Ordnance Equipment Group
Priority to CN201811476119.0A priority Critical patent/CN109583458B/zh
Publication of CN109583458A publication Critical patent/CN109583458A/zh
Application granted granted Critical
Publication of CN109583458B publication Critical patent/CN109583458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种空间态势感知方法和计算机可读存储介质,其中感知方法包括采集步骤、处理步骤、输出步骤、识别步骤以及特征点匹配步骤;处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤采用OpenCV拼接算法;所述特征点匹配步骤还包括误匹配消除子步骤;本发明能够实现八路摄像无缝拼接功能,360度无死角观测,视频流畅,在50m内能辨别人员外形轮廓,同时增加了静止平台条件下的移动目标检测功能,可以帮助乘员及时了解周围环境。有助于对复杂环境的预判;另外,对于城市环境,本发明可以辅助车辆,扩大巡逻及控制范围。

Description

空间态势感知方法和计算机可读存储介质
技术领域
本发明涉及图像处理和图像识别领域,具体地,涉及一种空间态势感知方法和计算机可读存储介质。
背景技术
在图像态势感知方面,美国F35战机、欧洲主战坦克,都已经展开了这方面的研发工作。针对我国反恐形势的日加严峻,360度态势感知系统完全可以应用到反恐的武器装备上面,形成一套车载全视景处理系统。使得反恐现场的指挥人员可以实时观测暴乱现场、对特定目标做近景观察并拍照、对现场的全景和近景的观察做实时视频记录,根据现场态势,指挥和布置打击行动。
因此,提供一种空间态势感知方法,尤其是能够实现人脸或车辆捕捉追踪功能的空间态势感知方法具有重要的意义和实用性。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种空间态势感知方法和计算机可读存储介质。
根据本发明提供的一种空间态势感知方法,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号。
优选地,所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
优选地,本发明提供的空间态势感知方法还包括识别步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
优选地,本发明提供的空间态势感知方法还包括特征点匹配步骤,所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
优选地,所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的空间态势感知方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的空间态势感知方法,能够采集融合多源图像,进而实现360度视场范围内无死角观测;
2、本发明提供的空间态势感知方法,算法优化使得图像更为清晰,50m内能辨别人员外形轮廓;
3、本发明提供的空间态势感知方法,算法优化使得视频更为流畅,肉眼观测下无明显的停顿;
4、本发明提供的空间态势感知方法,能够特定目标的捕捉、识别以及跟踪。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明提供的空间态势感知方法的总体构架示意图;
图2为本发明提供的空间态势感知方法所使用的硬件体系示意图;
图3为本发明提供的空间态势感知方法中图像融合处理的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种空间态势感知方法,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号。
优选地,所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
具体地,所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
本发明提供的空间态势感知方法还包括识别步骤和特征点匹配步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的空间态势感知方法的步骤。
更具体地,本发明的优选例能够实现八路摄像无缝拼接功能,360度无死角观测,视频流畅,在50m内能辨别人员外形轮廓。同时增加了静止平台条件下的移动目标检测功能。可以帮助乘员及时了解周围环境。有助于对复杂环境的预判。另外,对于城市环境,本发明优选例可以辅助车辆,扩大巡逻及控制范围。其中,所述的八路视频采集分别采用八个独立线程,将采集到的视频数据放入拼接视频缓存区,待八路视频都采集完毕后,视频拼接处理模块将做进一步的拼接编辑处理。视频拼接功能模块将对每个相邻的两个图片做对齐处理,再将上面和下面多出的黑边剪裁掉,使得拼接后的八路视频成为一个完整的图片,然后将拼接编辑后的图片送显示器输出。以上图片剪裁和编辑功能是由OpenGL完成。所有处理必须能够满足每秒25帧的速率,以保证显示的结果是平滑的,没有丢帧。所述的视频拼接算法主要考虑图像在拼接时产生的上下平移量和左右平移量,具有较高的匹配准确率。
1)将彩色图像转为灰度图像。
2)在处理之前可以采用一次或两次金字塔算法,降低分辨率,加快计算速度。
3)确定拼接图像和待拼接图像,首先是拼接图像的左部分和待拼接图像的右部分进行拼接,确定重合区域。本算法选用拼接图像的宽度的1/10和高度的1/2作为匹配模板,选待拼接图像的1/6宽度作为匹配模板。这时候要求两幅图像的重合率要小于图像宽度的1/6。
4)选择拼接图像左部分区域为图像宽度的1/10和高度的1/2作为模板,本算法选用中间部分作为匹配模板,当然也可以选择上部分或下部分。选择待拼接图像的左部分宽度为1/6的区域为匹配区域。
5)调用opencv中的匹配模板函数cvMatchTemplate(),对匹配结果中的值进行筛选,选取最大值,确定最佳的匹配位置,可以得到最佳的匹配坐标。
6)根据匹配坐标,将两幅图像直接拼在一起,此算法没有进行重叠区域的图像像素之间的融合算法。
进一步地,如图1所示,本发明优选例采用的硬件设备,由一个可做360度旋转和可俯仰的云台外加八个可变焦高清摄像头组成,利用SIFT提取算法对多路视频进行图像特征点的捕捉,并且把图像重叠区域内相对应的特征点进行对齐从而完成拼接,为消除拼缝提高拼接质量,在处理能力足够的情况下,使不同图像之间灰度平稳过渡,从而实现图像融合。
所述的SIFT提取算法是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置、尺度、旋转不变量。一幅图像SIFT特征向量的生成可以分为以下4步:
1)建立图像金字塔。高斯卷积核是实现尺度变换过程的唯一变换核,也是唯一的线性核。为了有效的实现尺度变换,采用不同尺度的高斯差分核对图像进行卷积操作,得到高斯差分尺度空间,由此来检测高斯差分空间特征点。
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度空间因子;σ大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征,大的σ值对应粗糙程度(低分辨率),反之对应精细尺度(高分辨率),为了有效的在尺度空间检查到稳定的关键点,提出了高斯尺度空间(DOG Scale-Space)。
2)检测尺度空间极值。在检测尺度空间的极值点过程中,通过将检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都能检测到极值点。
3)确定关键点位置、尺度及方向。由于DoG算子会有较强的边缘响应,确定关键点的位置和尺度(达到亚像素精度)需要拟和三维二次函数,在这个过程中,同时也可以去除对比度较低的关键点和不稳定的边缘响应点。利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值和方向如下。
基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。关键点的位置确定了,接下来我们确定关键点的尺度和方向,算出每个关键点的幅度m(x,y)和方向θ(x,y)。通过尺度不变性求极值点,可以使其具有缩放不变的性质,利用关键点邻域像素的梯度方向分布特性,我们可以为每个关键点指定方向参数方向,从而使描述子对图像旋转具有不变性,我们通过求每个极值点的梯度来为极值点赋予方向。
4)生成关键点描述子。用梯度方向直方图的方法,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,最终可以得到128维的SIFT特征描述子。
特征点匹配步骤是基于DBH特征点匹配算法的,即算法思路基于以下内容:
假如两个高维特征点是一对匹配点,则它们在某些维上一定相同或者相似。具体实现步骤如下:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,随机选择制定数量的维;
(2)对数据空间的每一个点,计算其在各个随机维上的数据分布情况,如果有两个数据在这些随机维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到某个特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点。如果降低这个比例阈值,SIFT匹配点数会减少,但会更加稳定。
经过DBH算法检测的特征点匹配对的集合中会有一定的误配点存在,可以用RANSAC消除误匹配,以得到最优透视变换矩阵。RANSAC算法的步骤即为误匹配消除子步骤。
更进一步地,可变焦高清摄像头的观测位置、角度、和焦距可由视频处理单元自动控制或由视频处理单元提供的可视人机界面用操作人员控制。系统采用的8个复合视频摄像头,PAL格式,均布360°。每四路视频由一块专用视频处理板卡进行处理,完成主要图像处理任务,再通过高性能单板电脑把拼接完的信号传给显示终端,进行显示。
如图2Intel Core i7工控机1台;配置:CPU:I7-4770(3.4Ghz)、内存:4G、DVI输出:1个、串口:6个、USB3.0:4个、USB2.0:2个、千兆网口:2个、PCI接口:3个、PCI-Ex16:1、PCI-Ex1:3个、工作温度:-20到60度;其主要功能是通过两个6通道的复合视频采集卡将8路复合视频采集进来,并将采集到的视频数据存入主卡的内存。数字视频处理单元的主卡(IntelCore i7)将对采集到的视频做相应的图像处理。Intel Core i7计算机带有图形处理功能,支持OpenGL。该计算机还带有DVI视频输出端口。可在处理后的视频上做各种图形叠加,并将最终数字视频处理的结果,通过其DVI视频输出端口输出到DVI显示器上。
图3采用八个高清SDI摄像头,视场角65°,像素130万。均布车身四周。Fpga对八路SDI摄像头进行预处理(图像调整,畸变矫正),之后采用DSP进行图像融合及进行人脸捕获。其中DSP1,先对SDI1和SDI2进行图像融合,然后把融合好的图像传给DSP2;DSP2先对SDI3和SDI4输入的视频进行融合,然后把图像和DSP1传来的图像再进行融合从而完成前180度的视景融合。同理,后180度视频融合由DSP3和DSP4处理。DSP5和DSP6主要进行人脸捕捉和跟踪。
本发明提供一种空间态势感知系统,该系统具备八路摄像头拼接功能,实现360度视场范围内无死角观测,视频流畅,肉眼观测下无明显的停顿,在50m内能辨别人员外形轮廓。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将系统步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现系统的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种空间态势感知方法,其特征在于,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号。
2.根据权利要求1所述的空间态势感知方法,其特征在于,所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
3.根据权利要求2所述的空间态势感知方法,其特征在于,所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
4.根据权利要求2所述的空间态势感知方法,其特征在于,所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
5.根据权利要求1至4中任一项所述的空间态势感知方法,其特征在于,还包括识别步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
6.根据权利要求5所述的空间态势感知方法,其特征在于,还包括特征点匹配步骤,所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
7.根据权利要求6所述的空间态势感知方法,其特征在于,所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
8.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的空间态势感知方法的步骤。
CN201811476119.0A 2018-12-04 2018-12-04 空间态势感知方法和计算机可读存储介质 Active CN109583458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811476119.0A CN109583458B (zh) 2018-12-04 2018-12-04 空间态势感知方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811476119.0A CN109583458B (zh) 2018-12-04 2018-12-04 空间态势感知方法和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109583458A true CN109583458A (zh) 2019-04-05
CN109583458B CN109583458B (zh) 2020-11-17

Family

ID=65926185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811476119.0A Active CN109583458B (zh) 2018-12-04 2018-12-04 空间态势感知方法和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109583458B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN106791623A (zh) * 2016-12-09 2017-05-31 深圳市云宙多媒体技术有限公司 一种全景视频拼接方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN106791623A (zh) * 2016-12-09 2017-05-31 深圳市云宙多媒体技术有限公司 一种全景视频拼接方法及装置

Also Published As

Publication number Publication date
CN109583458B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN105100640B (zh) 一种局部配准并行视频拼接方法及系统
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN103258321A (zh) 一种图像拼接方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN108447022A (zh) 基于单个固定摄像头图像序列的运动目标拼接方法
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN105488777A (zh) 一种基于移动前景下全景图实时生成系统及其方法
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems
Zhu et al. A fast image stitching algorithm based on improved SURF
Tu et al. Histogram equalization and image feature matching
CN110120013A (zh) 一种点云拼接方法及装置
CN106780309A (zh) 一种合成孔径雷达图像拼接方法
CN108491857A (zh) 一种视域重叠的多摄像机目标匹配方法
CN104966283A (zh) 图像分层配准方法
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN109583458A (zh) 空间态势感知方法和计算机可读存储介质
CN113850905B (zh) 一种用于周扫型光电预警系统的全景图像实时拼接方法
CN108830804A (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
Jagadeeswari et al. A comparative study based on video stitching methods
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
Wang et al. Application of improved SURF algorithm in real scene matching and recognition
CN110910418A (zh) 基于旋转不变性图像特征描述子的目标跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant