CN109583458B - 空间态势感知方法和计算机可读存储介质 - Google Patents
空间态势感知方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109583458B CN109583458B CN201811476119.0A CN201811476119A CN109583458B CN 109583458 B CN109583458 B CN 109583458B CN 201811476119 A CN201811476119 A CN 201811476119A CN 109583458 B CN109583458 B CN 109583458B
- Authority
- CN
- China
- Prior art keywords
- data
- points
- acquisition
- matching
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 13
- 230000008030 elimination Effects 0.000 claims abstract description 7
- 238000003379 elimination reaction Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101150115013 DSP1 gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100388212 Arabidopsis thaliana DSP3 gene Proteins 0.000 description 1
- 101100388215 Arabidopsis thaliana DSP5 gene Proteins 0.000 description 1
- 102100033270 Cyclin-dependent kinase inhibitor 1 Human genes 0.000 description 1
- 101150052726 DSP2 gene Proteins 0.000 description 1
- 101000944380 Homo sapiens Cyclin-dependent kinase inhibitor 1 Proteins 0.000 description 1
- 101100528972 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RPD3 gene Proteins 0.000 description 1
- 101100183412 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SIN4 gene Proteins 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- SDJLVPMBBFRBLL-UHFFFAOYSA-N dsp-4 Chemical compound ClCCN(CC)CC1=CC=CC=C1Br SDJLVPMBBFRBLL-UHFFFAOYSA-N 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种空间态势感知方法和计算机可读存储介质,其中感知方法包括采集步骤、处理步骤、输出步骤、识别步骤以及特征点匹配步骤;处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤采用OpenCV拼接算法;所述特征点匹配步骤还包括误匹配消除子步骤;本发明能够实现八路摄像无缝拼接功能,360度无死角观测,视频流畅,在50m内能辨别人员外形轮廓,同时增加了静止平台条件下的移动目标检测功能,可以帮助乘员及时了解周围环境。有助于对复杂环境的预判;另外,对于城市环境,本发明可以辅助车辆,扩大巡逻及控制范围。
Description
技术领域
本发明涉及图像处理和图像识别领域,具体地,涉及一种空间态势感知方法和计算机可读存储介质。
背景技术
在图像态势感知方面,美国F35战机、欧洲主战坦克,都已经展开了这方面的研发工作。针对我国反恐形势的日加严峻,360度态势感知系统完全可以应用到反恐的武器装备上面,形成一套车载全视景处理系统。使得反恐现场的指挥人员可以实时观测暴乱现场、对特定目标做近景观察并拍照、对现场的全景和近景的观察做实时视频记录,根据现场态势,指挥和布置打击行动。
因此,提供一种空间态势感知方法,尤其是能够实现人脸或车辆捕捉追踪功能的空间态势感知方法具有重要的意义和实用性。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种空间态势感知方法和计算机可读存储介质。
根据本发明提供的一种空间态势感知方法,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号。
优选地,所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
优选地,本发明提供的空间态势感知方法还包括识别步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
优选地,本发明提供的空间态势感知方法还包括特征点匹配步骤,所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
优选地,所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的空间态势感知方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的空间态势感知方法,能够采集融合多源图像,进而实现360度视场范围内无死角观测;
2、本发明提供的空间态势感知方法,算法优化使得图像更为清晰,50m内能辨别人员外形轮廓;
3、本发明提供的空间态势感知方法,算法优化使得视频更为流畅,肉眼观测下无明显的停顿;
4、本发明提供的空间态势感知方法,能够特定目标的捕捉、识别以及跟踪。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明提供的空间态势感知方法的总体构架示意图;
图2为本发明提供的空间态势感知方法所使用的硬件体系示意图;
图3为本发明提供的空间态势感知方法中图像融合处理的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种空间态势感知方法,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号。
优选地,所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
优选地,所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据。
具体地,所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
本发明提供的空间态势感知方法还包括识别步骤和特征点匹配步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的空间态势感知方法的步骤。
更具体地,本发明的优选例能够实现八路摄像无缝拼接功能,360度无死角观测,视频流畅,在50m内能辨别人员外形轮廓。同时增加了静止平台条件下的移动目标检测功能。可以帮助乘员及时了解周围环境。有助于对复杂环境的预判。另外,对于城市环境,本发明优选例可以辅助车辆,扩大巡逻及控制范围。其中,所述的八路视频采集分别采用八个独立线程,将采集到的视频数据放入拼接视频缓存区,待八路视频都采集完毕后,视频拼接处理模块将做进一步的拼接编辑处理。视频拼接功能模块将对每个相邻的两个图片做对齐处理,再将上面和下面多出的黑边剪裁掉,使得拼接后的八路视频成为一个完整的图片,然后将拼接编辑后的图片送显示器输出。以上图片剪裁和编辑功能是由OpenGL完成。所有处理必须能够满足每秒25帧的速率,以保证显示的结果是平滑的,没有丢帧。所述的视频拼接算法主要考虑图像在拼接时产生的上下平移量和左右平移量,具有较高的匹配准确率。
1)将彩色图像转为灰度图像。
2)在处理之前可以采用一次或两次金字塔算法,降低分辨率,加快计算速度。
3)确定拼接图像和待拼接图像,首先是拼接图像的左部分和待拼接图像的右部分进行拼接,确定重合区域。本算法选用拼接图像的宽度的1/10和高度的1/2作为匹配模板,选待拼接图像的1/6宽度作为匹配模板。这时候要求两幅图像的重合率要小于图像宽度的1/6。
4)选择拼接图像左部分区域为图像宽度的1/10和高度的1/2作为模板,本算法选用中间部分作为匹配模板,当然也可以选择上部分或下部分。选择待拼接图像的左部分宽度为1/6的区域为匹配区域。
5)调用opencv中的匹配模板函数cvMatchTemplate(),对匹配结果中的值进行筛选,选取最大值,确定最佳的匹配位置,可以得到最佳的匹配坐标。
6)根据匹配坐标,将两幅图像直接拼在一起,此算法没有进行重叠区域的图像像素之间的融合算法。
进一步地,如图1所示,本发明优选例采用的硬件设备,由一个可做360度旋转和可俯仰的云台外加八个可变焦高清摄像头组成,利用SIFT提取算法对多路视频进行图像特征点的捕捉,并且把图像重叠区域内相对应的特征点进行对齐从而完成拼接,为消除拼缝提高拼接质量,在处理能力足够的情况下,使不同图像之间灰度平稳过渡,从而实现图像融合。
所述的SIFT提取算法是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置、尺度、旋转不变量。一幅图像SIFT特征向量的生成可以分为以下4步:
1)建立图像金字塔。高斯卷积核是实现尺度变换过程的唯一变换核,也是唯一的线性核。为了有效的实现尺度变换,采用不同尺度的高斯差分核对图像进行卷积操作,得到高斯差分尺度空间,由此来检测高斯差分空间特征点。
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度空间因子;σ大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征,大的σ值对应粗糙程度(低分辨率),反之对应精细尺度(高分辨率),为了有效的在尺度空间检查到稳定的关键点,提出了高斯尺度空间(DOG Scale-Space)。
2)检测尺度空间极值。在检测尺度空间的极值点过程中,通过将检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都能检测到极值点。
3)确定关键点位置、尺度及方向。由于DoG算子会有较强的边缘响应,确定关键点的位置和尺度(达到亚像素精度)需要拟和三维二次函数,在这个过程中,同时也可以去除对比度较低的关键点和不稳定的边缘响应点。利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值和方向如下。
基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。关键点的位置确定了,接下来我们确定关键点的尺度和方向,算出每个关键点的幅度m(x,y)和方向θ(x,y)。通过尺度不变性求极值点,可以使其具有缩放不变的性质,利用关键点邻域像素的梯度方向分布特性,我们可以为每个关键点指定方向参数方向,从而使描述子对图像旋转具有不变性,我们通过求每个极值点的梯度来为极值点赋予方向。
4)生成关键点描述子。用梯度方向直方图的方法,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,最终可以得到128维的SIFT特征描述子。
特征点匹配步骤是基于DBH特征点匹配算法的,即算法思路基于以下内容:
假如两个高维特征点是一对匹配点,则它们在某些维上一定相同或者相似。具体实现步骤如下:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,随机选择制定数量的维;
(2)对数据空间的每一个点,计算其在各个随机维上的数据分布情况,如果有两个数据在这些随机维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到某个特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点。如果降低这个比例阈值,SIFT匹配点数会减少,但会更加稳定。
经过DBH算法检测的特征点匹配对的集合中会有一定的误配点存在,可以用RANSAC消除误匹配,以得到最优透视变换矩阵。RANSAC算法的步骤即为误匹配消除子步骤。
更进一步地,可变焦高清摄像头的观测位置、角度、和焦距可由视频处理单元自动控制或由视频处理单元提供的可视人机界面用操作人员控制。系统采用的8个复合视频摄像头,PAL格式,均布360°。每四路视频由一块专用视频处理板卡进行处理,完成主要图像处理任务,再通过高性能单板电脑把拼接完的信号传给显示终端,进行显示。
如图2Intel Core i7工控机1台;配置:CPU:I7-4770(3.4Ghz)、内存:4G、DVI输出:1个、串口:6个、USB3.0:4个、USB2.0:2个、千兆网口:2个、PCI接口:3个、PCI-Ex16:1、PCI-Ex1:3个、工作温度:-20到60度;其主要功能是通过两个6通道的复合视频采集卡将8路复合视频采集进来,并将采集到的视频数据存入主卡的内存。数字视频处理单元的主卡(IntelCore i7)将对采集到的视频做相应的图像处理。Intel Core i7计算机带有图形处理功能,支持OpenGL。该计算机还带有DVI视频输出端口。可在处理后的视频上做各种图形叠加,并将最终数字视频处理的结果,通过其DVI视频输出端口输出到DVI显示器上。
图3采用八个高清SDI摄像头,视场角65°,像素130万。均布车身四周。Fpga对八路SDI摄像头进行预处理(图像调整,畸变矫正),之后采用DSP进行图像融合及进行人脸捕获。其中DSP1,先对SDI1和SDI2进行图像融合,然后把融合好的图像传给DSP2;DSP2先对SDI3和SDI4输入的视频进行融合,然后把图像和DSP1传来的图像再进行融合从而完成前180度的视景融合。同理,后180度视频融合由DSP3和DSP4处理。DSP5和DSP6主要进行人脸捕捉和跟踪。
本发明提供一种空间态势感知系统,该系统具备八路摄像头拼接功能,实现360度视场范围内无死角观测,视频流畅,肉眼观测下无明显的停顿,在50m内能辨别人员外形轮廓。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将系统步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现系统的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (5)
1.一种空间态势感知方法,其特征在于,包括采集步骤、处理步骤以及输出步骤;
采集步骤:通过采集源采集目标区域的空间态势;
处理步骤:将采集源采集到的空间态势数据处理为输出设别能够识别的信号;
输出步骤:利用输出设备输出处理步骤得到的信号;
所述采集源包括视频采集源和/或可见光传感器,并且:
-所述采集步骤中的采集源数量为一个;或者
-所述采集步骤中的采集源数量为多个,处理步骤还包括多采集源信号整合子步骤;所述多采集源信号整合子步骤能够将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;
所述多采集源信号整合子步骤采用OpenCV拼接算法;所述OpenCV拼接算法具体如下:
(1)将彩色图像转换为灰度图像,并根据设定的计算时间决定是否采用金字塔算法;所述金字塔算法能够通过降低分辨率的方法提升计算速度;
(2)根据采集源配置选取一组空间态势数据作为基础数据确定坐标参数,其余数据作为待匹配数据;随后选取基础数据的一部分或全部作为匹配模板,并分别选取待匹配数据的一部分或全部作为该待匹配数据的待匹配区域;
(3)调用opencv中的匹配模板函数cvMatchTemplate(),分别对每个待匹配区域相对匹配模板进行匹配,并分别选取匹配结果的最大值作为最佳匹配位置,从而得到最佳匹配坐标;
(4)根据最佳匹配坐标,将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;
所述多采集源信号整合子步骤采用SIFT提取算法;所述SIFT提取算法能够捕捉多个采集源采集数据的特征点,并且能够通过对齐重叠区域内相对应的特征点进行对齐,从而将多个采集源采集的空间态势数据组合为同一坐标参数下的一组数据;所述特征点的生成方法如下:
(1)建立图像金字塔,采用高斯差分核对采集的图像进行卷积操作,通过以下公式得到高斯差分尺度空间D(x,y,σ),并以此检测高斯差分空间特征点;
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中,σ是尺度坐标,(x,y)为空间坐标,G(x,y,σ)为尺度可变高斯函数,L(x,y,σ)为图像尺度空间,I(x,y)为原始图像,k为常数,指图像所处金字塔中层位置;
(2)检测尺度空间极值,通过将检测点和它同尺度的8个相邻点和上相邻尺度对应的9×2个相邻点,共计26个相邻点比较,检测尺度空间极值点;
(3)确定关键点位置、尺度及方向,利用关键点邻域像素的梯度及方向分布的特性,可以得到梯度模值m(x,y)和方向θ(x,y)如下:
(4)生成关键点描述子,利用梯度方向直方图,对所得每一个关键点的位置、尺度以及方向信息,用4×4共16个种子点来描述,得到该关键点的128维SIFT特征描述子。
2.根据权利要求1所述的空间态势感知方法,其特征在于,还包括识别步骤;
识别步骤:利用处理步骤得到的信号,对预设特定目标进行捕捉和跟踪,并将识别结果输出。
3.根据权利要求2所述的空间态势感知方法,其特征在于,还包括特征点匹配步骤,所述特征点匹配步骤通过如下子步骤实现:
(1)为高维特征点数据空间的每一维选择一个关键值作为分隔阈值,根据设定的条件选择指定数量的维;
(2)对数据空间的每一个点,计算其在各个维上的数据分布情况,如果有两个数据在这些维上的数据分布相同,或将它们散列到同一个桶(buckets)里;
(3)将每一个查询数据散列到特定桶中,计算该桶中所有数据点的欧式距离情况并进行比较;
(4)在内存中建立一个哈希函数,进行循环的散列和查询,以提高查询精度;
(5)对于查询得到的匹配关键点中,如果最近的距离除以次近的距离少于设定比例阈值,则接受这一对匹配点。
4.根据权利要求3所述的空间态势感知方法,其特征在于,所述特征点匹配步骤还包括误匹配消除子步骤,所述误匹配消除子步骤通过如下方法实现:
(1)依据概率,求取得最大采样次数N,重复N次随机采样;
(2)选取四对匹配点,使得样本中的任意三点不共线,计算变换矩阵H;
(3)计算经过矩阵变换后每个匹配点到对应匹配的距离;
(4)计算内点距离小于距离阈值的内点个数,并比较,选择一个包含点最多的点集,作为去错匹配后角点对集合;
(5)利用消除误匹配后的角点对集合,可以计算得到最优透视变换矩阵。
5.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的空间态势感知方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811476119.0A CN109583458B (zh) | 2018-12-04 | 2018-12-04 | 空间态势感知方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811476119.0A CN109583458B (zh) | 2018-12-04 | 2018-12-04 | 空间态势感知方法和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109583458A CN109583458A (zh) | 2019-04-05 |
CN109583458B true CN109583458B (zh) | 2020-11-17 |
Family
ID=65926185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811476119.0A Active CN109583458B (zh) | 2018-12-04 | 2018-12-04 | 空间态势感知方法和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109583458B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
US20150071524A1 (en) * | 2013-09-11 | 2015-03-12 | Motorola Mobility Llc | 3D Feature Descriptors with Camera Pose Information |
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN106791623A (zh) * | 2016-12-09 | 2017-05-31 | 深圳市云宙多媒体技术有限公司 | 一种全景视频拼接方法及装置 |
-
2018
- 2018-12-04 CN CN201811476119.0A patent/CN109583458B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150071524A1 (en) * | 2013-09-11 | 2015-03-12 | Motorola Mobility Llc | 3D Feature Descriptors with Camera Pose Information |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN106791623A (zh) * | 2016-12-09 | 2017-05-31 | 深圳市云宙多媒体技术有限公司 | 一种全景视频拼接方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109583458A (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978755B (zh) | 全景图像合成方法、装置、设备与存储介质 | |
Glasner et al. | Aware object detection and pose estimation | |
Liu et al. | Robust and fast registration of infrared and visible images for electro-optical pod | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
Han et al. | CAD-based 3D objects recognition in monocular images for mobile augmented reality | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
Wang et al. | An overview of 3d object detection | |
US20240013505A1 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
Farag | A lightweight vehicle detection and tracking technique for advanced driving assistance systems | |
CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
CN106919895A (zh) | 用于运动目标的跟踪方法和系统 | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
JP7363504B2 (ja) | オブジェクト検出方法、検出装置及び電子機器 | |
CN109583458B (zh) | 空间态势感知方法和计算机可读存储介质 | |
KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
Nagaraja et al. | Parallax effect free mosaicing of underwater video sequence based on texture features | |
CN116883870A (zh) | 一种基于深度学习的无人机落石目标检测方法及装置 | |
Gerhardt et al. | Neural network-based traffic sign recognition in 360° images for semi-automatic road maintenance inventory | |
CN110674817B (zh) | 一种基于双目摄像头的车牌防伪的方法及装置 | |
Deng et al. | Underwater circular object positioning system based on monocular vision | |
CN108058170A (zh) | 一种视觉机器人数据采集处理系统 | |
Sun et al. | Light-YOLOv3: License plate detection in multi-vehicle scenario | |
Dai et al. | Real object registration algorithm based on SURF and RANSAC | |
Banaeyan et al. | A novel concept for smart camera image stitching | |
Yang et al. | Object detection and localization algorithm in agricultural scenes based on YOLOv5 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |