CN108174054B - 一种全景移动侦测方法与装置 - Google Patents

一种全景移动侦测方法与装置 Download PDF

Info

Publication number
CN108174054B
CN108174054B CN201711470697.9A CN201711470697A CN108174054B CN 108174054 B CN108174054 B CN 108174054B CN 201711470697 A CN201711470697 A CN 201711470697A CN 108174054 B CN108174054 B CN 108174054B
Authority
CN
China
Prior art keywords
panoramic
image
weight
value
fisheye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711470697.9A
Other languages
English (en)
Other versions
CN108174054A (zh
Inventor
张恩泽
赖文杰
胡志发
成茵
余黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Visionertech Co ltd
Original Assignee
Chengdu Visionertech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Visionertech Co ltd filed Critical Chengdu Visionertech Co ltd
Priority to CN201711470697.9A priority Critical patent/CN108174054B/zh
Publication of CN108174054A publication Critical patent/CN108174054A/zh
Application granted granted Critical
Publication of CN108174054B publication Critical patent/CN108174054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明涉及移动侦测领域领域，公开了一种全景移动侦测方法，依次包括下述步骤，一、获取双鱼眼图像或全景2:1图像；二、对采集到的图像进行比较和计算，具体为利用通用移动侦测计算获得各个区域是否移动的猜测值；三、计算不同区域的权重补偿值，获得不同区域的权重；四、将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，有效实现精准移动侦测。

Description

一种全景移动侦测方法与装置
技术领域
本发明涉及移动侦测领域，涉及到其中的照明补偿方案与不同成像位置权重补偿方案，具体是指一种全景移动侦测方法与装置。
背景技术
目前，对于普通监控镜头的移动侦测主要通过对矩形分区后的采集图像的各个区域进行背景检测计算，之后给出移动区域标识实现移动物体的侦测。
对于由双鱼眼组成的全景镜头，所采集图像在以下方面上有异于普通镜头：
一是所采集到的图像为圆形，图像中存在部分无效画面，不用对该部分进行移动侦测；
二是鱼眼镜头存在很大的畸变，导致同一物体在图像中心的运动与在边缘处的运动产生不同的变化；
三是通过鱼眼镜头生成的是2比1全景图像，全景图像是按照经纬度来排列，与常规图案的平面坐标空间不同，导致2比1全景图案不同部分的权重不同。
针对上述问题，目前对矩形分区的处理办法已经无法很好的适应全景镜头的移动侦测需求。
发明内容
基于全景镜头所成图像有别于普通相机所成图像引入的移动侦测不准确问题，本发明提供了一种全景移动侦测方法与装置。本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，有效实现全景镜头精准的移动侦测。
为解决以上技术问题，本发明采用的技术方案如下：
一种全景移动侦测方法，依次包括下述步骤，
一、获取双鱼眼图像或全景2:1图像；
二、对采集到的图像进行比较和计算，具体为利用通用移动侦测计算获得各个区域是否移动的猜测值；
三、计算不同区域的权重补偿值，获得不同区域的权重；
四、将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。
作为一种优选的方式，在步骤二中，通用移动侦测的算法为帧差法或高斯背景建模。
作为一种优选的方式，在步骤三中，
(1)对于鱼眼图像进行的区域权重补偿按照以下方式来进行，圆周鱼眼定义其圆心坐标O(xo,yo)，半径为R(单位为像素)，其对应等效焦距为f，视角为fov，对应关系为
Figure GDA0002771214940000021
投影关系为F(θ)＝tan(θ)，对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值，设定在圆心坐标O对应权重值为S，其他位置P(x,y)的对应的权重补偿值计算如下：
Figure GDA0002771214940000022
Figure GDA0002771214940000023
Figure GDA0002771214940000024
(2)对于全景2:1图像进行的区域权重补偿值按照以下方式来进行，权重补偿值计算方式如下：
Figure GDA0002771214940000025
row＝πR，col＝2πR
Figure GDA0002771214940000026
ΔSeqt＝dxdy
故而，其权重补偿值计算为：
Figure GDA0002771214940000027
作为一种优选的方式，在步骤三中，圆心坐标对应权重值S直接设定为1。
作为一种优选的方式，在步骤四中，将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，同时进行拍照、录像、提示用户等操作，当输入为全景图像时，则将移动侦测结果显示，同时进行拍照、录像、提示用户等操作。
一种全景移动侦测装置，采用上述全景移动侦测方法进行移动侦测。
在全景镜头应用进行移动判断时，根据现有方法，对场景中背景进行建模并给出动态移动物体的检测，结合相机内的权值，加权计算是否发生移动的猜测值，当该猜测值大于设定的阈值时，即认为有移动发生，进而在全景图像上进行移动部分的识别录像高清图像拍摄，通知上层等操作。
其中输入为双鱼眼图像时，权重的计算方式为，根据镜头设计畸变参数，获取不同区域每个像素对应到全景图像中成像球的面积，对应的面积越大，其权重也越大。输入图像为2：1全景图像时，由于2：1图像的长和宽分别表示经度与纬度，其每个像素对应到全景像球上的面积计算方式也需要相应更新，最终权重与每个像素所对应全景球上面积大小相关，对应面积越大，权重越高。
与现有技术相比，本发明的有益效果是：本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，通过对鱼眼图像或者全景2:1格式图像的不同区域权重补偿，实现全景鱼眼镜头的准确移动侦测。
附图说明
下面结合附图和实施例对本实用新型进一步说明。
图1是本方案在输入视频为双鱼眼图像时的工作流程图。
图2是本方案采用的双鱼眼权重的示意图。
图3是本方案在输入视频为2：1全景视频时的工作流程图。
图4是本方案所采用的2：1全景视频图各区域示意图。
具体实施方式
下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。
本发明中提出了通过对鱼眼图像或者全景2:1格式图像的不同区域权重补偿，实现全景鱼眼镜头的准确移动侦测。
在现有的移动侦测中首先对输入的图像进行动态侦测，该侦测方法可以使用不同的算法实现，比如：帧差法、高斯背景建模等。
帧差法使用连续的视频帧之间的差异，得到视频帧的图像内容变化，通过后续的形态学区域筛选得到最终动态侦测结果。高斯背景建模则是通过对静态场景背景进行建模，一般会用多帧的图像作为初始化输入，建模初始化完成后进行动态侦测是通过对后续帧内容不同区域进行前/后景判断，得到初步移动侦测结果，并且同步更新场景模型；后续亦是通过形态学区域筛选得到最终动态侦测结果。普通的镜头画面得到的移动侦测即为此步得到的结果。
而针对鱼眼镜头或者全景2:1格式图像等各种包含画面畸变的图像，直接使用此结果会得到不准确结果，对此我们引入了不同区域权重补偿。
1.对于鱼眼镜头进行的区域权重补偿按照以下方式来进行：
对于鱼眼镜头其画面成像P一般为圆周鱼眼(不同尺寸sensor从圆周鱼眼中截取部分图像)，对于圆周鱼眼定义其圆心坐标O(xo,yo)，半径为R(单位为像素)，并且其对应等效焦距为f，视角为fov，且有对应关系
Figure GDA0002771214940000041
以下使用投影关系为F(θ)＝tan(θ)。对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值。设定在圆心坐标O对应权重值为S(或者为简化计算直接设定为1)，对于其他位置P(x,y)的对应的权重补偿值为：
Figure GDA0002771214940000042
Figure GDA0002771214940000043
Figure GDA0002771214940000044
2.对应的全景2:1图像进行的区域权重补偿按照以下方式来进行：
Figure GDA0002771214940000045
row＝πR，col＝2πR
Figure GDA0002771214940000046
ΔSeqt＝dxdy
故而，对于权重补偿值计算为：
Figure GDA0002771214940000047
3.移动侦测结果判定：
在对原始画面进行动态侦测之后，得到“疑似”移动区域并得到对应用二值图表示的移动区域掩模图像，并对掩模图像进行连通域判断得到“候选”移动物体及个数，用模板图像和权值图进行“与”操作或者计算掩模图像连通域内各个坐标对应的权值，把各个连通域内权值进行累加即得到各个移动物体运动程度的表示，通过设定阈值即可判定改移动是否是实际场景中真实的移动。
实施例一：
如图1、图2所示，输入为双鱼眼时移动侦测方法包括步骤：
1、在双鱼眼全景相机所拍摄的图像中获取两幅鱼眼像的圆心以及半径；
2、对全景相机所采集到的图像进行比较和计算，得到对应区域是否移动的猜测值；
3、结合预先定义的权重对上一步采集到的猜测值进行加权计算；
4、当计算结果超出阈值时，提示全景相机存在移动，并传递移动区域；
5、将移动区域投射至拼接好的2:1全景图像中，对该区域进行畸变矫正；
6、进行识别，录像，拍照，提示用户等操作；
7、流程结束。
实施例二：
对应于监控相机中，操作流程包括：
1、移动侦测算法先从相机中读取预先识别好的鱼眼圆心与半径；
2、对采集到的图像进行比较计算，获取对应区域是否移动的猜测值；
3、根据相机对采集到鱼眼图像的补偿，获得是否移动判断的加权值；
4、当加权值大于阈值时，认为存在移动，通知相机；
5、相机接收到传来的移动信号，将发生移动部分映射到鱼眼图像所拼接成2:1全景图像上，对移动部分进行框选突出与识别；
6、相机进行拍照，录像，提示用户等操作；
7、结束。
实施例三：
如图3、图4所示，对于输入视频为2：1全景图像的全景相机流程包括：
1、对输入的全景视频进行比较计算，获取各个区域是否移动的猜测值；
2、结合各个区域的权重，获取整体全景视频是否移动的判断结果。若发生移动，则通知相机，进行相关操作；
3、相机接收到传来的移动信号，对移动部分进行框选突出与识别等操作，进行拍照，录像，提示用户；
4、结束。
实施例四：
在商场或景区人流监控应用中，操作流程包括：
1、移动侦测算法从相机中读取预先识别好的鱼眼圆心与半径；
2、对采集到的图像进行比较计算，获取各个区域对应的运动情况；、
3、将运动区域投影至拼接好的2:1全景视频中；
4、对其中人流进行识别跟踪；
5、统计各个区域的单位时间人流量；
6、以热力图的形式显示出各个区域的人流量；
7、结束。
如上所述即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (3)

1.一种全景移动侦测方法，其特征在于：依次包括下述步骤，
一、获取双鱼眼图像或全景2:1图像；
二、对采集到的图像进行比较和计算，具体为利用移动侦测技术计算获得各个区域是否移动的猜测值，移动侦测的算法为帧差法或高斯背景建模法；
三、计算不同区域的权重补偿值，获得不同区域的权重，其中：
(1)对于双鱼眼图像进行的区域权重补偿按照以下方式来进行，x、y表示像素点的像素坐标值，圆周鱼眼定义其圆心坐标O(xo,yo)，R为全景球面半径，其对应等效焦距为f，视角为fov，对应关系为
Figure FDA0002771214930000011
投影关系为F(θ)＝tan(θ)对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值，设定在圆心坐标O对应权重值为S，其他位置P(x,y)的对应的权重补偿值计算如下：
Figure FDA0002771214930000012
Figure FDA0002771214930000013
Figure FDA0002771214930000014
其中，θ表示全景球面地理坐标系经度坐标；
(2)对于全景2:1图像进行的区域权重补偿值按照以下方式来进行，x、y表示像素点的像素坐标值，权重补偿值计算方式如下：
Figure FDA0002771214930000015
row＝πR，col＝2πR
Figure FDA0002771214930000021
ΔSeqt＝dxdy
其中，
Figure FDA0002771214930000022
表示全景球面地理坐标系纬度坐标，θ表示全景球面地理坐标系经度坐标，dx、dy、dθ、
Figure FDA0002771214930000023
为对应值微分，row表示画面高度、col表示画面宽度，ΔSsphere表示球面微元面积，ΔSeqt表示平面微元面积，R为全景球面半径；
故而，其权重补偿值W(x,y)计算为：
Figure FDA0002771214930000024
将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。
2.根据权利要求1所述的一种全景移动侦测方法，其特征在于：在步骤三中，圆心坐标对应权重值S直接设定为1。
3.根据权利要求1所述的一种全景移动侦测方法，其特征在于：在步骤四中，将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，同时进行拍照、录像、提示用户操作，当输入为全景图像时，则将移动侦测结果显示，同时进行拍照、录像、提示用户操作。
CN201711470697.9A 2017-12-29 2017-12-29 一种全景移动侦测方法与装置 Active CN108174054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711470697.9A CN108174054B (zh) 2017-12-29 2017-12-29 一种全景移动侦测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711470697.9A CN108174054B (zh) 2017-12-29 2017-12-29 一种全景移动侦测方法与装置

Publications (2)

Publication Number Publication Date
CN108174054A CN108174054A (zh) 2018-06-15
CN108174054B true CN108174054B (zh) 2021-03-19

Family

ID=62520032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711470697.9A Active CN108174054B (zh) 2017-12-29 2017-12-29 一种全景移动侦测方法与装置

Country Status (1)

Country Link
CN (1) CN108174054B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290001A (zh) * 2018-12-06 2020-06-16 杭州海康威视数字技术股份有限公司 一种基于gps坐标的目标统筹方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048443A (ja) * 2007-09-21 2008-02-28 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像抽出方法
CN104517298A (zh) * 2013-10-02 2015-04-15 东芝阿尔派·汽车技术有限公司 移动体检测装置
CN105306813A (zh) * 2014-07-22 2016-02-03 佳能株式会社 图像处理装置及图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048443A (ja) * 2007-09-21 2008-02-28 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像抽出方法
CN104517298A (zh) * 2013-10-02 2015-04-15 东芝阿尔派·汽车技术有限公司 移动体检测装置
CN105306813A (zh) * 2014-07-22 2016-02-03 佳能株式会社 图像处理装置及图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于鱼眼视频图像的人群人数估计算法的研究;韩迎辉等;《电子器件》;20141231;第1节 *

Also Published As

Publication number Publication date
CN108174054A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CN110889829B (zh) 一种基于鱼眼镜头的单目测距方法
WO2018101247A1 (ja) 画像認識撮像装置
WO2017045326A1 (zh) 一种无人飞行器的摄像处理方法
JP2020149642A (ja) 物体追跡装置および物体追跡方法
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP2020053774A (ja) 撮像装置および画像記録方法
US20160156844A1 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
JP2020149641A (ja) 物体追跡装置および物体追跡方法
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108174054B (zh) 一种全景移动侦测方法与装置
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
JP2019027882A (ja) 物体距離検出装置
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
WO2023072030A1 (zh) 镜头自动对焦方法及装置、电子设备和计算机可读存储介质
CN110211155A (zh) 目标跟踪方法及相关装置
EP3564917A1 (en) A method for detecting motion in a video sequence
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN113723432A (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
JP6063680B2 (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant