CN108717704B - 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 - Google Patents
基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108717704B CN108717704B CN201810464341.2A CN201810464341A CN108717704B CN 108717704 B CN108717704 B CN 108717704B CN 201810464341 A CN201810464341 A CN 201810464341A CN 108717704 B CN108717704 B CN 108717704B
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- target
- corrected
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 135
- 238000004590 computer program Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种基于鱼眼图像的目标跟踪方法、计算机装置以及计算机可读存储介质,该方法包括获取鱼眼图像,确定鱼眼图像的矫正区域,对矫正区域的图像进行矫正,获取矫正图像;并且,对矫正图像进行图像识别,确定目标图像的位置;获取目标图像移动方向,根据目标图像的移动方向调整鱼眼图像中的矫正区域的位置和/或大小。本发明还提供实现上述方法的计算机装置以及计算机可读存储介质。本发明能够减小方便用户通过带有鱼眼镜头的监控设备对目标图像的动态跟踪。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种基于鱼眼图像的目标跟踪方法、实现这种方法的计算机装置以及计算机可读存储介质。
背景技术
随着拍摄设备的发展,人们广泛应用各种广角镜头拍摄照片,其中鱼眼镜头是一种具有极宽视角的广角镜头。使用鱼眼镜头拍摄的照片通常被称为鱼眼图像,由于鱼眼图像的视场角大,单个鱼眼相机可以获取180度视场信息的内容,该特性使鱼眼镜头越来越多的应用于自动驾驶、全景监控、虚拟现实等领域。然而,由于鱼眼图像本身存在较大畸变,因此需要通过适当的映射关系及畸变矫正算法对鱼眼图像进行矫正,输出符合人体视觉特性的非畸变图像,通常,输出的非畸变图像可以成为矫正图像。
由于鱼眼图像的视场角度非常大,因此现在的一些监控设备通过一个鱼眼摄像机拍摄图像,并且对鱼眼摄像机拍摄的图像进行矫正后以多角度分屏的方式显示,例如将一张鱼眼图像划分成若干个区域,并且对每一个区域进行矫正,从而获得多张矫正图像,每一张矫正图像可以作为一个分屏显示的图像。
例如,现有的一些监控摄像头在对鱼眼图像进行畸变矫正后,以多角度多分屏的方式通过网络将多路图像传送到电脑客户端或者手机端进行解码,以便于用户通过多个角度实现对被监控区域的多角度的监控。通常,在原始的鱼眼图像中划分出来的区域被称为矫正区域,如果用户希望调整监控的区域,可以在电脑或者手机等客户端上拖拽移动矫正区域来实现矫正区域的移动。
典型的应用场景是,用户在矫正后的图像中发现某一个感兴趣的人或者物体,这个感兴趣的人或者物体可以称为目标物体,目标物体对应在矫正图像上的图像称为目标图像。如果用户希望通过矫正后的图像持续看到目标图像,则往往需要手动的拖拽鱼眼图像中矫正区域的框线,或者通过手动输入调节鱼眼图像矫正区域的视场角的角度、缩放大小比例等信息,来改变矫正区域在鱼眼图像中的位置。
然而,这种情况是需要用户手动判断目标图像的移动方向,并且手动的调节矫正区域的位置,往往难以实现对特定目标图像做出快速准确的检测和画面的移动,而目标图像的移动方向的判断也大多依赖人眼进行,判断的准确率较低,且工作效率难以保证,往往难以实现有效的对目标物的跟踪。
发明内容
本发明的主要目的是提供一种能够快速实现对目标图像跟踪的基于鱼眼图像的目标跟踪方法。
本发明的另一目的是提供一种能够实现上述基于鱼眼图像的目标跟踪方法的计算机装置。
本发明的再一目的是提供一种能够实现上述基于鱼眼图像的目标跟踪方法的计算机可读存储介质。
为了实现上述的主要目的,本发明提供的基于鱼眼图像的目标跟踪方法包括获取鱼眼图像,确定鱼眼图像的矫正区域,对矫正区域的图像进行矫正,获取矫正图像;并且,对矫正图像进行图像识别,确定目标图像的位置;获取目标图像移动方向,根据目标图像的移动方向调整鱼眼图像中的矫正区域的位置和/或大小。
由上述方案可见,通过对矫正后的图像进行图像识别,如进行人脸识别或者运动目标检测等,确定目标图像在矫正图像中的位置,然后根据目标图像在矫正图像中的运动方向来实时调节矫正区域在鱼眼图像中的位置,从而确保后续输出的矫正图像中均能够看到目标图像,为目标物的跟踪提供了方便。
一个优选的方案是,获取目标图像移动方向包括:获取对连续多帧鱼眼图像矫正获得的矫正图像,确定每一张矫正图像中目标图像的位置,根据目标图像在多张矫正图像中的位置变化确定目标图像的移动方向。
由此可见,通过连续多帧鱼眼图像矫正后的图像中目标图像的位置来确定目标图像的运动方向,可以快速、准确的实现目标图像的运动方向判断。
进一步的方案是,根据目标图像的移动方向调整鱼眼图像中的矫正区域的位置包括:根据目标图像的移动方向调节矫正区域在鱼眼图像的视场角下的水平和/或垂直角度。
可见,通过对鱼眼图像的视场角下的水平角度或者垂直角度进行调节,可以快速准确的改变矫正区域的位置。
可选的方案是,根据目标图像的移动方向调整鱼眼图像中的矫正区域的位置包括:确定第一时刻下矫正区域的中心点的位置,根据目标图像的移动方向,调节矫正区域的中心点在鱼眼图像的中的位置。
由此可见,通过对矫正图像的中心点位置的调节来改变矫正区域的位置,可以快速简单的对矫正区域进行调节。
更进一步的方案是,根据目标图像的移动方向调整鱼眼图像中的矫正区域的位置包括:以目标图像为矫正图像的中心,确定鱼眼图像中调节后的矫正区域的位置,调节后的矫正区域的位置跟随目标图像的移动而移动。
更进一步的方案是,根据目标图像的移动方向调整鱼眼图像中的矫正区域的大小包括:判断目标图像的面积占矫正图像的面积是否在预设范围内,如小于下限阈值,则缩小矫正区域,如大于上限阈值,则放大矫正区域。
由此可见,通过对目标图像的面积的判断,实时调节矫正区域的大小,可以确保目标图像在矫正图像中的占比合适,方便用户观察目标图像的状态。
更进一步的方案是,缩小矫正区域后,对矫正区域的图像进行矫正并获得矫正图像,对矫正图像进行放大处理;放大矫正区域后,对矫正区域的图像进行矫正并获得矫正图像,对矫正图像进行缩小处理。
可见,通过对矫正图像进行放大或者缩小处理,可以确保用户看到大小合适的矫正图像,且目标图像在矫正图像中的占比合适,可以确保用户更加清楚的看到目标图像的变化。
为了实现上述的另一目的,本发明还提供的计算机装置包括处理器以及存储器,存储器存储有计算机程序,计算机程序被处理器执行时实现上述的基于鱼眼图像的目标跟踪方法的各个步骤。
为了实现上述的再一目的,本发明还提供的计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述基于鱼眼图像的目标跟踪方法的各个步骤。
附图说明
图1是本发明基于鱼眼图像的目标跟踪方法实施例的流程图。
图2是本发明基于鱼眼图像的目标跟踪方法实施例所矫正的鱼眼图像多个坐标系的示意图。
图3是本发明基于鱼眼图像的目标跟踪方法实施例鱼眼图像处理过程中坐标系计算的流程图。
图4是本发明基于鱼眼图像的目标跟踪方法实施例中鱼眼图像的矫正区域与矫正图像的示意图。
图5是本发明基于鱼眼图像的目标跟踪方法实施例中关于对矫正图像进行缩放的流程图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的基于鱼眼图像的目标跟踪方法应用在各种监控设备上,如带有鱼眼镜头的全景监控设备等,通过对鱼眼镜头所拍摄获得的鱼眼图像进行矫正计算,并且分屏输出至电脑、手机等终端设备上。本发明的计算机装置可以是上述的电子设备,计算机可读存储介质可以是具有数据存储功能的各种存储介质,包括但不限于FLASH、EEPROM等非易失性存储器。
本发明的主要构思是通过人工智能的识别算法与鱼眼摄像头监控进行有机结合,利用鱼眼镜头广阔的视场角以及人工智能算法在视频内容的特征提取、内容理解方面的特点,在目标物较多且多分屏监控画面的情况下,实现对特定目标物的图像进行快速准确的检测和以及画面跟随目标物的同步移动。
基于鱼眼图像的目标跟踪方法实施例:
本实施例是基于鱼眼图像所实现的对目标物的跟踪方法,参见图1,首先执行步骤S1,获取鱼眼图像,并且确定鱼眼图像中的矫正区域。本实施例的鱼眼图像是由带有鱼眼镜头的摄像装置所拍摄的图像,通常,鱼眼图像都是畸变严重的图像,因此,需要对鱼眼图像进行矫正后获得符合人眼视角的图像。
现有技术已经存在对鱼眼图像进行矫正的方法,例如,对整张原始的鱼眼图像进行矫正,获取一张完整的输出图像。由于鱼眼图像是一张发生了畸变的二维图像,因此,图像的每一个像素均具有自己的行坐标与列坐标,本实施例中,由拍摄设备所拍摄获得的原始图像被称为输入图像。相应的,矫正后的图像也是一张二维图像,图像中的每一个像素均具有自己的行坐标与列坐标,矫正获得的图像称为输出图像。
对鱼眼图像进行矫正时,首先需要确定输出图像中每一个像素点的行坐标对应于输入图像中的哪些行坐标的像素,并确定输出图像的每一个像素点的列坐标对应于输入图像中的哪些列坐标的像素。在确定输出图像与输入图像之间的像素的对应关系以后,形成一个映射关系对应表,然后根据映射关系对应表的数据对输入图像的数据进行矫正,如进行插值进行,从而获得输出的图像。
下面结合图2与图3介绍建立输出图像与输入图像的映射关系对应表的过程。根据鱼眼镜头的成像原理,可以将鱼眼镜头近似看作一个半球模型,如图2上半部分所示的半球模型。世界坐标系中的一点通过旋转矩阵R和平移矩阵T投影到相机坐标系,由于光线是通过鱼眼镜头多组镜片的折射后达成像平面,所以相机坐标系到成像平面的投影模型是非线性变换过程,通过一条多阶公式的计算,可以将成像平面中的像素点可根据相机的内参矩阵A变换到图像坐标系。根据鱼眼镜头的成像模型,本发明主要采用公知的OpenCV或OCamCalib标定工具对相机进行参数标定,获取相机的旋转矩阵R和平移矩阵T、内参矩阵A和畸变系数等参数。
为使径向畸变严重的鱼眼图像更适合人眼观看,可以采用等矩形全景展开的方案对输入的图像进行矫正。鱼眼镜头成像被近似看作一个半球模型,当将其所成图像展开到矩形平面时,可按球面的经纬度来映射图像。根据单位球鱼眼图与矩形展开面的映射关系,可将输出图像上的每一点(xd,yd)根据映射关系S投影到3D球面,得到3D坐标(X,Y,Z),将3D坐标根据旋转矩阵R和平移矩阵T变换到摄像机坐标系(X’,Y’,Z’),根据投影模型F可得到投影在相机成像平面的位置(x,y),最后通过相机内参矩阵A计算其在鱼眼图像中的投影点(xs, ys),鱼眼图像矫正过程中建立输出图像与输入图像像素点之间的映射关系的过程如图3所示。中国发明专利申请CN201511019998.0公开了一种输出图像与输入图像像素点之间的映射关系的计算过程,在此不再赘述。
本实施例中,由于对鱼眼图像进行分屏显示,即不是对整张鱼眼图像都进行矫正,而是对原始的鱼眼图像特定的区域进行矫正,这个特定的区域被称为矫正区域。参见图4,由于鱼眼镜头是一个圆形的镜头,因此原始的鱼眼图像10通常是一个圆形的二维图像,本实施例中,需要对鱼眼图像10中的一部分区域进行矫正,例如对矫正区域12的图像进行矫正。从图4可见,矫正区域12并不是一个矩形,而是一个部分扇形,对矫正区域12进行图像矫正以后,可以获得一个矩形的矫正图像14。
在现有的监控设备中,通过一个带有鱼眼镜头的摄像装置获取一张全景的鱼眼图像,从鱼眼图像中划分形成多个矫正区域,这些矫正区域可以部分重叠。通过对多个矫正区域的图像进行矫正处理,可以获得多个不同角度下的矫正图像,将这些矫正图像分别通过不同的显示屏显示,或者在同一显示屏的不同分屏下显示,从而实现对监控区域的多角度监控。
因此,步骤S1中,需要确定鱼眼图像中的矫正区域,例如,本实施例中矫正区域只有一个,即图4所示的矫正区域12。当然,实际应用时,矫正区域可以是两个或者三个以上,且多个矫正区域之间可以是部分重叠。
然后,执行步骤S2,对矫正区域的图像进行矫正,获取矫正图像。对鱼眼图像的矫正是通过确定矫正图像的每一个像素点与鱼眼图像中矫正区域的图像的像素点的对应关系,根据这些对应关系对鱼眼图像的像素点进行插值计算,例如使用加权平均值的计算或者加权滤波的方式进行计算,获得矫正图像。对鱼眼图像的矫正计算可以通过现有的矫正算法实现,在此不再赘述。
接着,执行步骤S3,对矫正图像进行识别,确定目标图像的位置。在获得矫正图像以后,采用图像识别的算法对矫正获得的图像进行识别,从而判断矫正图像中是否存着目标物,如果确定存着目标物,则还需要确定目标物在矫正图像中的位置、大小等。
例如,目标物是某一特定的人员,则步骤S3中可以获取该人员的脸部特征数据,如从数据库中获取被跟踪人员的脸部数据,通过脸部特征分析算法确定矫正图像中是否存在被跟踪的人员,如确定矫正图像中存在目标人员,则需要执行步骤S4。如果矫正图像中不存在被监控的人员,也就是不存在目标人员,则经过预定时间以后,再对矫正图像进行脸部识别分析。
当然,对目标人员的识别,不一定通过脸部识别分析的算法实现,还可以通过对目标人员的发型、衣着等要素进行分析,从而确定矫正图像中是否存在目标人员的图像。此外,目标图像还可以是目标物体的图像,例如某一车辆或者动物的图像,对目标图像的识别可以通过现有的图像识别技术实现。
然后,执行步骤S4,获取目标图像的移动方向。本实施例中,通过连续多帧鱼眼图像矫正以后的图像来确定目标图像的移动方向。由于本实施例的摄像装置是一个监控摄像机,如网络摄像机,因此可以拍摄连续的视图数据,也就是存在连续多帧的鱼眼图像。步骤S4中,在确定某一帧鱼眼图像经过矫正获得的矫正图像中存在目标图像以后,获取该帧图像以后的连续多帧鱼眼图像,并且对这多帧鱼眼图像的矫正区域进行矫正计算,从而获取多张矫正图像,根据多张矫正图像中目标图像的位置来确定目标图像的移动方向,如按照时间顺序确定多张矫正图像的顺序,并且根据顺序的多张矫正图像中,目标图像在矫正图像的位置变化,从而确定目标图像的移动方向,例如确定目标图像沿矫正图像的X方向的正方向移动,或者沿着X方向与Y方向成45°的方向向上移动。
接着,执行步骤S5,确定矫正区域的位置以及大小,对矫正区域进行调整。本实施例中,为了实现对目标物的自动监控,通过图像识别算法对目标物进行识别以后,还需要实时调节矫正区域在鱼眼图像中的位置,从而确保目标图像持续的出现在矫正图像中,从而方便人们监控目标物的状态。
由于现有的技术中,人们在获得矫正图像以后,往往是通过人工判断方式判断目标物是否出现在矫正图像中,如果发现目标物的图像以后,通过手动调节矫正区域的方式来实现对目标物的持续跟踪。例如,用户可以手动的输入鱼眼图像中矫正区域的视场角水平角度与垂直角度的修改数值,从而改变矫正区域的位置。或者,用户可以拖拽矫正区域的扇形框,从而改变矫正区域在鱼眼图像中的位置。例如,公开号为CN102291527A的中国发明专利申请就公开了一种基于单个鱼眼镜头的全景视频漫游方法,该方法可以通过鼠标、键盘等输入鱼眼图像的水平或者垂直旋转角度,来改变矫正区域在鱼眼图像的中的位置。又例如,海康威视公司生产的单目鱼眼监控设备,如型号为DS-2CD63C2F的产品带有一个鱼眼镜头,并且输出多路图像,每一路图像均是对鱼眼图像的某一个区域进行矫正获得的图像,用户可以通过手动拖拽矫正区域在鱼眼图像中的位置。相应的,当用户改变矫正区域在鱼眼图像的位置以后,对矫正区域的图像进行矫正计算时,需要获取鱼眼图像在鱼眼镜头的视场角下水平角度与垂直角度的变化情况,从而确定矫正图像的每一个像素点与新的矫正区域的像素点之间的对应关系,进而计算出矫正图像。
由于步骤S4中,已经获取目标图像的移动方向,例如确定目标图像在矫正图像中的运动方向,根据该运动方向可以确定矫正区域相应的移动方向。例如,目标图像在矫正图像中的移动方向是沿着X轴的正方向移动5个像素,则可以根据矫正图像的像素点与鱼眼图像的像素点之间的映射关系,可以确定目标图像对应在原始的鱼眼图像中的移动方向,从而根据该移动方向,整体移动矫正区域的位置,可以实现调节在矫正区域在鱼眼图像上的位置调节。
一个具体的方案是,在确定矫正图像存在目标图像以后,确定该时刻下矫正区域的中心点的位置,然后根据目标图像的移动方向,调节矫正区域的中心点在鱼眼图像的中的位置,例如,目标图像沿着X轴的正方向移动5个像素,根据映射关系,矫正区域在鱼眼图像的中心点沿着顺时针方向转动3°。
或者,在确定目标图像的移动方向以后,可以根据目标图像的移动方向调节矫正区域在鱼眼图像的视场角下的水平和/或垂直角度。由于鱼眼镜头是一个半球状的镜头,可以将鱼眼镜头理解成一个半球状的坐标系,因此,可以将鱼眼图像理解成一个具有水平角度以及垂直角度的视场角的图像,并且可以通过调节视场角的水平角度以及垂直角度来改变矫正区域的位置。公开号为CN102291527A的中国发明专利申请已经介绍了矫正图像与鱼眼图像视场角下水平角度、垂直角度的对应关系,通过该对应关系,可以根据目标图像在矫正图像中的移动方向(如移动后的具体坐标位置)计算出鱼眼图像需要调节的水平角度、垂直角度,并且调节水平角度或者垂直角度以后,确定矫正区域的具体位置。
当然,对矫正区域进行调节,还可以目标图像为矫正图像的中心来确定鱼眼图像中调节后的矫正区域的位置,例如将目标图像设定为矫正图像的中心,从而计算出矫正图像的四个顶点的位置,从而确定矫正图像需要向哪个方向移动多少个像素,在确定四个顶点的位置以后,可以确定调整后的矫正图像的四个顶点相对于当前矫正图像的四个顶点的坐标位置,通过矫正图像的像素点与鱼眼图像的像素点的对应关系,计算出鱼眼图像下矫正区域的位置。当目标图像移动时,矫正区域将跟随目标图像的移动而移动。
在重新确定矫正区域的位置以后,可以对矫正区域的图像进行矫正计算,从而获得新的矫正图像,这样,可以确保目标图像持续出现在矫正图像中,从而实现对目标人员或者目标物的持续跟踪。
最后,执行步骤S6,判断是否停止根据目标图像,如果停止对目标图像进行跟踪,则结束流程,如果还需要持续跟踪目标图像,则返回步骤S3,对矫正后的图像再次进行图像识别,识别出目标图像中的位置,并且再次确定目标图像的移动方向。当然,如果矫正图像已经不存在目标图像,则结束流程,不再对目标图像进行跟踪。
上面流程介绍了通过调节矫正区域的位置的方式来实现对目标图像的跟踪,实际应用时,有可能出现目标图像过大或者过小的情况,因此本发明还可以通过对矫正区域、矫正图像进行缩放的方式确保用户能够清晰的监控目标图像。
参见图5,首先执行步骤S11,获取目标图像的面积以及矫正图像的面积。由于矫正图像的面积通常是确定的,如720像素×480像素,但是目标图像的面积是不确定的,因此根据识别算法的结果确定目标图像的面积,如目标图像的像素宽度、高度等。
然后,执行步骤S12,判断目标图像的面积比例是否小于下限阈值,例如判断目标图像的面积是否小于矫正图像面积的10%,如果小于下限阈值,则用户有可能看不清楚目标图像的细节,因此,执行步骤S13,缩小矫正区域的面积。例如将矫正区域的面积缩小预设的阈值,如缩小10%或者20%。由于矫正区域的面积缩小以后,矫正区域的像素相应的减少,所获得的矫正图像的像素也降低,为了让用户更加清晰看到目标图像,因此需要执行步骤S14,放大矫正获得的图像,这样,目标图像在矫正图像中的占比增大。
如果步骤S12中,确定目标图像的面积大于下限阈值,还执行步骤S15,判断目标图像的面积是否大于上限阈值,如是的大于矫正图像的80%,如果大于上限阈值,则用户可能看不清楚目标图像周边的图像,往往不利于对目标物或者目标人员的动作进行分析,因此需要减小目标图像矫正图像中的比例。此时,执行步骤S16,放大矫正区域的面积,如将矫正区域的面积增加20%,最后执行步骤S17,缩小矫正图像。
通过上述步骤,在目标图像的面积占矫正图像的面积的比例不在预设范围内的情况下,对矫正区域的大小进行缩放,这样,用户看到的矫正图像中,目标图像占据的面积适中,不会过大也不会过小,更有利于对目标人员或者目标物的跟踪。
当然,对矫正区域的位置调节以及对矫正区域的缩放是可以同时进行的,也可以是单独进行的,两者并不会相互影响,一种情况是,如果目标图像在矫正图像中没有移动,而是目标图像过大或者过小,可以单独对矫正区域进行缩放,即执行步骤S11至步骤S17,此时可以不对矫正区域的位置进行调节,这样也可以有利于方便用户跟踪目标人员或者目标物。
可见,本发明通过智能识别算法,如人脸识别算法或者运动目标检测算法对矫正图像进行识别,获取目标图像的移动方向以后,智能的调节鱼眼图像中矫正区域的位置或者大小,从而方便用户在矫正图像中看到目标图像。这样,用户不需要手动调节鱼眼图像中矫正区域的位置,不但提高了目标跟踪的效率,还提高目标跟踪的准确性,可以广泛应用在安防、生产监控等领域。
计算机装置实施例:
本实施例的计算机装置包括有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序,例如用于实现上述信息处理方法的信息处理程序。处理器执行计算机程序时实现上述基于鱼眼图像的目标跟踪方法的各个步骤。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
需要说明的是,终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本发明的示意图仅仅是终端设备的示例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
本发明所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质:
终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个基于鱼眼图像的目标跟踪方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
当然,上述的方案只是本发明优选的实施方案,实际应用是还可以有更多的变化,例如,图像识别的算法可以是其他能够实现对图像中特定人员或者特定物体的识别的算法,或者,对矫正图像的缩放可以根据用户输入的参数确定,这些改变都不影响本发明的实施,也应该包括在本发明的保护范围内。
Claims (6)
1.基于鱼眼图像的目标跟踪方法,该方法完全由计算机程序实现,该方法包括:
获取鱼眼图像,确定所述鱼眼图像的矫正区域,对所述矫正区域的图像进行矫正,获取矫正图像;
其特征在于:
对所述矫正图像进行图像识别,确定目标图像的位置;
获取所述目标图像移动方向,根据所述目标图像的移动方向调整所述鱼眼图像中的矫正区域的位置和/或大小;
其中,根据所述目标图像的移动方向调整所述鱼眼图像中的矫正区域的位置包括:根据所述目标图像的移动方向调节所述矫正区域在鱼眼图像的视场角下的水平和/或垂直角度;或者
确定第一时刻下所述矫正区域的中心点的位置,根据所述目标图像的移动方向,调节所述矫正区域的中心点在鱼眼图像的中的位置;或者,以所述目标图像为矫正图像的中心,确定所述鱼眼图像中调节后的矫正区域的位置,调节后的矫正区域的位置跟随所述目标图像的移动而移动。
2.根据权利要求1所述的基于鱼眼图像的目标跟踪方法,其特征在于:
获取所述目标图像移动方向包括:获取对连续多帧鱼眼图像矫正获得的矫正图像,确定每一张所述矫正图像中所述目标图像的位置,根据所述目标图像在多张所述矫正图像中的位置变化确定所述目标图像的移动方向。
3.根据权利要求1或2所述的基于鱼眼图像的目标跟踪方法,其特征在于:
根据所述目标图像的移动方向调整所述鱼眼图像中的矫正区域的大小包括:判断所述目标图像的面积占所述矫正图像的面积是否在预设范围内,如小于下限阈值,则缩小所述矫正区域,如大于上限阈值,则放大所述矫正区域。
4.根据权利要求3所述的基于鱼眼图像的目标跟踪方法,其特征在于:
缩小所述矫正区域后,对所述矫正区域的图像进行矫正并获得矫正图像,对所述矫正图像进行放大处理;
放大所述矫正区域后,对所述矫正区域的图像进行矫正并获得矫正图像,对所述矫正图像进行缩小处理。
5.计算机装置,其特征在于,包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述基于鱼眼图像的目标跟踪方法的各个步骤。
6.计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述基于鱼眼图像的目标跟踪方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810464341.2A CN108717704B (zh) | 2018-05-15 | 2018-05-15 | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810464341.2A CN108717704B (zh) | 2018-05-15 | 2018-05-15 | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108717704A CN108717704A (zh) | 2018-10-30 |
CN108717704B true CN108717704B (zh) | 2021-05-28 |
Family
ID=63900160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810464341.2A Active CN108717704B (zh) | 2018-05-15 | 2018-05-15 | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108717704B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7192582B2 (ja) * | 2019-03-11 | 2022-12-20 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
CN112150554B (zh) * | 2019-06-28 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 画面显示方法、装置、终端和存储介质 |
CN112004054A (zh) * | 2020-07-29 | 2020-11-27 | 深圳宏芯宇电子股份有限公司 | 多方位监控方法、设备及计算机可读存储介质 |
CN113104046B (zh) * | 2021-04-28 | 2022-11-11 | 中国第一汽车股份有限公司 | 一种基于云服务器的开门预警方法及装置 |
EP4102449B1 (en) * | 2021-06-10 | 2023-08-16 | Axis AB | Method and device for dewarping a region of a fisheye view image |
CN113888645A (zh) * | 2021-09-29 | 2022-01-04 | 上海商汤临港智能科技有限公司 | 一种行驶设备、计算机视觉处理方法、装置和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
WO2012082127A1 (en) * | 2010-12-16 | 2012-06-21 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
CN103607534A (zh) * | 2013-12-12 | 2014-02-26 | 湖南理工学院 | 一种具备无缝智能监控和告警功能的集成鱼眼摄像机 |
CN106530239A (zh) * | 2016-09-24 | 2017-03-22 | 上海大学 | 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法 |
CN106910173A (zh) * | 2017-02-27 | 2017-06-30 | 武汉大学 | 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法 |
CN107993253A (zh) * | 2017-11-29 | 2018-05-04 | 天津聚飞创新科技有限公司 | 目标跟踪方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859376A (zh) * | 2010-06-02 | 2010-10-13 | 北京交通大学 | 基于鱼眼摄像头的人体检测系统 |
CN102291568A (zh) * | 2011-07-22 | 2011-12-21 | 长春理工大学 | 一种大视场智能化视频监控系统的加速处理方法 |
CN102857698B (zh) * | 2012-09-24 | 2015-06-03 | 天津市亚安科技股份有限公司 | 多方向监控区域的监控装置 |
CN104994285A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种广角摄像头的控制方法及电子终端 |
CN106908038B (zh) * | 2017-01-04 | 2019-01-25 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼镜头摄像机的监测装置及监控系统 |
-
2018
- 2018-05-15 CN CN201810464341.2A patent/CN108717704B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101860729A (zh) * | 2010-04-16 | 2010-10-13 | 天津理工大学 | 一种用于全方位视觉的目标跟踪方法 |
WO2012082127A1 (en) * | 2010-12-16 | 2012-06-21 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
CN103607534A (zh) * | 2013-12-12 | 2014-02-26 | 湖南理工学院 | 一种具备无缝智能监控和告警功能的集成鱼眼摄像机 |
CN106530239A (zh) * | 2016-09-24 | 2017-03-22 | 上海大学 | 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法 |
CN106910173A (zh) * | 2017-02-27 | 2017-06-30 | 武汉大学 | 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法 |
CN107993253A (zh) * | 2017-11-29 | 2018-05-04 | 天津聚飞创新科技有限公司 | 目标跟踪方法及装置 |
Non-Patent Citations (1)
Title |
---|
"Real Time Multi-vehicle Tracking and Counting at Intersections from a Fisheye Camera";Wei Wang等;《2015 IEEE Winter Conference on Applications of Computer Vision》;20150109;第17-24页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108717704A (zh) | 2018-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717704B (zh) | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 | |
CN111750820B (zh) | 影像定位方法及其系统 | |
US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
EP3425587A1 (en) | Method and device for generating a panoramic image | |
CN106780550B (zh) | 一种目标跟踪方法及电子设备 | |
CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
CN107656619A (zh) | 一种智能投影方法、系统及智能终端 | |
CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
CN106780389A (zh) | 一种基于坐标转换的鱼眼图像校正方法及装置 | |
CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN114640833B (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
CN111476151A (zh) | 眼球检测方法、装置、设备及存储介质 | |
US10785470B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2017021430A (ja) | パノラマビデオデータの処理装置、処理方法及びプログラム | |
CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
CN115174878A (zh) | 投影画面校正方法、装置和存储介质 | |
CN115086625A (zh) | 投影画面的校正方法、装置、系统、校正设备和投影设备 | |
CN114494034A (zh) | 一种图像畸变矫正方法及装置和设备 | |
US11790483B2 (en) | Method, apparatus, and device for identifying human body and computer readable storage medium | |
CN112258435A (zh) | 图像处理方法和相关产品 | |
US10013736B1 (en) | Image perspective transformation system | |
WO2024001342A1 (zh) | 成像畸变矫正方法及装置 | |
CN115278071B (zh) | 图像处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |