CN113452913B - 一种变倍系统及方法 - Google Patents

一种变倍系统及方法 Download PDF

Info

Publication number
CN113452913B
CN113452913B CN202110720097.3A CN202110720097A CN113452913B CN 113452913 B CN113452913 B CN 113452913B CN 202110720097 A CN202110720097 A CN 202110720097A CN 113452913 B CN113452913 B CN 113452913B
Authority
CN
China
Prior art keywords
image
video
tracking
module
zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110720097.3A
Other languages
English (en)
Other versions
CN113452913A (zh
Inventor
吴松
乡葛吉
戴坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Next Dimension Technology Co ltd
Original Assignee
Beijing Next Dimension Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Next Dimension Technology Co ltd filed Critical Beijing Next Dimension Technology Co ltd
Priority to CN202110720097.3A priority Critical patent/CN113452913B/zh
Publication of CN113452913A publication Critical patent/CN113452913A/zh
Application granted granted Critical
Publication of CN113452913B publication Critical patent/CN113452913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

本发明公开了一种变倍系统及方法。所述系统,包括:图像采集模块,用于获取目标场景的视频图像;控制信息处理模块,用于解析控制指令得到操作命令;目标追踪模块,用于当操作命令为目标追踪操作时,根据视频图像确定被跟踪目标的跟踪框和脱靶量;变倍模块,用于当操作命令为变倍操作时,根据被跟踪目标的尺寸对视频图像进行变倍操作,得到变倍图像;系统控制模块,用于获取跟踪框、脱靶量和变倍图像;视频显示模块,用于计算变倍图像的视场角,将跟踪框、脱靶量和视场角叠加到变倍图像中,并将叠加图像发送至地面站。本发明能实现自动变倍,提高了变倍效率。

Description

一种变倍系统及方法
技术领域
本发明涉及变倍领域,特别是涉及一种变倍系统及方法。
背景技术
在实际应用中,有时需要对视频画面进行局部或全局的多方位观看,而现有的许多工业摄像设备无法满足变倍的需求,需要经过人工变倍,不仅耗时耗力,而且在应用场景广泛的情况下,固定的倍率往往会带来诸多不便。
发明内容
基于此,本发明实施例提供一种变倍系统及方法,以实现自动变倍,提高变倍效率。
为实现上述目的,本发明提供了如下方案:
一种变倍系统,包括:
图像采集模块,用于获取目标场景的视频图像;
控制信息处理模块,用于获取控制指令,并解析所述控制指令得到操作命令;
目标追踪模块,分别与所述图像采集模块以及所述控制信息处理模块连接,用于当所述操作命令为目标追踪操作时,根据所述视频图像确定被跟踪目标的跟踪框和脱靶量;
变倍模块,分别与所述图像采集模块以及所述控制信息处理模块连接,用于当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像;
系统控制模块,分别与所述目标追踪模块以及所述变倍模块连接,用于获取所述跟踪框、所述脱靶量和所述变倍图像;
视频显示模块,与所述系统控制模块连接,用于计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站。
可选的,所述图像采集模块包括N个摄像头;一个所述摄像头采集一路视频图像;
所述系统控制模块还用于:
为各所述摄像头配置参数;
根据所述参数选择一路视频图像对应的变倍图像作为视频跟踪图像,剩余N-1路视频图像对应的变倍图像作为视频播放图像;
所述视频显示模块还用于:
计算所述视频跟踪图像的视场角得到跟踪视场角,计算各所述视频播放图像的视场角得到播放视场角;
将所述跟踪框、所述脱靶量和所述跟踪视场角叠加到所述视频跟踪图像中得到跟踪叠加图像,将所述播放视场角叠加到相应的所述视频播放图像中得到播放叠加图像;
将所述跟踪叠加图像和所述播放叠加图像发送至所述地面站。
可选的,所述图像采集模块包括包括3个摄像头,分别为第一可见光摄像头、第二可见光摄像头和红外摄像头;所述第一可见光摄像头用于采集第一可见光视频图像;所述第二可见光摄像头用于采集第二可见光视频图像;所述红外摄像头用于采集红外机芯视频图像。
可选的,所述变倍系统,还包括:
帧同步模块,用于将N个所述摄像头采集的视频图像进行时间戳同步处理。
可选的,所述视频显示模块,具体包括:
视场角计算单元,用于计算所述变倍图像的视场角;
压缩编码单元,用于对所述变倍图像进行压缩编码得到编码视频流;
叠加处理单元,用于将所述跟踪框、所述脱靶量和所述视场角叠加到所述编码视频流中,得到叠加视频流;
数据传输单元,用于通过网口将所述叠加视频流传输至所述地面站并显示。
可选的,所述控制信息处理模块,具体包括:
指令输入单元,用于通过串口手动输入控制指令;
指令解析单元,用于根据指令协议解析所述控制指令,得到操作命令;所述操作命令包括目标追踪操作、变倍操作和摄像头切换操作。
可选的,所述变倍模块,具体包括:
摄像头切换判断单元,用于当接收到变倍操作时,判断所述图像采集模块中的摄像头是否需要切换,若需要切换摄像头,则将所述图像采集模块中的摄像头切换后,再执行变倍操作单元;若不需要切换摄像头,则直接执行变倍操作单元;
变倍操作单元,用于判断所述被跟踪目标的尺寸是否小于设定目标尺寸;若所述被跟踪目标的尺寸小于设定目标尺寸,则增加倍率;若所述被跟踪目标的尺寸大于设定目标尺寸,则减小倍率;若所述被跟踪目标的尺寸等于设定目标尺寸,则倍率不变。
可选的,所述变倍系统,还包括:
图像预处理模块,用于对所述视频图像进行白平衡处理、亮度处理、噪声滤波处理、分辨率和帧率适配处理以及电子防抖处理。
可选的,所述系统控制模块还用于控制所述红外摄像头的白热模式和黑热模式的切换。
本发明还提供了一种变倍方法,包括:
获取目标场景的视频图像;
获取控制指令,并解析所述控制指令得到操作命令;
当所述操作命令为目标追踪操作时,根据所述视频图像确定被跟踪目标的跟踪框和脱靶量;
当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像;
计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站。
与现有技术相比,本发明的有益效果是:
本发明实施例提出了一种变倍系统及方法,所述系统,包括:图像采集模块、控制信息处理模块、目标追踪模块、变倍模块、系统控制模块和视频显示模块,控制信息处理模块通过解析到的操作命令,控制目标追踪模块和变倍模块实现目标检测、追踪和变倍,变倍模块收到变倍操作时,根据被跟踪目标的尺寸对图像采集模块采集到的视频图像进行变倍操作,实现了自动变倍,提高了变倍效率,视频显示模块将跟踪框、脱靶量和视场角叠加到变倍图像中,并将叠加图像发送至地面站,实现了对视频画面的局部或全局的多方位观看。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的变倍系统的结构示意图;
图2为本发明实施例提供的脱靶量计算坐标示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
图1为本发明实施例提供的变倍系统的结构示意图。
参见图1,本实施例的变倍系统,包括:
图像采集模块,用于获取目标场景的视频图像。
控制信息处理模块,用于获取控制指令,并解析控制指令得到操作命令。
目标追踪模块,分别与图像采集模块以及控制信息处理模块连接,用于当操作命令为目标追踪操作时,根据视频图像确定被跟踪目标的跟踪框和脱靶量。
变倍模块,分别与图像采集模块以及控制信息处理模块连接,用于当操作命令为变倍操作时,根据被跟踪目标的尺寸对视频图像进行变倍操作,得到变倍图像。
系统控制模块,分别与目标追踪模块以及变倍模块连接,用于获取跟踪框、脱靶量和变倍图像。
视频显示模块,与系统控制模块连接,用于计算变倍图像的视场角,将跟踪框、脱靶量和视场角叠加到变倍图像中得到叠加图像,并将叠加图像发送至地面站。
其中,脱靶量为靶平面内被跟踪目标的当前行动轨迹与理论行动轨迹的偏差;视场角即被跟踪目标的物象可通过镜头的最大范围的两条边缘构成的夹角,视场角的大小决定了图像采集模块中摄像头的视野范围,视场角越大视野范围越大,电子倍率越小。
作为一种可选的实施方式,图像采集模块包括N个摄像头;一个摄像头采集一路视频图像。多摄像头组合变倍的方式不仅省去了人工设置倍率的繁杂程序,提高了变倍效率,还满足了更复杂的观看需求。
系统控制模块还用于:
为各摄像头配置参数;
根据参数选择一路视频图像对应的变倍图像作为视频跟踪图像,剩余N-1路视频图像对应的变倍图像作为视频播放图像。
视频显示模块还用于:
计算视频跟踪图像的视场角得到跟踪视场角,计算各视频播放图像的视场角得到播放视场角;
将跟踪框、脱靶量和跟踪视场角叠加到视频跟踪图像中得到跟踪叠加图像,将播放视场角叠加到相应的视频播放图像中得到播放叠加图像;
将跟踪叠加图像和播放叠加图像发送至地面站。
作为一种可选的实施方式,变倍系统,还包括:
帧同步模块,用于将N个摄像头采集的视频图像进行时间戳同步处理。时间戳同步处理具体过程为:为了确保多个摄像头采集的多路视频图像时间同步,需要进行帧同步,即在解码完成一帧后,需要获得当前时间以及当前帧的显示时间并计算两者的时间差,则当解码完成一帧后需要休眠的时长为计算出来的时间差,从而实现同步。
作为一种可选的实施方式,视频显示模块,具体包括:
视场角计算单元,用于计算变倍图像的视场角。
压缩编码单元,用于对变倍图像进行压缩编码得到编码视频流。
叠加处理单元,用于将跟踪框、脱靶量和视场角叠加到编码视频流中,得到叠加视频流。
数据传输单元,用于通过网口并采用RTSP方式将叠加视频流传输至地面站并显示。
作为一种可选的实施方式,控制信息处理模块,具体包括:
指令输入单元,用于通过串口手动输入控制指令。具体的:使用CH340将USB转换成TTL电平用于设备与电脑通信。将对应串口进行驱动,波特率设置为115200Bps,使能串口的发送和接收用于发送和接收指令。串口配置完成后,通过计算机端的串口助手输入控制指令。
指令解析单元,用于根据指令协议解析控制指令,得到操作命令;操作命令包括目标追踪操作、变倍操作和摄像头切换操作。具体的:规定指令为16位,指令协议为:第一位BB与第二位66为帧头,帧头定义了指令的起始信号。以变倍操作为例:指令的第三位作为命令位,该位可根据需求进行自定义,此处变倍操作的命令位设置为24。第四位和第五位为设置目标在图像中的大小位(第四位为高位,第五位为低位),第六位可通过设置为0/1来开启/关闭自动变倍功能,第七至十五位为备用位,用0填充即可。第16位为帧尾,此处填充与命令位相同的数字作为帧尾,用来定义指令的结束信号。目标追踪操作的命令位设置为15,第四位至第十五位均为备用位,用0填充即可。定义变倍操作的指令格式为BB 66 24 00 00 0000 00 00 00 00 00 00 00 00 00 24,目标追踪操作的指令格式为BB 66 15 00 00 00 0000 00 00 00 00 00 00 00 00 15。帧头输入正确且数据为16位时,若指令为自动跟踪操作则将进入目标追踪模块进行目标追踪,若指令为变倍操作则将进入变倍模块进行变倍操作。
作为一种可选的实施方式,变倍模块,具体包括:
摄像头切换判断单元,用于当接收到变倍操作时,判断图像采集模块中的摄像头是否需要切换,若需要切换摄像头,则将图像采集模块中的摄像头切换后,再执行变倍操作单元;若不需要切换摄像头,则直接执行变倍操作单元。其中,是否需要切换,是根据视场角和设定的视场角中间值进行比较确定的,当视场角小于或大于设定的视场角中间值时,将切换至另一个摄像头。
变倍操作单元,用于判断被跟踪目标的尺寸是否小于设定目标尺寸;若被跟踪目标的尺寸小于设定目标尺寸,则增加倍率;若被跟踪目标的尺寸大于设定目标尺寸,则减小倍率;若被跟踪目标的尺寸等于设定目标尺寸,则倍率不变。
作为一种可选的实施方式,变倍系统,还包括:
图像预处理模块,用于对视频图像进行白平衡处理、亮度处理、噪声滤波处理、分辨率和帧率适配处理以及电子防抖处理。其中,可以采用自动阈值算法进行白平衡处理;采用中值滤波使图像的像素点接近真实值,从而达到图像降噪的目的。
作为一种可选的实施方式,视场角的计算公式为:
水平FOV=2 atan(0.5 width(sensor width)/focal)
垂直FOV=2 atan(0.5 height(sensor height)/focal)。
其中,width为成像靶面的宽度,height为成像靶面的高度,sensor width为视野范围的宽度,sensor height为视野范围的高度,focal为摄像头焦距。
脱靶量的计算过程为:
如图2所示,像面中心点为O,在像面建立XYZ坐标系。被跟踪目标A经镜头成像在像面A'上,像点A'在水平方向(X轴)的投影点为Ax,在竖直方向(Y轴)的投影点为Ay。n1表示A'点在水平方向所占像素个数,m1表示A'点在竖直方向所占像素个数,镜头中心O1与Ax点的连线与Z轴的夹角,即为找中心过程中水平方向应转过的角度ωx;镜头中心O1与Ay点的连线与Z轴的夹角,即为找中心过程中竖直方向应转过的角度ωy。根据探测器像元尺寸以及所占像素数,可以计算出OAx、OAy的数值,由于镜头焦距f已知,可以计算出旋转角度ωx、ωy的数值,即脱靶量。脱靶量的计算公式如下:
OAx=0.0029×n1,OAy=0.0029×m1
Figure BDA0003136624380000081
ωx=arctan(OAx/O1Ax),ωy=arctan(OAy/O1Ay)。
实施例2
本实施例以三个摄像头为例,对变倍系统进行详细的说明。
图像采集模块包括包括3个摄像头,分别为第一可见光摄像头、第二可见光摄像头和红外摄像头;第一可见光摄像头用于采集第一可见光视频图像;第二可见光摄像头用于采集第二可见光视频图像;红外摄像头用于采集红外机芯视频图像。
本实施例的变倍系统的整体实现思路如下:并行采集两路可见光摄像头和一路红外摄像头的视频图像,然后先对视频图像进行降噪等处理,将处理完成的图像经过编码后通过实时流协议(Real Time Streaming Protocol,RTSP)推流到远程设备进行显示,再对系统选定的目标进行追踪,并通过控制信息处理模块对图像信息进行控制。下面对图像采集模块、图像预处理模块、控制信息处理模块、目标追踪模块、变倍模块、系统控制模块和视频显示模块进行具体的介绍。
1、图像采集模块:并行采集第一可见光摄像头、第二可见光摄像头和红外摄像头的视频图像,为了确保红外机芯视频图像、第一可见光视频图像和第二可见光视频图像时间同步,需要进行帧同步,即在解码完成一帧后,需要获得当前时间以及当前帧的显示时间并计算两者的时间差,则当解码完成一帧后需要休眠的时长为计算出来的时间差,从而完成红外机芯视频图像、第一可见光视频图像和第二可见光视频图像同步。
2、图像预处理模块:采集后的红外机芯视频图像、第一可见光视频图像和第二可见光视频图像,需要送入图像预处理模块,经图像处理后的三路图像,送入系统控制模块,由系统控制模块根据相关参数配置,选择一路用于目标跟踪处理,例如,选择宽视场的第一可见光摄像头进行跟踪处理,则窄视场的第二可见光摄像头和用来观察环境的红外摄像头进行视频播放。图像预处理模块主要完成图像预处理:
(1)使用自动阈值算法处理白平衡:先将图像从RGB空间转换到YUV空间,再对白色参考点进行检测和调整。其中,RGB空间与YUV空间的转换公式为:
Figure BDA0003136624380000091
(2)亮度处理:亮度本质上是图像中每个像素的亮度,每个像素的亮度本质上是RGB值的大小,RGB值为0时像素点为黑色,RGB都为255时像素点最亮,为白色。亮度计算公式为:g(i,j)=αf(i,j)+β,其中,(i,j)为像素点,f(i,j)为对(i,j)处理前的亮度,g(i,j)为对(i,j)处理后的亮度,α必须大于0,α能使图像像素成倍数的增长或降低(α<1),β的取值范围是(0,255),增加或减少一个值会使像素向白色或黑色靠近(0为黑,255为白),即改变了图像的亮度。
(3)噪声滤波处理:采用中值滤波使图像的像素点接近真实值,从而达到图像降噪的目的。
(4)分辨率和帧率适配等处理。
(5)根据是否开启防抖功能,完成电子防抖处理。
3、系统控制模块:完成整个图像处理板的参数配置和控制,包括用于目标跟踪的摄像头视频流选择、摄像头参数配置、控制红外摄像头的白热模式和黑热模式的切换等处理,同时也包括系统启动参数初始化等处理。
当红外摄像头为白热模式时,温度较高的物体显示为白色,当红外摄像头为黑热模式时,温度较高的物体显示为黑色,黑热和白热模式由改变像素点的值实现的,黑热模式下物体像素点靠近0,白热模式下像素点靠近255。
4、视频显示模块:对于需要输出到地面站的视频流,需要先进行压缩编码。编码分别针对每一路视频流进行,可支持H.264或H.265编码,码率和帧率可根据实际需求进行配置。视频通过网口传输到地面站,由于存在多路摄像头,视频传输可支持将单路摄像头视频打包传输,也支持将多路摄像头视频流打包传输。视频流采用RTSP方式进行传输。针对跟踪目标在图像中坐标位置变动,可实时将目标跟踪框叠加到视频流。同时,目标的脱靶量、视场角等文字信息,也可以通过信息叠加模块叠加到视频流上,通过网口传输到地面站进行实时显示。例如,在预处理后的第一可见光视频图像中叠加目标跟踪框、脱靶量和视场角,传输至地面站后实时显示;在预处理后的第二可见光视频图像和预处理后的红外机芯视频图像中分别叠加相应的视场角,输至地面站后实时显示。其中跟踪框的四个坐标点是搜索时根据特征点提取得到的,脱靶量由跟踪状态下根据当前目标距离中心点的距离计算得到的,视场角根据焦距与分辨率计算得到,脱靶量和视场角的计算方式参见实施例1即可,在此不再赘述。
5、控制信息处理模块:控制信息处理模块完成控制信息的接收、解析和分发处理过程。该模块控制信息处理模块接收来自串口的控制命令(即接受控制指令的串口信号),包括摄像头切换命令、跟踪目标的实时坐标值(脱靶量)和亮度调节信息等,同时对接收到的控制指令串口信号进行解析,最终根据解析结果将最终的控制动作指令分发给系统控制模块。系统控制模块根据相应的摄像头切换指令进行切换动作,同时目标跟踪模块根据指令进行跟踪过程。本实施例的三个摄像头,分别为宽视场的第一可见光摄像头、窄视场的第二可见光摄像头和红外摄像头,宽视场摄像头适用于较近距离拍摄及观察,窄视场摄像头适用于较远距离拍摄及观察,窄视场摄像头相较于宽视场视像头能够显示相同分辨率下更局部的信息。红外摄像头主要用来观察外界因素影响较多的环境。因此,根据不同的需要可以切换不同的摄像头。
此外,该控制信息处理模块接收来自目标跟踪模块输出的被跟踪目标的实时坐标值,通过内部接口发送给视频显示模块进行信息叠加。控制信息处理模块处理的大致过程为:
(1)通过串口手动输入指令:使用CH340将USB转换成TTL电平用于设备与电脑通信。将对应串口进行驱动,波特率设置为115200Bps,使能串口的发送和接收用于发送和接收指令。串口配置完成后,通过计算机端的串口助手输入指令。
(2)解析指令:规定指令为16位,指令协议为:第一位BB与第二位66为帧头,帧头定义了指令的起始信号。不同操作的指令格式的定义与实施例1相同,在此不再赘述。若指令为自动跟踪操作则将进入目标追踪模块进行目标追踪,若指令为变倍操作则将进入变倍模块进行变倍操作。
6、目标追踪模块:根据系统选定的目标,基于实时接收的视频流,目标跟踪模块完成目标检测和追踪,并计算被跟踪目标的在图像中的实时坐标值,传输到视频显示模块中进行信息叠加。
7、变倍模块:分辨率是画面显示的重要指标之一,分辨率越高则图像所能显示的像素点越多,在同一区域内所能显示的图像信息越多,以上述概念为基础,在同一显示区域内,低分辨率可用来显示更加局部的内容,高分辨率可用来显示更加全面的内容。根据需求为不同的倍率指定不同的分辨率:倍率越低显示的内容越全面,对应的分辨率越大;倍率越高显示的内容越局部,对应的分辨率越小。
当接收到变倍操作指令时,若当前追踪的目标尺寸小于设定的目标尺寸时,自动增加倍率,从而增加了跟踪目标在图像中的占比,达到对局部内容进行观察的目的;反之若当前追踪的目标尺寸大于设定的目标尺寸时,自动减小倍率,从而减小了跟踪目标在图像中的占比,达到对更全面内容进行观察的目的;若被跟踪目标的尺寸等于设定目标尺寸,倍率不变。
本实施例的变倍系统,可根据需求自动增大或缩小视频画面分辨率,其优势在于:
1)当接收到变倍操作指令后根据指令实现自动增加或减小倍率,提高了变倍效率。
2)摄像头组合变倍能够根据需求改变倍率,便于整体与局部的多方位观察。
3)将分辨率作为倍率,可实现精准变倍,可满足多种环境下工作的需求。
4)多摄像头变倍。由于视场角随电子变倍的倍率而改变,则当视场角小于或大于设定的视场角中间值时,将切换至另一个摄像头后,再进行变倍操作,以便于更好的观察。
实施例3
本发明还提供了一种变倍方法,包括:
获取目标场景的视频图像;获取控制指令,并解析所述控制指令得到操作命令;当所述操作命令为目标追踪操作时,根据所述视频图像确定被跟踪目标的跟踪框和脱靶量;当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像;计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种变倍系统,其特征在于,包括:
图像采集模块,用于获取目标场景的视频图像;
控制信息处理模块,用于获取控制指令,并解析所述控制指令得到操作命令;
目标追踪模块,分别与所述图像采集模块以及所述控制信息处理模块连接,用于当所述操作命令为目标追踪操作时,根据所述视频图像确定被跟踪目标的跟踪框和脱靶量;
变倍模块,分别与所述图像采集模块以及所述控制信息处理模块连接,用于当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像;
系统控制模块,分别与所述目标追踪模块以及所述变倍模块连接,用于获取所述跟踪框、所述脱靶量和所述变倍图像;
视频显示模块,与所述系统控制模块连接,用于计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站;
所述图像采集模块包括N个摄像头;一个所述摄像头采集一路视频图像;
所述系统控制模块还用于:
为各所述摄像头配置参数;
根据所述参数选择一路视频图像对应的变倍图像作为视频跟踪图像,剩余N-1路视频图像对应的变倍图像作为视频播放图像;
所述视频显示模块还用于:
计算所述视频跟踪图像的视场角得到跟踪视场角,计算各所述视频播放图像的视场角得到播放视场角;
将所述跟踪框、所述脱靶量和所述跟踪视场角叠加到所述视频跟踪图像中得到跟踪叠加图像,将所述播放视场角叠加到相应的所述视频播放图像中得到播放叠加图像;
将所述跟踪叠加图像和所述播放叠加图像发送至所述地面站;
所述变倍模块,具体包括:
摄像头切换判断单元,用于当接收到变倍操作时,判断所述图像采集模块中的摄像头是否需要切换,若需要切换摄像头,则将所述图像采集模块中的摄像头切换后,再执行变倍操作单元;若不需要切换摄像头,则直接执行变倍操作单元;
变倍操作单元,用于判断所述被跟踪目标的尺寸是否小于设定目标尺寸;若所述被跟踪目标的尺寸小于设定目标尺寸,则增加倍率;若所述被跟踪目标的尺寸大于设定目标尺寸,则减小倍率;若所述被跟踪目标的尺寸等于设定目标尺寸,则倍率不变。
2.根据权利要求1所述的一种变倍系统,其特征在于,所述图像采集模块包括3个摄像头,分别为第一可见光摄像头、第二可见光摄像头和红外摄像头;所述第一可见光摄像头用于采集第一可见光视频图像;所述第二可见光摄像头用于采集第二可见光视频图像;所述红外摄像头用于采集红外机芯视频图像。
3.根据权利要求1所述的一种变倍系统,其特征在于,还包括:
帧同步模块,用于将N个所述摄像头采集的视频图像进行时间戳同步处理。
4.根据权利要求1所述的一种变倍系统,其特征在于,所述视频显示模块,具体包括:
视场角计算单元,用于计算所述变倍图像的视场角;
压缩编码单元,用于对所述变倍图像进行压缩编码得到编码视频流;
叠加处理单元,用于将所述跟踪框、所述脱靶量和所述视场角叠加到所述编码视频流中,得到叠加视频流;
数据传输单元,用于通过网口将所述叠加视频流传输至所述地面站并显示。
5.根据权利要求1所述的一种变倍系统,其特征在于,所述控制信息处理模块,具体包括:
指令输入单元,用于通过串口手动输入控制指令;
指令解析单元,用于根据指令协议解析所述控制指令,得到操作命令;所述操作命令包括目标追踪操作、变倍操作和摄像头切换操作。
6.根据权利要求1所述的一种变倍系统,其特征在于,还包括:
图像预处理模块,用于对所述视频图像进行白平衡处理、亮度处理、噪声滤波处理、分辨率和帧率适配处理以及电子防抖处理。
7.根据权利要求2所述的一种变倍系统,其特征在于,所述系统控制模块还用于控制所述红外摄像头的白热模式和黑热模式的切换。
8.一种变倍方法,其特征在于,包括:
获取目标场景的视频图像;
获取控制指令,并解析所述控制指令得到操作命令;
当所述操作命令为目标追踪操作时,根据所述视频图像确定被跟踪目标的跟踪框和脱靶量;
当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像;
计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站;
所述视频图像为N路;一路所述视频图像由一个摄像头采集;
所述方法,还包括:
为各所述摄像头配置参数;
根据所述参数选择一路视频图像对应的变倍图像作为视频跟踪图像,剩余N-1路视频图像对应的变倍图像作为视频播放图像;
其中,所述计算所述变倍图像的视场角,将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像,并将所述叠加图像发送至地面站,具体包括:
计算所述视频跟踪图像的视场角得到跟踪视场角,计算各所述视频播放图像的视场角得到播放视场角;
将所述跟踪框、所述脱靶量和所述跟踪视场角叠加到所述视频跟踪图像中得到跟踪叠加图像,将所述播放视场角叠加到相应的所述视频播放图像中得到播放叠加图像;
将所述跟踪叠加图像和所述播放叠加图像发送至所述地面站;
当所述操作命令为变倍操作时,根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作,得到变倍图像,具体包括:
当接收到变倍操作时,判断摄像头是否需要切换,若需要切换摄像头,则将摄像头切换后,再执行变倍操作单元;若不需要切换摄像头,则直接执行变倍操作;变倍操作为:
判断所述被跟踪目标的尺寸是否小于设定目标尺寸;若所述被跟踪目标的尺寸小于设定目标尺寸,则增加倍率;若所述被跟踪目标的尺寸大于设定目标尺寸,则减小倍率;若所述被跟踪目标的尺寸等于设定目标尺寸,则倍率不变。
CN202110720097.3A 2021-06-28 2021-06-28 一种变倍系统及方法 Active CN113452913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720097.3A CN113452913B (zh) 2021-06-28 2021-06-28 一种变倍系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720097.3A CN113452913B (zh) 2021-06-28 2021-06-28 一种变倍系统及方法

Publications (2)

Publication Number Publication Date
CN113452913A CN113452913A (zh) 2021-09-28
CN113452913B true CN113452913B (zh) 2022-05-27

Family

ID=77813383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720097.3A Active CN113452913B (zh) 2021-06-28 2021-06-28 一种变倍系统及方法

Country Status (1)

Country Link
CN (1) CN113452913B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
CN101955130A (zh) * 2010-09-08 2011-01-26 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
CN106534789A (zh) * 2016-11-22 2017-03-22 深圳全景威视科技有限公司 一种一体化智慧型安防视频监控系统
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN110456829A (zh) * 2019-08-07 2019-11-15 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR667801A0 (en) * 2001-07-27 2001-08-23 Honeywell Limited A control system for allowing an operator to proportionally control a work piece
JP2008187591A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 撮像装置及び撮像方法
US20100020103A1 (en) * 2008-07-27 2010-01-28 Ure Michael J Interface with and communication between mobile electronic devices
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
CN101955130A (zh) * 2010-09-08 2011-01-26 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
CN106534789A (zh) * 2016-11-22 2017-03-22 深圳全景威视科技有限公司 一种一体化智慧型安防视频监控系统
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN110456829A (zh) * 2019-08-07 2019-11-15 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113452913A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6924079B2 (ja) 情報処理装置及び方法及びプログラム
US9886770B2 (en) Image processing device and method, image processing system, and image processing program
CN102385747B (zh) 用于生成全景图像的处理装置及方法
US7675539B2 (en) Camera control apparatus, camera system, electronic conference system, and camera control method
US10438633B2 (en) Method and system for low cost television production
JP3792901B2 (ja) カメラ制御システム及びその制御方法
CN111263177A (zh) 一种视频互动直播方法及系统
US20140347439A1 (en) Mobile device and system for generating panoramic video
US8643766B2 (en) Autofocus system equipped with a face recognition and tracking function
US20140375761A1 (en) Interactive wide-angle video server
US20170180680A1 (en) Object following view presentation method and system
US20110090341A1 (en) Intruding object detection system and controlling method thereof
JP2007189503A (ja) 端末装置及びプログラム
EP2161925A2 (en) Method and system for fusing video streams
CN114630053B (zh) 一种hdr图像显示方法及显示设备
CN109525816A (zh) 一种基于三维地理信息的多枪多球融合联动系统及方法
CN101662667A (zh) 用电话机终端控制摄像装置的控制系统和方法
CN107277631A (zh) 一种画面局部展示方法及装置
WO2007060497A2 (en) Interactive wide-angle video server
KR20110044101A (ko) 듀얼 카메라를 이용한 실시간 감시장치
CN111325201A (zh) 影像处理方法、装置与可移动设备、无人机遥控器及系统
JP2011101165A (ja) 連動撮影システム
CN113452913B (zh) 一种变倍系统及方法
CN111061123B (zh) 一种旅游景观展示的旋转全景成像系统及使用方法
US20110149038A1 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant