CN105744239B - 多焦距镜头超高分辨率联动成像装置 - Google Patents
多焦距镜头超高分辨率联动成像装置 Download PDFInfo
- Publication number
- CN105744239B CN105744239B CN201610308901.6A CN201610308901A CN105744239B CN 105744239 B CN105744239 B CN 105744239B CN 201610308901 A CN201610308901 A CN 201610308901A CN 105744239 B CN105744239 B CN 105744239B
- Authority
- CN
- China
- Prior art keywords
- collecting unit
- general picture
- details
- image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种多焦距镜头超高分辨率联动成像装置,该装置通过使用多焦距镜头对大范围区域同时进行监控,采集得到的超高分辨率图像横向视场角大于90°,从而使得该装置能够在大范围场景监控中实现无死角全覆盖,并在距装置130m范围内,采集影像的像素密度大于125像素/米,使得整个监控图像的像素达到了一亿以上。
Description
技术领域
本发明涉及图像成像技术领域,具体的涉及一种多焦距镜头超高分辨率联动成像装置。
背景技术
目前,在政府广场、大型停车场、机场候车厅、车站候车厅等大范围区域的视频监控方案中,现有监控方案主要采用多台枪机和高速球相配合进行。现有的长焦镜头枪机视野范围有限;而安装短焦镜头的枪机,对于远处的目标则仅能获得像素不足的目标图像;另一方面,高速球的观察范围有限,不能同时兼顾整个场景和局部具体放大图,使用时会存在盲区。对于用户来说,采用这种监控方案还需在多台摄像机的图像之间进行切换,才能进行监控,非常不方便,降低了监控效率,增加了监控难度。所以现有监控方案已经很难适应现代监控需求。
发明内容
本发明的目的在于提供一种多焦距镜头超高分辨率联动成像装置,该发明解决了现有技术中对于大范围区域进行实时监控时,仅依靠一套监控装置难以兼顾远景目标清晰成像和整个场景全覆盖监控的限制;以及摄像机云台装置在近景成像和远景成像不断切换时造成的监控遗漏的技术问题。
本发明提供一种多焦距镜头超高分辨率联动成像装置,包括:
视频采集模块,用于获取监控区域的实时图像信息,设置于监控区域附近,包括至少一个用于采集低分辨率的监控区域场景概貌图像信息的概貌采集单元和至少十个用于采集监控区域中目标物的细节图像信息的细节采集单元,
细节采集单元的各镜头焦距不同;
存储模块,用于存储视频采集模块获取的图像信息;
视频管理模块,用于对场景概貌图像和细节图像进行空间配准,并根据空间配准信息对概貌采集单元和细节采集单元所获取的图像进行协同联动预览和回放;
视频管理模块中包括空间配准模块,空间配准模块用以实现概貌采集单元和细节采集单元之间的空间配准,获得两者之间的映射关系,空间配准模块通过空间配准方法实现概貌采集单元和细节采集单元所得图像的空间配准;
空间配准方法包括以下步骤:
(1)分别建立各单镜头单元的采集图像坐标系XpYpOp,同时采用球型模型建立空间坐标系XsYsZsOs,以单镜头单元的左方为Xp轴正方向,下方为Yp轴正方向,空间坐标系XsYsZsOs的Xs轴正方向与Xp轴正方向相反,Ys轴正方向与Yp轴正方向相反,前方为Zs轴正方向;
取以空间坐标系XsYsZsOs的原点为球心半径为1的球面上的一点ms,ms的奇次坐标为 (xs,ys,zs,1)T,mp点为ms点在采集图像坐标系XpYpOp上的成像点,其奇次坐标为mp=(xp,yp,1)T,空间坐标中的点ms到采集图像坐标系上点mp的对应关系表示为:
mp=K(R,0)ms=(KR,0)ms=Pms (1)
其中,矩阵P=K(R,0)通常称为摄像机矩阵,是摄像机的内参数矩阵,fx=f/dx,fy=f/dy,分别称为Xp轴和Yp轴上的归一化焦距;f为镜头单元的焦距,dx和dy分别表示Xp轴和Yp轴上单位像素的尺寸大小,cx和cy表示光学中心,(R,0)为单镜头单元的外参数矩阵,其中R基于点ms到单镜头单元光轴的水平夹角α和垂直夹角β计算得到:
(2)分别对场景概貌图像和细节采集单元的视频图像采样:
分别预览场景概貌图像和一个细节图像,并对相同物体同一点在两个图像中的像素坐标进行记录,每组记录组成一个像素坐标组,共记录6组像素坐标组,按照这种方法,分别采集场景概貌图像和每一个细节图像的像素坐标组,以完成场景概貌图像分别与每一个细节采集单元获取的图像的像素坐标采样。
计算场景概貌图像和任一细节图像中对应像素坐标组中,场景概貌图像中同一物体同一点的像素坐标与细节图像中物体同一点的像素坐标的映射关系:首先根据公式(1),将对应像素坐标组中的6个场景概貌图像像素坐标转换为空间坐标系XsYsZsOs,得到包含6个向量v1, v2…v6的概貌向量;
将对应像素坐标组中细节采集单元所获取的图像上的6个像素坐标转换为空间坐标系 XsYsZsOs,得到包含6个向量v1',v2'…v6'的细节向量,按照公式(5)~(7)以概貌向量组成矩阵 MatH,细节向量组成矩MatD,求解旋转矩阵MatH2D:
MatD=[v1,v2,v3,v4,v5,v6] (5)
MatH=[v1',v2',v3',v4',v5',v6'] (6)
MatH2D=MatD×PINV(MatH) (7),
其中,PINV(Matrix)为矩阵Matrix的广义逆;
按照采集单元的个数重复前述步骤,得到场景概貌图像对应每一个细节采集单元图像的旋转矩阵;
(3)匹配联动预览或回放时,首先获取选取的概貌图像上的场景坐标(xp,yp,1)T,根据公式(1),计算该点在空间坐标系XsYsZsOs下的奇次坐标v=(xs,ys,zs,1)T;遍历每一个细节采集单元的旋转矩阵MatH2D,由v×MatH2D=v'(9)得到各概貌向量对应的坐标点在每一个细节采集单元图像下的空间坐标va',vb'…vj',最后由va',vb'…vj',根据公式(1)计算所选取场景在每一个细节采集单元中的像素坐标(xa',ya'),(xb',yb')…(xj',yj'),去掉不合理的结果,并选取其中距细节采集单元中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。
进一步地,概貌采集单元和细节采集单元设置于壳体内,壳体内间隔设置第一平板、第二平板和第三平板,第二平板和第三平板均与水平面平行,第一平板向水平面倾斜设置;概貌采集单元设置于第二平板的中间,细节采集单元围绕概貌采集单元设置。
进一步地,第一平板与水平面所成锐角为20°。
进一步地,包括10个细节采集单元,每个细节采集单元均包括细节网络摄像机,细节网络摄像机的视频采集分辨率为4000×3000,编码方式为h264标准,其中任意3台细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组,用于构成横向90°的视场角以覆盖近距离区域,近距离摄像组设置于第一平板上;
余下7台细节网络摄像机前端均设置长焦距镜头,组成远距离摄像组,用于构成横向90°的视场角以覆盖远距离区域,远距离摄像组均匀设置于第二平板和第三块平板上。
进一步地,概貌采集单元通过用于调节倾角的基座与第二平板相连接,基座与水平面的倾角为20°。
进一步地,壳体由导热金属制成。
进一步地,概貌采集单元包括概貌网络摄像机,概貌网络摄像机为1080P网络摄像机,编码方式使用h264标准,其前端连接短焦距镜头,横向视场角达到90度。
进一步地,存储模块包括彼此独立的第一网口和第二网口,第一网口,用于联通视频采集模块获取的图像信息与存储模块。第二网口,用于联通储存模块与视频管理模块。。
本发明的技术效果:
本发明提供多焦距镜头超高分辨率联动成像装置,能够实现场景概貌和超高分辨率图像的联动监控,并且设备横向视场角大于90°,能够在大范围场景监控中实现无死角全覆盖,并在距装置130m的范围内,采集影像的像素密度大于125像素/米,可识别人或者车辆等物体。
具体请参考根据本发明的多焦距镜头超高分辨率联动成像装置提出的各种实施例的如下描述,将使得本发明的上述和其他方面显而易见。
附图说明
图1是本发明优选实施例多焦距镜头超高分辨率联动成像装置结构示意图;
图2是本发明优选实施例壳体安装状态示意图,其中(a)是壳体主视图(b)式壳体侧视图;
图3是本发明优选实施例提供的多焦距镜头超高分辨率联动成像装置视场覆盖范围示意图;
图4是本发明优选实施例中对单一镜头单元采集图像建立的采集图像坐标系XpYpOp坐标系和空间坐标系XsYsZsOs坐标系模型示意图。
图例说明:
110、概貌采集单元;120、细节采集单元;210、第一平板;220、第二平板;230、第三平板;300、存储模块;400、视频管理模块。
具体实施方式
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
为了克服现有监控方案在大范围区域内,视频监控应用上的不足,本发明提供了一种多焦距镜头超高分辨率联动成像装置。只需要在监控区域安装一套设备,就可以替代现有监控方案中所需的所有监控设备,并且操作方便,使用简单。该装置包含视频采集模块,存储模块300和视频管理模块400。
参见图1,视频采集模块包含至少一个概貌采集单元110和至少十个细节采集单元120,细节采集单元120中各镜头的焦距不同,用于采集监控区域中目标物的超高分辨率图像信息。概貌采集单元110,用于采集低分辨率的监控区域全景概貌图像信息。
存储模块300,用于存储视频采集模块获取的图像信息。
视频管理模块400,用于对场景概貌图像和细节图像进行空间配准,并根据空间配准信息对概貌采集单元110和细节采集单元120所获取的图像进行协同联动预览和回放;
视频管理模块400所具有的回放功能可通过onvif协议搜索和查询得到视频文件,并对查询到的视频文件进行回放。在回放过程中,在场景概貌图像选择需要放大查看的场景细节,通过空间配准信息计算后,在超高分辨率图像显示窗口中,对选择的细节清晰的放大显示,在距采集装置130m的范围内,所获取的视频图像可以用于识别目标人或车辆等物体的各项特征。
视频管理模块400接入网络视频存储设备后,通过空间配准功能,对场景概貌图像和细节图像分别采样,计算得到空间配准信息。空间配准信息用于场景概貌单元和细节单元的匹配联动。
设备协同联动预览功能是指,使用者在场景概貌图像选择需要预览的细节,通过空间配准信息计算,得到细节采集单元120的序号及图像对应的坐标后,在超高分辨率图像显示窗口中,对使用者选择的细节进行清晰的放大显示。
设备协同联动回放功能是指,用户可以通过onvif协议搜索和查询录像文件,并对查询到的录像文件进行回放。在回放过程中,使用者在场景概貌图像中选择所需查看的场景的细节,通过空间配准信息计算后,得到细节采集单元120的序号及图像对应的坐标后,在超高分辨率图像显示窗口中,对使用者选择的细节进行联动匹配放大回放。
如果想让概貌采集单元110和细节采集单元120之间可以正确的匹配联动,就需要获得两者之间的映射关系,即相同场景在两者采集图像中的对应关系。视频管理模块400中加入了空间配准模块通过空间配准方法,用以实现概貌采集单元110和细节采集单元120之间的空间配准,获得两者之间的映射关系,继而解决镜头单元之间的匹配联动问题。
为使概貌采集单元110和细节采集单元120实现匹配联动,首先需要获得两者之间的映射关系,即确定相同场景在两者采集图像中的对应关系。视频管理模块400中包括空间配准模块,用以实现概貌采集单元110和细节采集单元120之间的空间配准,获得两者之间的映射关系,为实现概貌采集单元110和细节采集单元120之间的匹配联动提供映射关系。
空间配准模块通过空间配准方法实现概貌采集单元110和细节采集单元120所得图像的空间配准。如图3~4所示,其中所用空间配准方法是对概貌采集单元110和细节采集单元120 所获取的视频图像中的某一图像进行空间配准,解决各镜头单元之间的匹配联动问题,通过对场景概貌图像和细节显示图像分别采样,计算得到各图像的空间配准信息,所得空间配准信息可用于场景概貌单元和细节单元的匹配联动。空间配准方法包括以下步骤:
(1)分别建立各单镜头单元的采集图像坐标系XpYpOp,同时采用球型模型建立空间坐标系XsYsZsOs,以单镜头单元的左方为Xp轴正方向,下方为Yp轴正方向,如图4所示。空间坐标系XsYsZsOs的Xs轴正方向与Xp轴正方向相反,Ys轴正方向与Yp轴正方向相反,前方为Zs轴正方向。
取以空间坐标系XsYsZsOs的原点为球心半径为1的球面上的一点ms,ms的奇次坐标为 (xs,ys,zs,1)T,mp点为ms点在采集图像坐标系XpYpOp上的成像点,其奇次坐标为mp=(xp,yp,1)T,空间坐标中的点ms到采集图像坐标系上点mp的对应关系表示为:
mp=K(R,0)ms=(KR,0)ms=Pms (1)
其中,矩阵P=K(R,0)通常称为摄像机矩阵,是摄像机的内参数矩阵,fx=f/dx,fy=f/dy,分别称为Xp轴和Yp轴上的归一化焦距;f为镜头单元的焦距,dx和dy分别表示Xp轴和Yp轴上单位像素的尺寸大小,cx和cy表示光学中心,通常位于图像中心处,这里为采集图像坐标系XpYpOp原点Op。
(R,0)为单镜头单元的外参数矩阵,其中R基于点ms到单镜头单元光轴的水平夹角α和垂直夹角β计算得到:
此处的单镜头单元是指视频采集模块中包含的至少一个概貌采集单元110和多个细节采集单元120。
(2)分别对场景概貌图像和细节采集单元120的视频图像采样:
分别预览场景概貌单元采集的图像和一个细节采集单元120获取的图像,并对相同物体同一点在两个图像中的的像素坐标进行记录,每组记录组成一个像素坐标组,共记录6组像素坐标组,按照这种方法,分别采集场景概貌图像和每一个细节图像的像素坐标组,以完成场景概貌图像分别与每一个细节采集单元120获取的图像的像素坐标采样。
计算场景概貌单元获取的图像和任一细节采集单元120获取的图像中对应像素坐标组中,场景概貌单元采集的图像中同一物体同一点的像素坐标与细节采集单元120获取图像中物体同一点的像素坐标的映射关系。
计算方法:首先根据公式(1),将对应像素坐标组中的6个场景概貌图像像素坐标转换为空间坐标系XsYsZsOs,得到包含6个向量v1,v2…v6的概貌向量;
将对应像素坐标组中细节采集单元120所获取的图像上的6个像素坐标转换为空间坐标系XsYsZsOs,得到包含6个向量v1',v2'…v6'的细节向量,按照公式(5)~(7)以概貌向量组成矩阵MatH,细节向量组成矩MatD,求解旋转矩阵MatH2D:
MatD=[v1,v2,v3,v4,v5,v6] (5)
MatH=[v1',v2',v3',v4',v5',v6'] (6)
MatH2D=MatD×PINV(MatH) (7),
其中,PINV(Matrix)为矩阵Matrix的广义逆。
按照采集单元的个数重复前述步骤,得到场景概貌图像对应每一个细节采集单元120图像的旋转矩阵;
(3)匹配联动预览或回放时,首先获取选取的概貌图像上的场景坐标(xp,yp,1)T,根据公式(1),计算该点在空间坐标系XsYsZsOs下的奇次坐标v=(xs,ys,zs,1)T;
遍历每一个细节采集单元120的旋转矩阵MatH2D,由v×MatH2D=v'(9)得到各概貌向量对应的坐标点在每一个细节采集单元120图像下的空间坐标va',vb'…vj',最后由va',vb '…vj',根据公式(1)计算所选取场景在每一个细节采集单元120中的像素坐标(xa',ya'),(xb', yb')…(xj',yj'),去掉不合理的结果,并选取其中距细节采集单元120中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。
从而实现了概貌采集单元110中目标物在细节采集单元120图像的对应,充分利用细节图像对概貌图像中的目标物进行监控。
运用多焦距镜头超高分辨率联动成像系统,能够实现场景概貌和超高分辨率图像的联动监控,并且设备横向视场角大于90°,能够在大范围场景监控中实现无死角全覆盖,并在距装置130m的范围内,采集影像的像素密度大于125像素/米,可识别人或者车辆等物体。
使用者通过视频管理模块400,在场景概貌图像信息中,选择需要预览或回放的场景细节,在细节显示图像中,就对选择的场景细节进行联动匹配放大预览或回放。本发明的多焦距镜头超高分辨率联动成像装置使用概貌采集单元110采集的场景概貌与多个不同焦距的细节采集单元120获取的超高分辨率拼接图像联动,实现对场景的无死角全覆盖监控,并在距装置 130m范围内,采集影像的像素密度大于125像素/米,达到可以识别人体特征的技术要求,同时整个监控图像像素也达到了一亿以上。同时通过空间配准方法和细节采集单元120匹配联动成像,在场景概况图像中选择需要预览的某一场景的细节情况时,则会在细节图像中清晰的放大显示被选择的部分。
根据所获取的场景概貌,预览场景概况并通过空间配准法对其进行处理后,配合细节采集单元120所获取的细节图像进行匹配联动成像。细节采集单元120采集得到的图像像素数过高,对该图像进行处理时对后端设备的要求较高。通过搭配概貌采集单元110使用,则可在保证所获取监控结果准确性的前提下,降低后端设备所处理图像的像素。
优选的,概貌采集单元110包括概貌网络摄像机。概貌网络摄像机为1080P网络摄像机,编码方式使用h264标准,其前端连接短焦距镜头。
优选的,包括10个所述细节采集单元,每个所述细节采集单元均包括细节网络摄像机,所述细节网络摄像机的视频采集分辨率为4000×3000,编码方式为h264标准,其中任意3台所述细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组,用于构成横向90°的视场角以覆盖近距离区域,所述近距离摄像组设置于所述第一平板上;
余下7台所述细节网络摄像机前端均设置长焦距镜头,组成远距离摄像组,用于构成横向90°的视场角以覆盖远距离区域,所述远距离摄像组均匀设置于所述第二平板和第三块平板上。
细节采集单元120包括细节网络摄像机,细节网络摄像机采用1200万像素CMOS感光器件,视频采集分辨率为4000×3000,编码方式为h264标准。其中三台细节网络摄像机前端连接中焦距镜头,覆盖近距离区域(相对具体摄像机距离较近的区域)。其余细节网络摄像机前端连接长焦距镜头,覆盖远距离区域(相对具体摄像机距离较远的区域)。按此设置,可以实现对采集场景无死角全覆盖,并在130m范围内,采集影像的像素密度大于125像素/米,达到可以识别人的要求。
优选的,该装置还包含一块辅助功能电路板,用于提供供电电压转换并为前端摄像机和交换机提供电源;提供千兆网络交换机功能并连接前端摄像机;对外提供电源接口及千兆网络接口。以便于信息传输和供电的需要,集成后有利于缩小装置整体体积。该辅助功能电路板也可以设置于壳体背部。主要功能包括供电电压转换,将使用24VAC供电电压转换为 12VDC,为所有采集单元及交换机供电;同时提供千兆网络交换机功能,用于连接所有采集单元的网口;辅助功能电路板对外提供供电电源接口及千兆网络接口。
参见图2,优选的,概貌采集单元110和细节采集单元120设置于壳体内。壳体内部被平板分隔为三层分别用于放置概貌采集单元110和细节采集单元120。壳体内间隔设置第一平板 210、第二平板220和第三平板230,第二平板220和第三平板230均与水平面平行,第一平板210向水平面倾斜设置;概貌采集单元110设置于第二平板220的中间,细节采集单元120 围绕概貌采集单元110设置。
参见图2,更优选的,第一平板210与壳体底板纵向上形成20°的夹角。即第一平板210 与水平面所成锐角为20°。3台前端连接中焦距镜头的摄像机,按照左中右摆放,固定在壳体内上部的平板上,3台摄像机共同构成横向90度的视场角;另外7台摄像机中,其中3台按照左中右摆放,固定在壳体内底部的平板上,另外4台分布在概貌采集单元110两边,固定在壳体内中间的平板上,7台摄像机共同构成横向90度的视场角。
第一平板210与水平面倾斜角度中的锐角度数由中焦距摄像机和长焦距摄像机的纵向视场范围确定。通过将各摄像头安装于壳体中,使得多个镜头单元拼接图像的横向视场角达到 90°,可实现对采集场景无死角全覆盖。处于壳体第一层上的3台摄像机前端连接中焦距镜头,按照左中右摆放,固定在壳体内上部的金属平板上,固定位置如图2所示,3台摄像机共同构成横向90度的视场角,每两个摄像机的视场范围有一定重叠,如图3所示;十个细节采集单元120的视场覆盖了整个90度范围的监控区域,实现对场景的无死角全覆盖监控,整个监控图像达到了一亿像素以上。
为了使概貌采集单元110视场范围可以覆盖全部细节采集单元120的视场范围,以使本发明提供装置的视场范围如图3所示,将概貌采集单元110固定在具有锐角倾斜的基座上,基座固定在壳体内中间平板的中心位置。
更优选的,基座与水平面所成锐角度为20°。按此设置该夹角后,能保证概貌图像覆盖中焦距摄像机和长焦距摄像机的取景范围能有效防止匹配联动死角的出现。
优选的,壳体底部外可安装专用监控摄像头支架,通过支架上的固定螺丝,可对装置的安装角度进行调节。
优选的,壳体由导热金属制成。能有效散热,降低热量对装置的影响。
优选的,存储模块上包括两个彼此独立的的第一网口和第二网口。第一网口,用于联通视频采集模块获取的图像信息与存储模块300。第二网口,用于联通储存模块与视频管理模块 400。有利于提高处理效率。第一网口和第二网口均为千兆网络接口。
本领域技术人员将清楚本发明的范围不限制于以上讨论的示例,有可能对其进行若干改变和修改,而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明,但这样的说明和描述仅是说明或示意性的,而非限制性的。本发明并不限于所公开的实施例。
通过对附图,说明书和权利要求书的研究,在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中,术语“包括”不排除其他步骤或元素,而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。
Claims (8)
1.一种多焦距镜头超高分辨率联动成像装置,其特征在于,包括:
视频采集模块,用于获取监控区域的实时图像信息,设置于所述监控区域附近,包括至少一个用于采集低分辨率的所述监控区域场景概貌图像信息的概貌采集单元和至少十个用于采集所述监控区域中目标物的细节图像信息的细节采集单元,
所述细节采集单元的各镜头焦距不同;
存储模块,用于存储所述视频采集模块获取的图像信息;
视频管理模块,用于对所述场景概貌图像和所述细节图像进行空间配准,并根据空间配准信息对所述概貌采集单元和所述细节采集单元所获取的图像进行协同联动预览和回放;
所述视频管理模块中包括空间配准模块,所述空间配准模块用以实现所述概貌采集单元和所述细节采集单元之间的空间配准,获得两者之间的映射关系,所述空间配准模块通过空间配准方法实现概貌采集单元和细节采集单元所得图像的空间配准;
所述空间配准方法包括以下步骤:
(1)分别建立各单镜头单元的采集图像坐标系XpYpOp,同时采用球型模型建立空间坐标系XsYsZsOs,以单镜头单元的左方为Xp轴正方向,下方为Yp轴正方向,空间坐标系XsYsZsOs的Xs轴正方向与Xp轴正方向相反,Ys轴正方向与Yp轴正方向相反,前方为Zs轴正方向;
取以所述空间坐标系XsYsZsOs的原点为球心半径为1的球面上的一点ms,ms的奇次坐标为(xs,ys,zs,1)T,mp点为ms点在采集图像坐标系XpYpOp上的成像点,其奇次坐标为mp=(xp,yp,1)T,所述空间坐标中的点ms到采集图像坐标系上点mp的对应关系表示为:
mp=K(R,0)ms=(KR,0)ms=Pms (1)
其中,矩阵P=K(R,0)通常称为摄像机矩阵,是摄像机的内参数矩阵,fx=f/dx,fy=f/dy,分别称为Xp轴和Yp轴上的归一化焦距;f为镜头单元的焦距,dx和dy分别表示Xp轴和Yp轴上单位像素的尺寸大小,cx和cy表示光学中心,(R,0)为单镜头单元的外参数矩阵,其中R基于点ms到单镜头单元光轴的水平夹角α和垂直夹角β计算得到:
(2)分别对场景概貌图像和细节采集单元的视频图像采样:
分别预览场景概貌图像和一个细节图像,并对相同物体同一点在两个图像中的像素坐标进行记录,每组记录组成一个像素坐标组,共记录6组像素坐标组,按照这种方法,分别采集场景概貌图像和每一个细节图像的像素坐标组,以完成场景概貌图像分别与每一个细节采集单元获取的图像的像素坐标采样;
计算场景概貌图像和任一细节图像中对应像素坐标组中,场景概貌图像中同一物体同一点的像素坐标与细节图像中物体同一点的像素坐标的映射关系:首先根据公式(1),将对应像素坐标组中的6个场景概貌图像像素坐标转换为所述空间坐标系XsYsZsOs,得到包含6个向量v1,v2…v6的概貌向量;
将对应像素坐标组中细节采集单元所获取的图像上的6个像素坐标转换为空间坐标系XsYsZsOs,得到包含6个向量v1',v2'…v6'的细节向量,按照公式(5)~(7)以概貌向量组成矩阵MatH,细节向量组成矩MatD,求解旋转矩阵MatH2D:
MatD=[v1,v2,v3,v4,v5,v6] (5)
MatH=[v1',v2',v3',v4',v5',v6'] (6)
MatH2D=MatD×PINV(MatH) (7),
其中,PINV(Matrix)为矩阵Matrix的广义逆;
按照采集单元的个数重复前述步骤,得到场景概貌图像对应每一个细节采集单元图像的旋转矩阵;
(3)匹配联动预览或回放时,首先获取选取的概貌图像上的场景坐标(xp,yp,1)T,根据公式(1),计算该点在空间坐标系XsYsZsOs下的奇次坐标v=(xs,ys,zs,1)T;
遍历每一个细节采集单元的旋转矩阵MatH2D,由v×MatH2D=v'(9)得到各概貌向量对应的坐标点在每一个细节采集单元图像下的空间坐标va',vb'…vj',最后由va',vb'…vj',根据公式(1)计算所选取场景在每一个细节采集单元中的像素坐标(xa',ya'),(xb',yb')…(xj',yj'),去掉不合理的结果,并选取其中距细节采集单元中心坐标最近的一个像素坐标作为概貌图像中与细节图像中匹配联动的对象。
2.根据权利要求1所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述概貌采集单元和所述细节采集单元设置于壳体内,所述壳体内间隔设置第一平板、第二平板和第三平板,所述第二平板和所述第三平板均与水平面平行,所述第一平板向水平面倾斜设置;所述概貌采集单元设置于第二平板的中间,所述细节采集单元围绕所述概貌采集单元设置。
3.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述第一平板与水平面所成锐角为20°。
4.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,包括10个所述细节采集单元,每个所述细节采集单元均包括细节网络摄像机,所述细节网络摄像机的视频采集分辨率为4000×3000,编码方式为h264标准,其中任意3台所述细节网络摄像机的前端均设置中焦距镜头组成近距离摄像组,用于构成横向90°的视场角以覆盖近距离区域,所述近距离摄像组设置于所述第一平板上;
余下7台所述细节网络摄像机前端均设置长焦距镜头,组成远距离摄像组,用于构成横向90°的视场角以覆盖远距离区域,所述远距离摄像组均匀设置于所述第二平板和第三块平板上。
5.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述概貌采集单元通过用于调节倾角的基座与所述第二平板相连接,所述基座与所述水平面的倾角为20°。
6.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述壳体由导热金属制成。
7.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述概貌采集单元包括概貌网络摄像机,所述概貌网络摄像机为1080P网络摄像机,编码方式使用h264标准,其前端连接短焦距镜头,横向视场角达到90度。
8.根据权利要求2所述的多焦距镜头超高分辨率联动成像装置,其特征在于,所述存储模块包括彼此独立的第一网口和第二网口,所述第一网口,用于联通视频采集模块获取的图像信息与存储模块,所述第二网口,用于联通储存模块与视频管理模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610308901.6A CN105744239B (zh) | 2016-05-11 | 2016-05-11 | 多焦距镜头超高分辨率联动成像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610308901.6A CN105744239B (zh) | 2016-05-11 | 2016-05-11 | 多焦距镜头超高分辨率联动成像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105744239A CN105744239A (zh) | 2016-07-06 |
CN105744239B true CN105744239B (zh) | 2018-10-19 |
Family
ID=56288369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610308901.6A Active CN105744239B (zh) | 2016-05-11 | 2016-05-11 | 多焦距镜头超高分辨率联动成像装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105744239B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108513097A (zh) * | 2017-02-27 | 2018-09-07 | 杭州海康威视数字技术股份有限公司 | 一种多目摄像装置和监控系统 |
TWI672677B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 用以融合多深度圖的深度圖產生裝置 |
CN108171723A (zh) * | 2017-12-22 | 2018-06-15 | 湖南源信光电科技股份有限公司 | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机系统 |
CN108076297A (zh) * | 2017-12-22 | 2018-05-25 | 湖南源信光电科技股份有限公司 | 基于Kalman滤波与Camshift算法结合的目标跟踪算法的摄像机系统 |
CN108156419A (zh) * | 2017-12-22 | 2018-06-12 | 湖南源信光电科技股份有限公司 | 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统 |
CN110139045A (zh) * | 2019-06-17 | 2019-08-16 | 北京拙河科技有限公司 | 一种亿级像素视频采集、处理、展示方法,装置及系统 |
CN112702626A (zh) * | 2020-12-01 | 2021-04-23 | 咪咕文化科技有限公司 | 视频文件播放切换方法、服务器、客户端、设备及介质 |
CN113286096B (zh) * | 2021-05-19 | 2022-08-16 | 中移(上海)信息通信科技有限公司 | 视频识别方法及系统 |
CN113411494A (zh) * | 2021-05-26 | 2021-09-17 | 上海商甲信息科技有限公司 | 一种增加监控视角和清晰度的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
CN101720027A (zh) * | 2009-11-27 | 2010-06-02 | 西安电子科技大学 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
CN102117008A (zh) * | 2009-12-30 | 2011-07-06 | 天津市亚安科技电子有限公司 | 一种球面全景监控装置 |
CN105554447A (zh) * | 2015-12-11 | 2016-05-04 | 北京天地玛珂电液控制系统有限公司 | 一种基于图像处理技术的采煤工作面实时视频拼接系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
-
2016
- 2016-05-11 CN CN201610308901.6A patent/CN105744239B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
CN101720027A (zh) * | 2009-11-27 | 2010-06-02 | 西安电子科技大学 | 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 |
CN102117008A (zh) * | 2009-12-30 | 2011-07-06 | 天津市亚安科技电子有限公司 | 一种球面全景监控装置 |
CN105554447A (zh) * | 2015-12-11 | 2016-05-04 | 北京天地玛珂电液控制系统有限公司 | 一种基于图像处理技术的采煤工作面实时视频拼接系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105744239A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105744239B (zh) | 多焦距镜头超高分辨率联动成像装置 | |
CN105933678B (zh) | 基于多目标智能跟踪的多焦距镜头联动成像装置 | |
US10362225B2 (en) | Omnidirectional sensor array system | |
CN108156419A (zh) | 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统 | |
CN103402052B (zh) | 利用旋转对称广角透镜获得全景和直线性图像的方法和装置 | |
CN100524017C (zh) | 凹形全景照相机系统 | |
CN202395858U (zh) | 一种双目摄像装置 | |
CN101877767A (zh) | 一种六通道视频源生成三维全景连续视频的方法和系统 | |
US8908054B1 (en) | Optics apparatus for hands-free focus | |
CN102510474A (zh) | 一种360度全景监控系统 | |
CN107438152B (zh) | 一种运动摄像机对全景目标快速定位捕捉方法及系统 | |
CN108171723A (zh) | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机系统 | |
CN209964215U (zh) | 一种球形三维全景成像系统 | |
CN105262949A (zh) | 一种多功能全景视频实时拼接方法 | |
Popovic et al. | Real-time implementation of Gaussian image blending in a spherical light field camera | |
CN107018386A (zh) | 一种视频流多分辨率观测系统 | |
CN205792939U (zh) | 用于全景摄像机的双鱼眼摄像装置 | |
CN207706329U (zh) | 一种全景安防监控系统 | |
CN108076297A (zh) | 基于Kalman滤波与Camshift算法结合的目标跟踪算法的摄像机系统 | |
TWM348034U (en) | Automobile monitoring device with long and short lens | |
CN111818298A (zh) | 一种基于光场的高清视频监控系统及方法 | |
CN115529450A (zh) | 基于光场的密集摄像机实时采集设备及数据预处理方法 | |
CN109547689A (zh) | 自动拍摄控制方法、装置及计算机可读存储介质 | |
CN206850912U (zh) | 一种五路机内拼接式实时全景成像装置 | |
CN209046727U (zh) | 多路高清摄像拼接的全景视频实时处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |