CN112866627B - 一种三维视频监控方法及相关设备 - Google Patents

一种三维视频监控方法及相关设备 Download PDF

Info

Publication number
CN112866627B
CN112866627B CN201911194910.7A CN201911194910A CN112866627B CN 112866627 B CN112866627 B CN 112866627B CN 201911194910 A CN201911194910 A CN 201911194910A CN 112866627 B CN112866627 B CN 112866627B
Authority
CN
China
Prior art keywords
camera
parameters
server
dimensional video
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911194910.7A
Other languages
English (en)
Other versions
CN112866627A (zh
Inventor
朱志晓
王斌
史浩
窦连航
赵其勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huawei Technologies Co Ltd
Original Assignee
Shanghai Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huawei Technologies Co Ltd filed Critical Shanghai Huawei Technologies Co Ltd
Priority to CN201911194910.7A priority Critical patent/CN112866627B/zh
Publication of CN112866627A publication Critical patent/CN112866627A/zh
Application granted granted Critical
Publication of CN112866627B publication Critical patent/CN112866627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种三维视频监控方法及相关设备,在该方法中,服务器使用控制参数更新摄像机的工作参数,得到目标工作参数,并使用该目标工作参数及时对获取得到的初始二维视频数据进行处理,其中,初始二维视频数据为该摄像机使用该控制参数调整拍摄视角后拍摄得到的,此后再在三维模型数据中融合该处理后的二维视频数据,得到三维视频数据,从而实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。

Description

一种三维视频监控方法及相关设备
技术领域
本申请涉及视频监控领域,尤其涉及一种三维视频监控方法及相关设备。
背景技术
随着摄像机技术的发展,对于园区、工业区、社区、公司、车站、机场等场所,摄像机监控作为一种常见的安全手段,在这种监控区域范围较大的情况下,传统的九宫格排列式的视频监控画面很难获取整个监控区域的立体全貌,而且在众多摄像机的情况下,也很难一下子找到对应实际地理位置的摄像机画面。
在现有技术中,为了解决上述问题,三维视频监控系统应运而生,在三维视频监控系统中,将二维的实时监控视频流融合到已建好模的整个监控区域的三维模型中,可对监控区域进行全局的立体的实时监控。对于大范围的整体监控一般会采用高位摄像机,而高位的摄像机数量较少,且都有云台控制,用来扩大其监控范围。
然而,在切换摄像机的拍摄视角之后,在三维视频监控系统中,仍然会在原来的三维位置上渲染变化后的摄像机画面,导致融合画面会出现严重的畸变,使得三维视频质量急剧下降。
发明内容
本申请实施例提供了一种三维视频监控方法及相关设备,用于实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。
本申请实施例第一方面提供了一种三维视频监控方法,该方法可以应用在三维视频监控系统中的服务器,用于将摄像机所采集的二维视频数据处理之后,实现虚实融合的三维视频监控,其中,在切换摄像机的拍摄视角之后,在三维视频监控系统中,由于服务器仍然会在原来的三维位置上渲染变化后的摄像机画面,导致融合画面会出现畸变,此时,可以通过三维视频监控方法来解决该问题,该方法具体包括:服务器获取监控区域的三维模型数据,可以用相机或者无人机对该监控区域进行画面拍摄,使用相关软件建模进一步得到静态的三维模型对应的三维模型数据;然后,该服务器获取该监控区域中摄像机的控制参数,即服务器获取控制该摄像机的控制参数;该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数;此后,服务器拉取实时的二维视频流即该摄像机拍摄的初始二维视频数据,再结合使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据,该初始二维视频数据为摄像机使用该控制参数调整拍摄视角后拍摄得到的二维视频数据;最后,该服务器在该三维模型数据中融合该处理后的二维视频数据,得到三维视频数据。其中,服务器使用控制参数更新摄像机的工作参数,得到目标工作参数,并使用该目标工作参数及时对获取得到的初始二维视频数据,再在三维模型数据中融合该处理后的二维视频数据,得到三维视频数据,从而实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。
本申请实施例第一方面的一种可能的实现方式中,该控制参数具体可以包括目标预置位信息,其中,该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数包括:该服务器获取预置位信息与工作参数的映射列表;然后,该服务器在映射列表中将该目标预置位信息对应的工作参数确定为目标工作参数。
本实施例中,服务器可以预设多个云台预置位以覆盖摄像机所有的拍摄范围,并建立预置位信息与工作参数的映射列表,此后,具体可以根据控制参数中的目标预置位信息在该映射列表中确定出对应的工作参数为目标工作参数,从而使三维视频监控系统可以快速适应摄像机拍摄视角的动态变化。
本申请实施例第一方面的一种可能的实现方式中,该控制参数具体可以包括相机调整参数该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数包括:服务器获取该摄像机的初始工作参数;然后,该服务器使用该相机调整参数更新该摄像机的初始工作参数,得到该目标工作参数。
本实施例中,服务器中可以获取该摄像机当前工作的初始工作参数,然后再根据控制参数中的相机调整参数对该初始工作参数进行调整,得到该目标工作参数,从而使三维视频监控系统可以快速适应摄像机拍摄视角的动态变化。
本申请实施例第一方面的一种可能的实现方式中,该相机调整参数包括相机调整方向、相机转动速度和相机转动时间。此外,如果摄像机和/或连接于该摄像机的云台带有电动变焦功能时,则可以改变相机内参,其中,相机内参是内参数矩阵(与相机自身特性相关的参数,如焦距、像素大小等)。
本申请实施例第一方面的一种可能的实现方式中,该服务器获取该监控区域中摄像机的控制参数包括:该服务器接收摄像机控制端发送的该摄像机的控制参数,该摄像机控制端用于控制该摄像机的拍摄视角。
本实施例中,在具体的实现中,摄像机控制端对电脑的性能不高,而服务器需要对二维视频进行渲染得到三维视频,对电脑的性能要求高,所以可以将服务器和摄像机控制端分离设置,该摄像机控制端用于控制该摄像机的拍摄视角,此时,摄像机获取控制参数的过程具体为该服务器接收摄像机控制端发送的该摄像机的控制参数。
本申请实施例第一方面的一种可能的实现方式中,该目标工作参数包括该摄像机的相机内参、该摄像机的相机外参和该摄像机的融合参数。
本实施例中,相机内参是内参数矩阵(与相机自身特性相关的参数,如焦距、像素大小等),相机外参是外参数矩阵(在世界坐标系中的参数,如相机的平移位置、旋转方向等);融合参数是融合时需要用到的除相机参数外的其他各种调整参数的统称。对于不同的融合算法,其参数也不同,实际应用中,对于一般的摄像机不用融合参数效果也还可以。但是对于鱼眼摄像机拍摄的就需要进行校正,此时这些融合参数是与相机出厂参数有关。
本申请实施例第二方面提供一种服务器,服务器具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块,例如:获取单元、更新单元、处理单元和融合单元等。
本申请实施例第三方面提供了一种服务器,服务器包括至少一个处理器、存储器以及存储在存储器中并可在处理器上运行的计算机执行指令,当所述计算机执行指令被所述处理器执行时,所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。
本申请实施例第四方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质,当所述计算机执行指令被处理器执行时,所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。
本申请实施例第五方面提供一种存储一个或多个计算机执行指令的计算机程序产品,当所述计算机执行指令被所述处理器执行时,所述处理器执行上述第一方面或第一方面任意一种可能实现方式的方法。
本申请第六方面提供了一种芯片系统,该芯片系统包括处理器,用于支持服务器实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中,芯片系统还可以包括存储器,存储器,用于保存必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
其中,第二方面至第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果,此处不再赘述。
从以上技术方案可以看出,本申请实施例具有以下优点:服务器获取监控区域的三维模型数据,可以用相机或者无人机对该监控区域进行画面拍摄,使用相关软件建模进一步得到静态的三维模型对应的三维模型数据;然后,该服务器获取该监控区域中摄像机的控制参数,即服务器获取控制该摄像机的控制参数;该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数;此后,服务器拉取实时的二维视频流即该摄像机拍摄的初始二维视频数据,再结合使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据,该初始二维视频数据为摄像机使用控制参数调整拍摄视角后拍摄得到的二维视频数据;最后,该服务器在该三维模型数据中融合该处理后的二维视频数据,得到三维视频数据。其中,服务器使用控制参数更新摄像机的工作参数,得到目标工作参数,并使用该目标工作参数及时对获取得到的初始二维视频数据,再在三维模型数据中融合该处理后的二维视频数据,得到三维视频数据,从而实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。
附图说明
图1本申请实施例中一种三维视频监控方法实施系统架构图的一个示意图;
图2本申请实施例中一种三维视频监控方法实施例的一个示意图;
图3本申请实施例中一种三维视频监控方法实施例的另一个示意图;
图4本申请实施例中一种三维视频监控方法实施例的另一个示意图;
图5本申请实施例中一种三维视频监控方法实施例的另一个示意图;
图6本申请实施例中一种三维视频监控方法实施例的另一个示意图;
图7本申请实施例中一种服务器实施例的一个示意图;
图8本申请实施例中一种服务器实施例的另一个示意图。
具体实施方式
随着摄像机技术的发展,对于园区、工业区、社区、公司、车站、机场等场所,摄像机监控作为一种常见的安全手段,在这种监控区域范围较大的情况下,传统的九宫格排列式的视频监控画面很难获取整个监控区域的立体全貌,而且在众多摄像机的情况下,也很难一下子找到对应实际地理位置的摄像机画面。在现有技术中,为了解决上述问题,三维视频监控系统应运而生,如图1所示,在三维视频监控系统中包括相互连接的摄像机和服务器,其中,该摄像机可以包括数码相机、数码摄像机、高速摄影机和/或其他的用于采集二维视频的设备,摄像机用于采集二维的实时监控视频发送至服务器,然后服务器将二维的实时监控视频流融合到已建好模的整个监控区域的三维模型中,可对监控区域进行全局的立体的实时监控。对于大范围的整体监控一般会采用高位摄像机,而高位的摄像机数量较少,且都有云台控制,用来扩大其监控范围。然而,在切换摄像机的拍摄视角之后,在三维视频监控系统中,仍然会在原来的三维位置上渲染变化后的摄像机画面,导致融合画面会出现严重的畸变,使得三维视频质量急剧下降。
也就是说,现有技术中存在的技术问题是,摄像机视角一定要固定不变,将二维视频融合成三维视频时相机参数也是固定不变的,一旦拍摄视角有所变化,相关参数没有做调整,还是会在原来的三维位置上渲染变化后的摄像机画面,因此融合画面会出现严重的畸变。为此,基于图1所示三维视频监控系统,本申请实施例提供了一种三维视频监控方法及相关设备,用于实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。下面将结合附图对本申请实施例进行详细地说明。
请参阅图2,本申请实施例中一种三维视频监控方法的一个实施例包括:
201、服务器获取监控区域的三维模型数据;
本实施例中,服务器获取监控区域的三维模型数据的方式具体可以用相机或者无人机对该监控区域进行画面拍摄,再将所拍摄的画面发送至服务器,服务器再使用相关软件建模进一步得到静态的三维模型对应的三维模型数据。
其中,服务器获取监控区域的三维模型数据的方式还可以是云端设备、高性能电脑等其他设备根据画面来执行对应的建模过程,得到三维模型数据,然后服务器直接从该设备中拉取对该监控区域已构建完成的三维模型数据,此处不做限定。
202、该服务器获取该监控区域中摄像机的控制参数;
本实施例中,该服务器获取该监控区域中摄像机的控制参数,即服务器获取控制该摄像机拍摄视角调整的控制参数,该控制参数用于调整该摄像机的拍摄视角。
具体来说,控制参数可以是调整该摄像机的相机内参,例如该摄像机的拍摄焦距、拍摄像素等相机内参,控制参数也可以是调整该摄像机的相机外参,例如该摄像机的移动距离、移动方向等相机外参,控制参数还可以是调整该摄像机的其他可以调整该摄像机的拍摄视角的参数,此处不做限定。其中,相机内参是内参数矩阵(与相机自身特性相关的参数,如焦距、像素大小等),如果摄像机和/或云台带有电动变焦功能,则可以改变相机内参;相机外参是外参数矩阵(在世界坐标系中的参数,如相机的平移位置、旋转方向等);融合参数是融合时需要用到的除相机参数外的其他各种调整参数的统称;对于不同的融合算法,其参数也不同,实际应用中,对于一般的摄像机不用融合参数效果也还可以。但是对于鱼眼摄像机拍摄的就需要进行校正,此时这些融合参数是与相机出厂参数有关,如相机的切向畸变系数、径向畸变系数等。
其中,服务器获取控制参数可以是服务器通过接收其它设备(例如摄像机控制端)发送的指令的方式得到,也可以是该服务器根据摄像机所拍摄数据自身生成的指令的方式生成得到,还可以是该服务器接收用户操作指令的方式获取得到,还可以是其它的方式,此处不做限定。
203、该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数;
本实施例中,该服务器根据步骤202得到的控制参数更新该摄像机的工作参数,得到目标工作参数,也就是说,该服务器根据该控制参数将摄像机的工作参数更新为目标工作参数。
如步骤202所述内容可知,服务器可以通过多种方式获取得到该控制参数,其中,当服务器通过接收其他设备发送指令的方式得到时,该服务器或者是其他设备也可以将该控制参数发送给摄像机使得摄像机根据该控制参数调整拍摄视角,或者是,服务器根据自身生成的指令的方式得到该控制参数时,也可以是该服务器将该控制参数直接发送给摄像机,使得后续摄像机使用该控制参数调整摄像机的拍摄视角。
其中,对于该控制参数来说,控制参数用于调整摄像机的拍摄视角,例如控制参数可以包括调整该摄像机的拍摄参数,例如相机调整参数可以包括相机调整方向、相机转动速度和相机转动时间中或者是其它的控制参数;此外,对于存在摄像机自带云台或者是外接云台控制的摄像机来说,该控制参数还可以包括调整该云台进行移动的控制参数,在方案的实现过程中,该控制参数还可以包括其它类型的控制参数,此处不做限定。
204、该服务器使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据;
本实施例中,该服务器使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据,其中,初始二维视频数据为所述摄像机使用所述控制参数调整拍摄视角后拍摄得到的二维视频数据。
具体来说,利用计算机视觉相关算法,服务器可以利用目标工作参数建立空间物体表面某点的三维几何位置与图像中对应点之间的相互关系。因此,可以将二维的视频画面通过投影变化得出其在三维模型中所对应的空间位置,经过如此变换,初始二维视频数据对应的画面必然会拉伸和/或变形,从而得到处理后的二维视频数据。
205、该服务器在该三维模型数据中融合该处理后的二维视频数据,得到三维视频数据。
本实施例中,服务器将步骤204得到的处理后的二维视频数据与步骤201中获取得到的三维模型数据相融合,得到三维视频数据,其中,服务器可以使用调整摄像头拍摄视角的控制参数更新该摄像机的工作参数,得到目标工作参数之后,根据该目标工作参数处理摄像机使用该控制参数调整拍摄视角后拍摄得到的初始二维视频数据,进行融合得到三维视频数据,从而实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。
本申请实施例中,在图2对应实施例中,步骤202、该服务器获取该监控区域中摄像机的控制参数的实现过程中,控制参数具体可以由摄像机控制端来确定出,其中,该摄像机控制端可以集成在服务器中,也可以分离于该服务器设置,其中,该摄像机控制端可以是该三维视频监控系统的前台使用人员所操控的摄像机总控制台,也可以是服务器机房内部用于实现三维视频监控系统后台的运维人员所操控的摄像机控制服务器,此处不做限定,在本实施例及后续实施例仅以该摄像机控制端为该摄像机总控制台为例进行说明。在实际使用中,考虑到性能和管理等问题,由于摄像机总控制台对电脑的性能不高,而且一般是前台工作人员使用,而服务器需要对二维视频数据对应的画面进行渲染生成三维视频数据,对电脑的性能要求高,一般需要显卡,一般是开发工程师进行维护,所以最好是将服务器与摄像机总控制台分开设立。在这种情况下,该三维视频监控系统的实现可以参阅图3所示内容,其中,在该系统中,包括相互连接的一个或多个摄像机100、摄像机总控制台200以及兼具计算功能和融合功能的服务器300,本实施例在实现的过程中,摄像机总控制台200可以根据用户操作指令来确定出云台控制信息并分别发送至摄像机100、服务器300,此后,服务器300根据摄像机100发送的二维视频数据即二维视频流来进行执行三维视频数据的生成过程。其中,步骤301对监控区域进行三维建模和步骤302生成三维模型数据的实现过程可以参考图2实施例中步骤201的实现过程,步骤303三维融合并显示的实现过程可以参考图2实施例中步骤202至步骤205的实现过程,此处不再赘述。
本申请实施例中,在图2对应实施例中,步骤203、该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数在实现的时候,当控制参数具体包括用于控制摄像机所在云台移动的相关参数时,对于服务器的具体实现来说,云台相关的控制参数的获取可以有多种方式,一类是预置位信息,即直接控制摄像机转到预置位设定的位置,并将该目标预置位信息对应的工作参数确定为该目标工作参数;另一类是按相机转动方向、相机转动速度和相机转动时间等具体控制信息来转动摄像机。并结合摄像机当前的工作参数对应更新确定出该目标工作参数,下面将对这两种实施方式进行具体的描述。
一、通过预置位信息确定目标工作参数;
请参阅图4,基于图2所示实施例,本申请实施例中一种三维视频监控方法的另一个实施例中,服务器具体可以包括融合服务器,步骤203、该服务器根据该控制参数更新该摄像机的工作参数,得到目标工作参数的实现过程具体可以包括:
401、开始;
402、设置多个云台预置位以覆盖摄像机所述拍摄范围,并采集所有预置位画面和以预置位为巡航点的视频;
403、处理图片和视频,得到各个预置位画面的相机内外参数、在三维空间中对应的位置和融合参数;
404、获得所有预置位和对应的工作参数的数据库信息,并保存在融合服务器中;
405、结束。
本实施例中,服务器在前期可以在监控区域中设置摄像机的预置位信息,设置摄像机预置位,如果摄像机云台水平转动角度为a度,垂直转动角度为b度,任一视角水平角度为c度,垂直角度为d度,那么至少要需要[a/c]*[b/d]个预置位才可覆盖摄像机能拍摄到的所有视角。该数据与摄像机型号强相关,以华为产品IPC6325VRZ为例,水平可转动角度a=356°,垂直可转动角度b=75°,水平视场角c=106°(广角端)~36°(长焦端),垂直视场角d=57°(广角端)~20°(长焦端),最多需要40个预置位。通常的摄像机最多可设置256个预置位,一般是满足需求的;此后,采集并处理所有预置位画面和以预置位为巡航点的视频,得到各个预置位画面的相机内外参数、在三维空间中对应的位置和融合参数,并将预置位和对应的工作参数组成的数据库信息保存在融合服务器中,也就是说,将预置位信息与工作参数的映射列表保存在融合服务器中。后续在通过目标预置位信息确定目标工作参数的实现过程中,可参阅图5所示,其中,该实施例对应的一种三维视频监控方法具体可以包括:
501、摄像机总控制台向摄像机发送控制参数,即通过云台控制摄像机进入某一预置位并进行拍摄;
502、摄像机总控制台将控制参数(即云台控制信息)发送给融合服务器;
503、融合服务器获取摄像机在该预置位下所采集的实时二维视频流;
504、融合服务器调用该视角下的对应的工作参数在三维模型上进行实时的三维融合,即通过图4实施例保存的预置位信息与工作参数的映射列表(预置位和对应的工作参数的数据库信息)与预先获取得到的三维模型进行融合,生成三维视频数据。
本实施例中,服务器可以预设多个云台预置位以覆盖摄像机所有的拍摄范围,并建立预置位信息与工作参数的映射列表,此后,具体可以根据控制参数中的目标预置位信息在该映射列表中确定出对应的工作参数为目标工作参数,从而实现对摄像机的拍摄视角的快速调整,使摄像机使用控制参数调整后的视角下的二维实时视频流能完美得融合在三维模型中,实现三维视频监控。
二、通过摄像机的原工作参数的更新确定出目标工作参数;
请参阅图6,基于图2所示实施例,本申请实施例中一种三维视频监控方法的另一个实施例中,服务器具体可以包括计算服务器和/或融合服务器,其中,计算服务器和融合服务器同时存在时,可以在同一个服务器中运行,也可以是分立设置运行,此处不做限定;在该实施例中:
601、摄像机总控制台向摄像机发送控制参数,即通过云台控制摄像机转动;
602、摄像机总控制台将控制参数(即云台控制信息)发送给计算服务器,即告知计算服务器云台转动方向、转动速度、转动时间等;
603、计算服务器获取云台转动后摄像机拍摄的画面;
604、融合服务器获取摄像机所采集的实时二维视频流;
605、计算服务器根据步骤602和步骤603得到的参数进行计算,得到目标工作参数,其中,目标工作参数包括相机参数(相机内参和/或相机外参)和融合参数;
其中,相机外参决定摄像机坐标和世界坐标之间相对位置关系。摄像机总控制台同时将方向、速度、时间等控制信息发送给计算服务器,服务器根据云台控制信息得到摄像机的滚动角变化量△γ、偏航角变化量△β和倾斜角变化量△α。相机外参决定了摄像机坐标和世界坐标(即三维模型坐标)之间相对位置关系。Pc=RPw+T,Pc为摄像机坐标,Pw为世界坐标,T=(Tx,Ty,Tz)是平移向量,R=R(α,β,γ)是旋转矩阵,物理意义:绕摄像机坐标系z轴旋转角度为γ,绕y轴旋转角度为β,绕x轴旋转角度为α。这6个参数组成了相机外参。当云台控制相机转动时,平移向量T是不变的,只有旋转矩阵是变化的,根据云台控制信息和云台转动前的摄像机角度(由初始相机外参换算得到初始角度累加得到)求得云台转动后摄像机的α,β,γ三个角度,从而快速得到对应的外参矩阵。结合初始的相机内参可以得到该视角下二维视频流在三维模型中对应的三维空间位置,并将相关参数发送给融合服务器。
606、融合服务器向摄像机总控制台发送实施三维融合视频并呈现。
本实施例中,具体可以通过云台根据给定的方向、速度、转动时间来转动位置实现摄像机拍摄视角的调整,其中,摄像机总控制台控制某一摄像机的云台按照一定方向、一定速度和一定时间来转动以改变摄像机的拍摄视角,具体控制信息在实现过程中可以包括以下内容来实现:控制云台转动的启停、云台转动方向(上、下、左、右等方向)、云台转动模式(连续转动、点动等模式)、转动速度参数、转动时长等;此后,摄像机总控制台同时将方向、速度、时间等控制信息发送给计算服务器,服务器根据云台转动前后的拍摄画面、原来的相机参数和融合参数通过一定的算法实时计算云台转动之后的目标工作参数,即相机参数(相机内参和/或相机外参)、在三维空间中对应的位置和融合参数,并将相关参数发送给融合服务器;融合服务器获得当前摄像机拍摄视角下的相关参数,拉取摄像机的实时二维视频流,将其实时得融合在监控区域的三维模型中。从而,控制摄像机云台转动,同时将云台转动的方向、速度和时间告知计算服务器,计算服务器获取云台转动后的摄像机拍摄画面后结合云台转动前的拍摄画面以及云台转动信息进行实时计算,得到该云台状态下的目标工作参数,即相机内外参数、摄像机画面在三维空间中对应的位置和融合参数,融合服务器获取摄像机拍摄的实时二维视频流和该云台状态下的相机参数及融合参数进行该视角下的实时三维融合,此时,摄像机根据云台转动来更改视角时,可以覆盖到摄像机所能拍摄到的全部视角,扩大了其在监控区域中的监控范围。
以上描述了三维视频监控方法,下面结合附图介绍本申请实施例提供的服务器。
请参阅图7,本申请实施例中提供的一种服务器70的一个实施例包括:
获取单元701,用于获取监控区域的三维模型数据;
该获取单元701,还用于获取该监控区域中摄像机的控制参数;
更新单元702,用于根据该控制参数更新该摄像机的工作参数,得到目标工作参数;
处理单元703,用于使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据;
融合单元704,用于在该三维模型数据中融合该处理后的二维视频数据,得到三维视频数据。
本实施例中,服务器70包括获取单元701,用于获取监控区域的三维模型数据;该获取单元701,还用于获取该监控区域中摄像机的控制参数;更新单元702,用于根据该控制参数更新该摄像机的工作参数,得到目标工作参数;处理单元703,用于使用该目标工作参数处理该摄像机拍摄的初始二维视频数据,得到处理后的二维视频数据;融合单元704,用于在该三维模型数据中融合该处理后的二维视频数据,得到三维视频数据。其中,更新单元702使用控制参数更新摄像机的工作参数,得到目标工作参数,处理单元703使用该目标工作参数及时对获取得到的初始二维视频数据,融合单元704再在三维模型数据中融合该处理后的二维视频数据,得到三维视频数据,从而实现切换摄像机的拍摄视角的同时,得到与该控制参数相适配的三维视频数据,解决了现有技术中更改摄像机视角而发生三维视频画面畸变的问题,提升三维监控的视频质量。
在一个可能的实现方式中,该控制参数包括目标预置位信息,该更新单元702具体用于:
获取预置位信息与工作参数的映射列表;
该服务器在映射列表中将该目标预置位信息对应的工作参数确定为目标工作参数。
在一个可能的实现方式中,该控制参数包括相机调整参数,该更新单元702具体用于:
获取该摄像机的初始工作参数;
使用该相机调整参数更新该摄像机的初始工作参数,得到该目标工作参数。
在一个可能的实现方式中,该相机调整参数包括相机调整方向、相机转动速度和相机转动时间。
在一个可能的实现方式中,该相机调整参数包括相机内参。
在一个可能的实现方式中,该获取单元701具体用于:
接收摄像机控制端发送的该摄像机的控制参数,该摄像机控制端用于控制该摄像机的拍摄视角。
在一个可能的实现方式中,该目标工作参数包括该摄像机的相机内参、该摄像机的相机外参和该摄像机的融合参数。
需要说明的是,上述服务器70的单元的信息执行过程等内容,具体可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
如图8所示,为本申请的实施例提供的上述实施例中所涉及的服务器70的一种可能的逻辑结构示意图。该服务器80包括:处理器801,示例性地,该装置在处理器801基础上,还可以增加总线804,该总线804用于建立通信端口802和/或存储器803与处理器801的连接。在本申请的实施例中,处理器801用于对服务器80的动作进行控制处理,例如,处理器801用于执行图7中的更新单元702、处理单元703和融合单元704所执行的功能。
在一种可能的实现方式中,可以增加通信端口802,用于执行与其他设备的通信功能,支持服务器80进行通信,示例性地,该通信端口802可以设置用于直接或间接与超声波雷达连接的模块,例如可以是收发天线、蓝牙模块、WI-FI模块等通信模块,例如,该通信端口802用于执行图7中获取单元701所执行的功能。
在另一种可能的实现方式中,也可以增加存储器803,用于存储服务器80的程序代码和数据。
其中,处理器801可以是中央处理器单元,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。总线804可以是外设部件互连标准(PeripheralComponentInterconnect,PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种三维视频监控方法,其特征在于,包括:
服务器获取监控区域的三维模型数据;
所述服务器获取所述监控区域中摄像机的控制参数,所述控制参数用于调整所述摄像机的拍摄视角;
所述服务器根据所述控制参数更新所述摄像机的工作参数,得到目标工作参数;
所述服务器根据所述目标工作参数处理初始二维视频数据,得到处理后的二维视频数据,所述初始二维视频数据为所述摄像机使用所述控制参数调整拍摄视角后拍摄得到;
所述服务器在所述三维模型数据中融合所述处理后的二维视频数据,得到三维视频数据。
2.根据权利要求1所述的方法,其特征在于,所述控制参数包括目标预置位信息,所述服务器根据所述控制参数更新所述摄像机的工作参数,得到目标工作参数包括:
所述服务器获取预置位信息与工作参数的映射列表;
所述服务器在所述映射列表中将所述目标预置位信息对应的工作参数确定为所述目标工作参数。
3.根据权利要求1所述的方法,其特征在于,所述控制参数包括相机调整参数,所述服务器根据所述控制参数更新所述摄像机的工作参数,得到目标工作参数包括:
所述服务器获取所述摄像机的初始工作参数;
所述服务器使用所述相机调整参数更新所述摄像机的初始工作参数,得到所述目标工作参数。
4.根据权利要求3所述的方法,其特征在于,所述相机调整参数包括相机调整方向、相机转动速度和相机转动时间。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述服务器获取所述监控区域中摄像机的控制参数包括:
所述服务器接收摄像机控制端发送的所述摄像机的控制参数,所述摄像机控制端用于控制所述摄像机的拍摄视角。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述目标工作参数包括所述摄像机的相机内参、所述摄像机的相机外参和所述摄像机的融合参数。
7.一种服务器,其特征在于,包括:
获取单元,用于获取监控区域的三维模型数据;
所述获取单元,还用于获取所述监控区域中摄像机的控制参数,所述控制参数用于调整所述摄像机的拍摄视角;
更新单元,用于根据所述控制参数更新所述摄像机的工作参数,得到目标工作参数;
处理单元,用于根据所述目标工作参数处理初始二维视频数据,得到处理后的二维视频数据,所述初始二维视频数据为所述摄像机使用所述控制参数调整拍摄视角后拍摄得到;
融合单元,用于在所述三维模型数据中融合所述处理后的二维视频数据,得到三维视频数据。
8.根据权利要求7所述的服务器,其特征在于,所述控制参数包括目标预置位信息,所述更新单元具体用于:
获取预置位信息与工作参数的映射列表;
在所述映射列表中将所述目标预置位信息对应的工作参数确定为所述目标工作参数。
9.根据权利要求7所述的服务器,其特征在于,所述控制参数包括相机调整参数,所述更新单元具体用于:
获取所述摄像机的初始工作参数;
使用所述相机调整参数更新所述摄像机的初始工作参数,得到所述目标工作参数。
10.根据权利要求9所述的服务器,其特征在于,所述相机调整参数包括相机调整方向、相机转动速度和相机转动时间。
11.根据权利要求7至10任一项所述的服务器,其特征在于,所述获取单元具体用于:
接收摄像机控制端发送的所述摄像机的控制参数,所述摄像机控制端用于控制所述摄像机的拍摄视角。
12.根据权利要求7至10任一项所述的服务器,其特征在于,所述目标工作参数包括所述摄像机的相机内参、所述摄像机的相机外参和所述摄像机的融合参数。
13.一种服务器,其特征在于,包括:
处理器以及存储器;
所述存储器用于存储程序指令;
所述处理器用于执行所述程序指令以使得所述服务器实现权利要求1-6中任一项所述的方法。
14.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
15.一种计算机可读存储介质,所述计算机可读存储介质用于存储程序指令,其特征在于,当所述程序指令在计算机上运行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
CN201911194910.7A 2019-11-28 2019-11-28 一种三维视频监控方法及相关设备 Active CN112866627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194910.7A CN112866627B (zh) 2019-11-28 2019-11-28 一种三维视频监控方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194910.7A CN112866627B (zh) 2019-11-28 2019-11-28 一种三维视频监控方法及相关设备

Publications (2)

Publication Number Publication Date
CN112866627A CN112866627A (zh) 2021-05-28
CN112866627B true CN112866627B (zh) 2024-03-05

Family

ID=75995917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194910.7A Active CN112866627B (zh) 2019-11-28 2019-11-28 一种三维视频监控方法及相关设备

Country Status (1)

Country Link
CN (1) CN112866627B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542679B (zh) * 2021-06-24 2023-05-02 海信视像科技股份有限公司 一种图像播放方法及装置
CN115694720A (zh) * 2021-07-29 2023-02-03 华为技术有限公司 数据传输的方法及相关装置
CN114040183B (zh) * 2021-11-08 2024-04-30 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质
CN115190321B (zh) * 2022-05-13 2024-06-04 广州博冠信息科技有限公司 直播间的切换方法、装置和电子设备
CN114666561B (zh) * 2022-05-25 2022-09-06 天津安锐捷技术有限公司 视频融合方法、装置和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
JP2006309612A (ja) * 2005-04-28 2006-11-09 Toppan Printing Co Ltd 画像表示装置
WO2010007960A1 (ja) * 2008-07-14 2010-01-21 クラリオン株式会社 車載用カメラの視点変換映像システム及び視点変換映像取得方法
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
DE102010024054A1 (de) * 2010-06-16 2012-05-10 Fast Protect Ag Verfahren zum Zuordnen eines Videobilds der realen Welt zu einem dreidimensionalen Computermodell der realen Welt
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN105516654A (zh) * 2015-11-25 2016-04-20 华中师范大学 一种基于场景结构分析的城市监控视频融合方法
CN107292963A (zh) * 2016-04-12 2017-10-24 杭州海康威视数字技术股份有限公司 一种三维模型的调整方法及装置
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN110312121A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 一种3d智能教育监控方法、系统和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
JP2006309612A (ja) * 2005-04-28 2006-11-09 Toppan Printing Co Ltd 画像表示装置
WO2010007960A1 (ja) * 2008-07-14 2010-01-21 クラリオン株式会社 車載用カメラの視点変換映像システム及び視点変換映像取得方法
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
DE102010024054A1 (de) * 2010-06-16 2012-05-10 Fast Protect Ag Verfahren zum Zuordnen eines Videobilds der realen Welt zu einem dreidimensionalen Computermodell der realen Welt
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN105516654A (zh) * 2015-11-25 2016-04-20 华中师范大学 一种基于场景结构分析的城市监控视频融合方法
CN107292963A (zh) * 2016-04-12 2017-10-24 杭州海康威视数字技术股份有限公司 一种三维模型的调整方法及装置
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN110312121A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 一种3d智能教育监控方法、系统和存储介质

Also Published As

Publication number Publication date
CN112866627A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112866627B (zh) 一种三维视频监控方法及相关设备
US20210105403A1 (en) Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
CN109348119B (zh) 一种全景监控系统
CN106803884B (zh) 图像处理装置
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
CN110278382B (zh) 一种聚焦方法、装置、电子设备及存储介质
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
CN106293043B (zh) 可视化内容传输控制方法、发送方法、及其装置
CN110099220B (zh) 一种全景拼接方法及装置
CN105959576A (zh) 无人机拍摄全景图的方法及装置
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
JP2014222825A (ja) 映像処理装置および映像処理方法
CN113473010B (zh) 抓拍方法、装置、存储介质及电子装置
JP2019080226A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
CN105100577A (zh) 一种图像处理方法及装置
US11985294B2 (en) Information processing apparatus, information processing method, and program
CN112672133A (zh) 基于无人机的立体成像方法和装置、计算机可读存储介质
JP2017028510A (ja) 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム
US10425608B2 (en) Image processing method and camera
US20220353484A1 (en) Information processing apparatus, information processing method, and program
CN114202639A (zh) 一种基于vr的高临场视觉感知方法及相关装置
KR20120105208A (ko) 영상 처리 장치
CN117255247B (zh) 一种全景相机与细节球机联动的方法及装置
US20230291865A1 (en) Image processing apparatus, image processing method, and storage medium
WO2022000213A1 (zh) 一种图像拍摄的控制方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant