CN111818270B - 用于多机位摄像的自动控制方法和系统 - Google Patents
用于多机位摄像的自动控制方法和系统 Download PDFInfo
- Publication number
- CN111818270B CN111818270B CN202010943829.0A CN202010943829A CN111818270B CN 111818270 B CN111818270 B CN 111818270B CN 202010943829 A CN202010943829 A CN 202010943829A CN 111818270 B CN111818270 B CN 111818270B
- Authority
- CN
- China
- Prior art keywords
- wide
- angle
- cameras
- camera
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims description 36
- 238000002372 labelling Methods 0.000 claims description 10
- 238000009432 framing Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 25
- 239000003550 marker Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本文提供了一种用于多机位摄像自动控制的系统与方法。所述方法包括，基于用户手动或者系统自动在两个或多个广角相机上分别标记(1)其他广角相机在本广角相机投影画面上的位置(2)所有场地中PTZ相机在本广角相机投影画面上的位置；(3)目标物体或区域在本广角相机上的位置，在不需要测量广角相机之间，或者广角相机与PTZ相机之间的距离的情况下，计算出场地中PTZ相机对准目标物体需要旋转的角度。
Description
技术领域
本申请涉及人机交互领域，更具体地，涉及用于多机位摄像的人机交互领域。
背景技术
多机位摄像系统一般由多个机位的摄像机（一般由摄像师操作）组成，摄像机通过线缆或无线信号连接到一个导播台（一般由导播操作），并最终由导播台输出一路或多路信号。一次直播或拍摄活动一般由一个摄制团队完成。其中如何将一台或多台摄像机快速对准一个特定目标是实际录制或直播过程中的一个关键问题。现有摄像系统一般依赖 1）导播与摄像师之间的默契与快速交流；2）摄像师的快速操作（转向、对准、缩放、对焦）。本发明的多机位摄像机控制系统，旨在让导播在没有摄像师配合的情况下，独自快速操控多个摄像机。
PTZ 是Pan（水平移动）/Tilt（垂直移动）/Zoom（变焦）的简写。PTZ相机代表带有电动云台的可以全方位（左右/上下）移动及镜头变倍、变焦控制的相机。这类相机已经在安防或者拍摄中大量部署。PTZ 相机相比传统相机的优势是可以用自身广角优势取得目标后，通过缩放变焦获得放大清晰的目标图像，并且在一定条件下控制并且跟踪目标。传统的PTZ 相机多用遥控器或者专用控制台手动远程控制。
已有许多关于 PTZ 相机的自动化控制的探索，如：
1.专利 JP2012520650A: 讲述的是一个很普遍的广角相机与 PTZ 相机的系统，通过广角相机取得 PTZ 相机需要特写的位置，然后由 PTZ 相机特写放大。
2.专利 US20040263476A1: 讲述的是用类似游戏控制杆来控制 PTZ 相机。
自动化控制PTZ相机的已有探索主要集中在用户通过单个广角相机画面选定目标物体或区域，系统自动算出相对应的单个PTZ相机的控制信号，并且大部分系统和方法需要广角相机与 PTZ 相机位置相近，以确保广角相机拍摄到的画面与PTZ相机拍摄的画面相近。对于广角相机与PTZ相机位置相对较远的情况并没有过多研究。而对同一目标物体从不同角度的拍摄因为控制复杂，多由人工完成。
计算机视觉中有经典的运动恢复结构算法（Structure from Motion, SfM）可以实现在未知相机位置和目标位置的前提下，通过拍摄画面的相关性，同时计算出在一个同三维坐标系中相机的位置和目标的位置。此方法也可以用在这个场景解决PTZ相机需要对准目标物体的问题。不过此方法有几个缺陷: (1) SfM 需要相机位置在空间上是较为连续的，对前后给出的两个相机的画面的重合特征点的个数和质量有要求。但在一般的拍摄场景中，相机的位置一般都是不动的，而且机位的个数有限，且可能相距较远。(2) 从多个角度对同一个物体进行拍摄时，如果一个角度是正面，一个角度是侧面，则 SfM 无法准确找到相同的特征点，误差会增大并不可控。(3) SfM 的计算量较大，无法适用于快速确定目标位置并控制相机。
发明内容
根据本发明的一个方面，提供了一种用于多机位摄像的快速取景系统，所述系统包括：用户界面，其被配置为显示用于多机位摄像的两个或多个广角相机以及所述一个或多个PTZ相机的画面；以及中心处理单元，所述中心处理单元被配置为：接收关于如下内容的信息：在用户界面所显示的所述两个或多个广角相机中的每一个广角相机的画面上分别标记的（1）其他广角相机在该广角相机画面上的位置信息；和（2）所有PTZ 相机在该广角相机画面上的位置信息；以及（3）在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与广角相机、其他PTZ相机或者目标物体或区域之间的位置关系；至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
根据本发明的另一方面，提供了一种用于多机位摄像的快速取景方法，所述方法包括：接收关于如下内容的信息：在用户界面所显示的两个或多个广角相机中的每一个广角相机的画面上分别标记的（1）其他广角相机在该广角相机画面上的位置和（2）所有PTZ相机在该广角相机画面上的位置信息；以及（3）在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与其他广角相机、所有PTZ相机或者目标物体或区域之间的位置关系；至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
附图说明
图1是根据本公开实施例的场景示意图。
图2是根据本公开实施例的图1中的广角相机A的示意成像画面。
图3是根据本公开实施例的图1中的广角相机B的示意成像画面。
图4示出了根据本公开实施例的详细方法流程图。
图5是在等距柱状投影中的
与
对应关系。
图6是根据本公开实施例的场景示意图。
具体实施方式
图1是根据本公开实施例的场景示意图。在图一所示场景中，示出了包括广角相机A、广角相机B和PTZ相机C的系统。在该场景中，示出了三个示意物体，即圆柱状物体1、正方体物体2和球体物体3。因为相机A与B看到场景的角度不同，从而导致图像中各物体在不同相机中的成像画面区别极大。图2是根据本公开实施例的图1中的广角相机A的示意成像画面。图3是根据本公开实施例的图1中的广角相机B的示意成像画面，对于广角相机A和广角相机B中的画面而言，画面中物体形象变化极大，特征点匹配困难。类似地，在场地不同位置且相距较远的PTZ相机的成像画面也会区别较大。
本发明即针对上述场景，更具体地，本发明需要解决是，在拍摄场地面积较大，需要一个或多个PTZ 相机在场地不同位置进行拍摄的情况下，如何在能拍摄到整个场地的多个广角相机画面上框定目标物体，使得在场地中的任意PTZ相机能自动旋转并对准目标物体的问题。本发明针对上述场景提出解决该问题的系统和方法。
根据本发明的实施例，提供一种用于多机位摄像的快速取景系统，所述系统包括：用户界面，其被配置为显示用于多机位摄像的两个或多个广角相机以及所述一个或多个PTZ相机的画面；以及中心处理单元，所述中心处理单元被配置为：接收关于如下内容的信息：在用户界面所显示的所述两个或多个广角相机中的每一个广角相机的画面上分别标记的（1）其他广角相机在该广角相机画面上的位置信息；和（2）所有PTZ 相机在该广角相机画面上的位置信息；以及（3）在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与广角相机、其他PTZ相机或者目标物体或区域之间的位置关系；至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
在一个实施例中，图像处理算法包括SIFT算法或者图像识别与匹配算法。在另一个实施例中，所述图像处理算法包括识别目标物体或区域并根据目标物体或区域的特点自动调整PTZ相机的角度以使其精确对准目标物体的图像处理算法。
在一个实施例中，用户界面所显示的所述一个或多个广角相机的画面是将所述一个或多个广角相机中的每个广角相机捕获的画面进行光学去畸变以及等距柱状投影而获得的广角投影画面。进一步地，所述标记过程包括：在每个广角投影画面上进行标记。
在一个实施例中，对于其他广角相机和所有PTZ相机的标记是指示被标记相机的镜头中心在广角投影画面中的位置的点状标记。
在一个实施例中，所述标记包括由用户在用户界面上绘制的图案，并且所述中心处理单元还被配置为根据用户绘制的图案形成覆盖所述图案的最小矩形框。
在一个实施例中，所述两个或多个广角相机中的每一个与其余广角相机或PTZ相机及目标物体或区域之间的位置关系包括从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向其余每个广角相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度、从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向每个PTZ相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度和从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向目标物体或区域所对应矩形框正中心的射线分别在水平面和垂直面投影产生的射线之间的角度。
在一个实施例中，标记过程由用户在用户界面上完成。
在一个实施例中，中心处理单元基于用户在一广角相机中完成对待标记物的首次标记后获得的位置信息来在即将进行标记的下一相机中生成关于待标记物的引导图案并将所述引导图案发送给用户界面，用户界面与所述待标记物相关地显示所述引导图案以辅助用户完成标记过程，其中所述待标记物是其余广角相机中的任一个、所述一个或多个PTZ相机中的任一个或者目标物体或区域。
在进一步的实施例中，当待标记物是目标物体且目标物体移动时，中心处理单元对目标物体进行识别与跟踪从而实时更新与所述目标物体相关联的引导图案。
在一个实施例中，对其他广角相机和所有PTZ相机的标记过程由中心处理单元自动完成。
在进一步的实施例中，对其他广角相机和所有PTZ相机的标记过程由中心处理单元基于对于放置在所述两个或多个广角相机以及所述一个或多个PTZ相机附近的识别物的自动识别完成。
在一个实施例中，中心处理单元被配置为，当PTZ相机或目标物体移动时，对PTZ相机或目标物体移动进行实时跟踪并实时更新PTZ相机或者目标物体与广角相机的相对位置关系。
根据本发明的实施例，提供了一种用于多机位摄像的快速取景方法，所述方法包括：接收关于如下内容的信息：在用户界面所显示的两个或多个广角相机中的每一个广角相机的画面上分别标记的（1）其他广角相机在该广角相机画面上的位置信息和（2）所有PTZ相机在该广角相机画面上的位置信息；以及（3）在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与其他广角相机、所有PTZ相机或者目标物体或区域之间的位置关系；至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
在一个实施例中，用户界面所显示的所述一个或多个广角相机的画面是将所述一个或多个广角相机中的每个广角相机捕获的画面进行光学去畸变以及等距柱状投影而获得的广角投影画面，并且其中所述标记过程包括：在每个广角投影画面上进行标记。
在一个实施例中，对于其他广角相机和所有PTZ相机的标记是指示被标记相机的镜头中心在广角投影画面中的位置的点状标记。
在一个实施例中，对于目标物体或区域的标记包括由用户在用户界面上绘制的图案，并且其中，所述方法还包括根据用户绘制的图案形成覆盖所述图案的最小矩形框。
在进一步的实施例中，所述两个或多个广角相机中的每一个与其余广角相机或PTZ相机及目标物体或区域之间的位置关系包括从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向其余每个广角相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度、从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向每个PTZ相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度和从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向目标物体或区域所对应矩形框正中心的射线分别在水平面和垂直面投影产生的射线之间的角度。
在进一步的实施例中，标记过程由用户在用户界面上完成。
在一个实施例中，所述方法还包括：基于用户在一广角相机中完成对待标记物的首次标记后获得的位置信息来在即将进行标记的下一相机中生成关于待标记物的引导图案；以及与所述待标记物相关地显示所述引导图案以辅助用户完成标记过程，其中所述待标记物是其余广角相机中的任一个、所述一个或多个PTZ相机中的任一个或者目标物体或区域。
在一个实施例中，所述方法还包括：当待标记物是目标物体且目标物体移动时，对目标物体进行识别与跟踪从而实时更新与所述目标物体相关联的引导图案。
在一个实施例中，对其他广角相机和所有PTZ相机的标记过程无需手动标记。
在一个实施例中，对其他广角相机和所有PTZ相机的标记过程基于对于放置在所述两个或多个广角相机以及所述一个或多个PTZ相机附件的识别物的自动识别完成。
在一个实施例中，当PTZ相机或目标物体移动时，PTZ相机或目标物体移动被实时跟踪并且PTZ相机或者目标物体与广角相机的相对位置关系被实时更新。
更具体地，本文提供的系统可以让一位导播快速完成在场地不同位置的机位控制与信号输出。本发明通过UI/UX设计与图像算法实现大场景的多PTZ相机的单人快速定位。在本发明中在架构中集成了广角相机与PTZ相机，将广角相机及PTZ相机的捕获画面显示在屏幕上，通过与用户的交互设计，快速确定目标区域，将用户交互转化为针对在不同位置的PTZ相机的控制信号，并利用图像处理算法，最终实现对目标物体或区域的快速及准确的定位。本公开可以在不需要测量广角相机之间、或者广角相机与 PTZ相机之间的距离的情况下，计算出场地中PTZ相机对准目标物体需要旋转的角度。
根据本发明的一方面，本示意架构包括两个或多个广角相机，一个或多个PTZ相机以及用于多机位摄像的快速取景系统。该快速取景系统包括中心处理单元以及用户界面。其中用户界面可以显示所有广角相机和所有PTZ相机捕获的画面，并且在一个实施例中，用户界面可以接收用户输入。整体操作流程总的来说分为两个环节:
准备环节。在该环节中，通过在每个广角相机画面中标记(1)其余广角相机在该广角相机画面的像素位置；以及(2) PTZ 相机在该广角相机画面的像素位置。对于其他广角相机和所有PTZ相机的标记是指示被标记相机的镜头中心在广角投影画面中的位置的点状标记。
控制环节。用户在其中任意两个广角相机捕获的画面中指定目标物体或区域，中心处理单元则会自动计算出针对所有PTZ相机的控制信号并将PTZ相机旋转并粗略对准目标物体，再至少根据图像算法调整精确对准并自动调整缩放值大小。在一个实施例中，对于目标物体或区域的标记包括由用户在用户界面上绘制的图案。
图4示出了根据本公开实施例的详细方法流程图。本方法针对如下情形：架构中的所有广角相机的视场内均可看到各PTZ相机，并且至少两个广角相机的视场内可看到目标物体或区域。下述步骤中，步骤101、102为准备环节，而步骤103和步骤104是控制环节。
首先，需要确定在广角相机画面上确定从该广角相机正中心指向目标中心的射线与自广角相机成像表面正中心出发的垂直于相机成像表面的法线的角度。
更具体地，在步骤101中，将广角相机捕获的画面进行光学去畸变，然后将去畸变的画面通过标准计算视觉方法转换为等距柱状投影画面（后简称广角投影画面），并在广角投影画面上，建立X-Y坐标系，以广角投影画面中心点（对应于广角相机镜头成像表面中心点）为该坐标系原点(0, 0)。
在等距柱状投影中，其上的线段代表实际物体相对于固定参照物所形成的角度（例如，在通过等距柱状投影获得的平面世界地图上，水平或者垂直的线段代表经度或者维度的夹角）。在本实施例中，将广角相机横向视场角表示为
，纵向视场角表示为
，投影画面宽度表示为
像素，高度表示为
像素。则广角相机的从中心点
出发、垂直于相机成像表面的射线与从该相机中心点出发指向其所成像的真实世界中任一点（该点在广角投影画面上成像的坐标值表示
）的射线在水平面的投影射线以及在垂直面的投影射线形成的夹角
（如图5中所示）分别为:
注意，上式中，
与y值无关，
与x值无关，
与
可分别根据x, y 值单独计算，该特殊性质由等距柱状投影的特性决定。
接下来将描述在每个广角相机画面中获得其他广角相机和所有PTZ相机的相对位置的步骤。
在步骤102中，在所有广角相机中的每一个广角相机
的广角投影画面中标记其余广角相机中的每一个
镜头表面中心的位置，记为
，再由
计算出从广角相机
中的镜头表面中心点
出发、垂直于广角相机
成像表面的射线与从该相机中心点出发指向广角相机
镜头成像表面中心的射线在水平面的投影射线以及在垂直面的投影射线形成的夹角
。并且在所有的广角相机
中的广角投影画面中标记所有 PTZ 相机中的每一个PTZ相机p的镜头成像表面中心的像素位置，记为
。再由
计算出从广角相机
中的镜头成像表面中心点
出发、垂直于广角相机
成像表面的射线与从该相机中心点出发指向PTZ相机p的镜头成像表面中心的射线在水平面的投影射线以及在垂直面的投影射线形成的夹角
。
在该发明中，对于每个目标物体或区域，用户需要在至少两个广角相机中分别标出。在第一个广角投影画面里标出目标物体或区域以后，用户往往较难在第二个广角投影画面中找到对应目标物体或区域。为止，提出以下引导标注方法帮助用户更快更准地在其余广角相机投影画面中标注出目标物体或区域。
在用户在第一个广角投影画面中标记了目标物体或区域后，用户界面可以在所有其余的广角投影画面中标注出相对于相对应目标物体位置可能存在的位置的引导图案（一般为一条线段或一段弧线），用以帮助用户参考该可能存在的位置更快的作出合理的标注。
在一个实施例中，用户界面标注出相对应目标物体或区域的位置可能存在的位置可以由中心处理单元基于在第一个广角投影画面上确定从该广角相机正中心指向指示目标物体或区域的矩形框的中心的射线来计算得到。具体地，中心处理单元可以基于目标物体或区域所对应的上述矩形框的中心在其余广角投影画面中对应的直线或弧线射线投影来确定引导图案，并将该引导图像发送给用户界面从而由用户界面来标注出相对应目标物体或区域的位置。在一个实施例中，如果在第二个广角投影画面中标出的可能位置距离第一个广角投影画面中的目标物体或区域较大，则说明之前的步骤标注不准确，需要重新标注。
在用户完成第一个标注之后，在完成第二个标注之前，目标物体移动将导致地位精度降低，甚至错误。在又一个实施例中，在每个广角投影画面中进行控制环节的目标物标注后，中心处理单元会在该画面中对目标物体进行识别与跟踪，实时更新目标物体或区域所对应的上述矩形框的中心在该广角投影画面中的像素位置，同时更新其余广角投影画面中的引导图案，进而辅助整个标记过程能精准完成。
以上引导标注方法也可以用于前述其它标注过程，例如在每个广角相机上标记其余广角相机的过程以及在每个广角相机上标注所有PTZ相机的过程。
在另一个实施例中，上述标注过程例如在每个广角相机上标记其余广角相机的过程以及在每个广角相机上标注所有PTZ相机的过程可以在没有用户输入的情况下自动完成。具体地，自动标注过程可以通过在广角相机、PTZ相机等空间正上方放置一个立体的标志物来实现，所述标志物用于标识各个相机。具体地，标志物可以为立体面二维码等，每个相机的标志物不同。系统启动后，中心处理单元会自动在每个广角投影画面中寻找并识别画面中的标志物，自动标记其他相机的位置，完成整个准备环节，而不需要用户做标志。此方法还有另一个好处，即可以在广角投影画面中通过判断识别物的图像大小（因为识别物尺寸已知），估算出各个相机之前的绝对距离，从而可以完整计算出PTZ相机到最终目标物体或区域的距离，辅助PTZ相机进行快速对焦。在步骤103中，在可拍摄到目标物体或区域的任意两个广角相机（假设这两个相机是
，
）的广角投影画面中标记目标物体或区域的位置。
在一个实施例中，可以通过用户关于目标物体或区域的输入来标记目标物体或区域的位置。用户关于目标物体或区域的输入可以是用户在触屏控制台的广角相机或PTZ相机捕获的画面上针对目标物体或区域绘制图案。用户可以使用手指来进行绘制，所述图案可以是一段弧。在其它实施例中，用户可以使用触控笔或其它工具来进行绘制。在其它实施例中，所述图案还可以是圆圈、规则的矩形或者一段线段。
中心处理单元还被配置为根据用户绘制的图案形成覆盖所述图案的最小矩形框。所得到的两个画面上的矩形框分别具有坐标为
、
的中心点，宽高分别为
和以及
。类似地，通过矩形框的中心点坐标
与
，可以得到从广角相机
中的镜头成像表面中心点
出发、垂直于广角相机
，
成像表面的射线与从所述相机中心点出发指向矩形框中心点的射线在水平面的投影射线以及在垂直面的投影射线形成的夹角
与
。
在步骤104中，根据通过上述标记过程确定的各位置关系生成PTZ控制信号进而控制PTZ相机的旋转从而使其粗略对准目标物体或区域，再至少根据图像算法使PTZ精确对准目标物体或区域并自动调整缩放值大小。
下面描述如何进行PTZ控制信号的计算。
在一个实施例中，PTZ控制信号包括PTZ相机旋转的水平移动角度和垂直移动角度。因为PTZ相机需要旋转的水平移动角度和垂直移动角度分别计算但是所采用的计算原理完全一样，因此以下只列出水平移动角度的确定过程。
图6是根据本公开实施例的场景示意图，其中示出了在水平面投影的广角相机与PTZ相机、目标物体或区域之间形成的角度关系，其中虚线延长线为从相机镜头表面中心点射出的与相机镜头成面垂直的法线辅助线。
其中
为自广角相机B镜头表面中心指向广角相机A镜头表面正中心的射线与自广角相机B镜头表面正中心指向目标物体或区域所对应矩形框中心的射线的夹角。
以图6中所示的场景示意图为例，通过上述准备环节和控制环节，可以得到以下角度：
，其为广角相机B镜头表面正中心指向PTZ相机画面正中心的射线与自广角相机投影画面正中心出发的垂直于该相机镜头表面的法线的角度，在准备环节中其被记为
；
，其为广角相机B镜头表面正中心指向目标物体或区域所对应矩形框的射线与自广角相机镜头表面正中心出发的垂直于该相机镜头表面的法线的角度，在准备环节中其被记为
；
，其为广角相机A镜头表面正中心指向PTZ相机画面正中心的射线与自广角相机镜头表面正中心出发的垂直于该相机镜头表面的法线的角度，在准备环节中其被记为
；以及
，其为广角相机A镜头表面正中心指向目标物体或区域所对应矩形框正中心的射线与自广角相机镜头表面正中心出发的垂直于该相机镜头表面的法线的角度，在准备环节中其被记为
。另外，
分别为在对应广角相机镜头表面正中心指向另一个广角相机的射线与自该广角相机镜头表面正中心出发的垂直于该相机投影画面的法线的角度。以上等同关系示出如下：
因此
可以用已知角分别求出：
根据包括正弦定理、和差角公式等的三角函数公式，可以进一步确定
:
其中:
另外，在不移动广角相机和PTZ相机位置的前提下，只需要重新操作以上的控制环节的步骤，则可以使 PTZ 相机对准另外的目标物体或区域。
通过以上方式可以确定PTZ相机旋转的水平移动角度并且基于同样的原因，垂直移动角度也可以被确定从而生成PTZ控制信号来控制PTZ 相机通过水平移动角度和垂直移动角度对准目标物体或区域。
关于缩放值的计算，可以通过图像处理算法。在一个实施例中，中心处理单元基于用户在广角投影中截取的矩形框的大小占画面的比例大小来估算出目标物体占画面的比例大小。PTZ 相机接受到画面比例信息后，会自动调整 Z值大小将画面缩放为与用户在广角投影上相同的比例。
下面描述当目标物体移动时，如何控制PTZ相机的移动。
在某一些场景中，目标物体会移动。中央处理单元在广角投影画面中识别目标物体后，可以在广角投影画面上持续跟踪目标物体，持续输出上述控制环节中的目标物体的相对位置及角度，并实时更新PTZ控制信号从而控制其始终对准物体。
在另一些场景中，PTZ相机可为机位可移动的PTZ相机，如其可安装在大型机械臂上从而从不同角度拍摄物体，因此其空间位置会发生变化。对于这种情况中，可以在广角投影画面上使用AI识别与跟随算法跟踪已经标注出的PTZ相机在广角投影画面上的位置，在PTZ相机位置改变时，实时更新PTZ相机镜头成像表面正中心在广角投影画面的坐标位置，进而实时更新其与广角相机形成的角度，并实时更新PTZ相机在该位置要对准目标物体或区域需要旋转的角度，使PTZ相机始终精确对准目标物体或区域。
Claims (22)
1.一种用于多机位摄像的快速取景系统，所述系统包括：
用户界面，其被配置为显示用于多机位摄像的两个或多个广角相机以及一个或多个PTZ相机的画面；和
中心处理单元，其被配置为：
接收关于如下内容的信息：在用户界面所显示的所述两个或多个广角相机中的每一个广角相机的画面上分别标记的其他广角相机在该广角相机画面上的位置信息；所有PTZ 相机在该广角相机画面上的位置信息；以及在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；
至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与广角相机、其他PTZ相机或者目标物体或区域之间的位置关系；
至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及
基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
2.如权利要求1所述的系统，其中，用户界面所显示的所述一个或多个广角相机的画面是将所述一个或多个广角相机中的每个广角相机捕获的画面进行光学去畸变以及等距柱状投影而获得的广角投影画面，并且
其中标记过程包括：
在每个广角投影画面上进行标记。
3.如权利要求1或2所述的系统，其中对于其他广角相机和所有PTZ相机的标记是指示被标记相机的镜头中心在广角投影画面中的位置的点状标记。
4.如权利要求1所述的系统，其中，对于目标物体或区域的标记包括由用户在用户界面上绘制的图案，并且
其中，中心处理单元还被配置为根据用户绘制的图案形成覆盖所述图案的最小矩形框。
5.如权利要求4所述的系统，其中所述两个或多个广角相机中的每一个与其余广角相机或PTZ相机及目标物体或区域之间的位置关系包括从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向其余每个广角相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度、从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向每个PTZ相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度和从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向目标物体或区域所对应矩形框正中心的射线分别在水平面和垂直面投影产生的射线之间的角度。
6.如权利要求1所述的系统，其中标记过程由用户在用户界面上完成。
7.如权利要求6所述的系统，其中中心处理单元基于用户在一广角相机中完成对待标记物的首次标记后获得的位置信息来在即将进行标记的下一相机中生成关于待标记物的引导图案并将所述引导图案发送给用户界面，用户界面与所述待标记物相关地显示所述引导图案以辅助用户完成标记过程，其中所述待标记物是其余广角相机中的任一个、所述一个或多个PTZ相机中的任一个或者目标物体或区域。
8.如权利要求7所述的系统，其中，当待标记物是目标物体且目标物体移动时，中心处理单元对目标物体进行识别与跟踪从而实时更新与所述目标物体相关联的引导图案。
9.如权利要求1所述的系统，其中对其他广角相机和所有PTZ相机的标记过程由中心处理单元自动完成。
10.如权利要求9所述的系统，其中对其他广角相机和所有PTZ相机的标记过程由中心处理单元基于对于放置在所述两个或多个广角相机以及所述一个或多个PTZ相机附近的识别物的自动识别完成。
11.如权利要求1或5所述的系统，其中，中心处理单元被配置为，当PTZ相机或目标物体移动时，对PTZ相机或目标物体移动进行实时跟踪并实时更新PTZ相机或者目标物体与广角相机的相对位置关系。
12.一种用于多机位摄像的快速取景方法，所述方法包括：
接收关于如下内容的信息：在用户界面所显示的两个或多个广角相机中的每一个广角相机的画面上分别标记的其他广角相机在该广角相机画面上的位置信息；所有PTZ 相机在该广角相机画面上的位置信息；以及在用户界面所显示的所述两个或多个广角相机中的任意两个广角相机的画面上标记的目标物体或区域在该广角相机画面上的位置信息；
至少基于所标记的部分位置信息确定所述两个或多个广角相机中的每一个分别与其他广角相机、所有PTZ相机或者目标物体或区域之间的位置关系；
至少基于所确定的部分位置关系来确定PTZ相机对准目标物体或区域需要旋转的水平移动角度和垂直移动角度以控制PTZ相机粗略对准目标物体或区域；以及
基于图像处理算法来确定PTZ相机的缩放大小并控制PTZ相机精确对准目标物体或区域。
13.如权利要求12所述的方法，其中，用户界面所显示的所述一个或多个广角相机的画面是将所述一个或多个广角相机中的每个广角相机捕获的画面进行光学去畸变以及等距柱状投影而获得的广角投影画面，并且
其中标记过程包括：
在每个广角投影画面上进行标记。
14.如权利要求12或13所述的方法，其中对于其他广角相机和所有PTZ相机的标记是指示被标记相机的镜头中心在广角投影画面中的位置的点状标记。
15.如权利要求12所述的方法，其中，对于目标物体或区域的标记包括由用户在用户界面上绘制的图案，并且
其中，所述方法还包括根据用户绘制的图案形成覆盖所述图案的最小矩形框。
16.如权利要求15所述的方法，其中所述两个或多个广角相机中的每一个与其余广角相机或PTZ相机及目标物体或区域之间的位置关系包括从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向其余每个广角相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度、从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向每个PTZ相机镜头表面正中心的射线分别在水平面和垂直面投影产生的射线之间的角度和从该广角相机镜头表面正中心出发、垂直于该镜头表面的法线与自每个广角相机镜头表面正中心指向目标物体或区域所对应矩形框正中心的射线分别在水平面和垂直面投影产生的射线之间的角度。
17.如权利要求12所述的方法，其中标记过程由用户在用户界面上完成。
18.如权利要求17所述的方法，所述方法还包括：
基于用户在一广角相机中完成对待标记物的首次标记后获得的位置信息来在即将进行标记的下一相机中生成关于待标记物的引导图案；以及
与所述待标记物相关地显示所述引导图案以辅助用户完成标记过程，其中所述待标记物是其余广角相机中的任一个、所述一个或多个PTZ相机中的任一个或者目标物体或区域。
19.如权利要求18所述的方法，其中，所述方法还包括：当待标记物是目标物体且目标物体移动时，对目标物体进行识别与跟踪从而实时更新与所述目标物体相关联的引导图案。
20.如权利要求12所述的方法，其中对其他广角相机和所有PTZ相机的标记过程无需手动标记。
21.如权利要求19所述的方法，其中对其他广角相机和所有PTZ相机的标记过程基于对于放置在所述两个或多个广角相机以及所述一个或多个PTZ相机附件的识别物的自动识别完成。
22.如权利要求12或16所述的方法，其中，当PTZ相机或目标物体移动时，PTZ相机或目标物体移动被实时跟踪并且PTZ相机或者目标物体与广角相机的相对位置关系被实时更新。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943829.0A CN111818270B (zh) | 2020-09-10 | 2020-09-10 | 用于多机位摄像的自动控制方法和系统 |
| PCT/CN2021/073537 WO2022052409A1 (zh) | 2020-09-10 | 2021-01-25 | 用于多机位摄像的自动控制方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943829.0A CN111818270B (zh) | 2020-09-10 | 2020-09-10 | 用于多机位摄像的自动控制方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111818270A CN111818270A (zh) | 2020-10-23 |
| CN111818270B true CN111818270B (zh) | 2021-02-19 |
Family
ID=72860761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010943829.0A Active CN111818270B (zh) | 2020-09-10 | 2020-09-10 | 用于多机位摄像的自动控制方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111818270B (zh) |
| WO (1) | WO2022052409A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111818270B (zh) * | 2020-09-10 | 2021-02-19 | 视见科技(杭州)有限公司 | 用于多机位摄像的自动控制方法和系统 |
| CN112672064B (zh) * | 2021-03-18 | 2021-07-20 | 视云融聚（广州）科技有限公司 | 一种基于视频区域标签的算法调度方法、系统及设备 |
| CN118247142B (zh) * | 2024-04-15 | 2024-09-24 | 四川国创新视超高清视频科技有限公司 | 一种应用于大视场监控场景的多视点拼接方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105493086A (zh) * | 2013-08-29 | 2016-04-13 | 罗伯特·博世有限公司 | 监视设备以及用于显示监视区域的方法 |
| CN108370412A (zh) * | 2015-12-02 | 2018-08-03 | 索尼公司 | 控制装置、控制方法和程序 |
| KR101996907B1 (ko) * | 2018-07-27 | 2019-07-08 | 비티에스 유한회사 | 객체 추적 장치 |
| CN110324576A (zh) * | 2018-03-29 | 2019-10-11 | 派尔高公司 | 对准两个分离的相机的视图中的匹配点的方法 |
| CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100097472A1 (en) * | 2008-10-21 | 2010-04-22 | Honeywell International Inc. | Method of efficient camera control and hand over in surveillance management |
| CN101707671A (zh) * | 2009-11-30 | 2010-05-12 | 杭州普维光电技术有限公司 | 一种全景摄像机与ptz摄像机联动控制方法和装置 |
| CN102148965B (zh) * | 2011-05-09 | 2014-01-15 | 厦门博聪信息技术有限公司 | 多目标跟踪特写拍摄视频监控系统 |
| CN102231799B (zh) * | 2011-06-29 | 2013-03-27 | 厦门博聪信息技术有限公司 | 一种ptz摄像机瞬时光学就位系统及其方法 |
| CN111818270B (zh) * | 2020-09-10 | 2021-02-19 | 视见科技(杭州)有限公司 | 用于多机位摄像的自动控制方法和系统 |
-
2020
- 2020-09-10 CN CN202010943829.0A patent/CN111818270B/zh active Active
-
2021
- 2021-01-25 WO PCT/CN2021/073537 patent/WO2022052409A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105493086A (zh) * | 2013-08-29 | 2016-04-13 | 罗伯特·博世有限公司 | 监视设备以及用于显示监视区域的方法 |
| CN108370412A (zh) * | 2015-12-02 | 2018-08-03 | 索尼公司 | 控制装置、控制方法和程序 |
| CN110324576A (zh) * | 2018-03-29 | 2019-10-11 | 派尔高公司 | 对准两个分离的相机的视图中的匹配点的方法 |
| KR101996907B1 (ko) * | 2018-07-27 | 2019-07-08 | 비티에스 유한회사 | 객체 추적 장치 |
| CN111242988A (zh) * | 2020-01-14 | 2020-06-05 | 青岛联合创智科技有限公司 | 一种广角相机与长焦相机联动双云台跟踪目标的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种用于鱼眼PTZ主从监控系统的标定方法;石皓;《系统仿真学报》;20131031;第25卷(第10期);第2412-2416页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111818270A (zh) | 2020-10-23 |
| WO2022052409A1 (zh) | 2022-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111818270B (zh) | 用于多机位摄像的自动控制方法和系统 | |
| JP5740884B2 (ja) | 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム | |
| USRE43700E1 (en) | Virtual reality camera | |
| CN102148965B (zh) | 多目标跟踪特写拍摄视频监控系统 | |
| US9343043B2 (en) | Methods and apparatus for generating composite images | |
| JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
| WO2014023231A1 (zh) | 宽视场超高分辨率光学成像系统及方法 | |
| CN111935410B (zh) | 用于多机位摄像的快速取景方法和系统 | |
| KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
| JP2010219825A (ja) | 三次元計測用画像撮影装置 | |
| CN103971375A (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| JP2007024647A (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| JP2006352495A (ja) | 遠隔指示システム | |
| JP5363878B2 (ja) | ステレオ画像撮影装置及びその方法 | |
| JP7078231B2 (ja) | ３ｄツアーの比較表示システム及び方法 | |
| Lu et al. | Image-based system for measuring objects on an oblique plane and its applications in 2-D localization | |
| CA2822946C (en) | Methods and apparatus for generating composite images | |
| JP2002324239A (ja) | 情報呈示システム | |
| CN114125256B (zh) | 用于内置云台的多摄模组的拍摄方法 | |
| WO2022036512A1 (zh) | 数据处理方法、装置、终端和存储介质 | |
| JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム | |
| Kudinov et al. | The algorithm for a video panorama construction and its software implementation using CUDA technology | |
| JP4812099B2 (ja) | カメラ位置検出方法 | |
| CN113008135A (zh) | 用于确定空间中目标点位置的方法、设备、电子装置及介质 | |
| JP7324639B2 (ja) | 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |