CN113556462B - 用于控制平移倾斜变焦相机的方法和系统以及存储介质 - Google Patents

用于控制平移倾斜变焦相机的方法和系统以及存储介质 Download PDF

Info

Publication number
CN113556462B
CN113556462B CN202110399725.2A CN202110399725A CN113556462B CN 113556462 B CN113556462 B CN 113556462B CN 202110399725 A CN202110399725 A CN 202110399725A CN 113556462 B CN113556462 B CN 113556462B
Authority
CN
China
Prior art keywords
overlay
main image
image
camera
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399725.2A
Other languages
English (en)
Other versions
CN113556462A (zh
Inventor
阿克塞尔·凯斯基坎加斯
袁嵩
约翰·雷恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN113556462A publication Critical patent/CN113556462A/zh
Application granted granted Critical
Publication of CN113556462B publication Critical patent/CN113556462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics

Abstract

本公开涉及控制平移倾斜变焦相机。用于控制平移倾斜变焦(PTZ)相机的方法和装置，包括计算机程序产品。由PTZ相机提供视频流。视频流包括主图像和较小的画中画覆盖层。主图像和覆盖层显示相同的视图。与主图像相比，覆盖层具有较高的帧率和较低的分辨率。由PTZ相机响应于对主图像和覆盖层中的至少一个的评估而接收移动控制指令。

Description

用于控制平移倾斜变焦相机的方法和系统以及存储介质
技术领域
本发明涉及相机，并且更具体地，涉及在带宽受限环境中控制平移倾斜变焦(Pan-Tilt-Zoom，PTZ)相机。
背景技术
PTZ相机是能够由用户远程定向和放大控制的网络相机，并且可以因此提供广域覆盖和大量细节两者。PTZ相机通常用于诸如监控、视频会议、现场直播、报告捕捉和远程学习的应用中。大多数时间，PTZ相机具有与计算机网络(诸如内联网或互联网)的有线连接，但是也存在使用临时相机设备并且PTZ相机无线地与网络连接的情形。这些情形的一些示例可以包括体育事件、以及各种类型的音乐节或美食节等。
当使用无线设置时，来自相机的信号在最终找到有线连接方式(诸如光纤)之前在无线发射器和接收器之间可能跳动数次。该重复跳动使得抖动和延迟两者被引入由相机发送的视频流中。结果，远程控制相机的用户可以感受到在执行由用户发起的动作的相机中的具有降级品质的图像和延迟，这两者在用户尝试将更大图像中的具体特征放大或尝试追踪由相机录制的视频内的移动人员或目标的情形中都不是理想的。应注意，尽管这些问题在无线网络中可能更普遍，但是在有线网络中也可能发生类似的问题。
已经尝试通过减小相机所需的带宽来减轻这些问题。可以通过两种主要方式来实现带宽减小：或者通过保持高分辨率视频并降低帧率，或者通过降低分辨率且保持高帧率。在第一种方法中，用户看到清晰的概览图，但是会发现相机更难以控制，这在用户追踪视频中的人或物体时将是问题。在第二种方法中，用户感受相机的响应更快，但是较低的分辨率使用户难以分辨图像中的人或物体。因此，每种方法都有其自身的缺点，并且将希望找到更好的方式来在带宽受限环境中实现交互式PTZ相机控制，同时保留高分辨率图像。
发明内容
根据第一方面，本发明涉及一种在计算机系统中用于控制平移倾斜变焦(PTZ)相机的方法。该方法包括：
由PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，主图像和覆盖层显示相同的视图，并且其中，覆盖层与主图像相比具有较高的帧率和较低的分辨率；以及
由PTZ相机响应于主图像和覆盖层的至少一个的评估而接收移动控制指令。
这为相机用户提供了示出相同视图的两个替代图像，并且使得用户能够决定将哪种图像用于当前的特定情形。例如，用户可以查看更大、更高分辨率的图像以识别感兴趣的人员或物体。如果人员或物体开始移动，则相机用户可以将其注意力转移到具有较高帧率的覆盖层图像，并且可以在追踪人员或物体时使用该图像来帮助控制相机的移动。当人员或物体随后停止时，用户可以返回关注主图像以更高分辨率查看感兴趣的人员或物体。这促进了用户对相机的控制，并且改善了用户体验。在改善了用户交互性的同时，还节省了由相机大量使用的带宽。例如，在一个实施方式中，覆盖层可以是60FPS、360p的视频流，并且主图像可以是6FPS、4k的视频流。当将这两个视频流所需的带宽与60FPS、4k视频流所需的带宽进行比较时，明显可以显著降低比特率。
根据一个实施例，响应于由用户针对PTZ相机触发移动事件来显示覆盖层。即，当不移动相机时，不显示覆盖层，但是一旦相机从相机用户接收到开始平移倾斜变焦操作的指令，则显示覆盖层。这在相机静止期间进一步节省了带宽，并且还允许用户在这些时间期间完全无阻碍地查看主图像。
根据一个实施例，主图像内的覆盖层的大小和位置能由用户配置。这允许用户配置覆盖层，以便覆盖层不会阻挡主图像的用户可能认为特别感兴趣的某些区域。进一步，当控制相机时，一些用户可能发现具有较大的覆盖层是有帮助的，因为当相机追踪人员或物体时，他们可能对主图像不那么感兴趣。因此，具有可配置大小和位置的覆盖层为用户提供了进一步的灵活性。
根据一个实施例，在对视频流进行编码之前，由视频后处理(VPP)部件将覆盖层添加到主图像。通过在对视频进行编码之前添加覆盖层，向编码器呈现其中单个帧已经分别包括主图像和覆盖层的视频流。编码器由此可以继续进行视频流的常规编码，并且不需要进行修改以考虑覆盖层的可能存在。然而，应当注意，在一些实施例中，可以为编码器提供附加信息，这可以进一步帮助编码处理。以下将在本文档的具体实施方式部分进一步详细讨论这些实施例。
根据一个实施例，提供视频流可以包括：接收由PTZ相机捕获的图像数据；使用接收到的图像数据作为主图像的图像数据；缩小接收到的图像数据以创建具有期望大小和分辨率的覆盖层图片；将第一个覆盖层图片放置到主图像上；以及将主图像和覆盖层图片编码为帧内和帧间图片的序列，以创建视频流。这些操作中的许多是图像编码领域中的“常规”操作，因此使在现有系统中更易于实现本发明。
根据一个实施例，将主图像和覆盖层编码可以包括：以第一帧率将主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及以较快的第二帧率将覆盖层编码为参考了主图像的最近帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。帧内编码和帧间编码是本领域的普通技术人员所熟悉的众所周知的技术。通过将具有较快帧率的覆盖层编码为参考了主图像的最近的帧内帧或帧间帧的帧间帧，由于仅当前帧和前一帧之间的“差异”被编码，因此可以节省大量带宽。
根据一个实施例，第一个帧内帧被编码为不显示图像。如下面在具体实施方式中所描述的，第一个帧内帧的图像数据是由相机捕获的原始图像数据(即，没有覆盖层)。通过在已编码的视频流中包括这种数据作为不显示图像，并且将覆盖层图像作为具有相同显示时间的P帧，可以如本发明中以上所述在第一实例中查看具有覆盖层图像的视频。稍后，可以修剪覆盖层P帧，并且可以翻转帧内帧的不显示标志，以便在查看录制的视频时可以删除覆盖层图像。这需要自定义解码器或者自定义视频播放器才能处理视频。因此，使用这种类型的编码，能够创建视频流，该视频流可以在“常规”客户端中被解码，但是也可以由定制客户端解码以删除覆盖层并且仅显示原始图像。这既可以在现场进行，也可以在稍后的时间点回放期间进行，例如，出于法庭论证的目的。
根据一个实施例，覆盖层的帧率近似为主图像的帧率的十倍。这样可以在移动相机时获得平滑的视图，同时可以充分频繁地更新主图像。例如，可以以60FPS的速率更新覆盖层，并且可以以6FPS的速率更新主图像。使用这种设置，如果操作者正在查看主图像，操作者将在1/6秒内注意到场景中发生的变化。如果相机操作者查看覆盖层图像，相应的时间将仅为1/60秒。这些类型的“反应时间”在大多数实际应用中已经足够了。
根据一个实施例，其中以下视频编码格式之一对视频进行编码：高效图像文件格式、高级视频编码、H.264、H.265、H.266、VP9、VP10和AV1。即，由于本文描述的方法遵循这种视频编码格式的标准，因此可以通过支持编码器所使用的视频编码格式的的标准视频流来对已编码的视频流进行解码，这提高了本发明的通用性。
根据第二方面，本发明涉及一种用于控制平移倾斜变焦(PTZ)相机的系统。存储器包含指令，指令在由处理器执行时使处理器执行方法，该方法包括：
由PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，主图像和覆盖层显示相同的视图，并且其中，覆盖层与主图像相比具有较高的帧率和较低的分辨率；以及
由PTZ相机响应于主图像和覆盖层的至少一个的评估而接收移动控制指令。
系统优点对应于该方法的优点，并且可以类似地被改变。
根据第三方面，本发明涉及一种用于控制平移倾斜变焦(PTZ)相机的计算机程序。计算机程序包含与以下步骤相对应的指令：
由PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，主图像和覆盖层显示相同的视图，并且其中，覆盖层与主图像相比具有较高的帧率和较低的分辨率；以及
由PTZ相机响应于对主图像和覆盖层中的至少一个的评估而接收移动控制指令。
计算机程序具有与方法的优点相对应的优点，并且可以类似地被改变。
本发明的一个或多个实施例的细节在附图和以下描述中阐述。本发明的其它特征和优点将从描述和附图以及权利要求书中变得显而易见。
附图说明
图1是示出根据一个实施例的用于控制PTZ相机的系统的示意图。
图2是根据一个实施例的客户端装置上的显示器的示意图，示出了主图像和图像覆盖层。
图3是示出根据一个实施例的用于捕捉并处理图像的PTZ相机的选定部件的框图。
图4是示出根据一个实施例的图像帧的流的编码的表格。
在各个附图中相似的附图标记表示相似的元件。
具体实施方式
概览
如上所述，本发明各个实施例的一个目标是提供改进的技术，用于在带宽受限的环境(无线、有线或其组合)中实现交互式PTZ相机控制，同时保留由相机捕捉的场景的高分辨率图像。根据本文中描述的各个实施例，这是通过由相机提供具有主图像和较小的画中画覆盖层(picture-in-picture overlay)(以下称为“覆盖层(overlay)”)的视频流来实现的。主图像和覆盖层显示相同的图像(除了主图像的一部分被覆盖层所覆盖之外)，但是具有不同的分辨率和帧率。特别地，与主图像相比，覆盖层具有较高的帧率和较低的分辨率。与主图像相比，这允许覆盖层更频繁地更新，并且因此向相机操作者提供对相机的更好控制，因为操作者可以在相机运动时参考覆盖层，并且一旦相机停止运动，则操作者参考高分辨率的主图像。此外，通过较少频率地更新高分辨率的主图像，与其中频繁地更新单个高分辨率相机视图的传统方法相比，可以实现显著的带宽节省。现在将借由示例并参考附图来描述本发明的各个实施例。
系统概览
图1示出了根据本发明的一个实施例的系统100的示意图。如图1中可见，由视频相机108捕捉具有人员104和树木106的场景102。应注意，场景102的这种描绘仅仅是为了说明性目的的简化视图。在更一般的意义上，场景102可以被描述为任何三维物理空间，该空间的大小和形状由记录场景的相机的视场限定。通常，例如在音乐节等处的场景102包括多个个体和物体。
在图3中更详细地示出的相机108具有透镜110，透镜110捕捉场景102并将其投影到图像传感器112上。图像传感器112捕捉一系列图像，这些图像一起形成视频流。图像传感器耦接到下面将进一步详细描述的图像处理和编码单元114。图像处理和编码单元114优选地位于相机108内部，但也可以位于相机外部。图像处理和编码单元114从图像传感器112获取信号，并且在最终将视频流编码成适合在网络之上传输给用户的格式之前，执行各种类型的图像处理操作，例如缩放、添加覆盖层等。在图1中，经编码的视频在无线电链路116之上无线地传送到有线网络118，并且最终传送到与网络118连接的客户端120。
客户端120具有显示屏，在该显示屏中用户可以查看来自相机的图像视频流。通常，客户端120还用于例如由在客户端120处发出PTZ控制命令的用户来控制相机108。例如，用户可以指示相机放大场景102的特定细节，或者如果人员104开始离开树木106，则用户可以指示相机追踪她。
客户端显示和用户体验
图2示出了根据一项发明的用户可以在其客户端120的显示器上所看到内容的示意图。如图2中可见，显示器包括主图像202和覆盖层204。如上所述，主图像202和覆盖层204示出了由相机108捕获的相同的视频流，但是具有不同的大小、分辨率和帧率。例如，在一个实施例中，主图像202可以是6FPS的4k视频流，并且覆盖层204可以是60FPS的360p视频流。由于覆盖层204具有较高的帧率，因此与以较低的帧率更新的主图像202相比，覆盖层204更快地更新，并且因此在用户发出对相机108的控制命令时对用户来说显得更“响应”。然而，由于主图像202的较高的分辨率，与覆盖层204相比，用户将能够区分主图像202中的更多细节。在一些系统中，覆盖层(Overlay)也被称为“屏幕上显示”(On Screen Display，OSD)。另一个替代表达是“画中画”(Picture in Picture，PIP)，它通常仅在覆盖层显示视频内容时使用。
应当注意，由于覆盖层204覆盖了主图像202的一部分，因此覆盖层204和主图像202并不完全相同，而是覆盖层204示出了如果覆盖层204不在那里则主图像202将会是什么样子。然而，在此为了解释的目的，主图像202和覆盖层204将被称作是相同的。
应当进一步注意，在一些实施例中，并未示出覆盖层204，直到用户发出对相机108的控制命令。因此，用户将得到主图像202的无障碍视图。如上所述，假设先前提到的其中主图像202以6FPS更新的的帧率，这还意味着如果用户的关注点在主图像上，则在用户发现场景中发生的需要控制相机108的事件并对其采取行动之前，将存在1/6秒的最大“延迟”，以及如果用户的关注点在覆盖层上，则最大“延迟”为1/60秒。在大多数实际情况下，这种延误通常被认为是可以接受的。
在一些实施例中，主图像202上的覆盖层204的位置和大小可以由用户配置。因此，尽管覆盖层204在图2中被图示为位于主图像202的右下角，但是覆盖层204实质上可以被放置在主图像202上的任何位置。例如，如果在主图像202的右下角(或一些其它部分)中存在可能特别感兴趣且不应被覆盖层204阻挡的细节，则这可以是有用的。在这种情况下，用户可能希望将覆盖层204的位置改变为主图像202的不同部分。进一步，在一些情况下，用户可能更喜欢不同大小的覆盖层204，例如，如果用户对主图像202的右下角的大部分不感兴趣，则用户可以选择显示具有比“标准”大小更大的大小的覆盖层204。在一些实施方式中，与传统的矩形形状相比，覆盖层也可以具有不同的形状。例如，可以存在将图像投影至其中的椭圆形或圆形覆盖层，例如，以使其看起来像是通过凹透镜或凸透镜或某种“鱼眼”透镜等查看。覆盖层的大小和形状的唯一先决条件或“外部限制”是它比主图像小。覆盖层可以是基于宏模块的。因此，可以由本领域普通技术人员设想许多变形例。
相机部件和视频编码
如上所述，相机108包括透镜110、图像传感器112、以及从图像传感器112接收原始数据的图像处理和编码单元114。图3示出了图像处理和编码单元114的主要部件的更详细视图。如图3中可见，图像处理和编码单元114包括图像后处理(IPP)部件302、视频后处理(VPP)部件304、以及编码和解码(CDC)部件306。
IPP 302从图像传感器112接收通常为数个吉字节(GB)量级的传感器数据，并且以人类可识别的原始格式产生图像，该图像的大小通常100兆字节(MB)左右。将图像发送到VPP 304，该VPP304执行图像的缩小，并将缩小后的图像作为覆盖层添加到图像，以及将两者合并。即，VPP 304是创建具有覆盖层204的主图像202的地方，随后将其编码并发送到客户端120并且显示在显示器200上。VPP 304输出的“最终图像”只有几兆字节的大小。如本领域普通技术人员所熟知的，可以使用任何已知的图像缩小算法，诸如最近邻、插值、双线性和双三次算法、框采样等，来执行图像的缩小以形成用于覆盖层204的图像。缩小后的图像作为覆盖层204放置在主图像202上也可以使用许多公知技术中的任何一种来完成，诸如确定覆盖层的位置并用该位置处覆盖层的像素数据替换主图像的像素数据，仅提及一种技术。
随后，将通过VPP 304中的处理得到的“最终图像”发送到CDC 306，用于编码成适合发送到客户端120的格式。下面将详细描述CDC 306的操作。然而，为了便于描述，将首先简要概述视频编码和相关概念。
存在许多传统的视频编码格式。与本发明的各个实施例一起协作的一些常见视频编码格式包括：高效图像文件格式、高级视频编码、H.264、H.265、H.266、VP9、VP10和AV1。这些视频编码格式规定了根据帧内帧(也称为“I帧”)以及帧间帧(也称为“P帧”或“B帧”)实现的临时视频压缩。I帧可以被描述为仅使用待编码的图像帧中的信息来编码的图像帧。此外，从为待编码的图像帧捕捉的所有图像数据计算I帧。因此，I帧有时也被称为全帧。
帧间帧(也称为预测帧或差分帧)是基于来自先前(以及任选地稍后)编码的图像帧的信息以及当前编码的帧的信息。即，可以将帧间帧描述为利用先前(以及任选地稍后)图像帧中的临时冗余信息。实现这种类型的编解码(压缩标准)的编码器通常产生一个I帧，后跟预定数量的帧间帧，然后产生一个新的I帧，后跟相同数量的帧间帧。I帧后跟若干帧间帧的序列的长度通常被称为图片组(GOP)长度。对于一些压缩标准(诸如H.265)，GOP长度可以在编码期间被调整。
根据一个实施例，对VPP 304的输入进行控制，以便以覆盖层所需的帧率提供覆盖层图像的流，并且仅以较低的帧率很少提供高分辨率图像。在由VPP 304处理之后，由CDC306对从VPP 304输出的图像(即，已组合的主图像和覆盖层)进行编码。这种编码可以以多种不同的方式进行。为了说明的目的，这里将呈现几个不同的实施例，然而应当认识到这些仅是示例，并且落入所附权利要求书的范围内的不同的编码方法也是可用的。
在第一实施例中，CDC 306从VPP 304接收表示了已组合的主图像和覆盖层的一系列图像，并对这些图像执行“常规”编码，就像根据常规编码标准(例如，如上所述，高效图像文件格式、高级视频编码、H.264、H.265、H.266、VP9、VP10和AV1)中的一种对任何常规图像流进行编码一样。这些类型的编码器是商用的，并且它们的操作对于本领域的普通技术人员来说是众所周知的，并且因此这里将不进行任何进一步的详细描述。
在第二实施例中，由CDC 306将来自VPP 304的图像流编码为I帧，接着是多个P帧，如上所述。帧率是覆盖层的帧率，并且由于仅以该速率更新覆盖层，因此除了覆盖层区域之外的P帧可以由CDC 306编码为空块(也称为“跳过块”)，即，应该是在先前I帧或P帧中处于相同位置处的块的精确副本的块。通过使用返回到先前的P帧或I帧的空块，可以节省大量带宽。当需要再次更新主图像(即，以较慢的帧率)时，将为主图像生成的新P帧或I帧，接着是生成与较快的覆盖层帧率相对应的大量P帧，依此类推。VPP 304可以指示CDC 306将与主图像相对应的P帧的部分编码为跳过块。
第三实施例使用称为“分层P帧编码”的编码技术。图4示出了根据一个实施例的对于CDC 306的这种分层P帧编码方案的示例。在图4中，假设覆盖层图像的帧率是高分辨率图像的帧率的三倍。CDC 306将图像编码如下：在时间T0，将具有覆盖层的主图像编码为I帧。分别在时间T1和时间T2，相对于时间T0处的I帧，仅将覆盖层图像编码为P帧。主图像不需要分别在时间T1和时间T2更新，因此提供了在表格中指示为“0-delta”的相同的主图像。在时间T3，参考在时刻T0编码的I帧，将主图像和覆盖层编码为P帧。分别在时间T4和时间T5，仅对覆盖层进行编码，与关于时刻T1和T2的描述类似，区别在于是相对于在时刻T3生成的P帧而不是在时刻T0生成的I帧进行编码。在时间T6，为主图像和覆盖层生成新的P帧，类似于时间T3发生的情况。编码过程以这种方式继续，直到达到GOP长度为止。在该时间点，如本领域技术人员所理解，开始I帧、接着是若干P帧的新序列。
这种“分层P帧编码”是本领域普通技术人员熟知的概念。这种编码方案产生的一个显著优点是，系统变得相当耐帧丢失。通常，如果丢失了P帧，则需要等到下一个I帧，才能够对视频进行编码，这对于查看视频的用户来说似乎是“冻结”的。相比之下，在此，仅需要等到下一个P帧，“冻结”对用户来说要短得多，甚至不明显。分层P帧编码的另一个显著优点是，它能够在接收视频流的客户端处进行修剪(假设客户端具有该功能)。即，可以在客户端上查看有覆盖层或没有覆盖层的已编码视频流。进一步，该技术使得在将视频保存到存储装置之前在客户端丢弃覆盖层以节省存储空间成为可能。
结论注解
应当注意，虽然已经针对一组示例性视频编码格式描述了上述实施例，但是各种实施例覆盖了如本文所述的支持具有覆盖层的主图像的编码的任何视频编码格式，如所保护的。
此外，尽管以上描述集中于使用I帧和P帧，但是应当注意，可以在GOP中向前和向后参考的B帧可以用作根据本发明的P帧的替代。与P帧相比，B帧还可以节省更多带宽。然而，与P帧相比，使用B帧的缺点是增加了存储器需求，因为在B帧可以被编码之前必须等待将来的帧。
在此所公开的系统(例如编码器)和方法可以实现为软件、固件、硬件或它们的组合。在硬件实现中，以上描述中提到的功能单元或部件之间的任务划分不一定对应于物理单元的划分；相反，一个物理部件可以执行多个功能，一个任务可以由多个物理部件协作执行。
某些部件或所有部件可以实现为由数字信号处理器或微处理器执行的软件，或者实现为硬件或专用集成电路。这样的软件可以分布在计算机可读介质上，该计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域技术人员所熟知的，术语“计算机存储介质”包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字多功能磁盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或者可用于存储所需信息并可由计算机访问的任何其它介质。
附图中的流程图和框图示出了根据本发明的各个实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示指令的模块、区段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按图中标注的顺序发生。例如，实际上可以基本上同时执行连续示出的两个框，或者有时可以根据所涉及的功能以相反顺序执行这些框。还应注意，框图和/或流程图中的每个框、以及框图和/或流程图中的框组合可以由基于专用硬件的系统实现，这些系统执行特定的功能或动作、或执行专用硬件和计算机指令的组合。
应当理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然使用如上述实施例所示的本发明的优点。因此，本发明不应限于所示的实施例，而应仅由所附权利要求书限定。另外，如本领域技术人员所理解的，所示实施例可以被组合。

Claims (9)

1.一种控制平移倾斜变焦PTZ相机的方法，包括：
由所述PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，所述主图像和所述覆盖层显示相同的视图，并且其中，所述覆盖层与所述主图像相比具有较高的帧率和较低的分辨率；以及
由所述PTZ相机响应于用户对所述主图像和所述覆盖层中的至少一个的评估而接收所述用户发出的移动控制指令，其中，所述评估用于判断所述PTZ相机的拍摄场景中是否发生了需要控制相机移动的事件，
其中，提供所述视频流包括：
接收由所述PTZ相机捕获的图像数据；
使用接收到的所述图像数据作为主图像的图像数据；
缩小接收到的所述图像数据以创建具有期望的图片尺寸和分辨率的覆盖层图片；
将第一个所述覆盖层图片放置到所述主图像上；以及
将所述主图像和所述覆盖层图片编码为帧内和帧间图片的序列，以创建所述视频流，其中，将所述主图像和覆盖层编码包括：
以第一帧率将所述主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及
以比所述第一帧率快的第二帧率将所述覆盖层编码为参考所述主图像的最近的帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。
2.根据权利要求1所述的方法，其中，响应于由用户针对所述PTZ相机触发的移动事件来显示所述覆盖层。
3.根据权利要求1所述的方法，其中，所述主图像内的所述覆盖层的大小和位置能由用户配置。
4.根据权利要求1所述的方法，其中，在对所述视频流进行编码之前，由视频后处理部件将所述覆盖层添加到所述主图像。
5.根据权利要求1所述的方法，其中，第一个所述帧内帧被编码为不显示图像。
6.根据权利要求1所述的方法，其中，所述覆盖层的所述帧率近似为所述主图像的所述帧率的十倍。
7.根据权利要求1所述的方法，其中，以以下视频编码格式之一对所述视频进行编码：高效图像文件格式、高级视频编码、H.264、H.265、H.266、VP9、VP10和AV1。
8.一种用于控制平移倾斜变焦PTZ相机的系统，包括：
存储器；以及
处理器，
其中，所述存储器包含指令，所述指令在由所述处理器执行时使所述处理器执行方法，所述方法包括：
由所述PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，所述主图像和所述覆盖层显示相同的视图，并且其中，所述覆盖层与所述主图像相比具有较高的帧率和较低的分辨率；以及
由所述PTZ相机响应于用户对所述主图像和所述覆盖层中的至少一个的评估而接收所述用户发出的移动控制指令，其中，所述评估用于判断所述PTZ相机的拍摄场景中是否发生了需要控制相机移动的事件，
其中，提供所述视频流包括：
接收由所述PTZ相机捕获的图像数据；
使用接收到的所述图像数据作为主图像的图像数据；
缩小接收到的所述图像数据以创建具有期望的图片尺寸和分辨率的覆盖层图片；
将第一个所述覆盖层图片放置到所述主图像上；以及
将所述主图像和所述覆盖层图片编码为帧内和帧间图片的序列，以创建所述视频流，其中，将所述主图像和覆盖层编码包括：
以第一帧率将所述主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及
以比所述第一帧率快的第二帧率将所述覆盖层编码为参考所述主图像的最近的帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。
9.一种非暂时性计算机可读存储介质，具有包含在其中的用于控制平移倾斜变焦PTZ相机的计算机程序指令，所述计算机程序指令能由处理器执行以执行方法，所述方法包括：
由所述PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，所述主图像和所述覆盖层显示相同的视图，并且其中，所述覆盖层与所述主图像相比具有较高的帧率和较低的分辨率；以及
由所述PTZ相机响应于用户对所述主图像和所述覆盖层中的至少一个的评估而接收所述用户发出的移动控制指令，其中，所述评估用于判断所述PTZ相机的拍摄场景中是否发生了需要控制相机移动的事件，
其中，提供所述视频流包括：
接收由所述PTZ相机捕获的图像数据；
使用接收到的所述图像数据作为主图像的图像数据；
缩小接收到的所述图像数据以创建具有期望的图片尺寸和分辨率的覆盖层图片；
将第一个所述覆盖层图片放置到所述主图像上；以及
将所述主图像和所述覆盖层图片编码为帧内和帧间图片的序列，以创建所述视频流，其中，将所述主图像和覆盖层编码包括：
以第一帧率将所述主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及
以比所述第一帧率快的第二帧率将所述覆盖层编码为参考所述主图像的最近的帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。
CN202110399725.2A 2020-04-23 2021-04-14 用于控制平移倾斜变焦相机的方法和系统以及存储介质 Active CN113556462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20171067.0 2020-04-23
EP20171067.0A EP3902244B1 (en) 2020-04-23 2020-04-23 Controlling a pan-tilt-zoom camera

Publications (2)

Publication Number Publication Date
CN113556462A CN113556462A (zh) 2021-10-26
CN113556462B true CN113556462B (zh) 2023-07-07

Family

ID=70417442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399725.2A Active CN113556462B (zh) 2020-04-23 2021-04-14 用于控制平移倾斜变焦相机的方法和系统以及存储介质

Country Status (4)

Country Link
US (1) US11539909B2 (zh)
EP (1) EP3902244B1 (zh)
JP (1) JP7425012B2 (zh)
CN (1) CN113556462B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream
EP4231638A1 (en) * 2022-02-17 2023-08-23 Axis AB Encoding of a video stream including an overlay

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131295A1 (en) * 2015-08-14 2017-02-15 Axis AB Video encoding method and system
CN110383818A (zh) * 2017-03-15 2019-10-25 索尼公司 成像设备、视频信号处理设备和视频信号处理方法
CN110741334A (zh) * 2017-06-19 2020-01-31 索尼公司 显示控制设备、显示控制方法和显示控制程序
CN110892455A (zh) * 2017-07-14 2020-03-17 索尼公司 图像处理装置、用于图像处理装置的图像处理方法和程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6646677B2 (en) 1996-10-25 2003-11-11 Canon Kabushiki Kaisha Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
KR100951485B1 (ko) * 2001-11-06 2010-04-07 파나소닉 주식회사 동화상 부호화 방법 및 장치와 동화상 복호화 방법 및 장치
US7995652B2 (en) * 2003-03-20 2011-08-09 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
US7599550B1 (en) * 2003-11-21 2009-10-06 Arecont Vision Llc Method for accurate real-time compensation for changing illumination spectra in digital video cameras
KR100834749B1 (ko) * 2004-01-28 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생장치 및 그 방법
US8069466B2 (en) * 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
US7644425B2 (en) * 2006-03-22 2010-01-05 Alcatel Lucent Picture-in-picture mosaic
WO2008057285A2 (en) 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
JP4804378B2 (ja) 2007-02-19 2011-11-02 パナソニック株式会社 映像表示装置及び映像表示方法
JP2009284452A (ja) 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム
CN102215373B (zh) * 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US9264659B2 (en) * 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
CN104737542B (zh) * 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
EP3029942B1 (en) * 2014-12-04 2017-08-23 Axis AB Method and device for inserting a graphical overlay in a video stream
EP3566431A4 (en) * 2017-02-24 2020-03-18 SZ DJI Technology Co., Ltd. MULTIPLE CARDAN SET
CN107750014B (zh) * 2017-09-25 2020-10-16 迈吉客科技（北京）有限公司 一种连麦直播方法和系统
EP3474225B1 (en) 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131295A1 (en) * 2015-08-14 2017-02-15 Axis AB Video encoding method and system
CN110383818A (zh) * 2017-03-15 2019-10-25 索尼公司 成像设备、视频信号处理设备和视频信号处理方法
CN110741334A (zh) * 2017-06-19 2020-01-31 索尼公司 显示控制设备、显示控制方法和显示控制程序
CN110892455A (zh) * 2017-07-14 2020-03-17 索尼公司 图像处理装置、用于图像处理装置的图像处理方法和程序

Also Published As

Publication number Publication date
JP7425012B2 (ja) 2024-01-30
JP2021182737A (ja) 2021-11-25
CN113556462A (zh) 2021-10-26
US11539909B2 (en) 2022-12-27
US20210337158A1 (en) 2021-10-28
EP3902244A1 (en) 2021-10-27
EP3902244B1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US10313417B2 (en) Methods and systems for auto-zoom based adaptive video streaming
TWI400939B (zh) 一種視頻播放器電路及視頻顯示方法
US8125521B2 (en) Multiple image processing and synthesis using background image extraction
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
US20070268406A1 (en) Video processing system that generates sub-frame metadata
JPWO2011013349A1 (ja) 映像データ処理装置及び映像データ処理システム
JP4856712B2 (ja) 監視映像蓄積システム
US7679648B2 (en) Method and apparatus for coding a sectional video view captured by a camera at an end-point
JP3221785B2 (ja) 撮像装置
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
US20230129908A1 (en) Method and system for transmitting a video stream
KR100675387B1 (ko) 화상처리장치
JP3956010B2 (ja) 映像伝送システム及び映像伝送制御方法
EP1479242A2 (en) Method for processing video images
KR101609798B1 (ko) 동영상 판독 장치
JP2006165664A (ja) 画像送受信システム
JP2006109060A (ja) 画像符号化情報を利用した手ぶれ補正方法及び装置
JP2003163923A (ja) 監視システム
JP2007134822A (ja) 撮像記録再生装置および撮像記録再生方法
KR20050066681A (ko) 주화면이 가려지지 않도록 보조화면이 투명 처리된픽쳐-인-픽쳐 신호를 얻기 위한 비디오신호 가공방법 및이를 위한 가공장치
JP4335483B2 (ja) 遠隔地撮影システム
JP2004147112A (ja) 映像符号化装置及び映像符号化方法
JP2002077843A (ja) テレビ会議用動画像転送装置、動画像復元装置および動画像交換装置
JP2015002541A (ja) 画像復号化装置及び画像復号化方法
JP2012178713A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant