CN114500787A - 基于照相机运动生成替代图像帧 - Google Patents

基于照相机运动生成替代图像帧 Download PDF

Info

Publication number
CN114500787A
CN114500787A CN202111201823.7A CN202111201823A CN114500787A CN 114500787 A CN114500787 A CN 114500787A CN 202111201823 A CN202111201823 A CN 202111201823A CN 114500787 A CN114500787 A CN 114500787A
Authority
CN
China
Prior art keywords
image frame
image
image frames
stream
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111201823.7A
Other languages
English (en)
Inventor
维克托·埃德帕尔姆
袁嵩
拉斐尔·特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN114500787A publication Critical patent/CN114500787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了基于照相机运动生成替代图像帧。用于处理由照相机系统捕获的图像帧流的方法和包括计算机程序产品的装置。当来自图像帧流的图像帧被丢弃时，确定当前照相机移动。生成被丢弃的图像帧的替代图像帧。替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量。对在图像帧流中的剩余图像帧进行编码，并在被丢弃的图像帧的位置处将替代图像帧插入到被编码的图像帧流中。

Description

基于照相机运动生成替代图像帧
技术领域
本发明涉及图像数据的处理，更具体地，涉及处理由照相机系统捕获的图像帧流。
背景技术
云台变焦(PTZ)照相机是多种现代监控系统的重要组成部分。这些照相机在执行PTZ运动时，通常会承受很大的CPU负载，尤其是在与诸如隐私遮罩的其他应用一起运行分析应用时，并且同时瞬时比特率也较高。这使得在照相机中的由照相机捕获的一系列图像帧中的一个或多个图像帧有可能在一些位置处被丢弃。
目前最佳可控丢弃是生成重复图像帧，并停止对重复图像帧的一些处理，但是大多数应用仍然将处理图像帧，因此保持了高CPU负载。当在显示器上浏览捕获的视频时，在PTZ运动期间重复图像帧会在PTZ运动中生成明显的中断。重复图像帧还会增加PTZ控制器的延迟。因此，需要更好的机制来处理被从图像帧流中丢弃的图像帧。
美国专利第5，973，733号描述了一种用于将利用摄像机拍摄的场景的视频记录进行稳定化的系统。视频记录包括视频数据和音频数据。系统包括用于将源视频数据存储为连续帧的源帧存储器。系统还包括处理器，该处理器用于运行对图像中的运动向量进行分析以检测记录期间发生的照相机运动的运动估计算法，并且用于修改视频数据以补偿照相机运动。此外，系统包括用于将修改的视频数据存储为多个连续帧的目的帧存储器。
美国专利公开第2016/269639号描述了一种编辑视频以提高视频素材的表观稳定性的方法。在该方法中，通过在单个视频帧内捕获的图像周围添加边界，并根据在两个连续帧之间计算的运动向量的负值来调整连续视频帧的相对位置，来提高视频图像的表观稳定性。
欧洲专利第1377036号描述了一种用于自动增强视频的自动视频增强系统和方法。自动视频增强方法使用帧到帧的运动估计作为视频增强的基础。运动估计包括全局运动(诸如照相机的运动)的计算和局部运动(诸如像素运动)的计算。自动视频增强方法包括生成全局对准变换，生成光流向量，并使用这些全局对准变换和光流向量来增强视频。该发明还包括使用帧到帧运动估计的视频处理和增强技术。这些技术包括去隔行处理、去噪处理以及执行阻尼稳定化和锁定稳定化的扭曲稳定化处理。
发明内容
根据第一方面，本发明涉及在照相机系统中执行的用于处理在照相机移动期间捕获的图像帧流的方法。方法包括：
·当来自图像帧流的图像帧由于无法在分配的时间段内完成对图像帧的所有操作而被丢弃时，确定当前照相机移动；
·生成被丢弃的图像帧的替代图像帧，其中，替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量；以及
·对在图像帧流中的剩余图像帧进行编码，并在被丢弃的图像帧的位置处将替代图像帧插入到被编码的图像帧流中。
用于生成替代图像帧的当前照相机移动描述了照相机系统(并且具体地，描述了照相机系统的图像捕获部分)如何从最后编码帧开始移动，也就是说，从最后编码图像帧的开始位置移动到丢弃图像帧的结束位置，并且可能还描述了开始位置和结束位置之间的轨迹。知道当前照相机移动使得可以确定一个或多个运动向量，并根据这些运动向量生成替代图像帧，该替代图像帧与被丢弃的图像帧的内容近似。然后，替代图像帧被插入到被丢弃的图像帧的位置处。因此，视频可以保持“活跃”和响应性，保持低延迟和视频平滑，同时还降低了照相机系统的负载，从而降低了图像帧进一步丢弃的风险。此外，方法既可以应用于预先进行的有意的图像帧丢弃，并且也可以应用于由于照相机具有过高计算负载而导致的无意的图像帧丢弃。使用这种方法的进一步的优点是降低了比特率，这是因为图像之间的变化较小，并且，生成替代图像帧并将替代图像帧插入被编码的图像帧流中这在计算资源方面成本非常低-通常比重新编码相同的图像帧成本更低。
根据一个实施例，基于来自照相机系统中的陀螺仪和马达中的一个或多个的读数来确定当前照相机移动。陀螺仪和照相机读数会连续用日志记录在照相机系统的缓存中，因此可以容易地获取，以用于运动向量计算。此外，读数通常具有高粒度，也就是说，每个图像帧通常至少存在一个读数，并且有时远多于一个读数，这使得容易获取用于计算整个图像帧或者图像帧的一部分的运动向量的数据。
根据一个实施例，通过将当前陀螺仪和马达读数与先前图像帧的相应陀螺仪和马达读数进行比较来确定当前照相机移动。通过知道先前图像帧被记录的时间，相应的陀螺仪和/或马达读数可以被检索并与当前读数进行比较，这给出了当前的照相机移动。这提供了计算替代图像帧的运动向量的快速且计算高效的方法。
根据一个实施例，先前图像帧是最近的先前图像帧。使用与最近的先前图像帧相对应的陀螺仪和马达位置提高了运动向量计算的准确性，因为它使用了“最新鲜”的照相机移动数据。
根据一个实施例，一个或多个运动向量包括用于整个替代图像帧的单个全局运动向量。具有用于整个图像帧的单个运动向量导致非常低成本的运动向量计算，这在具有低计算能力或者有限带宽的照相机系统或者其他类型的成像系统中可能是特别理想的。
根据一个实施例，运动向量包括多个运动向量，该运动向量中的每一个表示包括在替代图像帧中的像素块的运动。照相机的运动(例如照相机系统的图像捕获部分的运动)可以以不同的方式影响图像帧的不同部分，例如，在PTZ运动中，角块可以不同于图像帧中心的块而移动。为了补偿这种现象，当生成替代图像帧时，为包含在由替代图像帧所参考的图像帧中的不同像素块计算不同的运动向量可能是优选的，以便为操作者创建平滑的浏览和照相机控制体验，并提供没有图像帧丢弃的“感觉”。然而，与针对整个替代图像帧计算的单个全局运动向量相比，这也需要更多的计算资源。
根据一个实施例，多个运动向量表示包含在替代图像帧中的一个或多个感兴趣部分的运动。在先前图像帧和被丢弃的图像帧之间可能存在没有变化或者变化很小的情况。例如，图像帧中描绘的大部分场景可能示出了墙壁、蓝天或者类似的环境，这些环境如果有变化，则变化也不大，并且可能只有图像帧的一小部分是用户感兴趣的。在这种情况下，计算静止部分的运动向量几乎没有意义，相反，通过仅计算图像的感兴趣部分的运动向量，可以节省计算资源。认为什么是“有趣的”，以及这部分有多大，是可以根据具体的设置来决定的。
根据一个实施例，方法进一步包括调整一个或多个后续图像帧的数据，使得替代图像帧不被一个或多个后续图像帧用作参考图像帧。因为替代图像帧是合成图像帧，所以在处理图像数据时，后续图像帧不参考替代图像帧是很重要的。因此，调整后续图像帧中的参考数据，以使得其指向替代图像帧之前的图像帧。
根据一个实施例，替代图像帧是以下之一：前向预测图像帧(P帧)和双向预测图像帧(B帧)。P帧和B帧分别是在视频处理中广泛使用的传统图像帧类型。使用这些类型的图像帧使得本发明能够容易地与现有系统和标准集成。
根据一个实施例，照相机系统是以下之一：云台变焦(PTZ)照相机和身体佩戴照相机(BWC)。这是用于各种类型的监控环境的两种常见类型的照相机系统。在这些场景中使用本发明增加了本发明的通用性。
根据一个实施例，图像帧流是图像帧的现场浏览流，并且方法进一步包括：同时捕获图像帧的记录流，其中，图像帧的记录流不包括任何替代图像帧。也就是说，图像帧的现场流可以包含替代图像帧，这为浏览图像帧流的用户创造了愉悦的体验。同时，可以记录第二图像帧流，其中允许图像帧丢弃，并且不生成替代图像帧，并且当具有现场的平滑浏览不太重要时，该第二个图像帧流可以用于后续的存储或者取证目的。
根据一个实施例，替代图像帧是包含预先计算的运动向量的编码图像帧。作为计算替代图像帧的运动向量的替代方案，可以存在“预先计算的”替代图像帧，使得当图像帧被丢弃时，可以基于所确定的照相机移动，简单地从库中检索具有预先计算的运动向量的编码图像帧，而不是计算运动向量。这可以进一步显著降低照相机的计算负载，并且在计算能力较低的情况下特别有用。
根据一个实施例，图像帧被主动丢弃，以降低图像帧无意丢弃的风险。如上所述，为了防止图像帧的意外丢弃，有时故意丢弃图像帧可能是有益的。根据本发明的方法允许图像帧的这种主动丢弃，从而增加了本发明的通用性，并且与图像帧由于计算过载而发生丢弃时相比，允许了更可控的图像帧丢弃。
根据第二方面，本发明涉及照相机系统。照相机系统包括图像捕获部分、图像处理管线和编码器。图像捕获部分被配置成在照相机移动期间捕获图像帧流。图像处理管线被配置成：
·当来自图像帧流的图像帧由于无法在分配的时间段内完成对图像帧的所有操作而被丢弃时，确定当前照相机移动；
·生成被丢弃的图像帧的替代图像帧，其中，替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量。
编码器被配置成对在图像帧流中的剩余图像帧进行编码，并在被丢弃的图像帧的位置处将替代图像帧插入到被编码的图像帧流中。
系统的优点与方法的优点相对应，并且可以类似地变化。
根据第三方面，本发明涉及用于处理在照相机移动期间由照相机系统捕获的图像帧流的计算机程序。计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有实施在其中的程序指令，其中，计算机可读存储介质本身不是暂时性信号。程序指令可由处理器执行，以执行以下方法，该方法包括：
·当来自图像帧流的图像帧由于无法在分配的时间段内完成对图像帧的所有操作而被丢弃时，确定当前照相机移动；
·生成被丢弃的图像帧的替代图像帧，其中，替代图像帧包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量；以及
·对在图像帧流中的剩余图像帧进行编码，并在被丢弃的图像帧的位置处将替代图像帧插入到被编码的图像帧流中。
计算机程序包括与该方法的优点相对应的优点，并且可以类似地变化。
本发明的一个或多个实施例的细节在附图和下文的描述中提出。本发明的其他特征和优点将从说明书和附图以及权利要求中变得显而易见。
附图说明
图1是示出了根据一个实施例的示例性环境100的示意图，在示例性环境100中可以应用本发明的各种方法和系统。
图2是示出了根据一个实施例的在图1中图示的照相机系统108的详细视图的框图。
图3是示出了根据一个实施例的用于处理图像帧流的方法的流程图。
在多个附图中的相同的参考符号表示相同的元件。
具体实施方式
概览
如上所述，本发明的各种实施例的一个目标是提供用于处理从图像帧流中丢弃的一个或多个图像帧的改进技术。这些技术可以应用于各种环境。两个更常见的示例包括云台变焦(PTZ)照相机和身体佩戴照相机(BWC)，但甚至可能是由于各种原因(例如，如果它们受到震动)经历图像帧下降的静止的照相机系统。本文将通过示例并参考PTZ照相机和PTZ运动来描述本发明，因为这些是容易理解的概念。然而，应当认识到，相同的原理可以应用于BWC或者其他类型的照相机系统，并且本文呈现的示例不应当被解释为限于特定类型的照相机或者成像系统。
当图像帧在PTZ运动(即图像捕获部分的PTZ运动)期间被丢弃时，用日志记录估计的运动，并且生成被丢弃的图像帧的替代图像帧。替代图像帧包括一个或多个运动向量，这些运动向量是参考先前图像帧估计的，并且仅基于估计的PTZ运动。例如，可以从对图像捕获部分的PTZ运动进行记录的照相机陀螺仪的读数或者从对图像捕获部分的PTZ运动进行控制的马达的数据来估计PTZ运动。通常参考先前图像帧将替代图像帧编码为P帧。对在图像帧流中的剩余图像帧进行编码，并在被丢弃的图像帧的位置处将替代图像帧插入到被编码的图像帧流中。这允许视频仍然是“活跃的”和响应性的，保持低延迟和视频平滑，同时还降低照相机系统的负载，从而降低了进一步的图像帧丢弃的风险。现在将通过示例并参考附图来描述本发明的各种实施例。
图1示出了其中可以实现本发明的各种实施例的示例性环境100的示意图。从图1中可以看出，具有人104和树106的场景102通过照相机系统108被捕获。为了实现该描述的易读性，照相机系统108在本文中有时将被简单地称为“照相机”，但是再次应当注意的是，诸如PTZ照相机、静止照相机、身体佩戴照相机(BWC)等多种类型的照相机系统108是落入权利要求范围内的。应当进一步注意的是，场景102的这种描绘仅仅是出于说明目的的简单视图。场景102可以在更一般的意义上被描述为任何三维物理空间，其大小和形状由记录场景的照相机的视场来限定。
在图2中更详细地示出的照相机系统108具有包括镜头110和图像传感器112的图像捕获部分109。镜头110捕获场景102并将其投射到图像传感器112上。图像传感器112捕获一系列图像，这些图像共同形成视频流。照相机系统108进一步包括图像处理管线202和编码器204，两者将在下文进一步详细描述。图像处理管线202和编码器204可以被包含在照相机系统108的图像处理与编码部分205中。在一些实施例中，图像处理与编码部分205可以与图像捕获部分109布置在同一位置。在一些替代性实施例中，它可以与图像捕获部分109分开布置，但是与图像捕获部分109有线或者无线通信。图像捕获部分109和图像处理与编码部分205可以被布置在例如单个单元中或者两个单独的单元中，使得由图像捕获部分109捕获的图像被图像处理与编码部分205处理和编码。因此，即使照相机系统108在图2中被示为单个单元，也应当理解，照相机系统108的部分可以被布置在单独的单元中，可能被布置成彼此相距一定距离。在将图像数据发送到编码器204之前，图像处理管线202从图像传感器112获取信号并执行各种类型的图像处理操作，编码器204将视频流编码成适用于通过网络传输给用户的格式。在图1中，被编码的视频通过无线电链路116无线传输到有线网络118，并最终传输到连接到网络118的客户端120，但是当然无线和有线传输模式的多种组合也是可以被使用的。图2图示的照相机系统108还包括用于移动照相机系统108(即特别是移动图像捕获部分109)的一个或多个马达206，以及用于确定照相机系统的位置(即图像捕获部分109的位置)的一个或多个陀螺仪208。一个或多个马达206和/或一个或多个陀螺仪208可以被包括在图像捕获部分109中或者被布置在图像捕获部分109处，以便控制和确定图像捕获部分109的移动。如前所述，该移动在本公开中被称为照相机移动。
客户端120具有显示屏，用户可以从显示屏浏览来自照相机的图像视频流。通常，客户端120还用于控制照相机108，例如，通过用户在客户端120发出PTZ控制命令。例如，用户可以指示照相机放大场景102的特定细节，或者如果人104开始了从树106离开的移动，则跟踪人104。当控制照相机时，使延迟尽可能低(即用户体验到照相机尽可能“响应于”他们的控制命令)是很重要的。
然而，如上所述，在照相机移动期间，由于多种因素，照相机经常经受高计算负载。如上所述，当执行PTZ运动时，特别是当与诸如隐私遮罩的其他东西一起运行分析应用时，PTZ照相机经常承受沉重的CPU负载，并且同时瞬时比特率也很高。当照相机无法在分配的时间周期内完成对图像帧的所有需要的操作时，照相机上的计算负载很高。当对图像帧的所有操作无法在分配的时间段内完成时，图像帧会有意或者无意地被丢弃。这可能是当IPP202由于在照相机移动期间的高计算负载而无法在分配的时间段内完成对图像帧的所有需要的处理操作的情况。如下文所例示，由IPP 202执行的处理操作可以包括噪声滤波、失真校正、全局和/或局部色调映射、变换、平场校正、叠加(例如隐私遮罩)的应用以及执行目标检测和/或目标识别的分析应用。例如，在隐私遮罩操作无法在分配的时间段内完成的情况下，与保持没有任何隐私遮罩的或者仅具有部分绘制的隐私遮罩的图像帧相比，丢弃图像帧通常是更好的选择。作为另一个示例，在噪声滤波、失真校正、全局和/或局部色调映射、变换和/或平场校正由于高计算负载而无法在分配的时间段内完成的情况下，与保持没有噪声滤波、失真校正、全局和/或局部色调映射、变换和/或平场校正的图像帧相比，丢弃图像帧可能是更好的，因为保持这样的图像帧可能会负面影响视频流的表现。这例示了为避免特定负面影响而有意丢弃图像帧。然而，如上所述，丢弃可能是无意的。因此，图像帧可能会由于计算负载对于IPP 202而言太高而无法在分配的时间段内完成所有需要的操作而被无意地丢弃。例如，一些所需要的操作(诸如执行目标检测或者目标识别的分析应用操作)需要特定量的可用计算/处理资源，以便对图像帧执行目标检测或者目标识别，并且如果IPP 202上的计算负载太高(例如由于照相机移动)，IPP 202的可用计算/处理资源可能小于完成分析应用操作所需的特定量的可用计算/处理资源。因此，IPP 202可能没有足够的可用计算/处理资源以在分配的时间段内完成所有需要的操作，并且因此图像帧被丢弃。无论丢弃是有意的还是无意的，丢弃图像帧都会对显示给用户的流造成干扰，并且会产生浏览时不太令人喜欢并具有较高延迟感的视频流，而这两种都是不希望的体验。
因此，为了减少这些和其他问题，在一个实施例中，在图像帧流中的被丢弃的图像帧被替换为替代图像帧，如现在将参考图3描述的，图3是用于处理图像帧流的方法300的流程图。如图3所示，在步骤302，方法由以传统方式处理图像帧流开始。现在将参考图2简要描述该传统处理，图2是示出根据一个实施例的用于捕获和处理图像的照相机系统108的所选择的部件的框图。
如图2所示，照相机系统108包括将场景102成像在图像传感器112上的镜头110。在可能执行各种操作(通常是由照相机系统108的诸如滤波单元、去马赛克和颜色校正单元等一个或多个单元(未示出)进行滤波、去马赛克和颜色校正)之后，所得到的图像被转发到图像处理管线(IPP)202。应当注意，在一些实施例中，颜色校正可以在IPP 202中完成。
在IPP 202中，对图像执行进一步的处理。这种进一步的处理可以包括噪声滤波(用于消除空间和/或时间噪声)、失真校正(用于消除例如桶形失真的影响)、全局和/或局部色调映射(例如，实现包含宽范围强度的场景的成像)、变换(例如，旋转)、平场校正(例如，用于消除晕染的影响)、应用叠加(例如，隐私遮罩、说明性文本等)。IPP 202还可以与执行目标检测、目标识别、警报等的分析引擎(未示出)相关联。
在图像IPP 202之后，图像可以被转发到编码器204，在编码器204中信息根据编码协议被编码，并通过网络118被转发到接收客户端120。应当注意，图2图示的照相机108还包括诸如处理器、存储器等的多种其他部件。这些部件在传统照相机系统中是常见的，并且其目的和操作对于本领域普通技术人员而言是公知的。为了清楚起见，在图2的图示和描述中省略了这些部件。存在多种传统的视频编码格式。与本发明的各种实施例一起工作的一些常见视频编码格式包括(仅给出几个示例)：高效视频编码(HEVC)，也称为H.265和MPEG-H第2部分；高级视频编码(AVC)，也称为H.264和MPEG-4第10部分；通用视频编码(VVC)，也称为H.266、MPEG-I第3部分以及未来视频编码(FVC)；VP9、VP10和AOMedia Video1(AV1)。这些视频编码格式规定了在帧内图像帧和帧间图像帧方面实现的时间视频压缩。如前所述，帧内图像帧也可以被称为I图像帧，并且帧间图像帧可以是被称为P帧的预测图像帧或者被称为B帧的双向预测图像帧。可以将I图像帧描述为仅使用待编码的图像帧中的信息进行编码的图像帧。此外，I帧是从为待编码的图像帧捕获的所有图像数据而计算的。因此，I帧有时也被称为全图像帧。
P帧基于来自先前编码的图像帧的信息以及当前编码的图像帧的信息。B帧基于来自先前编码的图像帧以及可选地后续编码的图像帧的信息以及当前的编码图像帧的信息。也就是说，帧间图像帧可以被描述为利用先前的(以及可选地后续的)图像帧中的时间冗余信息。实现这种类型的编解程式(压缩标准)的编码器通常生成I图像帧，然后是预定数量的帧间图像帧(例如P帧和/或B帧)，然后是新的I图像帧，然后是相同数量的帧间图像帧。该I帧后面跟着多个帧间图像帧的序列的长度通常被称为图像组(GOP)长度。对于诸如H.265等一些压缩标准，可以在编码过程中调整GOP长度。
现在回到图3，在步骤302的正常处理期间，存在连续监视图像帧，以在步骤304检测在图像帧流中的图像帧是否已经被丢弃。如果没有图像帧被丢弃，则继续正常处理。然而，如果在步骤304中发现图像帧已经被丢弃，则在步骤306中，基于照相机移动生成替代图像帧。如上所述，来自图像帧流的图像帧可能由于无法在分配的时间段内完成对图像帧的所有操作(例如所有需要的操作)而被丢弃。这可能是当由于照相机系统108在照相机移动期间经受高计算负载而无法在分配的时间段内完成对来自图像帧流的图像帧的所有需要的操作时的情况。
在一个实施例中，通过创建P帧来生成替代图像帧，该P帧参考先前图像帧并且包括从PTZ照相机的运动(例如图像捕获部分的运动)人工生成的运动向量。除了用于移动PTZ照相机的马达206之外，照相机108中通常还存在一个或多个陀螺仪208。来自马达206和陀螺仪208的位置读数被通常以每秒60-600次连续存储在照相机108的缓存中。这使得可以将图像帧捕获次数与PTZ照相机108(例如图像捕获部分109)的位置读数相关联。例如，在具有每秒60次位置测量和60FPS(帧/秒)捕获速率的较低端，照相机缓存中的每个图像帧将有一个位置读数，而在具有每秒600次位置测量和60FPS捕获速率的较高端，每个图像帧可以与10个位置读数相关联，这将允许在为被丢弃的图像帧捕获图像帧时更高精度地估计照相机的位置(例如图像捕获部分的位置)。
因此，当图像帧被丢弃时，通过读取PTZ照相机108的当前位置(例如图像捕获部分109的当前位置)，并参考先前图像帧在照相机缓存中的存储位置，可以确定描述先前图像帧和当前被丢弃的图像帧之间的运动的一个或多个运动向量。这些运动向量可以用于生成替代图像帧，该替代图像帧可以在被丢弃的图像帧的位置处被插入到被编码的图像帧流中。这给用户带来了连续、平滑而没有任何中断的照相机移动的表现。一个或多个运动向量可以以不同的方式生成。
如本领域普通技术人员所公知的，通常将图像帧分成不同的块，并在块级别上执行图像处理。PTZ移动通常是“偏斜的”，因为图像中的块的移动是变化的。例如，角块的移动方式与图像中心的块不同。因此，在第一实施例中，在逐块的基础上完成处理，并且为每个块确定单独的运动向量。在第二实施例中，为整个图像帧确定全局运动向量。虽然第一实施例可以生成更好的用户体验，但是它在比特率方面也具有更高的成本，这是因为需要处理更多的信息，并且因此根据手头的情况，第二实施例有时可能是更有用的。
应当注意，在第一实施例和第二实施例之间也存在“混合实施例”。例如，图像可以被分成四个或者九个图块，并且可以为每个图块确定运动向量。可能存在“感兴趣”的事物仅发生在其中一个图块中的情况(例如，对象显示在其中一个图块中，而其余八个图块显示蓝天或者实心墙等)。在这种情况下，通过仅计算感兴趣图块的运动向量并且不处理看起来不变的八个图块，可以进一步节省计算资源。在另一变型中，可以为一个块决定运动向量(例如，向上10个像素，向左15个像素)，并且可以指示照相机将所有邻近的块设置为具有相同的运动向量。因此，本领域普通技术人员可以想到多种变型。
因为替代图像帧是合成图像帧，所以重要的是在对图像帧流中的后续图像帧的图像信息进行编码时，图像帧流中的后续图像帧不使用替代图像帧作为参考。因此，紧接在被丢弃的图像帧之前的图像帧(即，最近的先前图像帧)被保留作为后续图像帧的参考。这可以通过多种方式实现。例如，在一个实施例中，替代图像帧在其头部具有指示其是“不用于参考图像帧”的相关联的元数据或者数据。在使用H.264压缩的另一个实施例中，QP值可以被设置为51，以指示图像帧是替代图像帧。应当注意，虽然该示例使用最近的先前图像帧，但是也可以使用任何较早的图像帧作为参考图像帧。然而，在大多数情况下，时间上最接近被丢弃图像的图像帧将是具有最相关内容的图像帧，并且因此是优选使用的图像帧。
一旦生成了替代图像帧，则在步骤308，在被丢弃的图像帧的位置处将其插入到图像帧的编码流中。然后，在步骤310，确定是否还有要处理的图像帧。如果是，如上所述，正常图像处理在步骤302中恢复。如果没有要处理的更多图像帧，例如，如果照相机108关闭或者进入休眠，则过程结束。
应当注意，由于有意和无意的原因，上述示例中的图像帧可以被从流中丢弃。例如，图像帧丢弃的一个有意的原因可能是带宽监视器指示：除非减少照相机上的计算负载，否则正在使用的带宽较高以至于存在图像帧丢弃的风险。有意的图像帧丢弃的另一个示例可以是可能存在应当具有更高优先级的第二图像帧流等。如上所述，当照相机上的负载对于照相机而言过高而无法成功处理图像处理的所有步骤时，可能会发生无意的图像帧丢弃。
结论意见
应当注意，虽然上文的示例聚焦于使用P帧，但是本发明的相同的一般原理也适用于B帧，B帧可以指GOP中的前向和后向。然而，与P帧相比，B帧通常具有更高的储存器要求，因此在大多数情况下，使用P帧是更优选的。还应当注意，当在图像帧流中存在特定替代图像帧时，并非所有的替代图像帧都需要具有相同的类型，并且可以存在P帧和B帧的任何混合。
此外，上述示例涉及具有单个马达206的PTZ照相机。然而，应当认识到，相同的一般原理也可以扩展到包含多个图像传感器并且每个图像传感器具有其自身的马达206的照相机。
此外，虽然上述示例中的运动向量的计算涉及紧接在被丢弃的图像帧之前的图像帧，但是不能够阻止参考在图像帧流中的甚至更早的图像帧来确定运动向量。然而，参考距被丢弃的图像帧几步之外的图像帧可能潜在地导致替代图像帧具有更不精确的运动向量，并且因此使质量更差，因此从实际角度来看，参考紧接在前的图像帧可能是优选的。
上文的示例是根据PTZ照相机给出的，但是应当注意，相同的原理也可以应用于其他照相机，例如身体佩戴照相机(BWC)或者任何受到强烈振动并且图像帧丢弃的风险增加的照相机。
在一些实施例中，还可以存在“预先计算的”替代图像帧，使得当图像帧被丢弃时，可以基于所确定的照相机移动，简单地从库中检索具有预先计算的运动向量的编码图像帧，而不是计算运动向量。这可以进一步显著降低照相机的计算负载，并且在计算能力较低的情况下特别有用。
还存在一些实施例，其中上述技术被应用于“现场流”(即用户正在他或者她的显示屏上浏览的流)，但是其中替代图像帧没有被加入实际的取证流(即，被记录并保存以供未来参考的流)。因此，本领域普通技术人员可以想到多种变型。
本文公开的照相机系统和方法可以实现为软件、固件、硬件或者其组合。在硬件实现中，以上描述中提到的功能单元或者部件之间的任务划分不一定与物理单元的划分相对应；相反，一个物理部件可以执行多个功能，并且一个任务可以由几个物理部件协同执行。
特定部件或者所有部件可以实现为由数字信号处理器或者微处理器执行的软件，或者实现为硬件或者专用集成电路。这种软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或者非暂时性介质)和通信介质(或者暂时性介质)。如本领域技术人员所公知的，术语计算机存储介质包括以任何方法或者技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或者其他数据的信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其他存储技术、CD-ROM、数字多功能盘(DVD)或者其他光盘存储器、磁带盒、磁带、磁盘存储器或者其他磁性存储设备，或者可用于存储所需信息并可由计算机访问的任何其他介质。
附图中的流程图和框图图示了根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或者框图中的每个框可以表示模块、段或者指令部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些可替换的实施方式中，框中标注的功能可以不按图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意到，在框图和/或流程图图示中的每个框以及在框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或者动作或者执行专用硬件和计算机指令的组合。
应当理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然使用如上述实施例所示的本发明的优点。因此，本发明不应限于所示的实施例，而应当仅由所附权利要求来限定。此外，如本领域技术人员所理解的，所示出的实施例可以被组合。

Claims (15)

1.一种在照相机系统中执行的方法，用于处理在照相机移动期间捕获的图像帧流，所述方法包括：
当来自所述图像帧流的图像帧由于无法在分配的时间段内完成对所述图像帧的所有操作而被丢弃时，确定当前照相机移动；
生成被丢弃的图像帧的替代图像帧，其中，所述替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量；以及
对在所述图像帧流中的剩余图像帧进行编码，并在所述被丢弃的图像帧的位置处将所述替代图像帧插入到被编码的图像帧流中。
2.根据权利要求1所述的方法，其中，基于来自所述照相机系统中的陀螺仪和马达中的一个或多个的读数来确定所述当前照相机移动。
3.根据权利要求2所述的方法，其中，所述当前照相机移动是通过将当前陀螺仪和马达读数与先前图像帧的相应陀螺仪和马达读数进行比较来确定的。
4.根据权利要求3所述的方法，其中，所述先前图像帧是最近的先前图像帧。
5.根据权利要求1所述的方法，其中，所述一个或多个运动向量包括用于整个替代图像帧的单个全局运动向量。
6.根据权利要求1所述的方法，其中，所述运动向量包括多个运动向量，所述运动向量中的每一个表示所述替代图像帧中的像素块的运动。
7.根据权利要求6所述的方法，其中，所述多个运动向量表示所述替代图像帧中的一个或多个感兴趣部分的运动。
8.根据权利要求1所述的方法，进一步包括调整一个或多个后续图像帧的数据，使得所述替代图像帧不被所述一个或多个后续图像帧用作参考图像帧。
9.根据权利要求1所述的方法，其中，所述替代图像帧是以下之一：前向预测图像帧P图像帧，以及双向预测图像帧B图像帧。
10.根据权利要求1所述的方法，其中，所述照相机系统是以下之一：云台变焦PTZ照相机，以及身体佩戴照相机BWC。
11.根据权利要求1所述的方法，其中，所述图像帧流是图像帧的现场浏览流，并且其中，所述方法进一步包括：同时捕获图像帧的记录流，其中，所述图像帧的记录流不包括任何替代图像帧。
12.根据权利要求1所述的方法，其中，所述替代图像帧是包含预先计算的运动向量的编码图像帧。
13.根据权利要求1所述的方法，其中，所述图像帧被主动丢弃，以降低图像帧被无意丢弃的风险。
14.一种照相机系统，包括：
图像捕获部分，被配置成在照相机移动期间捕获图像帧流；
图像处理管线，被配置成：
当来自所述图像帧流的图像帧由于无法在分配的时间段内完成对所述图像帧的所有操作而被丢弃时，确定当前照相机移动；
生成被丢弃的图像帧的替代图像帧，其中，所述替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量；以及
编码器，被配置成对在所述图像帧流中的剩余图像帧进行编码，并在所述被丢弃的图像帧的位置处将所述替代图像帧插入到被编码的图像帧流中。
15.一种用于处理在照相机移动期间由照相机系统捕获的图像帧流的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有实施在其中的程序指令，其中，所述计算机可读存储介质本身不是暂时性信号，所述程序指令能够由处理器执行以执行以下方法，所述方法包括：
当来自所述图像帧流的图像帧由于无法在分配的时间段内完成对所述图像帧的所有操作而被丢弃时，确定当前照相机移动；
生成被丢弃的图像帧的替代图像帧，其中，所述替代图像帧包括对先前图像帧的参考，并且包括仅基于所确定的当前照相机移动而估计的一个或多个运动向量；以及
对在所述图像帧流中的剩余图像帧进行编码，并在所述被丢弃的图像帧的位置处将所述替代图像帧插入到被编码的图像帧流中。
CN202111201823.7A 2020-10-23 2021-10-15 基于照相机运动生成替代图像帧 Pending CN114500787A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20203624.0A EP3989530A1 (en) 2020-10-23 2020-10-23 Generating substitute image frames based on camera motion
EP20203624.0 2020-10-23

Publications (1)

Publication Number Publication Date
CN114500787A true CN114500787A (zh) 2022-05-13

Family

ID=73014326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111201823.7A Pending CN114500787A (zh) 2020-10-23 2021-10-15 基于照相机运动生成替代图像帧

Country Status (6)

Country Link
US (1) US12047690B2 (zh)
EP (1) EP3989530A1 (zh)
JP (1) JP2022069409A (zh)
KR (1) KR20220054204A (zh)
CN (1) CN114500787A (zh)
TW (1) TW202226813A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022182477A (ja) * 2021-05-28 2022-12-08 キヤノン株式会社 情報処理装置、システム、情報処理方法、及びプログラム
EP4333182A1 (en) 2022-05-02 2024-03-06 LG Energy Solution, Ltd. Gas discharging member and secondary battery comprising same
KR102706391B1 (ko) 2022-10-05 2024-09-13 한국철도기술연구원 다중 센서에서 획득한 데이터의 동기화 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
KR101420878B1 (ko) * 2007-11-22 2014-07-21 삼성전자주식회사 동영상 프레임의 선택적 오류 은폐 방법 및 장치
US8660175B2 (en) 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
KR101467875B1 (ko) * 2008-09-04 2014-12-02 삼성전자주식회사 프레임 레이트의 가변화 설정이 가능한 디지털 카메라 및 그 제어방법
JP5617270B2 (ja) * 2010-02-16 2014-11-05 富士通株式会社 動画再生装置、動画処理方法、および動画処理プログラム
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
AU2010358309B2 (en) 2010-07-30 2014-12-04 Thomson Licensing Method and apparatus for measuring video quality
KR101736793B1 (ko) 2010-12-29 2017-05-30 삼성전자주식회사 비디오 프레임 인코딩 장치, 그것의 인코딩 방법 및 그것을 포함하는 비디오 신호 송수신 시스템의 동작 방법
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9525821B2 (en) * 2015-03-09 2016-12-20 Microsoft Technology Licensing, Llc Video stabilization
US20170085740A1 (en) * 2015-05-21 2017-03-23 InvenSense, Incorporated Systems and methods for storing images and sensor data
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines

Also Published As

Publication number Publication date
US20220132030A1 (en) 2022-04-28
US12047690B2 (en) 2024-07-23
TW202226813A (zh) 2022-07-01
EP3989530A1 (en) 2022-04-27
JP2022069409A (ja) 2022-05-11
KR20220054204A (ko) 2022-05-02

Similar Documents

Publication Publication Date Title
JP7011506B2 (ja) ビデオストリームを形成するための方法および画像処理ユニット
US12047690B2 (en) Generating substitute image frames based on camera motion
JP5908581B2 (ja) 画像キャプチャパラメータに基づくビデオ符号化の制御
WO2010095207A1 (ja) 動画撮像装置
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
JP5583992B2 (ja) 信号処理装置
EP1949705B1 (en) Image signal processing apparatus
US20070165716A1 (en) Signal processing device, image capturing device, network camera system and video system
JP2017098934A (ja) デジタル画像前処理の方法及びデジタル画像前処理システム
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
CN110324636B (zh) 用于对视频流中的帧序列进行编码的方法、设备和系统
EP3131295A1 (en) Video encoding method and system
JP2021182737A (ja) パンチルトズームカメラを制御すること
JP2008141354A (ja) 画像符号化装置および撮像装置
US10051270B2 (en) Video encoding method using at least two encoding methods, device and computer program
JP2012105128A (ja) 画像符号化装置
JP2006303987A (ja) 画像符号化装置及び画像符号化方法
JP4700992B2 (ja) 画像処理装置
JP2004180345A (ja) 撮影画像記録装置
US8761530B2 (en) Apparatus and method to control target code amount
JP2009081727A (ja) 画像符号化装置及びその制御方法、プログラム
JP2019075685A (ja) 画像符号化装置、画像符号化方法及びプログラム
KR20240084469A (ko) 비디오 시퀀스를 프루닝하는 방법 및 장치
JP5825976B2 (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination