CN103650504B - 基于图像捕获参数对视频编码的控制 - Google Patents

基于图像捕获参数对视频编码的控制 Download PDF

Info

Publication number
CN103650504B
CN103650504B CN201280030357.3A CN201280030357A CN103650504B CN 103650504 B CN103650504 B CN 103650504B CN 201280030357 A CN201280030357 A CN 201280030357A CN 103650504 B CN103650504 B CN 103650504B
Authority
CN
China
Prior art keywords
frame
ambiguity
video
motion vector
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280030357.3A
Other languages
English (en)
Other versions
CN103650504A (zh
Inventor
安哲弘
梁亮
塞波·罗伯特·洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103650504A publication Critical patent/CN103650504A/zh
Application granted granted Critical
Publication of CN103650504B publication Critical patent/CN103650504B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明描述用于使用由例如摄像机等前端装置检测和估计的参数来改进例如视频编码器等后端装置的功能性的技术。所述技术可涉及估计与在再聚焦过程期间捕获的帧相关联的模糊性水平。基于所估计的模糊性水平，在所述摄像机中或在所述视频编码器中调整用以编码模糊帧的量化参数QP。所述视频编码器使用所述经调整的QP来编码所述模糊帧。所述视频编码器还使用所述模糊性水平估计来通过简化所述模糊帧中的运动估计和补偿来调整编码算法。

Description

基于图像捕获参数对视频编码的控制
技术领域
本发明涉及视频译码。
背景技术
数字多媒体能力可并入到较广范围的装置中，包含数字电视、数字直播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、数字媒体播放器等。数字多媒体装置可实施视频译码技术，例如MPEG-2、ITU-H.263、MPEG-4或ITU-H.264／MPEG-4部分10、高级视频译码(AVC)，或目前在由视频译码联合协作团队(Joint CollaborativeTeam on Video Coding，JCT-VC)开发的高效视频译码(HEVC)标准，来更高效地发射和接收或存储和检索数字视频数据。
视频编码技术可经由空间预测和／或时间预测来执行视频压缩以减少或去除视频序列中固有的冗余。视频捕获装置(例如摄像机)可捕获视频，并将其发送到视频编码器以供编码。视频编码器处理捕获到的视频、编码经处理的视频，并发射经编码视频数据以供存储或发射。在任一情况下，编码经编码视频数据以再现视频以供显示。用于存储或发射视频的可用带宽通常是有限的，且受例如视频编码数据速率等因素影响。
若干因素对视频编码数据速率有影响。因此，当设计视频编码器时，关注之一是改进视频编码数据速率。通常，改进在视频编码器中实施，且常常使视频编码器增加额外的计算复杂性，这可抵消了改进的视频编码数据速率的益处中的一些益处。
发明内容
本发明描述用于至少部分地基于视频捕获装置的一个或一个以上参数来控制视频译码的技术。所述技术可在例如相机等视频捕获装置和／或例如视频编码器等视频译码装置中执行。视频捕获装置可感测、测量或产生一个或一个以上参数，可利用所述参数作出可用以控制视频译码参数的确定。由视频捕获装置获得的参数可用以估计与所捕获的帧相关联的模糊性。可基于所估计的模糊性来修改视频译码中所使用的参数。
在一个实例中，本发明描述一种方法，其包括：在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧。
在另一实例中，本发明描述一种系统，其包括：用于在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平的装置；以及用于在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的装置。
在另一实例中，本发明描述一种系统，其包括：视频捕获模块，其用以估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平；以及视频编码器，其用以至少部分地基于所述帧的所估计模糊性水平来编码所述帧。
可在硬件、软件、固件或其任何组合中实施本发明中所描述的技术。如果在软件中实施，软件可在一个或一个以上处理器中执行，例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件可最初存储在非暂时性计算机可读存储媒体中，且加载在处理器中并在处理器中执行。
因此，本发明还预期一种计算机可读媒体，其包括用于致使可编程处理器在视频捕获模块中估计所述视频捕获模块的再对焦过程期间捕获的视频数据帧的模糊性水平的指令；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的指令。
在另一实例中，本发明描述一种方法，其包括：基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧。
在另一实例中，本发明描述一种设备，其包括：模糊性单元，其用以基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平；以及视频编码器，其用以至少部分地基于所述帧的所估计模糊性水平来编码所述帧。
在另一实例中，本发明描述一种系统，其包括：用于基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平的装置；以及用于至少部分地基于所述帧的所估计模糊性水平来编码所述帧的装置。
在另一实例中，本发明还预期一种计算机可读媒体，其包括用于致使可编程处理器基于在帧中检测到的运动的类型来估计视频数据帧的模糊性水平的指令；以及在视频编码器中至少部分地基于所述帧的所估计模糊性水平来编码所述帧的指令。
在附图及下文描述中陈述本发明的一个或一个以上方面的细节。将从描述和图式且从所附权利要求书明白本发明中所描述的技术的其它特征、目标和优点。
附图说明
图1是说明可实施本发明的技术的示范性视频捕获装置和视频编码器系统的框图。
图2是说明可实施本发明的技术的另一示范性视频捕获装置和视频编码器系统的框图。
图3是说明得出所捕获帧中的模糊性的视频捕获功能的流程图。
图4A到4F说明导致视频捕获装置所捕获的帧中的模糊性的实例视频捕获装置功能。
图5是说明实施本发明的技术的视频编码系统的一个实例的框图。
图6是说明实施本发明的技术的速率控制块的实例的框图。
图7是说明视频捕获装置的实例连续自动对焦再对焦过程的性能的图。
图8A到8C是说明与面部检测相关联的自动对焦再对焦过程的图形表示。
图9A到9B是说明与变焦相关联的自动对焦再对焦过程的图形表示。
图10是说明用于编码期间的运动估计的示范性块分区大小的图。
图11说明根据本发明的技术的估计运动模糊性的一个实例。
图12说明根据本发明的技术的估计运动模糊性的另一实例。
图13A说明使用模糊性水平的QP决策的实例。
图13B说明用以作出根据图13A的QP决策的实例所估计模糊性水平。
图13C说明使用查找表的QP决策的实例。
图14说明具有实施本发明的技术的两个视频捕获装置模块的实例系统。
图15A到15C是说明根据本发明的实例技术使用所捕获帧中的模糊性水平的估计来进行视频编码的流程图。
图16是说明根据本发明的实例技术使用模糊性水平的估计来简化编码算法的视频编码的流程图。
具体实施方式
在实时视频记录期间，视频帧中的模糊性可由若干因素导致。举例来说，视频捕获装置的平移或运动、正由视频捕获装置捕获的图像中的对象的运动，或正由视频捕获装置(例如摄像机)捕获的场景的放大和缩小可能因相机或对象移动过快以致无法对焦而导致模糊性。模糊性还可能在具有连续自动对焦(CAF)或自动对焦(AF)的系统中的再对焦阶段期间或在使用手动对焦时的再对焦期间发生。
在使用CAF的视频捕获装置的实例中，可例如在逐帧基础上连续地调整镜头位置，以实现最佳对焦性能。当已在视频记录期间改变或移动了所关注对象时，视频捕获装置通过找到新的所关注对象的新焦平面来再对焦。举例来说，在视频捕获装置的平移运动期间，CAF可在视频捕获装置在平移结束时不再运动以对在帧中所捕获的新场景进行再对焦时发生。在另一实例中，在运动传感器所检测到的运动期间，可在帧中检测到面部或另一对象，其可触发AF过程。在另一实例中，可触发AF过程以在相机的放大或缩小之后进行再对焦。模糊性在此再对焦过程期间发生，且在找到新的焦平面之前装置所捕获的帧在再对焦过程期间可为模糊的，直到实现再对焦为止。另外，模糊性可在其它类型的运动期间在帧中发生，例如帧内的对象的移动，或再对焦不发生时(例如，相机正在移动时)的平移运动过程的若干部分期间。模糊性在这些类型的帧中发生，其中模糊性不是由再对焦过程导致。
由运动导致的模糊可由于视频捕获装置(例如相机)的移动、手抖动，或因为捕获视频帧时的对象移动而在所捕获的视频帧中发生。相机移动和对象移动在视觉上导致类似的运动模糊效应。然而，相机移动引入全局运动模糊，而移动的对象引入局部运动模糊。在一些视频捕获装置中，可使用特殊相机模式(例如，手抖动减少和夜景捕获模式)来通过控制曝光时间而减少运动模糊。下文所述的本发明的技术可用于视频捕获装置中，不管此些装置是否利用这些特殊相机模式中的任一者，因为在一些实例中，可使用所述技术来使用曝光时间估计模糊性。
视频编码器通过执行计算以作出关于帧内容的确定来执行视频数据速率控制。这些计算通常增加视频编码器的计算复杂性。本发明的技术可包含基于由视频捕获装置确定和／或测量的参数来执行视频捕获装置和／或视频编码器中的功能。在本发明的一个方面中，视频编码器可通过使用视频编码器从记录视频帧的视频捕获装置获得的信息来降低额外计算复杂性。
本发明描述用于至少部分地基于视频捕获装置的一个或一个以上参数来控制视频译码的技术。在一些实例中，视频编码器可基于其中检测到模糊性的帧中的模糊性水平的估计来控制视频译码。当视频捕获装置执行功能(其通常导致模糊性)时，可检测帧中的模糊性。接着可使用视频捕获装置的一个或一个以上参数来估计在其中检测到模糊性的帧的模糊性。在一个实例中，某些功能可导致在支持连续自动对焦(CAF)过程的视频捕获装置中的视频捕获期间的再对焦，其可导致CAF过程期间捕获的帧的模糊性。在其它实例中，由于平移、变焦、帧内的对象的移动或其它类型的运动而引起的视频捕获期间的运动可因所述运动和使用自动对焦(AF)的再对焦而导致帧的模糊性。
在视频系统(例如视频编码系统)中，带宽限制可成问题，且可受例如视频编码数据速率等参数影响。在一个实例中，根据本发明的技术可基于由视频捕获装置捕获的视频帧的特性来调整视频译码过程的一个或一个以上方面，例如视频编码数据速率。在一个实例中，可基于帧的所估计模糊性水平，在编码视频帧的过程中更高效地分配位，从而优化视频编码数据速率。
在一个实例中，视频捕获装置可基于视频捕获装置中通常导致模糊性的某些功能(例如，运动、变焦、平移等)的性能来检测所捕获的视频帧中的模糊性。接着可使用由视频捕获装置确定和／或测量的参数来估计检测到的模糊性。可在视频捕获装置或视频编码器中估计模糊性。在一些实例中，包括视频捕获装置和视频编码器的视频系统可提供估计视频捕获装置或视频编码器中的模糊性的能力。在一个实例中，视频捕获装置和视频编码器可为一个装置的部分。在此实例中，视频捕获装置和视频编码器中的每一者的功能性的至少一部分可由一个处理器执行，所述处理器还可执行例如模糊性估计等操作。
在一个实例中，视频捕获装置可估计导致模糊性的事件期间(例如，CAF过程的再对焦阶段期间、在装置的平移运动期间、在放大或缩小期间，或在导致帧中的模糊性的其它运动期间)捕获的视频帧中的模糊性的量。视频捕获装置可向视频编码器发送视频帧中的模糊性的量的估计。在另一实例中，视频捕获装置可向视频编码器发送与导致模糊性的事件相关联的一个或一个以上参数，且视频编码器可基于所述参数来估计对应视频帧中的模糊性的量。
基于视频帧中的模糊性的量，视频编码器可分配较少数据速率，即较少的译码位，来编码具有高于某一阈值的模糊性的量的帧，而不必评估视频编码器内的模糊性。相反，在一些实例中，编码器可依靠视频捕获装置已经确定的模糊性参数。在其它实例中，编码器可基于与导致模糊性的事件相关联的一个或一个以上参数来估计模糊性。当检测到模糊性时，视频编码器可分配较少的数据速率来编码模糊帧，因为模糊帧通常具有不受或较少受使用较低数据速率影响的较低视觉质量。当视频帧的内容变得模糊时，根据本发明的一个方面，视频编码器可分配较少数据速率(即译码位)来编码模糊帧，从而降低带宽消耗，同时维持可接受的总体视觉质量(在给定模糊性的情况下)。
在本发明的一个方面中，可基于模糊性估计来调整量化参数(QP)，且QP可基于帧中的模糊量而变化。在本发明的另一方面中，视频编码器可将不同大小的块分区用于预测译码和运动补偿来编码帧。在本发明的另一方面中，视频编码器无需实施用于确定帧是否模糊以及其中的模糊性的量的算法，因为这些是由视频捕获装置决定。
使用本发明的技术，简化的视频编码算法可降低视频编码器的计算复杂性，且较低的数据速率可减少视频编码器所使用的带宽。可从视频捕获装置向视频编码器报告模糊性估计。视频编码器又可确定特定帧是模糊的，而不花费编码器资源来检测模糊性，检测模糊性在由视频编码器进行时可为计算量较大的操作。代替地，视频编码器可依赖于视频捕获装置所评估的模糊性估计。
在一个实例中，本发明的技术可由视频编码器所执行的速率控制(RC)算法来实施。RC算法可在所捕获的视频帧中利用运动模糊估计来改进感知质量。所述算法可使用例如全局运动向量(MV)、编码帧速率和曝光时间等参数来估计所捕获的视频帧的模糊性。对于帧的给定所估计模糊性，应用RC算法，视频编码器可在模糊帧与尖锐帧之间重新分配译码位。明确地说，视频编码器可例如通过调整用于每一帧的量化参数以控制应用于由预测译码产生的残余变换系数的量化程度，而将较少的译码位分配给模糊帧，且将较多译码位分配给非模糊帧。以此方式，可利用译码模糊帧中的节省来改进其它帧的译码。
本发明的方面可用于多种记录装置中的任一者中，所述装置可为独立记录装置或系统的一部分。出于此论述的目的，将摄像机用作示范性视频捕获装置。
图1是说明可实施本发明的技术的实例视频捕获装置和视频编码器系统100的框图。如图1中所示，系统100包含视频捕获装置102，例如捕获视频流且经由链路120将视频流发送到视频编码器110的摄像机。系统100还可包含模糊性单元108，其可为视频捕获装置102或视频编码器110的一部分。因此，在图1的实例中，模糊性单元108可与任一装置分开描绘。视频捕获装置102和视频编码器110可包括较广范围的装置中的任一者，包含移动装置。在一些实例中，视频捕获装置102和视频编码器110包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机，或可捕获和编码视频数据的任何装置。在一些实例中，视频捕获装置102和视频编码器110可作为同一系统的部分而包含于同一封装中。在其它实例中，视频捕获装置102和视频编码器110可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同系统的部分。如果视频捕获装置102和视频编码器110驻存在两个或两个以上不同装置中，那么链路120可为有线或无线链路。
在图1的实例中，视频捕获装置102可包含输入传感器单元104，以及运动和AF单元106。运动和AF单元106可包含与视频捕获相关联的若干功能性单元，例如CAF单元106A、变焦单元106B以及运动单元106C。视频编码器110可包含QP再调整单元112、帧模糊性评估单元114以及编码单元116。根据本发明，视频捕获装置102可经配置以获得与一个或一个以上功能(例如，变焦、平移、运动检测)相关联的参数，所述参数可进一步由运动和AF单元106处理，且提供给模糊性单元108。模糊性单元108可使用相机参数来估计帧的模糊性水平，且将模糊性估计发送到视频编码器110。视频编码器110可使用模糊性信息来确定适当的视频编码数据速率且／或简化视频编码算法。
输入传感器单元104可包含与视频捕获装置102相关联的输入传感器，以及基于输入传感器所感测到的帧图像来确定与所捕获的帧相关联的一个或一个以上参数的算法。视频捕获装置102的输入传感器单元104可感测帧图像内容以进行捕获。输入传感器单元104可包含耦合到传感器的相机镜头，所述传感器例如为电荷耦合装置(CCD)阵列或另一图像感测装置，其经由相机镜头接收光，且响应于接收到的图像而产生图像数据。输入传感器单元104可包含检测条件的变化以确定用于捕获对应帧的适当功能的能力。基于输入传感器104所执行的功能，运动和AF单元106可确定适当功能性，例如是否应用自动对焦(AF)以及要应用的AF的类型。举例来说，在平移运动期间，可应用CAF，而在变焦期间，可应用利用变焦因子信息的AF过程。运动和AF单元106可基于相关联的功能来检测帧中的模糊性，且发送具有对应于所述功能的参数(例如，变焦因子、镜头位置、其它镜头和传感器参数等等)的模糊性检测的指示。
在一个实例中，在平移运动期间，用户移动视频捕获装置102以捕获不同对象或场景。在此实例中，可使用输入传感器单元104来确定视频捕获装置102的运动，输入传感器单元104可配备有能够检测装置的平移运动的传感器。在平移运动期间，在视频捕获装置102在运动时所捕获的帧可不需要再对焦，因为正捕获的场景快速变化。当视频捕获装置102停止运动时，再对焦过程可在捕获帧时开始。此实例中的再对焦可使用CAF来执行，直到实现对焦为止。在平移运动期间且在平移运动停止之后直到实现对焦为止所捕获的帧可含有模糊性。与平移运动相关联的帧中的模糊性可为运动的结果或再对焦过程的结果。可使用与再对焦过程期间的镜头位置相关联的信息来估计因再对焦而导致的模糊性，所述信息可由输入传感器单元104提供。当不执行再对焦时，可使用与平移运动和／或帧内的对象的运动期间与装置相关联的运动来估计因平移运动而产生的模糊性。
视频捕获装置102可在记录视频时利用CAF过程。在CAF过程中，相机镜头位置可连续地调整，以实现视频帧中的对象上的可接受对焦。当新的所关注对象进入输入传感器单元104正捕获的场景中时，用户移动视频捕获装置102以捕获不同对象或不同场景，或场景内的对象移动，输入传感器单元104可检测新对象的存在。输入传感器单元104可接着将信号发送到CAF单元106A，CAF单元106A分析接收到的信号，并基于信号的焦点值来确定在场景中检测到新对象，并触发再对焦过程。新对象上的再对焦可涉及例如以下动作：通过分析从输入传感器单元104接收到的信号的焦点值来调整镜头位置，直到视频捕获装置实现所要对焦为止，其中每一信号包含帧的像素。CAF单元106A可将指示CAF单元106A正执行再对焦过程的指示发送到模糊性单元108。模糊性单元108可估计再对焦正发生时帧中的模糊性。模糊性单元108可估计与帧n相关联的模糊性B(n)，并将B(n)发送到视频编码器110。
在另一实例中，当视频捕获装置102在一个方向上移动从而接近所关注对象时，与对象相关联的视野可改变。然而，可不以与将检测平移运动相同的方式来检测运动。举例来说，如果用户移动成较靠近或较远离帧中的对象，同时使视频捕获装置102指向同一方向，相应地，视野变得较小或较大，但帧内的全局运动可相加为零，因为视野在所有方向上改变了相对相同的量。因此，这种类型的运动不可通过估计全局运动来检测。输入传感器单元104可包含运动传感器(例如，加速度计或陀螺仪)，其可检测这种类型的运动，且可将检测到的信息发送到运动和AF单元106，以基于帧中所检测到的对象的类型来确定适当功能。在一个实例中，可因改变的视野而在帧中检测面部。如果检测到面部，那么在运动期间可使用AF以对焦在面部上，且因此，在实现AF时所捕获的帧可为模糊的。可通过使用与面部检测相关联的参数(例如，所捕获帧中面部的大小、平均人类面部的大小以及对象的距离)确定适当的镜头位置来实现所检测到的面部上的对焦。因检测到的面部上的再对焦而导致的模糊性可使用每一步骤处所确定的镜头位置来估计，直到实现对焦为止。如果未检测到面部，那么可不触发再对焦，直到运动停止为止，且模糊性可出现在运动期间捕获的帧中。可使用平移运动和／或帧内的对象的运动期间与装置相关联的运动来估计因运动而导致的模糊性。
在另一实例中，用户可选择在视频捕获期间放大或缩小。当视频捕获装置102开始光学变焦时，视野可在变焦过程期间改变，从而导致再对焦，且模糊性可出现在在变焦期间捕获的帧中。可使用AF来在变焦期间进行对焦，其中变焦因子是已知的，且可用以确定用以实现对焦的镜头位置。模糊性估计单元还可利用变焦信息(例如，变焦因子)来估计变焦过程期间所捕获的帧中的模糊性。
在其它实例中，正捕获的帧中的其它类型的运动可导致模糊性，其可基于相机参数(例如，全局运动向量、曝光时间和帧速率)使用运动信息来估计。在一些实施例中，估计模糊性时还可利用局部运动向量信息。在其中视频捕获装置102执行对焦的情形中，在估计模糊性时可利用与对焦过程相关联的参数。另外，在其中不使用对焦的情形中，可在估计模糊性时利用视频捕获装置102所获得的运动信息。以此方式，可使用针对其它功能而获得和／或计算的参数来估计模糊性，且因此，此实例中无需额外的复杂计算或测量来估计模糊性。下文将更详细地描述估计这些实例中的每一者中的模糊性水平。
视频编码器110可接收具有模糊的帧的模糊性估计B(n)，且可在编码视频帧时利用模糊性水平，而不必执行额外计算来确定帧中的模糊量。在一个实例中，视频编码器110可将模糊性水平用于QP再调整112。换句话说，视频编码器110可基于帧的所估计模糊性水平来调整用于编码帧的QP值。
QP调节保留在经编码图像中的细节的量。视频编码器在编码期间执行例如残余值的量化。所述残余值可为离散余弦变换(DCT)系数值，其表示残余值块，所述残余值块表示待译码的原始块(例如宏块)与用以译码所述块的参考帧中的预测块之间的残余失真。在一个实例中，当编码器将非常小的QP值用于较高量化时，较大量的图像细节会被保留。然而，使用非常小的QP值会产生较高的编码数据速率。随着QP值增加，视频编码速率下降，但一些细节会丢失，且图像可变得更失真。在模糊图像中，图像的细节已经失真，且视频编码器可增加QP，而不影响图像的质量。视频编码器可实施算法来确定帧是否模糊。然而，这些算法增加视频编码器的计算复杂性。
在一个实例中，可在视频捕获装置102中估计模糊性，且因此，视频编码器110可不需要确定帧是否模糊。代替地，视频编码器110可从视频捕获装置102接收帧为模糊的指示。在一个实例中，视频编码器110可接收待编码的帧n的所估计模糊水平B(n)，且基于所述模糊水平来确定是增加还是减小QP。换句话说，视频编码器110可基于从视频捕获装置102获得的所估计模糊性水平B(n)来调整QP值。在一个实例中，视频编码器110可使用较大QP来编码具有较高模糊量的帧，且使用较小QP来编码具有较低模糊量的帧。以此方式，视频编码器110可将较多译码位分配给较不模糊的帧，且将较少译码位分配给较模糊的帧。尽管本文将较大和较小QP值描述为分别对应较多和较少量化，但对于一些译码技术，情况可相反，其中较大和较小QP值可分别对应于较少和较多量化。
在一个实例中，使用本发明的技术，可基于图像中的模糊性水平，使用QP值来编码模糊图像。图像的模糊性水平越高，用以编码图像的位的数目越小。在一个实例中，可减少用以译码模糊帧的位的数目，而不导致额外失真，因为量化调整所导致的失真可能不像其在较不模糊帧中那样引人注意。在一些实例中，经译码位可在帧之间重新分配，使得可使用较少的位来译码具有较大模糊性水平的帧，且可使用可已从使用较少位来译码模糊帧而节省出来的所述较多的位来译码较尖锐的帧。以此方式，视频编码器的总位率可不受较大地影响，因为经译码位的量可保持总体不变。
本发明的技术可基于模糊性水平来确定将不导致人类视觉系统可辨识的失真的最大量化量。可使用实验数据来基于人类感知和人类视觉系统的不敏感性来确定在帧中提供不同的模糊性水平以及对应的量化，使得帧的总失真在感知上不会不同于原始帧。在一个实例中，视频编码器可使用137008个位(其被视为经译码位的100％)来译码帧。基于帧中的模糊性水平，确定对应的量化，使得对帧中的失真的感知不容易察觉。实验可利用小于或等于137008的不同数目的经译码位，且确定在某一模糊性水平下所使用的位的最低数目，其中帧可向平均人类视觉系统表现为具有与使用100％的经译码位时相同量的失真。接着可将对应于减小数目的位的QP用作对应于模糊性水平的QP。
在另一实例中，视频编码器110可利用模糊性水平来简化视频编码器110所实施的编码算法。简化的编码算法可例如为使用整数像素精度而不是分数像素精度来进行运动估计搜索的算法。其它编码算法简化可涉及例如利用跳过模式，修改运动估计中所使用的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。在图像编码中，使用内插来基于周围像素的色彩和强度值来近似表示像素色彩和强度，且可用以改进帧间译码中的压缩。帧间译码指代用以跟踪邻近帧内的移动的运动估计，且指示帧内的块相对于一个或一个以上参考帧中的对应块的移位。在编码期间，编码器可确定块在帧内的位置。可通过使用子像素或分数内插在分数像素水平下搜索块来改进压缩水平。分数越小，编码器所实现的压缩越高，但编码算法的计算越密集。
举例来说，可执行内插以产生分数或子像素值(例如，二分之一和四分之一像素值)，且编码算法可基于内容使用不同水平的精度。对于较详细的帧或帧内的块，编码算法可利用较小的子像素值(例如，四分之一)，其将需要在四分之一像素位置处内插像素值。对于较不详细的帧或帧内的块，编码算法可利用二分之一像素值下的内插。在此实例中，内插四分之一像素值可提供较好的运动估计，但比内插二分之一像素值计算更密集。在模糊帧中，图像在其中具有较少细节，且因此，子像素水平下的内插对于保留图像的细节可不重要。因此，可利用整数像素精度来编码运动估计块，其中编码算法查看所述像素值，从而避免内插像素值的添加的计算复杂性。
视频编码器110可将帧的所估计模糊性水平B(n)与B(n)评估单元114中的阈值进行比较，以确定是否实施简化的编码算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕获装置102和／或视频编码器110中的设定值来改变阈值。在另一实例中，阈值可由系统的用户定义。举例来说，模糊性水平可为范围[0，1]中的值，且可默认将阈值设定为0.5，或模糊性水平值范围的中点。在其它实例中，可根据用户偏好设定阈值。如果B(n)评估单元114确定所估计的模糊性高于阈值，那么B(n)评估单元114用信号通知编码算法单元116实施适当的简化算法来编码模糊帧。
在一个实例中，视频编码器110可获得与从视频捕获装置102捕获的帧相关联的参数，且可基于相机参数估计模糊性水平。视频编码器110可接着利用如上文所论述的所估计模糊性水平来改进编码速率。以此方式，通过将视频捕获装置102所提供的参数用于其中检测到模糊性的帧，视频编码器110可使用计算来估计模糊性，而不必确定帧是否为模糊，因为模糊性是由视频捕获装置102基于由输入传感器单元104和运动和AF单元106所执行的相机功能来检测。
图2是说明可实施本发明的技术的另一示范性视频捕获装置和视频编码器系统200的框图。图2的实例大体上对应于图1的实例，但视频编码器在图1中执行的计算的一部分可由图2中的视频编码器210或由视频捕获装置202执行，如下文将更详细地论述。如图2中所示，系统200包含视频捕获装置202，例如摄像机，其捕获视频流并经由链路220将其发送到视频编码器210。系统200还可包含模糊性单元208和QP再调整单元212，其可为视频捕获装置202或视频编码器210的部分。因此，在图2的实例中，模糊性单元208和QP再调整单元212与任一装置分开描绘，要理解，单元208和212中的任一者可在视频捕获装置202或视频编码器210内。视频捕获装置202和视频编码器210可包括较广范围的装置中的任一者，包含移动装置。在一些实例中，视频捕获装置202和视频编码器210包括无线通信装置，例如无线手持机、个人数字助理(PDA)、移动媒体播放器、相机，或可捕获和编码视频数据的任何装置。在一些实例中，视频捕获装置202和视频编码器210可作为同一系统的部分而包含于同一封装中。在其它实例中，视频捕获装置202和视频编码器210可驻存在两个或两个以上不同装置中，且可为两个或两个以上不同系统的部分。如果视频捕获装置202和视频编码器210驻存在两个或两个以上不同装置中，那么链路220可为有线或无线链路。
在图2的实例中，如在图1的实例中，视频捕获装置202可包含输入传感器204，以及运动和AF单元206。运动和AF单元206可包含与视频捕获相关联的若干功能性单元，例如CAF单元206A、变焦单元206B以及运动单元206C。视频编码器210可包含量化单元218、帧模糊性评估单元214以及编码算法单元216。根据本发明，视频捕获装置202可经配置以获得与一个或一个以上功能(例如变焦、平移、运动检测)相关联的参数，其可进一步由运动和AF单元106处理，其可接着提供给模糊性单元208。模糊性单元208可估计帧的模糊性水平，且基于所估计的模糊性水平，QP再调整单元212可接着再调整QP。QP再调整单元212可从视频编码器210接收先前的QP值，基于所述QP值，QP再调整单元212可计算经再调整的QP值。在一个实例中，经再调整的QP值可基于帧中的模糊性水平，且编码较不模糊的帧可利用较多量化(例如，较小QP)，且较模糊的帧可利用较少量化(例如，较大QP)，其中经再调整的量化可不超过视频编码器210所使用的先前量化量。模糊性单元208和QP再调整单元212可将经再调整的QP和模糊性估计发送到视频编码器210。视频编码器210可使用模糊性信息来确定适当的视频编码数据速率，且／或简化视频编码算法。视频编码器210在量化期间可使用经再调整的QP。在此实例中，基于模糊性水平估计来调整QP可进一步降低视频编码器210中的计算复杂性。视频编码器210可基于不同于模糊性的因子进一步再调整QP。
视频捕获装置202的输入传感器204可感测帧内容以进行捕获。所捕获的场景的变化可导致输入传感器204将信号发送到运动和AF单元206，且触发适当功能，例如平移运动、变焦或其它类型的运动期间的再对焦，如上文结合图1所述。运动和AF单元206可将指示帧中运动的存在和／或是否对帧执行AF的指示发送到模糊性单元208。模糊性单元208可估计运动和AF单元206针对其指示运动和／或AF的帧中的模糊性。模糊性单元208可估计与帧n相关联的模糊性B(n)，并将B(n)发送到QP再调整单元212。QP再调整单元212可利用模糊性水平来为所述帧再调整QP，如上文所述。模糊性单元208和QP再调整单元212可将模糊性估计B(n)和用于帧n的经调整的QP发送到视频编码器210。
在一些实例中，视频编码器210可接收模糊性估计B(n)和用于其中检测到模糊的帧的经调整的QP，且可在编码视频帧时利用模糊性水平，例如，而不必执行额外计算来确定帧中的模糊量。在一个实例中，视频编码器210可利用经再调整的QP来在量化单元218中量化与帧n中的块的残余数据相关联的系数值。
除利用经再调整的QP之外，视频编码器210可利用模糊性水平来进一步简化视频编码器210所实施的编码算法。简化的编码算法可例如为使用整数像素精度而不是分数像素精度来进行运动估计搜索的算法，如上文所述。其它编码算法简化可涉及例如利用跳过模式、修改运动估计中所使用的参考图片列表，以及修改用于预测代码和运动补偿的块分区大小，如下文更详细地阐释。在一个实例中，视频编码器210可基于所估计的模糊性水平来确定要使用编码算法简化方法中的哪一者。在一个实例中，视频编码器210可实施编码算法简化的一个或一个以上方法，如下文进一步论述。视频编码器210可将帧的所估计模糊性水平B(n)与B(n)评估单元214中的阈值进行比较，以确定是否实施简化的编码算法以及实施哪些算法。在一个实例中，可将所述阈值设定为默认值。在另一实例中，可基于视频捕获装置202和／或视频编码器210中的设定来改变阈值。在另一实例中，阈值可由系统的用户定义。如果B(n)评估单元214确定所估计的模糊性高于阈值，那么B(n)评估单元214用信号通知编码算法单元216实施适当的简化算法来编码模糊帧。
图3是说明产生所捕获帧中的模糊性的视频捕获功能的流程图。图3的流程图可对应于由例如图1和2的视频捕获装置102和202等视频捕获装置执行的功能。在视频捕获装置捕获帧时，条件的变化，例如正捕获的场景内的对象的运动、装置的运动、变焦等，可被输入传感器单元(例如，输入传感器单元104／204)检测到。输入传感器单元可将与检测到的条件相关联的参数提供给运动和AF单元(例如运动和AF单元106／206)(302)。运动和AF单元可基于来自输入传感器单元的参数来确定与所捕获的帧相关联的运动类型、AF是否必要，以及当AF为必要时要执行的AF的类型。
运动和AF单元可确定运动是否为平移运动(304)。在平移运动期间，通过视频捕获装置的物理移动，视频捕获装置可从一个场景移动到另一场景。因此，所捕获的场景可与平移运动的开始完全不同，且直到视频捕获装置停止或平移运动停止为止。在平移运动期间可导致模糊性，且为了能够正确地估计模糊性，运动和AF单元可基于平移运动的阶段来确定适当参数以提供模糊性单元。当平移开始时，且直到其停止为止，可不存在再对焦，且平移一停止，再对焦就开始(306)。在平移运动期间，模糊性可由局部和全局运动导致。局部运动的实例由图4A说明，其中随着相机移动，帧N-1中的对象移动到帧N中的不同位置(例如，花被风吹得摇晃，或球行进越过一场景)。如果对象在曝光时间期间移动，那么帧N-1中的阴影区域所说明的对象边界在所捕获的帧中可看起来模糊。因此，较长的曝光时间允许捕获对象位置的较多变化，且产生比短曝光时间多的模糊。全局运动可因整个帧的运动而产生，如图4B中所示，如由指示帧边缘的运动方向的箭头所说明。全局运动可因相机移动而产生。相机移动越快，帧中的对象位置的变化将越大，且对象的模糊性将越大。
当运动在平移运动中停止时，再对焦过程可开始。可利用CAF来实现平移运动中的再对焦，且可将与CAF相关联的参数从相机提供到模糊性单元(例如，模糊性单元108或208)，以估计模糊性(308)。下文参看图7更详细地描述CAF过程。在平移的不发生再对焦时的部分期间，可使用运动和其它相机参数来估计模糊性，可将其提供给模糊性单元(310)，如下文更详细地描述。可使用全局运动估计来检测平移运动的应该不发生再对焦时的部分，如下文更详细地描述。
如果检测到的运动不是平移运动，那么运动和AF单元可确定检测到的运动是否为运动传感器所检测到的另一类型的运动的结果(312)。举例来说，运动可为视频捕获装置沿由如图4C中所示的箭头所说明的方向接近所关注对象的结果。在此实例中，随着视频捕获装置沿箭头所说明的方向移动，视野保持改变。然而，如图4D所示，这种类型的运动中的帧内的运动是沿箭头的方向；因此，帧的全局运动为0，因为运动在所有方向上均相同，且在全局上抵消，且因此检测平移运动的算法和／或传感器无法检测到这种类型的运动。然而，视频捕获装置的输入传感器单元中的一个或一个以上运动传感器(例如，加速度计)可检测此运动，且将关于所述运动的信息发送到运动和AF单元。如果运动传感器检测到运动(312)，那么运动和AF单元可确定是否在运动期间所捕获的帧中检测到面部(314)。如果未检测到面部(314)，那么再对焦在运动期间可为不必要的，且可将模糊性的指示发送到模糊性单元，以使用运动和其它相机参数来确定模糊性(318)。当运动停止时，可触发CAF以再对焦，且可与(308)中一样来估计CAF期间的模糊性。如果检测到面部(314)，如图4E中所示，那么在运动期间，可使用与检测到的面部相关联的参数来直接调整对焦镜头，且可基于如为了在面部上对焦而调整的镜头位置来估计模糊性(316)。下文参看图8更详细地描述用于其中检测到面部的帧的AF过程。
如果不存在平移运动，且运动传感器未检测到运动，那么运动和AF单元可确定是否正发生光学变焦(320)。当视频捕获装置开始变焦时，如图4F中所说明，视野改变，且在变焦过程期间可发生模糊性。视频捕获装置可利用可用的光学变焦信息，例如变焦因子，来确定变焦期间所捕获的帧中的模糊性(322)。下文参看图9更详细地描述用于变焦期间所捕获的帧的AF过程。
运动和AF单元可检测来自其它源的模糊性(324)，例如帧内对象的运动、因其它活动而导致的全局运动等。在此情况下，运动和AF单元(例如，运动和AF单元106或206)可指示所捕获帧中的模糊性的检测，且可向模糊性单元(例如，模糊性单元108或208)提供模糊性单元可用以估计模糊性的参数(326)。举例来说，运动和AF单元可提供模糊性单元可用来估计模糊性的运动和其它相机参数。
在上文所论述的运动的实例中的每一者中，模糊性单元可使用适当参数来估计所捕获帧中的模糊性。模糊性单元可接着将所估计的模糊性水平提供给视频编码器，视频编码器可利用所估计的模糊性来改进编码速率。下文将更详细地论述估计以上实例的每一者中的模糊性。
图5是说明实施本发明的技术的视频编码系统500的一个实例的框图。如图5中所示，除模糊性单元508和QP再调整单元512之外，系统500还包含视频编码器510。模糊性单元508可为图1的模糊性单元108或图2的模糊性单元208的实例。在一个实例中，模糊性单元508和／或QP再调整单元512可为视频编码器510的部分。在此实例中视频编码器510可为图1的视频编码器110的实例。在另一实例中，模糊性单元508和／或QP再调整单元512可不为视频编码器510的部分。除实施本发明的技术的元件之外，视频编码器510还包含常规视频编码器的元件。视频编码系统500可编码由视频捕获装置(例如图1的视频捕获装置102或图2的视频捕获装置202)捕获的视频帧。F(n)502可表示视频编码器正处理以用于编码的当前帧。
在其正常操作期间，即当帧在焦点上且在视频捕获装置中不发生再对焦时，或当不存在帧中的模糊性的指示时，如果视频编码器510正在帧间预测模式下操作，那么视频编码器510可对当前帧执行运动估计。或者，如果在帧内预测模式下操作，那么视频编码器510可对当前帧执行帧内预测。使用选择器532，视频编码器510可在帧间预测与帧内预测之间切换。举例来说，如果帧中的所估计模糊性水平超过某一阈值，那么视频编码器510可通过使用选择器532在帧间预测模式下操作以激活运动补偿单元516。当在帧间预测模式下操作时，除表示帧间预测数据与当前帧之间的差异的残余数据之外，视频编码器510可利用运动向量数据进行运动补偿，如下文将更详细地描述。
在一个实例中，视频编码器510可在帧内预测模式下操作。可将帧内预测数据从当前帧502减去，以产生残余数据，且结果可经历变换单元522中的变换，例如离散余弦变换(DCT)，以产生表示所述残余数据的变换系数。经变换的帧数据(例如变换系数)可接着经历量化单元524中的量化。视频编码器510可具有确保某一图像质量的默认QP，其中较高程度的量化保持经编码帧中的较多细节，但导致较高的数据速率，即经分配以编码给定帧或块的残余数据的较高数目的位。经量化的帧数据可接着经历熵译码单元526以进行进一步压缩。经量化的帧可反馈给逆量化单元530和逆变换单元528，且可与来自帧内预测单元518的结果组合，以获得未经滤波的信号。所述未经滤波的信号可经历去块滤波器520，去块滤波器520产生经重构的帧F(n)，其可用作用于编码其它帧的参考帧。
在一个实例中，视频捕获装置(例如摄像机)的输入传感器(例如图1的输入传感器单元104或图2的204)可检测新的所关注对象何时进入正捕获的场景中，或用户可重新引导输入传感器以捕获不同对象或不同场景，或触发产生所捕获帧中的运动的功能。检测新对象或运动可致使视频捕获装置起始再对焦以重新建立新对象上的焦点，或如果不需要再对焦，那么检测所捕获帧中的模糊性。在发生再对焦的实例中，再对焦可需要调整镜头位置直到实现所要对焦为止(例如在CAF期间)，或调整到基于与功能(例如，变焦、面部检测)相关联的参数确定的镜头位置。在再对焦期间，所捕获的帧可不具有所要焦点，且因此可为模糊的。视频编码系统500可利用帧的模糊性来降低用于模糊帧的编码数据速率，且／或简化应用于模糊帧的编码算法。
根据本发明的技术，可处于视频捕获装置或视频编码器510中的模糊性单元508可估计帧F(n)的模糊性B(n)。模糊性单元508可将所估计的模糊性水平发送到QP再调整单元512，其中基于所估计的模糊性水平来再调整QP值，如上文所述。在一个实例中，QP再调整单元512可处于视频捕获装置中。在另一实例中，QP再调整单元512可处于视频编码器510中。QP再调整单元512可基于所估计的模糊性水平再调整QP值。视频编码器510可进一步基于其它因素再调整QP值。
模糊性单元508可将所估计的模糊性水平发送到视频编码器510，其中帧模糊性评估单元514将所估计的模糊性水平B(n)与阈值进行比较，以确定是否实施简化的编码算法。如图5所示，如果B(n)高于阈值，那么模糊性评估单元514将信号发送到运动估计单元510以使用简化的编码算法。在一个实例中，编码的简化可包含例如将像素精度水平调整为在运动估计块搜索中不需要像素的子像素内插或需要像素的较小子像素内插(例如，1／2，而不是1／4或更小)，这导致减少待译码的数据的量。举例来说，如果所估计的模糊性水平超过阈值，那么视频编码器510可选择性地激活整数像素精度运动估计搜索，而不是分数像素精度运动估计搜索。在此实例中，作为花费计算资源来将分数像素内插在参考帧内的替代，视频编码器510可依赖于整数像素精度且不执行内插。通过使用整数像素精度，视频编码器510可选择比使用分数像素精度而选择的块不那么准确的预测块。然而，对于已经模糊的帧，减小的精度可不显著影响图像质量。因此，整数精度可为可接受的。通过消除执行子像素内插的需要，视频编码器510执行较少计算，这导致使用较少系统资源(例如电力)，且减少编码期间的处理时间和等待时间。
在另一实例中，编码的简化可涉及通过在帧内使用较大块进行运动估计来调整块分区水平。举例来说，在H.264标准中，帧可分割为大小为16×16、8×16、16×8、8×8、8×4、4×8和4×4的块。举例来说，如果所估计的模糊性水平超过阈值，那么视频编码器510可选择较大的块分区(例如16×16)，以用于运动估计搜索。在此实例中，与编码较不模糊的帧时相比，视频编码器510使用较少块来编码较模糊的帧，因为每一帧将由较少块组成，且因此，将针对所述帧编码较少运动向量。通过使用较大的块分区，且因此每帧较少的块，视频编码器510编码较少的运动向量，这导致使用较少系统资源。
在又一实例中，编码的简化可包含在跳过模式下操作，其中视频编码器510跳过帧而不对其进行编码，例如视频编码器510丢弃这些帧。如果所估计的模糊性水平超过用于帧序列的阈值，那么视频编码器510在假定模糊性水平过高以致连续帧的群组将看起来大体上等同的情况下操作。因此，视频编码器510可编码其所估计的模糊性水平高于某一阈值的模糊帧中的一者，且跳过其它大体等同的帧的编码。当循序地解码和／或显示所捕获的视频时，一个经编码帧可解码一次，且代替跳过的帧而重复显示。通过使用跳过模式，视频编码器510编码一个帧而不是帧群组，因此减少了编码视频序列所需的计算量，且减少了编码期间所消耗的电力量。另外，编码一个帧而不是多个帧减少了编码过程期间的处理时间和等待时间。如果所估计的模糊性水平高于阈值，那么视频编码器510还可对编码帧内的块利用跳过模式，其中视频编码器510编码一个块，且使用经编码的块代替可因所述水平的模糊性而不可辨别的其它块。在一个实例中，当使用CAF来再对焦时，视频编码器510可利用跳过模式。
如果B(n)高于阈值，那么帧模糊性评估单元514还将信号发送到参考帧单元504。参考帧单元504可将F(n)的参考帧设定为前一帧F(n-1)。参考帧单元504可将信息发送到运动补偿单元516，其可使用帧间预测模式，即使用来自其它帧(而不是当前帧)的数据，在当前模糊帧中执行运动补偿。因此，模糊性水平B(n)可控制帧间预测模式与帧内预测模式之间的选择532。可将帧间预测数据从当前帧502减去，且结果可经历变换522，例如离散余弦变换(DCT)。
根据本发明的技术，可将所估计的模糊性水平发送到可处于视频编码器中或在视频捕获装置中的QP再调整单元512。QP再调整单元512基于帧中的模糊性B(n)的量来调整QP。在一个实例中，如果所估计的模糊性水平高于阈值，那么再调整QP值。在另一实例中，评估帧中的模糊性水平，且基于帧中的模糊性水平再调整QP值，其中再调整的量与帧中的模糊性的严重性成比例。
在一个实例中，帧中的模糊性可能不过分严重，且因此，QP的再调整可能不是优选的。因此，当所估计的模糊性水平不超过阈值时，可使用默认QP值来执行量化。在另一实例中，QP再调整单元512可基于所估计的模糊性水平B(n)来确定帧中是否存在某一量的模糊性，以在所估计的模糊性水平超过阈值时增加QP。随着QP增加，视频编码速率下降，但一些细节丢失，且图像可变得更失真。在模糊图像中，图像的细节已经失真，且增加量化水平可对图像质量具有很小的可感知影响。QP再调整单元512可将经调整的QP(QPnew)发送到量化单元524。量化单元524可使用QPnew来量化从变换单元522接收到的经变换的残余帧数据，例如残余数据变换系数值。经量化的帧数据可接着经历熵译码526以进一步压缩、存储或发射经编码数据。编码器可将经量化的残余变换系数数据反馈到逆量化单元530和逆变换单元528，且可与来自帧间预测516的结果组合，以获得表示帧或帧内的块的经重构数据。经重构数据可经历去块滤波器520，去块滤波器520产生经重构帧F(n)。
图6是说明实施本发明的技术的速率控制(RC)块610的实例的框图。图6的速率控制块610可基于由视频捕获装置(例如，视频前端(VFE)装置602)捕获的帧中的所估计模糊性来执行视频编码器的速率控制。RC块610可为视频编码系统(例如图1的视频编码器110、图2的视频编码器210或图5的视频编码器510)的部分。在一个实例中，RC块610可驻存在图5的视频编码器510内。在另一实例中，RC块610的至少若干部分可驻存在视频编码器510内，且其它部分可为模糊性单元508和／或QP再调整单元512的部分。
在一个实例中，RC块610可接收由VFE装置602捕获的视频帧，包含与所捕获的帧相关联的参数，例如运动信息。VFE装置602还可基于检测到的运动以及所检测到的运动的类型来传送帧中的所检测到的模糊性的指示。运动模糊估计器块608(其可类似于模糊性估计单元108或208)可基于从VFE装置602传送的信息来估计所捕获的帧的模糊性，如本发明中所描述。接着可使用所估计的模糊性来调整所捕获帧的编码。
运动模糊估计器块608可将所估计的模糊性值发送到帧QP决策块612，其可为QP再调整单元512的部分。QP决策块612可基于所估计的模糊性来调整用于编码对应帧的QP值，如下文更详细地描述。RC块610还可包括图片类型决策块614，其可决定是使用帧内译码还是帧间译码来译码当前帧以及适当模式。图片类型决策块614所选择的图片类型还可用以确定用于编码所述帧的QP值，其中可使用所述QP来选择应用于变换单元522所产生的残余变换系数的量化水平。对于具有模糊性的帧，此QP值可基于帧的所估计模糊性而变化。
RC块610还可包含恒定位速率(CBR)或可变位速率(VBR)块620，其提供用于编码所捕获帧的位速率。RC块610还可包含假设参考解码器(HRD)或视频缓冲检验器(VBV)块624，其为每帧的经译码位提供限制目标(例如，137008个位)。HRD／VBV块624可取决于编解码器类型，例如H.264／H.263／MPEG-4／VP7。HRD／VBV块624可使用来自经译码图片缓冲器(CPB)块636的信息(其基于解码器侧缓冲器大小)来确定经译码位的限制目标。来自CBR／VBR块620的位速率以及HRD／VBV块624对仅译码位的目标限制可提供给GOP和帧目标位分配块616，GOP和帧目标位分配块616基于图片类型和CBR／VBR块620所产生的位速率约束以及HRD／VBV块624所提供的限制来为当前图片分配目标经译码位。因此，对于给定位速率约束(每秒的位)，RC块610可得出帧的目标经译码位，其中目标经译码位可由HRD／VBV块624所界定的约束限制。
在一个实例中，对于某些类型的运动，其中不执行CAF或AF，可基于在其期间可不执行再对焦的运动来检测模糊性。在此实例中，VFE装置602可传送与所捕获的帧相关联的全局运动向量信息和曝光时间。运动模糊估计器块608可基于来自VFE装置608的全局运动向量信息和局部运动向量信息604来确定全局运动向量是否指示帧中的真全局运动，如下文将更详细地描述。如果运动模糊估计器块608确定全局运动向量指示帧中的真全局运动，那么运动模糊估计器块608可使用全局运动向量和曝光时间来估计帧的模糊性，如下文更详细地描述。如果运动模糊估计器块608确定全局运动向量指示帧中的假全局运动，那么运动模糊估计器块608可不估计帧中的模糊性，且可如通常在帧中未检测到模糊性时那样且在不调整QP值的情况下编码所述帧。
图7是说明可称为CAF过程的实例连续自动对焦再对焦过程的图。在本发明的一个方面中，可在视频捕获装置(例如，图1的视频捕获装置102或图2的视频捕获装置202)中实施CAF功能性。当检测到平移运动时，一旦运动停止，就可在再对焦期间利用CAF再对焦。CAF过程可例如为被动自动对焦算法，其可包含对比度量度以及可由CAF单元106A(图1)或206A(图2)执行的搜索算法等功能性。对比度量度可基于通过对所捕获帧中的焦点窗上的亮度值进行高通滤波而获得的焦点值(FV)。自动对焦算法可确定在达到最高对比度时(例如，在FV达到峰值时)实现最好或最佳的焦点。CAF单元可实施搜索算法以在达到最高或最佳对比度的方向上(即，在FV达到峰值处)调整镜头位置，使得可在帧内实现最好或最佳的焦点。
如图7中所示，可将焦点值(FV)标绘为镜头位置的函数。镜头位置的范围可表示视频捕获装置(例如摄像机)的镜头的范围，从近端镜头位置(702)到远端镜头位置(704)变化。最佳焦点处的帧可具有FV0的峰值焦点值(706)。在此实例中，新对象可进入帧中，从而产生触发CAF单元106A或206A起始再对焦过程的信号。在那时，帧的焦点值可从FV0(706)降到FV1(708)，而镜头位置尚未开始变化。接着可逐步调整镜头位置，直到达到新的最佳或峰值焦点值为止。在此实例中，在新的镜头位置处，最佳焦点值可为FV10(710)。在再对焦过程期间，视频捕获装置系统可确定每一镜头位置处的焦点值，直到实现最佳值为止。在确定搜索方向时，即确定镜头位置将朝向近端(702)还是远端(704)时，当触发再对焦时，可通过找到FV增加的方向来估计搜索方向。在此实例中，再对焦过程的第一值可为FV1(708)。在下一步中，镜头位置可朝向近端(702)，且可确定对应的焦点值FV2(712)，其在此情况下可小于FV1(708)。由于FV2(712)小于FV1(708)，所以视频捕获装置系统确定搜索方向应朝向镜头位置的远端(704)，因此远离FV2(712)。
对于镜头位置的每一变化，捕获帧，且确定焦点值，如通过FV3到FV9所说明。在一个实例中，当达到FV10(710)时，镜头位置可继续在同一方向上变化，在此实例中，朝向远端位置(704)，直到连续的特定数目的步骤给出低于已经达到的焦点值的焦点值为止。举例来说，达到FV10(710)，且在此系统中，可将额外步的数目设定为三。因此，所述镜头位置可增加另外三个步，从而产生FV11、FV12和FV13，其全部低于FV10(710)。视频捕获装置可接着确定FV10(710)可为新的最佳焦点值，且返回到对应于FV10(710)的镜头位置。
如上文所提到，可为在FV1(708)与直到将FV10(710)分配为新的最佳焦点值为止之间所捕获的每个帧确定模糊性水平。如上文所述，可利用每一步处的模糊性水平，即确定是否再调整用于编码相关联帧的QP，且在一些情况下，确定将QP调整多少。还可将帧的模糊性水平与阈值进行比较，以确定是否简化用于所述帧的编码算法。CAF再对焦期间的模糊性估计可对应于与平移运动相关联的再对焦期间的模糊性估计(308)。
在一个实例中，可基于所述帧的焦点值和前一帧的焦点值来确定帧的模糊性水平。可基于初始下降之后与原始焦点值(即FV0)相比的焦点值变化(即，从FV0(406)到FV1(708))的百分比来估计初始模糊性水平B(1)，如下：
当确定搜索方法时，如上文所论述，可逐步调整镜头以实现最佳的焦点位置。此过程期间的模糊性可如下评估：
其中K可为用以将模糊性水平标准化为选定范围(例如[0，1])的可调整常数。Bi为帧i的所估计模糊性水平，且FVi为与帧i相关联的焦点值。在一个实例中，K的默认值可为FV1，因为FV1为再对焦过程开始时的初始FV值。通过将K设定为FV1，将再对焦过程期间的模糊性水平标准化为初始FV值，这导致将模糊性水平标准化到范围[0，1]。Gi是梯度的绝对值，且可如下计算：
其中LensPi为对应于FVi(当前帧的焦点值)的镜头位置，且LensPi-1为对应于FVi(前一帧的焦点值)的镜头位置。
在一个实例中，当确定FVN的峰值时，再对焦过程可结束，且可使模糊性复位到其指示帧在焦点上的初始值。在此实例中，可使模糊性复位到零，BN=0。
在本发明的一个实例中，CAF可不针对每一帧而运行。如果在再对焦过程期间存在帧跳过，那么所跳过的帧的模糊性水平可保持与先前所计算的水平相同：
Bi=Bi-1
在本发明的一个方面中，可实时地确定如上文所述的模糊性，且可实现实时或大体上实时的编码，其中可利用模糊性水平来控制视频数据速率和／或编码算法的简化。
在本发明的另一方面中，可在具有延迟的CAP再对焦期间评估模糊性。可在CAF再对焦过程期间通过评估新焦平面的镜头位置与再对焦过程期间的前一镜头位置之间的镜头位置差异来估计帧i的模糊性B[i]，例如由以下等式指示：
B[i]WithDelay=k|LensPosition[N]-LensPosition[i]|
N为当找到新的焦平面时，再对焦过程结束时镜头位置的索引，且i＝0，...，(N-1)。k为可调整常数，LensPosition[i]为与新的焦平面相关联的镜头位置，且LensPosition[N]为与前一再对焦过程相关联的镜头位置。
在一个实例中，可能想要将模糊性水平的值限制于某一范围，且常数k的值可取决于所界定的范围。举例来说，模糊性水平可限于范围[0，1]，且在此实例中，
其中LensFarEnd为最大镜头位置，且LensNearEnd为最小镜头位置。
在其中在延迟基础上评估模糊性的实例中，一旦确定最佳焦点位置，就可较准确地评估从当前镜头位置到所要镜头位置(即，对应于最佳焦点的镜头位置)的距离。在此实例中，仅可针对在初始位置与最佳焦点位置之间的帧来确定模糊性。在CAF再对焦过程期间，可逐帧在每一搜索步骤处评估模糊性。
图8A到8C是说明与面部检测相关联的自动对焦再对焦过程的图形表示。如上文所述，在某些类型的运动期间，再对焦可能不是必要的，除非在帧中检测到面部，如图4C中所说明。当检测到面部时，可使用与检测到的面部相关联的参数来调整镜头。通常，所捕获的面部大小与对象距离成反比，其中对象为检测到的面部。此关系是基于与视频捕获装置相关联的固定焦距f。因此，通过知晓面部大小，可使用计算来获得实现对焦所需的镜头调整。以此方式，如上文所述，CAF中所使用的AF搜索的试错方法可能不是必要的。
当检测到面部时，AF功能可开始再对焦。可使用面部大小、与镜头相关联的距离以及正捕获的对象或面部的大小来计算对象的距离(例如，图8A中的d2或d2′)。可基于帧大小以及面部在所捕获帧中所占的空间量来确定且可由图像传感器来测量面部大小Fs(例如，图8A中的S1或S1′)。距离d1或d1′可为与面部相关联的相机内的距离，或镜头长度。在一个实例中，可在计算中使用平均人类面部大小S2。基于上文所述的比例性关系，其中：
且
可如下确定对象的距离(d2或d2′)：
接着可使用所计算的对象距离d2来确定对于实现对焦来说适当的镜头位置。在一个实例中，d2可为初始对象距离，且d2′可为接近面部(因此起始再对焦)的相机运动之后的新对象距离。使用以上等式，可计算d2′，且可使用对象距离的变化来确定镜头位置失配。
图8B说明相对于镜头的对象距离的不同范围的图形表示，从0到无限远。基于d2′所属的范围，可选择对应的镜头位置。接着可将镜头位置调整到对应的镜头位置，镜头从开始位置(例如，对应于d2的镜头位置)到结束镜头位置(例如，对应于d2′的镜头位置)可能需要若干步。步的数目可因镜头位置失配而变化，且可对应于镜头经历以实现对应的结束镜头位置和对焦的镜头调整的步数。另外，每一步的大小可根据预定关系而变化(如图8C中所示)，且每一步可对应于在0与1之间的值K。下文的表1展示可用以基于d2所属的范围[RN，RN+1]来确定镜头位置、步数以及对应于对象距离d2的值K的实例查找表。
表1
对象距离范围 镜头位置 步数 每一步大小
[R1，R2] L1 N1 N1|K1，k2，k3，k4，...
[R2，R3] L2 N2 N2|K1，k2，k3，k4，...
[R3，R4] L3 N3 N3|K1，k2，k3，k4，...
[R4，R5] L4 N4 N4|K1，k2，k3，k4，...
在给定特定所计算对象距离d2的情况下，可确定d2所属的对象距离范围。可确定实现对焦的对应镜头位置L(d2)，且可确定到达镜头位置和实现再对焦的步数N(d2)。镜头位置之间实现所述镜头位置的每一步的大小可相同，且可映射到对应曲线(例如，图8C)和值K，其中K可为在0与1之间的值。
在一个实例中，可在每一步处捕获帧，直到实现对应镜头位置为止。因此，每一帧可具有为检测到的面部大小Fs的函数的对应K值。在用于面部检测的AF期间，可如下为每一帧估计模糊性：
Bi=1.0-Ki(Fs)
如上文所述，Ki为在0与1之间的值。因此，模糊性水平Bi也可为在范围[0，1]中的值。当检测到面部时，AF再对焦期间的模糊性估计可对应于模糊性估计(316)，且可由模糊性单元108、208、508或608产生。
在一个说明性实例中，可假定平均人类面部大小S2为0.20m。在相机视图中，面部的原始大小S1(org)可为0.0003m。随着相机移动而更靠近面部，检测到的面部的大小S1(final)可为0.0006m。如果d1=0.006m、f＝0.001m，那么距相机的距离d2从d2(org)=S2×d1／S1(org)=0.2*0.006／0.0003=4变为d2′=S2×d1′／S1′；其中可使用等式1／d2′+1／d1′=1／f获得d1′，从而得出d2′=0.334m。使用查找表，在一个实例中：
镜头位置变化是L1-L2=30步
再次实现对焦的步数：N1=5
每一步大小：步1=8、步2=6、步3=6、步4=5、步5=5
针对每一步测得的标准化FV：k1=0.1、k2=0.3、k3=0.6、k4=0.8、k5=1.0，当标准化FV达到1.0时，实现再对焦。
对于每一补偿变化，可根据以上等式估计模糊性：
B1=1.0-k1=0.9；B2=1.0-k2=0.7；B3=1.0-k3=0.4；B4=1.0-0.9=0.2；B5=1.0-1.0=0。
当所估计的模糊性变为0时，其指示所述帧再次在焦点上。
图9A到9B是说明与变焦相关联的自动对焦再对焦过程的图形表示。如上文所述，在变焦期间，可通过使用与变焦因子Zf相关联的参数调整镜头来实现再对焦。可基于从初始变焦因子Zi到所要变焦因子Zf的变化来确定镜头位置失配因子M，如图9A所说明。与镜头相关联的每一变焦因子可具有基于对象距离的对应镜头位置失配曲线。在某一距离处，镜头位置失配因子M可为针对变焦因子Zi和Zf中的每一者在所述距离处的镜头位置失配值之间的差。使用查找表，实现特定镜头位置的对焦的步数N失配因子M。基于与所要变焦因子(图9B)相关联且经标准化的曲线，用以实现对焦的N步中的每一步可对应于步值K，因此，值K在范围[0，1]内。下文的表2展示可用以确定步数N的实例查找表，且所述步中的每一者的值K对应于镜头位置失配M。
表2
镜头位置失配 步数 每一步大小
M1 N1 N1|K1,k2,k3,k4,...
M2 N2 N2|K1,k2,k3,k4，...
M3 N3 N3|K1,k2,k3,k4，...
M4 N4 N4|K1,k2，k3，k4，...
在一个实例中，可在每一步处捕获帧，直到实现对应变焦位置为止。因此，每一帧可具有作为变焦因子的函数的K值，其中K对应于涵盖与变焦因子Zf相关联的镜头位置失配因子所需的N步。在用于变焦的AF期间，可如下为每一帧估计模糊性：
Bi=1.0-Ki(Zf)
如上文所述，Ki为在0与1之间的值。因此，模糊性水平Bi也可为在范围[0，1]中的值。当检测到变焦时，AF再对焦期间的模糊性估计可对应于模糊性估计(322)，且可由模糊性单元(例如模糊性单元108、208、508或608)产生。
在一个说明性实例中，变焦因子Zf=2。对应的镜头位置失配可为：M1=5。使用查找表，返回到焦点位置的步数：N1=3，对应的步大小：步1=2(镜头位置步大小)；步2=2；步3=1，且针对每一步测得的标准化FV可为K1=0.4；K2=0.8；K3=1.0(K值1可指示峰值FV或已对焦)。使用以上模糊性估计等式，每一步处所估计的模糊性水平可为：
B1=1.0一K1(Zf=2)=1.0-0.4=0.6
B2=1.0一K2(Zf=2)=1.0-0.8=0.2
B3=1.0一K3(Zf=2)=1.0一1.0=0
其中Ki(Zf)表示Ki为Zf的函数。
返回参看图4A到4B，若干类型的运动可导致模糊性，其中不执行AF。基于例如对象运动和／或相机运动等运动的模糊性估计可需要确定与所检测到的运动相关联的运动向量。此模糊性估计可对应于与平移运动期间的运动相对应的模糊性估计(310)、与图4C到4D中所说明的运动(其可涉及对象运动)相对应的模糊性估计(318)；以及与对象运动和／或装置运动(例如平移或手抖动)相对应的模糊性估计(326)。
如图4A中所说明的对象运动可对应于局部运动，且可使用运动估计算法来估计。如由图4B所说明的装置运动可对应于全局运动，且可使用视频捕获装置的输入传感器单元中的运动传感器(例如加速度计)来估计。可使用运动向量(MV)(其指示与运动相关联的移位量)来估计和量化与帧相关联的总运动。与帧相关联的总运动MV可为：
MV=|MVdevice|+|MVobject|
其中MVdevice指示因例如平移或手抖动等事件而导致的装置的移动。在一个实例中，可使用全局运动MVglobal来估计或表达MVdevice。MVobject指示所捕获的帧内的对象移动。
在一个实例中，因全局和／或位置运动而导致的帧的模糊性的估计可利用三个主要参数：曝光时间、帧速率以及全局MV和／或局部MV。如上文所述，参看图4A，运动模糊与曝光时间有关，其中较长的曝光时间导致较大的模糊。如图4A所示，如果对象406在曝光时间期间(即当视频捕获装置正捕获到帧402时)移动，那么对象406可与背景重叠，从而导致模糊区408。如果在曝光期间平移较快，即如果装置在曝光时间期间移动，导致对象406的位置在帧内在不同帧之间改变，那么两个场景(例如，帧402和404)重叠而导致模糊。
在一个实例中，用以估计运动模糊性的参数可从视频捕获装置获得，这对视频编码器产生很少开销至没有开销。如上文所述，模糊性可与曝光时间和全局运动向量(其可与装置的移动量有关)成比例。另外，模糊性与帧速率成比例，因为较高的帧速率暗示给定MV的较高平移速度，且因此导致较大的模糊性。为了确定模糊性，可如下确定运动的速度v：vy＝mvy×p×f
vx=mvx×p×f以及
其中mv为四分之一像素运动向量，p为每四分之一像素的英寸，且f为帧速率。模糊性B与下式成比例
|v|∞×α
其中α为与视频捕获装置相关联的曝光时间。因此，可如下针对给定曝光时间、帧速率和全局MV来估计帧的模糊性：
B=|MV|。×f×α
在确定MV时，可考虑全局运动和局部运动。可使用全局运动估计器来确定视频捕获装置中的全局运动。举例来说，全局运动估计器可为数字图像稳定(DIS)单元，其可为图像稳定确定全局MV。在帧中，帧中较大对象的局部运动(由图4B中的虚线说明)，4个边缘的运动接近0，因此局部MV可较小，但全局MV可基于大对象410的运动而较大。在此情况下，大全局MV可不表示真全局运动，因为其是帧内的运动的结果，而不是整个帧的运动，整个帧的运动将是手抖动或平移运动的结果。如果确定大全局MV不表示真全局运动，那么可不为帧估计模糊性，因为最有可能的是，帧的仅一部分含有模糊性，例如在一个对象410移动的实例中，其中图像中的任何其它东西均可保持在焦点上且不模糊。在真全局运动中，局部和全局MV两者均应较大，其中对象410以及4个边缘的运动具有较大值。因此，当估计帧的模糊性时，可在全局MV的来源可能不受信任的情况下确定局部MV，且将其用于将较多准确性添加到全局MV。举例来说，如果使用受信任的传感器(例如，陀螺仪或加速度计)确定全局MV，那么局部MV信息可能是不必要的。在另一实例中，如果使用运动估计器算法来确定全局MV，那么确定局部MV以确保准确的全局MV可为有用的。
可在编码器中使用运动估计来确定局部MV，其可用于其它编码目的，因此，确定局部MV可不向编码器引入额外的计算或复杂性。如上文所述，可在视频捕获装置中确定全局MV。如果全局MV不受信任(例如，由运动估计器算法确定)，那么可将局部和全局MV两者与阈值进行比较，以确定帧中是否存在真全局运动。如果帧中存在真全局运动，那么可如上文所述，使用MV来估计模糊性。如果帧中不存在真全局运动(例如，帧内的大对象的运动)，那么模糊性可局部化，且可不执行模糊估计，因为整个帧可能不具有值得使用模糊性来调整QP以用于编码所述帧的足够模糊。
图11说明根据本发明的技术的估计运动模糊性的一个实例。在图11的实例中，可为视频捕获装置的部分的相机模块可提供与所捕获的帧相关联的参数(1102)，包含(例如)曝光时间。在视频捕获装置中执行算法(例如数字图像稳定)的另一模块或处理器可确定与所捕获的帧相关联的全局MV(1104)。可将全局MV和曝光时间提供给模糊性单元(例如，模糊性单元108或208)。如果全局MV的来源不是完全受信任，如上文所述，那么可任选地从运动估计器获得与帧相关联的局部MV(1106)。可作出关于局部MV和全局MV是否超过与各自相关联的某一阈值的确定(1108)，以确定全局MV是否指示真全局运动。另外，与阈值的比较还可指示运动量是否超过可指示帧中的阈值模糊性水平的某一量。在一个实例中，全局MV的来源可受信任(例如，陀螺仪或加速度计)，且可无需局部MV来确定全局MV是否指示真全局运动。在此实例中，可作出关于全局MV是否超过与全局MV相关联的阈值的确定(1108)。
如果局部和全局MV中的至少一者不超过对应阈值，或在仅将全局MV与阈值进行比较的实例中，如果全部MV不超过对应阈值，那么帧中不存在真全局运动，或不存在显著全局运动，且因此无来自运动的模糊性。因此，无需确定模糊性，且可如通常将使用根据编码器设计或标准而产生的QP值来编码帧那股编码所述帧(1114)。如果局部和全局MV两者均超过对应阈值，或在其中仅将全局MV与阈值进行比较的实例中，如果全局MV超过对应阈值，那么帧中存在全局运动，且可使用运动模糊性估计器来估计运动模糊性(1110)，运动模糊性估计器可使用全局MV、曝光时间和帧速率来实施运动模糊性，如上文所论述。可接着将所估计的模糊性发送到QP决策块以相应地调整QP(1112)，如下文将更详细地论述。接着可使用经调整的QP值来编码所述帧(1114)。
图12说明根据本发明的技术的估计运动模糊性的另一实例。图12的实例类似于上文所论述的图11的实例。然而，图12的实例中的全局MV可由相机模块1202例如使用全局MV估计器或传感器(例如，陀螺仪或加速度计)来确定。
在图12的实例中，可为视频捕获装置的部分的相机模块可提供与所捕获的帧相关联的参数(1202)，包含例如曝光时间和全局MV。可将全局MV和曝光时间提供给模糊性单元(例如，模糊性单元108或208)。如果全局MV的来源不是完全受信任，如上文所述，那么可任选地从运动估计器获得与帧相关联的局部MV(1206)。可作出关于局部MV和全局MV是否超过与各自相关联的某一阈值的确定(1208)，以确定全局MV是否指示真全局运动。另外，与阈值的比较还可指示运动量是否超过可指示帧中的阈值模糊性水平的某一量。在一个实例中，全局MV的来源可信任，且可无需局部MV来确定全局MV是否指示真全局运动。在此实例中，可作出关于全局MV是否超过与全局MV相关联的阈值的确定(1108)。
如果局部和全局MV中的至少一者不超过对应阈值，或在仅将全局MV与阈值进行比较的实例中，如果全部MV不超过对应阈值，那么帧中不存在真全局运动，或帧中不存在显著全局运动，且因此无来自运动的模糊性。因此，无需确定模糊性，且可如通常将使用根据编码器设计或标准而产生的QP值来编码帧那股编码所述帧(1214)。如果局部和全局MV两者均超过对应阈值，或在其中仅将全局MV与阈值进行比较的实例中，如果全局MV超过对应阈值，那么帧中存在全局运动，且可使用运动模糊性估计器来估计运动模糊性(1210)，运动模糊性估计器可使用全局MV、曝光时间和帧速率来实施运动模糊性，如上文所论述。可接着将所估计的模糊性发送到QP决策块以相应地调整QP(1212)，如下文将更详细地论述。接着可使用经调整的QP值来编码所述帧(1214)。
如上文所述，可使用所估计的模糊性来再调整QP值以改进编码速率。在其中检测到模糊性的帧中，可如上文所论述使用对应于导致模糊性的运动或功能的类型(例如平移、手抖动、变焦以及CAF)的方法来估计模糊性。可根据帧内容的所估计模糊性水平来再调整用于编码当前帧的QP，以实现数据速率节省。在一个实例中，帧越模糊，用以编码对应帧的量化越少，因为帧中可存在较少的尖锐边缘信息和较少的细节。在一些实例中，量化的程度可与QP值成比例。在一些实例中，量化的程度可与QP值成反比。在任一情况下，可使用QP值来指定量化程度。因此，可为较模糊的帧分配较低的编码数据速率。在一些实例中，可使用译码速率的所得节省来将较多译码位分配给非模糊帧，或具有较少模糊性的帧。
在因CAF导致的模糊性的实例中，可由QP再调整单元112(图1)或212(图2)如下确定QP再调整：
QPmax可为特定视频编码系统中所允许的最大QP值。在此实例中，量化可与QP值成比例，例如，如在H.264编码中。举例来说，在H.264中，QPmax=51；
可为对应于再调整之后的FVi的新QP值；
可为由视频编码器应用于编码所述帧的FVo处的初始QP；
Bi可为对应于再对焦过程期间的FVi的模糊性水平；且
α可为恒定参数，其在界定为对系统设计合适的范围内选择且用以标准化QP的变化，使得QPnew保持在设定范围内，所述设定范围可取决于标准。举例来说，在H.264中，QP值的范围为[0，51]。在一个实例中，α可在范围[0，10]中，且10可为默认值。α的值可由用户基于用户想要针对模糊帧实施多少位减少而选择。
在一个实例中，可在再对焦过程期间应用QP再调整。当再对焦完成时，可使QP复位到原始QP值。在一个实例中，在再对焦期间，每一新的QP值可独立于先前计算的QP值来计算。
在另一实例中，可为帧的所估计模糊性确定所估计模糊性水平。图13A说明使用模糊性水平的QP决策的实例。如图13B所示，可基于最小模糊性B0和最大模糊性Bn-1界定n个模糊性水平。参看图13A，帧的模糊性可由模糊性估计器1302估计，其可为模糊性单元(例如，模糊性单元108或208)的部分。接着可将所估计的模糊性发送到模糊水平决策单元1304，其也可为模糊性单元的部分。模糊水平决策单元1304使用最小模糊性、最大模糊性以及模糊性水平的数目来确定模糊性水平(见图13B)。在一个实例中，最小模糊性、最大模糊性以及模糊性水平的数目可为装置特定的，且可基于实验结果来确定，如上文所述。模糊水平决策单元1304可确定所估计的模糊性所属的范围，以确定对应的模糊性水平k。如图13B所示，帧的所估计模糊性可落在Bk与Bk+1之间，且所估计的模糊性水平可为k。接着加法器1306可将所估计的模糊性水平与QPbase相加，接着与最大QP进行比较，以确定QP决策块1308中的经调整QP值。此过程可通过以下等式来概括：
QP=min(QPbase+k，QPmax)
其中k为与帧的所估计模糊性相关联的水平，且QPbase为N个先前非模糊帧(例如，未检测到模糊性的帧)的平均QP，且QPmax为与编解码器相关联的最大QP值，例如在H.264中，QPmax为51。在一个实例中，N可为4。
在另一实例中，所估计的模糊性以及对应模糊性水平的范围可预先确定且存储在查找表中。图13C说明使用查找表的QP决策的实例。在此实例中，模糊估计器1322可估计帧的模糊性。可使用所估计的模糊性和查找表1324来确定所估计的模糊性水平k。接着加法器1326将所估计的模糊性水平与QPbase相加，接着与最大QP进行比较，以在QP决策块1328中确定经调整QP值。
图14说明具有实施本发明的技术的两个视频捕获装置模块的实例系统。在此实例中，系统1400可包括两个相机模块1402和1404，其可为例如类似于视频捕获装置102和202的视频捕获装置模块。相机模块1402和1404中的每一者可具有不同特性，且可在不同环境下捕获视频数据帧。相机模块1402和1404中的每一者可提供与所捕获帧相关联的参数，例如全局MV、曝光时间等，如上文所论述。从相机模块1402和1404输出的所捕获帧可发送到视频编码装置(例如视频编码器110、210或510)，其可包含运动模糊估计器1406和QP决策块1408，以及其它组件。运动模糊估计器1406可为模糊性单元(例如，模糊性单元108或208)的部分。QP决策块1408可为QP再调整单元(例如，QP再调整单元112或212)的部分。
基于所捕获的视频帧的来源，例如相机模块1402还是相机模块1404，可选择适当的模糊性约束。举例来说，模糊性约束1可与相机模块1402相关联，且模糊性约束2可与相机模块1404相关联。模糊性约束可例如指示与对应相机模块相关联的最小模糊性、最大模糊性以及模糊性水平的数目。当在所捕获的视频帧中检测到运动，且将估计帧中的模糊性时，运动模糊估计器1406可使用选定模糊性约束来估计帧中的模糊性。QP决策块1408可接着利用所估计的模糊性来确定用于编码所述帧的适当QP，如上文所述。以此方式，本发明的技术可与不同相机模块一起利用。
在一个实例中，本发明的方面可与H.264视频编码系统一起使用。H.264视频编码已实现了相对于现存标准的压缩性能和速率失真效率方面的显著改进。然而，计算复杂性可因编码的某些方面(例如运动补偿过程)而增强。H.264支持范围从16×16到4×4的运动补偿块。可针对可能的块分区组合中的每一者计算速率失真成本。可将可导致最小速率失真性能的块分区选择为块分区决策。在运动补偿过程中，参考帧可多达16个先前编码帧，其还可增加系统的计算复杂性。在H.264视频编码中，可使用小至1／4或1／8子像素预测的预测，且可使用内插方法来计算子像素值。
如上文所论述，在H.264视频编码中，块分区的范围可从16×16(1002)到4×4(1014)，在任一组合中，如图10中所说明。举例来说，一旦选择8×8(1008)块分区，每一8×8块就可具有8×4(1010)、4×8(1012)或4×4(1014)的分区选择。
在一个实例中，视频编码器的视频编码算法可基于模糊性水平而简化。可使用上文所述方法中的至少一者来估计模糊性水平。可将所估计的模糊性水平与预定义块分区阈值进行比较：
Bi≥ThresholdBlockPartition
其中Bi为帧i的所估计模糊性水平，且Threshold_blockpartition为可基于其来调整块分区水平的阈值。可例如根据用户偏好或系统要求将阈值调整到在范围(例如)[0，1]内的值。阈值越高，触发编码算法的简化所需的模糊性水平越高。
在一个实例中，如果所估计的模糊性水平超过阈值，那么视频编码器510(图5)可选择较大块分区，例如16×16(1002)、16×8(1006)、8×16(1004)和8×8(1008)，因此减少视频编码器为给定帧或帧群组编码所需的运动补偿的量。较大块分区的使用意味着将每一帧分为较大块，且因此视频编码器每帧将编码较小数目的块。因此，视频编码器将编码较少运动向量，且因此将使用较少系统资源，例如电力和存储器。在一个实例中，视频编码器可基于帧中的模糊性的严重性来选择块分区。举例来说，较大块分区(例如16×16、16×8或8×16)可用于具有较高模糊性水平的帧，且稍小块分区(例如8×8)可用于具有较低模糊性水平的帧。如果模糊性水平超过阈值，那么可不考虑较小块分区，例如8×4、4×8和4×4，且基于模糊性的严重性，可如上文所述选择较低块分区中的一者。
在另一实例中，可通过限制视频编码器510从中选择参考帧的帧范围来实现编码算法简化。使用与参考帧选择相关联的阈值，视频编码器510可将参考帧选择缩小到仅先前经编码帧。
Bi≥ThresholdReference
其中Bi为帧i的所估计模糊性水平，且Threshold_refefence为可基于其来调整参考图片列表的阈值。在视频编码中，当编码帧时，可从参考图片列表选择参考帧，以用于运动估计目的。视频编码器可确定最适当的参考帧，且根据当前帧来搜索所述参考帧以编码运动估计数据。在一个实例中，如果帧中的所估计模糊性水平超过阈值，那么视频编码器可将参考图片列表限制于帧子集，例如在当前模糊帧之前的帧。
通过利用模糊性估计，当模糊性水平高于预定义阈值时，可用信号通知跳过模式，例如在H.264中。跳过模式的选择激活还可降低编码数据速率。使用与帧跳过模式相关联的阈值，视频编码器可确定激活跳过模式：
Bi≥ThresholdFrameSkip
其中Bi为帧i的所估计模糊性水平，且Threshold_frameskip为可基于其来激活帧跳过模式的阈值。在一个实例中，如果所估计的模糊性水平超过帧跳过模式的阈值，那么视频编码器可激活跳过模式，且可跳过(即，丢弃)所述帧而不编码。在一个实例中，用于帧跳过的阈值可大于用于其它编码算法简化技术的阈值，例如像素精度水平、块分区水平以及参考图片列表修改。在一个实例中，可首先将帧的所估计模糊性水平与帧跳过阈值进行比较，使得如果模糊性水平超过所述阈值，且将跳过所述帧，视频捕获装置无需执行与阈值的其它比较，因为视频编码器无需编码与所述帧相关联的任何东西。在一个实例中，所估计的模糊性水平与各种阈值的比较可基于简化算法的进行次序而以特定次序执行。举例来说，在分区块水平和像素精度水平确定之前，可执行参考图片列表的修改。
在另一实例中，再对焦期间的模糊性估计可用以用信号通知可能具有模糊内容的帧，使得视频编码器对这些帧实施和应用去模糊算法。视频编码器可不必作出帧为模糊的确定，而是仅在其接收到来自视频捕获装置的指示模糊内容的存在的信号时应用去模糊算法。在另一实例中，可使用所估计的模糊性水平来确定模糊帧所需的去模糊的量，其中基于模糊性水平，视频编码器选择对应的去模糊算法，或界定去模糊算法所使用的对应参数。以此方式，视频编码器可根据帧中的模糊性水平应用不同去模糊水平。
根据本发明，视频编码器可包含模糊性单元，模糊性单元使用来自视频捕获装置的参数和信息来估计视频帧中的模糊性的量。在一些实例中，视频编码器可不具有对再对焦统计信息和其它相机参数(例如，FV值、镜头位置、全局MV、曝光时间、变焦等)的存取权，且可因此不能够基于再对焦统计信息来确定帧中的模糊量。因此，视频编码器可需要执行计算更密集的计算来确定帧中的模糊性。使用本发明的方面，视频捕获装置可包含模糊性单元，其估计再对焦和导致模糊性的其它功能和运动期间的模糊性水平，并将所述模糊性水平发送到视频编码器。在本文所述的实例中，可利用不同的策略来评估再对焦期间以及其中检测到运动的帧中的模糊性水平。在一个实例中，可在视频编码中使用QP再调整来基于再对焦期间的模糊性水平更好地控制和降低视频数据速率。在一个实例中，可使用所估计的模糊性来改进视频编码算法简化。在另一实例中，视频捕获装置可估计模糊性以识别由CAF再对焦导致的模糊帧及其模糊性水平。视频捕获装置可将模糊性信息发送到视频编码器，视频编码器可应用去模糊技术来将帧内容去模糊。
在本发明的实例中，因为若干因素，所论述的算法的计算可利用较少计算资源。举例来说，作为AF过程的一部分，例如由FV指示的模糊性等CAF统计信息可能已经在视频捕获装置本身中处理，且例如全局MV、变焦和面部检测参数等参数可能对于每一所捕获帧可用。因此，编码器中可需要很少计算或没有额外计算来计算例如镜头位置和焦点值。并且，例如模糊性水平估计可涉及具有用于计算的恒定参数的简单减法、除法和乘法。此外，例如CAF再对焦和其它功能期间的QP再调整的计算可为简单且直接的，而无需过多的对视频编码器的额外计算复杂性，或如果在相机系统中完成，可减少来自编码器侧的一些计算。上文所述的技术和方法可在告知视频编码器模糊帧内容而不导致对视频编码器中的额外计算的延迟中有用。另外，在某些情况下，如上文所论述，除有效地降低编码数据速率之外，可通过识别模糊帧内容而不导致延迟来显著降低运动补偿的计算复杂性。
图15A到15C是说明根据本发明的实例技术使用所捕获帧中的模糊性水平的估计来控制视频编码的流程图。图15的过程可在视频系统中由前端装置(例如视频捕获装置或摄像机)和后端装置(例如视频编码器)执行。图15的过程的不同方面可分配在视频捕获装置与视频编码器之间。举例来说，可在视频编码器(图1)或视频捕获装置(图2)中执行模糊性估计和QP再调整。
在一个实例中，如图15中所示，具有CAF的视频捕获装置102(图1)可正捕获帧，并将其发送到视频编码器110(图1)。视频捕获装置可基于所捕获帧的焦点值的下降来确定帧中已发生变化从而导致减少的对焦(1502)。视频捕获装置可具有输入传感器单元104(图1)，输入传感器单元104捕获视频帧，且确定所捕获帧的焦点值何时已下降，因此指示帧中的可能模糊性。对焦的下降可因新对象进入或移出场景或围绕所述场景或由视频捕获装置的用户有意地或无意地产生的新场景而将视频捕获装置重新指向新对象或场景而导致。输入传感器单元可基于所捕获的帧来确定帧的FV，并将其与先前帧FV进行比较。当FV下降时，输入传感器单元可将检测到的下降用信号通知给视频捕获装置内的CAF单元106(图1)(1504)。响应于FV中所指示的下降，CAF单元起始再对焦过程(1506)。再对焦过程可涉及例如以下动作：调整镜头位置，直到视频捕获装置实现所要对焦为止，例如如由FV达到峰值所指示。当视频捕获装置正执行再对焦过程时，所捕获的帧可离焦，且可因此为模糊的。视频捕获装置可估计在再对焦过程期间捕获的每一帧中的模糊性水平(1508)。
在另一实例中，视频捕获装置的输入传感器单元可检测所捕获帧中的运动(1516)。所述运动可为平移运动、变焦、其它类型的运动(移动成更靠近和更远离对象)或其它类型的运动的结果。基于检测到的运动类型，视频捕获装置可执行自动对焦(例如，如果在运动期间或在变焦期间检测到面部)，或可捕获帧而不执行对焦(例如，在平移期间移动时)。
模糊性单元108(图1)或208(图2)(其可为视频捕获装置或视频编码器的部分)可实施算法来估计帧的模糊性水平，如上文所述。在因运动导致的模糊性的实例中，不管是否需要自动对焦，均可如上文所论述为每一帧确定帧的模糊性。接着可使用所估计的模糊性来再调整视频编码器在其量化功能性中利用的QP。QP控制应用于由编码器产生的残余变换系数值的量化程度。当编码器利用较多量化时，保留较大量的图像细节。然而，使用较多量化导致较高的编码数据速率。随着量化减少，视频编码速率下降，但一些细节丢失，且图像可变得更失真。在模糊图像中，图像的细节已经失真，且视频编码器可减少量化，而不影响图像的质量。根据本发明，视频捕获装置或视频编码器可基于帧中的模糊性的量将QP再调整到用于在再对焦过程期间捕获的帧的较大值。
在本发明的一个实例中，模糊性单元和QP再调整可为视频捕获装置的部分。在此实例中，视频捕获装置可将经调整的QP发送到视频编码器，以进一步减少视频编码器执行的计算的量，如图15B中所说明。在此实例中，基于所估计的模糊性水平，视频捕获装置可再调整视频编码器用以编码帧的QP值(1510)。视频捕获装置可接着向视频编码器传送经再调整的QP值和所估计的模糊性水平(1512)。视频编码器接着利用经再调整的QP值用于量化，且利用所估计的模糊性水平来简化若干编码算法，如上文所述。
在本发明的另一实例中，模糊性单元和QP再调整可处于视频编码器中，且可将与帧相关联的参数传送到视频编码器(1514)，如图15C中所说明。在此实例中，视频编码器可估计模糊性，基于所估计的模糊性水平再调整QP，且利用经再调整的QP用于量化。视频编码器还可利用所估计的模糊性水平来简化若干编码算法，如上文所述。
图16是说明根据本发明的方面使用模糊性水平的估计来简化编码算法的视频编码的流程图。模糊性单元(例如图1的模糊性单元108或图2的208)可估计所捕获帧的模糊性水平，如上文所述。模糊性单元可将所估计的模糊性水平提供给视频编码器，例如图1的视频编码器110或图2的210，其可利用所估计的模糊性水平来简化编码算法。视频编码器可基于帧中的模糊性水平来简化编码算法，视频编码器可基于与和不同编码算法相关联的阈值的比较来确定所述模糊性水平。在一个实例中，视频编码器可将所估计的模糊性水平与和帧跳过模式相关联的阈值进行比较(1602)。如果所估计的模糊性水平超过用于帧跳过模式的阈值，那么视频编码器可激活跳过模式(1604)，且可跳过所述帧而不进行编码，因为视频编码器在模糊性水平是如此高以致一组连续帧将看起来大体上相同的假定下而操作。因此，视频编码器可编码模糊帧中的一者，且跳过编码其它大体上相同的模糊帧。如果激活跳过模式，且因此跳过所述帧，那么可不编码所述帧，且因此，视频编码器可无需进行作出关于其它编码算法简化的决策。
如果所估计的模糊性水平不超过用于帧跳过模式的阈值，那么视频编码器不激活跳过模式，且可进行到确定是否调整参考图片列表。在一个实例中，视频编码器可将所估计的模糊性水平与和参考帧相关联的阈值进行比较(1606)。如果所估计的模糊性水平超过阈值，那么视频编码器可将参考图片列表限制到帧子集，例如在当前模糊帧之前的帧(1608)，且可进行到确定用于运动估计的块分区大小。如果所估计的模糊性水平不超过阈值，那么视频编码器可利用现存的参考图片列表，且进行到确定用于运动估计的块分区大小。
在一个实例中，视频编码器可将所估计的模糊性水平与和分区块相关联的阈值进行比较(1610)。如果所估计的模糊性水平超过阈值，那么视频编码器可利用较大块分区来编码运动估计(1612)。举例来说，在H.264中，编码利用大小为16×16、8×16、16×8、8×8、4×8、8×4和4×4的块分区。对于模糊帧，视频编码器可实施利用较大分区(例如16×16、8×16和16×8)的运动估计，因此需要编码较少运动图片。视频编码器可进行到确定用于运动估计的像素精度。如果所估计的模糊性水平不超过阈值，那么视频编码器可根据其通常的实施方案来利用块分区，且进行到确定用于运动估计的像素精度。在一个实例中，当帧含有模糊内容时，可确定模糊性水平，且基于模糊性的严重性，可相应地确定块分区，其中较大分区块可用于较大量的模糊性。
在一个实例中，视频编码器可将所估计的模糊性水平与和运动估计中所使用的像素精度相关联的阈值进行比较(1614)。如果所估计的模糊性水平超过阈值，那么视频编码器可调整用于实施运动估计的像素精度(1616)，其中较大像素精度可用于模糊图像，因此需要较少计算。在一个实例中，视频编码器可利用整数像素精度，因此消除了对搜索运动估计中所使用的参考块中的子像素内插的需要。在另一实例中，视频编码器可评定帧中的模糊性的严重性，且相应地调整像素精度。举例来说，视频编码器可将整数像素精度用于具有大量模糊性的帧，但将相对较大的子像素精度(例如1／2)用于具有较小模糊性水平的帧。如果所估计的模糊性水平不超过阈值，那么视频编码器可以与视频编码器编码不具有模糊性的帧相同的方式编码所述帧(1618)。在一个实例中，视频编码器可根据与视频编码器相关联的专有编码方法或根据例如H.264或HEVC等视频标准来编码视频数据。
视频编码器可利用经修改的编码技术来编码在再对焦过程期间所捕获的帧，且可回复到其针对在视频捕获装置在焦点上时所捕获的帧的正常编码功能性。在一个实例中，视频编码器可依据所捕获帧中的模糊的严重性使用对编码算法和功能性的不同水平的修改。举例来说，较高水平的模糊性可导致将QP再调整到与较少模糊性水平相关联的较大值。在一个实例中，视频编码器还可利用从视频捕获装置接收到的模糊性信息来实施去模糊功能。
系统的前端(例如视频捕获装置)和后端(例如视频编码器)部分可直接或间接地连接。在一个实例中，视频捕获装置可例如使用某一类型的有线连接直接连接到视频编码器。在另一实例中，摄影机可例如使用无线连接间接连接到视频编码器。
本发明中所述的技术可在装置中利用以辅助视频编码器的功能性，或可如装置和所述装置可用于的应用所需单独利用。
可至少部分地在硬件、软件、固件或其任何组合中实施本发明中所描述的技术。举例来说，所描述的技术的各个方面可在一个或一个以上处理器内实施，包含一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或任何其它等效集成或离散逻辑电路，以及此些组件的任何组合。术语“处理器”或“处理电路”通常可指代单独或与其它逻辑电路组合的前述逻辑电路中的任一者，或任何其它等效电路。包括硬件的控制单元也可执行本发明的技术中的一者或一者以上。
此硬件、软件和固件可在同一装置内或单独装置内实施，以支持本发明中所描述的各种操作和功能。此外，所描述的单元、模块或组件中的任一者可一起实施或单独地实施为离散但可共同操作的逻辑装置。将不同特征描绘为模块或单元意在突出不同功能方面，且未必意味着必须通过单独的硬件及／或软件组件来实现这些模块或单元。而是，与一个或一个以上模块或单元相关联的功能性可由单独的硬件、固件或软件组件来执行，或集成于共用或单独的硬件或软件组件内。
本发明中所描述的技术还可体现或编码在计算机可读媒体中，例如含有指令的计算机可读存储媒体中。举例来说，在执行指令时，嵌入或编码于计算机可读媒体中的指令可致使一个或一个以上可编程处理器或其它处理器执行所述方法。计算机可读存储媒体可包含：随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、硬盘、CD-ROM、软盘、盒式磁带、磁性媒体、光学媒体或其它计算机可读媒体。
在示范性实施方案中，本发明中所描述的技术可由数字视频译码硬件设备来执行，不管是部分地由硬件、固件和／或软件来实施。
已描述了各种方面和实例。然而，可在不脱离所附权利要求书的范围的情况下，对本发明的结构或技术进行修改。

Claims (26)

1.一种用于编码视频数据的方法，其包括：
确定与视频数据帧相关联的局部运动向量；
至少部分地基于所述局部运动向量来估计所述视频数据帧的模糊性水平；
在视频编码器中至少部分地基于所述帧的所述所估计模糊性水平来编码所述帧；
确定与所述视频数据帧相关联的全局运动向量；
将所述局部运动向量与局部运动向量阈值进行比较；
当所述全局运动向量超过全局运动向量阈值且所述局部运动向量超过所述局部运动向量阈值时，估计所述模糊性水平；以及
当所述全局运动向量等于或小于所述全局运动向量阈值或所述局部运动向量等于或小于所述局部运动向量阈值时，编码所述帧而不估计所述模糊性水平。
2.根据权利要求1所述的方法，其中编码包括基于所述所估计模糊性水平来选择待用于编码所述帧的量化水平。
3.根据权利要求1所述的方法，其进一步包括基于在所述帧中检测到的运动类型来确定是否估计所述帧的所述模糊性水平。
4.根据权利要求1所述的方法，其中通过视频捕获模块捕获所述视频数据帧。
5.根据权利要求4所述的方法，其中估计所述模糊性水平包括进一步基于所述全局运动向量以及与所述视频捕获模块相关联的一个或一个以上参数来估计所述模糊性水平。
6.根据权利要求5所述的方法，其中与所述视频捕获模块相关联的所述参数包括曝光时间和帧速率。
7.根据权利要求1所述的方法，其进一步包括：
通过借助与所述帧相关联的变焦因子而检测光学变焦的变化来检测所述帧中的运动类型；以及
基于所述变焦因子来估计所述模糊性水平。
8.根据权利要求4所述的方法，其进一步包括：
通过检测与所述视频捕获模块相关联的平移运动来检测所述帧中的运动类型；以及
当在所述平移运动之后捕获到所述帧时，基于与所述帧相关联的焦点值来估计所述模糊性水平。
9.根据权利要求1所述的方法，其进一步包括：
通过检测所述帧中的面部来检测所述帧中的运动类型；以及
基于所述帧中的所述所检测到的面部的大小来估计所述模糊性水平。
10.一种用于编码视频数据的设备，其包括：
模糊性单元，其经配置以至少部分地基于与视频数据帧相关联的局部运动向量来估计所述帧的模糊性水平；
视频编码器，其经配置以至少部分地基于所述帧的所述所估计的模糊性水平来编码所述帧；以及
经配置以捕获所述视频数据帧的视频捕获模块，
其中视频捕获模块进一步经配置以检测与所述视频数据帧相关联的全局运动向量，
其中所述视频编码器进一步经配置以确定与所述帧相关联的所述局部运动向量，所述模糊性单元进一步经配置以将所述局部运动向量与局部运动向量阈值进行比较，且在所述全局运动向量超过全局运动向量阈值且所述局部运动向量超过所述局部运动向量阈值时，估计所述模糊性水平，且所述视频编码器进一步经配置以在所述全局运动向量等于或小于所述全局运动向量阈值或所述局部运动向量等于或小于所述局部运动向量阈值时，编码所述帧而不估计所述模糊性水平。
11.根据权利要求10所述的设备，其中为了编码所述帧，所述视频编码器基于所述所估计的模糊性水平来选择待用于编码所述帧的量化水平。
12.根据权利要求10所述的设备，其中所述模糊性单元进一步经配置以基于所检测到的运动类型来确定是否估计所述帧的所述模糊性水平。
13.根据权利要求10所述的设备，其中所述模糊性单元经配置以进一步基于所述全局运动向量以及与所述视频捕获模块相关联的一个或一个以上参数来估计所述模糊性水平。
14.根据权利要求13所述的设备，其中与所述视频捕获模块相关联的所述参数包括曝光时间和帧速率。
15.根据权利要求10所述的设备，其进一步包括：
视频捕获模块，其经配置以通过借助与所述帧相关联的变焦因子而检测光学变焦的变化来检测所述帧中的运动类型；以及
模糊性单元，其经配置以基于所述变焦因子来估计所述模糊性水平。
16.根据权利要求10所述的设备，其进一步包括：
视频捕获模块，其经配置以通过检测与所述视频捕获模块相关联的平移运动来检测所述帧中的运动类型；以及
模糊性单元，其经配置以当在所述平移运动之后捕获到所述帧时，基于与所述帧相关联的焦点值来估计所述模糊性水平。
17.根据权利要求10所述的设备，其进一步包括：
视频捕获模块，其经配置以通过检测所述帧中的面部来检测所述帧中的运动类型；以及
模糊性单元，其经配置以基于所述帧中的所述所检测到的面部的大小来估计所述模糊性水平。
18.一种用于编码视频数据的系统，其包括：
用于确定与视频数据帧相关联的局部运动向量的装置；
用于至少部分地基于所述局部运动向量来估计所述视频数据帧的模糊性水平的装置；以及
用于至少部分地基于是否估计所述帧的所述模糊性水平的所述确定来编码所述帧的装置，
用于确定与所述视频数据帧相关联的全局运动向量的装置，
所述系统进一步包括：
用于将所述局部运动向量与局部运动向量阈值进行比较的装置；
用于在所述全局运动向量超过全局运动向量阈值且所述局部运动向量超过所述局部运动向量阈值时估计所述模糊性水平的装置；以及
用于在所述全局运动向量等于或小于所述全局运动向量阈值或所述局部运动向量等于或小于所述局部运动向量阈值时编码所述帧而不估计所述模糊性水平的装置。
19.根据权利要求18所述的系统，其中所述用于编码的装置包括用于基于所述所估计的模糊性水平来选择待用于编码所述帧的量化水平的装置。
20.根据权利要求18所述的系统，其进一步包括用于基于在所述帧中检测到的运动类型来确定是否估计所述帧的所述模糊性水平的装置。
21.根据权利要求18所述的系统，其中所述视频数据帧是通过视频捕获模块来捕获。
22.根据权利要求21所述的系统，其中所述用于估计所述模糊性水平的装置包括用于进一步基于所述全局运动向量以及与所述视频捕获模块相关联的一个或一个以上参数来估计所述模糊性水平的装置。
23.根据权利要求22所述的系统，其中与所述视频捕获模块相关联的所述参数包括曝光时间和帧速率。
24.根据权利要求18所述的系统，其进一步包括：
用于通过借助与所述帧相关联的变焦因子而检测光学变焦的变化来检测所述帧中的运动类型的装置；以及
用于基于所述变焦因子来估计所述模糊性水平的装置。
25.根据权利要求21所述的系统，其进一步包括：
用于通过检测与所述视频捕获模块相关联的平移运动来检测所述帧中的运动类型的装置；以及
用于当在所述平移运动之后捕获到所述帧时基于与所述帧相关联的焦点值来估计所述模糊性水平的装置。
26.根据权利要求18所述的系统，其进一步包括：
用于通过检测所述帧中的面部来检测所述帧中的运动类型的装置；以及
用于基于所述帧中的所述所检测到的面部的大小来估计所述模糊性水平的装置。
CN201280030357.3A 2011-05-24 2012-05-24 基于图像捕获参数对视频编码的控制 Expired - Fee Related CN103650504B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/114,844 2011-05-24
US13/114,844 US20110292997A1 (en) 2009-11-06 2011-05-24 Control of video encoding based on image capture parameters
PCT/US2012/039448 WO2012162549A2 (en) 2011-05-24 2012-05-24 Control of video encoding based on image capture parameters

Publications (2)

Publication Number Publication Date
CN103650504A CN103650504A (zh) 2014-03-19
CN103650504B true CN103650504B (zh) 2017-06-13

Family

ID=46178860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280030357.3A Expired - Fee Related CN103650504B (zh) 2011-05-24 2012-05-24 基于图像捕获参数对视频编码的控制

Country Status (6)

Country Link
US (1) US20110292997A1 (zh)
EP (1) EP2716042A2 (zh)
JP (1) JP5908581B2 (zh)
KR (1) KR20140022925A (zh)
CN (1) CN103650504B (zh)
WO (1) WO2012162549A2 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897365B2 (en) * 2008-11-19 2014-11-25 Nvidia Corporation Video rate control processor for a video encoding process
US8761094B2 (en) * 2009-07-22 2014-06-24 Qualcomm Incorporated Method and apparatus that facilitates interference cancellation for control channels in heterogenous networks
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
EP2685718B1 (en) * 2011-03-10 2018-08-29 Sharp Kabushiki Kaisha Image decoding apparatus
US9723315B2 (en) * 2011-07-01 2017-08-01 Apple Inc. Frame encoding selection based on frame similarities and visual quality and interests
JP2013031060A (ja) * 2011-07-29 2013-02-07 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US8520140B2 (en) * 2011-10-12 2013-08-27 Intel Corporation Mode based film mode detection
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
TWI517682B (zh) * 2012-12-28 2016-01-11 晨星半導體股份有限公司 多媒體資料流格式、元數據產生器、編碼及解碼方法與系統
CN103929656B (zh) * 2013-01-15 2017-10-20 晨星软件研发(深圳)有限公司 多媒体数据流格式、元数据产生器、编码及解码方法与系统
CN103747237B (zh) * 2013-02-06 2015-04-29 华为技术有限公司 视频编码质量的评估方法及设备
JP6103999B2 (ja) * 2013-03-15 2017-03-29 キヤノン株式会社 画像データ送信装置、画像データ受信装置、画像データ送信方法、画像データ受信方法、及びプログラム
EP2981791A1 (en) * 2013-04-05 2016-02-10 Harman Becker Automotive Systems GmbH Navigation device, method of outputting an electronic map, and method of generating a database
US9313493B1 (en) * 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US10298898B2 (en) 2013-08-31 2019-05-21 Ml Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
WO2015104236A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture
EP3092603B1 (en) 2014-01-07 2022-05-11 ML Netherlands C.V. Dynamic updating of composite images
WO2015173173A1 (en) 2014-05-12 2015-11-19 Dacuda Ag Method and apparatus for scanning and printing a 3d object
WO2016036295A2 (en) * 2014-09-05 2016-03-10 Telefonaktiebolaget L M Ericsson (Publ) Method, device, computer program and computer program product for encoding of high frame rate video
US10063777B2 (en) 2015-05-01 2018-08-28 Gopro, Inc. Motion-based camera mode control to reduce rolling shutter artifacts
US10063776B2 (en) * 2015-05-01 2018-08-28 Gopro, Inc. Camera mode control
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
WO2016210305A1 (en) * 2015-06-26 2016-12-29 Mobile Video Corporation Mobile camera and system with automated functions and operational modes
US20170085886A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Variable partition size for block prediction mode for display stream compression (dsc)
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
EP3220642B1 (en) 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
CN109644276B (zh) * 2016-08-01 2022-12-30 韩国电子通信研究院 图像编码/解码方法
CN108713318A (zh) * 2016-10-31 2018-10-26 华为技术有限公司 一种视频帧的处理方法及设备
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技（深圳）有限公司 视频编码处理方法、装置及电子设备
US10764499B2 (en) * 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
US10356439B2 (en) * 2017-06-29 2019-07-16 Intel Corporation Flexible frame referencing for display transport
CN110971943B (zh) * 2018-09-30 2021-10-15 北京微播视界科技有限公司 视频码率调整方法、装置、终端及存储介质
CN109741300B (zh) * 2018-12-18 2022-08-12 南京邮电大学 一种适用于视频编码的图像显著性快速检测方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
KR100668303B1 (ko) * 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
US8115728B2 (en) * 2005-03-09 2012-02-14 Sharp Laboratories Of America, Inc. Image display device with reduced flickering and blur
JP4393341B2 (ja) * 2004-10-19 2010-01-06 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP4310282B2 (ja) * 2005-01-11 2009-08-05 シャープ株式会社 画像符号化装置および符号化方法
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
JP4419084B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 制御装置および方法、プログラム、並びにカメラ
JP3934151B2 (ja) * 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
WO2007007225A2 (en) * 2005-07-12 2007-01-18 Nxp B.V. Method and device for removing motion blur effects
JP4817990B2 (ja) * 2005-08-17 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP4887750B2 (ja) * 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
JP4655957B2 (ja) * 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
JP4655991B2 (ja) * 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8094714B2 (en) * 2008-07-16 2012-01-10 Sony Corporation Speculative start point selection for motion estimation iterative search
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
WO2010102913A1 (en) * 2009-03-13 2010-09-16 Thomson Licensing Blur measurement in a block-based compressed image
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters

Also Published As

Publication number Publication date
CN103650504A (zh) 2014-03-19
EP2716042A2 (en) 2014-04-09
JP5908581B2 (ja) 2016-04-26
KR20140022925A (ko) 2014-02-25
WO2012162549A2 (en) 2012-11-29
US20110292997A1 (en) 2011-12-01
JP2014518049A (ja) 2014-07-24
WO2012162549A3 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
KR101375892B1 (ko) 영상 캡처 파라미터들에 기초한 비디오 인코딩 제어
JP6698077B2 (ja) モデルベースの映像符号化用の知覚的最適化
US9402034B2 (en) Adaptive auto exposure adjustment
US9402087B2 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
CN102986211B (zh) 视频编码中的速率控制
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
US20100309975A1 (en) Image acquisition and transcoding system
US20160073111A1 (en) Perceptual optimization for model-based video encoding
KR20120114263A (ko) 객체-인식 비디오 인코딩 전략
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
JP4690966B2 (ja) 動画像符号化装置
US20090310673A1 (en) Method and apparatus for controlling a bitrate in a video processing system
US8379985B2 (en) Dominant gradient method for finding focused objects
JP5649296B2 (ja) 画像符号化装置
JP5396302B2 (ja) 映像信号符号化装置及び映像信号符号化方法
CN115428451A (zh) 视频编码方法、编码器、系统以及计算机存储介质
US20130251045A1 (en) Method and device for determining a motion vector for a current block of a current video frame
US20140362927A1 (en) Video codec flashing effect reduction
JP5165084B2 (ja) 画像符号化装置
Lin et al. Coding unit partition prediction technique for fast video encoding in HEVC
JP2012105128A (ja) 画像符号化装置
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム
JP6016484B2 (ja) 符号化装置
Zhang et al. ROI based complexity reduction algorithm for H. 264 encoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170613

Termination date: 20190524