CN101563931B - 用于视频处理的运动检测装置、系统和方法 - Google Patents
用于视频处理的运动检测装置、系统和方法 Download PDFInfo
- Publication number
- CN101563931B CN101563931B CN2007800468306A CN200780046830A CN101563931B CN 101563931 B CN101563931 B CN 101563931B CN 2007800468306 A CN2007800468306 A CN 2007800468306A CN 200780046830 A CN200780046830 A CN 200780046830A CN 101563931 B CN101563931 B CN 101563931B
- Authority
- CN
- China
- Prior art keywords
- motion detection
- local spatial
- spatial complexity
- norm
- time domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
描述了用于执行用于视频处理的运动检测的各个实施例。在一个或多个实施例中,可以通过计算时域差异量测量值、局部空间复杂度测量值和基于所述时域差异量测量值和所述局部空间复杂度测量值的与内容相关的运动检测值,来执行运动检测。在一些实施方式中,所述与内容相关的运动检测值可以包括使用所述时域差异量测量值除以所述局部空间复杂度测量值所得到的结果。在其它实施方式中,可以不使用除法,而是计算近似的与内容相关的运动检测值,以减少计算复杂度。所述与内容相关的运动检测值可以被用于执行各种自适应后端处理操作,例如去隔行、降噪、帧频转换等。还描述和声明了其它实施例。
Description
背景技术
视频处理是在用于显示高质量视频的视频流水线中的关键功能。常规的运动检测方法由于无法正确地估计在视频序列中的运动量而不能提供较高的视频质量。无法正确估计的一个主要原因是使用了帧差异但并未考虑局部图像内容。因此,需要用于视频处理的改进的运动检测,以增强数字媒体的观看效果。
发明内容
根据一个方面,公开了一种用于运动检测的装置,包括:时域差异量模块,用于计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;局部空间复杂度模块,用于计算局部空间复杂度测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及与内容相关的运动检测模块,用于基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
根据另一方面,公开了一种用于运动检测的系统,包括:媒体源;运动检测装置,其耦合到所述媒体源,所述运动检测装置包括:时域差异量模块,用于计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;局部空间复杂度模块,用于计算局部空间复杂度测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及与内容相关的运动检测模块,用于基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
根据另一方面,公开了一种用于运动检测的方法,包括以下步骤:计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;计算局部空间复杂度 测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
附图说明
图1说明了根据一个或多个实施例的媒体处理系统。
图2说明了根据一个或多个实施例的用于运动检测的多个帧。
图3是根据一个或多个实施例的用于运动检测的逻辑流程。
图4说明了根据一个或多个实施例的包括运动检测逻辑的制品。
具体实施方式
各个实施例是针对于执行用于视频处理的运动检测。在一个或多个实施例中,可以通过计算时域差异量测量值(temporal difference measurement)、局部空间复杂度测量值和基于该时域差异量测量值和局部空间复杂度测量值的与内容相关的运动检测值,来执行运动检测。在一些实施方式中,与内容相关的运动检测值可以包括使用时域差异量测量值除以局部空间复杂度测量值所得到的结果。在其它实施方式中,可以计算近似的与内容相关的运动检测值,而不使用除法,以便减少计算复杂度。与内容相关的运动检测值可以被用于执行各种自适应后端处理操作,例如去隔行、降噪、帧频转换等。
图1说明了根据一个或多个实施例的媒体处理系统100。通常,媒体处理系统100可以包括用于传输信息的各种物理和/或逻辑部件,按照一组给定的设计参数或性能约束的需要,这些部件可以实现为硬件、软件或它们的任意组合。尽管图1可以以示例的方式示出有限数目的部件,但可以意识到,对于给定的实施方式可以使用更多或更少数目的部件。
在各种实施方式中,可以安排媒体处理系统100来执行用于PC、消费类电子产品(CE)和/或移动平台的一种或多种网络应用、多媒体应用和/或通信应用。在一些实施例中,可以为PC、CE和/或移动平台而将媒体处理系统100实现为在设备内的系统和/或连接到该设备的系统,该设备例如为:个人PC、STB、数字电视设备、IP协议网络电视(IPTV)设备、数码 相机、媒体播放器和/或蜂窝电话。这种设备的其它例子可以包括但不局限于:工作站、终端、服务器、媒体应用设备、音频/视频(A/V)接收器、数字音乐播放器、娱乐系统、数字电视(DTV)设备、高清晰度电视(HDTV)设备、直播卫星电视(DBS)设备、视频点播(VOD)设备、网络电视设备、数字视频录像机(DVR)设备、数字多用途盘(DVD)设备、高清晰度DVD(HD-DVD)设备、蓝光盘(BD)设备、家用视频系统(VHS)设备、数字VHS设备、游戏机、显示设备、笔记本PC、膝上型计算机、便携式计算机、手持计算机、个人数字助理(PDA)、IP电话(VOIP)设备、蜂窝电话/PDA组合、智能电话、寻呼机、消息发送设备、无线接入点(AP)、无线客户端设备、无线站(STA)、基站(BS)、用户站(SS)、移动用户中心(MSC)、移动单元等。
在移动应用中,例如,媒体处理系统100可以被实现在包括一个或多个用于无线通信的接口和/或部件的设备内和/或连接到该设备,该接口和/或部件例如为:一个或多个发射机、接收机、收发器、芯片组、放大器、滤波器、控制逻辑、网络接口卡(NIC)、天线等。天线的例子可以包括但不局限于:内置天线、全向天性、单级天线、偶极天线、底端馈电天线、圆极化天线、微带天线、分集式天线、双重天线、天线阵列等。
在各个实施例中,媒体处理系统100可以形成有线通信系统、无线通信系统或上述两者组合的一部分。例如,可以安排媒体处理系统100在一种或多种类型的有线通信链路上传输信息。有线通信链路的例子可以包括但不局限于:电线、电缆、总线、印刷电路板(PCB)、以太网连接、对等(P2P)连接、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤连接等。还可以安排媒体处理系统100在一种或多种类型的无线通信链路上传输信息。无线通信链路的例子可以包括但不局限于:无线电信道、卫星信道、电视信道、广播信道、红外信道、射频(RF)信道、无线保真(WiFi)信道、RF频谱的一部分、和/或一个或多个经许可的或无需许可的频带。虽然可以以示例的方式使用特定的通信媒介来说明某些实施例,但可以意识到,可以使用各种通信媒介和相关的技术来实现本文所讨论的原理和技术。
在各个实施例中,可以安排媒体处理系统100在网络中进行工作,该网络例如为:广域网(WAN)、局域网(LAN)、城域网(MAN)、无线WAN (WWAN)、无线LAN(WLAN)、无线MAN(WMAN)、无线个人局域网(WPAN)、微波接入全球互通(WiMAX)网络、宽带无线接入(BWA)网络、互联网、万维网、电话网络、无线电网络、电视网络、电缆网络、诸如直播卫星(DBS)网络之类的卫星网络、码分多址(CDMA)网络、诸如宽带CDMA(WCDMA)之类的第三代(3G)网络、第四代(4G)网络、时分多址(TDMA)网络、扩展的TDMA(E-TDMA)蜂窝无线电话网络、全球移动通讯系统(GSM)网络、具有通用无线分组业务(GPRS)系统的GSM(GSM/GPRS)网络、同分多址(Synchronous Division Multiple Access,SDMA)网络、时分同步CDMA(TD-SCDMA)网络、正交频分复用(OFDM)网络、正交频分多址(OFDMA)网络、北美数字蜂窝(NADC)蜂窝无线电话网络、窄带高级移动电话服务(NAMPS)网络、通用移动通讯系统(UMTS)网络、和/或任何其它被配置用于根据所描述的实施例来传送数据的有线或无线通信网络。
可以安排媒体处理系统100来传输一种或多种类型的信息,例如媒体信息和控制信息。媒体信息通常可以指表示对用户有意义的内容的任何数据,例如图像信息、视频信息、音频信息、A/V信息、图形信息、话音信息、文本信息、数字信息、字母数字符号、字符符号等。控制信息通常可以指表示对自动化系统有意义的命令、指令或控制字的任何数据。例如,控制信息可以被用于通过系统来路由媒体信息,或指示节点以某种方式处理媒体信息。可以在许多不同的设备或网络之间来回传输媒体和控制信息。
在各种实施方式中,可以将媒体信息和控制信息分割为一串分组。每一个分组可以包括,例如,用比特或字节表示的具有固定大小或可变大小的离散数据集。可以意识到,所描述的实施例可以适用于任何类型的通信内容或格式,例如分组、帧、段、胞元(cell)、窗口、单元(unit)等。
媒体处理系统100可以根据一种或多种协议来传输信息。协议可以包括用于管理节点之间的通信的一组预定的规则或指令。在各个实施例中,例如,媒体处理系统100可以使用一个或多个协议,例如媒体访问控制(MAC)协议、物理层会聚协议(PLCP)、简单网络管理协议(SNMP)、异步传输模式(ATM)协议、帧中继协议、系统网络体系结构(SNA)协议、传输控制协议(TCP)、网际协议(IP)、TCP/IP、X.25、超文本传输协 议(HTTP)、用户数据报协议(UDP)等。
媒体处理系统100可以按照由标准化组织发布的一个或多个标准来传输信息,该标准化组织例如为:国际电信联盟(ITU)、国际标准化组织(ISO)、国际电工委员会(IEC)、电气和电子工程师协会(IEEE)、互联网工程任务组(IETF)等。在各个实施例中,例如,媒体处理系统100可以根据媒体处理标准来传输信息,该媒体处理标准例如为:ITU/IEC H.263标准(2000年11月发布的ITU-T建议H.263v3:低比特率通信视频编码)、ITU/IECH.264标准(2003年5月发布的ITU-T建议H.264:超低比特率通信视频编码)、运动图像专家组(MPEG)标准(例如,MPEG-1,MPEG-2,MPEG-4)、数字视频广播(DVB)地面无线(DVB-T)标准、DVB卫星(DVB-S或DVB-S2)标准、DVB有线(DVB-C)标准、DVB手持地面无线(DVB-H)、美国国家电视系统委员会(NTSC)和逐行倒相(PAL)标准、先进电视系统委员会(ATSC)标准、诸如基于Windows Media Video(WMV)版本9的SMPTE 421M或VC-1标准之类的电影和电视工程师协会(SMPTE)标准、网际协议数字传输内容保护(DTCP-IP)标准、高性能无线电局域网(HiperLAN)标准等。
在一些实施方式中,可以安排媒体处理系统100来从媒体源接收媒体内容。该媒体源通常可以包括各种能够向媒体处理系统100提供静态或动态媒体内容的设备和/或系统。在一个实施例中,例如,媒体源可以包括图像采集设备或组成为该图像采集设备的一部分,该图像采集设备例如摄像机或具有成像能力的移动设备。媒体源还可以包括被安排来提供广播或流媒体内容的多媒体服务器。在其它实施例中,媒体源可以包括媒体分发系统(DS)或广播系统或组成为上述系统的一部分,该广播系统例如空中(OTA)广播系统、DVB系统、无线电广播系统、卫星广播系统等。可以在允许用户在网络上选择、接收和观看视频内容的VOD系统或交互式电视系统内实现该媒体源。该媒体源还可以包括IPTV系统或组成为IPTV系统的一部分,该IPTV系统在诸如宽带连接之类的IP连接上传送数字电视内容。实施例并不局限于此。
按照给定实施方式的要求,可以通过能够传送信息信号的各种类型的通信信道将媒体处理系统100耦合到媒体源,该通信信道例如有线通信链 路、无线通信链路或上述两者的结合。还可以安排媒体处理系统100通过各种类型的部件或接口从媒体源接收媒体内容。例如,可以安排媒体处理系统100通过一个或多个调谐器和/或接口来接收媒体内容,该调谐器和/或接口例如开放缆线(OpenCable)(OC)调谐器、NTSC/PAL调谐器、调谐器/解调器、配置点(POD)/DVB共同接口(DVB-CI)、A/V解码器接口、以太网接口、PCI接口等。
提供到媒体处理系统100的媒体内容可以包括各种类型的信息,例如图像信息、音频信息、视频信息、A/V信息和/或其它数据。在一些实施方式中,可以安排媒体源以由设备使用的各种格式来提供媒体内容,该设备例如STB、IPTV设备、VOD设备、媒体播放器等。
可以以压缩的媒体内容的形式来提供媒体内容,以允许媒体处理系统100有效地存储和/或传输数据。在各种实施方式中,可以使用诸如使用离散余弦变换(DCT)的空间压缩、时间压缩、运动补偿和量化之类的技术来压缩媒体内容。可以例如按照诸如H.264、MPEG-2、MPEG-4、VC-1等的标准来执行对媒体内容的视频压缩。在一些情形中,可以以加扰的和/或加密的媒体内容的形式提供媒体内容,以防止未授权的接收、复制和/或观看。
在各个实施例中,可以安排媒体处理系统100来执行用于视频处理的运动检测。可以在正采集图像时执行运动检测。例如,可以在诸如摄像机或具有嵌入的成像技术的移动设备之类的图像采集设备内实现媒体处理系统100,并且媒体处理系统100可以在图像采集期间执行运动检测。也可以在图像采集之后执行运动检测,以处理和观看视频流。例如,可以由基于web的媒体服务器、移动计算平台、桌面平台、娱乐PC、数字TV、视频流媒体增强芯片组、媒体播放器、媒体编辑应用或其它适合的可视化设备来实现媒体处理系统100,以增强对数字媒体的观看体验。
如图1所示,媒体系统100可以包括运动检测装置102。在各个实施例中,运动检测装置102可以被安排来基于时间或空间信息在输入图像序列104上执行与内容相关的运动检测。输入图像序列104可以包括源于一个或多个视频图像或者与一个或多个视频图像关联的数据。例如,输入图像序列104可以包括以下之中的一个或多个:图像数据、视频数据、视频序列、 图片组、图片、图像、区域、对象、帧、片(slice)、宏块、块、像素、信号(例如,Y、U和V)等。在一个或多个实施例中,输入图像序列104可以包括多个帧,所述多个帧中包括参考帧和当前帧。可以将帧分割为包括关联的像素的块。分配给像素的值可以包括实数和/或整数。可以意识到,可以将块组合为宏块,并且可以将帧分割为更小的区域,例如片。
图2说明了根据一个或多个实施例的用于运动检测的多个帧200。例如,可以由图1中说明的媒体处理系统100的一个或多个元件对帧200执行运动检测。然而,实施例并不限制于此。
如图所示,帧200可以包括当前帧202和参考帧204。参考帧204可以包括,例如,前一帧、下一帧或上述两者的平均。可以将帧202、204分割为包括关联的像素的块。在一个或多个实施例中,当前帧202和参考帧204可以包括在当前帧202和参考帧204中共址的M’xN’块。当前帧202的M’xN’块可以包括在与内容相关的运动检测值MD的计算中使用的MxN块。
重新参考图1,在一个或多个实施例中,可以安排运动检测装置102来计算在给定的MxN大小的块内的关联像素的运动检测值MD,其中M≥1,N≥1(参见例如图2)。在各种实施方式中,与内容相关的运动检测值MD可以基于时域差异量测量值Dt和局部空间复杂度测量值Ds。
整个MxN块可以位于当前(c)帧的M’xN’块内。可以使用在当前(c)帧和参考(r)帧中共址的M’xN’块来计算与内容相关的运动检测值MD,其中M’≥M,N’≥N。参考(r)帧可以包括,例如,前一帧、下一帧或上述两者的平均。
如所示出的,运动检测装置102可以包括多个功能部件或模块。可以由一个或多个芯片或集成电路(IC)实现这些模块,且这些模块可以包括,例如,硬件和/或诸如由逻辑器件执行的逻辑(例如,指令、数据和/或代码)之类的软件。逻辑器件的例子包括但不局限于:中央处理单元(CPU)、微控制器、微处理器、通用处理器、专用处理器、芯片多处理器(CMP)、媒体处理器、数字信号处理器(DSP)、网络处理器、协处理器、输入/输出(I/O)处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)等。可以将可执行逻辑存储到在一种或多种类型的计算机可读存储介质上的逻辑器件的内部或外部,该计算机可读存储介质例如易失性 或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器等。按照给定实施方式的要求,可以由通信媒介物理地或逻辑地耦合和/或连接这些模块,该通信媒介包括有线通信媒介、无线通信媒介或上述两者的组合。在一些实施例中,可以由单个芯片或集成电路(IC)将所述多个模块实现为片上系统(SOC)。实施例并不限制于此。
如图所示,运动检测装置102可以包括时域差异量模块106。在各种实施方式中,可以安排时域差异量模块106来确定时域差异量测量值Dt。时域差异量测量值Dt可以包括,例如,时间向量(temporal vector)Vt的向量范数(norm)。该时间向量Vt可以对应于在当前(c)帧和参考(r)帧中共址的块中的共址像素。
在一个或多个实施例中,时域差异量模块106可以使时间向量Vt包括元素c(x,y)-r(x,y),其中c(x,y)和r(x,y)分别代表在当前(c)帧和参考(r)帧的M’xN’块中的(x,y)处的像素。Vt的元素的数目可以包括M’xN’。Vt的元素的数目还可以包括少于M’xN’,例如,通过使用M’xN’的子采样的像素。按照下面的方程式,可以将时域差异量测量值Dt计算为时间向量Vt的向量范数(例如L1(绝对值)和L2(平方值)):
Dt=norm(Vt)
运动检测装置102可以包括局部空间复杂度模块108。在各种实施方式中,可以安排局部空间复杂度模块108来确定局部空间复杂度测量值Ds。局部空间复杂度测量值Ds可以包括,例如,垂直空间向量Vsv和水平空间向量Vsh的向量范数的组合。垂直空间向量Vsv可以对应于在当前(c)帧中的共址块的垂直像素区域。水平空间向量Vsh可以对应于在当前(c)帧中的共址块的水平像素区域。
在一个或多个实施例中,局部空间复杂度模块108可以分别使垂直向量Vsv包括元素c(x,y)-c(x,y+2),使水平向量Vsh包括元素c(x,y)-c(x+1,y)。在这样的实施例中,元素c(x,y)、c(x,y+2)和c(x+1,y)来自于当前M’xN’块或子采样的M’xN’块。从而,可以按照下面的方程式使用用于Dt的相同范数来计算局部空间复杂度测量值Ds:
Ds=a×norm(Vsv)+b×norm(Vsh)+c,其中a、b和c是常数。
运动检测装置102可以包括与内容相关的运动检测模块110。在各种实 施方式中,可以安排与内容相关的运动检测模块110基于时域差异量测量值Dt和局部空间复杂度测量值Ds来确定与内容相关的运动检测值MD。在一个或多个实施例中,与内容相关的运动检测值MD可以包括使用时域差异量测量值Dt除以局部空间复杂度测量值Ds所得到的结果。例如,可以按照下面的方程式计算与内容相关的运动检测值MD的值:
MD=Dt/Ds,其中Dt包括时域差异量测量值,Ds包括局部空间复杂度测量值。
在一些实施例中,可以不使用除法来计算与内容相关的运动检测值MD,以减少计算复杂度。例如,可以按照下面的方程式执行与内容相关的运动检测值MD的近似计算:
其中Q是常数,f(Ds)=int(logDs/log2),且int()是向0或正无穷大或负无穷大舍去后得到的整数,‘<<’和‘>>’分别是向左和向右的算术移位。在一些硬件实施方式中,能够通过检测Ds的前导零的个数来实现f(Ds),而不是通过计算log()。
媒体系统100可以包括耦合到运动检测装置102的视频处理模块112。在一个或多个实施例中,可以安排视频处理模块112来从运动检测装置接收运动检测值MD,并在媒体系统100内执行各种后端和/或自适应后端处理操作,例如去隔行、降噪、帧频转换等。
可以意识到,图1的实施例说明了一种示例性实施方式,可以用与所描述的实施例一致的各种其它方式来实现所述的功能部件和/或模块。另外,对于给定的实施方式,可以组合和/或分离由这样的部件或模块所执行的操作,并且可以由更多数目或更少数目的部件或模块来执行上述操作。
图3说明了根据一个或多个实施例的用于运动检测的逻辑流程300。可以由例如图1中说明的媒体处理系统100的一个或多个元件实现逻辑流程300,然而并不限制于此。
在各个实施例中,按照一组给定的设计参数或性能约束的需要,可以由各种系统、设备、单元和/或部件来执行逻辑流程300,并可以将逻辑流 程300实现为硬件、软件和/或它们的任意组合。例如,可以由一个或多个逻辑器件和/或包括将由逻辑器件执行的指令、数据和/或代码的逻辑来实现逻辑流程300。
逻辑流程300可以包括计算时域差异量测量值(框302)。时域差异量测量值Dt可以包括,例如,时间向量Vt的向量范数。时间向量Vt可以对应于在当前(c)帧和参考(r)帧中的共址块的共址像素。
在一个或多个实施例中,时间向量Vt可以包括元素c(x,y)-r(x,y),其中c(x,y)和r(x,y)分别代表在当前(c)帧和参考(r)帧的M’xN’块的(x,y)处的像素。Vt的元素的数目可以包括M’xN’。Vt的元素的数目还可以包括少于M’xN’,例如,通过使用M’xN’的子采样的像素。按照下面的方程式,可以将时域差异量测量值Dt计算为时间向量Vt的向量范数(例如L1(绝对值)和L2(平方值)):
Dt=norm(Vt)
逻辑流程300可以包括计算局部空间复杂度测量值(框304)。局部空间复杂度测量值Ds可以包括,例如,垂直空间向量Vsv和水平空间向量Vsh的向量范数的组合。垂直空间向量Vsv可以对应于在当前(c)帧中的共址块的垂直像素区域。水平空间向量Vsh可以对应于在当前(c)帧中的共址块的水平像素区域。
在一个或多个实施例中,垂直向量Vsv包括元素c(x,y)-c(x,y+2),水平向量Vsh包括元素c(x,y)-c(x+1,y)。在这样的实施例中,元素c(x,y)、c(x,y+2)和c(x+1,y)来自于当前M’xN’块或子采样的M’xN’块。可以按照下面的方程式使用用于Dt的相同范数来计算局部空间复杂度测量值Ds:
Ds=a×norm(Vsv)+b×norm(Vsh)+c,其中a、b和c是常数。
逻辑流程300可以包括基于时域差异量测量值和局部空间复杂度测量值来计算与内容相关的运动检测值(框306)。在一个或多个实施例中,与内容相关的运动检测值MD可以包括使用时域差异量测量值Dt除以局部空间复杂度测量值Ds所得到的结果。例如,可以按照下面的方程式计算与内容相关的运动检测值MD的值:
MD=Dt/Ds,其中Dt包括时域差异量测量值,Ds包括局部空间复杂度测量值。
在一些实施例中,可以不使用除法来计算运动检测值MD,以减少计算复杂度。例如,可以按照下面的方程式执行MD值的近似计算:
其中Q是常数,f(Ds)=int(logDs/log2),且int()是向0或正无穷大或负无穷大舍去后得到的整数,‘<<’和‘>>’分别是向左和向右的算术移位。在一些实施方式中,能够通过检测Ds的前导零的个数来实现f(Ds),而不是通过计算log()。与内容相关的运动检测值MD可以被用于执行各种后端和/或自适应后端处理操作,例如去隔行、降噪、帧频转换等。
图4说明了制品400的一个实施例。如图所示,制品400可以包括存储介质402,该存储介质用于存储用于根据所描述的实施例执行各种操作的运动检测逻辑404。在各个实施例中,可以由各种系统、部件和/或模块来实现制品400。
制品400和/或存储介质402可以包括一种或多种类型的能够存储数据的计算机可读存储介质,包括易失性存储器或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器等。计算机可读存储介质的例子可以包括但不局限于:随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率RAM(DDR RAM)、DDR SDRAM、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、致密盘ROM(CD-ROM)、可录致密盘(CD-R)、可重写致密盘(CD-RW)、闪速存储器(例如,NOR或NAND闪速存储器)、内容可寻址存储器(CAM)、聚合物存储器(例如,铁电聚合物存储器)、相变存储器(例如,奥氏(Ovonic)存储器)、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、盘片(例如,软盘、硬盘、光盘、磁盘、磁光盘)、卡(例如,磁卡或光卡)、磁带、盒式磁带或适于存储信息的任何其它类型的计算机可读存储介质。
制品400和/或存储介质402可以存储包括指令、数据和/或代码的运动检测逻辑404,如果执行上述指令、数据和/或代码,会使得计算机或计算 机系统根据所描述的实施例执行方法和/或操作。这样的计算机或计算机系统可以包括,例如,任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、处理器等,并可以使用硬件和/或软件的任何合适组合来实现该计算机或计算机系统。
运动检测逻辑404可以包括,或被实现为,软件、软件模块、应用、程序、子例程、指令、指令集、计算代码、字、值、符号或它们的组合。指令可以包括任何合适类型的代码,例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。可以按照预定的计算机语言、方式或语法来实现指令,以指示处理器执行某个功能。可以使用任何合适的高级、低级、面向对象的、可视化的、编译的和/或解释的编程语言来实现指令,这些编程语言例如C、C++、Java、BASIC、Perl、Matlab、Pascal、Visual BASIC、汇编语言、机器代码等。实施例并不局限于此。
已经阐明了许多具体细节来提供对实施例的透彻理解。然而,可以理解,可以在没有这些具体细节的情况下实施这些实施例。在其它情形中,为了不模糊这些实施例,并未详细描述公知的操作、部件和电路。可以意识到,具体的结构性和功能性细节是代表性的,并非必然地限定实施例的范围。
各个实施例可以包括一个或多个元件。元件可以包括安排来执行某些操作的任意结构。按照一组给定的设计或性能约束的需要,每一个元件可以被实现为硬件、软件或它们的任意组合。尽管可以以示例的方式用在某个拓扑结构中的有限数目的元件来描述实施例,然而,按照给定实施方式的需要,该实施例可以包括在替代拓扑结构中的更多或更少的元件。
值得注意的是,任何提及“一个实施例”或“实施例”意味着与该实施例关联描述的特定的特征、结构或特性包括在至少一个实施例中。在说明书中出现的措词“在一个实施例中”并不必然地总是指代同一实施例。
虽然可以将一些实施例示出和描述为包括执行各种操作的示例性功能部件或模块,但是可以意识到,可以由一个或多个硬件部件、软件部件和/或它们的组合来实现这样的部件和/或模块。例如,可以用可由逻辑器件(例如,处理器)执行的逻辑(例如,指令、数据和/或代码)来实现功能部件和/或模块。这样的逻辑可以被存储于在一种或多种类型的计算机可读存储 介质上的逻辑器件的内部或外部。
一些附图可以包括流程图。尽管这样的图可以包括特定的流程图,但可以意识到,逻辑流程仅仅提供了一般功能的示例性实施方式。另外,除非另外说明,并非必须以所示出的顺序来执行逻辑流程。另外,可以用硬件元件、由处理器执行的软件元件或它们的任意组合来实现逻辑流程。
除非特别声明,否则,可以意识到,诸如“处理”、“计算”、“运算”、“确定”等的术语是指计算机或计算系统或类似的电子计算设备的动作和/或处理,其将被表示为在寄存器和/或存储器中的物理量(例如,电子的)的数据操作和/或转换为其它数据,这些其它数据类似地被表示为在存储器、寄存器或其它这样的信息存储、传输或显示设备中的物理量。
值得注意的是,可以使用措辞“耦合”和“连接”以及它们的派生词来描述一些实施例。这些术语并非旨在作为相互的同义词。例如,可以使用术语“连接”和/或“耦合”来描述一些实施例,以表明两个或更多元件相互之间是直接物理或电连接的。然而,术语“耦合”还可以意味着两个或更多元件相互之间不是直接连接的,但是仍然相互协作或交互。对于软件元件,例如,术语“耦合”可以指接口、消息接口、API、交换消息等。
虽然上面描述的内容说明了实施例的某些特征,但对于本领域的技术人员来说,现在可以实现许多更改、替代、改变和等效。因此可以理解,所附的权利要求旨在覆盖落入实施例的实质精神内的所有这样的更改和改变。
Claims (18)
1.一种用于运动检测的装置,包括:
时域差异量模块,用于计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;
局部空间复杂度模块,用于计算局部空间复杂度测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及
与内容相关的运动检测模块,用于基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
2.根据权利要求1所述的装置,所述垂直空间向量对应于在所述当前帧中的所述共址块的垂直像素区域,所述水平空间向量对应于在所述当前帧中的所述共址块的水平像素区域。
3.根据权利要求2所述的装置,按照下面的方程式计算所述局部空间复杂度测量值:
Ds=a×norm(Vsv)+b×norm(Vsh)+c,其中Ds是所述局部空间复杂度测量值,Vsv是所述垂直空间向量,Vsh是所述水平空间向量,“norm”是向量范数,以及a、b和c是常数。
4.根据权利要求1所述的装置,使用用于所述时域差异量测量值的相同范数来计算所述局部空间复杂度测量值。
5.根据权利要求1所述的装置,所述与内容相关的运动检测值包括使用所述时域差异量测量值除以所述局部空间复杂度测量值所得到的结果。
6.根据权利要求1所述的装置,所述与内容相关的运动检测值包括近似计算的与内容相关的运动检测值。
7.一种用于运动检测的系统,包括:
媒体源;
运动检测装置,其耦合到所述媒体源,所述运动检测装置包括:
时域差异量模块,用于计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;
局部空间复杂度模块,用于计算局部空间复杂度测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及
与内容相关的运动检测模块,用于基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
8.根据权利要求7所述的系统,所述垂直空间向量对应于在所述当前帧中的所述共址块的垂直像素区域,所述水平空间向量对应于在所述当前帧中的所述共址块的水平像素区域。
9.根据权利要求8所述的系统,按照下面的方程式计算所述局部空间复杂度测量值:
Ds=a×norm(Vsv)+b×norm(Vsh)+c,其中Ds是所述局部空间复杂度测量值,Vsv是所述垂直空间向量,Vsh是所述水平空间向量,“norm”是向量范数,以及a、b和c是常数。
10.根据权利要求7所述的系统,使用用于所述时域差异量测量值的相同范数来计算所述局部空间复杂度测量值。
11.根据权利要求7所述的系统,所述与内容相关的运动检测值包括使用所述时域差异量测量值除以所述局部空间复杂度测量值所得到的结果。
12.根据权利要求7所述的系统,所述与内容相关的运动检测值包括近似计算的与内容相关的运动检测值。
13.一种用于运动检测的方法,包括以下步骤:
计算时域差异量测量值,所述时域差异量测量值包括与在当前帧和参考帧中的共址块的共址像素相对应的时间向量的向量范数;
计算局部空间复杂度测量值,所述局部空间复杂度测量值包括垂直空间向量和水平空间向量的向量范数的组合;以及
基于所述时域差异量测量值和所述局部空间复杂度测量值来计算与内容相关的运动检测值。
14.根据权利要求13所述的方法,其中:
所述垂直空间向量对应于在所述当前帧中的所述共址块的垂直像素区域,所述水平空间向量对应于在所述当前帧中的所述共址块的水平像素区域。
15.根据权利要求14所述的方法,其中:
按照下面的方程式计算所述局部空间复杂度测量值:
Ds=a×norm(Vsv)+b×norm(Vsh)+c,其中Ds是所述局部空间复杂度测量值,Vsv是所述垂直空间向量,Vsh是所述水平空间向量,“norm”是向量范数,以及a、b和c是常数。
16.根据权利要求13所述的方法,其中:
使用用于所述时域差异量测量值的相同范数来计算所述局部空间复杂度测量值。
17.根据权利要求13所述的方法,其中:
通过使用所述时域差异量测量值除以所述局部空间复杂度测量值来计算所述与内容相关的运动检测值。
18.根据权利要求13所述的方法,其中:
近似计算所述与内容相关的运动检测值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/614,021 US8416851B2 (en) | 2006-12-20 | 2006-12-20 | Motion detection for video processing |
US11/614,021 | 2006-12-20 | ||
PCT/US2007/087022 WO2008079655A1 (en) | 2006-12-20 | 2007-12-10 | Motion detection for video processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101563931A CN101563931A (zh) | 2009-10-21 |
CN101563931B true CN101563931B (zh) | 2012-05-30 |
Family
ID=39542879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800468306A Expired - Fee Related CN101563931B (zh) | 2006-12-20 | 2007-12-10 | 用于视频处理的运动检测装置、系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8416851B2 (zh) |
EP (1) | EP2103142B1 (zh) |
KR (1) | KR101050586B1 (zh) |
CN (1) | CN101563931B (zh) |
TW (1) | TWI414185B (zh) |
WO (1) | WO2008079655A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8416851B2 (en) | 2006-12-20 | 2013-04-09 | Intel Corporation | Motion detection for video processing |
CN101344920B (zh) * | 2008-07-21 | 2011-09-14 | 北大方正集团有限公司 | 对视频数据帧中特定区域进行检测的方法和设备 |
TWI413023B (zh) * | 2010-03-30 | 2013-10-21 | Novatek Microelectronics Corp | 移動偵測方法及裝置 |
CN102538765B (zh) * | 2010-12-10 | 2014-09-03 | 上海卫星工程研究所 | 一种卫星的空间视频的测量方法 |
US8989270B2 (en) * | 2011-06-23 | 2015-03-24 | Apple Inc. | Optimized search for reference frames in predictive video coding system |
EP2797314B1 (en) | 2013-04-25 | 2020-09-23 | Samsung Electronics Co., Ltd | Method and Apparatus for Displaying an Image |
CN116645580B (zh) * | 2023-06-05 | 2023-11-14 | 北京邮电大学 | 一种基于时空特征差异的弱小目标检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4953032A (en) * | 1988-11-30 | 1990-08-28 | Hitachi, Ltd. | Motion signal generating circuit for use in a television receiver |
CN1496129A (zh) * | 1998-10-22 | 2004-05-12 | 索尼株式会社 | 运动向量检测方法和装置 |
CN1711516A (zh) * | 2002-11-07 | 2005-12-21 | 奥林巴斯株式会社 | 运动检测装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
GB2303513B (en) | 1995-07-21 | 1999-09-29 | Innovision Res Ltd | Improved correlation processing for motion estimation |
DE19624514C1 (de) * | 1996-06-19 | 1997-07-17 | Siemens Ag | Laserdiode-Modulator-Kombination |
US7116716B2 (en) | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
US7239719B2 (en) * | 2003-08-22 | 2007-07-03 | Bbn Technologies Corp. | Automatic target detection and motion analysis from image data |
KR20060027779A (ko) | 2004-09-23 | 2006-03-28 | 엘지전자 주식회사 | 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 |
DE602006009191D1 (de) * | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
US8416851B2 (en) | 2006-12-20 | 2013-04-09 | Intel Corporation | Motion detection for video processing |
-
2006
- 2006-12-20 US US11/614,021 patent/US8416851B2/en not_active Expired - Fee Related
-
2007
- 2007-11-23 TW TW096144526A patent/TWI414185B/zh not_active IP Right Cessation
- 2007-12-10 EP EP07869097.1A patent/EP2103142B1/en not_active Not-in-force
- 2007-12-10 WO PCT/US2007/087022 patent/WO2008079655A1/en active Application Filing
- 2007-12-10 KR KR1020097012623A patent/KR101050586B1/ko not_active IP Right Cessation
- 2007-12-10 CN CN2007800468306A patent/CN101563931B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4953032A (en) * | 1988-11-30 | 1990-08-28 | Hitachi, Ltd. | Motion signal generating circuit for use in a television receiver |
CN1496129A (zh) * | 1998-10-22 | 2004-05-12 | 索尼株式会社 | 运动向量检测方法和装置 |
CN1711516A (zh) * | 2002-11-07 | 2005-12-21 | 奥林巴斯株式会社 | 运动检测装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2103142B1 (en) | 2015-10-21 |
WO2008079655A1 (en) | 2008-07-03 |
KR20090091771A (ko) | 2009-08-28 |
US20080152194A1 (en) | 2008-06-26 |
TW200835344A (en) | 2008-08-16 |
US8416851B2 (en) | 2013-04-09 |
EP2103142A4 (en) | 2012-01-11 |
KR101050586B1 (ko) | 2011-07-19 |
EP2103142A1 (en) | 2009-09-23 |
CN101563931A (zh) | 2009-10-21 |
TWI414185B (zh) | 2013-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101202911B (zh) | 用于数字视频稳定的方法、装置和系统 | |
CN101563931B (zh) | 用于视频处理的运动检测装置、系统和方法 | |
EP1747678B1 (en) | Method and apparatus for motion compensated frame rate up conversion | |
US7561082B2 (en) | High performance renormalization for binary arithmetic video coding | |
KR102234852B1 (ko) | 방송 전환 채널 | |
US8787465B2 (en) | Method for neighboring block data management of advanced video decoder | |
US20060087585A1 (en) | Apparatus and method for processing an image signal in a digital broadcast receiver | |
US7835587B2 (en) | Method and apparatus for local standard deviation based histogram equalization for adaptive contrast enhancement | |
US20120320966A1 (en) | Adaptive video decoding circuitry and techniques | |
US20170180745A1 (en) | Prediction method and Electronic Apparatus of encoding mode of variable resolution | |
US8249140B2 (en) | Direct macroblock mode techniques for high performance hardware motion compensation | |
Adeyemi-Ejeye et al. | Impact of packet loss on 4K UHD video for portable devices | |
CN101300851B (zh) | 媒体处理设备、系统和方法 | |
US20070126747A1 (en) | Interleaved video frame buffer structure | |
Jaksic et al. | UHDTV into terrestrial and satellite systems | |
JP5158085B2 (ja) | 信号出力装置、信号出力方法及び信号出力プログラム | |
CN112261441A (zh) | 一种视频数据的处理方法、系统、设备及存储介质 | |
Jaksic et al. | Implementation of Video Compression Standards in Digital Television | |
JP4382679B2 (ja) | 映像記録装置および映像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120530 Termination date: 20181210 |
|
CF01 | Termination of patent right due to non-payment of annual fee |