CN105122305B - 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制 - Google Patents
用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制 Download PDFInfo
- Publication number
- CN105122305B CN105122305B CN201380074979.0A CN201380074979A CN105122305B CN 105122305 B CN105122305 B CN 105122305B CN 201380074979 A CN201380074979 A CN 201380074979A CN 105122305 B CN105122305 B CN 105122305B
- Authority
- CN
- China
- Prior art keywords
- image
- clock phase
- acutance
- optimization
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 230000007246 mechanism Effects 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000005457 optimization Methods 0.000 claims abstract description 33
- 230000008901 benefit Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 230000016776 visual perception Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000000712 assembly Effects 0.000 description 8
- 238000000429 assembly Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
描述了用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制。在一个实施例中,方法包括基于关于图像的多个相位的两个或多个连续帧的多个像素而计算媒体流的图像的稳定性优化、计算图像的锐度优化、和基于图像的稳定性和锐度优化而选择多个相位中的最优相位。最优相位可表示图像从而使得图像以根据人类视觉感知的方式而显示。
Description
技术领域
本发明的实施例一般地涉及媒体通信,并尤其涉及用于助益带有对媒体流的图像的高抖动容限的动态相位检测的机制。
背景技术
随着电子设备的数字化,诸如有高清晰度多媒体接口(HDMI)和移动高清晰度链路(MHL)连接器的电视机的增长的数量,将模拟信号转换成数字信号以移除模拟连接器并改善图像质量变得普遍。然而,此类计算机生成的图像是低质量的并且不智能,因为他们不考虑任何数量的关键因素。
发明内容
描述了用于助益带有对媒体流的图像的高抖动容限的动态相位检测的机制。
在一个实施例中,方法包括基于关于图像的多个相位的两个或多个连续帧的多个像素而计算媒体流的图像的稳定性优化、计算图像的锐度优化、和基于图像的稳定性和锐度优化而选择多个相位中的最优相位。最优相位可表示图像从而使得图像以根据人类视觉感知的方式而显示。
在另一实施例中,装置执行根据上述操作中的任何一个或多个的方法。
在另一实施例中,系统包括执行根据上述操作中的任何一个或多个的方法的一个或多个设备。
在又一实施例中,至少一个计算机可读介质包括多个指令,该指令响应于在计算设备上执行而致使计算设备执行根据所述操作中的任何一个或多个的方法。
附图说明
作为示例而非限制,在附图中解说了本发明的实施例,附图中相似的附图标记指示相似的元素。
图1解说了采用根据一个实施例的动态相位检测机制的媒体设备;
图2A解说了根据一个实施例的动态相位检测机制;
图2B解说了被选择用于根据一个实施例的动态相位检测的图像的图像模式;
图2C解说了根据一个实施例的动态相位检测;
图3解说了用于根据一个实施例的动态相位检测的方法;以及
图4解说了能够采用一个或多个实施例的计算设备。
具体实施方式
本发明的实施例涉及助益带有对媒体流的图像的高抖动容限的自动相位检测。
图1解说了采用根据一个实施例的动态相位检测机制110的媒体设备。通信通信或网络媒体设备100可包括任何数量和类型的媒体设备,诸如源设备(例如发射器)、阱设备(例如接收器)、中间设备(例如,模数转换器)、放大器等。通信媒体设备100可包括可对于各种各样的媒体设备(诸如阱设备、源设备等)普遍的任何数量的组件和/或模块;然而观察此文档并尤其是参考图2,在一个实施例中并且为了简洁、清楚和易于理解,通信媒体设备100可包括和被称为主设备或主机器,该主设备或主机器采用动态相位检测机制(“相位机制”)110并被设置为在与任何数量和类型的设备通信,该设备诸如网络(例如,广播网(诸如有线或卫星广播网)、广域网(WAN)、局域网(LAN)、个人区域网(PAN)、城域网(MAN)、基于云的网络、内部网、互联网等等)上的一个或多个源设备和/或阱设备和/或中间设备。
源设备指负责将数据(例如,媒体音频和/或视频数据/内容流)传输到阱设备的发送设备,而阱设备制指负责接收通过通信网络传输的数据的接收器或接收设备。源设备的示例可包括消费者电子设备,诸如个人计算机(PC)、移动计算设备(例如,平板计算机、智能电话等等)、MP3播放器、音频设备、电视机、无线电、全球定位系统(GPS)或导航设备、数码相机、音频/视频记录器、蓝光播放器、数字多功能盘(DVD)播放器、紧致盘(CD)播放器、视频带记录器(VCR)、便携摄录机等等。源设备的示例还可包括计算设备、数据终端、机器(例如,传真机、电话等)、视频摄影机、广播站(例如,但是或无线电站、有线头端等)、有线广播头端、机顶盒、卫星等。阱设备可包括与针对源设备列出的那些媒体设备相同的媒体设备的示例中的一个或多个。类似地,中间设备可包括与针对源设备列出的那些媒体设备相同的媒体设备中的一个或多个,或者其可包括用于助益媒体从一个形式到另一个形式(诸如从模拟到数字或者反之)的转换的专用转换器。
通信媒体设备100可包括用作源设备100的任何硬件或物理资源与阱设备或用户之间的接口的操作系统106。通信媒体设备100还可包括一个或多个处理器102、存储器设备104、网络设备、驱动器等等,以及输入/输出(I/O)源108(诸如触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标等)。
实施例提供相位机制110以助益内部经锁相环或锁相环(PLL)动态地生成用于模数转换器(ADC)的目标像素时钟,并使用该像素时钟搜索可以用来生成具有人眼所偏好的质量的图像的相位。由相位机制110进行的相位检测过程贯穿本文档可称为自动相位检测(APD)或APD过程。然而,应该构想的是,使用术语“APD”或任何前述相对应术语都不应被解读为将实施例限制为在此文档外部的产品或文献中带有该标签的设备、硬件、软件等。
例如,传统机制提供计算机猜测的图像质量,因为他们不考虑人眼的运作或偏好,诸如什么质量或因子(诸如锐度水平或稳定性的量等)可对于人(也称为“用户”“终端用户”、“观者”等)是有吸引力的。构想了不同相位配置导致不同的显示质量。诸如在好相位处显示是清楚并锐利的,而在坏相位处显示是模糊并暗淡的。类似地,一些相位可具有显著的噪音,诸如可能对用户视觉上恼人的水平闪烁条纹。相位性能可根据它们的源、平台、格式等而不同,并且因此不是最优性能的相位是很麻烦的,尤其是在复杂媒体环境中。实施例提供准确、成本高效、资源高效、快速、相对简单、并有强抖动容限等等的全面的解决方案。在一个实施例中,该解决方案是基于关于人视觉认知的已知信息的,并且通过使用可以从由科学和医疗社区阐述的任何数量的报告获得的该信息,更适当的相位被确定和选择从而使得所产生的图像质量对人眼是令人愉悦的并被用户认为是高质量(诸如就其锐度、稳定性、形式分布等而言)。
如将参考图2A进一步描述的,一旦APD过程已经由相位机制110启动了,它就针对较大过程内的每一个过程以定义的增量将启动位置的相位位置移动到结束位置。在一个实施例中,在图像的每一个相位,计算和/或确定各种因素(例如,稳定性优化、锐度优化、图像一致性评估、图像稳定性评估等等)以评估反映例如显示锐度和稳定性的图像稳定性和/或质量。随后所收集的信息可跨所有相位位置进行比较并且最终选择有最优特性的相位。如前述,在一个实施例中,最优特性可以是基于关于人视觉如何感知图像质量的公知科学的,从而所选择的相位助益典型的人眼将领会和欣赏的那些方面的最好图像质量。而且,为了使比较公平从而追求类似物之间的合理比较,作为前提条件,在检测试剂期间可使APD的输入图像静止并保持一致并使该图像包含足以刺激相位性能函数的一定量的对比。
相位机制110可在自动模式或手动模式中被触发并使用,在模式中例如,通过维持各种组件和其他组件之间的握手,与每个相位位置相关的原始数据可由各种组件确定或计算,而此类计算的结果可由相位机制的其他组件提供。在自动模式的情况中,为了节省系统资源和达到过程的快速完成,某些组件可执行多个函数,诸如计算原始数据和排序相位候选两者,而无需涉及其他组件。而且,出于调试和/或后处理的目的,在自动和手动模式两者中,与每个相位候选相关的经计算的原始数据可存储在可在APD过程完成之后访问的存储器中。类似地,一旦APD执行之后,电路可关闭且相位可保持为硬件或软件选择直到下一APD过程被触发。
图2A解说了根据一个实施例的动态相位检测机制110。在一个实施例中,相位机制110包括数个组件,诸如输入图像扫描器(“扫描器”)202、具有像素强度模块(“像素模块”)206和帧强度模块(“帧模块”)208的稳定性优化逻辑(“稳定性逻辑”)204、具有锐度函数模块(“锐度模块”)212的锐度优化逻辑(“锐度逻辑”)210、具有能量函数模块(“能量模块”)216的图像一致性评估逻辑(“一致性逻辑”)214、图像合适性逻辑(“合适性逻辑”)218、握手逻辑220、通信组件222、和兼容性模块224。贯穿此模块,相位机制110的各种组件202-224可互换地称为“逻辑”、“处理逻辑”、或“模块”,并作为示例可包括软件、硬件、和/或软件和硬件的任何组合(诸如固件)。
在一个实施例中,扫描器202可用来扫描传入图像。尽管实施例不限于特定图像或特定图像类型,但为了执行例如更有效的相位选择处理,可预先确定和应用某些条件或标准。例如,为了更好的类似物之间的合理APD,可选择静止图像用于相位检查。而且,静止图像可预先确定为包含一些对比,诸如经选择的图像可以不是空白图像或单色经遮挡图像或灰度图像等。例如,如图2B中例示的,可将具有重复性单像素宽度的垂直黑白线的示例性图像230看作有将使用相位机制110选中以区分相位质量的最优模式的图像。
在一个实施例中,稳定性逻辑204助益经选择图像(诸如图2B的图像230)的确定和稳定性计算。例如,可将稳定性或稳定性函数描述为针对图像的每个相位的相同相位上图像的连续帧之间的点到点差异的统计特性。涉及越多像素,期待越高的准确性。构想了对于理想的解决方案,可比较至少两个连续帧的所有点,并且尽管此类任务可使用相位机制110来执行,但出于成本和时间效率的目的,可选择具有有限存储器需求的一小部分点用于比较的目的。如将参考图2C进一步描述的,像素强度可使用像素模块206来计算并且帧强度可使用帧模块208来计算以确定经选择图像的稳定性函数。
现在参考图2C,可比较经选择图像(诸如图2B的图像230)的两个连续帧232、234的多个M×N像素或像素点。为了简洁和易于理解,认为帧232是相位k的帧0,而帧234是相同相位k的帧1。构想了可有32个相位,诸如从k=0到k=31的范围。对于帧232、234两者,可定义有维度M×N的网格为每条线(line)选择M个像素和每帧选择N条线。对于每条水平选择的线,M个像素可以平均分布,同时对于每个垂直选择的行,N个像素可以平均分布。水平方向和垂直方向两者都可以是可配置的,同时可以增加随机性,因此随机选择的M×N个像素可用来统计地表示整个帧232、234。
在所解说的实施例中,选择1024个像素作为基础(例如,M×N=1024),其中M和N可选择为2^X,X在0到10的范围中。随机性可通过例如两个固定线性反馈位移寄存器(LFSR)来达到,两个固定线性反馈位移寄存器其中一个用于每条线M个像素的水平随机性生成,和另外一个用于每图片N条线的垂直随机性生成。它们的种子是随机的(例如,随机性可绑定到机器时间),但对于每一个APD计算,可选择相同的种子或像素242、244、252、254、262、264、272、274用作相位候选。种子可在每个帧的开始处需要,并且一旦LFSR加载了种子,它们就可按由多项式定义的操作。而且,应注意,对于像素242、244、252、254、262、264、272和274,对于每个APD计算,它们的位置可以是固定的。当应用了随机性时,可在固定M×N网格之上放置某些位置变化。由于预定义的多项式和种子,位置变化可以是伪随机且数学可预测的,这可使得经选择像素的位置242、244、252、254、262、264、272、274从帧232到帧234可重复。这样可获得与帧232和234有关的帧统计而无需产生任何帧缓冲区成本。
一旦决定了M×N随机网格,可收集他们的个体强度差异且可从初始相位位置(例如,相位k=0)到结束相位位置(例如,相位k=31)表征总体强度变化。构想了相位就PLL抖动容限性能而言越好,由像素模块206和帧模块208计算并随后用来计算由稳定性逻辑204提供的稳定性优化的总体强度差异越低。
例如,可选择帧232的像素(0,0)242并与其对应物帧234的像素(0,0)244比较从而
可使用例如以下方程式使用像素模块206来计算像素242、244的像素强度差(AbsDiff(0,
0))246:AbsDiff(i,j,k)=|P(i,j,k,0)-P(i,j,k,1)|,0≤i<n,0≤j<m,0≤k<32类似
地,前述方程式可由像素模块206使用来计算其他相应像素252、254、262、264、272、274的像
素强度差AbsDiff(n-1,0)256、AbsDiff(0,m-1)266、AbsDiff(n-1,m-1)276。一旦已经计算
了像素强度差246、256、266、276,则可使用例如以下方程式使用帧模块208来计算帧强度差
(AbsDiffTotal(k)):
一旦已经计算了帧强度差,则稳定性逻辑204可随后使用例如以下方程式使用帧强度差计算来生成每一个相位的稳定性优化:Minimize(AbsDiffTotal(k)),0≤k<32。而且,基于由前述方程式阐述的标准,可内部地挑出各种相位候选从而可选择最优相位。此模拟平台展示相位稳定性优化的有效性,并且构想了对于有大量像素-像素切换的图像,可通过相位机制110达到更强的抖动容限。
在一个实施例中,由于时钟和相位可与高频信号高度相关且与低频信号不是很相关,可使用锐度逻辑210生成锐度优化。例如在一些实施例中,锐度逻辑210可使用高频分量能量(HFCE)来计算相位的锐度优化。以下方程式定义了HFCE并可由锐度函数模块212使用来获得任何数量的相位候选的锐度函数(HFCE(k)):
如果(|-p′i,j-1+2*p′i,j-p′i,j+1|>hf_threshold)
hfcei,j=|-p′i,j-1+2*p′i,j-p′i,j+1|;;
否则
hfcei,j=0;;
一旦获得了锐度函数,则锐度优化逻辑210可使用例如以下方程式使用可用的锐度函数来计算各种相位候选的锐度优化:Maxmize(HFCE(k)),0≤k<32。其中i和j分别表示针对HxV图像分辨率的线计数和列计数。Pi,j表示像素值,而hf_threshold(hf_阈值)表示可编程寄存器设置。基于由前述方程式阐述的标准,可内部挑出相位候选,而有快速像素-像素切换的图像可生成比有慢速切换的图像更高的HFCE。
而且,如果由于跨多个相位候选的不对称锐度分布,有最大HFCE的最锐相位不是最干净的一个(例如,包含低阶、但明显的噪声,其可以使显示不如期望的那么安静),则可在相位排序之后执行清洁过程以保证经选择的相位候选落入相对安静的周边区域。这可表示图像锐度和周边区域一致性之间的折衷。
基于APD优化标准,为了扫描通过所有相位候选,计算过程可能花大概一秒钟结束。然而,在此计算期间,经选择的图像可突然改变,且APD关于静止图像的假设也可处于改变的危险中。为了避免或解决此类情况,图像的图像一致性是使用一致性逻辑214基于由能量模块216确定的能量函数在相位检测过程期间监视的。基础能量函数可使用能量模块216和例如以下方程式通过总和像素值计算或近似:其中afce表示全频率分量能量(AFCE),i和j分别表示线计数和列计数。一般而言,对于每个APD计算,如果输入图像保持静止,则AFCE的分布范围可相对较小。例如,如果分布与特定阈值(例如,预定义阈值)相比太宽,则暗示突然的输入图像改变且由此可认为图像是不一致的。分布可由例如以下方程式归一化和测量:[Max(AFCE)-Min(AFCE)]/Max(AFCE),其中Max(AFCE)和Min(AFCE)在同一APD计算期间分别表示最大AFCE和最小AFCE。进一步使用一致性逻辑214,阈值可由寄存器(例如,reg_csst_thresh[1:0])控制,而一致性可由寄存器位(例如,reg_apd_img_csst)来反映。
在一个实施例中,图像合适性逻辑218可用来检查经选择图像的边强度。如果边的数量等于或多于特定(例如,预定义的)阈,则可认为图像是合适的;相反,如果边的数量少于阈,则可确定图像为不合适。使用合适性逻辑218,阈可由寄存器(例如,reg_edg_thresh[1:0])控制,而合适性可由寄存器位(例如,reg_apd_img_suitable)来反映。
基于图像静止(如根据由图像一致性逻辑214所获得的图像一致性评估而确定的)并适合(如根据由图像合适性逻辑218所获得的图像合适性评估而确定的)用于相位检测的条件,最优相位候选由锐度优化(如使用锐度优化逻辑210所获得的)和稳定性优化(如使用稳定性优化逻辑204所获得的)两者决定。在一个实施例中,选择最优相位,因其可相对应于稳定性和锐度的最高水平。
在一个实施例中,在稳定性和锐度之间有任何冲突的情况中,如果测试中的图像有大量的像素-像素切换并且是抖动敏感的(例如,gray_11(灰度_11)模式),则相位的稳定性优化可有利于锐度优化以保证可能被认为比其他因素更重要的抖动容限。相反,对于有较少像素-像素切换的图像或者那些对抖动较不敏感的,锐度优化可以是优选的并被应用。换言之,理想的相位将是具有最好的稳定性和锐度水平、在抖动容限方面很强的那个,从而可将最好的可能的图像提供给用户,但在APD过程可能不得不在稳定性和锐度之间协商的情况中,最优经选择相位可对应于从最好的图像周边区域选择的图像(如可在图上看到的),该最好的图像周边区域提供与已知的人类视觉感知的最强关联。
而且,在一个实施例中,握手逻辑220可用来助益相位机制110的各种过程或组件之间的握手。例如,与当前相位相关联的中断可在此处生成,而相位机制100的各种组件可收集相关数据,并且,一旦过程完成,中断就将被清除且状态可切换到另一过程。
通信组件222可用来助益各种媒体设备之间的通信,各种媒体设备诸如不同品牌、型号、版本、机制等的源设备、阱设备、中间设备/模数转换器等。通信组件222还提供各种模块以助益相位机制110的各种组件202-224之间以及与和通过可能是各种媒体设备的一部分的某些默认通信组件(诸如接收器、发射器、模数转换器、音频-视频转换器等之类)的通信。类似地,兼容性模块224助益媒体设备之间的兼容性,媒体设备诸如不同品牌、型号、版本、机制等的设备、阱设备、中间设备/模数转换器等,并且不限于任何特定数量或类型的媒体设备、计数、组件、标准、音频/视频格式、音频和视频信号类型、硬件、连接、软件、装备(诸如显示器、电线、连接等)等之类。应注意和理解,对“电视”或其他类型媒体设备的任何引用都是作为推进简洁、清晰和易于理解的示例而做出的,并且本发明的实施例不限于特定类型、品牌或媒体设备和/或他们的组件的数量。
图3解说了用于根据一个实施例的动态相位检测的方法。方法300可由处理逻辑执行,该处理逻辑可包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(诸如在处理设备上运行的指令)、或其组合(诸如固件或硬件设备内的功能电路)。在一个实施例中,步骤300由图1的动态相位检测机制110来执行。
方法300在框305处开始,在那里从数个和数类型的输入图像选择图像,以选择最优相位来表示图像。在框310处,执行第一计算以通过在经选择的图像的每个相位的连续帧上测试各个像素点来确定关于图像的每个相位的稳定性优化。在框315处,执行第二计算以确定锐度优化。
在框320处,执行图像一致性评估和合适性评估。在一个实施例中,图像一致性和合适性评估独立于稳定性和锐度优化,同时一致性和合适性评估可确定APD优化在较高系统级别是否有效以及是否可应用。如果确定图像是不一致的或不合适的,则可忽略任何APD优化结果。在325处,在一个实施例中,通过使用用于确定稳定性、锐度、一致性评估和合适性评估的前述计算,选择最优相位。构想了经选择的图像不必是在稳定性或锐度的每一个都是最优的,但其可来自所有图像的最好的周边区域,其中可对一些因素出某些妥协,诸如稳定性超过锐度或反之亦然等。在框330处,图像被传送以由用户具有显示设备查看。显示设备(例如显示屏)可耦合至阱设备(例如,电视、计算设备)或者是阱设备的一部分以基于最优相位显示图像。在一个实施例中,经选择的最优相位表示以最好的可能的方式提供或显示图像的相位,该最好的可能的方式具有强抖动容限并与已知的人类视觉感知一致,从而用户可用理解和欣赏处于最高水平并处于自然的形式的图像。
图4解说了根据一个实施例的采用图1的动态相位检测机制110的网络计算机设备405的组件。在此解说中,网络设备405可以是网络中的任何设备,包括但不限于:计算设备、网络计算系统、电视机、有线机顶盒、无线电、蓝光播放器、DVD播放器、CD播放器、放大器、音频/视频接收器、智能电话、个人数字助理(DGA)、存储单元、游戏控制台、或其他媒体设备。在一些实施例中,网络设备405包括网络单元410以提供网络功能。网络管理包括但不限于:媒体内容流的生成、传输、存储和接收。网络单元410可实现为单个片上系统(SoC)或多个组件。
在一些实施例中,网络单元410包括用于数据处理的处理器。数据处理可包括媒体数据流的生成、媒体数据流在传输或存储中的操纵、为供使用的媒体数据流的解密和解码。网络设备也可包括支持网络操作的存储器,诸如动态随机访问存储器(DRAM)420或其他类似存储器和闪存425或其他非易失性存储器。网络设备405也可包括只读存储器(ROM)和/或由处理器415使用的静态信息和指令的其他静态存储设备。
诸如磁盘或光碟和其相对应驱动器的数据存储设备也可耦合至网络设备405用于存储信息和指令。网络设备405也可经由I/O接口耦合至输入/输出(I/O)总线。多个I/O设备也可耦合至I/O总线,包括显示设备、输入设备(例如,字母数字输入设备和/或光标控制设备)。网络设备405可包括或耦合至用于经由外部数据网络访问其他计算机(服务器或客户端)的通信设备。通信设备可包括调制解调器、网络接口卡、或其他公知的接口设备,诸如那些用于耦合至以太网、令牌环、或其他类型的网络的。
网络设备405也可包括分别用于具有一个或多个网络接口455在网络上发送数据或从网络接收数据的发射器430和/或接收器440。网络设备405可以与采用图1的相位机制110的图1的通信媒体设备100一样。发射器430或接收器440可连接至有线传输电缆(包括,例如,以太网电缆450、同轴电缆)或无线单元。发射器430或接收器440可与一个或多个列(诸如用于数据传输的列435和用于数据接收的列445)一起耦合至网络单元410用于数据传输和控制信号。也可存在附加连接。网络设备405也可包括此处未解说的用于设备的媒体操作的众多组件。
网络设备405可在客户端/服务器网络系统或通信媒体网络(诸如卫星或有线广播)中互连。网络可包括通信网络、电信网络、局域网(LAN)、广域网(WAN)、城域网(MAN)、个人区域网(PAN)、内联网、互联网等。构想了可存在任何数量的设备经由网络连接。设备可经由数种标准和非标准协议向网络系统中的其他设备传输数据流,诸如流媒体数据。
在以上描述中,为解释起见,阐明了众多具体细节以提供对本发明的全面理解。然而对于本领域技术人员显而易见的是,没有这些具体细节也可实践本发明。在其他实例中,公知的结构和设备以框图形式示出。在所解说的组件之间可以有中间结构。本文所描述或解说的组件可以有未解说或描述的附加输入或输出。
本发明的各种实施例可包括各种过程。这些过程可由硬件组件执行或可用计算机程序或机器可执行指令体现,计算机程序或机器可执行指令可用来导致用所述指令编程的通用或专用处理器或逻辑电路执行所述过程。替换性地,所述过程可由硬件和软件的组合来执行。
贯穿贯穿本文档描述的一个或多个模块、组件或元素(诸如在DRAM增强机制内或与其关联而示出的那些)可包括硬件、软件、和/或其组合。在模块包括软件的情况中,软件、软件数据、指令、和/或配置可由机器/电子设备/硬件经由制品提供。制品可包括具有提供指令、数据等的内容的机器可访问/可读介质。
本发明的各种实施例的部分可作为计算机程序产品而提供,计算机程序产品可包括有计算机程序指令存储于其上的计算机可读介质,所述指令可用来对计算机(或其他电子设备)编程以根据本发明的实施例执行过程。机器可读介质可包括但不限于:软盘、光盘、紧致盘只读存储器(CD-ROM)、以及磁光盘、只读存储器(ROM)、随机访问存储器(RAM)、可擦除可编程只读存储器(EPROM)、EEPROM、磁或光卡、闪存、或适用于存储电子指令的其他类型的媒体/机器可读介质。而且,本发明也可作为计算机程序产品而下载,其中程序可从远程计算机传输到进行请求的计算机。
用其最基本的形式描述了许多方法,但可向任何方法添加或从任何方法删除过程,且可从任何所述消息添加或减去信息而不偏离本发明的基本范围。对本领域技术人员将显而易见的是可以进行许多进一步的修改和改编。提供特定实施例不是为了限制本发明而是为了说明本发明。本发明的实施例的范围不是由以上提供的具体示例而只是由以下的权利要求书确定。
如果说元素“A”耦合至元素“B”或与元素“B”耦合,则元素A可直接耦合至元素B或通过例如元素C间接耦合。当说明书或权利要求书陈述组件、特征、结构、过程或特性A“导致”组件、特征、结构、或特性B时,这意味着“A”至少是“B”的部分原因但也可有至少一个其他组件、特征、结构、过程或特性帮助导致“B”。如果说明书指示组件、特征、结构、过程、或特性“可以”、“可”、或“能够”被包括,则该特定组件、特征、结构、过程、或特性不要求被包括。如果说明书或权利要求书引用“一”或“一个”元素,这不意味着仅存在一个所述元素。
实施例是本发明的实现或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性包括在至少一些实施例但不必是全部实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不必都指相同的实施例。应理解,出于将本公开连成一个整体并帮助理解各种发明性方面的一个或多个的目的,在前述本发明的示例性实施例的描述中各种特征有时在单个实施例、图或其描述中组合在一起。然而此公开的方法将不被解释为反映所要求保护的发明要求比每个权利要求中明确陈述的更多的特征的意图。相反,如以下权利要求书所反映的,发明性方面存在于比单个前述已公开实施例的所有特征少的特征中。从而,据此将权利要求明确地结合进本描述中,其中每个权利要求独立地代表本发明的一个单独的实施例。
Claims (20)
1.一种用于时钟相位检测的装置,所述装置包括:
第一逻辑,用于在第一时钟相位跨两个或者更多个连续图像帧生成媒体流的图像的第一稳定性优化,并在第二时钟相位跨所述两个或者更多个连续图像帧生成第二稳定性优化,其中所述第一稳定性优化是基于所述两个或者更多个连续图像帧中的第一图像帧的像素和所述两个或者更多个连续图像帧中的第二图像帧的对应物像素之间的计算的像素强度差异来生成的;以及
第二逻辑,用于基于所述第一稳定性优化和所述第二稳定性优化从至少所述第一时钟相位和所述第二时钟相位之间选择时钟相位,其中所选择的时钟相位助益所述媒体流从模拟到数字的转换。
2.如权利要求1所述的装置,还包括:
第三逻辑,用于在所述第一时钟相位生成所述图像的第一锐度优化,并在所述第二时钟相位生成所述图像的第二锐度优化,其中所述第二逻辑还基于所述第一锐度优化和所述第二锐度优化在至少所述第一时钟相位和所述第二时钟相位之间选择所述时钟相位。
3.如权利要求2所述的装置,其中所述第三逻辑基于所述图像的高频分量能量生成所述第一锐度优化和所述第二锐度优化。
4.如权利要求1所述的装置,还包括:
第三逻辑,用于通过计算所述图像的像素值的和来评估所述图像的图像一致性;以及
第四逻辑,用于通过检查所述图像的边强度来评估所述图像的图像合适性。
5.如权利要求1所述的装置,其中所述第二逻辑还从所述媒体流中的多个图像扫描并选择所述图像,其中所选择的图像表示将被分析以供基于预先确定的标准在至少所述第一时钟相位和所述第二时钟相位之间选择的理想图像。
6.如权利要求1所述的装置,其中所述第一逻辑从所述图像中的像素的随机选择的子集生成所述第一稳定性优化和所述第二稳定性优化。
7.一种用于时钟相位检测的方法,所述方法包括:
在媒体设备处在第一时钟相位跨两个或者更多个连续图像帧生成媒体流的图像的第一稳定性优化,并在第二时钟相位跨所述两个或者更多个连续图像帧生成第二稳定性优化,其中所述第一稳定性优化是基于所述两个或者更多个连续图像帧中的第一图像帧的像素和所述两个或者更多个连续图像帧中的第二图像帧的对应物像素之间的计算的像素强度差异来生成的;以及
基于所述第一稳定性优化和所述第二稳定性优化从至少所述第一时钟相位和所述第二时钟相位之间选择时钟相位,其中所选择的时钟相位助益所述媒体流从模拟到数字的转换。
8.如权利要求7所述的方法,还包括:在所述第一时钟相位生成所述图像的第一锐度优化,并在所述第二时钟相位生成所述图像的第二锐度优化,其中在至少所述第一时钟相位和所述第二时钟相位之间选择所述时钟相位还基于所述第一锐度优化和所述第二锐度优化。
9.如权利要求8所述的方法,其中所述第一锐度优化和所述第二锐度优化是基于所述图像的高频分量能量生成的。
10.如权利要求7所述的方法,还包括从所述媒体流中的多个图像扫描并选择所述图像,其中所选择的图像表示将被分析以供基于预先确定的标准在至少所述第一时钟相位和所述第二时钟相位之间选择的理想图像。
11.如权利要求7所述的方法,还包括:
通过计算所述图像的像素值的和来评估所述图像的图像一致性;以及
通过检查所述图像的边强度来评估所述图像的图像合适性。
12.如权利要求7所述的方法,其中所述第一稳定性优化和所述第二稳定性优化是从所述图像中的像素的随机选择的子集生成的。
13.一种用于时钟相位检测的装置,所述装置包括:
第一逻辑,用于在第一时钟相位生成媒体流的图像的第一锐度优化,并在第二时钟相位生成所述图像的第二锐度优化,其中每个锐度优化是基于所述图像的高频分量能量生成的;以及
第二逻辑,用于基于所述第一锐度优化和所述第二锐度优化从至少所述第一时钟相位和所述第二时钟相位之间选择时钟相位,其中所选择的时钟相位助益所述媒体流从模拟到数字的转换。
14.如权利要求13所述的装置,还包括:
第三逻辑,用于在所述第一时钟相位跨两个或者更多个连续图像帧生成所述图像的第一稳定性优化,并在所述第二时钟相位跨所述两个或者更多个连续图像帧生成第二稳定性优化,其中所述第二逻辑还基于所述第一稳定性优化和所述第二稳定性优化在至少所述第一时钟相位和所述第二时钟相位之间选择所述时钟相位。
15.如权利要求14所述的装置,其中所述第三逻辑从所述图像中的像素的随机选择的子集生成所述第一稳定性优化和所述第二稳定性优化。
16.如权利要求13所述的装置,还包括:
第三逻辑,用于通过计算所述图像的像素值的来和评估所述图像的图像一致性;以及
第四逻辑,用于通过检查所述图像的边强度来评估所述图像的图像合适性。
17.一种用于时钟相位检测的方法,所述方法包括:
在媒体设备处,在第一时钟相位生成媒体流的图像的第一锐度优化,并在第二时钟相位生成所述图像的第二锐度优化,其中每个锐度优化是基于所述图像的高频分量能量生成的;以及
基于所述第一锐度优化和所述第二锐度优化从至少所述第一时钟相位和所述第二时钟相位之间选择时钟相位,其中所选择的时钟相位助益所述媒体流从模拟到数字的转换。
18.如权利要求17所述的方法,进一步包括:在所述第一时钟相位跨两个或者更多个连续图像帧生成所述图像的第一稳定性优化,并在所述第二时钟相位跨所述两个或者更多个连续图像帧生成第二稳定性优化,其中在至少所述第一时钟相位和所述第二时钟相位之间选择所述时钟相位还基于所述第一稳定性优化和所述第二稳定性优化。
19.如权利要求18所述的方法,其中所述第一稳定性优化和所述第二稳定性优化是从所述图像中的像素的随机选择的子集生成的。
20.如权利要求17所述的方法,还包括:
通过计算所述图像的像素值的和来评估所述图像的图像一致性;以及
通过检查所述图像的边强度来评估所述图像的图像合适性。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2013/070826 WO2014113915A1 (en) | 2013-01-22 | 2013-01-22 | Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105122305A CN105122305A (zh) | 2015-12-02 |
CN105122305B true CN105122305B (zh) | 2018-10-30 |
Family
ID=51207391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380074979.0A Active CN105122305B (zh) | 2013-01-22 | 2013-01-22 | 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8941780B2 (zh) |
CN (1) | CN105122305B (zh) |
TW (1) | TWI575955B (zh) |
WO (1) | WO2014113915A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014113915A1 (en) * | 2013-01-22 | 2014-07-31 | Silicon Image, Inc. | Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams |
CN106791276B (zh) * | 2016-12-20 | 2019-12-10 | 湖南国科微电子股份有限公司 | 一种视频及图形信号自动相位检测方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1599252A (zh) * | 2003-09-16 | 2005-03-23 | 三星电子株式会社 | 对多个模拟信号进行采样的装置 |
CN1825794A (zh) * | 2005-02-24 | 2006-08-30 | 美国博通公司 | 确定最优采样相位的网络设备和方法 |
CN101267495A (zh) * | 2007-03-14 | 2008-09-17 | 松下电器产业株式会社 | 相位调整装置、相位调整方法及数码相机 |
CN101874379A (zh) * | 2007-11-28 | 2010-10-27 | 三菱电机株式会社 | 比特识别电路 |
CN102404101A (zh) * | 2010-09-15 | 2012-04-04 | 索尼公司 | 相位调整电路、接收装置和通信系统 |
CN102520404A (zh) * | 2011-11-30 | 2012-06-27 | 北京理工大学 | 一种基于图像质量最优的sar多普勒模糊数估计方法 |
US8233769B2 (en) * | 2008-09-01 | 2012-07-31 | Sony Corporation | Content data processing device, content data processing method, program, and recording/ playing device |
CN102708567A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529613B1 (en) * | 1996-11-27 | 2003-03-04 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
CN1196091C (zh) * | 1998-07-10 | 2005-04-06 | 奥龙电子有限公司 | 用于产生灰度分级的交流等离子体显示板驱动方法 |
US6798919B2 (en) * | 2000-12-12 | 2004-09-28 | Koninklijke Philips Electronics, N.V. | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
US6876381B2 (en) * | 2001-01-10 | 2005-04-05 | Koninklijke Philips Electronics N.V. | System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics |
US7050097B2 (en) * | 2001-11-13 | 2006-05-23 | Microsoft Corporation | Method and apparatus for the display of still images from image files |
US6856358B1 (en) * | 2002-01-16 | 2005-02-15 | Etron Technology, Inc. | Phase-increase induced backporch decrease (PIBD) phase recovery method for video signal processing |
US7023470B2 (en) * | 2002-01-22 | 2006-04-04 | Hewlett-Packard Development Company, L.P. | Self-testing video display devices and method of use thereof |
US7973740B2 (en) * | 2004-04-21 | 2011-07-05 | Bridgestone Corporation | Method of driving information display device |
KR100648308B1 (ko) * | 2004-08-12 | 2006-11-23 | 삼성전자주식회사 | 해상도 변환방법 및 장치 |
US7760956B2 (en) * | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
JP4470899B2 (ja) * | 2006-03-16 | 2010-06-02 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8126197B2 (en) * | 2007-11-29 | 2012-02-28 | Certifi-Media Inc. | Method for image quality assessment using quality vectors |
JP5476879B2 (ja) * | 2008-09-29 | 2014-04-23 | ソニー株式会社 | 画像処理装置および係数学習装置。 |
US9894361B2 (en) * | 2009-03-31 | 2018-02-13 | Citrix Systems, Inc. | Framework for quality-aware video optimization |
DE102009046114B4 (de) * | 2009-10-28 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion |
JP2013003892A (ja) * | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
US9554042B2 (en) * | 2012-09-24 | 2017-01-24 | Google Technology Holdings LLC | Preventing motion artifacts by intelligently disabling video stabilization |
WO2014113915A1 (en) * | 2013-01-22 | 2014-07-31 | Silicon Image, Inc. | Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams |
-
2013
- 2013-01-22 WO PCT/CN2013/070826 patent/WO2014113915A1/en active Application Filing
- 2013-01-22 CN CN201380074979.0A patent/CN105122305B/zh active Active
- 2013-01-22 US US14/115,324 patent/US8941780B2/en active Active
- 2013-11-14 TW TW102141530A patent/TWI575955B/zh active
-
2014
- 2014-12-15 US US14/570,817 patent/US9392145B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1599252A (zh) * | 2003-09-16 | 2005-03-23 | 三星电子株式会社 | 对多个模拟信号进行采样的装置 |
CN1825794A (zh) * | 2005-02-24 | 2006-08-30 | 美国博通公司 | 确定最优采样相位的网络设备和方法 |
CN101267495A (zh) * | 2007-03-14 | 2008-09-17 | 松下电器产业株式会社 | 相位调整装置、相位调整方法及数码相机 |
CN101874379A (zh) * | 2007-11-28 | 2010-10-27 | 三菱电机株式会社 | 比特识别电路 |
US8233769B2 (en) * | 2008-09-01 | 2012-07-31 | Sony Corporation | Content data processing device, content data processing method, program, and recording/ playing device |
CN102404101A (zh) * | 2010-09-15 | 2012-04-04 | 索尼公司 | 相位调整电路、接收装置和通信系统 |
CN102520404A (zh) * | 2011-11-30 | 2012-06-27 | 北京理工大学 | 一种基于图像质量最优的sar多普勒模糊数估计方法 |
CN102708567A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
Also Published As
Publication number | Publication date |
---|---|
US8941780B2 (en) | 2015-01-27 |
TWI575955B (zh) | 2017-03-21 |
CN105122305A (zh) | 2015-12-02 |
US20150097972A1 (en) | 2015-04-09 |
WO2014113915A1 (en) | 2014-07-31 |
US9392145B2 (en) | 2016-07-12 |
US20140204222A1 (en) | 2014-07-24 |
TW201431379A (zh) | 2014-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102004637B1 (ko) | 비디오 프로그램의 세그먼트 검출 | |
US8836728B2 (en) | Techniques to magnify images | |
CN107621932B (zh) | 显示图像的局部放大方法和装置 | |
CN109492607B (zh) | 一种信息推送方法、信息推送装置及终端设备 | |
CN104023181A (zh) | 信息处理方法及装置 | |
JP6505327B2 (ja) | ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体 | |
CN114286172B (zh) | 数据处理方法及装置 | |
KR20220123073A (ko) | 이미징 프로세싱 방법 및 장치 | |
JP2018531564A6 (ja) | ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体 | |
CN111031359B (zh) | 视频播放方法、装置、电子设备和计算机可读存储介质 | |
CN109743566A (zh) | 一种用于识别vr视频格式的方法与设备 | |
CN105122305B (zh) | 用于助益有对媒体流的图像的高抖动容限的动态相位检测的机制 | |
US7936936B2 (en) | Method of visualizing a large still picture on a small-size display | |
JP5378883B2 (ja) | 画像処理装置および画像処理方法 | |
WO2017102389A1 (en) | Display of interactive television applications | |
CN101573962A (zh) | 电影节奏检测 | |
CN111917986A (zh) | 图像处理方法及其介质和电子设备 | |
US20200344444A1 (en) | Data transmission method, camera and electronic device | |
CN110865911B (zh) | 图像测试方法、装置、存储介质、图像采集卡及上位机 | |
CN111885417A (zh) | Vr视频播放方法、装置、设备以及存储介质 | |
CN114630134B (zh) | 一种针对新增码流的处理方法和系统 | |
CN106033622B (zh) | 一种数据采集及目标对象的重建方法、装置 | |
CN112073261B (zh) | 数据处理方法、系统及装置 | |
CN111292245A (zh) | 图像处理方法和装置 | |
CN111510370B (zh) | 内容处理方法及装置、计算机介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |