CN112771569A - 图片的分辨率 - Google Patents
图片的分辨率 Download PDFInfo
- Publication number
- CN112771569A CN112771569A CN201880097773.2A CN201880097773A CN112771569A CN 112771569 A CN112771569 A CN 112771569A CN 201880097773 A CN201880097773 A CN 201880097773A CN 112771569 A CN112771569 A CN 112771569A
- Authority
- CN
- China
- Prior art keywords
- signal
- picture
- power
- determining
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims description 381
- 238000000034 method Methods 0.000 claims description 201
- 230000015654 memory Effects 0.000 claims description 44
- 238000003860 storage Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 25
- 238000012952 Resampling Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 116
- 230000006870 function Effects 0.000 description 60
- 238000010586 diagram Methods 0.000 description 45
- 230000005540 biological transmission Effects 0.000 description 23
- 238000001228 spectrum Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 14
- 230000001413 cellular effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001125671 Eretmochelys imbricata Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004271 bone marrow stromal cell Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- RGNPBRKPHBKNKX-UHFFFAOYSA-N hexaflumuron Chemical compound C1=C(Cl)C(OC(F)(F)C(F)F)=C(Cl)C=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F RGNPBRKPHBKNKX-UHFFFAOYSA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
通过一直重复确定第一残余信号和第二残余信号的第一信号功率和第二信号功率以及第一信号功率与第二信号功率的功率比,直到功率比(γ)超过阈值(T)为止,来确定图片(10)的分辨率。输入信号被初始设置为图片(10)的像素值。第一残余信号表示输入信号及其半带滤波版本之间的差,第二残余信号表示重采样信号及其半带滤波版本之间的差。重采样信号是输入信号的下采样和半带滤波版本。如果γ≤T,输入信号被设置为重采样信号。然后,当γ>T时,该分辨率基于所设置的输入信号的分辨率来被确定。
Description
技术领域
本发明总体上涉及用于确定图片的分辨率的方法、设备、计算机程序以及载体。
背景技术
大多数当前的图像和视频处理应用将输入图像或视频分辨率用作不变的特征,并且在没有任何大小调整的情况下执行处理操作。如果整个处理链(例如预滤波、压缩、解压缩以及显示)应使用相同的分辨率和/或当由于重采样导致图像或视频质量下降应被避免时,这是最佳选择。
通过放宽上述约束并允许在处理流水线的各个阶段进行重新缩放操作,可以获得大量益处,包括但不限于:
·减少计算成本和资源,例如获得某些图像或视频处理算法的“实时性能”;
·在失真与比特成本之间进行交换,例如,在可缩放图像或视频压缩系统中首先使用低分辨率层进行编码或传输;
·避免处理从人眼视觉系统(HVS)角度来看并不重要的图像或视频细节,例如,避免处理由于显示距离和/或尺寸或显示器而看不见的细节;以及
·避免处理不添加任何新信息的图像或视频细节,例如,如果原始内容在处理流水线中的某个点被放大(upscaled),则从信息内容的角度来看,其可被缩小(downscaled)回原始内容被获取或制作时的分辨率,而不会造成任何信息丢失。
上述优点突出了知晓任何给定处理任务的最佳分辨率的重要性。但是,在某些情况下,图像或视频的这种最佳分辨率是未知的,例如,只能访问最后图像或视频处理阶段的输出,而不能访问分辨率信息。为了获得分辨率,可以使用功率谱估计技术来估计图像或视频信号中存在的最大频率。这涉及最方便地使用基于非参数的快速傅里叶变换(FFT)的估计或基于参数的方法(例如Burg方法)来执行二维(2D)功率谱估计。这需要从2D空间域到2D频域的转换,这对于高分辨率图像或视频(例如3840×2160图像或视频帧)可能是一项耗时的操作。此外,自然图像的功率谱与1/|f|2成比例,这使得很难识别任何不连续性。另外,反比例关系仅在平均时成立,而在自然出现的图像和视频中可以观察到较大的变化。功率谱随信号功率而变化,因此简单的基于阈值的识别频谱中最大频率的方法是不可靠的。
获得分辨率的另一种技术是基于以不同的比例来处理图像或视频信号并在处理流水线的末端对结果进行合并。这种方法完全避免了分辨率识别问题,而是将该问题转移到处理流水线的末端,在处理流水线的末端,处理结果被合并成一个最终结果。这种合并可能适用于某些应用类型,例如,合并以不同比例计算的质量得分,但对于需要识别分辨率的应用来说,这种合并不是通用解决方案。
因此,需要快速而可靠地确定诸如静止图像或视频序列帧之类的图片的分辨率,以及其中这种分辨率的信息可被用于各种图片处理应用中。
发明内容
总体目标是提供对图片的分辨率的快速可靠的确定。
该目标和其他目标通过本发明的各个方面以及本文所公开的实施例来实现。
本发明的一个方面涉及一种确定图片的分辨率的方法。在此方法中,输入信号被初始设置为所述图片的像素值。所述方法包括执行第一信号功率和第二信号功率以及功率比的确定,直到所述功率比超过阈值为止。所述第一信号功率被确定为表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的信号功率。所述第二信号功率被确定为表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的信号功率。所述重采样信号是所述输入信号的半带滤波版本的下采样版本。所述功率比基于所述第一信号功率和所述第二信号功率来确定。如果所述功率比等于或低于所述阈值,所述输入信号被设置为等于所述重采样信号。所述方法还包括:当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片的分辨率。
本发明的另一方面涉及一种处理图片的方法。所述方法包括根据以上所述来确定所述图片的分辨率。所述方法还包括处理所述图片的具有与所述分辨率相对应的分辨率的版本以获得处理结果。
本发明的另一方面涉及一种处理图片的方法。所述方法包括处理所述图片和所述图片的至少一个缩小版本以获得相应的处理结果。所述方法还包括根据以上所述来确定所述图片的分辨率。所述方法还包括基于所述分辨率在所述相应的处理结果中选择处理结果。
本发明的另一方面涉及一种处理图片的方法。所述方法包括处理所述图片和所述图片的至少一个缩小版本以获得相应的处理结果。所述方法还包括根据以上所述来确定所述图片的分辨率。所述方法还包括基于所述分辨率来确定所述相应的处理结果的权重。所述方法还包括通过用所确定的权重对所述相应的处理结果进行加权来确定所述图片的处理结果。
本发明的一个方面涉及一种用于确定图片的分辨率的设备。输入信号被初始设置为所述图片的原始信号,所述设备被配置为执行以下操作直到功率比超过阈值为止。所述设备被配置为确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。所述设备被配置为确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。所述重采样信号是所述输入信号的半带滤波版本的下采样版本。所述设备还被配置为基于所述第一信号功率和所述第二信号功率来确定所述功率比。所述设备还被配置为如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号。一旦所述功率比超过所述阈值,所述设备被配置为在所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片的分辨率。
本发明的另一方面涉及一种用于处理图片的设备。所述设备包括根据以上所述的用于确定所述图片的分辨率的设备和被配置为处理所述图片的具有与所述分辨率相对应的分辨率的版本以获得处理结果的设备。
本发明的另一方面涉及一种用于处理图片的设备。所述设备包括被配置为处理所述图片和所述图片的至少一个缩小版本以获得相应的处理结果的设备。所述设备还包括根据以上所述的用于确定所述图片的分辨率的设备以及被配置为基于所述分辨率在所述相应的处理结果中选择处理结果的设备。
本发明的另一方面涉及一种用于处理图片的设备。所述设备包括被配置为处理所述图片和所述图片的至少一个缩小版本以获得相应的处理结果的设备。所述设备还包括根据以上所述的用于确定所述图片的分辨率的设备以及被配置为基于所述分辨率来确定所述相应处理结果的权重的设备。所述设备还包括被配置为通过用所确定的权重对所述相应的处理结果进行加权来确定所述图片的处理结果的设备。
本发明的相关方面定义了一种包括根据以上所述的设备的网络设备。
本发明的一个方面涉及一种包括指令的计算机程序,所述指令在由至少一个处理器执行时使得所述至少一个处理器执行以下步骤,其中,输入信号被初始设置为图片的像素值:执行以下操作直到功率比超过阈值为止:确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号。所述至少一个处理器还被使得当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片的分辨率。
本发明的相关方面定义了一种包括根据以上所述的计算机程序的载体。所述载体是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质中的一个。
本发明的各方面使得能够快速且可靠地确定图片的分辨率,在该分辨率下包含该图片的至少大部分原始内容。因此,与以图片的原始分辨率处理图片相比,以该分辨率处理图片通常不会对处理结果产生任何不利影响。分辨率的确定是基于以下特征:易于计算,相对于图片的内容类型以及被用于重新缩放图片的重采样方法而言鲁棒,以及对输入信号功率而言不变。
附图说明
通过参考以下结合附图的描述,可以最好地理解本发明的各方面及其实施例以及它们的其他目标和优点,其中:
图1示意性地示出了产生处理后的图片的图片处理;
图2是示出根据实施例的确定分辨率的方法的流程图;
图3是示出根据实施例的图2中的方法的附加可选步骤的流程图;
图4是示出根据实施例的图3中的方法的附加可选步骤的流程图;
图5是示出根据另一实施例的图3中的方法的附加可选步骤的流程图;
图6是示出根据实施例的图2中的方法的附加可选步骤的流程图;
图7是示出根据实施例的图2中的方法的附加可选步骤的流程图;
图8是示出根据实施例的图2中的方法的附加可选步骤的流程图;
图9是示出根据实施例的处理图片的方法的流程图;
图10是示出根据另一实施例的处理图片的方法的流程图;
图11是示出根据另一实施例的处理图片的方法的流程图;
图12是示出作为用于两个相关长度的信号中的最大空间频率的函数的功率比的图;
图13是示出自然图像的功率谱以及残余功率积分区域的图;
图14示意性地示出了确定功率比的实施例;
图15示意性地示出了确定功率比的另一实施例;
图16示意性地示出了确定功率比的另一实施例;
图17是根据一个实施例的用于确定分辨率的设备的框图;
图18是根据另一实施例的用于确定分辨率的设备的框图;
图19是根据另一实施例的用于确定分辨率的设备的框图;
图20示意性地示出了实施例的基于计算机程序的实现;
图21是根据又一实施例的用于确定分辨率的设备的框图;
图22是根据一个实施例的用于处理图片的设备的框图;
图23是根据另一实施例的用于处理图片的设备的框图;
图24是根据另一实施例的用于处理图片的设备的框图;
图25示意性地示出了在网络设备之间的分布式实现;
图26是根据一个实施例的具有一个或多个基于云的网络设备的无线通信系统的示例的示意图;
图27是示出根据一些实施例的无线网络的示例的示意图;
图28是示出根据一些实施例的无线设备的实施例的示例的示意图;
图29是示出由一些实施例实现的功能可以在其中被虚拟化的虚拟化环境的示例的示意框图;
图30是示出根据一些实施例的经由中间网络被连接到主机计算机的电信网络的示例的示意图;
图31是示出根据一些实施例的在部分无线连接上经由基站与用户设备进行通信的主机计算机的示例的示意图;
图32是示出根据实施例的在通信系统中实现的方法的流程图;
图33是示出根据实施例的在通信系统中实现的方法的流程图;
图34是示出根据实施例的在通信系统中实现的方法的流程图;以及
图35是示出根据实施例的在通信系统中实现的方法的流程图。
具体实施方式
在所有附图中,相同的附图标记被用于相似或对应的元件。
本发明总体上涉及分辨率确定,尤其涉及确定图片的分辨率。根据本发明确定的分辨率是这样的分辨率:在该分辨率下包含图片的全部或至少大部分原始内容。这意味着在处理应用中以该分辨率处理图片不会对处理结果具有任何明显的不利影响,因为在该分辨率下图片的相关内容仍被保持。因此,该分辨率对于图片处理应用是最佳的或至少是适合的。该分辨率由此可以被认为是固有的图片分辨率,因为它涉及对于处理是内部的、嵌入的或自然的并且在其下相关内容仍然存在于图片中的分辨率。因此,任何高于该分辨率的图片分辨率或比例可以被忽略,因为这样的图片分辨率或比例未携带任何重要的图片内容。
当没有用于图片的合适分辨率的可用信息并且因此需要确定这种分辨率时,本发明可以由此被用于处理应用中。当图片先前已经在处理链中被处理并且只有处理后的图片可用而没有分辨率信息时,可能会发生这种情况。
本文使用的图片涉及静止图像或图片以及视频流或序列的图片(有时也称为视频帧或简称为帧)。图1示意性地示出了在某个图片或视频处理应用中处理图片10、11以得到形式为处理后的图片20、21的处理结果的概念。这种处理应用的说明性但非限制性的示例包括各种滤波或预滤波应用、压缩或编码应用、解压缩或解码应用、显示应用等。
图片10包括具有相应的像素值(也称为样本值)的像素12(也称为样本)。各种颜色空间和格式均可用,并被用于表示图片10(包括视频序列1的图片10)中的像素12的颜色。此类颜色空间或格式的非限制性但说明性的示例包括:红色(R)、绿色(G)、蓝色(B),即RGB颜色;亮度(Y’)和色度(Cb,Cr)颜色,即Y’CbCr颜色;亮度(Y)和色度(X、Z)颜色,即XYZ颜色;亮度或强度(I)和色度(Ct,Cp)颜色,即ICtCp颜色。在这种情况下,本文使用的像素值可以是任何颜色分量值,例如R、G、B、Y’、Cb、Cr、X、Y、Z、I、Ct或Cp值。在特定实施例中,像素值是亮度值(Y’)或色度值(Cb或Cr)。
图2是示出确定图片10的分辨率的方法的流程图,也参见图1。该方法包括执行步骤S2至S4和S6,直到功率比超过阈值为止,这在图2中通过线L1示意性地示出。在该方法中,输入信号被初始设置为图片10的像素值。图2中的步骤S2包括:确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。步骤S3对应地包括:确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。可以以任何顺序连续地执行图2中的步骤S2和S3,即,步骤S2在步骤S3之前或步骤S3在步骤S2之前。替代地,两个步骤S2和S3可以至少部分地并行执行。
下一步骤S4包括:基于第一信号功率和第二信号功率来确定功率比。如果功率比等于或低于阈值,则在步骤S6中,输入信号被设置为等于重采样信号。该方法还包括:在步骤S7中,当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片10的分辨率。
如图2所示的方法由此包括执行步骤S2至S4和S6,直到在步骤S4中确定的功率比超过阈值(T)为止。涉及步骤S2至S4的循环的第一轮使用图片10的像素值作为输入信号,以确定步骤S2和S3中的第一信号功率和第二信号功率。如果在步骤S4中确定的功率比等于或低于阈值(例如在可选步骤S5中所检查、评估或验证的),则执行涉及步骤S2至S4的循环的第二轮。在此第二轮中,在步骤S6中,输入信号被设置为等于重采样信号。该重采样信号又是来自循环的第一轮的输入信号的半带滤波版本的下采样版本,即,图片10的像素值的半带滤波版本的下采样版本。如果在循环的第二轮中在步骤S4中确定的更新后的功率比仍等于或低于阈值,则执行涉及步骤S2至S4的循环的第三轮。在该第三轮中,在步骤S6中,输入信号被设置为等于来自循环的第二轮的重采样信号。涉及步骤S2至S4和S6的该循环由此被执行,直到在步骤S4中确定的(更新的)功率比超过阈值为止。
只要功率比等于或低于阈值,相对于第二残余信号,第一残余信号中通常没有足够的功率。相应地,输入信号应被再进一步缩小至少一次,从而步骤S2至S4被再重复至少一次。但是,一旦功率比超过阈值,则相对于第二残余信号,第一残余信号中存在显著的功率。这意味着输入信号具有适当的分辨率,并且进一步的缩小(即,下采样和半带滤波操作)是不必要的。
一旦在步骤S4中确定的功率比超过阈值,就在步骤S7中确定图片10的分辨率。在这种情况下,基于所设置的输入信号的分辨率,即基于来自涉及步骤S2至S4的循环的最新一轮的输入信号的最新版本的分辨率,来确定图片10的分辨率。如上所述,重采样信号是输入信号的半带滤波版本的下采样版本。因此,还可以基于重采样信号的分辨率来确定图片10的分辨率,因为由于是输入信号的下采样版本,所以该分辨率比输入信号的分辨率低一级。因此,在步骤S7中基于重采样信号的分辨率来确定图片10的分辨率基本上等同于基于输入信号的分辨率来确定图片的分辨率。
如此处所述,将输入信号初始设置为图片10的像素值意味着输入信号的样本被设置为等于图片10中的像素12的像素值。例如,输入信号可被定义为s(x),其中,s表示图片10中的像素12的坐标。例如,s(1)表示图片10中第一像素12的像素值,s(2)表示图片10中第二像素12的像素值,依此类推。这些坐标可被视为图片中的光栅扫描顺序(例如从上到下以及从左到右)的一维索引。替代地,这些坐标可以是包含像素12的水平和垂直位置两者的2D矢量,即s(x)=s(x,y)。
在一个实施例中,该方法包括如图2所示的附加可选步骤S1。然后,该步骤S1包括将输入信号初始设置为图片10的像素值。
在一个实施例中,该方法还包括前述的并在图2中示出的步骤S5。该步骤S5包括:确定、验证或检查在步骤S4中确定的功率比是否超过阈值,这等同于确定、验证或检查功率比是否等于或低于阈值。如果功率比超过阈值,从而不等于或低于阈值,则该方法从步骤S5继续到步骤S7。但是,如果功率比不超过阈值,即等于或低于阈值,则该方法继续进行到步骤S6。
在一个实施例中,图2中的步骤S2包括:基于第一残余信号的方差来确定第一信号功率(例如,确定第一信号功率等于第一残余信号的方差),而步骤S3对应地包括:基于第二残余信号的方差来确定第二信号功率(例如,确定第二信号功率等于第二残余信号的方差)。该实施例由此包括基于信号的方差来确定该信号的功率(优选地,确定信号的功率等于该信号的方差)。
在特定实施例中,图2中的步骤S2包括:确定第一信号功率Pr1=var(r1(x)),以及步骤S3包括:确定第二信号功率Pr2=var(r2(x))。在该特定实施例中,r1(x)表示第一残余信号而r2(x)表示第二残余信号。var(r(x))是计算信号r(x)的方差的函数。在一个实施例中, 而L表示r(x)中的像素12或样本的总数。
实施例不限于通过确定残余信号的方差来确定信号功率。还可以使用确定信号功率的其他示例。例如,可以在每个残余信号的频域中确定2D积分。这种方法通常涉及对图片10进行2D FFT、计算平方幅度以及将相应频带中的平方幅度进行求和。这在图13中示意性地示出。
在一个实施例中,该方法包括如图3所示的附加可选步骤。该方法在该步骤S12中开始或从图2中的步骤S1继续。该步骤S12包括:基于输入信号与输入信号的半带滤波版本之间的差来确定第一残余信号(例如确定第一残余信号等于输入信号与输入信号的半带滤波版本之间的差)。因此,在一个实施例中,第一残余信号r1(x)=s(x)-s1(x),其中,r1(x)表示第一残余信号,s(x)表示输入信号,以及s1(x)表示输入信号的半带滤波版本。在另一实施例中,r1(x)=f(s(x)-s1(x)),其中,f(r(x))是作用于在输入信号与输入信号的半带滤波版本之间的差的某个函数。然后,该方法继续进行到图2中的步骤S2,在步骤S2确定第一信号功率。
图4是示出图3中所示的方法的附加可选步骤的流程图。该方法在该步骤S10中开始或从图2中的步骤S1继续。该步骤S10包括:对输入信号进行半带滤波以获得输入信号的半带滤波版本。因此,在一个实施例中,s1(x)=filter(s(x)),其中,filter(r(x))表示半带滤波操作。步骤S10中的半带滤波可以根据各种实施例来执行。通常,半带滤波器是一种低通滤波器,其大约以2为因子(即,一个八度(octave))来减小信号的最大带宽。例如,半带滤波可以使用被施加于输入信号的低通抗混叠(anti-alias)滤波器。可以使用优选地具有为采样频率fs的四分之一的截止频率并且具有围绕fs/4的奇对称性的低通有限冲激响应(FIR)滤波器。这种低通滤波器的说明性但非限制性示例包括如[1]中所述的Lanczos滤波器和如[2]中所述的Goodman-Carey滤波器。该方法然后继续到图3中的步骤S12,在步骤S12中确定第一残余信号。
在一个实施例中,仅初始输入信号(即,图片10)在执行图片10的分辨率的确定时是可用的。在这种情况下,输入信号和重采样信号的半带滤波版本被优选地确定以便确定第一信号功率和第二信号功率。在其他实施例中,图片10的至少两个不同分辨率的分辨率金字塔可以是可用的。图片分辨率金字塔是包括具有各种分辨率(例如全分辨率、半分辨率、四分之一分辨率等)的图片10的数据集。然后,此类图片分辨率金字塔可以由外部过程创建,并且可以在确定分辨率时被重用。这意味着除了初始输入信号即图片10之外,重采样信号已经可用,这减轻了确定重采样信号的需要。在这样的实施例中,该方法优选地包括如图5所示的附加步骤S11。该步骤S11包括:放大重采样信号以获得输入信号的半带滤波版本。该方法然后继续到图3中的步骤S12,在步骤S12中确定第一残余信号。
在步骤S11中放大重采样信号优选包括对重采样信号进行上采样和半带滤波以获得输入信号的半带滤波版本。在特定实施例中,步骤S11中的放大包括以2为因子对重采样信号进行上采样以获得上采样后的重采样信号,然后对上采样后的重采样信号进行半带滤波以获得输入信号的半带滤波版本。
可以根据各种实施例来执行对信号进行上采样。例如,以M为因子对信号进行上采样涉及以因子M来增加信号中的样本的数量,并且通常用零填充原始样本之间的间隙。这种在原始样本之间的用零填充将引入被在上采样后执行的半带滤波所去除的频谱的重复。替代地,可以根据诸如多相(polyphase)滤波的其他类型的实现来执行放大。
因此,图4和5示出了可以用于获得输入信号的半带滤波版本的两个不同的实施例。在图4中,通过对输入信号进行半带滤波来获得输入信号的半带滤波版本,而在图5中,通过对重采样信号进行放大来获得输入信号的半带滤波版本。图4中的前一个实施例尤其适用于只有初始输入信号(即,图片10)可用的情况,而图5的后一个实施例可以在输入信号和重采样信号都可用时使用,例如形成外部创建的图片分辨率金字塔的一部分。
图6是示出图2中所示的方法的附加可选步骤的流程图。在一个实施例中,该方法包括附加的步骤S22,步骤22包括:基于重采样信号与重采样信号的半带滤波版本之间的差来确定第二残余信号。该步骤S22可以在图2中的步骤S2之前、之后被执行或至少基本上与图2中的步骤S2并行地被执行。因此,在一个实施例中,第二残余信号r2(x)=sr(x)-s2(x),其中,r2(x)表示第二残余信号,sr(x)表示重采样信号,s2(x)表示重采样信号的半带滤波版本。在另一实施例中,r2(x)=g(sr(x)-s2(x)),其中,g(r(x))是作用于重采样信号与重采样信号的半带滤波版本之间的差的某个函数。与函数f(r(x))相比,该函数g(r(x))可以是相同的函数或不同的函数。然后该方法继续进行到图2中的步骤S3,在步骤S3中,确定第二信号功率。
在一个实施例中,该方法还包括如图6所示的可选步骤S20。该步骤S20包括:对输入信号的半带滤波版本进行下采样以获得重采样信号。因此,在一个实施例中,sr(x)=down(s1(x)),其中,down(r(x))表示下采样操作。通常,按照因子M对信号进行下采样意味着仅信号中的每个第M个样本被保留。在一个实施例中,步骤S20中的下采样优选地是按照因子2的下采样,这意味着输入信号的半带滤波版本的每隔一个样本被保留以获得重采样信号。
在数字信号处理中,抽取(decimation)是降低信号的采样率的过程。当对信号的样本序列执行抽取时,它产生通过以低速率对该信号进行采样将获得的序列的近似物。抽取通常是一个两步过程,该过程涉及用低通滤波器(例如半带滤波器)减少高频信号分量,以及按照因子M对滤波后的信号进行下采样。
因此,在一个实施例中,输入信号经历了这样的抽取处理,因为输入信号优选地在图4的步骤S10中被半带滤波并且输入信号的半带滤波版本然后在图6的步骤S20中被下采样以产生重采样信号。因此,重采样信号可被视为输入信号的抽取版本或缩小版本。
图6还示出了该方法的另一可选步骤。该可选步骤S21包括:对重采样信号进行半带滤波以获得重采样信号的半带滤波版本。因此,在一个实施例中,s2(x)=filter(sr(x))。优选地,如先前结合图4中的步骤S10所描述的那样执行该步骤S21。然后该方法继续进行到图6中的步骤S22,在步骤S22中确定第二残余信号。
在一个实施例中,图2的步骤S4包括:基于第一信号功率与第二信号功率之间的比来确定功率比(例如确定功率比等于第一信号功率与第二信号功率之间的比)。因此,在一个实施例中,其中,γ表示功率比。在另一个实施例中,对于某个函数h(x),
考虑自然图片的一维功率谱:
其中,P0是信号功率,ω是一维空间频率,以及α是被引入以避免ω=0处的奇异性(singularity)的小的正常数(positive constant)。通过将上述表达式积分到最大频率Ω,带限(band-limited)信号功率变为:
考虑理想的半带滤波器,即,直通所有频率至最大信号频率的一半,并去除上面信号上的其余部分。这是任何无混叠调整大小操作的先决条件,因此操作将恰好在重采样阶段(例如分辨率降低)之前被完成。
因为假设滤波器是理想的,所以滤波后的信号直到Ω/2将具有相同的频谱,并且然后直到Ω将为零。从原始信号中减去这样的信号产生了残余带通信号,该残余带通信号的功率由下式表示:
在此半带抗混叠滤波后,重采样过程将产生最大频率为原始频率的一半的信号。如果第二次执行半带滤波操作,并且从对应的输入中减去了该结果,则该第二残余带通信号的所得功率将由下式给出:
可以使用对应的在原始信号s(x)与半带滤波信号s1(x)之间的第一残余的方差以及在重新缩放(即,半带滤波之后重采样)的信号sr(x)与频率内容相对于原始信号减少四倍的第二次半带滤波信号s2(x)之间的第二残余的方差来在空域中估计上述两个功率:
Pr1=var{s(x)-s1(x)},Pr2=var{sr(x)-s2(x)} (5)
其中由L个样本组成的残余离散信号r(x)的方差由下式表示:
计算(3)和(4)中的功率之间的比将得出:
其在极限η→0内变为:
上式意味着两个残余信号的方差之间的比对于原始信号功率是不变的并且是恒定量。
以上推导是针对自然图片的一种特定形式的功率谱得出的并且没有显式考虑采样效应。为了显式展示对于其他功能形式的功率谱也成立的针对采样信号的相似的不变性,考虑自然图片的一类指数一维自相关函数:
c(x)=P0e-|x|/D (10)
其中,P0如以前一样是信号功率,D是相关长度。对于采样信号,其对应的环形功率谱可以表示为:
并且具有周期为2π的周期性,因此奈奎斯特频率(即采样频率的一半)为π。
遵循(3)和(4)中的推导,在原始信号与半带滤波信号之间的第一残余信号的功率为:
而第二残余(二次滤波)的功率为:
计算(12)和(13)中的功率之间的比,得出:
如前所述,两个残余信号的方差之间的比对于原始信号功率是不变的,并且几乎与原始信号的相关结构无关,例如:
当原始信号具有由(11)表示的从0到奈奎斯特频率π的功率谱时或换言之当该信号处于其原始的原生分辨率(即,该分辨率)时,上述关系成立。
考虑另一个信号,该信号最初占据原始带宽的一半(最大到π/2)并且随后被放大(最大到π)。在这种情况下,它的原生分辨率仍然是原始带宽的一半,并且检测算法应反映出这一点。
使用在(14)中提出的比并且知道在这种情况下第一残余信号的功率Pr1(D)=0,所提出的功率比降至γ(D)=0。这也适用于频率内容低于π/2(即低于奈奎斯特频率的一半)的任何信号。
最后,对于最大频率Ω在π/2与π之间的任何信号,例如,当放大因子不是2的幂时,第一残余信号的功率变为:
对应地,功率比现在可以表示为:
并被示出用于图12中的两个相关长度D。从图12中可以看出,与之前一样,功率比准独立于输入信号的相关结构,并且受下面的限制γ(D)=0和受上面的限制γ(D)≈0.7,如在等式(14)和(15)中那样。
在下面的实现示例中,信号表示诸如静止图像或视频帧之类的图片10,而x表示该图片10中像素12的空间坐标。这些坐标可被视为光栅扫描(例如,从上到下和从左到右)后的图片10的一维索引,或者作为包含所考虑像素12的水平和垂直位置的2D矢量。所有滤波操作采用2D拓扑,即像素12的2D格(lattice)。
该实现示例从原始信号(即图片10)s(x)开始,并对它执行半带滤波,这得到信号s1(x)。这些信号具有相同的尺寸,并且它们的差(即,第一残余信号r1(x))被表示为:
r1(x)=s(x)-s1(x) (18)
随后,例如通过从信号s1(x)中每隔一个样本地来选择样本,半带滤波信号s1(x)被下采样到原始分辨率的一半,以获得重采样信号sr(x)。对重采样信号重复上述半带滤波过程将产生信号s2(x),其中频谱内容将被限制为原始分辨率的四分之一。类似地,可以将第二残余信号r2(x)创建为:
r2(x)=sr(x)-s2(x) (19)
在可以使用具有至少两个分辨率的外部分辨率金字塔并且下采样信号sr(x)已经可用的情况下,该信号sr(x)可以被放大(即,上采样和半带滤波)到s1(x),以匹配原始s(x)的分辨率以便使用(18)来计算第一残余信号。
一旦计算了两个残余信号,就可以通过计算它们的离散方差来估计它们的功率Pr1和Pr2:
其中,L表示该信号中样本的总数,例如图片10中的像素12的数量。这些功率随后被用于构建功率比γ:
功率比具有前述的特性和行为。
图13示出了自然图片的功率谱以及在该示例中使用的独特频率和对应的残余功率积分区域的示意图。
最后,对照阈值T来测试在(21)中计算的功率比,因此最终决定可以被描述如下:
γ>T,相对于第二残余信号,第一残余信号中存在显著的功率,因此输入信号已经处于其分辨率并且无需进一步操作;
γ≤T,相对于第二残余信号,第一残余信号中没有足够的功率,因此优选地,该信号应再被下采样至少一次,并重复上述过程。
以上评估是对来自知名视频数据库(VMAF-视频多方法评估融合[3],VQEG-视频质量专家组[4]以及MCL-V视频数据库[5])的视频帧进行的。结果根据成功率来评估,即在所有试验中算法做出了多少次正确决定,对于阈值T=0.112,结果以99.58%的成功率被最大化。但是应注意,此阈值不是确定的,并且可以被调整以优化用于除了自然内容类型以外的算法,和/或使用除了由(1)和(11)描述的功率谱以外的功率谱。
由此,本发明允许确定图片10的分辨率。在一个实施例中,本发明还包括基于如图7的步骤S8所示的分辨率来确定图片10的重采样级别。在这种情况下,如在图2中的步骤S7中确定的分辨率在步骤S8中被用于确定图片10的重采样级别。重采样级别通常是指示输入信号在它的分辨率下所需的下采样或缩小级别的值。例如,值为8可指示输入信号需要被下采样3次,即8=23。
如图2所示的方法在涉及步骤S2至S4的循环的功率比超过阈值时的轮次中产生处于该分辨率的输入信号。这意味着在图2的步骤S7,处于该分辨率的输入信号是可用的。由此,处于该分辨率的该输入信号是图片10的重采样版本,该重采样版本的分辨率对应于用于处理图片10的最佳分辨率。然后,如图8的步骤S9所示,可以输出图片10的该重采样版本。图片10的重采样版本由此被优选地输出到下游处理应用以在其中使用。然后,所输出的图片10的重采样版本处于适合于处理应用(优选地,针对处理应用被优化)的图片分辨率。
如图2所示的方法以及如图3至8所示的其他实施例可以对单一类型的像素值进行操作,这种强度通道包含亮度(Y')、亮度(Y)或强度(I)值作为像素值。如果图片10是单色图片,则这是优选的。但是,该方法也可以在彩色图片的情况下使用,以减少处理操作或计算。替代地,对于彩色图片,该方法可以在所有三个颜色通道上执行,例如强度通道(Y'、Y或I)和色度通道,即色度值(Cb、Cr)或色度值(X、Z)。如在下文中参考视频序列1的图片10、11进一步描述的,不同通道的结果的各种形式的聚合是可能的。
在以下描述的实施例中,该图片10由此是视频序列1的图片10或帧。
在这些实施例中,针对视频序列1的多个图片10、11中的每个图片10执行图2中的步骤S2至S4和S6,直到功率比超过阈值为止。在这些实施例中,输入信号被初始设置为图片10的像素值。
在一个实施例中,步骤S2包括:确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。步骤S3包括:确定表示重采样信号和重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。步骤S4包括:基于第一信号功率和第二信号功率来确定功率比。步骤S6包括:如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。在该实施例中,步骤S7包括:当针对多个图片10、11中的每个图片10确定的功率比超过阈值时,基于所设置的输入信号的分辨率,确定该图片的相应分辨率。
由此,根据本实施例的分辨率的确定是针对视频序列1中的每个图片10、11独立进行的,并且一个图片10的任何缩放独立于视频序列1中的另一图片11的任何缩放。该实施例提供了最精细的粒度和灵活性,以适应变化的内容和/或视图条件。
视频序列1中的图片10、11的分辨率的独立确定也可以被应用于单个图片10中不同颜色通道的分辨率的独立确定。因此,这种方法的结果可以是针对所有三个颜色通道确定相同的分辨率、针对三个颜色通道确定不同的分辨率、或者针对一个颜色通道确定一个分辨率以及针对三个颜色通道中的两个颜色通道确定另一个相同的分辨率。
在另一个实施例中,步骤S2包括:确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。步骤S3包括:确定表示重采样信号和重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。步骤S4包括:基于针对多个图片10、11确定的第一信号功率和针对多个图片10、11确定的第二信号功率来确定功率比。步骤S6包括:如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。然后,步骤S7包括:当功率比超过阈值时,基于所设置的输入信号的分辨率来确定上述分辨率。
在该实施例中,功率比是基于针对视频序列1中的多个图片10、11确定的相应的第一信号功率和第二信号功率来确定的。例如,作为说明性但非限制性示例,步骤S4中的功率比的确定可以是基于针对视频序列1中的所有图片10、11、针对视频序列1的选定分析间隔或时间窗口中的所有图片10、11或针对视频序列1的移动分析间隔或时间窗口中的所有图片10、11确定的信号功率来执行的。
例如,步骤S4可以包括:基于针对多个图片10、11确定的第一信号功率的平均值和针对多个图片10、11确定的第二信号功率的平均值来确定功率比,例如,N表示要被求平均的图片10、11的总数。另一个示例将是基于针对多个图片10、11确定的第一信号功率的中值和针对多个图片10、11确定的第二信号功率的中值来确定功率比。
该实施例可以在某个时间段或整个视频持续时间上对残余信号的方差或功率求平均,然后使用平均后的方差或功率来计算功率比,以及基于所计算的功率比来确定分辨率。在该实施例中,由此在该分析间隔或实际上整个视频序列1中针对图片10、11确定了单个分辨率。该方法平均而言对于遍历性信号(ergodic signal)是鲁棒的(即,当整体统计(ensemble statistics)可以随时间被求平均时)。
在另一实施例中,步骤S2包括:确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。步骤S3包括:确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。步骤S4包括:基于第一信号功率和第二信号功率来确定功率比。步骤S6包括:如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。在该实施例中,步骤S7包括:当针对多个图片10、11确定的各自的功率比超过阈值时,基于所设置的输入信号的相应的分辨率来确定上述分辨率。
因此,在该实施例中,分辨率的确定是基于针对多个图片10、11的所设置的输入信号的多个分辨率。例如,这些相应的分辨率可以在某个时间段或整个视频持续时间内被聚合。分辨率的最终确定然后可以基于所有这些相应的分辨率来进行。例如,分辨率可以基于百分位数,例如,如果在针对多个图片10、11确定的相应功率比超过阈值时所设置的输入信号的所有相应分辨率的99%指示比视频序列1中的图片10、11的原始分辨率低的分辨率,则这样的较低分辨率应被用作分辨率。在相关示例中,如果在针对多个图片10、11确定的相应功率比超过阈值时所设置的输入信号的所有相应分辨率的至少X%指示相同的分辨率,则此分辨率将被用于视频序列1的所有图片10、11或用于分析间隔内的所有图片10、11。作为说明性但非限制性示例,值X例如可以是90、95或99。
在另一个示例中,分辨率的最终决定是基于离群值(outlier)来做出的。例如,即使在视频序列1或分析间隔中仅一个图片10指示该图片10的当前分辨率应被保留,即,功率比在步骤S2至S4的循环的第一轮中超过了阈值,则分辨率应当是视频序列1或分析间隔中图片10、11的原始分辨率。
上面呈现的分析视频序列1中的多个图片10、11和/或分析一个或多个图片10、11中的多个颜色通道的实施例不是互相排斥的并且因此能够被组合。例如,这些实施例中的一个实施例可以被选择用于在短分析间隔(例如1秒)内进行分析,而另一个实施例将在更长的分析间隔或实际上完整的视频序列1上被并行使用。
图9至11是示出处理图片10的方法的不同实施例的流程图。这些实施例使用如本文先前所述确定的分辨率。
图9所示的实施例包括根据本文所述的实施例中的任何一个,例如参考图2以及可选地图3至图8中的任何一个,在步骤S30中确定图片10的分辨率。下一步骤S31包括处理图片10的具有与该分辨率相对应的分辨率的版本以获得处理结果20。在步骤S31中处理的图片10的版本可以是在图8的步骤S9中输出的重采样图片。因此,在本实施例中,被输入到处理应用中的图片10的版本的分辨率等于在步骤S30中确定的分辨率。
在图9的步骤S31以及图10的步骤S40和图11的步骤S50中执行的处理可以是任何图片或视频处理。在这些步骤S31、S40和S50中获得的处理结果20取决于在这些步骤中执行的处理的类型。例如,如果处理采取被施加于图片10的滤波操作的形式,则处理结果20是滤波后的图片。对应地,如果处理是压缩或编码操作,则处理结果20是压缩或编码后的图片。
图10示出了处理图片10的方法的另一个实施例。在该实施例中,步骤S40包括:处理图片10和图片10的至少一个缩小版本以获得相应的处理结果20。下一步骤S41包括:根据本文所述的实施例中的任何一个,例如参考图2以及可选地图3至图8中的任何一个,确定图片10的分辨率。接下来的步骤S42包括:基于该分辨率在相应处理结果20中选择处理结果20。
由此,该实施例与图9中的实施例的不同之处在于,通过不仅可以访问图片10而且还可以访问图片10的至少一个缩小版本,已经可以以不同的分辨率提供图片10。例如,图片分辨率金字塔可以如前所述的那样可用。然后可以在步骤S40中处理(例如并行地)图片10的不同缩放版本,以获得相应的处理结果20。然后在步骤S42中基于在步骤S41针对图片10确定的分辨率来选择要使用的特定处理结果20。
在特定实施例中,步骤S42包括:选择通过处理图片10的具有与在步骤S41中确定的分辨率相对应的分辨率的版本而获得的处理结果20。因此,在该实施例中,图片10的具有与在步骤S41中确定的分辨率相对应(优选地,相等)的分辨率的版本具有合适的或最佳的分辨率。这意味着在步骤S40中针对图片10的该版本获得的处理结果20应被选择并被用作步骤S42中的处理结果。
图11示出了处理图片10的方法的另一个实施例。该实施例包括在步骤S50中处理图片10和图片10的至少一个缩小版本以获得相应的处理结果20。该步骤S50优选地如结合图10中的步骤S40所描述的那样执行。接下来的步骤S51包括根据本文所述的实施例中的任何一个,例如参考图2以及可选地图3至图8中的任何一个,确定图片10的分辨率。在该实施例中,在步骤S52中基于该分辨率来确定相应的处理结果20的权重。然后,在步骤S53中通过用所确定的权重对相应的处理结果20进行加权来确定图片10的处理结果20。
在图10所示的实施例中,基于所确定的分辨率来选择单个处理结果,并将该单个处理结果用作针对图片10的处理结果20。图11所示的实施例替代地将按照基于在步骤S51中确定的分辨率确定的权重来加权的不同处理结果进行组合。因此,在步骤S53中针对图片10确定的最终处理结果20将是在步骤S50中获得的一些或全部处理结果的加权组合。
可以根据各种实施例在步骤S52中确定权重。例如,可以将针对图片10的具有与该分辨率相对应的分辨率的版本获得的处理结果20的权重设置为高于其他处理结果的权重。例如,假设分辨率对应于为8的重采样级别,则针对被3次下采样的图片10的版本获得的处理结果20的权重可以为ω8=0.625,而高一个或两个重采样级别的处理结果的权重可以为ω4=0.250和ω2=0.125。在该示例中,原始图片10的处理结果20的权重ω0为0。另一个示例可以将在与该分辨率相对应的重采样级别的权重的值设置为等于0.75,然后将在比该级别低一个重采样级别和比该级别高一个重采样级别的权重设置为等于0.125。
替代地,可以通过对结果执行某种优化处理来获知权重的值,例如,收集针对在与该分辨率相对应的重采样级别的处理结果20以及针对在比该级别低一个重采样级别和比该级别高一个重采样级别的处理结果20的质量得分,以及使用最小二乘法(LS)优化来找到使所组合的质量得分与人类观看者分配的质量得分之间的相关性最大化的权重。
本发明是一种确定图像处理应用的最佳分辨率的快速而可靠的技术。由此,本发明确定这样的分辨率,在该分辨率下包含大部分(或全部)原始图片内容。这意味着以该分辨率处理图片将不会对处理结果产生任何不利影响。该方法是基于确定鲁棒的、空间域的、独特的特征,即功率比,以标识信号的频谱组成以及基于阈值的决定规则,以便决定信号是否处于其最佳分辨率。该方法确定在原始图片分辨率(优选地,原始图片分辨率的一半)的特征,即信号功率或方差,并将它们组合以获得功率比,该功率比是无单位比,其相对于i)频谱内容的变化和用于对图片进行下采样的方法是鲁棒的,并且对于输入信号功率是不变的。该功率比随后被与基于阈值的决策规则一起使用,以决定输入图片是否应被下采样到更小的分辨率。在逐渐缩小的图片上递归地重复此特征提取和分类过程,直到决策规则被满足为止,这表明此分辨率可以被视为合适的分辨率。
该方法是灵活的并且可以适配具有不同频谱内容的图片,它允许不同的聚合技术以包括图片的所有三个颜色通道和/或合并决策以自适应地重新缩放视频。它可以使用不同的操作模式并可以被应用于延迟受限或离线的多通处理环境中。该方法可以使用半带滤波操作或者可以重用现有的分辨率金字塔。大多数操作可以被并行化,从而允许快速的多线程和矢量化的实现。
图14至图16示出了确定功率比的不同实施例。在图14中,只有作为原始信号s(x)的图片10是可用的并且被输入到上述方法从而产生功率比γ。在图15中,图片分辨率金字塔是可用的,使得不仅原始信号s(x)而且至少一个重采样信号sr(x)是可用的。图14和15中示出的实施例对应于前面结合图4和5描述的实施例。
在一些应用中,从例如计算资源的角度来看,二级进阶(dyadic progression)可能不是最佳的。在这种情况下,任意分辨率金字塔可以被替代地确定并且由此在确定图片10的分辨率时可供使用。
例如,在一组用于过顶(OTT)流式发送的分辨率的情况下,这些分辨率不一定呈二级进阶,以及某些分辨率可能介于两者之间。在这种情况下,可以通过将分辨率从低分辨率放大到高分辨率来确定不同分辨率级别之间的残余信号。然后计算功率比,并将功率比与阈值进行比较。在一个实施例中,在任意分辨率金字塔中对于不同级别可以有不同的阈值,而不是仅使用一个阈值。
图16示出了根据可以访问由原始信号s(x)、第一重采样信号sr(x)和第二重采样信号sr2(x)例示的任意分辨率金字塔的实施例的功率比的确定。分辨率金字塔的这三个信号都具有不同的分辨率,其中原始信号的分辨率高于第一重采样信号的分辨率,第一重采样信号的分辨率又高于第二重采样信号的分辨率。
在图16所示的实施例中,例如通过任意的放大或调整大小操作,信号s1(x)被从第一重采样信号sr(x)放大。例如,假设2560×1440是层次结构中的顶层,即任意分辨率金字塔中的更高分辨率。因此,在该示例中,它对应于原始信号s(x)的分辨率。然后,向下一个级别可以是1920×1080,在这种情况下,该级别对应于第一重采样信号sr(x)的分辨率。然后,第一重采样信号将从1920×1080被放大到2560×1440,以便能够计算第一残余信号r1(x)=s(x)-s1(x)。类似地,第二重采样信号sr2(x)被放大到第一重采样信号的分辨率级别以计算第二残余信号r2(x)=sr(x)-s2(x)。
在该实施例中,确定图片的分辨率的方法优选地包括以下方法步骤。输入信号被初始设置为图片10的像素值。执行以下步骤,直到功率比超过阈值为止。确定表示输入信号与第一重采样信号的放大版本之间的差的第一残余信号的第一信号功率。确定表示第一重采样信号与第二重采样信号的放大版本之间的差的第二残余信号的第二信号功率。基于第一信号功率和第二信号功率来确定功率比。如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。该方法还包括:当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
该实施例还涉及一种用于确定图片的分辨率的设备。输入信号被初始设置为图片的原始信号,并且该设备被配置为执行以下操作直到功率比超过阈值为止。该设备被配置为确定表示输入信号与第一重采样信号的放大版本之间的差的第一残余信号的第一信号功率。该设备被配置为确定表示第一重采样信号与第二重采样信号的放大版本之间的差的第二残余信号的第二信号功率。该设备还被配置为基于第一信号功率和第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。一旦功率比超过阈值,该设备被配置为在功率比超过阈值时基于所设置的输入信号的分辨率来确定图片的分辨率。
在上面结合图16描述的实施例中,第一重采样信号和第二重采样信号是输入信号的不同的缩小版本。
实施例的另一方面涉及一种用于确定图片10的分辨率的设备。输入信号被初始设置为图片10的原始信号,并且该设备被配置为执行以下操作直到功率比超过阈值为止。该设备被配置为确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。该设备被配置为确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。该设备还被配置为基于第一信号功率和第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。一旦功率比超过阈值,该设备被配置为在功率比超过阈值时基于所设置的输入信号的分辨率来确定图片10的分辨率。
在一个实施例中,该设备被配置为将输入信号初始设置为图片10的像素值。该设备被配置为执行以下操作,直到功率比超过阈值为止。该设备被配置为确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。该设备被配置为确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。该设备还被配置为基于第一信号功率和第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。一旦功率比超过阈值,该设备被配置为在功率比超过阈值时基于所设置的输入信号的分辨率来确定图片10的分辨率。
在一个实施例中,该设备被配置为基于第一残余信号的方差来确定第一信号功率。该设备还被配置为基于第二残余信号的方差来确定第二信号功率。
在一个实施例中,该设备被配置为确定第一信号功率Pr1=var(r1(x))。该设备还被配置为确定第二信号功率Pr2=var(r2(x))。
在一个实施例中,该设备被配置为基于输入信号与输入信号的半带滤波版本之间的差来确定第一残余信号。
在一个实施例中,该设备被配置为对输入信号进行半带滤波以获得输入信号的半带滤波版本。
在一个实施例中,该设备被配置为放大重采样信号以获得输入信号的半带滤波版本。
在一个实施例中,该设备被配置为基于重采样信号与重采样信号的半带滤波版本之间的差来确定第二残余信号。
在一个实施例中,该设备被配置为对输入信号的半带滤波版本进行下采样以获得重采样信号。
在一个实施例中,该设备被配置为以2为因子对输入信号的半带滤波版本进行下采样以获得重采样信号。
在一个实施例中,该设备被配置为对重采样信号进行半带滤波以获得重采样信号的半带滤波版本。
在一个实施例中,该设备被配置为基于第一信号功率与第二信号功率之间的比来确定功率比。
在一个实施例中,该设备被配置为基于该分辨率来确定图片10的重采样级别。
在一个实施例中,该设备被配置为以与该分辨率相对应的分辨率来输出图片10的重采样版本。
图片10可以是视频序列1的图片10。在这种情况下,该设备被配置为针对视频序列1的多个图片10、11中的每个图片10执行以下操作,直到功率比超过阈值为止。输入信号被初始设置为图片10的像素值。
该设备被配置为确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。该设备被配置为确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。该设备还被配置为基于第一信号功率和第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。一旦功率比超过阈值,该设备被配置为当针对多个图片10、11中的每个图片10确定的功率比超过阈值时,基于所设置的输入信号的分辨率,确定该图片的相应分辨率。
替代地或附加地,该设备被配置为确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率,以及确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。该设备被配置为基于针对多个图片10、11确定的第一信号功率和针对多个图片10、11确定的第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。该设备还被配置为在功率比超过阈值时基于所设置的输入信号的分辨率来确定上述分辨率。
在一个实施例中,该设备被配置为基于针对多个图片10、11确定的第一信号功率的平均值和针对多个图片10、11确定的第二信号功率的平均值来确定功率比。
替代地或附加地,该设备被配置为确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。该设备被配置为确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。该设备还被配置为基于第一信号功率和第二信号功率来确定功率比。该设备还被配置为如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。一旦功率比超过阈值,该设备被配置为在针对多个图片10、11确定的各自的功率比超过阈值时,基于所设置的输入信号的相应的分辨率来确定上述分辨率。
应当理解,可以以各种方式来实现、组合以及重新布置本文描述的方法、方法步骤以及设备、设备功能。
例如,实施例可以用硬件来实现,或者用软件来实现以便由合适的处理电路执行,或用它们的组合来实现。
本文描述的步骤、功能、过程、模块和/或块可以使用任何传统技术以硬件实现,例如分立电路或集成电路技术,包括通用电子电路和专用电路。
替代地或作为补充,本文描述的步骤、功能、过程、模块和/或块中的至少一些可以在诸如计算机程序的软件中实现,以由诸如一个或多个处理器或处理单元的适当处理电路执行。
处理电路的示例包括但不限于一个或多个微处理器、一个或多个数字信号处理器(DSP)、一个或多个中央处理单元(CPU)、视频加速硬件和/或任何合适的可编程逻辑电路(例如一个或多个现场可编程门阵列(FPGA)或一个或多个可编程逻辑控制器(PLC))。
还应理解,可以重用在其中实现所提出的技术的任何传统设备或单元的一般处理能力。也可以重用现有的软件,例如通过重新编程现有软件或添加新的软件组件。
图17是示出根据实施例的用于确定图片的分辨率的设备100的示例的示意框图。在该特定示例中,设备100包括处理器101(例如,处理电路)和存储器102。存储器102包括能够由处理器101执行的指令。
在一个实施例中,处理器101可操作以确定第一信号功率和第二信号功率。处理器101还可操作以确定功率比并设置输入信号。处理器101还可操作以确定本文所述的分辨率。
可选地,设备100还可以包括由图17中的相应输入/输出(I/O)单元103表示的通信电路。I/O单元103可以包括用于与有线或无线通信网络中的其他设备、服务器和/或网络节点进行有线和/或无线通信的功能。在特定示例中,I/O单元103可以基于用于与一个或多个其他节点通信(包括发送和/或接收信息)的无线电电路。I/O单元103可以被互连到处理器101和/或存储器102。作为示例,I/O单元103可以包括以下中的任意一个:接收机、发射机、收发机、I/O电路、输入端口和/或输出端口。
图18是示出根据实施例的用于基于硬件电路实现来确定图片的分辨率的设备110的示意框图。合适的硬件电路的特定示例包括一个或多个适当地配置的或可能可重新配置的电子电路(例如,专用集成电路(ASIC)、FPGA)或任何其他硬件逻辑(例如基于被互连以结合适当的寄存器(REG)和/或存储器单元(MEM)来执行专门功能的离散逻辑门和/或触发器的电路)。
图19是示出用于基于与合适的存储器单元121结合的处理器122、123和硬件电路124、125两者的组合来确定图片的分辨率的设备120的另一示例的示意性框图。因此,总体功能在用于在一个或多个处理器122、123上执行的编程软件与一个或多个预先配置或可能可重新配置的硬件电路124、125之间进行分区。实际的硬件-软件分区可以由系统设计人员基于许多因素(包括处理速度、实施成本和其他要求)来决定。
图20是根据实施例的用于确定图片的分辨率的设备200的基于计算机程序的实现。在该特定示例中,本文描述的步骤、功能、过程、模块和/或块中的至少一些在计算机程序240中实现,该计算机程序240被加载到存储器220中以由包括一个或多个处理器210的处理电路执行。处理器210和存储器220彼此互连以实现正常的软件执行。可选的I/O单元230也可以被互连到处理器210和/或存储器220,以使得能够输入和/或输出相关数据,例如图片和分辨率信息。
术语“处理器”应该在一般意义上解释为能够执行程序代码或计算机程序指令以执行特定处理、确定或计算任务的任何电路、系统或设备。
因此,包括一个或多个处理器210的处理电路被配置为在执行计算机程序240时执行明确定义的处理任务,例如本文所述的处理任务。
处理电路不必专用于仅执行上述步骤、功能、过程和/或块,而是还可以执行其他任务。
在一个实施例中,计算机程序240包括指令,该指令在由至少一个处理器210执行时使至少一个处理器210(其中,输入信号被初始设置为图片10的像素值)执行以下操作直到功率比超过阈值为止:确定表示输入信号和输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;基于第一信号功率和第二信号功率来确定功率比;以及如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。至少一个处理器210还被使得在功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片10的分辨率。
所提出的技术还提供了包括计算机程序240的载体250。载体250是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质中的一个。
作为示例,软件或计算机程序240被存储在计算机可读介质(例如存储器220,特别是非易失性介质)上。计算机可读介质可以包括一个或多个可移动或不可移动的存储设备,包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用盘(DVD)、蓝光盘、通用串行总线(USB)存储器、硬盘驱动器(HDD)存储设备、闪存、磁带或任何其他常规存储设备。因此,计算机程序240可以被加载到工作存储器220中以由处理电路210执行。
当由一个或多个处理器执行时,本文呈现的一个或多个流程图可以被视为一个或多个计算机流程图。对应的装置可以被定义为一组功能模块,其中,由处理器执行的每个步骤对应于功能模块。在这种情况下,功能模块被实现为在处理器上运行的计算机程序。
因此,驻留在存储器中的计算机程序可以被组织为适当的功能模块,这些功能模块被配置为当由处理器执行时执行本文描述的步骤和/或任务的至少一部分。
图21是用于确定图片10的分辨率的设备130的框图。输入信号被初始设置为图片10的像素值。设备130包括第一信号功率确定模块131,用于确定(直到功率比超过阈值为止)表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率。设备130还包括第二信号功率确定模块132,用于确定(直到功率比超过阈值为止)表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率。重采样信号是输入信号的半带滤波版本的下采样版本。设备130还包括功率比确定模块133,用于基于第一信号功率和第二信号功率来确定(直到功率比超过阈值为止)功率比。设备130还包括设置模块134,用于如果功率比等于或低于阈值,将输入信号设置为等于重采样信号。设备130还包括分辨率确定模块135,用于当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片10的分辨率。
另一方面涉及如图22至24所示的用于处理图片10的设备140、150、160。在图22的实施例中,设备140包括根据例如结合图17至21中的任何一个所述的任何实施例的用于确定图片10的分辨率的设备100、110、120、130。设备140还包括设备141,被配置为处理图片10的具有与该分辨率相对应的分辨率的版本以获得处理结果20。
在图23的实施例中,设备150包括设备151,被配置为处理图片10和图片10的至少一个缩小版本以获得相应的处理结果20。设备150还包括根据例如结合图17至21中的任何一个所述的任何实施例的用于确定图片10的分辨率的设备100、110、120、130。设备150还包括设备152,被配置为基于该分辨率在相应的处理结果20中选择处理结果20。
在一个实施例中,设备152被配置为选择处理结果20,包括选择通过处理图片10的具有与该分辨率相对应的分辨率的版本而获得的处理结果20。
在图24的实施例中,设备160包括设备161,被配置为处理图片10和图片10的至少一个缩小版本以获得相应的处理结果20。设备160还包括根据例如结合17至21中的任何一个所述的任何实施例的用于确定图片10的分辨率的设备100、110、120、130。设备160还包括设备162,被配置为基于该分辨率来确定相应的处理结果20的权重。设备160附加地包括设备163,被配置为通过用所确定的权重对相应的处理结果20进行加权来确定图片10的处理结果20。
在诸如网络节点和/或服务器之类的网络设备中提供计算服务(硬件和/或软件)变得越来越流行,其中,资源作为服务被传递到网络上的远程位置。举例来说,这意味着如本文所述的功能可以被分发或重新定位到一个或多个单独的物理节点或服务器。功能可以被重新定位或分发到一个或多个联合作用的物理和/或虚拟机,虚拟机可以位于单独的物理节点中即在所谓的云中。这有时也称为云计算,云计算是用于实现对可配置计算资源(例如网络、服务器、存储器、应用和一般或定制服务)池的无处不在的按需网络接入的模型。
在此上下文中,存在不同形式的虚拟化可用,包括以下一个或多个:
·将网络功能整合到在定制或通用硬件上运行的虚拟化软件中。这有时被称为网络功能虚拟化。
·将单独硬件上运行的一个或多个应用堆栈(包括操作系统)共址到单个硬件平台上。这有时被称为系统虚拟化或平台虚拟化。
·硬件和/或软件资源的共址,目的是使用一些高级域级调度和协调技术来获得增大的系统资源利用率。这有时被称为资源虚拟化或集中式和协调式资源池。
尽管通常希望将功能集中在所谓的通用数据中心中,但在其他情况下,实际上在网络的不同部分上分布功能可能是有益的。
网络设备通常可以被视为被通信地连接到网络中的其他电子设备的电子设备。举例来说,网络设备可以用硬件、软件或其组合来实现。例如,网络设备可以是专用网络设备或通用网络设备或其混合。
专用网络设备可以使用定制处理电路和专有操作系统(OS)以用于执行软件以提供本文公开的一个或多个特征或功能。
通用网络设备可以使用公共现成(COTS)处理器和标准OS以用于执行被配置为提供本文公开的一个或多个特征或功能的软件。
举例来说,专用网络设备可以包括硬件,硬件包括:处理或计算资源,这些资源通常包括一组一个或多个处理器;物理网络接口(NI),其有时被称为物理端口;以及其上存储有软件的非暂时性机器可读存储介质。物理NI可以被视为网络设备中通过其进行网络连接(例如无线地通过无线网络接口控制器(WNIC)或通过将电缆插入到被连接至网络接口控制器(NIC)的物理端口)的硬件。在操作期间,软件可以由硬件执行以实例化一组一个或多个软件实例。每个软件实例以及硬件的执行该软件实例的部分可以形成单独的虚拟网络元件。
作为另一示例,通用网络设备可以例如包括硬件,硬件包括一组一个或多个处理器(通常是COTS处理器)、NIC、以及其上存储有软件的非暂时性机器可读存储介质。在操作期间,处理器执行软件以实例化一组或多组一个或多个应用。虽然一个实施例不实现虚拟化,但是替代实施例可以使用不同形式的虚拟化-例如由虚拟化层和软件容器表示。例如,一个这样的替代实施例实现操作系统级虚拟化,在这种情况下,虚拟化层表示操作系统的内核(或在基本操作系统上执行的shim),其允许创建多个软件容器,每个软件容器可以用于执行一组应用之一。在示例实施例中,每个软件容器(也称为虚拟化引擎、虚拟专用服务器或jail)是用户空间实例(通常是虚拟存储器空间)。这些用户空间实例可以彼此分离,并与操作系统被在其中执行的内核空间分隔开。除非被显式允许,否则在给定用户空间中运行的一组应用不能访问其他进程的内存。另一个这样的替代实施例实现完全虚拟化,在这种情况下:1)虚拟化层表示系统管理程序(有时被称为虚拟机监控器(VMM))或系统管理程序在主机操作系统之上被执行;2)每个软件容器表示一种被称为虚拟机的紧密隔离形式的软件容器,该软件容器由系统管理程序执行并且可以包括客户操作系统。
系统管理程序是负责创建和管理各种虚拟化实例的软件/硬件,并且在某些情况下是实际的物理硬件。系统管理程序管理底层资源并将它们呈现为虚拟化实例。系统管理程序虚拟化以作为单个处理器出现的内容实际上可以包括多个单独的处理器。从操作系统的角度来看,虚拟化实例表现为实际的硬件组件。
虚拟机是物理机器的软件实现,它运行程序就好像程序在物理的非虚拟化机器上执行一样;虽然有些系统提供了半虚拟化(这允许操作系统或应用知道用于优化目的的虚拟化的存在),但是与在“裸机”主机电子设备上运行相比,应用通常不知道它们在虚拟机上运行。
一组或多组一个或多个应用的实例化以及虚拟化层和软件容器(如果被实现)被统称为软件实例。每组应用、对应的软件容器(如果被实现)、以及执行它们的硬件部分(无论是专用于该执行的硬件和/或软件容器临时共享的硬件的时间片)形成单独的虚拟网络元件。
与虚拟网络元件(VNE)相比,上述虚拟网络元件可以执行类似的功能。这种硬件虚拟化有时被称为网络功能虚拟化(NFV)。因此,NFV可用于将许多网络设备类型整合到可以位于数据中心、网络设备和客户端设备(CPE)中的行业标准大容量服务器硬件、物理交换机和物理存储上。然而,不同的实施例可以不同地实现一个或多个软件容器。例如,虽然示出了每个软件容器对应于VNE的实施例,但是替代实施例可以在更精细的粒度级别实现软件容器-VNE之间的这种对应性或映射。应当理解,本文中参考软件容器与VNE的对应性描述的技术也适用于使用这种更精细粒度级别的实施例。
根据又一实施例,提供了一种混合网络设备,其包括在网络设备中(例如在网络设备内的卡或电路板中)的定制处理电路/专有OS和COTS处理器/标准OS。在这种混合网络设备的特定实施例中,平台虚拟机(VM)(诸如实现专用网络设备的功能的VM)可以为混合网络设备中存在的硬件提供半虚拟化。
图25是示出在一般情况下可如何在不同的网络设备之间分布或划分功能的示例的示意图。在该示例中,至少存在两个单独的但互连的网络设备300、310,它们可以具有不同的功能或相同功能的被在网络设备300、310之间划分的部分。可以存在附加的网络设备320作为这种分布式实现的一部分。网络设备300、310、320可以是同一无线或有线通信系统的一部分,或者一个或多个网络设备可以是位于无线或有线通信系统外部的所谓的基于云的网络设备。
如本文所使用的,术语“网络设备”可以指任何与通信网络相关地定位的设备,包括但不限于在接入网络、核心网络和类似网络结构中的设备。术语“网络设备”还可以包含基于云的网络设备。
因此,实施例的再一个方面涉及一种网络设备,该网络设备包括根据例如图17-21中的任何一个所示的实施例的用于确定图片的分辨率的设备和/或根据例如图22-24中的任何一个所示的实施例的用于处理图片的设备。
图26是示出无线通信系统的示例的示意图,该无线通信系统包括无线电接入网络(RAN)31和核心网络32以及可选地与一个或多个基于云的网络设备300协作的操作和支持系统(OSS)33。该图还示出了无线设备35,无线设备35被连接到RAN 31并且能够与RAN节点30(例如网络节点、基站、节点B(NB)、演进型节点B(eNB)、下一代节点B(gNB)等)进行无线通信。
在图26中被示为基于云的网络设备300的网络设备300可以替代地结合RAN节点30(例如在RAN节点30处)实现。
特别地,所提出的技术可以应用于特定的应用和通信场景,包括在无线网络内提供各种服务,包括所谓的过顶(OTT)服务。例如,所提出的技术实现和/或包括无线通信中相关用户数据和/或控制数据的传输和/或发送和/或接收。
在下文中,现在将参考图27至31描述一组说明性的非限制性示例。
图27是示出根据一些实施例的无线网络的示例的示意图。
尽管本文描述的主题可以在可使用任何适合组件的任何适当类型的系统中实现,但是本文所公开的实施例是相对于无线网络(诸如图27所示的示例无线网络)进行描述的。为了简单起见,图27的无线网络仅描绘了网络QQ106、网络节点QQ160和QQ160B以及无线设备(WD)QQ110、QQ110B和QQ110C。在实践中,无线网络可以进一步包括适合于支持无线设备之间或无线设备与另一通信设备(例如陆线电话、服务提供商或任何其他网络节点或终端设备)之间的通信的任何附加单元。在所示出的组件中,网络节点QQ160和WD QQ110以附加的细节来描绘。无线网络可以向一个或多个无线设备提供通信和其他类型的服务,以促进无线设备访问和/或使用由无线网络提供的或经由无线网络提供的服务。
无线网络可以包括任何类型的通信、电信、数据、蜂窝和/或无线电网络或其他类似类型的系统和/或与之连接。在一些实施例中,无线网络可被配置为根据特定标准或其他类型的预定义规则或过程进行操作。因此,无线网络的特定实施例可以实现:通信标准,例如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、长期演进(LTE)和/或其他合适的2G、3G、4G、或5G标准;无线局域网(WLAN)标准,例如IEEE 802.11标准;和/或任何其他适当的无线通信标准,例如全球微波访问互操作性(WiMax)、蓝牙、Z-波和/或ZigBee标准。
网络QQ106可以包括一个或多个回程网络、核心网络、IP网络、公共交换电话网络(PSTN)、分组数据网络、光网络、广域网(WAN)、局域网(LAN)、无线局域网(WLAN)、有线网络、无线网络、城域网和实现设备之间的通信的其他网络。
网络节点QQ160和WD QQ110包括下面更详细描述的各种组件。这些组件一起工作以提供网络节点和/或无线设备功能,例如在无线网络中提供无线连接。在不同的实施例中,无线网络可以包括任何数量的有线或无线网络、网络节点、基站、控制器、无线设备、中继站和/或可以促进或参与数据和/或信号的通信(无论是经由有线还是无线连接)的任何其他组件或系统。
如本文所使用的,网络节点指能够、被配置、被布置和/或可操作以直接或间接与无线设备和/或与无线网络中的其他网络节点或设备通信以启用和/或提供对无线设备的无线访问和/或在无线网络中执行其他功能(例如管理)的设备。网络节点的示例包括但不限于接入点(AP)(例如无线电接入点)、基站(BS)(例如无线电基站、节点B、演进型节点B(eNB)和NR节点B(gNB))。可以基于基站提供的覆盖量(或者换句话说,它们的发射功率等级)对基站进行分类,然后也可以将其称为毫微微基站、微微基站、微基站或宏基站。基站可以是中继节点或控制中继的中继施主节点。网络节点还可以包括分布式无线电基站的一个或多个(或所有)部分(例如集中式数字单元和/或远程无线电单元(RRU)(有时也称为远程无线电头(RRH)))。这样的远程无线电单元可以与或可以不与天线集成为天线集成无线电。分布式无线电基站的部分也可以称为分布式天线系统(DAS)中的节点。网络节点的其他示例包括诸如MSR BS的多标准无线电(MSR)设备、诸如无线电网络控制器(RNC)或基站控制器(BSC)的网络控制器、基站收发台(BTS)、传输点、传输节点、多小区/多播协调实体(MCE)、核心网络节点(例如MSC、MME)、O&M节点、OSS节点、SON节点、定位节点(例如E-SMLC)和/或MDT。作为另一示例,网络节点可以是如下面更详细描述的虚拟网络节点。然而,更一般而言,网络节点可以表示能够、被配置、被布置和/或可操作以启用和/或提供无线设备对无线网络的接入或向已接入无线网络的无线设备提供某种服务的任何合适的设备(或设备组)。
在图27中,网络节点QQ160包括处理电路QQ170、设备可读介质QQ180、接口QQ190、辅助设备QQ184、电源QQ186、电源电路QQ187和天线QQ162。尽管在图27的示例无线网络中示出的网络节点QQ160可以表示包括所示的硬件组件的组合的设备,但是其他实施例可以包括具有不同组件组合的网络节点。应当理解,网络节点包括执行本文公开的任务、特征、功能和方法所需的硬件和/或软件的任何合适的组合。此外,尽管将网络节点QQ160的组件描绘为位于较大框内或嵌套在多个框内的单个框,但实际上,网络节点可包括构成单个所示组件的多个不同物理组件(例如设备可读介质QQ180可以包括多个单独的硬盘驱动器以及多个RAM模块)。
类似地,网络节点QQ160可以包括多个物理上分离的组件(例如节点B组件和RNC组件,或者BTS组件和BSC组件等),每一个组件可以具有它们自己的相应组件。在网络节点QQ160包括多个单独的组件(例如BTS和BSC组件)的某些情况下,一个或多个单独的组件可以在多个网络节点之间共享。例如,单个RNC可以控制多个节点B。在这种场景中,在某些情况下,每一个唯一的节点B和RNC对可被视为单个单独的网络节点。在一些实施例中,网络节点QQ160可被配置为支持多种无线电接入技术(RAT)。在这样的实施例中,一些组件可以被复制(例如用于不同RAT的单独的设备可读介质QQ180),而一些组件可以被重用(例如同一天线QQ162可以由RAT共享)。网络节点QQ160还可以包括用于集成到网络节点QQ160中的不同无线技术(例如GSM、WCDMA、LTE、NR、Wi-Fi或蓝牙无线技术)的多组各种示例组件。这些无线技术可以集成到相同或不同的芯片或芯片组以及网络节点QQ160内的其他组件中。
处理电路QQ170被配置为执行本文描述为由网络节点提供的任何确定、计算或类似操作(例如某些获得操作)。由处理电路QQ170执行的这些操作可以包括:例如通过将所获得的信息转换成其他信息、将所获得的信息或转换后的信息与存储在网络节点中的信息进行比较、和/或执行基于所获得的信息或转换后的信息的一个或多个操作,来处理由处理电路QQ170获得的信息;以及作为所述处理的结果做出确定。
处理电路QQ170可以包括微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列中的一个或多个的组合,或任何其他合适的计算设备、资源,或可操作以单独地或与其他网络节点QQ160组件(例如设备可读介质QQ180)结合提供网络节点QQ160功能的硬件、软件和/或编码逻辑的组合。例如,处理电路QQ170可以执行存储在设备可读介质QQ180中或处理电路QQ170内的存储器中的指令。这种功能可以包括提供本文所讨论的各种无线特征、功能或益处中的任何一种。在一些实施例中,处理电路QQ170可以包括片上系统(SOC)。
在一些实施例中,处理电路QQ170可以包括射频(RF)收发机电路QQ172和基带处理电路QQ174中的一个或多个。在一些实施例中,射频(RF)收发机电路QQ172和基带处理电路QQ174可以在单独的芯片(或芯片组)、板或单元(例如无线电单元和数字单元)上。在替代实施例中,RF收发机电路QQ172和基带处理电路QQ174中的部分或全部可以在同一芯片或芯片组、板或单元上。
在某些实施例中,本文描述为由网络节点、基站、eNB或其他这样的网络设备提供的功能中的一些或全部可以通过处理电路QQ170执行存储在设备可读介质QQ180或处理电路QQ170内的存储器上的指令来执行。在替代实施例中,一些或全部功能可以由处理电路QQ170提供,而无需诸如以硬连线方式执行存储在单独的或分离的设备可读介质上的指令。在这些实施例的任何一个中,无论是否执行存储在设备可读存储介质上的指令,处理电路QQ170都能够被配置为执行所描述的功能。这样的功能所提供的益处不仅限于处理电路QQ170或网络节点QQ160的其他组件,而是整体上由网络节点QQ160和/或通常由最终用户和无线网络共享。
设备可读介质QQ180可以包括任何形式的易失性或非易失性计算机可读存储器,包括但不限于永久存储装置、固态存储器、远程安装的存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如硬盘)、可移动存储介质(例如闪存驱动器、光盘(CD)或数字视频磁盘(DVD))和/或存储可以由处理电路QQ170使用的信息、数据和/或指令的任何其他易失性或非易失性、非临时性的设备可读和/或计算机可执行存储设备。设备可读介质QQ180可以存储任何合适的指令、数据或信息,包括计算机程序、软件、应用(包括逻辑、规则、代码,表等中的一个或多个)和/或能够由处理电路QQ170执行并由网络节点QQ160利用的其他指令。设备可读介质QQ180可用于存储由处理电路QQ170进行的任何计算和/或经由接口QQ190接收的任何数据。在一些实施例中,处理电路QQ170和设备可读介质QQ180可以被认为是集成的。
接口QQ190用于网络节点QQ160、网络QQ106和/或WD QQ110之间的信令和/或数据的有线或无线通信中。如图所示,接口QQ190包括端口/端子QQ194以例如通过有线连接向网络QQ106发送和从网络QQ106接收数据。接口QQ190还包括可以耦合到天线QQ162或在某些实施例中作为天线QQ162的一部分的无线电前端电路QQ192。无线电前端电路QQ192包括滤波器QQ198和放大器QQ196。无线电前端电路QQ192可以连接到天线QQ162和处理电路QQ170。无线电前端电路QQ192可被配置为调节在天线QQ162和处理电路QQ170之间传送的信号。无线电前端电路QQ192可接收将经由无线连接发出到其他网络节点或WD的数字数据。无线电前端电路QQ192可以使用滤波器QQ198和/或放大器QQ196的组合将数字数据转换成具有适当信道和带宽参数的无线电信号。无线电信号然后可以经由天线QQ162发射。类似地,在接收数据时,天线QQ162可以收集无线电信号,然后由无线电前端电路QQ192将其转换成数字数据。数字数据可以被传递给处理电路QQ170。在其他实施例中,接口可以包括不同的组件和/或不同的组件组合。
在某些替代实施例中,网络节点QQ160可以不包括单独的无线电前端电路QQ192,而是,处理电路QQ170可以包括无线电前端电路,并且可以连接到天线QQ162而没有单独的无线电前端电路QQ192。类似地,在一些实施例中,RF收发机电路QQ172的全部或一部分可被视为接口QQ190的一部分。在其他实施例中,接口QQ190可以包括一个或多个端口或端子QQ194、无线电前端电路QQ192和RF收发机电路QQ172,作为无线电单元(未示出)的一部分,并且接口QQ190可以与基带处理电路QQ174通信,该基带处理电路QQ174是数字单元(未示出)的一部分。
天线QQ162可以包括被配置为发送和/或接收无线信号的一个或多个天线或天线阵列。天线QQ162可以耦合到无线电前端电路QQ190,并且可以是能够无线地发送和接收数据和/或信号的任何类型的天线。在一些实施例中,天线QQ162可以包括可操作以在例如2GHz和66GHz之间发送/接收无线电信号的一个或多个全向、扇形或平板天线。全向天线可用于在任何方向上发送/接收无线电信号,扇形天线可用于从特定区域内的设备发送/接收无线电信号,而平板天线可以是用于以相对的直线发送/接收无线电信号的视线天线。在某些情况下,一个以上天线的使用可以称为MIMO。在某些实施例中,天线QQ162可以与网络节点QQ160分离并且可以通过接口或端口连接到网络节点QQ160。
天线QQ162、接口QQ190和/或处理电路QQ170可被配置为执行本文描述为由网络节点执行的任何接收操作和/或某些获得操作。可以从无线设备、另一个网络节点和/或任何其他网络设备接收任何信息、数据和/或信号。类似地,天线QQ162、接口QQ190和/或处理电路QQ170可被配置为执行本文描述为由网络节点执行的任何发送操作。任何信息、数据和/或信号可被发送到无线设备、另一个网络节点和/或任何其他网络设备。
电源电路QQ187可以包括或耦合到电源管理电路,并且被配置为向网络节点QQ160的组件提供用于执行本文描述的功能的电力。电源电路QQ187可以从电源QQ186接收电力。电源QQ186和/或电源电路QQ187可被配置为以适合于各个组件的形式(例如以每一个相应组件所需的电压和电流等级)向网络节点QQ160的各个组件提供电力。电源QQ186可以包括在电源电路QQ187和/或网络节点QQ160中或在其外部。例如,网络节点QQ160可以经由输入电路或接口(例如电缆)连接到外部电源(例如电源插座),由此该外部电源向电源电路QQ187提供电力。作为又一示例,电源QQ186可以包括采取连接至电源电路QQ187或集成于其中的电池或电池组的形式的电源。如果外部电源出现故障,电池可以提供备用电力。也可以使用其他类型的电源,例如光伏设备。
网络节点QQ160的替代实施例可以包括图27所示组件之外的附加组件,这些附加组件可以负责提供网络节点的功能的某些方面,包括本文所述的任何功能和/或支持本文所述的主题所必需的任何功能。例如,网络节点QQ160可以包括用户接口设备,以允许将信息输入到网络节点QQ160中以及允许从网络节点QQ160输出信息。这可以允许用户针对网络节点QQ160执行诊断、维护、修理和其他管理功能。
如本文所使用的,WD指能够、被配置、被布置和/或可操作以与网络节点和/或其他无线设备进行无线通信的设备。除非另有说明,否则术语WD在本文中可以与用户设备(UE)互换使用。无线通信可以涉及使用电磁波、无线电波、红外波和/或适合于通过空中传送信息的其他类型的信号来发送和/或接收无线信号。在一些实施例中,WD可被配置为无需直接的人类交互就可以发送和/或接收信息。例如,WD可被设计为当由内部或外部事件触发时或响应于来自网络的请求而按预定的调度将信息发送到网络。WD的示例包括但不限于智能电话、移动电话、蜂窝电话、IP语音(VoIP)电话、无线本地环路电话、台式计算机、个人数字助理(PDA)、无线相机、游戏机或设备、音乐存储设备、播放设备、可穿戴终端设备、无线端点、移动台、平板电脑、笔记本电脑、笔记本电脑内置设备(LEE)、笔记本电脑安装设备(LME)、智能设备、无线用户驻地设备(CPE)、车辆安装无线终端设备等。WD可以例如通过实现用于副链路通信、车对车(V2V)、车对基础设施(V2I)、车辆到万物(V2X)的3GPP标准来支持设备对设备(D2D)通信,并且在这种情况下可以被称为D2D通信设备。作为又一个特定示例,在物联网(IoT)场景中,WD可以表示执行监视和/或测量并将此类监视和/或测量的结果发送到另一个WD和/或网络节点的机器或其他设备。在这种情况下,WD可以是机器对机器(M2M)设备,在3GPP上下文中可以将其称为MTC设备。作为一个特定示例,WD可以是实现3GPP窄带物联网(NB-IoT)标准的UE。这样的机器或设备的特定示例是传感器、诸如功率计的计量设备、工业机械、或家用或个人电器(例如冰箱、电视机等)、个人可穿戴设备(例如手表、健身追踪器等)。在其他情况下,WD可以表示能够监视和/或报告其操作状态或与其操作相关联的其他功能的车辆或其他设备。如上所述的WD可以表示无线连接的端点,在这种情况下,该设备可被称为无线终端。此外,如上所述的WD可以是移动的,在这种情况下,它也可以被称为移动设备或移动终端。
如图所示,无线设备QQ110包括天线QQ111、接口QQ114、处理电路QQ120、设备可读介质QQ130、用户接口设备QQ132、辅助设备QQ134、电源QQ136和电源电路QQ137。WD QQ110可以包括多组一个或多个所示出的用于WD QQ110所支持的不同无线技术(例如GSM、WCDMA、LTE、NR、Wi-Fi、WiMAX或蓝牙无线技术,仅举几例)的组件。这些无线技术可以集成到相同或不同的芯片或芯片组中作为WD QQ110中的其他组件。
天线QQ111可以包括被配置为发送和/或接收无线信号的一个或多个天线或天线阵列,并且连接到接口QQ114。在某些替代实施例中,天线QQ111可以与WD QQ110分离并且可以通过接口或端口连接到WD QQ110。天线QQ111、接口QQ114和/或处理电路QQ120可被配置为执行本文描述为由WD执行的任何接收或发送操作。可以从网络节点和/或另一个WD接收任何信息、数据和/或信号。在一些实施例中,无线电前端电路和/或天线QQ111可以被认为是接口。
如图所示,接口QQ114包括无线电前端电路QQ112和天线QQ111。无线电前端电路QQ112包括一个或多个滤波器QQ118和放大器QQ116。无线电前端电路QQ114连接到天线QQ111和处理电路QQ120,并被配置为调节在天线QQ111和处理电路QQ120之间传送的信号。无线电前端电路QQ112可以耦合到天线QQ111或作为天线QQ111的一部分。在一些实施例中,WD QQ110可以不包括单独的无线电前端电路QQ112;而是,处理电路QQ120可以包括无线电前端电路,并且可以连接到天线QQ111。类似地,在一些实施例中,RF收发机电路QQ122的一部分或全部可以被认为是接口QQ114的一部分。无线电前端电路QQ112可以接收经由无线连接发出到其他网络节点或WD的数字数据。无线电前端电路QQ112可以使用滤波器QQ118和/或放大器QQ116的组合将数字数据转换成具有适当信道和带宽参数的无线电信号。然后可以经由天线QQ111发射无线电信号。类似地,在接收数据时,天线QQ111可以收集无线电信号,然后由无线电前端电路QQ112将其转换成数字数据。数字数据可以被传递给处理电路QQ120。在其他实施例中,接口可以包括不同的组件和/或不同的组件组合。
处理电路QQ120可以包括微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列中的一个或多个的组合,或任何其他合适的计算设备、资源,或可操作以单独地或与其他WD QQ110组件(例如设备可读介质QQ130)结合提供WDQQ110功能的硬件、软件和/或编码逻辑的组合。这种功能可以包括提供本文所讨论的各种无线特征或益处中的任何一种。例如,处理电路QQ120可以执行存储在设备可读介质QQ130中或处理电路QQ120内的存储器中的指令,以提供本文公开的功能。
如图所示,处理电路QQ120包括RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126中的一个或多个。在其他实施例中,处理电路可包括不同组件和/或不同的组件组合。在某些实施例中,WD QQ110的处理电路QQ120可以包括SOC。在一些实施例中,RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126可以在单独的芯片或芯片组上。在替代实施例中,基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以合并成一个芯片或芯片组,而RF收发机电路QQ122可以在单独的芯片或芯片组上。在其他替代实施例中,RF收发机电路QQ122和基带处理电路QQ124的一部分或全部可以在同一芯片或芯片组上,而应用处理电路QQ126可以在单独的芯片或芯片组上。在其他替代实施例中,RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以合并在同一芯片或芯片组中。在一些实施例中,RF收发机电路QQ122可以是接口QQ114的一部分。RF收发机电路QQ122可以调节用于处理电路QQ120的RF信号。
在某些实施例中,本文描述为由WD执行的一些或全部功能可以由执行存储在设备可读介质QQ130(其在某些实施例中可以是计算机可读存储介质)上的指令的处理电路QQ120提供。在替代实施例中,一些或全部功能可以由处理电路QQ120提供,而无需诸如以硬连线方式执行存储在单独的或分离的设备可读介质上的指令。在这些特定实施例的任何一个中,无论是否执行存储在设备可读存储介质上的指令,处理电路QQ120都能够被配置为执行所描述的功能。这样的功能所提供的益处不仅限于处理电路QQ120或WD QQ110的其他组件,而是整体上由WD QQ110和/或通常由最终用户和无线网络享有。
处理电路QQ120可被配置为执行本文描述为由WD执行的任何确定、计算或类似操作(例如某些获得操作)。由处理电路QQ120执行的这些操作可以包括:例如通过将所获得的信息转换成其他信息、将所获得的信息或转换后的信息与由WD QQ110存储的信息进行比较、和/或执行基于所获得的信息或转换后的信息的一个或多个操作,来处理由处理电路QQ120获得的信息;以及作为所述处理的结果做出确定。
设备可读介质QQ130可操作以存储计算机程序、软件、应用(包括逻辑、规则、代码,表等中的一个或多个)和/或能够由处理电路QQ120执行的其他指令。设备可读介质QQ130可以包括计算机存储器(例如随机存取存储器(RAM)或只读存储器(ROM)、大容量存储介质(例如硬盘)、可移动存储介质(例如光盘(CD)或数字视频磁盘(DVD))和/或存储可由处理电路QQ120使用的信息、数据和/或指令的任何其他易失性或非易失性、非暂时性设备可读和/或计算机可执行存储设备。在一些实施例中,可以认为处理电路QQ120和设备可读介质QQ130是集成的。
用户接口设备QQ132可以提供允许人类用户与WD QQ110交互的组件。这种交互可以具有多种形式,例如视觉、听觉、触觉等。用户接口设备QQ132可以可操作以向用户产生输出并且允许用户向WD QQ110提供输入。交互的类型可以根据WD QQ110中安装的用户接口设备QQ132的类型而变化。例如,如果WD QQ110是智能电话,则交互可以经由触摸屏;如果WDQQ110是智能仪表,则交互可以通过提供使用情况(例如使用的加仑数)的屏幕或提供声音警报的扬声器(例如如果检测到烟雾)。用户接口设备QQ132可以包括输入接口、设备和电路以及输出接口、设备和电路。用户接口设备QQ132被配置为允许将信息输入到WD QQ110,并且连接到处理电路QQ120以允许处理电路QQ120处理所输入的信息。用户接口设备QQ132可以包括例如麦克风、接近度传感器或其他传感器、键/按钮、触摸显示器、一个或多个相机、USB端口或其他输入电路。用户接口设备QQ132还被配置为允许从WD QQ110输出信息,以及允许处理电路QQ120从WD QQ110输出信息。用户接口设备QQ132可以包括例如扬声器、显示器、振动电路、USB端口、耳机接口或其他输出电路。使用用户接口设备QQ132的一个或多个输入和输出接口、设备和电路,WD QQ110可以与最终用户和/或无线网络通信,并允许它们受益于本文所述的功能。
辅助设备QQ134可操作以提供通常可能不由WD执行的更多特定功能。这可以包括出于各种目的进行测量的专用传感器、用于诸如有线通信之类的其他通信类型的接口等。辅助设备QQ134的组件的包含和类型可以根据实施例和/或场景而变化。
在一些实施例中,电源QQ136可以采取电池或电池组的形式。也可以使用其他类型的电源,例如外部电源(例如电源插座)、光伏设备或电池。WD QQ110还可包括用于将来自电源QQ136的电力传递到WD QQ110的各个部分的电源电路QQ137,这些部分需要来自电源QQ136的电力来执行本文所述或指示的任何功能。在某些实施例中,电源电路QQ137可以包括电源管理电路。电源电路QQ137可以附加地或替代地可操作以从外部电源接收电力。在这种情况下,WD QQ110可以通过输入电路或接口(例如电源线)连接到外部电源(例如电源插座)。在某些实施例中,电源电路QQ137也可操作以将电力从外部电源传递到电源QQ136。这可以例如用于对电源QQ136进行充电。电源电路QQ137可以执行对来自电源QQ136的电力的任何格式化、转换或其他修改,以使电力适合于电力被提供到的WD QQ110的相应组件。
图28是示出根据本文描述的各个方面的UE的实施例的示例的示意图。如本文所使用的,在拥有和/或操作相关设备的人类用户的意义上,用户设备或UE可能不一定具有用户。而是,UE可以表示旨在出售给人类用户或由人类用户操作但是可能不或者最初可能不与特定人类用户相关联的设备(例如智能洒水控制器)。替代地,UE可以表示未旨在出售给最终用户或不由其操作但是可以与用户相关联或为用户的利益而操作的设备(例如智能功率计)。UE QQ2200可以是由第三代合作伙伴计划(3GPP)识别的任何UE,包括NB-IoT UE、机器型通信(MTC)UE和/或增强型MTC(eMTC)UE。如图28所示,UE QQ200是WD的一个示例,该WD被配置为根据第三代合作伙伴计划(3GPP)颁布的一种或多种通信标准(例如3GPP的GSM、UMTS、LTE和/或5G标准)进行通信。如前所述,术语WD和UE可以互换使用。因此,尽管图28是UE,但是本文讨论的组件同样适用于WD,反之亦然。
在图28中,UE QQ200包括处理电路QQ201,处理电路QQ201在操作上耦合到输入/输出接口QQ205、射频(RF)接口QQ209、网络连接接口QQ211、存储器QQ215(包括随机存取存储器(RAM)QQ217、只读存储器(ROM)QQ219、和存储介质QQ221等)、通信子系统QQ231、电源QQ213和/或任何其他组件或它们的任何组合。存储介质QQ221包括操作系统QQ223、应用程序QQ225和数据QQ227。在其他实施例中,存储介质QQ221可以包括其他类似类型的信息。某些UE可以利用图28所示的所有组件,或者仅利用这些组件的子集。组件之间的集成水平可以从一个UE到另一UE变化。此外,某些UE可能包含组件的多个实例,例如多个处理器、存储器、收发机、发射机、接收机等。
在图28中,处理电路QQ201可被配置为处理计算机指令和数据。处理电路QQ201可被配置为实现可操作以执行被存储为存储器中的机器可读计算机程序的机器指令的任何顺序状态机,例如一个或多个硬件实现的状态机(例如以离散逻辑、FPGA、ASIC等);可编程逻辑以及适当的固件;一个或多个存储的程序、通用处理器(例如微处理器或数字信号处理器(DSP))以及适当的软件;或以上的任何组合。例如,处理电路QQ201可以包括两个中央处理单元(CPU)。数据可以是具有适合计算机使用的形式的信息。
在所描绘的实施例中,输入/输出接口QQ205可被配置为向输入设备、输出设备或输入和输出设备提供通信接口。UE QQ200可被配置为经由输入/输出接口QQ205使用输出设备。输出设备可以使用与输入设备相同类型的接口端口。例如,USB端口可用于向UE QQ200提供输入或从UE QQ200提供输出。输出设备可以是扬声器、声卡、视频卡、显示器、监视器、打印机、致动器、发射机、智能卡、另一个输出设备或其任何组合。UE QQ200可被配置为经由输入/输出接口QQ205使用输入设备,以允许用户将信息捕获到UE QQ200中。输入设备可以包括触敏显示器或存在敏感显示器、相机(例如数码相机、数字摄像机、网络相机等)、麦克风、传感器、鼠标、轨迹球、方向盘、轨迹板、滚轮、智能卡等。存在敏感显示器可以包括容性或阻性触摸传感器以感测来自用户的输入。传感器可以是例如加速度计、陀螺仪、倾斜传感器、力传感器、磁力计、光学传感器、接近度传感器、另一个类似的传感器或其任意组合。例如,输入设备可以是加速度计、磁力计、数码相机、麦克风和光学传感器。
在图28中,RF接口QQ209可被配置为向诸如发射机、接收机和天线的RF组件提供通信接口。网络连接接口QQ211可被配置为向网络QQ243A提供通信接口。网络QQ243A可以包括有线和/或无线网络,例如局域网(LAN)、广域网(WAN)、计算机网络、无线网络、电信网络、另一个类似的网络或其任意组合。例如,网络QQ243A可以包括Wi-Fi网络。网络连接接口QQ211可被配置为包括接收机和发射机接口,该接收机和发射机接口用于根据一个或多个通信协议(例如以太网、TCP/IP、SONET、ATM、或以太网等),通过通信网络与一个或多个其他设备进行通信。网络连接接口QQ211可以实现适合于通信网络链路(例如光的、电的等)的接收机和发射机功能。发射机和接收机功能可以共享电路组件、软件或固件,或者替代地可以单独实现。
RAM QQ217可被配置为经由总线QQ202与处理电路QQ201连接,以在诸如操作系统、应用程序和设备驱动程序之类的软件程序的执行期间提供数据或计算机指令的存储或缓存。ROM QQ219可被配置为向处理电路QQ201提供计算机指令或数据。例如,ROM QQ219可被配置为存储用于基本系统功能(例如,基本输入和输出(I/O)、启动、来自键盘的存储在非易失性存储器中的击键的接收)的不变的低级系统代码或数据。存储介质QQ221可被配置为包括诸如RAM、ROM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁盘、光盘、软盘、硬盘、可移动盒式磁带或闪存驱动器之类的存储器。在一个示例中,存储介质QQ221可被配置为包括操作系统QQ223,诸如网络浏览器应用程序、小控件或小工具引擎或另一应用程之类的应用程序QQ225以及数据文件QQ227。存储介质QQ221可以存储各种操作系统中的任何一种或操作系统的组合以供UE QQ200使用。
存储介质QQ221可被配置为包括多个物理驱动器单元,例如独立磁盘冗余阵列(RAID)、软盘驱动器、闪存、USB闪存驱动器、外部硬盘驱动器、拇指驱动器、笔驱动器、钥式驱动器、高密度数字多功能光盘(HD-DVD)光盘驱动器、内部硬盘驱动器、蓝光光盘驱动器、全息数字数据存储(HDDS)光盘驱动器、外部迷你双列直插式内存模块(DIMM)、同步动态随机存取存储器(SDRAM)、外部微DIMM SDRAM、智能卡存储器(例如用户标识模块或可移动用户标识(SIM/RUIM)模块)、其他存储器或它们的任意组合。存储介质QQ221可以允许UEQQ200访问存储在暂时性或非暂时性存储介质上的计算机可执行指令、应用程序等,以卸载数据或上载数据。诸如利用通信系统的制造品可以有形地体现在存储介质QQ221中,该存储介质可以包括设备可读介质。
在图28中,处理电路QQ201可被配置为使用通信子系统QQ231与网络QQ243B通信。网络QQ243A和网络QQ243B可以是相同网络或不同网络。通信子系统QQ231可被配置为包括用于与网络QQ243B通信的一个或多个收发机。例如,通信子系统QQ231可被配置为包括一个或多个收发机,该一个或多个收发机用于与能够根据一个或多个通信协议(例如IEEE802.2、CDMA、WCDMA、GSM、LTE、UTRAN、WiMax等)进行无线通信的另一设备(例如另一WD、UE或无线电接入网(RAN)的基站)的一个或多个远程收发机进行通信。每个收发机可以包括发射机QQ233和/或接收机QQ235,以分别实现适于RAN链路的发射机或接收机功能(例如频率分配等)。此外,每个收发机的发射机QQ233和接收机QQ235可以共享电路组件、软件或固件,或者替代地可以单独实现。
在所示的实施例中,通信子系统QQ231的通信功能可以包括数据通信、语音通信、多媒体通信、诸如蓝牙的短距离通信、近场通信、诸如使用全球定位系统来确定位置的基于位置的通信(GPS)、另一个类似的通信功能或其任意组合。例如,通信子系统QQ231可以包括蜂窝通信、Wi-Fi通信、蓝牙通信和GPS通信。网络QQ243B可以包括有线和/或无线网络,例如局域网(LAN)、广域网(WAN)、计算机网络、无线网络、电信网络、另一个类似的网络或其任意组合。例如,网络QQ243B可以是蜂窝网络、Wi-Fi网络和/或近场网络。电源QQ213可被配置为向UE QQ200的组件提供交流(AC)或直流(DC)电力。
本文描述的特征、益处和/或功能可以在UE QQ200的组件之一中实现,或者可以在UE QQ200的多个组件间划分。此外,本文描述的特征、益处和/或功能可以以硬件、软件或固件的任意组合实现。在一个示例中,通信子系统QQ231可被配置为包括本文描述的任何组件。此外,处理电路QQ201可被配置为在总线QQ202上与任何这样的组件进行通信。在另一个示例中,任何这样的组件可以由存储在存储器中的程序指令来表示,该程序指令在由处理电路QQ201执行时执行本文所述的对应功能。在另一个示例中,任何这样的组件的功能可以在处理电路QQ201和通信子系统QQ231之间划分。在另一个示例中,任何这样的组件的非计算密集型功能可以用软件或固件实现,而计算密集型功能可以用硬件来实现。
图29是示出其中可以虚拟化由一些实施例实现的功能的虚拟化环境QQ300的示例的示意性框图。在当前上下文中,虚拟化意味着创建装置或设备的虚拟版本,其可以包括虚拟化硬件平台、存储设备和联网资源。如本文所使用的,虚拟化可以被应用于节点(例如,虚拟化的基站或虚拟化的无线电接入节点)或设备(例如,UE、无线设备或任何其他类型的通信设备)或其组件,并且涉及一种实现,其中至少一部分功能被实现为一个或多个虚拟组件(例如,经由在一个或多个网络中的一个或多个物理处理节点上执行的一个或多个应用、组件、功能、虚拟机或容器)。
在一些实施例中,本文描述的一些或所有功能可以被实现为由在由一个或多个硬件节点QQ330托管的一个或多个虚拟环境QQ300中实现的一个或多个虚拟机执行的虚拟组件。此外,在其中虚拟节点不是无线电接入节点或不需要无线电连接(例如核心网络节点)的实施例中,可以将网络节点完全虚拟化。
这些功能可以由可操作以实现本文公开的一些实施例的某些特征、功能和/或益处的一个或多个应用QQ320(其可替代地称为软件实例、虚拟设备、网络功能、虚拟节点、虚拟网络功能等)实现。应用QQ320在虚拟化环境QQ300中运行,虚拟化环境QQ300提供包括处理电路QQ360和存储器QQ390的硬件QQ330。存储器QQ390包含可由处理电路QQ360执行的指令QQ395,由此应用QQ320可操作以提供本文公开的一个或多个特征、益处和/或功能。
虚拟化环境QQ300包括通用或专用网络硬件设备QQ330,通用或专用网络硬件设备QQ330包括一组一个或多个处理器或处理电路QQ360,处理器或处理电路QQ360可以是商用现货(COTS)处理器、专用集成电路(ASIC)或包括数字或模拟硬件组件或专用处理器的任何其他类型的处理电路。每个硬件设备可以包括存储器QQ390-1,存储器QQ390-1可以是用于临时存储由处理电路QQ360执行的指令QQ395或软件的非持久性存储器。每个硬件设备可以包括一个或多个网络接口控制器(NIC)QQ370(也称为网络接口卡),其包括物理网络接口QQ380。每个硬件设备还可以包括其中存储了可由处理电路QQ360执行的软件QQ395和/或指令的非暂时性持久性机器可读存储介质QQ390-2。软件QQ395可以包括任何类型的包括用于实例化一个或多个虚拟化层QQ350(也称为系统管理程序)的软件、执行虚拟机QQ340的软件以及允许其执行与本文描述的一些实施例相关的功能、特征和/或益处的软件。
虚拟机QQ340包括虚拟处理、虚拟存储器、虚拟网络或接口以及虚拟存储装置,并且可以由对应的虚拟化层QQ350或系统管理程序运行。虚拟设备QQ320的实例的不同实施例可以在一个或多个虚拟机QQ340上实现,并且可以以不同的方式来实现。
在操作期间,处理电路QQ360执行软件QQ395以实例化系统管理程序或虚拟化层QQ350,其有时可以被称为虚拟机监视器(VMM)。虚拟化层QQ350可以向虚拟机QQ340呈现看起来像联网硬件的虚拟操作平台。
如图29所示,硬件QQ330可以是具有通用或特定组件的独立网络节点。硬件QQ330可以包括天线QQ3225,并且可以经由虚拟化来实现一些功能。替代地,硬件QQ330可以是较大的硬件群集(例如诸如在数据中心或客户驻地设备(CPE))的一部分,其中许多硬件节点一起工作并通过管理和编排(MANO)QQ3100进行管理,除其他项以外,管理和编排(MANO)QQ3100监督应用QQ320的生命周期管理。
在某些上下文中,硬件的虚拟化称为网络功能虚拟化(NFV)。NFV可用于将许多网络设备类型整合到可位于数据中心和客户驻地设备中的行业标准的大容量服务器硬件、物理交换机和物理存储装置上。
在NFV的上下文中,虚拟机QQ340可以是物理机的软件实现,该软件实现运行程序就好像程序是在物理的非虚拟机器上执行一样。每个虚拟机QQ340以及硬件QQ330的执行该虚拟机的部分(专用于该虚拟机的硬件和/或该虚拟机与其他虚拟机QQ340共享的硬件)形成单独的虚拟网元(VNE)。
仍然在NFV的上下文中,虚拟网络功能(VNF)负责处理在硬件联网基础设施QQ330之上的一个或多个虚拟机QQ340中运行的特定网络功能,并且对应于图29中的应用QQ320。
在一些实施例中,均包括一个或多个发射机QQ3220和一个或多个接收机QQ3210的一个或多个无线电单元QQ3200可以耦合到一个或多个天线QQ3225。无线电单元QQ3200可以经由一个或多个适当的网络接口与硬件节点QQ330直接通信,以及可以与虚拟组件组合使用,以提供具有无线电能力的虚拟节点,例如无线电接入节点或基站。
在一些实施例中,可以使用控制系统QQ3230来实现一些信令,该控制系统QQ3230可以替代地用于硬件节点QQ330和无线电单元QQ3200之间的通信。
图30是示出根据一些实施例的经由中间网络被连接到主机计算机的电信网络的示例的示意图。
参考图30,根据实施例,通信系统包括诸如3GPP型蜂窝网络之类的电信网络QQ410,其包括诸如无线电接入网络之类的接入网络QQ411以及核心网络QQ414。接入网络QQ411包括多个基站QQ412a、QQ412b、QQ412c(例如NB、eNB、gNB)或其他类型的无线接入点,每一个限定了对应的覆盖区域QQ413a、QQ413b、QQ413c。每个基站QQ412a、QQ412b、QQ412c可通过有线或无线连接QQ415连接到核心网络QQ414。位于覆盖区域QQ413c中的第一UE QQ491被配置为无线连接到对应的基站QQ412c或被其寻呼。覆盖区域QQ413a中的第二UE QQ492可无线连接至对应的基站QQ412a。尽管在该示例中示出了多个UE QQ491、QQ492,但是所公开的实施例同样适用于唯一UE在覆盖区域中或者唯一UE连接至对应基站QQ412的情况。
电信网络QQ410自身连接到主机计算机QQ430,主机计算机QQ430可以体现在独立服务器、云实现的服务器、分布式服务器的硬件和/或软件中,或者体现为服务器场中的处理资源。主机计算机QQ430可以在服务提供商的所有权或控制之下,或者可以由服务提供商或代表服务提供商来操作。电信网络QQ410与主机计算机QQ430之间的连接QQ421和QQ422可以直接从核心网络QQ414延伸到主机计算机QQ430,或者可以经由可选的中间网络QQ420。中间网络QQ420可以是公共、私有或托管网络之一,也可以是其中多于一个的组合;中间网络QQ420(如果有的话)可以是骨干网或因特网;特别地,中间网络QQ420可以包括两个或更多个子网络(未示出)。
整体上,图30的通信系统实现了所连接的UE QQ491、QQ492与主机计算机QQ430之间的连通性。该连通性可以被描述为过顶(OTT)连接QQ450。主机计算机QQ430与所连接的UEQQ491、QQ492被配置为使用接入网络QQ411、核心网络QQ414、任何中间网络QQ420和可能的其他基础设施(未示出)作为中介经由OTT连接QQ450来传送数据和/或信令。在OTT连接QQ450所经过的参与通信设备不知道上行链路和下行链路通信的路由的意义上,OTT连接QQ450可以是透明的。例如,可以不通知或不需要通知基站QQ412具有源自主机计算机QQ430的要向连接的UE QQ491转发(例如移交)的数据的传入下行链路通信的过去路由。类似地,基站QQ412不需要知道从UE QQ491到主机计算机QQ430的传出上行链路通信的未来路由。
图31是示出根据一些实施例的通过部分无线连接经由基站与用户设备通信的主机计算机的示例的示意图。
现在将参考图31来描述根据实施例的在先前段落中讨论的UE、基站和主机计算机的示例实现。在通信系统QQ500中,主机计算机QQ510包括硬件QQ515,硬件QQ515包括被配置为建立和维护与通信系统QQ500的不同通信设备的接口的有线或无线连接的通信接口QQ516。主机计算机QQ510还包括处理电路QQ518,处理电路QQ518可以具有存储和/或处理能力。特别地,处理电路QQ518可以包括一个或多个可编程处理器、专用集成电路、现场可编程门阵列或适于执行指令的这些项的组合(未示出)。主机计算机QQ510还包括软件QQ511,软件QQ511存储在主机计算机QQ510中或可由主机计算机QQ510访问并且可由处理电路QQ518执行。软件QQ511包括主机应用QQ512。主机应用QQ512可操作以向诸如经由终止于UE QQ530和主机计算机QQ510的OTT连接QQ550连接的UE QQ530的远程用户提供服务。在向远程用户提供服务时,主机应用QQ512可以提供使用OTT连接QQ550发送的用户数据。
通信系统QQ500进一步包括在电信系统中提供的基站QQ520,并且基站QQ520包括使它能够与主机计算机QQ510和UE QQ530通信的硬件QQ525。硬件QQ525可以包括用于建立和维持与通信系统QQ500的不同通信设备的接口的有线或无线连接的通信接口QQ526,以及用于建立和维持与位于由基站QQ520服务的覆盖区域(图31中未示出)中的UE QQ530的至少无线连接QQ570的无线电接口QQ527。通信接口QQ526可被配置为促进与主机计算机QQ510的连接QQ560。连接QQ560可以是直接的,或者连接QQ560可以通过电信系统的核心网络(图31中未示出)和/或通过电信系统外部的一个或多个中间网络。在所示实施例中,基站QQ520的硬件QQ525还包括处理电路QQ528,处理电路QQ528可包括一个或多个可编程处理器、专用集成电路、现场可编程门阵列或适于执行指令的这些项的组合(未示出)。基站QQ520还具有内部存储的或可通过外部连接访问的软件QQ521。
通信系统QQ500还包括已经提到的UE QQ530。UE QQ530的硬件QQ535可以包括无线电接口QQ537,其被配置为建立并维持与服务UE QQ530当前所在的覆盖区域的基站的无线连接QQ570。UE QQ530的硬件QQ535还包括处理电路QQ538,处理电路QQ538可以包括一个或多个可编程处理器、专用集成电路、现场可编程门阵列或适于执行指令的这些项的组合(未示出)。UE QQ530还包括存储在UE QQ530中或可由UE QQ530访问并且可由处理电路QQ538执行的软件QQ531。软件QQ531包括客户端应用QQ532。客户端应用QQ532可操作以在主机计算机QQ510的支持下经由UE QQ530向人类或非人类用户提供服务。在主机计算机QQ510中,正在执行的主机应用QQ512可经由终止于UE QQ530和主机计算机QQ510的OTT连接QQ550与正在执行的客户端应用QQ532进行通信。在向用户提供服务中,客户端应用QQ532可以从主机应用QQ512接收请求数据,并响应于该请求数据而提供用户数据。OTT连接QQ550可以传送请求数据和用户数据两者。客户端应用QQ532可以与用户交互以生成其提供的用户数据。
注意,图31所示的主机计算机QQ510、基站QQ520和UE QQ530可以分别与图30的主机计算机QQ430、基站QQ412a、QQ412b、QQ412c之一以及UE QQ491、QQ492之一相似或相同。也就是说,这些实体的内部工作原理可以如图31所示,并且独立地,周围的网络拓扑可以是图30的周围的网络拓扑。
在图31中,已经抽象地绘制了OTT连接QQ550以示出主机计算机QQ510与UE QQ530之间经由基站QQ520的通信,而没有明确地参考任何中间设备以及经由这些设备的消息的精确路由。网络基础设施可以确定路由,网络基础设施可被配置为将路由对UE QQ530或对操作主机计算机QQ510的服务提供商或两者隐藏。当OTT连接QQ550是活动的时,网络基础设施可以进一步做出决定,按照该决定,网络基础设施动态地改变路由(例如,基于负载平衡考虑或网络的重配置)。
UE QQ530与基站QQ520之间的无线连接QQ570是根据贯穿本公开描述的实施例的教导。各种实施例中的一个或多个提高了使用OTT连接QQ550(其中无线连接QQ570形成最后的段)向UE QQ530提供的OTT服务的性能。
可以出于监视数据速率、延迟和一个或多个实施例在其上改进的其他因素的目的而提供测量过程。响应于测量结果的变化,还可以存在用于重配置主机计算机QQ510和UEQQ530之间的OTT连接QQ550的可选网络功能。用于重配置OTT连接QQ550的测量过程和/或网络功能可以在主机计算机QQ510的软件QQ511和硬件QQ515或在UE QQ530的软件QQ531和硬件QQ535中或者在两者中实现。在实施例中,可以将传感器(未示出)部署在OTT连接QQ550所通过的通信设备中或与这样的通信设备相关联;传感器可以通过提供以上示例的监视量的值或提供软件QQ511、QQ531可以从中计算或估计监视量的其他物理量的值来参与测量过程。OTT连接QQ550的重配置可以包括消息格式、重传设置、优选路由等。重配置不需要影响基站QQ520,并且它对基站QQ520可能是未知的或不可感知的。这种过程和功能可以在本领域中是已知的和经实践的。在某些实施例中,测量可以涉及专有UE信令,其促进主机计算机QQ510对吞吐量、传播时间、延迟等的测量。可以实现测量,因为软件QQ511和QQ531在其监视传播时间、错误等期间导致使用OTT连接QQ550来发送消息,特别是空消息或“假(dummy)”消息。
图32和33是示出了根据一些实施例的在包括例如主机计算机以及可选地基站和用户设备的通信系统中实现的方法的示例的示意性流程图。
图32是示出根据一个实施例的在通信系统中实现的方法的流程图。该通信系统包括主计算机、基站和UE,它们可以是参考图27至31描述的那些主计算机、基站和UE。为了简化本公开,在本节中仅包括对图32的附图参考。在步骤QQ610,主机计算机提供用户数据。在步骤QQ610的子步骤QQ611(可以是可选的)中,主机计算机通过执行主机应用来提供用户数据。在步骤QQ620中,主机计算机发起到UE的携带用户数据的传输。在步骤QQ630(可以是可选的)中,根据贯穿本公开描述的实施例的教导,基站向UE发送在主机计算机发起的传输中携带的用户数据。在步骤QQ640(也可以是可选的),UE执行与由主机计算机执行的主机应用相关联的客户端应用。
图33是示出根据一个实施例的在通信系统中实现的方法的流程图。该通信系统包括主计算机、基站和UE,它们可以是参考图27至31描述的那些主计算机、基站和UE。为了简化本公开,本节仅包括对图33的附图参考。在该方法的步骤QQ710中,主机计算机提供用户数据。在可选的子步骤(未示出)中,主机计算机通过执行主机应用来提供用户数据。在步骤QQ720中,主机计算机发起到UE的携带用户数据的传输。根据贯穿本公开描述的实施例的教导,该传输可以通过基站。在步骤QQ730(可以是可选的),UE接收在该传输中携带的用户数据。
图34和35是示出根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的方法的示例的示意图。
图34是示出根据一个实施例的在通信系统中实现的方法的流程图。该通信系统包括主计算机、基站和UE,它们可以是参考图27至31描述的那些主计算机、基站和UE。为了简化本公开,本节仅包括对图34的附图参考。在步骤QQ810(可以是可选的),UE接收由主机计算机提供的输入数据。附加地或替代地,在步骤QQ820中,UE提供用户数据。在步骤QQ820的子步骤QQ821(可以是可选的)中,UE通过执行客户端应用来提供用户数据。在步骤QQ810的子步骤QQ811(可以是可选的)中,UE执行客户端应用,该客户端应用响应于所接收的由主机计算机提供的输入数据来提供用户数据。在提供用户数据时,所执行的客户端应用可以进一步考虑从用户接收的用户输入。不管提供用户数据的具体方式如何,UE在子步骤QQ830(可以是可选的)中发起到主机计算机的用户数据的传输。在该方法的步骤QQ840中,根据贯穿本公开描述的实施例的教导,主机计算机接收从UE发送的用户数据。
图35是示出根据一个实施例的在通信系统中实现的方法的流程图。该通信系统包括主计算机、基站和UE,它们可以是参考图27至31描述的那些主计算机、基站和UE。为了简化本公开,本节仅包括对图35的附图参考。在步骤QQ910(可以是可选的)中,根据贯穿本公开描述的实施例的教导,基站从UE接收用户数据。在步骤QQ920(可以是可选的),基站发起到主机计算机的所接收的用户数据的传输。在步骤QQ930(可以是可选的),主机计算机接收在由基站发起的传输中携带的用户数据。
在下文中,将给出说明性和非限制性编号的实施例的示例。
A组实施例
1.一种由无线设备执行的用于分辨率确定的方法。该方法包括:
-执行以下操作直到功率比超过阈值为止,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
2.一种由无线设备执行的用于图片处理的方法。该方法包括:
-根据实施例1,确定图片的分辨率;以及
-处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果。
3.一种由无线设备执行的用于图片处理的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例1,确定图片的分辨率;以及
-基于该分辨率在相应的处理结果中选择处理结果。
4.一种由无线设备执行的用于图片处理的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例1,确定图片的分辨率;
-基于该分辨率,确定相应的处理结果的权重;以及
-通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果。
5.根据实施例1至4中任一项所述的方法,还包括:
-提供用户数据;以及
-经由向目标网络节点的传输,将用户数据转发给主机计算机。
B组实施例
6.一种由网络节点或设备执行的用于分辨率确定的方法。该方法包括:
-执行以下操作直到功率比超过阈值为止,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
7.一种由网络节点或设备执行的用于图片处理的方法。该方法包括:
-根据实施例6,确定图片的分辨率;以及
-处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果。
8.一种由网络节点或设备执行的用于图片处理的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例6,确定图片的分辨率;以及
-基于该分辨率在相应处理结果中选择处理结果。
9.一种由网络节点或设备执行的用于图片处理的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例6,确定图片的分辨率;
-基于该分辨率,确定相应的处理结果的权重;以及
-通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果。
10.根据实施例6至9中任一项所述的方法,还包括:
-获得用户数据;以及
-将所述用户数据转发给主机计算机或无线设备。
C组实施例
11.一种无线设备,包括被配置为执行A组实施例中的任何一个的任何步骤的处理电路。
12.一种网络节点或设备,例如基站,包括被配置为执行B组实施例中的任何一个的任何步骤的处理电路。
13.一种用户设备UE,包括:
-天线,被配置为发送和接收无线信号;
-无线电前端电路,被连接到天线和处理电路并被配置为调节在天线与处理电路之间传送的信号;
-处理电路被配置为执行A组实施例中的任一项所述的任何步骤;
-输入接口,被连接到处理电路并被配置为允许将信息输入到UE中以由处理电路处理;
-输出接口,被连接到处理电路并被配置为从UE输出已经由处理电路处理的信息;以及
-电池,被连接到处理电路并被配置为向UE供电。
14.一种包括主机计算机的通信系统,主机计算机包括:
-处理电路,被配置为提供用户数据;以及
-通信接口,被配置为向蜂窝网络转发用户数据以传输到用户设备UE;
-其中,蜂窝网络包括具有无线电接口和处理电路的基站,基站的处理电路被配置为执行B组实施例中的任一项所述的任何步骤。
15.根据实施例14所述的通信系统,还包括:该基站。
16.根据实施例14或15所述的通信系统,还包括:该UE,其中,该UE被配置为与基站进行通信。
17.根据实施例14至16中任一项所述的通信系统,其中,:
-主机计算机的处理电路被配置为执行主机应用,从而提供用户数据;以及
-UE包括被配置为执行与主机应用相关联的客户端应用的处理电路。
18.一种在包括主机计算机、基站和用户设备UE的通信系统中实现的方法,该方法包括:
-在主机计算机处,提供用户数据;以及
-在主机计算机处,发起携带用户数据的经由包括基站的蜂窝网络到UE的传输,其中,基站执行B组实施例中的任一项所述的任何步骤。
19.根据实施例18所述的方法,还包括:在基站处,发送用户数据。
20.根据实施例18或19所述的方法,其中,用户数据是通过执行主机应用在主机计算机处提供的,该方法还包括:在UE处,执行与主机应用相关联的客户端应用。
21.一种用户设备UE,被配置为与基站通信,该UE包括无线电接口和被配置为执行A组实施例中的任何一个的任何步骤的处理电路。
22.一种包括主机计算机的通信系统,包括:
-处理电路,被配置为提供用户数据;以及
-通信接口,被配置为向蜂窝网络转发用户数据以传输到用户设备UE;
-其中,UE包括无线电接口和处理电路,UE的组件被配置为执行A组实施例中的任一项所述的任何步骤。
23.根据实施例22所述的通信系统,其中,蜂窝网络还包括被配置为与UE进行通信的基站。
24.根据实施例22或23所述的通信系统,其中:
-主机计算机的处理电路被配置为执行主机应用,从而提供用户数据;以及
-UE的处理电路被配置为执行与主机应用相关联的客户端应用。
25.一种在包括主机计算机、基站和用户设备UE的通信系统中实现的方法,该方法包括:
-在主机计算机处,提供用户数据;以及
-在主机计算机处,发起携带用户数据的经由包括基站的蜂窝网络到UE的传输,其中,UE执行A组实施例中的任一项所述的任何步骤。
26.根据实施例25所述的方法,还包括:在UE处,从基站接收用户数据。
27.一种包括主机计算机的通信系统,主机计算机包括:
-通信接口,被配置为接收源自从用户设备UE到基站的传输的用户数据;
-其中,UE包括无线电接口和处理电路,UE的处理电路被配置为执行A组实施例中的任一项所述的任何步骤。
28.根据实施例27所述的通信系统,还包括:该UE。
29.根据实施例27或28所述的通信系统,还包括:该基站,其中,该基站包括:无线电接口,被配置为与UE通信;以及通信接口,被配置为向主机计算机转发由从UE到基站的传输携带的用户数据。
30.根据实施例27至29中任一项所述的通信系统,其中:
-主机计算机的处理电路被配置为执行主机应用;以及
-UE的处理电路被配置为执行与主机应用相关联的客户端应用,从而提供用户数据。
31.根据实施例27至30中任一项所述的通信系统,其中:
-主机计算机的处理电路被配置为执行主机应用,从而提供请求数据;以及
-UE的处理电路被配置为执行与主机应用相关联的客户端应用,从而响应于请求数据而提供用户数据。
32.一种在包括主机计算机、基站和用户设备UE的通信系统中实现的方法,该方法包括:
-在主机计算机处,接收从UE向基站发送的用户数据,其中,UE执行A组实施例中的任一项所述的任何步骤。
33.根据实施例32所述的方法,还包括:在UE处,向基站提供用户数据。
34.根据实施例32或33的方法,还包括:
-在UE处,执行客户端应用,从而提供要被发送的用户数据;以及
-在主机计算机处,执行与客户端应用相关联的主机应用。
35.根据实施例32至34中任一项所述的方法,还包括:
-在UE处,执行客户端应用;以及
-在UE处,接收向客户端应用的输入数据,输入数据是通过执行与客户端应用相关联的主机应用来在主机计算机处提供的;
-其中,要被发送的用户数据是由客户端应用响应于输入数据而提供的。
36.一种包括主机计算机的通信系统,主机计算机包括通信接口,通信接口被配置为接收源自从用户设备UE到基站的传输的用户数据,其中,基站包括无线电接口和处理电路,基站的处理电路被配置为执行B组实施例中的任一项所述的任何步骤。
37.根据实施例36所述的通信系统,还包括:该基站。
38.根据实施例36或37所述的通信系统,还包括:该UE,其中,UE被配置为与基站进行通信。
39.根据实施例36至38中任一项所述的通信系统,其中:
-主机计算机的处理电路被配置为执行主机应用;以及
-UE被配置为执行与主机应用相关联的客户端应用,从而提供要由主机计算机接收的用户数据。
40.一种在包括主机计算机、基站和用户设备UE的通信系统中实现的方法,该方法包括:
-在主机计算机处,从基站接收源自基站已经从UE接收的传输的用户数据,其中,UE执行A组实施例中的任一项所述的任何步骤。
41.根据实施例40所述的方法,还包括:在基站处,从UE接收用户数据。
42.根据实施例40或41所述的方法,还包括:在基站处,发起所接收的用户数据到主机计算机的传输。
D组实施例
43.一种用于确定图片的分辨率的方法。该方法包括:
-执行以下操作直到功率比超过阈值为止,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
44.一种用于处理图片的方法。该方法包括:
-根据实施例43,确定图片的分辨率;以及
-处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果。
45.一种用于处理图片的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例43,确定图片的分辨率;以及
-基于该分辨率在相应的处理结果中选择处理结果。
46.一种用于处理图片的方法。该方法包括:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-根据实施例43,确定图片的分辨率;
-基于该分辨率,确定相应的处理结果的权重;以及
-通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果。
47.一种被配置为确定图片的分辨率的设备。该设备被配置为:
-执行以下操作直到功率比超过阈值为止,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
48.一种被配置为处理图片的设备。该设备被配置为:
-使用根据实施例47的设备来确定图片的分辨率;以及
-处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果。
49.一种被配置为处理图片的设备。该设备被配置为:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-使用根据实施例47的设备来确定图片的分辨率;以及
-基于该分辨率在相应的处理结果中选择处理结果。
50.一种被配置为处理图片的设备。该设备被配置为:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-使用根据实施例47的设备来确定图片的分辨率;
-基于该分辨率,确定相应的处理结果的权重;以及
-通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果。
51.一种无线设备,包括根据实施例47至50中任一项的设备。
52.一种网络节点,包括根据实施例47至50中任一项的设备。
53.一种网络设备,包括根据实施例47至50中任一项的设备。
54.一种包括指令的计算机程序,该指令在由至少一个处理器执行时使至少一个处理器:
-执行以下操作直到功率比超过阈值为止,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-当功率比超过阈值时,基于所设置的输入信号的分辨率来确定图片的分辨率。
55.一种包括指令的计算机程序,该指令在由至少一个处理器执行时使至少一个处理器执行以下操作:
-使用根据实施例54的计算机程序来确定图片的分辨率;以及
-处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果。
56.一种包括指令的计算机程序,该指令在由至少一个处理器执行时使至少一个处理器执行以下操作:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-使用根据实施例54的计算机程序来确定图片的分辨率;以及
-基于该分辨率在相应的处理结果中选择处理结果。
57.一种包括指令的计算机程序,该指令在由至少一个处理器执行时使至少一个处理器执行以下操作:
-处理图片和该图片的至少一个缩小版本以获得相应的处理结果;
-使用根据实施例54的计算机程序来确定图片的分辨率;
-基于该分辨率,确定相应的处理结果的权重;以及
-通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果。
58.一种包括计算机可读介质的计算机程序产品,该计算机可读介质上存储了根据实施例54至57中的任何一个的计算机程序。
59.一种用于确定图片的分辨率的装置。该装置包括:
-用于执行以下操作直到功率比超过阈值为止的模块,其中,输入信号被初始设置为图片的像素值:
-确定表示输入信号与输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
-确定表示重采样信号与重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,重采样信号是输入信号的半带滤波版本的下采样版本;
-基于第一信号功率和第二信号功率来确定功率比;以及
-如果功率比等于或低于阈值,将输入信号设置为等于重采样信号;以及
-用于当功率比超过阈值时基于所设置的输入信号的分辨率来确定图片的分辨率的模块。
60.一种用于处理图片的装置。该装置包括:
-根据实施例59的用于确定图片的分辨率的装置;以及
-用于处理图片的具有与该分辨率相对应的分辨率的版本以获得处理结果的模块。
61.一种用于处理图片的装置。该装置包括:
-用于处理图片和图片的至少一个缩小版本以获得相应的处理结果的模块;
-根据实施例59的用于确定图片的分辨率的装置;以及
-用于基于该分辨率在相应的处理结果中选择处理结果的模块。
62.一种用于处理图片的装置。该装置包括:
-用于处理图片和图片的至少一个缩小版本以获得相应的处理结果的模块;
-根据实施例59的用于确定图片的分辨率的装置;
-用于基于该分辨率来确定相应的处理结果的权重的模块;以及
-用于通过用所确定的权重对相应的处理结果进行加权来确定图片的处理结果的模块。
上述实施例应被理解为本发明的一些说明性示例。本领域技术人员将理解,在不脱离本发明的范围的情况下,可以对实施例进行各种修改、组合和改变。特别地,在技术上可能的情况下,不同实施例中的不同部分解决方案可以被组合成其他配置。然而,本发明的范围由所附权利要求书来限定。
参考文献
[1]Proakis和Manolakis,数字信号处理,第4版,皮尔逊,2006年。
[2]Goodman和Carey,用于抽取和内插的九个数字滤波器,IEEE声学、语音和信号处理学报,25(2):121-126,1977年。
[3]VMAF-视频多方法评估融合,视频数据库,https://github.com/Netflix/vmaf/blob/master/resource/doc/datasets.md,于2018年9月6日提交,https://drive.google.com/folderview?id=0B3YWNICYMBIweGdJbERlUG9zc0k&usp=sharing,于2018年9月6日提交。
[4]VQEG-视频质量专家组,视频数据库,http://www.cdvl.org/,于2018年9月6日提交。
[5]Lin等人,MCL-V:流视频质量评估数据库,视觉传达与图像表示杂志,30:1-9,2015,http://mcl.usc.edu/mcl-v-database/。
Claims (48)
1.一种确定图片(10)的分辨率的方法,其中,输入信号被初始设置为所述图片(10)的像素值,所述方法包括:
执行以下操作直到功率比超过阈值为止:
确定(S2)表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定(S3)表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定(S4)所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置(S6)为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定(S7)所述图片(10)的分辨率。
2.根据权利要求1所述的方法,包括:
将所述输入信号初始设置(S1)为所述图片(10)的所述像素值;
执行以下操作直到所述功率比超过所述阈值为止:
确定(S2)表示所述输入信号与所述输入信号的半带滤波版本之间的差的所述第一残余信号的所述第一信号功率;
确定(S3)表示所述重采样信号与所述重采样信号的半带滤波版本之间的差的所述第二残余信号的所述第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的所述下采样版本;
基于所述第一信号功率和所述第二信号功率来确定(S4)所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置(S6)为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定(S7)所述图片(10)的分辨率。
3.根据权利要求1或2所述的方法,其中,
确定(S2)所述第一信号功率包括:基于所述第一残余信号的方差来确定(S2)所述第一信号功率;以及
确定(S3)所述第二信号功率包括:基于所述第二残余信号的方差来确定(S3)所述第二信号功率。
5.根据权利要求1至4中任一项所述的方法,还包括:基于所述输入信号与所述输入信号的半带滤波版本之间的差来确定(S12)所述第一残余信号。
6.根据权利要求5所述的方法,还包括:对所述输入信号进行半带滤波(S10)以获得所述输入信号的半带滤波版本。
7.根据权利要求5所述的方法,还包括:放大(S11)所述重采样信号以获得所述输入信号的半带滤波版本。
8.根据权利要求1至7中任一项所述的方法,还包括:基于所述重采样信号与所述重采样信号的半带滤波版本之间的差来确定(S22)所述第二残余信号。
9.根据权利要求8所述的方法,还包括:对所述输入信号的半带滤波版本进行下采样(S20)以获得所述重采样信号。
10.根据权利要求9所述的方法,其中,对所述输入信号的半带滤波版本进行下采样(S20)包括:以2为因子对所述输入信号的半带滤波版本进行下采样(S20)。
11.根据权利要求8至10中任一项所述的方法,还包括:对所述重采样信号进行半带滤波(S21)以获得所述重采样信号的半带滤波版本。
12.根据权利要求1至11中任一项所述的方法,其中,确定(S4)所述功率比包括:基于所述第一信号功率与所述第二信号功率之间的比来确定(S4)所述功率比。
13.根据权利要求1至12中任一项所述的方法,还包括:基于所述分辨率来确定(S8)所述图片(10)的重采样级别。
14.根据权利要求1至13中任一项所述的方法,还包括:以与所述分辨率相对应的分辨率来输出(S9)所述图片(10)的重采样版本。
15.根据权利要求1至14中任一项所述的方法,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述方法包括:
对于所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定(S2)表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定(S3)表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定(S4)所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置(S6)为等于所述重采样信号;以及
当针对所述多个图片(10,11)中的每个图片(10)确定的所述功率比超过所述阈值时,基于所设置的输入信号的分辨率,确定(S7)该图片的相应分辨率。
16.根据权利要求1至15中任一项所述的方法,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述方法包括:
针对所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定(S2)表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定(S3)表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于针对所述多个图片(10,11)确定的所述第一信号功率和针对所述多个图片(10,11)确定的所述第二信号功率,确定(S4)所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置(S6)为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定(S7)所述分辨率。
17.根据权利要求16所述的方法,其中,确定(S4)所述功率比包括:基于针对所述多个图片(10,11)确定的所述第一信号功率的平均值和针对所述多个图片(10,11)确定的所述第二信号功率的平均值,确定(S4)所述功率比。
18.根据权利要求1至17中任一项所述的方法,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述方法包括:
对于所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定(S2)表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定(S3)表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定(S4)所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置(S6)为等于所述重采样信号;以及
当针对所述多个图片(10,11)确定的各自的功率比超过所述阈值时,基于所设置的输入信号的相应的分辨率来确定(S7)所述分辨率。
19.一种处理图片(10)的方法,包括:
根据权利要求1至18中的任一项来确定(S30)所述图片(10)的分辨率;以及
处理(S31)所述图片(10)的具有与所述分辨率相对应的分辨率的版本以获得处理结果(20)。
20.一种处理图片(10)的方法,包括:
处理(S40)所述图片(10)和所述图片(10)的至少一个缩小版本以获得相应的处理结果(20);
根据权利要求1至18中的任一项来确定(S41)所述图片(10)的分辨率;以及
基于所述分辨率在所述相应的处理结果(20)中选择(S42)处理结果(20)。
21.根据权利要求20所述的方法,其中,选择(S42)所述处理结果(20)包括:选择(S42)通过处理所述图片(10)的具有与所述分辨率相对应的分辨率的版本而获得的所述处理结果(20)。
22.一种处理图片(10)的方法,包括:
处理(S50)所述图片(10)和所述图片(10)的至少一个缩小版本以获得相应的处理结果(20);
根据权利要求1至18中的任一项来确定(S51)所述图片(10)的分辨率;以及
基于所述分辨率来确定(S52)所述相应的处理结果(20)的权重;以及
通过用所确定的权重对所述相应的处理结果(20)进行加权来确定(S53)所述图片(10)的处理结果(20)。
23.一种用于确定图片(10)的分辨率的设备(100,110,120,130),其中,输入信号被初始设置为所述图片(10)的像素值,所述设备(100,110,120,130)被配置为:
执行以下操作直到功率比超过阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片(10)的分辨率。
24.根据权利要求23所述的设备,其中,所述设备(100,110,120,130)被配置为:
将所述输入信号初始设置为所述图片(10)的所述像素值;
执行以下操作直到所述功率比超过所述阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的所述第一残余信号的所述第一信号功率;
确定表示所述重采样信号与所述重采样信号的半带滤波版本之间的差的所述第二残余信号的所述第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的所述下采样版本;
基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片(10)的分辨率。
25.根据权利要求23或24所述的设备,其中,所述设备(100,110,120,130)被配置为:
基于所述第一残余信号的方差来确定所述第一信号功率;以及
基于所述第二残余信号的方差来确定所述第二信号功率。
27.根据权利要求23至26中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:基于所述输入信号与所述输入信号的半带滤波版本之间的差来确定所述第一残余信号。
28.根据权利要求27所述的设备,其中,所述设备(100,110,120,130)被配置为:对所述输入信号进行半带滤波以获得所述输入信号的半带滤波版本。
29.根据权利要求27所述的设备,其中,所述设备(100,110,120,130)被配置为:放大所述重采样信号以获得所述输入信号的半带滤波版本。
30.根据权利要求23至29中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:基于所述重采样信号与所述重采样信号的半带滤波版本之间的差来确定所述第二残余信号。
31.根据权利要求30所述的设备,其中,所述设备(100,110,120,130)被配置为:对所述输入信号的半带滤波版本进行下采样以获得所述重采样信号。
32.根据权利要求31所述的设备,其中,所述设备(100,110,120,130)被配置为:以2为因子对所述输入信号的半带滤波版本进行下采样。
33.根据权利要求30至32中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:对所述重采样信号进行半带滤波以获得所述重采样信号的半带滤波版本。
34.根据权利要求23至33中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:基于所述第一信号功率与所述第二信号功率之间的比来确定所述功率比。
35.根据权利要求23至34中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:基于所述分辨率来确定所述图片(10)的重采样级别。
36.根据权利要求23至35中任一项所述的设备,其中,所述设备(100,110,120,130)被配置为:以与所述分辨率相对应的分辨率来输出所述图片(10)的重采样版本。
37.根据权利要求23至36中任一项所述的设备,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述设备(100,110,120,130)被配置为:
对于所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当针对所述多个图片(10,11)中的每个图片(10)确定的所述功率比超过所述阈值时,基于所设置的输入信号的分辨率,确定该图片的相应分辨率。
38.根据权利要求23至37中任一项所述的设备,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述设备(100,110,120,130)配置为:
针对所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于针对所述多个图片(10,11)确定的所述第一信号功率和针对所述多个图片(10,11)确定的所述第二信号功率,确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述分辨率。
39.根据权利要求38所述的设备,其中,所述设备(100,110,120,130)被配置为:基于针对所述多个图片(10,11)确定的所述第一信号功率的平均值和针对所述多个图片(10,11)确定的所述第二信号功率的平均值,确定所述功率比。
40.根据权利要求23至39中任一项所述的设备,其中,
所述图片(10)是视频序列(1)的图片(10);以及
所述设备(100,110,120,130)被配置为:
对于所述视频序列(1)的多个图片(10,11)中的每个图片(10)并且所述输入信号被初始设置为所述图片(10)的像素值,执行以下操作直到功率比超过阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当针对所述多个图片(10,11)确定的各自的功率比超过所述阈值时,基于所设置的输入信号的相应的分辨率来确定所述分辨率。
41.根据权利要求23至40中任一项所述的设备,还包括:
处理器(101);以及
存储器(102),存储能够由所述处理器(101)执行的指令,其中,所述处理器(101)可操作以:
确定所述第一信号功率;
确定所述第二信号功率;
确定所述功率比;
设置所述输入信号;以及
确定所述分辨率。
42.一种用于处理图片(10)的设备(140),包括:
根据权利要求23至41中的任一项所述的用于确定所述图片(10)的分辨率的设备(100,110,120,130);以及
设备(141),被配置为处理所述图片(10)的具有与所述分辨率相对应的分辨率的版本以获得处理结果(20)。
43.一种用于处理图片(10)的设备(150),包括:
设备(151),被配置为处理所述图片(10)和所述图片(10)的至少一个缩小版本以获得相应的处理结果(20);
根据权利要求23至41中的任一项所述的用于确定所述图片(10)的分辨率的设备(100,110,120,130);以及
设备(152),被配置为基于所述分辨率在所述相应的处理结果(20)中选择处理结果(20)。
44.根据权利要求43所述的设备,其中,所述设备(152)被配置为选择所述处理结果(20)包括:选择通过处理所述图片(10)的具有与所述分辨率相对应的分辨率的版本而获得的处理结果(20)。
45.一种用于处理图片(10)的设备(160),包括:
设备(161),被配置为处理所述图片(10)和所述图片(10)的至少一个缩小版本以获得相应的处理结果(20);
根据权利要求23至41中的任一项所述的用于确定所述图片(10)的分辨率的设备(100,110,120,130);
设备(162),被配置为基于所述分辨率来确定所述相应的处理结果(20)的权重;以及
设备(163),被配置为通过用所确定的权重对所述相应的处理结果(20)进行加权来确定所述图片(10)的处理结果(20)。
46.一种网络设备(30,300),包括根据权利要求23至45中任一项所述的设备(100,110,120,130,140,150,160)。
47.一种包括指令的计算机程序(240),所述指令在由至少一个处理器(210)执行时使所述至少一个处理器(210)执行以下步骤,其中,输入信号被初始设置为图片(10)的像素值:
执行以下操作直到功率比超过阈值为止:
确定表示所述输入信号与所述输入信号的半带滤波版本之间的差的第一残余信号的第一信号功率;
确定表示重采样信号与所述重采样信号的半带滤波版本之间的差的第二残余信号的第二信号功率,其中,所述重采样信号是所述输入信号的半带滤波版本的下采样版本;
基于所述第一信号功率和所述第二信号功率来确定所述功率比;以及
如果所述功率比等于或低于所述阈值,将所述输入信号设置为等于所述重采样信号;以及
当所述功率比超过所述阈值时,基于所设置的输入信号的分辨率来确定所述图片(10)的分辨率。
48.一种载体(250),包括根据权利要求47所述的计算机程序(240),其中,所述载体(250)是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质中的一个。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2018/075523 WO2020057749A1 (en) | 2018-09-20 | 2018-09-20 | Resolution of a picture |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112771569A true CN112771569A (zh) | 2021-05-07 |
Family
ID=63678623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880097773.2A Pending CN112771569A (zh) | 2018-09-20 | 2018-09-20 | 图片的分辨率 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11727602B2 (zh) |
EP (1) | EP3853811B1 (zh) |
CN (1) | CN112771569A (zh) |
WO (1) | WO2020057749A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013202A1 (en) * | 2009-07-16 | 2011-01-20 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for executing the image processing method |
CN104604241A (zh) * | 2012-07-09 | 2015-05-06 | Vid拓展公司 | 功率感知视频解码和串流 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019171413A1 (ja) * | 2018-03-05 | 2019-09-12 | 日本電気株式会社 | 画像照合装置 |
-
2018
- 2018-09-20 US US17/277,607 patent/US11727602B2/en active Active
- 2018-09-20 EP EP18773754.9A patent/EP3853811B1/en active Active
- 2018-09-20 WO PCT/EP2018/075523 patent/WO2020057749A1/en unknown
- 2018-09-20 CN CN201880097773.2A patent/CN112771569A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013202A1 (en) * | 2009-07-16 | 2011-01-20 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for executing the image processing method |
CN104604241A (zh) * | 2012-07-09 | 2015-05-06 | Vid拓展公司 | 功率感知视频解码和串流 |
Also Published As
Publication number | Publication date |
---|---|
WO2020057749A1 (en) | 2020-03-26 |
US11727602B2 (en) | 2023-08-15 |
US20210350579A1 (en) | 2021-11-11 |
EP3853811B1 (en) | 2022-05-04 |
EP3853811A1 (en) | 2021-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220309689A1 (en) | System and method for optimizing dynamic point clouds based on prioritized transformations | |
US11394978B2 (en) | Video fidelity measure | |
JP7433911B2 (ja) | 帯域内制御シグナリングを利用するバッファ処理 | |
US11924051B2 (en) | Method and system for estimating network performance using machine learning and partial path measurements | |
US11694346B2 (en) | Object tracking in real-time applications | |
JP6964780B2 (ja) | 参照値と関係するデバイスとを使用するビデオの符号化および/または復号を行う方法 | |
US20240086787A1 (en) | Method and system to predict network performance using a hybrid model incorporating multiple sub-models | |
US20230059954A1 (en) | Method, electronic device and non-transitory computer-readable storage medium for determining indoor radio transmitter distribution | |
EP3853811B1 (en) | Resolution of a picture | |
WO2024003388A1 (en) | Iterative machine learning in a communication network | |
US20230308850A1 (en) | Adaptive Segmentation of Public Warning Systems Messages | |
US20230041036A1 (en) | Method and system for estimating indoor radio transmitter count | |
WO2022031209A1 (en) | Reference signal beam configuration in a wireless communication network | |
WO2020043280A1 (en) | Image fidelity measure | |
US11991065B2 (en) | Method and system to identify network nodes/cells with performance seasonality based on time series of performance data and external reference data | |
US11791959B2 (en) | Methods, apparatus and machine-readable mediums for signalling in a base station | |
JP2023546045A (ja) | 無線通信ネットワークにおける無線デバイス測位能力 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |