CN117280692A - 与编码工具相关联的通用约束标志的使用 - Google Patents
与编码工具相关联的通用约束标志的使用 Download PDFInfo
- Publication number
- CN117280692A CN117280692A CN202280033532.8A CN202280033532A CN117280692A CN 117280692 A CN117280692 A CN 117280692A CN 202280033532 A CN202280033532 A CN 202280033532A CN 117280692 A CN117280692 A CN 117280692A
- Authority
- CN
- China
- Prior art keywords
- rice
- encoding tool
- tool
- encoding
- disable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 111
- 241000209094 Oryza Species 0.000 claims abstract description 99
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 99
- 235000009566 rice Nutrition 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 86
- 230000006870 function Effects 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 46
- 230000006978 adaptation Effects 0.000 claims description 10
- 230000002085 persistent effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 50
- 230000009466 transformation Effects 0.000 description 44
- 238000013139 quantization Methods 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 23
- 230000003044 adaptive effect Effects 0.000 description 22
- 238000010606 normalization Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 9
- 241000760358 Enodes Species 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 101150044148 MID1 gene Proteins 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011151 fibre-reinforced plastic Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005476 size effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
公开了用于使用与编码工具相关联的通用约束标志的系统、方法和手段。通用约束标志可被配置为用于指出针对配置文件层级是启用还是禁用编码工具的指示。例如,编码工具可以是莱斯编码工具,其中莱斯编码与可变长度编码相关联。编码工具可与扩展精度处理相关联。
Description
相关申请的交叉引用
本申请要求2021年4月8日提交的欧洲专利申请21305458.8和2021年7月7日提交的欧洲专利申请21305936.3的权益,这些专利申请的全文以引用方式并入本文。
背景技术
视频编码系统可用于压缩数字视频信号,例如以减少此类信号需要的存储和/或传输带宽。
发明内容
公开了用于使用与编码工具相关联的通用约束标志的系统、方法和手段。通用约束标志可被配置为指出是否使用编码工具的指示。例如,编码工具可以是莱斯编码工具,其中莱斯编码与可变长度编码相关联。编码工具可与扩展精度处理相关联。
在示例中,可获得指示(例如,通用约束标志)。可针对与配置文件层级相关联的至少一个输出层集合获得该指示。该指示可与莱斯编码工具相关联。莱斯编码工具可与可变长度编码相关联。莱斯编码工具可与变换跳过残差编码相关联。莱斯编码工具可与常规残差编码和莱斯编码扩展相关联。莱斯编码工具可与持久莱斯编码适配相关联。例如,可基于该指示来确定是启用还是禁用莱斯编码工具(例如,针对配置文件层级)。例如,可针对与配置文件层级相关联的输出层集合来设置与莱斯编码工具启用相关联的值。例如,基于对启用编码工具的确定,可使用莱斯编码工具来执行至少一个编码功能。基于该指示指出针对配置文件层级禁用莱斯编码工具的条件,与配置文件层级相关联的输出层集合中的图片的切片报头指示可被设置为禁用莱斯编码工具。
在示例中,可例如针对与配置文件层级相关联的至少一个输出层集合获得指示(例如,通用约束标志)。该指示可与扩展精度处理编码工具相关联。例如,可针对与配置文件层级相关联的输出层集合中的图片设置与扩展精度处理编码工具启用相关联的值。基于对启用扩展精度处理编码工具的确定,可使用扩展精度处理编码工具来执行至少一个编码功能。基于该指示指出针对配置文件层级禁用扩展精度处理编码工具的条件,与配置文件层级相关联的输出层集合中的图片的切片报头指示可被设置为禁用扩展精度处理编码工具。
在示例中,可例如针对配置文件层级来确定是启用还是禁用莱斯编码工具。例如,基于对启用莱斯编码工具的确定,可使用莱斯编码工具来执行至少一个编码功能。例如,可基于对禁用莱斯编码工具的确定,来禁止使用莱斯编码工具。可产生比特流,其中该比特流可包括指示(例如,通用约束指示),该指示被配置为指出例如针对与配置文件层级相关联的输出层集合,是启用还是禁用莱斯编码工具。该指示可以是通用约束标志。
在示例中,可确定是启用还是禁用扩展精度处理编码工具(例如,针对与配置文件层级相关联的输出层集合)。例如,基于对启用扩展精度处理编码工具的确定,可使用扩展精度处理编码工具来执行至少一个编码功能。基于禁用扩展精度处理编码工具的条件,可禁止使用扩展精度处理编码工具。指出针对配置文件层级启用还是禁用扩展精度处理工具的指示可包含在比特流中。
附图说明
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统的系统图。
图1B是根据实施方案的示出可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
图1C是根据实施方案的示出可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
图1D是根据实施方案的示出可在图1A所示的通信系统内使用的另外一个示例性RAN和另外一个示例性CN的系统图。
图2示出了示例性基于块的视频编码器。
图3示出了示例性视频解码器。
图4A示出了可在其中实现各个方面和示例的系统的示例。
图4B示出了通用编码器结构的示例。
图5示出了解量化和/或逆变换的示例。
图6示出了待使用的比特的示例(例如,在样本序列的逆变换(例如,仅帧内)之前)。
图7示出了解量化和/或逆变换的示例。
图8示出了解量化和/或逆变换的示例。
图9示出了解量化和/或逆变换的示例。
图10示出了根据本公开的解码操作的流程图的示例。
图11示出了正向变换中的偏移的示例。
图12示出了内容自适应变换精度(CATP)正向编码器的示例。
图13示出了根据本公开的编码操作的流程图的示例。
图14示出了使用通用约束指示来启用和/或禁用编码工具的示例。
具体实施方式
由以下结合附图以举例的方式给出的描述可得到更详细的理解。
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如,通信系统100可采用一个或多个信道接入方法,诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示,通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112,但应当理解,所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例,WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为发射和/或接收无线信号,并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能手机、膝上计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。
通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备,其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN 106/115、互联网110和/或其他网络112)的访问。作为示例,基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件,但应当理解,基站114a、114b可包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104/113的一部分,该RAN还可包括其他基站和/或网络元件(未示出),诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖,该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如,与基站114a相关联的小区可被划分为三个扇区。因此,在实施方案中,基站114a可包括三个收发器,即,小区的每个扇区一个收发器。在实施方案中,基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如,可使用波束成形在所需的空间方向上传输和/或接收信号。
基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信,该空中接口可为任何合适的无线通信链路(例如,射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地讲,如上所指出,通信系统100可为多址接入系统,并且可采用一个或多个信道接入方案,诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术,其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术,其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTEPro(LTE-A Pro)来建立空中接口116。
在一个实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如NR无线电接入之类的无线电技术,其可使用新空口(NR)来建立空中接口116。
在实施方案中,基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如,基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此,WTRU 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如,eNB和gNB)发送的传输来表征。
在其他实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即,无线保真(WiFi))、IEEE 802.16(即,全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点,并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如,供无人机使用)、道路等局部区域中的无线连接。在实施方案中,基站114b和WTRU 102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在实施方案中,基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中,基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示,基站114b可直接连接到互联网110。因此,基站114b可不需要经由CN 106/115访问互联网110。
RAN 104/113可与CN 106/115通信,该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求,诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等,和/或执行高级安全功能,诸如用户认证。尽管未在图1A中示出,但是应当理解,RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如,除了连接到可利用NR无线电技术的RAN 104/113之外,CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可充当WTRU 102a、102b、102c、102d的网关,以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如,网络112可包括连接到一个或多个RAN的另一个CN,其可采用与RAN 104/113相同的RAT或不同的RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如,WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如,图1A所示的WTRU102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信,并且与可采用IEEE 802无线电技术的基站114b通信。
图1B是示出示例性WTRU 102的系统图。如图1B所示,WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解,在与实施方案保持一致的同时,WTRU 102可包括前述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能,这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120,该收发器可耦合到传输/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件,但是应当理解,处理器118和收发器120可在电子封装件或芯片中集成在一起。
传输/接收元件122可被配置为通过空中接口116向基站(例如,基站114a)传输信号或从基站接收信号。例如,在一个实施方案中,发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在实施方案中,传输/接收元件122可以是被配置为传输和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中,发射/接收元件122可被配置为发射和/或接收RF和光信号。应当理解,传输/接收元件122可被配置为传输和/或接收无线信号的任何组合。
尽管传输/接收元件122在图1B中被描绘为单个元件,但是WTRU 102可包括任何数量的传输/接收元件122。更具体地讲,WTRU 102可采用MIMO技术。因此,在一个实施方案中,WTRU 102可包括用于通过空中接口116发射和接收无线信号的两个或更多个发射/接收元件122(例如,多个天线)。
收发器120可被配置为调制将由传输/接收元件122传输的信号并且解调由传输/接收元件122接收的信号。如上所指出,WTRU 102可具有多模式能力。例如,因此,收发器120可包括多个收发器,以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。
WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。另外,处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息,并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中,处理器118可从未物理上定位在WTRU 102上(诸如,服务器或家用计算机(未示出)上)的存储器访问信息,并且将数据存储在该存储器中。
处理器118可从电源134接收电力,并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如,电源134可包括一个或多个干电池组(例如,镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可耦合到GPS芯片组136,该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如,经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息,WTRU 102可通过空中接口116从基站(例如,基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解,在与实施方案保持一致的同时,该WTRU 102可通过任何合适的位置确定方法来获取位置信息。
处理器118还可耦合到其他外围设备138,该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如,外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可包括一个或多个传感器,该传感器可为以下中的一者或多者:陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器;地理位置传感器;测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
WTRU 102可包括全双工无线电台,对于该全双工无线电台,一些或所有信号的发射和接收(例如,与用于UL(例如,用于发射)和下行链路(例如,用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元,该干扰管理单元用于经由硬件(例如,扼流圈)或经由处理器(例如,单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中,WRTU 102可包括半双工无线电台,对于该半双工无线电台,一些或所有信号的发射和接收(例如,与用于UL(例如,用于发射)或下行链路(例如,用于接收)的特定子帧相关联)。
图1C是示出根据实施方案的RAN 104和CN 106的系统图。如上所指出,RAN 104可采用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与CN 106通信。
RAN 104可包括演进节点B 160a、160b、160c,但是应当理解,在与实施方案保持一致的同时,RAN 104可包括任何数量的演进节点B。演进节点B 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中,演进节点B 160a、160b、160c可实现MIMO技术。因此,演进节点B 160a例如可使用多个天线来向WTRU 102a发射无线信号和/或从WTRU 102a接收无线信号。
演进节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度等。如图1C所示,演进节点B 160a、160b、160c可通过X2接口彼此通信。
图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每个元件描绘为CN 106的一部分,但应当理解,这些元件中的任一个元件可由除CN运营商之外的实体拥有和/或运营。
MME 162可经由S1接口连接到RAN 104中的演进节点B 162a、162b、162c中的每一者,并且可用作控制节点。例如,MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。
SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能,诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
SGW 164可连接到PGW 166,该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以有利于WTRU 102a、102b、102c和启用IP的设备之间的通信。
CN 106可促进与其他网络的通信。例如,CN 106可向WTRU 102a、102b、102c提供对电路交换网络(诸如,PSTN 108)的访问,以有利于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如,CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如,IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外,CN 106可向WTRU 102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
尽管WTRU在图1A至图1D中被描述为无线终端,但是可以设想到,在某些代表性实施方案中,这种终端可(例如,临时或永久)使用与通信网络的有线通信接口。
在代表性实施方案中,其他网络112可为WLAN。
处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分发系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送,例如,其中源STA可向AP发送流量,并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如,直接在它们之间)发送点对点流量。在某些代表性实施方案中,DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP,并且IBSS内或使用IBSS的STA(例如,所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。
当使用802.11ac基础结构操作模式或相似操作模式时,AP可在固定信道(诸如主信道)上传输信标。主信道可为固定宽度(例如,20MHz宽带宽)或通过信令动态设置的宽度。主信道可为BSS的操作信道,并且可由STA用来建立与AP的连接。在某些代表性实施方案中,例如在802.11系统中可实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA,STA(例如,每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙,则特定STA可退避。一个STA(例如,仅一个站)可在给定BSS中在任何给定时间传输。
高吞吐量(HT)STA可使用40MHz宽的信道进行通信,例如,通过主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。
极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道,或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置,在信道编码之后,数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道,并且可通过传输STA来传输数据。在接收STA的接收器处,可颠倒上述用于80+80配置的操作,并且可将组合的数据发送到介质访问控制(MAC)。
802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些,802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案,802.11ah可支持仪表类型控制/机器类型通信,诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力,例如有限的能力,包括支持(例如,仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如,以保持非常长的电池寿命)的电池。
可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中,对于支持(例如,仅支持)1MHz模式的STA(例如,MTC型设备),主信道可为1MHz宽,即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙,例如,由于STA(仅支持1MHz操作模式)正在向AP传输,即使大多数频带保持空闲并且可能可用,整个可用频带也可被视为繁忙。
在美国,可供802.11ah使用的可用频带为902MHz至928MHz。在韩国,可用频带为917.5MHz至923.5MHz。在日本,可用频带为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz,具体取决于国家代码。
图1D是示出根据实施方案的RAN 113和CN 115的系统图。如上文所指出,RAN 113可采用NR无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN115通信。
RAN 113可包括gNB 180a、180b、180c,但应当理解,在与实施方案保持一致的同时,RAN 113可包括任何数量的gNB。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在实施方案中,gNB 180a、180b、180c可实现MIMO技术。例如,gNB 180a、108b可利用波束成形来向gNB 180a、180b、180c传输信号和/或从gNB 180a、180b、180c接收信号。因此,gNB 180a例如可使用多个天线来向WTRU102a传输无线信号和/或从WTRU 102a接收无线信号。在实施方案中,gNB 180a、180b、180c可实现载波聚合技术。例如,gNB 180a可向WTRU 102a(未示出)传输多个分量载波。这些分量载波的子集可在免许可频谱上,而其余分量载波可在许可频谱上。在实施方案中,gNB180a、180b、180c可实现被协调的多点(CoMP)技术。例如,WTRU 102a可从gNB 180a和gNB180b(和/或gNB 180c)接收被协调的传输。
WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如,OFDM符号间隔和/或OFDM子载波间隔可因不同发射、不同小区和/或无线发射频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如,包含不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。
gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信,同时也不访问其他RAN(例如,诸如演进节点B 160a、160b、160c)。在独立配置中,WTRU 102a、102b、102c可将gNB 180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中,WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接,同时也与其他RAN(诸如,演进节点B160a、160b、160c)通信或连接。例如,WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中,演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点,并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。
gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示,gNB 180a、180b、180c可通过Xn接口彼此通信。
图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及可能数据网络(DN)185a、185b。虽然前述元件中的每个元件描绘为CN 115的一部分,但应当理解,这些元件中的任一个元件可由除CN运营商之外的实体拥有和/或运营。
AMF 182a、182b可经由N2接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者,并且可用作控制节点。例如,AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如,具有不同要求的不同PDU会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片,以便基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如,可针对不同的用例(诸如,依赖超高可靠低延迟(URLLC)接入的服务、依赖增强型移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等)建立不同的网络切片。AMF162可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术(诸如WiFi))的其他RAN(未示出)之间进行切换的控制平面功能。
SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b,并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能,诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。
UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者,该接口可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以有利于WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能,诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。
CN 115可促进与其他网络的通信。例如,CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如,IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外,CN115可向WTRU 102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施方案中,WTRU 102a、102b、102c可通过UPF 184a、184b通过至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。
鉴于图1A至图1D以及图1A至图1D的对应描述,本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行:WTRU102a-d、基站114a-b、演进节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如,仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如,该一个或多个仿真设备可执行一个或多个或所有功能,同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分,以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能,同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
该一个或多个仿真设备可执行一个或多个(包括所有)功能,同时不被实现/部署为有线和/或无线通信网络的一部分。例如,仿真设备可在测试实验室和/或非部署(例如,测试)有线和/或无线通信网络中的测试场景中使用,以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由RF电路系统(例如,其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
本申请描述了多个方面,包括工具、特征、示例、模型、方法等。这些方面中的许多方面以特定的方式进行描述,并且至少为了示出个体特征,通常以听起来可能具有限制性的方式来描述。然而,这是为了描述清楚,并不限制这些方面的应用或范围。实际上,所有不同的方面可组合和互换以提供进一步的方面。此外,这些方面也可与较早提交中描述的方面组合和互换。
本申请中描述和设想的方面可以许多不同的形式实现。本文所述的图5至图11可提供一些示例,但也设想了其他示例。图5至图11的讨论并不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码,并且至少一个其他方面通常涉及传输生成或编码的比特流。这些方面和其他方面可被实现为方法、装置、其上存储有用于根据方法中的任一方法对视频数据进行编码或解码的指令的计算机可读存储介质,和/或其上存储有根据方法中的任一方法生成的比特流的计算机可读存储介质。
在本申请中,术语“重建”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。
本文描述了各种方法,并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外,在各种示例中,诸如“第一”、“第二”等术语可用于修饰元素、部件、步骤、操作等,诸如“第一解码”和“第二解码”。除非具体要求,否则使用此类术语并不暗示对修改操作的排序。因此,在这个示例中,第一解码不需要在第二解码之前执行,并且可例如在第二解码之前、期间或在重叠的时间段中发生。
如图2和图3所示,本申请中所述的各种方法和其他方面可用于修改视频编码器200和解码器300的模块(例如,解码模块)。此外,本文所公开的主题可应用于例如任何类型、格式或版本的视频编码(无论是在标准中描述的还是在建议中描述的),无论是预先存在的还是未来开发的,以及任何此类标准和建议的扩展。除非另有指示或技术上排除,否则本申请中所述的方面可单独使用或组合使用。
在描述本申请的示例中使用了各种数值,诸如比特数、比特深度等。这些和其他特定值用于描述示例的目的,并且所描述的方面不限于这些特定值。
图2是示出示例性视频编码器的示意图。设想了示例性编码器200的变型,但下文为了清楚起见描述了编码器200,而不描述所有预期的变型。
在经过编码之前,视频序列可经过预编码处理(201),例如,将颜色变换应用于输入的彩色图片(例如,从RGB 4:4:4转换到YCbCr 4:2:0),或执行输入图片分量的重新映射,以便获取更能弹性应对压缩的信号分布(例如,使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联,并且附加到比特流。
在编码器200中,如下所述,图片由编码器元件进行编码。以例如编码单元(CU)为单位对待编码图片进行分区(202)和处理。例如,使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时,该单元执行帧内预测(260)。在帧间模式中,执行运动估计(275)和补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一者对单元进行编码,以及通过例如预测模式标志来指示帧内/帧间决策。例如,通过从初始图像块减去(210)预测块来计算预测残差。
然后,对预测残差进行变换(225)和量化(230)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。该编码器可跳过变换,并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者,即,在不应用变换或量化过程的情况下直接对残差进行编码。
该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块,重建图像块。将环内滤波器(265)应用于重建的图片以执行例如解块/样本自适应偏移(SAO)滤波,从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(280)处。
图3是示出视频解码器的示例的示意图。在示例性解码器300中,比特流由解码器元件解码,如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。
具体地,解码器的输入包括视频比特流,该视频比特流可由视频编码器200生成。首先,对比特流进行熵解码(330)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此,解码器可根据经解码的图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350),以对预测残差进行解码。组合(355)经解码的预测残差和预测块,重建图像块。可从帧内预测(360)或运动补偿预测(即,帧间预测)(375)获得(370)预测块。将环内滤波器(365)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(380)处。
经解码的图片还可经过解码后处理(385),例如,逆颜色变换(例如,从YCbCr 4:2:0转换到RGB 4:4:4)或执行与在预编码处理(201)中执行的重新映射过程相逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。在示例中,经解码的图像(例如,在应用环路滤波器(365)之后和/或在解码后处理(385)之后,如果使用后解码处理)可被发送到显示设备以呈现给用户。
图4A是示出可在其中实现本文所述的各个方面和示例的系统的示例的示意图。系统400可体现为一种设备,该设备包括下文所述的各种部件并且被配置为执行本文档中所述方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统400的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如,在至少一个示例中,系统400的处理和编码器/解码器元件分布在多个IC和/或分立部件上。在各种示例中,系统400经由例如通信总线或通过专用输入端口和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种示例中,系统400被配置为实现本文档中所述的方面中的一个或多个方面。
系统400包括至少一个处理器410,该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器410可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。系统400包括至少一个存储器420(例如,易失性存储器设备和/或非易失性存储器设备)。系统400包括存储设备440,该存储设备可包括非易失性存储器和/或易失性存储器,包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备440可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统400包括编码器/解码器模块430,该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码的视频,并且编码器/解码器模块430可包括其自身的处理器和存储器。编码器/解码器模块430表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知,设备可包括编码模块和解码模块中的一者或两者。另外,编码器/解码器模块430可被实现为系统400的独立元件,或可被结合在处理器410内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器410或编码器/解码器430上以执行本文档中所述的各个方面的程序代码可存储在存储设备440中,并且随后加载到存储器420上以供处理器410执行。根据各种示例,处理器410、存储器420、存储设备440和编码器/解码器模块430中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些示例中,处理器410和/或编码器/解码器模块430内部的存储器用于存储指令并提供用于在编码或解码期间需要的处理的工作存储器。然而,在其他示例中,处理设备外部的存储器(例如,处理设备可为处理器410或编码器/解码器模块430)用于这些功能中的一个或多个功能。外部存储器可以是存储器420和/或存储设备440,例如动态易失性存储器和/或非易失性闪存存储器。在若干示例中,外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个示例中,快速外部动态易失性存储器(诸如RAM)用作用于视频编码和解码操作的工作存储器。
对系统400的元件的输入可通过如块445中所指示的各种输入设备来提供。此类输入设备包括但不限于:(i)射频(RF)部分,其接收例如由广播器通过空中传输的RF信号;(ii)分量(COMP)输入端子(或一组COMP输入端子);(iii)通用串行总线(USB)输入端子;和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图4A中未示出的其他示例包括复合视频。
在各种示例中,框445的输入设备具有如本领域中已知的相关联的相应的输入处理元件。例如,RF部分可与适用于以下各项的元件相关联:(i)选择所需频率(也称为选择信号,或将信号频带限制为频带);(ii)下变频所选择的信号;(iii)再次频带限制为较窄频带以选择(例如)在某些示例中可称为信道的信号频带;(iv)解调经下变频的和经频带限制的信号;(v)执行纠错;以及(vi)解复用以选择所需的数据分组流。各种示例的RF部分包括用于执行这些功能的一个或多个元件,例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器,这些功能包括例如下变频接收信号至更低频率(例如,中频或近基带频率)或至基带。在一个机顶盒示例中,RF部分及其相关联的输入处理元件接收通过有线(例如,电缆)介质发射的RF信号,并且通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种示例重新布置上述(和其他)元素的顺序,移除这些元素中的一些元素,和/或添加执行类似或不同功能的其他元素。添加元件可包括在现有元件之间插入元件,例如,插入放大器和模数变换器。在各种示例中,RF部分包括天线。
另外地,USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统400连接到其他电子设备的相应的接口处理器。应当理解,输入处理(例如,Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理器410内实现。类似地,USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器410内实现。经解调、纠错和解复用的流被提供给各种处理元件,包括例如处理器410和编码器/解码器430,该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。
系统400的各种元件可设置在集成壳体内。在集成壳体内,各种元件可使用合适的连接布置425(例如,本领域已知的内部总线,包括芯片间(I2C)总线、布线和印刷电路板)互连并在这些元件之间传输数据。
系统400包括通信接口450,该通信接口允许经由通信信道460与其他设备的通信。通信接口450可包括但不限于收发器,该收发器被配置为通过通信信道460传输和接收数据。通信接口450可包括但不限于调制解调器或网卡,并且通信信道460可例如在有线和/或无线介质内实现。
在各种示例中,使用无线网络(诸如Wi-Fi网络),例如,IEEE 802.11(IEEE是指电气和电子工程师协会),将数据流式传输或以其他方式提供给系统400。这些示例的Wi-Fi信号通过适于Wi-Fi通信的通信信道460和通信接口450来接收。这些示例的通信信道460通常连接到接入点或路由器,该接入点或路由器提供对包括互联网的外部网络的接入,以允许流式应用和其他跨顶通信。其他示例使用机顶盒向系统400提供流式数据,该机顶盒通过输入框445的HDMI连接来递送数据。再一些示例使用输入框445的RF连接来向系统400提供流式数据。如上所述,各种示例以非流式方式提供数据。另外,各种示例使用Wi-Fi之外的无线网络,例如蜂窝网络或网络。
系统400可向各种输出设备(包括显示器475、扬声器485和其他外围设备495)提供输出信号。各种示例的显示器475包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器475可用于电视机、平板电脑、膝上型电脑、移动电话(移动电话)或其他设备。显示器475还可与其他部件集成(例如,如在智能电话中),或可以是独立的显示器(例如,用于膝上型电脑的外部监视器)。在各种示例中,其他外围设备495包括独立数字视频光盘(或数字通用光盘)(DVD,对于这两个术语)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种示例使用一个或多个外围设备495,该一个或多个外围设备提供基于系统400的输出的功能。例如,碟片播放器执行播放系统400的输出的功能。
在各种示例中,使用诸如AV.Link、消费电子控制(CEC)或能够在有或无用户干预的情况下进行设备到设备控制的其他通信协议等信令在系统400与显示器475、扬声器485或其他外围设备495之间传送控制信号。这些输出设备可通过相应的接口470、接口480和接口490经由专用连接通信地耦接到系统400。另选地,输出设备可使用通信信道460经由通信接口450连接到系统400。显示器475和扬声器485可与电子设备(诸如例如电视)中的系统400的其他部件集成在单个单元中。在各种示例中,显示接口470包括显示驱动器,诸如时序控制器(T Con)芯片。
例如,如果输入445的RF部分是单独的机顶盒的一部分,则显示器475和扬声器485可另选地与其他部件中的一个或多个部件分开。在显示器475和扬声器485为外部部件的各种示例中,输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。
这些示例可通过由处理器410实现的计算机软件或通过硬件或通过硬件和软件的组合来执行。作为非限制性示例,这些示例可由一个或多个集成电路来实现。作为非限制性示例,存储器420可以是适合于技术环境的任何类型,并且可使用任何适当的数据存储技术来实现,诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器410可为适合技术环境的任何类型,并且作为非限制性示例,可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种具体实施参与解码。如本申请中所用,“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分,以便产生适于显示的最终输出。在各种示例中,此类过程包括通常由解码器执行的过程中的一个或多个过程,例如熵解码、逆量化、逆变换和差分解码。在各种示例中,此类过程还或另选地包括由本申请中所述的各种具体实施的解码器执行的过程,例如,解量化、逆变换以及获得精度因子(例如,精度因子可具有待用于编码器操作或解码器操作中的一个或多个精度值,或待用于量化过程或解量化过程中的一个或多个偏移值)等。
作为另外的示例,在一个示例中,“解码”仅指熵解码,在另一示例中,“解码”仅指差分解码,并且在另一示例中,“解码”指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的,并且被认为会被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种示例中,此类过程包括通常由编码器执行的过程中的一个或多个过程,例如分区、差分编码、变换、量化和熵编码。在各种示例中,此类过程还或另选地包括由本申请中所述的各种具体实施的编码器执行的过程,例如,执行量化、变换以及获得精度因子(例如,精度因子可具有待用于编码器操作或解码器操作中的一个或多个精度值,或待用于量化过程或解量化过程中的一个或多个偏移值)等。
作为另外的示例,在一个示例中,“解码”仅指熵解码,在另一示例中,“解码”仅指差分解码,并且在另一示例中,“解码”指差分解码和熵解码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的,并且据信将被本领域的技术人员很好地理解。
注意,如本文中所使用的语法元素(例如,关于精度因子、偏移、分数比特的数量等的编码语法)是描述性术语。因此,它们不排除使用其他语法元素名称。
当附图呈现为流程图时,应当理解,其还提供了对应装置的框图。类似地,当附图呈现为框图时,应当理解,其还提供了对应的方法/过程的流程图。
各种示例涉及解码。可应用内容自适应变换。具体地,装置可接收表示内容的视频比特流。视频比特流可包括一个或多个块的经量化变换系数。可获得(例如,确定或发信号通知)精度因子(例如,偏移)。精度因子可具有待在编码器操作或解码器操作中使用的一个或多个精度值,或待在量化过程或解量化过程中使用的一个或多个偏移值。精度因子可与块相关联,以用于对该块执行至少一个解码功能。在示例中,精度因子可基于块的变换系数的量级。精度因子可减小最大量值变换系数以适合在16比特内。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如,仅作为方法讨论),讨论的特征的具体实施也可以其他形式(例如,装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。这些方法可在例如处理器中实现,该处理器通常指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
对“一个示例”或“示例”或“一个具体实施”或“具体实施”以及它们的其他变型的引用意指结合该示例描述的特定特征、结构、特性等包括在至少一个示例中。因此,在整个本申请的各个地方出现的短语“在一个示例中”或“在示例中”或“在一个具体实施中”或“在具体实施中”以及任何其他变型不一定都指同一示例。
另外,本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。获得可包括接收、检索、构造、生成和/或确定。
此外,本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外,本申请可涉及“接收”各种信息。与“访问”一样,接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如,从存储器)中的一者或多者。此外,在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,“接收”通常以一种方式或另一种方式参与。
应当理解,例如,在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下,使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或选择两个选项(A和B)。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”的情况下,此类短语旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或仅选择第三列出的选项(C),或仅选择第一列出的选项和第二列出的选项(A和B),或仅选择第一列出的选项和第三列出的选项(A和C),或仅选择第二列出的选项和第三列出的选项(B和C),或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是,这可扩展到所列出的尽可能多的项目。
而且,如本文所用,词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。编码器信号可包括例如使用精度因子对块的输入执行的编码功能等。这样,在一个示例中,在编码器侧和解码器侧均使用相同的参数。因此,例如,编码器可将特定参数发射(显式信令)到解码器,使得解码器可使用相同的特定参数。相反,如果解码器已具有特定参数以及其他参数,则可在不传输(隐式信令)的情况下使用信令,以简单地允许解码器知道和选择特定参数。通过避免传输任何实际函数,在各种示例中实现了比特节省。应当理解,信令可以多种方式实现。例如,在各种示例中,使用一个或多个语法元素、标志等向对应的解码器发信号通知信息。虽然前面涉及词语“signal(发信号通知)”的动词形式,但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是,具体实施可产生格式化为携带例如可存储或可传输的信息的多种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如,信号可格式化为携带所述示例的比特流。此类信号可格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的,信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上,或者从处理器可读介质访问或接收。
本文描述了许多示例。示例的特征可跨各种权利要求类别和类型单独或以任何组合提供。此外,示例可包括在本文跨各种权利要求类别和类型单独或以任何组合描述的特征、设备或方面中的一者或多者。例如,本文所述的特征可以包括如本文所述生成的信息的比特流或信号来实现。该信息可允许解码器根据所述任实施方案中的任一项对比特流、编码器、比特流和/或解码器进行解码。例如,本文所述的特征可通过对比特流或信号进行创建和/或传输和/或接收和/或解码来实现。例如,本文所述的特征可通过方法、过程、装置、存储指令的介质、存储数据或信号的介质来实现。例如,本文所述的特征可由TV、机顶盒、移动电话、平板电脑或执行解码的其他电子设备来实现。TV、机顶盒、移动电话、平板电脑或其他电子设备可显示(例如使用监视器、屏幕或其他类型的显示器)所得图像(例如,来自视频比特流的残差重建的图像)。TV、机顶盒、移动电话、平板电脑或其他电子设备可接收包括编码图像的信号并且执行解码。
视频和/或图像可用8比特样本来表示。视频(例如,使用运动补偿编码的视频)可产生9比特残差。经由离散余弦变换(DCT)(例如,具有8×8或4×4的块大小)的处理可在解码器处用16比特整数管线来实现。
图4B示出了通用编码器结构的示例。
以8比特样本表示的视频可例如在暗区域中展现轮廓伪像。可使用在处理中支持扩展比特深度的视频编解码器。应用可产生需要较高比特深度样本的内容,诸如高动态范围内容、合成内容、以及光探测和测距(LiDAR)范围数据。在视频编解码器中可考虑较大的块大小变换。较大的块大小变换可增加残差动态范围。视频编解码器可在处理中支持扩展比特深度。管线、乘法和/或存储器存取可保持16比特精度。
公开了系统、方法和手段,其用于:获得经编码视频数据,该经编码视频数据包括多个块的经量化变换系数,其中经量化变换系数与低频不可分离变换(LFNST)相关联;获得与第一块相关联以用于对第一块执行至少一个解码功能的第一精度因子;获得与第二块相关联以用于对第二块执行至少一个解码功能的第二精度因子;以及使用第一精度因子对第一块的经量化变换系数执行至少一个解码功能,并且使用第二精度因子对第二块的经量化变换系数执行至少一个解码功能。
可从经编码视频数据获得第一精度因子(例如,与第一块相关联)和第二精度因子(例如,与第二块相关联)。第一精度因子和第二精度因子可基于其相应块的变换系数的量值来获得。第一精度因子和第二精度因子可不同(例如,取决于相应块的内容)。
至少一个解码功能可包括解量化。第一精度因子可包括第一解量化偏移。第二精度因子可包括第二解量化偏移。
至少一个解码功能可包括逆变换。第一精度因子可包括第一中间变换偏移和第二中间变换偏移。第二精度因子可包括第三中间变换偏移和第四中间变换偏移。获得与第一块相关联的第一精度因子可包括基于第一逆变换的输出的绝对量值的界限来确定与第一块相关联的第一中间变换偏移和第二中间变换偏移,并且至少一个解码功能可包括第二逆变换。
第一精度因子可包括解量化偏移、第一中间变换偏移和第二中间变换偏移。与第一块相关联的第一中间变换偏移和第二中间变换偏移可基于与第一块相关联的解量化偏移来确定。基于与第一块相关联的解量化偏移、第一中间变换偏移和第二中间变换偏移,可获得与第一块相关联的归一化偏移。可使用归一化偏移对第一块执行归一化处理。解量化偏移、第一中间变换偏移、第二中间变换偏移和归一化偏移之和可以是内容无关值。
公开了系统、方法及手段,其用于:获得多个视频数据块的预测残差数据;基于预测残差数据确定用以表示块的量值输入;确定与第一块相关联以用于对第一块执行至少一个编码功能的第一精度因子;确定与第二块相关联以用于对第二块执行至少一个编码功能的第二精度因子;以及使用第一精度因子对第一块的输入执行至少一个编码功能,并且使用第二精度因子对第二块的输入执行至少一个编码功能,其中至少一个编码功能包括低频不可分离变换(LFNST)。
至少一个编码功能可包括水平变换或量化中的至少一者。
第一块的第一精度因子的指示可包括在表示视频数据的比特流中。并且/或者,第二块的第二精度因子的指示可包括在表示视频数据的比特流中。第一精度因子的指示可包括用于执行至少一个解码功能的分数比特的数量。
可确定表示块的最大量值输入。可基于预测残差数据确定表示块的最大量值输入。可基于与块相关联的残差系数的最大量值来确定表示块的最大量值输入。可基于垂直变换之前的预测残差数据来确定表示块的最大量值输入。
第一精度因子和第二精度因子可不同。
本文所述的系统、方法和手段可涉及解码器。在一些示例中,本文所述的系统、方法和手段可涉及编码器。在一些示例中,本文所述的系统、方法和手段可涉及信号(例如,来自编码器和/或由解码器接收)。计算机可读介质可包括用于使得一个或多个处理器执行本文所述的方法的指令。计算机程序产品可包括指令,当程序由一个或多个处理器执行时,该指令可使得一个或多个处理器执行本文所述的方法。
动态范围控制可在视频编码中执行。可对8比特样本数据进行视频压缩和/或使用8x8 DCT变换。一些编解码器设计可能不定义精确到比特的逆变换和/或重建过程。可为逆变换和/或重建开发不同的架构。可使用例如与参考浮点逆离散余弦变换(IDCT)相比的统计容差。例如,可使用逆变换精度规范和/或逆离散余弦变换。开发不同架构可将漂移引入到视频编解码器的时间预测过程中。可控制漂移。可指定在无预测(例如,帧内)的情况下对块进行编码的频率。
例如,宏块可在其被传输的每132次中至少被(例如,强制地)更新一次。可控制逆变换失配误差的累积。可使用一种方法来处理小输入信号和/或潜在的IDCT漂移。例如,如果系数的和在逆量化后是偶数,则IDCT失配控制可包括对一系数加1或减1。
对于一些IDCT近似,IDCT的小的非零输入可导致全零输出。如果在编码器中发生这种情况,则在解码器中可能会发生失配,该解码器使用的符合IDCT近似不同于在对编码器内的解码过程建模时使用的近似。编码器可检查编码器自己的IDCT近似的输出。例如,当所讨论的块通过编码器自己的IDCT函数近似重建为零时,编码器可避免将非零系数插入到比特流中。
可分析各种IDCT漂移问题。一些视频编码可结合比特深度超过8比特的编码格式。可支持更高的比特深度。可使用视频重建管线中的额外精度。某些通用解码器可能不支持高比特深度应用。
可使用精确到比特的重建。可指定精确到比特的逆变换。可使用变换,以使得IDCT计算对从正向变换产生的数据使用(例如,仅)16比特乘法运算和/或16比特存储器存取。在示例中,比特流可能不包含导致任何再现残差值或中间系数值超过从-2(7+bitDepth)到2(7 +bitDepth)-1(包含端值)的整数值范围的数据。
例如在第一IDCT之前和/或在可分离IDCT级之间,可(例如,明确地)提供对系数的限幅操作,例如使用等式1和/或等式2。
d[x][y]=Clip3(-3276S,32767,((TransCoeffLevel[xTbY][yTbY][cldx][x][y]*m[x][y]*levelScale[qP%6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift) 等式1
g[x][y]=Clip3(-32768,32767,(e[x][y]+64)>>7) 等式2
包含限幅操作可支持16比特的变换动态范围足以用于IDCT计算。可使用标准的精确到比特重建公式(例如,以避免在没有传输错误的情况下的漂移)。
可使用变换动态范围。变换可以是理想的变换。作为示例,可使用具有等式3和等式4中所示的一个或多个属性的N点变换T。
T可以是正交变换。例如,T可保持L2能量。
T可以是压缩变换。例如,T可将DC信号转换为(例如,单个)系数。
可使用具有有限动态范围的一组输入,例如
可例如通过将变换T应用于最大DC信号来计算最大量值系数,例如,如等式5和/或等式6中所示。
值α可使用T的正交性来确定,例如,如等式7和/或等式8所示
最大量值系数可增加倍。
可例如使用等式9到等式11中的一者或多者来计算低量值系数。
的DC系数之和可为α。DC系数可以是(例如,可全部是)正的。至少一个系数c的绝对值可小于或等于例如,如等式12中所示。
最小系数可以是的分数。分数比特可用于表示低于1的值。
可使用最大系数和最小系数的界限,例如,如式13和/或式14所示。可例如使用等式15来计算系数动态范围的界限。
限于1+log2(R)比特的源可被扩展log2(sqrt(N))比特的最大值,和/或可能需要附加的log2(sqrt(N))比特的分数部分。总共可使用1+log2(R)+log2(sqrt(N))+log2(sqrt(N))=1+log2(R)+log2(N)比特。
式16可用于确定整数源上的N点变换的整数比特。
log2(sqrt(N))+log2(R)+1 等式16
式17可用于确定N点变换的分数比特。
log2(sqrt(N)) 等式17
对于N点1D变换,最坏情况系数的量值(例如,最大量值系数)可增加sqrt(N)倍。
系数的精度可随着变换大小的增加而增加(例如,可使用更多分数比特)。
所使用(例如,需要)的整数比特的数量可随着用以表示整数源的比特的数量(例如,log2(R))而增长。分数比特的数量可独立于整数源的量值。可以对一些代表性的变换大小的结果进行总结。
例如,对于大小为NxM的可分离2D变换,可使用式18和/或式19执行(例如,重复)分析:
式18可用于确定整数源上的NxM变换的整数比特。
log2(sqrt(N)+sqrt(M))+log2(R)+1 式18
式19可用于确定NxM变换的分数比特。
log2(sqrt(N)+sqrt(M)) 式19
表1和表2示出了所需的整数比特的数量可随着用以表示整数源的比特的数量而增长。
表1 8特源的变换系数比特深度
行M | 列N | 整数比特 | 分数比特 | 总比特 |
4 | 4 | 11 | 2 | 13 |
8 | 8 | 12 | 3 | 15 |
16 | 16 | 13 | 4 | 17 |
32 | 32 | 14 | 5 | 19 |
4 | 8 | 12 | 3 | 15 |
8 | 16 | 13 | 4 | 17 |
表2 10比特源的变换系数比特深度
行M | 列N | 整数比特 | 分数比特 | 总比特 |
4 | 4 | 13 | 2 | 15 |
8 | 8 | 14 | 3 | 17 |
16 | 16 | 15 | 4 | 19 |
32 | 32 | 16 | 5 | 21 |
4 | 8 | 14 | 3 | 17 |
8 | 16 | 15 | 4 | 19 |
可分析逆变换的动态范围使用。可使用基于正向变换的信号。在具有正向变换的信号的逆变换中,动态范围可减小。如果量化改变系数,信号可表达为多个分量的总和(例如,原始系数加上基于量化噪声的信号)。这些分量(例如,原始系数和/或基于量化噪声的信号)在逆变换下可具有不同的动态范围行为。原始信号分量的动态范围可减小。逆变换可增加量化噪声的动态范围。量化噪声的量值可由系数数据的量值支配。动态范围分析可集中于正向变换的结果。例如,如果量化噪声占主导地位,低精度和/或限幅的引入可能会改变噪声。
可使用固定点变换。固定点变换可能不是精确正交的或将DC完全压缩到单个系数中。从动态范围角度来看,固定点变换可使用用于归一化的附加处理。用于归一化的附加处理可移动样本和/或可不影响用以表示样本的比特的数量。可用对于可分离2D变换的可能扩展来分析1-D变换,该可分离2D变换作为行上和(例如,接着)列上的1-D变换而产生。变换可基于DCT的整数近似。
视频编解码器可支持例如具有一定范围的块大小(4、8、16、32)和/或一定范围的样本比特深度(8、10、12、14、16)的逆离散余弦变换(IDCT)的16比特计算。可避免对高量值残差信号的限幅。可保持低振幅残差信号的精度。对于给定编码单元(CU),可避免对高量值系数的限幅(例如,优先于保持精度)。例如,当不存在高量值系数时,可保持低振幅残差信号。
动态范围限制可影响所处理的最大系数。动态范围限制可影响低振幅系数的精度。图5示出了解量化和/或逆变换的示例。可实现图5中所示出的示例(500)。例如,可接收表示内容的经编码视频比特流。可执行解量化。偏移(例如,Shift 1)可用于逆变换动态范围(参见表3)。该偏移可基于(例如,设置)比特深度和/或块大小。该偏移可独立于源比特深度和动态范围。
用于逆变换的代码(例如,在void TrQuant::xIT()中)可使用水平级之后的偏移(例如,Shift 2)和/或垂直变换级之后的偏移(例如,Shift 3)。第二偏移的大小可取决于比特深度。在示例中,第二偏移的大小可能不取决于变换大小或信号统计。
例如,在逆变换之前,可在解量化中使用缩放。逆变换之前在解量化中使用的缩放可考虑变换归一化缩放和/或块大小效应。在解量化中使用的缩放可不考虑信号的特定特性,例如,在解量化中使用的缩放可被设置用于最坏情况可能信号。解量化和逆变换的操作可包括一个或多个偏移(例如,图5中示出的三个偏移)。这可在表3中显示。
表3
例如,如果或当假设最坏情况输入时,可确定偏移(例如,第一偏移到第三偏移)的值。偏移的所确定的值可避免例如在上端处的限幅。在一些示例中,偏移的值可不取决于信号的内容。在示例中,图5中的三个偏移可被视为基本偏移(例如,shift 1可以是base_dequant_shift;shift 2可以是base_mid_transform_shift;shift 3可以是base_normalization_shift)。在一些示例中,基本偏移值取决于源比特深度和/或变换块大小,然而,基本偏移值并不取决于实际源内容。
例如,对于一些样本编码,可基于变换单元(TU)中所需的比特的数量来收集一些样本数据。图6示出了待使用的比特的示例(例如,在样本序列的逆变换(例如,仅帧内)之前)。图6中的示例可示出基于一些样本编码的每一TU中所需的比特的数量而收集的样本数据。可通过记录TU{v}中的系数的值来确定数据。图6中的示例可示出TU{v}中的系数的最大绝对值。例如,可在等式20中确定(例如,界定)值v所需的比特的数量。图6可示出所需比特的数量的概率。在图6中,针对TU块(例如,经帧内编码测试序列的TU块),按颜色分量示出概率。如图6所示,典型内容不需要16比特。16比特可用于最坏情况结果。小于16比特的比特(例如,12比特或更少)可用于除最坏情况结果之外的数据。
BitsNeeded=1+ceil(log2(|v|)) 等式20
可例如基于16比特约束来确定残差操作期间的逆变换的精度。在不必要的情况下,16比特约束可降低精度。可例如基于16比特约束来确定可在不损失低振幅信号的精度的情况下处理的内容的比特深度(例如,10比特深度数据和/或4x4变换可使用15比特精度,如表2中所见)。以默认配置操作的某些编解码器可支持内部地表示数据,例如,最多10比特。例如,在编码之前,高比特深度输入可被缩放为10比特。可例如基于输入比特深度来调整QP值。解码器可被告知输入比特深度和/或可调整QP。例如,某些编解码器可在InternalBitDepth=10下操作,而不管此值的源比特深度级别如何设置。
满足对逆变换计算的16比特约束的数据(例如,8比特或10比特视频)可被压缩,例如,如本文所述。精度可增加和/或提供压缩改进。在逆变换中使用多于16比特的数据(例如,12比特或14比特视频)可用对逆变换计算的16比特约束来压缩。处理可适应于块、TU、CU、CTU等的内容。可实现高精度,同时避免溢出。
可包括变换级(例如,低频不可分离变换(LFNST))。可在解码器侧执行逆LFNST。例如,在执行逆2D变换之前,可在解码器侧执行逆LFNST。图7示出了示例性偏移和变换操作(例如,解量化和逆变换)。在710处,可执行逆LFNST。在720处,可执行LFNST偏移。在示例中,如果LFNST被激活,则可执行逆LFNST和LFNST偏移。
可灵活地使用乘法器和/或存储资源(例如,通过考虑信号的内容)。例如,可在解码器处灵活地使用16比特乘法器和/或存储资源。可避免对高量值残差系数信号的限幅。例如,当不与高量值残差系数同时存在时,可保持低振幅残差系数信号的精度。可使用偏移来调整数据,例如,由IDCT处理的数据。该调整可基于例如除源比特深度和/或变换块大小以外的因子。可避免16比特IDCT计算中的溢出。
在示例中,可接收表示内容的视频比特流。视频比特流可包括多个块的经量化变换系数。精度因子(例如,偏移)可与块相关联,以用于对该块执行至少一个解码功能。解码功能的示例包括解量化和/或逆变换。可基于视频比特流的内容来调适精度因子。精度因子可基于块的变换系数的量值(例如,基于最大量值)(例如,量值输入可基于与块相关联的残差系数的最大量值)。可使用精度因子对块的经量化变换系数执行解码功能。
偏移(例如,精度因子;例如,偏移的值)可例如基于当前块(例如,正被解码的变换块)的残差系数的量值(例如,最大绝对值)来确定。例如,当前块的残差系数的量值可为最大可能残差信号的分数(例如,基于最坏情况分析)。可在IDCT之前选择(例如,系数数据的)偏移的值。例如,可结合选择系数数据的偏移来执行在残差数据的构造中使用的偏移。可基于基于内容确定的量值输入(例如,最大量值输入)来确定精度因子(例如,偏移)。
可获得例如与图5中所示的解量化和逆变换级组合使用的偏移。可获得偏移以考虑信号的内容。可获得偏移以产生信号适应行为。例如,在解码器处,可提高有限宽度寄存器的利用率。图8示出了示例性结果。图8示出了解量化和/或逆变换的示例。示例性过程(800)可用于计算信号的统计(例如,TU或其他的最大绝对值)。如图8所示,可例如基于信号的分析(例如,源信号的基于内容的分析)来计算计算偏移。可执行解量化偏移。可执行中间变换偏移。可执行归一化偏移。在第一逆变换之前和/或在最后逆变换之后的偏移可基于所计算的最大值来获得,例如服从等式21的约束。等式21可用于确定偏移的关系。
ShiftDequant+ShiftMid+ShiftNormalization=Shift1+Shift2+Shift3 等式21
左侧和右侧的总和可以是相同的(例如,以具有相同的归一化)。在示例中,等式21右侧上的偏移可取决于源比特深度和/或变换块大小(例如,值不取决于实际源内容)。另外,等式21右侧的偏移可基于理论最大值,如果不需要理论最大值(参见图6),则理论最大值可导致效率和/或精度的损失。相反,等式21左侧的偏移可基于实际源内容(例如,通过确定一组经解量化数据的最大量值和/或确定系数的界限以限制变换结果的最大值)。因此,等式21左侧的偏移可在使用与等式21右侧的偏移相同的硬件(例如,解码器和/或编码器)的同时,提供增加的精度和/或增加的动态范围。
可使用逆变换(例如,16比特逆变换)。信号可达到或不达到所允许的理论最大值。当没有达到理论最大值时,可提高精度。在可通过调适实现精度的情况下,可支持较高比特深度源。可不需要较高精度处理。
如果LFNST被激活,则可执行与LFNST相关联的转移。图9示出了如果LFNST被激活时的示例性逆变换。如图9所示,可以执行逆LFNST。可执行多个中间变换偏移,例如包括第一中间变换偏移和第二中间变换偏移。例如,如果LFNST被激活,等式22可用于确定偏移的关系。例如,如果LFNST被激活,等式22可用于确定偏移的关系。
ShiftDequant+ShiftMid1+ShiftMid2+ShiftNormalization=Shift1+ShiftLFNST+Shift2+Shift3 等式22
偏移的大小可被降低。例如,可在解量化和/或逆变换操作(例如,解量化和/或逆变换操作的早期阶段)处减小左偏移的大小。可提高精度。可约束偏移(例如,本文中的示例性偏移),例如以具有与特定视频编码中的偏移的总和相同的总和。可通过处理管线维持归一化。本文的示例可用于确定第一偏移和第二偏移(例如,ShiftDequant和ShiftMid)。可例如基于所引入的改变和/或逆变换增益来获得第二偏移(例如,ShiftMid)。可例如根据等式23来获得最终偏移值ShiftNormalization。可获得最终偏移值ShiftNormalization,以保持一致的归一化。等式23可用于确定对偏移的总和的约束。
(ShiftDequant+ShiftMid+ShiftNormalization)=(Shift1+Shift2+Shift3) 等式23
可选择解量化偏移。偏移的选择可基于系数值(例如,TU的最大系数值)。可分析系数数据以确定偏移,例如,用以将最大量值系数减小到逆变换处理的输入动态范围(例如,16比特)的最小偏移。可执行用于CU的残差重建过程,例如以计算变换块中的变换系数的最大绝对量值M。由此,可例如基于等式24来确定偏移ShiftDequant。可确定偏移ShiftDequant,使得Ci,j>>ShiftDequant(例如,在等式24中)可被包含在16比特中,例如,对于每个系数Ci,j。可执行右偏移。如果M的值低于16比特,则可执行左偏移。右偏移可例如在偏移之前与舍入偏移的添加组合。
等式24可用于确定解量化偏移。
ShiftDequant=ceil(log2(M))-16 等式24
可选择该组系数的分析以用于系数的缩放。例如,可以若干方式选择用于系数缩放的最大系数(例如,在IDCT之前)。在示例中,可执行到32比特的解量化,和/或记录最大系数之后可进行重新归一化偏移(例如,应用于所有系数)。在示例中,可将(例如,每一)系数解量化为16比特精度,和/或可记录适当缩放。(例如,随后)可适当地重新缩放系数。在这些示例中,所使用的存储器可以是最小的。在示例中,可使用两遍。在第一遍中,可读取非零系数层级和/或QP值,例如以确定用于系数的分数比特的数量(例如,偏移值)。非零系数层级和/或QP值可基于空间位置而变化。在第二遍中,可例如基于选择,用适当数量的分数比特来解量化系数。最大系数和/或解量化或重新缩放过程可使用例如每一子任务上的并行性来确定。例如,一旦确定偏移,便可彼此独立地(例如,并行地)缩放系数。在示例中,除了当系数用于确定偏移时,系数在缩放过程中是独立的。
例如,可基于视频比特流中的变换系数来确定偏移。例如,此确定可由视频解码器作出。可发信号通知或从信号内容推断待使用的分数比特的数量。可使用固定缩放。可基于发信号通知的参数(例如,比特深度和变换大小)来确定固定缩放。
在示例中,可执行信号分析处理以选择解量化偏移。在示例中,可选择TU的最大系数值(例如,系数的最大绝对值)。内容自适应最大值在确定溢出时可以是保守的。可使用更详细的统计(例如,行/列的L1范数)。
解码器可在一组偏移和/或精度值之间进行选择。例如,解码器可使用经解量化系数值的动态范围来在一组偏移和/或精度值之间进行选择。
可基于(例如,仅基于)解量化之前的最大系数值来计算内容自适应变换精度(CATP)偏移(例如,catp_dequant_shift)。紧接着系数块的解量化的偏移可基于内容(例如,与最坏情况可能信号相反)获得。后续偏移(例如,逆变换或归一化)可能不反映附加的内容自适应性(例如,除了由解量化偏移产生的内容自适应性)。在示例中,可将系数数据块解量化为32比特,以给出Cij。可确定最大量值经解量化数据(例如,M=max(|Cij|))。可确定表示M所需要的比特的数量(例如,nBits=ceil(〖l0g〗_2(M)))。可确定减小最大值以适合在16比特内所需的偏移(例如,catp_dequant_shift=nBits-16(如果为负,则可替代地使用零))。
可选择中间变换偏移。在示例中,可选择中间变换偏移(例如,catp_mid_transform_shift)来补偿解量化偏移(例如,等式25)。
等式25可用于确定中间变换偏移。
ShiftMid=Shift2+(Shift1-ShiftDequant) 等式25
例如,如果使用等式25,可增加应用变换(例如,第一变换)的精度。
如果使用LFNST,则可选择ShiftMid1和ShiftMid2两者。等式26可用于确定第一中间变换偏移。等式27可用于确定第二中间变换偏移。
ShiftMid1=ShiftLFNST+(Shift1-ShiftDequant) 等式26
ShiftMid2=Shift2+(ShiftLFNST-ShiftMid1) 等式27
在示例中,可基于内容来选择中间变换偏移。中间变换偏移(例如,所选的)可允许通过第二变换来保持额外精度。在这些示例中,可对经解量化数据执行分析,和/或可从变换界限确定第一变换之后的量值(例如,如本文所述)。
可使用界限。例如,可呈现变换的输出的绝对量值的界限(例如,通过左乘矩阵T来定义)。界限的多种类型(例如,如等式28和等式29中所示的两种类型)可用于不同应用中。所使用的界限的类型可限制变换计算的结果的量值(例如,基于变换矩阵和/或输入的分析)。
等式28可用于确定动态范围界限I。可以基于矩阵变换系数的总和和最大系数数据来确定catp_mid_transform_shift。
|T·C|r,c=|∑kTr,k*Ck,c|≤(∑k|Tr,k|)*(maxk,c|Ck,c|) 等式28
在示例中,对于每一行,可确定变换系数的绝对值的总和Mr=∑k|Tr,k|。可确定最大行数M=maxrMr(例如,这可离线完成,因为变换T是已知的)。可确定当前块中的最大系数Cmax=maxr,c|Cr,c|。乘积所需的比特的数量M·Cmax可以是每个分量的比特的总数,和/或被直接计算:nBits=ceil(log2(M·Cmax)),并且可确定catp-mid_transform-shift=nBits-16。
第一界限(例如,基于等式28确定的动态范围界限I)可使用最大绝对系数值,例如,仅使用最大绝对系数值。如果数据限于16比特,可在没有分析的情况下使用第一界限,和/或可离线执行变换分析。如果数据是正向变换的结果(例如,如同逆变换计算),可不使用第一界限。
等式29可用于确定动态范围界限II。可基于最大变换系数和系数数据的列和来确定catp_mid_transform_shift。
|T·C|r,c=|∑k Tr,k*Ck,c|≤(maxr,c|Tr,c|)*(∑k|Ck,c|) 等式29
在示例中,可确定最大绝对系数M=maxr,c|Tr,c|,并且可确定表示M所需的比特的数量,例如MatrixBitsUsed=ceil(log2(M))。可离线确定比特的数量(例如,比特的数量可独立于内容(例如,尽管比特的数量可基于发信号通知的变换而不同))。对于系数的每列c,可确定绝对值之和Mc=∑k|Ck,c|。可确定列的最大总和M=maxcMc。可确定表示绝对列系数的最大总和所需要的比特的数量CoefficientBitsUsed=ceil(log2(M))。TotalBitsUsed可以是MatrixBitsUsed+CoefficientBitsUsed-1(其中减去1以避免重复计算符号)。可确定catp_mid_transform_shift=TotalBitsUsed-16。如果结果为负,则可用零代替。基于内容的界限可例如基于等式29来开发。对输入到第一逆变换的系数数据的分析可用于基于第二界限确定第一逆变换输出的输出的界限(例如,如本文所述)。
例如,等式29中的界限可用于例如在第一变换之后,从输入到第一变换的系数数据的分析确定数据的动态范围的界限。在第一逆变换之后应用的偏移可基于在该变换之前对数据的分析来计算。
在使用等式29的界限的示例中,直接计算用于乘积的比特的数量。这可导致较小偏移,例如,如果表示带符号值-5和-9所需的比特分别为4比特(例如,3比特用于量值并且1比特用于符号)和5比特(例如,4比特用于量值并且1比特用于符号)(例如,4+5-1=8个带符号比特),而+45的值仅需要7个带符号比特(例如,6比特用于量值并且1比特用于符号),则catp_mid_transform_shift的结果是低一比特的偏移。
可组合等式28和等式29(例如,以计算每变换单位上的偏移)。在示例中,可针对每列单独确定catp_dequant_shift偏移和catp_mid_transform偏移。
等式30可用于确定系数界限统计。
B=maxc|∑k|Ck,c|| 等式30
在示例中,等式30中的界限可取决于系数数据的分析,和/或结果可用于限制变换结果的最大值(例如,如式31所示)。
式31可用于确定系数界限。
系数矩阵的值可以是有界的(例如,|Tr,c|≤27)。基于界限,固定偏移可用于Shift2(例如,Shift 2=7)。可使用等式32来确定中间变换偏移。中间值可减少到16比特。
在示例中,等式32可用于确定中间变换偏移。
ShiftMid=ceil(log2(B)-16)+Shift2 等式32
如果施加LFNST,则可确定LFNST偏移。在示例中,等式33和等式34可用于计算偏移。在示例中,可如本文所述来计算Bas。
ShiftMid1=ceil(log2(B)-16)+ShiftLFNST 等式33
ShiftMid2=Shift2 等式34
在示例中,可通过分析第一变换之后的结果的量值来确定中间变换偏移。在示例中,等式35和/或等式36可用于确定中间变换偏移。K可以是第一变换的输出的最大绝对值。在示例中,可增加第二变换的精度。可在第一变换之后执行数据的分析。例如,在确定中间变换偏移之前,可以高比特深度保存第一变换的输出。可使用附加的计算方面。例如在第一变换之后,可存储高比特深度结果。可使用临时缓冲器。可使用用于以高比特深度存储第一变换的输出的附加存储器。
等式35和/或等式36可用于确定中间变换偏移。
K=max(|T(Ci,j>>ShiftDequant)|) 等式35
ShiftMid=ceil(log2(K))-16 等式36
如果LFNST被激活,则可计算K1和K2两个值。K1和K2可指示LFNST和iHorizontal之后的最大绝对系数值。等式37可用于确定第一中间变换偏移。等式38可用于确定第二中间变换偏移。
ShiftMid1=ceil(log2(K1))-16 等式37
ShiftMid2=ceil(log2(K2))-16 等式38
可确定归一化偏移。
在一些示例中,如果(例如,一次)选择了偏移中的两个偏移(例如,ShiftDequant和ShiftMid),则可例如使用等式23确定第三偏移ShiftNormalization。可求解等式23,以基于约束和所选的偏移(例如,ShiftDequant和/或ShiftMid)来确定归一化偏移。求解等式23的结果可在等式39中示出。
等式39可用于确定归一化偏移。
ShiftNormalization=Shift3-(ShiftDequant-Shift1)-(ShiftMid-Shift22) 等式39
在示例中,可从TU和/或参考数据的统计的更详细分析计算偏移。
如果LFNST被激活,则等式40可用于确定归一化偏移。
ShiftNormalization=Shift3-(ShiftDequant-Shift1)-(ShiftMid1-ShiftLFNST)-(ShiftMid2-Shift2) 等式40
本文所述等式可与其它比特深度一起使用。
尽管本文所述示例性推导可基于解码器侧的16比特整数管线,但可使用更高精度。通过修改本文所述方程的推导,可使用更高精度。可通过修改等式的推导(例如,通过用Log2DynamicTrRange替换值“16”),可使用更高精度。例如,对于高比特深度扩展,可考虑输入比特深度加5的值。在示例中,对于16比特深度日期,Log2DynamicTrRange可以是21。通过修改用于计算偏移的等式(例如,通过用21替换“16”),可使用CATP。
可接收表示内容的视频比特流,该视频比特流包括一个或多个块的经量化变换系数。可确定基于块的变换系数的量值的精度因子(例如,偏移)。精度因子可减小最大量值变换系数以适合在16比特内。精度因子可将最大量值变换系数减小到逆变换处理的输入动态范围。精度因子可用于执行至少一个解码功能。解码功能可以是解量化和/或逆变换处理。解码功能可用于视频比特流的残差重建。可确定比特的数量,以表示变换系数的最大量值。可接收指出用于确定精度因子的分数比特的数量的信令。可确定第二精度因子。第一精度因子和/或第二精度因子可以是依赖于内容的值。可在逆变换处理期间应用第二精度因子。第二精度因子可基于解量化变换的输出的最大绝对值来限制变换的结果的量值。第二精度因子可包括变换系数的列和。可确定变换的输出的绝对量值的界限。可确定第三精度因子。可在归一化处理期间应用第三精度因子。三个精度因子的总和可以是与内容无关的值。
图10示出了根据本公开的解码操作(1000)的流程图的示例,该解码操作可在系统、方法和手段中采用。可获得包括多个块的经量化变换系数的经编码视频数据(1010)。可获得与第一块相关联以用于对第一块执行至少一个解码功能的第一精度因子(1020)。可获得与第二块相关联以用于对第二块执行至少一个解码功能的第二精度因子(1030)。可使用第一精度因子对第一块的经量化变换系数执行至少一个解码功能,并且使用第二精度因子对第二块的经量化变换系数执行至少一个解码功能(1040)。可发信号通知第一精度因子。可基于第一块的变换系数的量值来确定第一精度因子。
编码器可用于本文的一个或多个示例。
解码器(例如,如本文所述)可实现为与编码器隔离或嵌入于编码器中。在逆变换计算中可实现额外精度。例如,如果编码器知道逆变换的高精度能力,则可采取措施来减小编码过程的量化噪声的影响。量化噪声可由编码过程(例如,在编码器操作期间)产生。例如,如果逆变换具有有限精度,则量化噪声效应可被有限精度隐藏。
例如,如果残差数据(例如,预测残差数据)不是最坏情况,则可使用上下文自适应技术。可提高一个或多个正向变换所使用的精度。图11示出了正向变换中的偏移(1100)的示例。可使用残差信号的正向变换的结构(例如,如图11所示)。计算残差数据(例如,最坏情况残差数据)。可执行数据的垂直变换。偏移(例如,精度因子;Shift 4)可应用于经变换数据。可执行数据的水平变换。偏移(例如,精度因子;Shift 5)可应用于经变换数据。可执行数据的量化。偏移(例如,精度因子;Shift 6)可应用于经量化数据。可避免溢出(例如,在最坏情况残差数据的情况下)。
图12示出了CATP正向编码器(1200)的示例。可执行残差分量的分析,以确定值的量值,例如,在垂直变换之后的最大量值(例如,最大输入)。可确定(例如,计算)偏移(例如,精度因子)。可执行数据的垂直变换。第一偏移(例如,精度因子;MidShift)可在第一变换级之后(例如,在正向编码期间)应用。可基于数据的内容(例如,与最坏情况假设相反的最大量值输入)来确定MidShift。可执行数据的水平变换。第二偏移(例如,精度因子;PreQuantShift)可应用于经变换数据。可执行数据的量化。第三偏移(例如,精度因子;QuantShift)可应用于经量化数据。可执行偏移的分析和/或计算。例如,列SAD值可与垂直变换的属性一起计算和/或使用,以将动态范围输入限制到中间变换偏移(例如,以进一步提高精度)。
等式41可用于确定对偏移总和的约束。
(ShiftMid+ShiftPreQuant+ShiftQuant)=(Shift4+Shift5+Shift6) 等式41
例如,可在(例如,任何)变换级之前使用(例如,单个)分析级(例如,如图12所示)。可在变换级之后进行分析,和/或可在第一变换之后包括附加的分析。对于正向编码器,界限(例如,如本文所述的任何界限)可用于确定中间变换偏移和/或预量化偏移。作为示例,编码器处的前两个偏移的计算可基于等式28和/或等式29的界限。残差数据可具有或可不具有与用于逆变换的结构相同的结构。可使用等式28中的界限。当支持最大输入时,最大输入可用于确定输入数据的界限和/或例如使用等式42导出ShiftMid和/或ShiftPreQuant。
B=215>maxk,c|Ck,c| 等式42
图13示出了根据本公开的编码操作的方法(1300)的流程图的示例。编码器可获得视频数据的多个块的预测残差数据。可(例如,基于预测残差数据)确定表示块的量值输入(例如,最大量值输入)(1310)。可获得与第一块相关联以用于对第一块执行至少一个编码功能的第一精度因子(1320)。可获得与第二块相关联以用于对第二块执行至少一个编码功能的第二精度因子(1330)。可使用第一精度因子对第一块执行至少一个编码功能,并且使用第二精度因子对第二块执行至少一个编码功能(1340)。可在任何变换步骤之前(例如,在垂直变换之前),执行预测残差数据的分析,以确定表示块的最大量值输入。
在一些示例中,本发明描述了包括经编码视频数据的信号,该经编码视频数据包括多个块的经量化变换系数,其中基于数据的内容(例如,量值输入(例如,最大的))确定经量化变换系数。
如本文所述,可通过自适应变换精度启用指示来启用或禁用内容自适应变换精度(CATP)。自适应变换精度启用指示可以是高级语法元素,诸如序列参数集(SPS)语法元素。可在另一层级(诸如,图片层级(例如,在PPS等中)和/或切片层级(例如,在SPS等中))发信号通知自适应变换精度启用指示。
例如,编码器可确定是启用还是禁用CATP,并且可在比特流中包括变换精度启用指示以指出是启用还是禁用CATP。解码器可基于与自适应变换精度启用指示相关联的值来确定是启用还是禁用CATP。表4展示示例性语法结构,诸如sps_range_extension()语法结构,其具有用于启用或禁用自适应变换精度的自适应变换精度启用指示。
表4
如表4中所示,指示sps_atp_enabled_flag可以是被配置为指出是启用还是禁用内容自适应变换精度(ATP)的指示。
在示例中,可基于输入比特深度有条件地发信号通知自适应变换精度启用指示。例如,可针对与高比特深度或中比特深度相关联的视频序列,发信号通知自适应变换精度启用指示。例如,编码器可基于与视频序列相关联的比特深度是否被视为低比特深度,来确定是否包括自适应变换精度启用指示。表5示出了示例性语法结构,诸如sps_range_extension()语法结构,其具有有条件地发信号通知的自适应变换精度启用指示。如表5所示,可基于与视频序列相关联的比特深度是否高于某个值(例如,阈值),来确定是否在比特流中包括自适应变换精度启用指示。解码器可基于与比特流相关联的比特深度与某个值之间的比较,来确定是否将在比特流中解析自适应变换精度启用指示。例如,如表5中所示,解码器可基于对输入序列的比特深度大于10的确定,确定将解析自适应变换精度启用指示。本领域技术人员可理解,10是示例性值,并且可将视频序列的比特深度与另一值进行比较,以确定是否解析ATP启用指示。
表5
公开了用于使用与编码工具相关联的通用约束标志的系统、方法和手段。通用约束标志可被配置为指出是否使用编码工具的指示。例如,编码工具可以是莱斯编码工具,其中莱斯编码与可变长度编码相关联。编码工具可与扩展精度处理相关联。
可获得指示(例如,通用约束标志)。可针对与配置文件层级相关联的输出层集合(OLS)获得该指示。该指示可与莱斯编码工具相关联。莱斯编码工具可与可变长度编码相关联。莱斯编码工具可与变换跳过残差编码相关联。莱斯编码工具可与常规残差编码和莱斯编码扩展相关联。莱斯编码工具可与持久莱斯编码适配相关联。例如,可基于该指示来确定是启用还是禁用莱斯编码工具(例如,针对配置文件、配置文件层、配置文件层级)。例如,可针对与配置文件层级相关联的图片(例如,针对范围中的输出层集合中的图片),设置与莱斯编码工具启用相关联的值。
例如,基于对启用编码工具的确定,可使用莱斯编码工具来执行至少一个编码功能。基于第一指示指出禁用莱斯编码工具的条件(例如,针对配置文件、配置文件层、配置文件层级),可例如针对范围中的输出层集合中的图片设置相应切片报头指示,以禁用莱斯编码工具。
可例如针对配置文件层级获得指示(例如,通用约束标志)。该指示可与扩展精度处理编码工具相关联。可例如针对范围中的输出层集合中的图片,设置与扩展精度处理编码工具启用相关联的值。可使用扩展精度处理编码工具来执行至少一个编码功能。基于对启用扩展精度处理编码工具的确定,可使用扩展精度处理编码工具来执行至少一个编码功能。基于该指示指出针对配置文件层级禁用扩展精度处理编码工具的条件,与配置文件层级相关联的输出层集合中的图片的切片报头指示可被设置为禁用扩展精度处理编码工具。
在示例中,可例如针对配置文件层级来确定是启用还是禁用莱斯编码工具。例如,基于对启用莱斯编码工具的确定,可使用莱斯编码工具来执行至少一个编码功能。例如,可基于对禁用莱斯编码工具的确定,来禁止使用莱斯编码工具。可产生比特流,其中该比特流可包括指示(例如,通用约束指示),该指示被配置为指出例如针对与配置文件层级相关联的输出层集合,是启用还是禁用莱斯编码工具。该指示可以是通用约束标志。
在示例中,可确定是启用还是禁用扩展精度处理编码工具(例如,针对与配置文件层级相关联的输出层集合)。例如,基于对启用扩展精度处理编码工具的确定,可使用扩展精度处理编码工具来执行至少一个编码功能。基于禁用扩展精度处理编码工具的条件,可禁止使用扩展精度处理编码工具。指出针对配置文件层级启用还是禁用扩展精度处理工具的指示可包含在比特流中。
图14示出了使用通用约束指示来启用和/或禁用编码工具的示例。
例如,可使用通用约束标志来指示例如在配置文件级别上是启用还是禁用CATP。例如,可使用通用约束标志来指示是启用还是禁用编码工具。表6示出了示例性通用约束信息语法表。如表6所示,诸如gci_no_atp_contraint_flag的指示可指出OlsInScope中的图片的sps_atp_enabled_flag是否应当等于0。例如,gci_no_atp_contraint_flag等于1可指示自适应变换精度指示应当被设置为指示针对OlsInScope中的图片禁用ATP的值(例如,OlsInScope中的图片的sps_atp_enabled_flag应当等于0)。指示gci_no_atp_contraint_flag等于0可不强加此类约束(例如,可不将OlsInScope的图片的sps_atp_enabled_flag强制为禁用ATP的值)。
表6
如表6所示,诸如gci_no_ts_residual_coding_rice_present_in_sh_constraint_flag的指示(例如,通用约束标志)可指出OlsInScope中的图片的指示sps_ts_residual_coding_rice_present_in_sh_flag是否应当等于0。例如,gci_no_ts_residual_coding_rice_present_in_sh_constraint_flag等于1可指示OlsInScope中的图片的sps_ts_residual_coding_rice_present_in_sh_flag应当等于0;gci_no_ts_residual_coding_rice_present_in_sh_constraint_flag等于0可不施加此类约束。在示例中,编码工具可与利用莱斯码/莱斯编码的变换跳过残差编码相关联。例如,可基于诸如gci_no_ts_residual_coding_rice_present_in_sh_constraint_flag的指示(例如,通用约束标志)来启用或禁用编码工具。
指示可指出针对配置文件层级是启用还是禁用扩展精度处理。诸如gci_no_extended_precision_processing_constraint_flag的指示可指出OlsInScope中的图片的sps_extended_precision_processing_flag是否应当等于0。例如,gci_no_extended_precision_processing_constraint_flag等于1可指示OlsInScope中的图片的sps_extended_precision_processing_flag应当等于0;gci_no_gci_no_extended_precision_processing_constraint_flag等于0可不施加此类约束。在示例中,编码工具可与扩展精度处理相关联。例如,可基于诸如gci_no_extended_precision_processing_constraint_flag的指示(例如,通用约束标志)来启用或禁用编码工具。与扩展精度处理相关联的指示(例如,通用约束标志)可与莱斯编码工具指示分开获得。
指示可指出针对配置文件层级是启用还是禁用使用莱斯码/莱斯编码的常规残差编码。例如,诸如gci_no_rrc_rice_extension_constraint_flag的指示可指出OlsInScope中的图片的sps_rrc_rice_extension_flag是否应当等于0。例如,gci_no_rrc_rice_extension_constraint_flag等于1可指示OlsInScope中的图片的sps_rrc_rice_extension_flag应当等于0;gci_no_rrc_rice_extension_constraint_flag等于0可不施加此类约束。在示例中,编码工具可与常规残差编码和莱斯编码扩展相关联。例如,可基于诸如gci_no_rrc_rice_extension_constraint_flag的指示(例如,通用约束标志)来启用或禁用编码工具。
指示可指出针对配置文件层级是启用还是禁用持久莱斯编码适配。诸如gci_no_persistent_rice_adaptation_contraint_flag的指示可指出OlsInScope中的图片的sps_persistent_rice_adaptation_flag是否应当等于0。例如,gci_no_persistent_rice_adaptation_contraint_flag等于1可指示OlsInScope中的图片的sps_persistent_rice_adaptation_flag应当等于0;gci_no_persistent_rice_adaptation_contraint_flag等于0可不施加此类约束。在示例中,编码工具可与持久莱斯编码适配相关联。例如,可基于诸如gci_no_persistent_rice_adaptation_contraint_flag的指示(例如,通用约束标志)来启用或禁用编码工具。
尽管上文以特定组合描述了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。此外,本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。
Claims (36)
1.一种装置,所述装置包括处理器,所述处理器被配置为:
针对与配置文件层级相关联的至少一个输出层集合,获得与莱斯编码工具相关联的第一通用约束指示,其中所述莱斯编码工具与可变长度编码相关联;
基于所述第一通用约束指示,确定针对所述配置文件层级是启用还是禁用所述莱斯编码工具;以及
针对与所述配置文件层级相关联的所述至少一个输出层集合中的多个图片,设置与莱斯编码工具启用相关联的值。
2.根据权利要求1所述的装置,其中所述处理器进一步被配置为基于对针对所述配置文件层级是启用还是禁用所述莱斯编码工具的所述确定,来执行至少一个编码功能。
3.根据权利要求1所述的装置,其中基于所述第一通用约束指示指出针对所述配置文件层级禁用所述莱斯编码工具的条件,所述处理器被配置为针对与所述配置文件层级相关联的所述至少一个输出层集合中的所述多个图片设置相应切片报头指示,以禁用所述莱斯编码工具。
4.根据权利要求1所述的装置,其中所述莱斯编码工具与变换跳过残差编码相关联。
5.根据权利要求1所述的装置,其中所述莱斯编码工具与常规残差编码和莱斯编码扩展相关联。
6.根据权利要求1所述的装置,其中所述莱斯编码工具与持久莱斯编码适配相关联。
7.根据权利要求1所述的装置,其中所述处理器被进一步配置为:
针对与所述配置文件层级相关联的所述至少一个输出层集合,获得与扩展精度处理编码工具相关联的第二通用约束指示;
基于所述第二通用约束指示,确定针对所述配置文件层级是启用还是禁用所述扩展精度处理编码工具;以及
针对与所述配置文件层级相关联的所述至少一个输出层集合中的所述多个图片,设置与扩展精度处理编码工具启用相关联的值。
8.一种方法,所述方法包括:
针对与配置文件层级相关联的至少一个输出层集合,获得与莱斯编码工具相关联的第一通用约束指示,其中所述莱斯编码工具与可变长度编码相关联;
基于所述第一通用约束指示,确定针对所述配置文件层级是启用还是禁用所述莱斯编码工具;以及
针对与所述配置文件层级相关联的所述至少一个输出层集合中的多个图片,设置与莱斯编码工具启用相关联的值。
9.根据权利要求8所述的方法,所述方法进一步包括基于对针对所述配置文件层级是启用还是禁用所述莱斯编码工具的所述确定,来执行至少一个编码功能。
10.根据权利要求8所述的方法,所述方法进一步包括基于所述第一通用约束指示指出针对所述配置文件层级禁用所述莱斯编码工具的条件,针对与所述配置文件层级相关联的所述至少一个输出层集合中的所述多个图片设置相应切片报头指示,以禁用所述莱斯编码工具。
11.根据权利要求8所述的方法,其中所述莱斯编码工具与变换跳过残差编码和莱斯编码相关联。
12.根据权利要求8所述的方法,其中所述莱斯编码工具与常规残差编码和莱斯编码扩展相关联。
13.根据权利要求8所述的方法,其中所述莱斯编码工具与持久莱斯编码适配相关联。
14.根据权利要求8所述的方法,所述方法进一步包括:
针对与所述配置文件层级相关联的所述至少一个输出层集合,获得与扩展精度处理编码工具相关联的第二通用约束指示;
基于所述第二通用约束指示,确定针对所述配置文件层级是启用还是禁用所述扩展精度处理编码工具;以及
针对与所述配置文件层级相关联的所述至少一个输出层集合中的所述多个图片,设置与扩展精度处理编码工具启用相关联的值。
15.一种装置,所述装置包括处理器,所述处理器被配置为:
确定针对与配置文件层级相关联的至少一个输出层集合是启用还是禁用莱斯编码工具;
基于所述确定来执行,其中基于对启用所述莱斯编码工具的确定,所述处理器被配置为使用所述莱斯编码工具来执行至少一个编码功能,并且基于对禁用所述莱斯编码工具的确定,所述处理器被配置为禁止使用所述莱斯编码工具;以及
生成包括第一通用约束指示的比特流,所述第一通用约束指示被配置为指出针对与所述配置文件层级相关联的所述至少一个输出层集合,是启用还是禁用所述莱斯编码工具。
16.根据权利要求15所述的装置,其中所述莱斯编码工具与变换跳过残差编码相关联。
17.根据权利要求15所述的装置,其中所述莱斯编码工具与常规残差编码和莱斯编码扩展相关联。
18.根据权利要求15所述的装置,其中所述莱斯编码工具与持久莱斯编码适配相关联。
19.根据权利要求15所述的装置,其中所述处理器被进一步配置为:
确定针对与所述配置文件层级相关联的所述至少一个输出层集合是启用还是禁用扩展精度处理编码工具;以及
基于所述确定来执行,其中基于对启用所述扩展精度处理编码工具的确定,所述处理器被配置为使用所述扩展精度处理编码工具来执行至少一个编码功能,并且基于对禁用所述扩展精度处理编码工具的确定,所述处理器被配置为禁止使用所述扩展精度处理编码工具,其中所述比特流进一步包括第二通用约束指示,所述第二通用约束指示被配置为指出针对与所述配置文件层级相关联的所述至少一个输出层集合,是启用还是禁用所述扩展精度处理编码工具。
20.一种方法,所述方法包括:
确定针对与配置文件层级相关联的至少一个输出层集合是启用还是禁用莱斯编码工具;
基于所述确定来执行,其中基于对启用所述莱斯编码工具的确定,所述执行包括使用所述莱斯编码工具来执行至少一个编码功能,并且基于对禁用所述莱斯编码工具的确定,所述执行包括禁止使用所述莱斯编码工具;以及
生成包括第一通用约束指示的比特流,所述第一通用约束指示被配置为指出针对与所述配置文件层级相关联的所述至少一个输出层集合,是启用还是禁用所述莱斯编码工具。
21.根据权利要求20所述的方法,其中所述莱斯编码工具与变换跳过残差编码和莱斯编码相关联。
22.根据权利要求20所述的方法,其中所述莱斯编码工具与常规残差编码和莱斯编码扩展相关联。
23.根据权利要求20所述的方法,其中所述莱斯编码工具与持久莱斯编码适配相关联。
24.根据权利要求20所述的方法,所述方法进一步包括:
确定针对与所述配置文件层级相关联的所述至少一个输出层集合是启用还是禁用扩展精度处理编码工具;以及
基于所述确定来执行,其中基于对启用所述扩展精度处理编码工具的确定,所述执行包括使用所述扩展精度处理编码工具来执行至少一个编码功能,并且基于对禁用所述扩展精度处理编码工具的确定,所述执行包括禁止使用所述扩展精度处理编码工具,其中所述比特流进一步包括第二通用约束指示,所述第二通用约束指示被配置为指出针对与所述配置文件层级相关联的所述至少一个输出层集合,是启用还是禁用所述扩展精度处理编码工具。
25.一种计算机程序产品,所述计算机程序产品存储在非暂态计算机可读介质上,并且包括程序代码指令,所述程序代码指令用于在由处理器执行时实施根据权利要求8至14和20至24中至少一项所述的方法的步骤。
26.一种计算机程序,所述计算机程序包括程序代码指令,所述程序代码指令用于在由处理器执行时实现根据权利要求8至14和20至24中至少一项所述的方法的步骤。
27.一种装置,所述装置包括处理器,所述处理器被配置为:
针对与配置文件层级相关联的至少一个输出层集合,获得与扩展精度处理编码工具相关联的通用约束指示;
基于所述通用约束指示,确定针对所述配置文件层级是启用还是禁用所述扩展精度处理编码工具;以及
针对与所述配置文件层级相关联的所述至少一个输出层集合中的多个图片,设置与扩展精度处理编码工具启用相关联的值。
28.一种装置,所述装置包括处理器,所述处理器被配置为:
确定针对与配置文件层级相关联的至少一个输出层集合是启用还是禁用扩展精度处理编码工具;
基于所述确定来执行,其中基于对启用所述扩展精度处理编码工具的确定,所述处理器被配置为使用所述扩展精度处理编码工具来执行至少一个编码功能,并且基于对禁用所述莱斯编码工具的确定,所述处理器被配置为禁止使用所述扩展精度处理编码工具;以及
生成包括第一通用约束指示的比特流,所述第一通用约束指示被配置为指出针对与所述配置文件层级相关联的所述至少一个输出层集合,是启用还是禁用所述扩展精度处理编码工具。
29.根据权利要求1至7、15至19或27至28中任一项所述的装置,所述装置进一步包括存储器。
30.根据权利要求1至7、15至19或27至28中任一项所述的装置,其中所述设备是解码器或编码器中的至少一者。
31.一种信号,所述信号包括根据权利要求8至14或20至24中任一项所述的方法中的所述值。
32.一种比特流,所述比特流包括表示根据权利要求8至14或20至24中任一项所述的方法生成的编码输出的信息。
33.一种设备,所述设备包括:
根据权利要求1至7、15至19或27至28中任一项所述的装置;和
以下各项中的至少一者:(i)天线,所述天线被配置为接收信号,所述信号包括表示图像的数据;(ii)频带限制器,所述频带限制器被配置为将所接收的信号限制为包括表示所述图像的所述数据的频带;
或(iii)显示器,所述显示器被配置为显示所述图像。
34.根据权利要求1至7、15至19或27至28中任一项所述的装置,所述装置包括:
TV、移动电话、平板电脑或机顶盒(STB)。
35.一种装置,所述装置包括:
访问单元,所述访问单元被配置为访问数据,所述数据包括根据权利要求1至7或27中任一项所述的设备的所述值;和
发射器,所述发射器被配置为发射包括所述值的所述数据。
36.一种方法,所述方法包括:
访问数据,所述数据包括根据权利要求8至14中任一项所述的方法的所述值;以及
发射包括根据权利要求8至14中任一项所述的方法的所述值的所述数据。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21305458.8 | 2021-04-08 | ||
EP21305936 | 2021-07-07 | ||
EP21305936.3 | 2021-07-07 | ||
PCT/IB2022/000199 WO2022214877A1 (en) | 2021-04-08 | 2022-04-08 | Use of general constraint flags associated with coding tools |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117280692A true CN117280692A (zh) | 2023-12-22 |
Family
ID=76920725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280033532.8A Pending CN117280692A (zh) | 2021-04-08 | 2022-04-08 | 与编码工具相关联的通用约束标志的使用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117280692A (zh) |
-
2022
- 2022-04-08 CN CN202280033532.8A patent/CN117280692A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240187652A1 (en) | Use of general constraint flags associated with coding tools | |
CN116527926A (zh) | 合并模式、自适应运动向量精度和变换跳过语法 | |
CN115104304A (zh) | 用于帧间预测的视频数据的变换编码 | |
CN114556928A (zh) | 帧内子分区相关的帧内编码 | |
WO2023194108A2 (en) | Systems and methods associated with entropy coding | |
CN117397241A (zh) | 重叠块运动补偿 | |
CN116134826A (zh) | 基于几何的点云的自适应流传输 | |
CN117280692A (zh) | 与编码工具相关联的通用约束标志的使用 | |
US20220132123A1 (en) | Content adaptive transform precision for video coding | |
CN118044183A (zh) | 基于模板的语法元素预测 | |
CN118525511A (zh) | 基于深度信息或运动信息的变换译码 | |
CN118844066A (zh) | 减少端到端机器学习图像压缩中的摊销差距 | |
CN118476219A (zh) | 利用基于模板的帧内模式导出和解码器侧帧内模式导出的最可能模式列表生成 | |
CN118216140A (zh) | 用于云游戏视频译码的变换单元划分 | |
CN118489248A (zh) | 用于视频压缩的基于时间注意力的神经网络 | |
CN118648281A (zh) | 基于深度信息或运动信息的视频块分区 | |
CN118369920A (zh) | 具有输入运动矢量数据的运动矢量译码 | |
CN118679738A (zh) | 具有多个线性模型的局部光照补偿 | |
CN118489245A (zh) | 轮廓图信令 | |
CN118216142A (zh) | 交叉分量深度亮度译码 | |
WO2023194193A1 (en) | Sign and direction prediction in transform skip and bdpcm | |
CN117652140A (zh) | 基于神经网络的帧内预测模式与常规帧内预测模式之间的交互 | |
WO2024209021A1 (en) | Shifting quantization center by gradient of a rate | |
CN118489252A (zh) | Gdr与切片内基于模板的工具的交互 | |
CN118202646A (zh) | 基于深度运动的多类型树划分 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |