CN115428465A - 用于在后处理操作中使用视频源上下文信息的技术 - Google Patents

用于在后处理操作中使用视频源上下文信息的技术 Download PDF

Info

Publication number
CN115428465A
CN115428465A CN202080100099.6A CN202080100099A CN115428465A CN 115428465 A CN115428465 A CN 115428465A CN 202080100099 A CN202080100099 A CN 202080100099A CN 115428465 A CN115428465 A CN 115428465A
Authority
CN
China
Prior art keywords
post
video frame
object region
processing
substrates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100099.6A
Other languages
English (en)
Inventor
王长亮
M·R·哈格海特
胡炜
许涛
陈田密
杨斌
包佳
R·迪亚兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN115428465A publication Critical patent/CN115428465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Abstract

系统、装置和方法可提供源设备技术，该源设备技术标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，并将上下文信息嵌入包含视频帧的信号中。此外，回放设备技术可以对包含视频帧和所嵌入的上下文信息的信号进行解码，基于所嵌入的上下文信息标识视频帧中的多个对象区域，并逐对象区域地自动选择用于视频帧的一个或多个后处理配置。

Description

用于在后处理操作中使用视频源上下文信息的技术
技术领域
实施例总体上涉及视频后处理。更具体地,实施例涉及在后处理操作中使用视频源上下文信息的技术。
背景技术
超高分辨率视频(例如，4K UHD/超高清晰度、8K UHD)可以在媒体观看、在线游戏、虚拟现实(virtual reality，VR)和其他设置中递送给远程用户。虽然视频压缩通常在传输之前降低视频流的带宽要求，但仍有相当大的改进空间。例如，诸如HEVC(高效视频编码，例如H.265)和VP9之类的压缩标准可以以较高的计算复杂度为代价实现更好的编码效率。此外，视频管线的每个级通常引入各种类型的噪声和/或质量损失，这可以在视频显示之前经由视频后处理(video post-processing，VPP)解决。在此种情况下，与解压缩视频相关联的高计算复杂度可能会使VPP更加困难，尤其是在观看平台是具有有限计算资源和/或电池寿命的客户端设备(例如，膝上型电脑、平板电脑、智能手机)的情况下。
附图说明
通过阅读以下说明书和所附权利要求书并通过参考以下附图，实施例的各种优势对本领域技术人员将变得显而易见，在附图中：
图1是根据实施例的视频管线的示例的框图；
图2是根据实施例的视频帧和视频帧中的多个对象区域的示例的图示；
图3是根据实施例的操作源设备的方法的示例的流程图；
图4是根据实施例的操作回放设备的方法的示例的流程图；
图5是根据实施例的多个神经网络配置的示例的图示；
图6是根据实施例的对可用计算资源的实时查询的示例的框图；
图7是根据实施例的自动选择后处理配置的方法的示例的流程图；
图8A和图8B是根据实施例的对后处理配置的自动选择的示例的图示；
图9是根据实施例的性能增强的计算系统的示例的框图；
图10是根据实施例的半导体封装设备的示例的图示；
图11是根据实施例的处理器的示例的框图；以及
图12是根据实施例的基于多处理器的计算系统的示例的框图。
具体实施方式
现在转到图1，示出了视频管线，其中源设备20获得视频内容(例如，超高分辨率视频)，并经由流(例如，程序流、传输流)递送基础设施24将视频内容递送至远程回放设备22(例如，膝上型电脑、平板电脑、智能手机或其他具有有限计算资源的客户端设备)。可以从视频捕捉组件26和/或图形渲染组件(例如，未示出的图形管线和/或卡)获得的视频内容通常可以包括：与媒体(例如，电视和/或电影内容)、在线游戏(例如，多玩家游戏场景)、VR、增强现实(augmented reality，AR)等或其任何组合相关联的视频帧序列。在所示示例中，源设备20包括确定视频帧的颜色空间的原始YUV(亮度，蓝色减去亮度的色差，红色减去亮度的色差)级28(例如，顺序、阶段)。
在实施例中，源设备20还包括视频源上下文收集级30。如下文将更详细地讨论的，级30收集的上下文信息可包括对象区域标识符(ID，例如，对象边界框和/或坐标)，对象区域标识符指定对象(例如，玩家、球等)在视频帧中的位置。因此，源上下文收集级30可能包括自动对象检测(例如，计算机视觉/CV)和/或识别技术，用以生成对象区域ID。在一个示例中，上下文信息还包括逐对象区域的对焦信息、深度信息、运动向量信息等。例如，上下文信息可能指示，视频帧中的第一对象(例如，玩家)处于对焦状态，位于低深度(例如，相对靠近观众/用户)，并且移动地相当快。上下文信息还可以指示，视频帧中的第二对象(例如，球)不在对焦状态，位于低深度，并且移动地非常快。
所示的源设备20包括视频编码器32，视频编码器32将来自原始YUV级28的颜色空间信息和来自收集级30的源上下文信息编码为比特流34(例如，信号)。颜色空间信息和源上下文信息可以作为补充增强信息(supplemental enhancement information，SEI)消息或其他合适的数据结构嵌入比特流34中。在一个示例中，视频编码器32使用压缩标准，诸如例如AVC(高级视频编码，例如，H.264)、HEVC和/或VP9，用以实现相对高的编码效率。因此，为了对AVC实现SEI编码，视频编码器32可能将网络抽象层(network abstraction layer，NAL)类型设置为值6。为了对HEVC实现SEI编码，视频编码器32可在编码前缀消息(例如，PREFIX_SEI(前缀_SEI))时将NAL类型设置为值39，并且可在编码后缀消息(例如，SUFFIX_SEI(后缀_SEI))时将NAL类型设置为值40。
回放设备22可以包括视频解码器36，用于在从流递送基础设施24接收到比特流34后对比特流34进行解码。在一个示例中，视频解码器36使用压缩标准，诸如例如AVC、HEVC和/或VP9，以实现相对高的编码效率。然而，诸如视频编码器32、流递送基础设施24和/或视频解码器36之类的视频管线组件可将各种类型的噪声(例如，视觉噪声、可听噪声)和/或质量损失(例如，视觉伪像、可听伪像)引入经解码的信号。因此，所示回放设备22包括VPP子系统38，VPP子系统38用于：减少回放设备22的输出40中的视觉噪声，减少输出40中的可听噪声，从输出40中移除压缩伪像，增强输出40的对比度，增强输出40的锐度，缩放输出40(例如，修改输出40的分辨率)等，或其任何组合。如将更详细讨论的，VPP子系统38使用比特流34中嵌入的源上下文信息来提高性能和/或延长电池寿命。
更具体地，所示的VPP子系统38包括颜色空间重构级42、资源查询级44和上下文提取级46。在实施例中，资源查询级44向操作系统(operating system，OS)48发送实时查询，以确定计算资源的可用性，计算资源诸如例如，中央处理单元(central processing unit，CPU，例如，主机处理器)、图形处理单元(graphics processing unit，GPU，例如，图形处理器)、专用集成电路(application specific integrated circuit，ASIC)等。如将更详细地讨论的，对实时查询的响应可用于确定和/或设置VPP子系统38的一个或多个成本约束。所示上下文提取级46标识视频帧中的对象区域以及与每个对象区域相关联的其他上下文信息(例如，对焦信息、深度信息、运动向量信息)。
在实施例中，选择器50使用来自提取级46的源上下文信息和来自查询级44的(一个或多个)成本约束，以逐对象区域地自动选择用于每个视频帧的一个或多个后处理配置52(例如，解决方案、算法等)。在所示示例中，(一个或多个)所选后处理配置52被应用于来自重构级42的YUV帧42，以获得输出40。因此，通过确保视频帧中的每个对象区域使用针对所讨论的对象区域而被最佳地定制的配置52进行后处理，回放设备22的性能可以显著增强。事实上，(例如，基于人工智能/AI的)实时超分辨率后处理可以使用图示的解决方案来实现。
例如，如果成本约束指示硬件资源当前有限或功耗高(例如，在电池供电的平台上)，则可能会使用具有相对较低的计算开销的后处理配置52来处理不处于对焦状态的、远离观众的和/或静态的对象区域。相反，如果成本约束指示硬件资源当前不受限制或功耗低，则可能会使用具有稍高的计算开销的后处理配置52来处理不处于对焦状态的、远离观众的和/或静态的对象区域(例如，提高该对象区域的图像质量)。
图2示出了(例如，描绘足球比赛场景的)视频帧54和视频帧54中标识的多个对象区域56。在所示示例中，相机提供上下文信息并将上下文信息合并到基于对象区域的阵列中：
Ri{x0，y0，x1，y1，mv_x，mv_y，深度(depth)，对焦(focus)}，其中
Figure BDA0003902228180000041
上文提供的数字范围仅用于方便讨论并且可能根据情况而改变。在所示的足球比赛场景的示例中，四个人体区域在捕捉过程期间被标识，并且一个球区域通过来自相机的自动跟踪功能或深度图分割被标识。该对象区域的上下文信息被构造为：
R0{x00，y00，x01，y01，16，2，0.2，1}对焦的对象，低深度，相当快的运动
R1{x10，y10，x11，y11，32，1，0.1，0}未对焦的，低深度，非常快的运动
R2{x20，y20，x21，y21，16，4，0.3，0}未对焦的，相当低的深度，中间运动
R3{x20，y20，x21，y21，16，4，0.4，0}未对焦的，相当低的深度，中间运动
R4{x30，y30，x31，y31，0，0，0.8，0}未对焦的，高深度，静态
R5{-1，-1，-1，-1，0，0，1，0}背景，未编码且未传输
可能总是存在隐含的背景区域，它表示视频帧54的剩余部分，并且既没有被编码也没有传输到回放设备。最后，结构化数据可以根据适当的有效载荷语法作为SEI消息被嵌入。
图3示出了操作源设备的方法60。方法60可以一般地由源设备来实现，诸如例如已经讨论过的源设备20(图1)。更具体地，方法60可采用一组逻辑指令而被实现为一个或多个模块，这些逻辑指令被存储在诸如随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可编程ROM(programmable ROM，PROM)、固件、闪存存储器等之类的机器或计算机可读存储介质中，存储在诸如例如可编程逻辑阵列(programmablelogic array，PLA)、FPGA、复杂可编程逻辑器件(complex programmable logic device，CPLD)之类的可配置逻辑中，存储在使用诸如例如ASIC、互补式金属氧化物半导体(complementary metal oxide semiconductor，CMOS)或晶体管-晶体管逻辑(transistor-transistor logic，TTL)技术之类的电路技术的固定功能硬件逻辑中，或存储在上述各项的任何组合中。
例如，可以用一种或多种编程语言的任何组合来编写用于实施在方法60中所示的操作的计算机程序代码，这些编程语言包括诸如JAVA、SMALLTALK、C++等之类的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的之类的常规的过程编程语言。另外，逻辑指令可包括汇编程序指令、指令集体系结构(instruction set architecture，ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、用于集成电路的配置数据、使对于硬件(例如，主机处理器、中央处理单元/CPU、微控制器等)而言是原生的电子电路和/或其他结构部件个性化的状态信息。
所图示的处理框62用于获得视频帧。在实施例中，框62从视频捕捉组件(例如，相机)和/或图形渲染组件(例如，图形管线)获得视频帧。框64可以标识视频帧中的多个对象区域。在一个示例中，框64包括对象检测、跟踪和/或识别技术(例如，计算机视觉)的使用，用以标识对象区域。所图示的框66逐对象区域地自动生成视频帧的上下文信息。如前所述，上下文信息可包括逐对象区域的对焦信息、深度信息、运动向量信息等，或其任何组合。在实施例中，框68将上下文信息嵌入到包含视频帧的信号(例如，比特流)中。如前所述，上下文信息可以作为SEI消息嵌入到信号中。在一个实施例中，在视频编码期间不引入开销比特。例如，与4K视频流消耗的典型比特率(例如，30Mbps–60Mbps)相比，所嵌入的上下文信息最多消耗每秒几千字节，这对于比特流来说是可以忽略的开销。逐对象区域地构造上下文信息使所图示的方法60能够通过源设备中更大的灵活性和效率来增强性能。
图4示出了操作回放设备的方法70。方法70可以一般地在回放设备中实现，诸如例如已经讨论过的回放设备22(图1)。更具体地，方法70可以采用一组逻辑指令而被实现为一个或多个模块，这些逻辑指令被存储在诸如RAM、ROM、PROM、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如PLA、FPGA、CPLD之类的可配置逻辑中，被存储在使用诸如例如ASIC、CMOS或TTL技术之类的电路技术的固定功能逻辑硬件中，或被存储在以上各项的任何组合中。
所图示的处理框72提供对包含视频帧和所嵌入的上下文信息(例如，对象区域ID、对焦信息、深度信息、运动向量信息等)的信号进行解码。在框74处，多个对象区域可以基于所嵌入的上下文信息而在视频帧中被标识。在实施例中，框76逐对象区域地自动选择用于视频帧的一个或多个后处理配置。例如，框76可能自动选择用于视频帧中的第一对象区域的第一后处理配置，自动选择用于视频帧中的第二对象区域的第二后处理配置，以及自动选择用于视频帧中的第三对象区域的第三后处理配置，其中第一、第二和第三后处理配置彼此不同。如将更详细地讨论的，选择(一个或多个)后处理配置可以包括在一个或多个神经网络配置、一个或多个视频增强过程等之间进行选择。
框78将(一个或多个)所选后处理配置应用于视频帧以获得输出。在一个示例中，(一个或多个)自动选择的后处理配置用于以下各项中的一者或多者：减少输出中的视觉噪声、减少输出中的可听噪声、从输出中移除压缩伪像、增强输出中的对比度、增强输出中的锐度或缩放输出。所图示的方法70通过逐对象区域地对VPP配置进行自动选择来增强性能。例如，每个对象区域可以被指派为所讨论的对象区域定制的VPP配置。这样的方法改进灵活性，降低功耗，并提高了回放设备中的效率。
图5示出了可缩放的多个神经网络配置80(80a-80c)。在所图示的示例中，第一网络配置80a包括解码器侧上的(例如，表示相对低的质量和计算复杂度的)六个层，第二网络配置80b包括(例如，表示中间质量和计算复杂度的)八个层，并且第三网络配置80c包括(例如，表示相对高的质量和计算复杂度的)十个层。也可以使用其他后处理配置，诸如不同的图像过滤器强度、训练权重、训练偏差参数和/或视频增强过程。如前所述，神经网络配置80可以逐对象区域地进行选择，其中选择考虑到源上下文信息和计算资源的可用性。
现在转到图6，示出了实时查询90(例如，以预定义的间隔)从VPP模块92(例如，包括逻辑指令、可配置逻辑、固定功能硬件逻辑等，或其任何组合的引擎)到OS 94的发布。在一个示例中，OS 94确定CPU、第一GPU(“GPU1”)和第二GPU(“GPU2”)的可用性，并发出对查询90的响应。响应于查询90，OS 94可能调用一个或多个相关的系统API(applicationprogramming interface，应用程序编程接口)并确定硬件(例如，CPU、GPU、存储器)利用率水平。在实施例中，VPP模块92基于来自OS 94的(一个或多个)响应来确定成本约束，其中成本约束用于逐对象区域地选择后处理配置。当比特流包括对视频回放硬件造成相对沉重负担的超高分辨率视频时，这种方法可能特别有用。
本文描述的实施例将区域配置(例如，算法)选择问题作为组合优化问题来解决。给定用于产生受约束的质量水平的计算资源可用性，主要工作是将来自所有区域的聚合质量水平最大化。关键贡献是使用从视频源传递的上下文信息来推导每个区域的质量水平，并使解决方案实用。
例如，可以假设W是计算约束，n是对象区域的数量，m是VPP模块92可用的计算配置的数量。对于任何区域，可以从m个候选中选择/选定一个配置。在该示例中，c＝(c0,…,cm-1)表示候选配置的单位计算成本。对于区域i，vi＝(vi,0,…,vi,m-1)可以表示候选配置在区域上达到的质量水平。此外，xi∈{0,…,m-1}可以表示用于区域i的配置的选择，并且di表示区域大小(或区域的面积维度)。
VPP模块92可以自动地针对
Figure BDA0003902228180000081
(服从
Figure BDA0003902228180000082
)确定xi，其中dicxi是从单元计算成本和区域大小导出的区域i的计算成本。
决定质量水平的函数可以将对象区域运动、对焦和深度作为输入，并启发性地导出不同配置在每个区域上实现的质量水平。配置对不同的对象区域有不同的质量影响。例如，较低深度的对象区域可能接收较高的质量水平，以实现更精细的后处理，而较高深度的对象区域可能不接收较高的质量水平(例如，尤其是如果计算资源受约束的话)。类似地，运动中的对象区域也可以接收增加值和/或更精细的配置。此外，对焦的对象区域可在确定中接收附加值。
在视频帧54(图2)的足球场景示例中，可假设存在三个配置候选(m＝3)。如果配置0表示最低复杂度(例如，基于CV的视频质量增强)，配置1表示较低复杂度(例如，可缩放的神经网络)，并且配置2表示最高复杂度(可缩放的神经网络)，则质量水平vi可以演示为：
v0＝(0.1，0.8，1)映射至最高复杂度处理的最高值
v1＝(0.1，0.8，1)映射至最高复杂度处理的最高值
v2＝(0.1，0.5，0.6)指向较高复杂度处理的较小增加值
v3＝(0.1，0.5，0.6)指向较高复杂度处理的较小增加值
v4＝(0.1，0.2，0.3)指向较高复杂度处理的不太大的增加值
v5＝(0.1，0.11，0.12)指向较高复杂度处理的小增加值
图7示出了自动选择后处理配置的方法100。方法100一般可在回放设备(诸如例如，已讨论过的回放设备22(图1)和/或VPP模块92(图6))中实现。此外，方法100通常可以被并入已经讨论过的框76(图4)中。更具体地，方法100可以采用一组逻辑指令而被实现为一个或多个模块，这些逻辑指令被存储在诸如RAM、ROM、PROM、固件、闪存存储器等之类的机器或计算机可读存储介质中，被存储在诸如例如PLA、FPGA、CPLD之类的可配置逻辑中，被存储在使用诸如例如ASIC、CMOS或TTL技术之类的电路技术的固定功能逻辑硬件中，或被存储在以上各项的任何组合中。
所图示的处理框102生成对可用计算资源的实时查询。在框104处可以基于对实时查询的一个或多个响应来确定成本约束。此外，框106跨多个对象区域确定聚合后处理质量水平。在实施例中，在框108处跨多个对象区域确定聚合计算成本，其中(一个或多个)后处理配置是基于聚合后处理质量水平、聚合计算成本和成本约束自动选择的。相应地，方法100通过在逐对象区域地选择后处理配置时考虑计算资源的可用性来进一步增强性能。
现在转向图8A和图8B，分别示出了用于1)具有足够计算资源的平台和2)没有足够计算资源的平台的对后处理配置的自动选择。
假设场景中的区域维度分别为10、1、10、6、4、30，则三种配置可具有相应计算单位成本c＝(1,3,9)。基于前面描述的质量水平，给定不同终端设备情况下的计算约束W：
如图8A的第一结果110中所示，W＝500足以使每个区域选择最高复杂度处理算法，即，
x＝(x0,x1,...,x5)＝(2,2,2,2,2,2)
如图8B的第二结果112中所示，低端回放设备引入约束W＝250，这将导致以下选择：
x＝(2,2,2,1,1,0)，V最大＝1+1+0.6+0.5+0.2+0.1＝3.4，
权重和＝10*9+1*9+10*9+6*3+4*3+1*30＝249<＝W
其他映射要么无法使该值最大化，要么超过W约束，诸如：
如果x＝(2,2,2,2,1,0),V＝1+1+0.6+0.6+0.2+0.1＝3.5,
则权重和＝9*10+9*1+9*10+9*6+3*4+1*30＝285
>W(过度加权)
如果x＝(2,2,0,1,1,1),V＝2.91,则权重和＝229<W(值未最大化)
现在转向图9，示出了性能增强的计算系统120。系统120一般可以是具有计算功能的电子设备/系统(例如，个人数字助理/PDA、笔记本计算机、平板计算机、可转换平板、服务器)的部分、具有通信功能的电子设备/系统(例如，智能手机)的部分、具有成像功能的电子设备/系统(例如，相机、便携式摄像机)的部分、具有媒体播放功能的电子设备/系统(例如，智能电视/TV)的部分、具有可穿戴功能的电子设备/系统(例如，手表、眼部穿戴物、头戴物、脚部穿戴物、首饰)的部分、具有车载功能的电子设备/系统(例如，汽车、卡车、摩托车)的部分、具有机器人功能的电子设备/系统(例如，自主机器人)的部分、具有物联网(Internetof Things，IoT)功能的电子设备/系统的部分等等，或者具有以上各功能的任何组合的电子设备/系统的部分。
在所图示的示例中，系统120包括具有耦合至系统存储器126的集成存储器控制器(integrated memory controller，IMC)124的主机处理器122(例如，CPU)。在实施例中，IO模块128耦合至主机处理器122。所图示的IO模块128与例如显示器130(例如，触摸屏、液晶显示器/LCD、发光二极管/LED显示器)、(例如，有线和/或无线)网络控制器132和大容量存储装置134(例如，硬盘驱动器/HDD、光盘、固态驱动器/SSD、闪存存储器等)通信。主机处理器122可以与IO模块128和图形处理器136(例如，GPU)一起组合到片上系统(system onchip，SoC)138中。
在实施例中，计算系统120作为源设备操作。在这种情况下，主机处理器122、IO模块128和/或图形处理器136执行从系统存储器126和/或大容量存储装置134取回的源指令140以执行已讨论的方法60(图3)的一个或多个方面。因此，源指令140的执行可以使计算系统120用于：标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，将上下文信息嵌入包含视频帧的信号，以及经由网络控制器132将信号发送至回放设备。所图示的计算系统120因此被认为是性能增强的源设备，至少在逐对象区域地构造上下文信息而在源设备中提供更强的灵活性和效率的程度上是如此。
在另一实施例中，计算系统120作为回放设备操作。在这种情况下，主机处理器122、IO模块128和/或图形处理器136执行从系统存储器126和/或大容量存储装置134取回的回放指令142以执行已讨论的方法70(图4)和/或方法100(图7)的一个或多个方面。因此，回放指令142的执行可以使计算系统120用于：经由网络控制器132接收信号，其中该信号包含视频帧和所嵌入的上下文信息；对信号进行解码；基于所嵌入的上下文信息标识视频帧中的多个对象区域；以及逐对象区域地自动选择用于视频帧的一个或多个后处理配置。所图示的计算系统120因此被认为是性能增强的回放设备，至少在逐对象区域地对VPP配置的自动选择在回放设备中改进了灵活性、降低了功耗并提高了效率的程度上是如此。
图10示出了半导体设备150(例如，芯片、管芯、封装)。所图示的设备150包括一个或多个衬底152(例如，硅、蓝宝石、砷化镓)和耦合至(一个或多个)衬底152的逻辑154(例如，晶体管阵列和其他集成电路/IC组件)。在实施例中，逻辑154实现已经讨论过的方法60(图3)、方法70(图4)和/或方法100(图7)的一个或多个方面。因此，逻辑154可以通过标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，以及将上下文信息嵌入包含视频帧的信号中来增强源设备中的性能。逻辑154还可以通过对包含视频帧和所嵌入的上下文信息的信号进行解码，基于所嵌入的上下文信息标识视频帧中的多个对象区域，以及逐对象区域地自动选择用于视频帧的一个或多个后处理配置来增强回放设备中的性能。
逻辑154可至少部分地实现在可配置逻辑或固定功能硬件逻辑中。在一个示例中，逻辑154包括被定位(例如，嵌入)在(一个或多个)衬底152内的晶体管沟道区。因此，逻辑154与(一个或多个)衬底152之间的接口可以不是突变结。逻辑154还可被认为包括在(一个或多个)衬底152的初始晶圆上生长的外延层。
图11图示出根据一个实施例的处理器核心200。处理器核心200可以是用于任何类型的处理器的核心，该处理器诸如微处理器、嵌入式处理器、数字信号处理器(digitalsignal processor，DSP)、网络处理器或用于执行代码的其他设备。虽然图11中仅图示了一个处理器核心200，但处理元件可替代地包括多于一个的图11中所图示的处理器核心200。处理器核心200可以是单线程核心，或对于至少一个实施例，处理器核心200可以是多线程的，因为其每个核心可包括一个以上的硬件线程上下文(或“逻辑处理器”)。
图11还图示出耦合至处理器核心200的存储器270。存储器270可以是本领域技术人员已知或以其他方式可用的各种存储器(包括存储器层次结构的各个层)中的任何一者。存储器270可以包括将由处理器核心200执行的一个或多个代码213指令，其中代码213可以实现已经讨论过的方法60(图3)、方法70(图4)和/或方法100(图7)。处理器核心200遵循由代码213指示的指令的程序序列。每条指令可进入前端部分210并由一个或多个解码器220处理。解码器220可生成微操作(诸如采用预定义格式的固定宽度的微操作)作为其输出，或者可生成反映原始代码指令的其他指令、微指令或控制信号。所图示的前端部分210还包括寄存器重命名逻辑225和调度逻辑230，该调度逻辑230一般分配资源并将与转换指令相对应的操作进行排队以供执行。
处理器核心200被示出为包括具有一组执行单元255-1至255-N的执行逻辑250。一些实施例可以包括专用于指定功能或功能集合的多个执行单元。其他实施例可包括仅一个执行单元或可以执行特定功能的一个执行单元。所图示的执行逻辑250执行由代码指令指定的操作。
在完成对由代码指令指定的操作的执行之后，后端逻辑260对代码213的指令进行引退。在一个实施例中，处理器核心200允许乱序执行但是要求指令的有序引退。引退逻辑265可采取如本领域技术人员已知的各种形式(例如，重排序缓冲器等等)。以此方式，至少在由解码器生成的输出、由寄存器重命名逻辑225利用的硬件寄存器和表、以及由执行逻辑250修改的任何寄存器(未示出)方面，处理器核心200在代码213的执行期间被变换。
虽然未在图11中图示，但处理元件可包括与处理器核心200一起处于芯片上的其他元件。例如，处理元件可包括连同处理器核心200一起的存储器控制逻辑。处理元件可包括I/O控制逻辑和/或可包括与存储器控制逻辑一起被集成的I/O控制逻辑。处理元件还可包括一个或多个缓存。
现在参考图12，所示出的是根据实施例的计算系统1000实施例的框图。图12中所示出的是多处理器系统1000，多处理器系统1000包括第一处理元件1070和第二处理元件1080。尽管示出了两个处理元件1070和1080，但是要理解，系统1000的实施例也可仅包括一个此类处理元件。
系统1000被图示为点对点互连系统，其中第一处理元件1070和第二处理元件1080经由点对点互连1050耦合。应当理解，图12中所图示的互连中的任何或全部互连可被实现为多分支总线而不是点对点互连。
如图12中所示，处理元件1070和1080中的每一者可以是包括第一处理器核心和第二处理器核心(即，处理器核心1074a和1074b、以及处理器核心1084a和1084b)的多核心处理器。此类核心1074a、1074b、1084a、1084b可被配置成用于以与上文结合图11所讨论的方式类似的方式来执行指令代码。
每个处理元件1070、1080可包括至少一个共享缓存1896a、1896b。共享缓存1896a、1896b可存储分别由处理器的一个或多个组件(诸如核心1074a、1074b，以及1084a、1084b)利用的数据(例如，指令)。例如，共享缓存1896a、1896b可本地地对存储器1032、1034中所存储的数据进行缓存以供处理器的组件进行更快速的访问。在一个或多个实施例中，共享缓存1896a、1896b可包括一个或多个中间级别缓存(诸如第2级(L2)、第3级(L3)、第4级(L4)、或其他级别的缓存)、末级缓存(LLC)和/或其组合。
虽然被示出为仅具有两个处理元件1070、1080，但要理解，实施例的范围不限于此。在其他实施例中，在给定的处理器中可存在一个或多个附加处理元件。或者，处理元件1070、1080中的一者或多者可以是除处理器之外的元件，诸如加速器或现场可编程门阵列。例如，(一个或多个)附加处理元件可包括与第一处理器1070相同的(一个或多个)附加处理器、与第一处理器1070异构或不对称的(一个或多个)附加处理器、加速器(诸如例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列、或任何其他处理元件。在包括体系结构、微体系结构、热、功耗特性等等一系列品质度量方面，处理元件1070、1080之间可以存在各种差异。这些差异自身可有效地表现为处理元件1070、1080之中的不对称性和异构性。对于至少一个实施例，各处理元件1070、1080可驻留在同一管芯封装中。
第一处理元件1070可进一步包括存储器控制器逻辑(memory controller logic，MC)1072以及点对点(point-to-point，P-P)接口1076和1078。类似地，第二处理元件1080可包括MC 1082以及P-P接口1086和1088。如图12中所示，MC 1072和1082将处理器耦合至相应的存储器，即存储器1032和存储器1034，这些存储器可以是本地附连到相应处理器的主存储器的部分。尽管MC 1072和MC 1082被图示为被集成到处理元件1070、1080中，但对于替代实施例，MC逻辑可以是处理元件1070、1080外部的分立逻辑，而不是被集成于其中。
第一处理元件1070和第二处理元件1080可分别经由P-P互连1076、1086耦合至I/O子系统1090。如图12中所示，I/O子系统1090包括P-P接口1094和1098。此外，I/O子系统1090包括将I/O子系统1090与高性能图形引擎1038耦合的接口1092。在一个实施例中，可使用总线1049将图形引擎1038耦合至I/O子系统1090。或者，点对点互连可耦合这些组件。
进而，I/O子系统1090可经由接口1096耦合至第一总线1016。在一个实施例中，第一总线1016可以是外围组件互连(Peripheral Component Interconnect，PCI)总线，或者可以是诸如PCI快捷(PCI Express)总线或另一第三代I/O互连总线之类的总线，但是实施例的范围不限于此。
如图12中所示，各种I/O设备1014(例如，生物计量扫描仪、扬声器、相机、传感器)可连同总线桥1018一起耦合至第一总线1016，该总线桥1018可将第一总线1016耦合至第二总线1020。在一个实施例中，第二总线1020可以是低引脚数(low pin count，LPC)总线。在一个实施例中，各种设备可耦合到第二总线1020，这些设备包括例如键盘/鼠标1012、(一个或多个)通信设备1026、以及可包括代码1030的数据存储单元1019(诸如盘驱动器或其他大容量存储设备)。所图示的代码1030可以实现已经讨论过的方法60(图3)、方法70(图4)和/或方法100(图7)，并且可以类似于已经讨论过的代码213(图11)。此外，音频I/O 1024可耦合至第二总线1020，并且电池1010可向计算系统1000提供功率。
注意，构想了其他实施例。例如，代替于图12的点对点架构，系统可实现多分支总线或者另一此类通信拓扑。而且，可替代地使用比图12中所示的更多或更少的集成芯片来对图12的元件进行分区。
附加注解和示例：
示例1包括一种源半导体设备，包括一个或多个衬底和耦合至一个或多个衬底的逻辑，其中逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合至一个或多个衬底的逻辑用于：标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，以及将上下文信息嵌入包含视频帧的信号中。
示例2包括示例1的设备，其中上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例3包括示例1的设备，其中耦合至一个或多个衬底的逻辑用于从视频捕捉组件获得视频帧。
示例4包括示例1的设备，其中耦合至一个或多个衬底的逻辑用于从图形渲染组件获得视频帧。
示例5包括示例1至3中的任一项的设备，其中耦合至一个或多个衬底的逻辑包括定位在该一个或多个衬底内的晶体管沟道区。
示例6包括至少一种计算机可读存储介质，包括一组可执行源指令，源指令当由计算系统执行时，使计算系统用于：标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，以及将上下文信息嵌入包含视频帧的信号中。
示例7包括示例6的至少一种计算机可读存储介质，其中上下文信息用于包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例8包括示例6的至少一种计算机可读存储介质，其中，指令在被执行时，进一步使计算系统用于从视频捕捉组件获得视频帧。
示例9包括示例6的至少一种计算机可读存储介质，其中，指令在被执行时，进一步使计算系统用于从图形渲染组件获得视频帧。
示例10包括示例6至9中的任一项的至少一种计算机可读存储介质，其中上下文信息作为补充增强信息消息被嵌入信号中。
示例11包括一种回放半导体设备，包括一个或多个衬底和耦合至一个或多个衬底的逻辑，其中逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合至一个或多个衬底的逻辑用于：对包含视频帧和所嵌入的上下文信息的信号进行解码，基于所嵌入的上下文信息标识视频帧中的多个对象区域，以及逐对象区域地自动选择用于视频帧的一个或多个后处理配置。
示例12包括示例11的设备，其中所嵌入的上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例13包括示例11的设备，其中耦合至一个或多个衬底的逻辑用于：跨多个对象区域确定聚合后处理质量水平，以及跨多个对象区域确定聚合计算成本，其中一个或多个后处理配置是基于聚合后处理质量水平、聚合计算成本和成本约束来自动选择的。
示例14包括示例13的设备，其中耦合至一个或多个衬底的逻辑用于生成对可用计算资源的实时查询，以及基于对实时查询的一个或多个响应来确定成本约束。
示例15包括示例11的设备，其中为了自动选择一个或多个后处理配置，耦合至一个或多个衬底的逻辑用于在一个或多个神经网络配置与一个或多个视频增强过程之间进行选择。
示例16包括示例11的设备，其中为了自动选择一个或多个后处理配置，耦合至一个或多个衬底的逻辑用于自动选择用于视频帧中的第一对象区域的第一后处理配置，自动选择用于视频帧中的第二对象区域的第二后处理配置，以及自动选择用于视频帧中的第三对象区域的第三后处理配置，其中第一后处理配置、第二后处理配置和第三后处理配置彼此不同。
示例17包括示例11至16中的任一项的设备，其中耦合至一个或多个衬底的逻辑用于将自动选择的一个或多个后处理配置应用到视频帧以获得输出，并且其中自动选择的一个或多个后处理配置用于以下各项中的一者或多者：减少输出中的视觉噪声、减少输出中的可听噪声、从输出中移除压缩伪像、增强输出中的对比度、增强输出中的锐度或缩放输出。
示例18包括示例11至16中的任一项的设备，其中耦合至一个或多个衬底的逻辑包括定位在该一个或多个衬底内的晶体管沟道区。
示例19包括至少一种计算机可读存储介质，包括一组可执行回放指令，回放指令当由计算系统执行时，使计算系统用于：对包含视频帧和所嵌入的上下文信息的信号进行解码，基于所嵌入的上下文信息标识视频帧中的多个对象区域，以及逐对象区域地自动选择用于视频帧的一个或多个后处理配置。
示例20包括示例19的至少一种计算机可读存储介质，其中所嵌入的上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例21包括示例19的至少一种计算机可读存储介质，其中回放指令被执行时，进一步使计算系统用于：跨多个对象区域确定聚合后处理质量水平，以及跨多个对象区域确定聚合计算成本，其中一个或多个后处理配置是基于聚合后处理质量水平、聚合计算成本和成本约束来自动选择的。
示例22包括示例21的至少一种计算机可读存储介质，其中回放指令在被执行时，进一步使计算系统用于：生成对可用计算资源的实时查询，以及基于对实时查询的一个或多个响应来确定成本约束。
示例23包括示例19的至少一种计算机可读存储介质，其中为了自动选择一个或多个后处理配置，回放指令在被执行时，用于在一个或多个神经网络配置与一个或多个视频增强过程之间进行选择。
示例24包括示例19的至少一种计算机可读存储介质，其中为了自动选择一个或多个后处理配置，回放指令在被执行时，使计算系统用于自动选择用于视频帧中的第一对象区域的第一后处理配置，自动选择用于视频帧中的第二对象区域的第二后处理配置，以及自动选择用于视频帧中的第三对象区域的第三后处理配置，其中第一后处理配置、第二后处理配置和第三后处理配置彼此不同。
示例25包括示例19至24中的任一项的至少一种计算机可读存储介质，其中回放指令在被执行时，进一步使计算系统用于将自动选择的一个或多个后处理配置应用到视频帧以获得输出，并且其中自动选择的一个或多个后处理配置用于以下各项中的一者或多者：减少输出中的视觉噪声、减少输出中的可听噪声、从输出中移除压缩伪像、增强输出中的对比度、增强输出中的锐度或缩放输出。
示例26包括一种操作源设备的方法，该方法包括：标识视频帧中的多个对象区域，逐对象区域地自动生成视频帧的上下文信息，以及将上下文信息嵌入包含视频帧的信号中。
示例27包括示例26的方法，其中上下文信息包括多个对象区域标识符和逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例28包括示例26的方法，进一步包括从视频捕捉组件获得视频帧。
示例29包括示例26的方法，进一步包括从图形渲染组件获得视频帧。
示例30包括示例26至29中的任一项的方法，其中上下文信息作为补充增强信息消息嵌入信号中。
示例31包括一种源设备，包括网络控制器、处理器以及包括一组可执行源指令的存储器，源指令当由处理器执行时，使处理器用于执行示例26至30中的任一项的方法。
示例32包括用于执行示例26至30中的任一项的方法的装置。
示例33包括一种操作回放设备的方法，该方法包括：对包含视频帧和所嵌入的上下文信息的信号进行解码，基于所嵌入的上下文信息标识视频帧中的多个对象区域，以及逐对象区域地自动选择用于视频帧的一个或多个后处理配置。
示例34包括示例33的方法，其中所嵌入的上下文信息包括多个对象区域标识符和逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
示例35包括示例33的方法，进一步包括：跨多个对象区域确定聚合后处理质量水平，以及跨多个对象区域确定聚合计算成本，其中一个或多个后处理配置是基于聚合后处理质量水平、聚合计算成本和成本约束自动选择的。
示例36包括示例35的方法，进一步包括生成对可用计算资源的实时查询，以及基于对实时查询的一个或多个响应来确定成本约束。
示例37包括示例33的方法，其中自动选择一个或多个后处理配置包括在一个或多个神经网络配置和一个或多个视频增强过程之间进行选择。
示例38包括示例33的过程，其中自动选择一个或多个后处理配置包括：自动选择用于视频帧中的第一对象区域的第一后处理配置，自动选择用于视频帧中的第二对象区域的第二后处理配置，以及自动选择用于视频帧中的第三对象区域的第三后处理配置，其中第一后处理配置、第二后处理配置和第三后处理配置彼此不同。
示例39包括示例33至38中的任一项的方法，进一步包括：将自动选择的一个或多个后处理配置应用到视频帧以获得输出，其中自动选择的一个或多个后处理配置用于以下各项中的一者或多者：减少输出中的视觉噪声、减少输出中的可听噪声、从输出中移除压缩伪像、增强输出中的对比度、增强输出中的锐度或缩放输出。
示例40包括一种回放设备，包括网络控制器、处理器以及包括一组可执行回放指令的存储器，回放指令当由处理器执行时，使处理器用于执行示例33至39中的任一项的方法。
示例41包括用于执行示例33至39中的任一项的方法的装置。
因此，本文描述的技术可以支持在资源有限的硬件上渲染超高分辨率视频帧(例如，4k/8K)，同时保持良好的用户体验。此外，根据高端和低端硬件设备上可用的动态计算资源，在视频后处理级可以使用灵活的策略。因此，可以实现更低的计算复杂度和功耗。该技术在视频编码中不引入开销比特。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组部件、可编程逻辑阵列(programmable logicarrays，PLA)、存储器芯片、网络芯片、片上系统(systems on chip，SoC)、SSD/NAND控制器ASIC等等。另外，在一些附图中，信号导线用线表示。一些线可以是不同的以指示更具构成性的信号路径，可具有数字标号以指示构成性信号路径的数目，和/或可在一端或多端具有箭头以指示主要信息流向。然而，这不应以限制性方式来解释。相反，此类添加的细节可与一个或多个示例性实施例结合使用以促进更容易地理解电路。任何所表示的信号线，不管是否具有附加信息，实际上都可包括一个或多个信号，该一个或多个信号可在多个方向上行进，并且可用任何适合类型的信号方案来实现，例如利用差分对来实现的数字或模拟线路、光纤线路、和/或单端线路。
示例大小/模型/值/范围可能已经被给出，但是实施例不限于此。随着制造技术(例如，光刻法)随时间变得成熟，预计能制造出更小大小的设备。另外，为了说明和讨论的简单起见并且为了避免使实施例的某些方面模糊，到IC芯片和其他部件的公知的功率/接地连接可在附图内示出也可不示出。此外，为了避免使各实施例变得模糊，并且还鉴于相对于此类框图布置的实现方式的细节高度依赖于实施例要在其内实现的平台(即此类细节应当落在本领域内技术人员的见识范围内)这一事实，布置可以以框图形式示出。在阐述具体细节(例如电路)以便描述示例实施例的情情况下，应当对本领域技术人员显而易见的是，实施例可以在不具有这些具体细节或对这些具体细节作出变化的情况下实现。描述因此被视为是说明性的而不是限制性的。
术语“耦合的”在本文中可被用于表示所讨论的部件之间的任何类型的直接或间接的关系，且可应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外，术语“第一”、“第二”等在本文中可仅用于便于讨论，并且不带有特定时间的或按时间顺序的意义，除非另有陈述。
如在本申请和权利要求书中所使用的，由术语“中的一个或多个”联接的项列表可意指所列项的任何组合。例如，短语“A、B或C中的一个或多个”可意指A；B；C；A和B；A和C；B和C；或者A、B和C。
本领域技术人员从前面的描述将领会，实施例的广泛技术能以各种形式来实现。因此，尽管已结合其特定示例描述了实施例，但实施例的真实范围不应当限于此，因为在研究附图、说明书和所附权利要求书之后，其他修改对于本领域技术人员将变得显而易见。

Claims (25)

1.一种源半导体设备，包括：
一个或多个衬底；以及
耦合至所述一个或多个衬底的逻辑，其中所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合至所述一个或多个衬底的所述逻辑用于：
标识视频帧中的多个对象区域；
逐对象区域地自动生成所述视频帧的上下文信息；以及
将所述上下文信息嵌入包含所述视频帧的信号中。
2.如权利要求1所述的设备，其特征在于，所述上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
3.如权利要求1所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑用于从视频捕捉组件获得所述视频帧。
4.如权利要求1所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑用于从图形渲染组件获得所述视频帧。
5.如权利要求1至3中的任一项所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑包括被定位在所述一个或多个衬底内的晶体管沟道区。
6.至少一种计算机可读存储介质，包括一组可执行源指令，所述指令在由计算系统执行时使得所述计算系统用于：
标识视频帧中的多个对象区域；
逐对象区域地自动生成所述视频帧的上下文信息；以及
将所述上下文信息嵌入包含所述视频帧的信号中。
7.如权利要求6所述的至少一种计算机可读存储介质，其特征在于，所述上下文信息用于包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
8.如权利要求6所述的至少一种计算机可读存储介质，其特征在于，所述指令在被执行时，进一步使所述计算系统用于从视频捕捉组件获得所述视频帧。
9.如权利要求6所述的至少一种计算机可读存储介质，其特征在于，所述指令在被执行时，进一步使所述计算系统用于从图形渲染组件获得所述视频帧。
10.如权利要求6至9中的任一项所述的至少一种计算机可读存储介质，其特征在于，所述上下文信息作为补充增强信息消息被嵌入所述信号中。
11.一种回放半导体设备，包括：
一个或多个衬底；以及
耦合至所述一个或多个衬底的逻辑，其中所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合至所述一个或多个衬底的所述逻辑用于：
对包含视频帧和所嵌入的上下文信息的信号进行解码；
基于所嵌入的上下文信息，标识所述视频帧中的多个对象区域；以及
逐对象区域地自动选择用于所述视频帧的一个或多个后处理配置。
12.如权利要求11所述的设备，其特征在于，所嵌入的上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
13.如权利要求11所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑用于：
跨所述多个对象区域确定聚合后处理质量水平；以及
跨所述多个对象区域确定聚合计算成本，其中所述一个或多个后处理配置是基于所述聚合后处理质量水平、所述聚合计算成本和成本约束来自动选择的。
14.如权利要求13所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑用于：
生成对可用计算资源的实时查询；以及
基于对所述实时查询的一个或多个响应来确定所述成本约束。
15.如权利要求11所述的设备，其特征在于，为了自动选择所述一个或多个后处理配置，耦合至所述一个或多个衬底的所述逻辑用于在一个或多个神经网络配置与一个或多个视频增强过程之间进行选择。
16.如权利要求11所述的设备，其特征在于，为了自动选择所述一个或多个后处理配置，耦合至所述一个或多个衬底的所述逻辑用于：
自动选择用于所述视频帧中的第一对象区域的第一后处理配置；
自动选择用于所述视频帧中的第二对象区域的第二后处理配置；以及
自动选择用于所述视频帧中的第三对象区域的第三后处理配置，其中所述第一后处理配置、所述第二后处理配置和所述第三后处理配置彼此不同。
17.如权利要求11至16中的任一项所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑用于将所述自动选择的一个或多个后处理配置应用到所述视频帧以获得输出，并且其中所述自动选择的一个或多个后处理配置用于以下各项中的一者或多者：减少所述输出中的视觉噪声、减少所述输出中的可听噪声、从所述输出中移除压缩伪像、增强所述输出中的对比度、增强所述输出中的锐度或缩放所述输出。
18.如权利要求11至16中的任一项所述的设备，其特征在于，耦合至所述一个或多个衬底的所述逻辑包括被定位在所述一个或多个衬底内的晶体管沟道区。
19.至少一种计算机可读存储介质，包括一组可执行回放指令，所述指令在由计算系统执行时使得所述计算系统用于：
对包含视频帧和所嵌入的上下文信息的信号进行解码；
基于所嵌入的上下文信息，标识所述视频帧中的多个对象区域；以及
逐对象区域地自动选择用于所述视频帧的一个或多个后处理配置。
20.如权利要求19所述的至少一种计算机可读存储介质，其特征在于，所嵌入的上下文信息包括多个对象区域标识符以及逐对象区域的对焦信息、深度信息或运动向量信息中的一者或多者。
21.如权利要求19所述的至少一种计算机可读存储介质，其特征在于，所述回放指令在被执行时进一步使所述计算系统用于：
跨所述多个对象区域确定聚合后处理质量水平；以及
跨所述多个对象区域确定聚合计算成本，其中所述一个或多个后处理配置是基于所述聚合后处理质量水平、所述聚合计算成本和成本约束来自动选择的。
22.如权利要求21所述的至少一种计算机可读存储介质，其特征在于，所述回放指令在被执行时进一步使所述计算系统用于：
生成对可用计算资源的实时查询；以及
基于对所述实时查询的一个或多个响应来确定所述成本约束。
23.如权利要求19所述的至少一种计算机可读存储介质，其特征在于，为了自动选择所述一个或多个后处理配置，所述回放指令在被执行时，用于在一个或多个神经网络配置与一个或多个视频增强过程之间进行选择。
24.如权利要求19所述的至少一种计算机可读存储介质，其特征在于，为了自动选择所述一个或多个后处理配置，所述回放指令在被执行时，使所述计算系统用于：
自动选择用于所述视频帧中的第一对象区域的第一后处理配置；
自动选择用于所述视频帧中的第二对象区域的第二后处理配置；以及
自动选择用于所述视频帧中的第三对象区域的第三后处理配置，其中所述第一后处理配置、所述第二后处理配置和所述第三后处理配置彼此不同。
25.如权利要求19至24中的任一项所述的至少一种计算机可读存储介质，其特征在于，所述回放指令在被执行时，进一步使所述计算系统用于将自动选择的一个或多个后处理配置应用到所述视频帧以获得输出，并且其中自动选择的一个或多个后处理配置用于以下各项中的一者或多者：减少所述输出中的视觉噪声、减少所述输出中的可听噪声、从所述输出中移除压缩伪像、增强所述输出中的对比度、增强所述输出中的锐度或缩放所述输出。
CN202080100099.6A 2020-05-22 2020-05-22 用于在后处理操作中使用视频源上下文信息的技术 Pending CN115428465A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/091715 WO2021232392A1 (en) 2020-05-22 2020-05-22 Technology to use video source context information in post-processing operations

Publications (1)

Publication Number Publication Date
CN115428465A true CN115428465A (zh) 2022-12-02

Family

ID=78708990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100099.6A Pending CN115428465A (zh) 2020-05-22 2020-05-22 用于在后处理操作中使用视频源上下文信息的技术

Country Status (4)

Country Link
US (1) US20230171420A1 (zh)
CN (1) CN115428465A (zh)
DE (1) DE112020007226T5 (zh)
WO (1) WO2021232392A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9386319B2 (en) * 2013-09-05 2016-07-05 Microsoft Technology Licensing, Llc Post-process filter for decompressed screen content
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
US10244167B2 (en) * 2016-06-17 2019-03-26 Gopro, Inc. Apparatus and methods for image encoding using spatially weighted encoding quality parameters
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
KR102599947B1 (ko) * 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
CN109257600B (zh) * 2018-11-28 2020-11-17 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
US11113959B2 (en) * 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
EP3767543A1 (en) * 2019-07-17 2021-01-20 Robert Bosch GmbH Device and method for operating a neural network

Also Published As

Publication number Publication date
US20230171420A1 (en) 2023-06-01
DE112020007226T5 (de) 2023-04-13
WO2021232392A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
TWI528787B (zh) 用於管理視訊串流之技術
US9832247B2 (en) Processing video data in a cloud
US10943115B2 (en) Processing image data to perform object detection
US20060034530A1 (en) Method and device for making virtual image region for motion estimation and compensation of panorama image
WO2014052437A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
US11496758B2 (en) Priority-based video encoding and transmission
RU2599959C2 (ru) Схема сжатия dram для снижения потребления энергии при компенсации движения и обновления отображения
CN115190993A (zh) 用于对应用计算的分配的方法和装置
WO2016192079A1 (en) Adaptive batch encoding for slow motion video recording
CN115376035A (zh) 用于流式内容的实时增强
US20190045268A1 (en) Generating 2d video from 360 video
US11798118B2 (en) Asset caching in cloud rendering computing architectures
CN111953990A (zh) 编码方法及装置
CN114616830A (zh) 超高分辨率视频内容的异构实时流送和解码
CN115428465A (zh) 用于在后处理操作中使用视频源上下文信息的技术
US10846142B2 (en) Graphics processor workload acceleration using a command template for batch usage scenarios
US11595650B2 (en) Optimization of multi-sink Wi-Fi display with intelligent multi-session encoding
TW202111663A (zh) 用於高效的運動估計的方法和裝置
US20230093933A1 (en) Low latency augmented reality architecture for camera enabled devices
EP2926559A1 (en) Video pipeline with direct linkage between decoding and post processing
US20240107086A1 (en) Multi-layer Foveated Streaming
WO2017052392A1 (en) Facilitating efficient detection of patterns in graphics display streams prior to their display at computing devices
JP2023084096A (ja) 高効率ニューラルネットワークビデオ画像処理の方法及びシステム
CN115918073A (zh) 用于可靠传输的视频压缩技术
CN116998145A (zh) 用于基于显著性的帧颜色增强的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination