CN105393526B - 具有自适应增强机制的电子系统及其操作方法 - Google Patents

具有自适应增强机制的电子系统及其操作方法 Download PDF

Info

Publication number
CN105393526B
CN105393526B CN201480028494.2A CN201480028494A CN105393526B CN 105393526 B CN105393526 B CN 105393526B CN 201480028494 A CN201480028494 A CN 201480028494A CN 105393526 B CN105393526 B CN 105393526B
Authority
CN
China
Prior art keywords
module
stream
equipment
compression
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480028494.2A
Other languages
English (en)
Other versions
CN105393526A (zh
Inventor
陶理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105393526A publication Critical patent/CN105393526A/zh
Application granted granted Critical
Publication of CN105393526B publication Critical patent/CN105393526B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种电子系统,包括:通信单元,被配置为获得传送流;存储单元,耦合至所述通信单元,被配置为提供来自所述传送流的流;以及控制单元,耦合至所述存储单元,被配置为通过压缩自适应模块恢复细节到所述流,以用于高分辨率输出。

Description

具有自适应增强机制的电子系统及其操作方法
技术领域
本发明的实施例一般涉及电子系统,更具体地,涉及用于增强的系统。
背景技术
现代的消费者和工业电子,尤其是诸如图形显示系统、电视机、投影仪、蜂窝电话便携式数字助理、和组合设备的设备,正提供逐渐提高的功能等级以支持包括三维显示服务的现代生活。现有技术的研究和开发能够选取无数的不同方向。
超高清晰度电视机(UDTV或者UHDTV)当前可在市场上购买到,而超高清晰度(UD或者UHD)视频却不容易获得以供观看者观看。尤其对于网络视频,典型的质量仍然是标准清晰度(SD)、全高清晰度(FHD)、或者甚至更低分辨率。当UDTV用户尝试观看网络视频时,当SD帧或者FHD帧被显示在UDTV上时其图像质量急剧下降。降级的显示的两个因素是:压缩、和低于显示器分辨率的样本分辨率。压缩清除了细节,并且常规的图像放大(imageupscaling)或者内插(interpolation)不能提供充足的图像锐度和精致的细节。典型地,由于至少源于所述两个因素的精致图像细节的损失,所得到的显示看起来是模糊的。
同时,在大多数TV频道和DVD电影是以标准清晰度(SD)编码的情况下,HD视频内容极其缺乏。在HD显示器或者超高清晰度显示器上显示SD视频可能导致劣质的图像。图像,尤其是具有压缩图像数据或者更低频率图像数据的图像,常常遭受重大的图像质量退化。一些劣质图像遭受块边界处的人工成分以及累积的噪声的传播。
发明内容
技术问题
因此,仍然需要具有自适应增强机制的电子系统以显示三维图像。鉴于商业竞争压力不断增长、伴随着消费者期望逐渐增长并且市场中的有意义的产品分化的机会逐渐减少,找到这些问题的答案越来越重要。此外,降低成本、提高效率和性能、以及应对竞争压力的需求使得找到这些问题的答案的关键必要性更加地紧急。
长期以来已经在寻求这些问题的解决方案,但是在先的发展还没有教导或者建议任何的解决方案,因此,这些问题的解决方案已经难倒本领域技术人员很长时间。
技术方案
本发明的实施例提供了一种电子系统,包括:通信单元,被配置为获得传送流;存储单元,耦合至所述通信单元,被配置为提供来自所述传送流的流;以及控制单元,耦合至所述存储单元,被配置为通过压缩自适应模块恢复细节到所述流,以用于高分辨率输出。
本发明的实施例提供了一种电子系统的操作方法,包括:获得传送流;提供来自所述传送流的流;以及利用控制单元通过压缩自适应模块恢复细节到所述流,以用于高分辨率输出。
本发明的实施例提供了一种非瞬时性计算机可读介质,包括存储在其上的将被控制单元运行的指令,所述指令包括:获得传送流;提供来自所述传送流的流;以及通过压缩自适应模块恢复细节到所述流以用于高分辨率输出。
本发明的某些实施例具有除了上述步骤或元素之外的其它步骤或元素,或者具有代替上述步骤或元素之外的其它步骤或元素。通过参考附图阅读以下详细描述,所述步骤或元素将对本领域技术人员而言变得清楚。
发明的有益效果
所得到的方法、过程、装置、设备、产品、和/或系统是简单明了的、成本合算的、不复杂的、非常多用途的、准确的、灵敏的、并且高效的,而且可以通过将熟知的组件适配用于已准备好的、高效的、并且经济的制造、应用、和利用来实施。本发明的实施例的另一个重要方面是,其有价值地支持和服务于降低成本、简化系统、和提高性能的历史趋势。
附图说明
图1是本发明实施例中的具有自适应增强机制的电子系统。
图2是电子系统的示范性框图。
图3是电子系统的显示器接口的示例。
图4是电子系统的示范性控制流程。
图5是电子系统的示范性控制流程。
图6是电子系统的处理阶段的示范性示图。
图7是电子系统的示范性控制流程。
图8是电子系统的示范性控制流程。
图9是电子系统的提高阶段中的示范性示图。
图10是电子系统的归一化阶段中的示范性图形。
图11是电子系统的参数阶段中的示范性图形。
图12是电子系统的曲线阶段中的示范性表格。
图13是本发明的实施例中的电子系统的操作方法的流程图。
具体实施方式
本发明的实施例包括连接和下载视频流。视频流被提取并且被递送到视频解码器,所述视频解码器解码所述视频流并将其发送到上采样器并且提取被嵌入所述视频流的与压缩相关的信息。上采样的输入视频与所提取的压缩信息一起被送入压缩自适应细节创建(CADC)。CADC以基于频率提高的自适应方式来恢复丢失的细节,所述频率提高是基于超分辨率技术,其利用压缩信息来控制频率提高。
下面的实施例被足够详细地描述,以使得本领域技术人员能够做出和使用本发明。将理解,基于本公开,其它实施例将是显而易见的,并且可以做出系统、过程、或者机械的改变,而不脱离本发明实施例的范围。
在下面的描述中,给出了大量的具体细节以便提供对本发明的彻底了解。然而,显然可以无需这些具体细节来实践本发明。为了避免模糊本发明的实施例,一些熟知的电路、系统配置、和过程步骤不被具体地公开。
显示系统的实施例的附图是半图表的,并且不是按比例的,并且特别地,一些维度是用于展示的清晰度并且在附图中被夸大地显示。类似地,虽然为了便于描述,附图中的视图通常显示相似的朝向,但是附图中的这个描绘在很大程度上是任意的。通常,本发明能够按任何朝向来操作。所述实施例已经被编号为第一实施例、第二实施例等等。为了方便描述,实施例已经被编号为第一实施例、第二实施例等等,并且不打算具有任何其它意义或者对本发明的实施例提供限制。
本领域技术人员将理解,用来表示图像信息的格式对于本发明的一些实施例并不重要。例如,在一些实施例中,图像信息是以(X,Y)的格式展示;其中X和Y是定义图像中的像素的位置的两个坐标。
在替换性实施例中,三维图像信息是通过(X,Y,Z)的格式来展示,其具有用于像素的色彩的相关信息。在本发明的进一步实施例中,三维图像信息还包括强度或者亮度元素。
这里引用的术语“图像”能够包括二维图像、三维图像、视频帧、计算机文件表示、来自相机的图像、或者它们的组合。例如,所述图像可以是机器可读数字文件、物理拍摄、数字拍摄、运动图片帧、视频帧、X射线图像、扫描图像、或者它们的组合。
在本发明的实施例中,这里所引用的术语“模块”能够根据使用该术语的上下文而包括软件、硬件、或者它们的组合。例如,软件可以是机器代码、固件、嵌入码、和应用软件。又例如,所述硬件可以是电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微型机电系统(MEMS)、无源器件、或者它们的组合。
现在参考图1,其中示出了本发明的实施例中的具有自适应增强机制的电子系统100。电子系统100包括连接到第二设备106(诸如客户端或服务器)的第一设备102(诸如客户端或服务器)。第一设备102可以利用通信路径104(诸如无线或有线网络)与第二设备106通信。
例如,第一设备102可以是各种显示设备的任何一种,诸如蜂窝电话、个人数字助理(PDA)、笔记本计算机、液晶显示器(LCD)系统、发光二极管(LED)系统、或其它多功能显示器或娱乐设备。第一设备102可以直接或间接地耦合到通信路径104以与第二设备106通信,或者可以是独立的设备。
为了说明的目的,在描述电子系统100时将第一设备102作为显示设备,虽然应该理解第一设备102可以是不同类型的设备。例如,第一设备102也可以是用于呈现图像或多媒体呈现的设备。多媒体呈现可以是包括声音、流图像序列或视频馈送、或者其组合的呈现。举例来说,第一设备102可以是高清晰度电视机、超高清晰度电视机、三维电视机、智能电视机、计算机监视器、个人数字助理、蜂窝电话、或者多媒体集。
第二设备106可以是各种集中式或分散式计算设备、图像或视频传输设备中的任何一种。例如,第二设备106可以是多媒体计算机、平板、膝上型计算机、桌上型计算机、视频游戏控制台、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分布式计算设备、媒体回放设备、数字视频盘(DVD)播放器、具备三维能力的DVD播放器、记录设备(诸如相机或摄像机)、电视机、高清晰度电视机、超高清晰度电视机、智能电视机、或者它们的组合。在另一个示例中,第二设备106可以是用于接收广播或直播流信号的信号接收器,诸如电视机接收器、电缆接线盒、卫星天线接收器、或具备web能力的设备。
第二设备106可以集中在单个房间中、分布在不同的房间、分布在不同的地理位置、嵌入在电信网络内。第二设备106能够与通信路径104耦合以与第一设备102通信。
为了说明的目的,在描述电子系统100时将第二设备106作为计算设备,虽然应该理解,第二设备106可以是不同类型的设备。同样地为了说明的目的,在示出电子系统100时将第二设备106和第一设备102作为通信路径104的端点,虽然应该理解,电子系统100可以具有在第一设备102、第二设备106和通信路径104之间的不同划分。例如,第一设备102、第二设备106或者它们的组合也可以充当通信路径104的一部分。
通信路径104能够跨越和代表各种网络。例如,通信路径104可以包括无线通信、有线通信、光、超声波或它们的组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(IrDA)、无线保真(WiFi)、和全球微波接入互联(WiMAX)是可以被包括在通信路径104中的无线通信的示例。以太网、数字用户线(DSL)、光纤到户(FTTH)、和普通老式电话服务(POTS)是可以包括在通信路径104中的有线通信的示例。此外,通信路径104可以穿过许多网络拓扑和距离。例如,通信路径104可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、宽域网(WAN)、或它们的组合。
现在参考图2,其中示出了电子系统100的示范性框图。电子系统100能够包括第一设备102、通信路径104、和所述第二设备106。第一设备102能够通过通信路径104在第一设备传输208中向第二设备106发送信息。第二设备106能够通过通信路径104在第二设备传输210中向第一设备102发送信息。
为了例示性目的,电子系统100被示出为具有作为客户端设备的第一设备102,虽然将理解电子系统100能够具有作为不同类型的设备的第一设备102。例如,第一设备102可以是具有显示器接口的服务器。
同样为了例示性目的,电子系统100被示出为具有作为服务器的第二设备106,虽然将理解第二设备106能够具有作为不同类型的设备的第二设备106。例如,第二设备106可以是客户端设备。
为了在本发明的这个实施例中进行简便的描述,第一设备102将被描述为客户端设备而第二设备106将被描述为服务器设备。本发明的实施例不限于这种对于设备类型的选择。所述选择是本发明的实施例的示例。
第一设备102能够包括第一控制单元212、第一存储单元214、第一通信单元216、和第一用户接口218。第一控制单元212能够包括第一控制接口222。第一控制单元212能够运行第一软件226以提供电子系统100的智能。
第一控制单元212能够以许多不同的方式来实施。例如,第一控制单元212可以是处理器、专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)、或者它们的组合。第一控制接口222能够用于第一控制单元212和第一设备102中的其它功能单元之间的通信。第一控制接口222还能够用于在第一设备102外部的通信。
第一控制接口222能够从其它功能单元或者从外部源接收信息,或者能够向其它功能单元或者向外部目的地发送信息。所述外部源和外部目的地是指在第一设备102外部的源和目的地。
第一控制接口222能够以不同的方式实施,并且能够包括取决于什么功能单元或者外部设备正与第一控制接口222接口的不同实施方式。例如,第一控制接口222能够利用压力传感器、惯性传感器、微型机电系统(MEMS)、光学电路、波导、无线电路、电线电路、或者它们的组合来实施。
第一存储单元214能够存储第一软件226。第一存储单元214还能够存储相关信息,诸如表示传入图像的数据、表示先前呈现的图像的数据、声音文件、或者它们的组合。
第一存储单元214可以是易失性存储器、非易失性存储器、内部存储器、外部存储器、或者它们的组合。例如,第一存储单元214可以是诸如非易失性随机存取存储器(NVRAM)、快闪存储器、磁盘存储器的非易失性存储器,或者诸如静态随机存取存储器(SRAM)的易失性存储器。
第一存储单元214能够包括第一存储接口224。第一存储接口224能够用于第一存储单元214和第一设备102中的其它功能单元之间的通信。第一存储接口224还能够用于在第一设备102外部的通信。
第一存储接口224能够从其它功能单元或者从外部源接收信息,或者能够向其它功能单元或者向外部目的地发送信息。所述外部源和外部目的地是指在第一设备102外部的源和目的地。
第一存储接口224能够包括取决于哪些功能单元或者外部设备正与第一存储单元214接口的不同实施方式。第一存储接口224能够利用类似于第一控制接口222的实施方式的科技和技术来实施。
第一通信单元216能够启用到第一设备102的外部通信和来自第一设备102的外部通信。例如,第一通信单元216能够准许第一设备102与图1的第二设备106、附件(诸如外围设备或者桌上型计算机)、和通信路径104通信。
第一通信单元216还能够充当通信枢纽,该通信枢纽允许第一设备102充当通信路径104的一部分并且不限于到通信路径104的端点或者端子单元。第一通信单元216能够包括用于与通信路径104的交互的有源和无源组件,诸如微电子器件或者天线。
第一通信单元216能够包括第一通信接口228。第一通信接口228能够用于第一通信单元216和第一设备102中的其它功能单元之间的通信。第一通信接口228能够从其它功能单元接收信息或者能够向其它功能单元发送信息。
第一通信接口228能够包括取决于哪些功能单元正与第一通信单元216接口的不同实施方式。第一通信接口228能够利用类似于第一控制接口222的实施方式的科技和技术来实施。
第一用户接口218允许用户(未示出)与第一设备102接口和交互。第一用户接口218能够包括输入设备和输出设备。第一用户接口218的输入设备的示例能够包括用于提供数据输入和通信输入的小键盘、触摸板、软键、键盘、麦克风、用于接收远程信号的红外传感器、或者它们的任何组合。
第一用户接口218能够包括第一显示接口230。第一显示接口230能够包括显示器、投影仪、视频屏幕、扬声器、或者它们的任何组合。
第一控制单元212能够操作第一用户接口218以显示由电子系统100生成的信息。第一控制单元212还能够运行第一软件226以用于电子系统100的其它功能。第一控制单元212还能够运行第一软件226以用于经由第一通信单元216与通信路径104交互。
第二设备106能够被最优化以用于在具有第一设备102的多个设备实施例中实施本发明的实施例。与第一设备102相比,第二设备106能够提供额外的或者更高的性能处理能力。第二设备106能够包括第二控制单元234、第二通信单元236、和第二用户接口238。
第二用户接口238允许用户(未示出)与第二设备106接口和交互。第二用户接口238能够包括输入设备和输出设备。第二用户接口238的输入设备的示例能够包括用于提供数据输入和通信输入的小键盘、触摸板、软键、键盘、麦克风、或者它们的任何组合。第二用户接口238的输出设备的示例能够包括第二显示接口240。第二显示接口240能够包括显示器、投影仪、视频屏幕、扬声器、或者它们的任何组合。
第二控制单元234能够运行第二软件242以提供电子系统100的第二设备106的智能。第二软件242能够结合第一软件226来操作。第二控制单元234能够与第一控制单元212相比提供额外的性能。
第二控制单元234能够操作第二用户接口238以显示信息。第二控制单元234还能够运行第二软件242以用于电子系统100的其它功能,包括操作第二通信单元236以便通过通信路径104与第一设备102通信。
第二控制单元234能够以许多不同的方式来实施。例如,第二控制单元234可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)、或者它们的组合。
第二控制单元234能够包括第二控制接口244。第二控制接口244能够用于第二控制单元234和第二设备106中的其它功能单元之间的通信。第二控制接口244还能够用于在第二设备106外部的通信。
第二控制接口244能够从其它功能单元或者从外部源接收信息,或者能够向其它功能单元或者向外部目的地发送信息。所述外部源和外部目的地是指在第二设备106外部的源和目的地。
第二控制接口244能够以不同的方式实施,并且能够包括取决于什么功能单元或者外部设备正与第二控制接口244接口的不同实施方式。例如,第二控制接口244能够利用压力传感器、惯性传感器、微型机电系统(MEMS)、光学电路、波导、无线电路、电线电路、或者它们的组合来实施。
第二存储单元246能够存储第二软件242。第二存储单元246还能够存储相关信息,诸如表示传入图像的数据、表示先前呈现的图像的数据、声音文件、或者它们的组合。第二存储单元246能够被将尺寸定为提供额外存储容量以补充第一存储单元214。
为了例示性目的,第二存储单元246被示出为单一元件,虽然将理解第二存储单元246可以是存储元件的分布。同样为了例示性目的,电子系统100被显示为具有作为单一层级存储系统的第二存储单元246,虽然将理解电子系统100能够具有不同配置的第二存储单元246。例如,第二存储单元246能够利用形成包括不同等级的高速缓存、主存储器、旋转介质、或者脱机存储器的存储器分层系统的不同存储科技来形成。
第二存储单元246可以是易失性存储器、非易失性存储器、内部存储器、外部存储器、或者它们的组合。例如,第二存储单元246可以是诸如非易失性随机存取存储器(NVRAM)、快闪存储器、磁盘存储器的非易失性存储器,或者诸如静态随机存取存储器(SRAM)的易失性存储器。
第二存储单元246能够包括第二存储接口248。第二存储接口248能够用于第二存储单元246和第二设备106中的其它功能单元之间的通信。第二存储接口248还能够用于在第二设备106外部的通信。
第二存储接口248能够从其它功能单元或者从外部源接收信息,或者能够向其它功能单元或者向外部目的地发送信息。所述外部源和外部目的地是指在第二设备106外部的源和目的地。
第二存储接口248能够包括取决于哪些功能单元或者外部设备正与第二存储单元246接口的不同实施方式。第二存储接口248能够利用类似于第二控制接口244的实施方式的科技和技术来实施。
第二通信单元236能够启用到第二设备106的外部通信和来自第二设备106的外部通信。例如,第二通信单元236能够准许第二设备106通过通信路径104与第一设备102通信。
第二通信单元236还能够充当通信枢纽,该通信枢纽允许第二设备106充当通信路径104的一部分并且不限于到通信路径104的端点或者端子单元。第二通信单元236能够包括用于与通信路径104的交互的有源和无源组件,诸如微电子器件或者天线。
第二通信单元236能够包括第二通信接口250。第二通信接口250能够用于第二通信单元236和第二设备106中的其它功能单元之间的通信。第二通信接口250能够从其它功能单元接收信息或者能够向其它功能单元发送信息。
第二通信接口250能够包括取决于哪些功能单元正与第二通信单元236接口的不同实施方式。第二通信接口250能够利用类似于第二控制接口244的实施方式的科技和技术来实施。
第一通信单元216能够与通信路径104耦合以便在第一设备传输208中向第二设备106发送信息。第二设备106能够在第二通信单元236中从通信路径104的第一设备传输208接收信息。
第二通信单元236能够与通信路径104耦合以便在第二设备传输210中向第一设备102发送信息。第一设备102能够在第一通信单元216中从通信路径104的第二设备传输210接收信息。电子系统100能够被第一控制单元212、第二控制单元334、或者它们的组合运行。为了例示性目的,第二设备106被显示为具有含有第二用户接口238、第二存储单元246、第二控制单元234、和第二通信单元236的分割,虽然将理解第二设备106能够具有不同的分割。例如,第二软件242能够被不同地分割,从而它的功能中的一些或者全部能够处于第二控制单元234和第二通信单元236中。并且,为了清楚,第二设备106能够包括图2中未示出的其它功能单元。
第一设备102中的功能单元能够单独地并且独立于其它功能单元而工作。第一设备102能够单独地并且独立于第二设备106和通信路径104而工作。
第二设备106中的功能单元能够单独地并且独立于其它功能单元而工作。第二设备106能够单独地并且独立于第一设备102和通信路径104而工作。
为了例示性目的,通过第一设备102和第二设备106的操作来描述电子系统100。将理解,第一设备102和第二设备106能够操作电子系统100的模块和功能中的任何一个。
现在参考图3,其中示出了电子系统100的显示界面的示例。第一显示界面302能够被包括在图1的第一设备102、图1的第二设备106、或者它们的组合中。类似地,第二显示界面306能够被包括在图1的第二设备106、图1的第一设备102、或者它们的组合中。第一设备102能够显示第一图像310。类似地,第二设备能够显示第二图像314。例如,第一图像310和第二图像314能够表示以不同分辨率显示的相同内容。
第一显示界面302、第二显示界面306、或者它们的组合能够利用全高清晰度(FHD)输入或者标准清晰度(SD)输入提供超高清晰度(UD)输出。例如,4K UDTV能够包括3840像素乘以(by)2160像素,这是FHDTV的分辨率(1920像素x1080像素)的四倍,并且8K UDTV能够包括7680像素乘以4320像素,这是FHDTV的分辨率的八倍。为了例示性目的,第一设备102具有智能电话的形状,虽然将理解第一设备102可以是任何设备。另外,为了例示性目的,第二设备106具有UDTV的形状,虽然将理解第二设备106可以是任何设备。
第一显示界面302、第二显示界面306、或者它们的组合能够显示图像、文字、符号、或者它们的组合。所述图像、文本、或者符号能够表示包括视频、照片、图形、或者它们的组合的内容。包括图像、文本、或者符号的对象能够可选地为单选按钮,所述单选按钮是可选择的、可点击的、静态的、或者它们的组合。特定于偏好、选择、观察时间、或者其组合的由所述对象表示的内容能够优选地包括到相同其它文档中的其它页面、网站、网页、相同文档中的页面、上下文、应用、或者生态系统的链接。
选择、点击、或者激活所述对象将优选地提供对相关内容的导航或者存取。所述符号还能够与相关内容一致,并且能够基于所述相关内容、选择、激活、或者它们的组合而动态地改变。例如,不同的尺寸、形状、色彩、配置、或者它们的组合能够区分用于播放内容的符号、用于得到更多信息的符号、用于购买服务的符号、或者用于购买产品的符号。
为了例示性目的,第一显示界面302和第二显示界面306被描述为具有能够被选择、点击、或者激活以用于对相关内容的导航或者存取的对象,虽然将理解,可以使用解放双手的激活或者导航,诸如上下文相关语音控制。类似地,内容的用户可以指定将以预定义语言朗读的内容。
现在参考图4,其中示出了电子系统100的示范性控制流程400。控制流程400包括压缩自适应模块402。压缩自适应模块402(诸如压缩自适应细节创建(CADC)模块)能够以基于利用压缩信息控制的频率提高的自适应方式来恢复细节,诸如由于压缩而丢失的图像细节。
用户命令能够利用用户接口模块408而被提供、处理、解释、转化、映射、或者它们的组合,以用于系统操作员模块412。网络接口模块416还能够基于用户命令404对从互联网模块424到系统操作员模块412的传送流420进行提供、获得、存取、处理、解释、转化、映射、或者它们的组合。
系统操作员模块412能够向流解析器模块428(诸如视频流解析器)提供传送流420。流解析器模块428能够提取或者解析传送流420以用于压缩流432(诸如,压缩视频流432)。解码器模块436,诸如H.264解码器MPEG解码器、任何其它解码器、或者它们的组合,能够对压缩流432进行接收、处理、解码、或者它们的组合。解码器模块436将流440,诸如,视频流、音频流、多媒体流、任何其它流、或者它们的组合,提供给上采样器模块444。
解码器模块436还提取被嵌入压缩流432的压缩信息(诸如与压缩相关的信息)以用于压缩自适应模块402。所述压缩信息能够包括比特率信息446、量化参数450(诸如Q阶)、任何其它压缩信息、或者它们的组合。比特率信息446还能够由流解析器模块428与解码器模块436一起提供或者由流解析器模块428替代解码器模块436来提供,以用于压缩自适应模块402。
上采样器模块444能够向压缩自适应模块402提供上采样的输入456。所述上采样的输入456能够包括上采样的视频、上采样的音频、上采样的多媒体、任何其它上采样的数据、或者它们的组合。压缩自适应模块402至少部分地基于所提取的压缩信息对上采样的输入456进行恢复、处理、映射、比较、外插、内插、提供其它改进、或者它们的组合,所提取的压缩信息包括比特率信息446、量化参数450(诸如Q阶)、任何其它压缩信息、或者它们的组合。
比特率信息446、量化参数450、任何其它压缩信息、或者它们的组合可以与流440的视频质量直接相关联。压缩自适应模块402提供用于控制频率提高超分辨率(FLSR)科技的频率提高曲线的自适应过程,从而丢失的细节频率分量作为压缩度的函数被自适应地恢复,以便为诸如Samsung电视机的电视机、第二显示界面306、任何超高清晰度设备、或者它们的组合提供高质量互联网视频。
例如,压缩自适应模块402能够适应于所提取的或者所获得的包括比特率信息446、量化参数450、或者它们的组合的压缩信息,利用基于诸如频率提高超分辨率(FLSR)科技的超分辨率科技的频率提高,来恢复丢失的视频细节。压缩自适应模块402提供能够显示在诸如图2的第二显示接口240、图2的第一显示接口230、或者它们的组合的高分辨率显示器464上的高分辨率输出460,诸如高质量互联网视频。所述细节能够被压缩自适应模块402恢复到流440以用于高分辨率输出460。
压缩自适应模块402能够耦合至用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。压缩自适应模块402能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
用户接口模块408能够耦合至压缩自适应模块402、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。用户接口模块408能够以第一用户接口218、第二用户接口238、第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
系统操作员模块412能够耦合至压缩自适应模块402、用户接口模块408、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。系统操作员模块412能够以第一用户接口218、第二用户接口238、第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
网络接口模块416接口能够耦合至压缩自适应模块402、用户接口模块408、系统操作员模块412、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。网络接口模块416能够以第一通信单元216、第二通信单元236、第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
流解析器模块428能够耦合至压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、解码器模块436、上采样器模块444、和高分辨率显示器464。流解析器模块428能够以第一通信单元216、第二通信单元236、第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
解码器模块436能够耦合至压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、上采样器模块444、和高分辨率显示器464。解码器模块436能够以第一通信单元216、第二通信单元236、第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
上采样器模块444能够耦合至压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、和高分辨率显示器464。上采样器模块444能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
已经发现,具有压缩自适应模块402的电子系统100提供图像处理以独特地改进视频输出和观看质量,所述压缩自适应模块402以频率提高超分辨率(FLSR)来利用压缩流432(诸如网络视频或者互联网视频)的压缩特征。所述以频率提高超分辨率(FLSR)来利用网络视频的压缩信息或者压缩特征的压缩自适应模块402能够显著地改进分辨率和恢复用于压缩流432的高分辨率输出460的细节,以用于高分辨率显示器464上的显示。
现在参考图5,其中示出了电子系统100的示范性控制流程500。控制流程500包括图4的压缩自适应模块402(诸如压缩自适应细节创建(CADC)模块)的压缩自适应频率提高模块502,诸如压缩自适应频率提高超分辨率模块502或者CAFLSR模块502。
压缩自适应频率提高模块502能够利用离散余弦变换(DCT)基于压缩自适应频率提高来提供图像细节创建。诸如块获取模块的获取模块506能够基于图4的上采样的输入456向CAFLSR模块502提供诸如图像块或者BLK的块510。获取模块506能够划分块510(诸如MxN块514)中的图像。
压缩自适应频率提高模块502基于图4的比特率信息446、图4的量化参数450、任何其它压缩信息、或者它们的组合来创建细节块518,诸如BLK_OUT。图4的比特率信息446、图4的量化参数450、任何其它压缩信息、或者它们的组合能够由图4的流解析器模块428、图4的解码器模块436、或者它们的组合提供。
诸如BLK_OUT的细节块518能够被提供给诸如PxQ块构建模块的块构建模块522。块构建模块522能够利用来自细节块518(诸如MxN块514的BLK_OUT)的细节样本530对诸如PxQ块的块图像526进行构建、创建、外插、内插、其它处理、或者它们的组合。诸如PxQ块的块图像526和来自细节块518的细节样本530能够与上采样的输入456进行添加、组合、整合、任何其它操作、或者它们的组合,以用于高分辨率输出460。块图像526典型地小于MxN块514,从而基于诸如M>P&N>Q的尺寸比较534来提供更高的分辨率。
压缩自适应频率提高模块502能够耦合至获取模块506、块构建模块522、压缩自适应模块402、图4的用户接口模块408、图4的系统操作员模块412、图4的网络接口模块416、流解析器模块428、图4的解码器模块436、图4的上采样器模块444、和图4的高分辨率显示器464。压缩自适应频率提高模块502能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
获取模块506能够耦合至压缩自适应频率提高模块502、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。获取模块506能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
块构建模块522能够耦合至压缩自适应频率提高模块502、获取模块506、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。块构建模块522能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
已经发现,具有压缩自适应模块402的获取模块506、压缩自适应频率提高模块502、和块构建模块522的电子系统100基于比特率信息446、量化参数450、细节块518、块图像526、细节样本530、或者它们的组合来创建高分辨率输出460。
现在参考图6,其中示出了电子系统100的处理阶段的示范性示图600。示图600表示图4的上采样的输入456的输入块604与图4的高分辨率输出460的输出块608之间的空间关系。
为了例示性目的,输出块608(诸如所构建的细节块)被示出为具有2x2块配置,虽然将理解输出块可以具有任何配置。输出块608的示范性配置能够包括2x 4、4x 4、或者任何配置。
进一步为了例示性目的,输入块604(诸如所获取的块)被示出为具有6x 6的块配置,虽然将理解输入块604可以具有任何配置。输入块604的示范性配置能够包括8x 8、8x16、或者任何配置。
再为了例示性目的,输出块608被示出为位于输入块604的中心部分612,虽然将理解在任何处理阶段中输出块608和输入块604都可以在任何位置。以下是处理阶段中输出块608和输入块604的位置的示例。
例如,在输出块处理阶段期间,输出块608内部的输出块信息616能够利用输出块608外部的输入块信息620来处理。诸如外部块的输入块604和诸如内部块的输出块608能够基于与输入块信息620相关的输出块信息616来处理。
又例如,在输出块创建阶段期间,输出块608的输出块信息616能够被拼凑以生成完整的高分辨率输出460。诸如图5的块图像526(诸如PxQ块)的输出块608典型地小于诸如图5的MxN块514的输入块604,从而提供更高分辨率。
已经发现,具有位于输入块604的中心部分612的输出块608的电子系统100能够基于与输入块信息620相关的输出块信息616来处理。
现在参考图7,其中示出了电子系统100的示范性控制流程700。控制流程700包括图5的压缩自适应频率提高模块502(压缩自适应频率提高超分辨率模块502或者CAFLSR模块502)的压缩自适应频率提高模块702。
诸如图像块BLK或者输入图像块的块510能够通过二维离散余弦变换模块706或者2D DCT模块706来处理、接收、计算、进行其它操作、或者它们的组合。2D DCT模块706的子块(未示出)对离散余弦变换(DCT)系数矩阵710进行计算、处理、其它操作、或者它们的组合。DCT系数矩阵710能够被提供给幅度模块714。
幅度模块714能够向压缩自适应频率提高模块702提供系数幅度718,诸如MAG_IN=|DCT|。系数幅度718能够包括DCT MAG_IN的幅度,其是由(由MAG_IN=|DCT|表示的)DCT矩阵数据的绝对值组成的MxN矩阵。图4的比特率信息446、图4的量化参数450、任何其它压缩信息、或者它们的组合能够被图4的流解析器模块428、图4的解码器模块436、或者它们的组合提供给压缩自适应频率提高模块702。
压缩自适应频率提高模块702包括频率提高过程的自适应控制。比特率信息446、量化参数450、任何其它压缩信息、或者它们的组合为提高的离散余弦变换(DCT)幅度722(诸如MAG_OUT)提供频率提高过程的自适应控制。诸如MAG_IN的系数幅度718和诸如MAG_OUT的提高的DCT幅度722能够被提供给离散余弦变换(DCT)转换模块726。
DCT转换模块726能够对离散余弦变换(DCT)输出730进行输出、计算、处理、或者其它操作。DCT输出730能够用如下的DCT输出公式734来提供:
DCT_OUT=DCT·(MAG_OUT)/(MAG_IN)
DCT转换模块726的DCT输出730能够将原始相位信息与幅度变化组合起来,以用于二维(2D)离散余弦逆变换(IDCT)模块738。二维IDCT模块738能够将DCT输出730逆变换为诸如细节块518的空间域信号。诸如细节块518的空间域信号能够具有与块510相同尺寸的配置,诸如图5的MxN块514,其还可以是与来自细节块518的细节样本530相同的尺寸。
压缩自适应频率提高模块702能够耦合至2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、图5的获取模块506、图5的块构建模块522、图4的压缩自适应模块402、图4的用户接口模块408、图4的系统操作员模块412、图4的网络接口模块416、图4的流解析器模块428、图4的解码器模块436、图4的上采样器模块444、和图4的高分辨率显示器464。压缩自适应频率提高模块702能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
2D DCT模块706能够耦合至压缩自适应频率提高模块702、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。2D DCT模块706能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
幅度模块714能够耦合至压缩自适应频率提高模块702、2D DCT模块706、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。幅度模块714能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
DCT转换模块726能够耦合至压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。DCT转换模块726能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
二维IDCT模块738能够耦合至压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。二维IDCT模块738能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
已经发现,具有压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、和二维IDCT模块738的电子系统100提供诸如细节块518的空间域信号,其具有与块510、MxN块514、细节块518的细节样本530、或者它们的组合相同尺寸的配置。
现在参考图8,其中示出了电子系统100的示范性控制流程800。控制流程800包括图7的压缩自适应频率提高(CAFL)模块702。CAFL模块702能够基于适配于图4的比特率信息446和图4的量化参数450的与零频率分量的距离,将频率分量移位到更高频位置。输入频率是通过生成朝向远离零频率点的方向的提高的离散余弦变换(DCT)幅度矩阵来提高的。输入频率提高过程能够通过比特率信息446和量化参数450来控制。
CAFL模块702能够包括提高模块802。提高模块802能够包括诸如MAG_IN(xin,yin)的输入幅度804。输入幅度804能够为提高模块802提供移位的或者提高的频率分量信息。提高模块802能够基于如下的离散余弦变换(DCT)幅度方程式816,将与(xin,yin)808相关联的系数幅度718(诸如MAG_IN)提高到与(xout,yout)812相关联的提高的DCT幅度722(诸如MAG_OUT):
MAG_OUT(xout,yout)=MAG_IN(xin,yin)
CAFL模块702还能够包括与零的距离模块(distance to zero module)820、提高曲线模块824、和提高映射模块828。与零的距离模块820能够向提高曲线模块824和提高模块802提供距离输入832,诸如din。提高曲线模块824能够基于距离输入832、诸如截止频率K的频率844、诸如提高因子A的因子848、或者它们的组合,向提高映射模块828提供距离输出836,诸如dout。
离散余弦变换(DCT)幅度方程式816能够与基于如下的提高方程式840的提高的系数幅度相关联:
x_out=x_in·(d_out/d_in)&y_out=y_in·(d_out/d_in)
CAFL模块702还能够包括截止频率模块852,其用于对频率844进行计算、处理、提供、任何其它操作、或者它们的组合。类似地,CAFL模块702还能够包括提高因子模块856,其用于对因子848进行计算、处理、提供、任何其它操作、或者它们的组合。截止频率模块852和提高因子模块856能够对归一化比特率860和归一化量化参数864进行接收、处理、包括、计算、其它操作、或者它们的组合。
比特率归一化模块868能够基于比特率信息446提供归一化比特率860,以用于截止频率模块852和提高因子模块856。类似地,量化参数归一化模块872能够基于量化参数450提供归一化量化参数864,以用于截止频率模块852和提高因子模块856。
提高模块802能够耦合至与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、图7的2D DCT模块706、图7的幅度模块714、图7的DCT转换模块726、图7的二维IDCT模块738、图5的压缩自适应频率提高模块502、图5的获取模块506、图5的块构建模块522、图4的压缩自适应模块402、图4的用户接口模块408、图4的系统操作员模块412、图4的网络接口模块416、图4的流解析器模块428、图4的解码器模块436、图4的上采样器模块444、和图4的高分辨率显示器464。提高模块802能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
与零的距离模块820能够耦合至提高模块802、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。与零的距离模块820能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
提高曲线模块824能够耦合至提高模块802、与零的距离模块820、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。提高曲线模块824能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
提高映射模块828能够耦合至提高模块802、与零的距离模块820、提高曲线模块824、截止频率模块852、提高因子模块856、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。提高映射模块828能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
截止频率模块852能够耦合至提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、提高因子模块856、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。截止频率模块852能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
提高因子模块856能够耦合至提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、比特率归一化模块868、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。提高因子模块856能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
比特率归一化模块868能够耦合至提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、量化参数归一化模块872、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。比特率归一化模块868能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
量化参数归一化模块872能够耦合至提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、压缩自适应频率提高模块702、2D DCT模块706、幅度模块714、DCT转换模块726、二维IDCT模块738、压缩自适应频率提高模块502、获取模块506、块构建模块522、压缩自适应模块402、用户接口模块408、系统操作员模块412、网络接口模块416、流解析器模块428、解码器模块436、上采样器模块444、和高分辨率显示器464。量化参数归一化模块872能够以第一控制单元212、第二控制单元234、第一存储单元214、第二存储单元246、或者它们的组合来实施。
已经发现,具有提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、和量化参数归一化模块872的电子系统100能够通过生成朝向远离零频率点的方向的提高的离散余弦变换(DCT)幅度矩阵(诸如提高的DCT幅度722)来提高输入频率(诸如块510或者图像块)。
现在参考图9,其中示出了电子系统100的提高阶段中的示范性示图900。示图900表示图7的压缩自适应频率提高模块702的频率提高。
频率提高能够包括从诸如原点的零频率点904计算的距离,所述原点例如二维(2D)坐标系908的(0,0)点,其中,矩阵元素作为2D坐标系908上的点912。又例如,M=N=8,MAG_IN 922的索引能够变成xin=0,1,...,N-1和yin=0,1,...,M-1,MAG_OUT矩阵索引也一样。对于所有的xin=0,1,...,N-1和yin=0,1,...,M-1,与诸如二维坐标系908中的零频率点904的零频率系数的距离能够如下计算:
din的更大值表示更高的频率。与零频率分量的上目标提高频率距离能够如下表示:
dout=curve(din)
其中“curve”是如下的预定传递函数:
其中“T”是预定常数K,其从Kmin变化到Kmax,而A从Amin变化到Amax。可以利用表示输入距离din的x轴/水平轴和表示输出距离dout的y轴/垂直轴来绘制这个曲线。当输入距离din小于值K时,距离将不会改变。因此,直线具有斜率1。然而,当输入距离大于K时,输出距离dout将增大并且大于din。
在以上传递函数中描述的曲线能够主要地通过两个参数K和A来控制。随着K增大,更少数量的频率分量(din)被提高,并且随着A减小,频率分量(din)被提高更小的距离。总体频率提高能够基于图8的频率844(诸如截止频率K)和图8的因子848(诸如提高因子A)的组合值来调整。
例如,二维离散余弦变换(2D DCT)频谱或者系统能够为更低频分量(诸如更接近中心的矩阵元素)提供相比于更高频分量更高的值(诸如离散余弦变换(DCT)的幅度)。更低频分量能够被移位到更高频位置,并且高频信息将被创建。
为了例示性目的,二阶提高曲线已经在这个实施例中被描述,虽然将理解有可能利用诸如分段线性曲线、正弦曲线、余弦曲线、任何其它曲线、或者它们的组合的不同类型的曲线来进行各种扩展。
已经发现,具有压缩自适应频率提高模块702的电子系统100能够包括利用包括分段线性曲线、正弦曲线、余弦曲线、任何其它曲线、或者它们的组合的不同类型的曲线的各种扩展,以便将更低频分量(诸如图5的块510)移位到更高频位置(诸如图5的细节块518)。
现在参考图10,其中示出了电子系统100的归一化阶段中的示范性图形1000。曲线1004是利用表示输入距离1012(诸如din)的x轴或者水平轴1008和表示输出距离1020(诸如dout)的y轴或者纵轴1016来绘制的。
当诸如din的输入距离1012小于值K(诸如图8的频率844或者截止频率K)时,因为直线具有斜率1,所以距离不被改变。当输入距离1012大于K(诸如频率844或者截止频率K)时,诸如dout的输出距离1020将增加得大于诸如din的输入距离1012。
利用频率844或截止频率K以及因子848或提高因子A来控制诸如曲线1004的提高曲线的系统过程包括:图8的归一化比特率860或者BR、以及图8的归一化量化参数864或者QP。为了例示性目的,曲线1004被示出为线性曲线,将理解,任何曲线可以被使用。例如,任何单调增加的曲线可以被使用。
已经发现,电子系统100能够利用频率844和因子848来控制曲线1004,从而当输入距离1012小于频率844时,所述距离不被改变,并且当输入距离1012大于频率844时,输出距离1020将增加得大于输入距离1012。
现在参考图11,其中示出了电子系统100的参数阶段中的示范性图形1100。由于基于图8的归一化比特率860或BR以及图8的归一化量化参数864或QP的压缩,可能出现细节丢失。
尤其在归一化比特率860的值低时,可能由于压缩而出现细节丢失。类似地,尤其在归一化量化参数864的值高时,也可能由于压缩而出现细节丢失。归一化比特率860和归一化量化参数864的边界值能够用以下方程式来表示:
γ=1-(1-QP)·BR
已经发现,电子系统100提供〈(多个)好处〉。请描述所要求保护的元素如何引起这个好处。
现在参考图12,其中示出了电子系统100的曲线阶段中的示范性表格1200。表1200提供了以上针对γ的方程式的表格视图,所述γ指示以归一化比特率860和归一化量化参数864为特征的提高曲线的控制。随着γ增大,可以通过基于以下两个方程式来减小图8的频率844的值(诸如截止频率K)、增大因子848的值(诸如提高因子A)、或者它们的组合来控制提高曲线。
K=Kmin·γ+Kmax·(1-γ)
以及
A=Amax·γ+Amin·(1-γ)
K和A的值两者都能够从当γ=0时的(Kmax,Amin)变化到当γ=1时的(Kmin,Amax)。电子系统100在输入(诸如网络视频)的被轻微压缩的区域中最小化提高、并且在被严重压缩的区域中充分提高目标频率包括:基于图4的比特率信息446、图4的量化参数450(诸如0阶)、任何其它压缩信息、或者它们的组合来自适应地控制(A,K)提高曲线。
目标提高因子能够通过t来自适应地调整,并且相关联的水平的和相关联的垂直的离散余弦变换(DCT)频率分量能够如下计算:
x_out=x_in·(d_out/d_in)&y_out=y_in·(d_out/d_in)
因为,y_in/x_in=y_out/x_in,所以DCT频率分量可以被移位到相同角度。目标水平频率分量和垂直频率分量可以被计算并且频率分量能够从MAG_IN被提高到MAG_OUT,如下:
MAG_OUT(xout,yout)=MAG_IN(xin,yin)
图7的压缩自适应频率提高模块702将每个频率分量移位到频谱或者系统中的更高频位置。来自图7的2D DCT模块706的图7的DCT系数矩阵710能够被绘制为三维笛卡尔坐标系中的曲面,其中原点表示零频率位置,并且频率提高过程能够将非中心峰从原点向外移动和向外扩展中心峰的斜坡。
已经发现,具有压缩自适应频率提高模块702的电子系统100能够将非中心峰从原点向外移动以及向外扩展中心峰的斜坡。
现在参考图13,其中示出了本发明的另一个实施例中的电子系统100的操作的方法1300的流程图。方法1300包括:在块1302,获得传送流;在块1304,提供来自所述传送流的流;以及在块1306,利用控制单元通过压缩自适应模块来恢复细节到所述流以用于高分辨率输出。
在这个申请中描述的模块可以被实施为存储在非瞬时性计算机可读介质上的、将被图2的第一控制单元212、图2的第二控制单元234、或者它们的组合运行的指令。非瞬时性计算机介质能够包括图2的第一存储单元214、图2的第二存储单元246、或者它们的组合。非瞬时性计算机可读介质能够包括非易失性存储器,诸如硬盘驱动器(HDD)、非易失性随机存取存储器(NVRAM)、固态存储设备(SSD)、光盘(CD)、数字视频盘(DVD)、通用串行总线(USB)、快闪存储器设备、蓝光盘TM、任何其它计算机可读介质、或者它们的组合。非瞬时性计算机可读介质能够作为电子系统100的一部分被集成或者作为电子系统100的可移除部分被安装。
在这个申请中描述的模块可以是图2的第一软件226、图2的第二软件242、或者它们的组合的一部分。这些模块还可以被存储在图2的第一存储单元214、图2的第二存储单元246、或者它们的组合中。第一控制单元212、第二控制单元234、或者它们的组合能够运行这些模块以便操作电子系统100。
作为示例,电子系统100已经被描述为具有模块功能或者次序。电子系统100能够不同地分割所述模块或者不同地为模块排序。例如,压缩自适应模块402能够包括作为分开的模块的压缩自适应频率提高模块502、获取模块506、和块构建模块522,虽然这些模块可以组合成一个模块。并且,压缩自适应频率提高模块502能够被分裂为分开的模块,以便在分开的模块中实施压缩自适应频率提高模块702 2D DCT模块706、幅度模块714、DCT转换模块726、和二维IDCT模块738。类似地,压缩自适应频率提高模块702能够被分裂为分开的模块,以便在分开的模块中实施提高模块802、与零的距离模块820、提高曲线模块824、提高映射模块828、截止频率模块852、提高因子模块856、比特率归一化模块868、和量化参数归一化模块872。
在这个申请中描述的模块可以是图2的第一控制单元212中的或者图2的第二控制单元234中的硬件实施方式、硬件电路、或者硬件加速器。所述模块还可以是分别在第一设备102或者第二设备106内但是在第一控制单元212或者第二控制单元234外的硬件实施方式、硬件电路、或者硬件加速器。
在这个申请中描述的模块可以是图2的第一控制单元212中的或者图2的第二控制单元234中的硬件实施方式、或者硬件加速器。所述模块还可以是分别在第一设备102或者第二设备106内但是在第一控制单元212或者第二控制单元234外的硬件实施方式、或者硬件加速器。
所得到的方法、过程、装置、设备、产品、和/或系统是简单明了的、成本合算的、不复杂的、非常多用途的、准确的、灵敏的、并且高效的,而且可以通过将熟知的组件适配用于已准备好的、高效的、并且经济的制造、应用、和利用来实施。本发明的实施例的另一个重要方面是,其有价值地支持和服务于降低成本、简化系统、和提高性能的历史趋势。
因而本发明的实施例的这些和其它有价值的方面将科技的状态推进到至少下一水平。
虽然已经结合具体最佳实施方式描述了本发明,但是将理解,根据上述描述,许多替换、修改、和变化对于本领域技术人员而言将是显而易见的。因此,其意图包含落入所附权利要求的范围内的所有这样的替换、修改、和变化。在本文中阐述或者在附图中示出的所有事物都将被解释为说明性的并且非限制性的意义。

Claims (17)

1.一种电子系统,包括:
通信单元,被配置为获得传送流;
存储单元,耦合至所述通信单元,被配置为提供来自所述传送流的流;以及
控制单元,耦合至所述存储单元,被配置为通过压缩自适应模块恢复细节到所述流,以用于高分辨率输出,
其中所述压缩自适应模块被配置为基于从解码器模块提取的包括比特率信息的与所述流相关联的压缩信息来自适应恢复所述细节,并且
其中所述压缩自适应模块还被配置为基于适配于所述比特率信息的与零频率分量的距离将频率分量移位到更高频位置。
2.如权利要求1所述的系统,其中,所述控制单元被配置为基于量化参数来恢复细节。
3.如权利要求1所述的系统,其中,所述控制单元被配置为提供来自MxN块的PxQ块。
4.如权利要求1所述的系统,其中,所述控制单元被配置为对离散余弦变换输出进行逆变换。
5.如权利要求1所述的系统,其中,所述控制单元被配置为提高幅度。
6.如权利要求1所述的系统,还包括被配置为在高分辨率显示器上显示高分辨率输出的用户接口。
7.一种电子系统的操作方法,包括:
获得传送流;
提供来自所述传送流的流;以及
利用控制单元通过压缩自适应模块恢复细节到所述流,以用于高分辨率输出,
其中所述压缩自适应模块基于从解码器模块提取的包括比特率信息的与所述流相关联的压缩信息来自适应恢复所述细节,并且
其中所述压缩自适应模块基于适配于所述比特率信息的与零频率分量的距离将频率分量移位到更高频位置。
8.如权利要求7所述的方法,其中,恢复细节到所述流以用于高分辨率输出是基于量化参数。
9.如权利要求7所述的方法,还包括提供来自MxN块的PxQ块。
10.如权利要求7所述的方法,还包括对离散余弦变换输出进行逆变换。
11.如权利要求7所述的方法,还包括提高幅度。
12.如权利要求7所述的方法,还包括在高分辨率显示器上显示高分辨率输出。
13.一种非瞬时性计算机可读介质,包括存储在其上的将被控制单元运行的指令,所述指令包括:
获得传送流;
提供来自所述传送流的流;以及
通过压缩自适应模块恢复细节到所述流以用于高分辨率输出,
其中所述压缩自适应模块基于从解码器模块提取的包括比特率信息的与所述流相关联的压缩信息来自适应恢复所述细节,并且
其中所述压缩自适应模块基于适配于所述比特率信息的与零频率分量的距离将频率分量移位到更高频位置。
14.如权利要求13所述的介质,其中,恢复细节到所述流以用于高分辨率输出是基于量化参数。
15.如权利要求13所述的介质,还包括提供来自MxN块的PxQ块。
16.如权利要求13所述的介质,还包括对离散余弦变换输出进行逆变换。
17.如权利要求13所述的介质,还包括提高幅度。
CN201480028494.2A 2013-03-15 2014-03-17 具有自适应增强机制的电子系统及其操作方法 Expired - Fee Related CN105393526B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361794627P 2013-03-15 2013-03-15
US61/794,627 2013-03-15
US201361892391P 2013-10-17 2013-10-17
US61/892,391 2013-10-17
US14/211,644 2014-03-14
US14/211,644 US9668019B2 (en) 2013-03-15 2014-03-14 Electronic system with adaptive enhancement mechanism and method of operation thereof
PCT/KR2014/002249 WO2014142633A1 (en) 2013-03-15 2014-03-17 Electronic system with adaptive enhancement mechanism and method of operation thereof

Publications (2)

Publication Number Publication Date
CN105393526A CN105393526A (zh) 2016-03-09
CN105393526B true CN105393526B (zh) 2018-11-02

Family

ID=51534933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028494.2A Expired - Fee Related CN105393526B (zh) 2013-03-15 2014-03-17 具有自适应增强机制的电子系统及其操作方法

Country Status (5)

Country Link
US (1) US9668019B2 (zh)
EP (1) EP2974263A4 (zh)
KR (1) KR102283991B1 (zh)
CN (1) CN105393526B (zh)
WO (1) WO2014142633A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611804B (zh) * 2019-09-27 2021-05-11 重庆邮电大学 一种三维视频纹理和深度联合无线软传输优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572586A (zh) * 2010-11-30 2012-07-11 三星电子株式会社 图像处理设备及其图像处理方法
CN102792687A (zh) * 2010-02-19 2012-11-21 斯凯普公司 用于视频的数据压缩
CN102860023A (zh) * 2010-02-26 2013-01-02 松下电器产业株式会社 传输流分组报头压缩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343098B1 (en) * 1998-02-26 2002-01-29 Lucent Technologies Inc. Efficient rate control for multi-resolution video encoding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7839927B2 (en) 2005-03-24 2010-11-23 Terayon Communication Systems, Inc. Motion graphics keying in the compressed domain
US8625676B2 (en) 2007-06-29 2014-01-07 Pai Kung Limited Liability Company Video bitstream decoding using least square estimates
US8743963B2 (en) * 2007-08-13 2014-06-03 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
US8223837B2 (en) 2007-09-07 2012-07-17 Microsoft Corporation Learning-based image compression
JP5194762B2 (ja) 2007-12-14 2013-05-08 ヤマハ株式会社 データ圧縮装置およびデータ伸張装置
WO2009087641A2 (en) 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
US8345158B2 (en) 2008-03-21 2013-01-01 Sony Corporation Merging video with time-decimated high-resolution imagery to form high-resolution video frames
CA2772894A1 (en) * 2011-05-17 2012-11-17 Her Majesty The Queen In Right Of Canada, As Represented By The Ministerof Industry, Through The Communications Research Centre Canada Image and video encoding and decoding
GB2499843B (en) * 2012-03-02 2014-12-03 Canon Kk Methods for encoding and decoding an image, and corresponding devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792687A (zh) * 2010-02-19 2012-11-21 斯凯普公司 用于视频的数据压缩
CN102860023A (zh) * 2010-02-26 2013-01-02 松下电器产业株式会社 传输流分组报头压缩
CN102572586A (zh) * 2010-11-30 2012-07-11 三星电子株式会社 图像处理设备及其图像处理方法

Also Published As

Publication number Publication date
EP2974263A1 (en) 2016-01-20
CN105393526A (zh) 2016-03-09
KR102283991B1 (ko) 2021-07-30
US20140282809A1 (en) 2014-09-18
EP2974263A4 (en) 2016-08-10
WO2014142633A1 (en) 2014-09-18
KR20150128677A (ko) 2015-11-18
US9668019B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
US8830300B2 (en) Multiscalar stereo video format conversion
US9734557B2 (en) Method and apparatus for generating 3K-resolution display image for mobile terminal screen
US11509878B2 (en) Methods and apparatus for using track derivations for network based media processing
CN107209693B (zh) 缓冲器优化
CN112425177B (zh) 用于体积视频传输的方法和装置
EP3603071B1 (en) Implicit view-dependent quantization
JP5976696B2 (ja) 処理方法及びビデオコーディングシステム
CN108513119A (zh) 图像的映射、处理方法、装置和机器可读介质
JP6672327B2 (ja) ユーザヘッドセットへの球状ビデオ帯域幅を減少させる方法および装置
KR100513056B1 (ko) 영상 컨텐츠의 적응 변환 장치 및 그 방법
JP2021521678A (ja) 奥行きの符号化及び復号化方法及び装置
CN105393526B (zh) 具有自适应增强机制的电子系统及其操作方法
CN104284127A (zh) 用来重新格式化声频/视频信号的视频处理装置及其使用方法
JP2014176017A (ja) 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
CN113475091B (zh) 显示设备及其图像显示方法
EP3934250A1 (en) Point cloud encoding method, point cloud decoding method, apparatus, and storage medium
US11922561B2 (en) Methods and systems for implementing scene descriptions using derived visual tracks
JP6005292B2 (ja) ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
US9445124B2 (en) Electronic system with frequency mechanism and method of operation thereof
JP6379408B2 (ja) ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
Seeling et al. I. want. pixels.(Entering the age of 4K)
Theytaz et al. Towards an animated JPEG
Zhou et al. Viewport-adaptive 360-degree video coding using non-uniform tile for virtual reality communication
JP6412530B2 (ja) ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
CN116743722A (zh) 点云媒体的数据处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181102