CN111149095B - 用于片上系统中的图像帧的凹式压缩的系统和方法 - Google Patents

用于片上系统中的图像帧的凹式压缩的系统和方法 Download PDF

Info

Publication number
CN111149095B
CN111149095B CN201880063413.0A CN201880063413A CN111149095B CN 111149095 B CN111149095 B CN 111149095B CN 201880063413 A CN201880063413 A CN 201880063413A CN 111149095 B CN111149095 B CN 111149095B
Authority
CN
China
Prior art keywords
sector
compression
sectors
gaze
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063413.0A
Other languages
English (en)
Other versions
CN111149095A (zh
Inventor
M·瓦里亚
S·加代尔拉布
W·J·霍兰
J·昌
D·巴克尔
T·隆戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202310992406.1A priority Critical patent/CN117135356A/zh
Publication of CN111149095A publication Critical patent/CN111149095A/zh
Application granted granted Critical
Publication of CN111149095B publication Critical patent/CN111149095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/50—Control mechanisms for virtual memory, cache or TLB
    • G06F2212/502—Control mechanisms for virtual memory, cache or TLB using adaptive policy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)

Abstract

一种用于智能压缩的示范性方法使用凹式压缩方法。首先，确定图像帧内的注视点的位置。接下来，将所述图像帧分割成两个或两个以上扇区，使得所述两个或两个以上扇区中的一个被指定为注视扇区，并且其余扇区被指定为凹式扇区。扇区可以由所述图像帧内的一或多个图块限定。所述注视扇区包含含有所述注视点的所述特定图块并且根据无损压缩算法进行压缩。所述凹式扇区根据有损压缩算法进行压缩。随着凹式扇区的位置与注视扇区的位置的角距离增加，压缩因子可以增加。

Description

用于片上系统中的图像帧的凹式压缩的系统和方法
背景技术
便携式计算装置(“PCD”)已成为个人和专业人士的必需品。这些装置可以包含蜂窝电话、便携式数字助理(“PDA”)、便携式游戏机、掌上计算机和其它便携式电子装置。PCD通常含有集成电路或片上系统(“SoC”)，其包含被设计成一起工作以向用户提供功能的多个组件。例如，SoC可以含有任意数量的处理引擎，例如调制解调器、由核构成的中央处理单元(“CPU”)、图形处理单元(“GPU”)等，其向/从SoC上的存储器组件数据读取和写入数据和指令。数据和指令经由被称为总线的线集合在装置之间传输。
PCD中总线带宽和存储器组件的有效大小设定对于优化SoC上处理组件的功能能力并确保最低要求的服务质量(“QoS”)水平至关重要。通常，通过压缩数据进一步优化了存储器容量和总线带宽的利用率，使得数据需要较少的总线带宽进行传输并且需要较少的存储器空间进行存储。并非所有数据/图像帧都以相同的效率进行压缩，或者就此而言，并非所有数据/图像帧都为了保持适当的QoS而需要相同的压缩效率，因此PCD设计人员面临权衡决策——使用有损压缩方法进行压缩，这会在解压缩时产生较低质量的输出，作为回报而受益于较小的存储器组件和总线带宽要求，或者可替代地，使用无损压缩方法进行压缩，这会在解压缩时产生高质量的输出，但需要相对较大的存储器组件和总线带宽来保持令人满意的QoS。无论哪种方式，设计人员都必须鉴于压缩的“实际最坏情况”来设定总线和存储器组件的大小，否则，他们会面临着QoS降低的风险，如通过多种关键性能指标测量。
简而言之，本领域中已知的用于数据/图像帧压缩的当前系统和方法规定PCD设计人员为了确保提供可接受的QoS水平而必须使用在大多数使用情况下都过大的存储器组件和总线带宽。然而，值得注意的是，用户在小凹处的视觉敏锐度是最高的，而在包含注视点的焦点区域之外的可感知视觉细节迅速下降。因此，与用户焦点区域之外的区域相关联的图像帧内的数据的高质量压缩可能不会对QoS产生显著的积极影响。因此，在本领域中需要一种智能压缩系统和方法，其利用用户焦注视点的知识来以凹式(foveated)方式压缩图像帧，使得在与用户焦点相关联的帧区域上使用无/低压缩、高质量输出压缩算法，同时在与用户外围视觉相关联的帧区域上依次使用更高压缩、更低质量输出压缩算法。
发明内容
公开了用于便携式计算装置(“PCD”)中的智能数据压缩的方法和系统的各个实施例。一种示范性方法以确定图像帧内的注视点开始。在确定了注视点的情况下，接下来将图像帧分割成两个或两个以上扇区，使得两个或两个以上扇区中的一个被指定为注视扇区，并且其余扇区被指定为凹式扇区。扇区可以由图像帧内的一或多个图块限定。注视扇区包含含有注视点的特定图块并且根据具有低压缩因子的无损压缩算法(例如，无损压缩算法)进行压缩。凹式扇区根据相对于用于压缩注视扇区的算法具有高压缩因子的压缩算法进行压缩。随着凹式扇区的位置与注视扇区的位置的角距离增加，所述解决方案的实施例可以增加用于压缩给定凹式扇区内的图块的算法的压缩因子。以这种方式，可以根据凹式压缩方法来压缩图像帧。压缩帧可以存储在存储器中，直到稍后被检索、解压缩和渲染。
取决于实施例，图像帧可以被分割成正方形网格凹式压缩图案、十字网格凹式压缩图案、蜂窝压缩图案等。此外，取决于实施例，给定扇区中的所有图块可以根据单个压缩算法和压缩因子进行压缩，或者可替代地，压缩因子对于给定扇区内的图块可能会有所不同(分级压缩)。
附图说明
在附图中，除非另外指出，否则各个视图中相似的附图标记指代相似的部分。对于具有字母字符标记的附图标记(例如，“102A”或“102B”)，字母字符标记可以区分存在于同一图中的两个相似的部分或元件。当旨在表示附图标记涵盖在所有附图中具有相同附图标记的所有部分时，可以省略附图标记的字母字符标记。
图1示出了压缩由多个数据子单元或图块构成的图像帧的效果；
图2示出了DRAM存储器组件的压缩数据交易，其具有所需的每交易最小存取长度(“MAL”)；
图3示出了与示范性图像帧相关联的一系列压缩数据交易；
图4是示出了用于使用凹式压缩方法来进行智能压缩的片上系统的一个实施例的功能框图；
图5是示出了被配置成用于实现智能压缩方法的图4的图像CODEC模块的一个实施例的功能框图，所述智能压缩方法利用了凹式压缩方法(包含无损和有损算法)；
图6示出了数学方程的示范性图表输出和示范性查找表，其各自根据给定扇区与注视点的距离来指定压缩比；
图7示出了在图像帧内限定的示范性凹式扇区，每个凹式扇区包含图像帧的一或多个图块；
图8示出了根据利用示范性正方形网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图9示出了根据利用示范性分级正方形网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图10示出了根据利用示范性十字网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图11示出了根据利用示范性分级十字网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图12示出了根据利用示范性蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图13示出了根据利用示范性分级蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图14示出了根据利用示范性分级蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧；
图15是示出了根据解决方案的智能压缩方法的逻辑流程图，所述解决方案利用了凹式压缩方法(包含无损和有损算法)；
图16是功能框图，其示出了用于实施根据所述解决方案的智能压缩方法和系统的无线电话形式的便携式计算装置(“PCD”)的示范性非限制性方面；和
图17是示出了用于执行智能压缩方法的图16的PCD的示范性软件架构的示意图。
具体实施方式
词语“示范性”在本文中用来表示用作实例、例子或说明。本文中被描述为“示范性”的任何方面不必被解释为相对其它方面排他、优选或有优势。
在本说明书中，术语“应用”还可以包含具有可执行内容的文件，例如：目标代码、脚本、字节代码、标记语言文件和补丁。另外，本文所指的“应用”还可以包含本质上不可执行的文件，例如可能需要打开的文档或需要存取的其它数据文件。
在本说明书中，对“DRAM”或“DDR”存储器组件的提及将被理解为预想了更广泛类别的易失性随机存取存储器(“RAM”)中的任何一种，并且不会将本文公开的解决方案的范围限制为具体RAM类型或代。也就是说，将理解，系统和方法的各个实施例提供了一种用于管理已经根据无损和/或有损压缩算法压缩的数据的交易的解决方案，并且不必限于应用于与双倍数据速率存储器相关联的压缩数据交易。而且，可以预想，本文公开的解决方案的某些实施例可以适用于DDR、DDR-2、DDR-3、低功率DDR(“LPDDR”)或任何后代DRAM。
如在本说明书中使用，术语“组件”、“数据库”、“模块”、“块”、“系统”等通常旨在是指与计算机相关的实体，或者是硬件、固件、硬件和软件的组合、软件，或者是正在执行的软件，除非具体限于某一与计算机相关的实体。例如，组件可以是但不限于在处理器上运行的进程、处理器、目标、可执行文件、执行线程、程序和/或计算机。作为说明，在计算装置上运行的应用和计算装置都可以是组件。一或多个组件可以驻留在进程和/或执行线程中，并且组件可以位于一个计算机上和/或分布在两个或两个以上计算机之间。另外，这些组件可以从其上存储有各种数据结构的各种计算机可读媒体执行。组件可以例如根据具有一或多个数据包的信号通过本地和/或远程进程进行通信(例如，将来自在本地系统、分布式系统中和/或跨网络(例如，因特网)与另一组件交互的一个组件的数据通过信号与其它系统通信)。
在本说明书中，术语“中央处理单元(“CPU”)”、“数字信号处理器(“DSP”)”、“图形处理单元(“GPU”)”和“芯片”可互换使用。此外，CPU、DSP、GPU或芯片可以包含一或多个不同的处理组件(其在本文中通常被称为“一或多个核”)。
在本说明书中，术语“引擎”、“处理引擎”、“处理组件”、“生产者”等用于是指生成数据和/或图像帧并且通过总线向存储器组件或从存储器组件传递它们的片上系统(“SoC”)中的任何组件。因此，引擎可以是指但不限于CPU、DSP、GPU、调制解调器、控制器、相机、录像机等。
在本说明书中，术语“总线”是指线集合，数据可以通过所述线集合从处理引擎传输到位于SoC之上或之外的存储器组件或其它装置。将理解，总线由两部分组成——地址总线和数据总线，其中数据总线传递实际数据，而地址总线传递指定数据在存储器组件中的位置的信息(即地址和相关联的元数据)。术语“宽度”或“总线宽度”或“带宽”是指可以通过给定总线在每个周期传输的数据量，即“数据块大小”。例如，一个16字节的总线可以一次传输16字节的数据，而一个32字节的总线每个周期可以传输32字节的数据。此外，“总线速度”是指每秒可以通过给定总线传输数据块的次数。类似地，“总线周期”或“周期”是指通过给定总线的一个数据块的传输。
在本说明书中，术语“便携式计算装置”(“PCD”)用于描述在有限容量的电源(例如，电池)上操作的任何装置。尽管电池供电的PCD已经使用了数十年，但随着第三代(“3G”)和第四代(“4G”)和第五代(“5G”)无线技术的出现，可充电电池的技术进步实现了具有多种功能的多种PCD。因此，PCD可以是蜂窝电话、卫星电话、寻呼机、PDA、智能电话、导航装置、智能书或阅读器、媒体播放器、上述装置的组合、具有无线连接的膝上型计算机等等。
在本说明书中，术语“无损”和“有损”是指压缩算法或方法的不同类别，而并非旨在是指任何具体算法。给定的具体压缩算法是“无损的”还是“有损的”将由本领域的普通技术人员识别。一般而言，并且如本领域普通技术人员将理解，“无损”和“有损”是描述在数据集或图像帧的压缩中所有原始数据是否可以在文件被解压缩时恢复的术语。通过“无损”压缩，原始在未压缩帧中的每单个位的数据在帧被解压缩后都将保留，即所有信息都被完全还原。图形交换文件(“GIF”)是提供无损压缩的示范性图像格式。相比之下，有损压缩算法通过永久性地消除某些信息(尤其是冗余信息)来减少帧或数据集。因此，当用有损算法压缩的文件被解压缩时，仅一部分原始信息仍然在那里(但是用户体验可能不会因此受到影响)。有损压缩算法可能适用于基于视频和声音的使用情况，例如当用户可能无法察觉到某一量的信息损失时。JPEG图像文件是提供有损压缩的示范性图像格式。使用有损压缩算法，设计人员可以决定要引入多少损失(根据与给定有损压缩算法相关联的压缩因子)，并且在文件大小和输出图像质量之间进行权衡。有损压缩算法的压缩因子越高，稍后文件被解压缩时所得的压缩文件的大小相对越小，并且输出图像质量越低。类似地，有损压缩算法的压缩因子越低，稍后文件被解压缩时所得的压缩文件的大小相对越大，并且输出图像质量越高(接近或满足无损压缩的输出质量)。
在本说明书中，术语“图像”、“数据集”、“数据”、“帧”、“图像帧”、“缓冲器”、“文件”等可互换使用。尽管本文在生产者组件以图像帧的形式生成数据集(例如，可以由相机或视频子系统生成)的背景中描述了解决方案的实施例，但是应当理解，本文描述的解决方案不限于应用于图像帧。相反，可以预想，解决方案的实施例可以适用于通常可以受益于数据的压缩的任何使用情况。
在本说明书中，术语“图块”和“单元”可互换地使用，是指形成较大数据块(例如，图像帧)的子集的像素块。取决于解决方案的实施例，“图块”或“单元”可以表现出适合于所述实施例的任何纵横比，并且因此，本领域的普通技术人员将意识到，图像帧中的“图块”或“单元”不必限于具有“正方形”的纵横比——也就是说，取决于实施例，“图块”或“单元”可以是矩形的。
在本说明书中，术语“扇区”和“凹式扇区”可互换地使用，是指包含一或多个图块的图像帧的一部分。在本文描述的解决方案的背景中，“扇区”可以是任何形状或大小，只要它可分割成一或多个完整图块即可。
在本说明书中，术语“注视点”是指图像帧内被确定为在解压缩之后需要相对最高的输出质量的位置。“注视点”可以对应于用户的小凹所感知或者在距小凹一定标准偏差所限定的范围内的图像帧的一部分(参见以下图1)，而不是用户的外围视野内所感知的部分。“注视点”可以对应于图像帧的给定扇区或可能的给定图块。
图1
在本说明书中，术语“扫视(saccades/saccade)”是指用户的眼睛在注视点之间的相对快速的运动。取决于解决方案的特定实施例，可以确定用户是否正在感知经受扫视的图像，即用户是否正在“快速地”从一个注视点到另一注视点来回切换。
在本说明书中，术语“未压缩”是指处于其原始的预压缩状态的帧，而术语“解压缩”是指首先使用压缩算法从其未压缩状态压缩并随后再解压缩的帧。取决于所使用的压缩类别，解压缩帧的数据集可能与帧的原始未压缩状态的数据集相同(无损压缩)，也可能不相同(有损压缩)。
如帧压缩领域的普通技术人员将理解，由任何给定的压缩算法生成的所得压缩比不可避免地逐帧不同。数字捕捉的视频序列的给定帧中的纹理水平、光照条件、ISO设置等可能与同一序列中的不同帧显著不同，并且因此，这些帧的相对压缩水平也显著不同。例如，视频序列中捕捉到几个站着说话的人的帧比捕捉到这几个人沿着街道冲刺远离背景中的爆炸的后续帧更有可能经历高水平的压缩。简而言之，具有奔跑着的对象和爆炸的帧只是具有大量数据，如果所述帧要在稍后解压缩时提供高质量渲染，压缩中的所述数据的损失将无法弥补。
有了足够大的处理组件、存储器组件、总线带宽和电源，PCD设计人员将不必考虑一种压缩算法与另一种压缩算法之间的权衡，他们只需以可能的最高质量水平制作帧并且使用无损压缩算法进行压缩(如果有的话)。这样，他们可以确保用户体验的QoS始终处于其最大可能水平。但是，PCD形状因子有限的现实迫使设计人员在设定PCD中的组件的大小以为所有预测使用情况提供最小可接受QoS时需对各种压缩算法进行权衡。
因此，PCD设计人员通常在评估所有已知使用情况所需的带宽要求和组件大小时使用“实际最坏情况”压缩比。因此，实际最坏情况是对于需要压缩的最困难帧(例如，捕捉到人们沿着街道冲刺远离背景中的爆炸的帧)保持最小可接受QoS所需的压缩比。在实际最坏情况下，设计人员会做出保守大小设定选择，以确保无论给定帧的复杂度如何，存储器和总线带宽将始终足够。值得注意的是，如果设计人员过小设定了带宽，则在有问题的使用情况期间在处理中产生的等待时间可能导致丢帧，帧/秒(“FPS”)速率降低等。相反，对于所有优于实际最坏情况的使用情况，对于提供最小可接受QoS来说，系统可能会显著过大，从而导致系统成本较高和/或系统功耗较高。
有利地，解决方案的实施例为设计人员提供了“正确设定”生产者、存储器组件和总线带宽大小的能力，以在一系列使用情况中优化功耗和QoS水平。值得注意的是，解决方案的实施例利用了帧内的注视点的知识(即用户所聚焦的帧区域)以应用混合模式压缩方法，所述混合模式压缩方法针对帧中包含注视点的扇区使用无损压缩(或可能无压缩)，而针对帧的其余扇区使用有损压缩。这样做，并且如下面将鉴于附图更全面地解释，实施例在给定图像帧的压缩中巧妙地提供了无损和有损压缩算法的使用，从而减少了实际最坏情况所需的处理和总线带宽。
例如，返回到捕捉到几个人沿着街道冲刺远离背景中的爆炸的视频序列内的图像帧的使用情况，解决方案的实施例利用了关于用户在帧中所聚焦的位置的知识(例如，几个人的面孔、背景爆炸、路上的汽车等)，并且并不是在整个帧上应用无损压缩，而是仅对作为用户焦点对象的帧的一部分应用无损压缩。以这种方式，在用户的小凹区域之外(即在用户的扩展外围视野内)感知的并且因此在根据无损算法进行压缩时对QoS几乎没有或没有积极影响的帧内的数据可以根据有损压缩算法进行压缩(并且稍后进行解压缩)。此外，可以预想，一些实施例甚至可以识别用户的盲点的位置，并且使用非常高压缩算法来压缩与盲点相关联的数据(或者可替代地，完全丢弃与盲点相关联的数据，而不是对其进行压缩)。
转到图1，示出了压缩由多个数据子单元或图块构成的图像帧的效果。在本说明书中，可以在由256字节的图块构成的图像帧或图像帧的一部分的背景中描述各个实施例。然而，值得注意的是，将理解，256字节的图块大小以及各个压缩数据交易大小本质上是示范性的，并且不暗示解决方案的实施例限于应用于256字节的图块大小。此外，将理解，在本说明书中对DRAM的任何具体最小存取长度(“MAL”)或存取块大小(“ABS”)的提及是为了方便描述解决方案而使用的，并且不暗示解决方案的实施例限于应用于具有特定MAL要求的DRAM装置。因此，本领域的普通技术人员将认识到，本说明书中涉及的特定数据传递大小、数据块大小、总线宽度、MAL等仅是为了示范性目的而提供的，并非将预想的解决方案的范围限于适用于具有相同数据传递大小、数据块大小、总线宽度、MAL等的应用。
返回图1的图示，未压缩图像帧(又名“缓冲器”)的一部分被描绘为包含三十个未压缩图块或单元，每个未压缩图块或单元的大小为“K”，如无阴影所示。示范性大小K可以是256字节，然而，如上所解释，图块不限于任何某一大小，并且可以根据应用而有所不同。为了便于说明和描述，较大的未压缩图像帧的三十个图块部分被描绘为表示整个图像帧。如本领域普通技术人员将理解，未压缩图像帧的大小可以减小，从而通过对逐个图块应用压缩算法的压缩器块(在图1中被描绘为图像CODEC模块113A)来优化其在总线上的传递，降低总体系统功耗并使其对存储容量的影响最小化。压缩的结果是压缩图像帧加上元数据文件，如相对于帧的所示部分在图1的图示中可以看到。压缩图像帧在经受压缩块113A的压缩算法后包含原始未压缩图像帧中的图块。
在未压缩图像帧中，每个图块的大小可以为K，而在压缩的图像帧中，每个图块的大小可以为K或更小(K表示可能的无压缩、K-1字节、K-2字节、K-3字节、……、K＝1字节)。在图示中，取决于由压缩块113A将其压缩算法应用于给定图块所保持的数据所导致的压缩程度，形成压缩图像帧的各个图块由不同阴影水平表示。值得注意的是，如本领域普通技术人员将理解，压缩块113A创建压缩图像帧元数据的伴随缓冲器。压缩图像帧元数据含有压缩图像帧中的每个压缩图块的大小、类型和属性的记录。由于DRAM存取可能限于以最小存取长度MAL为单位，因此给定压缩图块的大小可以在元数据中表示为表示压缩图块大小所需的ABS数(例如，1MAL、2MAL、……、n MAL)。元数据中的这种大小描述允许将来的缓冲器读取器向存储器仅询问将每个图块解压缩回原始大小K所需的最小需要数据量。
图2示出了DRAM存储器组件的压缩数据交易，其满足每个交易为每交易最小存取长度(“MAL”)的整数倍的要求。如从图2的图示可以理解，压缩图块的长度可以小于存储它的DRAM的最小存取长度要求的整数倍。因此，对压缩数据的请求需要一个交易，所述交易包含某一量的无用数据或满足MAL整数倍要求的“填充”。表示无有用信息的填充被加入到压缩图块数据中，以使交易大小为系统MAL的整数倍(i*MAL)。取决于特定芯片技术(例如，LPDDR2、LPDDR3、LPDDR4等)和存储器总线宽度(x16、x32、x64)，示范性MAL可以是32字节或64字节。作为一个实例，具有63字节大小的压缩图块可以填充1字节的填充数据，以便形成完整的64字节交易大小(2x32B MAL或1x64B MAL)。类似地，如果MAL为32字节，具有65字节大小的压缩图块可以填充31字节的填充数据(3x32B MAL)，或者如果MAL为64字节，可以填充63字节的填充数据，以便形成完整的128字节交易大小(2x64B MAL)。注意，在以上实例中，压缩图块大小的差异仅为2字节；但是，由于65字节的压缩图块超过64字节，因此其交易必须包含显著更多的填充。
图3示出了与示范性图像帧相关联的一系列压缩数据交易。值得注意的是，图3的图示中的交易或单元(以及图1和图2的图示中描绘的那些单元)可以被认为已经根据无损或有损压缩算法进行了压缩。
图像帧被示出为具有“N”列和“M”行图块。根据本领域中已知的方法，第一行图块中的前四个顺序图块以其未压缩长度、压缩长度和交易长度(压缩长度加上填充)示出。为了便于说明，在前四个顺序图块的背景中进行了说明——所描绘的概念与图像帧的第一行图块中前四个顺序图块以外的图块组有关，如本领域普通技术人员将理解。
观察处于其未压缩状态的示范性四个顺序图块，每个图块(#1,0；#2,0；#3,0；#4,0)的长度为256字节(可以预想其它长度)。当被压缩时，示范性四个顺序图块的长度分别为112字节、56字节、33字节和177字节。假设MAL为64字节，则示范性四个顺序图块中的每一个的交易长度分别可以为128字节(112字节压缩数据加上16字节填充)、64字节(56字节压缩数据加上8字节填充)、64字节(33字节压缩数据加上31字节填充)和192字节(177字节压缩数据加上15字节填充)。值得注意的是，为了交易所有四个示范性顺序图块，本领域中已知的方法进行四个交易——每个压缩图块一个交易。
现在转向其余附图，描述了解决方案的实施例。如从下面的附图和相关描述将显而易见，可以将图像帧细分成扇区，每个扇区由一或多个相邻图块的分组来限定。注视点位置可以被确定为在给定扇区内。从那里开始，有利地，可以使用无损压缩算法(或具有相对较低的压缩因子的近无损有损压缩算法)来压缩含有注视点的扇区，而帧中的其余扇区根据越来越有损的压缩算法进行压缩。此外，在一些实施例中，盲点位置可以被确定为在第二给定扇区内，其因此使用非常高压缩的有损压缩算法被压缩，被完全丢弃或者被用填充数据替换，因为与盲点相关联的解压缩数据对QoS没有影响。以这种方式，代替在图像帧中的所有图块上应用单个压缩算法，解决方案的实施例提供了图像帧内的混合压缩方法。
图4是示出了用于使用凹式压缩方法进行智能压缩(“IC”)的片上系统102的一个实施例的功能框图。如从图4的图示可以理解，监视器模块114与注视点传感器159通信。注视传感器159可以被配置成确定由数据/帧引擎201生成的给定图像帧内的用户焦点区域。注视点位置可以由监视器模块114提供给智能压缩(“IC”)模块101。智能压缩模块101与压缩函数数据库109通信，可以生成将图像帧分割成一系列扇区的压缩图。智能压缩模块101与压缩函数数据库109通信，还可以生成基于与注视点传感器159和/或监视器模块114相关联的等待时间因子的知识来调整数据帧中的凹式区域的大小的压缩图。可以预想，取决于等待时间因子，凹式区域可以由单个扇区或多个相邻扇区限定。
智能压缩模块101还可以生成用于压缩一或多个扇区内的图块的指令作为压缩图的一部分。可以从智能压缩模块101将压缩图提供给图像编解码器模块113B，所述智能压缩模块101又根据压缩图来压缩从数据/帧引擎201接收的图像帧。以这种方式，图像编解码器模块113B可以根据最佳压缩算法来压缩每个限定扇区内的图块，诸如例如针对与从注视点传感器159确定的注视点对应的给定扇区内的图块使用无损压缩算法，同时针对不与注视点位置对应的扇区使用有损压缩算法。
图像编解码器模块113B可以经由总线211将根据上文和下文所述的凹式压缩方法压缩的压缩图像帧传输到存储器112(其可以含有DDR存储器组件)以进行存储。随后，可以在经由显示器132向用户渲染之前，根据由智能压缩模块101最初生成的压缩图，将压缩图像帧返回到图像编解码器模块113B以进行解压缩。在解压缩的过程中，图像编解码器模块113B可以与智能压缩模块101通信，或者直接与压缩函数数据库109通信，以标识用于图像帧的压缩的压缩图。
有利地，通过使用凹式压缩方法，解决方案的实施例可以最佳地压缩图像帧，使得使用低压缩、无损压缩算法来仅压缩图像帧中对QoS影响最大的那些扇区，而使用有损压缩算法来积极地压缩对QoS几乎没有或没有影响的那些扇区。而且，在一些实施例中，可以根据可用于解决方案的特定实施例的最积极的有损压缩算法来压缩被确定为含有盲点的扇区(其位置可以由IC模块101基于注视点的已知位置来确定)。如从下面的说明将变得更加明显，可以预想，随着扇区和与注视点相关联的给定扇区的距离的增加，解决方案的实施例可以应用具有越来越高的压缩因子(并且因此，质量越来越低的解压缩输出)的无损压缩算法。图像编解码器模块113B可以被分成用于将帧写入存储器的编码器模块和用于从存储器读取压缩帧的解码器模块。这两个模块可以并置，或者可以是物理上分开的并且位于芯片内的其它块内。
图5是示出了被配置成用于实施智能压缩方法的图4的图像CODEC模块113B的编码器部分的一个实施例的功能框图，所述智能压缩方法利用了凹式压缩方法(包含无损和有损算法)。如相对于图4所示出和描述，生产者引擎201可以将其未压缩帧输入提供给图像CODEC 113B，所述图像CODEC 113B又可以根据由智能压缩模块101生成的压缩图逐个扇区地压缩帧。取决于扇区，图像编解码器模块113B可以利用无损压缩器块或有损压缩块。关于哪个压缩器块可以用于压缩给定扇区内的图块的确定以及压缩器块所应用的算法的压缩因子取决于从智能压缩模块101接收的指令。智能压缩模块101可以鉴于从压缩函数数据库109查询的压缩图或压缩函数来生成指令。
图6示出了数学方程的示范性图表输出601和示范性查找表602，其各自根据给定扇区与注视点的距离来指定压缩比。可以将生成图表输出601的示范性数学方程和示范性查找表602可以存储在压缩函数数据库109中。如从图6的图示可以理解，智能压缩方法可以规定，取决于给定扇区相对于与注视点相关联的扇区的位置/距离，可以对图像帧内的扇区使用具有增加的相对压缩因子的压缩算法。简而言之，给定扇区距与注视点相关联的扇区越远，解决方案的实施例用来压缩给定扇区的压缩算法的压缩因子越高。
图7示出了在图像帧内限定的示范性凹式扇区，每个凹式扇区包含图像帧的一或多个图块。如从图7的图示可以理解，凹式扇区“Lx”可以被限定为涵盖根据“n”列和“m”行布置在扇区内的任意数量的图块。如从图7的图示还可以理解，给定凹式扇区“Lx”可以包含具有任何合适的纵横比的图块，并且因此可以预想，图块本质上可以是正方形的或矩形的。
图8示出了根据利用示范性正方形网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧800。如从对图8的图示的回顾可以理解，正方形网格凹式压缩图案也可以被描述和分类为侧-角相邻凹式压缩图案。将理解，尽管示范性图像帧800被示出为被分割成某一数量的扇区，但是解决方案的实施例不受任何具体数量或形状的扇区的限制。而且，尽管在图8的图示中描绘的扇区是正方形的，但是可以预想，在不脱离解决方案的范围的情况下，扇区(例如，图块)可以由任意纵横比来限定。
由智能压缩模块101生成或从压缩函数数据库109查询的压缩图可以限定扇区的大小、数量、图案和相对位置。在本图示中，扇区的图案是正方形网格凹式压缩图案。此外，压缩图还可以规定应用于每个特定扇区的特定压缩算法(并扩展为压缩因子)以及以何种方式应用。
如在图8的图示中可以看到，由“星”表示的注视点位于给定扇区内(在下文中被称为注视扇区)。注视点位置可能已经由与注视点传感器159一起工作的监视器模块114确定。反过来，被确定为注视扇区的给定扇区是含有注视点的图像帧中的所述扇区。
如上所述，每个扇区“Lx”可以涵盖一或多个整个图块。可以根据无损压缩算法或具有相对较低压缩因子的非常高质量有损压缩算法来压缩注视扇区中的图块(在图8中标记为“L1”)。根据所描绘的示范性正方形网格凹式压缩图案，与注视扇区的侧面或边角并列的每个扇区都被指定为“L2”扇区，并且因此，“L2”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩注视扇区的算法相关联的压缩因子。
类似地，与“L2”扇区的侧面或边角并列的每个扇区被指定为“L3”扇区，并且因此，“L3”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L2扇区的算法相关联的压缩因子。此外，与“L3”扇区的侧面或边角并列的每个扇区被指定为“L4”扇区，并且因此，“L4”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L3扇区的算法相关联的压缩因子。所述图案相应地继续，并且如从图8的图示可以理解，使得实现了凹式压缩方法，其优化了压缩资源且对QoS的影响最小。
图9示出了根据利用示范性分级正方形网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧900。示范性图像帧900已经被分割为与以上相对于图8的图示所描述一致。然而，示范性图像帧900的压缩图和与图8的图示相关联的压缩图的不同之处在于其进一步包含用于对扇区内的压缩图案进行分级的指令。
通过对扇区内的压缩图案进行分级，可以预想，利用具有分级指令的压缩图的解决方案的实施例可以根据与注视扇区的距离来生成输出质量的逐渐细粒度下降。为此，可以根据不同的压缩算法和/或与不同的压缩因子相关联的算法来压缩给定扇区内的图块。通常，随着与注视扇区的距离的增加，将对图块进行压缩因子增加的压缩，如在图像帧900的扇区中看到的箭头所指示。尽管图像帧800的给定扇区中的每个图块可以根据具有单个压缩因子的单个压缩算法来进行压缩，但是图像帧900的给定扇区内的不同图块可以进行不同压缩因子的压缩。值得注意的是，尽管当图像帧经受分级正方形网格凹式压缩图案时，图像帧900的给定扇区内的图块可以进行不同压缩因子的压缩，但是可以预想，给定扇区内的所有图块的平均压缩因子可以落在所述给定扇区的整体压缩类别Lx标识的范围内。
例如，返回参考图7的图示，考虑图9的图示中以从左到右的箭头描绘的扇区——列#1中的图块可以全部经受相对于列#n中的图块具有最不积极压缩压缩因子的有损压缩算法，列#n中的图块可以全部经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。
作为鉴于图7的图示的另一实例，考虑图9的图示中以从扇区的左下角呈角度向上到右上角的箭头描绘的扇区——位置“1,m”处的图块可以经受相对于位置“n,0”处的图块具有最不积极压缩压缩因子的有损压缩算法，位置“n,0”处的图块可以经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。此外，以从图块“1,0”到图块“n,m”的对角线上角-角并列的图块可以经受相对于应用于扇区中的其它图块的算法具有平均压缩因子的有损压缩算法。
图10示出了根据利用示范性十字网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧1000。将理解，尽管示范性图像帧1000被示出为被分割成某一数量的扇区，但是解决方案的实施例不受任何具体数量或形状的扇区的限制。而且，尽管在图10的图示中描绘的扇区是正方形的，但是可以预想，在不脱离解决方案的范围的情况下，扇区(例如，图块)可以由任意纵横比来限定。
由智能压缩模块101生成或从压缩函数数据库109查询的压缩图可以限定扇区的大小、数量、图案和相对位置。在本图示中，扇区的图案是十字网格凹式压缩图案。此外，压缩图还可以规定应用于每个特定扇区的特定压缩算法(并扩展为压缩因子)以及以何种方式应用。
如在图10的图示中可以看到，由“星”表示的注视点位于给定扇区内(在下文中被称为注视扇区)。注视点位置可能已经由与注视点传感器159一起工作的监视器模块114确定。反过来，被确定为注视扇区的给定扇区是含有注视点的图像帧中的所述扇区。
如上所述，每个扇区“Lx”可以涵盖一或多个整个图块。可以根据无损压缩算法或具有相对较低压缩因子的非常高质量有损压缩算法来压缩注视扇区中的图块(在图10中标记为“L1”)。根据所描绘的示范性十字网格凹式压缩图案，与注视扇区的侧面(但不是边角)并列的每个扇区都被指定为“L2”扇区，并且因此，“L2”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩注视扇区的算法相关联的压缩因子。
类似地，与“L2”扇区的侧面(但不是边角)并列的每个扇区被指定为“L3”扇区，并且因此，“L3”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L2扇区的算法相关联的压缩因子。此外，与“L3”扇区的侧面(但不是边角)并列的每个扇区被指定为“L4”扇区，并且因此，“L4”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L3扇区的算法相关联的压缩因子。所述图案相应地继续，并且如从图10的图示可以理解，使得实现了凹式压缩方法，其优化了压缩资源且对QoS的影响最小。
图11示出了根据利用示范性分级十字网格凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧1100。示范性图像帧1100已经被分割为与以上相对于图10的图示所描述一致。然而，示范性图像帧1100的压缩图和与图10的图示相关联的压缩图的不同之处在于其进一步包含用于对扇区内的压缩图案进行分级的指令。
通过对扇区内的压缩图案进行分级，可以预想，利用具有分级指令的压缩图的解决方案的实施例可以根据与注视扇区的距离来生成输出质量的逐渐细粒度下降。为此，可以根据不同的压缩算法和/或与不同的压缩因子相关联的算法来压缩给定扇区内的图块。通常，随着与注视扇区的距离的增加，将对图块进行压缩因子增加的压缩，如在图像帧1100的扇区中看到的箭头所指示。尽管图像帧1000的给定扇区中的每个图块可以根据具有单个压缩因子的单个压缩算法来进行压缩，但是图像帧1100的给定扇区内的不同图块可以进行不同压缩因子的压缩。值得注意的是，尽管当图像帧经受分级十字网格凹式压缩图案时，图像帧1100的给定扇区内的图块可以进行不同压缩因子的压缩，但是可以预想，给定扇区内的所有图块的平均压缩因子可以落在所述给定扇区的整体压缩类别Lx标识的范围内。
例如，返回参考图7的图示，考虑图11的图示中以从左到右的箭头描绘的扇区——列#1中的图块可以全部经受相对于列#n中的图块具有最不积极压缩压缩因子的有损压缩算法，列#n中的图块可以全部经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。
作为鉴于图7的图示的另一实例，考虑图11的图示中以从扇区的左下角呈角度向上到右上角的箭头描绘的扇区——位置“1,m”处的图块可以经受相对于位置“n,0”处的图块具有最不积极压缩压缩因子的有损压缩算法，位置“n,0”处的图块可以经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。此外，以从图块“1,0”到图块“n,m”的对角线上角-角并列的图块可以经受相对于应用于扇区中的其它图块的算法具有平均压缩因子的有损压缩算法。
图12示出了根据利用示范性蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧1200。将理解，尽管示范性图像帧1200被示出为被分割成某一数量的扇区，但是解决方案的实施例不受任何具体数量或形状的扇区的限制。而且，尽管在图12的图示中描绘的扇区是正方形的，但是可以预想，在不脱离解决方案的范围的情况下，扇区(例如，图块)可以由任意纵横比来限定。
由智能压缩模块101生成或从压缩函数数据库109查询的压缩图可以限定扇区的大小、数量、图案和相对位置。在本图示中，扇区的图案是蜂窝凹式压缩图案。此外，压缩图还可以规定应用于每个特定扇区的特定压缩算法(并扩展为压缩因子)以及以何种方式应用。
如在图12的图示中可以看到，由“星”表示的注视点位于给定扇区内(在下文中被称为注视扇区)。注视点位置可能已经由与注视点传感器159一起工作的监视器模块114确定。反过来，被确定为注视扇区的给定扇区是含有注视点的图像帧中的所述扇区。
如上所述，每个扇区“Lx”可以涵盖一或多个整个图块。可以根据无损压缩算法或具有相对较低压缩因子的非常高质量有损压缩算法来压缩注视扇区中的图块(在图12中标记为“L1”)。根据所描绘的示范性蜂窝凹式压缩图案，每个水平扇区线相对于其一或多个相邻扇区线偏移，使得扇区的边角都不与相邻扇区的边角相对应。与注视扇区并列的任何扇区都被指定为“L2”扇区，并且因此，“L2”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩注视扇区的算法相关联的压缩因子。
类似地，与“L2”扇区并列的每个扇区被指定为“L3”扇区，并且因此，“L3”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L2扇区的算法相关联的压缩因子。此外，与“L3”扇区并列的每个扇区被指定为“L4”扇区，并且因此，“L4”扇区内的每个图块均根据某一压缩算法进行压缩，所述压缩算法的压缩因子等于或高于与用于压缩L3扇区的算法相关联的压缩因子。所述图案相应地继续，并且如从图12的图示可以理解，使得实现了凹式压缩方法，其优化了压缩资源且对QoS的影响最小。
图13示出了根据利用示范性分级蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧1300。示范性图像帧1300已经被分割为与以上相对于图12的图示所描述一致。然而，示范性图像帧1300的压缩图和与图12的图示相关联的压缩图的不同之处在于其进一步包含用于对扇区内的压缩图案进行分级的指令。
通过对扇区内的压缩图案进行分级，可以预想，利用具有分级指令的压缩图的解决方案的实施例可以根据与注视扇区的距离来生成输出质量的逐渐细粒度下降。为此，可以根据不同的压缩算法和/或与不同的压缩因子相关联的算法来压缩给定扇区内的图块。通常，随着与注视扇区的距离的增加，将对图块进行压缩因子增加的压缩，如在图像帧1300的扇区中看到的箭头所指示。尽管图像帧1200的给定扇区中的每个图块可以根据具有单个压缩因子的单个压缩算法来进行压缩，但是图像帧1300的给定扇区内的不同图块可以进行不同压缩因子的压缩。值得注意的是，尽管当图像帧经受分级蜂窝凹式压缩图案时，图像帧1300的给定扇区内的图块可以进行不同压缩因子的压缩，但是可以预想，给定扇区内的所有图块的平均压缩因子可以落在所述给定扇区的整体压缩类别Lx标识的范围内。
例如，返回参考图7的图示，考虑图13的图示中以从左到右的箭头描绘的扇区——列#1中的图块可以全部经受相对于列#n中的图块具有最不积极压缩压缩因子的有损压缩算法，列#n中的图块可以全部经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。
图14示出了根据利用示范性分级蜂窝凹式压缩图案的解决方案的一个实施例进行分割和压缩的示范性图像帧1400。示范性图像帧1400已经被分割为与以上相对于图12的图示所描述一致。然而，示范性图像帧1400的压缩图和与图12的图示相关联的压缩图的不同之处在于其进一步包含用于对扇区内的压缩图案进行分级的指令。另外，示范性图像帧1400的压缩图和与图13的图示相关联的压缩图的不同之处在于其包含用于对扇区内的压缩图案进行分级的不同指令。提供了图14的图示以示出预想了不同的分级图案，并且因此，解决方案的实施例不限于扇区内的压缩分级的任何特定图案或方法。
通过对扇区内的压缩图案进行分级，可以预想，利用具有分级指令的压缩图的解决方案的实施例可以根据与注视扇区的距离来生成输出质量的逐渐细粒度下降。为此，可以根据不同的压缩算法和/或与不同的压缩因子相关联的算法来压缩给定扇区内的图块。通常，随着与注视扇区的距离的增加，将对图块进行压缩因子增加的压缩，如在图像帧1400的扇区中看到的箭头所指示。尽管图像帧1200的给定扇区中的每个图块可以根据具有单个压缩因子的单个压缩算法来进行压缩，但是图像帧1400的给定扇区内的不同图块可以进行不同压缩因子的压缩。值得注意的是，尽管当图像帧经受分级蜂窝凹式压缩图案时，图像帧1400的给定扇区内的图块可以进行不同压缩因子的压缩，但是可以预想，给定扇区内的所有图块的平均压缩因子可以落在所述给定扇区的整体压缩类别Lx标识的范围内。
例如，返回参考图7的图示，考虑图14的图示中以从左到右的箭头描绘的扇区——列#1中的图块可以全部经受相对于列#n中的图块具有最不积极压缩压缩因子的有损压缩算法，列#n中的图块可以全部经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。
作为鉴于图7的图示的另一实例，考虑图14的图示中以从扇区的左下角呈角度向上到右上角的箭头描绘的扇区——位置“1,m”处的图块可以经受相对于位置“n,0”处的图块具有最不积极压缩压缩因子的有损压缩算法，位置“n,0”处的图块可以经受相对于应用于扇区中其它图块的算法具有最积极压缩压缩因子的有损压缩算法。此外，以从图块“1,0”到图块“n,m”的对角线上角-角并列的图块可以经受相对于应用于扇区中的其它图块的算法具有平均压缩因子的有损压缩算法。
图15是示出了根据解决方案的智能压缩方法1500的逻辑流程图，所述解决方案利用了凹式压缩方法(包含无损和有损算法)。从方框1505开始，监视用户的焦点。如视觉焦点领域的普通技术人员所理解，以最高的敏锐度水平来感知用户在图像上的焦点或注视点。而且，并且如从上面呈现的图表1以及注视点的定义可以理解，敏锐度会根据与用户的小凹的距离(或角度)而降低(即用户的敏锐度在外围视野中会降低)。有利地，通过利用用户在图像上的注视点的知识，可以使用有损压缩算法来压缩与注视点相距一定距离的图像扇区相关联的数据，因为解压缩时相对较低的输出质量不会显著影响QoS。
返回到方法1500，在判定框1510，可以从对注视点的监视确定是否发生扫视，即用户是否正在快速地从一个注视点平移到另一注视点。如果发生扫视，则跟随“是”分支到框1515，并且可以根据预定压缩比来压缩图像。然而，如果监视注视点确定用户聚焦于图像的特定区域，而不是在图像内的两个注视点之间转换，则跟随“否”分支到框1520，并且鉴于注视点而生成凹式压缩图案。值得注意的是，可以预想，如以上相对于图8-14所述，在框1520生成的凹式压缩图案可以在或不在扇区内分化。此外，可以预想，在框1520生成的凹式压缩图案可以是但不限于与相对于图8-14示出和描述的示范性凹式压缩图案中的任何一个一致。
方法1500从框1520继续到框1525。在框1525，基于所生成的凹形压缩图案来压缩图像。如上面更详细地描述，可以对图像帧进行分割，并且确定注视扇区(即含有注视点的扇区)。使用无损压缩算法或在一些情况下使用与相对较低压缩因子相关联的有损压缩算法来压缩注视扇区。以这种方式，稍后的对图像的解压缩将在与用户体验(并扩展为QoS)最为相关的图像扇区处产生最高质量的输出。如上所解释，可以根据与相对越来越高的压缩因子(根据与注视扇区的距离)相关联的有损压缩算法来压缩(并随后解压缩)注视扇区以外的扇区，即与注视扇区相距最远的扇区可能经受具有相对最高压缩因子的有损压缩算法。方法1500返回。
图16是功能框图，其示出了用于实施根据所述解决方案的智能压缩方法和系统的无线电话形式的便携式计算装置(“PCD”)100的示范性非限制性方面。如图所示，PCD100包含片上系统102，所述片上系统102包含耦合在一起的多核中央处理单元(“CPU”)110和模拟信号处理器126。如本领域普通技术人员所理解，CPU 110可以包括第零核222、第一核224和第N核230。此外，如本领域普通技术人员所理解，也可以采用数字信号处理器(“DSP”)来代替CPU 110。
通常，智能压缩(“IC”)模块101可以由硬件和/或固件形成，并且可以负责生成凹式压缩图并且使图像CODEC模块113使用有损和无损压缩算法来以凹式方式压缩图像。如图16中所示，显示控制器128和触摸屏控制器130耦合到数字信号处理器110。片上系统102外部的触摸屏显示器132耦合到显示控制器128和触摸屏控制器130。PCD 100可以进一步包含视频编码器134，例如相交替线(“PAL”)编码器、顺序与存储彩色电视系统(“SECAM”)编码器、国家电视系统委员会(“NTSC”)编码器或任何其它类型的视频编码器134。视频编码器134耦合到多核CPU 110。视频放大器136耦合到视频编码器134和触摸屏显示器132。视频端口138耦合到视频放大器136。如图16中所描绘，通用串行总线(“USB”)控制器140耦合到CPU110。此外，USB端口142耦合到USB控制器140。
存储器112(其可以包含PoP存储器、高速缓存、掩模型ROM/引导ROM、引导OTP存储器、DRAM存储器的DDR类型等)也可以耦合到CPU 110。订户标识模块(“SIM”)卡146也可以耦合到CPU 110。此外，如图16中所示，数字相机148可以耦合到CPU 110。在一个示范性方面，数字相机148是电荷耦合装置(“CCD”)相机或互补金属氧化物半导体(“CMOS”)相机。
如图16中进一步示出，立体声音频CODEC 150可以耦合到模拟信号处理器126。此外，音频放大器152可以耦合到立体声音频CODEC 150。在一个示范性方面，第一立体声扬声器154和第二立体声扬声器156耦合到音频放大器152。图16示出了麦克风放大器158也可以耦合到立体声音频CODEC 150。另外，麦克风160可以耦合到麦克风放大器158。在一个特定方面，调频(“FM”)无线电调谐器162可以耦合到立体声音频CODEC 150。而且，FM天线164耦合到FM无线电调谐器162。此外，立体声头戴式耳机166可以耦合到立体声音频CODEC 150。
图16进一步指示射频(“RF”)收发器168可以耦合到模拟信号处理器126。RF开关170可以耦合到RF收发器168和RF天线172。如图16中所示，键盘174可以耦合到模拟信号处理器126。此外，具有麦克风的单声道耳机176可以耦合到模拟信号处理器126。此外，振动器装置178可以耦合到模拟信号处理器126。图16还示出了电源188(例如，电池)通过电源管理集成电路(“PMIC”)180耦合到片上系统102。在一个特定方面，电源188包含可充电DC电池或源于连接到AC电源的交流(“AC”)到DC变压器的DC电源。
CPU 110还可以耦合到一或多个内部片上热传感器157A以及一或多个外部片外热传感器157B。片上热传感器157A可以包括一或多个与绝对温度成比例的(“PTAT”)温度传感器，其基于垂直PNP结构并且通常专用于互补金属氧化物半导体(“CMOS”)超大规模集成(“VLSI”)电路。片外热传感器157B可以包括一或多个热敏电阻。热传感器157可以产生电压降，所述电压降通过模数转换器(“ADC”)控制器(未示出)转换为数字信号。然而，可以采用其它类型的热传感器157。
触摸屏显示器132、视频端口138、USB端口142、相机148、第一立体声扬声器154、第二立体声扬声器156、麦克风160、FM天线164、立体声头戴式耳机166、RF开关170、RF天线172、键盘174、单声道耳机176、振动器178、热传感器157B、PMIC 180和电源188在片上系统102的外部。然而，应当理解，在图16中的PCD 100的示范性实施例中的被描绘为在片上系统102外部的这些装置中的一或多个可以在其它示范性实施例中驻留在芯片102上。
在一个特定方面，本文描述的一或多个方法步骤可以通过存储在存储器112中的可执行指令和参数或以IC模块101和/或图像CODEC模块113的形式来实施。此外，IC模块101、图像CODEC模块113、存储器112、其中存储的指令或其组合可以用作用于执行本文所述的一或多个方法步骤的装置。
图17是示出了用于执行智能压缩方法的图16的PCD的示范性软件架构的示意图1700。如图17中所示，CPU或数字信号处理器110经由主总线211耦合到存储器112。如上所述，CPU 110是具有N个核心处理器的多核处理器。也就是说，CPU 110包含第一核222、第二核224和第N核230。如本领域普通技术人员所已知，第一核222、第二核224和第N核中的每一个230可用于支持专用应用或程序。可替代地，可以分布一或多个应用或程序以在两个或两个以上可用核之上进行处理。
CPU 110可以从可以包括软件和/或硬件的一或多个IC模块101接收命令。如果被实施为软件，则一或多个模块101包括由CPU 110执行的指令，所述指令向由CPU 110和其它处理器执行的其它应用程序发出命令。
CPU 110的第一核222、第二核224直到第N核230可以集成在单个集成电路管芯上，或者它们可以集成或耦合在多电路封装中的单独管芯上。设计人员可以经由一或多个共享缓存耦合第一核222、第二核224直到第N核230，并且他们可以经由网络拓扑(例如，总线、环形、网格和纵横拓扑)实施消息或指令传递。
总线211可以包含经由一或多个有线或无线连接的多个通信路径，如本领域中已知以及以上在定义中所描述。总线211可以具有用于实现通信的另外的元件(为了简化而被省略)，例如控制器、缓冲器(高速缓存)、驱动器、转发器和接收器。此外，总线211可以包含用于实现前述组件之间的适当通信的地址、控制和/或数据连接。
当PCD 100使用的逻辑在软件中实施时，如图17中所示，应注意，启动逻辑250、管理逻辑260、IC接口逻辑270、应用存储设备280中的应用和文件系统290的部分中的一或多个可以存储在任何计算机可读媒体上，以供任何与计算机有关的系统或方法使用或与其结合使用。
在本文档的背景中，计算机可读媒体是电子、磁性、光学或其它物理装置(device/means)，其可以含有或存储供与计算机有关的系统或方法使用或与其结合使用的计算机程序和数据。各个逻辑元件和数据存储设备可以实施在任何计算机可读媒体中，以供指令执行系统、设备或装置(例如，基于计算机的系统、含有处理器的系统或可以从指令执行系统、设备或装置中获取指令并执行指令的其它系统)使用或与其结合使用。在本文档的背景中，“计算机可读媒体”可以是可以存储、通信、传播或传送供指令执行系统、设备或装置使用或与其结合使用的程序的任何装置。
计算机可读媒体可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备、装置或传播媒体。计算机可读媒体的更具体实例(非详尽列表)将包含以下：具有一根或多个电线的电连接(电子)、便携式计算机磁盘(磁性)、随机存取存储器(RAM)(电子)、只读存储器(ROM)(电子)、可擦可编程只读存储器(EPROM、EEPROM或闪速存储器)(电子)、光纤(光学)和便携式压缩光盘只读存储器(CDROM)(光学)。注意，计算机可读媒体甚至可以是纸或在其上打印程序的其它合适媒体，因为程序可以以电子方式捕捉(例如，经由纸或其它媒体的光学扫描)，然后进行编译、解译或以合适的方式另行处理(必要时)，然后存储在计算机存储器中。
在启动逻辑250、管理逻辑260和可能的IC接口逻辑270中的一或多个在硬件中实施的一个替代实施例中，各个逻辑可以通过以下技术中的任何一种或组合来实施，每种技术都是本领域公知的：具有用于对数据信号实施逻辑功能的逻辑门的一或多个分立逻辑电路、具有适当的组合逻辑门的专用集成电路(ASIC)、一或多个可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
存储器112是非易失性数据存储装置，例如闪速存储器或固态存储器装置。尽管被描绘为单个装置，但是存储器112可以是具有耦合到数字信号处理器110(或另外的处理器核)的单独数据存储设备的分布式存储装置。
启动逻辑250包含一或多个可执行指令，用于选择性地标识、加载和执行智能压缩的选择程序。启动逻辑250可以标识、加载和执行选择智能压缩程序。可以在嵌入式文件系统290的程序存储设备296中找到示范性选择程序。示范性选择程序在由CPU 110中的一或多个核心处理器执行时，可以根据由IC模块101提供的一或多个信号进行操作，以实施智能压缩方法。
管理逻辑260包含一或多个可执行指令，用于终止一或多个相应处理器核上的IC程序，以及选择性地标识、加载和执行更合适的替换程序。管理逻辑260被布置成在运行时或在PCD 100被供电和由装置的操作者使用时执行这些功能。可以在嵌入式文件系统290的程序存储设备296中找到替换程序。
接口逻辑270包含一或多个可执行指令，用于呈现、管理外部输入并与其交互，以观察、配置或以其它方式更新存储在嵌入式文件系统290中的信息。在一个实施例中，接口逻辑270可以与经由USB端口142接收的制造商输入结合进行操作。这些输入可以包含待从程序存储设备296删除或加入到程序存储设备296的一或多个程序。可替代地，输入可以包含对程序存储设备296中的一或多个程序的编辑或更改。此外，输入可以标识对启动逻辑250和管理逻辑260之一或两者的一或多个更改或全部替换。作为实例，输入可以包含对与用于扇区“Lx”和/或优选分割压缩图案的特定类型压缩算法相关联的压缩因子的更改。
接口逻辑270使制造商能够在PCD 100上的限定操作条件下可控地配置和调整最终用户的体验。当存储器112是闪速存储器时，可以编辑、替换或以其它方式修改启动逻辑250、管理逻辑260、接口逻辑270、应用存储设备280中的应用程序或嵌入式文件系统290中的信息中的一或多个。在一些实施例中，接口逻辑270可以允许PCD 100的最终用户或操作者搜索、定位、修改或替换启动逻辑250、管理逻辑260、应用存储设备280中的应用或嵌入式文件系统290中的信息。操作者可以使用所得的接口来进行将在PCD 100的下一次启动时实施的更改。可替代地，操作者可以使用所得的接口来进行在运行时间期间实施的更改。
嵌入式文件系统290包含按层次布置的存储器管理存储设备292。就这一点而言，文件系统290可以包含其总文件系统容量的保留部分，以用于存储用于配置和管理PCD 100使用的各种IC算法的信息。
在本说明书中描述的过程或过程流程中的某些步骤自然地在其它步骤之前，以便本发明如所描述的那样起作用。然而，如果这种顺序或次序不改变本发明的功能，则本发明不限于所描述的步骤的顺序。也就是说，可以认识到，在不脱离本发明的范围和精神的情况下，一些步骤可以在其它步骤之前、之后执行或与其平行(基本上同时)执行。在一些情况下，在不脱离本发明的情况下，可以省略或不执行某些步骤。此外，诸如“其后”、“然后”、“接下来”的词语不旨在限制步骤的顺序。这些词语仅用于为读者指引示范性方法的描述。
另外，例如，基于本说明书中的流程图和相关联的描述，编程领域的普通技术人员能够编写计算机代码或标识适当的硬件和/或电路来毫无困难地实施所公开的发明。因此，特定程序代码指令集或详细的硬件装置的公开并不被视为是充分理解如何实现和使用本发明所必需的。在上面的描述中并结合附图更详细地解释了所要求保护的计算机实施过程的发明功能，所述附图可以示出各个过程流程。
在一或多个示范性方面，可以在硬件、软件、固件或其任何组合中实施所描述的功能。如果在软件中实施，则功能可以作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上传输。计算机可读媒体包含计算机存储媒体和通信媒体，所述通信媒体包含便于将计算机程序从一个地方传递到另一地方的任何媒体。存储媒体可以是计算机可以存取的任何可用媒体。作为实例而非限制，这种计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储装置、或可以用于以指令或数据结构的形式承载或存储所需程序代码并且可以由计算机存取的任何其它媒体。
因此，尽管已经详细示出和描述了所选的方面，但是应当理解，在不脱离如以下权利要求所限定的本发明的精神和范围的情况下，可以在其中进行各种替换和更改。

Claims (28)

1.一种用于便携式计算装置PCD中的智能数据压缩的方法，所述方法包括：
确定图像帧内的注视点，所述注视点对应于由人眼的小凹所感知的图像帧的一部分；
将所述图像帧分割成两个或两个以上扇区，其中所述两个或两个以上扇区包括注视扇区和一或多个凹式扇区，所述注视扇区包含所述注视点，每个凹式扇区不包括所述注视点，并且每个扇区包括多个图块；
压缩所述图像帧，使得根据具有低压缩因子的压缩算法来压缩所述注视扇区，并且根据具有高压缩因子的压缩算法来压缩所述一或多个凹式扇区，其中特定凹式扇区内的每个相应图块经受基于所述注视扇区与所述相应图块之间的距离的不同压缩因子，凹式扇区内的相应图块的每个压缩因子具有对应于所述注视扇区与相应图块之间的距离而分配的量；和
存储所述压缩图像帧。
2.根据权利要求1所述的方法，其中具有低压缩因子的所述压缩算法是无损压缩算法。
3.根据权利要求1所述的方法，其中具有高压缩因子的所述压缩算法是有损压缩算法。
4.根据权利要求1所述的方法，其进一步包括：
确定图像帧内的盲点；
确定盲凹式扇区，其中所述盲凹式扇区是包含所述盲点的所述一或多个凹式扇区中的一个；和
根据具有最高压缩因子的有损压缩算法来压缩所述盲凹式扇区。
5.根据权利要求1所述的方法，其中将所述图像帧分割成两个或两个以上扇区包括以正方形网格凹式压缩图案布置所述扇区。
6.根据权利要求1所述的方法，其中将所述图像帧分割成两个或两个以上扇区包括以十字网格凹式压缩图案布置所述扇区。
7.根据权利要求1所述的方法，其中将所述图像帧分割成两个或两个以上扇区包括以蜂窝凹式压缩图案布置所述扇区。
8.一种用于便携式计算装置PCD中的智能数据压缩的系统，所述系统包括：
智能压缩模块、监视器模块和图像CODEC模块，其共同被配置成：
确定图像帧内的注视点，所述注视点对应于由人眼的小凹所感知的图像帧的一部分；
将所述图像帧分割成两个或两个以上扇区，其中所述两个或两个以上扇区包括注视扇区和一或多个凹式扇区，所述注视扇区包含所述注视点，每个凹式扇区不包括所述注视点，并且每个扇区包括多个图块；
压缩所述图像帧，使得根据具有低压缩因子的压缩算法来压缩所述注视扇区，并且根据具有高压缩因子的压缩算法来压缩所述一或多个凹式扇区，其中特定凹式扇区内的每个相应图块经受基于所述注视扇区与所述相应图块之间的距离的不同压缩因子，凹式扇区内的相应图块的每个压缩因子具有对应于所述注视扇区与相应图块之间的距离而分配的量；和
存储所述压缩图像帧。
9.根据权利要求8所述的系统，其中具有低压缩因子的所述压缩算法是无损压缩算法。
10.根据权利要求8所述的系统，其中具有高压缩因子的所述压缩算法是有损压缩算法。
11.根据权利要求8所述的系统，其中所述智能压缩模块、监视器模块和图像CODEC模块进一步共同被配置成：
确定图像帧内的盲点；
确定盲凹式扇区，其中所述盲凹式扇区是包含所述盲点的所述一或多个凹式扇区中的一个；和
根据具有最高压缩因子的有损压缩算法来压缩所述盲凹式扇区。
12.根据权利要求8所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以正方形网格凹式压缩图案布置所述扇区。
13.根据权利要求8所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以十字网格凹式压缩图案布置所述扇区。
14.根据权利要求8所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以蜂窝凹式压缩图案布置所述扇区。
15.一种用于便携式计算装置PCD中的智能数据压缩的系统，所述系统包括：
用于确定图像帧内的注视点的装置，所述注视点对应于由人眼的小凹所感知的图像帧的一部分；
用于将所述图像帧分割成两个或两个以上扇区的装置，其中所述两个或两个以上扇区包括注视扇区和一或多个凹式扇区，所述注视扇区包含所述注视点，每个凹式扇区不包括所述注视点，并且每个扇区包括多个图块；
用于压缩所述图像帧的装置，使得根据具有低压缩因子的压缩算法来压缩所述注视扇区，并且根据具有高压缩因子的压缩算法来压缩所述一或多个凹式扇区，其中特定凹式扇区内的每个相应图块经受基于所述注视扇区与所述相应图块之间的距离的不同压缩因子，凹式扇区内的相应图块的每个压缩因子具有对应于所述注视扇区与相应图块之间的距离而分配的量；和
用于存储所述压缩图像帧的装置。
16.根据权利要求15所述的系统，其中具有低压缩因子的所述压缩算法是无损压缩算法。
17.根据权利要求15所述的系统，其中具有高压缩因子的所述压缩算法是有损压缩算法。
18.根据权利要求15所述的系统，其进一步包括：
用于确定图像帧内的盲点的装置；
用于确定盲凹式扇区的装置，其中所述盲凹式扇区是包含所述盲点的所述一或多个凹式扇区中的一个；和
用于根据具有最高压缩因子的有损压缩算法来压缩所述盲凹式扇区的装置。
19.根据权利要求15所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以正方形网格凹式压缩图案布置所述扇区。
20.根据权利要求15所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以十字网格凹式压缩图案布置所述扇区。
21.根据权利要求15所述的系统，其中将所述图像帧分割成两个或两个以上扇区包括以蜂窝凹式压缩图案布置所述扇区。
22.一种非暂态计算机可用介质，其包括其中体现有计算机可读程序代码，所述计算机可读程序代码适于被执行以实施用于便携式计算装置中的智能数据压缩的方法，所述方法包括：
确定图像帧内的注视点，所述注视点对应于由人眼的小凹所感知的图像帧的一部分；
将所述图像帧分割成两个或两个以上扇区，其中所述两个或两个以上扇区包括注视扇区和一或多个凹式扇区，所述注视扇区包含所述注视点，每个凹式扇区不包括所述注视点，并且每个扇区包括多个图块；
压缩所述图像帧，使得根据具有低压缩因子的压缩算法来压缩所述注视扇区，并且根据具有高压缩因子的压缩算法来压缩所述一或多个凹式扇区，其中特定凹式扇区内的每个相应图块经受基于所述注视扇区与所述相应图块之间的距离的不同压缩因子，凹式扇区内的相应图块的每个压缩因子具有对应于所述注视扇区与相应图块之间的距离而分配的量；和
存储所述压缩图像帧。
23.根据权利要求22所述的非暂态计算机可用介质，其中具有低压缩因子的所述压缩算法是无损压缩算法。
24.根据权利要求22所述的非暂态计算机可用介质，其中具有高压缩因子的所述压缩算法是有损压缩算法。
25.根据权利要求22所述的非暂态计算机可用介质，其中所述方法进一步包括：
确定图像帧内的盲点；
确定盲凹式扇区，其中所述盲凹式扇区是包含所述盲点的所述一或多个凹式扇区中的一个；和
根据具有最高压缩因子的有损压缩算法来压缩所述盲凹式扇区。
26.根据权利要求22所述的非暂态计算机可用介质，其中将所述图像帧分割成两个或两个以上扇区包括以正方形网格凹式压缩图案布置所述扇区。
27.根据权利要求22所述的非暂态计算机可用介质，其中将所述图像帧分割成两个或两个以上扇区包括以十字网格凹式压缩图案布置所述扇区。
28.根据权利要求22所述的非暂态计算机可用介质，其中将所述图像帧分割成两个或两个以上扇区包括以蜂窝凹式压缩图案布置所述扇区。
CN201880063413.0A 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法 Active CN111149095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310992406.1A CN117135356A (zh) 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/727,517 US10511842B2 (en) 2017-10-06 2017-10-06 System and method for foveated compression of image frames in a system on a chip
US15/727,517 2017-10-06
PCT/US2018/049948 WO2019070365A1 (en) 2017-10-06 2018-09-07 SYSTEM AND METHOD FOR FOVELIC COMPRESSION OF IMAGE FRAMES IN A CHIP SYSTEM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310992406.1A Division CN117135356A (zh) 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法

Publications (2)

Publication Number Publication Date
CN111149095A CN111149095A (zh) 2020-05-12
CN111149095B true CN111149095B (zh) 2023-08-01

Family

ID=63684597

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310992406.1A Pending CN117135356A (zh) 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法
CN201880063413.0A Active CN111149095B (zh) 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310992406.1A Pending CN117135356A (zh) 2017-10-06 2018-09-07 用于片上系统中的图像帧的凹式压缩的系统和方法

Country Status (6)

Country Link
US (2) US10511842B2 (zh)
EP (2) EP4242856A3 (zh)
CN (2) CN117135356A (zh)
SG (1) SG11202001643TA (zh)
TW (1) TWI705695B (zh)
WO (1) WO2019070365A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223179A1 (en) * 2017-06-05 2018-12-13 Immersive Robotics Pty Ltd Digital content stream compression
US10511842B2 (en) 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
US12020368B1 (en) * 2018-11-02 2024-06-25 Meta Platforms Technologies, Llc Pixel replication and interpolation for foveated rendering in a display engine
BR112021012126A2 (pt) * 2018-12-20 2021-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos para decodificar e codificar uma figura, meio de armazenamento legível por computador, e, aparelhos de decodificação e codificação para decodificar e codificar uma figura
TWI699661B (zh) * 2019-07-11 2020-07-21 台達電子工業股份有限公司 場景模型之建構系統及其建構方法
CN112215940B (zh) 2019-07-11 2024-01-19 台达电子工业股份有限公司 场景模型的建构系统及其建构方法
BR112022001434A2 (pt) * 2019-07-28 2022-06-07 Google Llc Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas
WO2021058594A1 (en) * 2019-09-24 2021-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiple stage residual coding in modern hybrid image and video coding solutions
CN113518249B (zh) * 2020-04-10 2023-03-10 华为技术有限公司 一种远端图像处理方法及装置
US11871131B2 (en) * 2021-08-06 2024-01-09 Raytheon Company Foveal compressive upsampling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968418A (zh) * 2005-10-06 2007-05-23 三星电子株式会社 混合图像数据处理系统和方法
CN101562749A (zh) * 2008-04-15 2009-10-21 索尼株式会社 具有集成的有损压缩和无损压缩的视频数据压缩
CN103945223A (zh) * 2013-01-22 2014-07-23 Vixs系统公司 具有帧缓冲压缩的视频处理器及其使用方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6879266B1 (en) * 1997-08-08 2005-04-12 Quickshift, Inc. Memory module including scalable embedded parallel data compression and decompression engines
JP2002542505A (ja) 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
US7481533B2 (en) * 2006-10-30 2009-01-27 Johnson & Johnson Vision Care, Inc Method for designing multifocal contact lenses
JP4807284B2 (ja) * 2007-03-07 2011-11-02 カシオ計算機株式会社 カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP5492139B2 (ja) * 2011-04-27 2014-05-14 富士フイルム株式会社 画像圧縮装置、画像伸長装置、方法、及びプログラム
US20160007026A1 (en) 2013-03-08 2016-01-07 Jie Dong Techniques for image encoding based on region of interest
US9230302B1 (en) 2013-03-13 2016-01-05 Hrl Laboratories, Llc Foveated compressive sensing system
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
EP2958074A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
TWI571768B (zh) * 2015-04-29 2017-02-21 由田新技股份有限公司 使用者介面同步系統、裝置、方法、電腦可讀取記錄媒體、及電腦程式產品
WO2017025483A1 (de) 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zur datenerfassung und auswertung von umgebungsdaten
US10424097B2 (en) * 2017-04-01 2019-09-24 Intel Corporation Predictive viewport renderer and foveated color compressor
US10511842B2 (en) 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968418A (zh) * 2005-10-06 2007-05-23 三星电子株式会社 混合图像数据处理系统和方法
CN101562749A (zh) * 2008-04-15 2009-10-21 索尼株式会社 具有集成的有损压缩和无损压缩的视频数据压缩
CN103945223A (zh) * 2013-01-22 2014-07-23 Vixs系统公司 具有帧缓冲压缩的视频处理器及其使用方法

Also Published As

Publication number Publication date
EP4242856A2 (en) 2023-09-13
TW201926990A (zh) 2019-07-01
EP4242856A3 (en) 2023-11-01
CN111149095A (zh) 2020-05-12
US20200092564A1 (en) 2020-03-19
SG11202001643TA (en) 2020-04-29
US20190110053A1 (en) 2019-04-11
CN117135356A (zh) 2023-11-28
TWI705695B (zh) 2020-09-21
EP3692444C0 (en) 2023-08-02
US10511842B2 (en) 2019-12-17
EP3692444A1 (en) 2020-08-12
US11006127B2 (en) 2021-05-11
EP3692444B1 (en) 2023-08-02
WO2019070365A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
CN111149095B (zh) 用于片上系统中的图像帧的凹式压缩的系统和方法
US11226771B2 (en) Managing operational state data in memory module
CN110583018B (zh) 用于片上系统中的智能数据/帧压缩的系统和方法
CN110521208B (zh) 用于片上系统中的智能数据/帧压缩的系统和方法
CN108604211B (zh) 用于片上系统中的多区块数据事务的系统和方法
US20200250101A1 (en) System and method for intelligent tile-based memory bandwidth management
JP2018505489A (ja) システムオンチップにおける動的メモリ利用
US20180041612A1 (en) System and method for out-of-stream order compression of multi-media tiles in a system on a chip
KR101175355B1 (ko) 스토리지 제어 장치, 이를 포함하는 모바일 장치 및 스토리지 제어 방법
EP3462322B1 (en) Semiconductor device and memory access method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019985

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant