CN114071150B - 图像压缩方法及装置、图像显示方法及装置和介质 - Google Patents

图像压缩方法及装置、图像显示方法及装置和介质 Download PDF

Info

Publication number
CN114071150B
CN114071150B CN202010760340.XA CN202010760340A CN114071150B CN 114071150 B CN114071150 B CN 114071150B CN 202010760340 A CN202010760340 A CN 202010760340A CN 114071150 B CN114071150 B CN 114071150B
Authority
CN
China
Prior art keywords
image
area
display
gazing
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010760340.XA
Other languages
English (en)
Other versions
CN114071150A (zh
Inventor
姬治华
史天阔
张小牤
龚敬文
刘蕊
侯一凡
楚明磊
习艳会
孙炎
赵晨曦
彭项君
张硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010760340.XA priority Critical patent/CN114071150B/zh
Priority to US17/764,359 priority patent/US11917167B2/en
Priority to PCT/CN2021/092369 priority patent/WO2022021991A1/zh
Publication of CN114071150A publication Critical patent/CN114071150A/zh
Application granted granted Critical
Publication of CN114071150B publication Critical patent/CN114071150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种图像压缩方法，包括获取原始图像上的人眼注视点，并根据人眼注视点确定原始图像的注视区域和非注视区域；对非注视区域进行压缩，根据注视区域和压缩后的非注视区域生成压缩图像。本公开还提供了一种图像显示方法、图像压缩装置、图像显示装置和计算机可读介质。

Description

图像压缩方法及装置、图像显示方法及装置和介质
技术领域
本公开涉及图像视频技术领域，特别涉及一种图像压缩方法、图像显示方法、图像压缩装置、图像显示装置和计算机可读介质。
背景技术
随着电子科技水平的不断进步，虚拟现实(VirtualReality，VR)或增强现实(AugmentedReality，AR)技术作为一种高新技术，已经越来越多地被应用在日常生活中。
现有的虚拟现实系统主要是通过带有中央处理器的高性能运算系统模拟一个虚拟的三维世界，并提供给使用者视觉、听觉等的感官体验，从而让使用者犹如身临其境，同时还可以进行人机互动。
发明内容
本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种图像压缩方法、图像显示方法、图像压缩装置、图像显示装置和计算机可读介质。
为实现上述目的，第一方面，本公开实施例提供了一种图像压缩方法，包括：
获取原始图像上的人眼注视点，并根据所述人眼注视点确定所述原始图像的注视区域和非注视区域；
对所述非注视区域进行压缩，根据所述注视区域和压缩后的所述非注视区域生成压缩图像。
在一些实施例中，所述获取原始图像上的人眼注视点的步骤，包括：
获取包括用户眼睛的用户侧图像，根据所述用户侧图像检测人眼状态，以确定所述人眼注视点。
在一些实施例中，所述根据所述人眼注视点确定所述图像的非注视区域的步骤，包括：
确定以所述人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域；
确定所述图像的剩余部分为所述非注视区域。
在一些实施例中，所述原始图像为矩形；
所述确定以所述人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域的步骤，包括：
以所述人眼注视点为对称中心，根据预先设置的长度和宽度确定所述注视区域。
在一些实施例中，所述对所述非注视区域进行压缩的步骤，包括：
将所述非注视区域分割为多个不重叠的图像块，并对各所述图像块进行重排，生成重排区域；
对所述重排区域进行压缩。
在一些实施例中，所述对所述重排区域进行压缩的步骤，包括：
根据预先设置的第一采样倍数对所述重排区域的色度通道在第一方向上进行下采样；
根据预先设置的第二采样倍数对所述重排区域的亮度通道和色度通道在第二方向上进行下采样；
其中，所述图像块为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，所述第一方向为水平方向和垂直方向中的一者，所述第二方向为水平方向和垂直方向中的另一者；所述第一采样倍数大于所述第二采样倍数。
在一些实施例中，所述原始图像、所述注视区域、所述图像块、所述重排区域以及所述压缩图像皆为矩形。
在一些实施例中，在所述根据预先设置的第一采样倍数对所述重排区域的色度通道在第一方向上进行采样的步骤之前，还包括：
若所述重排区域的色彩空间不为YUV空间，将所述重排区域的色彩空间转换为所述YUV空间。
第二方面，本公开实施例提供了一种图像显示方法，包括：
采用如上述实施例中任一所述的图像压缩方法生成压缩图像；
对压缩后的非注视区域进行解压缩，以还原得到复原原始图像；
显示所述复原原始图像。
在一些实施例中，在所述生成压缩图像和所述对所述压缩后的非注视区域进行解压缩的步骤之间，还包括：
自身的应用处理器向显示控制器传输所述压缩图像。
在一些实施例中，所述对所述压缩后的非注视区域进行解压缩的步骤，包括：
通过最邻近差值或双线性差值对所述压缩后的非注视区域进行解压缩。
在一些实施例中，所述压缩后的非注视区域是通过将非注视区域分割为多个不重叠的图像块，对各所述图像块进行重排，生成重排区域，并对所述重排区域进行压缩得到的；
在所述对所述压缩后的非注视区域进行解压缩的步骤之后，还包括：
对压缩后的所述重排区域进行重组，以还原各所述图像块。
在一些实施例中，所述注视区域为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，所述图像块也为矩形；所述方法还包括：
若显示单元对应的显示分辨率大于所述复原原始图像的图像分辨率，调整所述复原原始图像后进行显示；
其中，根据所述显示分辨率渲染所述注视区域，并对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行下采样，在垂直方向上通过单行同开方式进行显示；根据所述显示分辨率渲染与所述注视区域处于同列的各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行下采样，在垂直方向上通过多行同开方式进行显示；对于与所述注视区域处于同行的各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行上采样，在垂直方向上通过单行同开方式进行显示；对于其余各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行上采样，在垂直方向上通过多行同开方式进行显示。
第三方面，本公开实施例提供了一种图像压缩装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的图像压缩方法。
第四方面，本公开实施例提供了一种图像显示装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序；
显示单元；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的图像显示方法，以使所述显示单元显示所述复原原始图像。
在一些实施例中，所述图像显示装置为虚拟现实设备或增强现实设备。
第五方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述实施例中任一所述的图像压缩方法中的步骤，或所述程序被处理器执行时实现如上述实施例中任一所述的图像显示方法中的步骤。
附图说明
图1为本公开实施例提供的一种图像压缩方法的流程图；
图2为本公开实施例中步骤S1的一种具体实施方法流程图；
图3为本公开实施例中步骤S1的另一种具体实施方法流程图；
图4为本公开实施例中步骤S102的一种具体实施方法流程图；
图5a为本公开实施例中步骤S2的一种具体实施方法流程图；
图5b为本公开实施例提供的另一种图像压缩方法的图像处理过程示意图；
图6为本公开实施例中步骤S202的一种具体实施方法流程图；
图7为本公开实施例提供的一种图像显示方法的流程图；
图8为本公开实施例提供的另一种图像显示方法的流程图；
图9为本公开实施例提供的又一种图像显示方法的流程图；
图10为本公开实施例提供的再一种图像显示方法的图像处理过程示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的图像压缩方法、图像显示方法、图像压缩装置、图像显示装置和计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件，但这些元件不应当受限于这些术语。这些术语仅用于区分一个元件和另一元件。因此，在不背离本公开的指教的情况下，下文讨论的第一元件、第一组件或第一模块可称为第二元件、第二组件或第二模块。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
本公开所提供的图像压缩方法、图像显示方法、图像压缩装置、图像显示装置和计算机可读介质，可用于获取人眼注视点并划分图像的注视区域和非注视区域，通过对原始图像的注视区域和非注视区域分别进行单独处理，实现对注视区域的高清晰度渲染，以及对非注视区域的低清晰度渲染和压缩，在不影响观感的同时，减少非必要的数据量，进而解决虚拟显示技术对应的存储数据量较大，传输带宽较大的问题。
图1为本公开实施例提供的一种图像压缩方法的流程图。如图1所示，该方法包括：
步骤S1、获取原始图像上的人眼注视点，并根据人眼注视点确定原始图像的注视区域和非注视区域。
其中，原始图像是对应的图像压缩装置根据用户侧设备的当前状态渲染得到的要显示的图像。例如，是根据虚拟现实或增强现实头戴式设备(如VR眼镜或AR眼镜)的状态确定要显示的内容，再由主机(如PC)的图形处理器(GPU)渲染得到原始图像。其中，该原始图像需要发送给主机或头戴式设备的显示控制器进行实际的显示。
其中，通过实时检测或设置固定点的方式确定人眼注视点，人眼注视点即用户的人眼当前直接注视的原始图像中的位置。而注视区域是指原始图像中距离人眼注视点较近的区域，也就是用户当前主要关注的区域；非注视区域则是指原始图像中距离人眼注视点较远的区域，也就是用户可能会看到但并不关注的区域。
图2为本公开实施例中步骤S1的一种具体实施方法流程图。具体地，如图2所示，在步骤S1中，获取原始图像上的人眼注视点的步骤，包括：步骤S101。
步骤S101、获取包括用户眼睛的用户侧图像，根据用户侧图像检测人眼状态，以确定人眼注视点。
其中，通过内置的图像视频采集设备获取包括用户眼部的用户侧图像，或接收客户端传输来的用户侧图像。
在一些实施例中，用户侧图像为用户的眼部图像或眼球图像；根据用户侧图像检测人眼状态，即根据用户的眼部图像或眼球图像提取用户的瞳孔图像，基于用户的瞳孔位置建立坐标系，并将瞳孔中心的坐标映射至原始图像上，或根据在原始图像中建立的坐标系进行坐标换算，由此，将映射点或换算结果对应的点位置作为人眼注视点。
或者，用户侧图像也可包括眼动信息，根据该眼动信息确定人眼注视点。
步骤S2、对非注视区域进行压缩，根据注视区域和压缩后的非注视区域生成压缩图像。
在步骤S2中，对原始图像的注视区域和非注视区域分别进行单独处理，实现对注视区域的高清晰度渲染，以及对非注视区域的低清晰度渲染和压缩。
在一些实施例中，还包括：存储该压缩图像，以供后续对该压缩图像进行外部发送或内部传输。
本公开实施例提供了一种图像压缩方法，该方法可用于获取人眼注视点并划分图像的注视区域和非注视区域，通过对原始图像的注视区域和非注视区域分别进行单独处理，实现对用户关注的注视区域的高清晰度渲染，以及对用户不太关注的非注视区域的低清晰度渲染和压缩(因为用户不关注，故虽然低清晰较低，但对观感影响不大)，从而在不影响观感的同时，保留必要图像画质，减少非必要的数据量，进而解决虚拟显示技术对应的存储数据量较大，传输带宽较大的问题。
图3为本公开实施例中步骤S1的另一种具体实施方法流程图。具体地，如图3所示，在步骤S1中，根据人眼注视点确定图像的非注视区域的步骤，包括：步骤S102和步骤S103。
步骤S102、确定以人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域。
其中，注视区域可为圆形、矩形或其他图形，从压缩编码的角度进行考虑，优选地，注视区域为矩形。
在一些实施例中，还包括：确定以人眼注视点为对称中心，像素数满足预先设置的数目条件的区域为注视区域。
图4为本公开实施例中步骤S102的一种具体实施方法流程图。具体地，原始图像为矩形，注视区域也为矩形；如图4所示，步骤S102，确定以人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域的步骤，包括：步骤S1021。
步骤S1021、以人眼注视点为对称中心，根据预先设置的长度和宽度确定注视区域。
其中，注视区域的长度和宽度可根据原始图像的亮度、对比度、灰度分布、色彩分布和像素数等参数进行适应性设置，注视区域的长度和宽度小于原始图像的长度和宽度中的任意一者，且注视区域的矩形的边分别与原始图像的相应的边平行(或者说注视区域是原始图像矩形中的“小矩形”)。
步骤S103、确定图像的剩余部分为非注视区域。
本公开实施例提供了一种图像压缩方法，该方法可用于通过检测出的人眼注视点确定注视区域和非注视区域，实现对原始图像的划分。
图5a为本公开实施例中步骤S2的一种具体实施方法流程图。具体地，如图5a所示，步骤S2，对非注视区域进行压缩的步骤，包括：步骤S201和步骤S202。
步骤S201、将非注视区域分割为多个不重叠的图像块，并对各图像块进行重排，生成重排区域。
其中，可根据非注视区域的亮度、对比度、灰度分布、色彩分布和像素数等参数使用任意分割方法对非注视区域进行分割；由分割后的图像块重排生成的重排区域可为规则图像或不规则图形。
在一些实施例中，原始图像、注视区域、图像块、重排区域以及压缩图像皆为矩形。其中，从压缩编码的角度进行考虑，该设置的编码效率较高，编码复杂度较低。
例如，图5b为本公开实施例提供的另一种图像压缩方法的图像处理过程示意图。如图5b所示，B为注视区域，其宽度(图中水平方向的尺寸，以像素个数代表)为1080，是原始图像宽度2160的一半，而非注视区域的图像块划分是沿着B区域的边的而延长线进行划的，从而得到图像块A1、A2、C1、C2、F1、F2、F3和F4；其中，A1和A2的宽度必然与B相同；而由于B的宽度为原始图像的一半，故C1与C2的宽度和、F1与F2的宽度和以及F3与F4的宽度和也都必然等于B的宽度，因此可将这些图像块重排为图中重排后图像的形状，随后对重排后的重排区域进行压缩，根据优化排布进行旋转后得到D区域，实现原始图像、注视区域、图像块、重排区域以及压缩图像皆为矩形。
步骤S202、对重排区域进行压缩。
图6为本公开实施例中步骤S202的一种具体实施方法流程图。具体地，如图6所示，步骤S202，对重排区域进行压缩的步骤，包括：步骤S2021和步骤S2022。
步骤S2021、根据预先设置的第一采样倍数对重排区域的色度通道在第一方向上进行下采样。
步骤S2022、根据预先设置的第二采样倍数对重排区域的亮度通道和色度通道在第二方向上进行下采样。
其中，在步骤S201中分割出的图像块为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，第一方向为水平方向和垂直方向中的一者，第二方向为水平方向和垂直方向中的另一者；第一采样倍数大于第二采样倍数，同样地，各采样倍数可根据非注视区域的亮度、对比度、灰度分布、色彩分布和像素数等参数进行适应性设置。
具体地，下采样即为将重排区域缩小的过程；由于亮度通道，即Y通道，包含较多图像细节信息，而色度通道，即U通道和V通道，包含较少图像细节信息，在YUV空间进行压缩时，对亮度通道和色度通道进行不同间隔和采样倍数的采样，已实现兼顾非注视区域的图像压缩比和峰值信噪比的目的。
在一些实施例中，在步骤S2021，根据预先设置的第一采样倍数对所重排区域的色度通道在第一方向上进行采样的步骤之前，还包括：若重排区域的色彩空间不为YUV空间，将重排区域的色彩空间转换为YUV空间。
需要说明的是，采用步骤S2011和步骤S2022来实现对重排区域的压缩，仅为本公开中的一种可选实现方式，其不会对本公开的技术方案产生限制，在其他不同的方向和色彩空间进行的压缩编码同样适用于本公开的技术方案。
本公开实施例提供了一种图像压缩方法，该方法可用于对不规则的非注视区与进行图像重排，便于后续进行压缩编码，提升编码效率，降低复杂度。
图7为本公开实施例提供的一种图像显示方法的流程图。如图7所示，该方法包括：
步骤S3、采用如上述实施例中的任一图像压缩方法生成压缩图像。
其中，生成的压缩图像包括注视区域和压缩后的非注视区域。在一些实施例中，该注视区域为经过无损压缩的。
步骤S4、对压缩后的非注视区域进行解压缩，以还原得到复原原始图像。
其中，显示控制器可根据与压缩方式对应的解压缩方式，对原始图像进行还原，生成复原原始图像，并将其实际进行显示。生成的复原原始图像包括原先的注视区域和丢失了部分图像细节和色彩信息的非注视区域(即复原原始图像的分辨率与原始图像相同，但非关非注视区域携带的实际信息比原始图像少)。
在一些实施例中，还包括：对复原原始图像中非注视区域对应的位置进行图像增强处理
在一些实施例中，在步骤S3生成压缩图像和步骤S4对压缩后的非注视区域进行解压缩的步骤之间，还包括：自身的应用处理器向显示控制器传输压缩图像。
其中，应用处理器，例如图形处理器，对当前需要显示的画面进行渲染得到原始图像，并采用如上述实施例中的任一图像压缩方法生成压缩图像后，自发地或基于相应指令，将该压缩图像传输至显示控制器，以供该显示控制器进行解压缩并进行实际显示。
一般来说，进行图形渲染的功能单元与进行显示的单元并不是一体的，如在虚拟现实设备中，主机的图形处理器负责进行图形渲染(产生原始图像)，而负责进行显示的是头戴式设备的显示控制器。因此，图像需要被发送(如从主机发送到头戴式设备)。而因为本实施例中在发送前对原始图像进行了压缩，实际发送的是数据量较小的压缩图像，所以内部传输和进入缓存的数据量减少，系统负荷降低。
在一些实施例中，步骤S4，对压缩后的非注视区域进行解压缩的步骤，包括：通过最邻近差值或双线性差值对压缩后的非注视区域进行解压缩。
步骤S5、显示复原原始图像。
本公开实施例提供了一种图像显示方法，该方法可用于获通过对原始图像的注视区域和非注视区域分别进行单独处理，以及对非注视区域的低清晰度渲染，在不影响观感的同时，保留必要图像画质，减少非必要的数据量，进而解决虚拟显示技术对应的存储数据量较大，传输带宽较大的问题。
图8为本公开实施例提供的另一种图像显示方法的流程图。如图8所示，该方法为基于图7所示方法的一种具体化可选实施方案。其中，压缩后的非注视区域是通过将非注视区域分割为多个不重叠的图像块，对各图像块进行重排，生成重排区域，并对重排区域进行压缩得到的；具体地，该方法不仅包括步骤S3～步骤S5，在步骤S4，对压缩后的非注视区域进行解压缩的步骤之后，还包括步骤S401。下面仅对步骤S401进行详细描述。
步骤S401、对压缩后的重排区域进行重组，以还原各图像块。
其中，根据与重排方式对应的重组方式，对各图像块进行还原，以生成复原原始图像。还原出的各图像块丢失了部分图像细节和色彩信息，但块的大小不变。
图9为本公开实施例提供的又一种图像显示方法的流程图。如图9所示，该方法为基于图8所示方法的一种具体化可选实施方案。其中，注视区域为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，图像块也为矩形；具体地，该方法不仅包括步骤S3～步骤S5，在步骤S401，对压缩后的重排区域进行重组的步骤之后，还包括步骤S402。下面仅对步骤S402进行详细描述。
步骤S402、若显示单元对应的显示分辨率大于复原原始图像的图像分辨率，调整复原原始图像后进行显示。
其中，根据显示分辨率渲染注视区域，并对其在水平方向上根据图像分辨率和显示分辨率之比进行下采样，在垂直方向上通过单行同开方式进行显示；根据显示分辨率渲染与注视区域处于同列的各图像块，对其在水平方向上根据图像分辨率和显示分辨率之比进行下采样，在垂直方向上通过多行同开方式进行显示；对于与注视区域处于同行的各图像块，对其在水平方向上根据图像分辨率和显示分辨率之比进行上采样，在垂直方向上通过单行同开方式进行显示；对于其余各所述图像块，对其在水平方向上根据图像分辨率和显示分辨率之比进行上采样，在垂直方向上通过多行同开方式进行显示。
具体地，与注视区域处于同列(同行)的各图像块包括：内部像素所占用的列(行)序号集合属于注视区域的列(行)序号集合的图像块，以及列(行)序号集合与注视区域的列(行)序号集合部分相交的图像块。
其中，对于相同的驱动电压，通过单行同开方式进行显示，即通过单行同开驱动电路将对应的显示数据传输至显示面板，其驱动电压只驱动一行像素单元，因此，该行像素单元的驱动电流较大，对应高分辨率显示；通过多行同开方式进行显示，即通过多行同开驱动电路将对应的显示数据传输至显示面板其驱动电压驱动多行像素单元，相对地，每行像素单元的驱动电流较小，对应低分辨率显示，其多行同开的行数根据图像分辨率和显示分辨率之比确定。
本公开实施例提供了一种图像显示方法，该方法可用于在保留原有画质和必要图像细节的基础上，将重组后的图像显示在分辨率不匹配的显示设备上，提升图像显示的适应性。
下面对本公开提供的图像显示方法结合实际应用进行详细描述。
图10为本公开实施例提供的再一种图像显示方法的图像处理过程示意图。如图10所示，该方法采用如图5b中所描述的图像压缩方法生成压缩图像。具体地，应用于图像显示装置，该图像显示装置为虚拟现实设备，其显示单元对应的分辨率为4320*4800。
参见图5b，经图像处理器渲染后，原始图像为矩形，其分辨率为2160*2400，对应的色彩空间为RGB空间。首先，通过内部的微型图像采集设备获取用户的眼球图像，确定用户的瞳孔中心，并将瞳孔中心的点位置映射至原始图像上，由此，将映射点作为人眼注视点；以人眼注视点为对称中心，根据预先设置的长度和宽度确定注视区域B，并将图像的剩余部分作为非注视区域，其中，注视区域B为原始图像内部的一个矩形，其宽度(图中水平方向的尺寸)为原始图像的一半，其对应分辨率为1080*1600；将非注视区域沿着B区域的边分割为多个不重叠的图像块，得到图像块A1、A2、C1、C2、F1、F2、F3和F4，其中，A1和A2的宽度必然与B相同，由于B的宽度为原始图像的一半，故C1与C2的宽度和、F1与F2的宽度和以及F3与F4的宽度和必然等于B的宽度；对各图像块进行重排，生成重排区域，并将重排区域的色彩空间转换为YUV空间，各图像块和重排区域皆为矩形，重排区域对应的分辨率为1080*3200，由此，重排后图像对应的分辨率为1080*4800；对重排区域的Y通道在垂直方向上进行1/2采样，对重排区域的U通道和V通道在垂直方向上进行1/2采样，对重排区域的U通道和V通道在水平方向上进行1/5采样，在下采样完成后将其色彩空间转换回RGB空间，经优化排布后，得到区域D，其对应的分辨率为216*1600；最后生成的压缩图像对应的分辨率为1296*1600。
参见图10，压缩完成后，内部的图形处理器将该压缩图像传输至显示控制器，由此，需要对压缩图像进行解压缩，以还原得到复原原始图像，其中，对压缩后的重排区域进行重组，以还原各图像块，得到图像块A1’、A2’、C1’、C2’、F1’、F2’、F3’和F4’，根据进行下采样时的采样倍数通过最邻近差值或双线性差值对压缩后的各图像块进行解压缩，以得到复原原始图像，其对应的分辨率为2160*2400；由于当前复原原始图像对应的分辨率与显示单元对应的显示分辨率存在差异，在进行显示时，对于注视区域B，根据显示分辨率进行排布像素渲染，渲染后其对应的分辨率变为原先的两倍，则对其在水平方向上通过两个像素加权得到一个像素的方式进行1/2采样，在垂直方向上通过单行同开方式进行显示，得到区域B’；对于与注视区域处于同列的图像块A1’和A2’，根据显示分辨率进行排布像素渲染，对其在水平方向上通过间隔采样或多像素加权的方式进行1/2采样，在垂直方向上通过四行同开方式进行显示，得到A1”和A2”；对于与注视区域处于同行的图像块C1’和C2’，对其在水平方向上通过复制或插值计算的方式进行采样倍数为2的上采样，在垂直方向上通过单行同开方式进行显示，得到C1”和C2”；对于其余图像块F1’、F2’、F3’和F4’，对其在水平方向上进行采样倍数为2的上采样，在垂直方向上通过四行同开方式进行显示，得到F1”、F2”、F3”和F4”。至此，完成该复原原始图像的显示，最终显示图像的分辨率符合显示单元对应的分辨率，为4320*4800。
本公开实施例提供了一种图像压缩装置，包括：
一个或多个处理器；存储单元，用于存储一个或多个程序；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中的任一图像压缩方法。
本公开实施例提供了一种图像显示装置，包括：
一个或多个处理器；存储单元，用于存储一个或多个程序；显示单元；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中的任一图像显示方法，以使该显示单元显示复原原始图像。
在一些实施例中，该图像显示装置为虚拟现实设备或增强现实设备。其显示单元可对应外接的显示器或头戴式设备内部的屏幕及相关显示元件。
本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中的任一图像压缩方法中的步骤，或该程序被处理器执行时实现如上述实施例中的任一图像显示方法中的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (14)

1.一种图像压缩方法，其特征在于，包括：
获取原始图像上的人眼注视点，并根据所述人眼注视点确定所述原始图像的注视区域和非注视区域；
对所述非注视区域进行压缩，根据所述注视区域和压缩后的所述非注视区域生成压缩图像；
所述获取原始图像上的人眼注视点的步骤，包括：
获取包括用户眼睛的用户侧图像，根据所述用户侧图像检测人眼状态，以确定所述人眼注视点；
所述对所述非注视区域进行压缩的步骤，包括：
将所述非注视区域分割为多个不重叠的图像块，并对各所述图像块进行重排，生成重排区域；
对所述重排区域进行压缩；
所述对所述重排区域进行压缩的步骤，包括：
根据预先设置的第一采样倍数对所述重排区域的色度通道在第一方向上进行下采样；
根据预先设置的第二采样倍数对所述重排区域的亮度通道和色度通道在第二方向上进行下采样；
其中，所述图像块为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，所述第一方向为水平方向和垂直方向中的一者，所述第二方向为水平方向和垂直方向中的另一者；所述第一采样倍数大于所述第二采样倍数。
2.根据权利要求1所述的图像压缩方法，其特征在于，所述根据所述人眼注视点确定所述原始图像的注视区域和非注视区域的步骤，包括：
确定以所述人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域；
确定所述图像的剩余部分为所述非注视区域。
3.根据权利要求2所述的图像压缩方法，其特征在于，所述原始图像为矩形；
所述确定以所述人眼注视点为对称中心，位于具有预定尺寸的预定形状内的区域为注视区域的步骤，包括：
以所述人眼注视点为对称中心，根据预先设置的长度和宽度确定所述注视区域。
4.根据权利要求1所述的图像压缩方法，其特征在于，所述原始图像、所述注视区域、所述图像块、所述重排区域以及所述压缩图像皆为矩形。
5.根据权利要求1所述的图像压缩方法，其特征在于，在所述根据预先设置的第一采样倍数对所述重排区域的色度通道在第一方向上进行下采样的步骤之前，还包括：
若所述重排区域的色彩空间不为YUV空间，将所述重排区域的色彩空间转换为所述YUV空间。
6.一种图像显示方法，其特征在于，包括：
采用如权利要求1至5中任一所述的图像压缩方法生成压缩图像；
对压缩后的非注视区域进行解压缩，以还原得到复原原始图像；
显示所述复原原始图像。
7.根据权利要求6所述的图像显示方法，其特征在于，在所述生成压缩图像和所述对所述压缩后的非注视区域进行解压缩的步骤之间，还包括：
自身的应用处理器向显示控制器传输所述压缩图像。
8.根据权利要求6所述的图像显示方法，其特征在于，所述对所述压缩后的非注视区域进行解压缩的步骤，包括：
通过最邻近差值或双线性差值对所述压缩后的非注视区域进行解压缩。
9.根据权利要求6所述的图像显示方法，其特征在于，所述压缩后的非注视区域是通过将非注视区域分割为多个不重叠的图像块，对各所述图像块进行重排，生成重排区域，并对所述重排区域进行压缩得到的；
在所述对所述压缩后的非注视区域进行解压缩的步骤之后，还包括：
对压缩后的所述重排区域进行重组，以还原各所述图像块。
10.根据权利要求9所述的图像显示方法，其特征在于，所述注视区域为矩形，其四条边中有两条边平行于水平方向，另外两条边平行于垂直方向，所述图像块也为矩形；所述方法还包括：
若显示单元对应的显示分辨率大于所述复原原始图像的图像分辨率，调整所述复原原始图像后进行显示；
其中，根据所述显示分辨率渲染所述注视区域，并对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行下采样，在垂直方向上通过单行同开方式进行显示；根据所述显示分辨率渲染与所述注视区域处于同列的各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行下采样，在垂直方向上通过多行同开方式进行显示；对于与所述注视区域处于同行的各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行上采样，在垂直方向上通过单行同开方式进行显示；对于其余各所述图像块，对其在水平方向上根据所述图像分辨率和所述显示分辨率之比进行上采样，在垂直方向上通过多行同开方式进行显示。
11.一种图像压缩装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像压缩方法。
12.一种图像显示装置，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序；
显示单元；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求6-10中任一所述的图像显示方法，以使所述显示单元显示所述复原原始图像。
13.根据权利要求12所述的图像显示装置，其特征在于，所述图像显示装置为虚拟现实设备或增强现实设备。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的图像压缩方法中的步骤，或，所述程序被处理器执行时实现如权利要求6-10中任一所述的图像显示方法中的步骤。
CN202010760340.XA 2020-07-31 2020-07-31 图像压缩方法及装置、图像显示方法及装置和介质 Active CN114071150B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010760340.XA CN114071150B (zh) 2020-07-31 2020-07-31 图像压缩方法及装置、图像显示方法及装置和介质
US17/764,359 US11917167B2 (en) 2020-07-31 2021-05-08 Image compression method and apparatus, image display method and apparatus, and medium
PCT/CN2021/092369 WO2022021991A1 (zh) 2020-07-31 2021-05-08 图像压缩方法及装置、图像显示方法及装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760340.XA CN114071150B (zh) 2020-07-31 2020-07-31 图像压缩方法及装置、图像显示方法及装置和介质

Publications (2)

Publication Number Publication Date
CN114071150A CN114071150A (zh) 2022-02-18
CN114071150B true CN114071150B (zh) 2023-06-16

Family

ID=80037522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760340.XA Active CN114071150B (zh) 2020-07-31 2020-07-31 图像压缩方法及装置、图像显示方法及装置和介质

Country Status (3)

Country Link
US (1) US11917167B2 (zh)
CN (1) CN114071150B (zh)
WO (1) WO2022021991A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117834830A (zh) * 2022-09-27 2024-04-05 万有引力（宁波）电子科技有限公司 图像处理器、处理方法、存储介质及扩展现实显示装置
CN118037557A (zh) * 2022-11-01 2024-05-14 华为技术有限公司 一种图像数据的处理方法及相关设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468148B (zh) * 2012-03-23 2015-01-11 Crystalvue Medical Corp Auxiliary gaze and imaging focusing device
EP2926293A4 (en) * 2012-11-28 2016-09-14 Univ Columbia METHODS, SYSTEMS AND MEDIA FOR RECOGNIZING GAZE LOCKING
CN103475893B (zh) * 2013-09-13 2016-03-23 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103500061B (zh) * 2013-09-26 2017-11-07 三星电子（中国）研发中心 控制显示器的方法及设备
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
CN106325510B (zh) * 2016-08-19 2019-09-24 联想(北京)有限公司 信息处理方法及电子设备
CN110023881B (zh) * 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
JP2018147289A (ja) * 2017-03-07 2018-09-20 富士ゼロックス株式会社 表示装置、表示システム及びプログラム
CN108733202A (zh) 2017-04-18 2018-11-02 北京传送科技有限公司 一种基于眼球追踪的数据压缩方法及其装置
CN106935224B (zh) * 2017-05-12 2019-06-07 京东方科技集团股份有限公司 显示装置及其驱动方法和驱动电路
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
GB2568261B (en) * 2017-11-08 2022-01-26 Displaylink Uk Ltd System and method for presenting data at variable quality
CN107809641B (zh) * 2017-11-13 2020-04-24 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
CN108076384B (zh) 2018-01-02 2019-12-06 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN108391133A (zh) * 2018-03-01 2018-08-10 京东方科技集团股份有限公司 显示数据的处理方法、处理设备和显示设备
CN108665521B (zh) * 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN109242943B (zh) * 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
CN109658876B (zh) * 2019-02-28 2023-04-11 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质

Also Published As

Publication number Publication date
WO2022021991A1 (zh) 2022-02-03
US20220345723A1 (en) 2022-10-27
CN114071150A (zh) 2022-02-18
US11917167B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
US6788309B1 (en) Method and apparatus for generating a video overlay
CN111161660B (zh) 数据处理系统
DE202017105872U1 (de) Niedrigauflösendes RGB-Rendering für effiziente Übertragung
DE202017105882U1 (de) Fovealisierte Zweiwege-Graphikpipeline
JP5213701B2 (ja) レンダリング方法、信号処理システム、ディスプレイ装置及びコンピュータ可読媒体
US6028589A (en) Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
CN111316204A (zh) 显示器系统
CN114071150B (zh) 图像压缩方法及装置、图像显示方法及装置和介质
US11373337B2 (en) Image processing method of virtual reality and apparatus thereof
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统
JP4523368B2 (ja) 立体視画像生成装置およびプログラム
WO2005120169A2 (en) Method, device and system of response time compensation
US20240185380A1 (en) Methods to improve the perceptual quality of foveated rendered images
WO2016033925A1 (zh) 显示方法及显示装置
EP3598391A1 (en) Variable resolution rendering
US11659153B2 (en) Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system
CN115185083B (zh) 一种ar头戴显示器自适应刷新率和分辨率渲染方法
US20100033496A1 (en) Methods and Storing Colour Pixel Data and Driving a Display, Means for Preforming Such Methods, and Display Apparatus Using the Same
US7091980B2 (en) System and method for communicating digital display data and auxiliary processing data within a computer graphics system
TWI602144B (zh) 包裝彩色圖框及原始景深圖框之方法、裝置及系統
US20140056524A1 (en) Image processing device, image processing method, and program
WO2022158221A1 (ja) 画像表示システム、表示装置、および画像表示方法
US20240244156A1 (en) Display control method, display control device, display apparatus and computer readable medium
US20220157272A1 (en) Virtual Reality Display Device, Host Device, System and Data Processing Method
WO2022017271A1 (zh) 显示设备的图像显示方法、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant