CN107431805A - 编码方法和装置以及解码方法和装置 - Google Patents

编码方法和装置以及解码方法和装置 Download PDF

Info

Publication number
CN107431805A
CN107431805A CN201480084671.9A CN201480084671A CN107431805A CN 107431805 A CN107431805 A CN 107431805A CN 201480084671 A CN201480084671 A CN 201480084671A CN 107431805 A CN107431805 A CN 107431805A
Authority
CN
China
Prior art keywords
coding
image
pixel
information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480084671.9A
Other languages
English (en)
Other versions
CN107431805B (zh
Inventor
赵大星
金赞烈
朴正辉
朴必圭
崔光杓
崔大雄
崔雄
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107431805A publication Critical patent/CN107431805A/zh
Application granted granted Critical
Publication of CN107431805B publication Critical patent/CN107431805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于编码图像的编码装置包括：通信器，被配置为从设备接收与所述设备有关的设备信息；以及处理器，被配置为通过使用图像的图像信息和所述设备信息来编码图像，其中，所述处理器还被配置为根据所述设备信息和所述图像信息中的至少一个来处理图像，根据所述设备信息和所述图像信息中的至少一个来确定图像的非编码区域、基于块的编码区域、以及基于像素的编码区域，通过使用根据所述设备信息和所述图像信息中的至少一个来确定的量化参数，对基于块的编码区域执行基于块的编码，对基于像素的编码区域执行基于像素的编码，通过对通过基于块的编码或基于像素的编码来确定的符号进行熵编码而生成编码后的图像，并且生成包括所述编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流；并且其中，所述通信器还被配置为将所述比特流发送到设备。

Description

编码方法和装置以及解码方法和装置
技术领域
本公开涉及图像编码方法和装置以及图像解码方法和装置，并且更特别地涉及基于图像的图像信息和图像再现设备的设备信息的图像编码方法和装置以及图像解码方法和装置。
背景技术
诸如智能电话和数字相机的移动设备的性能继续改进。因此，在移动设备中消耗的数字内容的量呈指数增加。由于诸如图像的多媒体数据占据数字内容的存储/传输容量的大约60％，因此要求用于减小多媒体数据的容量的高效图像压缩方法。
特别地，不同于通用消费电子(consumer electronics，CE)使用环境，在诸如智能眼镜和智能手表的可穿戴设备的情况下，电池、屏幕形状、存储空间、或传输带宽严重受限。因此，为了推广可穿戴设备，存在对能够在可穿戴设备的用户无法识别的限度内增加对于多媒体数据的压缩性能的方法的需要。
发明内容
技术问题
提供了图像编码方法和装置以及图像解码方法和装置的实施例。公开了一种非瞬时性计算机可读记录介质，其上公开了用于在计算机上执行根据本公开的实施例的编码方法或解码方法的程序。本实施例要解决的技术问题不限于上述技术问题，并且可以从以下实施例推断其他技术问题。
技术方案
一种用于编码图像的编码装置包括：通信器，被配置为从设备接收与设备有关的设备信息；以及处理器，被配置为通过使用图像的图像信息和设备信息来编码图像，其中，处理器还被配置为根据设备信息和图像信息中的至少一个来处理图像，根据设备信息和图像信息中的至少一个来确定图像的非编码区域、基于块的编码区域、以及基于像素的编码区域，通过使用根据设备信息和图像信息中的至少一个来确定的量化参数，对基于块的编码区域执行基于块的编码，对基于像素的编码区域执行基于像素的编码，通过熵编码通过基于块的编码或基于像素的编码来确定的符号而生成编码后的图像，并且生成包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流；并且其中，通信器还被配置为将比特流发送到所述设备。
处理器还被配置为对基于块的编码区域的编码单元执行帧内预测或帧间预测，变换从基于块的编码区域的帧内预测或帧间预测生成的残留数据，并且通过使用量化参数量化变换后的残留数据。
处理器还被配置为对针对基于像素的编码区域中的像素中的每一个的相邻像素执行基于像素的预测、将从基于像素的编码区域的基于像素的预测生成的残留数据与残留数据的重复的残留字符串相匹配、并且通过使用残留字符串的长度和位置信息来压缩残留数据。
处理器还被配置为：生成索引图，索引图包括与由基于像素的编码区域的像素指示的色彩相对应的索引；将索引图与索引图的重复的索引字符串相匹配；并且通过使用索引字符串的长度(lens)和位置信息来压缩索引图。
通信器还被配置为接收关于被包括在再现图像的设备中的显示器的形状的显示器形状信息，并且其中，处理器还被配置为根据显示器形状信息将未在显示器上显示的图像的区域确定为非编码区域，并且其中，非编码区域是不被编码的区域。
处理器还被配置为将图像分割成多个区域，扩展分割区域的尺寸，使得分割区域被分割成由基于块的编码区域使用的整数数量的编码单元，获得所扩展的区域相对于未扩展的区域的面积比率，并且根据面积比率将区域确定为基于块的编码区域和基于像素的编码区域中的一个。
处理器还被配置为获得指示构成图像的色彩的数量的色彩信息，根据该色彩信息，将其中使用的色彩的数量低于阈值的区域确定为基于像素的编码区域，并且将其中使用的色彩的数量高于阈值的区域确定为基于块的编码区域。
处理器还被配置为，获得指示值的像素梯度信息，值指示相对于被包括在图像中的像素的相邻像素的像素值之间的尺寸差，根据像素梯度信息从指示相邻像素的像素值之间的尺寸差的值当中选择最大值，将最大值高于阈值的区域确定为基于像素的编码区域，并且将最大值低于阈值的区域确定为基于块的编码区域。
处理器获取关于其中分布了被包括在图像中的像素的模式的模式信息，并且根据模式信息，将其中像素的分布模式存在并且根据分布模式重复的像素值的长度高于阈值的区域确定为基于像素的编码区域，并且将其中分布模式不存在或者根据分布模式重复的像素值的长度低于阈值的区域确定为基于块的编码区域。
通信器接收被包括在再现图像的设备中的显示器的显示器分辨率信息，并且处理器获得图像的图像分辨率信息并且根据从显示器分辨率信息和图像分辨率信息计算出的图像的分辨率和显示器分辨率的比率来确定量化参数。
通信器还被配置为接收关于再现图像的设备的照度的照度信息，并且其中，处理器还被配置为根据按照照度信息的、被包括在设备中的显示器的亮度的改变来调整图像的帧速率，并且根据按照照度信息的、被包括在设备中的显示器的亮度的改变来确定量化参数。
通信器接收关于再现图像的设备的照度的照度信息，以及处理器根据照度信息转换图像的对比度，并且根据对比度确定量化参数。
通信器接收使用再现图像的设备的用户的视觉信息，以及处理器，根据视觉信息，确定用户的视觉集中的区域的量化参数具有小于用户的视觉外部的区域的量化参数的值。
通信器还被配置为接收指示再现图像的设备处于低电力模式的电力信息，并且其中，当电力信息指示低电力模式时，处理器还被配置为减小图像的帧速率或者转换图像的色彩格式，并且将量化参数确定为大于低电力模式的量化参数。
一种编码图像的方法，该方法由编码装置执行，包括从设备接收与设备有关的设备信息；获得图像的图像信息；根据设备信息和图像信息中的至少一个来处理图像；根据设备信息和图像信息中的至少一个来确定图像的非编码区域、基于块的编码区域、和基于像素的编码区域；根据设备信息和图像信息中的至少一个来确定用于基于块的编码区域的量化参数；通过使用量化参数，对基于块的编码区域执行基于块的编码；对基于像素的编码区域执行基于像素的编码；通过熵编码基于块的编码和基于像素的编码中确定的符号而生成编码后的图像；并且将包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流发送到设备。
一种用于解码编码后的图像的解码装置包括：通信器，被配置为将与包括解码装置的设备有关的设备信息发送到编码装置，并且从编码装置接收通过编码根据设备信息和图像的图像信息中的至少一个来处理的图像而生成的编码后的图像、图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在图像的基于块的编码区域的编码过程中使用的量化参数的量化信息；以及处理器，被配置为熵解码编码后的图像，通过使用量化参数对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码，对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码，并且通过组合基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的与基于像素的编码区域相对应的部分，来重建要由设备再现的图像。
处理器通过对量化后的变换系数逆量化来生成变换系数，量化后的变换系数通过熵解码与基于块的编码区域相对应的编码后的图像来生成，通过逆变换变换系数来生成残留数据，基于残留数据执行基于块的补偿以重建与图像的基于块的编码区域相对应的部分。
处理器通过使用残留字符串匹配信息复制重复的残留字符串来重建残留数据，残留字符串匹配信息是通过熵解码与基于像素的编码区域相对应的编码后的图像而生成的，并且处理器使用残留数据来执行基于像素的补偿以重建与基于像素的编码区域相对应的部分。
处理器通过使用索引图字符串匹配信息复制重复的索引图字符串来重新生成索引图，索引图字符串匹配信息是通过熵解码与基于像素的编码区域相对应的编码后的图像而生成的，并且处理器使用索引图和由索引图的索引指示的色彩信息来重新生成与图像的基于像素的编码区域相对应的部分的像素。
一种解码编码后的图像的方法，方法由解码装置执行，包括：将与包括解码装置的设备有关的设备信息发送到编码装置；从编码装置接收比特流，比特流包括：通过编码根据设备信息和图像的图像信息中的至少一个来处理的图像而生成的编码后的图像、图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在图像的基于块的编码区域的编码过程中使用的量化参数的量化信息；熵解码编码后的图像，通过使用量化参数对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码，对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码，并且通过组合基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的与基于像素的编码区域相对应的部分，来重建要由设备再现的图像。
提供了其上记录了用于执行编码方法的计算机程序的非瞬时性计算机可读记录介质。
提供了其上记录了用于执行解码方法的计算机程序的非瞬时性计算机可读记录介质。
发明的有益效果
根据再现图像的设备的设备信息确定原始图像的编码区域、编码方法、和编码强度。确定编码区域、编码方法、和编码强度，使得在图像质量的恶化对用户来说不明显的范围之内，原始图像可以被尽可能多地压缩。因此，当根据编码区域、编码方法、和编码强度进行编码时，原始图像在图像质量的恶化对用户来说不明显的范围之内被编码，从而减小了在设备之间发送的压缩后的原始图像的尺寸。在压缩后的原始图像的尺寸减小的同时，数据传输所要求的电力的量减小，因此存储在移动设备中的电力可以被有效地使用。
附图说明
图1是用于描述与包括编码装置的第一设备和包括解码装置的第二设备之间的交互机制有关的计算机系统的实施例的示图。
图2A和图2B是编码装置的实施例的框图。
图3是用于说明编码装置的编码方法的实施例的流程图。
图4A和图4B是解码装置的实施例的框图。
图5是示出解码装置的解码方法的实施例的流程图。
图6是用于说明编码区域确定单元的实施例的框图。
图7是用于说明分辨率比率分析单元的实施例的视图。
图8是示出根据显示器的分辨率的改变的失真识别灵敏度改变的示图。
图9示出根据实施例的编码单元的构思。
图10是用于说明量化矩阵的实施例的示图。
图11是用于说明用于调整图像块的压缩强度的系数抑制阈值矩阵的实施例的视图。
图12是根据实施例的基于编码单元的视频编码单元的框图。
图13是根据实施例的基于编码单元的视频解码单元的框图。
图14是用于说明基于像素的预测方法的实施例的示图。
图15A至图15C是用于说明使用索引图的编码方法的实施例的示图。
图16是用于说明应用于残留字符串匹配单元和索引图字符串匹配单元的基于LZ77的匹配技术的示图。
最佳实施例
一种用于编码图像的编码装置包括：通信器，被配置为从设备接收与设备有关的设备信息；以及处理器，被配置为通过使用图像的图像信息和设备信息来编码图像，其中，处理器还被配置为根据设备信息和图像信息中的至少一个来处理图像，根据设备信息和图像信息中的至少一个来确定图像的非编码区域、基于块的编码区域、以及基于像素的编码区域，通过使用根据设备信息和图像信息中的至少一个来确定的量化参数，对基于块的编码区域执行基于块的编码，对基于像素的编码区域执行基于像素的编码，通过熵编码通过基于块的编码或基于像素的编码来确定的符号而生成编码后的图像，并且生成包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流；并且其中，通信器还被配置为将比特流发送到设备。
一种编码图像的方法，该方法由编码装置执行，包括从设备接收与设备有关的设备信息；获得图像的图像信息；根据设备信息和图像信息中的至少一个来处理图像；根据设备信息和图像信息中的至少一个来确定图像的非编码区域、基于块的编码区域和基于像素的编码区域；根据设备信息和图像信息中的至少一个来确定用于基于块的编码区域的量化参数；通过使用量化参数，对基于块的编码区域执行基于块的编码；对基于像素的编码区域执行基于像素的编码；通过熵编码基于块的编码和基于像素的编码中所确定的符号而生成编码后的图像；并且将包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流发送到设备。
一种用于解码编码后的图像的解码装置包括：通信器，被配置为将与包括解码装置的设备有关的设备信息发送到编码装置，并且从编码装置接收通过编码根据设备信息和图像的图像信息中的至少一个来处理的图像而生成的编码后的图像、图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在图像的基于块的编码区域的编码过程中使用的量化参数的量化信息；以及处理器，被配置为熵解码编码后的图像，通过使用量化参数对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码，对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码，并且通过组合基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的基于像素的编码区域相对应的部分，来重建要由设备再现的图像。
一种解码编码后的图像的方法，方法由解码装置执行，包括：将与包括解码装置的设备有关的设备信息发送到编码装置；从编码装置接收比特流，比特流包括：通过编码根据设备信息和图像的图像信息中的至少一个来处理的图像而生成的编码后的图像、图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在图像的基于块的编码区域的编码过程中使用的量化参数的量化信息；熵解码编码后的图像，通过使用量化参数对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码，对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码，并且通过组合基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的与基于像素的编码区域相对应的部分，重建要由设备再现的图像。
提供了其上记录了用于执行编码方法的计算机程序的非瞬时性计算机可读记录介质。
提供了其上记录了用于执行解码方法的计算机程序的非瞬时性计算机可读记录介质。
具体实施方式
在下文中，将参考附图详细地描述本公开的实施例。应该理解本公开的以下示例是用于例示本公开的目的，而不是限定或限制本公开的范围。本领域普通技术人员将理解，可以在这里做出各种形式和细节上的改变，而不脱离如所附权利要求定义的本发明的精神和范围。
本文引用的软件可以包括机器码，固件、嵌入码、应用软件等等。硬件还可以包括电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(micro-electromechanical systems，MEMS)、无源组件、或其组合。
图1是用于描述与包括编码装置的第一设备102和包括解码装置的第二设备104之间的交互机制有关的计算机系统100的实施例的示图。
计算机系统100包括第一设备102和第二设备104。第一设备102可以是客户端设备或服务器设备。同样地，第二设备104可以是客户端设备或服务器设备。
可以选择各种设备作为第一设备102和第二设备104。例如，第一设备102或第二设备104可以是计算机设备，诸如台式计算机、服务器、路由器或膝上型计算机。并且第一设备102或第二设备104可以是个人便携式设备，诸如可穿戴设备、笔记本计算机、平板计算机或智能电话。第一设备102或第二设备104可以是包括用于提供多媒体内容的显示器的设备，诸如洗衣机、烘干机和冰箱。
并且，第一设备102和第二设备104可以可通信地耦合到彼此。例如，第一设备102和第二设备104可以通过无线通信、有线通信、光学通信、超声波通信、或其组合连接。具体地，第一设备102和第二设备104可以通过诸如蓝牙、近场通信(near fieldcommunication，NFC)、WiFi等等的通信方法被连接。
此外，第一设备102和第二设备104可以通过一个或多个网络连接。例如，第一设备102和第二设备104可以通过个人区域网(personal area network，PAN)、局域网(localarea network，LAN)、城域网(metropolitan area network，MAN)、广域网(wide areanetwork，WAN)、或者其任意组合连接。
虽然第一设备102在图1中被示出为智能电话，但是根据实施例，另一类型的设备可以被用作第一设备102。类似地，虽然第二设备104被表示为智能手表，但是根据实施例，另一类型的设备可以被用作第二设备104。
第一设备102包括编码装置，并且编码装置编码输入到第一设备102的图像。编码装置可以基于图像信息、环境信息等等来编码图像。
第二设备104包括解码装置。解码装置解码被发送到第二设备104的编码后的图像。第二设备104再现由解码装置重建的图像。
在操作110，第一设备102获得关于输入图像的图像信息。图像信息包括关于被包括在图像中的像素的特性的信息。例如，图像信息可以包括与被包括在图像中的像素的数量、像素的像素值和像素的位置有关的信息。因此，图像信息可以包括关于图像的分辨率、图像的色彩信息、像素的排列模式、特定像素值的出现频率等等的信息。
在操作112，第二设备104将关于第二设备104的设备信息发送到第一设备102。设备信息是指影响第二设备104的性能或第二设备104的操作的环境因子。例如，设备信息可以包括第二设备104的剩余的电力量、显示器性能、计算能力、周围温度、周围照度等等。这样的设备信息可以被存储在第二设备104中或者可以由附着于第二设备104的传感器检测。例如，关于显示器性能和计算能力的设备信息可以被存储在第二设备104中。而关于第二设备104周围的温度和照度的设备信息可以由附着于第二设备104的温度计和照度计检测。此外，设备信息可以以各种方式被获得。
在操作114，基于图像信息和设备信息中的至少一个，输入到第一设备102的视频被编码。图像可以以各种方式被编码。例如，可以通过应用符合作为静止图像标准编解码器的JPEG(Joint Photographic Expert Group，联合图像专家组)和JPEG 2000标准，或者作为运动图像压缩标准编解码器的运动图像专家组(Motion Picture Expert Group，MPEG)标准、MPEG2(Motion Picture Expert Group，运动图像专家组)4AVC/H.264、HEVC(HighEfficiency Video Codec，高效率视频编解码器)、AVS(Auto Video Coding Standard，自动视频编码标准)等等的编码方案来编码图像。并且，可以通过除了符合以上提到的标准编解码器的编码方案以外的编码方案来编码图像。
将在图2A、图2B、和图3中详细地描述图像信息和设备信息对编码过程的影响。
在操作116，编码后的图像从第一设备102被传递到第二设备104。第一设备102可以将用于编码图像的编码信息和编码后的图像一起发送到第二设备104。例如，编码信息可以包括关于当通过基于块的编码方案来编码图像时在编码中使用的标准编解码器的信息、关于编码单元的信息等等。
在操作118，发送到第二设备104的编码后的图像被解码。通过与编码后的图像一起发送的编码信息来确定用于解码编码后的图像的解码方法。由于在解码过程期间重建的图像是针对第二设备104被最优化的，所以重建的图像可能不同于原始图像。例如，考虑到第二设备104的显示器性能和剩余的电力量，重建的图像的帧速率可能小于原始图像的帧速率。解码后的图像在第二设备104中被再现。
现在将关于图2A至图5详细地描述在图1中描述的计算机系统100的过程。
图2A和图2B是用于编码图像的编码装置200的实施例的框图。
图2A是用于编码图像的编码装置200的实施例的框图。
编码装置200可以包括通信器210和处理器220。
通信器210可以从第二设备104接收与第二设备104有关的设备信息。
并且，通信器210可以将包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流发送到第二设备104。
处理器220可以获得关于图像的图像信息。
处理器220可以根据编码格式来处理图像，编码格式根据设备信息和图像信息中的至少一个确定。
处理器220可以根据设备信息和图像信息中的至少一个确定图像的非编码区域、基于块的编码区域和基于像素的编码区域。
处理器220可以使用根据设备信息和图像信息中的至少一个确定的量化参数对基于块的编码区域执行基于块的编码。处理器220也可以对基于像素的编码区域执行基于像素的编码。
处理器220可以通过熵编码通过基于块的编码或基于像素的编码确定的符号而生成编码后的图像。
处理器220可以生成包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流。
图2B是用于编码图像的编码装置200的实施例的框图。
编码装置200可以包括通信器210和处理器220。
处理器220可以包括图像信息获得单元230、编码控制单元240、以及编码单元250。
通信器210可以包括设备信息接收单元212和比特流发送单元216。
设备信息接收单元212从第二设备104接收关于第二设备104的设备信息。设备信息可以包括关于第二设备104的性能或第二设备104的组件的信息。例如，设备信息可以包括关于被包括在设备中的显示器的尺寸或者类型的信息。设备信息可以包括关于设备内部或者外部的环境的信息。例如，设备信息可以包括关于被包含在设备中的电池的电力量或者关于设备外部的温度或者照度的信息。设备信息可以包括关于设备和设备的用户之间的交互的信息。例如，设备信息可以包括关于用户的视觉或移动的信息。
设备信息接收单元212可以接收与被包括在第二设备104中的显示器的形状有关的显示器形状信息和显示器分辨率信息。设备信息接收单元212可以接收关于第二设备104的照度的照度信息和使用第二设备104的用户的视觉信息。设备信息接收单元212还可以接收指示第二设备104处于低电力模式的电力信息。
比特流发送单元216将包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流发送到第二设备104。
图像信息获得单元230获得图像的图像信息。图像信息包括关于被包括在图像中的像素的特性的信息。例如，图像信息可以包括与被包括在图像中的像素的数量、像素的像素值、和像素的位置有关的信息。因此，图像信息可以包括关于图像的分辨率、图像的色彩信息、像素的排列模式、特定像素值的出现频率等等的信息。
图像信息获得单元230可以获得指示构成图像的色彩的数量的色彩信息。并且，图像信息获得单元230可以获得指示值的像素梯度信息，值指示相对于被包括在图像中的像素的相邻像素之间的幅度的差。图像信息获得单元214可以获取与其中包括在图像中的像素分布的模式有关的模式信息。图像信息获得单元230可以获得图像的图像分辨率信息。
编码控制单元240通过确定对于在编码单元250中编码图像所必要的编码格式、编码区域、量化参数等等来控制编码。
编码控制单元240可以包括图像处理单元242、编码区域确定单元244、以及量化参数确定单元246。
图像处理单元242可以根据编码格式处理图像，编码格式根据设备信息和图像信息中的至少一个确定。
编码格式是图像的属性，其被考虑用于编码图像，诸如图像格式、比特深度、和帧速率。用于解码编码后的图像的计算量根据编码格式被确定。因此，编码格式可以根据设备信息和图像信息被自适应地确定以调整用于解码编码后的图像的计算量。在解码图像中消耗的电力量可以根据用于解码图像的计算量被确定，因此可以通过调整编码格式将被第二设备104消耗的电力量保持在预定阈值以下。
图像处理单元242可以根据被包括在第二设备104中的显示器的亮度的改变，从照度信息确定图像的帧速率。当第二设备104周围的照度高时，第二设备104的显示器的亮度增加。因此，显示器中消耗的电力量增加。因此，为了维持在第二设备104中消耗的电力量，图像处理单元242降低帧速率，以便减小在第二设备104的编码装置200中解码图像的电力消耗。
图像处理单元242可以根据照度信息确定图像的对比度。当第二设备104周围的照度高时，图像处理单元242可以增加图像的对比度比率以改进图像的可见性。相反，当图像的对比度比率增加时，解码装置200中消耗的电力量增加，因此帧速率被降低或者量化参数确定单元246增加量化参数。
图像处理单元242可以根据电力信息确定图像的帧速率或者图像的色彩格式。例如，当第二设备104的电池充满电时，图像处理单元242可以将输入图像的色彩格式确定为YUV 4：4：4格式。随着第二设备104的电池的电力水平降低，图像处理单元242可以将输入图像的色彩格式确定为YUV 4：2：0格式或YUV 4：2：2格式，其中，作为色度分量的Cb-Cr被采样。当第二设备104的电池的电力水平低时，图像处理单元242可以将输入图像的色彩格式确定为仅仅包括亮度值Luma分量而没有色差分量的单色格式。当第二设备104的电池的电力水平接近0％时，图像处理单元242可以将输入图像的色彩格式确定为通过二进制化输入图像而形成的二进制图像格式。通过根据第二设备104的电池状态转换色彩格式，存储在电池中的电力可以被高效地使用。并且，当第二设备104的电池的电力水平低时，图像处理单元242可以减小帧速率并且减小在编码过程中消耗的电力量。
编码区域确定单元244根据设备信息和图像信息中的至少一个将图像的区域确定为非编码区域、基于块的编码区域、以及基于像素的编码区域中的一个。
非编码区域是不被编码的区域。并且，与图像的非编码区域相对应的部分不从第一设备102被发送到第二设备104。因此，与图像的非编码区域相对应的部分不在第二设备104的显示器上显示。
基于块的编码区域是应用基于块的编码方法的区域。因此，与图像的基于块的编码区域相对应的部分通过基于块的编码方法被编码。
基于像素的编码区域是应用基于像素的编码方法的区域。因此，与图像的基于像素的编码区域相对应的部分通过基于像素的编码方法被编码。基于像素的编码方法包括使用基于像素的预测的编码方法或者使用索引图的编码方法。
编码区域确定单元244可以根据显示器形状信息将图像中的、不在显示器上显示的区域确定为非编码区域。例如，如果图像的形状是矩形并且被包括在用于再现图像的第二设备104中的显示器的形状是圆形，则只有图像的圆形的中央部分被设置为基于块的编码区域或者基于像素的编码区域，并且剩余部分可以被设置为非编码区域。
编码区域确定单元244可以以各种方式将除了非编码区域之外的剩余区域确定为基于块的编码区域或者基于像素的编码区域。编码区域确定方法将在图6和图7中详细地描述。
量化参数确定单元246根据设备信息和图像信息中的至少一个来确定用于基于块的编码区域的量化参数。如果量化参数确定单元246增加量化参数，则图像的压缩速率随着图像数据的损耗的增加而增加。因此，在解码过程中的计算量降低。随着计算量降低，在解码过程中消耗的电力量也降低。相反地，如果量化参数确定单元246减小量化参数，则在解码过程中消耗的电力量也增加。
量化参数确定单元246可以根据从显示器分辨率信息和图像分辨率信息计算出的图像分辨率和显示器分辨率的比率确定量化参数。使用显示器分辨率信息和图像分辨率信息的确定量化参数的方法将参考图8详细地描述。
量化参数确定单元246可以按照照度信息、根据被包括在设备中的显示器的亮度的改变来确定量化参数。当通过照度信息转换对比度比率时，量化参数确定单元246可以根据对比度比率来确定量化参数。当显示器的亮度由于显示器周围的照度增加或者因为图像的对比度比率的增加而增加时，被第二设备104消耗的电力量增加。因此，当照度增加时，量化参数确定单元246增加量化参数，从而允许消耗的电力量保持恒定。
量化参数确定单元246可以根据视觉信息确定第二设备104的用户的视觉集中的区域的量化参数具有小于用户的视觉外部的区域的量化参数的值。例如，在智能眼镜的情况下，用户可能不会领会发生在不被智能眼镜的用户看见的区域的图像的恶化。因此，可以通过减小用户的视觉集中的区域中的量化参数和增加用户的视觉外部的区域的量化参数来减小在解码过程中消耗的电力量。
量化参数确定单元246可以根据生物特征信息确定量化参数。例如，量化参数确定单元246可以通过使用第二设备104的用户的诸如心率的生物信号信息来确定用户的专注程度。如果用户的专注弱，则可以通过增加量化参数来减小被第二设备104消耗的电力量。
当电力信息指示低电力模式时，量化参数确定单元246可以确定量化参数大于当电力信息不指示低电力模式时的量化参数。当第二设备104处于低电力模式时，由于被第二设备104消耗的电力量必须最小化，所以量化参数确定单元246可以增加量化参数。
编码单元250可以包括基于块的编码单元260、基于像素的编码单元270、熵编码单元280、以及比特流生成单元290。
编码单元250根据由编码控制单元240确定的信息来编码图像，并且生成包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流。
基于块的编码单元260使用量化参数对基于块的编码区域执行基于块的编码。基于块的编码单元260可以包括基于块的预测单元262、变换单元264、和量化单元266。
基于块的编码单元260可以基于编码单元来编码图像。编码单元将在图9中被详细地描述。
基于块的预测单元262对基于块的编码区域的编码单元执行帧内预测或帧间预测。帧内预测意味着从空间相邻块对当前块的预测。帧间预测是指从时间相邻的参考帧的参考块对当前块的预测。
变换单元264将从基于块的预测单元262的帧内预测和帧间预测生成的残留数据进行变换，以生成变换系数。变换单元264将残留数据从空间域变换到频域。例如，变换单元264可以通过应用离散余弦变换(Discrete Cosine Transform，DCT)或其中DCT被整数化的整数变换技术来变换残留数据。作为另一示例，变换单元264可以通过应用离散正弦变换(Discrete Sine Transform，DST)来变换残留数据。作为另一示例，变换单元264可以通过应用离散小波变换(Discrete Wavelet Transform，DWT)来变换残留数据。
量化单元266使用量化参数来量化由变换单元264生成的变换系数，以生成量化系数。量化单元266减小变换系数的信息量，从而在熵编码过程中实现高压缩效率。量化参数越大，信息量越小，并且信息量越小，信息量被减小得越少。
由于通过量化丢失的信息不会在解码过程中被重建，所以如果量化参数大，则与原始图像相比，重建后的图像的质量可能极大地恶化。因此，必须选择量化参数，使得图像的恶化可以不被视觉地检测到。因此，使用系数抑制阈值矩阵来确定所选择的量化参数是否合适。图10中详细地描述了量化矩阵，并且图11中详细地描述了系数抑制阈值矩阵。
将参考图12详细地描述上述基于块的预测单元262、变换单元264、量化单元266，以及图2B中未示出的基于块的编码单元260的元素。
基于像素的编码单元270对基于像素的编码区域执行基于像素的编码。基于像素的编码单元270可以使用：使用基于像素的预测的编码方法或者使用索引图的编码方法。
基于像素的编码单元270可以包括基于像素的预测单元272、残留字符串匹配单元274、索引图生成单元276、以及索引图字符串匹配单元278。
基于像素的预测单元272为相对于基于像素的编码区域的每个像素的相邻像素执行基于像素的预测。由于基于像素的预测，基于像素的预测单元272生成残留数据。图14中详细地描述了使用基于像素的预测的编码方法。
残留字符串匹配单元274匹配残留数据的重复的残留字符串并使用残留字符串的长度和位置信息来压缩残留数据。残留字符串匹配单元274可以应用基于LZ77的匹配技术。
索引图生成单元276生成包括与由基于像素的编码区域的像素表示的色彩相对应的索引的索引图。图15A至图15C中详细地描述了使用索引图的编码方法。
索引图字符串匹配单元278将索引图生成单元276中生成的索引图和索引图的重复的索引字符串相匹配，并使用索引字符串的长度和位置信息来压缩索引数据。索引图字符串匹配单元274可以应用基于LZ77的匹配技术。
将参考图16详细地描述应用在残留字符串匹配单元274和索引图字符串匹配单元274中的基于LZ77的匹配技术。
熵编码单元280对通过基于块的编码单元260或者基于像素的编码单元270确定的符号进行熵编码，以生成编码后的图像。符号可以是通过基于块的编码获得的量化后的变换系数。在另一示例中，符号可以是通过基于像素的编码获得的压缩后的残留字符串或者压缩后的索引字符串。熵编码单元280可以基于每个符号的发生概率，通过确定每个符号的信息量来压缩量化系数。具体地，熵编码单元280可以将具有高出现概率的符号的信息量确定为低，并且相反地，将具有低出现概率的符号的信息量确定为高，从而压缩量化系数。
例如，熵编码单元280可以应用可变长度编码(variable length coding，VLC)来减小量化系数的数据量。作为另一示例，熵编码单元280可以应用霍夫曼(Huffman)编码。作为另一示例，熵编码单元280可以应用算术编码。并且，熵编码单元280可以与编码方法一起或独立地应用哥伦布-莱斯(Golomb-Rice)编码技术。熵编码单元280可以应用各种熵编码方法。
当电力信息指示低电力模式时，熵编码单元280可以将符号当中的具有高出现概率的符号映射为与无色(achromatic color)相对应的值，并且熵编码符号。因此，在将图像中具有高出现频率的色彩转换成暗色(dark color)的同时，第二设备104的显示器中消耗的电力量可以减小。
图2B中，通信器210和处理器220被表示为分离的元素，但是根据实施例，通信器210和处理器220可以被组合和被实施为相同的元素。
并且属于元素的子元素可以被组合并且被实施为单一元素。例如，作为构成通信器210的子元素的设备信息接收单元212和比特流发送单元216被表示为分离的元素。然而，根据实施例，设备信息接收单元212和比特流发送单元216可以被组合并且被实施为单一元素。
进一步，多个元素可以被组合并且被实施为单一元素，而不管元素的等级。例如，基于块的预测单元262、变换单元264、以及量化单元266可以与量化参数确定单元246组合并且被实施为单一元素。
根据实施例，编码装置200的所有元素可以被实施为单一元素。例如，编码装置200的所有元素的功能可以由单一装置实施。然而，编码装置200的元素的功能可以被分配给多个装置并且根据实施例被处理。根据实施例，单一元素的功能可以被多个装置并行的处理。
虽然通信器210和处理器220被表示为位于编码装置200的元素，但负责通信器210、编码控制单元220和编码单元230的功能的装置不需要彼此物理地相邻。因此，根据实施例，通信器210和处理器220可以是分散的。并且，用于并行处理单一元素的功能的多个装置可以是分散的。
图2B的编码装置200不限于物理装置。例如，编码装置200的某些功能可以由软件而不是硬件实施。
图3是用于说明编码装置200的编码方法300的实施例的流程图。
在操作310，从设备中接收与设备有关的设备信息。
例如，可以接收关于被包括在第二设备104中的显示器的形状的显示器形状信息和显示器分辨率信息。并且，可以接收关于第二设备104的照度的照度信息和使用第二设备104的用户的视觉信息。并且，可以接收指示第二设备104处于低电力模式的电力信息。
在操作320，获得关于图像的图像信息。
例如，指示构成图像的色彩的数量的色彩信息可以被获得。对于被包括在图像中的像素，可以获得指示值的像素梯度信息，值指示相邻像素之间的像素值的幅度的差。关于其中被包括在图像中的像素的分布模式的模式信息和图像的图像分辨率信息可以被获得。
在操作330，根据确定的编码格式处理图像，以根据图像信息和设备信息中的至少一个来编码图像。
图像的帧速率可以按照照度信息、根据被包括在第二设备104中的显示器的亮度的改变而被转换。并且，图像的对比度比率可以根据照度信息被转换。
当电力信息指示低电力模式时，图像的帧速率可以被减小或者图像的色彩格式可以被转换。
在操作340，根据设备信息和图像信息中的至少一个确定图像的非编码区域、基于块的编码区域、以及基于像素的编码区域。
可以根据显示器形状信息，将图像中的不在显示器上显示的区域确定为非编码区域。可以以各种方式将除了非编码区域之外的剩余区域确定为基于块的编码区域或者基于像素的编码区域。将参考图6至图8详细地描述编码区域确定方法。
在操作350，根据设备信息和图像信息中的至少一个确定用于基于块的编码区域的量化参数。
可以根据从显示器分辨率信息和图像分辨率信息计算出的图像分辨率和显示器分辨率的比率来确定量化参数。进一步，可以按照照度信息、根据被包括在设备中的显示器的亮度的改变来确定量化参数。根据视觉信息，可以将第二设备104的用户的视觉集中的区域的量化参数确定为小于用户的视觉之外的区域的量化参数。
作为另一示例，可以根据生物特征信息确定量化参数。当电力信息指示低电力模式时，可以将量化参数确定为大于当电力信息没有指示低电力模式时的量化参数。
在操作360，使用量化参数对基于块的编码区域执行基于块的编码。更具体地，对基于块的编码区域的编码单元执行帧内预测或者帧间预测、变换从帧内预测或者帧间预测生成的残留数据、并且量化变换后的残留数据以生成量化系数。
在操作370，对基于像素的编码区域执行基于像素的编码。
可以通过执行基于像素的预测来执行基于像素的编码。具体地，可以针对基于像素的编码区域的每个像素执行对相邻像素的基于像素的预测。然后，可以使用通过匹配残留数据的重复的残留字符串的残留字符串的长度和位置信息来压缩从基于像素的预测生成的残留数据。
可以使用索引图执行基于像素的编码。具体的，生成包括与由基于像素的编码区域的像素表示的色彩相对应的索引的索引图，并且由索引图生成单元生成的索引图可以与索引图的重复的索引字符串相匹配，并且可以使用所匹配的索引字符串的长度和位置信息来压缩该索引图。
在操作380，熵编码通过执行基于块的编码和基于像素的编码确定的符号，以生成编码后的图像。
当电力信息指示低电力模式时，符号当中具有高出现概率的符号可以被映射到与无色色彩相对应的值，并且然后被熵编码。
在操作390，包括编码后的图像、基于块的编码区域和基于像素的编码区域的区域信息、以及量化参数的量化信息的比特流被发送到设备。
图4A是解码装置400的实施例的框图。
解码装置400可以包括通信器410和处理器420。
通信器410可以将与包括解码装置400的设备有关的设备信息发送到编码装置。
通信器410根据设备信息和与图像有关的图像信息中的至少一个来确定图像的质量因子，并且从编码装置接收比特流，比特流包括通过编码图像生成的编码后的图像、与图像的区域当中应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域有关的区域信息、以及在图像的基于块的编码区域的编码过程中使用的量化参数的量化信息。
处理器420可以熵解码编码后的图像。
处理器420可以使用量化参数，对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码。
处理器420对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码。
处理器420可以组合基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的与基于像素的编码区域相对应的部分，以重建要在设备中再现的图像。
图4B是解码装置400的实施例的框图。
解码装置400可以包括通信器410和处理器420。
通信器410可以包括设备信息发送单元412和比特流接收单元414。
设备信息发送单元412将与包括解码装置400的设备有关的设备信息发送到编码装置。
设备信息发送单元412可以发送关于被包括在第二设备104中的显示器的形状的显示器形状信息和显示器分辨率信息。设备信息发送单元412可以发送关于第二设备104的照度的照度信息和使用第二设备104的用户的视觉信息。设备信息发送单元412还可以发送指示第二设备104处于低电力模式的电力信息。
比特流接收单元414从编码装置接收包括编码后的图像、区域信息、和量化信息的比特流。
区域信息是指示基于块的编码区域和基于像素的编码区域中的哪一个是图像的区域的信息。
量化信息是关于应用于图像的基于块的编码区域的量化参数的信息。
处理器420可以解码编码后的图像。
处理器420可以包括熵解码单元430、基于块的解码单元440、以及基于像素的解码单元450。
熵解码单元430熵解码编码后的图像。熵解码单元430可以熵解码编码后的图像，以获得用于基于块的编码的量化变换系数。熵解码单元430可以熵解码编码后的图像，以获得用于基于像素的编码的压缩后的残留字符串或压缩后的索引字符串。
基于块的解码单元440使用量化参数，对与熵解码后的图像的基于块编码区域相对应的部分执行基于块的解码。
基于块的解码单元440可以包括逆量化单元442、逆变换单元444、和基于块的补偿单元446。
逆量化单元442使用量化参数逆量化由熵解码单元430生成的量化后的变换系数，以生成变换系数。
逆变换单元444逆向地变换由逆量化单元442生成的变换系数，以生成残留数据。
基于块的补偿单元446基于逆变换单元444中的残留数据执行基于块的补偿，并且重建与图像的基于块的编码区域相对应的部分。
将参考图13详细地描述上述逆量化单元442、逆变换单元444、基于块的补偿单元446，以及图4中未示出的基于块的编码单元440的元素。
基于像素的解码单元450对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码。
基于像素的解码单元450可以包括残留字符串复制单元452、基于像素的补偿单元454、索引图重新生成单元456、以及像素重新生成单元458。
残留字符串复制单元452通过对使用由熵解码单元430生成的残留字符串匹配信息的重复的残留字符串进行复制，来重建残留数据。
基于像素的补偿单元454使用残留数据执行基于像素的补偿，从而重建与图像的基于像素的编码区域相对应的部分。
索引图重新生成单元456通过对使用由熵解码单元430生成的索引图字符串匹配信息的重复的索引图字符串进行，来重新生成索引图。
像素重新生成单元458使用索引图和由索引图的索引指示的色彩信息来重新生成与图像的基于像素的编码区域相对应的像素。像素重新生成单元458排列重新生成的像素并且重建与基于像素编码区域相对应的部分。
图4中，通信器410和处理器420被表示为分离的元素，但是通信器410和处理器420可以被组合并且被实施在相同的元素中。
并且属于元素的子元素可以被组合成单一元素。例如，作为构成通信器410的子元素的设备信息发送单元412和比特流接收单元414被表示为分离的元素，但是设备信息发送单元412和比特流接收单元414可以被组合并且被实施为单一元素。
进一步，多个元素可以被组合成一个元素，而不管元素的等级。例如，逆量化单元442、逆变换单元444、和基于块的补偿单元446可以与熵解码单元430组合并且被实施为单一元素。
根据实施例，解码装置400的所有元素可以被实施为一个元素。例如，解码装置400的所有元素的功能可以由单一装置实施。然而，根据实施例，解码装置400的元素的功能可以被分配给多个装置并且在多个装置中被处理。根据实施例，单一元素的功能可以被多个装置并行地处理。
图4中，通信器410和处理器420被表示为位于解码装置400内部的元素。然而，执行通信器410和处理器420的功能的装置并非必须彼此物理地相邻。因此，根据实施例，通信器410和处理器420可以是分散的。同样地，通信器410和处理器420的子元素不一定是彼此物理地相邻。并且，用于并行处理单一元素的功能的多个设备可以是分散的。
图4的解码装置400不限于物理装置。例如，解码装置400的某些功能可以由软件而不是硬件实施。
图5是示出解码装置400的解码方法500的实施例的流程图。
在操作510，与包括解码装置400的设备有关的设备信息被发送到到编码装置。
关于被包括在第二设备104中的显示器的形状的显示器形状信息、关于显示器的分辨率的显示器分辨率信息、关于第二设备104的照度的照度信息、使用第二设备104的用户的视觉信息、以及指示第二设备104处于低电力模式的电力信息可以被发送。
在操作520，将包括编码后的图像、区域信息、以及量化信息的比特流从编码装置接收到解码装置400。
在操作530，编码后的图像被熵解码。
在操作540，使用量化参数对熵解码后的图像的与基于块的编码区域相对应的部分执行基于块的解码。
在操作550，对熵解码后的图像的与基于像素的编码区域相对应的部分执行基于像素的解码。
在操作560，基于块的解码后的图像的与基于块的编码区域相对应的部分和基于像素的解码后的图像的与基于像素的编码区域相对应的部分被结合，以重建要在设备中被再现的图像。
图6是用于说明编码区域确定单元244的实施例的框图。
编码区域确定单元244可以包括分辨率比率分析单元610、色彩类型分析单元620、硬度分析单元630、以及模式分析单元640。
分辨率比率分析单元610可以包括图像分割单元612、区域扩展单元614、和编码方法确定单元616。
图像分割单元612将图像分割成多个区域。区域扩展单元614扩展分割区域的尺寸，从而分割区域可以被分割成在基于块的编码单元中使用的具有预定尺寸的整数数量的编码单元。
编码方法确定单元616获得扩展区域相对于未扩展区域的面积比率，并且根据面积比率将区域确定为基于块的编码区域和基于像素的编码区域中的一个。
图7中详细地描述了分辨率比率分析单元610的每个元素的操作。
色彩类型分析单元620可以根据由图像信息获得单元230获取的色彩信息将区域确定为基于块的编码区域或者基于像素的编码区域。当使用的色彩的数量小于或等于阈值时，当使用索引图的压缩方法被应用时，数据量可以被有效地减小。
因此，色彩类型分析单元620将其中使用的色彩的数量小于阈值的区域确定为基于像素的编码区域，并且将其中使用的色彩的数量等于或者大于阈值的区域确定为基于块的编码区域。
硬度分析单元630根据由图像信息获得单元230获取的像素硬度信息将区域确定为基于块的编码区域或者基于像素的编码区域。
像素的硬度的示例包括水平硬度和垂直硬度。水平硬度与当前像素和当前像素的右侧像素之间的差的绝对值相对应。垂直硬度与当前像素和当前像素的下方像素之间的差的绝对值相对应。
硬度分析单元630可以根据被包括在区域中的像素的垂直硬度和水平硬度当中的最大值，将区域确定为基于块的编码区域或者基于像素的编码区域。其中硬度的最大值大于或等于预定阈值的区域是其中相邻像素之间的色彩改变大的区域。因此，当基于块的编码被应用于其中硬度的最大值大于或等于阈值的区域时，由于量化损耗而发生的图像质量的恶化存在高可能性。
因此，当硬度的最大值等于或者大于阈值时，硬度分析单元630可以将区域确定为基于像素的编码区域，并且当硬度的最大值等于或者小于阈值时，可以将区域确定为基于块的编码区域。
硬度分析单元630可以获得被包括在区域中的像素的垂直硬度和水平硬度当中具有硬度值为0的硬度的数量，并且可以基于具有硬度值为0的硬度的数量将区域确定为基于块的编码区域或者基于像素的编码区域。当具有硬度值为0的硬度等于或大于预定阈值时，区域的对比度比率小存在高可能性。如果应用到图11中描述的基于像素的编码过程的基于LZ77的匹配技术被应用到具有低对比度比率的区域，则与该区域相对应的图像可以被高效的压缩。
因此，当具有硬度值为0的硬度大于或等于预定阈值时，硬度分析单元630将区域确定为基于像素的编码区域，并且当具有硬度值为0的硬度低于预定阈值时，将区域确定为基于块的编码区域。
模式分析单元640可以根据由图像信息获得单元230获取的模式信息将区域确定为基于块的编码区域或者基于像素的编码区域。当像素的分布模式存在并且根据分布模式重复的像素值的长度等于或大于阈值时，当基于LZ77的匹配技术被应用时，与区域相对应的图像可以被高效地压缩。
因此，模式分析单元640将其中像素的分布模式存在并且根据分布模式重复的像素值的长度等于或大于阈值的区域确定为基于像素的编码区域，以及将其中像素的分布模式不存在并且根据分布模式重复的像素值的长度低于阈值的区域确定为基于块的编码区域。
编码区域确定单元244可以基于分辨率比率分析单元610、色彩类型分析单元620、硬度分析单元630、以及模式分析单元640中的一个或多个的分析结果，将区域确定为基于块的编码区域或者基于像素的编码区域。
图7是用于说明分辨率比率分析单元610的实施例的视图。
图7中，图像分割单元612将图像分割成区域0 710、区域1 720、以及区域2 730。
区域扩展单元614扩展区域0 710、区域1 720、以及区域2 730的尺寸，使得区域0710、区域1 720和区域2 730可以被划分为在基于块的编码单元中使用的整数数量的编码单元。区域0 710和区域1 720被扩展到右侧。区域2 730被扩展到右侧和底部。
区域扩展单元614可以允许通过扩展最新添加的像素具有任意的像素值。例如，最新添加的像素的像素值可以全部是128。并且，区域扩展单元614可以通过复制位于未扩展区域的边缘的像素来扩展区域。
编码方法确定单元616获得扩展区域相对于未扩展区域的面积比率。面积比率是通过扩展区域的面积除以未扩展区域的面积而获得的值。
编码方法确定单元616根据所获得的面积比率将区域确定为基于块的编码区域和基于像素的编码区域中的一个。
因此，编码方法确定单元616可以将具有等于或者大于预定阈值的面积比率的区域确定为基于像素的编码区域，以及将具有小于阈值的面积比率的区域确定为基于块的编码区域。
图7中，因为区域0 710和区域1 720的面积比率小，所以编码方法确定单元616将区域0 710和区域1 720确定为基于块的编码区域，并且因为区域2 730的面积比率大，所以将区域2 730确定为基于像素的编码区域。
图8是示出根据显示器的分辨率的改变的失真识别灵敏度改变的示图800。
随着显示器屏幕变得更小，显示器分辨率增加。作为输入失真信号810的空间频率的周/度(cycle per degree，CPD)分量在高分辨率屏幕820上增加。当CPD，也就是说空间频率分量增加时，指示识别灵敏度的对比灵敏度函数(contrast sensitivity function，CSF)值相对于频率分量减小。因此，随着CSF值减小，识别灵敏度相对于输入失真信号810也减小。因此，由于失真灵敏度随着被包括在第二设备104中的显示器变得更小而减小，所以量化参数确定单元226可以增加量化参数。
另一方面，在低分辨率屏幕830，CPD分量减小并且CSF值增加。因此，相对于输入失真信号810，识别灵敏度也增加。因此，量化参数确定单元226可以减少量化参数。
图9示出根据实施例的编码单元的概念。
编码单元的尺寸可以表示为宽度×高度，并且编码单元的示例可以包括具有64×64、32×32、16×16、和8×8尺寸的编码单元。具有64×64的尺寸的编码单元可以被分割成具有64×64、64×32、32×64、以及32×32的尺寸的分割区。32×32的尺寸的编码单元可以被分割成具有32×32、32×16、16×32、以及16×16的尺寸的分割区。16×16的尺寸的编码单元可以被分割成具有16×16、16×8、8×16、或者8×8的尺寸的分割区。具有8 8的尺寸的编码单元可以被分割成具有8×8、8×4、4×8、和4×4的尺寸的分割区。
视频数据910中，分辨率是1920×1080、编码单元的最大尺寸是64、以及最大深度是2。视频数据920中，分辨率是1920×1080、编码单元的最大尺寸是64、以及最大深度是3。视频数据930中，分辨率是352×288、编码单元的最大尺寸是16、以及最大深度是1。图4中示出的最大深度表示从最大编码单元到最小编码单元的分割的总数。
如果分辨率高或数据量大，编码单元的最大尺寸可以相对大，以不仅增加编码效率而且准确地反应图像的特性。因此，具有比视频数据930更高的分辨率的视频数据910和视频数据920的编码单元的最大尺寸可以是64。
由于视频数据910的最大深度是2，所以视频数据910的编码单元915可以包括具有长轴尺寸为64的最大编码单元，并且由于通过分割最大编码单元2次将它们的深度加深到两层，所以视频数据910的编码单元915可以包括具有长轴尺寸为32和16的编码单元。同时，由于视频数据930的最大深度是1，所以视频数据930的编码单元935可以包括具有长轴尺寸为16的最大编码单元，并且由于通过分割最大编码单元1次将其深度加深到一层，所以视频数据930的编码单元935可以包括具有长轴尺寸为8的编码单元。
由于视频数据920的最大深度是3，所以视频数据920的编码单元925可以包括具有长轴尺寸为64的最大编码单元，并且由于通过分割最大编码单元3次将其深度加深到三层，所以视频数据920的编码单元925具有长轴尺寸为32、16、和8的编码单元。随着深度加深，细节信息可以被精确地表示。
图10的量化矩阵1000是在将输入图像编码成输入比特流的过程中使用的量化矩阵的示例。
被包括在量化矩阵1000中的量化参数被分别用于与量化矩阵1000中的量化参数的位置相对应的变换系数的量化。
当量化参数增加时，压缩效率增加，但是数据丢失增加。当量化参数减小时，压缩效率减小，但是数据丢失减小。
另一方面，人眼识别与DC或低频域相对应的信号的改变，而相对地，不识别与高频域相对应的信号的改变。因此，确定与高频域中的变换系数相对应的量化参数大、并且与对应于DC或低频域的变换系数相对应的量化参数小。因此，如图10中所示，被包括在量化矩阵1000中的量化参数的值有从左上到右下增加的趋势。
图11是用于说明用于调整图像块的压缩强度的系数抑制阈值矩阵1100的实施例的视图。为了确定量化矩阵的量化参数是否合适，通过量化和逆量化来将变换系数与重建后的变换系数相比较。如果变换系数和重建后的变换系数之间的差的绝对值小于系数抑制阈值矩阵1100的系数抑制阈值则数据的丢失不会被视觉地检测到。因此，量化参数可以增加。
相反，如果变换系数和重建后的变换系数之间的差的绝对值大于系数抑制阈值矩阵1100的系数抑制阈值的值，则由于数据的丢失很可能会被视觉地识别到，所以量化参数可以减少。
图12是根据实施例的基于编码单元的视频编码单元1200的框图。
在根据实施例的视频编码单元1200中，通过使用从当前图像1205和重建后的图片缓冲器1210中获取的参考图像，帧内预测单元1220以预测单元为单位在帧内模式下对当前图像1205的编码单元执行帧内预测，并且帧间预测单元1215以预测单元为单位在帧间模式下对编码单元执行帧间预测。当前图像1205可以被分割成最大编码单元，并且可以对最大编码单元顺序地执行编码。在这种情况下，编码可以是编码从最大编码单元中的每一个分割的、具有树结构的单元。
通过从当前图像1205的编码后的编码单元的数据中移除每个模式的编码单元的预测数据而生成残留数据，预测数据是从帧内预测单元1220或帧间预测单元1215输出的。在经过变换单元1225和量化单元1230的同时，残留数据被变换、量化、以及输出为在变换单元中被量化的变换系数。通过逆量化单元1245和逆变换单元1250将量化后的变换系数重建成空间域中的残留数据。空间域中的重建后的残留数据被添加到每个模式的编码单元的预测数据中，以重建当前图像1205的编码单元的空间域中的数据，预测数据是从帧内预测单元1220或帧间预测单元1215输出的。在经过解块单元1255和采样自适应偏移(sampleadaptive offset，SAO)执行单元1260的同时，空间域中的重建后的数据被转换成重建后的图像。重建后的图像被存储在重建后的图片缓冲器1210中。存储在重建后的图片缓冲器1210中的重建后的图像可以被用作用于对其它图像执行帧间预测的参考图像。通过变换单元1225和量化单元1230量化的变换系数可以经过熵编码单元1235并且然后被输出到比特流1240。
为了将根据实施例的视频编码单元1200应用到视频编码装置800，视频编码单元1200的所有元素(即，帧间预测单元1215、帧内预测单元1220、变换单元1225、量化单元1230、熵编码单元1235、逆量化单元1245、逆变换单元1250、解块单元1255、以及SAO执行单元1260)基于具有最大编码单元中的每一个的树结构的编码单元中的每一个来执行操作。
特别地，在考虑当前最大编码单元的最大尺寸和最大深度的同时，帧内预测单元1220和帧间预测单元1215可以确定具有树结构的编码单元中的每一个的分割模式和预测模式。变换单元1225可以确定被包括在具有树结构的编码单元中的每一个中的、具有四叉树的变换单元是否要被分割。
图13是根据实施例的基于编码单元的视频解码单元1300的框图。
熵解码单元1315解析比特流1305，以获得要被解码的编码后的图像数据和解码编码后的图像所需要的编码信息。编码后的图像数据是量化后的变换系数，以及残留数据是通过逆量化单元1320和逆变换单元1325从量化后的变换系数重建的。
帧内预测单元1340以预测单元为单位在帧内模式下对编码单元执行帧内预测。基于从重建后的图片缓冲器1330获得的参考图像，帧间预测单元1335以预测单元为单位在当前图像的帧间模式下对编码单元执行帧间预测。
在经过帧内预测单元1340或者帧间预测单元1335的同时获得的每个模式的编码单元的预测数据以及残留数据可以被加在一起，以重建当前图像1205的编码单元的空间域中的数据，并且在经过解块单元1345和SAO执行单元1350的同时，空间域中的重建后的数据可以被输出为输出视频1360。存储在重建后的图片缓冲器1230中的重建后的图像可以输出为参考图像。
根据实施例的、在视频解码单元1300的熵解码单元1315的操作之后的操作可以被执行。
视频解码单元1300的所有元素(即，熵解码单元1315、逆量化单元1320、逆变换单元1325、帧内预测单元1340、帧间预测单元1335、解块单元1345、以及SAO执行单元1350)可以以最大编码单元为单位基于具有树结构的编码单元来执行操作。
特别地，帧内预测单元1340和帧间预测单元1335可以确定用于具有树结构的编码单元中的每一个的分割模式和预测模式，以及逆变换单元1325可以确定被包括在编码单元中的每一个中的、具有四叉树的变换单元是否被分割。
图14是用于说明基于像素的预测方法1400的实施例的示图。
通常，像素被从左至右以及从上至下地扫描。因此，在当前被编码的当前像素的左边或者上边的像素被用作参考像素，用于计算当前像素的预测值。因此，当图14中的X 1410是当前像素时，A 1420、B 1422和C 1424可以是被引用来编码X 1410的参考像素。
当前像素的预测值可以以各种方式被计算。例如，位于当前像素左侧的像素的像素值或者位于当前像素上侧的像素的像素值可以是预测值。位于当前像素左侧的像素的像素值和位于当前像素上侧的像素的像素值的平均值可以是预测值。或者通过从位于当前像素的左侧的像素的像素值加上位于当前像素的上侧的像素的像素值所获得的值中减去定位在当前像素的左上的像素的像素值来获得的值可以是预测值。
在图14中，A 1420的像素值、B 1422的像素值、A 1420和B 1422的像素值的平均值、以及通过从A 1420和B 1422的像素值之和中减去C 1424的像素值所获得的值中的一个可以是X 1410的预测值。
将当前像素的像素值和预测值之间的差确定为当前像素的残留数据。图14中，使用A 1420、B 1422、和C 1424来预测的预测值和X 1410的像素值之间的差变成X 1410的残留数据。
图15A至图15C是用于说明使用索引图的编码方法的实施例的示图。
在图15A中，原始块1500被示出。原始块1500的像素是4个色彩之一。
图15B示出生成索引图1520所要求的调色盘1510。索引值被分配给在原始块1500中使用的4个色彩。4个色彩中的每一个的索引值在调色盘1510上被显示。例如，图15B中，白色索引值是0、绿色索引值是1、蓝色索引值是2、以及橙色索引值是3。
图15C根据在调色盘1510上显示的索引值，将示出被包括在原始块1500中的像素的索引图1520示出为索引值。在原始块1500的像素被表示为对应于像素的色彩的索引值的同时，原始块1500可以被显示为其中索引值被列出的索引图字符串。
当使用的像素的色彩的数量小时，如图15A的原始块1500中那样，使用索引图的编码方法可以有效地减少用于表达像素的色彩的信息量。因此，当使用的像素的色彩的数量小时，主要应用使用索引图的编码方法。
图16是用于说明应用于残留字符串匹配单元254以及索引图字符串匹配单元258的基于LZ77的匹配技术的示图。
基于LZ77的匹配技术意味着如果相同字符串重复，则只有第一字符串被留下，并且接下来的重复的字符串用指示紧接先前字符串的位置和字符串的长度的指针来替代，从而压缩整个字符串。
例如，图16的整个字符串1600包括27个字符。它们当中，第一字符串1602、第二字符串1604和第三字符串1606是01001100。由于相同的字符串被重复三次，所以第二字符串1604和第三字符串1606被指针替代。例如，第一字符串1602被放置在从第二字符串1604的八个字符之后，并且第一字符串1602的长度是8，因此第二字符串1604可以由(8,8)1614来表示。由于第二字符串1604位于从第三字符串1606的11个字符之后，并且第二字符串1604的长度是8，所以第三字符串1606可以由(11,8)1606来表示。
结果，整个字符串1600用基于LZ77的匹配技术来压缩并且被表示为经压缩的字符串1610。
本公开可以应用于针对静止图像压缩的JPEG(联合图像专家组)和针对运动图像压缩的MPEG(运动图像专家组)标准技术，但是各种压缩方法并非仅仅可以被应用于特定的压缩方法。
同时，以上描述的根据本公开的实施例的跟踪方法可以在通用数字计算机中、通过创建可以在计算机中运行的程序并且使用非瞬时性计算机可读记录介质来操作程序而被实现。非瞬时性计算机可读记录介质包括诸如磁存储介质(例如，ROM(read onlymemory，只读存储器)、软盘、硬盘等等)、光学读取介质(例如，CD-ROM)的存储介质。
以上已经描述了本公开的实施例。本领域普通技术人员将理解本公开可以以各种其他的形式来具体实现，而不脱离本公开的精神或基本特性。因此，所公开的实施例应该被考虑为例示性而不是限制性的意义。本公开的范围由所附权利要求而不是前述的描述定义，并且本公开的等同物范围之内的所有差异应该被理解为包括在本公开中。

Claims (15)

1.一种用于编码图像的编码装置，所述编码装置包括：
通信器，被配置为从设备接收与所述设备有关的设备信息；以及
处理器，被配置为通过使用所述图像的图像信息和所述设备信息编码所述图像，
其中，所述处理器还被配置为根据所述设备信息和所述图像信息中的至少一个来处理所述图像，根据所述设备信息和所述图像信息中的至少一个来确定所述图像的非编码区域、基于块的编码区域、以及基于像素的编码区域，通过使用根据所述设备信息和所述图像信息中的至少一个所确定的量化参数对所述基于块的编码区域执行基于块的编码，对所述基于像素的编码区域执行基于像素的编码，通过熵编码通过所述基于块的编码或所述基于像素的编码所确定的符号来生成编码后的图像，并且生成包括所述编码后的图像、所述基于块的编码区域和所述基于像素的编码区域的区域信息、以及所述量化参数的量化信息的比特流，并且
其中，所述通信器还被配置为将所述比特流发送到所述设备。
2.如权利要求1所述的编码装置，其中所述处理器还被配置为对所述基于块的编码区域的编码单元执行帧内预测或帧间预测，变换从基于块的编码区域的帧内预测或帧间预测生成的残留数据，并且通过使用所述量化参数量化变换后的残留数据。
3.如权利要求1所述的编码装置，其中，所述处理器还被配置为对相对于所述基于像素的编码区域中的像素中的每一个的相邻像素执行基于像素的预测，将从基于像素的编码区域的基于像素的预测生成的残留数据与所述残留数据的重复的残留字符串相匹配，并且通过使用所述残留字符串的长度和位置信息来压缩所述残留数据。
4.如权利要求1所述的编码装置，其中，所述处理器还被配置为生成索引图，所述索引图包括与由所述基于像素的编码区域的像素指示的色彩相对应的索引，将所述索引图与所述索引图的重复的索引字符串相匹配，并且通过使用所述索引字符串的长度和位置信息来压缩所述索引图。
5.如权利要求1所述的编码装置，
其中，所述通信器还被配置为接收关于被包括在再现所述图像的设备中的显示器的形状的显示器形状信息，并且
其中，所述处理器还被配置为根据所述显示器形状信息将不在所述显示器上显示的所述图像的区域确定为所述非编码区域，并且
其中，所述非编码区域是不被编码的区域。
6.如权利要求1所述的编码装置，其中，所述处理器还被配置为将所述图像分割成多个区域，扩展分割区域的尺寸，使得所述分割区域被分割成由基于块的编码区域使用的整数数量的编码单元，获得所扩展的区域相对于未扩展的区域的面积比率，并且根据所述面积比率将所述区域确定为所述基于块的编码区域和所述基于像素的编码区域中的一个。
7.如权利要求1所述的编码装置，其中，所述处理器还被配置为获得指示构成所述图像的色彩的数量的色彩信息，根据所述色彩信息，将其中使用的色彩的数量低于阈值的区域确定为所述基于像素的编码区域，并且将其中使用的色彩的数量高于所述阈值的区域确定为所述基于块的编码区域。
8.如权利要求1所述的编码装置，其中，所述处理器还被配置为，获得指示值的像素梯度信息，所述值指示相对于被包括在图像中的像素的相邻像素的像素值之间的尺寸差，根据所述像素梯度信息从指示所述相邻像素的像素值之间的尺寸差的值当中选择最大值，将其中所述最大值高于阈值的区域确定为所述基于像素的编码区域，并且将其中所述最大值低于阈值的区域确定为所述基于块的编码区域。
9.如权利要求1所述的编码装置，
其中，所述通信器还被配置为接收关于再现所述图像的设备的照度的照度信息，并且
其中，所述处理器还被配置为根据按照所述照度信息的、被包括在所述设备中的显示器的亮度的改变来调整所述图像的帧速率，并且根据按照所述照度信息的、被包括在所述设备中的显示器的亮度的所述改变来确定所述量化参数。
10.如权利要求1所述的编码装置，
其中，所述通信器还被配置为接收指示再现所述图像的设备处于低电力模式的电力信息，并且
其中，当所述电力信息指示所述低电力模式时，所述处理器还被配置为减小所述图像的帧速率或者转换所述图像的色彩格式，并且确定所述量化参数大于所述低电力模式的量化参数。
11.一种编码图像的方法，所述方法由编码装置执行并且包括：
从设备接收与所述设备有关的设备信息；
获得所述图像的图像信息；
根据所述设备信息和所述图像信息中的至少一个处理所述图像；
根据所述设备信息和所述图像信息中的至少一个确定所述图像的非编码区域、基于块的编码区域、和基于像素的编码区域；
根据所述设备信息和所述图像信息中的至少一个确定用于所述基于块的编码区域的量化参数；
通过使用所述量化参数对所述基于块的编码区域执行基于块的编码；
对所述基于像素的编码区域执行基于像素的编码；
通过熵编码在所述基于块的编码和所述基于像素的编码中确定的符号，来生成编码后的图像；以及
将包括所述编码后的图像、所述基于块的编码区域和所述基于像素的编码区域的区域信息、以及所述量化参数的量化信息的比特流发送到所述设备。
12.一种用于解码编码后的图像的解码装置，所述解码装置包括：
通信器，被配置为将与包括所述解码装置的设备有关的设备信息发送到编码装置，并且从所述编码装置接收通过编码根据所述设备信息和所述图像的图像信息中的至少一个处理的图像而生成的编码后的图像、所述图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在所述图像的基于块的编码区域的编码过程中使用的量化参数的量化信息；以及
处理器，被配置为熵解码所述编码后的图像，通过使用所述量化参数对所述熵解码后的图像的与所述基于块的编码区域相对应的部分执行基于块的解码，对所述熵解码后的图像的与所述基于像素的编码区域相对应的部分执行基于像素的解码，并且通过组合所述基于块的解码后的图像的与基于块的编码区域相对应的部分、和基于像素的解码后的图像的与基于像素的编码区域相对应的部分，来重建要由所述设备再现的图像。
13.一种解码编码后的图像的方法，所述方法由解码装置执行并且包括：
将与包括所述解码装置的设备有关的设备信息发送到编码装置；
从所述编码装置接收包括通过编码根据所述设备信息和所述图像的图像信息中的至少一个来处理的图像而生成的编码后的图像、所述图像的区域中的应用了基于块的编码的基于块的编码区域和应用了基于像素的编码的基于像素的编码区域的区域信息、以及在所述图像的基于块的编码区域的编码过程中使用的量化参数的量化信息的比特流；
熵解码所述编码后的图像；
通过使用所述量化参数对所述熵解码后的图像的与所述基于块的编码区域相对应的部分执行基于块的解码；
对所述熵解码后的图像的与所述基于像素的编码区域相对应的部分执行基于像素的解码；以及
通过组合基于块的解码后的图像的与基于块的编码区域相对应的所述部分、基于像素的解码后的图像的与基于像素的编码区域相对应的部分，来重建要由所述设备再现的图像。
14.一种其上记录了用于在计算机上运行权利要求16所述的编码方法的计算机程序的非瞬时性计算机可读记录介质。
15.一种其上记录了用于在计算机上运行权利要求21所述的解码方法的计算机程序的非瞬时性计算机可读记录介质。
CN201480084671.9A 2014-12-22 2014-12-30 编码方法和装置以及解码方法和装置 Active CN107431805B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0186369 2014-12-22
KR1020140186369A KR101724555B1 (ko) 2014-12-22 2014-12-22 부호화 방법 및 장치와 복호화 방법 및 장치
PCT/KR2014/013051 WO2016104854A1 (ko) 2014-12-22 2014-12-30 부호화 방법 및 장치와 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
CN107431805A true CN107431805A (zh) 2017-12-01
CN107431805B CN107431805B (zh) 2020-08-18

Family

ID=56150858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480084671.9A Active CN107431805B (zh) 2014-12-22 2014-12-30 编码方法和装置以及解码方法和装置

Country Status (4)

Country Link
US (1) US11310514B2 (zh)
KR (1) KR101724555B1 (zh)
CN (1) CN107431805B (zh)
WO (1) WO2016104854A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740687A (zh) * 2018-10-19 2021-04-30 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的设备和方法
CN112889282A (zh) * 2018-10-19 2021-06-01 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备
CN112889282B (zh) * 2018-10-19 2024-06-04 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10682126B2 (en) * 2016-05-11 2020-06-16 Synaptive Medical (Barbados) Inc. Phantom to determine positional and angular navigation system error
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
US10972749B2 (en) 2019-08-29 2021-04-06 Disney Enterprises, Inc. Systems and methods for reconstructing frames
US11012718B2 (en) * 2019-08-30 2021-05-18 Disney Enterprises, Inc. Systems and methods for generating a latent space residual
CN115699757A (zh) * 2020-08-06 2023-02-03 华为技术有限公司 图像处理网络的输入预处理方法和输出后处理方法及装置
US20230300355A1 (en) * 2020-08-25 2023-09-21 Lg Electronics Inc. Image transmission device and image reception device
CN114820638A (zh) * 2021-01-18 2022-07-29 华为技术有限公司 图像处理方法、相关装置、设备以及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058714A1 (en) * 2005-09-09 2007-03-15 Kabushiki Kaisha Toshiba Image encoding apparatus and image encoding method
CN101310534A (zh) * 2005-09-27 2008-11-19 高通股份有限公司 使用随机域模型改进图片和视频压缩以及帧速率上转换的方法和设备
KR20090001339A (ko) * 2007-06-29 2009-01-08 주식회사 애니빌 멀티미디어 데이터의 컬러 분포에 따라 압축 코덱을 자동선택하여 멀티미디어 데이터 용량을 최소화하고 해상도를최적화시키기 위한 해상도최적화시스템
CN101535941A (zh) * 2006-09-01 2009-09-16 汤姆逊许可公司 自适应视频呈现的方法和装置
US20090232207A1 (en) * 2008-03-12 2009-09-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image based on intra prediction
US20100260259A1 (en) * 2006-12-13 2010-10-14 Viasat, Inc. Acm and fixed coding and modulation of hierarchical layers
CN102497546A (zh) * 2011-11-28 2012-06-13 同济大学 一种屏幕图像压缩装置及压缩方法
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477201B1 (en) * 1998-05-22 2002-11-05 Sarnoff Corporation Content-adaptive compression encoding
US20070074251A1 (en) 2005-09-27 2007-03-29 Oguz Seyfullah H Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion
KR101095142B1 (ko) 2007-10-19 2011-12-16 에스케이플래닛 주식회사 동영상 서비스 시스템 및 그 제어방법
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
CN102668579A (zh) * 2010-10-05 2012-09-12 英特尔公司 用于动态调整视频质量的方法和装置
JP2013046319A (ja) 2011-08-26 2013-03-04 Hitachi Consumer Electronics Co Ltd 画像処理装置及び、画像処理方法
KR101965388B1 (ko) * 2011-11-04 2019-04-04 주식회사 골드피크이노베이션즈 양자화 계수 부/복호화 방법 및 이러한 방법을 사용하는 장치
US20150201199A1 (en) * 2011-12-07 2015-07-16 Google Inc. Systems and methods for facilitating video encoding for screen-sharing applications
KR101367777B1 (ko) 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법
KR101540217B1 (ko) 2012-10-30 2015-07-30 네이버 주식회사 자동으로 최적의 트랜스코딩을 수행하는 장치, 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
KR102296853B1 (ko) * 2013-07-12 2021-09-01 소니그룹주식회사 화상 복호 장치 및 방법
KR20150055503A (ko) * 2013-11-13 2015-05-21 삼성전자주식회사 저전력 디스플레이를 위한 적응적 이미지 보상 방법 및 그 장치
KR20140027040A (ko) 2013-12-30 2014-03-06 주식회사 큐램 적응 이미지 압축시스템 및 그 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058714A1 (en) * 2005-09-09 2007-03-15 Kabushiki Kaisha Toshiba Image encoding apparatus and image encoding method
CN101310534A (zh) * 2005-09-27 2008-11-19 高通股份有限公司 使用随机域模型改进图片和视频压缩以及帧速率上转换的方法和设备
CN101535941A (zh) * 2006-09-01 2009-09-16 汤姆逊许可公司 自适应视频呈现的方法和装置
US20100260259A1 (en) * 2006-12-13 2010-10-14 Viasat, Inc. Acm and fixed coding and modulation of hierarchical layers
KR20090001339A (ko) * 2007-06-29 2009-01-08 주식회사 애니빌 멀티미디어 데이터의 컬러 분포에 따라 압축 코덱을 자동선택하여 멀티미디어 데이터 용량을 최소화하고 해상도를최적화시키기 위한 해상도최적화시스템
US20090232207A1 (en) * 2008-03-12 2009-09-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image based on intra prediction
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN102497546A (zh) * 2011-11-28 2012-06-13 同济大学 一种屏幕图像压缩装置及压缩方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740687A (zh) * 2018-10-19 2021-04-30 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的设备和方法
CN112889282A (zh) * 2018-10-19 2021-06-01 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备
CN112889282B (zh) * 2018-10-19 2024-06-04 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备

Also Published As

Publication number Publication date
US20180014022A1 (en) 2018-01-11
KR20160076309A (ko) 2016-06-30
KR101724555B1 (ko) 2017-04-18
CN107431805B (zh) 2020-08-18
WO2016104854A1 (ko) 2016-06-30
US11310514B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
CN107431805A (zh) 编码方法和装置以及解码方法和装置
CN111066326B (zh) 机器学习视频处理系统和方法
CN104885471B (zh) 用于下一代视频的编码/未编码的数据的内容自适应熵编码
CN104219524B (zh) 使用感兴趣对象的数据对视频成码的比特率控制
CN103918265B (zh) 跨通道残余预测
WO2017071480A1 (zh) 参考帧编解码的方法与装置
CN110248196A (zh) 用于调色板编解码的方法和设备
CN113766228A (zh) 点云压缩方法、编码器、解码器及存储介质
CN104349171B (zh) 一种视觉无损的图像压缩编、解码装置及编、解码方法
CN103596009B (zh) 解码器及解码方法
CN103636204A (zh) 基于位预算的图像数据的选择性无损-有损压缩
CN107211145A (zh) 几乎视觉无损的视频再压缩
CN107431812B (zh) 用于显示流压缩的复杂区域检测
CN110248187A (zh) 用于视频压缩中的方向性帧内预测的方法和设备
CN109565587A (zh) 具有上下文解码和重构旁路的视频编码的方法和系统
CN107409219A (zh) 用于显示流压缩的速率受限回退模式
CN110351554A (zh) 用于视频编码的分割和模式决策的生成
CN109936742A (zh) 对视频序列进行编码的方法、编码装置和存储介质
JP2023518307A (ja) 顔復元に基づくビデオ会議のためのフレームワーク
CN104322068A (zh) 跨层跨通道残差预测
CN107431811A (zh) 用于显示流压缩的量化参数更新分类
CN105794208B (zh) 编码解码图像方法、编码解码图像设备及相应计算机可读介质
JP2023532397A (ja) ポストフィルタリングのためのコンテンツ適応型オンライン訓練方法、装置およびコンピュータプログラム
CN105519108B (zh) 量化矩阵编码的加权预测方法和装置
JP2024505798A (ja) 点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant