CN106464864B - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN106464864B
CN106464864B CN201580014618.6A CN201580014618A CN106464864B CN 106464864 B CN106464864 B CN 106464864B CN 201580014618 A CN201580014618 A CN 201580014618A CN 106464864 B CN106464864 B CN 106464864B
Authority
CN
China
Prior art keywords
pixel
current
neighboring
pixels
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580014618.6A
Other languages
English (en)
Other versions
CN106464864A (zh
Inventor
顾舟叶
郑建铧
林楠
张臣雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106464864A publication Critical patent/CN106464864A/zh
Application granted granted Critical
Publication of CN106464864B publication Critical patent/CN106464864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

一种图像处理装置，包括：接收器，用于接收包括参考视图和当前视图的视频视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；处理器，与所述接收器耦合，用于确定与所述参考块相关联的相邻参考像素，确定与所述当前块相关联的相邻当前像素，确定所述相邻参考像素和所述相邻当前像素的第一位置配对，确定所述相邻参考像素和所述相邻当前像素的第二位置配对，从所述第一位置配对和所述第二位置配对中确定最佳配对。

Description

图像处理装置及方法
本申请要求于2014年3月21日递交的发明名称为“照度补偿的参考像素选择”的第61/968,980号美国临时专利申请案，以及于2015年3月20日递交的发明名称为“照度补偿(简称IC)改善”的第14/664,348号美国非临时专利申请案的在先申请优先权。所有这些在先申请案均以引用的方式并入。
背景技术
传统三维(简称3D)视频在电影院中使用投影仪和屏幕观看或在家中使用视频播放机和电视机观看。通常，3D视频存储在如磁盘或硬盘等媒介上。视频本身通常是大电影。然而，3D视频目前发展迅猛，超出了电影院、家庭电视机和大电影。
例如，用户将越来越需要针对运动赛事和其他娱乐类型的3D视频。此外，用户将越来越需要在其如手机和平板电脑等可联网的设备上播放3D视频。用户想要在发现3D视频后马上浏览和观看它们，而不是在这些设备上下载3D视频稍后观看。由于3D视频需要相当大的带宽，因此通过因特网浏览3D视频很困难，考虑到当前码率，这可能会导致缓冲和其他问题。
降低这一带宽需求的一种方式是在发送器处更有效地编码3D视频，并在接收器处更有效地解码3D视频。编码包括压缩，解码包括解压缩。现有的编码和解码技术，包括以引用的方式并入的H.264/运动图像专家组(简称MPEG)-4标准，不能提供有效的3D视频编码和解码。因此，需要更高效地编码和解码3D视频。
发明内容
在一实施例中，本发明包括一种图像处理装置，包括：接收器，用于接收包括参考视图和当前视图的视频视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；处理器，与所述接收器耦合，用于确定与所述参考块相关联的相邻参考像素，确定与所述当前块相关联的相邻当前像素，确定所述相邻参考像素和所述相邻当前像素的第一位置配对，确定所述相邻参考像素和所述相邻当前像素的第二位置配对，从所述第一位置配对和所述第二位置配对中确定最佳配对。
在另一实施例中，本发明包括一种图像处理方法，包括：接收参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；确定与所述参考块相关联的相邻参考像素；确定与所述当前块相关联的相邻当前像素；确定所述相邻参考像素和所述相邻当前像素的第一位置配对；确定所述相邻参考像素和所述相邻当前像素的第二位置配对；从所述第一位置配对和所述第二位置配对中确定最佳配对。
在又一实施例中，本发明包括一种图像处理装置，包括：接收器，用于接收编码码流，所述码流包括包含第一参考块的参考视图，所述第一参考块包括具有第一参考像素值的第一参考像素；包含第一当前块的当前视图，所述第一当前块包括第一当前像素；配对的指示符；处理器，与所述接收器耦合，用于基于所述第一参考像素值和所述指示符计算所述第一当前像素的第一当前像素值。
通过以下结合附图和权利要求的详细描述，这些以及其他特征将会被清楚的理解。
附图说明
为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。
图1为3D视频系统的示意图；
图2为3D视频的编码和复用方案的示意图；
图3为3D视频的存取单元结构图；
图4为一种亮度补偿(Illumination Compensation)IC方案图；
图5为本发明实施例提供的IC改善方案图；
图6为另一种IC方案图；
图7为图5中的IC改善方案的建模性能图表；
图8为说明本发明实施例提供的IC改善方法的流程图；
图9为网络设备的示意图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
高性能视频编码(简称HEVC)，有时也称为H.265，是由国际标准化组织(简称ISO)/国际电工技术委员会(简称IEC)运动图像专家组(简称MPEG)和国际电联电信标准化部门(简称ITU-T)视频编码专家组(简称VCEG)研发的，并在Benjamin Bross等人2013年1月14日的“高性能视频编码(简称HEVC)文本规范草案10(FDIS&Last Call)”中描述的视频编解码标准，该标准以引用的方式并入。HEVC能将H.264/MPEG-4的码率减半同时提供同样的视频质量，或者能大大提高相同码率的H.264/MPEG-4的视频质量。HEVC支持8K超高清(简称UHD)电视和高达8192x4320的分辨率。虽然HEVC明显改进了现有的视频编码和解码技术，但HEVC不能充分处理3D视频。
图1为3D视频系统100的示意图。该系统包括a个录像设备105；复用设备120，其以通信方式耦合到所述录像设备105；网络135；b个观看设备140，其通过所述网络135以通信方式耦合到所述复用设备。a和b为任意正整数。所述系统100的组件可以如图所示排列或以其他合适的方式排列。
每个所述录像设备105均包括视频录像机110和编解码器115。所述视频录像机110是适合拍摄视频的硬件(如透镜)和软件的任何组合。所述编解码器115是适合编码视频的任何软件。但所述复用设备120通常按如下所述进行编码。
所述复用设备120包括编解码器125和复用器130。所述编解码器125类似于所述编解码器115，且是适合编码视频的任何软件。所述复用器130是适合复用编码视频以创建复用视频或码流的硬件和软件的任何组合。
所述网络135是适合在所述系统100的组件间提供通信的任何网络。例如，所述网络135为因特网、手机网络、局域网(简称LAN)、广域网(简称WAN)或其他合适的网络。所述网络135沿任何合适的有线或无线信道提供通信。
所述观看设备140可以是例如与终端用户相关联的手机或电视机等。每个所述观看设备140均包括编解码器145和显示器150。所述编解码器145是适合解码复用视频以创建解码视频的任何软件。所述显示器150是适合显示解码视频供终端用户观看的任何显示器。
在实践中，每个所述录像设备105均通过所述视频录像机110拍摄同一物体的独立视频。例如，每个所述录像设备105均拍摄一场足球赛的视频。但所述录像设备105位于整个足球场的不同位置，所以视频从不同角度关注同一场足球赛。由于所述录像设备105拍摄它们各自的视频，因此它们都将这些视频发送给所述复用设备120。所述录像设备105发送该视频是按每次一个视图或每次任意合适数量的视图。所述视图也可称为帧或图像。
所述复用设备120接收视图，并通过所述编解码器125编码所述视图以创建编码视图。然后，所述复用设备120通过所述复用器130复用所述编码视图以创建复用视频。接下来，所述复用设备120通过所述网络135将所述复用视频发送给所述观看设备140。所述复用设备120可以码流格式发送所述视频。
所述观看设备140通过所述网络135接收来自所述复用设备120的所述复用视频。所述编解码器145解码所述复用视频以获得原始复用视频。最后，所述显示器150以可观看的格式显示所述复用视频。由于复用视频包含来自不同角度的视频，因此它给观看者营造了3D视频的印象。
或者，可能只有一个录像设备105，例如，录像设备1051。所述录像设备105包括多个视频录像机110来从不同角度拍摄视图；通过所述编解码器115编码所述视图以创建编码视图；并复用所述编码视图以创建复用视频。最后，所述录像设备105通过所述网络135将所述复用视频发送给所述观看设备140。
如HEVC中所讲的传统视频拍摄使用一个录像设备从一个角度拍摄一个视频。可以看出，系统100中可以有任何数量的录像设备105及相应的视频以创建3D视频。每个额外的视频都需要额外的数据才能编码、发送和解码。为每个视频编码每比特的数据都需要相当大数量的数据，考虑到当前数据速率，这可能会使浏览该视频变得困难或不可能。因此，尝试了各种技术来降低如此大数量的数据。Li Zhang等人于2014年1月11日的“3D-HEVC和MV-HEVC的测试模型7”(简称“Zhang”)以引用的方式并入来应对3D视频。
图2为3D视频的编码和复用方案200的示意图。所述方案200呈现了与图1中的a个录像设备105对应的a个视图。可以看到的是，编解码器125分别编码所述视图，复用器130复用这些编码视图以创建复用视频。
每个视图均包括视频图像和相应的深度图像。深度图像包括与物体表面到视点的距离相关的数据。该数据可包括照度和色度相关的信息。照度是衡量有多少入射光照亮表面的指标，而色度是色彩衡量指标。该数据还可包括IC相关的信息。
视图1为独立视图，剩余视图(即视图2到视图a)为从属视图。独立视图，其也可称为参考视图，包含完整的照度、色度和其他数据。相反，从属视图，其也可称为当前视图，不一定包含完整的照度、色度和其他数据。相反，从属视图包含引用了独立视图中的照度、色度和其他数据的视差补偿预测(简称DCP)数据。或者，从属视图可包含引用了任何已编码视图(包括其他从属视图)的DCP数据。独立视图基于各种度量标准确定，所述度量标准保证该视图能很好地描述从属视图。一旦独立视图确定，剩余视图即确定为从属视图。
图3为3D视频的存取单元结构300的图；所述结构300包括存取单元1 310、存取单元2320、存取单元3到存取单元c-1(未示出)以及存取单元c 330。C为任意正整数。每个存取单元包括视图1，即独立视图，以及视图2到视图a，即从属视图。例如，存取单元1 310中的视图1包含完整的照度、色度和其他数据，存取单元1 310中的视图2到视图a包含引用了存取单元1 310中的视图1的DCP数据。同样地，存取单元2 320中的视图1包含完整的照度、色度和其他数据，存取单元2 320中的视图2到视图a包含引用了存取单元2 320中的视图1的DCP数据，以此类推，直到存取单元c 330。因此，存取单元是对应同一时刻的所有视图的集合。
因为每个存取单元中的视图都拍摄于不同的角度，所以它们都包含不同的照度信息。但由于这些视图属于同一物体，因此它们的照度信息会有极大的相似性。从属视图的DCP数据因此可描述这些相似性，而不是描述完整的照度、色度和其他数据。这样一来，从属视图可使描述完整照度、色度和其他数据所需数据至少节省80％。
DCP包括照度补偿(简称IC)。顾名思义，IC补偿每个从属视图相对于独立视图的照度。然而，如Zhang中描述的现有的IC方法在效率和其他方面可能仍有待提高。
本文公开了用于改进IC的实施例。具体地，所述实施例用于IC改善。视差矢量(简称DV)的不精确可能迫使IC改善，其减少了用于IC的相邻像素的配对不匹配情况。将相邻像素的不同配对进行对比以确定最佳配对。一旦最佳配对确定，即可实现更精确的IC。因此，IC改善整体提升了3D视频编码性能。
图4为IC方案400的图。所述IC方案400通过编解码器实现，例如，编解码器115、编解码器125或编解码器145等。所述IC方案400开始于独立视图402和从属视图407。所述独立视图402包含64个参考块，所述从属视图包含64个当前块。所述从属视图407包含引用了所述独立视图402中的照度、色度和其他数据的数据。例如，当前块410包含引用了参考块405中的照度、色度和其他数据的数据。
DV将每个当前块与参考块进行匹配。所述从属视图407中的当前块可或不可与所述独立视图402中同样位置的参考块匹配。例如，虽然当前块410比参考块405低一行且靠右边一列，但所述当前块410和所述参考块405匹配。
所述参考块405与一行标记为xi(i＝0、1…N-1)的相邻参考像素相关联。N为与每行的像素数相等的任意正整数。这种情况下，所述独立视图402中的参考块(包括参考块405)包括8行且每行8个像素，所以N＝8。所述相邻参考像素因此标记为x0 412、x1 415、x2417、x3 420、x4 422、x5 425、x6 427和x7 430。所述相邻参考像素x0-7 412-430也可称为相邻参考样本或简单相邻像素。所述相邻参考像素x0-7 412-430位于所述独立视图402中的参考块405正上方的或与参考块405相邻的参考块的最下面一行。
同样地，所述当前块410与一行标记为yi(i＝0、1…N-1)的相邻当前像素相关联。因N＝8，所以所述相邻当前像素标记为y0 432、y1 435、y2 437、y3 440、y4 442、y5445、y6447和y7 450。所述相邻当前像素y0-y7 432-450也可称为相邻当前样本或简单相邻像素。所述相邻当前像素y0-y7432-450位于所述从属视图407中的参考块410正上方的或与参考块410相邻的参考块的最下面一行。所述相邻当前像素y0-y7432-450与所述相邻参考像素x0- 7412-430基于DV进行匹配。
由于IC是按每次一行进行，因此，基于所述参考块405中第一行的参考像素计算对所述当前块410中第一行的当前像素的IC。然后，基于所述参考块405中第二行的参考像素计算对所述当前块410中第二行的当前像素的IC，以此类推。按顺序对每行进行IC。
基于参考像素采用线性IC模型对当前像素进行IC。所述模型使用IC参数，包括参数a和参数b。A是缩放因子，b是偏移量。通过最小化以下等式推导出A和b：
E(a，b)＝∑i(yi-axi-b)2+λ(a-1)2 (1)
其中，yi是相应相邻当前像素的像素值；xi是相应相邻参考像素的像素值；λ为正则化参数。然后如下推导出a：
Figure GDA0001115939980000091
其中，N为一行的像素数；λ设置为等于∑ixixi＞＞7或
Figure GDA0001115939980000092
A通常接近于1。最后，如下推导出b：
b＝∑iyi-a*∑ixi (3)
如图所示，所述相邻参考像素x0 412、x1 415、x2 417、x3 420、x4 422、x5 425、x6427和x7 430的像素值分别为58、62、69、65、70、178、186和177。所述相邻当前像素y0 432、y1435、y2 437、y3 440、y4 442、y5 445、y6447和y7 450的像素值分别为61、62、72、68、170、169、176和182。像素值代表任意或恒定单位的照度。像素值的范围从0到255，其中，0代表无照度或最小照度，255代表最大照度。计算出a和b之后，如下计算所述当前块410中每个当前像素的像素值：
yi＝(a*xi)+b (4)
相邻参考像素x0-7 412-430的像素值和相邻当前像素y0-y7 432-450的像素值是已知的。然而，当参考块位于所述独立视图402的边缘或当前块位于所述从属视图的边缘时，相邻参考像素或相邻当前像素的像素值可能未知。这种情况下，本领域的普通技术人员可以理解的是，基于Zhang或其他参考文献中描述的技术计算所述像素值。
为进一步简化IC计算，用因子2来抽取相邻参考像素和相邻当前像素，这意味着只使用每隔一个相邻参考像素的像素值和每隔一个相邻当前像素的像素值来计算a和b。例如，使用相邻参考像素x0 412、x2 417、x4 422和x6 427以及相邻当前像素y0 432、y2 437、y4442和y6 447。这种情况下，所述相邻参考像素x0 412、x2 417、x4 422和x6 427可分别称为新相邻参考像素x0 412、x1 417、x2 422和x3 427。同样地，所述相邻当前像素y0432、y2 437、y4442和y6 447可分别称为新相邻当前像素y0 432、y1 437、y2 442和y3 447。
除新参考像素x2 422和新当前像素y2 442外，新相邻参考像素x0-x3 412-427和新相邻当前像素y0-y3 432-447的像素值差都相似。具体地，所述新相邻参考像素x2 422的像素值为70，而所述新相邻当前像素y2 442的像素值为170。考虑到最大像素值255，该差值较大，且这一差值显著大于所有其他新相邻参考像素x0-x3 412-427和新相邻当前像素y0-y3432-447组的差值，因此表示所述DV可能不如期望的精确。相应地，需要IC改善方案。
图5为本发明实施例提供的IC改善方案500的图。所述IC改善方案500通过编解码器实现，例如，编解码器115、编解码器125或编解码器145等，从而改善所述方案400。所述方案500包括第一(原始)迭代510、第二迭代520和第三迭代530。每次迭代都用因子2来抽取相邻参考像素x0-7412-430和相邻当前像素y0-y7 432-450。
所述第一迭代510与图4中所示的相邻参考像素x0-x7 412-430和相邻当前像素y0-y7 432-450的迭代相同。例如，相邻参考像素x0 412与相邻当前像素y0432进行配对，相邻参考像素x2 417与相邻当前像素y2 437进行配对，以此类推。相邻参考像素x0-x7 412-430和相邻当前像素y0-y7432-450之间的配对可称为位置配对。所述第一迭代510因此显示第一位置配对。
由于用因子2来抽取相邻参考像素x0-x7 412-430和相邻当前像素y0-y7 432-450，因此相邻参考像素x0 412、x2 417、x4422和x6 427分别称为新相邻参考像素x0、x1、x2、和x3。同样地，相邻当前像素y0 432、y2 437、y4 442和y6447分别称为新相邻当前像素y0、y1、y2和y3。虚线的相邻参考像素x1 415、x3420、x5425和x7 430以及虚线的相邻当前像素y1435、y3440、y5445和y7 450表示它们不用于确定a和b。
然后基于每对新相邻参考像素x0-x3412-427和新相邻当前像素y0-y3 432-447如下计算绝对差和(简称SAD)：
Figure GDA0001115939980000111
其中，n为任意计数常数。如图5所示，N＝8。因所述抽取，等式(5)中N被2整除。等式(5)应用如下：
SAD＝Σ|58-61|+|69-72|+|70-170|+|186-176|
SAD＝116
SAD 116相对较高，且主要是因为新相邻参考像素x2 422的像素值70与新相邻当前像素y2 442的像素值170之差。所述SAD 116表示需要IC改善。
所述第二迭代520与所述第一迭代510类似，但向右移动一个像素进行配对，从而相邻参考像素x0412与相邻当前像素y1 435进行配对，相邻参考像素x2 417与相邻当前像素y3440进行配对，以此类推。所述第二迭代520因此显示第二位置配对。由于用因子2来抽取相邻参考像素x0-x7 412-430和相邻当前像素y0-y7 432-450，因此相邻参考像素x0 412、x2417、x4 422和x6427分别称为新相邻参考像素x0、x1、x2、和x3。同样地，相邻当前像素y1 435、y3440、y5 445和y7 450分别称为新相邻当前像素y0、y1、y2和y3。虚线的相邻参考像素x1 415、x3420、x5425和x7430以及虚线的相邻当前像素yo 432、y2437、y4442和y6 447表示它们不用于确定a和b。
然后基于每对新相邻参考像素x0-x3412-427和新相邻当前像素y0-y3 435-450如下计算SAD：
Figure GDA0001115939980000121
等式(6)应用如下：
SAD＝∑|58-62|+|69-68|+|70-169|+|186-182|
SAD＝108
SAD 108仍然相对较高，且主要是因为新相邻参考像素x2 422的像素值70与新相邻当前像素y2 445的像素值169之差。所述SAD 108表示仍需要IC改善。
所述第三迭代530与所述第一迭代510和所述第二迭代520类似，但向左移动一个像素进行配对，从而相邻参考像素x1415与相邻当前像素y0 432进行配对，相邻参考像素x3420与相邻当前像素y2 437进行配对，以此类推。所述第三迭代530因此显示第三位置配对。由于用因子2来抽取相邻参考像素x0-x7 412-430和相邻当前像素y0-y8 432-450，因此相邻参考像素x1 415、x3420、x5425和x7 430分别称为新相邻参考像素x0、x1、x2、和x3。同样地，相邻当前像素y0432、y2437、y4442和y6 447分别称为新相邻当前像素y0、y1、y2和y3。虚线的相邻参考像素x0 412、x2417、x4 422和x6 427以及虚线的相邻当前像素y1 435、y3440、y5445和y7 450表示它们不用于确定a和b。
然后基于每对新相邻参考像素x0-x3 415-430和新相邻当前像素y0-y3432-447如下计算SAD：
Figure GDA0001115939980000131
等式(7)应用如下：
SAD＝∑|62-61|+|65-72|+|178-170|+|177-176|
SAD＝17
SAD 17相对较低，且表示第一迭代510、第二迭代520和第三迭代530中，第三迭代530提供最好或最佳IC改善。所述第三迭代530中的位置配对因此称为最佳配对。
所述编解码器对比SAD 116、108和17，确定所述第三迭代530是最佳配对，因为所述第三迭代530的SAD 17最低，并基于所述第三迭代530中的最佳配对计算a和b。因此，可基于a、b和参考块405中参考像素的像素值确定当前块410中的当前像素的像素值。在第一实施例中，所述编解码器计算并编码a、b、最佳配对的指示符和参考像素的像素值以进行发送。在第二实施例中，所述编解码器只计算并编码最佳配对的指示符和参考像素的像素值以进行发送；另一编解码器解码所述最佳配对的指示符和所述参考像素的像素值，并基于所述最佳配对计算a和b。在第三实施例中，所述编解码器计算a和b，并编码a、b和最佳配对的指示符以进行发送。在第四实施例中，所述编解码器只计算并编码最佳配对的指示符以进行发送；另一编解码器解码所述最佳配对的指示符，并基于所述最佳配对计算a和b。
第一，虽然所述IC方案400和所述IC改善方案500阐述了对每独立视图64个参考块、每从属视图64个当前块、每参考块64个参考像素和每当前块64个当前像素进行IC，但所述IC方案400和所述IC改善方案500可对每独立视图任何数量的参考块、每从属视图任何数量的当前块、每参考块任何数量的参考像素和每当前块任何数量的当前像素进行IC和IC改善。第二，可使用任何合适的相邻参考像素和相邻当前像素。第三，虽然所述IC方案400和所述IC改善方案500阐述了每次对一行参考像素和一行当前像素进行IC和IC改善，但所述IC方案400和所述IC改善方案500可对任何合适的行数、列数或其他像素分组进行IC和IC改善。
图6为另一种IC方案600的图。所述方案600与图4中的所述IC方案400类似。但不同于所述方案400每次对一行进行IC，所述方案600每次对一列进行IC。例如，基于参考块605中的参考像素x0-x7 612-630使用等式(1)–(4)对当前块610中的当前像素632-650进行IC。为改善所述方案600，编解码器，例如，编解码器115、编解码器125或编解码器145等，使用等式(5)–(7)实现类似所述IC改善方案500的IC改善方案。
第四，虽然描述了使用因子2进行抽取，但所述IC方案400和所述IC改善方案500可使用任何抽取因子。第五，虽然所述IC改善方案500中使用了SAD，但也可使用如绝对误差和(简称SAE)、平方差和(简称SSD)、平方误差和(简称SSE)、绝对转换差和(简称SATD)、平均绝对差(简称MAD)、平均绝对误差(简称MAE)、均方差(简称MSD)和均方误差(简称MSE)等其他方法。第六，虽然对所述IC改善方案500的描述与IC相关，但同一技术可以应用于参考像素和当前像素之间的其他关系。
第七，所述IC改善方案500可进行任何合适数量的迭代。第八，若参考块和相应的当前块小于指定的尺寸，例如，若参考块中一行像素为4个或更少，则可执行所述IC方案400而不执行所述IC改善方案500。第九，若参考块和相应的当前块的行和列中像素数不同，例如，若参考块是8x7个像素而不是8x8个像素，则可执行所述IC方案400而不执行所述IC改善方案500。
第十，所述IC改善方案500阐述了只向右移动一个像素(例如，在所述第二迭代520中从新相邻参考像素x0412移到新相邻当前像素y1435，如连接两者的右斜箭头所示)或向左移动一个像素(例如，在所述第三迭代530中从新相邻参考像素x0412移到新相邻当前像素y0432，如连接两者的左斜箭头所示)。但是，所述IC改善方案500可进行多于一个像素的移动。所述移动可称为折射率差。例如，向右移动一个像素(例如，在所述第二迭代520中从新相邻参考像素x0 412移到新相邻当前像素y1 435)可表示折射率差为+1，向左移动一个像素点(例如，从新相邻参考像素x0 412移到新相邻当前像素y0 432)可表示折射率差为-1，以此类推。或者，所述移动可视为使用不同的配对方向。例如，所述第一迭代510中的箭头与页面底部成0度(°)角；所述第二迭代520中的箭头与页面底部成+45°角；所述第三迭代530中的箭头与页面底部成–45°角。这种情况下，所述IC改善方案500可进行任何合适角度的移动。
图7为图5中的IC改善方案500的建模性能图表700。所述图表700中的第一列展示了为建模性能提供的不同视频。例如，第一个视频为气球的视频。
所述图表700的第二列展示了相应视频的独立视图的编码性能；所述图表700的第三列展示了相应视频的第一从属视图的编码性能；所述图表700的第四列展示了相应视频的第二从属视图的编码性能。正百分比表示编码损失，而负百分比表示编码增益。如图表所示，独立视图的编码性能保持不变，因为独立视图充分编码且没有对其采用所述IC改善方案500。所有视频的第一从属视图的平均编码增益为0.04％。同样地，所有视频的第二从属视图的平均编码增益为0.10％。
所述图表700的第五列展示了每视频码率的视频峰值信噪比(简称PSNR)；所述图表700的第六列展示了每总码率的视频PSNR；所述图表700的第七列展示了每总码率的合成PSNR。正百分比表示PSNR增加，而负百分比表示PSNR减少。如图表所示，所有视频的每视频码率的视频PSNR平均减少0.02％。同样地，所有视频的每总码率的视频PSNR平均减少0.02％。最后，所有视频的每总码率的合成PSNR平均减少0.05％。
所述图表700的第八列展示了编码时间增加；所述图表700的第九列展示了解码时间增加；所述图表700的第十列展示了渲染时间增加。大于100％的百分比表示时间增加，而小于100％的百分比表示时间减少。如图表所示，所有视频的编码时间平均增加1.9％；所有视频的解码时间平均增加8.7％；所有视频的渲染时间平均增加6.1％。因此，所述IC改善方案500显示出了良好的编码性能且很好地降低了PSNR，同时没有明显增加编码时间、解码时间和渲染时间。
图8为说明本发明实施例提供的IC改善方法800的流程图。所述方法800至少有一部分由编解码器执行，例如，编解码器115或编解码器125等。在步骤810中，接收参考视图和当前视图。例如，编解码器125接收来自录像设备105的视频视图。所述视频视图包括独立视图402(也可称为参考视图)和从属视图407(也可称为当前视图)。所述参考视图包括参考块，例如，参考块405。所述当前视图包括当前块，例如，当前块410。
在步骤820中，确定与参考块相关联的相邻参考像素。例如，确定相邻参考像素x0-7412-430。在步骤830中，确定与当前块相关联的相邻当前像素。例如，确定相邻当前像素y0-y7 432-450。
在步骤840中，确定所述相邻参考像素和所述相邻当前像素的第一位置配对。例如，所述第一位置配对是所述第一迭代510中的第一位置配对。在步骤850中，确定所述相邻参考像素和所述相邻当前像素的第二位置配对。例如，所述第二位置配对是所述第二迭代520中的第二位置配对。
最后，在步骤860中，从所述第一位置配对和所述第二位置配对中确定最佳配对。例如，通过使用等式(5)和(6)确定所述第一迭代510中的所述第一位置配对产生的SAD为116，所述第二迭代520中的所述第二位置配对产生的SAD为108，因此所述第二迭代520中的所述第二位置配对为最佳配对。当然，所述编解码器可确定如所述第三迭代530中的位置配对等附加位置配对，并可基于所述附加位置配对确定最佳配对。
图9为网络设备900的示意图。所述网络设备900适合执行公开的实施例，包括所述IC方案400、所述IC改善方案500和所述方法800。所述网络设备900包括入端口910；接收器单元(简称Rx)920，用于接收数据；处理器、逻辑单元或中央处理器(简称CPU)930，用于处理数据；发送器单元(简称Tx)940和出端口950，用于发送数据；存储器960，用于存储数据。所述网络设备900还可包括光电(简称OE)组件和电光(简称EO)组件，与所述入端口910、接收器单元920、发送器单元940和出端口950耦合，用于光信号或电信号的收发。
所述处理器930可通过硬件和软件实现。所述处理器930可作为一个或更多CPU芯片、核心(例如，多核处理器)、现场可编程门阵列(简称FPGA)、专用集成电路(简称ASIC)和数字信号处理器(简称DSP)实现。所述处理器930与所述入端口910、接收器单元920、发送器单元940、出端口950和存储器960进行通信。所述处理器930包括编解码器970，类似于编解码器115、125和145。所述编解码器970执行所述方法800的至少一部分。由于包含所述编解码器970，因此所述设备900的功能得到改进。所述编解码器970还实现所述设备900不同状态的转换。或者，所述编解码器970作为指令实现，由所述存储器960存储并由所述处理器930执行。
所述存储器960包括一个或多个磁盘、磁带驱动器和固态硬盘，且可用作溢出数据存储设备；用于在选择程序执行时存储此类程序；用于存储指令以及程序执行过程中读出的数据。所述存储器960可以是易失的和非易失的，可以是只读存储器(简称ROM)、随机存取存储器(简称RAM)、三态内容寻址存储器(简称TCAM)和静态随机存储器(简称SRAM)。
一种图像处理方法，其特征在于，包括：获得参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；确定所述第一类型像素和所述第二类型像素的第一位置配对；确定所述第一类型像素和所述第二类型像素的第二位置配对；从所述第一位置配对和所述第二位置配对中确定最佳配对，并使用与所述第一类型像素和所述第二类型像素相关联的所述最佳配对进行照度补偿(简称IC)计算；以信号告知所述最佳配对的指示符。
根据上述的方法，其特征在于，还包括：基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
根据上述的方法，其特征在于，位置配对代表所述第一类型像素和所述第二类型像素的相应位置关系。
根据上述的方法，其特征在于，所述参考块与所述当前块基于视差矢量(简称DV)相关联。
根据上述的方法，其特征在于，基于所述第一类型像素和所述第二类型像素确定所述最佳配对，其中，所述最佳配对中所述第一类型像素和所述第二类型像素具有最小差异。
根据上述的方法，其特征在于，所述确定所述第一类型像素和所述第二类型像素的所述最佳配对的方法是使用以下任何一个度量标准计算所述最小差异：平方差和(简称SSD)、平方误差和(简称SSE)、绝对转换差和(简称SATD)、平均绝对差(简称MAD)、平均绝对误差(简称MAE)、均方差(简称MSD)或均方误差(简称MSE)。
一种图像处理方法，其特征在于，包括：获得参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；获得所述当前块的指示符，所述指示符以信号告知所述第一类型像素和所述第二类型像素的位置配对。使用与所述第一类型像素和所述第二类型像素相关联的所述位置配对对所述当前块进行照度补偿(简称IC)计算。
根据上述的方法，其特征在于，所述参考块与所述当前块基于视差矢量(简称DV)相关联。
根据上述的方法，其特征在于，位置配对代表所述第一类型像素和所述第二类型像素的相应位置关系。
根据上述的方法，其特征在于，还包括：基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
根据上述的方法，其特征在于，第一位置配对和第二位置配对基于所述第一类型像素和所述第二类型像素的折射率差。
根据上述的方法，其特征在于，所述第一类型像素和所述第二类型像素的所述折射率差为-2、-1、0、1或2中的任何一个值。
根据上述的方法，其特征在于，第一位置配对和第二位置配对基于所述第一类型像素和所述第二类型像素的配对方向。
根据上述的方法，其特征在于，所述第一类型像素和所述第二类型像素的所述配对方向为-45度、0度、或45度中的任何一个角度。
根据上述的方法，其特征在于，所述方法跳过对特定尺寸的块的照度补偿(简称IC)计算。
根据上述的方法，其特征在于，块的尺寸大于或等于4且小于或等于16。
一种图像处理装置，其特征在于，包括：提取器，用于获得包括参考视图和当前视图的视频视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；处理器，与所述接收器耦合，用于：获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；确定所述第一类型像素和所述第二类型像素的第一位置配对；确定所述第一类型像素和所述第二类型像素的第二位置配对；从所述第一位置配对和所述第二位置配对中确定最佳配对，并使用与所述第一类型像素和所述第二类型像素相关联的所述最佳配对进行照度补偿(简称IC)计算。
根据上述的装置，其特征在于，所述处理器还用于：基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
根据上述的装置，其特征在于，还包括：信号处理模块，与所述处理器耦合，用于以信号告知所述最佳配对的指示符。
根据上述的装置，其特征在于，所述处理器还用于基于视差矢量(简称DV)将所述参考块与所述当前块进行关联。
根据上述的方法，其特征在于，所述处理器还用于基于所述第一类型像素和所述第二类型像素确定所述最佳配对，其中，所述最佳配对中所述第一类型像素和所述第二类型像素具有最小差异。
根据上述的装置，其特征在于，所述处理器用于基于所述第一类型像素和所述第二类型像素确定所述最佳配对的方法是使用以下任何一个度量标准计算所述最小差异：平方差和(简称SSD)、平方误差和(简称SSE)、绝对转换差和(简称SATD)、平均绝对差(简称MAD)、平均绝对误差(简称MAE)、均方差(简称MSD)或均方误差(简称MSE)。
一种图像处理装置，其特征在于，包括：接收器，用于接收编码码流，所述码流包括：包括参考块的参考视图；包括当前块的当前视图；配对的指示符；处理器，与所述接收器耦合，用于获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；使用与所述第一类型像素和所述第二类型像素相关联的位置配对进行照度补偿(简称IC)计算。
根据上述的装置，其特征在于，所述处理器还用于：基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
根据上述的装置，其特征在于，所述配对基于折射率差或配对方向。
虽然本发明提供了几个实施例，但可以理解的是，在不脱离本发明的精神或范围的情况下，所公开的系统和方法也可通过其它多种具体形式体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或组件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电气方式、机械方式或其它方式通过某一接口、设备或中间组件间接地耦合或通信。在不脱离本文公开的精神和范围的情况下做出的其它变更、替换、更替示例对本领域技术人员而言是显而易见的。

Claims (38)

1.一种图像处理装置，其特征在于，包括：
接收器，用于接收包括参考视图和当前视图的视频视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；
处理器，与所述接收器耦合，用于：
确定与所述参考块相关联的相邻参考像素；
确定与所述当前块相关联的相邻当前像素；
确定所述相邻参考像素和所述相邻当前像素的第一位置配对,其中,所述第一位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素；
确定所述相邻参考像素和所述相邻当前像素的第二位置配对，其中,所述第一位置配对与所述第二位置配对不同，所述第二位置配对为第二新相邻参考像素所在位置以及第二新相邻当前像素所在位置的配对，所述第二新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第二新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素；
从所述第一位置配对和所述第二位置配对中确定最佳配对；
所述处理器还用于：
基于所述最佳配对计算缩放因子a；
基于所述最佳配对计算偏移量b；
计算所述参考块中的参考像素的参考像素值；
编码a、b、所述最佳配对的指示符和所述参考像素值。
2.根据权利要求1所述的装置，其特征在于，还包括：发送器，与所述处理器耦合，用于发送a、b、所述最佳配对的指示符和所述参考像素值。
3.根据权利要求1所述的装置，其特征在于，所述处理器还用于：
计算所述参考块中的参考像素的参考像素值；
编码所述最佳配对的指示符和所述参考像素值。
4.根据权利要求1所述的装置，其特征在于，所述处理器还用于基于视差矢量（简称DV）将所述参考块与所述当前块进行关联。
5.根据权利要求1所述的装置，其特征在于，所述第一位置配对和所述第二位置配对基于折射率差。
6.根据权利要求1所述的装置，其特征在于，所述第一位置配对和所述第二位置配对基于配对方向。
7.根据权利要求1所述的装置，其特征在于，所述相邻参考像素包括第一像素值，所述相邻当前像素包括第二像素值；所述处理器还用于基于所述第一像素值和所述第二像素值的绝对差和（简称SAD）确定所述最佳配对。
8.根据权利要求1所述的装置，其特征在于，所述相邻参考像素包括第一像素值，所述相邻当前像素包括第二像素值；所述处理器还用于基于所述第一像素值和所述第二像素值的绝对误差和（简称SAE）确定所述最佳配对。
9.一种图像处理方法，其特征在于，包括：
接收参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；
确定与所述参考块相关联的相邻参考像素；
确定与所述当前块相关联的相邻当前像素；
确定所述相邻参考像素和所述相邻当前像素的第一位置配对,其中,所述第一位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素；
确定所述相邻参考像素和所述相邻当前像素的第二位置配对，其中,所述第一位置配对与所述第二位置配对不同，所述第二位置配对为第二新相邻参考像素所在位置以及第二新相邻当前像素所在位置的配对，所述第二新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第二新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素；
从所述第一位置配对和所述第二位置配对中确定最佳配对；
所述方法还包括：
基于所述最佳配对计算缩放因子a；
基于所述最佳配对计算偏移量b；
计算所述参考块中的参考像素的参考像素值；
编码a、b、所述最佳配对的指示符和所述参考像素值；
发送a、b、所述指示符和所述参考像素值。
10.根据权利要求9所述的方法，其特征在于，还包括：
计算所述参考块中的参考像素的参考像素值；
编码所述最佳配对的指示符和所述参考像素值；
发送所述指示符和所述参考像素值。
11.根据权利要求9所述的方法，其特征在于，所述相邻参考像素包括第一像素值，所述相邻当前像素包括第二像素值；基于所述第一像素值和所述第二像素值的平方差和（简称SSD）确定所述最佳配对。
12.根据权利要求9所述的方法，其特征在于，所述相邻参考像素包括第一像素值，所述相邻当前像素包括第二像素值；基于所述第一像素值和所述第二像素值的平方误差和（简称SSE）确定所述最佳配对。
13.根据权利要求9所述的方法，其特征在于，所述相邻参考像素包括第一像素值，所述相邻当前像素包括第二像素值；基于所述第一像素值和所述第二像素值的绝对变换差和（简称SATD）确定所述最佳配对。
14.一种图像处理装置，其特征在于，包括：
接收器，用于接收编码码流，所述码流包括：
包括第一参考块的参考视图，其中，所述第一参考块包括具有第一参考像素值的第一参考像素；
包括第一当前块的当前视图，其中，所述第一当前块包括第一当前像素；
配对的指示符，所述指示符用于指示与所述第一参考像素关联的相邻参考像素与所述第一当前像素相关联的相邻当前像素的特定位置配对，其中，所述特定的位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素；
处理器，与所述接收器耦合，用于基于所述第一参考像素值和所述指示符计算所述第一当前像素的第一当前像素值；
所述编码码流还包括缩放因子a和偏移量b；所述处理器还用于基于a和b计算所述第一当前像素值。
15.根据权利要求14所述的装置，其特征在于，所述参考视图包括与所述第一参考块相邻的第二参考块，所述第二参考块包括相邻参考像素；所述当前视图包括与所述第一当前块相邻的第二当前块，所述第二当前块包括相邻当前像素；所述处理器还用于基于所述相邻参考像素、所述相邻当前像素和所述指示符计算缩放因子a和偏移量b。
16.根据权利要求15所述的装置，其特征在于，所述处理器还用于基于以下公式计算a：
Figure DEST_PATH_IMAGE002
其中，N是每行的相邻参考像素数和相邻当前像素数；i是计数变量，即i= 0、1…N-1；xi是第i个相邻参考像素的相邻参考像素值；yi是第i个相邻当前像素的相邻当前像素值；λ是等于
Figure DEST_PATH_IMAGE004
的正则化参数。
17.根据权利要求15所述的装置，其特征在于，所述处理器还用于基于以下公式计算b：
Figure DEST_PATH_IMAGE006
。
18.一种图像处理方法，其特征在于，包括：
获得参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；
获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；
获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；
确定所述第一类型像素和所述第二类型像素的第一位置配对,其中,所述第一位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述与所述参考块相关联的相邻像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述与所述当前块相关联的相邻像素的子集且相互之间间隔一个或者多个像素；
确定所述第一类型像素和所述第二类型像素的第二位置配对，其中,所述第一位置配对与所述第二位置配对不同，所述第二位置配对为第二新相邻参考像素所在位置以及第二新相邻当前像素所在位置的配对，所述第二新相邻参考像素为所述与所述参考块相关联的相邻像素的子集且相互之间间隔一个或者多个像素，所述第二新相邻当前像素为所述与所述当前块相关联的相邻像素的子集且相互之间间隔一个或者多个像素；
从所述第一位置配对和所述第二位置配对中确定最佳配对，并使用与所述第一类型像素和所述第二类型像素相关联的所述最佳配对进行照度补偿（简称IC）计算；
以信号告知所述最佳配对的指示符；
基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
19.根据权利要求18所述的方法，其特征在于，位置配对代表所述第一类型像素和所述第二类型像素的相应位置关系。
20.根据权利要求18所述的方法，其特征在于，所述参考块与所述当前块基于视差矢量（简称DV）相关联。
21.根据权利要求18所述的方法，其特征在于，基于所述第一类型像素和所述第二类型像素确定所述最佳配对，其中，所述最佳配对中所述第一类型像素和所述第二类型像素具有最小差异。
22.根据权利要求21所述的方法，其特征在于，所述确定所述第一类型像素和所述第二类型像素的所述最佳配对的方法是使用以下任何一个度量标准计算所述最小差异：
平方差和（简称SSD）；
平方误差和（简称SSE）；
绝对转换差和（简称SATD）；
平均绝对差（简称MAD）；
平均绝对误差（简称MAE）；
均方差（简称MSD）；或
均方误差（简称MSE）。
23.一种图像处理方法，其特征在于，包括：
获得参考视图和当前视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；
获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；
获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；
获得所述当前块的指示符，所述指示符以信号告知所述第一类型像素和所述第二类型像素的位置配对,所述位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述与所述参考块相关联的相邻像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述与所述当前块相关联的相邻像素的子集且相互之间间隔一个或者多个像素；
使用与所述第一类型像素和所述第二类型像素相关联的所述位置配对计算缩放因子a和偏移量b并对所述当前块进行照度补偿（简称IC）计算。
24.根据权利要求23所述的方法，其特征在于，所述参考块与所述当前块基于视差矢量（简称DV）相关联。
25.根据权利要求23所述的方法，其特征在于，位置配对代表所述第一类型像素和所述第二类型像素的相应位置关系。
26.根据权利要求23所述的方法，其特征在于，第一位置配对和第二位置配对基于所述第一类型像素和所述第二类型像素的折射率差。
27.根据权利要求26所述的方法，其特征在于，所述第一类型像素和所述第二类型像素的所述折射率差为-2、-1、0、1或2中的任何一个值。
28.根据权利要求23所述的方法，其特征在于，第一位置配对和第二位置配对基于所述第一类型像素和所述第二类型像素的配对方向。
29.根据权利要求27所述的方法，其特征在于，所述第一类型像素和所述第二类型像素的所述配对方向为-45度、0度、或45度中的任何一个角度。
30.根据权利要求23所述的方法，其特征在于，所述方法跳过对特定尺寸的块的照度补偿（简称IC）计算。
31.根据权利要求30所述的方法，其特征在于，块的尺寸大于或等于4且小于或等于16。
32.一种图像处理装置，其特征在于，包括：
提取器，用于获得包括参考视图和当前视图的视频视图，其中，所述参考视图包括参考块，所述当前视图包括当前块；
处理器，与所述提取器耦合，用于：
获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；
获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；
确定所述第一类型像素和所述第二类型像素的第一位置配对,其中,所述第一位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述与所述参考块相关联的相邻像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述与所述当前块相关联的相邻像素的子集且相互之间间隔一个或者多个像素；
确定所述第一类型像素和所述第二类型像素的第二位置配对，其中,所述第一位置配对与所述第二位置配对不同，所述第二位置配对为第二新相邻参考像素所在位置以及第二新相邻当前像素所在位置的配对，所述第二新相邻参考像素为所述与所述参考块相关联的相邻像素的子集且相互之间间隔一个或者多个像素，所述第二新相邻当前像素为所述与所述当前块相关联的相邻像素的子集且相互之间间隔一个或者多个像素；
从所述第一位置配对和所述第二位置配对中确定最佳配对，并使用与所述第一类型像素和所述第二类型像素相关联的所述最佳配对进行照度补偿（简称IC）计算；
所述处理器还用于：
基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
33.根据权利要求32所述的装置，其特征在于，还包括：信号处理模块，与所述处理器耦合，用于以信号告知所述最佳配对的指示符。
34.根据权利要求32所述的装置，其特征在于，所述处理器还用于基于视差矢量（简称DV）将所述参考块与所述当前块进行关联。
35.根据权利要求32所述的装置，其特征在于，所述处理器还用于基于所述第一类型像素和所述第二类型像素确定所述最佳配对，其中，所述最佳配对中所述第一类型像素和所述第二类型像素具有最小差异。
36.根据权利要求35所述的装置，其特征在于，所述处理器用于基于所述第一类型像素和所述第二类型像素确定所述最佳配对的方法是使用以下任何一个度量标准计算所述最小差异：
平方差和（简称SSD）；
平方误差和（简称SSE）；
绝对转换差和（简称SATD）；
平均绝对差（简称MAD）；
平均绝对误差（简称MAE）；
均方差（简称MSD）；或
均方误差（简称MSE）。
37.一种图像处理装置，其特征在于，包括：
接收器，用于接收编码码流，所述码流包括：
包括参考块的参考视图；
包括当前块的当前视图；
配对的指示符,所述指示符用于指示与第一参考像素关联的相邻参考像素与第一当前像素相关联的相邻当前像素的特定位置配对，其中，所述特定的位置配对为第一新相邻参考像素所在位置以及第一新相邻当前像素所在位置的配对，所述第一新相邻参考像素为所述相邻参考像素的子集且相互之间间隔一个或者多个像素，所述第一新相邻当前像素为所述相邻当前像素的子集且相互之间间隔一个或者多个像素;
处理器，与所述接收器耦合，用于：
获得第一类型像素，所述第一类型像素包括与所述参考块相关联的相邻像素；
获得第二类型像素，所述第二类型像素包括与所述当前块相关联的相邻像素；
使用与所述第一类型像素和所述第二类型像素相关联的位置配对进行照度补偿（简称IC）计算；
基于所述第一类型像素和所述第二类型像素计算缩放因子a和偏移量b。
38.根据权利要求37所述的装置，其特征在于，所述配对基于折射率差或配对方向。
CN201580014618.6A 2014-03-21 2015-03-21 图像处理装置及方法 Active CN106464864B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461968980P 2014-03-21 2014-03-21
US61/968,980 2014-03-21
US14/664,348 2015-03-20
US14/664,348 US10554967B2 (en) 2014-03-21 2015-03-20 Illumination compensation (IC) refinement based on positional pairings among pixels
PCT/CN2015/074817 WO2015139668A1 (en) 2014-03-21 2015-03-21 Illumination compensation (ic) refinement

Publications (2)

Publication Number Publication Date
CN106464864A CN106464864A (zh) 2017-02-22
CN106464864B true CN106464864B (zh) 2020-01-10

Family

ID=54143320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580014618.6A Active CN106464864B (zh) 2014-03-21 2015-03-21 图像处理装置及方法

Country Status (3)

Country Link
US (1) US10554967B2 (zh)
CN (1) CN106464864B (zh)
WO (1) WO2015139668A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
EP3787288B1 (en) * 2016-11-04 2024-02-28 Google LLC Restoration in video coding using filtering and sub space projection
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
TWI724442B (zh) 2018-06-29 2021-04-11 大陸商北京字節跳動網絡技術有限公司 用於查找表更新的編碼的運動信息的選擇
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI731364B (zh) * 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
US11632546B2 (en) * 2018-07-18 2023-04-18 Electronics And Telecommunications Research Institute Method and device for effective video encoding/decoding via local lighting compensation
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11949527B2 (en) * 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911708A (zh) * 2008-01-10 2010-12-08 汤姆森特许公司 帧内预测视频的照明补偿方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
KR100994771B1 (ko) * 2003-12-29 2010-11-16 삼성전자주식회사 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치
US7894526B2 (en) 2004-02-27 2011-02-22 Panasonic Corporation Motion estimation method and moving picture coding method
KR100994773B1 (ko) * 2004-03-29 2010-11-16 삼성전자주식회사 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
WO2007081177A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
KR101208680B1 (ko) * 2006-03-22 2012-12-10 삼성전자주식회사 영상디스플레이장치 및 컬러왜곡 보상방법
WO2007108661A1 (en) * 2006-03-22 2007-09-27 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding the compensated illumination change
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
US9456223B2 (en) 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN101478672B (zh) 2008-01-04 2012-12-19 华为技术有限公司 视频编码、解码方法及装置和视频处理系统
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
US9001271B2 (en) 2008-06-20 2015-04-07 Mediatek Inc. Method and related apparatus for generating interpolated frame according to spatial relationship result and temporal matching difference
CN102210152A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
EP2334088A1 (en) 2009-12-14 2011-06-15 Koninklijke Philips Electronics N.V. Generating a 3D video signal
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP2013038623A (ja) * 2011-08-09 2013-02-21 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
EP2745513B1 (en) 2011-08-19 2020-03-11 Telefonaktiebolaget LM Ericsson (publ) Motion vector processing
KR102270787B1 (ko) * 2013-01-10 2021-06-29 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10321142B2 (en) * 2013-07-15 2019-06-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
WO2015105385A1 (ko) * 2014-01-09 2015-07-16 삼성전자 주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
US10158884B2 (en) * 2014-03-19 2018-12-18 Qualcomm Incorporated Simplified merge list construction process for 3D-HEVC

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911708A (zh) * 2008-01-10 2010-12-08 汤姆森特许公司 帧内预测视频的照明补偿方法和装置

Also Published As

Publication number Publication date
US10554967B2 (en) 2020-02-04
US20150271488A1 (en) 2015-09-24
WO2015139668A1 (en) 2015-09-24
CN106464864A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106464864B (zh) 图像处理装置及方法
US11917130B2 (en) Error mitigation in sub-picture bitstream based viewpoint dependent video coding
US8532410B2 (en) Multi-view video coding with disparity estimation based on depth information
US11638003B2 (en) Video coding and decoding methods and devices using a library picture bitstream
KR100913088B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US10536718B2 (en) Method and device for encoding and decoding a light field based image, and corresponding computer program product
US20090219985A1 (en) Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
CN113840143A (zh) 编码器、解码器以及使用ibc专用缓冲区的对应方法
RU2669685C2 (ru) Устройство и способ декодирования изображения
BR112021000694A2 (pt) Codificador de vídeo, decodificador de vídeo, e métodos de codificação e decodificação correspondentes
CN110419219A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104604223A (zh) 用于视频编码和解码的装置、方法和计算机程序
US11909959B2 (en) Encoder, a decoder and corresponding methods for merge mode
CN104813669A (zh) 用于视频编码的方法和装置
JP2023157942A (ja) クロマサブブロックのアフィンベースのインター予測のための方法及び装置
JP2022524357A (ja) エンコーダ、デコーダ、及び対応するインター予測方法
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
US20230017934A1 (en) Image encoding and decoding methods and apparatuses
WO2023051156A1 (zh) 视频图像的处理方法及装置
BR112021012708A2 (pt) Método e aparelho de modelagem linear de componente cruzado para predição intra
US20230019601A1 (en) Encoding and decoding methods and apparatus
EP4320861A1 (en) Video coding with dynamic groups of pictures
JP2022526770A (ja) ビデオコーディングのための変換ユニット区分方法
Carreira Error resilience and concealment techniques for high-efficiency video coding
Rahimi Reliable Streaming of Stereoscopic Video Considering Region of Interest

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant