CN112823516A - 编码设备、编码方法和解码设备 - Google Patents

编码设备、编码方法和解码设备 Download PDF

Info

Publication number
CN112823516A
CN112823516A CN201980066603.2A CN201980066603A CN112823516A CN 112823516 A CN112823516 A CN 112823516A CN 201980066603 A CN201980066603 A CN 201980066603A CN 112823516 A CN112823516 A CN 112823516A
Authority
CN
China
Prior art keywords
rate control
image data
encoding
rate
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980066603.2A
Other languages
English (en)
Inventor
镰田洸
三岛朗史
安藤胜俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112823516A publication Critical patent/CN112823516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种编码设备，设有：编码处理单元，其对要处理的图像数据执行编码处理；以及控制单元，其在要处理的图像数据被分割为多个区域时以如下方式控制编码处理，对分割边界附近的速率控制区域提供比速率控制区域以外的区域的位速率更高的位速率。

Description

编码设备、编码方法和解码设备
技术领域
本发明涉及编码设备、编码方法和解码设备，具体地涉及在将一个图像分割为多个区域并执行编码的情况下的技术。
背景技术
已知将一个图像分割为多个区域、执行编码、解码和接合该多个区域并进行显示的技术。在这种图像显示系统中，在一些情况下，分割边界在显示图像上是明显的。
为了避免这个问题，已知一种技术，其中在多投影环境下，通过在分割图像时形成重叠部分并在进行显示时对相邻图像的重叠部分施加渐变并执行融合来隐藏分割边界，如下面列出的专利文献1或2中所描述的。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2004-147143
专利文献2：日本专利申请特许公开No.2017-116950
发明内容
本发明要解决的问题
但是，在未能使用从多个输入中获得要在一个像素中显示的信息并执行融合的显示设备(诸如平铺型显示器)中，无法使用在专利文献1或2中所描述的技术。
此外，如果以位速率增加的方式对所有分割的图像进行编码，有可能在执行解码并显示接合的图像时使分割边界不明显。但是，整个图像的位速率增加，并且这导致文件大小的增加或计算成本的增加。
相应地，本技术提出了一种用于防止分割边界在显示图像上明显并且防止数据量过大的技术。
问题的解决方案
根据本技术的编码设备包括：编码处理部分，其对用作处理对象的图像数据执行编码处理；以及控制单元，其控制编码处理以使得速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，该速率控制区域在用作处理对象的图像数据被分割为多个区域时位于分割边界附近。
速率控制区域被设置为在分割一个图像时分割边界附近的区域。使得构成这个速率控制区域的数据具有比图像中其它区域中的信息量更大的信息量。
在上面已经描述的根据本技术的编码设备中，可以想到的是，编码处理部分执行压缩编码处理，并且控制单元对速率控制区域发布以比对速率控制区域以外的区域的压缩编码处理的压缩率低的压缩率执行压缩编码处理的指令。
换句话说，对分割边界附近的速率控制区域中的数据以更低的压缩率执行压缩处理，因此位速率增加。
在上面已经描述的根据本技术的编码设备中，可以想到的是，控制单元基于用作处理对象的图像数据的分割边界来执行设置速率控制区域的处理。
换句话说，速率控制区域由控制单元设置。
在上面已经描述的根据本技术的编码设备中，可以想到的是，控制单元执行：设置用作处理对象的图像数据的分割边界，并且基于分割边界来设置速率控制区域；并且对速率控制区域发布使位速率高于速率控制区域以外的区域中的位速率的指令，并且使编码处理部分对用作处理对象的图像数据执行编码处理。
换句话说，在已经设置分割边界并且已经设置速率控制区域之后，发布指示速率控制区域的指令，并且执行编码处理。
在上面已经描述的根据本技术的编码设备中，可以想到的是，控制单元执行控制以将已经执行编码处理的图像数据视为通过已设置的分割边界分割而获得的多个图像数据。
换句话说，在已经对整个原始图像数据执行压缩处理之后，执行控制以存储或发送多个分割的图像数据。
在上面已经描述的根据本技术的编码设备中，可以想到的是，控制单元设置用作处理对象的图像数据的分割边界，基于分割边界分割图像数据，在每个分割的区域中设置速率控制区域，并使编码处理部分执行编码处理。
换句话说，在已经设置分割边界并且已经分割区域之后，在每个分割的区域中设置速率控制区域，针对每个分割的区域发布指示速率控制区域的指令，并且执行编码处理。
在上面已经描述的根据本技术的编码设备中，可以想到的是，当假设包括多个像素数据的块是编码处理单位时，速率控制区域至少包括与分割边界相接的块。
换句话说，至少将与分割边界相接的块设置为速率控制区域，并且增加这些块的位速率。
注意的是，“与分割边界相接”是指块的一侧形成分割边界的状态。换句话说，与分割边界相接的块是指在分割的区域的外边缘上的块，以及与其它分割的区域相邻的块。
在上面已经描述的根据本技术的编码设备中，可以想到的是，当假设包括多个像素数据的块是编码处理单位时，速率控制区域包括从与分割边界相接的块的行起连续的多个块行，或者从与分割边界相接的块的列起连续的多个块列。
换句话说，至少将从与分割边界相接的块的行或列起多行或多列的范围设置为速率控制区域，并且这些块的位速率增加。
在上面已经描述的根据本技术的编码设备中，可以想到的是，当假设包括多个像素数据的块是编码处理单位时，控制单元执行控制以在速率控制区域中生成以第一压缩率执行压缩编码的块和以第二压缩率执行压缩编码的块。
以如下方式执行控制：在与速率控制区域对应的块当中，存在对其发布以不同压缩率执行压缩编码的指令的块。
在上面已经描述的根据本技术的编码设备中，可以想到的是，当假设包括多个像素数据的块是编码处理单位时，控制单元可变地设置与速率控制区域对应的块。
换句话说，速率控制区域是根据预定算法可变地设置的，而没有固定地设置速率控制区域。
在上面已经描述的根据本技术的编码设备中，可以想到的是，控制单元对于速率控制区域可变地设置对编码处理部分指示的压缩率。
换句话说，速率控制区域的压缩率是根据预定算法可变地设置的，而没有固定地设置该压缩率。
在上面已经描述的根据本技术的编码设备中，可以想到的是，在分割边界在用作处理对象的图像数据的水平方向和垂直方向上存在的情况下，当假设包括多个像素数据的块是编码处理单位时，以如下方式设置速率控制区域：使得速率控制区域中沿着水平方向上的分割边界的块行数与沿着垂直方向上的分割边界的块列数不同。
换句话说，构成速率控制区域的块行与块列的数量彼此不同，并且使速率控制区域的水平方向与垂直方向上的范围彼此不同。
在上面已经描述的根据本技术的编码设备中，可以想到的是，在分割边界在用作处理对象的图像数据的水平方向和垂直方向上存在的情况下，当假设包括多个像素数据的块是编码处理单位时，控制单元使对于速率控制区域中沿着水平方向上的分割边界的块而对编码处理部分指示的压缩率与对于沿着垂直方向上的分割边界的块而对编码处理部分指示的压缩率不同。
换句话说，在构成速率控制区域的块当中，使水平行的块与垂直列的块之间压缩率不同。
根据本技术的编码方法包括以如下方式对用作处理对象的图像数据执行编码处理：速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，速率控制区域在图像数据被分割为多个区域时位于分割边界附近。
通过这样做，构成速率控制区域的数据具有比图像中的其它区域的信息量大的信息量。
根据本技术的解码设备包括：多个解码处理单元，其与用作形成一个图像的多个分割的区域的多个图像数据对应地执行解码，该多个图像数据是分别以如下方式被执行过编码处理而得到的：使得速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，该速率控制区域已经被设置于在分割时的分割边界附近；以及显示控制单元，其合成通过使用该多个解码处理单元执行解码而获得的该多个图像数据以形成构成该一个图像的图像数据，并使得进行显示。
通过这样做，对在速率控制区域中位速率增加的分割的区域中的图像数据进行解码，并且进一步合成该图像数据以在分割边界处接合，并且进行显示。
附图说明
图1是根据本技术实施例的执行编码处理的图像处理装置的框图。
图2是根据实施例的压缩编码器的框图。
图3是根据实施例的用作处理对象的图像和分割的区域的说明图。
图4是根据实施例的执行解码处理的图像处理装置的框图。
图5是根据第一实施例的速率控制区域的说明图。
图6是根据第一实施例的编码处理的流程图。
图7是根据第二实施例的编码处理的流程图。
图8是根据第三实施例的速率控制区域的说明图。
图9是根据第四实施例的速率控制区域的说明图。
图10是根据第五实施例的速率控制区域的说明图。
图11是根据第六实施例的速率控制区域的说明图。
图12是根据第七实施例的速率控制区域的说明图。
图13是根据第八实施例的速率控制区域的说明图。
图14是根据第九实施例的速率控制区域的说明图。
图15是根据实施例的分割的区域的其它示例的说明图。
具体实施方式
下面按以下次序描述实施例。
<1.执行编码处理的图像处理装置的配置>
<2.执行解码处理的图像处理装置的配置>
<3.根据第一实施例的编码处理>
<4.根据第二实施例的编码处理>
<5.根据第三至第九实施例的速率控制区域>
<6.综述和变形例>
<1.执行编码处理的图像处理装置的配置>
图1图示了对图像数据执行编码处理的图像处理装置1的配置。图像处理装置1包括例如编码设备10、存储单元13、通信单元14、操作单元15和图像源16。在这个示例中，假设编码设备10包括压缩编码器11和控制器12。
图像源16指示向编码设备10供应用作编码处理的处理对象的图像数据IDT(运动图像或静止图像)的部分。例如，在图像处理装置1中，存储图像数据IDT的存储设备是图像源16的示例。此外，已经通过有线或无线地从外部设备发送的图像数据的接收设备也是图像源16的示例。而且，例如，从存储介质(诸如存储卡、光盘或磁带、硬盘驱动器(HDD)等)读取图像数据IDT的播放设备也是图像源16的示例。
来自图像源16的图像数据IDT被供应给压缩编码器11，并且压缩编码器11执行图像压缩编码。
可以想到压缩编码器11的各种具体示例，例如，在图2中图示了在执行根据JPEG2000标准的压缩编码的情况下的压缩编码器11的配置示例。
在压缩编码器11中，小波变换单元31对输入图像数据IDT执行小波变换，量化单元32执行量化处理，并且所获得的数据被输入到具有最优截断的嵌入式块编码(EBCOT)33。EBCOT 33具有作为位平面编码器35和算术编码器36的配置。通过采用这种配置，对已经执行了小波变换的数据进行量化，然后EBCOT 33执行熵编码。换句话说，EBCOT 33以用作在小波变换系数上定义的矩形区域的代码块为单位执行编码。通过位平面编码器35将每个代码块分解成位平面，并且执行系数位建模处理以将位平面分类为三条编码路径。然后，算术编码器36对每条编码路径执行压缩处理。
在此，压缩编码器11具有作为速率控制器34的配置，并且速率控制器34控制量化单元32和EBCOT 33，使得可以为压缩处理的每个数据单位设置压缩率。
控制器12对速率控制器34发布指示与速率控制区域或压缩率相关的信息的指令。因此，响应于该指令，速率控制器34对量化单元32和EBCOT 33发布指示压缩率的指令，并且执行所需的压缩处理。
注意的是，上面仅描述了压缩编码器11的示例，并且在采用诸如MPEG4、H.264/MPEG-4AVC或JPEG之类的其它压缩方案的情况下配置不同。
例如，通过使用这种压缩编码器11执行压缩编码而获得的压缩图像数据cIDT被供应给图1的存储单元13，并且被存储在存储介质中。
可替代地，可以由通信单元14将通过使用压缩编码器11执行压缩编码而获得的压缩图像数据cIDT发送到外部设备。
可以想到各种形式的记录单元13。例如，记录单元13可以是结合到图像处理装置1中的闪存，或者可以是包括可附接存储卡(例如，便携式闪存)和对存储卡执行记录/播放访问的卡记录/播放单元的形式。此外，在一些情况下，记录单元13被实现为用作结合到主体2中的形式的HDD等。
通信单元14通过有线或无线地与外部设备执行数据通信或网络通信，并且例如与外部的显示设备、记录设备、播放设备等交流图像数据。此外，通信单元14可以用作网络通信单元，并且可以经由诸如互联网、家庭网络或局域网(LAN)之类的各种网络来执行通信，以向网络上的服务器、终端、云服务器等发送/从其接收各种类型的数据。
控制器12包括微型计算机(算术处理设备)，该微型计算机包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、闪存等。
CPU执行存储在ROM、闪存等中的程序以控制压缩编码处理。
RAM在由CPU执行的各种数据处理中用作工作区，并被用于暂时存储数据、程序等。
ROM或闪存(非易失性存储器)被用于存储操作系统(OS)，以使CPU控制每个单元、各种处理参数、用于各种操作的程序等。
在一些情况下，这个控制器12执行例如图像数据IDT的分割设置、图像数据IDT中的速率控制区域的设置、对压缩编码器11发布指示速率控制区域或压缩率的指令等。
基于上述控制，如后所述，执行压缩编码处理以使在图像数据IDT中速率控制区域中的位速率高于除速率控制区域以外的区域中的位速率。
速率控制区域是在将图像数据分割为多个区域时在分割边界附近的区域。例如，速率控制区域可以被固定地确定，或者可以由控制器12来设置。稍后将描述速率控制区域的具体示例。
例如，可以想到的是，控制器12获取图像源16的图像数据IDT，分析图像数据IDT，并根据分析图像数据IDT的结果执行图像数据IDT的分割设置、图像数据IDT中的速率控制区域的设置、对压缩编码器11发布指示速率控制区域或压缩率的指令等。
操作单元15全面地指示被用于输入由使用图像处理装置1的用户执行的操作的操作设备。示例包括键盘、鼠标、键开关、触摸面板、声音输入单元、远程操作单元等。用户可以通过使用这些操作设备来输入各种操作，并且控制器12可以根据操作来执行处理。
例如，还可以想到的是，用户执行发布指示图像数据IDT的分割的区域的指令，或者选择编码处理的模式(例如，选择设置速率控制区域的方案、选择压缩率等)。还可以想到的是，控制器12根据用户执行的这些操作来执行图像数据IDT的分割设置，图像数据IDT中的速率控制区域的设置，向压缩编码器11发布指示速率控制区域或压缩率的指令等。
在本实施例中，对形成例如用作一个静止图像或运动图像的图像的图像数据IDT执行压缩编码。但是，在由存储单元13或通信单元14执行的处理的阶段中，假设处理通过将图像数据IDT分割为多个分割的区域而获得的图像数据。
例如，假设将图1的图像数据IDT分割为四个分割的图像数据PP1、PP2、PP3和PP4，并且与这些分割的图像数据PP1、PP2、PP3和PP4对应的压缩图像数据cPP1、cPP2、cPP3和cPP4被存储在存储单元13中，或者从通信单元14发送到外部设备。
图3A图示了构成一个图像的图像数据IDT的示例。
例如，假设这个图像数据具有8K×4K的构成，并且在水平方向上包括8K(7680像素)且在垂直方向上包括4K(3840像素)。
此时，用虚线示出的分割边界dv将图像数据IDT分割为四个分割的区域。分割之后的四个分割的图像数据PP1、PP2、PP3和PP4的图像在图3B中示出。这些分割的图像数据PP1、PP2、PP3和PP4中的每一个具有4K×2K的构成，并且在水平方向上包括4K(3840像素)且在垂直方向上包括2K(1920像素)。
例如，如上所述，通过生成对4K×2K的分割的图像数据PP1、PP2、PP3和PP4执行压缩编码而获得的压缩图像数据cIDT(cPP1、cPP2、cPP3和cPP4)，可以使用应对4K×2K的常用解码器进行解码。换句话说，分割具有如下优点：例如，可以将在当前时间点应对一般图像的解码器(常用的解码器)用于构成更大画面的图像数据。
<2.执行解码处理的图像处理装置的配置>
在图4A中图示了图像处理装置2的配置示例，其接收通过使用上述图像处理装置1执行压缩编码而获得的压缩图像数据cIDT(例如，四个压缩图像数据cPP1、cPP2、cPP3和cPP4)作为输入并执行解码以显示图像。
图像处理装置2包括解码设备20、显示单元26和图像源27。在这个示例中，假设解码设备20包括四个解码器21、22、23和24以及显示控制器25。
图像源27指示向解码设备20供应用作解码处理的处理对象的压缩图像数据cIDT的一部分。例如，在图像处理装置2中，存储压缩图像数据cIDT的存储设备是图像源27的示例。此外，已经通过有线或无线地从外部设备发送的图像数据的接收设备也是图像源27的示例。而且，例如，从存储介质(诸如存储卡、光盘或磁带、硬盘驱动器(HDD)等)读取图像数据IDT的播放设备也是图像源27的示例。
这个图像源27并行地将例如四个分割的压缩图像数据cPP1、cPP2、cPP3和cPP4分别供应给四个解码器21、22、23和24。
如上所述，在分割的图像数据PP1、PP2、PP3和PP4是4K×2K的图像数据的情况下，解码器21、22、23和24中的每一个是应对4K×2K的解码器，并执行符合例如JPEG 2000标准的解码。不必说，这是示例，并且自然采用与编码对应的解码器。
解码器21、22、23和24一一对应地分别对压缩图像数据cPP1、cPP2、cPP3和cPP4进行解压缩和解码，并且分割的图像数据PP1、PP2、PP3和PP4作为解码结果而被获得。
这些分割的图像数据PP1、PP2、PP3和PP4被供应给显示控制器25。
显示控制器25合成分割的图像数据PP1、PP2、PP3和PP4以生成原始图像数据IDT，并且基于图像数据IDT驱动显示单元26进行显示。
通过这样做，如图4B中所示，通过接合并合成分割的图像数据PP1、PP2、PP3和PP4而获得的原始图像数据IDT的图像被显示在显示单元26上。
可以设想的是，显示单元26是使用例如自发发光元件(诸如LED)作为像素的显示设备。不必说，LED不是限制性的，并且可以采用其它显示设备(诸如使用有机EL元件的显示器)。
而且，设想作为上述自发发光显示设备并且通过以瓦片形状布置用于每个预定像素的单位来构成画面的显示设备，诸如被称为平铺设备的设备。
然后，在本实施例中，特别地，设想在接合图像的部分中不进行由投影仪进行的重叠显示的显示设备作为显示设备。
<3.根据第一实施例的编码处理>
如上所述，图像处理装置1(编码设备10)分割原始图像数据IDT，并针对每个分割的区域生成压缩图像数据cIDT(cPP1、cPP2、cPP3或cPP4)。
此外，图像处理装置2(解码设备20)对相应的压缩图像数据cIDT(cPP1、cPP2、cPP3和cPP4)进行解码、合成和显示。
通过这样做，通过使用例如4K×2K的解码器，可以形成用于例如8K×4K的大图像的播放系统。
但是，在这种情况下，在一些情况下，发生其中对图像进行接合的部分(即，分割边界dv的部分)明显并且图像质量下降的情况。
对于这种情况可设想的原因是，当执行压缩编码以减小位速率时，随着压缩率增加和位速率减小，压缩误差增加，并且在分割边界dv附近的部分中，一个图像的分割的区域中的误差和另一个图像的分割的区域中的误差彼此协同影响并且在图像之间生成大的差异。
特别地，在照度或颜色差异小的图像(例如，如图3中所示的花园中的沙子的图像、海洋或天空的图像等)中，接合部分比在照度或颜色变化大的复杂图像中更明显。
相应地，在本实施例中，以如下方式执行编码处理：用作分割边界dv附近的速率控制区域中的位速率高于速率控制区域以外的区域中的位速率。
速率控制区域的示例在图5中示出。
图5图示了在分割边界dv处分割之后的分割的图像数据PP1、PP2、PP3和PP4。
用线分割的一帧是块BK。块BK是压缩处理的单位，并且例如是8×8像素。这是示例，并且用作压缩处理的单位的块BK可以是2×2像素、4×4像素、16×16像素等。
注意的是，字符“BK”仅在附图的一部分中示出，以避免附图的复杂化。
此外，考虑到附图的可视性，分割的图像数据PP1、PP2、PP3和PP4被示为彼此间隔开。但是，如参考图3A和3B显而易见的，从原始图像数据IDT的观点考虑，阴影线块是彼此相邻的块，并且这些块BK之间的边界是分割边界dv。
在此，假设阴影块BK的范围是比率控制区域。
在图5的这个示例的情况下，假设沿着水平方向上的分割边界dv在上侧或下侧的每一行中的块BK以及沿着垂直方向上的分割边界dv在左手侧或右手侧的每一列中的块BK的范围是速率控制区域。
为了便于描述，将速率控制区域以外的区域称为“正常处理区域”。没有阴影线部分的块BK的范围是正常处理区域。
此外，在下面的描述中，假设“行”或“列”指示块BK的水平方向上的布置或垂直方向部分中的布置。
然后，在这种情况下，假设在正常处理区域中以压缩率RN执行压缩编码，并且在速率控制区域中以压缩率R1执行压缩编码。成立RN>R1。
压缩率RN也可以被认为是最初要应用于图像整体的压缩率。
换句话说，在正常处理区域中，压缩的目的是通过以压缩率RN执行压缩编码来将位速率减小到一定程度；但是，在速率控制区域中，以低于压缩率RN的压缩率R1执行压缩编码，因此使得位速率高于正常处理区域中的位速率。
通过这样做，在分割边界dv处抑制了压缩误差。在与分割边界dv相接的速率控制区域中的每个块BK中，压缩误差被抑制，并且这消除了在合成显示中累积误差并且接合部分明显的情况。
在图6中图示了使压缩编码器11执行这种编码处理的控制器12的处理示例。注意的是，图6在每个步骤的右手侧上示意性地图示了图像数据的状态。
在步骤S101中，控制器12指定用作处理对象的图像数据IDT。换句话说，指定了要从图像源16传送到压缩编码器11的图像数据IDT。
在步骤S102中，控制器12对已经被确定为处理对象的图像数据IDT执行分割设置。换句话说，设置分割边界dv以将图像数据IDT分割为一些分割的区域。
在步骤S103中，控制器12以分割边界dv为基准来设置速率控制区域RCA(阴影线部分)。例如，如图5中所示，将与分割边界dv相接的一行一列中的块的范围设置为速率控制区域RCA。
在步骤S104中，控制器12使压缩编码器11对图像数据IDT执行压缩编码。此时，控制器12向压缩编码器11报告与速率控制区域RCA对应的块BK，并指示压缩编码器11以压缩率RN对正常处理区域中的块BK执行压缩编码并以压缩率R1对与速率控制区域RCA对应的块BK执行压缩编码。在压缩编码器11中，例如，速率控制器34接收这个指令，并且使量化单元32和EBCOT 33以根据该指令的压缩率对每个块执行压缩编码。
如果已经执行了压缩编码，那么在步骤S105中，控制器12在分割边界dv处分割图像，并执行控制以存储要存储在存储单元13中的每个分割的图像的压缩图像数据cIDT(例如，压缩图像数据cPP1、cPP2、cPP3或cPP4)或者经由通信单元14将压缩图像数据cIDT发送到外部设备。
通过以上操作，获得在速率控制区域RCA中位速率已经增加的压缩图像数据cIDT。
这样的压缩图像数据cIDT由具有例如图4的配置的图像处理装置2解码和合成，并且显示原始图像数据IDT的图像。此时，已经消除了接合部分在分割边界dv处明显的情况。
<4.根据第二实施例的编码处理>
在图7中图示了用作第二实施例的控制器12的处理示例。在图7中，类似地，在每个步骤的右手侧示意性地图示了图像数据的状态。
在步骤S101中，控制器12指定用作处理对象的图像数据IDT。
然后，在步骤S102中，控制器12对已经被确定为处理对象的图像数据IDT执行分割设置。换句话说，设置分割边界dv以将图像数据IDT分割为一些分割的区域。以上类似于图6的处理。
接下来，控制器12在步骤S110中分割图像。换句话说，控制器12基于分割边界dv分割图像数据IDT，并且形成用于每个分割的区域的分割的图像数据PP1、PP2、PP3或PP4。
在步骤S111中，控制器12以分割边界dv为基准来设置速率控制区域RCA(阴影线部分)。
在这种情况下，已经执行分割以形成分割的图像数据PP1、PP2、PP3和PP4。因此，在分割的图像数据PP1、PP2、PP3和PP4中的每一个中，与分割边界dv相接的一行一列的块BK的范围被设置为速率控制区域RCA，如例如图5中所示。
在步骤S112中，控制器12使压缩编码器11对分割的图像数据PP1、PP2、PP3和PP4依次执行压缩编码。此时，控制器12针对分割的图像数据PP1、PP2、PP3和PP4中的每一个报告速率控制区域RCA，并且指示压缩编码器11以压缩率RN对正常处理区域中的块BK执行压缩编码并以压缩率R1对与速率控制区域RCA对应的块BK执行压缩编码。
而且，控制器12指示压缩编码器11在完成压缩处理后将压缩图像数据cIDT(cPP1、cPP2、cPP3或cPP4)传输到存储单元13或通信单元14。
在压缩编码器11中，例如，在分割的图像数据PP1被压缩的情况下，在速率控制器34的控制下，以如下的方式执行压缩处理：针对分割的图像数据PP1中的速率控制区域RCA中的块BK减小压缩率。然后，压缩图像数据cPP1被传送到存储单元13，并且被存储在存储单元13中。可替代地，压缩图像数据cPP1被传送到通信单元14，并且被发送到外部设备。
对分割的图像数据PP2、PP3和PP4依次执行这种处理。
通过以上操作，获得在速率控制区域RCA中位速率已经增加的压缩图像数据cIDT(cPP1、cPP2、cPP3或cPP4)。
这样的压缩图像数据cIDT由具有例如图4的配置的图像处理装置2解码和合成，并且显示原始图像数据IDT的图像。此时，已经消除了接合部分在分割边界dv处明显的情况。
<5.根据第三至第九实施例的速率控制区域>
下面作为第三至第八实施例描述设置速率控制区域的示例。注意的是，类似于图5，每个附图都将速率控制区域图示为在分割的图像数据PP1、PP2、PP3和PP4彼此分离的状态下阴影线块BK的范围。
在图8中图示了根据第三实施例的速率控制区域。
图8图示了这样的示例，其中从与水平方向上的分割边界dv相接的块的行(块BK的水平方向上的布置)起连续的多个块行的范围(在这种情况下，在上侧或下侧上的每两行)以及从与垂直方向上的分割边界dv相接的块的列(块BK的垂直方向上的布置)起连续的多个块列的范围(在这种情况下，在左手侧或右手侧上的每两列)已经被设置为速率控制区域。换句话说，在分割的图像数据PP1、PP2、PP3和PP4中的每一个中，在分割边界dv侧面的两行两列的范围是速率控制区域。
注意的是，从原始图像数据IDT的观点来看，跨越分割边界dv的四行四列的范围是速率控制区域。但是，在下面的描述中，考虑到分割的图像数据PP1、PP2、PP3或PP4作为单位，并且通过使用表达“两行两列”来描述图8的示例。
如图8中被示为两行两列，当从分割边界dv查看时，可以将速率控制区域设置在多行多列的范围内。不必说，两行两列是示例，也可以想到三行三列、四行四列，或者大于4的一定数量的行和一定数量的列。
然后，如上所述，在包括多行和多列的速率控制区域中，以比正常处理区域中的压缩率低的压缩率R1执行压缩编码，并且与正常处理区域相比，位速率增加。
加宽速率控制区域有效地消除了接合部分的明显性。
在图9中图示了根据第四实施例的速率控制区域。
类似地，在图9中，从与水平方向上的分割边界dv相接的块的行起连续的多个块行的范围(在这种情况下，在上侧或下侧上的每两行)以及从与垂直方向上的分割边界dv相接的块的列起连续的多个块列的范围(在这种情况下，在左手侧或右手侧上的每两列)已经被设置为速率控制区域。
但是，即使在速率控制区域中，也设置了压缩率彼此不同的区域。
例如，与分割边界dv相接的块BK已经被确定为具有压缩率R1的区域，并且当从分割边界dv查看时与分割边界dv不相接的第二行或第二列中的块BK已经被确定为具有压缩率R2的区域。在这种情况下，RN>R2>R1成立。
换句话说，以如下方式执行设置：最接近分割边界dv的块BK具有更高的位速率，并且随着距离分割边界dv更远而位速率减小。
图9图示了设置两阶段的压缩率(压缩率R1和R2)的示例。但是，可以设置三阶段、四阶段等压缩率，使得随着距离分割边界dv更远，位速率以更多阶段减小。
例如，可以将六行六列的块设置为速率控制区域，并且随着以两行两列为单位距离分割边界dv更远，可以按压缩率R1、R2和R3的次序逐渐增加压缩率(但是，RN>R3>R2>R1)。
如上所述，最接近分割边界dv的块的压缩率R1与正常处理区域的压缩率RN之间的压缩率的变化宽度和阶段数以及具有每个压缩率的行/列的数量的各种示例是可以想到的。
总之，在该第四实施例的情况下，位速率被设置为随着距离分割边界dv更近而逐渐增加。这对于使图像的接合部分不明显也是有效的。
不必说，如上所述，在即便在速率控制区域中也设置彼此不同的压缩率的情况下，控制器12向压缩编码器11发布指示压缩率R1、R2…，具有压缩率R1的块BK、具有压缩率R2的块BK…的指令，作为与速率控制区域相关的信息。
在图10A和10B中图示了根据第五实施例的速率控制区域。
例如，如图10A和图10B中所示，这是将速率控制区域设置为距分割边界dv一行一列的示例(或者可以设置多行多列)，但是要应用的压缩率被切换。
例如，在图10A中，压缩率R1被应用于速率控制区域中的块BK，但是在图10B中，压缩率R2被应用于同一速率控制区域中的块BK。
如上所述，控制器12不改变速率控制区域的设置，而是改变要应用于速率控制区域的压缩率。
例如，可以想到的是，根据图像数据IDT的图像的内容来可变地设置压缩率。
如上所述，存在照度或颜色变化小的图像具有更明显的接合部分的趋势。相应地，控制器12分析图像数据IDT，并且确定照度或颜色的变化趋势，特别是在分割边界dv附近。于是，可以想到的是，例如，在图像变化较大的情况下，最初，接合部分不太明显，因此应用相对高的压缩率R2，如图10B中所示，但是，在图像变化较小且平滑的情况下，接合部分明显，因此应用较低的压缩率R1(更高的位速率)，如图10A中所示。
此外，可以根据所请求的数据的大小来可变地设置用于速率控制区域的压缩率。在请求尽可能多地减小数据的大小的情况下，例如，如图10B中所示，选择相对高的压缩率R2(较低的位速率)。
此外，还可以想到的是，控制器12根据用户的操作针对速率控制区域选择压缩率。例如，用户发布这样的指令，该指令指示消除接合部分的明显性和减少数据量中更期望的一个。响应于此，控制器12选择压缩率。
注意的是，在速率控制区域中，可以以三个或更多个阶段而不是两个阶段(压缩率R1和R2)可变地设置压缩率。
在图11A和11B中图示了根据第六实施例的速率控制区域。
这是例如如图11A和11B中所示的切换速率控制区域的范围的示例。在图11A中，从分割边界dv起的一行一列被设置为速率控制区域。相比之下，在图11B中，从分割边界dv起的两行两列被设置为速率控制区域。
在这种情况下，类似地，假设控制器12例如根据图像数据IDT的图像的分析结果或用户操作来可变地设置速率控制区域的范围。
图11B比图11A在消除接合部分的明显性方面更为有利。另一方面，图11A比图11B在减少数据量方面更为有利。
注意的是，已经为速率控制区域选择了一行一列或两行两列，但这是示例。例如，也可以想到选择两行两列或五行五列的示例。
此外，可以在更多阶段中选择速率控制区域的范围。例如，可以选择两行两列、五行五列或七行七列。
不必说，可选择的行和列的数量没有特别限制，并且可以根据图像分析、用户的输入等将适当数量的行和列设置为速率控制区域。
此外，还期望例如根据图像的内容来改变速率控制区域的范围。例如，可以想到的是，根据例如在分割边界dv附近的平滑图像内容的范围来设置行数或列数。
在图12A和12B中图示了根据第七实施例的速率控制区域。这是根据第五和第六实施例的概念的组合。
例如，如图12A和图12B中所示，这是切换速率控制区域的范围的示例，并且图12A图示了从分割边界dv起的一行一列被设置为速率控制区域并且应用压缩率R1的示例。相比之下，图12B图示了从分割边界dv起的两行两列被设置为速率控制区域并且应用压缩率R2的示例。
假设控制器12例如根据图像数据IDT的图像分析结果或用户操作来可变地设置速率控制区域的范围和压缩率。
这使得能够匹配图像的内容或处理目的进行压缩编码。
在图13A和13B中图示了根据第八实施例的速率控制区域。
这也是例如如图13A和图13B中所示的切换速率控制区域的范围的示例，并且在图13A中，从水平方向部分中的分割边界dv起的两行和从垂直方向上的分割边界dv起的一列被设置为速率控制区域。相比之下，在图13B中，从水平方向部分中的分割边界dv起的一行和从垂直方向上的分割边界dv起的两列被设置为速率控制区域。
换句话说，速率控制区域的范围在水平方向和垂直方向上是可变的。
例如，图13A在水平方向上的接合部分明显的图像的情况下是有效的。于是，在这种情况下，速率控制区域中的列数的减少有助于数据量的减少。
此外，图13B在垂直方向上的接合部分明显的图像的情况下是有效的。于是，在这种情况下，速率控制区域中的行数的减少有助于数据量的减少。
如上所述，根据图像的内容使得用于消除接合部分的速率控制区域在水平方向和垂直方向中的哪个方向加宽是可变的，并且这可以有助于消除接合部分的明显性并减少数据量。
注意的是，还可以想到进一步发展这个概念，并且将速率控制区域设置为仅包括沿着水平方向上的分割边界dv的块行，或者相反，将速率控制区域设置为仅包括沿着垂直方向上的分割边界dv的块列。
在图14A和14B中图示了根据第九实施例的速率控制区域。
这是切换速率控制区域的压缩率的示例。在图14A中，压缩率R2被应用到沿着水平方向上的分割边界dv的块BK，并且压缩率R1被应用到沿着垂直方向上的分割边界dv的块BK。
在图14B中，压缩率R1被应用于沿着水平方向部分上的分割边界dv的块BK，而压缩率R2被应用于沿着垂直方向上的分割边界dv的块BK。
注意的是，在两种情况下，都可以想到压缩率R1和R2都作为沿着水平分割边界和垂直分割边界dv两者的拐角处的块BK的压缩率。但是，连接点集中，因此期望应用较低的压缩率R1并增加位速率。
在这种情况下，例如，图14B在水平方向上的接合部分明显的图像的情况下是有效的，而图14A在垂直方向上的接合部分明显的图像的情况下是有效的。在每种情况下，另一个方向上压缩率的增加(位速率的减小)都有助于减少数据量。
注意的是，图13A和13B的概念与图14A和14B的概念的组合也是可以想到的。换句话说，假设如图13A和13B中所示，水平和垂直方向上的行数和列数被切换，并且对于水平方向上的块行和垂直方向的块列，压缩率也被切换。示例包括以下情况：在特定情况下，将速率控制区域设置为包括两行和一列，将压缩率R1应用于该两行，并将压缩率R2应用于该一列，而在另一特定情况下，将速率控制区域设置为包括一行和两列，将压缩率R2应用于该一行，并将压缩率R1应用于该两列，以及其它情况。不必说，切换可以以更多阶段来执行。
上面已经描述了根据各种实施例的速率控制区域及其变形例。但是，可以想到设置速率控制区域的各种其它示例。还设想图5、8、9、10A、10B、11A、11B、12A、12B、13A、13B、14A和14B的相应示例的多个示例的组合。
这些相应示例还可以应用于根据图像的内容、用户的输入等来切换速率控制区域或压缩率的设置的情况。
而且，在上述相应示例中，在分割的图像数据PP1、PP2、PP3和PP4中的每一个中已经类似地(根据类似的规则)设置了速率控制区域，但是分割的图像数据可以具有彼此不同的速率控制区域或压缩率的范围。
示例包括以下情况：在分割的图像数据PP1中将速率控制区域设置为包括一行一列，而在分割的图像数据PP3中将速率控制区域设置为包括两行一列，以及其它情况。
可替代地，还可以想到的是，在分割的图像数据PP1中，将速率控制区域设置为包括一行一列并且具有压缩率R1，而在分割的图像数据PP3中，将速率控制区域设置为包括两行一列并且具有压缩率R2。
此外，在上述实施例中，已经描述了例如如图3A和3B中所示将原始图像数据IDT分割为四块的情况。但是，可以想到分割的块数或分割边界dv的位置的各种示例。
例如，图15图示了大小为10K×4K的图像数据。
设置将其分割为分割的图像数据PP1、PP2、PP3、PP4、PP5和PP6的分割边界dv。在这种情况下，分割的图像数据PP1、PP2、PP4和PP5中的每一个是4K×2K的图像数据，分割的图像数据PP3和PP6中的每一个是2K×2K的图像数据。在执行这种分割的情况下，类似地，设置被图示为阴影线部分的速率控制区域RCA，并且在该范围内，以增加位速率的方式减小压缩率。当执行解码并进行显示时，这使得能够消除接合部分的明显性。
<6.综述和变形例>
根据上述实施例，可以表现出以下效果。
根据实施例的编码设备10包括：压缩编码器11(编码处理部分)，其对用作处理对象的图像数据执行编码处理；以及控制器12(控制单元)，其控制编码处理，以使速率控制区域中的位速率高于速率控制区域以外的区域(正常处理区域)中的位速率，速率控制区域在用作处理对象的图像数据被分割为多个区域时位于分割边界附近。
通过这样做，构成速率控制区域的数据具有比图像中的正常处理区域的信息量更大的信息量。如果在已经分割图像的状态下通过执行压缩编码而获得的图像被解码并合成，那么在一些情况下，图像的接合部分在图像的边界部分中明显。但是，对于分割边界dv附近的速率控制区域，位速率增加，并且这可以防止接合部分明显。通过这样做，可以使对图像进行分割、编码和解码的图像处理系统显示高品质图像。
这特别在自发发光型显示设备(诸如LED显示器)中的大屏幕显示器中是优选的。
在根据实施例的编码设备10中，压缩编码器11执行压缩编码处理，并且控制器12对速率控制区域发布以比用于正常处理区域的压缩率低的压缩率执行压缩编码处理的指令。
换句话说，对分割边界附近的速率控制区域中的数据以较低的压缩率执行压缩处理，因此位速率增加。
在正常处理区域中，以相对高的压缩率RN执行压缩，而在速率控制区域中，以相对低的压缩率R1或R2执行压缩。通过这样做，关于压缩之后的数据量，在速率控制区域中图像数据的位速率增加。
如果位速率低，那么压缩误差是明显的。该误差在分割边界附近变得更加严重，并且导致出现其中接合部分可见的现象。相应地，压缩率减小，数据量增加，并且压缩误差减少。这可以避免在解码和合成之后在显示图像中接合部分明显的现象。
注意的是，在该实施例中，控制器12执行控制处理，如图6或7中所示。但是，在压缩编码器11中，例如，速率控制器34可以执行该处理。
在描述为第一或第二实施例的处理中(参见图6和7)，控制器12基于用作处理对象的图像数据的分割边界来执行设置速率控制区域的处理(S103或S111)。
例如，速率控制区域可以被规则地设置为包括例如从分割边界dv起的x行或y列中的块，或者可以根据用户操作或图像内容可变地设置。通过将速率控制区域设置为由控制器12执行的处理，可以执行灵活的处理设置。
注意的是，可以根据图像的大小、块BK的大小等来固定地设置速率控制区域。
在第一实施例中，控制器12设置用作处理对象的图像数据的分割边界dv(图6中的S102)，基于该分割边界来设置速率控制区域(S103)，发布使速率控制区域中的位速率高于正常处理区域中的位速率的指令，并且使压缩编码器11对用作处理对象的图像数据IDT执行编码处理(S104)。
换句话说，在已经设置分割边界dv并且已经设置速率控制区域之后，发布指示速率控制区域的指令，并且执行编码处理。通过这样做，以使速率控制区域具有不同压缩率的方式执行压缩编码。
在这种情况下，原始图像数据的区域可以被任意分割，因此可以根据解码系统或显示系统的设备或电路配置来设置分割边界。在这种情况下，可以适当地设置速率控制区域。
此外，在第一实施例中，已经描述了控制器12以如下方式执行控制的示例：使得已经对其执行编码处理的图像数据被视为通过在设定的分割边界处执行分割而获得的多个图像数据(图6中的S105)。
换句话说，在对整个原始图像数据IDT执行压缩处理之后，执行控制以存储或发送多个分割的压缩图像数据cIDT(例如，压缩图像数据cPP1、cPP2、cPP3和cPP4)。
通过这样做，准备了将在解码中接合的多个分割的区域的压缩图像数据cIDT。在这些压缩图像数据cIDT的每一个中，在这些压缩图像数据cIDT将被接合的边界附近的图像数据具有更高的位速率。
在第二实施例中，已经描述了以下示例：其中控制器12设置用作处理对象的图像数据IDT的分割边界dv(图7中的S102)，基于该分割边界对图像数据进行分割(S110)，为每个分割的区域设置速率控制区域(S111)，并且使压缩编码器11执行编码处理(S112)。
在这种处理中，类似地，以速率控制区域具有不同压缩率的方式执行压缩编码。然后，在这种情况下，类似地，原始图像数据的区域可以被任意分割，因此可以根据解码系统或显示系统的设备或电路配置来设置分割边界。在这种情况下，可以适当地设置速率控制区域。
在第一和第三至第九实施例中，当包括多个像素数据的块BK是编码处理单位时，假设速率控制区域至少包括与分割边界相接的块BK。换句话说，在速率控制区域中包括具有形成分割边界的一侧的块BK的行或列。
例如，在图5、8、9、10A、10B、11A、11B、12A、12B、13A、13B、14A和14B的所有示例中，与分割边界dv相接的块BK(阴影线部分)被设置为速率控制区域。如上所述，至少与分割边界相接的块BK被包括在该速率控制区域中，并且具有更高的位速率，并且这对于防止在解码之后进行显示时接合部分的明显性是有效的。
注意的是，如图5中所示，具有更高位速率的最小速率控制区域适合于减少数据量。
在第三、第四、第六、第七和第八实施例中，已经描述了以下情况：其中速率控制区域包括从与分割边界相接的块的行起连续的多个块行，或者从与分割边界相接的块的列起连续的多个块列。
换句话说，将与分割边界相接的块的行或列中的至少多行或多列设置为速率控制区域，并且在一些情况下，这些块具有更高的位速率。例如，在图8、9、11B、12B、13A和13B的示例中，从与分割边界dv相接的块BK的行或列起连续的多行或多列(阴影线部分)被设置为速率控制区域。如上所述，将接近分割边界的特定范围设置为速率控制区域并且具有更高的位速率，并且这对于防止在解码之后进行显示时接合部分的明显性是有效的。
在第四和第九实施例中，已经描述了如下示例：其中控制器12执行控制以在速率控制区域中生成以压缩率R1执行压缩编码的块BK和以压缩率R2执行压缩编码的块BK(参见图9、14A和14B)。
换句话说，以如下方式执行控制：在与速率控制区域对应的块BK当中，存在对其发布了以不同压缩率执行压缩编码的指令的块BK。
通过这样做，如图9中所示，例如以如下方式执行压缩编码：使得位速率以到分割边界的接近程度的次序按阶段增加。这对于防止在解码之后进行显示时接合部分的明显性也是有效的。
可替代地，如图14A和14B中所示，压缩率在垂直方向上的块与水平方向上的块之间是不同的，使得根据图像执行合适的压缩编码。通过这样做，在一些情况下可以应对提高图像质量和减少数据量的请求。
在第六、第七和第八实施例中，已经描述了控制器12可变地设置与速率控制区域对应的块的示例。
换句话说，速率控制区域是根据预定算法可变地设置的，而不是固定地设置速率控制区域。
例如，如在图11A和11B、图12A和12B或图13A和13B的示例中所描述的，将被设置为速率控制区域的块BK的设置根据图像内容的分析结果而可变，或者根据用户操作而可变。通过这样做，根据状况适应地设置速率控制区域，并且执行压缩编码。
在一些情况下，取决于图像内容，在不使得速率控制区域太大的情况下接合部分不明显。在这种图像中，如图11A中所示，减小将被设置为速率控制区域的行或列的数量，并且从减少数据量的观点出发，这是期望的。相比之下，如图11B中所示，在其中接合部分可能明显的图像中，增加将被设置为速率控制区域的行或列的数量，并且这对于消除接合部分的明显性是有效的。
此外，在图像的特征在水平方向和垂直方向之间不同的情况下，如图12A和12B或图13A和13B中所示，可变的设置也是有效的。
在第五、第七和第九实施例中，已经描述了如下示例：其中控制器12可变地设置将指示压缩编码器11应用于速率控制区域的压缩率。
换句话说，速率控制区域的压缩率是根据预定算法可变地设置的，而不是固定地设置压缩率。
例如，如在图10A和10B的示例中所描述的，速率控制区域的压缩率根据图像内容的分析结果而可变，或者根据用户操作而可变。通过这样做，根据状况适应地选择压缩率，并且执行压缩编码。
在一些情况下，取决于图像的内容，在不使压缩率太低的情况下接合部分不明显。在这种图像中，增加速率控制区域的压缩率，并且从减少数据量的观点来看，这是期望的。相比之下，在其中接合部分可能明显的图像中，减小速率控制区域的压缩率，这对于消除接合部分的明显性是有效的。类似的情况适用于图12A和12B的情况。
此外，如图13A和13B中所示，在图像的特征在水平方向与垂直方向之间不同的情况下，可变地设置压缩率也是有效的。
在第八实施例中，已经描述了以下示例：在用作处理对象的图像数据IDT的水平方向和垂直方向上存在分割边界dv的情况下，以如下方式设置速率控制区域：在速率控制区域中，沿着水平方向上的分割边界的块BK的行数与沿着垂直方向上的分割边界的块BK的列数不同。
换句话说，构成速率控制区域的块行和块列的数量彼此不同，并且使速率控制区域的水平方向和垂直方向上的大小彼此不同。
例如，如图13A中所示，使得构成速率控制区域的块的行数大于块的列数，并且这对于消除水平方向上的接合部分的明显性是有利的。特别地，在垂直方向上的接合部分不明显的情况下，减小列数适合于减少数据量。
相反，如图13B中所示，使得构成速率控制区域的块的列数大于块的行数，并且这对于消除垂直方向上的接合部分的明显性是有利的。特别地，在水平方向上的接合部分不明显的情况下，减小行数适合于减少数据量。
在第九实施例中，已经描述了如下示例：在用作处理对象的图像数据的水平方向和垂直方向上存在分割边界的情况下，使得对于沿着水平方向上的分割边界的块而对压缩编码器11指示的压缩率与对于沿着垂直方向上的分割边界的块而对压缩编码器11指示的压缩率不同。
换句话说，在构成速率控制区域的块BK当中，使水平行中的块BK与垂直列中的块BK之间的压缩率不同。
例如，如图14A中所示，压缩率R1被应用于在列方向上布置的块BK，并且压缩率R2被应用于在行方向上布置的块BK。这对于消除垂直方向上的接合部分的明显性是有利的。此外，在水平方向上的接合部分不明显的情况下，将比压缩率R1高的压缩率R2应用于在行方向上布置的块BK，并且这适合于减少数据量。
可替代地，如图14B中所示，压缩率R1被应用于在行方向上布置的块BK，并且压缩率R2被应用于在列方向上布置的块BK。这对于消除水平方向上的接合部分的明显性是有利的。此外，在垂直方向上的接合部分不明显的情况下，将比压缩率R1高的压缩率R2应用于在列方向上布置的块BK，并且这适合于减少数据量。
注意的是，还已经描述了组合图13A和13B的概念以及图14A和14B的概念，并且在列方向和行方向上的块中，使得沿着分割边界dv的列数和行数彼此不同，并且使压缩率彼此不同。如上所述，速率控制区域和压缩率都被可变地设置，因此也可以执行更适合于图像的压缩编码。
在根据实施例的解码设备20中，将多个压缩图像数据cIDT(例如，cPP1、cPP2、cPP3和cPP4)作为用作形成一个图像的多个分割的区域的多个图像数据而输入。通过以如下方式执行编码处理来获得相应的压缩图像数据cIDT：在分割中被设置在分割边界dv附近的速率控制区域具有比正常处理区域中的位速率更高的位速率。包括执行解码的多个解码器(解码处理单元)21、22、23和24以与这些压缩图像数据对应。此外，解码设备20包括显示控制器(显示控制单元)25，其合成通过使用多个解码器21、22、23和24执行解码而获得的多个图像数据(例如，分割的图像数据PP1、PP2、PP3和PP4)以形成构成一个图像的图像数据，并使得进行显示。
通过这样做，对在速率控制区域中位速率增加的分割的区域中的图像数据进行解码，并且进一步合成以在分割边界处结合，并且进行显示。于是，在这种情况下，可以显示接合部分不明显的高品质图像。
注意的是，本文描述的效果仅仅是说明性而不是限制性的，并且可以表现出其它效果。
注意的是，本技术还可以采用以下描述的配置。
(1)一种编码设备，包括：
编码处理部分，其对用作处理对象的图像数据执行编码处理；以及
控制单元，其控制编码处理以使得速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，速率控制区域在用作处理对象的图像数据被分割为多个区域时位于分割边界附近。
(2)上述(1)中描述的编码设备，
其中编码处理部分执行压缩编码处理，并且
控制单元对速率控制区域发布以比对速率控制区域以外的区域的压缩编码处理的压缩率低的压缩率执行压缩编码处理的指令。
(3)上述(1)或(2)所述的编码设备，
其中控制单元基于用作处理对象的图像数据的分割边界来执行设置速率控制区域的处理。
(4)上述(1)至(3)中的任一项所述的编码设备，
其中控制单元执行：
设置用作处理对象的图像数据的分割边界，并且基于分割边界来设置速率控制区域；并且
对速率控制区域发布使位速率高于速率控制区域以外的区域中的位速率的指令，并且使编码处理部分对用作处理对象的图像数据执行编码处理。
(5)上述(4)中描述的编码设备，
其中控制单元执行控制以将已经执行编码处理的图像数据视为通过已设置的分割边界分割而获得的多个图像数据。
(6)上述(1)至(3)中的任一项所述的编码设备，
其中控制单元设置用作处理对象的图像数据的分割边界，基于分割边界分割图像数据，在每个分割的区域中设置速率控制区域，并使编码处理部分执行编码处理。
(7)上述(1)至(6)中的任一项所述的编码设备，
其中，当假设包括多个像素数据的块是编码处理单位时，
速率控制区域包括至少与分割边界相接的块。
(8)上述(1)至(6)中的任一项所述的编码设备，
其中，当假设包括多个像素数据块的块是编码处理单位时，
速率控制区域包括从与分割边界相接的块的行连续的多个块行，或者从与分割边界相接的块的列连续的多个块列。
(9)上述(1)至(8)中的任一项所述的编码设备，
其中，当假设包括多个像素数据块的块是编码处理单位时，
控制单元执行控制以在速率控制区域中生成以第一压缩率执行压缩编码的块和以第二压缩率执行压缩编码的块。
(10)上述(1)至(9)中的任一项所述的编码设备，
其中，当假设包括多个像素数据块的块是编码处理单位时，
控制单元可变地设置与速率控制区域对应的块。
(11)上述(1)至(10)中的任一项所述的编码设备，
其中控制单元对于速率控制区域可变地设置对编码处理部分指示的压缩率。
(12)上述(1)至(11)中的任一项所述的编码设备，
其中，在分割边界在用作处理对象的图像数据的水平方向和垂直方向上存在的情况下，
当假设包括多个像素数据的块是编码处理单位时，
以如下方式设置速率控制区域：使得速率控制区域中沿着水平方向上的分割边界的块行数与沿着垂直方向上的分割边界的块列数不同。
(13)上述(1)至(12)中的任一项所述的编码设备，
其中，在分割边界在用作处理对象的图像数据的水平方向和垂直方向上存在的情况下，
当假设包括多个像素数据的块是编码处理单位时，
控制单元使对于速率控制区域中沿着水平方向上的分割边界的块而对编码处理部分指示的压缩率与对于沿着垂直方向上的分割边界的块而对编码处理部分指示的压缩率不同。
(14)一种编码方法，包括：
以如下方式对用作处理对象的图像数据执行编码处理：速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，速率控制区域在将图像数据分割为多个区域时位于分割边界附近。
(15)一种解码设备，包括：
多个解码处理单元，与用作形成一个图像的多个分割的区域的多个图像数据对应地解码，多个图像数据是分别以如下方式执行过编码处理而得到的：速率控制区域中的位速率高于速率控制区域以外的区域中的位速率，该速率控制区域被设置于在分割时的分割边界附近；以及
显示控制单元，其合成通过使用多个解码处理单元执行解码而获得的多个图像数据作为构成一个图像的图像数据，并使得进行显示。
附图标记列表
1，2 图像处理装置
10 编码设备
11 压缩编码器
12 控制器
13 存储单元
14 通信单元
15 操作单元
16 图像源
20 解码设备
21，22，23，24 解码器
25 显示控制器
26 显示单元
27 图像源

Claims (15)

1.一种编码设备，包括：
编码处理部分，所述编码处理部分对用作处理对象的图像数据执行编码处理；以及
控制单元，所述控制单元控制编码处理以使得速率控制区域中的位速率高于所述速率控制区域以外的区域中的位速率，所述速率控制区域在用作所述处理对象的图像数据被分割为多个区域时位于分割边界附近。
2.根据权利要求1所述的编码设备，
其中所述编码处理部分执行压缩编码处理，并且
所述控制单元对所述速率控制区域发布以比对所述速率控制区域以外的区域的压缩编码处理的压缩率低的压缩率执行压缩编码处理的指令。
3.根据权利要求1所述的编码设备，
其中所述控制单元基于用作所述处理对象的图像数据的分割边界来执行设置所述速率控制区域的处理。
4.根据权利要求1所述的编码设备，
其中所述控制单元执行：
设置用作所述处理对象的图像数据的分割边界，并且基于所述分割边界来设置所述速率控制区域；并且
对所述速率控制区域发布使位速率高于所述速率控制区域以外的区域中的位速率的指令，并且使所述编码处理部分对用作所述处理对象的图像数据执行编码处理。
5.根据权利要求4所述的编码设备，
其中所述控制单元执行控制以将已经执行编码处理的图像数据视为通过已设置的分割边界分割而获得的多个图像数据。
6.根据权利要求1所述的编码设备，
其中所述控制单元设置用作所述处理对象的图像数据的分割边界，基于所述分割边界分割所述图像数据，在每个分割的区域中设置速率控制区域，并使所述编码处理部分执行编码处理。
7.根据权利要求1所述的编码设备，
其中，当假设包括多个像素数据的块是编码处理单位时，
所述速率控制区域至少包括与所述分割边界相接的块。
8.根据权利要求1所述的编码设备，
其中，当假设包括多个像素数据的块是编码处理单位时，
所述速率控制区域包括从与所述分割边界相接的块的行起连续的多个块行，或者从与所示分割边界相接的块的列起连续的多个块列。
9.根据权利要求1所述的编码设备，
其中，当假设包括多个像素数据的块是编码处理单位时，
所述控制单元执行控制以在所述速率控制区域中生成以第一压缩率执行压缩编码的块和以第二压缩率执行压缩编码的块。
10.根据权利要求1所述的编码设备，
其中，当假设包括多个像素数据的块是编码处理单位时，
所述控制单元可变地设置与所述速率控制区域对应的块。
11.根据权利要求1所述的编码设备，
其中所述控制单元对于所述速率控制区域可变地设置对所述编码处理部分指示的压缩率。
12.根据权利要求1所述的编码设备，
其中，在所述分割边界在用作所述处理对象的图像数据的水平方向和垂直方向上存在的情况下，
当假设包括多个像素数据的块是编码处理单位时，
以如下方式设置所述速率控制区域：使得所述速率控制区域中沿着水平方向上的分割边界的块行数与沿着垂直方向上的分割边界的块列数不同。
13.根据权利要求1所述的编码设备，
其中，在所述分割边界在用作所述处理对象的图像数据的水平方向和垂直方向上存在的情况下，
当假设包括多个像素数据的块是编码处理单位时，
所述控制单元使对于所述速率控制区域中沿着水平方向上的分割边界的块而对所述编码处理部分指示的压缩率与对于沿着垂直方向上的分割边界的块而对所述编码处理部分指示的压缩率不同。
14.一种编码方法，包括：
以如下方式对用作处理对象的图像数据执行编码处理：速率控制区域中的位速率高于所述速率控制区域中的位速率，所述速率控制区域在将所述图像数据分割为多个区域时位于所述分割边界附近。
15.一种解码设备，包括：
多个解码处理单元，所述多个解码处理单元与用作形成一个图像的多个分割的区域的多个图像数据对应地执行解码，所述多个图像数据是分别以如下方式执行过编码处理而得到的：速率控制区域中的位速率高于所述速率控制区域以外的区域中的位速率，所述速率控制区域被设置于在分割时的分割边界附近；以及
显示控制单元，所述显示控制单元合成通过使用所述多个解码处理单元执行解码而获得的所述多个图像数据作为构成一个图像的图像数据，并使得进行显示。
CN201980066603.2A 2018-10-18 2019-07-16 编码设备、编码方法和解码设备 Pending CN112823516A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018196639 2018-10-18
JP2018-196639 2018-10-18
PCT/JP2019/027861 WO2020079900A1 (ja) 2018-10-18 2019-07-16 符号化装置、符号化方法、復号装置

Publications (1)

Publication Number Publication Date
CN112823516A true CN112823516A (zh) 2021-05-18

Family

ID=70284535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066603.2A Pending CN112823516A (zh) 2018-10-18 2019-07-16 编码设备、编码方法和解码设备

Country Status (7)

Country Link
US (1) US20210350581A1 (zh)
EP (1) EP3869801A4 (zh)
JP (1) JPWO2020079900A1 (zh)
KR (1) KR20210071986A (zh)
CN (1) CN112823516A (zh)
TW (1) TWI829740B (zh)
WO (1) WO2020079900A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960036768A (ko) * 1995-03-20 1996-10-28 배순훈 부호화 비트발생율 제어방법 및 그 제어장치
CN1318950A (zh) * 2000-03-30 2001-10-24 索尼公司 图像编码装置及其方法、摄像机、录像装置和图像发送装置
CN1420633A (zh) * 2001-10-29 2003-05-28 日本胜利株式会社 图像编码装置以及图像编码方法
JP2003348597A (ja) * 2002-05-29 2003-12-05 Sony Corp 画像符号化装置および画像符号化方法
CN102884795A (zh) * 2010-04-09 2013-01-16 索尼公司 图像处理装置和方法
CN103493481A (zh) * 2011-01-28 2014-01-01 艾艾欧有限公司 基于场景的适应性比特率控制
CN103974090A (zh) * 2013-01-24 2014-08-06 株式会社日立信息通信工程 图像编码装置
US20150245059A1 (en) * 2014-02-21 2015-08-27 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US20180249163A1 (en) * 2017-02-28 2018-08-30 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275561A (ja) * 1996-04-08 1997-10-21 Toshiba Corp 映像圧縮装置及び映像圧縮方法
JP4149144B2 (ja) * 2001-06-13 2008-09-10 株式会社リコー 画像圧縮装置、方法、プログラムおよび記録媒体
JP2003204436A (ja) * 2001-10-29 2003-07-18 Victor Co Of Japan Ltd 画像符号化装置及び画像符号化プログラム
JP3833585B2 (ja) * 2002-07-24 2006-10-11 Ｋｄｄｉ株式会社 画像符号化装置および画像符号化方法、コンピュータプログラム
JP4008333B2 (ja) 2002-10-25 2007-11-14 株式会社リアルビズ 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体
JP4616057B2 (ja) * 2005-04-13 2011-01-19 パイオニア株式会社 画像符号化装置及び画像符号化方法
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
JP6330937B2 (ja) 2013-07-19 2018-05-30 株式会社Ｊｖｃケンウッド マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム
JP2015171117A (ja) * 2014-03-11 2015-09-28 キヤノン株式会社 画像符号化装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960036768A (ko) * 1995-03-20 1996-10-28 배순훈 부호화 비트발생율 제어방법 및 그 제어장치
CN1318950A (zh) * 2000-03-30 2001-10-24 索尼公司 图像编码装置及其方法、摄像机、录像装置和图像发送装置
CN1420633A (zh) * 2001-10-29 2003-05-28 日本胜利株式会社 图像编码装置以及图像编码方法
JP2003348597A (ja) * 2002-05-29 2003-12-05 Sony Corp 画像符号化装置および画像符号化方法
CN102884795A (zh) * 2010-04-09 2013-01-16 索尼公司 图像处理装置和方法
CN103493481A (zh) * 2011-01-28 2014-01-01 艾艾欧有限公司 基于场景的适应性比特率控制
CN103974090A (zh) * 2013-01-24 2014-08-06 株式会社日立信息通信工程 图像编码装置
US20150245059A1 (en) * 2014-02-21 2015-08-27 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US20180249163A1 (en) * 2017-02-28 2018-08-30 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Also Published As

Publication number Publication date
TWI829740B (zh) 2024-01-21
EP3869801A1 (en) 2021-08-25
US20210350581A1 (en) 2021-11-11
EP3869801A4 (en) 2021-12-08
KR20210071986A (ko) 2021-06-16
JPWO2020079900A1 (ja) 2021-09-24
WO2020079900A1 (ja) 2020-04-23
TW202029749A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
US10264290B2 (en) Hash-based block matching in video and image coding
CN109600666A (zh) 游戏场景中的视频播放方法、装置、介质以及电子设备
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
KR20210070299A (ko) 투영 기반 프레임을 프로세싱하기 위한 방법
US20090060049A1 (en) Method and system for calculating flag parameter of image block
JP2022518587A (ja) イントラ画像ブロック補償のためのデコードされたブロックベクトルの変換
JP2017528987A (ja) 予測符号化、復号化方法、対応するエンコーダ、デコーダ及び電子機器
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
KR20150037944A (ko) 비디오 처리를 위한 송신 장치 및 방법
KR20070037248A (ko) 영상 부호화장치 및 방법, 영상 복호화장치 및 방법과 이를채용한 디스플레이 구동회로 및 방법
JP2022512087A (ja) ビデオ復号のための方法、装置、およびプログラム
CN114501012A (zh) 图像滤波、编解码方法以及相关设备
CN112823516A (zh) 编码设备、编码方法和解码设备
US11991399B2 (en) Apparatus and method for de-blocking filtering
US20230300346A1 (en) Supporting view direction based random access of bitsteam
US10425646B2 (en) Method of and apparatus for processing video image data
CN110784719B (zh) 在视频注释的存在下视频数据的高效编码
US10218978B2 (en) Data processing systems
US20120307887A1 (en) Hint based adaptive encoding
WO2023181546A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US20230353770A1 (en) Method for frame packing in a mpeg immersive video format
WO2023181607A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR101289881B1 (ko) 무손실 영상 압축 장치 및 방법
KR101022311B1 (ko) 근사적 무손실 압축 기법을 이용하는 임베디드 시스템 및 그 영상처리 방법
US11336889B2 (en) Moving image encoding device and method for reducing flicker in a moving image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination