CN111771381A - 利用聚类和查找过程的增强的图像压缩 - Google Patents

利用聚类和查找过程的增强的图像压缩 Download PDF

Info

Publication number
CN111771381A
CN111771381A CN201980015537.6A CN201980015537A CN111771381A CN 111771381 A CN111771381 A CN 111771381A CN 201980015537 A CN201980015537 A CN 201980015537A CN 111771381 A CN111771381 A CN 111771381A
Authority
CN
China
Prior art keywords
block
blocks
encoder
dictionary
dictionary entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015537.6A
Other languages
English (en)
Inventor
克日什托夫·波滕帕
于尔基·阿拉奎亚拉
罗伯特·奥布雷克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111771381A publication Critical patent/CN111771381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3088Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3077Sorting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图像编码器包括处理器和存储器。存储器包括被配置成使处理器执行操作的指令。在一个示例实现方式中,该操作可以包括:确定字典项是否可用于替换正在被编码的图像的块,该确定基于层级查找机制;以及响应于确定字典项可用将图像与字典项的参考信息一起编码。在另一个示例实现方式中,操作可以包括对块执行主成分分析(PCA)以生成对应的投射块,该块与一组图像相关联,将投射块与对应的阈值进行比较,基于阈值使块递归地下降直到满足条件为止,以及在满足条件之后将剩余块标识为聚类。

Description

利用聚类和查找过程的增强的图像压缩
相关申请的交叉引用
本申请是于2018年5月21日提交的标题为“ENHANCED IMAGE COMPRESSION WITHCLUSTERING AND LOOKUP PROCEDURES(利用聚类和查找过程的增强的图像压缩)”的美国非临时专利申请No.15/985,317的继续申请并要求其优先权,其公开内容通过引用被整体合并在此。
技术领域
本申请一般涉及压缩图像。
背景技术
通常使用图像像素(例如,8x8个像素)的积分变换和任何类型的积分变换(例如,离散余弦变换(DCT)、离散正弦变换(DST)、哈达玛、伽柏、小波等)执行有损图像压缩。但是,积分变换过程可能会导致特性误差。这些特性误差可能会给压缩的图像以特性外观(characteristic look),并可能增加可能被标识为未压缩图像中的条纹或条带的分组误差,从而对用户体验产生负面影响。
发明内容
在一个方面,图像编码器包括处理器和存储器。存储器包括被配置成使处理器执行操作的指令。在一个示例实现方式中,该操作可以包括:确定字典项是否可用于替换正被编码的图像的块,该确定基于层级查找机制;以及响应于确定字典项可用,将图像与字典项的参考信息一起编码。在一些实现方式中,例如,字典项可以是任何适当大小的预定义或预定的图像块,并且/或者字典可以是多个字典项的组或集合。在另一个示例实现方式中,该操作可以包括对块执行主成分分析(PCA)以生成对应的投射块,所述块与一组图像相关联,将投射块与对应的阈值进行比较,基于阈值使块递归地下降直到满足条件为止,以及在满足条件之后将剩余块标识为聚类。
附图说明
通过下面在此给出的详细描述和附图,示例实现方式将变得更加充分地得以理解,其中,相似的元件由相似的附图标记表示,其仅以图示的方式给出,并且因此不限制示例实现方式并且其中:
图1图示根据至少一个示例实现方式的图像处理系统的框图。
图2图示根据至少另一示例实现方式的图像处理系统的框图。
图3图示根据至少一个示例实现方式的示例聚类机制。
图4图示根据至少一个示例实现方式的示例查找机制。
图5A图示根据至少一个示例实现方式的执行聚类的方法的流程图。
图5B图示根据至少一个示例实现方式的执行查找机制的方法的流程图。
图6示出根据至少一个示例实现方式的计算机设备和移动计算机设备的示例。
应该注意的是,这些图旨在图示在某些示例实现方式中利用的方法、结构或材料的一般特性,并且旨在补充在下面提供的撰写描述。然而,这些附图不是按比例的并且可能不精确地反映任何给定实现方式的精确结构或性能特性,并且不应该被解释为限定或者限制由示例实现方式所包含的值或属性的范围。在各个附图中使用类似或相同的附图标记旨在指示存在类似或相同的元件或特征。
具体实施方式
本文描述了示例图像编码(或压缩)过程。图像编码过程可以包括变换过程(例如,DCT变换),以将已经从像素域分离成块(例如,8×8个块)的图像变换成频域。在一个实现方式中,代替对可以包括量化和熵编码的块(例如,图像的一个或多个块)进行编码,可以将该块替换为紧密匹配块的字典项(例如,字典中的字典项)。换句话说,代替继续进行与该块相关联的DCT系数的编码,可以使用与和该块紧密匹配的字典项相关联的参考信息来替换该块。当字典中与该块紧密匹配的字典项可用(例如,字典项不必完全匹配)时,可能会发生用字典项替换块的情况。字典项的使用消除对块的频域系数进行编码的需求。在解码过程期间,解码器使用字典中的字典项成功地解码图像。即,解码器插入字典项代替块以完成解码过程。此过程减少从编码器传输到解码器的数据量,因为当字典中与块匹配的字典项可用时,通过使用字典项替代压缩块已经减小被编码的图像的大小。换句话说,解码器使用字典项执行解码。
在一些实现方式中,编码器可以预处理图像集以确定是否存在跨图像集共同的特征(也称为聚类)。如果编码器确定一些特征跨图像集是共同的,则编码器可以将特征或聚类一起存储在字典中。例如,编码器可以标识例如跨图像集共同的100个特征或聚类。编码器可以将它们一起存储在字典中,并使用字典项编号来标识它们。例如,垂直线可以被称为字典中的项#25,并且当编码可以包含垂直线的图像时,通过编码器可以被使用。将跨图像集共同的一组特征一起分组的过程可以称为分组或聚类,并且可以使用查找表来使用这些组中的项。
图1图示用于对图像进行编码的示例图像处理系统100的框图。
如图1中所示,示例图像处理系统100可以包括至少一个处理器112、至少一个存储器114、控制器116、编码器120和字典170。至少一个处理器112、至少一个存储器114、控制器116、编码器120和字典170可以经由总线118通信地耦合。
至少一个处理器112可以被利用以执行存储在至少一个存储器114上的指令,从而实现本文所述的各种特征和功能,或者附加的或替代的特征和功能。至少一个处理器112和至少一个存储器114可以被用于各种其他目的。例如,至少一个存储器114可以代表各种类型的存储器以及相关的硬件和软件或其组合的示例,其可以用于实现本文描述的组件或模块中的任何一个。
至少一个存储器114可以被配置成存储与图像处理系统100相关联的数据或信息。例如,至少一个存储器114可以被配置成存储编解码器(例如,编码器120)、图像(例如,图像102)、编码的图像(例如,编码的图像132)、字典(例如,字典170、字典项172)和任何参考信息(例如,参考信息174)。至少一个存储器114可以是共享资源。例如,图像处理系统100可以是较大系统(例如,服务器、个人计算机、移动设备等)的元件。因此,至少一个存储器114可以被配置成存储与较大系统内的其他元件(例如,图像/视频服务、网络浏览或有线/无线通信)相关联的数据或信息。
控制器116可以被配置成生成各种控制信号并且将控制信号传达给图像处理系统100中的各种块。控制器116可以被配置成生成控制信号以实现本文描述的技术(例如,机制、过程等)。控制器116可以被配置成根据示例实现方式或方面来控制编码器120以对图像、多个图像等进行编码。例如,控制器116可以生成与参数相对应的控制信号以实现编码机制。
在一个示例实现方式中,编码器120可以确定字典项(例如,字典项172)是否可用于替换正被编码的图像的块并且响应于确定字典项可用将该图像(例如,图像102)以及与块相关联的参考信息一起编码。
图2图示根据至少一个示例实现方式的图像处理系统200的框图。
如图2中所示,编码器220(可以与图1的编码器120相同或相似)可以包括将RGB转换为YCbCr组件222、下采样Cr和Cb组件224、DCT变换组件226、字典组件228、量化组件230和熵编码组件232。解码器240可以包括熵解码组件242、去量化组件244、IDCT变换组件246、上采样Cr和Cb组件248以及将YCbCr转换为RGB组件250。在一些实现方式中,解码器220可以从编码器220接收编码的图像132,并且可以执行解码以生成解码图像260。
在一个实现方式中,将RGB转换为YCbCr组件222可以配置成将源图像(例如,图像102)中的像素的RGB(例如,红、绿和蓝色)值转换为YCbCr(例如,亮度和色度)值。例如,ITU-RBT.601建立下述公式,用于从RGB颜色空间转换为YCbCr颜色空间:
Y=0.299R+0.587G+0.114B......................(1)
Cb=0.564(B-Y).................(2)
Cr=0.713(R-Y)...................(3)
在一些实现方式中,可以使用乘法器或查找表来实现颜色空间转换以实现乘法运算,并且可以通过组合所得的分量乘积来完成转换。在示例实现方式中,可以使用3乘3乘法来在三个颜色分量的任何两个颜色空间之间进行转换。为了使用等式(1)至(3)执行从RGB到YCbCr的颜色空间转换,可以将RGB转换为YCbCr组件222被配置成执行(或指示处理器,例如处理器112执行)三个乘法运算以获得Y颜色信号,并且然后在执行两次以上的乘法运算以分别获得Cb和Cr颜色信号之前导出(B-Y)和(R-Y)色差信号。
下采样Cr和Cb组件224可以被配置成将Y、Cr和Cb分成三个图像平面。例如,可以对Y值进行完全采样,并且可以对Cr和Cb值进行下采样,作为例如Cr和Cb值的第1/4垂直和水平下采样。
离散余弦变换(DCT)变换组件226可以被配置成将像素的值从空间域转换为变换域中的变换系数。变换系数可对应于与原始块相同大小的系数的二维矩阵。换句话说,可能存在与原始块中的像素一样多的变换系数。DCT变换组件226可以被配置成在例如频域中将块的像素值变换为变换系数。变换系数可以包括Karhunen-Loève变换(KLT)、离散余弦变换(DCT)或奇异值分解变换(“SVD”)。
在一些实现方式中,在量化组件230量化DCT系数之前,编码器220或字典组件228可以确定字典项172在字典170中是否可用,该字典项172可以替换待编码(或正在编码)的块。换句话说,编码器220可以确定字典项172在字典170中是否可用,其可以被用于替换该块,使得可以跳过对该块的进一步编码。在一些实现方式中,可以由编码器220通过处理图像集并标识可以一起存储为一个或多个字典项的多个特征来构建字典170和/或字典项172,使得编码器220可以例如,通过使用关联的参考信息来参考字典项,在编码过程期间使用那些一个或多个字典项。例如,在一个示例中,字典项可以被称为字典项#25。
量化组件230可以被配置成减少每个变换系数中的数据。量化可能涉及将相对较大范围内的值映射到相对较小范围内的值,从而减少表示量化的变换系数所需的数据量。量化组件230可以将变换系数转换成离散的量子值,其可以被称为量化的变换系数或量化等级。例如,编码标准可以在标量量化过程中定义128个量化等级。
熵编码组件232可以被配置成对块执行熵编码(例如,哈夫曼编码、算术编码等)。在对与源图像(例如,图像102)相对应的所有块进行编码之后,编码器220可以生成也称为编码比特流的编码的图像(例如,编码的图像132)。
熵解码组件242可以被配置成对编码块(或比特流)执行熵解码(例如,哈夫曼解码)。在执行熵解码时,熵解码组件242可以按照对块进行编码的顺序(例如,位置)来确定块。但是,熵解码组件242可能无法在熵解码组件242对至少一个先前的块进行熵解码之前确定块的位置,因为编码的块不具有固定的大小并且不存在标定块边界的标记。因此,对于要解码的块,应对先前的块(例如,在比特流或编码的图像102中)进行熵解码,以便确定所请求的块的位置。去量化组件244可以被配置成去量化经量化的变换系数。例如,在一些实现方式中,可以为每个块(例如,最小编码单元(MCU))生成一个DC系数和63个AC系数,并且可以将其(例如,临时)存储在存储器(例如,存储器114)中,以便由解码器240进行检索。
在一些实现方式中,一旦去量化组件244生成DC系数和AC系数,IDCT变换组件246可以被配置成执行IDCT运算(例如,使用DC系数和AC系数)以对去量化变换系数进行逆变换以产生与在编码期间由下采样Cr和Cb组件224创建的导数残差相同的导数残差。解码的图像260,上采样Cr和Cb组件248和将YCbCr转换为RGB组件250对Cr和Cb值进行上采样,并使用逆算法将YCbCr值转换为RGB(与将RGB转换为YCbCr组件222和下采样Cr和Cb组件224相比)以生成RGB值用于显示。
图3图示根据至少一个示例实现方式的示例聚类机制300。聚类机制300不限于图像块的DCT系数,还可以用于可以被表达为固定长度的数字序列的任何类型的数据。
聚类机制从块(例如,块302)集生成(或创建)聚类。块302可以与多个图像相关联。聚类机制300从块302的处理开始。在一些实现方式中,每个块可以是8×8矩阵,并且每个块可以与特征相关联。例如,垂直线可以被认为是特征。可以使用投射矩阵306对块302执行主成分分析(PCA)304以生成投射块308。可以通过将投射矩阵306投射到最大方差的轴上来生成投射块308。最大方差的轴确定沿着其块是最多样化的方向(例如,在64维空间中)。投射块可以是64个值的序列。
可以为每个投射块308确定阈值(例如,阈值310)。例如,可以使用大津(Otsu)方法确定投射块的阈值310,该方法用于执行基于聚类的图像阈值化。一旦确定投射块的阈值,就可以基于该阈值将投射块分离为两个部分。即,可以基于投射块的阈值将投射块的序列分离为两个序列。例如,在一些实现方式中,可以基于与阈值的比较将投射块分离为两个部分,第一部分,其包括等于阈值或在阈值以上的第一值的集;以及第二部分,其包括在阈值以下的第二值的集。
例如,递归地继续对投射块的分离,直到满足条件(例如,终止条件)为止。当不可能进一步块的分离(例如,仅剩余一个块)时,可以认为满足该条件。在一些实现方式中,在块的分离终止之后,剩余的块(例如,分离的输出)可以被认为是聚类并且被添加到字典170,例如,作为字典项172。
上述机制从与多个图像相关联的块的集中生成聚类(或字典项)。如图3中所示,投射矩阵306和阈值310被存储用于执行如下面参考图4描述的查找机制400。
图4图示根据至少一个示例实现方式的示例查找机制400。查找机制400确定在字典170中是否相似(或非常相似)的块可用并且/或者沿着层级(例如,递归地)前进以确定在分离的块中最接近的匹配。
在一个实现方式中,对查找机制400的输入可以包括块(例如,块402)、投射矩阵(例如,投射矩阵306)和阈值(例如,阈值310)。投射矩阵和阈值可以例如由图3的聚类机制300生成。
查找机制400可以包括基于投射矩阵来生成投射块(例如,投射块404)。投射块的生成可以基于投射矩阵,该投射矩阵可以投射到最大方差的轴上,如上面参考图3所述。投射块可以包括(例如,包含)64个值的序列,将其与阈值(例如,阈值310)进行比较406,以确定该序列是在阈值310以上还是以下。在一些实现方式中,例如,比较可以是基于差的平方和的比较。
在一些实现方式中,如果确定序列在阈值以上(或等于阈值),则查找机制递归地考虑投射矩阵和与以上部分相对应的阈值,并且如果确定该序列在阈值以下,则查找机制递归地考虑投射矩阵和与以下部分相对应的阈值。递归下降(例如,处理、向前走等)继续408直到满足条件(例如,终止条件)为止。当无法进一步分离时,分离结束,并且此时正在考虑的聚类被选择作为匹配聚类。
图5A图示根据至少一个示例实现方式的编码图像的方法的流程图500。
在框510处,编码器120可以确定字典项是否可用于替换正在被编码的图像的块。例如,在一些实施方式中,如上面参考图2所描述的,编码器220(或编码器120)可以确定字典项(字典项172可以是特征)是否可用于替换正在被编码的图像的块。编码器220可以基于以上参考图4描述的层级查找机制来确定与块(例如,紧密匹配的块)相关联的字典项是否可用。编码器220可以参考关联的字典项,而不是对该块的进一步处理或编码。如果编码器220确定字典项可用,则编码器220可以跳过对该块的进一步处理(例如,量化、熵编码),并且可以代替在编码期间简单地参考字典项。
在框520处,响应于确定字典项可用,编码器可以对图像以及与该块相关联的参考信息进行编码。例如,在一些实现方式中,响应于编码器220确定字典项可用,编码器220可以将图像以及与该块相关联的参考信息一起编码。即,编码器用与该块相关联的参考信息替换该块。与该块相关联的参考信息可以在字典170中可用。在一些实现方式中,在解码过程期间,参考信息允许解码器260从字典170复制字典项(例如,与该块相似或非常相似)。来完成解码过程。换句话说,解码器用字典项替换字典项的参考信息。
在一些实现方式中,在块530处,编码器可以接收包括字典项的字典。在典型情况下,字典170将提前被创建并被分发给编码器220和解码器260两者。因为编码器220可能已用与该块相关联的参考信息(例如,字典项)替换块,所以解码器260需要字典项以成功完成解码过程。因此,通过在编码过程期间使用字典项的参考信息,编码器220减小编码的图像的大小。
图5B图示根据至少一个示例实现方式的查找机制的流程图550。
在块560处,编码器220可以对块执行主成分分析(PCA)以生成对应的投射块。该块可以与一组图像相关联。在框570处,编码器220可以将投射块与对应的阈值进行比较。在框580处,编码器220可以基于阈值来递归地处理字典的子集(例如,递归地下降或分离),直到满足条件为止。在框590处,编码器220可以在满足条件之后将剩余的块标识为聚类。在一些实现方式中,例如,如以上参考图4所述,编码器220可以基于以上参考图4描述的层级查找机制来确定与正被编码的图像的块相关联的字典项是否可用。
图6示出可以与这里描述的技术一起使用的计算机设备600和移动计算机设备650的示例。计算设备600旨在表示各种形式的数字计算机,诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备650旨在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、其连接和关系及其功能仅意在为示例性的,而不意在限制本文档中描述和/或要求保护的发明的实现方式。
计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608、以及连接到低速总线614和存储设备606的低速接口612。组件602、604、606、608、610和612中的每一个均使用各种总线来互连,并且可以被安装在公共主板上或者酌情以其他方式安装。处理器602可处理用于在计算设备600内执行的指令,包括存储在存储器604中或者在存储设备606上以在诸如耦合到高速接口608的显示器616的外部输入/输出设备上显示用于GUI的图形信息的指令。在其他实现方式中,可以酌情连同多个存储器和多种类型的存储器一起使用多个处理器和/或多个总线。另外,可以连接多个计算设备600,其中每个设备提供必要操作的部分(例如,作为服务器组、一组刀片服务器或多处理器系统)。
存储器604存储计算设备600内的信息。在一个实现方式中,存储器604是一个或多个易失性存储器单元。在另一实现方式中,存储器604是一个或多个非易失性存储器单元。存储器604还可以是另一形式的计算机可读介质,诸如磁盘或光盘。
存储设备606能够为计算设备600提供大容量存储。在一个实现方式中,存储设备606可以是或者包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其他类似的固态存储器设备或设备的阵列,包括存储区域网络或其他配置中的设备。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品还可以包含指令,该指令当被执行时执行一个或多个方法,诸如上面描述的那些方法。信息载体是计算机或机器可读介质,诸如存储器604、存储设备606、或处理器602上的存储器。
高速控制器608管理计算设备600的带宽密集操作,而低速控制器612管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实现方式中,高速控制器608耦合到存储器604、显示器616(例如,通过图形处理器或加速器),并且耦合到高速扩展端口610,该高速扩展端口610可以接受各种扩展卡(未示出)。在该实现方式中,低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备,诸如键盘、指点设备、扫描仪、或诸如交换机或路由器的联网设备。
如图中所示,可以以许多不同的形式实现计算设备600。例如,它可以作为标准服务器620被实现,或者被多次实现在一组此类服务器中。它还可以作为机架服务器系统624的一部分被实现。此外,它可以被实现在诸如膝上型计算机622的个人计算机中。可替选地,来自计算设备600的组件可以与诸如设备650的移动设备(未示出)中的其他组件组合。此类设备中的每一个均可以包含计算设备600、650中的一个或多个,并且整个系统可以由彼此通信的多个计算设备600、650组成。
计算设备650包括处理器652、存储器664、诸如显示器654的输入/输出设备、通信接口666、和收发器668以及其他组件。设备650还可以被提供有存储设备,诸如微驱动器或其他设备,以提供附加存储。组件650、652、664、654、666和668中的每一个均使用各种总线来互连,并且若干组件可以被安装在公共主板上或者酌情以其他方式安装。
处理器652可执行计算设备650内的指令,包括存储在存储器664中的指令。处理器可以作为芯片的芯片组被实现,该芯片包括单独的和多个模拟和数字处理器。处理器可以例如提供用于设备650的其他组件的协调,诸如对用户界面、由设备650运行的应用和由设备650进行的无线通信的控制。
处理器652可以通过耦合到显示器654的控制接口658和显示接口656来与用户进行通信。显示器654可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当的电路。控制接口658可以从用户接收命令并且对它们进行转换以便提交给处理器652。此外,可以提供与处理器652通信的外部接口662,以使得能实现设备650与其他设备的近区域通信。外部接口662可以在一些实现方式中例如提供用于有线通信,或者在其他实现方式中用于无线通信,并且还可以使用多个接口。
存储器664存储计算设备650内的信息。存储器664可作为一个或多个计算机可读介质、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元中的一种或多种被实现。还可以提供扩展存储器674并且通过扩展接口672将它连接到设备650,扩展接口672可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器674可以为设备650提供附加的存储空间,或者还可以为设备650存储应用或其他信息。具体地,扩展存储器674可以包括用于执行或者补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器674可以作为用于设备650的安全模块被提供,并且可以被编程有允许安全使用设备650的指令。此外,可以经由SIMM卡提供安全应用以及附加信息,诸如以不可破解的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪速存储器和/或NVRAM存储器,如在下面所讨论的。在一个实现方式中,计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令,该指令当被执行时执行一个或多个方法,诸如上述的那些方法。信息载体是可以例如通过收发器668或外部接口662接收的计算机或机器可读介质,诸如存储器664、扩展存储器674、或处理器652上的存储器。
设备650可以通过通信接口666以无线方式通信,该通信接口666必要时可以包括数字信号处理电路。通信接口666可以提供用于各种模式或协议下的通信,各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器668而发生。此外,可以发生短距离通信,诸如使用蓝牙、WiFi或其他这种收发器(未示出)。此外,GPS(全球定位系统)接收器模块670可以向设备650提供附加的导航和位置相关无线数据,其可以酌情由在设备650上运行的应用使用。
设备650还可以使用音频编解码器660可听地通信,该音频编解码器660可以从用户接收口语信息并且将它转换为可用的数字信息。音频编解码器660可以同样地诸如通过例如,在设备650的头戴式耳机中的扬声器为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音,可以包括记录的声音(例如,语音消息、音乐文件等)并且还可以包括由在设备650上操作的应用所生成的声音。
如图中所示,可以以许多不同的形式实现计算设备650。例如,它可以作为蜂窝电话680被实现。它还可以作为智能电话682、个人数字助理或其他类似的移动设备的一部分被实现。
这里描述的系统和技术的各种实现方式可用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件、和/或其组合加以实现。这些各种实现方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式,该可编程系统包括至少一个可编程处理器,其可以是专用的或通用的,耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令,并且以向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。这里描述的系统和技术的各种实现方式可作为可组合软件和硬件方面的电路、模块、块或系统被实现和/或一般地在本文中被称为可组合软件和硬件方面的电路、模块、块或系统。例如,模块可以包括在处理器(例如,形成在硅衬底、GaAs衬底等上的处理器)或某个其它可编程数据处理装置上执行的功能/行为/或者计算机程序指令。
上述示例实施例中的一些被描述为作为流程图描绘的过程或方法。尽管流程图将操作描述为顺序过程,然而可以并行地、并发地或同时地执行许多操作。此外,可以重新布置操作的次序。这些过程可以在其操作完成时被终止,但是也可以具有未包括在图中的附加步骤。这些过程可以对应于方法、功能、过程、子例程、子程序等。
上面讨论的方法(其中的一些通过流程图来图示)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当用软件、固件、中间件或微代码加以实现时,用于执行必要的任务的程序代码或代码段可以被存储在诸如存储介质的机器或计算机可读介质中。处理器可以执行必要的任务。
本文中公开的具体结构和功能细节仅仅是表示性的以用于描述示例实施例的目的。然而,示例实施例被以许多替代形式具体实现,而不应该被解释为限于仅本文中阐述的实施例。
应理解的是,尽管可以在本文中使用术语第一、第二等来描述各种元件,然而这些元件不应该受这些术语限制。这些术语仅用于区分一个元件和另一元件。例如,第一元件能被称为第二元件,并且类似地,第二元件能被称为第一元件,而不脱离示例实施例的范围。如本文中所使用的,术语和/或包括相关列举项目中的一个或多个的任何和所有组合。
应理解的是,当一个元件被称为连接或者耦合到另一元件时,它可直接地连接或者耦合到另一元件或者可以存在中间元件。相比之下,当一个元件被称为直接地连接或者直接地耦合到另一元件时,不存在中间元件。应该以相似的方式解释用于描述元件之间的关系的其它单词(例如,在…之间对直接地在…之间、相邻对直接地相邻等)。
本文中使用的术语仅用于描述特定实施例的目的而不旨在限制示例实施例。如本文中所使用的,除非上下文另外清楚地指示,否则单数形式“一个”和“所述”也旨在包括复数形式。应进一步理解的是,术语“包含”、“含有”、“包括”和/或“包括有”当在本文中使用时,指定存在陈述的特征、整数、步骤、操作、元件和/或组件,但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组。
还应该注意的是,在一些替代实现方式中,所指出的功能/行为可以不按图中指出的次序发生。例如,取决于所涉及的功能性/行为,相继示出的两个图实际上可以被并发地执行或者有时可以被以相反的次序执行。
除非另外定义,否则本文中使用的所有术语(包括技术和科学术语)具有与由示例实施例所属的领域的普通技术人员所通常理解的相同的含义。应进一步理解的是,除非在本文中明确地如此定义,否则术语(例如,在常用字典中定义的那些术语)应该被解释为具有与其在相关领域的上下文中的含义一致的含义,而不应在理想化或过于正式的意义上进行解释。
上述示例实现方式的各部分和对应的详细描述是按软件或算法以及对计算机存储器内的数据比特的操作的符号表示来呈现的。这些描述和表示是本领域的普通技术人员用来有效地将其工作的实质传达给本领域的其它普通技术人员的描述和表示。算法(当在这里使用该术语时,并且当一般地使用它时)被认为是导致期望结果的步骤的自相一致序列。这些步骤是要求对物理量的物理操纵的那些步骤。通常,尽管不一定,然而这些量采取能够被存储、转移、组合、比较和以其它方式操纵的光学信号、电信号或磁信号的形式。有时主要由于通用的原因,将这些信号称为比特、值、元素、符号、字符、术语、数字等已证明是方便的。
在上述说明性实现方式中,对可以作为程序模块或功能过程被实现的操作(例如,形式为流程图)的行为和符号表示的引用包括执行特定任务或者实现特定抽象数据类型并且可以使用现有结构元件处的现有硬件来描述和/或实现的例程、程序、对象、组件、数据结构等。这种现有硬件可以包括一个或多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。
然而,应该记住的是,所有这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非另外具体地陈述,或者如从讨论中显而易见的,诸如处理或计算或计算出或确定或显示等的术语指代计算机系统或类似的电子计算设备的动作和过程,所述计算机系统或类似的电子计算设备将被表示为计算机系统的寄存器和存储器内的物理、电子量的数据操纵并变换成被类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示设备内的物理量的其它数据。
另外注意的是,示例实现方式的软件实现的方面通常被编码在某种形式的非暂时性程序存储介质上或者实现在某种类型的传输介质上。程序存储介质可以是磁的(例如,软盘或硬盘驱动器)或光学的(例如,紧致盘只读存储器或CD ROM),并且可以是只读或随机存取的。类似地,传输介质可以是双绞线对、同轴电缆、光纤或为本领域所知的某个其它适合的传输介质。示例实现方式不受任何给定实现方式的这些方面限制。
最后,还应该注意的是,虽然所附权利要求书陈述本文中描述的特征的特定组合,但是本公开的范围不限于此后要求保护的特定组合,而是替代地扩展到包含本文中公开的特征或实现方式的任何组合,而不管此时是否已在所附权利要求中具体地枚举了该特定组合。
尽管示例实现方式可以包括各种修改和替代形式,但是其实现方式在附图中以示例的方式示出并且将在本文中详细描述。然而,应理解,无意将示例实现方式限制为所公开的特定形式,而是相反,示例实现方式将覆盖落入权利要求范围内的所有修改、等效物和替代形式。在整个附图的描述中,相同的标号指代相同的元件。

Claims (20)

1.一种方法,包括:
在编码器处确定字典项是否可用于替换正在被编码的图像的块,该确定基于层级查找机制;以及
响应于确定所述字典项可用,在所述编码器处将所述图像与所述字典项的参考信息一起编码。
2.根据权利要求1所述的方法,其中,所述层级查找机制包括:
基于对应的投射矩阵生成投射块;以及
将所述投射矩阵与对应的阈值进行比较,以确定所述块是否与所述字典项匹配。
3.根据权利要求1或2所述的方法,进一步包括:
由所述编码器接收包括所述字典项的字典。
4.根据权利要求1至3中的任一项所述的方法,其中,所述字典项与所述图像的特征相关联。
5.根据权利要求1至4中的任一项所述的方法,进一步包括:
确定所述字典项,其中,确定所述字典项包括:
对块执行主成分分析(PCA)以生成对应的投射块,所述块与一组图像相关联;
将所述投射块与对应的阈值进行比较;
基于所述阈值使所述块递归地下降,直到满足条件为止;以及
在满足所述条件之后,将剩余的块标识为聚类。
6.一种方法,包括:
对块执行主成分分析(PCA)以生成对应的投射块,所述块与一组图像相关联;
将所述投射块与对应的阈值进行比较;
基于所述阈值使所述块递归地下降,直到满足条件为止;以及
在满足所述条件之后,将剩余的块标识为聚类。
7.根据权利要求6所述的方法,其中,所述阈值是使用大津方法生成的。
8.一种编码器,包括:
处理器;以及
存储器,所述存储器包括被配置成使所述处理器执行下述的指令:
确定字典项是否可用于替换正在被编码的图像的块,该确定基于层级查找机制;以及
响应于确定所述字典项可用,将所述图像与所述字典项的参考信息一起编码。
9.根据权利要求8所述的编码器,其中,所述处理器进一步被配置成:
基于对应的投射矩阵生成投射块;并且
将所述投射矩阵与对应的阈值进行比较,以确定所述块是否与所述字典项匹配。
10.根据权利要求8或9所述的编码器,其中,所述处理器进一步被配置成:
接收包括所述字典项的字典。
11.根据权利要求8至10中的任一项所述的编码器,其中,所述字典项与所述图像的特征相关联。
12.根据权利要求8至11中的任一项所述的编码器,其中,所述块的大小是8×8矩阵。
13.一种编码器,包括:
处理器;以及
存储器,所述存储器包括被配置成使所述处理器执行下述的指令:
对块执行主成分分析(PCA)以生成对应的投射块,所述块与一组图像相关联;
将所述投射块与对应的阈值进行比较;
基于所述阈值使所述块递归地下降,直到满足条件为止;以及
在满足所述条件之后,将剩余的块标识为聚类。
14.根据权利要求13所述的编码器,其中,所述阈值是使用大津方法生成的。
15.一种非暂时性计算机可读存储介质,其上存储有计算机可执行程序代码,所述计算机可执行程序代码当在计算机系统上执行时,使所述计算机系统执行一种方法,包括:
在编码器处,确定字典项是否可用于替换正在被编码的图像的块,该确定基于层级查找机制;以及
响应于确定所述字典项可用,在所述编码器处将所述图像与所述字典项的参考信息一起编码。
16.根据权利要求15所述的计算机可读存储介质,其中,所述层级查找机制进一步包括用于下述的代码:
基于对应的投射矩阵生成投射块;以及
将所述投射矩阵与对应的阈值进行比较,以确定所述块是否与所述字典项匹配。
17.根据权利要求15或16所述的计算机可读存储介质,进一步包括用于下述的代码:
由所述编码器接收包括所述字典项的字典。
18.根据权利要求15至17中的任一项所述的计算机可读存储介质,其中,所述块的大小是8×8矩阵。
19.一种非暂时性计算机可读存储介质,其上存储有计算机可执行程序代码,所述计算机可执行程序代码当在计算机系统上执行时,使所述计算机系统执行一种方法,包括:
对块执行主成分分析(PCA)以生成对应的投射块,所述块与一组图像相关联;
将所述投射块与对应的阈值进行比较;
基于所述阈值使所述块递归地下降,直到满足条件为止;以及
在满足所述条件之后,将剩余的块标识为聚类。
20.根据权利要求19所述的计算机可读存储介质,其中,所述阈值是使用大津方法生成的。
CN201980015537.6A 2018-05-21 2019-05-16 利用聚类和查找过程的增强的图像压缩 Pending CN111771381A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/985,317 2018-05-21
US15/985,317 US10931948B2 (en) 2018-05-21 2018-05-21 Enhanced image compression with clustering and lookup procedures
PCT/US2019/032591 WO2019226449A1 (en) 2018-05-21 2019-05-16 Enhanced image compression with clustering and lookup procedures

Publications (1)

Publication Number Publication Date
CN111771381A true CN111771381A (zh) 2020-10-13

Family

ID=66691035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015537.6A Pending CN111771381A (zh) 2018-05-21 2019-05-16 利用聚类和查找过程的增强的图像压缩

Country Status (4)

Country Link
US (2) US10931948B2 (zh)
EP (1) EP3741128A1 (zh)
CN (1) CN111771381A (zh)
WO (1) WO2019226449A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365065B (zh) * 2021-06-09 2024-04-26 湖南大学 用于rpa机器人屏幕录制的无损视频编码方法和解码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
CN104915685A (zh) * 2015-07-02 2015-09-16 北京联合大学 基于多矩形划分的图像表示方法
US20170272749A1 (en) * 2015-10-09 2017-09-21 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771828B1 (en) * 2000-03-03 2004-08-03 Microsoft Corporation System and method for progessively transform coding digital data
JP4465654B2 (ja) * 2004-09-10 2010-05-19 富士ゼロックス株式会社 画像辞書作成装置、符号化装置、符号化方法及びそのプログラム
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8666186B1 (en) 2010-02-12 2014-03-04 Pacific Data Images Llc Lossy compression of high dynamic range video
AU2014201583A1 (en) * 2014-03-14 2015-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data using a block dictionary
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US9326000B2 (en) 2014-07-02 2016-04-26 Omnivision Technologies (Shanghai) Co., Ltd. Method and system for still image encoding and random access decoding
EP3469792A1 (en) * 2016-06-24 2019-04-17 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
CN104915685A (zh) * 2015-07-02 2015-09-16 北京联合大学 基于多矩形划分的图像表示方法
US20170272749A1 (en) * 2015-10-09 2017-09-21 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JE-WON KANG等: "Efficient dictionary based video coding with reduced side information", 《2011 IEEE INTERNATIONAL SYMPOSIUM OF CIRCUITS AND SYSTEMS (ISCAS)》 *

Also Published As

Publication number Publication date
US20210195193A1 (en) 2021-06-24
US10931948B2 (en) 2021-02-23
EP3741128A1 (en) 2020-11-25
US11968406B2 (en) 2024-04-23
WO2019226449A1 (en) 2019-11-28
US20190356916A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US10264271B2 (en) Coded-block-flag coding and derivation
KR102578967B1 (ko) 단대단 신경망 기반 비디오 코딩
US11682144B2 (en) Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
CN111492656B (zh) 用于图像的两阶段解码的方法、设备和介质
JP2009239779A (ja) 画像符号化装置、画像復号化装置及び集積回路装置
US9613394B2 (en) Lossy color compression using adaptive quantization
US11968406B2 (en) Enhanced image compression with clustering and lookup procedures
US9781419B2 (en) Compressing image data
CN101919248A (zh) 增强型图像压缩的字节表示
US11412260B2 (en) Geometric transforms for image compression
KR20190122479A (ko) 3차원 데이터를 프로세싱하기 위한 방법 및 장치
KR20160082521A (ko) 크로마 하향 변환 및 상향 변환 처리
US11368697B1 (en) Adaptive image compression using a quality metric
US9930354B2 (en) Skip scanlines on JPEG image decodes
US9955163B2 (en) Two pass quantization of video data
WO2023184206A1 (en) Enhanced presentation of tiles of residual sub-layers in low complexity enhancement video coding encoded bitstream
US11228786B2 (en) Compressing frame based on errors of previous frames
US20230316578A1 (en) Multicolor lossless image compression
US8411971B1 (en) Method and apparatus for normalizing perceptual quality in media compression
WO2023231710A1 (zh) 一种图片的处理方法及相关设备
US9848188B1 (en) Video coding transform systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination