CN101779470B - 影像信号生成装置、以及影像信号生成方法 - Google Patents

影像信号生成装置、以及影像信号生成方法 Download PDF

Info

Publication number
CN101779470B
CN101779470B CN2008801030609A CN200880103060A CN101779470B CN 101779470 B CN101779470 B CN 101779470B CN 2008801030609 A CN2008801030609 A CN 2008801030609A CN 200880103060 A CN200880103060 A CN 200880103060A CN 101779470 B CN101779470 B CN 101779470B
Authority
CN
China
Prior art keywords
mentioned
decoder object
coding
object piece
coded message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801030609A
Other languages
English (en)
Other versions
CN101779470A (zh
Inventor
嵯峨田淳
池田充郎
松田宏朗
长沼次郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101779470A publication Critical patent/CN101779470A/zh
Application granted granted Critical
Publication of CN101779470B publication Critical patent/CN101779470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

影像信号生成装置对比特流进行解码而生成影像信号，具备：写入单元，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置，写入表示对解码对象块用帧内编码进行编码还是用帧间编码进行编码的标志值，并且在该一个比特平面上的规定的公共区域，写入表示解码对象块的编码分割方式的信息，进而，在该一个比特平面上的规定的切换解释区域中，在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入编码信息；以及生成单元，重叠上述一个比特平面与解码对象块的解码图像来生成影像信号。

Description

影像信号生成装置、以及影像信号生成方法
技术领域
本发明涉及对通过帧内编码以及帧间编码生成的影像编码数据的比特流进行解码而生成影像信号的影像信号生成装置及其方法、该影像信号生成装置的实现中使用的影像信号生成程序以及记录了该程序的计算机可读取的记录介质，特别涉及能够使用与MPEG2相同的Mole格式，与解码影像信号一起传送在用H.264等编码时产生的大数据量的编码信息的影像信号生成装置及其方法、该影像信号生成装置的实现中使用的影像信号生成程序以及记录了该程序的计算机可读取的记录介质。 
背景技术
存在对已解码的影像信号想进行再编码的要求。众所周知在该情况下，在后级的编码器使用前级的编码器所使用的编码参数来进行编码时，几乎不产生画质劣化。 
因此，在存在对已解码的影像信号想进行再编码这种要求的情况下，通常对该解码后的影像号重叠前级的编码器使用的编码信息(编码参数的信息)。 
为了实现上述技术，在以往的MPEG2的Mole格式(SMPTE标准)中，与影像信号同步地，针对各宏块(macro block)在相应的定时，将该宏块的编码信息装填到影像信号的色差分量的LSB的一个比特中(例如参照非专利文献1)。 
如HD-SDI、SD-SDI等那样的现有的影像传送接口是10比特传送，在传送八个比特的影像信号的情况下有两个比特可以利用，所以在以往的MPEG2的Mole格式(SMPTE标准)中，使用其内的一个比特(LSB的一个比特)的平面，在该平面具有的16×16＝256比特中，装填宏块的编码信息。 
通过该结构，在以往技术中，可以将MPEG2的编码信息与影像信号一起用小于或等于256比特/宏块来传送。 
非专利文献1：SMPTE 319M“Transporting MPEG-2RecodingInformation through 4∶2∶2 Component Digital Interfaces”SMPTEJournal，February 2000。 
发明内容
在对用H.264编码的影像信号进行解码的情况下，也存在对该解码的影像信号想进行再编码的要求。然而，在H.264中尚不存在如MPEG2的SMPTE标准那样的标准。 
在MPEG2中，如果针对每一个宏块分配256比特作为编码信息的记录区域，则可以充分表现各宏块的编码信息。 
与此相对，在H.264中，由于各宏块中的每一个宏块具有多个编码模式，所以各种宏块的编码类型、宏块的分割信息、运动矢量的数量等信息与MPEG2相比格外多。 
所以，在H.264的情况下，对于每个宏块，在256比特中无法表现一个宏块的编码信息。 
这样，设计H.264独自的标准的做法并非优选。其原因为，在要设计H.264独自的标准时，可能无法使用当前正在使用的影像机器。 
本发明是鉴于上述情况而完成的，其目的在于提供一种新的影像信号生成技术，能够使用与MPEG2同样的Mole格式，与解码影像信号一起传送在用H.264等编码时产生的大数据量的编码信息。 
为了达成该目的，本发明的影像信号生成装置在采用将利用帧内编码以及帧间编码生成的影像编码数据的比特流作为输入，以规定大小的块为单位对该比特流进行解码而生成影像信号这样的结构时，构成为具备：(1)解码单元，对包含在所输入的比特流中的关于解码对象块的编码信息进行解码；(2)写入单元，根据解码单元解码的 编码信息，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置上，写入表示对解码对象块用帧内编码进行了编码还是用帧间编码进行了编码的标志值，并且在该一个比特平面上的规定的公共区域，写入表示解码对象块的编码分割方式的信息，进而，在该一个比特平面上的规定的切换解释区域中，在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入解码单元解码的编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入解码单元解码的编码信息；以及(3)生成单元，通过将由写入单元写入了标志值、编码信息等的一个比特平面与解码对象块的解码图像进行重叠，从而生成影像信号。 
在采用该结构时，在写入单元中，在解码单元解码的编码信息的数据量根据解码对象块的编码分割方式而变大，从而其编码信息无法收敛于切换解释区域中的情况下，按照与该编码分割方式对应的数据格式，以省略了该编码信息的一部分的形式，写入到切换解释区域那样地进行处理。 
另外，写入单元进行以下处理：对公共区域，写入关于解码对象块所属的图片的编码信息的一部分。 
以上的各处理单元还可以通过计算机程序来实现，该计算机程序记录在适当的计算机可读取的记录介质中被提供、或者经由网络被提供，在实施本发明时被安装而在CPU等控制单元上动作，从而实现本发明。 
在这样构成的本发明的影像信号生成装置中，在输入了影像编码数据的比特流时，对包含在该比特流中的关于解码对象块的编码信息进行解码。 
通过该编码信息的解码，在判断为用帧内编码对解码对象块进行了编码的情况下，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置上，写入表示用帧内编码对解码对象块进行了编码的标志值，并且在该一个比特平面上的规定的公共区域，写入表示解码对象块的编码分割方式的信息，进而，在该一个比特平面上的规定的 切换解释区域中，以与帧内编码对应的数据格式写入所解码的编码信息。 
然后，通过重叠写入了该标志值、编码信息等的一个比特平面与解码对象块的解码图像，来生成影像信号。 
另一方面，通过该编码信息的解码，在判断为用帧间编码对解码对象块进行了编码的情况下，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置上，写入表示用帧间编码对解码对象块进行了编码的标志值，并且在该一个比特平面上的规定的公共区域，写入表示解码对象块的编码分割方式的信息，进而，在该一个比特平面上的规定的切换解释区域中，按照与帧间编码对应的数据格式，写入所解码的编码信息。 
此时，在解码的编码信息的数据量根据解码对象块的编码分割方式而变大，从而该编码信息无法收敛于切换解释区域中的情况下，按照与该编码分割方式对应的数据格式，以省略了该编码信息的一部分的形式写入到切换解释区域中。 
然后，通过重叠写入了该标志值、编码信息等的一个比特平面与解码对象块的解码图像，来生成影像信号。 
这样，在本发明的影像信号生成装置中，在对用H.264等编码的影像信号进行解码，并对该解码的影像信号重叠编码信息的情况下，与MPEG2的Mole格式(SMPTE标准)同样地，对影像信号的色差分量的LSB的一个比特装填编码信息，从而可以使用如HD-SDI、SD-SDI等那样的现有的影像传送接口来传送。 
此时，在使用H.264等编码的情况下，编码信息的数据量变大，无法在具有16×16＝256比特那样大小的一个比特的平面上写入该编码信息的全部，所以在该一个比特的平面上，设置表示对解码对象块用帧内编码进行编码还是用帧间编码进行编码的标志值的写入区域，并且通过设置在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入编码信息的切换解释区域，从而可 以尽可能地写入编码信息。 
根据本发明，能够使用与MPEG2同样的Mole格式，与解码影像信号一起传送在用H.264等编码时产生的大数据量的编码信息。 
由此，根据本发明，在存在对用H.264编码的影像信号的解码信号想进行再编码的要求的情况下，可以使用如HD-SDI、SD-SDI等的现有的影像传送接口，与解码影像信号一起传送需要再编码的编码信息。 
附图说明
图1是本发明的影像解码装置的一个实施例。 
图2是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
图3是本发明的影像解码装置执行的流程图。 
图4是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
图5是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
图6A是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
图6B是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
图6C是本发明的影像解码装置生成的H.264编码信息格式的说明图。 
标号说明 
1影像解码装置 
10图片解码部 
11宏块编码数据存储器 
12帧内宏块用切换解释区域生成部 
13帧间宏块用切换解释区域生成部 
14切换开关 
15宏块编码信息生成部 
16切片编码信息生成部 
17图片编码信息生成部 
18H.264编码信息格式生成部 
19基带影像LSB重叠部 
20帧存储器 
120帧内预测尺寸值设定部 
121预测方向设定部 
130帧间预测尺寸值设定部 
131参照图像序号设定部 
132运动矢量设定部 
具体实施方式
以下，按照实施方式，详细说明本发明。 
图1图示出具备本发明的影像解码装置1的一个实施方式例。 
本发明的影像解码装置1进行如下处理：将未图示的前级的H.264编码器生成的影像编码数据的比特流作为输入，并对该比特流进行解码，从而得到解码影像信号，并且为了解码影像信号的再编码，以宏块为单位，对该解码影像信号的色差分量的LSB的平面，重叠前级的H.264编码器在编码中使用的编码信息(以下有时称为H.264编码信息)。 
图2图示出本发明的影像解码装置1重叠在解码影像信号中的H.264编码信息格式的一个例子。 
该图示的H.264编码信息格式被写入到具有16×16＝256比特大小的解码影像信号的色差分量的LSB的平面中，记述了例如下述等的信息： 
(1)具有“11111”的值的“同步用固定代码”； 
(2)从画面的左上起以逐次递增一个的形式分配给宏块，表示宏块在画面内的位置的“宏块循环序号”； 
(3)记述了在组合了图片内的所有宏块的“图片编码信息记述区域”的信息时成为图片编码信息的信息之内的分配给该宏块的编码信息的“图片编码信息记述区域”； 
(4)记述了针对在组合了图片内的所有宏块的“切片编码信息记述区域”的信息时成为切片编码信息的信息之内的分配给该宏块的编码信息的“切片编码信息记述区域”； 
(5)记述了该宏块的切片编码类型(I-Slice、P-Slice、B-Slice)的“切片类型”； 
(6)记述了对该宏块用帧内进行编码还是用帧间进行编码的“宏块帧内代码(图中的(1))”； 
(7)记述了再分割了该宏块的块的尺寸的“块分割单位标志(图中的(2))”； 
(8)记述了再分割块的块类型的“块类型”； 
(9)记述了对于16×16或8×8的块，用双向预测进行了编码还是用单向预测进行了编码的“双向预测标志”；以及 
(10)在“宏块帧内代码”表示帧内编码的情况下，记述帧内编码的编码信息，在表示帧间编码的情况下，记述帧间编码的编码信息的“切换解释区域”等。 
此处，在“块分割单位标志”表示为“0”的情况下，记述对16×16或16×8或8×16的块进行再分割，而表示为“1”的情况下，记述对8×8的块或比其更小的块尺寸的块进行再分割。 
另外，在“块分割单位标志”表示为“0”的情况、且“块类型”的开头两个比特表示为“00”的情况下，记述再分割成16×16的一个块，在开头两个比特表示为“01”的情况下，记述再分割成水平16×垂直8的两个块，在开头两个比特表示为“10”的情况下，记述再分割成水平8×垂直16的两个块。 
然后，在“块分割单位标志”表示为“1”的情况下，表示对小 于或等于8×8的块进行再分割，但此时，对于左上的8×8的块，用“块类型”的第0、1比特这两个比特记述块的再分割类型，对于右上的8×8的块，用“块类型”的第2、3比特这两个比特记述块的再分割类型，对于左下的8×8的块，用“块类型”的第0、1比特这两个比特记述块的再分割类型，对于右下的8×8的块，用“块类型”的第2、3比特这两个比特记述块的再分割类型，在该两个比特表示为“00”的情况下，记述再分割成8×8的一个块，在该两个比特表示为“01”的情况下，记述再分割成水平8×垂直4的两个子块，在该两个比特表示为“10”的情况下，记述再分割成水平4×垂直8的两个子块，在该两个比特表示为“11”的情况下，记述再分割成水平4×垂直4的四个子块。 
另外，“双向预测标志”在16×16的块的情况下，如果开头的一个比特的代码是“1”，则记述是双向预测，如果是“0”，则记述是单向预测。然后，在存在16×8或8×16的两个块的情况下，使用开头的两个比特，对于两个块，如果分别是“1”，则记述是双向预测，如果是“0”，则记述是单向预测。然后，在存在8×8的四个块的情况下，使用四个比特，对于四个块，如果分别是“1”，则记述是双向预测，如果是“0”，则记述是单向预测。 
图1所示的本发明的影像解码装置1为了进行生成关于这样的编码信息记述的H.264编码信息格式并重叠到具有16×16＝256比特大小的解码影像信号的色差分量的LSB的平面中的处理，如图1所示具备：图片解码部10、宏块编码数据存储器11、帧内宏块用切换解释区域生成部12、帧间宏块用切换解释区域生成部13、切换开关14、宏块编码信息生成部15、切片编码信息生成部16、图片编码信息生成部17、H.264编码信息格式生成部18、基带影像LSB重叠部19以及帧存储器20。 
该图片解码部10由H.264解码器构成，具备对宏块进行解码的宏块解码部100，从而从输入的比特流中解码出图片。 
宏块编码数据存储器11存储从宏块解码部100解码的宏块(处理对象的宏块)的解码信息中抽出的、前级的H.264编码器在其宏块 的编码中使用的H.264编码信息。 
帧内宏块用切换解释区域生成部12具备帧内预测尺寸值设定部120与预测方向设定部121，在对处理对象的宏块进行帧内编码的情况下，对上述“宏块帧内代码”写入on(“1”)，并且根据存储在宏块编码数据存储器11中的编码信息，对上述“块分割单位标志”、“块类型”、“双向预测标志”等写入相应的数据，同时按照利用这些数据规定的格式，对上述“切换解释区域”写入该帧内编码的编码信息，从而生成帧内宏块用的切换解释区域的数据。 
帧间宏块用切换解释区域生成部13与帧内宏块用切换解释区域生成部12并列动作，具备帧间预测尺寸值设定部130、参照图像序号设定部131、运动矢量设定部132，在对处理对象的宏块进行了帧间编码的情况下，对上述“宏块帧内代码”写入off(“0”)，并且根据存储在宏块编码数据存储器11中的编码信息，对上述“块分割单位标志”、“块类型”、“双向预测标志”等写入相应的数据，同时按照利用这些数据规定的格式，对上述“切换解释区域”写入该帧间编码的编码信息，从而生成帧间宏块用的切换解释区域的数据。 
切换开关14按照从宏块编码数据存储器11中取得的编码模式(表示是帧内编码还是帧间编码的模式)，判断帧内宏块用切换解释区域生成部12生成的切换解释区域数据是正当的、还是帧间宏块用切换解释区域生成部13生成的切换解释区域数据是正当的，选择并输出正当的切换解释区域数据。 
宏块编码信息生成部15根据切换开关14选择的切换解释区域数据与能够从宏块编码数据存储器11中取得的处理对象的宏块中固有的信息，生成图2所示的H.264编码信息格式中记述的关于处理对象的宏块的编码信息部分即宏块编码信息(在图1中记载成Mb_rate_information)。 
切片编码信息生成部16从处理对象的宏块的解码信息中取得切片编码信息，从其中抽出一部分，按照该抽出的切片编码信息部分，生成图2所示的H.264编码信息格式中记述的切片编码信息(在图1 中记载成Slice_rate_information)。 
图片编码信息生成部17从处理对象的宏块的解码信息中取得图片编码信息，从其中抽出一部分，按照该抽出的图片编码信息部分，生成图2所示的H.264编码信息格式中记述的图片编码信息(在图1中记载成Picture_rate_information)。 
H.264编码信息格式生成部18通过综合宏块编码信息生成部15生成的宏块编码信息、切片编码信息生成部16生成的切片编码信息以及图片编码信息生成部17生成的图片编码信息，生成图2所示的H.264编码信息格式。 
基带影像LSB重叠部19对处理对象的宏块的解码图像的色差分量的LSB的平面，重叠H.264编码信息格式生成部18生成的H.264编码信息格式。 
帧存储器20积蓄重叠了基带影像LSB重叠部19生成的H.264编码信息的宏块解码图像，生成并输出重叠了H.264编码信息的解码影像信号。 
另外，图1所示的影像解码装置1既可以通过硬件电路来实现，也可以通过使用作影像解码装置的计算机执行用于实现各处理功能部的程序来实现。该程序可以记录在可移动存储器等记录介质中，能够从记录介质中安装到计算机中。 
图3图示出本发明的影像解码装置1为了对解码影像信号重叠H.264编码信息格式而执行的流程图。 
接下来，按照该流程图，对如图1构成的本发明的影像解码装置1执行的处理进行说明。 
本发明的影像解码装置1进入解码对象的图片的解码处理后，如图3的流程图所示，首先最初，在步骤S100中，判断是否处理了所有宏块，在判断为尚未处理所有宏块时，进入到步骤S101，选择处理对象的宏块。 
接下来，在步骤S102中，从宏块编码数据存储器11中读入处理对象的宏块的编码模式，在接着的步骤S103中，根据该读入的编码 模式，判断处理对象的宏块被帧内编码还是被帧间编码。 
在该步骤S103的判断处理中，判断为处理对象的宏块被帧内编码时，进入到步骤S104，对图2所示的“宏块帧内代码”写入on。 
接下来，在步骤S105中，从宏块编码数据存储器11中读入帧内预测尺寸、预测方向的信息。即，在处理对象的块被帧内编码的情况下，在H.264编码信息中记录有帧内预测尺寸、预测方向的信息，所以读入这些信息。 
接下来，在步骤S106中，根据读入的帧内预测尺寸以及预测方向的信息，生成帧内用的切换解释区域的数据。 
图4图示出此时生成的帧内用的切换解释区域的数据。 
如该图4所示，在帧内预测尺寸是4×4的块的情况下，由于存在16个帧内预测方向，所以对”帧内类型”的记述区域写入表示是4×4块预测这一情况的“1”，并且对准备的16个“帧内预测模式[0]～[15]”，写入16个4×4块的帧内预测方向。 
另外，在帧内预测尺寸是8×8的块的情况下，由于存在四个帧内预测方向，所以对“帧内类型”的记述区域写入表示是8×8块预测这一情况的“2”，并且对准备的16个“帧内预测模式[0]～[15]”内的4个“帧内预测模式[0]～[3]”，写入4个8×8块的帧内预测方向。 
另外，在帧内预测尺寸是16×16的块的情况下，由于存在一个帧内预测方向，所以对“帧内类型”的记述区域写入表示是8×8块预测这一情况的“3”，并且对准备的16个“帧内预测模式[0]～[15]”内的1个“帧内预测模式[0]”，写入1个16×16块的帧内预测方向。 
这样，在处理对象的宏块被帧内编码的情况下，可以对图2所示的H.264编码信息格式具有的“切换解释区域”，写入帧内编码的所有编码信息。 
另一方面，在步骤S103的判断处理中，判断为处理对象的宏块被帧间编码时，进入到步骤S107，对图2所示的“宏块帧内代码”写入off。 
接下来，在步骤S108中，从宏块编码数据存储器11中，读入帧 间预测尺寸、预测方向、参照图像序号以及运动矢量的信息。即，在处理对象的块被帧间编码的情况下，在H.264编码信息中记录有帧间预测尺寸、预测方向、参照图像序号、运动矢量的信息，所以读入这些信息。 
接下来，在步骤S109中，根据读入的帧间预测尺寸决定切换解释区域的数据格式，按照该决定的数据格式，对切换解释区域写入所读入的预测方向、参照图像序号以及运动矢量，从而生成帧间用的切换解释区域的数据。 
图5以及图6A～图6C图示出此时生成的帧间用的切换解释区域的数据。 
如该图5所示，在是16×16块中的帧间编码的情况、即对图2的“块分割单位标志”写入“0”、并且对“块类型”的开头两个比特写入“00”的情况下，在为单向预测的情况时，仅使用切换解释区域A，在此按照图6A的数据格式，写入运动矢量、参照图像序号、预测方向，在为双向预测的情况时，仅使用切换解释区域A、B，在此按照图6A的数据格式，写入运动矢量、参照图像序号、以及预测方向。 
另外，在水平16×垂直8的两个块或水平8×垂直16的两个块中的帧间编码的情况、即对图2的“块分割单位标志”写入“0”、并且对“块类型”的开头两个比特写入“01”或“10”的情况下，在为单向预测的情况时，仅使用切换解释区域A、B，在此按照图6A的数据格式，写入运动矢量、参照图像序号、预测方向，在为双向预测的情况时，使用切换解释区域A、B、C、D，在此按照图6A的数据格式，写入运动矢量、参照图像序号、预测方向。 
另外，在水平8×垂直8的四个块中的帧间编码的情况、即对图2的“块分割单位标志”写入“1”、并且对“块类型”的开头两个比特写入“00”的情况下，在为单向预测的情况下，使用切换解释区域A、B、C、D，在此按照图6A的数据格式，写入运动矢量、参照图像序号、预测方向。 
另外，在水平8×垂直8的四个块中的帧间编码的情况、即对图2的“块分割单位标志”写入“1”、并且对“块类型”的开头两个比特写入“00”的情况下，在为双向预测的情况时，使用切换解释区域A、B、C、D，在此按照图6B的数据格式，写入运动矢量、参照图像序号以及预测方向。此时，由于运动矢量的写入区域小，所以无法写入正确的运动矢量，所以仅写入LSB侧的五个比特。 
另外，在是比水平8×垂直8小的块中的帧间编码的情况、即对图2的“块分割单位标志”写入“1”、并且对“块类型”的开头两个比特写入“00”以外的值的情况下，运动矢量的个数变多，所以无法对切换解释区域A、B、C以及D写入运动矢量，所以使用切换解释区域A、B、C、D，在此按照图6C的数据格式写入参照图像序号、预测方向。 
这样，在处理对象的宏块被帧间编码的情况下，有时无法对图2所示的H.264编码信息格式具有的“切换解释区域”写入所有帧间编码的编码信息，所以在这样的情况下，按照尽可能写入的方式，写入帧间编码的编码信息。 
在步骤S106中生成了帧内用的切换解释区域的数据、或者在步骤S109中生成了帧间用的切换解释区域的数据后，接下来，在步骤S110中，根据该生成的切换解释区域的数据、与能够从宏块编码数据存储器11中取得的处理对象的宏块中固有的信息，生成图2所示的H.264编码信息格式中记述的关于处理对象的宏块的编码信息部分即宏块编码信息。 
接下来，在步骤S111中，从处理对象的宏块的解码信息中取得切片编码信息，从其中抽出一部分，按照该抽出的切片编码信息部分，生成图2所示的H.264编码信息格式中记述的切片编码信息。 
接下来，在步骤S112中，从处理对象的宏块的解码信息中取得图片编码信息，从其中抽出一部分，按照该抽出的图片编码信息部分，生成图2所示的H.264编码信息格式中记述的图片编码信息。 
接下来，在步骤S113中，通过综合所生成的宏块编码信息、生 成的切片编码信息以及生成的图片编码信息，生成图2所示的H.264编码信息格式。 
接下来，在步骤S114中，对处理对象的宏块的解码图像的LSB的平面，重叠所生成的H.264编码信息格式后，返回步骤S100的处理。 
然后，重复步骤S100～步骤S114的处理，从而在步骤S100中，判断为处理了所有宏块时，进入到步骤S115，合成重叠了H.264编码信息的宏块解码图像，从而生成解码图像并将其输出，继而生成并输出重叠了H.264编码信息的影像信号。 
这样，在本发明的影像解码装置1中，使用与MPEG2同样的Mole格式，与解码影像信号一起传送在用H.264编码时产生的大数据量的编码信息。 
产业上的可利用性 
本发明能够适用于对通过对利用帧内编码以及帧间编码生成的影像编码数据进行解码而得到的解码影像信号进行再编码的情况，能够使用与MPEG2同样的Mole格式，与解码影像信号一起传送在用H.264等编码时产生的大数据量的编码信息。 
本国际申请主张基于在2007年8月27日申请的日本专利申请第2007-219199号的优先权，并在本国际申请中引用其全部内容。 

Claims (12)

1.一种影像信号生成装置，将利用帧内编码以及帧间编码生成的影像编码数据的比特流作为输入，以规定大小的块为单位对该比特流进行解码而生成影像信号，其特征在于，具备：
解码单元，对包含在上述比特流中的关于解码对象块的编码信息进行解码；
写入单元，根据上述编码信息，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置，按照具有公共区域和规定的比特长度的切换解释区域的编码信息格式进行写入，其中上述公共区域包括分别规定的比特长度的同步用固定代码区域、解码对象块循环序号区域、图片编码信息记述区域、切片编码信息记述区域、切片类型区域、解码对象块帧内代码区域、块分割单位标志区域、以及块类型区域，上述切换解释区域中记述有在上述解码对象块帧内代码区域的信息表示帧内编码时和表示帧间编码时不同的数据格式的编码信息，在上述同步用固定代码区域中写入具有规定值的同步用固定代码，在上述解码对象块循环序号区域中写入表示画面中的解码对象块的位置的解码对象块循环序号，在上述图片编码信息记述区域中写入分配给解码对象块的图片编码信息，在上述切片编码信息记述区域中写入分配给解码对象块的切片编码信息，在上述切片类型区域中写入解码对象块的切片编码类型，在上述解码对象块帧内代码区域中写入表示对解码对象块用帧内编码进行了编码还是用帧间编码进行了编码的标志值，在上述块分割单位标志区域以及块类型区域中写入表示解码对象块的编码分割形式的信息，进而，在上述切换解释区域中，对于解码对象块在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入帧内编码的编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入帧间编码的编码信息；以及
生成单元，重叠上述一个比特平面与解码对象块的解码图像，从而生成影像信号。
2.根据权利要求1所述的影像信号生成装置，其特征在于：
在上述编码信息的数据量根据解码对象块的编码分割方式而变大，从而使上述编码信息无法收敛于上述切换解释区域中的情况下，上述写入单元按照与该编码分割方式对应的数据格式，以省略了该编码信息的一部分的形式写入到上述切换解释区域中。
3.根据权利要求1所述的影像信号生成装置，其特征在于：
上述写入单元向上述图片编码信息记述区域写入关于解码对象块所属的图片的编码信息的一部分。
4.一种影像信号生成装置，将利用帧内编码以及帧间编码生成的影像编码数据的比特流作为输入，以规定大小的块为单位对该比特流进行解码而生成影像信号，其特征在于，具备：
解码单元，对包含在上述比特流中的关于解码对象块的编码信息进行解码；
写入单元，根据上述编码信息，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置，按照具有公共区域和规定的比特长度的切换解释区域的编码信息格式进行写入，其中上述公共区域包括分别规定的比特长度的同步用固定代码区域、解码对象块循环序号区域、图片编码信息记述区域、切片编码信息记述区域、切片类型区域、解码对象块帧内代码区域、块分割单位标志区域、块类型区域、以及双向预测标志区域，上述切换解释区域中记述有在上述解码对象块帧内代码区域的信息表示帧内编码时和表示帧间编码时不同的数据格式的编码信息，在上述同步用固定代码区域中写入具有规定值的同步用固定代码，在上述解码对象块循环序号区域中写入表示画面中的解码对象块的位置的解码对象块循环序号，在上述图片编码信息记述区域中写入分配给解码对象块的图片编码信息，在上述切片编码信息记述区域中写入分配给解码对象块的切片编码信息，在上述切片类型区域中写入解码对象块的切片编码类型，在上述解码对象块帧内代码区域中写入表示对解码对象块用帧内编码进行了编码还是用帧间编码进行了编码的标志值，在上述块分割单位标志区域以及块类型区域中写入表示解码对象块的编码分割形式的信息，在上述双向预测标志区域中写入表示对于解码对象块或者其子块是以双向预测方式进行了编码还是以单向预测方式进行了编码的信息，进而，在上述切换解释区域中，对于解码对象块在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入帧内编码的编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入帧间编码的编码信息；以及
生成单元，重叠上述一个比特平面与解码对象块的解码图像，从而生成影像信号。
5.根据权利要求4所述的影像信号生成装置，其特征在于：
在上述编码信息的数据量根据解码对象块的编码分割方式而变大，从而使上述编码信息无法收敛于上述切换解释区域中的情况下，上述写入单元按照与该编码分割方式对应的数据格式，以省略了该编码信息的一部分的形式写入到上述切换解释区域中。
6.根据权利要求4所述的影像信号生成装置，其特征在于：
上述写入单元向上述图片编码信息记述区域写入关于解码对象块所属的图片的编码信息的一部分。
7.一种影像信号生成方法，将利用帧内编码以及帧间编码生成的影像编码数据的比特流作为输入，以规定大小的块为单位对该比特流进行解码而生成影像信号，其特征在于，具备：
解码过程，对包含在上述比特流中的关于解码对象块的编码信息进行解码；
写入过程，根据上述编码信息，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置，按照具有公共区域和规定的比特长度的切换解释区域的编码信息格式进行写入，其中上述公共区域包括分别规定的比特长度的同步用固定代码区域、解码对象块循环序号区域、图片编码信息记述区域、切片编码信息记述区域、切片类型区域、解码对象块帧内代码区域、块分割单位标志区域、以及块类型区域，上述切换解释区域中记述有在上述解码对象块帧内代码区域的信息表示帧内编码时和表示帧间编码时不同的数据格式的编码信息，在上述同步用固定代码区域中写入具有规定值的同步用固定代码，在上述解码对象块循环序号区域中写入表示画面中的解码对象块的位置的解码对象块循环序号，在上述图片编码信息记述区域中写入分配给解码对象块的图片编码信息，在上述切片编码信息记述区域中写入分配给解码对象块的切片编码信息，在上述切片类型区域中写入解码对象块的切片编码类型，在上述解码对象块帧内代码区域中写入表示对解码对象块用帧内编码进行了编码还是用帧间编码进行了编码的标志值，在上述块分割单位标志区域以及块类型区域中写入表示解码对象块的编码分割形式的信息，进而，在上述切换解释区域中，对于解码对象块在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入帧内编码的编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入帧间编码的编码信息；以及
生成过程，重叠上述一个比特平面与解码对象块的解码图像，从而生成影像信号。
8.根据权利要求7所述的影像信号生成方法，其特征在于：
在上述写入过程中，在上述编码信息的数据量根据解码对象块的编码分割方式而变大，从而使上述编码信息无法收敛于上述切换解释区域中的情况下，按照与该编码分割方式对应的数据格式，以省略了上述编码信息的一部分的形式写入到上述切换解释区域中。
9.根据权利要求7所述的影像信号生成方法，其特征在于：
在上述写入过程中，向上述图片编码信息记述区域写入关于解码对象块所属的图片的编码信息的一部分。
10.一种影像信号生成方法，将利用帧内编码以及帧间编码生成的影像编码数据的比特流作为输入，以规定大小的块为单位对该比特流进行解码而生成影像信号，其特征在于，具备：
解码过程，对包含在上述比特流中的关于解码对象块的编码信息进行解码；
写入过程，根据上述编码信息，在具有与解码对象块相同大小的一个比特平面上的规定的比特位置，按照具有公共区域和规定的比特长度的切换解释区域的编码信息格式进行写入，其中上述公共区域包括分别规定的比特长度的同步用固定代码区域、解码对象块循环序号区域、图片编码信息记述区域、切片编码信息记述区域、切片类型区域、解码对象块帧内代码区域、块分割单位标志区域、块类型区域、以及双向预测标志区域，上述切换解释区域中记述有在上述解码对象块帧内代码区域的信息表示帧内编码时和表示帧间编码时不同的数据格式的编码信息，在上述同步用固定代码区域中写入具有规定值的同步用固定代码，在上述解码对象块循环序号区域中写入表示画面中的解码对象块的位置的解码对象块循环序号，在上述图片编码信息记述区域中写入分配给解码对象块的图片编码信息，在上述切片编码信息记述区域中写入分配给解码对象块的切片编码信息，在上述切片类型区域中写入解码对象块的切片编码类型，在上述解码对象块帧内代码区域中写入表示对解码对象块用帧内编码进行了编码还是用帧间编码进行了编码的标志值，在上述块分割单位标志区域以及块类型区域中写入表示解码对象块的编码分割形式的信息，在上述双向预测标志区域中写入表示对于解码对象块或者其子块是以双向预测方式进行了编码还是以单向预测方式进行了编码的信息，进而，在上述切换解释区域中，对于解码对象块在用帧内编码进行了编码的情况下，按照与帧内编码对应的数据格式写入帧内编码的编码信息，在用帧间编码进行了编码的情况下，按照与帧间编码对应的数据格式写入帧间编码的编码信息；以及
生成过程，重叠上述一个比特平面与解码对象块的解码图像，从而生成影像信号。
11.根据权利要求10所述的影像信号生成方法，其特征在于：
在上述写入过程中，在上述编码信息的数据量根据解码对象块的编码分割方式而变大，从而使上述编码信息无法收敛于上述切换解释区域中的情况下，按照与该编码分割方式对应的数据格式，以省略了上述编码信息的一部分的形式写入到上述切换解释区域中。
12.根据权利要求10所述的影像信号生成方法，其特征在于：
在上述写入过程中，向上述图片编码信息记述区域写入关于解码对象块所属的图片的编码信息的一部分。
CN2008801030609A 2007-08-27 2008-08-27 影像信号生成装置、以及影像信号生成方法 Active CN101779470B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-219199 2007-08-27
JP2007219199A JP4739295B2 (ja) 2007-08-27 2007-08-27 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
PCT/JP2008/065295 WO2009028549A1 (ja) 2007-08-27 2008-08-27 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN101779470A CN101779470A (zh) 2010-07-14
CN101779470B true CN101779470B (zh) 2013-01-16

Family

ID=40387267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801030609A Active CN101779470B (zh) 2007-08-27 2008-08-27 影像信号生成装置、以及影像信号生成方法

Country Status (6)

Country Link
US (1) US8902981B2 (zh)
EP (1) EP2182733A4 (zh)
JP (1) JP4739295B2 (zh)
KR (1) KR101140269B1 (zh)
CN (1) CN101779470B (zh)
WO (1) WO2009028549A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8769612B2 (en) 2008-08-14 2014-07-01 Microsoft Corporation Portable device association
US8943551B2 (en) 2008-08-14 2015-01-27 Microsoft Corporation Cloud-based device information storage
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
US9032106B2 (en) 2013-05-29 2015-05-12 Microsoft Technology Licensing, Llc Synchronizing device association data among computing devices
KR20180021942A (ko) 2016-08-22 2018-03-06 광운대학교 산학협력단 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
CN110166824B (zh) * 2019-06-24 2021-07-06 湖南国科微电子股份有限公司 基于机顶盒的电视直播切换台方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165223A (ja) * 2000-11-29 2002-06-07 Victor Co Of Japan Ltd 画像信号符号化装置
CN101014132A (zh) * 2005-12-27 2007-08-08 日本电气株式会社 编码数据选定设定、再编码数据生成和再编码方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69730965T2 (de) 1996-07-15 2006-02-23 Snell & Wilcox Ltd. Videosignalkompression
CN1241416C (zh) * 1999-02-09 2006-02-08 索尼公司 编码系统和方法、编码及解码、记录及再现的设备和方法
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
US7310371B2 (en) * 2003-05-30 2007-12-18 Lsi Corporation Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
PL2008460T3 (pl) * 2006-03-30 2017-10-31 Lg Electronics Inc Sposób i urządzenie do dekodowania/kodowania sygnału wideo
GB2438004B (en) * 2006-05-08 2011-08-24 Snell & Wilcox Ltd Creation and compression of video data
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8312558B2 (en) * 2007-01-03 2012-11-13 At&T Intellectual Property I, L.P. System and method of managing protected video content
JP5050637B2 (ja) * 2007-05-11 2012-10-17 ソニー株式会社 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165223A (ja) * 2000-11-29 2002-06-07 Victor Co Of Japan Ltd 画像信号符号化装置
CN101014132A (zh) * 2005-12-27 2007-08-08 日本电气株式会社 编码数据选定设定、再编码数据生成和再编码方法及装置

Also Published As

Publication number Publication date
JP2009055259A (ja) 2009-03-12
KR101140269B1 (ko) 2012-04-26
CN101779470A (zh) 2010-07-14
US8902981B2 (en) 2014-12-02
WO2009028549A1 (ja) 2009-03-05
KR20100030671A (ko) 2010-03-18
EP2182733A4 (en) 2010-10-06
US20110122948A1 (en) 2011-05-26
EP2182733A1 (en) 2010-05-05
JP4739295B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
CN101779470B (zh) 影像信号生成装置、以及影像信号生成方法
CN104350750B (zh) 用于简化视频随机访问的约束和单元类型的方法
CN101366285B (zh) 用于多视角视频编码的方法和装置
JP5845299B2 (ja) マルチビュービデオ復号方法及びその装置
CN101578881B (zh) 基于全局视差向量对多视图图像编码和解码的方法和设备
CN1806441B (zh) 实现压缩视频的快速信道改变的解码方法和设备
CN103220508B (zh) 编解码方法和装置
KR101266170B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
CN104641647A (zh) 低延迟图像写码
JP5955391B2 (ja) 参照ピクチャリストの取り扱い
JP2010515302A (ja) 内容適応動画像フレーム・スライシング及び非一様なアクセス・ユニット符号化のための技術
WO2007042916B1 (en) System and method for efficient scalable stream adaptation
CN104685893A (zh) 视频数据流概念技术
CN104205819A (zh) 用于视频编码的方法和装置
US20130271571A1 (en) Method and Arrangement for Processing of Encoded Video
CN102577375A (zh) 用于三维视频的层间依赖性信息
CN101518086A (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
TWI739042B (zh) 視訊編碼方法
CN104969557A (zh) 对用于视频编码的并置参考图片以显式方式进行信号传输
CN104412589B (zh) 视频编码/解码设备、方法和程序
CN104904210B (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法，以及程序
CN103780920A (zh) 处理视频码流的方法及装置
CN101523920A (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN104937942A (zh) 用于视频序列编码的解码器、编码器和方法
CN100407791C (zh) 图像编码、译码方法、图像编码、译码装置及图像传送系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant