JP2009246540A - Encoding device, encoding method, and encoding program - Google Patents

Encoding device, encoding method, and encoding program Download PDF

Info

Publication number
JP2009246540A
JP2009246540A JP2008088574A JP2008088574A JP2009246540A JP 2009246540 A JP2009246540 A JP 2009246540A JP 2008088574 A JP2008088574 A JP 2008088574A JP 2008088574 A JP2008088574 A JP 2008088574A JP 2009246540 A JP2009246540 A JP 2009246540A
Authority
JP
Japan
Prior art keywords
encoding
code amount
size
image
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008088574A
Other languages
Japanese (ja)
Other versions
JP5236332B2 (en
Inventor
Shinsaku Nakamura
晋作 仲村
Mitsutoshi Tsuruta
三敏 鶴田
Yoshinobu Hirano
芳伸 平野
Katsuya Takakuwa
勝哉 高桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IBEX TECHNOLOGY CO Ltd
Original Assignee
IBEX TECHNOLOGY CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IBEX TECHNOLOGY CO Ltd filed Critical IBEX TECHNOLOGY CO Ltd
Priority to JP2008088574A priority Critical patent/JP5236332B2/en
Publication of JP2009246540A publication Critical patent/JP2009246540A/en
Application granted granted Critical
Publication of JP5236332B2 publication Critical patent/JP5236332B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reduce an encoding delay and deterioration of image data which is finally obtained. <P>SOLUTION: An encoding device variably determines the size of partial areas for dividing an input image within a maximum size determined by an allowable encoding delay time, and divides the input image into the partial areas. Then the encoding device allocates a code amount to be used to encode the partial areas according to the size of the partial areas which is determined and used to divide the input image. Thus, the encoding device encodes the partial areas whose size is determined with the allocated code amount. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置、符号化方法および符号化プログラムに関する。   The present invention relates to an encoding device, an encoding method, and an encoding program that divide an inputted input image into partial areas and encode the partial areas with a predetermined code amount.

従来より、符号化データの符号量を画像(ピクチャ)単位または画像以下の単位で一定量にする技術がある(特許文献1)。この画像処理システムにおける符号化装置は、例えば、1ピクチャ単位で符号量を一定にした場合は、図13のように、符号化データ出力時間が1ピクチャ単位で一定になる。   2. Description of the Related Art Conventionally, there is a technique for setting the amount of encoded data to a constant amount in units of images (pictures) or in units of images (Patent Document 1). In the encoding apparatus in this image processing system, for example, when the code amount is made constant in units of one picture, the encoded data output time becomes constant in units of one picture as shown in FIG.

具体的には、特許文献1に係る符号化装置は、図14に示すように、ピクチャもしくはピクチャよりも小さな単位で符号量を一定に制御する符号量制御部と、符号量制御部から受け付けた符号量に基づいて入力画像データを符号化する符号化部と、符号化部により符号化された符号化データの符号量を算出して符号量制御部にフィードバックさせる符号量算出部とから構成される。   Specifically, as illustrated in FIG. 14, the encoding device according to Patent Document 1 receives a code amount control unit that controls a code amount constant in units smaller than a picture or a picture, and a code amount control unit. An encoding unit that encodes input image data based on the code amount, and a code amount calculation unit that calculates the code amount of the encoded data encoded by the encoding unit and feeds it back to the code amount control unit. The

このような構成を有する符号化装置は、図15に示すように、入力画像を6分割し、それぞれの領域で使用できる上限の符号量(例えば、20ビットなど)を一定にする。つまり、符号化装置は、領域「0、1、2、3」、領域「4、5、6、7」、領域「8、9、10、11」、領域「12、13、14、15」、領域「16、17、18、19」、領域「20、21、22、23」それぞれの符号量を一定に制御して符号化する。例えば、符号化装置は、一つの領域である「0、1、2、3」に対して、定められた符号量内に収まるように各画像ブロックを符号化する。そして、符号化装置は、符号化された符号化データから順に復号化装置に送信する。また、符号量を一定にすることによって、符号化データ出力時間も一定になるので、画面以下の単位ごとに符号量を一定にすれば、結果的に、低遅延化も可能となる。   As shown in FIG. 15, the encoding apparatus having such a configuration divides an input image into six parts, and makes an upper limit code amount (for example, 20 bits) usable in each region constant. In other words, the encoding device includes the areas “0, 1, 2, 3”, the areas “4, 5, 6, 7”, the areas “8, 9, 10, 11”, and the areas “12, 13, 14, 15”. , Encoding is performed by controlling the code amounts of the regions “16, 17, 18, 19” and “20, 21, 22, 23” to be constant. For example, the encoding apparatus encodes each image block such that “0, 1, 2, 3”, which is one area, falls within a predetermined code amount. Then, the encoding device sequentially transmits the encoded data from the encoded data to the decoding device. Further, since the encoded data output time is also constant by making the code amount constant, if the code amount is made constant for each unit below the screen, the delay can be reduced as a result.

特開2001−169281号公報JP 2001-169281 A

しかしながら、上記した従来の技術は、符号化の低遅延化が実現できるものの、最終的に得られる画像データの質が劣化するという課題があった。   However, although the above-described conventional technique can realize a low encoding delay, there is a problem that the quality of finally obtained image data deteriorates.

具体的には、上記した従来の技術において、符号化遅延を小さくする場合には、ピクチャ内の一定単位ごとに符号量を制御するため、ピクチャ内の複雑さに対応できない。つまり、従来の技術では、入力画像を一定に分割し、分割した領域内で使用できる符号量が一定であるため、領域内の複雑な画像ブロックも複雑でない画像ブロックも両方とも同じように符号量が割り当てられた上で符号化される。言い換えれば、複雑な画像ブロックは元の画像データを符号化した場合よりも小さな符号量の符号化データとなり、複雑でない画像ブロックは元の画像データを符号化した場合よりも大きな符号量の符号化データとなる場合がある。そして、このように符号化されたデータがそのまま復号化されてしまうので、小さい符号量で符号化された複雑な画像ブロックは、復号化した際には元の画像データよりも画質が悪い。   Specifically, in the above-described conventional technique, when the encoding delay is reduced, the amount of code is controlled for each fixed unit in the picture, and thus the complexity in the picture cannot be dealt with. In other words, in the conventional technique, the input image is divided uniformly, and the amount of code that can be used in the divided area is constant. Therefore, both the complex image block and the uncomplicated image block in the area have the same code amount. Are allocated and encoded. In other words, a complicated image block is encoded data with a smaller code amount than when the original image data is encoded, and an uncomplicated image block is encoded with a larger code amount than when the original image data is encoded. May be data. Since the encoded data is decoded as it is, a complex image block encoded with a small code amount has a lower image quality than the original image data when decoded.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である符号化装置、符号化方法および符号化プログラムを提供することを目的とする。   Therefore, the present invention has been made to solve the above-described problems of the prior art, can reduce the delay of encoding, and can reduce deterioration of finally obtained image data. An object is to provide a certain encoding device, encoding method, and encoding program.

上述した課題を解決し、目的を達成するため、本発明は、入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention is an encoding device that divides an inputted input image into a plurality of partial areas and encodes the partial areas with a predetermined code amount. A size determining means for determining the size of each of the partial areas, with an area corresponding to an allowable encoding delay time as a maximum value, and depending on the size of the partial area determined by the size determining means, A code amount allocating unit for allocating a code amount; and an encoding unit for encoding the partial area whose size is determined by the size determining unit with the code amount allocated by the code amount allocating unit. And

本発明によれば、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。   According to the present invention, it is possible to reduce the encoding delay, and it is possible to reduce the degradation of finally obtained image data.

以下に添付図面を参照して、この発明に係る符号化装置、符号化方法および符号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る符号化装置の概要および特徴、符号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。   Exemplary embodiments of an encoding device, an encoding method, and an encoding program according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, the outline and features of the encoding apparatus according to the present embodiment, the configuration of the encoding apparatus, and the flow of processing will be described in order, and finally various modifications to the present embodiment will be described.

[符号化装置の概要および特徴]
まず最初に、図1を用いて、実施例1に係る符号化装置の概要および特徴を説明する。図1は、実施例1に係る符号化装置の概要と特徴を説明するための図である。
[Outline and Features of Encoding Device]
First, the outline and features of the encoding apparatus according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining the outline and features of the encoding apparatus according to the first embodiment.

実施例1に係る符号化装置は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することを概要とするものであり、特に、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である点に主たる特徴がある。   The encoding apparatus according to the first embodiment is to divide an input image that has been input into partial areas and to encode the partial areas with a predetermined code amount. The main feature is that delay can be achieved and deterioration of finally obtained image data can be reduced.

この主たる特徴について具体的に説明する。この符号化装置は、許容される符号化遅延時間を1/2ロウ、つまり、部分領域の最大サイズが「4」、1画像ブロックあたりの生成符号量の目標値が「5」であるとする。また、この符号化装置は、一般的に符号量は複雑度に比例することから、複雑度「1」を予想符号量「1」として、領域サイズと符号量を決定して符号化する。   This main feature will be specifically described. In this encoding apparatus, the allowable encoding delay time is 1/2 row, that is, the maximum size of the partial area is “4”, and the target value of the generated code amount per image block is “5”. . In addition, since the encoding amount is generally proportional to the complexity, the encoding apparatus determines the region size and the encoding amount with the complexity “1” as the expected encoding amount “1” and performs encoding.

例えば、このような状態において、図1の(a)に示した複雑度を有する画像が入力された符号化装置は、領域サイズを「4」と固定した場合には、図1の(b1)に示すように、4画像ブロックで符号量が「20」になるように符号化する。ところが、符号化装置は、図1の(b2)に示すように、1画像ブロック目の予想符号量は「8」、2画像ブロック目の予想符号量は「2」、3画像ブロック目の予想符号量は「9」、4画像ブロック目の予想符号量は「9」であるので、最初の部分領域の予想符号量の合計は「26」であり、符号量を「6」減らして符号化することとなる。また、次の部分領域の予想符号量の合計は「10」であり、割り当てられた符号量「20」になるように符合量「10」を水増しすることとなる。   For example, in such a state, the encoding apparatus to which the image having the complexity shown in FIG. 1A is input has the region size fixed to “4”, and the encoding device shown in FIG. As shown in FIG. 4, encoding is performed so that the code amount is “20” in four image blocks. However, as shown in FIG. 1 (b2), the encoding apparatus sets the expected code amount of the first image block to “8”, the expected code amount of the second image block to “2”, and the predicted third image block. Since the code amount is “9” and the expected code amount of the fourth image block is “9”, the total expected code amount of the first partial area is “26”, and the code amount is reduced by “6” for encoding. Will be. Further, the total of the expected code amounts of the next partial area is “10”, and the code amount “10” is increased so as to be the assigned code amount “20”.

これに対して、領域サイズを最大「4」とした場合、符号化装置は、図1の(c1)に示すように、最小サイズが1画像ブロックの目標値「5」、最大サイズが4画像ブロックの目標値「20」として、領域サイズを可変に変更することができ、符号量の不足や水増しを緩和することができる。具体的には、符号化装置は、図1の(c2)に示すように、1画像ブロック目の予想符号量が「8」、2画像ブロック目の予想符号量が「2」であることより、この2つの画像ブロックを一つの部分領域として符号化する。次に、符号化装置は、1画像ブロック目の予想符号量が「9」、2画像ブロック目の予想符号量が「9」、3画像ブロック目の予想符号量が「2」、4画像ブロック目の予想符号量が「0」であることより、この4つの画像ブロックを一つの部分領域として符号化する。   On the other hand, when the region size is set to “4” at the maximum, the encoding apparatus, as shown in (c1) of FIG. 1, has a minimum size of the target value “5” for one image block and a maximum size of 4 images. As the block target value “20”, the region size can be changed variably, and the shortage of the code amount and the padding can be alleviated. Specifically, as shown in (c2) of FIG. 1, the encoding apparatus determines that the expected code amount of the first image block is “8” and the expected code amount of the second image block is “2”. The two image blocks are encoded as one partial area. Next, the encoding apparatus sets the expected code amount of the first image block to “9”, the expected code amount of the second image block to “9”, the expected code amount of the third image block to “2”, and the four image blocks. Since the predicted code amount of the eye is “0”, these four image blocks are encoded as one partial area.

このように、符号化装置は、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当て、割り当てられた符号量で、サイズが決定された部分領域を符号化することができる。   In this way, the encoding apparatus determines the size of each partial area with the area corresponding to the allowable encoding delay time as a maximum value, and sets the code amount according to the determined size of the partial area. The partial area whose size is determined can be encoded with the allocated code amount.

次に、図2を用いて、この符号化装置が、入力された画像に対して、部分領域のサイズを可変に決定して、決定した部分領域のサイズに応じて、符号量を割り当てて符号化する全体的な流れについて説明する。なお、図2は、実施例1に係る符号化処理を示す図である。   Next, referring to FIG. 2, the encoding apparatus variably determines the size of the partial area for the input image and assigns a code amount according to the determined size of the partial area. The overall flow will be described. FIG. 2 is a diagram illustrating the encoding process according to the first embodiment.

図2に示すように、この符号化装置は、画像ブロック「0〜23」で構成されている画像が入力された場合、許容される符号化遅延時間により定まる最大サイズ内を4として、その範囲内で、部分領域のサイズを決定する。具体的に例を挙げると、符号化装置は、入力された画像ブロック「0〜23」で構成されている画像に対して、部分領域1「0〜3」のサイズ4、部分領域2「4」のサイズ1、部分領域3「5〜8」のサイズ4、部分領域4「9〜12」のサイズ4、部分領域5「13」のサイズ1、部分領域6「14」のサイズ1、部分領域7「15、16」のサイズ2、部分領域8「17〜19」のサイズ3、部分領域9「20〜23」のサイズ4に領域分割・サイズ決定する。   As shown in FIG. 2, when an image composed of image blocks “0 to 23” is input, this encoding apparatus sets the range within the maximum size determined by the allowable encoding delay time to 4 and the range. The size of the partial area is determined. As a specific example, the encoding apparatus, for an image composed of input image blocks “0 to 23”, has a size 4 of a partial area 1 “0 to 3” and a partial area 2 “4”. ", Size 4 of the partial area 3" 5-8 ", size 4 of the partial area 4" 9-12 ", size 1 of the partial area 5" 13 ", size 1 of the partial area 6" 14 " The area division / size is determined to be the size 2 of the area 7 “15, 16”, the size 3 of the partial area 8 “17-19”, and the size 4 of the partial area 9 “20-23”.

そして、符号化装置は、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量でサイズが決定された部分領域を符号化する。1画像ブロックあたりの生成符号量の目標値が「5」であるとした例で説明すると、符号化装置は、サイズ4である部分領域1には生成符号量「20」、サイズ1である部分領域2には生成符号量「5」、サイズ4である部分領域3には生成符号量「20」、サイズ4である部分領域4には生成符号量「20」、サイズ1である部分領域5には生成符号量「5」、サイズ1である部分領域6には生成符号量「5」、サイズ2である部分領域7には生成符号量「10」、サイズ3である部分領域8には生成符号量「15」、サイズ4である部分領域9には生成符号量「20」を割り当てる。そして、符号化装置は、それぞれの領域を順に符号化して、復号化装置に送信する。   Then, the encoding device allocates a code amount according to the determined size of the partial region, and encodes the partial region whose size is determined with the allocated code amount. In the example in which the target value of the generated code amount per image block is “5”, the encoding device has a generated code amount of “20” and a portion of size 1 in the partial area 1 of size 4. The generated code amount “5” is generated in the region 2, the generated code amount “20” is generated in the partial region 3 having the size 4, and the generated code amount “20” is generated in the partial region 4 having the size 4. The generated code amount is “5”, the generated code amount is “5” for the partial area 6 of size 1, the generated code amount is “10” for the partial area 7 of size 2, and the partial area 8 of size 3 is The generated code amount “20” is assigned to the partial area 9 having the generated code amount “15” and the size 4. Then, the encoding device encodes each region in order and transmits it to the decoding device.

このように、実施例1に係る符号化装置は、入力画像を分割する領域サイズを制御することにより、分割位置を可変にすることで、局所的な符号量割り当ての偏りを緩和し、複雑度(予想符号量)の分布に応じた符号量制御を行うことができる結果、上記した主たる特徴のごとく、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。   As described above, the encoding apparatus according to the first embodiment alleviates the bias of local code amount allocation by changing the division position by controlling the size of the region into which the input image is divided. As a result of being able to perform code amount control in accordance with the distribution of (predicted code amount), it is possible to reduce the encoding delay as in the main feature described above, and to reduce the deterioration of the finally obtained image data. It is possible.

[符号化装置の構成]
次に、図3を用いて、図1と図2に示した符号化装置の構成を説明する。図3は、実施例1に係る符号化装置の構成を示すブロック図である。図3に示すように、この符号化装置10は、符号量調整領域制御部11と、符号量制御部12と、符号化部13と、符号量算出部14とから構成される。
[Configuration of Encoding Device]
Next, the configuration of the encoding apparatus shown in FIGS. 1 and 2 will be described with reference to FIG. FIG. 3 is a block diagram illustrating the configuration of the encoding apparatus according to the first embodiment. As illustrated in FIG. 3, the encoding device 10 includes a code amount adjustment region control unit 11, a code amount control unit 12, an encoding unit 13, and a code amount calculation unit 14.

符号量調整領域制御部11は、図4に示すように、ブロック抽出部11aと、複雑度算出部11bと、領域サイズ算出部11cとを備え、これらによって、許容される符号化遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する処理を実行する。なお、図4は、符号量調整領域制御部の詳細な処理部を説明するための図である。   As shown in FIG. 4, the code amount adjustment region control unit 11 includes a block extraction unit 11a, a complexity calculation unit 11b, and a region size calculation unit 11c, which correspond to an allowable encoding delay time. The process of determining the size of each partial area is executed with the area to be processed as the maximum value. FIG. 4 is a diagram for explaining a detailed processing unit of the code amount adjustment region control unit.

ブロック抽出部11aは、入力画像から画像ブロックを抽出する。具体的に例を挙げれば、ブロック抽出部11aは、ビデオカメラなどの画像入力装置から入力画像を受け付けて、受け付けた入力画像から画像ブロックを抽出し、抽出した画像ブロックを後述する複雑度算出部11bに出力する。   The block extraction unit 11a extracts an image block from the input image. To give a specific example, the block extraction unit 11a receives an input image from an image input device such as a video camera, extracts an image block from the received input image, and a complexity calculation unit described later on the extracted image block To 11b.

複雑度算出部11bは、入力画像から抽出された画像ブロックそれぞれに対して複雑度を算出する。具体的に例を挙げれば、複雑度算出部11bは、入力画像から抽出された画像ブロックをブロック抽出部11aから受信した場合に、受信した画像ブロックそれぞれについて複雑度を算出し、算出した画像ブロックごとの複雑度を後述する領域サイズ算出部11cに出力する。   The complexity calculation unit 11b calculates the complexity for each image block extracted from the input image. Specifically, when the complexity calculation unit 11b receives an image block extracted from the input image from the block extraction unit 11a, the complexity calculation unit 11b calculates the complexity for each received image block, and calculates the calculated image block. Each complexity is output to the area size calculation unit 11c described later.

複雑度の算出手法として、例えば、画像ブロックの大きさを16画素×16画素とした場合、複雑度算出部11bは、画像ブロックを構成する256画素の分散を使用することができる。具体的には、画像ブロックを構成する256画素(16画素×16画素)の平均値を求め、各画素について求めた平均値との差を二乗した値を計算し、この値の256画素分の平均が分散となる。この分散値により複雑度を算出する。分散値の値が大きいほど複雑度は大きくなり、分散値の値が小さいほど複雑度は小さくなる。   As a complexity calculation method, for example, when the size of an image block is 16 pixels × 16 pixels, the complexity calculation unit 11b can use a variance of 256 pixels constituting the image block. Specifically, an average value of 256 pixels (16 pixels × 16 pixels) constituting the image block is obtained, and a value obtained by squaring the difference from the obtained average value for each pixel is calculated. The average is the variance. The complexity is calculated from this variance value. The complexity increases as the variance value increases, and the complexity decreases as the variance value decreases.

また、例えば、複雑度算出部11bは、画像ブロックを構成する画素の数画素毎の平均値を求め、その平均値の分散を用いることもできる。具体的には、複雑度算出部11bは、4画素毎の平均値の分散を算出する場合、まず4画素毎の平均値を求め、64個(16画素×16画素/4画素)の平均値から分散値を算出すればよい。そのため、上記した256画素(16画素×16画素)の分散値を算出する場合に比べて、演算コストが少なくて済む。   Further, for example, the complexity calculation unit 11b can obtain an average value for every several pixels constituting the image block and use the variance of the average value. Specifically, when calculating the variance of the average value for every four pixels, the complexity calculating unit 11b first obtains the average value for every four pixels and calculates the average value of 64 (16 pixels × 16 pixels / 4 pixels). The variance value may be calculated from Therefore, the calculation cost can be reduced as compared with the case where the variance value of 256 pixels (16 pixels × 16 pixels) is calculated.

また、例えば、複雑度算出部11bは、二次元DCT(Discrete Cosine Transform:離散コサイン変換)を用いることもできる。具体的には、複雑度算出部11bは、16×16の画素に対して、二次元のDCTを施すことにより、16×16の周波数成分を得ることができる。そして、複雑度算出部11bは、得られた周波数成分が高いほど複雑度は大きく、得られた周波数成分が低いほど複雑度は小さくなる。   Further, for example, the complexity calculation unit 11b can use two-dimensional DCT (Discrete Cosine Transform). Specifically, the complexity calculation unit 11b can obtain a 16 × 16 frequency component by performing two-dimensional DCT on a 16 × 16 pixel. The complexity calculation unit 11b increases the complexity as the obtained frequency component is higher, and decreases as the obtained frequency component is lower.

上記したいずれの手法を用いたとしても、複雑度算出部11bは、得られた分散値または周波数成分そのものを複雑度としてもよく、さらに計算を加えて求められた値を複雑度としてもよい。このようにして、入力画像の画像ブロックごとの複雑度を算出した複雑度算出部11bは、算出して得られた画像ブロックごとの複雑度を後述する領域サイズ算出部11cに出力する。   Regardless of which method is used, the complexity calculation unit 11b may use the obtained dispersion value or frequency component itself as the complexity, or may use the value obtained by further calculation as the complexity. Thus, the complexity calculation unit 11b that has calculated the complexity for each image block of the input image outputs the complexity for each image block obtained by the calculation to the region size calculation unit 11c described later.

領域サイズ算出部11cは、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。具体的には、領域サイズ算出部11cは、複雑度算出部11bから受信した画像ブロック数と画像ブロックごとの複雑度に応じて、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。ここで、部分領域の最大値は、後述する符号化処理を実行する符号化部13が許容される符号化の遅延時間で、例えば1/2ロウである場合には「4」となり、1ロウである場合は「8」となる。また、許容される遅延時間内であれば、より小さな値としてもよい。このようにして、定められた最大値以下で、領域サイズ算出部11cは、入力画像を複数の領域に分割し、分割した結果を後述する符号量制御部12に出力する。   The region size calculation unit 11c determines the size of each partial region, with the region corresponding to the allowable encoding delay time as a maximum value. Specifically, the region size calculation unit 11c sets the region corresponding to the allowable encoding delay time as the maximum value according to the number of image blocks received from the complexity calculation unit 11b and the complexity of each image block. Determine the size of each of the partial areas. Here, the maximum value of the partial area is an encoding delay time that is allowed by the encoding unit 13 that executes the encoding process described later. For example, when it is ½ row, the maximum value is “4”. Is “8”. Further, a smaller value may be used as long as it is within an allowable delay time. In this way, the region size calculation unit 11c divides the input image into a plurality of regions below the predetermined maximum value, and outputs the divided result to the code amount control unit 12 described later.

図3に戻り、符号量制御部12は、符号量調整領域制御部11により決定された部分領域のサイズに応じて、符号量を割り当てる。具体的には、符号量制御部12は、1サイズの符号量(複雑度、目標符号量)を「5」とした場合、符号量調整領域制御部11により決定されて入力された部分領域のサイズが「3」であると、当該部分領域に対して符号量「15」を割り当てる。そして、符号量制御部12は、部分領域サイズ「3」と、割り当てた目標符号量「15」を後述する符号化部13に出力する。また、符号量算出部14からフィードバックされた実際の符号量と目標符号量との差を考慮して符号化部13に出力する次の部分領域の目標符号量の微調整を行う。   Returning to FIG. 3, the code amount control unit 12 assigns a code amount according to the size of the partial region determined by the code amount adjustment region control unit 11. Specifically, the code amount control unit 12 sets the code size (complexity, target code amount) of one size to “5” for the partial region determined and input by the code amount adjustment region control unit 11. If the size is “3”, the code amount “15” is assigned to the partial area. Then, the code amount control unit 12 outputs the partial region size “3” and the assigned target code amount “15” to the encoding unit 13 described later. Further, the target code amount of the next partial area to be output to the encoding unit 13 is finely adjusted in consideration of the difference between the actual code amount fed back from the code amount calculation unit 14 and the target code amount.

符号化部13は、符号量制御部12により割り当てられた符号量で、決められたサイズの部分領域を符号化する。具体的に例を挙げると、符号化部13は、画像ブロック「0〜23」で構成される入力画像を受け付け、符号量制御部12からサイズ「4」、符号量「20」を受け付けた場合、入力画像の「0〜3」の画像ブロックを符号量「20」で符号化する。例えば、符号化部13は、画像ブロック「0」を、符号量「12」で符号化し、残りの画像ブロック「1〜3」を目標符号量「20」から「12」を差し引いた符号量「8」で、符号化する。このように、符号化部13は、符号量制御部12により割り当てられた領域サイズに含まれる画像ブロックに対して、符号量制御部12により割り当てられた符号量内で複雑度に応じて使用する符号量を決定して符号化する。なお、この符号化部13は、一つの機能部で構成されている必要はなく、複数の機能を有していてもよい。   The encoding unit 13 encodes the partial area having the determined size with the code amount allocated by the code amount control unit 12. As a specific example, the encoding unit 13 receives an input image composed of image blocks “0 to 23” and receives a size “4” and a code amount “20” from the code amount control unit 12. The image blocks “0 to 3” of the input image are encoded with the code amount “20”. For example, the encoding unit 13 encodes the image block “0” with the code amount “12” and the remaining image blocks “1 to 3” by subtracting “12” from the target code amount “20”. 8 ”. Thus, the encoding unit 13 uses the image block included in the region size allocated by the code amount control unit 12 in accordance with the complexity within the code amount allocated by the code amount control unit 12. The code amount is determined and encoded. Note that the encoding unit 13 does not need to be configured by one function unit, and may have a plurality of functions.

符号量算出部14は、符号量をフィードバックするとともに、生成された符号化データを復号化装置に送信する。具体的に例を挙げると、符号量算出部14は、符号化部13により入力された符号化データの符号量を抽出して、符号量制御部12にフィードバックするとともに、当該符号化データを復号化装置に送信する。   The code amount calculation unit 14 feeds back the code amount and transmits the generated encoded data to the decoding device. As a specific example, the code amount calculation unit 14 extracts the code amount of the encoded data input by the encoding unit 13 and feeds it back to the code amount control unit 12, and decodes the encoded data. To the device.

[符号化装置による処理]
次に、図5と図6とを用いて、符号化装置による処理を説明する。図5は、実施例1に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートであり、図6は、実施例1に係る符号化装置における符号化処理の流れを示すフローチャートである。
[Processing by encoding device]
Next, processing performed by the encoding device will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart illustrating a flow of region size determination processing in the encoding device according to the first embodiment, and FIG. 6 is a flowchart illustrating a flow of encoding processing in the encoding device according to the first embodiment.

(領域サイズ決定処理の流れ)
図5に示すように、符号化処理を開始した符号化装置10は、作業用変数の初期化を実施する(ステップS101)。具体的には、符号化装置10は、作業用変数として、現在処理中の画像ブロックを示す「p」を「p=1」とし、受信した画像ブロックを示す「t」を「t=1」とする。
(Flow of area size determination process)
As illustrated in FIG. 5, the encoding device 10 that has started the encoding process initializes a work variable (step S101). Specifically, the encoding apparatus 10 sets “p” indicating an image block currently being processed as “p = 1” as a work variable, and “t = 1” indicating “t” indicating the received image block. And

変数の初期化を行った符号化装置10は、画像ブロックの複雑度を受信する(ステップS102)。上記した例で具体的に説明すると、符号化装置10は、「Ct=複雑度、t<p+M」(M:符号量調整ブロック数の最大値)とする画像ブロックを受け付ける。 The encoding apparatus 10 that has initialized the variable receives the complexity of the image block (step S102). Specifically, in the above example, the encoding apparatus 10 receives an image block with “C t = complexity, t <p + M” (M: maximum value of the number of code amount adjustment blocks).

そして、符号化装置10は、受信した画像ブロック数を更新し(ステップS103)、受信した各画像ブロックの複雑度の平均を算出する(ステップS104)。上記した例で具体的に説明すると、符号化装置10は、「t=p+M」として受信した画像ブロック数を更新し、式(1)に示した算出式で複雑度の平均を算出する。なお、式(1)に示される「Si,j」とは「画像ブロックiからj個の複雑度の平均」を示している。 Then, the encoding apparatus 10 updates the number of received image blocks (step S103), and calculates the average complexity of each received image block (step S104). More specifically, the encoding apparatus 10 updates the number of received image blocks as “t = p + M” and calculates the average complexity using the calculation formula shown in Formula (1). Note that “S i, j ” shown in Expression (1) indicates “average of j complexity from image block i”.

Figure 2009246540
Figure 2009246540

その後、符号化装置10は、式(1)を用いて算出した「Si,j」から、複雑度の目標値B以下、かつ、最大の「Si,j」を取得する(ステップS105)。 Thereafter, the encoding apparatus 10 acquires the maximum value “S i, j ” that is equal to or lower than the target value B of the complexity from “S i, j ” calculated using the equation (1) (step S105). .

そして、符号化装置10は、複雑度の目標値B以下、かつ、最大の「Si,j」が取得できた場合(ステップS106肯定)、処理画像ブロック数「j」を符号化部13に送信し(ステップS108)、処理中の画像ブロック数「p」を「p=p+j」と更新する(ステップS109)。 Then, when the maximum “S i, j ” can be acquired below the complexity target value B (Yes in step S106), the encoding apparatus 10 sends the processed image block number “j” to the encoding unit 13. Then, the number of image blocks being processed “p” is updated to “p = p + j” (step S109).

処理中の画像ブロック数を更新した符号化装置10は、更新した画像ブロック数「p」が「N(1ピクチャあたりの画像ブロック数)」より大きくなった場合(ステップS110否定)、つまり、入力された画像全ての画像ブロックについて上記したステップS102〜ステップS109の処理を実行した場合、処理を終了する。   The encoding device 10 that has updated the number of image blocks being processed has the updated image block number “p” larger than “N (number of image blocks per picture)” (No in step S110), that is, input When the processes in steps S102 to S109 described above are executed for all the image blocks of the images that have been processed, the process ends.

一方、処理中の画像ブロック数を更新した符号化装置10は、更新した画像ブロック数「p」が「N(1ピクチャあたりの画像ブロック数)」以下である場合(ステップS110肯定)、つまり、入力された画像において、上記したステップS102〜ステップS109の処理を実行していない画像ブロックが存在する場合、ステップS102に戻り、以降の処理を実行する。   On the other hand, the encoding apparatus 10 that has updated the number of image blocks being processed has the updated image block number “p” equal to or less than “N (number of image blocks per picture)” (Yes in step S110), that is, In the input image, when there is an image block for which the processes in steps S102 to S109 are not executed, the process returns to step S102 and the subsequent processes are executed.

ステップS106に戻り、符号化装置10は、複雑度の目標値B以下、かつ、最大の「Si,j」が取得できない場合(ステップS106否定)、上記した「Si,j」が最小のものを取得し(ステップS107)、ステップS108以降の処理を実行する。 Returning to step S106, when the encoding device 10 cannot obtain the maximum “S i, j ” below the complexity target value B (No in step S106), the above-described “S i, j ” is the minimum. A thing is acquired (step S107), and the process after step S108 is performed.

ここで、上記したステップS101〜ステップS110の処理を具体的に例を挙げて説明する。符号化装置10は、複雑度「C1=8、C2=2、C3=9、C4=8」の4つの画像ブロックを受信した場合、受信した画像ブロック数「t」を「t=1+4=5」と更新する。なお、ここでは、符号量調整ブロック数の最大値「M=4」、複雑度の目標値(1画像ブロックあたりに使用する符号量の目安)「B=5」とする。 Here, the processing of the above-described steps S101 to S110 will be described with a specific example. When the encoding device 10 receives four image blocks having the complexity “C 1 = 8, C 2 = 2, C 3 = 9, C 4 = 8”, the encoding device 10 sets the received image block number “t” to “t”. = 1 + 4 = 5 ". Here, it is assumed that the maximum value “M = 4” of the number of code amount adjustment blocks and the target value of complexity (standard amount of code used per image block) “B = 5”.

そして、符号化装置10は、各複雑度の平均として、「S1,1=8/1=8」、「S1,2=(8+2)/2=5」、「S1,3=(8+2+9)/3=6.33・・・」、「S1,4=(8+2+9+8)/4=6.75」を算出する。 Then, the encoding device 10 calculates “S 1,1 = 8/1 = 8”, “S 1,2 = (8 + 2) / 2 = 5”, “S 1,3 = ( 8 + 2 + 9) /3=6.33..., “S 1,4 = (8 + 2 + 9 + 8) /4=6.75”.

続いて、符号化装置10は、算出した上記「S1,1=8」、「S1,2=5」、「S1,3=6.33」、「S1,4=6.75」から、目標値「B=5」以下で最大の「S1,2=5」を取得する。 Subsequently, the encoding apparatus 10 calculates the above-described “S 1,1 = 8”, “S 1,2 = 5”, “S 1,3 = 6.33”, “S 1,4 = 6.75”. ", The maximum" S 1,2 = 5 "is obtained with the target value" B = 5 "or less.

そして、符号化装置10は、取得した「S1,2=5」に基づいて、処理画像ブロック数=2、処理中の画像ブロック数p=1+2=3と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置10は、処理サイズを「2」と決定し、「C1=8、C2=2」が一つの領域となる。 Then, the encoding device 10 updates the number of processed image blocks = 2 and the number of processed image blocks p = 1 + 2 = 3 based on the acquired “S 1,2 = 5”, and the next image block is updated. Receive. That is, the encoding apparatus 10 determines the processing size as “2”, and “C 1 = 8, C 2 = 2” is one area.

その後、符号化装置10は、複雑度「C5=2、C6=3」をさらに受信したとする。つまり、ここでは、「C3=9、C4=8、C5=2、C6=3」の4つの画像ブロックが受信されたがサイズが未決定であることとなる。また、処理中の画像ブロック数p=3であることより、符号化装置10は、「C3=9」以降に受信した画像ブロックについて上記した処理を行うこととなる。 Thereafter, it is assumed that the encoding apparatus 10 further receives the complexity “C 5 = 2 and C 6 = 3”. That is, here, four image blocks of “C 3 = 9, C 4 = 8, C 5 = 2 and C 6 = 3” are received, but the size is undecided. Also, since the number of image blocks being processed p = 3, the encoding apparatus 10 performs the above-described processing on image blocks received after “C 3 = 9”.

そして、同様に、符号化装置10は、受信した画像ブロック数「t」を「t=3+4=7」と更新し、各複雑度の平均として、「S3,1=9/1=9」、「S3,2=(9+8)/2=8.5」、「S3,3=(9+8+2)/3=6.33・・・」、「S3,4=(9+8+2+3)/4=5.5」を算出する。 Similarly, the encoding apparatus 10 updates the number of received image blocks “t” to “t = 3 + 4 = 7” and sets “S 3,1 = 9/1 = 9” as an average of each complexity. "S 3,2 = (9 + 8) /2=8.5", "S 3,3 = (9 + 8 + 2) /3=6.33 ...", "S 3,4 = (9 + 8 + 2 + 3) / 4 = 5.5 "is calculated.

続いて、符号化装置10は、算出した「S3,1=9」、「S3,2=8.5」、「S3,3=6.33・・・」、「S3,4=5.5」のうち、目標値「B=5」以下のものがないため、最小の「S3,4=5.5」を取得する。 Subsequently, the encoding apparatus 10, the calculated "S 3, 1 = 9", "S 3,2 = 8.5", "S 3,3 = 6.33 ···", "S 3, 4 = 5.5 ", there is no target value" B = 5 "or less, so the minimum" S 3,4 = 5.5 "is acquired.

そして、符号化装置10は、取得した「S3,4=5.5」に基づいて、処理画像ブロック数=4、p=3+4=7と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置10は、処理サイズを「4」と決定し、「C3=9、C4=8、C5=2、C6=3」が一つの領域となる。 Then, the encoding device 10 updates the number of processed image blocks = 4 and p = 3 + 4 = 7 based on the acquired “S 3,4 = 5.5”, and receives the next image block. In other words, the encoding apparatus 10 determines the processing size as “4”, and “C 3 = 9, C 4 = 8, C 5 = 2 and C 6 = 3” is one area.

このように、符号化装置10は、受信した画像ブロック数の複雑度から順次、部分領域サイズを決定する。   Thus, the encoding apparatus 10 determines the partial region size sequentially from the complexity of the received number of image blocks.

(符号化処理の流れ)
図6に示すように、符号化装置10は、画像が入力されると(ステップS201肯定)、当該入力された画像(入力画像)の画像ブロックを抽出し、抽出したそれぞれの画像ブロックに対して複雑度を算出した後に、領域サイズを算出する(ステップS202〜ステップS204)。ここで示したステップS201〜ステップS204までの処理は、図5で説明した手法を用いて実施される。
(Encoding process flow)
As illustrated in FIG. 6, when an image is input (Yes in step S201), the encoding device 10 extracts an image block of the input image (input image), and extracts each of the extracted image blocks. After calculating the complexity, the region size is calculated (steps S202 to S204). The processing from step S201 to step S204 shown here is performed using the method described in FIG.

そして、符号化装置10は、決定した部分領域それぞれに対して、既に使用された符号量をフィードバック情報として取得しつつ(ステップS205)、目標符号量を決定して符号化を実施する(ステップS206とステップS207)。   Then, the encoding device 10 determines the target code amount and performs encoding (step S206) while acquiring the already used code amount as feedback information for each determined partial region (step S205). And step S207).

符号化を実施した符号化装置10は、実際の符号量を算出してフィードバックするとともに(ステップS208〜ステップS209)、入力画像を符号化した符号化データを復号化装置に送信する(ステップS210)。   The encoding apparatus 10 that has performed encoding calculates and feeds back the actual code amount (steps S208 to S209), and transmits encoded data obtained by encoding the input image to the decoding apparatus (step S210). .

そして、符号化装置10は、1ピクチャ(入力画像)分の符号化データを送信し終わると(ステップS211肯定)、処理を終了し、1ピクチャ(入力画像)分の符号化データを送信し終わっていない場合には(ステップS211否定)、ステップS201に戻って、上記した処理を繰り返す。   When the encoding apparatus 10 finishes transmitting the encoded data for one picture (input image) (Yes in step S211), the encoding apparatus 10 ends the process and finishes transmitting the encoded data for one picture (input image). If not (No at step S211), the process returns to step S201 to repeat the above-described processing.

[従来技術との比較]
そして、従来技術に係る符号化装置は、画像が入力されると、図7に示すように(図7に示される数字は複雑度を示している)、当該画像を一定単位(4画像ブロック)に分割する(部分領域1〜6)。そして、従来技術に係る符号化装置は、それぞれの部分領域を一定の符号量(例えば、20(画像ブロック1つに対して目標符号量を5とした場合))で符号化するため、図8に示すように、部分領域1と部分領域4と部分領域6とについては、符号量が足りず大幅な符号量の削減を行う必要がある一方で、部分領域2と部分領域3と部分領域5とについては、符号量が余っており調整する必要がある。つまり、従来技術に係る符号化装置では、図9に示すように、目標符号量を超える符号量が必要な領域に対しては、符号量を削除する必要な量が多く、結果として、最終的に得られる画像データが劣化する。
[Comparison with conventional technology]
Then, when an image is input, the encoding device according to the related art, as shown in FIG. 7 (the number shown in FIG. 7 indicates complexity), the image is represented in a certain unit (4 image blocks). (Partial areas 1 to 6). Since the encoding apparatus according to the conventional technique encodes each partial region with a constant code amount (for example, 20 (when the target code amount is 5 for one image block)), FIG. As shown in FIG. 4, for the partial area 1, the partial area 4, and the partial area 6, the code amount is insufficient and it is necessary to perform a significant code amount reduction. On the other hand, the partial area 2, the partial area 3, and the partial area 5 As for, and the code amount is excessive, it is necessary to adjust. That is, in the encoding apparatus according to the related art, as shown in FIG. 9, for an area that requires a code amount exceeding the target code amount, a large amount is necessary to delete the code amount. Therefore, the obtained image data deteriorates.

これに対して、本発明に係る符号化装置は、上記した画像と同じ画像が入力された場合、図10に示すように、許容される符号化の遅延時間に対応する領域を最大値(4)として、部分領域のそれぞれのサイズを決定する(部分領域1〜9)。そして、符号化装置は、それぞれの部分領域のサイズに応じて決定された符号量(例えば、サイズが1の場合は符号量5、サイズが2の場合は符号量10、サイズが4の場合は符号量20)で符号化するため、図11に示すように、部分領域1〜9のどの領域でも、従来技術のように符号量が足りないまたは余るなどの事象が発生することなく、全ての領域を符号化することができる。つまり、本発明に係る符号化装置では、図12に示すように、全ての部分領域を領域のサイズに応じた目標符号量を超えることなく符号化することができる結果、最終的に得られる画像データの劣化を低減することができる。   On the other hand, when the same image as the above-described image is input, the encoding device according to the present invention sets the region corresponding to the allowable encoding delay time to the maximum value (4) as shown in FIG. ), The respective sizes of the partial areas are determined (partial areas 1 to 9). Then, the encoding apparatus determines the code amount determined according to the size of each partial area (for example, the code amount is 5 when the size is 1, the code amount is 10 when the size is 2, and the code amount is 4 when the size is 4. Since the encoding is performed with the code amount 20), as shown in FIG. 11, all the partial regions 1 to 9 do not cause an event such as a shortage or a surplus of code amount as in the prior art. Regions can be encoded. That is, in the encoding apparatus according to the present invention, as shown in FIG. 12, all the partial regions can be encoded without exceeding the target code amount corresponding to the size of the region. Data deterioration can be reduced.

なお、図7は、従来技術を用いた画像分割例を示す図であり、図8は、従来技術における画像分割後の使用符号量を示す図であり、図9は、従来技術における画像分割後の符号量削除量を示す図であり、図10は、本発明を用いた画像分割例を示す図であり、図11は、本発明における画像分割後の使用符号量を示す図であり、図12は、本発明における画像分割後の符号量削除量を示す図である。   FIG. 7 is a diagram illustrating an example of image division using the conventional technique, FIG. 8 is a diagram illustrating a used code amount after image division in the conventional technique, and FIG. 9 is a diagram after image division in the conventional technique. 10 is a diagram illustrating an example of image division using the present invention, and FIG. 11 is a diagram illustrating a used code amount after image division according to the present invention. 12 is a diagram illustrating a code amount deletion amount after image division according to the present invention.

[実施例1による効果]
このように、実施例1によれば、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量で、決定された部分領域を符号化するので、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。
[Effects of Example 1]
Thus, according to the first embodiment, the area corresponding to the allowable encoding delay time is set as the maximum value, the respective sizes of the partial areas are determined, and according to the determined size of the partial areas, Since the amount of code is allocated and the determined partial area is encoded with the allocated amount of code, it is possible to reduce the delay of encoding and to reduce the degradation of the finally obtained image data It is.

また、実施例1によれば、部分領域に含まれる画像の複雑度に応じて、部分領域のサイズを決定するので、画像ブロック毎の符号量の割り当てを柔軟に行い局所的な符号量の偏りを緩和することができる結果、最終的に得られる画像データの劣化をより低減することが可能である。   Further, according to the first embodiment, since the size of the partial region is determined according to the complexity of the image included in the partial region, the code amount for each image block is flexibly allocated, and the local code amount bias is determined. As a result, it is possible to further reduce the degradation of finally obtained image data.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、(1)複雑度算出手法、(2)符号化手法、(3)システム構成等、(4)プログラムにそれぞれ区分けして異なる実施例を説明する。   Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above. Therefore, as shown below, (1) complexity calculation method, (2) encoding method, (3) system configuration, etc., (4) different embodiments will be described by being divided into programs.

(1)複雑度算出手法
例えば、本符号化装置は、上記した複雑度の算出手法として様々な手法を用いることができる。例えば、本符号化装置は、画像ブロックを構成する画素すべてについての分散を使用したり、数画素の平均に対して分散を用いたり、二次元DCTを用いたりして複雑度を算出することもできる。
(1) Complexity calculation method For example, this encoding apparatus can use various methods as the above-described complexity calculation method. For example, the encoding apparatus may calculate the complexity by using the variance for all the pixels constituting the image block, using the variance for the average of several pixels, or using the two-dimensional DCT. it can.

(2)符号化手法
また、例えば、本発明に係る符号化装置は、割り当てられた符号量で、サイズが決定された部分領域を、入力画像の画面順で符号化することができる。このようにすることで、処理対象画像ブロックもしくは既に入力されている画像データを使用して符号化することにより、入力された順で符号化し出力することが可能になるので、符号化を低遅延にすること可能である。
(2) Coding method Further, for example, the coding apparatus according to the present invention can code the partial area whose size is determined with the assigned code amount in the order of the screen of the input image. By doing so, it is possible to encode and output in the input order by encoding using the processing target image block or the image data that has already been input. It is possible to make it.

(3)システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理(例えば、画像入力処理など)の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
(3) System configuration etc. In addition, among the processes described in the present embodiment, all or a part of the processes (for example, image input processes) described as being automatically performed can be manually performed. . In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合(例えば、符号量調整領域制御部と符号化部とを統合するなど)して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. For example, the code amount adjustment region control unit and the encoding unit may be integrated. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

(4)プログラム
なお、本実施例で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
(4) Program The encoding method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.

以上のように、本発明に係る符号化装置、符号化方法および符号化プログラムは、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することに有用であり、特に、符号化の低遅延化と、最終的に得られる画像データの劣化を低減することに適する。   As described above, the encoding apparatus, encoding method, and encoding program according to the present invention are useful for dividing an input image that has been input into partial areas and encoding the partial areas with a predetermined code amount. In particular, the present invention is suitable for reducing the encoding delay and the deterioration of the finally obtained image data.

実施例1に係る符号化装置の概要と特徴を説明するための図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram for explaining an overview and characteristics of an encoding apparatus according to a first embodiment. 実施例1に係る符号化処理を示す図である。It is a figure which shows the encoding process which concerns on Example 1. FIG. 実施例1に係る符号化装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an encoding apparatus according to Embodiment 1. FIG. 符号量調整領域制御部の詳細な処理部を説明するための図である。It is a figure for demonstrating the detailed process part of a code amount adjustment area | region control part. 実施例1に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of region size determination processing in the encoding device according to the first embodiment. 実施例1に係る符号化装置における符号化処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of an encoding process in the encoding device according to the first embodiment. 従来技術を用いた画像分割例を示す図である。It is a figure which shows the example of an image division using a prior art. 従来技術における画像分割後の使用符号量を示す図である。It is a figure which shows the used code amount after the image division | segmentation in a prior art. 従来技術における画像分割後の符号量削除量を示す図である。It is a figure which shows the code amount deletion amount after the image division in a prior art. 本発明を用いた画像分割例を示す図である。It is a figure which shows the example of an image division using this invention. 本発明における画像分割後の使用符号量を示す図である。It is a figure which shows the used code amount after the image division | segmentation in this invention. 本発明における画像分割後の符号量削除量を示す図である。It is a figure which shows the code amount deletion amount after the image division | segmentation in this invention. 従来技術の符号化処理から復号化処理までの流れを示す図である。It is a figure which shows the flow from the encoding process of a prior art to a decoding process. 従来技術に係る符号化装置の構成を示す図である。It is a figure which shows the structure of the encoding apparatus which concerns on a prior art. 従来技術の符号化処理の流れを示す図である。It is a figure which shows the flow of the encoding process of a prior art.

符号の説明Explanation of symbols

10 符号化装置
11 符号量調整領域制御部
11a ブロック抽出部
11b 複雑度算出部
11c 領域サイズ算出部
12 符号量制御部
13 符号化部
14 符号量算出部
DESCRIPTION OF SYMBOLS 10 Encoding apparatus 11 Code amount adjustment area | region control part 11a Block extraction part 11b Complexity calculation part 11c Area size calculation part 12 Code amount control part 13 Encoding part 14 Code amount calculation part

Claims (6)

入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、
許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、
前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、
前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、
を備えたことを特徴とする符号化装置。
An encoding device that divides an input image into a plurality of partial areas and encodes the partial areas with a predetermined code amount,
A size determining means for determining a size of each of the partial regions, with a region corresponding to an allowable encoding delay time as a maximum value;
Code amount assigning means for assigning the code amount according to the size of the partial area determined by the size determining means;
Encoding means for encoding the partial area whose size is determined by the size determination means with the code amount allocated by the code amount allocation means;
An encoding device comprising:
前記サイズ決定手段は、前記部分領域に含まれる画像の複雑度に応じて、複雑度に応じて、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項1に記載の符号化装置。   The encoding apparatus according to claim 1, wherein the size determining unit determines each size of the partial area according to the complexity according to the complexity of the image included in the partial area. . 前記サイズ決定手段は、前記複雑度として前記部分領域に含まれる画像値の分散値を算出し、算出した分散値を基に、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項2に記載の符号化装置。   The size determining means calculates a variance value of an image value included in the partial area as the complexity, and determines each size of the partial area based on the calculated variance value. 2. The encoding device according to 2. 前記符号化手段は、前記入力画像の画面順で符号化することを特徴とする請求項1〜3のいずれか一つに記載の符号化装置。   The encoding apparatus according to claim 1, wherein the encoding unit encodes the input image in a screen order. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することに適した符号化方法であって、
許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定工程と、
前記サイズ決定工程により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て工程と、
前記符号量割り当て工程により割り当てられた符号量で、前記サイズ決定工程によりサイズが決定された部分領域を符号化する符号化工程と、
を含んだことを特徴とする符号化方法。
An encoding method suitable for dividing an inputted input image into a plurality of partial areas and encoding the partial areas with a predetermined code amount,
A size determining step for determining a size of each of the partial regions, with a region corresponding to an allowable encoding delay time as a maximum value;
A code amount assigning step for assigning the code amount in accordance with the size of the partial area determined by the size determining step;
An encoding step of encoding the partial area whose size is determined by the size determination step with the code amount allocated by the code amount allocation step;
The encoding method characterized by including.
入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することをコンピュータに実行させる符号化プログラムであって、
許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定手順と、
前記サイズ決定手順により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手順と、
前記符号量割り当て手順により割り当てられた符号量で、前記サイズ決定手順によりサイズが決定された部分領域を符号化する符号化手順と、
をコンピュータに実行させることを特徴とする符号化プログラム。
An encoding program for causing a computer to divide an inputted input image into a plurality of partial areas and to encode the partial areas with a predetermined code amount,
A size determination procedure for determining the size of each of the partial regions, with a region corresponding to an allowable encoding delay time as a maximum value;
A code amount allocation procedure for allocating the code amount in accordance with the size of the partial area determined by the size determination procedure;
An encoding procedure for encoding the partial area whose size is determined by the size determination procedure with the code amount allocated by the code amount allocation procedure;
An encoding program for causing a computer to execute.
JP2008088574A 2008-03-28 2008-03-28 Encoding apparatus, encoding method, and encoding program Active JP5236332B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008088574A JP5236332B2 (en) 2008-03-28 2008-03-28 Encoding apparatus, encoding method, and encoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088574A JP5236332B2 (en) 2008-03-28 2008-03-28 Encoding apparatus, encoding method, and encoding program

Publications (2)

Publication Number Publication Date
JP2009246540A true JP2009246540A (en) 2009-10-22
JP5236332B2 JP5236332B2 (en) 2013-07-17

Family

ID=41308000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088574A Active JP5236332B2 (en) 2008-03-28 2008-03-28 Encoding apparatus, encoding method, and encoding program

Country Status (1)

Country Link
JP (1) JP5236332B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121044A (en) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc Image encoder and image encoding method
JP2013162395A (en) * 2012-02-07 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> Image coding method, image coding device, and image coding program
JP2014003587A (en) * 2012-05-25 2014-01-09 Canon Inc Image encoder and encoding method
WO2014155471A1 (en) * 2013-03-25 2014-10-02 日立マクセル株式会社 Coding method and coding device
JP2016521890A (en) * 2013-06-12 2016-07-25 コダック アラリス インク Document boundary detection method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130787A (en) * 1995-10-27 1997-05-16 Toshiba Corp Dynamic image coder
JP2000236538A (en) * 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> Object compression coder
JP2000278690A (en) * 1999-03-25 2000-10-06 Matsushita Electric Ind Co Ltd Encoding device
JP2003209844A (en) * 2002-12-09 2003-07-25 Mitsubishi Electric Corp Moving picture encoding apparatus and moving picture encoding method
JP2007288364A (en) * 2006-04-13 2007-11-01 Canon Inc Information transmission device and information transmission method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130787A (en) * 1995-10-27 1997-05-16 Toshiba Corp Dynamic image coder
JP2000236538A (en) * 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> Object compression coder
JP2000278690A (en) * 1999-03-25 2000-10-06 Matsushita Electric Ind Co Ltd Encoding device
JP2003209844A (en) * 2002-12-09 2003-07-25 Mitsubishi Electric Corp Moving picture encoding apparatus and moving picture encoding method
JP2007288364A (en) * 2006-04-13 2007-11-01 Canon Inc Information transmission device and information transmission method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121044A (en) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc Image encoder and image encoding method
JP2013162395A (en) * 2012-02-07 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> Image coding method, image coding device, and image coding program
JP2014003587A (en) * 2012-05-25 2014-01-09 Canon Inc Image encoder and encoding method
WO2014155471A1 (en) * 2013-03-25 2014-10-02 日立マクセル株式会社 Coding method and coding device
JPWO2014155471A1 (en) * 2013-03-25 2017-02-16 日立マクセル株式会社 Encoding method and encoding apparatus
US10027960B2 (en) 2013-03-25 2018-07-17 Maxell, Ltd. Coding method and coding device
JP2016521890A (en) * 2013-06-12 2016-07-25 コダック アラリス インク Document boundary detection method

Also Published As

Publication number Publication date
JP5236332B2 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
JP7268599B2 (en) Information processing device and method
CN109413427B (en) Video frame coding method and terminal
JP5236332B2 (en) Encoding apparatus, encoding method, and encoding program
US9984504B2 (en) System and method for improving video encoding using content information
US20210336634A1 (en) Data processing apparatuses, methods, computer programs and computer-readable media
US20200275103A1 (en) System and method for controlling video coding within image frame
US10536696B2 (en) Image encoding device and image encoding method
JP2008047102A (en) Image processing apparatus and image processing method
US20210160516A1 (en) Data rate control method, computer system, and device
CA2722051C (en) Method and apparatus for variable video bitrate control in which picture bitrate correction is limited to be within a calculated range
KR20070006786A (en) Media signal processing method, corresponding system, and application thereof in a resource-scalable motion estimator
JPWO2006068073A1 (en) Image data generation method and apparatus, image distribution system and image distribution apparatus, and program thereof
US20220191565A1 (en) Image capturing system, distribution apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2006157267A (en) Image processing apparatus and image processing method
JP2020092327A (en) Image encoding device, image encoding method, and program
JP4153454B2 (en) Moving picture coding apparatus, moving picture coding method, moving picture coding program, and computer-readable recording medium recording the program
US20230078190A1 (en) Image compression method and apparatus
US20210144380A1 (en) Dynamic allocation of virtual and/or physical resources vis-a-vis virtual machines in video stream processing
JP5627424B2 (en) Image encoding device
JP5967829B2 (en) Color conversion processing program, apparatus and method capable of adjusting theme color allocation ratio
JP2007104342A (en) Device and method for image encoding
JP7020068B2 (en) Video coding device, video coding method, and program
JP6445404B2 (en) Encoding method and encoding program
JP2004274641A (en) Introducing gradation correction amount in response to degree of variance in gradation value
JP2856568B2 (en) Encoding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130327

R150 Certificate of patent or registration of utility model

Ref document number: 5236332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250