JP2016220040A - Encoder and program for the same - Google Patents
Encoder and program for the same Download PDFInfo
- Publication number
- JP2016220040A JP2016220040A JP2015103165A JP2015103165A JP2016220040A JP 2016220040 A JP2016220040 A JP 2016220040A JP 2015103165 A JP2015103165 A JP 2015103165A JP 2015103165 A JP2015103165 A JP 2015103165A JP 2016220040 A JP2016220040 A JP 2016220040A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- region
- block
- predetermined
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 claims abstract description 90
- 238000012937 correction Methods 0.000 claims abstract description 59
- 230000002093 peripheral effect Effects 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 60
- 230000009467 reduction Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Abstract
Description
本発明は、動画像の符号化処理技術に関し、特に、短視距離を対象とする視聴環境下に適した符号化制御を行う符号化装置及びそのプログラムに関する。 The present invention relates to a moving image encoding processing technique, and more particularly, to an encoding apparatus that performs encoding control suitable for a viewing environment for a short viewing distance and a program thereof.
近年、ディスプレイやビデオカメラ画像の大型化に伴い、臨場感・実物感が得られるよう動画像の高解像度化が行われている。いわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細動画像は、ある程度の短視距離、例えば０．７５Ｈ（１Ｈ：モニタ画面高）程度の視距離で視聴することで、視聴者は映像に包み込まれるような臨場感を楽しむことができる。 In recent years, with the increase in the size of displays and video camera images, the resolution of moving images has been increased so that a sense of reality and real feeling can be obtained. A super high definition moving image such as a so-called Super Hi-Vision (SHV) called 8K is viewed at a certain short viewing distance, for example, a viewing distance of about 0.75H (1H: monitor screen height). You can enjoy the feeling of being wrapped in
ところで、超高精細・大画面テレビの映像の画面サイズと“好ましい観視距離”との関係に関して、視野内の情報受容特性についての報告が為されている（例えば、非特許文献１参照）。 By the way, regarding the relationship between the screen size of the video of the ultra-high-definition / large-screen television and the “preferable viewing distance”, there has been a report on the information acceptance characteristics in the visual field (for example, see Non-Patent Document 1).
また、広い視野で画像を観たときの臨場感に関連する心理的な効果を定量化して示した報告もある（例えば、非特許文献２参照）。 There is also a report quantifying and showing psychological effects related to a sense of reality when viewing an image with a wide field of view (see, for example, Non-Patent Document 2).
スーパーハイビジョン（ＳＨＶ）のような超高精細動画像では、１フレームあたりの情報量も多くなり、符号化効率及び符号化速度の向上が求められる。 In an ultra-high definition moving image such as Super Hi-Vision (SHV), the amount of information per frame increases, and an improvement in encoding efficiency and encoding speed is required.
また、短視距離を前提とした視聴環境では、画面中央部の画素に比べると、周辺領域では画素に対する距離や角度が生じる。このため周辺領域の重要性が中央部分に比べて相対的に低くなり、動画像の画面全体を同一の符号化方式及び圧縮率で処理することは、符号化効率の観点から望ましくない。 Also, in a viewing environment that assumes a short viewing distance, a distance and an angle with respect to the pixel are generated in the peripheral region as compared with the pixel in the center of the screen. For this reason, the importance of the peripheral region is relatively lower than that of the central portion, and it is not desirable from the viewpoint of encoding efficiency to process the entire moving image screen with the same encoding method and compression rate.
本発明の目的は、上述の問題に鑑みて、短視距離を対象とする視聴環境下に適した符号化制御を行う符号化装置及びそのプログラムを提供することにある。 In view of the above-described problems, an object of the present invention is to provide an encoding device that performs encoding control suitable for a viewing environment for a short viewing distance and a program thereof.
本発明では、短視距離を対象とする視聴環境下に適した符号化制御として、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する。 In the present invention, encoding efficiency and encoding speed are improved by performing different encoding control in the central part and the peripheral part of the screen as encoding control suitable for the viewing environment for short viewing distance.
本発明の符号化装置は、動画像の符号化処理を行う符号化装置であって、動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するブロック分割手段と、前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施す直交変換手段と、前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成する量子化手段と、前記フレームに対して短視距離を考慮して予め定めた領域基準を基に、当該ブロック分割の対象とする単位ブロックが属する領域を判定する手段と、当該所定の量子化処理の対象とする変換ブロックが属する領域を判定する手段のいずれか一方、又は双方を有し、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御する領域判定・制御手段と、を備えることを特徴とする。 An encoding apparatus according to the present invention is an encoding apparatus that performs an encoding process of a moving image, based on block dividing means for dividing a frame of a moving image into unit blocks of a predetermined block size, and the unit block. An orthogonal transform unit that determines a transform block and performs a predetermined orthogonal transform process on the transform block, and performs a predetermined quantization process on the transform block that has been subjected to the orthogonal transform process to generate an encoded signal Quantizing means for determining a region to which a unit block to be subject to block division belongs, based on a predetermined region criterion in consideration of a short viewing distance with respect to the frame, and the predetermined quantization It has one or both means for determining the region to which the transform block to be processed belongs, and based on the determination result, it is centered with respect to the frame at the short viewing distance. Than in the region, characterized by comprising a region judging and controlling means for controlling the predetermined coding parameters so as to suppress the code data amount of the region of the peripheral portion.
また、本発明の符号化装置において、前記領域基準は、前記フレームの中央部を基準に、視距離と視角度に依存する幾何学的な縮小率に基づいて定められた１以上の境界線と、視野内の情報受容特性に基づいて定められた１以上の境界線のいずれか一方、又は双方により区分された複数の領域を定め、前記フレームの中央部を含む領域を、前記中央部の領域として定めていることを特徴とする。 In the encoding device according to the aspect of the invention, the region reference may include one or more boundary lines that are determined based on a geometric reduction ratio that depends on a viewing distance and a viewing angle with respect to a central portion of the frame. A plurality of regions defined by one or both of one or more boundary lines determined based on information reception characteristics in the field of view, and a region including a central portion of the frame is defined as a region in the central portion It is characterized by the following.
また、本発明の符号化装置において、前記領域判定・制御手段は、当該所定の量子化処理の対象とする変換ブロックが属する領域を判定した判定結果を基に、前記量子化手段により予め定めた符号化処理に基づく量子化制御値を補正するよう制御する量子化補正手段を有することを特徴とする。 Further, in the encoding device of the present invention, the region determination / control unit is predetermined by the quantization unit based on a determination result of determining a region to which the transform block to be subjected to the predetermined quantization process belongs. It has a quantization correction means for controlling to correct a quantization control value based on an encoding process.
また、本発明の符号化装置において、前記領域判定・制御手段は、当該ブロック分割の対象とする単位ブロックが属する領域を判定した判定結果を基に、前記ブロック分割手段により予め定めた符号化処理に基づくブロックサイズを補正するよう制御する分割補正手段を有することを特徴とする。 In the encoding device of the present invention, the region determination / control unit is configured to perform a predetermined encoding process by the block dividing unit based on a determination result of determining a region to which the unit block to be subjected to the block division belongs. And division correction means for controlling to correct the block size based on.
また、本発明の符号化装置において、前記領域判定・制御手段は、前記フレームに対して短視距離を考慮して予め定めた領域基準を基に、前記中央部の領域と比して、前記周辺部の領域の符号データ量を抑制するよう当該予め定めた符号化処理における一部の処理を省略する手段を有することを特徴とする。 Further, in the encoding device of the present invention, the region determination / control unit is configured to compare the region with the central portion based on a region reference determined in advance with respect to the frame in consideration of a short viewing distance. It is characterized by having means for omitting a part of the predetermined encoding process so as to suppress the amount of code data in the peripheral area.
また、本発明の符号化装置において、前記量子化手段によって量子化され符号化された結果を所定の検証基準に基づいて、符号化歪が所定値内の歪み量であるか否かを検証し、符号化歪が所定値内であればそのまま出力し、符号化歪が所定値内でなければ前記領域判定・制御手段に対して異なる領域設定、又は異なる符号化パラメータで、前記中央部の領域と比して前記周辺部の領域の符号データ量を抑制し、且つ符号化歪が所定値内となるよう繰り返し制御する符号化検証手段を更に備えることを特徴とする。 In the encoding device of the present invention, the result of quantization and encoding by the quantizing unit is verified based on a predetermined verification criterion to determine whether or not the encoding distortion is a distortion amount within a predetermined value. If the coding distortion is within a predetermined value, the output is output as it is, and if the coding distortion is not within the predetermined value, the area in the central portion is set with different area setting or different coding parameters for the area determination / control means. Compared to the above, it further comprises coding verification means for suppressing the amount of code data in the peripheral area and repeatedly controlling the coding distortion to be within a predetermined value.
更に、本発明のプログラムは、コンピュータに、動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するステップと、前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施すステップと、前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成するステップと、前記フレームに対して短視距離を考慮して予め定めた領域基準を基にした、当該ブロック分割の対象とする単位ブロックが属する領域の判定処理、及び、当該所定の量子化処理の対象とする変換ブロックが属する領域の判定処理のいずれか一方、又は双方を含み、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御するステップと、を実行させるためのプログラムであることを特徴とする。 Further, the program of the present invention causes a computer to divide a moving image frame into unit blocks having a predetermined block size, determine a conversion block based on the unit block, and determine a predetermined block for the conversion block. Considering the short viewing distance for the frame, performing the orthogonal transform process, performing a predetermined quantization process on the transform block subjected to the orthogonal transform process, generating an encoded signal, and Based on a predetermined region criterion, either one of the determination process of the region to which the unit block to be divided into blocks belongs, and the determination process of the region to which the conversion block to be subjected to the predetermined quantization process belongs Or both, and based on the determination result, the code data of the peripheral region is larger than the central region with respect to the frame at the short viewing distance. Characterized in that it is a program for executing and controlling the predetermined coding parameters so as to suppress the data amount.
本発明によれば、短視距離を考慮した動画像の符号化効率を改善することができる。 ADVANTAGE OF THE INVENTION According to this invention, the encoding efficiency of the moving image which considered the short viewing distance can be improved.
以下、図面を参照して、本発明による各実施形態の符号化装置１を順に説明する。 Hereinafter, with reference to the drawings, the encoding device 1 of each embodiment according to the present invention will be described in order.
〔第１実施形態〕
（装置構成）
図１は、本発明による第１実施形態の符号化装置１の概略構成を示すブロック図である。符号化装置１は、動画像の各フレームの画面について、その中央部の領域と周辺領域とを詳細に後述する所定の領域基準に基づいて定義し、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する装置であり、ブロック分割部１１、直交変換部１２、量子化部１３、領域判定部１４、量子化補正部１５、及び分割補正部１６を備える。ここで、ブロック分割部１１、直交変換部１２及び量子化部１３は、それぞれ入力される複数フレームからなる動画像について予め定めた符号化処理でのブロック分割処理、直交変換処理、及び量子化処理が予定されているものとし、領域判定部１４、量子化補正部１５及び分割補正部１６は、この予定されていた符号化処理に対する補正を行うよう機能する。
[First Embodiment]
(Device configuration)
FIG. 1 is a block diagram showing a schematic configuration of an encoding apparatus 1 according to the first embodiment of the present invention. The encoding device 1 defines a central area and a peripheral area of a screen of each frame of a moving image based on a predetermined area standard to be described in detail later, and encodes differently in the central area and the peripheral area of the screen. A device that improves coding efficiency and coding speed by performing control, and includes a block division unit 11, an orthogonal transformation unit 12, a quantization unit 13, a region determination unit 14, a quantization correction unit 15, and a division correction unit 16. Is provided. Here, the block division unit 11, the orthogonal transformation unit 12, and the quantization unit 13 each perform block division processing, orthogonal transformation processing, and quantization processing in a predetermined encoding process for a moving image including a plurality of input frames. The region determination unit 14, the quantization correction unit 15, and the division correction unit 16 function to perform correction on the scheduled encoding process.
ブロック分割部１１は、領域判定部１４及び分割補正部１６による制御下で、入力される複数フレームからなる動画像の映像信号を入力し、フレームごとに所定のブロックサイズの単位ブロックに分割し、この単位ブロックから更なる所定のブロックサイズの変換ブロックへの分割を許容した態様で、各単位ブロックを予め定めた順序で直交変換部１２に出力する。尚、単位ブロックから変換ブロックへの分割を行わないときは、この単位ブロックを変換ブロックとして扱うことができる。 The block dividing unit 11 inputs a video signal of a moving image composed of a plurality of input frames under the control of the region determining unit 14 and the division correcting unit 16, and divides the frame into unit blocks having a predetermined block size for each frame. Each unit block is output to the orthogonal transform unit 12 in a predetermined order in a manner that allows the division of the unit block into a transform block having a predetermined block size. When the division from the unit block to the conversion block is not performed, this unit block can be handled as a conversion block.
例えば、Ｈ．２６５／ＨＥＶＣの場合では、フレームを分割するＣＴＵ（Coding Tree Unit、符号化ツリーユニット）、ＣＴＵを繰り返し利用可能に（再帰的に）分割するＣＵ（Coding Unit、符号化ユニット）、ＣＵを予測処理用に分割するＰＵ（Prediction Unit、予測ユニット）、及びＣＵを変換処理用に分割するＴＵ（Transform Unit、変換ユニット）がブロック分割処理に含まれる。このため、「単位ブロック」は、ＣＴＵ、或いはＣＴＵから分割又は非分割されたＣＵとすることができる。また、「変換ブロック」は、ＣＵから量子化変換のために分割又は非分割されたＴＵとすることができる。例えば、図２（ａ）に示すように、フレームＦをＣＴＵに分割すると、このＣＴＵを更に分割したＣＵとし、このＣＵを単位ブロックとして量子化変換のために更に分割した変換ブロック（ＴＵ）とすることができる。或いは、図２（ｂ）に示すように、フレームＦをＣＴＵに分割すると、このＣＴＵを更に分割したＣＵとし、このＣＵを単位ブロックとするとともに、このＣＵを量子化変換のためのＴＵとすることができる。更には、フレームＦをＣＴＵに分割して単位ブロックとし、このＣＴＵを量子化変換のためのＴＵとすることもできる。 For example, H.M. In the case of H.265 / HEVC, a CTU (Coding Tree Unit) that divides a frame, a CU (Coding Unit) that divides a CTU repeatedly (recursively), and a CU prediction process The block division process includes a PU (Prediction Unit, prediction unit) that divides the CU and a TU (Transform Unit) that divides the CU for the conversion process. Therefore, the “unit block” may be a CTU or a CU that is divided or not divided from the CTU. In addition, the “transform block” may be a TU that is divided or not divided for quantization conversion from the CU. For example, as shown in FIG. 2A, when the frame F is divided into CTUs, the CTUs are further divided into CUs, and the CUs are used as unit blocks to transform blocks (TUs) further divided for quantization transformation. can do. Alternatively, as shown in FIG. 2B, when the frame F is divided into CTUs, this CTU is further divided into CUs, which are used as unit blocks, and this CU is used as a TU for quantization transformation. be able to. Furthermore, the frame F can be divided into CTUs to form unit blocks, and these CTUs can be used as TUs for quantization transformation.
或いはまた、Ｈ．２６４／ＡＶＣの場合では、フレームを分割するマクロブロックを「単位ブロック」とし、マクロブロックから量子化変換のために分割されたサブマクロブロックを「変換ブロック」とすることができる。 Alternatively, H. In the case of H.264 / AVC, a macroblock that divides a frame can be referred to as a “unit block”, and a sub-macroblock that is divided from the macroblock for quantization conversion can be referred to as a “transform block”.
直交変換部１２は、順次得られる単位ブロックを基に変換ブロックを決定し、変換ブロックに対して所定の直交変換処理を施して、量子化部１３に出力する。 The orthogonal transform unit 12 determines a transform block based on sequentially obtained unit blocks, performs a predetermined orthogonal transform process on the transform block, and outputs the transform block to the quantization unit 13.
量子化部１３は、領域判定部１４及び量子化補正部１５による制御下で、直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成して外部に出力する。尚、ブロック分割や量子化に係る制御値（量子化パラメータなど）は、符号化パラメータとして符号化信号のヘッダ情報に含めて出力することができる。このため、復号側は、符号化パラメータを参照して復号処理するものであればよく、既存の復号装置により復号することができる。 Under the control of the region determination unit 14 and the quantization correction unit 15, the quantization unit 13 performs a predetermined quantization process on the transform block subjected to the orthogonal transform process, generates an encoded signal, and externally Output. Note that control values (quantization parameters, etc.) related to block division and quantization can be output as coding parameters included in header information of the coded signal. For this reason, the decoding side should just perform a decoding process with reference to an encoding parameter, and can be decoded by the existing decoding apparatus.
領域判定部１４は、ブロック分割部１１から得られる単位ブロックの位置情報（単位ブロック位置情報）により、所定の領域基準に基づいて、当該単位ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「単位ブロックの領域情報」として分割補正部１６に出力する。更に、領域判定部１４は、直交変換部１２から得られる変換ブロックの位置情報（変換ブロック位置情報）により、当該所定の領域基準に基づいて、当該変換ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「変換ブロックの領域情報」として量子化補正部１５に出力する。 The area determination unit 14 uses the unit block position information (unit block position information) obtained from the block division unit 11 to locate any unit block on the screen of each frame of the moving image based on a predetermined area standard. It is determined whether it belongs, and the determination result is output to the division correction unit 16 as “unit block region information”. Furthermore, the area determination unit 14 determines which one of the transform blocks is on the screen of each frame of the moving image based on the predetermined area criterion based on the position information (transform block position information) of the transform block obtained from the orthogonal transform unit 12. Is output to the quantization correction unit 15 as “transformed block region information”.
量子化補正部１５及び分割補正部１６は、それぞれ「変換ブロックの領域情報」及び「単位ブロックの領域情報」を基に、フレームＦに関して短視距離にて中央部よりも、周辺部の符号データ量を抑制するよう量子化に係る制御値（例えば、量子化パラメータｑＰ）及びブロック分割の補正を行うよう制御する。 The quantization correction unit 15 and the division correction unit 16 respectively encode the code data in the peripheral part rather than the central part at a short viewing distance with respect to the frame F based on the “transformation block area information” and “unit block area information”. Control is performed to correct a control value (for example, quantization parameter qP) and block division related to quantization so as to suppress the amount.
より具体的には、量子化補正部１５は、「変換ブロックの領域情報」を基に、量子化部１３による所定の量子化処理における制御値（例えば、量子化パラメータ）を補正するか否かを判別して量子化部１３に対して補正制御する。一例として、量子化部１３は、所定の量子化処理を施す前に補正前制御値（例えば、補正前の量子化パラメータｑＰ）を量子化補正部１５に出力し、量子化補正部１５は、「変換ブロックの領域情報」を基に補正前制御値（例えば、補正前の量子化パラメータｑＰ）を補正するか否かを判別し、補正する際にはその補正後制御値（補正後の量子化パラメータｑＰ）を量子化部１３に返す。量子化部１３は、この補正後制御値を用いて、当該直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成して外部に出力する。 More specifically, the quantization correction unit 15 determines whether to correct a control value (for example, a quantization parameter) in a predetermined quantization process by the quantization unit 13 based on “transformed block region information”. And the correction control is performed on the quantization unit 13. As an example, the quantization unit 13 outputs a control value before correction (for example, a quantization parameter qP before correction) to the quantization correction unit 15 before performing a predetermined quantization process, and the quantization correction unit 15 It is determined whether or not to correct the control value before correction (for example, the quantization parameter qP before correction) based on the “region information of the transform block”. The quantization parameter qP) is returned to the quantization unit 13. Using this corrected control value, the quantization unit 13 performs a predetermined quantization process on the transform block on which the orthogonal transform process has been performed, generates an encoded signal, and outputs the encoded signal to the outside.
分割補正部１６は、「単位ブロックの領域情報」を基に、ブロック分割部１１によるブロック分割に係る単位ブロックのブロックサイズの補正の要否を判定制御し、補正の要否を示す分割補正情報をブロック分割部１１に出力する。一例として、ブロック分割部１１は、予め定めた符号化処理に基づき分割する単位ブロックを直交変換部１２に出力する前に、当該単位ブロックの位置情報を領域判定部１４に出力し、領域判定部１４は、領域判定の後に「単位ブロックの領域情報」を生成し、分割補正部１６は、「単位ブロックの領域情報」を基に分割補正情報をブロック分割部１１に出力する。そして、ブロック分割部１１は、この分割補正情報が、当該単位ブロックのブロックサイズの補正を示すときは、その分割補正情報が示すブロックサイズで単位ブロックを決定して直交変換部１２に出力し、この分割補正情報が、当該単位ブロックのブロックサイズの補正を示さないときは、当該予め定めた符号化処理に基づき分割する単位ブロックをそのまま直交変換部１２に出力する。 The division correction unit 16 determines and controls whether or not the block size of the unit block related to the block division by the block division unit 11 needs to be corrected based on the “unit block region information”, and indicates division correction information indicating the necessity of correction. Is output to the block dividing unit 11. As an example, before outputting the unit block to be divided based on a predetermined encoding process to the orthogonal transform unit 12, the block dividing unit 11 outputs the position information of the unit block to the region determining unit 14, and the region determining unit 14 generates “unit block region information” after the region determination, and the division correction unit 16 outputs the division correction information to the block division unit 11 based on the “unit block region information”. Then, when the division correction information indicates correction of the block size of the unit block, the block division unit 11 determines a unit block with the block size indicated by the division correction information, and outputs the unit block to the orthogonal transformation unit 12. When the division correction information does not indicate correction of the block size of the unit block, the unit block to be divided based on the predetermined encoding process is output to the orthogonal transform unit 12 as it is.
尚、領域判定部１４及び分割補正部１６によるブロック分割の補正制御に関して、Ｈ．２６５／ＨＥＶＣの場合では、フレームＦからＣＴＵへのブロックサイズは補正しないようにし、ＣＴＵからＣＵへのブロック分割、或いはこのＣＵからＴＵへのブロック分割について補正を行うようにするのが簡便である。同様に、Ｈ．２６４／ＡＶＣの場合では、フレームＦからマクロブロックへのブロックサイズは補正しないようにし、マクロブロックからサブマクロブロックへのブロック分割について補正を行うようにするのが簡便である。 Note that the block division correction control by the area determination unit 14 and the division correction unit 16 is described in H.264. In the case of H.265 / HEVC, it is convenient not to correct the block size from the frame F to the CTU, and to correct the block division from the CTU to the CU or the block division from the CU to the TU. . Similarly, H.M. In the case of H.264 / AVC, it is convenient not to correct the block size from the frame F to the macro block and to correct the block division from the macro block to the sub macro block.
尚、量子化補正部１５、及び分割補正部１６は、そのいずれか一方のみを備えるよう構成することもできる。 Note that the quantization correction unit 15 and the division correction unit 16 may be configured to include only one of them.
（装置動作）
以下、図３を参照して、Ｈ．２６５／ＨＥＶＣの場合を基に、本発明による第１実施形態の符号化装置１に関する動作例をより具体的に説明する。図３は、本発明による第１実施形態の符号化装置１の符号化処理例を示すフローチャートである。
(Device operation)
Hereinafter, referring to FIG. Based on the case of H.265 / HEVC, an operation example related to the encoding apparatus 1 according to the first embodiment of the present invention will be described more specifically. FIG. 3 is a flowchart showing an example of the encoding process of the encoding device 1 according to the first embodiment of the present invention.
ここで、モニタ画面高Ｈ＝４３２０ライン×横７６８０画素のいわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）の超高精細動画像を符号化処理して生成する例について説明する。このとき、例えば図４に示すように、或る程度の短視距離、例えば０．７５Ｈ程度の視距離で視聴することで、視聴者は映像に包み込まれるような臨場感を楽しむことができる。図４に示す画面例で、例えばフレームＦの画面に対する法線方向のＺ軸上の視点から当該画面の中央部Ｏまでの視距離を０．７５Ｈとすると、画面のＹ軸方向の上下端Ｆ１の視野角は±３３°、画面のＸ軸方向の左右端Ｆ２の視野角は±５０°となる。 Here, an example in which a super high-definition (SHV) super high-definition moving image called 8K of monitor screen height H = 4320 lines × horizontal 7680 pixels is encoded and generated will be described. At this time, for example, as shown in FIG. 4, the viewer can enjoy a sense of realism that is wrapped in the video by viewing at a certain short viewing distance, for example, a viewing distance of about 0.75H. In the screen example shown in FIG. 4, for example, when the viewing distance from the viewpoint on the Z axis in the normal direction to the screen of the frame F to the central portion O of the screen is 0.75H, the upper and lower ends F1 in the Y axis direction of the screen The viewing angle is ± 33 °, and the viewing angle at the left and right ends F2 in the X-axis direction of the screen is ± 50 °.
まず、符号化装置１は、ブロック分割部１１により、入力される複数フレームからなる動画像の映像信号を入力し、予め定めた符号化処理に基づき単位ブロックに分割するが、この単位ブロックを直交変換部１２に出力する前に、当該単位ブロックの位置情報を領域判定部１４に出力し、領域判定部１４による判定を待機する（ステップＳ１１）。 First, the encoding apparatus 1 receives a moving image video signal composed of a plurality of input frames by the block dividing unit 11 and divides the unit block into unit blocks based on a predetermined encoding process. Before outputting to the conversion part 12, the positional information on the said unit block is output to the area | region determination part 14, and the determination by the area | region determination part 14 waits (step S11).
続いて、符号化装置１は、領域判定部１４により、ブロック分割部１１から得られる単位ブロック位置情報（ＣＴＵ／ＣＵの位置情報）から、予め定義された領域基準を基に、当該単位ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「単位ブロックの領域情報」として生成する（ステップＳ１２）。 Subsequently, the encoding apparatus 1 uses the region determination unit 14 to determine whether the unit block is based on the predefined region reference from the unit block position information (CTU / CU position information) obtained from the block dividing unit 11. A determination is made as to which region in the screen of each frame of the moving image belongs, and the determination result is generated as “unit block region information” (step S12).
フレームＦの画面に関する領域基準に関して、例えば、当該画面の中央部の定義、或いは周辺部の定義は、視聴者が一人か複数かで異なるものとすることができるが、ここでは複数の視聴者であっても通常は画面中央を注視することを考量して、一人の視聴者が画面中央で視距離０．７５Ｈから視聴する際の領域基準で、中央部と周辺部を定め、更にはこの周辺部のうち誘導視野範囲、或いは安定注視野の領域を定めて、各領域別の符号化処理を行う例を説明する。 With regard to the area standard related to the screen of the frame F, for example, the definition of the central part or the definition of the peripheral part of the screen can be different depending on whether one or more viewers are used. Even if there is, it usually takes into consideration that the center of the screen is watched, and the center and the periphery are determined based on the area standard when one viewer views from the viewing distance of 0.75H in the center of the screen. A description will be given of an example in which a guidance visual field range or a stable gazing field region is defined in the unit, and encoding processing is performed for each region.
領域基準は、「視距離と視角度に依存する幾何学的な縮小率」と、「視野内の情報受容特性」のうちいずれか一方、好適にはその双方を考量して、動画像の各フレームの画面について、その中央部の領域と周辺領域とを１つ又は複数の境界線にて区分するよう定義するものである。特に、本実施形態の符号化装置１は、画面の中央部の領域に比して、周辺領域の分割ブロックのブロックサイズを大きくしたりその量子化ビット数を粗くしたりすることで、或る程度の符号化歪と引き換えに、フレーム画面全体として符号データ量を抑制させ、符号化速度の向上を可能とする。 The region standard is determined by considering either one of “geometric reduction ratio depending on viewing distance and viewing angle” or “information receiving characteristics in the visual field”, preferably both, The frame screen is defined so that the central area and the peripheral area are divided by one or more boundary lines. In particular, the encoding apparatus 1 according to the present embodiment increases the block size of the divided blocks in the peripheral region or increases the number of quantization bits as compared with the central region of the screen. In exchange for a certain degree of coding distortion, the amount of code data is suppressed for the entire frame screen, and the coding speed can be improved.
「視距離と視角度に依存する幾何学的な縮小率」は、動画像の或るフレームＦの画面について、中心画素（０，０）の法線方向に距離ｚから視聴した際の、中心画素（０，０）に対する画素Ａ（ｘ,ｙ）の水平縮小率をＳｘ、垂直縮小率をＳｙとすると、次式で求めることができる。 “Geometric reduction ratio depending on viewing distance and viewing angle” is the center when viewing a frame F of a moving image from a distance z in the normal direction of the center pixel (0, 0). When the horizontal reduction ratio of the pixel A (x, y) with respect to the pixel (0, 0) is Sx and the vertical reduction ratio is Sy, the following expression can be obtained.
例えば、画素Ａ（ｘ,ｙ＝０）のときの水平縮小率をＳｘは、図５（ａ）に示すように、Ｓｘ＝ａ’／ａより得られる。そして、ｚ＝０．７５Ｈを代入して得られる±５０°の視角度における縮小率のグラフを図５（ｂ）に示している。 For example, the horizontal reduction ratio Sx for the pixel A (x, y = 0) can be obtained from Sx = a ′ / a as shown in FIG. FIG. 5B shows a graph of the reduction ratio at a viewing angle of ± 50 ° obtained by substituting z = 0.75H.
このように、フレームＦの画素毎に「縮小率Ｓ＝Ｓｘ×Ｓｙ」を求め、縮小率Ｓが中心画素（０，０）に対して５０％以下になる画素群を、データ量を抑制する領域として定め、図６に示す境界線Ｌａを定めることができる。例えばこの数値を４０％や６０％、７５％と定めてもよいし、複数の境界線Ｌａを定めることもできる。また、符号化データ量が或る閾値以上になる場合にこの数値を変動させて周辺領域の符号化データ量を減少させ、或る瞬間の画面全体の符号化データ合計量を抑制させるよう適応的に境界線Ｌａを定めてもよい。このような幾何学的な縮小率から求まる境界線を境界線Ｌａとすると、図６に示すように、境界線Ｌａに囲まれる領域を中央部とする領域Ａ、境界線Ｌａの外側部分を周辺部とし領域Ｂとし区分することができる。 In this way, “reduction rate S = Sx × Sy” is obtained for each pixel of the frame F, and the data amount of the pixel group in which the reduction rate S is 50% or less with respect to the central pixel (0, 0) is suppressed. As a region, the boundary line La shown in FIG. 6 can be determined. For example, this numerical value may be determined as 40%, 60%, or 75%, or a plurality of boundary lines La may be determined. Also, when the amount of encoded data exceeds a certain threshold, this numerical value is changed to reduce the amount of encoded data in the surrounding area, and adaptively to suppress the total amount of encoded data of the entire screen at a certain moment. A boundary line La may be defined. Assuming that the boundary line obtained from such a geometric reduction ratio is the boundary line La, as shown in FIG. 6, the region A having the center surrounded by the region surrounded by the boundary line La and the outer portion of the boundary line La as the periphery It can be divided into a part and a region B.
また、「視野内の情報受容特性」については、中心画素（０，０）の法線方向（距離０．７５Ｈ）に視点がある場合、臨場感を引き起こすとされる誘導視野範囲（水平：±５０°、上：３５°、下：５０°）を用いて、その外側の領域を、データ量を抑制する画素範囲に定める。ただし、この臨場感を考量する範囲を例えば安定注視野（水平：±４５°、上：３０°、下：４０°）などとしてもよい。この情報受容特性に基づく境界線を境界線Ｌｂとすると、図６に示すように、領域Ｂのうち境界線Ｌｂの外側部分を領域Ｃとし区分する。 As for the “information acceptance characteristic in the visual field”, when the viewpoint is in the normal direction (distance 0.75H) of the central pixel (0, 0), the guided visual field range (horizontal: ±±) 50 [deg.], Top: 35 [deg.], Bottom: 50 [deg.]), The outer region is defined as a pixel range that suppresses the data amount. However, the range in which this realistic sensation is considered may be, for example, a stable focus field (horizontal: ± 45 °, upper: 30 °, lower: 40 °). Assuming that the boundary line based on this information acceptance characteristic is the boundary line Lb, the outer portion of the boundary line Lb in the region B is classified as a region C as shown in FIG.
このようにして、短視距離を対象とする視聴環境下に適した動画像の各フレームに対する領域基準を定めることができる。 In this way, it is possible to determine a region reference for each frame of a moving image suitable for a viewing environment that targets a short viewing distance.
続いて、符号化装置１は、分割補正部１６により、領域判定部１４によって得られる単位ブロックの領域情報を基に、ブロック分割の補正を行うか否かを判定し（ステップＳ１３）、例えば、ブロック分割部１１によるＣＴＵからＣＵへの分割の要否を判定して、判定対象のＣＴＵが周辺領域（領域Ｂ或いは領域Ｃ）に属しているときは（ステップＳ１３：Ｙｅｓ）、ＣＴＵからＣＵへの分割を行わないようブロック分割部１１に対して補正制御する（ステップＳ１４）。一方、判定対象のＣＴＵが中央部の領域（領域Ａ）に属しているときは（ステップＳ１３：Ｎｏ）、ステップＳ１５に移行する。この処理によって、周辺領域の或る程度の符号化歪と引き換えに、データ量を削減し符号化時間の短縮を図ることができる。尚、分割補正部１６を設けていない構成とするときは、ステップＳ１１からステップＳ１５に直接移行する。 Subsequently, the encoding apparatus 1 determines whether or not to perform block division correction by the division correction unit 16 based on the unit block region information obtained by the region determination unit 14 (step S13). The necessity of division from CTU to CU by the block dividing unit 11 is determined, and when the CTU to be determined belongs to the peripheral region (region B or region C) (step S13: Yes), from the CTU to the CU. The block dividing unit 11 is corrected and controlled so as not to divide (step S14). On the other hand, when the CTU to be determined belongs to the central region (region A) (step S13: No), the process proceeds to step S15. By this processing, the data amount can be reduced and the encoding time can be shortened in exchange for a certain degree of encoding distortion in the peripheral area. When the division correction unit 16 is not provided, the process proceeds directly from step S11 to step S15.
続いて、符号化装置１は、直交変換部１２により、順次得られる単位ブロック（ＣＴＵ／ＣＵ）を基に変換ブロック（ＴＵ）を決定し、ＴＵに対して所定の直交変換処理を施す（ステップＳ１５）。このとき、符号化装置１は、領域判定部１４により、直交変換部１２から得られる変換ブロック位置情報（ＴＵの位置情報）から、当該予め定義された領域基準を基に、当該変換ブロック（ＴＵ）が動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「変換ブロックの領域情報」として生成する。 Subsequently, the encoding apparatus 1 determines a transform block (TU) based on sequentially obtained unit blocks (CTU / CU) by the orthogonal transform unit 12 and performs a predetermined orthogonal transform process on the TU (step). S15). At this time, the encoding apparatus 1 uses the region determination unit 14 to convert the transform block (TU) based on the predefined region reference from the transform block position information (TU position information) obtained from the orthogonal transform unit 12. ) Belongs to which area on the screen of each frame of the moving image, and the determination result is generated as "region information of the transform block".
続いて、符号化装置１は、量子化補正部１５により、領域判定部１４によって得られる変換ブロックの領域情報を基に、量子化部１３による所定の量子化処理における制御値（例えば、量子化パラメータ）を補正するか否かを判別して量子化部１３に対して補正制御することで、量子化部１３が領域判定に応じた可変制御で符号化対象の変換ブロック（ＴＵ）を量子化するよう制御する（ステップＳ１６）。例えば、量子化補正部１５は、判定対象のＴＵが中央部の領域（領域Ａ）に属しているときは、予め定めた符号化処理に基づく量子化パラメータｑＰのままとして、量子化パラメータｑＰを補正しないよう量子化部１３を制御し、判定対象のＴＵが周辺領域（領域Ｂ又は領域Ｃ）に属しているときは、視点からの立体角が中心画素（０, ０ ）に比べて半分以下になるため、量子化パラメータｑＰの値を「＋６（量子化ステップを２倍）」に補正するよう量子化部１３を制御する。例えばこの量子化パラメータｑＰの増加分は、他の数値にしてもよいし、複数の境界線Ｌａ，Ｌｂを定めた場合には別個の値で定めた複数のｑＰ値の中から選ぶことができる。特に、領域Ｃの画素は、領域Ｂにある画素よりも重要性が低くなるため、更に量子化パラメータｑＰの値を増加させる処理を行ってもよい。例えばこのときの量子化パラメータｑＰの値の増加分は更に「＋６」とすることができる。尚、ブロック分割の補正のみを行うよう構成するときは、ステップＳ１５における変換ブロックの判定処理やステップＳ１６における領域判定に応じた量子化パラメータｑＰの可変制御は省略することができる。 Subsequently, the encoding apparatus 1 uses the quantization correction unit 15 to control a control value (for example, quantization) in a predetermined quantization process by the quantization unit 13 based on the region information of the transform block obtained by the region determination unit 14. The quantization unit 13 quantizes the transform block (TU) to be encoded with variable control according to the region determination. Control is performed (step S16). For example, when the TU to be determined belongs to the central region (region A), the quantization correction unit 15 keeps the quantization parameter qP based on a predetermined encoding process, and sets the quantization parameter qP. When the quantization unit 13 is controlled so as not to be corrected and the determination target TU belongs to the peripheral region (region B or region C), the solid angle from the viewpoint is less than half that of the central pixel (0, 0). Therefore, the quantization unit 13 is controlled so as to correct the value of the quantization parameter qP to “+6 (double the quantization step)”. For example, the increment of the quantization parameter qP may be set to other numerical values, and when a plurality of boundary lines La and Lb are determined, the increase can be selected from a plurality of qP values determined by different values. . In particular, since the pixels in the region C are less important than the pixels in the region B, processing for further increasing the value of the quantization parameter qP may be performed. For example, the increment of the quantization parameter qP at this time can be further set to “+6”. When only the block division correction is performed, the transform block determination process in step S15 and the variable control of the quantization parameter qP according to the region determination in step S16 can be omitted.
以上のように構成することにより、本発明に係る符号化装置１は、短視距離を対象とする視聴環境下に適した符号化制御として、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善することができる。 With the configuration as described above, the encoding device 1 according to the present invention performs different encoding control in the central portion and the peripheral portion of the screen as encoding control suitable for a viewing environment for short viewing distances. By doing so, encoding efficiency and encoding speed can be improved.
また、図６に示す例では、「視距離と視角度に依存する幾何学的な縮小率」に基づく境界線Ｌａにより中央部を定める例を示したが、例えば「視距離と視角度に依存する幾何学的な縮小率」に基づく境界線Ｌａを複数設定するとともに、「視野内の情報受容特性」に基づく境界線Ｌｂを複数設定して、各境界線Ｌａ，Ｌｂで区分される領域のうち、中心部Ｏに最も近い境界線内を中央部とし、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度を向上させるよう符号化パラメータを定めてもよい。例えば、図７に示す例では、臨場感を引き起こすとされる「視野内の情報受容特性」に基づく境界線Ｌｂ‐１内の誘導視野範囲（水平：±５０°、上：３５°、下：５０°）で、更に別の「視野内の情報受容特性」に基づく境界線Ｌｂ‐２、「視距離と視角度に依存する幾何学的な縮小率」に基づく縮小率３０％，５０％の２つの境界線Ｌａ‐１，Ｌａ‐２を設定している。そして、それぞれの境界線によって区切られる領域Ａ，Ｂ，Ｃ，Ｄ，Ｅを、それぞれ中央部を示す有効視野の領域、周辺部を示す誘導視野範囲内の第１の領域、周辺部を示す誘導視野範囲内の第２の領域、及び周辺部を示す誘導視野範囲外の領域として定め、中心部Ｏに最も近い境界線内（領域Ａ）を中央部とし、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度の向上を伴うような符号化パラメータ（ブロックサイズや量子化パラメータ等）の補正を行うよう構成することができる。 In the example shown in FIG. 6, an example is shown in which the central portion is defined by the boundary line La based on “geometric reduction ratio depending on viewing distance and viewing angle”. A plurality of boundary lines La based on “geometric reduction ratio” and a plurality of boundary lines Lb based on “information acceptance characteristics in the field of view” are set, and the regions divided by the respective boundary lines La and Lb are set. Among them, the encoding parameter may be determined so that the boundary portion closest to the central portion O is the central portion and the data amount is decreased and the processing speed is improved in the peripheral region farther from the central portion. For example, in the example shown in FIG. 7, the guided visual field range (horizontal: ± 50 °, upper: 35 °, lower: within the boundary line Lb-1 based on the “information acceptance characteristic in the visual field” that causes realism. 50 °), the boundary line Lb-2 based on “information receiving characteristics in the visual field”, and the reduction ratios of 30% and 50% based on “geometric reduction ratio depending on viewing distance and viewing angle” Two boundary lines La-1 and La-2 are set. Then, the regions A, B, C, D, and E delimited by the respective boundary lines are divided into an effective visual field region indicating the central portion, a first region within the guide visual field range indicating the peripheral portion, and a guide indicating the peripheral portion. The second region within the visual field range and the region outside the guidance visual field range indicating the peripheral part are defined as the central part of the boundary line closest to the central part O (region A), and the peripheral region moving away from the central part. The encoding parameters (block size, quantization parameter, etc.) can be corrected so as to accompany the reduction in the data amount and the improvement in the processing speed.
また、「視野内の情報受容特性」に基づく境界線Ｌｂのみを複数設定してもよい。例えば図８に示すように、境界線Ｌｂ‐１，境界線Ｌｂ‐２，境界線Ｌｂ‐３により領域Ａ，Ｂ，Ｃを設け、中心部Ｏに最も近い境界線Ｌｂ‐１内の領域Ａは中央部を示す有効視野の領域とし、領域Ｂは周辺部を示す安定注視野（水平：±４５°、上：３０°、下：４０°）の領域、領域Ｃは周辺部を示す誘導視野範囲（水平：±５０°、上：３５°、下：５０°）の領域として設定し、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度の向上を伴うような符号化パラメータ（ブロックサイズや量子化パラメータ等）の補正を行うよう構成することができる。 Alternatively, only a plurality of boundary lines Lb based on “information reception characteristics within the visual field” may be set. For example, as shown in FIG. 8, regions A, B, and C are provided by the boundary line Lb-1, the boundary line Lb-2, and the boundary line Lb-3, and the region A in the boundary line Lb-1 closest to the center portion O is provided. Is an effective visual field region indicating the central portion, region B is a stable focus field indicating the peripheral portion (horizontal: ± 45 °, upper: 30 °, lower: 40 °), and region C is a guide visual field indicating the peripheral portion. Coding parameters that are set as a range (horizontal: ± 50 °, upper: 35 °, lower: 50 °), and that the peripheral region farther away from the center is accompanied by a decrease in data amount and an improvement in processing speed ( (Block size, quantization parameter, etc.) can be corrected.
そして、このような「視野内の情報受容特性」に基づく境界線を利用して領域基準を定めることにより、誘導視野又は安定視野をフレームＦの画面上方よりも下方の視野を重視させることができるため、フレームＦの下方に字幕が付されることが多いことを考慮すると、実用性の高い領域別符号化処理を実現することができる。 Then, by defining the region reference using the boundary line based on such “information reception characteristics in the visual field”, the visual field below the upper screen of the frame F can be emphasized in the guidance visual field or the stable visual field. Therefore, in consideration of the fact that subtitles are often added below the frame F, it is possible to realize a highly practical region-by-region encoding process.
〔第２実施形態〕
（装置構成）
図９は、本発明による第２実施形態の符号化装置１の概略構成を示すブロック図である。尚、第１実施形態と同様な構成要素には同一の参照番号を付している。第２実施形態の符号化装置１は、動画像の各フレームの画面について、その中央部の領域と周辺領域とを前述した所定の領域基準に基づいて定義し、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する装置であり、ブロック分割部１１、直交変換部１２、量子化部１３、領域判定部１４、量子化補正部１５、及び分割補正部１６を備える点で第１実施形態と同様であるが、符号化検証部１７を更に備える点で相違する。ブロック分割部１１、直交変換部１２、量子化部１３、量子化補正部１５、及び分割補正部１６の動作は第１実施形態と同様であり、その詳細な説明は省略するが、ここでは主に、量子化部１３による量子化後の符号化結果を検証する符号化検証部１７と、これに係る領域判定部１４の動作について、図１０を参照して説明する。
[Second Embodiment]
(Device configuration)
FIG. 9 is a block diagram showing a schematic configuration of the encoding apparatus 1 according to the second embodiment of the present invention. In addition, the same reference number is attached | subjected to the component similar to 1st Embodiment. The encoding apparatus 1 according to the second embodiment defines a central area and a peripheral area of a screen of each frame of a moving image based on the predetermined area criterion described above, and the central area and the peripheral area of the screen are defined. A device that improves coding efficiency and coding speed by performing different coding control, and includes a block division unit 11, an orthogonal transformation unit 12, a quantization unit 13, a region determination unit 14, a quantization correction unit 15, and a division Although it is the same as that of 1st Embodiment by the point provided with the correction | amendment part 16, it differs in the point further provided with the encoding verification part 17. FIG. Operations of the block division unit 11, the orthogonal transformation unit 12, the quantization unit 13, the quantization correction unit 15, and the division correction unit 16 are the same as those in the first embodiment, and detailed description thereof is omitted. Next, operations of the encoding verification unit 17 that verifies the encoding result after quantization by the quantization unit 13 and the region determination unit 14 related thereto will be described with reference to FIG.
図１０は、第２実施形態の符号化装置１の符号化処理例を示すフローチャートである。ステップＳ１１〜Ｓ１６は第１実施形態と同様であり、ステップＳ１６にて、量子化部１３は、領域判定に応じた可変制御で符号化対象の変換ブロック（ＴＵ）を量子化する。 FIG. 10 is a flowchart illustrating an example of the encoding process of the encoding device 1 according to the second embodiment. Steps S11 to S16 are the same as in the first embodiment, and in step S16, the quantization unit 13 quantizes the transform block (TU) to be encoded with variable control according to the region determination.
続いて、符号化検証部１７は、量子化部１３によって量子化され符号化された結果を例えば客観的指標のひとつであるピーク信号対雑音比を表わすＰＳＮＲ（Peak Signal to Noise Ratio）などの検証基準により、符号化歪が所定値内の歪み量であるか否かを検証し（ステップＳ１７）、符号化歪が所定値内であれば（ステップＳ１７：Ｙｅｓ）、そのまま出力し、符号化歪が所定値内でなければ（ステップＳ１７：Ｎｏ）、データ量の減少及び処理速度の向上作用が高すぎると判定し、領域判定部１４に対して符号化パラメータの領域設定、又は分割補正部１６や量子化補正部１５による補正処理の変更を指示する（ステップＳ１８）。この指示に応じて領域判定部１４は境界線の設定の変更を行うことができ、これに伴いブロック分割の補正、及び量子化パラメータの補正など、データ量の減少及び処理速度の向上作用を損なわないよう再設定し、符号化歪が所定値内となるまで繰り返すようにする。分割補正部１６や量子化補正部１５による補正処理の変更によっても同様にデータ量の減少及び処理速度の向上作用を損なわないよう再設定し、符号化歪が所定値内となるまで繰り返すようにする。これにより、データ量の減少及び処理速度の向上作用を損なうことなく、一定量の符号化品質を維持することができる。 Subsequently, the encoding verifying unit 17 verifies the result quantized and encoded by the quantizing unit 13 such as a peak signal to noise ratio (PSNR) that represents one of the objective indicators, that is, a peak signal-to-noise ratio. It is verified whether or not the coding distortion is a distortion amount within a predetermined value based on the reference (step S17). If the coding distortion is within the predetermined value (step S17: Yes), the coding distortion is output as it is, and the coding distortion is determined. Is not within the predetermined value (step S17: No), it is determined that the effect of reducing the data amount and improving the processing speed is too high, and the region setting unit 14 sets the encoding parameter for the region determination unit 14, or the division correction unit 16 Or a change of correction processing by the quantization correction unit 15 is instructed (step S18). In response to this instruction, the area determination unit 14 can change the setting of the boundary line, and accordingly, the effect of reducing the data amount and improving the processing speed, such as correction of block division and correction of the quantization parameter, is impaired. It is set again so that the coding distortion falls within a predetermined value. Similarly, even if the correction processing by the division correction unit 16 or the quantization correction unit 15 is changed, resetting is performed so as not to impair the data amount reduction and the processing speed improvement, and the processing is repeated until the coding distortion falls within a predetermined value. To do. As a result, it is possible to maintain a certain amount of encoding quality without impairing the data amount reduction and the processing speed improvement effect.
以上、特定の実施形態の例及び実施例を挙げて本発明を説明したが、本発明は前述の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。 The present invention has been described with reference to specific embodiments and examples. However, the present invention is not limited to the above-described examples, and various modifications can be made without departing from the technical concept thereof.
例えば、上述した例では、周辺領域の分割ブロックサイズを大きくしたり量子化ビット数を粗くしたりする例を説明したが、これ以外にも、周辺領域では、デブロッキング・フィルタ処理の省略を行うなど、画面（フレーム）の中央部の領域に比して、周辺部の領域の符号化処理における一部の処理を省略することで、或る程度の符号化劣化と引き換えに、データ量の減少及び処理速度を向上させることができる。 For example, in the above-described example, the example in which the divided block size in the peripheral area is increased or the number of quantization bits is increased has been described. In addition, the deblocking filter process is omitted in the peripheral area. Compared to the central area of the screen (frame), etc., by omitting a part of the encoding process in the peripheral area, the data amount is reduced in exchange for a certain degree of encoding deterioration. In addition, the processing speed can be improved.
更には、周辺領域の符号化処理における一部の処理を省略する他の例として、周辺領域では予め定めた符号化処理に基づく画面内予測の方向性予測数を減少させてもよい。周辺領域では例えば非方向性予測の２種と水平・垂直の方向性予測とを合わせた４通りとするよう定めてもよい。この場合も、デブロッキング・フィルタ処理の省略と同様に、或る程度の符号化劣化と引き換えに処理速度を向上させることができる。 Furthermore, as another example of omitting a part of the processing in the surrounding area encoding process, the number of directional predictions for intra prediction based on a predetermined encoding process may be reduced in the surrounding area. In the peripheral region, for example, it may be determined that there are four types including two types of non-directional prediction and horizontal / vertical directional prediction. Also in this case, similarly to the omission of the deblocking filter process, the processing speed can be improved in exchange for a certain degree of encoding degradation.
そして、各実施形態の符号化装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、各実施形態の符号化装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。 The encoding apparatus 1 of each embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is provided in a memory (see FIG. (Not shown). A program in which processing content for realizing the function of each component is described by control of a central processing unit (CPU) provided in the computer is appropriately read from the memory, and the encoding device 1 of each embodiment The function of each component can be realized by a computer. Here, the function of each component may be realized by a part of hardware.
本発明によれば、短視距離を考慮した動画像の符号化効率を改善することができるので、動画像の符号化処理を要する用途に有用である。 According to the present invention, it is possible to improve the encoding efficiency of a moving image in consideration of the short viewing distance, which is useful for applications that require a moving image encoding process.
１ 符号化装置
１１ ブロック分割部
１２ 直交変換部
１３ 量子化部
１４ 領域判定部
１５ 量子化補正部
１６ 分割補正部
１７ 符号化検証部
DESCRIPTION OF SYMBOLS 1 Encoding apparatus 11 Block division part 12 Orthogonal transformation part 13 Quantization part 14 Area | region determination part 15 Quantization correction part 16 Division correction part 17 Encoding verification part
Claims (7)
動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するブロック分割手段と、
前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施す直交変換手段と、
前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成する量子化手段と、
前記フレームに対して短視距離を考慮して予め定めた領域基準を基に、当該ブロック分割の対象とする単位ブロックが属する領域を判定する手段と、当該所定の量子化処理の対象とする変換ブロックが属する領域を判定する手段のいずれか一方、又は双方を有し、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御する領域判定・制御手段と、
を備えることを特徴とする符号化装置。 An encoding device for encoding a moving image,
Block dividing means for dividing a frame of a moving image into unit blocks of a predetermined block size;
An orthogonal transform unit that determines a transform block based on the unit block and performs a predetermined orthogonal transform process on the transform block;
Quantization means for performing a predetermined quantization process on the transform block subjected to the orthogonal transform process and generating an encoded signal;
Means for determining an area to which a unit block to be divided into blocks belongs based on a predetermined area reference in consideration of a short viewing distance with respect to the frame, and a transformation to be subjected to the predetermined quantization process Either or both means for determining the area to which the block belongs, and based on the determination result, the code of the peripheral area rather than the central area with respect to the frame at the short viewing distance. Area determination / control means for controlling a predetermined encoding parameter so as to suppress the data amount;
An encoding device comprising:
動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するステップと、
前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施すステップと、
前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成するステップと、
前記フレームに対して短視距離を考慮して予め定めた領域基準を基にした、当該ブロック分割の対象とする単位ブロックが属する領域の判定処理、及び、当該所定の量子化処理の対象とする変換ブロックが属する領域の判定処理のいずれか一方、又は双方を含み、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御するステップと、
を実行させるためのプログラム。 On the computer,
Dividing a moving image frame into unit blocks of a predetermined block size;
Determining a transform block based on the unit block, and performing a predetermined orthogonal transform process on the transform block;
Performing a predetermined quantization process on the transform block subjected to the orthogonal transform process, and generating a coded signal;
Based on a predetermined region criterion in consideration of the short viewing distance for the frame, the region to which the unit block that is the target of block division belongs, and the predetermined quantization processing target Code data of the peripheral area rather than the central area with respect to the frame at the short viewing distance, based on the determination result, including one or both of the determination processes of the area to which the transform block belongs Controlling a predetermined encoding parameter to suppress the amount;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103165A JP6616592B2 (en) | 2015-05-20 | 2015-05-20 | Encoding device and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103165A JP6616592B2 (en) | 2015-05-20 | 2015-05-20 | Encoding device and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016220040A true JP2016220040A (en) | 2016-12-22 |
| JP6616592B2 JP6616592B2 (en) | 2019-12-04 |
Family
ID=57581686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015103165A Active JP6616592B2 (en) | 2015-05-20 | 2015-05-20 | Encoding device and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6616592B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021526774A (en) * | 2018-06-28 | 2021-10-07 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Low latency video coding and transmission rate control |
| US11496758B2 (en) | 2018-06-28 | 2022-11-08 | Apple Inc. | Priority-based video encoding and transmission |
| US11653026B2 (en) | 2018-06-28 | 2023-05-16 | Apple Inc. | Video encoding system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233475A (en) * | 1996-02-23 | 1997-09-05 | Tsushin Hoso Kiko | Image coder |
| JPH11146367A (en) * | 1997-11-06 | 1999-05-28 | Matsushita Electric Ind Co Ltd | Mobile video-phone |
| JP2002232888A (en) * | 2001-01-30 | 2002-08-16 | Ntt Docomo Inc | Video signal encoding method, its device, its program and its recording medium |
| JP2015510325A (en) * | 2012-01-19 | 2015-04-02 | ヴィド スケール インコーポレイテッド | Method and system for video distribution supporting adaptation to viewing conditions |
-
2015
- 2015-05-20 JP JP2015103165A patent/JP6616592B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233475A (en) * | 1996-02-23 | 1997-09-05 | Tsushin Hoso Kiko | Image coder |
| JPH11146367A (en) * | 1997-11-06 | 1999-05-28 | Matsushita Electric Ind Co Ltd | Mobile video-phone |
| JP2002232888A (en) * | 2001-01-30 | 2002-08-16 | Ntt Docomo Inc | Video signal encoding method, its device, its program and its recording medium |
| JP2015510325A (en) * | 2012-01-19 | 2015-04-02 | ヴィド スケール インコーポレイテッド | Method and system for video distribution supporting adaptation to viewing conditions |
Non-Patent Citations (2)
| Title |
|---|
| 笠井 裕之他: "注視点情報を用いた映像メディア符号化アーキテクチャの検討", 情報処理学会研究報告, vol. 90(1995-AVM-010), JPN6019010386, 14 September 1995 (1995-09-14), JP, pages 31 - 37, ISSN: 0004002542 * |
| 笠井 裕之他: "視力特性に基づいた画像情報構造化とその評価", 電子情報通信学会技術研究報告, vol. 96, no. 197, JPN6019010384, 25 July 1996 (1996-07-25), JP, pages 9 - 16, ISSN: 0004002543 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021526774A (en) * | 2018-06-28 | 2021-10-07 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Low latency video coding and transmission rate control |
| US11451788B2 (en) | 2018-06-28 | 2022-09-20 | Apple Inc. | Rate control for low latency video encoding and transmission |
| US11496758B2 (en) | 2018-06-28 | 2022-11-08 | Apple Inc. | Priority-based video encoding and transmission |
| JP7249364B2 (en) | 2018-06-28 | 2023-03-30 | アップル インコーポレイテッド | Rate control for low-latency video encoding and transmission |
| US11653026B2 (en) | 2018-06-28 | 2023-05-16 | Apple Inc. | Video encoding system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6616592B2 (en) | 2019-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9544616B2 (en) | Video transmission apparatus | |
| US11330262B2 (en) | Local image enhancing method and apparatus | |
| US11438591B2 (en) | Video coding method and apparatus | |
| KR101621358B1 (en) | Hevc encoding device and method for deciding intra prediction mode for the same | |
| US20200236361A1 (en) | Intra prediction mode based image processing method, and apparatus therefor | |
| JP5215951B2 (en) | Encoding apparatus, control method therefor, and computer program | |
| JP6636615B2 (en) | Motion vector field encoding method, decoding method, encoding device, and decoding device | |
| US11750822B2 (en) | Encoding device, decoding device, and program | |
| JP7283024B2 (en) | Image encoding method, decoding method, encoder and decoder | |
| JP6616592B2 (en) | Encoding device and program thereof | |
| US20200382777A1 (en) | Parallel bi-directional intra-coding of sub-partitions | |
| US20240121430A1 (en) | Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system | |
| JP6065613B2 (en) | Video encoding device | |
| JP5950605B2 (en) | Image processing system and image processing method | |
| US20190230374A1 (en) | Moving-image decoder, moving-image decoding method, moving-image encoder, moving-image encoding method, and computer readable recording medium | |
| KR20200047723A (en) | Video decoding method and apparatus using transform according to block size in video coding system | |
| JP2014007469A (en) | Image coding device and image coding method | |
| US10743011B2 (en) | Method and apparatus for accelerating inverse transform, and method and apparatus for decoding video stream | |
| US10341674B2 (en) | Method and device for distributing load according to characteristic of frame | |
| KR102396570B1 (en) | Method, device and computer program product for encoding a distorted image frame | |
| JP6694902B2 (en) | Video coding apparatus and video coding method | |
| JP2018107692A (en) | Moving image decoder, moving image decoding method, moving image encoder, moving image encoding method and computer readable recording medium | |
| KR20200004348A (en) | Method and apparatus for processing video signal through target region correction | |
| JP2013138502A (en) | Coding apparatus, control method of the same, and computer program | |
| JP7026064B2 (en) | Image decoder, image decoding method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6616592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |