JP2019129411A - Picture encoder, imaging apparatus, image coding method, and program - Google Patents

Picture encoder, imaging apparatus, image coding method, and program Download PDF

Info

Publication number
JP2019129411A
JP2019129411A JP2018009943A JP2018009943A JP2019129411A JP 2019129411 A JP2019129411 A JP 2019129411A JP 2018009943 A JP2018009943 A JP 2018009943A JP 2018009943 A JP2018009943 A JP 2018009943A JP 2019129411 A JP2019129411 A JP 2019129411A
Authority
JP
Japan
Prior art keywords
image
encoding
images
picture
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018009943A
Other languages
Japanese (ja)
Inventor
小林 幸史
Yukifumi Kobayashi
幸史 小林
竹田 英史
Hidefumi Takeda
英史 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018009943A priority Critical patent/JP2019129411A/en
Publication of JP2019129411A publication Critical patent/JP2019129411A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To provide a technique for restraining increase in the time required for encoding, when filtering the boundary region of the division regions of the picture.SOLUTION: A picture encoder for encoding multiple pictures included in a dynamic picture image according to a prescribed coding order includes division means for dividing a first image included in the dynamic picture image into multiple division regions, coding means for encoding the first image in units of division region, and encoding a second image included in the dynamic picture image by using motion compensation interframe prediction, decoding the encoded first image, and filter means for filtering the boundary region of the multiple division regions in the decoded first image. When the first image is located just before the second image in a prescribed coding order, and the first image is used as a reference image for motion compensation interframe prediction, the coding means excludes the boundary region of the multiple division regions in the first image from the search range of motion compensation interframe prediction.SELECTED DRAWING: Figure 7

Description

本発明は、画像符号化装置、撮像装置、画像符号化方法、及びプログラムに関する。   The present invention relates to an image coding apparatus, an imaging apparatus, an image coding method, and a program.

動画像の国際標準符号化規格である、HEVC(High Efficiency Video Coding)符号化方式が普及し始めている。HEVC符号化方式では、従来のH.264符号化方式に対してタイル分割という技術が新たに追加されている(非特許文献1参照)。これは、画面をタイルと呼ばれる複数の分割領域に分割し、タイルごとに順番に符号化動作を行うものである。例えば、画面を左右の2つのタイルに分割した場合、まず左のタイルの符号化動作を行った後に、右のタイルの符号化動作を行う。タイル分割を行わない通常の符号化動作では、1画面を左上からブロックごとにラスタ順に符号化を行うが、タイル分割の符号化動作ではタイルごとに順に符号化を行い、タイル内で左上からブロックごとにラスタ順で符号化を行う。従って、タイル分割を行わない場合と比べて、符号化順が異なることになる。   The HEVC (High Efficiency Video Coding) coding system, which is an international standard coding standard for moving images, has begun to spread. In the HEVC coding scheme, the conventional H. A technique called tile division is newly added to the H.264 encoding method (see Non-Patent Document 1). In this method, a screen is divided into a plurality of divided areas called tiles, and encoding operations are performed in order for each tile. For example, when the screen is divided into two tiles on the left and right, the encoding operation of the left tile is performed first, and then the encoding operation of the right tile is performed. In the normal encoding operation where tile division is not performed, encoding is performed in raster order for each block from the upper left corner of one screen, but in tile division encoding operation, encoding is performed sequentially for each tile, and blocks are arranged from the upper left corner in the tile. Encode in raster order for each Therefore, the coding order is different compared to the case where tile division is not performed.

HEVC符号化方式でも、H.264符号化方式と同様にデブロッキングフィルタという処理が行われる。これは、ブロック境界に対してブロックノイズを除去するフィルタ処理である。通常、タイル分割を行わない1画面でのラスタ順の符号化動作の場合、ブロックごとにデブロッキングフィルタの処理が行われる。デブロッキングフィルタは、上下のブロック境界、及び左右のブロック境界にフィルタがかけられる。そのため、エンコーダは通常、ブロック境界近辺のローカルデコード後の画素を、フィルタ処理用に内部に保持しておく。ラスタ順の処理の場合、左右境界のフィルタ用の画素についてはブロックごとに保持しておけばよい。上下境界のフィルタ用の画素については、上境界のフィルタ処理用の複数ラインの画素を保持しておけばよい。   Also in the HEVC coding method, H.1. A process called a deblocking filter is performed similarly to the H.264 encoding method. This is a filtering process for removing block noise on block boundaries. Usually, in the case of encoding operation in raster order on one screen without tile division, a deblocking filter process is performed for each block. The deblocking filter is filtered at upper and lower block boundaries and at left and right block boundaries. Therefore, the encoder normally holds pixels after local decoding near the block boundary for filtering. In the case of processing in raster order, pixels for filters at the left and right boundaries may be held for each block. With regard to the pixels for the filter of the upper and lower boundaries, it is sufficient to hold pixels of a plurality of lines for the filtering process of the upper boundary.

タイル分割処理の場合、符号化順が通常とは異なる。この場合、タイル内でのデブロッキングフィルタ処理は問題ないが、タイル境界のデブロッキングフィルタ処理が問題になる。図2に例を示す。まず、エンコーダは左のタイル201の符号化処理を行い、デブロッキングフィルタ処理も行う。次に、エンコーダは右のタイル202の符号化処理を行う。ここで、タイル分割を行わない場合と符号化順が異なるため、タイル分割境界203にデブロッキングフィルタ処理を行う際に、1つ前に符号化されたブロックには、タイル分割境界203のデブロッキングフィルタ処理用の画素が存在しない。そのため、タイル分割境界203に対するデブロッキングフィルタ処理を可能にするためには、タイル分割境界203のデブロッキングフィルタ処理用の画素を取得可能にする何らかの構成が必要である。   In the case of tile division processing, the encoding order is different from normal. In this case, there is no problem with the deblocking filter process in the tile, but the deblocking filter process at the tile boundary becomes a problem. An example is shown in FIG. First, the encoder performs an encoding process on the left tile 201 and also performs a deblocking filter process. Next, the encoder performs encoding processing of the right tile 202. Here, since the encoding order is different from the case where tile division is not performed, when the deblocking filter processing is performed on the tile division boundary 203, the block previously encoded is deblocked at the tile division boundary 203. There are no pixels for filtering. Therefore, in order to enable the deblocking filter process for the tile division boundary 203, some configuration is required that enables the pixels for the deblocking filter process on the tile division boundary 203 to be acquired.

特許文献1は、従来からデブロッキングフィルタ用に保持していた画素に加えて、左右のタイル分割境界(以下、「タイル境界」とも呼ぶ)近辺の画素を垂直方向の解像度分すべて保持しておく技術を開示している。特許文献1の技術によれば、タイル境界近辺の垂直方向の解像度分の画素を全て保持しておくため、大量のバッファが必要となる。   In Patent Document 1, in addition to the pixels conventionally held for the deblocking filter, all pixels in the vicinity of the left and right tile division boundaries (hereinafter also referred to as “tile boundaries”) are retained for the vertical resolution. It discloses technology. According to the technique of Patent Document 1, all the pixels corresponding to the resolution in the vertical direction in the vicinity of the tile boundary are held, so that a large amount of buffer is required.

或いは、1画面全体にタイル境界のデブロッキングフィルタ処理以外の符号化処理を全て行った後に、タイル境界に対してデブロッキングフィルタのみを行う構成が考えられる。即ち、エンコーダは、タイル境界のデブロッキングフィルタ処理以外の符号化処理を行い、1画面分のローカルデコード画像を一旦保存し、その後、タイル境界のデブロッキング処理を行うというように、2段階に分けて処理を行うことになる。この場合、タイル境界のデブロッキングフィルタ処理用に境界近辺の垂直方向の画素を保持しておく必要がないので、必要なバッファサイズを削減することができる。   Alternatively, a configuration may be considered in which only the deblocking filter is performed on tile boundaries after all encoding processing other than the deblocking filter processing on tile boundaries is performed on the entire screen. That is, the encoder performs encoding processing other than tile block deblocking filter processing, temporarily stores one screen's worth of locally decoded images, and then performs tile block deblocking processing. Processing will be performed. In this case, since it is not necessary to hold vertical pixels in the vicinity of the boundary for deblocking filtering of the tile boundary, the required buffer size can be reduced.

特開2017−50766号公報JP 2017-50766 A

H.265/HEVC教科書、大久保 榮[監修]、鈴木 輝彦、▲高▼村 誠之、中条 健[編]、2013年10月21日発行H. 265 / HEVC textbook, Satoshi Okubo [supervised], Teruhiko Suzuki, ▲ Takamura Mura, Ken Nakajo [edit], published on October 21, 2013

上述のように処理を2段階に分ける場合、処理時間が長くなる。処理時間を削減するために、2つの処理をピクチャ単位で並列に行うことが考えられる。即ち、タイル境界のデブロッキングフィルタ処理以外の符号化処理と、タイル境界のデブロッキングフィルタ処理とを、ピクチャ単位のパイプライン処理で行うことができればよい。しかしながら、直前に符号化を行ったローカルデコード画像を参照画像として用いて符号化を行うためには、タイル境界のデブロッキングフィルタ処理が完了するのを待つ必要がある。そのため、例えばPピクチャの直後のBピクチャの符号化時などには、このようなパイプライン処理を適用することができない。   When the processing is divided into two stages as described above, the processing time is long. In order to reduce the processing time, it is conceivable to perform two processes in parallel for each picture. That is, encoding processing other than tile block deblocking filtering and tile block deblocking filtering may be performed by pipeline processing in units of pictures. However, in order to perform encoding using the locally decoded image that has been encoded immediately before as a reference image, it is necessary to wait for tile boundary deblocking filter processing to be completed. Therefore, such pipeline processing cannot be applied, for example, when encoding a B picture immediately after a P picture.

本発明はこのような状況に鑑みてなされたものであり、分割領域単位で符号化される画像において分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制する技術を提供することを目的とする。   The present invention has been made in view of such a situation, and a technique for suppressing an increase in time required for encoding when filtering is performed on a boundary region of divided regions in an image encoded in units of divided regions. Intended to provide.

上記課題を解決するために、本発明は、動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、前記符号化された前記第1の画像を復号する復号手段と、前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、を備え、前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化手段は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外することを特徴とする画像符号化装置を提供する。   In order to solve the above problems, the present invention is an image coding apparatus that codes a plurality of images included in a moving image according to a predetermined coding order, and a plurality of first images included in the moving image A dividing unit that divides the first image into division regions, an encoding unit that encodes the first image in units of divided regions, and encodes a second image included in the moving image using motion compensation interframe prediction; Decoding means for decoding the encoded first image, and filter means for performing filtering on boundary regions of the plurality of divided regions in the decoded first image, Is located immediately before the second image in the predetermined encoding order, and the first image is used as a reference image for the motion compensation inter-frame prediction, the encoding means includes: In the first image To provide an image coding apparatus characterized by excluding the boundary region of the serial plurality of divided regions from the search range of the prediction between the motion compensated frame.

本発明によれば、分割領域単位で符号化される画像において分割領域の境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。   According to the present invention, it is possible to suppress an increase in time required for encoding when filtering is performed on a boundary region of divided regions in an image encoded in units of divided regions.

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。   Other features and advantages of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.

撮像装置100の構成を説明するブロック図。FIG. 2 is a block diagram illustrating the configuration of an imaging device 100. タイル分割を伴う符号化動作について説明する図。FIG. 7 is a diagram for describing an encoding operation involving tile division. 符号化対象画像の入力順、符号化順、及び参照関係を示す図。The figure which shows the input order of an encoding object image, an encoding order, and a reference relationship. 動きベクトル検出を行う探索範囲の制限を行わない場合の符号化動作について説明する図。FIG. 7 is a diagram for describing an encoding operation in the case where limitation of a search range for motion vector detection is not performed. 画像304(図4)が参照する参照画像の探索範囲を示す図。The figure which shows the search range of the reference image which the image 304 (FIG. 4) refers. 探索範囲の制限を行う場合の画像306、304、305、309(図4)の符号化動作について説明する図。The figure explaining the encoding operation | movement of the image 306,304,305,309 (FIG. 4) in the case of restrict | limiting a search range. 撮像装置100が実行する符号化処理のフローチャート。6 is a flowchart of encoding processing performed by the imaging device 100. 撮像装置800の構成を説明するブロック図。FIG. 10 is a block diagram for explaining the arrangement of an imaging apparatus 800. 撮像装置900の構成を説明するブロック図。FIG. 10 is a block diagram for explaining the arrangement of an imaging apparatus 900. 画像符号化部902(図9)の詳細について説明する図。The figure explaining the detail of the image coding part 902 (FIG. 9). 撮像装置900が実行する符号化処理のフローチャート。12 is a flowchart of encoding processing performed by the imaging device 900. 図11のフローチャートに従う符号化動作の例について説明する図。The figure explaining the example of the encoding operation | movement according to the flowchart of FIG. 撮像装置900が実行するエントロピー符号化処理のフローチャート。10 is a flowchart of an entropy coding process performed by the imaging device 900. 図13のフローチャートに従うエントロピー符号化動作の例について説明する図。FIG. 14 is a view for explaining an example of the entropy coding operation according to the flowchart of FIG. 13;

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。   Embodiments of the present invention will be described below with reference to the accompanying drawings. Throughout the attached drawings, elements given the same reference numerals represent the same or similar elements. The technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments. Moreover, not all combinations of features described in the embodiments are essential to the present invention. Moreover, it is possible to appropriately combine the features described in different embodiments.

[第1の実施形態]
図1は、第1の実施形態に係る画像符号化装置を含む撮像装置100の構成を説明するブロック図である。以下では、HEVC符号化方式により動画像の符号化を行う例について説明するが、本実施形態の符号化方式はHEVC符号化方式に限定されない。
First Embodiment
FIG. 1 is a block diagram for explaining the arrangement of an imaging apparatus 100 including the image coding apparatus according to the first embodiment. Although the example which encodes a moving image by a HEVC encoding system is demonstrated below, the encoding system of this embodiment is not limited to a HEVC encoding system.

最初に、タイル分割を行わない通常の符号化動作について説明する。被写体からの光束が、レンズ101を通して撮像部102に入力される。撮像部102は、入力された光束をデジタル画素データに変換し、現像処理部103へ出力する。   First, a normal encoding operation that does not perform tile division will be described. A light flux from a subject is input to the imaging unit 102 through the lens 101. The imaging unit 102 converts the input light flux into digital pixel data, and outputs the digital pixel data to the development processing unit 103.

現像処理部103は、デベイヤー処理、キズ補正、ノイズ除去、YCbCr形式への色変換などの各種画像処理を行う。画像処理後の、圧縮符号化を行うことができる形式になった画像が、これから符号化を行う対象である符号化対象画像として符号化フレームバッファ104に入力される。   The development processing unit 103 performs various types of image processing such as debayering processing, flaw correction, noise removal, and color conversion to the YCbCr format. After image processing, an image in a format that can be compressed and encoded is input to the encoding frame buffer 104 as an encoding target image to be encoded.

動き予測部105は、符号化フレームバッファ104に格納されている符号化対象画像と、参照フレームバッファ116に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。その際に、参照画像範囲設定部118が、動きベクトル検出を行う探索範囲の設定を行う。動き予測部105は、符号化対象画像と、検出された動きベクトル位置の予測画像との間で画素の差分をとり、差分画像を直交変換部106に出力する。また、動き予測部105は、ローカルデコード画像作成用に、予測画像を動き補償部113に出力する。   The motion prediction unit 105 performs block matching between the encoding target image stored in the encoding frame buffer 104 and the reference image stored in the reference frame buffer 116, and performs motion vector detection. At this time, the reference image range setting unit 118 sets a search range in which motion vector detection is performed. The motion prediction unit 105 takes a pixel difference between the encoding target image and the predicted image at the detected motion vector position, and outputs the difference image to the orthogonal transformation unit 106. Also, the motion prediction unit 105 outputs the predicted image to the motion compensation unit 113 for local decoded image creation.

直交変換部106は、差分画像に対して離散コサイン変換を行うことにより変換係数を生成し、量子化部107に出力する。   The orthogonal transform unit 106 generates a transform coefficient by performing discrete cosine transform on the difference image, and outputs the transform coefficient to the quantization unit 107.

量子化部107は、直交変換部106から送られてきた変換係数に対して、量子化制御部108が出力する量子化ステップ(量子化値)に従って量子化を行う。量子化された変換係数は、符号化ストリーム作成のために可変長符号化部109へ出力される。また、量子化された変換係数は、ローカルデコード画像を作成するために、逆量子化部111へ出力される。   The quantization unit 107 quantizes the transform coefficient sent from the orthogonal transform unit 106 in accordance with the quantization step (quantization value) output from the quantization control unit 108. The quantized transform coefficients are output to the variable-length coding unit 109 to generate a coded stream. Also, the quantized transform coefficients are output to the inverse quantization unit 111 in order to create a local decoded image.

可変長符号化部109は、量子化された変換係数に対してジグザグスキャン又はオルタネートスキャン等を行い、可変長符号化を行う。また、可変長符号化部109は、動きベクトル、量子化値、マクロブロック分割情報、適応オフセット処理用パラメータなどの符号化方式情報に対して可変長符号化を行う。可変長符号化部109は、符号化された変換係数に対して符号化された符号化方式情報を付加することにより、符号化ストリームを生成する。生成された符号化ストリームは、記録メディア110に保存される。また、可変長符号化部109は、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部108に出力する。   The variable-length coding unit 109 performs, for example, zigzag scan or alternate scan on the quantized transform coefficients to perform variable-length coding. The variable-length coding unit 109 performs variable-length coding on coding method information such as motion vectors, quantized values, macroblock division information, and adaptive offset processing parameters. The variable-length coding unit 109 generates a coded stream by adding coded coding method information to the coded transform coefficient. The generated encoded stream is stored in the recording medium 110. In addition, the variable length coding unit 109 calculates a generated code amount for each macroblock at the time of coding, and outputs it to the quantization control unit 108.

量子化制御部108は、可変長符号化部109から送られてくる発生符号量を用いて、目標符号量を達成するように量子化値を決定し、量子化部107に出力する。   The quantization control unit 108 determines the quantization value so as to achieve the target code amount using the generated code amount sent from the variable length coding unit 109, and outputs the quantization value to the quantization unit 107.

逆量子化部111は、量子化部107から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部112に出力される。   The inverse quantization unit 111 performs inverse quantization on the quantized transform coefficient sent from the quantization unit 107 to generate a transform coefficient for local decoding. The transform coefficients are output to the inverse orthogonal transform unit 112.

逆直交変換部112は、逆量子化部111から出力された変換係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。生成された差分画像は動き補償部113に出力される。   The inverse orthogonal transform unit 112 generates a difference image by performing inverse discrete cosine transform on the transform coefficient output from the inverse quantization unit 111. The generated difference image is output to the motion compensation unit 113.

動き補償部113は、動き予測部105から送られてきた動きベクトル位置の予測画像と、逆直交変換部112から送られてきた差分画像とを加算することにより、ローカルデコード用の画像データを生成する。生成された画像データは、デブロッキングフィルタ部114に出力される。   The motion compensation unit 113 generates the image data for local decoding by adding the motion vector position predicted image sent from the motion prediction unit 105 and the difference image sent from the inverse orthogonal transform unit 112. Do. The generated image data is output to the deblocking filter unit 114.

デブロッキングフィルタ部114は、動き補償部113から送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像データは、適応オフセット処理部115に出力される。   The deblocking filter unit 114 applies a deblocking filter to the image data sent from the motion compensation unit 113. The image data after the deblocking filter is output to the adaptive offset processing unit 115.

適応オフセット処理部115は、バンドオフセット処理、エッジオフセット処理、又は何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置、エッジ方向、オフセット値などを決定する。適応オフセット処理部115は、デブロッキングフィルタ後の画像データに対して適応オフセット処理を行い、適応オフセット処理後の画像をローカルデコード画像として参照フレームバッファ116に格納する。また、適応オフセット処理部115は、適応オフセット処理用のパラメータ(適応オフセット処理としてどの処理を選択したかの情報、バンド位置、エッジ方向、オフセット値など)を符号化ストリームに含めるために、可変長符号化部109に出力する。   The adaptive offset processing unit 115 selects one of band offset processing, edge offset processing, or no processing, and determines a band position, an edge direction, an offset value, and the like on which the adaptive offset processing is performed. The adaptive offset processing unit 115 performs adaptive offset processing on the image data after the deblocking filter, and stores the image after the adaptive offset processing in the reference frame buffer 116 as a local decoded image. In addition, the adaptive offset processing unit 115 has a variable length in order to include parameters for adaptive offset processing (information on which processing is selected as adaptive offset processing, band position, edge direction, offset value, etc.) in the encoded stream. Output to encoding section 109.

以上の処理により、符号化ストリーム及びローカルデコード画像が作成される。   Through the above processing, an encoded stream and a local decoded image are created.

次に、タイル分割を伴う符号化動作について説明する。ここでは、図2に示すように符号化対象画像を左右のタイル(分割領域)に2分割した場合について説明する。まず、左のタイル201について、上述した通常の符号化動作と同様に、タイル内でラスタ順に符号化動作が行われる。タイル201の符号化動作が完了したら、右のタイル202について同様に符号化動作が行われる。但し、タイル202の符号化動作の際に、タイル分割境界203には、デブロッキングフィルタ処理は行われない。   Next, an encoding operation involving tile division will be described. Here, a case will be described in which the encoding target image is divided into two left and right tiles (divided regions) as shown in FIG. First, for the left tile 201, the encoding operation is performed in raster order within the tile, similarly to the normal encoding operation described above. When the encoding operation of tile 201 is completed, the encoding operation is similarly performed on the right tile 202. However, the deblocking filter process is not performed on the tile division boundary 203 during the encoding operation of the tile 202.

なお、タイル201もタイル202も、タイル分割境界203の画素を含むマクロブロック(CTU)においては、適応オフセット処理を行わないものとする。これは、適応オフセット処理はデブロッキングフィルタ処理後の画素に対して行う必要があるためである。   Note that neither the tile 201 nor the tile 202 is subjected to adaptive offset processing in a macroblock (CTU) including pixels of the tile division boundary 203. This is because the adaptive offset process needs to be performed on the pixel after the deblocking filter process.

ピクチャ全体の符号化処理が完了し、参照フレームバッファ116にローカルデコード画像が格納された後に、タイル分割境界203のデブロッキングフィルタ処理が行われる。具体的には、タイル境界デブロッキングフィルタ部117は、タイル分割境界203のデブロッキングフィルタ処理に必要な画素を参照フレームバッファ116から読み出す。そして、タイル境界デブロッキングフィルタ部117は、タイル分割境界203のデブロッキングフィルタ処理を行い、デブロッキングフィルタ処理後の画素を参照フレームバッファ116の同じ場所に格納する。   After coding processing for the entire picture is completed and the local decoded image is stored in the reference frame buffer 116, deblocking filtering of the tile division boundary 203 is performed. Specifically, the tile boundary deblocking filter unit 117 reads, from the reference frame buffer 116, pixels necessary for the deblocking filter processing of the tile division boundary 203. Then, the tile boundary deblocking filter unit 117 performs the deblocking filter process on the tile division boundary 203 and stores the pixel after the deblocking filter process in the same location in the reference frame buffer 116.

図3は、符号化対象画像の入力順、符号化順、及び参照関係を示す図である。図3には、符号化対象画像として、順番に入力される画像301から画像310までが示されている。符号化は、これらの画像の順番を入れ替えて行われる。画像303が入力された後、最初にIピクチャとして画像303が符号化される。画像303はIピクチャなので、画面内のみで符号化が行われる。次に、Bピクチャとして画像301、302が符号化される。画像301、302の符号化は、動き補償フレーム間予測を用いて行われ、画像303のロ−カルデコード画像が参照画像として使用される。次に、Pピクチャとして画像306が符号化される。画像306の符号化は、動き補償フレーム間予測を用いて行われ、画像303のローカルデコード画像が参照画像として使用される。次に、Bピクチャとして画像304、305が符号化される。画像304、305の符号化は、動き補償フレーム間予測を用いて行われ、画像303、306のローカルデコード画像が参照画像として使用される。次に、Pピクチャとして画像309が符号化される。画像309の符号化は、動き補償フレーム間予測を用いて行われ、画像306のローカルデコード画像が参照画像として使用される。   FIG. 3 is a diagram illustrating the input order of the encoding target image, the encoding order, and the reference relationship. In FIG. 3, images 301 to 310, which are sequentially input, are shown as images to be encoded. Encoding is performed by changing the order of these images. After the image 303 is input, the image 303 is first encoded as an I picture. Since the image 303 is an I picture, encoding is performed only in the screen. Next, images 301 and 302 are encoded as B pictures. The images 301 and 302 are encoded using motion compensation inter-frame prediction, and a locally decoded image of the image 303 is used as a reference image. Next, the image 306 is encoded as a P picture. The image 306 is encoded using motion compensation inter-frame prediction, and a local decoded image of the image 303 is used as a reference image. Next, images 304 and 305 are encoded as B pictures. The images 304 and 305 are encoded using motion compensation inter-frame prediction, and the local decoded images of the images 303 and 306 are used as reference images. Next, the image 309 is encoded as a P picture. The image 309 is encoded using motion compensation inter-frame prediction, and the local decoded image of the image 306 is used as a reference image.

ここで、図4を参照して、動きベクトル検出を行う探索範囲の制限(詳細は後述)を行わない場合の符号化動作について説明する。図4には、画像306、304、305、309の符号化動作が、タイル境界のデブロッキングフィルタ処理以外の符号化処理(Enc処理)と、タイル境界のデブロッキングフィルタ処理(Deb処理)とに分けて示されている。   Here, with reference to FIG. 4, description will be given of an encoding operation when the search range for performing motion vector detection is not limited (details will be described later). In FIG. 4, the encoding operation of the images 306, 304, 305, and 309 includes encoding processing (Enc processing) other than deblocking filtering processing of tile boundaries and deblocking filtering processing (Deb processing) of tile boundaries. It is shown separately.

最初に、画像303のローカルデコード画像を参照して、画像306(Pピクチャ)のEnc処理401が行われる。その後、画像306のDeb処理402が行われる。次に、画像303、306のローカルデコード画像を参照して、画像304(Bピクチャ)のEnc処理403が行われる。その後、画像304のDeb処理404が行われる。Deb処理404と並行して、画像303、306のローカルデコード画像を参照して、画像305(Bピクチャ)のEnc処理405が行われる。その後、画像305のDeb処理406が行われる。Deb処理406と並行して、画像306のローカルデコード画像を参照して、画像309(Pピクチャ)のEnc処理407が行われる。その後、画像309のDeb処理408が行われる。   First, the Enc processing 401 of the image 306 (P picture) is performed with reference to the local decoded image of the image 303. Thereafter, Deb processing 402 of the image 306 is performed. Next, the Enc processing 403 of the image 304 (B picture) is performed with reference to the locally decoded images of the images 303 and 306. Thereafter, Deb processing 404 of the image 304 is performed. In parallel to the Deb processing 404, Enc processing 405 of the image 305 (B picture) is performed with reference to the locally decoded image of the images 303 and 306. Thereafter, Deb processing 406 of the image 305 is performed. In parallel with the Deb processing 406, Enc processing 407 of the image 309 (P picture) is performed with reference to the locally decoded image of the image 306. Thereafter, Deb processing 408 of the image 309 is performed.

このように、画像304のDeb処理404及び画像305のEnc処理405、並びに画像305のDeb処理406及び画像309のEnc処理407は、パイプライン処理として並列に行うことができる。しかし、画像304のEnc処理403は、直前に符号化が行われている画像303のローカルデコード画像を参照画像として用いるため、画像303のDeb処理402と並列に行うことができない。そのため、Enc処理403を実行するためには、Deb処理402が完了するのを待たなければならず、パイプラインで処理を行うことができない。   As described above, the Deb processing 404 of the image 304 and the Enc processing 405 of the image 305, and the Deb processing 406 of the image 305 and the Enc processing 407 of the image 309 can be performed in parallel as pipeline processing. However, the Enc processing 403 of the image 304 cannot be performed in parallel with the Deb processing 402 of the image 303 because the local decoded image of the image 303 that has been encoded immediately before is used as a reference image. Therefore, in order to execute the Enc process 403, it is necessary to wait for the completion of the Deb process 402, and the process can not be performed in the pipeline.

次に、図5及び図6を参照して、動きベクトル検出を行う探索範囲の制限を行う場合の符号化動作について説明する。画像304の符号化のように、直前に符号化された画像を参照画像として使用する符号化を行う場合、参照画像範囲設定部118は、動きベクトル検出を行う参照範囲(探索範囲)を通常よりも狭い範囲に設定する。   Next, with reference to FIG.5 and FIG.6, the encoding operation | movement in the case of restrict | limiting the search range which performs a motion vector detection is demonstrated. When encoding using the image encoded immediately before as a reference image, such as encoding of the image 304, the reference image range setting unit 118 sets a reference range (search range) for performing motion vector detection as usual. Also set a narrow range.

図5に、画像304が参照する参照画像の探索範囲を示す。画像304の符号化には、画像303、306のローカルデコード画像が参照画像として使用される。図5には、画像303のローカルデコード画像501、及び画像306のローカルデコード画像502が示されている。網掛けで示す探索範囲503は、ローカルデコード画像501の探索範囲である。ローカルデコード画像501は、画像304の直前に符号化された画像ではないため、探索範囲503は画像全体である。即ち、探索範囲の制限は行われず、探索範囲は通常の符号化動作の場合と同じである。ローカルデコード画像502のうち、領域504は、タイル境界のデブロッキングフィルタ処理部分である。ローカルデコード画像502から領域504を除いた部分である探索範囲505、506(網掛け部分)は、ローカルデコード画像502の探索範囲である。このように、直前に符号化が行われた画像が参照画像として使用される場合、参照画像範囲設定部118は、領域504(複数のタイルの境界領域)を探索範囲から除外する。従って、画像304の符号化時に領域504は参照されることがなく、タイル境界(領域504)のデブロッキングフィルタ処理を行う前にローカルデコード画像502を参照画像として用いることが可能になる。   FIG. 5 shows a reference image search range to which the image 304 refers. For encoding the image 304, the locally decoded image of the images 303, 306 is used as a reference image. FIG. 5 shows a local decoded image 501 of the image 303 and a local decoded image 502 of the image 306. A search range 503 indicated by shading is a search range of the local decoded image 501. Since the local decoded image 501 is not an image encoded immediately before the image 304, the search range 503 is the entire image. That is, the search range is not limited, and the search range is the same as in the normal coding operation. In the locally decoded image 502, an area 504 is a deblocking filtering portion of tile boundaries. Search ranges 505 and 506 (shaded portions) obtained by excluding the region 504 from the local decoded image 502 are search ranges of the local decoded image 502. Thus, when an image that has been encoded immediately before is used as a reference image, the reference image range setting unit 118 excludes the region 504 (boundary region of a plurality of tiles) from the search range. Therefore, the region 504 is not referred to when the image 304 is encoded, and the local decoded image 502 can be used as a reference image before performing the deblocking filtering process on the tile boundary (region 504).

図6を参照して、探索範囲の制限を行う場合の画像306、304、305、309の符号化動作について説明する。最初に、画像303のローカルデコード画像を参照して、画像306(Pピクチャ)のEnc処理601が行われる。その後、画像306のDeb処理602が行われる。Deb処理602と並行して、画像303、306のローカルデコード画像を参照して、画像304(Bピクチャ)のEnc処理603が行われる。その後、画像304のDeb処理604が行われる。Deb処理604と並行して、画像303、306のローカルデコード画像を参照して、画像305(Bピクチャ)のEnc処理605が行われる。その後、画像305のDeb処理606が行われる。Deb処理606と並行して、画像306のローカルデコード画像を参照して、画像309(Pピクチャ)のEnc処理607が行われる。その後、画像309のDeb処理608が行われる。   With reference to FIG. 6, the encoding operation of the images 306, 304, 305, and 309 when the search range is limited will be described. First, the Enc processing 601 of the image 306 (P picture) is performed with reference to the local decoded image of the image 303. Thereafter, Deb processing 602 of the image 306 is performed. In parallel to the Deb processing 602, Enc processing 603 of the image 304 (B picture) is performed with reference to the locally decoded images of the images 303 and 306. Thereafter, Deb processing 604 of the image 304 is performed. In parallel to the Deb processing 604, Enc processing 605 of the image 305 (B picture) is performed with reference to the locally decoded image of the images 303 and 306. Thereafter, Deb processing 606 of the image 305 is performed. In parallel with the Deb processing 606, the Enc processing 607 of the image 309 (P picture) is performed with reference to the local decoded image of the image 306. Thereafter, Deb processing 608 of the image 309 is performed.

図6の符号化動作は、探索範囲の制限を行わない場合(図4参照)と比較して、画像306のDeb処理602と画像304のEnc処理603が並列に実行される点が異なる。直前に符号化されたローカルデコード画像を参照画像として使用する場合においてもEnc処理とDeb処理を並列に行えるため、パイプライン処理を保ったまま符号化処理が行える。そのため、処理時間を削減することができる。   6 differs from the case where the search range is not limited (see FIG. 4) in that the Deb process 602 of the image 306 and the Enc process 603 of the image 304 are executed in parallel. Since Enc processing and Deb processing can be performed in parallel also when using a local decoded image encoded immediately before as a reference image, encoding processing can be performed while maintaining pipeline processing. Therefore, the processing time can be reduced.

図7は、撮像装置100が実行する符号化処理のフローチャートである。なお、ここでは符号化処理のうち主に探索範囲の制限に関係する処理について説明を行うものとし、その他の処理(例えば、符号化ストリーム作成処理など)については説明を省略する。また、本フローチャートの各ステップの処理を実行する機能は、任意のハードウェア又はソフトウェアにより実装可能である。例えば、ソフトウェアによる実装の場合、撮像装置100のCPUがROMに格納された制御プログラムをRAMに展開して実行することにより、これらの機能を実現することができる。   FIG. 7 is a flowchart of the encoding process executed by the imaging apparatus 100. Here, among the encoding processing, the processing mainly related to the limitation of the search range will be described, and the description of the other processing (for example, the encoded stream creation processing and the like) will be omitted. Also, the function of executing the processing of each step of this flowchart can be implemented by any hardware or software. For example, in the case of software implementation, these functions can be realized by the CPU of the imaging device 100 developing and executing a control program stored in the ROM in the RAM.

S701で、撮像装置100は、符号化対象画像を取得する。符号化対象画像の取得は、画像の入力順とは異なる所定の符号化順に従って行われる(図3参照)。   In S701, the imaging apparatus 100 acquires an encoding target image. Acquisition of the encoding target image is performed according to a predetermined encoding order different from the input order of the images (see FIG. 3).

S702で、撮像装置100は、符号化対象画像を複数のタイルに分割する。   In S702, the imaging apparatus 100 divides the encoding target image into a plurality of tiles.

S703で、撮像装置100は、符号化対象画像がIピクチャとして符号化される画像であるか否かを判定する。符号化対象画像がIピクチャとして符号化される画像である場合、処理はS704に進み、そうでない場合、処理はS705に進む。   In step S <b> 703, the imaging apparatus 100 determines whether the encoding target image is an image encoded as an I picture. If the encoding target image is an image to be encoded as an I picture, the process proceeds to S704, and if not, the process proceeds to S705.

S704で、撮像装置100は、符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理以外の符号化処理をタイル単位(分割領域単位)で実行する。即ち、撮像装置100は、各タイルのフレーム内符号化及び復号、及びタイル境界を除く領域に対するデブロッキングフィルタ処理を実行する。   In step S704, the imaging apparatus 100 performs encoding processing other than deblocking filtering processing of tile boundaries on the encoding target image in tile units (division area units). That is, the imaging apparatus 100 performs intra-frame encoding and decoding of each tile, and deblocking filter processing for a region excluding the tile boundary.

S703において符号化対象画像がIピクチャとして符号化される画像でないと判定された場合、符号化対象画像はPピクチャ又はBピクチャとして符号化される画像である。即ち、符号化対象画像に対して、以前に符号化された1以上の画像を参照画像として用いる動き補償フレーム間予測符号化が行われる。この1以上の参照画像に関して、S705で、撮像装置100は、直前に符号化された参照画像が存在するか否かを判定する。「直前に符号化された参照画像」とは、符号化順において現在の符号化対象画像の直前に位置する参照画像である。直前に符号化された参照画像が存在する場合、処理はS706に進み、そうでない場合、処理はS707に進む。   If it is determined in S703 that the encoding target image is not an image to be encoded as an I picture, the encoding target image is an image to be encoded as a P picture or a B picture. That is, motion compensation interframe predictive encoding is performed on the encoding target image using one or more previously encoded images as reference images. With respect to the one or more reference images, the imaging device 100 determines in step S705 whether or not there is a reference image encoded immediately before. The “reference image encoded immediately before” is a reference image located immediately before the current encoding target image in the encoding order. If there is a reference image encoded immediately before, the process proceeds to S706, otherwise the process proceeds to S707.

S706で、撮像装置100は、参照画像範囲設定部118を用いて、直前に符号化された参照画像について、動き補償フレーム間予測の探索範囲からタイル境界を除外する。   In S706, the imaging apparatus 100, using the reference image range setting unit 118, excludes tile boundaries from the search range of motion compensation interframe prediction for the reference image encoded immediately before.

S707で、撮像装置100は、符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理以外の符号化処理をタイル単位で実行する。即ち、撮像装置100は、各タイルの動き補償フレーム間予測符号化及び復号、及びタイル境界を除く領域に対するデブロッキングフィルタ処理を実行する。S706において探索範囲からタイル境界を除外する処理が行われた場合、S707の動き補償フレーム間予測符号化において、除外されたタイル境界の探索は行われない。   In step S <b> 707, the imaging apparatus 100 performs an encoding process other than the tile boundary deblocking filter process on the encoding target image in units of tiles. In other words, the imaging apparatus 100 performs motion compensation interframe predictive encoding and decoding of each tile, and deblocking filter processing on a region excluding the tile boundary. When the process of excluding the tile boundary from the search range is performed in S706, the search for the excluded tile boundary is not performed in the motion compensation interframe predictive coding of S707.

S708で、撮像装置100は、S704又はS707においてタイル境界のデブロッキングフィルタ処理以外の符号化処理が行われた符号化対象画像に対して、タイル境界のデブロッキングフィルタ処理を行う。なお、S708の処理は、次の符号化対象画像に対するS704又はS707の処理と並行して実行可能である。そのため、撮像装置100は、S708の処理の完了を待たずに、次のS709の処理を実行する。   In step S708, the imaging apparatus 100 performs tile boundary deblocking filter processing on the encoding target image that has been subjected to encoding processing other than the tile boundary deblocking filter processing in step S704 or S707. Note that the process of S708 can be executed in parallel with the process of S704 or S707 for the next encoding target image. Therefore, the imaging apparatus 100 executes the next process of S709 without waiting for the completion of the process of S708.

S709で、撮像装置100は、次の符号化対象画像が存在するか否かを判定する。次の符号化対象画像が存在する場合、処理はS702に戻り、そうでない場合、本フローチャートの符号化処理は終了する。次の符号化対象画像が現在の符号化対象画像を参照してPピクチャ又はBピクチャとして符号化される場合、現在の符号化対象画像に対するS708の処理が完了する前に、S707において現在の符号化対象画像が参照される可能性がある。この場合であっても、S705においてタイル境界が探索範囲から除外されるため、現在の符号化対象画像に対するS708の処理が完了する前に、S707において次の符号化対象画像に対する動き補償フレーム間予測符号化を行うことが可能である。   In step S709, the imaging apparatus 100 determines whether the next encoding target image exists. If the next encoding target image exists, the process returns to S702. Otherwise, the encoding process of this flowchart ends. When the next encoding target image is encoded as a P picture or a B picture with reference to the current encoding target image, the current encoding is performed in S707 before the processing of S708 for the current encoding target image is completed. There is a possibility that the conversion target image is referred to. Even in this case, since tile boundaries are excluded from the search range in S705, the motion-compensated inter-frame prediction for the next encoding target image is performed in S707 before the processing of S708 on the current encoding target image is completed. It is possible to perform encoding.

以上説明したように、第1の実施形態によれば、撮像装置100は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置100は、動き補償フレーム間予測を用いて符号化を行う。現在の符号化対象画像の動き補償フレーム間予測のために参照画像として使用される符号化対象画像が、符号化順において現在の符号化対象画像の直前に位置する場合がある。この場合、撮像装置100は、この直前の符号化対象画像におけるタイルの境界領域を、動き補償フレーム間予測の探索範囲から除外する。これにより、直前の符号化対象画像におけるタイルの境界領域に対するデブロッキングフィルタ処理が完了する前に、現在の符号化対象画像を符号化することが可能となる。従って、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。   As described above, according to the first embodiment, the imaging apparatus 100 encodes and decodes the encoding target image in units of tiles. In addition, for an encoding target image corresponding to a P picture or a B picture, the imaging apparatus 100 performs encoding using motion compensation interframe prediction. An encoding target image used as a reference image for motion compensation inter-frame prediction of the current encoding target image may be positioned immediately before the current encoding target image in the encoding order. In this case, the imaging device 100 excludes the tile boundary area in the immediately preceding encoding target image from the search range of the motion compensation interframe prediction. This makes it possible to encode the current image to be encoded before the deblocking filter process on tile boundary areas in the immediately preceding image to be encoded is completed. Therefore, when filtering processing is performed on tile boundary areas in an image to be encoded in tile units, it is possible to suppress an increase in time required for encoding.

[第2の実施形態]
第2の実施形態では、直前に符号化された画像を参照画像として使用せずに動き補償フレーム間予測符号化を行う構成について説明する。
Second Embodiment
In the second embodiment, a configuration will be described in which motion compensation interframe prediction coding is performed without using an image coded immediately before as a reference image.

図8は、第2の実施形態に係る画像符号化装置を含む撮像装置800の構成を説明するブロック図である。以下、主に第1の実施形態と異なる点について説明する。   FIG. 8 is a block diagram for explaining the arrangement of an imaging apparatus 800 including the image coding apparatus according to the second embodiment. The differences from the first embodiment will be mainly described below.

撮像装置800は、参照画像範囲設定部118(図1参照)の代わりに、参照画像選択部801を備える。参照画像選択部801は、ピクチャごとにどの画像を参照画像として用いるかを選択する。図3を参照して、通常の符号化時の参照関係を説明する。Pピクチャである画像306は、画像303のローカルデコード画像を参照する。Bピクチャである画像304、305は、前方参照として画像303のローカルデコード画像を参照し、後方参照として画像306のローカルデコード画像を参照する。このように、Bピクチャでは通常、前方参照と後方参照の2つの参照を行う。   The imaging apparatus 800 includes a reference image selection unit 801 instead of the reference image range setting unit 118 (see FIG. 1). The reference image selection unit 801 selects which image to use as a reference image for each picture. The reference relationship at the time of normal encoding will be described with reference to FIG. The image 306, which is a P picture, refers to the locally decoded image of the image 303. Images 304, 305, which are B pictures, refer to the locally decoded image of image 303 as a forward reference and to the locally decoded image of image 306 as a backward reference. As described above, in the B picture, two references, that is, a forward reference and a backward reference are usually performed.

ここで、画像304は、符号化順において画像306の次に位置する。第1の実施形態において図4を参照して説明したように、符号化順で直前に位置するローカルデコード画像を参照画像として用いる場合、Deb処理が終わるのを待たねばならず、パイプライン処理を行うことができない。そのため、符号化に要する時間が長くなる。   Here, the image 304 is located next to the image 306 in coding order. As described with reference to FIG. 4 in the first embodiment, when a local decoded image located immediately before in the encoding order is used as a reference image, it is necessary to wait for the Deb processing to end, and pipeline processing is performed. It can not be done. Therefore, the time required for encoding becomes long.

これを回避するために、本実施形態では、撮像装置800は、符号化順で直前に位置するローカルデコード画像は参照画像として用いないものとする。参照画像選択部801は、符号化順と通常の符号化動作時の参照関係とに基づき、現在の符号化対象画像の符号化に用いる参照画像を選択する。   In order to avoid this, in the present embodiment, the imaging apparatus 800 does not use the local decoded image located immediately before in the encoding order as a reference image. The reference image selection unit 801 selects a reference image to be used for encoding the current image to be encoded, based on the encoding order and the reference relationship at the time of normal encoding operation.

再び図3を参照して、参照画像選択の例を説明する。画像306は、符号化順で3ピクチャ前の画像303のローカルデコード画像を参照画像として用いる。画像304は、通常であれば画像303と画像306のローカルデコード画像を参照する。しかし、画像306は直前に符号化された画像である。そのため、参照画像選択部801は、4ピクチャ前に符号化された画像303のローカルデコード画像のみを参照画像として選択する。   With reference to FIG. 3 again, an example of reference image selection will be described. The image 306 uses a locally decoded image of the image 303 three pictures before in coding order as a reference image. The image 304 normally refers to the image 303 and the locally decoded image of the image 306. However, the image 306 is an image encoded immediately before. For this reason, the reference image selection unit 801 selects only a local decoded image of the image 303 encoded four pictures before as a reference image.

画像305は、通常の符号化動作と同様、5ピクチャ前に符号化された画像303のローカルデコード画像と、2ピクチャ前に符号化された画像306のローカルデコード画像を参照画像として用いる。   Similar to the normal encoding operation, the image 305 uses, as reference images, a local decoded image of the image 303 encoded five pictures before and a local decoded image of the image 306 encoded two pictures before.

画像304の符号化時に、符号化順において直前に位置する画像306を参照画像として使用しないことにより、画像306のDeb処理を待つことなく画像304の符号化を行うことができ、ピクチャパイプラインで処理を行うことができる。   When the image 304 is encoded, the image 306 positioned immediately before in the encoding order is not used as a reference image, so that the image 304 can be encoded without waiting for the Deb processing of the image 306. Processing can be performed.

以上説明したように、第2の実施形態によれば、撮像装置800は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置800は、動き補償フレーム間予測を用いて符号化を行う。この時、撮像装置800は、符号化順において現在の符号化対象画像の直前に位置する符号化対象画像を、動き補償フレーム間予測のための参照画像として使用しない。これにより、直前の符号化対象画像におけるタイルの境界領域に対するデブロッキングフィルタ処理が完了する前に、現在の符号化対象画像を符号化することが可能となる。従って、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。   As described above, according to the second embodiment, the imaging apparatus 800 encodes and decodes the encoding target image in units of tiles. In addition, the imaging apparatus 800 performs encoding using motion compensation inter-frame prediction for an encoding target image corresponding to a P picture or a B picture. At this time, the imaging apparatus 800 does not use the encoding target image located immediately before the current encoding target image in the encoding order as a reference image for motion compensation inter-frame prediction. This makes it possible to encode the current image to be encoded before the deblocking filter process on tile boundary areas in the immediately preceding image to be encoded is completed. Therefore, when filtering processing is performed on tile boundary areas in an image to be encoded in tile units, it is possible to suppress an increase in time required for encoding.

[第3の実施形態]
図9は、第3の実施形態に係る画像符号化装置を含む撮像装置900の構成を説明するブロック図である。撮像装置900は、撮像部909、画像処理部901、画像符号化部902、記録部903、メモリバス904、フレームメモリ905、CPU906、フラッシュメモリ907、及びCPUバス908を含む。
Third Embodiment
FIG. 9 is a block diagram for explaining the arrangement of an imaging apparatus 900 including the image coding apparatus according to the third embodiment. The imaging device 900 includes an imaging unit 909, an image processing unit 901, an image encoding unit 902, a recording unit 903, a memory bus 904, a frame memory 905, a CPU 906, a flash memory 907, and a CPU bus 908.

撮像部909は、レンズやCCD等のカメラ部及び光学部を含み、レンズから取り込んだ光信号をセンサにて電気信号へ変換する。撮像部909は、変換後の電気信号を、ベイヤー形式のデジタルRAW画像データとして、メモリバス904を介して、大容量DRAM等のフレームメモリ905に出力する。   The imaging unit 909 includes a camera unit and an optical unit such as a lens and a CCD, and converts an optical signal captured from the lens into an electrical signal by a sensor. The imaging unit 909 outputs the converted electrical signal as Bayer-format digital RAW image data to a frame memory 905 such as a large-capacity DRAM via the memory bus 904.

画像処理部901は、RAW画像に対してデベイヤー処理(デモザイク処理)を施し、
輝度と色差からなる信号に変換する。その後、画像処理部901は、各信号に含まれるノイズを除去し、光学的な歪を補正し、画像を適正化する等、所謂現像処理を行う。そして、画像処理部901は、現像後の画像データを圧縮符号化するため、再度フレームメモリ905へ出力する。
The image processing unit 901 performs debayering processing (demosaicing processing) on the RAW image,
Convert to a signal consisting of luminance and color difference. After that, the image processing unit 901 performs so-called development processing such as removing noise contained in each signal, correcting optical distortion, and optimizing an image. Then, the image processing unit 901 outputs the image data after development to the frame memory 905 again in order to compress and encode the image data.

画像符号化部902は、デジタル画像データをフレームメモリ905から読み出し、
動き補償フレーム間予測とエントロピー符号化による画像データの冗長性を利用した映像圧縮を行い、符号化ビットストリームを出力する。以下の説明において、画像符号化部902は、映像圧縮方式としてHEVC符号化方式を採用するものとするが、本実施形態の映像圧縮方式はHEVC符号化方式に限定されない。
The image encoding unit 902 reads digital image data from the frame memory 905,
Video compression is performed using redundancy of image data by motion compensation interframe prediction and entropy coding, and an encoded bit stream is output. In the following description, the image encoding unit 902 adopts the HEVC encoding method as the video compression method, but the video compression method of the present embodiment is not limited to the HEVC encoding method.

記録部903は、符号化ビットストリームを、MP4やMOV形式等の、各種PCアプリケーションで再生や編集互換性が保たれている所定のコンテナ形式に変換し、USBメモリ、SDカード、又はハードディスクなどの不揮発メモリ媒体に記録する。   The recording unit 903 converts the encoded bit stream into a predetermined container format such as MP4 or MOV format that is compatible with reproduction and editing in various PC applications, and is used for a USB memory, an SD card, a hard disk, or the like. Record on a non-volatile memory medium.

メモリバス904は、撮像部909、画像処理部901、画像符号化部902、及び記録部903と、フレームメモリ905との間を接続し、画像データ、符号化データ、各種パラメータデータを高速転送するためのデータバスである。バス転送方式は、ISA、PCI−Express、AXI等の標準的なバス規格でもよいし、独自のバス方式を採用してもよい。   The memory bus 904 connects the imaging unit 909, the image processing unit 901, the image encoding unit 902, the recording unit 903, and the frame memory 905, and transfers image data, encoded data, and various parameter data at high speed. Data bus for The bus transfer method may be a standard bus standard such as ISA, PCI-Express, or AXI, or may be a unique bus method.

フレームメモリ905は、画像符号化部902の符号化処理の過程で使用する原画像データや、フレーム間予測のための参照画像データ、符号化ビットストリーム等を格納する。   The frame memory 905 stores original image data used in the encoding process of the image encoding unit 902, reference image data for inter-frame prediction, an encoded bit stream, and the like.

CPU906は、撮像部909、画像処理部901、画像符号化部902、記録部903の起動や停止、割り込み通知などのハードウェア制御を、CPUバス908を介して行うコントローラである。   The CPU 906 is a controller that performs hardware control such as activation and stop of the imaging unit 909, the image processing unit 901, the image encoding unit 902, and the recording unit 903, and interrupt notification via the CPU bus 908.

フラッシュメモリ907は、CPU906を動かすプログラムを格納した不揮発性メモリである。CPU906は、フェッチ動作でフラッシュメモリ907へアクセスすることができる。   The flash memory 907 is a nonvolatile memory that stores a program for operating the CPU 906. The CPU 906 can access the flash memory 907 by a fetch operation.

CPUバス908は、CPU906と各ペリフェラルとを接続する制御用のバスである。CPUバス908は、メモリバス904と同様の標準化バス規格方式を採用してもよいし、十分な処理余裕があれば低速なI2C等のシリアル方式を採用してもよい。   The CPU bus 908 is a control bus that connects the CPU 906 and each peripheral. The CPU bus 908 may adopt a standardized bus standard method similar to the memory bus 904, or may adopt a low-speed serial method such as I2C if there is sufficient processing margin.

次に、図10を参照して、画像符号化部902の詳細について説明する。画像符号化部902は、イントラ予測部1000、インター予測部1001、イントラ・インター判定部1002、予測画像生成部1003、整数変換部1004、量子化部1005、エントロピー符号化部1006、及び符号量制御部1007を含む。画像符号化部902はまた、逆量子化部1008、逆整数変換部1009、ループフィルタ1010、ポストループフィルタ1011、減算器1012、及び加算器1013を含む。   Next, details of the image coding unit 902 will be described with reference to FIG. The image coding unit 902 includes an intra prediction unit 1000, an inter prediction unit 1001, an intra / inter determination unit 1002, a predicted image generation unit 1003, an integer conversion unit 1004, a quantization unit 1005, an entropy coding unit 1006, and a code amount control. And a unit 1007. The image coding unit 902 also includes an inverse quantization unit 1008, an inverse integer conversion unit 1009, a loop filter 1010, a post loop filter 1011, a subtractor 1012, and an adder 1013.

イントラ予測部1000は、フレームメモリ905に格納されたフレーム画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の参照画素データから生成される複数のイントラ予測画像との相関を計算する。そして、イントラ予測部1000は、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部1002へ通知する。   The intra prediction unit 1000 reads the image data of the encoding target block from the frame image data stored in the frame memory 905, and calculates correlations with a plurality of intra prediction images generated from the reference pixel data around the encoding target block. Do. Then, the intra prediction unit 1000 selects the intra prediction method with the highest correlation and notifies the intra / inter determination unit 1002 of the intra prediction method.

インター予測部1001は、フレームメモリ905に格納された符号化対象画像を受信すると共に、符号化済みの画像データを参照画像として受信する。そして、インター予測部1001は、ブロック単位で画素データ同士のパターンマッチングを行って動きベクトルを算出する。   The inter prediction unit 1001 receives the encoding target image stored in the frame memory 905, and receives encoded image data as a reference image. Then, the inter prediction unit 1001 performs pattern matching of pixel data on a block basis to calculate a motion vector.

イントラ・インター判定部1002は、前述のイントラ予測部1000と、インター予測部1001からの出力の結果に基づいて、符号化のための予測方式を選択する。具体的な選択方法としては、符号化対象画像ブロックについてイントラ予測部1000において計算した予測画像と、インター予測部1001で導出した動きベクトルを用いて参照画像から生成した予測画像とについて、符号化対象画像との予測誤差をそれぞれ導出して比較する。或いは、イントラ予測部1000や、インター予測部1001で予測誤差を求めておき、イントラ・インター判定部1002にて予測誤差を評価値として取得後、評価値を比較する方法でもよい。イントラ・インター判定部1002は、予測誤差の比較の結果、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部1003に出力する。   The intra / inter determination unit 1002 selects a prediction scheme for encoding based on the results of the output from the above-described intra prediction unit 1000 and inter prediction unit 1001. As a specific selection method, for the prediction image calculated by the intra prediction unit 1000 for the encoding target image block and the prediction image generated from the reference image using the motion vector derived by the inter prediction unit 1001, the encoding target The prediction errors with the image are respectively derived and compared. Alternatively, a method may be used in which a prediction error is obtained by the intra prediction unit 1000 or the inter prediction unit 1001, and after the prediction error is obtained as an evaluation value by the intra / inter determination unit 1002, the evaluation values are compared. As a result of comparison of prediction errors, the intra / inter determination unit 1002 determines the prediction mode with the smaller difference value as the coding prediction mode, and outputs this to the prediction image generation unit 1003.

予測画像生成部1003は、イントラ・インター判定部1002で選択された予測モードに応じて予測画像を生成する。生成された予測画像は、入力画像との差分画像算出のために減算器1012へ出力される。予測画像はまた、ローカルデコード画像生成のために加算器1013へも出力される。   The predicted image generation unit 1003 generates a predicted image according to the prediction mode selected by the intra / inter determination unit 1002. The generated predicted image is output to the subtractor 1012 for calculating a difference image with the input image. The predicted image is also output to the adder 1013 for local decoded image generation.

整数変換部1004は、ブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。   The integer conversion unit 1004 performs a spatial resolution conversion of the pixel data in units of blocks and converts it into a spatial frequency domain.

量子化部1005は、目標符号量に基づいて量子化係数を算出し、整数変換部1004で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化された係数データ(量子化データ)は、エントロピー符号化を行うためにエントロピー符号化部1006へ出力される。量子化された係数データはまた、参照画像や予測画像を算出するために逆量子化部1008へも出力される。   The quantization unit 1005 calculates a quantization coefficient based on the target code amount, and performs quantization processing on the coefficient data converted into the spatial frequency domain by the integer conversion unit 1004. The quantized coefficient data (quantized data) is output to the entropy encoding unit 1006 for entropy encoding. The quantized coefficient data is also output to the inverse quantization unit 1008 to calculate a reference image or a predicted image.

エントロピー符号化部1006は、量子化部1005にて量子化された係数データに対して、CABAC(コンテキスト適応算術符号化)方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行う。また、インター予測の場合には、エントロピー符号化部1006は、動き予測で用いたベクトル値に対してもエントロピー符号化を行う。エントロピー符号化部1006は、符号化データに対して、復号処理のために必要なパラメータ(SPSやPPS等のヘッダ情報)を付加し、所定のデータフォーマットに整形してフレームメモリ905に出力する。出力データはフレームメモリ905に格納され、上述の記録部903にて所定のコンテナ形式に変換された後に、ファイルとして記録媒体に保存される。   The entropy coding unit 1006 compresses information by entropy coding using coefficient generation probability of bit data such as CABAC (context adaptive arithmetic coding) method for coefficient data quantized by the quantization unit 1005. I do. In the case of inter prediction, the entropy encoding unit 1006 also performs entropy encoding on the vector value used in motion prediction. The entropy encoding unit 1006 adds parameters (header information such as SPS and PPS) necessary for the decoding process to the encoded data, shapes the encoded data into a predetermined data format, and outputs the data to the frame memory 905. The output data is stored in the frame memory 905, converted into a predetermined container format by the recording unit 903, and then saved as a file on a recording medium.

符号量制御部1007は、エントロピー符号化部1006から出力された符号化データの符号量を取得し、ビットレートやバッファモデルに基づいて1ピクチャ当たりの目標符号量を算出する。そして、符号量制御部1007は、算出された目標符号量を量子化部1005に設定するフィードバック制御を行う。   The code amount control unit 1007 acquires the code amount of the encoded data output from the entropy encoding unit 1006, and calculates the target code amount per picture based on the bit rate and the buffer model. Then, the code amount control unit 1007 performs feedback control to set the calculated target code amount in the quantization unit 1005.

逆量子化部1008は、量子化部1005にて量子化された係数データに対して、再度量子化係数を乗じて係数データを計算する。   The inverse quantization unit 1008 calculates coefficient data by multiplying the coefficient data quantized by the quantization unit 1005 by the quantization coefficient again.

逆整数変換部1009は、逆量子化部1008から出力された係数データを逆整数変換することにより画像データを生成する。   The inverse integer transform unit 1009 generates image data by performing inverse integer transform on the coefficient data output from the inverse quantization unit 1008.

ループフィルタ1010は、逆整数変換部1009から出力された画像データと予測画像とを加算した画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理(例えばデブロッキングフィルタ処理)を施す。ループフィルタ1010は、フィルタ処理された画像データを、フレームメモリ905へローカルデコード画像として出力する。なお、符号化対象画像がHEVC規格で定められる水平方向にタイル分割して符号化される場合、タイル境界を跨ぐフィルタ処理を行う必要がある画素については、ループフィルタ1010はフィルタ処理をスキップする。   The loop filter 1010 performs a filter process (for example, a deblocking filter process) that reduces coding distortion generated at the block boundary on the image data obtained by adding the image data output from the inverse integer transform unit 1009 and the predicted image. Apply. The loop filter 1010 outputs the filtered image data to the frame memory 905 as a locally decoded image. When the image to be encoded is tile-divided and encoded in the horizontal direction defined by the HEVC standard, the loop filter 1010 skips the filter processing for pixels that need to be filtered across tile boundaries.

ポストループフィルタ1011は、タイル単位での符号化処理とは独立して動作する。ポストループフィルタ1011は、フレームメモリ905上に格納された1画面分のローカルデコード画像について、ループフィルタ1010でフィルタ処理をスキップしたタイル境界部(分割領域の境界領域)の画素データを再度読み出し、フィルタ処理を行う。   The post-loop filter 1011 operates independently of the tile-by-tile encoding process. The post-loop filter 1011 reads again the pixel data of the tile boundary (the boundary area of the divided area) in which the filter processing is skipped by the loop filter 1010 with respect to the local decoded image for one screen stored in the frame memory 905 Do the processing.

なお、上述のエントロピー符号化部1006及び符号量制御部1007は、通常1画面分のピクチャ単位で制御を行い、その他の処理ブロックは、所定の矩形画素ブロック単位で制御を行うものとする。特に、HEVC方式においては、量子化はCU(Coding Unit)、動きベクトル探索はPU(Prediction Unit)、整数変換はTU(Transform Unit)の単位で行われる。   Note that the entropy encoding unit 1006 and the code amount control unit 1007 described above normally perform control in units of pictures for one screen, and the other processing blocks are controlled in units of predetermined rectangular pixel blocks. In particular, in the HEVC scheme, quantization is performed in units of CU (Coding Unit), motion vector search is performed in PU (Prediction Unit), and integer conversion is performed in units of TU (Transform Unit).

図11は、撮像装置900が実行する符号化処理のフローチャートである。なお、ここでは符号化処理のうち主に符号化順の制御に関係する処理について説明を行うものとし、その他の処理(例えば、符号化ストリーム作成処理など)については説明を省略する。撮像装置900が、タッチパネルやボタン等のインタフェース(不図示)からのユーザ操作をトリガとして動画記録状態になると、1フレーム期間毎に本フローチャートの処理が実行される。   FIG. 11 is a flowchart of the encoding process executed by the imaging apparatus 900. Here, among the encoding processing, processing mainly related to control of the encoding order will be described, and description of the other processing (for example, encoding stream creation processing and the like) will be omitted. When the imaging apparatus 900 enters a moving image recording state triggered by a user operation from an interface (not shown) such as a touch panel or a button, the processing of this flowchart is executed every frame period.

最初に、S1101で、画像符号化部902は、撮像装置900が動画を記録中であるか否かを判定する。動画を記録中の場合、図10を参照して説明した1画面分の符号化処理が開始し、本フローチャートの処理はS1102に進む。動画を記録中でない場合、画像符号化部902は、ユーザ操作により動画記録の停止指示がなされたものと判断し、本フローチャートの処理を終了する。   First, in S1101, the image encoding unit 902 determines whether or not the imaging apparatus 900 is recording a moving image. When a moving image is being recorded, the encoding process for one screen described with reference to FIG. 10 starts, and the process of this flowchart proceeds to S1102. If a moving image is not being recorded, the image encoding unit 902 determines that a moving image recording stop instruction has been issued by a user operation, and ends the processing of this flowchart.

S1102で、画像符号化部902は、符号化対象画像のピクチャタイプが、参照ピクチャとして使われるIピクチャ又はPピクチャであるか否かを判定する。符号化対象画像がIピクチャ又はPピクチャの場合、処理はS1103に進み、そうでない場合(即ち、符号化対象画像が参照ピクチャとして使用されないBピクチャの場合)、処理はS1106に進む。   In step S1102, the image encoding unit 902 determines whether the picture type of the image to be encoded is an I picture or a P picture used as a reference picture. If the encoding target image is an I picture or a P picture, the processing proceeds to step S1103. If not (ie, if the encoding target image is a B picture not used as a reference picture), the processing proceeds to step S1106.

S1103で、画像符号化部902は、符号化対象画像についてタイルによる画面分割を行い、タイル単位で1フレーム期間内に1画面分の画像符号化を実行する。   In step S1103, the image encoding unit 902 performs screen division using tiles on the encoding target image, and executes image encoding for one screen in one frame period in units of tiles.

S1104で、画像符号化部902は、全タイル、即ち1ピクチャ全体の符号化が完了したか否かを判定する。この判定は、タイル単位の符号化処理が完了したタイミングで実行される。なお、タイル単位の符号化完了を検出する方法については特に限定されないが、例えばポーリングにより動作状態を繰り返し問い合わせる方式や、割り込み通知による方式などを利用可能である。全タイルの符号化が完了した場合、処理はS1105に進み、そうでない場合、処理はS1103に戻る。   In step S1104, the image encoding unit 902 determines whether encoding of all tiles, that is, one entire picture has been completed. This determination is performed at the timing when the encoding process in units of tiles is completed. The method for detecting the tile-by-tile encoding completion is not particularly limited. For example, a method of repeatedly inquiring the operation state by polling, a method of interrupt notification, or the like can be used. If all the tiles have been encoded, the process proceeds to S1105; otherwise, the process returns to S1103.

S1105で、画像符号化部902は、ポストループフィルタ1011により、符号化対象画像のローカルデコード画像のタイル境界に対してフィルタ処理(以下、「ポストLF処理」とも呼ぶ)を施す。ポストループフィルタ1011は、画像符号化部902内のその他のブロックとは独立して動作する。そのため、画像符号化部902は、ポストLF処理の完了を待たずに、処理をS1101に戻して後続ピクチャの符号化を実行することができる。   In step S <b> 1105, the image encoding unit 902 performs filter processing (hereinafter also referred to as “post LF processing”) on the tile boundary of the local decoded image of the encoding target image using the post-loop filter 1011. The post-loop filter 1011 operates independently of the other blocks in the image encoding unit 902. Therefore, the image encoding unit 902 can return the processing to S1101 and execute encoding of the subsequent picture without waiting for completion of the post-LF processing.

S1106で、画像符号化部902は、前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用されるか否かをする。前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用される場合、処理はS1107に進み、そうでない場合、処理はS1108に進む。   In step S1106, the image encoding unit 902 determines whether or not the previously encoded I or P picture is used as a reference image of the current encoding target B picture. If the previously encoded I or P picture is used as a reference image for the current encoding target B picture, the process proceeds to S1107; otherwise, the process proceeds to S1108.

前回符号化したI又はPピクチャが現在の符号化対象Bピクチャの参照画像として使用される場合、参照画像のタイル境界に対するポストLF処理がまだ完了していない可能性がある。そのため、このタイミングで現在の符号化対象Bピクチャを符号化すると、タイル境界にフィルタのかかっていないローカルデコード画像を参照してしまうことになる。そこで、S1107で、画像符号化部902は、入力順において後続するI又はPピクチャ(前回符号化したI又はPピクチャの次に撮影されたI又はPピクチャ)を先に符号化するように符号化順序を並べ替える。これにより、参照画像として使用されるピクチャに対するポストLF処理が完了した後にBピクチャの符号化を開始することが可能となる。なお、符号化順序の並べ替えを可能とするため、フレームメモリ905には、並べ替えによる処理遅延を許容する十分な容量のバッファが備わっているものとする。   When the previously encoded I or P picture is used as a reference image of the current encoding target B picture, there is a possibility that the post LF processing for the tile boundary of the reference image has not yet been completed. Therefore, if the current encoding target B picture is encoded at this timing, the tile boundary will be referred to the locally decoded image which is not filtered. Therefore, in step S1107, the image encoding unit 902 is configured to encode the I or P picture (the I or P picture captured next to the I or P picture encoded last time) subsequent in the input order first. Sort the order of transformation. This makes it possible to start coding of the B picture after the post LF processing on the picture used as the reference image is completed. In order to enable rearrangement of the encoding order, the frame memory 905 is provided with a buffer having a sufficient capacity that allows a processing delay due to rearrangement.

上記の並び替えにより符号化順序が遅くなったBピクチャについて再びS1106の判定が行われる場合、前回符号化したI又はPピクチャは現在の符号化対象Bピクチャの参照画像として使用されない。そのため、処理はS1108に進む。この場合、参照画像として使用されるI又はPピクチャのポストLF処理は既に完了していると考えられる。そこで、S1108で、画像符号化部902は、Bピクチャの符号化を行う。   When the determination in S1106 is performed again for the B picture whose coding order is delayed due to the above rearrangement, the previously coded I or P picture is not used as a reference image of the current B object picture to be coded. Therefore, the process proceeds to S1108. In this case, post LF processing of an I or P picture used as a reference image is considered to be already completed. Therefore, in step S1108, the image encoding unit 902 encodes a B picture.

次に、図12を参照して、図11のフローチャートに従う符号化動作の例について説明する。ここでは、Bピクチャが前後に撮影されたIピクチャ又はPピクチャを参照するケースについて説明する。図12には、符号化対象画像の入力順(撮像部909により取得され画像処理部901により現像されフレームメモリ905に入力された順序)、及び符号化順(ポストLF処理以外の画像符号化部902の符号化処理の順序)が示されている。また、ポストLF処理の実行順序も示されている。また、図12には、ピクチャタイプが示されると共に、各ピクチャの入力順がピクチャタイプの添え字として示されている。更に、Bピクチャについては参照先となるピクチャを矢印で関連付けしている。図12の例では、左右2分割のタイル分割を伴う符号化が行われるものとするが、タイル分割の構成はこれに限定されない。   Next, an example of the encoding operation according to the flowchart of FIG. 11 will be described with reference to FIG. Here, a case will be described where a B picture refers to an I picture or a P picture captured before and after. 12 shows the input order of the encoding target images (the order acquired by the imaging unit 909, developed by the image processing unit 901, and input to the frame memory 905), and the encoding order (image encoding units other than post-LF processing). The order of the encoding process 902) is shown. In addition, the execution order of post LF processing is also shown. FIG. 12 shows the picture type and the input order of each picture as a subscript of the picture type. Further, with regard to the B picture, the pictures to be referred to are associated by the arrows. In the example of FIG. 12, it is assumed that encoding with tile division of right and left is performed, but the configuration of tile division is not limited to this.

撮像装置900は、入力、符号化、及びポストLF処理のいずれの処理についても、例えば30Hzや60Hz等の所定のフレーム期間内に完了するようなハードウェア性能を有するものとする。   The imaging apparatus 900 has hardware performance such that it is completed within a predetermined frame period, such as 30 Hz or 60 Hz, for any of input, encoding, and post-LF processing.

図11のフローチャートに従ってI0ピクチャ及びP3ピクチャの符号化が完了した後、従来方式であればB1ピクチャの符号化が開始してしまう。しかしながら、本実施形態では、B1ピクチャの前にP6ピクチャが符号化される。換言すると、B1ピクチャを符号化する前に、I及びPピクチャのうち、B1ピクチャの符号化時に参照画像として使用される全ての画像(I0ピクチャ及びP3ピクチャ)と、その次に撮影された画像(P6ピクチャ)とが符号化される。従って、B1ピクチャが符号化されるタイミングでは、B1ピクチャにより参照されるP3ピクチャのポストLF処理が完了している。これにより、B1ピクチャを符号化する際に、タイル境界へのフィルタ処理が完了したI0ピクチャ及びP3ピクチャを参照することができるようになる。B2ピクチャ以降のBピクチャについても同様の効果を得ることができる。また、P6ピクチャ以降は全てのフレーム期間において符号化を行うことができるので、符号化に要する時間の増加を抑制することができる。   After the encoding of the I0 picture and the P3 picture is completed according to the flowchart of FIG. 11, the encoding of the B1 picture starts with the conventional method. However, in the present embodiment, the P6 picture is encoded before the B1 picture. In other words, before coding the B1 picture, all the pictures (I0 picture and P3 picture) used as a reference picture at the time of coding the B1 picture among the I and P pictures, and the picture photographed next (P6 picture) is encoded. Therefore, at the timing when the B1 picture is encoded, the post LF processing of the P3 picture referred to by the B1 picture is completed. As a result, when the B1 picture is encoded, it is possible to refer to the I0 picture and the P3 picture that have been subjected to the filtering process on the tile boundary. The same effect can be obtained for B pictures after B2 picture. In addition, since encoding can be performed in all frame periods after the P6 picture, an increase in time required for encoding can be suppressed.

以上説明したように、第3の実施形態によれば、撮像装置900は、符号化対象画像をタイル単位で符号化して復号する。また、Pピクチャ又はBピクチャに対応する符号化対象画像については、撮像装置900は、動き補償フレーム間予測を用いて符号化を行う。撮像装置900は、Bピクチャを符号化する前に、このBピクチャの符号化時に参照画像として使用される全てのI又はPピクチャと、その次に撮影されたI又はPピクチャとを符号化する。これにより、タイル単位で符号化される画像においてタイルの境界領域にフィルタ処理を行う場合に、符号化に要する時間の増加を抑制することが可能となる。   As described above, according to the third embodiment, the imaging apparatus 900 encodes and decodes the encoding target image in tile units. In addition, for an image to be encoded corresponding to a P picture or a B picture, the imaging device 900 performs encoding using motion compensated inter-frame prediction. Prior to encoding the B picture, the imaging apparatus 900 encodes all I or P pictures used as reference images at the time of encoding the B picture and the next captured I or P picture. . This makes it possible to suppress an increase in time required for encoding when filtering processing is performed on tile border areas in an image encoded in tile units.

[第4の実施形態]
第3の実施形態では、符号化順の制御について説明した。第4の実施形態では、エントロピー符号化部1006が実行するエントロピー符号化の順序を制御する構成について説明する。第4の実施形態において、撮像装置900の基本的な構成は第3の実施形態と同様である(図9及び図10参照)。以下、主に第3の実施形態と異なる点について説明する。
Fourth Embodiment
In the third embodiment, control of the encoding order has been described. In the fourth embodiment, a configuration for controlling the order of entropy encoding performed by the entropy encoding unit 1006 will be described. In the fourth embodiment, the basic configuration of the imaging apparatus 900 is the same as that of the third embodiment (see FIGS. 9 and 10). The differences from the third embodiment will mainly be described below.

図13は、撮像装置900が実行するエントロピー符号化処理のフローチャートである。本フローチャートの処理は、図11のフローチャートに従う符号化処理と並行して実行される。また、本フローチャートの処理は、フレーム周期毎に起動するものとするが、起動タイミングは特に限定されない。例えば、1フレーム単位の画像符号化処理の終了タイミングや、ポストLF処理の終了タイミング等を割り込み通知によってCPU906が検知し、完了割り込みをトリガとして本フローチャートの処理を起動してもよい。   FIG. 13 is a flowchart of the entropy coding process performed by the imaging apparatus 900. The process of this flowchart is executed in parallel with the encoding process according to the flowchart of FIG. Moreover, although the process of this flowchart shall be started for every frame period, a starting timing in particular is not limited. For example, the CPU 906 may detect the end timing of image encoding processing in units of one frame, the end timing of post-LF processing, and the like by an interrupt notification, and the processing of this flowchart may be started using a completion interrupt as a trigger.

S1301は、エントロピー符号化部1006は、まだエントロピー符号化を行っていない未処理の量子化データがフレームメモリ905に残っているか否かを判定する。未処理の量子化データがフレームメモリ905に残っている場合、処理はS1302に進む。未処理の量子化データがフレームメモリ905に残っていない場合、本フローチャートの処理は終了し、次のフレーム周期タイミングで再度起動される。   In step S1301, the entropy coding unit 1006 determines whether or not unprocessed quantized data not yet subjected to entropy coding remains in the frame memory 905. If unprocessed quantized data remains in the frame memory 905, the process proceeds to S1302. If unprocessed quantized data does not remain in the frame memory 905, the processing of this flowchart ends, and is activated again at the next frame cycle timing.

S1302で、エントロピー符号化部1006は、処理待ちの最初にある量子化データ(現在の量子化データ)のピクチャタイプがIピクチャ又はPピクチャであるか否かを判定する。ピクチャタイプがIピクチャ又はPピクチャである場合、処理はS1303に進み、そうでない場合、処理はS1307に進む。   In step S1302, the entropy encoding unit 1006 determines whether the picture type of the first quantized data (current quantized data) waiting for processing is an I picture or a P picture. If the picture type is I picture or P picture, the process proceeds to S1303; otherwise, the process proceeds to S1307.

S1303で、エントロピー符号化部1006は、既に参照枚数分のピクチャの量子化データをエントロピー符号化済みであるか否かを判定する。例えば、M=3構造と呼ばれるGOP構造の場合は、Bピクチャは前後1枚ずつの計2枚を参照するケースが一般的である。この場合、S1303で、エントロピー符号化部1006は、2ピクチャのI又はPピクチャのエントロピー符号化を完了しているかどうかをチェックする。この判定を行うために、エントロピー符号化部1006は、参照枚数が2であるという情報を保持すると共に、エントロピー符号化済みの参照ピクチャ数VeRefCntをカウントするカウント機構を持つ。そして、エントロピー符号化部1006は、カウンタ値VeRefCntが2となったか否かを判定する。参照枚数分のピクチャの量子化データをエントロピー符号化済みでない場合、処理はS1304に進み、参照枚数分のピクチャの量子化データをエントロピー符号化済みである場合、処理はS1306に進む。   In step S1303, the entropy coding unit 1006 determines whether entropy coding has already been performed on the quantization data of the reference number of pictures. For example, in the case of a GOP structure called M = 3 structure, a case where a B picture refers to a total of two pictures, one before and after, is common. In this case, in S1303, the entropy encoding unit 1006 checks whether or not the entropy encoding of the I or P picture of 2 pictures has been completed. In order to make this determination, the entropy coding unit 1006 has information that the reference number is 2, and has a counting mechanism that counts the number of reference pictures VeRefCnt that have been entropy coded. Then, the entropy coding unit 1006 determines whether the counter value VeRefCnt has become 2 or not. If the quantization data of the reference number of pictures has not been entropy coded, the process proceeds to S1304, and if the quantization data of the reference number of pictures has been entropy coded, the process proceeds to S1306.

S1304で、エントロピー符号化部1006は、現在の量子化データをフレームメモリ905から読み出してエントリピー符号化を行い、ビットストリームとして出力する。   In step S1304, the entropy coding unit 1006 reads out the current quantized data from the frame memory 905, performs entry-piece coding, and outputs it as a bit stream.

S1305で、エントロピー符号化部1006は、カウンタ値VeRefCntをインクリメントする。その後、処理はS1301に戻る。   In S1305, the entropy coding unit 1006 increments the counter value VeRefCnt. Thereafter, the process returns to S1301.

S1306で、エントロピー符号化部1006は、後続のBピクチャを先にエントロピー符号化するために、現在の量子化データを、エントロピー符号化の順序を管理するキューの後ろに並べ替える。   In S1306, the entropy coding unit 1006 rearranges the current quantization data behind a queue that manages the order of entropy coding, in order to entropy code the subsequent B pictures first.

S1307で、エントロピー符号化部1006は、現在の量子化データ(この場合、Bピクチャに対応する)をエントロピー符号化し、ビットストリームとして出力する。ここで、S1307とS1304とは、処理対象となる量子化データのピクチャタイプが異なるだけで、同じ処理内容である。   In S1307, the entropy encoding unit 1006 entropy-encodes the current quantized data (in this case, corresponding to a B picture), and outputs it as a bit stream. Here, S1307 and S1304 have the same processing contents except for the picture type of the quantized data to be processed.

S1308で、エントロピー符号化部1006は、Bピクチャのエントロピー符号化が、2つのI又はPピクチャの間に連続するBピクチャの枚数分行われたか否かを判定する。ここでは、2つのI又はPピクチャの間に、連続して2つのBピクチャが入るデータ構造を想定している。連続する2つのBピクチャのエントロピー符号化が完了した場合、処理はS1309に進み、そうでない場合、処理はS1301に戻る。   In step S1308, the entropy encoding unit 1006 determines whether entropy encoding of the B picture has been performed for the number of consecutive B pictures between two I or P pictures. Here, a data structure is assumed in which two B pictures are successively inserted between two I or P pictures. If the entropy coding of two consecutive B pictures is completed, the processing proceeds to S1309, and if not, the processing returns to S1301.

S1309で、エントロピー符号化部1006は、カウンタ値VeRefCntをデクリメントする。なぜなら、この場合、次のBピクチャが参照する2枚のピクチャのうち、前方にあるピクチャについてはエントロピー符号化が行われていないからである。   In S1309, the entropy coding unit 1006 decrements the counter value VeRefCnt. This is because in this case, the entropy coding is not performed on the forward picture among the two pictures referred to by the next B picture.

次に、図14を参照して、図13のフローチャートに従うエントロピー符号化動作の例について説明する。図14には、図12と同様、符号化対象画像の入力順、符号化順、及びポストLF処理の実行順序が示されている。これらの順序は、図12と同じである。これに加えて、図14には、エントロピー符号化の順序が示されている。   Next, an example of the entropy coding operation according to the flowchart of FIG. 13 will be described with reference to FIG. FIG. 14 shows the input order of the encoding target image, the encoding order, and the execution order of the post LF processing, as in FIG. The order of these is the same as in FIG. In addition to this, FIG. 14 shows the order of entropy coding.

1つの画像の符号化(エントロピー符号化を除く)が完了すると、フレームメモリ905には、1ピクチャ分のローカルデコード画像の他に、量子化部1005が出力した量子化データが格納される。図13のフローチャートによれば、I0ピクチャ及びP3ピクチャの最初の2ピクチャが符号化されたタイミングではカウンタ値VeRefCntが2未満なので、I0ピクチャ及びP3ピクチャが連続してエントロピー符号化される。   When coding (except entropy coding) of one image is completed, the frame memory 905 stores the quantized data output from the quantization unit 1005 in addition to the locally decoded image for one picture. According to the flowchart of FIG. 13, since the counter value VeRefCnt is less than 2 at the timing at which the first two pictures of the I0 picture and the P3 picture are encoded, the I0 picture and the P3 picture are entropy-encoded in succession.

続いて、符号化順ではP6の符号化が完了するが、既に2ピクチャ分の参照ピクチャのエントロピー符号化が完了している。そのため、図13のS1306におけるエントロピー符号化の順序の並べ替えが行われ、P6ピクチャの量子化データのエントロピー符号化は後回しにされる。その結果、B1ピクチャ及びB2ピクチャについて、連続してエントロピー符号化が行われ、カウンタ値VeRefCntがデクリメントされ1になる。その後、P6ピクチャのエントロピー符号化が行われる。P9ピクチャ以降についても同様に順番の並べ替えが行われ、Bピクチャにより参照されないPピクチャは、そのBピクチャよりも後にエントロピー符号化される。   Subsequently, although encoding of P6 is completed in the encoding order, entropy encoding of reference pictures for two pictures has already been completed. Therefore, the order of the entropy coding in S1306 of FIG. 13 is rearranged, and the entropy coding of the quantized data of the P6 picture is postponed. As a result, the entropy coding is continuously performed for the B1 picture and the B2 picture, and the counter value VeRefCnt is decremented to one. Thereafter, entropy coding of the P6 picture is performed. The order rearrangement is similarly performed for the P9 picture and subsequent pictures, and the P picture not referenced by the B picture is entropy coded later than the B picture.

このように、エントロピー符号化の順序を並べ替えてストリーム出力の順序を入れ替えることによって、3ピクチャ分の参照ピクチャを復号してバッファし、その後にBピクチャを復号して煩雑な表示順並び替えを行う必要が少なくなる。その結果、出画遅延を短縮し、フレームメモリ905上のバッファを削減することができる。   In this way, by reordering the entropy coding order and reordering the stream output, three reference pictures of the reference picture are decoded and buffered, and then the B picture is decoded to perform troublesome display order reordering. Less need to be done. As a result, the output delay can be shortened, and the buffer on the frame memory 905 can be reduced.

以上説明したように、第4の実施形態によれば、撮像装置900は、Bピクチャの符号化時に参照画像として使用される全てのI又はPピクチャの次に撮影されたI又はPピクチャの前に、このBピクチャのエントロピー符号化を行う。これにより、出画遅延を短縮し、フレームメモリの必要量を削減することができる。   As described above, according to the fourth embodiment, the image capturing apparatus 900 uses the front of an I or P picture photographed next to all I or P pictures used as reference images when encoding a B picture. Then, entropy coding of this B picture is performed. As a result, the output delay can be shortened and the required amount of frame memory can be reduced.

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100…撮像装置、105…動き予測部、106…直交変換部、107…量子化部、114…デブロッキングフィルタ部、116…参照フレームバッファ、117…タイル境界デブロッキングフィルタ部   DESCRIPTION OF SYMBOLS 100 ... Imaging device, 105 ... Motion estimation part, 106 ... Orthogonal transformation part, 107 ... Quantization part, 114 ... Deblocking filter part, 116 ... Reference frame buffer, 117 ... Tile boundary deblocking filter part

Claims (14)

動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、
前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、
前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、
前記符号化された前記第1の画像を復号する復号手段と、
前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、
を備え、
前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化手段は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外する
ことを特徴とする画像符号化装置。
An image coding apparatus that codes a plurality of images included in a moving image according to a predetermined coding order,
A division unit configured to divide a first image included in the moving image into a plurality of divided areas;
Encoding means for encoding the first image in units of divided areas, and encoding a second image included in the moving image using motion compensated inter-frame prediction;
Decoding means for decoding the encoded first image;
Filter means for performing filter processing on boundary regions of the plurality of divided regions in the decoded first image;
With
If the first image is located immediately before the second image in the predetermined encoding order and the first image is used as a reference image for the motion compensated inter-frame prediction, the encoding An image coding apparatus, wherein the means excludes the boundary area of the plurality of divided areas in the first image from the search range of the motion compensation interframe prediction.
動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置であって、
前記動画像に含まれる第1の画像を複数の分割領域に分割する分割手段と、
前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化手段と、
前記符号化された前記第1の画像を復号する復号手段と、
前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、
を備え、
前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記符号化手段は、前記第1の画像を前記動き補償フレーム間予測のための参照画像として使用しない
ことを特徴とする画像符号化装置。
An image coding apparatus that codes a plurality of images included in a moving image according to a predetermined coding order,
A division unit configured to divide a first image included in the moving image into a plurality of divided areas;
Encoding means for encoding the first image in units of divided areas, and encoding a second image included in the moving image using motion compensated inter-frame prediction;
Decoding means for decoding the encoded first image;
Filter means for performing filter processing on boundary regions of the plurality of divided regions in the decoded first image;
With
When the first image is located immediately before the second image in the predetermined encoding order, the encoding means uses the first image as a reference image for the motion compensation inter-frame prediction. An image coding apparatus characterized in that:
前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記フィルタ手段による前記第1の画像のための前記フィルタ処理と、前記符号化手段による前記第2の画像の前記符号化とは、並列に実行される
ことを特徴とする請求項1又は2に記載の画像符号化装置。
When the first image is located immediately before the second image in the predetermined encoding order, the filtering process for the first image by the filter means and the second by the encoding means The image coding apparatus according to claim 1, wherein the image coding is performed in parallel.
前記フィルタ処理は、デブロッキングフィルタ処理を含む
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像符号化装置。
The image coding apparatus according to any one of claims 1 to 3, wherein the filtering process includes a deblocking filtering process.
前記複数の分割領域は、HEVC符号化方式のタイルである
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。
The image coding apparatus according to any one of claims 1 to 4, wherein the plurality of divided areas are tiles of HEVC coding scheme.
動き補償フレーム間予測のための参照画像として使用されない第1の画像と、動き補償フレーム間予測のための参照画像として使用される複数の第2の画像とを含む動画像を符号化する画像符号化装置であって、
前記複数の第2の画像それぞれを複数の分割領域に分割する分割手段と、
前記複数の第2の画像それぞれを分割領域単位で符号化し、動き補償フレーム間予測を用いて前記第1の画像を符号化する符号化手段と、
前記符号化された前記複数の第2の画像それぞれを復号する復号手段と、
前記復号された前記複数の第2の画像それぞれにおいて前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ手段と、
を備え、
前記符号化手段は、前記第1の画像を符号化する前に、前記複数の第2の画像のうち、前記第1の画像の符号化時に参照画像として使用される全ての画像と前記全ての画像の次に撮影された画像とを符号化する
ことを特徴とする画像符号化装置。
An image code that encodes a moving image including a first image that is not used as a reference image for motion compensation inter-frame prediction and a plurality of second images that are used as reference images for motion compensation inter-frame prediction Device.
Division means for dividing each of the plurality of second images into a plurality of divided areas;
Encoding means for encoding each of the plurality of second images in units of divided areas, and encoding the first image using motion compensated inter-frame prediction;
Decoding means for decoding each of the plurality of encoded second images;
Filter means for performing filter processing on boundary regions of the plurality of divided regions in each of the plurality of decoded second images;
With
The encoding means, before encoding the first image, out of the plurality of second images, all images used as reference images when encoding the first image and all the images An image coding apparatus characterized by coding an image and an image captured next to the image.
前記符号化された前記第1の画像及び前記複数の第2の画像それぞれをエントロピー符号化するエントロピー符号化手段を更に備え、
前記エントロピー符号化手段は、前記次に撮影された画像をエントロピー符号化する前に前記第1の画像をエントロピー符号化する
ことを特徴とする請求項6に記載の画像符号化装置。
Entropy encoding means for entropy encoding each of the encoded first image and the plurality of second images,
The image encoding apparatus according to claim 6, wherein the entropy encoding unit performs entropy encoding on the first image before entropy encoding the next photographed image.
前記フィルタ処理は、デブロッキングフィルタ処理を含む
ことを特徴とする請求項6又は7に記載の画像符号化装置。
The image coding apparatus according to claim 6, wherein the filtering process includes a deblocking filtering process.
前記複数の分割領域は、HEVC符号化方式のタイルである
ことを特徴とする請求項6乃至8のいずれか1項に記載の画像符号化装置。
The image coding apparatus according to any one of claims 6 to 8, wherein the plurality of divided regions are tiles of HEVC coding scheme.
請求項1乃至9のいずれか1項に記載の画像符号化装置と、
前記動画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。
The image coding apparatus according to any one of claims 1 to 9.
Imaging means for generating the moving image;
An imaging apparatus comprising:
動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置が実行する画像符号化方法であって、
前記動画像に含まれる第1の画像を複数の分割領域に分割する分割工程と、
前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化工程と、
前記符号化された前記第1の画像を復号する復号工程と、
前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、
を備え、
前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置し、前記第1の画像が前記動き補償フレーム間予測のための参照画像として使用される場合、前記符号化工程は、前記第1の画像における前記複数の分割領域の前記境界領域を前記動き補償フレーム間予測の探索範囲から除外する
ことを特徴とする画像符号化方法。
An image encoding method executed by an image encoding device that encodes a plurality of images included in a moving image according to a predetermined encoding order,
A dividing step of dividing a first image included in the moving image into a plurality of divided regions;
Encoding the first image in units of divided regions, and encoding a second image included in the moving image using motion compensated inter-frame prediction;
A decoding step of decoding the encoded first image;
Filtering the boundary region of the plurality of divided regions in the decoded first image;
With
If the first image is located immediately before the second image in the predetermined encoding order and the first image is used as a reference image for the motion compensated inter-frame prediction, the encoding An image coding method characterized in that the step excludes the boundary area of the plurality of divided areas in the first image from the search range of the motion compensation interframe prediction.
動画像に含まれる複数の画像を所定の符号化順に従って符号化する画像符号化装置が実行する画像符号化方法であって、
前記動画像に含まれる第1の画像を複数の分割領域に分割する分割工程と、
前記第1の画像を分割領域単位で符号化し、動き補償フレーム間予測を用いて前記動画像に含まれる第2の画像を符号化する符号化工程と、
前記符号化された前記第1の画像を復号する復号工程と、
前記復号された前記第1の画像において前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、
を備え、
前記第1の画像が前記所定の符号化順において前記第2の画像の直前に位置する場合、前記符号化工程は、前記第1の画像を前記動き補償フレーム間予測のための参照画像として使用しない
ことを特徴とする画像符号化方法。
An image encoding method executed by an image encoding device that encodes a plurality of images included in a moving image according to a predetermined encoding order,
A dividing step of dividing a first image included in the moving image into a plurality of divided regions;
Encoding the first image in units of divided regions, and encoding a second image included in the moving image using motion compensated inter-frame prediction;
A decoding step of decoding the encoded first image;
Filtering the boundary region of the plurality of divided regions in the decoded first image;
With
When the first image is located immediately before the second image in the predetermined encoding order, the encoding step uses the first image as a reference image for the motion compensation interframe prediction. An image coding method characterized in that
動き補償フレーム間予測のための参照画像として使用されない第1の画像と、動き補償フレーム間予測のための参照画像として使用される複数の第2の画像とを含む動画像を符号化する画像符号化装置が実行する画像符号化方法であって、
前記複数の第2の画像それぞれを複数の分割領域に分割する分割工程と、
前記複数の第2の画像それぞれを分割領域単位で符号化し、動き補償フレーム間予測を用いて前記第1の画像を符号化する符号化工程と、
前記符号化された前記複数の第2の画像それぞれを復号する復号工程と、
前記復号された前記複数の第2の画像それぞれにおいて前記複数の分割領域の境界領域にフィルタ処理を行うフィルタ工程と、
を備え、
前記符号化工程は、前記第1の画像を符号化する前に、前記複数の第2の画像のうち、前記第1の画像の符号化時に参照画像として使用される全ての画像と前記全ての画像の次に撮影された画像とを符号化する
ことを特徴とする画像符号化方法。
Image code for encoding a moving image including a first image not used as a reference image for motion compensated interframe prediction and a plurality of second images used as a reference image for motion compensated interframe prediction An image encoding method executed by the encoding device,
A dividing step of dividing each of the plurality of second images into a plurality of divided regions;
Encoding each of the plurality of second images in units of divided regions, and encoding the first image using motion compensated interframe prediction;
A decoding step of decoding each of the plurality of encoded second images;
A filter step of performing filter processing on boundary regions of the plurality of divided regions in each of the plurality of decoded second images;
With
In the encoding step, before encoding the first image, all the images used as a reference image in encoding the first image among the plurality of second images and all the images. An image encoding method comprising encoding an image and an image captured next to the image.
コンピュータを、請求項1乃至9のいずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム。   A program for causing a computer to function as each means of the image coding device according to any one of claims 1 to 9.
JP2018009943A 2018-01-24 2018-01-24 Picture encoder, imaging apparatus, image coding method, and program Pending JP2019129411A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018009943A JP2019129411A (en) 2018-01-24 2018-01-24 Picture encoder, imaging apparatus, image coding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018009943A JP2019129411A (en) 2018-01-24 2018-01-24 Picture encoder, imaging apparatus, image coding method, and program

Publications (1)

Publication Number Publication Date
JP2019129411A true JP2019129411A (en) 2019-08-01

Family

ID=67472390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018009943A Pending JP2019129411A (en) 2018-01-24 2018-01-24 Picture encoder, imaging apparatus, image coding method, and program

Country Status (1)

Country Link
JP (1) JP2019129411A (en)

Similar Documents

Publication Publication Date Title
JP5174958B2 (en) Method and system for simultaneous optimization of video coder and decoder
KR101158345B1 (en) Method and system for performing deblocking filtering
JP2006114979A (en) Image coding apparatus and method thereof
WO2009139123A1 (en) Image processor and imaging device using the same
EP2099225A1 (en) Method for intra prediction coding of image data
KR20210024624A (en) Image encoding method, decoding method, encoder and decoder
JP6077811B2 (en) Image coding apparatus, image coding method, and program
JP2013090120A (en) Image coding method, image decoding method, image coder, image decoder, and program thereof
CN116918331A (en) Coding method and coding device
JP2014078891A (en) Image processing apparatus and image processing method
JP2019129411A (en) Picture encoder, imaging apparatus, image coding method, and program
JP2019004439A (en) Coding device, imaging device, and coding method
US10516896B2 (en) Encoding device, encoding method, and storage medium
JP2018032909A (en) Image coding device, control method therefor, imaging apparatus and program
JP2009278179A (en) Image decoder, image decoding method, program and recording medium
JP4594163B2 (en) Image coding method and image coding apparatus
JP7431549B2 (en) Encoding device, imaging device, control method, and program
JP5094750B2 (en) Moving picture coding apparatus and moving picture coding method
US20230057659A1 (en) Encoder, method, and non-transitory computer-readable storage medium
JP2020108017A (en) Image coding apparatus, control method thereof, and program
JP5943757B2 (en) Image encoding apparatus and method
JP2014075708A (en) Moving image encoder and moving image encoding method
JP2019097030A (en) Image coding apparatus, imaging apparatus, image coding method, and program
JP2022116923A (en) Moving image encoding device and moving image encoding method
JP2006191287A (en) Image coding device, image coding method and image coding program