JP2016096428A - ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラム - Google Patents

ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラム Download PDF

Info

Publication number
JP2016096428A
JP2016096428A JP2014230967A JP2014230967A JP2016096428A JP 2016096428 A JP2016096428 A JP 2016096428A JP 2014230967 A JP2014230967 A JP 2014230967A JP 2014230967 A JP2014230967 A JP 2014230967A JP 2016096428 A JP2016096428 A JP 2016096428A
Authority
JP
Japan
Prior art keywords
data
picture
component
difference
color difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014230967A
Other languages
English (en)
Other versions
JP6409516B2 (ja
Inventor
美和 嶋田
Yoshikazu Shimada
美和 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014230967A priority Critical patent/JP6409516B2/ja
Priority to US14/886,271 priority patent/US9438920B2/en
Priority to KR1020150152425A priority patent/KR20160057311A/ko
Publication of JP2016096428A publication Critical patent/JP2016096428A/ja
Application granted granted Critical
Publication of JP6409516B2 publication Critical patent/JP6409516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ピクチャについての色情報の解像度が異なる２種類のフォーマットの両方を含む符号化データの量を削減できるピクチャ符号化プログラムを提供する。【解決手段】ピクチャ符号化プログラムは、ピクチャについての輝度成分と第１の解像度を持つ第１の色差成分との符号化データを生成し、第１の色差成分の符号化データを復号化して得られたデータに複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、補間データとピクチャについての第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、その差分データの符号化データを生成し、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分、第１の色差成分、及び差分データのそれぞれの符号化データとを含むストリームを生成することをコンピュータに実行させる命令を含む。【選択図】図５

Description

本発明は、ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラムに関する。
動画像データに含まれる各ピクチャが色成分を有する場合、ピクチャの各画素の輝度及び色を表現するために、例えば、YUVと呼ばれる色空間が用いられる。YUVでは、ピクチャの各画素の値は、輝度成分Yと二つの色差成分U、Vによって表される。そしてYUVに対応する画像フォーマットでは、色差成分について画素を間引かないフォーマットである、いわゆるYUV444と、色差成分について画素が間引かれるYUV420、あるいはYUV422などが用いられる。
YUV420フォーマットで表された動画像データは、元の動画像データに対して色情報が劣化し、不可逆な（すなわち、ロッシ―な）動画像データとなる。一方、YUV444フォーマットで動画像データが表される場合には、元の動画像データに対して色情報の劣化がない、いわゆるロスレスな動画像データとなる。ただし、YUV444フォーマットで動画像データが表される場合、色差成分U、Vのデータ量は、同じ動画像データをYUV420フォーマットで表したときの色差成分U、Vのデータ量の4倍となる。
したがって、一旦符号化された動画像データを再生して得られる動画像データと元の動画像データの色情報の差をできるだけ小さくするように、動画像データを符号化するためには、YUV444フォーマットで表された動画像データが利用されることが好ましい。しかし、符号化された動画像データを復号化するための復号化用のコンピュータプログラムあるいは復号化装置には、YUV420フォーマットに対応していても、YUV444フォーマットに対応していないものもある。そのため、YUV444フォーマットとYUV420フォーマットの両方で動画像データを再生できるように、動画像データは符号化されることが好ましい。一方、予め得られた画像から、解像度がより高い画像を得る技術が提案されている（例えば、特許文献１を参照）。
特開２０１１−１１８９０８号公報
しかし、解像度が異なる２種類のフォーマットの動画像データの各ピクチャを両方とも符号化すると、符号化されたデータの量が多くなってしまう。
一つの側面では、本発明は、ピクチャについての色情報の解像度が異なる２種類のフォーマットの両方を含む符号化データの量を削減できるピクチャ符号化プログラムを提供することを目的とする。
一つの態様では、ピクチャ符号化プログラムは、ピクチャについての輝度成分とそのピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、輝度成分の符号化データと第１の色差成分の符号化データとを生成し、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、補間データと、ピクチャについての第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、差分データを符号化して、差分データの符号化データを生成し、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成することをコンピュータに実行させる命令を含む。
他の態様では、ピクチャ符号化方法は、ピクチャについての輝度成分とそのピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、輝度成分の符号化データと第１の色差成分の符号化データとを生成し、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、補間データと、ピクチャについての第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、差分データを符号化して、差分データの符号化データを生成し、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成することを含む。
さらに他の態様では、ピクチャ符号化装置は、ピクチャについての輝度成分と、そのピクチャについての第１の解像度を持つ第１の色差成分と、そのピクチャについての第１の解像度よりも高い第２の解像度を持つ差分データとを符号化して、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを生成する符号化部と、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成するアップサンプリング部と、補間データと、ピクチャについての第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出する差分部と、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成するストリーム生成部とを有する。
さらに他の態様では、ピクチャ復号化プログラムは、ピクチャについての輝度成分の符号化データと、そのピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、そのピクチャについての第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、輝度成分と、第１の色差成分と、差分データとを復号化し、復号化された第１の色差成分に、フィルタ情報で表されたアップサンプリングフィルタを適用して、第２の解像度を持つ補間データを生成し、補間データと差分データとの対応画素間の和を求めることで、ピクチャについての第２の解像度を持つ第２の色差成分を復号化することをコンピュータに実行させる命令を含む。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
一つの側面として、ピクチャについての色情報の解像度が異なる２種類のフォーマットの両方を含む符号化データの量を削減できるという効果を奏する。
YUV444フォーマットの各成分及びYUV420フォーマットの各成分を表す図である。 一つの実施形態によるピクチャ符号化装置の概略構成図である。 アップサンプリングフィルタ選択の概要を示す図である。 出力されるビットストリームの一例を示す図である。 ピクチャ符号化処理の動作フローチャートである。 変形例によるピクチャ符号化処理の動作フローチャートである。 一つの実施形態によるピクチャ復号化装置の概略構成図である。 ピクチャ復号化処理の動作フローチャートである。 上記の実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、ピクチャ符号化装置またはピクチャ復号化装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、ピクチャ符号化装置、及び、そのようなピクチャ符号化装置で利用されるピクチャ符号化方法及びピクチャ符号化プログラムについて説明する。最初に、YUV444フォーマット及びYUV420フォーマットについて説明する。
図１は、YUV444フォーマットの各成分及びYUV420フォーマットの各成分を表す図である。YUV444フォーマットでは、ピクチャ１００は、ピクチャ１００と同じ解像度を持つ輝度成分１０１及び二つの色差成分(U)１０２、色差成分(Y)１０３で表される。すなわち、輝度成分１０１及び二つの色差成分(U)１０２、色差成分(Y)１０３は、ピクチャ１００と同じ画素数を持つ画像として表される。一方、YUV420フォーマットでも、輝度成分１１１は、ピクチャ１００と同じ解像度を持つ画像として表される。すなわち、輝度成分１０１と輝度成分１１１とは同一とすることができる。しかし、YUV420フォーマットでの色差成分(U)１１２、色差成分(Y)１１３については、水平方向及び垂直方向の両方について、画素数がピクチャ１００の画素数と比較して1/2になるように画素が間引かれる。すなわち、色差成分(U)１１２、色差成分(Y)１１３は、ピクチャ１００と比較して、1/4の画素数を持つ画像として表される。そして色差成分(U)１１２、色差成分(Y)１１３の解像度は、色差成分(U)１０２、色差成分(Y)１０３の解像度よりも低い。
そこでこのピクチャ符号化装置は、動画像データの各ピクチャについて、YUV420フォーマットとYUV444フォーマットの両方で再生可能なように、各ピクチャを符号化する。その際、このピクチャ符号化装置は、動画像データに含まれる各ピクチャについて、輝度成分と、YUV420フォーマットで表された二つの色差成分を符号化する。その後、このピクチャ符号化装置は、その二つの色差成分を復号化して得られたデータに対して、複数のアップサンプリングフィルタのうちの何れかを適用して、色差成分ごとに、YUV444フォーマットの色差成分と同じ解像度を持つ補間データを求める。そしてこのピクチャ符号化装置は、色差成分ごとに、補間データと、YUV444フォーマットの色差成分間の差分データを求め、その差分データを符号化する。そしてこのピクチャ符号化装置は、ピクチャごとに、差分データの符号化データと適用されたアップサンプリングフィルタを表すフィルタ情報とを、輝度成分及びYUV420フォーマットの各色差成分の符号化データとともに出力用のビットストリームに含める。
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
図２は、一つの実施形態によるピクチャ符号化装置の概略構成図である。ピクチャ符号化装置１は、インターフェース部１１と、記憶部１２と、符号化部１３と、アップサンプリング部１４と、差分部１５と、フィルタ選択部１６と、ストリーム生成部１７とを有する。ピクチャ符号化装置１が有するこれらの各部は、例えば、別個の回路として形成され、信号線で互いに接続される。また、ピクチャ符号化装置１が有するこれらの各部は、一つの集積回路として、デジタルカメラあるいはビデオカメラといった、動画像データを生成する装置に実装されてもよい。
インターフェース部１１は、符号化対象となる動画像データを取得する。そのために、インターフェース部１１は、例えば、他の機器（図示せず）とピクチャ符号化装置１とを接続するためのインターフェース回路を有する。本実施形態では、インターフェース部１１は、同一の映像コンテンツを表すYUV444フォーマットの動画像データとYUV420フォーマットの動画像データを取得する。インターフェース部１１を介して取得された動画像データは、記憶部１２に記憶される。
また、インターフェース部１１は、符号化された動画像データを含む、出力用のビットストリームを他の機器へ出力する。
記憶部１２は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部１２は、符号化対象となる動画像データを記憶する。また記憶部１２は、符号化された動画像データを含むビットストリームを記憶してもよい。あるいは、記憶部１２は、符号化対象となる動画像データが符号化される際に生成されるデータ等を一時的に記憶してもよい。
符号化部１３は、動画像データに含まれる各ピクチャについての輝度成分Y、及び、YUV420フォーマットの二つの色差成分U、Vをそれぞれ符号化する。
さらに、符号化部１３は、各ピクチャについて、差分部１５により得られる、YUV444フォーマットの色差成分と同じ解像度を持つ、二つの色差成分U、Vのそれぞれの差分データを符号化する。なお、差分データの詳細については後述する。
符号化部１３は、上記の輝度成分などを符号化するための符号化方式として、例えば、Moving Picture Experts Group(MPEG)により策定されたMPEG-2、MPEG-4、H.264/MPEG-4 AVCあるいはH.265を採用できる。また、符号化部１３は、輝度成分、二つの色差成分及び二つの差分データのそれぞれに対して、同一の符号化方式を適用できる。
そのため、以下では、輝度成分に関して、符号化部１３の処理を説明する。
符号化部１３は、輝度成分を複数のブロックに分割し、各ブロックと、そのブロックに対する予測ブロック間の対応画素間の差分値を予測誤差信号として算出する。ここで、符号化部１３は、符号量の推定値である符号化コストが最小となるように予測ブロックを生成する。例えば、符号化対象の輝度成分に対応する符号化対象ピクチャが、イントラ予測符号化が適用されるIピクチャである場合、符号化部１３は、各ブロックについて、その周囲の符号化済みの画素の値から、符号化コストが最小となるように予測ブロックを生成する。
一方、符号化対象ピクチャが、インター予測符号化が適用可能なPピクチャ、あるいは、Bピクチャである場合、符号化部１３は、各ブロックについて、例えば、符号化済みのピクチャについての輝度成分を動き補償して得られる予測ブロックを求める。さらに、符号化部１３は、ブロックの周囲の符号化済みの画素の値を用いて予測ブロックを求める。そして符号化部１３は、それら予測ブロックのなかから、符号量が最小となる予測ブロックを、予測誤差信号の生成のために利用する。
符号化部１３は、各ブロックの予測誤差信号を直交変換して直交変換係数を求め、その直交変換係数を量子化する。そして符号化部１３は、量子化された直交変換係数をエントロピー符号化する。さらに符号化部１３は、予測ブロックの生成に利用する情報、例えば、動き補償用の動きベクトルなどもエントロピー符号化してもよい。これにより、符号化部１３は、輝度成分を符号化する。そして符号化部１３は、輝度成分の符号化データを記憶部１２に書き込む。
さらに、符号化部１３は、符号化対象の輝度成分のうちの未符号のブロック、または、符号化対象の輝度成分よりも符号化順序で後のピクチャの輝度成分についての参照のために、各ブロックの量子化された直交変換係数から、各ブロックの画素の値を再生する。そのために、符号化部１３は、各ブロックの量子化された直交変換係数を逆量子化して直交変換係数を再生する。そして符号化部１３は、再生された各ブロックの直交変換係数を逆直交変換して、各ブロックの予測誤差信号を再生し、その予測誤差信号を、対応する予測ブロックの各画素の値に加算して、各ブロックの画素値を再生する。そして符号化対象の輝度成分の全てのブロックについて、画素値が再生されることで、その輝度成分全体が再生される。そして符号化部１３は、再生された輝度成分も記憶部１２に書き込む。
なお、YUV420フォーマットの各色差成分についても同様に、その色差成分の符号化データとともに、その符号化データから再生される色差成分も得られる。そこで、その再生された色差成分が、アップサンプリング部１４にて利用される。
符号化部１３は、差分データごとに、その差分データを符号化して得られた符号化データの符号量をフィルタ選択部１６へ通知する。
アップサンプリング部１４は、動画像データの各ピクチャについて、YUV420フォーマットの再生された色差成分U、Vのそれぞれに対して複数のアップサンプリングフィルタを適用する。これにより、アップサンプリング部１４は、色差成分U、Vそれぞれについて、適用されるアップサンプリングフィルタごとに、YUV444フォーマットの色差成分と同じ解像度を持つピクチャとなる補間データを求める。
複数のアップサンプリングフィルタの一つとして、例えば、補間される画素の値を、その画素の近傍４画素または８画素の値に対して線形補間を適用することで求めるフィルタが利用される。また、複数のアップサンプリングフィルタの他の一つとして、例えば、補間される画素の値を、その画素の水平方向または垂直方向に隣接する画素の値とするフィルタが利用されてもよい。さらに、複数のアップサンプリングフィルタの他の一つとして、例えば、特開２０１４−４５３９８号公報に開示されるフィルタが利用されてもよい。このフィルタでは、補間される画素を含む近傍領域と、その画素に隣接する複数の加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度に応じて、各加算候補画素の画素値の寄与率を調整することで、補間される画素の値が求められる。
アップサンプリング部１４は、色差成分U、Vのそれぞれについて、アップサンプリングフィルタごとに求められた補間データを差分部１５へ出力する。
差分部１５は、動画像データの各ピクチャについて、YUV444フォーマットの色差成分U、Vと、複数の補間データのそれぞれとの間で対応画素間の差分演算を実行することで、補間データごとに差分データを算出する。したがって、差分データは、YUV444フォーマットで表される色差成分と、YUV420フォーマットで表される色差成分との画素ごとの差を表すものとなる。差分部１５は、各差分データを符号化部１３へ出力する。
また、本実施形態では、YUV444フォーマットの動画像データとYV420フォーマットの動画像データとは、同一の映像コンテンツを含んでいる。そのため、同一のピクチャについてのYUV444フォーマットの色差成分とYUV420フォーマットの色差成分との差は小さい。そのため、差分データの各画素の値は、0または0に近い値となる、比較的小さな値となることが多い。そのため、差分データについては、符号化部１３が実行する直交変換及び量子化により得られる量子化された直交変換係数についても、0となる係数が多くなる。したがって、元のピクチャの色差成分をそのまま符号化するよりも、差分データを符号化した方が、符号量が少なくて済む。
また、補間データの生成に利用されるアップサンプリングフィルタに応じて、補間データの各画素の値も異なる。そのため、補間データの生成に利用されるアップサンプリングフィルタに応じて、差分データの各画素の値も異なる。そのため、同じピクチャであっても、差分データによって、すなわち、適用されたアップサンプリングフィルタによって、符号化部１３により得られる差分データの符号量は異なることになる。
フィルタ選択部１６は、動画像データの各ピクチャについて、色差成分U、Vそれぞれごとに、対応する複数の差分データのうち、符号化部１３により符号されたデータの符号量が最小となる差分データを特定する。そしてフィルタ選択部１６は、符号量が最小となる差分データの生成に利用されたアップサンプリングフィルタを選択する。
図３は、アップサンプリングフィルタ選択の概要を示す図である。YUV420フォーマットの色差成分３００に対してアップサンプリングフィルタｆ１〜ｆ３をそれぞれ適用することで、YUV444フォーマットの色差成分と同じ解像度を持つ複数の補間データ３０１〜３０３が求められる。そして補間データ３０１〜３０３のそれぞれと、色差成分３００に対応するYUV444フォーマットの色差成分３１０との間で、対応画素間の差分演算を行うことで、差分データ３１１〜３１３が求められる。そして差分データ３１１〜３１３が符号化されることで、符号化データ３２１〜３２３が得られる。
例えば、図３に示される例では、符号化データ３２１〜３２３のうち、符号化データ３２１の符号量が最小となる。そこでフィルタ選択部１６は、符号化データ３２１に対応するアップサンプリングフィルタｆ１を選択する。
フィルタ選択部１６は、動画像データの各ピクチャについて、色差成分U、Vそれぞれごとに、選択したアップサンプリングフィルタを表すフィルタ情報をストリーム生成部１７へ通知する。なお、アップサンプリング部１４で使用されるアップサンプリングフィルタの数がｎ個（ただし、ｎは２以上の整数）である場合、フィルタ情報は、例えば、'0'〜'n-1'までの数値とすることができる。そして各数値が、互いに異なるアップサンプリングフィルタに対応する。
ストリーム生成部１７は、動画像データの各ピクチャについて、輝度成分Yの符号化データ、及び、YUV420フォーマットの色差成分U、Vの符号化データを記憶部１２から読み出して、出力用のビットストリームに含める。さらに、ストリーム生成部１７は、各ピクチャについて、色差成分U、Vのそれぞれについてのフィルタ情報と、そのフィルタ情報で表されるアップサンプリングフィルタに対応する差分データの符号化データを出力用のビットストリームに含める。なお、ストリーム生成部１７は、フィルタ情報を、エントロピー符号化してから出力用のビットストリームに含めてもよい。またストリーム生成部１７は、ピクチャ符号化装置１が準拠する符号化方式に従ってヘッダ情報を生成し、そのヘッダ情報を出力用のビットストリームに含める。
図４は、一つのピクチャに相当する、生成されるビットストリームの一例を示す図である。ビットストリーム４００には、ヘッダ情報に含まれるフィルタ情報４０１が含まれる。また、ビットストリーム４００には、輝度成分の符号化データ４０２と、YUV420フォーマットの色差成分Uの符号化データ４０３と、YUV420フォーマットの色差成分Vの符号化データ４０４が含まれる。さらに、ビットストリーム４００には、色差成分Uの差分データの符号化データ４０５と、色差成分Vの差分データの符号化データ４０６が含まれる。なお、ビットストリーム内での各符号化データの格納順は、図４に示された例に限られない。
ストリーム生成部１７は、生成したビットストリームを、インターフェース部１１を介して出力する。
図５は、ピクチャ符号化装置１により実行される、ピクチャ符号化処理の動作フローチャートである。ピクチャ符号化装置１は、動画像データに含まれるピクチャごとに、下記の動作フローチャートに従ってピクチャ符号化処理を実行する。
符号化部１３は、動画像データの着目するピクチャの輝度成分Y及びYUV420フォーマットの二つの色差成分U、Vを符号化する（ステップＳ１０１）。符号化部１３は、輝度成分及び各色差成分の符号化データを記憶部１２に書き込む。アップサンプリング部１４は、二つの色差成分U、Vのそれぞれについて、色差成分の符号化データを復号化して得られたデータに対して複数のアップサンプリングフィルタを適用することで、複数の補間データを求める（ステップＳ１０２）。
差分部１５は、色差成分U、Vのそれぞれについて、各補間データと対応するYUV444フォーマットの色差成分との間で対応画素間の差分演算を行うことで、アップサンプリングフィルタごとの差分データを算出する（ステップＳ１０３）。そして差分部１５は、各差分データを符号化部１３にわたす。そして符号化部１３は、各差分データを符号化する（ステップＳ１０４）。符号化部１３は、各差分データの符号化データを記憶部１２に書き込む。
フィルタ選択部１６は、色差成分U、Vのそれぞれについて、複数の差分データのうち、符号量が最小となる差分データに対応するアップサンプリングフィルタを選択する（ステップＳ１０５）。そしてフィルタ選択部１６は、選択したアップサンプリングフィルタを表すフィルタ情報をストリーム生成部１７へ通知する。
ストリーム生成部１７は、輝度成分Y及びYUV420フォーマットの色差成分U、Vの符号化データを含むビットストリームを生成する。さらに、ストリーム生成部１７は、色差成分U、Vそれぞれのフィルタ情報と、フィルタ情報で示されたアップサンプリングフィルタに対応する差分データの符号化データをビットストリームに含める（ステップＳ１０６）。そしてピクチャ符号化装置１は、ピクチャ符号化処理を終了する。
以上に説明してきたように、このピクチャ符号化装置は、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの各色差成分の符号化データとともに、各色差成分の差分データの符号化データを出力用のビットストリームに含める。そのため、このピクチャ符号化装置は、YUV444フォーマットとYUV420フォーマットのそれぞれの色差成分を直接符号化して得られる符号化データを出力用のビットストリームに含めるよりも、符号量を削減できる。さらに、このピクチャ符号化装置は、複数のアップサンプリングフィルタを利用して複数の差分データを生成し、そのうちの符号量が最小となる差分データの符号化データと対応するアップサンプリングフィルタを表す情報とを出力用のビットストリームに含める。そのため、このピクチャ符号化装置は、符号量をより削減できる。
なお、変形例によれば、ストリーム生成部１７は、フィルタ情報として、適用されるアップサンプリングフィルタのフィルタ係数を出力用のビットストリームに含めてもよい。この場合、ピクチャ復号化装置にとって未知のアップサンプリングフィルタが使用された場合でも、ピクチャ復号化装置は、YUV444フォーマットの動画像データを復号化できる。
また、他の変形例によれば、ピクチャ符号化装置１は、YUV444フォーマットの動画像データを受け取り、その動画像データの各ピクチャの色差成分U、Vをダウンサンプリングして、YUV420フォーマットの動画像データを生成してもよい。
さらに他の変形例によれば、フィルタ選択部１６は、ピクチャの複雑度と符号量が最小となるアップサンプリングフィルタの関係を表したテーブルを参照して、使用するアップサンプリングフィルタを選択してもよい。この場合、例えば、それまでに符号化された各ピクチャ、あるいは複数のサンプルピクチャの複雑度から、複雑度ごとに、かつ、アップサンプリングフィルタごとに、差分データの符号量が最小となる回数が求められる。そしてその回数に基づいて、複雑度ごとに、差分データの符号量が最小となる回数が最も多いアップサンプリングフィルタが、その複雑度に対応するアップサンプリングフィルタとなるように、テーブルが作成される。このテーブルは、例えば、記憶部１２に予め記憶される。なお、このテーブルは、符号化対象となる動画像データに含まれる、符号化済みの各ピクチャについて求められた複雑度と、各アップサンプリングフィルタについて得られた差分データの符号量に基づいて更新されてもよい。
また、フィルタ選択部１６は、複雑度としては、例えば、ピクチャ全体あるいはピクチャの一部領域の画素値の標準偏差、あるいは、近傍画素間のエッジ強度の平均値などを利用できる。あるいは、フィルタ選択部１６は、YUV444フォーマットの色差成分ごとに、複雑度を算出してもよい。この場合には、色差成分ごとにアップサンプリングフィルタが選択される。
図６は、この変形例によるピクチャ符号化処理の動作フローチャートである。この動作フローチャートでは、図５に示された動作フローチャートと比較して、ステップＳ１０２〜Ｓ１０５の処理が異なる。そこで図６では、図５におけるステップＳ１０２〜Ｓ１０５の代わりの処理について説明する。
ステップＳ１０１の処理の後、フィルタ選択部１６は、着目するピクチャについて複雑度を算出する（ステップＳ２０１）。そしてフィルタ選択部１６は、テーブルを参照して、複雑度に対応するアップサンプリングフィルタを選択する（ステップＳ２０２）。フィルタ選択部１６は、選択したアップサンプリングフィルタを表す情報を、アップサンプリング部１４及びストリーム生成部１７へ通知する。
アップサンプリング部１４は、再生されたYUV420フォーマットの色差成分U、Vのそれぞれについて、選択されたアップサンプリングフィルタを適用して補間データを生成する（ステップＳ２０３）。差分部１５は、色差成分U、Vのそれぞれについて、補間データと対応するYUV444フォーマットの色差成分との間で対応画素間の差分演算を行うことで差分データを算出する（ステップＳ２０４）。そして差分部１５は、色差成分ごとの差分データを符号化部１３にわたす。そして符号化部１３は、各差分データを符号化する（ステップＳ２０５）。符号化部１３は、各差分データの符号化データを記憶部１２に書き込む。
ピクチャ符号化装置１は、ステップＳ２０５の処理の後、ステップＳ１０６の処理を行って、ピクチャ符号化処理を終了する。
この変形例によれば、ピクチャ符号化装置は、一つのピクチャにつき、色差成分ごとに一つの補間データ及び一つの差分データを生成し、その差分データを符号化すればよいので、演算量をより削減できる。
さらに他の変形例によれば、ピクチャ符号化装置１は、複数のピクチャごと、例えば、Group Of Pictures(GOP)ごとに、一つのアップサンプリングフィルタを選択してもよい。この場合、フィルタ選択部１６は、例えば、その複数のピクチャのそれぞれについてのアップサンプリングフィルタごとの差分データの符号量の合計が最小となるアップサンプリングフィルタを選択すればよい。この場合、ピクチャ符号化装置１は、フィルタ情報を複数のピクチャについて１回だけ出力用のビットストリームに含めればよい。そのため、連続する複数のピクチャについて、差分データの符号量が最小となるアップサンプリングフィルタが同一となるような動画像データに対して、このピクチャ符号化装置１は、符号化効率をより向上できる。
さらに他の変形例によれば、符号化部１３は、輝度成分及びYUV420フォーマットの色差成分に適用する符号化方式と、差分データに適用する符号化方式を異ならせてもよい。例えば、符号化部１３は、差分データにはH.265を適用し、輝度成分及びYUV420フォーマットの各色差成分に対しては、H.264を適用してもよい。
次に、上記の実施形態または変形例によるピクチャ符号化装置により符号化された動画像データの各ピクチャを復号化するピクチャ復号化装置について説明する。
図７は、一つの実施形態によるピクチャ復号化装置の概略構成図である。ピクチャ復号化装置２は、インターフェース部２１と、記憶部２２と、ヘッダ情報取得部２３と、復号化部２４と、アップサンプリング部２５と、加算部２６と、結合部２７とを有する。ピクチャ復号化装置２が有するこれらの各部は、例えば、別個の回路として形成され、信号線で互いに接続される。また、ピクチャ復号化装置２が有するこれらの各部は、一つの集積回路として、ディスプレイといった、動画像データを再生する装置に実装されてもよい。
インターフェース部２１は、復号対象となる、符号化された動画像データを含むビットストリームを取得する。そしてインターフェース部２１を介して取得されたビットストリームは、記憶部２２に記憶される。またインターフェース部２１は、復号化された動画データを他の装置（図示せず）へ出力する。
記憶部２２は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部２２は、復号対象となるビットストリームを記憶する。また記憶部２２は、復号化された動画像データを記憶してもよい。あるいは、記憶部２２は、動画像データを復号化する際に生成されるデータ等を一時的に記憶してもよい。
ヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、ピクチャごとのヘッダ情報を取り出す。そしてヘッダ情報取得部２３は、そのヘッダ情報から、ピクチャごとに、色差成分U、Vそれぞれのフィルタ情報を取り出す。そしてヘッダ情報取得部２３は、そのフィルタ情報をアップサンプリング部２５へ通知する。
またヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの二つの色差成分のそれぞれの符号化データを取出し、その符号化データを復号化部２４へ渡す。さらに、ヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、各ピクチャについて、二つの色差成分のそれぞれについての差分データの符号化データを取出し、その符号化データを復号化部２４へ渡す。
復号化部２４は、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの二つの色差成分U、Vの符号化データから、輝度成分及びYUV420フォーマットの二つの色差成分を復号化する。同様に、復号化部２４は、動画像データの各ピクチャについて、二つの色差成分U、Vのそれぞれについて、差分データの符号化データから差分データを復号化する。なお、復号化部２４は、ピクチャ符号化装置１の符号化部１３が準拠するピクチャ符号化方式に従って、輝度成分、色差成分及び差分データを復号化すればよい。
復号化部２４は、ピクチャごとに、復号化した輝度成分、色差成分及び差分データを記憶部２２に書き込む。
アップサンプリング部２５は、動画像データの各ピクチャについて、YUV420フォーマットの二つの色差成分のそれぞれについて、フィルタ情報を参照して、適用するアップサンプリングフィルタを特定する。そしてアップサンプリング部２５は、色差成分ごとに、特定されたアップサンプリングフィルタをその色差成分に適用することで、YUV444フォーマットの色差成分と同じ解像度を持つ補間データをもとめる。アップサンプリング部２５は、得られた補間データを加算部２６へ出力する。
加算部２６は、動画像データの各ピクチャについて、二つの色差成分U、Vのそれぞれについて、復号化された差分データの各画素の値に、補間データの対応する画素の値を加算して、YUV444フォーマットのその色差成分を再生する。そして加算部２６は、再生した色差成分を記憶部２２に書き込む。
結合部２７は、記憶部２２に記憶されている、各ピクチャの輝度成分及びYUV420フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べて結合することで、YUV420フォーマットの動画像データを再生する。また結合部２７は、記憶部２２に記憶されている、各ピクチャの輝度成分及びYUV444フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べて結合することで、YUV444フォーマットの動画像データを再生する。
結合部２７は、再生したYUV420フォーマットの動画像データまたはYUV444フォーマットの動画像データを、インターフェース部２１を介して他の機器へ出力する。
図８は、ピクチャ復号化装置２により実行される、ピクチャ復号化処理の動作フローチャートである。ピクチャ復号化装置２は、動画像データに含まれるピクチャごとに、下記の動作フローチャートに従ってピクチャ復号化処理を実行する。
ヘッダ情報取得部２３は、色差成分U、Vの各差分データに対応するアップサンプリングフィルタを表すフィルタ情報を、符号化された動画像データを含むビットストリームのヘッダ情報から取り出す（ステップＳ３０１）。そしてヘッダ情報取得部２３は、そのフィルタ情報をアップサンプリング部２５へ通知する。
復号化部２４は、着目するピクチャの輝度成分及びYUV420フォーマットの二つの色差成分U、Vのそれぞれについての符号化データから、輝度成分及びYUV420フォーマットの色差成分U、Vを復号化する（ステップＳ３０２）。また復号化部２４は、二つの色差成分U、Vのそれぞれについて、差分データの符号化データから差分データを復号化する（ステップＳ３０３）。復号化部２４は、復号化した輝度成分、色差成分及び各差分データを記憶部２２に書き込む。
アップサンプリング部２５は、着目するピクチャの二つの色差成分U、Vのそれぞれについて、復号化された色差成分に対して、フィルタ情報で特定されたアップサンプリングフィルタを適用して補間データをもとめる（ステップＳ３０４）。アップサンプリング部２５は、得られた補間データを加算部２６へ出力する。
加算部２６は、着目するピクチャの二つの色差成分U、Vのそれぞれについて、復号化された差分データと補間データの対応画素間の和を求めて、着目するピクチャのYUV444フォーマットの色差成分U、Vを再生する（ステップＳ３０５）。そして加算部２６は、再生した色差成分を記憶部２２に書き込む。
結合部２７は、記憶部２２に記憶されている、着目するピクチャの輝度成分及び各フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べることで、各フォーマットの動画像データを再生する（ステップＳ３０６）。そしてピクチャ復号化装置２は、ピクチャ復号化処理を終了する。
以上に説明してきたように、このピクチャ復号化装置は、上記の実施形態または変形例によるピクチャ符号化装置によって符号化された動画像データから、YUV444フォーマットの動画像データとYUV420フォーマットの動画像データの両方を再生できる。
なお、上記の実施形態または変形例によるピクチャ符号化装置及びピクチャ復号化装置において、符号化または復号対象となるピクチャのフォーマットとして、YUV420の代わりに、YUV422が用いられてもよい。あるいは、符号化または復号対象となるピクチャのフォーマットとして、YUV444の代わりに、YUV422が用いられてもよい。さらに、符号化または復号対象となるピクチャを表す色空間として、YUVの代わりに、YPbPrが利用されてもよい。
さらに、符号化対象または復号対象となるピクチャは、１枚のピクチャであってもよい。この場合には、ピクチャ符号化装置の符号化部及びピクチャ復号化装置の復号化部は、静止画用の符号化方式に準拠した処理を行ってもよい。またこの場合には、ピクチャ符号化装置は、一旦符号化されたYUV420フォーマットの色差成分を復号化する復号化部を、符号化部とは別個に有していてもよい。
コンピュータ上で実行されることにより、上述した実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
図９は、上記の実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、ピクチャ符号化装置またはピクチャ復号化装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化または復号化するピクチャを選択する操作信号をプロセッサ１０５へ出力する。さらに、ユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、YUV444フォーマットあるいはYUV420フォーマットの何れのピクチャを復号化するかを指示する操作信号をプロセッサ１０５へ出力する。
通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化対象となるピクチャ、あるいは、符号化されたピクチャを含むビットストリームを取得する。
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ピクチャ符号化処理またはピクチャ復号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。例えば、記憶部１０３は、上記の各実施形態またはその変形例における、ピクチャ符号化装置の記憶部１２あるいはピクチャ復号化装置の記憶部２２として機能する。
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ピクチャ符号化プログラムまたはピクチャ復号化プログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、上記の実施形態または変形例によるピクチャ符号化プログラムを実行することにより、ピクチャを、YUV444フォーマットとYUV420フォーマットの何れでも再生可能なように符号化する。あるいは、プロセッサ１０５は、上記の実施形態または変形例によるピクチャ復号化プログラムを実行することで、符号化データを含むビットストリームから、YUV444フォーマットとYUV420フォーマットの何れかまたは両方のピクチャを復号化する。そしてプロセッサ１０５は、再生されたピクチャを記憶部１０３に保存し、またはユーザインターフェース部１０１の表示装置へ出力する。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
ピクチャについての輝度成分の符号化データと、前記ピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの前記第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、前記輝度成分と、前記第１の色差成分と、前記差分データとを復号化し、
復号化された前記第１の色差成分に、前記フィルタ情報で表されたアップサンプリングフィルタを適用して、前記第２の解像度を持つ補間データを生成し、
前記補間データと前記差分データとの対応画素間の和を求めることで、前記ピクチャについての前記第２の解像度を持つ第２の色差成分を復号化する、
ことを含むピクチャ復号化方法。
（付記２）
ピクチャについての輝度成分の符号化データと、前記ピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの前記第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、前記輝度成分と、前記第１の色差成分と、前記差分データとを復号化する復号化部と、
復号化された前記第１の色差成分に、前記フィルタ情報で表されたアップサンプリングフィルタを適用して、前記第２の解像度を持つ補間データを生成するアップサンプリング部と、
前記補間データと前記差分データとの対応画素間の和を求めることで、前記ピクチャについての前記第２の解像度を持つ第２の色差成分を復号化する加算部と、
を有するピクチャ復号化装置。
１ ピクチャ符号化装置
１１ インターフェース部
１２ 記憶部
１３ 符号化部
１４ アップサンプリング部
１５ 差分部
１６ フィルタ選択部
１７ ストリーム生成部
２ ピクチャ復号化装置
２１ インターフェース部
２２ 記憶部
２３ ヘッダ情報取得部
２４ 復号化部
２５ アップサンプリング部
２６ 加算部
２７ 結合部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (7)

  1. ピクチャについての輝度成分と前記ピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、前記輝度成分の符号化データと前記第１の色差成分の符号化データとを生成し、
    前記第１の色差成分の前記符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、
    前記補間データと、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、
    前記差分データを符号化して、前記差分データの符号化データを生成し、
    前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成する、
    ことをコンピュータに実行させるためのピクチャ符号化プログラム。
  2. 前記補間データを生成することは、前記第１の色差成分の前記符号化データを復号化して得られたデータに、前記複数のアップサンプリングフィルタのそれぞれを適用して、前記複数のアップサンプリングフィルタのそれぞれについて前記補間データを生成し、
    前記差分データを生成することは、前記複数のアップサンプリングフィルタのそれぞれに対応する前記補間データごとに前記差分データを算出し、
    前記差分データの前記符号化データを生成することは、前記複数のアップサンプリングフィルタのそれぞれに対応する前記差分データの前記符号化データを生成し、
    前記複数のアップサンプリングフィルタのうち、対応する前記差分データの前記符号化データの符号量が最小となるアップサンプリングフィルタを前記適用するアップサンプリングフィルタとすることをさらにコンピュータに実行させる、請求項１に記載のピクチャ符号化プログラム。
  3. 前記ピクチャの複雑度を算出し、前記複雑度に応じて、前記複数のアップサンプリングフィルタのなかから前記適用するアップサンプリングフィルタを選択することをさらにコンピュータに実行させる、請求項１に記載のピクチャ符号化プログラム。
  4. 前記複雑度に応じて前記適用するアップサンプリングフィルタを選択することは、前記複雑度と前記複数のアップサンプリングフィルタのうちの前記適用するアップサンプリングフィルタとの関係を表す情報を参照して前記適用するアップサンプリングフィルタを選択する、請求項３に記載のピクチャ符号化プログラム。
  5. ピクチャについての輝度成分と前記ピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、前記輝度成分の符号化データと前記第１の色差成分の符号化データとを生成し、
    前記第１の色差成分の前記符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、
    前記補間データと、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、
    前記差分データを符号化して、前記差分データの符号化データを生成し、
    前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成する、
    ことを含むピクチャ符号化方法。
  6. ピクチャについての輝度成分と、前記ピクチャについての第１の解像度を持つ第１の色差成分と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データとを符号化して、前記輝度成分の符号化データと、前記第１の色差成分の符号化データと、前記差分データの符号化データとを生成する符号化部と、
    前記第１の色差成分の前記符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成するアップサンプリング部と、
    前記補間データと、前記ピクチャについての前記第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで前記差分データを算出する差分部と、
    前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成するストリーム生成部と、
    を有するピクチャ符号化装置。
  7. ピクチャについての輝度成分の符号化データと、前記ピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの前記第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、前記輝度成分と、前記第１の色差成分と、前記差分データとを復号化し、
    復号化された前記第１の色差成分に、前記フィルタ情報で表されたアップサンプリングフィルタを適用して、前記第２の解像度を持つ補間データを生成し、
    前記補間データと前記差分データとの対応画素間の和を求めることで、前記ピクチャについての前記第２の解像度を持つ第２の色差成分を復号化する、
    ことをコンピュータに実行させるためのピクチャ復号化プログラム。
JP2014230967A 2014-11-13 2014-11-13 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 Active JP6409516B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014230967A JP6409516B2 (ja) 2014-11-13 2014-11-13 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
US14/886,271 US9438920B2 (en) 2014-11-13 2015-10-19 Picture encoding method, picture encoding apparatus, picture decoding method and picture decoding apparatus
KR1020150152425A KR20160057311A (ko) 2014-11-13 2015-10-30 픽처 부호화 프로그램, 픽처 부호화 방법 및 픽처 부호화 장치 및 픽처 복호화 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014230967A JP6409516B2 (ja) 2014-11-13 2014-11-13 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Publications (2)

Publication Number Publication Date
JP2016096428A true JP2016096428A (ja) 2016-05-26
JP6409516B2 JP6409516B2 (ja) 2018-10-24

Family

ID=55962901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014230967A Active JP6409516B2 (ja) 2014-11-13 2014-11-13 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Country Status (3)

Country Link
US (1) US9438920B2 (ja)
JP (1) JP6409516B2 (ja)
KR (1) KR20160057311A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102008078B1 (ko) * 2012-09-28 2019-08-06 브이아이디 스케일, 인크. 다층 비디오 코딩을 위한 적응적 업샘플링
GB2542858A (en) * 2015-10-02 2017-04-05 Canon Kk Encoder optimizations for palette encoding of content with subsampled colour component
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
EP3876542A4 (en) * 2018-11-02 2022-01-26 Sony Group Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN113038179A (zh) * 2021-02-26 2021-06-25 维沃移动通信有限公司 视频编码方法、视频解码方法、装置及电子设备
CN113365083B (zh) * 2021-07-08 2022-10-11 广州市保伦电子有限公司 一种基于h.265实现yuv444图像编解码方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013308A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Method and apparatus for scalably encoding and decoding color video
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
WO2010004726A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
JP2010507941A (ja) * 2006-10-25 2010-03-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2014052740A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
JP2014168150A (ja) * 2013-02-28 2014-09-11 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618443B1 (en) 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
EP2202683A4 (en) 2007-10-15 2015-08-05 Nippon Telegraph & Telephone PICTURE PRODUCTION METHOD, DEVICE, PROGRAM THEREFOR AND RECORDING MEDIUM WITH A PROGRAM RECORDED THEREFOR
JP5003620B2 (ja) 2008-03-11 2012-08-15 富士通株式会社 映像信号処理装置、及び映像信号処理方法
JP2010093672A (ja) * 2008-10-10 2010-04-22 Sony Corp 映像変換装置および方法、並びにプログラム
WO2014010583A1 (ja) * 2012-07-09 2014-01-16 日本電信電話株式会社 映像符号化／復号方法、装置、プログラム、記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013308A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Method and apparatus for scalably encoding and decoding color video
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
JP2010507941A (ja) * 2006-10-25 2010-03-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
WO2010004726A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2014052740A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
JP2014168150A (ja) * 2013-02-28 2014-09-11 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム

Also Published As

Publication number Publication date
KR20160057311A (ko) 2016-05-23
US20160142721A1 (en) 2016-05-19
JP6409516B2 (ja) 2018-10-24
US9438920B2 (en) 2016-09-06

Similar Documents

Publication Publication Date Title
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
CN113678441B (zh) 视频编解码的方法和装置
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
KR100657268B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN113614736A (zh) 视频编解码的方法和装置
KR20150055005A (ko) 수정된 참조를 가진 차세대 비디오 코딩용 콘텐츠 적응적 예측 및 기능적 예측 픽처
KR102362840B1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
JP2013219727A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP5871628B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TW201824869A (zh) 動態影像編碼裝置及動態影像解碼裝置
JP2014116733A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN113301333A (zh) 视频解码的方法和装置
JP2004242271A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
KR20220019288A (ko) 비디오 코딩에서 필터링을 위한 장치 및 방법
JP6077811B2 (ja) 画像符号化装置、画像符号化方法およびプログラム
JP2018067751A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP6481457B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
CN114930852A (zh) 用于视频编解码的方法和装置
CN115380306A (zh) 视频编解码的方法和装置
JP2013048307A (ja) 動画像復号化装置および動画像復号化方法
JP2023022071A (ja) イントラ予測のための方法及び機器
KR100708209B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6409516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150