JP2015128205A - 復号装置および復号方法、並びに、符号化装置および符号化方法 - Google Patents
復号装置および復号方法、並びに、符号化装置および符号化方法 Download PDFInfo
- Publication number
- JP2015128205A JP2015128205A JP2013272511A JP2013272511A JP2015128205A JP 2015128205 A JP2015128205 A JP 2015128205A JP 2013272511 A JP2013272511 A JP 2013272511A JP 2013272511 A JP2013272511 A JP 2013272511A JP 2015128205 A JP2015128205 A JP 2015128205A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- enlargement
- encoding
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Abstract
【課題】符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができるようにする。
【解決手段】参照画像バッファは、インター符号化画像に対する参照画像の拡大または縮小の率を表すlog2_expanding_factorに基づいて、参照画像を拡大または縮小する。生成部は、拡大または縮小された参照画像を用いて予測画像を生成する。インター符号化画像は、予測画像を用いて復号される。本開示は、例えば、HEVC(High Efficiency Video Coding)方式の復号装置等に適用することができる。
【選択図】図4
【解決手段】参照画像バッファは、インター符号化画像に対する参照画像の拡大または縮小の率を表すlog2_expanding_factorに基づいて、参照画像を拡大または縮小する。生成部は、拡大または縮小された参照画像を用いて予測画像を生成する。インター符号化画像は、予測画像を用いて復号される。本開示は、例えば、HEVC(High Efficiency Video Coding)方式の復号装置等に適用することができる。
【選択図】図4
Description
本開示は、復号装置および復号方法、並びに、符号化装置および符号化方法に関し、特に、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができるようにした復号装置および復号方法、並びに、符号化装置および符号化方法に関する。
近年、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Experts Group phase)などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
特に、MPEG2(ISO/IEC 13818-2)方式は、汎用画像符号化方式として定義されている。MPEG2は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。MPEG2は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度飛び越し走査画像であれば18乃至22MBpsの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
また、近年、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。この標準化は、2003年3月にH.264及びMPEG-4 Part10(AVC(Advanced Video Coding))という名の元に国際標準化された。
更に、その拡張として、RGB,4:2:2や4:4:4の色差信号フォーマット等の業務用に必要な符号化ツールや、MPEG2で規定されていた8×8DCT(Discrete Cosine Transform)や量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、BD(Blu-ray(登録商標) Disc )等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。
また、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team − Video Coding)により、 HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2013年12月現在、Draftとして非特許文献1が発行されている。
Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang,"Editors’ proposed corrections to HEVC version 1",JCTVC-M0432_v3,2013.4.18-4.26
HEVCのインター予測処理は、MPEG-2やAVCと同様に平行移動モデルに基づくものであり、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができなかった。
本開示は、このような状況に鑑みてなされたものであり、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができるようにするものである。
本開示の第1の側面の復号装置は、インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、前記生成部により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号部とを備える復号装置である。
本開示の第1の側面の復号方法およびプログラムは、本開示の第1の側面の復号装置に対応する。
本開示の第1の側面においては、インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像が拡大または縮小され、拡大または縮小された前記参照画像を用いて予測画像が生成され、前記予測画像を用いて、前記インター符号化画像が復号される。
本開示の第2の側面の符号化装置は、符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、前記生成部により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と、前記符号化部により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送部とを備える符号化装置である。
本開示の第2の側面の符号化方法およびプログラムは、本開示の第2の側面の符号化装置に対応する。
本開示の第2の側面においては、符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像が拡大または縮小され、拡大または縮小された前記参照画像を用いて予測画像が生成され、前記予測画像を用いて、前記符号化対象の画像が符号化されて符号化データが生成され、前記符号化データと前記拡大縮小率情報とが伝送される。
なお、第1の側面の復号装置および第2の側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第1の側面の復号装置および第2の側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
第1の側面の復号装置および第2の側面の符号化装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
ネットワークとは、少なくとも2つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、1つの装置を構成している内部ブロックどうしであっても良い。
本開示の第1の側面によれば、符号化ストリームを復号することができる。また、本開示の第1の側面によれば、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
本開示の第2の側面によれば、画像を符号化することができる。また、本開示の第2の側面によれば、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<第1実施の形態>
(符号化装置の第1実施の形態の構成例)
図1は、本開示を適用した符号化装置の第1実施の形態の構成例を示すブロック図である。
(符号化装置の第1実施の形態の構成例)
図1は、本開示を適用した符号化装置の第1実施の形態の構成例を示すブロック図である。
図1の符号化装置10は、設定部11、符号化部12、および伝送部13により構成され、画像をHEVC方式に準ずる方式で符号化する。
具体的には、符号化装置10の設定部11は、SPS(Sequence Parameter Set),PPS(Picture Parameter Set),VUI(Video Usability Information),SEI(Supplemental Enhancement Information)などのパラメータセットを設定する。設定部11は、設定されたパラメータセットを符号化部12に供給する。
符号化部12には、フレーム単位の画像が入力される。符号化部12は、入力された画像をHEVC方式で符号化する。符号化部12は、符号化の結果得られる符号化データと設定部11から供給されるパラメータセットから符号化ストリームを生成し、伝送部13に供給する。
伝送部13は、符号化部12から供給される符号化ストリームを、後述する復号装置に伝送する。
(符号化部の構成例)
図2は、図1の符号化部12の構成例を示すブロック図である。
図2は、図1の符号化部12の構成例を示すブロック図である。
図2の符号化部12は、A/D変換部31、画面並べ替えバッファ32、演算部33、直交変換部34、量子化部35、可逆符号化部36、蓄積バッファ37、生成部38、逆量子化部39、逆直交変換部40、および加算部41を有する。また、符号化部12は、デブロックフィルタ42、適応オフセットフィルタ43、適応ループフィルタ44、フレームメモリ45、スイッチ46、イントラ予測部47、動き予測・補償部48、決定部49、予測画像選択部50、およびレート制御部51を有する。
符号化部12のA/D変換部31は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部31は、変換後のデジタル信号である画像を画面並べ替えバッファ32に出力して記憶させる。
画面並べ替えバッファ32は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ32は、並べ替え後の画像を、演算部33、イントラ予測部47、および動き予測・補償部48に出力する。
演算部33は、符号化部として機能し、画面並べ替えバッファ32から供給される画像から、予測画像選択部50から供給される予測画像を減算することにより符号化を行う。演算部33は、その結果得られる画像を、残差情報として直交変換部34に出力する。なお、予測画像選択部50から予測画像が供給されない場合、演算部33は、画面並べ替えバッファ32から生成された画像をそのまま残差情報として直交変換部34に出力する。
直交変換部34は、演算部33からの残差情報をTU(transform unit)単位で直交変換する。直交変換部34は、直交変換の結果得られる直交変換係数を量子化部35に供給する。
量子化部35は、直交変換部34から供給される直交変換係数に対して量子化を行う。量子化部35は、量子化された直交変換係数を可逆符号化部36に供給する。
可逆符号化部36は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部47から取得する。また、可逆符号化部36は、最適インター予測モードを示すインター予測モード情報、動きベクトルに関する動きベクトル情報、参照画像を特定する参照画像特定情報、拡大縮小率を表す拡大縮小率情報の符号化結果である符号化拡大縮小率情報などを動き予測・補償部48から取得する。拡大縮小率とは、符号化対象の画像に対する参照画像の拡大または縮小の率であり、ここでは、水平方向および垂直方向で同一である。
また、可逆符号化部36は、適応オフセットフィルタ43からオフセットフィルタに関するオフセットフィルタ情報を取得し、適応ループフィルタ44からフィルタ係数を取得する。
可逆符号化部36は、量子化部35から供給される量子化された直交変換係数に対して、可変長符号化(例えば、CAVLC(Context-Adaptive Variable Length Coding)など)、算術符号化(例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)など)などの可逆符号化を行う。
また、可逆符号化部36は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、参照画像特定情報、および符号化拡大縮小率情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。可逆符号化部36は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ37に供給し、蓄積させる。なお、可逆符号化された符号化情報は、スライスヘッダ等のヘッダ部として符号化データに付加されるようにしてもよい。
蓄積バッファ37は、可逆符号化部36から供給される符号化データを、一時的に記憶する。また、蓄積バッファ37は、記憶している符号化データを生成部38に供給する。
生成部38は、図1の設定部11から供給されるパラメータセットと蓄積バッファ37から供給される符号化データから符号化ストリームを生成し、図1の伝送部13に供給する。
また、量子化部35より出力された、量子化された直交変換係数は、逆量子化部39にも入力される。逆量子化部39は、量子化部35により量子化された直交変換係数に対して、量子化部35における量子化方法に対応する方法で逆量子化を行う。逆量子化部39は、逆量子化の結果得られる直交変換係数を逆直交変換部40に供給する。
逆直交変換部40は、TU単位で、逆量子化部39から供給される直交変換係数に対して、直交変換部34における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部40は、その結果得られる残差情報を加算部41に供給する。
加算部41は、逆直交変換部40から供給される残差情報と、予測画像選択部50から供給される予測画像を加算し、局部的に復号を行う。なお、予測画像選択部50から予測画像が供給されない場合、加算部41は、逆直交変換部40から供給される残差情報を局部的に復号された画像とする。加算部41は、局部的に復号された画像をデブロックフィルタ42とフレームメモリ45に供給する。
デブロックフィルタ42は、加算部41から供給される局部的に復号された画像に対して、ブロック歪を除去するデブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ43に供給する。
適応オフセットフィルタ43は、デブロックフィルタ42によるデブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO(Sample adaptive offset))処理を行う。
具体的には、適応オフセットフィルタ43は、最大の符号化単位であるLCU(Largest Coding Unit)ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ43は、求められたオフセットを用いて、デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。
適応オフセットフィルタ43は、適応オフセットフィルタ処理後の画像を適応ループフィルタ44に供給する。また、適応オフセットフィルタ43は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部36に供給する。
適応ループフィルタ44は、例えば、2次元のウィナーフィルタ(Wiener Filter)により構成される。適応ループフィルタ44は、適応オフセットフィルタ43から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ(ALF(Adaptive Loop Filter))処理を行う。
具体的には、適応ループフィルタ44は、LCUごとに、画面並べ替えバッファ32から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ44は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
適応ループフィルタ44は、適応ループフィルタ処理後の画像をフレームメモリ45に供給する。また、適応ループフィルタ44は、適応ループフィルタ処理に用いられたフィルタ係数を可逆符号化部36に供給する。
なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ43と適応ループフィルタ44の処理単位を合わせることにより、処理を効率的に行うことができる。
フレームメモリ45は、適応ループフィルタ44から供給される画像と、加算部41から供給される画像を蓄積する。フレームメモリ45に蓄積されたフィルタ処理が行われていない画像のうちのPU(Prediction Unit)に隣接する画素は、周辺画素としてスイッチ46を介してイントラ予測部47に供給される。一方、フレームメモリ45に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ46を介して動き予測・補償部48に出力される。
イントラ予測部47は、PU単位で、フレームメモリ45からスイッチ46を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
また、イントラ予測部47は、画面並べ替えバッファ32から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値(詳細は後述する)を算出する。そして、イントラ予測部47は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
イントラ予測部47は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部50に供給する。イントラ予測部47は、予測画像選択部50から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部36に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H.264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H.264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式(1)で表わされるコスト関数値が各予測モードに対して算出される。
Dは、原画像と復号画像の差分(歪)、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式(2)で表わされるコスト関数Cost(Mode)が各予測モードに対して算出される。
Dは、原画像と予測画像の差分(歪)、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。
動き予測・補償部48は、PU単位で、決定部49から供給される拡大縮小率、候補となるインター予測モード、動きベクトル、および参照画像に基づいて、動き予測・補償処理を行う。具体的には、動き予測・補償部48は、フレームメモリ45からスイッチ46を介して候補となる参照画像を読み出す。動き予測・補償部48は、参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。
また、動き予測・補償部48は、候補となるインター予測モード、分数画素精度の動きベクトル、および拡大縮小率に基づいて、高解像度化された参照画像に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、PUのサイズと動きベクトルの符号化モードを表すモードである。動きベクトルの符号化モードとしては、マージモード、AMVP(Advanced Motion Vector Prediction)モードなどがある。
マージモードとは、処理対象のPUの時間的および空間的に周辺のPU(以下、周辺PUという)の動きベクトルを用いて処理対象のPUの動きベクトルを生成し、動きベクトル情報を伝送しないモードである。なお、時間的な周辺PUの動きベクトルは、マージモードの動きベクトルの生成に用いないようにすることもできる。この場合、時間的な周辺PUの動きベクトルをマージモードの動きベクトルの生成に用いないかどうかを表す情報(emporal_mvp_enabled_flag)がSPSまたはスライスヘッダに設定されるようにしてもよい。
また、AMVPモードとは、周辺PUの動きベクトルと処理対象のPUの動きベクトルの差分を、動きベクトル情報として伝送するモードである。動きベクトルの符号化モードがマージモードであり、直交変換係数が伝送されないブロックが、スキップモードブロック(スキップマクロ)である。
また、動き予測・補償部48は、画面並べ替えバッファ32から供給される画像と予測画像とに基づいて、インター予測モード、動きベクトル、拡大縮小率、および参照画像の組み合わせに対してコスト関数値を算出する。動き予測・補償部48は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。また、動き予測・補償部48は、コスト関数値が最小となる動きベクトル、拡大縮小率、および参照画像を、最適な動きベクトル、拡大縮小率、および参照画像に決定する。そして、動き予測・補償部48は、最適インター予測モードの予測画像とコスト関数値を予測画像選択部50に供給する。
また、動き予測・補償部48は、予測画像選択部50から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、並びに、最適な動きベクトルの動きベクトル情報、参照画像の参照画像特定情報、および拡大縮小率の符号化拡大縮小率情報を可逆符号化部36に出力する。
決定部49は、PU単位で、候補となる拡大縮小率を動き予測・補償部48に供給する。本実施の形態では、拡大縮小率は、水平方向および垂直方向で共通の2r(rは整数)であり、拡大縮小率情報はrを表す。
予測画像選択部50は、イントラ予測部47および動き予測・補償部48から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部50は、最適予測モードの予測画像を、演算部33および加算部41に供給する。また、予測画像選択部50は、最適予測モードの予測画像の選択をイントラ予測部47または動き予測・補償部48に通知する。
レート制御部51は、蓄積バッファ37に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部35の量子化動作のレートを制御する。
(符号化単位の説明)
図3は、HEVC方式における符号化単位であるCoding Unit(CU)を説明する図である。
図3は、HEVC方式における符号化単位であるCoding Unit(CU)を説明する図である。
HEVC方式では、4000画素×2000画素のUHD(Ultra High Definition)などのような大きな画枠の画像も対象としているため、符号化単位のサイズを16画素×16画素に固定することは最適ではない。従って、HEVC方式では、符号化単位としてCUが定義されている。このCUの詳細については、非特許文献1に記載されている。
CUは、AVC方式におけるマクロブロックと同様の役割を果たす。具体的には、CUはPUに分割されたり、TUに分割されたりする。TUのサイズは、例えば、4×4画素、16×16画素、32×32画素である。
但し、CUのサイズは、シーケンスごとに可変の2のべき乗画素で表される正方形である。具体的には、CUは、最大のサイズのCUであるLCUを、最小のサイズのCUであるSCU(Smallest Coding Unit)より小さくならないように、任意の回数だけ水平方向および垂直方向に2分割することにより設定される。即ち、LCUを、SCUになるまで、上の階層のサイズが下の階層のサイズの1/4となるように階層化したときの任意の階層のサイズがCUのサイズである。
例えば、図3では、LCUのサイズが128であり、SCUのサイズが8である。従って、LCUの階層深度(Depth)は0乃至4となり、階層深度数は5となる。即ち、CUに対応する分割数は0乃至4のいずれかである。
なお、LCUとSCUのサイズを指定する情報は、SPSに含められる。また、CUに対応する分割数は、各階層においてさらに分割するかどうかを表すsplit_flagにより指定される。
TUのサイズは、CUのsplit_flagと同様に、split_transform_flagを用いて指定することができる。インター予測時およびイントラ予測時のTUの最大分割数は、それぞれ、max_transform_hierarchy_depth_inter,max_transform_hierarchy_depth_intraとして、SPSにより指定される。
また、本明細書において、CTU(Coding Tree Unit)は、LCUのCTB(Coding Tree Block)と、そのLCUベース(レベル)で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCUは、CB(Coding Block)と、そのCUベース(レベル)で処理するときのパラメータを含む単位であるとする。
(動き予測・補償部の構成例)
図4は、図2の動き予測・補償部48の構成例を示すブロック図である。
図4は、図2の動き予測・補償部48の構成例を示すブロック図である。
図4の動き予測・補償部48は、線形内挿フィルタ81、参照画像バッファ82、ローパスフィルタ83、生成部84、入力画像バッファ85、PUバッファ86、算出部87、決定部88、および情報符号化部89により構成される。
動き予測・補償部48の線形内挿フィルタ81は、2次元の線形内挿フィルタである。線形内挿フィルタ81は、候補となる参照画像をフレームメモリ45からスイッチ46を介して読み出す。線形内挿フィルタ81は、読み出された参照画像に対して内挿フィルタ処理を行うことにより、高解像度化を行う。線形内挿フィルタ81は、高解像度化された参照画像を参照画像バッファ82に供給する。
参照画像バッファ82は、線形内挿フィルタ81から供給される参照画像を保持する。参照画像バッファ82は、拡大縮小部として機能し、決定部49から供給される拡大縮小率に基づいて、保持している参照画像を読み出すことにより、拡大縮小率で拡大または縮小された参照画像を生成し、ローパスフィルタ83に供給する。
ローパスフィルタ83は、例えば、121型のローパスフィルタである。ローパスフィルタ83は、参照画像バッファ82から供給される参照画像に対して、水平方向および垂直方向にローパスフィルタ処理を施す。これにより、参照画像の折り返し歪みを減少させることができる。その結果、予測精度が向上し、符号化効率が向上する。ローパスフィルタ83は、ローパスフィルタ処理後の参照画像を生成部84に供給する。
生成部84は、PU単位で、候補となる動きベクトルに基づいて、ローパスフィルタ83から供給される参照画像に補償処理を施し、予測画像を生成する。生成部84は、予測画像を算出部87に供給する。候補となる動きベクトルは、マージモードまたはAMVPモード時の動きベクトルとしての、周辺PUの動きベクトルを用いて決定される動きベクトルと、分数精度の所定の動きベクトルである。
入力画像バッファ85は、画面並べ替えバッファ32から供給される画像を保持する。入力画像バッファ85は、候補となるインター予測モードごとに、保持している画像をPU単位でPUバッファ86に供給する。PUバッファ86は、入力画像バッファ85から供給されるPU単位の画像を保持する。
算出部87は、PUバッファ86からPU単位の画像を読み出す。算出部87は、インター予測モード、動きベクトル、参照画像、および拡大縮小率の組み合わせに対して、読み出された画像と予測画像とに基づいて、コスト関数値を算出する。算出部87は、コスト関数値と、対応するインター予測モード、動きベクトル、参照画像、および拡大縮小率の組み合わせ並びに予測画像とを決定部88に供給する。
決定部88は、算出部87から供給されるコスト関数値が最小となるときのインター予測モードを最適インター予測モードに決定し、動きベクトル、参照画像、および拡大縮小率を最適な動きベクトル、参照画像、および拡大縮小率に決定する。決定部88は、最適インター予測モードの予測画像とコスト関数値を図2の予測画像選択部50に供給する。また、予測画像選択部50から最適インター予測モードで生成された予測画像の選択が通知された場合、決定部88は、最適インター予測モード、並びに、最適な動きベクトル、参照画像の参照画像特定情報、および拡大縮小率の拡大縮小率情報を情報符号化部89に供給する。
情報符号化部89は、決定部88から供給される拡大縮小率情報をコンテクストモデリングにより符号化し、符号化拡大縮小率情報を生成する。具体的には、情報符号化部89は、処理対象のPUの拡大縮小率情報と処理対象のPUの周辺のPUの拡大縮小率情報の差分を、符号化拡大縮小率情報として算出する。
また、情報符号化部89は、動きベクトルの符号化モードがマージモードである場合、動きベクトル情報として何も生成しない。情報符号化部89は、動きベクトルの符号化モードがAMVPモードである場合、処理対象のPUの動きベクトルと周辺PUの動きベクトルの差分を、動きベクトル情報として生成する。一方、動きベクトルの符号化モードがマージモードおよびAMVPモードではない場合、情報符号化部89は、処理対象のPUの動きベクトルを表す情報を動きベクトル情報として生成する。
情報符号化部89は、インター予測モード情報、動きベクトル情報、参照画像特定情報、および符号化拡大縮小率情報を図2の可逆符号化部36に供給する。
(インター予測のPUの説明)
図5は、インター予測のPU(動き補償パーテーション)を説明する図である。
図5は、インター予測のPU(動き補償パーテーション)を説明する図である。
図5では、CUが2N×2N画素であるものとする。
インター予測のPUは、図5の上段に示すようにCUを対称分割したり、図5の下段に示すようにCUを非対称分割したりすることにより形成される。
具体的には、インター予測のPUは、CUそのものである2N×2N画素、CUを左右対称に2分割したN×2N画素、またはCUを上下対称に2分割した2N×N画素とすることができる。但し、インター予測のPUは、CUを上下左右対称に2分割したN×N画素とすることはできない。従って、例えば、16×16画素をインター予測のPUとする場合には、CUを32×32画素ではなく、16×16画素にする必要がある。
また、インター予測のPUは、CUを非対称分割(AMP(asymmetric motion partition))することにより構成されることもできる。即ち、インター予測のPUは、CUを左右非対称に左側が小さくなるように2分割した1/2N×2N画素(Left)、またはCUを左右非対称に右側が小さくなるように2分割した1/2N×2N画素(Right)とすることもできる。また、インター予測のPUは、CUを上下非対称に上側が小さくなるように2分割した2N×1/2N画素(Upper)、または、CUを上下非対称に下側が小さくなるように2分割した2N×1/2N画素(Lower)とすることもできる。
インター予測のPUが、CUを非対称分割することにより構成されるかどうかを表す情報(amp_enabled_flag)は、SPSに設定される。
インター予測の各PUに対しては、独立して、インター予測モード、動きベクトル、参照画像、拡大縮小率などが設定される。HEVC方式では、CUの最小サイズが8×8画素であり、インター予測のPUの最小サイズは、4×8画素または8×4画素である。HEVC方式では、メモリバンド幅を緩和するため、インター予測のPUのサイズを4×4画素とすることはできない。
(輝度信号に対する内挿フィルタ処理の説明)
図6は、図4の線形内挿フィルタ81による輝度信号に対する内挿フィルタ処理を説明する図である。
図6は、図4の線形内挿フィルタ81による輝度信号に対する内挿フィルタ処理を説明する図である。
なお、図6において、斜線が付された正方形は、内挿フィルタ処理前の参照画像の画素(以下、前画素という)を表し、斜線が付されていな正方形は、内挿フィルタ処理後の参照画像の画素(以下、後画素という)を表す。このことは、後述する図8においても同様である。
動き予測・補償部48は、1/4画素精度で輝度信号の動き予測・補償処理を行う。従って、線形内挿フィルタ81は、8タップまたは7タップの2次元の線形内挿適応フィルタを用いて、参照画像の輝度信号に対して水平方向および垂直方向に内挿フィルタ処理を行うことにより、前画素の間隔の1/4の間隔の後画素を生成する。
例えば、ある前画素A0,0に対して、前画素A0,0と、前画素A0,0に隣接する前画素A1,0および前画素A0,1との間に、前画素A0,0の位置を左上の位置とした4×4の位置の前画素A0,0並びに後画素a0,0乃至k0,0,n0,0、およびp0,0乃至r0,0が生成される。なお、前画素Ai,jのiは、前画素Ai,jの水平方向の位置を表し、jは垂直方向の位置を表す。また、後画素ai,j乃至ki,j,ni,j、およびpi,j乃至ri,jのiは、対応する前画素Ai,jの水平方向の位置を表し、jは垂直方向の位置を表す。
8タップまたは7タップの2次元の線形内挿適応フィルタのフィルタ係数は、図7に示すようになる。即ち、生成する後画素に最も近い前画素のインデックス(index)が0とされ、その画素の前画素に対する方向に並ぶ画素のインデックスが、生成する後画素から近い順に大きくされ、その方向と逆の方向に並ぶ画素のインデックスが、生成する後画素から近い順に小さくされる。
このとき、内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の1/2である後画素を生成する際の各インデックスi(i=-3,-2,-1,0,1,2,3,4)の画素に対する8タップのフィルタ係数(hfilter[i])は、iが小さい方から順に、-1,4,-11,40,40,-11,4,-1となる。
また、内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の1/4である後画素を生成する際の各インデックスiの画素に対する7タップのフィルタ係数(qfilter[i])は、iが小さい方から順に、-1,4,-10,58,17,-5,1となる。
従って、後画素a0,0乃至d0,0,h0,0、およびn0,0は、以下の式(3)により算出される。
なお、式(3)において、shift1は、符号化対象の画像の輝度信号のビット深度BitDepthyから8を減算した値である。
また、後画素e0,0乃至g0,0,i0,0乃至k0,0、およびp0,0乃至r0,0は、以下の式(4)により算出される。
なお、式(4)において、shift2は、ビット深度BitDepthyから6を減算した値である。
(色差信号に対する内挿フィルタ処理の説明)
図8は、図4の線形内挿フィルタ81による色差信号に対する内挿フィルタ処理を説明する図である。
図8は、図4の線形内挿フィルタ81による色差信号に対する内挿フィルタ処理を説明する図である。
動き予測・補償部48は、1/8画素精度で色差信号の動き予測・補償処理を行う。従って、線形内挿フィルタ81は、4タップの2次元の線形内挿適応フィルタを用いて、参照画像の色差信号に対して水平方向および垂直方向に内挿フィルタ処理を行うことにより、前画素の間隔の1/8の間隔の後画素を生成する。
例えば、ある前画素B0,0に対して、前画素B0,0と、前画素B0,0に隣接する前画素B1,0および前画素B0,1との間に、前画素B0,0の位置を左上の位置とした8×8の位置の前画素B0,0並びに後画素ab0,0乃至ah0,0,ba0,0乃至bh0,0,ca0,0乃至ch0,0,da0,0乃至dh0,0,ea0,0乃至eh0,0,fa0,0乃至fh0,0,ga0,0乃至gh0,0、およびha0,0乃至hh0,0が生成される。
なお、前画素Bi,jのiは、前画素Ai,jの水平方向の位置を表し、jは垂直方向の位置を表す。また、後画素abi,j乃至ahi,j,bai,j乃至bhi,j,cai,j乃至chi,j,dai,j乃至dhi,j,eai,j乃至ehi,j,fai,j乃至fhi,j,gai,j乃至ghi,j、およびhai,j乃至hhi,jのiは、対応する前画素Bi,jの水平方向の位置を表し、jは垂直方向の位置を表す。
4タップの2次元の線形内挿適応フィルタのフィルタ係数は、図9に示すようになる。即ち、生成する後画素に最も近い画素のインデックスが0とされ、その画素の前画素に対する方向に並ぶ画素のインデックスが、生成する後画素から近い順に大きくされ、その方向と逆の方向に並ぶ画素のインデックスが、生成する後画素から近い順に小さくされる。
このとき、内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の1/8である後画素を生成する際の各インデックスi(i=-1,0,1,2)の画素に対するフィルタ係数(filter1[i])は、iが小さい方から順に、-2,58,10,-2となる。
また、内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の2/8である後画素を生成する際の各インデックスiの画素に対するフィルタ係数(filter2[i])は、iが小さい方から順に、-4,54,16,-2となる。内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の3/8である後画素を生成する際の各インデックスiの画素に対するフィルタ係数(filter3[i])は、iが小さい方から順に、-6,46,28,-4となる。
さらに、内挿フィルタ処理の方向に最も近い前画素との距離が前画素の間隔の4/8である後画素を生成する際の各インデックスiの画素に対するフィルタ係数(filter4[i])は、iが小さい方から順に、-4,36,36,-4となる。
従って、後画素ab0,0乃至ah0,0は、以下の式(5)により算出される。
なお、式(5)において、shift1は、符号化対象の画像の色差信号のビット深度BitDepthcから8を減算した値である。このことは、後述する式(6)においても同様である。
また、後画素ba0,0乃至ha0,0は、以下の式(6)により算出される。
さらに、後画素bX0,0乃至hX0,0(X=b,c,d,e,f,g,h)は、以下の式(7)により算出される。
なお、式(7)において、shift2は、ビット深度BitDepthcから6を減算した値である。
輝度信号および色差信号の内挿フィルタ処理は、16ビット精度に収まるようにされる。
(参照画像バッファにおける読み出し処理の説明)
図10および図11は、図4の参照画像バッファ82における読み出し処理を説明する図である。なお、図10および図11において、丸は画素を表す。
図10および図11は、図4の参照画像バッファ82における読み出し処理を説明する図である。なお、図10および図11において、丸は画素を表す。
図10に示すように、拡大縮小率情報が0より小さい値である場合、即ち、拡大縮小率情報が拡大の率を表す場合、参照画像バッファ82は、拡大縮小率情報が表す拡大縮小率に基づいて、参照画像91を拡大し、拡大後の参照画像92を生成する。
例えば、図10に示すように、拡大縮小率情報が-1であり、参照画像91のサイズが4×4画素である場合、参照画像バッファ82は、参照画像91の各画素91aを、その画素91aに対応する位置の2×2の画素92a乃至92dとして読み出す。これにより、参照画像バッファ82は、8×8画素の拡大後の参照画像92を生成する。
一方、図11に示すように、拡大縮小率情報が0より大きい値である場合、参照画像バッファ82は、拡大縮小率情報が表す拡大縮小率に基づいて、参照画像93を縮小し、縮小後の参照画像94を生成する。
例えば、図11に示すように、拡大縮小率情報が1であり、参照画像93のサイズが8×8画素である場合、参照画像バッファ82は、参照画像93を2×2画素のブロック93aに分割する。参照画像バッファ82は、各ブロック93a内の1つの画素93b(図11の例では左上の画素)を代表画素として選択する。参照画像バッファ82は、各ブロック93aの画素93bを、そのブロック93aに対応する位置の画素94aとして読み出す。これにより、参照画像バッファ82は、4×4画素の縮小後の参照画像94を生成する。
なお、参照画像バッファ82は、代表画素として選択された画素93bを画素94aにするのではなく、ブロック93a内の画素を用いてブロック93aの中央の画素を生成し、画素94aとしてもよい。
(マージモードにおける周辺PUの例)
図12は、マージモードにおける周辺PUの例を示す図である。
図12は、マージモードにおける周辺PUの例を示す図である。
図12に示すように、処理対象のPU101のマージモードにおける空間的な周辺PUの候補としては、PU101と左方向に隣接するPU102および左下方向に隣接するPU103がある。また、上方向に隣接するPU104、右上方向に隣接するPU105、左上方向に隣接するPU106がある。
空間的な周辺PUとしては、availableのPU102および103、並びに、PU104乃至106のうちのavailableのPUから、それぞれ1つずつが、以下の優先順位にしたがって選択される。なお、PU102乃至PU106の中で動きベクトルが同一であるものは、冗長性を排除するため、1つを除いて全てnot availableとされる。
1.処理対象のPU101と、参照画像および予測方向が同一であるPU
2.処理対象のPU101と、参照画像は同一であるが、予測方向は異なるPU
3.処理対象のPU101と、参照画像は異なるが、予測方向は同一であるPU
4.処理対象のPU101と、参照画像も、予測方向も異なるPU
2.処理対象のPU101と、参照画像は同一であるが、予測方向は異なるPU
3.処理対象のPU101と、参照画像は異なるが、予測方向は同一であるPU
4.処理対象のPU101と、参照画像も、予測方向も異なるPU
優先順位が3番目または4番目である空間的な周辺PUが選択される場合には、その周辺PUの動きベクトルに対して以下の式(8)に示すスケーリング処理が行われ、スケーリング処理後の動きベクトルが、処理対象のPU101の動きベクトルの生成に用いられる。
なお、式(8)において、mvLxAは、空間的な周辺PUの動きベクトルである。また、tbとtdは、以下の式(9)で定義される。
式(9)によれば、tdは、処理対象のPU101にコロケーテッドなPU108とPU108の参照画像のPOCの差分である。また、tbは、処理対象のPU101とPU101の参照画像のPOC(Picture Order Count)の差分である。なお、処理対象のPU101にコロケーテッドなPU108とは、処理対象のPU101とは時間的に異なるが、空間的な位置は同一であるPUである。
また、処理対象のPU101のマージモードにおける時間的な周辺PUの候補としては、処理対象のPU101とは時間的に異なるが、空間的な位置およびサイズが同一である領域107の中央のPU108と右下のPU109がある。
PU109がavailableである場合、時間的な周辺PUはPU109とされる。また、PU109がnot availableであるが、PU108がavailableである場合には、時間的な周辺PUはPU108とされる。
(mvd_codingのシンタクスの例)
図13は、PUのmvd_codingのシンタクスの例を示す図である。
図13は、PUのmvd_codingのシンタクスの例を示す図である。
図13に示すように、拡大縮小率情報は、mvd_codingにlog2_expanding_factorとして設定される。
(符号化装置の処理の説明)
図14は、図1の符号化装置10のストリーム生成処理を説明するフローチャートである。
図14は、図1の符号化装置10のストリーム生成処理を説明するフローチャートである。
図14のステップS11において、符号化装置10の設定部11は、パラメータセットを設定する。設定部11は、設定されたパラメータセットを符号化部12に供給する。
ステップS12において、符号化部12は、外部から入力されたフレーム単位の画像をHEVC方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図15および図16を参照して説明する。
ステップS13において、符号化部12の生成部38(図2)は、設定部11から供給されるパラメータセットと蓄積バッファ37から供給される符号化データから符号化ストリームを生成し、伝送部13に供給する。
ステップS14において、伝送部13は、設定部11から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
図15および図16は、図14のステップS12の符号化処理の詳細を説明するフローチャートである。
図15のステップS30において、符号化部12のA/D変換部31は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部31は、変換後のデジタル信号である画像を画面並べ替えバッファ32に出力して記憶させる。
ステップS31において、画面並べ替えバッファ32は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ32は、並べ替え後のフレーム単位の画像を、演算部33、イントラ予測部47、および動き予測・補償部48に供給する。
ステップS32において、イントラ予測部47は、PU単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部47は、画面並べ替えバッファ32から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部47は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部47は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部50に供給する。
また、動き予測・補償部48は、PU単位で、候補となるインター予測モード、動きベクトル、参照画像、および拡大縮小率に基づいて、動き予測・補償処理を行う。この動き予測・補償処理の詳細は、後述する図17を参照して説明する。
ステップS33において、予測画像選択部50は、イントラ予測部47および動き予測・補償部48から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部50は、最適予測モードの予測画像を、演算部33および加算部41に供給する。
ステップS34において、予測画像選択部50は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップS34で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部50は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部48に通知する。これにより、動き予測・補償部48の決定部88(図4)は、最適インター予測モード、並びに、最適な動きベクトル、参照画像の参照画像特定情報、および拡大縮小率の拡大縮小率情報を情報符号化部89に供給する。
そして、ステップS35において、情報符号化部89は、動きベクトルの符号化モードに応じて動きベクトル情報を生成する。また、情報符号化部89は、決定部88から供給される拡大縮小率をコンテクストモデリングにより符号化し、符号化拡大縮小率情報を生成する。
ステップS36において、情報符号化部89は、インター予測モード情報、動きベクトル情報、参照画像特定情報、および符号化拡大縮小率情報を可逆符号化部36に供給し、処理をステップS38に進める。
一方、ステップS34で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部50は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部47に通知する。そして、ステップS37において、イントラ予測部47は、イントラ予測モード情報を可逆符号化部36に供給し、処理をステップS38に進める。
ステップS38において、演算部33は、画面並べ替えバッファ32から供給される画像から、予測画像選択部50から供給される予測画像を減算することにより符号化を行う。演算部33は、その結果得られる画像を、残差情報として直交変換部34に出力する。
ステップS39において、直交変換部34は、演算部33からの残差情報に対してTU単位で直交変換を施し、その結果得られる直交変換係数を量子化部35に供給する。
ステップS40において、量子化部35は、直交変換部34から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部36と逆量子化部39に供給する。
図16のステップS41において、逆量子化部39は、量子化部35から供給される量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部40に供給する。
ステップS42において、逆直交変換部40は、逆量子化部39から供給される直交変換係数に対してTU単位で逆直交変換を施し、その結果得られる残差情報を加算部41に供給する。
ステップS43において、加算部41は、逆直交変換部40から供給される残差情報と、予測画像選択部50から供給される予測画像を加算し、局部的に復号を行う。加算部41は、局部的に復号された画像をデブロックフィルタ42とフレームメモリ45に供給する。
ステップS44において、デブロックフィルタ42は、加算部41から供給される局部的に復号された画像に対して、デブロックフィルタ処理を行う。デブロックフィルタ42は、その結果得られる画像を適応オフセットフィルタ43に供給する。
ステップS45において、適応オフセットフィルタ43は、デブロックフィルタ42から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ43は、その結果得られる画像を適応ループフィルタ44に供給する。また、適応オフセットフィルタ43は、LCUごとに、オフセットフィルタ情報を可逆符号化部36に供給する。
ステップS46において、適応ループフィルタ44は、適応オフセットフィルタ43から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ44は、その結果得られる画像をフレームメモリ45に供給する。また、適応ループフィルタ44は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部36に供給する。
ステップS47において、フレームメモリ45は、適応ループフィルタ44から供給される画像と加算部41から供給される画像を蓄積する。フレームメモリ45に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ46を介してイントラ予測部47に供給される。一方、フレームメモリ45に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ46を介して動き予測・補償部48に出力される。
ステップS48において、可逆符号化部36は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、参照画像特定情報、および符号化拡大縮小率情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。
ステップS49において、可逆符号化部36は、量子化部35から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部36は、ステップS48の処理で可逆符号化された符号化情報と可逆符号化された直交変換係数から、符号化データを生成し、蓄積バッファ37に供給する。
ステップS50において、蓄積バッファ37は、可逆符号化部36から供給される符号化データを、一時的に蓄積する。
ステップS51において、レート制御部51は、蓄積バッファ37に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部35の量子化動作のレートを制御する。
ステップS52において、蓄積バッファ37は、記憶している符号化データを、生成部38に出力する。そして、処理は、図14のステップS12に戻り、ステップS13に進む。そして、処理は、図14のステップS12に戻り、ステップS13に進む。
なお、図15および図16の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
図17は、図15のステップS32の動き予測・補償処理の詳細を説明するフローチャートである。この動き予測・補償処理は、PU単位で行われる。
図17のステップS71において、動き予測・補償部48は、候補となる参照画像のうちのまだ現在の処理の参照画像に決定されていないものを、現在の処理の参照画像に決定する。
ステップS72において、決定部49は、候補となる拡大縮小率のうちのまだ現在の処理の拡大縮小率に決定されていないものを、現在の処理の拡大縮小率に決定する。
ステップS73において、動き予測・補償部48は、候補となるインター予測モードが表すPUのサイズのうちの、まだ現在の処理のPUのサイズに決定されていないものを、現在の処理のPUのサイズに決定する。
ステップS74において、動き予測・補償部48の線形内挿フィルタ81(図4)は、ステップS71で決定された参照画像を、フレームメモリ45からスイッチ46を介して読み出す。
ステップS75において、線形内挿フィルタ81は、読み出された参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。線形内挿フィルタ81は、高解像度化された参照画像を参照画像バッファ82に供給して保持させる。
ステップS76において、参照画像バッファ82は、決定部49から供給される拡大縮小率に基づいて、保持している参照画像を読み出すことにより、拡大縮小率で拡大または縮小された参照画像を生成し、ローパスフィルタ83に供給する。
ステップS77において、ローパスフィルタ83は、参照画像バッファ82から供給される参照画像に対して、水平方向および垂直方向にローパスフィルタ処理を施す。
ステップS78において、入力画像バッファ85は、画面並べ替えバッファ32から供給され、保持している画像のうちの、ステップS73で決定されたサイズのPUを読み出し、PUバッファ86に供給して保持させる。
ステップS79において、生成部84は、候補となる動きベクトルのうちの、まだ現在の処理対象の動きベクトルとして決定されていないものを、現在の処理対象の動きベクトルに決定する。
ステップS80において、生成部84は、ステップS79で決定された動きベクトルに基づいて、ローパスフィルタ83から供給される参照画像に補償処理を施し、予測画像を生成する。生成部84は、予測画像を算出部87に供給する。
ステップS81において、算出部87は、PUバッファ86からPU単位の画像を読み出し、その画像と予測画像とに基づいてコスト関数値を算出する。算出部87は、コスト関数値と予測画像を決定部88に供給する。また、算出部87は、ステップS71,S72、およびS79で決定された参照画像、拡大縮小率、および動きベクトル、並びに、その動きベクトルに対応する動きベクトルの符号化モードとステップS73で決定されたPUのサイズとを表すインター予測モードの組み合わせを決定部88に供給する。
ステップS82において、動き予測・補償部48は、候補となる動きベクトルの全てについてコスト関数値を算出したかどうか、即ち、ステップS79で候補となる動きベクトルの全てが現在の処理の動きベクトルに決定されたかどうかを判定する。
ステップS82で候補となる動きベクトルの全てについてコスト関数値を算出していないと判定された場合、処理はステップS79に戻る。そして、候補となる動きベクトルの全てについてコスト関数値を算出したと判定されるまで、ステップS79乃至S82の処理が繰り返される。
一方、ステップS82で候補となる動きベクトルの全てについてコスト関数値を算出したと判定された場合、処理はステップS83に進む。ステップS83において、動き予測・補償部48は、候補となるPUのサイズの全てについてコスト関数値を算出したかどうか、即ち、ステップS73で候補となるPUのサイズの全てが現在の処理のPUのサイズに決定されたかどうかを判定する。
ステップS83で候補となるPUのサイズの全てについてコスト関数値を算出していないと判定された場合、処理はステップS73に戻る。そして、候補となるPUのサイズの全てについてコスト関数値を算出したと判定されるまで、ステップS73乃至S83の処理が繰り返される。
一方、ステップS83で候補となるPUのサイズの全てについてコスト関数値を算出したと判定された場合、処理はステップS84に進む。ステップS84において、決定部49は、候補となる拡大縮小率の全てについてコスト関数値を算出したかどうか、即ち、ステップS72で候補となる拡大縮小率の全てが現在の処理の拡大縮小率に決定されたかどうかを判定する。
ステップS84で候補となる拡大縮小率の全てについてコスト関数値を算出していないと判定された場合、処理はステップS72に戻る。そして、候補となる拡大縮小率の全てについてコスト関数値を算出したと判定されるまで、ステップS72乃至S84の処理が繰り返される。
一方、ステップS84で候補となる拡大縮小率の全てについてコスト関数値を算出したと判定された場合、処理はステップS85に進む。ステップS85において、動き予測・補償部48は、候補となる参照画像の全てについてコスト関数値を算出したかどうか、即ち、ステップS71で候補となる参照画像の全てが現在の処理の参照画像に決定されたかどうかを判定する。
ステップS85で候補となる参照画像の全てについてコスト関数値を算出していないと判定された場合、処理はステップS71に戻る。そして、候補となる参照画像の全てについてコスト関数値を算出したと判定されるまで、ステップS71乃至S85の処理が繰り返される。
一方、ステップS85で候補となる参照画像の全てについてコスト関数値を算出したと判定された場合、ステップS86において、決定部88は、算出部87から供給されるコスト関数値が最小となるときのインター予測モードを最適インター予測モードに決定する。また、決定部88は、コスト関数値が最小となるときの動きベクトル、参照画像、および拡大縮小率を、最適な動きベクトル、参照画像、および拡大縮小率に決定する。
ステップS87において、決定部88は、最適インター予測モードのコスト関数値と予測画像を図2の予測画像選択部50に供給する。
以上のように、符号化装置10は、拡大縮小率情報に基づいて参照画像を拡大または縮小し、拡大または縮小された参照画像を用いて予測画像を生成する。従って、符号化対象の画像が拡大や縮小する場合の予測精度が向上し、符号化効率が向上する。
(復号装置の第1実施の形態の構成例)
図18は、図1の符号化装置10から伝送される符号化ストリームを復号する、本開示を適用した復号装置の第1実施の形態の構成例を示すブロック図である。
図18は、図1の符号化装置10から伝送される符号化ストリームを復号する、本開示を適用した復号装置の第1実施の形態の構成例を示すブロック図である。
図18の復号装置110は、受け取り部111、抽出部112、および復号部113により構成される。
復号装置110の受け取り部111は、図1の符号化装置10から伝送されてくる符号化ストリームを受け取り、抽出部112に供給する。
抽出部112は、受け取り部111から供給される符号化ストリームから、パラメータセットと符号化データを抽出し、復号部113に供給する。
復号部113は、抽出部112から供給される符号化データをHEVC方式で復号する。このとき、復号部113は、必要に応じて、抽出部112から供給されるパラメータセットも参照する。復号部113は、復号の結果得られる画像を出力する。
(復号部の構成例)
図19は、図18の復号部113の構成例を示すブロック図である。
図19は、図18の復号部113の構成例を示すブロック図である。
図19の復号部113は、蓄積バッファ131、可逆復号部132、逆量子化部133、逆直交変換部134、加算部135、デブロックフィルタ136、適応オフセットフィルタ137、適応ループフィルタ138、および画面並べ替えバッファ139を有する。また、復号部113は、D/A変換部140、フレームメモリ141、スイッチ142、イントラ予測部143、動き補償部144、情報復号部145、およびスイッチ146を有する。
復号部113の蓄積バッファ131は、図18の抽出部112から符号化データを受け取り、蓄積する。蓄積バッファ131は、蓄積されている符号化データを可逆復号部132に供給する。
可逆復号部132は、蓄積バッファ131からの符号化データに対して、図2の可逆符号化部36の可逆符号化に対応する、可変長復号や、算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部132は、量子化された直交変換係数を逆量子化部133に供給する。また、可逆復号部132は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部132は、インター予測モード情報と参照画像特定情報を動き補償部144に供給し、インター予測モード情報、動きベクトル情報、および符号化拡大縮小率情報を情報復号部145に供給する。
さらに、可逆復号部132は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ146に供給する。可逆復号部132は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ137に供給する。可逆復号部132は、符号化情報としてのフィルタ係数を適応ループフィルタ138に供給する。
逆量子化部133、逆直交変換部134、加算部135、デブロックフィルタ136、適応オフセットフィルタ137、適応ループフィルタ138、フレームメモリ141、スイッチ142、イントラ予測部143、および動き補償部144は、図2の逆量子化部39、逆直交変換部40、加算部41、デブロックフィルタ42、適応オフセットフィルタ43、適応ループフィルタ44、フレームメモリ45、スイッチ46、イントラ予測部47、および動き予測・補償部48とそれぞれ同様の処理を行い、これにより、画像が復号される。
具体的には、逆量子化部133は、可逆復号部132からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部134に供給する。
逆直交変換部134は、逆量子化部133からの直交変換係数に対してTU単位で逆直交変換を行う。逆直交変換部134は、逆直交変換の結果得られる残差情報を加算部135に供給する。
加算部135は、復号部として機能し、逆直交変換部134から供給される残差情報と、スイッチ146から供給される予測画像を加算することにより、復号を行う。加算部135は、復号の結果得られる画像をデブロックフィルタ136とフレームメモリ141に供給する。
なお、スイッチ146から予測画像が供給されない場合、加算部135は、逆直交変換部134から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ136とフレームメモリ141に供給する。
デブロックフィルタ136は、加算部135から供給される画像に対してデブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ137に供給する。
適応オフセットフィルタ137は、LCUごとに、可逆復号部132からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ137は、適応オフセットフィルタ処理後の画像を適応ループフィルタ138に供給する。
適応ループフィルタ138は、適応オフセットフィルタ137から供給される画像に対して、可逆復号部132から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ138は、その結果得られる画像をフレームメモリ141および画面並べ替えバッファ139に供給する。
画面並べ替えバッファ139は、適応ループフィルタ138から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ139は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部140に供給する。
D/A変換部140は、画面並べ替えバッファ139から供給されるフレーム単位の画像をD/A変換し、出力する。
フレームメモリ141は、適応ループフィルタ138から供給される画像と加算部135から供給される画像を蓄積する。フレームメモリ141に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ141に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部144に供給される。
イントラ予測部143は、PU単位で、フレームメモリ141からスイッチ142を介して読み出された周辺画素を用いて、可逆復号部132から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部143は、その結果生成される予測画像をスイッチ146に供給する。
動き補償部144は、PU単位で、情報復号部145から供給される拡大縮小率情報および動きベクトル、並びに、可逆復号部132から供給されるインター予測モード情報および参照画像特定情報に基づいて、動き補償処理を行う。具体的には、動き補償部144は、フレームメモリ141からスイッチ142を介して、可逆復号部132から供給される参照画像特定情報により特定される参照画像を読み出す。動き補償部144は、参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。動き補償部144は、情報復号部145から供給される拡大縮小率情報および動きベクトル、並びに、インター予測モード情報が表すPUのサイズに基づいて、高解像度化された参照画像を用いて予測画像を生成する。動き補償部144は、予測画像をスイッチ146に供給する。
情報復号部145は、可逆復号部132から供給される符号化拡大縮小率情報を復号する。具体的には、情報復号部145は、処理対象のPUの周辺のPUの拡大縮小率情報と、符号化拡大縮小率情報である差分を加算し、処理対象のPUの拡大縮小率情報を生成する。
また、情報復号部145は、可逆復号部132から供給されるインター予測情報が表す動きベクトルの符号化モードがマージモードである場合、周辺PUの動きベクトルを用いて処理対象のPUの動きベクトルを生成する。一方、情報復号部145は、動きベクトルの符号化モードがAMVPモードである場合、処理対象のPUの周辺のPUの動きベクトルと動きベクトル情報である動きベクトルの差分とを加算し、処理対象のPUの動きベクトルを生成する。
また、情報復号部145は、動きベクトルの符号化モードがマージモードおよびAMVPモードではない場合、動きベクトル情報である動きベクトルを、処理対象のPUの動きベクトルとして生成する。情報復号部145は、拡大縮小率情報と動きベクトルを動き補償部144に供給する。
スイッチ146は、可逆復号部132からイントラ予測モード情報が供給された場合、イントラ予測部143から供給される予測画像を加算部135に供給する。一方、可逆復号部132からインター予測モード情報が供給された場合、スイッチ146は、動き補償部144から供給される予測画像を加算部135に供給する。
(動き補償部の構成例)
図20は、図19の動き補償部144の構成例を示すブロック図である。
図20は、図19の動き補償部144の構成例を示すブロック図である。
図20の動き補償部144は、線形内挿フィルタ161、参照画像バッファ162、ローパスフィルタ163、および生成部164により構成される。
動き補償部144の線形内挿フィルタ161は、2次元の線形内挿フィルタである。線形内挿フィルタ161は、図19の可逆復号部132から供給される参照画像特定情報で特定される参照画像を、フレームメモリ141からスイッチ142を介して読み出す。線形内挿フィルタ161は、読み出された参照画像に対して内挿フィルタ処理を行うことにより、高解像度化を行う。線形内挿フィルタ161は、高解像度化された参照画像を参照画像バッファ162に供給する。
参照画像バッファ162は、線形内挿フィルタ161から供給される参照画像を保持する。参照画像バッファ162は、拡大縮小部として機能し、図4の参照画像バッファ82と同様に、情報復号部145から供給される拡大縮小率情報に基づいて、保持している参照画像を読み出す。これにより、拡大縮小率情報が表す拡大縮小率で拡大または縮小された参照画像が生成される。参照画像バッファ162は、参照画像をローパスフィルタ163に供給する。
ローパスフィルタ163は、例えば、121型のローパスフィルタである。ローパスフィルタ163は、参照画像バッファ162から供給される参照画像に対して、ローパスフィルタ83と同様に、水平方向および垂直方向にローパスフィルタ処理を施す。ローパスフィルタ163は、ローパスフィルタ処理後の参照画像を生成部164に供給する。
生成部164は、可逆復号部132から供給されるインター予測モードが表すPUのサイズと、情報復号部145から供給される動きベクトルとに基づいて、PU単位で、ローパスフィルタ163から供給される参照画像に補償処理を施す。生成部164は、その結果生成される予測画像を図19のスイッチ146に供給する。
(復号装置の処理の説明)
図21は、図18の復号装置110の画像生成処理を説明するフローチャートである。
図21は、図18の復号装置110の画像生成処理を説明するフローチャートである。
図21のステップS111において、復号装置110の受け取り部111は、図1の符号化装置10から伝送されてくる符号化ストリームを受け取り、抽出部112に供給する。
ステップS112において、抽出部112は、受け取り部111から供給される符号化ストリームから、符号化データとパラメータセットを抽出し、復号部113に供給する。
ステップS113において、復号部113は、必要に応じて抽出部112から供給されるパラメータセットを用いて、抽出部112から供給される符号化データをHEVC方式に準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図22を参照して説明する。そして、処理は終了する。
図22は、図21のステップS113の復号処理の詳細を説明するフローチャートである。
図22のステップS130において、復号部113の蓄積バッファ131(図19)は、図18の抽出部112からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ131は、蓄積されている符号化データを可逆復号部132に供給する。
ステップS131において、可逆復号部132は、蓄積バッファ131からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部132は、量子化された直交変換係数を逆量子化部133に供給する。
また、可逆復号部132は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部132は、インター予測モード情報と参照画像特定情報を動き補償部144に供給し、インター予測モード情報、動きベクトル情報、および符号化拡大縮小率情報を情報復号部145に供給する。
さらに、可逆復号部132は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ146に供給する。可逆復号部132は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ137に供給し、フィルタ係数を適応ループフィルタ138に供給する。
ステップS132において、逆量子化部133は、可逆復号部132からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部134に供給する。
ステップS133において、逆直交変換部134は、逆量子化部133からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部135に供給する。
ステップS134において、動き補償部144は、可逆復号部132からインター予測モード情報が供給されたかどうかを判定する。ステップS134でインター予測モード情報が供給されたと判定された場合、処理はステップS135に進む。
ステップS135において、情報復号部145は、可逆復号部132から供給されるインター予測情報が表す動きベクトルの符号化モードに応じて、PU単位で、動きベクトル情報から動きベクトルを生成する。また、情報復号部145は、PU単位で、可逆復号部132から供給される符号化拡大縮小率情報を復号し、拡大縮小率情報を生成する。情報復号部145は、拡大縮小率情報と動きベクトルを動き補償部144に供給する。
ステップS136において、動き補償部144は、PU単位で、情報復号部145から供給される拡大縮小率および動きベクトル、並びに、可逆復号部132から供給されるインター予測モード情報および参照画像特定情報に基づいて、動き補償処理を行う。この動き補償処理の詳細は、後述する図23を参照して説明する。ステップS136の処理後、処理はステップS138に進む。
一方、ステップS134でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部143に供給された場合、処理はステップS137に進む。
ステップS137において、イントラ予測部143は、PU単位で、フレームメモリ141からスイッチ142を介して読み出された周辺画素を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部143は、イントラ予測処理の結果生成される予測画像を、スイッチ146を介して加算部135に供給し、処理をステップS138に進める。
ステップS138において、加算部135は、逆直交変換部134から供給される残差情報と、スイッチ146から供給される予測画像を加算することにより、局部的に復号を行う。加算部135は、復号の結果得られる画像をデブロックフィルタ136とフレームメモリ141に供給する。
ステップS139において、デブロックフィルタ136は、加算部135から供給される画像に対してデブロックフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ136は、その結果得られる画像を適応オフセットフィルタ137に供給する。
ステップS140において、適応オフセットフィルタ137は、可逆復号部132から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ136からの画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ137は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ138に供給する。
ステップS141において、適応ループフィルタ138は、適応オフセットフィルタ137から供給される画像に対して、可逆復号部132から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ138は、その結果得られる画像をフレームメモリ141および画面並べ替えバッファ139に供給する。
ステップS142において、フレームメモリ141は、加算部135から供給される画像と、適応ループフィルタ138から供給される画像を蓄積する。フレームメモリ141に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ141に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部144に供給される。
ステップS143において、画面並べ替えバッファ139は、適応ループフィルタ138から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部140に供給する。
ステップS144において、D/A変換部140は、画面並べ替えバッファ139から供給されるフレーム単位の画像をD/A変換し、出力する。そして、処理は、図21のステップS113に戻り、終了する。
図23は、図22のステップS136の動き補償処理の詳細を説明するフローチャートである。この動き補償処理は、PU単位で行われる。
図23のステップS150において、動き補償部144の線形内挿フィルタ161(図20)は、可逆復号部132から参照画像特定情報を取得する。ステップS151において、線形内挿フィルタ161は、参照画像特定情報で特定される参照画像をフレームメモリ141からスイッチ142を介して読み出す。
ステップS152において、線形内挿フィルタ161は、読み出された参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。線形内挿フィルタ161は、高解像度化された参照画像を参照画像バッファ162に供給し、保持させる。
ステップS153において、参照画像バッファ162は、情報復号部145から拡大縮小率情報を取得する。ステップS154において、参照画像バッファ162は、拡大縮小率情報に基づいて保持している参照画像を読み出すことにより、拡大縮小率が表す拡大縮小率で拡大または縮小された参照画像を生成する。参照画像バッファ162は、参照画像をローパスフィルタ163に供給する。
ステップS155において、ローパスフィルタ163は、参照画像バッファ162から供給される参照画像に対して、水平方向および垂直方向にローパスフィルタ処理を施す。ローパスフィルタ163は、ローパスフィルタ処理後の参照画像を生成部164に供給する。
ステップS156において、生成部164は、可逆復号部132からインター予測モードを取得する。ステップS157において、生成部164は、情報復号部145から動きベクトルを取得する。
ステップS158において、生成部164は、インター予測モード情報が表すPUのサイズと動きベクトルに基づいて、ローパスフィルタ163から供給される参照画像に補償処理を施す。生成部164は、その結果生成される予測画像を図19のスイッチ146に供給する。
以上のように、復号装置110は、拡大縮小率情報に基づいて参照画像を拡大または縮小し、拡大または縮小された参照画像を用いて予測画像を生成する。従って、符号化装置10により符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
なお、参照画像に対してローパスフィルタ処理を施さないようにすることもできる。また、ローパスフィルタ処理の有無は、PUやCU単位で制御されるようにしてもよい。この場合、例えば、PUやCUのサイズが所定のサイズより小さい場合、即ち折り返し歪みによる画質劣化が顕著である場合にのみ、ローパスフィルタ処理が施されるようにすることができる。また、この場合、必要に応じて、符号化装置10は、ローパスフィルタ処理が施されたかどうかを表す情報をPUやCU単位で復号装置110に伝送し、復号装置110は、その情報に基づいて参照画像に対してローパスフィルタ処理を施す。
また、参照画像の拡大および縮小は、ピクチャ単位でオンオフされるようにしてもよい。この場合、PPSに参照画像を拡大または縮小するかどうかを表す情報(enabled_flag)が設定され、enabled_flagが参照画像を拡大または縮小することを表す1である場合、拡大縮小率が設定される。そして、enabled_flagが1である場合、参照画像がPPSに設定されている拡大縮小率で拡大または縮小され、0である場合、参照画像は拡大および縮小されない。同様に、参照画像の拡大および縮小は、スライス単位でオンオフされるようにしてもよい。この場合、スライスヘッダにenabled_flagが設定され、enabled_flagが1である場合、拡大縮小率が設定される。また、参照画像の拡大および縮小は、CU単位でオンオフされるようにしてもよい。
さらに、符号化拡大縮小率情報は、PU単位で伝送されるようにしてもよいし、CU単位で伝送されるようにしてもよい。
また、動きベクトルの符号化モードがマージモードである場合、動きベクトルの参照先である周辺PUの拡大縮小率が、参照元の処理対象のPUの最適な拡大縮小率に決定されてもよい。この場合、符号化装置10は、符号化拡大縮小率情報を伝送せず、復号装置110は、マージモード時に、周辺PUの拡大縮小率を処理対象のPUの拡大縮小率とする。
さらに、上述した説明では、拡大縮小率は、水平方向および垂直方向で同一であるようにしたが、異なるようにしてもよい。
また、拡大縮小率は、参照方向ごとに独立して設定されるようにしてもよい。参照方向には、参照画像の符号化順が符号化対象の画像より前である前方向と、参照画像の符号化順が符号化対象の画像より後である後方向がある。
拡大縮小率が参照方向ごとに独立して設定される場合、符号化装置10は、参照方向ごとに符号化拡大縮小率情報を伝送するようにしてもよいし、前方向と後方向のうちのいずれか一方の符号化拡大縮小率情報のみを伝送するようにしてもよい。
符号化装置10が、参照方向のうちのいずれか一方の符号化拡大縮小率情報のみを伝送する場合、復号装置110は、一方の参照画像、復号対象の画像、および他方の参照画像の時間的距離と、一方の拡大縮小率とに基づいて、他方の拡大縮小率を算出する。
具体的には、例えば、図24に示すように、参照方向が前方向である場合の拡大縮小率情報が-1であり、その拡大縮小率情報の符号化拡大縮小率情報が伝送される場合、復号装置110は、符号化対象の画像181と前方向の参照画像182との時間的距離を算出する。また、復号装置110は、符号化対象の画像181と後方向の参照画像183との時間的距離を算出する。なお、時間的距離とは、POC(Picture Order Count)の差分である。
図24の例では、符号化対象の画像181と参照画像182の時間的距離と、符号化対象の画像181と参照画像183の時間的距離は同一である。従って、復号装置110は、参照方向が前方向である場合の拡大縮小率情報の正負を反対にした値の1倍、即ち1を、参照方向が後方向である場合の拡大縮小率情報として生成する。
<第2実施の形態>
(符号化装置の第2実施の形態の構成例)
本開示を適用した符号化装置の第2実施の形態の構成は、符号化部12を除いて、図1の符号化装置10と同様に構成される。従って、以下では、符号化部についてのみ説明する。
(符号化装置の第2実施の形態の構成例)
本開示を適用した符号化装置の第2実施の形態の構成は、符号化部12を除いて、図1の符号化装置10と同様に構成される。従って、以下では、符号化部についてのみ説明する。
図25は、本開示を適用した符号化装置の第2実施の形態の符号化部の構成例を示すブロック図である。
図25に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図25の符号化部200の構成は、決定部49が設けられない点、拡大縮小部201が設けられる点、および、フレームメモリ45、動き予測・補償部48、可逆符号化部36の代わりにフレームメモリ202、動き予測・補償部203、可逆符号化部204が設けられる点が、図2の符号化部12の構成と異なる。符号化部200は、各復号画像について拡大縮小率の異なる複数の復号画像をフレームメモリ202に保持し、その復号画像に対して異なる参照画像特定情報を付与する。
具体的には、符号化部200の拡大縮小部201は、PPSに設定される拡大縮小率対応情報に基づいて、適応ループフィルタ44から供給される画像を参照画像の候補として拡大または縮小し、フレームメモリ202に供給する。拡大縮小率対応情報とは、参照画像の候補の参照画像特定情報と、その参照画像特定情報で特定される参照画像の候補の拡大縮小率の対応関係を表す情報である。この拡大縮小率は、水平方向および垂直方向で同一であってもよいし、異なっていてもよい。
フレームメモリ202は、拡大縮小部201から供給される画像と、加算部41から供給される画像を蓄積する。フレームメモリ202に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ46を介してイントラ予測部47に供給される。一方、フレームメモリ202に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ46を介して動き予測・補償部203に出力される。
動き予測・補償部203は、PU単位で、候補となるインター予測モード、動きベクトル、および参照画像に基づいて、動き予測・補償処理を行う。具体的には、動き予測・補償部203は、フレームメモリ202からスイッチ46を介して候補となる参照画像を読み出す。動き予測・補償部203は、参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。
また、動き予測・補償部203は、候補となるインター予測モードと分数画素精度の動きベクトルに基づいて、高解像度化された参照画像に補償処理を施し、予測画像を生成する。動き予測・補償部203は、画面並べ替えバッファ32から供給される画像と予測画像とに基づいて、インター予測モード、動きベクトル、および参照画像の組み合わせに対してコスト関数値を算出する。動き予測・補償部203は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。また、動き予測・補償部203は、コスト関数値が最小となる動きベクトルと参照画像を、最適な動きベクトルと参照画像に決定する。そして、動き予測・補償部203は、最適インター予測モードの予測画像とコスト関数値を予測画像選択部50に供給する。
また、動き予測・補償部203は、予測画像選択部50から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、並びに、最適な動きベクトルの動きベクトル情報および参照画像の参照画像特定情報を可逆符号化部204に出力する。
可逆符号化部204は、量子化部35から供給される量子化された直交変換係数に対して可逆符号化を行う。また、可逆符号化部204は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照画像特定情報、オフセットフィルタ情報、並びにフィルタ係数を、符号化情報として可逆符号化する。可逆符号化部204は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ37に供給し、蓄積させる。なお、可逆符号化された符号化情報は、スライスヘッダ等のヘッダ部として符号化データに付加されるようにしてもよい。
(動き予測・補償部の構成例)
図26は、図25の動き予測・補償部203の構成例を示すブロック図である。
図26は、図25の動き予測・補償部203の構成例を示すブロック図である。
図26に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図26の動き予測・補償部203の構成は、ローパスフィルタ83が設けられない点、参照画像バッファ82、生成部84、算出部87、決定部88、情報符号化部89の代わりに、参照画像バッファ221、生成部222、算出部223、決定部224、情報符号化部225が設けられる点が、図4の動き予測・補償部48の構成と異なる。
参照画像バッファ221は、線形内挿フィルタ81から供給される参照画像を保持する。
生成部222は、PU単位で、候補となる動きベクトルに基づいて、参照画像バッファ221に保持されている参照画像に補償処理を施し、予測画像を生成する。生成部222は、予測画像を算出部223に供給する。候補となる動きベクトルは、第1実施の形態の場合と同様である。
算出部223は、PUバッファ86からPU単位の画像を読み出す。算出部223は、インター予測モード、動きベクトル、および参照画像の組み合わせに対して、読み出された画像と予測画像とに基づいて、コスト関数値を算出する。算出部223は、コスト関数値と、対応するインター予測モード、動きベクトル、および参照画像の組み合わせ並びに予測画像とを決定部224に供給する。
決定部224は、算出部223から供給されるコスト関数値が最小となるときのインター予測モードを最適インター予測モードに決定し、動きベクトルおよび参照画像を最適な動きベクトルおよび参照画像に決定する。決定部224は、最適インター予測モードの予測画像とコスト関数値を図25の予測画像選択部50に供給する。また、予測画像選択部50から最適インター予測モードで生成された予測画像の選択が通知された場合、決定部224は、最適インター予測モード、並びに、最適な動きベクトルおよび参照画像の参照画像特定情報を情報符号化部225に供給する。
情報符号化部225は、図4の情報符号化部89と同様に、処理対象のPUの動きベクトル情報を生成する。情報符号化部225は、最適インター予測モード、動きベクトル情報、および参照画像特定情報を図25の可逆符号化部204に供給する。
(符号化部の処理の説明)
図27および図28は、図25の符号化部200の符号化処理を説明するフローチャートである。
図27および図28は、図25の符号化部200の符号化処理を説明するフローチャートである。
図27のステップS170およびS171の処理は、図15のステップS30およびS31の処理と同様であるので、説明は省略する。
ステップS172において、イントラ予測部47は、PU単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部47は、画面並べ替えバッファ32から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部47は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部47は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部50に供給する。
また、動き予測・補償部203は、PU単位で、候補となるインター予測モード、動きベクトル、および参照画像に基づいて、動き予測・補償処理を行う。この動き予測・補償処理の詳細は、後述する図29を参照して説明する。
ステップS173およびS174の処理は、図15のステップS33およびS34の処理と同様であるので、説明は省略する。
ステップS175において、動き予測・補償部203の情報符号化部225(図26)は、動きベクトルの符号化モードに応じて動きベクトル情報を生成する。ステップS176において、情報符号化部225は、インター予測モード情報、動きベクトル情報、および参照画像特定情報を可逆符号化部204に供給し、処理をステップS178に進める。
ステップS177乃至S186の処理は、図15および図16のステップS37乃至S46の処理と同様であるので、説明は省略する。
ステップS187において、拡大縮小部201は、PPSに設定される拡大縮小率対応情報に基づいて、適応ループフィルタ44から供給される画像を参照画像の候補として拡大または縮小する。具体的には、拡大縮小部201は、拡大縮小率対応情報において、適応ループフィルタ44から供給される画像を特定する複数の参照画像特定情報に対応付けられている全ての拡大縮小率を、その画像の拡大縮小率とする。
拡大縮小部201は、拡大縮小率が拡大の率である場合、適応ループフィルタ44から供給される画像内の1つの画素を、拡大後の画像を構成する複数の画素として生成する。また、拡大縮小部201は、拡大縮小率が縮小の率である場合、適応ループフィルタ44から供給される画像の複数の画素からなる領域内の1つの画素を、その領域に対応する縮小後の画像の画素として生成する。そして、拡大縮小部201は、拡大後の画像または縮小後の画像を、フレームメモリ202に供給する。
ステップS188において、フレームメモリ202は、拡大縮小部201から供給される画像と加算部41から供給される画像を蓄積する。フレームメモリ202に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ46を介してイントラ予測部47に供給される。一方、フレームメモリ202に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ46を介して動き予測・補償部203に出力される。
ステップS189乃至S193の処理は、図16のステップS48乃至S52の処理と同様であるので、説明は省略する。
図29は、図27のステップS172の動き予測・補償処理の詳細を説明するフローチャートである。
図29のステップS201乃至S207の処理は、図17のステップS71,S73乃至S75、およびS78乃至S80の処理と同様であるので、説明は省略する。
ステップS208において、算出部223は、PUバッファ86からPU単位の画像を読み出し、その画像と予測画像とに基づいてコスト関数値を算出する。算出部223は、コスト関数値と予測画像を決定部224に供給する。また、算出部223は、ステップS201およびS206で決定された参照画像および動きベクトル、並びに、その動きベクトルに対応する動きベクトルの符号化モードとステップS202で決定されたPUのサイズとを表すインター予測モードの組み合わせを決定部224に供給する。
ステップS209乃至S211の処理は、ステップS82,S83、およびS85の処理と同様であるので、説明は省略する。
ステップS212において、決定部224は、算出部223から供給されるコスト関数値が最小となるときのインター予測モードを最適インター予測モードに決定する。また、決定部224は、コスト関数値が最小となるときの動きベクトルと参照画像を、最適な動きベクトルと参照画像に決定する。
ステップS213において、決定部224は、最適インター予測モードのコスト関数値と予測画像を図25の予測画像選択部50に供給する。
以上のように、符号化部200は、拡大縮小率対応情報に基づいて、参照画像の候補となる復号画像を拡大または縮小し、拡大または縮小された復号画像を参照画像として用いて予測画像を生成する。従って、符号化対象の画像が拡大や縮小する場合の予測精度が向上し、符号化効率が向上する。
(復号装置の第2実施の形態の構成例)
本開示を適用した復号装置の第2実施の形態の構成は、復号部113を除いて、図18の復号装置110と同様であるので、以下では、復号部についてのみ説明する。
本開示を適用した復号装置の第2実施の形態の構成は、復号部113を除いて、図18の復号装置110と同様であるので、以下では、復号部についてのみ説明する。
図30は、本開示を適用した復号装置の第2実施の形態の復号部の構成例を示すブロック図である。
図30に示す構成のうち、図19の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図30の復号部240の構成は、可逆復号部132、情報復号部145、フレームメモリ141、動き補償部144の代わりに、可逆復号部241、情報復号部242、フレームメモリ244、動き補償部245が設けられる点、および、拡大縮小部243が新たに設けられる点が、図19の復号部113の構成と異なる。
具体的には、可逆復号部241は、蓄積バッファ131からの符号化データに対して、図25の可逆符号化部204の可逆符号化に対応する可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部241は、量子化された直交変換係数を逆量子化部133に供給する。また、可逆復号部241は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部241は、インター予測モード情報と参照画像特定情報を動き補償部245に供給し、インター予測モード情報と動きベクトル情報を情報復号部242に供給する。
情報復号部242は、図19の情報復号部145と同様に、可逆復号部241から供給されるインター予測情報が表す動きベクトルの符号化モードに基づいて、処理対象のPUの動きベクトルを生成する。情報復号部242は、生成された動きベクトルを動き補償部245に供給する。
拡大縮小部243は、図18の抽出部112から供給されるPPSに含まれる拡大縮小率対応情報に基づいて、適応ループフィルタ138から供給される画像を拡大または縮小し、フレームメモリ244に供給する。
フレームメモリ244は、拡大縮小部243から供給される画像と加算部135から供給される画像を蓄積する。フレームメモリ244に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ244に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部245に供給される。
動き補償部245は、PU単位で、情報復号部242から供給される動きベクトル、並びに、可逆復号部241から供給されるインター予測モード情報および参照画像特定情報に基づいて、動き補償処理を行う。具体的には、動き補償部245は、フレームメモリ244からスイッチ142を介して、可逆復号部241から供給される参照画像特定情報により特定される参照画像を読み出す。動き補償部245は、参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。動き補償部245は、情報復号部242から供給される動きベクトルとインター予測モード情報が表すPUのサイズとに基づいて、高解像度化された参照画像を用いて予測画像を生成する。動き補償部245は、予測画像をスイッチ146に供給する。
(動き補償部の構成例)
図31は、図30の動き補償部245の構成例を示すブロック図である。
図31は、図30の動き補償部245の構成例を示すブロック図である。
図31に示す構成のうち、図20の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図31の動き補償部245の構成は、参照画像バッファ162の代わりに参照画像バッファ261が設けられる点が、図20の動き補償部144の構成と異なる。
動き補償部245の参照画像バッファ261は、線形内挿フィルタ161から供給される参照画像を保持する。この参照画像は、生成部164において補償処理が施される。
(復号部の処理の説明)
図32は、図30の復号部240の復号処理を説明するフローチャートである。
図32は、図30の復号部240の復号処理を説明するフローチャートである。
図32のステップS230において、復号部240の蓄積バッファ131は、図18の抽出部112からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ131は、蓄積されている符号化データを可逆復号部241に供給する。
ステップS231において、可逆復号部241は、蓄積バッファ131からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部241は、量子化された直交変換係数を逆量子化部133に供給する。
また、可逆復号部241は、符号化情報としてのイントラ予測モード情報などをイントラ予測部143に供給する。可逆復号部241は、インター予測モード情報と参照画像特定情報を動き補償部144に供給し、インター予測モード情報と動きベクトル情報を情報復号部242に供給する。
さらに、可逆復号部241は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ146に供給する。可逆復号部241は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ137に供給し、フィルタ係数を適応ループフィルタ138に供給する。
ステップS232乃至S234の処理は、図22のステップS132乃至S134の処理と同様であるので、説明は省略する。
ステップS235において、情報復号部242は、可逆復号部241から供給されるインター予測情報が表す動きベクトルの符号化モードに基づいて、処理対象のPUの動きベクトルを生成する。
ステップS236において、動き補償部245は、PU単位で、情報復号部242から供給される動きベクトル、並びに、可逆復号部241から供給されるインター予測モード情報および参照画像特定情報に基づいて、動き補償処理を行う。この動き補償処理の詳細は、後述する図33を参照して説明する。
ステップS237乃至S241の処理は、図32のステップS137乃至S141の処理と同様であるので、説明は省略する。
ステップS242において、拡大縮小部243は、図18の抽出部112から供給されるPPSに含まれる拡大縮小率対応情報に基づいて、適応ループフィルタ138から供給される画像を拡大または縮小し、フレームメモリ244に供給する。
ステップS243において、フレームメモリ244は、加算部135から供給される画像と、拡大縮小部243から供給される画像を蓄積する。フレームメモリ244に蓄積されたフィルタ処理が行われていない画像のうちのPUに隣接する画素は、周辺画素としてスイッチ142を介してイントラ予測部143に供給される。一方、フレームメモリ244に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ142を介して動き補償部144に供給される。
ステップS244およびS245は、図22のステップS143およびS144の処理と同様であるので、説明は省略する。
図33は、図32のステップS236の動き補償処理の詳細を説明するフローチャートである。
図33のステップS260乃至S265の処理は、図23のステップS150乃至S152およびS156乃至S158の処理と同様であるので、説明は省略する。
以上のように、復号部240は、拡大縮小率対応情報に基づいて参照画像の候補となる復号画像を拡大または縮小し、拡大または縮小された復号画像を参照画像として用いて予測画像を生成する。従って、符号化部200を備える符号化装置10により符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
なお、第2実施の形態においても、第1実施の形態の場合と同様に、拡大または縮小された画像に対してローパスフィルタ処理が施されるようにしてもよい。
<第3実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図34は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ500において、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータ500では、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ500(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ500では、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
なお、コンピュータ500が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<第4実施の形態>
(多視点画像符号化・多視点画像復号への適用)
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図35は、多視点画像符号化方式の一例を示す。
(多視点画像符号化・多視点画像復号への適用)
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図35は、多視点画像符号化方式の一例を示す。
図35に示されるように、多視点画像は、複数の視点(ビュー(view))の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。
図35のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した第1および2実施の形態の方法を適用するようにしてもよい。このようにすることにより、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。
さらに、各ビューの符号化・復号において、上述した第1および2実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、mvd_codingやPPSのシンタクス要素等を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。
(多視点画像符号化装置)
図36は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図36に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
図36は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図36に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
符号化部601は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部602は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部603は、符号化部601において生成されたベースビュー画像符号化ストリームと、符号化部602において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置600の符号化部601および符号化部602に対して、符号化装置の第1および第2実施の形態を適用することができる。つまり、各ビューに対する符号化において、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。また、符号化部601および符号化部602は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、符号化を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。
(多視点画像復号装置)
図37は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図37に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
図37は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図37に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
逆多重化部611は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部612は、逆多重化部611により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部613は、逆多重化部611により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置610の復号部612および復号部613に対して、復号装置の第1および第2実施の形態を適用することができる。つまり、各ビューに対する復号において、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。
<第5実施の形態>
(階層画像符号化・階層画像復号への適用)
上述した一連の処理は、階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)に適用することができる。図38は、階層画像符号化方式の一例を示す。
(階層画像符号化・階層画像復号への適用)
上述した一連の処理は、階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)に適用することができる。図38は、階層画像符号化方式の一例を示す。
階層画像符号化(スケーラブル符号化)は、画像データを、所定のパラメータについてスケーラブル(scalable)機能を有するように、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化するものである。階層画像復号(スケーラブル復号)は、その階層画像符号化に対応する復号である。
図38に示されるように、画像の階層化においては、スケーラブル機能を有する所定のパラメータを基準として1の画像が複数の画像(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(エンハンスメントレイヤとも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ(base layer)のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ(base layer)に加えて、エンハンスメントレイヤ(enhancement layer)の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
図38の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、上述した第1および2実施の形態の方法を適用するようにしてもよい。このようにすることにより、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。
さらに、各レイヤの符号化・復号において、上述した第1および2実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、mvd_codingやPPSのシンタクス要素等を、各レイヤの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。
このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量(符号量)を低減することができる(つまり、符号化効率の低減を抑制することができる)。
(スケーラブルなパラメータ)
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラブル(scalable)機能を有するパラメータは、任意である。例えば、図39に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図39に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラブル(scalable)機能を有するパラメータは、任意である。例えば、図39に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図39に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラブル性を持たせるパラメータとして、他には、例えば、図40に示されるような、時間解像度を適用しても良い(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図40に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
さらに、このようなスケーラブル性を持たせるパラメータとして、例えば、信号雑音比(SNR(Signal to Noise ratio))を適用しても良い(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。つまり、この場合、図41に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラブル性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラブル性を持たせるパラメータとして、ビット深度を用いることもできる(bit-depth scalability)。このビット深度スケーラビリティ(bit-depth scalability)の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるようにすることができる。
また、スケーラブル性を持たせるパラメータとして、クロマフォーマットを用いることもできる(chroma scalability)。このクロマスケーラビリティ(chroma scalability)の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ(base layer)が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。
(階層画像符号化装置)
図42は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図42に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。
図42は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図42に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。
符号化部621は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部622は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部623は、符号化部621において生成されたベースレイヤ画像符号化ストリームと、符号化部622において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置620の符号化部621および符号化部622に対して、符号化装置の第1および第2実施の形態を適用することができる。つまり、各レイヤに対する符号化において、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。また、符号化部621および符号化部622は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、イントラ予測のフィルタ処理の制御等を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。
(階層画像復号装置)
図43は、上述した階層画像復号を行う階層画像復号装置を示す図である。図43に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。
図43は、上述した階層画像復号を行う階層画像復号装置を示す図である。図43に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。
逆多重化部631は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部632は、逆多重化部631により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部633は、逆多重化部631により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置630の復号部632および復号部633に対して、復号装置の第1および第2実施の形態を適用することができる。つまり、各レイヤに対する復号において、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。また、復号部612および復号部613は、互いに同一のフラグやパラメータ(例えば、画像間の処理に関するシンタクス要素等)を用いて、復号を行うことができる(すなわち、フラグやパラメータを共有することができる)ので、符号化効率の低減を抑制することができる。
<第6実施の形態>
(テレビジョン装置の構成例)
図44は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
(テレビジョン装置の構成例)
図44は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。
映像信号処理部905は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。
表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。
音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ908に供給することで音声出力を行う。
外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。
制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。
このように構成されたテレビジョン装置では、デコーダ904に本願の復号装置(復号方法)の機能が設けられる。このため、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
<第7実施の形態>
(携帯電話機の構成例)
図45は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
(携帯電話機の構成例)
図45は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。
携帯電話機920は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ924に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。
なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB(Universal Serial Bus)メモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部927に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。また、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
<第8実施の形態>
(記録再生装置の構成例)
図46は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
(記録再生装置の構成例)
図46は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。
チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。
外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。
HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−ray(登録商標)ディスク等である。
セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。
デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。
OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。
制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。
制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、デコーダ947に本願の復号装置(復号方法)の機能が設けられる。このため、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
<第9実施の形態>
(撮像装置の構成例)
図47は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
(撮像装置の構成例)
図47は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。
光学ブロック961は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。
カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。
画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。
OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。
外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メディアドライブ968から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。
メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC(Integrated Circuit)カード等であってもよい。
また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部970は、CPUを用いて構成されている。メモリ部967は、制御部970により実行されるプログラムや制御部970が処理を行う上で必要な各種のデータ等を記憶する。メモリ部967に記憶されているプログラムは、撮像装置960の起動時などの所定タイミングで制御部970により読み出されて実行される。制御部970は、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部964に本願の符号化装置および復号装置(符号化方法および復号方法)の機能が設けられる。このため、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる。また、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させるように符号化された符号化ストリームを復号することができる。
<スケーラブル符号化の応用例>
(第1のシステム)
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図48に示される例のように、伝送するデータの選択のために利用される。
(第1のシステム)
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図48に示される例のように、伝送するデータの選択のために利用される。
図48に示されるデータ伝送システム1000において、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを読み出し、ネットワーク1003を介して、パーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置に配信する。
その際、配信サーバ1002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ1002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバーフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ1002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部1001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)1011を記憶するとする。このスケーラブル符号化データ(BL+EL)1011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ1002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ1002は、処理能力の高いパーソナルコンピュータ1004やタブレットデバイス1006に対しては、高品質なスケーラブル符号化データ(BL+EL)1011をスケーラブル符号化データ記憶部1001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ1002は、処理能力の低いAV機器1005や携帯電話機1007に対しては、スケーラブル符号化データ(BL+EL)1011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)1011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)1011よりも低品質なスケーラブル符号化データ(BL)1012として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバーフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)1011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部1001の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ1004乃至携帯電話機1007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク1003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ1002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク1003の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ1002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011から、ベースレイヤのスケーラブル符号化データ(BL)1012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部1001、配信サーバ1002、ネットワーク1003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ1002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム1000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
(第2のシステム)
また、スケーラブル符号化は、例えば、図49に示される例のように、複数の通信媒体を介する伝送のために利用される。
また、スケーラブル符号化は、例えば、図49に示される例のように、複数の通信媒体を介する伝送のために利用される。
図49に示されるデータ伝送システム1100において、放送局1101は、地上波放送1111により、ベースレイヤのスケーラブル符号化データ(BL)1121を伝送する。また、放送局1101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク1112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する(例えばパケット化して伝送する)。
端末装置1102は、放送局1101が放送する地上波放送1111の受信機能を有し、この地上波放送1111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)1121を受け取る。また、端末装置1102は、ネットワーク1112を介した通信を行う通信機能をさらに有し、このネットワーク1112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を受け取る。
端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121と、ネットワーク1112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)1122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバーフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)1121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する通信媒体を、ネットワーク1112とするか、地上波放送1111とするかを、ネットワーク1112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置1102の数も任意である。さらに、以上においては、放送局1101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム1100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
(第3のシステム)
また、スケーラブル符号化は、例えば、図50に示される例のように、符号化データの記憶に利用される。
また、スケーラブル符号化は、例えば、図50に示される例のように、符号化データの記憶に利用される。
図50に示される撮像システム1200において、撮像装置1201は、被写体1211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)1221として、スケーラブル符号化データ記憶装置1202に供給する。
スケーラブル符号化データ記憶装置1202は、撮像装置1201から供給されるスケーラブル符号化データ(BL+EL)1221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置1202は、スケーラブル符号化データ(BL+EL)1221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置1202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)1221のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置1202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置1201が監視カメラであるとする。撮像画像に監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体1211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置1202が、画像を解析することにより判定しても良い。また、撮像装置1201が判定し、その判定結果をスケーラブル符号化データ記憶装置1202に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置1201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置1201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置1201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)1221を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム1200の用途は任意であり、監視カメラに限定されない。
<第10実施の形態>
(実施のその他の例)
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
(実施のその他の例)
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
(ビデオセットの構成例)
本技術をセットとして実施する場合の例について、図51を参照して説明する。図51は、本技術を適用したビデオセットの概略的な構成の一例を示している。
本技術をセットとして実施する場合の例について、図51を参照して説明する。図51は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、1機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する1セットとして実施を行う場合も多く見られるようになってきた。
図51に示されるビデオセット1300は、このような多機能化された構成であり、画像の符号化や復号(いずれか一方でもよいし、両方でも良い)に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図51に示されるように、ビデオセット1300は、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、およびフロントエンドモジュール1314等のモジュール群と、コネクティビティ1321、カメラ1322、およびセンサ1323等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図51の例の場合、ビデオモジュール1311は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム1333、およびRFモジュール1334を有する。
プロセッサは、所定の機能を有する構成をSoC(System On a Chip)により半導体チップに集積したものであり、例えばシステムLSI(Large Scale Integration)等と称されるものもある。この所定の機能を有する構成は、論理回路(ハードウエア構成)であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム(ソフトウエア構成)であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路(ハードウエア構成)により実現し、その他の機能をCPUにおいて実行されるプログラム(ソフトウエア構成)により実現するようにしてもよい。
図51のアプリケーションプロセッサ1331は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ1331において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ1332等、ビデオモジュール1311内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ1332は、画像の符号化・復号(その一方若しくは両方)に関する機能を有するプロセッサである。
ブロードバンドモデム1333は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線(またはその両方)の広帯域通信に関する処理を行うプロセッサ(若しくはモジュール)である。例えば、ブロードバンドモデム1333は、送信するデータ(デジタル信号)をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ(デジタル信号)に変換したりする。例えば、ブロードバンドモデム1333は、ビデオプロセッサ1332が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
RFモジュール1334は、アンテナを介して送受信されるRF(Radio Frequency)信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール1334は、ブロードバンドモデム1333により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール1334は、フロントエンドモジュール1314を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図51において点線1341に示されるように、アプリケーションプロセッサ1331とビデオプロセッサ1332を、一体化し、1つのプロセッサとして構成されるようにしてもよい。
外部メモリ1312は、ビデオモジュール1311の外部に設けられた、ビデオモジュール1311により利用される記憶デバイスを有するモジュールである。この外部メモリ1312の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM(Dynamic Random Access Memory)のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール1313は、ビデオモジュール1311(ビデオモジュール1311内の各構成)への電力供給を管理し、制御する。
フロントエンドモジュール1314は、RFモジュール1334に対してフロントエンド機能(アンテナ側の送受信端の回路)を提供するモジュールである。図51に示されるように、フロントエンドモジュール1314は、例えば、アンテナ部1351、フィルタ1352、および増幅部1353を有する。
アンテナ部1351は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部1351は、増幅部1353から供給される信号を無線信号として送信し、受信した無線信号を電気信号(RF信号)としてフィルタ1352に供給する。フィルタ1352は、アンテナ部1351を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール1334に供給する。増幅部1353は、RFモジュール1334から供給されるRF信号を増幅し、アンテナ部1351に供給する。
コネクティビティ1321は、外部との接続に関する機能を有するモジュールである。コネクティビティ1321の物理構成は、任意である。例えば、コネクティビティ1321は、ブロードバンドモデム1333が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ1321が、Bluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ1321が、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ1321が、アナログ入出力端子等のその他のデータ(信号)伝送機能等を有するようにしてもよい。
なお、コネクティビティ1321が、データ(信号)の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ1321が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ(リムーバブルメディアのドライブだけでなく、ハードディスク、SSD(Solid State Drive)、NAS(Network Attached Storage)等も含む)を有するようにしてもよい。また、コネクティビティ1321が、画像や音声の出力デバイス(モニタやスピーカ等)を有するようにしてもよい。
カメラ1322は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ1322の撮像により得られた画像データは、例えば、ビデオプロセッサ1332に供給されて符号化される。
センサ1323は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ1323により検出されたデータは、例えば、アプリケーションプロセッサ1331に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット1300において、後述するようにビデオプロセッサ1332に本技術を適用することができる。したがって、ビデオセット1300は、本技術を適用したセットとして実施することができる。
(ビデオプロセッサの構成例)
図52は、本技術を適用したビデオプロセッサ1332(図51)の概略的な構成の一例を示している。
図52は、本技術を適用したビデオプロセッサ1332(図51)の概略的な構成の一例を示している。
図52の例の場合、ビデオプロセッサ1332は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図52に示されるように、ビデオプロセッサ1332は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、フレームメモリ1405、およびメモリ制御部1406を有する。また、ビデオプロセッサ1332は、エンコード・デコードエンジン1407、ビデオES(Elementary Stream)バッファ1408Aおよび1408B、並びに、オーディオESバッファ1409Aおよび1409Bを有する。さらに、ビデオプロセッサ1332は、オーディオエンコーダ1410、オーディオデコーダ1411、多重化部(MUX(Multiplexer))1412、逆多重化部(DMUX(Demultiplexer))1413、およびストリームバッファ1414を有する。
ビデオ入力処理部1401は、例えばコネクティビティ1321(図51)等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第1画像拡大縮小部1402は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第2画像拡大縮小部1403は、画像データに対して、ビデオ出力処理部1404を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第1画像拡大縮小部1402と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部1404は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ1321(図51)等に出力する。
フレームメモリ1405は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、およびエンコード・デコードエンジン1407によって共用される画像データ用のメモリである。フレームメモリ1405は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部1406は、エンコード・デコードエンジン1407からの同期信号を受けて、アクセス管理テーブル1406Aに書き込まれたフレームメモリ1405へのアクセススケジュールに従ってフレームメモリ1405に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル1406Aは、エンコード・デコードエンジン1407、第1画像拡大縮小部1402、第2画像拡大縮小部1403等で実行される処理に応じて、メモリ制御部1406により更新される。
エンコード・デコードエンジン1407は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン1407は、フレームメモリ1405から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ1408Aに順次書き込む。また、例えば、ビデオESバッファ1408Bからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ1405に順次書き込む。エンコード・デコードエンジン1407は、これらの符号化や復号において、フレームメモリ1405を作業領域として使用する。また、エンコード・デコードエンジン1407は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部1406に対して同期信号を出力する。
ビデオESバッファ1408Aは、エンコード・デコードエンジン1407によって生成されたビデオストリームをバッファリングして、多重化部(MUX)1412に供給する。ビデオESバッファ1408Bは、逆多重化部(DMUX)1413から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン1407に供給する。
オーディオESバッファ1409Aは、オーディオエンコーダ1410によって生成されたオーディオストリームをバッファリングして、多重化部(MUX)1412に供給する。オーディオESバッファ1409Bは、逆多重化部(DMUX)1413から供給されたオーディオストリームをバッファリングして、オーディオデコーダ1411に供給する。
オーディオエンコーダ1410は、例えばコネクティビティ1321(図51)等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3(AudioCode number 3)方式等の所定の方式で符号化する。オーディオエンコーダ1410は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ1409Aに順次書き込む。オーディオデコーダ1411は、オーディオESバッファ1409Bから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ1321(図51)等に供給する。
多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法(すなわち、多重化により生成されるビットストリームのフォーマット)は任意である。また、この多重化の際に、多重化部(MUX)1412は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部(MUX)1412は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ(ファイルデータ)に変換する。
逆多重化部(DMUX)1413は、多重化部(MUX)1412による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部(DMUX)1413は、ストリームバッファ1414から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する(ビデオストリームとオーディオストリームとを分離する)。つまり、逆多重化部(DMUX)1413は、逆多重化によりストリームのフォーマットを変換(多重化部(MUX)1412による変換の逆変換)することができる。例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321やブロードバンドモデム1333等(いずれも図51)から供給されたトランスポートストリームを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321により(図51)各種記録媒体から読み出されたファイルデータを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ1414は、ビットストリームをバッファリングする。例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321やブロードバンドモデム1333(いずれも図51)等に供給する。
また、例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321(図51)等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ1414は、例えばコネクティビティ1321やブロードバンドモデム1333等(いずれも図51)を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
また、ストリームバッファ1414は、例えばコネクティビティ1321(図51)等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
次に、このような構成のビデオプロセッサ1332の動作の例について説明する。例えば、コネクティビティ1321(図51)等からビデオプロセッサ1332に入力されたビデオ信号は、ビデオ入力処理部1401において4:2:2Y/Cb/Cr方式等の所定の方式のデジタル画像データに変換され、フレームメモリ1405に順次書き込まれる。このデジタル画像データは、第1画像拡大縮小部1402または第2画像拡大縮小部1403に読み出されて、4:2:0Y/Cb/Cr方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ1405に書き込まれる。この画像データは、エンコード・デコードエンジン1407によって符号化され、ビデオストリームとしてビデオESバッファ1408Aに書き込まれる。
また、コネクティビティ1321(図51)等からビデオプロセッサ1332に入力されたオーディオ信号は、オーディオエンコーダ1410によって符号化され、オーディオストリームとして、オーディオESバッファ1409Aに書き込まれる。
ビデオESバッファ1408Aのビデオストリームと、オーディオESバッファ1409Aのオーディオストリームは、多重化部(MUX)1412に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部(MUX)1412により生成されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321やブロードバンドモデム1333(いずれも図51)等を介して外部ネットワークに出力される。また、多重化部(MUX)1412により生成されたファイルデータは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321(図51)等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ1321やブロードバンドモデム1333(いずれも図51)等を介して外部ネットワークからビデオプロセッサ1332に入力されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。また、例えばコネクティビティ1321(図51)等において各種記録媒体から読み出され、ビデオプロセッサ1332に入力されたファイルデータは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。つまり、ビデオプロセッサ1332に入力されたトランスポートストリームまたはファイルデータは、逆多重化部(DMUX)1413によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ1409Bを介してオーディオデコーダ1411に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ1408Bに書き込まれた後、エンコード・デコードエンジン1407により順次読み出されて復号されてフレームメモリ1405に書き込まれる。復号された画像データは、第2画像拡大縮小部1403によって拡大縮小処理されて、フレームメモリ1405に書き込まれる。そして、復号された画像データは、ビデオ出力処理部1404に読み出されて、4:2:2Y/Cb/Cr方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、エンコード・デコードエンジン1407に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン1407が、第1および第2実施の形態に係る符号化装置や復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ1332は、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン1407において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
(ビデオプロセッサの他の構成例)
図53は、本技術を適用したビデオプロセッサ1332(図51)の概略的な構成の他の例を示している。図53の例の場合、ビデオプロセッサ1332は、ビデオデータを所定の方式で符号化・復号する機能を有する。
図53は、本技術を適用したビデオプロセッサ1332(図51)の概略的な構成の他の例を示している。図53の例の場合、ビデオプロセッサ1332は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図53に示されるように、ビデオプロセッサ1332は、制御部1511、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、および内部メモリ1515を有する。また、ビデオプロセッサ1332は、コーデックエンジン1516、メモリインタフェース1517、多重化・逆多重化部(MUX DMUX)1518、ネットワークインタフェース1519、およびビデオインタフェース1520を有する。
制御部1511は、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516等、ビデオプロセッサ1332内の各処理部の動作を制御する。
図53に示されるように、制御部1511は、例えば、メインCPU1531、サブCPU1532、およびシステムコントローラ1533を有する。メインCPU1531は、ビデオプロセッサ1332内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU1531は、そのプログラム等に従って制御信号を生成し、各処理部に供給する(つまり、各処理部の動作を制御する)。サブCPU1532は、メインCPU1531の補助的な役割を果たす。例えば、サブCPU1532は、メインCPU1531が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ1533は、メインCPU1531およびサブCPU1532が実行するプログラムを指定する等、メインCPU1531およびサブCPU1532の動作を制御する。
ディスプレイインタフェース1512は、制御部1511の制御の下、画像データを例えばコネクティビティ1321(図51)等に出力する。例えば、ディスプレイインタフェース1512は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ1321(図51)のモニタ装置等に出力する。
ディスプレイエンジン1513は、制御部1511の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン1514は、制御部1511の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516により共用される、ビデオプロセッサ1332の内部に設けられたメモリである。内部メモリ1515は、例えば、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516の間で行われるデータの授受に利用される。例えば、内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、またはコーデックエンジン1516から供給されるデータを格納し、必要に応じて(例えば、要求に応じて)、そのデータを、ディスプレイエンジン1513、画像処理エンジン1514、またはコーデックエンジン1516に供給する。この内部メモリ1515は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM(Static Random Access Memory)のような比較的(例えば外部メモリ1312と比較して)小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン1516は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン1516が対応する符号化・復号の方式は任意であり、その数は1つであってもよいし、複数であってもよい。例えば、コーデックエンジン1516は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図53に示される例において、コーデックエンジン1516は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、およびMPEG-DASH1551を有する。
MPEG-2 Video1541は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.2641542は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.2651543は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)1544は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)1545は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH1551は、画像データをMPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式で送受信する機能ブロックである。MPEG-DASHは、HTTP(HyperText Transfer Protocol)を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の1つとする。MPEG-DASH1551は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video1541乃至HEVC/H.265(Multi-view)1545を利用する。
メモリインタフェース1517は、外部メモリ1312用のインタフェースである。画像処理エンジン1514やコーデックエンジン1516から供給されるデータは、メモリインタフェース1517を介して外部メモリ1312に供給される。また、外部メモリ1312から読み出されたデータは、メモリインタフェース1517を介してビデオプロセッサ1332(画像処理エンジン1514若しくはコーデックエンジン1516)に供給される。
多重化・逆多重化部(MUX DMUX)1518は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、複数のデータを1つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、1つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部(MUX DMUX)1518は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部(MUX DMUX)1518は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ(ファイルデータ)に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース1519は、例えばブロードバンドモデム1333やコネクティビティ1321(いずれも図51)等向けのインタフェースである。ビデオインタフェース1520は、例えばコネクティビティ1321やカメラ1322(いずれも図51)等向けのインタフェースである。
次に、このようなビデオプロセッサ1332の動作の例について説明する。例えば、例えばコネクティビティ1321やブロードバンドモデム1333(いずれも図51)等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース1519を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、例えば、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321(図51)等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてファイルデータに変換され、ビデオインタフェース1520を介して例えばコネクティビティ1321(図51)等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ1321(図51)等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース1520を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321(図51)等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてトランスポートストリームに変換され、ネットワークインタフェース1519を介して例えばコネクティビティ1321やブロードバンドモデム1333(いずれも図51)等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ1332内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ1515や外部メモリ1312を利用して行われる。また、パワーマネージメントモジュール1313は、例えば制御部1511への電力供給を制御する。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、コーデックエンジン1516に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン1516が、第1および第2実施の形態に係る符号化装置や復号装置を実現する機能ブロックを有するようにすればよい。コーデックエンジン1516が、このようにすることにより、ビデオプロセッサ1332は、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン1516において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ1332の構成を2例示したが、ビデオプロセッサ1332の構成は任意であり、上述した2例以外のものであってもよい。また、このビデオプロセッサ1332は、1つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する3次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
(装置への適用例)
ビデオセット1300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット1300は、テレビジョン装置900(図44)、携帯電話機920(図45)、記録再生装置940(図46)、撮像装置960(図47)等に組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
ビデオセット1300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット1300は、テレビジョン装置900(図44)、携帯電話機920(図45)、記録再生装置940(図46)、撮像装置960(図47)等に組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
また、ビデオセット1300は、例えば、図48のデータ伝送システム1000におけるパーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置、図49のデータ伝送システム1100における放送局1101および端末装置1102、並びに、図50の撮像システム1200における撮像装置1201およびスケーラブル符号化データ記憶装置1202等にも組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット1300の各構成の一部であっても、ビデオプロセッサ1332を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ1332のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線1341により示されるプロセッサやビデオモジュール1311等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、およびフロントエンドモジュール1314を組み合わせ、本技術を適用したビデオユニット1361として実施することもできる。いずれの構成の場合であっても、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ1332を含むものであればどのような構成であっても、ビデオセット1300の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ1332、点線1341により示されるプロセッサ、ビデオモジュール1311、または、ビデオユニット1361を、テレビジョン装置900(図44)、携帯電話機920(図45)、記録再生装置940(図46)、撮像装置960(図47)、図48のデータ伝送システム1000におけるパーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置、図49のデータ伝送システム1100における放送局1101および端末装置1102、並びに、図50の撮像システム1200における撮像装置1201およびスケーラブル符号化データ記憶装置1202等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット1300の場合と同様に、図1乃至図700を参照して上述した効果と同様の効果を得ることができる。
なお、本明細書では、拡大縮小率情報、拡大縮小率対応情報などの各種情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライスやブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、符号化データとは別の伝送路上で伝送されてもよい。また、情報は、符号化データとは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と符号化データとは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
本開示は、MPEG,H.26x等のように、離散コサイン変換等の直交変換と動き補償によって圧縮されたビットストリームを、衛星放送、ケーブルTV、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。
また、本開示は、インター予測処理を行うHEVC方式以外の符号化方式の符号化装置および復号装置に適用することもできる。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
本開示は、以下のような構成もとることができる。
(1)
インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号部と
を備える復号装置。
(2)
前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
前記(1)に記載の復号装置。
(3)
前記拡大縮小部は、前記拡大縮小率が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
前記(1)または(2)に記載の復号装置。
(4)
前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
前記(1)乃至(3)のいずれかに記載の復号装置。
(5)
前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
前記(4)に記載の復号装置。
(6)
前記拡大縮小率情報は、前記インター符号化画像の水平方向と垂直方向について独立して設定される
ように構成された
前記(1)乃至(5)のいずれかに記載の復号装置。
(7)
前記拡大縮小部は、前記インター符号化画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報と、前記インター符号化画像並びに前記インター符号化画像より符号化順で前の前記参照画像および後の前記参照画像の時間距離とに基づいて、他方に対する前記拡大縮小率情報を算出する
ように構成された
前記(1)乃至(6)のいずれかに記載の復号装置。
(8)
前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分と、前記周辺ブロックの前記拡大縮小率情報とに基づいて、前記予測画像のブロックの前記拡大縮小率情報を決定する情報復号部
をさらに備える
前記(1)乃至(7)のいずれかに記載の復号装置。
(9)
前記インター符号化画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備える
前記(1)乃至(8)のいずれかに記載の復号装置。
(10)
復号装置が、
インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号ステップと
を含む復号方法。
(11)
符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送部と
を備える符号化装置。
(12)
前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
前記(11)に記載の符号化装置。
(13)
前記拡大縮小部は、前記拡大縮小率情報が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
前記(11)または(12)に記載の符号化装置。
(14)
前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
前記(11)乃至(13)のいずれかに記載の符号化装置。
(15)
前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
前記(14)に記載の符号化装置。
(16)
前記拡大縮小率情報は、前記符号化対象の画像の水平方向と垂直方向について独立して設定される
ように構成された
前記(11)乃至(15)のいずれかに記載の符号化装置。
(17)
前記伝送部は、前記符号化対象の画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報のみを伝送する
ように構成された
前記(11)乃至(16)のいずれかに記載の符号化装置。
(18)
前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分を算出する情報符号化部
をさらに備え、
前記伝送部は、前記情報符号化部により算出された前記拡大縮小率情報の差分を伝送する
ように構成された
前記(11)乃至(17)のいずれかに記載の符号化装置。
(19)
前記符号化対象の画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備え、
前記伝送部は、前記動きベクトルの符号化モードがマージモード以外である場合、前記拡大縮小率情報を伝送する
前記(11)乃至(18)のいずれかに記載の符号化装置。
(20)
符号化装置が、
符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送ステップと
を含む符号化方法。
インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号部と
を備える復号装置。
(2)
前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
前記(1)に記載の復号装置。
(3)
前記拡大縮小部は、前記拡大縮小率が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
前記(1)または(2)に記載の復号装置。
(4)
前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
前記(1)乃至(3)のいずれかに記載の復号装置。
(5)
前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
前記(4)に記載の復号装置。
(6)
前記拡大縮小率情報は、前記インター符号化画像の水平方向と垂直方向について独立して設定される
ように構成された
前記(1)乃至(5)のいずれかに記載の復号装置。
(7)
前記拡大縮小部は、前記インター符号化画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報と、前記インター符号化画像並びに前記インター符号化画像より符号化順で前の前記参照画像および後の前記参照画像の時間距離とに基づいて、他方に対する前記拡大縮小率情報を算出する
ように構成された
前記(1)乃至(6)のいずれかに記載の復号装置。
(8)
前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分と、前記周辺ブロックの前記拡大縮小率情報とに基づいて、前記予測画像のブロックの前記拡大縮小率情報を決定する情報復号部
をさらに備える
前記(1)乃至(7)のいずれかに記載の復号装置。
(9)
前記インター符号化画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備える
前記(1)乃至(8)のいずれかに記載の復号装置。
(10)
復号装置が、
インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号ステップと
を含む復号方法。
(11)
符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送部と
を備える符号化装置。
(12)
前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
前記(11)に記載の符号化装置。
(13)
前記拡大縮小部は、前記拡大縮小率情報が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
前記(11)または(12)に記載の符号化装置。
(14)
前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
前記(11)乃至(13)のいずれかに記載の符号化装置。
(15)
前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
前記(14)に記載の符号化装置。
(16)
前記拡大縮小率情報は、前記符号化対象の画像の水平方向と垂直方向について独立して設定される
ように構成された
前記(11)乃至(15)のいずれかに記載の符号化装置。
(17)
前記伝送部は、前記符号化対象の画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報のみを伝送する
ように構成された
前記(11)乃至(16)のいずれかに記載の符号化装置。
(18)
前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分を算出する情報符号化部
をさらに備え、
前記伝送部は、前記情報符号化部により算出された前記拡大縮小率情報の差分を伝送する
ように構成された
前記(11)乃至(17)のいずれかに記載の符号化装置。
(19)
前記符号化対象の画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備え、
前記伝送部は、前記動きベクトルの符号化モードがマージモード以外である場合、前記拡大縮小率情報を伝送する
前記(11)乃至(18)のいずれかに記載の符号化装置。
(20)
符号化装置が、
符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送ステップと
を含む符号化方法。
10 符号化装置, 13 伝送部, 33 演算部, 82 参照画像バッファ, 83 ローパスフィルタ, 84 生成部, 110 復号装置, 135 加算部, 145 情報復号部, 162 参照画像バッファ, 163 ローパスフィルタ, 164 生成部
Claims (20)
- インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号部と
を備える復号装置。 - 前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
請求項1に記載の復号装置。 - 前記拡大縮小部は、前記拡大縮小率情報が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
請求項1に記載の復号装置。 - 前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
請求項1に記載の復号装置。 - 前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
請求項4に記載の復号装置。 - 前記拡大縮小率情報は、前記インター符号化画像の水平方向と垂直方向について独立して設定される
ように構成された
請求項1に記載の復号装置。 - 前記拡大縮小部は、前記インター符号化画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報と、前記インター符号化画像並びに前記インター符号化画像より符号化順で前の前記参照画像および後の前記参照画像の時間距離とに基づいて、他方に対する前記拡大縮小率情報を算出する
ように構成された
請求項1に記載の復号装置。 - 前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分と、前記周辺ブロックの前記拡大縮小率情報とに基づいて、前記予測画像のブロックの前記拡大縮小率情報を決定する情報復号部
をさらに備える
請求項1に記載の復号装置。 - 前記インター符号化画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備える
請求項1に記載の復号装置。 - 復号装置が、
インター符号化画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記インター符号化画像を復号する復号ステップと
を含む復号方法。 - 符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小部と、
前記拡大縮小部により拡大または縮小された前記参照画像を用いて予測画像を生成する生成部と、
前記生成部により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送部と
を備える符号化装置。 - 前記拡大縮小部は、前記拡大縮小率情報が拡大の率を表す場合、前記参照画像内の1つの画素を、前記予測画像を構成する複数の画素として生成する
ように構成された
請求項11に記載の符号化装置。 - 前記拡大縮小部は、前記拡大縮小率情報が縮小の率を表す場合、前記参照画像の領域内の1つの画素を、その領域に対応する予測画像の画素として生成する
ように構成された
請求項11に記載の符号化装置。 - 前記拡大縮小部により拡大または縮小された前記参照画像に対して、ブロック単位でローパスフィルタ処理を施すフィルタ処理部
をさらに備え、
前記生成部は、前記フィルタ処理部によりローパスフィルタ処理が施された前記参照画像を用いて前記予測画像を生成する
請求項11に記載の符号化装置。 - 前記フィルタ処理部は、前記ブロックのサイズが所定のサイズより小さい場合、前記参照画像に対して前記ローパスフィルタ処理を施す
ように構成された
請求項14に記載の符号化装置。 - 前記拡大縮小率情報は、前記符号化対象の画像の水平方向と垂直方向について独立して設定される
ように構成された
請求項11に記載の符号化装置。 - 前記伝送部は、前記符号化対象の画像より符号化順で前の前記参照画像または後の前記参照画像のいずれか一方に対する前記拡大縮小率情報のみを伝送する
ように構成された
請求項11に記載の符号化装置。 - 前記予測画像のブロックに対応する前記拡大縮小率情報と、そのブロックの周辺のブロックである周辺ブロックに対応する前記拡大縮小率情報との差分を算出する情報符号化部
をさらに備え、
前記伝送部は、前記情報符号化部により算出された前記拡大縮小率情報の差分を伝送する
ように構成された
請求項11に記載の符号化装置。 - 前記符号化対象の画像における動きベクトルの符号化モードがマージモードである場合、前記マージモードで動きベクトルが参照される前記予測画像のブロックに対応する拡大縮小率情報を、参照元の前記予測画像のブロックに対応する前記拡大縮小率情報に決定する決定部
をさらに備え、
前記伝送部は、前記動きベクトルの符号化モードがマージモード以外である場合、前記拡大縮小率情報を伝送する
請求項11に記載の符号化装置。 - 符号化装置が、
符号化対象の画像に対する参照画像の拡大または縮小の率を表す拡大縮小率情報に基づいて、前記参照画像を拡大または縮小する拡大縮小ステップと、
前記拡大縮小ステップの処理により拡大または縮小された前記参照画像を用いて予測画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記予測画像を用いて、前記符号化対象の画像を符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データと前記拡大縮小率情報とを伝送する伝送ステップと
を含む符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013272511A JP2015128205A (ja) | 2013-12-27 | 2013-12-27 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
PCT/JP2014/082920 WO2015098559A1 (ja) | 2013-12-27 | 2014-12-12 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013272511A JP2015128205A (ja) | 2013-12-27 | 2013-12-27 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015128205A true JP2015128205A (ja) | 2015-07-09 |
Family
ID=53478423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013272511A Pending JP2015128205A (ja) | 2013-12-27 | 2013-12-27 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2015128205A (ja) |
WO (1) | WO2015098559A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047900A1 (ko) * | 2015-09-18 | 2017-03-23 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2551199B (en) * | 2016-06-10 | 2019-12-18 | Advanced Risc Mach Ltd | Video data processing system |
JP6905184B2 (ja) | 2017-06-07 | 2021-07-21 | 富士通株式会社 | 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02274081A (ja) * | 1989-04-17 | 1990-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法および装置 |
JPH0349373A (ja) * | 1989-07-17 | 1991-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方式 |
JPH06153185A (ja) * | 1992-11-06 | 1994-05-31 | Toshiba Corp | 動き補償装置及びこれを用いた符号化装置 |
JPH0795590A (ja) * | 1993-09-17 | 1995-04-07 | Sony Corp | 映像信号処理装置、映像信号処理方法及び撮像装置 |
JP2000059612A (ja) * | 1998-08-04 | 2000-02-25 | Canon Inc | 画像処理装置及びその方法 |
JP2004129099A (ja) * | 2002-10-07 | 2004-04-22 | Nec Corp | 動きベクトル探索方法および装置 |
TWI468020B (zh) * | 2009-02-19 | 2015-01-01 | Sony Corp | Image processing apparatus and method |
JP5950541B2 (ja) * | 2011-11-07 | 2016-07-13 | キヤノン株式会社 | 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム |
JP2013145971A (ja) * | 2012-01-13 | 2013-07-25 | Jvc Kenwood Corp | 画像復号装置、画像復号方法及び画像復号プログラム |
-
2013
- 2013-12-27 JP JP2013272511A patent/JP2015128205A/ja active Pending
-
2014
- 2014-12-12 WO PCT/JP2014/082920 patent/WO2015098559A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047900A1 (ko) * | 2015-09-18 | 2017-03-23 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
Also Published As
Publication number | Publication date |
---|---|
WO2015098559A1 (ja) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6442566B2 (ja) | 符号化装置および符号化方法 | |
JP6741126B2 (ja) | 画像復号装置および方法 | |
JP6358475B2 (ja) | 画像復号装置および方法、並びに、画像符号化装置および方法 | |
JP6287035B2 (ja) | 復号装置および復号方法 | |
WO2015053115A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
US10148959B2 (en) | Image coding device and method, and image decoding device and method | |
JP2020123984A (ja) | 画像処理装置、画像処理方法、記録媒体、およびプログラム | |
WO2015053116A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2015098561A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JPWO2019039283A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2015005899A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2015098559A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2015053112A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JP6477930B2 (ja) | 符号化装置および符号化方法 | |
JP6150134B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体 | |
JP2015008359A (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
WO2015053111A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2015064401A1 (ja) | 画像処理装置および方法 | |
JP6402802B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
WO2014162916A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
JP2015050738A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2014203762A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 |