JP2016076758A - 再生装置、符号化装置、および再生方法 - Google Patents

再生装置、符号化装置、および再生方法 Download PDF

Info

Publication number
JP2016076758A
JP2016076758A JP2014204428A JP2014204428A JP2016076758A JP 2016076758 A JP2016076758 A JP 2016076758A JP 2014204428 A JP2014204428 A JP 2014204428A JP 2014204428 A JP2014204428 A JP 2014204428A JP 2016076758 A JP2016076758 A JP 2016076758A
Authority
JP
Japan
Prior art keywords
unit
data
image data
conversion
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014204428A
Other languages
English (en)
Inventor
中條　健
Takeshi Nakajo
健 中條
俊一 権藤
Shunichi Gondo
俊一 権藤
昭行 谷沢
Akiyuki Tanizawa
昭行 谷沢
知也 児玉
Tomoya Kodama
知也 児玉
孝幸 伊東
Takayuki Ito
孝幸 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014204428A priority Critical patent/JP2016076758A/ja
Priority to US14/872,542 priority patent/US9788025B2/en
Publication of JP2016076758A publication Critical patent/JP2016076758A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Library & Information Science (AREA)

Abstract

【課題】再生画像の画質向上を図る。
【解決手段】再生装置１０は、取得部１１と、復号部１２と、合成部１３と、を含む。取得部１１は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部１２は、前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【選択図】図５

Description

本発明の実施形態は、再生装置、符号化装置、および再生方法に関する。
符号化データをセグメントファイルに分割し、ダウンロードするファイルを伝送状態や回線速度などに応じて切り替えて配信する、アダプティブストリーミングが知られている。
特表２０１３−５０９８１８号公報
しかしながら、従来では、符号化歪の異なるファイルを連続して再生することとなり、再生画像の画質劣化が生じていた。
本発明が解決しようとする課題は、再生画像の画質向上を図ることができる、再生装置、符号化装置、および再生方法を提供することである。
実施形態の再生装置は、取得部と、復号部と、合成部と、を備える。取得部は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部は、前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部は、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
実施の形態の符号化装置の模式図。 変換部の模式図。 切出の説明図。 符号化処理の手順を示すフローチャート。 再生装置の機能的構成を示す模式図。 合成部の模式図。 再生処理の手順を示すフローチャート。 変換部の模式図。 合成部の模式図。 変換部の模式図。 合成部の模式図。 合成部の模式図。 画像再生システムの機能的構成を示す図。 ハードウェア構成を示すブロック図。
（第１の実施の形態）
−符号化装置−
図１は、本実施の形態の符号化装置２０の機能的構成を示す模式図である。
符号化装置２０は、原画像データを符号化する。原画像データは、動画像データである。
符号化装置２０は、変換部２１と、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
変換部２１は、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって得られたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１は、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
また、変換部２１は、原画像データに施した変換処理を示す変換情報を生成部２３へ出力する。
変換処理は、可逆な公知の変換処理であってもよいし、非可逆な公知の変換処理であってもよい。非可逆な変換処理は、変換と逆変換によって完全に元に戻らない変換処理を含む。
変換処理は、例えば、切出、縮小、拡大、回転、反転、画素移動、および画素値変換、の少なくとも１つである。
切出は、原画像データの一部を切り出す処理である。具体的には、原画像データの各フレームの一部を切り出す処理である。回転は、原画像データの各フレームの画像を所定方向（例えば、時計回り、反時計回り）に所定角度回転させる処理である。反転は、原画像データの各フレームの画像を反転させる処理である。画素移動は、原画像データの各フレームの画素の画素位置を左右または上下方向にＭ画素（Ｍは整数）ずらす処理である。
画素値変換は、色変換（例えば、ＲＧＢ系の色空間をＣＭＹＫの色空間へ変換する色変換）や、ガンマ変換、ウェーブレット（Ｗａｖｅｌｅｔ）変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する変換処理、などである。
なお、原画像データにおける、変換処理対象の信号は、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。また、原画像データの色形式は限定されず、ＲＧＢ、ＹＵＶなどの何れであってもよい。
本実施の形態では、変換部２１は、変換処理として切出を行う場合を、一例として説明する。
図２は、符号化装置２０における変換部２１の模式図である。図２に示す例では、変換部２１は、切出部３０を含む。本実施の形態では、変換部２１は、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１の切出部３０は、原画像データから各フレームの一部を切り出す切出を行ない、切出した画像データを、第２の画像データとして符号化部２２へ出力する。また、切出部３０は、切出し時の切出条件を示す情報を、変換情報として、生成部２３へ出力する。切出条件は、原画像データの各フレームにおける切出し開始位置、および大きさを含む。
図３は、切出部３０による切出の説明図である。図３における外側の長方形は、原画像データの各フレームＰを表し、図３における左上の頂点を原点（０，０）とする座標系を有する。切出部３０は、原画像データの各フレームＰ内における、座標（ｘ，ｙ）で表される切出位置ＰＡ１を開始位置とする、予め定めた大きさの領域（図３中、ｗｉｄｔｈ、ｈｉｇｈｔで表される領域）ＰＡを切り出す。そして、切出部３０は、原画像データのフレーム毎に切出した領域ＰＡからなる画像データを、第２の画像データとして符号化部２２へ出力する。
図２に戻り、変換部２１は、切出部３０によって原画像データから切出された第２の画像データを符号化部２２へ出力する。また、変換部２１は、原画像データを第１の画像データとして符号化部２２へ出力する。また、変換部２１は、変換情報を生成部２３へ出力する。本実施の形態では、変換情報は、各フレームにおける切出位置（ｘ，ｙ）と、切出領域の大きさと、を含む。なお、切出領域の大きさを示す情報は、第２の画像データのシステム情報に含ませ、変換情報は、切出領域の大きさを示す情報を含まない形態であってもよい。
ここで、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣといった一般的な画像符号化方式においては、１６×１６画素単位といった２のべき乗のブロック単位に符号化処理が行われる。また、同じく変換処理も、４×４画素、８×８画素といった２のべき乗のブロック単位のため、符号化歪が、これらの単位で生じる傾向がある。
そこで、変換部２１の切出部３０は、原画像データにおける第２の画像データの切出位置（ｘ，ｙ）を、これらのブロック単位からずらして切出すことが好ましい。この処理により、後述する再生装置側で符号化歪を打ち消すことができる。
具体的には、原画像データの色差フォーマットが、４：２：０フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの縦、横とも半分の画素数しかない。このため、この場合、切出部３０は、例えば、原画像データからの切出位置（ｘ，ｙ）のｘ，ｙの値を４Ｎ+２（Ｎ＞＝０の整数）とすればよい。
原画像データの色差フォーマットが、４：２：２フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの横に半分の画素になる。このため、この場合、切出部３０は、切出位置（ｘ，ｙ）におけるｘを４Ｎ+２（Ｎ＞＝０の整数）とし、ｙを２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
また、原画像データの色差フォーマットが４：４：４フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号と同じ画素数になる、このため、この場合、切出部３０は、切出位置（ｘ，ｙ）のｘ，ｙの値を、２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
なお、本実施の形態では、変換部２１は、原画像データを、第１の画像データとして符号化部２２へ出力し、原画像データに対して切出を行うことによって切出した画像データを、第２の画像データとして符号化部２２へ出力する場合を説明する。しかし、変換部２１は、原画像データに対して、互いに異なる変換処理を行うことによって、原画像データを第１の画像データおよび第２の画像データに変換すればよい。このため、変換部２１は、原画像データを第１の画像データとして出力する形態に限定されず、原画像データに、第２の画像データとは異なる変換処理を施して第１の画像データとして出力してもよい。
図１に戻り、符号化部２２は、変換部２１から第１の画像データを受け付ける。また、符号化部２２は、変換部２１から第２の画像データを受け付ける。符号化部２２は、第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する。
本実施の形態では、符号化部２２は、第１の符号化部２５と、第２の符号化部２６と、を含む。第１の符号化部２５および第２の符号化部２６は、同じ符号化方式を用いた符号化を行ってもよいし、異なる符号化方式を用いた符号化を行ってもよい。但し、第１の符号化部２５および第２の符号化部２６の少なくとも一方は、非可逆な符号化を行う。
第１の符号化部２５および第２の符号化部２６の行う符号化方式は、公知の符号化方式であり、限定されない。符号化部２２（第１の符号化部２５、第２の符号化部２６）の行う符号化方式は、例えば、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化方式である。
なお、異なる符号化方式とは、符号化条件が異なる場合を含む。例えば、符号化部２２は、符号化データの内部に記述されるパラメータを変更することで、異なる符号化条件の符号化データ（第１の符号化データ、第２の符号化データ）を生成してもよい。
例えば、第１の符号化データと第２の符号化データの符号化フレームレートが異なっていてもよい。
ここで、動画像符号化方式においては、ランダムアクセス性を実現するために、時間的、周期的にイントラフレームを挿入する符号化構造が取られる。このため、符号化部２２は、イントラフレームが挿入される位置や周期を変えることで、符号化方式の異なる第１の符号化データと第２の符号化データを生成してもよい。
また、動画像符号化方式においては、時間的に過去と未来の双方から予測を行うことが可能な双方向予測フレームが用いられる場合もある。このため、符号化部２２は、その時の双方向予測のフレームの枚数や双方向予測フレームの時間的な位置を異なるものとすることによって、符号化方式の異なる第１の符号化データと第２の符号化データとを生成してもよい。
さらに、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣといったより柔軟な参照画像間の予測構造をとれる符号化方式においては、階層Ｂ構造や階層Ｐ構造と言われるような参照、非参照の符号化画像と量子化パラメータの重み付けによって、符号化効率を向上させることができる。このため、符号化部２２は、異なる階層構造を用いたり、時間的な階層構造や周期を異なるものとすることによって、符号化方式の異なる第１の符号化データと第２の符号化データとを生成してもよい。
なお、符号化部２２は、１つの符号化方式を用いるのみではなく、複数の符号化方式を組み合わせて用いても良い。
第１の符号化部２５は、変換部２１から受け付けた第１の画像データを符号化し、第１の符号化データを生成する。また、第１の符号化部２５は、第１の符号化データの復号時に用いる第１の画質情報を生成部２３へ出力する。第１の画質情報は、例えば、第１の符号化部２５が符号化時に生成した局部復号画像と第１の画像データとの標準偏差情報などを含む。
第２の符号化部２６は、変換部２１から受け付けた第２の画像データを符号化し、第２の符号化データを生成する。また、第２の符号化部２６は、第２の符号化データの復号時に用いる第２の画質情報を生成部２３へ出力する。第２の画質情報は、例えば、第２の符号化部２６が符号化時に生成した局部復号画像と第２の画像データとの標準偏差情報などを含む。
なお、本実施の形態では、変換部２１は、原画像データに互いに異なる変換処理を行うことによって、２種類の入力画像データ（第１の画像データ、第２の画像データ）を出力する場合を説明する。
しかし、変換部２１は、原画像データに互いに異なる変換処理を行うことによって、３種類以上の入力画像データを符号化部２２へ出力してもよい。
この場合には、符号化部２２は、受け付けた入力画像データの種類の数に応じた符号化部を含む構成とすればよい。例えば、変換部２１から受け付けた入力画像データが３種類である場合には、符号化部２２は、３つの符号化部（第１の符号化部２５、第２の符号化部２６、および第３の符号化部（図示省略）を備えた構成とすればよい。
生成部２３は、変換部２１から変換情報を受け付ける。また、生成部２３は、第１の符号化部２５から第１の画質情報を受け付ける。また、生成部２３は、第２の符号化部２６から第２の画質情報を受け付ける。
生成部２３は、補助情報を生成し、出力部２４へ出力する。補助情報は、後述する再生装置における再生画像データの生成時に用いる情報である。本実施の形態では、補助情報は、変換情報と、合成情報と、を含む。
なお、補助情報は、少なくとも変換情報を含む情報であればよく、合成情報を含まない形態であってもよい。すなわち、後述する再生装置側で、合成情報を符号化データ（第１の符号化データ、第２の符号化データ）などから取得または算出できる場合には、補助情報は、合成情報を含まない形態であってもよい。
合成情報は、後述する再生装置における、第１の復号データと第２の復号データとの合成時に必要な情報である。再生装置が行う合成は、詳細は後述するが、第１の復号データと第２の復号データとの画素位置が一致するように変換し合成する処理である。
合成情報は、具体的には、重み付け係数または重み付け係数の算出に用いる量子化パラメータなどを含む。
重み付け係数は、第１の復号データと第２の復号データとの合成時に用いる。具体的には、重み付け係数は、第１の復号データの各画素の画素値と、第２の復号データの対応する各画素位置の各画素の画素値と、の合成時に、各画素の画素値に与える重み付け係数である。
生成部２３は、例えば、式（１）〜式（４）を用いて重み付け係数Ｗを算出する。
Figure 2016076758
式（１）〜式（４）中、ｄ１は、第１の符号化部２５が符号化時に生成した局部復号信号である。ｄｏｒｇ１は、第１の画像データである。σ１は、第１の符号化部２５が生成した第１の画質情報で、第１の符号化データの符号化歪の標準偏差を示す。ｄ２は、第２の符号化部２６が符号化時に生成した局部復号信号である。ｄｏｒｇ２は、第２の画像データである。σ２は、第２の符号化部２６が生成した第２の画質情報で第２の符号化データの符号化歪の標準偏差を示す。
また、式（１）〜式（４）中、ｄ（ｘ，ｙ）は、重み付け平均値となる再生画像信号を示す。第１引数が、水平方向の画素位置を示し、第２引数が、垂直方向の画素位置を示す。ｗは、水平方向の画像サイズ、ｈは垂直方向の画像サイズを示す。
式（２）に示すように、生成部２３は、二つの標準偏差の二乗、つまり分散（σ１ 2、σ２ 2）の逆数の比によって、重み付け係数Ｗを算出する。これは、原画像データを画像変換および符号化した符号化データ（第１の符号化データ、第２の符号化データ）の誤差である符号化歪が、ガウス分布であると仮定し、これらを復号した第１の復号データおよび第２の復号データの誤差分布をそれぞれの分散で正規化して平均することで、誤差の削減を狙ったためである。
なお、上述したように、符号化部２２が３種類以上の入力画像データを受け付け、符号化部２２が３つ以上の符号化部（第１の符号化部２５、第２の符号化部２６、第ｉの符号化部（ｉは整数））を含む場合には、生成部２３は、式（５）〜式（６）を用いて重み付け係数Ｗおよび重み付け平均値ｄを算出すればよい。
Figure 2016076758
式（５）〜式（６）中、ｄ（ｘ，ｙ）は、重み付け平均値となる再生画像信号を示す。ｄｉは、符号化部２２に含まれる第ｉ番目の復号符号部が生成した局部復号信号である。ｉは、１以上の整数である。σiは、第ｉ番目の符号化部が生成した符号化データを復号した復号データと、原画像データと、の標準偏差を示す。
なお、生成部２３は、他の方式により重み付け係数Ｗを算出してもよい。
ここで、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣの量子化器の設計では、量子化パラメータとＰＳＮＲ（歪率）とが比例関係になることが知られている。この場合、原画像データと復号データとの標準偏差を求める必要がない。
このため、生成部２３は、符号化部２２による符号化方式がＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣである場合には、式（７）および式（８）を用いて、重み付け係数Ｗを算出する。
Figure 2016076758
式（７）および式（８）中、ＱＰｉは、第ｉ番目の符号化部の量子化パラメータを示す。Ｗｉは、重み付け係数を示す。αは、原画像データに依存する変数である。
この場合、生成部２３は、重み付け係数と、変数αと、を合成情報として生成すればよい。なお、量子化パラメータＱＰｉは、符号化データに含まれる情報のため、合成情報に含める必要はない。また、量子化パラメータＱＰｉが、複数の符号化部（第１の符号化部２５、第２の符号化部２６、第ｉの符号化部）で同一である場合、重み係数は同一になるため、合成情報に含める必要はない。
なお、重み付け係数Ｗは、後述する再生装置側で算出してもよい。この場合には、例えば、上記式（７）および式（８）等を用いて、再生装置側で重み付け係数を算出してもよい。
出力部２４は、符号化部２２から第１の符号化データ、および第２の符号化データを受け付ける。出力部２４は、生成部２３から補助情報を受け付ける。
出力部２４は、伝送情報を再生装置へ出力する。伝送情報は、第１の符号化データと、第２の符号化データと、を少なくとも含む。なお、上述したように、符号化部２２が３つ以上の符号化部を含む場合には、出力部２４は、３つ以上の符号化データを受け付ける。この場合には、符号化部２２は、これらの３つ以上の符号化データを少なくとも含む伝送情報を出力する。
伝送情報は、更に、補助情報を含んでいてもよい。
図４は、符号化装置２０が実行する符号化処理の手順を示すフローチャートである。
まず、変換部２１が、原画像データに互いに異なる変換処理を行い、第１の画像データおよび第２の画像データに変換する（ステップＳ１００）。次に、符号化部２２が、第１の画像データおよび第２の画像データの各々を符号化し、第１の符号化データおよび第２の符号化データを生成する（ステップＳ１０２）。
次に、生成部２３が、補助情報を生成する（ステップＳ１０４）。次に、出力部２４が、第１の符号化データ、および第２の符号化データを少なくとも含む伝送情報を生成する（ステップＳ１０６）。そして、出力部２４は、伝送情報を出力し（ステップＳ１０８）、本ルーチンを終了する。
−再生装置−
図５は、本実施の形態の再生装置１０の機能的構成を示す模式図である。
再生装置１０は、符号化装置２０から伝送情報を受け付け、再生画像データを生成し、再生する。
再生装置１０は、取得部１１と、復号部１２と、合成部１３と、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
取得部１１は、符号化装置２０から伝送情報を取得する。上述したように、伝送情報は、第１の符号化データおよび第２の符号化データを少なくとも含む。また、伝送情報は、更に、補助情報を含んでいてもよい。
上述したように、第１の符号化データおよび第２の符号化データは、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成されたデータである。
取得部１１は、ＩＳＯベースファイルフォーマットやＭＰＥＧ−２ ＴＳ等のシステム情報を復号し、伝送情報から第１の符号化データおよび第２の符号化データを取り出す。そして、取得部１１は、第１の符号化データおよび第２の符号化データを復号部１２へ出力する。
また、取得部１１は、受け付けた伝送情報に補助情報が含まれる場合には、補助情報を補助情報復号部１６へ出力する。
復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。
復号部１２は、第１の復号部１４、および第２の復号部１５を含む。
第１の復号部１４は、第１の符号化データを復号し、第１の復号データを生成する。第１の復号部１４は、第１の復号データを合成部１３へ出力する。第２の復号部１５は、第２の符号化データを復号し、第２の復号データを生成する。第２の復号部１５は、第２の復号データを合成部１３へ出力する。
なお、第１の復号部１４は、第１の符号化データが、原画像データを第１の画像データとし、該第１の画像データを符号化したデータである場合、復号した第１の復号データを、更に、外部（公知の表示装置など）へ出力してもよい。
なお、本実施の形態では、伝送情報に含まれる符号化データは、第１の符号化データ、および第２の符号化データ、の２種類である場合を説明する。
しかし、伝送情報に含まれる符号化データは、３種類以上であってもよい。この場合には、復号部１２は、伝送情報に含まれる符号化データの種類の数に応じた復号部を含む構成とすればよい。伝送情報に３種類の符号化データが含まれる場合には、復号部１２は、３つの復号部（第１の復号部１４、第２の復号部１５、第３の復号部（図示省略））を備えた構成とすればよい。
補助情報復号部１６は、取得部１１から補助情報を受け付ける。補助情報復号部１６は、補助情報に含まれる、変換情報と、合成情報と、を合成部１３へ出力する。なお、補助情報が符号化されている場合には、補助情報復号部１６は、補助情報を復号し、復号した補助情報に含まれる、変換情報と、合成情報と、を合成部１３へ出力する。
合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換（変換処理）し、合成して再生画像データを生成する。この変換処理（変換）は、符号化装置２０で、該第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理を示す。
上述したように、変換処理は、非可逆な変換処理である。また、上述したように、変換処理は、例えば、切出、縮小、拡大、回転、反転、画素移動、フォーマット変換処理、および画素値変換、の少なくとも１つである。
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が切出である場合を、一例として説明する。
図６は、再生装置１０における合成部１３の模式図である。図６に示す例では、合成部１３は、切出部１５０と、加算部１６０と、を含む。
切出部１５０は、補助情報復号部１６から受け付けた補助情報に含まれる変換情報を読取る。例えば、変換情報が、切出し時の切出条件を示す情報（原画像データの各フレームにおける切出し開始位置、および大きさ）を含むとする。この場合、切出部１５０は、第１の復号データの各フレームから、読取った切出し開始位置および大きさの画像を切り出す。切出部１５０は、この切出した画像データを、変換処理を施した第１の復号データとして用いる。この処理により、切出部１５０は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換する。
加算部１６０は、第２の復号データと、切出部１５０が変換処理を施した第１の復号データと、を合成し、再生画像データを生成する。
詳細には、合成部１３の加算部１６０は、重み付け係数Ｗを用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
更に詳細には、加算部１６０は、第２の復号データと、切出部１５０が変換処理を施した第１の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
具体的には、加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、第２の復号データの対応する各画素位置の画素の画素値に「１−Ｗ」を乗算した値と、の重み付け平均値を、合成後の各画素の画素値とした、再生画像データを生成する。なお、重み付け係数Ｗは、０以上１以下の実数である。また、上記「１−Ｗ」のＷは、重み付け係数Ｗである。
そして、合成部１３は、生成した再生画像データを出力する。
なお、合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、画素位置が互いに一致するように変換された第１の復号データに含まれる各画素の画素値と第２の復号データに含まれる各画素の画素値との中間値を、合成後の各画素の画素値とした再生画像データを生成してもよい。
具体的には、合成部１３の加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値と、第２の復号データの対応する各画素位置の画素の画素値と、の各画素位置の画素毎の画素値の平均値（中間値）を、合成後の各画素の画素値とした再生画像データを生成してもよい。
なお、合成部１３の加算部１６０による加算方法としては、重み付け平均値や単純平均値を用いる以外に、ロバスト推定値と呼ばれる手法を適用してもよい。例えば、加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値と、第２の復号データの対応する各画素位置の画素の画素値と、の中央値（サンプル数が奇数なら真ん中の値、偶数なら真ん中の二つの平均）を用いてもよい。
次に、再生装置１０が実行する再生処理の手順を説明する。図７は、再生装置１０が実行する再生処理の手順を示すフローチャートである。
まず、取得部１１が、符号化装置２０から伝送情報を取得する（ステップＳ２００）。復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する（ステップＳ２０２）。
次に、合成部１３が、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する（ステップＳ２０４）。そして、本ルーチンを終了する。
以上説明したように、本実施の形態では、符号化装置２０は、変換部２１と、符号化部２２と、出力部２４と、を備える。変換部２１は、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。符号化部２２は、第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する。出力部２４は、第１の符号化データおよび第２の符号化データを含む伝送情報を出力する。
このように、第１の符号化データおよび第２の符号化データは、少なくとも一方を非可逆な符号化を行って生成された符号化データである。また、第１の符号化データおよび第２の符号化データの、符号化前のデータである第１の画像データおよび第２の画像データは、同じ原画像データに、異なる変換処理を施すことによって生成された画像データである。
ここで、非可逆な符号化には、符号化歪が生じることが知られている。このため、第１の符号化データと第２の符号化データには、異なる符号化歪が生じる。本実施の形態では、符号化装置２０は、同じ原画像データから生成した、これらの異なる符号化歪の生じた第１の符号化データと第２の符号化データとを含む伝送情報を再生装置１０へ出力する。
このため、符号化装置２０は、画質向上した再生画像データを生成可能な、伝送情報を生成することができる。従って、本実施の形態の符号化装置２０は、再生画像の画質向上を図ることができる。
また、本実施の形態の再生装置１０は、取得部１１と、復号部１２と、合成部１３と、を含む。取得部１１は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
このように、再生装置１０は、同じ原画像データから生成した、異なる符号化歪の生じた第１の符号化データと第２の符号化データとを含む伝送情報を取得する。そして、合成部１３は、これらの符号化データを復号した第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
このように、再生装置１０は、異なる符号化歪を含む第１の復号データと第２の復号データとを合成することで、符号化歪を除去し、画質向上した再生画像データを生成することができる。
従って、本実施の形態の再生装置１０は、再生画像データの画質向上を図ることができる。
（第２の実施の形態）
本実施の形態では、変換処理が縮小である場合を説明する。
−符号化装置−
図１は、本実施の形態の符号化装置２０Ａの機能的構成を示す模式図である。
符号化装置２０Ａは、原画像データを符号化する。符号化装置２０Ａは、変換部２１Ａと、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１Ａ、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
符号化装置２０Ａは、変換部２１に代えて変換部２１Ａを備えた以外は、符号化装置２０と同様の構成である。
変換部２１Ａは、変換部２１と同様に、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって得られたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１Ａは、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
本実施の形態では、変換部２１Ａは、変換処理として縮小を行う場合を、一例として説明する。
図８は、符号化装置２０Ａにおける変換部２１Ａの模式図である。図８に示す例では、変換部２１Ａは、縮小部３０Ａを含む。本実施の形態では、変換部２１Ａは、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１Ａの縮小部３０Ａは、原画像データの画像サイズを縮小し、第２の画像データとして符号化部２２へ出力する。
なお、原画像データにおける縮小対象は、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。
また、変換部２１Ａは、画像サイズの縮小率を変換情報として、生成部２３へ出力する。符号化部２２、生成部２３、および出力部２４の処理は、第１の実施の形態と同様である。
すなわち、符号化装置２０Ａの符号化部２２が、第１の画像データおよび第２の画像データを符号化し第１の符号化データおよび第２の符号化データを生成する。次に、生成部２３が、補助情報を生成する。次に、出力部２４が、第１の符号化データおよび第２の符号化データを少なくとも含む伝送情報を生成する。そして、出力部２４は、伝送情報を出力する。
−再生装置−
図５は、本実施の形態の再生装置１０Ａの機能的構成を示す模式図である。
再生装置１０Ａは、符号化装置２０Ａから伝送情報を受け付け、再生画像データを生成し、再生する。
再生装置１０Ａは、取得部１１と、復号部１２と、合成部１３Ａと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ａ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
再生装置１０Ａは、合成部１３に代えて合成部１３Ａを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
すなわち、再生装置１０Ａの取得部１１は、符号化装置２０Ａから伝送情報を取得する。そして、再生装置１０Ａの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ａへ出力する。また、合成部１３Ａは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
合成部１３Ａは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が縮小である場合を、一例として説明する。
図９は、再生装置１０Ａにおける合成部１３Ａの模式図である。図９に示す例では、合成部１３Ａは、拡大部１５０Ａと、加算部１６０Ａと、を含む。
拡大部１５０Ａは、補助情報復号部１６から受け付けた補助情報に含まれる変換情報を読取る。例えば、変換情報が、縮小率を含むとする。この場合、拡大部１５０Ａは、第１符号化データおよび第２符号化データに対応する原画像データに施された変換処理の逆変換処理を行う。本実施の形態では、合成部１３Ａは、縮小の逆の拡大を行う。
すなわち、合成部１３Ａの拡大部１５０Ａは、変換情報に含まれる縮小率から、該縮小率の逆の拡大率を算出する。そして、拡大部１５０Ａは、第２の復号データの画像サイズを、算出した拡大率で拡大する。拡大部１５０Ａは、この拡大した画像データを、逆変換処理を施した第２の復号データとして用いる。この処理により、拡大部１５０Ａは、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換する。
拡大部１５０Ａによる拡大対象は、第２の復号データの輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。また、第１の復号データおよび第１の復号データは、ＲＧＢデータであってもよい。
なお、拡大部１５０Ａは、第１の復号データおよび第２の画像データの少なくとも一方に、拡大または縮小を行うことによって、第１の復号データと第２の復号データとの画素位置が一致するように変換してもよい。
加算部１６０Ａは、拡大部１５０Ａが拡大を施した第２の復号データと、第１の復号データと、を合成し、再生画像データを生成する。
詳細には、加算部１６０Ａは、第１の実施の形態の加算部１６０と同様に、合成情報に含まれる重み付け係数Ｗを用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
また、加算部１６０Ａは、第１の実施の形態の加算部１６０と同様に、画素位置が互いに一致するように変換された第１の復号データに含まれる各画素の画素値と第２の復号データに含まれる各画素の画素値との中間値や、平均値や、ロバスト推定値などを用いて、再生画像データを生成してもよい。
以上説明したように、本実施の形態では、符号化装置２０Ａの変換部２１Ａは、変換処理として縮小を行う。また、再生装置１０Ａの合成部１３Ａ（拡大部１５０Ａ）は、第１の復号データおよび第２の画像データ少なくとも一方に、拡大または縮小を行うことによって、第１の復号データと第２の復号データとの画素位置が一致するように変換する。
このように、変換処理として縮小を用いた場合についても、第１の実施の形態と同様に、符号化装置２０Ａは、画質向上した再生画像データを生成可能な、伝送情報を生成することができる。従って、本実施の形態の符号化装置２０Ａは、再生画像の画質向上を図ることができる。
また、本実施の形態の再生装置１０Ａは、異なる符号化歪を含む第１の復号データと第２の復号データとを合成することで、符号化歪を除去し、画質向上した再生画像データを生成することができる。
従って、本実施の形態の再生装置１０Ａは、再生画像データの画質向上を図ることができる。
なお、本実施の形態では、符号化装置２０Ａの変換部２１Ａは、原画像データを第１の画像データとして出力し、原画像データを縮小して第２の画像データを生成する場合を説明した。しかし、変換部２１Ａは、原画像データに、異なる縮小条件による縮小を行うことによって、原画像データから第１の画像データと第２の画像データとを生成してもよい。
また、本実施の形態では、再生装置１０Ａの合成部１３Ａが逆変換処理として第２の復号データを拡大する形態を説明した。しかし、合成部１３Ａは、第１の復号データおよび第２の復号データの双方に、逆変換処理または変換処理を行ってもよい。
なお、本実施の形態では、符号化装置２０Ａの変換部２１Ａが変換処理として縮小を行い、再生装置１０Ａの合成部１３Ａが逆変換処理として拡大を行う形態を説明したが、変換部２１Ａは他の変換処理を行ってもよく、合成部１３Ａは該他の変換処理および他の逆変換処理の少なくとも一方を行ってもよい。
例えば、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データを回転する回転を行ってもよい。例えば、縮小部３０Ａは、原画像データの各フレームの画像を時計回りに９０°、１８０°、または２７０°に回転する回転を行ってもよい。そして、縮小部３０Ａは、回転した原画像データを、第２の画像データとして出力してもよい。
また、縮小部３０Ａは、変換情報として、回転角度および回転方向を出力すればよい。
この場合、再生装置１０Ａの拡大部１５０Ａは、変換情報に基づいて、第２の復号データに該回転の逆の逆回転を行えばよい。例えば、拡大部１５０Ａは、第２の復号データの各フレームの画像を反時計回りに９０°、１８０°、または２７０°に回転する回転を行えばよい。
また、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データの各フレームの画像を反転する反転を行ってもよい。例えば、縮小部３０Ａは、原画像データの各フレームの画像を、左右、上下、または上下左右に反転する反転を行ってもよい。そして、縮小部３０Ａは、反転した原画像データを、第２の画像データとして出力してもよい。また、縮小部３０Ａは、変換情報として、反転方向を出力すればよい。
この場合、再生装置１０Ａの拡大部１５０Ａは、変換情報に基づいて、第２の復号データに該反転の逆の逆反転を行えばよい。例えば、拡大部１５０Ａは、第２の復号データの各フレームの画像を、逆の反転方向（左右、上下、または上下左右）に反転する反転を行えばよい。
また、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データの各フレームの画素の画素位置を左右または上下方向にＭ画素（Ｍは整数）ずらす、画素移動を行ってもよい。この場合、縮小部３０Ａは、各フレームの外にはみ出した画素を、反対側に移動させればよい。
すなわち、縮小部３０Ａは、各フレームの画素の画素位置を左右方向にずらす場合には、画面（フレーム）の水平方向の大きさをｗｉｄｔｈとし、水平方向の画素位置をｘとすると、（ｘ＋Ｍ＋ｗｉｄｔｈ）％ｗｉｄｔｈの位置にずらす。
また、縮小部３０Ａは、各フレームの画素の画素位置を上下方向にずらす場合には、画面（フレーム）の垂直方向の大きさをｈｅｉｇｈｔとし、垂直方向の画素位置をｙとすると、（ｙ＋Ｍ＋ｈｅｉｇｈｔ）％ｈｅｉｇｈｔの位置にずらす。
ここで、“％”は、除算により余りを求める整数演算を示す。
この場合、再生装置１０Ａの拡大部１５０Ａは、縮小に代えて、ずらした画素位置を元に戻すために、画面（フレーム）上の画素を左右、あるいは上下方向に−Ｍ画素ずらす処理を行えばよい。この時、Ｍの値は、切出位置（図３参照）と同様に、符号化処理の単位とずらした値を用いることが好ましい。
すなわち、原画像データの色差フォーマットが、４：２：０フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの縦、横とも半分の画素数しかない。このため、この場合、例えば、原画像データからずらす位置は、４Ｎ+２（Ｎ＞＝０の整数）とすればよい。
原画像データの色差フォーマットが、４：２：２フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの横に半分の画素になる。このため、左右方向にずらす場合、原画像データからずらす位置は４Ｎ+２（Ｎ＞＝０の整数）とし、上下方向にずらす場合、原画像データからずらす位置は、２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
また、原画像データの色差フォーマットが４：４：４フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号と同じ画素数になる、このため、この場合、左右方向にずらす場合、上下方向にずらす場合、ともに、原画像データからずらす位置は、２Ｎ+１（Ｎ＞＝０の整数）にしてもよい。
また、拡大部１５０Ａは、符号化装置２０Ａの縮小部３０Ａに対応して、画素ビット長の伸長（例えば８ビットから１０ビットへの伸長）や、縮退（例えば、１０ビットから８ビットへの縮退）を行ってもよい。
（第３の実施の形態）
本実施の形態では、変換処理が、ダウンサンプリング処理による縮小、色変換（例えば、ＲＧＢ系の色空間をＣＭＹＫの色空間へ変換する色変換）、ガンマ変換、ウェーブレット（Ｗａｖｅｌｅｔ）変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する変換処理、などである場合を説明する。
−符号化装置−
図１は、本実施の形態の符号化装置２０Ｂの機能的構成を示す模式図である。
符号化装置２０Ｂは、原画像データを符号化する。符号化装置２０Ｂは、変換部２１Ｂと、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１Ｂ、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
符号化装置２０Ｂは、変換部２１に代えて変換部２１Ｂを備えた以外は、符号化装置２０と同様の構成である。
変換部２１Ｂは、変換部２１と同様に、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって生成されたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１Ｂは、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
本実施の形態では、変換部２１Ｂは、変換処理として、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、および画素ビット長の１０ビットから８ビットへの縮退などの画素値変換や、ダウンサンプリング処理による縮小を行う場合を、一例として説明する。
図１０は、符号化装置２０Ｂにおける変換部２１Ａの模式図である。図１０に示す例では、変換部２１Ｂは、変換処理部３０Ｂを含む。本実施の形態では、変換処理部３０Ｂは、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１Ｂの変換処理部３０Ｂは、原画像データに、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する処理、およびダウンサンプリング処理による縮小の何れかの変換処理を行い、第２の画像データとして符号化部２２へ出力する。
また、変換部２１Ｂは、変換処理部３０Ｂが行った変換処理を示す変換情報を、生成部２３へ出力する。符号化部２２、生成部２３、および出力部２４の処理は、第１の実施の形態と同様である。
すなわち、符号化装置２０Ｂの符号化部２２が、第１の画像データおよび第２の画像データの各々を符号化し第１の符号化データおよび第２の符号化データを生成する。次に、生成部２３が、補助情報を生成する。次に、出力部２４が、第１の符号化データ、および第２の符号化データを少なくとも含む伝送情報を生成する。そして、出力部２４は、伝送情報を出力する。
−再生装置−
図５は、本実施の形態の再生装置１０Ｂの機能的構成を示す模式図である。
再生装置１０Ｂは、符号化装置２０Ｂから伝送情報を受け付け、再生画像データを生成し、再生する。
再生装置１０Ｂは、取得部１１と、復号部１２と、合成部１３Ｂと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ｂ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
再生装置１０Ｂは、合成部１３に代えて合成部１３Ｂを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
すなわち、再生装置１０Ｂの取得部１１は、符号化装置２０Ｂから伝送情報を取得する。そして、再生装置１０Ｂの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ｂへ出力する。また、合成部１３Ｂは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
合成部１３Ｂは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する処理、およびダウンサンプリング処理による縮小の何れかである場合を、一例として説明する。
図１１は、再生装置１０Ｂにおける合成部１３Ｂの模式図である。図１１に示す例では、合成部１３Ｂは、変換処理部４０Ｂと、加算部４１Ｂと、逆変換処理部４２Ｂと、加算部４５Ｂと、逆変換処理部４３Ｂと、減算部４４Ｂと、を含む。
合成部１３Ｂで受け付けた第１の復号データは、変換処理部４０Ｂおよび減算部４４Ｂに入力される。変換処理部４０Ｂは、符号化装置２０Ｂの変換処理部３０Ｂと同じ変換処理を行う。変換処理部４０Ｂは、変換処理した第１の復号データを、加算部４１Ｂおよび逆変換処理部４３Ｂへ出力する。
逆変換処理部４３Ｂは、変換処理部４０Ｂから受け付けた、変換処理された第１の復号データに、変換処理部３０Ｂで行った変換処理とは逆の変換処理である逆変換処理を施し、減算部４４Ｂへ出力する。
この逆変換処理は、変換処理部３０Ｂで行った変換処理の逆変換処理である。
具体的には、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理が、ダウンサンプリング処理による縮小であったとする。この場合、この変換処理の逆変換処理は、アップサンプリング処理による拡大である。
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理がカラーガンマ変換であったとする。この場合、この変換処理の逆変換処理は、逆カラーガンマ処理である。
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理がＢＴ．２０２０をＢＴ．７０９に変換する色空間変換であったとする。この場合、この変換処理の逆変換処理は、ＢＴ．７０９からＢＴ．２０２０に戻す色空間の逆変換処理である。
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理が、画素ビット長を１０ビットから８ビットに縮退する処理であったとする。この場合、この変換処理の逆変換処理は、画素ビット長を８ビットから１０ビットに伸長する処理である。
減算部４４Ｂは、復号部１２から受け付けた第１の復号データと、逆変換処理部４３Ｂから受け付けた、変換処理、および逆変換処理を施された第１の復号データと、の差分をとり、加算部４５Ｂへ出力する。
一方、加算部４１Ｂは、変換処理部４０Ｂから受け付けた、変換処理された第１の復号データと、復号部１２から受け付けた第２の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、重み付け平均値を用いることにより、これらの復号データを合成し、逆変換処理部４２Ｂへ出力する。
具体的には、加算部４１Ｂは、復号部１２から受け付けた第２の復号データの各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、変換処理された第１の復号データの対応する各画素位置の画素の画素値に「１−Ｗ」を乗算した値と、の重み付け平均値を、合成後の各画素の画素値とすることで、合成する。
逆変換処理部４２Ｂは、加算部４１Ｂから受け付けた、重み付け平均した（合成された）復号データに、変換処理部３０Ｂで行った変換処理とは逆変換処理を施し、加算部４５Ｂへ出力する。
加算部４５Ｂは、減算部４４Ｂから受け付けた差分と、逆変換処理部４２Ｂから受け付けた復号データと、を加算し、再生画像データを生成し、出力する。
以上説明したように、本実施の形態の再生装置１０Ｂは、第１の復号画像データに、原画像データに施した変換処理と同じ変換処理を行い、第２の復号画像データとの重み付け平均を行う。また、第１の復号画像データと、変換処理を施した第１の復号画像データにさらに逆変換処理を施したものと、の差分をとる。そして、さらに、この差分と、重み付け平均と、を加算し、再生画像データを生成する。
このため、本実施の形態の再生装置１０Ｂでは、上記実施の形態の効果に加えて更に、逆変換処理にともなう誤差を抑制することができる。このため、本実施の形態では、上記実施の形態の効果に加えて、再生画像データの更なる画質向上を図ることができる。
（第４の実施の形態）
本実施の形態では、第３の実施の形態における再生装置１０Ｂに代えて、再生装置１０Ｃを用いる場合を説明する。
−再生装置−
図５は、本実施の形態の再生装置１０Ｃの機能的構成を示す模式図である。
再生装置１０Ｃは、符号化装置２０Ｂ（図５、図１０参照）から伝送情報を受け付け、再生画像データを生成し、再生する。
再生装置１０Ｃは、取得部１１と、復号部１２と、合成部１３Ｃと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ｃ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
再生装置１０Ｃは、合成部１３に代えて合成部１３Ｃを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
すなわち、再生装置１０Ｃの取得部１１は、符号化装置２０Ｂから伝送情報を取得する。そして、再生装置１０Ｃの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ｃへ出力する。また、合成部１３Ｃは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
合成部１３Ｃは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が、Ｗａｖｅｌｅｔ変換である場合を、一例として説明する。
図１２は、再生装置１０Ｃにおける合成部１３Ｃの模式図である。図１２に示す例では、合成部１３Ｃは、変換処理部４６Ｃと、加算部４７Ｃと、逆変換処理部４８Ｃと、を含む。
変換処理部４６Ｃは、復号部１２から受け付けた第１の復号データを、合成情報を用いて、符号化装置２０Ｂで原画像データに施した変換処理と同じ二次元Ｗａｖｅｌｅｔ変換を行う。この変換処理によって、変換処理部４６Ｃは、第１の復号データを、ＬＬ（Ｌｏｗ−Ｌｏｗ）成分と、ＬＨ（Ｌｏｗ−Ｈｉｇｈ）成分と、ＨＨ（Ｈｉｇｈ−Ｈｉｇｈ）成分に分解し、ＬＬ成分を加算部４７Ｃへ出力し、ＬＨ成分、ＨＬ成分、ＨＨ成分を逆変換処理部４８Ｃへ出力する。
加算部４７Ｃは、変換処理部４６Ｃから受け付けたＬＬ成分と、復号部１２から受け付けた第２の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、重み付け平均を行い、逆変換処理部４８Ｃへ出力する。
具体的には、加算部４７Ｃは、変換処理部４６Ｃから受け付けた変換処理された第１の復号データのＬＬ成分の各画素位置の画素の画素値に「１−Ｗ」（Ｗは重み付け係数）を乗算した値と、復号部１２から受け付けた第２の復号データの対応する各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、の重み付け平均を、逆変換処理部４８Ｃへ出力する。
逆変換処理部４８Ｃは、加算部４７Ｃからの出力と、変換処理部４６Ｃから受け付けたＬＨ成分、ＨＬ成分、ＨＨ成分と、を入力として、逆Ｗａｖｅｌｅｔ変換を行い、再生画像データとして出力する。
以上説明したように、本実施の形態の再生装置１０Ｂでは、原画像データに施す変換処理としてＷａｖｅｌｅｔ変換を行う。そして、再生装置１０Ｃでは、第１の復号データや第２の復号データに、原画像データに施した変換処理と同じＷａｖｅｌｅｔ変換や、該Ｗａｖｅｌｅｔ変換の逆Ｗａｖｅｌｅｔ変換などを行うことによって、再生画像データを生成する。
Ｗａｖｅｌｅｔ変換は、ほぼ誤差なく変換処理、および逆変換処理が可能である。このため、本実施の形態の再生装置１０Ｃは、上記実施の形態の合成部１３Ｂ（図１１参照）の構成をとることなく、図１２に示す簡易な構成で、逆変換処理にともなう誤差を抑制することができる。このため、本実施の形態では、上記実施の形態の効果に加えて、再生画像データの更なる画質向上を図ることができる。
（第５の実施の形態）
本実施の形態では、画像再生システムを説明する。
図１３は、本実施の形態の画像再生システム６０の機能的構成を示す図である。
画像再生システム６０は、オーディオ・ビジュアルデータに関するアダプティブストリーミングシステムである。
画像再生システム６０は、サーバ部６１と、クライアント部６２と、を備える。サーバ部６１とクライアント部６２とは、データや信号授受可能に接続されている。
サーバ部６１は、原画像データとして、オーディオ・ビジュアルデータ等のマルチメディアデータを受け付け、この原画像データを符号化した符号化データとしてのストリーミングデータファイルと、ストリーミングデータファイルの構成に関する情報を記録した制御データファイルと、を出力する。
サーバ部６１は、生成部６３と、第１蓄積部６４と、第２蓄積部６５と、を含む。生成部６３は、オーディオ・ビジュアルデータ等のマルチメディアデータを原画像データとして受け付ける。生成部６３は、上記実施の形態で説明した符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂを含む。
生成部６３は、受け付けた原画像データから、伝送情報および補助情報を生成する。生成部６３による伝送情報および補助情報の生成は、上記実施の形態で説明した、符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂにより行う。生成部６３は、伝送情報を第１蓄積部６４へ出力し、補助情報を第２蓄積部６５へ出力する。
第２蓄積部６５は、生成部６３から受け付けた補助情報を含む制御データを蓄積する。第２蓄積部６５は、クライアント部６２からの要求に応じて、この制御データを含む制御データファイルをクライアント部６２へ出力する。
第１蓄積部６４は、生成部６３から受け付けた伝送情報を含むストリーミングデータを蓄積する。第１蓄積部６４は、クライアント部６２からの要求に応じて、ストリーミングデータを含むストリーミングデータファイルをクライアント部６２へ出力する。
クライアント部６２は、サーバ部６１から制御データファイルをダウンロードし、サーバ部６１のストリーミングデータファイルにアクセスして、オーディオ・ビジュアルデータ等のマルチメディアデータを再生する。
クライアント部６２は、受信部６６と、再生部６７と、受信制御部６８と、を含む。
受信制御部６８は、制御データファイルをサーバ部６１からダウンロードし、ストリーミングデータファイルの構成を解析し、解析結果を受信部６６に送る。
受信部６６は、受信制御部６８から受け付けた解析結果を元に、伝送状態と、再生部６７からの要求と、に基づいて、サーバ部６１にストリーミングデータファイルを要求する。そして、受信部６６は、サーバ部６１からダウンロードしたストリーミングデータを、再生部６７に出力する。
再生部６７は、オーディオ・ビジュアルデータ等のマルチメディアデータを再生する。再生部６７は、上記実施の形態で説明した、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃを含む。
再生部６７は、ストリーミングデータファイルに含まれる伝送情報と、制御データファイルに含まれる補助情報を用いて、再生画像データを生成し、再生する。なお、再生画像データの生成は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃで行う。
本実施の形態の画像再生システム６０は、サーバ部６１側に符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂを備え、クライアント部６２側に、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃを備える。
従って、本実施の形態の画像再生システム６０では、再生画像データの画質向上を図ることができる。
（第６の実施の形態）
本実施の形態では、上記実施の形態で説明した、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２のハードウェア構成について説明する。図１４は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２のハードウェア構成を示すブロック図である。
再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２は、通信インタフェース（ＩＦ）８３、ＣＰＵ８０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８１、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８２等がバス８４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
ＣＰＵ８０は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２の各々における、全体の処理を制御する演算装置である。ＲＡＭ８２は、ＣＰＵ８０による各種処理に必要なデータを記憶する。ＲＯＭ８１は、ＣＰＵ８０による各種処理を実現するプログラム等を記憶する。通信インタフェース（ＩＦ）８３は、外部装置と通信回線を介して接続し、接続した外部装置との間でデータを送受信するためのインタフェースである。
なお、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、ＲＯＭ８１等に予め組み込んで提供される。
なお、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ８０が、ＲＯＭ８１等から各種プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した機能構成が主記憶装置上に生成されるようになっている。
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変換を行うことができる。これらの実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０、１０Ａ、１０Ｂ、１０Ｃ 再生装置
１１ 取得部
１２ 復号部
１３、１３Ａ、１３Ｂ、１３Ｃ 合成部
１４ 第１の復号部
１５ 第２の復号部
２０、２０Ａ、２０Ｂ 符号化装置
２１、２１Ａ、２１Ｂ 変換部
２２ 符号化部
２３ 生成部

Claims (11)

  1. 原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する取得部と、
    前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する復号部と、
    前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する合成部と、
    を備える再生装置。
  2. 前記合成部は、
    前記第１の復号データおよび前記第２の復号データの少なくとも一方に、前記変換処理および前記変換処理の逆変換処理の少なくとも一方を行うことによって、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換する、請求項１に記載の再生装置。
  3. 前記取得部は、
    前記第１の符号化データおよび前記第２の符号化データの各々に行われた前記変換処理を示す変換情報をさらに含む補助情報と、を含む前記伝送情報を取得し、
    前記合成部は、
    前記変換情報に基づいて、前記第１の復号データおよび前記第２の復号データの少なくとも一方に、前記変換処理および前記変換処理の逆変換処理の少なくとも一方を行うことによって、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換する、請求項１に記載の再生装置。
  4. 前記変換処理および前記逆変換処理は、切出、縮小、拡大、回転、反転、画素移動、画素値変換、の少なくとも１つである、請求項１に記載の再生装置。
  5. 前記補助情報は、重み付け係数を含み、
    前記合成部は、
    前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、前記重み付け係数を用いて、画素位置が互いに一致するように変換された前記第１の復号データの画素値と前記第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした前記再生画像データを生成する、
    請求項３に記載の再生装置。
  6. 前記合成部は、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、画素位置が互いに一致するように変換された前記第１の復号データに含まれる各画素の画素値と前記第２の復号データに含まれる各画素の画素値との中間値を、合成後の各画素の画素値とした前記再生画像データを生成する、
    請求項１に記載の再生装置。
  7. 原画像データに互いに異なる変換処理を行い、前記原画像データを第１の画像データおよび第２の画像データに変換する変換部と、
    前記第１の画像データおよび前記第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する符号化部と、
    前記第１の符号化データおよび前記第２の符号化データを含む伝送情報を出力する出力部と、
    を備える符号化装置。
  8. 前記符号化部は、
    互いに異なる符号化方式で前記第１の画像データおよび前記第２の画像データを符号化する、請求項７に記載の符号化装置。
  9. 前記変換処理を示す変換情報を含む補助情報を生成する生成部を備え、
    前記出力部は、前記第１の符号化データ、前記第２の符号化データ、および前記補助情報を含む前記伝送情報を出力する、
    請求項７に記載の符号化装置。
  10. 前記変換部は、前記原画像データに互いに異なる非可逆の前記変換処理を行い、前記原画像データを前記第１の画像データおよび前記第２の画像データに変換する、請求項７に記載の符号化装置。
  11. 原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得するステップと、
    前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成するステップと、
    前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成するステップと、
    を含む再生方法。
JP2014204428A 2014-10-03 2014-10-03 再生装置、符号化装置、および再生方法 Pending JP2016076758A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014204428A JP2016076758A (ja) 2014-10-03 2014-10-03 再生装置、符号化装置、および再生方法
US14/872,542 US9788025B2 (en) 2014-10-03 2015-10-01 Reproduction device, encoding device, and reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014204428A JP2016076758A (ja) 2014-10-03 2014-10-03 再生装置、符号化装置、および再生方法

Publications (1)

Publication Number Publication Date
JP2016076758A true JP2016076758A (ja) 2016-05-12

Family

ID=55633754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014204428A Pending JP2016076758A (ja) 2014-10-03 2014-10-03 再生装置、符号化装置、および再生方法

Country Status (2)

Country Link
US (1) US9788025B2 (ja)
JP (1) JP2016076758A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6523498B1 (ja) * 2018-01-19 2019-06-05 ヤフー株式会社 学習装置、学習方法および学習プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016911A (ja) * 2000-06-29 2002-01-18 Toshiba Corp オブジェクト映像符号化装置
JP2003078817A (ja) * 2001-08-30 2003-03-14 Matsushita Electric Ind Co Ltd 画像合成方法、及び画像合成装置
JP2007202169A (ja) * 1995-09-29 2007-08-09 Toshiba Corp 画像復号化方法及び装置
JP2014010633A (ja) * 2012-06-29 2014-01-20 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0174453B1 (ko) * 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화 방법
JP4492567B2 (ja) * 2006-03-17 2010-06-30 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
US8914835B2 (en) 2009-10-28 2014-12-16 Qualcomm Incorporated Streaming encoded video data
US9424808B2 (en) * 2013-08-22 2016-08-23 Htc Corporation Image cropping manipulation method and portable electronic device
JP2015061197A (ja) 2013-09-18 2015-03-30 株式会社東芝 画像符号化装置、画像復号装置及び画像伝送システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007202169A (ja) * 1995-09-29 2007-08-09 Toshiba Corp 画像復号化方法及び装置
JP2002016911A (ja) * 2000-06-29 2002-01-18 Toshiba Corp オブジェクト映像符号化装置
JP2003078817A (ja) * 2001-08-30 2003-03-14 Matsushita Electric Ind Co Ltd 画像合成方法、及び画像合成装置
JP2014010633A (ja) * 2012-06-29 2014-01-20 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム

Also Published As

Publication number Publication date
US9788025B2 (en) 2017-10-10
US20160100216A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP2007306152A (ja) 画像復号化装置及び画像復号化方法
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
JP2009188996A (ja) 動画像コーデック装置及びその方法
JP5140638B2 (ja) 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP6457248B2 (ja) 画像復号装置、画像符号化装置および画像復号方法
US8086056B2 (en) Encoding device and method, decoding device and method, and program
JP4776505B2 (ja) 画像符号化装置、画像復号装置及び画像処理プログラム
JP4825227B2 (ja) 画像復号装置及び画像処理プログラム
JP2016076758A (ja) 再生装置、符号化装置、および再生方法
CN110662071B (zh) 视频解码方法和装置、存储介质及电子装置
JP4559811B2 (ja) 情報処理装置及び情報処理方法
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP5972687B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP2015076765A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
CN106664387B9 (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
JP6388476B2 (ja) 符号化装置及びプログラム
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム
Hsieh et al. Grey temporal error concealment
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190716