JP2018101875A - 画像データ符号化装置 - Google Patents

Abstract

【課題】重ね合わされて合成された画像における見た目の劣化を抑制しつつ、圧縮率を向上させることが可能な画像データの符号化装置を提供する。【解決手段】少なくとも一部に透過度の情報が設定された一方の画像と他方の画像とが重ね合わされて合成される画像データを圧縮して符号化する画像データの符号化装置１０であり、周波数変換された画像データを透過度に応じて圧縮する。【選択図】図２

Description

本発明は、透過度の情報が設定された画像を他の画像と重ね合わせて合成される画像データを圧縮して符号化する画像データ符号化装置に関する。

従来、静止画像データや動画の画像データを圧縮して符号化するための種々の方式が知られている（下記非特許文献１参照）。

例えば動画圧縮規格Ｈ．２６４，Ｈ．２６５のような標準コーデックでは、圧縮ストリーム中の画像領域ごとに量子化係数を個別に指定できる機能（適応量子化）が存在する。圧縮ストリーム中の画像領域毎に量子化係数を指定することで、精細な画像を再現するデータを維持しつつ、データの圧縮率を高めることができる。

適応量子化により画像内のノイズが目立つ領域を低圧縮で量子化し、ノイズが目立ちにくい領域を高圧縮で量子化することで、全体として高画質高圧縮の両立が可能となる。

なお量子化係数の選択方法としては、エンコーダが画像内のエッジ検出や明るさ検出などにより自動で複雑度を測り、領域ごとの量子化係数を決定していた。

また特許文献１では、輝度成分と色差成分からなる表色系の画像データにおけるＹＵＶのそれぞれの成分に応じて量子化係数を選択している。ＹＵＶの成分に応じて量子化係数のテーブルを選択することで、各成分の比率に適した圧縮率でデータ圧縮することを可能にしている。

特開２００９−２０６５６６号公報

東芝レビュー Ｖｏｌ．６４ Ｎｏ．６（２００９） ｐ７−１０

しかしながら、静止画像、動画に関わらず、複数の画像を透過度の情報を示すα値を用いて重ね合わせるアルファブレンドの方式を活用して画像フレームが合成されているものが多数存在している。アルファブレンドを利用した動画は、例えばパチンコ等の遊技機で利用されており、背景の画像上に抽選結果を表す複数の数字や文字を表示する画像や、キャラクターなどを表示する画像を重ね合わせて画像フレームを構成する際に用いられている。

このようなアルファブレンドを利用した画像であっても、個々の画像はＪＰＥＧやＭＰＥＧ等の標準コーデックで圧縮されるので、アルファブレンドにより全く表示されない画像データであっても、ある容量の圧縮データとして保持され、画像データが大きくなり易く、従来の圧縮方式には改善の余地があった。

本発明は上記課題に鑑みてなされたものであり、重ね合わされて合成された画像における見た目の劣化を抑制しつつ、圧縮率を向上させることが可能な画像の符号化装置を提供することを課題としている。

かかる課題を解決するために、請求項１に記載の動画の符号化装置は、少なくとも一部に透過度の情報が設定された画像と他の画像とが重ね合わされて合成される画像データを圧縮して符号化する画像データの符号化装置であって、前記画像データを透過度に応じて圧縮することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記透過度の情報が設定された画像の透過度が高いほど前記画像の画像データの圧縮率を高くするか、前記透過度の情報が設定された画像の透過度が低いほど前記他の画像の画像データの圧縮率を高くするか、の何れか一方又は双方を行うことを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の発明において、所定の符号化方式により処理された前記画像データを量子化係数に基づいて圧縮することで量子化データを生成して符号化する符号生成部と、前記量子化係数を設定する係数設定部と、を備え、前記係数設定部は、予め設定された既定量子化係数を前記画像データの透過度に応じて補正して前記量子化係数を設定することを特徴としている。

請求項４に記載の発明は、請求項３に記載の発明において、前記係数設定部は、前記画像データの透過度に応じて設定された透過度基準補正数を、前記既定量子化係数に加えて前記量子化係数を設定することを特徴としている。

請求項５に記載の発明は、請求項４に記載の発明において、前記係数設定部は、前記画像内の前記透過度が最も小さいときの前記量子化係数を所望の値にするように、前記透過度基準補正数を設定することを特徴としている。

請求項６に記載の発明は、請求項４又は５に記載の発明において、前記係数設定部は、前記画像データを圧縮するための除数を前記量子化係数に対応して設定するとともに、透過度が倍増するときに前記除数を倍増させるように前記透過度基準補正数を設定することを特徴としている。

請求項７に記載の発明は、請求項３乃至６の何れか１項に記載の発明において、予測誤差から生成された前記量子化データを、透過度に応じて補正された前記量子化係数に基づいて復号するとともにフレーム間予測処理を行う予測処理部を備えていることを特徴としている。

請求項８に記載の発明は、請求項３乃至７の何れか１項に記載の発明において、前記符号生成部は、画素毎の色情報及び前記透過度の情報を含む前記画像データを圧縮することで前記量子化データを生成するとともに、前記画素毎の前記透過度の情報を圧縮して透過度圧縮データを生成することを特徴としている。

請求項１に記載の発明によれば、周波数変換された画像データを圧縮して符号化する際、透過度に応じて圧縮するので、重ね合わされたときに透過度によって視認者に視認され難くなる画像の圧縮率や視認され易くなる画像の圧縮率を、透過度に応じて調整することができる。そのため重ね合わされて合成された画像における見た目の劣化を抑制しつつ、圧縮率を向上させることが可能な画像データの符号化装置を提供することが可能である。

請求項２に記載の発明によれば、透過度の情報が設定された画像の透過度が高いほど、画像の画像データの圧縮率を高くすれば、透過度が高い画像が見え難いため、重ね合わされた画像における見た目の劣化を抑制しつつ、透過度の情報が設定された画像の画像データを大幅に圧縮することができる。

また透過度の情報が設定された画像の透過度が低いほど、他の画像の画像データの圧縮率を高くすれば、透過度が低い一方の画像に隠れて他の画像が見え難いため、画像における見た目の劣化を抑制しつつ、他の画像の画像データを大幅に圧縮することができる。

そのため透過度の情報が設定された画像の透過度が高いほど、他の画像の画像データの圧縮率を低くしたり、透過度の情報が設定された画像の画像データの圧縮率を高くしたりすることで、重ね合わされて合成された動画の画像における見た目の劣化を生じることなく圧縮率を向上することができる。

請求項３に記載の発明によれば、所定の符号化方式により処理された画像データの、予め設定された既定量子化係数を画像データの透過度に応じて補正して量子化係数を設定するので、透過度に応じて量子化係数を増減することができる。そのため画像データを透過度に適した圧縮率で圧縮することが容易である。

請求項４に記載の発明によれば、画像データの透過度に応じて設定された透過度基準補正数を既定量子化係数に加えて量子化係数を設定するので、量子化係数を設定するための構造を簡素化できる。

請求項５に記載の発明によれば、係数設定部が画像内の透過度が最も小さいときの量子化係数を所望の値にするように透過度基準補正数を設定するので、適正な範囲で圧縮することができる。

請求項６に記載の発明によれば、画像データを圧縮するための除数を量子化係数に対応して設定するとともに、透過度が倍増するときに除数を倍増させるように係数設定部が透過度基準補正数を設定するので、透過度に応じて圧縮率を大きく調整することができる。

請求項７に記載の発明によれば、予測誤差から生成された量子化データを透過度に応じて補正された前記量子化係数に基づいて復号するので、透過度の情報を用いて画像データをより高度に圧縮していても、フレーム間予測処理を適切に行うことができ、動画の画像データを確実に圧縮することができる。

請求項８に記載の発明によれば、符号生成部が画素毎の色情報及び透過度の情報を含む画像データを圧縮して量子化データを生成するとともに、画素毎の透過度の情報を圧縮して透過度圧縮データを生成する。

そのため透過度圧縮データを利用することで、量子化データに基づいて符号化された符号化データを適切に復号することができ、圧縮及び復号における画像の見た目の劣化をより抑制することができる。

この発明の実施形態に係る符号化装置における構成を説明する概略図である。 この発明の実施形態に係る符号化装置におけるＹエンコーダ、Ｕエンコーダ、及びＢエンコーダを示すブロック図である。 この発明の実施形態に係る符号化装置における係数設定部を示すブロック図である。 この発明の実施形態に係る符号化装置におけるαエンコーダを示すブロック図である。 この発明の実施形態に係る符号化装置の量子化係数に対する圧縮後のサイズ目安を示す表である。 この発明の実施形態に係る符号化装置の高周波成分の存在量に対する補正数を示す表である。 この発明の実施形態に係る符号化装置のα値に対する透過度基準補正数を示す表である。

以下、本発明の実施形態について図を用いて詳細に説明する。なお、本実施形態ではＭＰＥＧの符号化方式に適用した例に基づき説明するが、ＭＰＥＧ以外のどのような画像の符号化方式に本発明が適用されてもよい。

図１は実施形態に係る符号化装置におけるエンコーダ全体の構成を示し、図２及び図４は符号化装置のエンコーダを示すブロック図であり、図３は符号化装置の係数設定部を示すブロック図である。

本実施形態の符号化装置で圧縮する画像は、透過度の情報が設定された一方の画像と他方の画像とを重ね合わせて合成することで各フレームが構成された画像である。

各画像は画素毎の色情報及び透過度の情報を有する画像データにより構成されている。

色情報は、例えばＲＧＢによるデータであってもよいが、本実施形態では輝度成分及び色差成分からなるＹＵＶによるデータを用いている。

透過度の情報は、完全に不透明な状態から完全に透明な状態までを多段階に数値で示した値であり、各画素毎にそれぞれ設定されている。本実施形態では透過度を１００％〜０％で示すα値を信号化したαデータが設定されている。

図１に示す、本実施形態の「画像データの符号化装置」としての符号化装置１０は、このような画像データを透過度に応じて圧縮して符号化する装置である。この符号化装置１０においては、画像データが所定数の画素からなるマトリックスの単位で処理される。

一方の画像と他方の画像とを重ね合わせた動画において、画像データを透過度に応じて圧縮する場合、一方の画像の透過度に応じて、一方の画像の画像データを圧縮しても、他方の画像の画像データを圧縮しても、両方の画像の画像データを圧縮してもよい。

本実施形態では、一方の画像の透過度に応じて一方の画像の画像データを圧縮する装置の例を用いて説明する。

本実施形態の符号化装置１０は、図１に示すように、複数のエンコーダ１１を備え、入力側から入力された入力画像が複数のエンコーダ１１で圧縮されて符号化されることで、出力側へビットストリームとして出力されるように構成されている。

複数のエンコーダ１１は、Ｙデータ及びαデータが入力されてＹデータを圧縮して符号化するＹエンコーダ１１ｙと、Ｕデータ及びαデータが入力されてＵデータを圧縮して符号化するＵエンコーダ１１ｕと、Ｖデータ及びαデータが入力されてＶデータを圧縮して符号化するＶエンコーダ１１ｖと、αデータが入力されてαデータを圧縮して符号化するαエンコーダ１１αと、を有する。

αエンコーダ１１αを除くＹエンコーダ１１ｙ、Ｕエンコーダ１１ｕ、及びＶエンコーダ１１ｖは、図２に示すように、画像データからＤＣＴデータを生成するＤＣＴ部１２と、ＤＣＴデータから符号化データを生成する符号生成部１３と、画像データから量子化係数を設定して符号生成部１３に伝達する係数設定部１４と、符号生成部１３の量子化データを利用してフレーム間予測処理を行う予測処理部１５と、を備えている。

ＤＣＴ部１２は、各画像データをマトリックスの単位で離散コサイン変換等の周波数変換を行うことで周波数成分に分解し、係数化されたＤＣＴデータを生成する。

本実施形態の符号化装置１０では、予測処理部１５が設けられていることから、入力側からの画像データは予測画像との差分により形成された予測誤差としてＤＣＴ部１２に入力されて予測誤差のＤＣＴデータが生成される。

符号生成部１３は、所定の符号化方式により処理された画像データを量子化係数に基づいて圧縮することで量子化データを生成して符号化する。なお、ここでの「所定の符号化方式」とは、直前の構成であるＤＣＴ部１２における離散コサイン変換等の周波数変換に基づく変換符号化方式を指す。

符号生成部１３は、ＤＣＴデータを圧縮して量子化データを生成する量子化部１６と、量子化データをさらに圧縮して符号化する可変長符号化部１７と、を備えている。

量子化部１６は、画像データが周波数変換されてＤＣＴ部１２から伝達されたＤＣＴデータを、係数設定部１４に設定された量子化係数に基づいて圧縮することで量子化データを生成してデータ量を削減する。量子化部１６では、後述するように係数設定部１４にて透過度の情報に応じて設定された量子化係数を用いることで、ＤＣＴデータを透過度に応じて圧縮することができる。

本実施形態ではＹＵＶの各色情報を周波数変換して得たＤＣＴデータを、係数設定部１４にて量子化係数に対応して設定される除数により除して圧縮することで量子化データを生成する。

一方、可変長符号化部１７は、量子化データをハフマン符号や算術符号等を用いたエントロピー符号化によりさらに圧縮して符号化データを生成する。

係数設定部１４は、初期係数設定部２５の既定量子化係数を画像データに基づいて補正することで量子化係数を設定し、量子化係数に対応する除数を設定して符号生成部１３の量子化部１６に伝達する。

ここで量子化係数に基づく除数は、量子化係数が大きいほど大きくなる正の整数からなり、ＤＣＴデータを除して丸めることで量子化係数よりも適切に圧縮できる数値である。

図３に示すように、係数設定部１４は、入力された画像データを記憶するメモリ部２１と、色情報から補正値を生成する画素情報判定部２２と、透明度情報から補正値を生成するα値判定部２３と、初期係数設定部２５の既定量子化係数を補正して量子化係数を設定する係数制御部２４と、を備えている。

メモリ部２１は、入力側から伝達された画像データを記憶するものである。

画素情報判定部２２は、マトリックスの単位の画像データを、周辺の画像データを適宜利用して画像データのマトリックスにおける絵柄の状態を判定し、絵柄の状態に応じて量子化係数の補正値を設定する。

この、画素情報判定部２２における判定ではマトリックスの絵柄の状態が、高周波数成分の少ない平坦領域であるか、高周波成分を多く含むエッジ領域であるか、あるいはその中間の滑らかな変化領域であるか、などを多段階で判定する。

そして、画素情報判定部２２は、判定結果に基づいて補正値を設定し、係数制御部２４に伝達する。

画素情報判定部２２では、マトリックスの絵柄の状態に対応するように補正値が予め多段階に設定されていて、判定結果に対応する補正値を選択可能に構成されている。本実施形態では、初期係数設定部２５に設定された既定量子化係数に加えることで量子化係数を補正する絵柄基準補正数が設定されている。

この絵柄基準補正数は、平坦領域ほど大きく、エッジ領域ほど小さく、滑らかな変化領域では中間となるように設定されている。

α値判定部２３は、入力された画像データの透過度の情報におけるαデータを判定し、透過度に応じて量子化係数の補正値を設定する。

α値判定部２３では、透過度に対応するように補正値が予め多段階に設定されていて、判定結果に対応する補正値を選択可能に構成されている。補正値は画像の透過度が高いほど画像データの圧縮率が高くなるように、量子化係数を増加する値として設定されている。

この透過度に対応する補正値の補正範囲は、マトリックスの絵柄の状態に対応する補正値の補正範囲よりも広く設定されている。

本実施形態では、初期係数設定部２５に設定された既定量子化係数に加えることで量子化係数を補正する透過度基準補正数が設定されている。本実施形態において、透過度基準補正数は透過度が高いほど大きくなるように設定されている。

また、この透過度基準補正数は、動画フレームを構成する画像内の透過度が最も小さいときの量子化係数を所望の値にするように設定されている。

さらにこの透過度基準補正数は、透過度が倍増して透過度が半減するときに除数を倍増させるように設定されている。

なお透過度基準補正数は、既定量子化係数に加えることで既定量子化係数の範囲を超える範囲については、透過度基準補正数を一定値にすることで処理を簡略化してもよい。

係数制御部２４は、量子化係数を設定し、量子化係数に基づく除数を符号生成部１３の量子化部１６と後述する予測処理部１５の逆量子化部２８とに伝達するものである。

係数制御部２４では、初期係数設定部２５に設定されている既定量子化係数が伝達され、既定量子化係数を画素情報判定部２２からの補正値とα値判定部２３からの補正値とにより補正することで量子化係数を設定する。

本実施形態の係数制御部２４では、マトリックスの絵柄の状態に応じて画素情報判定部２２で設定された絵柄基準補正数と、画像データの透過度の情報に応じてα値判定部２３で設定された透過度基準補正数と、により既定量子化係数が補正される。

具体的には既定量子化係数に絵柄基準補正数及び透過度基準補正数が加えられることで、量子化係数が設定される。

係数制御部２４では、設定された量子化係数に基づいて、ＤＣＴデータを除して圧縮するための除数を設定し、除数を符号生成部１３の量子化部１６と予測処理部１５の逆量子化部２８とに伝達する。

このような除数は、上述のように符号生成部１３の量子化部１６でＤＣＴデータを圧縮して量子化データの生成に供される。

予測処理部１５は、量子化データを復号してフレーム間予測処理を行うものである。

予測処理部１５は、動き予測及び動き補償の機能を有しており、図２に示すように、量子化データの逆量子化処理を行う逆量子化部２８と、復号されたＤＣＴデータの逆ＤＣＴ処理を行う逆ＤＣＴ部２９と、復号された画像データを含む前フレームの画像データを記憶するフレームメモリ部３１と、入力側からの画像データと前フレームの画像データとから予測画像を生成する予測処理実行部３２と、を備えている。

逆量子化部２８は、既定量子化係数をマトリックスの絵柄の状態と画像データの透過度とに応じて補正した量子化係数が係数設定部１４から伝達される。この量子化係数を用い、量子化部１６から伝達される量子化データを逆量子化することで、ＤＣＴデータを復号する。

逆ＤＣＴ部２９は、復号されたＤＣＴデータを逆ＤＣＴ処理することで周波数成分から画像データを復号する。

フレームメモリ部３１は、復号された画像データを用いて生成された前フレームの画像を格納し、参照画像として予測処理実行部３２に供する。

予測処理実行部３２は、フレームメモリ部３１からの参照画像の画像データと入力側からの画像データとから予測画像を生成する。

予測処理実行部３２で生成された予測画像は、入力側からの画像データとの差分により予測誤差を生成し、ＤＣＴ部１２及び符号生成部１３で圧縮して符号化される。また予測誤差の量子化データから復号した画像データを予測画像に合わせることで、前フレームの画像を生成してフレーム間予測処理に供される。

一方、αエンコーダ１１αは、図４に示すように、画像データからＤＣＴデータを生成するＤＣＴ部１２と、ＤＣＴデータから符号化データを生成する符号生成部１３と、符号生成部１３の量子化データを利用してフレーム間予測処理を行う予測処理部１５と、を備えている。

このαエンコーダ１１αには、図２に示すＹエンコーダ１１ｙ、Ｕエンコーダ１１ｕ、及びＶエンコーダ１１ｖのような係数設定部１４は設けられていない。代わりにＹエンコーダ１１ｙ、Ｕエンコーダ１１ｕ、及びＶエンコーダ１１ｖにおける図３の初期係数設定部２５と共通の初期係数設定部２５の既定量子化係数が符号生成部１３の量子化部１６や予測処理部１５の逆量子化部２８に伝達されるように構成されている。

αエンコーダ１１の上記以外の構成はＹエンコーダ１１ｙ、Ｕエンコーダ１１ｕ、及びＶエンコーダ１１ｖと同様である。

このようなαエンコーダ１１αでは、画像データの画素毎に設定されている透過度の情報のαデータに基づいて、透過度圧縮データを生成することが可能である。

透過度圧縮データは、画素毎の色情報及び透過度の情報を含む画像データを圧縮することで生成された量子化データや、量子化データをさらに圧縮した符号化データを復号する際などに利用される。

次に、このような符号化装置１０の動作について説明する。

図１に示すように、入力画像の画像データが符号化装置１０に入力されると、各画像の画像データから色情報のＹＵＶと透過度の情報のαデータがＹエンコーダ１１ｙ、Ｕエンコーダ１１ｕ、Ｖエンコーダ１１ｖに伝達されるとともに、透過度の情報のαデータがαエンコーダ１１αに伝達され、画像データが符号化される。

図２に示すように、各エンコーダ１１ｙ，１１ｕ，１１ｖでは、入力画像の画像データが予測処理部１５と係数設定部１４とＤＣＴ部１２とに伝達される。ＤＣＴ部１２には予測誤差の形で伝達される。

入力画像の画像データが予測処理部１５に伝達されると、入力側からの画像データと前フレームの画像データとからフレーム間予測処理が実行されて予測画像が生成される。

図３に示す係数設定部１４には、図５に示す量子化係数と、各量子化係数に基づいて設定される除数と、が予め設定されている。

例えば符号化後のデータ量を入力画像の画像データの４％程度にすることを仮定して、初期係数設定部２５の初期設定として、既定量子化係数が１２に設定されている（図５の符号１００の行参照）。

入力画像の画像データが係数設定部１４に伝達されると、画素情報判定部２２では各マトリックスに含まれる周波数成分を検出し、各マトリックスの絵柄の状態を判定する。そして図６に示すように、マトリックスの絵柄の状態に応じた絵柄基準補正数を設定する。

例えば高周波成分が非常に多く、エッジ領域の絵柄であると判定した場合には、絵柄基準補正数として−２を設定し（図６の符号２００の行参照）、係数制御部２４に与える。

また図３に示すα値判定部２３では、係数設定部１４に入力された画像データから透過度の情報のαデータを判定する。そして図７に示すように、透過度に応じた透過度基準補正数を設定する。

図７では透過度を示すα値の１００％〜０％の範囲に対応するようにαデータが１〜２５６の範囲で既定されている。αデータはα値とは逆の関係にある。例えばα値が最大の１００％で最も透過度が高いときにαデータが１となり、α値が最小の０％で最も透過度が低いときにαデータが２５６となる。

例えば入力された画像データにおける透過度の情報のαデータが６４以上１２８未満であった場合、透過度基準補正数として＋１２を設定して係数制御部２４に与える。

図３に示す係数制御部２４では、初期係数設定部２５から初期設定値の既定量子化係数＋１２と、画素情報判定部２２からの絵柄基準補正数−２と、α値判定部２３からの透過度基準補正数＋１２とを合計して除数＋２２を設定し、符号生成部１３の量子化部１６と予測処理部１５とに与える。

なお補正数を既定量子化係数に加えることで既定量子化係数の範囲を超える場合、補正数を一定値に固定する。例えば図７では、αデータが８以下の範囲で透過度基準補正数を＋２４に固定する。即ち、既定量子化係数の範囲として０〜３２の範囲を想定しているため、αデータが８以下の場合の透過度基準補正数として＋２４以上の値を設定しても、初期設定値の既定量子化係数＋１２と合わせることで、既定量子化係数の想定範囲を超える。この範囲では可変長符号化後に設定される符号化データのレベルがあまり変わらないので、図７に符号３００で示す領域のように、透過度基準補正数を＋２４に固定する。

一方、図１に示すように入力画像の画像データが伝達されて、予測処理部１５の予測画像との差分からなる予測誤差としてＤＣＴ部１２に伝達されると、予測誤差が周波数変換されてＤＣＴデータが生成される。

そしてＤＣＴデータが符号生成部１３に伝達されると、量子化部１６で係数設定部１４から与えられた除数を用いてＤＣＴデータを圧縮して量子化データを生成する。この量子化では量子化係数毎に、例えば図５にサイズ目安に示される程度に画像データが圧縮される。

さらに可変長符号化部１７で量子化データをエントロピー符号化により圧縮して符号化し、符号化データをビットストリームとして出力する。この可変長符号化では量子化係数毎に、例えば図５にサイズ目安に示される程度に画像データが圧縮される。

そしてこのような符号化データをビットストリームとして符号化装置１０から出力する。

以上のような本実施形態の符号化装置１０によれば、画像データを圧縮して符号化する際、透過度に応じて圧縮している。具体的には透過度の情報が設定された一方の画像の透過度が高いほど、透過度基準補正数が大きくなり、その結果、係数制御部２４から量子化部１６に与えられる係数が大きく（＝除数が大きく）なるので、その画像の画像データの圧縮率は高くなる。これにより重ね合わされて合成された画像における見た目の劣化を抑制しつつ、圧縮率を向上させることが可能となる。

透過度が設定された一方の画像と他方の画像とを重ね合わせて合成された画像では、透過度が高く設定された一方の画像が他方の画像に比べて薄く表示されたり、透過度が低く設定された一方の画像に他方の画像が隠れたりする。即ち、重ね合わされた画像うちの一部に視認者に視認され難い画像が生じる。そのような画像の画像データは圧縮されて粗くなっても、顕著な場合には削除したとしても、重ね合わされて合成された画像における見た目の劣化は生じない。

本実施形態では、一方の画像の透過度に応じて一方の画像の画像データを圧縮するので、一方の画像の透過度が高いほど一方の画像の画像データの圧縮率を高くしたり他方の画像の画像データの圧縮率を低くしたりすることができる。

そのため一方の画像の透過度が高いために見え難くなる場合に、一方の画像の画像データを大幅に圧縮することができる。逆に一方の画像の透過度が低いために見え易くなる場合に、一方の画像の画像データの圧縮率を低くして鮮明にすることで、画質の劣化を抑制することができる。

従来の適応量子化技術では、ＲＧＢの成分に応じて量子化係数が選択されたり、ＹＵＶの成分に応じて量子化係数が選択されたりしていただけで、透過度は参照されていなかった。そのため背景映像等にアルファブレンドで重ね合わせる際に、ほとんど見えなくなる領域であっても、他の領域と同様な画質を保つような構成でエンコードしていたため、圧縮効率に無駄が存在していた。

一方、本実施形態では、透過度の情報が設定された一方の画像の透過度が高いほど、その一方の画像の画像データの圧縮率を高くしたり、他方の画像の画像データの圧縮率を低くしたりすることで、圧縮効率の無駄を大幅に改善することができる。

本実施形態の動画の符号化装置１０では、係数設定部１４が予め設定された既定量子化係数を画像データの透過度に応じて補正して量子化係数を設定するように構成されている。具体的には、画像データの透過度に応じて設定された透過度基準補正数を既定量子化係数に加えて量子化係数を設定している。

そのため透過度に応じて量子化係数を増減することができ、画像データを透過度に適した圧縮率で圧縮することが容易であり、量子化係数を設定するための構造も簡素化できる。

また係数設定部１４で画像内の透過度が最も小さいときの量子化係数を所望の値にするように透過度基準補正数を設定しているので、適正な範囲で圧縮することができる。

さらに透過度を表すαデータが取りうる最大値（本実施形態では２５６）の半分（本実施形態では１２８）の場合に除数がαデータ最大値の除数に比して倍増となるように、また不透明度が倍、すなわち、αデータが所定のαデータの１／２になるに連れて除数が倍増するように係数設定部１４が透過度基準補正数を設定しているので、透過の影響を受ける画像データの圧縮率を大きく調整することができる。

本実施形態の動画の符号化装置１０は、予測誤差から生成された量子化データを、透過度に応じて補正された量子化係数に基づいて復号するとともにフレーム間予測処理を行う予測処理部１５を備えている。

そのため透過度を用いて画像データをより高度に圧縮していても、フレーム間予測処理を適切に行うことができ、重ね合わされて合成された動画フレームの画像における見た目の劣化を生じることなく、さらに圧縮率を向上することができる。

本実施形態の符号化装置１０では、符号生成部１３が画素毎の色情報及び透過度の情報を含む画像データを圧縮して量子化データを生成するとともに、画素毎の透過度の情報を圧縮して透過度圧縮データを生成している。

そのため透過度圧縮データを利用することで、量子化データに基づいて符号化された符号化データを適切に復号することができ、圧縮及び復号における画像の見た目の劣化をより抑制することができる。

［変形例］
次に、本実施形態の変形例について説明する。

この変形例は、透過度の情報が設定された一方の画像と他方の画像とを重ね合わせて合成された各動画フレームについて、一方の画像の透過度に応じて、他方の画像の画像データを圧縮する動画の符号化装置１０の例である。すなわち、重ね合わせの画像において、前景の画像データの透過度が完全不透明の場合、当該画像データが重ね合される背景部分は全く表示されないので、その表示されない背景部分の画像データの圧縮率を高圧縮に設定することでデータの圧縮率を高めるものである。

変形例における符号化装置１０は、係数設定部１４のα値判定部２３が異なる他は、上記実施形態と同様である。

この係数設定部１４のα値判定部２３では、透過度の情報が設定された画像の画像データにおける透過度が、他方の画像の画像データを処理する係数設定部１４の係数制御部２４に入力されるように構成されている。

α値判定部２３では、一方の画像の画像データにおける透過度が判定され、透過度に応じた補正値、具体的には透過度基準補正数が設定される。その際、補正値は一方の画像の透過度が高いほど画像データの圧縮率が低くなるように、量子化係数を減少する値として設定される。

そして、この透過度基準補正数が他方の画像の画像データを処理する係数設定部１４の係数制御部２４に伝達される。

他方の画像の係数制御部２４では、一方の画像の画像データにおける透過度に応じて設定された透過度基準補正数と、画素情報判定部２２から伝達された他方の画像におけるマトリックスの絵柄の状態に応じて設定された絵柄基準補正数と、により量子化係数が設定される。

ここでは初期係数設定部２５からの既定量子化係数に透過度基準補正数及び絵柄基準補正数を加えることで他方の画像の量子化係数が設定され、この量子化係数に基づいて除数が設定される。

このようにして設定された除数が量子化部１６に伝達されることで、他方の画像の画像データの予測誤差を周波数変換して生成されたＤＣＴデータが、量子化部１６においてその除数により除して量子化データを生成して圧縮し、さらに可変長符号化部１７で圧縮することで他方の画像の画像データを圧縮して符号化することができる。

以上のような変形例の符号化装置１０であっても、上記実施形態と同様の作用効果が得られる。

しかもこの変形例では、透過度の情報が設定された一方の画像の透過度に応じて他方の画像の画像データを圧縮するので、一方の画像の透過度が高いほど他方の画像の画像データの圧縮率を低くしたり、一方の画像の透過度が低いほど他方の画像の画像データの圧縮率を高くしたり、することができる。

そのため他方の画像のうち、一方の画像の透過度が低いために一方の画像に隠れて見えにくくなる領域の画像データを大幅に圧縮することができる。逆に他方の画像のうち、一方の画像の透過度が高いために一方の画像を透過して見え易くなる領域の画像データの圧縮率を低くして鮮明にすることで、画質の劣化を抑制することができる。

また、上記実施形態と上記変形例とを併用することも可能である。両実施形態を併用することで、画像が重ね合される際に前景となる画像データの透過度に応じて前景の画像データ及び背景の画像データの圧縮率を制御し、画像の劣化抑制及び画像データの圧縮率を高めることができる。

なお上記実施の形態及び変形例は、本発明の範囲内において適宜変更可能である。

例えば上記実施形態及び変形例では、初期係数設定部２５に予め設定された既定量子化係数に対して、画素情報判定部２２やα値判定部２３で設定された補正値を用いて計算により量子化係数を算出したが、画素情報判定部２２のマトリックスの絵柄の状態及びα値判定部２３の透過度の一方又は双方に応じた多数の量子化係数テーブルを予め記憶させ、マトリックスの絵柄の状態や透過度に応じて適切なテーブルを選択して使用するように構成することも可能である。

上記実施形態及び変形例では、符号生成部１３が可変長符号化部１７を有する例について説明したが、特に限定されるものではなく、可変長符号化部１７を有しなくてもよく、その場合には量子化部１６で生成された量子化データを符号化データとすることも可能である。

また量子化部１６の前後に他の方式より画像データを圧縮して符号化する手段を設けることも可能である。例えば複数種類の圧縮方式を直列に設けて順次圧縮し、最終的に圧縮されたデータを量子化データとして利用に供することができる。

さらに、上記実施形態及び変形例では、画像データの「所定の符号化方式」として変換符号化方式の一つであるＤＣＴ（離散コサイン変換）を例に挙げて説明したが、変換符号化の他の方式であるウェーブレット変換やアダマール変換を利用することは勿論のこと、ＤＰＣＭ（Differential Pulse Code Moduration：差分パルス符号変調）を利用した予測符号化等を用いることも可能である。またαエンコーダはＹ，Ｕ，Ｖエンコーダと同じ符号化アルゴリズムを用いたものを例示しているが、αデータのエンコードをＹ，Ｕ，Ｖデータのエンコードとは異なるアルゴリズムで行っても良い。さらに、上述した画像データの符号化方式以外のいかなる画像データの符号化方式や、上述したαデータのエンコード以外の方式の用いるいかなるαエンコーダにおいて、本発明を適用してもよい。

上記実施形態では、一方の画像の全体に透過度の情報が設定されていたが、一部の領域に透過度の情報が設定されているような画像であっても本発明を適用することが可能である。

また上記実施形態では、一方の画像と他方の画像とが重ね合わされて合成される動画の例について説明したが、重ね合わされる画像の数は限定されるものではなく、３層以上の画像を重ね合わせることで各フレームを構成した動画に本発明が適用されてもよい。また、上記実施形態のような動画の画像データの符号化のみならず、アルファブレンドを利用する静止画の画像データの符号化にも本発明を適用することが可能である。

上記実施形態は本発明の例示であり、本発明が上記実施形態のみに限定されることを意味するものではないことは、いうまでもない。

１０…符号化装置（画像データの符号化装置）
１１，１１ｙ，１１ｕ，１１ｖ，１１α…エンコーダ
１２…ＤＣＴ部
１３…符号生成部
１４…係数設定部
１５…予測処理部
１６…量子化部
１７…可変長符号化部
２１…メモリ部
２２…画素情報判定部
２３…α値判定部
２４…係数制御部
２５…初期係数設定部
２８…逆量子化部
２９…逆ＤＣＴ部
３１…フレームメモリ部
３２…予測処理実行部

Claims (8)

1. 少なくとも一部に透過度の情報が設定された画像と他の画像とが重ね合わされて合成される画像データを圧縮して符号化する画像データの符号化装置であって、
   前記画像データを透過度に応じて圧縮することを特徴とする画像データの符号化装置。
2. 前記透過度の情報が設定された画像の透過度が高いほど前記画像の画像データの圧縮率を高くするか、前記透過度の情報が設定された画像の透過度が低いほど前記他の画像の画像データの圧縮率を高くするか、の何れか一方又は双方を行うことを特徴とする、請求項１に記載の画像データの符号化装置。
3. 所定の符号化方式により処理された前記画像データを量子化係数に基づいて圧縮することで量子化データを生成して符号化する符号生成部と、
   前記量子化係数を設定する係数設定部と、を備え、
   前記係数設定部は、予め設定された既定量子化係数を前記画像データの透過度に応じて補正して前記量子化係数を設定することを特徴とする請求項１又は２に記載の画像データの符号化装置。
4. 前記係数設定部は、前記画像データの透過度に応じて設定された透過度基準補正数を、前記既定量子化係数に加えて前記量子化係数を設定することを特徴とする請求項３に記載の画像データの符号化装置。
5. 前記係数設定部は、前記画像内の透過度が最も小さいときの前記量子化係数を所望の値にするように、前記透過度基準補正数を設定することを特徴とする請求項４に記載の画像データの符号化装置。
6. 前記係数設定部は、前記画像データを圧縮するための除数を前記量子化係数に対応して設定するとともに、透過度が倍増するときに前記除数を倍増させるように前記透過度基準補正数を設定することを特徴とする、請求項４又は５に記載の画像データの符号化装置。
7. 予測誤差から生成された前記量子化データを、透過度に応じて補正された前記量子化係数に基づいて復号するとともにフレーム間予測処理を行う予測処理部を備えていることを特徴とする請求項３乃至６の何れか１項に記載の画像データの符号化装置。
8. 前記符号生成部は、画素毎の色情報及び前記透過度の情報を含む前記画像データを圧縮することで前記量子化データを生成するとともに、前記画素毎の前記透過度の情報を圧縮して透過度圧縮データを生成することを特徴とする請求項３乃至７の何れか１項に記載の画像データの符号化装置。
   

Images