JP2011124618A - 符号化装置及び復号化装置 - Google Patents

Abstract

【課題】ＯＳＤ信号にメイン画面信号の下位ビットを誤って付加することを防ぐ。
【解決手段】比較器１１０は、ＯＳＤ信号と設定値(Talfa)とを比較して、ＯＳＤフラグを生成する。ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａ〜１０２ｃは、入力画像信号をＭ個の画素からなる符号化ブロック単位に分割して符号化器１０３ａ〜１０３ｃへ出力すると共に、比較器１１０からのＯＳＤフラグをサンプリング間隔ｆ画素でサンプリングして遅延器１０４ａへ出力する。符号化ブロック及びＯＳＤフラグ生成部１０５ａ〜１０５ｃは、符号化されていない先頭データと、２番目以降の（Ｍ−１）個の符号化データと、ｒビットとからなる、全部でＮビット毎にブロック化した符号化データブロックに並び替えると共に、各Ｎビットの符号化データブロック内のｒビットには、ＯＳＤフラグをサンプリングして得られたＯＳＤ情報のうちのｒビットを埋め込む。
【選択図】図１

Description

本発明は符号化装置及び復号化装置に係り、特に画像信号を圧縮符号化する符号化装置及び圧縮符号化された符号化信号を復号する復号化装置に関する。

近年、デジタルハイビジョン放送やＨＤ(High Definition)対応のビデオカメラの登場やデジタルカメラの高画質化により、家庭で使用するテレビの大画面化、高画質化が進んできており、テレビについてはＨＤサイズ（水平方向1920画素、垂直方向1080画素）の画面サイズのものに対する需要が高まってきた。

一方、上記のようなＨＤサイズの画面のテレビに表示されるデジタル画像信号は、エンハンサやフレームレート変換処理などの画像処理が行われるが、その画像処理の際には、１フレーム以上のデータをダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの外部メモリに保存する必要がある。しかし、外部メモリは高価であり、またＨＤサイズの画像データを何フレームも保存しておくために大容量の外部メモリを複数個必要とする場合もあり、製品のコストアップと基板の部品点数増加の要因となる。

そのため、ＨＤサイズの画像データのデータ量を画像圧縮技術を用いてできるだけ低減することが行われる。この画像圧縮技術として、ＭＰＥＧ(Moving Picture Experts Group)方式が知られている。このＭＰＥＧ方式では、画像データをマクロブロック（水平方向１６画素、垂直方向１６画素）の単位で動き補償予測し、かつ、可変長符号化を行うことで、画像圧縮率の高い高能率符号化を実現している。しかし、このＭＰＥＧ方式は、アルゴリズムが複雑であるため、画像処理回路を大規模半導体集積回路（LSI：Large Scale Integration）化した場合には、ＭＰＥＧ方式の符号化回路部分が大面積を占有することになり、画像の高画質処理に特化した信号処理用LSIや安価な画像処理LSIには不向きである。

そのため、符号化方法については、入力画像について前値との差分を用いたビット圧縮（例えば、８ビット信号を４ビット信号に変換）するなどの、入力画像を簡便に圧縮できる符号化方法が画像の高画質処理に特化した信号処理用LSIや安価な画像処理LSIに用いられることがある。

一方、画像信号処理については、インターレース信号をプログレッシブ信号に変換するＩＰ変換や、３次元のイズリダクション処理（３ＤＮＲ：Digital Noise Reduction）や、倍速処理などフレームメモリの使用を伴う内部処理を必要とするものが多く存在し、複数のフレームをＤＲＡＭなどの外部メモリに保存しておくことが多くなってきた。また、画像信号処理についてはたとえ外部入力が８ビットであったとしても、１０ビットなどにビット数を上げて計算することが一般的となっている。

また、オン・スクリーン・ディスプレイ（ＯＳＤ）に関しては、基本的にはメイン画面の画像信号に画質改善のための信号処理を施した後、その画像信号とＯＳＤ信号とを混合又はどちらか一方の信号に置き換えて表示することが行われる。

画像信号処理は上記の通り目的により様々なものが存在するが、倍速処理などでは内部信号が１０ビットの場合でも上位８ビットだけを使用して中間フレームを生成することがある。この場合は、原フレームの上位８ビットから生成された中間フレームの上位８ビットの下位ビットに、原フレームの下位２ビットを追加することで、１０ビットに戻すという処理を行うことがある。

また、ＯＳＤ画像については、ＯＳＤ画像を重畳した画像信号を倍速処理の対象にすると、倍速処理により生成した中間フレームにもＯＳＤ画像が含まれる。この場合、中間フレームに含まれたＯＳＤ画像は、動きベクトルの誤検出やエンハンス処理などにより、そのＯＳＤ画像の周囲が不自然に揺れたり、強調されることがある。また、ＯＳＤ画像だけをブロック分割や画素の連続性を考慮した圧縮を用いてメイン画面の画像信号とは別に保存する方法もある（例えば、特許文献１参照）。しかし、リアルタイム表示を行う場合はＯＳＤ画像のみを保存する必要がない。そのため、ＯＳＤ画像は表示の直前にメイン画面の画像信号に多重するように挿入される。

特開平９−２７５５６３号公報

差分符号化などによりビット数を削減する、前述した入力画像を簡便に圧縮できる符号化方法を採用した符号化装置では、ＯＳＤに関しては重畳しているかどうかという情報を含めていなかった。

一方、最近の液晶パネルは１０ビット対応のものが増えているが、倍速処理など一部の画像信号処理については８ビット処理で十分なものもある。この場合は、特許文献１記載の発明のように、下位２ビットをフレームメモリなどに保存し、処理後にメイン画面の画像や作成された中間フレーム画像の下位に、保存しておいた下位２ビットを追加することで１０ビットに戻すといった処理を行う場合がある。

このような処理を行う場合、１００％のＯＳＤ画面では上記のような処理により、ＯＳＤ信号の下位ビット（上記例では２ビット）に原フレーム（メイン画像信号）の下位ビットを追加して元のビット数に戻すと、元のビット数に戻されたＯＳＤ信号によるＯＳＤ画面が、追加した下位ビットによりメイン画面に合わせて揺れるように見えるなどの表示上の不具合が発生する。

本発明は、上記の点に鑑みなされたもので、ＯＳＤ信号にメイン画面信号の下位ビットを誤って付加することを防ぐことが可能な符号化装置及び復号化装置を提供することを目的とする。

上記目的を達成するため、本発明の符号化装置は、画像信号の少なくとも連続する２画素毎にそれらの差分値を符号化した第１の符号化データを生成する符号化手段と、画像信号の水平方向についてオンスクリーンディスプレイ情報の重畳の有無を示すオンスクリーンディスプレイフラグを生成するオンスクリーンディスプレイフラグ生成手段と、オンスクリーンディスプレイフラグを、所定画素毎のサンプリング間隔でサンプリングしてビット数Ｒビットのオンスクリーンディスプレイ情報を生成するサンプリング手段と、複数個の第１の符号化データに含まれるビット数と、サンプリング手段により生成されたオンスクリーンディスプレイ情報のビット数Ｒビットのうちの所定のビット数ｒビット（ｒはＲより小なる自然数）とからなるＮビット（Ｎはｒより大なる自然数）の第２の符号化データを符号化データブロック単位で出力する出力手段とを有することを特徴とする。

ここで、上記符号化手段は、画像信号が各々量子化ビット数Ａビットの各画素からなるとき、量子化ビット数Ａビットのうちの上位ビットであるビット数ｑビット（ｑはＡ、Ｎより小なる自然数）からなる画素をＭ個（Ｍは２以上の自然数）毎にブロックに分割し、分割した各ブロックの先頭の一画素である符号化されていないデータと、符号化されていないデータ以降の（Ｍ−１）個の画素については１つ前の画素との差分値を符号化した、各々量子化ビット数ｐビット（ｐ＜ｑ）の複数のデータとを第２の符号化データとして生成することを特徴とする。

また、上記の目的を達成するため、本発明の符号化装置は、画像信号が、輝度信号及び２種類の色差信号からなる３種類のビット数が各Ｎビット（Ｎはｒより大なる自然数）の画像信号であり、出力手段は、３種類の画像信号の符号化データブロックのうち、複数個の符号化データを除いた全部でビット数３ｒビットにビット数がＲビットのオンスクリーンディスプレイ情報のすべてを別々に埋め込んで並列に出力することを特徴とする。

また、上記の目的を達成するため、本発明の復号化装置は、画像信号の水平方向についてオンスクリーンディスプレイ情報の重畳の有無を示すオンスクリーンディスプレイフラグを、所定画素毎のサンプリング間隔でサンプリングして得られたビット数Ｒビットのオンスクリーンディスプレイ情報のうちのビット数ｒビット（ｒはＲより小なる自然数）と、複数個の第１の符号化データに含まれるビット数とからなるビット数Ｎビット（Ｎはｒより大なる自然数）の第２の符号化データが符号化ブロック単位で入力され、その符号化データブロック中の複数個の第１の符号化データとオンスクリーンディスプレイ情報とを分離抽出する分離抽出手段と、分離抽出手段により分離抽出された複数個の第１の符号化データを順次に復号して、画像信号である復号化データを出力する復号化手段と、分離抽出手段により分離抽出されたオンスクリーンディスプレイ情報からオンスクリーンディスプレイフラグを復号するオンスクリーンディスプレイフラグ復号手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の復号化装置は、第２の符号化データを構成する複数個の第１の符号化データは、画像信号が各々量子化ビット数Ａビットの各画素からなるとき、量子化ビット数Ａビットのうちの上位ビットのビット数ｑビット（ｑはＡ、Ｎより小なる自然数）からなる画素をＭ個（Ｍは２以上の自然数）毎にブロック分割され、分割された各ブロックの先頭の一画素である符号化されていないデータと、符号化されていないデータ以降の（Ｍ−１）個の画素については１つ前の画素との差分値を符号化した、各々量子化ビット数ｐビット（ｐ＜ｑ）の複数のデータとから構成され、量子化ビット数Ａビットの画像信号の下位ビットのビット数（Ａ−ｑ）ビット（ｑはＡ、Ｎより小なる自然数）を予め記憶する記憶手段と、オンスクリーンディスプレイフラグ手段から出力されるオンスクリーンディスプレイフラグがオンスクリーンディスプレイ情報の重畳を示していない時には、復号化手段から出力された量子化ビット数Ａビットのうちの上位ビットのビット数ｑビットの各画素からなる復号化データの下位に、記憶手段から読み出した画像信号の下位ビットのビット数（Ａーｑ）ビットの各画素からなる画像信号を追加して、それぞれ全部でビット数Ａビットの各画素からなる画像信号を生成する多重手段と、オンスクリーンディスプレイフラグ手段から出力されるオンスクリーンディスプレイフラグがオンスクリーンディスプレイ情報の重畳を示している時には、量子化ビット数ｑビットのうちの上位ビットのビット数ｑビットの各画素からなる復号化データの下位に、ビット数（Ａーｑ）ビットの所定値を追加するビット追加手段とを有することを特徴とする。

本発明によれば、符号化装置によりＯＳＤフラグを符号化データブロック内に埋め込むことにより、復号化装置によりＯＳＤフラグに基づいて、ＯＳＤ信号を含まない画像信号のみに下位ビットの画像信号を追加して元の量子化ビット数の画像信号に戻すことができ、ＯＳＤ信号に画像信号の下位ビットを誤って付加することを防ぐことができる。

本発明の符号化装置の一実施の形態のブロック図である。 ＯＳＤフラグとＯＳＤフラグのサンプリングを説明する図である。 メイン画面にＯＳＤ画面がある一例の画面イメージを示す図である。 図１中の符号化器の一実施の形態のブロック図である。 図１の符号化装置により生成される符号化データブロックの一例の説明図である。 図１の動作説明用タイミングチャートである。 本発明の復号化装置の一実施の携帯のブロック図である。 図７中の復号化器の一実施の形態のブロック図である。 図７の動作説明用タイミングチャートである。 本発明の復号化装置の一実施例のブロック図である。

次に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明になる符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の符号化装置１００は、輝度信号Ｙ用の符号化モジュール１０１ａ、色差信号Ｕ用の符号化モジュール１０１ｂ、色差信号Ｖ用の符号化モジュール１０１ｃ、及び比較器１１０より構成される。符号化装置１００の入力画像データである輝度信号Ｙと色差信号Ｕ及びＶとは、それぞれ同一解像度の４：４：４フォーマットであるものとする。

符号化モジュール１０１ａ、１０１ｂ及び１０１ｃはそれぞれ同一構成であり、ブロック分割フラグ生成及びオンスクリーンディスプレイ（ＯＳＤ）フラグサンプリング部１０２ａ、１０２ｂ及び１０２ｃと、符号化器１０３ａ、１０３ｂ及び１０３ｃと、遅延器１０４ａ、１０４ｂ及び１０４ｃと、符号化ブロック及びオンスクリーンディスプレイ（ＯＳＤ）フラグ生成部１０５ａ、１０５ｂ及び１０５ｃとより構成される。ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａ〜１０２ｃと、符号化器１０３ａ〜１０３ｃとは符号化手段を構成し、符号化ブロック及びＯＳＤフラグ生成部１０５ａ〜１０５ｃは出力手段を構成する。

ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａは、ＹＵＶ判別信号と画像信号（ここでは輝度信号Ｙ）と比較器１１０からのオンスクリーンディスプレイ（ＯＳＤ）フラグとが入力される。ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ｂは、ＹＵＶ判別信号と画像信号（ここでは色差信号Ｕ）と比較器１１０からのＯＳＤフラグとが入力される。ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ｃは、ＹＵＶ判別信号と画像信号（ここでは色差信号Ｖ）と比較器１１０からのＯＳＤフラグとが入力される。このように、符号化モジュール１０１ａ、１０１ｂ及び１０１ｃは入力画像信号の種別が異なるだけで、構成自体はそれぞれ同一であるので、以下の説明では便宜上、符号化モジュール１０１ａについて代表して説明するものとするが、符号化モジュール１０１ｂ、１０１ｃについても符号化モジュール１０１ａと同様の処理を行う。

比較器１１０は、オンスクリーンディスプレイ（ＯＳＤ）情報を示すオンスクリーンディスプレイ（ＯＳＤ）信号の輝度信号を、設定値(Talfa)を閾値として比較し、閾値を超えたとき「１」、閾値以下のとき「０」の信号を、画像信号の水平方向についてＯＳＤ情報の重畳の有無を示すオンスクリーンディスプレイ（ＯＳＤ）フラグとして生成する。上記の設定値(Talfa)は、ＯＳＤ信号とＯＳＤ信号を含まない画像信号との混合比率を決定する値である。図２（Ａ）はこのＯＳＤフラグの一例を示す。図２（Ａ）に示すＯＳＤフラグは、ある画素より「０」から「１」に変化しており、例えば図３に示すメイン画面３０１中にＯＳＤ画面３０２があるとき、３０３で示す一部分（メイン画面の右側にＯＳＤ画面が存在する１ラインの一部分で、後述する１符号化データブロック区間）を示している。

ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａは、量子化ビット数Ａビット（ここでは、Ａ＝１０）の輝度信号Ｙのうち、上位ビットのビット数ｑビット（ここでは、ｑ＝８）の入力輝度信号ＹをＭ個（Ｍは２以上の自然数）の画素からなる符号化ブロック単位に分割して符号化器１０３ａへ出力する。なお、残りの下位ビットのビット数である（Ａ−ｑ）ビット（ここでは、Ａ−ｑ＝２）分については、外部メモリ（記憶手段）に保存しておく。

また、ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａは、符号化ブロック毎にそのブロックの先頭画素（先頭データ）を識別させるための論理値「１」の「first_word」を符号化器１０３ａへ出力する。なお、先頭データ以外の符号化されるデータ（第１の符号化データ）の各画素は、論理値「０」の「first_word」と共に符号化器１０３ａへ出力される。

また、ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａは、比較器１１０からのＯＳＤフラグを、サンプリング間隔ｆ画素でサンプリングして図２（Ｃ）に示す符号化ＯＳＤフラグを生成して、遅延器１０４ａへ出力する。なお、図２（Ｂ）は、符号化対象画素（入力輝度信号Ｙ）を示す。上記のサンプリング間隔ｆ画素は、後述するビット数Ｎビット（Ｎは２以上の自然数）の符号化データ（第２の符号化データ）ブロック内のビット数ｒビット（ｒはＮより小なる自然数）にサンプリングしたＯＳＤフラグを埋め込むものとする。

ここで、ＯＳＤ信号の重畳の有無を示すＯＳＤ情報は、Ｒビットの符号化されたＯＳＤフラグから構成されている。２ビットのＹＵＶ判別信号は、このＲビットを輝度信号Ｙと色差信号Ｕ，Ｖの３信号用に３分割して、輝度信号の符号化データブロックと、色差信号Ｕ、Ｖの各符号化データブロックとのうち、どの符号化データブロックに埋め込むか選択するための信号である。一例として、Ｒ＝６とした場合、図２（Ｄ）に示すように、例えば輝度信号の符号化データブロックに、６ビットのＯＳＤ情報のうちの０ビット目（ＬＳＢ：Least Significant Bit）と１ビット目の下位２ビットを埋め込み、色差信号Ｕの符号化データブロックに、６ビットのＯＳＤ情報のうちの２ビット目と３ビット目の２ビットを埋め込み、色差信号Ｖの符号化データブロックに、６ビットのＯＳＤ情報のうちの４ビット目と５ビット目（ＭＳＢ:Most Significant Bit）の上位２ビットを埋め込む。

符号化器１０３ａは、例えば図４のブロック図に示す構成とされている。この符号化器１０３ａは、入力画像について前値との差分を用いたビット圧縮を行う符号化装置であり、減算器４０１、局部復号回路４０２、量子化部４０３、及びセレクタ４０４から構成されている。局部復号回路４０２は、逆量子化部４１１、加算器４１２、セレクタ４１３及びバッファ４１４から構成されている。

次に、この符号化器１０３ａの動作について説明する。符号化器１０３ａは、まず減算器４０１において、入力画素信号（ここでは輝度信号）から局部復号回路４０２で局部復号して得られた局部復号信号を減算した差分値を画素単位で生成する。従って、この差分値は、入力画素信号とその一つ前に入力された画素信号の局部復号信号との差分値である。

次に、符号化器１０３ａは、量子化部４０３において減算器４０１からの差分値を量子化し、得られた量子化後信号を局部復号回路４０２に供給して局部復号すると共に、セレクタ４０４に供給する。局部復号回路４０２は、逆量子化部４１１において、量子化部４０３から出力された量子化後信号を逆量子化して、量子化前の差分値を生成する。続いて、局部復号回路４０２は、加算器４１２にて、バッファ４１４からの信号と逆量子化部４１１からの差分値とを加算して、一つ前の入力画素信号の局部復号信号を画素単位で得る。

セレクタ４１３は、減算器４０１に入力画素信号の先頭データである最初の画素信号が入力されるときは、前述した先頭データを示す「first_word」の論理値が「１」であり、そのとき先頭データをそのまま選択する。また、先頭データ以降の画素信号入力時は、先頭データを示す「first_word」の論理値が「０」であるので、加算器４１２においてバッファ４１４からの信号と逆量子化部４１１からの差分値とを加算して得られた局部復号信号を選択する。バッファ４１４は、セレクタ４１３により選択された上記の先頭データ及びそれに続いて入力される局部復号信号を順次に蓄積した後、減算器４０１及び加算器４１２に供給する。

セレクタ４０４は、減算器４０１に先頭データである最初の画素信号が入力されるときは、同時に論理値「１」の「first_word」が入力されるので、入力された先頭データをそのまま選択して外部へ出力する。また、セレクタ４０４は、先頭データ以降の画素信号入力時は、同時に論理値「０」の「first_word」が入力されるので、量子化部４０３から出力される量子化後信号を選択して符号化データ（第１の符号化データ）として外部へ出力する。そして、先頭データとそれに続く所定数の符号化データによって、１つの符号化データ（第２の符号化データ）ブロックが構成される。

従って、１つの符号化データブロックでみると、先頭のデータは量子化されていない、すなわち符号化されていないが、それ以外の符号化データは、続いて入力される２つの画素信号の差分値を量子化した量子化後信号、すなわち符号化された信号である。

この符号化器１０３ａは、符号化処理自体は前値との差分値を用いて符号化しているが、先頭データは符号化しないことにより、復号化時のデータ回復時間を速めるため、入力データをそのまま出力する。そのため、符号化データブロックの先頭データは入力データのビット数と同じとなるが、それに続く符号化データは量子化により入力データのビット数より少ないビット数になるように量子化されている。このように、符号化器１０３ａは、１個の符号化されていない先頭データと（Ｍ−１）個（Ｍは２以上の自然数）の符号化データとを順次に符号化ブロック及びＯＳＤフラグ生成部１０５ａへ出力する。

図１に戻って説明する。遅延器１０４ａは、符号化器１０３ａの符号化処理に要する時間、ブロック分割フラグ生成及びＯＳＤフラグサンプリング部１０２ａからの符号化ＯＳＤフラグを遅延して、符号化器１０３ａから出力される符号化データブロックとの時間合わせを行って符号化ブロック及びＯＳＤフラグ生成部１０５ａへ出力する。

符号化ブロック及びＯＳＤフラグ生成部１０５ａは、符号化器１０３ａから供給される先頭データ及び符号化データを図５（Ａ），（Ｂ）に模式的に示すように、前述した符号化されていない先頭データ（画素）と、２番目以降の（Ｍ−１）個の符号化データ（画素）と、ＯＳＤ情報伝送用のｒビットとからなる、全部でＮビット毎にブロック化した符号化データブロックに並び替えると共に、各Ｎビットの符号化データブロック内の上記ｒビットには、遅延器１０４ａから供給されるＯＳＤフラグをサンプリングして得られたＯＳＤ情報のうちのｒビットを埋め込む。前述したように、１つの符号化データブロック内に、ＯＳＤ情報全体のビット数Ｒビットのうちのｒビット（Ｒ＞ｒ）分のＯＳＤ情報を埋め込むかは、ＹＵＶ判別信号により選択される。

図５（Ａ）に示すように、符号化データブロックの先頭データ（画素）は前述したように符号化されておらず入力と同じｑビットのままであるが、２番目以降の（Ｍ−１）個の符号化データ（画素）は符号化によりｐビット（ｐ＜ｑ）に圧縮されている。符号化データブロックのビット数Ｎは、ＤＲＡＭやＤＤＲ ＳＤＲＡＭ(Double-Data-Rate Synchronous Dynamic Random Access Memory)などの外部メモリに保存することを考慮すると、２のべき乗であることが望ましい。このため、１個の先頭データと（Ｍ−１）個の符号化されたデータとからなる全部でＭ個の画素のビット数を２のべき乗にするように構成するが、必ずしも２のべき乗にならず余りのビットがでる。この余ったビット（ｒビット）を上記のようにＯＳＤ情報のうちのｒビットの伝送用に用いる。例えば、符号化データブロックのビット数Ｎを「２５６」とし、ｑ＝８、ｐ＝６、Ｍ−１＝４１とすると、ｒは２（＝256-8-6×41）ビットとなる。

このようにして、符号化モジュール１０１ａは、図６（Ａ）に示すクロックと、同図（Ｂ）に示すＹＵＶ判別信号と、同図（Ｃ）に示すＯＳＤフラグと、同図（Ｄ）に示すイネーブル信号と、同図（Ｅ）に示す画像信号（輝度信号Ｙ）とを入力として受け、同図（Ｆ）に示す符号化データブロックと、同図（Ｇ）に示すストローブ信号とを出力する。符号化モジュール１０１ａは、図１では図示を省略した上記のイネーブル信号がハイレベルの時に画像信号を取り込む。また、上記のストローブ信号は、ハイレベルのときに次段の回路（図示せず）が符号化データブロックを取り込むための信号である。

このように、本実施の形態の符号化装置１００によれば、ＯＳＤ信号がメイン画面の画像信号に重畳されるかどうかを示すＯＳＤフラグを、符号化対象画素のｆ画素毎にサンプリングして得られるＲビットのＯＳＤ情報として符号化データブロック内に含めて（埋め込んで）、符号化データブロック単位で符号化信号を出力するようにしたため、後述する復号化装置において、符号化データブロックを復号化した際にＯＳＤフラグによりどの位置からＯＳＤ信号が重畳されるかをｆ画素毎に把握することが可能となる。

次に、本発明になる復号化装置について説明する。

図７は、本発明になる復号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の復号化装置２００は、輝度信号Ｙ用の復号化モジュール２０１ａ、色差信号Ｕ用の復号化モジュール２０１ｂ、色差信号Ｖ用の復号化モジュール２０１ｃ、及びオンスクリーンディスプレイ（ＯＳＤ）復号回路２０６より構成される。

復号化モジュール２０１ａ、２０１ｂ及び２０１ｃは、それぞれビット分割及びオンスクリーンディスプレイ（ＯＳＤ）フラグ抽出部２０２ａ、２０２ｂ及び２０２ｃ、復号化器２０３ａ、２０３ｂ及び２０３ｃ、遅延器２０４ａ、２０４ｂ及び２０４ｃ、出力回路２０５ａ、２０５ｂ及び２０５ｃからなる。復号化モジュール２０１ａは、図１に示した符号化モジュール１０１ａにより生成された輝度信号Ｙの符号化データブロックと、ストローブ信号(strb)とを入力として受け、輝度信号Ｙの復号化データと、データイネーブル信号と、輝度信号ＹのＯＳＤフラグ_Ｙとを出力する。

また、復号化モジュール２０１ｂは、図１に示した符号化モジュール１０１ｂにより生成された色差信号Ｕの符号化データブロックと、ストローブ信号(strb)とを入力として受け、色差信号Ｕの復号化データと、データイネーブル信号と、色差信号ＵのＯＳＤフラグ_Ｕとを出力する。更に、復号化モジュール２０１ｃは、図１に示した符号化モジュール１０１ｃにより生成された色差信号Ｖの符号化データブロックと、ストローブ信号(strb)とを入力として受け、色差信号Ｖの復号化データと、データイネーブル信号と、色差信号ＶのＯＳＤフラグ_Ｖとを出力する。

このように、復号化モジュール２０１ａ、２０１ｂ及び２０１ｃは入力符号化データブロックの信号種別が異なるだけで、構成自体はそれぞれ同一であるので、以下の説明では便宜上、復号化モジュール２０１ａについて代表して説明するものとする。

ビット分割及びＯＳＤフラグ抽出部２０２ａは、図５（Ａ）に模式的に示す符号化されていないビット数がｑビットの先頭データと、符号化されたビット数ｒビットの複数個のデータ（第１の符号化データ）と、ビット数がｒビットのＯＳＤフラグとからなる輝度信号のＮビットの符号化データ（第２の符号化データ）ブロックが、図５（Ｂ）に模式的に示すように符号化データブロック単位で入力され、その符号化データブロックを、Ｔクロック毎に（Ｔは符号化データブロックに含まれる画素の数）ハイレベルとなるストローブ信号のハイレベル期間、取り込んでビット分割を行う。

このビット分割は、２相で復号するために符号化データブロック内の配置位置が偶数番目である符号化データ（画素）と、奇数番目である符号化データ（画素）とに分割する処理である。なお、符号化データブロック内の先頭データ（画素）は前述したように符号化されていないが、偶数番目の符号化データ（画素）として分割される。また、先頭データの後に配置されている２番目以降の符号化データは、奇数番目の符号化データ（画素）、偶数番目の符号化データ（画素）の順で交互に分割される。

また、ビット分割及びＯＳＤフラグ抽出部２０２ａは、分割されたデータが先頭データであるか否かを示すフラグ「first_word」も出力する。フラグ「first_word」は論理値「１」のとき先頭データであることを示す。更に、ビット分割及びＯＳＤフラグ抽出部２０２ａは、符号化データブロック内の最後のｒビット（上記の例ではｒ＝２）に埋め込まれたＯＳＤフラグを抽出して出力する。

復号化器２０３ａは、ビット分割及びＯＳＤフラグ抽出部２０２ａからビット分割されて出力された符号化データを復号化する。図８は、復号化器２０３ａの一実施の形態のブロック図を示す。図８において、符号化データブロックの分割された各データのうち、先頭データは、セレクタ５３の入力端子１に入力され、偶数番目の符号化データ（画素）は逆量子化部５０１ａに入力され、奇数番目の符号化データ（画素）は逆量子化部５０１ｂに入力される。

逆量子化部５０１ａ、５０１ｂは、入力符号化データ（画素）に対して逆量子化を行い、図４に示した符号化器１０３ａ内の量子化部４０３の入力信号である差分値を復号化する。また、セレクタ５０３は、フラグ「first_word」の論理値が「１」であるときに入力される先頭データを選択して偶数番目の復号化データとして外部へ出力されると共に、加算器５０４に供給されて次の奇数番目の符号化データの前値として使用される。

ここで、上記の復号化された差分値は、奇数番目又は偶数番目のデータと、そのデータより１クロック前に符号化器１０３ａに入力された偶数番目又は奇数番目のデータとの差分値である。そこで、偶数番目又は奇数番目の１クロック前に符号化部に入力されたデータの先頭データまたは復号化データを前値として上記の差分値と加算することで、奇数番目又は偶数番目のデータを復号化することができる。

上記の点に着目し、加算器５０２は、逆量子化部５０１ａから入力される偶数番目の符号化データの復号化された差分値と、バッファ５０５から入力される一つ前の前値である奇数番目の復号化データとを加算して、偶数番目の復号化データを生成する。

セレクタ５０３は、先頭データ以外の入力期間、論理値「０」とされたフラグ「first_word」に基づいて、加算器５０２からの復号化データを選択し、偶数番目の復号化データとしてそのまま出力する一方、加算器５０４に前値として供給する。加算器５０４は、逆量子化部５０１ｂから入力される奇数番目の符号化データの復号化された差分値と、セレクタ５０３から入力される一つ前の前値である偶数番目の復号化データとを加算して、奇数番目の復号化データを生成し、外部へ出力すると共に、バッファ５０５に供給して次の前値として保持する。

このように、図８に示す復号化器５０３ａによれば、逆量子化部５０１ａからの偶数番目の符号化データを復号化して得た偶数番目の差分値を、バッファ５０５からの１つ前の奇数番目の復号化データと加算器５０２において加算することで量子化ビット数ｑビットの偶数番目の復号化データを得ると同時に、奇数番目の符号化データを復号化して得た奇数番目の差分値を、セレクタ５０３からの１つ前の偶数番目の復号化データと加算器５０４において加算することで量子化ビット数ｑビットの奇数番目の復号化データを得ることができる。

再び図７に戻って説明する。遅延器２０４ａは、復号化器２０３ａが復号化処理に要する時間、ビット分割及びＯＳＤフラグ抽出部２０２ａからのＯＳＤフラグを遅延して、復号化器２０３ａから出力される復号化データとの時間合わせを行って出力回路２０５ａへ出力する。

出力回路２０５ａは、復号化器２０３ａから供給される偶数番目の復号化データ及び奇数番目の復号化データと、遅延器２０４ａから供給されるビット数がｒビットのＯＳＤフラグとを、クロックに同期させて並列に出力する。また、出力回路２０５ａは、データイネーブル信号（出力データが有効であることを示すフラグ）を生成して出力する。

ＯＳＤ復号回路２０６は、復号化モジュール２０１ａから出力されたＯＳＤフラグ_Ｙと、復号化モジュール２０１ｂから出力されたＯＳＤフラグ_Ｕと、復号化モジュール２０１ｃから出力されたＯＳＤフラグ_Ｖとを結合して３ｒビット（上記の例では６ビット）のＯＳＤ情報を復号することで、図２に示したようにｆ画素毎にサンプリングされた１ビットのＯＳＤフラグを復号して出力する。

このＯＳＤフラグは、復号化データにより得られるメイン画面の画像信号と、ＯＳＤ情報が重畳されているＯＳＤ信号のどちらか一方を選択する画像選択回路に供給されると共に、外部メモリに保存しておいた所定ビット数の下位ビットの画像信号と、所定ビット数の０のどちらか一方を選択して画像選択回路で選択された信号の下位ビットにマージさせるための下位ビット選択回路とに供給される。

このようにして、復号化モジュール２０１ａは、図９（Ａ）に示すクロックと、同図（Ｂ）に示す符号化データブロックと、同図（Ｃ）に示すストローブ信号とを入力として受け、同図（Ｄ）に示すＯＳＤフラグと、同図（Ｇ）に示すデータイネーブル信号と、同図（Ｆ）に示す復号化データとを出力する。

このように、本実施の形態の復号化装置２００によれば、ＯＳＤ信号がメイン画面の画像信号に重畳されるかどうかを示すＯＳＤフラグを、符号化対象画素のｆ画素毎にサンプリングされて符号化データブロック内に含めた（埋め込んだ）符号化データブロックから復号化データを出力すると共に、復号化したＯＳＤフラグによりどの位置からＯＳＤ信号が重畳されるかをｆ画素毎に把握することが可能となる。これにより、量子化ビット数Ａビットの復号化データから得られるメイン画面の画像信号に、下位（Ａ−ｑ）ビットのメイン画面の画像信号を追加して量子化ビット数Ａビットのメイン画面の画像信号に戻す際、ＯＳＤ信号に下位（Ａ−ｑ）ビットのメイン画面の画像信号を誤って付加することを防ぐことができる。この結果、本実施の形態によれば、１００％のＯＳＤ画面が、追加した（Ａ−ｑ）ビットのメイン画面の画像信号によりメイン画面に合わせて揺れるように見えるなどの表示上の不具合を防止することができる。

図１０は、本発明になる復号化装置の一実施例のブロック図を示す。同図において、復号化装置６００は、外部メモリ６０１、バッファ６０３ａ、６０３ｂ及び６０３ｃ、復号化モジュール６０４ａ、６０４ｂ及び６０４ｃ、ＯＳＤ復号回路６０５、画像信号選択回路６０６ａ、６０６ｂ及び６０６ｃ、下位ビット選択回路６０７ａ、６０７ｂ及び６０７ｃから構成される。画像信号選択回路６０６ａ〜６０６ｃと下位ビット選択回路６０７ａ〜６０７ｃとは、多重手段及びビット追加手段を構成する。

外部メモリ６０１は、輝度信号Ｙ用記憶領域６０２ａ、色差信号Ｕ用記憶領域６０２ｂ及び色差信号Ｖ用記憶領域６０２ｃを有する。記憶領域６０２ａには、量子化ビット数１０ビットのメイン画面用の輝度信号画像データの下位２ビットの画像データが記憶されている下位２ビット記憶領域７０１ａ、図１に示した符号化モジュール１０１ａにより生成されたフレーム０の符号化データブロック群が記憶されているフレーム０記憶領域７０２ａ、図１に示した符号モジュール１０１ａにより生成されたフレーム０の次のフレームであるフレーム１の符号化データブロック群が記憶されているフレーム１記憶領域７０３ａ、フレーム０及びフレーム１の符号化データブロック群の一方を選択する選択部７０４ａとからなる。記憶領域６０１ａと同様に、記憶領域６０２ｂ、６０２ｃには、下位２ビット記憶領域７０１ｂ、７０１ｃ、フレーム０記憶領域７０２ｂ、７０２ｃ、フレーム１記憶領域７０３ｂ、７０３ｃ、選択部７０４ｂ、７０４ｃとが形成されている。

記憶領域７０２ａ〜７０２ｃ、７０３ａ〜７０３ｃのそれぞれには、輝度信号Ｙ、色差信号Ｕ、色差信号Ｖの各量子化ビット数１０ビットのメイン画面用の画像データの上位８ビットの画像データが、図１に示した符号化モジュール１０１ａ〜１０１ｃによる圧縮符号化により図５（Ａ）に模式的に示した符号化データブロックとされ、符号化データブロックが図５（Ｂ）に模式的に示したように１フレーム分多重されて記憶されている。

また、図１０において、復号化モジュール６０４ａ、６０４ｂ及び６０４ｃは、図７に示した復号化装置２００内の復号化モジュール２０１ａ、２０１ｂ及び２０１ｃと同様の構成とされている。また、ＯＳＤ復号回路６０５は、図７に示したＯＳＤ復号回路２０６と同様の構成とされている。また、画像信号選択回路６０６ａ、６０６ｂ、６０６ｃは、それぞれＯＳＤ復号回路６０５からのＯＳＤフラグの値が「１」のとき、端子１に入力されるＯＳＤ情報の量子化ビット数８ビットの輝度信号ＯＳＤ_Ｙ、色差信号ＯＳＤ_Ｕ、色差信号ＯＳＤ_Ｖを選択し、ＯＳＤフラグの値が「０」のとき、端子０に入力される復号化モジュール６０４ａ、６０４ｂ、６０４ｃからの量子化ビット数８ビットの復号化データを選択する。なお、復号化データが２相の場合は２相並列に出力される。

また、下位ビット選択回路６０７ａ、６０７ｂ、６０７ｃは、ＯＳＤ復号回路６０５からのＯＳＤフラグの値が「１」のとき、端子１に入力される２ビット値「００」を出力し、ＯＳＤフラグの値が「０」のとき、端子０に入力されるバッファ６０３ａ、６０３ｂ、６０３ｃからの下位２ビット分の輝度信号Ｙ、色差信号Ｕ、色差信号Ｖを選択する。

上記の構成の復号化装置６００によれば、量子化ビット数１０ビットのメイン画面の画像データについて倍速処理を行う際、フレームメモリ容量軽減やメモリのパフォーマンスのため原フレームと中間フレームとして生成するフレームは、上記１０ビットの上位８ビットの量子化ビット数の画像データが、図１に示した符号化モジュール１０１ａ〜１０１ｃにより、先頭データ以外は６ビットに圧縮符号化された符号化データブロックとして記憶領域７０２ａ〜７０２ｃ、７０３ａ〜７０３ｃに記憶されている。

選択部７０４ａ、７０４ｂ、７０４ｃは、上記の倍速処理を行う際には、記憶領域７０２ａ〜７０２ｃからのフレーム０の符号化データブロック及び記憶領域７０３ａ〜７０３ｃからのフレーム１の符号化データブロックの一方を選択して復号化モジュール６０４ａ、６０４ｂ、６０４ｃにそれぞれ供給する。符号化モジュール６０４ａ、６０４ｂ、６０４ｃは、入力された符号化データブロックに対して、図７と共に説明した復号化モジュール２０１ａと同様の復号化動作を行う。

ＯＳＤ復号回路６０５は、復号化モジュール６０４ａ、６０４ｂ、６０４ｃにより復号化されて出力されるＯＳＤフラグに対して図７のＯＳＤ復号回路２０６と同様の復号動作を行ってＯＳＤフラグを復号し、そのＯＳＤフラグを画像信号選択回路６０６ａ〜６０６ｃと下位ビット選択回路６０７ａ〜６０７ｃにそれぞれ選択制御信号として供給する。

これにより、ＯＳＤフラグにより復号化データがメイン画面であることを示している値「０」のときには、画像信号選択回路６０６ａ〜６０６ｃは復号化モジュール６０４ａ〜６０４ｃからそれぞれ出力される量子化ビット数８ビットの復号化データを選択する。また、これと並行して下位ビット選択回路６０７ａ〜６０７ｃが、バッファ６０３ａ〜６０３ｃを通して供給される下位２ビット記憶領域７０１ａ〜７０１ｃに予め記憶されている下位２ビットのメイン画面の画像データを選択する。

これにより、倍速処理を行う際には、画像信号選択回路６０６ａ〜６０６ｃから出力される量子化ビット数８ビットの復号化データの下位ビットのビット数２ビットに、下位ビット選択回路６０７ａ〜６０７ｃにより選択された下位２ビットの画像データが追加されて、元の量子化ビット数１０ビットのメイン画面の画像データに戻されて出力される。

また、ＯＳＤ復号回路６０５から出力されるＯＳＤフラグはＯＳＤ情報が重畳されていることを示す値「１」のときは、画像信号選択回路６０６ａ、６０６ｂ、６０６ｃは量子化ビット数８ビットのＯＳＤ信号ＯＳＤ_Ｙ、ＯＳＤ_Ｕ、ＯＳＤ_Ｖを選択する。また、これと並行して下位ビット選択回路６０７ａ〜６０７ｃが、２ビットの固定値「００」を選択する。

これにより、ＯＳＤ情報のときは画像信号選択回路６０６ａ〜６０６ｃから出力される量子化ビット数８ビットの各画素からなる復号化データであるＯＳＤ信号の下位２ビットに「００」が追加され、全体として量子化ビット数１０ビットの信号とされて出力される。従って、１００％ＯＳＤ情報になった場合にＯＳＤ画情報がメイン画面の画像信号に同期したノイズがあるような表示になることを防ぐことができる。なお、ＯＳＤ情報の場合の下位２ビットに追加するビットは「００」でなく、所定の固定値であればよい。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、復号化装置は２相の復号化データを出力する構成に限定されるものではなく、１相の復号化データを出力してもよいし、３相以上の復号化データを出力するようにしてもよい。

１００ 符号化装置
１０１ａ、１０１ｂ、１０１ｃ 符号化モジュール
１０２ａ、１０２ｂ、１０２ｃ ブロック分割フラグ生成及びオンスクリーンディスプレイ（ＯＳＤ）サンプリング部
１０３ａ、１０３ｂ、１０３ｃ 符号化器
１０４ａ、１０４ｂ、１０４ｃ、２０４ａ、２０４ｂ、２０４ｃ 遅延器
１０５ａ、１０５ｂ、１０５ｃ 符号化ブロック及びオンスクリーンディスプレイ（ＯＳＤ）フラグ生成部
１１０ 比較器
２００、６００ 復号化装置
２０１ａ、２０１ｂ、２０１ｃ、６０４ａ、６０４ｂ、６０４ｃ 復号化モジュール
２０２ａ、２０２ｂ、２０２ｃ ビット分割及びオンスクリーンディスプレイ（ＯＳＤ）フラグ抽出部
２０３ａ、２０３ｂ、２０３ｃ 復号化器
２０５ａ、２０５ｂ、２０５ｃ 出力回路
２０６、６０５ ＯＳＤ復号回路
４０３ 量子化部
４０２ 局部復号回路
４０４、４１３、５０３ セレクタ
５０１ａ、５０１ｂ 逆量子化部
５０５、６０３ａ、６０３ｂ、６０３ｃ バッファ
６０１ 外部メモリ
６０２ａ、６０２ｂ、６０２ｃ 記憶領域
６０６ａ、６０６ｂ、６０６ｃ 画像信号選択回路
６０７ａ、６０７ｂ、６０７ｃ 下位ビット選択回路
７０１ａ、７０１ｂ、７０１ｃ 下位２ビット記憶領域
７０２ａ、７０２ｂ、７０２ｃ フレーム０記憶領域
７０３ａ、７０３ｂ、７０３ｃ フレーム１記憶領域
７０４ａ、７０４ｂ、７０４ｃ 選択部

Claims (5)

1. 画像信号の少なくとも連続する２画素毎にそれらの差分値を符号化した第１の符号化データを生成する符号化手段と、
   前記画像信号の水平方向についてオンスクリーンディスプレイ情報の重畳の有無を示すオンスクリーンディスプレイフラグを生成するオンスクリーンディスプレイフラグ生成手段と、
   前記オンスクリーンディスプレイフラグを、所定画素毎のサンプリング間隔でサンプリングしてビット数Ｒビットのオンスクリーンディスプレイ情報を生成するサンプリング手段と、
   前記複数個の第１の符号化データに含まれるビット数と、前記サンプリング手段により生成された前記オンスクリーンディスプレイ情報のビット数Ｒビットのうちの所定のビット数ｒビット（ｒはＲより小なる自然数）とからなるＮビット（Ｎはｒより大なる自然数）の第２の符号化データを符号化データブロック単位で出力する出力手段と
   を有することを特徴とする符号化装置。
2. 前記符号化手段は、前記画像信号が各々量子化ビット数Ａビットの各画素からなるとき、前記量子化ビット数Ａビットのうちの上位ビットであるビット数ｑビット（ｑは前記Ａ、Ｎより小なる自然数）からなる前記画素をＭ個（Ｍは２以上の自然数）毎にブロックに分割し、分割した各ブロックの先頭の一画素である符号化されていないデータと、前記符号化されていないデータ以降の（Ｍ−１）個の画素については１つ前の画素との差分値を符号化した、各々量子化ビット数ｐビット（ｐ＜ｑ）の複数のデータとを前記第２の符号化データとして生成することを特徴とする請求項１記載の符号化装置。
3. 前記画像信号は、輝度信号及び２種類の色差信号からなる３種類のビット数が各Ｎビット（Ｎはｒより大なる自然数）の画像信号であり、
   前記出力手段は、前記３種類の画像信号の前記符号化データブロックのうち、前記複数個の符号化データを除いた全部でビット数３ｒビットに前記ビット数がＲビットのオンスクリーンディスプレイ情報のすべてを別々に埋め込んで並列に出力することを特徴とする請求項１又は２記載の符号化装置。
4. 画像信号の水平方向についてオンスクリーンディスプレイ情報の重畳の有無を示すオンスクリーンディスプレイフラグを、所定画素毎のサンプリング間隔でサンプリングして得られたビット数Ｒビットのオンスクリーンディスプレイ情報のうちのビット数ｒビット（ｒはＲより小なる自然数）と、複数個の第１の符号化データに含まれるビット数とからなるビット数Ｎビット（Ｎはｒより大なる自然数）の第２の符号化データが符号化ブロック単位で入力され、その符号化データブロック中の前記複数個の第１の符号化データと前記オンスクリーンディスプレイ情報とを分離抽出する分離抽出手段と、
   前記分離抽出手段により分離抽出された前記複数個の第１の符号化データを順次に復号して、前記画像信号である復号化データを出力する復号化手段と、
   前記分離抽出手段により分離抽出された前記オンスクリーンディスプレイ情報から前記オンスクリーンディスプレイフラグを復号するオンスクリーンディスプレイフラグ復号手段と
   を有することを特徴とする復号化装置。
5. 前記第２の符号化データを構成する前記複数個の第１の符号化データは、前記画像信号が各々量子化ビット数Ａビットの各画素からなるとき、前記量子化ビット数Ａビットのうちの上位ビットのビット数ｑビット（ｑは前記Ａ、Ｎより小なる自然数）からなる前記画素をＭ個（Ｍは２以上の自然数）毎にブロック分割され、分割された各ブロックの先頭の一画素である符号化されていないデータと、前記符号化されていないデータ以降の（Ｍ−１）個の画素については１つ前の画素との差分値を符号化した、各々量子化ビット数ｐビット（ｐ＜ｑ）の複数のデータとから構成され、
   前記量子化ビット数Ａビットの前記画像信号の下位ビットのビット数（Ａ−ｑ）ビット（ｑは前記Ａ、Ｎより小なる自然数）を予め記憶する記憶手段と、
   前記オンスクリーンディスプレイフラグ手段から出力される前記オンスクリーンディスプレイフラグが前記オンスクリーンディスプレイ情報の重畳を示していない時には、前記復号化手段から出力された前記量子化ビット数Ａビットのうちの上位ビットのビット数ｑビットの各画素からなる復号化データの下位に、前記記憶手段から読み出した前記画像信号の下位ビットのビット数（Ａーｑ）ビットの各画素からなる画像信号を追加して、それぞれ全部でビット数Ａビットの各画素からなる前記画像信号を生成する多重手段と、
   前記オンスクリーンディスプレイフラグ手段から出力される前記オンスクリーンディスプレイフラグが前記オンスクリーンディスプレイ情報の重畳を示している時には、前記量子化ビット数ｑビットのうちの上位ビットのビット数ｑビットの各画素からなる復号化データの下位に、ビット数（Ａーｑ）ビットの所定値を追加するビット追加手段と
   を有することを特徴とする請求項４記載の復号化装置。

Images