JP2004328391A - Moving image decoding method and its device - Google Patents

Moving image decoding method and its device Download PDF

Info

Publication number
JP2004328391A
JP2004328391A JP2003120357A JP2003120357A JP2004328391A JP 2004328391 A JP2004328391 A JP 2004328391A JP 2003120357 A JP2003120357 A JP 2003120357A JP 2003120357 A JP2003120357 A JP 2003120357A JP 2004328391 A JP2004328391 A JP 2004328391A
Authority
JP
Japan
Prior art keywords
output
image memory
image
data
special value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003120357A
Other languages
Japanese (ja)
Inventor
Makoto Yasuda
誠 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003120357A priority Critical patent/JP2004328391A/en
Publication of JP2004328391A publication Critical patent/JP2004328391A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that the price of a device becomes high since an image memory becomes necessary for an OSD image separately from an image memory for main video to be used for decoding for performing on-screen display such as a caption in the reproduction method of a digital moving image. <P>SOLUTION: The image memory 140 of a B frame not to be used for prediction is made to also serve as the image memory for the OSD image among image memories to be used for decoding of the main video. OSD data are overwritten by making a special value as 0, instead of the pixel value of the B frame. In the case of display, the value is detected, converted into desired luminance and color data, superimposed on the main video, and displayed. Restriction is imposed so that no special value is used as the decoded value of the B frame. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、動画像復号化方法、及びその装置に関し、特に符号化された動画像を復号して再生する際に用いる、動画像復号化の再生方法、及びその装置に関するものである。
【0002】
【従来の技術】
近年、ディジタル技術の本格的な実用化の時代を迎え、動画像を記録再生装置、パソコン、ホームサーバーといった装置で記録・再生したり、インターネットをはじめとする通信網を用いて遠距離間を伝送することが可能になってきた。携帯電話などのディジタル移動体通信機器においても、その場で動画像を撮影し即座に他者へその動画像を送る手段が提供されている。また、放送の分野においても、テレビジョンをはじめとする動画像に対して、ディジタル技術を用いた伝送、及び符号化方式が採用されている。
【0003】
ディジタル信号の動画像信号や、音声信号は、アナログ信号のまま処理する場合と比較して、柔軟な処理形態が採用できるため、高品質化、高信頼性化が実現できるなどの特長を有し、広く用いられている。
【0004】
動画像の再生方法として、単に動画像を復号化して提示するだけでなく、画面上に案内用の文字、台詞などの字幕、操作用のアイコンといった、いわゆるオンスクリーン表示(以下、OSDと呼ぶ。)を行う場合がある。
従来の動画像の復号化装置では、OSDデータ用に、専用の画像メモリを用いていた(例えば、特許文献1参照)。
【0005】
以下では、図15から図18を参照しながら、従来のこれらの装置で用いられている動画像の再生方法、及びその装置について説明する。
図15は、従来の動画像の再生方法を用いた再生装置のブロック図である。
図15において、410はストリームの入力端子、510は復号化手段、520は制御手段、530は参照用画像メモリ、540は出力用画像メモリ、550はOSD用画像メモリ、450はホストコントローラ、570はスイッチ、590は重畳手段、420は映像出力端子である。
【0006】
まず、入力端子410に与えられた動画像のストリームは、後続の復号化手段510で復号され、復元された画像を参照用画像メモリ530、または出力用画像メモリ540に格納する。この復号化方法は、一例として国際標準規格である通称、MPEG2(Moving Picture Experts Group Phase2)と呼ばれる「インフォメーション・テクノロジー ジェネリック・コーディング・オブ・ムービング・ピクチャーズ・アンド・アソシエーティッド・オーディオ・インフォメーション」(”Information technology −− Generic coding of moving pictures and associated audio information”)に記載の方法に準じた方法を用いる。このように、復号して得た動画像を主映像と呼ぶことにする。
【0007】
ここで、MPEG2規格での画像の符号化方法について概要を説明する。
図17に示すように、一続きの画像群は、そのフレームのデータのみで完全に復号可能なIフレーム(Intra−coded frame)、他の1枚のフレーム(IまたはPフレーム)を用いて復号するPフレーム(Predictive−coded frame)、他の最大2枚のフレーム(IまたはPフレーム)を用いて復号するBフレーム(Bi−directionally predictive−coded frame)、の3種類から成り、通常、規則正しいパターンで割り当てられる。図17の場合、復号化の順は、IO,P3,B1,B2,P6,B4,B5,..の順となる。ここで、P3フレームの作成にはIOフレームが必要であり、B1またはB2フレームの作成にはI0とP3フレームが必要となるため、IまたはPフレームは後続の画像フレームの作成のために、仮に映像出力から出力し終わったとしても、画像メモリ上に保存しておかなくてはならないことに注意を要する。これらを、参照フレームと呼ぶことにする。
【0008】
これに対して、Bフレームは、一度作成されると、他のフレームの作成時には一切参照されず、後は画像出力されるのみである。
【0009】
図17の例では、Iフレーム、及びPフレームは、参照用画像メモリ530に格納され、Bフレームは出力用画像メモリ540に格納される。スイッチ570では、参照用画像メモリ530、または出力用画像メモリ540中の画像を、本来画像を出力する順番(表示順)で映像出力されるように適切に選択する。
【0010】
制御手段520は、ホストコントローラ450から与えられるユーザからの再生指示にしたがって、復号化手段510、スイッチ570を適切に制御して、本来表示されるまで保持しておかなくてはならない画像の上書きを防止したり、表示用の完成済み画像が底をつかないように復号動作を継続したり、先述したように適切な順序で画像出力するようにスイッチ570を制御する。さらに、制御手段520は、ホストコントローラ450からの指示で、OSD用のパターンを発生し、OSD用画像メモリ550上に描画する働きをする。
【0011】
次に、重畳手段590の動作について、図16を用いて説明する。
ここでは、重畳手段590に入力された主映像の画像600上に、OSD用画像メモリ550に格納されたOSD画像610を重畳し、重畳後の画像620を得る。図16では、OSDデータとして、字幕データの場合を挙げており、主映像の上に重ね書きしている様子を示している。
【0012】
次に、画像メモリについて説明する。
まず、扱う映像は図18(a)に示すように、輝度Yと2つの色差信号Cb,Crで表される4:2:0画像である。標準テレビジョン信号の場合、Yは横720画素、縦480ライン分の画素あたり8ビットのデータから成り、Cb/CrはそれぞれYの縦横ともに半分のサンプル数となっている。
これらを格納する画像メモリの典型例は、図18(b)に示すように、画像メモリ上に連続してY,Cb,Crの3領域に分かれている。
【0013】
以上のようにして、OSDを主映像に重畳して表示するために、OSD用画像メモリ550から読み出したOSDデータと、参照用画像メモリ530または出力用画像メモリ540から読み出した主映像データを重畳手段590で合成して映像出力を得ている。
【0014】
【特許文献1】
特開平10−340077号公報
【0015】
【発明が解決しようとする課題】
しかし、以上の構成では、主映像の復号用途に用いるメモリ以外に、別途OSDデータ用としての画像メモリを設ける必要があり、装置の価格が高くなるという課題があった。
本発明は、上記従来の問題点に鑑みて提案されたものであり、OSD専用の画像メモリを設ける必要のない、動画像復号化方法、及びその装置を提供することを目的とする。
【0016】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項1にかかる動画像復号化方法は、動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化方法において、前記復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、前記参照用画像メモリを参照して復号化された出力用画像を記憶する出力用画像メモリと、を具備し、前記ストリームを復号化する際、前記復号された出力用画像データを、少なくとも1つの階調値についてはこれを特別値として、該値をとらないように近似値に補正して、前記出力用画像メモリに記憶し、オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶する、ことを特徴としたものである。
【0017】
本発明の請求項2にかかる動画像復号化方法は、請求項1記載の動画像復号化方法において、前記特別値は、0または表現可能な最大値のいずれか一方である、ことを特徴としたものである。
【0018】
本発明の請求項3にかかる動画像復号化方法は、請求項1記載の動画像復号化方法において、前記特別値は、0と表現可能な最大値とである、ことを特徴としたものある。
【0019】
本発明の請求項4にかかる動画像復号化方法は、請求項1ないし3のいずれかに記載の動画像復号化方法において、予測符号化方式は、MPEG方式である、ことを特徴としたものである。
【0020】
本発明の請求項5にかかる動画像復号化装置は、ディジタル動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化手段と、前記復号化時に得た第1の復号画像を参照画像として記憶する参照用画像メモリと、前記復号化時に得た第2の復号画像を出力用画像として記憶する出力用画像メモリと、前記出力用画像メモリの出力と、前記復号化手段の出力とを入力とし、前記復号化手段の出力する第2の復号画像データを、少なくとも1つの階調値については、これを特別値群として該値をとらないように近似値に補正して、前記出力用画像メモリの出力と、該復号化手段の出力とを合成し、合成後の画像データを前記出力用画像メモリに出力する合成手段と、オンスクリーン表示用データを、前記出力画像データに重畳する重畳手段と、を具備したディジタル動画像復号化装置であって、前記合成手段は、前記第2の復号画像を記憶するのに先立って前記出力用画像メモリを読み出し、前記特別値群を検出した画像領域については、前記特別値群をそのまま記憶し、前記特別値群を検出しない画像領域については、前記読み出し値を記憶することにより、前記オンスクリーン表示用データを、前記特別値群として前記出力用画像メモリに記憶する、ことを特徴としたものである。
【0021】
本発明の請求項6にかかる動画像復号化方法は、請求項5記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力とを入力とし、前記出力用画像メモリ、または前記参照用画像メモリの内容を出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、あらかじめ設定した輝度と、色データとに置換して出力する、ことを特徴としたものである。
【0022】
本発明の請求項7にかかる動画像復号化装置は、請求項5記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、外部映像データと、を入力とし、前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、前記選択映像と前記外部映像とを、あらかじめ設定した透明度で混合した映像データを生成して出力し、前記特別値群を検出しない画像領域については、前記選択映像をそのまま出力する、ことを特徴としたものである。
【0023】
本発明の請求項8にかかる動画像復号化方法は、請求項5記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、前記外部映像データと、を入力とし、前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの第1の特別値群を検出した画像領域については、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを出力し、第1の特別値群を検出しない画像領域については、前記選択映像をそのまま出力し、第2の特別値群を検出した画像領域については、あらかじめ設定した輝度と色データとに置換して出力する、ことを特徴としたものである。
【0024】
本発明の請求項9にかかる動画像復号化方法は、請求項5ないし8のいずれかに記載の動画像復号化方法において、予測符号化方式は、MPEG方式である、異を特徴としたものである。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
(実施の形態1)
図1に、本発明の実施の形態1による動画像復号化方法、および画像再生装置の構成図を示す。
図1において、10はストリームの入力端子、110は復号化手段、120は制御手段、130は参照用画像メモリ、140は出力用画像メモリ、160は合成手段、50はホストコントローラ、170はスイッチ、190は重畳手段、20は映像出力端子である。
【0026】
次に、本実施の形態1による再生装置の動作について説明する。
まず、入力端子10に与えられた動画像のストリームは、後続の復号化手段110で復号され、復元された画像を参照用画像メモリ130、または出力用画像メモリ140に格納する。この復号化方法は、一例としてMPEG2に準じた方法を用いる。
【0027】
MPEG2に準じた方法により復号化した結果は、Iフレーム及びPフレームは参照用画像メモリ130に格納され、Bフレームは出力用画像メモリ140に格納される。
【0028】
スイッチ170では、参照用画像メモリ130、または出力用画像メモリ140中の画像を、本来画像を出力する順番(表示順)で映像出力されるように、適切に選択する。
【0029】
制御手段120は、ホストコントローラ50から与えられるユーザからの再生指示にしたがって、復号化手段110、およびスイッチ170を、適切に制御して、本来表示されるまで保持しておかなくてはならない画像の上書きを防止したり、表示用の完成済み画像が底をつかないように復号動作を継続したり、先述したように適切な順序で画像出力するように、スイッチ170を制御する。
【0030】
さらに、制御手段120は、ホストコントローラ50からの指示で、字幕などのOSD用のパターンを発生し、出力用画像メモリ140に対して描画する働きをする。この説明図を、図3及び図4に示す。
【0031】
図3は、出力用画像メモリ140における値の使われ方を表す。出力用画像メモリ140には、Bフレームの画像データが格納されるが、各画素データは8ビットであるため、本来表現できる範囲は、図3(a)に示すように、0から255の範囲である。上述したように、制御手段120が出力用画像メモリ140に描画動作をするときには、この256階調のうち、0の値を、特別にOSD領域を表すマーカーであると定義し、文字やアイコンのOSDパターンを、0データで上書きする。残りの1から255については、従来どおり主映像のデータとする。主映像データの上にOSDパターンを特別な値0データで上書きして、新たな画素値を作成することを、以下では合成と呼ぶことにする。
【0032】
ただし、以上の代わりに、本来のBフレームの復号済み画像データとしては、0値をとることを禁止する。すなわち、0として復号されたBフレームの画像データは、一例としてそれに近い1にクリッピングして修正し、出力用画像メモリ140に格納する。この程度の値の修正であれば、人間の視覚特性上、違いを識別できないため、画像の見た目の変化を感じることができない。
【0033】
出力用画像メモリ140上にOSDデータが描画された様子を、図4に示す。図4は、出力用画像メモリ140の一部の拡大図で、升目は画素を表しており、本来のBフレームの主映像データの画素30aに混じって、OSDデータの画素30bが混在している様子を示している。0値であるか否かで直ちに、両者の、すなわち、主映像データか、OSDデータかの、区別がつくのがポイントである。
【0034】
上記の説明における、0値のように、主映像データではなく、OSDデータであることを示すといったように、本来の階調ではなく、特別な意味を持たせた値を、特別値と呼ぶことにする。
【0035】
次に、重畳手段190の動作について説明する。ここでは、入力された画像データが上述の特別値であるか否かを検出して、特別値の場合はあらかじめ決められた輝度と、色データを、OSDデータとして重畳させる。一例として、0の特別値を、白の字幕データとして重畳させることで、主映像データ上にOSDデータの重畳を行う。
【0036】
以下では、重畳動作がどのように行われるかを、説明する。
図5は、各時刻での、(a)参照用画像メモリ130、(b)出力用画像メモリ140、及び(c)映像の出力端子、から出力される映像の、様子を示している。
【0037】
参照用画像メモリ130は、内部でFM0,FM1の2画面分あり、IまたはPフレームの画像データを格納している。一方が作成される際には、他方が参照され、交互に更新される。一方、出力用画像メモリ140は、FM2の1画面分であり、Bフレームの画像データを格納している。
【0038】
まず、時刻T1では、IまたはPフレームである参照用画像メモリ130のFM0中に、現在表示中の主映像の画像データが格納されているとする。そして、FM0を参照して、新たにPフレームがFM1に作成され、格納される状態とする。FM0,FM1では、OSDデータは、どんなときも特別値0で上書きされて保存されることはない。しかし、平行して出力用画像メモリ140の主映像データも読み出され、それに含まれる特別値0の領域が検出されて、特別値0が検出された領域の画面上の対応する位置に、OSDデータが重畳される。
【0039】
すなわち、FM0の主映像データと、FM2の特別値0の領域を、所望の輝度、色に置き換えた画像を、映像出力として出力する。
【0040】
次に、時刻T2では、Bフレームが復号されて出力されている様子を示しているが、復号化手段110がFM0とFM1の参照画像から予測して作成するBフレームの画像データは、FM2に格納されるが、そのまま格納されるわけでなく、格納される前に読み出されて特別値の領域は、そのまま特別値0のままにしておく。
【0041】
一方、得られたBフレームの画像データが、特別値0の値をとってしまう場合は、特別値0にならないように、一例としてクリッピングして値1に修正することは、前述の通りである。修正後のデータは、再びFM2に格納される。
【0042】
この動作により、OSDデータはそのままで、主映像データだけ、最新の復号画像に更新されることになる。このように、FM2では、主映像データと、特別値0は、同じ画像メモリ内に混在して記憶されることになる。
【0043】
次に、時刻T3では、時刻T2と同様に、Bフレームが復号されて出力されている様子を示している。動作としては、時刻T2の場合と同様なため、説明は省略する。
【0044】
時刻T2、T3で行われる、FM2の更新に先立つ読み出し、特別値0の領域の保存、及びクリッピング処理は、合成手段160で行われ、その構成を図2に示す。図2において、200は検出手段、210は置換手段である。
【0045】
出力用画像メモリ140を読み出して得たBフレームデータは、検出手段200に入力され、画像中のOSDの領域を検出し、置換手段210に通知する。置換手段210では、復号化手段110で復号して得られたデコード値を入力とし、特別値0と一致してしまう映像データを発見すると、一例として、クリッピングして近似値1に修正し、出力データを得る。また、置換手段210は、通知されたOSD領域では、特別値0を、それ以外であれば、前記映像データを出力し、出力用画像メモリ140に格納する。
【0046】
次に、時刻T4では、Pフレームが復号される様子を示しているが、時刻T1とは逆側のFM1が参照されて、新たにPフレームがFM0に作成され、格納される状態である。
このときも、時刻T1と同様に、FM2が平行して読み出され、その特別値0の部分を、所望の輝度、色に置き換えた画像を映像出力として出力する。
【0047】
以上のような動作を、重畳手段190にて繰り返し継続的に行うことにより、結果として、I,P,Bフレームの種別にかかわりなく、所望の輝度、色データのOSDデータを、主映像に重畳させることができる。
なお、以上の実施の形態において、特別値として0を選んだが、0に限定するものでなく、255でもよく、さらにこれら以外の値でもよい。
【0048】
このような本実施の形態1による動画像復号化方法においては、動画像を予測符号化して得たストリームの復号化を行う復号化方法において、復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、該参照用画像メモリを参照して出力用画像を記憶する出力用画像メモリと、を具備し、ストリームを復号化する際、前記出力用画像メモリに格納される出力画像データを、少なくとも1つの階調値を特別値として、これをとらないように近似値に制限し、オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶させることにより、上記出力用画像メモリ140を、OSD表示用データを格納するのに用いるようにしたものである。このように、主映像のデコードに用いる画像メモリのうち、予測に用いられないBフレームの画像メモリをOSD画像用の画像メモリとして兼用することにより、主映像の復号用途に用いるメモリ以外に、別途OSDデータ専用の画像メモリを設ける必要がなくなり、低価格の画像再生装置を得ることができる効果がある。
【0049】
(実施の形態2)
次に、本発明の実施の形態2による動画像復号化方法、および画像再生装置を、図6を用いて説明する。
図6に示す本実施の形態2が、上述した、図1に示す実施の形態1と異なるのは、合成手段160が合成手段160aに置き換わり、重畳手段190が重畳手段190aに置き換わり、特別値設定手段180が加わり、これにより設定される特別値が、合成手段160aと、重畳手段190aの双方に供給される点である。その他の符号を付した構成要素は、図1中と同じ符号のものと同じとする。
【0050】
実施の形態1では、特別値は0という唯一の値を、OSD領域を表すマーカーとしていたが、本実施の形態2では、図9(b)に示すように、一例として、0から15の特別値を設けて、LUT(ルックアップテーブル)に定義された輝度、色データに変換するものとする。
【0051】
LUTは、1つの特別値xに対して、Y, Cb,Crの値一組を対応付けた変換表テーブルで、その一例を、図9(c)に示す。この例では、出力用画像メモリに現れる、特別値x=1は、Y=188,Cb=156,Cr=100の画素データと解釈され、重畳手段190aで置き換えられて、映像出力として出力される。
【0052】
図6において、特別値設定手段180は、この特別値をどの階調値に設定するか、を与えるもので、該特別値の設定は、合成手段160aと、重畳手段190aとに供給される。
【0053】
該合成手段160aの構成を、図7に示す。
図7において、200aは検出手段、210aは置換手段である。出力用画像メモリ140を読み出して得たBフレームデータは、検出手段200aに入力され、画像中のOSDの領域を検出し、置換手段210aに通知する。置換手段210aでは、復号化手段110で復号化して得られたデコード値を入力とし、特別値と一致してしまう映像データを発見すると、一例として、クリッピングして近似値に修正し、出力データを得る。
【0054】
一例として、図9のLUTを用いるときは、0から15の画素データは、16にクリッピングする。また、図10のLUTを用いるときは、加えて、0から15の画素データは16に、236から255は、235にクリッピングする。
【0055】
また、置換手段210aが、通知されたOSD領域では特別値を、それ以外であれば前記映像データを出力し、出力用画像メモリ140に格納するものであるのは、図2に示される置換手段210と同じである。
【0056】
図6に示される、上記重畳手段190aの構成を、図8に示す。
図8において、230は検出手段、240は置換手段、250はルックアップテーブルである。
【0057】
平行して出力用画像メモリ140から読み出された画像データと共に、選択手段170の出力する主映像データは、読み出し値として、置換手段240に入力され、検出手段230にて前者の中に特別値を発見すると、ルックアップテーブル250を引き、引いた値で画像データを置換して出力することで、検出された領域の画面上の対応する位置に、OSDデータが重畳されることになる。ここで、ルックアップテーブル250は、前述の図9(c)のような結果を与えるものである。
【0058】
このような本実施の形態2による動画像復号化方法においては、出力用画像メモリ140より出力されるOSD表示用のデータである特別値として、0から15の特別値を設けるようにしたので、2つ以上の輝度、色表現をOSD表示で行うことができ、しかも、その輝度、色の組合せを任意に変更することができ、自由度の高いOSD表示が可能となる効果が得られる。
【0059】
なお、以上の実施の形態においては、特別値を0から15に選んだが、16階調に限定するものではなく、任意に選べるのはもちろんである。特に、図10に示すように、階調値の下端だけでなく、一例として236から255といった上端にも特別値を選んでもよい。また、上端のみに特別値を選んでもよい。
【0060】
(実施の形態3)
次に、本発明の実施の形態3による動画像復号化方法、および画像再生装置を、図11を用いて説明する。
図11に示す本実施の形態3が、上述した、図6に示す実施の形態2と異なるのは、重畳手段190aが重畳手段190bに置き換わり、外部映像入力端子30からの入力映像が、該重畳手段190bに入力されることである。
その他の符号を付した構成要素は、図6中と同じ符号のものと同じとする。
【0061】
本実施の形態3において、特別値は特別値設定手段180aで設定され、ルックアップテーブル250aで最終的な色、輝度に置換されて出力されるのは、第2の実施の形態と同様であるが、本第3の実施の形態では、図13(b)に示すように、一例として、階調値0から15の特別値は、LUT(ルックアップテーブル)に定義された輝度、色データへの変換を意味し、階調値236から255は、外部映像入力端子30から入力される外部映像と主映像とを混合して表示する際の透明度、を表すものとする。
【0062】
ここで、透明度は,αとも呼ばれる指標で、一例として、図13(b)のように、α[x](x=0.1,..,19)の20段階を設定できる。
具体的には、一例として、外部映像が完全に透明で、主映像のみが見える状態(α=0)から、外部映像が完全に不透明で、主映像が隠れる状態(α=1)までを均等に分割した20段階を設定できる。すなわち、外部映像を重みαで、主映像を重み(1−α)で混合して得た結果を、映像出力として出力する。
【0063】
これを利用した場合の画面の様子を、図14に示す。図14は、主映像650に対して、外部映像660が与えられたとき、混合画像670が得られることを示している。これは、一例として、階調値255をα[19]=1とした場合、出力用画像メモリ140において、外部映像660の領域665に相当する部分のみ、階調値255が設定された場合の様子である。
【0064】
重畳手段190aの構成を、図12に示す。図12において、230は検出手段、250aはルックアップテーブル、260は画像処理手段である。
平行して出力用画像メモリ140から読み出された画像データと、選択手段170の出力する主映像データは、読み出し値として、画像処理手段260に入力される。これには、外部映像も入力される。検出手段230にて、前記画像データの中に特別値を発見すると、ルックアップテーブル25aを引き、引いた値で画像データを置換して出力することで、検出された領域の画面上の対応する位置にOSDデータが重畳されることになるのは、実施の形態2と同じである。
【0065】
しかし、特別値が透明度である場合、前記主映像データと前記外部映像を、指定された透明度に応じて混合する点が異なっている。
このような本実施の形態3による動画像復号化方法においては、上記実施の形態2におけるように、出力用画像メモリ140をOSD表示用データを格納するのに用いるようにし、その特別値として0から15の値を用いるようにしたので、2つ以上の輝度、色表現を、OSDとして表示することができるばかりでなく、主映像データと、外部映像とを、指定した割合で混合するようにすることもでき、さらに自由度の高いOSD表示が可能となる効果が得られる。
【0066】
なお、以上の実施の形態において、特別値を0から15に選んだが、16階調に限定するものではなく、任意に選べるのはもちろんである。特に、図10に示すように、階調値の下端だけでなく、一例として、236から255といった上端にも特別値として選んでもよい。また、上端のみに特別値を選んでもよい。また、階調値における、透明度とLUTの割り当ては、図13に限定されるものでなく、任意に選んでもよいのはもちろんである。
【0067】
なお、以上のすべての実施の形態において、動画像のストリームのデータはMPEG2規格にて符号化されたものに限定するものでなく、ある決められたアルゴリズムにしたがって復号化処理して出力を得る動画像の再生方法、に適用できることは、もちろんである。
【0068】
また、以上のすべての実施の形態において、動画像のストリームのデータは、画像データのみからなるものに限定されるものではなく、音声データを伴う動画像の再生方法にも適用できることは、もちろんである。
【0069】
【発明の効果】
以上のように、本発明にかかる動画像復号化方法、およびその装置によれば、出力用画像メモリをOSDデータの格納場所として兼用するため、主映像の復号用途以外に、OSDデータ用の画像メモリを設ける必要がなく、装置の価格を安くできるという効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1による動画像再生装置の説明図
【図2】本発明の実施の形態1における合成手段160の説明図
【図3】本発明の実施の形態1における出力用画像メモリ140の画素値の説明図
【図4】本発明の実施の形態1における出力用画像メモリ140の拡大図
【図5】本発明の実施の形態1における参照用画像メモリ、出力用画像メモリ、及び映像出力の説明図
【図6】本発明の実施の形態2による動画像再生装置の説明図
【図7】本発明の実施の形態2における合成手段160aの説明図
【図8】本発明の実施の形態2における重畳手段190aの説明図
【図9】本発明の実施の形態2における出力用画像メモリ140の画素値の説明図
【図10】本発明の実施の形態2における出力用画像メモリ140の画素値の説明図
【図11】本発明の実施の形態3による動画像再生装置の説明図
【図12】本発明の実施の形態3における重畳手段190bの説明図
【図13】本発明の実施の形態3における出力用画像メモリ140の画素値の説明図
【図14】本発明の実施の形態3における映像出力の説明図
【図15】従来の動画像再生装置の説明図
【図16】従来の動画像再生装置の映像出力の説明図
【図17】MPEG2規格の説明図
【図18】従来の動画像再生装置の画像データ、及び画像メモリの配置に関する説明図
【符号の説明】
10、30、410 入力端子
20、420 出力端子
30a、30b 画素
50、450 ホストコントローラ
110、510 復号化手段
120、520 制御手段
130、530 参照用画像メモリ
140、540 出力用画像メモリ
550 OSD用画像メモリ
160、160a 合成手段
170、570 選択手段
180、180a 特別値設定手段
190、190a、190b、590 重畳手段
200、200a、230 検出手段
210、210a、240 置換手段
250、250a ルックアップテーブル
260 画像処理手段
600、650 主映像
610 OSD画像
620 重畳後の画像
660 外部入力画像
665 外部入力画像の特定領域
670 混合画像
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving picture decoding method and apparatus, and more particularly to a moving picture decoding reproduction method and apparatus used when decoding and reproducing an encoded moving picture.
[0002]
[Prior art]
In recent years, with the era of full-scale commercialization of digital technology, moving images can be recorded and played back by devices such as recording and playback devices, personal computers, and home servers, and transmitted over long distances using the Internet and other communication networks. Is becoming possible. A digital mobile communication device such as a mobile phone is also provided with a means for capturing a moving image on the spot and immediately transmitting the moving image to another person. Also, in the field of broadcasting, transmission and coding using digital technology are adopted for moving images such as television.
[0003]
Digital video signals and audio signals can be processed more flexibly than analog signals, so they have the advantages of high quality and high reliability. , Widely used.
[0004]
As a method of reproducing a moving image, a so-called on-screen display (hereinafter, referred to as an OSD) such as a guide character, captions such as dialogue, and an operation icon on a screen is provided in addition to decoding and presenting the moving image. ).
In a conventional moving picture decoding apparatus, a dedicated picture memory is used for OSD data (for example, see Patent Document 1).
[0005]
Hereinafter, a moving image reproducing method used in these conventional apparatuses and the apparatus will be described with reference to FIGS.
FIG. 15 is a block diagram of a reproducing apparatus using a conventional moving image reproducing method.
15, reference numeral 410 denotes a stream input terminal, 510 denotes a decoding unit, 520 denotes a control unit, 530 denotes a reference image memory, 540 denotes an output image memory, 550 denotes an OSD image memory, 450 denotes a host controller, and 570 denotes a host controller. A switch 590 is a superimposing means, and 420 is a video output terminal.
[0006]
First, the moving image stream provided to the input terminal 410 is decoded by the subsequent decoding unit 510, and the restored image is stored in the reference image memory 530 or the output image memory 540. As an example, this decoding method is called "Information Technology Generic Coding of Moving Pictures and Associated Audio Information" (MPEG2 (Moving Picture Experts Group Phase2)) which is an international standard. Information technology—Generic coding of moving pictures and associated audio information ”). A moving image obtained by decoding in this manner is called a main video.
[0007]
Here, an outline of an image encoding method according to the MPEG2 standard will be described.
As shown in FIG. 17, a continuous image group is decoded using an I-frame (Intra-coded frame) that can be completely decoded only by the data of the frame, and another single frame (I or P frame). P-frames (Predictive-coded frames) and B-frames (Bi-directionally predictive-coded frames) decoded using up to two other frames (I or P frames), and are usually regular patterns. Assigned by. In the case of FIG. 17, the order of decoding is IO, P3, B1, B2, P6, B4, B5,. . It becomes order of. Here, the creation of the P3 frame requires an IO frame, and the creation of a B1 or B2 frame requires the I0 and P3 frames. Therefore, the I or P frame is temporarily created for the subsequent image frame. It should be noted that even after the output from the video output is completed, it must be stored on the image memory. These will be referred to as reference frames.
[0008]
On the other hand, once a B frame is created, it is not referred to at all when other frames are created, and only the image is output thereafter.
[0009]
In the example of FIG. 17, the I frame and the P frame are stored in the reference image memory 530, and the B frame is stored in the output image memory 540. The switch 570 appropriately selects the images in the reference image memory 530 or the output image memory 540 so that the images are output in the order in which the original images are output (display order).
[0010]
The control unit 520 appropriately controls the decoding unit 510 and the switch 570 in accordance with a reproduction instruction from the user given from the host controller 450, and performs overwriting of an image that must be held until it is originally displayed. The switch 570 is controlled so as to prevent such a situation, to continue the decoding operation so that the completed image for display does not run out, or to output images in an appropriate order as described above. Further, the control unit 520 has a function of generating an OSD pattern in accordance with an instruction from the host controller 450 and drawing the OSD pattern on the OSD image memory 550.
[0011]
Next, the operation of the superimposing means 590 will be described with reference to FIG.
Here, the OSD image 610 stored in the OSD image memory 550 is superimposed on the main video image 600 input to the superimposing unit 590, and the superimposed image 620 is obtained. FIG. 16 shows the case of subtitle data as OSD data, and shows a state in which the OSD data is overwritten on the main video.
[0012]
Next, the image memory will be described.
First, a video to be handled is a 4: 2: 0 image represented by luminance Y and two color difference signals Cb and Cr as shown in FIG. In the case of the standard television signal, Y is composed of 720 horizontal pixels and 8 bits of data per 480 vertical pixels, and each of Cb / Cr has half the number of vertical and horizontal Y samples.
A typical example of an image memory for storing these is, as shown in FIG. 18B, continuously divided into three areas of Y, Cb, and Cr on the image memory.
[0013]
As described above, in order to superimpose and display the OSD on the main video, the OSD data read from the OSD image memory 550 and the main video data read from the reference image memory 530 or the output image memory 540 are superimposed. The video output is obtained by the combination by means 590.
[0014]
[Patent Document 1]
JP-A-10-340077
[0015]
[Problems to be solved by the invention]
However, in the above configuration, it is necessary to separately provide an image memory for OSD data in addition to the memory used for decoding the main video, and there has been a problem that the price of the apparatus is increased.
The present invention has been proposed in view of the above-described conventional problems, and has as its object to provide a moving image decoding method and an apparatus therefor that do not require the provision of an OSD-specific image memory.
[0016]
[Means for Solving the Problems]
In order to solve the above problem, a moving picture decoding method according to claim 1 of the present invention, wherein a stream obtained by predictively encoding a moving picture is input, and the decoding method for decoding the stream, A reference image memory for storing a reference image used when performing decoding, and an output image memory for storing an output image decoded with reference to the reference image memory, comprising: At the time of decoding, the decoded output image data is corrected to an approximate value so as not to take this value as a special value for at least one gradation value, and stored in the output image memory. The on-screen display data is stored as the special value in the output image memory.
[0017]
A moving picture decoding method according to claim 2 of the present invention is the moving picture decoding method according to claim 1, wherein the special value is one of 0 or a maximum expressible value. It was done.
[0018]
A video decoding method according to a third aspect of the present invention is the video decoding method according to the first aspect, wherein the special value is 0 and a maximum expressible value. .
[0019]
A moving picture decoding method according to a fourth aspect of the present invention is the moving picture decoding method according to any one of the first to third aspects, wherein the predictive coding method is an MPEG method. It is.
[0020]
According to a fifth aspect of the present invention, there is provided a moving picture decoding apparatus which receives a stream obtained by predictively encoding a digital moving picture, decodes the stream, and decodes the first stream obtained by the decoding. A reference image memory for storing the decoded image of the above as a reference image, an output image memory for storing the second decoded image obtained at the time of the decoding as an output image, an output of the output image memory, The output of the decoding means is input and the second decoded image data output by the decoding means is corrected to an approximate value so that at least one gradation value is not taken as a special value group. And combining the output of the output image memory with the output of the decoding means, and outputting the combined image data to the output image memory; and outputting the on-screen display data to the output image memory. Image And a superimposing means for superimposing the special value on the output image memory before storing the second decoded image. For the image area where the group is detected, the special value group is stored as it is, and for the image area where the special value group is not detected, the read value is stored, so that the on-screen display data is stored in the special value. It is stored in the output image memory as a group.
[0021]
In a moving picture decoding method according to a sixth aspect of the present invention, in the moving picture decoding apparatus according to the fifth aspect, the superimposing means outputs the output of the output image memory and the output of the reference image memory. As an input, when outputting the contents of the output image memory, or the reference image memory, the contents of the output image memory, only for the image area in which the special value group is detected, brightness previously set, The color data is replaced and output.
[0022]
The video decoding device according to claim 7 of the present invention is the video decoding device according to claim 5, wherein the superimposing means includes an output of the output image memory, an output of the reference image memory, When external video data is input and one of the output of the output image memory or the output of the reference image memory is output as the selected video, the content of the output image memory is a special value Only for an image region in which a group has been detected, the selected image and the external image are mixed and generated with predetermined transparency to generate and output video data. For an image region in which the special value group is not detected, the selected image is Is output as it is.
[0023]
In the moving picture decoding method according to claim 8 of the present invention, in the moving picture decoding device according to claim 5, the superimposing means includes an output of the output image memory, an output of the reference image memory, When the external video data is input and one of the output of the output image memory or the output of the reference image memory is output as the selected video, the content of the output image memory is changed to the For an image region in which the first special value group is detected, video data in which the selected video and the external video are mixed with a preset transparency is output. For an image region in which the first special value group is not detected, The selected video is output as it is, and the image area in which the second special value group has been detected is output after replacing it with luminance and color data set in advance.
[0024]
A moving picture decoding method according to a ninth aspect of the present invention is the moving picture decoding method according to any one of the fifth to eighth aspects, wherein the predictive coding method is an MPEG method. It is.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 shows a configuration diagram of a video decoding method and an image reproducing apparatus according to Embodiment 1 of the present invention.
In FIG. 1, reference numeral 10 denotes a stream input terminal, 110 denotes a decoding unit, 120 denotes a control unit, 130 denotes a reference image memory, 140 denotes an output image memory, 160 denotes a synthesizing unit, 50 denotes a host controller, 170 denotes a switch, 190 is a superimposing means, and 20 is a video output terminal.
[0026]
Next, the operation of the playback device according to the first embodiment will be described.
First, the moving image stream provided to the input terminal 10 is decoded by the subsequent decoding means 110, and the restored image is stored in the reference image memory 130 or the output image memory 140. This decoding method uses a method according to MPEG2 as an example.
[0027]
As a result of decoding by a method according to MPEG2, the I frame and the P frame are stored in the reference image memory 130, and the B frame is stored in the output image memory 140.
[0028]
The switch 170 appropriately selects the images in the reference image memory 130 or the output image memory 140 so that the images are output in the order in which the images are originally output (display order).
[0029]
The control means 120 appropriately controls the decoding means 110 and the switch 170 in accordance with a reproduction instruction from the user given from the host controller 50, and controls the decoding of the image which must be held until it is originally displayed. The switch 170 is controlled so as to prevent overwriting, to continue the decoding operation so that the completed image for display does not run out, or to output images in an appropriate order as described above.
[0030]
Further, the control unit 120 has a function of generating an OSD pattern such as a caption in accordance with an instruction from the host controller 50 and drawing the OSD pattern in the output image memory 140. This explanatory diagram is shown in FIG. 3 and FIG.
[0031]
FIG. 3 shows how values are used in the output image memory 140. The image data for B frame is stored in the output image memory 140. Since each pixel data is 8 bits, the range that can be originally expressed is from 0 to 255 as shown in FIG. It is. As described above, when the control unit 120 performs the drawing operation on the output image memory 140, the value of 0 among these 256 gradations is defined as a marker that specifically indicates the OSD area, and the character or icon of the character or icon is defined. The OSD pattern is overwritten with 0 data. The remaining 1 to 255 are data of the main video as before. Creating a new pixel value by overwriting the OSD pattern with special value 0 data on the main video data is hereinafter referred to as synthesis.
[0032]
However, in place of the above, it is prohibited to take the value 0 as the decoded image data of the original B frame. That is, the image data of the B frame decoded as 0 is corrected, for example, by clipping it to 1 which is close to the image data, and storing it in the output image memory 140. If the value is corrected to such a degree, the difference cannot be identified due to human visual characteristics, so that a change in the appearance of the image cannot be felt.
[0033]
FIG. 4 shows how the OSD data is drawn on the output image memory 140. FIG. 4 is an enlarged view of a part of the output image memory 140, in which cells represent pixels, and pixels 30b of OSD data are mixed together with pixels 30a of main video data of the original B frame. It shows the situation. It is important to immediately discriminate between the two values, that is, the main video data and the OSD data, depending on whether the value is 0 or not.
[0034]
In the above description, a value that has a special meaning, such as a value of 0, which is not the main video data but OSD data and is not an original tone, is called a special value. To
[0035]
Next, the operation of the superimposing means 190 will be described. Here, it is detected whether or not the input image data has the above-described special value. If the input image data has the special value, predetermined luminance and color data are superimposed as OSD data. As an example, the OSD data is superimposed on the main video data by superimposing a special value of 0 as white caption data.
[0036]
Hereinafter, how the superimposing operation is performed will be described.
FIG. 5 shows the state of the video output from (a) the reference image memory 130, (b) the output image memory 140, and (c) the video output terminal at each time.
[0037]
The reference image memory 130 internally has two screens of FM0 and FM1, and stores image data of an I or P frame. When one is created, the other is referenced and updated alternately. On the other hand, the output image memory 140 is equivalent to one screen of FM2, and stores image data of a B frame.
[0038]
First, at time T1, it is assumed that the image data of the currently displayed main video is stored in FM0 of the reference image memory 130, which is an I or P frame. Then, referring to FM0, a new P frame is created and stored in FM1. In the FM0 and FM1, the OSD data is not overwritten with the special value 0 and stored at any time. However, the main video data of the output image memory 140 is also read out in parallel, the area of the special value 0 included therein is detected, and the OSD is located at the corresponding position on the screen in the area where the special value 0 is detected. Data is superimposed.
[0039]
That is, an image in which the main video data of FM0 and the area of special value 0 of FM2 are replaced with desired luminance and color is output as a video output.
[0040]
Next, at time T2, a state in which the B frame is decoded and output is shown. The image data of the B frame that the decoding unit 110 predicts from the reference images of FM0 and FM1 is generated in FM2. Although it is stored, it is not stored as it is, and the special value area which is read out before being stored is left as the special value 0 as it is.
[0041]
On the other hand, when the obtained image data of the B frame takes the value of the special value 0, the clipping is corrected to the value 1 as an example so as not to become the special value 0 as described above. . The corrected data is stored again in FM2.
[0042]
By this operation, only the main video data is updated to the latest decoded image without changing the OSD data. As described above, in the FM2, the main video data and the special value 0 are mixedly stored in the same image memory.
[0043]
Next, at the time T3, as in the case of the time T2, a state in which the B frame is decoded and output is shown. The operation is the same as that at time T2, and a description thereof will be omitted.
[0044]
The reading, the storage of the area of the special value 0, and the clipping processing performed at time T2 and T3 prior to the update of FM2 are performed by the synthesizing unit 160, and the configuration is shown in FIG. In FIG. 2, reference numeral 200 denotes a detecting unit, and 210 denotes a replacing unit.
[0045]
The B frame data obtained by reading out the output image memory 140 is input to the detection unit 200, which detects the OSD area in the image and notifies the replacement unit 210. The replacement unit 210 receives the decoded value obtained by decoding by the decoding unit 110 as an input, and when it finds video data that matches the special value 0, as an example, corrects it to an approximate value 1 by clipping, and outputs it. Get data. Further, the replacement means 210 outputs the special value 0 in the notified OSD area, and otherwise outputs the video data, and stores the video data in the output image memory 140.
[0046]
Next, at time T4, a state in which the P frame is decoded is shown. Referring to FM1 on the opposite side to time T1, a new P frame is created and stored in FM0.
Also at this time, similarly to time T1, FM2 is read out in parallel, and an image in which the special value 0 is replaced with a desired luminance and color is output as a video output.
[0047]
The above operation is repeatedly and continuously performed by the superimposing means 190. As a result, the OSD data of desired luminance and color data is superimposed on the main video regardless of the type of the I, P, and B frames. Can be done.
In the above embodiment, 0 is selected as the special value. However, the special value is not limited to 0, and may be 255 or any other value.
[0048]
In the moving picture decoding method according to the first embodiment as described above, in the decoding method for decoding a stream obtained by predictively coding a moving picture, the reference method for storing a reference picture used when decoding is performed. Image memory, and an output image memory that stores an output image with reference to the reference image memory, and when decoding a stream, the output image data stored in the output image memory The at least one gradation value is set as a special value, the value is limited to an approximate value so as not to be taken, and the on-screen display data is stored as the special value in the output image memory. The memory 140 is used to store OSD display data. As described above, among the image memories used for decoding the main video, the image memory of the B frame that is not used for prediction is also used as the image memory for the OSD image. There is no need to provide an image memory dedicated to OSD data, and there is an effect that a low-cost image reproducing apparatus can be obtained.
[0049]
(Embodiment 2)
Next, a video decoding method and an image reproducing apparatus according to Embodiment 2 of the present invention will be described with reference to FIG.
The second embodiment shown in FIG. 6 differs from the first embodiment shown in FIG. 1 in that the combining means 160 is replaced by the combining means 160a, the superimposing means 190 is replaced by the superimposing means 190a, and the special value setting is performed. Means 180 is added, and the special value set thereby is supplied to both the synthesizing means 160a and the superimposing means 190a. The other components denoted by the same reference numerals are the same as those in FIG.
[0050]
In the first embodiment, the only special value of 0 is used as a marker indicating the OSD area. However, in the second embodiment, as shown in FIG. It is assumed that values are provided and converted into luminance and color data defined in an LUT (lookup table).
[0051]
The LUT is a conversion table table in which one special value x is associated with a set of values of Y, Cb, and Cr. An example is shown in FIG. 9C. In this example, the special value x = 1 appearing in the output image memory is interpreted as pixel data of Y = 188, Cb = 156, Cr = 100, replaced by the superimposing means 190a, and output as a video output. .
[0052]
In FIG. 6, a special value setting means 180 gives a tone value to which the special value is set, and the setting of the special value is supplied to the synthesizing means 160a and the superimposing means 190a.
[0053]
FIG. 7 shows the configuration of the synthesizing means 160a.
In FIG. 7, reference numeral 200a denotes a detecting unit, and 210a denotes a replacing unit. The B frame data obtained by reading the output image memory 140 is input to the detection unit 200a, which detects the OSD area in the image and notifies the replacement unit 210a. The replacement unit 210a receives the decoded value obtained by decoding by the decoding unit 110 as input, and when it finds video data that matches the special value, as an example, corrects it to an approximate value by clipping and converts the output data. obtain.
[0054]
As an example, when using the LUT of FIG. 9, the pixel data from 0 to 15 is clipped to 16. When the LUT of FIG. 10 is used, in addition, the pixel data of 0 to 15 is clipped to 16 and the pixel data of 236 to 255 is clipped to 235.
[0055]
The replacement means 210a outputs a special value in the notified OSD area, and otherwise outputs the video data, and stores it in the output image memory 140. The replacement means shown in FIG. Same as 210.
[0056]
FIG. 8 shows the configuration of the superimposing means 190a shown in FIG.
In FIG. 8, 230 is a detecting means, 240 is a replacing means, and 250 is a look-up table.
[0057]
The main video data output from the selecting means 170 together with the image data read from the output image memory 140 in parallel is input to the replacing means 240 as a read value, and the detecting means 230 stores the special value in the former. Is found, the look-up table 250 is drawn, the image data is replaced with the value obtained and output, and the OSD data is superimposed on the corresponding position on the screen of the detected area. Here, the look-up table 250 gives a result as shown in FIG.
[0058]
In such a moving picture decoding method according to the second embodiment, special values from 0 to 15 are provided as special values which are OSD display data output from the output image memory 140. Two or more luminance and color representations can be performed by OSD display, and the combination of the luminance and color can be arbitrarily changed, so that an effect of enabling OSD display with a high degree of freedom can be obtained.
[0059]
In the above embodiment, the special value is selected from 0 to 15, but is not limited to 16 tones and can be arbitrarily selected. In particular, as shown in FIG. 10, a special value may be selected not only at the lower end of the gradation value but also at the upper end such as 236 to 255 as an example. Further, a special value may be selected only for the upper end.
[0060]
(Embodiment 3)
Next, a video decoding method and an image reproducing apparatus according to Embodiment 3 of the present invention will be described with reference to FIG.
The third embodiment shown in FIG. 11 is different from the above-described second embodiment shown in FIG. 6 in that the superimposing means 190a is replaced by the superimposing means 190b, and the input image from the external video input terminal 30 is superimposed. Input to the means 190b.
The other components denoted by the same reference numerals are the same as those in FIG.
[0061]
In the third embodiment, the special value is set by the special value setting means 180a, and is replaced with the final color and luminance by the look-up table 250a and output as in the second embodiment. However, in the third embodiment, as shown in FIG. 13B, as an example, the special values of the gradation values 0 to 15 are converted to the luminance and color data defined in the LUT (lookup table). And the gradation values 236 to 255 represent the transparency when the external video input from the external video input terminal 30 and the main video are mixed and displayed.
[0062]
Here, the transparency is an index called α, and as an example, as shown in FIG. 13B, 20 levels of α [x] (x = 0.1,..., 19) can be set.
Specifically, as an example, the state from the state in which the external video is completely transparent and only the main video is visible (α = 0) to the state in which the external video is completely opaque and the main video is hidden (α = 1) are equal. 20 steps can be set. That is, the result obtained by mixing the external video with the weight α and the main video with the weight (1−α) is output as a video output.
[0063]
FIG. 14 shows the state of the screen when this is used. FIG. 14 shows that a mixed image 670 is obtained when an external image 660 is given to a main image 650. This is, for example, the case where the gradation value 255 is set to α [19] = 1, and the gradation value 255 is set only in the portion corresponding to the area 665 of the external video 660 in the output image memory 140. It is a state.
[0064]
FIG. 12 shows the configuration of the superimposing means 190a. In FIG. 12, 230 is a detecting means, 250a is a look-up table, and 260 is an image processing means.
The image data read from the output image memory 140 in parallel and the main video data output by the selection means 170 are input to the image processing means 260 as read values. An external video is also input to this. When a special value is found in the image data by the detection means 230, the lookup table 25a is drawn, and the image data is replaced with the value thus drawn and output. The OSD data is superimposed on the position as in the second embodiment.
[0065]
However, the difference is that when the special value is transparency, the main video data and the external video are mixed according to the specified transparency.
In the moving picture decoding method according to the third embodiment, as in the second embodiment, the output image memory 140 is used to store the OSD display data, and the special value 0 To 15 are used, so that not only can two or more brightness and color expressions be displayed as OSD, but also the main video data and the external video are mixed at a specified ratio. The effect that the OSD display with a higher degree of freedom becomes possible is obtained.
[0066]
In the above embodiment, the special value is selected from 0 to 15; however, the present invention is not limited to 16 gradations and can be arbitrarily selected. In particular, as shown in FIG. 10, not only the lower end of the gradation value but also, as an example, the upper end such as 236 to 255 may be selected as a special value. Further, a special value may be selected only for the upper end. Further, the assignment of the transparency and the LUT in the gradation value is not limited to that shown in FIG. 13 and may be arbitrarily selected.
[0067]
In all of the above-described embodiments, the data of the moving image stream is not limited to the data coded according to the MPEG2 standard. Of course, it can be applied to an image reproducing method.
[0068]
Further, in all of the above embodiments, the data of the moving image stream is not limited to only the image data, and can be applied to a method of reproducing a moving image accompanied by audio data. is there.
[0069]
【The invention's effect】
As described above, according to the moving picture decoding method and the apparatus according to the present invention, the output picture memory is also used as the storage location of the OSD data. There is no need to provide a memory, and the effect that the price of the device can be reduced can be obtained.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a moving image reproducing device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram of a synthesizing unit 160 according to Embodiment 1 of the present invention.
FIG. 3 is an explanatory diagram of pixel values of an output image memory 140 according to the first embodiment of the present invention.
FIG. 4 is an enlarged view of an output image memory 140 according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram of a reference image memory, an output image memory, and a video output according to the first embodiment of the present invention.
FIG. 6 is an explanatory diagram of a moving image reproducing device according to a second embodiment of the present invention.
FIG. 7 is an explanatory diagram of a synthesizing unit 160a according to the second embodiment of the present invention.
FIG. 8 is an explanatory diagram of a superimposing unit 190a according to the second embodiment of the present invention.
FIG. 9 is an explanatory diagram of pixel values of an output image memory 140 according to Embodiment 2 of the present invention.
FIG. 10 is an explanatory diagram of pixel values of an output image memory 140 according to Embodiment 2 of the present invention.
FIG. 11 is an explanatory diagram of a moving image reproducing device according to a third embodiment of the present invention.
FIG. 12 is an explanatory diagram of a superimposing unit 190b according to the third embodiment of the present invention.
FIG. 13 is an explanatory diagram of pixel values of an output image memory 140 according to Embodiment 3 of the present invention.
FIG. 14 is an explanatory diagram of video output in Embodiment 3 of the present invention.
FIG. 15 is an explanatory diagram of a conventional moving image reproducing apparatus.
FIG. 16 is an explanatory diagram of video output of a conventional moving image reproducing apparatus.
FIG. 17 is an explanatory diagram of the MPEG2 standard.
FIG. 18 is an explanatory diagram relating to image data and arrangement of an image memory of a conventional moving image reproducing apparatus.
[Explanation of symbols]
10, 30, 410 input terminals
20, 420 output terminal
30a, 30b pixels
50, 450 Host controller
110, 510 decoding means
120, 520 control means
130, 530 Reference image memory
140, 540 Output image memory
550 OSD image memory
160, 160a Synthesizing means
170, 570 selection means
180, 180a Special value setting means
190, 190a, 190b, 590 Superposition means
200, 200a, 230 detecting means
210, 210a, 240 replacement means
250, 250a lookup table
260 image processing means
600, 650 Main video
610 OSD image
620 Image after superimposition
660 External input image
665 Specific area of external input image
670 Mixed image

Claims (9)

動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化方法において、
前記復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、
前記参照用画像メモリを参照して復号化された出力用画像を記憶する出力用画像メモリと、を具備し、
前記ストリームを復号化する際、
前記復号された出力用画像データを、少なくとも1つの階調値についてはこれを特別値として、該値をとらないように近似値に補正して、前記出力用画像メモリに記憶し、
オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶する、
ことを特徴とする動画像復号化方法。
In a decoding method for inputting a stream obtained by predictively encoding a moving image and decoding the stream,
A reference image memory for storing a reference image used when performing the decoding,
An output image memory that stores an output image decoded with reference to the reference image memory,
When decoding the stream,
The decoded output image data is used as a special value for at least one gradation value, corrected to an approximate value so as not to take the value, and stored in the output image memory.
On-screen display data is stored in the output image memory as the special value,
A moving picture decoding method characterized by the above-mentioned.
請求項1記載の動画像復号化方法において、
前記特別値は、0または表現可能な最大値のいずれか一方である、
ことを特徴とする動画像復号化方法。
The moving picture decoding method according to claim 1,
The special value is either 0 or the maximum representable value.
A moving picture decoding method characterized by the above-mentioned.
請求項1記載の動画像復号化方法において、
前記特別値は、0と表現可能な最大値とである、
ことを特徴とする動画像復号化方法。
The moving picture decoding method according to claim 1,
The special value is 0 and a maximum representable value.
A moving picture decoding method characterized by the above-mentioned.
請求項1ないし3のいずれかに記載の動画像復号化方法において、
予測符号化方式は、MPEG方式である、
ことを特徴とする動画像復号化方法。
The moving picture decoding method according to any one of claims 1 to 3,
The prediction encoding method is the MPEG method.
A moving picture decoding method characterized by the above-mentioned.
ディジタル動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化手段と、
前記復号化時に得た第1の復号画像を参照画像として記憶する参照用画像メモリと、
前記復号化時に得た第2の復号画像を出力用画像として記憶する出力用画像メモリと、
前記出力用画像メモリの出力と、前記復号化手段の出力とを入力とし、前記復号化手段の出力する第2の復号画像データを、少なくとも1つの階調値については、これを特別値群として該値をとらないように近似値に補正して、前記出力用画像メモリの出力と、該復号化手段の出力とを合成し、合成後の画像データを前記出力用画像メモリに出力する合成手段と、
オンスクリーン表示用データを、前記出力画像データに重畳する重畳手段と、を具備したディジタル動画像復号化装置であって、
前記合成手段は、
前記第2の復号画像を記憶するのに先立って前記出力用画像メモリを読み出し、前記特別値群を検出した画像領域については、前記特別値群をそのまま記憶し、前記特別値群を検出しない画像領域については、前記読み出し値を記憶することにより、前記オンスクリーン表示用データを、前記特別値群として前記出力用画像メモリに記憶する、
ことを特徴とする動画像復号化装置。
Decoding means for receiving a stream obtained by predictively encoding a digital moving image and decoding the stream,
A reference image memory for storing the first decoded image obtained at the time of decoding as a reference image,
An output image memory for storing a second decoded image obtained at the time of decoding as an output image,
The output of the output image memory and the output of the decoding unit are input, and the second decoded image data output by the decoding unit is converted into a special value group for at least one gradation value. Synthesizing means for correcting the output value to an approximate value so as not to take the value, synthesizing the output of the output image memory and the output of the decoding means, and outputting the synthesized image data to the output image memory When,
Superimposing means for superimposing on-screen display data on the output image data, a digital video decoding device comprising:
The combining means includes:
Prior to storing the second decoded image, the output image memory is read out, and for an image region in which the special value group is detected, the special value group is stored as it is, and the image in which the special value group is not detected is stored. For an area, by storing the read value, the on-screen display data is stored in the output image memory as the special value group,
A moving picture decoding apparatus characterized in that:
請求項5記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力とを入力とし、
前記出力用画像メモリ、または前記参照用画像メモリの内容を出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、あらかじめ設定した輝度と、色データとに置換して出力する、
ことを特徴とする動画像復号化装置。
The moving picture decoding apparatus according to claim 5,
The superimposing means receives an output of the output image memory and an output of the reference image memory as inputs,
When outputting the content of the output image memory, or the content of the reference image memory, the content of the output image memory, only for an image area in which a special value group is detected, brightness and color data set in advance. Output
A moving picture decoding apparatus characterized in that:
請求項5記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、外部映像データと、を入力とし、
前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを生成して出力し、前記特別値群を検出しない画像領域については、前記選択映像をそのまま出力する、
ことを特徴とする動画像復号化装置。
The moving picture decoding apparatus according to claim 5,
The superimposing means receives an output of the output image memory, an output of the reference image memory, and external video data as inputs,
When outputting either the output of the output image memory, or the output of the reference image memory as a selected video, the contents of the output image memory, only for the image area in which the special value group is detected, Generate and output video data in which the selected video and the external video are mixed with a preset transparency, and for an image region in which the special value group is not detected, output the selected video as it is.
A moving picture decoding apparatus characterized in that:
請求項5記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、前記外部映像データと、を入力とし、
前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの第1の特別値群を検出した画像領域については、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを生成して出力し、
第1の特別値群を検出しない画像領域については、前記選択映像をそのまま出力し、
第2の特別値群を検出した画像領域については、あらかじめ設定した輝度と、色データとに置換して出力する、
ことを特徴とする動画像復号化装置。
The moving picture decoding apparatus according to claim 5,
The superimposing means receives the output of the output image memory, the output of the reference image memory, and the external video data as inputs,
When one of the output of the output image memory and the output of the reference image memory is output as a selected video, the contents of the output image memory are displayed in an image area in which a first special value group is detected. For, generating and outputting video data in which the selected video and the external video are mixed with a preset transparency,
For an image area in which the first special value group is not detected, the selected video is output as it is,
For the image area in which the second special value group has been detected, the image data is replaced with a preset luminance and color data and output.
A moving picture decoding apparatus characterized in that:
請求項5ないし8のいずれかに記載の動画像復号化方法において、
予測符号化方式は、MPEG方式である、
ことを特徴とする動画像の復号化方法。
The moving picture decoding method according to any one of claims 5 to 8,
The prediction encoding method is the MPEG method.
A moving picture decoding method characterized by the above-mentioned.
JP2003120357A 2003-04-24 2003-04-24 Moving image decoding method and its device Pending JP2004328391A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003120357A JP2004328391A (en) 2003-04-24 2003-04-24 Moving image decoding method and its device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003120357A JP2004328391A (en) 2003-04-24 2003-04-24 Moving image decoding method and its device

Publications (1)

Publication Number Publication Date
JP2004328391A true JP2004328391A (en) 2004-11-18

Family

ID=33499298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003120357A Pending JP2004328391A (en) 2003-04-24 2003-04-24 Moving image decoding method and its device

Country Status (1)

Country Link
JP (1) JP2004328391A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098376A (en) * 2007-10-16 2009-05-07 Toyota Motor Corp Image generating device
CN101800042A (en) * 2009-02-06 2010-08-11 中兴通讯股份有限公司 Method and device for simultaneously displaying multimedia application and other application during concurrence
CN102970421A (en) * 2012-11-09 2013-03-13 广东欧珀移动通信有限公司 Method and system for controlling information display for mobile terminal
JP2021073569A (en) * 2016-12-05 2021-05-13 株式会社アイヴィジョン Video generation program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098376A (en) * 2007-10-16 2009-05-07 Toyota Motor Corp Image generating device
CN101800042A (en) * 2009-02-06 2010-08-11 中兴通讯股份有限公司 Method and device for simultaneously displaying multimedia application and other application during concurrence
CN102970421A (en) * 2012-11-09 2013-03-13 广东欧珀移动通信有限公司 Method and system for controlling information display for mobile terminal
JP2021073569A (en) * 2016-12-05 2021-05-13 株式会社アイヴィジョン Video generation program

Similar Documents

Publication Publication Date Title
JP4859219B2 (en) Video output apparatus and control method thereof
US5786864A (en) Moving picture processing apparatus and method wherein image data and special effects data are transmitted in common
US8204357B2 (en) Reproducing device, reproducing method, reproducing program and recording medium
US6803968B1 (en) System and method for synthesizing images
US20080043140A1 (en) Method And Apparatus For Encoding And For Decoding A Main Video Signal And One Or More Auxilliary Video Signals
JP2006352186A (en) Video processing apparatus and video display apparatus
KR20080002897A (en) Method and device for providing multiple video pictures
US20090189912A1 (en) Animation judder compensation
JP2005033741A (en) Television character information display device, and television character information display method
KR100270815B1 (en) Method and apparatus for displaying sub-picture
JP5003055B2 (en) Power consumption reduction device, display device, image processing device, power consumption reduction method, and computer program
KR20090011223A (en) Broadcasting processing apparatus and control method of the same
JP6803463B2 (en) Display device and its control method
JP2004328391A (en) Moving image decoding method and its device
US20070133950A1 (en) Reproduction apparatus, reproduction method, recording method, image display apparatus and recording medium
JP5189205B2 (en) Image processing apparatus, control method for image processing apparatus, control program for image processing apparatus, and recording medium recording control program
KR100253211B1 (en) Screen display control apparatus and method for display
JP2001285745A (en) Image synthesizer and image synthesizing method
US20070046818A1 (en) Picture display device and picture display method
JP4534975B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, RECORDING METHOD, VIDEO DISPLAY DEVICE, AND RECORDING MEDIUM
JP2894232B2 (en) Character information superimposition device
JP3164020B2 (en) Digital disk playback device
JP4672561B2 (en) Image processing apparatus, receiving apparatus, broadcast system, image processing method, image processing program, and recording medium
JP2007180759A (en) Moving image reproducing device
JP2010068399A (en) Device and method for processing image