JP2009010795A - 高解像度化する映像処理装置 - Google Patents

Abstract

【課題】超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。したがって、超解像処理では、動きがない静止した文字部分については、超解像処理では高解像度化することができない。
【解決手段】映像処理装置は、映像の時間方向の解像度を用いて空間方向の解像度を補完する映像高解像度化部と、映像に表示される文字の映像を抽出する文字抽出部と、前記文字抽出部で抽出した文字の映像を高解像度化する文字高解像度化部と、前記映像高解像度化部の出力と前記文字高解像度化部の出力とを合成する合成部とを備える。
【選択図】図１

Description

技術分野は、画像の高解像度化に関する。特に、画像内の静止した文字を見易くする装置、方法、プログラムなどに関する。

上記技術分野に関し、特許文献１には「文書画像のテキスト部分（小さい文字）について、もとの低解像度の多値画像を高解像度の２値画像に変換し、さらに文字の色を正確に再現して効率的に高解像度の高精細画像を生成する。」ことを課題とし、その解決手段として「画像処理装置１は、取得した原デジタル画像から文字を抽出する文字抽出手段１１と、文字抽出手段により抽出した各文字について原デジタル画像ＯＧよりも高い解像度の２値画像を生成する高解像度２値画像生成手段１２と、文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段１３と、文字抽出手段により抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定する文字輪郭色決定手段１４と、原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段１５とを備えている。」と記載されている。

また、特許文献２には「画像データ中の文字画像が文字コードデータに変換される割合を高くしつつ、誤認識の文字コードデータが出力されることを有効に防止する。」ことを課題とし、その解決手段として「出力形式判定部は、入力された画像データ中の文字画像から文字コードを認識した後に、当該文字画像を文字コードデータに変換するか否かを、文字認識確度Ｃnのほか、近隣の文字画像との連続性の度合いである文字連続性度Ｐnを用いて判定する。文字連続性度は、近隣文字画像との距離、フォントサイズの差、フォントタイプの相違、文字画像列の長さ、および色の差を検出することにより求められる。」と記載されている。

特開２００５−２７５８５４号公報 特開２００２−１５２８０号公報

映像表示装置の改善により、高画素数での表示が可能となっている。例えば、横１９２０画素、縦１０８０画素の画像を表示可能な表示装置が存在する。一方、放送局から送出される映像の大きさは、横７２０画素、縦４８０画素程度のものが多い。また、市販されているＤＶＤから再生可能な映像のサイズも、最大で縦７２０画素、横４８０画素である。このように、多くの一般的な映像の大きさより、表示装置が表示可能な画素数の方が大きいという状態が生じている。この状態は例示した画素数には限定されずより大きな画素の表示装置が登場した場合に、放送される又は記録から再生される映像が表示装置の画素よりも小さければ将来的にも継続しうる状態である。

このため、画素数が少ない映像から画素数が大きい映像を生成する技術が検討されている。一つの手段として、超解像と呼ばれる技術が開発されている。超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。

この超解像処理は、大きく分けると二つの段階に分けられる。第一段階は動きベクトルを生成する処理であり、第二段階は動きベクトルを利用し高解像度の画像を生成する処理である。第一段階の動きベクトル生成処理では、高解像度化する画像フレームと前後数枚の画像フレームを比較し、画素毎に動きベクトルを計算する。第二段階の高解像度映像生成処理では、第一段階で生成された画素毎の動きベクトルを用いて、画像フレームから高解像度の画像を生成する。

しかし、超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。すなわち、連続する複数の画像フレームから、画素ごとの微小な小数点単位の動きを計算し、その動きベクトルに基づき、高解像度画像を生成する。したがって、動きがない静止部分（映像中の静止した領域）については、超解像処理では高解像度化することができない。例えば動きがない静止した文字部分については、超解像処理では高解像度化することができない。

特許文献１では、文字の高解像度化について記載があるが、文書画像の入力を想定した技術であり、超解像技術との連携や、動きがありまた背景が一定ではない映像内での文字の高解像度化には考慮がない。

また、特許文献２は、文字認識機能を用いて元の入力文字画像を置き換えることについて記載があるが、やはり文字画像の入力を想定した技術であり、超解像技術との連携や、動きがありまた背景が一定ではない映像内での文字の高解像度化には考慮がない。

そこで例えば、映像処理装置は、映像の時間方向の解像度を用いて空間方向の解像度を補完する映像高解像度化部と、映像に表示される文字の映像を抽出する文字抽出部と、前記文字抽出部で抽出した文字の映像を高解像度化する文字高解像度化部と、前記映像高解像度化部の出力と前記文字高解像度化部の出力とを合成する合成部とを備える。

上記手段によれば、超解像できれいにした映像において静止した文字も見易くする（きれいに見せる）ことができる。

上記以外の課題、手段、効果は実施例で後述される。

本発明に好適な実施形態の例（実施例）を説明する。ただし本発明は、本実施例に限定されない。例えば、以下の説明では、放送波またはＤＶＤから入力する映像信号は、横７２０画素、縦４８０画素の解像度であり、高解像度化した後の映像の解像度は、横１９２０画素、縦１０８０画素とする。また、放送波またはＤＶＤから入力する映像信号のフレームレートと、高解像度化した後の映像のフレームレートは、同一であると仮定する。しかし、本解像度には限定されない。

図１は、実施例１の映像視聴装置１０００構成例を示すブロック図である。

チューナ１１０１は、放送波を受信する機能単位である。放送波は、たとえばＭＰＥＧ−２などの方式でコード化されている。ＤＶＤは、映像情報が記録された記録媒体であり、ＤＶＤ読取装置１１０２を介して、記録された映像信号が読み出される。ＤＶＤからの映像信号は、放送波と同じくＭＰＥＧ−２などの方式でコード化されている。

デコーダ１１０３は、放送波およびチューナ１１０１、またはＤＶＤおよびＤＶＤ読取装置１１０２から入力された映像信号を復号し、映像、すなわち連続する画像フレームを再現する機能単位である。デコーダ１１０３から出力される画像フレームは、フレームを特定するためのフレームＩＤと、画像データからなる。ここでは説明を単純にするため、画像データは横が７２０画素、縦が４８０画素であり、各画素のＲＧＢ成分がそれぞれ８ビットであると仮定する。

図２に画像フレーム情報の一例を示す。画像フレーム情報は、フレームＩＤ２００１、フレーム画像２００２からなる。フレーム画像２００２は、横７２０画素、縦４８０画素で、各画素はＲＧＢ成分それぞれ８ビットで表現される。ただし、データ量削減のため、適宜圧縮されていても良い。デコーダ１１０３から出力された画像フレームは、画像フレームバッファ１１０４に格納される。画像フレームバッファ１１０４に格納された画像フレームは、動きベクトル生成部１１０５、および高解像度画像生成部１１０７によって読み出される。

動きベクトル生成部１１０５は、超解像処理を構成する２つの段階の前段であり、デコーダ１１０３が生成した画像フレームの列を処理し、画素ごとの動きベクトルを計算し、画像フレーム毎に全ての画素に対する動きベクトルを生成する。動きベクトルの生成には、画像フレームバッファ１１０４に格納されている画像フレームが利用される。フレーム動きベクトル情報は、フレームＩＤと、全画素に対する動きベクトルを含む。

図３にこの様子を示す。動きベクトル情報は、フレーム画像の解像度と同じく、横７２０画素、縦４８０画素であり、各画素に対する動きベクトルは、水平方向の動き、垂直方向の動きで表され、例えば各８ビットで表現される。もちろん、動きベクトルはデータ量削減のために適宜圧縮されていても良い。また、フレーム動きベクトル情報には、フレームを特定するためのフレームＩＤ２００１が付加されている。

動きベクトル生成部１１０５により生成されたフレーム動きベクトル情報は、動きベクトルバッファ１１０６に格納される。動きベクトルバッファ１１０６に格納されたフレーム動きベクトル情報は、高解像度画像生成部１１０７から読み出されて利用される。

画像フレームバッファ１１０４に溜められた画像フレーム、動きベクトルバッファ１１０６に溜められた動きベクトルは、高解像度画像生成部１１０７により読み出される。高解像度画像生成部１１０７は、まず、画像フレームバッファ１１０４から読み込んだ画像フレームのフレームＩＤを読み、次いで、そのフレームＩＤと同一のフレームＩＤを持つ動きベクトル情報を、動きベクトルバッファ１１０６から読み出す。高解像度画像生成部１１０７は、画像フレームおよび動きベクトル情報を用い、高解像度の画像を生成する。この超解像処理には、例えば同じ出願人による特願２００６−１５０８７５号や特願２００６−２５９８８６号に記載の技術を用いることができる。生成された高解像度画像は、高解像度画像フレームバッファ１１０８に蓄積される。

図４に高解像度フレームバッファ１１０８に蓄積されるデータの例を示す。高解像度化された画像である高解像度フレーム画像４００１の大きさは、横１９２０画素、縦１０８０画素とする。元になった画像フレームと同じ、フレームＩＤ２００１も一緒に蓄積される。説明を単純にするため、各画素はＲＧＢそれぞれ８ビットで表現されるものとする。

文字高解像度化部１１０９は、画像フレームから、文字領域を抽出し、文字認識を行い、得られた文字コードに基づき、高解像度な文字画像を生成する。この処理の内容は、図６を用いて後述する。生成された高解像度な文字画像は、フレーム文字画像情報バッファ１１１０に蓄積され、文字画像はめ込み処理部１１１１によって利用される。

図５にフレーム文字画像情報バッファ１１１０に蓄積されるデータの形式の一例を示す。図５に示したデータの内容および生成方法は、図６の処理フローとともに説明する。

文字画像はめ込み処理部１１１１は、高解像度画像フレームバッファ１１０８から、高解像度フレーム画像４００１とフレームＩＤ２００１を読み出し、同じフレームＩＤを持つフレーム文字画像情報を、フレーム文字画像情報バッファ１１１０から読み出す。文字画像はめ込み処理部１１１１は、フレーム文字画像情報から文字画像データを順次読み出し、それを高解像度フレーム画像４００１の対応する位置に転写する。この処理は、図９で後述する。

文字画像はめ込み処理部１１１１から出力された高解像度フレーム画像４００１は、画質調整部１１１２に渡され、表示装置の特性に合わせて輝度や色相が調整される。画質調整が済んだ画像は、表示部１１１３に送られて利用者に提示される。

図６は、文字高解像度化部１１０９の処理例を示すフローチャートである。

文字高解像度化部１１０９は、ステップ６００１で、画像フレームバッファ１１０４から画像フレームを入力する。次に、ステップ６００２で、フレーム画像から文字領域を抽出する。この文字領域抽出処理には、例えば特開２００１−２８５７１６に記載されている、公知の技術を用いることができる。

文字高解像度化部１１０９は、ステップ６００２で抽出された文字領域の全てについて、適宜処理を実行したかを判定する（ステップ６００３）。ステップ６００２で文字領域がまったく抽出されなかった場合、またはすでに全ての文字領域を処理し終わったら、ステップ６００９に進み、フレーム文字画像情報を出力する。フレーム文字画像情報とは、図５（ｃ）に示すようなデータである。後述する文字画像データを集め、フレームＩＤ２００１を付けてまとめたものである。出力されたフレーム文字画像情報は、フレーム文字画像情報バッファ１１１０に蓄積される。フレーム文字画像情報を出力したら、ステップ６９９９に進み、そのフレームについての文字高解像度化部１１０９の処理は終了である。

ステップ６００３の判定において、未処理の文字領域が存在する場合、ステップ６００４に進む。ステップ６００４では、注目している文字領域に対し、そこに含まれる文字を高画質化処理すべきか否かが決定される。この処理の内容は、図７を用いて後述する。

ステップ６００５では、ステップ６００４の決定処理に基づき、注目している文字領域について高画質化処理を実行するか否かの分岐がなされる。高画質化処理を処理を実行する必要がない場合は、何もせずにステップ６００３に戻り、次の未処理文字領域の処理に移る。

高画質化処理を実行する場合は、ステップ６００６に進み、注目している文字領域に対して文字認識処理を実行する。文字認識処理が成功すると、文字領域にあった文字画像に対応する文字コードが得られる。次のステップ６００７では、文字認識が成功したか否かを判定している。文字認識が成功していない場合は、何もせずにステップ６００３に戻り、次の未処理文字領域の処理に移る。

ステップ６００６における文字認識が成功した場合は、ステップ６００７の分岐を経て、ステップ６００８に進み、文字画像データを生成する。ここで生成される文字画像データは、図５の（ａ）に示すような形式である。文字領域の位置および大きさは、文字領域ヘッダ５００１に格納される。ｘ、ｙが位置であり、ｗ、ｈが幅と高さである。

ステップ６００８の文字画像データ生成処理では、ステップ６００６の文字認識処理で得られた文字コードに基づき、装置が持つフォントデータを用いて、文字画像が生成される。ここで、フォントデータは文字の形のアウトラインをベクトル値で記述されており、任意の大きさの画素数で、文字画像を生成することが可能となっている。文字のコードと文字の大きさと、フォントの種類を指定することで、任意解像度の文字映像が生成でき、入力画像にたとえノイズが入っていようと、細部がつぶれていようと、高精細な文字画像が生成できる。この際、特許文献２の技術を用いて、フォントの種類と大きさと識別し、入力画像と似たフォントを用いて文字画像生成することもできる。文字の大きさ、字体などを元の文字画像に似せる処理には、例えば特許文献２に開示されている公知の技術を用いることができる。

以上で文字画像データが生成されたら、ステップ６００３に戻り、次の未処理文字領域に関する処理に移る。

図７は、図６のステップ６００４の処理内容、すなわち注目している文字領域に対し、高解像度処理を実施すべきか否かを決定する処理の例を示すフローチャートである。

抽出された文字領域の状態、すなわち文字が動いている、背景が単色でない、文字サイズが大きいなどにより、文字認識機能と文字画像生成機能による高画質化をやるかやらないかを切り替えることができる。動きがある文字領域は、超解像処理で高解像度化されるため、文字認識機能と文字画像生成機能を用いて、高画質化する必要性は少ない。また、背景が単色でない場合には、文字表示の質が気にならないことが多いため、やはり高画質化する必要性は少ないと考えられる。さらに、文字サイズが所定のサイズより大きい場合は、十分に視認性が高いため、やはり高画質化する必要性は低いと考えられる。これにより、高画質化が不要と思われるときには、処理をやらずに済ますことができ、計算量を減らすことにより消費電力を節約することができる。

図７（ａ）は、注目している文字領域が静止しているか否かで、高解像度処理を実施すべきか否かを決定する例である。ステップ７０００で開始した後、ステップ７００１で、前フレームで同一の文字領域があったかどうかを判定する。前フレームでは同じ場所に文字領域が存在した場合、ステップ７００５に進み、処理対象領域であると判定する。ステップ７００１で、前フレームでは同じ場所に文字領域がないと分った場合は、ステップ７００６に進み、処理対象領域ではないと判定する。ステップ７９９９で処理は終了し、図６のフローに戻る。

なお、一つ前のフレームではなく、複数前のフレームと比較してもよい。たまたま止まった文字に対して高解像度処理を行うことを防止するためである。また、フレーム単位ではなく時間単位で比較してもよい。これらを総称して所定時間内に文字が動くかどうかの判定ともいう。

なお、注目している文字領域が、高画質化の処理対象であるかどうかは、図７（ａ）では文字領域の移動で判定したが、他の方法で判定してもよい。例えば、図７（ｂ）では、ステップ７００１に代わるステップ７００２で、文字領域中の文字の大きさが、所定の大きさより小さい場合に、処理対象領域であると判定している。また、図７（ｃ）では、ステップ７００１に代わるステップ７００３で、文字の背景が単色である場合に、処理対象領域であると判定している。図７（ｂ）および（ｃ）における、それ以外のステップについては、図７（ａ）の対応するステップと同一の処理である。

図８は、図７（ｃ）のステップ７００３において、文字の背景が単色であるか否かを判定するための基準を説明するための図である。注目している文字領域に含まれる画素について、横軸が画素の輝度、縦軸が画素数であるグラフを作成すると、背景が単色の場合は、図８（ａ）のようになると予想される。すなわち、単色の背景の画素、文字枠の色の画素、文字内部の色の画素が、それぞれ多く存在し、それ以外の色は存在しない。グラフがこのような形になったら、文字の背景が単色であると判断可能である。一方、背景が単色でない場合は、背景に属する画素の輝度が多岐に渡るため、図８（ｂ）のような形のグラフとなる。このような形になった場合、すなわち図８（ａ）のような形になった場合は、文字の背景が単色ではないと判断可能である。単色であるか否かには基準（スレッショルド）を設けてこれを上回るか（又は下回るか）否かで判断することとなる。所定の色の範囲であるかの判定とも呼ぶ。

図９は、文字画像はめ込み処理部１１１１の処理例を示すフローチャートである。

開始ステップ９０００は、映像の高解像度画像フレームバッファ１１０８に、ある程度の枚数の高解像度フレーム画像が蓄積されているものとする。

文字画像はめ込み処理部１１１１は、ステップ９００１で、高解像度画像フレームバッファ１１０８から、未処理の高解像度フレーム画像を読み込む。さらに、ステップ９００２で、フレーム文字画像情報バッファ１１１０から、同じフレームＩＤを持つフレーム文字画像情報を読み込んで合成する。合成の方法は、例えば読み込んだ高解像度フレーム画像にフレーム文字画像情報をはめ込むように上書きする。

ステップ９００３の判定では、同じフレームＩＤを持つフレーム文字画像情報が存在したかどうかを確認している。フレーム文字画像情報が存在しなかった場合は、ステップ９００４に進み、高解像度画像フレームを、画質調整部１１１２に渡す。フレーム文字画像情報が存在した場合は、ステップ９００６に進み、フレーム文字画像情報に、未処理の文字画像データがあるかを調べる。未処理の文字画像データが無ければ、ステップ９００４に進む。

ステップ９００６の判定で、未処理の文字画像データが存在した場合、ステップ９００７に進み、その文字画像データを読み込む。次にステップ９００８に進み、文字領域画像を高解像度フレーム画像の対応する位置に転写する。転写が終了したら、ステップ９００６に戻り、次の未処理文字画像データの処理に移る。すべての文字画像データを処理し終えたら、ステップ９００４に進み、高解像度フレーム画像を画質調整部１１１２に渡す。

次に、ステップ９００５に進み、映像の最後であるかどうかを判定し、最後でなければ冒頭のステップ９００１に戻り、次の未処理の高解像度画像フレームの処理に進む。映像の終わりであれば、ステップ９９９９に進み、処理を終了する。

画質調整部１１１２に渡された高解像度画像フレームの内容は、表示装置の特性に合わせて輝度や色相が調整され、画質調整が済んだ画像は、表示部１１１３に送られて利用者に提示される。

実施例１では入力画像からフォントの種類を識別し文字画像データを生成した。実施例２では、コンテンツ情報からフォントの種類を推測し文字画像データを生成する。

図１０は、実施例２の映像視聴装置１２００の構成例を示すブロック図である。１１０１〜１１１３は、図１と同様である。

文字高解像度化部１２０９は、画像フレームから、文字領域を抽出し、文字認識を行い、得られた文字コードに基づき、高解像度な文字画像を生成する。この処理の内容は、図１３を用いて後述する。

ＥＰＧ情報生成部１２１４は、放送波のチャネル番号や受信時刻、または放送波およびチューナ１１０１、またはＤＶＤおよびＤＶＤ読取装置１１０２から入力された映像信号中の番組識別コードから、コンテンツの種別（番組ジャンル）、放送局、作成者、コンテンツ名（番組名）などを生成し、文字高解像度化部１２０９に入力される。

フォント候補対応情報記憶部１２１５は、文字高解像度化部１２０９において、ＥＰＧ情報生成部１２１４からの情報に基づき、コンテンツ内の字幕に使われている可能性の高いフォント識別コードを複数発生し、文字高解像度化部１２０９に出力する。

フォントデータ記憶部１２１６は、フォント識別コードと文字コードに基づき、文字の形状の情報を、文字高解像度化部１２０９に出力する。

図１１に、フォント候補対応情報記憶部１２１５のデータの形式の一例を示す。条件フィールド１１００１に、番組ジャンル、放送局、作成者、番組名などを記述し、フォントリストフィールド１１００２に、フォント識別コードのリストを記述する。

図１２に、フォントデータ記憶部１２１６のデータの形式の一例を示す。フォント識別コード１２００１ごとに、文字コード１２００２とその文字の形状のアウトラインデータ情報１２００３を記述する。

ネットワーク接続装置１２１７は、ＥＰＧ情報やフォント候補対応情報、フォントデータを更新するために、インターネット経由してデータを得るために使用される。これらＥＰＧ情報やフォント候補対応情報、フォントデータの情報は、放送波やＤＶＤから得ることも可能である。

図１３は、実施例２における図６のステップ６００８（文字画像データ生成処理）の詳細な処理例のフローチャートである。文字画像データ生成処理では、ステップ６００６の文字認識処理で得られた文字コードに基づき、文字画像が生成される。

ステップ１４００１で、ＥＰＧ情報生成部１２１４からコンテンツのＥＰＧ情報を得る。なぜなら、現状のテレビ放送で使用されるフォントの種類は、放送局や番組や作成者によってある程度絞ることができる。また、放送局や番組が用いているフォントと同じ又は近いフォントを使えれば文字の形が近いことが期待され、文字の周り（背景）とより自然に融合できる。よってフォントの判断には、ＥＰＧ（Electronic Program Guide）などテレビ番組情報から得た番組情報を元に、あらかじめ用意しておいた番組や放送局名などとフォント種別候補の表を用いて、複数の高画質フォントを生成し、生成したフォントを基の画像と同じ解像度に変換（ダウンコンバート）して、元の画像との差が小さいものを選ぶ。また、フォント種別の判定に番組別に候補リストで対象とするフォントの種類を絞ることによって、計算量を減らすことにより消費電力を節約することができる。

ステップ１４００２では、ステップ１４００１で得られたＥＰＧ情報に基づき、フォント候補対応情報記憶部１２１５の情報から、条件の一致するフォント候補リストを得る。

ステップ１４００４では、フォントＩＤと文字コードに基づき、文字のアウトラインデータをフォントデータ記憶部１２１６から得る。

ステップ１４００５では、得られたアウトラインデータに基づき、高解像度の文字画像データを生成する。

ステップ１４００６では、入力画像と同じ解像度に、ステップ１４００５で生成した画像をダウンコンバートした文字画像データを生成する。

ステップ１４００７では、入力画像とステップ１４００６で生成した画像の差を計算する。ここで、画像の差として、対応する画素ごとの値の差の絶対値の平均や、差の二乗平均などを用いる。

ステップ１４００８では、ステップ１４００７で計算した画像の差と、あらかじめ定めた閾値と比較する。閾値より差が小さい場合は、適切なフォントが選択されたと判断し、ステップ１４００９に進む。差が閾値より大きい場合は、フォントが適切でないとし、次の候補フォントＩＤを用いた処理に移るために、ステップ１４００３に進む。生成した文字画像データと入力画像の差を評価することで、間違った置換を抑制することができる。

すべての候補フォントＩＤに対して処理を行うと、適切な文字画像データが得られなかったとして、ステップ１４９９９に進み、ステップ１３００１の文字画像データ生成処理を終える。

ステップ１４００９では、ステップ１４００５で生成した高解像度文字画像データを適切な文字画像データとして出力し、ステップ１４９９９に進み、ステップ１３００１の文字画像データ生成処理を終える。

フォント候補リスト内のフォントＩＤごとに、ステップ１４００４〜ステップ１４００９の処理を行う。フォント候補リスト内のすべてのフォントＩＤに対して処理を終えると、適切な文字画像データが得られなかったとして、文字画像データ生成処理を終える。

以上の実施例１や２によれば、超解像処理で高解像度化できない静止した文字部分も高解像度化することができ、より高画質かつ視認性の高い映像視聴装置を作成できる。

実施例１の装置の構成例を示す。 画像フレーム情報の構成例を示す。 フレーム動きベクトル情報の構成例を示す。 高解像度化した後の高画質画像フレームの構成例を示す。 フレーム文字画像情報の構成例を示す。 文字高解像度化部１１０７の処理例を示す。 図６のステップ６００４の処理例を示す。 文字背景が単色であるかの判定基準の例を示す。 文字画像はめ込み処理部１１１１の処理例を示す。 実施例２の装置の構成例を示す。 フォント候補対応情報記憶部のデータの構成例を示す。 フォントデータのデータの構成例を示す。 実施例２におけるステップ６００８の処理例を示す。

符号の説明

１０００ 映像視聴装置
１１０１ チューナ
１１０２ ＤＶＤ読取装置
１１０３ デコーダ
１１０４ 画像フレームバッファ
１１０５ 動きベクトル生成部
１１０６ 動きベクトルバッファ
１１０７ 高解像度画像生成部
１１０８ 高解像度画像フレームバッファ
１１０９ 文字高解像度化部
１１１０ フレーム文字画像情報バッファ
１１１１ 文字画像はめ込み処理部
１１１２ 画質調整部
１１１３ 表示部
２００１ フレームＩＤ
２００２ フレーム画像
３００１ 動きベクトル情報
４００１ 高解像度フレーム画像
５００１ 文字領域ヘッダ
５００２ 文字領域画像

Claims (6)

1. 映像の時間方向の解像度を用いて空間方向の解像度を補完する映像高解像度化部と、
   映像に表示される文字の映像を抽出する文字抽出部と、
   前記文字抽出部で抽出した文字の映像を高解像度化する文字高解像度化部と、
   前記映像高解像度化部の出力と前記文字高解像度化部の出力とを合成する合成部とを有する映像処理装置。
2. 請求項１の映像処理装置であって、
   前記文字高解像度化部は、前記文字抽出部で抽出した文字の映像が画面内で所定時間内に動くかどうかを判定し、動かないないときには高解像度化し、動くときには高解像度化しない映像処理装置。
3. 請求項１の映像処理装置であって、
   前記文字高解像度化部は、前記文字抽出部で抽出した文字の映像のうち文字の背景が所定の色の範囲であるかを判定し、背景が所定の色の範囲内であるときには高解像度化し、背景が所定の色の範囲外であるときには高解像度化しない映像処理装置。
4. 請求項１の映像処理装置であって、
   前記文字高解像度化部は、前記文字抽出部で抽出した文字の映像のうち文字のサイズを判定し、文字が所定より小さいときには高解像度化し、文字が所定より大きいときには高解像度化しない映像処理装置。
5. 請求項１の映像処理装置であって、
   フォントデータを記憶するフォントデータ記憶部を有し、
   前記文字高解像度化部は、前記文字抽出部で抽出した文字の映像を、前記フォントデータ記憶部が記憶しているフォントデータへ置換する映像処理装置。
6. 請求項５の映像処理装置であって、
   映像に対応する番組情報を取得する番組情報取得部を有し、
   前記文字高解像度化部は、前記番組情報取得部で取得した番組情報に対応するフォントデータへ置換する映像処理装置。

Images