JP2009065432A - 画像再生装置 - Google Patents

Abstract

【課題】重要な情報の少ない非有効領域に特徴画像データを拡大表示し、また、メモリのバス帯域の減少を最小限にすることが可能な画像再生装置を得ることを目的とする。
【解決手段】本発明の画像再生装置１０１は、入力された画像情報から所定の特徴を有する特徴画像を抽出する画像領域抽出部６と、抽出した特徴画像に加工処理を施す拡大部５と、入力された画像情報から所定の基準に従い有効な情報が少ない領域を判定する非有効領域判定部８と、特徴画像の位置情報、および非有効領域判定部８が判定した非有効領域情報に基づいて、加工処理を行った特徴画像を表示する位置を決定する拡大文字表示位置判定部７と、拡大文字表示位置判定部７の出力に従って、入力された画像情報と加工された特徴画像とを重ね合わせ出力するフレームメモリ制御部３とを備える。
【選択図】図１

Description

本発明は、画像情報における文字などの特徴画像に加工処理を施して元の画像情報とともに出力する画像再生装置に関するものである。

近年、携帯電話などのモバイル端末からワンセグ放送などの映像を見る動きが広がってきている。しかしながら、携帯電話などのような小さな液晶画面で見る場合（例えば、２．４インチ）、スポーツ番組のスコアや歌番組の歌詞などの文字情報は、小さすぎて読みづらいという問題があった。

一方で、最近は高精細な液晶も広がっており、一般的な携帯電話の液晶はQVGA（３２０×２４０画素）であるが、VGA（６４０×４８０画素）やWVGA（８００×４８０画素）を使用することで、よりクリアな画像が視聴できるようになっている。しかし、画面の大きさはその携帯性から大きくできないため、高精細な液晶を用いても、文字情報等が小さすぎて読みづらいという問題を解決するものではない。

そこで、例えば下記特許文献１では、文字領域を抽出して、抽出した文字領域を拡大して表示し、また抽出した文字領域の色相を変更して表示し、文字領域を見やすく表示する方法が開示されている。

特開平９−９１４５３号公報

しかしながら、特許文献１に記載の文字領域拡大方法では、文字などの特徴画像データを抽出して拡大表示しようとした場合、オリジナルの入力された画像内で、視聴者にとって重要な情報の多い領域（有効領域に）に対して影響を与えることがあった。具体的には、オリジナルの画像に拡大した文字などの特徴領域を貼り付けた表示をすることにより、視聴者が必要とする情報を見逃してしまうという問題があった。

また、オリジナル画像及び拡大した文字などの特徴画像の重ね合わせを行う際に、一旦フレームメモリへ、オリジナル画像及び拡大した文字などの特徴画像を格納して画像の処理を行う場合、フレームメモリへのアクセスが増え、メモリのバス帯域の減少を生じてしまうという問題があった。

そこで本発明はかかる問題を解決するためになされたものであり、重要な情報の少ない非有効領域に特徴画像データを拡大表示し、また、メモリのバス帯域の減少を最小限にすることが可能な画像再生装置を得ることを目的とする。

本発明の第１の画像再生装置は、入力された画像情報から所定の特徴を有する特徴画像を抽出する特徴画像抽出手段と、前記抽出した特徴画像に第１の加工処理を施す加工手段と、前記入力された画像情報から所定の基準に従い有効な情報が少ない領域を判定する非有効領域判定手段と、前記特徴画像の位置情報、および前記非有効領域判定手段が判定した非有効領域情報に基づいて、前記加工処理を行った特徴画像を表示する位置を決定する表示位置判断手段と、前記表示位置判断手段の出力に従って、前記入力された画像情報と前記加工された特徴画像とを重ね合わせ出力する画像制御手段とを備える。

本発明の第２の画像再生装置は、入力された画像情報から所定の特徴を有する特徴画像を抽出する特徴画像抽出手段と、前記抽出した特徴画像に第１の加工処理を施す加工手段と、前記入力された画像情報から所定の基準に従い有効な情報が少ない領域を判定する非有効領域判定手段と、前記特徴画像の位置情報、および前記非有効領域判定手段が判定した非有効領域情報に基づいて、前記加工処理を行った特徴画像を表示する位置を決定する表示位置判断手段と、前記加工された特徴画像を保持する保持手段と、前記表示位置判断手段の出力に従って、前記入力された画像情報と、１または複数フレーム前の前記保持する加工された特徴画像とを重ね合わせて出力する画像制御手段とを備える。

本発明の第１の画像再生装置によれば、オリジナル画像の非有効領域（視聴者にとって重要な情報の少ない領域）方向に、文字などの特徴画像を拡大して表示し、しかも、映像としての違和感が少ないように拡大率を任意に決定することができる。従って、視聴者にとって重要な情報を見逃すような不利益となることなく、小さすぎて見づらい情報を見やすく表示することが可能となる。

本発明の第２の画像再生装置によれば、オリジナル画像と、拡大した１または複数フレーム前の文字などの特徴領域を重ね合わせて表示するように構成したので、SDRAMなどのフレームメモリへのアクセス回数を少なくすることができる。

＜実施の形態１＞
図１は、本発明の実施の形態１における画像再生装置１０１の構成を概略的に示したブロック図である。図１に示されるように、画像再生装置１０１は、画像制御手段（以下、フレームメモリ制御部３）、ラインメモリ４、加工手段（以下、拡大部５）、特徴画像抽出手段（以下、文字領域抽出部６）、表示位置判断手段（以下、拡大文字表示位置判定部７）、非有効領域判定手段（以下、非有効領域判定部８）、境界部平滑化手段（以下、境界部フィルタ処理部９）とを備えている。また、拡大部５は、原画像拡大部５１、文字領域拡大部５２を備えている。また、図１では、画像データ入力部１、フレームメモリ２、表示部１０を画像再生装置１０１の構成要素としていないが、これらを含む画像再生装置１０１としてもよい。

次に、図１を参照して、本実施の形態における画像再生装置１０１の動作について説明する。画像データ入力部１は、MPEG２、MPEG４などの符号化された情報を復号した動画像を１フレーム単位で入力し、この入力されたオリジナル画像データ（フレームデータ）は、一旦フレームメモリ２（SDRAM）に記録される。

フレームメモリ制御部３は、フレームメモリ２へのアクセスタイミングやアクセスするデータのアドレスを受け、SDRAM内のデータを読み書きできるようにするインターフェース部である。フレームメモリ制御部３は、フレームメモリ２に記録されている画像データを順次読み出し、ラインメモリ４へ出力する。

ラインメモリ４は、フレームメモリ制御部３が順次読み出した画像データを入力し、数ライン分のデータを一旦格納する。後段で行われる信号処理（本実施の形態では、文字領域の抽出、画像データ／特徴画像データの拡大、シーンチェンジの検出）は、このラインメモリ４に格納されている画像データとのやり取りで実現される。ラインメモリ４の容量や構成などは、後段で行われる信号処理により決定される。

原画像拡大部５１は、ラインメモリ４に格納されているフレームデータを携帯などの表示装置の画素数などに合わせて拡大処理を施す。この拡大処理を施した画像データは、フレームメモリ制御部３を介してフレームメモリ２へ記録される。

この拡大処理を行う際のデータ補間方法としては、最近傍（ニアレストネーバー）法、線形補間（バイリニア）法、３次補間（バイキュービック、Lancoz３）法などのアルゴリズムがよく使用されており、斜め線部分で特に発生しやすい輪郭のギザギザ（シャギー）対策を盛り込むことが多い。複雑なアルゴリズムを採用すればより綺麗な画像が得られるが、実際に使用する際の制約（処理時間や回路規模）を考慮する。

本実施の形態では、ワンセグの映像（ワイドワンセグ：３２０×１８０画素）を、携帯電話などの液晶（WVGA：８００×４８０画素）に拡大して表示することを想定しており、この場合の拡大率は、水平方向２．６７倍、垂直方向２．５倍、もしくは、水平方向，垂直方向ともに２．５倍に拡大する。これは高精細な液晶に表示することを意味しており、解像度が上がりクリアな画像を表示できるが、液晶サイズが小さなままでは、小さな文字情報などは見づらいという点は改善されない。

文字領域抽出部６は、ラインメモリ４から読み出した画像データから、文字などの特徴画像のある領域（文字領域）の抽出を行い、この抽出された文字領域の画像データ、抽出した文字領域位置情報（文字領域アドレス）、および文字領域の位置と大きさから算出した拡大率などの情報を出力する。ここで、本実施の形態では、特徴画像を文字領域と表現しているが、テレビ放送などでフレームインしてくる地震情報やスーパーなどの文字情報や、津波情報やスポーツ番組のスコアのような画像情報などを表す。

次に、文字領域抽出部６の文字領域の抽出方法について説明する。こららの文字領域は、オリジナルのコンテンツ画像に対して貼り付けられて表示されるため、ほとんど動かないことが特徴である。そのため、現在のフレームと一つ（または複数）前のフレームとの比較の結果、変化がないことを検出する。具体的には、まず、フレーム画像データ全体のエッジ（輪郭）を抽出し、２値化を行う。２値化された画像データに対して、フレーム間比較、つまりフレーム間の画素情報の差分を蓄積し、予め設定されるしきい値を超えた場合、その周辺には文字などの特徴画像があるものとして、その領域を文字領域とする。

しかしながら特徴画像を検出する際に、動きの多い映像では文字領域の検出精度も高いが、動きの少ない映像では誤検出が多く発生する。この誤検出の対策として、例えばフレーム間の比較で、局所的に画像内のヒストグラムが変化した領域などのフレームインしてくるタイミングを捉え、この領域を文字領域と限定する方法がある。また、周波数成分が高い、つまり分割された領域内で検出されるエッジの数が多いなどの文字の特徴を利用して限定する方法がある。また、スーパーなどの文字は、同一画素値の連続（文字の太さ）があるため、平滑化してもその画素値のデータが残るなどの特徴を利用して限定する方法があり、これらの方法を合わせて使用することにより文字領域の誤検出を解決することができる。

非有効領域判定部８は、ラインメモリ４から読み出した画像データから、抽出された文字領域周辺において、映像として視聴者にとって重要な情報の少ない領域（非有効領域）の判定を行う。例えば、サッカーなどのスポーツ番組などでは、動きのある人の情報などは有効である可能性が高く、逆に、番組の最初から最後まで常に表示され続けている文字（例えば、スポーツ番組なら○○杯といった試合の名称など）は、有効ではないことが多い。非有効領域判定部８は、このような特徴を利用して、文字領域を拡大したい領域、および逆の方向など文字領域の周辺の領域において、エッジ（輪郭）を抽出して２値化を行い、２値化データのフレーム間の比較で、動きのあるエッジ（輪郭）がない、あるいは動きのあるエッジ（輪郭）が少ないことを検出して非有効領域と判定する。

図２は、文字領域を拡大して表示する場合に、拡大する方向を模式的に示した図である。文字領域を拡大して表示する場合、映像として重要な情報の少ない（非有効領域）方向、例えば、図２（a），（b）に示すように、画面左上で検出した文字領域は右下端を起点として左上方向に拡大する。そのため、拡大方向の上下、もしくは左右の空き容量の大きさに適応して、拡大率を変更する。また、図２（c）に示すように、文字領域が横方向に長い列では十分な拡大率が得られないときは、図２（d）に示すように、縦方向と横方向で拡大率を変える。また、本来の拡大方向では十分な拡大率が得られないときは、図２（e）に示すように、逆方向へ拡大することもできる。

また、図２に示すように、抽出された文字などの特徴画像の領域の一部を起点として拡大することで、入力されたオリジナル画像と拡大された文字領域との境界部における不連続を減らすことができる。

次に、フレームメモリ制御部３は、文字領域抽出部６から出力される文字領域位置情報を受けて、フレームメモリ２から文字領域データを読み出し、読み出された文字領域データは、フレームデータの拡大処理と同様、数ライン分のデータを一旦ラインメモリ４に格納する。この文字領域位置情報は、例えば文字領域の左上端点からの画素数、ライン数といった位置や大きさなどである。

次に、文字領域拡大部５２は、ラインメモリ４に格納された文字領域データを読み出して、文字領域抽出部６で判断された拡大率に従い拡大処理を施す。この拡大処理を施した文字領域データは、フレームメモリ制御部３を介してフレームメモリ２へ記録される。拡大処理の方法は、原画像拡大部５１と同様である。

ここで、原画像拡大部５１、及び文字領域拡大部５２は、共通化して時分割処理を行うことで回路規模を削減することも可能である。また、拡大表示、または高精細の液晶に画面表示することを想定しなければ、原画像拡大部５１での処理は省略することができる。

拡大文字表示位置判定部７は、文字領域抽出部６が出力する文字領域位置情報、および非有効領域判定部８が出力する非有効領域情報に基づいて、拡大した文字領域を表示する位置を判定する。この拡大文字表示位置判定部７の出力（文字領域拡大表示位置情報）は、フレームメモリ制御部３および境界部フィルタ処理部９に出力する。

フレームメモリ制御部３は、この文字領域拡大表示位置情報に従って、予めオリジナルの入力画像を格納したフレームメモリ２に、拡大した文字領域データを重ね書きする。これにより、入力されたオリジナル画像に対して、抽出した文字などの特徴画像領域が拡大表示された１フレームの画像データが生成されることになる。

境界部フィルタ処理部９は、拡大した文字領域と、別の拡大率で拡大したオリジナル画像との境界部分で発生する不連続部分に対して、視聴者が違和感なく視聴できるようなフィルタ処理を行う。このフィルタ処理は、例えば、境界部を平滑化することで不連続部分をなめらかにする方法。あるいは、逆に拡大した文字領域を額縁化して強調する方法などがある。

次に、表示部１０は、境界部フィルタ処理部９から出力されるフレームデータを携帯電話などの液晶画面に表示する。

以上より、オリジナル画像の非有効領域（視聴者にとって重要な情報の少ない領域）方向に、文字などの特徴画像領域を拡大して表示し、しかも、映像としての違和感が少ないように拡大率を任意に決定できる。従って、視聴者にとって重要な情報を見逃すような不利益となることはなく、小さすぎて見づらい情報を見やすく表示することが可能となる。

また、特徴画像領域とオリジナル画像の境界部で発生する不連続に対して、フィルタ処理などを行うことで、視聴者の感じる映像としての違和感を軽減することができる。

＜実施の形態２＞
図３は、本発明の実施の形態２における画像再生装置２０１の構成を概略的に示したブロック図である。実施の形態１と異なる点は、シーンチェンジ検出手段（以下、シーンチェンジ検出部１１）、保持手段（以下、文字領域メモリ１２）、セレクタ１３，１５、画像制御手段（以下、オーバーレイ処理部１４）、表示位置判断手段（以下、拡大文字表示位置判定部２７）、境界部平滑化手段（以下、境界部フィルタ処理部２９）を備えた点である。

次に、本実施の形態の特徴について説明する。拡大処理を行う際、画面上部からライン毎に画像データを読み出し、これを一旦ラインメモリ４に格納して処理を行うため、例えば、図２に示すように、画面上方（戻り方向）への拡大処理はできない。そのため、実施の形態１では、拡大した文字領域をフレームメモリ２に格納することで、戻り方向への拡大処理を実現している。しかしながら、フレームメモリ２（SDRAM）へのアクセスが増えることは、メモリのバス帯域の減少に繋がってしまうため、極力アクセスを減らしたいというのが現状である。

そこで、本実施の形態の特徴は、文字領域は変化が少なく、一定時間表示が継続されることを利用して、１フレーム前の拡大された文字領域をローカルメモリに格納し、これを現在のオリジナル画像に重ねて表示することで、バス帯域を減少させることなく、戻り方向への拡大処理を実現するものである。

次に、図３を参照して、本実施の形態における画像再生装置２０１の動作について説明する。画像データ入力部１が動画像を入力してから、文字領域拡大部５２が拡大処理を施すまでの動作は、実施の形態１と同様なので、説明を省略する。

文字領域拡大部５２が拡大処理を施した文字領域データは、順次文字領域メモリ１２に格納される。この文字領域メモリ１２は、１フレーム前あるいは複数フレーム前の拡大文字領域データも保持している。

オーバーレイ処理部１４は、原画像拡大部５１で拡大処理を施された現在の画像データと、文字領域メモリ１２に格納されている１フレーム前の拡大文字領域データとを重ね合わせる。重ね合わせの際、１フレーム前の拡大文字領域データは、拡大文字表示位置判定部２７から出力される１フレーム前の文字領域拡大表示位置情報に従った位置に合成する。ここで、本実施の形態では、１フレーム前の拡大文字領域データを用いて画像の重ね合わせを行っているが、複数フレーム前の拡大文字領域データを用いてもよい。

また、文字領域抽出部６が、入力されたオリジナル画像から文字などの特徴画像領域が検出できなかった場合には、次にその領域内で特徴画像が検出されるまでの間、文字領域メモリ１２に保持されている１フレーム前の拡大文字領域データを表示することで、特徴画像の表示延長が可能である。この特徴画像を表示延長する場合は、文字領域拡大部５２における特徴画像の拡大処理をスキップしてもよい。また、抽出した特徴画像において「表示延長中」のような警告を付加してもよい。

ここで、上述したように本実施の形態では、フレームデータと文字領域のデータを１フレーム、あるいは複数フレームずらして画像の重ね合わせを行っているが、フレームデータと文字領域のデータが１フレームずれることによって、コマーシャル（CM）のようなシーンチェンジが行われた場合、文字領域のデータが表示されてしまい、不自然な画像となってしまうことがある。そこで、本実施の形態はシーンチェンジ検出部１１を備えている。

シーンチェンジ検出部１１は、ラインメモリ４に格納されるフレームデータを読み出して、フレーム先頭（数ライン）でのみ、シーンチェンジの検出を行い、シーンチェンジの有無の検出信号を出力する。シーンチェンジの検出は、例えば、フレーム先頭のヒストグラムをとり、現在のフレームと１フレーム前のヒストグラムの差分がしきい値を超えることを検出するなどの方法で行う。

セレクタ１３は、シーンチェンジが検出されなかった場合には、１フレーム前の文字領域を、検出された場合には現在の画像を選択的に出力する。つまり、シーンチェンジが検出された場合には、拡大された文字領域は表示されなくなる。

境界部フィルタ処理部２９は、拡大文字表示位置判定部２７から出力される１フレーム前の文字領域拡大表示位置情報に基づいて、拡大した文字領域と、別の拡大率で拡大したオリジナル画像との境界部分で発生する不連続部分に対して、視聴者が違和感なく視聴できるようなフィルタ処理を行う。このフィルタ処理は、実施の形態１と同様である。

セレクタ１５は、シーンチェンジ検出部１１によりシーンチェンジが行われたと判定した場合には、境界部フィルタ処理部２９の処理をスキップする機能を有する。表示部１０は、セレクタ１５から出力されるフレームデータを携帯電話などの液晶画面に表示する。

以上より、オリジナル画像と、拡大した１または複数フレーム前の文字などの特徴領域を重ね合わせて表示するように構成したので、SDRAMなどのフレームメモリ２へのアクセス回数を少なくすることができる。さらに、シーンチェンジ検出部１１を備えることで、コマーシャル（CM）などシーンが変わったときに、特徴画像を表示してしまい、視聴者が違和感をおぼえることを回避できる。

また、特徴画像領域とオリジナル画像の境界部で発生する不連続に対して、フィルタ処理などを行うことで、視聴者の感じる映像としての違和感を軽減することができる。

また、文字領域メモリ１２を有しているので、特徴画像の延長表示が可能となり、視聴者が特徴画像を見逃してしまうことを回避できる。

本発明の実施の形態１における画像再生装置の構成を概略的に示したブロック図である。 本発明の文字領域を拡大して表示する場合に拡大する方向を模式的に示した図である。 本発明の実施の形態２における画像再生装置の構成を概略的に示したブロック図である。

符号の説明

１ 画像データ入力部、２ フレームメモリ、３ フレームメモリ制御部、４ ラインメモリ、５ 拡大部、５１ 原画像拡大部、５２ 文字領域拡大部、６ 文字領域抽出部、７，２７ 拡大文字表示位置判定部、８ 非有効領域判定部、９，２９ 境界部フィルタ処理部、１０ 表示部、１１ シーンチェンジ検出部、１２ 文字領域メモリ、１３，１５ セレクタ、１４ オーバーレイ処理部、１０１，２０１ 画像再生装置。

Claims (12)

1. 入力された画像情報から所定の特徴を有する特徴画像を抽出する特徴画像抽出手段と、
   前記抽出した特徴画像に第１の加工処理を施す加工手段と、
   前記入力された画像情報から所定の基準に従い有効な情報が少ない領域を判定する非有効領域判定手段と、
   前記特徴画像の位置情報、および前記非有効領域判定手段が判定した非有効領域情報に基づいて、前記加工処理を行った特徴画像を表示する位置を決定する表示位置判断手段と、
   前記表示位置判断手段の出力に従って、前記入力された画像情報と、前記加工された特徴画像とを重ね合わせ出力する画像制御手段と、を備える画像再生装置。
2. 前記加工手段は、前記入力された画像情報に第２の加工処理を施し、
   前記画像制御手段は、前記加工された入力画像と、前記加工された特徴画像とを重ね合わせて出力する請求項１に記載の画像再生装置。
3. 前記加工手段は、前記入力された画像情報および前記特徴画像の拡大処理を行う請求項１または２に記載の画像再生装置。
4. 前記重ね合わせた前記加工された特徴画像の境界部が、滑らかに変化するように処理を行う境界部平滑化手段をさらに備える請求項１から３のいずれかに記載の画像再生装置。
5. 前記所定の特徴は文字である請求項１から４のいずれかに記載の画像再生装置。
6. 入力された画像情報から所定の特徴を有する特徴画像を抽出する特徴画像抽出手段と、
   前記抽出した特徴画像に第１の加工処理を施す加工手段と、
   前記入力された画像情報から所定の基準に従い有効な情報が少ない領域を判定する非有効領域判定手段と、
   前記特徴画像の位置情報、および前記非有効領域判定手段が判定した非有効領域情報に基づいて、前記加工処理を行った特徴画像を表示する位置を決定する表示位置判断手段と、
   前記加工された特徴画像を保持する保持手段と、
   前記表示位置判断手段の出力に従って、前記入力された画像情報と、１または複数フレーム前の前記保持する加工された特徴画像とを重ね合わせて出力する画像制御手段と、を備える画像再生装置。
7. 前記加工手段は、前記入力された画像情報に第２の加工処理を施し、
   前記画像制御手段は、前記加工された入力画像と、前記保持する加工された特徴画像とを重ね合わせて出力する請求項６に記載の画像再生装置。
8. 前記加工手段は、前記入力された画像情報および前記特徴画像の拡大処理を行う請求項６または７に記載の画像再生装置。
9. 前記重ね合わせた前記加工された特徴画像の境界部が、滑らかに変化するように処理を行う境界部平滑化手段をさらに備える請求項６から８のいずれかに記載の画像再生装置。
10. 前記画像制御手段は、
    前記特徴画像抽出手段が特徴画像を抽出しないときは、前記特徴画像を有しない入力された画像情報と前記保持手段が保持している加工された特徴画像とを重ね合わせる請求項６から９のいずれかに記載の画像再生装置。
11. 前記入力された画像情報の一部からシーンチェンジを検出するシーンチェンジ検出手段をさらに備え、
    前記画像制御手段は、
    シーンチェンジを検出しなかった場合は、前記入力された画像情報と、前記保持手段が保持する加工された特徴画像とを重ね合わせて出力し、
    シーンチェンジを検出した場合は、前記入力された画像情報を出力する請求項６から１０のいずれかに記載の画像再生装置。
12. 前記所定の特徴は文字である請求項６から１１のいずれかに記載の画像再生装置。

Images