JP2007515864A - ビデオ画像処理方法 - Google Patents

Abstract

ビデオ画像処理方法は、表示領域（１２）を占有する動画を表す入力情報を有するビデオ信号（５，６）を受信する段階と、受信した入力情報を処理する段階と、表示領域を占有する動画を表す出力情報を有する出力ビデオ信号（１０，１１）を生成する段階とを有する。この方法は、表示領域の選択セクション（１７，１８）を占有する入力情報によって表される動画のセクションを、表示領域の残りの部分を占有する動画の部分（１４）とは独立してリスケーリングすることを特徴とする。

Description

本発明は、ディスプレイの領域を占有する動画を表す入力情報を有するビデオ信号を受信する段階と、受信した入力情報を処理する段階と、ディスプレイの上述の領域を占有する動画を表す出力情報を有する出力ビデオ信号を生成する段階とを有するビデオ画像処理の方法に係る。

本発明は更に、このような方法を実行するよう特別に適応されたビデオ画像処理システムに係る。

本発明は更に、このような方法を実行するよう特別に適応された例えばテレビ受像機であるディスプレイ装置に係る。

本発明は更に、コンピュータプログラムプロダクトに係る。

上述したような種類の方法及び画像処理システムの例は、特許文献１の要約から公知である。この公報は、ＤＶＤ（ビデオバーサトルディスク）ビデオの再生ビデオ画像を表示する場合に小規模ディスプレイ装置状にキャプションを表示可能なＤＶＤビデオ再生装置に関する。ユーザは、ＤＶＤビデオの再生の前にユーザキャプション設定メモリ内に格納されるべきキャプション倍率及びキャプションカラーを設定する。サブピクチャディスプレイ指示が受信されると、ディスクから読み出しされるサブピクチャディスプレイ領域が、ユーザキャプション設定メモリ内に格納された倍率によって拡大される。サブピクチャビデオ画像は、ユーザキャプション設定メモリ内に格納された色で生成され、合成器に与えられる。合成器は、ビデオデコーダから受信した主ビデオ画像を、サブビデオ画像デコーダから受信したサブビデオ画像を合成し出力を供給する。

この公知の装置の問題は、キャプション情報がディスクから読み出しされるサブピクチャビデオ画像として別個に利用可能であり、次に、合成器によって動画に組み合わせられることに依存するということである。
特開第２００２−０４４５９０号

本発明は、特に、入力情報に含まれたキャプションの読みやすさを増加するよう使用可能な代替の画像ビデオ処理方法を提供することを目的とする。

この目的は、表示領域の選択されたセクションを占有する入力情報によって表される動画のセクションを、表示領域の残りの部分を占有する動画の部分とは独立してリスケーリングすることを特徴とする本発明の方法によって達成される。

従って、表示領域の選択されたセクションを占有するキャプションの読みやすさを高めることができ、それにより、読みやすさを増加する。当然ながら、本発明は、例えば、道に沿って歩いている人のビデオの中で現れる名札といった容易に識別することのできない動画の他の部分を見るためにも同様に使用可能である。

「ピクチャズーミング」は、テレビ受像機に一般的に与えられる特徴であると認識される。しかし、これは、動画全体の拡大が伴う。対照的に、本発明は、動画の１つのセクションの、動画の残りの部分から独立したリスケーリングを含み、残りの部分は、そのオリジナルのサイズのままにされうる。

１つの好適な実施例は、表示領域の選択されたセクション内に実質的に嵌るよう動画のリスケーリングされたセクションの最大部分を表す動画のリスケーリングされたセクションを表す情報の最大限を出力情報内に含める段階を有する。

従って、リスケーリングが拡大である場合、リスケーリングされたセクションは、入力ビデオ信号におけるより出力ビデオ信号においてより多くの情報が運ばれることにはならない。

好適には、本発明の方法のこの実施例は、表される最大部分は、表示領域の選択された領域上に位置付けられるよう出力情報を生成する段階を有する。

従って、拡大されたセクションは、動画の他の部分を不明瞭にしない。従って、動画におけるキャプションのみを拡大し、同時に、動画の残りの部分をオリジナルのサイズのままにすることが可能である。従って、これらの残りの部分の歪みはなくキャプションはより読み易くなる。

本発明の好適な実施例は、予め決定された画像素子の存在について入力情報を解析する段階と、存在するとわかった画像素子の少なくとも一部を包含するよう選択されたセクションを決定する段階を有する。

従って、観察者は自分自身で選択領域を決定する必要がない。その代わりに、所定の画像素子が、リスケーリングの為に選択されるべき動画の領域のサイズ及び位置を決定する。

この実施例の１つの好適な変形では、所定の画像素子は、テキスト、例えば、クローズドキャプションテキストを有する。

従って、この変形は、そのサイズによって読みにくいテキストを包含するようリスケーリングされるべき全表示領域のうちのセクションの自動決定を有する。

１つの好適な実施例では、受信したビデオ信号は、コンポーネントビデオ信号である。

このことは、信号は、例えば、テレビ受像機におけるビデオデコーダによって生成されうる形式にあるということを意味する。この実施例は、複雑なグラフィック処理及び異なる形式へのデータの変換を必要としないという利点を有する。むしろ、この信号は、テレビ受像機のビデオデコーダとビデオ出力プロセッサとの間の標準デジタル信号処理段に特徴として追加されることが可能である。

本発明の別の面では、本発明のビデオ画像処理システムは、本発明の方法を実行するよう特別に適応される。

本発明の別の面では、本発明の例えばテレビ受像機といった表示装置は、本発明の方法を実行するよう特別に適応される。

本発明の更なる面では、本発明のコンピュータプログラムプロダクトは、プログラム可能なデータ処理装置上で実行されると、プログラム可能なデータ処理装置が、本発明の方法を実行することを可能にする手段を有する。

本発明を、添付図面を参照しながら更に詳細に説明する。

ビデオ信号経路に含まれるビデオ画像処理装置において実行される方法を提供する。図１に、ビデオ信号経路の例を示す。このビデオ信号経路は、抽象的な概略図である。これは、１つ以上の別個の信号処理装置において実施されうる。図示する例では、３つの構成要素があり、即ち、ビデオデコーダ１、ビデオ特徴プロセッサ２、及びビデオ出力プロセッサ３である。代替案は、いわゆるシステムオンチップでありうる。ビデオ信号経路は、例えば、テレビ受像機４（図２参照）内に含まれる。本発明が実施されうる別のビデオ画像処理システムは、ビデオモニタ、ビデオカセットレコーダ、ＤＶＤプレイヤ、及びセットトップボックスが含まれる。

図１に戻るに、ビデオデコーダ１は、ＳＣＡＲＴといったＩＦステージ又はベースバンド入力からコンポジットビデオ信号５を受信する。ビデオデコーダ１は、ＰＡＬ、ＮＴＳＣといった信号特性を検出し、信号をより操作可能なコンポーネントビデオ信号６に変換する。この信号は、一連の動画のＲＧＢ、ＹＰｂＰｒ、又はＹＵＶ表現であり得る。以下において、ＹＵＶ表現を前提とする。

更なるビデオ特徴付けは、ビデオ特徴プロセッサ２においてコンポーネントビデオ信号６に対して行われる。ビデオ特徴付けは、フロントエンド特徴処理７、メモリに基づいた特徴処理８、及びバックエンド特徴処理９に分割される。本発明は、メモリに基づいた特徴処理８の１つとして実施されることが好適である。

ビデオ特徴プロセッサ２は、出力信号１０を生成し、この信号も、好適にはＹＵＶ形式のコンポーネントビデオ信号であることが好適である。この出力信号は、ビデオ出力プロセッサ３に供給される。ビデオ出力プロセッサ３は、ビデオ出力信号１０を、ディスプレイを駆動するための形式に変換する。例えば、ビデオ出力プロセッサ３は、ＲＧＢ信号１１を生成し、この信号は、テレビ受像機４（図２）の画面１２の表示領域に可視ピクチャを作成する受像管の電子ビームを駆動する。

テレビ受像機４には、遠隔制御ユニット１３が具備される。この遠隔制御ユニット１３を用いて、ユーザコマンドがテレビ受像機４に供給されることが可能であり、それにより、例えば、ビデオ特徴プロセッサ２によるビデオ特徴処理のタイプ及び度合いを制御する。図２の例では、表示領域内に、ニュースキャスター１４、ネットワークロゴ１５、及びクローズドキャプションテキスト１６がある。クローズドキャプションテキスト１６は、コンポジット及びコンポーネントビデオ信号５、６内に含まれた情報において標準として与えられていてもよい。或いは、フロントエンド特徴処理７又はメモリに基づいた特徴処理８に含まれるテレテキストデコーダ及び表現モジュールによって追加されていてもよい。この場合、本発明は、テレテキストデコーダ及び表現モジュールによって、ニュースキャスター１４、ネットワークロゴ１５、及び動画の全ての他の部分を表す他の情報上にオーバレイされるキャプションテキスト１６を有する情報を担持する信号に対して作用する。

本発明は、全表示領域にズームインすることなくキャプションテキスト１６が位置する表示領域のセクションにズームインするズーム機能を提供する。原理上は、この機能は、例えば、ネットワークロゴ１５といったように画面１２の別の部分にもズームインするよう使用可能である。選択されたセクション及び倍率が設定されると、選択されたセクションは、一連の動画フレームのうちの幾つかのフレームに亘って、その一連の動画フレームを表しビデオ入力信号によって運ばれる情報に直接作用することによって自動的に再度拡大縮小（リスケーリング）される。

１つの変形では、特徴が作用するビデオ信号内で運ばれる情報は、特定のサイズのテキスト及びクローズドキャプションテキスト１６のレタリングに対応するレタリングといった所定の画像素子の存在について解析する。本発明の１つの変形では、選択領域１７は、ビデオ特徴プロセッサ２によって自動的に特定される。このビデオ特徴プロセッサ２が、解析を実行する。この変形を実施するために、同出願人によって出願した「Detecting subtitles in a video signal」なる名称の国際公開第０２／０９３９１０号を参照されたい。この公報は、ビデオ信号内のクローズドキャプションテキストの存在を検出する幾つかの技術を開示する。これらの技術によって、クローズドキャプションテキストが存在する領域を決定可能である。

選択領域１７が一旦決定されると、選択領域１７に対応する表示領域のセクションが、例えば、遠隔制御ユニット１３であるユーザ入力モジュールを介して与えられる制御情報に応じて拡大縮小される。当然ながら、制御情報は、テレビ受像機４上のキーを介して与えられてもよい。

多くの場合、この制御情報は、拡大率を有するであろう。ビデオ特徴プロセッサ２は、全表示領域の選択された領域１７を占有する、ビデオ特徴プロセッサが作用する入力情報によって表される動画のセクションを拡大する。このセクションの拡大は、全表示領域の残りの部分を占有する動画の部分とは独立して行われる。従って、選択領域１７内に表示されるようもともと決定されていた動画の部分（即ち、クローズドキャプションテキスト１６及びそれに対する任意の背景）は拡大され、一方で、残りの部分（ニュースキャスター１４及びネットワークロゴ１５を含む）は、入力情報によって決定されたサイズのままである。

拡大の場合、動画の拡大部分は、全表示領域の選択領域１７内に実質的に嵌ることができるようクロッピングされる。クロッピングされた拡大セクションを表す情報のみが、出力情報内に含まれる。この出力情報は、背景特徴処理９に入力として供給される。動画のクロッピングされた拡大部分を表す情報は、その表される部分が選択領域１７の実質的に上に位置付けられるよう出力情報内にも挿入されることが好適である。このようにして、動画の残りの部分は、サイズ調整によってどのようにも影響を受けない。

或いは、選択領域１７のサイズ及び位置も、ユーザによって設定しうる。この場合、遠隔制御ユニット１３又は他のタイプのユーザ入力モジュールを用いて、ビデオ特徴プロセッサ２に選択領域１７のサイズ及び位置を決定する制御情報を供給する。

サイズ調整されるべき動画のセクションの自動及びユーザによる決定の組合せも可能である。例えば、選択領域１７は、認識されたクローズドキャプションテキスト１６に基づいて自動的に決定され、一方、ユーザによって決定される選択領域１８は、画面のどこにでもあるネットワークロゴ１５といったセクションにズームインするよう使用されうる。選択されたセクションは、表示領域の残りの部分とは独立してサイズ調整される。

リスケーリングを実施するのに多数の可能性が存在する。第１の技術は、偏向に基づいており、また、特に、陰極線管（ＣＲＴ）の電子ビームへの信号を供給するビデオ出力プロセッサ３における実施を意図する。この実施は、既存のピクチャ位置合わせ特徴を使用する利点を有する。第２の技術は、デジタルズームオプションとラインメモリを用いてラインに基づいたビデオ処理を使用する。従って、これは、メモリに基づいた特徴処理８の一部として実施される。この場合、動画の一連の連続フレームのそれぞれにおける、選択領域１７に対応するラインの範囲が格納され且つ拡大される。拡大されたラインについての情報は、最初に受信したラインの情報と差し替えられる。第３の、そして、最も正確で柔軟性のある技術は、フィールドビデオメモリと、各フィールドにおけるデジタル補間を使用する。これは、幾分追加の処理容量を必要とするが、精度及び柔軟性の利点を有する。例えば、多くの異なるタイプのデジタル補間を使用することが可能である。この変形は更に、使用可能な選択領域１７、１８のサイズ及び形状においてより柔軟である。

尚、上述の実施例は、本発明を説明するものであって限定するものではない。また、当業者は、特許請求の範囲から逸脱することなく多くの代替の実施例を設計可能であろう。請求項において、括弧内に入れられる参照符号は、その請求項を限定すると解釈すべきではない。「有する」という言葉は、請求項に列挙される素子又は段階以外の素子又は段階の存在を排除するものではない。単数形で記載される素子も、そのような素子が複数存在することを排除するものではない。特定の手段が相互に異なる従属項に記載されるという事実は、これらの手段の組合せが有利に使用することができないということを示すものではない。例えば、グラフィカルユーザインタフェースに基づいた手段以外の手段又は自動キャプションテキスト認識を用いて、サイズ調整されるべき表示領域のセクションを決定してもよい。

本発明の適応に好適な一般的なビデオ信号経路を示す図である。 本発明が実施されたテレビ受像機を示す正面図である。

Claims (9)

1. 表示領域を占有する動画を表す入力情報を有するビデオ信号を受信する段階と、
   前記受信した入力情報を処理する段階と、
   前記表示領域を占有する動画を表す出力情報を有する出力ビデオ信号を生成する段階と、
   を有するビデオ画像処理方法であって、
   前記表示領域の選択されたセクションを占有する前記入力情報によって表される前記動画のセクションを、前記表示領域の残りの部分を占有する前記動画の部分とは独立してリスケーリングすることを特徴とする方法。
2. 前記表示領域の前記選択されたセクション内に実質的に嵌るよう前記動画の前記リスケーリングされたセクションの最大部分を表す前記動画の前記リスケーリングされたセクションを表す前記情報の最大限を前記出力情報内に含める段階を有する請求項１記載の方法。
3. 前記表される最大部分は、前記表示領域の前記選択された領域上に位置付けられるよう前記出力情報を生成する段階を有する請求項２記載の方法。
4. 予め決定された画像素子の存在について前記入力情報を解析する段階と、
   存在するとわかった前記画像素子の少なくとも一部を包含するよう前記選択されたセクションを決定する段階と、
   を有する請求項１乃至３のうちいずれか一項記載の方法。
5. 前記所定の画像素子は、テキスト、例えば、クローズドキャプションテキストを有する請求項４記載の方法。
6. 前記受信したビデオ信号は、コンポーネントビデオ信号である請求項１乃至５のうちいずれか一項記載の方法。
7. 請求項１乃至６のうちいずれか一項記載の方法を実行するよう特別に適応されるビデオ画像処理システム。
8. 請求項１乃至６のうちいずれか一項記載の方法を実行するよう特別に適応される例えばテレビ受像機である表示装置。
9. プログラム可能なデータ処理装置上で実行されると、前記プログラム可能なデータ処理装置が、請求項１乃至６のうちいずれか一項記載の方法を実行することを可能にする手段を有するコンピュータプログラム。

Images