JP2010034724A - 映像処理装置 - Google Patents

Abstract

【課題】
文字テロップが静止文字テロップを含む場合でも良好に補間処理を行うことで画質劣化を低減するのに好適な技術を提供する。
【解決手段】
本発明は、映像の動きベクトルを検出する動きベクトル検出部とは別に文字テロップの動きを検出するテロップ検出部を備え、この文字テロップ検出部は、ライン単位の文字テロップの動き量とフレーム単位の文字テロップの動き量とを検出し、これらのいずれか文字テロップの動き量を用いて当該文字テロップの領域について補間処理を行うことを特徴とする。例えば、静止文字テロップの領域に対しては、フレーム単位の動き量を優先的に用いて補間処理ようにし、スクロールする文字テロップ領域に対しては、ライン単位の動き量を優先的に用いるようにする。
【選択図】図１

Description

本発明は、映像処理装置に関し、特に文字テロップを含む映像信号に補間フレームを加えて当該映像信号のフレームレートを変換するためのフレームレート変換処理における高画質化に好適な技術に関する。

入力された映像信号のフレーム列に、映像の動きベクトルを用いた補間処理により作成された補間フレームを加えることにより、入力映像信号のフレームレート（フレーム周波数）を変換するフレームレート変換処理が知られている。

かかるフレームレート変換処理を文字テロップやテキストを含む映像信号に対して施す場合は、当該文字テロップやテキスト（以下、これらを纏めて文字テロップと呼ぶこととする）が所定方向において周期構造（同一もしくは類似する形状が所定方向に繰り返し出現するパターン）を有していることから、上記動きベクトルが良好に検出できない場合がある。このような場合、誤った補間処理が為され、フレームレート変換後の映像、特に文字テロップの領域において映像が乱れ画質劣化が生じる。

文字テロップを含む映像に対して良好に補間処理を行うための従来技術としては、例えば特許文献１、２に記載のものが知られている。

特開２００３−１８９２６４号公報 特開２００４−３１２６８０号公報

ところで、文字テロップには、所定方向に移動する（すなわちスクロールする）ものと静止するものが存在する。動きのある背景映像に静止する文字テロップが重畳されている映像においては、当該静止文字テロップが重畳される領域において上記動きベクトルの誤検出が生じやすく、従って当該領域においては誤った補間処理が行われる場合が多い。

上記特許文献１及び２には、上記静止文字テロップが存在する場合でも良好に補間処理を行うことについての考慮は為されていない。

本発明は、文字テロップが静止文字テロップを含む場合でも良好に補間処理を行うことで画質劣化を低減するのに好適な技術を提供する。また、文字テロップ部分とそれ以外の部分とを良好に区分して補間処理が可能な技術を提供する。

本発明は、映像の動きベクトルを検出する動きベクトル検出部とは別に文字テロップの動きを検出するテロップ検出部を備え、この文字テロップ検出部は、ライン単位の文字テロップの動き量とフレーム単位の文字テロップの動き量とを検出し、これらのいずれか文字テロップの動き量を用いて当該文字テロップの領域について補間処理を行うことを特徴とする。例えば、静止文字テロップの領域に対しては、フレーム単位の動き量を優先的に用いて補間処理ようにし、スクロールする文字テロップ領域に対しては、ライン単位の動き量を優先的に用いるようにする。

また本発明は、文字テロップの部分を他の部分と区分して処理する際に用いられるイネーブル信号をフィルタ処理することを特徴とする。このイネーブル信号は各画素に対応して与えられ、文字テロップ領域に対応する画素を第１の値（例えば「１」）、その以外の領域を第２の値（例えば「０」）としたとき、上記フィルタ処理は、まず、ある画素が第２の値を持つ場合は、当該ある画素の周辺画素の値を第２の値に置き換えることにより当該第２の値を持つ画素の範囲を拡張し、続いて、第１の値を持つ画素の周辺画素の値を第１の値に置き換えることにより前記第１の値を持つ画素の範囲を拡張する処理を含む。

上記本発明の構成によれば、文字テロップが静止文字テロップを含む場合でも良好に補間処理を行うことで可能となり、フレームレート変換後の映像の画質劣化を低減することが可能となる。また、文字テロップ部分とそれ以外の部分とを良好に区分して補間処理をすることが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、各図において同一の符号が付された要素は同一の構成、機能を持つものとし、その重複した説明は省略するものとする。

図１は、本発明の一実施形態に係る映像処理装置の一例を示す構成図である。

図１において、信号処理部１には、例えば受信した符号化デジタルテレビジョン放送信号が入力され、これを復号及び復調してデジタル形式の映像信号２を出力する。この映像信号２は、分岐されて１Ｖ遅延処理部３に入力され、ここで映像信号２の１垂直期間（１フレームもしくは１フィールド分）遅延される。これにより、映像信号２と、これに対し１垂直期間遅延された１Ｖ遅延信号４とを得ることができる。以下では、映像信号２と１Ｖ遅延信号４との時間的な前後関係から、映像信号２を「後フレーム信号」、１Ｖ遅延信号４「前フレーム信号」と呼ぶこととする。

後フレーム信号２と前フレーム信号４は、それぞれ、本実施例の特徴的要素であるテロップ検出部２、及び動きベクトル検出部６とフレーム補間部１２に供給される。テロップ検出部２では、入力映像信号に文字テロップが含まれる場合には、後フレーム信号２と前フレーム信号４との差分に基づき文字テロップの領域及び当該文字テロップの動き量を検出し、上記文字テロップ領域に対応するマスク信号７と文字テロップの動き量８（以下、文字動き量と呼ぶ場合もある）とを生成してベクトル合成部１０へ出力する。ここで、マスク信号７は、１フレームを構成する映像の各画素に対してそれぞれ与えられるものであり、文字テロップを含む領域に対応する画素については「１」、すなわち有効とし、それ以外の領域に対応する画素については「０」、すなわち無効とされる。テロップ検出部２の詳細については後述するものとする。

一方、動きベクトル検出部６では、後フレーム信号２と前フレーム信号４との差分に基づき文字テロップを含む映像（例えば人物や車等の物体）の動きベクトル９を検出してベクトル合成部１０へ出力する。ここで、動きベクトル検出部６は、例えば映像信号の輝度信号を用いて文字テロップを含んだ映像全体の動きベクトル８の検出を行う。この動きベクトル８は、例えば時間的に連続する２つのフレーム、すなわち後フレーム２と前フレーム４との中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素（補間画素）を通る直線を複数設定する。その直線は、補間フレームの前後にある２フレーム（後フレーム及び前フレーム）のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記２フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素（補間画素）に対応する動きベクトルとして設定する。そのような演算処理を１フレームの全が疎に渡って行うことにより、１フレームの各画素について動きベクトルを設定する。ここでは、動きベクトル検出部６における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。

動き情報切換部１０は、テロップ検出部２から出力されたマスク信号７及び文字動き量８と、動きベクトル検出部６から出力された動きベクトル９が入力され、これらに基づき映像の領域に応じた補間処理用動き情報７を切り換えて出力する。すなわち、マスク信号７が「０」を示す画素は文字テロップ以外の映像が存在する領域なので、動きベクトル９を補間処理用動き情報７として出力し、マスク信号７が「０」を示す画素は文字テロップを含む領域なので、文字動き量８を補間処理用動き情報７として出力する。

フレーム補間部１２は、後フレーム信号２と前フレーム信号４、及び動き情報切換部１０からの補間処理用動き情報１１を用いて文字テロップの領域とそれ以外との領域を夫々個別に補間処理を行い、補間フレームを作成する。すなわち、文字テロップの領域については補間処理用動き情報７としての文字動き量８を用い、それ以外の領域については補間処理用動き情報７としての動きベクトル９を用いて補間処理を行う。

上記補間処理は、例えば時間的に連続する後フレーム２と前フレーム４との中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記２フレームの画素同士の平均値（もしくは補間フレームと後フレームまたは前フレームとの時間的距離に応じた加重平均）を求める補間画素を生成する処理である。この補間画素の生成を、１フレームにおけるすべての画素について行うことで、１枚の補間フレームが生成される。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。

上記のようにして作成された補間フレームは、フレーム補間部１２において、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート（フレーム周波数）が６０Ｈｚであり、それを２倍の１２０Ｈｚにフレームレート変換する場合は、入力映像信号中の１つフレームおきに１つの補間フレームが挿入される。例えば、後フレーム２と前フレーム４との間に１枚の補間フレームが挿入される。このようにして、フレーム補間部１２によって入力映像信号のフレームレートが変換される。

上記変換処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。当然、映像信号のフレームレートを６０Ｈｚから１８０や２４０Ｈｚに変換する場合も同様な処理が行われ、この場合は、２フレーム間に２枚または３枚の補間フレームが挿入される。また、フレームレートをフィルム信号の２４Ｈｚから６０Ｈｚにする場合も同様な処理が行われる。

フレーム補間部１２でフレームレート変換された映像信号１３は、タイミング制御部１４に入力される。タイミング制御部１４は、映像信号１３に基づき表示パネル１５に映像を表示させるのに最適なタイミング信号（水平、垂直同期信号及びドットクロック信号）
を生成して、映像信号１３とともに表示パネル１５に供給する。

表示パネルは、例えば液晶パネルやＰＤＰパネルなどで構成されており、タイミング制御部１４からのタイミング信号とフレームレート変換された映像信号とを用いて、映像の表示を行う。

次に、図２を参照して本実施例に係るテロップ検出部５の一具体例について説明する。図２において、後フレーム２と前フレーム４の信号が領域判定部１０４に入力され、領域判定部１０４は、後フレーム２と前フレーム４の信号が所定の領域内の信号か否かを判定し、所定領域内の信号のみを選択的に出力する。ここで所定領域とは、文字テロップが表示され得る領域である。文字テロップは、ほとんどの場合、映像の下部や上部または左部または右部において所定幅の範囲内に表示される。領域判定部１０４は、例えば入力映像信号が１９２０×１０８０の精細度を持つ場合、前記所定幅を垂直方向３００ライン、水平方向３００ドットとして、映像の最上端または最下端のラインから３００ライン分の幅及び／または最右端または最左端の画素から３００ドット分の幅を上記所定領域として設定する。そして、後フレーム２及び前フレーム４の各画素の位置と設定された所定領域の範囲情報とを比較し、後フレーム２及び前フレーム４が所定領域の範囲内にあればそれを出力し、範囲外であれば例えば「０」の信号を出力する。このようにすれば、文字テロップが実質的に表示されない領域の信号については、後段の要素において処理する必要が無く、また文字テロップの位置や動き量の検出における誤りを低減することができる。

領域判定部１０４からの信号は文字検出部１０５に入力され、ここで、文字テロップの領域とその動き量が検出される。この文字テロップ領域と文字動き量の検出について、図３及び図４を用いて説明する。

図３は、文字検出部１０５の動作の概念を示す図である。同図において、前フレーム４（ｋ−１番目のフレーム）の画素１９１が、後フレーム２（ｋ番目のフレーム）において画素１９２の位置に移動するものとする。文字検出部１０５は、この画素１９１から画素１９２への動き量を求めるために、前フレーム４の画面において探索範囲１９４を設定する。この探索範囲１９４は、前フレーム４の画面において、後フレーム２の画素１９２（ｘ、ｙ）と空間的に同一位置にある画素１９５を基準にして、例えば左右１０ピクセルずつ、つまり水平方向に２１ピクセルの幅を有している。この探索範囲１９４を定めるピクセル数は、文字テロップのスクロール速度、すなわち文字が１フレーム当たり何ピクセル動くか（pixel/frame：p/f）に応じて設定される。通常の文字テロップの速度は１０p/f未満なので、探索範囲１９４は基準画素から左右１０ピクセルずつ設ければよい。もちろん、これよりも多くしてもよい。

上記探索範囲１９４を設定した後、その探索範囲１９４に属する画素群を後フレーム２に対して、基準画素を基準にして水平方向（左及び右方向）に１ピクセルずつずらしていく（シフトさせる）。そして、１ピクセルシフトする度に、後フレーム２の画素１９２（ｘ，ｙ）と空間的に同一位置にある画素（以下、「対応画素」と呼ぶ）との例えば輝度値の差分を演算する。ここで、図３に示されるように、前フレーム４の画素１９１が、後フレーム２において左の方向に７ピクセル移動する場合、探索範囲１９４の画素群を左方向に７ピクセルシフトすると、画素１９１が画素１９２と空間的に同一の位置となる。よって、探索範囲１９４の画素群を左方向に７ピクセルシフトしたとき、画素１９２と対応画素とが同一の値となり、その両者の差分は０もしくは所定値以下となる。つまり、後フレーム２の画素１９２と対応画素との差分が所定値以下のときのシフト量が、図中の矢印１９６で示される画素１９１の動き量となる。本例では、探索範囲１９４に属する画素群を左方向に７ピクセルシフトしたときに画素１９２と対応画素との差分が所定値以下になるので画素１９１が左方向に７ピクセルの動き量で移動したと検出される。以下、後フレーム２の画素１９２との差分が所定値以下の対応画素を一致画素と呼び、その一致画素については、「１」不一致の画素については「０」の判定信号を与えるようにする。

上記の処理を、領域判定部１９４により抽出された所定領域内の全画素について行うことで、文字テロップの動き量を検出することができる。このとき、所定領域における文字テロップの信号についてのみ上記処理を行うことで、文字テロップ以外の映像による誤検出を防止できる。通常、文字は、その表示色が白色で輝度が非常に高く、他の映像との境界である輪郭がくっきり、すなわち文字の境界部とその他の部分との輝度差が大きいという特徴がある。そこで本実施例では、所定領域内の画素のうち、文字の特徴である所定値以上の輪郭成分を持ちかつ所定輝度以上の画素について上記処理を行うようにしている。

上記の処理を数式により表すと次にようになる。図３において、今、ｉ番フレームの位置（ｘ，ｙ）での階調（または輝度）をＳｉ（ｘ，ｙ）する。ｋ−１番フレームで（ｘ，ｙ）にあった画素１９１が、ｋ番フレームで画素１９２（ｘ＋ｄｘ、ｙ＋ｄｙ）へ動いたとすると、これらの二つの階調差は、下記数１で表すことができる。
（数１）ｄＳ＝Ｓ_k(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｓ_k-1(ｘ，ｙ)
ここで、ｄＳを最小にする変位ベクトル（ｄｘ，ｄｙ）が求める動きベクトルである。本実施例では、次式に示すように、所定の輝度範囲［Ｓ₀,Ｓ₁］の画素と、その近傍の閾値Ｅ₀以上の輪郭成分を持つ画素とが、それぞれ後フレーム２（ｋ）と前フレーム４（ｋ−１）間で一致するか否かを判定して動き量を求める。
（数２）ｄＥ＝Ｅ_k(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｅ_k-1(ｘ，ｙ)
（数３）Ｅ_i(ｘ，ｙ)＝Ｐ_i(ｘ，ｙ) grad Ｓ_i(ｘ，ｙ)
（数４）Ｐ_i(ｘ，ｙ)＝
Ｈ(Ｓ_i(ｘ，ｙ)−Ｓ₀) Ｈ(Ｓ₁−Ｓ_i(ｘ，ｙ)) Ｈ(grad ｜Ｓ_i(ｘ，ｙ)｜−Ｅ₀)
上記数４において、Ｐ_iは位置(ｘ，ｙ)の画素に対する判定信号を示し、Ｈはヘヴィサイド関数で、Ｈ(ｘ)がｘ≧０（ここで、ｘは差表ではなく変数としてのｘを示すものとする）の範囲にある場合は１、その他は０である。すなわち、Ｐ_iは数４の左辺に示された条件を満たす場合、すなわち一致画素については「１」の値となり、それ以外の不一致画素は「０」の値となる。またＥ_iは所定領域の輪郭を現す関数（これ以降、この関数を輪郭関数と呼ぶ）で、ｄＥを最小にする変位ベクトル（ｄｘ，ｄｙ）が、所定領域の輪郭を構成する画素の動きベクトルである。このようにして、文字動き量が検出される。

上記の処理を実現するため一構成例を図４に示す。領域判定部１０４からの所定領域に属する前フレーム４の信号は、複数のピクセル遅延部３０１に入力される。この複数のピクセル遅延部３０１は、それぞれ、上述したように探索範囲１９４内の画素群を１ピクセルずつシフトさせる動作を行うものであり、探索範囲１９４の幅に対応した数が設けられている。例えば、探索範囲１９４が上述したように対応画素を基準にして±１０ピクセルの幅を持つ場合には、図示されるように、−１０ピクセル遅延部、−９ピクセル遅延部…１０ピクセル遅延部の計２１個のピクセル遅延部３０１が設けられる。尚、図４では図示の簡単化のために−１０ピクセル遅延部、−９ピクセル遅延部、１０ピクセル遅延部のみを図示している。これらのピクセル遅延部３０１は、それぞれ、それ自身が有するピクセルの遅延量に従い前フレーム４を遅延する。例えば、−１０ピクセル遅延部は前フレーム４を−１０ピクセル遅延し、−９ピクセル遅延部は前フレーム４を−９ピクセル遅延する。ここで、−の遅延部は前フレーム４の信号を左方向に、＋の遅延部は前フレーム４の信号を右方向にシフトすることを意味している。

各ピクセル遅延部３０１には、それそれ輪郭差分検出部３０３と輝度差分検出部３０４が対応して設けられており、各輪郭差分検出部３０３と輝度差分検出部３０４には、それぞれ、各ピクセル遅延部３０１により遅延された信号３０２と後フレーム２とが入力される。輪郭差分検出部３０３は、遅延信号３０２と後フレーム２の信号の夫々について例えばハイパスフィルタ処理や微分処理、または隣接する画素間の差分検出等、周知の手段によって輪郭成分を抽出し、更に閾値（Ｅ₀）以上の輪郭成分を求める。そして、遅延信号３０２から得られた閾値（Ｅ₀）以上の輪郭成分と、後フレーム２の信号のから得られた閾値（Ｅ₀）以上の輪郭成分との差分を演算し、輪郭差分信号３０５を出力する。輝度差分検出部３０４は、所定輝度範囲、すなわち輝度Ｓ₀以上で輝度Ｓ₁以下の遅延信号３０２と後フレーム２の信号との差分を演算し、輝度差分信号３０６を出力する。

更に、各ピクセル遅延部３０１のそれぞれに対応して一致判定部３０７が設けられており、一致判定部３０７には、上記輪郭差分検出部３０３からの輪郭差分信号３０５と輝度差分検出部３０４からの輝度差分信号３０６が入力される。−１０ピクセル遅延部に対応して設けられた一致判定部は、−１０ピクセル分遅延された遅延信号３０２と後フレーム信号２との輪郭の差分を示す輪郭差分信号３０５と輝度の差分を示す輝度差分検出部３０４のレベルが、それぞれ所定値以上であるか否かを判定する。輪郭差分信号３０５と輝度差分検出部３０４のレベルがいずれも所定値以下であれば「有効」を示す「１」、両方またはいずれかが所定値よりも大きいならば「無効」を示す「０」となる１ビットの一致判定信号３０８を出力する。本例では、ピクセル遅延部３０１が２１個設けられるので、これらからの一致判定信号３０８が集められて２１ビットの判定信号１０６として出力される。上記の処理は、１フレームにおける全画素について行われるようにする。

尚、本例では、輪郭差分検出部３０３、輝度差分検出部３０４、及び一致判定部３０７について、実装を単純にするために、（数１）の変位ｄＥをｘ成分のみとし、更に輪郭関数（数２）をＥ_i(ｘ，ｙ)＝Ｐ_i(ｘ，ｙ)とし、Ｈ(Ｓ_i(ｘ，ｙ)−Ｓ_i) Ｈ(｜Ｓ_i(ｘ＋１)−Ｓ_i(ｘ)｜−Ｅ₀)とする。

再び図２に戻り、文字検出部１０５から出力された判定信号１０６は、第１ヒストグラム生成部１０７に出力される。第１ヒストグラム生成部１０７では、映像信号とともに入力される水平同期信号の検出に応答して、１ライン毎に、判定信号１０６の「１」の値をピクセル遅延量（画素ずらし量）毎にカウントし、例えば図５に示されるような水平ヒストグラムを作成する。この水平ヒストグラムは、水平同期信号の検出の度にリセットされるものとする。かかる水平ヒストグラムは、そのラインにおけるピクセル遅延量の出現度数を示すものであり、最も出現度数が大きい遅延がそのラインにおいて支配的な動き量となる。図５に示す例では、＋７ピクセルの遅延量の度数が最も大きいため、当該ラインの映像は７p/fで動く文字が多く占められることとなる。

第１ヒストグラム生成部１０７で生成された水平ヒストグラムは、各ピクセル遅延量の１Ｈ（水平期間）カウント値１０８として第１最大値検出部１０９に出力される。この第１最大値検出部１０９の処理の内容について、図６を参照しつつ説明する。

図６において、上記水平ヒストグラムとしての各ピクセル遅延量の１Ｈカウント値１０８は、水平期間加重平均部４０２に供給される。水平期間加重平均部４０２は、各ピクセル遅延量のカウント値を平均化するものであり、例えばある遅延量（例えば＋７ピクセル）のカウント値と、該ある遅延量と隣接する遅延量（例えば＋６と＋８ピクセル）のカウント値との加重平均を求めて出力する。この加重平均は、例えば、ある遅延量のａ、それに隣接する遅延量をｂ及びｃとしたとき、ｂ：ａ：ｃの比を１：１：１として求めてもよく、また１：２：１としても求めてもよい。また、加重平均をしない（すなわちｂ：ａ：ｃが０：１：０）ようにしてもよい。

水平期間加重平均部４０２で演算された各ピクセル遅延量のカウント平均値４０３は、０ピクセルのカウント平均値４０７を除き水平期間最大値検出部４０４に供給される。水平期間最大値検出部４０４は、０ピクセルのカウント平均値４０７を除く入力された各ピクセル遅延量のカウント平均値４０３のうち、最大のカウント値を検出し、その値をカウント最大値４０６として切換信号発生部４０８及び有効性判定部４１０に出力する。更に水平期間最大値検出部４０４は、上記カウントの最大値に対応するピクセル遅延量を検出し、これをプリライン動き量４０５として選択器４０９に出力する。

切換信号発生部４０８は、更に０ピクセルのカウント平均値４０７が入力され、０ピクセルのカウント平均値４０７−カウント最大値４０６の演算を行い、その演算結果に応じた切換信号を選択器４１２に出力する。ここで、上記演算の結果、すなわち０ピクセルのカウント平均値４０７からカウント最大値４０６を減算した値が予め定められた閾値より大きい場合は、その文字テロップが静止文字テロップであるとして上記切換信号を「０」、閾値以下の場合は、その文字テロップが動きのある（スクロールする）ものとして上記切換信号を「１」とする。ここで、上記減算値を所定値と比較するのは、上述した一致判定処理において、遅延量が０ピクセル（すなわち遅延量０）のときに一致判定がされる頻度が多いためである。換言すれば、切換信号発生部４０８は、０ピクセルのカウント値に所定値を減算した上で、カウント最大値４０６との減算を行うものである。これにより、文字テロップが動いていても動きが０と誤って判定されることを抑制する。

選択器４０９は、切換信号発生部４０８からの切換信号に従いプリライン動き量４０５と「０」のいずれかを選択し、最終的なライン単位での動き（静止も含む）を示すライン動き量４１２として制御部４１３に出力する。ここで、選択器４０９は、切換信号が０の場合は「０」を選択し、切換信号が１の場合はプリライン動き信号４０５を選択する。

有効性判定部４１０は、カウント最大値４０６の他に０ピクセルのカウント平均値４０７も入力され、カウント最大値４０６及び０ピクセルのカウント平均値４０７を、それぞれ所定の閾値と比較する。いずれの値が閾値以上の場合は「１」を、いずれか一方が閾値よりも小さい場合は「０」を有効性判定信号４１１として出力する。すなわち有効性判定部４１０は、入力されたカウント値が有効であるか否かを判定しており、カウント値が閾値未満の場合は、当該カウント値が文字テロップの動きと無関係な一致判定により得られた値として無効を示す「０」とし、カウント値が閾値以上の場合は、当該カウント値が文字テロップの動きに基づく一致判定により得られた値として有効を示す「１」とする。

制御部４１３は、選択器４１２で選択されたライン単位の動き量を示すライン動き量４１２と、後述するフレーム動き量１１９とが入力され、上述した文字動き量８、スクロール判定信号１１０、及び第１イネーブル信号４１５の３つの信号を出力するように構成されている。文字動き量８は、ライン動き量４１２、フレーム動き量１１９及び０のいずれか選択された値であり、記憶部４１６にて１水平期間格納された後に出力される。またスクロール判定信号１１０及び第１イネーブル信号４１５は、それぞれ「１」または「０」の値を持つ１ビットの信号である。ここで、スクロール判定信号１１０が「１」のときは文字テロップが動きのある（つまりスクロールしている）ことを示し、「０」のときは文字テロップが静止であることを示す。また、第１イネーブル信号４１５は上記マスク信号７の生成のために用いられる。

上記３つの出力信号の出力形態としては、例えば次の３通りとすることができる。

第１の出力形態は、文字動き量８としてライン動き量４１２を優先的に選択出力し、更に、スクロール切換信号１１０を「１」に、第１イネーブル信号４１５を「１」とする。ここで、スクロール判定信号１１０及び第１イネーブル４１５の値は固定されるものとする。この第１の形態は、１ライン毎に文字動き量を設定する際に用いられ、例えば水平方向へのスクロール速度がそれぞれ異なる２種類以上の文字テロップが、複数の領域に存在する場合に有効である。

第２の出力形態は、文字動き量８として「０」（静止）を選択出力し、更に、スクロール切換判定信号１１０を「０」、ライン動き量４１２の絶対値が所定の閾値以下の（例えばライン動き量４１２が０または＋１や−１を示す）場合は第１イネーブル信号４１５を「１」とする。ここで、スクロール判定信号１１０及び第１イネーブル４１５の値は固定されるものとする。この第２の出力形態は、文字動き量を強制的に０にするものであり、静止文字テロップに対する補間処理の精度向上を優先させる場合に有効である。但し、この出力形態はスクロールする文字テロップに対しては補間処理の精度が低下するため、スクロールする文字テロップに対する補間処理の精度向上を優先させる場合はこの出力形態を設定しないほうが好ましい。

第３の出力形態は、文字動き量８としてフレーム動き量１１９を優先的に選択出力し、更にスクロール切換信号１１０を、フレーム動き量１１９と第２ライン動き量４１２との差分の絶対値が閾値以内の場合は「１」、閾値よりも大きい場合は「０」とする。また第１イネーブル信号４１５は「１」とされる。これにより、１フレーム（１垂直期間）毎に動き量８を変更することができる。この第３の出力形態は、後述するようにフレーム動き量１１９は静止文字テロップの場合は０とされるので、静止文字テロップに対する補間処理の精度向上を優先させる場合に有効である。また、スクロールする文字テロップに対しても適切に文字動き量を与えることができ、第２出力形態に比べ、動く文字テロップに対する補間処理の精度を向上させることができる。

上記３つの出力形態は、いずれかを制御部４１３によって設定することができる。例えば、スクロールする文字テロップに対する補間処理の精度向上を優先させる場合は、第１の出力形態が設定され、静止文字テロップに対する補間処理の精度向上を優先させる場合は、第２または第３の出力形態が設定される。

ＡＮＤ回路４１７は、制御部４１３からの第１イネーブル信号４１５と前述の有効性判定部４１０からの有効性判定信号４１１との論理積を演算して第２イネーブル信号１１１を出力する。有効性判定信号４１１が０、すなわちカウント最大値４０６及び０ピクセルのカウント平均値４０７が無効の場合は、第２イネーブル信号１１１も０となり無効化される。

上記水平期間加重平均部４０２からの０ピクセルのカウント平均値４０７を含むカウント平均値１１３は、図２の第２ヒストグラム生成部１１５に供給される。第２ヒストグラム生成部１１５では、映像信号とともに入力される垂直同期信号の検出に応答して、カウント平均値１１３を用いて、ピクセル遅延量毎のカウント平均値を１フレーム（垂直期間）にわたって積算し、図５に示された水平ヒストグラムと同様な垂直ヒストグラムを作成する。例えば映像信号の有効垂直ライン数１０８０本であれば、１０８０個分の水平ヒストグラムにおける各カウント値を積算する。この垂直ヒストグラムは、水平同期信号の検出の度にリセットされるものとする。かかる垂直ヒストグラムにおいて最大のカウント値に対応するピクセル遅延量が、そのフレームにおいて支配的な動き量となる。第２ヒストグラム生成部１１５で生成された垂直ヒストグラムは、各ピクセル遅延量の１Ｖ（水平期間）カウント値１１６として第２最大値検出部１１７に出力される。この第２最大値検出部１１７の動作について図７を参照しつつ説明する。

図７において、１Ｖカウント値１１６は、垂直期間加重平均部５０２に供給される。垂直期間加重平均部５０２は、上述した水平期間加重平均部４０２と同様に、各ピクセル遅延量のカウント値について加重平均処理を行い、０ピクセルのカウント平均値５０７を除き垂直期間最大値検出部５０４に供給する。垂直期間最大値検出部５０４は、０ピクセルのフレームカウント平均値５０７を除く入力された各ピクセル遅延量のフレームカウント平均値５０３のうち、最大のカウント値を検出し、その値をカウント最大値５０６として切換信号発生部５０８及び有効性判定部５１０に出力する。更に垂直期間最大値検出部５０４は、上記カウントの最大値に対応するピクセル遅延量を検出し、これをプリフレーム動き量５０５として選択器５０９に出力する。

切換信号発生部５０８には、更に０ピクセルのフレームカウント平均値５０７が入力され、０ピクセルのカウント平均値５０７−カウント最大値５０６の演算を行い、その演算結果に応じた切換信号を選択器５１２に出力する。ここで、上記演算の結果、すなわち０ピクセルのフレームカウント平均値５０７からフレームカウント最大値５０６を減算した値が予め定められた閾値より大きい場合は、その文字テロップが静止文字テロップであるとして上記切換信号を「０」、閾値以下の場合は、その文字テロップが動きのある（スクロールする）ものとして上記切換信号を「１」とする。ここで、上記減算値を所定値と比較するのは、先に説明した図６の切換信号発生部４０８における理由と同様である。

選択器５０９は、切換信号発生部５０８からの切換信号に従いプリフレーム動き信号５０５と「０」のいずれかを選択し、フレーム単位の動き（静止も含む）を示すフレーム動き量１１９として出力する。フレーム動き量１１９は、記憶部５１６にて少なくと１垂直期間格納された後に、前述した制御部４１３に出力される。

有効性判定部５１０は、フレームカウント最大値５０６の他に０ピクセルのフレームカウント平均値５０７も入力され、カウント最大値５０６及び０ピクセルのカウント平均値５０７を、それぞれ所定の閾値と比較する。いずれの値が閾値以上の場合は「１」を、いずれか一方が閾値よりも小さい場合は「０」を有効性判定信号１１８として出力する。カウント値と閾値を比較する理由は、有効性判定部４１０において説明した理由と同様である。

続いて、図２のイネーブル出力部１１２の動作について図８を参照しつつ説明する。図８において、イネーブル信号発生部６０２は、文字検出部１０５からの判定信号１０６と第１最大値検出部１０９からの文字動き量８が入力され、上記第１イネーブル信号４１５及び第２イネーブル信号１１１とは異なる２種類のイネーブル信号を生成する。この２種類のイネーブル信号は、スクロールする文字テロップに適用されるスクロールイネーブル信号６０３と、静止文字テロップに適用される静止イネーブル信号６０４である。

スクロールイネーブル信号６０３は、例えば、文字動き量８が７ピクセルの動き量を示すとき、２１ビットの判定信号１０６のうち７ピクセル遅延量に対応する基準ビット（すなわち１８ビット目）の値と、その基準ビットの前後のビット（すなわち１７ビット目と１９ビット目）の値との論理輪を演算することにより生成される。例えば、判定信号１０６の１８ビット目の値が「１」、１７ビット目の値が「１」、１９ビット目の値が「０」のときは、「１１０」のスクロールイネーブル信号６０３が生成される。

また静止イネーブル信号６０４は、２１ビットの判定信号１０６のうち０ピクセル遅延量に対応する基準ビット（すなわち１１ビット目）の値と、その基準ビットの前後のビット（すなわち１０ビット目と１２ビット目）の値との論理輪を演算することにより生成される。例えば、判定信号１０６の１１ビット目の値が「１」、１０ビット目の値が「１」、１２ビット目の値が「１」のときは、「１１１」のスクロールイネーブル信号６０３が生成される。

このように判定信号１０６の動き量に対応する値とその前後の値の論理和を演算することで、動きの揺らぎを考慮したイネーブル信号を生成することができる。上記の例では、基準ビットの値と、その基準ビットの１ビット前後の値との論理和を演算したが、基準ビットの２ビット前後の値との論理和を演算してもよい。また、上述の論理和演算によるイネーブル信号の生成処理は、必要に応じ行えばよく、本実施例においては必ずしも必要な処理ではない。

上記の処理は、複数の文字間に生じる特異点のみならず、文字テロップにおける文字群の集まりが占める大きな領域から離れた小さな領域に生じる特異点についても適用することができる。

イネーブル信号発生部６０２によって生成されたスクロールイネーブル信号６０３と静止イネーブル信号６０４は、それぞれ１Ｈ（１水平期間）遅延器６０５によって１水平期間分遅延されて選択器６０６に入力さる。そして、選択器６０６は、図６の制御部４１３からのスクロール判定信号１１０に応答していずれかのイネーブル信号を選択し、第３イネーブル信号１１４として出力する。スクロール判定信号１１０が「１」のときは、前述のように文字テロップがスクロールしているので選択器６０６はスクロールイネーブル信号６０３を選択し、一方「０」のときは、前述のように文字テロップが静止しているので選択器６０６は静止イネーブル信号６０４を選択する。

再び図２に戻り、ＡＮＤ回路１３０は、第１最大値検出部１０９からの第２イネーブル信号１１１、イネーブル出力部１１２からの第３イネーブル信号１１４、及び第２最大値検出部１１７からの有効性判定信号１１８の論理積演算をし、マスク信号７を出力する。このマスク信号７は、フィルタ処理部１２０によってフィルタリング処理をしてもよい。このフィルタリング処理の概念について図８を参照して説明する。

図８（ａ）は、１フレームにおけるある領域のマスク信号７の様子を示しており、斜線部分はマスク信号の値が「１」の画素を、白色の部分はマスク信号の値が「０」の画素を示している。このマスク信号は、例えば誤った一致処理等により、文字テロップ領域に対応しない画素についても「１」の値にされており、ノイズのような特異点を有しているものとする。

かかるマスク信号に対し、先ず、マスク信号の値が「０」の画素に隣接する周辺１画素のマスク信号の値を全て「０」に置き換える第１処理を行う。これにより、マスク信号が「０」の領域を拡張する。その第１処理の結果、当該領域のマスク信号は図８（ｂ）に示されるように、２×２ピクセル以下の大きさの特異点が削除される。一方、特異点以外の文字テロップ領域に対応するマスク信号の一部も削除される。

続いて、マスク信号の値が「１」の画素に隣接する周辺１画素のマスク信号の値を全て「１」に置き換える第２処理を行い、マスク信号が「１」の領域を拡張する。その第２処理の結果、１部分が削除された文字テロップ領域のマスク信号が、図８（ａ）に示される文字テロップ領域のマスク信号の形状に復元される。

上記のようなフィルタリング処理によれば、文字テロップ領域に対応するマスク信号への影響を防ぎながら、ノイズなどの特異点を除去することができる。よって、文字テロップ部分に対する補間処理の精度をより高めることができる。上記処理では、ある画素の周辺１画素についてマスク信号の拡張処理をしたが、周辺２画素または３画素についてマスク信号の拡張処理をしてもよい。

次に、本実施の形態の特徴となる文字テロップの動き量生成の流れについて、図１０のフローチャートを参照しつつ説明する。

まずステップ（以下Ｓと略す）１０１で、テロップ検出部５に入力される映像信号に対しテロップ検出処理は適用対象となる所定領域を適用領域判定部１０４により判定する。次にＳ１０２で、文字検出部１０５により所定領域について後フレームと前フレームとの一致判定処理を行う。続いてＳ１０３で、第１ヒストグラム生成部１０７により水平同期信号が検出されたか否かを判定し、検出された場合はＳ１０４で水平ヒストグラムを初期化（リセット）してＳ１０５に進む。検出されなければ直接Ｓ１０５に進み、Ｓ１０５では、第１ヒストグラム生成部１０７によって、上記一致判定処理により生成された判定信号１０６を用いて、ピクセル遅延量毎の一致画素の出現度数を表す水平ヒストグラムを作成する。そしてＳ１０６で、第１最大値検出部１０９により、上記水平ヒストグラムから最大の出現度数と、その最大度数に対応するピクセル遅延量を検出し、ライン単位の動き量とする。

次に、Ｓ１０７で第２ヒストグラム生成部１１５により垂直同期信号が検出されたか否かを判定し、検出された場合はＳ１０８で垂直ヒストグラムを初期化（リセット）してＳ１０９に進む。検出されなければ直接Ｓ１０９に進み、Ｓ１０９では、第２ヒストグラム生成部１１５によって、水平ヒストグラムを用いて、ピクセル遅延量毎の一致画素の出現度数を表す垂直ヒストグラムを作成する。そしてＳ１１６で、第２最大値検出部１１７により、上記垂直ヒストグラムから最大の出現度数と、その最大度数に対応するピクセル遅延量を検出し、フレーム単位の動き量とする。最後に、ライン単位の動き量、フレーム単位の動き量、水平ヒストグラムにおける最大の出現度数、及び垂直ヒストグラムにおける最大の出現度数を用いて、文字動き量８を生成する。

また、文字動き量８の生成処理の後、Ｓ１１２で、イネーブル出力部１１２、ＡＮＤ回路１３０、及びフィルタ処理部１２０において、文字テロップ領域に対する補間処理に文字動き量８を敵称するためのマスク信号７の生成処理が行われる。

以上のように、本実施例によれば、静止文字テロップに対しても精度良く文字動き量を検出でき、静止文字テロップに対する補間処理の精度を向上することができる。また静止文字テロップとスクロールする文字テロップのいずれに対しても補間処理の精度を向上させることができる。

また、本実施例によって検出された文字動き量を用いて、補間処理のみならず、ＰＤＰの映像表示のために映像信号から生成される複数のサブフィールドを移動させるようにしてもよい。このようにすれば、文字テロップ領域の擬似輪郭の発生を抑制することができる。更にまた、映像の領域に対応させてテロップ検出部５を複数設けてもよい。例えば、映像の上部、下部、左部、右部のそれぞれに対応してテロップ検出部５を設けることで文字テロップの動き量の検出精度を向上させるようにしてもよい。また、複数の文字検出部からの文字動き量やマスク信号を互いに比較し、文字動き量やマスク信号の誤検出や誤生成を判定して、これらの誤りを抑制するようにしてもよい。

また、上記実施例では、文字テロップに対する補間処理の動き情報の設定について説明したが、所定方向に類似する形状が周期的に繰り返されるパターン、すなわち金網や柵、格子状の映像に対しても適用することができることは言うまでもない。

本発明の映像処理技術は、スクロールもしくは静止する文字テロップが含まれる映像に対する補間処理に利用して好適である。また、ＰＤＰ等のサブフィールドを制御する場合にも利用可能である。

本発明の一実施形態に係る映像処理装置の一構成例を示す図。 テロップ検出部５の一具体例を示す図。 文字動き量の検出の概念を示す図。 文字検出部１０５の一具体例を示す図。 水平ヒストグラムの一例を示す図。 第１最大値検出部１０９の一具体例を示す図。 第２最大値検出部１１７の一具体例を示す図。 フィルタ処理部１２０によるフィルタリング処理の概念を示す図。 文字動き検出処理の流れを示すフローチャート。

符号の説明

１…信号処理部、２…後フレーム、３…１Ｖ遅延処理部、４…前フレーム、５…テロップ検出部、６…動きベクトル検出部、７…マスク信号、８…文字動き量、９…動きベクトル信号、１０…動き情報切換部、１１…フレーム補間部、１４…タイミング制御部、１５…表示パネル、１０４…適用領域判定部、１０５…文字検出部、１０７…第１ヒストグラム生成部、１０９…第１最大値検出部、１１２…イネーブル出力部、１１５…第２ヒストグラム生成部、１０７…第２最大値検出部、１２０…フィルタ処理部。

Claims (13)

1. 映像処理装置において、
   入力された映像信号から映像の動きベクトルを検出する動きベクトル検出部と、
   前記入力映像像信号の文字テロップ部分の動き量を検出するテロップ検出部と、
   前記動きベクトル検出部により検出された動きベクトルと、前記テロップ検出部により検出された前記文字テロップの動き量とを用いて補間処理を行い、前記入力映像信号のフレーム列に挿入される補間フレームを生成するフレーム補間部と、を備え、
   前記テロップ検出部は、ライン毎に前記動き量の第１ヒストグラムを作成する第１ヒストグラム生成部と、該第１ヒストグラム生成部で作成された第１ヒストグラムに基づいて、１フレーム毎に前記動き量の第２ヒストグラムを作成する第２ヒストグラム生成部と、を含み、
   前記第１ヒストグラムにおいて度数が最大となる動き量と、前記第２のヒストグラムにおいて度数が最大となる動き量との少なくともいずれかを、前記文字テロップの動き量として用いるようにしたことを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、前記テロップ検出部は、前記映像信号の１フレーム中の、前記文字テロップが出現する所定領域について前記文字動き量を検出することを特徴とする映像処理装置。
3. 請求項１に記載の映像処理装置において、前記テロップ検出部は、画素間の輝度差が所定値以上の輪郭成分を有し、かつ所定輝度以上の部分を前記文字テロップと判定して該文字テロップの動き量を検出することを特徴とする映像処理装置。
4. 請求項３に記載の映像処理装置において、前記テロップ検出部は、前記判定された文字テロップの領域に対しては、前記文字テロップの動き量を用いて前記補間処理をさせるようにするためのマスク信号を生成することを特徴とする映像処理装置。
5. 請求項４に記載の映像処理装置において、前記マスク信号は画素単位で与えられ、かつ前記文字テロップの領域は第１の値、前記文字テロップ以外の領域は第２の値とされることを特徴とする映像処理装置。
6. 請求項５に記載の映像処理装置において、前記マスク信号をフィルタリング処理するためのフィルタ処理部を更に備え、
   前記フィルタ処理部は、ある画素が前記第２の値を持つ場合は、当該ある画素の周辺画素の値を前記第２の値に置き換えることにより前記第２の値を持つ画素の範囲を拡張し、続いて、第１の値を持つ画素の周辺画素の値を前記第１の値に置き換えることにより前記第１の値を持つ画素の範囲を拡張するようなフィルタリング処理を行うことを特徴とする映像処理装置。
7. 請求項１に記載の映像処理装置において、
   前記第１ヒストグラム検出部は、入力映像信号の時間的に連続する２つのフレームを一画素ずつ相対的にずらしながら前記２つのフレームの時間的に前のフレームと後のフレームとの空間的に同一位置にある画素同士の差分を求め、
   該差分が所定値以下の画素の個数を前記度数として、前記画素ずらし量毎に対応してカウントすることにより前記第１ヒストグラムを作成し、更に該第１ヒストグラムを１フレーム分積算することにより前記第２ヒストグラムを作成し、
   前記第１ヒストグラムにおいて前記度数が最大となる前記画素ずらし量、または前記第２ヒストグラムにおいてを前記度数が最大となる前記画素ずらし量を、前記文字テロップの動き量とすることを特徴とする映像処理装置。
8. 請求項７に記載の映像処理装置において、
   前記テロップ検出部は、前記文字テロップの領域に対しては、前記文字テロップの動き量を用いて前記補間処理をさせるためのマスク信号を生成し、
   前記マスク信号は、前記度数が最大となる前記画素ずらし量を基準に、前記差分が所定値以下の画素については第１の値、前記差分が所定値より大きい画素については第２の値となる一致判定信号に基づき生成されることを特徴とする映像処理装置。
9. 請求項８に記載の映像処理装置において、
   前記マスク信号は、前記度数が最大となる画素ずらし量に対応する前記一致判定信号と、当該画素ずらし量に隣接する画素ずらし量に対応する前記一致判定信号との論理和により生成されることを特徴とする映像処理装置。
10. 映像処理装置において、
    入力された映像信号から映像の動きベクトルを検出する動きベクトル検出部と、
    前記入力映像像信号の文字テロップ部分の動き量を検出するテロップ検出部と、
    前記動きベクトル検出部により検出された動きベクトルと、前記テロップ検出部により検出された前記文字テロップの動き量とを用いて補間処理を行い、前記入力映像信号のフレーム列に挿入される補間フレームを生成するフレーム補間部と、を備え、
    前記テロップ動き検出部は、ライン単位で前記文字テロップの動き量を検出するとともに、フレーム単位で前記文字テロップの動き量を検出し、
    前記フレーム補間部は、前記ライン単位の動き量と前記フレーム単位の動き量のいずれか一方を用いて前記補間処理を行うことを特徴とする映像処理装置。
11. 請求項１０に記載の映像処理装置において、
    前記文字テロップが静止している場合は、前記フレーム単位の動き量を優先的に用いるようにしたことを特徴とする映像処理装置。
12. 請求項１０に記載の映像処理装置において、
    前記文字テロップが所定方向にスクロールしている場合は、前記ライン単位の動き量を用いるようにしたことを特徴とする映像処理装置。
13. 文字テロップを含む映像信号が入力され、該文字テロップ部分とそれ以外の部分とをそれぞれ個別に処理するための信号処理部を備えた映像処理装置において、
    前記文字テロップ部分とそれ以外の部分とを識別するための、画素毎に与えられるマスク信号を生成して前記信号処理部に供給するマスク信号生成部と、
    前記マスク信号をフィルタリングするフィルタリング処理と、を備え、
    前記マスク信号は、前記文字テロップ部分に対応する画素を第１の値、それ以外の部分に対応する画素を第２の値とし、
    前記フィルタ処理部は、ある画素が前記第２の値を持つ場合は、当該ある画素の周辺画素の値を前記第２の値に置き換えることにより前記第２の値を持つ画素の範囲を拡張し、続いて、第１の値を持つ画素の周辺画素の値を前記第１の値に置き換えることにより前記第１の値を持つ画素の範囲を拡張するようなフィルタリング処理を行うことを特徴とする映像処理装置。

Images