JP2011135288A - 映像処理装置及び方法 - Google Patents

Abstract

【課題】動きベクトルに基づく補間フレームの挿入により入力映像のフレーム数を変換する映像処理装置及び映像処理方法において、動きベクトルの検出精度の低下の抑制とテロップ部分における画質の劣化の抑制とを両立させる。
【解決手段】ブロックマッチング処理により垂直方向又は水平方向に特化した動きベクトルであるテロップベクトルが検出されたブロックについては、更に垂直方向の大きさが該ブロックより小さいラインブロックにより垂直方向に細分し、該ラインブロック毎に、テロップベクトルにより対応付けられる前フレーム及び現フレームのラインブロック同士でブロックマッチング処理を行い、マッチしたと判定された場合は補間フレームの該ラインブロックの画像をテロップベクトルを用いて生成し、マッチしていないと判定された場合は補間フレームの該ラインブロックの画像を一般の動きベクトルを用いて生成する。
【選択図】図１

Description

本発明は、入力される映像のフレーム間に補間フレームを挿入して映像のフレーム数を変化させる映像処理装置及び映像処理方法に関する。

従来、２つのフレーム間に補間フレームを挿入することで、フレームレートを変換する技術が知られている。フレームレート変換には、同一のフレームを複数回出力する方法や、連続した２フレームからブロックマッチング法により動きベクトルを検出し、動きベクトルに基づいて補間フレームの画像を生成する方法等がある。

前者の方法は、簡易な回路でフレームレートを高速化できるものの、動きの不自然さや動画ボヤケは改善されず画質に問題がある。

一方後者の方法では、回路規模を制限するため、或いはマッチングの精度を上げるためにブロック単位で動きベクトルを検出する。ブロック毎に検出した動きベクトルを用いて補間フレームの画像を生成するため、動画ボヤケを抑え自然な映像を得ることができる。

但し、後者の方法においては、適切でない動きベクトルで補間が行われると画像に乱れが生じ画質が劣化するという課題がある。特に文字をスクロールさせるようなテロップ部分に関しては適切でない動きベクトルが検出され易く、しかも視聴者が注目するテロップ部分での画質劣化は視聴者にとって目につき易いという問題もある。

これに対し、特許文献１では、テロップ領域とそれ以外の領域とで異なる動き補償を行うことが提案されている。具体的には検出した候補ベクトル群及びテロップベクトル群を用いてブロックマッチングを行い、最もマッチングの良いベクトルを選択するようにする。

特開２００８−１０７７５３号公報

上記特許文献１では、動きベクトルの検出及び補間画像の生成を行うブロックサイズが同じであり、また補間画像の生成を行うブロックサイズはテロップ領域もそれ以外の領域も同じである。動きベクトルの検出を行うブロックサイズでテロップ領域の補間画像を生成するため、動きベクトルの検出精度を向上させるためにブロックサイズを大きくすると、テロップと背景の境界付近においてテロップが背景に引きずられる現象が生じ、画質が劣化する。一方、このテロップと背景の問題を回避するためにブロックサイズを小さくすると、動きベクトルの検出精度の低下や回路規模の増大を招く。

本発明は、動きベクトルに基づく補間フレームの内挿により入力映像のフレーム数を変換する映像処理装置及び映像処理方法において、動きベクトルの検出精度の低下の抑制とテロップ部分における画質の劣化の抑制とを両立させることを目的とする。

本発明は、
入力される映像の２つのフレームの間に補間フレームを挿入して前記入力される映像のフレーム数を変換する映像処理装置であって、
前記２つのフレームの画像を複数のブロックに分割しブロック毎に動きベクトルを検出する第１検出部と、
前記２つのフレームの画像を複数のブロックに分割しブロック毎に垂直方向又は水平方向の動きベクトルであるテロップベクトルを検出する第２検出部と、
テロップベクトルが検出されたブロックに対応する補間フレームのブロックを、該ブロックより垂直方向の大きさが小さい複数の小ブロックにより垂直方向に分割し、該小ブロック毎に、該小ブロックに対して該テロップベクトルにより対応付けられる位置関係にある前記２つのフレームの画像におけるテロップの有無を判定する判定部と、
前記判定部による前記小ブロック毎の判定結果に基づいて、前記補間フレームの画像の生成に用いられる動きベクトルとして前記第１検出部により検出される動きベクトル又は前記テロップベクトルのいずれかの選択を前記小ブロック毎に行う選択部と、
テロップベクトルが検出されたブロックに対応する補間フレームのブロックについて、前記選択部により選択された動きベクトルを用いて前記小ブロック毎に補間フレームの画像を生成する補間部と、
を備え、
前記選択部は、
（Ａ）前記判定部によりテロップが有ると判定された小ブロックについては、前記テロップベクトルを選択し、
（Ｂ）前記判定部によりテロップが無いと判定された小ブロックについては、前記第１検出部により検出される動きベクトルを選択する
ことを特徴とする映像処理装置である。

また、本発明は、
映像を入力する工程と、
前記入力される映像の２つのフレームの間に補間フレームを挿入して前記入力される映像のフレーム数を変換する工程と、
前記２つのフレームの画像を複数のブロックに分割しブロック毎に動きベクトルを検出する第１検出工程と、
前記２つのフレームの画像を複数のブロックに分割しブロック毎に垂直方向又は水平方向の動きベクトルであるテロップベクトルを検出する第２検出工程と、
テロップベクトルが検出されたブロックに対応する補間フレームのブロックを、該ブロックより垂直方向の大きさが小さい複数の小ブロックにより垂直方向に分割し、該小ブロック毎に、該小ブロックに対して該テロップベクトルにより対応付けられる位置関係にある前記２つのフレームの画像におけるテロップの有無を判定する判定工程と、
前記判定工程による前記小ブロック毎の判定結果に基づいて、前記補間フレームの画像の生成に用いられる動きベクトルとして前記第１検出工程により検出される動きベクトル又は前記テロップベクトルのいずれかの選択を前記小ブロック毎に行う選択工程と、
テロップベクトルが検出されたブロックに対応する補間フレームのブロックについて、前記選択工程により選択された動きベクトルを用いて前記小ブロック毎に補間フレームの画像を生成する補間工程と、
を有し、
前記選択工程は、
（Ａ）前記判定工程においてテロップが有ると判定された小ブロックについては、前記テロップベクトルを選択し、
（Ｂ）前記判定工程においてテロップが無いと判定された小ブロックについては、前記第１検出工程により検出される動きベクトルを選択する
ことを特徴とする映像処理方法である。

本発明によれば、動きベクトルに基づく補間フレームの内挿により入力映像のフレーム数を変換する映像処理装置及び映像処理方法において、動きベクトルの検出精度の低下の抑制とテロップ部分における画質の劣化の抑制とを両立させることができる。

実施例１の映像処理装置の概略構成を示すブロック図 テロップベクトル検出ブロックとラインブロックとの関係図 ラインブロックマッチ判定処理のフローチャート テロップベクトルに応じて画素を読み出す処理の説明図 ラインブロックマッチ拡張処理のフローチャート ラインブロックマッチ拡張処理の例 ベクトルフィルタ部による処理の説明図

以下、本発明に係る映像処理装置の具体的な実施例について、図面を用いて説明する。図１は本実施例に係る映像処理装置の概略構成を示すブロック図である。この映像処理装置は、入力映像のフレームレートを変換する装置であり、テレビ受信装置等の映像表示装置や、レコーダ、メディアプレーヤ、ゲーム機等の映像出力装置において好適に用いることができる。

映像処理装置１０１は、入力映像の現在のフレーム（現フレーム）の画像データを蓄積する現フレームメモリ部１０２と、現フレームの１フレーム前のフレーム（前フレーム）の画像データを蓄積する前フレームメモリ部１０３とを備える。また、現フレーム画像と前フレーム画像とから動きベクトルを検出する処理を行う一般ベクトル検出部１０４及びテロップベクトル検出部１０５を備える。また、動きベクトルに関する処理を行うラインブロックマッチ判定部１０６、ラインブロックマッチ拡張部１０７、ベクトル選択部１０８、ベクトルフィルタ部１０９と、動きベクトルを用いた補間画像の生成を行うベクトル補間部１１０と、を備える。

映像処理装置１０１は、入力映像の現フレーム及び前フレームの連続する２フレームの画像データから、当該２フレームの間に挿入すべき補間フレームの画像データを生成する。そして、入力映像の現フレームと前フレームとの間に補間フレームを挿入することによりフレームレートを増加させた映像を出力する。

現フレームメモリ部１０２は、入力映像の現フレームの画像データを蓄積し、次のフレームの画像が入力された場合は、蓄積していた現フレームの画像データを前フレームメモリ部１０３に転送する。また、現フレームメモリ部１０２は、他の処理ブロックから画像データの読み出し要求があった場合は、蓄積している画像データを出力する。

前フレームメモリ部１０３は、現フレームメモリ部１０２から入力される画像データを蓄積する。また、他の処理ブロックからの要求に応じて蓄積している画像データを出力する点は現フレームメモリ部１０２と同様である。なお、図１では現フレームメモリ部１０２と前フレームメモリ部１０３とを２つのブロックに分けて記載したが、これらは物理的に１つのメモリを使用してアドレス制御にて現フレームと前フレームとを順次交互に蓄積する形態で実装してもよい。

一般ベクトル検出部１０４（第１検出部）は、現フレームメモリ部１０２から現フレームの画像データを読み出し、前フレームメモリ部１０３から前フレームの画像データを読み出す。そして、これら２つのフレームの画像を複数のブロックに分割し、ブロックマッ
チング処理等の既存の技術によりブロック毎に動きベクトルを検出する。一般ベクトル検出部１０４が検出する動きベクトルを、以下一般ベクトルという。

一般ベクトル検出部１０４は、ブロックサイズごとに一般ベクトルを検出するために、マッチングサイズとサーチ範囲に応じてブロックマッチングを行う。マッチングサイズとは、マッチングをとるためのブロックサイズであり、サーチ範囲とは、マッチングをとる範囲である。ブロックサイズとマッチングサイズは同じでもよいし異なっていてもよい。サーチ範囲は広いほうが高速に動く映像においても適切な動きベクトルを検出できるが、その回路規模が大きくなる。本実施例では、一例として一般ベクトルを検出するブロックサイズを１６×１６画素とする。一般ベクトル検出ブロックのサイズは１６×１６画素に限られないし、正方ブロックに限られない。

テロップベクトル検出部１０５（第２検出部）は、現フレームメモリ部１０２から現フレームの画像データを読み出し、前フレームメモリ部１０３から前フレームの画像データを読み出す。そして、これら２つのフレームの画像を複数のブロックに分割し、ブロックマッチング処理等の既存の技術によりを行い、垂直方向又は水平方向の動きベクトルを検出する。このブロックマッチング処理により垂直方向又は水平方向の動きベクトルが検出されることを、以下、有効なテロップベクトルが検出される、のように表現する。テロップベクトル検出部１０５が検出する動きベクトルを、以下テロップベクトルという。テロップベクトルの検出は、一般ベクトル検出部１０４で検出された一般ベクトルを垂直方向、水平方向に統計処理を行うことによって行うこともできる。本実施例では、一例としてテロップベクトルを検出するブロックサイズを１６×１６画素とする。テロップベクトル検出ブロックのサイズは１６×１６画素に限られないし、正方ブロックに限られない。

ラインブロックマッチ判定部１０６は、テロップベクトル検出部１０５によりテロップベクトルが検出されたブロックに対応する補間フレームのブロックを、該ブロックより垂直方向の大きさ小さい複数の小ブロックに分割する。そして、該小ブロック毎に、該小ブロックに対して前記検出されたテロップベクトルにより対応付けられる位置関係にある前フレームの画像及び現フレームの画像の両方におけるテロップ由来の画像の有無を判定する。本実施例では、テロップベクトル検出ブロックに対応する補間フレームのブロック内の１ライン、つまり１６×１画素の小ブロック（以降、ラインブロックと呼ぶ）単位でブロックマッチングを行うことによりこの判定処理を行う。このブロックマッチングでは、着目している補正フレームのラインブロックに対してテロップベクトルにより対応付けられる前フレームのラインブロック及び現フレームのラインブロックを特定する。そして、特定した前フレーム及び現フレームのラインブロック同士で、テロップ由来の画素に関してブロックマッチングを行う。ブロックマッチングの結果、前記特定された前フレーム及び現フレームのラインブロック同士がマッチしていると判定された場合、該特定された前フレーム及び現フレームのラインブロックの両方にテロップ由来の画素が同程度存在すると判定する。着目しているラインブロックに対してテロップベクトルにより対応付けられる前フレーム及び現フレームのラインブロック同士がマッチしている場合、当該着目しているラインブロックは「マッチ判定」であると称する。そうでない場合、当該着目しているラインブロックは「アンマッチ判定」であると称する。テロップベクトル検出部１０５がテロップベクトルの検出を行うブロック（１６×１６画素）に対応する補間フレームのブロック（１６×１６画素）と該ブロックを垂直方向に分割する１６本のラインブロック（各々１６×１画素）との関係例を図２に示す。ラインブロックマッチ判定部１０６によるラインブロックマッチ判定処理は、テロップベクトル検出部１０５により検出されたテロップベクトルに基づき、現フレームメモリ部１０２及び前フレームメモリ部１０３から画素を読み出すことにより行われる。ラインブロックマッチ判定部１０６によるラインブロックマッチ判定処理の詳細は後述する。ラインブロックマッチ判定部１０６は、ラインブロック毎のラインブロックマッチ判定結果をラインブロックマッチ拡張部１０７に送信
する。本実施例のラインブロックマッチ判定部１０６は、本発明の「判定部」を構成する。

ラインブロックマッチ拡張部１０７は、ラインブロックマッチ判定部１０６によるラインブロック毎のラインブロックマッチの判定結果を部分的に変更する。具体的には、ラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックの上側の所定範囲内及び下側の所定範囲内に存在する「アンマッチ判定」のラインブロックを「マッチ判定」に変更する。すなわち、ラインブロックマッチ判定部１０６による「マッチ判定」という判定結果を、上Ｍライン分及び下Ｌライン分拡張する。後述するように、「マッチ判定」とされたラインブロックについては、補間画像の生成においてテロップベクトルが用いられる。従って「マッチ判定」のラインブロックを上記のように拡張することにより、ラインブロックマッチ判定部１０６による判定結果が「マッチ判定」のラインブロックの上Ｍライン分及び下Ｌライン分の領域もテロップベクトルを用いて補間フレームの画像が生成される。但し、この拡張を大きくしすぎるとフレームレート変換後の映像において背景が引きずられる可能性があり、また、拡張が小さすぎると文字と背景の境界において文字が崩れる現象が発生する可能性がある。従って、それらの現象ができるだけ抑えられるようにＭ及びＬの値を定める。また、上側の拡張範囲と下側の拡張範囲との大小関係は、下側の拡張範囲を上側の拡張範囲よりも大きくする（Ｍ＜Ｌ）ことが望ましい。その理由は、テロップには影付き文字などがあり、影の部分はマッチングがとりずらいことがあるからである。テロップ部分の下側の拡張範囲を大きく設定することにより、影付文字の影の部分がマッチ判定されなかった場合でも、影の部分をテロップベクトルにより補間することができ、影付文字のテロップ部分がフレームレート変換によって画質劣化することを抑制できる。本実施例のラインブロックマッチ拡張部１０７は、本発明の「選択部」を構成する。

ベクトル選択部１０８では、ラインブロックマッチ拡張部１０７において拡張されたラインブロック毎のラインブロックマッチ判定結果に応じて、補間フレームの画像の生成に用いられる動きベクトルの選択を行う。具体的には、拡張されたラインブロックマッチ判定結果が「マッチ判定」のラインブロックについては、テロップベクトル検出部１０５が検出したテロップベクトルを補間に用いる動きベクトルとして選択する。また、拡張されたラインブロックマッチ判定結果が「アンマッチ判定」のラインブロックについては、一般ベクトル検出部１０４が検出した一般ベクトルを補間に用いる動きベクトルとして選択する。ラインブロック毎の選択された動きベクトルの情報は後段のベクトルフィルタ部１０９に出力される。本実施例のベクトル選択部１０８は、本発明の「選択部」を構成する。

ベクトルフィルタ部１０９は、ベクトル選択部１０８によるラインブロック毎の動きベクトルの選択結果を部分的に変更する。具体的には、テロップベクトルが選択されたラインブロックの隣に存在する一般ベクトルが選択されたラインブロックについては、補間のために用いる動きベクトルを当該テロップベクトルに置き換える。すなわち、当該一般ベクトルが選択されたラインベクトルは、ベクトルフィルタ部１０９により、テロップベクトルが選択されたラインブロックに変更される。このようにすることで、テロップベクトルが選択されたラインブロックと一般ベクトルが選択されたラインブロックとの境界に接するラインブロックにおいては、共通のテロップベクトルによる補間が行われるように拡張される。これにより、生成される補間画像において当該境界部分がなめらかに繋がるようにすることができる。本実施例のベクトルフィルタ部１０９は、本発明の「補間部」を構成する。

ベクトル補間部１１０は、ベクトルフィルタ部１０９から入力されたベクトルに応じて、現フレームメモリ部１０２及び前フレームメモリ部１０３から画素を読み出す。読み出
された現フレームの画像データの画素と前フレームの画像データの画素から、挿入すべき補間フレームのための画素を生成する。補間フレームのための画素の生成方法は様々有り、例えば、現フレームの画像データの画素を選択する方法、前フレームの画像データの画素を選択する方法、又は現フレームの画像データの画素及び前フレームの画像データの画素の平均画素を出力する方法などがある。また、画素ごとにマッチングをとり、その結果に応じて上記の画素を選択してもよい。本実施例のベクトル補間部１１０は、本発明の「補間部」を構成する。

ラインブロックマッチ判定部１０６により行われる上述のラインブロックマッチ判定処理のフローチャートを図３に示す。

ステップＳ３０１にてラインブロックマッチ判定処理がラインブロックマッチ判定部１０６にて開始される。ラインブロックマッチ判定処理は、ラインブロック（１６×１画素）単位で行なわれる。

ステップＳ３０２では、テロップベクトルを検出できたか否かを判断する。検出可否は、着目しているラインブロックが属するテロップベクトル検出ブロック（１６×１６画素）において、テロップベクトル検出部１０５が有効なテロップベクトルを検出しているか否かに基づき判断する。有効なテロップベクトルが検出されていなかった場合（ステップＳ３０２：Ｎｏ）はステップＳ３０９へ進み、ラインブロックマッチ判定結果を「アンマッチ判定」とする。一方、有効なテロップベクトルが検出されていた場合（ステップＳ３０２：Ｙｅｓ）はステップＳ３０３に進む。

ステップＳ３０３では、テロップベクトル検出部１０５から入力された有効なテロップベクトルに応じて、着目しているラインブロックに対応する現フレーム及び前フレームの画像の画素を現フレームメモリ部１０２及び前フレームメモリ部１０３から読み出す。具体的には、ラインブロック毎に、該ラインブロックの位置に対してテロップベクトルにより対応付けられる位置関係にある前フレーム及び現フレームの画像のラインブロックを特定し、当該２つのフレームのラインブロック同士のブロックマッチング処理を行う。「テロップベクトルにより対応付けられる位置関係にある前フレームの画像のラインブロック」は、着目しているラインブロックの各画素から、テロップベクトルを−１／２倍したベクトルにより指し示される位置にある前フレームの画像の画素により構成される。「テロップベクトルにより対応付けられる位置関係にある現フレームの画像のラインブロック」は、着目しているラインブロックの各画素から、テロップベクトルを＋１／２倍したベクトルにより指し示される位置にある現フレームの画像の画素により構成される。なお、本実施例では２つのフレームの中央に補間フレームを挿入するフレームレート変換を例に説明しているため、テロップベクトルの±１／２倍となったが、補間フレームと前フレーム及び現フレームとの時間差に応じてこの係数は変わってもよい。例えば、補間フレームの挿入位置が前フレームと現フレームの中央でない場合や、補間フレームを２枚以上挿入する場合などは、±１／２以外の数値を用いても良い。検出されたテロップベクトルと、補間フレームの着目しているラインブロックの画素と、前フレーム及び現フレームから読み出される画素と、の関係を、図４の例を用いて説明する。図４は、１６×１画素のラインブロックのうち５画素を抜き出して示した図である。生成する補間フレームの着目しているラインブロックのある画素４０１に着目し、画素４０１が属するブロックで検出された有効なテロップベクトルが、水平方向に＋４画素分移動する動きベクトルであったとする（ここでは右方向を正の向きとする）。この場合、前フレームメモリ部１０３からは、着目しているラインブロックに対応する前フレーム画像のラインブロックにおける、画素４０１の位置から水平方向に−２画素分移動した位置にある画素４０２を読み出す。また、現フレームメモリ部１０２からは、着目しているラインブロックに対応する現フレーム画像のラインブロックにおける、画素４０１の位置から水平方向に＋２画素分移動した位置
にある画素４０３を読み出す。着目しているラインブロックの全１６個の画素について、同様に、テロップベクトルに基づいて現フレーム画像の画素及び前フレーム画像の画素を読み出す。

ステップＳ３０４では、ステップＳ３０３で読み出した画素の内から高輝度画素を抽出する。本実施例では、輝度値が所定の閾値以上である画素を高輝度画素と判定する。本実施例では、高輝度画素をテロップ由来の画素と判定する。

ステップＳ３０５では、ステップＳ３０４で前フレーム画像から読み出した画素及び現フレーム画像から読み出した画素それぞれの内に少なくとも１つの高輝度画素があったか否かを判定する。前フレーム画像から読み出した画素の内に高輝度画素が一つもなかった場合、或いは現フレーム画像から読み出した画素の内に高輝度画素が一つもなかった場合（ステップＳ３０５：Ｎｏ）はステップＳ３０９へ進む。ステップＳ３０９では、着目しているラインブロックについてのラインブロックマッチ判定結果を「アンマッチ判定」とする。一方、前フレーム画像から読み出した画素及び現フレーム画像から読み出した画素の両方に高輝度画素があった場合は、ステップＳ３０６へ進む。

ステップＳ３０６では、ステップＳ３０４で現フレーム画像から抽出した高輝度画素の総和と、ステップＳ３０４で前フレーム画像から抽出した高輝度画素の総和と、の差分絶対値を算出する。ここで、高輝度画素の総和は、高輝度画素の個数、高輝度画素の輝度値の総和、高輝度画素の所定の画素値の総和などである。

ステップＳ３０７では、ステップＳ３０６で算出された差分絶対値が所定の閾値よりも小さいか否かを判定する。差分絶対値が閾値よりも小さい場合は、ステップＳ３０８に進み、着目しているラインブロックについてのラインブロックマッチ判定結果を「マッチ判定」とし、ステップＳ３１０でラインブロックマッチ判定処理を終了する。一方、差分絶対値が閾値以上の場合は、ステップＳ３０９に進み、着目しているラインブロックについてのラインブロックマッチ判定結果を「アンマッチ判定」とする。この処理により、テロップベクトルにより指し示される前フレームのラインブロックと現フレームのラインブロックに同程度の高輝度画素が存在する場合にのみ、「マッチ判定」がなされることになる。

次に、ラインブロックマッチ拡張部１０７によって行われるラインブロックマッチ拡張処理のフローチャートを図５に示す。この処理では、上述したラインブロックマッチ判定部１０６による判定処理により「アンマッチ判定」とされたラインブロックのうち所定の条件を満たしたラインブロックを「マッチ判定」に変更する。

ステップＳ５０１にてラインブロックマッチ拡張処理がラインブロックマッチ拡張部１０７にて開始される。

ステップＳ５０２では前述したラインブロックマッチ判定処理が行なわれ、その結果がラインブロックマッチ判定部１０６からラインブロックマッチ拡張部１０７に入力される。

ステップＳ５０３では、テロップベクトルを検出できたか否かを判断する。検出可否は、着目しているラインブロックが属するテロップベクトル検出ブロックにおいて、テロップベクトル検出部１０５が有効なテロップベクトルを検出しているか否かに基づき判断する。有効なテロップベクトルが検出されていなかった場合は（ステップＳ５０３：Ｎｏ）、ステップＳ５１１へ進み、ラインブロックマッチ拡張処理を終了する。一方、有効なテロップベクトルが検出されていた場合は（ステップＳ５０３：Ｙｅｓ）、ステップＳ５０
４へ進む。

ステップＳ５０４では、着目しているラインブロックについてのラインブロックマッチ判定部１０６による判定結果が、「マッチ判定」であったか否かを確認する。「マッチ判定」であった場合（ステップＳ５０４：Ｙｅｓ）は、ステップＳ５１１へ進み、ラインブロックマッチ拡張処理を終了する。「アンマッチ判定」であった場合（ステップＳ５０４：Ｎｏ）は、ステップＳ５０４へ進む。

ステップＳ５０５では、着目しているラインブロックの上Ｌライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在するか否かを判定する。上Ｌライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在した場合（ステップＳ５０５：Ｙｅｓ）は、ステップＳ５０８に進み、着目しているラインブロックを「マッチ判定」に変更する。この場合、「マッチ判定」とされたラインブロックの下側の領域に存在する本来「アンマッチ判定」のラインブロックを「マッチ判定」に変更するので、テロップベクトルが適用される領域を下側へ拡張したことになる。ステップＳ５０８の処理を実行した後、ラインブロックマッチ拡張処理を終了する（ステップＳ５１１）。一方、ステップＳ５０５において、着目しているラインブロックの上Ｌライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在しなかった場合（ステップＳ５０５：Ｎｏ）は、ステップＳ５０６へ進む。

ステップＳ５０６では、着目しているラインブロックの下Ｍライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在するか否かを判定する。下Ｍライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在した場合（ステップＳ５０６：Ｙｅｓ）は、ステップＳ５０９に進み、着目しているラインブロックを「マッチ判定」に変更する。この場合、「マッチ判定」とされたラインブロックの上側の領域に存在する本来「アンマッチ判定」のラインブロックを「マッチ判定」に変更するので、テロップベクトルが適用される領域を上側へ拡張したことになる。ステップＳ５０９の処理を実行した後、ラインブロックマッチ拡張処理を終了する（ステップＳ５１１）。一方、ステップＳ５０６において、着目しているラインブロックの下Ｍライン以内にラインブロックマッチ判定部１０６による判定結果が「マッチ判定」であるラインブロックが存在しなかった場合（ステップＳ５０６：Ｎｏ）は、ステップＳ５０７へ進む。

ステップＳ５０７では、着目するラインブロックがフレーム画像の下端からＮライン以内であるか否かを判断する。ここでＮはフレーム画像の下端領域を指定するための所定の整数である。着目するラインブロックがフレーム画像の下端からＮライン以内でなかっ場合（ステップＳ５０７：Ｎｏ）は、ステップＳ５１１へ進み、ラインブロックマッチ拡張処理を終了する。一方、着目するラインブロックがフレーム画像の下端からＮライン以内であった場合（ステップＳ５０７：Ｙｅｓ）は、ステップＳ５１０に進み、着目しているラインブロックを「マッチ判定」に変更する。この場合、フレーム画像の下端近傍の領域をテロップベクトルが適用される領域として拡張したことになる。ステップＳ５１０の処理を実行した後、ラインブロックマッチ拡張処理を終了する（ステップＳ５１１）。

上記のラインブロックマッチ拡張処理の例を図６に基づいて説明する。図６において、ＬｉｎｅＮｏ列６０１はラインブロックのライン番号を示す。例えばフレーム画像のサイズが１９２０×１０８０画素の場合は、ライン番号は０から１０７９の整数である。テロップあり列６０２は、当該ライン番号のラインブロックを含むテロップベクトル検出ブロックにおいて、テロップベクトル検出部１０５が有効なテロップベクトルを検出している否かを示し、検出している場合はＹｅｓ、検出していない場合はＮｏである。マッチ判定
列６０３は、上述したラインブロックマッチ判定部１０６によるラインブロックマッチ判定処理の結果を示し、ラインブロックマッチ判定部１０６による判定結果が「マッチ判定」の場合は‘１’、「アンマッチ判定」の場合は‘０’である。マッチ拡張列６０４は、上述したラインブロックマッチ拡張処理により拡張されたラインブロックマッチ判定結果を示す。拡張処理後のラインブロックマッチ判定結果が「マッチ判定」の場合は‘1’、
「アンマッチ判定」の場合は‘０’である。以下、下側拡張ライン数Ｌ＝８、上側拡張ライン数Ｍ＝４、画像下端領域ライン数Ｎ＝４に設定した場合を例に説明する。Ｌ，Ｍ及びＮの数値はこの例の数値に限られない。

図６（Ａ）に示す例では、ライン番号０から１９の全てのラインブロックで有効なテロップベクトルが検出されており、第７及び第１０ラインのラインブロックについてラインブロックマッチ判定部１０６による判定結果が「マッチ判定」である。従って、第７ラインの上４ライン（Ｍ＝４）以内に存在する「アンマッチ判定」のラインブロック（第３、４、５及び６ライン）は、ラインブロックマッチ拡張処理により、「マッチ判定」に変更されている。また、第７ラインの下８ライン（Ｌ＝８）以内に存在する「アンマッチ判定」のラインブロック（第８及び第９ライン）も、ラインブロックマッチ拡張処理により、「マッチ判定」に変更されている。また、第１０ラインの下８ライン（Ｌ＝８）以内に存在する「アンマッチ判定」のラインブロック（第１１から第１８ライン）も、ラインブロックマッチ拡張処理により、「マッチ判定」に変更されている。

図６（Ｂ）に示す例では、第１５ラインと第１６ラインの間にテロップベクトル検出ブロック（１６×１６画素）の境界がある。第３から第１５ラインのラインブロックが属するテロップベクトル検出ブロックではテロップベクトルが検出されており、第１６から第２２ラインのラインブロックが属するテロップベクトル検出ブロックではテロップベクトルが検出されていない。ここでは、第１３ラインのラインブロックについてのラインブロックマッチ判定部１０６による判定結果が「マッチ判定」である。従って、第１３ラインの上４ライン（Ｍ＝４）以内に存在する「アンマッチ判定」のラインブロック（第９から第１２ライン）は、ラインブロックマッチ拡張処理により、「マッチ判定」に変更されている。第１３ラインの下８ライン（Ｌ＝８）以内にある「アンマッチ判定」のラインブロック（第１４から第２１ライン）の内、テロップベクトルが検出されたラインブロック（第１４及び第１５ライン）も、拡張処理により、「マッチ判定」に変更されている。一方、第１３ラインの下８ライン（Ｌ＝８）以内にある「アンマッチ判定」のラインブロックの内、テロップベクトルが検出されていないラインブロック（第１６から第２１ライン）は、拡張処理による「マッチ判定」への変更は行われていない。

図６（Ｃ）に示す例では、第１０７１ラインと第１０７２ラインの間にテロップベクトル検出ブロックの境界があり、第１０７２から第１０７９ラインのラインブロックが属するテロップベクトル検出ブロックにおいて有効なテロップベクトルが検出されている。ラインブロックマッチ判定部１０６による判定結果は、第１０６０から第１０７９の全ラインブロックについて「アンマッチ判定」であり、「マッチ判定」のラインブロックは無い。従って、ラインブロックマッチ拡張処理が実行されても、「マッチ判定」のラインブロックの上Ｍライン下Ｌライン以内にある「アンマッチ判定」のラインブロックを「マッチ判定」に変更することによる拡張処理は行われない。しかしながら、フレーム画像下端から４ライン（Ｎ＝４）以内にある「アンマッチ判定」のラインブロックである第１０７６から第１０７９ラインのラインブロックは、ラインブロックマッチ拡張処理により「マッチ判定」に変更されている。

ベクトル選択部１０８は、以上説明したラインブロックマッチ拡張処理によって拡張されたラインブロックマッチ判定結果に基づいて、補間フレーム画像の生成に用いる動きベクトルを選択する。すなわち、拡張処理後の判定結果が「マッチ判定」のラインブロック
に関してはテロップベクトルを選択し、「アンマッチ判定」のラインブロックに関しては一般ベクトルを選択する。

図７を用いて、ベクトルフィルタ部１０９での処理を説明する。図７では、テロップベクトルが選択されたラインブロック（テロップラインブロックという）をＴＶ、一般ベクトルが選択されたラインブロック（一般ラインブロック）をＭＶで示す。ベクトルフィルタ部１０９は、入力される一般ラインブロックの隣にテロップラインブロックがある場合は、当該一般ラインブロックを当該隣のテロップラインブロックに変更して出力する。すなわち、当該一般ラインブロックについては、補間画像生成に用いる動きベクトルとして、当該隣のテロップラインブロックで選択されたテロップベクトルが選択されたものとして扱う。図７の例では、ラインブロック９０１は一般ラインブロックＭＶであり、右隣にあるラインブロック９０２はテロップラインブロックＴＶ１であるから、ラインブロック９０１を一般ラインブロックＭＶからテロップラインブロックＴＶ１に変更して出力する。ラインブロック９０２はテロップラインブロックなのでそのまま出力する。ラインブロック９０３は一般ラインブロックＭＶであり、左隣にテロップラインブロックＴＶ３があるため、ラインブロック９０３を一般ラインブロックＭＶからテロップラインブロックＴＶ３に変更して出力する。ラインブロック９０４は一般ラインブロックＭＶであり、左及び右の両隣にテロップラインブロックＴＶ２及びＴＶ３が存在する。この場合、図７の例では、ラインブロック９０４を一般ラインブロックＭＶから左隣のテロップラインブロックＴＶ２に変更して出力する。右隣のテロップラインブロックＴＶ３に変更して出力する実施形態も可能なのは勿論である。このように、ベクトルフィルタ部１０９により、テロップラインブロックの隣に存在する一般ラインブロックは当該隣接するテロップラインブロックに変更されて出力される。

ベクトル補間部１１０は、以上説明した処理によってラインブロック毎に得られたベクトルを用いて補間処理を行い、挿入すべき補間フレームの画素を生成する。補間処理はベクトルの指し示す前フレームの画素、現フレームの画素を読み出し、それらの画素の平均値を求め、補間フレームの画素とする。例えば、ベクトルフィルタ部で得られたベクトルが、着目画素４０１に対して水平方向に−２、＋２だったとする（図４参照）。この場合は、前フレームメモリ部１０３からは画素４０２を、現フレームメモリ部１０２から画素４０３を読み出す。その後、画素４０２と画素４０３の平均値を求め、画素４０１を生成する。

以上説明したように、本実施例では、フレーム画像を複数のブロック（例えば、１６×１６画素）に分割し、ブロック毎に一般ベクトル及びテロップベクトルの検出を行う。そして、テロップベクトルが検出されたブロックについては、更に細かいラインブロック（例えば、１６×１画素）に分割し、ラインブロック毎に、補間画像の生成に一般ベクトル又はテロップベクトルのいずれの動きベクトルを用いるかの選択を行う。従って、テロップが存在する蓋然性が高いブロックについては、ラインブロックという細かい単位でブロックマッチング及び補間画像の生成処理を行うことができる。これにより、テロップが存在する蓋然性の高いブロックにおいて、テロップ部分はテロップベクトルを用いて補間画像を生成し、テロップに隣接する背景部分は一般ベクトルを用いて補間画像を生成することができる。すなわち、補間画像生成において用いる動きベクトルを、テロップと背景とで細かく使い分けることができる。従って、生成した補間画像を２フレームの間に挿入してフレームレート変換処理を行っても、テロップに隣接する背景部分がテロップに引きずられたり、テロップが崩れたりすることを抑制でき、フレームレート変換に起因する画像劣化を抑制することができる。また、テロップが存在する蓋然性が低いブロック、すなわちテロップベクトルが検出されないブロックについては、このようなラインブロック毎の詳細な処理は行わず、例えば一般ベクトルを用いて１６×１６画素のブロック毎の補間画像を生成することができる。従って、補間画像生成に係る処理負荷が過剰に増大すること
を抑制できる。また、動きベクトルの検出は、一般ベクトルもテロップベクトルもともに大ブロックを用いて行うので、動きベクトルの検出精度が低下することを抑制できる。このように、本実施例の映像処理装置によれば、テロップ部分の画質劣化の抑制と動きベクトルの検出精度低下の抑制とを好適に両立させることが可能となる。

また、本実施例では、テロップベクトルを用いて補間画像の生成を行うことが決定されたラインブロックの周囲所定範囲内に存在するラインブロックについては、テロップベクトルを用いた補間画像の生成を行うようにすることもできる。これにより、テロップと背景との境界付近においてテロップベクトルを用いた補間画像の生成が行われるようになる。従って、背景との境界付近のテロップの補間画像が一般ベクトルを用いて生成されることによるテロップの崩れ現象を抑制することが可能になるとともに、背景とテロップとの境界付近の補間画像として滑らかな画像を生成することが可能になる。

なお、テロップベクトルを用いて補間画像を生成するラインブロックを、テロップベクトルが選択されたラインブロックの上下の所定範囲内にあるラインブロックや左右に隣接するラインブロックに拡張する処理は、必須ではない。テロップベクトルが検出されたブロックについて更に細かいラインブロック単位でテロップベクトルの適用可否を判断する処理を行えば、フレームレート変換においてテロップ近傍の背景がテロップに引きずられる現象を十分に抑制することが可能である。テロップベクトルを適用するラインブロックの拡張を行えば、テロップを含む映像をより高画質にフレームレート変換することができる。また、本実施例では入力映像の２フレームの間に補間フレームを挿入してフレームレートを変換する映像処理装置に本発明を適用した例を説明したが、本発明はフィールドを補完してフィールドレートを変換する装置にも適用できる。また、フレームレートを変換するだけでなく、フレームレート一定でフレーム数を増加させて映像の再生速度を変換する処理や、フレームレートも再生速度も変換する処理などにも適用できる。また、補間フレームの画像の生成方法は、連続する２フレームの画像及び該画像間の動きベクトルに基づく方法に限らず、２フレーム以上離れた２つのフレームの画像及び該画像間の動きベクトルに基づく方法でも良い。

また、上記実施例では、ブロックマッチングにより動きベクトルを検出する方法を例に説明したが、動きベクトルの検出方法はブロックマッチングに限らず、種々の公知の方法を用い得る。また、ＭＰＥＧ方式で符号化された映像等のように映像自体に動きベクトルに関する情報が含まれる場合には、当該情報に基づいて動きベクトルを検出することもできる。何らかの方法で動きベクトルを検出し、テロップの動きを示す蓋然性の高い動きベクトルが検出されたブロックについては更に細かいラインブロックに分割し、ラインブロック毎に一般ベクトルとテロップベクトルの選択を行うようにすれば良い。

１０１：映像処理装置、１０４：一般ベクトル検出部、１０５：テロップベクトル検出部、１０６：ラインブロックマッチ判定部、１０８：ベクトル選択部、１１０：ベクトル補間部

Claims (7)

1. 入力される映像の２つのフレームの間に補間フレームを挿入して前記入力される映像のフレーム数を変換する映像処理装置であって、
   前記２つのフレームの画像を複数のブロックに分割しブロック毎に動きベクトルを検出する第１検出部と、
   前記２つのフレームの画像を複数のブロックに分割しブロック毎に垂直方向又は水平方向の動きベクトルであるテロップベクトルを検出する第２検出部と、
   テロップベクトルが検出されたブロックに対応する補間フレームのブロックを、該ブロックより垂直方向の大きさが小さい複数の小ブロックにより垂直方向に分割し、該小ブロック毎に、該小ブロックに対して該テロップベクトルにより対応付けられる位置関係にある前記２つのフレームの画像におけるテロップの有無を判定する判定部と、
   前記判定部による前記小ブロック毎の判定結果に基づいて、前記補間フレームの画像の生成に用いられる動きベクトルとして前記第１検出部により検出される動きベクトル又は前記テロップベクトルのいずれかの選択を前記小ブロック毎に行う選択部と、
   テロップベクトルが検出されたブロックに対応する補間フレームのブロックについて、前記選択部により選択された動きベクトルを用いて前記小ブロック毎に補間フレームの画像を生成する補間部と、
   を備え、
   前記選択部は、
   （Ａ）前記判定部によりテロップが有ると判定された小ブロックについては、前記テロップベクトルを選択し、
   （Ｂ）前記判定部によりテロップが無いと判定された小ブロックについては、前記第１検出部により検出される動きベクトルを選択する
   ことを特徴とする映像処理装置。
2. 前記選択部は、テロップベクトルが検出されたブロックに対応する補間フレームのブロックにおいて、前記判定部によりテロップが有ると判定された小ブロックの上側の所定範囲及び下側の所定範囲内に存在する小ブロックについては、前記判定部による判定の結果によらず、前記テロップベクトルを選択することを特徴とする請求項１に記載の映像処理装置。
3. 前記上側の所定範囲よりも前記下側の所定範囲が大きいことを特徴とする請求項２に記載の映像処理装置。
4. 前記選択部は、テロップベクトルが検出されたブロックに対応する補間フレームのブロックにおいて、該補間フレームの下端から所定範囲内に存在する小ブロックについては、前記判定部による判定の結果によらず、前記テロップベクトルを選択することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
5. 前記補間部は、前記選択部によりテロップベクトルが選択された小ブロックの左又は右に隣接する小ブロックについては、前記選択部による選択によらず、該テロップベクトルを用いて補間フレームの画像を生成することを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
6. 前記補間部は、前記テロップベクトルが検出されなかったブロックに対応する補間フレームのブロックについて、前記第１検出部により検出される動きベクトルを用いて補間フレームの画像を生成することを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。
7. 映像を入力する工程と、
   前記入力される映像の２つのフレームの間に補間フレームを挿入して前記入力される映像のフレーム数を変換する工程と、
   前記２つのフレームの画像を複数のブロックに分割しブロック毎に動きベクトルを検出する第１検出工程と、
   前記２つのフレームの画像を複数のブロックに分割しブロック毎に垂直方向又は水平方向の動きベクトルであるテロップベクトルを検出する第２検出工程と、
   テロップベクトルが検出されたブロックに対応する補間フレームのブロックを、該ブロックより垂直方向の大きさが小さい複数の小ブロックにより垂直方向に分割し、該小ブロック毎に、該小ブロックに対して該テロップベクトルにより対応付けられる位置関係にある前記２つのフレームの画像におけるテロップの有無を判定する判定工程と、
   前記判定工程による前記小ブロック毎の判定結果に基づいて、前記補間フレームの画像の生成に用いられる動きベクトルとして前記第１検出工程により検出される動きベクトル又は前記テロップベクトルのいずれかの選択を前記小ブロック毎に行う選択工程と、
   テロップベクトルが検出されたブロックに対応する補間フレームのブロックについて、前記選択工程により選択された動きベクトルを用いて前記小ブロック毎に補間フレームの画像を生成する補間工程と、
   を有し、
   前記選択工程は、
   （Ａ）前記判定工程においてテロップが有ると判定された小ブロックについては、前記テロップベクトルを選択し、
   （Ｂ）前記判定工程においてテロップが無いと判定された小ブロックについては、前記第１検出工程により検出される動きベクトルを選択する
   ことを特徴とする映像処理方法。

Images