JP2009267612A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】 ブロックマッチング法により動きベクトルから補間フレームを作成して入力よりも高いフレームレートで表示する画像表示装置において、２画面表示などを行う場合、ウィンドウのサイズや位置により、ブロック内に映像領域と非映像領域が混在すると、正確な動きベクトルが求め難くなる。
【解決手段】 本発明は、複数の映像信号を合成してマルチ画面映像信号を出力するマルチ画面合成部と、前記マルチ画面合成部より出力された前記マルチ画面映像信号をブロックマッチング法によって検出した動きベクトルに従って補間画像を生成し、フレームレート変換するフレームレート変換部とを備えた画像処理装置であって、前記マルチ画面合成部は、フレームレート変換部において補間画像を生成する子画面のサイズを前記フレームレート変換部における前記ブロックマッチング法で用いられるブロックのサイズの整数倍に設定する。
【選択図】 図１

Description

本発明は、動きベクトルを検出して補間フレームを作成し、入力よりも高いフレームレートの出力画像を生成する画像処理装置に関するものである。

近年、画像表示装置において入力された映像信号のフレームレートよりも高いフレームレートで表示することが行われている。この際、入力された複数のフレームから動きベクトルを求め、その動きベクトルに基づいて補間フレームを生成する技術が用いられるようになっている。

動きベクトルを求める方法として、一般的に行われている方法としてブロックマッチング法がある。ブロックマッチング法は映像信号の1フレームを格子状のブロックに分割し、ブロックごとにそのフレームとは時間位置の異なるフレームにおける探索範囲内の画像データとの相関を取ることにより動きベクトルを求めるものである。

また、近年のテレビ受像機においては、2種類の入力の映像を同時に表示する2画面表示を行うこともよく行われている。映像が重ならないような２画面表示を行うと画面内には映像の表示される部分と映像の表示されない余白部分が生じる。このような表示状態の時に、動きベクトルを求めようとして通常の画面表示と同様のブロック分割を行うと分割されたブロック内に映像の表示されている領域と、映像の表示されていない領域が混在する場合がある。（図９）
ブロック内に映像の表示されている領域と、表示されていない領域が混在していると正しいブロックマッチングを行うことが困難になり、高品位な補間フレームを作成できなくなる。

このため、特許文献１には、画面を補間に適する補間好適領域と補間に適さない補間不適領域に分け、補間好適領域のみを均等にブロック分割するという方法が記載されている。
特開２００５−００６２７５号公報

しかしながら上記の従来技術の場合、補間好適領域に対して均等にブロック分割するとしているが、表示している画面のサイズを変えた場合に対応して、均等に分割しようとするとブロックサイズを可変にしなければならなくなる。

ブロックサイズを可変にするとハードウェアが複雑になり回路規模の増大を招く。

そこで本発明は、ブロックサイズを可変としなくても２画面表示などを行った場合に表示領域に対して均等にブロックを割り振ることのできる画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明は、
複数の映像信号を合成してマルチ画面映像信号を出力するマルチ画面合成部と、
前記マルチ画面合成部より出力された前記マルチ画面映像信号をブロックマッチング法によって検出した動きベクトルに従って補間画像を生成し、フレームレート変換するフレームレート変換部とを備えた画像処理装置であって、
前記マルチ画面合成部は、フレームレート変換部において補間画像を生成する子画面のサイズを前記フレームレート変換部における前記ブロックマッチング法で用いられるブロックのサイズの整数倍に設定することを特徴とする。

本発明は、ブロックサイズを可変としなくても２画面表示などを行った場合に表示領域に対して均等にブロックを割り振ることができ、低コストで高品位な画像表示装置を構成することが可能になる。

次に、本発明の詳細を実施例の記述に従って説明する。

図１は本発明の第１実施例の構成を示すブロック図である。

このブロック図に従って本実施例の動作を説明する。

入力選択部１は、入力される複数の映像信号入力から2つの信号を選択してマルチ画面合成部２に出力する。この例においては入力Ａ、入力Ｂ、入力Ｃの３つから２つを選択し、選択信号Ａ、選択信号Ｂとしている。また、入力選択部１は選択した各信号の画像サイズ情報をマルチ画面合成部２に出力する。

マルチ画面合成部２は、スケーリング部４、及びスケーリング部５、レイアウト制御部６、画面合成部７から構成される。

レイアウト制御部６は、入力選択部１から取得した画像サイズ情報と、図示しない制御信号とに基づき、選択信号Ａおよび選択信号Ｂをそれぞれどのようなサイズに変更するかをスケーリング部４、スケーリング部５に指示する。

また、サイズ変更された各選択信号を1画面内にどのように配置するかを画面合成部７に指示する。

スケーリング部４及びスケーリング部５はレイアウト制御部６からの指示に従い選択信号Ａおよび選択信号Ｂをサイズ変更（スケーリング及びトリミング）し、子画面信号Ａ、子画面信号Ｂとして出力する。

画面合成部７はレイアウト制御部６の指示に従ってスケーリング部４及びスケーリング部５からの信号を合成して1画面とし、フレームレート変換部３に出力する。

フレームレート変換部３はフレームメモリを持ち、現在入力されたフレームよりも前のフレームのデータを保持している。入力された映像信号の1フレームを所定のサイズのブロックに分割して、ブロックマッチング法により、保持された前のフレームのデータを探索して動きベクトルを得る。得られた動きベクトルに基づき補間フレームを生成し、入力よりも高いフレームレートで映像信号を出力する。

この時、レイアウト制御部６は子画面信号Ａ及び子画面信号Ｂのサイズがフレームレート変換部３で動きベクトル探索に用いられるブロックのサイズの整数倍となるようにスケーリング部４およびスケーリング部５に指示を出す。また、画面合成部７に配置の指示を出す時に子画面の位置が1画面を前記ブロックのサイズで均等に分割した格子点に一致するように指示を出す。

このようにレイアウト制御部６が子画面のサイズと位置を制御することにより、フレームレート変換部３でブロック分割した時に、それぞれの子画面は図２に示すように分割されたブロック内に、余白が無く収まる。このため、映像領域と非映像領域を混合して含むブロックが生じることが無く子画面全体に対して動きベクトルを求めることができ、子画面の高品位な補間フレームを生成することができる。

なお、本実施例は2画面の場合について示したが、3画面以上の表示の場合であっても同様に、それぞれの子画面のサイズを前記ブロックのサイズの整数倍とすることで高品位な補間フレームを得ることができる。

図３は本発明の第２実施例の構成を示すブロック図である。本例の構成は第１実施例とほぼ同じであり、第１実施例と異なるのは、マルチ画面合成部２内のレイアウト制御部６からフレームレート変換部３に対してレイアウト情報が出力されている点だけである。

第２実施例の動作として、第1実施例と異なる点を説明する。

本例においても、レイアウト制御部６は子画面のサイズをフレームレート変換部３で用いられるブロックマッチング法におけるブロックのサイズの整数倍になるようにスケーリング部４及びスケーリング部５に指示する。しかし、画面合成部７での配置は、1画面を前記ブロックのサイズで均等に分割した位置に限定せずに自由に配置する。

その上で子画面をどこに配置したかというレイアウト情報をフレームレート変換部３に出力する。

フレームレート変換部３はそのレイアウト情報を参照して、図４に示すように子画面を前記ブロックのサイズで均等に分割する。

本実施例においても子画面は映像領域と非映像領域が混在することなくブロック分割されるため、子画面全体で動きベクトルが求められる。

なお、本実施例では、レイアウト情報をレイアウト制御部６からフレームレート変換部３に出力していたが、この情報を伝達せずに、フレームレート変換部３内で映像領域を検出するようにしても良い。この場合も検出される映像領域が前記ブロックのサイズの整数倍になっているため、子画面全体で動きベクトルを求めることができる。

図５は本発明の第３実施例の構成を示すブロック図である。本例の構成は第１実施例とほぼ同じであり、第１実施例と異なるのは、マルチ画面合成部２内のレイアウト制御部６に入力選択部１から画像サイズ情報だけでなく、画像種別情報が入力されている点である。

第３実施例の動作として、第1実施例と異なる点を説明する。

本例では、レイアウト制御部６は画像種別に応じてスケーリング部４或いはスケーリング部５に対するサイズ指示を変更する。

子画面Ａが通常の動画映像であり子画面Ｂがウェブブラウザの画面であるような場合で説明する。ウェブブラウザの画面は静止画が多いため動きベクトルを求めて補間フレームを生成する必要がない。従って、ウェブブラウザの画面はフレームレート変換部３でブロック分割した時に、ブロック内に映像領域と非映像領域が混在しても良い。

このため、レイアウト制御部６は通常の動画映像である子画面Ａはそのサイズがフレームレート変換部３で動きベクトル探索時に用いられるブロックのサイズの整数倍になるようにスケーリング部４に指示をする。また画面合成部７に対しては子画面Ａの位置が、1画面を前記ブロックのサイズで均等に分割した格子位置と一致するように配置するように指示を出す。

一方、ウェブブラウザの画面である子画面Ｂについては画像サイズが前記ブロックのサイズの整数倍であるという制限、配置位置が1画面を前記ブロックのサイズで均等に分割した格子位置と一致するという制限、のいずれも受けない状態でサイズ設定、配置を行う。

フレームレート変換部３は、上記のように構成された合成画面を入力とし、図６に示すように前記ブロックのサイズで1画面を均等に分割し、ブロックごとに動きベクトルを求めて補間フレームを作成する。

動画の含まれる子画面Ａは映像全体で適切に動きベクトルが求められるため高品位な補間フレームを得ることができ、一方、ウェブブラウザ画面は画面サイズ、レイアウトの制限を受けないため自由度の高い表示を行うことができる。

なお、本実施例は実施例１のようにフレームレート変換部で1画面を均等にブロック分割しているが、実施例２のようにレイアウト情報をフレームレート変換部３に送ることで、動画を表示している子画面Ａの配置位置が1画面を前記ブロックサイズで均等に分割した格子位置と無関係に配置できる構成にすることもできる。

図７は本発明の第４実施例の構成を示すブロック図である。本実施例の構成は第１実施例とほぼ同じであり、第１実施例と異なるのは、マルチ画面合成部２内に有効画像領域検出部８があり、その検出情報がレイアウト制御部６に入力されている点である。

第４実施例の動作として、第1実施例と異なる点を説明する。

子画面Ａがレターボックスサイズの映画ソースを含むような動画映像であり、子画面Ｂは通常の動画映像であるような場合で説明する。有効画像領域検出部８は子画面Ａに対応する選択信号Ａの中でレターボックスの余白のような映像の存在しない部分を検出し、画面の中で映像の存在している部分すなわち有効画像領域のサイズと位置を検出する。そして、この情報をレイアウト制御部６に入力する。

子画面Ｂに対応する選択信号Ｂについても同様に有効画像領域の検出が行われ、情報がレイアウト制御部６に送られるが、この場合、元の映像サイズと一致する。

レイアウト制御部６はこの情報を元に、有効画像領域がフレームレート変換部３で用いられるブロックのサイズの整数倍となるようにスケーリング部４にサイズ変更の指示を出す。また、画面合成部７には子画面Ａのうち有効画像領域が1画面を前記ブロックのサイズで均等に分割した格子位置に一致するように配置位置の指示を出す。

フレームレート変換部３は、上記のように構成された合成画面を入力とし、図８に示すように前記ブロックのサイズで1画面を均等に分割し、ブロックごとに動きベクトルを求めて補間フレームを作成する。

レターボックス画像の含まれる子画面Ａは画面中の有効な映像領域で適切に動きベクトルが求められるため高品位な補間フレームを得ることができる。

なお、本実施例の場合も、実施例２のようにレイアウト情報をフレームレート変換部３に送ることで、子画面の配置位置が1画面を前記ブロックサイズで均等に分割した格子位置と無関係に配置できる構成にすることもできる。

本発明の実施例1の構成を示すブロック図である。 本発明の実施例１における子画面の配置を説明する図である。 本発明の実施例２の構成を示すブロック図である。 本発明の実施例２における子画面の配置を説明する図である。 本発明の実施例３の構成を示すブロック図である。 本発明の実施例３における子画面の配置を説明する図である。 本発明の実施例４の構成を示すブロック図である。 本発明の実施例４における子画面の配置を説明する図である。 課題を説明する図である。

符号の説明

１ 入力選択部
２ マルチ画面合成部
３ フレームレート変換部
４、５ スケーリング部
６ レイアウト制御部
７ 画面合成部
８ 有効画像領域検出部

Claims (6)

1. 複数の映像信号を合成してマルチ画面映像信号を出力するマルチ画面合成部と、
   前記マルチ画面合成部より出力された前記マルチ画面映像信号をブロックマッチング法によって検出した動きベクトルに従って補間画像を生成し、フレームレート変換するフレームレート変換部とを備えた画像処理装置であって、
   前記マルチ画面合成部は、フレームレート変換部において補間画像を生成する子画面のサイズを前記フレームレート変換部における前記ブロックマッチング法で用いられるブロックのサイズの整数倍に設定することを特徴とする画像処理装置。
2. 前記マルチ画面合成部は、合成する複数の映像信号の種別を判別し、補間画像を生成する子画面と、補間画像を生成しない子画面とに分類して合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記マルチ画面合成部は、合成する映像信号のうちの有効画像領域を検出する有効画像領域検出部を備え、前記フレームレート変換部において補間画像を生成する子画面のサイズを、子画面中の有効画像領域が前記ブロックのサイズの整数倍となるサイズに設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記マルチ画面合成部は、合成する各画面を、1画面を前記ブロックのサイズで均等に分割した格子点に一致するように配置することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記マルチ画面合成部は、合成する各画面の配置位置情報を前記フレームレート変換部に送り、前記フレームレート変換部は各画面の配置位置情報を元に各画面を均等にブロックに分割して、動きベクトルを求め、補間画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
6. 複数の映像信号を合成してマルチ画面映像信号を出力するマルチ画面合成ステップと、
   前記マルチ画面合成ステップより出力された前記マルチ画面映像信号をブロックマッチング法によって検出した動きベクトルに従って補間画像を生成し、フレームレート変換するフレームレート変換ステップとを備えた画像処理方法であって、
   前記マルチ画面合成ステップは、前記フレームレート変換ステップにおいて補間画像を生成する子画面のサイズを前記フレームレート変換ステップにおける動きベクトル検出で用いられるブロックのサイズの整数倍に設定することを特徴とする画像処理方法。

Images