JP2008028880A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】ＳＤ画像の画角をＨＤ画像となるように変換する。
【解決手段】動きベクトル抽出部２２は、ＳＤ画像における各画素の動きベクトルを抽出し、領域外画素レンダリング部２４は、ＳＤ画像における各画素の動きベクトル、およびＳＤ画像に基づいて、ＨＤ画像内におけるＳＤ画像領域外の領域の画素を生成し、合成部２６は、生成されたＨＤ画像内におけるＳＤ画像領域外の領域の画素、および、ＳＤ画像の画素を合成し、ＨＤ画像を生成する。本発明は、テレビジョン受像機に適用することができる。
【選択図】図３

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、狭画角の画像を自然な広画角の画像に変換できるようにした画像処理装置および方法、並びにプログラムに関する。

従来のカラーテレビジョン受像機は４：３のアスペクト比で６０Ｈｚのインターレース映像を表示するものであった。従って、従来のテレビ放送映像信号や記録装置もこれを前提に作られている。

今現在においても、放送用のカメラ、編集・記録装置、配信設備、個人のカメラ、編集・記録装置、再生装置でも４：３のアスペクト比を持つ表示装置にしか対応しないものが多い。さらに、４：３のアスペクト比を持つ大量のコンテンツが記録・保存されており、未だにその数は増えているのも現実である。

これらの記録にはβ、VHS（Video Home System）などのアナログ方式やDV（Digital Video）やMPEG（Moving Picture Experts Group）フォーマットなどのデジタル方式が含まれる。

一方いわゆるハイビジョンテレビジョン受像機（HDテレビジョン受像機）は、1080本の有効走査線、１６：９のアスペクト比を持ち６０Ｈｚのインターレース映像を表示できる。上述のような４：３の従来映像コンテンツから１６：９で、かつ、HD画質のコンテンツまで様々な解像度フォーマットの映像を表示できる。それに合わせて、カメラ、記録・編集装置、配信装置、再生装置も１６：９の高精細解像度の規格に変わりつつある。

しかしながら、上述のように従来の４：３のアスペクト比による画像にのみ対応した装置が依然として多いこともあり、未だに多くの映像コンテンツが４：３のまま配信、販売、再生されている。

このようなことから、図１で示されるように、表示画面が１６：９のHDテレビジョン受像機で既存の４：３映像コンテンツ（４：３＝１２：９）を表示する場合、できるだけ画質を落とさぬよう上下端を合わせて、図中の領域ＳＣに表示しようとしていた。

結果として、左右端で切れてしまってしまうため、画面全体の（16-12）÷16×100=25%が表示されないまま領域ＳＲ，SLとして残り、せっかくの左右画角の広い表示装置の特徴が生かされないことがあった。

そこで、この問題に対処するための、４：３映像を横長１６：９映像に変換する技術が提案されている（特許文献１参照）。また、例えば、映像の一部を１６：９で切り出し、目いっぱい表示されるよう等方的な画像スケーリングを行う方式や、左右方向に画像スケールし横長に引き伸ばす、映像の中心部分から端に行くにつれ左右のスケール率を増加させながら左右方向に違和感なく引き伸ばす方式などがあった。

特開平１０−２００８２７号公報

しかしながら、上述した方式では、本来あるはずの映像の一部が見えなくなる（人物の顔が切れる）こと、解像度を低下させ画像を粗くすること、映像を歪ませ不自然な映像になってしまう（人物が太ったように見える）ことなど、映像劣化の問題を引き起こしてしまい、自然な映像を表示することができなかった。

本発明はこのような状況に鑑みてなされたものであり、特に、オリジナルの画像データに処理を加えることなく、狭画角の画像を広画角の画像に変換できるようにするものである。

本発明の一側面の画像処理装置は、第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置であって、前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出手段と、前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成手段と、前記画素生成手段により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成手段とを含む。

前記第１の画像はＳＤ画像とすることができ、前記第２の画像はＨＤ画像とすることができる。

前記第１の動きベクトルに基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成する動きベクトル生成手段を更に含ませるようにすることができ、前記画素生成手段には、前記第２の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成させるようにすることができる。

前記動きベクトル生成手段には、前記第１の動きベクトルを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成させるようにすることができる。

前記動きベクトル生成手段には、前記第１の動きベクトルを用いて、注目フレームとその他のフレームとの関係から、前記第１の画像における起点となる画素と、前記第２の画像内における前記第１の画像領域外の領域の終点となる画素との対応関係を求め、前記第１の動きベクトルと前記対応関係とを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成させるようにすることができる。

前記動きベクトル抽出手段には、前記第１の画像における各画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルとして抽出させ、前記動きベクトル生成手段には、前記時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルをそれぞれ補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ反時間方向の第２の動きベクトル、および時間方向の第２の動きベクトルとして生成させるようにすることができる。

前記画素生成手段には、前記第１の画像の各画素を前記第２の動きベクトルを用いて、前前記第２の動きベクトルの時間方向と反時間方向にマッピングすることにより、前記第２の画像内における前記第１の画像領域外の領域の画素を生成させるようにすることができる。

本発明の一側面の情報処理方法は、第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置の画像処理方法であって、前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出ステップと、前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成ステップと、前記画素生成ステップの処理により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成ステップとを含む。

本発明の一側面のプログラムは、第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置を制御するコンピュータに、前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出ステップと、前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成ステップと、前記画素生成ステップの処理により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成ステップとを含む処理を実行させる。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、前記第１の画像における各画素の動きベクトルが、第１の動きベクトルとして抽出され、前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素が生成され、生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素とが合成され、前記第２の画像が生成される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、狭画角の画像を自然な広画角の画像に変換することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の画像処理装置は、第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置（例えば、図３の画像変換装置２）であって、前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出手段（例えば、図３の動きベクトル抽出部２２）と、前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成手段（例えば、図３の領域外画素レンダリング部２４）と、前記画素生成手段により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成手段（例えば、図３の合成部２６）とを含む。

前記第１の動きベクトルに基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成する動きベクトル生成手段（例えば、図４の反時間方向動きベクトル生成部４３または時間方向動きベクトル生成部５３）をさらに含ませるようにすることができ、画素生成手段には、前記第２の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成させるようにすることができる。

前記動きベクトル生成手段（例えば、図４の反時間方向動きベクトル生成部４３または時間方向動きベクトル生成部５３）には、前記第１の動きベクトルを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成させるようにすることができる。

前記動きベクトル生成手段（例えば、図４の反時間方向動きベクトル生成部４３または時間方向動きベクトル生成部５３）には、前記第１の動きベクトルを用いて、注目フレームとその他のフレームとの関係から、前記第１の画像における起点となる画素と、前記第２の画像内における前記第１の画像領域外の領域の終点となる画素との対応関係を求め、前記第１の動きベクトルと前記対応関係とを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成させるようにすることができる。

前記動きベクトル抽出手段（例えば、図３の動きベクトル抽出部２２）には、前記第１の画像における各画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルとして抽出させ、前記動きベクトル生成手段（例えば、図４の反時間方向動きベクトル生成部４３または時間方向動きベクトル生成部５３）には、前記時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルをそれぞれ補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ反時間方向の第２の動きベクトル、および時間方向の第２の動きベクトルとして生成させるようにすることができる。

前記画素生成手段（例えば、図３の領域外画素レンダリング部２４）には、前記第１の画像の各画素を前記第２の動きベクトルを用いて、前前記第２の動きベクトルの時間方向と反時間方向にマッピングすることにより、前記第２の画像内における前記第１の画像領域外の領域の画素を生成させるようにすることができる。

本発明の一側面の情報処理方法は、第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置の画像処理方法であって、前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出ステップ（例えば、図１１のステップＳ２）と、前記第１の動きベクトルに基づいて、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成ステップ（例えば、図１１のステップＳ３）と、前記画素生成ステップの処理により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成ステップ（例えば、図１１のステップＳ３）とを含む。

図２を参照して、本発明を適用した画像処理システムの構成について説明する。

SD（Standard Definition）画像再生装置１は、図示せぬ記録媒体より読み出されたり、電波などにより送信されてくる４：３のアスペクト比のＳＤ画像信号を発生し、画像変換装置２に供給する。

画像変換装置２は、画像再生装置１より供給されてくるＳＤ画像を、アスペクト比が１６：９のHD（High Definition）画像に変換し、ＨＤ画像表示装置３に出力する。より詳細には、画像変換装置２は、図１で示される領域ＳＣで示される領域に表示されるＳＤ画像より、領域ＳＬおよびSRの画像を生成すると供に、ＳＤ画像と合成することでアスペクト比が１６：９となるＨＤ画像を生成する。尚、このＨＤ画像は、単にＳＤ画像の一部を拡大してＨＤ画像にしたものではなく、ＳＤ画像を水平方向に広画角化したＨＤ画像である。

ＨＤ画像表示装置３は、画像変換装置２よりアスペクト比が４：３から１６：９に変換されたＳＤ画像が水平方向に広画角化されたＨＤ画像を１６：９の画面に表示する。

次に、図３を参照して、画像変換装置２の構成例について説明する。

入力画像バッファ２１は、ＳＤ画像信号からなるＳＤ画像を順次一時的に記憶すると供に、適宜動きベクトル抽出部２２、領域外画素レンダリング部２４および合成部２６に供給する。動きベクトル抽出部２２は、入力画像バッファ２１に蓄積されたＳＤ画像の各画素について、反時間方向および時間方向の隣接するフレーム間で、例えば、パターンマッチングにより、反時間方向および時間方向のそれぞれの動きベクトルを抽出して、抽出した動きベクトルを動きベクトルバッファ２３に一時的に記憶させる。尚、動きベクトル抽出部２２は、動きベクトルとして、1フレーム間の起点画素と終点画素とで求められるベクトルのみを抽出するものとする。

領域外画素レンダリング部２４は、動きベクトルバッファ２３に蓄積されているＳＤ画像の反時間方向および時間方向の動きベクトルと、入力画像バッファ２１に蓄積されたＳＤ画像とに基づいて、生成すべきＨＤ画像における、ＳＤ画像領域以外の領域の画素を生成し、領域外画素バッファ２５に一時的に蓄積させる。

尚、以降において、ＨＤ画像におけるＳＤ画像の領域、すなわち、図１で示される領域ＳＣを領域内とも称し、ＨＤ画像におけるＳＤ画像の領域以外の領域、すなわち、図１で示される領域ＳＬおよびSRを領域外とも称するものとする。従って、図１で示されるＨＤ画像において、領域ＳＣの画素、すなわち、元々のＳＤ画像内の画素は、領域内画素と称し、領域ＳＬおよびSR内の画素は、領域外画素とも称するものとする。結果として、領域外画素バッファ２５には、図１における領域ＳＬおよびSR内の画素である、領域外画素のみが蓄積される。

合成部２６は、領域外画素バッファ２５に蓄積された画素と、入力画像バッファ２１に蓄積されたＳＤ画像の画素とを合成して、ＨＤ画像を生成し、ＨＤ画像表示装置３に出力し表示させる。

次に、図４を参照して、領域外画素レンダリング部２４の構成例について説明する。

反時間方向対応点リスト生成部４１は、入力画像バッファ２１に蓄積された複数のフレームのＳＤ画像および動きベクトルバッファ２３に蓄積された反時間方向動きベクトルに基づいて、領域外画素を生成しようとするフレーム（以降、単に注目フレームと称するものとする）における反時間方向動きベクトルの起点と、その反時間方向動きベクトルの逆ベクトルの延長線上の注目フレーム近傍のフレームとの交点であって領域外となる終点との対応関係を反時間方向対応点リストメモリ４２に反時間方向対応点リストとして蓄積させる。

反時間方向動きベクトル生成部４３は、反時間方向対応点リストメモリ４２の情報、および動きベクトルバッファ２３に蓄積された反時間方向動きベクトルとに基づいて、領域外画素毎の反時間方向の動きベクトルを生成し、反時間方向動きベクトルバッファ４４に蓄積させる。

反時間方向バックワードレンダリング部４５は、反時間方向動きベクトルバッファ４４に蓄積されている領域外画素の反時間方向動きベクトルと、入力画像とを用いて、バックワードレンダリングにより領域外画素を生成し、領域外画素バッファ２５に蓄積させる。この際、反時間方向バックワードレンダリング部４５は、自らが生成した領域外画素を用いて、新たな領域外画素を生成することがある。また、反時間方向バックワードレンダリング部４５は、生成できない画素については、無効画素として設定する。

時間方向対応点リスト生成部５１は、入力画像バッファ２１に蓄積された複数のフレームのＳＤ画像および動きベクトルバッファ２３に蓄積された時間方向動きベクトルに基づいて、領域外画素を生成しようとする注目フレームにおける時間方向動きベクトルの起点と、その時間方向動きベクトルの逆ベクトルの延長線上の注目フレーム近傍のフレームとの交点であって領域外となる終点との対応関係を時間方向対応点リストメモリ５２に時間方向対応点リストとして蓄積させる。

時間方向動きベクトル生成部５３は、時間方向対応点リストメモリ５２の情報、および動きベクトルバッファ２３に蓄積された時間方向動きベクトルとに基づいて、領域外画素毎の時間方向の動きベクトルを生成し、時間方向動きベクトルバッファ４４に蓄積させる。

時間方向バックワードレンダリング部５５は、領域外画素バッファ２５に蓄積されている領域外画素のうち時間方向バックワードレンダリング部４５により無効画素として登録されている画素についてのみ、時間方向動きベクトルバッファ５４に蓄積されている領域外画素の時間方向動きベクトルと、入力画像とを用いて、バックワードレンダリングにより領域外画素を生成し、領域外画素バッファ２５に蓄積させる。この際、時間方向バックワードレンダリング部５５は、自らが生成した領域外画素を用いて、新たな領域外画素を生成することがある。また、時間方向バックワードレンダリング部５５は、生成できない画素については、無効画素として設定する。

次に、図５を参照して、反時間方向対応点リスト生成部４１の構成例について説明する。

起点画素設定部７１は、入力画像バッファ２１の所定フレームnの注目画素pを起点画素pとして設定し、設定したフレームｎの起点画素ｐの情報を反時間方向動きベクトル判定部７２に供給する。反時間方向動きベクトル判定部７２は、起点画素である注目画素の動きベクトルが反時間方向動きベクトルｖ１のみであるか否かを判定して、反時間方向動きベクトルｖ１のみである場合、その反時間方向動きベクトルｖ１を終点画素計算部７３に供給する。

終点画素計算部７３は、起点画素ｐと反時間方向動きベクトルｖ１に基づいて、反時間方向のフレームｎ’上の終点画素ｑの位置を計算し、計算結果を終点画素領域判定部７４に供給する。終点画素領域判定部７４は、計算された終点画素の位置が領域外であるか否かを判定し、領域外であるとき、起点画素p、終点画素ｑ、およびフレーム番号ｎを反時間方向対応点リスト登録部７５に供給すると供に、フレームn’を１インクリメントして、再び終点画素計算部７３に通知し、インクリメントされたフレームn’上の終点画素ｑをさらに計算させる。

反時間方向対応点リスト登録部７５は、終点画素領域判定部７４より供給されてきた起点画素ｐ，終点画素ｑ、およびフレームnを要素m（＝｛ｐ（ｉ，ｊ），ｑ（ｘ，ｙ），Ｎ=ｎ｝）として、反時間方向対応点リストメモリ４２の反時間方向対応点リストＢＬ（n’）に登録させる。

次に、図６を参照して、時間方向対応点リスト生成部５１の構成例について説明する。

起点画素設定部８１は、入力画像バッファ２１の所定フレームnの注目画素pを起点画素pとして設定し、設定したフレームｎの起点画素ｐの情報を時間方向動きベクトル判定部８２に供給する。時間方向動きベクトル判定部８２は、起点画素である注目画素の動きベクトルが反時間方向動きベクトルｖ０のみであるか否かを判定して、時間方向動きベクトルｖ０のみである場合、その時間方向動きベクトルｖ０を終点画素計算部８３に供給する。

終点画素計算部８３は、起点画素ｐと時間方向動きベクトルｖ０に基づいて、時間方向のフレームｎ’上の終点画素ｑの位置を計算し、計算結果を終点画素領域判定部８４に供給する。終点画素領域判定部８４は、計算された終点画素の位置が領域外であるか否かを判定し、領域外であるとき、起点画素p、終点画素ｑ、およびフレーム番号ｎを時間方向対応点リスト登録部８５に供給すると供に、フレームn’を１インクリメントして、再び終点画素計算部８３に通知し、インクリメントされたフレームn’上の終点画素ｑをさらに計算させる。

時間方向対応点リスト登録部８５は、終点画素領域判定部８４より供給されてきた起点画素ｐ、終点画素ｑ、およびフレームｎを要素ｍ’（＝｛ｐ（ｉ，ｊ），ｑ（ｘ，ｙ），ｎ=Ｎ｝）として、時間方向対応点リストメモリ５２の時間方向対応点リストBＦ（n’）に登録させる。

次に、図７を参照して、反時間方向動きベクトル生成部４３について説明する。

注目画素設定部１０１は、領域外画素のうちの未処理の画素を、処理対象とする注目画素Ｐとして設定し、設定した注目画素Ｐの情報を領域外近傍要素収集部１０２および領域内近傍反時間方向ベクトル収集部１０３に供給する。

領域外近傍要素収集部１０２は、反時間方向対応点リストメモリ４２の要素ｍのうち、注目画素Ｐ近傍の終点画素ｑを持つ要素ｍ［ｋ］（＝｛ｑ［ｋ］，Ｐ［ｋ］，Ｎ［ｋ］｝：ｋ＝１・・・M）を収集して反時間方向動きベクトル補間計算部１０４に供給する。

領域外近傍反時間方向ベクトル収集部１０３は、動きベクトルバッファ２３に格納されている反時間方向動きベクトルのうち、注目画素Ｐ近傍の起点画素rを持つベクトルｑｖ［ｋ］（ｋ＝１・・・Ｓ）を収集して反時間方向動きベクトル補間計算部１０４に供給する。

反時間方向動きベクトル補間計算部１０４は、領域外近傍要素収集部１０２より供給された要素ｍ［ｋ］の集合およびベクトルｑｖ［ｋ］の集合に基づいて、領域外画素の各画素について反時間方向動きベクトルＶ（Ｐ）を補間生成し、反時間方向動きベクトル登録部１０５に供給する。

反時間方向動きベクトル登録部１０５は、領域外画素の反時間方向動きベクトルＶ（Ｐ）を順次反時間方向動きベクトルバッファ４４に登録する。

次に、図８を参照して、時間方向動きベクトル生成部５３について説明する。

注目画素設定部１２１は、領域外画素のうちの未処理の画素を、処理対象とする注目画素Ｐとして設定し、設定した注目画素Ｐの情報を領域外近傍要素収集部１２２および領域内近傍反時間方向ベクトル収集部１２３に供給する。

領域外近傍要素収集部１２２は、時間方向対応点リストメモリ５２の要素ｍのうち、注目画素Ｐ近傍の終点画素ｑを持つ要素ｍ’［ｋ］（＝｛ｑ［ｋ］，Ｐ［ｋ］，Ｎ［ｋ］｝：ｋ＝１・・・M）を収集して時間方向動きベクトル補間計算部１２４に供給する。

領域外近傍反時間方向ベクトル収集部１２３は、動きベクトルバッファ２３に格納されている時間方向動きベクトルのうち、注目画素Ｐ近傍の起点画素ｒを持つベクトルｑｖ［ｋ］（ｋ＝１・・・S）を収集して時間方向動きベクトル補間計算部１２４に供給する。

時間方向動きベクトル補間計算部１２４は、領域外近傍要素収集部１２２より供給された要素ｍ’［ｋ］の集合およびベクトルｑｖ［ｋ］の集合に基づいて、領域外画素の各画素について時間方向動きベクトルＶ（Ｐ）を補間生成し、時間方向動きベクトル登録部１２５に供給する。

時間方向動きベクトル登録部１２５は、領域外画素の時間方向動きベクトルＶ（Ｐ）を順次時間方向動きベクトルバッファ５４に登録する。

次に、図９を参照して、反時間方向バックワードレンダリング部４５の構成例について説明する。

注目画素設定部１４２は、領域外画素のうちの未処理の画素を、処理対象とする注目画素Ｐとして設定し、設定した注目画素Ｐの情報を反時間方向動きベクトル抽出部１４１に供給する。反時間方向動きベクトル抽出部１４１は、反時間方向動きベクトルバッファ４４に蓄積されている、領域外画素の反時間方向動きベクトルＶ１（Ｐ）のうち、注目画素設定部１４２により設定された画素Ｐに対応する反時間方向動きベクトルＶ１（Ｐ）を抽出し領域内判定部１４３に供給する。

領域内判定部１４３は、注目画素Ｐを起点として、反時間方向動きベクトルＶ１（Ｐ）を設定した場合の終点となる終点画素Ｑの位置を求め、領域内（領域ＳＣ）であるか否かを判定する。終点画素Ｑが領域内の場合、領域内画素抽出部１４４を制御して、領域内である終点画素Ｑの近傍の４画素を入力画像バッファ２１より抽出して、双線形補間部１４９に供給し、４近傍双１次線形補間処理により画素値を生成させて、注目画素Ｐの画素として領域外画素バッファ２５に登録させる。終点画素Ｑが領域内ではない場合、領域内判定部１４３は、反時間方向ベクトル抽出部１４１より供給された領域外の反時間方向ベクトルＶ１（Ｐ）を領域外判定部１４５に供給する。

領域外判定部１４５は、注目画素Ｐを起点として、反時間方向動きベクトルＶ１（Ｐ）を設定した場合の終点となる終点画素Ｑの位置が領域外（領域ＳＲまたはSL）であるか否かを判定する。終点画素Ｑが領域外の場合、領域外判定部１４５は、終点画素Ｑの位置情報を近傍画素抽出部１４７を制御して、領域外画素バッファ２５にアクセスさせて、終点画素Ｑの近傍の複数の画素（例えば、4画素）を抽出させ、無効判定部１４８に供給させる。

無効判定部１４８は、近傍画素抽出部１４７より供給されてくる複数の近傍画素が全て無効画素であるか否かを判定する。例えば、全て無効画素ではない（少なくとも１画素は無効画素ではない）場合、無効判定部１４８は、近傍画素を双線形補間部１４９に供給する。双線形補間部１４９は、4点の近傍画素を４近傍双１次線形補間処理することにより画素を生成して注目画素Ｐの画素として領域外画素バッファ２５に登録する。

一方、全てが無効画素であった場合、無効判定部１４８は、近似動きベクトル計算部１５０に対して終点画素Ｑの近傍の4点の画素の反時間方向動きベクトルを、４近傍双１次線形補間処理することにより終点画素Ｑを起点とする反時間方向近似動きベクトルＶ２（Ｑ）を生成させて、新たな終点画素Ｑ’を求めて領域内判定部１４３に供給し、同様の処理を繰り返させる。ただし、この場合、反時間方向に1フレーム前の画素が利用される。

さらに、終点画素Qが領域外ではないと判定された場合、すなわち、領域内でも、領域外でもない場合、終点画素Qは生成される画像内ではないとみなされ、領域外判定部１４５は、無効登録部１４６を制御して、注目画素Ｐを無効画素として領域外画素バッファ２５に登録させる。

次に、図１０を参照して、時間方向バックワードレンダリング部５５の構成例について説明する。

注目画素設定部１６２は、領域外画素バッファ２５より無効画素抽出部１７１により抽出されてくる、反時間方向バックワードレンダリング部４５の処理により無効画素として設定された領域外画素のうちの未処理の画素を、処理対象とする注目画素Ｐとして設定し、設定した注目画素Ｐの情報を時間方向動きベクトル抽出部１６１に供給する。時間方向動きベクトル抽出部１６１は、時間方向動きベクトルバッファ５４に蓄積されている、領域外画素の時間方向動きベクトルＶ０（Ｐ）のうち、注目画素設定部１６２により設定された画素Ｐに対応する時間方向動きベクトルＶ０（Ｐ）を抽出し領域内判定部１６３に供給する。

領域内判定部１６３は、注目画素Ｐを起点として、時間方向動きベクトルＶ０（Ｐ）を設定した場合の終点となる終点画素Ｑの位置を求め、領域内（領域ＳＣ）であるか否かを判定する。終点画素Ｑが領域内の場合、領域内画素抽出部１６４を制御して、領域内である終点画素Ｑの近傍の４画素を入力画像バッファ２１より抽出して、双線形補間部１６９に供給し、４近傍双１次線形補間処理により画素値を生成させて、注目画素Ｐの画素として領域外画素バッファ２５に登録させる。終点画素Ｑが領域内ではない場合、領域内判定部１６３は、時間方向ベクトル抽出部１６１より供給された領域外の時間方向ベクトルＶ０（Ｐ）を領域外判定部１６５に供給する。

領域外判定部１６５は、注目画素Ｐを起点として、時間方向動きベクトルＶ０（Ｐ）を設定した場合の終点となる終点画素Ｑの位置が領域外（領域ＳＲまたはSL）であるか否かを判定する。終点画素Ｑが領域外の場合、領域外判定部１６５は、終点画素Ｑの位置情報を近傍画素抽出部１６７を制御して、領域外画素バッファ２５にアクセスさせて、終点画素Ｑの近傍の複数の画素（例えば、4画素）を抽出させ、無効判定部１６８に供給させる。

無効判定部１６８は、近傍画素抽出部１６７より供給されてくる複数の近傍画素が全て無効画素であるか否かを判定する。例えば、全て無効画素ではない（少なくとも１画素は無効画素ではない）場合、無効判定部１６８は、近傍画素を双線形補間部１６９に供給する。双線形補間部１６９は、4点の近傍画素を４近傍双１次線形補間処理することにより画素を生成して注目画素Ｐの画素として領域外画素バッファ２５に登録する。

一方、全てが無効画素であった場合、無効判定部１６８は、近似動きベクトル計算部１７０に対して終点画素Ｑの近傍の4点の画素の反時間方向動きベクトルを、４近傍双１次線形補間処理することにより終点画素Ｑを起点とする反時間方向近似動きベクトルＶ３（Ｐ）を生成させて、新たな終点画素Ｑ’を求めて領域内判定部１６３に供給し、同様の処理を繰り返させる。ただし、この場合、時間方向に1フレーム後の画素が利用される。

さらに、終点画素Qが領域外ではないと判定された場合、すなわち、領域内でも、領域外でもない場合、生成される画像内ではないとみなされ、領域外判定部１６５は、無効登録部１６６を制御して、注目画素Ｐを無効画素として領域外画素バッファ２５に登録させる。

次に、図１１のフローチャートを参照して、図２の画像処理システムにおける画像変換処理について説明する。

ステップＳ１において、入力画像バッファ１は、ＳＤ画像再生装置１より入力されてくるＳＤ画像をフレーム単位で順次蓄積する。

ステップＳ２において、動きベクトル抽出部２２は、入力画像バッファ１に蓄積されたＳＤ画像の各フレームについて、画素単位で動きベクトルを抽出し、抽出した動きベクトルを動きベクトルバッファに蓄積する。このとき、動きベクトル抽出部２２は、例えば、図１２で示されるように時間方向および反時間方向についてそれぞれ動きベクトルを抽出する。

図１２においては、入力画像バッファ１に蓄積されているＳＤ画像のフレームが示されており、図中の左からフレーム＃−１、＃０、＃１、＃２が時間方向に配置されている例が示されている。図中の各フレームの実線で示される方形は、画素を示しており、その中の点線は、各画素の水平方向および垂直方向の中心位置を示している。また、図１２において、時間方向動きベクトルは点線で示されており、反時間方向動きベクトルが実線で示されている。

従って、ＳＤ画像の各画素には、反時間方向動きベクトルおよび時間方向動きベクトルの最大で２個の動きベクトルが抽出される。また、ＳＤ画像の各画素における反時間方向動きベクトルおよび時間方向動きベクトルは、起点が画素単位の座標、すなわち、画素数を表現する整数単位の座標で表現することができる。尚、ＳＤ画像の各画素における反時間方向動きベクトルおよび時間方向動きベクトルの終点画素の座標は、いずれも画素単位以下の座標、すなわち、少数単位の座標で表現されることがある。

ステップＳ３において、領域外画素レンダリング部２４は、領域外画素レンダリング処理を実行し、入力画像バッファ２１に蓄積されたＳＤ画像の各画素と、動きベクトルバッファ２３に蓄積されたＳＤ画像の動きベクトルとに基づいて、領域外画素、すなわち、生成しようとするＨＤ画像における、ＨＤ画像に含まれるＳＤ画像以外の領域の画素を生成して領域外画素バッファ２５に蓄積させる。尚、領域外画素レンダリング処理については、図１３以降において、詳細を説明する。

ステップＳ４において、合成部２６は、フレーム毎に、入力されたＳＤ画像に領域外画素バッファ２５に蓄積された領域外画素を合成することによりＨＤ画像を生成してＨＤ画像表示装置３に出力し表示する。

以上の処理により、入力画像であるＳＤ画像が広画角化されて順次ＨＤ画像に変換されて表示されることになる。

次に、図１３のフローチャートを参照して、図４の領域外画素レンダリング部２４による領域外画素レンダリング処理について説明する。

ステップＳ２１において、反時間方向対応点リスト生成部４１は、反時間方向対応リスト生成処理を実行し、反時間方向動きベクトルにおける領域外画素を含む画素間の起点と終点との対応を示す反時間方向対応リストを生成し、反時間方向対応リストメモリ４２に記憶させる。

ここで、図１４のフローチャートを参照して、反時間方向対応リスト生成処理について説明する。

ステップＳ４１において、起点画素設定部７１は、処理対象となる注目画素としてＳＤ画像のフレームｎ上の起点画素ｐ（ｉ，ｊ，ｎ）を設定し、反時間方向動きベクトル判定部７２および終点画素計算部７３に供給する。ここで、ｉ，ｊは、それぞれ起点画素ｐの水平方向および垂直方向の座標であり、ｎはフレーム番号である。尚、ｉ，ｊは、ＳＤ画像のフレームｎ上の画素であるので、いずれも整数である。

ステップＳ４２において、反時間方向動きベクトル判定部７２は、動きベクトルバッファ２３よりフレームｎの画素ｐの反時間方向動きベクトルｖ１を読み出す。

ステップＳ４３において、反時間方向動きベクトル判定部７２は、反時間方向動きベクトルｖ１のみであるか否かを判定する。すなわち、動きベクトルは、画素について複数であることもあるため、反時間方向動きベクトルｖ１のみであるか否かが判定される。例えば、反時間方向動きベクトルｖ１のみではない場合、処理は、ステップＳ４９に進み、未処理の画素があればステップＳ４１に戻り、未処理の画素が無ければ処理は終了する。

ステップＳ４３において、反時間方向動きベクトルｖ１が1個のみであると判定された場合、ステップＳ４４において、反時間方向動きベクトル判定部７２は、判定結果を終点画素計算部７３に供給し、終点画素の計算を要請する。これにより終点画素計算部７３は、反時間方向動きベクトルの終点となるフレームｎ’をフレーム（ｎ＋１）に設定する。すなわち、ここでは、時間方向に１フレーム分進んだフレームが終点となるフレームに設定される。

ステップＳ４５において、終点画素計算部７３は、反時間方向動きベクトルｖ１の逆ベクトルの延長線上におけるフレームｎ上の起点画素ｐに対応するフレームｎ’上の終点画素ｑ（ｘ，ｙ，ｎ’）を計算し、計算した計算結果である終点画素ｑ（ｘ，ｙ，ｎ’）および起点画素p（ｉ，ｊ，ｎ）を終点画素領域判定部７４に供給する。

より詳細には、終点画素計算部７３は、反時間方向動きベクトルの逆ベクトルの延長線上における起点画素ｐを起点とする半直線上の点列L（ｉ，ｊ，ｎ，ｎ’）＝ｐ＋（ｎ’−ｎ）×（−ｖ１）を設定し、この半直線上であって、かつ、フレームｎ’上の画素を終点画素ｑ（ｘ，ｙ，ｎ’）＝L（ｉ，ｊ，ｎ，ｎ’）として計算する。尚、ここで、ｘ，ｙは、それぞれ終点画素の水平方向および垂直方向の座標（点列Lとフレームｎ’との交点であるためｘ，ｙは、整数とならないこともある）であり、ｎ’は、終点画素のフレーム番号ｎ’である。

ステップＳ４６において、終点画素領域判定部７４は、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属するか否か、すなわち、図１における領域ＳＲまたはSLに存在する画素であるか否かを判定する。例えば、ステップＳ４６において、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属すると判定された場合、ステップＳ４７において、終点画素領域判定部７４は、その判定結果、並びに、起点画素p（ｉ，ｊ，ｎ）および終点画素ｑ（ｘ，ｙ，ｎ’）を反時間方向対応点リスト登録部７５に供給する。これにより、反時間方向対応点リスト登録部７５は、要素ｍ（＝｛ｐ（ｉ，ｊ），ｑ（ｘ，ｙ），Ｎ=ｎ｝）を反時間方向対応点リストメモリ４２の反時間方向対応点リストＢＬ［ｎ’］に登録する。尚、ステップＳ４７において、終点画素領域判定部７４は、同一の終点画素を求めるフレームｎ’を１インクリメントして再度処理を進めるように終点画素計算部７３に対して指示する信号を供給する。

ステップＳ４８において、終点画素計算部７３は、反時間方向動きベクトルの終点となるフレームｎ’を１インクリメントしてフレーム（ｎ’＋１）に設定し、処理は、ステップＳ４５に戻る。

すなわち、点列Lが、複数のフレームｎ’と、領域外に属する場合、ステップＳ４５乃至Ｓ４８の処理が繰り返されて、複数の反時間方向対応点リストＢＬ［ｎ’］が反時間方向対応点リストメモリ４２に登録されることになる。

一方、ステップＳ４６において、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属さないと判定された場合、処理は、ステップＳ４９に進む。

以上の処理により、ＳＤ画像の反時間方向動きベクトルの逆ベクトルの延長線上における起点画素ｐを通る直線上であって、領域外のフレーム上の画素位置が終点画素ｑとして順次求められ、起点画素ｐ、終点画素ｑ、およびフレーム番号ｎ’からなる要素ｍが反時間方向対応点リストＢＬとして反時間方向対応点リストメモリ４２に登録される。

ここで、反時間方向対応点リストＢＬの情報は、例えば、図１５で示されるような関係を示したリストであると言える。図１５においては、画像内で物体Ａ，Ｂが移動するとき、フレーム間の時間方向動きベクトルと反時間方向動きベクトルの関係を示している。また、図１５においては、縦軸（ｘ軸）は、生成されるＨＤ画像の水平方向を示しており、横軸（ｔ軸）は、時間方向を示している。さらに、図１５においては、時間方向にフレームｎ１乃至ｎ１２が配置されており、図中の上段が領域ＳＲであり、中段が領域ＳＣであり、下段が領域ＳＬである。すなわち、下端から上端までがHD画面の水平方向の幅である。

図１５において、物体Ａは、時間の変化と供にフレームｎ５乃至ｎ１０の間にフレームインしていることが示されている。また、物体Ｂは、時間の変化と供にフレームｎ１乃至ｎ７の間にフレームアウトした後、フレームｎ８乃至ｎ１０においてフレームインしている。図１５においては、物体Ｂについてのみ、反時間方向動きベクトルが示されている。尚、反時間方向動きベクトルは、模式的な表現であるため、各フレームについて３画素分のもののみが示されている。

このように、反時間方向対応点リストＢＬには、領域内と領域外とを跨ぐ反時間方向動きベクトルの起点画素と終点画素との関係が登録されることになる。従って、たとえば、注目画素ｐがフレームｎ４上であったとき、BL［ｎ５］の要素として、起点画素ｐ（ｉ，ｊ）と終点画素ｑ１（ｘ１，ｙ１）との対応関係が求められるとき、その要素ｍは、ｍ＝｛ｐ（ｉ，ｊ），ｑ１（ｘ１，ｙ１），Ｎ＝ｎ５｝として登録されることになる。さらに、この場合、ステップＳ４８によりフレーム番号ｎ’が１インクリメントされることにより、BL［ｎ６］の要素として、起点画素ｐ（ｉ，ｊ）と終点画素ｑ２（ｘ２，ｙ２）との対応関係が求められるので、その要素ｍは、ｍ＝｛ｐ（ｉ，ｊ），ｑ２（ｘ２，ｙ２），Ｎ＝ｎ６｝として登録されることになる。

ここで、図１３のフローチャートに戻る。

ステップＳ２１において、反時間方向対応点リスト生成処理により反時間方向対応点リストＢＬが生成されると、ステップＳ２２において、時間方向対応点リスト生成部５１は、時間方向対応点リスト生成処理を実行し、時間方向動きベクトルにおける領域外画素を含む画素間の起点と終点との対応を示す時間方向対応リストＦＬを生成し、時間方向対応リストメモリ５２に記憶させる。

ここで、図１６のフローチャートを参照して、時間方向対応リスト生成処理について説明する。尚、時間方向対応リスト生成処理は、反時間方向動きベクトルに代えて時間方向動きベクトルを用いる以外、基本的に、上述した反時間方向対応リスト生成処理と同様の処理である。

すなわち、ステップＳ６１において、起点画素設定部８１は、処理対象となる注目画素としてＳＤ画像のフレームｎ上の起点画素p（ｉ，ｊ，ｎ）を設定し、時間方向動きベクトル判定部８２および終点画素計算部８３に供給する。ここで、ｉ，ｊは、それぞれ起点画素ｐの水平方向および垂直方向の座標であり、ｎはフレーム番号である。尚、ｉ，ｊは、ＳＤ画像のフレームｎ上の画素であるので、いずれも整数である。

ステップＳ６２において、時間方向動きベクトル判定部８２は、動きベクトルバッファ２３よりフレームｎの画素ｐの時間方向動きベクトルｖ０を読み出す。

ステップＳ６３において、時間方向動きベクトル判定部８２は、反時間方向動きベクトルｖ０のみであるか否かを判定する。例えば、時間方向動きベクトルｖ０のみではない場合、処理は、ステップＳ６９に進み、未処理の画素があればステップＳ６１に戻り、未処理の画素が無ければ処理は終了する。

ステップＳ６３において、時間方向動きベクトルｖ０が1個のみであると判定された場合、ステップＳ６４において、時間方向動きベクトル判定部８２は、判定結果を終点画素計算部８３に供給し、終点画素の計算を要請する。これにより終点画素計算部８３は、時間方向動きベクトルの終点となるフレームｎ’をフレーム（ｎ−１）に設定する。すなわち、ここでは、時間方向に１フレーム分前のフレームが終点となるフレームに設定される。

ステップＳ６５において、終点画素計算部８３は、時間方向動きベクトルｖ０の逆ベクトルの延長線上におけるフレームｎ上の起点画素ｐに対応するフレームｎ’上の終点画素ｑ（ｘ，ｙ，ｎ’）を計算し、計算した計算結果である終点画素ｑ（ｘ，ｙ，ｎ’）および起点画素p（ｉ，ｊ，ｎ）を終点画素領域判定部７４に供給する。

より詳細には、終点画素計算部８３は、時間方向動きベクトルの逆ベクトルの延長線上における起点画素ｐを起点とする半直線上の点列L（ｉ，ｊ，ｎ，ｎ’）＝ｐ＋（ｎ’−ｎ）×（−ｖ０）を設定し、この半直線上であって、かつ、フレームｎ’上の画素を終点画素ｑ（ｘ，ｙ，ｎ’）として計算する。尚、ここで、ｘ，ｙは、それぞれ終点画素の水平方向および垂直方向の画素であり、ｎ’は、終点画素のフレーム番号ｎ’である。

ステップＳ６６において、終点画素領域判定部８４は、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属するか否か、すなわち、図１における領域ＳＲまたはSLに存在する画素であるか否かを判定する。例えば、ステップＳ６６において、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属すると判定された場合、ステップＳ６７において、終点画素領域判定部８４は、その判定結果、並びに、起点画素p（ｉ，ｊ，ｎ）および終点画素ｑ（ｘ，ｙ，ｎ’）を時間方向対応点リスト登録部８５に供給する。これにより、時間方向対応点リスト登録部８５は、要素ｍ’（＝｛ｐ（ｉ，ｊ），ｑ（ｘ，ｙ），Ｎ=ｎ｝）を反時間方向対応点リストメモリ５２の時間方向対応点リストＢＦ［ｎ’］に登録する。尚、ステップＳ６７において、終点画素領域判定部８４は、同一の終点画素を求めるフレームｎ’を１デクリメントして再度処理を進めるように終点画素計算部８３に対して指示する信号を供給する。

ステップＳ６８において、終点画素計算部８３は、時間方向動きベクトルの終点となるフレームｎ’を１デクリメントしてフレーム（ｎ’−１）に設定し、処理は、ステップＳ６５に戻る。

一方、ステップＳ６６において、終点画素ｑ（ｘ，ｙ，ｎ’）が領域外に属さないと判定された場合、処理は、ステップＳ６９に進む。

以上の処理により、ＳＤ画像の時間方向動きベクトルの逆ベクトルの延長線上における起点画素ｐを通る直線上であって、領域外のフレーム上の画素位置が終点画素ｑとして順次求められ、起点画素ｐ、終点画素ｑ、およびフレーム番号ｎ’からなる要素ｍ’が時間方向対応点リストＦＬとして時間方向対応点リストメモリ５２に登録される。

すなわち、図１７で示されるように、時間方向対応点リストＦＬには、領域内と領域外とを跨ぐ反時間方向動きベクトルの起点画素と終点画素との関係が登録されることになる。従って、たとえば、注目画素ｐがフレームｎ９上であったとき、ＦＬ［ｎ８］の要素として、起点画素ｐ（ｉ，ｊ）と終点画素ｑ１（ｘ１，ｙ１）との対応関係が求められるとき、その要素ｍ’は、ｍ’＝｛ｐ（ｉ，ｊ），ｑ１（ｘ１，ｙ１），Ｎ＝ｎ８｝として登録されることになる。さらに、この場合、ステップＳ６８によりフレーム番号ｎ’が１デクリメントされることにより、ＦＬ［ｎ７］の要素として、起点画素ｐ（ｉ，ｊ）と終点画素ｑ２（ｘ２，ｙ２）との対応関係が求められるので、その要素ｍ’は、ｍ’＝｛ｐ（ｉ，ｊ），ｑ２（ｘ２，ｙ２），Ｎ＝ｎ７｝として登録されることになる。

ここで、図１３のフローチャートに戻る。

ステップＳ２２において、時間方向対応点リスト生成処理により時間方向対応点リストＦＬが生成されると、ステップＳ２３において、反時間方向動きベクトル生成部４３は、反時間方向動きベクトル生成処理を実行し、領域外画素における反時間方向動きベクトルを生成し、反時間方向動きベクトルバッファ４４に記憶させる。

ここで、図１８のフローチャートを参照して、反時間方向動きベクトル生成処理について説明する。

ステップＳ７１において、注目画素設定部１０１は、処理対象となる注目画素として領域外画素の注目画素Ｐ（ｉ，ｊ，ｎ）を設定し、領域外近傍要素１０２および領域内近傍反時間方向ベクトル収集部１０３に供給する。ここで、ｉ，ｊは、それぞれ領域外画素の水平方向および垂直方向の座標であり、ｎはフレーム番号である。

ステップＳ７２において、領域外近傍要素１０２は、反時間方向対応点リスト４２にアクセスし、各要素ｍのうち、注目画素Ｐの近傍の終点画素ｑ（ｘ，ｙ，ｎ’）を備えた要素ｍ［ｋ］（＝｛p［ｋ］，q［ｋ］，N［ｋ］｝：ｋ＝１，２・・・Ｍ）を領域外近傍要素として抽出し反時間方向動きベクトル補間計算部１０４に供給する。ここで、p［ｋ］は、起点画素であり、q［ｋ］は終点画素であり、N［ｋ］はフレーム番号であり、Ｍ個の要素ｍ［ｋ］が抽出されることが示されている。

ステップＳ７３において、領域内近傍反時間方向ベクトル収集部１０３は、動きベクトルバッファ２３にアクセスし、反時間方向動きベクトルｖ１のうち、注目画素Ｐの近傍の反時間方向動きベクトルｑｖ［ｋ］（ｋ＝１，２・・・Ｓ）を領域内近傍反時間方向ベクトルとして抽出し反時間方向動きベクトル補間計算部１０４に供給する。

ステップＳ７４において、反時間方向動きベクトル補間計算部１０４は、以下の式（１）を演算することにより、領域外画素Ｐの反時間方向動きベクトルＶ（Ｐ）を求め、反時間方向動きベクトル登録部１０５に供給する。

ここで、式（１）において、第１項に含まれるＶ_m（Ｐ）は、以下の式（２）で示される。

また、式（１）において、第２項に含まれるＶ_d（Ｐ）は、以下の式（３）で示される。

さらに、式（１）において、第１項および第２項に含まれるｄ（Ｐ）は、以下の式（４）で示される。

尚、式（４）におけるｇ（ｒ，σ）は、ガウス関数であり、図１９で示されるように距離ｒが小さいほど大きく、ｒが大きくなるについて小さくなる関数である。

すなわち、式（２）で示されるＶ_m（Ｐ）は、注目画素Ｐに近い終点画素ｑを含む反時間方向対応点リストＢＬの起点画素ｐと終点画素ｑとからなるベクトルを正規化したベクトルを、注目画素Ｐからの距離に応じた重みを付して平均化したものである。つまり、Ｖ_m（Ｐ）は、注目画素Ｐ近傍に存在する、領域外の注目画素周辺の複数のベクトルを、注目画素Ｐからの距離に応じて重み付け平均したベクトルであると言える。

また、式（３）で示されるＶ_d（Ｐ）は、注目画素Ｐに近いＳＤ画像の反時間方向動きベクトルｖ１を、注目画素からの距離に応じた重みを付して平均化したものである。

さらに、式（４）で示されるｄ（V）は、注目画素ｐと終点画素ｑとの距離に基づいた重みの平均が所定の閾値εよりも小さいとき１であり、それ以外のとき０である。

従って、式（１）は、注目画素Ｐと終点画素ｑとの距離に基づいた重みの平均が所定値εよりも小さいとき、すなわち、注目画素Ｐの十分近傍に終点画素ｑを持つ要素ｍがあるとき、Ｖ_m（Ｐ）を採用し、逆に、注目画素Ｐと終点画素ｑとの距離に基づいた重みの平均が所定値εよりも大きいとき、すなわち、注目画素Ｐの十分近傍に終点画素ｑを持つ要素ｍが存在しないとき、Ｖ_d（Ｐ）を採用する。

換言すれば、式（１）は、注目画素Ｐに対して十分に近い位置に存在する、信頼性の高い領域外画素を用いて得られるベクトルにより反時間方向ベクトルが求められるときには、それらの重み付け平均であるＶ_m（Ｐ）が採用され、それ以外のとき、注目画素Ｐ近傍の領域内画素の反時間方向動きベクトルの距離に応じた重み付け平均であるＶ_d（Ｐ）が採用される。

結果として、領域外画素を用いたベクトルと領域内画素により得られている動きベクトルとを、注目画素との距離に応じた信頼度に応じて切替えて、領域外画素の反時間方向動きベクトルを生成される。

ステップＳ７５において、反時間方向動きベクトル登録部１０５は、反時間方向動きベクトル補間計算部１０４より供給されてきた、領域外画素の反時間方向動きベクトルＶ（Ｐ）を反時間方向動きベクトルバッファ４４に登録する。

ステップＳ７６において、注目画素設定部１０１は、未処理の領域外画素が存在するか否かを判定し、未処理の領域外画素が存在する場合、処理は、ステップＳ７１に戻り、未処理の領域外画素が存在しない場合、すなわち、全ての領域外画素について処理がなされた場合、処理は、終了する。

以上の処理により、近傍に領域外画素を用いたベクトルがあれば、そのベクトルの重み付け平均として、それ以外であれば、領域内画素、すなわち、入力画像の各画素の動きベクトルより、各領域外画素の反時間方向動きベクトルが求められる。

ここで、図１３のフローチャートに戻る。

ステップＳ２４において、領域外画素の反時間方向動きベクトルが生成されると、ステップＳ２５において、時間方向動きベクトル生成部５３は、時間方向動きベクトル生成処理を実行し、領域外画素における時間方向動きベクトルを生成し、時間方向動きベクトルバッファ５４に記憶させる。

ここで、図２０のフローチャートを参照して、時間方向動きベクトル生成処理について説明する。尚、時間方向動きベクトル生成処理は、反時間方向動きベクトルに代えて時間方向動きベクトルを用いる以外、基本的に、上述した反時間方向動きベクトル生成処理と同様の処理である。

すなわち、ステップＳ８１において、注目画素設定部１２１は、処理対象となる注目画素として領域外画素の注目画素Ｐ（ｉ，ｊ，ｎ）を設定し、領域外近傍要素収集部１２２および領域内近傍反時間方向ベクトル収集部１２３に供給する。ここで、ｉ，ｊは、それぞれ領域外画素の水平方向および垂直方向の座標であり、ｎはフレーム番号である。

ステップＳ８２において、領域外近傍要素収集部１２２は、時間方向対応点リスト５２にアクセスし、各要素ｍ’のうち、注目画素Ｐの近傍の終点画素ｑ（ｘ，ｙ，ｎ’）を備えた要素ｍ’［ｋ］（＝｛p［ｋ］，q［ｋ］，N［ｋ］｝：ｋ＝１，２・・・Ｍ）を領域外近傍要素として抽出し反時間方向動きベクトル補間計算部１０４に供給する。ここで、p［ｋ］は、起点画素であり、q［ｋ］は終点画素であり、N［ｋ］はフレーム番号である。

ステップＳ８３において、領域内近傍反時間方向ベクトル収集部１２３は、動きベクトルバッファ２３にアクセスし、時間方向動きベクトルｖ０のうち、注目画素Ｐの近傍の時間方向動きベクトルｑｖ［ｋ］（ｋ＝１，２・・・Ｓ）を領域内近傍反時間方向ベクトルとして抽出し時間方向動きベクトル補間計算部１２４に供給する。

ステップＳ８４において、時間方向動きベクトル補間計算部１２４は、上述の式（１）を演算することにより、領域外画素Ｐの時間方向動きベクトルＶ（Ｐ）を求め、時間方向動きベクトル登録部１０５に供給する。

ステップＳ８５において、時間方向動きベクトル登録部１２５は、時間方向動きベクトル補間計算部１２４より供給されてきた、領域外画素の時間方向動きベクトルＶ（Ｐ）を反時間方向動きベクトルバッファ４４に登録する。

ステップＳ８６において、注目画素設定部１２１は、未処理の領域外画素が存在するか否かを判定し、未処理の領域外画素が存在する場合、処理は、ステップＳ８１に戻り、未処理の領域外画素が存在しない場合、すなわち、全ての領域外画素について処理がなされた場合、処理は、終了する。

以上の処理により、各領域外画素について、近傍に存在するベクトルの種類により時間方向動きベクトルが求められる。

ここで、図１３のフローチャートに戻る。

ステップＳ２５において、領域外画素の時間方向動きベクトルが生成されると、ステップＳ２６において、反時間方向バックワードレンダリング部４５は、反時間方向バックワードレンダリング処理を実行し、領域外画素を生成し、領域外画素バッファ２５に蓄積する。

ここで、図２１のフローチャートを参照して、反時間方向バックワードレンダリング処理について説明する。

ステップＳ１０１において、注目画素設定部１４２は、処理対象となる注目画素として領域外画素のフレームｎ上の注目画素Ｐ（ｉ，ｊ，ｎ）を設定し、反時間方向動きベクトル抽出部１４１に供給する。ここで、ｉ，ｊは、それぞれ起点画素ｐの水平方向および垂直方向の座標であり、ｎはフレーム番号である。尚、ｉ，ｊは、ＨＤ画像のフレームｎ上の画素であるので、いずれも整数である。

ステップＳ１０２において、反時間方向動きベクトル抽出部１４１は、反時間方向動きベクトルバッファ４４より注目画素Ｐの反時間方向動きベクトルＶ１（Ｐ）を抽出し、領域内判定部１４３に供給する。

ステップＳ１０３において、領域内判定部１４３は、反時間方向動きベクトルＶ１（Ｐ）の終点画素が領域内であるか否かを判定し、例えば、領域内であると判定された場合、ステップＳ１０４において、領域内判定部１４３は、領域内画素抽出部１４４を制御して、入力画像バッファ２１に蓄積されているＳＤ画像の画素のうち、反時間方向動きベクトルＶ１（Ｐ）の終点画素Ｑに対応する位置の画素の近傍の４画素を抽出させ、双線形補間部１５２に供給させる。

ステップＳ１０５において、双線形補間部１４９は、供給された反時間方向動きベクトルＶ１（Ｐ）の終点画素Ｑに対応する位置の画素の近傍の４画素を用いて、４近傍双１次線形補間処理により画素値を生成させて、領域外画素バッファ２５に注目画素Ｐの画素値として登録させ、処理は、ステップＳ１１２に進む。

すなわち、反時間方向動きベクトルＶ１（Ｐ）の終点画素Ｑが領域内であるならば、注目画素Ｐの次のフレームにおいて、ＳＤ画像内の画素として表示されていることになるので、次のフレームの画素を反時間方向ベクトルとは逆方向にマッピングすることで、領域外画素を生成することができる。このようにベクトルに対して逆方向に順次マッピングすることから、このようなマッピングをバックワードマッピングと称するものとする。

一方、ステップＳ１０３において、終点画素が領域内ではないと判定された場合、ステップＳ１０６において、領域内判定部１４３は、反時間方向動きベクトルＶ１（Ｐ）を領域外判定部１４５に供給する。領域外判定部１４５は、注目画素Ｐに対する終点画素Ｑが、領域外から外れた領域に存在するか否かを判定する。ステップＳ１０６において、例えば、領域外から外れている、すなわち、ＨＤ画像の範囲を越えていると判定された場合、ステップＳ１０７において、領域外判定部１４５は、無効登録部１４６を制御して、注目画素Ｐの画素値を無効画素として領域外画素バッファ２５に登録させ、処理は、ステップＳ１１３に進む。

すなわち、バックワードマッピングをするに当たり、反時間方向動きベクトルの終点画素がＨＤ画像の範囲を越えている場合、マッピングに使用できる画素が存在しないことになるので、マッピングが不能となり、結果として、注目画素Ｐは、無効画素として登録されることになる。

ステップＳ１０６において、終点画素が領域外から外れていないと判定された場合、すなわち、ステップＳ１０３において、領域内ではないと判定され、領域外からも外れていないとすれば、注目画素Ｐは、領域外であるとみなされ、ステップＳ１０８において、領域外判定部１４５は、近傍画素抽出部１４７を制御して、反時間方向動きベクトルＶ１（Ｐ）の終点画素Ｑの近傍の４画素を領域外画素バッファ２５より抽出させ、無効判定部１４８に供給させる。

ステップＳ１０９において、無効判定部１４８は、反時間方向動きベクトルＶ１（Ｐ）の終点画素Ｑの近傍の４画素が全て無効画素として登録されているか否かを判定する。ステップＳ１０９において、例えば、４画素全てが無効画素として登録されていた場合、ステップＳ１１０において、無効判定部１４８は、近似動きベクトル計算部１５０に対して、抽出された近傍の４画素の反時間方向動きベクトルを読み出させ、４近傍双一次線形補間計算により注目画素Ｐの反時間方向動きベクトルの終点画素Ｑを起点画素とする反時間方向動きベクトルの近似動きベクトルＶ２（Ｑ）を生成させて、領域内判定部１４３に供給させ、処理は、ステップＳ１０３に戻る。

すなわち、注目画素Ｐの反時間方向動きベクトルの終点画素を起点画素とする反時間方向動きベクトルの近似動きベクトルが生成されることにより、近似動きベクトルの終点画素、すなわち、さらに１フレーム前の画素を、注目画素Ｐの画素値としてマッピングできるように処理する。このようにすることで、複数のフレームに渡って、無効登録された画素がバックワードマッピングにおいて連続するようなことがあっても、画像の先頭フレームまで検索し続けることができる。

ステップＳ１０９において、４画素が全て無効登録されておらず、少なくとも１画素は、既に求められていた場合、ステップＳ１１１において、無効判定部１４８は、４画素のうち、無効登録されていない画素の画素値を用いて、４近傍双一次線形補間計算することにより、反時間方向動きベクトルＶ（Ｐ）の終点画素の画素値を生成し、領域外画素バッファ２５に登録する。

すなわち、反時間方向動きベクトルＶ（Ｐ）の終点画素の近傍に、既に求められている画素値がある場合、その画素値を用いて補間計算により、注目画素Ｐの画素値を求める。

ステップＳ１１２において、注目画素設定部１４２は、未処理の領域外画素が存在するか否かを判定し、未処理の領域外画素が存在する場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１１３において、未処理の領域外画素が存在しないと判定された場合、処理は、終了する。

以上の処理により、例えば、図２２で示されるように、フレーム＃−２乃至フレーム＃２が時間ｔ方向に順次配置され、フレーム＃−２上に画素Ｐ０があり、フレーム＃−１上に画素Ｐ１があり、フレーム＃０上に画素Ｐ２乃至Ｐ４が存在し、画素Ｐ１乃至Ｐ４の反時間方向動きベクトルが、それぞれＶ１１乃至Ｖ１４である場合、以下のような処理が実現される。

例えば、フレーム＃−１上の画素Ｐ１が注目画素であるとき、反時間方向動きベクトルＶ１１の終点画素Ｐ０の近傍の４画素の画素値が求められていれば、その画素Ｐ０の近傍の４画素の画素値より、４近傍双１次線形補間により求められる画素値を注目画素Ｐ１の画素値に設定する。さらに、フレーム＃０上の画素Ｐ２が注目画素である場合、反時間方向動きベクトルＶ１２の終点画素Ｐ１の近傍の４画素の画素値が求められていれば、注目画素Ｐ２の画素値は、画素Ｐ１の近傍の４画素の画素値の４近傍双１次線形補間により求められる画素値が登録される。

また、画素Ｐ３が注目画素であった場合、反時間方向動きベクトルＶ１３の終点画素がＰ１となるが、この画素Ｐ１の近傍の４画素の画素値が無効登録されていたり、まだ求められていない場合、画素Ｐ１の近傍の４画素（または、それ以外の数でもよい）の反時間方向動きベクトルを用いて双一次線形補間計算により近似的に画素Ｐ１の反時間方向動きベクトルＶ１１を求めることにより、近似動きベクトルＶ１１の終点画素Ｐ０が求められる。結果として、注目画素Ｐ３の画素値が画素Ｐ０の画素値として登録される。

さらに、画素Ｐ４が注目画素であるような場合、画素Ｐ４の反時間方向動きベクトルＶ４の終点画素が、フレーム＃１上に存在しないので、このような場合、画素Ｐ４は無効画素として登録されることになる。

ここで、図１３のフローチャートに戻る。

ステップＳ２５において、領域外画素の反時間方向バックワードレンダリングにより領域外画素が生成されると、ステップＳ２６において、時間方向バックワードレンダリング部５５は、時間方向バックワードレンダリング処理を実行し、領域外画素を生成し、領域外画素バッフ２５に記憶させる。

ここで、図２３のフローチャートを参照して、時間方向バックワードマッピング処理について説明する。尚、時間方向バックワードマッピング処理は、反時間方向動きベクトルに代えて時間方向動きベクトルを用いる以外、基本的に、上述した反時間方向バックワードマッピング処理と同様の処理である。

すなわち、ステップＳ１３１において、注目画素設定部１６２は、無効画素抽出部１７４により領域外画素バッファ２５において無効登録されている画素のうち、処理対象となる注目画素として領域外画素のフレームｎ上の注目画素Ｐ（ｉ，ｊ，ｎ）を設定し、時間方向動きベクトル抽出部１６１に供給する。ここで、ｉ，ｊは、それぞれ起点画素ｐの水平方向および垂直方向の座標であり、ｎはフレーム番号である。尚、ｉ，ｊは、ＨＤ画像のフレームｎ上の画素であるので、いずれも整数である。

ステップＳ１３２において、時間方向動きベクトル抽出部１６１は、時間方向動きベクトルバッファ５４より注目画素Ｐの時間方向動きベクトルＶ０（Ｐ）を抽出し、領域内判定部１４３に供給する。

ステップＳ１３３において、領域内判定部１６３は、時間方向動きベクトルＶ０（Ｐ）の終点画素が領域内であるか否かを判定し、例えば、領域内であると判定された場合、ステップＳ１３４において、領域内判定部１６３は、領域内画素抽出部１６４を制御して、入力画像バッファ２１に蓄積されているＳＤ画像の画素のうち、時間方向動きベクトルＶ（Ｐ）の終点画素に対応する位置の画素の近傍の４画素を領域外画素バッファ２５より抽出させ、無効判定部１６８に供給させる。

ステップＳ１３５において、双線形補間部１６９は、供給された反時間方向動きベクトルＶ０（Ｐ）の終点画素Ｑに対応する位置の画素の近傍の４画素を用いて、４近傍双１次線形補間処理により画素値を生成させて、領域外画素バッファ２５に注目画素Ｐの画素値として登録させ、処理は、ステップＳ１４２に進む。

一方、ステップＳ１３３において、終点画素が領域内ではないと判定された場合、ステップＳ１３６において、領域内判定部１６３は、時間方向動きベクトルＶ（Ｐ）を領域外判定部１６５に供給する。領域外判定部１６５は、時間方向動きベクトルＶ（Ｐ）の終点画素が、領域外から外れた領域に存在するか否かを判定する。

ステップＳ１３６において、例えば、領域外から外れている、すなわち、ＨＤ画像の範囲を越えていると判定された場合、ステップＳ１３７において、領域外判定部１６５は、無効登録部１６６を制御して、注目画素Ｐの画素値を無効画素として領域外画素バッファ２５に登録させ、処理は、ステップＳ１４２に進む。

ステップＳ１３６において、終点画素が領域外から外れていないと判定された場合、すなわち、ステップＳ１３３において、領域内ではないと判定され、領域外からも外れていないとすれば、注目画素Ｐは、領域外であるとみなされ、領域外判定部１６５は、近傍画素抽出部１６７を制御して、時間方向動きベクトルＶ０（Ｐ）の終点画素の近傍の４画素を領域外画素バッファ２５より抽出させ、無効判定部１６８に供給させる。

ステップＳ１３９において、無効判定部１６８は、時間方向動きベクトルＶ（Ｐ）の終点画素の近傍の４画素が全て無効画素として登録されているか否かを判定する。ステップＳ１３９において、例えば、４画素全てが無効画素として登録されていた場合、ステップＳ１４１において、無効判定部１６８は、近似動きベクトル計算部１７０に対して、抽出された近傍の４画素の反時間方向動きベクトルを読み出させ、４近傍双一次線形補間計算により注目画素Ｐの反時間方向動きベクトルの終点画素Ｑを起点画素とする反時間方向動きベクトルの近似動きベクトルＶ３（Ｑ）を生成させて、領域内判定部１６３に供給させ、処理は、ステップＳ１３３に戻る。

ステップＳ１３９において、４画素が全て無効登録されておらず、少なくとも１画素は、既に求められていた場合、ステップＳ１４１において、無効判定部１６８は、４画素のうち、無効登録されていない画素の画素値を用いて、４近傍双一次線形補間計算することにより、反時間方向動きベクトルＶ０（Ｐ）の終点画素の画素値を生成し、領域外画素バッファ２５に登録する。

すなわち、反時間方向動きベクトルＶ（Ｐ）の終点画素の近傍に、既に求められている画素値がある場合、その画素値を用いて補間計算により、注目画素Ｐの画素値を求める。

ステップＳ１４２において、注目画素設定部１６２は、未処理の領域外画素が存在するか否かを判定し、未処理の領域外画素が存在する場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１４２において、未処理の領域外画素が存在しないと判定された場合、処理は、終了する。

以上の処理により、反時間方向バックワードマッピング処理で無効登録されていた画素のみが時間方向バックワードマッピング処理により生成されることにより、反時間方向バックワードマッピング処理で生成できなかった領域外画素を効率良く生成することが可能となる。

ここで、図１３のフローチャートに戻る。

以上のように、ステップＳ２６の時間方向バックワードレンダリング処理が終了することにより、領域画素レンダリング処理が終了する。

以上の処理により、ＳＤ画像の各画素の動きベクトルを用いることにより、バックワードレンダリングによりＨＤ画像のうちのＳＤ画像領域外の領域外画素を生成することが可能となる。結果として、これまでＨＤ画像を備えた表示装置が、ＳＤ画像を表示すると、図２４の上部で示されるように、ＳＤ画像からなる領域ＳＣには画像が表示されるが領域ＳＬ，SRには、画像が表示されなかったが、領域ＳＬ，SRの画素を生成することが可能となるので、ＳＤ画像をあたかもＨＤ画像のようにＳＤ画像の画角を広げて表示することが可能となる。

尚、以上の例においては、領域外画素レンダリング処理において、反時間方向レンダリング処理を先に実行し、時間方向レンダリング処理において、反時間方向レンダリング処理において、無効登録された画素のみを処理する例について説明してきたが、順序を逆にして、時間方向レンダリング処理を先に実行し、時間方向レンダリング処理により無効登録された画素についてのみ反時間方向レンダリング処理を実行して求めるようにしても良い。

さらに、領域外画素レンダリング処理において、反時間方向レンダリング処理および時間方向レンダリング処理を、領域外画素既に施し、２個の値が得られたときには、平均化するなどして、合成するようにしてもよい。

図２５は、領域外画素レンダリング処理において、反時間方向レンダリング処理および時間方向レンダリング処理を、領域外画素の全てに施し、１画素について２個の値が得られたときには、距離に応じた重みを付して平均化するようにした領域外画素レンダリング部２４の構成を示している。尚、図４における構成と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２５において、図４の領域外画素レンダリング部２４と異なるのは、反時間方向バックワードレンダリング部４５、および時間方向バックワードレンダリング部５５に代えて、反時間方向バックワードレンダリング部２０１、および時間方向バックワードレンダリング部２０２を設け、さらに、領域外画素合成部２０３を設けた点である。

反時間方向バックワードレンダリング部２０１、および時間方向バックワードレンダリング部２０２の機能は、反時間方向バックワードレンダリング部４５、および時間方向バックワードレンダリング部５５と基本的に同様であるが、いずれも、全領域外画素に対してバックワードレンダリング処理により領域外画素を生成する。さらに、反時間方向バックワードレンダリング部２０１、および時間方向バックワードレンダリング部２０２は、それぞれバックワードレンダリング処理を実行した後、結果を領域外画素合成部２０３に供給する。

領域外画素生成部２０３は、反時間方向バックワードレンダリング部２０１、および時間方向バックワードレンダリング部２０２より供給されてくる領域外画素の画素値の情報を取得して、同一の領域外画素の画素値が２種類得られた場合、それらを平均化して領域外画素バッファ２５に登録する。

次に、図２６のフローチャートを参照して、図２３の領域外画素レンダリング部２４による領域外画素レンダリング処理について説明する。尚、図２６におけるステップＳ１６１乃至Ｓ１６６の処理は、図１３のフローチャートにおけるステップＳ２１乃至Ｓ２６の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１６７において、領域外画素合成部２０３は、反時間方向バックワードレンダリング部２０１、および時間方向バックワードレンダリング部２０２より供給されてくる領域外画素の画素値の情報を取得して、同一の領域外画素の画素値が２種類得られた場合、それらを平均化して領域外画素バッファ２５に登録する。

尚、図２６のフローチャートにおいては、ステップＳ１６５，Ｓ１６６の処理は、事実上並列的に同時に実行されており、同一の位置の画素値を反時間方向バックワードレンダリング部２０１からの反時間方向バックワードレンダリング処理結果と、時間方向バックワードレンダリング部２０１からの時間方向バックワードレンダリング処理結果とが、ほぼ同一のタイミングで、領域外画素合成部２０３に供給されることが望ましい。ただし、この他にタイミングを吸収するためにバッファを設けるなどするようにしてもい。

以上の処理により、反時間方向動きベクトルと時間方向動きベクトルとを用いた画素を両方利用することにより、領域外画素をより正確に登録することが可能となる。

本発明によれば、ＳＤ画像のフレーム間の画像と、各画素の動きベクトルを用いることにより、ＳＤ画像の画角を広げたＨＤ画像を生成することが可能となる。

尚、以上においては、ＳＤ画像をＨＤ画像で表示可能な画角に広げる例について説明してきたが、ＳＤ画像からＨＤ画像へと画角を変化させるだけでなく、第１の様々形状の画像を、それよりも大きな第２の様々な形状の画像に変換することが可能となる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

従来のHD画面にＳＤ画像を表示した場合の表示例を説明する図である。 本発明を適用した画像処理システムの一実施の形態の構成を示す図である。 図２の画像変換装置の構成例について説明するブロック図である。 図３の領域外画素レンダリング部の構成例を説明するブロック図である。 図４の反時間方向対応点リスト生成部の構成例を説明するブロック図である。 図４の時間方向対応点リスト生成部の構成例を説明するブロック図である。 図４の反時間方向動きベクトル生成部の構成例を説明するブロック図である。 図４の時間方向動きベクトル生成部の構成例を説明するブロック図である。 図４の反時間方向バックワードレンダリング部の構成例を説明する図である。 図４の時間方向バックワードレンダリング部の構成例を説明する図である。 画像変換処理を説明するフローチャートである。 時間方向および反時間方向についてそれぞれ動きベクトルを説明する図である。 図４の領域外画素レンダリング部による領域外画素レンダリング処理を説明するフローチャートである。 反時間方向対応リスト生成処理を説明するフローチャートである。 反時間方向対応点リストを説明する図である。 時間方向対応リスト生成処理を説明するフローチャートである。 時間方向対応点リストを説明する図である。 反時間方向動きベクトル生成処理を説明するフローチャートである。 ガウス関数を説明する図である。 時間方向動きベクトル生成処理を説明するフローチャートである。 反時間方向バックワードレンダリング処理を説明するフローチャートである。 反時間方向バックワードレンダリング処理を説明する図である。 時間方向バックワードマッピング処理を説明するフローチャートである。 本発明を適用した画像処理装置により生成される画像を説明する図である。 その他の領域外画素レンダリング部の構成例を説明するブロック図である。 図２５の領域外画素レンダリング部による領域外画素レンダリング処理を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

２ 画像変換装置， ２４ 領域外画素レンダリング部， ４１ 反時間方向対応点リスト生成部， ４２ 反時間方向対応点リストメモリ， ４３ 反時間方向動きベクトル生成部， ４４ 反時間方向動きベクトルバッファ， ４５ 反時間方向バックワードレンダリング， ５１ 時間方向対応点リスト生成部， ５２ 時間方向対応点リストメモリ， ５３ 反時間方向動きベクトル生成部， ５４ 時間方向動きベクトルバッファ， ５５ 時間方向バックワードレンダリング， ７１ 起点画素設定部， ７２ 反時間方向動きベクトル， ７３ 終点画素計算部， ７４ 終点画素領域判定部， ７５ 反時間方向対応点リスト登録部， ８１ 起点画素設定部， ８２ 反時間方向動きベクトル， ８３ 終点画素計算部， ８４ 終点画素領域判定部， ８５ 反時間方向対応点リスト登録部， １０１ 注目画素設定部， １０２ 領域外近傍要素， １０３ 領域内近傍反時間方向ベクトル収集部， １０４ 反時間方向動きベクトル補間計算部， １０５ 反時間方向動きベクトル登録部， １２１ 注目画素設定部， １２２ 領域外近傍要素， １２３ 領域内近傍反時間方向ベクトル収集部， １２４ 時間方向動きベクトル補間計算部， １２５ 時間方向動きベクトル登録部， １４１ 反時間方向動きベクトル抽出部， １４２ 注目画素設定部， １４３ 領域内判定部， １４４ 領域内画素抽出部， １４５ 領域外判定部， １４６ 無効登録部， １４７ 登録済画素判定部， １４８ 領域外画素抽出部， １４９ 領域外画素再登録部， １５０ 近傍画素抽出部， １５１ 無効判定部， １５２ 双線形補間部， １５３ 近似動きベクトル計算部， １６１ 時間方向動きベクトル抽出部， １６２ 注目画素設定部， １６３ 領域内判定部， １６４ 領域内画素抽出部， １６５ 領域外判定部， １６６ 無効登録部， １６７ 登録済画素判定部， １６８ 領域外画素抽出部， １６９ 領域外画素再登録部， １７０ 近傍画素抽出部， １７１ 無効判定部， １７２ 双線形補間部， １７３ 近似動きベクトル計算部， １７４ 無効画素抽出部

Claims (9)

1. 第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置において、
   前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出手段と、
   前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成手段と、
   前記画素生成手段により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成手段と
   を含む画像処理装置。
2. 前記第１の画像はＳＤ画像であり、前記第２の画像はＨＤ画像である
   第１の画像処理装置。
3. 前記第１の動きベクトルに基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成する動きベクトル生成手段を更に含み、
   前記画素生成手段は、前記第２の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する
   請求項１の画像処理装置。
4. 前記動きベクトル生成手段は、前記第１の動きベクトルを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成する
   第３の画像処理装置。
5. 前記動きベクトル生成手段は、前記第１の動きベクトルを用いて、注目フレームとその他のフレームとの関係から、前記第１の画像における起点となる画素と、前記第２の画像内における前記第１の画像領域外の領域の終点となる画素との対応関係を求め、前記第１の動きベクトルと前記対応関係とを用いて補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の動きベクトルを、第２の動きベクトルとして生成する
   第３の画像処理装置。
6. 前記動きベクトル抽出手段は、前記第１の画像における各画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルとして抽出し、
   前記動きベクトル生成手段は、前記時間方向の第１の動きベクトル、および反時間方向の第１の動きベクトルをそれぞれ補間することにより、前記第２の画像内における前記第１の画像領域外の領域の画素の時間方向の動きベクトル、および反時間方向の動きベクトルを、それぞれ反時間方向の第２の動きベクトル、および時間方向の第２の動きベクトルとして生成する
   第３の画像処理装置。
7. 前記画素生成手段は、前記第１の画像の各画素を前記第２の動きベクトルを用いて、前前記第２の動きベクトルの時間方向と反時間方向にマッピングすることにより、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する
   第３の画像処理装置。
8. 第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置の画像処理方法において、
   前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出ステップと、
   前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成ステップと、
   前記画素生成ステップの処理により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成ステップと
   を含む画像処理方法。
9. 第１の画像を、前記第１の画像により表示される範囲を含む、前記第１の画像により表示される範囲よりも広い範囲を表示する第２の画像に変換する画像処理装置を制御するコンピュータに、
   前記第１の画像における各画素の動きベクトルを、第１の動きベクトルとして抽出する動きベクトル抽出ステップと、
   前記第１の動きベクトル、および前記第１の画像に基づいて、前記第２の画像内における前記第１の画像領域外の領域の画素を生成する画素生成ステップと、
   前記画素生成ステップの処理により生成された前記第２の画像内における前記第１の画像領域外の領域の画素、および、前記第１の画像の画素を合成し、前記第２の画像を生成する画像生成ステップと
   を含む処理を実行させるプログラム。

Images