JP2011142410A - 画像処理装置 - Google Patents

Abstract

【課題】複数の領域を含む画像データをサイズ変更して立体表示を行う際に、適切に立体表示を行うことができる画像データを生成する。
【解決手段】１フレームの映像が複数の領域に分割された異なる映像から構成される入力画像データを入力とし、前記画像データの画像サイズを変更することにより、サイズ変更後入力画像データを生成する入力部１１０およびリサイズ部２１１と、出力フレーム上の互いに不連続な位置に配置された複数の領域に、前記サイズ変更後入力画像データを出力することにより、出力画像データを生成するメモリ制御部１５０とを備える。
【選択図】図７

Description

本発明は、入力画像データをサイズ変更した立体視用の画像データを生成する画像処理装置に関する。

従来、視聴者が立体的に感じる３次元映像を表示する３次元映像表示装置が知られている（例えば、特許文献１参照）。この３次元映像表示装置は、互いに視差を有する右眼用画像と左眼用画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、３次元映像表示装置は、右眼用画像と左眼用画像とを１フレームごとに交互に表示する。

このような左眼用画像と右眼用画像とを作り出す方法として、２次元画像データと後述する参照画像データとから左眼用画像と右眼用画像とを作り出す方法が知られている。

図１Ａは、２次元画像データの一例を示す図である。
２次元画像データ３２０は、フルハイビジョン画像（１９２０ピクセル×１０８０ピクセル）であり、一例として、２つの建物の画像を含んでいるものとする。また、前方に位置する建物から後方に位置する建物が透けて見えているものとする。

図１Ｂは、参照画像データの一例を示す図である。
参照画像データ３３０は、２次元画像データ３２０と同じサイズのデータであり、４つの領域（領域３３１〜３３４）に区分されており、各領域に２次元画像データ３２０を立体表示させるためのデータが記憶されている。２次元画像データ３２０（参照画像データ３３０）がフルハイビジョン画像の場合には、各領域のサイズは、９６０ピクセル×５４０ピクセルとなる。例えば、参照画像データ３３０の領域３３２には、２次元画像データ３２０の各画素の深さ（視聴者からの距離）を示す画像データが含まれている。各領域は、２次元画像データ３２０の１／４のサイズであることより、当該画像データの１画素が２次元画像データ３２０の２×２画素の深さを示している。

このように、２次元画像データ３２０と参照画像データ３３０の各領域内の画像データとが一対一に対応付けられている。例えば、２次元画像データ３２０のｘｙ座標位置を（ｘ１，ｙ１）とすると、（ｘ１，ｙ１）に対応する領域３３１の座標位置は、（ｘ１／２，ｙ１／２）となる。また、（ｘ１，ｙ１）に対応する領域３３２の座標位置は、（９６０＋ｘ１／２，ｙ１／２）となる。また、（ｘ１，ｙ１）に対応する領域３３３の座標位置は、（ｘ１／２，５４０＋ｙ１／２）となる。さらに、（ｘ１，ｙ１）に対応する領域３３４の座標位置は、（９６０＋ｘ１／２，５４０＋ｙ１／２）となる。

このような２次元画像データ３２０および参照画像データ３３０から左眼用画像と右眼用画像とが作り出され、立体表示が行われる。

特開２００９−１２４７６８号公報

データ放送の表示時などに２次元画像データ３２０が縮小され、縮小された２次元画像データが表示される場合がある。これと同じことを図１Ａおよび図１Ｂに示したような２次元画像データ３２０および参照画像データ３３０に対して行い、立体表示を行おうとすると、適切な立体表示が行われないという問題がある。

つまり、図２（ａ）に示すような２次元画像データ３２０を縮小して、縮小２次元画像データ３２１Ａを作成し、縮小２次元画像データ３２１Ａを２次元画像データ３２０と同じサイズの画像データの座標位置に貼り付けることにより、図２（ｂ）に示すような縮小２次元画像データ３２１が作成されるものとする。このとき、２次元画像データ３２０を縮小したのと同じ方法を、図３（ａ）に示すような参照画像データ３３０に適用する。これにより、縮小参照画像データ３３６Ａが、縮小２次元画像データ３２１Ａと同じ位置に配置された、図３（ｂ）に示すような縮小参照画像データ３３６が作成される。しかしながら、２次元画像データ３２０は、参照画像データ３３０の４つの領域にそれぞれ対応している。このため、縮小前の２次元画像データ３２０および参照画像データ３３０を用いて立体表示を行うのと同じ回路を用いて立体表示を行うためには、領域毎に縮小を行う必要がある。しかし、図３（ｂ）に示した縮小参照画像データ３３６は、領域毎に縮小が行われていない。このため、図２（ｂ）および図３（ｂ）に示した縮小２次元画像データ３２１および縮小参照画像データ３３６を用いて立体表示を行うと、適切な表示が行われない。

本発明は、上述の課題を解決するためになされたものであり、複数の領域を含む画像データをサイズ変更して立体表示を行う際に、適切に立体表示を行うことができる画像データを生成する画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明のある局面に係る画像処理装置は、１フレームの映像が複数の領域に分割された異なる映像から構成される入力画像データを入力とし、前記画像データの画像サイズを変更することにより、サイズ変更後入力画像データを生成するサイズ変更部と、出力フレーム上の互いに不連続な位置に配置された複数の領域に、前記サイズ変更後入力画像データを出力することにより、出力画像データを生成する画像出力部とを備える。

好ましくは、前記サイズ変更部は、前記入力画像データの入力を受け付ける入力部と、前記入力部で受け付けられた前記入力画像データを１枚の画像データとして所定の倍率でサイズ変更し、サイズ変更後の入力画像データである第１サイズ変更後入力画像データをメモリに書込むリサイズ部とを有し、前記画像出力部は、１垂直同期期間内の第１垂直有効期間および１水平同期期間内の第１水平有効期間において、前記メモリに記憶されている前記第１サイズ変更後入力画像データの各画素データを順次読み出すことにより、前記複数の領域の各々に含まれるそれぞれの画像データをサイズ変更した第２サイズ変更後入力画像データを生成するメモリ制御部を有し、前記第１垂直有効期間および前記第１水平有効期間の各々は、前記入力画像データの前記複数の領域に含まれるそれぞれの画像データをサイズ変更した際のサイズ変更後の各画像データの前記第２サイズ変更後入力画像データにおける座標位置に対応し、前記第１垂直有効期間および前記第１水平有効期間で示される前記サイズ変更後の各画像データの相対位置は、前記複数の領域間で同一である。

この構成によると、複数の領域からなる入力画像データを１枚の画像データとしてサイズ変更して第１サイズ変更後入力画像データを作成した上で、第１垂直有効期間および第２水平有効期間において第１サイズ変更後入力画像データの読出しを行っている。これにより、領域毎に画像データのサイズ変更が行われたのと同じ第２サイズ変更後入力画像データを作成している。このため、第２サイズ変更後入力画像データを用いて立体表示を行った際に、適切な立体表示を行うことができる。また、領域毎に画像データをサイズ変更する必要がないため、リサイズ部を複数設ける必要もないし、１つのリサイズ部が複数回のサイズ変更処理を行う必要もない。

好ましくは、前記入力部は、さらに、２次元画像データを受け付け、前記入力画像データに含まれる前記複数の領域のいずれかは、前記２次元画像データを立体表示するためのデータを含み、前記リサイズ部は、さらに、前記入力部で受け付けられた前記２次元画像データを１枚の画像データとして前記所定の倍率でサイズ変更し、サイズ変更後の２次元画像データである第１サイズ変更後２次元画像データを前記メモリに記憶し、前記メモリ制御部は、さらに、前記１垂直同期期間内の第２垂直有効期間および前記１水平同期期間内の第２水平有効期間において、前記メモリに記憶されている前記第１サイズ変更後２次元画像データの各画素データを順次読み出すことにより、第２サイズ変更後２次元画像データを生成し、前記第２垂直有効期間および前記第２水平有効期間の各々は、前記第１サイズ変更後２次元画像データの前記第２サイズ変更後２次元画像データにおける座標位置に対応する。

さらに好ましくは、前記第１垂直有効期間および前記第１水平有効期間で示される前記サイズ変更後の各画像データの座標と、前記第２垂直有効期間および前記第２水平有効期間で示される前記第１サイズ変更後２次元画像データの座標とは対応している。

この構成によると、第２サイズ変更後入力画像データに含まれる各画像データの座標位置と、第２サイズ変更後２次元画像データに含まれる第１サイズ変更後２次元画像データの座標位置とを対応付けることができる。このため、第２サイズ変更後２次元画像データと第２サイズ変更後入力画像データとを用いて立体表示を行った際に、適切な立体表示を行うことができる。

また、前記入力画像データは、前記複数の領域として、左眼用画像データを示す左半分の領域と、右眼用画像データを示す右半分の領域とを含んでいてもよい。

この構成によると、左眼用画像データと右眼用画像データとを含む入力画像データをサイズ変更して、適切な立体表示を行うことができる。また、領域毎に画像データをサイズ変更する必要がないため、リサイズ部を２つ設ける必要もないし、１つのリサイズ部が２回のサイズ変更処理を行う必要もない。

なお、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することができる。また、画像処理方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、複数の領域を含む画像データをサイズ変更して立体表示を行う際に、適切に立体表示を行うことができる画像データを生成することができる。

２次元画像データの一例を示す図である。 参照画像データの一例を示す図である。 ２次元画像データの縮小処理について説明する図である。 参照画像データの縮小処理について説明する図である。 図１Ｂに示した参照画像データを領域毎に縮小した縮小参照画像データを示す図である。 本発明の実施の形態に係る３次元画像処理装置の外観図である。 ３次元画像処理装置によって画像処理が施され、デジタルテレビに表示される３次元画像データを説明するための概念図である。 ３次元画像処理装置のハードウェア構成を示すブロック図である。 有効領域記憶部に記憶されているデータの一例を示す図である。 ３次元画像処理装置が実行する処理のフローチャートである。 ２次元画像データの縮小処理について説明する図である。 参照画像データの縮小処理について説明する図である。 縮小２次元画像データ読出し処理（図９のＳ１４）の詳細を示すフローチャートである。 縮小２次元画像データ読出し処理（図９のＳ１４）を説明するための図である。 縮小参照画像データ読出し処理（図９のＳ１５）の詳細を示すフローチャートである。 縮小参照画像データ読出し処理（図９のＳ１５）を説明するための図である。 本発明の実施の形態の変形例を説明するための図である。

以下、本発明の実施の形態に係る３次元画像処理装置について説明する。
その説明に先立って、図１Ｂに示した参照画像データ３３０を適切に縮小した縮小参照画像データについて説明する。適切な縮小参照画像データは、参照画像データ３３０に含まれる領域毎に画像データを縮小することにより得られる。図４は、図１Ｂに示した参照画像データ３３０を領域毎に縮小した縮小参照画像データ３３７を示す図である。図４に示すように、参照画像データ３３０の各領域に含まれる画像データが、２次元画像データ３２０の縮小倍率と同じ倍率で縮小される。縮小した画像データ３３７Ａ〜３３７Ｄのそれぞれは、参照画像データ３３０と同じサイズの縮小参照画像データ３３６内の、縮小２次元画像データ３２１Ａの座標位置と対応付けられている。つまり、縮小２次元画像データ３２１のｘｙ座標位置を（ｘ１，ｙ１）とすると、（ｘ１，ｙ１）に対応付けられた画像データ３３７Ａの座標位置は、（ｘ１／２，ｙ１／２）である。また、（ｘ１，ｙ１）に対応付けられた画像データ３３７Ｂの座標位置は、（９６０＋ｘ１／２，ｙ１／２）である。また、（ｘ１，ｙ１）に対応付けられた画像データ３３７Ｃの座標位置は、（ｘ１／２，５４０＋ｙ１／２）である。さらに、（ｘ１，ｙ１）に対応付けられた画像データ３３７Ｄの座標位置は、（９６０＋ｘ１／２，５４０＋ｙ１／２）である。

このように、領域毎に参照画像データ３３０に含まれる画像データが縮小されることにより、縮小２次元画像データ３２１と縮小参照画像データ３３７とを用いて適切な立体表示を行うことができる。

しかしながら、参照画像データ３３０のように、複数の領域を含む画像データを、領域毎に縮小を行う必要がある場合には、領域の数だけ縮小回路を設けなければならない。参照画像データ３３０の場合には、４つの縮小回路が必要となる。または、１つの縮小回路で縮小を行った場合には、４回の縮小処理を行わなければならない。そこで、本実施の形態では、１つの縮小回路で１回の縮小処理を行うだけで適切な立体表示を行うことができる３次元画像処理装置について説明する。

図５は、本発明の実施の形態に係る３次元画像処理装置の外観図である。３次元画像処理装置１０は、例えば、図５に示されるように、デジタルビデオレコーダである。この３次元画像処理装置１０は、例えば、記録媒体に記録されている３次元映像信号に対して画像処理を施し、画像データを生成することにより、生成した画像データを、ＨＤＭＩケーブル等を介してデジタルテレビ２０に出力する。

なお、記録媒体の具体例は特に限定されないが、例えば、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）などの光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気ディスク、または、不揮発性メモリ等を採用することができる。

また、この３次元画像処理装置１０は、記録媒体に記録されている３次元映像信号に限られず、放送波に含まれる３次元映像信号に画像処理を施し、画像データを生成し、生成した画像データを、デジタルテレビ２０に出力するものであってもよい。放送波は、例えば、地上デジタルテレビ放送、および衛星デジタルテレビ放送などである。

さらに、この３次元画像処理装置１０は、デジタルビデオレコーダに限定されず、例えば、撮像部を備えるデジタルビデオカメラであってもよい。つまり、撮像部から出力される３次元映像信号を変換して、ＨＤＭＩケーブル等を介して表示装置（テレビ等）や記録装置（デジタルビデオレコーダ等）に出力するものであってもよい。さらに、３次元処理装置１０の機能が、表示装置（テレビ等）に含まれているものであってもよい。

図６は、３次元画像処理装置１０によって画像処理が施され、デジタルテレビ２０に表示される３次元画像データを説明するための概念図である。

３次元画像データは、図６に示されるように、左眼用画像３０Ｌと右眼用画像３０Ｒとの画像データを含む。この左眼用画像３０Ｌと右眼用画像３０Ｒとは、撮影位置から撮影対象のオブジェクトの距離に応じた視差を有する。デジタルテレビ２０は、例えば、この左眼用画像３０Ｌと右眼用画像３０Ｒとを交互に表示することにより、視聴者が立体的に感じる３次元映像を表示する。

図７は、３次元画像処理装置１０のハードウェア構成を示すブロック図である。
３次元画像処理装置１０は、入力部１１０と、デコーダ１２０と、画像記憶部１３０と、有効領域記憶部１４０と、メモリ制御部１５０と、リサイズ部２１１と、フォーマット変換部２１２と、ＯＳＤ重畳部２１３とを含む。

入力部１１０は、記録媒体に記録されている３次元映像信号３０を取得する。３次元映像信号３０は、各々が符号化された２次元画像データ３２０および参照画像データ３３０を含む。例えば、３次元映像信号３０は、符号化された２次元画像データ３２０と符号化された参照画像データ３３０とが交互にシーケンシャルに並べられた信号である。

デコーダ１２０は、入力部１１０によって取得された３次元映像信号３０を復号することにより、２次元画像データ３２０および参照画像データ３３０を生成する。

画像記憶部１３０は、２次元画像データ３２０および参照画像データ３３０を記憶する記憶装置であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。

有効領域記憶部１４０は、縮小２次元画像データ３２１中の縮小２次元画像データ３２１Ａの位置を示す第１有効領域データと、縮小参照画像データ３３７中の画像データ３３７Ａ〜３３７Ｄの位置を示す第２有効領域データとを記憶している記憶装置である。有効領域記憶部１４０は、レジスタなどにより構成される。例えば、図８に示すように、有効領域記憶部１４０には、第１有効領域データとして水平有効領域データＨａｃｔＭと垂直有効領域データＶａｃｔＭとが記憶されている。水平有効領域データＨａｃｔＭは、縮小２次元画像データ３２１中の縮小２次元画像データ３２１Ａの水平方向の位置を示すデータであり、例えば、縮小２次元画像データ３２１Ａの水平方向の始点座標および終点座標のデータを含む。垂直有効領域データＶａｃｔＭは、縮小２次元画像データ３２１中の縮小２次元画像データ３２１Ａの垂直方向の位置を示すデータであり、例えば、縮小２次元画像データ３２１Ａの垂直方向の始点座標および終点座標のデータを含む。なお、第１有効領域データおよび第２有効領域データは、予め記録媒体に記録されていてもよい。

また、有効領域記憶部１４０には、第２有効領域データとして、水平有効領域データＨａｃｔ１およびＨａｃｔ２と、垂直有効領域データＶａｃｔ１およびＶａｃｔ２とが記憶されている。水平有効領域データＨａｃｔ１は、画像データ３３７Ａおよび３３７Ｃの水平方向の位置を示すデータであり、例えば、画像データ３３７Ａおよび３３７Ｃの水平方向の始点座標および終点座標のデータを含む。水平有効領域データＨａｃｔ２は、画像データ３３７Ｂおよび３３７Ｄの水平方向の位置を示すデータであり、例えば、画像データ３３７Ｂおよび３３７Ｄの水平方向の始点座標および終点座標のデータを含む。垂直有効領域データＶａｃｔ１は、画像データ３３７Ａおよび３３７Ｂの垂直方向の位置を示すデータであり、例えば、画像データ３３７Ａおよび３３７Ｂの垂直方向の始点座標および終点座標のデータを含む。垂直有効領域データＶａｃｔ２は、画像データ３３７Ｃおよび３３７Ｄの垂直方向の位置を示すデータであり、例えば、画像データ３３７Ｃおよび３３７Ｄの垂直方向の始点座標および終点座標のデータを含む。水平有効領域データＨａｃｔ１およびＨａｃｔ２と、垂直有効領域データＶａｃｔ１およびＶａｃｔ２とは、領域間で画像データ３３７Ａ〜３３７Ｄの座標位置が対応付けられるように定められているものとする。つまり、各領域の同じ位置に画像データ３３７Ａ〜３３７Ｄがそれぞれ表示されるように定められているものとする。

メモリ制御部１５０は、画像記憶部１３０からデータの読出しおよび書込み、並びに有効領域記憶部１４０からのデータの読出しを制御する。

リサイズ部２１１は、画像記憶部１３０に記憶されている２次元画像データ３２０を縮小することにより、縮小２次元画像データ３２１を生成する。また、リサイズ部２１１は、２次元画像データ３２０の縮小倍率と同じ倍率で画像記憶部１３０に記憶されている参照画像データ３３０を縮小することにより縮小参照画像データ３３７を生成する。縮小の方法は限定されるものではないが、例えば、２次元画像データ３２０または参照画像データ３３０にＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）をかけて、間引き処理を行うことにより、２次元画像データ３２０または参照画像データ３３０の縮小を行ってもよい。

フォーマット変換部２１２は、例えば、走査方式を変更するＩＰ変換処理を実行する。すなわち、２次元画像データ３２０または縮小２次元画像データ３２１がインターレース方式で、デジタルテレビ２０がプログレッシブ方式のみに対応している場合には、インターレース方式からプログレッシブ方式へ走査方式を変更するＩＰ変換処理を行う。フォーマット変換部２１２は、参照画像データ３３０または縮小参照画像データ３３７に対しても同様の処理を行う。なお、フォーマット変換部２１２は、プログレッシブ方式からインターレース方式への走査方式の変換を行ってもよい。

ＯＳＤ重畳部２１３は、２次元画像データ３２０または縮小２次元画像データ３２１に他のデータを重畳させる。例えば、２次元画像データ３２０の下部領域に字幕を重畳させたり、縮小２次元画像データ３２１の縮小２次元画像データ３２１Ａ以外の領域にメニュー画面等を重畳させたりするＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）重畳処理を実行する。なお、重畳したデータについても立体表示を行うために、参照画像データ３３０または縮小参照画像データ３３７の各領域には、重畳したデータの透過率または深さを示すデータが重畳される。ＯＳＤ重畳部２１３は、ＯＳＤ重畳処理が施された２次元画像データ３２０または縮小２次元画像データ３２１と、参照画像データ３３０または縮小参照画像データ３３７とを、デジタルテレビ２０に出力する。

次に、３次元画像処理装置１０が実行する処理について説明する。なお、以下では、２次元画像データ３２０および参照画像データ３３０を縮小することを想定している。

図９は、３次元画像処理装置１０が実行する処理のフローチャートである。
入力部１１０は、記録媒体に記録されている３次元映像信号３０を取得する。デコーダ１２０は、取得した３次元映像信号３０を復号することにより、図１０（ａ）および図１１（ａ）にそれぞれ示すような２次元画像データ３２０および参照画像データ３３０を生成する。デコーダ１２０は、生成した２次元画像データ３２０および参照画像データ３３０を画像記憶部１３０に書込む（Ｓ１１）。

メモリ制御部１５０は、画像記憶部１３０に記憶されている２次元画像データ３２０を読み出す。リサイズ部２１１は、読み出した２次元画像データ３２０を縮小し、図１０（ｂ）に示すような縮小２次元画像データ３２１Ａを生成する。リサイズ部２１１は、生成した縮小２次元画像データ３２１Ａを、メモリ制御部１５０を介して画像記憶部１３０に書込む（Ｓ１２）。

メモリ制御部１５０は、画像記憶部１３０に記憶されている参照画像データ３３０を読み出す。リサイズ部２１１は、読み出した参照画像データ３３０を縮小し、図１１（ｂ）に示すような縮小参照画像データ３３６Ａを生成する。リサイズ部２１１は、生成した縮小参照画像データ３３６Ａを、メモリ制御部１５０を介して画像記憶部１３０に書込む（Ｓ１３）。

メモリ制御部１５０は、画像記憶部１３０に記憶されている縮小２次元画像データ３２１Ａを、有効領域記憶部１４０に記憶されている第１有効領域データで定められるタイミングで読み出すことにより、図１０（ｃ）に示すような縮小２次元画像データ３２１を生成する（Ｓ１４）。Ｓ１４の詳細については後述する。

メモリ制御部１５０は、画像記憶部１３０に記憶されている縮小参照画像データ３３６Ａを、有効領域記憶部１４０に記憶されている第２有効領域データで定められるタイミングで読み出すことにより、図１１（ｃ）に示すような縮小参照画像データ３３７を生成する（Ｓ１５）。Ｓ１５の詳細については後述する。

フォーマット変換部２１２は、メモリ制御部１５０で生成された縮小２次元画像データ３２１および縮小参照画像データ３３７を、リサイズ部２１１を介して受け取り、縮小２次元画像データ３２１および縮小参照画像データ３３７に対してＩＰ変換処理を施す（Ｓ１６）。

ＯＳＤ重畳部２１３は、ＩＰ変換処理が施された後の縮小２次元画像データ３２１および縮小参照画像データ３３７に対してＯＳＤ重畳処理を施した後、縮小２次元画像データ３２１および縮小参照画像データ３３７をデジタルテレビ２０へ出力する（Ｓ１７）。

次に、縮小２次元画像データ読出し処理（図９のＳ１４）について詳細に説明する。
図１２は、縮小２次元画像データ読出し処理（図９のＳ１４）の詳細を示すフローチャートである。

図１３は、縮小２次元画像データ読出し処理（図９のＳ１４）を説明するための図であり、最終的に生成される縮小２次元画像データ３２１と、水平同期信号Ｈｒｅｓｅｔと、垂直同期信号Ｖｒｅｓｅｔと、水平有効期間信号Ｈａｃｔと、垂直有効期間信号Ｖａｃｔとが示されている。

水平同期信号Ｈｒｅｓｅｔは、縮小２次元画像データ３２１を構成するラインの区切りを示す信号であり、水平同期信号Ｈｒｅｓｅｔに含まれるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が１水平同期期間とされる。

垂直同期信号Ｖｒｅｓｅｔは、縮小２次元画像データ３２１がプログレッシブ走査される画像データの場合には、フレームの区切りを示す信号であり、縮小２次元画像データ３２１がインターレース走査される画像データの場合には、トップフィールドおよびボトムフィールドの区切りを示す信号である。垂直同期信号Ｖｒｅｓｅｔに含まれるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が１垂直同期期間とされる。

水平有効期間信号Ｈａｃｔは、１水平同期期間内において、縮小２次元画像データ３２１中の縮小２次元画像データ３２１Ａの水平方向の位置を示す信号であり、水平有効期間信号ＨａｃｔがＨｉｇｈとなる位置が、縮小２次元画像データ３２１Ａの水平方向の位置を示している。水平有効期間信号Ｈａｃｔは、有効領域記憶部１４０に記憶されている水平有効領域データＨａｃｔＭから生成される。

垂直有効期間信号Ｖａｃｔは、１垂直同期期間内において、縮小２次元画像データ３２１中の縮小２次元画像データ３２１Ａの垂直方向の位置を示す信号であり、垂直有効期間信号ＶａｃｔがＨｉｇｈとなる位置が、縮小２次元画像データ３２１Ａの垂直方向の位置を示している。垂直有効期間信号Ｖａｃｔは、有効領域記憶部１４０に記憶されている垂直有効領域データＶａｃｔＭから生成される。

メモリ制御部１５０は、水平同期信号Ｈｒｅｓｅｔおよび垂直同期信号Ｖｒｅｓｅｔに同期して画像記憶部１３０から縮小２次元画像データ３２１Ａを読み出すことにより、縮小２次元画像データ３２１を生成する。つまり、メモリ制御部１５０は、水平有効期間信号ＨａｃｔがＨｉｇｈであり、かつ垂直有効期間信号ＶａｃｔがＨｉｇｈである区間においては（Ｓ２１でＹＥＳかつＳ２２でＹＥＳ）、画像記憶部１３０に記憶されている縮小２次元画像データ３２１Ａの画素値（画素データ）を順次読み出す。メモリ制御部１５０は、読み出した画素値を、縮小２次元画像データ３２１Ａの画素値とする（Ｓ２３）。

メモリ制御部１５０は、水平有効期間信号Ｈａｃｔまたは垂直有効期間信号ＶａｃｔがＬｏｗである区間においては（Ｓ２１でＮＯまたはＳ２２でＮＯ）、縮小２次元画像データ３２１Ａの画素値を予め定められた固定値（例えば、０ｘ１０８０８０）とする（Ｓ２４）。

メモリ制御部１５０は、生成された縮小２次元画像データ３２１を、リサイズ部２１１を介してフォーマット変換部２１２に出力する（Ｓ２６）。メモリ制御部１５０は、Ｓ２１〜Ｓ２６の処理を、画像記憶部１３０に記憶されている縮小２次元画像データ３２１Ａがなくなるまで繰り返す（Ｓ２７）。

次に、縮小参照画像データ読出し処理（図９のＳ１５）について詳細に説明する。
図１４は、縮小参照画像データ読出し処理（図９のＳ１５）の詳細を示すフローチャートである。

図１５は、縮小参照画像データ読出し処理（図９のＳ１５）を説明するための図であり、最終的に生成される縮小参照画像データ３３７と、水平同期信号Ｈｒｅｓｅｔと、垂直同期信号Ｖｒｅｓｅｔと、水平有効期間信号Ｈａｃｔと、垂直有効期間信号Ｖａｃｔとが示されている。

水平同期信号Ｈｒｅｓｅｔは、縮小参照画像データ３３７を構成するラインの区切りを示す信号であり、水平同期信号Ｈｒｅｓｅｔに含まれるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が１水平同期期間とされる。

垂直同期信号Ｖｒｅｓｅｔは、縮小参照画像データ３３７がプログレッシブ走査される画像データの場合には、フレームの区切りを示す信号であり、縮小参照画像データ３３７がインターレース走査させる画像データの場合には、トップフィールドおよびボトムフィールドの区切りを示す信号である。垂直同期信号Ｖｒｅｓｅｔに含まれるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が１垂直同期期間とされる。

水平有効期間信号Ｈａｃｔは、１水平同期期間内において、縮小参照画像データ３３７中の画像データ３３７Ａ〜３３７Ｄの水平方向の位置を示す信号であり、水平有効期間信号ＨａｃｔがＨｉｇｈとなる位置が画像データ３３７Ａ〜３３７Ｄの水平方向の位置を示している。水平有効期間信号Ｈａｃｔは、有効領域記憶部１４０に記憶されている水平有効領域データＨａｃｔ１およびＨａｃｔ２から生成される。

垂直有効期間信号Ｖａｃｔは、１垂直同期期間内において、縮小参照画像データ３３７中の画像データ３３７Ａ〜３３７Ｄの垂直方向の位置を示す信号であり、垂直有効期間信号ＶａｃｔがＨｉｇｈとなる位置が画像データ３３７Ａ〜３３７Ｄの垂直方向の位置を示している。垂直有効期間信号Ｖａｃｔは、有効領域記憶部１４０に記憶されている垂直有効領域データＶａｃｔ１およびＶａｃｔ２から生成される。

メモリ制御部１５０は、水平同期信号Ｈｒｅｓｅｔおよび垂直同期信号Ｖｒｅｓｅｔに同期して画像記憶部１３０から縮小参照画像データ３３６Ａを読み出すことにより、縮小参照画像データ３３７を生成する。つまり、メモリ制御部１５０は、水平有効期間信号ＨａｃｔがＨｉｇｈであり、かつ垂直有効期間信号ＶａｃｔがＨｉｇｈである区間においては（Ｓ３１でＹＥＳかつＳ３２でＹＥＳ）、デコーダ１２０に記憶されている縮小参照画像データ３３６Ａの画素値（画素データ）を順次読み出す。メモリ制御部１５０は、読み出した画素値を、縮小参照画像データ３３７の画素値とする（Ｓ３３）。

メモリ制御部１５０は、水平有効期間信号Ｈａｃｔまたは垂直有効期間信号ＶａｃｔがＬｏｗである区間においては（Ｓ３１でＮＯまたはＳ３２でＮＯ）、縮小参照画像データ３３７の画素値を予め定められた固定値（例えば、０ｘ１０８０８０）とする（Ｓ３４）。

メモリ制御部１５０は、生成された縮小参照画像データ３３７を、リサイズ部２１１を介してフォーマット変換部２１２に出力する（Ｓ３６）。メモリ制御部１５０は、Ｓ３１〜Ｓ３６の処理を、画像記憶部１３０に記憶されている縮小参照画像データ３３６Ａがなくなるまで繰り返す（Ｓ３７）。

以上説明したように、本実施の形態に係る３次元画像処理装置１０は、複数の領域からなる参照画像データ３３０を１枚の画像データとして縮小して縮小参照画像データ３３６Ａを作成した上で、所定の有効期間において縮小参照画像データ３３６Ａの読出しを行っている。これにより、領域毎に画像データの縮小が行われたのと同じ縮小参照画像データ３３７を作成している。また、縮小参照画像データ３３７の各領域における画像データ３３７Ａ〜３３７Ｄの位置と、縮小２次元画像データ３２１における縮小２次元画像データ３２１Ａの位置とは連動している。このため、縮小２次元画像データ３２１と縮小参照画像データ３３７とを用いて立体表示を行った際に、適切な立体表示を行うことができる。また、領域毎に画像データを縮小する必要がないため、リサイズ部２１１を複数設ける必要もないし、１つのリサイズ部２１１が複数回の縮小処理を行う必要もない。

以上、本発明の実施の形態に係る３次元画像処理装置１０について説明したが、本発明は上述の実施の形態に限定されるものではない。複数の領域からなる画像データを用いて立体表示を行う場合であれば本発明を適用可能である。

例えば、図１６（ａ）に示すように、左眼用画像データ４０２Ｌと右眼用画像データ４０２Ｒとが含まれている画像データ４０２を縮小して立体表示を行う場合には、図１６（ｂ）に示すように画像データ４０２を１枚の画像データとして縮小して、縮小画像データ４０４を作成する。その後、縮小画像データ４０４を所定の有効期間において読み出すことにより、図１６（ｃ）に示すような縮小画像データ４０６を作成することができる。縮小画像データ４０６では、左領域および右領域の同じ位置に、縮小画像データ４０４の左半分の画像データ４０４Ｌと右半分の画像データ４０４Ｒとが表示されている。縮小画像データ４０６は、画像データ４０２を領域毎に縮小したのと同じ画像データである。このため、適切な立体表示を行うことができる。また、縮小処理は１回でよいため、リサイズ部２１１を複数設ける必要もないし、１つのリサイズ部２１１が複数回の縮小処理を行う必要もない。

また、上述の実施の形態では、画像データを縮小する場合について説明したが、本発明は、画像データの縮小のみに適用可能なものではなく、画像データを拡大する場合にも適用可能である。つまり、リサイズ部２１１が、画像データを拡大し、画像記憶部１３０に書き込む。有効領域記憶部１４０には、最終的に生成される出力画像データにおける、水平有効領域データおよび垂直有効領域データが記憶されている。リサイズ部２１１は、その水平有効領域データおよび垂直有効領域データで特定されるタイミングで画像記憶部１３０に記憶されている拡大後の画像データを読み出すことにより、出力画像データを生成することができる。

また、２次元画像データ３２０および参照画像データ３３０のサイズはフルハイビジョン画像に限定されるものではなく、ハイビジョン画像（１２８０×７２０）またはＶＧＡ（６４０×４８０）等であってもよい。

また、上記の３次元画像処理装置１０は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、３次元画像処理装置１０は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、上記の３次元画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

上記の３次元画像処理装置１０を構成する構成要素の一部または全部は、３次元画像処理装置１０に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムに従って動作するとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

また、上記実施の形態および上記変形例を組み合わせるとしてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、立体視用の画像データを生成する３次元画像処理装置等に適用できる。

１０ ３次元画像処理装置
２０ デジタルテレビ
３０ ３次元映像信号
３０Ｌ 左眼用画像
３０Ｒ 右眼用画像
１１０ 入力部
１２０ デコーダ
１３０ 画像記憶部
１４０ 有効領域記憶部
１５０ メモリ制御部
２１１ リサイズ部
２１２ フォーマット変換部
２１３ ＯＳＤ重畳部
３２０ ２次元画像データ
３２１、３２１Ａ 縮小２次元画像データ
３３０ 参照画像データ
３３１〜３３４ 領域
３３６、３３６Ａ、３３７ 縮小参照画像データ
３３７Ａ、３３７Ｂ、３３７Ｃ、３３７Ｄ、４０２、４０４Ｌ、４０４Ｒ 画像データ
４０２Ｌ 左眼用画像データ
４０２Ｒ 右眼用画像データ
４０４、４０６ 縮小画像データ
Ｈａｃｔ 水平有効期間信号
Ｈａｃｔ１、Ｈａｃｔ２、ＨａｃｔＭ 水平有効領域データ
Ｈｒｅｓｅｔ 水平同期信号
Ｖａｃｔ 垂直有効期間信号
Ｖａｃｔ１、Ｖａｃｔ２、ＶａｃｔＭ 垂直有効領域データ
Ｖｒｅｓｅｔ 垂直同期信号

Claims (7)

1. １フレームの映像が複数の領域に分割された異なる映像から構成される入力画像データを入力とし、前記画像データの画像サイズを変更することにより、サイズ変更後入力画像データを生成するサイズ変更部と、
   出力フレーム上の互いに不連続な位置に配置された複数の領域に、前記サイズ変更後入力画像データを出力することにより、出力画像データを生成する画像出力部と
   を備える画像処理装置。
2. 前記出力画像データ上の、前記出力フレーム上の不連続な複数領域の位置およびサイズは、前記サイズ変更部における前記入力画像データの画像サイズの変更倍率に合わせて決定される
   請求項１記載の画像処理装置。
3. 前記サイズ変更部は、
   前記入力画像データの入力を受け付ける入力部と、
   前記入力部で受け付けられた前記入力画像データを１枚の画像データとして所定の倍率でサイズ変更し、サイズ変更後の入力画像データである第１サイズ変更後入力画像データをメモリに書込むリサイズ部とを有し、
   前記画像出力部は、
   １垂直同期期間内の第１垂直有効期間および１水平同期期間内の第１水平有効期間において、前記メモリに記憶されている前記第１サイズ変更後入力画像データの各画素データを順次読み出すことにより、前記複数の領域の各々に含まれるそれぞれの画像データをサイズ変更した第２サイズ変更後入力画像データを生成するメモリ制御部を有し、
   前記第１垂直有効期間および前記第１水平有効期間の各々は、前記入力画像データの前記複数の領域に含まれるそれぞれの画像データをサイズ変更した際のサイズ変更後の各画像データの前記第２サイズ変更後入力画像データにおける座標位置に対応し、
   前記第１垂直有効期間および前記第１水平有効期間で示される前記サイズ変更後の各画像データの相対位置は、前記複数の領域間で同一である
   請求項１または２記載の画像処理装置。
4. 前記入力部は、さらに、２次元画像データを受け付け、
   前記入力画像データに含まれる前記複数の領域のいずれかは、前記２次元画像データを立体表示するためのデータを含み、
   前記リサイズ部は、さらに、前記入力部で受け付けられた前記２次元画像データを１枚の画像データとして前記所定の倍率でサイズ変更し、サイズ変更後の２次元画像データである第１サイズ変更後２次元画像データを前記メモリに記憶し、
   前記メモリ制御部は、さらに、前記１垂直同期期間内の第２垂直有効期間および前記１水平同期期間内の第２水平有効期間において、前記メモリに記憶されている前記第１サイズ変更後２次元画像データの各画素データを順次読み出すことにより、第２サイズ変更後２次元画像データを生成し、
   前記第２垂直有効期間および前記第２水平有効期間の各々は、前記第１サイズ変更後２次元画像データの前記第２サイズ変更後２次元画像データにおける座標位置に対応する
   請求項３記載の画像処理装置。
5. 前記第１垂直有効期間および前記第１水平有効期間で示される前記サイズ変更後の各画像データの座標と、前記第２垂直有効期間および前記第２水平有効期間で示される前記第１サイズ変更後２次元画像データの座標とは対応している
   請求項４記載の画像処理装置。
6. 前記入力画像データは、前記複数の領域として、左眼用画像データを示す左半分の領域と、右眼用画像データを示す右半分の領域とを含む
   請求項３記載の画像処理装置。
7. １フレームの映像が複数の領域に分割された異なる映像から構成される入力画像データを入力とし、前記画像データの画像サイズを変更することにより、サイズ変更後入力画像データを生成するサイズ変更ステップと、
   出力フレーム上の互いに不連続な位置に配置された複数の領域に、前記サイズ変更後入力画像データを出力することにより、出力画像データを生成する画像出力ステップと
   を含む画像処理方法。

Images