JP2012249074A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】少ないシステムリソースで立体視画像を生成できる画像処理装置、及び画像処理方法を提供すること
【解決手段】マスク情報２３は、第１の画像データ２１内の画素と、第２の画像データ２２内の画素と、が略同数だけ略均一に分散されて表示されるように表示領域を規定している。ミキサ部１０は、このマスク情報２３を参照して、第１の画像データ２１と、第２の画像データ２２と、をミキシングし、立体視用画像である出力画像データ２４を生成する。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関する。

近年、パーソナルコンピュータ、ゲーム機器、デジタル放送対応のテレビ受像機、及びブルーレイレコーダ等のデジタル家電機器は、３次元（３Ｄ）に対応する必要性が高い。詳細には、これらの機器は、３Ｄ画像の入力を受け付け、当該３Ｄ画像を適切に表示する必要がある。

これらの機器に入力される３Ｄ画像の入力形式は多様化してきている。さらに、これらの機器から出力される、３Ｄ画像の出力形式も多様化してきている。この多様化する３Ｄ画像の入出力形式を鑑みて、３Ｄ画像表示機能を有するテレビ機器等では、既存のデジタル放送規格に対応した表示機能とは別に、新たに様々な３Ｄ信号処理機能を備える機種が出現している。しかし、これらの機種は、３Ｄ信号処理機能等の専用機能を持つために、開発製造費や機器全体のシステム費用等のコストが高くなっていた。

特許文献１には、上述の機器の表示機能への入力となる３Ｄ立体視画像を生成する手法が開示されている。特許文献１の手法では、ＧＰＵ（Graphics Processing Unit）等の画素ブレンダ（合成手段）を用いて、複数の画像（一般的には２枚の画像）とマスク情報から１つの３Ｄ立体視画像を生成している。

図１５は、特許文献１に記載の３Ｄテレビシステムにおける３Ｄ立体視画像の生成手法を示す図である。以下の説明では、左目用の画像５１と、右目用の画像５２と、から３Ｄ立体視画像５３を生成する方法を説明する。３Ｄ立体視画像５３は、奇数ラインの各画素に左目用の画像に含まれる画素の画素値が設定され、偶数ラインの各画素に右目用の画像に含まれる画素の画素値が設定される。

特許文献１に記載の方法では、ＣＰＵまたはＧＰＵにより動作する画素ブレンダ６０及び６１を用いる。画素ブレンダ６１は、ＲＡＭ（Random Access Memory）等の記憶装置から左目用の画像５１と、マスク情報５４と、を読み出す。そして、画素ブレンダ６０は、Ｐｏｒｔｅｒ−ＤｕｆｆのＡｔｏｐＢ規則に定められた処理を行う。詳細には、画素ブレンダ６０は、マスク情報５４において"１"が指定されている画素に対して、左目用の画像５１の対応位置の画素の画素値を設定する。画素ブレンダ６０は、マスク情報５４において"０"が指定されている画素には画素値の設定を行わない。画素ブレンダ６０は、このような処理を全画素に対して行うことにより、中間画像５５を生成する。画素ブレンダ６０は、生成した中間画像５５をＲＡＭ等の記憶装置に書き込む。

画素ブレンダ６１は、ＲＡＭ等の記憶装置から右目用の画像５２、及び中間画像５５を読み出す。画素ブレンダ６１は、Ｐｏｒｔｅｒ−ＤｕｆｆのＡｏｖｅｒＢ規則に定められた処理を行う。詳細には、画素ブレンダ６１は、中間画像５５において"０"が設定されている画素に対して、右目用の画像５２の対応位置の画素の画素値を設定する。画素ブレンダ６１は、すでに左目用の画像から設定した画素値が設定されている画素に対しては処理を行わない。画素ブレンダ６１は、このような処理を全画素に対して行うことにより、出力画像５３を生成する。画素ブレンダ６１は、生成した出力画像５３をＲＡＭ等の記憶装置に書き込む。

図１６は、特許文献１に記載の方法における各処理とメモリアクセス（記憶装置へのアクセス）の関係を示す図である。画素ブレンダ６０は、記憶装置からの読み出し処理を３回実行する。画素ブレンダ６１は、記憶装置からの読み出し処理を２回実行する。また、画素ブレンダ６０及び画素ブレンダ６１は、記憶装置への書き出し処理を１回実行する。さらに、他の任意の処理部が、記憶装置から出力画像５３の読み出し処理を１回実行する。

なお、特許文献２及び３には、非特許文献１に記載のプレーン合成についての示唆がある。非特許文献１に記載のプレーン合成技術について図１７を参照して説明する。当該プレーン合成技術は、デジタル放送にかかるプレーンの合成を規定している。

図１７は、非特許文献１に記載のデジタル放送プレーンの合成技術の概略を示す図である。プレーンとは、モノメディア（映像、音声、文字、静止画等の単独の表現メディア）を表示するための表示画面である。

ミキサ７０は、ＲＡＭ８０から静止画データ８１をＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）として読み出す。ミキサ７０は、ＲＡＭ８０から動画データ８２をＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）として読み出す。なお、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）及びＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）は、動画であっても良く、静止画であっても良い。

同様に、ミキサ７０は、ＲＡＭ８０から文字データ８４を字幕ｐｌａｎｅ９４として読み出す。ミキサ７０は、ＲＡＭ８０から文字図形データ８５を文字図形ｐｌａｎｅ９５として読み出す。なお、扱うプレーンの数は、デジタル放送要件では図１７に示すように５プレーンとなるが、これよりも多くても良い。詳細には、ユーザの操作メニューを表示するためのプレーンや、カーソルを表示するためのプレーンなどが追加されても良い。

ミキサ７０は、ＲＡＭ８０からＳｗｉｔｃｈｉｎｇ Ｐｌａｎｅ８３を読み出す。Ｓｗｉｔｃｈｉｎｇ Ｐｌａｎｅ８３には、２つのプレーン（本例では、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）及びＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２））を合成する場合における、透明化処理の設定が規定されている。Ｓｗｉｔｃｈｉｎｇ Ｐｌａｎｅ８３には、１画素毎に１ビットのデータが設定されている。この１ビットのデータは、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）の画素値を設定することを示す値（"０"）、またはＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）の画素値を設定することを示す値（"１"）となる。

なお、ミキサ７０は、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）及びＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）のスケーリング比率を独立して設定することができる。すなわち、ミキサ７０は、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）及びＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）を相互に依存することなく、ここに拡大／縮小することができる。

ミキサ７０は、Ｓｗｉｔｃｈｉｎｇ Ｐｌａｎｅ８３の規定する領域に応じてＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）を縮小（図１７では１／２に縮小）する。そして、ミキサ７０は、Ｓｗｉｔｃｈｉｎｇ Ｐｌａｎｅ８３の各画素に設定されているビット値を調べる。ミキサ７０は、ビット値として"０"が設定されている場合には、当該画素にＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）の対象画素の画素値を設定する。ミキサ７０は、ビット値として"１"が設定されている場合には、当該画素にＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）の対象画素の画素値を設定する。これにより、ミキサ７０は、Ｖｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ０（９１）とＶｉｄｅｏ／Ｓｔｉｌｌ ｐｌａｎｅ１（９２）を合成した中間画像（図示せず）を生成する。

ミキサ７０は、この中間画像に字幕ｐｌａｎｅ９４及び文字図形ｐｌａｎｅ９５を重ね合わせて出力画像９６を生成する。

なお、非特許文献１には、デジタル放送プレーンの合成技術についての示唆、教示があるが、立体視用画像の生成に関する記載は一切ない。

米国特許出願公開第２０１０／０３０２２３５号明細書 特開２００３−３２４６５２号公報 特開２０１０−０６８３９９号公報

デジタル放送におけるデータ放送符号化方式と伝送方式、[平成２３年４月１０日検索]、インターネット＜URL: http://www.arib.or.jp/english/html/overview/doc/2-STD-B24v5_1-1p3.pdf>

図１６に示すように、特許文献１に記載の方法では、中間画像５５及び出力画像５３を生成するために、記憶装置からの複数回のメモリ読み出しを要する。さらに、中間画像５５及び出力画像５３を記憶装置に書き出す処理を要する。そのため、出力画像５３を得るために必要となるシステムリソース、すなわちメモリ容量、メモリ帯域、処理時間が増大し、加えて装置内での消費電力が増加するという問題がある。特に、特許文献１に記載の方法では、高解像度の動画像から立体視用画像を生成する際に当該問題が顕著となる。

本発明にかかる画像処理装置の一態様は、
第１の画像内の画素と、第２の画像内の画素と、が略同数だけ略均一に分散されて表示されるように表示領域を規定した第１マスク情報に基づいて、前記第１及び第２の画像をミキシングした出力画像を生成するミキサ部、を備えるものである。

本発明にかかる画像処理方法の一態様は、
第１の画像内の画素と、第２の画像内の画素と、が略同数だけ略均一に分散されて表示されるように表示領域を規定した第１マスク情報に基づいて、前記第１及び第２の画像をミキシングした立体視に用いる出力画像を生成する、ものである。

本発明では、マスク情報は、ユーザの一方の目に対応する第１の画像の画素と、他方の目に対応する第２の画像の画素が、立体視に応用し得るように略同数だけ均一に位置するような配置を規定している。ミキサ部は、このマスク情報を用いて第１の画像と第２の画像をミキシングして立体視用画像を生成する。この際に、ミキサ部は、中間的な画像を作ることなく、立体視用画像を生成できる。

本発明によれば、少ないシステムリソースで立体視画像を生成できる画像処理装置、及び画像処理方法を提供することができる。

実施の形態１にかかる画像処理装置の構成を示すブロック図である。 実施の形態１にかかるミキサ部の詳細を示すブロック図である。 実施の形態１にかかるミキサ部の詳細を示すブロック図である。 実施の形態１にかかる画像処理装置の構成を示すブロック図である。 実施の形態１にかかる画像処理装置の構成を示すブロック図である。 実施の形態１にかかるマスク情報２３を示す図である。 実施の形態１にかかるミキサ部１０の動作と、メモリアクセス（記憶装置へのアクセス）の関係を示す図である。 実施の形態２にかかる画像処理装置の構成を示すブロック図である。 実施の形態２にかかるスケール処理部３０の構成を示すブロック図である。 実施の形態２にかかるイネーブル信号処理部４０の構成を示すブロック図である。 実施の形態２にかかるイネーブル信号処理部４０に対する入力と、イネーブル信号処理部４０からの出力との関係を示す図である。 実施の形態２にかかる画像処理装置が立体視用画像を生成する動作を示す図である。 実施の形態２にかかる画像処理装置がサイドバイサイドの画像データを入力とし、立体視用画像データを生成する動作を示す図である。 実施の形態２にかかる画像処理装置がサイドバイサイドの画像データを生成する動作を示す図である。 特許文献１に記載の３Ｄテレビシステムにおける３Ｄ立体視画像の生成手法を示す図である。 特許文献１に記載の方法における各処理とメモリアクセス（記憶装置へのアクセス）の関係を示す図である。 非特許文献１に記載のプレーン合成技術を示す図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。画像処理装置１は、例えば、テレビ受像機、セットトップボックス、デジタルサイネージ、電話機能やゲーム機能を有する携帯端末、プロジェクタ等が該当する。

画像処理装置１は、ミキサ部１０、及び記憶装置（図示せず）を備える。記憶装置は、ＲＡＭ（Random Access Memory）等のいわゆるメモリである。なお、記憶装置は、必ずしも画像処理装置１内に備えられる必要はなく、例えばフラッシュメモリ等の外付けの装置であっても良い。

ミキサ部１０は、動画もしくは静止画である第１の画像データ２１、動画もしくは静止画である第２の画像データ２２を記憶装置（図示せず）から読み出す。第１の画像データ２１は、立体視画像におけるユーザの右目に対応する画像である。第２の画像データ２２は、立体視画像におけるユーザの左目に対応する画像である。さらに、ミキサ部１０は、第１の画像データ１０と第２の画像データ２１の表示領域を規定するマスク情報２３を記憶装置から読み出す。

マスク情報２３は、立体視用画像を生成する際に、第１の画像データ２１に含まれる各画素の画素値を使用する範囲と、第２の画像データ２２に含まれる各画素の画素値を使用する範囲と、を定めた情報である。マスク情報２３は、第１の画像データ２１及び第２の画像データ２２と同数の画素数を有する。

マスク情報２３に含まれる各画素には、第１の画像データ２１を表示することを示すビット値である"０"、または第２の画像データ２２を表示することを示すビット値である"１"のいずれかが設定されている。マスク情報２３には、ビット値"０"が設定された画素と、ビット値"１"が設定された画素と、が略同数（好適には完全に同数）だけ含まれる。

マスク情報２３において、ビット値"０"が設定された画素と、ビット値"１"が設定された画素と、は略均一に分散されて配置される。例えば、図１に示すマスク情報２３では、ビット値"０"が設定された画素と、ビット値"１"が設定された画素と、が１列ごとに配置される。換言すると、図１に示すマスク情報２３は横縞模様（line alternative）の方式でビット値が配置される。

ミキサ部１０は、第１の画像データ２１、第２の画像データ２２、及びマスク情報２３を用いて出力画像データ２４を生成する処理部である。本実施の形態では、出力画像データ２４は、立体視用の画像データである。ミキサ部１０は、記憶装置から第１の画像データ２１、第２の画像データ２２、及びマスク情報２３を読み出して、出力画像データ２４を出力する回路である。

図２は、ミキサ部１０の詳細を示すブロック図である。ミキサ部１０は、選択信号出力部１１と、スイッチ部１２と、を備える。

選択信号出力部１１は、１画素毎にマスク情報２３からビット値を読み出す。選択信号出力部１１は、読み出したビット値が"０"の場合、対応座標にある第１の画像データ２１（右目に対応する画像）の画素値を選択する信号をスイッチ部１２に出力する。選択信号出力部１１は、読み出したビット値が"１"の場合、対応座標にある第２の画像データ２２（左目に対応する画像）の画素値を選択する信号をスイッチ部１２に出力する。すなわち、選択信号は、座標情報と、当該座標に設定する画素値を指定する情報と、を含む信号である。

スイッチ部１２は、選択信号出力部１１から供給された選択信号に応じて、第１の画像データ２１または第２の画像データ２２の対応座標から画素値を読み出す。そして、スイッチ部１２は、出力画像データ２４の対応座標に読み出した画素値を設定する。

選択信号出力部１１及びスイッチ部１２は、マスク情報２３に含まれる全ての画素に対して上述の処理を実行する。これにより、ミキサ部１０は、立体視用画像２４を生成する。

また、ミキサ部１０は、図３に示すような構成であっても良い。図３は、ミキサ部１０の他の構成を示すブロック図である。ミキサ部１０は、アルファブレンド値算出部１３と、乗算部１４と、減算部１５と、乗算部１６と、加算部１７と、を備える。

アルファブレンド値算出部１３は、１画素毎にマスク情報２３からビット値を読み出す。アルファブレンド値算出部１３は、読み出したビット値が"０"の場合、対応座標のアルファブレンド値を"０"に設定する。アルファブレンド値算出部１３は、読み出したビット値が"１"の場合、対応座標のアルファブレンド値を"１"に設定する。アルファブレンド値算出部１３は、設定したアルファブレンド値を座標情報と共に乗算部１４及び減算部１５に通知する。

乗算部１４は、第２の画像データ２２から対応座標の画素値を読み出す。乗算部１４は、読み出した画素値にアルファブレンド値を乗算する。乗算部１４は、乗算結果を加算部１７に供給する。

減算部１５は、１から供給されたアルファブレンド値を減算し（１−α）、減算結果を乗算部１６に供給する。乗算部１６は、第１の画像データ２１から対応座標の画素値を読み出す。そして乗算部１６は、読み出した画素値に対し、減算部１５から供給された減算結果であるアルファブレンド値を乗算する。乗算部１６は、乗算結果を加算部１７に供給する。

加算部１７は、乗算部１４から供給された画素値と、乗算部１６から供給された画素値と、を加算し、その結果を対応座標の画素値として設定する。

ミキサ部１０に含まれる各処理部（アルファブレンド値算出部１３、乗算部１４、減算部１５、乗算部１６、加算部１７）は、マスク情報２３に含まれる全ての画素に対して上述の画素値の設定を実行する。これにより、ミキサ部１０は、立体視用画像２４を生成する。

マスク情報２３のビット配置（ビット値"０"が設定された画素と、ビット値"１"が設定された画素と、の配置）は図１に示す横縞模様に限られない。ビット配置は、第１の画像データ２１内の画素と、第２の画像データ２２内の画素と、が略同数だけ略均一に分散されて表示されるように規定されていればよい。

図４及び図５にマスク情報２３の他の例を示す。図４は、マスク情報２３のビット配置が縦縞模様（dot by dot）である例を示している。図５は、マスク情報２３のビット配置が市松模様（checkerboard）である例を示している。

なお、ミキサ部１０は、２つのマスク情報２３を一定間隔毎で切り替えて使用しても良い。図６は、２つのマスク情報２３を示す図である。図示するように、１ビットだけビット値の位置がずれた２つのマスク情報２３を用意する。ミキサ部１０は、一定間隔毎にマスク情報２３を切り替えて使用する。例えば、ミキサ部１０は、ミキサ部１０の内部に２つのマスク情報２３をキャッシュしておき、これらのマスク情報２３を一定間隔毎に切り替えればよい。これにより、左目用の画素位置及び右目用の画素位置が完全に固定されず、一定間隔毎に変化する。一定間隔毎に左目用の画素位置及び右目用の画素位置が変化することにより、例えば縦縞模様の画像を表示する場合であっても、適切に立体視画像を表示することができる。

続いて、本実施の形態にかかる画像処理装置１におけるミキサ部１０の動作と、メモリアクセス（記憶装置へのアクセス）の関係を説明する。図７は、ミキサ部１０の動作と、メモリアクセス（記憶装置へのアクセス）の関係を示す図である。

図示するように、ミキサ部１０は、第１の画像データ２１、第２の画像データ２２、及びマスク情報２３を記憶装置から読み出す。ミキサ部１０は、読み出した第１の画像データ２１、第２の画像データ２２、及びマスク情報２３から上述の方法により出力画像データ２４を生成する。ミキサ部１０は、生成した出力画像データ２４を任意の処理部に対して直接供給することができる。

上述のように、ミキサ部１０は、記憶装置からのデータ読み出しを３回行い、そのまま表示用のデータを得る。ここで、ミキサ部１０は、記憶装置へのデータ書き出しは行わない。

続いて、本実施の形態にかかる画像処理装置１の効果について説明する。本実施の形態にかかる画像処理装置１は、上述のように中間画像を生成することなく、立体視用画像２４を生成している。これにより、中間画像を保存するためのメモリ容量が不要になるとともに、中間画像のためにメモリ帯域を確保する必要がなくなる。

さらに、画像処理装置１は、中間画像を生成することなく立体視用画像２４を生成するため、処理に要する時間を短縮することができる。また、処理時間が短縮されることにより、本実施の形態にかかる画像処理装置１では、特許文献１に記載の方法と比べて消費電力を低減することが可能になる。

＜実施の形態２＞
本実施の形態にかかる画像処理装置は、立体視用画像の生成処理に加え、デジタル放送向けのプレーン合成を実現できることを特徴とする。以下、本実施の形態にかかる画像処理装置について説明する。

図８は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。画像処理装置１は、スケール処理部３０〜３３と、ミキサ部１０１〜１０３と、イネーブル信号処理部４０と、を備える。

図８は、図示した画像処理装置によりデジタル放送にかかるプレーン合成を実現する例を示している。第１の画像データ２１及び第２の画像データ２２は、静止画または動画である。マスク情報２３は、いわゆるＳｗｉｔｃｈｉｎｇ Ｐｌａｎｅに該当する。テキスト画像データ２５は、文字図形プレーンや字幕プレーンに該当する。画像処理装置１により出力される出力画像データ２４は、第１の画像データ２１及び第２の画像データ２２が奥に配置され、テキスト画像データ２５が手前に配置されるように重ね合わせた画像となる。以下、各処理部の動作、及び出力画像データ２４の生成方法について説明する。

スケール処理部３０は、第１の画像データ２１から必要な矩形を切り出し、所定の大きさに拡大／縮小し、拡大／縮小した第１の画像データ２１をミキサ部１０１に供給する。さらに、スケール処理部３０は、画素値選択に用いるイネーブル信号を生成してミキサ部１０１に供給する。図９を参照して、スケール処理部３０の詳細を説明する。

スケール処理部３０は、切り取り部３０１と、拡大／縮小部３０２と、を備える。切り取り部３０１は、記憶装置からデータ選択情報３０３を読み出す。データ選択情報３０３は、第１の画像データ２１内のどの画素を切り出すかを示す情報である。データ選択情報３０３は、第１の画像データ２１と同じ画像サイズ（縦横の画素数が同じ）であり、各画素にはビット値"０"または"１"が設定されている。ビット値"１"が設定されている画素が切り出し対象となる。すなわち、データ選択情報３０３は、第１の画像データ２１内の表示対象範囲を定める情報である。

切り出し部３０１は、データ選択情報３０３にて指定された領域を第１の画像データ２１から切り出す。切り出し部３０１は、切り出した画像３０４（以下、切り出し画像３０４とする）を拡大／縮小部３０２に供給する。

拡大／縮小部３０２は、記憶装置から表示位置情報３０５を読み出す。表示位置情報３０５は、スケール処理部３０から出力される出力画像３０６において、切り出し画像３０４が表示される表示領域（表示位置及び表示サイズ）を示す情報である。換言すると、表示位置情報３０５は、切り出し画像２０４のスケールを規定する情報である。拡大／縮小部３０２は、表示位置情報３０５に応じて切り出し画像３０４を拡大または縮小し、出力画像３０６を生成する。すなわち、出力画像３０６は、加工した第１の画像データ２１である。さらに、拡大／縮小部３０２は、出力画像３０６の有効範囲を示すイネーブル情報３０７を生成する。イネーブル情報３０７は、表示位置情報３０５と同じビットパターンを持つ情報である。ここで、イネーブル情報３０７に含まれる各画素のビット値（"０"または"１"）は、後述のミキサ部１０１〜１０３の画素値の選択に用いられる。このように、出力画像３０６の各画素に対応し、画素値の選択に用いられる１ビットの信号をイネーブル信号と呼称する。

なお、切り出し画像３０４、出力画像３０６、イネーブル情報３０７は、実際には信号として各処理部間でやり取りされる。換言すると、切り出し画像３０４、出力画像３０６、イネーブル情報３０７は、記憶装置に書き出される必要性はない。

図８の説明に戻る。スケール処理部３１は、データ選択情報３１３及び表示位置情報３１５を用いる。スケール処理部３１の内部構成は、図９に示す構成と同様である。スケール処理部３２及びスケール処理部３３についても同様である。なお、マスク情報２３に関する表示位置情報３２５は、マスク情報が有効となる有効範囲と解釈されうる。

イネーブル信号処理部４０は、ミキサ部１０２に対して供給するイネーブル信号を生成する処理部である。図１０を参照して、イネーブル信号処理部４０の構成について説明する。

イネーブル信号処理部４０は、ＮＡＮＤゲート４０１と、ＡＮＤゲート４０２と、を備える。ＮＡＮＤゲート４０１には、出力画像３２６と、イネーブル情報３２７と、が入力される。マスク情報２３は、Ｓｗｉｔｃｈｉｎｇ Ｐｌａｎｅに該当するため、各画素にはビット値が設定されている。そのため、出力画像３２６の各画素は、ビット値"０"または"１"を持つ。すなわち、ビット値"０"または"１"がＮＡＮＤゲート４０１の一方の入力となる。

ＡＮＤゲート４０２には、ＮＡＮＤゲート４０２の出力と、イネーブル情報３１７と、が入力される。ＡＮＤゲートは、この２つの入力の論理和をミキサ部１０２に対して供給する。

図１１は、イネーブル信号処理部４０に対する入力と、イネーブル信号処理部４０からの出力との関係を示す図である。図示するように、イネーブル情報３２７が"０"の場合には、出力画像３２６のビット値に関わらず、イネーブル情報３１７のビット値がイネーブル信号として出力される。

イネーブル情報３２７が"１"の場合には、出力画像３２６のビット値が"１"であり、イネーブル情報３２７が"１"の場合にのみイネーブル信号として出力されるビット値が"１"となる。

図８の説明に戻る。ミキサ部１０１〜１０３は、図２に示すミキサ部と同様の構成を持つ。ミキサ部１０１は、バックグラウンド情報２６を使用する。バックグラウンド情報２６は、所定の単色が指定された画像データであり、記憶装置に格納されている必要はない。

ミキサ部１０１は、イネーブル信号３０７のビット値が"０"である場合、バックグラウンド情報２６の対応座標の画素値を、当該座標の画素値として出力する。ミキサ部１０１は、イネーブル信号３０７のビット値が"１"である場合、スケール処理部３０から出力される出力画像３２６の対応座標の画素値を、当該座標の画素値として出力する。

ミキサ部１０２は、イネーブル信号処理部４０の出力するイネーブル信号に基づいて、ミキサ部１０１からの画素値の出力、またはスケール処理部３１からの画素値の出力、の一方を選択して出力する。イネーブル信号処理部４０の出力するイネーブル信号が"０"の場合、ミキサ部１０２は、ミキサ部１０１からの画素値の出力を選択してミキサ部１０３に出力する。イネーブル信号処理部４０の出力するイネーブル信号が"１"の場合、ミキサ部１０２は、スケール処理部３１からの画素値の出力を選択してミキサ部１０３に出力する。

ミキサ部１０３は、イネーブル信号３３７のビット値が"０"である場合、ミキサ部１０２からの画素値の出力を選択して、出力画像データ２４の対応画素の画素値として設定する。ミキサ部１０３は、イネーブル信号３３７のビット値が"１"である場合、スケール処理部３３からの画素値の出力を選択して、出力画像データ２４の対応画素の画素値として設定する。

なお、上述の説明では、ミキサ部１０１〜１０３の構成を図２に示す構成と同様の構成を持つことを前提に説明したが、必ずしもこれに限られない。例えば、ミキサ部１０１〜１０３の構成は、図３に示すようにアルファブレンド処理を行う構成であっても良い。

続いて、図８に示す画像処理装置１の構成により、立体視用画像データを生成する方法を図１２を参照して説明する。図１２では、出力画像データ２４は、立体視用画像データとなる。図１２は、図８に示す画像処理装置１と同様の構成を持ち、同一名称、同一符号を付した各処理部は上述した動作を行う。立体視用画像データを生成する場合、第１の画像データ２１はユーザの右目に対応する画像であり、第２の画像データ２２はユーザの左目に対応する画像である。

立体視用画像データを生成する場合、データ選択情報３０３は、第１の画像データ２１の全領域を指定する。表示位置情報３０５は、出力画像データ２４の全領域を指定する。同様に、データ選択情報３１３は、第２の画像データ２２の全領域を指定する。表示位置情報３１５は、出力画像データ２４の全領域を指定する。マスク情報２３は、例えば図１に示したように縦縞模様のビット配列を持つ。なお、マスク情報２３のビット配列は、略同数のビット値が略均一に分散されていれば良く、横縞模様であっても良く、市松模様であっても良い。データ選択情報３２３は、マスク情報２３の全領域を指定する。表示位置情報３２５は、出力画像データ２４の全領域を指定する。表示位置情報３３５は、画像領域を選択しないように設定される（すなわち全画素にビット値"０"が設定される）。

上述の入力より、ミキサ部１０１は、出力画像データ２４と同一サイズにスケールを変更した第１の画像データ２１を出力する。ミキサ部１０２は、出力画像データ２４と同一サイズにスケールを変更した第２の画像データ２２を出力する。

イネーブル信号処理部４０は、図１１に示すようにイネーブル信号を出力する。上述の表示位置情報３０５及び表示位置情報３１５の設定では、イネーブル信号３１７及び３２７は常に"１"となる。よって、イネーブル信号処理部４０は、マスク情報２３においてビット値として"１"が設定された画素の場合、イネーブル信号としてビット値"１"を出力する。イネーブル信号処理部４０は、マスク情報２３においてビット値として"０"が設定された画素の場合、イネーブル信号としてビット値"０"を出力する。

これにより、ミキサ部１０２は、立体視用画像データを生成する。なお、表示位置情報３０５が画像領域を選択しないように設定されているため、ミキサ部１０３は、ミキサ部１０２からの入力をそのまま出力画像データ２４の画素値に設定する。

なお、上述の説明では、スケール処理部３０〜３３内に拡大／縮小部を備える構成を説明したが、入力データ（第１の画像データ２１、第２の画像データ２２、マスク情報２３等）の画像サイズが出力画像データ２４と同サイズであれば拡大／縮小部を省略しても良い。

上述のミキサ部１０２は、スケール調節をされた第１の画像データ２１と、スケール調節をされた第２の画像データ２２と、をマスク情報２３を基に生成したイネーブル信号を利用してミキシングする。ミキサ部１０２は、ミキシングにより立体視用の画像データを生成する。よって、ミキサ部１０２は、図２に示すミキサ部１０と略同一の役割を担う。

続いて、図８に示す画像処理装置１の構成により、サイドバイサイドの画像データを入力とし、立体視用画像データを生成する方法を図１３を参照して説明する。

第１の画像データ２１は、領域の左半分がユーザの右目に対応する画像であり、領域の右半分がユーザの左目に対応する画像である。データ選択情報３０３は、第１の画像データ２１の右半分の領域を指定する（右半分の領域の各画素にビット値"１"を設定する）。表示位置情報３０５は、出力画像データ２４の全領域を指定する。データ選択情報３１３は、第１の画像データ２１の左半分の領域を指定する（左半分の領域の各画素にビット値"１"を設定する）。表示位置情報３１５は、出力画像データ２４の全領域を指定する。マスク情報２３は、例えば図１に示したように横縞模様のビット配列を持つ。データ選択情報３２３は、マスク情報２３の全領域を指定する。表示位置情報３２５は、出力画像データ２４の全領域を指定する。表示位置情報３３５は、画像領域を選択しないように設定される（すなわち全画素にビット値"０"が設定される）。

スケール処理部３０は、上述の入力を基に、第１の画像データの右半分の領域を出力画像データ２４のデータサイズに拡大した画像（実際には当該画像に含まれる各画素の画素値）を出力する。ミキサ部１０１は、スケール処理部３０の出力した画像をそのまま出力する。

スケール処理部３１は、上述の入力を基に、第１の画像データの左半分の領域を出力画像データ２４のデータサイズに拡大した画像（実際には当該画像に含まれる各画素の画素値）を出力する。

イネーブル信号処理部４０は、図１２の場合と同様に、マスク情報２３においてビット値として"１"が設定された画素の場合、イネーブル信号としてビット値"１"を出力する。イネーブル信号処理部４０は、マスク情報２３においてビット値として"０"が設定された画素の場合、イネーブル信号としてビット値"０"を出力する。

ミキサ部１０２及びミキサ部１０３の動作は、図１２と同様であるため、詳細は省略する。

次に、図８に示す画像処理装置１の構成により、サイドバイサイドの画像データを生成する方法を図１４を参照して説明する。

第１の画像データ２１は、ユーザの右目に対応する画像である。データ選択情報３０３は、第１の画像データ２１の全領域を指定する（全画素にビット値"１"を設定する）。表示位置情報３０５は、出力画像データ２４の右半分の領域を指定する。第２の画像データ２２は、ユーザの左目に対応する画像である。データ選択情報３１３は、第２の画像データ２２の全領域を指定する（全画素にビット値"１"を設定する）。表示位置情報３１５は、出力画像データ２４の左半分の領域を指定する。表示位置情報３２５及び表示位置情報３３５は、画像領域を選択しないように設定される（すなわち全画素にビット値"０"が設定される）。マスク情報２３には、全画素に対してビット値"０"が設定されている。

スケール処理部３０は、上述の入力を基に、第１の画像データ２１を出力画像データ２４のデータサイズの右半分にスケール変更し、スケール変更した画像をミキサ部１０１に出力する。ミキサ部１０１は、右半分が第１の画像データ２１である画像をミキサ部１０１に出力する。

スケール処理部３１は、上述の入力を基に、第２の画像データ２２を出力画像データ２４のデータサイズの左半分にスケール変更し、スケール変更した画像をミキサ部１０２に出力する。さらにスケール処理部３１は、表示位置情報３１５を基にイネーブル信号３１７をイネーブル信号処理部４０に出力する。

スケール処理部３２は、表示位置情報３２５の全画素にビット値"０"が設定されているため、イネーブル信号３２７としてビット値"０"を常にイネーブル信号処理部４０に出力する。さらに、スケール処理部３２は、出力画像３２６として、全画素についてビット値"０"をイネーブル信号処理部４０に出力する。

イネーブル信号処理部４０は、上述の入力を基に、出力画像データ２４の領域の左半分に相当する画素ではビット値"１"、右半分に相当する画素ではビット値"０"となるイネーブル信号を生成し、ミキサ部１０２に出力する。

ミキサ部１０２は、イネーブル信号に応じて、出力画像データ２４の左半分の領域の各画素に第２の画像データ２２の画素値を設定し、出力画像データ２４の右半分の領域の各画素に第１の画像データ２１の画素値を設定した画像をミキサ部１０３に出力する。

スケール処理部３３は、表示位置情報３１５の全画素にビット値"０"が設定されているため、イネーブル信号３３７として常にビット値"０"を出力する。

ミキサ部１０３は、イネーブル信号３３７として常にビット値"０"が供給されるため、ミキサ部１０２の出力をそのまま出力する。上記した一連の処理により、画像処理装置１は、サイドバイサイドの画像である出力画像データ２４を生成する。

続いて、本実施の形態にかかる画像処理装置の効果について説明する。上述したように、画像処理装置１は、入力データ（第１の画像データ２１、第２の画像データ２２、マスク情報２３等）及び設定情報（データ選択情報３０３、表示位置情報３０５等）を適宜変更することにより、デジタル放送用にプレーン合成された画像（図８）、立体視用画像（図１２〜図１４）を生成することができる。

ミキサ部１０１等の各処理部は、立体視用画像の生成及びデジタル放送のプレーン合成に共有できる。これにより、立体視用画像の専用処理部やプレーン合成の専用処理部を設ける必要が無くなるため、装置が簡素化し、装置の小型化やメンテナンスコストの低減、装置の低コスト化を実現することができる。

さらに、スケール処理部３０及び３１が第１の画像データ２１、第２の画像データ２２のスケールを変更することにより、上述のようにサイドバイサイド形式の入力画像データ、サイドバイサイド形式の出力画像データに対応することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 画像処理装置
１０ ミキサ部
１０１〜１０３ ミキサ部
２１ 第１の画像データ
２２ 第２の画像データ
２３ マスク情報
２４ 出力画像データ
２５ テキスト画像データ
２６ バックグラウンド情報
３０〜３３ スケール処理部
３０１ 切り取り部
３０２ 拡大／縮小部
３０３、３１３、３２３、３３３ データ選択情報
３０５、３１５、３２５、３３５ 表示位置情報
４０ イネーブル信号処理部
４０１ ＮＡＮＤゲート
４０２ ＡＮＤゲート

Claims (17)

1. 第１の画像内の画素と、第２の画像内の画素と、が略同数だけ略均一に分散されて表示されるように表示領域を規定した第１マスク情報に基づいて、前記第１及び第２の画像をミキシングした出力画像を生成するミキサ部、を備える画像処理装置。
2. 前記ミキサ部は、前記第１マスク情報に基づいて画素毎に前記第１の画像内の画素または前記第２の画像内の画素のいずれかを指定する指定信号を出力する指定信号出力部と、
   前記指定信号に基づいて、前記出力画像内の対応画素に前記第１の画像内の画素の画素値または前記第２の画像内の画素の画素値を設定するスイッチ部と、を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記ミキサ部は、前記第１マスク情報に基づいて画素毎に前記第１の画像内の画素の画素値に乗算する第１アルファブレンド値を算出する算出部と、
   前記第１アルファブレンド値と、前記第１の画像内の画素の画素値と、を乗算した第１画素値を算出する第１乗算部と、
   前記第１アルファブレンド値に基づいて算出される第２アルファブレンド値と、前記第２の画像内の画素の画素値と、を乗算した第２画素値を算出する第２乗算部と、
   前記第１画素値と、前記第２画素値と、を加算した加算値を前記出力画像内の対応画素に設定する加算部と、を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１マスク情報は、前記第１の画像の表示を示す第１のビット値と、前記第２の画像の表示を示す第２のビット値と、を縦縞模様、横縞模様、市松模様のいずれかの形式で配置していることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記ミキサ部は、前記第１マスク情報、及び前記第１マスク情報とビット値配置が１ビットずれている第２マスク情報、のいずれかを用いて前記出力画像を生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記ミキサ部は、一定間隔毎に前記第１マスク情報と前記第２マスク情報の使用を切り替えて前記出力画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記ミキサ部は、前記第１マスク情報が入力された場合には、前記第１マスク情報に基づいて前記出力画像を生成し、
   前記第１の画像内の画素と前記第２の画像内の画素との表示領域を規定した第３マスク情報が入力された場合には、前記第３マスク情報に基づいて前記出力画像を生成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記第２の画像の表示対象範囲情報と、前記第１マスク情報と、前記第１マスク情報の有効範囲情報と、に基づいて、前記出力画像の各画素において前記第１の画像の画素値を設定するか、前記第２の画像の画素値を設定するかを指定するイネーブル信号を生成し、生成した前記イネーブル信号を前記ミキサ部に供給するイネーブル信号処理部を備えることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の画像の表示対象範囲情報に応じて、前記第１の画像から当該範囲を切り出し、前記切り出し箇所のスケール情報に基づいて当該箇所のスケールを変更した前記第１の画像を前記ミキサ部に供給する第１スケール処理部と、
   前記第２の画像の表示範囲対象情報に応じて、前記第２の画像から当該範囲を切り出し、前記切り出し箇所のスケール情報に基づいて当該箇所のスケールを変更した前記第２の画像を前記ミキサ部に供給する第２スケール処理部と、を備えることを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 第３の画像の表示対象範囲情報に基づいて、前記出力画像に前記第３の画像を重畳した重畳画像を生成する第２ミキサ部を備えることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記第１の画像、前記第２の画像、及び前記第１マスク情報の少なくとも一つを格納する記憶装置を備えることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. 第１の画像と、第２の画像と、の表示領域を規定したマスク情報と、前記第１の画像の表示対象範囲情報と、前記第２の画像の表示対象範囲情報と、に基づいて前記第１の画像と、前記第２の画像と、をミキシングして出力画像を生成するミキサ部を備えた、画像処理装置。
13. 前記第２の画像の表示対象範囲情報と、前記マスク情報と、前記マスク情報の有効範囲情報と、に基づいて、前記出力画像の各画素において前記第１の画像の画素値を設定するか、前記第２の画像の画素値を設定するかを指定するイネーブル信号を生成し、生成した前記イネーブル信号を前記ミキサ部に供給するイネーブル信号処理部を備えることを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１の画像の表示対象範囲情報に応じて、前記第１の画像から当該範囲を切り出し、前記切り出し箇所のスケール情報に基づいて当該箇所のスケールを変更した前記第１の画像を前記ミキサ部に供給する第１スケール処理部と、
    前記第２の画像の表示対象範囲情報に応じて、前記第２の画像から当該範囲を切り出し、前記切り出し箇所のスケール情報に基づいて当該箇所のスケールを変更した前記第２の画像を前記ミキサ部に供給する第２スケール処理部と、を備えることを特徴とする請求項１２または請求項１３に記載の画像処理装置。
15. 第３の画像の表示対象範囲情報に基づいて、前記出力画像に前記第３の画像を重畳した重畳画像を生成する第２ミキサ部を備えることを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
16. 第１の画像内の画素と、第２の画像内の画素と、が略同数だけ略均一に分散されて表示されるように表示領域を規定した第１マスク情報に基づいて、前記第１及び第２の画像をミキシングした立体視に用いる出力画像を生成する、画像処理方法。
17. 第１の画像と、第２の画像と、の表示領域を規定したマスク情報と、前記第１の画像の表示対象範囲情報と、前記第２の画像の表示対象範囲情報と、に基づいて前記第１の画像と、前記第２の画像と、をミキシングして出力画像を生成する、画像処理方法。
    

Images