JP2007028439A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 三次元画像表示用データの奥行き度合いを簡易に推定し、調整することができる三次元画像表示用の画像処理装置を提供する。
【解決手段】 三次元画像を再生するための画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力部１と、入力された二つの画像データ間の相関値を算出する相関値算出部３と、算出された相関値により三次元画像の奥行き度合いを推定する奥行き算出部４とを備えている。
【選択図】 図１

Description

本発明は、三次元動画像表示用データの奥行き度合いを推定、或いは調整する画像処理装置とその方法に関わり、特に、三次元画像表示における視覚的疲労に起因する奥行き方向の動きを推定する技術に関するものである。

近年、奥行きを有する三次元動画像の再生を行う動画像処理装置の開発が行われている。
例えば、特許文献１には右眼用と左眼用の立体動画像を合成器を用いて１水平走査線毎に合成してフレーム画像を形成し、その合成されたフレーム画像をＭＰＥＧ（Moving Picture Image Coding Experts Group）方式のエンコーダを用いて符号化する技術が開示されている。
また特許文献２には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
特開平８−７０４７５号公報 特開２００１−１６６１２公報

一般的に、三次元立体像表示においては、視野の異なる右眼用と左眼用の画像データを別々に用意して再現することで三次元表示処理がなされている。右眼用と左眼用の画像データ間の違い（相関）が奥行きとして再現され、二つの画像データ間における相関の大きさが奥行きの度合いを表している。即ち、立体画像は、右眼画像と左眼画像の差が大きいほど立体感がある。
しかしながら、上記したような三次元立体像を表示する場合、奥行き方向の動きを伴う場合には視覚的に大きな目の疲労を伴うという問題点があった。特に、文字情報の表示などで奥行きが伴う場合には特に大きな疲労を伴うという欠点があった。
そこで、本発明は上記したような点を鑑みてなされたものであり、三次元画像表示用データの奥行き度合いを簡易に推定し調整することができる三次元画像表示用の画像処理装置と画像処理方法を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、三次元画像を再生するための画像処理を行う画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データ間の相関値を算出する相関算出手段と、算出された相関値により三次元画像の奥行き度合いを推定する推定手段と、を備えている画像処理装置を特徴とする。
また請求項２に記載の発明は、三次元画像を再生するための画像処理を行う画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データ間の領域毎の相関値を算出する相関算出手段と、算出された相関値により三次元画像の画像領域毎の奥行き度合いを推定する推定手段と、を備えている画像処理装置を特徴とする。
また請求項３に記載の発明は、請求項２記載の画像処理装置において、前記画像データの属性毎の領域を識別する属性領域抽出手段を備え、前記属性領域が前記画像領域であることを特徴とする。
また請求項４に記載の発明は、請求項１乃至請求項３の何れか１項に記載の画像処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎に算出されることを特徴とする。
また請求項５に記載の発明は、請求項１乃至請求項３の何れか１項に記載の画像処理装置において、前記相関算出手段における相関は画像データの垂直方向のライン毎に算出されることを特徴とする。
また請求項６に記載の発明は、請求項４又は請求項５記載の画像処理装置において、前記右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、合成した画像データを符号化する符号化手段と、を備えることを特徴とする。

また請求項７に記載の発明は、請求項１乃至請求項６の何れか１項に記載の画像処理装置において、右眼用と左眼用両方の画像データ間の相関値を変更するように画像データの一部を変更することで、文字属性の奥行きが少なくなるように調整する調整手段を備えることを特徴とする。
また請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記調整手段は、領域別に前記右眼用と左眼用の画像データとが同じデータとなるように編集する、または前記画像属性として少なくとも文字属性を含んでいる場合は文字属性の奥行きが少なくなるように画像データを編集することを特徴とする。
また請求項９に記載の発明は、請求項１乃至請求項８の何れか１項に記載の画像処理装置において、前記相関算出手段は、画像データの一部の領域を用いて相関を算出することを特徴とする。
また請求項１０に記載の発明は、請求項６に記載の画像処理装置において、前記符号化手段により符号化した符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする。
また請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記属性領域抽出手段による画像の領域識別を符号レベルで行うようにしたことを特徴とする。
また請求項１２に記載の発明は、請求項１０又は請求項１１に記載の画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。

また請求項１３に記載の発明は、三次元画像を再生するための画像処理方法であって、入力された二つの画像データ間の相関値を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いを推定する推定ステップと、を有することを特徴とする。
また請求項１４に記載の発明は、三次元画像を再生するための画像処理方法であって、入力された二つの画像データの何れか一方を分析して画像領域を算出する領域算出ステップと、入力された二つの画像データ間の相関値を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いを推定する推定ステップと、を有することを特徴とする。
また請求項１５に記載の発明は、請求項１４に記載の画像処理方法において、画像属性が文字である画像領域に対して奥行き度合いを算出するステップと、算出した奥行き度合いが０でない場合、二つの画像データが同じになるように調整する調整ステップを有することを特徴とする。
また請求項１６に記載の発明は、請求項１３又は請求項１４に記載の画像処理方法において、入力された２つの画像データを合成する合成ステップと、合成した画像データを符号化する符号化ステップと、符号化したデータを復号化する復号化ステップとを有することを特徴とする。

請求項１又は請求項１３に記載の本発明によれば、入力された二つの画像データ間の相関値を算出し、算出した相関値により三次元画像の奥行き度合いを推定することで、容易に三次元画像の奥行き度合いを算出することができるようになる。
請求項２又は請求項１４に記載の本発明によれば、入力された二つの画像データ間の領域毎の相関値を算出し、算出した相関値により三次元画像の奥行き度合いを推定することで、容易に三次元画像の画像領域毎の奥行き度合いを算出することができるようになる。
また請求項３に記載の本発明によれば、画像領域を画像データの属性領域としたことで、容易に三次元画像の画像属性領域毎の奥行き度合いを算出することができるようになる。
請求項４に記載の本発明によれば、通常、画像データは水平ライン毎に撮影またはスキャンにより生成されるため、水平ライン毎に相関値を算出することで効率的に相関値を算出することができる。
請求項５に記載の本発明によれば、垂直ライン毎に撮影またはスキャンによりされた画像データであっても相関値を算出することができる。
請求項６又は請求項１６に記載の本発明によれば、視差を有する右眼用と左眼用の画像データから三次元再生時の奥行き情報を抽出する過程で画像データを合成することができるので、効率的に処理ができると共に画像データをまとめて符号化することで符号化効率を高めることができる。

請求項７又は請求項１５に記載の本発明によれば、右眼用と左眼用の画像データ間の相関値を変更するように画像データの一部を変更して文字属性の奥行きが少なくなるように調整をすることで、容易に三次元表示画像の奥行き度合いを調整することができる。
請求項８に記載の本発明によれば、領域別に右眼用の画像データと左眼用の画像データが同じになるように編集する、または画像属性として文字属性を含んでいる場合は、文字属性の奥行きが少なくなるように画像データを編集することで三次元画像を二次元画像に調整したり、文字画像の奥行きを調整したりすることで疲労に基づいた処理が可能になる。
請求項９に記載の本発明によれば、相関の算出は画像データの一部の領域を用いて行うことにより、画像の部分領域を調べるだけで全体の奥行き傾向を推定することが可能になる。
また請求項１０に記載の本発明によれば、符号データを汎用的に用いられているＪＰＥＧ２０００規格に基づいたデータとすることでより汎用性を高めることができる。
また請求項１１に記載の本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
また請求項１２に記載の本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。

以下、図面を参照しながら本発明の実施形態を説明する。
先ず、本発明の第１の実施形態として、入力三次元画像データから三次元画像再生時の奥行き度合いを算出して奥行き度合いを推定する方法について説明する。
図１は第１の実施形態の画像処理装置における奥行き度合い算出処理ブロックの構成を示した図である。
この図１に示す画像処理装置は、三次元画像入力部（画像データ入力手段）１、ライン毎画像データ抽出部２、相関算出部（相関算出手段）３、奥行き算出部（推定手段）４、画像データ保存部５、ライン毎画像データ保存部６、相関データ保存部７、及び奥行きデータ保存部８により構成されている。
三次元画像入力部１では右眼用と左眼用の三次元画像データを読み込む。ライン毎画像データ抽出部２では画像データをライン単位で読み込みライン毎に画像データを抽出する。相関算出部３ではライン単位で入力された２つの画像データ間の相関値を算出する。
相関が算出されたらライン単位の相関値を相関データ保存部７に保存する。奥行き算出部４では相関データ保存部７に保存されたライン単位の相関値を用いて奥行き度合いを算出する。また奥行き算出部４は、相関データ保存部４に保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。

図２は、画像データを読み込む方向（水平方向または垂直方向）について説明するための図である。
撮影またはスキャンされた画像データをそのままの順番で読み込んで処理できると処理を効率的に進めることができる。これは全ての画像データを読み込んでから処理をするとなると、画像データを一時保存するためのメモリを必要とするからである。
このため、本実施形態の画像処理装置では、図２（ａ）に示すように右眼用と左眼用の画像データを水平ライン毎に読み込むだけでなく、図２（ｂ）に示すように右眼用と左眼用の画像データを垂直ライン毎に読み込んで、ライン単位の互いの相関を算出するようにしている。これにより画像データの読み込み（撮影またはスキャン）の順番に合わせた効率的な処理を実現するようにしている。
なお、入力される画像データの順番に処理できるように、読み込み方向が、水平方向と垂直方向が選択的にできるように構成してもよい。画像データの読み込みの順番に合うように選択的に処理ライン方向を選択することで、画像データの読み込みの順番が予め定まってないような場合においても効率的に処理することができる。

図３は第１の実施形態の画像処理装置における奥行き度合いの算出処理を示したフローチャートである。
この場合、右眼用と左眼用の三次元画像データをライン毎に入力し（Ｓ３１）、夫々の三次元画像データのライン毎の相関値を算出する（Ｓ３２）。この算出処理は、ステップＳ３３において全ての三次元画像データに行われたと判断されるまで繰り返し行う。
そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして（Ｓ３４）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して画像全体の奥行き度合いとする（Ｓ３５）。
上記ステップＳ３２における右眼用と左眼用の画像データの相関値計算は、以下の式に従って算出する。
Ｓ（ｙ）は、ある画像ｙ番目のライン（ｙは０〜ｌy-1の範囲内の数値とする）の相関値である。

ここで、画素の（ｘ、ｙ）は座標値であり、Ｉ（ｘ、ｙ）は画像Ｉの座標（ｘ、ｙ）の値であり、Ｊ（ｘ、ｙ）は画像Ｊの座標（ｘ、ｙ）の値である。画像は、ｘの最大値がｌx-1、ｙの最大値がｌy-1よりなる。
なお、相関値は必ずしも上記に示すような算出式（式１）により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるｙ番目のラインの相関Ｓ（ｙ）は、以下の式２により求めてよい。その場合はより簡潔になる。
相関値Ｓ（ｙ）は、

さて、上記図１に示した相関算出の処理フローにおいては、全てのラインについて相関を算出するとしているが、必ずしも全てのラインについて実施する必要はなく、画像データの一部のラインであっても構わない。
例えば、先頭ラインからいくつかのライン（ｙｎ）までのラインについて

を算出して、画像全体の相関値として推定してもよい。
この場合は一部の画像領域を調べて判定するので、処理効率を高めることができる。ここで、一部の画像領域は、推定精度が重要とあるような関心領域、或いは処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
上記ステップＳ３４における右眼用と左眼用の画像データの再生時の奥行き度合いの算出は、予め定めた基準の値との比較により、基準値より低ければ、相関値が高いと判定する。そして、相関が高いと奥行きの度合いは小さいと判断する。
一般に右眼用と左眼用画像データの二つの画像データ間の互いの相関が高いほど、奥行き度合いが小さく再生されるからである。右眼用と左眼用画像データの二つの画像データ間の互いに等しくなると奥行きは全くなくなる。そこで、前記算出式で算出された相関値の逆数を画像のライン毎の奥行き度合いとしている。
なお、これまで説明した第１の実施形態では、三次元画像の領域全体で奥行き度合いを推定する処理（ステップＳ３５）と、部分領域における奥行き度合いも推定する処理（ステップＳ３４）を行っているが用途に応じて、どちらか一つであっても構わない。

次に本発明の第２の実施形態として画像属性毎に奥行き度合いを算出して奥行きを推定する方法について説明する。
上記第１の実施形態では、画像データ全体について奥行き情報を算出するものであったが、画像領域毎あるいは、画像属性毎に奥行きデータを算出するのでも構わない。
第２の実施形態は画像属性毎の奥行き度合いを算出する例である。なお、第２の実施形態では、画像属性毎に奥行き情報を算出するものとして説明するが画像領域毎に奥行き情報を算出するようにしても良い。
図４は第２の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。
図４に示す画像処理装置は、三次元画像入力部１１、画像データ保存部１２、属性毎領域抽出部（属性領域抽出手段）１３、属性画像領域データ保存部１４、画像属性毎奥行き算出部１５、奥行きデータ保存部１６により構成される。
さらに画像属性毎奥行き算出部１５は、画像属性毎画像抽出部２１、ライン毎画像データ抽出部２２、相関算出部２３、奥行き算出部２４、ライン毎画像データ保存部２５、相関データ保存部２６により構成されている。
三次元画像入力部１１では右眼用と左眼用の三次元画像データを読み込み、属性毎領域抽出部１３では右眼用と左眼用夫々の画像属性毎に領域抽出を行う。画像属性毎奥行き算出部１５では、画像属性毎画像抽出部２１にて属性領域の画像データを読み込み、ライン毎画像データ抽出部２２で画像データをライン単位で読み込み、相関算出部２３で、ライン単位で相関値を算出する。そして、奥行き算出部２３で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部２６に保存する。
奥行き算出部２４では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部２４では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出する。奥行きデータ保存部１６には画像属性領域毎に算出された奥行き情報が保存される。

図５は、上記した三次元画像領域毎に奥行きを算出する原理図である。
右眼用と左眼用の二つの画像データに属性毎の領域データに対して相関算出部３において相関算出処理を施す。この場合は、相関算出部２３において右眼用と左眼用の二つの画像データの同じ領域の画像データ同士の相関を算出している。従って、画像属性毎の領域の算出は右眼用と左眼用の二つの画像データの中で一つの画像データに対してだけ画像属性の領域を算出すればよい。
図６は第２の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、右眼用と左眼用の三次元画像データを入力し（Ｓ４１）、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する（Ｓ４２）。
次に、右眼用と左眼用の三次元画像データのライン毎に入力し（Ｓ４３）、夫々の画像データをライン毎に相関値を算出する（Ｓ４４）。そして、相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ４５）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする（Ｓ４６）。
そして続くステップＳ４７において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ（Ｓ４７でＮ）、ステップＳ４３に戻って処理を行う。
一方、ステップＳ４７において領域内の全ての画像に行ったと判断した場合は（Ｓ４７でＹ）、続くステップＳ４８において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ４８でＮ）、領域を変更した後（Ｓ４９）、ステップＳ４３に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば（Ｓ４８でＹ）、処理を終了する。
図３に示した処理フローと異なるところは、ステップＳ４２において右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出し、画像属性毎に相関を算出する点である。典型的な画像属性としては文字属性とか絵柄属性が挙げられる。属性領域の算出方法は、ＯＣＲとか像域分離技術によって求めることができる。
なお、第２の実施形態では、画像属性毎に奥行き情報を算出するものとしているが、画像領域毎に奥行き情報を算出して良い。画像領域毎に奥行き情報を算出する場合には画像領域を予めブロック毎に区分し、ブロック単位で奥行き情報を算出すればよい。

次に、本発明の第３の実施形態として復号後に三次元画像の奥行き度合いを調整する場合について説明する。
画像データを編集することで奥行きを調整することは可能である。左眼画像データの描画内容の位置を対応する右眼画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする（同一の描画内容にする）ことで奥行きをなくすことができる。
図７は第３の実施形態に係る画像処理装置の奥行き調整処理を行うブロックの構成を示した図である。なお、図４と同一部位には同一番号を付す。
この図７に示す画像処理装置の奥行き調整処理ブロックは、三次元画像入力部１１、画像データ保存部１２、属性毎領域抽出部１３、画像属性領域データ保存部１４、画像属性毎奥行き算出部１５、画像属性毎奥行きデータ保存部３１、画像属性毎奥行き評価部３２、画像属性毎画像データ編集部３３により構成されている。
三次元画像入力部１１から三次元画像データを入力し、画像データ保存部１２に画像データを保存し、属性毎領域抽出部１３にて画像属性領域情報を抽出する。画像属性毎奥行き算出部１５は、図４に示したような処理構成ブロックで画像属性毎の奥行きデータを算出する。算出した画像属性毎の奥行き情報は画像属性毎奥行きデータ保存部３１に保存される。画像属性毎奥行き評価部３２は、画像属性の奥行きの有無、あるいは、奥行きのレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大／中／小の判定を行う。

図８は、画像領域毎の奥行き調整の原理図である。
右眼用と左眼用画像データの画像属性の特定領域の三次元画像データを抽出し、画像属性毎奥行き算出部１５内の相関算出部２３で部分領域の画像データ間の相関を計算する。
そして、画像属性毎画像データ編集部３３において相関算出部２３で求めた相関値を用いて画像データを編集する。
画像属性毎画像データ編集部３３における編集は、一方の画像データの画像属性領域に対して編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。典型的な編集としては、領域別に右眼用の画像データと左眼用の画像データを同じにする編集を施し、簡易に三次元表示画像の奥行きをなくすように調整する調整手段を設けるようにする。つまり、三次元画像表示を二次元画像表示に簡易に変換する調整手段を備えるようにする。また文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。そこで、文字画像領域が含まれている場合は、文字画像領域の奥行きが少なくなるように好適には無くすように調整する調整手段を備えるようにすると、視差量をなくすことができ有効である。
図９は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理（図６の処理参照）を行った後（Ｓ７１）、画像属性が文字である画像領域に対して奥行き度合いを算出する（Ｓ７２）。そして、前記奥行き度合いが「０」でない場合、右眼用と左眼用の画像データを同じにして（Ｓ７３）、処理を終えるようにする。
なお、この図９に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるわけではない。また、この処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。

次に、本発明の第４の実施形態として画像データをライン毎に重ねてマージして符号化処理を行う場合について説明する。
上記のようにライン毎の相関を算出する場合には画像データをライン毎に取り出す過程で、相関の算出と共にライン毎に交互にマージした画像データを生成し、係る合成画像データを符号化することで符号化効率を高めることもできる。
視差を持つ二つの画像データをライン毎に重ねてマージして符号化することで互いに相関のある画像データは夫々独立に符号化するよりも、符号化した場合の圧縮率を向上させることができる。
第４の実施形態では視差を持つ二つの画像データをライン毎に相関を算出するので、その過程でデータをマージ（合成）することで簡易にマージした画像データを生成することができる。
図１０は、第４の実施形態に係る三次元画像データの符号化処理のブロック構成を示した図である。
この図に示す画像処理装置は、三次元画像ライン毎入力部４１、ライン毎画像データ抽出部４２、相関算出部４３、奥行き算出部４４、画像属性毎奥行き評価部４５、データ合成部（画像データ合成手段）４６、符号化処理部（符号化手段）４７、復号化処理部４８、画像属性毎画像データ編集部（調整手段）４９、出力処理部５０、第１の画像データ保存部５１、ライン毎画像データ保存部５２、相関データ保存部５３、奥行きデータ保存部５４、第２の画像データ保存部５５、符号データ保存部５６、第３の画像データ保存部５７により構成されている。
データ合成部４６では、ライン毎画像データ保存部５２に保存されたライン毎画像データを合成する。合成した画像データは第２の画像データ保存部５５に保存される。
三次元画像データを再生した場合の奥行きを算出及び評価は、三次元画像ライン毎入力部４１、ライン毎画像データ抽出部４２、相関算出部４３、奥行き算出部４４、画像属性毎奥行き評価部４５で行う。
データ合成部４６は、図１１に示したように入力された画像データを合成して、合成画像データを生成する機能を有する。符号化処理部４７は合成した画像データを符号化する機能を有する。また符号化処理部４７は符号データを編集（削除）して、新しい符号データを再構成して生成する再構成手段としての機能を有していても構わない。
復号化処理部４８は、符号化された符号データを復号化し画像データを生成する機能を有する。画像属性毎画像データ編集部４９は、二つの画像データを編集して画像データ同士の相関を調整して奥行き度合いを調整する。なお、画像属性毎画像データ編集部４９は出力した画像の状態を観察しながら奥行き度合いを調整しても構わない。
出力処理部５０は、復元した画像データを使用して出力する機能を有する。

図１１は、右眼用と左眼用三次元画像データを合成した画像データの生成について説明するための図である。
二つの画像データを合成して符号化する場合は、二つの画像データをライン毎に交互に重ねあわせて新たな画像データを生成している。三次元立体像表示のための右眼用と左眼用の両者のデータに見られるように互いに同じようなデータの場合にあっては、画像間の相関が高く、ライン毎に交互に画像データを合成した合成画像は符号化における圧縮率を高くすることが期待できる。互いに相関が高い画像データ同士をマージすることで、符号化時の圧縮率を高めることができるのである。
図１２は符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図であり、この図１２から相関算出処理とデータ合成処理が並列に実行可能であり、処理効率を高めることが可能であることが分かる。
第４の実施形態では、符号化処理部４７においてＪＰＥＧ２０００規格に基づく符号化を行っており、合成した画像データに対してウェーブレット変換を施して符号化処理している。
ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して画像属性領域、例えば、文字領域を識別する。このように画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。

図１３は、三次元画像データの符号化処理を示したフローチャートである。
図１３に示す符号化処理の特徴は、先に記載したように画像データを分析して奥行き度合いを算出する（上記ステップＳ８２）ことに加え、画像データを合成（マージ）して（ステップＳ８３〜Ｓ８６）、マージした画像データを符号化処理、及び復号化処理を行う点にある。即ち、ステップＳ８３において、前述したようにライン毎に交互に読み込んだ右眼用と左眼用三次元の画像データを重ね合わせてマージし、符号化対象とする別の新しい画像データを生成する。後述するように、右眼用と左眼用三次元の画像データを交互にライン毎に読み込みながら所定のライン数分毎に符号化していくのであっても構わない。
ステップＳ８４では、マージした画像データを符号化し符号データを生成する。次にステップＳ８５においては、生成された符号データを復号化し画像データを生成し、続くステップＳ８６においては生成された画像データが複数個の画像データを重ね合わせて構成されたものであるので、それを分解して元に戻して元の画像データを復元する。
次にステップＳ８７においては、奥行き度合いに基づいて画像データを編集し、ステップＳ８８において三次元画像データを出力する。
なお、第４の実施形態ではウェーブレット変換による符号化を例に説明しているが、符号化方式は問わない。また、符号化後の符号データについて符号データを再構成する編集機能をもっていても構わない。
ところで、ステップＳ８３の画像データの合成において、圧縮率が高くなるように相関を高めるために、図１４に示すように合成方法を変更しても構わない。
図１３は、右眼用と左眼用三次元画像データを合成する場合に列をずらして合成する処理を示している。
この例では、互いに左右方向をずらして合成データを生成する例になっている。これは、三次元立体表示用のデータにおいては、右眼用と左眼用の画像データのように視差のために同じ対象を表す画像の左右の位置が互いにに少しずれているような場合や、データが後述する連続データの符号化において左右方向に連続データが少し動いたような場合に有効となる。殊に、三次元画像データの場合は、近くの対象を撮影した場合に、視差のずれが大きいことから、焦点距離に応じて、左右方向にずらす機能を持たせることもできる。
例えば、焦点距離が短いときにずらす補正量を大きくするという制御をすることで、合成後の画像データの圧縮率を高めることが期待できる。

次に、第５の実施形態として、符号列編集による三次元画像の奥行き度合いを調整する調整方法について説明する。
図１５は、第５の実施形態に係る符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成する場合に、合成する画像データが互いに分離されているように画像データがブロック（タイル）分割されていて、夫々のブロック（タイル）毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は前述したＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）で符号化されている場合には、符号レベルでの編集を容易に進めることができる。本実施形態では、合成された画像データを符号化する方式は、別々に独立に符号化するのと比較して、両者のデータがまとまっていることから、領域部分的な符号量制御が容易であるというところにも着目した。
ＪＰＥＧ２０００規格の符号化方式においては、併合対象となる画像データで同じ領域に対する同様な処理をするような場合にあって、画像データに対応して夫々別々に処理をすることなく、まとまった処理が可能である。

図１６はその処理のイメージを表している。合成後の画像データは、元々の画像データの位置が近くにあるもの同士が合成されているので、右眼用と左眼用二つの特定領域の画像データを同時に編集、あるいは、符号化するのは容易である。
また、ＪＰＥＧ２０００では、生成された符号データの領域は再生画像の領域に対応しているので、符号データの編集においても右眼用と左眼用二つの特定領域の編集が容易に実現できる。すなわち、合成された画像データの符号化処理により生成された符号データに対して符号データの編集を行うことにより、複数のデータをまとめて編集できるため効率的である。
特に、ＪＰＥＧ２０００規格の符号化によれば、符号レベルでの編集が容易に実現できる。符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。例えば、前記領域とそれ以外の領域とで異なる圧縮率により前記符号化する。特に注目領域とそうでない領域とで異なる圧縮率で符号化する。
以下、第６の実施形態としてＪＰＥＧ２０００規格に基づき符号化について説明する。
ＪＰＥＧ２０００規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Ｙ、Ｃｒ、Ｃｂの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより得られるウェーブレット係数にＪＰＥＧ２０００に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。そして全ての色データに対して上記のような処理を施した後、ＪＰＥＧ２０００で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。

図１７はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４により構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を各々用いている。
ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部１１４と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、図２１に示したようにブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。

以下、ＪＰＥＧ２０００アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に図１８に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）によって分割される。そして、個々のタイル、例えば、Ｒ００、Ｒ０１、…、Ｒ１５／Ｇ００、Ｇ０１、…、Ｇ１５／Ｂ００、Ｂ０１、…、Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル１２０のデータが、図１７の色空間変換部１１０に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
図１９には、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド（２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド（３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ）を分離する。

さらに図２１では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。
例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１７の量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２１に示したように一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

エントロピー符号化部１１３（図１７参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部１１３で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットは、あるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
（１）ＬＲＣＰ プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
（２）ＲＬＣＰ プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
（３）ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
（４）ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部（符号列形成部）は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。

図２０には、コード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図１７を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２でその対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。
エントロピー復号化部１１３で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、ＪＰＥＧ２０００の符号データは、５通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができる。

第１の実施形態の画像処理装置における奥行き度合い算出処理ブロックの構成を示した図である。 画像データを読み込む方向（水平方向または垂直方向）について説明するための図である。 本発明の第１の実施形態に係る画像処理装置における奥行き度合いの算出処理を示したフローチャートである。 第２の実施形態の画像処理装置における画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。 三次元画像領域毎に奥行きを算出する原理図である。 第２の実施形態として画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。 第３の実施形態に係る画像処理装置の奥行き調整処理を行うブロックの構成を示した図である。 画像領域毎の奥行き調整の原理図である。 第３の実施形態の画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。 第４の実施形態に係る三次元画像データの符号化処理のブロック構成を示した図である。 第４の実施形態に係る右眼用と左眼用三次元画像データを夫々マージ（合成）した画像データの生成について説明するための図である。 符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図である。 三次元画像データの符号化処理を示したフローチャートである。 右眼用と左眼用三次元画像データを合成（マージ）する場合に列をずらしてマージする処理を示した図である。 本発明のおける符号列編集による奥行き度合い調整の原理図である。 マージした画像データの編集について説明するための図である。 ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。 タイル分割の基本を説明するための図である。 デコンポジション・レベルとサブ・バンドを説明するための図である。 コード・ストリームの構造を説明するための図である。 プレシンクトとコード・ブロックを説明するための図である。

符号の説明

１…三次元画像入力部、２…ライン毎画像データ抽出部、３…相関算出部、４…奥行き算出部、５…画像データ保存部、６…ライン毎画像データ保存部、７…相関データ保存部、８…データ保存部、１１…三次元画像入力部、１２…画像データ保存部、１３…属性毎領域抽出部、１４…属性画像領域データ保存部、１５…画像属性毎奥行き算出部、１６…奥行きデータデータ保存部、２１…画像属性毎画像抽出部、２２…ライン毎画像データ抽出部、２３…相関算出部、２４…奥行き算出部、２５…ライン毎画像データ保存部、２６…相関データ保存部、３１…画像属性毎奥行きデータ保存部、３２…画像属性毎奥行き評価部、３３…画像属性毎画像データ編集部、４１…三次元画像ライン毎入力部、４２…ライン毎画像データ抽出部、４３…相関算出部、４４…奥行き算出部、４５…画像属性毎奥行き評価部、４６…データ合成部、４７…符号化処理部、４８…復号化処理部、４９…画像属性毎画像データ編集部、５０…出力処理部、５１…第１の画像データ保存部、５２…ライン毎画像データ保存部、５３…相関データ保存部、５４…奥行きデータ保存部、５５…第２の画像データ保存部、５６…符号データ保存部、５７…第３の画像データ保存部、１１０…色空間変換・逆変換部、１１１…２次元ウェーブレット変換・逆変換部、１１２…量子化・逆量子化部、１１３…エントロピー符号化・復号化部、１１４…タグ処理部

Claims (16)

1. 三次元画像を再生するための画像処理を行う画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データ間の相関値を算出する相関算出手段と、算出された相関値により三次元画像の奥行き度合いを推定する推定手段と、を備えていることを特徴とする画像処理装置。
2. 三次元画像を再生するための画像処理を行う画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データ間の領域毎の相関値を算出する相関算出手段と、算出された相関値により三次元画像の画像領域毎の奥行き度合いを推定する推定手段と、を備えていることを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、前記画像データの属性毎の領域を識別する属性領域抽出手段を備え、前記属性領域が前記画像領域であることを特徴とする画像処理装置。
4. 請求項１乃至請求項３の何れか１項に記載の画像処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎に算出されることを特徴とする画像処理装置。
5. 請求項１乃至請求項３の何れか１項に記載の画像処理装置において、前記相関算出手段における相関は画像データの垂直方向のライン毎に算出されることを特徴とする画像処理装置。
6. 請求項４又は請求項５記載の画像処理装置において、前記右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、合成した画像データを符号化する符号化手段と、を備えることを特徴とする画像処理装置。
7. 請求項１乃至請求項６の何れか１項に記載の画像処理装置において、右眼用と左眼用両方の画像データ間の相関値を変更するように画像データの一部を変更することで、文字属性の奥行きが少なくなるように調整する調整手段を備えることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、前記調整手段は、領域別に前記右眼用と左眼用の画像データとが同じデータとなるように編集する、または前記画像属性として少なくとも文字属性を含んでいる場合は文字属性の奥行きが少なくなるように画像データを編集することを特徴とする画像処理装置。
9. 請求項１乃至請求項８の何れか１項に記載の画像処理装置において、前記相関算出手段は、画像データの一部の領域を用いて相関を算出することを特徴とする画像処理装置。
10. 請求項６に記載の画像処理装置において、前記符号化手段により符号化した符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、前記属性領域抽出手段による画像の領域識別を符号レベルで行うようにしたことを特徴とする画像処理装置。
12. 請求項１０又は請求項１１に記載の画像処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする画像処理装置。
13. 三次元画像を再生するための画像処理方法であって、入力された二つの画像データ間の相関値を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いを推定する推定ステップと、を有することを特徴とする画像処理方法。
14. 三次元画像を再生するための画像処理方法であって、入力された二つの画像データの何れか一方を分析して画像領域を算出する領域算出ステップと、入力された二つの画像データ間の相関値を算出する相関算出ステップと、算出された相関値により三次元画像の奥行き度合いを推定する推定ステップと、を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法において、画像属性が文字である画像領域に対して奥行き度合いを算出するステップと、算出した三種した奥行き度合いが０でない場合、二つの画像データが同じになるように調整する調整ステップを有することを特徴とする画像処理方法。
16. 請求項１３又は請求項１４に記載の画像処理方法において、入力された２つの画像データを合成する合成ステップと、合成した画像データを符号化する符号化ステップと、符号化したデータを復号化する復号化ステップとを有することを特徴とする画像処理方法。

Images