JP2014042238A - ３ｄビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法 - Google Patents

Abstract

【課題】 ３Ｄコンテントのデプスベーススケーリングを行うシステム及び方法を提供する。
【解決手段】 本システムは、１）複数個の入力画像オブジェクトを有する入力画像を供給すべく形態とされているコンテント供給源、及び２）該入力画像を受け取り且つ該複数個の入力画像オブジェクトの各々と関連しているデプスデータを有するデプスマップを受け取る形態とされているプロセッサ、を有している。該プロセッサは、複数個の出力画像オブジェクトを有する出力画像を発生し、該複数個の出力画像オブジェクトの各々は該複数個の入力画像オブジェクトの内の一つに対応している。該プロセッサは、第１出力画像オブジェクトの寸法を、該第１出力画像オブジェクト及び該第２出力画像オブジェクトと関連するデプスデータに基いて、第２出力画像オブジェクトの寸法と相対的にスケールする。
【選択図】 図１

Description

本発明は、３Ｄコンテントのビュアー（viewer）、即ち視聴者、がデプスベースイメージスケーリング（ＤＢＩＳ）を使用して該３Ｄコンテントの知覚されるデプスを調節することを可能とするシステム及び方法に関するものである。

三次元（３Ｄ）の映画及びビデオは市場において益々普及している。ステレオの３Ｄ映画又はビデオが作成される場合に、シーンの２つの異なるビュー（view）が、２つの物理的なステレオカメラによってキャプチャされるか、又はコンピュータグラフィックスによって人工的に発生される。典型的に、該カメラ間の距離（ベースライン）は、映画製作者によって所望される３Ｄビジュアル効果に従っての製作期間中に、固定されたままである。３Ｄ映画又はビデオを見る時に（例えば、アクティブ又はパッシブの３Ｄメガネをかけて３Ｄテレビ上において）、視聴者は、映画又はビデオの製作者によって計画された如くに「デフォルト」のデプス（depth）知覚効果を経験する。

新しい左及び右のビューの合成によってカメラのベースラインに対する人工的な調節を実施（ステレオビジュアルキュー（stereo visual cue）の操作）するために、ステレオ３Ｄコンテントを処理することが可能である。このことは、３Ｄ映画又はビデオ視聴者が、知覚されるデプス、即ち奥行き、をその３Ｄコンテントを視聴する場合に視聴者を一層快適にさせる点へ調節（増加又は減少）することを可能とさせる。しかしながら、時折、知覚されるデプスにおける変化は小さいものである。単一のビジュアルキュー（ステレオ）が操作されるものであるから、この問題はしばしば発生する。例えば、シーンにおいて知覚されるデプスは、ベースラインを増加させることによって増加される場合がある。しかしながら、イメージ内のオブジェクトの空間的寸法は固定されたままである。従って、デプス範囲が拡大されることを観察するかもしれないが、近くのオブジェクトが一層近くなることを感じるものではない。

従って、本技術においては、３Ｄビデオコンテントの知覚されるデプスを調節する改良された装置及び方法に対する必要性が存在している。

本発明によれば、３Ｄコンテントのデプスベース（depth-based）、即ちデプスをベースとした、スケーリングを実施するシステムが提供される。有益的な実施例においては、本システムは、１）複数個の入力イメージオブジェクトを有する入力イメージを供給する形態とされているコンテント供給源、及び２）該入力イメージを受け取り且つ該複数個の入力イメージオブジェクトの各々と関連しているデプスデータを有するデプスマップを受け取る形態とされているプロセッサ、を有している。該プロセッサは、複数個の出力イメージオブジェクトを有する出力イメージを発生し、その場合に、該複数個の出力イメージオブジェクトの各々は該複数個の入力イメージオブジェクトの一つに対応している。該プロセッサは、第１出力イメージオブジェクト及び第２出力イメージオブジェクトと関連するデプスデータに基いて第２出力イメージオブジェクトの寸法と相対的な第１出力イメージオブジェクトの寸法をスケール、即ち拡縮、する。

視聴者入力制御信号に応答して、３Ｄコンテントのデプスベースのスケーリングを実施する方法が提供される。本方法は、１）複数個の入力イメージオブジェクトを有する入力イメージを受け取り、２）該複数個の入力イメージオブジェクトの各々と関連するデプスデータを有するデプスマップを受け取り、３）複数個の出力イメージオブジェクトを有する出力イメージを発生する、ことを包含しており、該複数個の出力イメージオブジェクトの各々は該複数個の入力イメージオブジェクトの一つに対応しており、且つ第１出力イメージオブジェクト及び第２出力イメージオブジェクトと関連するデプスデータに基いて第１出力イメージオブジェクトの寸法が第２出力イメージオブジェクトの寸法と相対的にスケールされる。

本発明の１実施例に基くビデオデプス制御（ＶＤＣ）システムの概略図。 本発明の１実施例に基くデプスベースイメージスケーリング（ＤＢＩＳ）システムの概略図。 本発明の１実施例に基くデプスベースイメージスケーリング（ＤＢＩＳ）システムにおいて使用される１組のスケーリング係数を定義する例示的な単調増加関数を示したグラフ図。 本発明の１実施例に基く結合型ビデオデプス制御（ＶＤＣ）システム及びデプスベースイメージスケーリング（ＤＢＩＳ）システムの概略ブロック図。

以下に説明する図１乃至４及び本書における発明の原理を説明するために使用される種々の実施例は、例示のためであって、本発明の範囲を制限するものとして解釈されるべきものではない。当業者によって理解されるように、本発明の原理は、任意の適宜に構成された３Ｄコンテント処理システムにおいて実現することが可能なものである。

本開示は、３Ｄ映画（又はビデオ）の視聴者が、３Ｄコンテントを見る場合に視聴者が一層快適と感じる点へ知覚されるデプスを調節する（即ち、増加させるか又は減少させる）ことを可能とさせることによって、上述した問題を解消するシステム、装置、及び方法を記載するものである。特に、本開示は、i）動き補償型時間的補間フレームレート変換エンジンからの低コスト視差推定量（disparity estimator）を再使用又は共有し、ii）スケーリングパラメータを介して知覚されるデプスを減少又は増加し、且つデプスオフセットを適用し、iii）ステレオ画像に関して専用のオクルージョン取り扱いシステムの使用を回避し、且つiv）高品質ステレオ画像合成を生成する低コストモデルベースワーピング（ＭＢＷ）エンジンを使用する、システム、装置、及び方法について記載する。例示的な実施例においては、本発明の原理に基くシステムは、応用特定集積回路（ＡＳＩＣ）上でハードウエアで完全に実現される。

図１は、システム１００のハイレベルのブロック図を例示しており、それは、説明する実施例に基づくビデオデプス制御（ＶＤＣ）システム１２０を包含している。システム１２０は、前に、２０１２年７月２４日に出願された米国特許出願番号第１３／５５６，９６９号に記載されており且つ上記参照によって前に組み込まれている。システム１００は、三次元（３Ｄ）画像処理を実施することが可能な多数の異なる装置の内のいずれかを有することが可能である。制限ではなく例示として、システム１００は、３Ｄテレビ受像機、デジタルビデオレコーダ（ＤＶＲ）、デジタルバーサタイルディスク（ＤＶＤ）プレーヤ、３Ｄビデオアプリケーションを実行することが可能なコンピュータシステム、ビデオプロジェクタ、又は任意の同様の装置、を包含している。システム１００は、３Ｄコンテント供給源１１０、及びＶＤＣシステム１２０、を包含している。ＶＤＣシステム１２０は、視差推定回路１３０、視差処理回路１４０、及びワーピングエンジン回路１５０を包含している。３Ｄコンテント供給源１１０は、３Ｄ画像データをＶＤＣシステム１２０へ供給する。例示的な実施例においては、３Ｄ画像データは一対の入力左及び右ステレオ画像、夫々Ｌ１及びＲ１、を有する場合がある。ＶＤＣシステム１２０は一対の出力左及び右ステレオ画像、夫々Ｌｏ１及びＲｏ１、を発生する。

３Ｄコンテント供給源１１０の性質は、システム１００に依存して変化する。制限ではなく例示として、システム１００がＤＶＤプレーヤである場合には、３Ｄコンテント供給源１１０はデジタル格納ディスクである場合がある。システム１００がコンピュータである場合には、３Ｄコンテント供給源１１０は内部又は外部のハードドライブである場合がある。システム１００が３Ｄテレビ受像機である場合には、３Ｄコンテント供給源１１０は、入力左（Ｌ１）及び入力右（Ｒ１）ステレオ画像を供給するケーブル接続である場合がある。

ステレオコンテント（即ち、Ｌ１及びＲ１）に関して知覚されるデプス、即ち、知覚デプス、の変化を生成する２つの基本的な方法がある。第１の方法は、全体的なデプス範囲をスクリーン表面に関して「内側」又は「外側」にシフトさせることに基いている。この方法は、水平画像変換（Horizontal Image Translation）として知られている。第２の方法は、ステレオカメラのベースライン（分離）の人工的な変化に基いており、その場合に、中間の左及び右の画像が合成される。本開示は、ベースライン方法と水平画像変換方法の両方をサポートするシステムについて説明する。

従って、図１において、Ｌ１及びＲ１は、夫々、一対の入力左及び右ステレオ画像を表しており、且つＬｏ１及びＲｏ１は、新たな対の合成されたステレオ左及び右画像を表しており、それらは、ユーザが見た場合に、Ｌ１及びＲ１によって発生されるデフォルトのデプス効果に関して、増加されるか又は減少された知覚デプス効果を発生する。視差推定回路１３０は、Ｌ１及びＲ１の間のステレオ対応性を計算し、視差処理回路１４０は、その計算された視差の条件付けを行い、且つワーピングエンジン回路１５０は入力画像をワーピングさせ且つ補間を行って出力画像Ｌｏ１及びＲｏ１を合成する。ＶＤＣシステム１２０は、知覚されるデプスにおける変化量を制御するユーザ入力制御信号を受け取る。例示的実施例において、該ユーザ入力制御信号は、視聴者によって動作される遠隔制御（不図示）によって与えることが可能である。

視差推定回路１３０−ＶＤＣシステム１２０は、ステレオ画像における視差を計算するために、ＶＤＣシステム１３０に結合されているＭＣＴＩエンジン（不図示）からモーション推定情報を受け取ることが可能である。該視差は、実効的には、ステレオ画像対Ｌ１及びＲ１から計算されるベクトルの水平成分である。視差推定回路１３０は、２つの視差フィールド：Ｌ−Ｒ（左から右）及びＲ−Ｌ（右から左）を計算する。入力画像Ｌ１及びＲ１は、エピポーラ調整（epipolar rectification）メカニズムによって既に調整されている（マッチングプロセスを簡単化するために整合されたステレオカメラをエミュレートするために）ものと仮定する。

視差処理回路１４０−視差を計算した後に、適応性２Ｄフィルタリングメカニズムが適用される。例示的実施例において、視差の局所的構造に依存して、破壊された視差アレイを適応的にフィルタするために、異なる形状を具備する二次元フィルタのバンクを使用することが可能である。視差領域の局所的特性に従って、適切なフィルタを選択するために、構造解析ステージを使用することが可能である。この様な適応的フィルタリングメカニズムは、合成した出力画像に関する歪みを最小としながら、視差アレイにおける既存のオクルージョン区域を充填すべく設計される。フィルタリングの後に、視差フィールドはオリジナルの画像寸法へアップスケールされる。次いで、視差の実際の値が２つの態様で調節される。即ち、１）視差が負及び正の両方の値（ゼロを含む）を有する範囲を持っているスケールファクタ、即ち倍率、によって乗算され、且つ２）オフセット（負又は正）が視差へ加算される。これら２つの調節は、最終的な３Ｄ出力を見る場合にユーザが知覚デプスを調節することを可能とする。

モデルベースワーピング（ＭＢＷ）エンジン回路１５０−視差の値がユーザ制御スケーリングファクタによってスケーリングされた後に、新たな対のステレオ画像Ｌｏ１及びＲｏ１を合成することが可能である。ワーピング（warping）エンジン回路１５０は、入力画像の第１領域がワーピングした画像内の等価な領域上にどのようにしてマッピングされるかをモデルする変換モデルの使用に基いている。ワープ（warp）した画像は、入力画像よりも一層大きな垂直寸法を有する場合があり、又入力画像３１０よりも一層大きな水平寸法を有する場合がある。

「ｐ」を入力画像中の一つの点とする。変換関数ｑ＝Ｔ［ｐ］を適用することによって、変換された点「ｑ」がワープした画像内に得られる。変換関数Ｔ［］はその夫々のパラメータを具備する一つのモデルである。例示的なモデルは、これらに制限されるものではないが、以下のもの、即ち、i）ｘ及びｙにおける二次多項式（円錐曲線）、及びii）アフィンモデル、である。これらのモデルは、視差が垂直及び水平の両方の成分を具備する場合（即ち、入力画像が整合されていないか又は予め調整されている場合）に使用することが可能である。視差の垂直成分がゼロである場合（即ち整合されているか又は予め調整されているステレオ画像を使用する場合）の特別なケースに対しては、アフィン変換の簡単化したものを使用することが可能である。

本開示は、上述し且つ上に引用により組み込んだ関連する米国特許出願公開番号第１３／５５６，９６９号に記載されているビデオデプス制御（ＶＤＣ）と結合させることが可能な付加的なデプスをベースとした、即ちデプスベース、画像スケーリング（ＤＢＩＳ）技術を提供する。

本開示は、画像中の少なくとも幾つかの選択したオブジェクトのデプスに基いてこれらのオブジェクトの空間的スケール（寸法）を調節する装置及び方法を提供する。例えば、視聴者に近いオブジェクトは、画像中において一層大きな面積を占有するように空間的にスケールされ、従って、その視聴者に対して更に一層近いものと知覚される。従って、この場合には、透視又はスケーリングキュー（scaling cue）が操作される。しかしながら、これは、視聴者によって経験される知覚デプス変化を改善するために、ベースライン調節方法と結合させるか又はテクスチャや、シェーディング等の他のデプスキューの操作と結合させることが可能である。本発明によってもたらされる利点は、１）オブジェクトの寸法がそれらのデプスに従って変化することを可能とさせることによる知覚デプスの調節の向上、及び２）該システムをベースラインに基くビューの合成などのその他の形態のデプス調節と結合することが可能であること、である。

ステレオコンテントに関しての知覚デプス変化を発生させる２つの良く知られている方法がある。第１のものは、全体的なデプス範囲をスクリーン表面に関して内側又は外側にシフトすることに基いている。この方法は「水平画像変換」として知られている。２番目の方法は、ステレオカメラのベースライン（分離）の人工的な変化に基いており、その場合には、新規な中間の左及び右の画像が合成される。

本発明はこれらの２つの技術のいずれをも使用するものではない。その代わりに、本開示は、割り当てられたデプス（視差）に従って画像中のオブジェクトの空間的なスケーリングを実施するシステム及び方法について説明する。

図２は、本発明に基くシステム１００内のデプスベース画像スケーリング（ＤＢＩＳ）システム２００のハイレベルのブロック図である。ＤＢＩＳシステム２００は、デプスベース画像スケーリング（ＤＢＩＳ）プロセッサ２３０を有しており、それは、入力画像２１０及びデプスマップ２２０を受け取り且つそれから出力画像２４０を発生する。図２において、入力画像２１０の視差マップが利用可能であると仮定されている。

ＤＢＩＳシステム２００は、画像中のオブジェクトが視聴者に対して一層遠いか又は一層近く見えるようにさせるために、それらのデプスに基いて該オブジェクトの空間的スケール（即ち、寸法）に対して調節（増加又は減少）を行うために３Ｄコンテントの視聴者が視聴者入力装置（例えば、ＴＶ遠隔制御器）を使用することを可能とさせる。しかしながら、このことは、視聴者によって経験される知覚デプス変化を改善させるために、ベースライン調節方法と結合させるか、又はテクスチャ、シェーディング等からのデプスなどのその他のデプスキューの操作と結合させることが可能である。

ここに開示されて提案されているデプスベース画像スケーリング（ＤＢＩＳ）システム２００への入力は、１）入力画像２１０、及び２）入力画像２１０の対応するデプスマップ２２０、及び３）ユーザ入力制御パラメータ、である。図２において、入力画像２１０は、ステレオ画像対からの左入力画像又は右入力画像のいずれかとすることが可能である。

入力画像２１０において、４個のオブジェクトが示されており、即ち、ＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４である。説明の便宜上、これら４個のオブジェクトは、種々のデプスに配置されている矩形として提示されている。オブジェクトＯＢＪ１は、視聴者に最も近く且つオブジェクトＯＢＪ２の前に配置されている。オブジェクトＯＢＪ２はオブジェクトＯＢＪ３の前に配置されており、従って、オブジェクトＯＢＪ２はオブジェクトＯＢＪ３よりも視聴者に一層近い。オブジェクトＯＢＪ３はオブジェクトＯＢＪ４の前に配置されており、従って、オブジェクトＯＢＪ３はオブジェクトＯＢＪ４よりも視聴者に一層近い。従って、オブジェクトＯＢＪ１は視聴者に最も近く、且つオブジェクトＯＢＪ４は視聴者から最も遠い。オブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４の各々は、夫々、デプスマップ２２０に示される如く、対応するデプス情報Ｄ１，Ｄ２，Ｄ３，Ｄ４を有している。

デプスベース画像スケーリング（ＤＢＩＳ）プロセッサ２３０は入力画像２１０及びデプスマップ２２０を受け取る。ＤＢＩＳプロセッサ２３０の出力は合成画像、即ち出力画像２４０、であり、その場合に、オブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３、ＯＢＪ４はそれらの対応するデプスに従ってスケールされている。図２は縮尺通りではないが、入力画像２１０における最も近いオブジェクト（ＯＢＪ１）が最も増加されており（ＯＢＪ１’として）、一方最も遠いオブジェクト（ＯＢＪ４）が最も少なく増加されているか又は全く増加されていない（ＯＢＪ４’として）ことを示すことが意図されている。ＤＢＩＳシステム２００は応用特定集積回路（ＡＳＩＣ）で実現させることが可能である。

図２において、デプスマップ２２０が使用可能であることが仮定されている。ＤＢＩＳプロセッサ２３０はデプスマップ２３０をＫ個のレベル又はレイヤーＩ_ｉ、尚ｉ∈｛１，２，．．．，Ｋ｝、へ量子化させる。各レイヤーＩ_ｉは入力画像２１０、即ち「Ｉ」、からの一つの領域Ｒ_ｉ（即ち、１組の画像位置）をカバーする。従って、Ｉ＝｛Ｉ_Ｒ１∪Ｉ_Ｒ２∪．．．∪Ｉ_ＲＫ｝であり、それは、画像Ｉが全てのサブ画像Ｉ_Ｒｉから構成されていることを意味している。例えば、図２において、デプスマップ２２０は、元々、オブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４の４個のレイヤーと、バックグランドレイヤーとを包含する５個のレイヤーを有している。量子化が行われない場合には、デプスマップ２３０におっける各レイヤーは画像Ｉ内のサブ画像Ｉ_Ｒｉに対応する。

図３は、本発明の実施例に従ってデプスベース画像スケーリング（ＤＢＩＳ）システム２００において使用される１組のスケーリング係数を定義する例示的な単調増加関数である。上述した量子化ステップの後に、ＤＢＩＳプロセッサ２３０は、次に、サブ画像Ｉ_Ｒｉの各々の個別的空間的二次元（２Ｄ）スケーリングを行う。各サブ画像は、その対応するスケーリング係数α_ｉによってスケールされる（水平方向及び垂直方向）。１組のスケーリング係数Ｓ＝｛α_１，α_２，α_３，．．．，α_Ｋ｝を図３に示した１Ｄ関数によって定義することが可能である。図３における関数は、単調増加関数である。ＤＢＩＳプロセッサ２３０は、次に、そのスケールしたものＩ_Ｒｉ’を発生するために各サブ画像Ｉ_Ｒｉの個別的スケーリングを行う。ＤＢＩＳプロセッサ２３０は、例えば、画像表面（即ち、０のデプス）に対応するレイヤーから、例えば、デプスマップ２２０におけるデプスＤ１へスケーリングプロセスを開始する。最も遠いオブジェクトを最初に処理し且つスケーリングすることによって、レイヤーｉにおけるスケーリング係数はレイヤーｉ−１のものよりも一層大きい。従って、スケールしたサブ画像Ｉ_Ｒｉ’の外側区域は前のサブ画像Ｉ_Ｒｉ−１’からの幾らかの区域とオーバーラップ（上書き）し、そのことは、孔を回避するためには望ましいことである。

消失点（ＦＯＥ）

はプログラム可能である。それは、最も近いオブジェクトの重心に基いて定義することが可能であり、又は、それは画像中心に設定することが可能である。各サブ画像のスケーリング期間中に、

が画像座標から減算され、且つその結果は、

に中心位置決めされる。

後処理−上述したスケーリングに起因するオーバーラッピングは、出力合成画像における孔の出現を回避することに効果的に貢献する。しかしながら、最終的な画像は、未だに、多数の孔を包含している場合がある。ＤＢＩＳプロセッサ２３０は、出力画像に対してメディアンフィルタリング（median filtering）を適用することによってこの問題を緩和させることが可能である。

本発明の有益的な実施例において、ＤＢＩＳシステム２００は、ステレオベースラインをベースとするデプス調節方法と結合することが可能であり、操作されるキュー（cue）は互いにサポートして、所望通りの向上されたデプス調節体験を発生する。

図４は、本発明の実施例に基く結合されたビデオデプス制御（ＶＤＣ）システム及びデプスベース画像スケーリング（ＤＢＩＳ）システムのハイレベルの例示的ブロック図を示している。例示的なＶＤＣシステムは、以前に、米国特許出願第１３／５５６，９６９号に記載されており且つ上述した如く図１において更に説明されている。図４において、左入力画像及び右入力画像は一緒に処理される。

モデルベースワーピング（ＭＢＷ）エンジン１５０ａは第１入力上で左入力画像Ｌ１を受け取り且つ第２入力上で視差処理ブロック１４０からの左調節済み視差（ＤＬadj）データを受け取って、ワープした左入力画像ＬＩ’を発生する。同様に、ＭＢＷエンジン１５０ｂは、第１入力上で左入力画像ＬＩに対応する左デプスマップＤＬを受け取り且つ第２入力上で視差処理ブロック１４０からの左調節済み視差（ＤＬadj）データを受け取って、ワープした左入力画像ＬＩ’に対応するワープした左デプスマップＤＬ’を発生する。

モデルをベースとした、即ちモデルベース、ワーピング（ＭＢＷ）エンジン１５０ｃは、第１入力上で右入力画像ＲＩを受け取り且つ第２入力上で視差処理ブロック１４０からの右調節済み視差（ＤＲadj）を受け取って、ワープした右入力画像ＲＩ’に対応するワープした右デプスマップＤＲ’を発生する。

ＤＢＩＳプロセッサ２３０ａは、第１入力上でワープした左入力画像ＬＩ’を受け取り且つ第２入力上でワープした左入力画像ＬＩ’に対応するワープした左デプスマップＤＬ’を受け取る。次いで、ＤＢＩＳプロセッサ２３０ａは、量子化ステップ、スケーリングステップ、及び後処理を図２及び３に関連して上述した如くに実施して、スケールされ且つワープされた左出力画像ＬＯ’を発生する。同様に、ＤＢＩＳプロセッサ２３０ｂは、第１入力上でワープした右入力画像ＲＩ’を受け取り且つ第２入力上でワープした右入力画像ＲＩ’に対応するワープした右デプスマップＤＲ’を受け取る。ＤＢＩＳプロセッサ２３０ｂは、次いで、量子化ステップ、スケーリングステップ、及び後処理を図２及び３に関連して上述した如くに実施して、スケールされ且つワープされた右出力画像ＲＯ’を発生する。該スケールされ且つワープされた左及び右の出力画像ＬＯ’及びＲＯ’は、視聴者によって３ＤＴＶ上の３Ｄコンテントとして見ることが可能なステレオ対を形成する。

以上、本発明の具体的実施の態様について詳細に説明したが、本発明はこれらの具体的実施例に制限されるべきものではなく、本発明の技術的範囲を逸脱すること無しに、種々の変形が可能であることは勿論である。

１１０：３Ｄコンテント供給源
１２０：ビデオデプス制御（ＶＤＣ）システム
１３０：視差推定回路
１４０：視差処理回路
１５０：ワーピングエンジン回路
２００：デプスベース画像スケーリング（ＤＢＩＳ）システム
２１０：入力画像
２２０：デプスマップ
２３０：デプスベース画像スケーリング（ＤＢＩＳ）プロセッサ
２４０：出力画像

Claims (20)

1. ３Ｄコンテントのデプスベーススケーリングを行う形態とされているシステムにおいて、
   複数個の入力画像オブジェクトを包含する入力画像を供給する形態とされているコンテント供給源、
   該入力画像を受け取り且つ該複数個の入力画像オブジェクトの各々と関連するデプスデータを有するデプスマップを受け取る形態とされているプロセッサ、
   を有しており、該プロセッサが複数個の出力画像オブジェクトを有する出力画像を発生し、該複数個の出力画像オブジェクトの各々は該複数個の入力画像オブジェクトの一つに対応しており、且つ該プロセッサが、該第１出力画像オブジェクト及び該第２出力画像オブジェクトと関連するデプスデータに基いて、第２出力画像オブジェクトの寸法と相対的に第１出力画像オブジェクトの寸法をスケールする、
   システム。
2. 請求項１において、
   該第１出力画像オブジェクトが該第２出力画像オブジェクトよりも該３Ｄコンテントの視聴者に対して一層近く、且つ該プロセッサが該第２出力画像オブジェクトの寸法よりも一層大きな係数によって該第１出力画像オブジェクトの寸法をスケールするシステム。
3. 請求項１において、該プロセッサが該デプスマップをＫ個のレイヤーに量子化する形態とされており、各レイヤーは該入力画像の該複数個の入力画像オブジェクトの内の一つと関連しているシステム。
4. 請求項３において、該プロセッサが、更に、該入力画像オブジェクトの各々の個別的空間的二次元スケーリングを実施する形態とされているシステム。
5. 請求項４において、該プロセッサが、更に、対応するスケーリング係数によって該入力画像オブジェクトの各々を水平及び垂直にスケールする形態とされているシステム。
6. 請求項５において、該対応するスケーリング係数が一次元関数によって定義される１組のスケーリング係数Ｓの内の一つであるシステム。
7. 請求項６において、該一次元関数が単調増加関数であるシステム。
8. 視聴者入力制御信号に応答して３Ｄコンテントのデプスベーススケーリングを行う形態とされている集積回路において、該集積回路が、
   複数個の入力画像オブジェクトを有する入力画像を受け取り、
   該複数個の入力画像オブジェクトの各々と関連するデプスマップを有するデプスマップを受け取り、
   該入力画像及びデプスマップから複数個の出力画像オブジェクトを有する出力画像を発生する、
   形態とされており、該複数個の出力画像オブジェクトの各々が該複数個の入力画像オブジェクトの内の一つに対応しており、且つ該集積回路が該第１出力画像オブジェクト及び該第２出力画像オブジェクトと関連するデプスデータに基いて第２出力画像オブジェクトの寸法と相対的に第１出力画像オブジェクトの寸法をスケールする、集積回路。
9. 請求項８において、該第１出力画像オブジェクトが該第２出力画像オブジェクトよりも３Ｄコンテントの視聴者に対して一層近く、且つ該集積回路が該第２出力画像オブジェクトの寸法よりも一層大きな係数により該第１出力画像オブジェクトの寸法をスケールする集積回路。
10. 請求項８において、該集積回路が該デプスマップをＫ個のレイヤーへ量子化する形態とされており、各レイヤーが該入力画像の該複数個の入力画像オブジェクトの内の一つと関連している集積回路。
11. 請求項１０において、該集積回路が、更に、該入力画像オブジェクトの各々の個別的空間的二次元スケーリングを行う形態とされている集積回路。
12. 請求項１１において、該集積回路が、更に、対応するスケーリング係数により該入力画像オブジェクトの各々を水平及び垂直にスケールする形態とされている集積回路。
13. 請求項１２において、該対応するスケーリング係数が一次元関数により定義される１組のスケーリング係数Ｓの内の一つである集積回路。
14. 請求項１３において、該一次元関数が単調増加関数である集積回路。
15. 視聴者入力制御信号に応答して３Ｄコンテントのデプスベーススケーリングを行う方法において、
    複数個の入力画像オブジェクトを有する入力画像を受け取り、
    該複数個の入力画像オブジェクトの各々と関連するデプスデータを有するデプスマップを受け取り、
    複数個の出力画像オブジェクトを有する出力画像を発生し、該複数個の出力画像オブジェクトの各々が該複数個の入力画像オブジェクトの内の一つに対応しており、且つ第１出力画像オブジェクトの寸法が該第１出力画像オブジェクト及び該第２出力画像オブジェクトと関連するデプスデータに基いて第２出力画像オブジェクトの寸法と相対的にスケールされる、
    方法。
16. 請求項１５において、該第１出力画像オブジェクトが該第２出力画像オブジェクトよりも３Ｄコンテントの視聴者に対して一層近く、且つ該出力画像を発生する場合に、該第１出力画像オブジェクトの寸法を該第２出力画像オブジェクトの寸法よりも一層大きな係数によってスケーリングする、方法。
17. 請求項１５において、該出力画像を発生する場合に、該デプスマップをＫ個のレイヤーに量子化し、各レイヤーが該入力画像の該複数個の入力画像オブジェクトの内の一つと関連している、方法。
18. 請求項１７において、該出力画像を発生する場合に、該入力画像オブジェクトの各々の個別的空間的二次元スケーリングを行う、方法。
19. 請求項１８において、該出力画像を発生する場合に、該入力画像オブジェクトの各々を対応するスケーリング係数によって水平及び垂直にスケーリングする、方法。
20. 請求項１９において、該対応するスケーリング係数が一次元関数によって定義される１組のスケーリング係数Ｓの内の一つである方法。

Images