JP2013535898A - ３次元ビデオのための視覚ベースの品質メトリック - Google Patents

３次元ビデオのための視覚ベースの品質メトリック Download PDF

Info

Publication number
JP2013535898A
JP2013535898A JP2013520767A JP2013520767A JP2013535898A JP 2013535898 A JP2013535898 A JP 2013535898A JP 2013520767 A JP2013520767 A JP 2013520767A JP 2013520767 A JP2013520767 A JP 2013520767A JP 2013535898 A JP2013535898 A JP 2013535898A
Authority
JP
Japan
Prior art keywords
video data
dibr
view
depth map
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013520767A
Other languages
English (en)
Other versions
JP5583850B2 (ja
Inventor
マルティネス・バウザ、ジュディット
ソル、マシュアワー・エム．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013535898A publication Critical patent/JP2013535898A/ja
Application granted granted Critical
Publication of JP5583850B2 publication Critical patent/JP5583850B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

概して、３次元（３Ｄ）ビデオのための視覚ベースの品質メトリックを決定するための技術について説明する。３Ｄ分析ユニット（２４、４８）を備える機器（１２、１４）は、３Ｄ目標メトリック（３６、６０）を計算するためにこれらの技術を実装し得る。３Ｄ分析ユニット（２４、４８）は、ＤＩＢＲベース３Ｄビデオデータ（３４）を使用して歪み制限画像表示を生成することになる理想深度マップ（６２、７０）を推定し、次いで、理想深度マップ（６２、７０）とＤＩＢＲベース３Ｄビデオデータ（３４）の生成において使用される深度マップ（２８、５８）との定量比較に基づいて、１つ以上の歪みメトリック（６４、７２）を導出する。導出された１つ以上の歪みメトリック（６４、７２）に基づいて、３Ｄ分析ユニット（２４、４８）は、ＤＩＢＲベース３Ｄビデオデータ（３４）の視覚的品質を定量化するために目標メトリック（３６、６０）を計算する。３Ｄ目標メトリック（３６、６０）は、予想される視覚的不快感を補正するために深度推定及び符号化／復号パラメータを改変するかあるいは調整するために使用され得る。

Description

本開示は、ビデオレンダリングに関し、より詳細には、３次元ビデオレンダリングに関する。
３次元（３Ｄ）撮像装置は、概して人間の眼の配置を模倣（mimic）した構成の２つのカメラを概して含む。２つのカメラは各々、シーンの２次元（２Ｄ）ビデオデータを取得するが、人間のそれぞれ左眼及び右眼からのシーンの知覚を模倣する、僅かにシフトされたパースペクティブからシーンの２次元（２Ｄ）ビデオデータを取得する。この模倣（mimick）された左眼及び右眼の２Ｄビデオデータは、しばしば、それぞれ左眼２Ｄビュー（表示）及び右眼２Ｄビュー（表示）と呼ばれる。カメラの焦点距離と、カメラの中心間のベースライン距離とが与えられれば、この模倣された左眼２Ｄビュー及び右眼２Ｄビューから、深度（depth）情報が抽出され得る。この深度情報は、３Ｄビデオデータを形成するために左眼２Ｄビュー及び／又は右眼２Ｄビューのうちの１つ以上を増強するために使用され得る。
一般に、他のビューは、与えられたビューと深度情報とから生成され得るので、深度情報は、ビューのうちのただ１つに関連して与えられる。与えられたビューと深度情報とから他のビューをレンダリングするこの技術は、深度画像ベースレンダリング（ＤＩＢＲ：depth-image-based rendering）と呼ばれる。１つのビューしか必要とされないことと、深度情報は、消費される空間がフルカラー２Ｄビデオデータよりも大幅に少ないグレースケール画像として符号化され得ることとを考慮すると、ＤＩＢＲは３Ｄビデオデータのサイズを低減する。ＤＩＢＲにおいて得られた３Ｄビデオデータは、ビデオデータのサイズを更に低減するために、更に圧縮され得る。この３Ｄビデオデータの圧縮は、例えば、ワイヤレス表示への、この３Ｄビデオデータのワイヤレス配信を可能にし得る。
３Ｄビデオエンコーダは、単一のビューと２つの撮影されたビューからの深度情報とを含む３Ｄビデオデータを生成するための深度マップ推定モジュールを実装し得る。３Ｄビデオデコーダは、３Ｄ表示装置によるプレゼンテーションのための与えられたビューと深度情報とから追加のビューをレンダリングするためにＤＩＢＲを実装し得る。３Ｄビデオエンコーダ及び３Ｄビデオデコーダの各々は、更に、ビューの品質を評価するために３Ｄビデオデータの何らかの分析を実行し得る。一般的には、３Ｄビデオエンコーダ及びデコーダは、これらのビューの各々の品質を評価し、撮影された３Ｄビデオとレンダリングされた３Ｄビデオデータとの品質をそれぞれ投機的に（speculatively）反映する方法でこれらの２Ｄ品質メトリックを合成するために既存の２Ｄ品質メトリック（２ＤＱＭ）を利用する。これらの２Ｄ品質メトリックのうちの幾つかは、３Ｄビデオデータのための得られた品質メトリックを更に改良するために深度マップメトリックを考慮するように増強されている。この構築された疑似３Ｄ品質メトリックに応答して、３Ｄビデオエンコーダは、２つの撮影されたビューからの深度マップの生成を修正し得、３Ｄビデオデコーダは、与えられたビューと深度情報とからのビューの生成を修正し得る。
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１０年７月１６日に出願された米国仮出願第６１／３６４，９４０号の利益を主張する。
一般的に、誤差及びそれらの発生源の適切な発見を可能にすることと、深度マップ推定と深度マップ及びビューの符号化／復号との両方の微調整を行うこととの両方が可能な目標（objective）３次元（３Ｄ）品質メトリック（３ＤＱＭ）を与えるための技術について説明する。即ち、ビューの各々の品質を個別に評価し、これらの２Ｄ品質メトリック（２ＤＱＭ：2D quality metrics）を合成して、疑似３Ｄ品質メトリックと呼ばれ得るものを形成するために２Ｄ品質メトリックを利用するのではなく、本技術は、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限（distortion limited）画像ビューを与える理想深度マップの推定から計算される被写体３ＤＱＭのほうを優先して、２ＤＱＭの投機的合成を回避し得る。更に、本技術は、ＤＩＢＲベース３Ｄビデオデータを評価するために一般的に使用される投機的３ＤＱＭ（speculative 3DQM）と比較して、誤差の発生源を潜在的により良く識別するために、３Ｄビデオエンコーダ、３Ｄビデオデコーダ、及び／又はワイヤレスチャネル中で様々な動作を分離し得る。このようにして、本技術は、誤差及びそれらの発生源の適切な発見を可能にすることと、深度マップ推定と深度マップ及びビューの符号化／復号との両方の微調整を行うこととの両方が可能な目標３ＤＱＭを提供し得る。
一態様では、深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリック(objective metric)を得るための方法は、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定することと、理想深度マップとＤＩＢＲベース３Ｄビデオデータの生成において使用される深度マップとの定量比較に基づいて、１つ以上の歪みメトリックを導出することと、導出された１つ以上の歪みメトリックに基づいてＤＩＢＲベース３Ｄビデオデータの視覚的品質を定量化するために目標メトリックを計算することとを備える。
別の態様では、機器は、深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリックを得る。本機器は、３Ｄ目標メトリックを計算する３Ｄ分析ユニットを備える。３Ｄ分析ユニットは、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定する理想深度推定ユニットと、理想深度マップとＤＩＢＲベース３Ｄビデオデータの生成において使用される深度マップとの定量比較に基づいて、１つ以上の歪みメトリックを導出する歪みメトリック計算ユニットと、導出された１つ以上の歪みメトリックに基づいてＤＩＢＲベースビデオデータの視覚的品質を定量化するために目標メトリックを計算する目標メトリック計算ユニットとを含む。
別の態様では、装置は、深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリックを得る。本装置は、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定するための手段と、理想深度マップとＤＩＢＲベース３Ｄビデオデータの生成において使用される深度マップとの定量比較に基づいて、１つ以上の歪みメトリックを導出するための手段と、導出された１つ以上の歪みメトリックに基づいてＤＩＢＲベース３Ｄビデオデータの視覚的品質を定量化するために目標メトリックを計算するための手段とを備える。
別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、１つ以上のプロセッサに、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定することと、理想深度マップとＤＩＢＲベース３Ｄビデオデータの生成において使用される深度マップとの定量比較に基づいて、１つ以上の歪みメトリックを導出することと、導出された１つ以上の歪みメトリックに基づいてＤＩＢＲベース３Ｄビデオデータの視覚的品質を定量化するために目標メトリックを計算することとを行わせる命令を備える。
本技術の１つ以上の態様の詳細を添付の図面及び以下の説明に記載する。本技術の他の特徴、目的、及び利点は、その説明及び図面、並びに特許請求の範囲から明らかになろう。
本開示で説明する目標３次元（３Ｄ）品質メトリック（３ＤＱＭ）導出技術を実装する例示的なシステムを示すブロック図。 本開示で説明する技術の様々な態様を実装する３Ｄ分析ユニットの例を示すブロック図。 本開示で説明する３次元（３Ｄ）品質メトリック導出技術の様々な態様を実装する際の発信源機器の例示的な動作を示すフローチャート。 本開示で説明する技術の様々な態様を実装する際の表示装置の例示的な動作を示すフローチャート。 ３Ｄ品質メトリックを計算するために本開示で説明する技術の様々な態様を実装する際の３Ｄ分析ユニットの例示的な動作を示すフローチャート。 本開示で説明する技術に従って生成される３ＤＱＭの主観的分析を与えるグラフを示す図。 シフトセンサカメラモデルを示す図。
図１は、本開示で説明する目標３次元（３Ｄ）品質メトリック（３ＤＱＭ）導出技術を実装する例示的なシステム１０を示すブロック図である。図１の例では、システム１０は発信源機器１２と表示装置１４とを含み、発信源機器１２と表示装置１４とはワイヤレス通信チャネル１５を介して互いに通信する。発信源機器１２は、パーソナルコンピュータ、ワークステーション、携帯情報端末（ＰＤＡ：personal digital assistant）、（所謂「スマートフォン」を含む）モバイルフォン、又はソフトウェア及び、特に、マルチメディアソフトウェアを実行することが可能な汎用プロセッサを備える他のタイプの機器など、汎用マルチメディア機器を含み得る。発信源機器１４は、代替的に、ビデオカムコーダ、デジタルビデオディスク（ＤＶＤ）プレーヤ、テレビジョン、セットトップボックス（ＳＴＢ）、コンパクトディスク（ＣＤ）プレーヤ、デジタルメディアプレーヤ（例えば、所謂「ＭＰ３」プレーヤ、又はＭＰ３／ＭＰ４一体型プレーヤ、及びadvanced audio coding(AAC)、Windows（登録商標）メディアビデオ（ＷＭＶ）及びWaveformオーディオビデオ（ＷＡＶ）フォーマットを含む他のフォーマットを再生する他のメディアプレーヤ）、デジタルビデオレコーダ（ＤＶＲ）、全地球測位システム（ＧＰＳ）機器、又は１つ以上のマルチメディアアプリケーションのセットに専用であり、一般に、マルチメディアソフトウェアのローディングと実行とのユーザ制御を可能にしない、他の機器など、専用マルチメディア機器を備え得る。
表示装置１４は、一般的に、表示器を介したビデオ再生が可能な任意の機器を表す。表示装置１６は、３Ｄビデオ表示装置又はハイブリッド２Ｄ／３Ｄビデオ表示装置と呼ばれることがあるテレビジョン（ＴＶ）表示器、若しくは３Ｄビデオデータを表示することが可能な他のタイプの表示装置を備え得る。表示装置１４は、代替的に、ラップトップ、パーソナルメディアプレーヤ（ＰＭＰ）、デスクトップコンピュータ、ワークステーション、ＰＤＡ、及び（ポータブルＤＶＤプレーヤなどの）ポータブルデジタルメディアプレーヤなど、表示器をもつ他の機器を備え得る。
説明のために、表示装置１４は、発信源機器１２とワイヤレス通信するワイヤレスフル３Ｄテレビジョンを表すと仮定する。但し、本開示の技術は、ワイヤレスフル３Ｄテレビジョンに限定されるべきではなく、様々な機器の異なる構成に関して幾つかの異なる方法で実装され得る。例えば、表示装置ではなく、本技術は、セットトップボックス、又は３Ｄ対応表示器又はテレビジョンとは別個のものであるが、３Ｄ対応表示器又はテレビジョンとインターフェースする他の個別のビジュアル機器又はオーディオ／ビジュアル機器に関して実装され得る。本開示で使用するフル３Ｄ表示器は、３Ｄビデオデータを容易に表示し、３Ｄビデオデータの閲覧を可能にするために必要なハードウェア論理、モジュール、ユニット、ソフトウェア又は他の構成要素の全てを統合する３Ｄ表示器を指す。本開示で使用する３Ｄ対応表示器は、３Ｄビデオデータの受信、復号、提示及び閲覧を可能にするための論理、モジュール、ユニット、ソフトウェア又は他の構成要素の全てを含まない３Ｄ表示器を指す。３Ｄ対応表示器は、概して、３Ｄビデオデータの受信、復号、プレゼンテーション及び閲覧を可能にするために別個の機器、ハードウェアカード又は他の構成要素を必要とする。
発信源機器１２は、制御ユニット１６とインターフェース１８とを含む。制御ユニット１６は、１つ以上のプロセッサ（図１に図示せず）を表し得、そのプロセッサは、ストレージ機器（例えば、ディスクドライブ、又はオプティカルドライブ）、又はメモリ（例えば、フラッシュメモリ、ランダムアクセスメモリ又はＲＡＭ）、若しくは本開示で説明する技術をプログラマブルプロセッサに実行させるための（例えば、コンピュータプログラム又は他の実行ファイルの形態の）命令を記憶する他のタイプの揮発性又は不揮発性メモリなどの、コンピュータ可読記憶媒体（同じく、図１に図示せず）に記憶された、ソフトウェア又はコンピュータプログラムを定義するために使用されるソフトウェア命令など、ソフトウェア命令を実行する。代替的に、制御ユニット１６は、１つ以上の集積回路、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の特定用途向け専用プロセッサ（ＡＳＳＰ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、専用ハードウェア、又は本開示で説明する技術を実行するための専用ハードウェアの上記の例のいずれかの組合せを備え得る。
インターフェース１８は、表示装置１４などの別の機器とワイヤレス通信するインターフェースを表す。図１の例には示されていないが、発信源機器１２は、他の機器とのワイヤード又はワイヤレス接続を介して通信するために追加のインターフェースを含み得る。これらの追加のインターフェースは、例えば、Bluetooth（登録商標）インターフェース、ワイヤレスセルラーインターフェース、高解像度マルチメディアインターフェース（ＨＤＭＩ）、マイクロＨＤＭＩ、ユニバーサルシステムバス（ＵＳＢ）インターフェース、external Serial Advanced Technology Attachment(eSATA)インターフェース、シリアルインターフェース、セパレートビデオ（ｓビデオ）インターフェース、コンポーネントビデオインターフェース、ＲＣＡインターフェース、又は別の機器と通信するための他のタイプのワイヤード若しくはワイヤレスインターフェースを備え得る。
図１の例では、発信源機器１２の制御ユニット１６は、１つ以上のハードウェアユニット又はソフトウェアと１つ以上のハードウェアユニットとの組合せとして集合的に又は別々に実装され得る幾つかのユニット２０〜２４を含む。深度推定ユニット２０は、左ビュー２６Ａと右ビュー２６Ｂとを含む３Ｄビデオデータ２６に基づいて深度情報２８を推定するユニットを表す。３Ｄビデオデータ２６は、第１の２Ｄ撮像装置、例えば、第１のカメラと、第２の２Ｄ撮像装置、例えば、第２のカメラとを含む３Ｄ撮像装置を使用してキャプチャされ得、第１及び第２の２Ｄ撮像装置は、人間の頭部内の人間の左眼及び右眼の配置を模倣するように配置される。第１の２Ｄ撮像装置は、人間の左眼からのシーンのビューを模倣する２Ｄビデオデータを取得し得、一方、第２の２Ｄ撮像装置は、人間の右眼からの同じシーンのビューを模倣する２Ｄビデオデータを取得し得る。左ビュー２６Ａは、第１の２Ｄ撮像装置によって取得される２Ｄビデオデータを表し、右ビュー２６Ｂは、第２の２Ｄ撮像装置によって取得される２Ｄビデオデータを表す。
説明しやすいように図１に示されていないが、発信源機器１２は、上記の３Ｄ撮像装置など、３Ｄビデオデータ２６を取得するための追加のユニット、モジュール、論理、ハードウェア又は他の構成要素を含み得る。代替的に、発信源機器１２は、３Ｄビデオデータ２６を記憶するためのアーカイブ又はリポジトリとして働き得る。幾つかの事例において、発信源機器１２は、発信源機器１２内に含まれるインターフェース１８を介して３Ｄビデオデータ２６をワイヤレス受信し得る。幾つかの事例において、これらの外部機器は、３Ｄビデオデータを発信源機器１２内に記憶するためにインターフェース１８を介して発信源機器１２とインターフェースし得る。
３Ｄビデオエンコーダ２２は、圧縮された形で３Ｄビデオデータ２６と深度情報２８とを符号化するユニットを表す。より詳細には、３Ｄビデオエンコーダ２２は、深度画像ベースレンダリング（ＤＩＢＲ）を可能にする形で３Ｄビデオデータ２６のビュー２６Ａ、２６Ｂのうちの１つと深度情報２８とを符号化するユニットを表す。ＤＩＢＲは、与えられたビューと深度情報とから仮想ビューをレンダリングすることを伴う。ＤＩＢＲの利益は、２つのビューではなく左ビュー及び右ビューのうちのただ１つだけが送信されるだけでよいということである。更に、ＤＩＢＲは、他のビューよりもサイズがかなり小さくなり得るグレースケール画像又は所謂深度マップとして一般に与えられる深度情報を与える。ＤＩＢＲを実装するデコーダは、次いで、深度マップと与えられたビューとから送られないビューをレンダリングするか、又はさもなければ生成し得る。３Ｄビデオエンコーダ２２は、更に、３Ｄビデオデータ２６を更に圧縮するために、ビュー２６Ａ、２６Ｂのうちの与えられた１つと深度情報２８とを圧縮し得る。３Ｄビデオエンコーダは、ビュー２６Ａ、２６Ｂのうちの１つを圧縮するためのビュー符号化ユニット３０と、深度情報２８を圧縮するための深度符号化ユニット３２とを含む。３Ｄビデオエンコーダは、符号化されたビューと深度情報とを符号化ＤＩＢＲベース３Ｄビデオデータ３４としてフォーマットするか、又はさもなければパッケージング又はカプセル化し得る。
３Ｄ分析ユニット２４は、符号化ＤＩＢＲベース３Ｄビデオデータ３４の品質を客観的に評価する３Ｄ品質メトリック３６（「３ＤＱＭ３６」）を生成するために、本開示で説明する技術を実行するか、又はさもなければ実装するユニットを表す。３ＤＱＭを、本開示では３Ｄビデオ品質メトリック（３ＶＱＭ）と呼ぶこともある。深度推定ユニット２０及び３Ｄビデオエンコーダ２２とは別個のユニットとして示されているが、３Ｄ分析ユニット２４は、代替的に、本開示の以下でより詳細に説明する技術を実行するか、又はさもなければ実装するために、深度推定ユニット２０及び３Ｄビデオエンコーダ２２の一方若しくは両方に統合され得る。
図１の例に更に示すように、表示装置１４は、発信源機器１２の制御ユニット１６と実質的に同様であり得る制御ユニット３８と、発信源機器１２のインターフェース１８と実質的に同様であり得るインターフェース４０とを含む。表示装置１４はまた、シャッターメガネ、偏光メガネ又は色メガネを必要とし得る立体表示器とコンテンツを３Ｄで閲覧するためにメガネ又は他の機器を必要としない裸眼立体表示器とを含む、表示装置１４の閲覧者による消費のための３Ｄビデオデータを提示することが可能な任意の表示器を表す３Ｄ表示器４２を含む。３Ｄ表示器４２は、有機発光ダイオード（ＯＬＥＤ）表示器、発光ダイオード（ＬＥＤ）表示器、プラズマ表示器、及び陰極線管（ＣＲＴ）表示器を含む、任意のタイプの表示器を備え得る。表示装置１４の制御ユニット１６は、１つ以上のハードウェアユニット又はソフトウェアと１つ以上のハードウェアユニットとの組合せとして集合的に又は別々に実装され得る幾つかのユニット４４〜４８を含む。
３Ｄビデオデコーダ４４は、与えられたビュー５０Ａを生成するために符号化ＤＩＢＲベース３Ｄビデオデータ３４を復号するユニットを表し、その符号化ＤＩＢＲベース３Ｄビデオデータ３４は、説明のために、左ビュー５０Ａと深度情報５２とであると仮定する。３Ｄビデオデコーダ４４は、ビュー復号ユニット５４と深度復号ユニット５６とを含む。３Ｄビデオデコーダ４４は、ソフトウェア又は命令を実行することによって本開示で説明する幾つかの機能を実装することも実装しないこともある別個のハードウェアユニットとして個別に、若しくは単一のハードウェアユニットとしてビュー復号ユニット５４と深度復号ユニット５６とを実装し得る。ビュー復号ユニット５４は、与えられたビュー５０Ａを生成するためにＤＩＢＲベースビデオデータ３４の符号化された与えられたビューを復号するユニットを表す。深度復号ユニット５６は、深度情報５８を生成するために符号化された深度マップ又は深度情報を復号するユニットを表す。
ビュー再構成ユニット４６は、与えられたビュー５０Ａと深度情報５８とに基づいて右ビュー５０Ｂを再構成するためにＤＩＢＲを実装する。右ビュー５０Ｂは、この理由のために再構成ビュー５０Ｂ（「再構成（右）ビュー５０Ｂ」）と呼ばれることがある。ビュー再構成ユニット４６は、右ビュー５０Ｂを再構成するために深度推定ユニット２０によって実装される動作とは逆の動作を実装し得る。ビュー再構成ユニット４６は、深度画像ベースレンダリング（ＤＩＢＲ）を実行し得、ＤＩＢＲは、１つのビューからの、即ち、この例では与えられたビューからのコンテンツを他のビュー中の所定のロケーションにマッピングするために深度マップを使用することを伴う、ビュー再構成ユニット４６が実装する動作又はプロセスである。ビュー再構成ユニット４６は、次いで、（しばしば「穴（hole）」と呼ばれる）生成されたビュー中の空のロケーションを埋めるために様々なプロセスを実装し得る。３Ｄ分析ユニット４８にとって利用可能な情報の差を考慮するために、以下でより詳細に説明する理由のために増強されるが、３Ｄ分析ユニット４８は、３Ｄ分析ユニット２４によって実行される技術と同様の、本開示で説明する技術を実行する。
最初に、発信源機器１２は、３Ｄビデオデータ２６を受信し得る。幾つかの事例では、発信源機器１２は、発信源機器１２の内部に含まれるか、又はワイヤード接続若しくはワイヤレス接続のいずれかを介して発信源機器１２に結合された３Ｄ撮像装置から３Ｄビデオデータ２６を受信する。代替的に、上記のように、発信源機器１２は、インターフェース１８又は上記に記載した他の追加のインターフェースのうちの１つを介して３Ｄビデオデータ２６を受信する。発信源機器１２は、次いで、表示装置１４にインターフェース１８とワイヤレス通信チャネル１５とを介して配信するためのこの３Ｄビデオデータ２６を圧縮するために３Ｄビデオデータ２６を符号化する。図１の例に示されていないが、制御ユニット１６は、３Ｄビデオデータ２６を符号化して表示装置１４に転送することを開始するためにユーザが対話し得る１つ以上のユーザインターフェースを提示するユーザインターフェースユニット又はモジュールを含み得る。
３Ｄビデオデータ２６の符号化及び配信が開始されると、発信源機器１２の制御ユニット１６は、深度情報２８を決定するための深度推定ユニット２０を呼び出す。制御ユニット１６はまた、ビュー２６Ａ、２６Ｂのうちの１つと深度情報２８とを符号化するための３Ｄビデオエンコーダ２２を呼び出す。上記のように、３Ｄビデオエンコーダ２２が左ビュー２６Ａを符号化すると仮定する。この仮定が与えられれば、３Ｄビデオエンコーダ２２は、左ビュー２６Ａを符号化するためのビュー符号化ユニット２０と、深度情報２８を符号化するための深度符号化ユニット３２とを呼び出す。３Ｄビデオエンコーダ２２は、符号化ＤＩＢＲベース３Ｄビデオデータ３４を出力し、その符号化ＤＩＢＲベース３Ｄビデオデータ３４は、表示装置１４にインターフェース１８とワイヤレス通信チャネル１５とを介して送信される。
インターフェース４０は、この符号化ＤＩＢＲベース３Ｄビデオデータ３４を受信し、このビデオデータ３４を表示装置１４内に含まれる制御ユニット３８の３Ｄビデオデコーダ４４に転送する。３Ｄビデオデコーダ４４は、符号化された左ビュー２６Ａを復号するためのビュー復号ユニット５４を呼び出す。ビュー復号ユニット５４は、与えられたビュー５０Ａを生成するために符号化左ビュー２６を復号する。３Ｄビデオデコーダ４４はまた、符号化ＤＩＢＲベース３Ｄビデオデータ３４の符号化された深度情報２８を復号するための深度復号ユニット５６を呼び出す。深度復号ユニット５６は、深度情報５８を生成するために符号化深度情報２８を復号する。制御ユニット３８は、右ビュー５０Ｂを再構成するためのビュー再構成ユニット４６を呼び出し、その後、ビュー再構成ユニット４６は、ＤＩＢＲを使用して与えられたビュー５０Ａと深度情報５８とに基づいて再構成された右ビュー５０Ｂを形成する。左ビュー５０Ａ及び右ビュー５０Ｂは、３Ｄ表示器４２に３Ｄビデオデータ５０として転送され、その３Ｄ表示器４２は、３Ｄ表示器４２の閲覧者にこの３Ｄビデオデータ５０を提示する。
ＤＩＢＲベース符号化及びＤＩＢＲベース復号のこのプロセス全体にわたって、３Ｄ分析ユニット２４、４８の各々は、本開示で説明する技術に従って、それぞれ３ＤＱＭ３６及び６０を決定する。最初に発信源機器１２の３Ｄ分析ユニット２４を参照すると、３Ｄ分析ユニット２４は、以下でより詳細に説明する本開示の技術に従って、ＤＩＢＲベース３Ｄビデオデータを使用して歪み制限画像ビューを生成することになる理想深度マップを推定する。手短に言えば、３Ｄ分析ユニット２４は、少なくとも生成された又は再構成されたビューに基づいて理想深度マップを推定する。即ち、図１の例に示されていないが、３Ｄビデオエンコーダ２２はまた、表示装置１４の３Ｄビデオデコーダ４４と同様の３Ｄビデオデコーダを含む。同様に、深度推定ユニット２０はまた、ＤＩＢＲを実装し、３Ｄビデオエンコーダ２２内に含まれる３Ｄビデオデコーダの出力から生成されたビューを再構成するための、ビュー再構成ユニット４６と同様のビュー再構成ユニット４６を含み得る。制御ユニット１６は、深度推定と、選択されたビュー、即ち、この例では左ビュー２６Ａと深度情報２８とのその後の符号化とを可能にするためのこれらの復号ユニットとビュー再構成ユニットとを含む。従って、深度推定ユニット２０は、復号された深度情報５８’と復号された左ビュー５０Ａ’とに基づいて再構成された右ビュー５０Ｂ’を出力し得る。３Ｄ分析ユニット２４は、次いで、少なくとも生成された又は再構成されたビュー５０Ｂ’に基づいて理想深度マップ６２（「ＤＭ６２」）を生成する。
単一の基準ビュー又は与えられたビューと深度マップとを含むＤＩＢＲベースビデオデータのみではなく、３Ｄビデオデータ２６全体が与えられれば、３Ｄ分析ユニット２４は、元のビュー、即ち、右ビュー２６Ｂと生成された又は再構成されたビュー５０Ｂ’との関数として理想深度マップ６２を計算し得る。３Ｄ分析ユニット２４が取得された３Ｄビデオデータ２６へのアクセスを有するこの所謂「フル基準（full reference）」コンテキストは、より正確な深度マップ６２を与え得る。この「フル基準」コンテキストに関して説明したが、３Ｄ分析ユニット２４は、所謂「簡約基準（reduced reference）」コンテキストと「無基準（no reference）」コンテキストとを含む、他のコンテキストに関して本開示で説明する技術を実装し得、その両方については以下でより詳細に説明する。
一般に、発信源機器１２の３Ｄ分析ユニット２４は、フル基準コンテキスト又は簡約基準コンテキストのいずれかで理想深度マップ６２を計算し、一方、３Ｄ分析ユニット４８は、簡約基準コンテキスト又は無基準コンテキストのいずれかでそれの深度マップ７０を計算する。これらの２つの３Ｄ分析ユニット２４がどのように理想深度マップ６２、７０を計算するかの違いは、以下でより詳細に説明するように、３Ｄビデオデータの利用可能性による。フル基準コンテキストは、３Ｄビデオデータ２６が完全に利用可能である場合、即ち、ビュー２６Ａ、２６Ｂのうちのただ１つではなくビュー２６Ａと２６Ｂの両方が利用可能である場合を指す。簡約基準コンテキストは、左ビュー２６Ａと右ビュー２６Ｂの両方のための深度マップが与えられるが、ビュー２６Ａ、２６Ｂのうちの１つだけが与えられるという点で、３Ｄビデオデータ２６が部分的にしか利用可能でない場合を指す。無基準コンテキストは、３Ｄビデオデータ２６が、ＤＩＢＲベース３Ｄビデオデータ、即ち、左ビューと右ビューのうちの１つだけと深度マップ又は他の深度情報とを備えるビデオデータのみを含む場合を指す。
３Ｄ分析ユニット２４は、次いで、理想深度マップ６２と所定の深度情報又は深度マップ２８との定量比較を通して１つ以上の歪みメトリック６４（「メトリック６４」）を導出する。３Ｄ分析ユニット２４は、例えば、理想深度マップ６２と深度マップ２８との間の差の標準偏差としてメトリック６４のうちの１つ以上を導出し得る。代替又は追加として、３Ｄ分析ユニット２４は、３Ｄビデオデータ２６の第１のフレームについての理想深度マップ６２と深度マップ２８との間の差と、３Ｄビデオデータ２６の第２のフレームについての理想深度マップ６２と深度マップ２８との間の差との変化の標準偏差としてメトリック６４のうちの１つ以上を導出し得る。代替又は追加として、３Ｄ分析ユニット２４は、３Ｄビデオデータ２４の第１のフレームについて計算した深度マップ２８と３Ｄビデオデータ２４の第２のフレームについて計算した深度マップ２８との間の差の標準偏差としてメトリック６４のうちの１つ以上を導出し得る。
３Ｄ分析ユニット２４は、次いで、導出された歪みメトリック６４に基づいて３ＤＱＭ３６を計算する。幾つかの事例では、３Ｄ分析ユニット２４は、歪みメトリック６４の全ての数学的組合せとして３ＤＱＭ３６を生成する。他の事例では、３Ｄ分析ユニット２４は、歪みメトリック６４のサブセットのみの組合せとして３ＤＱＭ３６を計算する。とにかく、３ＤＱＭ３６は、それが主観的に導出されたメトリックの組合せとして計算されていないという点で目標メトリック（objective metric）を表す。代わりに、３Ｄ分析ユニット２４は、これらのメトリック６４が所定の深度マップ２８と目標理想深度マップ（objective ideal depth map）６２の推定との比較を通して導出されるという点で客観的に導出されたメトリック６４の組合せとして３ＤＱＭ３６を計算する。この理想深度マップ６２は、ＤＩＢＲベースビデオデータを使用して画像ビュー中に限定された歪みを生成することになる基準深度マップ６２を表し、従って、得られた符号化ＤＩＢＲベース３Ｄビデオデータ３４をそれに対して評価するための目標標準（objective standard）を与える。
従って、疑似３ＤＱＭを導出するために、深度マップ２８と深度マップ５８’との従来の比較であって、深度マップ２８が、深度推定ユニット２０によって実行される深度推定による誤差を本質的に含み得る、比較を実行するのではなく、３Ｄ分析ユニット２４はこれらの固有の誤差を補正する形でこの深度マップ６２を計算するので、目標理想深度マップ６２は、これらの固有の誤差を回避する。更に、３Ｄ分析ユニット２４は、得られた３Ｄビデオデータ５０を閲覧する際に知覚される視覚的不快感と見なされ得るものを考慮するために導出されるメトリック６４の関数として３ＤＱＭ３６を生成する。言い換えれば、疑似３ＤＱＭを計算するために幾つかの深度メトリックを従来の２Ｄメトリックに盲目的に組み合わせるのではなく、３Ｄ分析ユニット２４は、知覚される視覚的不快感を考慮するように３ＤＱＭ３６を計算するために、本開示で説明する技術を実装する。
３Ｄ分析ユニット２４が３ＤＱＭ３６を計算すると、３Ｄ分析ユニット２４は、深度推定ユニット２０及び３Ｄビデオエンコーダ２２の各々に３ＤＱＭ３６を送信し得、その深度推定ユニット２０及び３Ｄビデオエンコーダ２２の各々は、次いで、３ＤＱＭ３６によって識別される少なくとも何らかの視覚的不快感を補正するために、この３ＤＱＭ３６に基づいて１つ以上のパラメータを更新し得る。代替的に、３Ｄ分析ユニット２４は、深度推定ユニット２０及び３Ｄビデオエンコーダ２２の各々に対して１つ以上のパラメータ６６、６８の新しいセットを生成し、深度推定ユニット２０及び３Ｄビデオエンコーダ２２の各々にこれらの新しいパラメータ６６及び６８を転送し得る。これらの新しいパラメータ６６及び６８は、３ＤＱＭ３６によって識別される符号化ＤＩＢＲベース３Ｄビデオデータ３４を閲覧するときに予想される知覚される視覚的不快感を補正しようとする試みにおいて、深度推定及び符号化を調整するように深度推定ユニット２０及び３Ｄビデオエンコーダ２２を効果的に再構成する。３Ｄ分析ユニット２４は、一般に、符号化ＤＩＢＲベース３Ｄビデオデータ３４を閲覧するときに予想される知覚される視覚的不快感を補正するために、深度推定ユニット２０及び３Ｄビデオエンコーダ２２の動的な、即ち、リアルタイム又はほぼリアルタイムな再構成を可能にするために深度推定ユニット２０によって実行される深度推定と３Ｄビデオエンコーダ２２によって実行される符号化と同時にこのプロセス全体を実行する。
上記のように、３Ｄ分析ユニット４８は、同様に、３ＤＱＭ６０を計算する。３Ｄ分析ユニット４８は、３Ｄ分析ユニット２４が異なる情報に基づいて理想深度マップ（ＤＭ）７０を推定し得ることを除いて、３Ｄ分析ユニット２４に実質的に同様であり得る。３Ｄ分析ユニット２４は、やはり、再構成された右ビュー５０Ｂに少なくとも部分的に基づいて深度マップ７０を推定する。しかしながら、両方のビュー２６Ａ、２６Ｂが送られるとこれらのビュー２６Ａ、２６Ｂのうちのただ１つのみと深度情報又は深度マップ２８とを送るという節約がなくなるので、ＤＩＢＲベース方式を使用する目的を無にすることになるので、３Ｄ分析ユニット４８は、元の右ビュー２６Ｂへのアクセスを有しないことがあり、一般に有しない。従って、３Ｄ分析ユニット４８は、概して、簡約基準コンテキスト又は無基準コンテキストのいずれかにあり、右ビュー２６Ｂへのアクセスなしに理想深度マップ７０を決定する。
３Ｄ分析ユニット２４と実質的に同様の方法で、３Ｄ分析ユニット４８は、理想深度マップ７０と再構成された深度マップ５８とに基づいて歪みメトリック７２のうちの１つ以上を導出するか、又はさもなければ計算する。この場合も、３Ｄ分析ユニット２４と同様に、３Ｄ分析ユニット４８は、メトリック７２に基づいて３ＤＱＭ６０を計算し、この３ＤＱＭ６０を３Ｄビデオデコーダ４４とビュー再構成ユニット４６とに与え、その結果、これらのユニット４４、４６は、３ＤＱＭ６０によって識別される知覚される閲覧者不快感を考慮するためにそれらのそれぞれのパラメータを更新し得る。代替的に、３Ｄ分析ユニット４８は、３ＤＱＭ６０に基づいてパラメータ７４及び７６を決定し、３Ｄビデオデコーダ４４を決定されたパラメータ７４で更新し、ビュー再構成ユニット４６をパラメータ７６で更新し得る。
これらの新しいパラメータ７４及び７６は、３ＤＱＭ６０によって識別される符号化ＤＩＢＲベース３Ｄビデオデータ３４を閲覧するときに予想される知覚される視覚的不快感を補正しようとする試みにおいて、復号及びビュー再構成を調整するように３Ｄビデオデコーダ４４及びビュー再構成ユニット４６を効果的に再構成する。３Ｄ分析ユニット４８は、一般に、符号化ＤＩＢＲベース３Ｄビデオデータ３４を閲覧するときに予想される知覚される視覚的不快感を補正するために、３Ｄビデオデコーダ４４及びビュー再構成ユニット４６の動的な再構成、即ち、リアルタイム又はほぼリアルタイムな再構成を可能にするために３Ｄビデオデコーダ４４によって実行される復号とビュー再構成ユニット４６によって実行されるビュー再構成とに並行してこのプロセス全体を実行する。３Ｄ表示器４２は、次いで、３Ｄ表示器４２の１人又は複数人の閲覧者へのプレゼンテーションのための復号された３Ｄビデオデータ５０を提示し得る。
このようにして、左ビューと右ビューとの両方について計算される従来の２Ｄ品質メトリックに依拠し、次いで、これらのメトリックを組み合わせて深度情報を無視する何らかの疑似３ＤＱＭを形成するのではなく、本開示で説明する技術は、目標理想深度マップに関して歪みを評価する真の３ＤＱＭを構築する。ＤＩＢＲにおいて、（例えば、間違った推定、数値丸め及び圧縮アーティファクトによる）深度マップ中の誤差は、相対画素ロケーションの誤差及び再構成されたビュー５０Ｂの画素値の大きさの誤差をもたらす。再構成されたビュー５０Ｂ中でのこれらの誤差の視覚効果は、テクスチャエリアの周りで有意な強度変化の形で空間的に顕著になり、平坦領域の周りでちらつきの形で時間的に顕著になる。ＤＩＢＲベース３Ｄビデオ中の視覚的不快感は、更に、物体色の不一致など、過大な視差、高速変化する視差、様々な深度キュー間の幾何学的歪み及び不整合（inconsistency）を含む幾つかのファクタから生じ得る。本開示で説明する技術は、３ＤＱＭ３６及び６０によって識別される視覚的不快感を潜在的に動的に補正するために、３ＤＱＭ３６及び６０の形でＤＩＢＲベース３Ｄビデオの視覚的品質を客観的に定量化する。
更に、本技術は、レート歪み圧縮アルゴリズムの方法と同様の方法で実装され得る。即ち、レート歪み圧縮アルゴリズムでは、復元されたビデオ中により多くのアーティファクトを潜在的にもたらすことのトレードオフとしてワイヤレスチャネルを介した帯域幅消費を低減するために、例えば、残差値を量子化することによってビデオの圧縮が高められ得る。これらの圧縮システムでは、圧縮を低減して、復元されたビデオにアーティファクトをもたらすことを低減し得るが、これにより、より多くのワイヤレス帯域幅を消費するより大きいファイルが生じ得る。３ＤＱＭ３６又は６０などの３ＤＱＭは、圧縮及び深度推定を通してもたらされるアーティファクトを識別し、レート制約付き（rate-constrained）圧縮アルゴリズムに関して上記で説明したトレードオフと同様のトレードオフを生じるパラメータ調整を推進し得る。この意味で、３ＤＱＭは、より多くのアーティファクトをもたらすという犠牲を払って圧縮を高めるためか、又は帯域幅消費が増加するという犠牲を払って圧縮を低減するために使用され得る。
この点において、３ＤＱＭは、特定のアプリケーションに適するようにＤＩＢＲベース３Ｄビデオデータの生成及び圧縮の適合が可能であり得る。即ち、３ＤＱＭは、圧縮におけるレート歪みトレードオフと同様である、正確な深度マップの推定に関与する計算の複雑さと、これらの画像にもたらされるアーティファクトとの間のトレードオフを行い得る。そのようなトレードオフを可能にすることによって、３ＤＱＭは、セルラーフォン、ラップトップコンピュータ、所謂ネットブック、携帯情報端末（ＰＤＡ）などのモバイル機器中など、処理リソース又はバッテリーリソースが限定されるモバイルアプリケーション又は埋込みリアルタイムアプリケーションにおける３Ｄビデオデータ技術の実装を可能にし得る。
上記では２ビューシステムに関して説明したが、本技術は、３つ以上のビューが３Ｄ表示器に与えられ、複数の異なるビューを表示することを可能にする、マルチビュー３Ｄシステムにおいて実装され得る。例えば、幾つかの３Ｄ表示器は、３Ｄ表示器に対して閲覧者がどこにいるのかに応じて複数のビューを表示することができる。表示器の左側の閲覧者は、３Ｄ表示器に対して正面の閲覧者、又は３Ｄ表示器の左側の閲覧者とは異なるビューを受け取り得る。これらの３Ｄ表示器は、これらのビューの各々を同時に表示し得、これらのビューの各々の符号化及び復号は、本開示で説明するＤＩＢＲプロセスを使用して進められ得る。この点において、これらのビューの各々に３ＤＱＭを与えるために、又はこれらのビューにグループとして３ＤＱＭを与えるために本技術が採用され得、これらの１つ以上の３ＤＱＭは、これらのビューを閲覧するときに発生することが予想される少なくとも何らかの視覚的不快感の識別及び潜在的なその後の補正を可能にし得る。従って、本開示では、説明を簡単にするために２ビューシステムに関して説明するが、本技術はマルチビューシステムにおいて採用され得る。
図２は、本開示で説明する技術の様々な態様を実装する３Ｄ分析ユニット８０の例を示すブロック図である。３Ｄ分析ユニット８０は、図１の例に示す３Ｄ分析ユニット２４又は４８のいずれかを表し得、３Ｄ分析ユニット８０についての以下の説明の様々な部分は、３Ｄ分析ユニット２４及び４８の各々に適用され得る。幾つかの事例では、３Ｄ分析ユニット２４及び４８の各々は互いに実質的に同様であり得、従って３Ｄ分析ユニット８０は、概して３Ｄ分析ユニット２４及び４８の両方を表し得る。他の例では、３Ｄ分析ユニット２４は、特定のコンテキスト、例えば、上記のフル基準コンテキストに適応され得、従って、３Ｄ分析ユニット８０は、この適応された３Ｄ分析ユニット２４を部分的に表すにすぎない。同様に、３Ｄ分析ユニット４８は、特定のコンテキスト、例えば、上記の無基準コンテキストに適応され得、従って、３Ｄ分析ユニット８０は、この適応された３Ｄ分析ユニット４８を部分的に表すにすぎない。
図２の例に示すように、３Ｄ分析ユニット８０は、理想深度推定ユニット８２と、歪みメトリック計算ユニット８４と、３ＤＱＭ計算ユニット８６と、パラメータ生成ユニット８８とを含む。これらのユニット８２〜８８の各々は、ハードウェア又はハードウェアとソフトウェアの組合せのいずれかとして別々に実装され得る。代替的に、ユニット８２〜８８のうちの１つ以上は、ハードウェア又はハードウェアとソフトウェアの組合せのいずれかとして集合的に実装され得る。
理想深度推定ユニット８２は、概して、理想深度を推定し、理想深度マップ９０を出力するユニットを表す。理想深度推定ユニット８２は、３Ｄビデオデータの異なるレベルの利用可能性に基づいて理想深度マップ９０を推定する幾つかのユニット９２〜９６を含む。フル基準ユニット９２は、ＤＩＢＲベース３Ｄビデオデータのみではなく３Ｄビデオデータへの完全な利用可能性があるとき理想深度マップ９０を推定する。即ち、フル基準ユニット９２は、元のビュー９８と元のビュー又は再構成されたビュー１００（「再構成ビュー１００」）の再構成とに基づいて理想深度マップ９０を推定する。フル基準ユニット９２はまた、決定された深度情報１０２（「深度情報１０２」）と、焦点距離１０３及び（３Ｄ撮像装置の２Ｄカメラの中心間の直線距離として測定される）ベースライン１０５などの３Ｄ撮像装置パラメータとに基づいてこの理想深度マップ９０を推定する。焦点距離１０３及びベースライン１０５について、図７に関して以下でより詳細に説明する。幾つかの事例では、これらの３Ｄ撮像装置パラメータは、実際の３Ｄ撮像装置のパラメータではなく、３Ｄ撮像装置をモデル化するために一般に使用されるパラメータを表す一般的なパラメータにすぎないという点で、これらのパラメータは、仮想３Ｄ撮像装置のパラメータを反映し得る。数学的に、フル基準ユニット９２によって実行されるフル基準推定は、以下の式（１）によって表され得る。
Figure 2013535898
上式で、変数ＺIDEALは理想深度マップ９０を指し、変数Ｆは焦点距離１０３を指す。上式（１）の変数Ｂはベースライン１０５を指し、変数ｋは定数値を指し、変数Ｉoは元のビュー又は画像９８を指し、変数Ｉgは生成された又は再構成されたビュー又は画像１００を指し、変数Ｚは深度情報１０２の深度マップを指す。本開示におけるビュー又は画像への言及は、各ビュー又は画像を形成する実際の画素値を指す。計算された理想深度マップは、グレースケール値の２次元アレイとして計算される。
簡約基準ユニット９４は、同じく理想深度マップ９０を推定するが、３Ｄビデオデータの簡約化された又は部分的な利用可能性があるときには異なる簡約基準コンテキストで理想深度マップ９０を推定する。即ち、簡約基準ユニット９４は、与えられたビュー１０４と再構成されたビュー１００とに基づいて理想深度マップ９０を推定する。簡約基準ユニット９４はまた、決定された深度情報１０２と、３Ｄ撮像装置パラメータと、焦点距離１０３と、ベースライン１０５とに基づいてこの理想深度マップ９０を推定する。深度情報１０２に関して、簡約基準ユニット９４は、概して、左ビューのための深度マップと右ビューのための深度マップの両方を必要とする。深度推定ユニット２０などの深度推定ユニットは、概して、左ビュー及び右ビューの各々に対応するこれらの深度マップの両方を与えることが可能であり、図１の例に示す深度情報２８は、これらの深度マップの両方を含み得る。深度符号化ユニット３２は、これらの深度マップの両方を符号化し、符号化ＤＩＢＲベース３Ｄビデオデータ３４としてこれらを送信し得る。数学的に、簡約基準ユニット９４によって実行される簡約基準推定は、以下の式（２）によって表され得る。
Figure 2013535898
上式で、変数ＺIDEALは理想深度マップ９０を指し、変数Ｆは焦点距離１０３を指す。上式（２）の変数Ｂはベースライン１０５を指し、変数ｋは定数値を指し、変数ｈは、図７に関して以下でより詳細に説明するシフトセンサカメラモデルによる、センサの中心に対する投影の中心の水平方向へのシフトを指し、変数ＩRは、基準又は与えられたビュー又は画像１０４（「与えられたビュー１０４」）を指し、変数Ｉgは、生成された又は再構成されたビュー又は画像１００を指し、変数ＺLは深度情報１０２の左深度マップを指し、ＺRは深度情報１０２の右深度マップを指す。
無基準ユニット９６は、理想深度マップ９０を推定するが、ＤＩＢＲベース３Ｄビデオデータしかないときには、「無基準」コンテキストと呼ばれる更に別のコンテキストで理想深度マップ９０を推定する、更に別のユニットを表す。即ち、無基準ユニット９６は、与えられたビュー１０４と再構成されたビュー１００とに基づいて理想深度マップ９０を推定する。簡約基準ユニット９４はまた、深度情報１０２と、３Ｄ撮像装置パラメータと、焦点距離１０３と、ベースライン１０５とに基づいてこの理想深度マップ９０を推定する。数学的に、簡約基準ユニット９４によって実行される無基準推定は、以下の式（３）によって表され得る。
Figure 2013535898
上式で、変数ＺIDEALは理想深度マップ９０を指し、変数Ｆは焦点距離１０３を指す。上式（３）の変数Ｂはベースライン１０５を指し、変数ＩRは、基準又は与えられたビュー又は画像１０４（「与えられたビュー１０４」）を指し、変数Ｉgは、生成された又は再構成されたビュー又は画像１００を指し、変数Ｚは深度情報１０２の深度マップを指す。式（３）の関数ｆは、ＩRとＩgとの対応するブロック間の平均視差（ｄ）を計算し、ＩR中の対応するブロックに値ｄだけシフトを適用する関数を指す。関数ｆは、次いで、シフトされたＩRと生成されたビューＩgとの間の強度差を出力する。
歪みメトリック計算ユニット８４は、理想深度マップ推定９０に基づいて歪みメトリックを計算するユニットを表す。より詳細には、歪みメトリック計算ユニット８４は、深度情報１０２と理想深度マップ推定９０との深度マップ間の差の定量的尺度として歪みメトリックを計算し得る。深度情報１０２と理想深度マップ推定９０との間の差が常に視覚的不快感を識別するとは限らないが、深度における不整合誤差（inconsistent error）は視覚的不快感を生じる。このために、整合誤差（consistent error）は視覚的不快感を生じないことがあるので、幾つかの歪みメトリックは、誤差ではなく不整合を測定する。
例えば、空間領域において、特定の深度平面にわたる整合（又は均一）誤差は、その平面全体を一方向にシフトさせ、そのような誤差の知覚効果は、知覚される深度のわずかな増加又は減少を生じることになり、そのわずかな増加又は減少は、概して、多くの視覚的不快感をもたらさない。しかしながら、深度における不整合誤差は、物体色の不一致による深度キューの不整合の形で視覚的不快感を発生させる色画素／ブロックの変位をもたらす。
従って、歪みメトリック計算ユニット８４は、単に誤差を識別するのではなく、不整合を評価する歪みメトリックを計算する。理想深度推定９０と、以下で説明する歪みメトリック１１２〜１１６などの１つ以上の歪みメトリックとを比較する際に、歪みメトリック計算ユニット８４は、深度マップ推定及び圧縮によって生じた誤差、並びに、例えば、穴埋めアルゴリズム及びビデオ圧縮プロセスのために合成又は生成された有色ビデオ自体の処理によって生じた誤差を取込む。理想深度マップ推定９０は、所定の深度と有色ビデオ自体との関数として生成されるので、生成された有色ビデオの処理によって生じた誤差が識別される。
歪みメトリック計算ユニット８４は、空間的誤差外れ値（ＳＯ）歪みメトリックユニット１０６（「ＳＯ歪みメトリックユニット１０６」）と、時間的誤差外れ値（ＴＯ）歪みメトリックユニット１０８（「ＴＯ歪みメトリックユニット１０８」）と、時間的不整合（ＴＩ）歪みメトリックユニット１１０（「ＴＩ歪みメトリックユニット１１０」）とを含む。ＳＯ歪みメトリックユニット１０６は、理想深度マップ推定９０に基づいてＳＯ歪みメトリック１１２を計算するユニットを表す。特に、ＳＯ歪みメトリックユニット１０６は、深度情報１０２の所定の深度マップと理想深度マップ推定９０との間の差の標準偏差としてＳＯ歪みメトリック１１２を計算し、そのＳＯ歪みメトリック１１２は、以下の式（４）によって数学的に表され得る。
Figure 2013535898
上式で、変数ＳＯは、ＳＯ歪みメトリック１１２を指し、ｓｔｄ（ΔＺ）は、深度情報１０２の深度マップと理想深度マップ推定９０との間の差の標準偏差を指す。ＳＯ歪みメトリックユニット１０６は、３Ｄビデオデータの所定の画像又はフレームの空間的不整合を効果的に定量化する。
ＳＯ歪みメトリック１１２は、概して、前処理によって生じた雑音と、３Ｄビデオデータを生成するために使用されるラッピングプロセスにおける誤り（inaccuracy）の両方をキャプチャする。ラッピングは、概して、２Ｄ画像で多角形などの３Ｄボリュームをラッピングすることを指す。ラッピングは、固有の近似並びにカメラのモデル化近似を伴い得る。深度の処理なしに合成又は再構成された画像の視差は、カメラから理想的に収集された画像の視差とまったく同じではない。従って、異なる深度平面でのシフトは完全には一致しないことになる。深度マップと理想深度マップ推定との間の差の中のこれらの誤差と処理による誤差とを分離するために、この差の標準偏差を使用して外れ値を計算する。これらの外れ値は、深度マップ処理＋不適当な平面シフトによるエッジによって生じた雑音である。このようにして、ＳＯは、深度マップ処理と不適当な平面シフトとによって生じた外れ値を識別する。
ＴＯ歪みメトリックユニット１０８は、理想深度マップ推定９０に基づいてＴＯ歪みメトリック１１４を計算するユニットを表す。特に、ＴＯ歪みメトリックユニット１０８は、３Ｄビデオデータの後続のフレームのための深度情報１０２の所定の深度マップと、同じ後続のフレームのための理想深度マップ推定９との間の差から減算された、３Ｄビデオデータの所定のフレームのための深度情報１０２の所定の深度マップと、同じフレームのための理想深度マップ推定９０との間の差の標準偏差としてＴＯ歪みメトリック１１４を計算し、そのＴＯ歪みメトリック１１４は、以下の式（５）によって数学的に表され得る。
Figure 2013535898
上式（５）の変数ＴＯは、ＴＯ歪みメトリック１１４を指し、ｓｔｄ（ΔＺt+1−ΔＺt）は、３Ｄビデオデータの後続のフレーム（ｔ＋１）のための深度情報１０２の所定の深度マップと、同じ後続のフレームのための理想深度マップ推定９との間の差から減算された、３Ｄビデオデータの所定のフレーム（ｔ）のための深度情報１０２の所定の深度マップと、同じフレームのための理想深度マップ推定９０との間の差の標準偏差を指す。
ＴＯ歪みメトリックユニット１０６は、時間的不整合を効果的に定量化し、その時間的不整合は、著しい強度変化の形でテクスチャ付きのエリアの周りと、ちらつきの形で平坦な領域の周りとで空間的に顕著になり得る。ＴＯの背後にある理由は、雑音によってもたらされる誤差は時間的に不整合であるが、同じラッピングプロセスが両方のフレームを生成するので、エッジは、時間的に整合したものになるということである。この点において、ＴＯ歪みメトリック１１４は、ＳＯ中でエッジをフィルタ処理して除去し、雑音寄与のみを維持する。
高速変化する視差又は不整合は、視覚的不快感の別の発生源であり、主に、深度推定及び穴埋めアルゴリズム又は圧縮中の誤差によって生じる。これらの不整合は、ＴＩ歪みメトリック１１６によって識別され得、ＴＩ歪みメトリックユニット１１０は、このＴＩ歪みメトリック１１６を計算するユニットを表す。ＴＩ歪みメトリックユニット１１０は、以下の式（６）に従ってＴＩ歪みメトリック１１６を計算し得る。
Figure 2013535898
上式で、変数ＴＩは、ＴＩ歪みメトリック１１６を指し、ｓｔｄ（Ｚt+1−Ｚt）は、３Ｄビデオデータの所定のフレーム（ｔ）のための深度情報１０２と３Ｄビデオデータの後続のフレーム（ｔ＋１）のための深度情報１０２との間の差の標準偏差を指す。幾つかの例示的な歪みメトリック１１２〜１１６について上記で説明したが、本開示で説明する技術は、これらの例示的な歪みメトリック１１２〜１１６に限定されるべきではなく、３Ｄビデオデータの予想される視覚的不快感を評価するための他のタイプの歪みメトリックを含み得る。
３ＤＱＭ計算ユニット８６は、歪みメトリック１１２〜１１６などの歪みメトリックのうちの１つ以上に基づいて３ＤＱＭ１１８を計算するユニットを表す。３ＤＱＭ計算ユニット８６は、３ＤＱＭ１１８を形成するために歪みメトリック１１２〜１１６を組み合わせるより前に歪みメトリック１１２〜１１６を正規化し得るか、又はさもなければ調整し得る。３ＤＱＭ計算ユニット８６は、以下の例示的な式（７）に従って３ＤＱＭ１１８を計算し得る。
Figure 2013535898
上式（７）で、変数３ＤＱＭは３ＤＱＭ１１８を指し、変数ＳＯはＳＯ歪みメトリック１１２を指し、変数ＴＯはＴＯ歪みメトリック１１４を指し、変数ＴＩはＴＩ歪みメトリック１１６を指し、変数Ｋは、ＭＯＳ（平均オピニオンスコア：Mean Opinion Score）範囲上にマッピングするために［１〜５］の範囲内で最終３ＤＱＭメトリックをスケーリングするための定数を指し、変数a、ｂ及びｃは、トレーニングシーケンスによって決定された定数値を表す。実際には、３ＤＱＭ計算ユニット８６は、３ＤＱＭ１１８が決定された３Ｄビデオデータを閲覧するときに閲覧者が受けることが予想される少なくとも何らかの視覚的不快感を識別するためにこの３ＤＱＭ１１８を生成する。
パラメータ生成ユニット８８は、３ＤＱＭ１１８に基づいてパラメータ１２０を生成するユニットを表す。パラメータ生成ユニット８８は、３ＤＱＭ１１８によって識別される少なくとも何らかの視覚的不快感を補正するためにパラメータ１２０を生成する。パラメータ生成ユニット８８は、３Ｄ分析ユニット８０が動作するコンテキストに応じて、深度推定ユニット２０などの深度推定ユニットと、３Ｄビデオエンコーダ２２などの３Ｄビデオデコーダと、３Ｄビデオデコーダ４４などの３Ｄビデオエンコーダと、ビュー再構成ユニット４６などのビュー再構成ユニットとのうちのいずれかを更新するパラメータ１２０を決定し得る。
例えば、３Ｄ分析ユニット８０は、発信源機器１２など、３Ｄビデオデータを発信する発信源機器内で動作し得る。３Ｄ分析ユニット８０が、例示のために３Ｄ分析ユニット２４を表すと仮定すると、３Ｄ分析ユニット８０は、左ビュー２６Ａと右ビュー２６Ｂの両方を含むフル３Ｄビデオデータ２６を受信する。３Ｄ分析ユニット８０はまた、標準で事前構成されるか、又は焦点距離１０３とベースライン１０５とを受信する。更に、３Ｄ分析ユニット８０は、深度推定ユニット２０からの再構成された右ビュー５０Ｂ’の形で再構成された右ビュー１００を受信する。３Ｄ分析ユニット８０は、更に、深度情報２８の形で深度情報１０２を受信し、深度情報１０２は、左ビュー２６Ａに対応する左深度マップと右ビュー２６Ｂに対応する右深度マップとを備え得る。
この受信された情報に基づいて、３Ｄ分析ユニット８０の理想深度推定ユニット８２は、３Ｄ分析ユニット８０が、左ビュー２６Ａと右ビュー２６Ｂの両方と、左深度マップと右深度マップの両方を備える深度情報２８とを受信したことを考慮してフル基準ユニット９２を呼び出す。呼び出されると、フル基準ユニット９２は、次いで、上記に記載した式（１）に従って、図１の発信源機器１２のコンテキストでは理想深度マップ６２を表す、理想深度マップ推定９０を計算する。フル基準ユニット９２は、歪みメトリック計算ユニット８４に理想深度マップ６２を出力する。
理想深度マップ６２を受信すると、歪みメトリック計算ユニット８４は、対応する式（３）〜（６）に従って歪みメトリック１１２〜１１６の各々を計算するためのＳＯ歪みメトリックユニット１０６と、ＴＯ歪みメトリックユニット１０８と、ＴＩ歪みメトリックユニット１１０との各々を呼び出す。図１の発信源機器１２のコンテキストでは、歪みメトリック１１２〜１１６はメトリック６４を表す。ユニット１０６〜１１０は、３ＤＱＭ計算ユニット８６に歪みメトリック６４を出力する。３ＤＱＭ計算ユニット８６は、図１の発信源機器１２のコンテキストでは３ＤＱＭ３６を表す、３ＤＱＭ１１８を計算する。３ＤＱＭ計算ユニット８６は、次いで、パラメータ生成ユニット８８に３ＤＱＭ３６を出力し、パラメータ生成ユニット８８は、図１の発信源機器１２のコンテキストでは、パラメータ６６、６８を含むパラメータ１２０を出力する。
フル基準コンテキストに関して説明したが、３Ｄ分析ユニット８０はまた、３Ｄビデオデータ又はコンテンツを取得しないか、又はさもなければ発信しない、３Ｄビデオデータを記憶するにすぎない発信源機器内に実装され得る。この記憶された３Ｄビデオデータは、左ビューと右ビューとに対応する深度マップと、ビュー２６Ａ、２６Ｂのうちのただ１つのみとを含み得る。この所謂「ハーフ基準」コンテキストでは、理想深度マップ９０を計算するためのフル基準ユニット９２を呼び出すのではなく、理想深度推定ユニット８４は、理想深度マップ９０を計算するための簡約又はハーフ基準ユニット９４を呼び出し、理想深度マップ９０は、この場合も図１の発信源機器１２のコンテキストでは、理想深度マップ６２を表す。しかしながら、全ての他の点において、３Ｄ分析ユニット８０は、フル基準インスタンスに関して上記で説明した３Ｄ分析ユニットと同様に動作する。
別の例として、３Ｄ分析ユニット８０は、表示装置１４など、３Ｄビデオデータを発信する表示装置内で動作し得る。３Ｄ分析ユニット８０が、例示のために３Ｄ分析ユニット４８を表すと仮定すると、３Ｄ分析ユニット８０は、与えられた左ビュー５０Ａと再構成された右ビュー５０Ｂとを含むＤＩＢＲベース３Ｄビデオデータ５０を受信する。３Ｄ分析ユニット８０はまた、焦点距離１０３とベースライン１０５とを受信する。３Ｄ分析ユニット８０は、更に、深度情報５８の形で深度情報１０２を受信し、深度情報１０２は、与えられた左ビュー５０Ａに対応する左深度マップを備え得る。
この受信された情報に基づいて、３Ｄ分析ユニット８０の理想深度推定ユニット８２は、３Ｄ分析ユニット８０が、ただ１つの与えられたビュー５０と深度情報５８の形の対応する左深度マップとを受信したことを考慮して無基準ユニット９６を呼び出す。呼び出されると、無基準ユニット９６は、上記に記載した式（３）に従って、図１の表示装置１４のコンテキストでは理想深度マップ７０を表す、理想深度マップ推定９０を計算する。フル基準ユニット９２は、歪みメトリック計算ユニット８４に理想深度マップ６２を出力する。
理想深度マップ６２を受信すると、歪みメトリック計算ユニット８４は、対応する式（４）〜（６）に従って歪みメトリック１１２〜１１６の各々を計算するためのＳＯ歪みメトリックユニット１０６と、ＴＯ歪みメトリックユニット１０８と、ＴＩ歪みメトリックユニット１１０との各々を呼び出す。図１の表示装置１４のコンテキストでは、歪みメトリック１１２〜１１６はメトリック７２を表す。ユニット１０６〜１１０は、３ＤＱＭ計算ユニット８６に歪みメトリック７２を出力する。３ＤＱＭ計算ユニット８６は、図１の表示装置１４のコンテキストでは３ＤＱＭ６０を表す、３ＤＱＭ１１８を計算する。３ＤＱＭ計算ユニット８６は、次いで、パラメータ生成ユニット８８に３ＤＱＭ６０を出力し、パラメータ生成ユニット８８は、図１の表示装置１４のコンテキストでは、パラメータ７４、７６を含むパラメータ１２０を出力する。
フル基準コンテキストに関して説明したが、３Ｄ分析ユニット８０はまた、深度情報１０２の形で右深度マップと左深度マップの両方を含むＤＩＢＲベース３Ｄビデオデータを受信する表示装置内に実装され得る。この所謂「ハーフ基準」コンテキストでは、理想深度マップ９０を計算するための無基準ユニット９６を呼び出すのではなく、理想深度推定ユニット８４は、理想深度マップ９０を計算するための簡約又はハーフ基準ユニット９４を呼び出し、理想深度マップ９０は、この場合も図１の表示装置１２のコンテキストでは、理想深度マップ７０を表す。しかしながら、全ての他の点において、３Ｄ分析ユニット８０は、フル基準インスタンス及び無基準インスタンスに関して上記で説明した３Ｄ分析ユニットと同様に動作し得る。
図３は、本開示で説明する３次元（３Ｄ）品質メトリック導出技術の様々な態様を実装する際の、図１の例に示す発信源機器１２などの発信源機器の例示的な動作を示すフローチャートである。図１の発生源１２に関して説明したが、本技術は、符号化ＤＩＢＲベース３Ｄビデオデータを生成するために３Ｄビデオデータを符号化することが可能な任意の機器によって実装され得る。
最初に、発信源機器１２の制御ユニット１６は、深度推定ユニット２０を呼び出して、上記で説明した方法で深度情報２８を計算する（１３０）。３Ｄビデオエンコーダ２２は、ビュー符号化ユニット３０を呼び出して、ビュー２６Ａ、２６Ｂのうちの１つを符号化し（１３２）、説明のために、ビュー符号化ユニット３０は左ビュー２６Ａを符号化すると仮定する。３Ｄビデオエンコーダ２２はまた、深度符号化ユニット３２を呼び出して、深度情報２８を符号化する（１３４）。３Ｄビデオエンコーダ２２は、符号化ＤＩＢＲベース３Ｄビデオデータ３４を出力する。
３Ｄビデオエンコーダ２２はまた、ビュー符号化ユニット３０を呼び出して、符号化された左ビューを復号して、復号された左ビュー５０Ａ’を出力する。ビデオ符号化は、残差データを決定するために符号化ビューを復号するので、この復号は、ビデオ符号化のルーチン態様であり、その残差データは、復号された左ビュー５０Ａ’と後続の左ビューとの間の差である。同様に、深度符号化ユニット３２は、符号化された深度情報を復号して、復号された深度情報５８’を生成する。深度符号化ユニット３２は、深度推定ユニット２０に復号された深度情報５８’を出力する。
復号された左ビュー５０Ａ’と復号された深度情報５８’とに基づいて、深度推定ユニット２０は、ビュー２６Ａ、２６Ｂのうちの他方を再構成し、その他方は、図１の例では、再構成された右ビュー５０Ｂ’として示されている（１３６）。３Ｄ分析ユニット２４は、上記で説明したように、少なくとも再構成された右ビュー５０Ｂ’に基づいて、理想深度マップ６２を計算する（１３８）。３Ｄ分析ユニット２４は、次いで、上記で説明した方法で、理想深度マップ６２に基づいて歪みメトリック６４を導出する（１４０）。また、上記で説明したように、３Ｄ分析ユニット２４は、歪みメトリック６４に基づいて３ＤＱＭ３６を計算する（１４２）。更に、３Ｄ分析ユニット２４は、３ＤＱＭ３６に基づいてパラメータ６６、６８を生成する（１４４）。３Ｄ分析ユニット２４は、３Ｄビデオデータ２６を閲覧するときに予想される識別された視覚的不快感のうちの少なくとも一部を補正するためにパラメータ６６、６８を生成する。これらのパラメータ６６、６８を使用して、３Ｄ分析ユニット２４は、深度推定ユニット２０と深度符号化ユニット３２とを構成する（１４６）。
図４は、本開示で説明する技術の様々な態様を実装する際の、図１の例に示す表示装置１４などの表示装置の例示的な動作を示すフローチャートである。図１の表示装置１４に関して説明したが、本技術は、ＤＩＢＲベース３Ｄビデオデータを生成するために符号化ＤＩＢＲベース３Ｄビデオデータを復号することが可能な任意の機器によって実装され得る。
最初に、表示装置１４の制御ユニット３８は、３Ｄビデオデコーダ４４を呼び出して、符号化ＤＩＢＲベース３Ｄビデオデータ３４を復号する。符号化ＤＩＢＲベース３Ｄビデオデータ３４は、符号化された与えられたビューと符号化された深度情報とを含む。３Ｄビデオデコーダ４４は、ビュー復号ユニット５４を呼び出して、与えられたビューを復号し、与えられたビュー５０Ａを生成する（１５０）。３Ｄビデオデコーダ４４は同じく、深度復号ユニット５６を呼び出して、符号化された深度情報を復号し、復号された深度情報５８を生成する（１５２）。制御ユニット３８は、次いで、ビュー再構成ユニット４６を呼び出し、ビュー再構成ユニット４６は、復号された深度情報５８と復号された与えられたビュー５０Ａとから再構成されたビュー５０Ｂを再構成する（１５４）。
制御ユニット３８は、更に、ビュー５０Ｂの再構成の後に３Ｄ分析ユニット４８を呼び出す。３Ｄ分析ユニット４８は、上記で説明した方法で、少なくとも再構成されたビュー５０Ｂに基づいて理想深度マップ７０を計算する（１５６）。３Ｄ分析ユニット４８は、次いで、上記で説明したように、理想深度マップ７０に基づいて歪みメトリック７２を導出する（１５８）。また、上記で説明したように、３Ｄ分析ユニット４８は、歪みメトリック７２に基づいて３ＤＱＭ６０を計算する（１６０）。３Ｄ分析ユニット４８は、更に、３ＤＱＭ６０に基づいてパラメータ７４、７６を生成する（１６２）。３Ｄ分析ユニット２４は、３Ｄビデオデータ５０を閲覧するときに予想される識別された視覚的不快感のうちの少なくとも一部を補正するためにパラメータ７４、７６を生成する。これらの生成されたパラメータ７４、７６を使用して、３Ｄ分析モジュール４８は、３Ｄビデオデコーダ４４とビュー再構成ユニット４６とを構成する（１６４）。
図５は、３Ｄ品質メトリックを計算するために本開示で説明する技術の様々な態様を実装する際の、図２の例に示す３Ｄ分析ユニット８０などの３Ｄ分析ユニットの例示的な動作を示すフローチャートである。最初に、３Ｄ分析ユニット８０は、再構成されたビュー１００と、深度情報１０２と、元のビュー９８と与えられたビュー１０４とのうちの１つ以上との形で情報を受信する（１７０）。３Ｄ分析ユニット８０は、この情報を受信したことに応答して理想深度推定ユニット８２を呼び出す。理想深度推定ユニット８２は、次いで、受信された情報に基づいてコンテキストを決定する（１７２）。
例えば、理想深度推定ユニット８２が、元のビュー９８と、再構成されたビュー１００と、これらのビューの両方のための深度マップを含む深度情報１０２とを受信すると仮定すると、理想深度推定ユニット８２は、３Ｄ分析ユニット８０が動作するコンテキストがフル基準コンテキストであると決定する。従って、受信された情報はフル基準情報として特徴づけられ得る。このフル基準コンテキストを決定すると（「はい１７４」）、理想深度推定ユニット８２は、フル基準ユニット９２を呼び出す。フル基準ユニット９２は、上記に記載した式（１）を実装して、決定されたフル基準情報に基づいて理想深度マップ９０を計算する（１７６）。
別の例として、理想深度推定ユニット８２が、再構成されたビュー１００と、与えられたビュー１０４と、左ビューと右ビューの両方のための深度マップとのみを受信すると仮定すると、理想深度推定ユニット８２は、３Ｄ分析ユニット８０が動作するコンテキストが簡約基準コンテキストであると決定する。従って、受信された情報は簡約基準情報として特徴づけられ得る。理想深度推定ユニット８２は、次いで、３Ｄ分析ユニット８０が、フル基準コンテキストではなく（「いいえ」１７４）簡約基準コンテキストで動作する（「はい」１７８）と決定する。この決定に応答して、理想深度推定ユニット８２は、簡約基準ユニット９４を呼び出す。簡約基準ユニット９４は、上記に記載した式（２）を実装して、簡約基準情報に基づいて理想深度マップ推定９０を計算する（１８０）。
更に別の例として、理想深度推定ユニット８２が、再構成されたビュー１００と、与えられたビュー１０４と、左ビューと右ビューとのうちの１つのための深度マップとのみを受信すると仮定すると、理想深度推定ユニット８２は、３Ｄ分析ユニット８０が動作するコンテキストが無基準コンテキストであると決定する。従って、受信された情報は無基準情報として特徴づけられ得る。理想深度推定ユニット８２は、次いで、３Ｄ分析ユニット８０が、フル基準コンテキストでも（「いいえ」１７４）、簡約基準コンテキストでも（「いいえ」１７８）動作しないと決定する。その結果、理想深度推定ユニット８２は無基準ユニット９６を呼び出す。無基準ユニット９６は、上記に記載した式（３）を実装して、無基準情報に基づいて理想深度マップ推定９０を計算する（１８２）。
とにかく、理想深度推定ユニット８２は、歪みメトリック計算ユニット８４に理想深度マップ推定９０を出力する。理想深度推定ユニット８２からこれを受信することに応答して、歪みメトリック計算ユニット８４は、メートルユニット１０６〜１１０を呼び出す。メトリックユニット１０６〜１１０は、次いで、上記に記載した対応する式（４）〜（６）に従って、理想深度マップ推定９０に基づいてメトリック１１２〜１１６を計算する（１８４）。深度メトリック計算ユニット８４は、３ＤＱＭ計算ユニット８６にこれらのメトリック１１２〜１１６を出力する。これらのメトリック１１２〜１１６を受信することに応答して、３ＤＱＭ計算ユニット８６は、上記に記載した式（７）に従って、歪みメトリック１１２〜１１６に基づいて３ＤＱＭ１１８を計算する（１８６）。３Ｄ計算ユニット８６は、パラメータ生成ユニット８８に３ＤＱＭ１１８を出力する。３ＤＱＭ１１８を受信することに応答して、パラメータ生成ユニット８８は、３ＤＱＭ１１８に基づいてパラメータ１２０を生成する（１８８）。
図６は、本開示で説明する技術に従って生成される３ＤＱＭの主観的分析を与えるグラフ１９０を示す図である。グラフ１９０は、図１の３ＤＱＭ３６、６０及び図２の３ＤＱＭ１１８などの３ＤＱＭにとって可能な値を定義するｙ軸１９２を含む。グラフ１９０はまた、平均オピニオンスコアを定義するｘ軸１９４を含み、スコア１は非常に悪い評価を表し、スコア２は悪い評価を表し、スコア３は普通という評価を表し、４のスコアは良いという評価を表し、５のスコアは非常に良いという評価を表す。
グラフ１９０はまた、グラフ１９０中で実線として示されている第１の線１９６を含む。この線１９６は、平均オピニオンスコアが生成された、閲覧者によって評価された３Ｄビデオデータと同じ３Ｄビデオデータのための３ＤＱＭの理想値を識別する。特に、線１９６は、３ＤＱＭスコア０が平均オピニオンスコア０に対応し、３ＤＱＭスコア１が平均オピニオンスコア１に対応し、以下同様に、このように線形的に続くことを示す。グラフ１９０は、更に、理想線１９６から離れた（正及び負の）標準偏差１シグマを識別する破線１９８Ａ、１９８Ｂのセットを与える。更に、グラフ１９０は、理想線１９６からの外れ値境界を定義する線２００Ａ、２００Ｂの第２のセットを含む。
グラフ１９０はまた、フル基準コンテキストと無基準コンテキストの両方で計算された３ＤＱＭのための幾つかのデータポイントを採用する。フル基準３ＤＱＭと無基準３ＤＱＭの両方は、一般的に、理想線１９６の（線１９８Ａ、１９８Ｂによって識別される）１標準偏差内にある。詳細には、結果の２乗平均（ＲＭＳ）誤差は約０．６１５８に等しくなり、平均オピニオンスコアの標準偏差は約０．７８８５である。２乗平均誤差が平均オピニオンスコアの標準偏差よりも小さいことを考慮すると、概して、３ＤＱＭが極めて正確であると結論付けられ得る。フル基準３ＤＱＭと無基準３ＤＱＭとのための相関係数は約０．８９４２に等しく、結果がコヒーレントであることを示し、一方、外れ値比は０であり、全ての３ＤＱＭ値が整合していることを示す。この点について、３ＤＱＭは、主観的閲覧者結果を近似し得、従って、３Ｄビデオデータの閲覧経験を改善するか又は少なくとも可能にするために、３Ｄビデオデータの自動補正を可能にし得る。
上記で説明した３ＤＱＭなど、３ＤＴＶのための目標品質メトリック(objective quality metrics)は、ＤＩＢＲアルゴリズム、深度マップ圧縮、深度マップ推定、穴埋め技術、及び表示向上の品質の進歩のために非常に重要なものであり得る。３ＤＱＭ特有のものである理想深度マップ推定はまた、上記で説明した方法で深度マップ推定における不良画素補正のための改良ステップとして使用され得るので、重要となり得る。特に、深度推定の不正確さが特定の画像の視覚的品質にどのくらい影響を及ぼすのかを定量化することは、正確な深度マップの推定に関与する計算の複雑さと、これらの画像にもたらされるアーティファクトとの間のトレードオフを可能にし得、そのトレードオフは、圧縮の際のレート歪みトレードオフと同様である。このトレードオフ態様は、特に、処理リソース又はバッテリーリソースが限定される埋込みリアルタイムアプリケーションにおいて適用可能であり得る。３ＤＱＭ技術の実装形態は、誤差ベースのメトリックと比較して、深度マップ圧縮の際のビットの割振りのためのより効率的なレート歪み基準を可能にする深度マップアーティファクトによる知覚歪みの実際の計算をも可能にし得る。
この場合も、２ビューシステムに関して上記で説明したが、本技術は、３つ以上のビューが３Ｄ表示器に与えられ、複数の異なるビューを表示することを可能にするマルチビュー３Ｄシステムにおいて実装され得る。この点において、これらのビューの各々に３ＤＱＭを与えるために、又はこれらのビューにグループとして３ＤＱＭを与えるために本技術が採用され得、これらの１つ以上の３ＤＱＭは、これらのビューを閲覧するときに発生することが予想される少なくとも何らかの視覚的不快感の識別及び潜在的なその後の補正を可能にし得る。従って、本開示では、説明を簡単にするために２ビューシステムに関して説明するが、本技術はマルチビューシステムにおいて採用され得る。
図７は、シフトセンサカメラモデルを示す図２２０である。シフトセンサカメラモデルは、３Ｄ撮像装置を効果的にモデル化し得、このために、仮想３Ｄ撮像装置を表し得る。図２２０では、ポイント２２２Ａ、２２２Ｂは、それぞれ、左眼２Ｄ撮像装置及び右眼２Ｄ撮像装置の中心点を表す。これらのポイント２２２Ａ、２２２Ｂ間の水平距離は、上記のように、ベースラインと呼ばれ、文字「Ｂ」によって示される。中心の各々から焦点への距離は、同じく焦点距離と呼ばれ、文字「Ｆ」として図２２０に示す。図２２０の文字「ｈ」は、センサの中心に対する投影の中心の水平方向へのシフトを指す。これらの様々な文字「Ｂ」、「Ｆ」及び「ｈ」は、少なくとも何らかの予想される視覚的不快感を補正するために、異なる３ＤＱＭ値に応答して改変され得るシフトセンサカメラモデルの変数を指す。これらの変数はまた、式（２）及び（３）など、上記の様々な式中で使用された変数に対応する。
本明細書に説明される技術は、ハードウェア、ファームウェア、又は任意のその組合せにおいて実施され得る。ハードウェアは、場合によっては、ソフトウェアをも実行し得る。モジュール、ユニット又は構成要素として説明した特徴は、集積論理機器において一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。場合によっては、様々な特徴は、集積回路チップ又はチップセットなどの集積回路機器として実装され得る。ソフトウェアで実装された場合、これらの技術は、実行されると、上記で説明した方法の１つ以上をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。
コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データ記憶媒体などのコンピュータデータ記憶媒体を備え得る。本技術は、追加又は代替として、命令又はデータ構造の形態でコードを搬送又は通信し、コンピュータによってアクセス、読取り、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
コード又は命令は、１つ以上のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価な集積又はディスクリート論理回路など、１つ以上のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明する技術の実装に好適な他の構造のいずれかを指す。更に、幾つかの態様では、本明細書で説明する機能を、専用のソフトウェアモジュール又はハードウェアモジュールの内部に与え得る。本開示はまた、本開示で説明した技術の１つ以上を実装する回路を含む様々な集積回路機器のいずれかを企図する。そのような回路は、単一の集積回路チップ、又は所謂チップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路機器は様々な適用例において使用され得、適用例の幾つかは携帯電話ハンドセットなどのワイヤレス通信機器での使用を含み得る。
本開示の様々な例について説明した。これら及び他の例は以下の特許請求の範囲に入る。

Claims (43)

  1. 深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリック（３６、６０）を得るための方法であって、
    ＤＩＢＲベース３Ｄビデオデータ（１３８、１５６）を使用して歪み制限画像ビューを生成することになる理想深度マップ（６２、７０）を推定することと、
    前記理想深度マップ（６２、７０）と前記ＤＩＢＲベース３Ｄビデオデータ（３４、１４０、１５８）の生成において使用される深度マップ（２８、５８）との定量比較に基づいて、１つ以上の歪みメトリック（６４、７２）を導出することと、
    導出された前記１つ以上の歪みメトリック（６４、１４２、１６０）に基づいて前記ＤＩＢＲベース３Ｄビデオデータの視覚的品質を定量化するために前記目標メトリック（３６、６０）を計算することと、
    を備える、方法。
  2. 前記歪みメトリックの各々が、前記ＤＩＢＲベース３Ｄビデオデータを閲覧するときに予想される３Ｄ閲覧視覚的不快感の測定値を示す、請求項１に記載の方法。
  3. 前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、
    Figure 2013535898
     上式で、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、Ｉｏが元の画像を表し、Ｚが、前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される仮想３Ｄ撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される前記仮想３Ｄ撮像装置のベースラインを表す、請求項１に記載の方法。
  4. 前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、ＺLが、元の左眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ＺRが、元の右眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ｋが第１の定数を表し、ｈが第２の定数を表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表す、請求項１に記載の方法。
  5. 前記理想深度マップを推定することが、以下の式に従って前記理想深度マップを推定することを含み、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されるビューを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから前記追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表し、
    関数ｆ（ＩR，Ｉg）が、前記基準ビューＩR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューＩｇ中の画素の各対応するブロックとの間の強度の差を表し、
    前記水平シフトの量が、その特定のブロックにおける平均視差であり、
    前記平均視差が前記基準ビューの深度マップの関数である、請求項１に記載の方法。
  6. 前記１つ以上の歪みメトリックを導出することが、空間的誤差外れ値（ＳＯ）歪みメトリックと時間的誤差外れ値（ＴＯ）歪みメトリックとのうちの１つ以上を導出することを備える、請求項１に記載の方法。
  7. 前記１つ以上の歪みメトリックを導出することが、
    理想深度マップと前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値（ＳＯ）歪みメトリックを導出することと、
    前記理想深度マップと、前記３Ｄビデオの２つの連続するフレームのための前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値（ＴＯ）歪みメトリックを導出することと、
    を備え、
    前記方法が、ＤＩＢＲベース３Ｄビデオデータと次のＤＩＢＲベース３Ｄビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合（ＴＩ）歪みメトリックを導出することを更に備え、
    前記目標メトリックを計算することが、
    前記ＳＯ、ＴＯ及びＴＩ歪みメトリックの各々を０〜１の範囲に正規化することと、
    以下の式に従って前記目標メトリックを計算することと
    Figure 2013535898
     を備え、
    上式で、３ＶＱＭが前記目標メトリックを表し、ＳＯ、ＴＯ及びＳＩが、前記正規化されたＳＯ、ＴＯ及びＴＩ歪みメトリックを表し、ａ、ｂ、及びｃが、トレーニングシーケンスによって決定される定数を表し、ｋがスケーリングファクタを表す、請求項１に記載の方法。
  8. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記方法が、
    １つ以上のパラメータに従って３Ｄビデオデータから前記深度マップを推定することであって、前記３Ｄビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの１つから選択される、推定することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記３Ｄビデオデータのための前記深度マップを推定するために使用される前記１つ以上のパラメータを修正することと、
    を更に備える、請求項１に記載の方法。
  9. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記方法が、
    符号化ＤＩＢＲベース３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの１つ以上を符号化するために使用される前記１つ以上のパラメータを修正することと、
    を更に備える、請求項１に記載の方法。
  10. 前記３Ｄビデオデータが、与えられたビューを更に含み、
    前記方法が、
    前記深度マップと与えられた前記ビューとを生成するために、１つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記１つ以上のパラメータを修正することと
    を更に備える、請求項１に記載の方法。
  11. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記方法が、
    前記３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから３Ｄビデオデータの左ビュー又は右ビューのいずれかを再構成することであって、与えられた前記ビューが前記３Ｄビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、再構成することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記１つ以上のパラメータを修正することと、
    を更に備える、請求項１に記載の方法。
  12. 深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリック（３６、６０）を得る機器であって、前記機器（１２、１４）が、
    前記３Ｄ目標メトリック（３６、６０）を計算する３Ｄ分析ユニット（２４、４８）を備え、前記３Ｄ分析ユニット（２４、４８）が、
    ＤＩＢＲベース３Ｄビデオデータ（３４）を使用して歪み制限画像ビューを生成することになる理想深度マップ（６２、７０）を推定する理想深度推定ユニット（８２）と、
    前記理想深度マップ（６２、７０）と前記ＤＩＢＲベース３Ｄビデオデータ（３４）の前記生成において使用される深度マップ（２８、５８）との定量比較に基づいて、１つ以上の歪みメトリック（６４、７２）を導出する歪みメトリック計算ユニット（８４）と、
    導出された前記１つ以上の歪みメトリック（６４、７２）に基づいてＤＩＢＲベースビデオデータ（３４）の視覚的品質を定量化するために前記目標メトリック（３６、６０）を計算する目標メトリック計算ユニット（８６）と
    を含む、機器（１２、１４）。
  13. 前記歪みメトリックの各々が、前記ＤＩＢＲベース３Ｄビデオデータを閲覧するときに予想される３Ｄ閲覧視覚的不快感の測定値を示す、請求項１２に記載の機器。
  14. 前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、
    Figure 2013535898
     上式で、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、Ｉｏが元の画像を表し、Ｚが、前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される仮想３Ｄ撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される前記仮想３Ｄ撮像装置のベースラインを表す、請求項１２に記載の機器。
  15. 前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、ＺLが、元の左眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ＺRが、元の右眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ｋが第１の定数を表し、ｈが第２の定数を表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表す、請求項１２に記載の機器。
  16. 前記理想深度マップ推定ユニットが、以下の式に従って前記理想深度マップを推定し、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されるビューを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから前記追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表し、
    関数ｆ（ＩR，Ｉg）が、前記基準ビューＩR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューＩｇ中の画素の各対応するブロックとの間の強度の差を表し、
    前記水平シフトの量が、その特定のブロックにおける平均視差であり、
    前記平均視差が前記基準ビューの深度マップの関数である、請求項１２に記載の機器。
  17. 前記歪みメトリック計算ユニットが、理想深度マップと前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値（ＳＯ）歪みメトリックを導出し、前記理想深度マップと、前記３Ｄビデオの２つの連続するフレームのための前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値（ＴＯ）歪みメトリックを導出し、ＤＩＢＲベース３Ｄビデオデータと次のＤＩＢＲベース３Ｄビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合（ＴＩ）歪みメトリックを導出し、
    前記目標メトリック計算ユニットが、前記ＳＯ、ＴＯ及びＴＩ歪みメトリックの各々を０〜１の範囲に正規化し、以下の式に従って前記目標メトリックを計算し、
    Figure 2013535898
     上式で、３ＶＱＭが前記目標メトリックを表し、ＳＯ、ＴＯ及びＳＩが、正規化された前記ＳＯ、ＴＯ及びＴＩ歪みメトリックを表し、ａ、ｂ、及びｃが、トレーニングシーケンスによって決定される定数を表し、ｋがスケーリングファクタを表す、請求項１に記載の機器。
  18. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    １つ以上のパラメータに従って３Ｄビデオデータから前記深度マップを推定することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記３Ｄビデオデータのための前記深度マップを推定するために使用される前記１つ以上のパラメータを修正することと、
    を行い、前記３Ｄビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの１つから選択される、深度推定ユニットを更に含む、請求項１２に記載の機器。
  19. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    符号化ＤＩＢＲベース３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの１つ以上を符号化するために使用される前記１つ以上のパラメータを修正することと、
    を行う３Ｄビデオエンコーダを更に含む、請求項１２に記載の機器。
  20. 前記３Ｄビデオデータが、与えられたビューを更に含み、
    前記深度マップと与えられた前記ビューとを生成するために、１つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記１つ以上のパラメータを修正することと、を行う３Ｄビデオデコーダを更に備える、請求項１２に記載の機器。
  21. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから３Ｄビデオデータの左ビュー又は右ビューのいずれかを再構成することと、前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記１つ以上のパラメータを修正することとを行い、与えられた前記ビューが前記３Ｄビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、ビュー再構成ユニットを更に備える、請求項１２に記載の機器。
  22. 深度画像ベースレンダリング（ＤＩＢＲ）ベース３次元（３Ｄ）ビデオデータの視覚的品質を定量化するために目標メトリック（３６、６０）を得る装置であって、
    ＤＩＢＲベース３Ｄビデオデータ（３４）を使用して歪み制限画像ビューを生成することになる理想深度マップ（６２、７０）を推定するための手段（８２）と、
    前記理想深度マップと前記ＤＩＢＲベース３Ｄビデオデータ（３４）の前記生成において使用される深度マップ（６２、７０）との定量比較に基づいて、１つ以上の歪みメトリック（６４、７２）を導出するための手段（８４）と、
    導出された前記１つ以上の歪みメトリック（６４、７２）に基づいて前記ＤＩＢＲベース３Ｄビデオデータ（３４）の視覚的品質を定量化するために前記目標メトリック（３６、６０）を計算するための手段（８６）と、
    を備える、装置（１２、１４）。
  23. 前記歪みメトリックの各々が、前記ＤＩＢＲベース３Ｄビデオデータを閲覧するときに予想される３Ｄ閲覧視覚的不快感の測定値を示す、請求項２２に記載の装置。
  24. 以下の式に従って前記理想深度マップを推定するための手段を更に備え、
    Figure 2013535898
     上式で、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、Ｉｏが元の画像を表し、Ｚが、前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される仮想３Ｄ撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される前記仮想３Ｄ撮像装置のベースラインを表す、請求項２２に記載の装置。
  25. 以下の式に従って前記理想深度マップを推定するための手段を更に備え、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、ＺLが、元の左眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ＺRが、元の右眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ｋが第１の定数を表し、ｈが第２の定数を表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表す、請求項２２に記載の装置。
  26. 以下の式に従って前記理想深度マップを推定するための手段を更に備え、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されるビューを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから前記追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表し、
    関数ｆ（ＩR，Ｉg）が、前記基準ビューＩR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューＩｇ中の画素の各対応するブロックとの間の強度の差を表し、
    前記水平シフトの量が、その特定のブロックにおける平均視差であり、
    前記平均視差が前記基準ビューの深度マップの関数である、請求項２２に記載の装置。
  27. 空間的誤差外れ値（ＳＯ）歪みメトリックと時間的誤差外れ値（ＴＯ）歪みメトリックとのうちの１つ以上を導出するための手段を更に備える、請求項２２に記載の装置。
  28. 理想深度マップと前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値（ＳＯ）歪みメトリックを導出するための手段と、
    前記理想深度マップと、前記３Ｄビデオの２つの連続するフレームのための前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値（ＴＯ）歪みメトリックを導出するための手段と、
    ＤＩＢＲベース３Ｄビデオデータと次のＤＩＢＲベース３Ｄビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合（ＴＩ）歪みメトリックを導出するための手段と、
    前記ＳＯ、ＴＯ及びＴＩ歪みメトリックの各々を０〜１の範囲に正規化するための手段と、
    以下の式に従って前記目標メトリックを計算するための手段と
    Figure 2013535898
     を更に備え、
    上式で、３ＶＱＭが前記目標メトリックを表し、ＳＯ、ＴＯ及びＳＩが、正規化された前記ＳＯ、ＴＯ及びＴＩ歪みメトリックを表し、ａ、ｂ、及びｃが、トレーニングシーケンスによって決定される定数を表し、ｋがスケーリングファクタを表す、請求項２２に記載の装置。
  29. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    １つ以上のパラメータに従って３Ｄビデオデータから前記深度マップを推定するための手段と、
    前記目標メトリックによって識別される欠陥を補正するために、前記３Ｄビデオデータのための前記深度マップを推定するために使用される前記１つ以上のパラメータを修正するための手段と、を更に備え、前記３Ｄビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの１つから選択される、請求項２２に記載の装置。
  30. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    符号化ＤＩＢＲベース３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップと与えられた前記ビューとを符号化するための手段と、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの１つ以上を符号化するために使用される前記１つ以上のパラメータを修正するための手段と、
    を更に備える、請求項２２に記載の装置。
  31. 前記３Ｄビデオデータが、与えられたビューを更に含み、
    前記深度マップと与えられた前記ビューとを生成するために、１つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号するための手段と、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記１つ以上のパラメータを修正すための手段と、
    を更に備える、請求項２２に記載の装置。
  32. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから３Ｄビデオデータの左ビュー又は右ビューのいずれかを再構成するための手段と、
    前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記１つ以上のパラメータを修正するための手段と、を更に備え、与えられた前記ビューが前記３Ｄビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、請求項２２に記載の装置。
  33. 実行されたとき、１つ以上のプロセッサに、
    ＤＩＢＲベース３Ｄビデオデータ（３４）を使用して歪み制限画像ビューを生成することになる理想深度マップ（６２、７０）を推定することと、
    前記理想深度マップ（６２、７０）と前記ＤＩＢＲベース３Ｄビデオデータ（３４）の前記生成において使用される深度マップ（２８、５８）との定量比較に基づいて、１つ以上の歪みメトリック（６４、７２）を導出することと、
    導出された前記１つ以上の歪みメトリック（６４、７２）に基づいて前記ＤＩＢＲベース３Ｄビデオデータの視覚的品質を定量化するために前記目標メトリック（３６、６０）を計算することと、
    を行わせる命令を備える、非一時的コンピュータ可読媒体。
  34. 前記歪みメトリックの各々が、前記ＤＩＢＲベース３Ｄビデオデータを閲覧するときに予想される３Ｄ閲覧視覚的不快感の測定値を示す、請求項３３に記載の非一時的コンピュータ可読媒体。
  35. 前記１つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、
    Figure 2013535898
     上式で、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、Ｉｏが元の画像を表し、Ｚが、前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される仮想３Ｄ撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから異なるビューを生成するために使用される前記仮想３Ｄ撮像装置のベースラインを表す、請求項３３に記載の非一時的コンピュータ可読媒体。
  36. 前記１つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されたビューを表し、ＺLが、元の左眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ＺRが、元の右眼ビューからの前記ＤＩＢＲベース３Ｄビデオデータの深度マップを表し、ｋが第１の定数を表し、ｈが第２の定数を表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表す、請求項３３に記載の非一時的コンピュータ可読媒体。
  37. 前記１つ以上のプロセッサに、以下の式に従って前記理想深度マップを推定させる命令を更に備え、
    Figure 2013535898
     上式で、ＩRが基準ビューを表し、Ｉｇが、前記ＤＩＢＲベース３Ｄビデオデータから生成されるビューを表し、Ｆが、前記ＤＩＢＲベース３Ｄビデオデータから追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置の焦点距離を表し、Ｂが、前記ＤＩＢＲベース３Ｄビデオデータから前記追加のビューを生成するために使用される前記仮想３Ｄ画像撮像装置のベースラインを表し、
    関数ｆ（ＩR，Ｉg）が、前記基準ビューＩR中の画素の各ブロックと、前記基準ビューの前記ブロックに水平シフトを適用した後の生成された前記ビューＩｇ中の画素の各対応するブロックとの間の強度の差を表し、
    前記水平シフトの量が、その特定のブロックにおける平均視差であり、
    前記平均視差が前記基準ビューの深度マップの関数である、請求項３３に記載の非一時的コンピュータ可読媒体。
  38. 前記１つ以上のプロセッサに、空間的誤差外れ値（ＳＯ）歪みメトリックと時間的誤差外れ値（ＴＯ）歪みメトリックとのうちの１つ以上を導出させる命令を更に備える、請求項３３に記載の非一時的コンピュータ可読媒体。
  39. 前記１つ以上のプロセッサに、
    理想深度マップと前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として空間的誤差外れ値（ＳＯ）歪みメトリックを導出することと、
    前記理想深度マップと、前記３Ｄビデオの２つの連続するフレームのための前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップとの間の差の標準偏差として時間的誤差外れ値（ＴＯ）歪みメトリックを導出することと、
    ＤＩＢＲベース３Ｄビデオデータと次のＤＩＢＲベース３Ｄビデオデータとを生成するために使用される深度マップ間の差の標準偏差として時間的不整合（ＴＩ）歪みメトリックを導出することと、
    前記ＳＯ、ＴＯ及びＴＩ歪みメトリックの各々を０〜１の範囲に正規化することと、
    以下の式に従って前記目標メトリックを計算することと
    Figure 2013535898
     を行わせる命令を更に備え、
    上式で、３ＶＱＭが前記目標メトリックを表し、ＳＯ、ＴＯ及びＳＩが、正規化された前記ＳＯ、ＴＯ及びＴＩ歪みメトリックを表し、ａ、ｂ、及びｃが、トレーニングシーケンスによって決定される定数を表し、ｋがスケーリングファクタを表す、請求項３３に記載の非一時的コンピュータ可読媒体。
  40. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記１つ以上のプロセッサに、
    １つ以上のパラメータに従って３Ｄビデオデータから前記深度マップを推定することであって、前記３Ｄビデオデータが左ビューと右ビューとを含み、与えられた前記ビューが前記左ビューと前記右ビューとのうちの１つから選択される、推定することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記３Ｄビデオデータのための前記深度マップを推定するために使用される前記１つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項３３に記載の非一時的コンピュータ可読媒体。
  41. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記１つ以上のプロセッサに、
    符号化ＤＩＢＲベース３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記ＤＩＢＲベース３Ｄビデオデータの前記深度マップと与えられた前記ビューとを符号化することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップと与えられた前記ビューとのうちの１つ以上を符号化するために使用される前記１つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項３３に記載の非一時的コンピュータ可読媒体。
  42. 前記３Ｄビデオデータが、与えられたビューを更に含み、
    前記１つ以上のプロセッサに、
    前記深度マップと与えられた前記ビューとを生成するために、１つ以上のパラメータに従って前記深度マップの符号化バージョンと与えられた前記ビューの符号化バージョンとを復号することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記深度マップの前記符号化バージョンと与えられた前記ビューの前記符号化バージョンとを復号するために使用される前記１つ以上のパラメータを修正することとを行わせる命令を更に備える、請求項３３に記載の非一時的コンピュータ可読媒体。
  43. 前記ＤＩＢＲベース３Ｄビデオデータが、与えられたビューを更に含み、
    前記１つ以上のプロセッサに、
    前記３Ｄビデオデータを生成するために、１つ以上のパラメータに従って前記深度マップと与えられた前記ビューとから３Ｄビデオデータの左ビュー又は右ビューのいずれかを再構成することと、
    前記目標メトリックによって識別される欠陥を補正するために、前記左ビュー又は前記右ビューのいずれかを再構成するために使用される前記１つ以上のパラメータを修正することとを行わせる命令を更に備え、与えられた前記ビューが前記３Ｄビデオデータの前記左ビュー又は前記右ビューのいずれかとして選択される、請求項３３に記載の非一時的コンピュータ可読媒体。
JP2013520767A 2010-07-16 2011-07-15 ３次元ビデオのための視覚ベースの品質メトリック Expired - Fee Related JP5583850B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36494010P 2010-07-16 2010-07-16
US61/364,940 2010-07-16
US13/094,607 2011-04-26
US13/094,607 US9406132B2 (en) 2010-07-16 2011-04-26 Vision-based quality metric for three dimensional video
PCT/US2011/044277 WO2012009695A1 (en) 2010-07-16 2011-07-15 Vision-based quality metric for three dimensional video

Publications (2)

Publication Number Publication Date
JP2013535898A true JP2013535898A (ja) 2013-09-12
JP5583850B2 JP5583850B2 (ja) 2014-09-03

Family

ID=45466983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013520767A Expired - Fee Related JP5583850B2 (ja) 2010-07-16 2011-07-15 ３次元ビデオのための視覚ベースの品質メトリック

Country Status (7)

Country Link
US (1) US9406132B2 (ja)
EP (1) EP2594078A1 (ja)
JP (1) JP5583850B2 (ja)
KR (1) KR101533162B1 (ja)
CN (1) CN103004214B (ja)
IN (1) IN2013CN00086A (ja)
WO (1) WO2012009695A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7527351B2 (ja) 2019-09-12 2024-08-02 コーニンクレッカ フィリップス エヌ ヴェ シーンの画像キャプチャの品質を評価するための装置及び方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2011523538A (ja) 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
CN102714749B (zh) * 2010-11-30 2015-01-14 株式会社东芝 立体影像显示装置以及方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20120162394A1 (en) * 2010-12-23 2012-06-28 Tektronix, Inc. Displays for easy visualizing of 3d disparity data
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
GB2490886B (en) 2011-05-13 2017-07-05 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9661310B2 (en) * 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP5851330B2 (ja) * 2012-05-02 2016-02-03 日本電信電話株式会社 ３ｄ映像品質評価装置及び方法及びプログラム
JP5851331B2 (ja) * 2012-05-02 2016-02-03 日本電信電話株式会社 ３ｄ映像品質評価装置及び方法及びプログラム
JP5851332B2 (ja) * 2012-05-02 2016-02-03 日本電信電話株式会社 ３ｄ映像品質評価装置及び方法及びプログラム
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
CN105144198B (zh) 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法
WO2014165438A1 (en) 2013-04-02 2014-10-09 3M Innovative Properties Company Systems and methods for managing notes
TWI547142B (zh) * 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
US8891862B1 (en) 2013-07-09 2014-11-18 3M Innovative Properties Company Note recognition and management using color classification
US9292906B1 (en) * 2013-09-06 2016-03-22 Google Inc. Two-dimensional image processing based on third dimension data
JP6476658B2 (ja) 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015057778A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Note recognition and association based on grouping
EP3058512B1 (en) 2013-10-16 2022-06-01 3M Innovative Properties Company Organizing digital notes on a user interface
US9082184B2 (en) 2013-10-16 2015-07-14 3M Innovative Properties Company Note recognition and management using multi-color channel non-marker detection
WO2015057781A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Note recognition for overlapping physical notes
EP3058514B1 (en) 2013-10-16 2020-01-08 3M Innovative Properties Company Adding/deleting digital notes from a group
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
EP3100208B1 (en) 2014-01-31 2021-08-18 3M Innovative Properties Company Note capture and recognition with manual assist
US9626766B2 (en) * 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
CN104661013B (zh) * 2015-01-27 2016-08-17 宁波大学 一种基于空间加权的虚拟视点绘制方法
US10334223B2 (en) 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
CN108702478B (zh) * 2016-02-22 2021-07-16 索尼公司 文件生成装置、文件生成方法、再现装置和再现方法
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
CN106170086B (zh) * 2016-08-19 2019-03-15 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
GB2553148A (en) * 2016-08-26 2018-02-28 Nctech Ltd Modelling system and method
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
CN106817578B (zh) * 2017-01-11 2018-05-22 清华大学深圳研究生院 一种分析裸眼3d显示系统立体深度影响因素的方法
TWI636427B (zh) * 2017-05-31 2018-09-21 鈺立微電子股份有限公司 對應影像擷取裝置的深度圖品質的驗證方法及其驗證系統
US10282827B2 (en) * 2017-08-10 2019-05-07 Wipro Limited Method and system for removal of rain streak distortion from a video
WO2020068383A1 (en) * 2018-09-27 2020-04-02 Snap Inc. Three dimensional scene inpainting using stereo extraction
US11310475B2 (en) 2019-08-05 2022-04-19 City University Of Hong Kong Video quality determination system and method
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
JP7330376B2 (ja) 2019-10-07 2023-08-21 ボストン ポーラリメトリックス，インコーポレイティド 偏光によるセンサシステム及び撮像システムの増強のための方法
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2008505522A (ja) * 2004-07-02 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ処理

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046763A (en) 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US20030206652A1 (en) 2000-06-28 2003-11-06 David Nister Depth map creation through hypothesis blending in a bayesian framework
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
EP2274920B1 (en) * 2008-05-12 2019-01-16 InterDigital Madison Patent Holdings System and method for measuring potential eyestrain of stereoscopic motion pictures
US20100053310A1 (en) 2008-08-31 2010-03-04 Maxson Brian D Transforming 3d video content to match viewer position
US20100182445A1 (en) 2009-01-22 2010-07-22 Upi Semiconductor Corporation Processing Device, Method, And Electronic System Utilizing The Same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2008505522A (ja) * 2004-07-02 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ処理

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN5013009002; Ｃｈｕｎ-Ｃｈｉ　Ｃｈｅｎ　ｅｔ　ａｌ: 'Ａ　Ｓｙｎｔｈｅｓｉｓ-Ｑｕａｌｉｔｙ-Ｏｒｉｅｎｔｅｄ　Ｄｅｐｔｈ　Ｒｅｆｉｎｅｍｅｎｔ　Ｓｃｈｅｍｅ　ｆｏｒ　ＭＰＥＧ　Ｆｒｅｅ　Ｖｉｅｗｐｏｉｎｔ　Ｔｅｌｅｖｉｓｉｏｎ　（ＦＴＶ）' ２００９　１１ＴＨ　ＩＥＥＥ　ＩＮＴＥＲＮＡＴＩＯＮＡＬ　ＳＹＭＰＯＳＩＵＭ　ＯＮ　ＭＵＬＴＩＭＥＤＩＡ , 20091214, Ｐ１７１-１７８, ＩＥＥＥ *
JPN5013009003; Ｄａｖｉｄ　Ｊ．　Ｓｃｈｅｒｂａ　ｅｔ　ａｌ: 'Ｄｅｐｔｈ　Ｍａｐ　Ｃａｌｉｂｒａｔｉｏｎ　ｂｙ　Ｓｔｅｒｅｏ　ａｎｄ　Ｗｉｒｅｌｅｓｓ　Ｓｅｎｓｏｒ　Ｎｅｔｗｏｒｋ　Ｆｕｓｉｏｎ' ２００５　７ＴＨ　ＩＮＴＥＲＮＡＴＩＯＮＡＬ　ＣＯＮＦＥＲＥＮＣＥ　ＯＮ　ＩＮＦＯＲＭＡＴＩＯＮ　ＦＵＳＩＯＮ Ｖ２, 20050725, Ｐ１５４０-１５４７, ＩＥＥＥ *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7527351B2 (ja) 2019-09-12 2024-08-02 コーニンクレッカ フィリップス エヌ ヴェ シーンの画像キャプチャの品質を評価するための装置及び方法

Also Published As

Publication number Publication date
IN2013CN00086A (ja) 2015-07-03
WO2012009695A1 (en) 2012-01-19
CN103004214A (zh) 2013-03-27
US20120014456A1 (en) 2012-01-19
KR101533162B1 (ko) 2015-07-01
CN103004214B (zh) 2015-11-25
EP2594078A1 (en) 2013-05-22
US9406132B2 (en) 2016-08-02
KR20130038386A (ko) 2013-04-17
JP5583850B2 (ja) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5583850B2 (ja) ３次元ビデオのための視覚ベースの品質メトリック
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
US10484697B2 (en) Simultaneous localization and mapping for video coding
JP5596146B2 (ja) トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること
US11159824B1 (en) Methods for full parallax light field compression
US20120014590A1 (en) Multi-resolution, multi-window disparity estimation in 3d video processing
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
US9225962B2 (en) Stereo matching for 3D encoding and quality assessment
US11653023B2 (en) Encoding device, encoding method, decoding device, and decoding method
US20120188334A1 (en) Generating 3D stereoscopic content from monoscopic video content
US20100245372A1 (en) Method and apparatus for frame interpolation
US20140363100A1 (en) Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
CN113784129A (zh) 点云质量评估方法、编码器、解码器及存储介质
WO2019211541A2 (fr) Procédé et dispositif de décodage d&#39;une vidéo multi-vue, et procédé et dispositif de traitement d&#39;images
US20200195967A1 (en) Point cloud auxiliary information coding
JP5858254B2 (ja) ２次元コンテンツの３次元コンテンツへのリアルタイム変換の方法及び装置
AU2017355533B2 (en) Techniques for improving the quality of subjective data
Birkbeck et al. Quantitative evaluation of omnidirectional video quality
KR20150037203A (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
Zhong et al. 3D hybrid just noticeable distortion modeling for depth image-based rendering
Lavrushkin et al. Local method of color-difference correction between stereoscopic-video views
CN104767986A (zh) 景深图校正方法及系统
NAVEEN et al. 3D Model Distortion Estimation Based on Rendering Process

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140428

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140716

R150 Certificate of patent or registration of utility model

Ref document number: 5583850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees