JP2013135357A - 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム - Google Patents

奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム Download PDF

Info

Publication number
JP2013135357A
JP2013135357A JP2011284811A JP2011284811A JP2013135357A JP 2013135357 A JP2013135357 A JP 2013135357A JP 2011284811 A JP2011284811 A JP 2011284811A JP 2011284811 A JP2011284811 A JP 2011284811A JP 2013135357 A JP2013135357 A JP 2013135357A
Authority
JP
Japan
Prior art keywords
image
value
depth
object signal
stereo image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011284811A
Other languages
English (en)
Other versions
JP5692051B2 (ja
Inventor
Shingo Kida
晋吾 木田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011284811A priority Critical patent/JP5692051B2/ja
Priority to US13/714,784 priority patent/US8884951B2/en
Publication of JP2013135357A publication Critical patent/JP2013135357A/ja
Application granted granted Critical
Publication of JP5692051B2 publication Critical patent/JP5692051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

【課題】背景とオブジェクトとの分離感を向上させ立体効果を高める。
【解決手段】平均値、最小値、最大値データ検出部1181は、疑似立体画像の凹凸に関するオブジェクト情報を示すR信号の1フレーム内の平均値、最小値及び最大値を検出する。差分値算出部1182は、上記平均値をR信号から減算して差分値を算出する。演算部1183は、平均値を画面の大面積を占める背景画像のレベルと推定し、平均値において最小の値(凹)を示し、最大値及び最小値においてそれぞれ最大の値(凸)を示す信号を補正後のオブジェクト信号R’として生成する。加算部は基本奥行きモデル合成画像に補正オブジェクト信号R’を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する。
【選択図】図7

Description

本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像(非立体画像)から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施して疑似立体画像を生成する疑似立体画像の生成装置、生成方法及び生成プログラムに関する。
立体表示システムにおいては、非立体画像の疑似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像(非立体画像)から、疑似的な立体画像を生成する処理が行われる。
このような技術の一例として、例えば特許文献1に開示された疑似立体画像生成装置がある。特許文献1記載の疑似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号(R信号)とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
特開2005−151534号公報
特許文献1記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その基本奥行きモデルの合成画像に、凹凸感を示す情報であるオブジェクト情報として入力非立体画像のR信号を重畳することで、最終的な奥行き推定データを生成している。また、特許文献1には、合成基本奥行きモデルの画像に重畳するオブジェクト情報として、入力非立体画像の青色信号(B信号)を用いてもよいし、R信号とB信号とを併用した信号を用いてもよいとの記載がある。
しかしながら、特許文献1記載の疑似立体画像生成装置では、基本奥行きモデルの画像は入力非立体画像のシーン構造を解析して選択される。これに対して、オブジェクト情報はR信号、B信号あるいはそれらを併用した信号のいずれを用いる場合でも、入力非立体画像のシーン構造の解析結果を反映していない。そして、特許文献1記載の疑似立体画像生成装置では、上記のオブジェクト情報を、選択された基本奥行きモデルの画像に単純に加算する構成であるため、例えば図10(A)に示すように、背景121とオブジェクト(人物等の物体)122との分離感が乏しいという課題がある。
本発明は以上の点に鑑みなされたもので、背景とオブジェクトとの分離感を向上させ立体効果を高め得る奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。
上記の目的を達成するため、第1の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、発生手段が発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出手段と、オブジェクト信号が平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すようにオブジェクト信号を補正した補正オブジェクト信号を算出する演算手段と、合成手段により合成した基本奥行きモデル合成画像に補正後のオブジェクト信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。
また、上記の目的を達成するため、第2の発明の奥行き推定データの生成装置は、演算手段が、検出手段により検出された平均値をオブジェクト信号から減算して差分値を算出し、差分値が負の値のときは検出手段により検出された最小値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行って平均値より負側のオブジェクト信号を算出し、差分値が正の値のときは検出手段により検出された最大値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行って平均値より正側のオブジェクト信号を算出することを特徴とする。
また、上記の目的を達成するため、第3の発明の奥行き推定データの生成装置は、演算手段が、所定値としてオブジェクト信号のダイナミックレンジの上限に対応した閾値を設定し、最小の値が閾値と絶対値が同じ負の値に制限され、最大の値が閾値と絶対値が同じ正の値に制限された補正オブジェクト信号を算出することを特徴とする。
また、上記の目的を達成するため、第4の発明の奥行き推定データの生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、検出ステップにより検出された平均値をオブジェクト信号から減算して差分値を算出する差分値算出ステップと、差分値が負の値のときは検出ステップにより検出された最小値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行って平均値より負側の補正量を算出し、差分値が正の値のときは検出ステップにより検出された最大値と平均値との差分により差分値を除算し、かつ、所定値を乗算する正規化処理を行って平均値より正側の補正量を算出し、更に負側の補正量及び正側の補正量を加算した補正量に対して、平均値のときに最小の値を示し、かつ、最大値及び最小値のそれぞれにおいて最大の値を示す特性の信号を補正後のオブジェクト信号として算出する演算ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正後のオブジェクト信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
また、上記の目的を達成するため、第4の発明の奥行き推定データの生成方法は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生ステップと、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、発生ステップが発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、オブジェクト信号が平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すようにオブジェクト信号を補正した補正オブジェクト信号を算出する演算ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正後のオブジェクト信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
また、上記の目的を達成するため、第5の発明の奥行き推定データの生成プログラムは、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生機能と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、発生機能が発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出機能と、オブジェクト信号が平均値のときに最小の値を示し、かつ、最小値及び最大値のそれぞれにおいて最大の値を示すようにオブジェクト信号を補正した補正オブジェクト信号を算出する演算機能と、合成機能により合成した基本奥行きモデル合成画像に補正後のオブジェクト信号を加算して、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータにより実現させることを特徴とする。
また、上記の目的を達成するため、第6の発明の疑似立体画像の生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第1〜第3の発明のうちいずれか一の発明の奥行き推定データの生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成手段と、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。
また、上記の目的を達成するため、第7の発明の疑似立体画像の生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第4の発明の奥行き推定データの生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成ステップと、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。
更に、上記の目的を達成するため、第8の発明の疑似立体画像の生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第6の発明の奥行き推定データの生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって、非立体画像の視点とは別視点の画像を生成する別視点画像生成機能と、非立体画像及び別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。
本発明によれば、疑似立体画像の背景とオブジェクトとの分離感を向上させ立体効果を高めることができる。
本発明の疑似立体画像生成装置の一実施の形態を示すブロック図である。 本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。 基本奥行きモデルタイプAの立体構造の一例を示す図である。 基本奥行きモデルタイプBの立体構造の一例を示す図である。 基本奥行きモデルタイプCの立体構造の一例を示す図である。 基本奥行きモデル合成比率決定条件の一例を説明する図である。 図2中のオブジェクト信号補正部の一実施の形態のブロック図である。 図7中の各部の入出力特性の一例を示す図である。 オブジェクト信号と補正オブジェクト信号との関係の他の例を示す図である。 特許文献1記載の疑似立体画像の一例と本発明により生成された奥行き推定データによる疑似立体画像の一例とを対比して示す図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図1は、本発明になる疑似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置1は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する2次元カラー画像(非立体画像)の入力映像信号から疑似的な3次元カラー立体画像を生成する所謂2D3D変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。
疑似立体画像生成装置1は、図1に示すように、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置10と、奥行き推定データから入力非立体画像と共に疑似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置20とから構成されている。ステレオ表示装置30は、ステレオペア生成装置20から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。
奥行き推定データ生成装置10は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部11から構成されている。奥行き推定部11の詳細な構成は後述する。ステレオペア生成装置20は、奥行き推定部11で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部21と、オクルージョンを補償するオクルージョン補償部22と、ポスト処理を行うポスト処理部23とから構成されており、ポスト処理部23からシフトされた左目画像24を出力すると共に、入力映像信号である右目画像25を出力する。すなわち、ステレオペア生成装置20は、入力非立体画像を右目画像25としたとき、この右目画像25と疑似的な立体画像を構成する左目画像24を生成して右目画像25と共にステレオペアとして出力する。ステレオペア生成装置20は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。
次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部11の構成及び動作について更に詳細に説明する。
図2は、奥行き推定部11の一実施の形態のブロック図を示す。同図に示すように、奥行き推定部11は、画像入力部111、画面上部の高域成分評価部112、画面下部の高域成分評価部113、フレームメモリ114〜116、合成部117、オブジェクト信号補正部118及び加算部119から構成されており、非立体画像と共に疑似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する。この奥行き推定部11は、オブジェクト信号補正部118の構成に特徴がある。
図2において、画像入力部111は、フレームメモリを備えており、非立体画像信号である1フレーム分の入力映像信号を一時記憶した後、その1フレーム分の入力映像信号中の輝度信号を画面上部の高域成分評価部112、及び画面下部の高域成分評価部113にそれぞれ供給すると共に、入力映像信号中の赤色信号(R信号)をオブジェクト信号補正部118に供給する。
画面上部の高域成分評価部112及び画面下部の高域成分評価部113は、合成部117の一部の機能と共に本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する3種類の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段を構成している。
すなわち、画面上部の高域成分評価部112は、1フレーム分の入力映像信号における画面の上部約20%にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部112は、画面上部の高域成分評価値(top_act)を合成部117に供給する。画面下部の高域成分評価部113は、1フレーム分の入力映像信号における画面の下部約20%領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部113は、画面下部の高域成分評価値(bottom_act)を合成部117に供給する。画面上部の高域成分評価値(top_act)及び画面下部の高域成分評価値(bottom_act)は、それぞれ非立体画像の画面上部、画面下部の各所定領域(各20%領域)における画素値の統計量を示す。なお、上記の高域成分は非立体画像のエッジを示す周波数信号成分である。また、エッジとは、輝度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。
一方、フレームメモリ114は基本奥行きモデルタイプA、フレームメモリ115は基本奥行きモデルタイプB、フレームメモリ116は基本奥行きモデルタイプCの画像を予め格納しており、本発明の奥行き推定データの生成装置における基本奥行きモデルの画像の発生手段を構成している。これらの基本奥行きモデルタイプA〜Cの画像は、それぞれ疑似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。
例えば、上記の基本奥行きモデルタイプAの画像は、球面状の凹面による奥行きモデルの画像で、図3に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプAの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
また、上記の基本奥行きモデルタイプBの画像は、基本奥行きモデルタイプAの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図4に立体構造を示すような、上部を円筒面(軸は垂直方向)で下部を凹面(球面)としたモデルの画像である。
更に、上記の基本奥行きモデルタイプCの画像は、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、図5に立体構造を示すような、上部を平面、下部を円筒面(軸は水平方向)としたモデルの画像である。フレームメモリ114〜116に格納されている、これら基本奥行きモデルタイプA〜Cの画像は、合成部117へ供給される。
合成部117は、まず、画面上部の高域成分評価部112から供給された画面上部の高域成分評価値top_actと、画面下部の高域成分評価部113から供給された画面下部の高域成分評価値bottom_actとに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプAの合成比率k1、基本奥行きモデルタイプBの合成比率k2、基本奥行きモデルタイプCの合成比率k3を自動的に算出する。なお、3つの合成比率k1〜k3の合計値は常に「1」である。
図6は、合成比率の決定条件の一例を示す。図6は、横軸に示す画面上部の高域成分評価値(以下、上部の高域成分評価値と略す)top_actと、縦軸に示す画面下部の高域成分評価値(以下、下部の高域成分評価値と略す)bottom_actの各値と、予め指定された値tps、tpl、bms、bmlとの兼ね合いにより合成比率が決定されることを示す。
図6において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図6において、「TypeA/B」の領域では、下記のように上部の高域成分評価値top_actと下部の高域成分評価値bottom_actとの比率で基本奥行きモデルタイプAの値であるTypeAと基本奥行きモデルタイプBの値であるTypeBの比率が決定され、基本奥行きモデルタイプCの値であるTypeCは比率の決定には用いられない。
TypeA:TypeB:TypeC
=(top_act−tps):(tp1−top_act):0
また、図6において、「TypeA/B/C」の領域では、TypeA/BとTypeA/Cとの平均を採用して、下記のようにTypeA/B/Cの値が決定される。
TypeA:TypeB:TypeC
=(top_act−tps)+(bottom_act−bms):(tpl−top_act):(bml−bottom_act)
なお、合成比率k1、k2、k3は次式で算出される。
k1=TypeA/(TypeA+TypeB+TypeC) (1)
k2=TypeB/(TypeA+TypeB+TypeC) (2)
k3=TypeC/(TypeA+TypeB+TypeC) (3)
合成部117は、上記のように算出した合成比率k1〜k3のうち、合成比率k1と基本奥行きモデルタイプAの値であるTypeAとの第1の乗算結果と、合成比率k2と基本奥行きモデルタイプBの値であるTypeBとの第2の乗算結果と、合成比率k3と基本奥行きモデルタイプCの値であるTypeCとの第3の乗算結果とをそれぞれ算出し、更にそれら3つの第1〜第3の乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。
なお、上記の基本奥行きモデルタイプA〜Cの画像、及び上記の合成比率の決定条件は、本出願人が特許文献1にて開示した公知の基本奥行きモデルタイプA〜Cの画像及び決定条件であるが、これに限定されるものではない。また、合成部117の構成は本出願人が特開2006−185033号公報にて開示した構成であってもよい。
このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして3種類の基本奥行きモデルタイプを用意し、上記の合成部117において基本奥行きモデルタイプAの画像を基本にしながらも、上部の高域成分評価値top_actが小さい場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して画面上部の奥行きを深くした基本奥行きモデルタイプBの画像の合成比率を増加させ、下部の高域成分評価値bottom_actが小さい場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きの浅くなる基本奥行きモデルタイプCの画像の合成比率を増加させる合成処理を行う。これにより、本実施の形態によれば、どのような画像に対しても違和感を感じさせることがなく、またできる限り現実に近いシーン構造の決定を行うことができる。
このようにして、合成部117から出力される基本奥行きモデルの合成画像に対して、オブジェクト信号であるR信号を単純に加算して奥行き推定データを生成すると、前述したように、その奥行き推定データを用いて生成した疑似立体画像は、背景とオブジェクト(人物等の物体)との分離感が乏しいものとなってしまう。
そこで、本実施の形態では、上記の課題を解決するため、オブジェクト信号補正部118によりR信号をシーン構造に応じて補正した補正オブジェクト信号R’を生成する。オブジェクト信号補正部118は、画像入力部111から供給される入力映像信号中のR信号(これは生成する疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号に相当する)を補正し、補正後のオブジェクト信号R’を加算部119に供給する。
R信号をオブジェクト信号として使用する理由の一つは、R信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
図7は、オブジェクト信号補正部118の一実施の形態のブロック図を示す。同図に示すように、オブジェクト信号補正部118は、画像入力部111から1フレーム分のR信号が供給される平均値、最小値、最大値データ検出部1181及び差分値算出部1182と、差分値算出部1183から差分値が供給されると共に平均値、最小値、最大値データ検出部1181から最小値及び最大値が供給されて所定の演算処理を行って補正後のオブジェクト信号(R’信号)を生成する演算部1183とから構成されている。
平均値、最小値、最大値データ検出部1181は、入力された1フレーム分のR信号の画素値の平均値APLと最小値MINと最大値MAXとを検出し、平均値APLは差分値算出部1182に供給し、最小値MIN及び最大値MAXは演算部1183に供給する。
差分値算出部1182は、次式に示すように、入力されたR信号から平均値APLを減算して差分値R_sub(j)を算出する。
R_sub(j)=j−APL (4)
ただし、(4)式中、jはR信号の値、APLは平均値を示す(以下、同様)。
図8(A)は差分値算出部1182の入出力特性を示し、横軸が入力されるR信号、縦軸が出力される差分値R_sub(j)を示す。図8(A)に示すように、差分値R_sub(j)はR信号が最小値MINのときは−APL、R信号が平均値APLのときは0、R信号が最大値MAXのときはAPLとなる。
演算部1183は、平均値APLを画面の大面積を占める背景画像のレベルと推定し、平均値APLにおいて最小の値(凹)を示し、最大値MAX及び最小値MINにおいてそれぞれ最大の値(凸)を示す信号を補正後のオブジェクト信号R’として生成する。
そのために、演算部1183は、まず、差分値算出部1182から供給される差分値R_sub(j)が負の値のときは、平均値、最小値、最大値データ検出部1181から供給される最小値MINを用いて(5)式による正規化処理を行ってAPLより負側の補正量S-(j)を算出する。
-(j)=R_sub(j)×Lim/(MIN−APL) (5)
ただし、(5)式中、Limはリミット閾値、MINは最小値、APLは平均値である。
この最小値MINによる正規化処理は、最小値MINを用いて、差分値R_sub(j)の0より小さな値を予め設定されたオブジェクト信号のダイナミックレンジの上限に対応させて補正し、平均値APLより負側の補正量S-(j)を算出するものである。例えば、図8(B)を参照して説明すると、平均値APL、最小値MIN、最大値MAXのR信号が入力された場合に、差分値R_sub(j)の0より−APLの範囲のb1で示す特性が負側の補正量S-(j)を示す。
この負側の補正量S-(j)は、差分値R_sub(j)が0から−APLに減少するにつれて0からリミット閾値Limまで直線的に増加するため、リミット閾値Limを予めオブジェクト信号のダイナミックレンジの上限に設定しておくことによって、負側の補正量S-(j)をダイナミックレンジの上限まで拡大することができる。
続いて、演算部1183は、差分値算出部1182から供給される差分値R_sub(j)が正の値のときは、平均値、最小値、最大値データ検出部1181から供給される最大値MAXを用いて(6)式による正規化処理を行ってAPLより正側の補正量S+(j)を算出する。
+(j)=R_sub(j)×Lim/(MAX−APL) (6)
ただし、(6)式中、Limはリミット閾値、MAXは最大値、APLは平均値である。
この最大値MAXによる正規化処理は、最大値MAXを用いて、差分値R_sub(j)の0より大きな値を予め設定された信号のダイナミックレンジの上限に対応させて補正し、平均値APLより正側の補正量S+(j)を算出するものである。例えば、図8(B)を参照して説明すると、平均値APL、最小値MIN、最大値MAXのR信号が入力された場合に、差分値R_sub(j)の0より+APLの範囲のb2で示す特性が正側の補正量S+(j)を示す。
この正側の補正量S+(j)は、差分値R_sub(j)が0から+APLに増加するにつれて0からリミット閾値Limまで直線的に増加するため、リミット閾値Limを予め信号のダイナミックレンジの上限に設定しておくことによって、正側の補正量S+(j)をダイナミックレンジの上限まで拡大することができる。
上記した負側の補正量S-(j)と正側の補正量S+(j)とをまとめて一つの補正量S(j)として表すと、(7−1)〜(7−3)式のようになる。
(i) j<APLの場合
S(j)=S-(j) (7−1)
(ii) j>APLの場合
S(j)=S+(j) (7−2)
(iii) j=APLの場合
S(j)=0 (7−3)
続いて、演算部1183は、補正量S(j)に対して次式により平均値APLをダイナミックレンジの下限である−Limまで拡張させる演算処理を行い、その処理結果を最終的な補正後のオブジェクト信号(R’信号)として出力する。
R’(j)=2×S(j)−Lim (8)
図8(C)は、(8)式に基づく入力R信号に対する出力補正後R’信号の特性図を示す。同図(C)に示すように、補正後のR’信号は、入力R信号が平均値APLのときに最小の値である−Limを示し、入力R信号が最小値MIN及び最大値MAXのそれぞれにおいて最大の値であるリミット閾値Limを示す。また、補正後のR’信号は、入力R信号の最小値MINから平均値APLまで信号レベルが増加するに従い+Limから−Limへレベルが直線的に減少し、入力R信号の平均値APLから最大値MAXまで信号レベルが増加するに従い+Limから−Limへレベルが直線的に増加する。
加算部119は、合成部117から供給される基本奥行きモデルの合成画像に、オブジェクト信号補正部119から供給される補正後のオブジェクト信号であるR’信号を加算して、奥行き推定データを生成し、ステレオペア生成装置20へ出力する。
このように、本実施の形態では、入力非立体画像の大面積を占める平均値APLのR信号は背景画像の信号であると推定して、補正後のオブジェクト信号であるR’信号の値が小さくされるため、疑似立体画像が奥へ配置される。一方、入力非立体画像の小面積を占める最小値MIN付近又は最大値MAX付近のR信号はオブジェクト(人物等の物体)と推定して、補正後のオブジェクト信号であるR’信号の値が大きくされるため、疑似立体画像が手前に配置される。これにより、疑似立体画像におけるオブジェクト(人物等の物体)の飛び出し感を強調することができる。
再び図1に戻って説明する。テクスチャシフト部21は、上記のようにして奥行き推定部11内の加算部119により生成された奥行き推定データと、非立体画像の入力映像信号とに基づいて、入力映像信号の視点とは別視点の画像信号を生成する。例えば、テクスチャシフト部21は、入力映像信号が右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。
その場合、テクスチャシフト部21は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側(鼻側)に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部21は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
ここでは、それぞれの画素に対する奥行き推定データを8ビットの値Ddで表すものとする。テクスチャシフト部21は、Ddの小さい値(すなわち、画面奥に位置するもの)から順に、そのDdに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に(Dd−m)/n画素分右にシフトした画像信号を生成する。上記のmは飛び出し感を表すパラメータ(輻輳値)であり、上記のnは奥行きを表すパラメータ(奥行き値)である。
なお、ユーザーには、奥行き推定データを示す値Ddの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ddの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Dd、輻輳値m、奥行き値nは0〜255の範囲の値であり、例えば、輻輳値m=200、奥行き値n=20である。
オクルージョン補償部22は、テクスチャシフト部21から出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部23に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャが存在しないことになった部分をいう。オクルージョン補償部22は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献(山田邦男、望月研二、相澤清晴、齊藤隆弘、”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5.pp.863〜866(2002.5))に記載の手法でオクルージョンを補償してもよい。
ポスト処理手段であるポスト処理部23は、オクルージョン補償部22によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目画像24を示す左目用画像信号を出力する。
ここで、テクスチャシフト部21が出力する画像信号のシフト量(Dd−m)/n画素において、入力映像信号によって変化する奥行き推定データの値Dd以外の輻輳値mと奥行き値nとは固定値であり、それぞれは0〜255の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が求まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値mと奥行き値nを適切に設定すれば、2D3D変換された画像は決められた範囲の視差角に収まる。そこで、疑似立体画像生成装置1は、この2D3D変換されてポスト処理部23から出力される左目用画像信号を左目画像24として出力し、基線長や輻輳角を調整するときの基準(手本)とする。なお、疑似立体画像生成装置1は、入力映像信号をそのまま右目画像25として出力する。
このように、ステレオペア生成装置20は、奥行き推定部11により生成された奥行き推定データを基に、入力される非立体画像(ここでは右目画像25)とは別視点の左目画像24を生成して入力非立体画像(右目画像25)と共に疑似立体画像を表示させるステレオペアとして出力する。これらの左目画像24と右目画像25とは、ステレオ表示装置30へ出力される。
ステレオ表示装置30は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した2台のプロジェクタによるプロジェクタシステムを含む。
奥行き推定データ生成装置10、ステレオペア生成装置20、ステレオ表示装置30を組み合わせることにより、非立体画像を疑似立体画像として立体視することを可能にする疑似立体画像表示システムを構築することができる。
次に、本実施の形態の疑似立体画像生成装置1による疑似立体画像と特許文献1記載の疑似立体画像生成装置による疑似立体画像について説明する。特許文献1記載の疑似立体画像生成装置による疑似立体画像は、前述したように、基本奥行きモデルの合成画像にオブジェクト信号を単純に加算して奥行き推定データを生成しているため、シーン解析を反映していない疑似立体画像が表示され、例えば図10(A)に示すように、背景121とオブジェクト(人物等の物体)122との分離感が乏しくなってしまう。
これに対し、本実施の形態の疑似立体画像生成装置1による疑似立体画像は、基本奥行きモデルの合成画像に、シーン構造を反映した補正オブジェクト信号を加算して奥行き推定データを生成しているため、その奥行き推定データに基づく疑似立体画像は例えば図10(B)に示すように、背景123が画面の奥に配置され、オブジェクト(人物等の物体)124が画面の手前への飛び出し感が強調されて配置されたものとなる。従って、本実施の形態によれば、背景123とオブジェクト(人物等の物体)124との分離感が向上し、十分な立体効果をもった疑似立体画像を得ることができる。
なお、本発明は以上の実施の形態に限定されるものではなく、その他種々の変形例を包含するものである。例えば、上記の実施の形態では、演算部1183は、リミッタ閾値+Limで最大の値が制限され、負のリミッタ閾値−Limで最小の値が制限された図8(C)に示したR’信号を生成するように説明したが、リミッタ閾値Limによる制限をしなくても差し支えない。
例えば、8ビットの入力映像信号のR信号に対して、図9に示すように、R信号の1フレーム内の最小値MINから平均値APLまで信号レベルが増加するに従い最大の値+127から最小の値−128まで直線的に信号レベルが減少し、R信号の1フレーム内の平均値APLから最大値MAXまで信号レベルが増加するに従い最小の値−128から最大の値+127まで直線的に信号レベルが増加する特性の信号を補正後のオブジェクト信号として生成するようにしてもよい。
また、オブジェクト信号補正部118の補正対象のオブジェクト信号はR信号に限定されるものではなく、青色信号(B信号)でもよい。赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能であるからである。更には、オブジェクト信号としてR信号とB信号とを併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
また、ステレオペア生成装置20においては、入力非立体画像を右目画像25として左目画像24を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。
この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。また、平均値、最小値及び最大値を検出する画像の単位を1フレームとしたが、1フィールドでもよい。
更に、本発明は、ハードウェアにより図1の構成の疑似立体画像生成装置1や、図2及び図7に示した奥行き推定データ生成装置10を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより疑似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
1 疑似立体画像生成装置
10 奥行き推定データ生成装置
11 奥行き推定部
20 ステレオペア生成装置
21 テクスチャシフト部
22 オクルージョン補償部
23 ポスト処理部
24 左目画像
25 右目画像
30 ステレオ表示装置
111 画像入力部
112 画面上部の高域成分評価部
113 画面下部の高域成分評価部
114〜116 フレームメモリ
117 合成部
118 オブジェクト信号補正部
119 加算部
1181 平均値、最小値、最大値データ検出部
1182 差分値算出部
1183 演算部

Claims (8)

  1. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
    奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、
    前記発生手段が発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
    前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出手段と、
    前記オブジェクト信号が前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記オブジェクト信号を補正した補正オブジェクト信号を算出する演算手段と、
    前記合成手段により合成した前記基本奥行きモデル合成画像に前記補正後のオブジェクト信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
    を有することを特徴とする奥行き推定データの生成装置。
  2. 前記演算手段は、
    前記検出手段により検出された前記平均値を前記オブジェクト信号から減算して差分値を算出し、
    前記差分値が負の値のときは前記検出手段により検出された前記最小値と前記平均値との差分により前記差分値を除算し、かつ、所定値を乗算する正規化処理を行って前記平均値より負側の前記オブジェクト信号を算出し、
    前記差分値が正の値のときは前記検出手段により検出された前記最大値と前記平均値との差分により前記差分値を除算し、かつ、前記所定値を乗算する正規化処理を行って前記平均値より正側のオブジェクト信号を算出することを特徴とする請求項1記載の奥行き推定データの生成装置。
  3. 前記演算手段は、
    前記所定値としてオブジェクト信号のダイナミックレンジの上限に対応した閾値を設定し、前記最小の値が前記閾値と絶対値が同じ負の値に制限され、前記最大の値が前記閾値と絶対値が同じ正の値に制限された補正オブジェクト信号を算出することを特徴とする請求項1記載の奥行き推定データの生成装置。
  4. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、
    前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
    前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出ステップと、
    前記オブジェクト信号が前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記オブジェクト信号を補正した補正オブジェクト信号を算出する演算ステップと、
    前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記補正後のオブジェクト信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
    を含むことを特徴とする奥行き推定データの生成方法。
  5. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、
    前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
    前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号の1フレーム又は1フィールド内の平均値、最小値及び最大値をそれぞれ検出する検出機能と、
    前記オブジェクト信号が前記平均値のときに最小の値を示し、かつ、前記最小値及び最大値のそれぞれにおいて最大の値を示すように前記オブジェクト信号を補正した補正オブジェクト信号を算出する演算機能と、
    前記合成機能により合成した前記基本奥行きモデル合成画像に前記補正後のオブジェクト信号を加算して、前記非立体画像と共に疑似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
    をコンピュータにより実現させることを特徴とする奥行き推定データの生成プログラム。
  6. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項1〜3のうちいずれか一項記載の奥行き推定データの生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成手段と、
    前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
    を有することを特徴とする疑似立体画像の生成装置。
  7. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項4記載の奥行き推定データの生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成ステップと、
    前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
    を含むことを特徴とする疑似立体画像の生成方法。
  8. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項5記載の奥行き推定データの生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって、前記非立体画像の視点とは別視点の画像を生成する別視点画像生成機能と、
    前記非立体画像及び前記別視点の画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能と
    をコンピュータに実現させることを特徴とする疑似立体画像の生成プログラム。
JP2011284811A 2011-12-27 2011-12-27 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム Expired - Fee Related JP5692051B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011284811A JP5692051B2 (ja) 2011-12-27 2011-12-27 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US13/714,784 US8884951B2 (en) 2011-12-27 2012-12-14 Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011284811A JP5692051B2 (ja) 2011-12-27 2011-12-27 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム

Publications (2)

Publication Number Publication Date
JP2013135357A true JP2013135357A (ja) 2013-07-08
JP5692051B2 JP5692051B2 (ja) 2015-04-01

Family

ID=48654059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011284811A Expired - Fee Related JP5692051B2 (ja) 2011-12-27 2011-12-27 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム

Country Status (2)

Country Link
US (1) US8884951B2 (ja)
JP (1) JP5692051B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979245A (zh) * 2016-06-06 2016-09-28 金陵科技学院 一种立体视频动漫机
CN105979249A (zh) * 2016-06-06 2016-09-28 金陵科技学院 一种多功能立体视频动漫机
CN106060519A (zh) * 2016-06-06 2016-10-26 金陵科技学院 一种散热式立体视频动漫机

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120929B2 (ja) * 2016-06-07 2022-08-17 エアリー3ディー インコーポレイティド 深度取得及び3次元撮像のためのライトフィールド撮像デバイス及び方法
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2009074836A (ja) * 2007-09-19 2009-04-09 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
JP2011087100A (ja) * 2009-10-15 2011-04-28 Jvc Kenwood Holdings Inc 擬似立体画像作成装置及び擬似立体画像表示システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484252C (zh) * 2001-12-29 2009-04-29 三星电子株式会社 控制图像亮度的装置和方法
JP4214527B2 (ja) 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
US8463019B2 (en) * 2007-07-19 2013-06-11 JVC Kenwood Corporation Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Jvcケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20120293489A1 (en) * 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2009074836A (ja) * 2007-09-19 2009-04-09 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
JP2011087100A (ja) * 2009-10-15 2011-04-28 Jvc Kenwood Holdings Inc 擬似立体画像作成装置及び擬似立体画像表示システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979245A (zh) * 2016-06-06 2016-09-28 金陵科技学院 一种立体视频动漫机
CN105979249A (zh) * 2016-06-06 2016-09-28 金陵科技学院 一种多功能立体视频动漫机
CN106060519A (zh) * 2016-06-06 2016-10-26 金陵科技学院 一种散热式立体视频动漫机

Also Published As

Publication number Publication date
JP5692051B2 (ja) 2015-04-01
US20130162636A1 (en) 2013-06-27
US8884951B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
JP5402504B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
US20130038606A1 (en) Image processing apparatus, image processing method, and program
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP5691965B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP5387781B2 (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
JP4214527B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
JP5304758B2 (ja) 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
JP5691966B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP5786807B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP5500092B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP5459231B2 (ja) 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP2012084961A (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
JP5888140B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
JP6028427B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP6056459B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
JP2014072640A (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
JP2012060381A (ja) 奥行きデータ生成装置、擬似立体画像信号生成装置、奥行きデータ生成方法、擬似立体画像信号生成方法、奥行きデータ生成プログラム、擬似立体画像信号生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5692051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees