JP2003284097A - ステレオカメラの２映像と両眼差度を利用した多視点映像合成装置 - Google Patents

ステレオカメラの２映像と両眼差度を利用した多視点映像合成装置

Info

Publication number
JP2003284097A
JP2003284097A JP2002333842A JP2002333842A JP2003284097A JP 2003284097 A JP2003284097 A JP 2003284097A JP 2002333842 A JP2002333842 A JP 2002333842A JP 2002333842 A JP2002333842 A JP 2002333842A JP 2003284097 A JP2003284097 A JP 2003284097A
Authority
JP
Japan
Prior art keywords
unit
pixel
camera
image
binocular disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002333842A
Other languages
English (en)
Inventor
Hong Jeong
弘 丁
Yun-Soo Oh
允 秀 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HOKO KOKA DAIGAKKO
Original Assignee
HOKO KOKA DAIGAKKO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HOKO KOKA DAIGAKKO filed Critical HOKO KOKA DAIGAKKO
Publication of JP2003284097A publication Critical patent/JP2003284097A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 一対のカメラから得た２映像を処理して仮想
カメラの映像を作る。 【解決手段】 第１カメラ（１００）及び第２カメラ
（１１０）から各々入力される映像信号をデジタル信号
に変換する多視点映像合成手段（２００）と、多視点映
像合成手段から出力されるデジタル信号に基づいて、使
用者が定めた仮想カメラのための映像ピクセルのマッピ
ングインデックス値を出力する多視点映像再投影手段
（３００）と、多視点映像再投影手段から出力されるマ
ッピングインデックスを利用して、多視点映像合成手段
を介して入力されるデジタル信号の重複ピクセルをディ
スプレイするために、所定ピクセルを選択するピクセル
選択手段（４００）とを含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はステレオカメラの２
映像と両眼差度（Ｄｅｐｔｈ Ｍａｐ）を利用した多視
点映像合成装置に係り、より詳細には、映像処理と視覚
化処理を実施するためにリアルタイムで一対のカメラか
ら得たビデオ映像を処理して一対のカメラ間に存在する
仮想カメラで得られるビデオ映像を作り出すことができ
るステレオカメラの両眼差度を利用した多視点映像合成
装置に関する。
【０００２】
【従来の技術】視覚化分野やエンターテインメントの映
像化においては、任意の位置から場面（ｓｃｅｎｅ）を
観察できるようにすることが望ましい。望ましい映像を
得るためにはあらゆる望ましい位置に設置された多くの
カメラを利用するシステムが考えられる。しかし、この
システムは非実用的で高コストであり、特に多くの位置
が要求される場合にはなおさらである。このような問題
を解決する方法は、カメラをある戦略的な固定位置に置
き、実際のカメラ間のある箇所に位置した仮想カメラか
ら見ているかのようなビデオ映像を作ることである。
【０００３】
【発明が解決しようとする課題】本発明はこのような問
題点を解決するために成されたものであり、本発明は、
二つのオリジナルカメラの間に位置する仮想カメラから
の映像をリアルタイムで作ることができる、両眼差度及
び一対のカメラから得られた二つの映像を利用した多視
点映像合成装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】このような目的を達成す
るための本発明の特徴は、第１カメラ及び第２カメラか
ら各々入力される映像信号をデジタル信号に変換する多
視点映像合成手段と、前記多視点映像合成手段から出力
される前記デジタル信号を受けて、使用者が定めた仮想
カメラのための映像ピクセルのマッピングインデックス
値を計算して出力する多視点映像再投影手段と、前記多
視点映像再投影手段から出力される出力信号が示す再投
影映像ピクセルに前記多視点映像合成手段を介して入力
される前記デジタル信号の重複ピクセルをディスプレイ
するために所定ピクセルを選択するピクセル選択手段と
を含むのにある。
【０００５】望ましくは、前記多視点映像合成手段で変
換された前記デジタル信号は３次元再構成データを含む
両眼差度値であることを特徴とする。
【０００６】望ましくは、前記多視点映像合成手段は、
前記第１カメラ及び前記第２カメラから各々入力される
前記映像信号を前記デジタル信号に変換するために、前
記デジタル信号のデジタル映像ピクセルを貯蔵する貯蔵
部と、前記貯蔵部に貯蔵された前記デジタル信号を利用
して両眼差値を出力するプロセシング部とを含むことを
特徴とする。
【０００７】望ましくは、前記多視点映像再投影手段の
貯蔵部は、前記第１カメラ及び前記第２カメラ間の仮想
の線上の仮想カメラの位置を示すために２つの整数を用
いて、あらかじめ定めた数式によって組み合わせた値を
以前のステップの再投影映像ピクセルのインデックス値
に加算して更新されたインデックス値を求めて貯蔵する
ことを特徴とする。
【０００８】望ましくは、前記多視点映像合成装置は、
前記第１カメラ及び前記第２カメラから得られる２映像
の間の任意の位置にある仮想カメラによる映像を得るた
めに、前記第１カメラ及び前記第２カメラから各々出力
される前記映像信号の両眼差度を利用することを特徴と
する。
【０００９】望ましくは、前記多視点映像再投影手段
は、前記多視点映像合成手段から出力される前記デジタ
ル信号を受けて所定の制御信号を出力する第１制御部
と、使用者の第２入力信号Ｍを前記第１制御部の所定の
制御信号によって正数または負数に変える符号部と、前
記第１制御部の所定の制御信号によって前記符号部で符
号化された前記第２入力信号Ｍを“０”にする第１ゼロ
部と、使用者の第１入力信号Ｉを前記第１制御部の所定
の制御信号によってＩ／２に変形させるシフトレジスタ
部と、前記第１制御部の所定の制御信号によって前記シ
フトレジスタ部から出力される値を‘０’にする第２ゼ
ロ部と、前記第１入力信号の第２ゼロ部から出力される
信号と前記第２入力信号の第１ゼロ部から出力される信
号とを加算してマッピングされた再投影映像インデック
スの差値に出力する第１加算部と、前記第１加算部から
出力されるインデックスの差値に以前のステップで再投
影された映像のインデックス値を加算して更新されたイ
ンデックス値を出力する第２加算部と、前記第２加算部
から出力される更新されたインデックス値を貯蔵するレ
ジスタ部とを含むことを特徴とする。
【００１０】望ましくは、前記多視点映像再投影手段
は、スキャンライン当り所定個数（Ｎ）の左側映像ピク
セル、所定個数（Ｎ）の右側映像ピクセル、（２×所定
個数（Ｎ）＋１）を含む中心基準両眼差度ピクセル、
（前記第１入力信号×所定個数（Ｎ）＋１）ピクセルを
含む任意の仮想カメラ基準映像を使用することを特徴と
する。
【００１１】望ましくは、前記ピクセル選択手段は、前
記第１カメラから入力された所定個数（Ｎ）のスキャン
ラインピクセルを貯蔵する第１ピクセルバッファ部と、
マッピングされる左側映像ピクセルが入っている前記第
１ピクセルバッファ部のインデックス値を貯蔵する第１
ピクセルポインタ部と、前記第２カメラから入力された
所定個数（Ｎ）のスキャンラインピクセルを貯蔵する第
２ピクセルバッファ部と、マッピングされる右側映像ピ
クセルが入っている前記第２ピクセルバッファ部のイン
デックス値を貯蔵する第２ピクセルポインタ部と、入力
される両眼差の差値Δｄiを基準に前記第１ピクセルポ
インタ部と前記第２ピクセルポインタ部のそれぞれのイ
ンデックス値を増加させる第２制御部と、任意の仮想カ
メラの映像のピクセルを出力させる出力部とを含むこと
を特徴とする。
【００１２】望ましくは、前記出力部は、多視点映像再
投影手段から出力される再投影映像ピクセルインデック
ス値と左右側のピクセルポインタが示すピクセルを利用
して再投影された映像を作ることを特徴とする。
【００１３】望ましくは、前記第１ピクセルバッファ部
と前記第２ピクセルバッファ部は、前記多視点映像合成
手段の前記プロセシング部で一スキャンラインのピクセ
ルが処理されれば初期化されることを特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の望ましい実施例に
ついて添付図面を参照して詳細に説明する。各図面の構
成要素に付した参照符号は、同一の構成要素に限って
は、他の図面上に表示されてもできるだけ同一の符号で
表記した。
【００１５】図１は、本発明によるステレオカメラの両
眼差度を利用した多視点映像合成装置の構成図であり、
図２は、図１に示された多視点映像合成手段の詳細構成
図であり、図３は、図１に示されたピクセル選択手段の
詳細構成図である。
【００１６】図１ないし図３において、本発明は第１カ
メラ１００、第２カメラ１１０、多視点映像合成手段２
００、多視点映像再投影手段３００、ピクセル選択手段
４００を含む。
【００１７】多視点映像合成手段２００は、第１カメラ
１００及び第２カメラ１１０から各々入力される映像信
号をデジタル信号に変換するために、デジタル信号のデ
ジタル映像ピクセルを貯蔵する貯蔵部２１０及び貯蔵部
２１０に貯蔵されたデジタル信号を利用して両眼差値を
出力するプロセシング部２２０を含む。この時、多視点
映像合成手段２００で変換されたデジタル信号は３次元
再構成データを含む両眼差度値であり、第１カメラ１０
０及び第２カメラ１１０の間の任意の位置にある仮想カ
メラによる映像を得るために第１カメラ１００及び第２
カメラ１１０から各々出力される映像信号の両眼差度を
利用する。また、多視点映像合成手段２００の貯蔵部２
１０は、第１カメラ１００及び第２カメラ１１０間の仮
想の線を等分した空間の数を示す使用者の第１入力信号
Ｉと、等分された点に沿って仮想カメラの位置を示すイ
ンデックス値である第２入力信号Ｍとを利用して、あら
かじめ定めた数式によって組み合わせた値を以前のステ
ップの再投影映像のインデックス値に加算して更新され
たインデックス値を求めて貯蔵する。
【００１８】多視点映像再投影手段３００は、多視点映
像合成手段２００から出力されるデジタル信号を受け
て、仮想カメラのための再投影映像のマッピングピクセ
ルインデックス値を計算し、その結果を出力するため
に、多視点映像合成手段２００から出力されるデジタル
信号を受けて所定の制御信号を出力する第１制御部３１
０と、使用者の第２入力信号Ｍを第１制御部３１０の所
定の制御信号によって正数または負数に変える符号部３
２０と、第１制御部３１０の所定の制御信号によって符
号部３２０で符号化された第２入力信号Ｍを“０”にす
る第１ゼロ部３３０と、第１入力信号Ｉを第１制御部３
１０の所定の制御信号によりＩ／２に変えるシフトレジ
スタ部３４０と、第１制御部３１０の所定の制御信号に
よってシフトレジスタ部３４０から出力される信号を
“０”にする第２ゼロ部３５０と、第２入力信号Ｍの第
１ゼロ部３３０から出力される信号と第１入力信号Ｉの
第２ゼロ部３５０から出力される信号とを加算して再投
影映像のマッピングインデックスの差値を出力する第１
加算部３６０と、第１加算部３６０から出力されるマッ
ピングインデックスの差値に以前のステップの再投影映
像のインデックス値を加算して更新されたインデックス
値を出力する第２加算部３７０、及び第２加算部３７０
から出力される更新されたインデックス値を貯蔵するレ
ジスタ部３８０とを含む。この時、多視点映像再投影手
段３００はスキャンライン当り所定個数Ｎの左側映像ピ
クセル、所定個数Ｎの右側映像ピクセル、２×所定個数
Ｎ＋１の中心基準両眼差度ピクセルを使用し、第１入力
信号Ｉ×所定個数Ｎ＋１の仮想カメラ基準映像ピクセル
を生成する。
【００１９】ピクセル選択手段４００は、多視点映像再
投影手段３００から出力される信号を利用して、多視点
映像合成手段２００を介して入力されるデジタル信号の
重複ピクセルをディスプレイするために所定ピクセルを
選択する。ピクセル選択手段４００は、第１カメラ１０
０から入力された所定個数Ｎのスキャンラインピクセル
を貯蔵する第１ピクセルバッファ部４１０と、マッピン
グされる左側映像ピクセルが入っている第１ピクセルバ
ッファ部４１０のインデックス値を貯蔵する第１ピクセ
ルポインタ部４２０と、第２カメラ１１０から入力され
た所定個数Ｎのスキャンラインピクセルを貯蔵する第２
ピクセルバッファ部４３０と、マッピングされる右側映
像ピクセルが入っている第２ピクセルバッファ部４３０
のインデックス値を貯蔵する第２ピクセルポインタ部４
４０と、入力される両眼差の差値Δｄiを基準に第１ピ
クセルポインタ部４２０と第２ピクセルポインタ部４４
０のそれぞれのインデックス値を増加させる第２制御部
４５０、及び任意の仮想カメラの映像ピクセルを出力さ
せる出力部４６０とを含む。このとき、出力部４６０は
再投影映像のマッピングインデックス値及び左右ピクセ
ルポインタが示すピクセルから生成されたピクセルを用
いて再投影されたピクセルを作る。第１ピクセルバッフ
ァ部４１０と第２ピクセルバッファ部４３０は各スキャ
ンラインの開始段階で初期化され、多視点映像合成手段
２００のプロセシング部２２０にデータを出力する。
【００２０】より詳細に説明すれば、第１カメラ１００
及び第２カメラ１１０の間の仮想カメラで得られる映像
を作るために、仮想カメラが第１カメラ１００と第２カ
メラ１１０との間の線上にあると仮定する。前記第１カ
メラ１００と第２カメラ２００とを連結する線は仮想カ
メラが仕切り範囲のうち一つに位置するように同じサイ
ズのＩに分割される。
【００２１】仮想カメラが位置した範囲のインデックス
値はＭにより示すが、Ｍ＝１は区切り範囲が左側カメラ
に最も接近したことを示し、Ｍ＝Ｉは区切り範囲が右側
カメラに最も接近したことを示す。
【００２２】まず、第１カメラ１００及び第２カメラ１
１０から入った映像は多視点映像合成手段２００の貯蔵
部２１０に貯蔵されるが、第１カメラ１００の１スキャ
ンラインの映像ピクセルは数式１にベクトル形態で表記
される。
【００２３】
【数１】
【００２４】ここでｌは左側イメージ、ａは左側イメー
ジピクセルの左側からのインデックス値を示す。
【００２５】また、第２カメラ１１０の１スキャンライ
ンの映像ピクセルは数式２にベクトル形態で表記され
る。
【００２６】
【数２】
【００２７】ここでｒは右側イメージ、ｂは右側イメー
ジピクセルの左側からのインデックス値を示す。
【００２８】第１カメラ１００と第２カメラ１１０から
各々得られる数式１と数式２のベクトルを有する映像を
第１カメラ１００と第２カメラ１１０との中心点にある
仮想カメラ映像の両眼差度値に変換させる。この時に使
われる両眼差度値は、多視点映像合成手段２００の両眼
差出力値ｄiを各ピクセルの両眼差の差値Δｄiに変換し
て貯蔵する。すなわち、中心基準のピクセルｉに対する
リアルタイム３次元空間復元の両眼差度出力値は両眼差
の差値Δｄiで示すが、＋１、−１、０のうち一つの値
を有し、ｉ＝０．．．２Ｎの値を有する。このときの両
眼差度ベクトルは数式３で示す。
【００２９】
【数３】
【００３０】ここでｉは両眼差度ピクセルのインデック
ス値を示す。
【００３１】再投影された仮想カメラの映像はスキャン
ライン当りＩＮ＋１のピクセル数を有し、再投影された
映像の各スキャンラインは次のような数式４のベクトル
で示す。
【００３２】
【数４】
【００３３】両眼差の差値Δｄiが与えられれば、再投
影された映像に対応するピクセルのインデックス値ｇj
は数式５で表現できる。
【００３４】
【数５】
【００３５】両眼差の差値Δｄiが与えられれば、再投
影された映像に対応する次のピクセル（ｇj＋Δj）への
ジャンプΔjは数式６で表現できる。
【００３６】
【数６】
【００３７】多視点映像再投影手段３００で実施される
スキャンライン対の両眼差再投影アルゴリズムは次の通
り具現される。
【００３８】１．初期化 ｉ＝０ ｊ＝０ ２．再帰 入力される両眼差の差値Δｄiによって各映像プレーン
ピクセルインデックス値の変化は次の通りである。
【００３９】もし、Δｄiが０であれば、この場合には
２つの場合がありえる。
【００４０】ｉ＋ｄi値が奇数であれば、
【００４１】
【数７】
【００４２】視点映像再投影ピクセルラインのインデッ
クス値がｊであるピクセルに右側イメージのａ番目ピク
セルや左側イメージのｂ番目ピクセルをマッピングす
る。
【００４３】ｉ＋ｄi値が偶数であれば、何の進行もな
い。
【００４４】もし、Δｄiが＋１であれば、
【００４５】
【数８】
【００４６】右側映像のｂインデックス値を有する映像
ピクセルがｊ番目ピクセルにマッピングされ、もし、Δ
ｄiが−１であれば、
【００４７】
【数９】
【００４８】左側映像のａインデックス値を有する映像
ピクセルがｊ番目ピクセルにマッピングされる。
【００４９】３．終了 ｉ＝２Ｎ
【００５０】
【外１】
【００５１】マッピングすることによって決定される。
両眼差の差値Δｄiが“０”であれば左右側映像ピクセ
ルは左右側カメラに関する仮想カメラの位置によって加
重値を置い
【００５２】
【外２】
【００５３】ある場合には右側映像ピクセルがマッピン
グされ、両眼差の差値Δｄiが−１である場合には左側
映像ピクセルがマッピングされる。このようにマッピン
グされた仮想カメラ映像はＩＮ＋１のピクセルを有する
ので映像が約Ｉ倍大きくなる。ここで、ＩＮ＋１のピク
セルの再投影映像ラインは一部のピクセルが空いている
形態を有する。したがって、連続的なＩピクセルのブロ
ックを結合し、それらをＩピクセルの平均であるシング
ルピクセルに取り替えることによってＮピクセル大きさ
の仮想カメラ映像を得る。
【００５４】このように、本発明の詳細な説明では具体
的な実施の形態に関して説明したが、本発明の範疇から
逸脱しない限度内で種々の変形が可能である。したがっ
て、本発明の範囲は説明された実施の形態に限定されて
決められるものではなく、特許請求の範囲だけでなくこ
の特許請求の範囲と均等なものまでをも含むものであ
る。
【００５５】
【発明の効果】本発明によるステレオカメラの両眼差度
を利用した多視点映像合成装置によれば次のような効果
を奏する。
【００５６】すなわち、両眼差度の直列処理過程と再帰
アルゴリズムを利用したステレオ映像シーケンスを利用
することによってリアルタイムで使用者が定めた仮想カ
メラの映像の出力が可能である。
【図面の簡単な説明】
【図１】本発明によるステレオカメラの２映像と両眼差
度を利用した多視点映像合成装置の構成図である。
【図２】図１に示された多視点映像再投影手段の詳細構
成図である。
【図３】図１に示されたピクセル選択手段の詳細構成図
である。
【符号の説明】
１００ 第１カメラ １１０ 第２カメラ ２００ 多視点映像合成手段 ２１０ 貯蔵部 ２２０ プロセシング部 ３００ 多視点映像再投影手段 ４００ ピクセル選択手段

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 第１カメラ及び第２カメラから各々入力
    される映像信号をデジタル信号に変換して前記第１及び
    第２カメラの中間地点に位置した仮想カメラの両眼差度
    値を出力する多視点映像合成手段と、 前記多視点映像合成手段から出力される前記デジタル信
    号を受けて、使用者が定めた仮想カメラのための多視点
    再投影映像のマッピングピクセルインデックス値を計算
    して出力する多視点映像再投影手段と、 前記多視点映像再投影手段から出力される信号を利用し
    て、前記多視点映像合成手段を介して入力される前記デ
    ジタル信号の重複ピクセルをディスプレイするために所
    定ピクセルを選択するピクセル選択手段とを含むことを
    特徴とするステレオカメラの両眼差度を利用した多視点
    映像合成装置。
  2. 【請求項２】 前記多視点映像合成手段で変換された前
    記デジタル信号は３次元再構成データを含む両眼差度値
    であることを特徴とする請求項１に記載のステレオカメ
    ラの両眼差度を利用した多視点映像合成装置。
  3. 【請求項３】 前記多視点映像合成手段は、 前記第１カメラ及び前記第２カメラから各々入力される
    前記映像信号を前記デジタル信号に変換し、前記デジタ
    ル信号のデジタル映像ピクセルを貯蔵する貯蔵部と、 前記貯蔵部に貯蔵された前記デジタル信号のデジタル映
    像ピクセルを利用して両眼差値を出力するプロセシング
    部とを含むことを特徴とする請求項１に記載のステレオ
    カメラの両眼差度を利用した多視点映像合成装置。
  4. 【請求項４】 前記多視点映像再投影手段は、貯蔵部を
    有し、前記貯蔵部は、 前記第１カメラ及び前記第２カメラ間の仮想の線上の仮
    想カメラの位置を示すために２つの整数を用いて、あら
    かじめ定めた数式によって組み合わせた値を以前のステ
    ップの再投影映像ピクセルのインデックス値に加算して
    更新されたインデックス値を求めて貯蔵することを特徴
    とする請求項１に記載のステレオカメラの両眼差度を利
    用した多視点映像合成装置。
  5. 【請求項５】 前記第１カメラ及び前記第２カメラから
    得られる２映像の間の任意の位置にある仮想カメラによ
    る映像を得るために、前記第１カメラ及び前記第２カメ
    ラから各々出力される前記映像信号の両眼差度を利用す
    ることを特徴とする請求項１に記載のステレオカメラの
    両眼差度を利用した多視点映像合成装置。
  6. 【請求項６】 前記多視点映像再投影手段は、 前記多視点映像合成手段から出力される前記デジタル信
    号を受けて所定の制御信号を出力する第１制御部と、 使用者の第２入力信号を前記第１制御部の所定の制御信
    号によって正数または負数に変える符号部と、 前記第１制御部の所定の制御信号によって前記符号部で
    符号化された前記第２入力信号を“０”にする第１ゼロ
    部と、 使用者の第１入力信号を前記第１制御部の所定の制御信
    号によってＩ／２に変形させるシフトレジスタ部と、 前記第１制御部の所定の制御信号によって前記シフトレ
    ジスタ部から出力される値を‘０’にする第２ゼロ部
    と、 前記第１入力信号の第２ゼロ部から出力される信号と前
    記第２入力信号の第１ゼロ部から出力される信号とを加
    算してマッピングされた再投影映像インデックスの差値
    に出力する第１加算部と、 前記第１加算部から出力されるインデックスの差値に再
    投影された映像のインデックス値を加算して更新された
    インデックス値を出力する第２加算部と、 前記第２加算部から出力される更新されたインデックス
    値を貯蔵するレジスタ部とを含むことを特徴とする請求
    項１に記載のステレオカメラの両眼差度を利用した多視
    点映像合成装置。
  7. 【請求項７】 前記多視点映像再投影手段は、 スキャンライン当り所定個数（Ｎ）の左側映像ピクセ
    ル、所定個数（Ｎ）の右側映像ピクセル、（２×所定個
    数（Ｎ）＋１）を含む中心基準両眼差度ピクセル、（前
    記第１入力信号×所定個数（Ｎ）＋１）ピクセルを含む
    任意の仮想カメラ基準映像を使用することを特徴とする
    請求項１に記載のステレオカメラの両眼差度を利用した
    多視点映像合成装置。
  8. 【請求項８】 前記ピクセル選択手段は、 前記第１カメラから入力された所定個数（Ｎ）のスキャ
    ンラインピクセルを貯蔵する第１ピクセルバッファ部
    と、 マッピングされる左側映像ピクセルが入っている前記第
    １ピクセルバッファ部のインデックス値を貯蔵する第１
    ピクセルポインタ部と、 前記第２カメラから入力された所定個数（Ｎ）のスキャ
    ンラインピクセルを貯蔵する第２ピクセルバッファ部
    と、 マッピングされる右側映像ピクセルが入っている前記第
    ２ピクセルバッファ部のインデックス値を貯蔵する第２
    ピクセルポインタ部と、 入力される両眼差の差値Δｄiを基準に前記第１ピクセ
    ルポインタ部と前記第２ピクセルポインタ部のそれぞれ
    のインデックス値を増加させる第２制御部と、 任意の仮想カメラの映像のピクセルを出力させる出力部
    とを含むことを特徴とする請求項１に記載のステレオカ
    メラの両眼差度を利用した多視点映像合成装置。
  9. 【請求項９】 前記出力部は、 両眼差の差値Δｄiと左右側のピクセルポインタが示す
    ピクセルを利用して再投影されたピクセルを作ることを
    特徴とする請求項８に記載のステレオカメラの両眼差度
    を利用した多視点映像合成装置。
  10. 【請求項１０】 前記第１ピクセルバッファ部と前記第
    ２ピクセルバッファ部は、 前記多視点映像合成手段の前記プロセシング部で一スキ
    ャンラインのピクセルが処理されると初期化されること
    を特徴とする請求項８に記載のステレオカメラの両眼差
    度を利用した多視点映像合成装置。
JP2002333842A 2001-11-17 2002-11-18 ステレオカメラの２映像と両眼差度を利用した多視点映像合成装置 Pending JP2003284097A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2001-071586 2001-11-17
KR10-2001-0071586A KR100433625B1 (ko) 2001-11-17 2001-11-17 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

Publications (1)

Publication Number Publication Date
JP2003284097A true JP2003284097A (ja) 2003-10-03

Family

ID=19716065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002333842A Pending JP2003284097A (ja) 2001-11-17 2002-11-18 ステレオカメラの２映像と両眼差度を利用した多視点映像合成装置

Country Status (4)

Country Link
US (1) US6903735B2 (ja)
EP (1) EP1313329A3 (ja)
JP (1) JP2003284097A (ja)
KR (1) KR100433625B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066212A2 (en) * 2003-01-17 2004-08-05 Koninklijke Philips Electronics N.V. Full depth map acquisition
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
KR100672925B1 (ko) * 2004-04-20 2007-01-24 주식회사 후후 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8854486B2 (en) 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
MX2008012382A (es) 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
EP3104603B2 (en) * 2006-03-31 2022-06-08 Koninklijke Philips N.V. Efficient image receiver for multiple views
EP1847958B1 (fr) * 2006-04-14 2014-03-19 Orange Segmentation d'image numérique d'une zone d'observation en temps réel
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
KR100795481B1 (ko) 2006-06-26 2008-01-16 광주과학기술원 다시점화상의 처리 방법 및 장치
KR100697343B1 (ko) * 2006-07-11 2007-03-20 주식회사 호텔무비 21 다시점 투영장치 및 이를 이용한 영상재현장치
US8160381B2 (en) * 2006-08-30 2012-04-17 Micron Technology, Inc. Method and apparatus for image noise reduction using noise models
US8804839B2 (en) * 2007-06-27 2014-08-12 Korea Electronics Technology Institute Method for image prediction of multi-view video codec and computer-readable recording medium thereof
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
WO2009072070A1 (en) 2007-12-05 2009-06-11 Nxp B.V. Flash light compensation system for digital camera system
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
EP2281394A1 (en) 2008-04-10 2011-02-09 Thomson Licensing Method and apparatus for content replacement in live production
KR101727311B1 (ko) 2008-04-25 2017-04-14 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
WO2010071531A1 (en) * 2008-12-19 2010-06-24 Saab Ab System and method for mixing a scene with a virtual scenario
KR101282196B1 (ko) * 2009-12-11 2013-07-04 한국전자통신연구원 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
KR101666019B1 (ko) 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
JP5879713B2 (ja) 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
CN102855605B (zh) * 2011-06-27 2015-08-19 武汉思臻光信息科技有限公司 一种多通道数字分割方法及装置
US9621869B2 (en) * 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9625994B2 (en) 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
JP6100089B2 (ja) * 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9773022B2 (en) * 2015-10-07 2017-09-26 Google Inc. Displaying objects based on a plurality of models
RU2640298C1 (ru) 2015-10-12 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки и хранения изображений
CN106709865B (zh) * 2015-11-13 2020-02-18 杭州海康威视数字技术股份有限公司 一种深度图像合成方法及装置
US10051263B2 (en) * 2015-11-23 2018-08-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system using scan line processing
KR102469228B1 (ko) * 2016-07-07 2022-11-23 한국전자통신연구원 가상 시점 영상 생성 장치 및 방법
CN108038420B (zh) * 2017-11-21 2020-10-30 华中科技大学 一种基于深度视频的人体行为识别方法
US10721419B2 (en) * 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
KR102612605B1 (ko) * 2018-04-11 2023-12-12 한국전자통신연구원 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11755917B2 (en) 2019-11-15 2023-09-12 Waymo Llc Generating depth from camera images and known depth data using neural networks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940017747A (ko) * 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
JP3058774B2 (ja) * 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
AU5896498A (en) * 1996-12-06 1998-07-15 Stereographics Corporation Synthetic panoramagram
KR100267259B1 (ko) * 1998-02-20 2000-10-16 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
JP3561446B2 (ja) * 1999-08-25 2004-09-02 日本電信電話株式会社 画像生成方法及びその装置
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法

Also Published As

Publication number Publication date
EP1313329A3 (en) 2005-07-20
US6903735B2 (en) 2005-06-07
EP1313329A2 (en) 2003-05-21
KR20030040920A (ko) 2003-05-23
US20030095119A1 (en) 2003-05-22
KR100433625B1 (ko) 2004-06-02

Similar Documents

Publication Publication Date Title
JP2003284097A (ja) ステレオカメラの２映像と両眼差度を利用した多視点映像合成装置
EP1582074B1 (en) Video filtering for stereo images
JP4392060B2 (ja) 視差深度依存画素シフト
US8488869B2 (en) Image processing method and apparatus
JP3231618B2 (ja) ３次元画像符号化復号方式
JP5706826B2 (ja) ３ｄ画像信号を符号化する方法及びシステム、符号された３ｄ画像信号、３ｄ画像信号を復号する方法及びシステム
JP2000078611A (ja) 立体映像受信装置及び立体映像システム
JPH05143709A (ja) ビデオ効果装置
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
JPWO2007116549A1 (ja) 画像処理装置
KR20160135660A (ko) 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR20000041329A (ko) 입체 영상 이미지 변환방법 및 그 장치
US20130076745A1 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
Kooima et al. A gpu sub-pixel algorithm for autostereoscopic virtual reality
KR20010013243A (ko) 바로전 소스 프레임으로부터 하나 이상의 중간 프레임들을독단적으로 합성함으로써 소스 프레임들의 시퀀스로부터디스플레이 프레임들을 발생하기 위한 방법 및 장치
KR100780840B1 (ko) 다시점 동영상의 계층적 깊이 영상 부호화를 위한 시간적예측 장치 및 방법
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
JPH09116930A (ja) ２次元映像を３次元映像に変換する方法
KR20170077331A (ko) 임의시점 영상생성 방법 및 시스템
JP2004274485A (ja) 立体視画像生成装置
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement
KR970029152A (ko) 3차원 카탈로그 쇼핑시스템 및 쇼핑방법
JP3803442B2 (ja) 立体画像表示装置
JP2005063300A (ja) 任意視点動画像の隠蔽領域補完方式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041115

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050927