JP2005026756A - 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム - Google Patents

立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム Download PDF

Info

Publication number
JP2005026756A
JP2005026756A JP2003186972A JP2003186972A JP2005026756A JP 2005026756 A JP2005026756 A JP 2005026756A JP 2003186972 A JP2003186972 A JP 2003186972A JP 2003186972 A JP2003186972 A JP 2003186972A JP 2005026756 A JP2005026756 A JP 2005026756A
Authority
JP
Japan
Prior art keywords
stereoscopic image
distortion
condition information
spatial
unnaturalness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003186972A
Other languages
English (en)
Other versions
JP4436080B2 (ja
Inventor
Kenichiro Masaoka
顕一郎 正岡
Yuichi Yamanoue
裕一 山之上
Atsuo Hanasato
敦夫 花里
Yuji Nojiri
裕司 野尻
Masaki Emoto
正喜 江本
Fumio Okano
文男 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2003186972A priority Critical patent/JP4436080B2/ja
Publication of JP2005026756A publication Critical patent/JP2005026756A/ja
Application granted granted Critical
Publication of JP4436080B2 publication Critical patent/JP4436080B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間を省き、幾何学的な空間歪みによる不自然さを確認することができる立体画像再現歪み出力装置、方法、プログラムを提供する。
【解決手段】2眼立体カメラ2で撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置4に出力する立体画像再現歪み出力装置1であって、対応点計算部3と、エンコーダ部5と、条件情報入力部7と、空間歪み計算部9と、不自然さ計算部11と、出力部13と、を備えた。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、撮影している画像から立体画像を生成した際の歪みに係る情報を出力する立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラムに関する。
【0002】
【従来の技術】
従来、左眼用の左画像を撮像する左眼用カメラと右眼用の右画像を撮像する右眼用カメラとからなる2眼立体カメラで、被写体の左画像および被写体の右画像(以下、左右画像という)を撮像し、この左右画像を表示装置に表示して立体画像を生成する立体画像生成装置が知られている(特許文献1参照)。この左右画像を2眼立体カメラで撮像するときに、左眼用カメラと右眼用カメラとのカメラ間隔や光軸輻輳距離を変えて、生成される立体画像の立体感を強調することが一般的に行われている。
【0003】
ところで、左右画像を立体画像として観視する観視者が、当該左右画像を観視する際に、被写体が周りの背景に比べて小さく感じられる「箱庭」といった現象や、被写体の厚みが薄く感じられる「書き割り」といった現象が、幾何学的な空間歪みによる不自然さによって生じる場合がある。これら「箱庭」、「書き割り」といった現象を防止するために、幾何学的な空間歪みによる不自然さが極端に生じないように、左右画像を撮像する撮像現場では、一定程度以上の大きさの立体ディスプレイを持ち込んで、左右画像を撮像するたびに、当該左右画像を撮像する撮像者は、立体メガネをかけて左右画像を目視によって確認して、左右画像を立体画像に編集する編集時に極端な歪みが出ないように撮像し直していた。
【0004】
また、観視者が、左右画像を観視する際に、当該左右画像に開散方向に極端な視差がついていて、立体画像を融合できなくなって見づらくなる「ばらけ」が生じないように、左右画像を撮像する撮像現場では、撮像時に、持ち込んだ立体ディスプレイに定規を当てて視差を測定していた(実測していた)。
【0005】
【特許文献1】
特開平11−341522号公報(段落番号0016−段落番号0024、第1図)
【0006】
【発明が解決しようとする課題】
従来の撮像現場では、左右画像から立体画像を生成する際の空間歪みを確認するために、撮像現場に一定以上の大きさの立体ディスプレイを持ち込まなければならず、立体画像を生成するシステムが大がかりになるという問題がある。また、左右画像を撮像するたびに撮像者は、立体メガネを着用して左右画像を確認しなければならず手間がかかるという問題がある。また、撮像した左右画像を大画面に提示することを想定する場合には、撮像現場で、当該左右画像を確認する方法が確立されていなかったという問題がある。
【0007】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間をかけることなく、幾何学的な空間歪みによる不自然さを確認することができる立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラムを提供することにある。
【0008】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項1記載の立体画像再現歪み出力装置は、2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、条件情報入力手段と、空間歪みパラメータ計算手段と、不自然さ定量化手段と、出力手段と、を備える構成とした。
【0009】
かかる構成によれば、立体画像再現歪み出力装置は、条件情報入力手段によって、2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力する。撮像条件情報とは、少なくとも、被写体を2眼立体カメラで撮像した際の被写体から2眼立体カメラまでの距離、左眼用カメラと右眼用カメラとの距離であるカメラ間隔、光軸輻輳距離、撮像画角を含むものである。空間条件情報とは、立体画像を再現する空間(空間メッシュ)に関する情報(空間メッシュ条件情報といえる)であり、立体画像に含まれている立体像(背景)の最大奥行距離、最小奥行距離、被写体奥行距離を含むものである。観視条件情報とは、左右画像を表示し、当該左右画像を立体画像として観視する際の条件情報であり、立体画像表示装置の画面サイズ、立体画像表示装置から観視者までの距離、観視者の瞳孔間隔等を含むものである。
【0010】
そして、この立体画像再現歪み出力装置は、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報(撮像条件情報、空間条件情報、観視条件情報)に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。この空間歪みパラメータは、再現された立体画像において「書き割り」を生じる書き割りパラメータと、再現された立体画像において「箱庭」を生じる箱庭パラメータとからなるものである。なお、「書き割り」とは、幾何学的な空間歪みによる不自然さによって、被写体の厚みが薄く感じられる現象であり、「箱庭」とは、幾何学的な空間歪みによる不自然さによって、被写体が周りの背景に比べて小さく感じられる現象である。
【0011】
さらに、この立体画像再現歪み出力装置は、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータ(書き割りパラメータおよび箱庭パラメータ)に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を出力手段によって表示装置に出力する。なお、この表示装置では、不自然さ量に基づいて、立体画像が表示される空間である空間メッシュの中で、例えば、顕著に立体感を感じさせる部分、つまり、立体像(被写体)の生じる座標に色づけが施された立体画像が表示される。
【0012】
請求項2記載の立体画像再現歪み出力装置は、2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、対応点計算手段と、条件情報入力手段と、空間歪みパラメータ計算手段と、不自然さ定量化手段と、出力手段と、を備える構成とした。
【0013】
かかる構成によれば、立体画像再現歪み出力装置は、対応点計算手段によって、2眼立体カメラで左右の画像を撮像する際の撮像条件情報に基づいて、2眼立体カメラで撮像した左右の画像に含まれる被写体の対応点を求め、この対応点に従って当該被写体の位置を求めることにより、立体画像を再現する際の空間に関する空間条件情報を計算する。つまり、この対応点計算手段によって、被写体の実空間での位置(距離)によって、視差が計算され、空間条件情報が計算されるので、この空間条件情報を入力する必要が無くなる。続いて、この立体画像再現歪み出力装置は、条件情報入力手段によって、対応点計算手段で計算した空間条件情報と、2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報に基づいて、立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。そして、この立体画像再現歪み出力装置は、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化し、出力手段によって、不自然さ定量化手段で定量化された不自然さ量を歪み情報として表示装置に出力する。
【0014】
請求項3記載の立体画像再現歪み出力装置は、請求項1または請求項2に記載の立体画像再現歪み出力装置において、前記空間歪みパラメータ計算手段によって計算された空間歪みパラメータが予め設定した閾値を超えた場合に、警告を発生する警告発生手段を備える構成とした。
【0015】
かかる構成によれば、立体画像再現歪み出力装置は、警告発生手段によって、空間歪みパラメータ、つまり、書き割りパラメータと箱庭パラメータとのすくなくとも一方が閾値を超えた場合に警告を発生する。この警告によって、被写体を2眼立体カメラで撮像している撮像者は、撮像条件情報等の変更が必要であると気づくことができる。
【0016】
請求項4記載の立体画像再現歪み出力装置は、請求項3に記載の立体画像再現歪み出力装置において、前記警告発生手段は、前記撮像条件情報に基づいて前記2眼立体カメラで撮像した左右の画像を、前記観視者が観視して融合する際に、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角との差である視差分布が所定値以上である場合に、警告を発生することを特徴とする。
【0017】
かかる構成によれば、立体画像再現歪み出力装置は、警告発生手段によって、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角と差である視差分布が所定値以上である場合に警告を発生する。この警告によって、被写体を2眼立体カメラで撮像している撮像者は、撮像条件情報等の変更が必要であると気づくことができる。なお、所定値とは、例えば、1度(60分)である。
【0018】
請求項5記載の立体画像再現歪み出力装置は、請求項1から請求項4のいずれか一項に記載の立体画像再現歪み出力装置において、前記歪み情報を前記表示装置に表示する場合の表示形態を変更する表示形態変更手段を備えることを特徴とする。
【0019】
かかる構成によれば、立体画像再現歪み出力装置は、表示形態変更手段によって、歪み情報を表示装置で表示する場合の表示形態(表示の仕方)を変更する。例えば、空間メッシュの大きさを変更させたり、立体像(被写体)の座標を表示する際の色づけを変更させたりすることができる。
【0020】
請求項6記載の立体画像再現歪み出力装置は、請求項1から請求項5のいずれか一項に記載の立体画像再現歪み出力装置において、前記撮像条件情報および前記観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、前記左右の画像を前記立体画像として融合可能か否かを判定する融合可否判定手段を備えることを特徴とする。
【0021】
かかる構成によれば、立体画像再現歪み出力装置は、融合可否判定手段によって、撮像条件情報および観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、左右の画像を観た観視者が当該左右の画像から立体画像を融合することができるかを判定する。なお、立体画像融合可能条件は、観視者の瞳孔間距離よりも、立体画像が再現された際の画面上の水平視差が小さいことである。
【0022】
請求項7記載の立体画像再現歪み出力方法は、2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力方法であって、条件情報入力ステップと、空間歪みパラメータ計算ステップと、不自然さ定量化ステップと、出力ステップと、を含む手順とした。
【0023】
かかる手順によれば、立体画像再現歪み出力方法は、条件情報入力ステップにおいて、2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算ステップにおいて、条件情報入力ステップにて入力された各条件情報(撮像条件情報、空間条件情報、観視条件情報)に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。
【0024】
そして、この立体画像再現歪み出力方法は、不自然さ定量化ステップにおいて、空間歪みパラメータ計算ステップにて計算された空間歪みパラメータ(書き割りパラメータおよび箱庭パラメータ)に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を歪み情報として出力ステップにおいて表示装置に出力する。
【0025】
請求項8記載の立体画像再現歪み出力プログラムは、2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する装置を、条件情報入力手段、空間歪みパラメータ計算手段、不自然さ定量化手段、出力手段、として機能させる構成とした。
【0026】
かかる構成によれば、立体画像再現歪み出力プログラムは、条件情報入力手段によって、2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報(撮像条件情報、空間条件情報、観視条件情報)に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。
【0027】
そして、この立体画像再現歪み出力プログラムは、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータ(書き割りパラメータおよび箱庭パラメータ)に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を歪み情報として出力手段によって表示装置に出力する。
【0028】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
(立体画像再現歪み出力装置の構成)
図1に立体画像再現歪み出力装置のブロック図を示す。この図1に示すように、立体画像再現歪み出力装置1は、左眼用カメラおよび右眼用カメラを備えた2眼立体カメラ2で被写体等を撮像した左右の画像(左眼用画像、右眼用画像)に基づいて、立体画像を再現する際の歪み情報をリアルタイムに表示装置4に出力するもので、対応点計算部3と、エンコーダ部5と、条件情報入力部7と、空間歪み計算部9と、不自然さ計算部11と、出力部13とを備えている。
【0029】
なお、2眼立体カメラ2には、当該2眼立体カメラ2で撮像した左右の画像を立体画像として表示させる立体画像表示装置2aが接続されている。左右の画像を撮像する撮像現場では、実際の観視条件と同じ条件のディスプレイを用意することと、観視距離を設定することとは困難な場合が多く、立体画像表示装置2aは、こういった場合にあくまで、立体画像を観視する目安として設置するので、当該装置1と点線によって接続するように図示している。
【0030】
対応点計算部3(対応点計算手段)は、2眼立体カメラ2から出力された立体画像(左右の画像[左眼用画像、右眼用画像])と、撮像条件情報(カメラパラメータ)から、視差を測定し、被写体の実空間における奥行きおよび水平位置を計算し、空間条件情報を求めるものである。この実施の形態では、最終的に生成した左右の画像を立体画像として観視者が観視するものに、ハイビジョンの立体表示装置(図示せず)を想定しているので、当該立体画像を観視者が観視する際の観視条件情報もこの対応点計算部3に入力している。通常、この観視条件情報は、直接、条件情報入力部7に入力すればいいものである。
【0031】
この対応点計算部3は、まず、左眼用画像から視差を測定したい画像部分(視差測定用画像部分)を抽出し、予め設定したマージン(融合可能範囲等の間隔、隙間)で右眼用画像から視差検出用の画像部分(視差検出用画像部分)を抽出する。そして、これら視差測定用画像部分と、視差検出用画像部分とによって、位相限定相関法により、マッチングを取って、視差を計算する。なお、この対応点計算部3で求めた空間条件情報は、直接、条件情報入力部7に入力される形態であってもよい。
【0032】
エンコーダ部5は、2眼立体カメラから出力された立体画像(左右の画像[左眼用画像、右眼用画像])と、撮像条件情報(カメラパラメータ)とを取り込んで、当該立体画像および撮像条件情報をエンコード(符号化)し、VTR、DVD等の画像記録媒体に記録させるものである。
【0033】
条件情報入力部7(条件情報入力手段)は、エンコーダ部5から出力された、被写体を2眼立体カメラ2で撮影(撮像)した際の撮像条件情報と、対応点計算部3から出力された当該2眼立体カメラ2で撮影した左右の画像から立体画像を再現する際の空間に関する空間条件情報および最終的に生成された左右画像を融合し立体画像として観視者が観る画面(図示せず)に表示される左右の画像を立体画像として観視する際の観視条件情報と、を入力するもので、融合可否判定手段7aと、表示形態変更手段7bとを備えている。なお、対応点計算部3を備えない場合、この条件情報入力部7に、撮像条件情報、空間条件情報および観視条件情報が直接入力されることになる。
【0034】
撮像条件情報は、カメラポジション(6自由度;上下角度、左右方向、上下位置等)と、カメラ間隔dc[mm]と、光軸輻輳距離Lc[mm]と、撮像画角α[度]と、アイリスと、ズーム倍率と、焦点距離とを含んでいる。
【0035】
空間条件情報は、最大奥行距離Lbmax[m]と、最小奥行距離Lbmin[m]と、被写体奥行距離Lf[m]と、メッシュ間隔距離dLb[m]と、テクスチャの空間分割数と、テクスチャを貼る空間とを含んでいる。なお、メッシュ間隔距離dLb[m]は、設定した空間メッシュの奥行きをN分割した際の距離である。また、テクスチャの空間分割数は、立体画像を再現する空間にタイル状に貼る空間メッシュの個数を表すもので、「分割なし」(1個)、または、M分割から選択するものである。さらに、テクスチャを貼る空間は、「実空間」、「歪み空間」から選択するものである。
【0036】
観視条件情報は、最終的に生成された左右画像を融合し立体画像として観視者が観る画面(図示せず)の表示画面のサイズである画面サイズinch[インチ]と、視距離Ls[m]と、瞳孔間隔de[mm]と、水平位相Hc[mm]とを含んでいる。この水平位相Hc[mm]とは、平行法で撮像した立体画像を表示する場合に、奥行きを正しく再現するための左右の画像を水平にずらす距離である。ちなみに、交差法で撮像した立体画像を表示する場合には、ずらす距離を0[mm]にする。また、平行法とは、2眼立体カメラ2で左右の画像を撮像する際に、左眼用カメラと右眼用カメラを平行にして被写体等を撮像する方法であり、交差法とは、2眼立体カメラ2で左右の画像を撮像する際に、左眼用カメラと右眼用カメラを両方のカメラの内側に向けて被写体等を撮像する方法である。
【0037】
融合可否判定手段7aは、撮像条件情報および観視条件情報が立体画像融合可能条件を満たすか否かに基づいて、左右の画像を観視した観視者が当該左右の画像から立体画像を融合可能か否かを判定するものである。例えば、撮像条件情報であるカメラ間隔dc[mm]が極端に離れている場合、2眼立体カメラ2の左眼用カメラと右眼用カメラとのズーム倍率が一致していない場合、観視条件情報である表示画角が非常に大きい場合等に、この融合可否判定部7aで、融合不可能であると判定される。
【0038】
立体画像融合可能条件は、観視者の瞳孔間距離よりも、立体画像が再現された際の画面上の水平視差が小さいことである。つまり、この立体画像融合可能条件は水平視差≦瞳孔間距離で表される。
【0039】
表示形態変更手段7bは、2眼立体カメラ2で撮像した左右の画像から立体画像を再現させる際の歪みを表示装置4で表示する場合の表示形態(表示の仕方)を当該装置1の利用者の操作、つまり、この条件情報入力部7に入力された各条件情報に基づいて表示形態(表示の仕方)を変更するものである。例えば、空間メッシュの大きさを変更させたり、立体像(被写体)の座標を表示する際の色づけをを変更させたりすることができる。
【0040】
空間歪み計算部9(空間歪みパラメータ計算手段)は、「書き割り」および「箱庭」の空間歪みパラメータ(書き割りパラメータ、箱庭パラメータ)を計算するもので、この「書き割り」および「箱庭」の空間歪みパラメータの計算方法は、「2眼立体画像における箱庭・書き割り効果の幾何学的考察」(画像情報メディア学会Vol.56,No.4(2002)論文 山之上他)に則って行っており、これらの空間歪みパラメータ計算方法の詳細は、動作の説明で行うこととする。
【0041】
なお、この空間歪み計算部9には、警告発生手段9aが備えられており、この警告発生手段9aによって、空間歪みパラメータが予め設定した閾値を超えた場合に、表示装置4に表示される立体画像に「書き割り」「箱庭」といった現象が生じる旨の警告表示がなされる。または、この警告発生手段9aによって、図示を省略した音声出力装置から警告音が出力される。
【0042】
また、この警告発生手段9aは、融合可否判定手段7aにって、融合不可と判定され場合には、表示装置4に立体画像が合成できない旨の警告表示がなされる。または、この警告発生手段9aによって、図示を省略した音声出力装置から警告音が出力される。
【0043】
さらに、この警告発生手段9aは、撮像条件情報に基づいて、最小奥行きに位置する被写体を観視者が観視した際の、当該観視者の左右眼球と被写体との三点を結んだ二等辺三角形の頂角の角度(輻輳角)と、最大奥行きに位置する被写体を観視者が観視した際の、当該観視者の左右眼球と被写体との三点を結んだ二等辺三角形の頂角の角度(輻輳角)との差である視差分布が所定値以上である場合に警告を発生する。所定値とは、例えば、1度(60分)である。
【0044】
不自然さ計算部11(不自然さ定量化手段)は、空間歪み計算部9で計算した「書き割り」および「箱庭」の空間歪みパラメータと、これらの空間歪みパラメータの主観評価実験の結果とに基づいて、「書き割り」、「箱庭」の不自然さの度合い(書き割り不自然さ量、箱庭不自然さ量)を計算するものである。なお、「書き割り」および「箱庭」の空間歪みパラメータの主観評価実験の結果は、「2眼立体画像における箱庭・書き割り効果の幾何学的考察」(画像情報メディア学会Vol.56,No.4(2002)論文 山之上他)を参照しており、これらの不自然さの度合いの計算方法の詳細は、動作の説明で行うこととする。
【0045】
出力部13(出力手段)は、不自然さ計算部11で計算された「書き割り」、「箱庭」の不自然さの度合いである書き割り不自然さ量、箱庭不自然さ量を、歪み情報として、表示装置4に出力するものである。歪み情報は、空間の歪みを空間メッシュからなる空間メッシュ座標で表したものであり、「書き割り」、「箱庭」といった現象が生じている画像部分(空間メッシュ)に、それぞれ特定色で着色したテクスチャを貼り付けて表示したものである。なお、この実施の形態では、「書き割り」は緑色に着色され、「箱庭」はマゼンダに着色され、それぞれ、書き割り不自然さ量、箱庭不自然さ量によって階調が施されたテクスチャによって表示される。
【0046】
なお、テクスチャは、空間条件情報による空間をM分割した各空間メッシュに貼り付けるもので、不自然さの度合い(書き割り不自然さ量の多寡、箱庭不自然さ量の多寡)をRGB画像を元にした色によって表現したものである。このテクスチャには、予め正方形のRGB画像が用意されており、可能な限りR、G、Bにむらのないものが選択されている。また、条件情報入力部7において入力された空間条件情報で「貼らない」(テクスチャなし)となっている場合は、全面ホワイトのテクスチャを貼る歪み情報が表示装置4に出力されることになる。
【0047】
この立体画像再現歪み出力装置1によれば、対応点計算部3によって、2眼立体カメラ2で撮像した左右の画像に基づいて、視差が算出され、立体画像を再現する際の空間に関する空間条件情報が計算される。そして、条件情報入力部7によって、対応点計算部3で計算した空間条件情報と、2眼立体カメラ2で左右の画像を撮像する際の撮像条件情報と、最終的に生成された左右画像を融合し立体画像として観視者が観る画面(図示せず)で立体画像を観視する際の観視条件情報とが入力され、空間歪み計算部9によって、条件情報入力部7で入力された各条件情報に基づいて、立体画像を再現した際の空間の歪みを示す「書き割り」および「箱庭」の空間歪みパラメータが計算される。そして、不自然さ計算部11によって、空間歪み計算部9で計算された「書き割り」および「箱庭」の空間歪みパラメータに基づいて、立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いが定量化され、出力部13によって、不自然さ計算部11で定量化された不自然さ量が歪み情報として表示装置4に出力される。
【0048】
このため、この立体画像再現歪み出力装置1を組み込んで、立体画像を生成するシステムを構成すれば、当該システムをシンプルに構成できると共に、左右の画像を撮像する際に手間をかけることなく、リアルタイムで、幾何学的な空間歪みによる不自然さを確認することができる。
【0049】
また、この立体画像再現歪み出力装置1によれば、空間歪み計算部9に備えられる警告発生手段9aによって、書き割りパラメータと箱庭パラメータとの少なくとも一方が閾値を超えた場合に警告(警告表示、警告音)が発生される。また、この警告発生手段9aによって、撮像条件情報に基づいて、最小奥行きの視差分布と最大奥行きの視差分布との差が所定値以上である場合に警告が発生される。この警告によって、被写体を2眼立体カメラ2で撮像している当該装置1の利用者(撮像者)は、撮像条件情報等の変更が必要であると気づくことができる。
【0050】
さらに、この立体画像再現歪み出力装置1によれば、融合可否判定手段7aによって、撮像条件情報および観視条件情報に基づいて、左右の画像を観た観視者が当該画像から立体画像を融合することができるかを判定することができる。
【0051】
さらにまた、この立体画像再現歪み出力装置1によれば、表示形態変更手段7bによって、表示装置4に歪み情報を表示する場合の表示の仕方を変更することができる。
【0052】
(立体画像再現歪み出力装置の全体の動作)
次に、図2に示すフローチャートを参照して、立体画像再現歪み出力装置1の全体の動作について説明する(適宜、図1参照)。なお、この立体画像再現歪み出力装置1の全体の動作の説明では、各構成について概略の動作を述べるにとどまり、各構成の詳細な動作については、後記する(図3〜図7に示すフローチャートを使用して説明する)。
【0053】
まず、立体画像再現歪み出力装置1の対応点計算部3に2眼立体カメラ2から立体画像(左右の画像)および撮像条件情報と、観視条件情報とが入力され、これら立体画像および撮像条件情報から対応点計算部3で、空間条件情報が求められる(S1)。この空間条件情報は、条件情報入力部7に出力される。また、エンコーダ部5に2眼立体カメラ2から立体画像および撮像条件情報が入力され、立体画像は画像記録媒体に出力されて記録され、撮像条件情報は条件情報入力部7に出力される(S2)。なお、条件情報入力部7には、撮像条件情報と、観視条件情報と、空間条件情報とが入力される。
【0054】
すると、空間歪み計算部9で、「書き割り」、「箱庭」の空間歪みパラメータである書き割りパラメータ、箱庭パラメータが計算される(S3)。これら書き割りパラメータ、箱庭パラメータに基づいて、不自然さ計算部11で、立体画像が不自然に見える度合いを定量化した書き割り不自然さ量と、箱庭不自然さ量とが計算される(S4)。
【0055】
そして、これら書き割り不自然さ量と、箱庭不自然さ量とが出力部13で歪み情報とされて、表示装置4に出力される(S5)。
【0056】
(立体画像再現歪み出力装置の対応点計算部の詳細な動作)
次に、図3に示すフローチャートを参照して、対応点計算部3の詳細な動作について説明する(適宜、図1参照)。
【0057】
まず、対応点計算部3に、2眼立体カメラ2から左右の画像(立体画像)が入力される(S11)。視差を検出する検索画素の範囲が設定される(S12)。ここでは、左の画像から抽出した画像部分と同じ位置にある右の画像の一定の範囲を設定しており、検索対象となる画像部分を抽出する際に、上下(垂直ずれ)、左(輻輳方向)、右(開散方向)にどのくらいのマージンをとるのかを決定している。
【0058】
続いて、左の画像から当該装置1の利用者が視差を測定したい画像部分(視差測定用画像部分)が選択される(S13)。また、右の画像から視差を検出するための検出用の画像部分(視差検出用画像分)が抽出される(S14)。
【0059】
そして、これら切り取った(抽出、選択)左右の画像の視差検出用画像部分および視差測定用画像部分に窓関数がかけられる(S15)。これによって、各画像部分のエッジ(端部)による検索誤差が防止される。そして、位相限定相関法によって、窓関数がかけられた視差検出用画像部分(窓関数乗算視差検出用画像部分)と、窓関数がかけられた視差測定用画像部分(窓関数乗算視差測定用画像部分)との画像マッチングが行われる(S16)。
【0060】
すると、位相限定相関法における位相相関平面の値が、最大値から大きい順に、予め当該装置1の利用者が指定した数だけ選び出される。なお、この選び出された位相相関平面の値に対応する左右の画像(左の画像、右の画像)の輝度差が計算され、この輝度差が大きい場合には、それぞれの位相相関平面の値を、対応する輝度差で除算した中で、最大になったものとマッチングがとれたと判断される。左右の画像の輝度差がほぼ同じとなり、マッチングがとれた場合には、当該左右の画像の視差(水平、垂直に何画素ずれているか)が測定(算出)される(S17)。
【0061】
また、撮像条件情報、観視条件情報が対応点計算部3に入力される(S18)。撮像条件情報および観視条件情報と、測定された左右の画像の視差とに基づいて、視差測定用画像部分(例えば、被写体)の実際の奥行きと水平位置とが計算される(S19)。その後、空間条件情報が条件情報入力部7に出力され、視差測定用画像部分を、測定された左右の画像の視差によって得られる位置に相当するテクスチャ上の場所に貼り付けがなされ、出力される(S20)。
【0062】
(立体画像再現歪み出力装置の条件情報入力部の詳細な動作)
次に、図4に示すフローチャートを参照して、条件情報入力部7の詳細な動作について説明する(適宜、図1参照)。
【0063】
まず、条件情報入力部7に撮像条件情報が入力される(S21)。この撮像条件情報として、カメラポジション、カメラ間隔dc[mm]、光軸輻輳距離Lc[m]、撮像画角α[度]、アイリス、ズーム倍率、焦点距離が入力される。続いて、この撮像条件情報から2眼立体カメラ2のセッティングが良好であるどうかが融合可否判定手段7aで判断され(S22)、良好であると判断されなかった場合(S22、No)、つまり、立体画像が融合できないと判定されると、再度、撮像条件情報の入力が促される。2眼立体カメラ2のセッティングが良好であるとは、カメラポジションである垂直ずれ、水平ずれ、旋回ずれがなく、アイリス不一致やズーム倍率不一致がない場合をさすものである。
【0064】
2眼立体カメラ2のセッティングが良好であると判断された場合(S22、Yes)、この条件情報入力部7に空間条件情報が入力される(S23)。この空間条件情報として、最大奥行距離Lbmax[m]と、最小奥行距離Lbmin[m]と、被写体奥行距離Lf[m]と、空間メッシュ分割数N(メッシュ間隔距離dLb[m])と、テクスチャの有無または空間分割数Mと、テクスチャを貼る空間指定とが入力される。
【0065】
そして、被写体奥行距離Lf[m]が最大奥行距離Lbmax[m]よりも小さく、且つ、最小奥行距離Lbmin[m]よりも大きいかどうかが判断され(S24)、被写体奥行距離Lf[m]が最大奥行距離Lbmax[m]よりも小さく、且つ、最小奥行距離Lbmin[m]よりも大きいと判断されなかった場合(S24、No)には、警告が発せられる(S25)。
【0066】
被写体奥行距離Lf[m]が最大奥行距離Lbmax[m]よりも小さく、且つ、最小奥行距離Lbmin[m]よりも大きいと判断された場合(S24、Yes)には、この条件情報入力部7に観視条件情報が入力される(S26)。この観視条件情報として、立体画像表示装置2aの表示画面のサイズである画面サイズinch[インチ]と、視距離Ls[m]と、瞳孔間隔de[mm]と、水平位相Hc[mm]とが入力される。また、立体画像表示装置2aの表示画面の表示画角βの表示がなされる(S27)。この表示画角β(水平画角に対するもので、アスペクト比が16:9の場合)は2・atan(0.0111・inch/Ls)で求められる。
【0067】
次に、当該2眼立体カメラ2による被写体の撮像法の判別、表示がなされる(S28)。被写体の撮像法として、平行法の場合、光軸輻輳距離Lc[m]=無限大となり、交差法の場合、光軸輻輳距離Lc[m]≠無限大となる。
【0068】
また、カメラ間隔比a1、網膜像の像倍率比a2、開散奥行距離Lbmax_limitが求められる(S29)。カメラ間隔比a1はdc/deで求められる。de[mm]は瞳孔間隔である。網膜像の像倍率比a2はtan(α/2)/tan(β/2)で求められる。β[度]は立体画像表示装置2aの表示画角である。開散奥行距離Lbmax_limitはa1・a2/(a1・a2/Lc+Hc/LS/de−1/Ls)で求められる。Hcは、主に平行法で用いる画面の水平ずらし量(水平位相)である。Ls[m]は視距離である。
【0069】
なお、開散奥行距離Lbmax_limitは、「ばらけ」の生じる奥行きのことであり、視差が瞳孔間距離(瞳孔間隔)よりも大きくなり、観視者の左右の眼球が開散してしまう距離のことである。
【0070】
次に、開散奥行距離Lbmax_limitが0よりも小さいか、または、無限大となるかどうかが判断され(S30)、開散奥行距離Lbmax_limitが0よりも小さいか、または、無限大となると判断された場合(S30、Yes)には、条件情報入力部7の動作は終了(完了)する。つまり、開散奥行距離Lbmax_limitが無限大であれば、空間メッシュの補正を行わないが、開散奥行距離Lbmax_limitが無限大でない、つまり、有限であれば、入力された空間条件情報の範囲を補正する処理に移行する。
【0071】
開散奥行距離Lbmax_limitが0よりも小さいか、または、無限大となると判断されなかった場合(S30、No)、開散奥行距離Lbmax_limitが最大奥行距離Lbmaxよりも大きいかどうかが判断される(S31)。開散奥行距離Lbmax_limitが最大奥行距離Lbmaxよりも大きいと判断されなかった場合(S31、No)、開散奥行距離Lbmax_limitを0.9倍したものが最大奥行距離Lbmaxとされ(S32)、この0.9倍された最大奥行距離Lbmaxが最小奥行距離Lbminよりも大きいかどうか判断され(S33)、大きいと判断されなかった場合(S33、No)、開散奥行距離Lbmax_limitを0.1倍したものが最小奥行距離Lbminとされる(S34)。
【0072】
S31にて、開散奥行距離Lbmax_limitが最大奥行距離Lbmaxよりも大きいと判断された場合(S31、Yes)、または、S33にて、0.9倍された最大奥行距離Lbmaxが最小奥行距離Lbminよりも大きいと判断された場合(S33、Yes)、或いは、S34にて、0.1倍された開散奥行距離Lbmax_limitが最小奥行距離Lbminとされた場合、空間メッシュの奥行きLb、メッシュ間隔距離(メッシュ幅)dLbが計算される(S35)。空間メッシュの奥行きLbは、最小奥行距離Lbminから最大奥行距離LbmaxまでをN分割した際のN+1個の点である。メッシュ間隔距離dLbは(Lbmax−Lbmin)/Nで求められる。
【0073】
(立体画像再現歪み出力装置の空間歪み計算部の詳細な動作)
次に、図5に示すフローチャートを参照して、空間歪み計算部9の詳細な動作について説明する(適宜、図1参照)。
【0074】
まず、空間歪み計算部9に、条件情報入力部7から出力された空間メッシュの奥行きLbが入力され、この空間メッシュの奥行きLbの各点から、立体像が生じる(立体画像となる)奥行距離Ldと、この奥行距離Ldにおける横倍率Msが計算される(S41)。なお、奥行距離Ldは1/(1/Ls−Hc/Ls/de−a1・a2/Lc+a1・a2/Lb)で求められる。また、横倍率Msはa2・Ld/Lbで求められる。
【0075】
そして、空間メッシュの奥行きLbの各点から書き割りパラメータEcと箱庭パラメータEpが計算される(S42)。なお、書き割りパラメータEcはa1・Ld/Lbで求められる。また、箱庭パラメータEpはMs(Lf)/Ms(Lb)で求められる。
【0076】
(立体画像再現歪み出力装置の不自然さ計算部の詳細な動作)
次に、図6に示すフローチャートを参照して、不自然さ計算部11の詳細な動作について説明する(適宜、図1参照)。
【0077】
まず、不自然さ計算部11に、空間歪み計算部9から出力された書き割りパラメータEcおよび箱庭パラメータEpが入力され、各空間メッシュのy座標(奥行き)に対応する書き割りパラメータEcおよび箱庭パラメータEpに基づいて、書き割り不自然さ量EEcおよび箱庭不自然さ量EEpが計算される(S51)。
【0078】
すなわち、書き割り不自然さ量EEcおよび箱庭不自然さ量EEpは、空間メッシュの奥行きLb(N+1個の点)に対応させた書き割りパラメータEc(n)および箱庭パラメータEp(n)に基づいて求められるものである、なお、nは1からN+1までの整数である。つまり、書き割り不自然さ量EEcおよび箱庭不自然さ量EEpは、nの関数とみなすことができ、書き割り不自然さ量EEc(n)および箱庭不自然さ量EEp(n)とする。
【0079】
なお、書き割りパラメータEc(n)が0.75以上であると、観視者は「書き割り」の不自然さを感じられなくなり、この書き割りパラメータEc(n)が0.75から0に減少するにつれ、観視者が「書き割り」の不自然さを感じる度合いが直線的に増加する。書き割り不自然さ量EEc(n)は、EEc(n)=Ec(n)/0.75(0<Ec(n)<0.75)、EEc(n)=1(Ec(n)≧0.75)で求められる。
【0080】
また、箱庭パラメータEp(n)が1以上であると、観視者は「箱庭」の不自然さを感じられなくなり、この箱庭パラメータEp(n)が1から0に減少するにつれ、観視者が「箱庭」の不自然さを感じる度合いが直線的に増加する。箱庭不自然さ量EEp(n)は、EEp(n)=Ep(n)(0<Ep(n)<1)、EEp(n)=1(Ep(n)≧1)で求められる。
【0081】
(立体画像再現歪み出力装置の出力部の詳細な動作)
次に、図7に示すフローチャートを参照して、出力部13の詳細な動作について説明する(適宜、図1参照)。
【0082】
まず、出力部13で、無歪みの空間メッシュ座標が作成される(S61)。この空間メッシュ座標は、奥行の座標Lbと、横幅の座標Xbと、メッシュ幅dLbとを備えている。奥行の座標Lbは、図4に示した条件情報入力部7のフローチャートのS34で求めた空間メッシュの奥行きLb(同じものであるので同一符号とした)であり、最小奥行距離Lbminから最大奥行距離Lbmaxまで付されている。また、横幅の座標Xbは、2眼立体カメラ2の位置を0として、−(Lbmax−Lbmin)/2から(Lbmax−Lbmin)/2まで付されている。メッシュ幅dLbは、図4に示した条件情報入力部7のフローチャートのS34で求めたメッシュ間隔距離dLb(同じものであるので同一符号とした)である。この無歪み空間メッシュ座標は、正方形の形状となる。
【0083】
続いて、立体映像(立体画像)の生じる空間メッシュ座標が作成される(S62)。立体映像(立体画像)の生じる空間メッシュ座標は、歪んだ空間メッシュ座標となり、この歪んだ空間メッシュ座標は、奥座標Ldと、横座標Xdとを備えている。奥座標Ldは、図5に示した空間歪み計算部9のフローチャートのS41で求めた立体像を生じる距離Ld(同じものであるので同一符号とした)である。また、横座標Xdは、無歪み空間メッシュ座標の横幅の座標Xbに、図5に示した空間歪み計算部9のフローチャートのS41で求めた横倍率Msを乗算したものである。
【0084】
つまり、無歪みの空間メッシュ座標(無歪み空間メッシュ座標)は、奥行の座標Lbと、横幅の座標Xbと、メッシュ幅dLbとを備えており、歪んだ空間メッシュ座標は、奥座標Ldと、横座標Xdとを備えている。
【0085】
そして、「書き割り」、「箱庭」の不自然さの度合い(書き割り不自然さ量、箱庭不自然さ量)を色分けして表示するため、歪んだ空間メッシュ座標の奥座標Ldに対応するように、テクスチャ画像分割する。なお、不自然さの度合いは横方向(横座標Xd)に対して一定とするので、横方向の分割は行わない。そして、分割したテクスチャ画像に対応する奥座標LdのR画像、B画像の輝度が、書き割り不自然さ量EEcに基づいて変換され、同様に、分割したテクスチャ画像に対応する奥座標LdのG画像の輝度が、箱庭不自然さ量EEpに基づいて変換される(S63)。これによって、テクスチャ画像は、不自然さの度合いによって、「書き割り」は緑、「箱庭」はマゼンダに色づけされ、これら緑、マゼンダの階調によって表現されることになる。
【0086】
その後、無歪み空間メッシュ座標と、歪んだ空間メッシュ座標とを色彩の異なるドット(例えば、無歪みは赤、歪みは青)で表し、これらのドットが表示装置4の表示画面上で重ねて表示されるように歪み情報が作成され、出力される(S64)。なお、この歪み情報には、テクスチャ画像(テクスチャイメージ)が含められており、このテクスチャイメージが選択された空間に貼り付けられている。
【0087】
(立体画像再現歪み出力装置の運用例)
次に、図8を参照して、立体画像再現歪み出力装置1の運用例について説明する。
【0088】
図8は、立体画像再現歪み出力装置1の4つの運用例(a)〜(d)を示しており、この図8において、立体画像再現歪み出力装置1には表示部15が一体的に備えられており、この表示部15が、出力部13および表示装置4と同等の機能を有している。また、この立体画像再現歪み出力装置1には、対応点計算部3とエンコーダ部5とが除外されている。
【0089】
運用例(a)は、2眼立体カメラ2で得られた映像入力(左右の画像)を立体映像として、エンコーダ装置8と立体画像再現歪み出力装置1とに出力すると共に、センサ6で取得された撮像条件情報を、エンコーダ装置8と立体画像再現歪み出力装置1とに出力するようにしたものである。なお、エンコーダ装置8では、立体映像と撮像条件情報が符号化され、この符号化されたデータが映像記録媒体装置10に記録されるように構成されている。
【0090】
運用例(b)は、2眼立体カメラ2で得られた映像入力(左右の画像)を立体映像として、立体画像再現歪み出力装置1に出力すると共に、センサ6で取得された撮像条件情報を、立体画像再現歪み出力装置1に出力するようにしたものである。
【0091】
運用例(c)は、立体画像再現歪み出力装置1を単独で使用した場合であり、各条件情報を入力し、表示部15に歪み情報を表示するように構成したものである。
【0092】
運用例(d)は、映像記録媒体装置10から出力された立体映像および撮像条件情報と、観視条件情報と、空間条件情報とを入力し、表示部15に歪み情報を表示するように構成したものである。
【0093】
これら運用例(a)〜(d)に示したように、立体画像再現歪み出力装置1は、リアルタイムで立体映像(立体画像)を撮影(撮像)しながら、歪み情報を表示部15に表示させることもできるし、一旦、映像記録媒体装置10に記録された後の立体映像を取り込んで、歪み情報を表示させることができる。
【0094】
(立体画像再現歪み出力装置の概略の外観および表示される画面構成)
次に、図9を参照して、立体画像再現歪み出力装置1の概略の外観および表示される画面構成について説明する。
【0095】
図9は、表示部15を一体的に備えた立体画像再現歪み出力装置1の概略の外観およびこの表示部15に表示されている画面構成を示したものである。
【0096】
この図9に示した立体画像再現歪み出力装置1は、2眼立体カメラ2(図1参照)が載置されるカメラ雲台(図示せず)に接続される接続コードAから撮像条件情報が自動的に取得され入力されるように構成されている。カメラ雲台(図示せず)は、2眼立体カメラ2の左眼用カメラと右眼用カメラとのカメラポジション、ズーム倍率、焦点距離等を独立して制御可能に構成されている。
【0097】
また、表示部15の表示画面の左端側には、被写体の撮像法である「平行法」、撮像条件情報である「撮像条件」と、観視条件情報である「表示条件」、「観視条件」、空間条件情報である「空間メッシュ」が現在どういった値であるかが表示されている。
【0098】
さらに、表示部15のほぼ全領域に歪み空間メッシュ座標が表示されている。この歪み空間メッシュ座標の横軸は横幅(m)であり、縦軸は奥行(m)である。この歪み空間メッシュ座標は、横幅(m)が当該歪み空間メッシュ座標の略中央を基準0mとして、右方向に増加し、左方向に減少しており、奥行(m)が上方向に増加しているものである。
【0099】
(対応点計算部における位相相関法について)
次に、図10を参照して、対応点計算部3において使用される位相相関法について説明する。
【0100】
図10は、対応点計算部3で、位相相関法を使用して視差を検出する際の画面構成を示したものである。この図10に示すように、位相相関法では、左画像(L;図10(a)、左側の女性の顔)と右画像(R;図10(b)、右側の女性の顔)とで相関をとり、L(グリーン)+R(マゼンダ)の画像(図10(c)、中央の女性の顔)により視差(視差分布)が求められる。なお、この場合、マッチングが正しくとれていれば、白黒画像として認識される。
【0101】
また、R(test)の画像(図10(d))は、窓関数がかけられた後の画像部分を示している。
【0102】
(立体画像再現歪み出力装置から出力され表示装置に表示される画面構成の例)次に、図11〜図14を参照して、立体画像再現歪み出力装置1から出力され表示装置4に表示される画面構成の例について説明する。
【0103】
図11は、書き割り不自然さ量EEc(n)と、箱庭不自然さ量EEp(n)とを表示装置4に表示させた際の輝度変換の例を示したものである。
【0104】
この図11では色彩の違いを判別できないが、書き割り不自然さ量EEc(1)と書き割り不自然さ量EEc(2)との部分は淡い緑色(グリーン)に着色され、箱庭不自然さ量EEp(4)と、箱庭不自然さ量EEp(5)と、箱庭不自然さ量EEp(6)との部分は赤っぽい色(マゼンダ)に着色されている。また、書き割り不自然さ量EEc(3)と、箱庭不自然さ量EEp(3)との部分は白になっている。
【0105】
また、書き割り不自然さ量EEc(1)の部分の方が、書き割り不自然さ量EEc(2)の部分よりも濃く着色され、また、箱庭不自然さ量EEp(6)の部分が最も濃く着色され、箱庭不自然さ量EEp(5)の部分、箱庭不自然さ量EEp(4)の部分の順に徐々に薄くなっている(階調表現がなされている)。なお、図11において、各色の濃さは、ハッチングの目を細かくすることによって表現している。
【0106】
図12は、無歪み空間メッシュ座標を表示装置4に表示した際の画面構成の例であり、図13は、「書き割り」が生じている歪み空間メッシュ座標を表示装置4に表示した際の画面構成の例であり、図14は、「箱庭」が生じている歪み空間メッシュ座標を表示装置4に表示した際の画面構成の例である。なお、図12において、異なったハッチングで図示しているのは、撮像画角外であることと、撮像画角内であることとを区別するためである。
【0107】
この図12〜図14に示すように、2眼立体カメラ2を利用して立体画像(左右の画像)を撮像している利用者は、当該装置1を利用して、撮像中の立体画像の歪みを算出し、この歪みにかかる歪み情報(書き割り、箱庭等)を表示装置4に表示させることができる。これによって、立体画像の撮像にかかる手間を大幅に削減することができ、極端な空間歪みのない、効果的な立体画像を撮ることができる。
【0108】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、立体画像再現歪み出力装置1の各構成の処理を一つずつの過程ととらえた立体画像再現歪み出力方法とみなすことや、立体画像再現歪み出力装置1の各構成の処理を汎用的なコンピュータ言語で記述した立体画像再現歪み出力プログラムとみなすことは可能である。これらの場合、立体画像再現歪み出力装置1と同様の効果を得ることができる。
【0109】
【発明の効果】
請求項1、2、7、8記載の発明によれば、立体画像を得るのに左右の画像を撮像する際に手間をかけることなく、リアルタイムで、幾何学的な空間歪みによる不自然さを確認することができる。
【0110】
請求項3記載の発明によれば、書き割りパラメータと箱庭パラメータとのすくなくとも一方が閾値を超えた場合に警告が発生される。この警告によって、被写体を2眼立体カメラで撮像している当該装置の利用者(撮像者)は、撮像条件情報等の変更が必要であると気づくことができる。
【0111】
請求項4記載の発明によれば、視差分布が所定値以上である場合に警告が発生される。この警告によって、被写体を2眼立体カメラで撮像している当該装置の利用者(撮像者)は、撮像条件情報等の変更が必要であると気づくことができる。
【0112】
請求項5記載の発明によれば、表示装置に立体画像を再現した際の歪み情報を表示する場合の表示の仕方を変更することができる。
【0113】
請求項6記載の発明によれば、撮像条件情報および観視条件情報に基づいて、左右の画像を観た観視者が当該画像から立体画像を融合することができるかを判定することができる。
【図面の簡単な説明】
【図1】本発明による一実施の形態である立体画像再現歪み出力装置のブロック図である。
【図2】図1に示した立体画像再現歪み出力装置の全体動作を説明したフローチャートである。
【図3】図1に示した立体画像再現歪み出力装置の対応点計算部の動作を説明したフローチャートである。
【図4】図1に示した立体画像再現歪み出力装置の条件情報入力部の動作を説明したフローチャートである。
【図5】図1に示した立体画像再現歪み出力装置の空間歪み計算部の動作を説明したフローチャートである。
【図6】図1に示した立体画像再現歪み出力装置の不自然さ計算部の動作を説明したフローチャートである。
【図7】図1に示した立体画像再現歪み出力装置の出力部の動作を説明したフローチャートである。
【図8】立体画像再現歪み出力装置の運用例について説明した図である。
【図9】立体画像再現歪み出力装置の概略の外観および表示される画面構成について説明した図である。
【図10】対応点計算部において使用される位相相関法について説明した図である。
【図11】書き割り不自然さ量と、箱庭不自然さ量とを表示装置に表示させた際の輝度変換の例を示した図である。
【図12】無歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【図13】「書き割り」が生じている歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【図14】「箱庭」が生じている歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【符号の説明】
1 立体画像再現歪み出力装置
2 2眼立体カメラ
2a 立体画像表示装置2a
3 対応点計算部(対応点計算手段)
4 表示装置
5 エンコーダ部
7 条件情報入力部(条件情報入力手段)
7a 融合可否判定手段
7b 表示形態変更手段
9 空間歪み計算部(空間歪みパラメータ計算手段)
9a 警告発生手段
11 不自然さ計算部(不自然さ定量化手段)
13 出力部(出力手段)

Claims (8)

  1. 2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、
    前記2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段と、
    前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段と、
    この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段と、
    この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段と、
    を備えることを特徴とする立体画像再現歪み出力装置。
  2. 2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、
    前記2眼立体カメラで左右の画像を撮像する際の撮像条件情報に基づいて、前記2眼立体カメラで撮像した左右の画像に含まれる被写体の対応点を求め、この対応点に従って当該被写体の位置を求めることにより、前記立体画像を再現する際の空間に関する空間条件情報を計算する対応点計算手段と、
    この対応点計算手段で計算した空間条件情報と、前記2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段と、
    前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段と、
    この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段と、
    この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段と、
    を備えることを特徴とする立体画像再現歪み出力装置。
  3. 前記空間歪みパラメータ計算手段によって計算された空間歪みパラメータが予め設定した閾値を超えた場合に、警告を発生する警告発生手段を備えることを特徴とする請求項1または請求項2に記載の立体画像再現歪み出力装置。
  4. 前記警告発生手段は、
    前記撮像条件情報に基づいて前記2眼立体カメラで撮像した左右の画像を、前記観視者が観視して融合する際に、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角との差である視差分布が所定値以上である場合に、警告を発生することを特徴とする請求項3に記載の立体画像再現歪み出力装置。
  5. 前記歪み情報を、前記表示装置に表示する場合の表示形態を変更する表示形態変更手段を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の立体画像再現歪み出力装置。
  6. 前記撮像条件情報および前記観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、前記左右の画像を前記立体画像として融合可能か否かを判定する融合可否判定手段を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の立体画像再現歪み出力装置。
  7. 2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力方法であって、
    前記2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力ステップと、
    前記条件情報入力ステップにて入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算ステップと、
    この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化ステップと、
    この不自然さ定量化ステップにて定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力ステップと、
    を含むことを特徴とする立体画像再現歪み出力方法。
  8. 2眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する装置を、
    前記2眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段、
    前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段、
    この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段、
    この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段、
    として機能させることを特徴とする立体画像再現歪み出力プログラム。
JP2003186972A 2003-06-30 2003-06-30 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム Expired - Fee Related JP4436080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003186972A JP4436080B2 (ja) 2003-06-30 2003-06-30 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003186972A JP4436080B2 (ja) 2003-06-30 2003-06-30 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム

Publications (2)

Publication Number Publication Date
JP2005026756A true JP2005026756A (ja) 2005-01-27
JP4436080B2 JP4436080B2 (ja) 2010-03-24

Family

ID=34185962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003186972A Expired - Fee Related JP4436080B2 (ja) 2003-06-30 2003-06-30 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム

Country Status (1)

Country Link
JP (1) JP4436080B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545818A (ja) * 2006-07-31 2009-12-24 オンライブ インコーポレイテッド モーション捕獲及び画像再構成を実行するためのシステム及び方法
JP2010102137A (ja) * 2008-10-24 2010-05-06 Fujifilm Corp 3次元撮影装置および方法並びにプログラム
JP2010157850A (ja) * 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2012044309A (ja) * 2010-08-16 2012-03-01 Sharp Corp 3d画像出力装置及び3d画像表示装置
WO2012101900A1 (ja) * 2011-01-26 2012-08-02 富士フイルム株式会社 立体撮像用ディジタル・カメラおよびその動作制御方法
WO2012133286A1 (ja) * 2011-03-31 2012-10-04 株式会社Jvcケンウッド 立体画像生成装置及び立体画像生成方法
JP2012213016A (ja) * 2011-03-31 2012-11-01 Jvc Kenwood Corp 立体画像生成装置及び立体画像生成方法
JP2013074585A (ja) * 2011-09-29 2013-04-22 Jvc Kenwood Corp 立体画像生成装置及び立体画像生成方法
JP2013171058A (ja) * 2012-02-17 2013-09-02 Canon Inc 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2013535898A (ja) * 2010-07-16 2013-09-12 クゥアルコム・インコーポレイテッド 3次元ビデオのための視覚ベースの品質メトリック
JP2013546017A (ja) * 2010-12-29 2013-12-26 オリンパスメモリーワークス株式会社 3次元画像撮像方法
JP2014027391A (ja) * 2012-07-25 2014-02-06 Olympus Corp 撮像装置
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
JP2015520961A (ja) * 2012-04-19 2015-07-23 トムソン ライセンシングThomson Licensing 立体視ディスプレイにおける調節効果による歪み誤差を補正する方法および装置
WO2021024827A1 (ja) * 2019-08-08 2021-02-11 ソニー株式会社 手術画像表示システム、画像処理装置、及び画像処理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545818A (ja) * 2006-07-31 2009-12-24 オンライブ インコーポレイテッド モーション捕獲及び画像再構成を実行するためのシステム及び方法
JP2010102137A (ja) * 2008-10-24 2010-05-06 Fujifilm Corp 3次元撮影装置および方法並びにプログラム
JP2010157850A (ja) * 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2013535898A (ja) * 2010-07-16 2013-09-12 クゥアルコム・インコーポレイテッド 3次元ビデオのための視覚ベースの品質メトリック
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
JP2012044309A (ja) * 2010-08-16 2012-03-01 Sharp Corp 3d画像出力装置及び3d画像表示装置
JP2013546017A (ja) * 2010-12-29 2013-12-26 オリンパスメモリーワークス株式会社 3次元画像撮像方法
WO2012101900A1 (ja) * 2011-01-26 2012-08-02 富士フイルム株式会社 立体撮像用ディジタル・カメラおよびその動作制御方法
US9210396B2 (en) 2011-03-31 2015-12-08 JVC Kenwood Corporation Stereoscopic image generation apparatus and stereoscopic image generation method
WO2012133286A1 (ja) * 2011-03-31 2012-10-04 株式会社Jvcケンウッド 立体画像生成装置及び立体画像生成方法
JP2012213016A (ja) * 2011-03-31 2012-11-01 Jvc Kenwood Corp 立体画像生成装置及び立体画像生成方法
JP2013074585A (ja) * 2011-09-29 2013-04-22 Jvc Kenwood Corp 立体画像生成装置及び立体画像生成方法
JP2013171058A (ja) * 2012-02-17 2013-09-02 Canon Inc 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2015520961A (ja) * 2012-04-19 2015-07-23 トムソン ライセンシングThomson Licensing 立体視ディスプレイにおける調節効果による歪み誤差を補正する方法および装置
US10110872B2 (en) 2012-04-19 2018-10-23 Interdigital Madison Patent Holdings Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
JP2014027391A (ja) * 2012-07-25 2014-02-06 Olympus Corp 撮像装置
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
WO2021024827A1 (ja) * 2019-08-08 2021-02-11 ソニー株式会社 手術画像表示システム、画像処理装置、及び画像処理方法

Also Published As

Publication number Publication date
JP4436080B2 (ja) 2010-03-24

Similar Documents

Publication Publication Date Title
US8000521B2 (en) Stereoscopic image generating method and apparatus
KR100812905B1 (ko) 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
EP2188672B1 (en) Generation of three-dimensional movies with improved depth control
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
JP4436080B2 (ja) 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
US8208048B2 (en) Method for high dynamic range imaging
JP5680994B2 (ja) 画像カット方法および画像カット装置
JP2010531102A (ja) 色フィルタで立体画像を生成し表示する方法および装置
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2011108702A1 (ja) 立体視映像表示装置、および立体視映像表示装置の動作方法
US20090141121A1 (en) Calibration of a 3-dimensional display
JP2011064894A (ja) 立体画像表示装置
JP3857988B2 (ja) 立体画像処理方法および装置
JPH11508058A (ja) 自動実体鏡像を得る方法及びシステム
CN107209949B (zh) 用于产生放大3d图像的方法和系统
JPWO2012002020A1 (ja) 再生装置、複眼撮像装置、再生方法及びプログラム
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2003348621A (ja) 二視点カメラの設定手段
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
JP2006013851A (ja) 撮像表示装置および撮像表示方法
JP6113411B2 (ja) 画像処理装置
JP2017098596A (ja) 画像生成方法及び画像生成装置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091225

R150 Certificate of patent or registration of utility model

Ref document number: 4436080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees