JP4259913B2 - Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program - Google Patents

Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program Download PDF

Info

Publication number
JP4259913B2
JP4259913B2 JP2003130711A JP2003130711A JP4259913B2 JP 4259913 B2 JP4259913 B2 JP 4259913B2 JP 2003130711 A JP2003130711 A JP 2003130711A JP 2003130711 A JP2003130711 A JP 2003130711A JP 4259913 B2 JP4259913 B2 JP 4259913B2
Authority
JP
Japan
Prior art keywords
parallax
stereoscopic image
amount
stereoscopic
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003130711A
Other languages
Japanese (ja)
Other versions
JP2004349736A (en
Inventor
博明 矢部
敏男 野村
正宏 塩井
竜二 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003130711A priority Critical patent/JP4259913B2/en
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN2010101140928A priority patent/CN101841728B/en
Priority to KR1020057018993A priority patent/KR100768837B1/en
Priority to PCT/JP2004/005484 priority patent/WO2004093467A1/en
Priority to US10/550,710 priority patent/US7636088B2/en
Priority to EP04728007A priority patent/EP1617684A4/en
Priority to CN200480010332A priority patent/CN100596209C/en
Publication of JP2004349736A publication Critical patent/JP2004349736A/en
Application granted granted Critical
Publication of JP4259913B2 publication Critical patent/JP4259913B2/en
Priority to US12/604,242 priority patent/US7889196B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、立体画像を拡大縮小すると視差量が変化することにより、拡大後の立体画像が立体視しにくくなったり、立体感にかけるおそれがある時には、ユーザーにその旨を警告し、また、立体感の補正が可能であれば補正を行うことを目的とする立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来から、左目と右目に異なる画像を表示することで、立体表示を可能とする3次元ディスプレイについて様々な研究がなされている。古くは、カメラのレンズの位置を調整し、人間の左目から見たことに相当する写真と、右目から見たことに相当する写真を並べて、それを双眼鏡型のアダプタを通して見る手法がある。最近では、録画時にはビデオカメラと液晶シャッタを組み合わせることで、右目画像と左目画像を1フレームごと交互に録画し、再生時には液晶シャッタを2枚左右両眼のレンズの代わりに用いた眼鏡を使用し、交互に液晶シャッタをオン/オフすることで、立体表示を可能とする手法等がある。
【0003】
このように左右の目で異なった画像を観察することで、立体視を可能とする方法では、左右の画像の対応点の距離(以降、視差と呼ぶ)がある一定の範囲では、快適に立体視することができるが、視差が大きくなると両眼の画像が融合しなくなり立体視できなくなる。この時の視差の大きさについては、例えば、平成14年に財団法人機械システム振興協会が発行した「3次元映像に関するガイドライン試案」により、報告されている。
【0004】
上記の視差が大きいために両眼画像が融合せず立体視しにくい立体画像を表示する際に、左右画像の表示位置を立体ディスプレイ上でずらすことで視差を調整し、立体画像を見やすく表示する方法が、下記の特許文献1や特許文献2に公開されている。
【0005】
【特許文献1】
特開2000−78615号公報
【特許文献2】
特開平10−221775号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来の技術による立体画像を拡大あるいは縮小すると、立体画像の飛び出し量や引き込み量が変化してしまい、所望の立体感が得られなくなるという問題がある。
【0007】
以下ではまず、左右両眼に別の画像を表示することで、立体視を行う立体ディスプレイの原理について、図11、図12を用いて簡単に説明する。これらの図面はいずれも立体ディスプレイ1を両眼間隔dのユーザが観察しているところを、上方からみた模式図である。
【0008】
一般に、ユーザーの両眼間隔をd[m]、ユーザーと立体ディスプレイ1との距離をD[m]、ディスプレイの幅をW[m]、ディスプレイの解像度をP[dot]、立体画像の左右の対応点の距離をl[dot]とすると、
立体画像が飛び出し時の飛び出し量z[m]は、
z=(l×W/P)×D/(d+(l×W/P)) ・・・式(1)
立体画像が引っ込み時の引き込み量z[m]は、
z=(l×W/P)×D/(d−(l×W/P)) ・・・式(2)
この時の視差θは、
θ=tan-1(l/2D)×2 ・・・式(3)
であらわされる。
【0009】
このような立体ディスプレイで、立体画像を拡大あるいは縮小すると、左右画像のずれの大きさが変わるため、立体感が変化する。図11(a)に拡大処理前の立体画像、図11(b)で拡大処理後の立体画像を示して説明する。図11(a)のような、立体ディスプレイよりも手前に飛び出す立体画像を拡大すると、図11(b)のように飛び出し量が大きくなる。ここで、l’は拡大後の左右の対応点、z’は拡大後の飛び出し量を示す。
【0010】
また図12(a)に示すように、立体ディスプレイよりも奥に引っ込む立体画像を、拡大表示すると、引き込み量も大きくなり、拡大率によっては図12(b)のように両眼の焦点が合わず立体視が出来なくなる。反対に、立体画像の縮小時には、左右画像のずれが小さくなるために、飛び出し量あるいは引き込み量が小さくなり、立体感が弱くなってしまう。
【0011】
このように、立体画像の拡大縮小時には、拡大時には視差が大きくなるため飛び出しが大きくなり、縮小時には逆に視差が小さくなるために飛び出しが小さくなるというように、立体感が変更されるため、通常の2次元画像と同様の手法で拡大縮小を行うと、所望の立体視が出来ずに混乱が生じたり、無理な立体視をして目に負担がかかるという問題がある。
【0012】
本発明の目的は、立体画像を拡大縮小すると視差量がかわるため、立体視しにくくなったり、立体感にかけるおそれがある時には、ユーザーに警告し、立体視が快適にできるように補正する立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【0013】
【課題を解決するための手段】
本発明は、立体視に適した視差範囲を取得する視差範囲取得手段と、立体画像の視差量を取得する視差量取得手段と、前記立体画像の視差量が前記視差範囲内にあるか否かを判定する判定手段と、前記立体画像の視差量を調整する視差調整手段と、視差量を調整するための注目点を指定する指定手段と、を備え
前記判定手段が前記立体画像の視差量が前記視差範囲内にないと判定した場合に、前記視差調整手段が、前記指定手段により指定された注目点の周辺を優先して視差量の取得範囲を縮小し、前記立体画像のずらしによる視差量の調整を行うことを特徴とする立体画像処理装置である。
【0014】
また、前記立体画像処理装置は、前記立体画像を拡大あるいは縮小して表示させるための拡大率指定手段をさらに備え、前記判定手段は、前記指定された拡大率に従って拡大あるいは縮小された前記立体画像の視差量が前記視差範囲内にあるか否かを判定することを特徴とする。
【0015】
ここで、前記判定手段は、前記立体画像の一部の領域について判定処理を行うことを特徴とする。
【0016】
また、前記視差範囲取得手段は、前記立体画像を表示する立体ディスプレイの左右画像のクロストーク能力を用い、クロストークが大きくなるほど前記視差範囲を小さくすることを特徴とする。また、前記視差量取得手段は、予め前記立体画像に付加されている立体視に適する最大飛び出し量および最大引き込み量を用いることを特徴とする。
【0017】
また、本発明は、コンピュータを、上記各手段として機能させることを特徴とする立体画像処理プログラムである。
【0018】
また、本発明は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0020】
<第1の実施の形態>
本発明の第1の実施の形態においては、立体画像表示のGUIアプリケーションソフトによりパーソナルコンピュータ(以降パソコンと略称する)が立体表示処理を行って、立体ディスプレイに立体表示する。すなわち、パソコンに備えられたCPUがCD−ROMやハードディスク等の記録媒体に記録されている立体表示アプリケーションソフトに従って、動画や静止画に対して処理を行い、立体ディスプレイに立体表示する。更に、ユーザがマウスあるいはキーボードにより立体処理について指示を行えば、それに基づいてCPUが処理を行う。
【0021】
図1は第1の実施形態による立体ディスプレイの表示画像を説明する図であり、ディスプレイ1上に立体画像表示アプリケーションによる処理表示画像2が表示されている。立体画像表示アプリケーションの処理表示画像2は、立体画像表示エリア3、拡大率変更バー4、警告表示エリア5からなる。
【0022】
従来の技術の説明に用いた図11、図12からわかるように、立体画像が拡大表示される時には、立体ディスプレイより手前に飛び出して見える飛び出し量、立体ディスプレイよりも奥に引っ込んで見える引き込み量ともに拡大され、それぞれ、ある閾値より大きくなると立体視が不可能となる。この時、予め表示する立体画像の最大飛び出し量、最大引き込み量がわかっていれば、式(1)、式(2)により、拡大率に応じて、立体画像の飛び出し量及び引き込み量がどの程度変化するか求められる。本実施の形態では、例えば、立体画像の飛び出しが強くなり、長時間見続けるとユーザーに負担がかかるような時に、ユーザーに対して警告する。
【0023】
次に、第1の実施の形態の処理の流れを図2のフローチャートにより説明する。
【0024】
ステップS1にて、ディスプレイ情報を取得する。ここでいうディスプレイ情報とは、ディスプレイの幅W[m]及び、ディスプレイの解像度P[dot]、及びユーザーとディスプレイとの距離D[m]である。ユーザーとディスプレイとの距離は、位置センサー等を用いて正確に取得しても良いが、例えば、ディスプレイサイズが15インチであれば、ユーザーとの距離は約1m程度となるなど、ディスプレイサイズや種類に応じてどの程度のユーザーとの距離が離れているか予め、おおよその距離をデータベース等に蓄えておき、その値を使用する方法が簡便である。
【0025】
また、左右両眼に異なる映像を映し出して立体感を出す立体ディスプレイでは、例えば、HMDのように左右両眼に全く別々の表示装置を用いる場合には左右画像が混じることはないが、パララックバリア方式やレンチキュラー方式の立体ディスプレイでは、ユーザーの左目から見た画像に、右目用の画像がわずかに混じって重なって表示されることがある。このことをクロストークと呼ぶ。一般にクロストークが無いほど立体ディスプレイとして優秀であり、クロストークが大きくなると、快適に立体視できる範囲が狭くなる。このようなことから、ディスプレイ情報としてクロストークの情報を含め、以下で説明するようにクロストークが大きい時には、立体ディスプレイで快適に立体視できる視差の範囲を小さくするようにしても良い。
【0026】
そこで、ステップS2にて、立体視できる視差範囲を取得する。
パソコンのCPUは、式(1)、式(2)、式(3)を用いて、この時の快適に立体視できる範囲の視差量θを、左右画像のずれにより計算することで、快適に立体視できる範囲の、飛び出し量th_f[dot]、引き込み量th_b[dot]を決定する。ここで、th_f,th_bは立体ディスプレイ面上の左右の対応点の距離(視差)として表現されている。図11、図12より明らかなように、画面より飛び出す画像では、左目画像が右目画像よりも右側にあり、画面より引っ込む画像では、左目画像が右目画像よりも左側にあるために、本発明では左目画像を基準として右目画像の程度ずれを求め、飛び出し(左目画像が右側)の時には視差の値を正、引っ込み(左目画像が左側)の時には視差の値を負とする。
【0027】
視差の値がth_fからth_bまでの範囲は、快適に立体視できる立体表示の最大視差範囲であるということができる。また、th_f,th_bはそれぞれ最大視差範囲を示す閾値である。
【0028】
快適に立体視できる視差量θは、各種研究によって経験的に求められており、立体ディスプレイの大きさ及びクロストークと相関があることが知られている。例えば、15インチの立体ディスプレイ使用時に快適に立体視できるθの範囲を、飛び出し35分、引っ込み35分と、ユーザーの両眼間隔を60mmとすると、立体表示の最大視差範囲を示す閾値は、約th_f=25,th_b=−25[dot]となる。従って、立体視可能な視差範囲は、−25≦θ≦25となる。当然のことながら、この数値はS1で取得されるディスプレイの情報によって変化し、また、あくまでも、経験的に求められる値であるため、式(1)、式(2)、式(3)を用いずに、立体ディスプレイの表示性能を実験して求められた値を予めデータベース等に保存して、それをCPUが利用することも当然考えられる。
【0029】
ステップS3にて、表示元となる立体画像の最大飛び出し量f[dot]及び最大引き込み量b[dot]、すなわち立体画像の最大視差量を立体画像のタグ情報から取得する。ここでタグ情報とは撮影された時の撮影条件等、立体画像に別途付けられた付加情報のことである。本実施形態では、予め立体画像の最大飛び出し量及び最大引き込み量の情報がタグ情報として付加されていることとしたが、fやbの情報をステレオマッチングにより自動的に求める方法もあり、タグ情報からの取得に限定するものではない。ここでも、f、bは立体ディスプレイ面上での視差量として表現されている。これらの値は立体画像の視差の範囲(視差範囲)を示すものである。
【0030】
ステップS4にて、ユーザーにより、立体画像の拡大あるいは縮小の比率E[%]を拡大率変更バー4により入力する。拡大率の入力は、ある特定のキーボードを押すことによって変更したり、マウスのスクロールバーによって変更する等でも良く、拡大率変更バーに限るものではない。また、本発明は拡大処理だけでなく縮小処理にも対応できるものとし、ステップS5では拡大あるいは縮小の比率を取得できるものとする。
【0031】
ステップS5にて、立体画像の視差量が立体視可能な視差範囲内にあるか否かを判定する。ステップS4にて得られた拡大率E[%]と、ステップS3にて求められた最大飛び出し量f及び最大引き込み量bをそれぞれ掛け合わせ、拡大後の立体画像の最大飛び出し量f’=Ef[dot]及び拡大後の立体画像の最大引き込み量b’=Eb[dot]を求め、ステップS3にて求められた、th_f,th_bと比較し、ステップS5にて立体視可能な視差範囲内にあるか否かを判定する。立体画像の視差量が前記視差範囲内にあれば、処理を終了し、立体画像の視差量が前記視差範囲外にあれば、ステップS6に進む。
【0032】
パソコンのCPUは、ステップS6にて、立体画像の視差量が立体視可能な視差範囲からどの程度ずれているかにより、「飛び出しが強すぎます」、「引っ込みが強すぎます」、「飛び出しが弱すぎます」、「引っ込みが弱すぎます」等のメッセージを決定し、警告表示エリア5に表示する。この時、メッセージを音声で知らせたり、また、立体画像表示エリア3の色を変える等でも良く、ユーザーに対する警告は、メッセージの警告表示エリア5への表示に限るものではない。
【0033】
なお、本実施形態では、立体画像の飛び出し量の判定に、左右画像の対応点のずれである視差量[dot]を使用しているが、図11、図12で示すような、実際にディスプレイから飛び出してみえる量z[m]を用いて判定しても良いことは、明白である。
【0034】
<第2の実施の形態>
本発明の第2の実施の形態について説明する。
第2の実施の形態における立体ディスプレイ1の処理表示画像6は、図3に示すように、立体画像表示エリア3、拡大率変更バー4、警告表示エリア5からなる。
【0035】
第2の実施の形態の処理の流れを図4のフローチャートにより説明する。ステップS1からステップS5までは、第1の実施の形態と同じである。
【0036】
ステップS16では、図5で示すように、飛び出しの補正(視差量調整)を行う。図5(a)では、拡大処理前の立体画像の視差の範囲を、(b)では拡大処理後の立体画像の視差範囲を、(c)では、補正処理後の立体画像の視差範囲を示している。図5において、横軸は左右画像のステレオ対応点のずれ(dot)の大きさを示し、ハッチングされている範囲は快適に立体視できる視差の範囲を示している。記号は、拡大処理を行う前の立体画像の最大飛び出し量をf、引き込み量をbとし、拡大後の画像の最大飛び出し量をf’、引き込み量をb’、立体ディスプレイで快適に立体視できる最大飛び出し量をth_f,引き込み量をth_bとする。拡大後の画像の最大飛び出し量f’が、th_fよりも大きくても、f’−b’が、th_f−th_bよりも小さいときには、右画像全体を図6に示すようにf−th_f’だけずらすことにより、立体画像全体を立体ディスプレイから引っ込むように表示させることによって、立体感の補正を行う。図6で破線で囲まれた部分6が元画像を、実線で囲まれた部分7がずらし処理後の画像を表している。しかし、f’−b’が、th_f−th_bよりも大きい時には、単純に右画像全体をずらしだけでは、飛び出しの補正を行うことは出来ない。
【0037】
引っ込みにおいても同様に、拡大後の画像の最大引き込み量b’が、th_bよりも小さく、f’−b’が、th_f−th_bよりも小さいときには、右画像全体を、b’−th_bだけずらすことにより、立体画像全体を立体ディスプレイから飛び出すように表示することで、快適な立体視が可能となる。なお、ずらし量が正の時は、右画像全体を右にずらし、ずらし量が負の時は右画像全体を左にずらす。
【0038】
本実施形態では、右画像をずらすことで、立体画像全体の飛び出し補正を行っているが、右画像のずらしに限定したものではなく、右画像を固定し左画像をずらす方法や、両方同時にずらしても良い。
【0039】
更に、f’−b’が、th_f−th_bよりも大きい時には、警告エリアに「強すぎて補正できません」と表示をしたり、立体画像表示エリアに、左右画像の片方だけ表示することで、ユーザーに不快な立体画像を表示しないようにすることも可能であるが、警告表示エリア5は必須ではなく、警告しなくとも良い。
【0040】
また、拡大処理時における立体感の補正だけでなく、縮小処理して立体感の乏しくなった立体画像を、全体的に飛び出し、もしくは引っ込ませることで、立体感を強調して表示することも可能である。例えば、ステップS16において、ステップS4の拡大率が1より小さい時の処理として、縮小処理後の立体画像を、f−f’だけ、ディスプレイより前面に飛び出すようにずらすことにより、縮小処理後と縮小処理前との最大飛び出し位置を同じにすることで、飛び出し感が大きい立体画像を、縮小後でも画面より手前に大きく飛び出してみせることができる。逆に、最大飛び出し位置を固定せずに、最大引き込み位置を固定して、引き込み量を同じにしてもよい。
【0041】
<第3の実施の形態>
本発明の第3の実施の形態について説明する。
本発明は第3の実施の形態は、第2の実施の形態におけるステップS16の飛び出しの補正処理(視差量調整処理)を改良したものである。
【0042】
本実施の形態では、立体画像全体をずらしても快適な立体視が不可能な場合であっても、立体画像の中央部を優先して立体感の調整を行うことにより、立体視しやすいように表示することを可能とする。これは、人間の視覚が視野の周辺よりも中心の方が物をはっきりと見ることができる特性を利用したものである。
【0043】
第3の実施の形態では、図4の示すフローチャートのステップS1からステップS5までは第2の実施の形態と同じ処理であるが、ステップS16の視差量調製の代わりに、ステップS17の視差量調整を行う。すなわち、図7のステップS21からステップS26の処理を行う。この時の処理の流れを図7のフローチャートを用いて以下に説明する。
【0044】
ステップS21では、処理対象の立体画像の視差量取得エリアの初期値として、画像全体を指定する。
ステップS22では、視差量取得エリア内において、各画素ごとのび出し量及び引き込み量を比較し、視差量取得エリア内の最大飛び出し量f’及び最大引き込み量b’を取得する。本実施の形態では、予め画像の各画素ごとに飛び出し量及び引き込み量の情報がタグ情報として付加されていることとするが、ステレオマッチングにより自動的に各画素ごとに求める方法もあり、タグ情報からの取得に限定するものではない。また、全ての画素において、飛び出し量及び引き込み量を所得する必要はなく、視差量取得エリア内の一部の特徴的な画素について、取得する方法を用いても良い。
【0045】
ステップS23では、立体画像全体をずらす視差量の調整により立体視が可能となるかどうかを判断する。図6で示すようにf−th_f’だけずらすことにより、立体画像全体を立体ディスプレイから引っ込むように表示することで、快適な立体視が可能となる。しかし、f’−b’が、th_f−th_bよりも大きい時には、単純に左右画像全体をずらすだけでは、飛び出しの補正を行うことは出来ない。
【0046】
従って、パソコンのCPUは、f’−b’が、th_f−th_bよりも大きい時には、上記視差量の調整により立体視が可能とならないと判断し、ステップS24にて、視差量取得エリアを縮小して、再度、ステップS22からの処理を繰り返す。本実施形態では、図9で示すように、初期値として立体画像全体を範囲L1(横w1,縦h2)に設定し、L1にて補正処理が行えないときには、L2(横w2,縦h2)を補正処理を行う範囲とし、L2で補正処理が行えないときには、L3(横w3,縦h3)…と繰り返す。ここで、wn=0.9×wn−1、hn=0.9×hn−1とするが、この漸化式に限定するものではない。
【0047】
こうして、パソコンのCPUは、ステップ23にて視差量の調整により立体視が可能と判断した場合に、ステップS25にて立体画像のずらしによる視差量調整を行う。
【0048】
立体感の調整を行う点として画面中央でなく、一番飛び出しが大きい物体や最も注目している物体を、予め注目点として指定しておき、その注目点周辺を優先して立体感の調整を行うことにより、立体視しやすいように表示することも可能である。
【0049】
<第4の実施の形態>
これまで説明したいずれの実施の形態もパソコン上のアプリケーションに限定するものではなく、TVやPDA、携帯電話等でも実施可能である。これについて、本発明の第4の実施の形態として以下に説明する。
【0050】
第4の実施の形態は、図10に示すように、立体画像データ供給部10、データ処理用一時記憶部11、立体画像表示部12、拡大率指定部13、視差調整部14、警告判定部15、警告表示部16から構成される。
【0051】
まず、立体画像データ供給部10から立体画像データの各画素ごとの色データ及び視差データが、立体画像表示部12から表示装置の大きさ及び解像度、クロストークの大きさが、データ処理用記憶部11に格納される。ここで、立体画像データ供給部10として、磁気ディスクや半導体メモリー、有線及び無線ネットワークによるデータ送信等が考えられる。データ処理用一時記憶部として、PDAや携帯電話等に搭載される半導体メモリーや磁気ディスク等が考えられる。
【0052】
次に、ユーザーによって、拡大率指定部13により、立体画像表示をする時の拡大率を指定する。拡大率指定部13としては、拡大縮小を行うボタンや、ダイヤル等が考えられる。
【0053】
視差調整部14では、データ処理用記憶部11に格納されている立体画像データに対して、第1の実施形態におけるステップS1〜S5と同様の処理を行う。すなわち、データ処理用記憶部11に格納されているディスプレイ情報を取得し、立体画像データの立体視可能な視差範囲を取得し、これを立体画像の視差量と比較して、立体画像の視差量が立体視可能な視差範囲内にあるかを判定する。
【0054】
もし、立体視可能な視差範囲外である場合、警告処理部15が、立体画像表示部12にて警告する。警告表示する文言は、データ処理用記憶部11に記憶されており、立体画像の視差量が立体視可能な視差範囲からどの程度ずれているかにより、警告処理部15が判断する。こうして、警告する文言を一旦データ処理用記憶部11に格納して立体画像表示部12にてオーバーレイ表示して警告する。警告は、立体画像表示部12とは別の警告専用示部を用いても良いし、スピーカーやヘッドフォンを使用して警告音等で警告しても良い。
【0055】
また、視差調整部14では、データ処理用記憶部11に格納されている立体画像に対して、第2実施形態におけるステップS16や第3の実施形態におけるステップS21からステップS26の処理も行い、その調整処理画像を一旦データ処理用記憶部11に格納してから立体画像表示部12にて立体画像を表示する。
【0056】
【発明の効果】
本発明によれば、立体画像の視差量が立体視可能な視差範囲内にあるか否かを判定するので、立体視できない場合に対応処置をとることができる。例えば、ユーザに警告を行ったり、立体画像の視差量を調整したりできる。また、立体画像を拡大・縮小する時にも、立体画像の視差量が立体視できる視差範囲にあるか判定して、その結果立体視が困難になる時は、各対応処置がとれる。
【0057】
また、立体視が困難になる時は、立体画像の全体もしくは一部の範囲の視差量(例えば、最大飛び出し量及び最大引き込み量)と、立体ディスプレイ上にて快適に立体視できる視差範囲を考慮し、できるだけ快適に立体視ができるように、視差を調整することが可能となる。
【図面の簡単な説明】
【図1】第1の実施の形態の立体画像のGUI画面を示す説明図である。
【図2】第1の実施の形態の処理を示すフローチャートである。
【図3】第2の実施の形態の立体画像のGUI画面を示す説明図である。
【図4】第2の実施の形態の処理を示すフローチャートである。
【図5】補正処理における立体画像の視差量を示す説明図である。
【図6】左右画像のずらし量を変更することによる立体感の補正を示す説明図である。
【図7】第3の実施の形態の処理を示すフローチャートである。
【図8】第3の実施の形態のステップ17の処理を示すフローチャートである。
【図9】視差量取得エリアの変更方法を示す説明図である。
【図10】第4の実施の形態の立体処理装置を示すブロック図である。
【図11】立体画像の飛び出しを説明する図である。
【図12】立体画像のひっこみを説明する図である。
【符号の説明】
1 立体ディスプレイ
2,6 立体画像表示アプリケーションの処理表示画像
3 立体画像表示エリア
4 拡大率変更バー
5 警告表示エリア
10 立体画像データ供給部
11 データ処理用記憶部
12 立体画像表示部
13 拡大率指定部
14 視差調整部
15 警告処理部
[0001]
BACKGROUND OF THE INVENTION
When the stereoscopic image is enlarged or reduced, the amount of parallax changes, so that when the enlarged stereoscopic image becomes difficult to stereoscopically view or has a stereoscopic effect, the user is warned to that effect, The present invention relates to a stereoscopic image processing apparatus, a stereoscopic image processing program, and a recording medium on which the program is recorded.
[0002]
[Prior art]
Conventionally, various studies have been made on a three-dimensional display that enables stereoscopic display by displaying different images for the left eye and the right eye. In the old days, there is a method of adjusting the position of the lens of a camera, arranging a photograph corresponding to what is viewed from the left eye of a human and a photograph corresponding to viewing from the right eye, and viewing it through a binocular adapter. Recently, by combining a video camera and a liquid crystal shutter during recording, the right-eye image and the left-eye image are alternately recorded for each frame, and during playback, glasses using two liquid crystal shutters instead of the left and right binocular lenses are used. For example, there is a technique that enables stereoscopic display by alternately turning on / off the liquid crystal shutter.
[0003]
In such a method that enables stereoscopic viewing by observing different images between the left and right eyes, the distance between the corresponding points of the left and right images (hereinafter referred to as parallax) is comfortably three-dimensional. Although it can be seen, if the parallax increases, the images of both eyes will not be fused and stereoscopic viewing will not be possible. The magnitude of the parallax at this time has been reported, for example, according to “Guidelines for 3D Video” published by the Mechanical Systems Promotion Association in 2002.
[0004]
When displaying stereoscopic images that are difficult to view stereoscopically because the binocular images are not fused due to the large parallax, the parallax is adjusted by shifting the display position of the left and right images on the stereoscopic display, and the stereoscopic image is displayed in an easy-to-view manner. The method is disclosed in the following Patent Document 1 and Patent Document 2.
[0005]
[Patent Document 1]
JP 2000-78615 A [Patent Document 2]
JP-A-10-221775 [0006]
[Problems to be solved by the invention]
However, when the stereoscopic image according to the conventional technique is enlarged or reduced, there is a problem that the pop-out amount or the pull-in amount of the stereoscopic image changes, and a desired stereoscopic effect cannot be obtained.
[0007]
In the following, first, the principle of a stereoscopic display that performs stereoscopic viewing by displaying different images on the left and right eyes will be briefly described with reference to FIGS. 11 and 12. Each of these drawings is a schematic view of the stereoscopic display 1 as viewed from above when the user observing the binocular distance d is observed.
[0008]
In general, the distance between both eyes of the user is d [m], the distance between the user and the stereoscopic display 1 is D [m], the width of the display is W [m], the resolution of the display is P [dot], If the distance between corresponding points is l [dot],
The pop-up amount z [m] when the stereoscopic image pops out is
z = (l × W / P) × D / (d + (l × W / P)) (1)
The pull-in amount z [m] when the stereoscopic image is retracted is
z = (l × W / P) × D / (d− (l × W / P)) (2)
The parallax θ at this time is
θ = tan −1 (l / 2D) × 2 Equation (3)
It is expressed.
[0009]
When a stereoscopic image is enlarged or reduced on such a stereoscopic display, the amount of shift between the left and right images changes, and the stereoscopic effect changes. FIG. 11A illustrates a stereoscopic image before enlargement processing, and FIG. 11B illustrates a stereoscopic image after enlargement processing. When a stereoscopic image that pops out before the stereoscopic display as shown in FIG. 11A is enlarged, the pop-out amount increases as shown in FIG. Here, l ′ represents the left and right corresponding points after enlargement, and z ′ represents the pop-out amount after enlargement.
[0010]
As shown in FIG. 12A, when a stereoscopic image that is retracted deeper than the stereoscopic display is enlarged and displayed, the amount of pull-in increases, and depending on the enlargement ratio, both eyes are focused as shown in FIG. The stereoscopic view is not possible. On the contrary, when the stereoscopic image is reduced, the shift between the left and right images becomes small, so that the pop-out amount or the pull-in amount becomes small and the stereoscopic effect becomes weak.
[0011]
In this way, when a stereoscopic image is enlarged or reduced, the parallax increases when the image is enlarged, so that the pop-out becomes large.On the other hand, when the image is reduced, the pop-out becomes small because the parallax becomes small. If enlargement / reduction is performed by the same method as that of the two-dimensional image, there is a problem that a desired stereoscopic view cannot be achieved and confusion occurs, or an unreasonable stereoscopic view is caused and an eye strain is applied.
[0012]
It is an object of the present invention to warn a user when a stereoscopic image is enlarged or reduced, so that the amount of parallax changes. An object is to provide an image processing apparatus, a stereoscopic image processing program, and a recording medium on which the program is recorded.
[0013]
[Means for Solving the Problems]
The present invention relates to a parallax range acquisition unit that acquires a parallax range suitable for stereoscopic vision , a parallax amount acquisition unit that acquires a parallax amount of a stereoscopic image, and whether or not the parallax amount of the stereoscopic image is within the parallax range. Determining means for determining the parallax, parallax adjustment means for adjusting the parallax amount of the stereoscopic image, and designation means for designating a point of interest for adjusting the parallax amount ,
When the determination unit determines that the parallax amount of the stereoscopic image is not within the parallax range, the parallax adjustment unit preferentially sets the parallax amount acquisition range around the attention point designated by the designation unit. A stereoscopic image processing apparatus that performs reduction and adjusts a parallax amount by shifting the stereoscopic image.
[0014]
The stereoscopic image processing apparatus further includes an enlargement factor designating unit for enlarging or reducing the stereoscopic image and displaying the stereoscopic image enlarged or reduced according to the designated enlargement factor. amount of parallax you characterized by determining whether it is within the parallax range.
[0015]
Here, the determination unit may make a determination process about a partial area of the three-dimensional image.
[0016]
The front Symbol parallax range acquisition means uses the crosstalk capacity of the left and right images of a stereoscopic display for displaying the stereoscopic image, characterized in that to reduce the disparity range as crosstalk increases. Further, the parallax amount acquisition device is characterized by using the amount of maximum protrusion and maximum pull-in amount suitable for stereoscopic viewing is added in advance the stereoscopic image.
[0017]
In addition, the present invention is a stereoscopic image processing program that causes a computer to function as each of the above means.
[0018]
The present invention is also a computer-readable recording medium on which the program is recorded.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0020]
<First Embodiment>
In the first embodiment of the present invention, a personal computer (hereinafter abbreviated as a personal computer) performs a stereoscopic display process using a stereoscopic image display GUI application software to display a stereoscopic display on a stereoscopic display. That is, a CPU provided in a personal computer processes a moving image or a still image according to stereoscopic display application software recorded on a recording medium such as a CD-ROM or a hard disk, and displays the stereoscopic display on a stereoscopic display. Further, when the user gives an instruction regarding the three-dimensional processing using the mouse or the keyboard, the CPU performs processing based on the instruction.
[0021]
FIG. 1 is a diagram for explaining a display image on a stereoscopic display according to the first embodiment, and a processing display image 2 by a stereoscopic image display application is displayed on the display 1. The processing display image 2 of the stereoscopic image display application includes a stereoscopic image display area 3, an enlargement rate change bar 4, and a warning display area 5.
[0022]
As can be seen from FIGS. 11 and 12 used in the description of the prior art, when a stereoscopic image is displayed in an enlarged manner, both the pop-out amount that appears to pop out from the three-dimensional display and the pull-in amount that appears to be retracted deeper than the three-dimensional display are displayed. When it is enlarged and becomes larger than a certain threshold value, stereoscopic viewing becomes impossible. At this time, if the maximum pop-out amount and the maximum pull-in amount of the stereoscopic image to be displayed in advance are known, how much the pop-out amount and the pull-in amount of the three-dimensional image are determined according to the enlargement ratio according to the expressions (1) and (2). You will be asked if it will change. In the present embodiment, for example, a warning is given to the user when the projection of the stereoscopic image becomes strong and the user is burdened if the stereoscopic image is viewed for a long time.
[0023]
Next, the processing flow of the first embodiment will be described with reference to the flowchart of FIG.
[0024]
In step S1, display information is acquired. Here, the display information is a display width W [m], a display resolution P [dot], and a distance D [m] between the user and the display. The distance between the user and the display may be accurately obtained by using a position sensor or the like. For example, if the display size is 15 inches, the distance from the user is about 1 m. It is convenient to store the approximate distance in a database or the like in advance to determine how far away the user is depending on the distance.
[0025]
Also, in a stereoscopic display that displays different images on the left and right eyes to produce a stereoscopic effect, for example, when using separate display devices for the left and right eyes, such as an HMD, the left and right images are not mixed. In a barrier-type or lenticular-type three-dimensional display, an image viewed from the left eye of the user may be slightly overlapped with an image for the right eye. This is called crosstalk. In general, the better the stereoscopic display is, the less crosstalk there is, and the greater the crosstalk, the narrower the range for comfortable stereoscopic viewing. For this reason, crosstalk information may be included as display information, and when the crosstalk is large as described below, the range of parallax that can be comfortably stereoscopically viewed on a stereoscopic display may be reduced.
[0026]
Therefore, in step S2, a parallax range that can be stereoscopically viewed is acquired.
The CPU of the personal computer uses Equation (1), Equation (2), and Equation (3) to calculate the amount of parallax θ within the range that can be comfortably stereoscopically viewed at this time, based on the deviation of the left and right images. The pop-out amount th_f [dot] and the pull-in amount th_b [dot] within the range where stereoscopic viewing is possible are determined. Here, th_f and th_b are expressed as the distance (parallax) between corresponding points on the left and right on the stereoscopic display surface. As apparent from FIGS. 11 and 12, in the image popping out from the screen, the left eye image is on the right side of the right eye image, and in the image retracted from the screen, the left eye image is on the left side of the right eye image. The degree of deviation of the right eye image is obtained with reference to the left eye image, and the parallax value is positive when popping out (left eye image is on the right side), and the parallax value is negative when retracting (left eye image is on the left side).
[0027]
It can be said that the range of the parallax value from th_f to th_b is the maximum parallax range of stereoscopic display that allows comfortable stereoscopic viewing. Further, th_f and th_b are threshold values indicating the maximum parallax range, respectively.
[0028]
The parallax amount θ that can be stereoscopically viewed comfortably has been empirically determined by various studies, and is known to correlate with the size of the stereoscopic display and crosstalk. For example, when the range of θ that can be stereoscopically viewed comfortably when using a 15-inch stereoscopic display is 35 minutes for protrusion and 35 minutes for withdrawal, and the distance between both eyes of the user is 60 mm, the threshold value indicating the maximum parallax range for stereoscopic display is about th_f = 25, th_b = −25 [dot]. Accordingly, the parallax range in which stereoscopic viewing is possible is −25 ≦ θ ≦ 25. As a matter of course, this numerical value changes depending on the information of the display acquired in S1, and since it is a value obtained empirically only, the expressions (1), (2), and (3) are used. Instead, it is naturally conceivable that the value obtained by experimenting the display performance of the three-dimensional display is stored in advance in a database or the like and used by the CPU.
[0029]
In step S3, the maximum pop-out amount f [dot] and the maximum pull-in amount b [dot] of the stereoscopic image as a display source, that is, the maximum parallax amount of the stereoscopic image is acquired from the tag information of the stereoscopic image. Here, the tag information is additional information separately attached to the stereoscopic image, such as a shooting condition at the time of shooting. In the present embodiment, information on the maximum pop-out amount and the maximum pull-in amount of the stereoscopic image is added as tag information in advance. However, there is a method of automatically obtaining information on f and b by stereo matching, and tag information It is not limited to acquisition from. Here, f and b are expressed as the amount of parallax on the stereoscopic display surface. These values indicate the parallax range (parallax range) of the stereoscopic image.
[0030]
In step S <b> 4, the user inputs a ratio E [%] of enlargement or reduction of the stereoscopic image through the enlargement ratio change bar 4. The input of the enlargement ratio may be changed by pressing a specific keyboard, or may be changed by a mouse scroll bar, and is not limited to the enlargement ratio change bar. Further, the present invention can deal with not only enlargement processing but also reduction processing, and in step S5, the enlargement or reduction ratio can be acquired.
[0031]
In step S5, it is determined whether or not the parallax amount of the stereoscopic image is within a parallax range in which stereoscopic viewing is possible. The enlargement ratio E [%] obtained in step S4 is multiplied by the maximum pop-out amount f and the maximum pull-in amount b obtained in step S3, respectively, and the maximum pop-out amount f ′ = Ef [ dot] and the maximum pull-in amount b ′ = Eb [dot] of the stereoscopic image after enlargement are compared with th_f and th_b obtained in step S3, and within the parallax range in which stereoscopic vision is possible in step S5. It is determined whether or not. If the parallax amount of the stereoscopic image is within the parallax range, the process is terminated, and if the parallax amount of the stereoscopic image is outside the parallax range, the process proceeds to step S6.
[0032]
In step S6, the CPU of the personal computer determines that the amount of parallax of the stereoscopic image has deviated from the parallax range in which stereoscopic viewing is possible, “jumping is too strong”, “retraction is too strong”, “jumping is weak. Messages such as “Too much” and “Retraction is too weak” are determined and displayed in the warning display area 5. At this time, the message may be notified by voice, or the color of the stereoscopic image display area 3 may be changed. The warning to the user is not limited to the display of the message in the warning display area 5.
[0033]
In this embodiment, the parallax amount [dot], which is a shift between corresponding points of the left and right images, is used for the determination of the pop-out amount of the three-dimensional image. However, as shown in FIGS. It is obvious that the determination may be made using the amount z [m] that appears to jump out of the screen.
[0034]
<Second Embodiment>
A second embodiment of the present invention will be described.
The processing display image 6 of the stereoscopic display 1 in the second embodiment includes a stereoscopic image display area 3, an enlargement ratio change bar 4, and a warning display area 5, as shown in FIG.
[0035]
The processing flow of the second embodiment will be described with reference to the flowchart of FIG. Steps S1 to S5 are the same as those in the first embodiment.
[0036]
In step S16, as shown in FIG. 5, the pop-out correction (parallax amount adjustment) is performed. 5A shows the parallax range of the stereoscopic image before the enlargement process, FIG. 5B shows the parallax range of the stereoscopic image after the enlargement process, and FIG. 5C shows the parallax range of the stereoscopic image after the correction process. ing. In FIG. 5, the horizontal axis indicates the magnitude of the shift (dot) between the stereo corresponding points of the left and right images, and the hatched range indicates the range of parallax that can be comfortably stereoscopically viewed. The symbol indicates that the maximum pop-out amount of the stereoscopic image before enlarging processing is f, the pull-in amount is b, the maximum pop-out amount of the enlarged image is f ′, the pull-in amount is b ′, and the stereoscopic display can be comfortably viewed stereoscopically. The maximum pop-out amount is th_f and the pull-in amount is th_b. Even if the maximum pop-out amount f ′ of the enlarged image is larger than th_f, if f′−b ′ is smaller than th_f−th_b, the entire right image is shifted by f−th_f ′ as shown in FIG. Thus, the stereoscopic effect is corrected by displaying the entire stereoscopic image so as to be retracted from the stereoscopic display. In FIG. 6, a portion 6 surrounded by a broken line represents the original image, and a portion 7 surrounded by a solid line represents the image after the shifting process. However, when f′−b ′ is larger than th_f−th_b, the pop-out cannot be corrected by simply shifting the entire right image.
[0037]
Similarly, when the maximum pull-in amount b ′ of the enlarged image is smaller than th_b and f′−b ′ is smaller than th_f−th_b, the entire right image is shifted by b′−th_b. By displaying the entire stereoscopic image so as to jump out of the stereoscopic display, comfortable stereoscopic viewing becomes possible. When the shift amount is positive, the entire right image is shifted to the right, and when the shift amount is negative, the entire right image is shifted to the left.
[0038]
In this embodiment, the pop-up correction of the entire stereoscopic image is performed by shifting the right image, but it is not limited to shifting the right image, but the method of fixing the right image and shifting the left image, or both simultaneously shifting May be.
[0039]
Furthermore, when f′−b ′ is larger than th_f−th_b, the warning area displays “too strong to correct” or displays only one of the left and right images in the stereoscopic image display area. However, the warning display area 5 is not indispensable and it is not necessary to warn.
[0040]
In addition to correcting the stereoscopic effect at the time of enlargement processing, it is also possible to emphasize and display the stereoscopic effect by popping out or retracting a stereoscopic image that has been reduced in depth due to the reduction process. It is. For example, in step S16, as a process when the enlargement ratio in step S4 is smaller than 1, the stereoscopic image after the reduction process is shifted by ff ′ so as to protrude to the front from the display, thereby reducing the image after the reduction process. By making the maximum pop-up position the same as before processing, it is possible to make a three-dimensional image with a large pop-out feeling pop out greatly before the screen even after reduction. Conversely, the maximum pull-in position may be fixed and the pull-in amount may be the same without fixing the maximum pop-out position.
[0041]
<Third Embodiment>
A third embodiment of the present invention will be described.
The third embodiment is an improvement of the pop-out correction process (parallax amount adjustment process) in step S16 in the second embodiment.
[0042]
In the present embodiment, even when a comfortable stereoscopic view is impossible even if the entire stereoscopic image is shifted, the stereoscopic effect is adjusted by giving priority to the central portion of the stereoscopic image so that the stereoscopic view can be easily performed. Can be displayed. This utilizes the characteristic that human vision can clearly see objects in the center rather than the periphery of the visual field.
[0043]
In the third embodiment, steps S1 to S5 in the flowchart shown in FIG. 4 are the same as those in the second embodiment, but the parallax adjustment in step S17 is performed instead of the parallax adjustment in step S16. I do. That is, the processing from step S21 to step S26 in FIG. 7 is performed. The flow of processing at this time will be described below with reference to the flowchart of FIG.
[0044]
In step S21, the entire image is designated as the initial value of the parallax amount acquisition area of the stereoscopic image to be processed.
In step S22, in the parallax amount acquisition area, the protrusion amount and the pull-in amount for each pixel are compared, and the maximum pop-out amount f ′ and the maximum pull-in amount b ′ in the parallax amount acquisition area are acquired. In the present embodiment, information on the amount of popping out and the amount of pulling in is preliminarily added as tag information for each pixel of the image, but there is also a method for automatically obtaining each pixel by stereo matching. It is not limited to acquisition from. In addition, it is not necessary to obtain the pop-out amount and the pull-in amount for all the pixels, and a method for acquiring some characteristic pixels in the parallax amount acquisition area may be used.
[0045]
In step S23, it is determined whether or not stereoscopic viewing is possible by adjusting the amount of parallax for shifting the entire stereoscopic image. As shown in FIG. 6, by shifting by f−th_f ′, the entire stereoscopic image is displayed so as to be retracted from the stereoscopic display, thereby enabling comfortable stereoscopic viewing. However, when f′−b ′ is larger than th_f−th_b, the pop-out cannot be corrected by simply shifting the entire left and right images.
[0046]
Therefore, when f′−b ′ is larger than th_f−th_b, the CPU of the personal computer determines that stereoscopic viewing is not possible by adjusting the parallax amount, and reduces the parallax amount acquisition area in step S24. Then, the processing from step S22 is repeated again. In the present embodiment, as shown in FIG. 9, the entire stereoscopic image is set as an initial value in a range L1 (horizontal w1, vertical h2), and when correction processing cannot be performed in L1, L2 (horizontal w2, vertical h2). Is a range for performing the correction process, and when the correction process cannot be performed in L2, L3 (horizontal w3, vertical h3)... Is repeated. Here, wn = 0.9 × wn−1 and hn = 0.9 × hn−1 are set, but the present invention is not limited to this recurrence formula.
[0047]
Thus, if the CPU of the personal computer determines in step 23 that stereoscopic viewing is possible by adjusting the parallax amount, in step S25, the parallax amount is adjusted by shifting the stereoscopic image.
[0048]
As the point to adjust the stereoscopic effect, specify the object with the largest pop-out or the most focused object as the point of interest in advance, not the center of the screen, and adjust the stereoscopic effect with priority on the area around the point of interest. By doing so, it is possible to display so as to facilitate stereoscopic viewing.
[0049]
<Fourth embodiment>
Any of the embodiments described so far is not limited to applications on a personal computer, and can be implemented on a TV, a PDA, a mobile phone, or the like. This will be described below as a fourth embodiment of the present invention.
[0050]
As shown in FIG. 10, the fourth embodiment includes a stereoscopic image data supply unit 10, a data processing temporary storage unit 11, a stereoscopic image display unit 12, an enlargement ratio designation unit 13, a parallax adjustment unit 14, and a warning determination unit. 15 and a warning display unit 16.
[0051]
First, the color data and the parallax data for each pixel of the stereoscopic image data from the stereoscopic image data supply unit 10, the size and resolution of the display device, and the size of the crosstalk from the stereoscopic image display unit 12 are stored in the data processing storage unit. 11. Here, as the stereoscopic image data supply unit 10, data transmission by a magnetic disk, a semiconductor memory, a wired and a wireless network, or the like can be considered. As a temporary storage unit for data processing, a semiconductor memory or a magnetic disk mounted on a PDA, a mobile phone or the like can be considered.
[0052]
Next, the enlargement ratio designating unit 13 designates the enlargement ratio when displaying a stereoscopic image. As the enlargement ratio designating unit 13, a button for performing enlargement or reduction, a dial, or the like can be considered.
[0053]
The parallax adjustment unit 14 performs the same processing as steps S <b> 1 to S <b> 5 in the first embodiment on the stereoscopic image data stored in the data processing storage unit 11. That is, the display information stored in the data processing storage unit 11 is acquired, the stereoscopic view parallax range of the stereoscopic image data is acquired, and this is compared with the parallax amount of the stereoscopic image, so that the parallax amount of the stereoscopic image is obtained. Is within the parallax range in which stereoscopic viewing is possible.
[0054]
If it is out of the parallax range in which stereoscopic viewing is possible, the warning processing unit 15 warns the stereoscopic image display unit 12. The wording for warning display is stored in the data processing storage unit 11, and the warning processing unit 15 determines based on how much the parallax amount of the stereoscopic image deviates from the parallax range in which stereoscopic viewing is possible. In this way, the warning wording is temporarily stored in the data processing storage unit 11 and overlaid on the stereoscopic image display unit 12 for warning. For the warning, a warning dedicated display unit different from the stereoscopic image display unit 12 may be used, or a warning sound or the like may be given using a speaker or headphones.
[0055]
In addition, the parallax adjustment unit 14 also performs the processing of Step S16 in the second embodiment and Steps S21 to S26 in the third embodiment on the stereoscopic image stored in the data processing storage unit 11, The adjustment processed image is temporarily stored in the data processing storage unit 11 and then displayed on the stereoscopic image display unit 12.
[0056]
【The invention's effect】
According to the present invention, since it is determined whether or not the amount of parallax of a stereoscopic image is within a parallax range in which stereoscopic viewing is possible, it is possible to take a countermeasure when stereoscopic viewing is not possible. For example, a warning can be given to the user, or the amount of parallax of a stereoscopic image can be adjusted. Also, when enlarging / reducing a stereoscopic image, it is determined whether the parallax amount of the stereoscopic image is within a parallax range in which stereoscopic viewing is possible.
[0057]
Also, when stereoscopic viewing becomes difficult, consider the parallax amount of the entire or partial range of the stereoscopic image (for example, the maximum pop-out amount and the maximum pull-in amount) and the parallax range that allows comfortable stereoscopic viewing on the stereoscopic display. In addition, the parallax can be adjusted so that stereoscopic viewing can be performed as comfortably as possible.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a stereoscopic image GUI screen according to a first embodiment;
FIG. 2 is a flowchart illustrating a process according to the first embodiment.
FIG. 3 is an explanatory diagram showing a stereoscopic image GUI screen according to the second embodiment;
FIG. 4 is a flowchart illustrating a process according to the second embodiment.
FIG. 5 is an explanatory diagram illustrating a parallax amount of a stereoscopic image in a correction process.
FIG. 6 is an explanatory diagram illustrating correction of stereoscopic effect by changing the shift amount of the left and right images.
FIG. 7 is a flowchart illustrating a process according to the third embodiment.
FIG. 8 is a flowchart illustrating processing of step 17 according to the third embodiment.
FIG. 9 is an explanatory diagram illustrating a method of changing a parallax amount acquisition area.
FIG. 10 is a block diagram illustrating a three-dimensional processing apparatus according to a fourth embodiment.
FIG. 11 is a diagram illustrating pop-out of a stereoscopic image.
FIG. 12 is a diagram for explaining the confinement of a stereoscopic image.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 3D display 2, 6 Process display image of 3D image display application 3D image display area 4 Magnification rate change bar 5 Warning display area 10 3D image data supply unit 11 Data processing storage unit 12 3D image display unit 13 Magnification rate designation unit 14 Parallax adjusting unit 15 Warning processing unit

Claims (9)

立体視に適した視差範囲を取得する視差範囲取得手段と、
立体画像の視差量を取得する視差量取得手段と、
前記立体画像の視差量が前記視差範囲内にあるか否かを判定する判定手段と、
前記立体画像の視差量を調整する視差調整手段と、
視差量を調整するための注目点を指定する指定手段と、
を備え、
前記視差範囲取得手段は、前記立体画像を表示する立体ディスプレイの左右画像のクロストーク能力を用い、クロストークが大きくなるほど前記視差範囲を小さくし、
前記判定手段が前記立体画像の視差量が前記視差範囲内にないと判定した場合に、前記視差調整手段が、前記指定手段により指定された注目点の周辺を優先して視差量の取得範囲を縮小し、前記立体画像のずらしによる視差量の調整を行うことを特徴とする立体画像処理装置。
Parallax range acquisition means for acquiring a parallax range suitable for stereoscopic vision;
Parallax amount acquisition means for acquiring the parallax amount of the stereoscopic image;
Determination means for determining whether or not a parallax amount of the stereoscopic image is within the parallax range;
Parallax adjusting means for adjusting the parallax amount of the stereoscopic image;
A designation means for designating a point of interest for adjusting the amount of parallax;
With
The parallax range acquisition means uses the crosstalk capability of the left and right images of the stereoscopic display for displaying the stereoscopic image, and decreases the parallax range as the crosstalk increases.
When the determination unit determines that the parallax amount of the stereoscopic image is not within the parallax range, the parallax adjustment unit preferentially sets the parallax amount acquisition range around the attention point designated by the designation unit. A stereoscopic image processing apparatus that performs reduction and adjusts a parallax amount by shifting the stereoscopic image.
前記立体画像を拡大あるいは縮小して表示させるための拡大率指定手段をさらに備え、
前記判定手段は、前記指定された拡大率に従って拡大あるいは縮小された前記立体画像の視差量が前記視差範囲内にあるか否かを判定することを特徴とする請求項1に記載の立体画像処理装置。
Further comprising an enlargement ratio designating means for displaying the stereoscopic image in an enlarged or reduced manner,
2. The stereoscopic image processing according to claim 1, wherein the determination unit determines whether or not a parallax amount of the stereoscopic image enlarged or reduced according to the designated enlargement ratio is within the parallax range. apparatus.
前記判定手段は、前記立体画像の一部の領域について判定処理を行うことを特徴とする請求項1または2に記載の立体画像処理装置。  The stereoscopic image processing apparatus according to claim 1, wherein the determination unit performs a determination process on a partial region of the stereoscopic image. 前記視差量取得手段は、予め前記立体画像に付加されている立体視に適する最大飛び出し量および最大引き込み量を用いることを特徴とする請求項1乃至のいずれかに記載の立体画像処理装置。The stereoscopic image processing apparatus according to any one of claims 1 to 3 , wherein the parallax amount acquisition unit uses a maximum pop-out amount and a maximum pull-in amount suitable for stereoscopic vision, which are added to the stereoscopic image in advance. コンピュータを、
立体視可能な視差範囲を取得する視差範囲取得手段と、
立体画像の視差量を取得する視差量取得手段と、
前記立体画像の視差量が前記視差範囲内にあるか否かを判定する判定手段と、
前記立体画像の視差量を調整する視差調整手段と、
視差量を調整するための注目点を指定する指定手段として機能させ、
前記視差範囲取得手段は、前記立体画像を表示する立体ディスプレイの左右画像のクロストーク能力を用い、クロストークが大きくなるほど前記視差範囲を小さくし、
前記判定手段が前記立体画像の視差量が前記視差範囲内にないと判定した場合に、前記視差調整手段に、前記指定手段により指定された注目点の周辺を優先して視差量の取得範囲を縮小し、前記立体画像のずらしによる視差量の調整を行うことを特徴とする立体画像処理プログラム。
Computer
Parallax range acquisition means for acquiring a stereoscopically viewable parallax range;
Parallax amount acquisition means for acquiring the parallax amount of the stereoscopic image;
Determination means for determining whether or not a parallax amount of the stereoscopic image is within the parallax range;
Parallax adjusting means for adjusting the parallax amount of the stereoscopic image;
Function as a designation means to designate the point of interest for adjusting the amount of parallax,
The parallax range acquisition means uses the crosstalk capability of the left and right images of the stereoscopic display for displaying the stereoscopic image, and decreases the parallax range as the crosstalk increases.
When the determination unit determines that the parallax amount of the stereoscopic image is not within the parallax range, the parallax adjustment unit has a parallax amount acquisition range given priority to the periphery of the point of interest specified by the specification unit. A stereoscopic image processing program that reduces and adjusts the amount of parallax by shifting the stereoscopic image.
コンピュータを、
前記立体画像を拡大あるいは縮小して表示させるための拡大率指定手段としてさらに機能させ、
前記判定手段は、前記指定された拡大率に従って拡大あるいは縮小された前記立体画像の視差量が前記視差範囲内にあるか否かを判定することを特徴とする請求項5に記載の立体画像処理プログラム。
Computer
Further functioning as an enlargement ratio designating means for displaying the stereoscopic image enlarged or reduced,
6. The stereoscopic image processing according to claim 5, wherein the determination unit determines whether or not a parallax amount of the stereoscopic image enlarged or reduced according to the designated enlargement ratio is within the parallax range. program.
前記判定手段は、前記立体画像の一部の領域について判定処理を行うことを特徴とする請求項またはに記載の立体画像処理プログラム。Said determination means three-dimensional image processing program according to claim 5 or 6, characterized in that a determination process about a partial area of the three-dimensional image. 前記視差量取得手段は、予め前記立体画像に付加されている立体視に適する最大飛び出し量および最大引き込み量を用いることを特徴とする請求項乃至のいずれかに記載の立体画像処理プログラム。The three-dimensional image processing program according to any one of claims 5 to 7 , wherein the parallax amount acquisition unit uses a maximum pop-out amount and a maximum pull-in amount that are preliminarily added to the stereoscopic image and suitable for stereoscopic vision. 請求項乃至のプログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium storing a program according to claim 5 to 8.
JP2003130711A 2003-04-17 2003-05-08 Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program Expired - Fee Related JP4259913B2 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2003130711A JP4259913B2 (en) 2003-05-08 2003-05-08 Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program
KR1020057018993A KR100768837B1 (en) 2003-04-17 2004-04-16 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, and recording medium recorded with 3-dimensional image processing program
PCT/JP2004/005484 WO2004093467A1 (en) 2003-04-17 2004-04-16 3-dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
US10/550,710 US7636088B2 (en) 2003-04-17 2004-04-16 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
CN2010101140928A CN101841728B (en) 2003-04-17 2004-04-16 Three-dimensional image processing apparatus
EP04728007A EP1617684A4 (en) 2003-04-17 2004-04-16 3-dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
CN200480010332A CN100596209C (en) 2003-04-17 2004-04-16 3-dimensional image creation device
US12/604,242 US7889196B2 (en) 2003-04-17 2009-10-22 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003130711A JP4259913B2 (en) 2003-05-08 2003-05-08 Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2004349736A JP2004349736A (en) 2004-12-09
JP4259913B2 true JP4259913B2 (en) 2009-04-30

Family

ID=33524469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003130711A Expired - Fee Related JP4259913B2 (en) 2003-04-17 2003-05-08 Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program

Country Status (1)

Country Link
JP (1) JP4259913B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060243A (en) * 2010-09-06 2012-03-22 Fujifilm Corp Stereoscopic image display control device, and operation control method of the same and operation control program of the same
US8687876B2 (en) 2010-09-28 2014-04-01 Fujifilm Corporation Stereoscopic image pasting system, and method and program for controlling operation of same

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007057497A1 (en) 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
EP2914000A1 (en) * 2007-06-19 2015-09-02 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
JP2010102137A (en) * 2008-10-24 2010-05-06 Fujifilm Corp Three-dimensional photographing device, method and program
JP5355208B2 (en) * 2009-05-01 2013-11-27 富士フイルム株式会社 Three-dimensional display device and digital zoom correction method
JP2010278878A (en) * 2009-05-29 2010-12-09 Fujifilm Corp Stereoscopic image device and display image switching method thereof
KR20110005205A (en) * 2009-07-09 2011-01-17 삼성전자주식회사 Signal processing method and apparatus using display size
JP5249149B2 (en) * 2009-07-17 2013-07-31 富士フイルム株式会社 Stereoscopic image recording apparatus and method, stereoscopic image output apparatus and method, and stereoscopic image recording and output system
JP5444955B2 (en) * 2009-08-31 2014-03-19 ソニー株式会社 Stereoscopic image display system, parallax conversion device, parallax conversion method, and program
CN102172032A (en) * 2009-08-31 2011-08-31 松下电器产业株式会社 Stereoscopic vision control device, integrated circuit, stereoscopic vision control method
WO2011108276A1 (en) 2010-03-05 2011-09-09 パナソニック株式会社 3d imaging device and 3d imaging method
JP5432365B2 (en) 2010-03-05 2014-03-05 パナソニック株式会社 Stereo imaging device and stereo imaging method
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
JP2011211450A (en) * 2010-03-30 2011-10-20 Victor Co Of Japan Ltd Three-dimensional video display device, three-dimensional video photographing device, and three-dimensional video display method
JP5186715B2 (en) * 2010-06-14 2013-04-24 任天堂株式会社 Display control program, display control device, display control method, and display control system
JP6106586B2 (en) * 2010-06-28 2017-04-05 トムソン ライセンシングThomson Licensing Method and apparatus for customizing 3D effect of 3D content
JP5292364B2 (en) 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus and image processing method
JP5675197B2 (en) * 2010-07-26 2015-02-25 オリンパスイメージング株式会社 Display device
JP5368399B2 (en) * 2010-09-17 2013-12-18 富士フイルム株式会社 Electronic album generating apparatus, stereoscopic image pasting apparatus, operation control method thereof, and program thereof
JP5723721B2 (en) 2010-09-28 2015-05-27 富士フイルム株式会社 Stereoscopic image editing apparatus and stereoscopic image editing method
JP2012090094A (en) * 2010-10-20 2012-05-10 Sony Corp Image processing device, image processing method, and program
WO2012060170A1 (en) * 2010-11-02 2012-05-10 シャープ株式会社 3d image display device
JP5002047B2 (en) * 2010-11-05 2012-08-15 シャープ株式会社 Stereoscopic image data playback device
JP2012103980A (en) * 2010-11-11 2012-05-31 Sony Corp Image processing device, image processing method, and program
JP5640680B2 (en) * 2010-11-11 2014-12-17 ソニー株式会社 Information processing apparatus, stereoscopic display method, and program
KR101727899B1 (en) 2010-11-26 2017-04-18 엘지전자 주식회사 Mobile terminal and operation control method thereof
JP4951131B1 (en) 2011-02-21 2012-06-13 株式会社東芝 Image display device, image processing device, and image processing method
WO2012120880A1 (en) * 2011-03-10 2012-09-13 パナソニック株式会社 3d image output device and 3d image output method
JP2012205148A (en) * 2011-03-25 2012-10-22 Kyocera Corp Electronic apparatus
JP5765418B2 (en) 2011-05-06 2015-08-19 富士通株式会社 Stereoscopic image generation apparatus, stereoscopic image generation method, and stereoscopic image generation program
CN103597822A (en) * 2011-06-06 2014-02-19 富士胶片株式会社 Image processing device, compound-eye imaging device, image processing method, and program
JP5972533B2 (en) * 2011-06-15 2016-08-17 東芝メディカルシステムズ株式会社 Image processing system and method
JP6113411B2 (en) * 2011-09-13 2017-04-12 シャープ株式会社 Image processing device
WO2013042311A1 (en) * 2011-09-20 2013-03-28 パナソニック株式会社 Stereoscopic video processing device and stereoscopic video processing method
JP5181084B1 (en) 2012-01-27 2013-04-10 パナソニック株式会社 Stereoscopic image display control apparatus and stereoscopic image display control method
JP5564633B2 (en) * 2012-02-23 2014-07-30 富士フイルム株式会社 Stereoscopic image display control apparatus, imaging apparatus including the same, and stereoscopic image display control method
JP5993937B2 (en) * 2012-03-30 2016-09-14 富士フイルム株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
WO2013173548A2 (en) * 2012-05-17 2013-11-21 Thomson Licensing Adapting large format stereoscopic content to other platforms
JP6642491B2 (en) 2017-03-09 2020-02-05 カシオ計算機株式会社 Stereo image data creation system and stereo image data creation program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (en) * 1994-06-20 2001-04-16 三洋電機株式会社 3D image device
JP3653790B2 (en) * 1995-05-23 2005-06-02 松下電器産業株式会社 3D electronic zoom device and 3D image quality control device
JP3579162B2 (en) * 1995-06-29 2004-10-20 松下電器産業株式会社 3D CG image generation device
JP2848291B2 (en) * 1995-08-24 1999-01-20 松下電器産業株式会社 3D TV device
JP3999929B2 (en) * 2000-06-16 2007-10-31 三洋電機株式会社 3D image display device
JP2002232913A (en) * 2001-01-31 2002-08-16 Canon Inc Double eye camera and stereoscopic vision image viewing system
JP2003043599A (en) * 2001-07-31 2003-02-13 Canon Inc Stereoscopic image forming method, stereoscopic image forming system, program, and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060243A (en) * 2010-09-06 2012-03-22 Fujifilm Corp Stereoscopic image display control device, and operation control method of the same and operation control program of the same
US8687876B2 (en) 2010-09-28 2014-04-01 Fujifilm Corporation Stereoscopic image pasting system, and method and program for controlling operation of same

Also Published As

Publication number Publication date
JP2004349736A (en) 2004-12-09

Similar Documents

Publication Publication Date Title
JP4259913B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing program, and recording medium recording the program
JP4212987B2 (en) Stereoscopic image display apparatus, stereoscopic image display method, program for causing computer to execute the method, and recording medium recording the program
JP5355208B2 (en) Three-dimensional display device and digital zoom correction method
JP4879932B2 (en) Stereoscopic image display method and stereoscopic image transmission method
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
US9710955B2 (en) Image processing device, image processing method, and program for correcting depth image based on positional information
US20130038611A1 (en) Image conversion device
JP2013070267A (en) Stereoscopic image converting apparatus, stereoscopic image output apparatus and stereoscopic image converting method
JP5178876B2 (en) 3D image display apparatus and 3D image display method
US20130208088A1 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2011176800A (en) Image processing apparatus, 3d display apparatus, and image processing method
JP2011199389A (en) Image processor, image conversion method, and program
US20120069004A1 (en) Image processing device and method, and stereoscopic image display device
JP4145122B2 (en) Stereoscopic image display device
JP2003348621A (en) Means for setting two-viewpoint camera
JP2010171628A (en) Image processing device, program, image processing method, recording method, and recording medium
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP4713054B2 (en) Stereo image display device, stereo image encoding device, stereo image decoding device, stereo image recording method, and stereo image transmission method
JP5127973B1 (en) Video processing device, video processing method, and video display device
JP5562122B2 (en) Image processing apparatus and control method thereof
JP2011176822A (en) Image processing apparatus, 3d display apparatus, and image processing method
JP5319728B2 (en) Parallax image generation device, display device, parallax image generation method, parallax image generation program, and recording medium recording the same
JP5579329B2 (en) Stereoscopic image display control method, stereoscopic image display control device, and imaging device
JP5250604B2 (en) Stereoscopic image display apparatus, stereoscopic image display method, and program
JP7339278B2 (en) Stereoscopic display adjusted to the viewer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081120

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees