JP2016019256A - 立体画像表示装置 - Google Patents

Abstract

【課題】３Ｄ画像再生時に、シーン切り替わりなどでの急な飛出し感の変化に対して、目への負荷が増えることが懸念されている。【解決手段】シーン切り替わり時に、飛出し感の変化に応じて画像を拡大・縮小し、飛出し感の変化を緩やかにする。【選択図】図３

Description

本発明は、立体画像を表示する立体画像表示装置に関するものである。

従来より、同一の被写体を異なる２つの角度より撮影し、それぞれを右目・左目に別々に表示することによって同一の被写体が持つ視差を利用して立体視を可能にする技術が研究されている。

右目用と左目用の画像を右目・左目に独立して表示する方法については、アナグリフ方式・偏光不フィルタ方式・液晶シャッター方式等、様々な方法が提案・製品化されている。

ところで、立体画像を作成する際、各画像の画角・ズーム倍率・焦点距離などは、撮影対象が変更されやすいシーンの切変わり目で変更されることが多い。この場合、複数のシーンを連続して再生する場合に、画面での奥行き感・飛出し感が突然切り替わることとなる。

視差を利用した立体表示は、目の自動焦点機能によって融合視することによって実現されているため、上記のような奥行き感・飛出し感が突然切り替わることが多くなると、ユーザーの目の疲労が高くなる。

このため、画面切り替わりのタイミングにおいて、立体画像を生成する右目用、左目用画像の視差よりも少ない視差の画像を生成し、視差の少ない画像から徐々に視差の大きい元の画像へ戻しながら再生を行う技術が提案されている（特許文献１）。

特開2009-239389号公報

しかしながら、上記従来例では、画像の再生と同時に視差を補完する補完画像を生成する処理を行う必要があり、シーンの切り替わり毎の再生装置の処理負荷が非常に重い。一方、立体画像を撮影することが可能なビデオカメラなどにおいて、特に廉価なラインナップの製品では、高性能なCPUやメモリを搭載することがサイズ上でもコスト上でも困難な場合が多く、上記の処理そのものが困難な場合が多い。

そこで、本発明は、小型・廉価なビデオカメラなどにおいても、少ない処理負荷によって３Ｄ出力鑑賞時の目への負担を軽減する方法を提供することを目的とする。

本発明の立体画像を表示する立体画像表示装置は、
前記立体画像の再生開始時の飛出し感を判別する開始時飛出し率判別手段と、
前記開始時飛出し率判別手段の判別結果に応じた縮小・拡大率にて前記立体画像の再生開始画像を表示する縮小・拡大表示手段と、
前記縮小・拡大率から任意の復元スピードにて元の画像サイズへ表示を順次戻す復元手段とを持つことを特徴とする。

また、本発明の他の特徴とするところは、前記復元手段は、前記再生開始画像から順次通常スピードにて画像再生を行いながらサイズを復元することを特徴とする。

また、本発明の他の特徴とするところは、前記開始時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする。

また、本発明の他の特徴とするところは、前記開始時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする。

また、本発明の他の特徴とするところは、前記立体画像の再生終了時の飛出し感を判別する終了時飛出し率判別手段と、終了前の任意のコマから任意の倍率変更スピードにて元の画像サイズから順次変更を行い、再生終了時の画像が前記終了時飛出し率判別手段の判別結果に応じた縮小・拡大率の画像となる処理を行う倍率変更手段とを持つことを特徴とする。

また、本発明の他の特徴とするところは、前記倍率変更手段は、前記終了前の任意のコマから順次通常スピードにて画像再生を行いながらサイズを変更することを特徴とする。

また、本発明の他の特徴とするところは、前記終了時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする。

また、本発明の他の特徴とするところは、前記画像が再生開始される直前の画像の飛出し率を判別する直前画像飛出し率判別手段を持ち、前記縮小・拡大表示手段は、前記直前画像飛出し率の判別結果も考慮して縮小・拡大率を決定することを特徴とする。

また、本発明の他の特徴とするところは、前記画像が再生終了した直後に表示される画像の飛出し率を判別する直後画像飛出し率判別手段を持ち、前記倍率変更手段は、前記る直後画像飛出し率判別手段の判別結果も考慮して再生終了時の画像の拡大・縮小率を決定することを特徴とする。

本発明によれば、シーンの切り替わり前後のコマでの視差を検出し、前後での視差の差異に応じて画像を縮小することによって飛出し感を低減することが可能であり、視差を低減する画像を生成する従来技術に比べ、処理負荷も軽く、小型で廉価なビデオカメラにおいても十分実現可能となっている。

実施例１におけるデジタルビデオカメラ１００の構成例を示すブロック図 画像の飛出し感の算出を行うための概念図 立体画像動画を再生する場合の再生開始時の処理フロー (a)画像再生開始時の画像表示状態 (b)元の画像 (a)図４での立体視を可能にするための左目用画像 (b) 図４での立体視を可能にするための右目用画像 実施例２における立体画像動画を再生する場合の再生開始時の処理フロー S604における判別方法 S605の縮小率決定処理のフロー 立体画像動画を再生する場合の再生終了時の処理フロー

＜第１の実施形態＞
図１は、本実施形態によるデジタルビデオカメラ１００の構成例を示すブロック図である。図１において、１０４はフォーカスレンズを含む撮影レンズ、１０５は絞り、ＮＤフィルター機能を備えるシャッター、１０６は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１０７はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０７は、撮像部１０６から出力されるアナログ信号をデジタル信号に変換するために用いられる。

１０３はバリアであり、デジタルビデオカメラ１００の、撮影レンズ１０４を含む撮像部を覆うことにより、撮影レンズ１０４、シャッター１０５、撮像部１０６を含む撮像系の汚れや破損を防止する。１０４〜１０７までそれぞれ２つ存在し、立体画像を得るための視差のある画像撮影を実現している。

１０２は画像処理部であり、Ａ／Ｄ変換器１０７からのデータ、又は、メモリ制御部１０８からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理、さらには立体画像生成処理を行う。また、画像処理部１０２では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。

ＡＥ処理ではシャッタースピード、絞り、ＮＤフィルターの制御および画像処理部１０２で画像信号のゲインの制御を行う。画像処理部１０２では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

通常、動画撮影モードにおいてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理はリアルタイムに実行されている。また、各処理のオート設定を解除したときはマニュアルで設定することが可能となる。

また、画像処理部１０２においては、再生される３Ｄ画像における左右の画像におけるフォーカス合致エリアを検出することが可能である。左右それぞれの画像のフォーカス合致エリアが分かれば、その画像の飛出し感を算出することが可能となる。

Ａ／Ｄ変換器１０７からの出力データは、画像処理部１０２及びメモリ制御部１０８を介して、或いは、メモリ制御部１０８を介してメモリ１０９に直接書き込まれる。メモリ１０９は、撮像部１０６によって得られＡ／Ｄ変換器１０７によりデジタルデータに変換された画像データや、表示部１１１に表示するための画像データを格納する。メモリ１０９は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ１０９は画像表示用のメモリ（ビデオメモリ）を兼ねている。１１０はＤ／Ａ変換器であり、メモリ１０９に格納されている画像表示用のデータをアナログ信号に変換して表示部１１１に供給する。こうして、メモリ１０９に書き込まれた表示用の画像データはＤ／Ａ変換器１１０を介して表示部１１１により表示される。表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０７によって一度Ａ／Ｄ変換されメモリ１０９に蓄積されたデジタル信号をＤ／Ａ変換部１１０においてアナログ変換し、表示部１１１に逐次転送して表示することで、電子ビューファインダ（スルー画像表示）として機能する。

不揮発性メモリ１１４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１４には、システム制御部１０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

１０１はシステム制御部であり、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ１１４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１１３はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１１３には、システム制御部１０１の動作用の定数、変数、不揮発性メモリ１１４から読み出したプログラム等を展開する。また、システム制御部はメモリ１０９、Ｄ／Ａ変換器１１０、表示部１１０等を制御することにより表示制御も行う。

システムタイマー１１２は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１１７、動画記録トリガボタン１１６、操作部１１５はシステム制御部１０１に各種の動作指示を入力するための操作手段であり、システム制御部１０１の動作モードを動画記録モード、動画再生モード等に切り替える。

システム制御部１０１は、動画記録トリガボタン１１６により、撮像部１０６からの信号読み出しから記録媒体１２２に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１１５の各操作部材は、表示部１１１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

１１９は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１９は、その検出結果及びシステム制御部１０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２２を含む各部へ供給する。

１２０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１２１はメモリカードやハードディスク等の記録媒体１２２とのインターフェースである。記録媒体１２２は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。図１における記録媒体１２２は取り外し可能であるが、記録媒体がビデオカメラ本体に内蔵されていてもよく、また取り外し可能な記録媒体と内蔵記録媒体の両方を備えていてもよい。

次に操作部１１５が付属しており、ユーザーからの各種操作情報を取得し、システム制御部へ通知することによってが撮影操作、画像再生操作などを実現している。

以上のシステムにおいて、実施例１においては、立体動画像の再生開始時に、一定以上の飛出し率があった場合に縮小した画像から再生を開始し、再生時間経過に合わせ画像を元のサイズまで復元する例を示す。

図２は、画像の飛出し感の算出を行うための概念図である。立体画像表示を行う横幅がｘ軸に沿って配置されている。この時の幅はｓである。

ユーザー位置としては、この例では画面中央に位置し、左右の目の幅は一般的に６．５ｃｍとされているため、ｘ軸方向に±３．２５ｃｍの位置に配置する。さらに、表示画像サイズと同じだけ離れていることが目への負担を軽減する目安でもあるため、画像位置からは距離ｓだけ離れていることとする。

さらに、立体表示を行う対象が、右目用の画像がｘ座標に対してプラス、左目用の画像がマイナス位置にあれば、対象立体は押し込み方向にて認識され、反対に右目用の画像がｘ座標に対してマイナス、左目用の画像がプラス位置にあれば、対象立体は飛出し方向にて認識される。

右目の画像での対象立体位置を（a,0）とした場合、対象立体は押し込み方向で認識され、その位置ｒは、
-ｒ＝sa/(3.25-a)
となる。

一方右目の画像での対象立体位置を（-a,0）とした場合、対象立体は飛出し方向で認識され、飛出し量ｒは、
ｒ＝sa/(3.25＋a)
となる。

画像処理部にて認識される左右の画像それぞれのフォーカス合致エリアからは、左右での位置ずれ情報を得ることができ、これが上記した対象立体位置aの２倍の値となり、画像が飛び出しているのか、押し込み位置に認識されるのかを判断することが可能になる。

以上の計算より、実際に表示される画像のサイズに対し、それを視聴する視聴者が立体認識する位置が比例して変化することが分かり、さらに飛出し・押し込み量の目安として、画像サイズに対する位置ずれ量を把握すれば良いこともわかる。

図３は、立体画像動画を再生する場合の再生開始時の処理フローである。再生開始すると（Ｓ３０１）、再生開始の最初の画像の対象立体位置のずれ量を検出し（Ｓ３０２）、一定値以上のずれ量かどうかを判別し（Ｓ３０３）、一定値未満であれば処理を終了する（Ｓ３０８）。

この時、画面上のずれaの値が画面の大きさｓに対して、ここでは１０パーセント以上であった場合を想定する。

ここで一定値以上であった場合、画像再生開始時の画像の縮小率αを決定し（Ｓ３０４）、さらに再生開始からの経過時間も判別し（Ｓ３０５）、経過時間に応じて順次縮小率αから元の画像サイズへ復元する（Ｓ３０６）。さらに復元が進み、元の画像サイズへ復元された場合には（Ｓ３０７）、処理を終了し（Ｓ３０８）、そうでなければ復元処理を続行する。

ここで縮小率αは、画面上のずれaが全画面に対して１０パーセント以下になる縮小率を想定する。

図４(a)は、画像再生開始時の画像表示状態であり、図４(b)は、元の画像である。図４(a)では、処理Ｓ３０６による縮小処理が行われており、さらに縮小されたことによる余白エリアにおいては、図４(b)の画像の平均輝度と同じ輝度のグレー色にて補完を行い、再生開始時の切り替わりのショックをより軽減している。

この図が表示された後は、再生時間経過に合わせ、縮小率を低減し、元画像サイズへ復元する。

図５(a)は、図４での立体視を可能にするための左目用画像、(b)は右目用画像である。画面内斜線エリアはフォーカス合致エリアであり、この場合、指先位置にフォーカスしているので、このエリアでの中心位置（Ｘの位置）において図４（a）における対象立体位置のずれ量を算出する（S304の処理）。

以上の処理により、画像開始時の飛出し感の急激な変化を軽減するだけでなく、一定値以上の飛出し感がある場合にのみ縮小処理することによって、必要最小限の画面変化に止めることにより、毎回縮小からスタートするよりもユーザーにストレスを与えないことを可能にしている。

＜第２の実施形態＞
実施例２においては、複数の立体動画情報が連続して再生される場合、切り替わり直前の画像と切り替わり直後の画像間での飛出し率の変化を検出し、一定値以上の変化があった場合に切り替わりの前の画像が終了する一定時間前から画像縮小を開始し、最終コマでの縮小率と同じ縮小率にて次の画像再生を開始する例を示す。

実施例２におけるシステム構成は実施例１の図１で説明された内容と同じであるため、ここでは割愛する。

実施例２における飛出し感検出の概念は実施例１の図２で説明された内容と同じであるため、ここでは割愛する。

図６は、立体画像動画を再生する場合の再生開始時の処理フローである。再生を開始すると（Ｓ６０１）、開始した画像の最初の対象立体位置のずれ量Mを検出し（Ｓ６０２）、その後、開始前に再生されていた画像の最終の画像の対象立体位置のずれ量Nを検出し（Ｓ６０３）、それぞれを比較して一定値以上の差異があった場合、あるいは直前・直後の値が一定値以上であった場合（Ｓ６０４）、画像再生開始時に行う縮小率をＳ６０４で判別した飛出し率の差異に応じて設定する（Ｓ６０５）。

図７は、S604における判別方法である。まず、S602でのずれ量Mが一定値以上かどうかを判別し、一定値以上であれば縮小判別としてyesを設定する（S702）。そうでなければ、S603でのずれ量Nが一定値以上かどうかを判別し、一定値以上であれば縮小判別としてyesを設定する。そうでなければ、MとNを比較して一定値以上の差異がある場合には、縮小判別としてyesを設定する。そうでなければ、縮小判別noを設定して処理を終了する。

その後、再生開始からの経過時間を取得し（Ｓ６０６）、その経過時間に応じて順次縮小率を変更して元の画像サイズへ復元する処理を行う（Ｓ６０７）。

表示画面サイズが元のサイズへ戻ったら（Ｓ６０８）、処理を終了する。この処理を行った場合の画像再生開始時の画像表示状態は、実施例１の図４と同じであるため、ここでは割愛するが、異なる点としては、この画像を再生する直前に再生されていた画像の最終画像の飛出し率も考慮されて図４(a)の縮小率が決定されることである。

図８は、この縮小率決定処理S605のフローである。処理がスタートすると（S801）、先ほど求めた開始画像のずれ量Mと最終画像のずれ量Nのどちらかが一定値（画面に対して１０パーセント）以上かどうかを判別し（S802）、そうであった場合にはMとNを比較し（S804）、Mが大きい場合にはMの値を基準に縮小率を決定（S804）、そうでなければNを基準に縮小率を決定（S805）する。

一方、MもNも一定値未満であった場合、MとNの差異の値から縮小率を決定する（Ｓ８０６）。

図９は、立体画像動画を再生する場合の再生終了時の処理フローである。終了する画像の対象立体位置のずれ量Ｎを検出し（Ｓ９０２）、その後、次に再生される画像の最初の画像のずれ量Ｍを検出し（Ｓ９０３）、それぞれを比較して一定値以上の差異があった場合、あるいは直前・直後の値が一定値以上であった場合（Ｓ９０４）、画像再生終了時の縮小率をＳ９０４で判別した飛出し率の差異に応じて設定する（Ｓ９０５）。

その後、縮小処理の開始時間を決定し（Ｓ９０６）、撮影残時間に応じて順次縮小率を変更してＳ９０５にて決定した縮小率へ変更する処理を行う（Ｓ９０７）。

再生残時間がなくなれば（Ｓ９０８）、処理を終了する。ここで、Ｓ９０４の処理は、図７にて説明したフローと同一であるため、ここでは説明を割愛する。

ここで、Ｓ９０５の処理は、図８にて説明したフローと同一であるため、ここでは説明を割愛する。

以上の処理にて、実施例１にて実現した画像スタート時に飛出し率が大きく場合の保護に加え、再生終了と開始両方を比較し、終了・開始単体では大きな飛出し率ではなくても、差異が大きい場合についても保護を加えることが可能となっている。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ デジタルビデオカメラ、１０４ 撮影レンズ、１０５ シャッター、
１０６ 撮像部、１０７ Ａ／Ｄ変換器

Claims (9)

1. 被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を再生し、表示することが可能な立体画像表示装置において、
   前記立体画像の再生開始時の飛出し感を判別する開始時飛出し率判別手段と、
   前記開始時飛出し率判別手段の判別結果に応じた縮小・拡大率にて前記立体画像の再生開始画像を表示する縮小・拡大表示手段と、
   前記縮小・拡大率から任意の復元スピードにて元の画像サイズへ表示を順次戻す復元手段とを持つことを特徴とする。
2. 前記復元手段は、前記再生開始画像から順次通常スピードにて画像再生を行いながらサイズを復元することを特徴とする請求項１に記載の立体画像表示手段。
3. 前記開始時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする請求項１または２に記載の立体画像表示手段。
4. 前記開始時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする請求項１または２に記載の立体画像表示手段。
5. 前記立体画像の再生終了時の飛出し感を判別する終了時飛出し率判別手段と、
   終了前の任意のコマから任意の倍率変更スピードにて元の画像サイズから順次変更を行い、再生終了時の画像が前記終了時飛出し率判別手段の判別結果に応じた縮小・拡大率の画像となる処理を行う倍率変更手段とを持つことを特徴とする請求項１乃至４のいずれか１項に記載の立体画像表示手段。
6. 前記倍率変更手段は、前記終了前の任意のコマから順次通常スピードにて画像再生を行いながらサイズを変更することを特徴とする請求項５に記載の立体画像表示手段。
7. 前記終了時飛出し率判別手段は、一定の飛出し量以上かどうかを判別することを特徴とする請求項５または６に記載の立体画像表示手段。
8. 前記画像が再生開始される直前の画像の飛出し率を判別する直前画像飛出し率判別手段を持ち、前記縮小・拡大表示手段は、前記直前画像飛出し率の判別結果も考慮して縮小・拡大率を決定することを特徴とする請求項１乃至７のいずれか１項に記載の立体画像表示手段。
9. 前記画像が再生終了した直後に表示される画像の飛出し率を判別する直後画像飛出し率判別手段を持ち、前記倍率変更手段は、前記る直後画像飛出し率判別手段の判別結果も考慮して再生終了時の画像の拡大・縮小率を決定することを特徴とする請求項５乃至８のいずれか１項に記載の立体画像表示手段。