JP2013183323A

JP2013183323A - 立体映像表示装置、立体映像表示方法およびプログラム

Info

Publication number: JP2013183323A
Application number: JP2012046367A
Authority: JP
Inventors: Hiroyuki Hayashi; 宏之林
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-03-02
Filing date: 2012-03-02
Publication date: 2013-09-12

Abstract

【課題】視差量の急激な変化による視聴者の違和感や負担を軽減することができるようにする。
【解決手段】早送りや早戻し戻しなどによる再生倍率の変更が行われた場合、制御部１３は再生倍率に応じて、表示モードを決定する。すなわち、全てのフレームを表示する表示モードとするか、一部のフレームを表示する表示モードとするかを決定する。映像復号部１４は、制御部１３の決定した表示モードと復号処理にしたがって、復号を行う。制御部１３は、再生倍率に応じて視差を決定する。通常再生より再生倍率が上がるに従い、通常再生時の視差より視差を小さくしていく。再生倍率が表示モードが一部のフレームを表示するモードであれば、更に視差を小さくする。視差調整部１５は，制御部１３の指示に従い、視差変更を行い、映像表示部１６は、視差調整部１５で変更した視差で映像データの表示を行う。
【選択図】図１

Description

本発明は、３Ｄ（3-Dimensions）映像が表示可能な立体映像表示装置、立体映像表示方法およびプログラムに関する。

立体（３Ｄ）映像を表示可能な装置で、通常再生時には３Ｄ表示を行い、高速再生（早送り／早戻し）の際には２Ｄ（2-Dimensions）表示を行う装置が開示されている（特許文献１を参照）。
この表示装置では、３Ｄ再生モードと２Ｄ再生モードとを持ち、再生速度の倍率によってそれぞれの再生モードを切り替えることを特徴としている。これにより、視聴者は高速再生時であっても映像の内容を把握することが容易となる。

つまり、高速再生時には映像が高速に変化するため、３Ｄ表示を行うと映像の内容把握の際に視聴者に負担がかかる。そのため、従来技術では高速再生時には２Ｄ表示を行い、高速再生期間での視聴者への負担軽減を実現している。

特開２００５−１１０１２１号公報

しかしながら、再生速度の倍率のしきい値処理で３Ｄ表示と２Ｄ表示が切り替えることで、右目／左目用画像の視差量が急激に３Ｄ表示／２Ｄ表示間で変化するため、視聴者が違和感を感じたり、逆に視聴者の眼への負担がかかったりすることがあった。

本発明は、斯かる実情に鑑み、視差量の急激な変化による視聴者の違和感や負担を軽減することができる立体映像表示装置、立体映像表示方法およびプログラムを提供することを目的とする。

本発明は、立体映像データに対し視差調整が可能な立体映像表示装置であって、
立体映像データに対し視差を変更する調整を行う視差調整手段と、視差調整手段に対し、調整すべき視差を決定する制御手段と、を備え、
前記制御手段は、再生速度の倍率が変更されたとき、再生速度の倍率に応じて視差を変更することを特徴とする。

ここで、前記制御手段は、通常再生速度の倍率より再生速度の倍率が上がるに従い、通常再生時（撮影した時間長と再生時の時間長が等しい時で、再生速度の倍率が１）の視差より視差が小さくなる変更を行うことを特徴とする。

また、前記制御手段は、全フレームを表示する表示モードと、一部フレームのみを表示する表示モードとを切り替えたとき、一部フレームのみを表示する表示モードの視差を、再生速度の倍率に応じて求めた視差より更に小さい視差にすることを特徴とする。

また本発明は、立体映像データに対し視差調整が可能な立体映像表示装置であって、
立体映像データに対し視差を変更する調整を行う視差調整手段と、視差調整手段に対し、調整すべき視差を決定する制御手段と、を備え、
前記制御手段は、全フレームを表示する表示モードと、一部フレームのみを表示する表示モードとを切り替えたとき、一部フレームを表示する表示モードの視差を、全フレームを表示する表示モードの視差より小さくすることを特徴とする。

また、本発明は、視差調整手段により立体映像に対し視差調整が可能な立体映像表示方法であって、
前記視差調整手段に、再生速度の倍率が変更されたときに、再生速度の倍率に応じて視差を変更させる視差変更工程を有することを特徴とする。

また、本発明は、視差調整手段により立体映像に対し視差調整が可能な立体映像表示方法であって、
前記制御調整手段に、通常再生時から再生速度の倍率が変更されて更に一部のフレームのみを表示するモードになったとき、通常再生時の視差より視差を小さくすることを特徴とする。

また、本発明は、前記立体映像表示方法の視差変更工程をコンピュータに実行させるためのプログラムである。

本発明によれば、再生速度の倍率に応じて視差量を段階的に変化させたり、時間的に連続に変化させることにより、視聴者が違和感を感じたり、視聴者の目に負担がかかったりすることを軽減し、内容把握を容易にすることができる。
さらに一部のフレームのみが表示されるモードになったときに、さらに視差量を制御することにより、視聴者の目の負担を軽減し、内容把握を容易にすることができる。

本発明の実施形態における立体映像表示装置の概要機能を示すブロック図である。映像復号部が、映像記録部の映像データから表示するための映像データを生成する説明図である。視差調整を説明する図であり、（ａ）は視差調整の原理を説明する図であり、（ｂ）は再生速度の倍率と視差調整係数ａの関係を示すグラフである。視差調整を説明する図であり、（ａ）は通常再生時の場合、（ｂ）は高速再生時の場合である。表示モードを説明する図であり、（ａ）は通常再生時、（ｂ）は早送り（再生倍率が１より高い）時で全フレーム表示、（ｃ）は早送り時でキーフレーム表示を示す図である。立体表示装置の視差調整処理の一例を示すフローチャートである。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本発明の実施形態における立体映像表示装置の概要機能を示すブロック図である。
この立体映像表示装置１０は、映像記録部１１、操作部１２、制御部１３、映像復号部１４、視差調整部１５、映像表示部１６を備える。

映像記録部１１は、視聴するコンテンツの映像データを記録している部分であり、ＳＤカード、Ｂｌｕ−ｒａｙディスク、ハードディスクなど各種メディアに映像データを記録している部分である。視聴するコンテンツは映像のみでなく、音声、字幕など、その他のデータも同時に含んでいてもよい。また、記録されている映像データは、データ容量削減のため、ＭＰＥＧ−４やＨ．２６４に代表されるような符号化方式で符号化されていてもよい。
なお、本実施例では映像データは符号化されているものとして説明する。

図２（ａ）のデータ２１ａに示すように、立体映像は左目用および右目用の映像を並べて一つの映像として記録されていてもよいし、図２（ｂ）のデータ２１ｂに示すように、それぞれ別の符号化データとして記録されていてもよい。また、図２（ｃ）のデータ２１ｃに示すように、基準となる映像データと、その基準映像から左目用および右目用の映像を生成するための視差を記録した視差データによって構成され、それらを記録してもよい（図２については詳しくは後述する）。

ユーザが操作部１２を操作し、動画の再生を開始すると、制御部１３が各ブロックを制御し、再生動作を開始する。
制御部１３は、映像復号部１４を制御し、映像データの復号を開始する。再生指示をされた映像復号部１４は、映像記録部１１より視聴するコンテンツの映像データを読み出し、立体表示用の映像データの復号を行う。このとき、前記映像の記録方式に応じた適切な復号および必要であれば映像の生成が行われ、左目用および右目用の映像が映像復号部１４から視差調整部１５へ出力される。どのような左目用および右目用の映像を生成するかは、立体映像の表示方式による。
映像復号部１４から制御部１３への点線矢印については後述する。

なお、映像データが音声や字幕などのデータとともに多重化されている場合は、本図に記載されていない分離部にて多重化されたデータを分離して取得した映像データを、映像復号部１４へ出力する構成を取ってもよい。

図２は、映像復号部１４が、映像記録部１１の映像データ２１から表示するための映像データ２２を生成する説明図である。
（ａ）は、映像記録部１１に記録されている映像データ２１ａが、左目・右目用映像データが左右に並列に配置された一つのデータの場合である。映像復号部１４は、この映像データ２１ａに基づいて復号を行い、左眼用の映像データと右目用の映像データのそれぞれから構成される映像データ２２を生成する。
（ｂ）は、映像記録部１１に記録されている映像データ２１ｂが、左眼用の映像データと右目用の映像データのそれぞれから構成されるデータの場合である。映像復号部１４は、左眼用の映像データと右目用の映像データをそれぞれ復号して映像データ２２を生成する。
（ｃ）は、映像記録部１１に記録されている映像データ２１ｂが、基準映像データと視差データから構成されるデータの場合である。映像復号部１４は、各データを復号して、基準映像データと視差データに基づいて、左眼用の映像データと右目用の映像データのそれぞれから構成される映像データ２２を生成する。

制御部１３は、ユーザにより操作部１２を介して入力された再生速度の倍率に応じて視差調整部１５を制御し、適切な視差を設定する。つまり、制御部１３は再生速度の倍率が上がったことを検出すると、再生速度の倍率に応じて視差が小さくなるように、視差調整部１５を制御する。映像復号部１４にて復号された映像は、視差調整部１５で、再生速度の倍率に応じた適切な視差を付けられ、映像表示部１６にて表示される。
なお、再生速度の倍率と視差との関係から適正な視差制御を行うものでないが、ユーザが操作部１２により行う操作により、再生速度の倍率を上げるとともに、視差を小さくする動作を行うものでもよい。これにより、最適な視差は得られずとも、ユーザの負担をより軽減する視差を持つ映像を得ることができる。

なお、図２（ｃ）に示されているように、基準となる映像データと視差データ（多くは奥行きデータ）から左目用および右目用の映像を生成する場合は、本視差調整部１５ではなく、映像復号部１４にて視差調整を行うように実装してもよい。つまり映像復号部１４が視差調整部１５の役割を果たして、基準映像と視差データから左目用映像と右目用映像を生成する際に適切な視差を持つ映像を生成するように実装してもよい。

視差調整部１５では、映像復号部１４で生成された左目用および右目用の映像について、制御部１３からの制御（視差の決定）に応じて、表示時の視差の調整を行う。通常、再生速度の倍率が上がることを制御部１３が検出すると、制御部１３からは、通常再生時より小さな視差で表示するよう制御が行われる。視差調整部１５では前記制御により、再生速度の倍率に応じた視差を設定する。これにより、再生速度の倍率が低い場合は大きな視差、再生速度の倍率が上がるに従い、より小さな視差を適用することが可能になる。

視差調整部１５により視差を調整された後、映像表示部１６にて、それぞれの映像が表示される。映像表示部１６は左目用および右目用の映像を交互に表示し、それと同期して視聴者が装着する眼鏡の液晶シャッターを制御することにより立体視を実現する時分割方式でもよいし、左目用映像と右目用映像を水平画素方向に交互に並べ、その映像と視聴者の間に、目的の目にのみ映像を見えるようにするバリアを配置することで立体視を実現する視差バリア方式でもよいし、レンティキュラ方式などの他の方式であってもよい。

なお、通常の再生時には、制御部１３は視差調整部１５に対して、あらかじめそのコンテンツに設定された視差を使用するように指定してもよいし、コンテンツに記録される基準視差をベースとして、表示するディスプレイのサイズに応じた視差となるように調整してもよい。

次に、再生速度の倍率に応じた視差の調整に関して詳細を記載する。
早送り／早戻し再生時（再生速度の倍率の絶対値が１より大きい場合）には表示される被写体の単位時間当たりの動きが通常再生時より早くなるため、被写体の単位時間当たりの前後方向への動きも早くなる。一般的に立体映像表示では、前後方向の動きが早いほど、また前後方向の動きの幅が大きいほど、視聴者が違和感を感じたり、視聴者への負担が増えたりする傾向がある。
本発明では、再生速度の倍率に応じて、視差の量を段階的にあるいは時間的に連続に変化させて調整することにより、前記視聴者の違和感や負担を軽減するとともに、映像の把握を容易にする。

図３及び図４は、視差調整を説明する図である。図３（ａ）は視差調整の原理を説明する図であり、図３（ｂ）は再生速度の倍率と視差調整係数ａの関係を示すグラフである。図４（ａ）は通常再生時の場合であり、図４（ｂ）は高速再生時の場合である。

図３（ａ）に示すように、表示に適用される視差をｐとする。また、通常再生時の視差をｐ_０とする。
そして、視差ｐ、視差調整係数ａおよび、通常再生時の視差ｐ_０
は、以下の式により表わされる関係となる。
ｐ＝ａ＊ｐ_０

図３（ｂ）に示すように、再生速度の倍率が−１以上１以内の範囲に有るときは視差調整係数ａが１であり、視差ｐは通常再生時の視差ｐ_０となる。すなわち、通常再生時（再生速度の倍率＝１）は当然として、逆方向の通常再生時（再生速度の倍率＝−１）、スロー再生（０＜再生速度の倍率＜１）、逆方向のスロー再生（−１＜再生速度の倍率＜０）の時は、通常再生時の視差ｐ_０で表示（ｐ＝ｐ_０）を行う。これは、図４（ａ）に示すように、撮影時にあらかじめ設定された視差ｐ_０で表示を行う。視聴者が３Ｄ映像を見た場合、表示面よりｄ１だけ浮き上がって見える。

図３（ｂ）に示すように、視聴者が操作部１２を操作して再生速度の倍率を変更した場合で、再生速度の倍率が上がった場合には（再生速度の倍率＞１）、視差ｐを徐々に減少させていく。これは、図４（ｂ）示すように、視差を少なくする方向に、左目用画像と右目用画像を平行移動させて、各画像を生成する。図４（ｂ）では左目用画像を右方向にシフトし、右目用画像を右方向にシフトして、視差を小さくする。なお、シフトした分だけ両画像には画像データが存在しない無効領域が発生する。視聴者が３Ｄ映像を見た場合、表示面よりｄ２だけ浮き上がって見える。ｄ１＞ｄ２である。

再生速度の倍率が所定値ｓ以上になった場合は視差をなくして（ｐ＝０）、２Ｄ表示を行う。この場合は、左目用画像と右目用画像を平行移動させて視差が０となる画像を生成すれば良い。なお、図２（ａ）および（ｂ）のような記録方式では、画面全体を２Ｄにすることは困難であるため、映像中の最大の視差が付いている物体の視差をなくすよう調整したり、映像作成時に参照される安全ガイドラインなどに示される許容される最大視差量をなくすよう調整してもよい。なお、再生速度の倍率が下がった逆方向の再生に関しても（再生速度の倍率＜−１）、図３（ｂ）に示すように、同様の制御をおこなう。

また、立体動画表示装置によっては、一定の再生速度の倍率より高い早送りおよび早戻しの際にすべての映像フレームを表示せずに一部のフレームのみ表示する場合がある。これは、符号化されたデータを復号して映像を生成するのに時間がかかるために、高い再生速度の倍率の場合に処理が間に合わなくなるのを回避するためだったり、処理コストを軽減して装置の低消費電力化を実現するためだったりする。また、早戻しの場合は、符号化時に（時間的に）前のフレームとの差分算出分を符号化するために、逆方向の再生の場合はデータを順次復号することができず、処理が複雑になったり、映像を保持するためのメモリが大量に必要になったりするということもあるので、これらを回避するのに、一部のフレームのみを表示することは有効である。

図５は、表示モードを説明する図である。
図５（ａ）は、通常の再生時の場合のフレームを示す。太実線はキーフレームを示し、細点線はそれ以外のフレームを示す。これに対し、図５（ｂ）に示すように、すべてのフレームを表示する早送りの場合（再生速度の倍率を上げた場合）は、フレーム間の時間間隔が短くなって表示されるものの、フレーム間の映像自体の差分は通常再生時と同様である。さらに、図５（ｃ）に示すように、一部のフレーム（通常、符号化データを再生する場合はキーフレーム）のみを表示する場合は、複数の符号化されているフレームが表示されず、表示されるフレーム間の映像の差分は図５（ｂ）よりも大きくなる場合がある。

このとき３Ｄ表示がされていると、被写体の前後の動きがなめらかに前後するのではなく、離散的に前後するため、突然被写体が飛び出てきたり、引っ込んだりするような表示になることがあり、このような表示が行われると、視聴者に一層負担がかかる。

前記の通り、早送りや早戻しの場合、すべてのフレームを復号してフレームを生成して表示するモードか（図５（ｂ））、一部のフレームのみを生成して表示するモードか（図５（ｃ））という２種類の表示モードがあり、後者の表示モードでは、視聴者の負担を軽減するために、制御部１３は、更なる視差の調整を行う。

この場合、表示モードは通常、制御部１３が決定し、映像復号部１４に表示モードを設定し、映像復号部１４が、それに基づいて、映像記録部１１に記録された映像データに対して、適切に復号し表示用映像データを生成する。なお、映像復号部１４が再生速度の倍率に応じて前述の表示モードを決定するような場合は、制御部１３は映像復号部１４から、表示モードを取得する（図１の点線矢印）。

制御部１３は復号モードが一部のフレームのみが生成されるモードのときは、視差調整部１５に対して更に視差が小さくなるように制御をおこなう。
たとえば、一部のフレームのみが生成されるモードの際には、視差をなくす、あるいは現在の再生速度の倍率で全フレームが生成・表示されるモードのときに利用される視差に、更に０以上１以下の係数を乗じることにより得られる視差を適用する。これにより、全フレームが表示されるモードより視差が小さくなり、ユーザへの負担が軽減される。

表示モードを制御部が決定する場合を考え、詳細を説明する。
図６は、立体表示装置の視差調整処理の一例を示すフローチャートである。

制御部１３は、ユーザが操作部１２を操作し、再生速度の倍率の変更を行ったかを判定する（ステップＳ１）。再生速度の倍率の変更を行った場合（ステップＳ１；Ｙｅｓ）、制御部１３は再生速度の倍率に応じて、表示モードを決定し、それに基づいた復号処理を決定する（ステップＳ２）。すなわち、全てのフレームを表示する表示モードとするか、一部のフレームを表示する表示モードとするかを決定し、その表示モードの復号処理を決定する。映像復号部１４は、制御部１３の決定した表示モードと復号処理にしたがって、映像記録部１１の映像データに対し復号を行い、表示用の立体映像データを生成する（ステップＳ３）。

次に、制御部１３は、視差を決定する（ステップＳ４）。まずは図３（ｂ）に従って、視差調整係数ａを決定して、ｐ＝ａ＊ｐ_０により視差を求める。表示モードが一部のフレームを表示するモードであれば、更にｐに１より小さい係数をかけてさらに視差を小さくする。
視差調整部１５は，制御部１３の指示に従い、映像復号部１４により生成された映像データに視差変更を行う（ステップＳ５）。映像表示部１６は、視差調整部１５で変更した視差で映像データの表示を行う（ステップＳ６）。

再生速度の倍率の変更を行っていない場合（ステップＳ１；Ｎｏ）、ステップＳ６にて通常再生時の復号映像データで表示を行う。

映像表示部１６は、左目用および右目用の映像を交互に表示し、それと同期して視聴者が装着する眼鏡の液晶シャッターを制御することにより立体視を実現する時分割方式でもよいし、左目用映像と右目用映像を水平画素方向に交互に並べ、その映像と視聴者の間に、目的の目にのみ映像見えるようにするバリアを配置することで立体視を実現する視差バリア方式でもよいし、レンティキュラ方式など、その他の方式であってもよい。

一部フレーム表示の表示モードにおける視差については、再生速度の倍率にかかわらず、全フレーム表示の表示モードに切り替えた場合には、全フレーム表示モードの視差よりも小さくする処理を行う。場合によっては、視差を０とする２Ｄ表示とする。再生速度の倍率を上げる等の操作がなくとも、表示モードに切り替われば、視聴者に違和感や負担を強いることになるので、視差を適切に処理することにより、これらを低減することができる。

なお、視聴者の操作により、短時間で視差が大きく変わるような状態となった場合には視差調整係数の変換を時間的に連続に変化させるように制御してもよい。たとえば（１）再生速度の倍率が１０倍の再生状態と通常再生状態の切り替え、（２）３Ｄ表示と２Ｄ表示の切り替え、（３）全フレーム表示と一部フレーム表示の表示モードの切り替え、等が生じた場合に、このような処理を行うことにより、視聴者への負担を軽減することが可能となる。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１０立体映像表示装置
１１映像記録部
１２操作部
１３制御部
１４映像復号部
１５視差調整部
１６映像表示部
２１，２１ａ，２１ｂ，２１ｃ映像データ
２２映像データ（復号後）

Claims

立体映像データに対し視差調整が可能な立体映像表示装置であって、
立体映像データに対し視差を変更する調整を行う視差調整手段と、
視差調整手段に対し、調整すべき視差を決定する制御手段と、
を備え、
前記制御手段は、再生速度の倍率が変更されたとき、再生速度の倍率に応じて視差を変更することを特徴とする立体映像表示装置。
前記制御手段は、通常再生倍率より再生速度の倍率が上がるに従い、通常再生時の視差より視差が小さくなる変更を行うことを特徴とする請求項１に記載の立体映像表示装置。
前記制御手段は、全フレームを表示する表示モードと、一部フレームのみを表示する表示モードとを切り替えたとき、一部フレームのみを表示する表示モードの視差を、再生速度の倍率に応じて求めた視差より更に小さい視差にすることを特徴とする請求項１又は２に記載の立体映像表示装置。
立体映像データに対し視差調整が可能な立体映像表示装置であって、
立体映像データに対し視差を変更する調整を行う視差調整手段と、
視差調整手段に対し、調整すべき視差を決定する制御手段と、
を備え、
前記制御手段は、全フレームを表示する表示モードと、一部フレームのみを表示する表示モードとを切り替えたとき、一部フレームを表示する表示モードの視差を、全フレームを表示する表示モードの視差より小さくすることを特徴とする立体映像表示装置。
視差調整手段により立体映像に対し視差調整が可能な立体映像表示方法であって、
前記視差調整手段に、再生速度の倍率が変更されたときに、再生速度の倍率に応じて視差を変更させる視差変更工程を有することを特徴とする立体映像表示方法。
視差調整手段により立体映像に対し視差調整が可能な立体映像表示方法であって、
前記制御調整手段に、通常再生から再生速度の倍率が変更されて更に一部のフレームのみを表示するモードになったとき、通常再生のときの視差より視差を小さくすることを特徴とする立体映像表示方法。
請求項５又は６に記載の立体映像表示方法の視差変更工程をコンピュータに実行させるためのプログラム。