JP2009239388A

JP2009239388A - 立体動画像処理装置および方法並びにプログラム

Info

Publication number: JP2009239388A
Application number: JP2008079633A
Authority: JP
Inventors: Tomonori Masuda; 智紀増田; Mikio Watanabe; 幹夫渡辺; Takeshi Ota; 毅太田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-03-26
Filing date: 2008-03-26
Publication date: 2009-10-15
Anticipated expiration: 2028-03-26
Also published as: US8044997B2; EP2106150A3; KR101551492B1; JP4695664B2; KR20090102705A; US20090244268A1; EP2106150B1; EP2106150A2

Abstract

【課題】立体動画像のシーンの切り替え時において、立体視を行うユーザの疲労感を軽減できるようにする。
【解決手段】画像入力部２が、複数のフレームからなる立体視可能な立体動画像の入力を受け付ける。シーン検出部３が、立体動画像のシーンの切り替わり位置を検出する。奥行き感調整処理４が、シーンの切り替わり位置における奥行き感が徐々に変更されるように、立体動画像の奥行き感を調整する奥行き感調整処理を立体動画像に施すことにより処理済み立体動画像を生成する。
【選択図】図１

Description

本発明は、立体視可能な立体動画像を処理するための立体動画像処理装置および方法並びに立体動画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視ができる立体画像は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を合成することにより生成することができる。

具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体画像を生成することができる。この場合、立体画像を表示して、赤青メガネや偏光メガネ等の画像分離メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、立体画像を立体視可能な３Ｄ液晶に表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、立体画像が生成される。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、立体画像を表示することも可能である（時分割方式）。

また、立体動画像を再生する際にどのように表示を行うかをあらかじめ設定しておく手法が提案されている（特許文献１参照）。特許文献１に記載された手法は、例えば立体動画像を再生する際には、最初の数秒間のみ立体視できない２次元動画像を表示した後に立体動画像に切り替える等の設定を行うことができる。

また、立体動画像および立体視できない２次元動画像が混在している場合に、立体表示と２次元表示との切り替えを徐々に行うことにより、切り替え時の違和感や不快感を解消する手法も提案されている（特許文献２参照）。
特開２００４−２００８１３号公報特開２００４−３２８５６６号公報

ところで、立体動画像を撮影する場合には、録画の開始、停止、ズーム倍率の変更等の操作が行われると撮影されるシーンが変更され、その結果、シーンの切り替わり位置の前後において奥行き感が変更されることとなる。しかしながら、立体視はユーザの目の自動焦点機能により画像の奥行き感を実現するものであるため、シーンの奥行き感が突然切り替わると、立体視を行うユーザに非常に疲労感が残るものとなる。ここで、特許文献１に記載された手法は、あらかじめ２次元動画像と立体動画像とをどのように表示するかを設定しておくものであるため、立体動画像のシーンの切り替え時には適用できない。また、特許文献２に記載された手法は、２次元動画像と立体動画像との切り替えを徐々に行うものであるため、動画像内におけるシーンの切り替えには適用できない。

本発明は上記事情に鑑みなされたものであり、立体動画像のシーンの切り替え時において、立体視を行うユーザの疲労感を軽減できるようにすることを目的とする。

本発明による立体動画像処理装置は、複数のフレームからなる立体視可能な立体動画像の入力を受け付ける動画像入力手段と、
前記立体動画像のシーンの切り替わり位置を検出するシーン検出手段と、
前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成する奥行き感調整手段とを備えたことを特徴とするものである。

なお、本発明による立体動画像処理装置においては、前記奥行き感調整手段を、処理対象シーンの前のシーンの最終フレームに続いて、該処理対象シーンの先頭フレームに対応する２次元フレームが表示され、該２次元フレームに続いて前記先頭フレームの奥行き感となるまで該２次元フレームの奥行き感が連続して変化する所定数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記先頭フレームおよび該先頭フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段としてもよい。

この場合、前記奥行き感調整手段を、前記先頭フレームの奥行き感が大きいほど、前記所定数を大きくする手段としてもよい。

「２次元フレーム」とは、奥行き感が略０のフレームであり、先頭フレームに含まれる対応する画素間の視差量をなくすように、先頭フレームをモーフィング等によって加工することにより生成することができる。なお、立体動画像は複数の動画像を立体視可能なように合成することにより生成されているため、合成前の複数の動画像が立体動画像とともに入力された場合には、合成前の動画像を用いて２次元フレームを生成するようにしてもよい。

また、本発明による立体動画像処理装置においては、前記奥行き感調整手段を、処理対象シーンの前のシーンの最終フレームに続いて、該最終フレームに相当する奥行き感を有する、該処理対象シーンの先頭フレームまたは前記最終フレームに対応する奥行き感調整先頭フレームが表示され、該奥行き感調整先頭フレームに続いて前記先頭フレームの奥行き感となるまで該奥行き感調整先頭フレームの奥行き感が連続して変化する所定数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記先頭フレームおよび該先頭フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段としてもよい。

この場合、前記奥行き感調整手段を、前記最終フレームと前記先頭フレームとの奥行き感の差が大きいほど、前記所定数を大きくする手段としてもよい。

また、本発明による立体動画像処理装置においては、前記奥行き感調整手段を、処理対象シーンの前のシーンの最終フレームに続いて、該処理対象シーンの先頭フレームに対応する２次元フレームが表示され、該２次元フレームに続いて前記処理対象シーンにおける基準フレームの奥行き感となるまで、前記処理対象シーンの奥行き感が連続して変化する、前記先頭フレームから前記基準フレームまでのフレーム数に対応する数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記基準フレームおよび該基準フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段としてもよい。

この場合、前記奥行き感調整手段を、前記先頭フレームの奥行き感が大きいほど、前記先頭フレームから前記基準フレームまでのフレーム数を多くする手段としてもよい。

またこの場合、前記奥行き感調整手段を、前記処理対象シーンのフレーム数と、前記先頭フレームから前記基準フレームまでのフレーム数との比較結果に応じた前記奥行き感調整処理を、前記立体動画像に施す手段としてもよい。

また、本発明による立体動画像処理装置においては、前記奥行き感調整手段を、処理対象シーンの前のシーンの最終フレームに続いて、該最終フレームに相当する奥行き感を有する、該処理対象シーンの先頭フレームに対応する奥行き感調整先頭フレームが表示され、該奥行き感調整先頭フレームに続いて前記処理対象シーンにおける基準フレームの奥行き感となるまで、前記処理対象シーンの奥行き感が連続して変化する、前記先頭フレームから前記基準フレームまでのフレーム数に対応する数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記基準フレームおよび該基準フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段としてもよい。

この場合、前記奥行き感調整手段を、前記最終フレームと前記先頭フレームとの奥行き感の差が大きいほど、前記奥行き感調整先頭フレームから前記基準フレームまでのフレーム数を多くする手段としてもよい。

またこの場合、前記奥行き感調整手段を、前記処理対象シーンのフレーム数と、前記先頭フレームから前記基準フレームまでのフレーム数との比較結果に応じて、前記奥行き感調整処理を前記立体動画像に施す手段としてもよい。

本発明による立体動画像処理方法は、複数のフレームからなる立体視可能な立体動画像の入力を受け付け、
前記立体動画像のシーンの切り替わり位置を検出し、
前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成することを特徴とするものである。

なお、本発明による立体動画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数のフレームからなる立体視可能な立体動画像の入力が受け付けられ、立体動画像のシーンの切り替わり位置が検出され、シーンの切り替わり位置における奥行き感が徐々に変更されるように、立体動画像の奥行き感が調整される。このため、立体動画像のシーンが切り替わる際に奥行き感が突然切り替わることがなくなり、その結果、立体視を行うユーザの疲労感を軽減することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による立体動画像処理装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による立体動画像処理装置１は、画像入力部２、シーン検出部３、奥行き感調整部４、各種入力を行うキーボードおよびマウス等からなる入力部５、各種表示を行う液晶モニタ等の表示部６並びに制御部７を備え、各部がバス８により接続されている。

画像入力部２は、立体動画像処理装置１に処理の対象となる立体動画像Ｍ０の画像ファイルを入力するものであり、画像ファイルが記録されたメディアから画像ファイルを読み出すメディアドライブ、ネットワーク経由で画像ファイルの入力を受け付ける有線または無線のインターフェース等、画像ファイルを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部２をメディア２Ａから画像ファイルを読み出すものとする。なお、画像ファイルはＭＰＥＧ等の圧縮方式により圧縮されているため、画像入力部２は、入力された画像ファイルを伸長して、その後の処理に供するものである。

シーン検出部３は、画像入力部２により入力された画像ファイルに含まれる画像データにより表される立体動画像Ｍ０のシーンの切り替わり位置を検出する。具体的には、立体動画像Ｍ０に含まれる各フレーム間の差分を算出し、あるフレーム間の差分がその前後のフレーム間の差分と大きく異なる場合に、そのフレーム間をシーンの切り替わり位置として検出する。なお、立体動画像Ｍ０を表示部５に再生し、ユーザにシーンの切り替わり位置を入力させることにより、シーンの切り替わり位置を検出するようにしてもよい。また、立体動画像Ｍ０にはシーンの切り替わり位置を示すチャプターマークが付与されている場合がある。このような場合には、チャプターマークの位置をシーンの切り替わり位置として検出してもよい。なお、チャプターマークは、立体動画像Ｍ０の画像ファイルに付与されている場合もあるが、立体動画像Ｍ０の画像ファイルとは別ファイルとして入力される場合もある。

奥行き感調整部４は、処理対象のシーンについて、そのシーンの開始時にシーンの奥行き感が徐々に変更されるように奥行き感調整処理を行う。図２は第１の実施形態において入力された立体動画像の各シーンにおける奥行き感を示す図である。なお、第１の実施形態においては、立体動画像Ｍ０には奥行き感が異なる３つのシーンＳ１，Ｓ２，Ｓ３が含まれているものとする。また、第１の実施形態においては、最初のシーンＳ１の開始時には何ら処理を行わないものであり、シーンＳ１に続くシーンＳ２，Ｓ３の切り替わり位置において処理を行うものである。

ここで、立体動画像Ｍ０は、水平方向に異なる位置から撮影することにより取得した２つの動画像から生成され、２つの動画像に含まれる被写体の視差を利用して立体視を実現するものである。したがって、シーンの奥行き感は視差に依存するものであり、シーン内の画像における最大視差と最小視差との差が大きいほど奥行き感が大きくなる。本実施形態においては、シーンのフレームの各画素における最大視差と最小視差との差を奥行き感として用いるものとする。なお、立体動画像Ｍ０を表示部５に再生し、ユーザに各シーンの奥行き感を入力させるようにしてもよい。また、立体動画像Ｍ０によっては、奥行き感を求めるために必要な撮影時の焦点位置、ズーム位置、カメラ間の基線長および輻輳角等の奥行き感情報が付与されていたり、奥行き感情報が画像ファイルとは別ファイルとして装置１に入力される場合がある。このような場合には、立体動画像Ｍ０に付与された奥行き感情報または入力された奥行き感情報を取得し、奥行き感情報から奥行き感を求めるようにしてもよい。

なお、同一シーン内においても被写体の奥行き感は時間の経過とともに変化する場合があるが、本実施形態においては、同一シーンにおいては奥行き感は一定であるものとして説明する。

第１の実施形態においては、奥行き感調整部４は、まず処理対象シーンの先頭フレームＦｒＴについて、奥行き感のない２次元フレームＦｒＴ０を生成する。ここで、先頭フレームＦｒＴは含まれる被写体に対応する各画素が視差を有するものとなっているため、奥行き感調整部４は、先頭フレームＦｒＴをモーフィング等により加工して、先頭フレームＦｒＴにおける各画素について視差がない２次元フレームＦｒＴ０を生成する。そして、２次元フレームＦｒＴ０から先頭フレームＦｒＴの奥行き感となるまで、先頭フレームＦｒＴの奥行き感が連続して変化する所定数の奥行き感調整フレームＦｒＴｉ（ｉはフレーム数）を生成する。なお、奥行き感調整フレームＦｒＴｉは、先頭フレームＦｒＴと同一の画像となる。そして、処理対象シーンとその前のシーンとの間に２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉを挿入することにより、奥行き感調整処理を立体動画像に施す。

図３は第１の実施形態における奥行き感調整処理を説明するための図である。なお、第１の実施形態および以降の実施形態においては、処理対象シーンの前のシーンの最終フレームＦｒＬに含まれる被写体が円形であり、処理対象シーンの先頭フレームＦｒＴに含まれる被写体が正方形であるとする。また、第１の実施形態および以降の実施形態においては、各フレームにおける被写体の視差を、実線および破線で示した２つの被写体のずれ量にて示す。なお、第１の実施形態および以降の実施形態においては、便宜上視差を表すために２つの被写体を実線および破線にて示しているが、実際のフレームは、立体視を行うことにより１つの被写体が奥行き感を持って視認されるものである。

まず、奥行き感調整部４は、処理対象シーンの前のシーンの最終フレームＦｒＬに続いて、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０が表示され、２次元フレームＦｒＴ０に続いて所定数（ここでは４つ）の奥行き感調整フレームＦｒＴ１〜ＦｒＴ４が表示され、奥行き感調整フレームＦｒＴ１〜ＦｒＴ４に続いて先頭フレームＦｒＴおよび先頭フレームＦｒＴに続くフレームが表示されるよう、シーン間に２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴ１〜ＦｒＴ４を挿入することにより、奥行き感調整処理を立体動画像Ｍ０に施す。これにより、処理済み立体動画像Ｍ１が生成される。

図４は第１の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図４に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間には、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉが挿入されることにより、各シーンの開始位置において、先頭フレームＦｒＴの奥行き感が０から先頭フレームＦｒＴの奥行き感となるまで徐々に変化し、奥行き感が先頭フレームＦｒＴの奥行き感となるとそのシーンの再生が開始されることとなる。なお、第１の実施形態においては、各シーン間に挿入されるフレーム数は一定であるため、各シーン間においては、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉが、フレーム数に応じた時間Δｔ１再生されることとなる。また、各シーンの再生時間に変更はないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０よりも挿入されたフレーム数の分長くなる。

制御部７は、ＣＰＵ７Ａ、各種処理を行う際の作業領域となるＲＡＭ７Ｂ、および装置１の動作プログラムおよび各種定数等を記憶したＲＯＭ７Ｃを備えてなり、装置１の各部の動作を制御する。

次いで、第１の実施形態において行われる処理について説明する。図５は第１の実施形態において行われる処理を示すフローチャートである。立体動画像Ｍ０に対する処理の指示が入力部５から行われることにより制御部７が処理を開始し、画像入力部２がメディア２Ａから立体動画像Ｍ０を読み出し（ステップＳＴ１）、シーン検出部３が立体動画像Ｍ０のシーンの切り替わり位置を検出する（ステップＳＴ２）。そして、奥行き感調整部４が奥行き感調整処理を立体動画像Ｍ０に施し、処理済み立体動画像Ｍ１を生成する（ステップＳＴ３）。

図６は第１の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ１１）、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０を生成する（ステップＳＴ１２）。なお、ここでいう最初のシーンとは、立体動画像Ｍ０の最初のシーンの次のシーン、すなわち図３に示すシーンＳ２を意味する。

次いで、２次元フレームＦｒＴ０から先頭フレームＦｒＴの奥行き感となるまで、奥行き感が連続して変化する所定数の奥行き感調整フレームＦｒＴｉを生成する（ステップＳＴ１３）。そして、処理対象シーンおよびその前のシーンとの間に２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉを挿入する（フレーム挿入、ステップＳＴ１４）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ１５）、ステップＳＴ１５が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ１６）、ステップＳＴ１２に戻る。ステップＳＴ１５が肯定されると、奥行き感調整処理を終了する。

図５に戻り、制御部７は処理済み立体動画像Ｍ１をメディア２Ａに記録し（ステップＳＴ４）、処理を終了する。

このように、第１の実施形態においては、シーンの切り替わり位置における奥行き感が徐々に変更されるように、立体動画像の奥行き感を調整するようにしたため、立体動画像のシーンが切り替わる際に奥行き感が突然切り替わることがなくなり、その結果、立体視を行うユーザの疲労感を軽減することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による立体動画像処理装置は、第１の実施形態による立体動画像処理装置と同一の構成を有し、奥行き感調整部４が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。なお、第２の実施形態および以降の実施形態においては、図２に示すように第１の実施形態と同一のシーンＳ１〜Ｓ３を含む立体動画像Ｍ０を処理の対象とする。

第２の実施形態においては、奥行き感調整部４は、処理対象シーンの先頭フレームＦｒＴについて、処理対象シーンの前のシーンの最終フレームＦｒＬに相当する奥行き感を有する奥行き感調整先頭フレームＦｒＴｃ０を生成する。ここで、最終フレームＦｒＬと先頭フレームＦｒＴとは奥行き感が異なるため、奥行き感調整部４は、先頭フレームＦｒＴの奥行き感が最終フレームＦｒＬの奥行き感と同一となるように、先頭フレームＦｒＴをモーフィング等により加工して、奥行き感調整先頭フレームＦｒＴｃ０を生成する。そして、奥行き感調整先頭フレームＦｒＴｃ０の奥行き感から先頭フレームＦｒＴの奥行き感となるまで、先頭フレームＦｒＴの奥行き感が連続して変化する所定数の奥行き感調整フレームＦｒＴｃｉ（ｉはフレーム数）を生成する。なお、奥行き感調整フレームＦｒＴｃｉは、先頭フレームＦｒＴと同一の画像となる。そして、シーン間に奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉを挿入することにより、奥行き感調整処理を立体動画像に施す。

図７は第２の実施形態における奥行き感調整処理を説明するための図である。まず、奥行き感調整部４は、処理対象シーンの前のシーンの最終フレームＦｒＬに続いて、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０が表示され、奥行き感調整先頭フレームＦｒＴｃ０に続いて所定数（ここでは４つ）の奥行き感調整フレームＦｒＴｃ１〜ＦｒＴｃ４が表示され、奥行き感調整フレームＦｒＴｃ１〜ＦｒＴｃ４に続いて先頭フレームＦｒＴおよび先頭フレームＦｒＴに続くフレームが表示されるよう、シーン間に奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃ１〜ＦｒＴｃ４を挿入することにより、奥行き感調整処理を立体動画像Ｍ０に施す。これにより、処理済み立体動画像Ｍ１が生成される。

図８は第２の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図８に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間には、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉが挿入されることにより、各シーンの開始位置において前のシーンの奥行き感からそのシーンの奥行き感となるまで、先頭フレームＦｒＴの奥行き感が徐々に変化し、奥行き感が先頭フレームＦｒＴの奥行き感となるとそのシーンの再生が開始されることとなる。なお、第２の実施形態においては、各シーン間に挿入されるフレーム数は一定であるため、各シーン間においては、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉが、フレーム数に応じた時間Δｔ２再生されることとなる。また、各シーンの再生時間に変更はないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０よりも挿入されたフレーム数の分長くなる。

次いで、第２の実施形態において行われる処理について説明する。図９は第２の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ２１）、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０を生成する（ステップＳＴ２２）。

次いで、奥行き感調整先頭フレームＦｒＴｃ０から先頭フレームＦｒＴの奥行き感となるまで、奥行き感が連続して変化する所定数の奥行き感調整フレームＦｒＴｃｉを生成する（ステップＳＴ２３）。そして、処理対象シーンおよびその前のシーンとの間に奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉを挿入する（フレーム挿入、ステップＳＴ２４）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ２５）、ステップＳＴ２５が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ２６）、ステップＳＴ２２に戻る。ステップＳＴ２４が肯定されると、奥行き感調整処理を終了する。

なお、上記第１の実施形態においては、２次元フレームＦｒＴ０および所定数の奥行き感調整フレームＦｒＴｉをフレーム間に挿入しているため、フレーム間における奥行き感が切り替わる時間は一定時間Δｔ１となっている。

しかしながら、シーン間に挿入されるフレーム数が一定であると、シーンの奥行き感が大きい場合に急激に奥行き感が切り替わることとなってしまう。このため、シーンの奥行き感が大きいほど奥行き感調整フレームＦｒＴｉの数を大きくするようにしてもよい。以下、これを第３の実施形態として説明する。

図１０は第３の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ３１）、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０を生成する（ステップＳＴ３２）。

次いで、奥行き感調整部４は、処理対象シーンの奥行き感に応じて奥行き感調整フレームＦｒＴｉの数を設定する（フレーム数設定、ステップＳＴ３３）。具体的には、奥行き感に比例して大きくなるように奥行き感調整フレームＦｒＴｉの数を設定する。そして、２次元フレームＦｒＴ０から先頭フレームＦｒＴの奥行き感となるまで、奥行き感が連続して変化する設定されたフレーム数の奥行き感調整フレームＦｒＴｉを生成する（ステップＳＴ３４）。そして、処理対象シーンおよびその前のシーンとの間に２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉを挿入する（フレーム挿入、ステップＳＴ３５）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ３６）、ステップＳＴ３６が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ３７）、ステップＳＴ３２に戻る。ステップＳＴ３６が肯定されると、奥行き感調整処理を終了する。

図１１は第３の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図１１に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間には、２次元フレームＦｒＴ０およびシーンの奥行き感に応じた数の奥行き感調整フレームＦｒＴｉが挿入されることにより、各シーンの開始位置において先頭フレームＦｒＴの奥行き感が０から先頭フレームＦｒＴの奥行き感となるまで徐々に変化し、奥行き感が先頭フレームＦｒＴの奥行き感となるとそのシーンの再生が開始されることとなる。また、シーンの奥行き感が大きいほど挿入される奥行き感調整フレームＦｒＴｉの数が大きくなるため、各シーン間においては、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉが、挿入されたフレーム数に応じた時間Δｔ３，Δｔ４再生されることとなる。なお、シーンＳ３はシーンＳ２よりも奥行き感が大きいため、Δｔ４＞Δｔ３となっている。また、各シーンの再生時間に変更はないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０よりも挿入されたフレーム数の分長くなる。

このように、シーンの奥行き感が大きいほど挿入される奥行き感調整フレームＦｒＴｉの数を大きくすることにより、シーンの切り替わりにおいて奥行き感が急激に変化することがなくなるため、立体視を行うユーザの疲労感をより軽減することができる。

なお、第２の実施形態においても、第３の実施形態と同様に、処理対象シーンの前のシーンの最終フレームＦｒＬの奥行き感と、処理対象シーンの奥行き感との差が大きいほど、奥行き感調整先頭フレームＦｒＴｃｉの数を大きくするようにしてもよい。以下、これを第４の実施形態として説明する。

図１２は第４の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ４１）、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０を生成する（ステップＳＴ４２）。

次いで、奥行き感調整部４は、処理対象シーンの前のシーンの最終フレームＦｒＬと、処理対象心の先頭フレームＦｒＴとの奥行き感の差に応じて奥行き感調整フレームＦｒＴｃｉの数を設定する（フレーム数設定、ステップＳＴ４３）。具体的には、奥行き感の差に比例して大きくなるように奥行き感調整フレームＦｒＴｃｉの数を設定する。そして奥行き感調整先頭フレームＦｒＴｃ０から先頭フレームＦｒＴの奥行き感となるまで、奥行き感が連続して変化する設定されたフレーム数の奥行き感調整フレームＦｒＴｃｉを生成する（ステップＳＴ４４）。そして、処理対象シーンおよびその前のシーンとの間に奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉを挿入する（フレーム挿入、ステップＳＴ４５）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ４６）、ステップＳＴ４６が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ４７）、ステップＳＴ４２に戻る。ステップＳＴ４６が肯定されると、奥行き感調整処理を終了する。

図１３は第４の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図１３に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間には、奥行き感調整先頭フレームＦｒＴｃ０および前のシーンの奥行き感との差に応じた数の奥行き感調整フレームＦｒＴｃｉが挿入されることにより、各シーンの開始位置において前のシーンの奥行き感から先頭フレームＦｒＴの奥行き感となるまで、先頭フレームＦｒＴの奥行き感が徐々に変化し、奥行き感が先頭フレームＦｒＴの奥行き感となるとそのシーンの再生が開始されることとなる。また、シーン間の奥行き感の差が大きいほど挿入される奥行き感調整フレームＦｒＴｃｉの数が大きくなるため、各シーン間においては、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉが、挿入されたフレーム数に応じた時間Δｔ５，Δｔ６再生されることとなる。なお、シーンＳ２，Ｓ３間の奥行き感の差はシーンＳ１，Ｓ２間の奥行き感の差よりも大きいため、Δｔ６＞Δｔ５となっている。また、各シーンの再生時間に変更はないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０よりも挿入されたフレーム数の分長くなる。

次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態による立体動画像処理装置は、第１の実施形態による立体動画像処理装置と同一の構成を有し、奥行き感調整部４が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

第５の実施形態においては、奥行き感調整部４は、処理対象シーンの先頭フレームＦｒＴからその途中の基準フレームＦｒＢまでのフレームについて、奥行き感が０から基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの奥行き感が連続して変化するように、奥行き感調整処理を立体動画像Ｍ０に施す。

図１４は第５の実施形態における奥行き感調整処理を説明するための図である。なお、第５の実施形態および以降の実施形態において、処理対象シーンの前のシーンの最終フレームＦｒＬに含まれる被写体が円形であり、処理対象シーンの先頭フレームＦｒＴに含まれる被写体が正方形であり、処理対象シーンにおいて正方形の被写体が画面左から右に移動しているものとする。まず、奥行き感調整部４は、処理対象シーンの前のシーンの最終フレームＦｒＬに続いて、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０が表示され、２次元フレームＦｒＴ０に続いて処理対象シーンにおける先頭から６フレーム目の基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの奥行き感が連続して変化する、先頭フレームＦｒＴ０と基準フレームＦｒＢとの間のフレーム数（−ここでは４つ）に対応する数の奥行き感調整フレームＦｒ１〜Ｆｒ４が表示され、奥行き感調整フレームＦｒ１〜Ｆｒ４に続いて基準フレームＦｒＢおよび基準フレームにＦｒＢ続くフレームが表示されるよう、奥行き感調整処理を立体動画像Ｍ０に施す。すなわち、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームを、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒ１〜Ｆｒ４と置換することにより、奥行き感調整処理を立体動画像Ｍ０に施す。これにより、処理済み立体動画像Ｍ１が生成される。

図１５は第５の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図１５に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間においては、シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームが、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒｉと置換されることにより、各シーンの開始位置において奥行き感が０から基準フレームＦｒＢの奥行き感となるまで徐々に変化することとなる。なお、第５の実施形態においては、先頭フレームＦｒＴから基準フレームＦｒＢまでのフレーム数は一定であるため、各シーンの開始位置においては、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒｉが、フレーム数に応じた時間Δｔ７再生されることとなる。また、各シーン間にはフレームは何ら挿入されないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０の再生時間と同一となる。

次いで、第５の実施形態において行われる処理について説明する。図１６は第５の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ５１）、処理対象シーンのフレーム数と、先頭フレームＦｒＴ０から基準フレームＦｒＢまでのフレーム数（基準フレーム数）との差がしきい値Ｔｈ１を越えるか否かを判定する（ステップＳＴ５２）。なお、ステップＳＴ５２の処理を行うのは、処理対象シーンの長さと比較して、奥行き感が切り替わるシーンの長さが長すぎるものとなってしまうことを防止するためである。また、処理対象シーンのフレーム数と基準フレーム数との差に代えて、比率を用いてもよい。ステップＳＴ５２が肯定されると、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０を生成する（ステップＳＴ５３）。

次いで、２次元フレームＦｒＴ０から基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの先頭フレームＦｒＴ０から基準フレームＦｒＢまでのフレームについての奥行き感が連続して変化する、所定数の奥行き感調整フレームＦｒｉを生成する（ステップＳＴ５４）。そして、処理対象シーンの先頭フレームＦｒＴ０から基準フレームＦｒＢの１つ前までのフレームを、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒｉと置換する（フレーム置換、ステップＳＴ５５）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ５６）、ステップＳＴ５６が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ５７）、ステップＳＴ５３に戻る。ステップＳＴ５６が肯定されると、奥行き感調整処理を終了する。

なお、ステップＳＴ５２が否定されると、他の奥行き感調整処理を行い（ステップＳＴ５８）、ステップＳＴ５６の処理に進む。ここで、他の奥行き感調整処理としては、上記第１から第４の実施形態の奥行き感調整処理を用いることができる。なお、奥行き感調整処理を行わないようにしてもよい。

このように、第５の実施形態においては、シーンの切り替わり位置における奥行き感が徐々に変更されるように、立体動画像の奥行き感を調整するようにしたため、立体動画像のシーンが切り替わる際に奥行き感が突然切り替わることがなくなり、その結果、立体視を行うユーザの疲労感を軽減することができる。また、処理済み立体動画像Ｍ１の再生時間は、処理前の立体動画像Ｍ０の再生時間と変わらないため、奥行き感調整処理により、立体道画像Ｍ０の画像ファイルの容量が増えてしまうことを防止できる。

次いで、本発明の第６の実施形態について説明する。なお、第６の実施形態による立体動画像処理装置は、第１の実施形態による立体動画像処理装置と同一の構成を有し、奥行き感調整部４が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

第６の実施形態においては、奥行き感調整部４は、第２の実施形態と同様に、処理対象シーンの先頭フレームＦｒＴについて、処理対象シーンの前のシーンの最終フレームＦｒＬに相当する奥行き感を有する奥行き感調整先頭フレームＦｒＴｃ０を生成する。そして、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢまでのフレームについて、奥行き感が奥行き感調整先頭フレームＦｒＴｃ０から基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの奥行き感が連続して変化するように、奥行き感調整処理を立体動画像に施す。

図１７は第６の実施形態における奥行き感調整処理を説明するための図である。まず、奥行き感調整部４は、処理対象シーンの前のシーンの最終フレームＦｒＬに続いて、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０が表示され、奥行き感調整先頭フレームＦｒＴｃ０に続いて処理対象シーンにおける先頭から６フレーム目の基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの奥行き感が連続して変化する、先頭フレームＦｒＴ０と基準フレームＦｒＢとの間のフレーム数（ここでは４つ）に対応する数の奥行き感調整フレームＦｒｃ１〜Ｆｒｃ４が表示され、奥行き感調整フレームＦｒｃ１〜Ｆｒｃ４に続いて基準フレームＦｒＢおよび基準フレームにＦｒＢ続くフレームが表示されるよう、奥行き感調整処理を立体動画像Ｍ０に施す。すなわち、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームを、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｃ１〜Ｆｒｃ４と置換することにより、奥行き感調整処理を立体動画像Ｍ０に施す。これにより、処理済み立体動画像Ｍ１が生成される。

図１８は第６の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図１８に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間においては、シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームが、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｃｉと置換されることにより、各シーンの開始位置において奥行き感が前のシーンの奥行き感から基準フレームＦｒＢの奥行き感となるまで徐々に変化することとなる。なお、第６の実施形態においては、先頭フレームＦｒＴから基準フレームＦｒＢまでのフレーム数は一定であるため、各シーンの開始位置においては、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｃｉが、フレーム数に応じた時間Δｔ８再生されることとなる。また、各シーン間にはフレームは何ら挿入されないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０の再生時間と同一となる。

次いで、第６の実施形態において行われる処理について説明する。図１９は第６の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ６１）、処理対象シーンのフレーム数と、先頭フレームＦｒＴから基準フレームＦｒＢまでのフレーム数（基準フレーム数）との差がしきい値Ｔｈ１を越えるか否かを判定する（ステップＳＴ６２）。なお、処理対象シーンのフレーム数と基準フレーム数との差に代えて、比率を用いてもよい。ステップＳＴ６２が肯定されると、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０を生成する（ステップＳＴ６３）。

次いで、奥行き感調整先頭フレームＦｒＴｃ０から基準フレームＦｒＢの奥行き感となるまで、処理対象シーンの先頭フレームＦｒＴ０から基準フレームＦｒＢまでのフレームについての奥行き感が連続して変化する、所定数の奥行き感調整フレームＦｒｃｉを生成する（ステップＳＴ６４）。そして、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームを、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｃｉと置換する（フレーム置換、ステップＳＴ６５）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ６６）、ステップＳＴ６６が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ６７）、ステップＳＴ６２に戻る。ステップＳＴ６６が肯定されると、奥行き感調整処理を終了する。

なお、ステップＳＴ６２が否定されると、他の奥行き感調整処理を行い（ステップＳＴ６８）、ステップＳＴ６６の処理に進む。ここで、他の奥行き感調整処理としては、上記第１から第４の実施形態の奥行き感調整処理を用いることができる。なお、奥行き感調整処理を行わないようにしてもよい。

なお、上記第５の実施形態においては、２次元フレームＦｒＴ０および所定数の奥行き感調整フレームＦｒｉを、先頭フレームＦｒＴから基準フレームＦｒＢまでのフレームと置換しているため、フレーム間における奥行き感が切り替わる時間は一定時間Δｔ７となっている。

しかしながら、シーン間に挿入されるフレーム数が一定であると、シーンの奥行き感が大きい場合に急激に奥行き感が切り替わることとなってしまう。このため、シーンの奥行き感が大きいほど奥行き感調整フレームＦｒｉの数を増加させるようにしてもよい。以下、これを第７の実施形態として説明する。

図２０は第７の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ７１）、処理対象シーンの奥行き感に応じて奥行き感調整フレームＦｒｉの数を設定する（フレーム数設定、ステップＳＴ７２）。具体的には、奥行き感に比例して大きくなるように奥行き感調整フレームＦｒｉの数を設定する。そして、先頭フレームＦｒＴから設定された数のフレームの次のフレームを基準フレームＦｒＢに設定し（ステップＳＴ７３）、処理対象シーンのフレーム数と、先頭フレームＦｒＴ０から基準フレームＦｒＢまでのフレーム数（基準フレーム数）との差がしきい値Ｔｈ１を越えるか否かを判定する（ステップＳＴ７４）。なお、処理対象シーンのフレーム数と基準フレーム数との差に代えて、比率を用いてもよい。ステップＳＴ７４が肯定されると、処理対象シーンの先頭フレームＦｒＴに対応する２次元フレームＦｒＴ０を生成する（ステップＳＴ７５）。

次いで、２次元フレームＦｒＴ０から基準フレームＦｒＢの奥行き感となるまで、奥行き感が連続して変化する設定されたフレーム数の奥行き感調整フレームＦｒｉを生成する（ステップＳＴ７６）。

そして、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームを、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒｉと置換する（フレーム置換、ステップＳＴ７７）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ７８）、ステップＳＴ７８が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ７９）、ステップＳＴ７２に戻る。ステップＳＴ７８が肯定されると、奥行き感調整処理を終了する。

なお、ステップＳＴ７５が否定されると、他の奥行き感調整処理を行い（ステップＳＴ８０）、ステップＳＴ７８の処理に進む。ここで、他の奥行き感調整処理としては、上記第１から第４の実施形態の奥行き感調整処理を用いることができる。なお、奥行き感調整処理を行わないようにしてもよい。

図２１は第７の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図２１に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間においては、シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームが、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒｉと置換されることにより、各シーンの開始位置において奥行き感が０から基準フレームＦｒＢの奥行き感となるまで徐々に変化することとなる。また、シーンの奥行き感が大きいほど挿入される奥行き感調整フレームＦｒｉの数が大きくなるため、各シーンの開始位置においては、２次元フレームＦｒＴ０および奥行き感調整フレームＦｒＴｉが、挿入されたフレーム数に応じた時間Δｔ９，Δｔ１０再生されることとなる。なお、シーンＳ３はシーンＳ２よりも奥行き感が大きいため、Δｔ１０＞Δｔ９となっている。また、各シーン間にはフレームは何ら挿入されないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０の再生時間と同一となる。

このように、シーンの奥行き感が大きいほど奥行き感調整フレームＦｒｉの数を大きくすることにより、シーンの切り替わりにおいて奥行き感が急激に変化することがなくなるため、立体視を行うユーザの疲労感をより軽減することができる。

なお、第６の実施形態においても、第７の実施形態と同様に、処理対象シーンの前のシーンの最終フレームＦｒＬの奥行き感と、処理対象シーンの奥行き感との差が大きいほど、奥行き感調整先頭フレームＦｒｃｉの数を多くするようにしてもよい。以下、これを第８の実施形態として説明する。

図２２は第８の実施形態における奥行き感調整処理のフローチャートである。奥行き感調整部４は、処理対象シーンを最初のシーンに設定し（ステップＳＴ９１）、処理対象シーンの奥行き感に応じて奥行き感調整フレームＦｒｉの数を設定する（フレーム数設定、ステップＳＴ９２）。具体的には、奥行き感に比例して大きくなるように奥行き感調整フレームＦｒｉの数を設定する。そして、先頭フレームＦｒＴから設定された数のフレームの次のフレームを基準フレームＦｒＢに設定し（ステップＳＴ９３）、処理対象シーンのフレーム数と、先頭フレームＦｒＴ０から基準フレームＦｒＢまでのフレーム数（基準フレーム数）との差がしきい値Ｔｈ１を越えるか否かを判定する（ステップＳＴ９４）。なお、処理対象シーンのフレーム数と基準フレーム数との差に代えて、比率を用いてもよい。ステップＳＴ９４が肯定されると、処理対象シーンの先頭フレームＦｒＴに対応する奥行き感調整先頭フレームＦｒＴｃ０を生成する（ステップＳＴ９５）。

次いで、奥行き感調整先頭フレームＦｒＴｃ０から基準フレームＦｒＢの奥行き感となるまで、奥行き感が連続して変化する設定されたフレーム数の奥行き感調整フレームＦｒｃｉを生成する（ステップＳＴ９６）。そして、処理対象シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームを、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｉｃと置換する（フレーム置換、ステップＳＴ９７）。

続いて、奥行き感調整部４は、すべてのシーンの処理を終了したか否かを判定し（ステップＳＴ９８）、ステップＳＴ９８が否定されると、処理対象シーンを次のシーンに変更し（ステップＳＴ９９）、ステップＳＴ９２に戻る。ステップＳＴ９８が肯定されると、奥行き感調整処理を終了する。

なお、ステップＳＴ９４が否定されると、他の奥行き感調整処理を行い（ステップＳＴ１００）、ステップＳＴ９８の処理に進む。ここで、他の奥行き感調整処理としては、上記第１から第４の実施形態の奥行き感調整処理を用いることができる。なお、奥行き感調整処理を行わないようにしてもよい。

図２３は第８の実施形態により生成される処理済み立体動画像Ｍ１の奥行き感を示す図である。図２３に示すように処理済み立体動画像Ｍ１の各シーンＳ１〜Ｓ３の間においては、シーンの先頭フレームＦｒＴから基準フレームＦｒＢの１つ前までのフレームが、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒｃｉと置換されることにより、各シーンの開始位置において前のシーンの奥行き感から基準フレームＦｒＢの奥行き感となるまで奥行き感が徐々に変化することとなる。また、シーンの奥行き感が大きいほど奥行き感調整フレームＦｒｉの数が大きくなるため、各シーンの開始位置においては、奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉが、挿入されたフレーム数に応じた時間Δｔ１１，Δｔ１２再生されることとなる。なお、シーンＳ３はシーンＳ２よりも奥行き感が大きいため、Δｔ１２＞Δｔ１１となっている。また、各シーン間にはフレームは何ら挿入されないため、処理済み立体動画像Ｍ１の再生時間は、立体動画像Ｍ０の再生時間と同一となる。

なお、上記第２および第４の実施形態においては、処理対象シーンの先頭フレームＦｒＴについての奥行き感調整先頭フレームＦｒＴｃ０および奥行き感調整フレームＦｒＴｃｉを生成しているが、処理対象シーンの先頭フレームＦｒＴに代えて、処理対象シーンの前のシーンの最終フレームＦｒＬについて、奥行き感が処理対象シーンの先頭フレームＦｒＴの奥行き感となるまで連続して変化する奥行き感調整フレームを生成して、シーン間に挿入するようにしてもよい。この場合、各シーンの再生が終了すると、各シーンの最終フレームＦｒＬの奥行き感が、次のシーンの先頭フレームＦｒＴの奥行き感となるまで徐々に変化し、奥行き感が次のシーンの先頭フレームＦｒＴの奥行き感となると、その次のシーンの再生が開始されることとなる。

また、上記各実施形態においては、２次元フレームＦｒＴ０および奥行き感調整先頭フレームＦｒＴｃ０を、先頭フレームＦｒＴまたは最終フレームＦｒＬをモーフィング等によって加工することにより生成しているが、立体動画像Ｍ０は複数の動画像を立体視可能なように合成することにより生成されているため、合成前の複数の動画像が立体動画像Ｍ０とともに装置１に入力された場合には、合成前の動画像を用いて２次元フレームＦｒＴ０および奥行き感調整先頭フレームを生成するようにしてもよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記のシーン検出部３および奥行き感調整部４に対応する手段として機能させ、図５，６，９，１０，１２，１６，１９，２０，２２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による立体動画像処理装置の構成を示す概略ブロック図第１の実施形態において入力された立体動画像の各シーンにおける奥行き感を示す図第１の実施形態における奥行き感調整処理を説明するための図第１の実施形態により生成される処理済み立体動画像の奥行き感を示す図第１の実施形態において行われる処理を示すフローチャート第１の実施形態における奥行き感調整処理のフローチャート第２の実施形態における奥行き感調整処理を説明するための図第２の実施形態により生成される処理済み立体動画像の奥行き感を示す図第２の実施形態における奥行き感調整処理のフローチャート第３の実施形態における奥行き感調整処理のフローチャート第３の実施形態により生成される処理済み立体動画像の奥行き感を示す図第４の実施形態における奥行き感調整処理のフローチャート第４の実施形態により生成される処理済み立体動画像の奥行き感を示す図第５の実施形態における奥行き感調整処理を説明するための図第５の実施形態により生成される処理済み立体動画像の奥行き感を示す図第５の実施形態における奥行き感調整処理のフローチャート第６の実施形態における奥行き感調整処理を説明するための図第６の実施形態により生成される処理済み立体動画像の奥行き感を示す図第６の実施形態における奥行き感調整処理のフローチャート第７の実施形態における奥行き感調整処理のフローチャート第７の実施形態により生成される処理済み立体動画像の奥行き感を示す図第８の実施形態における奥行き感調整処理のフローチャート第８の実施形態により生成される処理済み立体動画像の奥行き感を示す図

符号の説明

１立体動画像処理装置
２画像入力部
３シーン検出部
４奥行き感調整部
５入力部
６表示部
７制御部

Claims

複数のフレームからなる立体視可能な立体動画像の入力を受け付ける動画像入力手段と、
前記立体動画像のシーンの切り替わり位置を検出するシーン検出手段と、
前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成する奥行き感調整手段とを備えたことを特徴とする立体動画像処理装置。
前記奥行き感調整手段は、処理対象シーンの前のシーンの最終フレームに続いて、該処理対象シーンの先頭フレームに対応する２次元フレームが表示され、該２次元フレームに続いて前記先頭フレームの奥行き感となるまで該２次元フレームの奥行き感が連続して変化する所定数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記先頭フレームおよび該先頭フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段であることを特徴とする請求項１記載の立体動画像処理装置。
前記奥行き感調整手段は、前記先頭フレームの奥行き感が大きいほど、前記所定数を大きくする手段であることを特徴とする請求項２記載の立体動画像処理装置。
前記奥行き感調整手段は、処理対象シーンの前のシーンの最終フレームに続いて、該最終フレームに相当する奥行き感を有する、該処理対象シーンの先頭フレームまたは前記最終フレームに対応する奥行き感調整先頭フレームが表示され、該奥行き感調整先頭フレームに続いて前記先頭フレームの奥行き感となるまで該奥行き感調整先頭フレームの奥行き感が連続して変化する所定数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記先頭フレームおよび該先頭フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段であることを特徴とする請求項１記載の立体動画像処理装置。
前記奥行き感調整手段は、前記最終フレームと前記先頭フレームとの奥行き感の差が大きいほど、前記所定数を大きくする手段であることを特徴とする請求項４記載の立体動画像処理装置。
前記奥行き感調整手段は、処理対象シーンの前のシーンの最終フレームに続いて、該処理対象シーンの先頭フレームに対応する２次元フレームが表示され、該２次元フレームに続いて前記処理対象シーンにおける基準フレームの奥行き感となるまで、前記処理対象シーンの奥行き感が連続して変化する、前記先頭フレームから前記基準フレームまでのフレーム数に対応する数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記基準フレームおよび該基準フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段であることを特徴とする請求項１記載の立体動画像処理装置。
前記奥行き感調整手段は、前記先頭フレームの奥行き感が大きいほど、前記先頭フレームから前記基準フレームまでのフレーム数を多くする手段であることを特徴とする請求項６記載の立体動画像処理装置。
前記奥行き感調整手段は、前記処理対象シーンのフレーム数と、前記先頭フレームから前記基準フレームまでのフレーム数との比較結果に応じた前記奥行き感調整処理を、前記立体動画像に施す手段であることを特徴とする請求項６または７記載の立体動画像処理装置。
前記奥行き感調整手段は、処理対象シーンの前のシーンの最終フレームに続いて、該最終フレームに相当する奥行き感を有する、該処理対象シーンの先頭フレームに対応する奥行き感調整先頭フレームが表示され、該奥行き感調整先頭フレームに続いて前記処理対象シーンにおける基準フレームの奥行き感となるまで、前記処理対象シーンの奥行き感が連続して変化する、前記先頭フレームから前記基準フレームまでのフレーム数に対応する数の奥行き感調整フレームが表示され、該奥行き感調整フレームに続いて前記基準フレームおよび該基準フレームに続くフレームが表示されるよう、前記奥行き感調整処理を前記立体動画像に施す手段であることを特徴とする請求項１記載の立体動画像処理装置。
前記奥行き感調整手段は、前記最終フレームと前記先頭フレームとの奥行き感の差が大きいほど、前記奥行き感調整先頭フレームから前記基準フレームまでのフレーム数を多くする手段であることを特徴とする請求項８記載の立体動画像処理装置。
前記奥行き感調整手段は、前記処理対象シーンのフレーム数と、前記先頭フレームから前記基準フレームまでのフレーム数との比較結果に応じて、前記奥行き感調整処理を前記立体動画像に施す手段であることを特徴とする請求項９または１０記載の立体動画像処理装置。
複数のフレームからなる立体視可能な立体動画像の入力を受け付け、
前記立体動画像のシーンの切り替わり位置を検出し、
前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成することを特徴とする立体動画像処理方法。
複数のフレームからなる立体視可能な立体動画像の入力を受け付ける手順と、
前記立体動画像のシーンの切り替わり位置を検出する手順と、
前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成する手順とを有することを特徴とする立体動画像処理方法をコンピュータに実行させるためのプログラム。