JP2011171862A

JP2011171862A - 再生装置、再生方法、およびプログラム

Info

Publication number: JP2011171862A
Application number: JP2010031857A
Authority: JP
Inventors: Yasutaka Kono; 康隆河野; Noboru Murabayashi; 昇村林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-02-16
Filing date: 2010-02-16
Publication date: 2011-09-01

Abstract

【課題】ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにする。
【解決手段】再生装置１においては、３Ｄ対応であるか否かとサイズなどの、コンテンツの画像を表示するディスプレイの属性が検出され、検出された属性と、ダイジェスト再生を行うコンテンツの種類に応じて、ダイジェスト再生の対象となる区間が切り替えられる。例えば、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイが３Ｄ対応の大型のディスプレイである場合、左目用画像と右目用画像の視差の大きい区間が優先的に再生され、ディスプレイが３Ｄ非対応または小型のディスプレイである場合、視差以外の他の特徴が多く検出された区間が優先的に再生される。本発明は、３Ｄコンテンツを再生するプレーヤに適用することができる。
【選択図】図１

Description

本発明は、再生装置、再生方法、およびプログラムに関し、特に、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにした再生装置、再生方法、およびプログラムに関する。

近年、立体視が可能な３Ｄ画像関連の技術が注目されている。一般のユーザであっても、例えば映画館などにおいて画質の良い３Ｄ対応のディスプレイや３Ｄコンテンツを利用することができ、３Ｄで表示される映画の視聴を楽しむことができるようになってきている。

ここで、３Ｄコンテンツとは、３Ｄ画像を表示するためのデータを含むコンテンツをいう。３Ｄ画像の表示方式には、同じオブジェクト間に視差がある左目用の画像と右目用の画像を交互に表示するフレームシーケンシャル方式がある。左目用の画像と右目用の画像をシャッタメガネ等を用いて視聴者の左右のそれぞれの目に届けることにより、奥行き感を視聴者に感じさせることが可能になる。

Blu-ray Disc（商標）等の記録媒体に記録された３Ｄコンテンツを再生したり、３Ｄコンテンツを記録したりすることが可能な３Ｄ対応のビデオレコーダも提案されている。このような３Ｄ対応のビデオレコーダは、通常、互換性を確保するため、３Ｄコンテンツの他に、２Ｄコンテンツを再生したり記録したりすることができるようになっている。３Ｄ対応のビデオレコーダが再生し、出力するビデオデータは、３Ｄ画像のデータであるときもあるし、２Ｄ画像のデータであるときもある。

従って、３Ｄ対応のビデオレコーダに接続するディスプレイは、３Ｄ画像と２Ｄ画像の両方の画像の表示が可能であることが望ましい。３Ｄ画像と２Ｄ画像を表示可能なディスプレイである３Ｄ対応ディスプレイとしては様々なものが開発されており、テレビジョン受像機用やパーソナルコンピュータ用のものだけでなく、携帯電話機などの小型の機器用の３Ｄディスプレイも開発されている。

ところで、ハードディスクレコーダ等のビデオレコーダの中には、長時間にわたるコンテンツの内容を短時間で把握できるようにするためのダイジェスト再生の機能が搭載されているものがある。

ダイジェスト再生の手法には、ビデオデータを解析して画像の特徴的な区間を検出し、その特徴的な区間だけを再生することが知られている。例えば、ズーム、パン、チルトなどのカメラワークに関する動作が検出され、カメラワークに関する動作が行われた時刻を含む区間が、特徴的な区間として再生される。

特許文献１には、パン、チルト、ズーム等のカメラワークに関する動作を画像の特徴として検出する技術が開示されている。特許文献２には、シーンの切り替わりを検出し、切り替わり位置の映像の奥行き感を調整する技術が開示されている。

特開２００９−４２９１７号公報特開２００９−２３９３８８号公報

上述したダイジェスト再生を、３Ｄコンテンツを対象として行うことが考えられる。例えば、物や人などのオブジェクトが顕著に飛び出して表示される区間が３Ｄ特徴区間として検出され、順次再生されることによって、ユーザは、３Ｄ画像を視聴してコンテンツの内容を確認することが可能になる。

この場合、ダイジェスト再生を行うビデオレコーダに接続されているディスプレイが３Ｄ対応であり、サイズが大型であるときには、臨場感のある３Ｄ画像が表示されることになるため、３Ｄ特徴区間を優先的に再生することには意味があるといえる。

一方、ビデオレコーダに接続されているディスプレイのサイズが小さいときには、３Ｄ画像が表示されるものの大型のディスプレイに比べると臨場感が低下するため、パンなどのカメラの動作が検出された区間を優先的に再生した方が効果的な場合もある。また、ビデオレコーダに接続されているディスプレイが３Ｄ画像に非対応である場合、３Ｄ特徴区間を優先的に再生することにはあまり意味がない。

本発明はこのような状況に鑑みてなされたものであり、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができるようにするものである。

本発明の一側面の再生装置は、コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段とを備える。

前記属性検出手段には、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出させ、前記特徴検出手段には、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出させ、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出させることができる。

前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択させることができる。

前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択させることができる。

前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。

前記選択手段には、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択させることができる。

本発明の一側面の再生方法は、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む。

本発明の一側面のプログラムは、コンテンツの画像を表示するディスプレイの属性を検出し、画像に関する特徴を前記コンテンツの区間毎に検出し、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替えるステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、コンテンツの画像を表示するディスプレイの属性が検出され、画像に関する特徴が前記コンテンツの区間毎に検出され、前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間が、前記ディスプレイの属性に応じて切り替えられる。

本発明によれば、ディスプレイの属性に応じて、コンテンツの特徴的な区間として選択する区間を切り替えることができる。

本発明の一実施形態に係る再生装置に接続されるディスプレイの例を示す図である。キーフレーム区間の選択の例を示す図である。ダイジェスト再生の例を示す図である。キーフレーム区間の選択の他の例を示す図である。ダイジェスト再生の他の例を示す図である。再生装置の構成例を示すブロック図である。特徴検出区間の例を示す図である。システムコントローラの機能構成例を示すブロック図である。３Ｄ特徴評価値の例を示す図である。優先的に選択する特徴検出区間の例を示す図である。再生装置のダイジェスト再生処理について説明するフローチャートである。図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明するフローチャートである。図１２のステップＳ３０において行われる要約モード時の選択処理１について説明するフローチャートである。図１２のステップＳ３１において行われる要約モード時の選択処理２について説明するフローチャートである。図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明するフローチャートである。キーフレーム区間の選択の例を示す図である。キーフレーム区間の選択の他の例を示す図である。重み係数の関係の例を示す図である。図１１のステップＳ１１において行われる他のキーフレーム区間選択処理１について説明するフローチャートである。図１１のステップＳ１２において行われる他のキーフレーム区間選択処理２について説明するフローチャートである。コンピュータの構成例を示すブロック図である。

［ダイジェスト再生について］
図１は、本発明の一実施形態に係る再生装置１に接続されるディスプレイの例を示す図である。

再生装置１は、Blu-ray Discなどの着脱可能な記録媒体に記録されている３Ｄコンテンツや、HDD(Hard Disk Drive)などの内蔵の記録媒体に記録されている３Ｄコンテンツを再生する機能を有する。また、再生装置１は、着脱可能な記録媒体や内蔵の記録媒体に記録されている２Ｄコンテンツを再生する機能をも有する。

３Ｄコンテンツは、例えば３Ｄ画像の表示方式がフレームシーケンシャル方式である場合には、左目用の画像と右目用の画像からなる３Ｄ画像のデータを含むコンテンツである。２Ｄコンテンツは、通常の２Ｄ画像のデータを含むコンテンツである。

３Ｄコンテンツ、または２Ｄコンテンツを再生して得られた画像データは、HDMI(High Definition Multimedia Interface)規格のケーブルなどを介して再生装置１に接続されている外部のディスプレイに出力される。再生装置１に接続されている外部のディスプレイにより、３Ｄ画像、または２Ｄ画像が表示される。

図１の上段においては、携帯電話機１１が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、携帯電話機１１のディスプレイに画像が表示される。携帯電話機１１のディスプレイは、３Ｄ対応であり、例えば２，３インチといったような、サイズが小さいディスプレイである。

図１の中段においては、テレビジョン受像機１２が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１２のディスプレイに画像が表示される。テレビジョン受像機１２のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、２Ｄ対応（３Ｄ非対応）のディスプレイである。

図１の下段においては、テレビジョン受像機１３が再生装置１に接続されている。再生装置１が出力する画像データに基づいて、テレビジョン受像機１３のディスプレイに画像が表示される。テレビジョン受像機１３のディスプレイは、携帯電話機１１のディスプレイよりサイズが大きい、３Ｄ対応（２Ｄ画像の表示にも対応）のディスプレイである。

このように、再生装置１には、機能やサイズなどの属性の異なる各種のディスプレイを有する機器が接続される。再生装置１が再生するコンテンツの画像を表示するディスプレイは、３Ｄ対応の小型ディスプレイであるときもあるし、３Ｄ非対応のディスプレイであるときもあるし、３Ｄ対応の大型ディスプレイであるときもある。

また、再生装置１は、コンテンツの全区間のうち、特徴的な区間だけを再生するダイジェスト再生の機能を有する。再生装置１は、ダイジェスト再生の対象となるコンテンツの画像データを解析し、各区間の画像に関する特徴を検出する。

再生装置１が検出する特徴は、例えば、パン、チルト、ズーム等の、映像コンテンツを撮影するカメラワークに関する動作と、対象とするコンテンツが３Ｄコンテンツである場合には、左目用の画像と右目用の画像の間の視差である。視差が大きいほど、左目用の画像と右目用の画像を見たユーザはより大きな奥行き感を感じることになる。

以下、適宜、パン、チルト、ズーム等のカメラワークに関する動作をカメラ特徴といい、左目用の画像と右目用の画像の間の視差を３Ｄ特徴という。

再生装置１による画像データの解析は、例えば３秒間などの所定の長さの各区間を対象として行われる。例えば、パンやズームなどのカメラ特徴に基づいてカメラ特徴評価値が算出され、閾値を超える区間がカメラ特徴区間として決定される。また、再生対象のコンテンツが３Ｄコンテンツである場合には、視差の量に基づいて３Ｄ特徴評価値が算出され、閾値を超える区間が３Ｄ特徴区間として決定される。

また、再生装置１は、ダイジェスト再生を行う場合、ダイジェスト再生によって画像を表示するディスプレイの属性を検出する。ディスプレイの属性には、３Ｄ対応であるか否かと、ディスプレイのサイズが含まれる。サイズは、インチ数、または画素数により表される。

再生装置１は、決定したカメラ特徴区間や３Ｄ特徴区間のうち、どの区間をキーフレーム区間として選択するのかを、ディスプレイの属性と、再生対象のコンテンツが３Ｄコンテンツであるか、２Ｄコンテンツであるかなどに応じて切り替える。キーフレーム区間は、コンテンツの特徴を表していると考えられる区間であり、ダイジェスト再生によって再生される。

図２は、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。

図２において、「ズーム」、「パン」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。図２の例においては、再生対象の３Ｄコンテンツの区間Ｔ_０乃至Ｔ_１０のうち、区間Ｔ_１，Ｔ_３，Ｔ_４，Ｔ_６がカメラ特徴区間として決定され、区間Ｔ_２，Ｔ_７，Ｔ_８が３Ｄ特徴区間として決定されている。区間Ｔ_０，Ｔ_５，Ｔ_９，Ｔ_１０は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。

カメラ特徴区間と３Ｄ特徴区間がこのようにして決定された場合を考える。この場合において、ディスプレイが３Ｄ対応の小型のディスプレイであるとき、または３Ｄ非対応のディスプレイであるとき、図２の下段に示すように、カメラ特徴区間が優先的に再生されるように、区間Ｔ_１，Ｔ_３，Ｔ_４，Ｔ_６がキーフレーム区間として選択される。

ダイジェスト再生時、図３に示すように、カメラ特徴区間である区間Ｔ_１，Ｔ_３，Ｔ_４，Ｔ_６が続けて再生される。

図４は、キーフレーム区間の選択の他の例を示す図である。

図４の例においても、再生対象の３Ｄコンテンツの区間Ｔ_０乃至Ｔ_１０のうち、区間Ｔ_１，Ｔ_３，Ｔ_４，Ｔ_６がカメラ特徴区間として決定され、区間Ｔ_２，Ｔ_７，Ｔ_８が３Ｄ特徴区間として決定されている。

この場合において、ディスプレイが３Ｄ対応の大型のディスプレイであるとき、図４の下段に示すように、３Ｄ特徴区間が優先的に再生されるように、区間Ｔ_２，Ｔ_７，Ｔ_８がキーフレーム区間として選択される。３Ｄ特徴区間を再生しただけではダイジェスト再生の時間に足りない場合、他の区間である区間Ｔ_６もキーフレーム区間として適宜選択される。

ダイジェスト再生時、図５に示すように、区間Ｔ_２，Ｔ_６，Ｔ_７，Ｔ_８が連続して再生される。

このように、再生装置１においては、ディスプレイの属性と、再生対象のコンテンツの種類などに応じて、ディスプレイに適した区間が優先的に再生されるように、キーフレーム区間として選択される区間が切り替えられる。

これにより、例えば、３Ｄ対応の小型ディスプレイや３Ｄ非対応のディスプレイに３Ｄ特徴区間の画像が表示されるといったような、ダイジェスト再生が非効率に行われるのを防ぐことができる。

３Ｄ対応の小型ディスプレイに３Ｄ画像を表示したとしても奥行き感をユーザに与えることができず、ユーザが得る臨場感は小さい。従って、そのような再生は、３Ｄ対応の大型ディスプレイに３Ｄ画像を表示する場合に較べて非効率といえる。

３Ｄ対応の大型ディスプレイに３Ｄ特徴区間の画像を表示させることによって、ダイジェスト再生を効率的に行うことが可能になる。

［再生装置１の構成例］
図６は、再生装置１の構成例を示すブロック図である。

システムコントローラ３１は、ユーザI/F３２から供給されるユーザの操作の内容を表す信号に従って、再生装置１の全体の動作を制御する。

例えば、システムコントローラ３１は、特徴抽出部３６から供給されたデータにより表される各区間の特徴量に基づいて、カメラ特徴区間と３Ｄ特徴区間を決定する。また、システムコントローラ３１は、表示処理部３７から供給された属性データに基づいてディスプレイ２２の属性を検出し、上述したようにしてキーフレーム区間を選択する。

システムコントローラ３１は、画像データの解析時、再生対象のコンテンツの全区間の画像データの再生が行われるように再生制御部３３を制御し、ダイジェスト再生時、キーフレーム区間の再生が行われるように再生制御部３３を制御する。

ユーザI/F３２は、リモートコントローラ２１からの信号を受光する受光部などにより構成される。ユーザI/F３２は、リモートコントローラ２１に対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ３１に出力する。

再生制御部３３は、システムコントローラ３１による制御に従って、記録媒体３４からのデータの読み出しを制御する。再生制御部３３は、画像データの解析時、再生対象のコンテンツの全区間の画像データを再生処理部３５に供給させ、ダイジェスト再生時、キーフレーム区間の画像データを再生処理部３５に供給させる。

記録媒体３４は例えばHDDであり、コンテンツを記録する。

再生処理部３５は、記録媒体３４から供給されたコンテンツのデータに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部３５は、画像データの解析時、再生処理によって得られた画像データを特徴抽出部３６に出力し、ダイジェスト再生時、再生処理によって得られた画像データを表示処理部３７に出力する。

特徴抽出部３６は、ダイジェスト再生の対象とするコンテンツ全体を所定の長さの区間毎に区切り、各区間の特徴を検出する。

図７は、特徴検出の対象となる区間の例を示す図である。

図７の例においては、コンテンツの画像データ全体が３秒間の区間毎に区切られている。このようにして区切られた各区間を特徴検出の対象となる特徴検出区間として、再生対象のコンテンツが３Ｄコンテンツである場合にはカメラ特徴と３Ｄ特徴が検出され、２Ｄコンテンツである場合にはカメラ特徴が検出される。

特徴抽出部３６は、このようにして検出したカメラ特徴の量を表すデータと、３Ｄ特徴の量を表すデータをシステムコントローラ３１に出力する。

表示処理部３７は、再生装置１に接続された外部のディスプレイであるディスプレイ２２と通信を行う。図１の例の場合、ディスプレイ２２は、携帯電話機１１、テレビジョン受像機１２、またはテレビジョン受像機１３のディスプレイとなる。

表示処理部３７は、ディスプレイ２２に要求することによって、ディスプレイ２２の属性を表すデータを受信し、受信したデータをシステムコントローラ３１に出力する。ディスプレイ２２は、再生装置１からの要求に応じて、ディスプレイ２２の属性を表すデータを再生装置１に送信する。

ディスプレイ２２の属性を表すデータは、例えばHDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納してディスプレイ２２から再生装置１に送信される。HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットである。HDMI Vender Specific InfoFrame Packetは、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。

また、表示処理部３７は、再生処理部３５から供給された画像データをディスプレイ２２に出力し、画像を表示させる。

図８は、システムコントローラ３１の機能構成例を示すブロック図である。

図８に示すように、システムコントローラ３１においては、所定のプログラムが実行されることによって、属性検出部５１とキーフレーム区間選択部５２が実現される。

属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２が３Ｄ対応のディスプレイであるか、３Ｄ非対応のディスプレイであるかを検出し、３Ｄ対応／非対応を表すデータをキーフレーム区間選択部５２に出力する。

また、属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２のサイズを検出する。例えば、属性検出部５１は、ディスプレイ２２のインチ数が２０インチ以上である場合、または、ディスプレイ２２の画素数が1366×768以上である場合、サイズが大型であることを表すデータをキーフレーム区間選択部５２に出力する。

キーフレーム区間選択部５２は、特徴抽出部３６から供給されたカメラ特徴の量を表すデータに基づいて、特徴検出区間毎のカメラ特徴評価値を算出する。

ここで、カメラ特徴評価値の算出方法として、特許文献１（特開２００９−４２９１７号公報）に開示されている方法を用いることが可能である。特許文献１には、ブロックマッチングによりオブジェクトの動きベクトルを検出し、動きベクトルに基づいて、アフィン変換モデルを用いた重回帰分析により、ズーム、パン、チルトの各アフィン係数を求める技術が開示されている。アフィン変換モデルは、フレーム内のオブジェクトの平行移動、拡大／縮小、回転を、行列を用いた座標変換処理として記述したモデルである。

キーフレーム区間選択部５２は、算出したズームのアフィン係数であるズーム係数、パンのアフィン係数であるパン係数、チルトのアフィン係数であるチルト係数に基づいて、下式（１）によりカメラ特徴評価値を算出する。式（１）のkz，kp，ktは、それぞれ、ズーム係数、パン係数、チルト係数の重み係数である。
カメラ特徴評価値＝kz・（ズーム係数）＋kp・（パン係数）＋kt・（チルト係数）
・・・（１）

キーフレーム区間選択部５２は、特徴検出区間内におけるカメラ特徴評価値の平均値を閾値と比較し、カメラ特徴評価値の平均値が閾値を超えている特徴検出区間をカメラ特徴区間として決定する。

また、キーフレーム区間選択部５２は、特徴抽出部３６から供給された３Ｄ特徴の量を表すデータに基づいて、特徴検出区間毎に、視差の量に応じた値である３Ｄ特徴評価値を算出する。

図９は、３Ｄ特徴評価値の例を示す図である。

特徴抽出部３６においては、あるタイミングで表示されるＬ画像（左目用の画像）と、そのＬ画像の次のタイミングで表示されるＲ画像（右目用の画像）中のオブジェクトの位置のずれ量が視差量として検出される。Ｌ画像とＲ画像中のオブジェクトの位置のずれ量はブロックマッチングにより検出される。視差量の検出については、例えば、特開平７−２８２２５９号公報、特開平４−３６０３９５号公報、特開平６−２１５１１１号公報に開示されている。

また、特徴抽出部３６においては、検出された視差量の特徴検出区間毎の積分結果が求められ、図９の中段に示すような視差量の積分結果を表す時系列データが出力される。特徴検出区間毎の積分値ではなく、視差量の平均値が特徴検出区間毎に求められ、３Ｄ特徴の検出結果のデータとして出力されるようにしてもよい。

キーフレーム区間選択部５２は、特徴抽出部３６から供給された時系列データに基づいて、視差量の積分結果が大きい、すなわちオブジェクトの飛び出し量が大きい特徴検出区間の３Ｄ特徴評価値として大きい値を設定する。図９の下段の例においては、時刻ｔ_０からｔ_１までの期間の３Ｄ特徴評価値として値Ｖ_１が設定され、時刻ｔ_２からｔ_３までの期間の３Ｄ特徴評価値として、値Ｖ_１より大きい値である値Ｖ_２が設定されている。

キーフレーム区間選択部５２は、算出した３Ｄ特徴評価値を閾値と比較し、３Ｄ特徴評価値が閾値を超えている特徴検出区間を３Ｄ特徴区間として決定する。

なお、画像データの解析が行われたコンテンツが３Ｄコンテンツである場合、カメラ特徴評価値と３Ｄ特徴評価値がいずれも閾値を超えている特徴検出区間については３Ｄ特徴区間として決定される。

キーフレーム区間選択部５２は、ディスプレイ２２の属性、ダイジェスト再生の対象となるコンテンツの種類（３Ｄ／２Ｄ）、および、ダイジェスト再生を行う時間に基づいて、カメラ特徴区間と３Ｄ特徴区間の中からキーフレーム区間を選択する。

ダイジェスト再生のモードには、１０分などの所定の時間だけ再生を行う通常ダイジェスト再生モード（通常モード）と、通常モード時の再生時間より短い時間だけ再生を行う短時間ダイジェスト再生モード（要約モード）とがあり、ユーザがいずれかを選択することが可能とされている。要約モードが選択されている場合、キーフレーム区間として選択される特徴検出区間の数は、通常モードが選択されているときに選択される特徴検出区間の数より少なくなる。

図１０は、キーフレーム区間として優先的に選択される特徴検出区間の例を示す図である。

ユーザにより選択されたダイジェスト再生のモードが通常モードである場合について説明する。

この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。

例えば、カメラ特徴区間の数が、キーフレーム区間として選択する特徴検出区間の数ｍより多い場合、キーフレーム評価値の高い順にｍ区間だけ選択される。キーフレーム区間として選択する特徴検出区間の数ｍは、ダイジェスト再生モードによってコンテンツを再生する時間によって定まる。

ここで、キーフレーム評価値は、キーフレーム区間として選択するか否かの判定の基準となる評価値であり、特徴検出区間毎に、例えば下式（２）により算出される。
キーフレーム評価値＝k1・(カメラ特徴評価値）＋k2・(３Ｄ特徴評価値)
・・・（２）

式（２）のk1，k2は、それぞれ、カメラ特徴評価値、３Ｄ特徴評価値の重み係数である。再生対象のコンテンツが２Ｄコンテンツである場合、重み係数k2として０が設定される。なお、キーフレーム評価値の算出においては、カメラ特徴評価値と３Ｄ特徴評価値は同じ単位の値に置き換えられ、正規化される。

また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴検出区間が、キーフレーム区間として優先的に選択される。

なお、ディスプレイ２２が３Ｄ非対応のディスプレイであるとき、３Ｄコンテンツの再生は、３Ｄ画像を構成するＬ画像とＲ画像のうちの一方を表示するなどして、２Ｄ画像を表示するようにして行われる。ディスプレイ２２が３Ｄ対応の小型のディスプレイである場合、そのまま３Ｄ画像を表示するようにして、３Ｄコンテンツの再生が行われるようにしてもよい。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、カメラ特徴区間が、キーフレーム区間として優先的に選択される。上述したように、３Ｄ対応のディスプレイは２Ｄ画像の表示にも対応している。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、カメラ特徴区間と３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。

ユーザにより選択されたダイジェスト再生のモードが要約モードである場合について説明する。

この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。

ダイジェスト再生のモードが要約モードである場合、再生時間が短いから、キーフレーム区間として選択される特徴検出区間の数は、通常モード時に選択される数より少ない。従って、上述したようにしてキーフレーム評価値の高い順に選択するとした場合、要約モード時にキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時に選択される特徴検出区間のキーフレーム評価値より高くなる。

また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、キーフレーム評価値の高いカメラ特徴区間が、キーフレーム区間として優先的に選択される。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、キーフレーム評価値の高い３Ｄ特徴区間が、キーフレーム区間として優先的に選択される。

なお、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数に足りないとき、キーフレーム評価値に基づいて他の特徴検出区間がキーフレーム区間として選択される。

また、図１０に示すようにしてキーフレーム区間を選択した場合において、キーフレーム区間の数が、ダイジェスト再生の時間を満たす数より多いとき、キーフレーム評価値に基づいて特徴検出区間の絞り込みが行われる。

［再生装置１の動作］
図１１のフローチャートを参照して、図１０に示すようにしてキーフレーム区間を選択し、ダイジェスト再生を行う再生装置１の処理について説明する。

図１１の処理は、例えば、ユーザにより、再生対象のコンテンツが選択され、ダイジェスト再生のモードとして、通常モードと要約モードのうちのいずれかが選択されたときに開始される。ダイジェスト再生を行うことが指示されたとき、表示処理部３７とディスプレイ２２の間では通信が行われ、ディスプレイ２２の属性を表すデータが表示処理部３７からシステムコントローラ３１に出力される。

ステップＳ１において、システムコントローラ３１の属性検出部５１は、表示処理部３７から供給されたデータに基づいてディスプレイ２２の属性を検出する。属性検出部５１は、ディスプレイ２２の属性を表すデータをキーフレーム区間選択部５２に出力する。

ステップＳ２において、キーフレーム区間選択部５２は、ディスプレイ２２が３Ｄ対応の大型ディスプレイであるか否かを判定する。

ディスプレイ２２が３Ｄ対応の大型ディスプレイであるとステップＳ２において判定した場合、ステップＳ３において、キーフレーム区間選択部５２は、ディスプレイ２２の属性を表すDisplay typeの値として３を設定する。

一方、ディスプレイ２２が３Ｄ対応の大型ではない、すなわち３Ｄ非対応または小型のディスプレイであるとステップＳ２において判定した場合、ステップＳ４において、キーフレーム区間選択部５２はDisplay typeの値として２を設定する。

ステップＳ５において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードに応じて、ダイジェスト再生によって再生する特徴検出区間の数である再生区間数ｍを設定する。再生区間数ｍは、ユーザにより選択されたダイジェスト再生のモードが通常モードである場合の方が、要約モードである場合より大きくなる。

ステップＳ６において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間のカメラ特徴を検出する。再生対象のコンテンツ全体のデータは、再生制御部３３により記録媒体３４から再生処理部３５に供給され、再生処理が施された後、特徴抽出部３６に供給されてカメラ特徴の検出に用いられる。

ステップＳ７において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、カメラ特徴評価値が閾値を超える特徴検出区間をカメラ特徴区間として決定し、カメラ特徴区間数ａを求める。

ステップＳ８において、キーフレーム区間選択部５２は、再生対象のコンテンツが３Ｄコンテンツであるか否かを判定する。

再生対象のコンテンツが３ＤコンテンツであるとステップＳ８において判定された場合、ステップＳ９において、特徴抽出部３６は、再生対象のコンテンツの全特徴検出区間の３Ｄ特徴を検出する。

ステップＳ１０において、キーフレーム区間選択部５２は、特徴抽出部３６による検出結果に基づいて、３Ｄ特徴評価値が閾値を超える特徴検出区間を３Ｄ特徴区間として決定し、３Ｄ特徴区間数ｂを求める。

ステップＳ１１において、キーフレーム区間選択部５２はキーフレーム区間選択処理１を行う。

一方、再生対象のコンテンツが３ＤコンテンツではないとステップＳ８において判定された場合、ステップＳ１２において、キーフレーム区間選択部５２はキーフレーム区間選択処理２を行う。

キーフレーム区間選択処理１または２により選択されたキーフレーム区間を表す情報は、キーフレーム区間選択部５２から再生制御部３３に供給され、キーフレーム区間のデータが記録媒体３４から再生処理部３５に供給される。

ステップＳ１３において、再生処理部３５は、キーフレーム区間のデータに対して再生処理を施し、再生処理を施すことによって得られた画像データを表示処理部３７に出力する。表示処理部３７は、キーフレーム区間の画像データをディスプレイ２２に出力し、画像を表示させる。なお、キーフレーム区間の音声データも、所定の経路を介してディスプレイ２２に供給され、画像の表示にあわせて音声が出力される。

全てのキーフレーム区間の再生が終了した後、処理は終了される。

次に、図１２のフローチャートを参照して、図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。

キーフレーム区間選択処理１は、図１０を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。

ステップＳ２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。

ダイジェスト再生のモードが通常モードであるとステップＳ２１において判定した場合、ステップＳ２２において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるか否かを判定する。

カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であるとステップＳ２２において判定した場合、ステップＳ２３において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間を全てキーフレーム区間として選択する。

ステップＳ２４において、キーフレーム区間選択部５２は、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいか否かを判定する。

カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しくないとステップＳ２４において判定した場合、ステップＳ２５において、キーフレーム区間選択部５２は各特徴検出区間のキーフレーム評価値を算出する。

カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないことになる。従って、足りない分を他の特徴検出区間でいわば埋める必要がある。ステップＳ２５においてキーフレーム評価値を算出する対象となる特徴検出区間は、カメラ特徴区間と３Ｄ特徴区間以外の区間である。

ステップＳ２６において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。

カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍと等しいとステップＳ２４において判定された場合、ステップＳ２５およびＳ２６の処理はスキップされる。

一方、カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えているとステップＳ２２において判定した場合、ステップＳ２７において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間のキーフレーム評価値を算出する。

カメラ特徴区間数ａと３Ｄ特徴区間数ｂを足した数が再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えていることになる。従って、超えている分だけいわば絞り込みを行う必要がある。

ステップＳ２８において、キーフレーム区間選択部５２は、カメラ特徴区間と３Ｄ特徴区間の中から、キーフレーム評価値の高い順にｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。

一方、ステップＳ２１において、ユーザにより選択されたダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ２９において、キーフレーム区間選択部５２はDisplay typeの値が３であるか否かを判定する。

ディスプレイ２２が３Ｄ対応の大型ディスプレイであり、Display typeの値が３であるとステップＳ２９において判定した場合、ステップＳ３０において、キーフレーム区間選択部５２は要約モード時の選択処理１を行う。

一方、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、Display typeの値が２であるとステップＳ２９において判定した場合、ステップＳ３１において、キーフレーム区間選択部５２は要約モード時の選択処理２を行う。

要約モード時の選択処理１または２においてキーフレーム区間が選択された後、図１１のステップＳ１１に戻り、それ以降の処理が行われる。

次に、図１３のフローチャートを参照して、図１２のステップＳ３０において行われる要約モード時の選択処理１について説明する。

要約モード時の選択処理１は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ対応の大型ディスプレイである場合の処理である。

ステップＳ４１において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍ以下であるか否かを判定する。

３Ｄ特徴区間数ｂが再生区間数ｍ以下であるとステップＳ４１において判定した場合、ステップＳ４２において、キーフレーム区間選択部５２は、３Ｄ特徴区間を全てキーフレーム区間として選択する。

ステップＳ４３において、キーフレーム区間選択部５２は、３Ｄ特徴区間数ｂが再生区間数ｍと等しいか否かを判定する。

３Ｄ特徴区間数ｂが再生区間数ｍと等しくないとステップＳ４３において判定した場合、ステップＳ４４において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。

３Ｄ特徴区間数ｂが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。

ステップＳ４５において、キーフレーム区間選択部５２は、３Ｄ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。

３Ｄ特徴区間数ｂが再生区間数ｍと等しいとステップＳ４３において判定された場合、ステップＳ４４およびＳ４５の処理はスキップされる。

一方、３Ｄ特徴区間数ｂが再生区間数ｍを超えているとステップＳ４１において判定した場合、ステップＳ４６において、キーフレーム区間選択部５２は、３Ｄ特徴区間のキーフレーム評価値を算出する。

３Ｄ特徴区間数ｂが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。

ステップＳ４７において、キーフレーム区間選択部５２は、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３０に戻り、それ以降の処理が行われる。

次に、図１４のフローチャートを参照して、図１２のステップＳ３１において行われる要約モード時の選択処理２について説明する。

要約モード時の選択処理２は、図１０を参照して説明した、ダイジェスト再生のモードが要約モードであり、再生対象のコンテンツが３Ｄコンテンツであり、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合の処理である。

ステップＳ６１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。

カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ６１において判定した場合、ステップＳ６２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。

ステップＳ６３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。

カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ６３において判定した場合、ステップＳ６４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。

カメラ特徴区間数ａが再生区間数ｍ以下であり、かつ等しくない、すなわち再生区間数ｍ未満である場合、キーフレーム区間の数がダイジェスト再生の再生時間の分に足りないから、足りない分を他の特徴検出区間で埋める必要がある。

ステップＳ６５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。キーフレーム区間の数がｍになるように選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。

カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ６３において判定された場合、ステップＳ６４およびＳ６５の処理はスキップされる。

一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ６１において判定した場合、ステップＳ６６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。

カメラ特徴区間数ａが再生区間数ｍを超えている場合、キーフレーム区間の数がダイジェスト再生の再生時間の分を超えているから、超えている分だけ絞り込みを行う必要がある。

ステップＳ６７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。キーフレーム区間がｍ区間だけ選択された後、図１２のステップＳ３１に戻り、それ以降の処理が行われる。

次に、図１５のフローチャートを参照して、図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。

キーフレーム区間選択処理２は、図１０を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。再生対象のコンテンツが２Ｄコンテンツである場合、ダイジェスト再生のモードが通常モードであっても要約モードであっても、カメラ特徴区間が優先的にキーフレーム区間として選択される。

ステップＳ８１において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍ以下であるか否かを判定する。

カメラ特徴区間数ａが再生区間数ｍ以下であるとステップＳ８１において判定した場合、ステップＳ８２において、キーフレーム区間選択部５２は、カメラ特徴区間を全てキーフレーム区間として選択する。

ステップＳ８３において、キーフレーム区間選択部５２は、カメラ特徴区間数ａが再生区間数ｍと等しいか否かを判定する。

カメラ特徴区間数ａが再生区間数ｍと等しくないとステップＳ８３において判定した場合、ステップＳ８４において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間のキーフレーム評価値を算出する。

ステップＳ８５において、キーフレーム区間選択部５２は、カメラ特徴区間以外の特徴検出区間の中から、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に所定の数の特徴検出区間をキーフレーム区間として選択する。図１５の処理が開始される前に３Ｄ特徴の検出は行われていないから、重み係数k1が１以上の値であるとすると、キーフレーム評価値はカメラ特徴評価値に比例し、カメラ特徴評価値の高い順にキーフレーム区間として選択されることになる。

キーフレーム区間の数がｍになるように選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。

カメラ特徴区間数ａが再生区間数ｍと等しいとステップＳ８３において判定された場合、ステップＳ８４およびＳ８５の処理はスキップされる。

一方、カメラ特徴区間数ａが再生区間数ｍを超えているとステップＳ８１において判定した場合、ステップＳ８６において、キーフレーム区間選択部５２は、カメラ特徴区間のキーフレーム評価値を算出する。

ステップＳ８７において、キーフレーム区間選択部５２は、カメラ特徴区間の中から、キーフレーム評価値の高い順に、ｍ区間をキーフレーム区間として選択する。

ダイジェスト再生のモードが要約モードである場合の再生区間数ｍは、通常モード時の再生区間数ｍより少ない。従って、要約モード時のステップＳ８７の処理においてキーフレーム区間として選択される特徴検出区間のキーフレーム評価値は、通常モード時のステップＳ８７の処理において選択される特徴検出区間のキーフレーム評価値より高くなる。

キーフレーム区間がｍ区間だけ選択された後、図１１のステップＳ１２に戻り、それ以降の処理が行われる。

図１６は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の例を示す図である。

図１６において、「ズーム」、「パン」、「チルト」の文字を付して示す区間はカメラ特徴区間であり、「飛び出し」の文字を付して示す区間は３Ｄ特徴区間である。

図１６の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ_０乃至Ｔ_１７のうち、区間Ｔ_１，Ｔ_４，Ｔ_６，Ｔ_１１，Ｔ_１２，Ｔ_１５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは６である。また、区間Ｔ_２，Ｔ_３，Ｔ_７，Ｔ_８，Ｔ_１６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは５である。区間Ｔ_０，Ｔ_５，Ｔ_９，Ｔ_１０，Ｔ_１３，Ｔ_１４，Ｔ_１７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。

カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、カメラ特徴区間数ａが３Ｄ特徴区間数ｂより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１１、要約モードである場合の再生区間数ｍは６であるものとする。

ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（２）に示すように、区間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_６，Ｔ_７，Ｔ_８，Ｔ_１１，Ｔ_１２，Ｔ_１５，Ｔ_１６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。

ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（３）に示すように、区間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_６，Ｔ_７，Ｔ_８，Ｔ_１１，Ｔ_１２，Ｔ_１５，Ｔ_１６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。

ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１６の（４）に示すように、区間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_７，Ｔ_８，Ｔ_１６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４２の処理によって、３Ｄ特徴区間である区間Ｔ_２，Ｔ_３，Ｔ_７，Ｔ_８，Ｔ_１６がキーフレーム区間として選択され、図１３のステップＳ４５の処理によって、カメラ特徴区間である区間Ｔ_１が選択される。この例によっては、カメラ特徴区間である区間Ｔ_１によって、再生区間数ｍの埋め合わせが行われている。

ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１６の（５）に示すように、区間Ｔ_１，Ｔ_４，Ｔ_６，Ｔ_１１，Ｔ_１２，Ｔ_１５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間が全てキーフレーム区間として選択される。

図１７は、以上の一連の処理によって実現される、再生対象のコンテンツが３Ｄコンテンツである場合のキーフレーム区間の選択の他の例を示す図である。

図１７の（１）の例においては、再生対象の３Ｄコンテンツの区間Ｔ_３０乃至Ｔ_４７のうち、区間Ｔ_３６，Ｔ_４１，Ｔ_４２，Ｔ_４５がカメラ特徴区間として決定されている。カメラ特徴区間数ａは４である。また、区間Ｔ_３２，Ｔ_３３，Ｔ_３４，Ｔ_３７，Ｔ_３８，Ｔ_４６が３Ｄ特徴区間として決定されている。３Ｄ特徴区間数ｂは６である。区間Ｔ_３０，Ｔ_３１，Ｔ_３５，Ｔ_３９，Ｔ_４０，Ｔ_４３，Ｔ_４４，Ｔ_４７は、カメラ特徴区間でも３Ｄ特徴区間でもない区間である。

カメラ特徴区間と３Ｄ特徴区間がこのようにして決定され、３Ｄ特徴区間数ｂがカメラ特徴区間数ａより多い場合を考える。また、ダイジェスト再生のモードが通常モードである場合の再生区間数ｍは１０、要約モードである場合の再生区間数ｍは５であるものとする。

ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（２）に示すように、区間Ｔ_３２，Ｔ_３３，Ｔ_３４，Ｔ_３６，Ｔ_３７，Ｔ_３８，Ｔ_４１，Ｔ_４２，Ｔ_４５，Ｔ_４６がキーフレーム区間として選択される。すなわち、図１２のステップＳ２３の処理によって、カメラ特徴区間と３Ｄ特徴区間が全てキーフレーム区間として選択される。

ダイジェスト再生のモードが通常モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（３）に示すように、区間Ｔ_３２，Ｔ_３３，Ｔ_３４，Ｔ_３６，Ｔ_３７，Ｔ_３８，Ｔ_４１，Ｔ_４２，Ｔ_４５，Ｔ_４６がキーフレーム区間として選択される。これらの区間も、図１２のステップＳ２３の処理によってキーフレーム区間として選択されたものである。

ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ対応のディスプレイである場合、図１７の（４）に示すように、区間Ｔ_３２，Ｔ_３３，Ｔ_３７，Ｔ_３８，Ｔ_４６がキーフレーム区間として選択される。すなわち、図１３のステップＳ４７の処理によって、３Ｄ特徴区間の中から、キーフレーム評価値の高い順に区間Ｔ_３２，Ｔ_３３，Ｔ_３７，Ｔ_３８，Ｔ_４６がキーフレーム区間として選択される。この例においては、キーフレーム評価値に基づく絞り込みによって、３Ｄ特徴区間である区間Ｔ_３４がキーフレーム区間として選択されていない。

ダイジェスト再生のモードが要約モードであり、ディスプレイ２２が３Ｄ非対応のディスプレイである場合、図１７の（５）に示すように、区間Ｔ_３２，Ｔ_３６，Ｔ_４１，Ｔ_４２，Ｔ_４５がキーフレーム区間として選択される。すなわち、図１４のステップＳ６２の処理によって、カメラ特徴区間である区間Ｔ_３６，Ｔ_４１，Ｔ_４２，Ｔ_４５がキーフレーム区間として選択され、図１４のステップＳ６５の処理によって、３Ｄ特徴区間である区間Ｔ_３２が選択される。この例によっては、３Ｄ特徴区間である区間Ｔ_３２によって、再生区間数ｍの埋め合わせが行われている。

以上の処理により、コンテンツのダイジェスト再生を行う場合に、コンテンツの再生区間をディスプレイの属性に応じて切り替えることが可能になる。

また、ユーザは、ディスプレイに適した画像を視聴することによって、コンテンツの内容を効率的に確認することができる。

［変形例］
以上においては、カメラ特徴区間と３Ｄ特徴区間を決定し、その中からキーフレーム区間を優先的に選択するものとしたが、カメラ特徴区間と３Ｄ特徴区間を決定することなく、キーフレーム評価値に基づいて選択するようにしてもよい。

図１８は、キーフレーム評価値を算出するときに用いる重み係数k1，k2の関係の例を示す図である。

式（２）を参照して説明したように、k1はカメラ特徴評価値の重み係数であり、k2は３Ｄ特徴評価値の重み係数である。

この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。２Ｄコンテンツを対象としては３Ｄ特徴の検出は行われないから、キーフレーム評価値の算出に際して３Ｄ特徴評価値は考慮されない。

ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1と重み係数k2として所定の同じ値が設定される。

ダイジェスト再生のモードが要約モードである場合、キーフレーム区間として選択するか否かの判定においてキーフレーム評価値との比較に用いられる閾値として、通常モード時の閾値より大きい値が設定される。これにより、通常、キーフレーム区間として選択される特徴検出区間の数が通常モード時より少なくなる。

この場合において、ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが２Ｄコンテンツであるとき、重み係数k1として所定の値が設定され、重み係数k2として０が設定される。

ディスプレイ２２が３Ｄ非対応または小型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k1として、重み係数k2より大きい値が設定される。これにより、カメラ特徴評価値がキーフレーム評価値に与える影響の方が、３Ｄ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。

ディスプレイ２２が３Ｄ対応の大型のディスプレイであり、再生対象のコンテンツが３Ｄコンテンツであるとき、重み係数k2として、重み係数k1より大きい値が設定される。これにより、３Ｄ特徴評価値がキーフレーム評価値に与える影響の方が、カメラ特徴評価値がキーフレーム評価値に与える影響より大きくなるから、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなる。

図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する再生装置１の処理について説明する。

この処理は、キーフレーム区間選択処理１および２（ステップＳＳ１１，Ｓ１２）の内容が異なる点を除いて、図１１を参照して説明した処理と同じ処理である。重複する説明については省略する。

図１９のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１１において行われるキーフレーム区間選択処理１について説明する。

キーフレーム区間選択処理１は、図１８を参照して説明した、再生対象のコンテンツが３Ｄコンテンツである場合の処理である。

ステップＳ１０１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。

ダイジェスト再生のモードが通常モードであるとステップＳ１０１において判定した場合、ステップＳ１０２において、キーフレーム区間選択部５２は、重み係数k1と重み係数k2として所定の同じ値を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。

一方、ステップＳ１０１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１０３において、キーフレーム区間選択部５２は、Display typeの値が３であるか否かを判定する。

Display typeの値が３であるとステップＳ１０３において判定した場合、ステップＳ１０４において、キーフレーム区間選択部５２は、重み係数k2として、重み係数k1より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。

Display typeの値が２であるとステップＳ１０３において判定した場合、ステップＳ１０５において、キーフレーム区間選択部５２は、重み係数k1として、重み係数k2より大きい値を設定する。また、キーフレーム区間選択部５２は、閾値Th2として閾値Th1より大きい値を設定する。

重み係数と閾値を設定した後、ステップＳ１０６において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。

ステップＳ１０７において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。例えば、先頭の特徴検出区間から順に一区間ずつ注目される。

ステップＳ１０８において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。

図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出され、３Ｄ特徴評価値は図１１のステップＳ１０において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算するとともに、３Ｄ特徴評価値と、設定した重み係数k2を乗算し、それらの乗算結果を加算することによってキーフレーム評価値を算出する。

ステップＳ１０９において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。

注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１０９において判定した場合、ステップＳ１１０において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。

ステップＳ１１１において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。

ステップＳ１１２において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。

ｎの値が再生区間数ｍと等しいとステップＳ１１２において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図１９の処理により選択されたキーフレーム区間が順次再生される。

一方、キーフレーム評価値が閾値を超えていないとステップＳ１０９において判定した場合、ステップＳ１１３において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１１２において判定された場合も同様に処理はステップＳ１１３に進む。

全ての特徴検出区間に注目していないとステップＳ１１３において判定した場合、キーフレーム区間選択部５２は、ステップＳ１０７に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。

一方、全ての特徴検出区間に注目したとステップＳ１１３において判定された場合、図１１のステップＳ１１に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。

次に、図２０のフローチャートを参照して、図１８に示すようにして重み係数を設定し、キーフレーム区間を選択する場合に図１１のステップＳ１２において行われるキーフレーム区間選択処理２について説明する。

キーフレーム区間選択処理２は、図１８を参照して説明した、再生対象のコンテンツが２Ｄコンテンツである場合の処理である。

ステップＳ１２１において、キーフレーム区間選択部５２は、ユーザにより選択されたダイジェスト再生のモードが通常モードであるか否かを判定する。

ダイジェスト再生のモードが通常モードであるとステップＳ１２１において判定した場合、ステップＳ１２２において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th1を設定する。

一方、ステップＳ１２１において、ダイジェスト再生のモードが通常モードではない、すなわち要約モードであると判定した場合、ステップＳ１２３において、キーフレーム区間選択部５２は、重み係数k1として所定の値を設定し、重み係数k2として０を設定する。また、キーフレーム区間選択部５２は、閾値Th2の値として閾値Th1より大きい値を設定する。

ステップＳ１２４以降の処理は、図１９のステップＳ１０６以降の処理と同様の処理である。ステップＳ１２４において、キーフレーム区間選択部５２は、選択済みのキーフレーム区間の数を表すｎの値として０を設定し、初期化する。

ステップＳ１２５において、キーフレーム区間選択部５２は、一つの特徴検出区間に注目する。

ステップＳ１２６において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値を算出する。

図１９の処理が開始される前、カメラ特徴評価値は図１１のステップＳ７において算出されている。キーフレーム区間選択部５２は、式（２）に従って、カメラ特徴評価値と、設定した重み係数k1を乗算することによってキーフレーム評価値を算出する。

ステップＳ１２７において、キーフレーム区間選択部５２は、注目している特徴検出区間のキーフレーム評価値が、そのとき設定されている閾値（閾値Th1またはTh2）を超えているか否かを判定する。

注目している特徴検出区間のキーフレーム評価値が閾値を超えているとステップＳ１２７において判定した場合、ステップＳ１２８において、キーフレーム区間選択部５２は、いま注目している特徴検出区間をキーフレーム区間として選択する。

ステップＳ１２９において、キーフレーム区間選択部５２は、ｎの値を１だけインクリメントする。

ステップＳ１３０において、キーフレーム区間選択部５２は、ｎの値が再生区間数ｍと等しいか否かを判定する。

ｎの値が再生区間数ｍと等しいとステップＳ１３０において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。図１１のステップＳ１３において、図２０の処理により選択されたキーフレーム区間が順次再生される。

一方、キーフレーム評価値が閾値を超えていないとステップＳ１２７において判定した場合、ステップＳ１３１において、キーフレーム区間選択部５２は、全ての特徴検出区間に注目したか否かを判定する。ｎの値が再生区間数ｍと等しくないとステップＳ１３０において判定された場合も同様に処理はステップＳ１３１に進む。

全ての特徴検出区間に注目していないとステップＳ１３１において判定した場合、キーフレーム区間選択部５２は、ステップＳ１２５に戻り、注目する特徴検出区間を切り替えて同様の処理を繰り返す。

一方、全ての特徴検出区間に注目したとステップＳ１３１において判定された場合、図１１のステップＳ１２に戻り、それ以降の処理が行われる。キーフレーム区間の数が足りない場合、キーフレーム区間の数がｍになるように、キーフレーム評価値の高い順に特徴検出区間が選択されるようにしてもよい。

以上の処理によって、ディスプレイ２２が３Ｄ対応の大型のディスプレイである場合には、３Ｄ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、ユーザはコンテンツの内容を効率的に確認することができる。

また、ディスプレイ２２が３Ｄ非対応または小型のディスプレイである場合には、カメラ特徴評価値の大きい特徴検出区間がキーフレーム区間として選択されやすくなり、これによっても、ユーザはコンテンツの内容を効率的に確認することができる。

［変形例］
以上においては、キーフレーム区間の選択がカメラ特徴と３Ｄ特徴に基づいて行われるものとしたが、コンテンツに含まれる音声の特徴をも用いてキーフレーム区間が選択されるようにしてもよい。音声の特徴には音量が含まれる。

特徴検出区間のうち、音声特徴に基づいて算出された音声特徴評価値が閾値より大きい特徴検出区間は音声特徴区間として決定される。音声特徴を考慮する場合、図１０の表における「カメラ特徴区間」の部分を、「カメラ特徴区間＋音声特徴区間」と置き換えてキーフレーム区間の選択が行われる。

また、図１０に示すようにしてカメラ特徴区間と３Ｄ特徴区間の中から優先的にキーフレーム区間を選択した場合においてキーフレーム区間の数が足りないとき、音声特徴区間の中からキーフレーム区間が優先的に選択されるようにしてもよい。

コンテンツの画像に関する特徴として、３Ｄ特徴とともにカメラ特徴が用いられるものとしたが、パンやズームなどのカメラ特徴に代えて、シーンチェンジや明るさ情報などの、画像に関する他の特徴が用いられるようにしてもよい。

以上においては、ダイジェスト再生を行うためにキーフレーム区間の選択が行われるものとしたが、選択したキーフレーム区間を用いて他の処理が行われるようにしてもよい。例えば、キーフレーム区間の先頭の１フレームの画像が、録画済みのコンテンツの一覧画面などにコンテンツの代表画として表示されるようにしてもよい。

［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。

CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１再生装置，３１システムコントローラ，３２ユーザI/F，３３再生制御部，３４記録媒体，３５再生処理部，３６特徴抽出部，３７表示処理部，５１属性検出部，５２キーフレーム区間選択部

Claims

コンテンツの画像を表示するディスプレイの属性を検出する属性検出手段と、
画像に関する特徴を前記コンテンツの区間毎に検出する特徴検出手段と、
前記特徴検出手段により検出された前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記属性検出手段により検出された前記ディスプレイの属性に応じて切り替える選択手段と
を備える再生装置。
前記属性検出手段は、前記ディスプレイの属性として、３Ｄ画像の表示に対応しているか否かと、サイズが閾値より大きいか否かとを検出し、
前記特徴検出手段は、前記画像に関する特徴として、前記コンテンツが３Ｄ画像を含むコンテンツである場合には、左目用画像と右目用画像の視差と、前記視差とは異なる種類の所定の特徴とを検出し、前記コンテンツが２Ｄ画像を含むコンテンツである場合には前記所定の特徴を検出する
請求項１に記載の再生装置。
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記視差が閾値より大きい区間の中から前記特徴区間を選択する
請求項２に記載の再生装置。
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記所定の特徴が閾値より大きい区間の中から前記特徴区間を選択する
請求項３に記載の再生装置。
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応する閾値より大きいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より大きい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項２に記載の再生装置。
前記選択手段は、前記コンテンツが３Ｄ画像を含むコンテンツであり、前記ディスプレイが３Ｄ画像の表示に対応しない、または、閾値より小さいサイズのディスプレイである場合、前記コンテンツの区間毎に、前記所定の特徴の量を表す値に第１の重み係数を乗算して得られた値と、視差を表す値に、前記第１の重み係数より小さい第２の重み係数を乗算して得られた値とを加算することによって評価値を算出し、算出した評価値が閾値より大きい区間を、前記特徴区間として選択する
請求項５に記載の再生装置。
前記コンテンツの全区間のうち、前記選択手段により選択された前記特徴区間を再生する再生手段と、
前記再生手段により再生された前記特徴区間の画像を前記ディスプレイに表示させる表示制御手段と
をさらに備える請求項１に記載の再生装置。
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む再生方法。
コンテンツの画像を表示するディスプレイの属性を検出し、
画像に関する特徴を前記コンテンツの区間毎に検出し、
前記画像に関する特徴に基づいて選択する前記コンテンツの区間である特徴区間を、前記ディスプレイの属性に応じて切り替える
ステップを含む処理をコンピュータに実行させるプログラム。