JP2011101229A - 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 - Google Patents

表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 Download PDF

Info

Publication number
JP2011101229A
JP2011101229A JP2009254957A JP2009254957A JP2011101229A JP 2011101229 A JP2011101229 A JP 2011101229A JP 2009254957 A JP2009254957 A JP 2009254957A JP 2009254957 A JP2009254957 A JP 2009254957A JP 2011101229 A JP2011101229 A JP 2011101229A
Authority
JP
Japan
Prior art keywords
image
content
scene
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009254957A
Other languages
English (en)
Inventor
Masashi Ota
正志 太田
Noboru Murabayashi
昇 村林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009254957A priority Critical patent/JP2011101229A/ja
Priority to US12/894,486 priority patent/US20110018979A1/en
Priority to CN2010105358185A priority patent/CN102056000A/zh
Publication of JP2011101229A publication Critical patent/JP2011101229A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにする。
【解決手段】表示制御装置１においては、再生対象のコンテンツの画像データと音声データを解析し、コンテンツの重要区間を検出することが行われる。例えば、重要区間として、テレビジョン番組であるコンテンツの盛り上がりの区間が検出される。コンテンツの再生が開始された後、コンテンツの重要区間外の画像については、２Ｄ画像としてTV２に表示され、重要区間の画像については、３Ｄ画像としてTV２に表示される。現在の再生位置が重要区間の位置であるか重要区間外の位置であるかに応じて、２Ｄ表示方式と３Ｄ表示方式とでコンテンツの画像の表示方式が切り替えられることになる。本発明は動画のコンテンツを再生する録画機器に適用することができる。
【選択図】図１

Description

本発明は、表示制御装置、表示制御方法、プログラム、出力装置、および送信装置に関し、特に、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにした表示制御装置、表示制御方法、プログラム、出力装置、および送信装置に関する。
近年、LCD(Liquid Crystal Display)などのディスプレイの画素数の向上やフレームレートの向上に伴い実現可能になった画像の表示方式として、視聴者が画像を立体的に認識できるようにする３Ｄ（３次元）表示方式が注目されている。
以下、適宜、それを見ることによって被写体を立体的に認識できる画像を３Ｄ画像といい、３Ｄ画像のデータを含むコンテンツを３Ｄコンテンツという。また、３Ｄ画像を表示するための再生を３Ｄ再生という。通常の２Ｄ画像（被写体を立体的に認識できない平面的な画像）を表示するための再生は２Ｄ再生となる。
３Ｄ画像を鑑賞する方式としては、偏光フィルタメガネやシャッタメガネを用いるメガネ方式と、レンチキュラー方式等の、メガネを用いない裸眼方式とがある。また、３Ｄ画像を表示するための再生方式として、視差のある左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を交互に表示するフレームシーケンシャル方式がある。左目用画像と右目用画像をシャッタメガネ等によって視聴者の左右のそれぞれの目に届けることにより、立体感を視聴者に感じさせることが可能になる。
臨場感のある表現が可能になることから、このような３Ｄ再生の技術の開発がさかんに行われている。また、通常の２Ｄ再生に用いられるコンテンツ（２Ｄコンテンツ）に基づいて３Ｄコンテンツを生成し、３Ｄ画像を表示する技術の開発も行われている。２Ｄコンテンツから３Ｄコンテンツを生成する手法としては、画像の視差を利用した技術がある（例えば、特許文献１）。
３Ｄ画像と２Ｄ画像は画像の性質が異なるため、３Ｄ画像を長時間にわたって視聴した場合、２Ｄ画像を視聴したときより疲労が蓄積してしまう可能性がある。３Ｄ画像は従来の２Ｄ画像に較べてよりリアルに感じるため、ユーザは無意識のうちにコンテンツを長時間視聴してしまう可能性もある。
そのため、通常の２Ｄ画像を視聴している時よりも、気付かないうちに疲労感が増加してしまうことがある。このことから、３Ｄ画像を視聴するときの疲労感を軽減する技術が各種提案されている（例えば、特許文献２）。
特開平７−２２２２０３号公報 特開２００６−２０８４０７号公報
ところで、近年販売等されているハードディスクレコーダ等の通常の２Ｄコンテンツを記録する記録装置の中には、記録済みのコンテンツの再生モードとして特定のシーンのみを再生するモードが用意されているものがある。
例えば、再生対象のコンテンツがテレビジョン番組である場合に、その番組の盛り上がっているシーンのみを再生することにより、番組全体のうちの特に興味深い部分を効果的に視聴させることが可能になる。盛り上がっているシーンの検出は、番組の画像データや音声データを解析することによって記録装置により自動的に行われる。
３Ｄコンテンツを対象にして、このような特殊な再生を行うことも考えられる。３Ｄ画像は２Ｄ画像に較べてリアルに表現できることから、盛り上がっているシーンなどの注目シーンをより効果的に見せることが可能になる。
例えば、再生対象の３Ｄコンテンツがサッカーなどのスポーツ番組のコンテンツである場合、得点に関係するシーンや勝敗に関係するシーンをリアルに表現することで、ユーザに、より効果的な視聴を行わせることが可能になるものと考えられる。通常の２Ｄコンテンツを用いた場合には、このような、より効果的な視聴を行わせるための表現を行うことができない。
本発明はこのような状況に鑑みてなされたものであり、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができるようにするものである。
本発明の第１の側面の表示制御装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段とを備える。
再生対象として入力された前記コンテンツが、画像データとして２次元画像を表示するための画像データのみを含むコンテンツである場合、入力された前記コンテンツを、３次元画像を表示するための、相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツに変換する変換手段をさらに設けることができる。この場合、前記表示制御手段には、前記所定の区間のシーンの代表画像を、前記変換手段により変換された前記コンテンツに基づいて表示させ、前記所定の区間外のシーンの代表画像を、入力された前記コンテンツに基づいて表示させることができる。
再生対象として入力された前記コンテンツが、画像データとして相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツである場合、前記表示制御手段には、前記所定の区間のシーンの代表画像を、入力された前記コンテンツに含まれる左目用の画像データと右目用の画像データに基づいて表示し、前記所定の区間外のシーンの代表画像を、左目用の画像データと右目用の画像データのうちの一方に基づいて表示させることができる。
本発明の第１の側面の表示制御方法は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示するステップを含む。
本発明の第１の側面のプログラムは、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示するステップを含む処理をコンピュータに実行させる。
本発明の第２の側面の出力装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、前記コンテンツの各シーンの代表画像を出力する出力手段であって、前記所定の区間のシーンの代表画像を３次元画像として出力し、前記所定の区間外のシーンの代表画像を２次元画像として出力する出力手段とを備える。
本発明の第３の側面の送信装置は、コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、検出した前記所定の区間に関するデータを、前記コンテンツの画像データとともに送信する送信手段とを備える。
本発明の第４の側面の表示制御装置は、少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータを受信する受信手段と、前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段とを備える。
本発明の第１の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間が検出され、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像が、３次元画像として認識できるように表示され、前記所定の区間外のシーンの代表画像が２次元画像として認識できるように表示される。
本発明の第２の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間が検出される。また、前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像が、３次元画像として出力され、前記所定の区間外のシーンの代表画像が２次元画像として出力される。
本発明の第３の側面においては、コンテンツの画像データと音声データのうちの少なくとも一方の特徴が抽出され、抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間が検出される。また、検出された所定の区間に関するデータが、前記コンテンツの画像データとともに送信される。
本発明の第４の側面においては、少なくとも画像データを含むコンテンツのデータが受信されるとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求められた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータが受信される。前記コンテンツの各シーンの代表画像の表示を制御する場合において、前記所定の区間のシーンの代表画像が、３次元画像として認識させるように表示され、前記所定の区間外のシーンの代表画像が２次元画像として認識させるように表示される。
本発明によれば、疲労感を軽減しつつ、３Ｄコンテンツを効果的に視聴させることができる。
本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。 各シーンの盛り上がり評価値の変化と画像の表示の例を示す図である。 ディスプレイの表示の例を示す図である。 ディスプレイの表示の他の例を示す図である。 表示制御装置の構成例を示すブロック図である。 フレーム中の視差のある部分を示す図である。 フレーム中の視差のある部分を示す他の図である。 フレーム中の視差のある部分を示すさらに他の図である。 シャッタメガネの状態を示す図である。 コンテンツ制御部の構成例を示すブロック図である。 コンテンツ制御部の他の構成例を示すブロック図である。 システムコントローラの構成例を示すブロック図である。 表示制御装置の処理について説明するフローチャートである。 コンテンツ制御部の構成例を示すブロック図である。 本発明の他の実施形態に係る３Ｄ画像表示システムの構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
［３Ｄ画像表示システム］
図１は、本発明の一実施形態に係る３Ｄ画像表示システムの構成例を示す図である。
図１に示すように、この３Ｄ画像表示システムは、表示制御装置１、TV２、およびシャッタメガネ３から構成される。すなわち、図１の３Ｄ画像表示システムによる３Ｄ画像の視聴方式はメガネを用いた方式である。シャッタメガネ３は、コンテンツの視聴者であるユーザが着用するものである。
表示制御装置１は、コンテンツを再生し、コンテンツの画像（動画像）をTV（テレビジョン受像機）２に表示させる。表示制御装置１は、例えば、内蔵のHDDに記録されているコンテンツや、ドライブに挿入されたBlu-ray（商標） discに記録されているコンテンツを再生する。表示制御装置１による再生の対象になるコンテンツはテレビジョン番組や映画などのコンテンツであり、画像データと音声データが含まれる。
ここでは、再生の対象になるコンテンツに含まれる画像データが、表示順で連続する２つのフレームを較べた場合に視差のない、通常の２Ｄ画像を表示するためのデータである場合について説明する。
表示制御装置１は、コンテンツの画像を２Ｄ画像としてTV２に表示させることにあわせて、コンテンツの音声を図示せぬスピーカから出力させる。表示制御装置１とTV２は例えばHDMI(High Definition Multimedia Interface)規格のケーブルによって接続される。
また、表示制御装置１は、コンテンツの画像データと音声データを解析し、コンテンツの重要区間を検出する。例えば、重要区間として、テレビジョン番組であるコンテンツの盛り上がり区間が検出される。重要区間の検出については後述する。
表示制御装置１は、コンテンツの再生中に、現在の再生位置が重要区間の位置になった場合、再生対象のコンテンツに含まれる２Ｄ画像のデータを変換することによって３Ｄ画像のデータを生成し、コンテンツの画像を３Ｄ画像として表示させる。
図１においては、TV２に左目用画像Ｌ１が表示されている。これに続けて、図１の右上に示すように、右目用画像Ｒ１、左目用画像Ｌ２、右目用画像Ｒ２、左目用画像Ｌ３、右目用画像Ｒ３、・・・と、左目用画像と右目用画像が交互に表示される。
シャッタメガネ３には、例えば、赤外線を用いた無線通信によって、画像の垂直同期信号の情報を含む制御信号が表示制御装置１から供給される。シャッタメガネ３の左目側の透過部と右目側の透過部は、その偏光特性を制御可能な液晶デバイスから構成される。
シャッタメガネ３は、制御信号に従って、左目オープンかつ右目クローズと左目クローズかつ右目オープンの２つのシャッタ開閉動作を、交互に繰り返す。その結果、ユーザの右目には右目用画像のみが、左目には左目用画像のみが入力される。左目用画像と右目用画像を交互に見ることによって、ユーザはコンテンツの重要区間の画像を立体感のある画像として知覚することになる。
現在の再生位置が重要区間外の位置になったとき、表示制御装置１は、３Ｄ画像としての表示を終了し、コンテンツの画像を２Ｄ画像として表示させる。また、表示制御装置１は、左目側の透過部と右目側の透過部の特性が同じ特性になるようにシャッタメガネ３を制御する。
以上のように、コンテンツ全体のうちの重要区間の画像だけを３Ｄ画像として表示することにより、コンテンツ全体の画像を３Ｄ画像として視聴させる場合に較べて、ユーザの疲労感を軽減させることが可能になる。
また、コンテンツの重要区間の画像を３Ｄ画像としてユーザに見せることによって、重要区間であることをより強調することができ、効果的にコンテンツの視聴を行わせることができる。
［表示例］
TV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替えるのではなく、TV２の一部が３Ｄ表示方式で表示されるようにしてもよい。
コンテンツの各シーンの代表画像を並べて表示する（サムネイル表示する）場合に、重要区間のシーンの代表画像については３Ｄ画像として表示し、重要区間外のシーンの代表画像については２Ｄ画像として表示する場合について説明する。
図２は、各シーンの盛り上がり評価値の変化と画像の表示の例を示す図である。
図２の例においては、再生対象のコンテンツがサッカー中継の番組とされている。サッカー中継の番組は例えば録画され、表示制御装置１内のHDDに記録されているものである。そのサッカー中継の番組の画像データと音声データを対象として、再生が開始される前や再生中などの所定のタイミングで解析（特徴の抽出）が行われる。
画像データの特徴は、例えば、ズーム、パンの程度とされる。ズーム、パンの程度は、例えば各フレームの画素値を比較することによって検出される。音声データの特徴は、例えば音量とされる。
表示制御装置１は、例えば、画像データから抽出した特徴を数値化した値と、音声データから抽出した特徴を数値化した値とを加算して得られた値を盛り上がり評価値として算出する。図２の上段に示す波形は、横軸を時間、縦軸を盛り上がり評価値として、サッカー中継の番組の単位時間毎の盛り上がり評価値の変化を示す。なお、画像データから抽出された特徴と音声データから抽出された特徴のうちの一方から盛り上がり評価値が算出されるようにしてもよい。
表示制御装置１は、このような各時刻の盛り上がり評価値を閾値と比較して、閾値以上の盛り上がり評価値が一定の時間以上検出された区間を、盛り上がり区間、すなわち重要区間として検出する。図２の例においては、時刻ｋ１から時刻ｋ２の区間が重要区間として検出されている。図１を参照して説明した、TV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替える場合の重要区間の検出もこのようにして行われる。
図２の中段に示す画像Ｐ１乃至Ｐ９は各シーンの代表画像である。表示制御装置１においてはシーンチェンジの検出も行われ、例えば、検出されたシーンチェンジの直後の位置の１フレームが代表フレームとして選択される。また、選択された代表フレームを縮小することによって静止画像である代表画像が生成される。代表画像として、その代表フレームを含む複数のフレームをそれぞれ縮小して得られた静止画像から構成される動画像が用いられるようにしてもよい。
図２の例においては、画像Ｐ１乃至Ｐ９のうち、画像Ｐ４乃至Ｐ７が重要区間のシーンの代表画像であり、画像Ｐ１乃至Ｐ３，Ｐ８，Ｐ９は重要区間外のシーンの代表画像である。
TV２に複数の代表画像を並べて表示させる場合、画像Ｐ４乃至Ｐ７は３Ｄ画像として表示され、それ以外の、画像Ｐ１乃至Ｐ３，Ｐ８，Ｐ９は２Ｄ画像として表示される。図２の下段に示す画像のうち、画像Ｐ４乃至Ｐ７を枠で囲んで示しているのは、それらの画像が３Ｄ画像として表示されることを表す。
図３は、TV２の表示の例を示す図である。
例えば、サッカー中継の番組の再生中に、各シーンの代表画像を表示することが指示された場合、それまで画面全体に番組の画像を２Ｄ画像として表示していたTV２の画面は、図３に示す画面に切り替えられる。図３の例においては、TV２の画面にメイン画面領域Ａ１と時系列代表画像領域Ａ２が形成されている。
メイン画面領域Ａ１は、再生中のサッカー中継の番組の画像が２Ｄ画像として表示される領域である。時系列代表画像領域Ａ２は、代表画像が時系列順に表示される領域である。図３に枠で囲んで示すように、時系列代表画像領域Ａ２に表示される代表画像のうちの画像Ｐ４乃至Ｐ７は３Ｄ画像として表示される。例えば、ユーザは、図示せぬリモートコントローラを操作して所定の代表画像を選択することによって、選択した代表画像から開始されるシーン以降の再生を開始させることができる。
このように重要区間のシーンの代表画像だけを３Ｄ表示として表示させることによって、全ての代表画像を２Ｄ画像として表示させる場合に較べて、ユーザは、重要区間のシーンの内容をより効果的に確認することが可能になる。
なお、メイン画面領域Ａ１に表示される番組の画像も３Ｄ画像として表示されるようにしてもよい。この場合、サッカー中継の番組の２Ｄ画像のデータは３Ｄ画像のデータに変換され、変換によって得られた画像データを用いてメイン画面領域Ａ１の表示が行われる。
図４は、TV２の表示の他の例を示す図である。重要区間の検出は図２を参照して説明したようにして所定のタイミングで行われている。
図４Ａは、コンテンツの現在の再生位置が、重要区間外の位置である場合のTV２の表示の例を示す図である。図４Ａに示すように、再生位置が重要区間外の位置である場合、サッカー中継の番組の画像が２Ｄ画像として、画面のほぼ全体に形成されたメイン画面領域Ａ１１に表示される。
図４Ｂは、コンテンツの現在の再生位置が重要区間の位置である場合のTV２の表示の例を示す図である。コンテンツの現在の再生位置が重要区間の位置になった場合、メイン画面領域Ａ１１には、サッカー中継の番組の画像が３Ｄ画像として表示される。また、メイン画面領域Ａ１１には、その一部にマルチ画面領域Ａ１２が重ねて形成され、そこに、重要区間の開始位置の直前のシーンの代表画像が２Ｄ画像として表示される。
このように、番組の重要区間の画像については３Ｄ画像としてメイン画面領域Ａ１１に表示し、それとともにマルチ画面によって他のシーンの代表画像を２Ｄ画像として表示することによっても、重要区間の画像をより効果的に表現することができる。ユーザは、画像の表示方法の違いをより強調した形で認識することが可能になる。
［表示制御装置１の構成］
図５は、表示制御装置１の構成例を示すブロック図である。
システムコントローラ１１は、ユーザI/F１２から供給されるユーザの操作の内容を表す信号に従って、表示制御装置１の全体の動作を制御する。
例えば、システムコントローラ１１は、特徴抽出部１８から供給された特徴データに基づいてコンテンツの重要区間を検出する。システムコントローラ１１は、検出結果に基づいて、重要区間の番組の画像やシーンの代表画像を３Ｄ画像として表示し、重要区間外の番組の画像やシーンの代表画像を２Ｄ画像として表示するように各部を制御する。
ユーザI/F１２は、リモートコントローラからの信号を受光する受光部などにより構成される。ユーザI/F１２は、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ１１に出力する。
記録媒体制御部１３は、記録媒体１４に対するコンテンツの記録や、記録媒体１４からのコンテンツの読み出しを制御する。記録媒体１４は例えばHDD(Hard Disk Drive)であり、コンテンツを記録する。
また、記録媒体制御部１３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体１４に記録させる。記録媒体制御部１３は、記録媒体１４に記録されているコンテンツの中からユーザにより所定のコンテンツが選択され、その再生が指示された場合、再生が指示されたコンテンツを記録媒体１４から再生処理部１５に供給する。
再生処理部１５は、記録媒体１４から供給された再生対象のコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部１５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部１８に出力し、コンテンツの画像を表示するために用いられる画像データをコンテンツ制御部１６に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、再生処理部１５から図示せぬ回路を介して外部のスピーカ等に出力される。
コンテンツ制御部１６は、再生処理部１５から供給された２Ｄ画像のデータをそのまま、または、３Ｄ画像のデータに変換して、表示制御部１７に出力する。
表示制御部１７は、コンテンツ制御部１６から供給された画像データに基づいて、図１、図３、および図４を参照して説明した画面をTV２に表示させる。具体的には、表示制御部１７は、TV２の画面全体のうち、３Ｄ画像として表示させる部分については、コンテンツ制御部１６から供給された左目用の画像データと右目用の画像データとを用いてその部分の表示を行う。また、表示制御部１７は、２Ｄ画像として表示させる部分については、コンテンツ制御部１６から供給された２Ｄ画像のデータを用いてその部分の表示を行う。
図６は、図１を参照して説明したようにTV２全体の表示方式を２Ｄ表示方式と３Ｄ表示方式とで切り替える場合の、フレーム中の視差のある部分を示す図である。
図６においては、実際の表示内容（被写体）の図示は省略しており、表示順で連続するフレームとの間で視差のある部分に斜線を付している。後述する図７、図８においても同様である。
図６Ａに示すフレームＦ１，Ｆ２は、重要区間外のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのフレームのデータを生成し、TV２に出力する。ユーザは、TV２に表示される、番組の重要区間外の画像を２Ｄ画像として見ることになる。
図６Ｂに示すフレームＦ１，Ｆ２は、重要区間のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１，Ｆ２の全体に斜線を付していることは、フレームＦ１とフレームＦ２の全体に視差があることを表す。
表示制御部１７は、コンテンツ制御部１６から供給された左目用画像のデータに基づいてフレームＦ１のデータを生成し、コンテンツ制御部１６から供給された右目用画像のデータに基づいてフレームＦ２のデータを生成する。表示制御部１７は、フレームＦ１を左目用画像（Ｌ１画像）、フレームＦ２を、フレームＦ１と対になる右目用画像（Ｒ１画像）としてTV２に出力する。後述するようにしてシャッタメガネ３が制御されることもあって、ユーザは、TV２に表示される番組の重要区間の画像を３Ｄ画像として見ることになる。
図７は、図３を参照して説明したように各シーンの代表画像を並べて表示する場合の、フレーム中の視差のある部分を示す図である。この例においては、図３のメイン画面領域Ａ１に表示されるサッカー中継の番組の画像は２Ｄ画像として表示されるものとする。
図７Ａに示すフレームＦ１，Ｆ２は、並べて表示する代表画像の中に、重要区間のシーンの代表画像がない場合のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのデータ（番組の画像と代表画像が表示されるフレームのデータ）を生成し、TV２に出力する。ユーザは、TV２のメイン画面領域Ａ１（図３）に表示される番組の画像も、時系列代表画像領域Ａ２に並べて表示される全ての代表画像も２Ｄ画像として見ることになる。
図７Ｂに示すフレームＦ１，Ｆ２は、並べて表示する代表画像の中に、重要区間のシーンの代表画像がある場合のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１とＦ２のうち、斜線を付して示す部分は、重要区間のシーンの代表画像が表示される部分に対応する。
表示制御部１７は、フレームＦ１のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された左目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。また、表示制御部１７は、フレームＦ２のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された右目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。
表示制御部１７は、フレームＦ１を左目用画像として、フレームＦ２を、フレームＦ１と対になる右目用画像としてTV２に出力する。
シャッタメガネ３が制御されることもあって、ユーザは、ユーザは、図７Ｂの斜線部分に表示される代表画像を３Ｄ画像として見ることになる。また、ユーザは、TV２のメイン画面領域Ａ１に表示される番組の画像と、時系列代表画像領域Ａ２に表示される、図７Ｂの斜線部分以外の部分に表示される代表画像を２Ｄ画像として見ることになる。
図８は、図４を参照して説明したように、再生位置が重要区間になったとき、番組の画像を３Ｄ画像として表示するとともに、その直前のシーンの代表画像を２Ｄ画像として表示する場合の、フレーム中の視差のある部分を示す図である。
図８Ａに示すフレームＦ１，Ｆ２は、重要区間外のフレームであり、フレームＦ１，Ｆ２の順番で表示される。
表示制御部１７は、コンテンツ制御部１６から供給される２Ｄ画像のデータに基づいてフレームＦ１，Ｆ２のそれぞれのデータを生成し、TV２に出力する。ユーザは、TV２のメイン画面領域Ａ１１（図４）に表示される番組の重要区間外の画像を２Ｄ画像として見ることになる。
図８Ｂに示すフレームＦ１，Ｆ２は、重要区間のフレームであり、フレームＦ１，Ｆ２の順番で表示される。フレームＦ１，Ｆ２のうちの斜線を付して示す部分はメイン画面領域Ａ１１に対応する部分であり、斜線を付していない部分はマルチ画面領域Ａ１２に対応する部分である。フレームＦ１とＦ２のうち、斜線を付して示す、メイン画面領域Ａ１１の部分には視差があることになる。
表示制御部１７は、フレームＦ１のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された左目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。また、表示制御部１７は、フレームＦ２のうち、斜線を付して示す部分を、コンテンツ制御部１６から供給された右目用画像のデータに基づいて生成し、それ以外の部分を、コンテンツ制御部１６から供給された２Ｄ画像のデータに基づいて生成する。
表示制御部１７は、フレームＦ１を左目用画像として、フレームＦ２を、フレームＦ１と対になる右目用画像としてTV２に出力する。
シャッタメガネ３が制御されることもあって、ユーザは、図８Ｂの斜線部分に表示される番組の画像を３Ｄ画像として見ることになる。また、ユーザは、TV２のマルチ画面領域Ａ１２に表示される代表画像を２Ｄ画像として見ることになる。
表示制御部１７は、システムコントローラ１１による制御に従って、このようにして各フレームのデータを生成し、TV２に出力する。コンテンツ制御部１６からは、表示制御部１７が以上のようにして各フレームのデータを生成するのに用いられる２Ｄ画像、または３Ｄ画像のデータが供給されてくる。
図５の説明に戻り、特徴抽出部１８は、再生処理部１５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ１１に出力する。
信号出力部１９は、システムコントローラ１１から供給された制御信号をシャッタメガネ３に送信する。TV２に３Ｄ画像を表示する場合、左目用画像と右目用画像のそれぞれの表示タイミングにあわせてシャッタメガネ３のシャッタを動作させるための制御信号がシステムコントローラ１１から供給される。また、TV２に２Ｄ画像のみを表示する場合、シャッタメガネ３の左目側の透過部と右目側の透過部の特性（シャッタ動作）を同じものにさせるための制御信号が供給される。
信号出力部１９から送信された制御信号を受信したシャッタメガネ３においては、左目側の透過部と右目側の透過部のシャッタ動作が制御されたり、それらの特性を同じものにするような制御が行われたりする。左目側の透過部と右目側の透過部の特性が同じものになった場合、TV２に表示される画像は通常の２Ｄ画像としてユーザによって認識される。
図９は、シャッタメガネ３の制御の例を示す図である。
コンテンツの再生位置が重要区間の位置になるなどして３Ｄ画像を表示するタイミングになった場合、図９Ａに示すように、左目用画像が左目、右目用画像が右目にそれぞれ届くように、左右の透過部のシャッタ動作が制御信号に従って制御される。
図９Ａの右側の画像は、シャッタメガネ３の左右の透過部の特性が同じ（クローズとオープンのタイミングが同じ）である場合のシャッタメガネ３の状態を示している。また、図９Ａの左側の画像は、シャッタメガネ３の左右の透過部の特性が異なる（クローズとオープンのタイミングが異なる）場合のシャッタメガネ３の状態を示している。
なお、左目用画像、右目用画像としてそれぞれ色を替えた画像をユーザに見せるカラーフィルタ方式で３Ｄ表示を実現するようにしてもよい。この場合、左目側の透過部が赤、右目側の透過部が青といったように、それぞれの透過部の色を制御可能なメガネが用いられる。
図９Ｂの右側の画像は、左右の透過部の特性が同じ（同じ色）である場合のメガネの状態を示している。また、図９Ｂの左側の画像は、左目側の透過部と右目側の透過部の特性が異なる（色が異なる）場合のメガネの状態を示している。再生位置が重要区間の位置になったときにメガネの特性が図９Ｂの左側に示す状態に切り替わることにより、ユーザは３Ｄ画像を見ることができる。
図１０は、図５のコンテンツ制御部１６の構成例を示すブロック図である。
コンテンツ制御部１６は、適宜、再生処理部１５から供給された２Ｄ画像のデータを３Ｄ画像のデータに変換する。２Ｄ画像のデータを３Ｄ画像のデータに変換することについては、例えば、特開平７−２２２２０３号公報に記載されている。図１０に示す構成は、基本的に、当該公報に記載されているものと同様の構成である。
図１０に示すように、コンテンツ制御部１６は、動きベクトル検出部３１とメモリ３２から構成される。再生処理部１５から出力された２Ｄ画像のデータは、動きベクトル検出部３１とメモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、２Ｄ画像を表示する場合に表示制御部１７において用いられる。また、３Ｄ画像を表示する場合、例えば左目用画像のデータとして用いられる。
動きベクトル検出部３１は、入力された画像データに基づいて、フレーム間の被写体の動きを表す動きベクトルを検出し、システムコントローラ１１に出力する。システムコントローラ１１においては、動きベクトル検出部３１により検出された動きベクトルの例えば水平方向の成分の大きさに応じてメモリ３２の遅延量を制御することが行われる。
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された遅延量の分だけ、遅延させて出力する。メモリ３２から出力された画像データは、３Ｄ画像を表示する場合、右目用画像のデータとして用いられる。このような構成を有するコンテンツ制御部１６から３Ｄ画像として出力された左目用画像と右目用画像を見たユーザは、左右の画像の時間差により、被写体を立体的に感じることになる。左右の画像の時間差により被写体を立体的に感じる現象と似た現象として、Mach-Dvorak現象が知られている。
図１１は、コンテンツ制御部１６の他の構成例を示すブロック図である。
この例においては、コンテンツ制御部１６には動きベクトルを検出する構成は設けられず、メモリ３２の遅延量を制御するための基準となる動きベクトルの情報が、再生処理部１５からシステムコントローラ１１に供給される。再生処理部１５に入力される画像データの圧縮方式がMPEG(Moving Picture Experts Group)2やH.264/AVCなどの場合、画像データには動きベクトルの情報が含まれている。
再生処理部１５は、入力された画像データに含まれる動きベクトルの情報をシステムコントローラ１１に出力し、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部１６に出力する。システムコントローラ１１においては、動きベクトルに基づいて遅延量が決定され、決定された遅延量を表す情報がメモリ３２に供給される。
再生処理部１５から出力された２Ｄ画像のデータは、メモリ３２に入力されるとともに、表示制御部１７にそのまま出力される。コンテンツ制御部１６からそのまま出力された２Ｄ画像のデータは、２Ｄ画像を表示する場合に用いられる。また、３Ｄ画像を表示する場合、例えば左目用画像のデータとして用いられる。
メモリ３２は、３Ｄ画像を表示する場合、入力された画像データを一時的に記憶し、システムコントローラ１１から供給された遅延量の分だけ、遅延させて出力する。メモリ３２から出力された画像データは、３Ｄ画像を表示する場合、例えば右目用画像のデータとして用いられる。
図１２は、図５のシステムコントローラ１１の構成例を示すブロック図である。
図１２に示すように、システムコントローラ１１は、シーン検出部５１、重要区間検出部５２、および制御部５３から構成される。
特徴抽出部１８から出力された特徴データはシーン検出部５１と重要区間検出部５２に入力される。また、図１０の動きベクトル検出部３１、または図１１の再生処理部１５から出力された動きベクトルの情報は制御部５３に入力される。
シーン検出部５１は、画像データの特徴に基づいてシーンチェンジを検出し、その位置を表す情報を再生処理部１５に出力する。シーン検出部５１により検出されたシーンチェンジの位置は、例えば図３の各シーンの代表画像を生成するために用いられる。再生処理部１５においては、例えば、シーン検出部５１により検出されたシーンチェンジの直後の位置にあるフレームがデコードされ、それを縮小することによって代表画像が生成される。
重要区間検出部５２は、画像データや音声データの特徴に基づいて、図２を参照して説明したようにして評価値を算出し、重要区間を検出する。重要区間検出部５２は、重要区間を表す情報を制御部５３に出力する。
制御部５３は、図１または図４を参照して説明したようにしてコンテンツの画像を３Ｄ画像として表示させる場合、コンテンツの現在の再生位置を監視する。制御部５３は、現在の再生位置が重要区間の位置になったとき、入力された動きベクトルに応じた遅延量の情報をコンテンツ制御部１６のメモリ３２に出力する。例えば、基準となる動きベクトルの水平方向の成分の大きさＶ０に対して遅延量Ｔ０が対応付けられている。制御部５３は、入力された動きベクトルの水平方向の成分の大きさがＶ０より大きいＶ１のとき、Ｔ０より少ないＴ１を遅延量として選択し、その情報をメモリ３２に出力する。また、制御部５３は、入力された動きベクトルの水平方向の成分の大きさがＶ０より小さいＶ２のとき、Ｔ０より多いＴ２を遅延量として選択し、その情報をメモリ３２に出力する。制御部５３は、表示制御部１７を制御し、図６または図８を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
制御部５３は、図３を参照して説明したようにして代表画像を３Ｄ画像として表示させる場合、コンテンツ制御部１６に入力される代表画像が重要区間のシーンの代表画像であるか否かを監視する。代表画像を表示させる場合、再生処理部１５により生成された代表画像がコンテンツ制御部１６に順次入力される。
制御部５３は、重要区間のシーンの代表画像がコンテンツ制御部１６に入力されたとき、所定の遅延量の情報をコンテンツ制御部１６のメモリ３２に出力する。また、制御部５３は、表示制御部１７を制御し、図７を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
なお、制御部５３は、コンテンツの再生、表示を制御するとともに、制御信号を信号出力部１９に出力してシャッタメガネ３の特性を制御することも行う。
以上においては、２Ｄ画像に基づいて３Ｄ画像を生成する場合、１枚の画像を左目用画像とし、その画像を遅延させた画像を右目用画像とする場合について説明したが、１枚の画像を左目用画像とし、その画像に映る被写体の位置をずらした画像を右目用画像として用いるようにしてもよい。
［表示制御装置１の動作］
図１３のフローチャートを参照して、表示制御装置１の処理について説明する。
ここでは、図１を参照して説明したように、再生位置が重要区間の位置になった場合に、コンテンツの画像全体の表示方式を２Ｄ表示方式から３Ｄ表示方式に切り替える処理について説明する。
ステップＳ１において、システムコントローラ１１は、ユーザによる操作に応じて動作モードを設定する。例えば、システムコントローラ１１は、記録媒体１４に記録されているコンテンツの再生が指示された場合、動作モードとして再生モードを設定し、放送中のコンテンツの録画が指示された場合、動作モードとして録画モードを設定する。
ステップＳ２において、システムコントローラ１１は、設定しているモードが再生モードであるか否かを判定し、再生モードではないと判定した場合、いま設定されている動作モードに応じた処理を行う。
一方、設定しているモードが再生モードであるとステップＳ２において判定した場合、ステップＳ３において、システムコントローラ１１は、ユーザにより選択されたコンテンツの読み出しを記録媒体制御部１３に行わせる。記録媒体制御部１３により読み出された再生対象のコンテンツは再生処理部１５に供給される。
ステップＳ４において、再生処理部１５は、再生対象のコンテンツの再生処理を行い、画像データをコンテンツ制御部１６に出力するとともに、画像データと音声データを特徴抽出部１８に出力する。
ステップＳ５において、特徴抽出部１８は、画像データと音声データの特徴を抽出し、特徴データをシステムコントローラ１１に出力する。システムコントローラ１１の重要区間検出部５２においては、重要区間の検出が行われ、その情報が制御部５３に供給される。
ステップＳ６において、制御部５３は、現在の再生位置が重要区間の位置であるか否かを判定する。
現在の再生位置が重要区間の位置であるとステップＳ６において判定した場合、ステップＳ７において、制御部５３は３Ｄ表示処理を行う。すなわち、コンテンツ制御部１６、表示制御部１７等を制御することによって、コンテンツの画像を３Ｄ画像として表示する処理が行われる。現在の再生位置が重要区間の位置ではないとステップＳ６において判定された場合、ステップＳ７はスキップされる。
ステップＳ８において、システムコントローラ１１は、コンテンツの再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ４に戻り、それ以降の処理を行う。
コンテンツの再生を終了することがユーザにより指示されたことから、または、コンテンツを最後まで再生したことから、コンテンツの再生を終了するとステップＳ８において判定された場合、処理は終了される。
図４の画面表示を行う場合も、重要区間の開始位置の直前のシーンの代表画像を表示させる処理がステップＳ７の３Ｄ表示処理に含まれる点を除いて、図１３の処理と同様の処理が行われる。
また、図３の画面表示を行う場合も、基本的に図１３の処理と同様の処理が行われる。すなわち、表示する代表画像が重要区間のシーンの代表画像であるか否かがステップＳ６において判定され、重要区間のシーンの代表画像であると判定された場合、その代表画像を３Ｄ画像として表示させる処理がステップＳ７の３Ｄ表示処理として行われる。
［変形例］
以上においては、再生対象になるコンテンツが２Ｄコンテンツである場合について説明したが、左目用画像のデータと右目用画像のデータとがそれぞれあらかじめ用意されている３Ｄコンテンツが再生対象として用いられるようにしてもよい。この場合、図１０、図１１を参照して説明した２Ｄ画像のデータを３Ｄ画像のデータに変換する処理はコンテンツ制御部１６においては行われない。
図１４は、再生対象になるコンテンツが３Ｄコンテンツである場合のコンテンツ制御部１６の構成例を示すブロック図である。
図１４に示すように、コンテンツ制御部１６には選択部６１が設けられる。選択部６１には、再生対象の３Ｄコンテンツがデコードされることによって得られた左目用画像のデータと右目用画像のデータが再生処理部１５から供給される。左目用画像に映る被写体の表示位置と、右目用画像に映る被写体の表示位置には視差に相当する分のずれがある。
選択部６１は、システムコントローラ１１による制御に従って、３Ｄ画像を表示する場合、左目用画像のデータと右目用画像のデータを表示制御部１７に出力し、２Ｄ画像を表示する場合、例えば左目用画像のデータのみを表示制御部１７に出力する。表示制御部１７においては、選択部６１から供給された画像データに基づいて各フレームのデータが図６乃至図８を参照して説明したようにして生成される。
これによっても、３Ｄコンテンツ全体のうちの重要区間の画像だけを３Ｄ画像として表示することができ、コンテンツ全体の画像を３Ｄ画像として視聴させる場合に較べて、ユーザの疲労感を軽減させることが可能になる。
以上においては、表示制御装置１がTV２とは別の筐体の装置として用意され、現在の再生位置に応じて出力する画像データを切り替える出力装置として機能するものとしたが、表示制御装置１がTV２内に設けられるようにしてもよい。
また、図１においては、現在の再生位置が重要区間であるか否かに応じて、出力する画像データを表示制御装置１が切り替えるものとしたが、画像データの切り替えがTV２側で行われるようにしてもよい。
図１５は、３Ｄ画像表示システムの他の構成例を示す図である。
図１５の３Ｄ画像表示システムは、送信装置７１と表示制御装置７２から構成される。表示制御装置７２は、例えばTV２の内部に設けられる装置であり、HDMI規格のケーブルを介して、TV２とは別の筐体の装置として外部に設けられる送信装置７１と通信を行う。
図１５の３Ｄ画像表示システムにおいては、重要区間の検出が送信装置７１により行われ、重要区間の情報がコンテンツとともに送信装置７１から表示制御装置７２に送信される。表示制御装置７２においては、送信装置７１から送信されてきたコンテンツが再生され、図１、図３、および図４を参照して説明したようにして画像の表示が切り替えられる。
図１５に示すように、送信装置７１は、システムコントローラ８１、ユーザI/F８２、記録媒体制御部８３、記録媒体８４、再生処理部８５、特徴抽出部８６、および送信部８７から構成される。ユーザI/F８２、記録媒体制御部８３、記録媒体８４、再生処理部８５、特徴抽出部８６は、それぞれ、図５のユーザI/F１２、記録媒体制御部１３、記録媒体１４、再生処理部１５、および特徴抽出部１８に対応する。
システムコントローラ８１は、ユーザI/F８２から供給されるユーザの操作の内容を表す信号に従って、送信装置７１の全体の動作を制御する。図１５のシステムコントローラ８１には、図１２に示す構成のうち、シーン検出部５１と重要区間検出部５２が設けられる。
例えば、システムコントローラ８１は、特徴抽出部８６から供給された特徴データに基づいてシーンチェンジと重要区間を検出する。システムコントローラ８１は、検出したシーンチェンジの位置の情報と重要区間の情報を送信部８７に出力する。
ユーザI/F８２は、再生の対象とする番組の選択操作などの、リモートコントローラに対するユーザの操作を検出し、その内容を表す信号をシステムコントローラ８１に出力する。
記録媒体制御部８３は、図示せぬアンテナからの信号に基づいて、放送されたコンテンツを受信し、記録媒体８４に記録させる。記録媒体制御部８３は、記録媒体８４に記録されているコンテンツの再生が指示された場合、再生の対象とするコンテンツを再生処理部８５に出力させる。また、記録媒体制御部８３は、再生の対象とするコンテンツを送信部８７に出力する。
再生処理部８５は、再生の対象とするコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部８５は、再生処理を施すことによって得られた画像データと音声データを特徴抽出部８６に出力する。画像データと音声データのうちのいずれか一方が特徴抽出の対象として用いられるようにしてもよい。
特徴抽出部８６は、再生処理部８５から供給された画像データと音声データの特徴を抽出し、抽出した特徴を表すデータである特徴データをシステムコントローラ８１に出力する。
送信部８７は、記録媒体制御部８３から供給されたコンテンツをHDMI規格のケーブルを介して表示制御装置７２に送信する。また、送信部８７は、システムコントローラ８１から供給されたシーンチェンジの位置の情報と重要区間の情報を、HDMI規格のversion1.4で規定されるHDMI Vender Specific InfoFrame Packetなどに格納して表示制御装置７２に送信する。
HDMI Vender Specific InfoFrame Packetは、各ベンダーが規定した制御コマンドの送受信などに用いられるパケットであり、送信側の機器から受信側の機器に対して、HDMIのCEC(Consumer Electronics Control)線を介して送信される。重要区間の情報には、重要区間の位置（時刻）を表す情報が含まれる。
表示制御装置７２は、システムコントローラ９１、受信部９２、再生処理部９３、コンテンツ制御部９４、表示制御部９５、ディスプレイ９６、および信号出力部９７から構成される。再生処理部９３、コンテンツ制御部９４、表示制御部９５、信号出力部９７は、それぞれ、図５の再生処理部１５、コンテンツ制御部１６、表示制御部１７、信号出力部１９に対応する。
システムコントローラ９１は、表示制御装置７２の全体の動作を制御し、送信装置７１から送信されてきたコンテンツの再生を行う。図１５のシステムコントローラ９１には、図１２に示す構成のうち、制御部５３が設けられる。
システムコントローラ９１は、図１または図４を参照して説明したようにしてコンテンツの画像を３Ｄ画像として表示させる場合、コンテンツの現在の再生位置を監視する。システムコントローラ９１は、現在の再生位置が重要区間の位置になったとき、遅延量の情報をコンテンツ制御部９４に出力する。また、システムコントローラ９１は、表示制御部９５を制御し、図６または図８を参照して説明したようなフレームのデータをコンテンツ制御部９４から供給されるデータに基づいて生成させ、出力させる。
システムコントローラ９１は、図３を参照して説明したようにして代表画像を３Ｄ画像として表示させる場合、コンテンツ制御部９４に入力される代表画像が重要区間のシーンの代表画像であるか否かを監視する。代表画像を表示させる場合、再生処理部９３により生成された代表画像がコンテンツ制御部９４に順次入力される。
システムコントローラ９１は、重要区間のシーンの代表画像がコンテンツ制御部９４に入力されたとき、所定の遅延量の情報をコンテンツ制御部９４に出力する。また、システムコントローラ９１は、表示制御部９５を制御し、図７を参照して説明したようなフレームのデータをコンテンツ制御部１６から供給されるデータに基づいて生成させ、出力させる。
受信部９２は、送信装置７１から送信されてきたコンテンツ、シーンチェンジの位置の情報、および重要区間の情報を受信し、コンテンツを再生処理部９３に、シーンチェンジの位置の情報と重要区間の情報をシステムコントローラ９１にそれぞれ出力する。
再生処理部９３は、受信部９２から供給されたコンテンツに対して、圧縮されているデータを伸張するデコード処理等の再生処理を施す。再生処理部９３は、再生処理を施すことによって得られた２Ｄ画像のデータをコンテンツ制御部９４に出力する。コンテンツの画像にあわせて音声を出力するために用いられる音声データは、図示せぬ回路を介して外部のスピーカ等に出力される。再生処理部９３は、適宜、システムコントローラ９１による制御に従って代表画像を生成し、生成した代表画像をコンテンツ制御部９４に出力する。
コンテンツ制御部９４は、図１０、または図１１に示す構成と同様の構成を有している。コンテンツ制御部９４は、再生処理部９３から供給された２Ｄ画像のデータをそのまま、または、３Ｄ画像のデータに変換して、表示制御部９５に出力する。
表示制御部９５は、コンテンツ制御部９４から供給された画像データに基づいて、図１、図３、および図４を参照して説明した画面をディスプレイ９６に表示させる。
信号出力部９７は、制御信号を送信し、図９を参照して説明したようにしてシャッタメガネ３のシャッタ動作を制御する。
このような構成を有する３Ｄ画像表示システムにおいても、図１、図３、および図４を参照して説明した画面を表示することが可能になる。
また、以上においては、３Ｄ画像の視聴方式がメガネを用いた方式であるものとしたが、裸眼方式であってもよい。裸眼方式の場合であっても、重要区間においてはユーザが３Ｄ画像を見ることができるように画像の表示が制御され、通常区間においてはユーザが２Ｄ画像を見ることができるように画像の表示が制御される。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 表示制御装置， ２ TV， ３ シャッタメガネ， １１ システムコントローラ， １２ ユーザI/F， １３ 記録媒体制御部， １４ 記録媒体， １５ 再生処理部， １６ コンテンツ制御部， １７ 表示制御部， １８ 特徴抽出部， １９ 信号出力部， ３１ 動きベクトル検出部， ３２ メモリ， ５１ シーン検出部， ５２ 重要区間検出部， ５３ 制御部

Claims (8)

  1. コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
    前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
    前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段と
    を備える表示制御装置。
  2. 再生対象として入力された前記コンテンツが、画像データとして２次元画像を表示するための画像データのみを含むコンテンツである場合、入力された前記コンテンツを、３次元画像を表示するための、相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツに変換する変換手段をさらに備え、
    前記表示制御手段は、前記所定の区間のシーンの代表画像を、前記変換手段により変換された前記コンテンツに基づいて表示し、前記所定の区間外のシーンの代表画像を、入力された前記コンテンツに基づいて表示する
    請求項１に記載の表示制御装置。
  3. 再生対象として入力された前記コンテンツが、画像データとして相互に視差を含む左目用の画像データと右目用の画像データを含むコンテンツである場合、前記表示制御手段は、前記所定の区間のシーンの代表画像を、入力された前記コンテンツに含まれる左目用の画像データと右目用の画像データに基づいて表示し、前記所定の区間外のシーンの代表画像を、左目用の画像データと右目用の画像データのうちの一方に基づいて表示する
    請求項１に記載の表示制御装置。
  4. コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、
    抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、
    前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する
    ステップを含む表示制御方法。
  5. コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出し、
    抽出した特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出し、
    前記コンテンツの各シーンの代表画像を表示する場合において、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する
    ステップを含む処理をコンピュータに実行させるプログラム。
  6. コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
    前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
    前記コンテンツの各シーンの代表画像を出力する出力手段であって、前記所定の区間のシーンの代表画像を３次元画像として出力し、前記所定の区間外のシーンの代表画像を２次元画像として出力する出力手段と
    を備える出力装置。
  7. コンテンツの画像データと音声データのうちの少なくとも一方の特徴を抽出する抽出手段と、
    前記抽出手段により抽出された特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間を検出する検出手段と、
    検出した前記所定の区間に関するデータを、前記コンテンツの画像データとともに送信する送信手段と
    を備える送信装置。
  8. 少なくとも画像データを含むコンテンツのデータを受信するとともに、前記コンテンツの画像データと音声データのうちの少なくとも一方の特徴に基づいて求めた評価値が閾値以上となる前記コンテンツの所定の区間に関するデータを受信する受信手段と、
    前記コンテンツの各シーンの代表画像の表示を制御する表示制御手段であって、前記所定の区間のシーンの代表画像を３次元画像として認識させるように表示し、前記所定の区間外のシーンの代表画像を２次元画像として認識させるように表示する表示制御手段と
    を備える表示制御装置。
JP2009254957A 2009-06-11 2009-11-06 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 Withdrawn JP2011101229A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009254957A JP2011101229A (ja) 2009-11-06 2009-11-06 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
US12/894,486 US20110018979A1 (en) 2009-06-11 2010-09-30 Display controller, display control method, program, output device, and transmitter
CN2010105358185A CN102056000A (zh) 2009-11-06 2010-11-01 显示控制器、显示控制方法、程序、输出设备以及传送器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009254957A JP2011101229A (ja) 2009-11-06 2009-11-06 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置

Publications (1)

Publication Number Publication Date
JP2011101229A true JP2011101229A (ja) 2011-05-19

Family

ID=43496938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009254957A Withdrawn JP2011101229A (ja) 2009-06-11 2009-11-06 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置

Country Status (3)

Country Link
US (1) US20110018979A1 (ja)
JP (1) JP2011101229A (ja)
CN (1) CN102056000A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191366A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 生成装置および生成方法
JP7551385B2 (ja) 2020-07-31 2024-09-17 キヤノン株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP2012120057A (ja) * 2010-12-02 2012-06-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5931528B2 (ja) * 2012-03-21 2016-06-08 オリンパス株式会社 手術用映像システムおよび手術用映像システムの作動方法
US20180255371A1 (en) * 2017-03-06 2018-09-06 Rovi Guides, Inc. Methods and systems for controlling presentation of media streams

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796843A (en) * 1994-02-14 1998-08-18 Sony Corporation Video signal and audio signal reproducing apparatus
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JP3441911B2 (ja) * 1997-02-20 2003-09-02 キヤノン株式会社 情報処理装置及び方法
MY124160A (en) * 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
KR100422370B1 (ko) * 2000-12-27 2004-03-18 한국전자통신연구원 3차원 물체 부피계측시스템 및 방법
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
KR100554991B1 (ko) * 2002-09-17 2006-02-24 샤프 가부시키가이샤 2ｄ(2차원) 및 3ｄ(3차원)표시 기능을 구비하는 전자 기기
JP3923434B2 (ja) * 2003-01-28 2007-05-30 株式会社ソフィア 画像表示装置
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005269510A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp ダイジェスト画像データの生成
JP2008026654A (ja) * 2006-07-21 2008-02-07 Hitachi Displays Ltd 立体表示装置
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP5492583B2 (ja) * 2010-01-29 2014-05-14 日立コンシューマエレクトロニクス株式会社 映像処理装置及び映像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191366A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 生成装置および生成方法
US9288473B2 (en) 2011-03-09 2016-03-15 Fujitsu Limited Creating apparatus and creating method
JP7551385B2 (ja) 2020-07-31 2024-09-17 キヤノン株式会社 情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20110018979A1 (en) 2011-01-27
CN102056000A (zh) 2011-05-11

Similar Documents

Publication Publication Date Title
JP4742174B1 (ja) ３次元映像再生方法、および３次元映像再生装置
US8610763B2 (en) Display controller, display control method, program, output device, and transmitter
JP2011109294A (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
JP5492583B2 (ja) 映像処理装置及び映像処理方法
JP5502436B2 (ja) 映像信号処理装置
JP5387399B2 (ja) 情報処理装置および情報処理方法
KR20100046584A (ko) 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치
JP2011101229A (ja) 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
JP2008299241A (ja) 画像処理装置及び表示装置
JP2011138354A (ja) 情報処理装置および情報処理方法
JP5412404B2 (ja) 情報統合装置、情報表示装置、情報記録装置
WO2011108180A1 (ja) 立体映像出力装置及び立体映像出力方法
JP2011114472A (ja) 情報処理装置、情報処理方法、プログラム、表示制御装置、送信装置、および受信装置
JP5550520B2 (ja) 再生装置及び再生方法
JP2011216964A (ja) 表示制御装置、表示制御方法、およびプログラム
US8416288B2 (en) Electronic apparatus and image processing method
JP2011199388A (ja) 再生装置、再生制御方法、およびプログラム
JP5166567B2 (ja) 電子機器、映像データの表示制御方法、およびプログラム
JP5764895B2 (ja) 電子機器、再生システム、再生方法、プログラム
JP2011171862A (ja) 再生装置、再生方法、およびプログラム
JP2012019329A (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
KR101659623B1 (ko) 입체영상 재생 장치 및 데이터 처리 방법
JP5641953B2 (ja) 電子機器、映像データの生成方法、およびプログラム
JP5586403B2 (ja) 映像データ送信装置及び映像データ送信方法
JP2013098878A (ja) 映像変換装置、映像表示装置、テレビ受像装置、映像変換方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108