JP2012070116A - 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム Download PDF

Info

Publication number
JP2012070116A
JP2012070116A JP2010211646A JP2010211646A JP2012070116A JP 2012070116 A JP2012070116 A JP 2012070116A JP 2010211646 A JP2010211646 A JP 2010211646A JP 2010211646 A JP2010211646 A JP 2010211646A JP 2012070116 A JP2012070116 A JP 2012070116A
Authority
JP
Japan
Prior art keywords
content
parallax
eye image
image
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010211646A
Other languages
English (en)
Inventor
Masashi Ota
正志 太田
Noboru Murabayashi
昇 村林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010211646A priority Critical patent/JP2012070116A/ja
Priority to US13/231,022 priority patent/US20120069162A1/en
Publication of JP2012070116A publication Critical patent/JP2012070116A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】適切な視差の3Dコンテンツを再生することができるようにする。
【解決手段】コンテンツサーバ1の記録媒体には複数の3Dコンテンツが記録されている。また、それぞれの3Dコンテンツのデータとして、記録レートの異なる複数のデータが記録されている。所定の記録レートの3Dコンテンツを伝送することがクライアント端末2Aにより要求された場合、コンテンツサーバ1においては、記録レートが高い場合には視差が大きくなり、記録レートが低い場合には視差が小さくなるように、L画像とR画像の間の視差を規定する視差パラメータの値として記録レートに応じた値が設定される。視差調整後の3Dコンテンツはクライアント端末2Aに伝送され、再生される。本発明は、ネットワークを介してコンテンツを伝送するシステムに適用することができる。
【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関し、特に、適切な視差の3Dコンテンツを再生することができるようにした情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関する。
テレビジョン受像機や録画機器などの家電機器向けのコンテンツ配信サービスが開始されている。ユーザは、テレビジョン番組を視聴するのと同じ感覚で、映画などの各種のコンテンツをストリーミング再生などによって視聴することができる。
ところで、近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツのビデオデータには、左目用画像(L画像)と右目用画像(R画像)のデータが含まれる。L画像に写る被写体とR画像に写る被写体には、視差に相当するずれがある。視差が設定されたL画像とR画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
将来的には、上述したような家電機器向けのコンテンツ配信サービスにおいても、3Dコンテンツの配信が行われるようになるものと考えられる。
特開2007−28526号公報 特開平09−121370号公報
一般的に、3Dコンテンツのデータ量は、平面的な画像からなる2Dコンテンツのデータ量と較べて多い。従って、コンテンツの配信を行っているサーバに多くのユーザが同時にアクセスし、3Dコンテンツの視聴を始めた場合、伝送路のトラフィックが問題になることが2Dコンテンツだけの配信を行っているときと較べて多くなることが予想される。
多くの人が同時にアクセスし、伝送路が込み合うことによって余裕がなくなった場合、データの伝送が止まり、3Dコンテンツの再生が途中で止まってしまったり、再生画像にノイズが現れたりしてしまう。
そこで、伝送路に余裕がなくなった場合に、3Dコンテンツの伝送レートをサーバ側で下げるような制御を行うようにすることも考えられる。しかし、視差をそのままに伝送レートだけを調整した場合、例えば伝送レートが低いときには高いときと較べてノイズが目立ってしまい、これにより、制作者側で意図した立体感をユーザに与えることができないばかりか、疲労感を与えてしまう可能性がある。
本発明はこのような状況に鑑みてなされたものであり、適切な視差の3Dコンテンツを再生することができるようにするものである。
本発明の一側面の情報処理装置は、左目用画像と右目用画像を含む3Dコンテンツを記録する記録手段と、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する伝送制御手段とを備える。
前記視差調整手段には、前記3Dコンテンツの記録レートまたは伝送レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整させることができる。
前記端末の数を検出する検出手段をさらに設けることができる。この場合、前記伝送制御手段には、前記検出手段により検出された前記端末の数に応じて前記3Dコンテンツの伝送レートを決定させ、前記視差調整手段には、前記伝送制御手段により決定された伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
前記記録手段には、視点の異なる複数の前記3Dコンテンツを記録させるとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータを記録させ、前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、前記記録手段に記録されている前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、伝送対象とする前記3Dコンテンツを、視点の異なる複数の前記3Dコンテンツの中から前記評価値に基づいて選択する選択手段とをさらに設けることができる。この場合、前記視差調整手段には、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させる。
前記選択手段には、前記評価値の最も高い前記3Dコンテンツを選択させることができる。
前記選択手段には、伝送対象とする前記3Dコンテンツのデータとして、前記評価値に応じた記録レートのデータを選択させることができる。
本発明の一側面の情報処理方法は、左目用画像と右目用画像を含む3Dコンテンツを記録し、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送するステップを含む。
本発明の一側面のプログラムは、左目用画像と右目用画像を含む3Dコンテンツを記録し、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送するステップを含む処理をコンピュータに実行させる。
本発明の他の側面の再生装置は、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信する受信手段と、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを再生する再生手段とを備える。
前記視差調整手段には、前記3Dコンテンツの記録レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整させることができる。
前記情報処理装置には、視点の異なる複数の前記3Dコンテンツが記録されているとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータが記録されているようにすることができる。
前記情報処理装置との間の通信品質を検出する検出手段をさらに設けることができる。この場合、前記受信手段には、前記検出手段により検出された前記通信品質に応じた記録レートの前記3Dコンテンツを受信させることができる。
前記受信手段には、視点の異なる複数の前記3Dコンテンツを受信させ、前記受信手段により受信された前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、視点の異なる複数の前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、視点の異なる複数の前記3Dコンテンツの中から、前記評価値の最も高い前記3Dコンテンツを選択する選択手段とをさらに設けることができる。この場合、前記視差調整手段には、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
前記受信手段には、再生対象とする前記3Dコンテンツのデータとして、再生対象とする前記3Dコンテンツの特徴に基づいて算出された評価値に応じた記録レートのデータを受信させ、前記視差調整手段には、前記受信手段によりデータが選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
前記受信手段には、前記情報処理装置から伝送される前記評価値の情報を受信させ、受信した前記評価値に応じた記録レートのデータを受信させることができる。
本発明の他の側面の再生方法は、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生するステップを含む。
本発明の他の側面のプログラムは、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生するステップを含む処理をコンピュータに実行させる。
本発明の一側面においては、左目用画像と右目用画像を含む3Dコンテンツが記録され、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差が調整され、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツが、伝送先となるそれぞれの端末にネットワークを介して伝送される。
本発明の他の側面においては、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツが受信され、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差が調整され、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツが再生される。
本発明によれば、適切な視差の3Dコンテンツを再生することができる。
コンテンツ伝送システムの構成例を示す図である。 コンテンツサーバの記録媒体に記録されている3Dコンテンツの例を示す図である。 コンテンツサーバのハードウェア構成例を示すブロック図である。 コンテンツサーバの機能構成例を示すブロック図である。 クライアント端末の構成例を示すブロック図である。 クライアント端末の再生処理について説明するフローチャートである。 コンテンツサーバの伝送処理について説明するフローチャートである。 アクセス数と伝送レートの関係の例を示す図である。 コンテンツサーバのキーフレーム評価値算出処理について説明するフローチャートである。 画像特徴量の例を示す図である。 コンテンツサーバの他の伝送処理について説明するフローチャートである。 コンテンツサーバのさらに他の伝送処理について説明するフローチャートである。 コンテンツサーバの他の機能構成例を示すブロック図である。 クライアント端末の他の構成例を示すブロック図である。 コンテンツサーバの伝送処理について説明するフローチャートである。 クライアント端末の再生処理について説明するフローチャートである。 通信品質と記録レートの関係の例を示す図である。 クライアント端末の他の再生処理について説明するフローチャートである。 クライアント端末のさらに他の再生処理について説明するフローチャートである。
以下、発明を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態(各種の制御をコンテンツサーバ側で行う例)
2.第2の実施の形態(各種の制御をクライアント端末側で行う例)
<第1の実施の形態>
[コンテンツ伝送システムの構成]
図1は、本発明の一実施形態に係るコンテンツ伝送システムの構成例を示す図である。
図1のコンテンツ伝送システムは、コンテンツサーバ1と、クライアント端末2A乃至2Eがインターネットなどのネットワークを介して接続されることによって構成される。図1の例においては、クライアント端末2A乃至2Eはテレビジョン受像機とされている。
以下、適宜、クライアント端末2A乃至2Eをそれぞれ区別する必要がない場合、まとめてクライアント端末2という。なお、図1にはクライアント端末2A乃至2Eの5台のクライアント端末しか示していないが、コンテンツサーバ1にはさらに多くのクライアント端末が接続される。
コンテンツサーバ1は、伝送可能なコンテンツとして複数の3Dコンテンツを記録媒体に記録している。それぞれの3Dコンテンツには、L画像とR画像のデータであるビデオデータと、オーディオデータとが含まれる。コンテンツサーバ1は、クライアント端末2からの要求に応じて3Dコンテンツを記録媒体から読み出し、ネットワークを介して伝送する。
クライアント端末2は、ネットワークを介してコンテンツサーバ1にアクセスし、3Dコンテンツの選択画面を表示する。また、クライアント端末2は、リモートコントローラを操作するなどして所定の3Dコンテンツがユーザにより選択された場合、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ1に要求する。クライアント端末2は、コンテンツサーバ1から伝送されてきた3Dコンテンツを受信して再生し、L画像とR画像を交互にディスプレイに表示するとともに、音声をスピーカから出力する。アクティブシャッタメガネを装着したユーザは、3Dコンテンツの画像を立体的に見ることができる。
このように、クライアント端末2は、コンテンツサーバ1にアクセスして選択画面を表示したりするブラウザの機能と、3Dコンテンツを再生して3D画像(L画像とR画像)を表示する機能を少なくとも有する。
ここで、コンテンツサーバ1の記録媒体に記録されている3Dコンテンツについて説明する。図2は、コンテンツサーバ1の記録媒体に記録されている3Dコンテンツの例を示す図である。
図2に示すように、コンテンツサーバ1においては、複数の関連する3Dコンテンツがグループ化して管理されている。例えば、3Dコンテンツグループ#1はサッカーの試合のコンテンツであり、3Dコンテンツグループ#2は映画のコンテンツである。
3Dコンテンツグループ#1は、あるサッカーの試合を、同じ時間に異なる場所から3Dカメラ(視差に相当する間隔だけ離れて設けられた2つの撮像手段)で撮影して得られた3Dコンテンツのグループである。
例えば、3Dコンテンツグループ#1に含まれる3Dコンテンツ#11は、サッカーの試合を視点1から撮影して得られた3Dコンテンツであり、3Dコンテンツ#12は、同じサッカーの試合を視点2から撮影して得られた3Dコンテンツである。3Dコンテンツ#13は、同じサッカーの試合を視点3から撮影して得られた3Dコンテンツである。3Dコンテンツグループ#1に含まれる3Dコンテンツ#11乃至#13の再生時間は例えば同じ時間である。
また、コンテンツサーバ1の記録媒体には、各視点の3Dコンテンツのデータとして、異なる記録レートのデータが複数記録されている。例えば、3Dコンテンツ#11については、記録レートR1のデータと記録レートR2のデータが記録されている。他の視点の3Dコンテンツについても同様に、記録レートR1のデータと記録レートR2のデータが記録されている。例えば、記録レートR2は、記録レートR1よりも高いレートである。
3Dコンテンツグループ#2や図示せぬ他の3Dコンテンツグループについても同様に、それぞれの3Dコンテンツグループには、同じ時間に異なる場所から同じ対象を撮影して得られた複数の3Dコンテンツが含まれる。また、各視点の3Dコンテンツのデータとして、記録レートの異なるデータが複数記録されている。
このように、コンテンツサーバ1には、1つのコンテンツ(3Dコンテンツグループ)毎に、関連する複数の3Dコンテンツが用意されている。また、関連するそれぞれの3Dコンテンツのデータとして、それぞれ異なる記録レートのデータが用意されている。これにより、クライアント端末2のユーザは、サッカーの試合や映画などの各種のコンテンツを、好みの視点を選択して視聴したりすることができる。特にスポーツ番組の映像などでは、決められた一方向だけからの映像よりも迫力のある映像を楽しめる可能性がある。
なお、同じグループに含まれる3Dコンテンツは、出演者が同じ3Dコンテンツ、ジャンルが同じ3Dコンテンツといったように、視点とは違う意味で関連する3Dコンテンツであってもよい。
[各装置の構成]
図3は、コンテンツサーバ1のハードウェア構成例を示すブロック図である。
CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13は、バス14により相互に接続されている。
バス14には、さらに、入出力インタフェース15が接続されている。入出力インタフェース15には、キーボード、マウスなどよりなる入力部16、ディスプレイ、スピーカなどよりなる出力部17が接続される。また、入出力インタフェース15には、記録部18、通信部19、および、リムーバブルメディア21を駆動するドライブ20が接続される。
記録部18は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの記録媒体よりなり、図2に示すようにして3Dコンテンツを記録する。記録部18に記録されている3Dコンテンツは、CPU11による制御に従って適宜読み出され、入出力インタフェース15を介して通信部19に供給される。
通信部19は、ネットワークインタフェースなどよりなり、ネットワークを介してクライアント端末2と通信を行う。通信部19は、クライアント端末2からの要求を受信するとともに、記録部18から読み出され、入出力インタフェース15を介して供給された3Dコンテンツをクライアント端末2に伝送する。
図4は、コンテンツサーバ1の機能構成例を示すブロック図である。
図4に示す機能部のうちの少なくとも一部は、図3のCPU11により所定のプログラムが実行されることによって実現される。コンテンツサーバ1においては、アクセス数検出部31、選択部32、伝送制御部33、特徴抽出部34、および視差調整部35が実現される。
アクセス数検出部31は、アクセスしてきたクライアント端末2の数を検出し、検出したアクセス数の情報を選択部32と伝送制御部33に出力する。後述するように、クライアント端末2のアクセス数は、3Dコンテンツを各クライアント端末2に伝送するときの伝送レートを決定することや、各クライアント端末2に伝送する3Dコンテンツの記録レートを決定することに用いられる。
選択部32は、記録部18に記録されている3Dコンテンツの中から、伝送対象とする3Dコンテンツを選択する。伝送対象とする3Dコンテンツは、例えば、アクセス数検出部31により検出されたクライアント端末2のアクセス数や、特徴抽出部34により算出された3Dコンテンツのキーフレーム評価値に応じて選択される。選択部32は、選択した3Dコンテンツを記録部18から読み出し、伝送制御部33に出力する。また。選択部32は、視差の調整を行う場合には、記録部18から読み出した3Dコンテンツを視差調整部35に出力する。
伝送制御部33は、図3の通信部19を制御し、3Dコンテンツの伝送を制御する。伝送制御部33からは、選択部32から供給された3Dコンテンツ、または視差調整部35から供給された、視差調整後の3Dコンテンツが伝送される。また、伝送制御部33は、3Dコンテンツを伝送するときの伝送レートを、適宜、アクセス数検出部31により検出されたアクセス数に応じて制御する。
特徴抽出部34は、記録部18に記録されている3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、それぞれの3Dコンテンツの区間毎のキーフレーム評価値を算出する。特徴抽出部34によるキーフレーム評価値の算出については後に詳述する。特徴抽出部34は、それぞれの3Dコンテンツの区間毎のキーフレーム評価値の情報を選択部32に出力する。
視差調整部35は、選択部32から供給された3Dコンテンツの視差パラメータの値として例えば3Dコンテンツの記録レートに応じた値を設定し、視差を調整する。視差調整部35は、視差調整後の3Dコンテンツを伝送制御部33に出力する。視差パラメータは、3DコンテンツのL画像とR画像の間の視差を規定するパラメータであり、3Dコンテンツのビデオデータに含まれる。3Dコンテンツを受信したクライアント端末2は、3D画像の表示時、L画像とR画像の間の視差を視差パラメータに基づいて設定し、L画像とR画像を表示する。視差の違いによって、ユーザが感じる被写体の深度に違いが現れる。
図5は、クライアント端末2の構成例を示すブロック図である。
システムコントローラ51は、コントロールバス52を介してクライアント端末2の各部を制御する。システムコントローラ51による制御に従って各部の間で行われるデータの送受信はデータバス53を介して行われる。例えば、システムコントローラ51は、ネットワークI/F部62を制御してコンテンツサーバ1にアクセスし、ユーザにより選択された3Dコンテンツの伝送を要求する。
I/F部54は、リモートコントローラ55からの信号を受信し、ユーザの操作の内容を表す情報をシステムコントローラ51に出力する。
表示処理部56は、コンテンツサーバ1から伝送された3Dコンテンツの画像や3Dコンテンツの選択画面をLCD(Liquid Crystal Display)などよりなるディスプレイ57に表示させる。表示処理部56は、例えば、3Dコンテンツの再生が再生処理部58により行われ、L画像とR画像からなるビデオデータが供給された場合、L画像とR画像を交互にディスプレイ57に表示させる。
再生処理部58は、コンテンツサーバ1から伝送され、ネットワークI/F部62により受信された3Dコンテンツが供給された場合、3Dコンテンツの再生処理を行う。再生処理には、圧縮されている3Dコンテンツの伸張、伸張して得られた非圧縮のビデオデータとオーディオデータのデコード、視差パラメータに基づく視差の設定などの処理が含まれる。
再生処理部58は、再生処理によって得られたL画像とR画像からなるビデオデータを表示処理部56に出力する。また、再生処理部58は、再生処理によって得られたオーディオデータに基づいて、図示せぬスピーカから3Dコンテンツの音声を出力させる。再生処理部58は、放送波を介して伝送され、チューナ部61により受信されたコンテンツや、記録媒体60に記録されているコンテンツの再生なども行う。
記録処理部59は、チューナ部61により受信されたコンテンツを所定の方式で圧縮し、HDDやSSDなどよりなる記録媒体60に記録させる。この例においては、クライアント端末2は録画機能を有しているものとされている。
チューナ部61は、アンテナから供給される信号に対して復調処理、A/D変換処理などを施し、放送波を介して伝送されたコンテンツのデータを取得する。チューナ部61により取得されたコンテンツのデータは、そのコンテンツの録画がユーザにより指示されている場合、記録処理部59に供給され、記録媒体60に記録される。
ネットワークI/F部62は、ネットワーク63を介してコンテンツサーバ1と通信を行う。ネットワークI/F部62は、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ1に対して要求するとともに、要求に応じてコンテンツサーバ1から伝送された3Dコンテンツを受信し、再生処理部58などに出力する。
[各装置の動作]
ここで、以上のような構成を有するコンテンツサーバ1とクライアント端末2の動作について説明する。
はじめに、図6のフローチャートを参照して、3Dコンテンツを再生するクライアント端末2の処理について説明する。
ステップS1において、システムコントローラ51は、ネットワークI/F部62を制御してコンテンツサーバ1にアクセスする。ネットワークI/F部62は、アクセスしたときにコンテンツサーバ1から伝送されてくる情報を表示処理部56に出力し、3Dコンテンツの選択画面を表示させる。選択画面にはコンテンツサーバ1の記録部18に記録されている3Dコンテンツの一覧が表示されており、ユーザは、リモートコントローラ55を操作するなどして所定の3Dコンテンツを選択することができる。
ステップS2において、システムコントローラ51は、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ1に要求する。このとき、3Dコンテンツのグループだけがユーザにより選択されるようにしてもよいし、視点や記録レートまでが選択されるようにしてもよい。クライアント端末2からの要求に応じて、コンテンツサーバ1においては、クライアント端末2に対する3Dコンテンツの伝送が開始される。
ステップS3において、ネットワークI/F部62は、コンテンツサーバ1から伝送されてきた3Dコンテンツを受信する。
ステップS4において、再生処理部58は、ネットワークI/F部62により受信された3Dコンテンツを再生し、3D画像をディスプレイ57に表示させる。ユーザにより選択された3Dコンテンツの伝送が行われている間、ステップS3以降の処理が繰り返し行われ、3Dコンテンツの再生が終了したとき、処理は終了される。
次に、図7のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ1の処理について説明する。
図7の処理は、クライアント端末2のアクセス数に応じて伝送レートを制御し、3Dコンテンツを伝送する処理である。
ステップS11において、アクセス数検出部31は、アクセスしてきたクライアント端末2からの要求を受信する。クライアント端末2からの要求には、伝送対象とする3Dコンテンツを指定する情報が含まれる。
ステップS12において、アクセス数検出部31は、3Dコンテンツの伝送を要求しているクライアント端末2の数を検出し、検出した数をアクセス数として、その数の情報を伝送制御部33に出力する。
ステップS13において、伝送制御部33は、アクセス数検出部31により検出されたアクセス数に応じて3Dコンテンツの伝送レートを決定する。伝送制御部33は、決定した伝送レートで、各クライアント端末2に3Dコンテンツを伝送する。各クライアント端末2から伝送が要求された3Dコンテンツは、選択部32により記録部18から読み出され、伝送制御部33に対して供給されている。
例えば、伝送制御部33は、アクセス数が閾値より多い場合、第1の伝送レートを選択し、伝送対象の3Dコンテンツを第1の伝送レートで各クライアント端末2に伝送する。また、伝送制御部33は、アクセス数が閾値より少ない場合、第1の伝送レートより高い伝送レートである第2の伝送レートを選択し、伝送対象の3Dコンテンツを第2の伝送レートで各クライアント端末2に伝送する。
なお、アクセス数に応じて選択した伝送レートより、各クライアント端末2により伝送が要求されている3Dコンテンツの記録レートの方が高い場合、伝送制御部33は、選択した伝送レートで伝送できるように伝送対象の3Dコンテンツの再エンコードを行う。伝送制御部33は、再エンコードによって記録レートを下げた3Dコンテンツを伝送する。また、伝送対象とする3Dコンテンツのグループと視点のみがユーザにより選択され、記録レートが選択されていない場合、選択した伝送レート以下の記録レートのデータが伝送されるようにしてもよい。この場合、3Dコンテンツの再エンコードは不要である。
図8は、アクセス数と伝送レートの関係の例を示す図である。
図8の横軸はクライアント端末2のアクセス数を表し、縦軸は伝送レートを表す。図8の例においては、アクセス数が1以上、a1未満である場合、3Dコンテンツの伝送レートはr1とされ、アクセス数がa1以上、a2未満である場合、3Dコンテンツの伝送レートは、r1より低いr2とされている。また、アクセス数がa2以上である場合、3Dコンテンツの伝送レートは、r2より低いr3とされている。伝送制御部33は、このようなアクセス数と伝送レートの関係を表す情報を有しており、この情報に従って伝送レートを選択する。
以上のように、アクセス数に応じて伝送レートを制御することにより、コンテンツサーバ1は、データを途切れさせることなく、各クライアント端末2に3Dコンテンツを伝送することが可能になる。一方、クライアント端末2のユーザは、表示が中断したりノイズが現れたりすることなく、3Dコンテンツを視聴することができる。
次に、図9のフローチャートを参照して、キーフレーム評価値を算出するコンテンツサーバ1の処理について説明する。
キーフレーム評価値は3Dコンテンツの盛り上がりを表す値である。後述するように、キーフレーム評価値は、伝送対象とする3Dコンテンツの視点の選択や記録レートの選択に用いられる。図9の処理は、伝送対象とする3Dコンテンツの視点の選択や記録レートの選択の前に行われる。
ステップS21において、特徴抽出部34は、記録部18に記録されているそれぞれの3Dコンテンツに注目し、注目する3Dコンテンツの特徴を抽出する。記録レートが異なり、内容が同じ3Dコンテンツについては、いずれか1つの記録レートの3Dコンテンツが特徴の抽出に用いられる。
例えば、3Dコンテンツのビデオデータとオーディオデータをそれぞれ対象として特徴が抽出され、ビデオデータからは画像特徴量が、オーディオデータからは音声特徴量が抽出される。画像特徴量には、カメラ特徴量Fc(パンFcp、チルトFct、ズームFczなどのアフィン係数に基づく特徴量)と、3D特徴量Fd(L画像とR画像の視差量、または深度量に基づく特徴量)が含まれる。一方、音声特徴量には音声スペクトルパワーFaが含まれる。
ステップS22において、特徴抽出部34は、画像特徴量と音声特徴量に基づいて、3Dコンテンツの所定の区間毎のキーフレーム評価値を算出する。全ての3Dコンテンツの区間毎のキーフレーム評価値が算出されたとき、処理は終了される。
図10は、画像特徴量の例を示す図である。
ビデオデータV11乃至V18は、それぞれ、3Dコンテンツグループ#1に含まれる3Dコンテンツ#11乃至#18のビデオデータである。この例においては、同じサッカーの試合を8つの視点から撮影した3Dコンテンツが3Dコンテンツグループ#1に含まれるものとされている。
なお、図10の例においては各視点の3Dコンテンツのビデオデータとして1フレームの画像しか示していないが、実際には、各視点の3DコンテンツのビデオデータにはL画像とR画像が表示順で交互に並ぶ複数の画像のデータが含まれる。
ビデオデータV11乃至V18の右側に示す時系列F11乃至F18は、それぞれ、ビデオデータV11乃至V18の画像特徴量の時系列である。ビデオデータV11乃至V18のそれぞれに対応する、3Dコンテンツ#11乃至#18のオーディオデータからも、同様にして音声特徴量の時系列が得られる。
キーフレーム評価値の算出は、図10に示すように所定の区間t0毎に、区間t0内の画像特徴量と音声特徴量を用いて行われる。
ここで、カメラ特徴量FcであるパンFcp、チルトFct、ズームFczの各特徴量の重み係数をkp,kt,kz、3D特徴量Fdの重み係数をkdとし、音声特徴量である音声スペクトルパワーFaの重み係数をkaとする。
この場合、キーフレーム評価値Fは例えば下式(1)により求められる。
F=kp・Fcp+kt・Fct+kz・Fcz+kd・Fd+ka・Fa
・・・ (1)
この場合、各重み係数の関係は下式(2)により表される。
kp+kt+kz+kd+ka=1 ・・・ (2)
以上のようにして算出された各3Dコンテンツの区間毎のキーフレーム評価値の情報は記録部18に記録される。記録部18に記録されたキーフレーム評価値の情報は、適宜、特徴抽出部34から選択部32に供給される。
次に、図11のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ1の他の処理について説明する。
図11の処理は、クライアント端末2に伝送する3Dコンテンツの記録レートをキーフレーム評価値に応じて変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。例えば、図11の処理は、図6の処理が行われるなどして、クライアント端末2において3Dコンテンツの再生が行われているときに開始される。
ステップS31において、選択部32は、各クライアント端末2に伝送中の3Dコンテンツの区間、すなわち、各クライアント端末2において視聴中の3Dコンテンツの区間のキーフレーム評価値を特定する。キーフレーム評価値の特定は、特徴抽出部34から選択部32に対して供給されたキーフレーム評価値の情報を参照することによって行われる。
ステップS32において、選択部32は、クライアント端末2に伝送する3Dコンテンツの記録レートを、視聴中の区間のキーフレーム評価値に応じて選択する。
キーフレーム評価値が高い区間は盛り上がっている区間であるから、そのような盛り上がっている区間こそ、高画質で視聴することをユーザは希望しているものと考えられる。選択部32は、クライアント端末2に所定の3Dコンテンツを伝送している場合、例えばキーフレーム評価値が閾値より高い区間については、より高い記録レートである記録レートR2のデータを伝送対象として選択する。また、選択部32は、キーフレーム評価値が閾値より低い区間については、より低い記録レートである記録レートR1のデータを伝送対象として選択する。選択部32は、伝送対象の3Dコンテンツのデータを視差調整部35に出力する。
ステップS33において、視差調整部35は、選択部32から供給された3Dコンテンツの視差を記録レートに応じて調整する。例えば、視差調整部35は、伝送対象の3Dコンテンツの記録レートが記録レートR2である場合、視差パラメータの値としてデフォルトの値を設定する。また、視差調整部35は、3Dコンテンツの記録レートが記録レートR1である場合、視差パラメータの値としてデフォルトの値より小さい値を設定する。
すなわち、視差調整部35は、記録レートが高い3Dコンテンツについては、記録レートが低い3Dコンテンツの視差より大きい視差を設定する。また、視差調整部35は、記録レートが低い3Dコンテンツについては、記録レートが高い3Dコンテンツの視差より小さい視差を設定する。視差調整部35は、視差調整後の3Dコンテンツを伝送制御部33に出力する。
3Dコンテンツの記録レートが低い場合、通常、3Dコンテンツの記録レートが高い場合より、3D画像上に現れるノイズ(MPEGやMVC等の圧縮ノイズ)の量が多くなる。3D画像上に現れるノイズの量が多い場合にもノイズの量が少ない場合と同じ量の視差を与えたときには、ユーザが感じる立体感が不自然なものになり、疲労感が大きくなる可能性がある。従って、3Dコンテンツの記録レートが低い場合には視差を小さくすることによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことが可能になる。
ステップS34において、伝送制御部33は、視差調整後の3Dコンテンツをクライアント端末2に伝送する。伝送制御部33により伝送された3Dコンテンツを受信したクライアント端末2においては3Dコンテンツの再生が行われる。
以上の処理により、コンテンツサーバ1は、盛り上がりの程度に応じて3D画像の画質を区間毎に調整することができる。また、コンテンツサーバ1は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示させることが可能になる。
なお、視差の調整を行わずに、選択部32により選択された所定の記録レートの3Dコンテンツがそのまま伝送されるようにしてもよい。
また、視差の調整が図7の処理の後に行われるようにしてもよい。この場合、高い伝送レートで3Dコンテンツを伝送する場合、低い伝送レートで伝送する場合より大きい視差を設定して3Dコンテンツの伝送が行われる。また、低い伝送レートで3Dコンテンツを伝送する場合、高い伝送レートで伝送する場合より小さい視差を設定して3Dコンテンツの伝送が行われる。
次に、図12のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ1のさらに他の処理について説明する。
図12の処理は、クライアント端末2に伝送する3Dコンテンツの視点をキーフレーム評価値に応じて選択する処理である。この場合、クライアント端末2からは、伝送対象とする3Dコンテンツのグループの選択は行われるが、視点の選択は行われない。図12の処理は、例えば、所定の3Dコンテンツグループの伝送がクライアント端末2により要求されたときに開始される。
ステップS41において、選択部32は、伝送が要求された3Dコンテンツのグループに含まれる、各視点の3Dコンテンツの区間毎のキーフレーム評価値を特定する。
ステップS42において、選択部32は、先頭の区間から順に注目し、注目する区間においてキーフレーム評価値が最も高い視点の3Dコンテンツを伝送対象として選択する。選択部32は、選択した3Dコンテンツを伝送制御部33に出力する。
音声特徴量を無視し、区間毎のキーフレーム評価値が、各区間の画像特徴量のみに基づいて決定されるものとして図10の例を参照して説明する。例えば、選択部32は、先頭の区間である区間T1と、区間T1の次の区間である区間T2においては、その区間内でキーフレーム評価値が最も高い視点2の3Dコンテンツ(ビデオデータV12を含む3Dコンテンツ)を伝送対象として選択する。また、選択部32は、区間T2の次の区間である区間T3においては、その区間内でキーフレーム評価値が最も高い視点3の3Dコンテンツ(ビデオデータV13を含む3Dコンテンツ)を伝送対象として選択する。
すなわち、選択部32は、区間毎に、そのとき最も盛り上がっていると考えられる視点の3Dコンテンツを伝送対象として選択する。クライアント端末2においては、最も盛り上がっていると考えられる視点に自動的に切り替えて3D画像の表示が行われることになる。
ステップS43において、伝送制御部33は、選択部32により選択された3Dコンテンツをクライアント端末2に伝送する。伝送制御部33により伝送された3Dコンテンツを受信したクライアント端末2においては3Dコンテンツの再生が行われる。
なお、ステップS43の処理に続けて図11の処理が行われ、キーフレーム評価値に応じて視点を選択する処理と組み合わせた形で、3Dコンテンツの記録レートの選択と視差の調整が行われるようにしてもよい。
1つの3Dコンテンツグループに含まれる各3Dコンテンツは異なる場所から撮影したものであるから、同じ区間であっても、ビデオデータとオーディオデータの内容の違いに応じてキーフレーム評価値、すなわち盛り上がりに差が現れる。以上の処理により、コンテンツサーバ1は、最も盛り上がっていると考えられる視点の3Dコンテンツを続けてユーザに視聴させることができる。
<第2の実施の形態>
以上においては、アクセス数(伝送品質)に応じた伝送レートの制御、キーフレーム評価値に応じた記録レートの選択、キーフレーム評価値に応じた視点の選択等の各種の制御がコンテンツサーバ1により行われるものとしたが、クライアント端末2により行われるようにすることも可能である。
[各装置の構成]
図13は、コンテンツサーバ1の他の機能構成例を示すブロック図である。
図13に示す構成のうち、図4に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。コンテンツサーバ1においては、選択部32、および伝送制御部33が実現される。なお、コンテンツサーバ1のハードウェア構成は図3に示す構成と同じである。
選択部32は、記録部18に記録されている3Dコンテンツの中から、クライアント端末2により伝送が要求された3Dコンテンツを選択する。選択部32は、選択した3Dコンテンツを記録部18から読み出し、伝送制御部33に出力する。
伝送制御部33は、選択部32から供給された3Dコンテンツをクライアント端末2に伝送する。
図14は、クライアント端末2の構成例を示すブロック図である。
図14に示す構成のうち、図5に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図14に示すクライアント端末2の構成は、通信品質評価部71と特徴抽出部72が追加されている点を除いて、図5に示す構成と同じである。
通信品質評価部71は、コンテンツサーバ1から伝送されてきたデータの受信状況に基づいて、コンテンツサーバ1とクライアント端末2の間の通信品質を検出する。後述するように、コンテンツサーバ1とクライアント端末2の間の通信品質は、伝送を要求する3Dコンテンツの記録レートを決定することに用いられる。
例えば、通信品質の評価はパケットの到達状況を解析することによって行われる。パケットの到達状況を解析することによって通信品質を評価することについては、例えば特開2007−28526号公報に開示されている。
特徴抽出部72は、コンテンツサーバ1から伝送された3Dコンテンツの特徴を特徴抽出部34(図4)と同様にして抽出し、抽出した特徴に基づいて、それぞれの3Dコンテンツの区間毎のキーフレーム評価値を算出する。特徴抽出部34は、それぞれの3Dコンテンツの区間毎のキーフレーム評価値の情報をシステムコントローラ51に出力する。
[各装置の動作]
ここで、図13、図14に示す構成を有するコンテンツサーバ1とクライアント端末2の動作について説明する。クライアント端末2においては、第1の実施の形態においてコンテンツサーバ1が行っていた処理と基本的に同様の処理が行われる。
はじめに、図15のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ1の処理について説明する。
ステップS101において、選択部32は、アクセスしてきたクライアント端末2からの要求を受信する。クライアント端末2からの要求には、伝送対象とする3Dコンテンツを指定する情報が含まれる。選択部32は、クライアント端末2により指定された3Dコンテンツを記録部18から読み出し、伝送制御部33に出力する。
ステップS102において、伝送制御部33は各クライアント端末2に3Dコンテンツを伝送し、処理を終了させる。
次に、図16のフローチャートを参照して、3Dコンテンツを再生するクライアント端末2の処理について説明する。
図16の処理は、コンテンツサーバ1とクライアント端末2の間の通信品質に応じて、伝送を要求する3Dコンテンツの記録レートを変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。
ステップS111において、システムコントローラ51はコンテンツサーバ1にアクセスする。ネットワークI/F部62は、コンテンツサーバ1から伝送された情報を表示処理部56に出力し、3Dコンテンツの選択画面をディスプレイ57に表示させる。ユーザは、リモートコントローラ55を操作するなどして、所定の3Dコンテンツグループに含まれる、所定の視点の3Dコンテンツを伝送対象として選択する。ここでは、伝送対象とする3Dコンテンツの記録レートの選択は行われない。
ステップS112において、通信品質評価部71は、コンテンツサーバ1から伝送されてきたデータの受信状況に基づいて、コンテンツサーバ1とクライアント端末2の間の通信品質を検出する。
ステップS113において、システムコントローラ51は、通信品質評価部71により検出された通信品質に応じた記録レートを選択し、選択した記録レートの3Dコンテンツの伝送をコンテンツサーバ1に要求する。
例えば、通信品質を表す値が閾値より低い場合、記録レートR1が選択され、閾値より高い場合、記録レートR1より高い記録レートである記録レートR2が選択される。コンテンツサーバ1においては図15の処理が行われ、クライアント端末2により指定された視点の3Dコンテンツのデータのうち、指定された記録レートのデータをクライアント端末2に伝送することが開始される。
なお、各3Dコンテンツのデータとして記録レートの異なるデータがコンテンツサーバ1に用意されていない場合、クライアント端末2による要求があったときにコンテンツサーバ1により生成されるようにしてもよい。この場合、コンテンツサーバ1は、記録部18に記録されている3Dコンテンツのデータを、クライアント端末2により指定された記録レートのデータに再エンコードし、再エンコード後のデータをクライアント端末2に伝送する。
ステップS114において、ネットワークI/F部62は、コンテンツサーバ1から伝送されてきた3Dコンテンツを受信する。
ステップS115において、システムコントローラ51は、視差調整部35(図4)と同様にして、3Dコンテンツの視差を記録レートに応じて調整する。
ステップS116において、再生処理部58は、視差調整後の3Dコンテンツを再生し、3D画像をディスプレイ57に表示させる。ユーザにより選択された3Dコンテンツの再生が終了したとき、処理は終了される。
図17は、通信品質と記録レートの関係の例を示す図である。
図17の横軸は通信品質を表し、縦軸は記録レートを表す。図17の例においては、通信品質を表す値が1以上、q1未満である場合、3Dコンテンツの記録レートはR1(記録レートR1)とされ、通信品質を表す値がq1以上、q2未満である場合、3Dコンテンツの記録レートは、R1より高いR2とされている。また、通信品質を表す値がq2以上である場合、3Dコンテンツの記録レートは、R2より高いR3とされている。システムコントローラ51は、このような通信品質と記録レートの関係を表す情報を有しており、この情報に従って記録レートを選択する。
以上のように、伝送を要求する3Dコンテンツの記録レートを通信品質に応じて制御することにより、クライアント端末2は、データを途切れさせることなく、3Dコンテンツを受信することが可能になる。クライアント端末2のユーザは、表示が中断したりノイズが現れたりすることなく、3Dコンテンツを視聴することができる。
また、クライアント端末2は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示することが可能になる。
次に、図18のフローチャートを参照して、3Dコンテンツを再生するクライアント端末2の他の処理について説明する。
図18の処理は、再生する3Dコンテンツの視点をキーフレーム評価値に応じて変える処理である。
ステップS121において、システムコントローラ51はコンテンツサーバ1にアクセスする。ネットワークI/F部62は、コンテンツサーバ1から伝送されてくる情報を表示処理部56に出力し、3Dコンテンツの選択画面をディスプレイ57に表示させる。ユーザは、リモートコントローラ55を操作するなどして所定の3Dコンテンツグループを選択する。ここでは、視点の選択は行われない。3Dコンテンツの記録レートについては、ユーザにより選択されるようにしてもよいし、図16の処理と同様に通信品質に応じて選択されるようにしてもよい。
ステップS122において、システムコントローラ51は、ユーザにより選択された3Dコンテンツグループに含まれる全ての視点の3Dコンテンツの伝送をコンテンツサーバ1に要求する。コンテンツサーバ1においては図15の処理が行われ、クライアント端末2により指定された3Dコンテンツグループに含まれる全ての視点の3Dコンテンツをクライアント端末2に対して伝送することが開始される。
ステップS123において、ネットワークI/F部62は、コンテンツサーバ1から伝送された3Dコンテンツを受信する。
ステップS124において、特徴抽出部72は、コンテンツサーバ1から伝送されたそれぞれの3Dコンテンツの特徴を抽出する。特徴抽出部72による特徴の抽出は、特徴抽出部34(図4)による処理と同様にして行われる。すなわち、ある3Dコンテンツグループに含まれる全ての視点の3Dコンテンツについて、それぞれ、画像特徴量と音声特徴量が抽出される。
ステップS125において、特徴抽出部72は、画像特徴量と音声特徴量に基づいて、3Dコンテンツの所定の区間毎のキーフレーム評価値を算出する。特徴抽出部72は、3Dコンテンツグループに含まれる全ての視点の3Dコンテンツの区間毎のキーフレーム評価値の情報をシステムコントローラ51に出力する。
ステップS126において、システムコントローラ51は、先頭の区間から順に注目し、注目する区間においてキーフレーム評価値が最も高い視点の3Dコンテンツを再生対象として選択する。システムコントローラ51は、各区間においてどの3Dコンテンツを再生対象とするのかを表す情報を特徴抽出部72に出力し、再生対象の3Dコンテンツを再生処理部58に出力させる。
これにより、区間毎に、そのとき最も盛り上がっていると考えられる視点の3Dコンテンツが再生対象として選択され、最も盛り上がっていると考えられる視点に自動的に切り替えて3D画像の表示が行われることになる。
ステップS127において、再生処理部58は、システムコントローラ51により選択された3Dコンテンツを再生し、3D画像をディスプレイ57に表示させる。最後の区間まで再生が終了したとき、処理は終了される。
以上の処理により、クライアント端末2は、最も盛り上がっていると考えられる視点の3Dコンテンツを続けてユーザに視聴させることができる。
なお、図18の処理によって3Dコンテンツの再生が行われる場合に、上述した記録レートに応じた視差の調整が行われるようにすることも可能である。
次に、図19のフローチャートを参照して、3Dコンテンツを再生するクライアント端末2のさらに他の処理について説明する。
図19の処理は、伝送を要求する3Dコンテンツの記録レートをキーフレーム評価値に応じて変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。この処理においては、コンテンツサーバ1の記録部18に記録されているそれぞれの3Dコンテンツのキーフレーム評価値の算出がコンテンツサーバ1において行われる。すなわち、コンテンツサーバ1には図4の特徴抽出部34が設けられ、特徴抽出部34により算出された各3Dコンテンツのキーフレーム評価値の情報が記録部18に記録されている。
ステップS131において、システムコントローラ51はコンテンツサーバ1にアクセスする。ネットワークI/F部62は、コンテンツサーバ1から伝送された情報を表示処理部56に出力し、3Dコンテンツの選択画面をディスプレイ57に表示させる。ユーザは、所定の3Dコンテンツグループに含まれる所定の視点の3Dコンテンツを伝送対象として選択する。ここでは、伝送対象とする3Dコンテンツの記録レートの選択は行われない。
ステップS132において、システムコントローラ51は、ユーザにより選択された3Dコンテンツのキーフレーム評価値の情報の伝送をコンテンツサーバ1に要求する。コンテンツサーバ1からは、ユーザにより選択された3Dコンテンツの区間毎のキーフレーム評価値の情報が記録部18から読み出され、伝送されてくる。
ステップS133において、ネットワークI/F部62は、コンテンツサーバ1から伝送されてきたキーフレーム評価値の情報を受信する。
ステップS134において、システムコントローラ51は、伝送を要求する3Dコンテンツの記録レートを、区間毎に、その区間のキーフレーム評価値に応じて選択する。システムコントローラ51は、例えばキーフレーム評価値が閾値より高い区間については、より高い記録レートである記録レートR2を選択する。また、システムコントローラ51は、キーフレーム評価値が閾値より低い区間については、より低い記録レートである記録レートR1を選択する。
ステップS135において、システムコントローラ51は、ユーザにより選択された3Dコンテンツのデータとして、区間毎に選択した記録レートのデータを伝送することをコンテンツサーバ1に要求する。コンテンツサーバ1においては図15の処理が行われ、クライアント端末2により指定された3Dコンテンツのデータとして、指定された記録レートのデータをクライアント端末2に対して伝送することが開始される。
ステップS136において、ネットワークI/F部62は、コンテンツサーバ1から伝送されてきた3Dコンテンツを受信する。
ステップS137において、システムコントローラ51は、図4の視差調整部35と同様にして、3Dコンテンツの視差を記録レートに応じて調整する。
ステップS138において、再生処理部58は、視差調整後の3Dコンテンツを再生し、3D画像をディスプレイ57に表示させる。ユーザにより選択された3Dコンテンツの再生が終了したとき、処理は終了される。
以上の処理により、クライアント端末2は、盛り上がりの程度に応じて3D画像の画質を区間毎に調整することができる。また、クライアント端末2は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示することが可能になる。
<変形例>
以上においては、アクセス数(伝送品質)に応じた伝送レートの制御、キーフレーム評価値に応じた記録レートの選択、キーフレーム評価値に応じた視点の選択等の各種の制御が全てコンテンツサーバ1、またはクライアント端末2により行われるものとしたが、一部の制御がコンテンツサーバ1により行われ、他の一部の制御がクライアント端末2により行われるようにしてもよい。
<プログラムについて>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図3に示されるリムーバブルメディア21に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM12や記録部18に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 コンテンツサーバ, 2A乃至2E ユーザ端末, 18 記録部, 31 アクセス数検出部, 32 選択部, 33 伝送制御部, 34 特徴抽出部, 35 視差調整部, 51 システムコントローラ, 71 通信品質評価部, 72 特徴抽出部

Claims (17)

  1. 左目用画像と右目用画像を含む3Dコンテンツを記録する記録手段と、
    前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、
    視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する伝送制御手段と
    を備える情報処理装置。
  2. 前記視差調整手段は、前記3Dコンテンツの記録レートまたは伝送レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整する
    請求項1に記載の情報処理装置。
  3. 前記端末の数を検出する検出手段をさらに備え、
    前記伝送制御手段は、前記検出手段により検出された前記端末の数に応じて前記3Dコンテンツの伝送レートを決定し、
    前記視差調整手段は、前記伝送制御手段により決定された伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
    請求項1に記載の情報処理装置。
  4. 前記記録手段は、視点の異なる複数の前記3Dコンテンツを記録するとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータを記録し、
    前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、前記記録手段に記録されている前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、
    伝送対象とする前記3Dコンテンツを、視点の異なる複数の前記3Dコンテンツの中から前記評価値に基づいて選択する選択手段と
    をさらに備え、
    前記視差調整手段は、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
    請求項1に記載の情報処理装置。
  5. 前記選択手段は、前記評価値の最も高い前記3Dコンテンツを選択する
    請求項4に記載の情報処理装置。
  6. 前記選択手段は、伝送対象とする前記3Dコンテンツのデータとして、前記評価値に応じた記録レートのデータを選択する
    請求項4に記載の情報処理装置。
  7. 左目用画像と右目用画像を含む3Dコンテンツを記録し、
    前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
    視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する
    ステップを含む情報処理方法。
  8. 左目用画像と右目用画像を含む3Dコンテンツを記録し、
    前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
    視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する
    ステップを含む処理をコンピュータに実行させるプログラム。
  9. ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信する受信手段と、
    前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、
    視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを再生する再生手段と
    を備える再生装置。
  10. 前記視差調整手段は、前記3Dコンテンツの記録レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整する
    請求項9に記載の再生装置。
  11. 前記情報処理装置には、視点の異なる複数の前記3Dコンテンツが記録されているとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータが記録されている
    請求項9に記載の再生装置。
  12. 前記情報処理装置との間の通信品質を検出する検出手段をさらに備え、
    前記受信手段は、前記検出手段により検出された前記通信品質に応じた記録レートの前記3Dコンテンツを受信する
    請求項11に記載の再生装置。
  13. 前記受信手段は、視点の異なる複数の前記3Dコンテンツを受信し、
    前記受信手段により受信された前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、視点の異なる複数の前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、
    視点の異なる複数の前記3Dコンテンツの中から、前記評価値の最も高い前記3Dコンテンツを選択する選択手段と
    をさらに備え、
    前記視差調整手段は、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
    請求項11に記載の再生装置。
  14. 前記受信手段は、再生対象とする前記3Dコンテンツのデータとして、再生対象とする前記3Dコンテンツの特徴に基づいて算出された評価値に応じた記録レートのデータを受信し、
    前記視差調整手段は、前記受信手段によりデータが選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
    請求項11に記載の再生装置。
  15. 前記受信手段は、前記情報処理装置から伝送される前記評価値の情報を受信し、受信した前記評価値に応じた記録レートのデータを受信する
    請求項14に記載の再生装置。
  16. ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、
    前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
    視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生する
    ステップを含む再生方法。
  17. ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、
    前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
    視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2010211646A 2010-09-22 2010-09-22 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム Withdrawn JP2012070116A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010211646A JP2012070116A (ja) 2010-09-22 2010-09-22 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US13/231,022 US20120069162A1 (en) 2010-09-22 2011-09-13 Information processing device, information processing method, reproduction device, reproduction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010211646A JP2012070116A (ja) 2010-09-22 2010-09-22 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2012070116A true JP2012070116A (ja) 2012-04-05

Family

ID=45817407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010211646A Withdrawn JP2012070116A (ja) 2010-09-22 2010-09-22 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム

Country Status (2)

Country Link
US (1) US20120069162A1 (ja)
JP (1) JP2012070116A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502102A (ja) * 2011-11-28 2015-01-19 トムソン ライセンシングThomson Licensing 3dコンテンツ・バージョンの生成のための処理装置およびコンテンツ取得のための関連装置
JP2016123069A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
US10701448B2 (en) 2014-12-25 2020-06-30 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5644375B2 (ja) * 2010-10-28 2014-12-24 富士通株式会社 光伝送装置および光伝送システム
EP2499960B1 (en) * 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for determining at least one parameter of two eyes by setting data rates and optical measuring device
WO2013113170A1 (en) * 2012-02-03 2013-08-08 Thomson Licensing System and method for error controllable repetitive structure discovery based compression
WO2016103546A1 (ja) * 2014-12-26 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502102A (ja) * 2011-11-28 2015-01-19 トムソン ライセンシングThomson Licensing 3dコンテンツ・バージョンの生成のための処理装置およびコンテンツ取得のための関連装置
JP2016123069A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
US10701448B2 (en) 2014-12-25 2020-06-30 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device

Also Published As

Publication number Publication date
US20120069162A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
JP6436320B2 (ja) ライブ選択的適応帯域幅
US10523915B2 (en) Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium
JP2012070116A (ja) 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
JP6326456B2 (ja) コンテンツ再生装置、コンテンツ再生方法、およびプログラム
JP6316538B2 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
JP6267961B2 (ja) 映像提供方法および送信装置
JP5627860B2 (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP5387399B2 (ja) 情報処理装置および情報処理方法
KR101971792B1 (ko) 동영상 플레이 방법 및 장치
US20110214141A1 (en) Content playing device
JP2006270924A (ja) 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体
JP2013504244A (ja) ビデオ映像倍速再生方法及び該装置
JP2011138354A (ja) 情報処理装置および情報処理方法
TW201143362A (en) Method and system for pulldown processing for 3D video
JP2011228862A (ja) データ構造、画像処理装置、画像処理方法、およびプログラム
JP2011101230A (ja) 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
JP2011151721A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011101229A (ja) 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
WO2011108180A1 (ja) 立体映像出力装置及び立体映像出力方法
JP2011114472A (ja) 情報処理装置、情報処理方法、プログラム、表示制御装置、送信装置、および受信装置
JP5454396B2 (ja) 立体画像生成装置および立体画像生成方法、情報送信装置および情報送信方法
JP2011250318A (ja) 立体映像データ生成装置、表示装置、立体映像データ生成方法、プログラムおよび記録媒体
JP2011171862A (ja) 再生装置、再生方法、およびプログラム
JP2015008516A (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP2016015766A (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131203