JP2019126101A - 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム - Google Patents

情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム Download PDF

Info

Publication number
JP2019126101A
JP2019126101A JP2019091592A JP2019091592A JP2019126101A JP 2019126101 A JP2019126101 A JP 2019126101A JP 2019091592 A JP2019091592 A JP 2019091592A JP 2019091592 A JP2019091592 A JP 2019091592A JP 2019126101 A JP2019126101 A JP 2019126101A
Authority
JP
Japan
Prior art keywords
user
information
excitement
image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019091592A
Other languages
English (en)
Other versions
JP6725038B2 (ja
Inventor
愉希夫 大渕
Yukio Obuchi
愉希夫 大渕
長谷川　雄一
Yuichi Hasegawa
雄一 長谷川
山本　祐輝
Yuki Yamamoto
祐輝 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019126101A publication Critical patent/JP2019126101A/ja
Application granted granted Critical
Publication of JP6725038B2 publication Critical patent/JP6725038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにする。【解決手段】本技術の一側面の情報処理装置は、ビデオコンテンツを視聴中のユーザの動きを表す動き情報と、ユーザの属性を表す情報とを受信し、複数の再生装置から送信されてきた動き情報に基づいて求められるそれぞれのユーザの盛り上がり度を視覚的に表す情報を、それぞれのユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する。本技術は、ネットワークを介してリアルタイムで配信されるコンテンツの再生装置から送信されてきた情報を処理するサーバに適用することができる。【選択図】図１

Description

本技術は、情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システムに関し、特に、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにした情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システムに関する。
近年、コンサートやスポーツの試合の動画をリアルタイムで配信するサービスが各種提供されている。視聴者は、PCやスマートフォンなどの自分の端末を使って、サーバから配信される動画のコンテンツを視聴することができる。
インターネットを介してコンテンツを視聴している視聴者のリアクションを会場に送信し、会場にいる観客などにリアクションを提示する技術もある。
特開２００５−３３９４７９号公報 特開２０１１−１８２１０９号公報
上述した技術においては、コンテンツの視聴者は、自身のリアクションを会場に送信するために、コンテンツの視聴に使用している端末に表示されたボタンを押すなどのいわば能動的な動作をとる必要がある。従って、リアクションを送ることが、コンテンツの視聴に没頭することの妨げとなる。
本技術はこのような状況に鑑みてなされたものであり、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにするものである。
本技術の第１の側面の情報処理装置は、撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部とを備える。
本技術の第２の側面の表示制御装置は、撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部とを備える。
本技術の第３の側面の再生装置は、撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、前記ビデオコンテンツを再生する再生部と、前記ユーザの動きを検出する検出部と、前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部とを備える。
本技術によれば、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成例を示す図である。 イベント会場の例を示す平面図である。 映像の画角の例を示す図である。 映像の画角の他の例を示す図である。 映像の例を示す図である。 視野の例を示す図である。 ヒートマップ画像の例を示す図である。 HMDの構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 ユーザ属性情報に含まれる情報の例を示す図である。 集計サーバの構成例を示すブロック図である。 集計サーバの機能構成例を示すブロック図である。 配信サーバの機能構成例を示すブロック図である。 表示制御装置の構成例を示すブロック図である。 表示制御装置の機能構成例を示すブロック図である。 配信サーバのコンテンツ配信処理について説明するフローチャートである。 クライアント端末の再生処理について説明するフローチャートである。 集計サーバの盛り上がり集計処理について説明するフローチャートである。 表示制御装置のヒートマップ画像表示処理について説明するフローチャートである。 クライアント端末のヒートマップ画像表示処理について説明するフローチャートである。 ディスプレイの表示例を示す図である。 ヒートマップ画像の他の例を示す図である。 盛り上がり度を表す情報の配置の例を示す図である。 ヒートマップ画像の表示の切り替えの例を示す図である。 HMDの形態の例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．情報処理システムの構成
２．各機器の構成
３．各機器の動作
４．ヒートマップ画像の例
５．変形例
＜情報処理システムの構成＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
図１の情報処理システムは、コンサートや、スポーツの試合などを撮影した動画をリアルタイムで配信するシステムである。
図１の情報処理システムは、コンサートなどが行われているイベント会場側の装置、配信サーバ１１、集計サーバ１２、および、ライブコンテンツの視聴者が使うHMD(Head Mounted Display)２１乃至２４から構成される。
図１には４台のHMDをクライアント端末として示しているが、さらに多くのクライアント端末が設けられる。配信サーバ１１と集計サーバ１２は、イベント会場に設置されるようにすることも可能である。また、配信サーバ１１と集計サーバ１２の機能を１つのサーバによって実現することも可能である。それぞれの装置はインターネットなどのネットワークを介して接続される。
イベント会場には、撮影制御装置１、表示制御装置２、および大型ディスプレイ３が設けられる。図１の例においては、イベント会場でコンサートが開催されており、演者としての３人の人物と、コンサートの観客がイベント会場にいるものとされている。大型ディスプレイ３は、演者からも、観客からも見ることができる位置に設置される。
撮影制御装置１は、イベント会場に設置されたカメラを制御し、コンサートの撮影を制御する。撮影制御装置１は、撮影した動画をネットワークを介して配信サーバ１１に送信する。
配信サーバ１１は、撮影制御装置１から送信されてきた動画に基づいて配信用のライブコンテンツを生成し、HMD２１乃至２４に送信する。配信サーバ１１が送信するライブコンテンツは、例えば、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。
配信サーバ１１から送信されたライブコンテンツを受信した例えばHMD２１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。配信サーバ１１が送信するライブコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。
HMD２１乃至２４には、加速度センサ、角速度センサなどの、ヘッドトラッキング用のセンサが搭載されている。HMD２１乃至２４は、HMD２１乃至２４を装着するユーザの頭部の姿勢を検出し、頭部の姿勢から推測される視線の方向に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。
ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。
図２は、イベント会場の例を示す平面図である。
イベント会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいて、その後ろには、大型ディスプレイ３が設置される。被写体は、イベント会場全体の風景となる。
位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。
白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のぞれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。
図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。
位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。
図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。
以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。
図５のＡ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。
図５のＡ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。
図５のＡに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
図５のＢに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
図５のＣに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。図示は省略しているが、観客の反対側には大型ディスプレイ３が映る。
図６は、位置Ｐ１における視野の例を示す図である。
図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD２１の表示範囲、すなわちHMD２１のユーザの視野を示す。HMD２１においては、枠Ｆ１で示す範囲内の画像が各フレームから切り出され、動画として表示される。
ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD２１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。
なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。配信サーバ１１が配信するライブコンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。
また、複数の位置から撮影された映像を合成することによって生成された完全自由視点のコンテンツが配信サーバ１１から配信されるようにしてもよい。完全自由視点のコンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。
図１の説明に戻り、HMD２１乃至２４は、配信サーバ１１から送信されてきたライブコンテンツを再生する。イベント会場にいる観客が見ている風景とほぼ同じ風景を、ライブコンテンツの提供を受けたHMD２１乃至２４のユーザも見ることができる。
HMD２１乃至２４は、ライブコンテンツを再生し、ユーザにより選択された視点の映像を、内蔵するディスプレイに表示させる。HMD２１乃至２４はいわゆる没入型のHMDであり、本体を装着したユーザの目の前に映像を映し出す。
HMD２１乃至２４は、ライブコンテンツの再生中、ユーザの頭部の姿勢を検出し、頭部の姿勢に応じて映像の表示範囲を切り替える。図６を参照して説明したように、HMD２１乃至２４は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。
また、HMD２１乃至２４は、ライブコンテンツの再生中、加速度センサや角速度センサからの出力に基づいてユーザの動きを検出する。例えば、ユーザが頭を上下に振っている程度、体を揺らしている程度、ユーザが腕を上げているか否か、などの複数種類のユーザの動きを検出する。
HMD２１乃至２４は、ライブコンテンツ視聴中のユーザの動きを表す動き情報を、ユーザの属性を表す情報とともに集計サーバ１２に送信する。動き情報には、ユーザが体に装着しているセンサにより検出された、ライブコンテンツ視聴中のユーザの脈拍、心拍数、体温などの生体情報も付加される。後述するように、ユーザの属性には、地方単位などのユーザの粗い位置の情報が含まれる。
ライブコンテンツ視聴中のユーザの動きは、ユーザの盛り上がりの程度を表しているといえる。このように、図１の情報処理システムにおいては、ユーザの盛り上がりの程度が、ボタンを操作するなどの能動的な動作をユーザに行わせることなく、自然な形で取得されることになる。
集計サーバ１２は、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信し、例えばイベント会場にいる演者により指定された集計方法に従って盛り上がり度を集計する。例えば、動きに基づく盛り上がり度の求め方、盛り上がり情報を可視化するときの各盛り上がり度の情報の配置の仕方などの条件が、集計方法として指定される。
集計サーバ１２は、HMD２１乃至２４のユーザの動き情報に基づいて、HMD２１乃至２４のユーザ、すなわち遠隔にいる観客の盛り上がり度を求める。
集計サーバ１２は、遠隔にいる観客全員の盛り上がり度を可視化したヒートマップ画像を生成し、ヒートマップ画像のデータをイベント会場に設置された表示制御装置２に送信する。ヒートマップ画像は、それぞれのユーザの盛り上がり度を視覚的に表す情報を、それぞれのユーザの属性に応じた位置に配置することによって構成される画像である。
表示制御装置２は、集計サーバ１２から送信されてきたデータを受信し、ヒートマップ画像を大型ディスプレイ３に表示させる。
図７は、ヒートマップ画像の例を示す図である。
図７の例においては、遠隔にいるそれぞれの観客の盛り上がり度が色によって表される。例えば、「頭の動きの激しさ」に基づいて盛り上がり度を求めることが演者により指定されている場合、より頭の動きが激しい観客に対して高い盛り上がり度が設定され、彩度と明度がより高い色が割り当てられる。
図７のヒートマップ画像は、それぞれの観客の盛り上がりを表す所定の色の画像を、それぞれの観客の属性としての所在地情報に応じた位置に配置することによって構成される画像である。
例えば、図７の領域Ａ１は、日本の関東地方でライブコンテンツを視聴している観客であるHMD２１のユーザに割り当てられた領域である。領域Ａ１の色は、HMD２１のユーザの盛り上がり度を表す。また、領域Ａ１に近い領域Ａ２は、同じく関東地方でライブコンテンツを視聴している観客であるHMD２２のユーザに割り当てられた領域である。領域Ａ２の色は、HMD２２のユーザの盛り上がり度を表す。
また、下方に形成された領域Ａ３は、日本の九州地方でライブコンテンツを視聴している観客であるHMD２３のユーザに割り当てられた領域である。領域Ａ３の色は、HMD２３のユーザの盛り上がり度を表す。また、右上に形成された領域Ａ４は、日本の北海道地方でライブコンテンツを視聴している観客であるHMD２４のユーザに割り当てられた領域である。領域Ａ４の色は、HMD２４のユーザの盛り上がり度を表す。
各ユーザに割り当てられる領域は、大型ディスプレイ３の１画素であってもよいし、複数画素からなる領域であってもよい。また、領域の形状は、正方形だけでなく、円形などの任意の形状とすることが可能である。
このように、遠隔にいる観客の盛り上がり度を表す情報が表示されるため、イベント会場にいる演者は、遠隔にいる観客の盛り上がりを実感することができ、モチベーションを向上させることが可能になる。
また、遠隔にいる観客の盛り上がりを表す情報が各観客の属性に応じた位置に配置して表示されるため、演者は、どの属性の観客が盛り上がっているのか、どの属性の観客が盛り上がっていないのかを直観的に確認することができる。図７の例の場合、演者は、日本のどの地方のユーザが盛り上がっているのかを直観的に確認することができる。
また、演者は、どのような動きに基づいて盛り上がり度を求めるのかを指定することができるため、所定の動きを遠隔にいる観客に要求し、その要求にどの程度反応してくれているのかを確認することができる。演者は、例えば体を揺らすような動きを地域毎の観客に順にアドリブで要求したりすることができ、このような双方向のやりとりを通して、遠隔にいる観客との一体感を得ることができる。
また、イベント会場にいる観客は、遠隔にいる観客と盛り上がりを共有することができる。
一方、遠隔にいる観客は、視線を変えるなどしてライブコンテンツ内の大型ディスプレイ３の表示を見ることにより、自分を含む、遠隔にいる観客の盛り上がりを確認することができる。また、自分達の盛り上りがイベント会場にいる演者や観客に伝えられていることを確認することにより、遠隔にいる観客は、臨場感のある体験を得ることができる。
なお、ヒートマップ画像のデータは、集計サーバ１２から、適宜、HMD２１乃至２４に対しても送信される。HMD２１乃至２４においては、ライブコンテンツの映像に重ねて、ヒートマップ画像が表示される。
以上のようにしてヒートマップ画像を表示する一連の処理については後述する。
＜各機器の構成＞
・HMDの構成
図８は、HMD２１の構成例を示すブロック図である。
HMD２１は、制御部５１に対して、通信部５２、センサ５３、ディスプレイ５４、操作部５５、スピーカ５６、および記憶部５７が接続されることによって構成される。
制御部５１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。制御部５１は、所定のプログラムを実行し、HMD２１の全体の動作を制御する。
通信部５２は、配信サーバ１１、集計サーバ１２との間で例えば無線により通信を行う。通信部５２は、配信サーバ１１から送信されてきたライブコンテンツを受信し、制御部５１に出力する。また、通信部５２は、制御部５１から供給された動き情報とユーザ属性情報を集計サーバ１２に送信する。
センサ５３は、GPS(Global Positioning System)センサ、角速度センサ、加速度センサなどにより構成される。センサ５３は、ライブコンテンツの再生中、測位や、角速度、加速度の検出を行い、センサデータを制御部５１に出力する。
ディスプレイ５４は、LCDや有機ELディスプレイなどにより構成され、制御部５１による制御に従ってライブコンテンツの映像を表示する。
操作部５５は、HMD２１の筐体表面に設けられた操作ボタンなどにより構成される。ライブコンテンツの選択、視点の選択などが操作部５５を用いて行われる。
スピーカ５６は、ライブコンテンツの再生中、制御部５１から供給された、ライブコンテンツに含まれるオーディオデータに基づいて音声を出力する。
記憶部５７は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。
HMD２２乃至２４も、HMD２１の構成と同じ構成を有する。以下、適宜、図８の構成を、HMD２２乃至２４の構成として引用して説明する。
図９は、制御部５１の構成例を示すブロック図である。
図９に示す機能部のうちの少なくとも一部は、制御部５１のCPUにより所定のプログラムが実行されることによって実現される。図９に示すように、制御部５１においては、ライブコンテンツ受信部９１、再生部９２、表示制御部９３、動き検出部９４、動き情報送信部９５、および属性情報管理部９６が実現される。センサ５３から出力されたセンサデータは表示制御部９３と動き検出部９４に入力される。
ライブコンテンツ受信部９１は、通信部５２を制御し、配信サーバ１１から送信されてきたライブコンテンツを受信する。ライブコンテンツ受信部９１は、受信したライブコンテンツを再生部９２に出力する。
再生部９２は、ライブコンテンツ受信部９１から供給されたライブコンテンツを再生する。再生部９２は、例えば、ライブコンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部９３に出力する。
表示制御部９３は、再生部９２から供給されたデータに基づいて、ライブコンテンツの所定の視野の映像をディスプレイ５４に表示させる。また、表示制御部９３は、ライブコンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの視野を特定し、映像の表示範囲を切り替える。ユーザの視野を表す情報は、属性情報管理部９６に供給される。
動き検出部９４は、ライブコンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの複数種類の動きを検出する。動き検出部９４は、検出した動きを表す動き情報を動き情報送信部９５に出力する。動き情報に対しては、脈拍、心拍数、体温などの生体情報が付加される。
動き情報送信部９５は、通信部５２を制御し、動き検出部９４から供給された動き情報と、属性情報管理部９６から読み出したユーザ属性情報を集計サーバ１２に送信する。動き情報とユーザ属性情報の送信は、例えば、ライブコンテンツの再生中、繰り返し行われる。
属性情報管理部９６は、ユーザ属性情報を管理し、適宜、動き情報送信部９５に出力する。
図１０は、ユーザ属性情報に含まれる情報の例を示す図である。
ユーザ属性情報には、所在地情報、お気に入り情報、および視野情報が含まれる。
所在地情報は、地方単位などの、粗い所在地を表す情報である。所在地情報は、センサ５３を構成するGPSセンサによる測位結果に基づいて取得されるようにしてもよいし、ユーザにより入力されるようにしてもよい。
お気に入り情報は、ユーザが視聴しているライブコンテンツに映るお気に入りの人物を表す情報である。お気に入り情報は、ライブコンテンツの視聴開始時に演者の一覧から選択されるようにしてもよいし、ユーザの視野に基づいて属性情報管理部９６により特定されるようにしてもよい。この場合、属性情報管理部９６は、例えば、ユーザの視野に映っている時間、映っている位置などを演者毎に特定し、ユーザの視野により長い時間映っている演者であり、視野の中心に近い位置に映っている演者を、ユーザのお気に入りの人物として特定する。
視野情報は、角速度、加速度などのセンサデータに基づいて特定したユーザの視野を表す情報である。上述したように、ユーザの視野は、視点の位置、視線の方向、およびディスプレイ５４の画角により特定される。視野情報により、イベント会場のどこを見ているのかが特定される。
ユーザ属性情報として、ユーザの出身国、趣味、専門分野、性別、ユーザIDなどの各種の情報うちの少なくともいずれかが含まれるようにすることが可能である。ユーザ属性情報には、複数種類の情報のうちの少なくともいずれかが含まれる。
・サーバの構成
図１１は、集計サーバ１２の構成例を示すブロック図である。
CPU１０１、ROM１０２、RAM１０３は、バス１０４により相互に接続される。バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、ディスプレイ１０６と入力部１０７が接続される。入力部１０７は、キーボード、マウスなどであり、集計サーバ１２の管理者により用いられる。
また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記録部１０８、ネットワークインタフェースであり、ネットワークを介して他の機器と通信を行う通信部１０９が接続される。入出力インタフェース１０５には、リムーバブルメディア１１１を駆動するドライブ１１０も接続される。
図１２は、集計サーバ１２の機能構成例を示すブロック図である。
図１２に示す機能部のうちの少なくとも一部は、CPU１０１により所定のプログラムが実行されることによって実現される。図１２に示すように、集計サーバ１２においては、動き情報受信部１２１、動き情報記録部１２２、盛り上がり集計部１２３、指定情報受信部１２４、およびヒートマップ画像送信部１２５が実現される。
動き情報受信部１２１は、通信部１０９を制御し、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信する。動き情報受信部１２１は、受信した動き情報とユーザ属性情報を動き情報記録部１２２に記録させる。
動き情報記録部１２２は、動き情報とユーザ属性情報を記録する。動き情報記録部１２２に記録された動き情報とユーザ属性情報は盛り上がり集計部１２３により適宜読み出される。
盛り上がり集計部１２３は、動き情報とユーザ属性情報を動き情報記録部１２２から読み出し、イベント会場にいる演者により指定された集計方法に従って、遠隔にいる観客の盛り上がり度を集計する。動き情報に付加されている生体情報も、適宜、盛り上がり度を求めることに用いられる。
上述したように、動きに基づく盛り上がり度の求め方、盛り上がり情報を可視化するときの各盛り上がり度の情報の配置の仕方などが演者により指定される。演者により指定された集計方法が、指定情報受信部１２４から供給された集計方法指定情報により表される。
盛り上がり集計部１２３は、例えば、頭を激しく振っているかどうかを基準として盛り上がり度を求めることが指定されている場合、動き情報により表される、頭を上下に振っている程度に基づいて、それぞれのユーザの盛り上がり度を求める。
また、盛り上がり集計部１２３は、リズムにのっているかどうかを基準として盛り上がり度を求めることが指定されている場合、動き情報により表される、体を揺らしている程度に基づいて、それぞれのユーザの盛り上がり度を求める。
具体的には、盛り上がり集計部１２３は、ユーザの頭部の動きや体の動きを表す情報に対してフーリエ変換やウェーブレット変換を施して周波数変換を行う。盛り上がり集計部１２３は、周波数変換を行うことによって得られた値と、生体情報により表される心拍数、体温などの値に対して、恒等関数、ステップ関数、シグモイド関数などの所定の関数を用いた演算を施すことによってそれぞれのユーザの盛り上がり度を求める。
盛り上がり集計部１２３は、このようにして求めた各ユーザの盛り上がり度を視覚的に表す情報を、ユーザ属性情報を参照して、イベント会場にいる演者により指定された方法で配置することによってヒートマップ画像を生成する。
例えば、盛り上がり集計部１２３は、同じ地域のユーザの盛り上がり度毎にグルーピングし、ヒートマップ画像上にまとめて配置する。それぞれのユーザがどこの地域にいるのかが、ユーザ属性情報に含まれる所在地情報により表される。
盛り上がり集計部１２３は、このようにして遠隔にいる観客の盛り上がり情報を可視化し、ヒートマップ画像のデータをヒートマップ画像送信部１２５に出力する。
指定情報受信部１２４は、通信部１０９を制御し、表示制御装置２から送信されてきた集計方法指定情報を受信する。指定情報受信部１２４は、受信した集計方法指定情報を盛り上がり集計部１２３に出力する。
ヒートマップ画像送信部１２５は、通信部１０９を制御し、盛り上がり集計部１２３から供給されたヒートマップ画像のデータを表示制御装置２に送信する。ヒートマップ画像送信部１２５は、適宜、ヒートマップ画像のデータをHMD２１乃至２４に対しても送信する。
なお、図１１に示す集計サーバ１２の構成と同じ構成を配信サーバ１１も有している。適宜、図１１に示す構成を配信サーバ１１の構成として引用して説明する。
図１３は、配信サーバ１１の機能構成例を示すブロック図である。
図１３に示す機能部のうちの少なくとも一部は、配信サーバ１１のCPU１０１（図１１）により所定のプログラムが実行されることによって実現される。図１３に示すように、配信サーバ１１においては、動画取得部１３１、ライブコンテンツ生成部１３２、および配信部１３３が実現される。
動画取得部１３１は、通信部１０９を制御し、撮影制御装置１から送信されてきた各視点の動画を受信する。動画取得部１３１は、受信した動画のデータをライブコンテンツ生成部１３２に出力する。
ライブコンテンツ生成部１３２は、動画取得部１３１から供給された動画のデータに基づいて配信用のライブコンテンツを生成し、配信部１３３に出力する。
配信部１３３は、通信部１０９を制御し、ライブコンテンツ生成部１３２により生成されたライブコンテンツをHMD２１乃至２４に配信する。
・表示制御装置の構成
図１４は、表示制御装置２の構成例を示すブロック図である。
CPU１４１、ROM１４２、RAM１４３は、バス１４４により相互に接続される。バス１４４には、さらに、入出力インタフェース１４５が接続される。入出力インタフェース１４５には、大型ディスプレイ３が接続される。また、入出力インタフェース１４５には、表示制御装置２の管理者により操作されるキーボード、マウスなどの入力部１４６が接続される。
入出力インタフェース１４５には、ハードディスクや不揮発性のメモリなどよりなる記録部１４７、ネットワークを介して他の機器と通信を行う通信部１４８も接続される。
図１５は、表示制御装置２の機能構成例を示すブロック図である。
図１５に示す機能部のうちの少なくとも一部は、CPU１４１により所定のプログラムが実行されることによって実現される。図１５に示すように、表示制御装置２においては、ヒートマップ画像受信部１６１、表示制御部１６２、集計方法取得部１６３、および指定情報送信部１６４が実現される。
ヒートマップ画像受信部１６１は、通信部１４８を制御し、集計サーバ１２から送信されてきたヒートマップ画像のデータを受信する。ヒートマップ画像受信部１６１は、ヒートマップ画像のデータを表示制御部１６２に出力する。
表示制御部１６２は、ヒートマップ画像受信部１６１から供給されたデータに基づいて、ヒートマップ画像を大型ディスプレイ３に表示させる。
集計方法取得部１６３は、通信部１４８を制御し、例えば演者が持つ携帯端末と通信を行う。集計方法取得部１６３は、携帯端末から送信されてきた、遠隔にいるユーザの盛り上がり度の集計方法を指定する集計方法指定情報を受信する。集計方法取得部１６３は、受信した集計方法指定情報を指定情報送信部１６４に出力する。集計方法の指定が、演者により行われるのではなく、コンサートの運営者により行われるようにしてもよい。
指定情報送信部１６４は、通信部１４８を制御し、集計方法取得部１６３から供給された集計方法指定情報を集計サーバ１２に送信する。
＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。
はじめに、図１６のフローチャートを参照して、ライブコンテンツを配信する配信サーバ１１の処理について説明する。
図１６の処理は、イベント会場においてコンサートが開始され、撮影制御装置１からイベント会場の動画が送信されてきたときに開始される。
ステップＳ１において、動画取得部１３１は、撮影制御装置１から送信されてきた各視点の動画を受信する。
ステップＳ２において、ライブコンテンツ生成部１３２は、動画取得部１３１により受信された動画に基づいて配信用のライブコンテンツを生成する。
ステップＳ３において、配信部１３３は、ライブコンテンツ生成部１３２により生成されたライブコンテンツをHMD２１乃至２４に配信する。ライブコンテンツの配信が終了したとき、配信部１３３は処理を終了させる。
次に、図１７のフローチャートを参照して、ライブコンテンツを再生するクライアント端末の処理について説明する。ここでは、HMD２１が処理を行うものとして説明するが、HMD２２乃至２４においても同様の処理が行われる。
ステップＳ１１において、ライブコンテンツ受信部９１は、配信サーバ１１から送信されてきたライブコンテンツを受信する。
ステップＳ１２において、再生部９２は、ライブコンテンツ受信部９１により受信されたライブコンテンツを再生する。
ステップＳ１３において、表示制御部９３は、所定の視点の映像のビデオストリームがデコードされることによって得られたデータに基づいて、ユーザの視野に応じた映像をディスプレイ５４に表示させる。また、表示制御部９３は、センサデータに基づいてユーザの視野を特定し、映像の表示範囲を切り替える。ユーザの視野を表す視野情報は、ユーザ属性情報に含めて属性情報管理部９６により管理される。
ステップＳ１４において、動き検出部９４は、センサデータに基づいてユーザの複数種類の動きを検出する。
ステップＳ１５において、動き情報送信部９５は、動き検出部９４により検出されたユーザの動きを表す動き情報に生体情報を付加し、属性情報管理部９６から読み出したユーザ属性情報とともに集計サーバ１２に送信する。
ステップＳ１６において、再生部９２は、再生終了か否かを判定する。再生終了ではないとステップＳ１６において判定した場合、ステップＳ１１に戻り、それ以降の処理が行われる。
一方、ライブコンテンツを最後まで再生したことなどから、再生終了であるとステップＳ１６において判定した場合、再生部９２は処理を終了させる。
次に、図１８のフローチャートを参照して、遠隔にいる観客の盛り上がりを集計する集計サーバ１２の処理について説明する。
ステップＳ２１において、動き情報受信部１２１は、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信する。
ステップＳ２２において、動き情報記録部１２２は、動き情報とユーザ属性情報を対応付けて記録する。
ステップＳ２３において、指定情報受信部１２４は、表示制御装置２から送信されてきた集計方法指定情報を受信する。
ステップＳ２４において、盛り上がり集計部１２３は、演者により指定された集計方法に従って、遠隔にいる観客の盛り上がり度を集計し、ヒートマップ画像を生成する。
ステップＳ２５において、ヒートマップ画像送信部１２５は、ヒートマップ画像のデータを表示制御装置２に送信する。
ステップＳ２６において、ヒートマップ画像送信部１２５は、ヒートマップ画像のデータをHMD２１乃至２４に送信し、処理を終了させる。
例えば、集計方法が演者により指定される毎に図１８の処理が行われ、ヒートマップ画像が表示制御装置２に送信される。演者は、集計方法を指定する毎に、ヒートマップ画像の表示を切り替えることができる。
次に、図１９のフローチャートを参照し、ヒートマップ画像を表示する表示制御装置２の処理について説明する。
ステップＳ４１において、集計方法取得部１６３は、演者が持つ携帯端末から送信されてきた集計方法指定情報を受信する。
ステップＳ４２において、指定情報送信部１６４は、集計方法取得部１６３により受信された集計方法指定情報を集計サーバ１２に送信する。集計サーバ１２においては、図１８の処理が行われ、ヒートマップ画像のデータが表示制御装置２に対して送信されてくる。
ステップＳ４３において、ヒートマップ画像受信部１６１は、ヒートマップ画像のデータが集計サーバ１２から送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
ヒートマップ画像のデータが集計サーバ１２から送信されてきたとステップＳ４３において判定した場合、ステップＳ４４において、ヒートマップ画像受信部１６１は、ヒートマップ画像のデータを受信する。
ステップＳ４５において、表示制御部１６２は、ヒートマップ画像受信部１６１により受信されたデータに基づいて、ヒートマップ画像を大型ディスプレイ３に表示させる。
大型ディスプレイ３に表示されたヒートマップ画像を見ることにより、イベント会場にいる演者、観客と、遠隔にいる観客は、コンサートの雰囲気を共有することができる。
次に、図２０のフローチャートを参照し、ヒートマップ画像を表示するクライアント端末としてのHMD２１の処理について説明する。
図２０の処理は、例えばライブコンテンツの視聴中にヒートマップ画像を表示することが指示されたときに開始される。ヒートマップ画像の表示を指示するとき、盛り上がり度の集計方法がユーザにより指定される。
このように、HMD２１乃至２４のユーザも、盛り上がり度の集計方法を指定することができる。HMD２１乃至２４のユーザが指定した集計方法に従って、図１８を参照して説明した処理が集計サーバ１２において行われ、ヒートマップ画像が例えばHMD２１に対して送信されてくる。
ステップＳ５１において、通信部５２は、ユーザにより指定された集計方法を指定する集計方法指定情報を集計サーバ１２に送信する。
ステップＳ５２において、通信部５２は、ヒートマップ画像のデータが集計サーバ１２から送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
ヒートマップ画像のデータが集計サーバ１２から送信されてきたとステップＳ５２において判定した場合、ステップＳ５３において、通信部５２は、ヒートマップ画像のデータを受信する。ヒートマップ画像のデータは、図示せぬ経路を介して表示制御部９３に供給される。
ステップＳ５４において、表示制御部９３は、ライブコンテンツの映像に重ねて、ヒートマップ画像をディスプレイ５４に表示させる。
図２１は、ディスプレイ５４の表示例を示す図である。
図２１の例においては、ライブコンテンツの映像に重ねて、ディスプレイ５４の右上にヒートマップ画像Ｐが表示されている。HMD２１のユーザは、自身が指定した集計方法で生成されたヒートマップ画像を見て、遠隔にいる観客の盛り上がり度を確認することができる。
以上の一連の処理により、集計サーバ１２は、ライブコンテンツを視聴しているユーザに能動的な操作を行わせることなく、より自然な形で、遠隔にいる観客の盛り上がり情報を取得することができる。また、集計サーバ１２は、盛り上がり情報を可視化したヒートマップ画像をイベント会場に送信し、大型ディスプレイ３に表示させることによって、遠隔にいる観客の盛り上がり度を、より見やすい形で演者と観客に提示することができる。
＜ヒートマップ画像の例＞
以上のように、演者は、集計方法を指定することにより、ヒートマップ画像の表示を切り替えることができる。
図２２は、ヒートマップ画像の他の例を示す図である。
図２２のヒートマップ画像は、盛り上がり度を表す色の濃淡を、盛り上がり度の高い順に中心から外側に向けて配置することによって構成される画像である。盛り上がり度は、例えば「頭の動きの激しさ」に基づいて求められる。
演者は、例えば集計方法を指定することによって、図７のヒートマップ画像を図２２の表示に変えることができる。
色の濃淡を、それぞれのユーザの属性としてのユーザIDに応じた位置に配置するようにしてもよい。
また、日本国内の地域毎ではなく、盛り上がり度を表す情報が、図２３に示すようにユーザの出身国毎にまとめて配置して表示されるようにしてもよい。
図２３の例においては、属性により表される米国出身のユーザの盛り上がり度を表す情報は大型ディスプレイ３の左上の領域に配置される。また、インド出身のユーザの盛り上がり度を表す情報は大型ディスプレイ３の左下の領域に配置される。
このように、演者は、各ユーザの盛り上がり度を表す情報の配置方法として、様々な方法を指定することができる。
例えば、好みの演者が共通するユーザの盛り上がり度を表す情報をまとめて配置することも可能である。
演者として人物Ｈ１，Ｈ２，Ｈ３がいる場合、人物Ｈ１を好きなユーザの盛り上がり度を表す情報、人物Ｈ２を好きなユーザの盛り上がり度を表す情報、および人物Ｈ３を好きなユーザの盛り上がり度を表す情報は、それぞれまとめて所定の領域に表示される。それぞれのユーザがどの演者のことが好みであるのかは、ユーザ属性情報に含まれるお気に入り情報により表される。
これにより、それぞれの演者は、自分のファンの盛り上がり度を確認することができる。
また、見ている範囲が共通するユーザの盛り上がり度を表す情報をまとめて配置することも可能である。
演者として人物Ｈ１，Ｈ２，Ｈ３がいる場合、人物Ｈ１を見ているユーザの盛り上がり度を表す情報、人物Ｈ２を見ているユーザの盛り上がり度を表す情報、および人物Ｈ３を見ているユーザの盛り上がり度を表す情報は、それぞれまとめて所定の領域に表示される。それぞれのユーザがどこを見ているのかは、ユーザ属性情報に含まれる視野情報により表される。
図２４は、ヒートマップ画像の表示の切り替えの例を示す図である。
図２４の左側に示すヒートマップ画像は、図７を参照して説明したヒートマップ画像と同じ画像である。例えば、領域Ａ１１を演者が選択し、盛り上がり度の拡大を指定した場合、表示制御装置２は、図２４の右側に示すように、領域Ａ１１に割り当てられたユーザの盛り上がり度を表す情報を拡大して表示させる。
表示制御装置２は、ユーザの盛り上がり度を視覚的に表す情報として、例えば人型のアイコンを表示させる。人型のアイコンは、盛り上がり度に応じた色で表示される。
このように、多くの観客の盛り上がり度を一括して表示する場合には、大型ディスプレイ３全体における１人あたりに割り当てられる領域は相対的に狭くなる。反対に、少ない観客の盛り上がり度を表示する場合には、１人あたりに割り当てられる領域は相対的に広くなり、このとき、盛り上がり度の表現の仕方を変えることが可能になる。このように、盛り上がり度を表す情報は、視覚的に確認できる情報であればどのような情報であってもよい。
演者は、自身が持つ携帯端末を操作することによって、盛り上がり度を表示する領域を選択し、盛り上がり度を表す情報を拡大して表示させたり、縮小して表示させたりすることができる。
＜変形例＞
以上においては、クライアント端末としてHMDを用いた例について説明したが、スマートフォン、タブレット端末などの、ディスプレイを有する各種の機器をクライアント端末として用いることも可能である。
クライアント端末としてのスマートフォンやタブレット端末は、ライブコンテンツの再生中、自身が搭載する加速度センサ、角速度センサからのセンサデータに基づいてユーザの視野を検出し、映像の表示範囲を切り替える。また、スマートフォンやタブレット端末は、ユーザの動きを、カメラで撮影したユーザの画像を解析することによって、または、センサデータに基づいて検出し、動き情報を集計サーバ１２に送信する。
また、スマートフォンやタブレット端末は、ディスプレイ表面を繰り返しこする動作、ディスプレイに表示されたボタンを繰り返し押す動作などの各種の動作に基づいて、ユーザの動きを検出することも可能である。スマートフォンやタブレット端末のディスプレイにはタッチパネルが重ねて設けられており、ディスプレイに対するユーザの操作を検出することが可能である。
・コンテンツの例
以上においては、コンサートの様子を撮影した映像をライブコンテンツとして配信する場合について説明したが、講義の様子を撮影した映像を配信することも可能である。
この場合、HMD２１乃至２４は、ライブコンテンツの再生中、センサデータに基づいて、例えば受講生としてのユーザが居眠りをしているか否かを検出し、動き情報としてユーザ属性情報とともに集計サーバ１２に送信する。集計サーバ１２は、居眠りをしているユーザを特定し、どの属性のユーザが寝ているのかを表すマップ画像を生成して表示制御装置２に送信する。表示制御装置２は、マップ画像を大型ディスプレイ３に表示させる。
これにより、講義の教師としての人物は、どの属性のユーザが寝ているのかを容易に確認することができる。
このように、上述した技術は各種の動画のリアルタイム配信に適用することが可能である。
また、以上においては、配信されるコンテンツが自由視点コンテンツであるものとしたが、視点や視野を変えることのできない通常の動画のコンテンツが配信されるようにしてもよい。
・HMDの形態について
HMD２１乃至２４が没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
図２５は、HMDの形態の例を示す図である。
ビデオシースルー型のHMDは、図２５のＢに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。
光学シースルー型のHMDは、図２５のＣに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力されたライブコンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。ユーザは、目の前の風景に重ねて各種の情報を見ることができる。
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１１に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記録部１０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える情報処理装置。
（２）
前記生成部は、前記ユーザの盛り上がり度に応じた色を前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記ユーザの盛り上がり度に応じたアイコンを前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記（１）に記載の情報処理装置。
（４）
前記ユーザの属性は、前記ビデオコンテンツを視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、および、前記表示範囲に相当する前記ユーザの視野のうちの少なくともいずれかである
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記受信部は、前記表示制御装置から送信されてきた、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記生成部は、前記指定情報により表される求め方に従って、前記盛り上がり度を求めるとともに、前記指定情報により表される方法に従って、前記盛り上がり度を視覚的に表す前記情報を配置することによって前記盛り上がり画像を生成する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記盛り上がり度の求め方と前記盛り上がり度を視覚的に表す情報の配置の方法は、前記映像に映る人物により指定されたものである
前記（５）に記載の情報処理装置。
（７）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む情報処理方法。
（８）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む処理をコンピュータに実行させるプログラム。
（９）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える表示制御装置。
（１０）
前記受信部は、前記映像に映る人物により指定された、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記指定情報を前記情報処理装置に送信する送信部をさらに備える
前記（９）に記載の表示制御装置。
（１１）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む表示制御方法。
（１２）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
（１３）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置。
（１４）
前記検出部は、前記ユーザの複数種類の動きを検出する
前記（１３）に記載の再生装置。
（１５）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む再生方法。
（１６）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む処理をコンピュータに実行させるプログラム。
（１７）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置と、
前記再生装置から送信されてきた、前記動き情報と前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える前記情報処理装置と、
前記情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された前記表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える前記表示制御装置と
から構成される情報処理システム。
１ 撮影制御装置、 ２ 表示制御装置、 ３ 大型ディスプレイ、 １１ 配信サーバ、 １２ 集計サーバ、 ２１乃至２４ HMD、 １２１ 動き情報受信部、 １２２ 動き情報記録部、 １２３ 盛り上がり集計部、 １２４ 指定情報受信部、 １２５ ヒートマップ画像送信部
本技術は、情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システムに関し、特に、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにした情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システムに関する。
本技術の第１の側面の情報処理装置は、撮影された映像を各々の再生装置で視聴中の複数のユーザの動きを表す動き情報と、前記複数のユーザの属性を表す情報とを前記各々の再生装置から受信する受信部と、前記各々の再生装置から受信した前記動き情報に基づいて生成されたそれぞれの前記ユーザの盛り上がり状況を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり視覚情報を生成する生成部と、前記映像の撮影が行われている空間に設置された表示装置に前記盛り上がり視覚情報を表示させる表示制御装置に対して、前記盛り上がり視覚情報のデータを送信する送信部とを備える。
本技術の第２の側面の表示制御装置は、撮影された映像を各々の再生装置で視聴中の複数のユーザの動きを表す動き情報と、前記複数のユーザの属性を表す情報とを前記各々の再生装置から受信し、前記各々の再生装置から受信した前記動き情報に基づいて生成されたそれぞれの前記ユーザの盛り上がり状況を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり視覚情報を生成する情報処理装置から送信されてきた、前記盛り上がり視覚情報のデータを受信する受信部と、前記盛り上がり視覚情報のデータに基づいて、前記映像の撮影が行われている空間に設置された表示装置に前記盛り上がり視覚情報を表示させる表示制御部とを備える。

Claims (17)

  1. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、
    複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
    前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
    を備える情報処理装置。
  2. 前記生成部は、前記ユーザの盛り上がり度に応じた色を前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
    請求項１に記載の情報処理装置。
  3. 前記生成部は、前記ユーザの盛り上がり度に応じたアイコンを前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
    請求項１に記載の情報処理装置。
  4. 前記ユーザの属性は、前記ビデオコンテンツを視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、および、前記表示範囲に相当する前記ユーザの視野のうちの少なくともいずれかである
    請求項１に記載の情報処理装置。
  5. 前記受信部は、前記表示制御装置から送信されてきた、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
    前記生成部は、前記指定情報により表される求め方に従って、前記盛り上がり度を求めるとともに、前記指定情報により表される方法に従って、前記盛り上がり度を視覚的に表す前記情報を配置することによって前記盛り上がり画像を生成する
    請求項１に記載の情報処理装置。
  6. 前記盛り上がり度の求め方と前記盛り上がり度を視覚的に表す情報の配置の方法は、前記映像に映る人物により指定されたものである
    請求項５に記載の情報処理装置。
  7. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
    複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
    前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
    ステップを含む情報処理方法。
  8. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
    複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
    前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
    ステップを含む処理をコンピュータに実行させるプログラム。
  9. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
    前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部と
    を備える表示制御装置。
  10. 前記受信部は、前記映像に映る人物により指定された、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
    前記指定情報を前記情報処理装置に送信する送信部をさらに備える
    請求項９に記載の表示制御装置。
  11. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
    前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
    ステップを含む表示制御方法。
  12. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
    前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
    ステップを含む処理をコンピュータに実行させるプログラム。
  13. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
    前記ビデオコンテンツを再生する再生部と、
    前記ユーザの動きを検出する検出部と、
    前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
    前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
    を備える再生装置。
  14. 前記検出部は、前記ユーザの複数種類の動きを検出する
    請求項１３に記載の再生装置。
  15. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
    前記ビデオコンテンツを再生し、
    前記ユーザの動きを検出し、
    前記ユーザの動きに応じた前記表示範囲の映像を表示し、
    前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
    ステップを含む再生方法。
  16. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
    前記ビデオコンテンツを再生し、
    前記ユーザの動きを検出し、
    前記ユーザの動きに応じた前記表示範囲の映像を表示し、
    前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
    ステップを含む処理をコンピュータに実行させるプログラム。
  17. 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
    前記ビデオコンテンツを再生する再生部と、
    前記ユーザの動きを検出する検出部と、
    前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
    前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
    を備える再生装置と、
    前記再生装置から送信されてきた、前記動き情報と前記ユーザの属性を表す情報とを受信する受信部と、
    複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
    前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
    を備える前記情報処理装置と、
    前記情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
    前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された前記表示装置に前記盛り上がり画像を表示させる表示制御部と
    を備える前記表示制御装置と
    から構成される情報処理システム。
JP2019091592A 2014-07-18 2019-05-14 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム Active JP6725038B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014147597 2014-07-18
JP2014147597 2014-07-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016534370A Division JP6531760B2 (ja) 2014-07-18 2015-07-06 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020106042A Division JP6992845B2 (ja) 2014-07-18 2020-06-19 情報処理装置、情報処理方法、プログラム、および情報処理システム

Publications (2)

Publication Number Publication Date
JP2019126101A true JP2019126101A (ja) 2019-07-25
JP6725038B2 JP6725038B2 (ja) 2020-07-15

Family

ID=55078363

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016534370A Active JP6531760B2 (ja) 2014-07-18 2015-07-06 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
JP2019091592A Active JP6725038B2 (ja) 2014-07-18 2019-05-14 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP2020106042A Active JP6992845B2 (ja) 2014-07-18 2020-06-19 情報処理装置、情報処理方法、プログラム、および情報処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016534370A Active JP6531760B2 (ja) 2014-07-18 2015-07-06 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020106042A Active JP6992845B2 (ja) 2014-07-18 2020-06-19 情報処理装置、情報処理方法、プログラム、および情報処理システム

Country Status (3)

Country Link
US (2) US10547902B2 (ja)
JP (3) JP6531760B2 (ja)
WO (1) WO2016009865A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021095573A1 (ja) * 2019-11-15 2021-05-20 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
JP2021077255A (ja) * 2019-11-13 2021-05-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2021161894A1 (ja) * 2020-02-12 2021-08-19 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
WO2022230066A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析システム
WO2022230067A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析システム
JPWO2023002562A1 (ja) * 2021-07-20 2023-01-26
WO2023079859A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置及び情報処理方法
DE112022001916T5 (de) 2021-03-31 2024-01-25 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
JP7430014B1 (ja) 2023-03-31 2024-02-09 株式会社Hikky 制御装置、制御方法及びコンピュータープログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500263A (ja) * 2015-12-16 2019-01-10 ウォルマート アポロ，エルエルシー 無人航空機システムを通じてキャプチャされた画像コンテンツをキャプチャし及び配信するシステム及び方法
JP6664119B2 (ja) * 2016-03-24 2020-03-13 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
US11138784B2 (en) 2016-07-29 2021-10-05 Sony Corporation Image processing apparatus and image processing method
JP6714625B2 (ja) * 2018-02-16 2020-06-24 株式会社カプコン コンピュータシステム
JP7168969B2 (ja) * 2018-06-06 2022-11-10 株式会社アルファコード ヒートマップ提示装置およびヒートマップ提示用プログラム
JP7216394B2 (ja) * 2018-07-04 2023-02-01 学校法人 芝浦工業大学 ライブ演出システム、およびライブ演出方法
US20220125388A1 (en) * 2019-02-07 2022-04-28 The Government Of The United States, As Represented By The Secretary Of The Army Method for estimating core body temperature
WO2021065694A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 情報処理システム及び方法
JP2022114077A (ja) * 2021-01-26 2022-08-05 株式会社Ｊｖｃケンウッド 端末装置、配信システム及び配信方法
JPWO2023276252A1 (ja) * 2021-06-30 2023-01-05

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339479A (ja) * 2004-05-24 2005-12-08 Nakamoto Akiyoshi 会場と視聴者が一体となるためのビジネスモデル
JP2011182109A (ja) * 2010-02-26 2011-09-15 Sony Corp コンテンツ再生装置
JP2013021466A (ja) * 2011-07-08 2013-01-31 Dowango:Kk 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129703A (ja) 2002-10-08 2004-04-30 Nec Soft Ltd 睡眠認識装置及び認識方法、並びに、睡眠状態通知装置及びこれを用いた遠隔教育システム
JP2007013694A (ja) 2005-06-30 2007-01-18 Sony Corp 双方向コミュニケーション装置及び接続方法
JP4884918B2 (ja) 2006-10-23 2012-02-29 株式会社野村総合研究所 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム
JP2008131379A (ja) 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2009258175A (ja) 2008-04-11 2009-11-05 Yamaha Corp 講義システムおよび集計システム
US20100009809A1 (en) * 2008-06-26 2010-01-14 Janice Carrington System for simulating a tour of or being in a remote location while exercising
JP2012129800A (ja) * 2010-12-15 2012-07-05 Sony Corp 情報理装置および方法、プログラム、並びに情報処理システム
CN103238311A (zh) 2011-01-13 2013-08-07 株式会社尼康 电子设备及电子设备的控制程序
WO2012114778A1 (ja) 2011-02-21 2012-08-30 昭和電工株式会社 燃料電池用電極触媒の製造方法
JP5874176B2 (ja) 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
JP6017854B2 (ja) * 2011-06-24 2016-11-02 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2013088832A (ja) 2011-10-13 2013-05-13 Sony Corp 情報処理装置、情報処理方法、および、プログラム
EP2773974B1 (en) * 2011-11-02 2018-03-14 Navin Systems Ltd. Generating and using a location fingerprinting map
JP2013191954A (ja) 2012-03-13 2013-09-26 Panasonic Corp テレビ会議システム及び会議端末装置
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
JP5891131B2 (ja) 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339479A (ja) * 2004-05-24 2005-12-08 Nakamoto Akiyoshi 会場と視聴者が一体となるためのビジネスモデル
JP2011182109A (ja) * 2010-02-26 2011-09-15 Sony Corp コンテンツ再生装置
JP2013021466A (ja) * 2011-07-08 2013-01-31 Dowango:Kk 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI G. SATO, ET AL.: "Audience excitement reflected in respiratory phase synchronization", 2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC), JPN6020008155, 5 October 2017 (2017-10-05), pages 2856 - 2860, XP033271389, ISSN: 0004226456, DOI: 10.1109/SMC.2017.8123060 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077255A (ja) * 2019-11-13 2021-05-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム
JP7319172B2 (ja) 2019-11-13 2023-08-01 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2021095573A1 (ja) * 2019-11-15 2021-05-20 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
WO2021161894A1 (ja) * 2020-02-12 2021-08-19 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
DE112022001916T5 (de) 2021-03-31 2024-01-25 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2022230066A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析システム
WO2022230067A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析システム
JPWO2023002562A1 (ja) * 2021-07-20 2023-01-26
WO2023002562A1 (ja) * 2021-07-20 2023-01-26 株式会社I’mbesideyou 動画像分析システム
WO2023079859A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7430014B1 (ja) 2023-03-31 2024-02-09 株式会社Hikky 制御装置、制御方法及びコンピュータープログラム

Also Published As

Publication number Publication date
US20200120386A1 (en) 2020-04-16
US20170150218A1 (en) 2017-05-25
US11265603B2 (en) 2022-03-01
JP6531760B2 (ja) 2019-06-19
JP6992845B2 (ja) 2022-01-13
JPWO2016009865A1 (ja) 2017-05-25
US10547902B2 (en) 2020-01-28
JP6725038B2 (ja) 2020-07-15
WO2016009865A1 (ja) 2016-01-21
JP2020156109A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6992845B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US11738275B2 (en) Virtual reality presentation of real world space
US11563779B2 (en) Multiuser asymmetric immersive teleconferencing
JP6708689B2 (ja) 三次元ゲームプレイの共有
US10257490B2 (en) Methods and systems for creating and providing a real-time volumetric representation of a real-world event
US9026596B2 (en) Sharing of event media streams
CN112135673A (zh) 用于电子竞技的虚拟现实观看的场地映射
US9597590B2 (en) Methods and apparatus for accessing peripheral content
JP2016025633A (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
JP2004129003A (ja) 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム
US11902349B1 (en) System and method for providing a real-time digital virtual audience
US20160073013A1 (en) Handheld multi vantage point player
US20160070346A1 (en) Multi vantage point player with wearable display
Unver et al. Hands-free remote collaboration over video: exploring viewer and streamer reactions
WO2023105750A1 (ja) 情報処理システムおよび情報処理方法
Alfaro Surround vision
Alfaro Bernate Surround vision: a handheld screen for accessing peripheral content around the TV

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R151 Written notification of patent or utility model registration

Ref document number: 6725038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151