JP2019126101A - 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム - Google Patents
情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム Download PDFInfo
- Publication number
- JP2019126101A JP2019126101A JP2019091592A JP2019091592A JP2019126101A JP 2019126101 A JP2019126101 A JP 2019126101A JP 2019091592 A JP2019091592 A JP 2019091592A JP 2019091592 A JP2019091592 A JP 2019091592A JP 2019126101 A JP2019126101 A JP 2019126101A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- excitement
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 230000033001 locomotion Effects 0.000 claims abstract description 195
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 description 47
- 238000004220 aggregation Methods 0.000 description 47
- 238000009826 distribution Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 10
- 230000000630 rising effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
1.情報処理システムの構成
2.各機器の構成
3.各機器の動作
4.ヒートマップ画像の例
5.変形例
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
・HMDの構成
図8は、HMD21の構成例を示すブロック図である。
図11は、集計サーバ12の構成例を示すブロック図である。
図14は、表示制御装置2の構成例を示すブロック図である。
ここで、以上のような構成を有する各機器の動作について説明する。
以上のように、演者は、集計方法を指定することにより、ヒートマップ画像の表示を切り替えることができる。
以上においては、クライアント端末としてHMDを用いた例について説明したが、スマートフォン、タブレット端末などの、ディスプレイを有する各種の機器をクライアント端末として用いることも可能である。
以上においては、コンサートの様子を撮影した映像をライブコンテンツとして配信する場合について説明したが、講義の様子を撮影した映像を配信することも可能である。
HMD21乃至24が没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
本技術は、以下のような構成をとることもできる。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える情報処理装置。
前記生成部は、前記ユーザの盛り上がり度に応じた色を前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記(1)に記載の情報処理装置。
前記生成部は、前記ユーザの盛り上がり度に応じたアイコンを前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記(1)に記載の情報処理装置。
前記ユーザの属性は、前記ビデオコンテンツを視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、および、前記表示範囲に相当する前記ユーザの視野のうちの少なくともいずれかである
前記(1)乃至(3)のいずれかに記載の情報処理装置。
前記受信部は、前記表示制御装置から送信されてきた、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記生成部は、前記指定情報により表される求め方に従って、前記盛り上がり度を求めるとともに、前記指定情報により表される方法に従って、前記盛り上がり度を視覚的に表す前記情報を配置することによって前記盛り上がり画像を生成する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
前記盛り上がり度の求め方と前記盛り上がり度を視覚的に表す情報の配置の方法は、前記映像に映る人物により指定されたものである
前記(5)に記載の情報処理装置。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む情報処理方法。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む処理をコンピュータに実行させるプログラム。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える表示制御装置。
前記受信部は、前記映像に映る人物により指定された、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記指定情報を前記情報処理装置に送信する送信部をさらに備える
前記(9)に記載の表示制御装置。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む表示制御方法。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置。
前記検出部は、前記ユーザの複数種類の動きを検出する
前記(13)に記載の再生装置。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む再生方法。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む処理をコンピュータに実行させるプログラム。
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置と、
前記再生装置から送信されてきた、前記動き情報と前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える前記情報処理装置と、
前記情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された前記表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える前記表示制御装置と
から構成される情報処理システム。
Claims (17)
- 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える情報処理装置。 - 前記生成部は、前記ユーザの盛り上がり度に応じた色を前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
請求項1に記載の情報処理装置。 - 前記生成部は、前記ユーザの盛り上がり度に応じたアイコンを前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
請求項1に記載の情報処理装置。 - 前記ユーザの属性は、前記ビデオコンテンツを視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、および、前記表示範囲に相当する前記ユーザの視野のうちの少なくともいずれかである
請求項1に記載の情報処理装置。 - 前記受信部は、前記表示制御装置から送信されてきた、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記生成部は、前記指定情報により表される求め方に従って、前記盛り上がり度を求めるとともに、前記指定情報により表される方法に従って、前記盛り上がり度を視覚的に表す前記情報を配置することによって前記盛り上がり画像を生成する
請求項1に記載の情報処理装置。 - 前記盛り上がり度の求め方と前記盛り上がり度を視覚的に表す情報の配置の方法は、前記映像に映る人物により指定されたものである
請求項5に記載の情報処理装置。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む情報処理方法。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む処理をコンピュータに実行させるプログラム。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える表示制御装置。 - 前記受信部は、前記映像に映る人物により指定された、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記指定情報を前記情報処理装置に送信する送信部をさらに備える
請求項9に記載の表示制御装置。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む表示制御方法。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置。 - 前記検出部は、前記ユーザの複数種類の動きを検出する
請求項13に記載の再生装置。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む再生方法。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む処理をコンピュータに実行させるプログラム。 - 撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置と、
前記再生装置から送信されてきた、前記動き情報と前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える前記情報処理装置と、
前記情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された前記表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える前記表示制御装置と
から構成される情報処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014147597 | 2014-07-18 | ||
JP2014147597 | 2014-07-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534370A Division JP6531760B2 (ja) | 2014-07-18 | 2015-07-06 | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020106042A Division JP6992845B2 (ja) | 2014-07-18 | 2020-06-19 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019126101A true JP2019126101A (ja) | 2019-07-25 |
JP6725038B2 JP6725038B2 (ja) | 2020-07-15 |
Family
ID=55078363
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534370A Active JP6531760B2 (ja) | 2014-07-18 | 2015-07-06 | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム |
JP2019091592A Active JP6725038B2 (ja) | 2014-07-18 | 2019-05-14 | 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム |
JP2020106042A Active JP6992845B2 (ja) | 2014-07-18 | 2020-06-19 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534370A Active JP6531760B2 (ja) | 2014-07-18 | 2015-07-06 | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020106042A Active JP6992845B2 (ja) | 2014-07-18 | 2020-06-19 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10547902B2 (ja) |
JP (3) | JP6531760B2 (ja) |
WO (1) | WO2016009865A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021077255A (ja) * | 2019-11-13 | 2021-05-20 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
WO2021095573A1 (ja) * | 2019-11-15 | 2021-05-20 | ソニー株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2021161894A1 (ja) * | 2020-02-12 | 2021-08-19 | ソニーグループ株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2022230066A1 (ja) * | 2021-04-27 | 2022-11-03 | 株式会社I’mbesideyou | 動画像分析システム |
WO2022230067A1 (ja) * | 2021-04-27 | 2022-11-03 | 株式会社I’mbesideyou | 動画像分析システム |
JPWO2023002562A1 (ja) * | 2021-07-20 | 2023-01-26 | ||
WO2023079859A1 (ja) * | 2021-11-08 | 2023-05-11 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
DE112022001916T5 (de) | 2021-03-31 | 2024-01-25 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
JP7430014B1 (ja) | 2023-03-31 | 2024-02-09 | 株式会社Hikky | 制御装置、制御方法及びコンピュータープログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX2018007342A (es) * | 2015-12-16 | 2019-01-10 | Walmart Apollo Llc | Sistemas y metodos de captura y distribucion de contenido de imagen capturado a traves de sistemas aereos no tripulados. |
JP6664119B2 (ja) * | 2016-03-24 | 2020-03-13 | パナソニックIpマネジメント株式会社 | モニタリングシステム及びモニタリング方法 |
JP6944138B2 (ja) * | 2016-07-29 | 2021-10-06 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
JP6714625B2 (ja) * | 2018-02-16 | 2020-06-24 | 株式会社カプコン | コンピュータシステム |
JP7168969B2 (ja) * | 2018-06-06 | 2022-11-10 | 株式会社アルファコード | ヒートマップ提示装置およびヒートマップ提示用プログラム |
JP7216394B2 (ja) * | 2018-07-04 | 2023-02-01 | 学校法人 芝浦工業大学 | ライブ演出システム、およびライブ演出方法 |
WO2020180454A2 (en) * | 2019-02-07 | 2020-09-10 | The Government Of The United States Of America | Method for estimating core body temperature |
CN114450730A (zh) * | 2019-09-30 | 2022-05-06 | 富士胶片株式会社 | 信息处理系统及方法 |
US11023729B1 (en) * | 2019-11-08 | 2021-06-01 | Msg Entertainment Group, Llc | Providing visual guidance for presenting visual content in a venue |
JP2022114077A (ja) * | 2021-01-26 | 2022-08-05 | 株式会社Jvcケンウッド | 端末装置、配信システム及び配信方法 |
CN117546458A (zh) * | 2021-06-30 | 2024-02-09 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339479A (ja) * | 2004-05-24 | 2005-12-08 | Nakamoto Akiyoshi | 会場と視聴者が一体となるためのビジネスモデル |
JP2011182109A (ja) * | 2010-02-26 | 2011-09-15 | Sony Corp | コンテンツ再生装置 |
JP2013021466A (ja) * | 2011-07-08 | 2013-01-31 | Dowango:Kk | 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004129703A (ja) | 2002-10-08 | 2004-04-30 | Nec Soft Ltd | 睡眠認識装置及び認識方法、並びに、睡眠状態通知装置及びこれを用いた遠隔教育システム |
JP2007013694A (ja) | 2005-06-30 | 2007-01-18 | Sony Corp | 双方向コミュニケーション装置及び接続方法 |
JP4884918B2 (ja) | 2006-10-23 | 2012-02-29 | 株式会社野村総合研究所 | 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム |
JP2008131379A (ja) | 2006-11-21 | 2008-06-05 | Yamaha Corp | 配信システム、および端末装置 |
JP2009258175A (ja) | 2008-04-11 | 2009-11-05 | Yamaha Corp | 講義システムおよび集計システム |
US20100009809A1 (en) * | 2008-06-26 | 2010-01-14 | Janice Carrington | System for simulating a tour of or being in a remote location while exercising |
JP2012129800A (ja) | 2010-12-15 | 2012-07-05 | Sony Corp | 情報理装置および方法、プログラム、並びに情報処理システム |
CN103238311A (zh) | 2011-01-13 | 2013-08-07 | 株式会社尼康 | 电子设备及电子设备的控制程序 |
EP2680351B1 (en) | 2011-02-21 | 2019-03-13 | Showa Denko K.K. | Method for manufacturing electrode catalyst for fuel cell |
JP5874176B2 (ja) | 2011-03-06 | 2016-03-02 | ソニー株式会社 | 表示装置、並びに中継装置 |
US8886530B2 (en) * | 2011-06-24 | 2014-11-11 | Honda Motor Co., Ltd. | Displaying text and direction of an utterance combined with an image of a sound source |
JP2013088832A (ja) | 2011-10-13 | 2013-05-13 | Sony Corp | 情報処理装置、情報処理方法、および、プログラム |
US10111197B2 (en) * | 2011-11-02 | 2018-10-23 | Navin Systems Ltd. | Generating and using a location fingerprinting map |
JP2013191954A (ja) | 2012-03-13 | 2013-09-26 | Panasonic Corp | テレビ会議システム及び会議端末装置 |
JP6006536B2 (ja) * | 2012-06-01 | 2016-10-12 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
JP2013258555A (ja) | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法 |
JP5891131B2 (ja) | 2012-07-11 | 2016-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
-
2015
- 2015-07-06 WO PCT/JP2015/069382 patent/WO2016009865A1/ja active Application Filing
- 2015-07-06 JP JP2016534370A patent/JP6531760B2/ja active Active
- 2015-07-06 US US15/323,289 patent/US10547902B2/en active Active
-
2019
- 2019-05-14 JP JP2019091592A patent/JP6725038B2/ja active Active
- 2019-12-13 US US16/713,080 patent/US11265603B2/en active Active
-
2020
- 2020-06-19 JP JP2020106042A patent/JP6992845B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339479A (ja) * | 2004-05-24 | 2005-12-08 | Nakamoto Akiyoshi | 会場と視聴者が一体となるためのビジネスモデル |
JP2011182109A (ja) * | 2010-02-26 | 2011-09-15 | Sony Corp | コンテンツ再生装置 |
JP2013021466A (ja) * | 2011-07-08 | 2013-01-31 | Dowango:Kk | 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム |
Non-Patent Citations (1)
Title |
---|
TAKASHI G. SATO, ET AL.: "Audience excitement reflected in respiratory phase synchronization", 2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC), JPN6020008155, 5 October 2017 (2017-10-05), pages 2856 - 2860, XP033271389, ISSN: 0004226456, DOI: 10.1109/SMC.2017.8123060 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7319172B2 (ja) | 2019-11-13 | 2023-08-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
JP2021077255A (ja) * | 2019-11-13 | 2021-05-20 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
JP7512488B2 (ja) | 2019-11-13 | 2024-07-08 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
WO2021095573A1 (ja) * | 2019-11-15 | 2021-05-20 | ソニー株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2021161894A1 (ja) * | 2020-02-12 | 2021-08-19 | ソニーグループ株式会社 | 情報処理システム、情報処理方法及びプログラム |
US12058401B2 (en) | 2020-02-12 | 2024-08-06 | Sony Group Corporation | Information processing system, information processing method, and program |
DE112022001916T5 (de) | 2021-03-31 | 2024-01-25 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
WO2022230066A1 (ja) * | 2021-04-27 | 2022-11-03 | 株式会社I’mbesideyou | 動画像分析システム |
WO2022230067A1 (ja) * | 2021-04-27 | 2022-11-03 | 株式会社I’mbesideyou | 動画像分析システム |
WO2023002562A1 (ja) * | 2021-07-20 | 2023-01-26 | 株式会社I’mbesideyou | 動画像分析システム |
JPWO2023002562A1 (ja) * | 2021-07-20 | 2023-01-26 | ||
WO2023079859A1 (ja) * | 2021-11-08 | 2023-05-11 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
JP7430014B1 (ja) | 2023-03-31 | 2024-02-09 | 株式会社Hikky | 制御装置、制御方法及びコンピュータープログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6992845B2 (ja) | 2022-01-13 |
JP6725038B2 (ja) | 2020-07-15 |
US20170150218A1 (en) | 2017-05-25 |
US20200120386A1 (en) | 2020-04-16 |
JPWO2016009865A1 (ja) | 2017-05-25 |
JP6531760B2 (ja) | 2019-06-19 |
WO2016009865A1 (ja) | 2016-01-21 |
US11265603B2 (en) | 2022-03-01 |
US10547902B2 (en) | 2020-01-28 |
JP2020156109A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992845B2 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
US11738275B2 (en) | Virtual reality presentation of real world space | |
US11563779B2 (en) | Multiuser asymmetric immersive teleconferencing | |
JP6708689B2 (ja) | 三次元ゲームプレイの共有 | |
US10257490B2 (en) | Methods and systems for creating and providing a real-time volumetric representation of a real-world event | |
US9026596B2 (en) | Sharing of event media streams | |
CN112135673A (zh) | 用于电子竞技的虚拟现实观看的场地映射 | |
US9597590B2 (en) | Methods and apparatus for accessing peripheral content | |
US20190073830A1 (en) | Program for providing virtual space by head mount display, method and information processing apparatus for executing the program | |
JP2016025633A (ja) | 情報処理装置、管理装置、情報処理方法、およびプログラム | |
JP2004129003A (ja) | 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム | |
US11902349B1 (en) | System and method for providing a real-time digital virtual audience | |
US20160073013A1 (en) | Handheld multi vantage point player | |
US20160070346A1 (en) | Multi vantage point player with wearable display | |
Unver et al. | Hands-free remote collaboration over video: exploring viewer and streamer reactions | |
WO2023105750A1 (ja) | 情報処理システムおよび情報処理方法 | |
Alfaro | Surround vision | |
Alfaro Bernate | Surround vision: a handheld screen for accessing peripheral content around the TV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6725038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |