JP2015092750A - 多視点動画配置システム - Google Patents
多視点動画配置システム Download PDFInfo
- Publication number
- JP2015092750A JP2015092750A JP2015004124A JP2015004124A JP2015092750A JP 2015092750 A JP2015092750 A JP 2015092750A JP 2015004124 A JP2015004124 A JP 2015004124A JP 2015004124 A JP2015004124 A JP 2015004124A JP 2015092750 A JP2015092750 A JP 2015092750A
- Authority
- JP
- Japan
- Prior art keywords
- view video
- distribution system
- screen
- user
- video distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】多視点動画の画面配置を動的に変更する、多視点動画配信システムを提供する。【解決手段】視聴行動履歴送信手段11は再生した多視点動画データに関する視聴行動履歴を配信コンピュータ2に送信する。配信コンピュータ2のユーザ別視聴行動履歴受信手段7は、配信した多視点動画についての視聴行動履歴である視聴操作履歴を端末コンピュータ3a〜3nから受信し、ユーザ別視聴行動履歴記憶手段6は、これをユーザ別に記憶する。配信手段5は、あるユーザに対して多視点動画データを配信する場合に、ユーザ視聴行動履歴記憶手段6に記憶された他のユーザの視聴行動履歴を参照して、画面配置を変更した多視点動画データを配信する。【選択図】図1
Description
この発明は、多視点動画配置システムに関し、特に、多視点動画の画面配置切り換え処理に関する。
特許文献1には、複数のカメラを用いて、多視点から撮像した動画を切り換えて配信することが開示されている。
特許文献1のシステムは、配信側にて複数のカメラからの画像を切り換えて、受信側に提供するというものであり、1画面に表示される多視点動画を切り換えるというものは存在しなかった。
出願人は既に、1画面に多視点動画が表示可能な動画配信システムにおいて、多視点動画を生成する装置に関する特許出願をおこなった(特願2013-045286号)。
このように生成した多視点動画を配信するにあたって、配信コンピュータから全情報を送り、端末側で画面配置などを変更することもできる。
しかし、かかる画面配置の変更処理を、ユーザが適切におこなうことは困難である。
この発明は、1画面に多視点動画を表示できるシステムにおいて、多視点動画の画面配置を容易に変更可能な多視点動画配置システムを提供することを目的とする。
1)本発明にかかる多視点動画配信システムは、下記を備えた配信コンピュータ、a1)同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを配信する配信手段、a2)配信した多視点動画についての視聴行動履歴を受信するユーザ別視聴行動履歴受信手段、a3)前記受信したユーザ別視聴行動履歴をユーザ別に記憶するユーザ別視聴行動履歴記憶手段、B)下記を備えた端末コンピュータ、b1)前記多視点動画データを前記配信コンピュータから受信する受信手段、b2)前記多視点動画データを再生する再生手段、b3)前記再生した多視点動画データに関する視聴行動履歴を前記配信コンピュータに送信する視聴行動履歴送信手段、を備えた多視点動画配信システムであって、C)前記配信手段は、あるユーザに対して多視点動画データを配信する場合に、前記ユーザ視聴行動履歴記憶手段に記憶された他のユーザの視聴行動履歴を参照して、前記多視点動画データの画面配置を変更した多視点動画データを配信する。
したがって、他のユーザの視聴行動履歴を参照して、画面配置を変更した多視点動画データを配信することができる。
2)本発明にかかる多視点動画配信システムにおいては、前記視聴行動履歴は、画面配置傾向である。したがって、他のユーザの画面配置傾向を参照して、画面配置を変更した多視点動画データを配信することができる。
3)本発明にかかる多視点動画配信システムにおいては、前記多視点動画データは、前記個別動画を少なくとも1のメイン画面と少なくとも1のサブ画面から構成されており、前記配信手段は、前記複数の個別動画のうち、当初メイン画面で表示されていたものが、サブ画面に切り換えられた切り換え率に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信する。したがって、サブ画面に切り換えられた履歴に基づいた多視点動画データを配信することができる。
4)本発明にかかる多視点動画配信システムにおいては、前記多視点動画データは、前記個別動画を少なくとも1のメイン画面と少なくとも1のサブ画面から構成されており、前記配信手段は、前記複数の個別動画のうち、当初サブ画面で表示されていたものが、メイン画面に切り換えられた切り換え率に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信する。したがって、メイン画面に切り換えられた履歴に基づいた多視点動画データを配信することができる。
5)本発明にかかる多視点動画配信システムにおいては、前記多視点動画データは、メイン画面と前記メイン画面よりも表示領域の小さなサブ画面から構成されており、前記配信手段は、前記複数の個別動画のうち、再生時に変更された個別動画の表示割合に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信する。したがって、個別動画の表示割合に基づいた多視点動画データを配信することができる。
6)本発明にかかる多視点動画配信システムにおいては、前記視聴行動履歴は、前記他のユーザが再生時にしたその個別動画への評価である。したがって、他のユーザが再生時にしたその個別動画への評価に基づいた多視点動画データを配信することができる。
7)本発明にかかる多視点動画配信システムにおいては、前記配信手段は、ユーザ属性が類似のユーザ群に属するユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を変更した多視点動画データを配信する。したがって、ユーザ属性が類似のユーザ群に属するユーザの視聴行動履歴に基づいた多視点動画データを配信することができる。
8)本発明にかかる多視点動画配信システムにおいては、前記ユーザ属性は、ユーザの静的属性である。したがって、ユーザの静的属性が類似したユーザの視聴行動履歴に基づいた多視点動画データを配信することができる。
9)本発明にかかる多視点動画配信システムにおいては、前記ユーザ属性は、ユーザの視聴によって変化する視聴傾向属性である。したがって、ユーザの視聴傾向属性に基づいた多視点動画データを配信することができる。
10)本発明にかかる多視点動画配信システムにおいては、前記ユーザ属性は、過去の視聴作品の属性である。したがって、ユーザの視聴作品の属性に基づいた多視点動画データを配信することができる。
11)本発明にかかる多視点動画配信システムにおいては、前記視聴傾向属性は過去の視聴画面の属性である。したがって、過去の視聴画面の属性に基づいた多視点動画データを配信することができる。
12)本発明にかかる多視点動画配信システムにおいては、前記画面配置を変更する多視点動画には、前記端末コンピュータにて画面配置を切り換えるための付加データが付与されており、前記端末コンピュータの再生手段は、前記付加データに基づき、前記画面配置を変更して再生する。したがって、前記付加データを送ることにより画面配置を切り換えた多視点動画データを端末コンピュータにて再生することができる。
13)本発明にかかる多視点動画配信システムにおいては、前記画面配置の変更は、前記端末コンピュータの視聴者の操作無しに自動的に実行される。したがって、自動切り換えにて多視点動画データを配信することができる。
14)本発明にかかる多視点動画配信システムにおいては、前記画面配置の変更は、実行前に、前記端末コンピュータの視聴者に報知される。したがって、切り換え前に視聴者がそれを確認する多視点動画データを配信することができる。
15)本発明にかかる多視点動画配信システムにおいては、前記画面配置の変更は、前記端末コンピュータの視聴者への報知後、自動的に実行される。したがって、報知後、自動的に切り換え処理が実行される多視点動画データを配信することができる。
16)本発明にかかる多視点動画配信システムにおいては、前記画面配置の変更は、前記端末コンピュータの視聴者への報知後、視聴者から許可された場合にだけ実行される。したがって、報知後、自動的に切り換え処理が実行される多視点動画データを配信することができる。
17)本発明にかかる多視点動画配信システムにおいては、前記画面配置の変更がなされた後、切り替え前の画面配置に戻すための情報が報知される。したがって、画面配置切り換え後、視聴者が戻すことが容易な多視点動画データを配信することができる。
18)本発明にかかる多視点動画配信システムにおいては、前記画面配置を変更した多視点動画が、前記配信コンピュータから、前記端末コンピュータにて送信される。したがって、端末コンピュータは表示するだけの多視点動画データを配信することができる。
19)本発明にかかる多視点動画配信システムにおいては、前記配信コンピュータには、複数の多視点動画データが記憶されており、前記端末コンピュータから、いずれかの多視点動画データが特定された配信要求が与えられると、前記配信コンピュータは、前記他ユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を配信時から変更して配信する。したがって、配信時から画面配置を変更した状態で多視点動画データを配信することができる。
20)本発明にかかる多視点動画配信システムにおいては、前記配信コンピュータには、複数の多視点動画データが記憶されており、前記配信コンピュータは、前記配信途中で、前記他のユーザの視聴行動履歴を参照して、前記多視点動画の画面配置から変更して配信する。したがって、配信途中から画面配置を変更した状態で多視点動画データを配信することができる。
21)本発明にかかる多視点動画配信システムにおいては、前記多視点動画の画面配置を変更した多視点動画データを配信する時に、前記端末コンピュータの端末特性に応じて、切り換えを制限する制御データを送信し、前記端末コンピュータの再生手段は、前記制御データおよび再生する端末の属性情報に基づき、前記画面配置を変更した再生を実行するか否か判断する。したがって、再生する端末の属性情報に基づき変更した多視点動画データを配信することができる。
22)本発明にかかる多視点動画配信システムにおいては、前記端末コンピュータの属性情報は、当該端末の位置情報である。したがって、再生する端末の位置に基づき変更した多視点動画データを配信することができる。
23)本発明にかかる多視点動画配信システムにおいては、前記端末コンピュータの属性情報は、当該端末の物理的制約である。したがって、再生する端末の物理的制約に基づき変更した多視点動画データを配信することができる。
24)本発明にかかる多視点動画配信装置においては、同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを配信する配信手段、配信した多視点動画についての視聴行動履歴をユーザ別に受信し、ユーザ別に記憶するユーザ視聴行動履歴記憶手段、を備え、前記配信手段は、あるユーザに対して多視点動画データを配信する場合に、前記ユーザ視聴行動履歴記憶手段に記憶された他ユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を変更した多視点動画データを配信する。したがって、他のユーザの視聴行動履歴を参照して、画面配置を変更した多視点動画データを配信することができる。
25)本発明にかかる多視点動画再生装置においては、同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを、配信コンピュータから受信する受信手段、前記多視点動画データを再生する再生手段、前記再生した多視点動画データの視聴行動履歴を前記配信コンピュータに送信する視聴行動履歴送信手段、を備え、前記画面配置を変更した多視点動画データには、前記端末コンピュータにて画面配置を切り換えるための付加データが付与されており、前記再生手段は、前記付加データに基づき、前記画面配置を変更して再生する。したがって、前記付加データを送ることにより画面配置を切り換えた多視点動画データを端末コンピュータにて再生することができる。
本明細書において、「多視点動画の画面配置を変更する」とは、構成される複数の動画(多視点動画)の個別動画を変更せずに、その配置位置や配置の相対的割合を変更する場合はもちろん、個別動画を変更する場合も含む。
1・・・・ 多視点動画配信システム
23・・・CPU
27・・・メモリ
123・・・CPU
127・・・メモリ
23・・・CPU
27・・・メモリ
123・・・CPU
127・・・メモリ
機能ブロック図
図1に、本発明にかかる多視点動画配信システム1の機能ブロック図を示す。多視点動画配信システム1は、配信コンピュータ2と、複数の端末コンピュータ3a〜3nにて構成される。
図1に、本発明にかかる多視点動画配信システム1の機能ブロック図を示す。多視点動画配信システム1は、配信コンピュータ2と、複数の端末コンピュータ3a〜3nにて構成される。
配信コンピュータ2は、配信手段5、ユーザ別視聴行動履歴受信手段7、ユーザ別視聴行動履歴記憶手段6を備えている。
配信手段5は、多視点動画データの要求があると、同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを、多視点動画データを要求した端末コンピュータ3a〜3nに配信する。ユーザ別視聴行動履歴受信手段7は、配信した多視点動画についての視聴行動履歴である視聴操作履歴を端末コンピュータ3a〜3nから受信する。ユーザ別視聴行動履歴記憶手段6は前記受信したユーザ別視聴行動履歴をユーザ別に記憶する。
端末コンピュータ3aは、要求手段8,受信手段9、再生手段10、視聴行動履歴送信手段11を備えている。要求手段8は、配信コンピュータ2に対して多視点動画データを要求する。受信手段9は配信コンピュータ2から送られてきた多視点動画データを受信する。再生手段10は、受け取った多視点動画データを再生する。視聴行動履歴送信手段11は再生した多視点動画データに関する視聴行動履歴を配信コンピュータ2に送信する。
配信コンピュータ2の配信手段5は、あるユーザに対して多視点動画データを配信する場合に、ユーザ視聴行動履歴記憶手段6に記憶された他のユーザの視聴行動履歴を参照して、送信する多視点動画データの画面配置を変更した多視点動画データを配信する。本実施形態においては、かかる視聴行動履歴として、各多視点動画についての配信コンピュータ2からの配信データ属性、また、各多視点動画に対して、視聴ユーザが、興味深さを直接または間接的に表す視聴行動の履歴を採用した。例えば、多視点動画を構成する個別動画のうち、多くのユーザによってサブ画面からメイン画面に切り替えられた個別動画をメイン画面とした配置に変更して表示する。
端末コンピュータ3a以外の他の端末コンピュータの機能も同様である。
2.ハードウェア構成
配信コンピュータ2のハードウェア構成について、図2を用いて説明する。同図は、配信コンピュータ2を、CPUを用いて構成したハードウェア構成の一例である。
配信コンピュータ2のハードウェア構成について、図2を用いて説明する。同図は、配信コンピュータ2を、CPUを用いて構成したハードウェア構成の一例である。
配信コンピュータ2は、CPU23、メモリ27、ハードディスク26、モニタ30、光学式ドライブ25、入力デバイス28、通信ボード31、およびバスライン29を備えている。CPU23は、ハードディスク26に記憶された各プログラムにしたがいバスライン29を介して、各部を制御する。
ハードディスク26は、オペレーティングシステムプログラム26o(以下OSと略す)、メインプログラム26pが記憶される。メインプログラム26pの処理は、後述する。
動画データ記憶部26dには、複数のユーザがアップロードしたユーザ動画、およびニュースチャンネル等の公式動画が記憶されている。各ユーザ動画は、図3に示すように、動画データID、アップロードユーザ名、撮像開始日時、撮像時間、位置情報、インデックスワードで構成されている。本実施形態においては、撮像場所データとしてGPS情報を、撮像時刻データとして、撮影開始時刻および動画の撮像時間を採用した。各公式動画は、図4に示すように、ユーザ動画と同様に動画データIDに、属性データとして撮像場所データおよび撮像時刻データが付加されている。
本実施形態においては、オペレーティングシステムプログラム(OS)26oとして、Windows2008R2(登録商標または商標)を採用したが、これに限定されるものではない。
なお、上記各プログラムは、光学式ドライブ25を介して、プログラムが記憶されたCD−ROM25aから読み出されてハードディスク26にインストールされたものである。なお、CD−ROM以外に、フレキシブルディスク(FD)、ICカード等のプログラムをコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
本実施形態においては、プログラムをCD−ROMからハードディスク26にインストールさせることにより、CD−ROMに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、CD−ROMに記憶させたプログラムを光学式ドライブ25から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの(例えば、データ圧縮されているものを、解凍する等)、さらには、他のモジュール部分と組合して実行可能なものも含む。
配信コンピュータ2は、後述するように、公式動画の組み合わせおよび/またはユーザ動画の組み合わせた多視点動画を生成して、配信する。
端末コンピュータ3a〜3nのハードウェア構成を図5に示す。ハードディスク126にはブラウザプログラム126P、行動履歴抽出プログラム126kが記憶されている。CPU123がブラウザプログラム126Pに基づいて、多視点動画をモニタ130に表示すると、CPU123は行動履歴抽出プログラム126kに基づき、ユーザがおこなった所定の視聴行動を視聴行動履歴記憶部126uに記憶し、配信コンピュータ2に送信する。他の構成は一般的なパソコンなどと同じである。なお、端末コンピュータは、タブレットコンピュータ、スマートフォン、ゲーム機、スマートテレビ、その他の家電製品などであってもよい。
また、行動履歴抽出プログラム126kは予めハードディスク126に記憶するようにしたが、これは必要なプログラムをブラウザプログラムにプラグイン処理で実行させるようにしてもよい。
また、本実施形態においては、ハードディスク126に、ブラウザプログラム126P、行動履歴抽出プログラム126k、行動履歴抽出プログラム126k、視聴行動履歴記憶部126が記憶されている場合について説明したが、これらの記憶場所については限定されない。
3. フローチャート
(3.1 多視点動画生成処理)
つぎに、ユーザ動画と公式動画との関連づけ処理について、図6を用いて説明する。
(3.1 多視点動画生成処理)
つぎに、ユーザ動画と公式動画との関連づけ処理について、図6を用いて説明する。
多視点動画送出装置1のCPU23は、ユーザ動画の属性データを読み出す(図6ステップS101)。具体的には、撮像場所、撮像日時およびインデックスワードである。CPU23は、公式動画と一致するものがあるか否か判断する(ステップS103)。これは、位置情報および撮像日時のズレがあらかじめ定めた範囲内か否かで判断する。本実施形態においては、位置情報のズレを直線距離にして所定距離内(例えば100メートル)、時間のずれを少なくとも一部が重複するかで判断するようにした。例えば、図3に示すようなユーザデータがある場合、ユーザ動画201、203は、図4に示す公式動画K1との位置のずれが所定距離内で、かつ、時間帯が重複しているので、一致する動画データと判断される。これに対して、ユーザ動画202は、時間帯は重複するが、公式動画K1との位置ずれが所定距離を超えているので、一致する動画データと判断されない。また、ユーザ動画204は、公式動画K1との位置ずれは所定距離内であるが、時間帯が重複しないので、一致する動画データと判断されない。
つぎにCPU23は、内容データを解析する(ステップS105)。そして、内容データが一致する場合には、関連づけをする(ステップS107)。これは、同じ対象物に対する動画であっても、公式動画とは、場所または時間帯が離れている場合があるからである。
時間帯は離れているが、場所が近い場合としては、子供の成長記録動画、スポーツやダンスレッスンの練習動画、季節毎のテーマバークにおけるパレード動画、同じ場所における監視カメラ、定点カメラの動画データなどがある。
また、時間帯は近いが、場所が離れている場合としては、遠隔地での擬似セッションの動画(例えば、ボーカル:東京、ギター:大阪、ベース:名古屋等)、各地の年末カウントダウンライブの動画、オリンピック開催時の各地競技動画、試合前の本番会場と練習会場の選手の様子動画、各駅伝ランナーの動画、同じ時間帯に並行して行われたセミナーの動画、大きな商業施設内の監視カメラの動画データなどがある。
公式動画データおよびこれと関連づけられたユーザ動画データは、多視点動画として配信可能状態となる。
本実施形態においては、公式動画データをメイン画面とし、これと関連づけられたユーザ動画をサブ画面として配置するようにしたが、多視点動画の構成はこれに限定されない。例えば、公式動画データだけで生成してもよいし、ユーザ動画をメイン画面とし、これと関連づけられた公式動画データをサブ画面として配置してもよいし、また、ユーザ動画だけで構成するようにしてもよい。
また、公式動画およびユーザ動画のフォーマットについては図3,4にて提示した以外のフォーマットであってもよい。
かかる公式動画またはユーザ動画は、録画されたものはもちろん、ライブ映像も当然含む。
(3.2 多視点動画配信処理)
動画データ記憶部26dに記憶された多視点動画の配信処理について、図7を用いて説明する。以下では、ユーザがIDとパスワードで多視点動画配信システムにログインし、予め配信可能状態となった複数の多視点動画のうちいずれかを選択した場合について説明する。
動画データ記憶部26dに記憶された多視点動画の配信処理について、図7を用いて説明する。以下では、ユーザがIDとパスワードで多視点動画配信システムにログインし、予め配信可能状態となった複数の多視点動画のうちいずれかを選択した場合について説明する。
端末コンピュータのCPU123は、ユーザから配信要求命令があるか否か判断しており(ステップS201)、配信要求命令があれば、配信要求を配信コンピュータに送信する(ステップS202)。配信コンピュータのCPU23(図2参照)は、端末コンピュータから多視点動画を特定した配信要求があるか否か判断しており(ステップS203)、かかる配信要求があると、ユーザ履歴として記憶する(ステップS204)。CPU23は現在の画面配置パラメータを付加して、多視点動画の配信を開始する(ステップS205)。
端末コンピュータのCPU123は、多視点動画を受信するか否か判断しており(ステップS205)、受信すると画面配置パラメータの設定どおりにモニタに表示する(ステップS207)。画面1K〜5Kが1画面に配信された多視点動画の一例を図8に示す。
このように、動画を複数組み合わせた多視点動画を予め複数種類記憶しておき、リスト要求があるとこれを端末コンピュータに送信して、端末コンピュータにてリスト表示し、ユーザが選択した特定の多視点動画を端末コンピュータに配信することができる。
(3.3 ユーザ端末における視聴操作処理)
多視点動画の配信が開始された後は、従来の動画配信サイトと同様に、多視点動画に対する評価やコメントなどを付加することができる。
多視点動画の配信が開始された後は、従来の動画配信サイトと同様に、多視点動画に対する評価やコメントなどを付加することができる。
例えば、図8において、画面1Kはメイン画面である。メイン画面には動画の任意再生時間にタグアイコン20iをクリックすることにより、タグを付与することができる。これは、例えば開始1分20秒後に注目するプレーがあったような場合に、自分はこのプレーに注目したというように使用することができる。また、タグには、コメントを付与することもできる。アイコン10iは「画質を切り換える」、アイコン11iは、「これをお気に入り動画として登録する」、アイコン12iは「この動画のシェアをする」、アイコン13iは、「高評価であることを報知する」アイコンである。
かかるコメントなどの投稿命令があった場合の配信コンピュータと端末コンピュータ間の処理については従来と同様である。例えば、表示された多視点動画をみて、ユーザが投稿するアイコンを選択された場合には以下のように処理が実行される。
端末コンピュータのCPU123は、投稿入力の確定指示があるか否か判断しており(図9ステップS208)、投稿命令があるとこれを配信コンピュータに送信する(ステップS209)。
配信コンピュータのCPU23(図2参照)は、端末コンピュータから投稿があるか否か判断しており(ステップS210)、かかる投稿要求があると、ユーザ履歴として記憶するとともに、投稿結果を反映した配信をおこなう(ステップS211)。
本実施形態においては、投稿としては、タグ投稿、タグ投稿に対するコメントを採用したが、これに限定されず、例えば、テロップ/スーパー投稿、クリッカブルリンク投稿であってもよい。
またアイコン10i〜アイコン13iは一例であり、その他のアイコンを採用してもよい。
また、投稿以外の視聴操作、例えば、「個別視点毎のオンマウス処理」、「ボリューム増減処理」、「ステレオ・モノラル切替処理」、「メイン画面への切り換え処理」、「カメラ群変更処理」、「拡大縮小機能実行処理」、「全画面表示機能実行処理」についても、アイコンを選択することにより、操作可能である。なお、オンマウス処理とはある個別動画にポインティングデバイスをその上にもっていくことをいう。
(3.4 ユーザの視聴処理による画面配置変更処理)
配信コンピュータ2は、ユーザが端末コンピュータで行った視聴操作履歴をユーザ別に記憶し、かかる履歴を用いて配信時の画面配置パラメータを変更する。
配信コンピュータ2は、ユーザが端末コンピュータで行った視聴操作履歴をユーザ別に記憶し、かかる履歴を用いて配信時の画面配置パラメータを変更する。
視聴履歴としては、各多視点動画について、配信コンピュータ2から配信する多視点動画データの配信に伴い発生するデータである。本実施形態においては、「視聴開始時刻」、「視聴終了時刻」、「視聴中断時刻」、「視聴再開時刻」、「総視聴回数」について、図10に示すようにユーザ別、動画ID別に記憶するようにした。
さらに、配信中における行動履歴である「タグ投稿の内容および投稿時刻」、「タグコメントの内容およびその投稿時刻」、「テロップ/スーパー投稿の内容および投稿時刻」、「クリッカブルリンク投稿の内容および投稿時刻」、「接触したフローティングバナーのIDおよび接触時刻」、「個別視点毎のオンマウス処理およびオンマウス時刻」、「ボリューム増減処理および処理時刻」、「ステレオ・モノラル切替処理および処理時刻」、「メイン画面への切り換え処理および処理時刻」、「カメラ群変更処理および処理時刻」、「拡大縮小機能実行処理および処理時刻」、「全画面表示機能実行処理および処理時刻」について、図9に示すようにユーザ別、動画ID別に記憶するようにした。これらは、多視点動画に対して視聴したユーザが、興味深さを直接または間接的に表す視聴行動データとして後述するように、動的な切り換え配信処理に用いられる。なお、オンマウス処理とはある個別動画にポインティングデバイスをその上にもっていくことをいう。
図11を用いて、かかる視聴操作履歴を配信コンピュータに送出させる処理について説明する。
端末コンピュータのCPU123は、視聴操作履歴をハードディスク126に記憶する(ステップS301)。CPU123は、送信条件に合致するか否か判断しており(ステップS302)、送信条件に合致すると、配信コンピュータへ送信する(ステップS303)。本実施形態においては、送信条件として、記憶してからの経過時刻を採用し、CPU123が所定時刻経過した場合に端末コンピュータから配信コンピュータへ送信するようにした。かかる送信条件としては、これらに限定されず、当該動画の視聴終了後や、履歴に該当する操作を採用してもよい。
また、配信コンピュータから、送信すべき履歴がないかを問い合わせて、これを端末コンピュータが判断するようにしてもよい。
配信コンピュータのCPU23は、かかる履歴を受け取ったか否か判断しており(ステップS304)、受信するとこれを、ユーザ別に図10のように、ユーザ履歴として蓄積記憶する(ステップS305)。
配信コンピュータのCPU23は、蓄積されたユーザ履歴を用いて画面配置パラメータを変更する割り込み処理を行う。本実施形態においては、図12に示すように、CPU23は切り換え条件に合致するか否かを判断し(ステップS311)、合致する場合には、画面配置パラメータを書き換える(ステップS312)。
例えば、配信している多視点動画について、既視聴したユーザのうち60%以上のユーザがあるサブ画面をメイン画面に切り換えたような場合には、他のユーザについても、そのサブ画面がメイン画面として表示されるためのパラメータを変更する。
このようにして、画面配置パラメータを動的に切り換えて、端末コンピュータにて、画面配置の異なった表示が行われる。このように、あるユーザに多視点動画を配信する際に、他のユーザの視聴行動を参照して、画面配置を変更した多視点動画データを配信することにより、多視点動画を構成する個々の動画について、他のユーザがどのように興味を持ったかを踏まえての画面配置での多視点動画配信が可能となる。
なお、上記例では、他のユーザの視聴行動を参照にして別のユーザの画面配置を変更するようにしたが、自分自身の視聴操作履歴を参照にして、当該ユーザの画面配置を変更するようにしてもよい。たとえば、サッカーの試合の多視点動画では、ゴール地点の動画をメイン画面に切り換える率が高いユーザは、サッカーの試合では、そのような画面配置で配信するようにすればよい。たとえば、個別の視点の属性タグを参照するようにすればよい。
また、同じコンテンツを繰り返し視聴している場合には、まだ視聴したことのない個別動画の組み合わせで配信するようにしてもよい。このように、特定のユーザの端末コンピュータにおける画面配置を第三者または自分自身の操作履歴から動的に変更することができる。
また、上記動的変更の対象とするユーザを、ユーザ全体ではなく、ユーザ属性が類似のユーザ操作履歴を参照するようにしてもよい。かかるユーザ属性としては、例えば、年齢などの静的属性が似ているユーザ群、視聴によって変化する動的な視聴傾向属性が似ているユーザ群、過去の視聴作品属性が似ているユーザ群、過去の視聴画面属性が似ているユーザ群等が採用可能である。例えば、特定の野球チームが好きなユーザは、同じ属性を有するユーザ群の行動履歴を参照すればよい。
さらに、これらを切り換える際に、時間帯をパラメータとして検出するようにしてもよい。例えば、ある時間帯になると、その多視点動画のあるサブ画面がメイン画面に切り換えられる傾向にある場合には、その時間帯になると上記切換を行うようにしてもよい。
このように、ユーザの視聴行動に基づいて、端末コンピュータにて適切な多視点動画配信の画面配置を提案することができる。
4.他の実施形態
なお、画面配置パラメータを変更するためのデータとしては、例えば、各構成小動画画面の配置傾向、構成小動画画面のサブ画面への移行率が低いもの、構成小画面のメイン画面への移行率が高いもの、構成小画面の画面拡大率等が、採用可能である。また、構成小動画画面ごとに、評価を付与できるようにしておき、かかる評価が高いかどうかで決定するようにしてもよい。
なお、画面配置パラメータを変更するためのデータとしては、例えば、各構成小動画画面の配置傾向、構成小動画画面のサブ画面への移行率が低いもの、構成小画面のメイン画面への移行率が高いもの、構成小画面の画面拡大率等が、採用可能である。また、構成小動画画面ごとに、評価を付与できるようにしておき、かかる評価が高いかどうかで決定するようにしてもよい。
図13〜図17に配信コンピュータに記憶されるユーザ毎の視聴履歴に基づいて決定された属性データの一覧を示す。例えば、「視聴開始時刻」のように、視点、多視点動画全体、ユーザと3つについて記憶される属性もあれば、「タグコメント総数」のようにユーザだけ記憶される属性もある。このような多視点動画およびまたはユーザごとに視聴に関して行った行動履歴を、配信コンピュータで記憶することにより、配信する多視点動画の動的な画面配置を切り換えることができる。
本実施形態においては、画面配置をするための付加データ(配置特定データ)で、動的に切り換えるようにした。かかる切り替えは、たとえば、HTML5のVIDEOタグを用いて、画面の位置および/または、縮小率などを変更するようにすればよい。
また、上記付加データを用いてユーザ端末で切り替えるのではなく、直接、画面配置自体を変更して配信するようにしてもよい。
かかるサーバ側で配置変更して配信する場合の、サーバの構成について図17を用いて説明する。図17のサーバシステム200は、エンコーダ201、ユニキャストプロトコルでストリームスイッチ203、HLS化モジュール207、多視点映像合成モジュール205、Webサーバ209を備えている。
エンコーダ201は、与えられた6つの動画を、映像はmpeg2形式に、音声はAAC形式にエンコードし、ユニキャストプロトコルでストリームスイッチ203に送信する。ストリームスイッチ203は、これらの動画データを、マルチキャストプロトコルにて、HLS化モジュール207、および多視点映像合成モジュール205に送信する。多視点映像合成モジュール205は前記動画データを組合せたサブ画面の多視点動画を複数合成処理する。かかる処理は、例えば、EP1164794A1、EP917371A2、USP5617135公報に開示された通常の合成技術を用いればよい。
本実施形態においては、以下のような6パターンをサブ画面多視点動画を生成した。6つの動画を動画D1〜D6として、動画D1を除いた残りの5の動画を配置したサブ画面動画、動画D2を除いた残りの5の動画を配置したサブ画面動画、動画D3を除いた残りの5の動画を配置したサブ画面動画、・・・動画6を除いた残りの5の動画を配置したサブ画面動画とした。
多視点映像合成モジュール205は、これらの6パターンのサブ画面多視点動画を、ストリームスイッチ203に送信する。本実施形態においては、動画D1を除いた残りの5の動画を配置したサブ画面動画に動画D1をメイン画面として組み合わせた多視点動画TD1、動画D2を除いた残りの5の動画を配置したサブ画面動画に動画D2をメイン画面として組み合わせた多視点動画TD2、・・・というように6パターンの多視点動画を生成して、ストリームスイッチ203に送信するようにした。
ストリームスイッチ203は、多視点映像合成モジュール205から受け取った6パターンのサブ画面多視点動画に、エンコーダ201から受け取った6つの動画をメイン画面として組み合わせた多視点動画を6パターン生成し、HLS化モジュール205に送信する。HLS化モジュール205は、これらの多視点動画のうち、デフォルトの多視点動画をHLS形式に変換して、Webサーバ209に送信する。残りの多視点動画については記憶する。本実施形態においては、デフォルトとして多視点動画TD1を採用した。
本実施形態においては、配信する多視点動画TD1以外の多視点動画TD2〜TD6については、HLS化モジュール205に記憶するようにしたが、別途記憶部を設けるようにしてもよい。
Webサーバ209は、受け取った多視点動画TD1を送信要求のあった端末コンピュータの形式に変換して、配信する。
配信していた多視点動画について配置変更要求があった場合の処理について説明する。動画D1がメイン画面を、動画D2〜動画D6がサブ画面を構成するの多視点動画を配信している場合に、動画D6がメイン画面を、動画D1〜動画D5がメイン画面を構成する多視点動画に変更する場合の処理について説明する。
端末コンピュータ220のユーザは、動画D1がメイン画面を、動画D2〜動画D6がサブ画面を構成する多視点動画TD1のうち、サブ画面の動画D6をクリックする。これにより、端末コンピュータ220は、メイン画面を動画D6、サブ画面を動画D1〜D5に変更したレイアウト情報(XML形式)をWebサーバ209に送信する。本実施形態においては、サブ画面のクリックにメイン画面入れ替えのAPI (Application Programming Interface)を関連づけておき、いずれかのサブ画面がクリックされると、端末コンピュータは、そのサブ画面をメイン画面とするレイアウト情報をWebサーバ209に送信するようにしたが、これに限定されない。
Webサーバ209は、受信したレイアウト情報に基づく多視点動画が、HLS化モジュール207に記憶されているかを問い合わせる。HLS化モジュール207は、動画D6がメイン画面を、動画D1〜動画D5がサブ画面を構成する多視点動画TD6は既にバッファしているので、多視点動画TD6をHLS形式に変換して、Webサーバ209に送信する。Webサーバ209は、多視点動画TD6を端末コンピュータ220に送信する。これにより、画面配置が変更された多視点動画TD6が端末コンピュータ220に表示される。
なお、サブ画面とメイン画面を入れ替える以外の処理の場合には、HLS化モジュール207は、記憶されていないと回答する。これにより、以下のような処理が実行される。Webサーバ209は、ストリームスイッチ203に、受信したレイアウト情報をストリームスイッチ用レイアウト情報(RFCプロトコル)に変換して、ストリームスイッチ203に送信する。これにより、ストリームスイッチ203は、受信したレイアウト情報に基づく多視点動画を生成する。生成された多視点動画は、HLS化モジュール207を介して、Webサーバ209に送信される。これにより、新しいレイアウト情報に基づく多視点動画が配信される。メイン画面とサブ画面の組み合わせを変更した複数のパターンの多視点動画か生成される点については上記と同様である。
図17に示すサーバシステム200の、多視点映像合成モジュール205、ストリームスイッチ203のような多視点動画生成プログラムを端末コンピュータに予めインストールしておき、多視点動画の元となる各動画データを端末コンピュータに送り、配置の変更は端末でおこない、かかる配置特定データを変更することにより、端末コンピュータにて動的に切り換えることも可能である。
また、端末コンピュータにて、画面配置を動的に自動切り替えするのはでなく、画面配置の切り替え前に注意喚起する、注意喚起した後に自動またはユーザが手動での切り換えする、切り替え後に戻すための注意喚起する、ことも可能である。
本実施形態においては、切り換えるタイミングはその多視点動画の配信時としたが、配信途中で動的に切り換えるようにしてもよい。
また、端末コンピュータの特性(端末の物理的制約または端末の地図上の位置等)に応じて切り換えるようにしてもよい。例えば、端末の物理的制約としては、表示画面の解像度または、画面の大きさに応じて、多視点動画を構成する個別動画の数、メイン画面の大きさなどを変更するようにしてもよい。また、受信している端末コンピュータの地図上の位置によって、画面配置を換えてもよい。例えば、ある地域の端末コンピュータは、その多視点動画のあるサブ画面がメイン画面に切り換えられる傾向にある場合には、その地域の端末コンピュータの画面配置はそのように配置切換を行うようにしてもよい。
また、自分自身または他人の視聴傾向ではなく、多視点動画のコンテンツ特性に応じて初期画面を切り換えるようにしてもよい。
また、多視点動画を構成する個別動画として、CM(コマーシャル動画)を採用してもよい。かかる動画も上記と同様に、切り換えることが可能である。
属性データとしては、各シーンに付けられたタグ情報や、画像検出も含めた広義のアノテーション(動画にオーバーレイとして表示されるクリック可能なテキスト)を属性データとして用いることも可能である。また、かかるタグ情報は、システムが元々付加したタグ、ユーザーが動画に付加したタグ、システムが類推して動画に付加したタグなど、どのようなものであってもよい。
なお、上記実施形態では、表示されているサブ画面のうち、メイン画面に選択された個別動画を、他のユーザのメイン画面と配置する場合について説明したが、予めサブ画面として選択されていない個別動画についても、サブ画面またはさらにメイン画面として配置できるようにすることもできる。例えば、配信コンピュータから、初期は1画面に6つの個別動画で配信している場合に、初期には表示されないが、個別動画として7番目以降に関連づけられている個別動画の一覧を配信しておき、ユーザが7番目以降に関連づけられている個別動画をサブ画面またはメイン画面に配置した傾向が高ければ、それに基づき他の端末コンピュータの画面配置を切り換えることもできる。
また、その場合に、サブ画面などを切り換えるのではなく、ポップイン表示させるようにしてもよい。また、その場合に、多視点動画を構成する個別動画数を増減させるようにしてもよい。
また、視聴者の能動的ではないアクションをパラメータとして抽出するようにしてもよい。例えば、入札単価の高い広告素材を強制表示する、各個別動画に付かされたタグ情報などに基づき、時間と共に多視点動画のレイアウトを動的に変更する。
上記実施形態では、多視点動画を構成する個別動画の切り換えする場合を例として説明したが、インターネットにて接続された別のサイトへのアウトリンク(例えば、別のエレクトロニックコマースのサイトへ飛ばす、または、インリンク(別の関連動画へ飛ばすなどの処理も可能である。
なお、上記実施形態においては、自動的に画面配置を変更するようにしたが、切り替え前にユーザに「画面配置を切り替えます」というようなメッセージを表示させ、許可した場合に、配置変換処理をするようにしてもよい。また切り替え後、切り替え前の画面配置に戻すアイコンを表示し、かかる戻す処理をするのかをユーザに尋ねるようにしてもよい。
なお、各視点の評価値の演算手法としては、一般的な動画の評価手法が採用可能である。例えば、各カメラ視点における高評価数、多視点動画としての高評価数などをスコアとして総計すればよい。高評価数以外の、他の特定ログについても同様である。
また、各スコアについては重み付けを行うようにしてもよい。また、重み付けを決定するのに、回帰分析してもよい。
視聴傾向を推定するには、例えば、最尤法、ベイズ推定、アソシエーション、協調フィルタリング、ベイジアンネットワーク、テキストマイニング等が採用可能である。また、配信コンピュータから表示を切り換えるため、下記のような条件(ルール)を記憶しておき、このような特定順序による表示切換が行われた場合には、次の画面をそのように切り換えてもよい。例えば、「メイン画面が視点「1」→「6」→「3」→「2」と切り換えられた場合には、次は5秒後に「5」に切り換える」という条件をルールとして端末コンピュータに送信しておき、その端末コンピュータにて、メイン画面が1→6→3→2と切り換えられた場合には、自動的にメイン画面を5と切り換えるようにしてもよい。
また、過去の視聴傾向がバラバラで傾向がつかめない場合には、ランダムフラグを端末コンピュータに送り、端末にて乱数発生させて、ランダムに画面配置を変更するようにしてもよい。
なお、本実施形態においては、上記傾向が閾値を上回る場合に、切り換えるようにしたが、設定値を下回る場合に、切り換えるようにしてもよい。また、かかる閾値は絶対値ではなく、相対値、例えば、視聴者の傾向のランキング(上位1〜10位までを抽出、「下位下〜最終位まで抽出)で決定するようにしてもよい。
尤度(ゆうど)で判断するようにしてもよい。また、有意水準を越えた場合、例えば、 t値、z値、p値等で判断してもよい。また、情報量基準としては、赤池情報量規準(AIC)、BIC(ベイズ情報量規準)など、種々の情報量基準が採用可能である。
また、本実施形態においては、切替要素として、構成カメラ群の数(例:6画面 → 4画面)、メイン画面とサブ画面の配置など、各種の画面配置を採用したが、画面配置としては、例えば、構成カメラ群のレイアウト(例:カメラA:左、カメラB:右 → カメラA:右、カメラB:左)、各カメラの表示回数 (例:プレミアムビュー、制限付ビュー) 各カメラの拡大・縮小比率、動画の画角(例:通常、パノラマ)なども同様に、切り替え可能である。
さらに、個別動画と広告の画面構成率、テロップ・タグなどの表示有無、動画サムネイルスライド速度、オートズーム(例えば、被写体に寄る)などを切り換えることも可能である。
また、画面配置切り換えとして、再生位置をずらした動画画面に切り換えることも可能である。例えば、配信初期から1分20秒後にメイン画面を「6」→「3」と切り換えた後、10秒巻き戻し処理が多く実行されたような場合、配信初期から1分20秒後に、メイン画面を「6」→「3」と切り換えるとともに、10秒巻き戻し処理して再生することも可能である。
また、別の多視点動画への切り換えることも可能である。例えば、歌手グループαの構成員α1の視点が、開始後5分20秒で無くなった場合、構成員α1のファンは、構成員α1が登場している別の多視点動画に切り換えるという処理がなされる場合もある。このような場合、同じユーザ属性を有するユーザについては、これを自動的に切り換えることにより、切り換える処理が省ける。
また、同じ状況で、複数の多視点動画を画面上に表示して、ユーザ端末にてユーザが構成する個別動画の組み合わせを変えられるようにしてもよい。かかる履歴を記憶することにより、多視点動画の構成をも切り換えることができる。
また、上記実施形態においては、切り換えるのは画面配置としたが、サウンドプロパティを切り換えるようにしてもよい。例えば、配信初期から2分20秒後に音声ボリュームを大きくする処理が多く実行されたような場合、その多視点動画配信初期から2分20秒後に、音声ボリュームを大きくすることも可能である。その際、画面配置切換と重畳させるようにしてもよい。サウンドプロパティとしては、ミュート、主音声/副音声切り換え、ステレオ/モノラル切り換え、バックミュージック/BGM開始または停止などが採用可能である。
また、サウンドプロパティではなく、使用言語を切り換えるようにしてもよい。これにより、途中で別の言語を使用する人がインタビューされたような場合、使用する言語を翻訳して報知することも可能となる。
また、画面配置でなく、物理要素を切り換えるようにしてもよい。端末コンピュータのモニタの明度/輝度の変更(例、白黒/カラー/セピア、RGB)、配信帯域/配信画質の変更(例:128kbps→256kpbs、240p→720p)、端末コンピュータに接続されているネットワークカメラの首振り、ズーム処理、ピント処理などをするようにしてもよい。
このように、画面配置の切換とは別に、またはこれと組み合わせて、ある端末コンピュータの撮像する動画を撮像条件を切り換えることにより、より高機能な多視点動画配信およびそれを用いた動的切り換えが可能となる。
上記実施形態においては、端末コンピュータの処理は、ブラウザプログラムで実行させたが、専用ハードウェアまたはソフトウェアを搭載させることも可能である。
なお、本実施形態においては端末における視聴操作履歴それ自体を配信コンピュータに取得させ、各種の分析を行うようにしたが、端末にてある程度データ処理した結果を配信コンピュータに送って、これを記憶するようにしてもよい。例えば、メインへの切り換え率などである。この場合、配信コンピュータに視聴操作履歴およびタイムスタンプを全て送信するのではなく、これらから得られた値を配信コンピュータに記憶するようにしてもよい。
なお、本実施形態においては、他のユーザの視聴行動履歴を参照して、同じ画面配置となるように、配信する多視点動画データの画面配置を変更したがこれには限定されない。
また、端末コンピュータはパソコンではなく、携帯端末などであってもよい。
上記実施形態においては、図1に示す機能を実現するために、CPUを用い、ソフトウェアによってこれを実現している。しかし、その一部若しくはすべてを、ロジック回路等のハードウェアによって実現してもよい。
なお、上記プログラムの一部の処理をオペレーティングシステム(OS)にさせるようにしてもよい。
Claims (25)
- A)下記を備えた配信コンピュータ、
a1)同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを配信する配信手段、
a2)配信した多視点動画についての視聴行動履歴を受信するユーザ別視聴行動履歴受信手段、
a3)前記受信したユーザ別視聴行動履歴をユーザ別に記憶するユーザ別視聴行動履歴記憶手段、
B)下記を備えた端末コンピュータ、
b1)前記多視点動画データを前記配信コンピュータから受信する受信手段、
b2)前記多視点動画データを再生する再生手段、
b3)前記再生した多視点動画データに関する視聴行動履歴を前記配信コンピュータに送信する視聴行動履歴送信手段、
を備えた多視点動画配信システムであって、
C)前記配信手段は、あるユーザに対して多視点動画データを配信する場合に、前記ユーザ視聴行動履歴記憶手段に記憶された他のユーザの視聴行動履歴を参照して、前記多視点動画データの画面配置を変更した多視点動画データを配信すること、
を特徴とすると多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記視聴行動履歴は、画面配置傾向であること、
を特徴とする多視点動画配信システム。 - 請求項2の多視点動画配信システムにおいて、
前記多視点動画データは、前記個別動画を少なくとも1のメイン画面と少なくとも1のサブ画面から構成されており、
前記配信手段は、前記複数の個別動画のうち、当初メイン画面で表示されていたものが、サブ画面に切り換えられた切り換え率に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信すること、
を特徴とする多視点動画配信システム。 - 請求項2の多視点動画配信システムにおいて、
前記多視点動画データは、前記個別動画を少なくとも1のメイン画面と少なくとも1のサブ画面から構成されており、
前記配信手段は、前記複数の個別動画のうち、当初サブ画面で表示されていたものが、メイン画面に切り換えられた切り換え率に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信すること、
を特徴とする多視点動画配信システム。 - 請求項2の多視点動画配信システムにおいて、
前記多視点動画データは、メイン画面と前記メイン画面よりも表示領域の小さなサブ画面から構成されており、
前記配信手段は、前記複数の個別動画のうち、再生時に変更された個別動画の表示割合に基づいて、前記多視点動画データの画面配置を変更する多視点動画データを配信すること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記視聴行動履歴は、前記他のユーザが再生時にしたその個別動画への評価であること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記配信手段は、ユーザ属性が類似のユーザ群に属するユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を変更した多視点動画データを配信すること、
を特徴とする多視点動画配信システム。 - 請求項7の多視点動画配信システムにおいて、
前記ユーザ属性は、ユーザの静的属性であること、
を特徴とする多視点動画配信システム。 - 請求項7の多視点動画配信システムにおいて、
前記ユーザ属性は、視聴によって変化する視聴傾向属性であること、
を特徴とする多視点動画配信システム。 - 請求項9の多視点動画配信システムにおいて、
前記視聴傾向属性は過去の視聴作品の属性であること、
を特徴とする多視点動画配信システム。 - 請求項9の多視点動画配信システムにおいて、
前記視聴傾向属性は過去の視聴画面の属性であること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記画面配置を変更する多視点動画には、前記端末コンピュータにて画面配置を切り換えるための付加データが付与されており、
前記端末コンピュータの再生手段は、前記付加データに基づき、前記画面配置を変更して再生すること、
を特徴とする多視点動画配信システム。 - 請求項12の多視点動画配信システムにおいて、
前記画面配置の変更は、前記端末コンピュータの視聴者の操作無しに自動的に実行されること、
を特徴とする多視点動画配信システム。 - 請求項12の多視点動画配信システムにおいて、
前記画面配置の変更は、実行前に、前記端末コンピュータの視聴者に報知されること、
を特徴とする多視点動画配信システム。 - 請求項14の多視点動画配信システムにおいて、
前記画面配置の変更は、前記端末コンピュータの視聴者への報知後、自動的に実行されること、
を特徴とする多視点動画配信システム。 - 請求項14の多視点動画配信システムにおいて、
前記画面配置の変更は、前記端末コンピュータの視聴者への報知後、視聴者から許可された場合にだけ実行されること、
を特徴とする多視点動画配信システム。 - 請求項13の多視点動画配信システムにおいて、
前記画面配置の変更がなされた後、切り替え前の画面配置に戻すための情報が報知されること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記画面配置を変更した多視点動画が、前記配信コンピュータから、前記端末コンピュータにて送信されること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記配信コンピュータには、複数の多視点動画データが記憶されており、
前記端末コンピュータから、いずれかの多視点動画データが特定された配信要求が与えられると、前記配信コンピュータは、前記他ユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を配信時から変更して配信すること、
を特徴とする多視点動画配信システム。 - 請求項1の多視点動画配信システムにおいて、
前記配信コンピュータには、複数の多視点動画データが記憶されており、
前記配信コンピュータは、前記配信途中で、前記他のユーザの視聴行動履歴を参照して、前記多視点動画の画面配置から変更して配信すること、
を特徴とする多視点動画配信システム。 - 請求項12〜請求項17のいずれかの多視点動画配信システムにおいて、
前記多視点動画の画面配置を変更した多視点動画データを配信する時に、前記端末コンピュータの端末特性に応じて、切り換えを制限する制御データを送信し、
前記端末コンピュータの再生手段は、前記制御データおよび再生する端末の属性情報に基づき、前記画面配置を変更した再生を実行するか否か判断すること、
を特徴とする多視点動画配信システム。 - 請求項21の多視点動画配信システムにおいて、
前記端末コンピュータの属性情報は、当該端末の位置情報であること、
を特徴とすると多視点動画再生装置。 - 請求項21の多視点動画配信システムにおいて、
前記端末コンピュータの属性情報は、当該端末の物理的制約であること、
を特徴とすると多視点動画再生装置。 - 同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを配信する配信手段、
配信した多視点動画についての視聴行動履歴をユーザ別に受信し、ユーザ別に記憶するユーザ視聴行動履歴記憶手段、
を備え、
前記配信手段は、あるユーザに対して多視点動画データを配信する場合に、前記ユーザ視聴行動履歴記憶手段に記憶された他ユーザの視聴行動履歴を参照して、前記多視点動画の画面配置を変更した多視点動画データを配信すること、
を特徴とすると多視点動画配信装置。 - 同一対象に対する多視点動画を個別動画として、これを複数組み合わせて1画面に配置した多視点動画データを、配信コンピュータから受信する受信手段、
前記多視点動画データを再生する再生手段、
前記再生した多視点動画データの視聴行動履歴を前記配信コンピュータに送信する視聴行動履歴送信手段、
を備え
前記画面配置を変更した多視点動画データには、前記端末コンピュータにて画面配置を切り換えるための付加データが付与されており、
前記再生手段は、前記付加データに基づき、前記画面配置を変更して再生すること、
を特徴とすると多視点動画再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015004124A JP2015092750A (ja) | 2013-10-01 | 2015-01-13 | 多視点動画配置システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013206388 | 2013-10-01 | ||
JP2013206388 | 2013-10-01 | ||
JP2015004124A JP2015092750A (ja) | 2013-10-01 | 2015-01-13 | 多視点動画配置システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014534692A Division JP5683756B1 (ja) | 2013-10-01 | 2014-02-27 | 多視点動画配置システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015092750A true JP2015092750A (ja) | 2015-05-14 |
Family
ID=52778417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015004124A Pending JP2015092750A (ja) | 2013-10-01 | 2015-01-13 | 多視点動画配置システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160269794A1 (ja) |
EP (1) | EP3054692A4 (ja) |
JP (1) | JP2015092750A (ja) |
WO (1) | WO2015049810A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6141495B1 (ja) * | 2016-07-06 | 2017-06-07 | 株式会社 ディー・エヌ・エー | 動画を記録するためのプログラム、システム、及び方法 |
JP2019050576A (ja) * | 2017-09-04 | 2019-03-28 | 株式会社コロプラ | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
JP6926304B1 (ja) * | 2020-08-31 | 2021-08-25 | Kddi株式会社 | 画像表示装置及びプログラム |
JP2022041908A (ja) * | 2020-08-31 | 2022-03-11 | Kddi株式会社 | 画像表示装置、画像表示方法及びプログラム |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6412337B2 (ja) * | 2014-05-08 | 2018-10-24 | キヤノン株式会社 | 管理装置、管理方法、およびプログラム |
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP6598109B2 (ja) * | 2014-12-25 | 2019-10-30 | パナソニックIpマネジメント株式会社 | 映像受信方法及び端末装置 |
KR102126257B1 (ko) * | 2015-02-13 | 2020-06-24 | 에스케이텔레콤 주식회사 | 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치 |
US10462497B2 (en) | 2015-05-01 | 2019-10-29 | Dentsu Inc. | Free viewpoint picture data distribution system |
JP2017011596A (ja) * | 2015-06-25 | 2017-01-12 | ヤマハ株式会社 | 制御方法 |
WO2018135334A1 (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
CN107172502B (zh) * | 2017-04-28 | 2020-01-21 | 北京奇艺世纪科技有限公司 | 虚拟现实视频播放控制方法及装置 |
JP6987567B2 (ja) * | 2017-08-07 | 2022-01-05 | 日本放送協会 | 配信装置、受信装置及びプログラム |
EP3932082A1 (en) * | 2019-02-27 | 2022-01-05 | British Telecommunications public limited company | Multicast assisted delivery |
KR102638162B1 (ko) * | 2020-01-30 | 2024-02-20 | 아마텔러스 인크. | 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램 |
GB2598295B (en) | 2020-08-19 | 2023-02-22 | British Telecomm | Content delivery |
CN112929580A (zh) * | 2021-01-14 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 多视角视频播放方法、装置、系统、服务器和客户端设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3578830D1 (de) | 1984-06-14 | 1990-08-30 | Advanced Micro Devices Inc | Mehrschicht-waermesenkpackung fuer integrierte schaltung. |
JPH0779424A (ja) | 1993-09-06 | 1995-03-20 | Hitachi Ltd | 多地点映像通信装置 |
JP3662129B2 (ja) | 1997-11-11 | 2005-06-22 | 松下電器産業株式会社 | マルチメディア情報編集装置 |
JP2003018583A (ja) * | 2001-07-05 | 2003-01-17 | Sony Corp | 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ |
JP4185333B2 (ja) * | 2001-09-07 | 2008-11-26 | 松下電器産業株式会社 | 映像配信装置および映像受信装置 |
JP5029062B2 (ja) | 2007-02-26 | 2012-09-19 | 富士通株式会社 | 多視点動画像伝送システム |
US8522289B2 (en) * | 2007-09-28 | 2013-08-27 | Yahoo! Inc. | Distributed automatic recording of live event |
JP4882989B2 (ja) * | 2007-12-10 | 2012-02-22 | ソニー株式会社 | 電子機器、再生方法及びプログラム |
US8280226B2 (en) * | 2009-04-06 | 2012-10-02 | International Business Machines Corporation | Content recorder multi-angle viewing and playback |
JP2013045286A (ja) | 2011-08-24 | 2013-03-04 | Sumitomo Osaka Cement Co Ltd | Icチップ及びicチップの配置方法 |
-
2014
- 2014-02-27 WO PCT/JP2014/001050 patent/WO2015049810A1/ja active Application Filing
- 2014-02-27 EP EP14830363.9A patent/EP3054692A4/en not_active Withdrawn
- 2014-02-27 US US14/400,045 patent/US20160269794A1/en not_active Abandoned
-
2015
- 2015-01-13 JP JP2015004124A patent/JP2015092750A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6141495B1 (ja) * | 2016-07-06 | 2017-06-07 | 株式会社 ディー・エヌ・エー | 動画を記録するためのプログラム、システム、及び方法 |
JP2018005713A (ja) * | 2016-07-06 | 2018-01-11 | 株式会社 ディー・エヌ・エー | 動画を記録するためのプログラム、システム、及び方法 |
JP2019050576A (ja) * | 2017-09-04 | 2019-03-28 | 株式会社コロプラ | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
JP6926304B1 (ja) * | 2020-08-31 | 2021-08-25 | Kddi株式会社 | 画像表示装置及びプログラム |
JP2022041908A (ja) * | 2020-08-31 | 2022-03-11 | Kddi株式会社 | 画像表示装置、画像表示方法及びプログラム |
JP2022040586A (ja) * | 2020-08-31 | 2022-03-11 | Kddi株式会社 | 画像表示装置及びプログラム |
JP7041313B2 (ja) | 2020-08-31 | 2022-03-23 | Kddi株式会社 | 画像表示装置、画像表示方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20160269794A1 (en) | 2016-09-15 |
EP3054692A1 (en) | 2016-08-10 |
EP3054692A4 (en) | 2017-04-05 |
WO2015049810A1 (ja) | 2015-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015049810A1 (ja) | 多視点動画配置システム | |
US11290791B2 (en) | Generating a customized highlight sequence depicting multiple events | |
US11594028B2 (en) | Video processing for enabling sports highlights generation | |
US10642465B2 (en) | Method and system for media selection and sharing | |
US8615777B2 (en) | Method and apparatus for displaying posting site comments with program being viewed | |
US9787627B2 (en) | Viewer interface for broadcast image content | |
US7739584B2 (en) | Electronic messaging synchronized to media presentation | |
US7596759B2 (en) | Instant football widget | |
US20110154200A1 (en) | Enhancing Media Content with Content-Aware Resources | |
KR20140121395A (ko) | 사회적 메시지를 콘텐츠 타임라인과 동기화하기 위한 방법 및 시스템 | |
WO2014050968A1 (ja) | 投稿状況通知システム、情報通信端末、投稿状況通知方法およびプログラム | |
JP2007266800A (ja) | 情報再生装置 | |
US9055342B2 (en) | Information processing apparatus and information processing method | |
US11277668B2 (en) | Methods, systems, and media for providing media guidance | |
WO2014050937A1 (ja) | 情報処理装置、投稿システム、表示制御方法およびプログラム | |
US9245584B2 (en) | Information processing apparatus and information processing method | |
JP2020527896A (ja) | 非線形コンテンツ提示及び経験 | |
JP2009093357A (ja) | 情報処理装置、コンテンツ提供サーバ、情報処理方法およびコンテンツ提供方法 | |
US20210306680A1 (en) | System, method, user equipment and computer-readable recording medium for live streaming activity | |
JP5683756B1 (ja) | 多視点動画配置システム | |
GB2527896A (en) | Methods and systems for establishing a mode of communication between particular users based on perceived lulls in media assets | |
JP5073535B2 (ja) | コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体 | |
JP2013097578A (ja) | 電子機器、映像表示装置、電子機器の制御方法、電子機器の制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150813 |