JP2020043584A - 複数のメディアストリームの処理 - Google Patents

複数のメディアストリームの処理 Download PDF

Info

Publication number
JP2020043584A
JP2020043584A JP2019206869A JP2019206869A JP2020043584A JP 2020043584 A JP2020043584 A JP 2020043584A JP 2019206869 A JP2019206869 A JP 2019206869A JP 2019206869 A JP2019206869 A JP 2019206869A JP 2020043584 A JP2020043584 A JP 2020043584A
Authority
JP
Japan
Prior art keywords
media
processor
event
data
studio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019206869A
Other languages
English (en)
Other versions
JP7080208B2 (ja
Inventor
アブラモフ，アンドレイ
Abramov Andrey
ディモフ，ドミトリー
Dimov Dmitry
ジェン ケン リー，チー
Chih Jen Ken Lee
ジェン ケン リー，チー
ヴェンカタ グナナ メヘルカンス ヴリミ，ナガ
Venkata Gnana Meherkanth Vurimi Naga
ヴェンカタ グナナ メヘルカンス ヴリミ，ナガ
エゴロフ，オレクサンドル
Yegorov Oleksandr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sling Media LLC
Original Assignee
Sling Media LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sling Media LLC filed Critical Sling Media LLC
Publication of JP2020043584A publication Critical patent/JP2020043584A/ja
Application granted granted Critical
Publication of JP7080208B2 publication Critical patent/JP7080208B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Abstract

【課題】メディアスタジオを含むメディア処理システムにおいて、ユーザがスタジオを実演中のイベントに持っていくことができるようにする。【解決手段】メディアスタジオは、複数のメディア入力アイテムの同時プレビューなどのプレビュー、複数のメディア入力アイテムに基づくメディア出力アイテムの生成、メディア出力アイテムの共有、および、将来の視聴のためのメディア出力アイテムの格納の全てを、離れたオペレータコンソールを介して行うことを可能にする。メディアスタジオは、予め決められた規則に基づいて、メディア出力アイテムのための推薦を生成するように、および／または、メディア出力アイテムを直接生成するようにプログラムされる。【選択図】図１

Description

＜関連出願のクロスリファレンス＞
本出願は、２０１５年１２月４日に出願された米国仮特許出願６２／２６３，０８０号（整理番号Ｐ２０１５−０９−１６（０１０３１−００６６Ｐ）に基づく優先権と全ての利益を主張する。
動画データなどのストリーミング配信されたメディアデータの使用が急激に増加してきている。動画は、教育的目的、スポーツイベントの記録や観戦、個人的な出来事や家族の出来事の共有、不動産の売却などに使用される。防犯カメラや交通監視カメラなどは、１つの位置で収集や及び監視がされ得るメディアデータのストリームを提供する。ビデオカメラを備えたドローンは、動画の生成とストリーミングについてのさらなるプラットフォームを提供する。ユーザは、すぐに見るため、または、後での観賞用に格納するために、入力された複数のデータストリームからのデータを混合して、１つの出力データストリームにすることを希望するかもしれない。
本発明は、プロセッサとメモリとを含むメディアスタジオを備えたシステムであって、前記プロセッサが、i）記録されるイベントの種類を表わすデータを受信することと、ii
）１つ以上のそれぞれのメディア装置から１つ以上のメディア入力アイテムを受信することと、iii）少なくとも前記イベントの種類の一連の規則に基づいて、前記イベントの進
捗を追跡することと、iv）前記イベントの前記進捗及び前記イベントの種類の前記一連の規則に基づいて、後続の出来事を予測することと、v）前記後続の出来事の前に、前記メ
ディア入力アイテムのうちの１つ以上を含む集約されたメディアアイテムを生成することであって、前記集約されたメディアアイテムは、前記１つ以上のメディア入力アイテムを共通の表示のために結合したものであり、前記集約されたメディアアイテムは、前記予測された後続の出来事の眺望が前記１つ以上のそれぞれのメディア装置に提供されるであろうかどうかの１つ以上のそれぞれの示唆を含む、ことと、vi）メディア出力アイテムに含める、前記集約されたメディアアイテムに含まれた前記メディア入力アイテムのうちの少なくとも１つ、を特定する１つ以上のコマンドを受信することと、vii）前記受信された
１つ以上のメディア入力アイテムに少なくとも部分的に基づき、かつ、記録される前記イベントの種類を表わすデータと、前記１つ以上のそれぞれのメディア装置の１つ以上の各位置とに少なくとも部分的に更に基づいて、前記メディア出力アイテムを生成することと、viii）少なくとも、記録される前記イベントの種類に基づいて、前記イベント中に前記１つ以上のそれぞれのメディア装置を配置するための、一連の１つ以上のそれぞれの推奨される固定位置の図を生成することと、を行うようにプログラムされるように、前記プロセッサにより実行可能な命令を前記メモリが格納する。
複数のメディアストリームを取得して、１つの出力メディアストリームに混合する例示的なメディア処理システムのブロック図である。 図１のメディアシステムのための例示的なカメラのブロック図である。 図１のメディア処理システムのための例示的なオペレータコンソールのブロック図である。 図１のメディア処理システムのための例示的なメディアスタジオのブロック図である。 テニスの試合を記録するためのカメラの設置位置と撮影範囲の例を説明するテニスコートの図である。 座標系の例を含むテニスコートの図である。 太陽の軌跡の例を説明する図６Ａのテニスコートの例の図である。 第１のカメラの設置位置として好ましい範囲と好ましくない範囲を説明する図６Ｃのテニスコートの例の図である。 プレーヤーのベンチを含み、第２のカメラおよび第３のカメラの好ましい設置位置を示す図６Ｄのテニスコートの例の図である。
＜システムの概要＞
メディアスタジオを含むメディア処理システムは、ユーザがスタジオを実演中のイベントに持っていくことができるようにする。メディアスタジオは、複数のメディア入力情報（メディア入力アイテム；media inputitem）（本明細書では、集約されたメディア情報
（集約されたメディアアイテム）と称する）の同時プレビューなどのプレビュー、複数のメディア入力情報に基づいたメディア出力情報（メディア出力アイテム）の生成、メディア出力情報の共有、および、将来の視聴のためのメディア出力情報の格納の全てを、離れたオペレータコンソールを介して行うことを可能にする。メディアスタジオは、予め決められた規則に基づいて、メディア出力情報のための推奨を生成するように、および／または、メディア出力情報を直接生成するようにプログラムされ得る。なお、本明細書中における「メディア入力情報」、「メディア情報」、「メディア出力情報」という語句は、それぞれ「メディア入力アイテム」、「メディアアイテム」、「メディア出力アイテム」と同じ意味である。
メディア入力情報に加えて、メディアスタジオは、例えば、メディア入力を提供するカメラのようなメディア装置に、搭載されているか含まれている１つ以上のセンサ、カメラのユーザなどによって運ばれる他の装置などに含まれている１つ以上のセンサなどのデータ収集装置からデータを受信してもよい。データは、データ収集装置から直接受信され得、または、例えば、メディア入力情報に関連付けられたメタデータを介して、間接的に受信され得る。メディア出力情報に含まれるメディア入力情報の選択は、部分的には、データ収集装置からのデータに基づいていてもよい。
様々な種類のデータがメディアスタジオで使用され得る。例えば、データは、カメラのユーザに関連付けられたバイオメトリックデータ（例えば、心拍数、血圧など）を含んでもよく、この情報は、例えば、ユーザの興奮レベルを判定するためなどに使用され得る。他の例として、データは、カメラの安定度、映像のコントラストなど、メディア入力情報の質を示すデータであってもよい。さらに、データは、記録されるイベントの対象物や参加者（例えば、スポーツイベントのプレーヤー、スポーツイベントで使用されるボールなど）に対応付けられた位置情報や移動情報を含み得る。さらに、データは、記録環境に関連したグローバル・ポジショニング・データ、気象データ、光の状態などを含み得る。センサまたはその他のコンピュータ装置などから収集されたその他の種類のデータも、メディア出力情報のコンテンツを選択するため、および／または、メディア出力情報を生成するために使用され得る。
メディア出力情報の生成のための予め決められた規則は、１つ以上のデータ収集装置からの入力に基づいて決定を行うことを含み得る。例えば、メディア出力情報に含められるために、メディア入力情報は、所定の範囲の画像コントラストを有する、もしくは、十分に安定している（揺れのレベルが所定の閾値未満）などの品質基準を満たす必要があり得る。メディア出力情報を決定するためのデータ収集装置からのデータの使用については、後で詳しく検討する。
図１を参照すると、メディア処理システム１０は、移動可能なメディアスタジオ１２を含み、１つ以上のメディア装置１６からメディア入力データを受信できる。メディア入力データは、１つ以上の有線および／または無線のネットワーク１４、ならびに、１つ以上の有線および／または無線の直接の接続を介して受信され得る。メディアデータの受信は、カメラ２０などのメディア装置１６から送信されたメディアデータの受信を含み得、または、記憶装置２３などからデータを取得することを含み得る。さらに、メディアスタジオ１２は、１つ以上のデータ収集装置１７からデータを受信できる。データ収集装置１７は、心拍数モニタ、血圧モニタなどのバイオメトリックセンサ；加速度計、ジャイロスコープなどの動作センサ；グローバル・ポジショニング・システム（ＧＰＳ）、ＲＦＩＤタグなどの位置センサ；気圧計、温度計、光センサなどの環境センサ；および、記録されるイベントに関連したデータを提供しうるその他の種類のセンサを含む、様々なセンサを含み得る。データ収集装置１７は、さらに、グローバル・ポジショニング・システム（ＧＰＳ）、天候追跡システム（weathertracking system）などのシステムをさらに含んでもよい。
本明細書では、記録イベントは、記録されているイベントに関連する環境、参加者、カメラ２０のオペレータ、メディアスタジオ１２のオペレータ、オペレータコンソール１８のオペレータ、視聴者、観客などを含めた、記録されている実際のイベント（例えば、野球の試合、もしくは、会社のピクニックなど）を称し得る。さらに、データ収集装置１７は、データを提供してもよく、また、１つ以上のメディア１６に含まれてもよく、例えば、メディア装置１６中のコンピュータ装置を介して、データを提供してもよい。
メディアスタジオ１２は、メディアスタジオ１２から離れていても良いオペレータコンソール１８によって制御され得、オペレータコンソール１８からメディア入力データを受信できる。メディアスタジオ１２は、さらに、メディア出力データを生成でき、メディア出力データを、ビューア２２などのメディア装置１６に提供できる。システム１０は、録画（もしくは、録画の一部）が行われている場所で、ユーザがメディア出力データを生成できるようにする。リモートオペレータコンソール１８を介してメディアスタジオ１２を制御することは、生成処理の監視と制御をしている間の録画位置の移動の自由をユーザに提供する。
＜例示的なシステム要素＞
ここで、図１をさらに詳しく参照すると、メディア処理システム１０は、メディアスタジオ１２、１つ以上のメディア装置１６、１つ以上のデータ収集装置１７を含む。１つ以上のメディア装置１６は、オペレータコンソール１８を含み、さらに1つ以上のカメラ２
０、１つ以上のビューア２２、および、１つ以上のメディア記憶装置２３を含んでもよい。メディア装置１６およびデータ収集装置１７は、メディアスタジオ１２から離れていてもよく、また、メディアスタジオ１２にローカル接続されていてもよい。メディア装置１６およびデータ収集装置１７は、ネットワーク１４及び有線もしくは無線の直接接続８２の内の少なくとも１つを介してメディアスタジオ１２に接続されていてもよい。
サーバ２８も、メディアスタジオ１２、メディア装置１６、および、データ収集装置１７に、ネットワーク１４を介して通信可能に接続されてもよい。さらに、メディア処理システム１０は、メディアスタジオ１２に通信可能に接続されているモニタ３０を含んでもよい。
通常、メディアスタジオ１２は、複数のメディア入力情報を実質的に同時に受信でき、それらを結合して、オペレータコンソール１８を介して視聴するための１つの集約されたメディア情報にすることができる。本明細書では、「集約されたメディア情報」という語は、タッチスクリーンや、投影もしくは重ね撮りされた画像を伴うスクリーンなどの、ユ
ーザディスプレイ上で実質的に同時に表示されるように配置された一まとまりの２つ以上のメディア入力情報である。メディア入力情報は、ユーザのディスプレイ中で、サイド・バイ・サイド形式、並べた状態（in row）、ピクチャー・イン・ピクチャー形式などで見えるように配置され得る。さらに、集約されたメディア入力情報は、例えば、ユーザのディスプレイに表示され、ユーザからの入力を受け付けるグラフィカル・ユーザインタフェースを含み得る。後述するように、メディアスタジオ１２は、集約されたメディア情報を、それをオペレータコンソール１８へ提供する前に圧縮できる。
メディア入力情報は、ビデオカメラで撮られた動画、マイクで収音された音声、防犯カメラからの光景などの視覚的データ、および／または、音声データであり得る。マイクは、メディア装置１６に統合され得、または、メディアスタジオ１２と独立して通信可能な単独のメディア装置１６であり得る。メディア入力情報は、例えば、ストリームデータ、もしくは、１つのデジタル写真のような静的データであり得る。メディアスタジオ１２は、さらに、オペレータコンソール１８からの命令を受信でき、受信した命令に従って、メディア出力情報を生成できる。メディア出力情報は、１つ以上のメディア入力情報からのデータを含んでもよい。
一例として、メディアスタジオ１２は、４つのメディア入力情報を受信してもよい。メディアスタジオ１２は、４つのメディア入力情報各々を含む集約されたメディア情報を生成でき、集約されたメディア情報をオペレータコンソール１８に送信できる。オペレータコンソール１８のユーザは、ユーザインタフェースを介して、メディア出力情報に含められる集約されたメディア情報中の４つの眺望の１つを選択できる。オペレータコンソール１８から受信した命令に基づいて、メディアスタジオ１２は、選択されたメディア入力情報を含むメディア出力情報を生成しうる。メディア出力情報は、視聴者が共有するため、もしくは、記憶装置２３に格納されるためにネットワーク１４を介して送信され得る。
メディア出力情報に含められる１つ以上のメディア入力情報を選択することに加えて、メディアスタジオ１２は、様々なメディア処理動作を行うことができる。メディア処理操作は、オペレータコンソールから受信した命令に基づいて行われ得る。メディアスタジオ１２によって行われ得る処理動作の例の非限定的なリストは、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加（音声データ、および／または、映像データ）などを含む。さらに、メディアスタジオは、対象追跡、画像安定化などの動作も行い得る。メディアスタジオ１２の操作は、後でより詳しく説明する。
メディアスタジオ１２は、メディア出力情報に含まれるメディア入力情報を例えば、オペレータコンソール１８に推薦し、および／または、メディア出力情報を１つ以上の予め決められた規則に基づいて生成するように、さらにプログラムされ得る。予め決められた規則は、例えば、ユーザによって入力されてもよく、または、以前のオペレータの選択に基づいてメディアスタジオ１２で学習されてもよい。例えば、メディアスタジオ１２のプロセッサ６２は、以前の選択に基づいてユーザの好みを学習するようにプログラムされ得るし、ニューラルネットワークなどのハードウェア学習メカニズムを含み得る。規則に基づくメディア出力情報に含めるメディア入力情報の選択の例は、後述する。
メディアスタジオ１２と、メディア装置１６およびデータ収集装置１７（集合的にネットワーク装置１６、１７）の間の通信は、ネットワーク１４を介して起こり得るし、有線通信、および／または、無線通信（Ｂｌｕｅｔｏｏｔｈ、ＩＥＥＥ８０２．１１など）などの既知の直接接続８２によって起こり得る。一般に、ネットワーク１４は、メディアスタジオ１２とネットワーク装置１６、１７の間でメディアコンテンツを届けるための１つ以上のメカニズムを表す。従って、ネットワーク１４は、１つ以上の様々な有線通信メカニズムもしくは無線通信メカニズムであり得、有線通信メカニズム（ケーブル、および、
ファイバーなど）、および／または、無線通信メカニズム（セル方式、無線、衛星、マイクロ波、および、無線周波数）、ならびに、任意のネットワークトポロジ（あるいは、複数の通信メカニズムが使用される場合は、複数のトポロジ）の任意の望ましい組み合わせを含む。例示的な通信ネットワークは、無線通信ネットワーク、ＷｉＦｉネットワークもしくは、イーサネット（登録商標）などのローカルエリアネットワーク（ＬＡＮ）、および／または、インターネットのような広域ネットワーク（ＷＡＮ）を含む。
１つ以上のネットワーク１４に加えて、１つ以上の有線直接接続もしくは無線直接接続が、メディアスタジオ１２をメディア装置１６に接続するために使用され得る。直接接続は、例えば、Ｂｌｕｅｔｏｏｔｈ、ユニバーサル・シリアル・バス（ＵＳＢ）、高精細マルチメディア・インタフェース（ＨＤＭＩ（登録商標））、カスタム・シリアル・インタフェース（custom serialinterface）などを含み得る。
例えば、１つ以上の高精細マルチメディア・インタフェース（ＨＤＭＩ）がメディア装置１６とメディアスタジオ１２の間のデータ転送、または、メディアスタジオ１２からコンピュータもしくはテレビのモニタ３０へのデータ転送に使用され得る。ＨＤＭＩは、メディア装置１６などのＨＤＭＩ準拠の送信装置から、メディアスタジオ１２などのデジタルメディア処理装置に、または互換性のあるコンピュータモニタ、例えばモニタ３０に、圧縮または非圧縮の映像または音声データを送信するための、特許で保護されたよく知られた音声／映像インタフェースである。
サーバ２８は、メディアスタジオ１２、メディア装置１６、および、データ収集装置１７と、ネットワーク１４を介して通信可能に接続され得る。サーバ２８は、ネットワーク１４を介して通信するための通信回路を含んでもよく、さらに、メモリと該メモリに格納されたプログラム、すなわち、一連のコンピュータで実行可能な命令を実行するように構成された１つ以上のプロセッサとを含んでもよい。サーバ２８は、例えば、メディア出力情報を受信してもよく、将来の使用のために、メディア出力情報を格納してもよい。
メディア入力情報、メディア出力情報、および／または、マルチビュー・メディア情報などのメディアコンテンツは、一般に、ネットワーク１４を介してデジタル形式（例えば、圧縮された音声データ、および／または、圧縮された映像データ）で配信され、メディアデータおよびメタデータを含んでもよい。例えば、ＭＰＥＧは、国際標準化機構／国際電気標準会議動画専門家集団（InternationalStandards Organization / International Electrical Commission Moving PictureExperts Group、ＭＰＥＧ）によって一般に広め
られている一連の規格を指す。Ｈ．２６４は、国際電気通信連合（InternationalTelecommunications Union、ＩＴＵ）によって広められている規格を指す。従って、限定とはな
らない例として、メディアコンテンツは、ＭＰＥＧ−１、ＭＰＥＧ−２、もしくは、Ｈ．２６４／ＭＰＥＧ−４アドバンスト・ビデオコーディング規格（ＡＶＣ）（現在のところ、Ｈ．２６４およびＭＰＥＧ−４は一貫性がある）、または、その他の１つ以上の規格に従った形式などの形式で提供され得る。例えば、メディアコンテンツは、ＭＰＥＧ２オーディオレイヤＩＩＩ（ＭＰ３）、アドバンスト・オーディオコーディング（ＡＡＣ）などの規格に従ってフォーマット化された音声データであり得る。さらに、前述の規格は、一般にメタデータを含めて提供する。
メディア装置１６は、オペレータコンソール１８を含み、１つ以上のカメラ２０、１つ以上のビューア２２、および、１つ以上の記憶装置２３を含み得る。オペレータコンソール１８は、メディアスタジオ１２の動作を制御するために使用され得るし、いくつかの場合では、以下に記載するように、カメラ２０などのメディア入力装置１６としても動作しうる。メディア装置１６は、さらに、動き、位置などのメディア装置１６に関する情報を提供しうるデータ収集装置１７（例えば、ジャイロスコープ、加速度計など）を含み得る
。
例示的なカメラ２０のブロック図を図２に示す。カメラ２０は、メモリ５０、および、プロセッサ５１、プロセッサ５１が実行可能なプログラムコード（すなわち、コンピュータ実行可能な命令）を格納するメモリ５０を含み得る。メモリ５０は、再生、映像音声フィルタの適用、メディアデータの圧縮や解凍などに使用され得る映像バッファを含む。プロセッサ５１は、ユーザインタフェース５２、メディアレシーバ５４、通信回路５６、および、データ収集装置１７に、通信可能に接続され得る。カメラ２０は、メディアデータ（すなわち、写真や映像などの視覚的データおよび音声データ）を撮像し、メディアデータを例えばネットワーク１４を介して、メディアスタジオ１２に送信する。カメラ２０の例は、スマートフォン、タブレット、ラップトップ、デジタルカメラなどの携帯用の装置を含む。カメラ２０の例は、さらに、防犯カメラ、交通監視カメラ、飛行中のドローンによって輸送されるカメラなどを含み得る。
メディアレシーバ５４は、メディアデータを受信するための１つ以上のデータ受信構成要素を含む。収集されたメディアデータは視覚的データおよび音声データを含み得る。メディアレシーバ５４は、例えば、音声データを受信するためのマイク、および、画像データを受信するためのＣＭＯＳ画像センサもしくはＣＣＤ画像センサなどを含み得る。
ユーザインタフェース５２は、プロセッサ５１に通信可能に接続され、ユーザからの入力を受けつけるために、マイク、ボタン、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの１つ以上の入力装置を含み得る。ユーザインタフェース５１は、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの１つ以上の出力装置をさらに含み得る。
データ収集装置１７は、カメラ２０の操作条件などを決定するために使用され得、加速度計、ジャイロスコープ、露出計などを含み得る。データ収集装置１７は、例えば、カメラ２０の動き（振動、対象追跡）、カメラ２０が指向している方向、カメラ２０が稼働している状況の光の状態などを測定するために用いられ得る。データ収集装置１７は、さらなる処理のためにメディアスタジオ１２にデータを送信し得るプロセッサ５１に、データを提供しうる。
各品質パラメータ（安定度、コントラスト比など）のために、ユーザは、操作可能間隔を設定することができる。操作可能間隔は、メディア入力情報がさらなる処理に適していることを表すメディア入力情報に関連するパラメータの範囲として定義される。例えば、あるカメラ２０の安定度が操作可能間隔内にない場合、そのカメラ２０に関連するメディア入力情報は、メディアスタジオ１２によるさらなる処理には考慮されなくてもよい。この例の操作可能範囲は、許容可能な振動の振幅であり得る。全ての品質パラメータがそれぞれの得操作可能範囲内である場合、個々のカメラ２０、および／または、関連するメディア入力情報に対して、全体の品質パラメータＱは、次式で計算される。
ここで、ｉはｉ番目のカメラ２０に対応する指標値であり、Ｃｉはｉ番目のカメラ２０に対応する品質特性を表す係数（例えば、専門的なカメラ２０は、携帯電話に埋め込まれたカメラ２０よりも高い品質特性Ｃｉを有するだろう）である。ｋは画像品質測定の種類の指標値（例えば、ｋ＝１は解像度、ｋ＝２は輝度、ｋ＝３はコントラスト比、・・・、
ｋ＝ｎは安定度である）。ＣＱｋは、ｋ番目の種類の画像品質測定の相対的な重要性に対する重み因子であり、ＰＱｋは、ｋ番目の種類の画像品質測定についてのスケーリングされた値である。重み因子ＣＱｋは、システム設計者かまたはユーザによって設定され得る。ＰＱｋ値は、異なる種類の画像品質測定ｋの釣り合いが取れるようにスケーリングされ得る。
カメラ２０は、例えば、ネットワーク１４を介して、もしくは直接接続８２を介して、メディアデータをメディアスタジオ１２に受信および送信しても良い。受信されたメディアデータは、一例として、解像度が１９２０ピクセル×１０８０ピクセルのフル高解像度（フルＨＤ）データであっても良い。他の解像度のデータ形式もまた使用され得る。
カメラ２０は、さらに、例えば、メディアスタジオ１２からデータを受信しても良く、さらに、例えばユーザインタフェース５２を介して、カメラ２０のユーザにデータを提供しても良い。例えば、以下で論じるように、メディアスタジオ１２は、カメラ２０から受信されたデータに基づいて、カメラ２０の振動が大きすぎる（例えば、予め決められた閾値を超えている）、または、カメラ２０から受信したメディア入力情報のコントラストが低すぎる（例えば、予め決められた閾値未満である）と決定しうる。メディアスタジオ１２は、このデータをカメラ２０に送信し、ユーザインタフェース５２上に情報を表示しても良い。
ビューア２２は、メディアスタジオ１２から受信したメディア出力データを表示するために使用され得、液晶ディスプレイ（ＬＣＤ）もしくはプラズマディスプレイなどのディスプレイを含み得る。メディアデータは、例えば、ネットワーク１４を介して、もしくは、直接接続８２を介して受信され得る。ビューア２２の例は、携帯電話、タブレット、および、ラップトップなどの携帯用の装置を含み、デジタルテレビなどの装置をさらに含み得る。ビューア２２は、例えば、１９２０×１０８０の解像度を提供するフルＨＤデータを受信しうる。他の解像度のデータ形式もまた使用され得る。
記憶装置２３は、メディアデータを格納でき、さらに、メディアスタジオ１２にネットワーク１４経由や直接接続８２経由でのアクセスを許可するインタフェースを提供する。メディア記憶装置は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、電気的プログラマブルメモリ（ＥＰＲＯＭ）、電気的消去及びプログラマブル（ＥＥＰＲＯＭ）メモリ、組み込み用マルチメディアカード（ｅＭＭＣ、Embedded MultiMedia Card）、ハードドライブなどの１つ以上の種類のデータストレージを含み得る。さらに、記憶装置２３は、例えば、メディアスタジオ１２からの命令を受信するようにプログラムされたプロセッサも含み得る。プロセッサは、命令に基づいて、メディアデータ情報をデータストレージから取得して、メディアデータ情報をメディアスタジオ１２に送信するように、さらにプログラムされ得る。
記憶装置２３とメディアスタジオ１２の間の通信は、ネットワーク１４を介して行われ得る。追加的もしくは代替的に、通信は、直接接続８２を介して行われ得る。例えば、記憶装置２３は、ユニバーサル・シリアル・バス（ＵＳＢ）ポートまたはその他の有線インタフェースもしくは無線インタフェースを介して、メディアスタジオ１２に接続され得る。
オペレータコンソール１８は、メディアスタジオ１２の操作を制御するために使用され得る。図３に示すように、オペレータコンソール１８は、メモリ４０、および、プロセッサ４１を含み得、メモリ４０は、プロセッサ４１によって実行され得るプログラムコード（すなわち、コンピュータで実施可能な命令）を格納する。プロセッサ４１は、ユーザインタフェース４２、メディアレシーバ４４、通信回路４６、および、データ収集装置１７
と通信可能に接続され得る。
ユーザインタフェース４２は、プロセッサ４１と通信可能に接続され、ユーザからの入力を受けつけるために、マイク、ボタン、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの１つ以上の入力装置を含み得る。ユーザインタフェース４２は、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの１つ以上の出力装置をさらに含み得る。ユーザインタフェース４２の全体もしくは一部は、オペレータコンソール１８から物理的に分離され得る。例えば、オペレータコンソール１８は、オペレータがタブレットコンピュータからメディアスタジオ１２を制御し続けている間、出力を他のスクリーンに投影する（例えば、air-play）タブレットコンピュータであっても良い。
メディアレシーバ４４は、例えば、メディアデータを受信可能な既知のデジタルカメラであっても良い。メディアレシーバ４４は、例えば、視覚的データを受信するためのＣＭＯＳイメージプロセッサもしくはＣＣＤイメージプロセッサ、ならびに、音声データを受信するためのマイクを含み得る。メディアデータは、静止画像およびビデオ録画などの視覚的データを含み得るし、さらに、録音やサウンドトラックなどの音声データを含み得る。メディアレシーバ４４は、例えば、プロセッサ４１にメディアデータを出力しうる。
通信回路４６は、プロセッサ４１に通信可能に接続され、例えば、ネットワーク１４、および／または直接接続８２を介して、メディアスタジオ１２と通信するように構成される。
通信回路４６は、ＷｉＦｉ通信のための無線周波数（ＲＦ）送受信器（典型的には、２．４ＧＨｚ帯もしくは５ＧＨｚ帯）を含み得る。ＲＦ送受信器は、例えば、メディアスタジオ１２に含まれているＲＦ受信器と直接通信し得る。追加的もしくは代替的に、通信回路４６は、例えば、イーサネットインタフェース、ユニバーサル・シリアル・バス（ＵＳＢ）インタフェース、Ｂｌｕｅｔｏｏｔｈ(登録商標）送受信器、高精細マルチメディア
・インタフェース（ＨＤＭＩ）などを含み得る。
代替的に、通信回路４６は、メディアスタジオ１２と間接的に、すなわち中間装置を介して、通信し得る。例えば、通信回路４６は、他のホットスポット（すなわち、ルータを含む通信回路と、インターネットのような広域ネットワーク（ＷＡＮ）２６への接続を提供するクライアント）と通信しうる。メディアスタジオ１２は、ＷＡＮ２６を介した通信を受信し得る。
データ収集装置１７は、例えば、カメラ２０の操作条件を決定するために使用され得、加速度計、ジャイロスコープ、露出計などを含み得る。データ収集装置１７は、例えば、オペレータコンソール１８の動き（振動、対象追跡）、オペレータコンソール１８が指向している方向（例えば、メディアデータ収集装置４４が指向している方向）、オペレータコンソール１８が稼働している状況の光の状態などを測定するために用いられ得る。データ収集装置１７は、例えば、さらなる処理のためにメディアスタジオ１２にデータを送信することができるプロセッサ４１に、データを提供し得る。メディアスタジオ１２に送信されたデータは、生データ（すなわち、センサから直接得られたデータの代表）であり得る。追加的もしくは代替的に、オペレータコンソール１８のプロセッサ４１は、データへの追加的な処理を行い得る。例えば、プロセッサ４１は、データの興奮レベル、品質レベルなどの値を決定でき、決定した値をメディアスタジオ１２に提供できる。データは、決定された値を時間の関数として示す動的データであり得る。さらに、オペレータコンソール１８のプロセッサ４１は、例えば、メディア入力情報中の対象を認識し得るし、音声フィルタリングを行い得るし、さらに、その他のメディア処理操作を行い得る。さらに、プ
ロセッサ４１は、これらの操作で得られた結果をメディアスタジオ１２に提供し得る。
プロセッサ４１は、ユーザインタフェース４２、データ収集装置４４、通信回路４６、および、データ収集装置１７と通信可能に接続され得る。
プロセッサ４１は、ユーザインタフェース４２を介してユーザから受信した入力に基づいてメディアスタジオ１２の操作を制御するためにプログラムされる。より具体的には、プロセッサ４１は、１つ以上のカメラ２０からの１つ以上の眺望を含む集約されたメディア情報などのメディアコンテンツ情報を受信し、ユーザインタフェース４２を介して集約されたメディア情報を表示するようにプログラムされる。プロセッサ４１は、ユーザインタフェース４２を介したユーザからの入力を受け付けるように、さらにプログラムされる。例えば、ユーザは、集約されたメディア情報を見て、メディアスタジオ１２によって生成されるメディア出力情報に含められる１つの眺望を選択できる。プロセッサ４１は、選択された眺望をメディア出力情報に含めるために、メディアスタジオ１２に命令を送信できる。
メディア出力情報中で表示するメディア入力情報の選択に関連した命令に加えて、オペレータコンソール１８からの命令は、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加などの操作を行うための指示を含み得る。さらに、オペレータコンソール１８からの命令は、対象追跡、画像安定化などの操作を行うための指示を含み得る。
例示的なメディアスタジオ１２を図４に示す。メディアスタジオ１２は、内部メモリ６０およびプロセッサ６２を含み得、メモリ６０は、プロセッサ６２によって実行され得るプログラムコード（すなわち、コンピュータで実施可能な命令）を格納する。プロセッサ６２は、ユーザインタフェース６４、ネットワークインタフェース６６、補助装置インタフェース５８、および、データ収集装置１７と、通信可能に接続される。
内部メモリ６０は、例えば、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、電気的プログラマブルメモリ（ＥＰＲＯＭ）、電気的消去及びプログラマブル（ＥＥＰＲＯＭ）メモリ、組み込み用マルチメディアカード（ｅＭＭＣ）、ハードドライブなどであってもよく、プロセッサ６２によって実行可能なプログラムの格納に使用され得るし、さらに、例えば、ユーザからの入力を表わすデータ、オペレータコンソール１８から受信した指示、離れたメディア装置１６から受信したメディアデータ、メディアメタデータ、データ収集装置１７によって収集されたデータなどの格納にも使用され得る。
ユーザインタフェース６４は、コンピュータ６２に通信可能に接続され、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの１つ以上の出力装置を含み得る。ユーザインタフェース６４は、ユーザからの入力を受けつけるために、ボタン、マイク、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの１つ以上の入力装置をさらに含み得る。
ネットワークインタフェース６６は、ネットワーク１４への１つ以上のインタフェースを含む。例えば、ネットワークインタフェース６６は、ＷｉＦｉ通信のための既知のホットスポットを含み得る。ホットスポットはルータを含み得る。ルータは、ＷｉＦｉ通信のための無線周波数（ＲＦ）送受信器（典型的には、２．４ＧＨｚ帯もしくは５ＧＨｚ帯）を含み得るし、さらに、複数の通信を実質的に同時に受信できる。ルータは、メディアスタジオ１２のプロセッサ６２を有するメディア装置１６に接続しうる。
さらに、ネットワークインタフェース６６は、インターネット・サービス・プロバイダ
（ＩＳＰ）へのリンクを含み得る。リンクは、例えば、衛星通信もしくはケーブルネットワークなど、インターネット・サービス・プロバイダに接続して通信するためのメカニズムである。リンクは、衛星通信（例えば、Ｋａ帯（１８．３〜３０ＧＨｚ）での通信）のための送受信器とアンテナを含み得る。ＩＳＰへのリンクは、ネットワーク１４を介して、メディア装置１６およびデータ収集装置１７などからのインターネットプロトコル（ＩＰ）通信を受信し得る。
メディアスタジオ１２のプロセッサ６２とのメディア装置１６の接続に加えて、メディア装置１６にインターネットへのアクセスを提供するために、ルータとインターネットクライアントが合わせて用いられ得る。
補助装置インタフェース６８は、例えば、１つ以上のメディア装置１６に接続するために使用され得る１つ以上の有線インタフェース回路もしくは無線インタフェース回路を含み得る。メディア装置１６は、例えば、１つ以上の記憶装置２３を含み得る。補助装置インタフェース６８は、メモリスティックもしくはメモリバックアップ装置などの外部のＵＳＢ装置と通信するためのユニバーサル・シリアル・バス（ＵＳＢ）インタフェース回路を含み得る。他の例として、補助装置インタフェース５８は、マイクロＳＤ（MicroSD）
データカードにデータを格納し、マイクロＳＤデータカードからデータを取得するための既知のマイクロＳＤインタフェースを含み得る。さらに、補助装置インタフェース６８は、メディア装置１６への無線接続のための例えば、Ｂｌｕｅｔｏｏｔｈインタフェースを含み得る。補助装置インタフェース６８は、データ収集装置１７との接続にも使用され得る。
さらに、メディアスタジオ１２は、カメラ２０、モニタ３０（図１に示すような）などのメディア装置１６と接続するために、高精細マルチメディア・インタフェース（ＨＤＭＩ）を含み得る。
メディアスタジオ１２のプロセッサ６２は、一般に、１つ以上のメディア入力情報を１つ以上のメディア装置１６から受信するようにプログラムされる。メディアスタジオ１２のプロセッサ６２は、いくつかの場合では、集約されたメディア情報を生成する。集約されたメディア情報は、例えば、２つ以上のメディア入力情報が同時に表示されるピクチャー・イン・ピクチャー（ＰＩＰ）表示（サイド・バイ・サイド形式など）を、集約されたメディア情報中に含み得る。メディアスタジオ１２は、ネットワーク１４を介して、集約されたメディア情報をオペレータコンソール１８に送信し得る。
メディアスタジオ１２のプロセッサ６２は、オペレータコンソール１８から命令を受信するように、さらに、プログラムされる。命令に基づいて、メディアスタジオ１２はメディア出力情報を生成できる。プロセッサ６２は、メディア出力情報に含めるために、１つ以上のメディア入力情報からデータを選択できる。メディアスタジオ１２は、さらに、オペレータコンソール１８からの命令に基づいて、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加、特定の人物もしくは対象の追跡、スマートタギングなどのメディア出力情報の生成に関連した様々なメディア処理操作を行うことができる。
さらに、メディアスタジオ１２は、メディア出力情報を生成するために予め決められた規則に基づいたメディア処理操作を行うことができる。規則の例は、後で説明する。
メディアスタジオ１２のプロセッサ６２は、例えば、ビューア２２、オペレータコンソール１８、および／または、他の表示装置に、メディア出力情報を出力することができる。追加的もしくは代替的に、メディアスタジオ１２は、例えば、サーバ２８又は記憶装置２３に、メディア出力情報を出力しても良く、メディア出力情報は将来使用される。メデ
ィアスタジオ１２のプロセッサ６２によって行われうる様々な処理を以下で説明する。
＜処理＞
〔１つ以上の入力メディア情報からの出力メディア情報の生成〕
一般に、メディアスタジオ１２のプロセッサ６２は、１つ以上のメディア入力情報を１つ以上のメディア装置１６の各々から受信するようにプログラムされる。メディア入力情報は、前述のように、例えば、ネットワーク１４を介して、もしくは、直接接続８２を介して、受信され得る。メディア入力情報は、圧縮されたデータであっても良く、または、圧縮されていないデータであっても良い。データの圧縮に使用され得る圧縮規格の例は、Ｈ．２６４／ＭＰＥＧ４、ＭＰＥＧ１、ＭＰＥＧ２、および、アドバンスト・オーディオコーディング（ＡＡＣ）を含む。さらに、様々な解像形式がデータに使用され得る。例えば、フル高解像度データは、１９２０×１０８０の解像度を提供し得る。他の解像度もまた、メディアスタジオ１２で処理され得る。
メディア入力情報を受信すると、プロセッサ６２は、更なる処理のためのメディア入力情報を準備するために、メディア入力情報を解凍する。複数のメディア入力情報の間でのレイテンシを補償するために、プロセッサ６２は、メディア入力情報の時間同期用にさらに、プログラムされ得る。時間同期は、例えば、解凍処理の間に行われうる。
メディア入力情報に基づいて、プロセッサ６２は、集約されたメディア情報を生成して、集約されたメディア情報をオペレータコンソール１８に転送するようにプログラムされ得る。集約されたメディア情報は、タッチスクリーンなどのユーザのディスプレイ上に実質的に同時に表示されるように準備された、１つ以上のメディア入力情報を含み得る。メディア入力情報は、ディスプレイ中で、サイド・バイ・サイド形式、並べた状態（in row）、ピクチャー・イン・ピクチャー形式などで見えるように配置され得る。さらに、集約されたメディア入力情報は、例えば、ユーザのディスプレイに表示され、ユーザからの入力を受け付けるグラフィカル・ユーザインタフェースを含み得る。プロセッサ６２は、集約されたメディア情報を圧縮しても良く、その後、集約されたメディア情報を、ネットワーク１４や直接接続８２を介して、オペレータコンソール１８に送信できる。
プロセッサ６２は、メディア入力情報とオペレータコンソール１８から受信した命令に基づいて、メディア出力情報を生成するように、さらにプログラムされ得る。プロセッサ６２は、メディア出力情報に含めるための１つ以上のメディア入力情報を選択するために、オペレータコンソール１８から命令を受信することができる。さらに、プロセッサ６２は、スイッチング、ミキシング、合成、拡大縮小、モーフィングなどの映像処理操作や音声処理操作を行うために、命令を受信することができる。
メディア出力情報を生成すると、プロセッサ６２は、視聴のために、１つ以上のメディア装置１６にメディア出力情報を送信しても良い。プロセッサ６２は、さらに、メディア出力情報を今後の使用のために格納しても良い。メディア出力情報の送信、および／または、格納の前に、プロセッサ６２は、さらに、データを圧縮、および／または、暗号化しても良い。
オペレータコンソール１８からの命令の受信に加えて、プロセッサ６２は、さらに、以下で説明するように、１つ以上の予め決められている規則に基づいて、動画処理操作を行うようにプログラムされても良い。
〔興奮レベルに基づいたメディア出力情報に含めるための入力データの選択〕
メディアスタジオ１２のプロセッサ６２は、メディア入力情報に関連付けられている興奮レベルに基づいて、メディア出力情報に含めるためのメディア入力情報を選択しても良
い。興奮レベルは、データ収集装置１７から受信した１つ以上の種類のデータに基づいて決定され得る。
データは、例えば、メディア入力情報を生成しているメディア装置１６のユーザのバイオメトリックセンサデータを含み得る。例えば、１つ以上のデータ収集装置１７がメディア装置１６のユーザに関連付けられ得る。データ収集装置１７は、例えば、ユーザの心拍数、ユーザの血圧、ユーザの瞳孔拡張などを測定でき、バイオメトリックデータをメディアスタジオ１２のプロセッサ６２に送信できる。プロセッサ６２は、バイオメトリックデータに基づいて、例えば、ユーザの脈拍および／または血圧が上昇するとユーザが興奮していると決定できる。
興奮値は、特定のカメラ２０に関連付けられたデータ収集装置１７（例えば、カメラ２０に含まれているか、または、カメラ２０のユーザに添付されている）から収集され得る。総合的な興奮パラメータＥｉは、（例えば、カメラ２０、録画領域の位置、録画領域の一部に近い位置などに対応付けられた）各データ収集装置１７について計算される。
ここで、ｉはｉ番目のデータ収集装置１７に対応付けられた指標であり、Ｄｉはｉ番目のデータ収集装置１７に対応付けられた全体的な修正係数である。ｋはｋ番目の種類の興奮測定（例えば、ｋ＝１は血圧、ｋ＝２は脈拍、ｋ＝３は瞳孔拡張、・・・、ｋ＝ｎは喝采もしくは拍手を表わす手の速度である）に対応付けられた指標である。ＤＱｋは、ｋ番目の種類の興奮測定に対応付けられた特定の修正係数であり、ＥＱｋは、ｋ番目の種類の興奮測定についてのスケーリングされた値である。全体的な修正係数Ｄｉは、真の興奮値に相当する期待される興奮値を生成するために、ｉ番目のデータ収集装置１７から得られたデータが、どの程度調整されるべきであるか（例えば、イベントの後に１人以上の専門家が興奮レベルを評価するための尺度（スケール）を決定したときの歴史的な計算値）を表わす。特定の修正係数ＤＱｋは、心拍数、血圧などの個々の興奮パラメータの性質を説明するために使用され得る。例えば、全体的な修正係数Ｄｉ、および、特定の修正係数ＤＱｋは、３つの状態（すなわち、ユーザが刺激の少ない環境で休んでいるときの第１の状態、セリーナ・ウィリアムズがテニスコートに現れたときの第２の状態、および、サービスエースが取られたときの第３の状態）におけるユーザのバイオメトリックデータを測定し、かつ、これらの値を一般集団での同様の測定の全体的な値と比較することにより、決定される。メディアスタジオ１２（もしくは他のコンピュータ装置）のプロセッサ４１は、個々の種類の興奮測定ｋに対する特定の修正係数ＤＱｋを、これらの３つの条件での測定に基づいて決定できる。追加的もしくは代替的に、例えば、歴史的データなどのその他のデータも使用され得る。ＥＱｋは、異なる種類の興奮測定ｋの釣り合いが取れるようにスケーリングされる。
他の例として、興奮測定ｋは、メディア装置１６に関連付けられた移動データをさらに含み得る。例えば、メディア装置１６は、試合（もしくはプレーヤー）を追いかけるために、スポーツイベントの間に速く移動しうる。
さらに他の例として、興奮測定ｋは、メディア装置１６に関連付けられたマイクが受信した例えば観客の喝采もしくは拍手を含んでも良い。例えば、メディア装置１６は、自転車レースに対応付けられたコースの部分を記録していても良い。自転車がコースのその部分に近づいてくると、観客は応援を始めうる。プロセッサ６２は、歓声を含むデータを受
信して、例えば、音量および／または他の既知の音声認識技術に従って、コースのうちのメディア装置１６によって記録されている領域で、レースが刺激的になっていると決定できる。
プロセッサ６２は、さらに、異なる種類の興奮の間で区別するように、プログラムされ得る。例えば、既知の音声認識技術を用いて、プロセッサ６２は、赤ちゃんの鳴き声を識別するようにプログラムされても良い。プロセッサ６２は、泣き声をフィルタで取り除くことができる。代替的に、プロセッサ６２は、泣き声に基づいて、泣き声が含まれていない異なるメディア入力情報を、メディア出力情報中の表示用に選択することができる。
他の実施例として、プロセッサ６２は、上昇した興奮レベルを、メディアデータ中に含まれている画像に基づいて、識別することができる。例えば、既知の画像分析技術を用いて、プロセッサ６２は、視界中を速く通過するボールもしくはプレーヤーなど、画像中での速い動きを検出し得る。他の例として、メディア装置１６は、観客を録画しても良く、プロセッサ６２は、多数の人が立ち上がっているときを検出し得るし、既知の顔認証技術に基づいて、観客の顔の興奮した表情を検出できる。
メディアスタジオ１２のプロセッサ６２は、１つ以上のこれらの興奮測定ｋに基づいて、メディア出力情報中で表示する特定のメディア入力情報を選択する。オペレータコンソール１８を活動中のユーザが操作している場合、プロセッサ６２は、特定のメディア入力情報をユーザが選択するように推薦できる。例えば、プロセッサ６２は、オペレータコンソール１８に送信された集約されたメディア情報中のメディア入力情報を、強調することができる。
〔ブランクもしくは偶発的録画のメディア出力情報からの除去〕
メディアスタジオ１２のプロセッサ６２は、ブランクであるメディア入力情報、もしくは、偶発的に録画されたように見えるメディア入力情報を特定するようにプログラムされ得る。例えば、カメラのオペレータは、カメラ２０が録画中であることを忘れて画像取得装置を地面、太陽などに向ける可能性がある。プロセッサ６２は、例えば、カメラ２０上のデータ収集装置１７から、カメラ２０が地面に向けられていることを示すデータを受信し得る。追加的もしくは代替的に、プロセッサ６２は、地面の画像を認識でき、地面の画像は録画されているイベントに関連しないと判定でき、地面の画像をメディア出力情報から除去することができる。
他の例として、オペレータはカメラ２０の電源を切るのを忘れて、カメラをオペレータのポケットに入れる可能性がある。カメラ２０上のデータ収集装置１７は、例えば、カメラが暗い環境にあることを検出でき、そのデータをプロセッサ６２に提供できる。代替的に、プロセッサ６２は、カメラ２０から受信したメディア入力情報が完全な黒であることを検出できる。暗い環境にあることを示すデータ、および／または、画像データに基づいて、プロセッサ６２は、カメラ２０からのメディア入力情報を、更なる処理を行う対象から除去することを選択できる。
過剰なカメラ２０の振動、周囲の光が強いなどのその他の条件も、画像を更なる処理の対象から除去するために使用され得る。
〔規則およびイベントに関連した競技場の種類に基づいた、メディア出力情報に含めるメディア入力情報の選択〕
メディアスタジオ１２のプロセッサ６２は、規則およびイベントに関連した競技場の種類に基づいて、１つ以上のメディア入力情報からメディア出力情報を作ることができる。規則に基づいて、プロセッサ６２は、次の動作が行われうる場所を予測できても良い。プ
ロセッサ６２は、ユーザからの入力に基づいて、競技場に関連する１つ以上のメディア装置１６の位置、および、個々のメディア装置１６によって録画されている競技場の領域を、さらに認識できる。プロセッサ６２は、次の動作が予測されている競技場の領域からのメディア入力情報を表示することを選択しうる。
例えば、図５を参照すると、録画されているイベントは、テニスコート７０で行われているテニスの試合であり得る。第１のカメラ２０ａ、第２のカメラ２０ｂ、および、第３のカメラ２０ｃがテニスの試合を録画するために使用され得る。また、第１のカメラ２０ａ、第２のカメラ２０ｂ、および、第３のカメラ２０ｃは、それぞれ、コート７０と周辺領域の第１の範囲７２、第２の範囲７４、および、第３の範囲７６を録画するように配置され得る。
プロセッサ６２は、例えば、規則に基づいて、範囲７２からサーブを打つ第１のプレーヤーが、サーブを打とうとしていると判定できる。プロセッサ６２は、第１のカメラ２０ａによって生成されているメディア入力情報を、メディア出力情報中の表示用に選択できる。
プロセッサ６２は、その後、例えば、第１のカメラ２０ａから受信したメディア入力情報をモニタし、第１のプレーヤーがサーブしたと判定できる。プロセッサ６２は、ボールが現在コート内にあると判定して、コート７０の全体を見せている第３のカメラ２０ｃから受信したメディア入力情報を、メディア出力情報中の表示用に選択することができる。
特定のサーブについての競技が終わったことを検出すると、プロセッサ６２は、第１のプレーヤーからの次のサーブを表示するために、例えば、第１のカメラ２０ａに切り替えることができる。
プロセッサ６２は、さらに、例えば、ユーザの入力、および／または、画像データの解析により、ゲームおよびセットのスコアの記録をつけることができる。例えば、上記の例に従って、ゲームが終わったとき、プロセッサ６２は、第２のプレーヤーがサーブを引き継ぐと判定できる。そして、プロセッサ６２は、第２のカメラ２０ｂから受信したメディア入力情報をサーブの間の表示用に選択できる。
〔イベントの録画用のカメラ配置の推奨〕
メディアスタジオ１２のプロセッサ６２は、特定のイベントに対して、そのイベントを取得するカメラ２０の好ましい配置を推奨することができる。推奨は、例えば、使用可能なカメラ２０の数、競技場の形、取得されるイベントについての知識などに基づいて生成され得る。
例えば、メディアスタジオ１２のユーザは、ユーザインタフェース６４を介して、ユーザがテニスの試合を録画したいことを示すことができる。ユーザは、試合の録画に３つのカメラが使用可能であることも示しうる。入力に基づいて、プロセッサ６２は、例えば、ユーザインタフェース６４を介して、図５に示す図と同様の図を表示することができる。この図は、第１のカメラ２０ａ、第２のカメラ２０ｂ、および、第３のカメラ２０ｃの各々に対する推奨する位置、ならびに、カメラ２０ａ、２０ｂ、２０ｃの各々によってカバーされることが推奨される第１の範囲７２、第２の範囲７４、および、第３の範囲７６を推薦する。
プロセッサ６２は、イベントの録画中のカメラ２０の位置を推奨するために、競技場の向き、試合中の競技場に対する太陽の位置、プレーヤーのベンチの位置などの追加の種類のデータを使用しても良い。例えば、上記の例では、ユーザは、ユーザがテニスの試合を
録画したいことを示し得る。例示的な競技場８０を図６Ａに示す。競技場８０は、グローバル・ポジショニング・データが使用可能な屋外競技場８０であっても良い。ユーザは、例えば、南北軸８４と東西軸８５に対して、競技場８０に対する座標を設定しても良く、競技場８０の最西の隅８１を座標（０，０）に定義しても良い。
図６Ｂに示すように、例えば、グローバル・ポジショニング・データ、試合の日時などに基づいて、プロセッサ６２は、予想されている試合時間の間の競技場８０に対する太陽８１の位置を決定できる。プロセッサ６２は、さらに、例えば、予測された試合時間の間の雲量レベルの予測などの天候条件を考慮することもできる。プロセッサ６２は、例えば、焦点距離、ズーム能力などのカメラ２０の特性を、さらに考慮することもできる。
競技場８０の向き、太陽の位置、天候条件、１つ以上の使用可能なカメラ２０の特性などに基づいて、メディアスタジオ１２のプロセッサ６２は、競技場８０に関連する１つ以上のカメラ２０に対する好ましい範囲と好ましくない範囲を決定できる。例えば、図６Ｃを参照すると、第１のカメラ２０ｄの操作に好ましい領域は範囲８６中であり得る。範囲８６では、第１のカメラ２０ｄは、焦点距離やズームなどに基づいて、太陽８１に向くことなく競技場全体を録画することができる。
プロセッサ６２は、さらに、第１のカメラ２０ｄの操作に好ましくない領域を特定できる。例えば、範囲８７は、太陽８１に向きながら試合を録画することになるので好ましくない。
追加のカメラ２０の設置のために、追加的な情報が考慮され得る。例えば、試合の録画に、第２のカメラ２０ｅおよび第３のカメラ２０ｆが使用可能であり得る。ユーザは、プロセッサ６２に、例えば、プレーヤーのベンチ８８、８９の位置などを入力できる。例えば、図６Ｄに示すように、第２のカメラ２０ｅおよび第３のカメラ２０ｆの各々は、ベンチ８８、８９から競技場の反対側に設置され得る。第２のカメラ２０ｅはベンチ８８の反対側に設置され得るし、第３のカメラ２０ｆはベンチ８９の反対側に設置され得る。
いくつかの場合では、例えば、グローバル・ポジション・システム（ＧＰＳ）に基づいて絶対的な競技場の位置が使用される。例えば、ユーザはユーザインタフェース６４を介して、ユーザがサッカーの試合のようなスポーツイベントを録画したいことを示すことができる。ユーザは、ユーザインタフェース６４を介して、試合が行われるサッカー場に関連した１つ以上の座標（例えば、サッカー場の１つ以上の隅の位置）をさらに入力できる。隅の位置とサッカー場についての既知の大きさに基づいて、プロセッサ６２は、サッカーの試合の録画に使用される１つ以上のカメラ２０の位置として推奨されるＧＰＳ座標を決定できる。
いくつかの場合には、競技場は、屋内など、ＧＰＳデータのアクセスがない領域に位置しうる。このような場合、カメラから競技場までの距離を計算するため、および、最適なカメラ操作位置を計算するために、レーザー計測装置が使用されても良い。
〔プレーヤーおよび対象物の位置や動きの追跡〕
メディアスタジオ１２プロセッサ６２は、イベントの特定の参加者を追跡するようにプログラムされても良く、また、特定の対象物を追跡するようにプログラムされても良い。例えば、親はスポーツイベントの録画の際に、彼らの子供の参加を重視することを望む可能性がある。他の例では、プロセッサ６２は、例えば、ボールの周辺での動作が録画されるように、バスケットボールの試合で使用されているバスケットボールを追跡するようにプログラムされ得る。
追跡はデータ収集装置１７を介して行われ得る。例えば、追跡されるプレーヤーもしくは対象物は、ＲＦＩＤまたは他の種類のタグを装備し得る。データ収集装置１７は、競技場に関連付けてタグの位置を検出し得る。前述のように、プロセッサ６２は競技場の座標、ならびに、イベントを録画しているカメラ２０の位置および範囲を受信している可能性がある。競技場に関連付けられたタグの位置、ならびに、１つ以上のカメラ２０の位置および範囲に基づいて、プロセッサ６２は、カメラ２０、および、メディア出力情報に含めるための関連するメディア入力情報を、選択することができる。
追加的もしくは代替的に、プレーヤーまたは対象物の位置は、既知の画像認識技術を用いて決定され得る。プロセッサ６２は、追跡されるプレーヤー又は対象物を特定するように教えられて、そのプレーヤー又は対象物を含むメディア入力情報を表示しても良い。
プロセッサ６２は、プレーヤーもしくは対象物の動きの追跡に基づいて、プレーヤー又は対象物が行くと予測される場所を予測するように、さらにプログラムされても良い。例えば、バスケットボールの試合でバスケットボールが追跡される場合、プロセッサ６２は、ボールがバスケットボールのコートの一方の側から他方の側に向けて移動するときを検出でき、バスケットボールがカメラ２０の範囲内にいつ現れるかを予測することができる。ボールがあるだろうとプロセッサ６２が予測した場所に基づいて、プロセッサ６２は、表示されるメディア入力情報を選択することができる。
動きデータと位置データに基づいて、プロセッサ６２は、競技場内の異なる位置での動きのレベルを判定するようにさらにプログラムされ得る。例えば、予め決められた規則に基づいて、個々の位置についての総合的な動きのレベルが決定され得る。さらに、決定された総合的な動きのレベルに基づいて、プロセッサ６２は、例えば、総合的な動きのレベルが予め決められた値を上回る１つ以上の位置や、総合的な動きのレベルが最も高い位置などを決定しても良い。
例えば、プロセッサ６２は、試合の１人以上のプレーヤーから動きデータを受信しても良い。プロセッサ６２は、例えば、所定の期間の間、競技場のいくつかの位置の各々に現れる全てのプレーヤーの全ての動きを合計するようにプログラムされても良い。動きは、その期間の間の各プレーヤーの移動の総量であると定義され得る。総合的な動きのレベルは、予め決められた閾値と比較され得る、各位置の全てのプレーヤーの動きの合計として定義され得る（例えば、その位置内でその期間の間に移動したメートル数の合計）。予め決められた閾値を上回った総合的な動きのレベルを有する位置を含む（カメラ２０からの）メディア入力情報は、メディア出力情報に含められ得る。
追加的もしくは代替的に、総合的な動きのレベルが相対的に最も高い位置が決定され得る。総合的な動きのレベルが相対的に最も高い位置を含む入力情報は、メディア出力情報に含められ得る。
〔一時停止の後の加速された再生（取り上げ特性）〕
例えば、スポーツイベントなどのイベントを観戦している間に、視聴者が表示を一時停止することを選択しうる。視聴者がイベントの視聴を再開する準備ができたときに、視聴者は、一時停止していた間に起こった刺激的な瞬間についての最新の知識を取得することを希望しうる。ビューア２２、他のメディア装置１６、メディアスタジオ１２、サーバ２８などに関連付けられていても良いコンピュータ装置は、イベントの興奮度が少ない時期を飛ばしながら、刺激的な瞬間を特定して表示するようにプログラムされ得る。
コンピュータ装置は、イベントのセグメントを特定でき、個々のセグメントについて１つ以上の興奮度の格付けを行うことができる。上述の通り、興奮度のレベルに関して、コ
ンピュータ装置は個々のセグメントについての興奮レベルを特定するデータを受信しうる。興奮レベルを決定すると考えられうるデータの非限定的なリストは、１人以上のカメラのオペレータに関連付けられるバイオメトリックデータ、観客が喝采したり叫んだりしているときの音声レベルデータ、速い動きもしくは試合で得点されたことなどを示す画像データ、画像データ中の観客の興奮した顔の表情、カメラ２０が試合の動きを追っていることを示すカメラ２０の速い動き、刺激的な瞬間の間のカメラオペレータからの入力（例えば、ハイライトボタンの押下）、イベントに関連するソーシャルメディアでの活動の増加を含む。データに基づいて、イベントの個々のセグメントに関連付けられた興奮レベルを決定するために１つ以上の規則が構成される。
例えば、画像データから決定されるように、スコアを含むセグメントには、最大レベルの１００が与えられ得る。他の期間の興奮レベルは、音声レベルおよびカメラオペレータからのバイオメトリックデータの組み合わせに基づいて決定され得る。個々のセグメントは、この実施例に従って、０〜１００の興奮レベルが割り当てられる。
一時停止の後で、視聴者が取り上げ特性を活性化すると、コンピュータ装置は、例えば時系列順に、興奮レベルが閾値を越えたセグメントを表示し得る。コンテンツを提供するために、コンピュータ装置は、閾値を越えたセグメントを、そのセグメントの前の第１の所定の期間、および／または、そのセグメントの後の第２の所定の期間を含めて、表示できる。第１および第２の所定の期間は例えば、１０秒であり得る。
閾値は、規定の閾値であり、例えば、興奮レベルが７０以上であり得る。代替的に、視聴者は、取り上げモードの間に見られるセグメントに対する興奮レベル閾値を特定できる。別の代替手段として視聴者は、取り上げ期間がどの程度続くべきかなどを特定しうる。視聴者によって提供された取り上げ期間の長さに基づいて、コンピュータ装置は適切な量の再生材料を生成する興奮レベル閾値を計算し得る。コンピュータ装置は、その後、興奮レベルが計算された閾値を超えた全てのセグメントを、時系列に沿って表示できる。
〔ハイライトメディア情報の生成〕
メディアスタジオ１２のプロセッサ６２は、イベントを録画している間、ハイライトメディア出力情報を生成するようにプログラムされ得る。ハイライトメディア出力情報は、例えば、イベント中の刺激的なセグメントのみを含み得る。ハイライトメディア出力情報は、その後の使用のために、例えば、記憶装置２３に記憶され得、または、サーバ２８に送信され得る。
取り上げ特性に関して前に述べたとおり、メディア情報（イベントの録画）は、１つ以上のセグメントに分けられ得る、個々のセグメントは所定の期間を表わす。興奮レベルは個々のセグメントに割り当てられ得る。予め決められた閾値を超える興奮レベルを有するセグメントは、ハイライトメディア出力情報に含められ得る。他の例として、プロセッサ６２は、得点したドライブ／プレイを取得するためにハイライトメディア情報を生成するようにプログラムされ得る。録画されている試合の分析に基づいて、メディアスタジオ１２のプロセッサ６２は、得点したドライブ／プレイを特定し得る。プロセッサ６２は、得点したドライブ／プレイを含むハイライトメディア情報を生成できる。ハイライトメディア情報は、例えば、得点したドライブ／プレイの予め決められた期間の前後の期間を含み得る。得点したドライブ／プレイの前後の追加的なコンテンツは、ユーザに前後関係を提供でき、ユーザが個々のハイライトセグメントを区別できるようにする。ハイライトメディア情報は、個々の試合、同じ日に行われた複数の試合、特定のチームがシーズン中に行った複数の試合になどに基づいていても良い。
興奮レベルに加えて、他の因子もハイライトメディア出力情報の生成に使用され得るこ
とに注意されたい。例えば、ハイライトメディア出力情報は、特定のプレーヤーを含む光景を特徴付け得る。
〔イベントのピークの瞬間のリプレイの生成〕
メディアスタジオ１２のプロセッサ６２は、イベントの録画中にイベント中に発生したピークの瞬間を特定するようにプログラムされ得る。ピークの瞬間は、興奮レベルがある予め決められた閾値を超えたイベント中の期間であり得る。興奮レベルは前述の通りに決定され得る。
ピークの瞬間が特定されると、メディアスタジオ１２は、その瞬間の１つ以上のリプレイをメディア出力情報に含めることができる。リプレイは、例えば、プロセッサ６２によって受信された異なるメディア入力情報から切り取られた異なる眺望のピークの瞬間を含み得る。
リプレイ中に含められるメディア入力情報は、例えば、興味のある動作に関連付けられたカメラ２０の位置に従って、個々のメディア入力情報中の動きの量に従って、特定のメディア入力情報中のプレーヤーの存在に基づいて、などで選択され得る。
［結び］
本明細書で用いられるように、副詞“実質的に”は、形状、構造、寸法、品質、時間等が、材料、機械加工、製造の不完全性に起因して、正確に記述された幾何学的形状、距離、寸法、品質、時間等から外れ得ることを意味する。
用語“例示的”は、一例を示す意味で本明細書では用いられ、例えば、“例示的製品”への言及は、製品の例示を単に指すように読むべきである。
本明細書で議論されたようなネットワーク装置は、上述で特定されたネットワーク装置など、上述した処理のブロック又はステップを実行するための、１つ以上のネットワーク装置により実行可能な命令を一般的に各々含む。例えば、上述した処理のブロックは、コンピュータ実行可能な命令として具体化されてもよい。
コンピュータ実行可能な命令は、Ｊａｖａ（登録商標）、Ｃ、Ｃ＋＋、ヴィジュアルベーシック、Ｊａｖａ Ｓｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＨＴＭＬ等の単独又は組み合わせを含むが限定されない様々なプログラミング言語、および／または、技術を用いて作成されたコンピュータプログラムからコンパイル又は解釈されてもよい。一般的には、プロセッサ（例えば、マイクロプロセッサ）は、例えば、メモリ、コンピュータ読み取り可能媒体などから命令を受信し、これらの命令を実行し、それによって本明細書に記述される１つ以上の処理を含む１つ以上の処理を実行する。このような命令およびその他のデータは、様々なコンピュータ読み取り可能媒体を用いて格納及び送信されてもよい。ネットワーク装置中のファイルは、一般的には、記憶媒体、ランダムアクセスメモリ等のコンピュータ読み取り可能媒体上に格納された一群のデータである。
コンピュータ読み取り可能な媒体は、コンピュータにより読み出され得る供給データ（例えば、命令）に関与する任意の媒体を含む。このような媒体は、不揮発性媒体、揮発性媒体等を含むが限定されない多くの形態をとってもよい。不揮発性媒体は、例えば、光ディスクもしくは磁気ディスク、ならびに、その他の永続性メモリを含む。揮発性媒体は、典型的にはメインメモリを構成するダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含む。コンピュータ読み取り可能媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意のその他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、任意のその他の光学媒体、パンチカード、紙テープ、穴の規則を伴う任意
のその他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＥＰＯＭ、任意のその他のメモリチップ若しくはカートリッジ、又はコンピュータが読み取り得る任意のその他の媒体を含む。
図面において、同じ参照番号は同じ構成要素を示す。更に、これらの構成要素の幾つか、または、全ては変更し得る。本明細書に記載されたメディア、処理、システム、方法等に関して、このような処理のステップなどは、ある順序のシーケンスに従って生じるものとして記載されているが、このような処理は、本明細書に記載された順序以外の順序で実行される記載のステップで実行され得ることを理解すべきである。いくつかのステップは同時に実行され得ること、その他のステップが追加され得ること、または、本明細書に記載されているいくつかのステップが省略され得ることも、更に理解されるべきである。すなわち、本明細書の処理の記載は、幾つかの実施形態を説明する目的で提供され、請求項に係る発明を限定するように全く解釈すべきでない。
従って、以上の記載は、例証であって制限を意図しない。提供された例以外の多くの実施形態及び利用は、以上の記載を読んだ当業者には明らかであろう。発明の範囲は、以上の記載を参照することなく決定されるべきであり、添付の請求項で求められる均等物の全範囲と共に、添付の請求項を代わりに参照することで決定されるべきである。将来的な進展が本明細書で論じられた技術に生じ得ること、ならびに、開示されたシステムおよび方法がこのような将来的な実施形態に組み込まれ得ることを、予測すべきであり意図すべきである。要するに、発明は変更および変動し得、以下の請求項の範囲によってのみ制限される。
請求項の範囲で用いられる全ての用語には、本明細書でなされたのとは正反対に明白な示唆がない限り、当業者により理解されるような平易かつ通常の意味が与えられることを意図する。特に、“ａ”、“ｔｈｅ”、“ｓａｉｄ”等の単数の項目の使用は、請求項が正反対に明白な制限を述べない限り、示唆された１つ以上の構成要素を述べるように読むべきである。

Claims (10)

  1. プロセッサとメモリとを含むメディアスタジオを備えたシステムであって、
    前記プロセッサが、
    記録されるイベントの種類を表わすデータを受信することと、
    １つ以上のそれぞれのメディア装置から１つ以上のメディア入力アイテムを受信することと、
    少なくとも前記イベントの種類の一連の規則に基づいて、前記イベントの進捗を追跡することと、
    前記イベントの前記進捗及び前記イベントの種類の前記一連の規則に基づいて、後続の出来事を予測することと、
    前記後続の出来事の前に、前記メディア入力アイテムのうちの１つ以上を含む集約されたメディアアイテムを生成することであって、前記集約されたメディアアイテムは、前記１つ以上のメディア入力アイテムを共通の表示のために結合したものであり、前記集約されたメディアアイテムは、前記予測された後続の出来事の眺望が前記１つ以上のそれぞれのメディア装置に提供されるであろうかどうかの１つ以上のそれぞれの示唆を含む、ことと、
    メディア出力アイテムに含める、前記集約されたメディアアイテムに含まれた前記メディア入力アイテムのうちの少なくとも１つ、を特定する１つ以上のコマンドを受信することと、
    前記受信された１つ以上のメディア入力アイテムに少なくとも部分的に基づき、かつ、記録される前記イベントの種類を表わすデータと、前記１つ以上のそれぞれのメディア装置の１つ以上の各位置とに少なくとも部分的に更に基づいて、前記メディア出力アイテムを生成することと、
    少なくとも、記録される前記イベントの種類に基づいて、前記イベント中に前記１つ以上のそれぞれのメディア装置を配置するための、一連の１つ以上のそれぞれの推奨される固定位置の図を生成することと、
    を行うようにプログラムされるように、前記プロセッサにより実行可能な命令を前記メモリが格納する、システム。
  2. 前記プロセッサは、前記１つ以上のメディア入力アイテムのうちの第１のメディア入力アイテムの送信元のメディア装置の位置が該メディア装置に前記予測された後続の出来事の眺望を提供することに基づいて、前記第１のメディア入力アイテムを含むように前記メディア出力アイテムを生成するよう、更にプログラムされる、請求項１に記載のシステム。
  3. 前記プロセッサは、少なくとも、記録される前記イベントの種類に基づいて、前記１つ以上のそれぞれのメディア装置のための一連の１つ以上のそれぞれの好ましい位置を生成するよう、更にプログラムされる、請求項１又は２に記載のシステム。
  4. 前記プロセッサは、前記イベントの種類の前記一連の規則に基づいて前記メディア出力アイテムを生成するよう、更にプログラムされる、請求項１乃至３のいずれか１項に記載のシステム。
  5. 前記プロセッサは、少なくとも、ユーザ入力を受信することに基づいて、前記イベントの前記進捗を追跡するよう、更にプログラムされる、請求項１乃至４のいずれか１項に記載のシステム。
  6. 前記プロセッサは、前記予測された後続の出来事に基づいて前記メディア出力アイテムを生成するよう、更にプログラムされる、請求項１乃至５のいずれか１項に記載のシステ
    ム。
  7. 前記プロセッサは、少なくともそれぞれのメディア装置の数に基づいて、前記１つ以上のそれぞれのメディア装置についての前記一連の１つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項１乃至６のいずれか１項に記載のシステム。
  8. 前記プロセッサは、前記イベントの日時及び天候予報のうちの少なくとも一方に基づいて、前記１つ以上のそれぞれのメディア装置についての前記一連の１つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項１乃至７のいずれか１項に記載のシステム。
  9. 前記プロセッサは、少なくとも前記１つ以上のメディア装置の特性に基づいて、前記１つ以上のそれぞれのメディア装置についての前記一連の１つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項１乃至８のいずれか１項に記載のシステム。
  10. 前記プロセッサは、前記イベントの場の向き及び絶対的な位置のうちの少なくとも一方に基づいて、前記１つ以上のそれぞれのメディア装置についての前記一連の１つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項１乃至９のいずれか１項に記載のシステム。
JP2019206869A 2015-12-04 2019-11-15 複数のメディアストリームの処理 Active JP7080208B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562263080P 2015-12-04 2015-12-04
US62/263,080 2015-12-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018528960A Division JP6713537B2 (ja) 2015-12-04 2016-12-02 複数のメディアストリームの処理

Publications (2)

Publication Number Publication Date
JP2020043584A true JP2020043584A (ja) 2020-03-19
JP7080208B2 JP7080208B2 (ja) 2022-06-03

Family

ID=57680524

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018528960A Active JP6713537B2 (ja) 2015-12-04 2016-12-02 複数のメディアストリームの処理
JP2019206869A Active JP7080208B2 (ja) 2015-12-04 2019-11-15 複数のメディアストリームの処理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018528960A Active JP6713537B2 (ja) 2015-12-04 2016-12-02 複数のメディアストリームの処理

Country Status (5)

Country Link
US (4) US10440404B2 (ja)
EP (1) EP3384495B1 (ja)
JP (2) JP6713537B2 (ja)
CA (1) CA3007361C (ja)
WO (1) WO2017096271A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
WO2019106658A1 (en) * 2017-11-29 2019-06-06 Agt Global Media Gmbh System and method of generating media content and related data structures
US10595101B2 (en) 2018-03-15 2020-03-17 International Business Machines Corporation Auto-curation and personalization of sports highlights
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
CN111447460B (zh) * 2020-05-15 2022-02-18 杭州当虹科技股份有限公司 一种将低延时网络应用于导播台的实现方法
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11843808B2 (en) * 2020-12-31 2023-12-12 Comcast Cable Communications, Llc Methods and systems for content management
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343761A (ja) * 2003-05-16 2004-12-02 Seiko Epson Corp 制作コンテンツをビデオ会議の受動的参加者に配信するための方法及びシステム
JP2015162117A (ja) * 2014-02-27 2015-09-07 ブラザー工業株式会社 サーバ装置、プログラム、及び情報処理方法
WO2015167739A1 (en) * 2014-04-30 2015-11-05 Replay Technologies Inc. System for and method of generating user-selectable novel views on a viewing device

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6934461B1 (en) 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
WO2002095600A1 (en) 2001-05-24 2002-11-28 Electronic Advertising Solutions Innovators, Inc. Dba Easi, Inc. System and method for managing in-theater display advertisements
US7143354B2 (en) * 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
JP4641389B2 (ja) * 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
JP2007243573A (ja) * 2006-03-08 2007-09-20 Toshiba Corp サーバ装置
US20080019669A1 (en) 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
WO2008109522A1 (en) * 2007-03-03 2008-09-12 Boart Longyear High productivity core drilling system
US9106804B2 (en) 2007-09-28 2015-08-11 Gracenote, Inc. Synthesizing a presentation of a multimedia event
JP5339737B2 (ja) * 2008-02-08 2013-11-13 三菱電機株式会社 映像音声再生方法
JP2009267621A (ja) * 2008-04-23 2009-11-12 Yamaha Corp 通信装置
US9185361B2 (en) 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US20100156906A1 (en) * 2008-12-19 2010-06-24 David Montgomery Shot generation from previsualization of a physical environment
US9502073B2 (en) 2010-03-08 2016-11-22 Magisto Ltd. System and method for semi-automatic video editing
WO2011123753A2 (en) * 2010-04-01 2011-10-06 Bruno Lowinger Malignancy removal with tissue adhesive secured structure
EP2403236B1 (en) 2010-06-29 2013-12-11 Stockholms Universitet Holding AB Mobile video mixing system
AT511294B1 (de) * 2011-04-11 2013-06-15 Blum Gmbh Julius Schubladenausziehführung
GB2493498A (en) * 2011-07-18 2013-02-13 Nds Ltd Fast channel change using an aggregated video service
US8636516B2 (en) * 2011-07-28 2014-01-28 Nicolaos Batsikouras Apparatus and system for weighing food items
US8789081B2 (en) 2011-09-02 2014-07-22 Verizon Patent And Licensing Inc. Video quality scoring
US8621019B2 (en) * 2011-09-21 2013-12-31 Color Labs, Inc. Live content sharing within a social networking environment
US20150000936A1 (en) * 2011-12-13 2015-01-01 Schlumberger Technology Corporation Energization of an element with a thermally expandable material
US20130205311A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
US20130259446A1 (en) 2012-03-28 2013-10-03 Nokia Corporation Method and apparatus for user directed video editing
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
US20160071550A1 (en) * 2014-09-04 2016-03-10 Vixs Systems, Inc. Video system for embedding excitement data and methods for use therewith
GB2502063A (en) 2012-05-14 2013-11-20 Sony Corp Video cueing system and method for sporting event
US9659595B2 (en) * 2012-05-31 2017-05-23 Nokia Technologies Oy Video remixing system
US9596648B2 (en) * 2012-06-29 2017-03-14 Marvell World Trade Ltd. Unified beacon format
WO2014089362A1 (en) 2012-12-05 2014-06-12 Vyclone, Inc. Method and apparatus for automatic editing
US20150009364A1 (en) 2013-06-25 2015-01-08 Glen Anderson Management and access of media with media capture device operator perception data
WO2015009973A1 (en) * 2013-07-17 2015-01-22 Visible World, Inc. Systems and methods for content presentation management
JP2015082692A (ja) * 2013-10-21 2015-04-27 日本電信電話株式会社 映像編集装置、映像編集方法、および、映像編集プログラム
US20150156529A1 (en) 2013-12-04 2015-06-04 United Video Properties, Inc. Systems and methods for selectively transmitting user interaction information based on biometric information
US20150178915A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Tagging Images With Emotional State Information
EP3097698A4 (en) 2014-01-20 2016-11-30 H4 Eng Inc NEURAL NETWORK FOR VIDEO EDITION
US9510030B2 (en) 2014-02-13 2016-11-29 Piksel, Inc. Delivering media content to a content consuming user
US20160142625A1 (en) 2014-11-13 2016-05-19 Lenovo (Singapore) Pte. Ltd. Method and system for determining image composition attribute adjustments
US20160225410A1 (en) 2015-02-03 2016-08-04 Garmin Switzerland Gmbh Action camera content management system
US11006160B2 (en) 2015-08-24 2021-05-11 Microsoft Technology Licensing, Llc Event prediction enhancements
US10674205B2 (en) 2015-11-17 2020-06-02 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets
US9590941B1 (en) 2015-12-01 2017-03-07 International Business Machines Corporation Message handling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343761A (ja) * 2003-05-16 2004-12-02 Seiko Epson Corp 制作コンテンツをビデオ会議の受動的参加者に配信するための方法及びシステム
JP2015162117A (ja) * 2014-02-27 2015-09-07 ブラザー工業株式会社 サーバ装置、プログラム、及び情報処理方法
WO2015167739A1 (en) * 2014-04-30 2015-11-05 Replay Technologies Inc. System for and method of generating user-selectable novel views on a viewing device

Also Published As

Publication number Publication date
JP7080208B2 (ja) 2022-06-03
EP3384495A1 (en) 2018-10-10
US20170164015A1 (en) 2017-06-08
US20170164014A1 (en) 2017-06-08
US20200068228A1 (en) 2020-02-27
CA3007361C (en) 2021-09-07
JP2019505111A (ja) 2019-02-21
JP6713537B2 (ja) 2020-06-24
CA3007361A1 (en) 2017-06-08
WO2017096271A1 (en) 2017-06-08
US10848790B2 (en) 2020-11-24
US20170164013A1 (en) 2017-06-08
EP3384495B1 (en) 2021-06-23
US10432981B2 (en) 2019-10-01
US10440404B2 (en) 2019-10-08
US10425664B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
JP7080208B2 (ja) 複数のメディアストリームの処理
US10721439B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
JP6948624B2 (ja) 映像配信方法及びサーバ
US11283983B2 (en) System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
US11343594B2 (en) Methods and systems for an augmented film crew using purpose
US9172938B2 (en) Content reproduction method, content reproduction system, and content imaging device
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
US11398254B2 (en) Methods and systems for an augmented film crew using storyboards
CN102111542A (zh) 图像处理设备、成像设备、图像处理方法和程序
US10453496B2 (en) Methods and systems for an augmented film crew using sweet spots
JP2012151688A (ja) 映像再生装置及びその制御方法、プログラム並びに記憶媒体
US20170164012A1 (en) Remote-controlled media studio
US20170076177A1 (en) Method and device for capturing a video in a communal acquisition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210331

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220524

R150 Certificate of patent or registration of utility model

Ref document number: 7080208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150