JP2021511741A - 仮想インタラクティブ視聴者インタフェース - Google Patents

仮想インタラクティブ視聴者インタフェース Download PDF

Info

Publication number
JP2021511741A
JP2021511741A JP2020540443A JP2020540443A JP2021511741A JP 2021511741 A JP2021511741 A JP 2021511741A JP 2020540443 A JP2020540443 A JP 2020540443A JP 2020540443 A JP2020540443 A JP 2020540443A JP 2021511741 A JP2021511741 A JP 2021511741A
Authority
JP
Japan
Prior art keywords
feedback
viewer
performance area
remote
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020540443A
Other languages
English (en)
Other versions
JP7329522B2 (ja
Inventor
アイラ リー
アイラ リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Esb Labs Inc
Original Assignee
Esb Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Esb Labs Inc filed Critical Esb Labs Inc
Publication of JP2021511741A publication Critical patent/JP2021511741A/ja
Application granted granted Critical
Publication of JP7329522B2 publication Critical patent/JP7329522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63D—BOWLING GAMES, e.g. SKITTLES, BOCCE OR BOWLS; INSTALLATIONS THEREFOR; BAGATELLE OR SIMILAR GAMES; BILLIARDS
    • A63D15/00—Billiards, e.g. carom billiards or pocket billiards; Billiard tables
    • A63D15/20—Scoring or registering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

実施形態は、仮想視聴者を作成するとともに、遠隔視聴者の参加を容易にするための方法及びシステムを提供する。仮想視聴者を作成するための実施形態の一例は、最初に、パフォーマンスエリアから、遠隔位置にいる視聴者にデジタルフィードを提供する。次に、この方法では、前記遠隔位置にいる視聴者からのフィードバックを受信し、受信された前記フィードバックの少なくとも一部に対応する出力を前記パフォーマンスエリアに提供する。【選択図】図１

Description

関連出願
本出願は、２０１８年５月１５日に出願された米国仮出願第６２／６７１，５７８号、２０１８年１月１９日に出願された米国仮出願第６２／６１９，３５３号、２０１８年１月１９日に出願された米国仮出願第６２／６１９，４０４号の権利を主張する。上記出願の全体の教示は、参照によって本明細書に組み込まれている。
背景
データ処理及び転送の進歩は、分散イベント視聴の増加につながっていた。プレー、スポーツイベント、及びコンサート等のパフォーマンスは、ますます、世界中に分散される複数の人に見られるようになっている。
分散型視聴者の増加に伴い、現実世界のイベントの体験を向上させるとともに及び遠隔視聴の体験を改善する方法及びシステムが必要となっている。この目的のために、本発明の実施形態は、仮想視聴者を作成するための、及び、リモート及びローカル視聴者の両方に改善されたイベント視聴を提供する視聴者参加を容易にするための方法及びシステムを提供する。
本発明の例示的な実施形態は、仮想視聴者を作成するためのシステムを対象とする。このようなシステムは、パフォーマンスエリアから遠隔位置視聴者にデジタルフィードを提供し、前記遠隔位置視聴者からフィードバックを受信するように構成された通信インタフェースを備える。さらに、この例示的なシステムは、受信した前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアで出力を提供するように構成されたコントローラを備える。このシステムの一実施形態によれば、前記パフォーマンスエリアは、アリーナ、ビリヤードテーブル、及びステージとすることができる。
例示的な実施形態において、前記遠隔位置視聴者は、それぞれの地理的位置に位置する複数の遠隔位置視聴者を含む。このような例示的な実施形態によれば、前記システムの前記通信インタフェースは、さらに、複数の遠隔位置視聴者のそれぞれからフィードバックを受信するように構成されることができる。さらに、別の例示的な実施形態において、前記コントローラは、前記通信インタフェースによって、複数の遠隔位置視聴者から受信された前記フィードバックを集計するように構成される。このような実施形態において、前記コントローラによって前記パフォーマンスエリアで提供された前記出力は、集計された前記フィードバックに基づいている。
別の例示的な実施形態によれば、前記遠隔位置視聴者からの前記フィードバックは、当該技術分野で知られている任意のフィードバックであって、拍手、踏み鳴らし、ブーイング、口頭発言、及びテキストのうち少なくとも１つを含む。別の例示的な実施形態において、前記通信インタフェースは、さらに、前記遠隔位置視聴者に、受信するように構成された当該通信インタフェースの受信対象のフィードバックに対応するフィードバックオプションのリストを提供するように構成される。このような実施形態において、前記通信インタフェースによって受信される前記フィードバックは、提供された前記フィードバックオプションのリストからの少なくとも１つのフィードバックを含む。
前記システムのさらに別の実施形態において、前記通信インタフェースは、前記遠隔位置視聴者の少なくとも１人のメンバの少なくとも１つの電子デバイスに接続することによって、前記遠隔位置視聴者にデジタルフィードを提供するように構成される。別の実施形態において、前記通信インタフェースによって受信されるフィードバックは、前記遠隔位置視聴者の少なくとも１人のメンバの前記電子デバイスの動作を示す信号を含む。このような実施形態によれば、前記電子デバイスの動作を示す前記信号は、前記遠隔位置視聴者の少なくとも１人のメンバと前記電子デバイスとの間の接続、及び前記電子デバイスの動きのうち、少なくとも１つを示す。同様に、別の実施形態によれば、前記通信インタフェースによって受信されたフィードバックは、前記遠隔位置視聴者の少なくとも１人のメンバの電子デバイスの動きを示す信号を含む。
前記システムの一態様において、一実施形態によれば、デジタルフィードが提供されることが可能となり、様々な時間でフィードバックを受信可能となっている。このようなシステムの一実施形態において、前記通信インタフェースは、前記遠隔位置視聴者からフィードバックをリアルタイムで受信するように構成され、前記コントローラは、前記パフォーマンスエリアで出力をリアルタイムで提供するように構成される。別の実施形態によれば、前記通信インタフェースによって提供され、前記パフォーマンスエリアからのデジタルフィードは、前記パフォーマンスエリアでのイベントの放送である。このような実施形態において、前記通信インタフェースは、前記イベントが発生した時間の後に前記デジタルフィードを提供可能に構成される。同様に、このような実施形態によれば、前記通信インタフェースは、前記イベントが発生した時間の後に前記フィードバックを受信可能に構成される。同様に、さらに別の実施形態において、前記通信インタフェースは、さらに、前記イベントが発生した時間の後に追加のフィードバックを受信するように構成され、前記コントローラは、さらに、前記フィードバックと前記追加のフィードバックとを集計するように構成される。
本発明の別の態様において、このシステムは、前記遠隔位置視聴者の１人又は複数のメンバにカスタマイズ出力を提供するように構成される。このような実施形態において、前記コントローラは、さらに、前記遠隔位置視聴者の少なくとも１人のメンバを含むサブセットに提供される視聴者出力を決定するように構成され、前記通信インタフェースは、さらに、前記遠隔位置視聴者の前記サブセットに決定された前記視聴者出力を提供するように構成される。一実施形態によれば、前記コントローラは、前記遠隔位置視聴者のどのメンバが前記視聴者出力を受信するかを決定するように構成され、前記通信インタフェースは、決定された前記メンバに前記視聴者出力を提供するように構成される。このような実施形態における前記視聴者出力は、任意の様々な異なる形式であってもよく、任意の様々な異なるデータタイプであっても良い。例えば、このような実施形態の一例において、前記コントローラによって決定された前記視聴者出力は、前記遠隔位置視聴者の複数のメンバから前記通信インタフェースで受信されたフィードバックから、当該コントローラによって生成された集計フィードバックを含む。一実施形態によれば、前記コントローラは、さらに、前記通信インタフェースによって前記遠隔位置視聴者から受信された前記フィードバックと、集計フィードバックと、を合成して、前記視聴者出力を決定するように構成される。前記視聴者出力は、前記遠隔位置視聴者の１人のメンバが、そうではないが、前記遠隔位置視聴者がイベントの現場にいるように、前記遠隔位置視聴者の他のメンバからのフィードバックの中から自分自身のフィードバックを知覚可能とする。
さらに別の実施形態において、前記コントローラによって決定された前記視聴者出力は、前記遠隔位置視聴者の少なくとも１人のメンバに、受信されたフィードバックの不適切さを通知する。このようにして、このような実施形態において、前記システムは、遠隔位置視聴者のメンバを監視する。別の実施形態において、前記視聴者出力は、前記遠隔位置視聴者のメンバ、前記パフォーマンスエリア、前記パフォーマンスエリアでのイベント、及び受信されたフィードバックのうち、少なくとも１つに関するデータ指標を含む。前記コントローラが前記遠隔位置視聴者のサブセットのための視聴者出力を決定するように構成されている実施形態において、このコントローラは、前記視聴者出力を受信する前記遠隔位置視聴者の前記サブセット以外の、前記遠隔位置視聴者のメンバーズからのフィードバックを用いて、前記視聴者出力を決定する。
前記システムの別の実施形態において、前記パフォーマンスエリアで前記コントローラによって提供される前記出力は強化されている。さらに別の実施形態において、前記パフォーマンスエリアで前記コントローラによって提供される前記出力は、ユーザが選択した人為的な視聴者数に基づいている。このような実施形態によれば、前記コントローラは、さらに、前記パフォーマンスエリアで前記出力を提供する際に、前記ユーザが選択した視聴者の人数を利用して、前記ユーザが選択した前記視聴者の人数に対応するように、受信されたフィードバックを調整するように構成される。
別の実施形態によれば、前記コントローラは、さらに、前記パフォーマンスエリアでのイベントに基づいて、前記パフォーマンスエリアで出力を提供するように構成される。このような実施形態において、前記コントローラは、前記パフォーマンスエリアでのイベントの要素の結果として、前記パフォーマンスエリアでのイベントに基づいて、前記パフォーマンスエリアで前記出力の提供を遅延させるように構成される。別の実施形態において、前記コントローラは、前記イベントのシミュレーションを用いて、前記パフォーマンスエリアでの前記イベントの要素の結果として、前記パフォーマンスエリアで前記出力を提供するように構成される。
システムの別の実施形態において、前記通信インタフェースによって受信されたフィードバックは、遠隔位置視聴者の複数のメンバからのフィードバックを含み、前記コントローラは、前記パフォーマンスエリアで前記出力を提供するために、前記遠隔位置視聴者の複数のメンバから受信された前記フィードバックを集計するように構成される。このような実施形態において、前記パフォーマンスエリアで前記出力を提供するために、前記コントローラは、特定の種類のフィードバックが、集計されたフィードバックで発生する回数を利用して前記パフォーマンスエリアで前記出力を提供するように構成される。
例示的な実施形態において、前記通信インタフェースによって受信されたフィードバックは、音声フィードバックを含む。このような実施形態において、前記コントローラは、さらに、受信されたフィードバック内の言葉の少なくとも一部を削除するように構成されても良い。このような実施形態によれば、削除される言葉は、攻撃的な言葉を含むことができる。同様に、一実施形態において、前記通信インタフェースは、さらに、前記遠隔位置視聴者の１人のメンバを、禁止される当該視聴者メンバに関連付けられたインターネットプロトコルアドレスに基づいて、禁止するように構成され得る。同じように、さらに別の実施形態において、前記コントローラは、さらに、受信された前記フィードバックから１つ又か複数の不適切な応答を削除するように構成される。
さらに別のシステムの実施形態によれば、前記パフォーマンスエリアで前記コントローラによって提供された出力は、前記パフォーマンスエリアに対する少なくとも１つの物理的変化を含む。このような実施形態において、前記少なくとも１つの物理的変化は、ストリーマ、ファン、紙吹雪、モータ、アクチュエータ、ロボット、ライト、フォグマシン、及びスピーカのうち、少なくとも１つを通じて影響される。別の実施形態によれば、前記コントローラは、複数のテーマから選択されたテーマに基づいて、前記パフォーマンスエリアで出力を提供するように構成される。このような実施形態において、前記テーマは、前記遠隔位置視聴者のメンバの割合によって決定されても良い。別の実施形態において、前記パフォーマンスエリアでの前記出力は、音声、ビデオ、テキスト、動き、におい、及び受信された前記フィードバックの集計かつ集合的なレンダリングのうち、少なくとも１つを含む。一実施形態において、前記コントローラによって提供された前記出力は、前記パフォーマンスエリアで知覚可能であり、即ち、前記パフォーマンスエリアで感知可能である。さらに、さらなる別の実施形態において、前記コントローラは、少なくとも１つのアバターを介して前記パフォーマンスエリアで前記出力を提供するように構成される。
さらに別の実施形態において、前記通信インタフェースは、さらに、前記遠隔位置視聴者の少なくとも１人のメンバに、視聴者の参加のグラフィック表示を提供するように構成される。別の実施形態において、前記通信インタフェースは、さらに、前記遠隔位置視聴者の少なくとも１人のメンバに、カスタムフィードを提供するように構成される。さらに、さらなる別の実施形態において、前記通信インタフェースは、前記遠隔位置視聴者の複数のメンバからフィードバックを受信するように構成され、前記コントローラは、受信された前記フィードバックを時間的に集計するように、即ち、経時的に前記フィードバックを蓄積するように構成される。
一実施形態によれば、前記システムの前記通信インタフェースによって提供される前記デジタルフィードは、ビデオ及びオーディオのうち少なくとも１つを含む。さらに別の実施形態において、前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアのビデオフィードである。同じように、一実施形態によれば、前記パフォーマンスエリアからの前記デジタルフィードは、パフォーマンスエリアでのイベントのビデオフィードである。別の実施形態において、前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアのオーディオフィードである。代替的な一実施形態において、前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアにいる少なくとも１人に関する生体データを含む。このような実施形態において、前記生体データは、当該技術分野で知られている任意の生体データを含み、心拍数、呼吸、及び温度のうち少なくとも１つを含む。
前記システムの一実施形態において、前記遠隔位置視聴者は、複数のメンバを含み、前記通信インタフェースは、前記遠隔位置視聴者のそれぞれのメンバに前記デジタルフィードを提供するように構成される。同様に、別の実施形態によれば、前記遠隔位置視聴者は、複数のメンバを含み、前記通信インタフェースは、前記遠隔位置視聴者のそれぞれのメンバからフィードバックを受信するように構成される。さらに別の実施形態において、前記遠隔位置視聴者は、複数の視聴者メンバを含み、２つ以上の前記複数の視聴者メンバは、同じ地理的位置にいる。
さらに別の実施形態によれば、前記通信インタフェースは、さらに、前記パフォーマンスエリアの現場に位置する視聴者からローカルフィードバックを受信するように構成される。このような実施形態において、前記コントローラは、前記通信インタフェースが前記ローカルフィードバックを受信する時間に基づいて決定された時間に、前記パフォーマンスエリアで出力を提供するように構成されても良い。このような実施形態において、前記コントローラは、前記パフォーマンスエリアで出力を提供する時間を決定するように構成されても良い。さらに別の実施形態において、前記コントローラによって前記パフォーマンスエリアで提供される前記出力は、遠隔位置視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、ローカルフィードバック、及びイベントの見込みのうち、少なくとも１つに基づいている。
前記システムの代替的な実施形態は、前記パフォーマンスエリアに近接して位置する少なくとも１つのディスプレイをさらに含み、この少なくとも１つのディスプレイは、前記遠隔位置視聴者の少なくとも一部の表現を表示するように構成される。一実施形態によれば、前記表現は、前記遠隔位置視聴者の前記一部に対応する少なくとも１つのデジタルアバターである。さらに別の実施形態において、前記少なくとも１つのディスプレイは、複数のデジタルアバターを表示し、強調された１つ又は複数のアバターに関連付けられ、受信されたフィードバックに基づいて、表示された前記複数のデジタルアバターの１つ又は複数を強調するように構成される。一実施形態において、前記少なくとも１つのディスプレイは、前記遠隔位置視聴者のメンバの数に比例する程度の数のデジタルアバターを表示するように構成される。さらに別の実施形態において、前記少なくとも１つのディスプレイは、所望のサイズの視聴者をシミュレートするように、ユーザによって設定されたデジタルアバターの数を表示するように構成される。さらに別の実施形態において、前記少なくとも１つのディスプレイの少なくとも一部は、前記パフォーマンスエリアから観察可能である。一実施形態において、前記少なくとも１つのディスプレイの少なくとも一部は、前記パフォーマンスエリアに並んでいる。
さらに、さらに別の実施形態において、前記パフォーマンスエリアに近接して位置する少なくとも１つのディスプレイは、前記遠隔位置視聴者の１人のメンバによって選択された位置に少なくとも１つのデジタルアバターを表示するように構成される。別の実施形態によれば、前記少なくとも１つのディスプレイは、少なくとも１つのデジタルアバターを標識で表示するように構成される。さらに、一実施形態において、前記少なくとも１つのディスプレイは、前記遠隔位置視聴者からの入力に基づいて、表示された少なくとも1つのデジタルアバターをカスタマイズするように構成される。さらに、一実施形態において、前記少なくとも１つのディスプレイは、前記遠隔位置視聴者から受信された前記フィードバックをレンダリングする、又は、前記遠隔位置視聴者から受信されると予測されたフィードバックをレンダリングするように、少なくとも１つのデジタルアバターを動かすように構成される。別の実施形態によれば、前記遠隔位置視聴者は、複数のメンバを含み、このような実施形態において、前記少なくとも１つのディスプレイは、前記遠隔位置視聴者の複数のメンバのそれぞれのアバターを表示するように構成される。
前記システムの別の実施形態は、前記パフォーマンスエリアでの１つ又は複数のイベントを検出するように構成された１つ又は複数のセンサをさらに含む。このような実施形態において、前記センサは、例えば、カメラ、動き検出器、サーモカメラ、加速度計、及びマイクロフォン等の、当該技術分野で知られている任意のこのようなセンサを備えても良い。前記センサを備える前記システムの一実施形態は、１つ又は複数のセンサによって、パフォーマンスエリアで検出された１つ又は複数のイベントに基づいて、ディスプレイに表示された少なくとも１つのデジタルアバターを動かすように構成される。さらに別の実施形態において、前記少なくとも１つのディスプレイは、前記１つ又は複数のセンサによって検出された前記１つ又は複数のイベントのそれぞれについて注目スコアを計算し、確率的な決定及び前記１つ又は複数のイベントについて計算された前記注目スコアを用いて選択されたアバターを動かすように構成される。このような実施形態において、前記少なくとも１つのディスプレイは、イベントの場所、イベントの大きさ、音声の位置、及び動きの位置のうち、少なくとも１つに基づいて前記１つ又は複数のイベントのそれぞれについて前記注目スコアを計算するように構成されても良い。同じように、一実施形態において、前記アバターの動きは、注目スコア、アバターの注目度、イベントの場所、音声の位置、及び動きの位置のうち、少なくとも１つに基づいても良い。
代替的な実施形態において、前記通信インタフェースは、さらに、少なくとも１つのディスプレイで現れる、現れた、及び現れる予定のアバターに対応する画像を遠隔位置視聴者に提供するように構成される。さらに別の実施形態において、前記少なくとも１つのディスプレイは、当該ディスプレイに表示された表現体の３次元（３Ｄ）レンダリングを提供するように構成される。さらに別の実施形態によれば、前記少なくとも１つのディスプレイは、前記遠隔位置視聴者の仮想出席を提供するように構成される。さらに別の実施形態において、前記少なくとも１つのディスプレイは、プロジェクタによって提供される。
システムの別の実施形態は、遠隔位置視聴者のメンバのデジタルな「持ち去り」を提供する。このような一実施形態において、前記コントローラは、前記パフォーマンスエリアからの物体のデジタルレンダリングを作成するように構成され、前記通信インタフェースは、前記コントローラによって作成された前記デジタルレンダリングを前記遠隔位置視聴者に提供するように構成される。さらに別の実施形態において、前記コントローラは、前記遠隔位置視聴者の少なくとも一部に対応する物理的アバターを提供するように構成される。
本発明の別の実施形態は、仮想視聴者を作成するための方法を対象とする。このような方法の実施形態は、パフォーマンスエリアからのデジタルフィードを遠隔位置視聴者に提供し、前記遠隔位置視聴者からフィードバックを受信し、及び受信された前記フィードバックの少なくとも一部に対応して前記パフォーマンスエリアで出力を提供する。このような方法の実施形態は、本明細書に記載された前記システムの実施形態の何れかの機能を実行しても良い。
本発明のさらに別の実施形態は、遠隔視聴者の参加を容易にする方法を対象とする。このような方法における遠隔視聴者の参加の促進には、ユーザに関連付けられたデバイスでパフォーマンスエリアからのデジタルフィードを受信することと、次に、前記パフォーマンスエリアにフィードバックを送信することと、前記パフォーマンスエリアから、複数の遠隔位置視聴者のメンバからのフィードバックに対応する出力を受信することと、を含む。このような方法は、また、遠隔位置視聴者の複数のメンバの間のコミュニケーションを可能にすることを含めても良い。
遠隔視聴者の参加を容易にする本発明の実施形態において、前記パフォーマンスエリアに送信される前記フィードバックは、前記ユーザに関連付けられた前記デバイスに結合された加速度計から信号であっても良い。さらに別の実施形態において、前記パフォーマンスエリアに送信される前記フィードバックは、フィードバックリストから選択されている。一実施形態によれば、前記フィードバックリストは、拍手、踏み鳴らし、ブーイング、口頭発言、前記パフォーマンスエリアへの物理的変化、及びテキストのうち、少なくとも１つを含む。代替的な一実施形態は、前記パフォーマンスエリアから、前記パフォーマンスエリアで表示されたデジタルアバターに関するフィードバックを受信することをさらに含む。さらに別の実施形態は、前記パフォーマンスエリア内にある物体のデジタルレンダリングを受信することをさらに含む。
遠隔視聴者の参加を容易にするための別の実施形態は、ユーザに関連付けられたデバイス上のグラフィカルユーザインタフェースの複数のパネルに、パフォーマンスエリアに関連するデータを展示することを含む。特定の実施形態において、第１のパネルは、前記パフォーマンスエリアから受信された前記出力を表示し、第２のパネルは、デジタルフィードを表示し、第３のパネルは、ユーザに関連付けられたアバターを表示する。別の実施形態において、前記パネルのうちの１つは、イベントスコアをさらに表示する。さらに別の実施形態において、前記第１のパネルで表示される、前記パフォーマンスエリアからの前記出力は、複数の遠隔位置視聴者のメンバに対応する複数のデジタルアバターを示す。
別の実施形態は、特定のユーザを強調表示することができる。このような実施形態において、ユーザは、当該ユーザがフィーチャされているという通知を受信し、前記ユーザは、前記通知への応答として表現を送信し、パネルでは、複数の遠隔位置視聴者のメンバに対応する複数のデジタルアバターの中で送信された前記表現を実行するように、前記ユーザに関連付けられアバターが表示される。
別の実施形態は、仮想視聴者を作成するためのシステムを対象とする。さらに、前記システムは、パフォーマンスエリアからのデジタルフィードをキャプチャし、前記デジタルフィードを遠隔位置視聴者に伝えるように構成されたキャプチャデバイスを備える。さらに、前記システムは、前記パフォーマンスエリアで知覚できる出力を提供し、前記出力は、前記遠隔位置視聴者から受信されたフィードバックに対応する。
別のシステムの実施形態は、通信インタフェースを用いて仮想視聴者を作成する。前記通信インタフェースは、パフォーマンスエリアからのデジタルフィードを遠隔位置視聴者に提供し、前記遠隔位置視聴者からフィードバックを受信し、前記遠隔位置視聴者の少なくとも１人のメンバに視聴者出力を提供するように構成される。このようなシステムの実施形態は、受信された前記フィードバックに基づいて前記視聴者出力を決定するように構成されたコントローラをさらに備えても良い。さらなる実施形態において、前記遠隔位置視聴者は、複数のメンバを含み、前記通信インタフェースは、さらに、前記遠隔位置視聴者の複数のメンバからフィードバックを受信するように構成される。さらに別の実施形態において、前記コントローラは、さらに、前記遠隔位置視聴者の前記複数のメンバから受信された前記フィードバックを集計し、集計された前記フィードバックに基づいて前記視聴者出力を決定するように構成される。このような実施形態において、前記コントローラは、さらに、前記遠隔位置視聴者の前記複数のメンバから受信された前記フィードバックを時間的に集計するように構成される。
仮想視聴者を作成するためのシステムを対象とするさらなる別の実施形態は、パフォーマンスエリアからのデジタルフィードを視聴者に提供し、前記視聴者からのフィードバックを受信するように構成された通信インタフェースを備える。さらに、前記システムは、受信された前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアに出力を提供するように構成されたコントローラを備える。一実施形態によれば、前記視聴者は、遠隔位置視聴者と、前記パフォーマンスエリアの現場に位置する視聴者と、を含む。さらなる実施形態において、受信された前記フィードバックは、前記遠隔位置視聴者からのフィードバック、及び前記現場に位置する視聴者からのフィードバックの両方を含む。このような一実施形態において、前記コントローラは、受信された前記フィードバックからの遅延の少ないフィードバックに基づいて決定された時間に、前記パフォーマンスエリアに前記出力を提供するように構成される。同様に、さらに別の実施形態において、前記コントローラは、受信された前記フィードバックからの遅延の少ないフィードバックに基づいて、前記パフォーマンスエリアへの前記出力、例えば、タイプ及び大きさを決定するように構成される。このような実施形態において、前記コントローラは、視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ／重要度、イベントの現在のスコア、イベントの完了率、及びイベントの見込みのうち、少なくとも１つに基づいて、前記パフォーマンスエリアへの前記出力を決定するように構成されても良い。
別の実施形態は、通信インタフェース及びコントローラを備えるシステムを対象とする。このようなシステムにおける前記通信インタフェースは、遠隔位置視聴者から、パフォーマンスエリアに関連するフィードバックを受信し、前記パフォーマンスエリアの現場に位置する視聴者からフィードバックを受信するように構成される。前記コントローラは、前記遠隔位置視聴者の少なくとも一部に対応して、前記パフォーマンスエリアで出力を提供するように構成される。このような実施形態において、前記コントローラは、さらに、少なくとも１つの前記遠隔位置視聴者から受信された前記フィードバックと、前記現場に位置する視聴者から受信された前記フィードバックと、の間の遅延の少ないフィードバックに基づいて決定された時間に、前記パフォーマンスエリアに前記出力を提供するように構成されても良い。さらに、別の実施形態において、前記コントローラは、視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、及びイベントの可能性のうち、少なくとも１つに基づいて、前記パフォーマンスエリアへの前記出力を決定するように構成される。
以上のことは、以下の本発明の例示的な実施形態の具体的な説明から明らかになり、添付の図面に示すように、異なる図において、同様の符号は同じ部分を示している。図面は必ずしも特定の縮尺で描かれているとは限られず、図の重点は、本発明の実施形態を例示することである。
図１は、本発明の一実施形態が実施される環境を簡略化した説明図である。
図２は、一実施形態による仮想視聴者を作成するための方法のフロー図を示す図である。
図３は、本発明の一実施形態による反応を提供するための方法を示す図である。
図４は、一実施形態による仮想視聴者を動かすための方法のフローチャートである。
図５は、本発明の実施形態を実施可能な環境の簡略図である。
図６は、本発明の実施形態を実施可能なコンピュータシステムを簡略化したブロック図である。
図７は、一実施形態による仮想視聴者を提供するための方法のフロー図である。
図８は、一実施形態による遠隔視聴者の参加を容易にするための方法のフローチャートである。
図９Ａ−Ｃは、それぞれの実施形態で使用され得る、遠隔視聴者の参加を容易にするためのグラフィカルユーザインタフェースを示す。
図１０は、一実施形態による遠隔視聴者メンバの参加を容易にするための方法のフロー図である。
図１１Ａ−Ｃは、それぞれの実施形態によって提供され得る例示的な仮想視聴者を示す。
図１２は、本発明の実施形態を実施可能なコンピュータネットワーク環境の簡略図である。
図１３は、反応を制御するために一実施形態で使用され得るグラフィカルユーザインタフェースを示す。
図１４は、反応を制御するためのインタフェースを構成するために、実施形態で使用され得るユーザインタフェースを示す。
本発明の例示的な実施形態の説明は、以下の通りである。
本明細書に引用されている全ての特許、公開出願及び参考文献の教示は、その全体が参照により組み込まれている。
図１は、本発明の一実施形態が実施され得る、パフォーマンスエリア１０１を含むシステム１００の簡略的な説明図である。パフォーマンスエリア１０１では、プレーヤ１１０ａ，１１０ｂがテーブル１０９の上でビリヤード試合を行っており、当該ゲームのプレーは、ライブ視聴者メンバ１０３ａ−ｎを含むライブ視聴者１０２によって観戦されている。当該パフォーマンスエリア１０１は、また、コントローラ１０７及び通信インタフェース１０８を含むコンピューティング装置１０６を含む。
コンピューティング装置１０６は、また、インタコネクト１２２を介して、カメラ１１１ａ−ｃ及びマイクロフォン１１２等の入力デバイスから、データ１２０を収集するように構成されている。また、コンピューティング装置１０６は、様々な入力デバイス１１１ａ−ｃ，１１２に制御コマンド１２１を送信するように構成されている。さらに、コンピューティング装置１０６は、収集されたデータをコントローラ１０７で処理し、通信インタフェース１０８及びネットワーク１１３を介して、処理済データ１１６を遠隔視聴者メンバ１１４ａ−ｎに提供する。遠隔視聴者メンバ１１４ａ−ｎは、各自のコンピューティング装置１１５ａ−ｎでパフォーマンスエリアデータ１１８ａ−ｎを受信する。さらに、遠隔視聴者メンバ１１４ａ−ｎは、ネットワーク１１３を介して、コンピューティング装置１０６にフィードバック１１９ａ−ｎ（まとめてフィードバック１１９）を提供しても良い。コンピューティング装置１０６はコントローラ１０７とともに、ライブ視聴者１０２から収集されたデータに加えてフィードバックデータ１１９を処理して、アバター１０５ａ−ｎを表示要素として含むディスプレイ１０４を介して仮想視聴者を提供するように構成されている。
ところで、ネットワーク１１３は、当該技術分野で知られている有線ネットワーク及び無線ネットワークの任意の種類及びその組合せを含む任意のネットワークであっても良い。同様に、コンピューティング装置１０６は、当該技術分野で知られているサーバ等の任意のコンピューティング装置であっても良い。さらに、コントローラ１０７及び通信インタフェース１０８は、個別の構成要素として表示されているが、当該技術分野で知られているように、ハードウェア及びソフトウェア要素の任意の組合せによって実現されても良い。さらに、コンピューティング装置１０６及び／又はコントローラ１０７は、関連出願に記載されたシステムに結合されても良く、又はそのシステムの構成要素であっても良い。上記関連出願は、Ｉｒａ Ｌｅｅにより、２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」であり、出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより、２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」であり、出願番号が６２/６７１，５７８の米国仮出願を含む。さらに、本発明の実施形態は、コンピューティング装置１０６をパフォーマンスエリア１０１に配置することに限定されず、コンピューティング装置が、本明細書に記載されているようにデータを受信及び処理することができれば、コンピューティング装置１０６を任意の場所に配置することができる。そのうえ、コンピューティング装置は、ローカル処理及びクラウド処理の任意の組合せを介して実現されても良い。同様に、インタコネクト１１２とネットワーク１１３を介してデータが送信される一方で、システム１００は、様々な構成要素の間で、この技術分野で知られている任意の通信方法を用いてデータを送信しても良い。様々な構成要素としては、例えばカメラ１１１ａ−ｃ、コンピューティング装置１０６、及び装置１１５ａ−ｎがある。同じように、ディスプレイ１０４は、当該技術分野で知られている任意のディスプレイであっても良い。例えば、一実施形態において、ディスプレイ１０４は、プロジェクタによって提供されても良い。
例示的な実施形態において、コンピューティング装置１０６、即ちコントローラ１０７及び通信インタフェース１０８は、仮想視聴者を提供するように構成されている。このような例示的な実施形態において、プレーヤ１１０ｂ，１１０ａがテーブル１０９の上でビリヤード試合を行っており、カメラ１１１ａ−ｃ及びマイクロフォン１１２が、例えば試合のビデオデータ及び音声データ等のデータを収集し、収集したデータ１２０をコンピューティング装置１０６に送信する。コントローラ１０７は、収集されたデータ１２０を処理してデジタルフィード１１６を作成し、コンピューティング装置１０６は、通信インタフェース１０８及びネットワーク１１３を介して、デジタルフィード１１６を遠隔位置視聴者メンバ１１４ａ−ｎに提供する。この遠隔位置視聴者メンバ１１４ａ−ｎは、彼らの各自のコンピューティング装置１１５ａ−ｎでデジタルフィード信号１１８ａ−ｎを受信する。受信されたデジタルフィード１１８ａ−ｎに応答することにおいて、視聴者メンバ１１４ａ−ｎは、コンピューティング装置１１５ａ−ｎを介して、例えば拍手等のフィードバック１１９ａ−ｎを提供することができる。フィードバック１１９は、ネットワーク１１３及び通信インタフェース１０８を介してコンピューティング装置１０６で受信される。コントローラ１０７は、フィードバック１１９を処理して、少なくとも受信したフィードバック１１９に対応する場所のパフォーマンスエリア１０１に、出力を提供する。そのうえ、一実施形態において、コントローラ１０７は、図３に関連して後述に記載された方法３００に従って、パフォーマンスエリア１０１でフィードバックを提供しても良い。一実施形態において、パフォーマンスエリアでの出力は、フィードバックの処理データ（レンダリング）であっても良く、この出力は、レンダリングによってアバター１０５ａ−ｎが表示されているディスプレイ１０４上に行われる。このようにして、システム１００は、本明細書に記載された本発明の実施形態のうち任意の実施形態又はその組合せを実施するように構成されても良い。
パフォーマンスエリア１０１は、プレーヤ１１０ａ，１１０ｂによってテーブル１０９で行われているビリヤード試合を示しているが、パフォーマンスエリア１００は、当該技術分野で知られている任意のパフォーマンスエリア、即ち、イベントが行われるエリアであっても良い。例えば、パフォーマンスエリア１０１は、アリーナ、ビリヤードテーブル、ステージ、トレーニング施設、又は学校等の他の例のうち何れかであっても良い。さらに、カメラ１１１ａ−ｃ及びマイクロフォン１１２等のセンサの特定のネットワークが図示されているが、任意の種類の入力装置、即ち、センサが、任意の種類の構成で、使用され、ネットワーク化され得ることは、当該技術分野の当業者にとって明らかである。例えば、センサは、カメラ、マイクロフォン、動き検出器、サーモカメラ、及び加速度計のうちの１つ又は複数を含んでも良い。そのうえ、センサのネットワークは、関連出願に記載されている任意のデータセンシングデバイスを含んでも良い。上記関連出願は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号６２/６７１，５７８の米国仮出願を含む。
さらに、ところで、２人の遠隔位置視聴者メンバ１１４ａ，１１４ｎが表示されているが、遠隔位置視聴者は、遠隔位置視聴者メンバで構成される任意の数のグループを含んでも良く、これらのグループは、任意の数の人を有しても良い。更に、遠隔位置視聴者のメンバは、それぞれの地理的位置にいる複数のメンバを含んでも良い。例えば、遠隔位置視聴者は観賞会にいる人のグループを含んでも良いし、遠隔位置視聴者の別のメンバは自宅でパフォーマンスを観賞している個人であっても良い。このような実施形態において、通信インタフェース１０８は、複数の遠隔位置視聴者のそれぞれからフィードバック１１９を受信するように構成される。通信インタフェース１０８が遠隔位置視聴者の複数のメンバのそれぞれからフィードバック１１９を受信するように構成されている実施形態において、通信インタフェース１０８は、同じように、遠隔位置視聴者のメンバのそれぞれにデジタルフィード１１６を提供するように構成される。
一実施形態によれば、通信インタフェース１０８で受信されるフィードバック１１９は、当該技術分野で知られている任意のフィードバックであっても良い。一実施形態において、フィードバックは、拍手、踏み鳴らし、ブーイング、口頭発言、及びテキストのうち、少なくとも１つを含むことができる。そのうえ、フィードバックが音声フィードバックを含む実施形態において、コントローラ１０７は、受信された音声フィードバックから攻撃的な言葉等の言葉を削除するように構成されても良い。実施形態において、攻撃的な言葉は、テキストフィルタ、クラウドソーシング、又は当該技術分野で知られている任意の他の方法を用いて削除することができる。システム１００の別の実施形態において、コントローラ１０７は、受信されたフィードバックから１つ又は複数の不適切な応答を削除するように構成される。例えば、一実施形態において、コントローラ１０７は、テキストフィードバックから不適切な言語を削除する。さらに別の実施形態において、通信インタフェース１０８は、さらに、当該通信インタフェース１０８が受信するように構成されたフィードバックに対応するフィードバックオプションのリストを遠隔位置視聴者１１４ａ−ｎに提供するように構成される。このような実施形態において、通信インタフェース１０８によって受信されたフィードバック１１９は、提供されたフィードバックオプションのリストからの少なくとも１つのフィードバックを含む。例示すると、通信インタフェース１０８は、遠隔位置視聴者メンバ１１４ａ−ｎに関連付けられたコンピューティング装置１１５ａ−ｎ上で実行されているアプリケーション又はインターネットブラウザのグラフィカルユーザインタフェースに、視聴者フィードバックオプションのリストを表示するように、コマンドを提供しても良い。次に、特定の視聴者メンバ１１４ａは、コンピューティング装置１１５ａ上で、例えば、不賛成のオプションを選択しても良く、このオプションの選択の結果、フィードバック１１９ａが通信インタフェース１０８に通信される。
さらに別の実施形態において、通信インタフェースによって受信されたフィードバック１１９は、遠隔位置視聴者の少なくとも１人のメンバ１１４ａ−ｎの電子デバイス１１５ａ−ｎの動きを示す信号を含む。このような実施形態によれば、電子デバイスの動きを示す信号は、遠隔位置視聴者のメンバと彼又は彼女に関連する電子デバイスとの接続と、当該電子デバイスの動きと、のうち少なくとも１つを示している。例えば、一実施形態によれば、視聴者メンバ１１４ａは、彼又は彼女の電子デバイスをタップし、デバイス１１５ａ内の加速度計は、このタップを感知して、感知した動きをフィードバック１１９として提供する。同様に、視聴者メンバ１１４ａは、彼又は彼女のフィードバックを表現するために彼又は彼女の携帯電話を移動し、再び、デバイス１１５ａ内の加速度計は、この動きを感知して、この動きを示す信号をフィードバック１１９として提供することができる。
一実施形態によれば、システム１００は、リアルタイムで動作しても良い。例えば、通信インタフェース１０８は、リアルタイムでフィードバック１１９を受信するように構成されても良いし、コントローラ１０７は、パフォーマンスエリアで出力をリアルタイムで提供するように構成されても良い。さらに、別の実施形態において、コントローラ１０７は、通信インタフェース１０８が視聴者１０２からローカルフィードバックを受信した時間に基づいて決定された時間に、パフォーマンスエリア１０１で出力を提供するように構成されても良い。システム１００の一実施形態によれば、フィードバック１１９が受信されたタイミング及びパフォーマンスエリア１０１で出力を提供するタイミングは、図３に関連する後述の方法及びタイミングに従って実行されても良い。
別の実施形態において、デジタルフィード１１６がパフォーマンスエリア１０１でのイベントの放送である場合、通信インタフェース１０８は、イベントが発生した時間の後にデジタルフィード１１６を提供し、同様に、イベントが発生した時間の後にフィードバック１１９を受信するように構成されても良い。システム１００のこのような実施形態において、遅延がありかつ改良された、イベントの視聴を提供する。例えば、このような実施形態において、通信インタフェース１０８は、経時的にフィードバックを受信するように構成され、例えば、イベントが発生した後、デジタルフィードを受信したときにフィードバックを提供する遠隔位置視聴者メンバによって任意時間で提供されたフィードバックを受信する。さらに、コントローラ１０７は、経時的に受信されたフィードバックを集計するように、即ち、受信されたフィードバックを時間的に集計するように構成されている。
このような実施形態において、コントローラ１０７は、さらに、視聴者メンバ１１４ａ−ｎのそれぞれが彼又は彼女のデジタルフィード１１８ａ−ｎのそれぞれを受信した時点までに集計されたフィードバックを反映した視聴者出力を決定するように構成される。例示すると、例示的な実施形態において、パフォーマンスエリア１０１でのイベントが１月１日に発生し、次の１ヶ月間、５万人の遠隔位置の個人が、パフォーマンスエリアのデジタルフィードを見て、拍手等のフィードバックを提供する。そして、２月１日に、１人の個人遠隔位置視聴者メンバは、パフォーマンスのデジタルフィードを見て、この人は、以前にフィードバックを提供した５万人からの拍手を反映する視聴者出力を受信する。次に、２月中、別の５万人の個人が上記デジタルフィードを見て、拍手フィードバックを提供する。同様に、３月１日に、別の遠隔位置視聴者は上記デジタルフィードを見て、以前にフィードバックを提供した１０万人からの拍手を反映する視聴者出力を受信する。
上述のように、コントローラ１０７は、遠隔位置視聴者に視聴者出力を提供するように構成することができる。視聴者出力は、システム１００を介して通信可能な任意形態とすることができる。例えば、視聴者出力は、テキスト、ビデオ、及び／又はオーディオを含むことができる。別の実施形態によれば、通信インタフェース１０８は、同様に、ディスプレイ１０４で現れる、以前に現れた、現れる予定のアバターに対応する画像を、遠隔位置視聴者に提供するように構成される。一実施形態において、コントローラ１０７は、例えば、視聴者の個人メンバ又は遠隔位置視聴者メンバのグループ等の遠隔位置視聴者のサブセットに提供される視聴者出力を決定する。同様に、このような実施形態において、通信インタフェース１０８は、遠隔位置視聴者のサブセットに決定された視聴者出力を提供するように構成される。さらに、このような実施形態において、コントローラ１０７は、遠隔位置視聴者のどのメンバが視聴者出力を受信するかを決定するように構成されている。一実施形態において、コントローラ１０７は、遠隔位置視聴者の上記サブセット以外の遠隔位置視聴者のメンバからのフィードバックを用いて視聴者出力を決定するように構成される。言い換えれば、このような実施形態において、コントローラ１０７は、ある視聴者メンバからのフィードバックを用いて他の視聴者メンバのための視聴者出力を決定するように構成される。
一実施形態によれば、コントローラ１０７により決定された視聴者出力は、遠隔位置視聴者の複数のメンバから通信インタフェース１０８で受信したフィードバックからコントローラ１０７によって生成された、集計フィードバックを含む。さらに、さらなる別の実施形態において、集計フィードバックは、通信インタフェース１０８で、ローカル視聴者１０２のメンバ１０３ａ−ｎから受信したフィードバックも含んでも良い。一実施形態において、ローカル視聴者１０２は、遠隔位置視聴者と同じ又は類似する挙動で、電子デバイス（図略）を介してフィードバックを提供し、このローカルフィードバックは、通信インタフェース１０８で受信される。あるいは、ローカルフィードバックは、例えば、パフォーマンスエリア１０１にあるカメラ１１１ａ−ｃ及びマイクロフォン１１２等のセンサによって収集され、通信インタフェース１０８で受信されても良い。
一実施形態において、コントローラ１０７は、遠隔位置視聴者メンバ１１４ａ−ｎから通信インタフェース１０８によって受信されるフィードバック１１９を、追加の集計フィードバックと合成して、視聴者出力を決定するように構成される。例えば、この合成は、経時的に受信されて収集したフィードバックを反映する信号を作成することを含んでも良い。このようにして、例えば、異なる時間で受信された５万人からの拍手等のようなフィードバックが結合され、５万人が一度に拍手していると聞こえるように、結合されたフィードバックを視聴者出力として提供される。実施形態において、フィードバックは、オーディオ処理プラットフォーム又は当該技術分野で知られている任意の音声処理を用いて結合されても良い。
コントローラ１０７は、また、視聴者出力を介して視聴者を監視するように構成されても良い。例えば、一実施形態において、コントローラ１０７は、使用する視聴者出力を決定し、この視聴者出力によって、視聴者メンバ１１４ａ等の遠隔位置視聴者のメンバは、受信されたフィードバック１１９ａの不適切さを知ることになる。このようにして、例えば、フィードバック１１９ａが不適切な言葉を含む場合、コントローラ１０７は、不適切な言葉が受け入れられないこと、及びこのような挙動が継続している場合、当該視聴者メンバ１１４ａがデジタルフィード１１６を受信できなくなる、又はフィードバック１１９ａを提供できなくなることを示すために、通信インタフェース１０８及びネットワーク１１３を介して視聴者メンバ１１４ａに提供される視聴者メンバ出力を決定しても良い。さらに、一実施形態によれば、通信インタフェース１０８は、禁止された視聴者メンバに関連付けられたインターネットプロトコルアドレスに基づいて、遠隔位置視聴者１１４ａ−ｎのメンバを禁止するように構成される。
システム１００のさらなる別の実施形態において、視聴者出力は、遠隔位置視聴者１１４ａ−ｎのメンバ、パフォーマンスエリア１０１、パフォーマンスエリアでのイベント、及び受信されたフィードバック１１９のうち、少なくとも１つに関するデータ指標を含む。これらのデータ指標は、例えば、視聴者メンバの人数、イベントのスコア、パフォーマンスの難しさ、結果の見込み、又はフィードバックの種類毎の割合を含むことができる。そのうえ、一実施形態において、視聴者出力は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能な任意のデータを含んでも良い。そのうえ、一実施形態において、通信インタフェース１０８は、遠隔位置視聴者の少なくとも１人のメンバに視聴者参加のグラフィカル表現を提供するように構成される。
システム１００の代替的な実施形態において、コントローラ１０７は、パフォーマンスエリア１０１からの物体のデジタルレンダリングを作成するように構成され、通信インタフェース１０８は、さらに、遠隔視聴者メンバ１１４ａ−ｎに、作成されたデジタルレンダリングを提供するように構成される。一実施形態において、これは、例えば、スコアシートをスキャンし、スキャンバージョンのスコアシートを遠隔位置視聴者１１４ａ−ｎに提供することを含んでも良い。
システム１００の実施形態において、パフォーマンスエリアからのフィード１１６を、ネットワーク１１３を介して遠隔位置視聴者メンバ１１４ａ−ｎに提供する。当該フィード１１６は、当該技術分野で知られている任意のフィードであっても良い。例えば、このフィード１１６は、オーディオ、ビデオ、テキスト、及びこれらの任意の組合せを含むことができる。そのうえ、一実施形態において、フィード１１６は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能な任意のデータを含んでも良く、その教示の全体は参照によって本明細書に組み込まれている。さらに、ある実施形態において、パフォーマンスエリア１０１からのデジタルフィード１１６は、パフォーマンスエリア１０１のビデオ又はパフォーマンスエリア１０１で行われるイベントのビデオである。さらに、システム１００のさらなる実施形態において、パフォーマンスエリア１０１からのデジタルフィード１１６は、例えばプレーヤ１１０ａ等、パフォーマンスエリアにいる少なくとも１人の人に関する生体データを含む。この生体データは、心拍数、呼吸、及び温度のような、当該技術分野で知られている任意の生体データを含むことができる。
さらに、一実施形態によれば、通信インタフェース１０８は、視聴者のメンバにカスタムフィード１１６を提供するように構成される。このカスタムフィード１１６は、任意のカスタム情報とすることができる。例えば、当該カスタムフィードはフィードバックであっても良く、具体的には、遠隔視聴者メンバに関連付けられたアバターの近くに表示されたアバターを有する他の視聴者メンバによって提供された警告等のフィードバックとすることができる。同じように、別の実施形態において、このカスタムフィードは、ローカル及び／又は他の遠隔視聴者メンバのフィードバックとともに、ユーザによって提供されたフィードバックの組合せであっても良い。このようなカスタムフィードは、イベントでライブしたり、他の視聴者メンバのフィードバックの中で自分のフィードバックを聞いたりする体験を提供する。そのうえ、一実施形態において、カスタムフィードは、他の選択された視聴者メンバによって提供されたフィードバックを聞く体験を提供することができる。そのうえ、一実施形態において、フィード１１６は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能な任意のデータを含むことができる。
一実施形態によれば、コントローラ１０７は、複数の遠隔位置視聴者メンバ１１４ａ−ｎのそれぞれから、通信インタフェース１０８によって受信されたフィードバック１１９を集計するように構成される。このような実施形態において、フィードバックを集計することは、遠隔位置視聴者１１４ａ−ｎのメンバのそれぞれからのフィードバック１１９ａ−ｎの累積を反映するデータを作成することを含むことができる。集計されたフィードバックである集計フィードバックは、パフォーマンスエリア１０１で作成されるときに、遠隔位置視聴者１１４ａ−ｎがパフォーマンスエリア１０１に位置していたようなフィードバックの表示を提供する。従って、一実施形態において、パフォーマンスエリア１０１でコントローラ１０７によって提供される出力は、集計フィードバックに基づいている。一実施形態によれば、コントローラ１０７は、特定の種類のフィードバックが集計フィードバック内で発生する頻度を利用して、パフォーマンスエリア１０１で出力を提供するするように構成される。例えば、フィードバックが１００人から受信され、このフィードバックの９０％がポジティブであって、１０％がネガティブである場合、コントローラ１０７によってパフォーマンスエリア１０１で提供される出力は、フィードバックの性質及び頻度を反映することができる。
さらに別の実施形態において、パフォーマンスエリア１０１でコントローラ１０７によって提供される出力は、増強されている。言い換えれば、パフォーマンスエリア１０１での出力は、受信されたフィードバックを増強（例えば増加）して得られる処理データである。例えば、一実施形態によれば、パフォーマンスエリアでコントローラによって提供される出力は、ユーザが選択した人為的な視聴者数に基づいている。例示すると、フィードバック１１９が遠隔位置視聴者の１０人のメンバから受信され、ユーザが１０倍の増強を選択した場合、パフォーマンスエリアでコントローラによって提供される出力は、１００人のフィードバックが受信されたように現れる。ユーザは、例えば、１００人のメンバ視聴者を選択したとする。それによって、パフォーマンスエリアでのフィードバックが、１０人が拍手しているように聞こえることはなく、１００人が拍手しているように聞こえる出力となる。このようにして、コントローラ１０７は、パフォーマンスエリア１０１で出力を提供するとき、ユーザが選択した視聴者数に対応するように、受信されたフィードバックを、ユーザが選択した視聴者数を使用して調整する。
システム１００のさらなる別の実施形態によれば、コントローラ１０７は、パフォーマンスエリア１０１でのイベントに基づいて、パフォーマンスエリア１０１で出力を提供するように構成される。これは、コントローラ１０７が、パフォーマンスエリア１０１でのイベントに基づいて、タイミング、種類、及びパフォーマンスエリア１０１でのフィードバックの大きさのうち１つ又は複数を修正することを含む。例えば、パフォーマンスエリアがゴルフのティーボックスである場合、コントローラ１０７は、ゴルファーがスイングを準備するとき、ゴルフのティーボックスで出力を提供せず、ゴルファーがスイングを完了するとフィードバックを提供するように構成され得る。従って、一実施形態において、コントローラ１０７は、パフォーマンスエリアでのイベントに基づいてパフォーマンスエリアで出力を提供するときに、例えば、ゴルファーがスイングを準備して、ゴルフクラブをスイングすること等、パフォーマンスエリアでのイベントの構成要素の結果として、出力の提供を遅延するように構成される。イベントの構成要素は、関連出願に記載されているように決定することができる。上記関連出願は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願を含む。
一実施形態によれば、コントローラ１０７は、パフォーマンスエリア１０１でのイベントのシミュレーションを用いて、パフォーマンスエリア１０１でのイベントの要素の結果を加味してパフォーマンスエリアで出力を提供するように構成される。このような実施形態において、上記シミュレーションは、パフォーマンスエリアでのイベントの状態を分析し、物理的なモデルを使用して、今後のイベントを予測する有限要素シミュレーションであっても良い。これらの予測されたイベントは、パフォーマンスエリアで出力を提供する際に、コントローラ１０７によって使用され得る。上述のゴルフの例に戻って説明すると、シミュレーションは、パフォーマンスエリアでセンサからデータを受信し、ゴルファーの位置に基づいて、当該ゴルファーがもうすぐスイングするかを決定し、その結果として、コントローラ１０７は、この予測されたイベントに応答するとき、パフォーマンスエリアで出力の提供を遅延させても良い。
コントローラ１０７によってパフォーマンスエリア１０１で提供される出力は、当該技術分野で知られている任意の出力であっても良い。例えば、パフォーマンスエリア１０１での出力は、音声、ビデオ、テキスト、動き、におい、及び、受信されたフィードバック１１９の集計的かつ集合的な処理データのうち、少なくとも１つを含むことができる。さらに、一実施形態によれば、コントローラ１０７によって提供される出力は、パフォーマンスエリア１０１で知覚可能である。システム１００の一実施形態によれば、当該出力は、ディスプレイ１０４を介して視覚可能であっても良いし、又は、スピーカを介して提供されて聴覚可能であっても良い。別の実施形態において、コントローラ１０７は、少なくとも１つのアバターを介して出力を提供するように構成される。さらに別の実施形態において、パフォーマンスエリアでコントローラ１０７によって提供される出力は、パフォーマンスエリア１０１に対する少なくとも１つの物理的変化を構成する。このような実施形態において、当該少なくとも１つの物理的変化は、ストリーマ、ファン、紙吹雪、モータ、アクチュエータ、ロボット、ライト、フォグマシン、及びスピーカのうち、少なくとも１つを通じて引き起こされる。さらに別の実施形態によれば、パフォーマンスエリア１０１でコントローラ１０７によって提供される出力は、遠隔位置視聴者メンバの数、ローカル視聴者メンバの数、視聴者メンバの総人数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、ローカルフィードバック、及びイベントの見込みのうち、少なくとも１つに基づいている。従って、パフォーマンスエリア１０１でコントローラ１０７によって提供される出力は、任意の数の要因を考慮しても良い。例えば、システム１００において、ビリヤードのショットが特に難しい場合に、プレーヤがショットを行うとき、フィードバックが増強されても良い。実施形態によれば、出力は、コントローラ１０７によって直接又は間接的に提供されても良い。例えば、一実施形態において、コントローラ１０７が間接的に出力を提供する例として、コントローラ１０７は、１つ又は複数の、スピーカ又はディスプレイ等のような出力装置とインタフェースで接続する。別の実施形態によれば、パフォーマンスエリアでの出力は、図３に関連した後述の方法３００に従って提供される。このような実施形態において、パフォーマンスエリア１０１での出力は、図３に示すようなローカル反応データ及び予測遠隔反応データを含む。
システム１００の別の実施形態によれば、コントローラ１０７は、複数のテーマから選択されたテーマに基づいて、パフォーマンスエリアで出力を提出するように構成されている。当該テーマは、達成しようとする全体的な外観を反映することができる。例えば、イベントが一般的により静かで控えめである場合、例えば、スペリング競争の場合、「静か」なテーマが選択される。逆に、イベントがプロレスの試合のような騒々しいイベントである場合、「大音量」のテーマが選択される。このように、実施形態では、テーマはイベントの種類に基づくことができる。さらに、このような実施形態において、このテーマは、遠隔位置視聴者のメンバの割合、例えば、過半数によって決定されても良いし、又は、システム管理者によって決定されても良い。別の実施形態において、環境のデータ及び受信されたフィードバックに基づいて、テーマを自動的に決定しても良い。さらに、一実施形態において、テーマは、センサによって検出された環境の変化に対応するように自動的に変更又は修正されても良い。
図１に示すように、システム１００は、ディスプレイ１０４を含む。システム１００において、ディスプレイ１０４は、パフォーマンスエリア１０１の近傍に配置される。システム１００において、ディスプレイは、パフォーマンスエリア１０１から観察可能であり、パフォーマンスエリア１０１と並んで配置され得る。さらに、別の実施形態において、ディスプレイ１０４は、遠隔位置視聴者の少なくとも一部の表現を表示するように構成される。このような例示的な実施形態において、ディスプレイ１０４は、表現の３次元（３Ｄ）の処理データを提供するように構成される。一実施形態において、ディスプレイ１０４は、遠隔位置視聴者１０４の仮想出席を提供するように構成される。一実施形態によれば、ディスプレイ１０４での表示は、コンピューティング装置１０６によって制御される。例えば、一実施形態において、コントローラ１０７は、ディスプレイ１０４で表示するものを決定し、決定されたものは、当該技術分野で知られている原理に従って、順番にディスプレイ１０４上で表現されるように処理され得る。例えば、このような実施形態において、コントローラ１０７は、パフォーマンスエリア１０１で観測可能な任意なデータを含むイベント及び環境に基づいて、ディスプレイに表示されるものを自動的に決定する。このイベント及び環境データは、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能な任意のデータを含む。別の実施形態によれば、ディスプレイ１０４で表示されるものは、図１３に関連して本明細書に記載されているように、反応コントローラによって支配される。
システム１００の一実施形態によれば、ディスプレイ１０４に現れる遠隔位置視聴者を示す表示物は、デジタルアバター１０５ａ−ｎである。一実施形態において、ディスプレイ１０４は、さらに、１つ又は複数のアバターを強調表示し、この強調は、１つ又は複数の強調表示されたアバターに関連付けられて受信されたフィードバックに基づいて行われる。例えば、一実施形態において、ディスプレイは、強調表示された／踊っているアバターに関連付けられた遠隔位置視聴者メンバからの指示又はフィードバックに応答して、踊っているアバターを強調表示することができる。
本明細書に記載されているように、ディスプレイ１０４は、複数のデジタルアバターを表示するように構成されている。このような実施形態において、ディスプレイ１０４は、遠隔位置視聴者１１４ａ−ｎのメンバの数に比例する程度の数のデジタルアバターを表示するように構成することができる。例えば、このような実施形態において、ディスプレイ１０４は、遠隔位置視聴者のメンバのそれぞれのためのデジタルアバターを表示しても良いし、又は、遠隔位置視聴者の２人のメンバずつ１つのデジタルアバターを表示しても良い。一実施形態において、表示されるデジタルアバターの数は、コントローラ１０７によって決定される。
さらに別の実施形態において、ディスプレイ１０４は、遠隔位置視聴者の１人のメンバによって選択された位置にアバターを表示するように構成されている。このような実施形態において、例えば視聴者メンバ１１４ａ等の遠隔位置視聴者メンバは、彼又は彼女のデジタルアバターが、ディスプレイ１０４上にレンダリングされたアバターの１列目に表示されることを望んでいることを示し、これに応じて、彼又は彼女のアバターが１列目に表示されることになるであろう。別の実施形態は、競合するアバターの位置要求の間で優先順位を決定する機能を含んでも良い。このような実施形態において、優先順位は、視聴時間及び支払い等の任意の数の要因に基づいてランダムに決定され得る。別の実施形態において、ディスプレイ１０４は、デジタルアバターを標識で表示するように構成される。このような実施形態において、標識は、遠隔視聴者のフィードバックを表現するテキストを含んでも良い。さらに、システム１００のさらなる別の実施形態において、ディスプレイ１０４は、遠隔位置視聴者からの入力に基づいて、表示されたアバターをカスタマイズするように構成される。さらに、アバター１０５ａ−ｎを表示することに加えて、ディスプレイ１０４は、一実施形態によれば、遠隔位置視聴者１１４ａ−ｎから受信されたフィードバック１１９を表現するために、デジタルアバター１０５ａ−ｎを動かす（動画化する）ように構成される。同様に、別の実施形態において、ディスプレイ１０４は、例えばカメラ１１１ａ−ｃ及びマイクロフォン１１２等のセンサによってパフォーマンスエリア１０１で検出されたイベントに基づいて、少なくとも１つのデジタルアバターを動かすように構成される。具体的には、一実施形態において、ディスプレイ１０４は、パフォーマンスエリアで検出されたイベントに基づいて、アバター１０５ａ−ｎの頭及び目の動きを動かすように構成される。このような実施形態において、センサからのデータは、例えば頭及び目の動き等のアバターの動きを制御するために用いられる。一実施形態によれば、少なくとも１つのディスプレイ１０４及びコントローラ１０７は、センサ１１１ａ−ｃ及びマイクロフォン１１２によって検出されたイベントのそれぞれの注目スコアを計算するように構成され、次いで、ディスプレイは、確率による決定及びイベントに対して計算された注目スコアを用いて、アバター１０５ａ−ｎのそれぞれを動かすように構成される。このような実施形態において、注目スコアは、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能な任意のデータに基づくことができる。このような実施形態において、注目スコアは、各イベントについて計算される。一実施形態によれば、注目スコアは、図４に関連する後述の方法によって決定される。次に、アバターの動きは、注目スコアの、重み付けされた確率に基づいて、制御される。
例示的には、例えば、それぞれの注目スコアが１０と５である２つのイベントがある場合、重み付けされた決定である確率的決定（確率による決定）は、注目スコアが１０であるイベントに注目しているアバターの約３分の２を表示し、注目スコアが５であるイベントに注目しているアバターの約３分の１を表示する結果にする。アバターの動きは、それぞれのアバターの注目度に基づいて変更されても良い。それぞれの注目度は、各アバターが各イベントをどれぐらいの時間観賞するかを決定するために用いられても良い。実施形態において、アバターの注目度は、ランダムに設定されても良いし、又は、ユーザによって設定された構成パラメータに基づいても良い。注目度は、イベントの種類、又はユーザが伝えたいイベントのテーマに応じて変化しても良い。
さらに、アバターの動きは、イベントの位置、音声の位置、及び動きの位置のうち少なくとも１つに基づいて修正され得る。例えば、与えられたアバターがディスプレイ１０４の一部に表示されている場合、アバターは、自身が近い方のイベントを見る可能性が高くなるように、当該アバターの動き制御が変更されても良い。例示的には、注目スコアが５である２つのイベントがある場合、アバターが両方のイベントのそれぞれに注目する機会は５０／５０である。しかし、例えば、１つのイベントはディスプレイで表示されたアバターが地理的に近い場合、アバターの動きを決定するために用いられる確率的決定は、アバターが近い方のイベントに注目する機会が７５％となるように修正されても良い。さらに、システム１００におけるアバターの動きは、図４及び図５に関連して以下で説明される。
コントローラ１０７は、アバターの動きを制御することに加えて、また、アバターの音声を制御するように構成されても良い。このような実施形態において、コントローラ１０７は、環境データに基づいてアバターの音声を決定する。さらに、アバターの動きと音声は、自動化された囁き、会話、及びジェスチャーも含んでいてもよい。自動化された、囁き、会話、及びジェスチャーによって、イベントの中断時間の間もアバターを動かしても良い。そのため、完全に静止したり黙ったりせずに、パフォーマンスエリアでのイベントにおいて活動がされていない時間の生の観衆に類似する動き及びノイズをアバターが提供する。そのうえ、一実施形態において、これらの自動化された動きは、何かがパフォーマンスエリアで発生していることが検出されたことによって駆動されても良い。
代替的な実施形態において、コントローラ１０７は、さらに、遠隔位置視聴者の少なくとも一部に対応する物理的アバターを提供及び／又は制御するように構成される。
図２は、一実施形態による、仮想視聴者を作成するための方法２２０の流れ図である。方法２２０において、システム２２１、ローカル視聴者２２２、及び遠隔視聴者２２３によって、様々なアクションが実行される。このシステム２２１は、方法２２０を実施するためのハードウェア及びソフトウェアの任意の組合せを介して構成でき、当該技術分野で知られている任意のコンピューティング装置によって実現することができる。例えば、システム２２１は、関連出願に記載されている１つ又は複数のシステムを用いて実現することができる。上記関連出願は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願を含む。ローカル視聴者２２２は、パフォーマンスエリアに位置する実際の人の視聴者であって、遠隔視聴者２２３は、パフォーマンスエリアに位置しない任意の数の単独の人又は人のグループである。ローカル視聴者２２２のアクションは、パフォーマンスエリアに配置されたセンサ及び出力装置、又はそれらの組合せ等のようなデバイス又はローカル視聴者のメンバに関連付けられた電子デバイスを介して実行される。同じように、遠隔視聴者２２３のアクションは、遠隔視聴者の位置に配置されたセンサ及び出力装置、又はそれらの組合せ等のようなデバイス又は遠隔視聴者のメンバに関連付けられた電子デバイスを介して容易に実行される。
方法２２０は、ステップ２３５でローカル視聴者２２２によって視聴されるイベントの発生から始まり、システム２２１は、ステップ２２４において、ライブイベントを放送する。当該ライブイベントは、遅延してステップ２２５で遠隔視聴者２２３によって受信される。当該放送は、例えば、ビデオ、又はオーディオ放送等、当該技術分野で知られている任意の放送とすることができる。さらに、ステップ２２５での、放送を受信する際の遅延は、放送の通信速度制限又はシステム２２１に起因して発生した遅延の任意の組合せによって引き起こされる通常の遅延であっても良い。ステップ２２６において、ローカル視聴者２２２はシステム２２１にフィードバックを送信し、同じように、ステップ２２７において、遠隔視聴者２２３は、システム２２１にフィードバックを送信する。ステップ２２６及びステップ２２７で送信されるフィードバックは、本明細書に記載された任意のフィードバックであっても良く、当該フィードバックは、本明細書で記載された又は当該技術分野で知られている任意の方法を介して送信されても良い。さらに、一実施形態において、ステップ２２５で放送が遅延して受信されるため、フィードバックは、ステップ２２７で同じ遅延を伴って送信され得る。例えば、ステップ２２７において、フィードバックの送信を遅延させるような負担がないかもしれないことにかかわらず、ステップ２２５で放送が遅延を伴って受信されるため、フィードバックは、遅延を伴って遠隔視聴者に提供される。
方法２２０は、ステップ２２８でシステム２２１がフィードバックを受信すること及び記憶することに進む。一実施形態において、システム２２１は、当該技術分野で知られている任意の計算記憶方法を介して記憶することができる。さらに、システム２２１は、任意のローカル又は遠隔位置の記憶装置にフィードバックを記憶することができ、従って、システム２２１は、ステップ２２８で、システム２２１と通信的に結合可能な任意の記憶装置に、受信されたフィードバックを記憶することができる。ステップ２２９において、システム２２１は、ステップ２２８において受信されたフィードバックを反映し、パフォーマンスエリアで提供される出力であるローカル出力のタイミング、性質、及び大きさのうち少なくとも１つを決定する。ステップ２２９で決定された出力の大きさ及び性質は、本明細書に記載された任意の方法によって決定されることができる。例えば、「大きさ」は、単にステップ２２８で受信されたフィードバックのすべてを反映しても良いし、又は、代替的に、ステップ２２８で受信されたフィードバックを増強したものであっても良い。これに加えて、ステップ２２９で決定されたフィードバックの大きさ及び性質は、過去の類似のイベントから受信されたフィードバックを考慮に入れても良い。過去のフィードバックは、例えば、ステップ２２７で遠隔視聴者２２３から受信されたフィードバックの遅延を補正するために用いられても良い。例示的には、例えば、ゴールが得点される一実施形態において、ステップ２２６で送信されるローカルフィードバックは、パフォーマンスエリアでイベントが発生しているときに送信されても良く、従って、このローカルフィードバックは、ステップ２２９でローカル出力を決定することに用いられる。しかしながら、ステップ２２５で放送が遠隔視聴者によって受信する際に生じる遅延のため、ステップ２２７で送信されたフィードバックは、同様に、ステップ２２７でのゴールの得点のタイミングに対して相対的に遅延して送信され、従って、遠隔フィードバックは、例えばローカル視聴者がゴールの称賛等を行っている等の、ローカルフィードバックを提供する正確なタイミングに使用するために、ステップ２２９ではまだ利用できないかもしれない。この遅延を考慮するために、一実施形態において、システム２２１は、例えば、ゴールが得点された等の、類似する過去イベントからの遠隔フィードバックを用いて、ステップ２２９で、ローカルフィードバックの性質及び大きさを決定する。このようにして、システム２２１は、タイミングの遅延のため、ステップ２２７で送信された遠隔フィードバックを使用できないにもかかわらず、ローカル視聴者２２２と一緒の遠隔視聴者２２３の「仮想出席」を作成することができる。さらに、一実施形態によれば、ローカル出力は、図３に関連する後述の方法３００に従って、ステップ２２９で決定されても良い。この方法２２０は、システム２２１がステップ２３０でローカル出力を提出すること、及びローカル視聴者２２２がステップ２３１で出力を受信することに進む。さらに、出力のタイミングは、現在パフォーマンスエリアで発生している内容と一致するように、即時であっても良い。
ステップ２２９と同じように、ステップ２３２において、システム２２１は、遠隔視聴者２２３のメンバに提供される出力である遠隔出力のタイミング、性質、及び大きさのうち少なくとも１つを決定する。一実施形態によれば、遠隔出力の大きさは、本明細書に記載されている任意の実施形態によって決定されても良い。例えば、この遠隔出力は、遠隔視聴者２２３のメンバのそれぞれに対してカスタマイズされても良く、ローカル出力と同じように、遠隔出力は、ステップ２２８で受信されたフィードバックに対応しても良く、又はステップ２２８で受信されたフィードバックを増強したもの又は縮減したものであっても良い。方法２２０の一実施形態によれば、ステップ２３２で決定された遠隔出力のタイミング、大きさ及び性質は、ステップ２２５で放送が受信される際に生じる遅延に基づいても良い。言い換えれば、ステップ２２３でシステム２２１による決定は、遠隔視聴者２２３が放送を受信する際に生じる遅延を考慮しても良い。従って、遠隔視聴者２２３への出力は、遠隔視聴者２２３によって受信される放送に対応するように変化しても良い。
方法２２０は、ステップ２３３でシステム２２１が遠隔出力を提供すること、及びステップ２３４で遠隔視聴者２２３が遠隔出力を受信することに進む。一実施形態において、方法２２０は、パフォーマンスエリアでのイベントの持続期間にわたって連続的に実行される。従って、方法２２０は、継続的に、放送を送信し、フィード１１６を受信し、パフォーマンスエリアでのイベントの各要素のための出力を決定及び提供する。この動作は、遠隔視聴者２２３の集合的なフィードバックを反映することによって、ローカル視聴者２２２のための、強化された視聴体験を提供し、同様に、ローカル視聴者２２２及び遠隔視聴者２２３の両方からのフィードバックに対応する出力を提供することによって、遠隔視聴者２２３のための、遠隔された視聴体験を提供する。
図３は、視聴者から反応データを受信し、視聴者に反応データを提供するための方法３００のタイミング及び機能を示す。当該方法３００は、パフォーマンスエリア３０３でのパフォーマンスのビデオストリーム３０１をカメラ３０２でキャプチャすることから始まる。パフォーマンスエリア３０３でのローカル視聴者メンバ３０４ａ−Ｎは、パフォーマンスのビデオストリーム３０１がキャプチャされている間に、パフォーマンスを視聴する。ローカル視聴者３０４ａ−Ｎは、所望の場合に、本明細書に記載された任意の手段を介して任意のタイプの反応を提供することができる。典型的には、ローカル視聴者３０４ａ−Ｎは、パフォーマンスエリア３０３でイベントが発生するときに反応を提供する。図３において、イベント３０５ａが時刻００：０８で発生し、ローカル視聴者メンバ３０４ａ，３０４Ｎは、それぞれのフィードバック３０６ａ，３０６ｎを提供する。一実施形態によれば、ローカルフィードバックは、本明細書に記載された任意の方法を介して受信され、最終的に、方法３００を実装する１つ又は複数のコンピューティング装置で受信される。ローカルフィードバック３０６ａ−Ｎは、イベント３０５ａと一致するようにリアルタイムでパフォーマンスエリア３０３に投影されても良い。そのうえ、一実施形態において、ローカル反応３０６ａ−Ｎは、予測遠隔フィードバック３０７ａと結合され、パフォーマンスエリア３０３に投影されても良い。一実施形態によれば、パフォーマンスエリア３０３内でフィードバックを提供するタイミングは、ローカルフィードバック３０６ａ−Ｎが受信された時間に基づいている。予測遠隔フィードバック３０７ａを決定することの詳細は、以下に記載される。
パフォーマンスがパフォーマンスエリア３０３で発生しており、ビデオストリーム３０１がキャプチャされているとき、ビデオストリーム３０１は、コンテンツ配信ネットワーク（ＣＤＮ）３１０を介して、遠隔視聴者メンバ３０９ａ−Ｎを含む遠隔視聴者環境（全体として符号３０８を付す）に提供される。ＣＤＮ３１０を介するビデオストリーム３０１の送信における遅延が原因で、遠隔視聴者メンバ３０９ａ−Ｎのそれぞれは、遅延を伴って、ビデオストリーム３０１のコピー３１１ａ，３３１Ｎのそれぞれを受信する。図３に見られるように、遠隔視聴者メンバ３０９ａ，３０９Ｎのそれぞれによって受信されるビデオストリーム３１１ａ，３１１Ｎは、１５秒の遅延で受信される。具体的には、図３には、ビデオストリーム３０１の再生時間が００：１５であるとき、遠隔視聴者メンバ３０９ａ，３０９Ｎによって受信されるビデオストリーム３１１ａ，３１１Ｎの再生時間が００：００であることが描かれている。
ローカル視聴者メンバ３０４ａ−Ｎと同じように、遠隔視聴者メンバ３０９ａ−Ｎは、反応３１２ａ，３１２Ｎを提供する。この遠隔フィードバックは、反応が提供されたときに、各ビデオストリーム３１１ａ−Ｎ内の全ての遠隔視聴者メンバ３１１ａ−Ｎに対してリアルタイムで提供されても良い。そのうえ、遠隔視聴者メンバ３０９ａ−Ｎは、ローカルフィードバック３０６ａ−Ｎを受信しても良く、このローカルフィードバック３０６ａ−Ｎは、それぞれのビデオストリーム３１１ａ−Ｎに提供されても良い。ローカルフィードバック３０６ａ−Ｎが遠隔視聴者メンバ３０９ａ−Ｎに提供されるとき、当該ローカルフィードバック３０６ａ−Ｎは、イベント３０５ａの発生に対応する時間にビデオストリーム３１１ａ−Ｎに提供される。さらに、ローカルフィードバック３０６ａ−Ｎは合成されて、遠隔フィードバック３１３ａ，３１３Ｎと組み合わせられても良い。さらに、遠隔視聴者メンバ３１１ａ−Ｎは、ローカル反応データ３０６ａ−Ｎに加えて、環境データ３１３ａを受信することもできる。
遠隔視聴者メンバ３０９ａ−Ｎがビデオストリーム３１１ａ−Ｎを受信する遅延のため、遠隔視聴者メンバ３０９ａ−Ｎによって提供される反応３０９ａ−Ｎも、パフォーマンスエリア３０３でのイベント３０５ａのリアルタイム発生に対して遅延される。従って、遠隔反応３１２ａ−Ｎは、パフォーマンスエリア３０３にリアルタイムで提供することができない。代わりに、方法３００は、遠隔フィードバックを予測し、イベント３０５ａがパフォーマンスエリア３０３で発生しているときに、予測された遠隔フィードバックをリアルタイムで提供する。予測される遠隔フィードバックである予測遠隔フィードバック３０７ａを決定するために、例えば、ゴール、ファイト等のパフォーマンスにおけるイベントが発生すると、ローカル反応データ３０６ａ−Ｎ及び環境データ３１３ａが反応サーバ３１４に提供される。この反応サーバ３１４は、ニューラルネット３１５を介して、環境データ３１３ａ及びローカル反応データ３０６ａ−Ｎを処理する。予測遠隔フィードバック３０７ａは、ローカルフィードバック３０６ａ−ｎとともに、上述のように、パフォーマンスエリア３０３に提供される。従って、ニューラルネット３１５は、環境データ３１５ａ及びローカル反応データ３０６ａ−Ｎに基づいて、遠隔反応を予測する。このような実施形態において、遠隔反応（まだ発生していない）は、実際のローカル反応、及び視聴者メンバが反応している環境状態情報（即ち、パフォーマンスエリアでのイベント内において、発生しているものや関連するデータ）に相関するということができる。ニューラルネット３１５は、遠隔反応が発生する前に遠隔反応を予測するように学習し、これらの予測遠隔反応は、リアルタイムで、パフォーマンスエリア３０３へのローカル反応と合成することができる。
方法３００において、環境パラメータ３１３ａは、予測フィードバック３０７ａに重みを付けるような任意の変数とすることができ、環境パラメータ３１３ａは、パフォーマンスエリア３０３で発生するイベントのタイプに合わせて調整される。例えば、イベントがビリヤードのトーナメントである例の場合、環境パラメータ３１３ａは、トーナメント進捗、プレーヤ情報、プレーヤがポイントを稼ぐ確率、ゲームの完了率、プレーヤが行った率、即ち、プレーヤが最終ゴールにどれだけ近づいているか、対戦相手間のライバルのレベル、連続して得点した回数、現在進行の確率、最後のショットの難易度、最後のショットの成功、最後のショットの距離ミス、及び最後のショットの速度、等を含んでも良い。他の環境パラメータは、ログインした人の数（即ち、視聴者メンバの数）、類似のイベントに対する過去の反応、イベントのタイプ、イベントの重大さ、スコア・ライン、イベントの完了率、及びイベントの可能性等を含む。そのうえ、一実施形態において、環境パラメータ３１３ａは、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムにより観測可能な任意のデータを含んでも良い。環境パラメータの前述のリストが決して限定するものではなく、実施形態は、視聴者反応に何らかの関係を有する任意のデータを考慮できることは、当該技術分野の当業者には知られているはずである。そのうえ、実施形態において、環境パラメータは、パフォーマンスエリアでの環境のタイプ及びイベントのタイプに合わせて調整されても良い。
上述のように、ニューラルネット３１５は、ローカル反応データ３０６ａ−Ｎを受信する。実施形態において、ローカル反応データ３０６ａ−Ｎは、ローカル視聴者メンバが提供する任意の種類の反応に関する任意のデータを含むことができる。例えば、ローカル反応データ３０６ａ−Ｎは、ローカル視聴者メンバの数、拍手の数、拍手の平均レベル、拍手の平均頻度、歓声の合計数、スナップの合計数、ブーの合計数、ウーの合計数、アーの合計数、及び、歓声指標の種類を含むことができる。そのうえ、ローカル反応データの前述のリストは決して限定するものではなく、このローカル反応データは反応に関連する任意のデータを含むことができる。
予測反応３０７ａを決定するために、ニューラルネット３１５は、遠隔反応データと、遠隔反応データによって得られる環境パラメータと、で訓練される。従って、方法３００において、ニューラルネット３１５は、遠隔反応３１２ａ−Ｎを受信し、環境状態データ及びローカル反応データに基づいて遠隔反応を予測するように訓練される。この訓練により、遠隔反応（まだ起きていない）を、実際のローカル反応及び（ローカル視聴者が反応している）環境状態情報と相関させるということができる。ニューラルネット３１５は、遠隔反応が起きる前に遠隔反応を予測し、実際の環境３０３にリアルタイムで注入される遠隔反応を合成することを学習する。従って、遠隔反応により将来の反応を知ることができる。一度訓練されたニューラルネット３１５は、パフォーマンス全体にわたって使用される。そのうえ、ニューラルネットは、各イベントタイプに合わせて調整されても良く、各イベントタイプに対して訓練された適切なニューラルネットは、使用されるように選択されても良い。ニューラルネット３１５は、同様に当該技術分野で知られている任意のニューラルネットに従って動作することができ、ニューラルネット３１５の重みを調整するために当該技術分野で知られている任意の方法を使用して訓練することができる。
プロセス３００は、パフォーマンスエリア３０３におけるパフォーマンスが進行しているときに無期限に継続する。従って、カメラ３０２は、ビデオストリーム３０１をキャプチャし続け、その後、イベントが発生するたびに、本方法は、本明細書に記載されているように、繰り返される。例示すると、時刻００：３０において、イベント３０５Ｎがパフォーマンスエリア３０３で発生し、ローカル視聴者メンバ３０４ａ−Ｎは、反応３２６ａ−Ｎを提供する。イベント３０５Ｎのための環境データ３１３Ｎ及びローカル反応データ３２６ａ−Ｎは、ニューラルネット３１５に提供され、ニューラルネット３１５は、予測反応データ３０７Ｎを決定する。ローカル反応データ３２６ａ−Ｎは、予測反応データ３０７Ｎとともにパフォーマンスエリア３０３に投影される。遠隔視聴者メンバ３０９ａ−Ｎは、遅延を伴って、それぞれのビデオストリーム３１１ａ−Ｎを受信し続け、イベント３０５Ｎが視聴されると、遠隔視聴者メンバ３０９ａ−Ｎは、遠隔反応３３２ａ−Ｎを提供する。さらに、ビデオストリーム３１１ａ−Ｎは、ローカル視聴者フィードバック３２６ａ−Ｎとともに、遠隔視聴者メンバ３２２ａ−Ｎのフィードバックを含む。さらに、遠隔フィードバック３２２ａ−Ｎは、さらなる訓練のためにニューラルネット３１５に提供される。
図４は、アバターを動かすための方法４４０のフローチャートである。方法４４０は、本明細書に記載された実施形態において、図１に示されたパフォーマンスエリア１０１のディスプレイ１０４で表示されているアバター１０５ａ−ｎ等のようなアバターを動かすために、使用されても良い。方法４４０は、ステップ４４１で、パフォーマンスエリアでの１つ又は複数のイベントを検出するように構成された１つ又は複数のセンサからデータを受信することによって開始される。一実施形態によれば、方法４４０は、コンピューティング装置上で実施され、ステップ４４１において、データは方法４４０を実施するコンピューティング装置に通信可能に接合される任意のポイントから受信される。さらに、センサは、当該技術分野で知られている任意のセンサであっても良く、例えば、他の例の中で、動きセンサ、カメラ、マイクロフォン、及び熱センサ等が挙げられる。そのうえ、ステップ４４１で受信されるデータは、マルチキャストデータを含む任意のデータを含むことができ、このマルチキャストデータは、その教示の全体が参照により本明細書に組み込まれているＩｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムによって観測可能である。
次に、ステップ４４２で、１つ又は複数のセンサによって検出された１つ又は複数のイベントのそれぞれについて、注目スコアが計算される。一実施形態において、注目スコアを計算するためのイベントは、構成パラメータに基づいてセンサデータから識別される。例えば、ユーザは、他の例の中で、特定の閾値を超える全ての動き及び全ての音声に対して注目スコアが計算されように指示しても良い。実施形態において、注目スコアが計算されるイベントのタイプは、アプリケーションに依存しても良く、即ち、注目スコアを得るイベントは、パフォーマンスの種類に基づいて変化しても良く、そのような設定はユーザによって構築されても良い。どのイベントが注目スコアを得るかを決定することは、どのアバターに注目すべきかを決定するために、ユーザが考慮したい任意の要因に基づくことができる。一実施形態において、注目スコアは、ステップ４４１で受信されたセンサデータを用いて計算される。例えば、注目スコアは、他の例の中で、イベントの大きさ、動き速度、及び音声レベルの関数であっても良い。さらに、注目スコアは、ユーザがアバターの動きに影響を与えたい任意の要因に基づいても良い。従って、注目スコアの決定方法は、どのアバターに注目すべきかに関係するとユーザが信じるあらゆる要因に基づいて修正することができる。
続けて、ステップ４４３において、アバターは、確率的決定と、１つ又は複数のイベントのそれぞれについて計算された注目スコアと、を用いて動かされる。この確率的決定は、各イベントの注目スコアを確率的に重み付けしてから、各アバターがどのイベントに注目すべきかをランダムに選択することができる。確率的決定を説明するために、例えば、それぞれの注目スコアが１０及び５である２つのイベントがある場合、アバターの約３分の２が、注目スコアが１０のイベントに注目していることは示され、アバターの約３分の１が、注目スコアが５のイベントに注目していることは示される。アバターの動きは、また、それぞれのアバターの注目度に基づいて修正されても良い。それぞれの注目度は、各アバターが各イベントをどのくらい長く観賞するかを決定するために用いられても良い。実施形態において、アバター注目度は、ランダムに設定されても良いし、また、ユーザによって設定された構成可能なパラメータに基づいても良い。注目度は、イベントの種類や、ユーザが伝えたいイベントのテーマに応じて変化しても良い。
さらに、アバターの動きは、イベントの位置、音声の位置、及び動きの位置のうち少なくとも１つに基づいて修正され得る。例えば、与えられたアバターがディスプレイの一部に表示されている場合、アバターが、アバターが表示されている場所より近い場所でイベントを見る可能性が高くなるように、アバターの動き制御の決定に修正を加えることができる。例示すると、それぞれの注目スコアが５である２つのイベントがある場合、アバターは、何れかのイベントに注目する機会が５０／５０である。しかし、例えば、どちらかのイベントが、アバターが表示されている場所に地理的により近い場所で発生した場合、アバターの動きを決定する確率的決定は、アバターが近い方のイベントに注目する機会が７５％になるように修正されても良い。
ステップ４４３でアバターを動かすことは、特定のイベントを対象とするようにアバターの頭部及び目の動きを制御することを含むことができる。例えば、２つのアバターがある場合、注目スコア及び確率的決定に基づいて、第１のアバターが１つのイベントを見るように、第２のアバターが他のイベントを見るように決定されても良く、つまり、複数のアバターは、何かに応じて独立して制御されても良い。さらに、別の実施形態において、ステップ４４３で実行される動きは、アバターがディスプレイ上で表示される位置を考慮することもできる。例えば、ステップ４４３において、アバターの注意が、ディスプレイ上に当該アバターが表示される位置に物理的に近いイベントに集中されるべきであると決定されても良い。
図５は、アバター５５２ａ−ｂを動かすための方法４４０を用いて注目スコアが決定される例示的なパフォーマンスエリア５５０を示す。パフォーマンスエリア５５０において、５５８と総称するイベント５５８ａ−ｃは、カメラ５５６ａ−ｂ及びマイクロフォン５５７によって収集される。ところで、エリア５５０は、カメラ５５６ａ−ｂ及びマイクロフォン５５７を含むものとして示されているが、実施形態はそれに限定されず、当該技術分野で知られている方法、及び関連出願に記載されている任意のデータ収集方法を用いてデータを収集することができる。上記関連出願は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願を含む。イベントデータ５５８は、注目スコア計算構成要素５５４を含むコンピューティング装置５５３に転送される。次に、注目スコア計算構成要素５５４は、それぞれのイベントごとに注目スコアを決定する。システム５５０において、イベントは、プレーヤ５５５ａ、ビリヤードボール５５５ｂの動き、観察中のプレーヤ５５５ｃ、及びプレーヤがポイントを獲得したことを話す競技員５５５ｄを含む。イベントデータ５５８の分析により、イベント５５５ａ−ｄが識別され、各イベント５５５ａ−ｄの注目スコアが決定される。注目スコアが計算されるイベント５５５ａ−ｄは、ユーザ構成パラメータに基づいて決定されても良く、同様に、注目スコア自体の計算は、ユーザ構成パラメータに基づいて決定されても良い。例えば、ユーザは、注目スコアが全ての動き及び音声に対して計算されるように設定しても良く、注目スコアが動き及び音声の大きさに基づいて設定しても良い。
計算された注目スコアから、コンピューティングシステム５５３は、デジタルアバター５５２ａ，５５２ｂのレンダリングを制御するようにディスプレイ５５１に送信する動き制御５５９を決定する。一実施形態において、コンピューティングシステム５５３は、図４に関連して上述した確率的決定を用いて動き制御を決定する。システム５５０の一実施形態によれば、それぞれのアバターについて個別の動き制御が決定されても良く、又は、その代わりに動き制御は、アバターのサブセットについて決定されても良い。例えば、一実施形態において、アバターのグループ化は、そのグループのアバターの位置に基づいて決定され、グループ化された各アバターに対して同じ動き制御が使用されても良い。別の実施形態において、動き制御は、アバターがレンダリングされるスクリーン５５１上の位置に基づいて変化する。従って、アバターがイベント５５５ａ−ｄの近くに位置するようにディスプレイ５５１の一部にレンダリングされている場合、動き制御は、アバターが近いイベントを見るように確実に制御されるように設定され得る。さらに、動き制御５５９は、頭部、目、腕、及び手の外観及び動き等の、デジタルアバターの任意の特徴を制御することができる。アバターの動きは、また、それぞれのアバター注目度に基づいて修正されても良い。それぞれの注目度は、各アバターが各イベントをどのぐらい長く観賞するかを決定するために用いられても良い。実施形態において、アバター注目度は、ランダムに設定されても良いし、ユーザが設定された構成可能なパラメータに基づいて決定されても良い。注目度は、イベントの種類、又はユーザが伝えたいイベントのテーマに応じて変更されても良い。さらに、アバターの動きは、イベント位置、音声位置、及び動き位置のうち少なくとも１つに基づいて修正されても良い。
ところで、システム５５０は、例えばコンピューティング装置５５３に結合されたカメラ５５６ａ−ｂ及びマイクロフォン５５７等のセンサの特定の構成を示しているが、本発明の実施形態はそれに限定されない。実施形態は、関連出願に記載されたような、様々な任意の構成のセンサを利用しても良く、関連出願の教示全体が、参照によって本明細書に組み込まれている。上記関連出願は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願を含む。同様に、単一のコンピューティングシステム５５３及び単一の注目スコア計算機５５４が示されているが、実施形態は、これに限定されず、実施形態は、注目スコアを計算し、動き制御を決定するための、コンピューティング装置、システム、及びサブシステムの任意の組合せを用いることができる。例えば、注目スコアは、様々な種類の環境データを取得する複数のサブシステムによって計算されても良い。そのうえ、実施形態において、センサが当該技術分野で知られている任意の通信方法を介してコンピューティング装置５５３と通信することができ、コンピューティング装置５５３は、センサデータ５５８をコンピューティング装置５５３に転送できる限り、任意の場所に配置することができる。
さらに、オーディオ制御は、同様に、システム５５０によって決定されても良い。具体的には、イベントデータ５５８は、ディスプレイ５５１及び当該技術分野で知られている任意のオーディオ出力の手段を介して、環境５５０内に提供するオーディオを決定するための、コンピューティング装置５５３によって処理されても良い。
図６は、本明細書で記載される本発明の実施形態の何れかにより、仮想視聴者を生成するために使用され得るコンピュータベースのシステム６６６の簡略化ブロック図である。例えば、図１に関連して上述したコンピューティング装置１０６は、コンピュータベースのシステム６６６によって実現される。システム６６６は、バス６６２を含む。バス６６２は、システム６６６の様々な構成要素間の相互接続として機能する。バス６６２には、キーボード、マウス、ディスプレイ、スピーカ、カメラ、マイクロフォン、及びセンサ等の様々な入出力装置をシステム６６６に接続するための入出力装置インタフェース６６５が接続されている。中央処理装置６６１は、バス６６２に接続され、コンピュータ指令の実行を提供する。メモリ６６４は、コンピュータ指令を実行するために使用されるデータのための揮発性記憶装置を提供する。ストレージ６６３は、オペレーティングシステム（図示しない）等のソフトウェア指令のための不揮発性ストレージを提供する。システム６６６は、また、ワイドエリアネットワーク（ＷＡＮ）及びローカルエリアネットワーク（ＬＡＮ）を含む、当該技術分野で知られているセンサ及びネットワーク等、任意の様々なデバイスに接続するための通信インタフェース６６８を備える。
本明細書に記載された例示的な実施形態は、多くの異なる方法で実現され得ることを理解されるべきである。いくつかの例において、本明細書に記載された様々な方法及び機械は異なる方法で実施されても良い。いくつかの例において、本明細書に記載された様々な方法及び機械はそれぞれ、図１２に関連して以下で説明される、コンピュータシステム６６６等のような、物理的、仮想、又はハイブリッド汎用コンピュータ、又はコンピュータ環境１２２０等のようなコンピュータネットワーク環境に実装される。コンピュータシステム６６６は、例えば、ＣＰＵ６６１による実行のために、メモリ６６４又は不揮発性ストレージ６６３の何れかにソフトウェア指令をロードすることによって、本明細書に記載の方法を実行する機械に変換されても良い。当業者であれば、システム６６６及びその様々な構成要素が、本明細書に記載された本発明の任意の実施形態又はその組合せを実行するように構成されても良いことをさらに理解すべきである。さらに、システム６６６は、当該システム６６６に動作可能に、又は内部に結合された、ハードウェア、ソフトウェア、及びファームウェアモジュールの任意の組合せを利用して、本明細書に記載された様々な実施形態を実現することができる。
図７は、一実施形態による、仮想視聴者を作成するための方法７７０のフローチャートである。この方法７７０は、ステップ７７１で、パフォーマンスエリアから遠隔位置視聴者にデジタルフィードを提供することによって開始する。方法７７０の一実施形態によれば、デジタルフィードは、ビデオフィード又はオーディオ等、当該技術分野で知られている任意のデジタルフィードとすることができ、デジタルフィードは、任意の通信方法を介して提供され得る。デジタルフィードを受信する遠隔位置視聴者メンバは、任意数の人又はグループの人であっても良い。同様に、デジタルフィードは、遠隔位置視聴者のメンバに関連する任意の数のコンピューティング装置又はディスプレイデバイスに提供され得る。
ステップ７７２において、方法７７０は、遠隔位置視聴者からフィードバックを受信することに進む。ステップ７７２で受信されるフィードバックは、本明細書に記載された任意のフィードバックの形態であっても良く、同様に、当該技術分野で知られている任意の通信方法を介して受信されても良い。次に、ステップ７７３で、当該方法は、受信されたフィードバックの少なくとも一部に対応するパフォーマンスで出力を提供する。従って、この出力は、遠隔位置視聴者の一部の表示を提供し、このようにして、パフォーマンスエリアで仮想視聴者を作成する。一実施形態によれば、ステップ７７３で出力は、本明細書に記載された任意の方法を介して提供される。ところで、さらに、方法７７０は、本明細書に記載された本発明の任意の実施形態の機能性の何れかを提供することを含んでも良い。
図８は、遠隔視聴者参加を容易にするための方法の実施形態８８０の流れ図である。一実施形態によれば、方法８８０は、パフォーマンスエリアに対して遠隔に位置する視聴者メンバに関連付けられたコンピューティング装置を介して実行することができる。例えば、一実施形態によれば、方法８８０は、ユーザデバイス上のアプリケーションを介して、又はインターネット等の通信ネットワークにアクセスするユーザを介して実施される。一実施形態において、複数の遠隔位置視聴者メンバが存在し、複数の遠隔位置視聴者メンバのそれぞれは、遠隔視聴者参加を容易にするための方法８８０のインスタンスを実行する。
与えられた遠隔位置視聴者メンバについて、方法８８０は、ステップ８８１で、遠隔位置視聴者のメンバであるユーザに関連付けられたデバイスがパフォーマンスエリアからデジタルフィードを受信することから開始する。一実施形態によれば、デジタルフィードは、ビデオフィード、オーディオフィード、又はマルチメディアフィード等のような、当該技術分野で知られている任意タイプのデジタルフィードとすることができる。さらに、デジタルフィードは、当該技術分野で知られている任意の通信手段を介して受信することができ、同様に、当該技術分野で知られている任意のタイプの電子デバイスで受信することができる。同じように、デジタルフィードは、本明細書に記載されているような任意のパフォーマンスエリアから受信されても良い。
受信されたデジタルフィードに応答して、ステップ８８２において、方法８８０は、パフォーマンスエリアに送信することによって継続する。ステップ８８２において、フィードバックは、本明細書に記載された任意タイプのフィードバックであっても良く、同様に、本明細書に記載された任意の手段を介して送信されても良い。例えば、方法８８０の一実施形態において、パフォーマンスエリアに送信されるフィードバックは、ユーザに関連付けられたデバイスに結合された加速度計からの信号である。方法８８０の別の実施形態において、パフォーマンスエリアに送信されるフィードバックは、フィードバックリストから選択される。このような実施形態において、フィードバックリストは、ユーザに関連付けられたデバイス上のグラフィカルユーザインタフェースに表示され、その後、リスト内の１つ又は複数のフィードバック対応がユーザによって選択されても良い。このような実施形態によれば、フィードバックリストは、拍手、踏み鳴らし、ブーイング、口頭発言、パフォーマンスエリアへの物理的変化、及びテキストの少なくとも１つを含む。一実施形態において、フィードバックは、場合によって、さらなる処理を介して、パフォーマンスエリアで出力を提供することに用いられる。例えば、テキストフィードバックは、音声に変換され、出力として使用されても良く、又は、パフォーマンスエリアで表示された標識に用いられても良い。
続いて、ステップ８８３において、複数の遠隔位置視聴者メンバからのフィードバックに対応するパフォーマンスエリアからの出力が受信される。例示的な実施形態において、パフォーマンスエリアからの出力は、ユーザデバイスで受信され、さらに、当該出力は、当該技術分野で知られている任意の通信手段を介して受信され得る。さらに、この出力は、本明細書に記載されたような任意のパフォーマンスエリアの出力であっても良い。例えば、ステップ８８３で受信された出力は、複数の遠隔位置視聴者メンバから受信された集合的な拍手を反映するパフォーマンスエリアで再生される拍手であっても良い。
方法８８０の別の実施形態において、当該方法は、さらに、複数の遠隔位置視聴者メンバの間の通信を可能にすることを含む。一実施形態において、このような通信を可能にすることは、テキスト、音声、及びビデオ通信のうち１つ又は複数を容易にするためのインタフェースを提供することを含んでも良い。
方法８８０の代替的な実施形態において、パフォーマンスエリアに表示されるデジタルアバターに関するパフォーマンスエリアからのフィードバックを受信することをさらに含む。一実施形態において、フィードバックは、当該フィードバックを受信する遠隔位置視聴者メンバに対応するパフォーマンスエリア内のアバターに関連する。一実施形態によれば、フィードバックは、アバターがパフォーマンスエリアに表示されている、表示された、又は表示される予定のアバターの表示である。さらに別の実施形態において、パフォーマンスエリアから受信されるフィードバックは、遠隔視聴者メンバの行動の不適切さに関連する。この機能は、遠隔位置視聴者メンバを監視及び監督し、例えば荒らし等の悪質な行為者を制御するために用いられても良い。
方法８８０のさらなる別の実施形態は、ユーザに関連付けられたデバイス上のグラフィカルユーザインタフェースの複数のパネルに、パフォーマンスエリアに関連するデータを表示することをさらに含む。一実施形態によれば、表示されるデータは、本明細書に記載されたパフォーマンスエリアに関連する任意のデータを含んでも良い。例えば、一実施形態において、第１のパネルは、パフォーマンスエリアから受信された出力を表示し、第２のパネルは、デジタルフィードを表示し、第３のパネルは、ユーザに関連付けられたアバターを表示する。さらに別の実施形態において、第１のパネル等のようなパネルは、さらに、パフォーマンスエリアでのイベントに関連するスコアを表示する。別の実施形態によれば、グラフィカルユーザインタフェースのパネルに表示されるパフォーマンスからの出力は、複数の遠隔位置視聴者メンバに対応する複数のデジタルアバターを示している。実施形態におけるパフォーマンスエリアに関連するデータを表示可能なグラフィカルユーザインタフェース例は、図９Ａ−９Ｃに関連して後述する。
方法８８０の一実施形態は、パフォーマンスエリアの物体のデジタルレンダリングを受信することをさらに含む。一実施形態によれば、当該デジタルレンダリングは、スコアシート等の物理的オブジェクトのスキャンの形であっても良い。
図９Ａは、デバイス９９０ａ上で表示されたグラフィカルユーザインタフェースを有するユーザデバイス９９０ａを示す。本発明の実施形態はグラフィカルユーザインタフェース９９１ａを用いて、仮想視聴者を作成し、及び、本明細書に記載されたように、遠隔視聴者参加を容易にするための様々な方法及びシステムを実施することができる。例えば、一実施形態において、方法８８０はグラフィカルユーザインタフェース９９１ａを介して実現されても良い。同様に、グラフィカルユーザインタフェース９９１ａは、仮想視聴者の生成を容易にするために、図１に示すシステム１００のデバイス１１５ａ−ｎ上で使用され得る。さらに、グラフィカルユーザインタフェース９９１ａは、遠隔視聴者参加を容易にし、さらに、本明細書に記載されたように仮想視聴者を作成することに使用されるアプリケーションのグラフィカルユーザインタフェースとすることができる。
グラフィカルユーザインタフェース９９１ａは、３つのパネル９９２ａ，９９３ａ，９９４ａから構成される。パネルの数、及び各パネルの位置とサイズは、変更することができる。パネル９９２ａは、アバター９９６ａから構成される仮想視聴者を表示する。一実施形態によれば、パネル９９２ａで表示される仮想視聴者は、本明細書に記載されたように、パフォーマンスエリアに表示される仮想視聴者を表示、図示、又はシミュレートしたりすることができる。さらに、パネル９９２ａで表示される仮想視聴者は、仮想視聴者又はそのメンバのためにカスタマイズされても良い。言い換えれば、パネル９９２ａに表示される仮想視聴者は、視聴者メンバの参加フィードバックを有するイベントの現地の視聴者メンバと、視聴者メンバの参加フィードバックを有するイベントに関する遠隔位置視聴者メンバと、の任意の組合せを示すことができる。別の実施形態において、パネル９９２で表示される視聴者は、デバイスのユーザに関連付けられたアバターの位置を示すようにカスタマイズされても良い。それに加えて、パネル９９２ａは、イベントスコア９９５ａを表示することができる。さらに、イベントスコア９９５がパネル９９２ａで表示されるが、代替的な実施形態において、イベントスコア９９５ａが、パネル９９２ａ，９９３ａ，９９４ａの何れかにあっても良く、又は別個のパネルにあっても良い。さらに、パネル９９２ａ又は他のパネルは、パフォーマンスエリアでのイベントに関連する任意のデータを表示することができる。例えば、パネル９９２ａは、他の例において、残り時間及びプレーヤ統計を表示しても良い。
パネル９９３ａは、パフォーマンスエリアからのフィードを表示する。図９Ａの例において、パネル９９３ａは、ビリヤードプレー９９７ａを示すビデオフィードを示す。グラフィカルユーザインタフェース９９１ａの実施形態は、当該技術分野で知られている任意のフィードを表示するために用いられ、同様に、パネル９９３ａに表示されるフィードは、当該技術分野で知られている任意のパフォーマンスからのものとすることができる。さらに、グラフィカルユーザインタフェース９９１ａの実施形態は、ライブで、即ち、イベントがパフォーマンスエリアで発生しているときに用いられても良く、代替的には、イベントから記録されたフィードを見るために用いられても良い。従って、パネル９９３ａは、ライブイベントを表示し、又は、過去のイベントから記録されたフィードにアクセスし、表示することができる。
パネル９９４ａは、デバイス９９０ａのユーザに関連付けられたアバター９９８ａを表示する。さらに、パネル９９４ａは、デバイス９９０ａのユーザに提供されるフィードバックを表示するために、アバター９９８ａを動かすことができる。例えば、ユーザがパネル９９３ａに表示されるイベントに応答して拍手フィードバックを提供する場合、アバター９９８ａは拍手するように動いても良い。
図９Ｂは、本発明の実施形態で採用され得る別のグラフィカルユーザインタフェース９９１ｂである。グラフィカルユーザインタフェース９９１ｂは、タイトルバー９０２ｂを含み、これは、拡張可能なメニューリストも含む。グラフィカルユーザインタフェース９９１ａと同様に、グラフィカルユーザインタフェース９９１ｂは、ユーザに情報を表示する複数のパネル９９２ｂ−９９５ｂを含む。パネル９９２ｂは、アバター９９４ｂからなる仮想視聴者を表示する。パネル９９５ｂは、パネル９９３ｂに表示されたイベント９９７ｂに関連するスコアを表示する。図９Ａのグラフィカルユーザインタフェース９９１ａと同様に、パネル９９３ｂは、当該技術分野で知られている任意のパフォーマンスからのフィードを表示することができる。さらに、パネル９９３ｂは、イベントの事前に記録されたフィードを表示し、このような実施形態において、時間進行バー９０３ｂを表示することができる。グラフィカルユーザインタフェースは、クラウド反応９０４のレンダリングも含む。パネル９９４ｂは、仮想視聴者及びアバター９９８ｂの背面図を表示する。一実施形態によれば、アバター９９８ｂは、グラフィカルユーザインタフェース９９１ｂのユーザに関連するアバターであり、従って、パネル９９４ｂは、ユーザに、仮想視聴者の中に配置された当該ユーザ自身に対応するアバター９９８ｂを図示するビューを提供する。
グラフィカルユーザインタフェース９９１ｂは、フィードバック・ツール９０５ａ−ｅも含む。当該ツール９０５ａ−ｅは、ユーザがイベント９９７ｂに応答してフィードバックを提供することを可能とする。ツール９０５ａ−ｅは、タッチスクリーンデバイス上に表示され、ツール９０５ａ−ｅのうちの１つを選択すると、フィードバックは、フィードバックを集計するための、コンピューティング装置１０６のようなデバイスに提供される。ツール９０５ａは、拍手フィードバックを示し、ボタン９０５ｂは、否定的なフィードバックを示す。さらに、ボタン９０５ｃ，９０５ｄは、ユーザが利用可能な異なる制御オプションを示す。そのうえ、一実施形態において、ユーザが表示される様々な制御オプションを構成することができる。さらに、ボタン９０５ｅは、グラフィカルユーザインタフェース及び基礎となるアプリケーションのユーザが、グラフィカルユーザインタフェース９９１ｂを使用してベルプを取得することを可能にするヘルプ・ツールである。グラフィカルユーザインタフェース９９１ｂは、ユーザによってカスタマイズすることができる。例えば、ユーザが、他のオプションの中で、サインを作成し、チャットし、及び本人のアバターをカスタマイズするためのパネルを含むように選択することができる。さらに、ユーザが、どのパネルが表示されるか、及びパネルのサイズ、位置、及び順番を含むパネルプロパティをカスタマイズすることができる。
図９Ｃは、遠隔視聴者メンバ参加を実施するために使用される別のグラフィカルユーザインタフェース９９１ｃを示す。一実施形態によれば、グラフィカルユーザインタフェース９９１ｂは、デバイスが縦向きに保持されているときに表示され、グラフィカルユーザインタフェース９９１ｃは、デバイスが横向きに保持されているときに表示される。グラフィカルユーザインタフェース９９１ｃは、パフォーマンスエリアでのイベントのビデオフィード９９３ｃを表示する。さらに、グラフィカルユーザインタフェース９９１ｃは、タイトル９０２ｃ及び拡張可能なメニューバー９０１ｃを含む。メニューバーは、任意の様々なコントロール及びオプションを含んでも良い。グラフィカルユーザインタフェースは、仮想視聴者９９４ｃの表示を含み、ハイライトされたアバター９９８ｃは、グラフィカルユーザインタフェース９９１ｃのユーザに対応する。グラフィカルユーザインタフェース９９１ｃはまた、表示されたフィード９９３ｃが事前に記憶されている実施形態において、プログレスバー９０３ｃを表示する。
グラフィカルユーザインタフェース９９１ａ−ｃは、単なる例であり、本発明の実施形態は、任意の様々な情報及びデータを表示することができ、様々なサイズ及び形状のより多数又は少数のパネルを有するグラフィカルユーザインタフェースを用いることができることを理解されたい。一実施形態によれば、グラフィカルユーザインタフェース（本明細書ではまとめて符号９９１を付す）は、ユーザによってカスタマイズされ得る。このような実施形態において、ユーザが、何が表示されるか、どこに表示されるか、及び選択されたものが表示されるサイズを決定することができる。このような実施形態において、グラフィカルユーザインタフェースのカスタマイズは、異なる表示オプションが選択されるメニューを介して実施されても良い。さらに別の実施形態において、パネルがデバイス上に表示され、ユーザがパネルを再配置したり、パネルのサイズを変更したり、パネルを削除したり、追加したりして、カスタムのグラフィカルユーザインタフェースを作成することができる。
図１０は、遠隔視聴者参加を強化するための方法１０００のフローチャートである。一実施形態によれば、方法１０００は、方法８８０のステップ８８３から続くが、方法１０００は、方法８８０の任意のステップの前又は後に実施されても良く、さらに、方法１０００は、方法８８０とは別途に実施されても良い。
方法１０００は、ステップ１００１において、ユーザがフィーチャされているという通知を受信することによって開始する。この通知は、当該技術分野で知られている任意の通信方法を介して受信することができ、同様に、任意の通知方法の形態をとることができる。方法８８０がユーザデバイス上のアプリケーションを介して実施される例示的な実施形態において、この通知は、アプリケーションを介してユーザに送信されても良く、又はユーザデバイスに関連付けられたコンピューティング装置を介して受信されるテキスト又は音声通知であっても良い。
方法１０００は、ステップ１００２において、ユーザが通知に応答してユーザ表現を送信することに進む。ステップ１００２で送信されるユーザ表現は、本明細書で説明した任意のタイプのフィードバックとすることができる。さらに、このユーザ表現は、アバターの動き、単語を有する標識、又はユーザが表現したい任意のタイプのフィードバックを含んでも良い。一実施形態によれば、ユーザは、メニューを介して提供したい表現を選択し、次に、選択された表現をカスタマイズするためにオプションを選択する。例えば、ユーザが標識をかざしたいことを示す場合、ユーザは、標識を選択し、次に、標識のテキスト及び色を選択することができる。
方法１０００のステップ１００３において、ユーザに関連付けられたアバターは、送信されたユーザ表現を実行する様子を示す。一実施形態において、アバターは、複数の遠隔位置視聴者メンバに対応する複数のデジタルアバターの中に表示される。一実施形態によれば、視聴者９９２ａ，９９４ａ，９９２ｂ，９９４ｂ，９９４ｃのうち１つの視聴者におけるそれぞれのアバター等のようなアバターは、グラフィカルユーザインタフェース上において、例えば動くように、又は送信された視聴者の表現を実行するようにして表示される。別の実施形態において、送信されたユーザ表現を実行するアバターは、図１１Ａに関して後述するアバター視聴者１１０ａ等のような、パフォーマンスエリアで表示された視聴者の中で表示される。
図１１Ａは、本発明の実施形態において、パフォーマンスエリア又はグラフィカルユーザインタフェースに表示され得る例示的な仮想視聴者１１００ａを示す。例えば、この仮想視聴者１１００ａは、図１のディスプレイ１０４に表示されても良い。この例示的な仮想視聴者１１００ａは、アバター１１０１から構成される。一実施形態において、アバター１１０１は、仮想視聴者１１００ａを見る視聴者メンバのフィードバックを提供するように、動かされる。
図１１Ｂは、パフォーマンスエリア又はグラフィカルユーザインタフェースを介して、遠隔位置視聴者メンバに表示され得る別の例示的な仮想視聴者１１００ｂを示す。視聴者１１００ａと同様に、視聴者１１００ｂはアバター１１０１ｂから構成される。同様に、アバター１１０１ｂの頭部及び目の動きは、図４に関連して上述した方法４４０に従って制御されても良い。従って、仮想視聴者１１００ｂがパフォーマンスエリアで表示される例示的な実施形態において、アバター１１０１ｂの頭部及び目の動きは、パフォーマンスエリアで発生している様々なイベントを見るように制御される。
図１１Ｃは、アバター１１０１ｃから構成される仮想視聴者１１００ｃを示す。視聴者１１００ｃは、クラウド１１０３，１１０４の形態で仮想視聴者メンバから受信されたフィードバックの集計的かつ集合的なレンダリングを示す。視聴者１１００ｃにおいて、クラウド１１０３，１１０４は、パフォーマンスエリアにおける２つの異なるチームのサポートを示す。実施形態によれば、クラウド１１０３，１１０４は、クラウド１１０３，１１０４の色彩、色合い、及び形状のうち、少なくとも１つに応じて、異なるチームに対するサポートを示すために使用されても良い。例えば、クラウド１１０３及びクラウド１１０４の異なる色合いは、異なるチームに対応し、よって、クラウド１１０４は、一方のチームに対するサポートを示し、クラウド１１０３は、他方のチームに対するサポートを示す。このようにして、視聴者から受信されたフィードバックの直感的なレンダリングが表示される。実施形態において、当該サポートは、クラウド１１０３，１１０４を介して表示されることに限定されず、別の実施形態において、サポートは、様々な絵文字を介して表示される。
図１２は、本発明の実施形態を実施することができるコンピュータネットワーク環境１２２０を示す。このコンピュータネットワーク環境１２２０において、サーバ１２２１は、通信ネットワーク１２２２を介してクライアント１２２３ａ−ｎにリンクされる。当該環境１２２０は、クライアント１２２３ａ−ｎが単独で、又はサーバ１２２０との組合せで、本明細書に記載された方法の何れかを実行することを可能にするために用いられる。非限定的な例として、コンピュータネットワーク環境１２２０は、クラウドコンピューティング実施形態、サービスとしてのソフトウェア（ＳＡＡＳ）実施形態等を提供する。
図１３は、例えばパフォーマンスエリア１０１及び遠隔視聴者等の視聴者反応が所望される環境に投影される視聴者反応を制御するために用いられるユーザインタフェース１３００を示す。当該インタフェース１３００のエリアは、例えば、喜び１３０１ａ及び悲しみ１３０１ｎ等の様々な反応に対応しており、ユーザがインタフェース１３００のエリアを選択すると、対応する反応が、パフォーマンスエリア及び／又は遠隔視聴者メンバに投影される。インタフェース１３００のエリアは、本明細書に記載された任意の反応ライプに対応することができる。例えば、インタフェース１３００のエリアは、他の反応の中において、アバターの特定の音声及び動きに対応することができる。
動作中、インタフェース１３００は、ディスプレイデバイス上に表示され、ユーザが、実行されるべき反応を選択する。ユーザは、マウスを介して、タッチを介して、又は当該技術分野で知られている任意の選択方法を介して、選択を実行することができる。さらに、ユーザが単一の反応又は一連の反応を選択しても良いし、視聴者に複数の反応を提供する順序を指示することもできる。例えば、一実施形態において、反応が選択される順序は、反応が提供される順序を示す。そのうえ、ユーザは、どのくらいの長さで再生されるかを指示しても良い。この指示は、反応が再生される時間の長さにわたって選択された反応を保持することによって、又は、例えばキーボードを介して反応の長さを入力すること等の、入力装置を介して反応が再生されるべき時間の長さを指示することによって、提供される。ユーザは、複数の反応を連続して選択でき、各反応は、同時に投影されても良い。
さらに、インタフェース１３００は、ユーザが、感情が再生されることに、望まれる典型的な順序で感情を容易に選択することができるように構成されても良い。例えば、インタフェース１３００は、ユーザが、下から開始し、指を上にドラッグすることができ、アバターが、当該指がドラッグされる順序で所望の反応を行うように構成される。インタフェース１３００において、これは、右側の強い正反応から左側の強い負反応までのスペクトル１３０２上に反応を置くことによって達成される。同様に、反応は、反応が典型的に時間１３０３にわたって発生するように、下から上に順序付けられる。インタフェース１３００において、反応は、待機／中断期間、動作期間、イベント、反応期間、ウィンドダウン期間、及び解決の順序である。このようにして、インタフェース１３００は、下から上に指をドラッグすることで、イベントが発生するときに、経時的に発生する反応を提供するように構成される。例示すると、例えば、パフォーマンスがホッケーゲームの場合、ユーザは、ニュートラルゾーン１３０１ｂに自分の指を置いた状態で開始することができ、次に、例えば、プレーヤが氷上を滑って突進を開始し、得点を取った場合、ユーザが経路１３０４に沿って自分の指をドラッグし、経路内の反応が提供される。従って、反応は、通常のプレーの中にニュートラル１３０１ｂとして開始し、次に、プレーヤがスケートで滑って突進することを開始すると、反応は「ｌｅｔ‘ｓ ｇｏ」１３０１ｃに変化し、プレーヤがシュートすると、反応は「ｔｈｉｓ ｃａｎ ｇｏ」１３０１ｄに変化する。次に、ゴールが決まると、この反応は、歓喜１３０１ａ、喜び１３０１ａであり、その後、当該反応は、満足１３０１ｆ及び心地良い雑音１３０１ｇに変化する。
インタフェースにおける反応がスペクトル上に配置されるので、インタフェース１３００の特定の部分は、選択されたエリアに関連付けられた任意の数の実際の反応を有することができる。例えば、インタフェース１３００のゾーンは、重複する反応に関連付けられても良く、このようなエリアが選択されると、両方の反応が提供される。例示すると、インタフェース１３００において、ゾーン１３０５は、怒り及び嫌悪の両方に関連付けられており、従って、エリア１３０５が選択されると、怒りと嫌悪の反応が提供されるであろう。
そのうえ、例えば喜び１３０１ａのような特定の反応は、多数の「価値」に関連しても良い。言い換えれば、例えば喜び１３０１ａ等の単一の反応のみに属する領域が選択された場合、当該領域は、複数の異なる方法で単一の反応を提供しても良い。例えば、喜び１３０１ａが選択された場合、喜びは、様々な異なる方法でアバターを動かすことによって提供されても良い。このような例示的な実施形態において、複数の反応に関連するインタフェース１３００の一部分を選択することは、いくつの異なる反応を提供することを引き起こす。
さらに、インタフェース１３００は、１つの選択された反応から別の反応に遷移するときに提供される遷移反応を含むこともできる。これらの遷移反応は、インタフェースの一部であっても良く、従って、例えば、反応の、経路１３０４等の経路をドラッグすることの一部として選択されても良く、又は、この遷移反応は、このような実施形態を実施するコンピューティングシステムによってインタフェースを介して選択される反応の間に自動的に提供されても良い。
インタフェース１３００は、例えば、ボリューム、反応を実行するアバターの数量等の、選択された各反応の特性を示すことにも使用されても良い。例えば、反応の大きさは、反応を選択すること、及び、反応の大きさをそれぞれ減少又は増加させるためにピンチ及びズームすることを選択することによって示すことができる。また、別の実施形態において、選択された反応の大きさは、機械学習を介して自動的に決定されても良い。例えば、他の例の中での、パフォーマンスエリア、イベント、ライブ視聴者メンバの数、及び遠隔視聴者メンバの数に関するデータは、選択された反応の大きさを自動的に決定することに用いることができる。この反応の大きさは、提供されるべき反応の大きさを決定するために、例えば、機械学習、ニューラルネット等を用いて、環境及び／又は反応のデータを処理することによって決定されても良い。このような例において、過去の環境、反応、及び大きさのデータが分析されることで、選択される反応の現在の大きさを決定することができる。
インタフェース１３００は、インタフェース１３００のどの部分がどの反応に対応するかを伝えるための任意の様々な指標を含むこともできる。例えば、インタフェース１３００は、例えばラベル１３０６の「Ｓｕｒｐｒｉｓｅ」等の、インタフェースの対応部分に関連付けられた反応の種類を示すラベルを含む。そのうえ、インタフェース１３００は、例えば、インタフェース１３００の特定の部分を選択することによって得られるアバターの顔の表情及び動きの例、例えば顔１３０７ａ，１３０７ｂを含む。さらに、インタフェース１３００は、軸１３０２，１３０３と、インタフェースのどの部分が異なる反応に対応するかを示す指標線１３０８ａ−ｎと、を含む。なお、軸１３０２,１３０３及び指標線１３０８ａ−ｎは、実施形態においてあり得る指標の一例である。ユーザインタフェース１３００は、インタフェースのアプリケーション及び／又はユーザの好みに基づいて、所望又は適切な任意の指標線を含むようにカスタマイズすることができる。
そのうえ、インタフェース１３００は、実施形態で使用されるインタフェースの一例にすぎない。インタフェース１３００は、任意の所望のレイアウトで任意の所望の反応を含むように調整することができる。例えば、ボクシングの試合に対する極めて肯定的なものは、バレエのパフォーマンスに対する極めて肯定的なものとは異なり、インタフェース１３００は、それに応じて調整することができる。インタフェース１３００をカスタマイズする詳細は、図１４に関連して後述する。
さらに、ユーザがインタフェース１３００を介して提供される様々な反応を選択することができることが記載されているが、本発明の実施形態は、これに限定されず、反応が自動的に選択されても良い。例えば、本発明の一実施形態を実施するコンピューティングシステムは、反応データ及び／又は環境データを受信し、受信したデータの分析を通じて、反応を自動的に選択することができる。一実施形態において、コンピューティングシステムによって自動的に選択されるために利用可能な反応は、インタフェース内の反応によって制限されても良い。データ分析及び反応の自動選択は、環境データ／反応データと対応する選択された反応との組合せを用いてシステムが訓練される機械学習の結果であっても良い。
図１４は、ユーザが図１３の反応選択インタフェース１３００を設定及び構成することを可能にするインタフェース、例えば、グラフィカルユーザインタフェース１４００を示す。このインタフェース１４００により、ユーザは、インタフェースのために、反応のレイアウトと、それに対応するアバターの変化と、を実現でき、このインタフェースは、例えばパフォーマンスエリア及び／又は遠隔視聴者メンバ等の反応が所望されるあらゆる場所において、反応を選択するために用いられる。インタフェース１４００は、ユーザが、反応を決めることと、反応を、例えば目、眉毛、口、音声、ジェスチャー、音量、動き等の特徴と関連付けることと、を可能にする。インタフェース１４００を用いて示されるレイアウトは、例えば１３００等の反応選択コントローラのレイアウト、及び、反応の価値及び特徴に対する反応コントローラの領域を作成する。
インタフェース１４００におけるそれぞれの顔、例えば１４０１は、反応を表す。それぞれの顔は、各反応に関連付けられた、関連する目、眉毛、及び口を示す。そのうえ、それぞれの顔は、音声及びジェスチャー等のような反応の追加特徴にマッピングすることができる。与えられた顔が選択されると、ユーザは、メニュー１４０２の使用を通じて選択された反応の特徴を修正することができる。このメニュー１４０２は、目、眉毛、口、及び音声のオプションを含むが、これに限定されず、音量、ジェスチャー、及び動き等のような、反応の任意の追加の属性を含む。ユーザは、インタフェース１４００の使用を通じて、任意の所望の方法で、新しい顔を作成し、即ち、反応を作成したり、反応を削除したり、反応をレイアウトしたりすることができる。そのうえ、ユーザは、特定の反応に関連付けられた反応選択インタフェースの一部が大きく又は小さくなるように、顔のサイズを変更することができる。そのうえ、ユーザは、複数の顔が直接及び／又は部分的に重なるように反応を層化することができる。反応、即ち顔が層化され、重なり合う反応に対応するインタフェース１３００のエリアが選択されると、重なり合う反応が提供される。さらに、インタフェース１４００はまた、選択された反応のサンプルアバターのレンダリングを示すサンプルアバター１４０３ａ，１４０３ｂを示す。
インタフェース１４００は、ユーザが、操作中に反応を制御することに使用される、例えば１３００等の反応選択インタフェースを作成し、レイアウトすることを可能にする。このように、インタフェース１４００に表示された顔のエリアは、反応を制御するために用いられる反応選択インタフェース１３００のエリアにマッピングされると言うことができる。従って、インタフェース１４００は、任意の様々な反応を有するユーザによって所望される任意のレイアウトを作成するために用いることができる。そのうえ、インタフェース１４００は、特定の用途に特化されたインタフェースを作成するために用いられても良い。さらに、インタフェース１４００はダイヤモンドパターンで反応を表示するが、本発明の実施形態はこれに限定されず、反応は、使用選択機能性を改善するために、任意の所望のパターンでインタフェース１４００に配置されても良い。さらに、インタフェース１４００を使用することを通じて、ユーザは、極めて肯定的な反応から極めて否定的な反応を左から右にレイアウトするように、任意の所望の順序又はパターンで反応をレイアウトすることができる。
本発明の実施形態はまた、トレーニングツールとして採用されても良い。例えば、アバターは、パフォーマーが模擬群衆で練習できるように、パフォーマンスエリアに表示しても良い。これは、特に、公衆の発言及びスポーツの実施に有用である。例えば、本明細書に記載される原理を用いて、人は、演説を練習することができ、本明細書に記載される反応を提供するためのアバター、ディスプレイ、及び方法は、任意のサイズの群衆の前で演説することをシミュレートするために採用され得る。同様に、実施形態は、群衆の前でスポーツをしたり、任意の方法でパフォーマンスを行ったりすることをシミュレートするために使用され得る。このような用途において、提供される反応は、所望に応じて友好的又は敵対的であるように、及び任意の所望の数の視聴者メンバをシミュレートするように調整することができる。例示すると、一実施形態において、野球プレーヤは、本明細書に記載された原理を使用してジュニア視聴者がシミュレートされる環境で戦うことを練習する。
本発明の実施形態はまた、ライブ視聴者を制御するために使用されても良い。例えば、イベントのトーンは、例えばアバター等の、システムによって提供される反応によって影響され得る。実施形態は、視聴者メンバの反応を制御するために用いられ得る。例えば、一実施形態は、視聴者の反応を強化、抑制、又は遅延させるために使用され得る。例示すると、ローカル視聴者が笑うことが望まれる場合、アバター視聴者が笑っているように表示され、ローカル視聴者の行動に影響を与えるように、笑う音声がローカル視聴者に投影される。同様に、遠隔視聴者メンバに行動、気分、及び反応を提案するように、遠隔視聴者メンバに反応を投影することができる。
実施形態は、Ｉｒａ Ｌｅｅにより２０１８年１月１９日に出願された、代理人番号が５３２４．１００１−０００であり、名称が「ＥＮＨＡＮＣＥＤ ＢＩＬＬＩＡＲＤ ＴＡＢＬＥ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２／６１９，３５３の米国仮出願、及びＩｒａ Ｌｅｅにより２０１８年５月１５日に出願された、代理人番号が５３２４．１００１−００１であり、名称が「ＥＮＨＡＮＣＥＤ ＧＡＭＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」である出願番号が６２/６７１，５７８の米国仮出願に記載されたシステムにおいて動作をトリガするために用いられても良い。例えば、関連出願に記載されたテーブルシステムにおける動作は、ローカル及び／又は遠隔の視聴者メンバから受信された反応データに基づいて自動的にトリガされても良い。例えば、反応データはテーブルシステムに送信され、テーブルシステムは反応データに基づいて動作を実行するように自動的にトリガされ得る。このテーブルシステムによる動作の例は、自動再生を生成すること、スローモーションでイベントを表示すること、異なる視点をキャプチャするためにカメラを移動させること、及びテーブルシステムが行うことが可能な任意の動作を含む。同じように、本発明の実施形態は、受信された反応データに基づいて動作を実行するために、テーブルシステムにコマンドを送信するように構成されても良い。このような実施形態において、一実施形態は、受信された反応データに基づいてテーブルシステムに送信するコマンドを示すデータを格納するように構成されても良く、及び／又は、反応データがテーブルシステムに送信される前に、反応データが準拠しなければならないパラメータ、例えば種類、大きさ等を示すデータを格納するように構成されても良い。
本発明の代替的な実施形態は、デジタル視聴者の表示を含むメディアストリームを生成することを対象とする。例えば、一実施形態において、このような機能は、ソフトウェア製品を生成する既知のメディアストリーム内のプラグインを介して提供される。このプラグインを通じて、ストリームを生成するソフトウェアは、ユーザが仮想視聴者のレンダリングをメディアストリームに組み込むことを可能にする。例えば、メディアストリームプロデューサは、ビデオの下の３分の１の部分に、この例においては、仮想視聴者の視覚的なレンダリングが含まれるように、メディアストリームを修正することができる。次に、ストリームが視聴されると、ストリームプロデューサによって修正が行われ、仮想視聴者のレンダリングがストリーム自体に埋め込まれるため、この仮想視聴者は、特定のアプリケーション又はプラグインを必要としないように視聴者には見える。
実施形態又はその態様は、ハードウェア、ファームウェア、又はソフトウェアの形態で実施され得る。ソフトウェアで実施される場合、このソフトウェアは、プロセッサが当該ソフトウェア又はその命令のサブセットをロードできるように構成され、任意の読取可能な非一過性のコンピュータ記憶媒体に格納されても良い。このプロセッサは、次に、命令を実行し、本明細書で記載されたような方法で装置を動作し、又は装置を動作させるように構成される。
さらに、ファームウェア、ソフトウェア、ルーチン、又は命令は、データプロセッサの特定の動作又は機能を実行するものとして本明細書に記載されても良い。しかし、本明細書に記載されているような説明は、単に便宜上のものであり、このような動作が、実際に、コンピューティング装置、プロセッサ、コントローラ、又は他のデバイスがファームウェア、ソフトウェア、ルーチン、命令等を実行する結果であることを理解されるべきである。
フロー図、ブロック図、及びネットワーク図は、より多く又は少ない要素を含んでも良く、異なって配置されても良く、又は、異なって表現されても良いことを理解されるべきである。しかし、特定の実施形態では、ブロック図及びネットワーク図を指示可能であり、並びに実施形態の実行を例示するブロック図及びネットワーク図の数が、特定の方法で実施されても良いことがさらに理解されるべきである。
従って、さらなる実施形態は、様々なコンピュータアーキテクチャ、物理、仮想、クラウドコンピュータ、及び／又はこれらの何らかの組合せで実施することもでき、よって、本明細書に記載されたデータプロセッサは、例示のみを目的としたものであり、実施形態を限定するものではない。さらに、実施形態及びその特徴は、任意の様々な組合せで実施することができる。さらに、文脈が許す場合に、本明細書での単語の複数形と単数形とを交換可能であり得ることに留意されたい。
実施形態を参照しながら本発明を具体的に示し、説明してきたが、添付された特許請求の範囲によって包含される本発明の範囲から逸脱することなく、その中で様々な形態及び細部の変更が行われ得ることは、当業者に理解されるであろう。

Claims (112)

  1. 仮想視聴者を作成するためのシステムであって、
    通信インタフェースと、
    コントローラと、
    を備え、
    前記通信インタフェースは、パフォーマンスエリアから、遠隔位置視聴者にデジタルフィードを提供し、前記遠隔位置視聴者からフィードバックを受信するように構成され、
    前記コントローラは、受信された前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアに出力を提供するように構成されることを特徴とするシステム。
  2. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアは、アリーナ、ビリヤードテーブル、及びステージのうち、少なくとも１つからなることを特徴とするシステム。
  3. 請求項１に記載のシステムであって、
    前記遠隔位置視聴者は、それぞれの地理的位置に位置する複数の遠隔位置視聴者を含むことを特徴とするシステム。
  4. 請求項３に記載のシステムであって、
    前記通信インタフェースは、さらに、複数の前記遠隔位置視聴者のそれぞれから前記フィードバックを受信するように構成されることを特徴とするシステム。
  5. 請求項４に記載のシステムであって、
    前記コントローラは、さらに、複数の前記遠隔位置視聴者のそれぞれから前記通信インタフェースによって受信された前記フィードバックを集計するように構成されることを特徴とするシステム。
  6. 請求項５に記載のシステムであって、
    前記パフォーマンスエリアにおいて、前記コントローラにより提供される前記出力は、集計された前記フィードバックである集計フィードバックに基づくことを特徴とするシステム。
  7. 請求項１に記載のシステムであって、
    前記フィードバックは、拍手、踏み鳴らし、ブーイング、口頭発言、及びテキストのうち、少なくとも１種であることを特徴とするシステム。
  8. 請求項１に記載のシステムであって、
    前記通信インタフェースは、さらに、当該通信インタフェースが受信するように構成された前記フィードバックに対応するフィードバックオプションのリストを前記遠隔位置視聴者に提供するように構成されることを特徴とするシステム。
  9. 請求項８に記載のシステムであって、
    前記通信インタフェースにより受信された前記フィードバックは、前記フィードバックオプションのリスト内の少なくとも１つのフィードバックを含むことを特徴とするシステム。
  10. 請求項１に記載のシステムであって、
    前記通信インタフェースは、前記遠隔位置視聴者の少なくとも１人のメンバの少なくとも１つの電子デバイスに接続することによって、前記遠隔位置視聴者にデジタルフィードを提供するように構成されていることを特徴とするシステム。
  11. 請求項１０に記載のシステムであって、
    前記通信インタフェースで受信した前記フィードバックは、前記遠隔位置視聴者の少なくとも１人のメンバの前記電子デバイスの動作を示す信号を含むことを特徴とするシステム。
  12. 請求項１１に記載のシステムであって、
    前記電子デバイスの動作を示す前記信号は、前記遠隔位置視聴者の少なくとも１人のメンバと前記電子デバイスとの接続、及び前記電子デバイスの動作のうち、少なくとも１つを示すことを特徴とするシステム。
  13. 請求項１に記載のシステムであって、
    前記通信インタフェースは、前記フィードバックをリアルタイムで受信するように構成され、
    前記コントローラは、前記パフォーマンスエリアで前記出力をリアルタイムで提供するように構成されることを特徴とするシステム。
  14. 請求項１に記載のシステムであって、
    前記通信インタフェースにより提供される、前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアでのイベントの放送であることを特徴とするシステム。
  15. 請求項１４に記載のシステムであって、
    前記通信インタフェースは、前記イベントが発生した時間の後に、前記デジタルフィードを提供するように構成されることを特徴とするシステム。
  16. 請求項１５に記載のシステムであって、
    前記通信インタフェースは、前記イベントが発生した時間の後に、前記フィードバックを受信するように構成されることを特徴とするシステム。
  17. 請求項１５に記載のシステムであって、
    前記通信インタフェースは、さらに、前記イベントが発生した時間の後に、追加フィードバックを受信するように構成され、
    前記コントローラは、さらに、前記フィードバックと前記追加フィードバックとを集計するように構成されることを特徴とするシステム。
  18. 請求項１に記載のシステムであって、
    前記コントローラは、さらに、前記遠隔位置視聴者のサブセットに提供する視聴者出力を決定するように構成され、
    前記サブセットは、前記遠隔位置視聴者の少なくとも１人のメンバを含み、
    前記通信インタフェースは、さらに、決定された前記視聴者出力を前記遠隔位置視聴者の前記サブセットに提供するように構成されることを特徴とするシステム。
  19. 請求項１８に記載のシステムであって、
    前記コントローラにより決定された前記視聴者出力は、集計フィードバックを含み、
    前記集計フィードバックは、前記通信インタフェースにより前記遠隔位置視聴者の複数のメンバから受信されたフィードバックに基づいて、前記コントローラにより作成されることを特徴とするシステム。
  20. 請求項１９に記載のシステムであって、
    前記コントローラは、さらに、前記視聴者出力を決定するときに、前記通信インタフェースにより前記遠隔位置視聴者から受信された前記フィードバックと、前記集計フィードバックと、を合成するように構成されることを特徴とするシステム。
  21. 請求項１８に記載のシステムであって、
    前記コントローラにより決定された前記視聴者出力によって、前記遠隔位置視聴者の少なくとも１人のメンバに、受信された前記フィードバックの不適切さが通知されることを特徴とするシステム。
  22. 請求項１８に記載のシステムであって、
    前記視聴者出力は、前記遠隔位置視聴者のメンバ、前記パフォーマンスエリア、前記パフォーマンスエリアでの前記イベント、及び受信された前記フィードバックのうち、少なくとも１つに関するデータ指標を含むことを特徴とするシステム。
  23. 請求項１８に記載のシステムであって、
    前記コントローラは、前記遠隔位置視聴者の前記サブセット以外の前記遠隔位置視聴者のメンバからのフィードバックを用いて、前記視聴者出力を決定するように構成されることを特徴とするシステム。
  24. 請求項１に記載のシステムであって、
    前記コントローラにより前記パフォーマンスエリアに提供される前記出力は、強化されていることを特徴とするシステム。
  25. 請求項１に記載のシステムであって、
    前記コントローラにより前記パフォーマンスエリアに提供される前記出力は、ユーザが選択した人為的な視聴者数に基づくことを特徴とするシステム。
  26. 請求項２５に記載のシステムであって、
    前記コントローラは、前記パフォーマンスエリアに前記出力を提供するときに、さらに、ユーザが選択した人為的な視聴者数を利用して、受信された前記フィードバックをユーザが選択した人為的な視聴者数に対応するように調整するように構成されることを特徴とするシステム。
  27. 請求項１に記載のシステムであって、
    前記コントローラは、さらに、前記パフォーマンスエリアでのイベントに基づいて、前記パフォーマンスエリアに前記出力を提供することを特徴とするシステム。
  28. 請求項２７に記載のシステムであって、
    前記コントローラは、前記パフォーマンスエリアでのイベントに基づいて前記パフォーマンスエリアに前記出力を提供するときに、前記パフォーマンスエリアでの前記イベントの要素の結果に伴って、前記出力の提供を遅延させるように構成されることを特徴とするシステム。
  29. 請求項２８に記載のシステムであって、
    前記コントローラは、前記イベントのシミュレーションを用いて、前記パフォーマンスエリアでの前記イベントの要素の結果として、前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  30. 請求項１に記載のシステムであって、
    前記通信インタフェースにより受信された前記フィードバックは、前記遠隔位置視聴者の複数のメンバから受信され、
    前記コントローラは、前記遠隔位置視聴者の前記複数のメンバから受信された前記フィードバックを集計して、前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  31. 請求項３０に記載のシステムであって、
    前記コントローラは、集計フィードバックにおいて特定の種類のフィードバックが発生した回数を用いて、前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  32. 請求項１に記載のシステムであって、
    前記通信インタフェースは、さらに、前記遠隔位置視聴者のメンバを禁止するように構成され、
    視聴者のメンバの禁止は、禁止された視聴者のメンバに関連するインターネットプロトコルアドレスに基づいて行われることを特徴とするシステム。
  33. 請求項１に記載のシステムであって、
    前記コントローラにより前記パフォーマンスエリアに提供された前記出力は、前記パフォーマンスエリアへの少なくとも１つの物理的変化を含むことを特徴とするシステム。
  34. 請求項３３に記載のシステムであって、
    前記パフォーマンスエリアへの前記少なくとも１つの物理的変化は、ストリーマ、ファン、紙吹雪、モータ、アクチュエータ、ロボット、ライト、フォグマシン、及びスピーカのうち、少なくとも１つを通じて引き起こされることを特徴とするシステム。
  35. 請求項１に記載のシステムであって、
    前記通信インタフェースにより受信された前記フィードバックは、音声フィードバックを含むことを特徴とするシステム。
  36. 請求項３５に記載のシステムであって、
    前記コントローラは、さらに、受信された前記音声フィードバックから言葉を削除するように構成されることを特徴とするシステム。
  37. 請求項３６に記載のシステムであって、
    削除された前記言葉は、攻撃的な言葉を含むことを特徴とするシステム。
  38. 請求項１に記載のシステムであって、
    前記通信インタフェースは、さらに、前記遠隔位置視聴者の少なくとも１人のメンバに視聴者参加のグラフィック表示を提供するように構成されることを特徴とするシステム。
  39. 請求項１に記載のシステムであって、
    前記コントローラは、複数のテーマから選択されたテーマに基づいて、前記パフォーマンスエリアに前記出力を提供することを特徴とするシステム。
  40. 請求項３９に記載のシステムであって、
    前記テーマは、前記遠隔位置視聴者のメンバの割合によって決定されることを特徴とするシステム。
  41. 請求項１に記載のシステムであって、
    前記通信インタフェースは、さらに、前記遠隔位置視聴者の少なくとも１人のメンバに、カスタムフィードを提供するように構成されることを特徴とするシステム。
  42. 請求項１に記載のシステムであって、
    前記通信インタフェースは、前記遠隔位置視聴者の複数のメンバからフィードバックを受信するように構成され、
    前記コントローラは、受信された前記フィードバックを時間的に集計するように構成されることを特徴とするシステム。
  43. 請求項１に記載のシステムであって、
    前記通信インタフェースにより提供される前記デジタルフィードは、オーディオを含むことを特徴とするシステム。
  44. 請求項１に記載のシステムであって、
    前記コントローラにより提供される前記出力は、前記パフォーマンスエリアで知覚できることを特徴とするシステム。
  45. 請求項１に記載のシステムであって、
    前記遠隔位置視聴者は、複数のメンバを含み、
    前記通信インタフェースは、前記遠隔位置視聴者の複数のメンバのそれぞれに前記デジタルフィードを提供するように構成されることを特徴とするシステム。
  46. 請求項１に記載のシステムであって、
    前記遠隔位置視聴者は、複数のメンバを含み、
    前記通信インタフェースは、前記遠隔位置視聴者の複数のメンバのそれぞれからフィードバックを受信するように構成されることを特徴とするシステム。
  47. 請求項１に記載のシステムであって、
    前記コントローラは、少なくとも１つのアバターを介して前記出力を提供するように構成されることを特徴とするシステム。
  48. 請求項１に記載のシステムであって、
    前記遠隔位置視聴者は、複数の視聴者メンバを含み、
    前記複数の視聴者メンバのうち、２つ以上が同じ地理的位置にいることを特徴とするシステム。
  49. 請求項１に記載のシステムであって、
    前記通信インタフェースにより受信された前記フィードバックは、前記遠隔位置視聴者の少なくとも１人のメンバの電子デバイスの動作を示す信号を含むことを特徴とするシステム。
  50. 請求項１８に記載のシステムであって、
    前記コントローラは、前記遠隔位置視聴者のどのメンバが前記視聴者出力を受信するかを決定するように構成されることを特徴とするシステム。
  51. 請求項１に記載のシステムであって、
    前記通信インタフェースは、さらに、前記パフォーマンスエリアの現場に位置する視聴者からのローカルフィードバックを受信するように構成されることを特徴とするシステム。
  52. 請求項５１に記載のシステムであって、
    前記コントローラは、前記通信インタフェースが前記ローカルフィードバックを受信するときに基づいて決定された時間に前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  53. 請求項５２に記載のシステムであって、
    前記コントローラにより前記パフォーマンスエリアに提供される前記出力は、遠隔位置視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、前記ローカルフィードバック、及びイベントの見込みのうち、少なくとも１つに基づくことを特徴とするシステム。
  54. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアに近接して位置する少なくとも１つのディスプレイをさらに備え、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者の少なくとも一部の表現モデルを表示するように構成されることを特徴とするシステム。
  55. 請求項５４に記載のシステムであって、
    前記表現モデルは、前記遠隔位置視聴者の一部に対応する少なくとも１つのデジタルアバターであることを特徴とするシステム。
  56. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、複数の前記デジタルアバターを表示し、１つ以上の前記デジタルアバターを強調表示するように構成され、
    １つ以上の前記デジタルアバターの強調表示は、当該強調表示された１つ以上の前記デジタルアバターに関連する、受信されたフィードバックに基づいて行われることを特徴とするシステム。
  57. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者のメンバの数に比例する程度の数の前記デジタルアバターを表示するように構成されることを特徴とするシステム。
  58. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者のメンバにより選択された位置に少なくとも１つの前記デジタルアバターを表示するように構成されることを特徴とするシステム。
  59. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、少なくとも１つの前記デジタルアバターを標識とともに表示するように構成されることを特徴とするシステム。
  60. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、表示された少なくとも１つの前記デジタルアバターを前記遠隔位置視聴者からの入力に基づいてカスタマイズするように構成されることを特徴とするシステム。
  61. 請求項５５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者から受信されたフィードバックを表現するために、少なくとも１つの前記デジタルアバターを動かすように構成されることを特徴とするシステム。
  62. 請求項５５に記載のシステムであって、
    前記遠隔位置視聴者は、複数のメンバを含み、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者の前記複数のメンバのそれぞれのアバターを表示するように構成されることを特徴とするシステム。
  63. 請求項５５に記載のシステムであって、
    １つ以上のセンサをさらに備え、
    前記１つ以上のセンサは、前記パフォーマンスエリアでの１つ以上のイベントを検出するように構成されることを特徴とするシステム。
  64. 請求項６３に記載のシステムであって、
    前記１つ以上のセンサは、カメラ、動き検出器、サーモカメラ、加速度計、及びマイクロフォンのうち、少なくとも１つを含むことを特徴とするシステム。
  65. 請求項６３に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記パフォーマンスエリアにおいて前記１つ以上のセンサにより検出された前記１つ以上のイベントに基づいて、少なくとも１つの前記デジタルアバターを動かすように構成されることを特徴とするシステム。
  66. 請求項６５に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記パフォーマンスエリアにおいて前記１つ以上のセンサにより検出された前記１つ以上のイベントに基づいて、少なくとも１つの前記デジタルアバターの頭及び目を動かすように構成されることを特徴とするシステム。
  67. 請求項６３に記載のシステムであって、
    前記少なくとも１つのディスプレイは、
    前記１つ以上のセンサにより検出された前記１つ以上のイベントのそれぞれに対する注目スコアを計算し、
    確率による決定、及び、前記１つ以上のイベントのそれぞれに対して計算された注目スコアを用いて、選択されたアバターを動かすように構成されることを特徴とするシステム。
  68. 請求項６７に記載のシステムであって、
    前記少なくとも１つのディスプレイは、イベントの位置、イベントの大きさ、音声の位置、及び動きの位置のうち、少なくとも１つに基づいて、前記１つ以上のイベントのそれぞれに対する注目スコアを計算するように構成されることを特徴とするシステム。
  69. 請求項５４に記載のシステムであって、
    前記少なくとも１つのディスプレイの少なくとも一部分は、前記パフォーマンスエリアから観察できることを特徴とするシステム。
  70. 請求項５４に記載のシステムであって、
    前記少なくとも１つのディスプレイの少なくとも一部分は、前記パフォーマンスエリアの近傍にあることを特徴とするシステム。
  71. 請求項５４に記載のシステムであって、
    前記通信インタフェースは、さらに、前記少なくとも１つのディスプレイで現れる、以前に現れた又は現れる予定のアバターに対応する画像を、前記遠隔位置視聴者に提供するように構成されることを特徴とするシステム。
  72. 請求項５４に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記表現モデルの３次元（３Ｄ）レンダリングを行うように構成されることを特徴とするシステム。
  73. 請求項５４に記載のシステムであって、
    前記少なくとも１つのディスプレイは、前記遠隔位置視聴者の仮想出席を提供するように構成されることを特徴とするシステム。
  74. 請求項５４に記載のシステムであって、
    前記少なくとも１つのディスプレイは、プロジェクタにより提供されることを特徴とするシステム。
  75. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアのビデオフィードであることを特徴とするシステム。
  76. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアでの前記イベントのビデオフィードであることを特徴とするシステム。
  77. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアの音声フィードであることを特徴とするシステム。
  78. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアからの前記デジタルフィードは、前記パフォーマンスエリアにいる少なくとも１人に関する生体データを含むことを特徴とするシステム。
  79. 請求項７８に記載のシステムであって、
    前記生体データは、心拍数、呼吸、及び温度のうち少なくとも１つを含むことを特徴とするシステム。
  80. 請求項１に記載のシステムであって、
    前記コントローラは、さらに、前記パフォーマンスエリアの物体のデジタルレンダリングを作成するように構成され、
    前記通信インタフェースは、さらに、前記遠隔位置視聴者に、作成された前記デジタルレンダリングを提供するように構成されることを特徴とするシステム。
  81. 請求項１に記載のシステムであって、
    前記パフォーマンスエリアへの前記出力は、音声、ビデオ、テキスト、動き、におい、及び受信された前記フィードバックを集計して得られた集合的な提供データのうち、少なくとも１つを含むことを特徴とするシステム。
  82. 請求項１に記載のシステムであって、
    前記コントローラは、さらに、前記遠隔位置視聴者の少なくとも一部に対応する物理的アバターを提供するように構成されることを特徴とするシステム。
  83. 請求項１に記載のシステムであって、
    前記コントローラは、さらに、受信された前記フィードバックからの１つ以上の不適当な応答を削除するように構成されることを特徴とするシステム。
  84. 仮想視聴者を作成する方法であって、
    パフォーマンスエリアからのデジタルフィードを遠隔位置視聴者に提供することと、
    前記遠隔位置視聴者からフィードバックを受信することと、
    受信された前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアに出力を提供することと、
    を含むことを特徴とする方法。
  85. 請求項８４に記載の方法であって、
    請求項１から８３までの何れか一項に記載のシステムの機能を実行することをさらに含むことを特徴とする方法。
  86. 遠隔視聴者の参加を容易にするためにコンピュータ実施方法であって、
    ユーザに関連付けられたデバイスでパフォーマンスエリアからのデジタルフィードを受信することと、
    前記パフォーマンスエリアにフィードバックを送信することと、
    前記パフォーマンスエリアから、複数の遠隔位置視聴者のメンバからのフィードバックに対応する出力を受信することと、
    を含むことを特徴とする方法。
  87. 請求項８６に記載の方法であって、
    遠隔位置視聴者の複数のメンバの間のコミュニケーションを可能にすることをさらに含むことを特徴とする方法。
  88. 請求項８６に記載の方法であって、
    前記パフォーマンスエリアに送信される前記フィードバックは、前記デバイスに結合された加速度計からの信号であることを特徴とする方法。
  89. 請求項８６に記載の方法であって、
    前記パフォーマンスエリアに送信する前記フィードバックは、フィードバックリストから選択されることを特徴とする方法。
  90. 請求項８９に記載の方法であって、
    前記フィードバックリストは、拍手、踏み鳴らし、ブーイング、口頭発言、前記パフォーマンスエリアへの物理的変化、及びテキストのうち、少なくとも１つを含むことを特徴とする方法。
  91. 請求項８６に記載の方法であって、
    前記パフォーマンスエリアから、前記パフォーマンスエリアで表示されたデジタルアバターに関するフィードバックを受信することをさらに含むことを特徴とする方法。
  92. 請求項８６に記載の方法であって、
    ユーザに関連付けられた前記デバイス上のグラフィカルユーザインタフェースの複数のパネルに、前記パフォーマンスエリアに関連するデータを表示することをさらに含むことを特徴とする方法。
  93. 請求項９２に記載の方法であって、
    第１のパネルは、前記パフォーマンスエリアから受信された前記出力を表示し、
    第２のパネルは、前記デジタルフィードを表示し、
    第３のパネルは、前記ユーザに関連付けられたアバターを表示することを特徴とする方法。
  94. 請求項９３に記載の方法であって、
    前記第１のパネルは、イベントスコアをさらに表示することを特徴とする方法。
  95. 請求項９３に記載の方法であって、
    前記第１のパネルで表示される、前記パフォーマンスエリアからの前記出力は、複数の遠隔位置視聴者のメンバに対応する複数のデジタルアバターを示すことを特徴とする方法。
  96. 請求項９５に記載の方法であって、
    前記ユーザがフィーチャされているという通知を受信することと、
    前記通知への応答としてユーザ表現を送信することと、
    前記第１のパネルでは、前記複数の遠隔位置視聴者のメンバに対応する前記複数のデジタルアバターの中において、送信された前記ユーザ表現を実行するように、前記ユーザに関連付けられた前記アバターを表示することと、
    をさらに含むことを特徴とする方法。
  97. 請求項８６に記載の方法であって、
    前記パフォーマンスエリアの物体のデジタルレンダリングを受信することをさらに含むことを特徴とする方法。
  98. 仮想視聴者を作成するためのシステムであって、
    パフォーマンスエリアからのデジタルフィードをキャプチャし、前記デジタルフィードを遠隔位置視聴者に伝えるように構成されたキャプチャデバイスと、
    前記パフォーマンスエリアで知覚でき、前記遠隔位置視聴者から受信されたフィードバックに対応する出力を提供するように構成されたエミッタデバイスと、
    を備えることを特徴とするシステム。
  99. 仮想視聴者を作成するためのシステムであって、
    パフォーマンスエリアからのデジタルフィードを遠隔位置視聴者に提供し、前記遠隔位置視聴者からフィードバックを受信し、前記遠隔位置視聴者の少なくとも１人のメンバに視聴者出力を提供するように構成された通信インタフェースを備えることを特徴とするシステム。
  100. 請求項９９に記載のシステムであって、
    受信された前記フィードバックに基づいて前記視聴者出力を決定するように構成されたコントローラをさらに備えることを特徴とするシステム。
  101. 請求項１００に記載のシステムであって、
    前記遠隔位置視聴者は、複数のメンバを含み、
    前記通信インタフェースは、さらに、前記遠隔位置視聴者の複数のメンバからフィードバックを受信するように構成されることを特徴とするシステム。
  102. 請求項１０１に記載のシステムであって、
    前記コントローラは、さらに、前記遠隔位置視聴者の前記複数のメンバから受信された前記フィードバックを集計し、集計された前記フィードバックに基づいて前記視聴者出力を決定するように構成されることを特徴とするシステム。
  103. 請求項１０２に記載のシステムであって、
    前記コントローラは、さらに、前記遠隔位置視聴者の前記複数のメンバから受信された前記フィードバックを時間的に集計するように構成されることを特徴とするシステム。
  104. 仮想視聴者を作成するためのシステムであって、
    パフォーマンスエリアからのデジタルフィードを視聴者に提供し、前記視聴者からのフィードバックを受信するように構成された通信インタフェースと、
    受信された前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアに出力を提供するように構成されたコントローラと、
    を備えることを特徴とするシステム。
  105. 請求項１０４に記載のシステムであって、
    前記視聴者は、遠隔位置視聴者と、前記パフォーマンスエリアの現場に位置する視聴者と、を含むことを特徴とするシステム。
  106. 請求項１０５に記載のシステムであって、
    受信された前記フィードバックは、前記遠隔位置視聴者からのフィードバック、及び前記現場に位置する視聴者からのフィードバックの両方を含むことを特徴とするシステム。
  107. 請求項１０６に記載のシステムであって、
    前記コントローラは、受信された前記フィードバックからの遅延の少ないフィードバックに基づいて決定された時間に、前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  108. 請求項１０４に記載のシステムであって、
    前記コントローラは、受信された前記フィードバックからの遅延の少ないフィードバックに基づいて、前記パフォーマンスエリアへの前記出力を決定するように構成されることを特徴とするシステム。
  109. 請求項１０４、１０７又は１０８に記載のシステムであって、
    前記コントローラは、視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、及びイベントの見込みのうち、少なくとも１つに基づいて、前記パフォーマンスエリアへの前記出力を決定するように構成されることを特徴とするシステム。
  110. 仮想視聴者を作成するためのシステムであって、
    遠隔位置視聴者から、パフォーマンスエリアに関連するフィードバックを受信し、前記パフォーマンスエリアの現場に位置する視聴者からフィードバックを受信するように構成された通信インタフェースと、
    受信された前記フィードバックの少なくとも一部に対応して、前記パフォーマンスエリアに出力を提供するように構成されたコントローラと、
    を備えることを特徴とするシステム。
  111. 請求項１１０に記載のシステムであって、
    前記コントローラは、少なくとも１つの前記遠隔位置視聴者から受信された前記フィードバックと、前記現場に位置する視聴者から受信された前記フィードバックと、の間の遅延の少ないフィードバックに基づいて決定された時間に、前記パフォーマンスエリアに前記出力を提供するように構成されることを特徴とするシステム。
  112. 請求項１１０又は１１１に記載のシステムであって、
    前記コントローラは、視聴者のメンバの数、過去のフィードバック、イベントの種類、イベントの重大さ、イベントの現在のスコア、イベントの完了率、及びイベントの見込みのうち、少なくとも１つに基づいて、前記パフォーマンスエリアへの前記出力を決定するように構成されることを特徴とするシステム。
JP2020540443A 2018-01-19 2019-01-17 仮想インタラクティブ視聴者インタフェース Active JP7329522B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862619353P 2018-01-19 2018-01-19
US201862619404P 2018-01-19 2018-01-19
US62/619,404 2018-01-19
US62/619,353 2018-01-19
US201862671578P 2018-05-15 2018-05-15
US62/671,578 2018-05-15
PCT/US2019/013949 WO2019143780A1 (en) 2018-01-19 2019-01-17 Virtual interactive audience interface

Publications (2)

Publication Number Publication Date
JP2021511741A true JP2021511741A (ja) 2021-05-06
JP7329522B2 JP7329522B2 (ja) 2023-08-18

Family

ID=65279752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540443A Active JP7329522B2 (ja) 2018-01-19 2019-01-17 仮想インタラクティブ視聴者インタフェース

Country Status (12)

Country Link
US (1) US11218783B2 (ja)
EP (1) EP3741058A1 (ja)
JP (1) JP7329522B2 (ja)
KR (1) KR102426652B1 (ja)
CN (1) CN112020836A (ja)
AU (1) AU2019209835A1 (ja)
BR (1) BR112020014579A2 (ja)
CA (1) CA3088999A1 (ja)
MX (1) MX2020007674A (ja)
SG (1) SG11202006693SA (ja)
TW (1) TW201936241A (ja)
WO (2) WO2019143780A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021095573A1 (ja) * 2019-11-15 2021-05-20
US11244166B2 (en) * 2019-11-15 2022-02-08 International Business Machines Corporation Intelligent performance rating
US11900412B2 (en) * 2020-03-25 2024-02-13 Applied Minds, Llc Audience participation application, system, and method of use
US11458409B2 (en) * 2020-05-27 2022-10-04 Nvidia Corporation Automatic classification and reporting of inappropriate language in online applications
US11070849B2 (en) * 2020-08-17 2021-07-20 Zoltan Bathory Event production and distribution networks, systems, apparatuses, and methods related thereto
US11341689B1 (en) 2020-11-05 2022-05-24 International Business Machines Corporation Dynamic virtual audience generation
US20220171960A1 (en) * 2020-11-30 2022-06-02 Sony Interactive Entertainment Inc. Reaction track for different spectator groups within an audience
JP2023552931A (ja) * 2020-12-14 2023-12-20 船井電機株式会社 複数ユーザのリアルタイムイマ－ジョン
US20220201370A1 (en) * 2020-12-18 2022-06-23 Sony Group Corporation Simulating audience reactions for performers on camera
BE1029154B1 (fr) 2021-03-01 2022-09-27 Selfsun Dispositif et procédé pour une interaction entre un public et des acteurs
JP2022134182A (ja) * 2021-03-03 2022-09-15 ヤマハ株式会社 映像出力方法、映像出力装置および映像出力システム
WO2023025654A1 (en) * 2021-08-24 2023-03-02 Signify Holding B.V. Systems and methods for controlling lighting based on written content on smart coated surfaces
CN114268827B (zh) * 2021-12-22 2023-08-15 咪咕互动娱乐有限公司 观赛互动方法、装置、设备以及计算机可读存储介质
TWI797014B (zh) * 2022-05-16 2023-03-21 國立虎尾科技大學 桌球姿勢分類方法及桌球互動系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021466A (ja) * 2011-07-08 2013-01-31 Dowango:Kk 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
JP2013037670A (ja) * 2011-07-08 2013-02-21 Dowango:Kk ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
JP2017021799A (ja) * 2015-07-07 2017-01-26 学校法人幾徳学園 情報提示システム、情報提示装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4882676A (en) * 1988-09-09 1989-11-21 Kop Andrew R Van De Method and apparatus for rating billiard shots and displaying optimal paths
US5026053A (en) * 1989-12-28 1991-06-25 Entertainment International, Inc. 1987 Billiard table multiple electronics game device and method
AU2003201032A1 (en) * 2002-01-07 2003-07-24 Stephen James Crampton Method and apparatus for an avatar user interface system
WO2007014265A2 (en) * 2005-07-25 2007-02-01 Newdea, Inc. An automated community to exchange philanthropy information
US9049033B2 (en) 2011-03-28 2015-06-02 Net Power And Light, Inc. Information mixer and system control for attention management
WO2012170696A1 (en) * 2011-06-07 2012-12-13 Nike International Ltd. Virtual performance system
US9030522B2 (en) * 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
EP2582145A3 (en) * 2011-10-13 2014-07-30 Gface GmbH Interactive remote participation in live entertainment
CA3164530C (en) * 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
US8806518B2 (en) * 2012-06-27 2014-08-12 Intel Corporation Performance analysis for combining remote audience responses
US9795865B2 (en) * 2012-09-04 2017-10-24 Toccata Gaming International, Llc Automated remote play cue sport system
US20140250196A1 (en) * 2013-03-01 2014-09-04 Raymond Anthony Joao Apparatus and method for providing and/or for processing information regarding, relating to, or involving, defamatory, derogatory, harrassing, bullying, or other negative or offensive, comments, statements, or postings
US20140358520A1 (en) * 2013-05-31 2014-12-04 Thomson Licensing Real-time online audio filtering
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템
US9827483B2 (en) * 2014-08-01 2017-11-28 Smart Billiard Lighting LLC Billiard table lighting and game play monitor
KR101809617B1 (ko) * 2016-05-20 2017-12-15 박건웅 마이콘서트시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021466A (ja) * 2011-07-08 2013-01-31 Dowango:Kk 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
JP2013037670A (ja) * 2011-07-08 2013-02-21 Dowango:Kk ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
JP2017021799A (ja) * 2015-07-07 2017-01-26 学校法人幾徳学園 情報提示システム、情報提示装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赤澤 慶一 外５名: "音楽ライブにおける遠隔地ファンとエンタテイナーのアニメーションを用いたコミュニケーション支援", エンタテインメントコンピューティングシンポジウム２０１３論文集, JPN6023010993, 27 September 2013 (2013-09-27), pages 234 - 237, ISSN: 0005015045 *

Also Published As

Publication number Publication date
EP3741058A1 (en) 2020-11-25
KR102426652B1 (ko) 2022-07-28
WO2019143766A1 (en) 2019-07-25
KR20200110693A (ko) 2020-09-24
MX2020007674A (es) 2020-09-14
AU2019209835A1 (en) 2020-08-06
JP7329522B2 (ja) 2023-08-18
WO2019143780A1 (en) 2019-07-25
TW201936241A (zh) 2019-09-16
SG11202006693SA (en) 2020-08-28
CA3088999A1 (en) 2019-07-25
CN112020836A (zh) 2020-12-01
US20200359108A1 (en) 2020-11-12
US11218783B2 (en) 2022-01-04
BR112020014579A2 (pt) 2020-12-01

Similar Documents

Publication Publication Date Title
JP7329522B2 (ja) 仮想インタラクティブ視聴者インタフェース
JP7239596B2 (ja) ｅスポーツイベントでのスケーリングされたＶＲエンゲージメント及びビュー
JP2017504457A (ja) ユーザ選択可能アイコンを含むポータルサイトを大型ディスプレイシステム上に表示する方法およびシステム
WO2020218625A1 (ja) プログラム、方法、および情報端末装置
JP2021010181A (ja) 視聴プログラム、視聴方法、および情報端末装置
JP2020167606A (ja) 視聴プログラム、視聴方法、および情報端末装置
JP7479219B2 (ja) プログラム、方法、および端末装置
KR20230159481A (ko) 프로그램, 방법, 및 정보 처리 장치
JP7240355B2 (ja) 情報処理プログラム及び情報処理方法
JP6818091B2 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
JP6829364B2 (ja) ゲームシステム、及びそれに用いるコンピュータプログラム
JP7366821B2 (ja) 映像表示プログラム
WO2020262332A1 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
WO2022137519A1 (ja) 視聴方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置
WO2021039346A1 (ja) プログラム、方法、および情報処理端末
WO2020255996A1 (ja) プログラム、方法、および端末装置
JP7219689B2 (ja) プログラム、方法、および視聴端末
JP2021053406A (ja) プログラム、方法、および端末装置
JP2021153900A (ja) ゲームプログラム、ゲーム方法、および端末装置
WO2024101001A1 (en) Information processing system, information processing method, and program for communication points regarding events
WO2022137377A1 (ja) 情報処理方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置
JP7258923B2 (ja) プログラム
JP7386927B2 (ja) プログラム、方法、および情報処理装置
JP6903701B2 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R150 Certificate of patent or registration of utility model

Ref document number: 7329522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150