JP2021531499A - ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法 - Google Patents

ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法 Download PDF

Info

Publication number
JP2021531499A
JP2021531499A JP2021501308A JP2021501308A JP2021531499A JP 2021531499 A JP2021531499 A JP 2021531499A JP 2021501308 A JP2021501308 A JP 2021501308A JP 2021501308 A JP2021501308 A JP 2021501308A JP 2021531499 A JP2021531499 A JP 2021531499A
Authority
JP
Japan
Prior art keywords
display
pixel pattern
video
video stream
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021501308A
Other languages
English (en)
Other versions
JP7459044B2 (ja
JPWO2020018717A5 (ja
Inventor
パトリック ジェイ ゲルゲン
ダニエル マリー ホルスタイン
クリストファー ハーバート
ウェイ チェン イエ
トラヴィス ジョン コサイル
Original Assignee
ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー filed Critical ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Publication of JP2021531499A publication Critical patent/JP2021531499A/ja
Publication of JPWO2020018717A5 publication Critical patent/JPWO2020018717A5/ja
Priority to JP2024015385A priority Critical patent/JP2024062991A/ja
Application granted granted Critical
Publication of JP7459044B2 publication Critical patent/JP7459044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/27Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/73Authorising game programs or game devices, e.g. checking authenticity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/16Amusement arrangements creating illusions of travel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0042Fragile watermarking, e.g. so as to detect tampering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

ビデオストリーム管理システムは、ビデオをライブレンダリングするビデオ制御装置を含む。さらに、ビデオストリーム管理システムは、ビデオ制御装置に通信可能に接続され、ライブレンダリングビデオを含む主ビデオフィードを表示するディスプレイを含む。ビデオ制御装置、ディスプレイ、又はその組み合わせは、画素パターンを主ビデオフィードに埋め込む。さらに、ビデオフィード管理システムは、ディスプレイ上の1又は2以上の表示画像を監視して主ビデオフィード内のエラーを特定する。【選択図】図2

Description

(関連出願)
本出願は、2018年7月18日出願の米国特許仮出願第62/699,739号「ライブストリーム又はライブレンダリングコンテンツのBロール状態を特定するシステム及び方法」の優先権を主張し、その開示内容全体は、全ての目的のために引用により本明細書に組み込まれる。
(技術分野)
本開示は、一般に遊園地の分野に関する。具体的には、本開示の実施形態は、乗物又はアトラクション用のビデオストリームを管理することを含む、遊園地運営を管理する手法に関する。
遊園地環境などの特定の環境において、特定の乗物及び他の設備は、ますます相互作用的になってきている。とりわけ、これは乗物及び設備の特定の態様が必ずしも台本どおりではない場合があることを意味する。実際には、このような乗物及び来園者始動式設備がライブレンダリング又はゲームセントリックなどのより動的になるにつれて、これはアトラクション上に表示されたビデオなどのアトラクションの構成要素が意図されたように表示されない場合に益々識別が難しくなる。想定外の表示の問題を監視するように及び/又は解決するようにオペレータに命ずることは、結果的に、不正確かつ非能率な遊園地運営につながる場合がある。加えて、この依存は、来園者体験が設備誤動作又は故障が原因で影響を受ける状況につながる可能性がある。
従って、表示媒体に関する問題を特定して、このような問題に対応するために是正処置を取ることができる手法及びシステムに対する必要性が存在する。
以下、当初の特許請求の範囲の主題と同一範囲の特定の実施形態を要約する。これらの実施形態は、特許請求する主題の範囲を制限するものではなく、むしろ考えられる主題の形態の概要を示すにすぎない。実際には、本主題は、以下に示す実施形態と同様の又は異なる様々な形態を含むことができる。
1つの実施形態において、ビデオストリーム管理システムは、ビデオをライブレンダリングするビデオ制御装置を含む。ビデオストリーム管理システムはまた、ビデオ制御装置に通信可能に接続され、ライブレンダリングビデオを含む主ビデオフィードを表示するディスプレイを含む。ビデオ制御装置、ディスプレイ、又はその組み合わせは、画素パターンを主ビデオフィードに埋め込む。ビデオフィード管理システムは、ディスプレイ上の1又は2以上の表示画像を監視して主ビデオフィードのエラーを特定する。
1つの実施形態において、ビデオフィードを管理する方法は、動的画素パターンをライブビデオフィードのフレームに埋め込むステップを含む。動的画素パターンは、第1のフレームに関連した第1の画素パターン及び第2のフレームに関連した第2の画素パターンを含み、第1の画素パターンは、第2の画素パターンとは異なる。本方法はまた、動的画素パターンを有するライブビデオフィードをディスプレイを使用して表示するステップを含む。加えて、本方法は、ディスプレイ上の表示画像を監視するステップを含む。さらに、本方法は、監視された表示画像が埋め込み動的画素パターンに適合しない表示画素パターンを含むと判定されることに応答して、ライブビデオフィードのエラーを特定するステップを含む。さらに、本方法は、ライブビデオフィードのエラーの存在を特定することに応答して、ライブビデオフィードの表示から代替的ビデオフィードの表示に切り替えるステップを含む。
1つの実施形態において、ビデオストリーム管理システムは、来園者存在を検出するように構成された1又は2以上のセンサーと、ビデオストリーム制御装置と、ビデオストリーム制御装置に通信可能に接続されたディスプレイとを含む。ビデオストリーム制御装置は、検出された来園者存在に基づいてビデオをライブレンダリングして主ビデオストリームを生成し、画素パターンを主ビデオストリームに埋め込んでビデオストリームを生成する。ディスプレイは、ビデオストリームを受け取り、ビデオストリームを表示して表示画像を生成し、ディスプレイ上の表示画像を監視してエラーを表示画像及び画素パターンの比較に基づいて特定し、エラーの特定に基づいてエラー信号を生成する。
本開示の上記及び他の特徴、態様、及び利点は、以下の詳細な説明を、図面を通して同じ符号が同じ部品を表す添付図面を参照して読む場合により深く理解されよう。
本開示の実施形態による、ビデオストリーム監視システムを利用するアトラクションを含む遊園地乗物の概略図である。 本開示の実施形態による、図1のアトラクションにおいて使用されるビデオストリーム監視システムのブロック図である。 本開示の実施形態による、ビデオストリーム監視システムを使用して監視を行って検出された想定外の表示に基づいて代替的ビデオストリームをディスプレイに送るための方法のプロセスフロー図である。 本開示の実施形態による、埋め込み動的画素パターンを有する相互作用的ビデオストリーム又はライブレンダリングビデオストリームによって提供された画像データのフレームの概略図である。 本開示の実施形態による、図4のフレーム上の想定外の表示の例の概略図である。 本開示の実施形態による、図4のフレーム上の想定外の表示の別の例の概略図である。 本開示の実施形態による、代替的ビデオストリームによって提供された画像データのフレームの概略図である。
以下、本開示の1又は2以上の特定の実施形態について説明する。これらの実施形態を簡潔に説明するために、本明細書では実際の実装の特徴を全て説明していない場合もある。あらゆる工学又は設計プロジェクトにおいて見られるようなあらゆるこのような現実の実装の開発においては、実装によって異なり得るシステム関連及びビジネス関連の制約の順守などの開発者の個別の目的を達成するために、数多くの実装固有の決定を行わなければならないと理解されたい。さらに、このような開発努力は複雑かつ時間の掛かるものとなり得るが、本開示の恩恵を受ける当業者にとっては設計、製作及び製造という日常的な取り組みであると理解されたい。
本開示の様々な実施形態の要素を導入するとき、冠詞「a」「an」、「the」は、要素のうちの1又は2以上があることを意味することを目的としている。用語「備える」、「含む」、及び「有する」は、包括的であり、記載された要素以外の別の要素があり得ることを意味することが意図されている。さらに、本開示の「1つの実施形態」又は「実施形態」に言及したとしても、記載された特徴部を同様に包含する追加的な実施形態の存在を除外すると解釈されることを目的していないことを理解されたい。
遊園地は、遊園地乗物、実演ショー、及びゲームなどの様々な娯楽を特徴としている。様々な種類の娯楽は、遊園地での来園者の体験を高める相互作用的又はライブレンダリング特徴部を含むことができる。相互作用的特徴部は、来園者の存在に基づいて作動される乗物又は設備を含むことができる。例えば、アトラクション環境の一部として使用されるディスプレイは、相互作用的とすることができ、表示された要素又はオブジェクトは、タイマーで及び/又は事前に録画された再生で動作するのではなく、検出された来園者の存在に基づいて変化するように作動する又は動作することができるようになっている。変化としては、照明、模様、アニメーションなどを含む、表示されたビデオ環境の変更を挙げることができる。しかしながら、それでも、表示の変化は、不変と知覚することができる一部のオブジェクト又は特徴部を維持することができる。従って、一部の特徴部(例えば、背景)は不変のままとすることができるので、ビデオストリームの相互作用的態様がもはや相互作用的ではないときを観察するのが難しい場合がある。付加的に又は代替的に、ビデオストリーム表示は、ライブレンダリングとすることができるので、ビデオ表示の変化は「リアルタイム」である。再生が早いのでリアルタイムであると知覚される場合がある。ライブレンダリング再生がもはやライブレンダリングではないとき(例えば、停止表示の場合)を観測するのが難しい場合もある。
外部要因は、相互作用的及び/又はライブレンダリングビデオストリームに想定外の様式で作用する場合があるので、ディスプレイ上の相互作用的特徴部がもはや来園者と相互作用しない又はライブレンダリング画像がもはやリアルタイムで変化しない。従って、表示されたビデオストリームは、もはや乗物上の来園者の途切れのない視聴を可能にしない場合がある。通常、オペレータは、想定外の表示挙動を監視して解決する仕事を課される場合がある。しかしながら、この挙動を解決するために1人のアトラクションオペレータに依存すると、来園者の処理人数及び乗物の送り出しなどのオペレータの他の重要な業務を妨げる可能性がある。さらに、このように監視するには、複数のディスプレイが存在する場合には複数のオペレータを必要とする可能性がある。監視要員による問題の解決、解決データの提示、ビデオストリームデータの検討などの作業は、結果的に、乗物送り出しの不当な遅延及び可能性のある乗物停止時間につながる場合がある。加えて、相互作用的又はライブビデオストリームにおいて想定外の挙動を特定することは判断が難しい場合があるので、様々なオペレータによるビデオストリームの一貫性のない不正確な監視となる可能性がある。従って、手動のビデオディスプレイ監視は難しく非効率的となる可能性があり、来園者の視聴及び相互作用の不良、乗物の送り出しの間の不必要な待ち時間につながり、結果として、遊園地の長い行列及び来園者の楽しみの減少が発生する可能性がある。
例えば、乗物上に設けられる又はアトラクション環境の一部として設けられるディスプレイの監視を容易にするために本発明の手法を使用する、本明細書で示す実施例は、一般的に遊園地及び乗物アトラクションの関連で提示することができるが、本開示における手法は、他の非遊園地関連状態及び/又は状況に適用することができることに留意されたい。従って、本発明の実施例は、検討のための有用な状況を提供するために乗物上のディスプレイ監視システムの現実世界の実施例を単に反映していると理解する必要があり、さらに、本手法の適用可能性を制限すると見なされるものではない。代わりに、本手法は、ビデオが表示される他の状況に適用可能であることを理解されたい。
本発明を考慮して、図1は、ディスプレイ102上のビデオストリームを含むことができる遊園地乗物100の概略図である。例えば、図示の実施形態において、遊園地乗物100は、乗物経路104に沿って1又は2以上のディスプレイ102を含むことができる。乗物100には来園者行列106を介してアクセスすることができ、乗物は、表示条件を含む様々な条件が満たされていると準備完了とみなすことができる。表示条件は、1又は2以上のディスプレイ102上の途切れのない視聴体験を可能にする条件とすることができる。図示するように、乗物オペレータ110は、表示条件が満たされていると判断すると、来園者に乗物カート112(例えば、乗物車両)に入るよう報知するように乗物を操作することができる。
表示条件は、ビデオストリームの相互作用的及び/又はライブレンダリング特徴部が適切に機能している場合に満たすことができ、環境、要素、又はアニメーションを含むビデオストリーム特徴部は、リアルタイムに知覚される、及び/又は、検出された来園者の存在又はジェスチャーに応答して引き起こされる。来園者の存在の検出は、様々な感知機構を含むことができる。
1つの実施形態において、図示するように、乗物経路104に沿うことを含む乗物100に沿って設置することができるカメラ114又は一連のカメラ114は、来園者の存在及び/又はジェスチャーを検出することができる。付加的に又は代替的に、カメラ114は、ディスプレイ102に一体化することができる。カメラ114は、限定されるものではないが、顔認識、骨格追跡、体熱認識などを含む様々な検出機構を使用することができる。また、カメラ114は、来園者の動き(例えば、ジェスチャー)を取り込むことができ、これらの取り込まれた動きを使用して、ディスプレイ102上に示された要素又はアニメーションとのライブレンダリング又は相互作用をシミュレートすることもできる。ディスプレイ102上に示されたビデオストリームは、来園者のライブビデオ(カメラ114によって取り込まれた)又は来園者の描写を含むライブレンダリングビデオとすることもできる。
別の実施形態において、来園者の存在検出は、乗物カート112又は来園者ウェアラブルデバイスへ組み込まれた無線周波数識別(RFID)タグ118、又は乗物軌道116に沿って配置された重量センサー120などの1又は2以上のセンサーによって行うことができる。これらのセンサーは、どこで来園者の存在が見込まれるかに基づいて(例えば、乗物カート112内の座席)、所定の領域に設置又は配置することができる。RFIDタグ118は、RFIDタグ118の存在を示すために、乗物軌道116又は乗物カート112(例えば、乗物カート112の内部、側面、又は通路)などの、乗物100上に組み込まれた電子読取装置119と通信することができる。従って、乗物経路104(例えば、乗物軌道116又は乗物カート112)上に設置された電子読取装置119は、乗物カート112が電子読取装置119を通過する際に乗物カート112上のRFIDタグ118をスキャンすることができる。付加的に又は代替的に、重量センサー120は、乗物軌道116上に取り付けることができ、予め定められた重量に基づいて、乗物軌道116上の乗物カート112の存在を示すために使用することができる。来園者の存在を検出するRFIDタグ118及び/又は重量センサー120は、ディスプレイ102上にライブレンダリング又は相互作用的ビデオをもたらすことができる。加えて、センサーは、来園者存在の指示をカメラ114にもたらしてカメラの電源をオンにすること、又は来園者を検出することができる乗物領域範囲を狭めることができる。従って、カメラ114は、単独で使用すること、又は来園者を検出して追跡するために他の検出機構(例えば、RFIDタグ118又は重量センサー120)と併せて使用することができる。
来園者存在が特定及び追跡されると、ディスプレイ102は、ディスプレイ102上のオブジェクトが外見的に来園者と相互作用するか又は来園者に反応することができるように変わることができる。アニメーション又はライブストリームレンダリングは、来園者の動き及び来園者の位置に従って、ディスプレイ102に対して作用を及ぼすことができる。図示の実施形態において、道化師がディスプレイ102上に描写される。描写された道化師は、来園者の検出及び/又は来園者の追跡された動きに応答して反応することができる(例えば、曲芸をする)。従って、道化師のビデオ表示は、来園者の動きに基づいたライブストリームビデオとすること及び/又は相互作用的とすることができる。上述したように、相互作用的及び/又はライブストリームビデオ(例えば、道化師ビデオ)は、リアルタイムで相互作用するのを又は表示するのを中断する場合があり、表示の想定外の変化を検出するために来園者又はオペレータ110に依存することができる。本開示の実施形態によれば、ビデオストリーム管理システム150は、自動的に想定外の表示を検出して、途切れのない視聴体験を可能にするために代替的ビデオソースに切り替えるために使用することができる。
以上を考慮して、本開示の実施形態は、ディスプレイ102に送られたビデオストリーム及び/又はディスプレイ102自体が期待された画像をもはや表示していない場合を判定することができる。すなわち、一部の実施形態において、ビデオストリーム管理システム150は、埋め込まれた画素パターンを有するビデオストリームを使用して、想定外の表示を検出し、次に、代替的ビデオストリームに切り替えて最適な来園者体験のために途切れのない視聴を提示することができる。
ビデオストリーム管理システム150の構成及び機能は、図2を参照してより良く理解することができ、図2は、本明細書で提示する手法を使用してビデオストリームを監視及び切り替えるビデオストリーム管理システム150のブロック図を示す。ビデオストリーム管理システム150は、少なくとも1つのカメラ114、ビデオストリーム制御装置152、監視サブシステム154、及びディスプレイ102を含み、ディスプレイ102は、1又は複数のディスプレイ102を表すことができる。以下の説明の一部では、カメラ114、ビデオストリーム制御装置152、監視サブシステム154、及びディスプレイ102が、電線/ケーブルを介して直接接続されるか又は間接的に接続されるビデオストリーム管理システム150の別々の構成要素として説明されるが(特定の実施形態を示す)、方法及びシステムは、全ての構成要素が1つのディスプレイ102に一体化されるなどの、構成要素の何らの適切な構成を使用して実行及び実施することができることに留意されたい。例えば、監視サブシステム154は、ビデオストリーム制御装置152内に含めることもでき、ビデオストリーム制御装置152は、ディスプレイ102に一体化することができる。さらに、ディスプレイ102は、カメラ114を含むことができる。従って、1つの実施形態において、全ての機能(例えば、検出、監視、切り替えなど)は、単一の一体型ディスプレイ102によってもたらすことができる。ディスプレイ102は、複数の画素を含むことができる。
例示するように、1又は2以上のカメラ114は、ビデオストリーム制御装置152に接続することができる。カメラ114は、来園者を追跡する(例えば、来園者の存在を検出する及び/又は来園者の動きを取り込む)ために使用することができ、来園者の動きは、相互作用的又はライブレンダリングビデオストリームに使用することができるようになっている。来園者の存在又は動きが検出及び/又は追跡されると、カメラ114は、検出信号及び/又は追跡信号をビデオストリーム制御装置152に送ることができる。ビデオストリーム制御装置152は、ビデオストリーム156をディスプレイ102に送ることを可能にするためにカメラ信号を使用することができる。ビデオストリーム制御装置152は、プロセッサ160によって実行可能な命令を記憶するメモリー158を含むことができる。
プロセッサ160は、1又は2以上の処理装置を含むことができ、メモリー158は、1又は2以上の有形の非一時的な機械可読媒体を含むことができる。例示的に、このような機械可読媒体としては、RAM、ROM、EPROM、EEPROM、又は、光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、又は、所望のプログラムコードを機械実行可能な命令又はデータ構造の形で保持又は記憶するために使用することができ、プロセッサ160によって又は他のプロセッサ対応のデバイスによってアクセスすることができる何らかの他の媒体を挙げることができる。プロセッサ160は、メモリー158に記憶された機械実行可能な命令アルゴリズムを実行する処理コア162を含むことができる。
記憶されたアルゴリズムとしては、埋め込まれた画素パターン164、相互作用的ビデオストリーム166、ライブレンダリングビデオストリーム169、及び/又は予め録画されたビデオストリームなどの代替的なビデオソース174を含む、ビデオデータストリームをディスプレイ102に送るアルゴリズムを挙げることができる。また、プロセッサ160は、プロセッサ160に関連したディスプレイ102及びカメラ114などの乗物100上のハードウェア構成要素と相互作用するために処理コア162上で実行されるソフトウェアアプリケーション用のプロセッサ側インターフェース170を含むこともできる。
画素パターン164の埋め込みは、ディスプレイ102に供給されるビデオストリーム156を生成するために主ビデオストリーム168に関連したデータの変更を含むことができる。主ビデオストリーム168は、本明細書で提示するように、ライブレンダリングビデオストリーム169又は相互作用的ビデオストリーム166などの、相互作用的ビデオに関連したビデオストリームを指すことができる。主ビデオストリーム168は、1又は2以上の画像(例えば、主ビデオストリームの個々のフレーム)の画像データを変更することによって埋め込み画素パターン164が埋め込まれており、変更された1又は2以上の画像は、表示されると埋め込み画素パターン164を表示するようになっている。1つの実施形態において、1又は2以上の画像の画像データは、埋め込み画素パターン164に関連した各画素に関して色を符号化する情報を含む。従って、埋め込み画素パターン164で変更される場合に、ビデオストリーム156の1又は2以上の画像は、主ビデオストリーム168に関連して1又は2以上の画素に関して異なる色を表示する。主ビデオストリーム内の画像は、埋め込み画素パターン164に関連した色を表示するために既に符号化されている特定の画素を含み得ることを理解されたい。すなわち、1又は複数のソース画像は、埋め込み画素パターン164の黒色画素に対応する特定の画素位置で既に黒とすることができる。しかしながら、埋め込み画素パターン164は、十分に複雑であり、様々とすることができるので、ソース画像は、変更なしで統計学的に完全な埋め込み画素パターン164を提示する可能性が低い。さらに、埋め込み画素パターン164は、動的であり、フレーム単位で変わる場合があり、これによって、元のソース画像の埋め込み画素パターン164との整合が更に低減される。埋め込み画素パターン164の動的特徴は、連続フレーム全体にわたる異なる画素位置への埋め込み画素パターン164の変換、後続フレーム内の埋め込み画素パターン164に関連した全ての画素の変更、及び/又は、埋め込み画素パターン164内の画素の異なる配列を含むことができる。
ビデオストリーム制御装置152は、プロセッサ160に接続されたスイッチ172又は一連のスイッチを含むこともできる。プロセッサ160で実行された命令に基づいて、スイッチ172を使用して、ディスプレイ102に送られたデータストリームの切り替えを実施することができる。図示するように、一部の実施形態において、プロセッサ160は、ライブレンダリングビデオストリーム169又は相互作用的ビデオストリーム166などの主ビデオストリーム168を埋め込み画素パターン164と一緒に、ビデオストリーム156としてケーブル(例えば、高解像度マルチメディアインタフェース(HDMI)ケーブル)によってディスプレイ102に送ることができる。埋め込み画素パターン164は、主ビデオストリーム168に埋め込むことができ、想定外の表示挙動を検出するために使用することができる。
ビデオストリーム156をディスプレイ102に提供することに加えて、ビデオストリーム管理システム150は、ビデオストリームを切り替えることによって想定外の表示挙動を自動的に解決するように動作することもできる。例えば、ビデオストリーム管理システム150は、表示されたビデオストリーム156を代替的ビデオソース174に切り替えることができ、代替的ビデオソース174は、同時にディスプレイ102にストリーミングすることができる。ビデオストリーム制御装置152のスイッチ172及び/又はディスプレイ102のディスプレイプロセッサ165は、乗物100のためにどのストリームをディスプレイ102上に表示するかを制御することができる。図示の実施形態において、ディスプレイ102構成は、ビデオストリーム156にデフォルト設定することができ、ビデオストリーム制御装置152によって送られかつディスプレイプロセッサ165によって処理された付加的な命令に基づいて代替的ビデオソース174に切り替わることができる。付加的な命令は、想定外の表示挙動が検出される際に監視サブシステム154による表示エラー検出に基づいて送られて実行されることができる。
特に、監視サブシステム154は、エラー検出論理回路176、監視サブシステムメモリー180、及び監視サブシステムプロセッサ182を含むことができる。アルゴリズムを使用して、ディスプレイ102上のエラーを、例えば、エラー閾値及びパターン識別を使用して特定することができる。アルゴリズムは、監視サブシステムメモリー180に記憶して、監視サブシステムプロセッサ182で実行することができる。
エラー検出論理回路176の画素コンパレータ178は、以下で詳細に説明するように、想定外の表示を判定することができる。画素コンパレータ178を使用して、ディスプレイ102上に表示された表示ビデオストリーム156の画像画素を、監視サブシステムメモリー180に記憶された1又は2以上の画素パターン及び/又は埋め込み画素パターン164によって送られた画素パターンと比較することができる。監視サブシステム154は、画素又は画素パターンに関する受け取った表示データ184をビデオストリーム制御装置152に伝えることができる。エラー検出論理回路176は、エラーを特定するとエラー信号186を生成することができる。エラー検出論理回路176が想定外の表示挙動を検出すると、監視サブシステム154は、エラー信号186をビデオストリーム制御装置152に送ることもできる。想定外の表示挙動は、監視サブシステムメモリー180に記憶された期待画素パターンに対するディスプレイ102上に表示された画素パターンに基づいて判定することができる。一部の実施形態において、埋め込み画素パターン164に関する情報は、認可ユーザーによってのみアクセス可能とすることができる。このような実施形態において、埋め込み画素パターン164は、暗号化すること又はキーでのみアクセス可能とすることができる。認可ユーザー用のサブシステムメモリー180に記憶されたキーを使用して、同様に監視サブシステムメモリー180に記憶された埋め込み画素パターン164をプレーンテキストに復号すること又は照合することができ、これはエラー(例えば、想定外の表示挙動)を特定するために使用することができる。キーは、メタデータ、ネットワーク接続、及び/又は記憶場所(例えば、サブシステムメモリー180)に基づいて生成することができる。例えば、ビデオストリーム制御装置152が、無許可又は未承認ネットワークなどの特定のネットワークに接続されている場合、ビデオストリーム制御装置152は、対のキー(例えば、ネットワーク接続毎の固有秘密キー)を入力するか又はロードしないと埋め込み画素パターン164にアクセスすることができない。このため、ビデオストリーム制御装置152は、キーを使用しなければ、現在表示されている画素を期待される埋め込み画素パターン164と比較して想定外の表示挙動を特定できない可能性がある。想定外の表示挙動の例としては、限定されるものではないが、ビデオストリーム156によって送られたビデオフレームの少なくとも一部をブロックするダイアログボックス、フリーズしたビデオフレーム、ビデオストリーム156表示の失敗(例えば、ブラックスクリーン)、及び/又は、ディスプレイ102上の特定の画素位置での誤った画素点灯(例えば、画素色又は輝度)を挙げることができる。付加的に又は代替的に、ビデオストリーム制御装置152上のエラー検出アルゴリズムを使用して、受け取った表示データ184に基づいてエラー又は想定外の表示挙動を判定することができる。
実施形態において、コンパレータ178は、ビデオストリーム156内のフレーム毎のこのフレームに関する表示画像と期待される画素パターンとの間の画素不一致をカウントするように動作する。閾値は、画素不一致の閾値数に設定することができ、それにより、閾値よりも小さい不一致の数という判定は、正しいビデオストリーム156を示し、閾値よりも大きい画素不一致の数は、エラーを示す。例えば、誤動作画素に対応するために、1−2画素の不一致という特定の許容公差があり得る。実施形態において、コンパレータ178は、エラーの表示、従って、代替的ビデオソース174の切り替えを引き起こす前に、少なくとも一定数のフレーム中に存在することになる閾値を上回る画素不一致を必要とするように設定することができる。ビデオストリーム156の個々のフレーム又はフレームのサブセットのみは、埋め込み画素パターン164(例えば、期待される画素パターン)を含むことができる。コンパレータは、表示画像を期待される埋め込み画素パターン164と関連付けることができる。すなわち、画素パターンがビデオストリームのフレーム間で変わる動的埋め込み画素パターン164に関して、ビデオストリームの表示画像の期待される埋め込み画素パターン164は、特定のフレーム識別子に関連付けることができ、これはビデオストリーム156のメタデータの一部とすることができる。ディスプレイプロセッサ165は、表示中、コンパレータ178がその特定のフレームの期待される画素パターンを使用することができるように、フレーム識別子を有するメタデータをエラー検出論理回路176に提供することができる。
エラーの検出は、ビデオストリーム156を受け取るデバイス(例えば、ディスプレイ102)で生じることができる。ビデオストリーム156に対する何らかのアクティブレンダリング又は相互作用的な変更は、ビデオストリーム制御装置152で生じることができる。しかしながら、他の実施形態において、ビデオストリーム制御装置152及びディスプレイ102は、単一デバイスとして設けられている。実施形態において、ビデオストリーム156は、一連の連続画像フレームから形成され、それにより、各画像フレームは、ディスプレイ102の複数の画素を使用して表示される。画素パターン(例えば、埋め込み画素パターン164)は、ディスプレイ102で画像を表示する際に使用された全画素のサブセットで形成すること又はこのサブセットのみを組み込むことができる。例えば、各フレーム又は画像の画素パターンは、ディスプレイ102上の有効な画素の10%、5%、2%、又は1%未満を含むことができる。このように、受け取りデバイスでのエラー検出論理回路176の画素コンパレータ178は、ディスプレイ102の有効な画素(例えば、期待される画素パターンに関連した画素のみ)のサブセットのみを評価することができ、その結果、ビデオストリーム156内のエラー検出の高速化及び効率化のために、複雑な全画像/ビデオ比較操作が回避される。
監視サブシステム154のエラー検出論理回路176の実施例を詳細に例示するために、図3には、想定外の表示を検出するための及び/又は想定外の表示への応答を生成するプロセス200が記述されている。概して、プロセス200は、主ビデオストリーム168を生成するステップ(処理ブロック202)と、画素パターン164を主ビデオストリーム168に埋め込むステップ(処理ブロック204)と、埋め込み画素パターン164を有する主ビデオストリーム168を含むビデオストリーム156をディスプレイ102に送るステップ(処理ブロック206)と、期待される画素パターンが表示されているか否かを特定するためにディスプレイ102上の表示画像を評価するステップ(処理ブロック208)と、表示画像が所定の閾値内の期待される画素パターンを含むか否かを評価するステップ(判断ブロック210)と、を含む。表示画像内で特定された画素パターンが閾値内である場合、ディスプレイ102は、埋め込み画素パターン164を有する主ビデオストリーム168をビデオストリーム156として表示し続け(処理ブロック212)、画素パターンが閾値内ではない場合、ディスプレイ102は、ビデオストリーム156を代替的ビデオソース174に切り替える(処理ブロック214)。
プロセス200は特定の順序の行為(act)を使用して記述されているが、記述されている行為は、例示した順序とは異なる順序で実行することができ、特定の記述されている行為は、スキップすること又は全く実行しなくても良いことを理解されたい。一般に、プロセス200のステップの少なくとも一部は、ビデオストリーム管理システム150によって少なくとも部分的に実施することができる。具体的には、これらのステップは、少なくとも部分的に、ビデオストリーム制御装置152のプロセッサ160によって又は監視サブシステムメモリー180などの有形の非一時的コンピュータ可読媒体に記憶された命令を実行する監視サブシステム154の監視サブシステムプロセッサ182によって実施することができる。代替的な又は追加的な実施形態において、プロセス200の少なくとも一部のステップは、何らかの他の適切な構成要素又は制御ロジックなどによって実施することができる。
従って、一部の実施形態において、ビデオストリーム制御装置152は、主ビデオストリーム168を生成することができる(処理ブロック202)。上述のように、主ビデオストリーム168は、相互作用的ビデオストリーム166、ライブレンダリングビデオストリーム169などの何らかのビデオデータストリーム、及び/又は、予め録画されたビデオビットストリームなどの代替的ビデオソース174を含むことができる。主ビデオストリーム168は、ユーザー又はオペレータ110によって予め決定することができる。使用されるビデオストリーム形式は、乗物100及び/又は対象にする来園者に基づくことができる。例えば、図1の乗物100の乗物形式は、道化師テーマを含むことができ、より若い来園者を対象とすることができ、従って、主ビデオストリーム168は、道化師が来園者のジェスチャーに反応することを可能にする相互作用的ビデオストリーム166を含むことができる。
一部の実施形態において、ビデオストリーム制御装置152は、ビデオストリーム156を生成するために主ビデオストリーム168を有する埋め込み画素パターン164として画素パターンを埋め込む(処理ブロック204)ことができる。埋め込み画素パターン164は、ディスプレイ102の画素又は画素のアレイに特定の色を発するか又は色を発しないようにさせることができるデータストリームとすることができる。一部の実施形態において、画素パターンは、ディスプレイ102の特定の画素での色が表示画像の各フレームで変わり得るように動的とすることができる。他の実施形態において、画素パターンは、静的とすることができ、フレーム間で不変のままとすることができる。
ビデオストリーム制御装置152は、主ビデオストリーム168に埋め込み画素パターン164を埋め込んだ後、データストリームを1つのビデオストリーム156としてディスプレイ102に送る(処理ブロック206)ことができる。画素パターンは、ビデオストリーム156内に(例えば、主ビデオストリーム168の1又は2以上の個々のフレーム内に)埋め込まれているので、画素パターンは人間の目には見えない又は検出できないように設計することができる。このように、画素パターンは、ビデオストリーム管理システム150によってのみ検出可能であり、来園者が乗物100上で途切れのない視聴体験を楽しみ続けることを可能にすることができる。
埋め込み画素パターン164を有する主ビデオストリーム168がディスプレイ102に送られると、監視サブシステム154は、ディスプレイ102上に表示されている画素パターンを判定する(処理ブロック208)ことができる。エラー検出のための期待される画素パターン及び表示画像の判定を例示するために、図4〜図6は、埋め込み画素パターン164とともに表示された画像データのフレーム102を示す。さらに、以下の説明の一部では、画素を使用するエラー検出の説明を容易にするために記述することができる、表示画像データとともに示された画素パターンを記述するが、実行及び実施される方法及びシステムは、人間の目では検出できない隠れている画素パターンを利用し得ることに留意されたい。すなわち、埋め込み画素パターン164は、来園者ではなく、ビデオストリーム管理システム150及びその構成要素による検出を可能にするように設計されている。
図示するように、図4は、ディスプレイ102上に動的埋め込み画素パターン224(例えば、画素パターン164)を有する相互作用的画像データ及び/又はライブレンダリング画像データを表示する画像データの第1のフレーム220(フレーム1)及び第2のフレーム222(フレーム2)を示す。画素パターン224は、ディスプレイ102上の画像データのフレーム220及び222の各々と一緒に表示された少なくとも1つの画素を含むことができる。画像データの第1のフレーム220及び第2のフレーム222は、ここでは例示的に道化師として示されるライブレンダリング画像を表示することができ、ビデオストリームは、リアルタイムで動いているように来園者が知覚する道化師を提示するようになっている。図示するように、画素パターン224は、画像の要素(例えば、道化師)上に又はその周りに画素から発せられた黒色光又は着色光を含むことができる。例えば、ディスプレイ102の画素は、黒色光(例えば、光の欠如)を発することが期待でき、黒色光は、ここでは黒色画素226として説明することができる。図示の実施形態において、黒色画素226は、第1のフレーム220においてディスプレイ102の下隅部上に期待することができる。
しかしながら、画像データの後続のフレーム(第2のフレーム222)において、道化師は、動きを変えている可能性があり、画素パターン224も変わった可能性がある。第2のフレーム222に示すように、黒色画素226は、ディスプレイ102の右上隅上に現れることが期待できる。図示の画素(例えば、黒色画素226及び/又は白色画素227)は、例示的にディスプレイ102内で比較的大きく示されていることを理解されたい。しかしながら、各画素は、ディスプレイ解像度に応じてディスプレイ102の画素サイズに対応するようにサイズ決定することができる。さらに、画素パターン224の図示の画素は、より大きい形状又はパターンを形成する連続画素のグループを含むこともできる。さらに、図示の画素パターン224は、黒色画素226及び白色画素227で形成されているが、他の色の組み合わせも企図されている。さらに、画素パターン224は、視聴者には概ね見えないように選択することができる。1つの実施例において、画素パターンは、フレーム220、222の背景画像に関連する部分の周りに分散配置することができる。実施形態において、画素パターン224は、視聴者が画素パターン224を識別するが難しいようにするために離散的画素でのみ形成されている。実施形態において、画素パターン224の個々の画素は、フレーム220、222の期待される画像における全ての周囲画素とは異なる色であるように選択される。実施形態において、画素パターンの個々の画素は、画素パターン224の他の画素から、少なくとも2、3、5又は10の他の画素だけ離れている。
ディスプレイ102は、想定外の画素パターンを示す(想定外の表示を示す)場合がある。例示すると、図5は、誤った第1のフレーム'228(フレーム1')上の想定外の画素パターン225を示す。誤った第1のフレーム'228は、第1のフレーム220の画像などの正しい期待フレーム画像を表示するが、画素パターン224の期待される黒色画素226は表示されず、誤った画素229として示されている。他の実施形態において、想定外の画素パターン225としては、限定されるものではないが、異なる色に見える及び/又はディスプレイ102上の位置が変化した1又は2以上の画素を挙げることができる。一部の実行例において、画素の位置又は色のこのような変化は、全体表示画像自体上では目に見えないビデオレンダリングのエラーによって引き起こされる可能性がある。このエラーは、ビデオストリーム156内のデジタルメディアエラーによって引き起こされる可能性があり、これは、さもなければ検出されないままになり、ハードウェア/ケーブルを介するディスプレイ102へのビデオ出力の限定された検出又はオペレータ110又は来園者による物理観察などの、他の監視機構によって決定される誤検出につながる場合がある。従って、埋め込み画素パターン164は、内部エラーの検出及び早期発見を可能にすることができ、さもなければ外部データ及び/又はハードウェアに依存することになる。
付加的に又は代替的に、想定外の表示としては、表示画像自体上のエラーを挙げることもできる。例えば、レンダリング画像が変化できないか又は1つの画像フレームから次のフレームまでフリーズした場合、画素位置での期待される発光がディスプレイ102上で見えない場合がある。さらに、ダイアログボックス又は別のユーザープロンプトなどのディスプレイ102上の追加的な画像によって、画素位置での期待される発光が、ディスプレイ102上で見えない場合がある。
例示すると、図6は、誤った第2のフレーム'230(フレーム2')を示し、誤った第2のフレーム'230は、第2のフレーム222の期待される画像及び期待される画素パターン224を表示するが、エラーダイアログボックス231は、ユーザー入力を待っている。ダイアログボックス231は、ビデオ出力の変化又は一時的喪失などの結果として現れる場合がある。ダイアログボックス231のために、期待される画素パターン224の期待黒色画素226は、期待される位置に現れることができず、従って、ディスプレイ102上に表示された画像は、想定外のエラーであることが示唆される。従って、表示された画素パターン224の判定では、想定外の表示エラーが検出される場合がある。実施形態において、ディスプレイ102の全ての象限内にあるように配置された動的画素パターン及び/又は静的画素パターンを用いて、画素パターン224をディスプレイ102の様々な位置の周りに分散配置することによって、検出されたエラーを特徴づけることができる。例えば、特定の画素位置でのディスプレイ故障は(ディスプレイの残部は無傷であるが単一の位置に限定される)、ディスプレイ全体に影響を与えるフリーズエラーとは異なる形で現れる場合がある。すなわち、単一の画素不良は、ビデオストリーム156のエラーではなく、ディスプレイ102でのハードウェアエラーに関連付けることができる。従って、このようなエラーは、代替的ビデオソース174への切り替えを引き起こすことができない。別の実施例において、ポップアップエラーウインドウに関連したエラーは、ディスプレイ102の予測可能な領域における画素不一致に関連することができる。
図3のプロセス200に戻ると、監視サブシステム154のエラー検出論理回路176は、表示画素パターン224が期待される動的埋め込み画素パターン164の所定の閾値(例えば、画素不一致)内にあるか否かかを判定する(判断ブロック210)ことができる。エラー検出論理回路176は、上述したアルゴリズム(例えば、エラー閾値及びパターン閾値アルゴリズム)を使用してこの判定を計算することができる。アルゴリズムは、ディスプレイ102から受け取ったデータ(例えば、表示画像データ及び画素パターン)を分析して、ユーザー又はオペレータ110が設定することができる所定の閾値と比較することができる。従って、画素の位置又は発せられた色のエラー閾値は、エラー閾値が乗物100上の来園者の途切れのない視聴体験を妨げないように設定することができる。監視サブシステム154は、表示データ184及び/又はエラー信号186をビデオストリーム制御装置152に伝えることができる。付加的に又は代替的に、ビデオストリーム制御装置152は、そのメモリー158に記憶されたアルゴリズムを使用して、伝えられた表示データ184が期待される埋め込み画素パターン164の所定の閾値内であるか否かを判定することができる。
表示画素パターンが期待される埋め込み画素パターン164の閾値内であると判定されると、ビデオストリーム制御装置152は、ビデオストリーム156をディスプレイ102に引き続き送る(処理ブロック212)ことができる。従って、ビデオストリーム156は、埋め込み画素パターン164を有する主ビデオストリーム168を引き続き送ることができる。
他方で、表示画素パターンが期待される埋め込み画素パターン164の閾値内になく、結果的にビデオストリームエラー(「Bロール」状態)判定となった場合、ビデオストリーム制御装置152は、スイッチ172を使用して、ビデオストリーム156から代替的ビデオソース174に切り替える(処理ブロック214)ことができる。例示すると、図7は、第3のフレーム232(フレーム3)を示し、第3のフレーム232は、代替的ビデオソース174のフレームを表示する。図示するように、代替的ビデオソース174の第3のフレーム232は、予め録画されたBロールビデオの画像データなどの非相互作用的画像を含むことができる。予め録画されたビデオロールは、相互作用的又はライブレンダリングとすることができず、従って、エラーを検出するために画素パターン164を埋め込むことができず、そうでなければ相互作用的ビデオストリーム又はライブレンダリングビデオストリームを検出するのは難しいであろう。付加的に又は代替的に、代替的ビデオソース174は、想定外の表示の検出の前に表示されていた元のビデオストリーム156の完全バックアップとすることができる。例えば、完全バックアップは、埋め込み画素パターン164を有する主ビデオストリーム168を含むビデオストリーム156を生成する冗長システムを含むことができる。付加的に又は代替的に、代替的ビデオソース174は、埋め込み画素パターン164と共に異なる相互作用的ビデオストリーム又はライブレンダリングビデオストリームを含むことができる。代替的ビデオソース174の選択肢は、乗物100上の来園者の途切れのない視聴体験を提供する最も適切なソースに基づいて決定することができる。
代替的ビデオソース174は、ストリーム切り替えに関連する遅延が最小であるように迅速なステップ応答時間フレーム内で切り替えることができる。迅速な切り替え機構をもたらすために、代替的ビデオソース174及びビデオストリーム156の両方は、同時にディスプレイ102に送られるストリームとすることができる。しかしながら、ディスプレイ102は、エラー検出又は想定外の表示の状態でビデオストリーム制御装置152を介して受け取った命令に基づいて画像出力を変更するように指示されることができる。実施形態において、代替的ビデオソースは、ディスプレイ102にローカルに記憶することができる。このように、切り替えは、来園者が観察又は容易に気付くことができず、従って、途切れのない視聴体験を提供し続けることができる。
本明細書では、本開示のいくつかの特徴のみを図示し説明したが、当業者には多くの修正及び変更が思い浮かぶであろう。従って、添付の特許請求の範囲は、本開示の実際の趣旨に該当する全てのこのような修正及び変更を含むものであると理解されたい。上述の図面に関して図示又は説明される特徴部のいずれも何らかの適切な方法で組み合わせることができることを理解されたい。
本明細書で提示され請求項に記載された手法は、本発明の技術分野を明らかに改善する実際的な性質の実質的な目的及び具体的な実施例に参照及び適用され、このため、抽象的、無形、又は真に理論的でもない。更に、本明細書の終わりに添付した何れかの請求項が「機能」を「実行」する手段」又は「機能」を「実行」するステップ」として指定された1又は2以上の要素を含む場合、このような要素は、米国特許法第112条(f)に従って解釈されるものとする。しかしながら、任意の他の方法で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第112条(f)に従って解釈されないものとする。

Claims (20)

  1. ビデオをライブレンダリングするように構成されたビデオ制御装置と、
    前記ビデオ制御装置に通信可能に接続され、前記ライブレンダリングされたビデオを含む主ビデオストリームを表示するように構成されたディスプレイと、
    を備えるビデオストリーム管理システムであって、
    前記ビデオ制御装置、前記ディスプレイ、又はこれらの組み合わせは、画素パターンを前記主ビデオフィードに埋め込むように構成され、前記ビデオストリーム管理システムは、前記ディスプレイ上の1又は2以上の表示画像を監視して前記主ビデオフィード内のエラーを特定するように構成される、ビデオストリーム管理システム。
  2. 前記ディスプレイは、代替的ビデオフィードのソースに通信可能に接続され、前記ディスプレイは、前記主ビデオフィード内の前記エラーの特定に応答して前記代替的ビデオフィードを表示するように切り替わるように構成される、請求項1に記載のシステム。
  3. 前記主ビデオフィードは、相互作用的ビデオストリームを含み、前記代替的ビデオフィードは、非相互作用的ビデオストリームを含む、請求項2に記載のシステム。
  4. 前記エラーは、前記埋め込み画素パターンと前記ディスプレイ上の前記1又は2以上の表示画像の画像との間で特定された不一致に基づく、請求項1に記載のシステム。
  5. 前記埋め込み画素パターンが前記ディスプレイ上に表示された前記1又は2以上の画像内で特定される場合、エラーは、前記ビデオストリーム管理システムによって検出されない、請求項1に記載のシステム。
  6. 前記埋め込み画素パターンは、前記ディスプレイ上の前記1又は2以上の画像の画素の総数のサブセットに関連する、請求項1に記載のシステム。
  7. 前記エラーは、期待される画素パターン及び前記ディスプレイ上の前記1又は2以上の表示画像内の画素不一致の所定の閾値に基づく、請求項1に記載のシステム。
  8. 前記埋め込み画素パターンは動的であり、前記主ビデオフィードの連続フレームを形成する前記ディスプレイ上の前記1又は2以上の表示画像の間で変化する、請求項1に記載のシステム。
  9. 前記埋め込み画素パターンは、前記主ビデオフィードの連続フレームを形成する前記ディスプレイ上の前記1又は2以上の画像の画像の間で静的である、請求項1に記載のシステム。
  10. ビデオフィードを管理する方法であって、
    動的画素パターンをライブビデオフィードのフレームに埋め込むステップであって、前記動的画素パターンは、第1のフレームに関連した第1の画素パターン及び第2のフレームに関連した第2の画素パターンを含み、前記第1の画素パターンは、前記第2の画素パターンとは異なる、ステップと、
    前記動的画素パターンを有する前記ライブビデオフィードをディスプレイを使用して表示するステップと、
    前記ディスプレイ上の表示画像を監視するステップと、
    前記監視された表示画像が前記埋め込み動的画素パターンに適合しない表示画素パターンを含むと判定することに応答して前記ライブビデオフィード内のエラーを特定するステップと、
    前記ライブビデオフィード内の前記エラーの存在を特定することに応答して、前記ライブビデオフィードの表示から代替的ビデオフィードの表示に切り替えるステップと、
    を含む、方法。
  11. 前記代替的ビデオフィードは、前記ライブビデオフィード及び前記埋め込み動的画素パターンの完全バックアップ、前記ライブビデオフィードと異なる新しいビデオフィード、又はその組み合わせを含む、請求項10に記載の方法。
  12. 前記動的画素パターンが埋め込まれた前記ライブビデオフィード及び前記代替的ビデオフィードは、同時に前記ディスプレイに提供される、請求項10に記載の方法。
  13. 前記第1のフレーム及び前記第2のフレームは、前記ライブビデオフィードの連続フレームに埋め込まれる、請求項10に記載の方法。
  14. 前記監視するステップは、前記個々のフレームに関連した前記埋め込み動的画素パターンの画素パターンを特定するために、個々のフレームを評価するステップを含む、請求項10に記載の方法。
  15. 前記埋め込み動的画素パターンに関する情報は、暗号化され、キーを用いてアクセス可能である、請求項10に記載の方法。
  16. 来園者存在を検出するように構成された1又は2以上のセンサーと、
    ビデオストリーム制御装置と、
    前記ビデオストリーム制御装置に通信可能に接続されたディスプレイと、
    を備える、ビデオストリーム管理システムであって、
    前記ビデオストリーム制御装置は、
    前記検出された来園者存在に基づいて、ビデオをライブレンダリングして主ビデオストリームを生成し、
    画素パターンを前記主ビデオストリームに埋め込んでビデオストリームを生成する、
    ように構成され、
    前記ディスプレイは、
    前記ビデオストリームを受け取り、
    前記ビデオストリームを表示して表示画像を生成し、
    前記ディスプレイ上の前記表示画像を監視して、エラーを前記表示画像及び前記画素パターンの比較に基づいて特定し、
    前記エラーの特定に基づいてエラー信号を生成する、
    ように構成されている、ビデオストリーム管理システム。
  17. 前記エラーは、前記表示画像の欠落若しくは前記画素パターンの1又は2以上の画素との不一致を有すること、前記画素パターンに対して1又は2以上の異なる色画素を有すること、又は画素パターンの1又は2以上の画素の異なる位置を含む、請求項16に記載のシステム。
  18. 前記ビデオストリーム管理システムは、前記エラー信号に基づいて代替的ビデオの表示をもたらす、請求項16に記載のシステム。
  19. 前記代替的ビデオは、予め録画されたビデオを含む、請求項18に記載のシステム。
  20. 前記画素パターンは、動的画素パターンを含む、請求項16に記載のシステム。
JP2021501308A 2018-07-18 2019-07-17 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法 Active JP7459044B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024015385A JP2024062991A (ja) 2018-07-18 2024-02-05 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862699739P 2018-07-18 2018-07-18
US62/699,739 2018-07-18
US16/513,428 US11025900B2 (en) 2018-07-18 2019-07-16 System and method for identifying b-roll conditions in live streams or live rendered content
US16/513,428 2019-07-16
PCT/US2019/042283 WO2020018717A1 (en) 2018-07-18 2019-07-17 System and method for identifying b-roll conditions in live streams or live rendered content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024015385A Division JP2024062991A (ja) 2018-07-18 2024-02-05 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法

Publications (3)

Publication Number Publication Date
JP2021531499A true JP2021531499A (ja) 2021-11-18
JPWO2020018717A5 JPWO2020018717A5 (ja) 2022-06-13
JP7459044B2 JP7459044B2 (ja) 2024-04-01

Family

ID=69162185

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021501308A Active JP7459044B2 (ja) 2018-07-18 2019-07-17 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法
JP2024015385A Pending JP2024062991A (ja) 2018-07-18 2024-02-05 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024015385A Pending JP2024062991A (ja) 2018-07-18 2024-02-05 ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法

Country Status (9)

Country Link
US (2) US11025900B2 (ja)
EP (2) EP3823735B1 (ja)
JP (2) JP7459044B2 (ja)
KR (1) KR20210034035A (ja)
CN (1) CN112469485A (ja)
CA (1) CA3105885A1 (ja)
ES (1) ES2966646T3 (ja)
SG (1) SG11202012593TA (ja)
WO (1) WO2020018717A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225270A (zh) * 2020-01-17 2020-06-02 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备及存储介质
US11164333B2 (en) 2020-01-31 2021-11-02 Gracenote, Inc. Monitoring icon status in a display from an external device
US11420578B2 (en) * 2020-03-02 2022-08-23 Universal City Studios Llc Rider monitoring using depth sensor
CN113473086B (zh) * 2021-07-06 2022-09-06 阿波罗智联(北京)科技有限公司 视频播放的方法、装置、电子设备、智慧高速大屏
WO2023212201A1 (en) * 2022-04-28 2023-11-02 Universal City Studios Llc Systems and methods for generating derivatives of non-fungible tokens for an amusement park attraction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204561A (ja) * 2001-10-31 2003-07-18 Kddi Corp 画質劣化検出装置
WO2008062592A1 (fr) * 2006-11-22 2008-05-29 Sharp Kabushiki Kaisha Unité de commande d'affichage, système d'affichage embarqué, organe de commande d'affichage, et affichage embarqué
US20110019006A1 (en) * 2009-07-21 2011-01-27 Gabriel Varga System for embedded video test pattern generation
JP2015226206A (ja) * 2014-05-28 2015-12-14 株式会社デンソー 映像信号処理装置及び診断プログラム
JP2017529188A (ja) * 2014-09-26 2017-10-05 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー ビデオゲーム乗り物

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US238979A (en) * 1881-03-15 smith
US5621467A (en) 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US8457346B2 (en) * 2001-04-24 2013-06-04 Digimarc Corporation Digital watermarking image signals on-chip
GB2377109B (en) * 2001-06-28 2003-12-03 Motorola Inc Video/image communication with watermarking
US20030112996A1 (en) * 2001-12-19 2003-06-19 Holliman Matthew J. Automatic monitoring of host signal quality using embedded data
US8081205B2 (en) 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
GB0411172D0 (en) * 2004-05-19 2004-06-23 Chello Broadband N V Display of enhanced content
US7955168B2 (en) * 2005-06-24 2011-06-07 Disney Enterprises, Inc. Amusement ride and video game
CN100461864C (zh) * 2005-06-25 2009-02-11 华为技术有限公司 基于数字水印的多媒体视频通信客观质量评价方法
JP4809840B2 (ja) * 2005-08-04 2011-11-09 日本電信電話株式会社 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム
US20070256105A1 (en) 2005-12-08 2007-11-01 Tabe Joseph A Entertainment device configured for interactive detection and security vigilant monitoring in communication with a control server
CN101022550A (zh) * 2006-12-26 2007-08-22 北京闪动科技有限公司 流媒体的数字水印信息嵌入方法
JP5043183B2 (ja) * 2007-05-10 2012-10-10 トムソン ライセンシング 埋め込まれた透かしを使用した障害検出
US9628722B2 (en) * 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
WO2012026039A1 (ja) * 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
CN102131109A (zh) * 2010-10-14 2011-07-20 华为技术有限公司 用于监控流媒体播放的方法、系统及装置
CN104685870B (zh) * 2012-07-24 2019-10-18 统一有限责任两合公司 用于测试视频质量的方法、设备和系统
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US8994828B2 (en) * 2013-02-28 2015-03-31 Apple Inc. Aligned video comparison tool
EP2779151B1 (en) * 2013-03-11 2018-05-16 Renesas Electronics Europe Limited Video output checker
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
DE102017111993A1 (de) * 2016-05-31 2017-11-30 Maxim Integrated Products, Inc. Vorrichtung und verfahren zum schützen sicherheits- und absicherungsrelevanter echtzeit-videodaten
KR102330166B1 (ko) * 2016-11-10 2021-11-24 엘지전자 주식회사 디지털 사이니지 및 그 제어 방법
CN106791923B (zh) * 2016-12-30 2019-08-27 中广热点云科技有限公司 一种视频帧流处理方法及视频服务器
CN108012161B (zh) * 2017-11-10 2021-10-01 广州华多网络科技有限公司 视频直播方法、系统和终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204561A (ja) * 2001-10-31 2003-07-18 Kddi Corp 画質劣化検出装置
WO2008062592A1 (fr) * 2006-11-22 2008-05-29 Sharp Kabushiki Kaisha Unité de commande d'affichage, système d'affichage embarqué, organe de commande d'affichage, et affichage embarqué
US20110019006A1 (en) * 2009-07-21 2011-01-27 Gabriel Varga System for embedded video test pattern generation
JP2015226206A (ja) * 2014-05-28 2015-12-14 株式会社デンソー 映像信号処理装置及び診断プログラム
JP2017529188A (ja) * 2014-09-26 2017-10-05 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー ビデオゲーム乗り物

Also Published As

Publication number Publication date
JP7459044B2 (ja) 2024-04-01
KR20210034035A (ko) 2021-03-29
CN112469485A (zh) 2021-03-09
US20210266523A1 (en) 2021-08-26
EP4243430A2 (en) 2023-09-13
SG11202012593TA (en) 2021-01-28
EP3823735A1 (en) 2021-05-26
WO2020018717A1 (en) 2020-01-23
EP4243430A3 (en) 2023-12-13
CA3105885A1 (en) 2020-01-23
ES2966646T3 (es) 2024-04-23
US11627306B2 (en) 2023-04-11
JP2024062991A (ja) 2024-05-10
US11025900B2 (en) 2021-06-01
US20200029069A1 (en) 2020-01-23
EP3823735B1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
JP2021531499A (ja) ライブストリーム又はライブレンダリングコンテンツのbロール状態を特定するシステム及び方法
US20230414899A1 (en) Classifying a discomfort level of a user when interacting with virtual reality (vr) content
CN102859565B (zh) 用于安全系统恶意干扰检测的方法与系统
US20160357255A1 (en) Gaze detection method and apparatus
CN107111744B (zh) 针对基于视频的认证来检测假冒攻击
CN105763872B (zh) 视频编码/解码系统及其诊断方法
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US11153624B2 (en) Method for reading a video stream
CN111049687B (zh) 设备检修视频操作指导文件处理方法、装置、ar终端
US20220066541A1 (en) Virtual reality system with posture control
JP6379107B2 (ja) 情報処理装置並びにその制御方法、及びプログラム
WO2018111382A1 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
CN107077730A (zh) 基于剪影的肢寻找器确定
US11169603B2 (en) Electronic apparatus and method for recognizing view angle of displayed screen thereof
CN112630964A (zh) 头戴式显示系统及其场景扫描方法
JPWO2020018717A5 (ja)
US20240214283A1 (en) Latency measurement system and method
US11580703B1 (en) Adaptive model updates for dynamic and static scenes
US10909381B2 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content
KR100694283B1 (ko) 이미지 프로세싱을 이용한 pc 기반의 영상 인식 방법
CN107005746A (zh) 用于系统设立的数据流头部的部分加密
US20190020889A1 (en) Motion control system and method using detection of motion in a video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150