JP2023500450A - デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正 - Google Patents

Abstract

開示される技法は、デバイス回転メトリックに基づく音声および視覚ストリームレンダリング修正を含む。１つ以上のメディアストリームは、サーバから受信される。１つ以上のメディアストリームは、携帯型メディアストリーム再生デバイス上での表示の対象とされる。携帯型デバイスの向きは、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に決定される。携帯型デバイスの向きの変更が検出される。変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。向きの変更を検出することに基づいて、携帯型デバイスの回転角が計算される。回転角に基づいて、１つ以上のメディアストリームのうちの少なくとも１つの再生が、携帯型デバイス上で変更される。【選択図】図１

Description

（関連出願）
本出願は、２０１９年１１月１日に出願された米国特許仮出願第６２／９２９，５８４号「Ｉｍｍｅｒｓｉｖｅ Ａｕｄｉｏ－Ｖｉｓｕａｌ Ｅｘｐｅｒｉｅｎｃｅ」の優先権を主張する。

前述の出願は、容認可能な管轄において、その全体が参照により本明細書に組み込まれる。

本出願は、一般に、メディアストリーム再生、ならびにより具体的には、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正に関する。

オンライン映像を視聴することは、人気のある世界的なインターネットアクティビティである。スマートフォン、タブレット、またはコンピュータ上で観るものもあるが、他にもスマートＴＶ、または接続されたデバイスもしくは他のデバイス上で観るものもある。オンライン技術が改善するにつれて、視聴者のエンゲージメントも改善している。オンライン映像コンテンツは、情報を伝えることができるだけでなく、感情を揺さぶることができるため、視聴者の興味を引き、この映像技術は新たなレベルに到達している。映像技術は、デジタルシミュレーションを使用して物理的世界を強化または模倣する。映像技術は、コンテンツを見る（ｌｏｏｋ ａｎｄ ｓｅｅ）ことができる設定の中に吸収されている感覚をユーザに与えることができる。場合によっては、この技術が現実を延長する。他の場合では、この技術が新しい現実を作成する。映像技術のタイプは、３６０、仮想現実、拡張現実、複合現実などを含む。視聴覚的な双方向形式は、積極的な参加者であるように観客に感じさせ、ストーリーが展開されている間、参加者の感覚を制御することができる。

映像技術は、多くの用途で使用することができる。旅行業界では、国内外の旅行先を紹介するために、映像技術が使用されてきた。いくつかの旅行会社は、飛行機に乗ることおよびボートに乗ることを恐れる人々の気をそらすために、この技術を使用している。ホテルおよびリゾートは、アメニティを強調することによって、販売ツールとして映像技術を利用し、新しい様式で潜在的な旅行者の感情に訴えることができる。同様に、不動産、エンジニアリング、および建設業界は、映像技術を使用して、家、オフィス、およびワークスペースのような夢の設定を作成し、顧客を惹きつけている。映像技術は、展示会、見本市、モール、およびスポーツイベントにあるブースを含む多くのマーケティング用途を有する。メッセージングおよびブランディングに顧客を触れさせるオンライン広告にもこの技術が使用されている。Ｅ－コマースは、映像技術を使用して、顧客が新しい車で仮想的に試乗すること、製品が自宅でどのように見えるかを確認すること、または実際の顧客が着ているときに衣服がどのように見えるかを評価することを可能にする。ある意味では、映像技術は、仮想的な試し買い体験を供与する。映像技術は、ヘルスケアでも使用されており、痛みから患者の気をそらし、患者が体験することを医師が体験することを可能にし、これによって共感を促す。教育用ゲームは、映像技術をエンターテイメントとしてすでに楽しんでいる世代への映像技術の適用であり、今ではそれを使用して、同様に学習することができる。ゲーム業界は、この技術を使用する最前線にあり、多くの場合、その軌道の限界を突き進んできた。そして、美術館における双方向的な作品または企業のブランディング画像のような芸術用途はまた、ある意味では、映像技術は作成するための新しいキャンバスであるため、恩恵を受けている。

映像技術のためのすべての用途およびその恩恵にもかかわらず、依然として制限がある。技術は改善しているが、技術的な不具合がある場合がある。互換性の問題がユーザを苛立たせる場合がある。低品質の視聴覚的材料は、ユーザの楽しみを妨げる場合があり、不愉快な体験、売上の損失、または悪い評判につながり得る。品質を改善するために必要な機器は、高価である場合がある。いくつかのユーザ機器は、重く、かつ扱いにくい。ある特定の状況では、映像技術機器は、ユーザを現実世界から完全に切り離す。そして、場合によっては、ユーザは、この技術を使用した結果として、乗り物酔いを報告している。映像技術企業は、ユーザ体験を改善し、この技術を全ユーザに利用可能にするために、これらの制限に対処しなければならない。

人々が映像コンテンツを視聴するとき、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、および携帯情報端末（ＰＤＡ）などの幅広い電子デバイスを使用する。映像コンテンツとしては、テキスト、ライブフィード映像、ニュース、芸術、エンターテイメント、教材などが挙げられ得る。デジタル技術により、人々は、拡張現実、仮想現実、複合現実などを使用して映像コンテンツと関わり合うことができる。映像コンテンツと関わり合うとき、人は、ディスプレイ画面を動かすか、傾けるか、または回転させ、これによって映像コンテンツを改変し、没入型体験を作成する。研究では、愉快で関心が高いユーザ体験が推薦の増加および顧客ロイヤルティを生み出し得ることが示されている。しかしながら、不愉快なユーザ体験は、収益の損失および悪い評判につながる場合がある。没入型体験は、デバイスまたはソフトウェアの制限、不十分な画像品質およびトランジション、固定された映像の向き、ならびに映像コンテンツの代わりに黒色空間の視聴をもたらす映像境界条件によって悪影響を受ける場合がある。

本明細書に開示されるメディアストリーム再生技術は、ユーザが、携帯型デバイスを回転させることによって、携帯型メディアストリーム再生デバイス上のシングルビュー再生とマルチビュー再生との間でスムーズに移行することを可能にする。シングルビュー再生は、１つの映像ストリームおよび１つ以上の音声ストリームを含み、主に垂直であり得る。マルチビュー再生は、多数の映像ストリームおよび関連付けられた音声ストリームを含み、主に水平であり得る。再生視聴におけるシームレスな移行により、電話を回転させて、ボーカリストが単独で歌っているところから３部構成のハーモニーに移っていくのを見るようなアプリケーションを強化することができる。また、電話を回転させて、キャプションをオンおよびオフに切り換える、または言語を変更するようなアプリケーションも含み得る。本明細書に開示されるメディアストリーム再生技術により、ユーザは、１つ以上の視聴覚ストリームを表示するデバイスのディスプレイ画面の向きを特定する１つ以上のパラメータに基づいて、１つ以上の視聴覚ストリームの組み合わせを送達することができる。

メディアストリーム再生のためのプロセッサ実装方法であって、サーバから１つ以上のメディアストリームを受信することであって、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に携帯型デバイスの向きを決定することと、携帯型デバイスの向きの変更を検出することであって、変更が、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる、検出することと、検出することに基づいて、携帯型デバイスの回転角を計算することと、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更することと、を含む、方法が開示される。２つ以上のメディアストリームの組み合わせの再生は、回転角に基づいて変更される。回転角に基づいて、この組み合わせは、元の向きのシングルビュー再生から、変更された向きのマルチビュー再生に変更される。回転角は、回転メトリックを生成するために使用され、回転メトリックは、マルチビュー再生のためのズーム計算およびレンダリングに影響を及ぼす。回転角に基づいて、この組み合わせは、元の向きのマルチビュー再生から、変更された向きのシングルビュー再生に変更される。

様々な実施形態の様々な特徴、態様、および利点は、以下のさらなる説明からより明らかになるであろう。

ある特定の実施形態の以下の詳細な説明は、以下の図を参照することによって理解され得る。

デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のためのフロー図である。

回転ベースの再生変更についてのフロー図である。

幾何学的問題に変換されたときの本明細書に開示される視聴システムの例示的な構成を示す。

横型モードおよび縦型モードのビューポートを有する例示的なビューポートを示す。

ビューポートを内接円の中に適合させることによる、例示的な固定された向きの映像視聴体験を示す。

矩形サイズの映像の、楕円形への例示的な内接を示す。

矩形を楕円形の中に適合させるための例示的な図である。

ビュー矩形の４つの頂点の位置を計算するための例示的な図である。

回転度の関数としてのズーム倍率の例示的なグラフを示す。

映像の幅広の側のトリミングを示す。

ビューアラウンドの縦型の向きを有する固定されたスケールでの事前ズームおよび維持の一例である。

回転された視野角の重なりを示す。

楕円形の中心からずれた映像の回転を示す。

ユーザが視聴デバイスを傾けるか、または動かすことを可能にするビューポートの動きを示す。

デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を提供するためのシステムの例示的な動作を示す。

デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のためのシステムの代替的で例示的な動作を示す。

例示的なコンピューティングシステムを示す。

例示的なモバイルデバイスを示す。

ディスプレイデバイスの例示的な動きを示す。

ディスプレイデバイスの例示的な回転を示す。

デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を提供するためのシステムの例示的な動作を示す。

デバイスビューポート上の初期映像を示す。

デバイスビューポートが回転されるときの拡大映像を示す。

放棄された映像部分を有するディスプレイを示す。

拡張された映像部分を有するディスプレイを示す。

元の映像を有するディスプレイを示す。

メディアストリームを再生することを示す。

中間ビューポート角を示す。

メディアストリームとともに追加情報を表示することを示す。

メディアストリーム再生のためのブロック図を示す。

メディアストリーム再生のためのシステム図である。

タブレット、スマートフォン、ＰＤＡ、およびメディアプレーヤーなどの携帯型電子デバイスは、メディアコンテンツを視聴し、それと関わり合いたい人々によって広く使用されている。映像および音声ストリームとして送達されることが多いコンテンツは、教育的、情報的、政治的、社会的、および他のメディアコンテンツを含み得る。コンテンツには、携帯型デバイスまたは専門的なメディアプレーヤー上のアプリ、ウェブブラウザなどを使用して簡単にアクセスすることができる。メディアコンテンツは、ニュース、政府情報、および教材からエンターテイメントコンテンツまで、およびそれを超える範囲の、幅広い題材を含む。ユーザが最も頻繁に求めるコンテンツは、映像コンテンツを含む。映像コンテンツは、映像、ビデオクリップ、短尺映像、グラフィック交換形式ファイル（ＧＩＦ）、アニメーション、マッシュアップ、および他のコンテンツを含み得る。この他のコンテンツは、映像視聴体験を強化するために使用される音声およびテキストをさらに含み得る。メディアコンテンツを視聴する個人は、コンテンツに反応し、それに応答することを望んでいる場合がある。応答することは、コンテンツにコメントまたは反応することを含み得る。応答は、メディアコンテンツを提供するサイト上に投稿されることができ、ソーシャルメディアサイト上で共有されることなどができる。

ほとんどのメディアコンテンツの制限のうちの１つは、コンテンツが静的であることである。コンテンツは、メディアクリエイターによって規定された様態で視聴および体験されるように設計される。ユーザは、音声言語を選択すること、字幕を閲覧もしくは非表示にすること、または視聴するためのアスペクト比もしくは映像解像度を設定することなど、コンテンツに関連付けられた設定を変更するために選ぶことができるが、これらの設定は、メニュー選択に基づいて調整される。メニュー設定は、「全自動」タイプの設定であり、一度構成されると、ユーザがメニューに戻って、調整を行うまで設定が残る。本明細書に開示される技法では、携帯型デバイス上でレンダリングされたメディアストリームのうちの少なくとも１つの再生は、デバイスを回転させることによって変更されることができる。時計回りの回転、反時計回りの回転、傾きなどを含み得る回転は、音声および映像ストリームが携帯型デバイス上に提示される様式で変更に影響をもたらし得る。携帯型デバイスを回転させることにより、ユーザは、メディアストリームが表示される様態を変更する。携帯型デバイスの回転を使用して、携帯型デバイス上での表示のために、またはシングルメディアストリームを視聴するために、２つ以上のメディアストリームを組み合わせることができる。この回転を使用して、キャプションを露出または非表示にすること、歌詞を提供すること、またはデバイスが回転されるときにビューに入る人々の声もしくは楽器の音を追加することなど、メディアストリームに関連付けられた他の情報にアクセスすることができる。ユーザは、メディアストリームが提示される様態にわたって大幅により制御することができる。さらに、回転させることによって再生に対して行われた変更は、没入型の映像および音声体験を可能にする。没入型体験は、メディアストリームの仮想現実および拡張現実の視聴を可能にする。

デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のための技法が開示される。個人は、モバイルデバイスなどの携帯型デバイスを使用して、映像ストリーム、音声ストリーム、およびキャプションを含むメディアストリームを体験することができる。メディアストリームは、映像ストリームおよび関連付けられた音声ストリームを含み得る。メディアストリームは、個人的な使用または娯楽のため、社会的共有のため、教育または訓練のため、政治的な声明を行うため、行動への呼び掛けを提示するなどのために消費されることができる。メディアストリームは、個人によって生成されるか、消費者によって購入されるか、またはインフルエンサー、流行の仕掛け人、政治家などによって作成され得る。メディアストリームは、旅行映像、料理映像、家庭改善映像、メイクアップ映像、動物映像、音楽映像などを含み得る。個人がメディアストリームを体験するために使用される携帯型デバイスを回転させると、メディアストリームの再生およびレンダリングを変更することができる。この変更することは、携帯型デバイスの向きに基づいて、提示のために２つ以上のメディアストリームを組み合わせること、または単一のメディアストリームを提示することを含み得る。デバイスの回転は、映像ストリームをズームインすること、または映像ストリームをズームアウトすることにさらに影響を与え得る。この回転を使用して、メディアストリームに関連付けられたキャプションなどのさらなる情報を提示するか、または非表示にすることができる。この回転を使用して、音声ストリームを追加することもでき、これにより、ユーザが体験することができる多次元音声空間が作成される。携帯型デバイス上の音声ストリームおよび映像ストリームのレンダリングを修正することによって、ユーザのための仮想現実または拡張現実体験などの没入型体験が作成される。

メディアストリーム再生は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を使用して可能になる。１つ以上のメディアストリームが提供され、メディアストリームは、音声ストリーム、映像ストリーム、キャプションなどを含み得る。音声ストリームは、声、音楽、音響効果などを含み得る。映像ストリームは、長尺映像、短尺映像、ビデオクリップなどを含み得る。メディアストリームは、サーバから、インターネットから、ストリーミングサービスなどから調達され得る。メディアストリームは、携帯型メディアストリーム再生デバイス上での表示の対象とされる。携帯型メディアストリーム再生デバイスは、スマートフォンまたはタブレットなどのモバイルデバイスを含み得る。メディアストリームは、携帯型デバイス上のレンダリングに適切である解像度、形式、コーデックなどに基づくことができる。携帯型デバイスの向きは、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に決定される。携帯型デバイスの向きは、垂直、水平、垂直と水平との間の角度、傾き、回転などを含み得る。携帯型デバイスの向きの変更が検出され、この変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。メディアストリームが再生されているときに、ユーザは、携帯型デバイスを回転させることができる。携帯型デバイスの回転を使用して、再生を制御することができる。携帯型デバイスの回転角は、検出することに基づいて計算される。回転角は、座標系に基づいて計算されることができる。１つ以上のメディアストリームのうちの少なくとも１つの再生は、回転角に基づいて、携帯型デバイス上で変更される。再生を変更することは、映像を組み合わせること、ズームすること、キャプションを受信すること、音声を追加すること、映像を埋め込むことなどを含み得る。

携帯型デバイスの向きに関する用語は、デバイスのユーザがそのデバイスの自分の使用法をどのように認識するかに大きく依存することに留意されたい。例えば、矩形のスマートフォンを自分の正面に保持する多くのユーザは、スマートフォンの矩形形状の長軸が上下にあるときに「垂直」の向きであると説明し、矩形の長軸が左右にあるときに「水平」の向きであると説明する。この認識は、縦型の向き（垂直）および横型の向き（水平）の一般的な命名法と一致する。しかしながら、デバイスおよびユーザに依存して、その名称は、逆にされてもよく、さらにはある程度任意であってもよい。命名法についての１つの明らかに不明瞭なケースは、円形または方形のデバイス（または円形または方形のビューポート）の向きについてである。別の不明瞭なケースは、通常、異なる向きで使用されるデバイス、例えば、ラップトップ、またはおそらくさらには「ファブレット」についてである。したがって、「開始の向き」または「元の向き」または「初期の向き」を参照し、次いで、向きのその後の変更を探すことは、携帯型デバイスの向きを解釈するのに役立つ様式であり得る。

本明細書に開示されるメディアストリーム再生技術は、汎用モバイルデバイスによって記録された映像のための没入型映像視聴体験を提供し、視聴者が相互作用の一部として視聴デバイスを回転させる、動かす、および傾けているときでも、スムーズな映像レンダリングを送達する。具体的には、良好／スムーズな視聴体験は、
（ａ）映像が限度内に留まること：ユーザは映像の外側を見ることができず、所望ではない部分的な黒色の画面をもたらす；
（ｂ）ユーザが必要なときにのみズームイン可能であること：ユーザが可能な限り映像のかなりの部分を視聴することを可能にする；
（ｃ）映像が安定したビューを表示すること：回転または傾ける際の激しい動きまたはスケーリングを回避する；
（ｄ）映像がスマートビューを表示すること：映像の部分的なビューのみが見えるとき、可能であれば、重要な部分が示される；
（ｅ）映像品質があらゆる角度で保証されていることを含み得る。

没入型体験を提供するためには、上記の結果のうちの１つ以上を達成するために、幾何学ベースのシステムが設計される。本明細書に開示される映像再生技術の実装形態は、以下の：
（１）映像のサイズ（幅および高さ、ピクセルで画定される）と、
（２）ビューポートのサイズ（幅および高さ、ピクセルで画定される）と、
（３）θ、ビューポートの回転角と、
（４）α、スケール倍率と、を含む、映像の様々なパラメータを取得する。

図１は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のためのフロー図である。１つ以上のメディアストリームは、サーバから受信される。メディアストリームは、携帯型デバイスの向きに基づいて、選択され、組み合わせられ、拡張され、修正されるなどが可能である。１つ以上のメディアストリームは、携帯型メディアストリーム再生デバイス上での表示の対象とされる。携帯型メディアストリーム再生デバイスは、スマートフォンまたはタブレットなどのモバイルデバイスを含み得る。メディアストリームは、映像ストリームおよび音声ストリームを含む。映像ストリームは、ニュース映像、エンターテイメント映像、政治的なメッセージ映像、調理映像、動物映像などの様々なメディアタイプを含み得る。音声ストリームは、単一のモノラルストリーム、対のバイノーラルまたはステレオストリーム、二次音声プログラム（ＳＡＰ）ストリームなどを含み得る。携帯型デバイスの向きが決定され、向きは、直立または横向き、傾き、回転などを含み得る。デバイスの向きの変更が検出され、回転角が計算される。１つ以上のメディアストリームのうちの少なくとも１つの携帯型デバイス上での再生は、回転角に基づいて変更される。

フロー１００は、１つ以上のメディアストリーム１１０を使用することを含む。メディアストリームは、映像ストリーム、音声ストリーム、テキストストリームなどを含み得る。メディアストリームを使用して、以下で述べられる携帯型デバイスのユーザへの提示を表示することができる。メディアストリームは、メッセージを伝えるため、エンターテイメントを提供するため、教育するためなどに使用されることができる。フロー１００は、１つ以上のメディアストリーム１２０をサーバから受信することを含む。全体を通して述べられるように、メディアストリームは、映像ストリーム、音声ストリーム、テキストストリームなどを含み得る。実施形態では、メディアストリームは、音声ストリームのみを含む。実施形態では、各音声ストリームは、通常は、ステレオ音声ストリームを表す左チャネルおよび右チャネルを含む。したがって、３つの音声ストリームは、６つの音声チャネルを含み得る。メディアストリームは、長尺映像、短尺映像、ＧＩＦ、アニメーションなどを含み得る。メディアストリームは、１つ以上の音声ストリームをさらに含むことができ、１つ以上の音声ストリームは、１つ以上の映像ストリームに関連付けられた音声を含み得る。フロー１００では、１つ以上のメディアストリームは、携帯型メディアストリーム再生デバイス上での表示の対象とされる（１２５）。携帯型メディアストリーム再生デバイスは、個人によって所有されるか、または個人によって使用されるパーソナル電子デバイスを含み得る。フロー１００は、モバイルデバイスを使用すること（１２７）を含む。モバイルデバイスは、スマートフォン、タブレット、携帯情報端末（ＰＤＡ）などの無線対応携帯型デバイスを含み得る。モバイルデバイスは、メディアプレーヤーデバイスなどの専用のモバイルデバイスを含み得る。メディアプレーヤーデバイスは、１つ以上のメディアストリームを消費しながら、ユーザの体験を強化する映像処理、音声処理、および他のハードウェアまたはソフトウェアを含み得る。フロー１００では、携帯型デバイス上にメディアストリームを表示することが、没入型映像を可能にする（１２９）。没入型映像は、ユーザが映像の中に入り込むことができるという意味で映像に「入る」ことを可能にし、映像内で上、下、左、または右を見ることができる。実施形態では、没入型映像体験は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）などの視聴を可能にし得る。

フロー１００は、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に、携帯型デバイスの向きを決定すること（１３０）を含む。携帯型デバイスの向きは、三次元空間内で決定され得る。携帯型デバイスは、テーブル上で「ディスプレイを上に」して置くことができ、ユーザによって保持されるなどであり得る。携帯型デバイスは、実質的に垂直の向き（例えば、９０度またはユーザによって９０度であると認識される）、実質的に水平の向き（例えば、０度またはユーザによって０度であると認識される）、または垂直と水平との間の角度で向きを定めることができる。携帯型ディスプレイは、前方または後方に傾斜され得る。携帯型デバイスの向きは、机、床などの表面よりも上方の高度を含み得る。携帯型デバイスの向きは、直交座標、円筒座標、球面座標などを使用して決定され得る。デバイスの向きは、度、ラジアンなどで決定され得る。携帯型デバイスの向きは、携帯型デバイスに含まれるモーションセンサ（以下で述べられる）を使用して決定され得る。フロー１００では、携帯型デバイスの方向は、黙示的な向きを使用して（１３５）決定され得る。携帯型デバイスの位置とともに、デバイスの黙示的な向きを使用して、オブジェクトのポーズを決定することができる。携帯型デバイスのポーズは、携帯型デバイスを保持するユーザのイメージに基づいて決定され得る。黙示的な向きは、実際の物理的な座標および方向を使用するのではなく、出発点からの相対的な変更に基づいて決定され得る。

フロー１００は、携帯型デバイスの向きの変更を検出すること（１４０）を含み、この変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。携帯型デバイスの向きの変更は、ユーザがデバイスを手に取ること、デバイスの上縁部をユーザから離すように傾けるか、またはユーザに向かって傾けること、デバイスの側縁部をユーザから離すように押すか、またはユーザに向かって押すことなどを含み得る。携帯型デバイスの向きの変更を検出することは、デバイスを時計回りまたは反時計回りに回転させることを含み得る。携帯型デバイスの向きの変更は、押すこと、傾けること、回転させることなどの組み合わせを含み得る。向きの変更を検出することは、携帯型デバイスの実質的に垂直な向きから実質的に水平な向きへの変更、またはその逆を検出することを含み得る。フロー１００は、検出することに基づいて、携帯型デバイスの回転角を計算すること１５０を含む。回転角は、３Ｄ空間内の回転に基づいて決定され得、３Ｄ空間は、座標系を使用して説明され得る。例えば、回転角は、ｘ、ｙ、およびｚ座標に基づいて決定され得る。ｘ、ｙ、ｚ座標を使用して、回転角は、ディスプレイの側縁部をユーザから離すように押すか、またはユーザに向かって押すなどのｚ軸を中心とした回転、時計回りまたは反時計回りの回転などのｘ軸を中心とした回転、ディスプレイの上縁部をユーザから離すように傾けるか、またはユーザに向かって傾けるなどのｙ軸を中心とした回転などに基づいて決定され得る。回転の角度は、多数の軸を中心とした回転を含み得る。実施形態では、回転角を計算することは、携帯型デバイスに含まれる１つ以上のモーションセンサに基づくことができる。モーションセンサは、位置、回転、加速度などを検出することができる。実施形態では、モーションセンサは、携帯型デバイス内のジャイロスコープ、加速度計、重力センサ、または磁場センサを備える。フロー１００では、回転角は、回転メトリックを生成するために使用される（１５５）。回転メトリックは、垂直である携帯型デバイスの向き、または水平である携帯型デバイスの向きなどの回転の質を含み得る。回転メトリックは、小さい変更、中程度の変更、大きい変更などの回転角の変更の量を含み得る。回転メトリックは、１つ以上のメディアストリームに関連付けられた多様な計算およびレンダリングに適用され得る。実施形態では、回転メトリックは、マルチビュー再生のためのズーム計算およびレンダリング（以下で述べられる）に影響を及ぼし得る。

フロー１００は、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更すること（１６０）を含む。携帯型デバイスの向きを使用して、メディアストリーム情報などの情報が携帯型デバイス上にどの程度多くまたはどの程度少なく表示され得るかを決定することができる。垂直の向きの携帯型デバイスを使用して、映像ストリーム、映像ストリームに関連付けられた１つ以上の音声ストリームなどを表示することができる。携帯型デバイスが例えば水平の向きに回転されると、次いで、異なる表示オプションが利用可能になる。フロー１００は、回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更すること（１６２）をさらに含む。つまり、携帯型デバイスが水平の向きにあるとき、次いで、複数の映像ストリームが携帯型デバイス上に表示され得る。実施形態では、メディアストリームの組み合わせは、回転角に基づいて、元の向きのシングルビュー再生からマルチビュー再生に変更されることができる。この変更は、スマートフォン、タブレット、メディアプレーヤーなどの自分の携帯型デバイスをユーザが回転させることによって実現されることができる。実施形態では、元の向きは、携帯型デバイス上の実質的に垂直なディスプレイ画面を含む。使用例では、携帯型デバイスのディスプレイ画面は実質的に垂直であるが、次いで、シングルビュー再生を可能にすることができる。実施形態では、この組み合わせは、回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更されることができる。この組み合わせの変更は、携帯型デバイスを回転させることによって再び実現されることができる。実施形態では、元の向きは、携帯型デバイス上の実質的に水平なディスプレイ画面を含む。他の実施形態では、シングルビュー再生は、単一の映像チャネルおよび単一の音声チャネルを含むことができ、マルチビュー再生は、複数の映像チャネルおよび対応する複数の音声チャネルを含み得る。シングルビュー再生またはマルチビュー再生は、映像チャネル当たり単一の（例えば、モノラル）チャネルに限定される必要はない。他の実施形態では、シングルビュー再生は、単一の映像チャネルおよび一対の音声チャネルを含むことができ、マルチビュー再生は、複数の映像チャネルおよび対応する複数の対の音声チャネルを含む。対のチャネルを使用して、５．１チャネルのＳｕｒｒｏｕｎｄ Ｓｏｕｎｄ（商標）、Ａｔｍｏｓ（商標）などのコード化された音を可能にすることができるバイノーラルまたはステレオ音響を可能にすることができる。

フロー１００では、再生を変更することは、１つ以上のメディアストリームのズームに影響を与える（１６４）。ズームは、携帯型デバイスの回転の影響を受ける場合がある。ズーム計算は、映像ストリームにズームインすること、または映像ストリームをズームアウトすることを含み得る。ズームインする正のズームまたはズームアウトする負のズームなどのズームの量は、ディスプレイの傾き、押し／引き、回転などによって制御されることができる。実施形態では、ズームは、１つ以上のメディアストリームのために表示されている延長部分をもたらし得る。メディアストリームの延長部分は、変更前にメディアストリームが提示されたビューポートの外側のメディアストリームの一部分を含み得る。フロー１００は、１つ以上のメディアストリームに関係するキャプションを取得すること（１６６）を含む。１つ以上のキャプションは、音声チャネルの文字起こし、翻訳、説明などを含み得る。キャプションは、方向、歌詞、ステージキュー、ダンスステップ名、または他の情報を含み得る。さらなる実施形態は、回転角に基づいて、キャプションおよび１つ以上のメディアストリームの再生を変更することを含む。キャプションの再生を変更することは、キャプションを示すこと、キャプションを非表示にすることなどを含み得る。実施形態では、キャプションは、携帯型デバイスが実質的に垂直であるとき、削除されることができる。キャプションを削除することにより、視聴者は、気をそらすことなく映像および音声ストリームを楽しむことが可能になる。他の実施形態では、キャプションは、携帯型デバイスが実質的に水平であるときに表示されることができる。キャプションを追加することにより、音声の翻訳、曲の一部分、特に聞き取りにくく、わかりにくい部分などの間に明確な詞を提供することができる。受信したキャプション、または受信したキャプションの組み合わせを使用して（１６２）、メディアストリーム再生を変更すること（１６０）ができる。

フロー１００では、追加の音声ストリームは、回転角に基づいて、再生に追加される（１６８）。追加の音声ストリームは、デバイス回転後に音声ストリーム内に出現し得る追加の人々からの音声、携帯型デバイスの回転後に含まれる楽器からの音声などを含み得る。フロー１００は、１つ以上のメディアストリームのうちの少なくとも１つの延長部分に映像画像データを埋め込むこと（１７０）をさらに含む。使用例では、ユーザは、ズームした映像ストリームを自身の携帯型デバイス上で観る。次いで、ユーザは、映像ストリーム内で「右を見る」。映像ストリームの右へのビューは以前にビューポートによってブロックされていたため、次いで、右へのビューを含む情報が映像ストリームに埋め込まれる。映像データが利用可能であるとき、次いで、埋め込むことは、映像画像データを含む。映像画像データが利用可能ではないとき、次いで、データは、生成または合成されることができる。実施形態では、埋め込むことは、画像処理によって映像画像データを生成することによって実現されることができる。映像画像データを生成することは、外挿技法、合成技法などを使用して実現されることができる。実施形態では、埋め込むことは、１つ以上のメディアストリームのうちの少なくとも１つに含まれるコンテンツを超えて、映像ディスプレイの周辺領域をカバーすることができる。カバーする周辺領域は、携帯型デバイスが回転するときにビューから外れる領域を含み得る。他の実施形態では、周辺領域は、回転角に基づいて露出され得る。カバーすることおよび露出することの使用例では、ユーザは、携帯型デバイスを回転させることによって、映像ストリームの自分のビューを左から右にパンニングする。左への周辺領域をカバーし、一方で、右への周辺領域を露出させることができる。

さらなる実施形態は、携帯型デバイスの向きのさらなる変更を検出することを含むことができ、さらなる変更が、最初に決定された向きへの戻りを示し、追加の音声ストリームの音量が、戻りの大きさに基づいて小さくなる。携帯型デバイスの向きのさらなる変更を検出することを使用して、メディアストリームを一時停止するか、またはメディアストリームを停止することができる。さらなる変更の検出を使用して、単一の映像チャネルの再生、または組み合わされた多数の映像チャネルの再生に対する調整を行うことができる。

フロー１００における様々なステップは、開示された概念から逸脱することなく、順に変更し、繰り返し、省略することができる。フロー１００の様々な実施形態は、１つ以上のプロセッサによって実行可能なコードを含むコンピュータ可読媒体中に具体化されたコンピュータプログラム製品中に含まれ得る。

図２は、回転ベースの再生変更についてのフロー図である。１つ以上のメディアストリームは、メディアストリーム再生に使用される携帯型デバイス上で再生されることができる。１つ以上のメディアストリームの再生は、携帯型デバイスの向きに基づいて変更されることができる。携帯型デバイスの向きは、実質的に垂直の向き、実質的に水平の向き、または垂直（９０度）と水平（０度）との間の角度での向きを含み得る。携帯型デバイスの向きは、デバイスを回転させること、デバイスを傾けることなどによって変更されることができる。回転ベースの再生変更により、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になる。サーバからの１つ以上のメディアストリームであって、携帯型メディアストリーム再生デバイス上での表示の対象とされる、メディアストリーム。携帯型デバイスの向きは、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に決定される。携帯型デバイスの向きの変更が検出され、この変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。携帯型デバイスの回転角は、検出することに基づいて計算される。１つ以上のメディアストリームのうちの少なくとも１つの再生は、回転角に基づいて、携帯型デバイス上で変更される。

フロー２００は、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更すること（２１０）を含む。変更することは、回転の量、回転の速度などに基づくことができる。変更することは、閾値、値、値の範囲、必要条件、個人の好みなどに基づくことができる。再生されるメディアストリームは、メディアストリームのサブセットを含むことができ、メディアストリームのサブセットは、ユーザによって選択され、視聴回数、エンゲージメントスコア、映像の分析などに基づいて推奨され得る。実施形態は、回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更することを含む。再生を変更することは、メディアストリームを組み合わせるまたは削除すること、メディアストリームを開始するおよび停止するなどを含み得る。フロー２００では、この組み合わせは、回転角に基づいて、元の向きのシングルビュー再生２２０からマルチビュー再生に変更される。元の向きは、実質的に垂直の向きまたは実質的に水平の向きを含み得る。実施形態では、元の向きは、携帯型デバイス上の実質的に垂直なディスプレイ画面を含み得る。垂直ディスプレイは、単一のメディアストリームの再生に使用されることができる。シングルビュー再生は、複数のメディアストリームに基づくことができる。例えば、シングルビュー再生は、１つ以上の映像ストリーム、１つ以上の音声ストリーム、テキストストリームなどを含み得る。実施形態では、シングルビュー再生は、単一の映像チャネルおよび単一の音声チャネルを含み得る。以下および全体を通して述べられるように、マルチビュー再生は、複数の映像チャネルおよび対応する複数の音声チャネルを含み得る。単一の音声チャネルにより、モノラル音声が可能になり得、２つの音声チャネルにより、バイノーラル音声、ステレオ音声などが可能になり得る。実施形態では、シングルビュー再生は、単一の映像チャネルおよび一対の音声チャネルを含むことができ、マルチビュー再生は、複数の映像チャネルおよび対応する複数の対の音声チャネルを含む。

フロー２００では、メディアストリームの組み合わせは、回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更されること（２２２）ができる。携帯型デバイスの向きは、携帯型デバイスを回転させるユーザによって変更され得る。実施形態では、元の向きは、携帯型デバイス上の実質的に水平なディスプレイ画面を含み得る。ユーザは、携帯型デバイスを実質的に水平の向きから実質的に垂直の向きに回転させることによって、マルチビュー再生からシングルビュー再生に変更することができる。フロー２００では、再生を変更することは、１つ以上のメディアストリームのズーム２２４に影響を与える。ズームは、ズームインまたはズームアウトを含み得る。ズームはまた、メディアストリームがどのように再生されるかに影響を与え得る。実施形態では、ズームは、１つ以上のメディアストリームのために表示されている延長部分をもたらし得る。延長部分は、メディアストリーム（長尺映像）のノーカット部分、メディアストリームのスローモーション（「ｓｌｏ－ｍｏ」）バージョンなどを含み得る。フロー２００は、１つ以上のメディアストリームに関係するキャプションを取得すること（２２６）を含む。キャプションは、シーン説明および非スピーチ特徴などを含む、クローズドキャプション、字幕、歌詞、聴覚障害者のための字幕（ＳＤＨ）を含み得る。実施形態は、回転角に基づいて、再生キャプションおよび１つ以上のメディアストリームを変更することを含み得る。使用例では、キャプションは、携帯型デバイスが、ある向きにあるときに再生されることができ、キャプションは、携帯型デバイスが別の向きにあるときに非表示にされることができる。実施形態では、キャプションは、携帯型デバイスが実質的に水平であるときに表示される。他の実施形態では、キャプションは、携帯型デバイスが実質的に垂直であるときに削除されることができる。

フロー２００は、音声チャネルを変更すること（２２８）を含む。１つ以上の音声チャネルは、シングルビュー再生のために単一の映像チャネルに関連付けられることができることを忘れないこと。単一の音声チャネルにより、モノラル音声が可能になり得、２つの音声チャネルにより、バイノーラルまたはステレオ音声などが可能になり得る。実施形態は、単一の映像チャネルおよび単一の音声チャネルを含むシングルビュー再生を、複数の映像チャネルおよび対応する複数の音声チャネルを含むマルチビュー再生に変更することを含む。音声チャネルを変更することは、単一の映像チャネルおよび単一の音声チャネルを含むシングルビュー再生を、単一の映像チャネルおよび２つ以上の対応する音声チャネルを含むシングルビュー再生に変更することを含み得る。実施形態では、シングルビュー再生は、単一の映像チャネルおよび一対の音声チャネルを含む。

フロー２００は、１つ以上のメディアストリームのうちの少なくとも１つの延長部分を埋め込むこと（２３０）を含む。映像ストリームなどのメディアストリームの延長部分を埋め込むことにより、ユーザが映像ストリーム内で「周りを見る」ことが可能になり得る。つまり、ユーザは、左または右を見る、上または下を見る、前方に動かすことによって映像を「中に」動かし、後方に動かすことによって映像を外に戻すことができる。延長部分を埋め込むことは、実データ、生成または合成データなどに基づくことができる。実施形態は、１つ以上のメディアストリームのうちの少なくとも１つの延長部分に映像画像データを埋め込むことをさらに含む。映像画像データは、携帯型デバイス上でメディアストリームを再生するために使用されるビューポートの外側にある画像データを含み得る。ビューポートは、携帯型デバイスのディスプレイに適合するようにメディアストリームを切り取ることができる。ユーザが右パンニングなどのビューポートの外側をパンニングする場合、次いで、映像ストリームからの映像画像データは、延長部分を埋め込むために使用することができる。他の実施形態では、埋め込むことは、画像処理によって映像画像データを生成することによって実現されることができる。映像画像データを生成することは、外挿技法、画像合成技法などを使用して実現されることができる。実施形態では、埋め込むことは、１つ以上のメディアストリームのうちの少なくとも１つに含まれるコンテンツを超えて、映像ディスプレイの周辺領域をカバーすることができる。周辺領域をカバーすることは、マスク、フレームなどを使用して実現されることができる。他の実施形態では、周辺領域は、回転角に基づいて露出され得る。

フロー２００は、メディア音声を変更すること、メディア映像を変更すること、またはメディア音声およびメディア映像を変更すること（２３２）を含む。メディア音声を変更することは、音声ストリームを追加または消去することを含み得る。実施形態では、追加の音声ストリームは、回転角に基づいて、再生に追加されることができる。音声ストリームの追加を使用して、２Ｄまたは３Ｄ空間内の音声を表すことができる。実施形態では、再生を変更することが、没入型映像体験を可能にする。没入型映像体験に関連付けられた映像ストリームの変更を使用して、多次元空間内での動きを表すことができる。実施形態では、没入型映像体験により、仮想現実（ＶＲ）または拡張現実（ＡＲ）の視聴が可能になり得る。ＶＲまたはＡＲの視聴は、ヘッドフォン、映像ゴーグルなどの専用の音声および映像機器を使用して実現されることができる。さらなる実施形態は、携帯型デバイスの向きのさらなる変更を検出することを含み、さらなる変更が、最初に決定された向きへの戻りを示し、追加の音声ストリームの音量が、戻りの大きさに基づいて小さくなる。携帯型デバイスの元々決定された向きに戻ることを使用して、シングルまたはマルチビュー再生を一時停止するため、再生を終了するためなどに使用することができる。

図３は、幾何学的問題に変換された本明細書に開示されたときの視聴システムの例示的な構成を示す。視聴システムの構成を幾何学的問題に変換することにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。ユーザがスマートフォン、タブレットなどの電子デバイスを回転させると、映像のビューも回転させることができる。映像をディスプレイ上で見えるままにする場合、回転された映像は、映像を引き続き視聴することができるように、スケーリングされることができる。視聴システムの幾何学的問題３００への変換は、図３に示されている。映像は矩形ＶＯ ３０２で表され、映像のビューは別の矩形ＶＷ ３０４で表される。矩形ＶＷは、角度θだけ回転されることができる。３０４で表される回転した映像は、矩形３０２と完全に重なっていないことに留意されたい。したがって、映像は、矩形３０２内で完全に見えるようにするために、スケーリングされなければならない（ここでは、サイズが縮小されている）。図では、映像は、αでスケーリングされることができる。スケーリングされた映像は、ＶＯ ３０６内に位置付けられることができる。映像およびビューのどちらも、７２０ｐ（７２０ｘ１２８０）を有する標準的な縦型であり得る。

図４は、横型モードおよび縦型モードのビューポートを有する例示的なビューポートを示す。ビューポートは、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を強化することができる。図４は、ビューポート４００を示す。ビューポートは、直立または縦型の位置に向きを定めることができる。ビューポートが直立縦型位置４１０にある場合、次いで、映像のスケーリングは必要なく、システムは元の映像４０２を表示することができる。ビューポートが水平または横型の位置４１２にある場合、映像はスケーリングされることができる。映像のスケーリングは、映像内の表現をビューポートに適合させるために、（１２８０×７２０）から（７２０×４０５）の表現にスケーリングされることを含み得る。映像のスケーリングは、元の映像の３１．６％である視聴エリアをもたらし得る。ビューポートが映像の限度内に留まっていることを保証するためには、７７．８％のスケールが必要であり得る。ズーム倍率に関しては、視聴者がビューポートを回転させるときにスムーズな視聴体験を保証するために、映像内での激しい動きまたはスケーリングを回避する必要がある。映像についてのすべての視野角を通してスキャンすることによって最大および最小スケールが取得されると仮定すると、ズーム倍率は、最大スケールと最小スケールとの比率として定義することができる。
ズーム倍率＝最大スケール／最小スケール

図５は、ビューポートを内接円の中に適合させることによる、例示的な固定された向きの映像視聴体験を示す。ビューポートを内接円の中に適合させることにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。固定された向きの映像視聴体験５００は、円ベースの回転を使用して、ビューポート５０２を内接円５０４の中に適合させることによって実現される。ここで、さらなる境界条件を考慮することができる。映像矩形ＶＯ（前述の）が方形であると仮定すると、内接円を作成することができ、円の中に適合するためにビュー矩形ＶＷ（前述の）をスケーリングすることができる。つまり、ＶＷは、丸に内接した矩形になる。システムが円内で矩形を回転させ、固定スケールをもたらし、ズーム倍率が１に等しいとき、スケーリングは不要であることに留意されたい。つまり、方形の映像が記録されるとき、固定された向きの映像視聴体験は、ビューポートを内接円の中に適合させることによって容易に達成されることができる。方形ではない映像を考慮すると、映像は、方形の映像にトリミングされ得る。しかしながら、トリミングの結果として、映像のかなりの部分が切り取られる場合がある。

図６は、矩形サイズの映像６０２の、楕円形６０４への例示的な内接６００を示す。矩形映像を楕円形の中に内接することにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。この楕円形ベースの回転では、矩形の幅広の側を切り取り、円を回転させる代わりに、映像矩形ＶＯの内接した楕円形６０４（前述の）を作成することができる。すべての頂点が楕円形上に留まることができるわけではないため、内接した矩形をすべての角度で楕円形に対して見つけることはもはや不可能であり得る。しかしながら、システムは、依然として、楕円形６０４上の矩形サイズの映像６０２を適合させることができ、これは、楕円形６０４の中に垂直の向きまたは水平の向きに内接することができ、他の角度で楕円形６０４上に最大で２つの頂点を有することができる。

図７は、矩形を楕円形の中に適合させるための例示的な図である。矩形を楕円形７００の中に適合させることにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。代替的に、本明細書に開示される再生技術は、矩形映像を楕円形７０２の中に適合させてもよい。本明細書に開示される再生技術は、映像矩形ＶＯ７０４に内接された楕円形、およびθだけ回転したビュー矩形ＶＷの場合の最小スケールαを見つけるために以下に説明される手法を使用する。

（１）図７に示されるような楕円形７０２の式は、以下によって与えられ得る。

式中、
ａ＝０．５ｘ映像幅、ｂ＝０．５ｘ映像高さ。

（２）もう一方では、図６に示されるように、直立した回転していないビュー矩形ＶＷ６００の４つの頂点は、
ｗ＝０．５ｘビュー幅、ｈ＝０．５ｘビュー高さ、によって定義され得る。

（３）図８は、ビュー矩形の４つの頂点の位置を計算するための例示的な図である。ビュー矩形の４つの頂点の位置を計算することにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。ビュー矩形ＶＷ８００がシータだけ回転されるとき、４つの頂点は、
左上の頂点８０２：（－ｗ ｃｏｓ θ＋ｈ ｓｉｎ θ、－ｗ ｓｉｎ θ－ｈ ｃｏｓ θ）、
右上の頂点８０４：（ｗ ｃｏｓ θ＋ｈ ｓｉｎ θ、ｗ ｓｉｎ θ－ｈ ｃｏｓ θ）、
左下の頂点８０６：（－ｗ ｃｏｓ θ－ｈ ｓｉｎ θ、－ｗ ｓｉｎ θ＋ｈ ｃｏｓ θ）、
および
右下の頂点８０８：（ｗ ｃｏｓ θ－ｈ ｓｉｎ θ、ｗ ｓｉｎ θ＋ｈ ｃｏｓ θ）に動く。

（４）回転したビュー矩形ＶＷを楕円形内に適合させるために、実装形態は、ＶＷをαだけスケーリングし、（３）に再適用する。
ｗ’＝０．５α×ビュー幅、ｈ’＝０．５α×ビュー高さ

（５）１～４を組み合わせることにより、ＶＯ、ＶＷ、および回転角θの場合の最小スケールαを決定することができる。例えば、実装形態が右上の頂点が楕円形の中に収まっていることを確実にしたい場合、式は以下である。

楕円形の回転方法：本明細書に開示される映像再生技術の実装形態では、回転可能な映像視聴システムを設計する上述の幾何学的フレームワークが使用される。楕円形は、システム設計者がスケーリング倍率を決定するための代替的な数学的下限を与える。楕円法に基づいて、ズーム倍率が大幅に減少する。典型的なワイド画面の縦型映像およびスケール（９：１６）のデバイスについては、推奨されたスケールは、縦型で１．４１倍であり、約６０度回転で最大２．０４倍、横型で１．８６倍である。

図９は、回転度の関数としてのズーム倍率の例示的なグラフを示す。回転度の関数としてのズーム倍率を使用して、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を可能にすることができる。結果として、図９のグラフ９００によって示されるように、ズーム倍率は、７７．８％～４４．２％に減少する。その結果、ユーザがスケーリングされた映像を視聴する際に不快感を感じる可能性は低くなる。

スケーリング倍率の数学的下限の場合には、本明細書に開示される実装形態は、それが限度内に収まる限り、代替的なスケーリング曲線を使用する。追加のレンダリング強化は、以下で述べられる。

図１０は、映像の幅広の側のトリミングを示す。映像１０００の幅広の側をｘ％だけトリミングすることが図１０に示されている。映像の幅広の側をトリミングすることにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。映像パラメータおよび映像ディスプレイパラメータが決定され、映像の高さおよび幅に基づいて、矩形を楕円形内に内接するための最小スケール倍率が計算される。映画、テレビ番組、ビデオゲームなどの映像１０１０は、サイズ、アスペクト比、解像度、高さおよび幅の寸法などを含み得る。例えば、映像の寸法は、ディスプレイ１０２０の寸法とは異なり得る。映像をディスプレイ上で視聴するために、映像のスケーリング、改変、切り取り、切り捨てなどを行うことができる。実施形態は、映像の幅広の側を所定の割合でトリミングすることを含み得る。ゲーム内のアクションなどの映像の焦点は、一般に映像の中心に向かっているため、映像の幅広の側などの部分または縁部をトリミングすることができる。図では、映像は、一方の縁部１０１２に向かって、あるパーセンテージでトリミングされ、最小スケール値は、映像の高さおよび幅に基づいて矩形を楕円形内に内接するように計算されることができ、映像ディスプレイの高さおよび幅は、反対側または反対側の縁部に向かって、あるパーセンテージでトリミングされた矩形１０１４を画定する。全体を通して述べられるように、最小スケール値は、映像の高さおよび幅に基づいて、矩形１０２２を楕円形１０２４内に内接するように計算されることができる。映像の幅広の側をトリミングすることによって、映像の可視領域を映像ディスプレイ内で最大化することができる。映像を視聴している個人が映像内で左または右を見たい場合、トリミングされた部分としての延長部分には、映像画像データを埋め込むことができる。映像画像データは、画像処理、機械学習などを含む技法を使用して生成されることができる。

図１１は、ビューアラウンドの縦型の向きを有する固定されたスケールでの事前ズームおよび維持の一例（１１００）である。映像は、事前ズームすることができ、映像の固定スケールを維持して、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を支持することができる。映画またはビデオゲームなどの映像は、ディスプレイ１１１０上に示されことができる。ディスプレイは、解像度、寸法、アスペクト比などの関連するパラメータを含むことができ、ディスプレイのパラメータは、映像に関連付けられたパラメータと実質的に同様であるか、または実質的に異なる。楕円形１１１２は、映像またはスケーリングされたバージョンの映像に基づくことができ、映像の可視領域を最大化するために選択されることができる。映像は、ディスプレイに比例しない高さおよび幅、アスペクト比などを含み得る。つまり、映像は、単純に、ディスプレイ上の楕円形内に適合するようにスケーリングされることができない場合がある。実施形態では、映像は、事前ズームすることができる（１１２０）。映像の事前ズームは、ユーザによる映像の視聴全体を通して維持することができる。映像のアスペクト比がディスプレイのアスペクト比とは異なるとき、マスク１１２２および１１２４などのマスクを使用して映像をマスキングすることができる。

図１２は、回転された視野角の重なりを示す。代替的に、このシステムは、図１２に示されるように、回転したビュー矩形１２１０を楕円形１２０２内に重ねて、可視映像マスク１２００を取得する。マスク１２００は、映像を記録するユーザのための、および／または映像圧縮目的のための視覚的ヒントとして使用され得る。例えば、可視映像マスク１２００は、映像を記録するときにユーザが可視映像マスク１２００の境界を見ることができるように、ユーザに通信されることができる。例えば、可視映像マスク１２００は、ユーザが映像を記録しているときに、デバイス画面上に重ねられることができる。

図１３は、楕円形の中心からずれた映像の回転を示す。なお、代替的に、このシステムは、一連のビューポート１３００によって示されるように、映像１３０２を楕円形１３０４の中心からずれて回転させる。例えば、ビューポートは、１３１０で示されるように、横型で上向きまたは下向きに移行しながら、縦型で中心に位置することができる。この技法は、映像のハイライトをキャプチャするのに特に有用である。

別の実装形態では、中心からずれた回転を支持するために、「ハイライトアンカー」を映像上に位置決めすることができる。１つの実装形態では、本明細書に開示される映像再生技術は、ユーザがアンカーを設定することを可能にする。別の実装形態では、本明細書に開示される映像再生技術は、アンカーを自動的に設定される（コンピュータビジョン対応システムによって）。

図１４は、ユーザが視聴デバイスを傾けるか、または動かすことを可能にするビューポートの動きを示す。回転を支持するために、映像を視聴するためのビューポートが大きくなると（ズームイン）、視聴可能なマージンは、１つまたは多数の方向に存在することができる。したがって、１つの実装形態では、システムは、ユーザが視聴デバイスを左、右、上、および下に傾けるか、または動かすことを可能にする。そのような実装形態では、このシステムは、図の１４００に示されるように、それに応じてビューポートを動かす。ここで、「傾ける」は相対運動として定義されるのに対して、「動かす」は絶対運動として定義される。別の実装形態では、回転、移動、および傾けることは、映像クリエイターによって設定された時間の後にのみ可能である。

本明細書に開示される映像ディスプレイ技術は、ユーザが映像全体を１つの角度で視聴することができない独自の映像視聴体験を作成する。その結果、映像内の移動する被写体を追跡することによって、体験に関心を持つようにユーザを動機づけする。１つの実装形態では、部分的なビューのみが初期の視野角で見ることができるため、ユーザは、映像内のシーン全体を明らかにするために、視聴デバイスを回転させるように動機づけされる。

その上、本明細書に開示される映像ディスプレイ技術は、映像クリエイターにとって独自のストーリーテリング体験を可能にし、映像クリエイターは、様々な様式で映像の空間および時間を構成して、映像と関わり合うように視聴者に関心を持たせることができる。関心の高い視聴体験はまた、より効果的なモバイル映像広告のための広範な機会を表している。

図１５は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を提供するためのシステムの例示的な動作を示す。回転映像ブラウジング体験は、特定のソフトウェア内のコアアルゴリズムに依拠するが、一般の映像ブラウジングソフトウェアを使用する人々が部分的な体験を楽しむために、本明細書に開示される技術は、他の人々および他のソフトウェアと普遍的に共有することができる未加工の映像の特別バージョンを提供する。映像を共有するための１つ以上の動作１５００は、図１５に示されている。動作１５１０によって、映像体験を共有したい１人以上の友人（共有者）に、映像の共有バージョンで回転を開始したい場所を選択することを知らせることが可能になる。映像を垂直にブラウジングするために特別なソフトウェアを使用しているかのように、受信者が映像の一部だけを視聴することができるように、動作１５２０は、矩形形状のウィンドウを備えた未加工の映像上にマスクを適用する。続いて、映像タイムラインの１／４、２／４、または３／４での動作１５１０でのユーザの選択に依存して、動作１５３０は、受信者がデバイスを回転させ、映像の異なる部分を見ることができるかのように、動作１５２０におけるウィンドウを時計回りに回転させる。最後に、動作１５４０は、共有者がショートメッセージサービス（ＳＭＳ）または他のソーシャルネットワークを通して映像を送達することを可能にする。

デバイスがデスク上に平置きされるとき、重力の方向が画面に垂直になり、画面のＸ軸およびＹ軸上へのその投影が非常に小さくなる。コアアルゴリズムは、入力としてＸ軸およびＹ軸の読み取り値に依拠するため、入力は非常に低い信号対雑音比（ＳＮＲ）を有し、デバイスへの小さい妨害は、映像を著しく回転させ、不愉快なユーザ体験をもたらす場合がある。これを回避するために、本明細書に開示される実装形態は、Ｘ軸およびＹ軸の読み取り値が所定のＸ＿ＴＨＲＥＳＨＯＬＤおよびＹ＿ＴＨＲＥＳＨＯＬＤを下回る場合、任意の動作を回避する。このような実装形態のための擬似コードは、以下に与えられるとおりである。

コアアルゴリズムは、重力に対するデバイスの高度変化に非常に迅速に反応し得る。長時間観ていると、ユーザはそれに過応答性を感じ、乗り物酔いに罹る場合がある。本明細書に開示される実装形態は、高度変化における小さい揺動に応答することを回避することによって、乗り物酔いを低減する。そのような実装形態では、ソフトウェアは、デバイスの重力センサからアップデートを受信するたびに、ローパスフィルタ（ＬＰＦ）を適用し、ＬＰＦ出力をコアアルゴリズムへの入力として使用する。このような実装形態のための擬似コードは、以下に与えられるとおりである。

図１６は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を提供するためのシステムの代替的で例示的な動作１６００を示す。映像再生システムの概要が本明細書に開示される。動作１６１０は、様々なデバイス入力を収集する。動作１６２０は、デバイスが水平面上に置かれている場合、１つ以上の停止条件を処理する。動作１６３０は、ローパスフィルタ、映像挿入、ビューポート挿入などを含む１つ以上の事前プロセスを適用する。動作１６４０は、本明細書で述べられる様々なコアアルゴリズム動作を適用する。続いて、動作１６５０は、１つ以上の後処理動作を適用して、映像再生のスケールを滑らかにする。

図１７は、例示的なコンピューティングシステムを示す。システム１７００は、説明されたデバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を実装する際に有用であり得る。説明された技術を実装するための図１７の例示的なハードウェアおよび動作環境は、ゲーミングコンソールもしくはコンピュータ１７２０の形態の汎用コンピューティングデバイス、携帯電話、パーソナルデータアシスタント（ＰＤＡ）、セットトップボックス、または別のタイプのコンピューティングデバイスなどのコンピューティングデバイスを含む。図１７の実装形態では、例えば、コンピュータ１７２０は、処理ユニット１７２１、システムメモリ１７２２、およびシステムメモリを含む様々なシステムコンポーネントを処理ユニット１７２１に動作可能に結合するシステムバス１７２３を含む。コンピュータ１７２０のプロセッサが単一の中央処理ユニット（ＣＰＵ）、または一般的に並列処理環境と称される複数の処理ユニットを備えるように、１つのみの処理ユニット１７２１があり得るか、または複数の処理ユニット１７２１があり得る。コンピュータ１７２０は、従来のコンピュータ、分散コンピュータ、または任意の他のタイプのコンピュータであり得、実装形態は、そのように限定されない。

システムバス１７２３は、メモリバスまたはメモリコントローラ、周辺バス、スイッチングファブリック、ポイントツーポイント接続、および多様なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれかであり得る。システムメモリはまた、単にメモリと称されてもよく、読み取り専用メモリ（ＲＯＭ）１７２４およびランダムアクセスメモリ（ＲＡＭ）１７２５を含む。起動中などにコンピュータ１７２０内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入力／出力システム（ＢＩＯＳ）１７２６は、ＲＯＭ１７２４内に記憶される。コンピュータ１７２０は、ハードディスク（図示されず）から読み取り、そこに書き込むためのハードディスクドライブ１７２７、リムーバブル磁気ディスク１７２９から読み取り、そこに書き込むための磁気ディスクドライブ１７２８、およびＣＤ ＲＯＭ、ＤＶＤ、または他の光学メディアなどのリムーバブル光学ディスク１７３１から読み取り、そこに書き込むための光学ディスクドライブ１７３０をさらに含む。

ハードディスクドライブ１７２７、磁気ディスクドライブ１７２８、および光学ディスクドライブ１７３０は、それぞれ、ハードディスクドライブインターフェース１７３２、磁気ディスクドライブインターフェース１７３３、および光学ディスクドライブインターフェース１７３４によって、システムバス１７２３に接続される。ドライブおよびそれらの関連する有形のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ１７２０のための他のデータの不揮発性ストレージを提供する。磁気カセット、フラッシュメモリカード、デジタル映像ディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）など、コンピュータによってアクセス可能であるデータを記憶することができる任意のタイプの有形のコンピュータ可読媒体が例示的な動作環境で使用することができることを、当業者には理解されたい。本明細書に開示されるような映像再生システム１７０２を実装するための１つ以上のコンピュータ命令は、コンピュータ１７２０のメモリのうちの１つに実装され得る。

数多くのプログラムモジュールは、オペレーティングシステム１７３５、１つ以上のアプリケーションプログラム１７３６、他のプログラムモジュール１７３７、およびプログラムデータ１７３８を含む、ハードディスク、磁気ディスク１７２９、光学ディスク１７３１、ＲＯＭ１７２４、またはＲＡＭ１７２５上に記憶され得る。ユーザは、キーボード１７４０およびポインティングデバイス１７４２などの入力デバイスを通して、コマンドおよび情報をパーソナルコンピュータ１７２０に入れることができる。他の入力デバイス（図示されず）は、マイクロフォン（例えば、音声入力用）、カメラ（例えば、ナチュラルユーザインターフェース（ＮＵＩ）用）、ジョイスティック、ゲームパッド、衛星放送用アンテナ、スキャナなどを含み得る。これらおよび他の入力デバイスは、多くの場合、システムバスに結合されるシリアルポートインターフェース１７４６を通して処理ユニット１７２１に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースによって接続され得る。モニタ１７４７または他のタイプのディスプレイデバイスはまた、映像アダプタ１７４８などのインターフェースを介してシステムバス１７２３に接続される。モニタに加えて、コンピュータは、典型的には、スピーカおよびプリンタなどの他の周辺出力デバイス（図示されず）を含む。

コンピュータ１７２０は、リモートコンピュータ１７４９などの１つ以上のリモートコンピュータへの論理接続を使用して、ネットワーク環境内で動作することができる。これらの論理接続は、コンピュータ１７２０に結合された通信デバイスまたはコンピュータ１７２０の一部によって達成され、実装形態は、特定のタイプの通信デバイスに限定されない。リモートコンピュータ１７４９は、別のコンピュータ、サーバ、ルータ、ネットワークＰＣ、クライアント、ピアデバイス、または他の共通ネットワークノードであり得、典型的には、メモリ記憶デバイスのみが図１７に示されているが、コンピュータ１７２０に関係して上述した要素の多くまたはすべてを含む。図１７に図示された論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７５１およびワイドエリアネットワーク（ＷＡＮ）１７５２を含む。そのようなネットワーク環境は、オフィスネットワーク、企業間コンピュータネットワーク、イントラネット、すべてのタイプのネットワークであるインターネットにおいて一般的である。

ＬＡＮネットワーキング環境で使用されるとき、コンピュータ１７２０は、１つのタイプの通信デバイスである、ネットワークインターフェースまたはアダプタ１７５３を通してローカルネットワーク１７５１に接続される。ＷＡＮネットワーキング環境で使用されるとき、コンピュータ１７２０は、典型的には、モデム１７５４、ネットワークアダプタ、あるタイプの通信デバイス、またはワイドエリアネットワーク１７５２にわたって通信を確立するための任意の他のタイプの通信デバイスを含む。内部または外部であり得るモデム１７５４は、シリアルポートインターフェース１７４６を介してシステムバス１７２３に接続される。ネットワーク環境では、パーソナルコンピュータ１７２０に関係して図示されたプログラムエンジン、またはその一部分は、リモートメモリ記憶デバイス内に記憶され得る。示されるネットワーク接続は例であり、コンピュータ間の通信リンクを確立する他の手段、およびそのための通信デバイスが使用され得ることが理解されよう。

例示的な実装形態では、検索管理システム、様々なアプリケーション、検索コンテキストパイプライン、検索サービス、サービス、ローカルファイルインデックス、ローカルまたはリモートアプリケーションコンテンツインデックス、プロバイダＡＰＩ、コンテキストアプリケーションランチャ、ならびに他の命令およびデータを提供するためのソフトウェアまたはファームウェア命令ならびにデータは、メモリ１７２２および／または記憶デバイス１７２９もしくは１７３１内に記憶することができ、処理ユニット１７２１によって処理され得る。

図１８は、例示的なモバイルデバイスを示す。モバイルデバイス１８００は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を実装するために使用されることができる。モバイルデバイス１８００は、プロセッサ１８０２、メモリ１８０４、ディスプレイ１８０６（例えば、タッチ画面ディスプレイ）、および他のインターフェース１８０８（例えば、キーボード）を含む。メモリ１８０４は、一般に、揮発性メモリ（例えば、ＲＡＭ）および不揮発性メモリ（例えば、フラッシュメモリ）の両方を含む。Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）電話オペレーティングシステムなどのオペレーティングシステム１８１０は、メモリ１８０４内に常在し、プロセッサ１８０２によって実行されるが、他のオペレーティングシステムを採用することができることを理解されたい。

１つ以上のアプリケーションプログラムモジュール１８１２は、メモリ１８０４内にロードされ、プロセッサ１８０２によってオペレーティングシステム１８１０上で実行される。アプリケーション１８１２の例としては、限定されないが、電子メールプログラム、スケジューリングプログラム、個人情報マネージャ、インターネットブラウジングプログラム、マルチメディアプレイヤアプリケーションなどが挙げられる。１つの実装形態では、デバイス回転メトリック映像ストリーム再生アプリケーション１８３０に基づく音声および映像ストリームのレンダリング修正は、アプリケーションプログラムモジュール１８１２上に実装され得る。通知マネージャ１８１４はまた、メモリ１８０４内にロードされ、ユーザに通知を提示するためにプロセッサ１８０２によって実行される。例えば、プロモーションが始動されて、買い物客に提示され得るとき、通知マネージャ１８１４は、モバイルデバイス１８００にビープ音または（振動デバイス１８１８を介して）振動を発生させ、プロモーションをディスプレイ１８０６上に表示させることができる。

モバイルデバイス１８００は、１つ以上のバッテリまたは他の電源によって電力供給され、モバイルデバイス１８００の他の構成要素に電力を提供する電力供給源１８１６を含む。電力供給源１８１６はまた、内蔵バッテリまたは他の電源を無効にするか、または再充電する外部電源に接続され得る。

モバイルデバイス１８００は、ネットワーク接続性（例えば、モバイル電話ネットワーク、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を提供するための１つ以上の通信トランシーバ１８３２を含む。モバイルデバイス１８００はまた、ポジショニングシステム１８２０（例えば、グローバルポジショニング衛星トランシーバ）、１つ以上の加速度計１８２２、１つ以上のカメラ１８２４、音声インターフェース１８２６（例えば、マイクロフォン、音声アンプおよびスピーカ、ならびに／または音声ジャック）、および追加のストレージ１８２８などの様々な他の構成要素を含む。他の構成を採用することもできる。

例示的な実装形態では、モバイルオペレーティングシステム、様々なアプリケーション、ならびに他のモジュールおよびサービスは、メモリ１８０４および／または記憶デバイス１８２８内に記憶され、処理ユニット１８０２によって処理される命令によって具現化され得る。ユーザの好み、サービスオプション、および他のデータは、永続データストアとしてメモリ１８０４および／または記憶デバイス１８２８内に記憶され得る。

図１９は、ディスプレイデバイスの例示的な動き１９００を示す。スマートフォン、タブレット、またはＰＤＡなどを含むパーソナル電子デバイスに結合されたディスプレイなどのディスプレイデバイスは、映像を表示するために個人によって使用され得る。表示される映像は、映画、ビデオゲームなどを含み得る。個人が映像を視聴するときにディスプレイを回転させることができる。ディスプレイの回転は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正に使用される。ディスプレイ１９１０は、水平面１９２０に対して垂直などの初期の向きにあり得る。個人が映像を視聴するときに、ユーザは、ディスプレイを種々の回転量で回転させることができる。２つの回転は、第１の回転１９１２および第２の回転１９１４で示されている。ディスプレイの回転により、個人が延長部分の上、下、左、右など、映像の延長部分を視聴することが可能になり得る。ディスプレイはまた、平面内で回転することができる。平面内での回転は、時計回りの回転、反時計回りの回転などを含み得る。平面内での回転は、ビューポートを映像に変更することによって、没入型映像体験をさらに強化することができる。

図２０は、ディスプレイデバイスの例示的な回転２０００を示す。全体を通して述べられるように、個人は、スマートフォン、タブレット、ゲームコンソール、ラップトップコンピュータなどの電子デバイスに結合されたディスプレイを使用して、映画、テレビ番組、ビデオゲーム、または他の映像コンテンツを視聴することができる。個人が映像を視聴するときに、その個人がディスプレイを回転させることができる。ディスプレイの回転は、個人に提供されたビューポートを映像に変更することができる。ディスプレイの回転は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を強化する。電子機器２０１０は、上から視聴することができる。電子デバイスの回転は、前方および後方の回転（ピッチ）および平面内の回転（ロール）について上述したが、デバイスは、回転角２０１２によって示されるように、デバイスの上面に対してさらに回転する（ヨー）ことができる。このヨーの回転により、異なる視野角が可能になり得、左を見る、または右を見るなどの映像内アクションがさらに可能になり得る。映像のそのような視聴は、映像の延長部分を視聴することを含み得る。映像の延長部分には、生成された映像データを埋め込むことができ、生成された映像データは、画像処理技法、機械学習技法などを含む技法を使用して生成されることができる。

図２１は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を提供するためのシステムの例示的な動作２１００を示す。動作２１１０は、映像のサイズ、映像を表示するために使用されるビューポートのサイズ、ビューポートの角度、スケール倍率などを含む、映像の様々なパラメータを決定する。動作２１２０は、加速度計からの入力、ジャイロスコープからの入力などの様々なデバイス入力を決定する。動作２１３０は、ユーザのビューポート、ズーム倍率などの１つ以上の境界条件を決定する。動作２１４０は、矩形を楕円形内に内接するためのスケールの最小値を決定する。動作２１５０は、本明細書に開示される１つ以上の停止条件を処理する。例えば、１つの停止条件は、映像を表示するデバイスがデバイス入力によって示されるように実質的に水平な表面上に据えられる場合、本明細書に開示されるような映像の処理が停止されることであり得る。

動作２１６０は、本明細書に開示される１つ以上の前処理方法に従って、映像を前処理する。例示的なプリプロセッサは、ローパスフィルタを使用して映像を処理することができる。別の前処理動作は、本明細書に開示されるコアアルゴリズムが適用される前に、映像挿入および／またはビューポート挿入のうちの１つを含み得る。動作２１７０は、本明細書に開示される１つ以上のスケーリング方法に従って、矩形のスケールを滑らかにする。動作２１８０は、映像を矩形内に表示することができる。

図２２Ａは、デバイスビューポート上の初期映像を示す。システムの実装形態が開示され、デバイスのビューポートが回転されると、元の映像の可視領域を最大化するために、ビューポート内に示される映像が拡大される。言い換えれば、このシステムは、ビューポートの回転を実行しながら、映像の不可視領域を減少させるための技法を提案する。具体的には、２２００に示されるように、元の映像２２１０が示され、ビューポート上の可視領域２２１２も示される。２２１２は、２２１０における元の映像よりも小さいため、映像の一部のみがビューポート上に示され、したがって、任意の回転角でビューポート上で見られない映像の損失した領域２２１４をもたらす。

図２２Ｂは、デバイスビューポートが回転されるときの拡大映像を示す。もう一方では、提案されたシステムでは、２２０２に示すように、元の映像は２２２０であり、ビューポート上の可視領域は２２３０である。可視領域２２３０は、可視領域における映像コンテンツの損失がないことを示す２２２０の元の映像を完全に含む。映像が拡大されて、延長領域２２２４に埋め込まれる（２２２４Ａおよび２２２４Ｂによって側面に、ならびに２２２４Ｃ、２２２４Ｄ、２２２４Ｅ、および２２２４Ｆによって上部および下部に示されるように）。その上、上部の２２２２Ａおよび下部の２２２２Ｂは、ビューポート上でキャプチャされる映像の追加の部分を示す（一方、図２２００においてそれらは失われる）。１つの実装形態では、延長領域２２２４は、画像処理および／または機械学習技法によって生成されて、元の映像のサイズが２２２０を超えるビューポート２２３０の周辺領域を埋め込む映像画像で埋め込まれることができる。例えば、延長領域２２２４のコンテンツは、サイズ２２２０からビューポート可視領域２２３０への映像のシームレスな延長を示すように生成され得る。

図２２Ａおよび２２Ｂに開示される映像外挿または延長技術は、ビューポートがビューポートの垂直軸と比較して時計回りまたは反時計回り方向に傾いているため、ユーザが任意の側部または上縁部なしでビューポート上で映像を視聴することを可能にする。

図２３Ａは、放棄された映像部分を有するディスプレイを示す。全体を通じて述べられるように、映画、テレビシリーズ、教育用プログラム、政治的メッセージなどの映像は、ディスプレイ上にレンダリングされることができる。実施形態では、映像の一部分は放棄することができ、放棄は、映像に関連付けられたパラメータおよびディスプレイに関連付けられたさらなるパラメータに基づくことができる。映像の一部分を放棄することにより、映像およびディスプレイの能力、サイズ、解像度などの違いにより、ディスプレイ上の映像の視聴を強化または改善することが可能になり得る。映像の部分を放棄することにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になり得る。映像に関わる複数のパラメータ、およびデバイス上の映像ディスプレイに関わる第２の複数のパラメータが取得される。最小スケール値は、映像の高さおよび幅に基づいて矩形を楕円形に内接するように計算され、映像ディスプレイの高さおよび幅は、矩形を画定する。映像の矩形部分は、映像ディスプレイ上にレンダリングされ、矩形部分は、楕円形の境界上またはその内側にある。

放棄された映像部分を有する映像のディスプレイは、２３００に示されている。映像２３１０は、上述されるように、および全体を通して、多種多様な映像材料を含み得る。映像に関連する映像パラメータは、アスペクト比、解像度、フレームレート、リフレッシュレート、色温度などを含み得る。計算することができる最小スケールは、映像をスケーリングするために使用され、楕円形２３２０内に適合することができる映像矩形２３１２をもたらすことができる。矩形２３１２は元の映像よりも小さい（この例では）ため、映像部分２３１４および映像部分２３１６などの映像の一部分は、放棄され得る。実施形態では、映像部分の放棄は、映像のワイドサイドトリミングを使用して実現されることができる。スケーリングされた映像は、ラップトップコンピュータ、スマートフォンまたはＰＤＡ、タブレットなどの電子機器上で視聴されることができる。さらなる実施形態は、映像挿入およびビューポート挿入のうちの少なくとも１つを使用して映像を前処理することを含み得る。この例では、２つのビューポート：０度の回転を有するビューポート２３２２、および９０度の回転を有するビューポート２３２４が示されている。ビューポート２３２２は、垂直または縦型形式の映像を示すことができ、ビューポート２３２４は、水平または横型形式の映像を示すことができる。

図２３Ｂは、延長映像部分２３０２を有するディスプレイを示す。映像２３３０は、スケーリングされることができ、楕円形２３４０の境界上またはその内側にレンダリングされ得る。映像のレンダリングは、スマートフォンまたはタブレットなどの電子デバイス、ラップトップコンピュータなどのコンピューティングデバイスなどに関連付けられたディスプレイ上に映像を表示することを含み得る。楕円形は、楕円形が矩形２３４２内に適合することを可能にする寸法を有することができ、矩形は、デバイス視聴領域の幅および高さによって画定されることができる。映像は、１倍で（例えば、スケーリングされていないか、または改変されていない）または別の倍率でスケーリングされることができる。スケーリングは、映像の高さおよび映像の幅に適用されることができる。実施形態では、高さのスケーリング値および幅のスケーリング値は、映像の拡大を提供する。映像の拡大は、映像をズームインすることを含み得る。実施形態では、映像の拡大は、映像ディスプレイ内の映像の可視領域を最大化する。全体を通して述べられるように、映像は、映像挿入およびビューポート挿入のうちの少なくとも１つを使用して前処理されることができる。例では、２つのビューポート：水平または９０度回転されたビューポート２３４４、および垂直または０度回転されたビューポート２３４６が示されている。垂直のビューポートは、映像２３３０の境界の上方および下方に延長することに留意されたい。実施形態は、映像の延長部分に映像画像データを埋め込むことを含む。映像の延長部分は、延長部分２３３２および延長部分２３３４を含み得る。延長部分は、多様な技法を使用して埋め込まれることができる。一実施形態では、埋め込むことは、画像処理によって映像画像データを生成することによって実現されることができる。映像データは、内挿、外挿などを含む技法を使用して生成されることができる。他の実施形態では、埋め込むことは、機械学習によって映像画像データを生成することによって実現されることができる。機械学習は、シーンを分析し、どの映像画像データが延長部分（ｐｏｒｔｉｏｎ）または部分（ｐｏｒｔｉｏｎｓ）内に含まれ得るかを予測するために使用され得る。

図２３Ｃは、元の映像を有するディスプレイを示す。元の映像はビューポート内に表示されることができる。映像データを放棄すること、映像データをトリミングすること、または映像データを埋め込むことなく、ビューポートにより、元の映像領域の視聴が可能になるように、映像をスケーリングすることができる。元のデータ２３０４を有するディスプレイは、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正を支持する。上記および全体を通して述べられるように、映像２３５０は、楕円形２３６０の境界上またはその内側にレンダリングされることができ、映像のレンダリングは、パーソナル電子デバイス、コンピューティングデバイス上などに映像を表示することを含む。楕円形は、楕円形が矩形２３６２内に適合することを可能にする高さおよび幅の寸法を有する。映像は、楕円形内に適合するようにスケーリングされることができるか、またはスケーリングされないままにすることができる。スケーリングは、映像を楕円形内に適合させるように拡大することができ、映像の拡大は映像の可視領域を最大化することができる。前述のように、映像は、映像挿入およびビューポート挿入のうちの少なくとも１つを使用して、前処理されることができる。水平、横型、または９０度回転したビューポート２３６４、および垂直、縦型、または０度回転したビューポート２３６６を含む、２つのビューポートが示されている。垂直のビューポートは、映像２３５０の境界の上方および下方に延長することに留意されたい。ビューポートは、ビューポートが元の映像領域２３６８を含むようにスケーリングされることができる。垂直ビューポートをスケーリングすることにより、元の映像領域は、映像の延長部分を埋め込むか、またはそれをトリミングすることなく、使用されることができる。

図２４は、メディアストリームを再生することを示す。１つ以上のメディアストリームは、携帯型デバイス上に表示することができる。携帯型デバイスが回転されると、より多くのまたはより少ないメディアストリームを表示することができる。メディアストリームは、映像ストリーム、音声ストリームなどを含み得る。携帯型デバイスの向きに基づいてメディアストリームを出現させるまたは非表示にすることにより、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になる。１つ以上のメディアストリームは、サーバから受信され、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる。携帯型デバイスの向きは、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に決定される。携帯型デバイスの向きの変更が検出され、この変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。携帯型デバイスの回転角は、検出することに基づいて計算される。１つ以上のメディアストリームのうちの少なくとも１つの再生は、回転角に基づいて、携帯型デバイス上で変更される。

メディアストリームは、携帯型デバイス２４００上で再生されることができる。メディアストリーム２４０２、２４０４、および２４０６などの１つ以上のメディアストリームは、携帯型デバイス上で再生されることができる。メディアストリームは、映像マスキング領域２４１０内の空間位置に割り当てられ得る。映像マスキング領域は、携帯型デバイスの物理的寸法、サーバ、携帯型デバイスに関連付けられた再生エンジンなどによって決定されることができる。携帯型デバイス上で再生することができる１つ以上のメディアストリームの部分は、携帯型デバイスの向きに依存し得る。メディアストリーム２４０２、２４０４、および２４０６は、同じメディアストリーム、同じメディアストリームの一部、関連付けられたメディアストリーム、ユーザが選択したメディアストリームなどを含み得る。携帯型デバイスが実質的に垂直の向き２４２０にあるとき、より少ないメディアストリームが再生され得る。使用例では、携帯型デバイスが実質的に垂直の向きにあるとき、メディアストリーム２４０４のみがデバイス上で再生される。携帯型デバイスが実質的に水平の向きに回転されるとき、次いで、複数のメディアストリームを再生することができる。使用例では、携帯型デバイスが実質的に水平の向きにあるとき、メディアストリーム２４０２、２４０４、および２４０６は、携帯型デバイス上で再生されることができる。

言い換えれば、デバイス２４００のビューポートが回転されると、映像および／または音声の追加のストリームが、ビューポートおよびデバイスを通して示される。具体的には、デバイスは、複数の視聴覚ストリーム２４０２、２４０４、２４０６を使用し、それらを映像マスキング領域２４１０内の空間位置に割り当てることができる。具体的には、その角度などのデバイスのパラメータに基づいて、視聴覚ストリーム２４０２、２４０４、２４０６の追加の部分がビューポートに示され得る。例えば、ビューポートが直立位置２４２０にあるとき、視聴覚ストリーム２４０４のみが示される。しかしながら、ビューポートが水平位置２４２２にあるとき、視聴覚ストリーム２４０２、２４０４、および２４０６のすべてが視聴者に示される。これにより、異なる音声ストリームを含むことができるように、デバイス２４００の向きに基づいて、音を出現させることが可能になり得る。音の出現はまた、ある特定の向きに含まれている追加の音声ストリームを含み得る。

図２５は、中間ビューポート角度２５００を示す。携帯型デバイスは、実質的に水平の向きまたは実質的に垂直の向きに向きを定めることができるか、または水平（０度）と垂直（９０度）との間の角度で向きを定めることができる。実質的に垂直である携帯型デバイス上の元のメディアストリームの再生、または実質的に水平である携帯型デバイス上の組み合わされたメディアストリームの再生は、１つ以上の映像ストリーム、１つ以上の音声ストリーム、キャプションなどを含み得る。携帯型デバイスが水平と垂直との間の角度で向きを定められている場合、次いで、メディアストリーム、キャプションなどは、携帯型デバイス上で選択的に再生されることができる。選択されたコンテンツは、フレームワークに基づくことができる。中間ビューポート角度に基づくメディアストリーム再生により、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が可能になる。フレームワークは、映像ストリーム、音声ストリーム、追加情報などを含む１つ以上のメディアストリームの組み合わせを含み得る。フレームワークは、元のメディアストリーム２５０４を含むことができ、メディアストリームは回転され得る。フレームワークは、別のメディアストリーム２５０２を含むことができ、メディアストリーム２５０２は、元のメディアストリーム２５０４からのフレーム、メディアストリームの異なる部分などである。フレームワークは、追加のメディアストリーム２５０６をさらに含み得る。追加のメディアストリームは、カバーする、埋め込む、露出するなどが可能である。実施形態では、埋め込むことにより、１つ以上のメディアストリームのうちの少なくとも１つに含まれるコンテンツを超えて映像ディスプレイの周辺領域をカバーすることができる。

メディアストリームおよび追加情報の組み合わせは、携帯型デバイスの回転角に基づくことができる。フレームワーク内に含まれ得るメディアストリームおよび追加情報は、映像ストリームなどのメディアストリームの回転されたバージョン、含まれるまたはミュートされた音声ストリーム、含まれるもしくは省略された歌詞、翻訳、またはコメントなどを含み得る。フレームワークのコンテンツはボイスオーバー音声ストリーム、携帯型デバイスの回転に基づいて含まれ得る拡張音声ストリームなどを含み得る。実施形態では、回転角の計算は、携帯型デバイスに含まれる１つ以上のモーションセンサに基づくことができる。フレームワークは、声の変更またはモーフィングされた音声ストリームを含むこともできる。水平と垂直との間の中間角度へのデバイスの回転は、代替的な音声ストリームを含むことができ、代替的な音声ストリームは、異なるボーカリスト、異なる言語での歌詞、メディアストリームに関する解説などを含み得る。他の実施形態では、携帯型デバイスの回転は、減少する音声ストリーム、音声ストリームフェードなどに影響を与え得る。携帯型デバイスの回転方向に基づいて、メディアストリームの他の部分を露出させることができる。実施形態では、周辺領域は、回転角に基づいて露出され得る。

したがって、中間ビューポート角度２５００は、垂直または水平である中間の角度でビューポートを示す。この場合に示されるように、視聴覚ストリーム２５０２、２５０４、および２５０６の一部は、ビューポートへのそれらの空間的配分に基づいてビューポート上に示される。図２４および２５の示された実装形態では、同じプレイヤーが３つすべてのストリームの一部であるが、代替的な実装形態では、異なるプレイヤーが異なるストリームの一部であり得ることに留意されたい。

提案されたシステムは、ビューポートの回転角に基づいて多数の視聴覚ストリームの組み合わせを送達するフレームワークを作成する。可能な実装形態としては、（ａ）ユーザが視聴デバイスを回転させるときにのみ追加の音声ストリームが追加される、ボイスオーバーまたは拡張音声ストリーム、（ｂ）ユーザがデバイスを回転させるときに、可聴ストリームが１つまたは多数のストリームから代替的なストリームに変更されることを可能にする、声の変更またはモーフィングされた音声ストリーム、（ｃ）ユーザがデバイスを回転させるときに音声ストリームの一部がフェードアウトする、音声ストリームのボイスオフ、またはそれを小さくすることが挙げられるが、これらに限定されない。

図２６は、メディアストリームとともに追加情報を表示することを示す。全体を通して述べられるように、１つ以上のメディアストリームは、スマートフォン、タブレット、ＰＤＡ、専用のメディアプレーヤーなどの携帯型デバイス上で再生されることができる。ユーザが１つ以上のメディアストリームに関心を持っているときに、ユーザは、１つ以上のメディアストリームが再生されている携帯型デバイスを回転させることができる。メディアストリームは、ビューポートを通して視聴されることができ、ビューポートにより、メディアストリームの一部分の視聴が可能になり得る。ビューポートは、メディアストリームの一部分をカバーし、メディアストリームの視聴可能な部分を延長することができる。携帯型デバイスがユーザによって回転されると、ビューポートの角度が回転する。再生されているメディアストリームは、携帯型デバイスの向きに依存して、組み合わせられるか、または削除されることができる。ビューポートのいくつかの向きでは、追加情報は、１つ以上のメディアストリームとともに表示されることができる。追加情報を表示すると、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正が支持される。

追加情報２６００は、メディアストリーム再生のために表示され得る。携帯型デバイスが垂直に向きを定められる場合、ビューポート２６０２は、実質的に垂直または直立の向きに向きを定められ得る。この位置に携帯型デバイスの向きを定めることを使用して、１つ以上のメディアストリームの再生を音声および映像再生のみに制限することができる。デバイスは、実質的に垂直の向きから実質的に水平の向き２６０４などの別の向きに時計回りまたは反時計回りに回転されることができる。回転の結果として、追加情報は、１つ以上のメディアストリームの再生とともに表示されることができる。追加情報は、１つ以上のメディアストリームにわたってレンダリングされたキャプションとして表示されることができる。１つ以上のメディアストリームに関係し得るキャプションを取得することができる。実施形態では、キャプションは、携帯型デバイスが実質的に水平であるときに表示されることができる。使用例では、ミュージック映像を再生するために使用されている携帯型デバイスの垂直から水平の向きへの回転は、キャプション内に歌詞を含み得る。さらなる実施形態では、再生、キャプション、および１つ以上のメディアストリームを変更することは、回転角に基づくことができる。携帯型デバイスが再び回転される場合、再生をさらに変更することができる。実施形態では、携帯型デバイスが実質的に垂直であるとき、キャプションを削除することができる。値、フラグなどを使用して、キャプションを示すかどうかを決定することができる。使用例では、ビューポートの垂直位置に０の値が割り当てられ、ビューポートの水平位置に１の値が割り当てられていると仮定する。ビューポートの角度が回転し、割り当てられた値が０から１に変更されると、歌詞の不透明度は、１（完全に透明）から０（明瞭な白または可視）に変更され得る。メディアストリームの他の態様も改変させることができる。ミュージック映像のメディアストリームへの改変は、ボーカルトラック、１つ以上の楽器トラックなどの音量を調整することを含み得る。つまり、ボーカル、楽器、歌詞などは、携帯型デバイスが回転すると、メディアストリームをフェードインまたはフェードアウトすることができる。

このように、図２６は、図２４～２５に開示されるシステムの特別な実装形態を示し、ビューポートの角度が回転されると、表示されている視聴覚ストリームに関する追加情報をビューポートに追加することができる。例えば、ビューポートが直立位置２６０２（またはユーザによって認識されるような実質的に直立位置）にあるとき、視聴覚ストリームのみが表示される。しかしながら、ビューポートが２６０４および２６０６に対して反時計回りに回転すると、視聴覚ストリームの歌詞のキャプションがビューポートに追加される。歌詞キャプションは、回転角が変更されるときにフェードインまたはフェードアウトされ得る。したがって、例えば、ビューポートの垂直位置に０の値が割り当てられ、ビューポートの水平位置に１の値が割り当てられていると仮定する。ビューポートの角度が回転し、割り当てられた値が０から１に変更されると、歌詞の不透明度は、１から０に（完全に透明、したがって不可視から、明るい白色に）変更される。同時に、ボーカルトラック音量が１から０に変更されるため、音楽がカラオケスタイルでの音楽伴奏となる。このようにして、レンダリングは、音声ストリームを追加すること、および音声ストリームを差し引くことを含むことができる音声ストリームの動的な組み合わせである。他の実施形態では、音声ストリームは、異なる言語で音声を提供することができ、言語は、デバイスの向きまたはデバイスの向きの変更に基づいて変更されることができる。

図２７は、メディアストリーム再生のためのブロック図２７００を示す。メディアストリーム再生は、１つ以上の音声ストリーム、１つ以上の映像ストリームなどを含み得る。１つ以上のメディアストリームは、携帯型デバイス上に表示されることができる。携帯型デバイスは、ユーザによって回転され得、回転は、１つ以上のメディアストリームの再生がどのように生じるかを制御することができる。メディアストリーム再生は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正によって可能になる。１つ以上のメディアストリームは、サーバから受信され、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる。携帯型デバイスの向きは、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に決定される。携帯型デバイスの向きの変更が検出され、この変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。携帯型デバイスの回転角は、検出することに基づいて計算される。１つ以上のメディアストリームのうちの少なくとも１つの再生は、回転角に基づいて、携帯型デバイス上で変更される。

ストリーム１ ２７１０、ストリーム２ ２７１２、ストリームＮ ２７１４などの１つ以上の映像ストリームは、サーバ（図示せず）上に記憶することができる。サーバは、ローカルサーバ、リモートサーバ、クラウドサーバ、分散サーバなどを含み得る。サーバは、メディアストリームを記憶することができ、メディアストリームは、映像ストリーム、音声ストリームなどを含み得る。映像ストリームは、映像、短尺映像などを含み得る。音声ストリームは、シングルチャネル音声（モノ）、マルチチャネル音声（ステレオ、５．１、Ａｔｍｏｓ（商標））などを含み得る。サーバ上に記憶することができるメディアストリームは、ユーザによってアップロードされ、インターネットなどのコンピュータネットワークにわたってダウンロードされることができる。メディアストリームは、携帯型デバイス２７２０上で再生されることができる。携帯型デバイスは、スマートフォン、タブレット、携帯情報端末（ＰＤＡ）、専用のメディアストリームプレイバックデバイスなどを含み得る。

携帯型デバイスは、再生エンジン２７３０を含み得る。再生エンジンは、携帯型デバイスに結合された電子ハードウェア、携帯型デバイス上にロードされ、そこで実行するプログラム、コード、またはアプリなどを含み得る。再生エンジンは、サーバから１つ以上の映像ストリームを受信することができる。再生エンジンは、１つ以上のメディアストリームを携帯型デバイス上での表示の対象とすることができる。携帯型デバイスは、ディスプレイ２７４０を含み得る。ディスプレイは、ＬＣＤディスプレイ、ＬＥＤディスプレイなどを含み得る。ディスプレイは、タッチ画面ディスプレイを含むことができ、タッチ画面ディスプレイは、携帯型デバイスのユーザによって加えられた圧力の量に応答し得る。ディスプレイは、ユーザによって回転され得る。ディスプレイの回転は、ディスプレイを時計回りまたは反時計回りに回転させること、画面をユーザから離すように、またはユーザに向かって傾斜させることなどを含み得る。ディスプレイの回転は、ディスプレイの向きを垂直の向きから水平の向きに、水平の向きから垂直の向きに、または水平と垂直との間の向きに対応する角度に変更されることを含み得る。携帯型デバイスに関連付けられたディスプレイの向きは、携帯型デバイスの向きの変更を検出することによって決定されることができる。

決定された回転角は、再生エンジンに提供され得る。再生エンジンは、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームの再生を変更することができる。回転角は、再生エンジンによって使用されて、メディアストリームを組み合わせるか、またはメディアストリームを「組み合わせ解除」することができる。回転角は、メディアストリームをスピードアップする、スローダウンする、一時停止する、開始するなどに使用されることができる。実施形態では、回転角は、回転メトリックを生成するために使用され得る。回転メトリックは、携帯型デバイス上の多数のメディアストリームビュー再生のためのズーム計算およびレンダリングに影響を及ぼし得る。キャプションはメディアストリームとともに表示されることができることを忘れないこと。実施形態は、回転角に基づいて、再生、キャプション、および１つ以上のメディアストリームを変更することを含む。回転角は、携帯型デバイス上の１つ以上のメディアストリームの再生をさらに制御するために使用され得る。回転角は、１つ以上のメディアストリームのうちの少なくとも１つに含まれるコンテンツを超えて、映像ディスプレイの周辺領域をカバーするために使用され得る。カバーする周辺領域は、１つ以上のメディアストリームでフレーム、マスクなどを表示することを含み得る。他の実施形態は、１つ以上のメディアストリームのうちの少なくとも１つの延長部分に映像画像データを埋め込むことを含む。使用例では、ユーザは、自身の携帯型デバイスを右、左、上、または下に回転させて、メディアストリーム内の右、左、上、または下まで「見る」ことができる。メディアストリームの延長部分を埋め込むことは、映像画像データで実現することができる。他の実施形態では、埋め込むことは、画像処理によって映像画像データを生成することによって実現することができる。

図２８は、メディアストリーム再生のためのシステム図である。メディアストリーム再生は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正に基づくことができる。システム２８００は、命令を記憶するメモリ２８１２に結合された１つ以上のプロセッサ２８１０を含み得る。システム２８００は、データ、映像、中間ステップ、命令、短尺映像などを表示するために１つ以上のプロセッサ２８１０に結合されたディスプレイ２８１４を含み得る。実施形態では、１つ以上のプロセッサ２８１０は、メモリ２８１２に結合され、１つ以上のプロセッサは、記憶される命令を実行するときに、サーバから１つ以上のメディアストリームを受信することであって、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に携帯型デバイスの向きを決定することと、携帯型デバイスの向きの変更を検出することであって、変更が、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる、検出することと、検出することに基づいて、携帯型デバイスの回転角を計算することと、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更することと、を行うように構成されている。

システム２８００は、メディアストリーム２８２０として表される映像およびデータの収集または保存場所を含み得る。メディアストリーム２８２０の映像およびデータは、１つ以上のプロセッサに結合された電子ストレージ、データベース、１つ以上の静的にリンクされたライブラリ、１つ以上の動的にリンクされたライブラリ、または他の適切な映像もしくはデータのメディアストリーム形式などのストレージ内に記憶され得る。メディアストリームは、映画、テレビシリーズ、ニュース番組、スポーツイベント、政治討論会、映像、短尺映像、映像フレーム、コンポジット映像などの多様なメディアコンテンツを含み得る。データは、映像ディスプレイ、メディアストリームメタデータなどに関連付けられたデータを含み得る。映像または他のメディアコンテンツは、ストーリー、広告、政治的メッセージ、教育用セグメントなどを提示することができる。映像または短尺映像などのメディアストリームは、複数の映像の中からの映像を含むことができ、映像は、広範囲のまたは多様なコンテンツを含み得る。データは、以下で述べられるように、メディアストリームに関連付けられ得るテキスト情報またはデータを含み得る。テキスト情報は、画像情報、テーマなどで拡張することができる。

システム２８００は、受信コンポーネント２８２５を含み得る。受信コンポーネント２８２５は、システム２８００がデバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のためのメディアストリーム２８２０を受信することを可能にし得る。受信コンポーネントは、プロセッサ２８１０、メモリ２８１２、および／またはディスプレイ２８１４も含むデバイス内に含まれ得る。受信コンポーネント２８２５は、システム２８００の他のコンポーネントから外部に含まれ得る。受信コンポーネント２８２５は、インターネットまたは他の好適なネットワークなどのネットワークからメディアストリーム２８２０を受信することができる。１つ以上のメディアストリームは、携帯型メディアストリーム再生デバイス上での表示の対象とされる。サーバは、ローカルサーバ、リモートサーバ、クラウドベースのサーバ、分散サーバなどを含み得る。携帯型メディアストリーム再生デバイスは、スマートフォン、タブレット、ＰＤＡなどのパーソナル電子デバイスを含み得る。携帯型デバイスは、１つ以上のメディアストリームを実質的に同時に表示することができる。１つ以上のメディアストリームは、映像、短尺映像などを含み得る。受信されるメディアストリームは、サーバ上のメディアストリームのライブラリからダウンロードされるか、またはそれによって推奨される、ユーザによって選択される、ユーザに提供される、ユーザによってクラウドソーシングされるなどであり得る。メディアストリーム、映像、短尺映像などは、多様なコンテンツを含み得る。メディアストリームは、旅行映像、料理映像、住宅リフォーム映像、メイクアップ映像、動物映像などを含み得る。メディアストリームは、携帯型メディアストリーム再生デバイス上での表示に適切なアスペクト比、解像度、色温度の範囲、輝度の範囲などを含み得る。受信コンポーネントは、映像シーン分析などのメディアストリーム分析をさらに実行することができ、映像シーン分析は、複数の映像の各々に対して実行される。映像シーン分析は、映像カット、映像コンテンツなどを検出することを含み得る。

システム２８００は、決定コンポーネント２８３０を含み得る。決定コンポーネント２８３０は、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中の携帯型デバイスの向きを含む、映像に関わる複数のパラメータ、および映像ディスプレイに関わる第２の複数のパラメータを決定するための機能および命令を含み得る。向きは、コンパスベースの方向または重力ベースの位置を使用することによってなど、絶対的な感覚で決定されることができる。代替的に、向きは、任意の出発点、例えば、再生が最初に開始されるときのデバイスの向きからのデバイス位置の加速度計ベースの変更を使用することによってなど、相対的な感覚で決定されることができる。映像に関わる複数のパラメータは、映像コンテンツ、解像度、持続時間、デジタル著作権管理情報などを含み得る。実施形態は、映像のサイズ、ビューポートのサイズ、ビューポートの回転角、およびスケール倍率を含む、映像の様々なパラメータを決定することを含む。映像ディスプレイに関わる第２の複数のパラメータは、ディスプレイタイプ、サイズ、解像度、リフレッシュレート、色温度、ディスプレイの向き（相対的または絶対的）などを含み得る。携帯型デバイスの向きは、携帯型デバイスに関連付けられたディスプレイ画面の向きを含み得る。実施形態では、携帯型デバイスの向きは、実質的に垂直の向き、実質的に水平の向き、水平または垂直に対する回転された向きなどを含み得る。向きは、携帯型デバイスの時計回りの回転、携帯型デバイスの反時計回りの回転などを含み得る。携帯型デバイスの向きは、メディアストリームの再生速度に影響をもたらすことによって、メディアストリームの再生に影響を与え得る。以下で述べられるように、携帯型デバイスの向きは、携帯型デバイス上上で再生することができるメディアストリームの数またはそれらの組み合わせの変更の原因となり得る。実施形態では、メディアストリームの組み合わせは、回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更されることができる。使用例では、ユーザは、自身の携帯型デバイスを実質的に水平の向きに保持しながら、２つ以上のメディアストリームを並べて視聴することができる。自分のデバイスを実質的に垂直の向きに回転させた後、１つのメディアストリームは、引き続き視聴するために残されることができる。

システム２８００は、検出コンポーネント２８４０を含み得る。検出コンポーネント２８４０は、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に携帯型デバイスの向きの変更を検出することを含む、映像ストリームおよび映像ストリームディスプレイに関わる複数のパラメータの変更を検出するための機能および命令を含み得る。コンポーネント２８４０を検出することによって検出される変更は、相対的変更、絶対的変更、または相対的変更および絶対的変更の両方の組み合わせであり得る。携帯型デバイスの向きの変更は、水平から垂直、垂直から水平に向きを変更すること、または垂直と水平との間の任意の角度に基づいて向きを変更することを含み得る。携帯型デバイスの向きの変更は、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる。向きの変更は、ロール、ピッチ、およびヨーの向きの変更を含む、三次元（３Ｄ）空間内で生じ得る。システム２８００は、同じかまたは異なる応答による３Ｄ変化に適応することができる。例えば、縦型から横型への向きの変更は、１つのタイプの変更を呼び出すことができるのに対して、垂直から水平への向きの変更は、同じかまたは異なるタイプの変更を呼び出すことができる。

システム２８００は、計算コンポーネント２８５０を含み得る。計算コンポーネント２８５０は、再生デバイスの初期の向きを決定すること、および携帯型再生デバイスの向きの変更を検出することに基づいて、再生デバイスの回転角を計算するための機能および命令を含み得る。初期の向きおよび向きの変更は、相対量、絶対量、または相対量および絶対量の両方の組み合わせであり得る。計算コンポーネント２８５０は、１つ以上のメディアストリームを修正または変更するために使用される回転メトリックを計算することができる。回転角を計算することにより、度、ラジアンなどに基づいて角度を決定することができる。実施形態では、回転角は、回転メトリックを生成するために使用されることができ、回転メトリックは、マルチビュー再生のためのズーム計算およびレンダリングに影響を及ぼす。使用例では、携帯型デバイスを自身から離すように傾斜させることによって自分の携帯型デバイスの回転角を変更するユーザは、メディアストリームをズームアウトすることができ、一方で、デバイスを自身に向かって傾斜させると、メディアストリームをズームインすることができる。携帯型デバイスを時計回りまたは反時計回りに回転させると、１つ以上のメディアストリームまたはメディアストリームの組み合わせのビューを変更することができる。実施形態では、この組み合わせは、回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更されることができる。回転角は、１つ以上のメディアストリームの再生速度、メディアストリームに基づいて提供されるキャプショニングなどを変更するためにさらに使用されることができる。以下でさらに述べられるように、実施形態は、回転角に基づいて、再生、キャプション、および１つ以上のメディアストリームを変更することを含み得る。

システム２８００は、コンポーネントを変更すること（２８６０）を含み得る。コンポーネントを変更すること（２８６０）は、映像ストリームを修正するための機能および命令を含み得る。コンポーネントを変更すること（２８６０）は、デバイス回転メトリックに基づく音声および映像ストリームのレンダリング修正のための機能および命令を含み得る。レンダリングは、重力センサデータ、トリミング、ズームなどに基づくことができる。レンダリングは、映像を矩形に表示することを含み得る。全体を通して述べられるように、矩形で表示することは、スケーリング、ズーム、トリミングなどに基づくことができる。レンダリングは、可視映像マスクを含むことができ、可視映像マスクは、矩形を回転させることによって生成されることができる。実施形態では、レンダリングは、可視映像マスクをユーザに通信すること、および可視映像マスクを映像記録デバイス画面上に重ねることを含み得る。映像録画デバイスは、映像カメラ、ウェブカメラ（ウェブカム）などのデジタル映像録画デバイスを含み得る。レンダリングは、携帯型の映像および音声メディアストリーム再生デバイスについて計算される回転メトリックに基づくことができる。変更することは、１つ以上のメディアストリームを変更することを含み得る。実施形態は、回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更することを含む。変更することは、１つ以上のメディアストリームを再生から削除すること、１つ以上のメディアストリームを追加することなどを含み得る。実施形態では、この組み合わせは、回転角に基づいて、元の向きのシングルビュー再生からマルチビュー再生に変更される。

ユーザが自分の携帯型デバイスを垂直の向きから水平の向きに回転させる使用例を考慮されたい。プレイは、デバイスが垂直に向きを定められている間のシングルビュー再生から、デバイスが水平の向きにある間に視聴可能であり得るメディアストリームの組み合わせに変更されることができる。同様に、ユーザが自分の携帯型デバイスの向きを水平から垂直に変更する場合にプレイを変更することができる。実施形態では、組み合わせは、回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更されることができる。デバイスは、水平の向きまたは垂直の向きに単独で向きを定める必要はない。デバイスは、水平（０度）と垂直（９０度）との間の任意の角度で向きを定めることができる。再生はまた、１つ以上のメディアストリームに関連付けられたキャプショニングを含み得る。さらなる実施形態は、回転角に基づいて、再生、キャプション、および１つ以上のメディアストリームを変更することを含み得る。上記および全体を通して述べられるように、再生を変更することは、１つ以上のメディアストリームのズームインまたはズームアウトに影響を与え得る。再生を変更することにより、ユーザは、携帯型デバイス上で、１つ以上のメディアストリームがどのように提示、レンダリング、または表示されるかを制御することが可能になる。実施形態では、再生を変更することにより、没入型映像体験が可能になり得る。没入型映像体験は、仮想現実体験、拡張現実体験、複合現実体験などを可能とする。この変更を使用して、メディアストリームの再生のさらなる特性を制御することができる。さらなる実施形態は、携帯型デバイスの向きのさらなる変更を検出することを含み、さらなる変更が、最初に決定された向きへの戻りを示し、追加の音声ストリームの音量が、戻りの大きさに基づいて小さくなる。

システム２８００は、メディアストリーム再生のためのコンピュータ可読媒体内に具体化されたコンピュータプログラム製品であって、当該コンピュータプログラム製品が、コードを含み、当該コードが、１つ以上のプロセッサに、以下の動作：サーバから１つ以上のメディアストリームを受信することであって、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に携帯型デバイスの向きを決定することと、携帯型デバイスの向きの変更を検出することであって、変更が、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる、検出することと、検出することに基づいて、携帯型デバイスの回転角を計算することと、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更することと、を実施させる、コンピュータプログラム製品を含み得る。

システム２８００は、メディアストリーム再生のためのコンピュータシステムであって、命令を記憶するメモリと、メモリに結合された１つ以上のプロセッサであって、１つ以上のプロセッサが、記憶される命令を実行するときに、サーバから１つ以上のメディアストリームを受信することであって、１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生中に携帯型デバイスの向きを決定することと、携帯型デバイスの向きの変更を検出することであって、変更が、１つ以上のメディアストリームのうちの少なくとも１つの再生中に生じる、検出することと、検出することに基づいて、携帯型デバイスの回転角を計算することと、回転角に基づいて、携帯型デバイス上の１つ以上のメディアストリームのうちの少なくとも１つの再生を変更することと、を行うように構成されている、１つ以上のプロセッサと、を備える、コンピュータシステムを提供することができる。

上記の方法の各々は、１つ以上のコンピュータシステム上の１つ以上のプロセッサ上で実行され得る。実施形態は、様々な形態の分散コンピューティング、クライアント／サーバコンピューティング、およびクラウドベースのコンピューティングを含み得る。さらに、本開示のフローチャートに含まれる図示されたステップまたはボックスは、単に例示および説明であることが理解されよう。ステップは、本開示の範囲から逸脱することなく、修正されるか、省略されるか、繰り返されるか、または再順序付けされ得る。さらに、各ステップは、１つ以上のサブステップを含み得る。前述の図面および説明は、開示されるシステムの機能的態様について記述しているが、ソフトウェアおよび／またはハードウェアの特定の実装形態または配置は、明示的に記述されない限り、または別段文脈から明確でない限り、これらの説明から推測されるべきではない。ソフトウェアおよび／またはハードウェアのすべてのそのような配置は、本開示の範囲内に収まることが意図される。

ブロック図およびフローチャートの例示は、方法、装置、システム、およびコンピュータプログラム製品を図示している。ブロック図およびフロー図内の要素および要素の組み合わせは、機能、ステップ、もしくは方法のステップの群、装置、システム、コンピュータプログラム製品、および／またはコンピュータ実装方法を示す。本明細書で一般に「回路」、「モジュール」、または「システム」と称される任意のおよびすべてのそのような機能は、コンピュータプログラム命令、特別な目的のハードウェアベースのコンピュータシステム、特別な目的のハードウェアとコンピュータ命令との組み合わせ、および汎用ハードウェアとコンピュータ命令との組み合わせなどによって実装され得る。

上述のコンピュータプログラム製品またはコンピュータ実装方法のいずれかを実行するプログラマブル装置は、１つ以上のマイクロプロセッサ、マイクロコントローラ、埋め込み式マイクロコントローラ、プログラマブルデジタル信号プロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイ論理、メモリデバイス、特定用途向け集積回路などを含み得る。各々は、コンピュータプログラム命令を処理し、コンピュータ論理を実行し、コンピュータデータを記憶するなどを行うように好適に採用または構成することができる。

コンピュータは、コンピュータ可読記憶媒体からのコンピュータプログラム製品を含むことができ、この媒体は、内部または外部、着脱可能および交換可能、または固定され得ることが理解されよう。加えて、コンピュータは、本明細書で説明されるソフトウェアおよびハードウェアを含むか、それらとインターフェースするか、またはそれらを支持し得る、基本入力／出力システム（ＢＩＯＳ）、ファームウェア、オペレーティングシステム、データベースなどを含み得る。

本発明の実施形態は、従来のコンピュータアプリケーション、またはそれらを起動するプログラマブル装置に限定されない。例示するために：現在特許請求されている本発明の実施形態は、光学コンピュータ、量子コンピュータ、アナログコンピュータなどを含むことができる。コンピュータプログラムをコンピュータ上にロードして、図示された機能のいずれかおよびすべてを実施することができる特定の機械を製造することができる。この特定の機械は、図示された機能のいずれかおよびすべてを行うための手段を提供する。

１つ以上のコンピュータ可読媒体の任意の組み合わせとしては、ストレージのためのコンピュータ可読媒体；電子、磁気、光学、電磁、赤外線、もしくは半導体コンピュータ可読記憶媒体または前述の任意の好適な組み合わせ；ポータブルコンピュータディスケット；ハードディスク；ランダムアクセスメモリ（ＲＡＭ）；読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ、Ｆｌａｓｈ、ＭＲＡＭ、ＦｅＲＡＭ、または相変化メモリ）；光ファイバー；ポータブルコンパクトディスク；光学記憶デバイス；磁気記憶デバイス；または前述の任意の好適な組み合わせが挙げられるが、これらに限定されない。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれらに関連して使用するためのプログラムを含むか、または記憶することができる任意の有形媒体であり得る。

コンピュータプログラム命令は、コンピュータ実行可能コードを含み得ることが理解されよう。コンピュータプログラム命令を表現するための多様な言語としては、限定されないが、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ（商標）、ＡｃｔｉｏｎＳｃｒｉｐｔ（商標）、アセンブリ言語、Ｌｉｓｐ、Ｐｅｒｌ、Ｔｃｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ハードウェア記述言語、データベースプログラミング言語、関数型プログラミング言語、命令型プログラミング言語などが挙げられ得る。実施形態では、コンピュータプログラム命令は、コンピュータ、プログラマブルデータ処理装置、プロセッサまたはプロセッサアーキテクチャの不均一な組み合わせなどで起動されるように記憶、コンパイル、または解釈され得る。限定されないが、本発明の実施形態は、クライアント／サーバソフトウェア、サービスとしてのソフトウェア、ピアツーピアソフトウェアなどを含む、ウェブベースのコンピュータソフトウェアの形態を取ることができる。

実施形態では、コンピュータは、多数のプログラムまたはスレッドを含むコンピュータプログラム命令の実行を可能にし得る。多数のプログラムまたはスレッドは、プロセッサの利用を強化し、かつ実質的に同時の機能を容易にするために、ほぼ同時に処理され得る。実装形態として、本明細書に記載の任意のおよびすべての方法、プログラムコード、プログラム命令などは、１つ以上のスレッドで実装することができ、これは、続いて、それらに関連する優先順位を有し得る他のスレッドを生み出すことができる。いくつかの実施形態では、コンピュータは、優先順位または他の順序に基づいてこれらのスレッドを処理し得る。

明示的に記述されない限り、または別段文脈から明確でない限り、「実行する」および「処理する」という動詞は、実行、処理、解釈、コンパイル、組み立て、リンク、ロード、または前述の組み合わせを示すために互換的に使用され得る。したがって、コンピュータプログラム命令、コンピュータ実行可能コードなどを実行または処理する実施形態は、説明された様式のいずれかおよびすべてにおいて命令またはコード上で作用し得る。さらに、示される方法ステップは、１つ以上の当事者または事業者にステップを実行させる任意の好適な方法を含むことが意図される。ステップまたはステップの一部分を実行する当事者は、特定の地理的位置または国境内に位置する必要はない。例えば、米国内に位置する事業者が、方法ステップまたはその一部分を米国外で実施させる場合、次いで、方法は因果関係のある事業者によって米国内で実施されるとみなされる。

本発明は、示され、詳細に説明される好ましい実施形態と関連して開示されてきたが、本発明の様々な修正および改善は、当業者に明らかになるであろう。したがって、前述の例は、本発明の趣旨および範囲を限定するべきではなく、むしろ、法律によって許容可能な最も広い意味で理解されるべきである。

Claims (40)

1. メディアストリーム再生のためのプロセッサ実装方法であって、
   サーバから１つ以上のメディアストリームを受信することであって、前記１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、
   携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの再生中に前記携帯型デバイスの向きを決定することと、
   前記携帯型デバイスの前記向きの変更を検出することであって、前記変更が、前記１つ以上のメディアストリームのうちの前記少なくとも１つの再生中に生じる、検出することと、
   前記検出することに基づいて、前記携帯型デバイスの回転角を計算することと、
   前記回転角に基づいて、前記携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの前記再生を変更することと、を含む、方法。
2. 前記回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更することをさらに含む、請求項１に記載の方法。
3. 前記組み合わせが、前記回転角に基づいて、元の向きのシングルビュー再生からマルチビュー再生に変更される、請求項２に記載の方法。
4. 前記元の向きが、前記携帯型デバイス上の実質的に垂直なディスプレイ画面を含む、請求項３に記載の方法。
5. 前記シングルビュー再生が、単一の映像チャネルおよび単一の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の音声チャネルを含む、請求項３に記載の方法。
6. 前記シングルビュー再生が、単一の映像チャネルおよび一対の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の対の音声チャネルを含む、請求項３に記載の方法。
7. 前記回転角が、回転メトリックを生成するために使用され、前記回転メトリックが、前記マルチビュー再生のためのズーム計算およびレンダリングに影響を及ぼす、請求項３に記載の方法。
8. 前記組み合わせが、前記回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更される、請求項２に記載の方法。
9. 前記元の向きが、前記携帯型デバイス上の実質的に水平なディスプレイ画面を含む、請求項８に記載の方法。
10. 前記１つ以上のメディアストリームに関係するキャプションを取得することをさらに含む、請求項１に記載の方法。
11. 前記回転角に基づいて、前記キャプションおよび前記１つ以上のメディアストリームを変更することをさらに含む、請求項１０に記載の方法。
12. 前記キャプションが、前記携帯型デバイスが実質的に垂直であるときに削除される、請求項１１に記載の方法。
13. 前記キャプションが、前記携帯型デバイスが実質的に水平であるときに表示される、請求項１１に記載の方法。
14. 前記再生を変更することが、前記１つ以上のメディアストリームのズームに影響を与える、請求項１に記載の方法。
15. 前記ズームが、前記１つ以上のメディアストリームのために表示されている延長部分をもたらす、請求項１４に記載の方法。
16. 前記１つ以上のメディアストリームのうちの前記少なくとも１つの延長部分に映像画像データを埋め込むことをさらに含む、請求項１５に記載の方法。
17. 前記埋め込むことが、画像処理によって前記映像画像データを生成することによって実現される、請求項１６に記載の方法。
18. 前記埋め込むことが、前記１つ以上のメディアストリームのうちの前記少なくとも１つに含まれるコンテンツを超えて、映像ディスプレイの周辺領域をカバーする、請求項１６に記載の方法。
19. 前記周辺領域が、前記回転角に基づいて露出される、請求項１８に記載の方法。
20. 前記回転角を前記計算することが、前記携帯型デバイスに含まれる１つ以上のモーションセンサに基づく、請求項１に記載の方法。
21. 前記モーションセンサが、前記携帯型デバイス内のジャイロスコープ、加速度計、重力センサ、または磁場センサを備える、請求項２０に記載の方法。
22. 前記携帯型デバイスが、モバイルデバイスを含む、請求項１に記載の方法。
23. 前記再生を変更することが、没入型映像体験を可能にする、請求項１に記載の方法。
24. 前記没入型映像体験が、仮想現実または拡張現実の視聴を可能にする、請求項２３に記載の方法。
25. 追加の音声ストリームが、前記回転角に基づいて、前記再生に追加される、請求項１に記載の方法。
26. 前記携帯型デバイスの前記向きのさらなる変更を検出することをさらに含み、前記さらなる変更が、最初に決定された前記向きへの戻りを示し、前記追加の音声ストリームの音量が、前記戻りの大きさに基づいて小さくなる、請求項２５に記載の方法。
27. メディアストリーム再生のためのコンピュータ可読媒体中に具体化されたコンピュータプログラム製品であって、前記コンピュータプログラム製品が、コードを含み、前記コードが、１つ以上のプロセッサに、以下の動作：
    サーバから１つ以上のメディアストリームを受信することであって、前記１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、
    携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの再生中に前記携帯型デバイスの向きを決定することと、
    前記携帯型デバイスの前記向きの変更を検出することであって、前記変更が、前記１つ以上のメディアストリームのうちの前記少なくとも１つの再生中に生じる、検出することと、
    前記検出することに基づいて、前記携帯型デバイスの回転角を計算することと、
    前記回転角に基づいて、前記携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの前記再生を変更することと、を実施させる、コンピュータプログラム製品。
28. 前記回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更するためのコードをさらに含む、請求項２７に記載のコンピュータプログラム製品。
29. 前記組み合わせが、前記回転角に基づいて、元の向きのシングルビュー再生からマルチビュー再生に変更される、請求項２８に記載のコンピュータプログラム製品。
30. 前記シングルビュー再生が、単一の映像チャネルおよび単一の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の音声チャネルを含む、請求項２９に記載のコンピュータプログラム製品。
31. 前記シングルビュー再生が、単一の映像チャネルおよび一対の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の対の音声チャネルを含む、請求項２９に記載のコンピュータプログラム製品。
32. 前記回転角が、回転メトリックを生成するために使用され、前記回転メトリックが、マルチビュー再生のためのズーム計算およびレンダリングに影響を及ぼす、請求項２９に記載のコンピュータプログラム製品。
33. 前記組み合わせが、前記回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更される、請求項２８に記載のコンピュータプログラム製品。
34. メディアストリーム再生のためのコンピュータシステムであって、
    命令を記憶するメモリと、
    前記メモリに結合された１つ以上のプロセッサであって、前記１つ以上のプロセッサが、記憶される前記命令を実行するときに、
    サーバから１つ以上のメディアストリームを受信することであって、前記１つ以上のメディアストリームが、携帯型メディアストリーム再生デバイス上での表示の対象とされる、受信することと、
    前記携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの再生中に前記携帯型デバイスの向きを決定することと、
    前記携帯型デバイスの前記向きの変更を検出することであって、前記変更が、前記１つ以上のメディアストリームのうちの前記少なくとも１つの再生中に生じる、検出することと、
    前記検出することに基づいて、前記携帯型デバイスの回転角を計算することと、
    前記回転角に基づいて、前記携帯型デバイス上の前記１つ以上のメディアストリームのうちの少なくとも１つの前記再生を変更することと、を行うように構成されている、１つ以上のプロセッサと、を備える、コンピュータシステム。
35. 前記回転角に基づいて、２つ以上のメディアストリームの組み合わせの再生を変更するようにさらに構成されている、請求項３４に記載のコンピュータシステム。
36. 前記組み合わせが、前記回転角に基づいて、元の向きのシングルビュー再生からマルチビュー再生に変更される、請求項３５に記載のコンピュータシステム。
37. 前記シングルビュー再生が、単一の映像チャネルおよび単一の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の音声チャネルを含む、請求項３６に記載のコンピュータシステム。
38. 前記シングルビュー再生が、単一の映像チャネルおよび一対の音声チャネルを含み、前記マルチビュー再生が、複数の映像チャネルおよび対応する複数の対の音声チャネルを含む、請求項３６に記載のコンピュータシステム。
39. 前記回転角が、回転メトリックを生成するために使用され、前記回転メトリックが、マルチビュー再生のためのズーム計算およびレンダリングに影響を及ぼす、請求項３６に記載のコンピュータシステム。
40. 前記組み合わせが、前記回転角に基づいて、元の向きのマルチビュー再生からシングルビュー再生に変更される、請求項３５に記載のコンピュータシステム。
    

Images