JP2017517969A

JP2017517969A - 動的な方向付けの固定、一定のフレーミング及び定義されたアスペクト比を備えた写真ビデオカメラ

Info

Publication number: JP2017517969A
Application number: JP2016567984A
Authority: JP
Inventors: ディーボス，ネイル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-05-27
Filing date: 2015-05-19
Publication date: 2017-06-29
Also published as: WO2015183636A1; EP3149624B1; TW201617717A; KR20170013877A; EP3149624A1; US20150348325A1

Abstract

ビデオの水平フレーミングを動的に維持する方法及び装置。システムは、ユーザが、撮影しているときにデバイスを自由に回転させることをユーザに可能にするとともに、撮影中にデバイスのビューファインダー又はスクリーン上でオーバーレイにおいて最終の出力を視覚化する。結果として得られる記録は、適切な水平線を持った単一の方向付けを保つようにその後に補正される。システム及び方法は、捕捉されたビデオの捕捉された表現の上にオーバーレイを表示するよう動作する。オーバーレイは、その方向付けに対する変更後の画像を示す。

Description

携帯型電子機器は、ますます当たり前になりつつある。携帯電話機、音楽プレイヤー、カメラ、タブレット及び同様のもののような、それらのデバイスは、デバイスの組み合わせをしばしば含み、よって、複数のオブジェクトを持ち運ぶことを不必要にする。例えば、アップルのｉＰｈｏｎｅ（登録商標）又はサムスンのＧａｌａｘｙアンドロイド（登録商標）フォンのような、現在のタッチスクリーン式携帯電話機は、ビデオ及び静止画、グローバルポジショニングナビゲーションシステム、インターネットブラウザ、テキスト及び電話、ビデオ及び音楽プレイヤー、他を含む。それらのデバイスは、データを送信及び受信するために、Ｗｉ−Ｆｉ（登録商標）、有線、及びセルラー（例えば、３Ｇ）のような複数のネットワークをしばしば有効にされる。

携帯電子機器における二次的機能の品質は、常に改善し続けてきた。例えば、初期の“カメラ付き電話機”は、固定焦点レンズであってフラッシュがない低解像度センサから構成された。今日、多くの携帯電話機は、フルハイデフィニション（full high definition）ビデオ機能、編集及びフィルタリングツール、並びにハイデフィニション表示を含む。この改善された機能により、多くのユーザは、それらのデバイスを彼らの主たる写真撮影デバイスとして使用している。従って、より一層改善された性能及びプロ仕様の組み込み型写真撮影ツールに対する需要が存在する。

例えば、モバイルデバイスにおける多くのビデオは、ユーザがモバイルデバイスを不注意に回転させて、見る者にとってビデオの縦向きのビデオ水平線を傾けてしまった状態で記録される。極端な場合では、ユーザは、縦向きでカメラにより撮影を開始し、横向きに変更することがある。これは、見る者に対して表示される場合に、適切に方向付けられた状態で始まるが、９０度回転された状態で終わるビデオをもたらす。この問題を正すよう、後処理が必要とされる。後処理は、ソーシャルネットワークを介してビデオを直接に共有したいと望むユーザにとっては好ましくない選択肢である。

加えて、縦向きでモバイルデバイスによりビデオを記録することは、縦長なビデオをしばしばもたらす。この結末は、通常横長であるテレビ画面のようなほとんどのディスプレイでの消費にとって最適でない。多くの場合に、ユーザは、特に、社会活動、ライブイベント、あるいは、ユーザが記録に用いているデバイスから自身の注意をそらす経験に関わる他の題材を撮影しているときに、横向きに特に注意することなしにビデオを撮影する。更には、ほとんどの携帯電話機は、縦向きで使用されるよう設計されている。よって、ユーザは、デバイスをその意図された向きで使用し始めて、後に、ビデオが横向きで撮影されるべきであったと認識することになる。

このように、モバイル電子機器において組み込まれている現在のビデオカメラに伴うそれらの問題を解決することが望まれる。

一実施形態において、本発明は、ビデオストリームを処理する方法に更に関連する。方法は、ビデオストリームの捕捉を開始するステップと、ビデオストリームを表すデータを受信するステップと、前記ビデオストリームの表現を表示するステップと、アスペクト比を表すデータを受信するステップと、回転位置を表すデータを受信するステップと、回転位置を表す前記受信されたデータに基づき方向付けを補間するステップと、前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップとを有する。

他の実施形態では、装置が提供される。装置は、画像センサ、慣性センサ、プロセッサ、及びメモリを有する。前記画像センサは、第１の方向付けを有する画像データを捕捉するためものである。前記慣性センサは、回転値を決定するためのものである。前記プロセッサは、慣性センサから受け取られた前記回転値に基づき第２の方向付けを決定し、第１及び第２の方向付けに基づき中間の方向付けを補間し、前記画像データを前記第１の方向付けから前記第２の方向付けへ前記中間の方向付けを通って向け直すためのものである。前記メモリは、前記プロセッサへ結合され、画像データ及び向きを直された画像データを記憶するためものである。

他の実施形態は、画像データをセーブする方法であって、第１の方向付けを有する第１の画像を表すデータを受信するステップと、重力に対するデバイスの縦向きを示す第２の方向付けを表すデータを受信するステップと、前記第２の方向付けが前記第１の画像の縦向きになるように前記第１の画像を向け直して、画像のフレーミングが保たれている向きを直された画像を生成するステップと、前記向きを直された画像をセーブするステップとを有する方法に関連する。

他の実施形態は、ビデオストリームを処理する方法であって、ビデオ捕捉モードを初期化するステップと、ビデオストリームを表す第１のデータを受信するステップと、前記ビデオストリームの表現を表示するステップと、アスペクト比を表す第２のデータを受信するステップと、回転位置を表す第３のデータを受信するステップと、前記アスペクト比及び前記回転位置を表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップであり、ビデオのフレーミングは保たれるステップとを有する方法に関連する。

他の態様では、本開示は、第１の方向付けを有する画像データを捕捉する画像センサと、回転値を決定する慣性センサと、前記回転値に応じて第２のデータを決定し、前記画像データのフレーミングを保ちながら前記第２の方向付けに応じて前記画像データの向きを直して、同じフレーミングを有する向きを直された画像を生成し、該向きを直された画像を記憶するプロセッサとを有する装置に更に関連する。

本開示のそれら及び他の態様、特徴及び利点は記載されるか、あるいは、添付の図面とともに読まれるべき好適な実施形態の以下の詳細な説明から明らかになるだろう。

図面において、同じ参照番号は、全ての図を通して同様の要素を表す。
モバイル電子機器の例となる実施形態のブロック図を示す。本発明に従ってアクティブ表示を有するモバイルデバイスディスプレイの例を示す。本開示に従って画像安定化及びリフレーミングのためのプロセスの例を示す。本発明に従って捕捉初期化を有するモバイルデバイスディスプレイ４００の例を示す。本開示に従って画像又はビデオ捕捉を開始するための例となるプロセス５００を示す。本開示に従ってビデオ捕捉の間に回転を追跡するための例となるプロセスを示す。本開示に従って画像捕捉の間に回転を追跡するための例となるプロセスを示す。本開示に従ってビデオ捕捉の間に回転を伴ったショットのフレーミングを保つための例となるプロセスを示す。

本願で示されている例は、本発明の好適な実施形態を表す。そのような例は、如何なる方法においても本発明の適用範囲を制限するものとして解釈されるべきではない。

図１を参照すると、モバイル電子機器の例となる実施形態のブロック図が示されている。表されているモバイル電子機器は携帯電話機１００であるが、本発明は、音楽プレイヤー、カメラ、タブレット、グローバルポジショニングナビゲーションシステム、などのような、多数のデバイスにおいて同様に実装されてよい。携帯電話機は、電話呼び出し及びテキストメッセージを送信及び受信する機能、セルラーネットワーク又はローカル無線ネットワークのいずれか一方を通じてインターネットとインターフェイス接続する機能、写真及びビデオを撮影する機能、オーディオ及びビデオコンテンツを再生する機能、並びにワードプロセッシング、プログラム、又はビデオゲームのようなアプリケーションを実行する機能を通常は含む。多くの携帯電話機はＧＰＳを含み、更には、ユーザインターフェイスの部分としてタッチスクリーンパネルを含む。

携帯電話機は、他の主たるコンポーネントの夫々へ結合されているメインプロセッサ１５０を含む。メインプロセッサ１５０は、当業者によって知られているように、単一のプロセッサ又は１つよりも多いプロセッサであってよい。メインプロセッサ１５０、又は複数のプロセッサは、ネットワークインターフェイス１１０、１２０、カメラ１４０、慣性センサ１７０、タッチスクリーン１８０、及び他の入力／出力（Ｉ／Ｏ）インターフェイス１９０のような様々なコンポーネント間で情報を転送する。メインプロセッサ１５０はまた、直接にデバイスでの、あるいは、オーディオ／ビデオインターフェイスを通じた外部デバイスでの再生のために、オーディオ及びビデオコンテンツを処理する。メインプロセッサ１５０は、カメラ１４０、慣性センサ１７０、タッチスクリーン１８０、及びＵＳＢインターフェイス１３０のような様々なサブデバイスを制御するよう動作する。メインプロセッサ１５０は、コンピュータと同様にデータを処理するために使用される携帯電話機内のサブルーチンを実行するよう更に動作する。例えば、メインプロセッサは、写真がカメラ機能１４０によって撮影された後に画像ファイルを処理するために使用されてよい。そのような処理は、クロッピング、圧縮、色及び輝度調整、並びに同様のものを含んでよい。

セルネットワークインターフェイス１１０は、メインプロセッサ１５０によって制御され、セルラー無線ネットワーク上で情報を受信及び送信するために使用される。この情報は、時分割多重アクセス（ＴＤＭＡ；time division multiple access）、符号分割多重アクセス（ＣＤＭＡ；code division multiple access）又は直交周波数分割多重化（ＯＦＤＭ；orthogonal frequency-division multiplexing）のような様々なフォーマットにおいて符号化されてよい。情報は、デバイスからセルネットワークインターフェイス１１０を通じて送信及び受信される。インターフェイスは、送信のために情報を適切なフォーマットに符号化及び復号するために使用される複数のアンテナ符号器、復調器、及び同様ものから成ってよい。セルネットワークインターフェイス１１０は、ボイス又はテキスト伝送を助けるために、あるいは、インターネットから情報を送信及び受信するために、使用されてよい。情報は、ビデオ、オーディオ、及び／又は画像を含んでよい。

無線ネットワークインターフェイス１２０、又はＷｉ−Ｆｉネットワークインターフェイスは、Ｗｉ−Ｆｉネットワーク上で情報を送信及び受信するために使用される。この情報は、８０２．１１ｇ、８０２．１１ｂ、８０２．１１ａｃ及び同様のもののような種々のＷｉ−Ｆｉ標準に従って様々なフォーマットで符号化され得る。インターフェイスは、送信のために情報を適切なフォーマットに符号化及び復号し、復調のために情報を復号するために使用される複数のアンテナ符号器、復調器及び同様のものから成ってよい。Ｗｉ−Ｆｉネットワークインターフェイス１２０は、ボイス又はテキスト伝送を助けるために、あるいは、インターネットから情報を送信及び受信するために、使用されてよい。この情報は、ビデオ、オーディオ、及び／又は画像を含んでよい。

ユニバーサルシリアルバス（ＵＳＢ；universal serial bus）インターフェイス１３０は、無線リンク上で、通常はコンピュータ又は他のＵＳＢ対応デバイスへ、情報を送信及び受信するために使用される。ＵＳＢインターフェイス１３０は、情報を送信及び受信するため、インターネットへ接続するため、ボイス及びテキスト呼び出しを送信及び受信するため、などに使用され得る。加えて、有線リンクは、モバイルデバイスのセルネットワークインターフェイス１１０又はＷｉ−Ｆｉネットワークインターフェイス１２０を用いてＵＳＢ対応デバイスを他のネットワークへ接続するために使用されてよい。ＵＳＢインターフェイス１３０は、構成情報をコンピュータへ送信及び受信するためにメインプロセッサ１５０によって使用され得る。

メモリ１６０、又は記憶デバイスは、メインプロセッサ１５０へ結合されてよい。メモリ１６０は、モバイルデバイスの動作に関連した、メインプロセッサ１５０によって必要とされる特定の情報を記憶するために使用されてよい。メモリ１６０は、オーディオ、ビデオ、写真、又はユーザによって記憶及び検索される他のデータを記憶するために使用されてよい。

慣性センサ１７０は、ジャイロスコープ、加速度計、軸配向センサ、光センサ又は同様のものであってよい。それは、モバイルデバイスの位置の水平及び／又は垂直インジケーションを決定するために使用される。

入力／出力（Ｉ／Ｏ）インターフェイス１９０は、ボタン、電話呼び出しやオーディオの記録及び再生により使用されるスピーカ／マイクロホン、又は音声駆動制御を含む。モバイルデバイスは、タッチスクリーンコントローラを通じてメインプロセッサ１５０へ結合されているタッチスクリーン１８０を含んでよい。タッチスクリーン１８０は、容量性及び抵抗性タッチセンサの１つ以上を使用するシングルタッチ又はマルチタッチスクリーンのいずれかであってよい。スマートフォンは、追加のユーザ制御、例えば、制限なしに、オン／オフボタン、起動ボタン、ボリューム制御、リンガー制御、及びマルチボタンキーパッド又はキーボードを更に含んでよい。

これより図２を参照すると、本発明に従うアクティブ表示２００を有するモバイルデバイスディスプレイの例が示されている。例となるモバイルデバイスアプリケーションは、如何なるフレーミングでも記録し撮影中に彼らのデバイスを自由に回転させることをユーザに可能にし、撮影中にデバイスのビューファインダー上でオーバーレイにおいて最終の出力を視覚化し、最終的に最終の出力においてその方向付けを補正するよう動作する。

例となる実施形態に従って、ユーザが撮影を開始するときに、ユーザの現在の方向付けが考慮され、デバイスのセンサに基づく重力のベクトルが水平線を合わせるために使用される。デバイスのスクリーン及び関連するオプティカルセンサが縦長である縦向き２１０、又はデバイスのスクリーン及び関連するオプティカルセンサが横長である横向き２５０のような、夫々の起こり得る方向付けについて、最適な目標アスペクト比が選択される。はめ込み長方形２２５は、所与（現在）の方向付けのための所望の最適なアスペクト比を考えてセンサの最大境界に最も良く合うセンサ全体内に内接する。センサの境界は、補正のための‘ブリージングルーム（breathing room）’を提供するために、わずかに水増しされる。はめ込み長方形２２５は、原則的にデバイス自体の回転とは反対に回転させることによって回転２２０、２３０、２４０を補償するよう変形される。これは、デバイスの内蔵されたジャイロスコープからサンプリングされる。変形されたはめ込み長方形２２５は、センサ全体の最大限利用可能な境界から水増し分を引いたものの中に最適に内接する。デバイスの現在の最たる方向付けに依存して、変形されたはめ込み長方形２２５の寸法は、回転の量に対して、２つの最適なアスペクト比の間を補間するよう調整される。

例えば、縦向きのために選択された最適なアスペクト比が正方形（１：１）であり、横向きのために選択された最適なアスペクト比が幅広（１６：９）であった場合に、内接する長方形は、１つの方向付けから他へ回転されるにつれて、１：１と１６：９との間を最適に補間する。内接する長方形はサンプリングされ、次いで、最適な出力寸法に合うように変形される。例えば、最適な出力寸法が４：３であり、サンプリングされた長方形が１：１である場合には、サンプリングされた長方形は、ＡｓｐｅｃｔＦｉｌｌ（必要に応じてデータをクロッピングすることで、最適に１：１のエリアを完全に満たす。）又はＡｓｐｅｃｔＦｉｔ（如何なる未使用エリアも‘レターボックス’又は‘ピラーボックス’により黒く塗りつぶすことで、最適に１:１のエリアを完全に満たす。）を適用される。最後に、結果は、コンテンツフレーミングが、補正の間に、動的に提供されたアスペクト比に基づき調整する固定アスペクトアセットである。故に、例えば、１：１乃至１６：９から成る１６：９のビデオは、最適に満たされている状態２６０（１６：９部分の間）とピラーボックスを取り付けられた状態２５０（１：１部分の間）との間を変動する。

全ての動きの全集合が最適な出力アスペクト比の選択に考慮されて重み付けされるための追加の精緻化が実施される。例えば、ユーザが、縦長のコンテンツをほとんど含まない、‘大部分が横長’であるビデオを記録する場合には、出力フォーマットは横長アスペクト比である（縦長セグメントにピラーボックスを適用する。）。ユーザが、大部分が縦長であるビデオを記録する場合には、反対のことが起こる（ビデオは縦長であり、出力長方形の境界に入らない如何なる横長コンテンツもクロッピングすることで最適に出力を満たす。）。

これより図３を参照すると、本開示に従う画像安定化及びリフレーミングのための例となるプロセス３００が示されている。システムは、カメラの捕捉モードが開始されることに応答して初期化される（３１０）。初期化は、ハードウェア又はソフトウェアボタンに従って、あるいは、ユーザアクションに応答して生成される他の制御信号に応答して、初期化されてよい。デバイスの捕捉モードが開始されると、モバイルデバイスセンサがユーザ選択に応じて選択される（３２０）。ユーザ選択は、タッチスクリーンデバイス上の設定を通じて、メニューシステムを通じて、あるいは、ボタンが起動される方法に応答して、行われてよい。例えば、一度押されるボタンは、写真センサを選択してよく、一方、連続的に押し下げられたままであるボタンは、ビデオセンサを示してよい。加えて、所定の時間（例えば、３秒間）ボタンを保持することは、ビデオが選択されたことを示してよく、モバイルデバイスでのビデオの記録は、ボタンが二度目に駆動されるまで続く。

適切な捕捉センサが選択されると、システムは、次いで、慣性センサに測定を要求する（３３０）。慣性センサは、ジャイロスコープ、加速度計、軸配向センサ、光センサ又は同様のものであってよく、モバイルデバイスの位置の水平及び／又は垂直インジケーションを決定するために使用される。測定センサは、周期的な測定を制御プロセッサへ送って、モバイルデバイスの縦向き及び／又は横向きを連続的に示してよい。よって、デバイスが回転されるにつれて、制御プロセッサは、表示を連続的に更新し、連続的な一貫した水平線を有するようにビデオ又は画像をセーブすることができる。

慣性センサがモバイルデバイスの縦向き及び／又は横向きのインジケーションを返した後、モバイルデバイスは、ビデオ又は画像の捕捉された方向付けを示すようディスプレイ上ではめ込み長方形を表す（３４０）。モバイルデバイスが回転されるにつれて、システムプロセッサは、はめ込み長方形を、慣性センサから受け取られた回転測定と連続的に同期させる（３５０）。方向付けの表現は確認され、更に精緻化され、あるいは、ライン認識、顔認識、又は同様のもののような技術を用いて画像を解析することによって改善されてよい。

ユーザは、１：１、９：１６、１６：９、又はユーザによって選択される何らかの他の比のような、好ましい最終のビデオ又は画像比を任意に示してよい。システムはまた、モバイルデバイスの方向付けに従う異なった比についてのユーザ選択を記憶してよい。例えば、ユーザは、縦向きで記録されたビデオのために１：１比を示してよいが、横向きで記録されたビデオのためには１６：９比を示してよい。この事例では、システムは、モバイルデバイスが回転されるにつれて、連続的に又は漸増的にビデオをリスケーリングしてよい（３６０）。よって、ビデオは、１：１の方向付けから始まってよいが、ユーザが撮影中に縦向きから横向きへ回転させることに応答して、１６：９の方向付けで終わるように徐々にリスケーリングされ得る。任意に、ユーザは、開始又は終了の方向付けがビデオの最終的な比を決定づけることを示してよい。

ある他の実施形態では、出力ボックス内の画像のフレーミングは、アスペクト比にかかわらず保たれる。よって、どのようにデバイスが方向付けられようとも、シーンは、一貫したフレーミングを保つようズームイン又はアウトされる。いくつかのそのような場合では、ビデオ内の関心のある対象は、方向付け及びアスペクト比にかかわらず同じサイズのままである。他の場合では、最大解像度が望まれるときに、ズームイン又はアウトは、関心のある対象のサイズを変更してよい。代わりに、画像は、方向付け及びアスペクト比にかかわらずサイズを保つようクロッピングされてよい。

これより図４を参照すると、捕捉初期化を有する、例となるモバイルデバイスディスプレイ４００が示されている。例となるモバイルデバイスは、画像又はビデオを捕捉するタッチトーンディスプレイを表すものとして示されている。本発明の態様に従って、例となるデバイスの捕捉モードは、多数のアクションに応答して開始されてよい。モバイルデバイスのハードウェアボタン４１０のいずれかは、捕捉シーケンスを開始するよう押し下げられてよい。代替的に、ソフトウェアボタン４２０は、捕捉シーケンスを開始するようタッチスクリーンを通じてアクティブにされてよい。ソフトウェアボタン４２０は、タッチスクリーン上に表示されている画像４３０の上にオーバーレイされてよい。画像４３０は、画像センサによって捕捉されている現在の画像を示すビューファインダーの機能を果たす。内接する長方形４４０も、上述されたように、捕捉される画像又はビデオのアスペクト比を示すよう画像上にオーバーレイされてよい。

これより図５を参照すると、本開示に従って画像又はビデオ捕捉を開始するための例となるプロセス５００が示されている。撮像ソフトウェアが起動されると、システムは、画像捕捉を開始するためのインジケーションを待つ。画像捕捉インジケーションがメインプロセッサによって受け取られる（５１０）と、デバイスは、画像センサから送られたデータをセーブし始める（５２０）。加えて、システムはタイマを起動する。システムは、次いで、画像センサからのデータをビデオデータとして捕捉し続ける。捕捉が中止されたこと（５３０）を示す、捕捉インジケーションからの第２のインジケーションに応答して、システムは、画像センサからのデータをセーブするのを止めるとともに、タイマを停止させる。

システムは、次いで、タイマ値を所定の時間閾値と比較する（５４０）。所定の時間閾値は、例えば１秒といった、ソフトウェアプロバイダによって決定されたデフォルト値であってよく、あるいは、それは、ユーザによって決定された構成可能な設定であってよい。タイマ値が所定の閾値に満たない場合（５４０）には、システムは、静止画が希望されたと決定し、ビデオ捕捉の最初のフレームを静止画フォーマット（例えば、ＪＰＥＧ又は同様のもの）において静止画としてセーブする（５６０）。システムは、任意に、他のフレームを静止画として選択してよい。タイマ値が所定の閾値よりも大きい場合（５４０）には、システムは、ビデオ捕捉が希望されたと決定する。システムは、次いで、捕捉データをビデオファイルフォーマット（ＭＰＥＧ又は同様のもの）においてビデオファイルとしてセーブする（５５０）。システムは、次いで、初期化モードに戻って、捕捉モードが再び開始されるのを待ってよい。モバイルデバイスが静止画捕捉及びビデオ捕捉のための異なったセンサを装備されている場合には、システムは、任意に、静止画センサからの静止画をセーブし、ビデオ画像センサからの捕捉データをセーブし始めてよい。タイマ値が所定の時間閾値と比較される場合に、所望のデータがセーブされ、一方、不必要なデータはセーブされない。例えば、タイマ値が閾時間値を越える場合には、ビデオデータがセーブされ、画像データは捨てられる。

直面され得る１つの潜在的な課題は、慣性センサからの測定及びビデオ又は静止画のタイムスタンプが理想的に同期され得ないことである。例えば、更新された位置若しくは回転測定及び／又はデータのための周期は、ビデオ又は画像のための不正確な方向付けをもたらすビデオ又は画像の捕捉についてあまりにまれであり得る。これは、途切れ途切れに見えるビデオをもたらし得る。これに対処するよう、位置又は回転データは、中間の方向付けを決定するよう補間され得る。これの例は図６及び７で見られる。

図６は、ビデオストリームを処理するための方法の例のフロー図６００を表す。このとき、回転は捕捉中に起こる。最も基本的なものとして、方法は７つのステップを伴う。最初のステップは、ビデオストリームの捕捉を開始することである（ステップ６１０）。次のステップは、ビデオストリームを表すデータを受信することである（ステップ６２０）。ビデオストリームの表現が次いで表示され得る（ステップ６３０）。第４のステップは、アスペクト比を表すデータを受信することである（ステップ６４０）。第５のステップは、回転位置を表すデータを受信することである（ステップ６５０）。方向付けは、次いで、回転位置を表すデータを用いて補間され得る（ステップ６６０）。基本方法の最後のステップは、アスペクト比及び方向付けを表すグラフィックをビデオストリームの表現の上にオーバーレイすることである（ステップ６７０）。

図７は、静止画を処理するための方法の例のフロー図７００を表す。このとき、回転は捕捉中に起こる。最も基本的なものとして、方法は７つのステップを伴う。最初のステップは、捕捉モードを初期化することである（ステップ７１０）。次のステップは、画像を表すデータを受信することである（ステップ７２０）。捕捉中に、回転位置を表すデータが受信される（ステップ７３０）。捕捉は、次いで、非アクティブにされる（ステップ７４０）。方向付けは、次いで、回転位置を表すデータを用いて補間され得る（ステップ７５０）。方向付けが補間されると、画像は然るべく回転され得る（ステップ７６０）。基本方法の最後のステップは、回転された画像をセーブすることである（ステップ７７０）。

いくつかの実施形態において、位置又は回転測定は捕捉の始まり又は終わりで取得され得、中間の方向付けは補間され得る。そのような補間は、時間に従ってビデオをより正確に方向付けるようビデオのタイムスタンプ情報を更に含むことができる。移動平均速度のような他の技術も、補間を精緻化するために使用され得る。他の推定技術も使用され得る。他の実施形態では、回転測定の頻度は、時間におけるより正確な位置情報をビデオに与えるよう、ビデオ捕捉中に増やされてよい。

ある他の実施形態では、出力ボックス内の画像のフレーミングは、アスペクト比にかかわらず保たれる。よって、どのようにデバイスが方向付けられようとも、シーンは、一貫したフレーミングを保つようズームイン又はアウトされる。これの例は図８で見られる。

図８は、ビデオストリームを処理するための方法の例のフロー図８００を表す。このとき、回転は捕捉中に起こる。最も基本的なものとして、方法は６つのステップを伴う。最初のステップは、ビデオストリームの捕捉を開始することである（ステップ８１０）。次のステップは、ビデオストリームを表すデータを受信することである（ステップ８２０）。ビデオストリームの表現は、次いで表示される（ステップ８３０）。第４のステップは、アスペクト比を表すデータを受信することである（ステップ８４０）。第５のステップは、回転位置を表すデータを受信することである（ステップ８５０）。基本方法の最後のステップは、アスペクト比及び方向付けを表すグラフィックをビデオストリームの表現の上にオーバーレイすることであり、原のビデオのフレーミングはオーバーレイにおいて保たれる（ステップ８６０）。

いくつかの実施形態において、ビデオにおける関心のある対象又は被写体は、方向付け及びアスペクト比にかかわらず同じサイズのままである。他の実施形態では、最大解像度が望まれるときに、ズームイン及びアウトは、関心のある対象のサイズを変更してよい。代わりに、画像は、方向付け及びアスペクト比にかかわらずサイズを保つようクロッピングされてよい。

図示及び上述された要素は、ハードウェア、ソフトウェア、又はそれらの組み合わせの様々な形態において実装されてよいことが理解されるべきである。望ましくは、それらの要素は、プロセッサ、メモリ及び入力／出力インターフェイスを含んでよい１つ以上の適切にプログラムされた汎用デバイスにおいて、ハードウェアとソフトウェアとの組み合わせで実装される。本明細書は本開示の原理を説明する。よって、当業者であれば、本願で明示的に記載又は図示されていなくとも、本開示の原理を具現し且つその適用範囲内に含まれる様々な配置を考え付くことができることが認識されるだろう。本願で挙げられている全ての例及び条件は、当該技術を促進することに本発明者によって寄与される概念及び本開示の原理を読者が理解するのを助ける教育上の目的を意図され、そのような具体的に挙げられている例及び条件に制限されないものとして解釈されるべきである。更には、本開示の原理、態様、及び実施形態、並びにそれらの具体例を挙げる本願中の全ての記述は、それらの構造上及び機能上の均等物を包含するよう意図される。加えて、そのような均等物は、現在知られている均等物及び将来開発される均等物の両方、すなわち、構造にかかわらず、同じ機能を実施する開発されたあらゆる要素、を含むことが意図される。よって、例えば、当業者に明らかなように、本願により提示されるブロック図は、本開示の原理を具現する実例となる回路の概念図を表す。同様に、明らかなように、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ可読媒体において実質的に表現され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと実行され得る様々なプロセスを表す。

［関連出願の相互参照］
本願は、代理人整理番号がＰＵ１４００８９である、２０１４年５月２７日付けで出願された米国特許仮出願第６２／００３２８１号、及び代理人整理番号がＰＵ１４０１１９−ＵＳである、２０１４年９月２日付けで出願された米国実用特許出願第１４／４７５１９２号に基づく優先権を主張する。

Claims

ビデオストリームを処理する方法であって、
ビデオストリームの捕捉を開始するステップと、
ビデオストリームを表すデータを受信するステップと、
前記ビデオストリームの表現を表示するステップと、
アスペクト比を表すデータを受信するステップと、
回転位置を表すデータを受信するステップと、
回転位置を表す前記受信されたデータに基づき方向付けを補間するステップと、
前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップと
を有する方法。
前記アスペクト比は、前記方向付けに応じて変化する、
請求項１に記載の方法。
前記方向付けの前記補間は、回転の平均速度を決定することを更に有する、
請求項１に記載の方法。
前記方向付けの前記補間は、画像データの部分であるタイムスタンプ情報に更に基づく、
請求項１に記載の方法。
前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップは、画像解析を更に有する、
請求項１に記載の方法。
前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップは、フレーミングを保つことを更に有する、
請求項１に記載の方法。
画像のフレーミングを保つことは、前記フレーミングを保つようズームイン又はズームアウトすることを有する、
請求項７に記載の方法。
画像のフレーミングを保つことは、前記フレーミングを保つよう画像データをクロッピングすることを有する、
請求項７に記載の方法。
ビデオストリームを捕捉する画像センサと、
回転値を決定する慣性センサと、
データを記憶するメモリと、
ビデオストリームの捕捉を開始し、ビデオストリームを表すデータを受信し、該ビデオストリームの表現の表示を提供し、アスペクト比を表すデータを受信し、回転位置を表すデータを受信し、回転位置を表す前記受信されたデータに基づき方向付けを補間し、前記ビデオストリームの前記表現の上への前記アスペクト比及び前記方向付けを表すグラフィックのオーバーレイを提供するよう構成されるプロセッサと
を有する装置。
前記アスペクト比は、前記方向付けに応じて変化する、
請求項９に記載の装置。
前記プロセッサは、回転の平均速度を決定することによって、前記方向付けを補間する、
請求項９に記載の装置。
前記プロセッサは、画像データの部分であるタイムスタンプ情報を用いて前記方向付けを補間する、
請求項９に記載の装置。
前記プロセッサは、画像解析を更に用いて、前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイする、
請求項９に記載の装置。
前記プロセッサは、フレーミングが保たれるように、前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイする、
請求項９に記載の装置。
前記フレーミングは、ズームイン又はズームアウトのうちの少なくとも一方によって保たれる、
請求項１４に記載の装置。
前記フレーミングは、画像データをクロッピングすることによって保たれる、
請求項１４に記載の装置。
前記ビデオストリームの前記表現を表示すること及びオーバーレイのためのディスプレイ
を更に有する請求項９に記載の装置。
捕捉モードを初期化するステップと、
画像を表すデータを受信するステップと、
回転位置を表すデータを受信するステップと、
前記捕捉モードを非アクティブにするステップと、
回転位置データに基づき前記画像の方向付けを補間するステップと、
回転された画像を生成するよう前記補間された方向付けに応じて前記画像を回転させるステップと、
前記回転された画像を記憶するステップと
を有する方法。
前記画像を表示し、前記回転位置を示すインジケータを表示するステップ
を更に有する請求項１８に記載の方法。
前記インジケータは、アスペクト比及び前記回転位置を表すグラフィックであり、
前記インジケータは、前記回転された画像を代表する様式において前記画像の上にオーバーレイされる、
請求項１９に記載の方法。
前記アスペクト比は、前記回転位置に応じて変化する、
請求項１８に記載の方法。
前記画像は、ビデオのフレームである、
請求項１８に記載の方法。
回転位置を表す前記データは、前記捕捉モードの始まり及び終わりから受け取られ、
前記画像の前記方向付けは、前記捕捉モードの始まり及び終わりで受け取られた回転位置を表す前記データから補間される、
請求項１８に記載の方法。
前記方向付けの前記補間は、前記回転の平均速度を決定することを更に有する、
請求項１８に記載の方法。
前記方向付けの前記補間は、画像データの部分であるタイムスタンプ情報に更に基づく、
請求項１８に記載の方法。
前記画像の前記回転は、画像解析を有する、
請求項１８に記載の方法。
前記画像の前記回転は、前記画像のフレーミングを保つことを更に有する、
請求項１８に記載の方法。
前記画像のフレーミングを保つことは、前記フレーミングを保つようズームイン又はズームアウトすることを有する、
請求項１８に記載の方法。
前記画像のフレーミングを保つことは、前記フレーミングを保つよう前記画像をクロッピングすることを有する、
請求項１８に記載の方法。
画像データを捕捉する画像センサと、
回転値を決定する慣性センサと、
データを記憶するメモリと、
捕捉モードを初期化し、画像を表すデータを受信し、回転位置を表すデータを受信し、前記捕捉モードを非アクティブにし、回転位置データに基づき前記画像の方向付けを補間し、回転された画像を生成するよう前記補間された方向付けに応じて前記画像を回転させ、該回転された画像を記憶するよう構成されるプロセッサと
を有する装置。
前記アスペクト比は、前記方向付けに応じて変化する、
請求項３０に記載の装置。
回転位置を表す前記データは、前記捕捉モードの始まり及び終わりから受け取られ、
前記画像の前記方向付けは、前記捕捉モードの始まり及び終わりで受け取られた回転位置を表す前記データから補間される、
請求項３０に記載の装置。
前記プロセッサは、前記回転の平均速度を決定することによって前記方向付けを補間する、
請求項３０に記載の装置。
前記プロセッサは、画像データの部分であるタイムスタンプ情報に基づき前記方向付けを補間する、
請求項３０に記載の装置。
前記プロセッサは、画像解析を用いて前記画像を回転させる、
請求項３０に記載の装置。
前記画像の前記回転は、前記画像のフレーミングを保つことを更に有する、
請求項３０に記載の装置。
前記画像のフレーミングを保つことは、前記フレーミングを保つようズームイン又はズームアウトすることを有する、
請求項３６に記載の装置。
前記画像のフレーミングを保つことは、前記フレーミングを保つよう前記画像をクロッピングすることを有する、
請求項３６に記載の装置。
前記画像のデータを表示するディスプレイ
を更に有する請求項３０に記載の装置。
ビデオストリームを処理する方法であって、
ビデオストリームの捕捉を開始するステップと、
ビデオストリームを表すデータを受信するステップと、
前記ビデオストリームの表現を表示するステップと、
アスペクト比を表すデータを受信するステップと、
回転位置を表すデータを受信するステップと、
前記アスペクト比及び前記回転位置を表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップであって、前記ビデオのフレーミングは前記オーバーレイされたグラフィック表現において保たれる、ステップと
を有する方法。
前記アスペクト比は、前記回転位置に応じて変化する、
請求項４０に記載の方法。
前記ビデオのフレーミングは、前記ビデオをズームすることによって保たれる、
請求項４０に記載の方法。
前記ビデオのフレーミングは、前記ビデオをクロッピングすることによって保たれる、
請求項４０に記載の方法。
回転位置を表す前記受信されたデータに基づき方向付けを補間するステップ
を更に有する請求項４０に記載の方法。
前記方向付けの前記補間は、回転の平均速度を決定することを更に有する、
請求項４４に記載の方法。
前記方向付けの前記補間は、画像データの部分であるタイムスタンプ情報に更に基づく、
請求項４４に記載の方法。
前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイするステップは、画像解析を更に有する、
請求項１に記載の方法。
ビデオストリームを捕捉する画像センサと、
回転値を決定する慣性センサと、
データを記憶するメモリと、
ビデオストリームの捕捉を開始し、ビデオストリームを表すデータを受信し、前記ビデオストリームの表現の表示を提供し、アスペクト比を表すデータを受信し、回転位置を表すデータを受信し、前記アスペクト比及び前記回転位置を表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイし、前記ビデオのフレーミングは前記オーバーレイされたグラフィック表現において保たれるよう構成されるプロセッサと
を有する装置。
前記アスペクト比は、前記回転位置に応じて変化する、
請求項４８に記載の装置。
前記プロセッサは、前記ビデオをズームすることによってフレーミングを保つ、
請求項４８に記載の装置。
前記プロセッサは、前記ビデオをクロッピングすることによってフレーミングを保つ、
請求項４８に記載の装置。
前記プロセッサは、回転位置を表す前記受信されたデータに基づき方向付けを補間する、
請求項４８に記載の装置。
前記プロセッサは、回転の平均速度を決定することによって前記方向付けを補間する、
請求項５２に記載の装置。
前記プロセッサは、画像データの部分であるタイムスタンプ情報に基づき前記方向付けを補間する、
請求項５２に記載の装置。
前記プロセッサは、画像解析を用いて、前記アスペクト比及び前記方向付けを表すグラフィックを前記ビデオストリームの前記表現の上にオーバーレイする、
請求項４８に記載の装置。
前記ビデオストリームの前記表現を表示すること及びオーバーレイのためのディスプレイ
を更に有する請求項４８に記載の装置。