JP2017503399A - カメラの動きにより損なわれたビデオフレームの扱い - Google Patents

カメラの動きにより損なわれたビデオフレームの扱い Download PDF

Info

Publication number
JP2017503399A
JP2017503399A JP2016537477A JP2016537477A JP2017503399A JP 2017503399 A JP2017503399 A JP 2017503399A JP 2016537477 A JP2016537477 A JP 2016537477A JP 2016537477 A JP2016537477 A JP 2016537477A JP 2017503399 A JP2017503399 A JP 2017503399A
Authority
JP
Japan
Prior art keywords
frame
video
frames
viewing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016537477A
Other languages
English (en)
Other versions
JP2017503399A5 (ja
Inventor
クーリー,アイサ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017503399A publication Critical patent/JP2017503399A/ja
Publication of JP2017503399A5 publication Critical patent/JP2017503399A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

例示的な実施形態は、ビデオキャプチャの間のカメラの動きの悪影響を低減することに関する。動きの損なわれたビデオデータを処理し、送信し、又は表示することは、帯域幅、バッテリパワー、メモリ、及び他のリソースの非効率な使用をもたらす。動いているビデオカメラから取得したビデオを観ることは、乗り物酔いを引き起こし得る。良好な個々のフレームを生成するためにフレームキャプチャレートを増大することにより動きを解決しようとする従来のシステムと異なり、例示的な実施形態は、動きデータにより損なわれるフレームを識別し、それらを閲覧のために供給又は提示しない。損なわれたフレームは、ビデオストリーム又はメモリから論理的に又は物理的に削除されても良い。動きは、物理的装置(例えば、加速度計)により、又は画像処理(例えば、動きアーチファクト、フレーム間の低相関、低信号対雑音比)を通じて、検出されても良い。ディスプレイ装置は、キャプチャされたビデオフレームの中で検出される動きに依存して、ビデオ表示モード又は静止フレームモードで動作するよう制御されても良い。

Description

モバイル装置にあるビデオカメラは、殆ど至る所に存在する。非常に多くのカメラが使用されるため、キャプチャされそして閲覧されている多数のビデオが存在する。ビデオは、様々な状況で、キャプチャされ閲覧され得る。例えば、ユーザは、彼らのスマートフォンでビデオをキャプチャし、次に彼ら自身のビデオを観る場合がある。「see−what−I−see」モードでは、ユーザは、かれらのスマートフォンでビデオをキャプチャし、次に、イベントが展開するにつれ多分リアルタイムに、それを誰か他の人が観るために送ることがある。さらに、ビデオカメラは、ビデオ通話を含む他のリアルタイムアプリケーションのために使用され得る。三脚又は比較的動きの少ないラップトップのウェブカメラに固定されたカメラと異なり、携帯電話機は、ビデオをキャプチャしている間に、特にsee−what−I−seeの状況で、有意に動く傾向がある。
動いているビデオカメラは、準最適な閲覧経験をもたらすビデオを生成し得る。キャプチャされるビデオは、カメラの動きに起因する有意なノイズ又は有意なアーチファクトを含み得る。ノイズの量及びアーチファクトの深刻さは、フレームキャプチャレート及び符号化速度に関連し得る。カメラが閾速度より速く動いているとき、フレームキャプチャレート、符号化、及び送信は、装置の動きを考慮できない。フレームキャプチャレート、符号化、及び送信が動いているカメラに追いつけないとき生成されるビデオは、別の理由から、観ていて不快な場合がある。幾つかの例では、閲覧者は、彼らがビデオを観ようとする場合、酔ってしまう。ビデオは実質的に見るに耐えないが、ビデオは、キャプチャ装置に格納されるとき依然としてメモリを消費し、符号化又は復号化されるとき依然としてプロセッササイクルを消費し、送信されるとき依然として帯域幅を消費し、受信装置において依然としてメモリを消費する。
メモリ及び帯域幅の両者は、有限リソースである。有限リソースを実質的に価値のないビデオで消費することは非効率である。さらに、帯域幅は、特にビデオがセルラネットワーク、衛星ネットワーク、又は他のネットワークを介して送信されるとき、高価であり得る。ユーザは、彼らを船酔いさせる実質的に価値のないビデオの送信又は受信のために彼らが支払っていたことを知って落胆することがある。ビデオをキャプチャし、格納し、及び送信することは、スマートフォンのバッテリ電力のような他のリソースも消費する。バッテリ電力は、望ましくない信号対雑音(SNR)比を有するビデオストリームを装置プロセッサが符号化/復号化することにより消費され得る。ユーザは、見るに耐えないビデオのために彼らのバッテリ電力を浪費したことに落胆することがある。
従来、カメラが、ビデオをキャプチャしている間に自身が動いていることを検出すると、カメラは、個々のフレームの中の動きアーチファクトを軽減しようとして、自身のフレームキャプチャレート又は他のキャプチャパラメータを増大することがある。フレームキャプチャレートの増大は、動いている景色を良好に、より高い忠実性で、フリーズさせることができるが、乗り物酔い現象を何ら解決しない。ブラー又はアーチファクトは高いキャプチャレートにより軽減されるが、そのようなビデオを観ることにより引き起こされる乗り物酔いは、実際には増大され得る。カメラが自身のフレームキャプチャレートを増大すると、追加メモリが必要となり、追加符号化及び復号化が必要となり得る。さらに、より多くのフレームが、キャプチャ装置と閲覧装置との間で送信され得る。したがって、カメラの動きが検出されるときのフレームキャプチャレートは、実際には、動いているカメラに関連する問題を悪化させてしまう。例えば、より多くのメモリが使用され、より多くのバッテリ電力が使用され、より多くの帯域幅が消費され得る。これら全ては、依然として実質的に価値のない又は閲覧者を乗り物酔いさせるビデオを生成する。
この要約は、詳細な説明で後述する概念の選択を簡単な形式で紹介する。この要約は、請求の範囲の主要な特徴又は基本的特徴を特定するものではなく、請求の範囲の範囲を限定するものでもない。
例示的な方法及び装置は、カメラの動きにより影響され得るビデオの閲覧経験を向上するために提供される。ビデオモーションにより損なわれ得るフレームは、ビデオモーションにより損なわれないフレームと異なる方法で扱われ得る。フレームは、カメラからのセンサデータ(例えば、ジャイロスコープ、加速度計)に基づき、フレーム間分析(例えば、位置合わせ(registration))に基づき、フレーム内分析(例えば、ブラー)に基づき、又は他の方法で、損なわれていると識別されても良い。フレームが損なわれていると識別されると、該フレームを提示から除外すると決定されても良い。閾フレーム数が特定の時間期間の範囲内で損なわれているとき、提示は、幾つかのフレームが廃棄されている事実を隠そうとしない静止フレームモードに切り替えられても良い。代わりに、静止フレームモードは、所定の間隔(例えば、0.5秒)の間、損なわれていないフレームを続けて提示しても良く、又は選択された損なわれていないフレームを、良い視覚的効果のフレーム間遷移を有するスライドショーフォーマットで提示しても良い。損なわれないフレームの閾数が特定の時間期間の範囲内で検出されると、提示は、ビデオモードに切り戻っても良い。
例示的な装置の幾つかの実施形態は、ビデオカメラに関連する装置を制御するロジックのセット(例えば、回路)を有しても良い。装置は、カメラの動きを分析し、該カメラの動きに少なくとも部分的に基づき、関連するビデオフレームを決定しても良い。例えば、カメラが動き閾量より多く動いている間に取得されるフレームは、メモリに格納されなくても良い。あるいは、フレームがメモリに格納される場合には、フレームは動きフラグによりマークされ、又は再生リストから除外されても良い。カメラが動いている間に取得されたとしてマークされたフレームは、取得装置から別の装置へ、表示のために符号化又は復号化又は送信されなくても良い。装置は、ビデオキャプチャの間に検出された動きに少なくとも部分的に基づき、フレームがどのように表示されるかを操作しても良い。例えば、カメラが非常に動いていて、表示されるビデオ画像が安定し動きアーチファクトのない期間が短期間しか存在しない場合、装置は、ビデオを表示しようとすることを止めても良く、代わりに閲覧基準を満たす静止画像を表示しても良い。
添付の図面は、種々の例示的な装置、方法、及び本願明細書に記載の他の実施形態を図示する。図中の図示の要素の境界(例えば、ボックス、ボックスのグループ、又は他の形状)は、境界の一例を表す。幾つかの例では、1つの要素は、複数の要素又は1つの要素として設計され得る複数の要素として設計されても良い。幾つかの例では、別の要素の内部コンポーネントとして示される要素は、外部コンポーネントとして実装されても良く、逆も同様である。さらに、要素は、縮尺通りに描かれない場合がある。
ビデオフレームのストリームを生成するカメラ、及びカメラの動きにより損なわれたフレームを処理する例示的なコントローラを示す。 ビデオデータ及び静止フレームを含む例示的なプレゼンテーションストリームを示す。 カメラの動きにより損なわれたビデオフレームの処理に関連する例示的な方法を示す。 カメラの動きにより損なわれたビデオフレームの処理に関連する例示的な方法を示す。 カメラの動きにより損なわれたビデオフレームの処理に関連する例示的な装置を示す。 カメラの動きにより損なわれたビデオフレームの処理に関連する例示的な装置を示す。 例示的な方法又は装置がカメラの動きにより損なわれたビデオフレームを処理し得る例示的なクラウド動作環境を示す。 カメラの動きにより損なわれたビデオフレームを処理するよう構成される例示的なモバイル通信装置を示すシステムズである。
例示的な装置及び方法は、フレームをキャプチャしている間にビデオカメラが動いているときに生じる問題を解決する。カメラの動きが検出されるとフレームキャプチャレートを増大させ、それにより追加リソースを消費する従来のシステムと異なり、例示的な装置及び方法は、異なるアプローチを取ることによりリソース消費を低減しようとする。より多くのフレームをキャプチャするのではなく、例示的な装置及び方法は、カメラの動きにより閾量より少ない影響を受けているフレームを表示するだけで、カメラの動きに応答しても良い。さらに、カメラを高速化するのではなく、例示的な装置及び方法は、動きが検出されている間にカメラを減速させ、ビデオプレゼンテーションの代わりに、スライドショープレゼンテーションに適する静止フレームが取得され得るように、カメラを変更する。
図1は、ビデオフレームのストリーム110を生成しているカメラ100を示す。ビデオフレームのストリーム110は、制御部120により処理される。制御部120は、カメラ100の動きにより望ましくない影響を受けている、ストリーム110の中のフレームを識別しても良い。見るに耐え得る(viewable)と考えられるフレームは提示され得るが、見るに耐えないと見なされるフレームが提示されない。フレームがカメラ100の動きに起因するダメージの閾量より少ないことを示す場合、フレームは、見るに耐え得ると考えられても良い。ダメージは、信号対雑音比(signal−to−noise ratio:SNR)、ブラーの量、動きアーチファクト、又は他の基準により識別されても良い。
制御部120は、見るに耐え得ると考えられた単一フレーム130を提示しても良く、次に別の単一フレーム140を提示する前に、見るに耐えないと考えられた多数のフレームをスキップしても良い。一実施形態では、単一フレーム130は、所定の時間期間(例えば、1秒)の間、表示されても良く、又は、次の見るに耐え得るフレーム140が提供されるまで、表示されても良い。制御部120は、次に、クリップ150を提供しても良い。クリップ150は、カメラ100が閾量より少なく動いていた間に取得された一連の連続フレームを有しても良い。クリップ150が提供された後、制御部120は、次に単一フレーム160を提供しても良い。フレーム160は、長期にわたる時間期間の間(例えば、別の見るに耐え得るフレームが提供されるまで)、提示されても良い。どのフレームが閲覧のために提供されるかを制御することに加えて、制御部120は、カメラ100に制御信号も提供しても良い。制御信号は、例えば、カメラ100がビデオデータを取得しようとし続けるか否か、又はカメラ100が静止フレームを取得するか否かを決定しても良い。
図2は、カメラ100の中のセンサ102を示す。センサ102は、例えば、ジャイロスコープ、加速度計、又はカメラ100の動きを決定できる他の電気的、機械的、若しくは電子的装置であっても良い。カメラ100は、ストリーム110の中のフレームに関連する動きデータ112を生成しても良い。カメラ100は、分析器104にもデータを供給しても良い。分析器104は、動きデータ112を生成し、変更し、又は操作しても良い。例えば、センサ102は、生加速度計データを動きデータ112に提供しても良い。一方で、分析器104は、動きデータ112に提供/非提供値(provide/do−not−provide value)を提供しても良い。
制御部120は、ストリーム110を受信し、もしあれば、どのフレームが動きデータ112に少なくとも部分的に基づき閲覧のために提供されるべきかを決定しても良い。制御部120は、閲覧のためにフレーム(例えば130、140、150、160)を提供しても良く、又はフレーム若しくは制御情報をディスプレイ装置170に提供しても良い。ディスプレイ装置170は、制御部120により提供されるどのフレームを表示すべきかを決定しても良い。ディスプレイ装置170は、ディスプレイ装置170が提示するフレームをどのようにフォーマットするかも決定しても良い。
以下のシナリオを検討する。ユーザは、彼らのスマートフォンを彼らの手に持ちながら、サッカーの試合を観戦している。試合の開始前に、ユーザは、彼らの状況を示すためにスタジアムのパノラマビデオを撮っても良い。ユーザが、突然の加速又は減速を伴わない、なだらかな弧でカメラを移動する場合、ビデオは見るに耐え得る。試合が始まろうとするとき、ユーザは動かないで立ち、センタフォワードが試合開始の合図を待っているセンタサークルにカメラを動かさないで保持しても良い。ユーザは動かないので及び何ら動作が存在しないので、ここでもビデオは閲覧のために許容可能であり得る。
しかしながら、試合が始まると、ユーザが動き回る場合、ビデオは、観ることが困難になり得る。例えば、ユーザが彼らのチームを応援するために彼らの足を踏み鳴らす場合、カメラは、急な加速を経験し得る。多くのビデオは見るに耐え得るが、ユーザの足がコンクリートのスタンドにぶつかるときの衝撃の間に取得されたフレームは損傷し得る。例示的な装置及び方法は、これらの損傷したフレームを廃棄しても良く、一方で円滑なビデオである他のフレームを提供する。
試合中、フリーキックのセットプレイがある場合がある。ユーザは、動作を更に素早くキャプチャするためにズームインし得る。素早いズームは、ビデオを観るのを非常に困難にする明らかな動きを生じ得る。ここでも、例示的な装置及び方法は、これらのフレームを廃棄しても良い。
試合中、足の速い選手により端から端までの襲撃があるかも知れない。ユーザは、その動作を追うためにカメラをパンしようとし得る。しかしながら、ユーザは円滑にパンすることができず、ブラーのある多数のフレームを生成し得る。あるいは、撮影場面の中に非常に多くの動きがあり、目眩がすることなくビデオを観ることが難しい場合がある。目眩を起こす1又は複数のブラーフレームを提示するのではなく、例示的な装置及び方法は、これらのフレームを廃棄しても良い。
フレームの廃棄は、カメラにおいて又はディスプレイにおいて生じても良い。スマートフォン又は他のハンドヘルド装置の場合には、ディスプレイはカメラにあっても良い。フレームの廃棄は、メモリにフレームを格納すること、メモリからフレームを削除すること、又はメモリの中のフレームを損傷しているとマークすることを含まなくても良い。フレームの廃棄は、ある装置から別の装置へフレームを送信することも含まなくても良い。
フレームが廃棄されるとき、空き領域をどのように満たすかに関して決定が行われても良い。一実施形態では、最後に受信したフレームは、別のフレームが受信されるまで、表示されても良い。別の実施形態では、受信したフレームは、バッファされ又は格納され、次に、指定された遷移によりスライドショー方式で表示されても良い。
このシナリオにおけるビデオは、見易いものであり得る。ビデオは、見るに耐えない又は少なくとも見難い、クリップから選択された一連の静止フレームを有しても良い。フレームの廃棄は、メモリ要件を低減し、実行される処理を低減し、及びネットワークを介して送信されるデータ量を低減し得る。セルラ電話機では、送信されるデータ量の低減は、バッテリ電力の節約、及び消費される帯域幅の節約をもたらし得る。
ユーザがカメラを装着している又はカメラが自転車、カヤック、パラシュートの装具、ロッククライミングのヘルメット、又は必ず有意な動きを生じる他の機材に取り付けられている、より極端なシナリオを検討する。このシナリオでは、ビデオをキャプチャしているカメラは、格納されない又は閲覧装置へ送信されない。あるいは、ビデオをキャプチャしているカメラは、閲覧装置が削除したいと望み得るフレームを識別できる。
以下の詳細な説明の一部は、メモリ内のデータビットに対する動作のアルゴリズム及び象徴的表現の観点で提供される。これらのアルゴリズムの説明及び表現は、当業者により、業務内容を最も効率的に他の当業者に伝えるために用いられる手段である。アルゴリズムは、結果を生成する工程のシーケンスであると考えられる。工程は、電子的値の形式を取り得る物理量を生成し及び操作するステップを含み得る。電子的値の形式の物理量を生成し及び操作するステップは、具体的な、有形の、有用な、現実の結果を生成する。
基本的に一般的に用いられるという理由で、これらの信号をビット、値、要素、シンボル、文字、語、数値、等として表すことが便利であることが分かっている。しかしながら、これらの及び類似の語は、適切な物理量に関連付けられ、これらの量に適用される便宜的ラベルに過ぎない。特に断りのない限り、説明を通じて、処理する、計算する、及び送信することを含む用語は、コンピュータシステム、ロジック、プロセッサ、又は物理量(例えば、電子的値)として表されたデータを操作し及び変換する類似の電子装置の動作及び処理を表すことが理解される。
例示的な方法は、フロー図を参照して良好に理解され得る。簡単のため、説明のための方法が、一連のブロックとして示され記載される。しかしながら、幾つかの実施形態ではブロックは示され記載されるものと異なる順序で生じ得るので、方法は、ブロックの順序により限定されてはならない。さらに、例示的な方法を実施するために、図示された全部より少ないブロックしか必要なくても良い。ブロックは、複数のコンポーネントに結合され又は分離されても良い。さらに、追加又は代替の方法は、追加の図示しないブロックを用いることができる。
図3は、カメラの動きにより損なわれたビデオフレームの処理に関連する例示的な方法300を示す。方法300は、310で、ビデオカメラによりキャプチャされたフレームにアクセスするステップを有する。カメラは、スマートフォンカメラ(例えば、スマートフォン装置の部分)、タブレットの中のカメラ、パーソナルコンピュータの中のカメラ、パーソナルデジタルアシスタントの中のカメラ、又は他のカメラであっても良い。一実施形態では、カメラは、ダウンロード又はアップロードのために画像を格納するスタンドアロンカメラであっても良い。別の実施形態では、カメラは、クラウドに直接接続され、ライブビデオをストリーミングするよう構成されても良い。一実施形態では、カメラは、スマートフォン、タブレット、コンピュータ、又はビデオをストリーミングする他のインターネット接続装置に無線接続されても良い。ビデオカメラによりキャプチャされるフレームにアクセスするステップは、メモリの内容を検査するステップ、メモリへのポインタを受信するステップ、バイナリの大きなオブジェクトを受信するステップ、オブジェクトを受信するステップ、又は他の動作を有しても良い。ビデオカメラによりキャプチャされるフレームにアクセスするステップは、メモリ、若しくはフレームをキャプチャした装置に格納されたデータにアクセスするステップ、又はメモリ若しくはフレームをキャプチャしなかった別の装置にあるデータにアクセスするステップを有しても良い。フレームにアクセスするステップは、フレームのストリームの中のフレームを受信するステップ、単一フレームとしてフレームを受信するステップ、フレームの集合からのフレームをパースするステップ、又は他の動作を有しても良い。
方法300は、320で、フレームがキャプチャされたときのビデオカメラの動きに応じて、フレームの閲覧因子を決定し又は計算するステップも有する。一実施形態では、ビデオカメラの動きは、フレームがキャプチャされたときのビデオカメラに関連する加速度計データから決定される。別の実施形態では、ビデオカメラの動きは、フレームがキャプチャされたときのビデオカメラに関連するジャイロスコープのデータから決定される。カメラにあるセンサは、動きが識別できる何らかの情報を提供するが、キャプチャされたフレームも、動きが識別できるデータを提供しても良い。一実施形態では、ビデオカメラの動きは、フレームに関連する単一フレーム動き分析データから決定される。別の実施形態では、ビデオカメラの動きは、フレーム及びビデオカメラから取得された1又は複数の他のフレームに関連するフレーム間動き分析データから決定される。別の実施形態では、加速度計、ジャイロスコープ、単一フレーム、及びフレーム間データの異なる順列又は組合せが、カメラの動きを識別するために使用されても良い。
一実施形態では、閲覧因子が閲覧基準を満たさないことが決定されると、フレームは、閲覧基準を満たした前に取得されたフレームにより置換されても良い。閲覧基準は、例えば、許容可能な信号対雑音比(SNR)、許容可能な数の動きアーチファクト、許容可能な割合の動きにより損なわれた画像、フレームが損なわれている程度、又は他の情報を表しても良い。置換は、前に取得されたフレームを表すビットがフレームを上書きするために使用される場合には物理的であっても良く、又はフレームへのポインタが前に取得されたフレームへのポインタにより置換される場合には論理的であっても良い。置換は、フレームが格納されるメモリの中で行われても良く、送信元(例えば、カメラ)から宛先(例えば、ディスプレイ)へ供給されているフレームのストリームの中で行われても良く、又は他の方法で行われても良い。一実施形態では、メモリ又は帯域幅を節約するために、前に取得されたフレームは、損傷したフレームを置換する前に、圧縮フレームに圧縮されても良い。別の実施形態では、置換は、カメラにおいて、カメラの代わりにビデオをストリーミングする装置において、又はビデオを表示する装置において、実行されても良い。
一実施形態では、閲覧因子が閲覧基準を満たさないことが決定されると、方法300は、フレームが閲覧基準を満たさないことを示す信号を提供しても良い。信号は、メモリに値を格納することによりフレームに関連付けられても良く、出て行くビデオストリームの中で置換されても良く、フレームが提供されているチャネルとは別個のチャネルで提供されても良く、エンコーダ/デコーダがフレームを処理するのを中断する形式を取っても良く、又は他の方法で提供されても良い。したがって、最後の許容可能なフレームを複数回送信するのではなく、送信装置は、最後の許容可能なフレームを1回送信し、次に、受信装置がスライドショーモードに入るために使用できる信号を送信しても良い。
方法300は、330で、フレームがどのように提示されるかを制御するステップも有する。閲覧のためにフレームがどのように提示されるかを制御するステップは、閲覧因子に応じても良い。フレームがどのように提示されるかを制御するステップは、ビデオカメラがビデオカメラモードで動作するか又は静止フレームモードで動作するかを制御するステップを有しても良い。一実施形態では、ビデオカメラモード及び静止フレームモードは、画像がどのように取得され表示されるかを制御しても良い。例えば、静止フレームモードにおける動作は、ビデオカメラのフレームキャプチャレートを、24フレーム毎秒より低く調整するステップ、及びビデオカメラのシャッタスピードを、1/500秒より速く調整するステップを有しても良い。別の例では、ビデオカメラモードにおける動作は、ビデオカメラのフレームキャプチャレートを、少なくとも24フレーム毎秒に調整するステップ、及びビデオカメラのシャッタスピードを1/500秒より遅く調整するステップを有しても良い。他のフレームキャプチャレート及びシャッタスピードが用いられても良い。
一実施形態では、閲覧のためにフレームがどのように提示されるかを制御するステップは、フレームがフレームをキャプチャした装置から送信されるか否かを制御するステップを有する。フレームが提示されない予定である場合、フレームは、キャプチャ装置からディスプレイ装置又は処理装置へ送信されなくても良い。一実施形態では、閲覧のためにフレームがどのように提示されるかを制御するステップは、フレームをメモリから削除するステップを有する。削除は、フレームを表すビットが実際にゼロである又は操作される場合、物理的であっても良い。削除は、フレームを表すビットへのポインタが削除され又は操作される場合、表示リストの中の構成要素が削除される場合、又は画像を表すビットがアクセスされるのを防ぐ他の物理的動作が取られる場合、論理的であっても良い。
方法300の中で説明された種々の動作は、異なる装置で実行されても良い。例えば、310でフレームにアクセスするステップは、フレームをキャプチャした第1の装置で、又はフレームをキャプチャしなかった第2の装置で、生じても良い。同様に、閲覧因子を決定するステップは、第1の装置で、又はフレームをキャプチャしなかった装置で、生じても良い。さらに、フレームがどのように提示されるかを制御するステップは、第1の装置で又は別の装置で生じても良い。例えば、ある装置は、動きノイズを有するビデオストリームを送信しても良い。第2の装置は、動きを補正でき、したがって観察者に良好なビューを示すことができても良い。第2の装置は、閲覧者に目眩又は異常を起こすセグメントを、素晴らしい、滑らかな、遅い遷移により置換しても良い。実例として、ユーザは、許容できない動きノイズを生成する第1の電話機でビデオを撮っても良い。ビデオは、ビューをきれいにし及び好ましいものを提示できる第2の高機能電話機に送られても良い。
図4は、方法300と同様の幾つかの動作を含む例示的な方法400を示す。方法400は、410でフレームにアクセスするステップ、420で閲覧因子を決定する又は計算するステップ、及び430で閲覧のためにフレームがどのように提示されるかを制御するステップを有する。しかしながら、方法400は追加動作を有する。
例えば、方法400は、425で、ビデオカメラによりキャプチャされる一連のフレームの連続性因子を計算するステップを有する。連続性因子は、一連のフレームの構成要素の閲覧因子に少なくとも部分的に基づいても良い。閲覧因子が単一フレームの提示を制御するために使用され得るのと同様に、連続性因子は、一連のフレームの提示を制御するために用いられても良い。一実施形態では、連続性因子が連続性基準を満たさないと決定されると、方法400は連続性因子が連続性基準を満たさなかった場合に、静止フレーム表示モードに入るよう、一連のフレームを表示していた装置を制御しても良い。さらに、方法400は、連続性因子が連続性基準を満たすと決定されると、ビデオ表示モードに入るよう、装置を制御するステップを有しても良い。
一実施形態では、静止フレーム表示モードは、単一フレームが利用可能になると、閲覧基準を満たす該単一フレームを選択的に表示するよう構成される。とぎれとぎれの又は苛立つ閲覧経験を防ぐために、単一フレームは、少なくとも所定の単一フレーム時間期間(例えば、1秒、25秒、5秒、1秒)の間、表示されても良い。一実施形態では、利用可能になったので静止フレームが表示されているとき、単一フレームモードは、種々のビデオ効果(例えば、フェードイン、フェードアウト、ディゾルブ、エンターレフト、イグジットライト)を用いてフレーム間を滑らかに移行することにより、フレームを接続するステップを有しても良い。別の実施形態では、静止フレーム表示モードは、連続性基準が満たされるまで、閲覧基準を満たした前に提供されたフレームを表示するよう構成されても良い。これは、連続性因子を満たした一連のフレームの中の閲覧因子を満たした最後のフレームが、連続性因子を満たす一連のフレームの中の閲覧因子を満たす次のフレームが提供されるまで、表示される「フリーズフレーム」モードと類似し得る。方法300又は400は、両方とも、動きが閾より低く削減されたと決定されると、ビデオモードに自動的に戻るステップを有しても良い。
図3及び4は直列に生じる種々の動作を示すが、図3及び4に示す種々の動作は実質的に並列に生じ得ることが理解されるべきである。実例として、第1のプロセスはフレームにアクセスし、第2のプロセスは閲覧及び連続性因子を決定し、第3のプロセスはカメラ動作を制御し、及び第4のプロセスは表示動作を制御し得る。4つのプロセスが説明されたが、より多数の又はより少数のプロセスが用いられ得ること、及び軽量プロセス、定期的プロセス、スレッド、及び他のアプローチが用いられ得ることが理解されるべきである。
一例では、方法は、コンピュータ実行可能命令として実装されても良い。したがって、一例では、コンピュータ可読媒体は、機械(例えば、コンピュータ)により実行される場合、該機械に、方法300又は方法400を含む本願明細書で記載される又は請求される方法を実行させるコンピュータ実行可能命令を格納しても良い。列挙した方法に関連する実行可能命令はコンピュータ可読記憶媒体に格納されていると記載されたが、本願明細書で記載される又は請求される他の例示的な方法に関連する実行可能命令もコンピュータ可読記憶媒体に格納されても良い。別の実施形態では、本願明細書に記載の例示的な方法は、異なる方法でトリガされても良い。一実施形態では、方法は、ユーザにより手動でトリガされても良い。別の例では、方法は自動的にトリガされても良い。
図5は、カメラの動きにより損なわれたビデオフレームの処理に関連する装置500を示す。一例では、装置500は、プロセッサ510、メモリ520、及びロジックのセット530に接続するよう構成されるインタフェース540を有する。装置500の要素は、互いに通信するよう構成されても良いが、図示の明確化のために全ての接続は示されるものではない。
装置500は、プロセッサ510を有しても良い。プロセッサ510は、例えば、信号プロセッサ、マイクロプロセッサ、ASIC(application specific integrated circuit)、又は信号符号化、データ処理、入力/出力処理、電力制御、又は他の機能を含むタスクを実行する他の制御及び処理論理回路であっても良い。プロセッサ510は、ロジックのセット530により実行される処理をサポートする動作を実行するよう構成されても良い。
装置500は、メモリ520を有しても良い。メモリ520は、非取り外し可能メモリ又は取り外し可能メモリを有しても良い。非取り外し可能メモリは、RAM(random access memory)、ROM(read only memory)、フラッシュメモリ、ハードディスク、又は他のメモリストレージ技術を有しても良い。取り外し可能メモリは、フラッシュメモリ、又は「スマートカード」のような他のメモリストレージ技術を有しても良い。メモリ520は、ビデオカメラにより取得されるフレームのセットを格納し、カメラにより取得される個々のフレームを格納し、又はフレームに関するメタデータを格納するよう構成されても良い。メタデータは、例えば、フレームのセンサデータ、フレームの動き分析データ、インクルード/エクスクルード値、又は他の値を有しても良い。
一実施形態では、装置500は、ロジックのセット530の含有を通じて、専用コンピュータに変換された汎用コンピュータであっても良い。ロジックのセット530は、カメラの動きにより損なわれたビデオフレームを扱うよう構成されても良い。カメラの動きにより損なわれたビデオフレームを扱うことは、フレームを削除するステップ、フレームが表示されるのを防ぐステップ、フレームがどのように表示されるかを制御するステップ、カメラがどのようにフレームを取得するかを制御するステップ、ディスプレイがどのようにフレームを提示するかを制御するステップ、又は他の動作を有しても良い。装置500は、例えばコンピュータネットワークを通じて、他の装置、処理、及びサービスと相互作用しても良い。
装置500は、第1のロジック531を有しても良い。第1のロジック531は、ビデオカメラがフレームセットの構成要素を取得した間にビデオカメラがどのように動いていたかを記述する動きデータを生成するよう構成されても良い。動きは、種々のセンサ又はプロセスからのデータを用いて識別され得る。例えば、動きデータは、ビデオカメラにより生成されたジャイロスコープデータ又はビデオカメラにより生成され加速度計データに応じても良い。さらに、動きデータは、単一フレーム動き分析、又はフレーム間動き分析に応じても良い。単一フレーム動き分析は、例えば、動きアーチファクト、信号対雑音比、又は他の因子を識別しても良い。フレーム間動き分析は、オブジェクト間の位置合わせ(registration)、オブジェクト間の連続性、又は他の因子を検査しても良い。動きデータは、フレーム毎動きデータ又はクリップ毎動きデータを有しても良い。クリップは、所定の時間期間の範囲内に取得された関連フレームのセットである。一実施形態では、動きデータは、カメラの実際の動きを記述しても良く(例えば、ユーザはカメラを振り回している)又は明らかな動きを報告しても良い(例えば、ユーザは素早くズームイン又はアウトしている)。
装置500は、第2のロジック532を有しても良い。第2のロジック532は、フレームセットの構成要素が連続ビデオ表示として、選択された静止フレームとして表示されるか、又は全く表示されないかを制御するよう構成されても良い。構成要素が表示されるか否か、及び構成要素が静止フレームとして又は連続ビデオ表示として表示されるか否かは、少なくとも部分的に動きデータに基づいても良い。例えば、動きデータが動き閾を満たさなかった間に取得された第1のフレームシリーズの構成要素は、第1の不連続表示モードで提示されても良い。一方、動きデータが動き閾を満たした間に取得された第2のフレームシリーズの構成要素は、第2の連続表示モードで提示されても良い。より一般的には、動いているカメラからのフレームは、静止画像として提示され得る。一方、動いていない若しくは少しの量子化動いていないカメラからのフレームは、ビデオとして提示され得る。
一実施形態では、第2のロジック532は、フレーム毎動きデータに基づきフレームセットの個々の構成要素を選択的に除外するよう構成される。例えば、フレームシリーズはフレームシリーズの中の全体的動きの連続性基準を満たしても良いが、1又は複数の個々の構成要素は、個々のフレームの閲覧基準を満たさなくても良い。第2のロジック532は、クリップ毎動きデータに基づきフレームセットの個々の構成要素を選択的に除外するようにも構成されても良い。例えば、クリップ毎動きデータは、許容できない連続性又はブラーの一因となるフレームを識別しても良い。第2のロジック532は、クリップ毎動きデータに基づきフレームセットの構成要素の部分集合を選択的に除外するようにも構成されても良い。例えば、クリップ毎動きデータは、連続性基準を満たさないフレームシリーズを識別しても良く、シリーズ全体を除外しても良い。
図6は、装置500の別の実施形態を示す。本実施形態は、ビデオカメラのフレームキャプチャパラメータを制御するよう構成される第3のロジック533を有する。フレームキャプチャパラメータは、例えば、フレームキャプチャレート又はシャッタスピードであっても良い。フレームキャプチャパラメータが調整されるか否か及びどのように調整されるかは、少なくとも部分的に動きデータに基づいても良い。例えば、カメラが動いている場合、カメラは、静止フレームの生成を最適化するよう調整されても良い。カメラが動いていない場合、カメラは、ビデオ表示のための連続フレームシリーズの生成を最適化するよう調整されても良い。一実施形態では、第3のロジック533は、カメラが動いている間に、カメラがフレームをキャプチャするのを防ぐよう構成されても良い。これは、例えば、フレームキャプチャレートをゼロに設定することにより達成されても良い。
図7は、例示的なクラウド動作環境700を示す。クラウド動作環境700は、スタンドアロン製品としてではなく抽象サービスとして、計算、処理、記憶、データ管理、アプリケーション、及びの他の機能の配信をサポートする。サービスは、1又は複数のコンピューティング装置における1又は複数のプロセスとして実装され得る仮想サーバにより提供されても良い。幾つかの実施形態では、プロセスは、クラウドサービスを崩壊させることなく、サーバ間でマイグレートしても良い。クラウドでは、共有リソース(例えば、計算、記憶)は、サーバ、クライアント、及びモバイル装置を含むコンピュータに、ネットワークを介して提供されても良い。異なるネットワーク(例えば、イーサネット(登録商標)、Wi−Fi、802.x、セルラ)が、クラウドサービスにアクセスするために用いられても良い。クラウドと相互作用するユーザは、サービス(例えば、計算、記憶)を実際に提供している装置の詳細(例えば、場所、名称、サーバ、データベース)を知る必要がない。ユーザは、例えば、ウェブブラウザ、シンクライアント、モバイルアプリケーションを介して、又は他の方法で、クラウドサービスにアクセスしても良い。
図7は、クラウドの中に存在する例示的なビデオ処理サービス760を示す。ビデオ処理サービス760は、処理を実行するためにサーバ702又はサービス704に依存しても良く、データを格納するためにデータストア706又はデータベース708に依存しても良い。単一のサーバ702、単一のサービス704、単一のデータストア706、及び単一のデータベース708が図示されるが、サーバ、サービス、データストア、及びデータベースの複数のインスタンスがクラウドの中に存在しても良く、したがって、それらがビデオ処理サービス760により使用されても良い。ビデオ処理サービス760は、カメラの動きにより影響を受けている、損なわれている、又は悪影響を受けているフレームを識別しても良い。一実施形態では、ビデオ処理サービス760は、これらのフレームを閲覧ストリームから物理的に又は論理的に削除しても良い。別の実施形態では、ビデオ処理サービス760は、フレームが表示されるのを防止しても良い。更に別の実施形態では、ビデオ処理サービス760は、フレームがフリーズフレームモードで、スライドショーモードで、ビデオモードで、又は他のモードで表示されるかを制御しても良い。ビデオ処理サービス760は、カメラがどのように(例えば、ビデオに最適化された、又は静止画に最適化された)フレームを取得するかも制御しても良い。
図7は、クラウドの中のビデオ処理サービス760にアクセスする種々の装置を示す。装置は、コンピュータ710、タブレット720、ラップトップコンピュータ730、PDA(personal digital assistant)740、モバイル装置(例えば、セルラ電話機、衛星電話機)750、ゲームコンソール770、又はゲームコントローラ780を有する。異なる装置を用いる異なる場所にいる異なるユーザが、異なるネットワーク又はインタフェースを通じてビデオ処理サービス760にアクセスすることが可能である。一例では、ビデオ処理サービス760は、ビデオをキャプチャするモバイル装置(例えば、電話機750)によりアクセスされても良い。ビデオ処理サービス760は、電話機750からの何からのビデオが表示され、格納され、又は送信されるのを防止しても良い。別の例では、ビデオ処理サービス760の部分は、モバイル装置(例えば、電話機750)に存在しても良い。
図8は、例示的なモバイル装置800を示すシステムズである。モバイル装置800は、概して802に示される、種々の任意的ハードウェア及びソフトウェアコンポーネントを有する。本願明細書に記載の例示的な方法、装置、及びサービスにより処理されるフレームは、装置800により取得されても良い。図示を容易にするために全ての接続が示されないが、モバイル装置800の中のコンポーネント802は、他のコンポーネントと通信できる。モバイル装置800は、種々のコンピューティング装置(例えば、携帯電話機、スマートフォン、ハンドヘルドコンピュータ、PDA(Personal Digital Assistant)、等)であっても良く、セルラ若しくは衛星ネットワークのような1又は複数のモバイル通信ネットワーク804との無線双方向通信を可能にしても良い。
モバイル装置800は、信号符号化、データ処理、入力/出力処理、電力制御、又は他の機能を含むタスクを実行するコントローラ又はプロセッサ810(例えば、信号プロセッサ、マイクロプロセッサ、ASIC、又は他の制御及び処理論理回路)を有し得る。オペレーティングシステム812は、コンポーネント802の割り当て及び使用を制御し、アプリケーションプログラム814をサポートできる。アプリケーションプログラム814は、ビデオキャプチャ、ビデオ処理、ビデオディスプレイ、モバイルコンピューティングアプリケーション(例えば、電子メールアプリケーション、カレンダ、連絡先管理、ウェブブラウザ、メッセージアプリケーション)、又は他のコンピューティングアプリケーションを有し得る。
モバイル装置800は、メモリ820を有し得る。メモリ820は、非取り外し可能メモリ822又は取り外し可能メモリ824を有し得る。非取り外し可能メモリ822は、RAM(random access memory)、ROM(read only memory)、フラッシュメモリ、ハードディスク、又は他のメモリストレージ技術を有し得る。取り外し可能メモリ824は、フラッシュメモリ、又はGSM(登録商標)通信システムにおいて知られているSIM(Subscriber Identity Module)カード、又は「スマートカード」のような他のメモリ記憶技術を有し得る。メモリ820は、データを格納するために、又はオペレーティングシステム812及びアプリケーション814を実行するコードを格納するために、用いることができる。例示的なデータは、ビデオカメラによりキャプチャされた個々のフレーム、ビデオカメラによりキャプチャされたフレームシリーズ、フレームに関するメタデータ、及び他のデータを有し得る。メモリ820は、IMSI(International Mobile Subscriber Identity)のような加入者識別子、及びIMEI(International Mobile Equipment Identifier)のような機器識別子を格納できる。これらの識別子は、ユーザ又は機器を識別するためにネットワークサーバへ送信され得る。
モバイル装置800は、タッチスクリーン832、マイクロフォン834、カメラ836、物理キーボード838、又はトラックボール840を含むがこれらに限定されない1又は複数の入力装置830をサポートできる。モバイル装置800は、スピーカ852及びディスプレイ854を含むがこれらに限定されない出力装置850もサポートしても良い。他の可能な入力装置(図示しない)は、加速度計(例えば、1次元、2次元、3次元)を有する。他の可能な出力装置(図示しない)は、圧電素子又は他の触覚出力装置を含み得る。幾つかの装置は、1より多い入力/出力機能を提供できる。
例えば、タッチスクリーン832及びディスプレイ854は、単一の入力/出力装置に結合され得る。入力装置830は、NUI(Natural User Interface)を有し得る。NUIは、ユーザがマウス、キーボード、リモコン、等のような入力装置により課される人工的制約のない「自然な」方法で、装置と相互作用できるようにするインタフェース技術である。NUI方法の例は、会話認識、タッチ及びスタイラス認識、ジェスチャ認識(スクリーン上及びスクリーン隣接の両方)、態度(air)ジェスチャ、頭及び目の追跡、音声及び会話、視野、タッチ、ジェスチャ、及び人工知能に依存する方法を含む。NUIの他の例は、加速度計/ジャイロスコープを用いる動きジェスチャ検出、顔認識、3次元(3D)ディスプレイ、頭部、目及び視線追跡、没入型拡張現実及び仮想現実システム、を含む。これらの全部は、より自然なインタフェースを提供する。また、EEG(electric field sensing electrodes)及び関連方法を用いる脳活動を検知する技術も含む。したがって、1つの特別な例では、オペレーティングシステム812又はアプリケーション814は、ユーザが音声コマンドにより装置800を操作できるようにする音声ユーザインタフェースの部分として、会話認識ソフトウェアを有し得る。さらに、装置800は、ゲームアプリケーションに入力を供給するためにジェスチャを検出し解釈するような、ユーザの空間的ジェスチャによるユーザ相互作用を可能にする入力装置及びソフトウェアを有し得る。
無線モデム860は、アンテナ891に結合され得る。幾つかの例では、無線周波数(RF)フィルタが用いられ、プロセッサ810は選択された周波数帯域のためにアンテナ構成を選択する必要がない。無線モデム860は、プロセッサ810と外部装置との間の双方向通信をサポートできる。モデム860は、一般的に示され、モバイル通信ネットワーク804及び/又は他の無線に基づくモデム(例えば、Bluetooth(登録商標)864又はWi−Fi862)と通信するセルラモデムを有し得る。無線モデム860は、単一のセルラネットワークの中の、セルラネットワーク間の、又はモバイル装置とPSTN(public switched telephone network)との間のデータ及び音声通信のためのGSM(Global system for mobile communications)ネットワークのような1又は複数のセルラネットワークと通信するために構成されても良い。モバイル装置800は、例えばNFC(near field communication)要素892を用いてローカルに通信しても良い。
モバイル装置800は、少なくとも1つの入力/出力ポート880、電源882、GPS(Global Positioning System)受信機のような衛星ナビゲーションシステム受信機884、加速度計886、又はUSB(Universal Serial Bus)ポート、IEEE1394(Fire Wire)ポート、RS−232ポート、若しくは他のポートであり得る物理コネクタ890、を有しても良い。
図示のコンポーネント802は、他のコンポーネントが削除され又は追加され得るので、必要でなくても又は包括的はない。
モバイル装置800は、モバイル装置800の機能を提供するよう構成されるビデオ処理ロジック899を有しても良い。例えば、ビデオ処理ロジック899は、サービス(例えば、図7のサービス760)とインタフェースするクライアントを提供しても良い。ビデオ処理ロジック899は、カメラ(例えば、カメラ836)により取得されたフレームがビデオとしての閲覧に適するか、選択された静止フレームとして閲覧により適するか、又は閲覧には全く適さないかを決定しても良い。ビデオ処理ロジック899は、加速度計866、ジャイロスコープ、又は装置800にある他のセンサからのデータに依存しても良い。本願明細書に記載の例示的な方法の部分は、ビデオ処理ロジック899により実行されても良い。同様に、ビデオ処理ロジック899は、本願明細書に記載の装置の部分を実装しても良い。
以下に、本願明細書で用いられる選択された用語を定義する。この定義は、用語の範囲内に含まれ実施のために使用され得る種々の例又は形式のコンポーネントを含む。このような例は、限定を意図しない。単数及び複数の両方の形式の用語は、この定義に包含され得る。
「一実施形態」、「ある実施形態」、「一例」、「ある例」という言及は、そのように記載された実施形態(又は例)が特定の機能、構造、特徴、プロパティ、要素又は限定を含み得ること、しかし各実施形態又は例が特定の機能、構造、特徴、プロパティ、要素又は限定を必ずしも含まないことを意味する。さらに、表現「一実施形態では」の繰り返しの使用は、同一であっても良いが必ずしも同一の実施形態を参照しない。
本願明細書で使用されるとき「コンピュータ可読記憶媒体」は、命令又はデータを格納する媒体を表す。「コンピュータ可読記憶媒体」は、伝搬される信号を表さない。コンピュータ可読記憶媒体は、不揮発性媒体及び揮発性媒体を含むがこれらに限定されない形態を取り得る。不揮発性媒体は、例えば、光ディスク、磁気ディスク、テープ、及び他の媒体を有しても良い。揮発性媒体は、例えば、半導体メモリ、動的メモリ、及び他の媒体を有しても良い。コンピュータ可読記憶媒体の一般的形式は、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ASIC(application specific integrated circuit)、CD(compact disk)、他の光媒体、RAM(random access memory)、ROM(read only memory)、メモリチップ又はカード、メモリスティック、及びコンピュータ、プロセッサ若しくは他の電子装置が読み取れる他の媒体、を含み得るが、これらに限定されない。
本願明細書で使用されるとき「データストア」は、データを格納できる物理的又は論理的エンティティを表す。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ、及び他の物理的レポジトリであっても良い。異なる例では、データストアは、1つの論理的又は物理的エンティティの中に存在しても良く、又は2以上の論理又は物理的エンティティの間に分散されても良い。
本願明細書で用いられる「ロジック」は、機能若しくは動作を実行するための又は別のロジック、方法若しくはシステムから機能若しくは動作を生じさせるためのハードウェア、ファームウェア、機械において実行されるソフトウェア、又は各々の組合せを含むが、これらに限定されない。ロジックは、ソフトウェア制御マイクロプロセッサ、個別論理素子(例えば、ASIC)、アナログ回路、デジタル回路、プログラムドロジック装置、命令を含むメモリ装置、及び他の物理装置を有しても良い。ロジックは、1又は複数のゲート、ゲートの組合せ、又は他の回路コンポーネントを有しても良い。複数の論理ロジックが記載されるが、複数の論理ロジックを1つの物理ロジックに組み込むよう構成されても良い。同様に、単一の論理ロジックが記載される場合、該単一の論理ロジックを複数の物理ロジックの間で分散することが可能である。
用語「含む(includes又はincluding)」は、詳細な説明又は請求項で使用される限りは、用語「有する(comprising)」が請求項の中の中間形態の言葉として用いられるとき解釈されるのと同様に、包括的であることが意図される。
用語「又は」が詳細な説明又は請求項で用いられる限りは(例えば、A又はB)、「A」又は「B」又はそれらの両者を意味することが意図される。出願人が「両者ではなくA又はBのみ」を示そうと意図するとき、用語「両者ではなくA又はBのみ」が用いられる。したがって、本願明細書における用語「又は」の使用は、包括的であり、排他的使用ではない。Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)を参照のこと。
本発明の主題は構造的特徴又は方法論的動作に特有の言葉で記載されたが、本発明の主題は、特許請求の範囲に定められる上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲の実施の例示的形態として開示されたものである。

Claims (15)

  1. ビデオカメラによりキャプチャされたフレームにアクセスするステップと、
    前記フレームがキャプチャされたときの前記ビデオカメラの動きに応じて、前記フレームの閲覧因子を決定するステップと、
    前記閲覧因子に応じて、前記フレームが閲覧のためにどのように提示されるかを制御するステップと、
    を有する方法。
  2. 前記方法は、前記閲覧因子に応じて、前記ビデオカメラがビデオカメラモードで動作するか又は静止フレームモードで動作するかを制御するステップ、を有する請求項1に記載の方法。
  3. 前記静止フレームモードにおいて動作するステップは、前記ビデオカメラのフレームキャプチャレートを、24フレーム毎秒より低く調整するステップと、前記ビデオカメラのシャッタスピードを、1/500秒より速く調整するステップと、を有する、請求項2に記載の方法。
  4. 前記ビデオカメラモードで動作するステップは、前記ビデオカメラのフレームキャプチャレートを、少なくとも24フレーム毎秒に調整するステップと、前記ビデオカメラのシャッタスピードを1/500秒より遅く調整するステップと、を有する、請求項2に記載の方法。
  5. 前記フレームにアクセスするステップは、前記フレームをキャプチャした第1の装置において生じ、前記閲覧因子を決定するステップは、前記第1の装置において生じ、前記フレームがどのように提示されるかを制御するステップは、前記第1の装置において生じ、前記フレームにアクセスするステップは、前記フレームをキャプチャしなかった第2の装置において生じ、前記閲覧因子を決定するステップは、前記第2の装置において生じ、又は前記フレームがどのように提示されるかを制御するステップは、前記第2の装置において生じる、請求項1に記載の方法。
  6. 前記ビデオカメラの動きは、前記フレームがキャプチャされたときの前記ビデオカメラに関連する加速度計データから、前記フレームがキャプチャされたときの前記ビデオカメラに関連するジャイロスコープデータから、前記フレームに関連する単一フレーム動き分析データから、又は前記フレーム若しくは前記ビデオカメラから取得された1又は複数の他のフレームに関連するフレーム間動き分析データから、決定される、請求項1に記載の方法。
  7. 閲覧のために前記フレームがどのように提示されるかを制御するステップは、前記フレームが前記フレームをキャプチャした装置から送信されるか否かを制御するステップを有する、請求項1に記載の方法。
  8. 閲覧のために前記フレームがどのように提示されるかを制御するステップは、前記フレームをメモリから削除するステップを有する、請求項1に記載の方法。
  9. 前記閲覧因子が閲覧基準を満たさないことを決定すると、前記フレームを予め取得されたフレームで置換するステップ、を有する請求項1に記載の方法。
  10. 前記フレームを前記予め取得されたフレームで置換する前に、前記予め取得されたフレームを圧縮フレームに圧縮するステップ、を有する請求項9に記載の方法。
  11. 前記閲覧因子が閲覧基準を満たさないことが決定されると、前記フレームが前記閲覧基準を満たさないことを示す信号を提供するステップ、を有する請求項1に記載の方法。
  12. 前記ビデオカメラによりキャプチャされるフレームのシリーズの連続性因子を計算するステップであって、前記連続性因子は、連続するフレームの前記シリーズの構成要素の閲覧因子に少なくとも部分的に基づく、ステップと、
    前記連続性因子が連続性基準を満たさないことを決定すると、前記連続性因子が前記連続性基準を満たすならばフレームの前記シリーズを表示していた装置を、静止フレーム表示モードに入るよう制御するステップと、
    を有する請求項1に記載の方法。
  13. 前記連続性因子が前記連続性基準を満たすと決定すると、ビデオ表示モードに入るよう、前記装置を制御するステップ、を有する請求項12に記載の方法。
  14. 前記静止フレーム表示モードは、前記閲覧基準を満たす単一フレームが利用可能なとき、該単一フレームを選択的に表示するよう構成され、前記単一フレームは、少なくとも所定の単一フレーム時間期間の間、表示される、請求項12に記載の方法。
  15. 前記静止フレーム表示モードは、前記連続性基準が満たされるまで、前記閲覧基準を満たした前に提供されたフレームを表示するよう構成される、請求項12に記載の方法。
JP2016537477A 2013-12-09 2014-12-05 カメラの動きにより損なわれたビデオフレームの扱い Withdrawn JP2017503399A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/100,189 2013-12-09
US14/100,189 US9407823B2 (en) 2013-12-09 2013-12-09 Handling video frames compromised by camera motion
PCT/US2014/068679 WO2015088884A2 (en) 2013-12-09 2014-12-05 Handling video frames compromised by camera motion

Publications (2)

Publication Number Publication Date
JP2017503399A true JP2017503399A (ja) 2017-01-26
JP2017503399A5 JP2017503399A5 (ja) 2017-12-14

Family

ID=52144911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537477A Withdrawn JP2017503399A (ja) 2013-12-09 2014-12-05 カメラの動きにより損なわれたビデオフレームの扱い

Country Status (15)

Country Link
US (1) US9407823B2 (ja)
EP (1) EP3080980B1 (ja)
JP (1) JP2017503399A (ja)
KR (1) KR20160095058A (ja)
CN (1) CN105830429B (ja)
AU (1) AU2014364151A1 (ja)
CA (1) CA2932416A1 (ja)
CL (1) CL2016001401A1 (ja)
HK (1) HK1223759A1 (ja)
IL (1) IL245728A0 (ja)
MX (1) MX2016007153A (ja)
PH (1) PH12016500955A1 (ja)
RU (1) RU2016122612A (ja)
SG (1) SG11201604568UA (ja)
WO (1) WO2015088884A2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888348B2 (ja) * 2014-01-23 2016-03-22 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
US11228906B2 (en) 2015-07-14 2022-01-18 Ujet, Inc. Customer communication system
US9838533B2 (en) 2015-07-14 2017-12-05 Ujet, Inc. Customer communication system including scheduling
US20180376193A1 (en) * 2016-03-17 2018-12-27 Hewlett-Packard Development Company, L.P. Frame transmission
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP6775386B2 (ja) * 2016-11-02 2020-10-28 キヤノン株式会社 撮像装置、その制御方法、プログラムならびに記録媒体
US10455165B2 (en) 2016-12-28 2019-10-22 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
EP3622513A1 (en) 2017-10-03 2020-03-18 Google LLC Microvideo system, format, and method of generation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298890A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム
US7593026B2 (en) * 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
JP4289326B2 (ja) * 2005-06-09 2009-07-01 ソニー株式会社 情報処理装置および方法、撮影装置、並びにプログラム
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8050206B2 (en) 2006-11-20 2011-11-01 Micropower Technologies, Inc. Wireless network camera systems
US8063942B2 (en) 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
CN100587638C (zh) * 2008-04-29 2010-02-03 上海交通大学 针对高实时性图像采集与处理的机器视觉系统
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8830339B2 (en) 2009-04-15 2014-09-09 Qualcomm Incorporated Auto-triggered fast frame rate digital video recording
CN101651845B (zh) * 2009-08-21 2011-03-30 中国电子技术标准化研究所 一种显示设备运动图像清晰度测试方法
EP2494498B1 (en) 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
US8837576B2 (en) 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
KR101052207B1 (ko) 2010-05-12 2011-07-27 엠텍비젼 주식회사 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
CN103202010B (zh) * 2010-11-09 2014-12-03 富士胶片株式会社 增强现实感提供设备
US20120148216A1 (en) * 2010-12-14 2012-06-14 Qualcomm Incorporated Self-editing video recording
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130242120A1 (en) 2012-03-15 2013-09-19 Qualcomm Incorporated Motion-state classification for camera applications
JP5873390B2 (ja) * 2012-05-24 2016-03-01 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
JP2015089059A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6079566B2 (ja) * 2013-11-01 2017-02-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
CL2016001401A1 (es) 2017-02-17
WO2015088884A2 (en) 2015-06-18
MX2016007153A (es) 2016-07-21
US20150163407A1 (en) 2015-06-11
HK1223759A1 (zh) 2017-08-04
SG11201604568UA (en) 2016-07-28
WO2015088884A3 (en) 2015-08-06
RU2016122612A (ru) 2017-12-14
KR20160095058A (ko) 2016-08-10
PH12016500955A1 (en) 2016-07-11
EP3080980B1 (en) 2020-01-22
AU2014364151A1 (en) 2016-06-16
RU2016122612A3 (ja) 2018-10-01
CN105830429B (zh) 2019-06-18
CA2932416A1 (en) 2015-06-18
EP3080980A2 (en) 2016-10-19
US9407823B2 (en) 2016-08-02
CN105830429A (zh) 2016-08-03
IL245728A0 (en) 2016-07-31

Similar Documents

Publication Publication Date Title
JP2017503399A (ja) カメラの動きにより損なわれたビデオフレームの扱い
US11423942B2 (en) Reference and non-reference video quality evaluation
CN108737908B (zh) 一种媒体播放方法、装置及存储介质
CN107454416B (zh) 视频流发送方法和装置
US8928678B2 (en) Media workload scheduler
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
JP7085014B2 (ja) ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム
JP5766877B2 (ja) 類似度、視覚的品質、および関心に基づくフレーム符号化選択
US20240173631A1 (en) Dynamic allocation of compute resources for highlight generation in cloud gaming systems
EP4007289A1 (en) Video uploading method and apparatus, electronic device, and storage medium
US11153568B2 (en) Systems and methods for encoding videos based on visuals captured within the videos
JP2022188147A (ja) 中断可能な映像トランスコーディング
CN113099272A (zh) 视频处理方法及装置、电子设备和存储介质
WO2015071865A1 (en) Method and system to control bit rate in video encoding
CN111343503A (zh) 视频的转码方法、装置、电子设备及存储介质
US20210400334A1 (en) Method and apparatus for loop-playing video content
CN107004018B (zh) 数据处理方法及装置
CN116264619A (zh) 资源处理方法、装置、服务器、终端、系统及存储介质
US20240073415A1 (en) Encoding Method, Electronic Device, Communication System, Storage Medium, and Program Product
US20230247069A1 (en) Systems and Methods for Adaptive Video Conferencing
KR20160106346A (ko) 클라우드 스트리밍 서비스 시스템, 단말의 성능에 기반한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171102

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20180110