JP2016515312A - 自動ピクチャ位置合わせ補正 - Google Patents

自動ピクチャ位置合わせ補正 Download PDF

Info

Publication number
JP2016515312A
JP2016515312A JP2015555432A JP2015555432A JP2016515312A JP 2016515312 A JP2016515312 A JP 2016515312A JP 2015555432 A JP2015555432 A JP 2015555432A JP 2015555432 A JP2015555432 A JP 2015555432A JP 2016515312 A JP2016515312 A JP 2016515312A
Authority
JP
Japan
Prior art keywords
image
camera device
processor
camera
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015555432A
Other languages
English (en)
Inventor
アイメイ ハン,エイミー
アイメイ ハン,エイミー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016515312A publication Critical patent/JP2016515312A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【解決手段】 カメラデバイスが開示される。カメラデバイスは、画像を取り込むためのセンサと、重力方向を検出するためのセンサと、検出された重力方向を用いて、画像の一部を抽出し、画像から水平に位置合わせされた画像を生成するように構成されたプロセッサとを含む。【選択図】 図5

Description

[0001] カメラは、単一の画像を、またはビデオ信号のフレームとして使用される一連の画像を取り込むために使用することができる。カメラは安定した物体に固定することができ、例えば、カメラを三脚などのスタンドに取り付けることにより、ビデオフレームが取り込まれている間に、カメラを静止させておくことができる。しかし、カメラは、時には移動デバイスにおいて実施されることもあり、必ずしも固定された物体に取り付けられることはなく、例えば、カメラが手で保持される、または車両などの移動する物体に取り付けられる可能性がある。カメラが水平に保持されない場合、カメラで生成されるピクチャは、水平に位置合わせされることはなく、場合によっては望ましくないおそれがある。
[0002] この要約は、以下の発明を実施するための形態でさらに述べられる概念の選択を簡単化した形で導入するために提供される。この要約は、特許請求される主題の主な特徴または基本となる特徴を特定するようには意図されておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。
[0003] 本明細書で述べられる実施形態は、カメラがある角度で保持された場合であっても、水平に位置合わせされたピクチャまたはビデオを出力できるカメラを含む。すなわち、カメラにより生成されたピクチャは、カメラが、固定された、または移動する物体に取り付けられた場合であっても、その方向に関係なく水平に位置合わせされる。この文脈では、「ピクチャ」または「画像」へのすべての参照はまた、ビデオのフレームを構成する一連の画像にも適用することができる。
[0004] 一実施形態ではデバイスが開示される。デバイスは、画像を取り込むためのセンサと、重力方向を検出するためのセンサと、画像の一部を抽出し、検出された重力方向を用いて、水平に位置合わせされた画像を生成するように構成されたプロセッサとを含む。
[0005] 他の実施形態では、画像処理のための方法が開示される。方法は、カメラデバイスを用いて画像を取り込む工程を含む。ビデオで使用するために、複数の画像を互いに対して水平に位置合わせすることができ、必要な場合には、画像の取込み中のカメラデバイスの振動の影響を除去する、または低減することができる。カメラデバイスの回転角は、加速度計を用いて求められる。水平に位置合わせされた画像は、回転角に基づいて画像から抽出される。
[0006] 代替的には、重力方向が検出され、画像データのデータストリームと共に外部デバイスに送信される。
[0007] さらに他の実施形態では、コンピュータプログラム製品が開示される。コンピュータプログラム製品は、画像処理のための以下の方法を実施するためのプログラミング命令を含む。方法は、カメラデバイスを用いて画像を取り込む工程を含む。ビデオで使用するために、複数の画像を互いに対してデジタル的に安定化させて、必要に応じて、取込み中にカメラデバイスの振動の影響を除去する、または低減することができる。カメラデバイスの回転角は、センサ(例えば、加速度計)を用いて求められる。水平に位置合わせされた画像が、回転角に基づいて画像から抽出される。
[0008] 代替的に、この角度はメタデータとして画像またはビデオに添付される。画像/ビデオは、メタデータと共に外部デバイス上のコンピュータプログラムに転送され、また水平に位置合わせされた画像は、回転角に基づいて画像から抽出される。回転角に代えて、重力方向がメタデータとして送信され得る。
[0009] 他の実施形態は、限定することなく、処理ユニットに、開示される方法の1つまたは複数の態様を実施できるようにする命令を含むコンピュータ可読記憶媒体、ならびに開示される方法の1つまたは複数の態様を実施するように構成されたシステムを含む。
[0010] 上記に記載された特徴を詳細に理解できるように、添付図面にそのいくつかが示された諸実施形態を参照することにより、上記で簡単に要約した、より詳細な記述を得ることができる。しかし、添付の図面は、様々な実施形態を例示しているに過ぎず、したがって、特許請求される主題の範囲を限定するものと見なすべきではないことに留意されたい。
[0011]一実施形態による、適正に位置合わせされたピクチャまたはビデオを得るための概略図である。 [0012]一実施形態による、カメラに取り付けられた例示的な締結デバイスを示す図である。 [0013]一実施形態による、ある角度で保持されカメラにより撮られたピクチャの、適正に位置合わせされたピクチャへの例示的な変換を示す図である。 [0014]一実施形態による、回転角を求めることを示す図である。 [0015]一実施形態による、適正に位置合わせされたピクチャを生成するための、ピクチャの例示的なトリミングを示す図である。 [0016]一実施形態による、適正に位置合わせされたピクチャを生成する方法を示す図である。
[0017] 以下の説明では、述べられた実施形態のより十分な理解を提供するために、数多くの特有の細部が記載されている。しかし、当業者であれば、述べられた諸実施形態は、これらの特有の細部の1つまたは複数のものを含まずに実施され得ることは明らかであろう。他の例では、述べられた諸実施形態を曖昧にすることのないように、よく知られた特徴については述べていない。
[0018] 本開示を通して、「一実施形態(one embodiment)」または「実施形態(an embodiment)」への参照は、その実施形態に関連して述べられた特定の機能、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書を通して、様々な場所で「一実施形態では」または「実施形態では」というフレーズが記載されていることは、必ずしもすべて同じ実施形態を参照するものではない。さらに、特定の機能、構造、または特性を、1つまたは複数の実施形態に任意の適切な方法で組み合わせることもできる。
[0019] 場合によっては、カメラデバイスを用いて、ある角度でピクチャを撮る、またはビデオを撮影することが望ましい可能性がある。しかし、カメラが、移動する物体に、または/および少なくとも部分的に回転する物体に取り付けられたときなど、いくつかの他の場合には、適正に位置合わせされたピクチャおよびビデオを生成することが望ましい可能性がある。振動の影響またはカメラを揺らした影響を改善して良好な品質のピクチャを生成する従来の技術では、カメラがある角度で保持された場合、依然として、シーンがその角度で傾いたままのピクチャが提供される。本明細書で述べられる実施形態は、ピクチャを取り込むときに、カメラがある角度で保持された場合であっても、水平に位置合わせされたピクチャまたはビデオを生成するシステムおよび方法を提供する。
[0020] 図1は、カメラデバイス100の概略図を示している。カメラデバイス100は、ピクチャにすべきシーンを扱うのに適した焦点距離を有するレンズ102を含む。一実施形態では、レンズの自動または手動の焦点合わせを可能にするために、機械的なデバイスをレンズ102と共に含めることができる。他の実施形態では、カメラデバイス100は、固定焦点のデバイスとすることができ、レンズ102を移動させるための機械的な組立体は含まれない。感知面(図示せず)を有するセンサ104がさらに、センサ104の感知面上に入射した光により形成された画像を、デジタル形式に変換するために含まれる。センサ104は、入射光を走査し、デジタルピクチャを生成するために、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)画像センサを含むことができる。使用されるデバイスが、感知面上の入射光により形成される画像をデジタル形式に変換できる限り、他の技術またはデバイスを使用することができる。通常、これらの画像検出デバイスは、小さな感光性デバイスに対する光の影響を測定して、その変化をデジタル形式で記録する。
[0021] カメラデバイス100は、電池または電源などの他の構成要素と、プロセッサが動作するのに必要な他のプロセッサ構成要素とを含み得ることを理解されたい。しかし、本教示を曖昧にしないために、これらのよく知られた構成要素は除外されている。一実施形態では、カメラデバイス100は、ビューファインダまたはプレビューディスプレイを含まない。しかし他の実施形態では、プレビューディスプレイを設けることができる。本明細書で述べる技法は、任意のタイプのカメラで使用することができ、また移動電話、および他の可搬型ユーザ機器に実装されるものなど、小型の、高い可搬性を有するカメラで特に有効である。したがって、一実施形態では、カメラデバイス100は、電話をかける、かつ電話を受けるためのハードウェアまたはソフトウェアを含む。
[0022] カメラデバイス100は、加速度計108をさらに含む。加速度計108は、重力方向、および任意の方向の加速度を求めるために使用される。加速度計108に加えて、または加速度計108に代えて、ジャイロスコープを使用することもできる。ジャイロスコープは、カメラデバイス100の回転角が時間経過と共にどのように変化するかに関する情報を提供することができる。センサが重力方向を測定できる限り、任意の他のタイプのセンサを使用することができる。回転角を用いると、カメラデバイス100が回転した場合、カメラデバイス100の回転角を計算することができる。汎用コンピュータを含む外部デバイスにカメラデバイス100を接続するための入出力(I/O)ポート114がさらに含まれる。I/Oポート114は、外部デバイスがカメラデバイス100を構成できるようにする、またはデータをアップロード/ダウンロードできるようにするために使用され得る。一実施形態では、I/Oポート114はまた、ビデオまたはピクチャを、カメラデバイス100から外部デバイスへとストリーミングするためにも使用され得る。一実施形態では、I/Oポートはまた、カメラデバイス100に電力を供給するために、またはカメラデバイス100の再充電可能な電池(図示せず)を充電するためにも使用することができる。
[0023] カメラデバイス100はまた、送信機/受信機(Tx/Rx)モジュール116に結合されるアンテナ118を含むことができる。Tx/Rxモジュール116は、プロセッサ106に結合される。アンテナ118は、カメラデバイス100の本体の外側に完全に、または部分的に露出させることができる。しかし、他の実施形態では、アンテナ118は、カメラデバイス100の本体内に完全にカプセル化することができる。Tx/Rxモジュール116は、Wi−Fi送信/受信、Bluetooth(登録商標)(ブルートゥース)送信/受信、またはその両方に向けて構成することができる。他の実施形態では、Tx/Rxモジュール116は、無線信号の送信/受信を行うために専用プロトコルを使用するように構成することができる。さらに他の実施形態では、使用される規格が、デジタルデータおよび制御信号を送信/受信できる限り、任意の無線送信またはデータ送信規格を使用することができる。一実施形態では、Tx/Rxモジュール116は、10フィート未満の送信範囲を有する低電力モジュールである。他の実施形態では、Tx/Rxモジュール116は、5フィート未満の送信範囲を有する低電力モジュールである。他の実施形態では、I/Oポート114を介して、またはアンテナ118を介してカメラデバイス100により受信される制御信号を用いて、送信範囲を構成可能にすることができる。
[0024] カメラデバイス100はプロセッサ106をさらに含む。プロセッサ106は、センサ104および加速度計108に結合される。プロセッサ106はまた、一実施形態では、プロセッサ106に対して外部にある記憶装置110(例えば、コンピュータ可読記憶媒体)に結合することができる。記憶装置110は、カメラデバイス100の他の構成要素を制御し、かつ動作させるためのプログラミング命令を記憶するために使用することができる。記憶装置110はまた、取り込まれたメディア(例えば、ピクチャおよび/またはビデオ)を記憶するために使用することができる。他の実施形態では、記憶装置110は、プロセッサ106それ自体の一部とすることができる。
[0025] 一実施形態では、プロセッサ106は、任意選択により、画像プロセッサ112を含むことができる。画像プロセッサ112は、ハードウェア構成要素とすることができるが、またはプロセッサ106により実行されるソフトウェアモジュールとすることもできる。プロセッサ106および/または画像プロセッサ112は、異なるチップに存在できることに留意されたい。例えば、プロセッサ106を実装するために、複数のチップが使用され得る。一例では、画像プロセッサ112は、デジタル信号プロセッサ(DSP)とすることができる。画像プロセッサは、プロセッサにより実行可能なコンピュータプログラムである処理モジュールとして構成することができる。プロセッサ112は、加速度計108から受け取った入力に基づいて、センサ104から受信された未処理の画像を処理するために使用される。画像信号処理プロセッサ(ISP)などの他の構成要素を、画像処理に使用することができる。一実施形態では、記憶装置110は、未処理の画像(未修正画像)および対応する修正された画像の両方を記憶するように構成される。プロセッサバッファ(図示せず)も画像データを記憶するために使用され得る。ピクチャは、I/Oポート114を介して、またはアンテナ118を用いて無線チャネルを介して外部デバイスへとダウンロードされ得る。一実施形態では、未修正画像および修正済み画像は、外部デバイスが、カメラデバイス110から画像をダウンロードするためのコマンドを送ったとき、外部デバイスにダウンロードされる。一実施形態では、カメラデバイス100は、選択された間隔で一連の画像の取込みを開始するように構成することができる。
[0026] 一実施形態では、画像補正またはカラー補正のために、センサ104からの未処理の画像が、画像プロセッサ(ISPなど)に入力される。例示的な一実施形態では、本明細書で述べる画像回転メカニズムが、画像プロセッサにより出力された画像に適用される。他の実施形態では、画像回転メカニズムは、センサ104から受信された未処理の画像に適用され得る。本明細書で述べられる画像回転メカニズムが、画像プロセッサにより出力された画像に適用された後、修正された画像は符号化される。画像の符号化は、通常、画像データを圧縮するために実施される。
[0027] 例示的な実施形態では、カメラデバイス100は、センサ104により取り込まれた画像を処理するための構成要素を含まないこともあり得る。それに代えて、カメラデバイス100は、センサ104から画像を抽出した後、未処理の画像を、インターネットまたはローカルエリアネットワークを介して移動デバイス100に接続されたクラウドベースの処理システムに送信するためのプログラミング命令を含むことができる。クラウドベースのシステムは、未処理の画像、およびカメラデバイス100の回転角(または単に重力方向)を受け取り、かつ画像プロセッサにより未処理の画像を処理するように構成される。例えば、重力方向は、未処理の画像を規定するデータを含むデータストリームにメタデータとして組み込むこともできる。他の実施形態では、抽出した後、未処理の画像を送信するのではなく、カメラデバイス100は、画像プロセッサ(ISPなど)により、未処理の画像を処理し、次いで、処理された画像をクラウドベースの画像処理システムに送信する。クラウドベースの画像処理システムは、次いで、本開示で述べる画像回転法を使用し、重力方向に従って画像を回転してトリミングし、画像符号器により、回転した画像を処理する。符号化された画像は、次いで、ユーザ構成に従って選択されたクラウドベースの記憶装置に記憶されるか、または画像は、カメラデバイス100に、または任意の他のデバイスへと送り返される。クラウドベースの画像処理システムを使用することは、各カメラデバイスにいくつかの画像処理構成要素を組み込む必要性を低減して、カメラデバイスを軽量化し、エネルギー効率をさらに良くし、かつ安価にするので有利である。
[0028] 他の例示的な実施形態では、クラウドベースの画像処理に代えて、カメラデバイス100は、未処理の画像、または画像プロセッサにより処理された画像を、例えば、移動電話またはコンピュータなどの他のデバイスに送ることができる。画像は、Wi−Fi、Bluetooth(登録商標)、または1つのデバイスから他のデバイスにデジタルデータを送信するのに適した任意の他のタイプのネットワーク化プロトコルによりさらに処理するために、移動電話(またはコンピュータ)に送信することができる。移動デバイスが水平に位置合わせされた画像を生成した後、本明細書で述べる1つまたは複数の実施形態によれば、生成された画像は、位置合わせ後に、ユーザまたはシステム構成に従って、デバイス上のローカルな記憶装置に保管され、クラウドベースの記憶システムに記憶するために転送され、または他のデバイスに送信され得る。
[0029] 一実施形態では、カメラデバイス100における固有の画像処理システムは、非標準のフォーマットで画像および/またはビデオを生成することができる。例えば、1200×1500ピクセルの画像を生成することができる。これは、トリミング、スケーリング、または非標準の解像度を備える画像センサを用いることにより行うことができる。選択された標準の解像度に画像を変換するための方法はよく知られているので、この件に関するさらなる論議は行わないものとする。
[0030] 上記および以下で述べる様々な実施形態は、プロセッサユニットに、開示された方法の1つまたは複数の態様を実施できるようにする命令を含む1つまたは複数のコンピュータ可読記憶媒体と、開示された方法の1つまたは複数の態様を実施するように構成されたシステムとを用いて実施することができる。
[0031] 1つまたは複数のメモリ構成要素などのコンピュータ可読記憶媒体は、例としてであって限定するものではないが、ランダムアクセスメモリ(RAM)、不揮発性メモリ(例えば、読出し専用メモリ(ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちのいずれか1つまたは複数のもの)、およびディスク記憶デバイスを含むことができる。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および/または書換え可能なコンパクトディスク(CD)、任意のタイプのデジタル多用途ディスク(DVD)、および同様のものなど任意のタイプの磁気または光記憶デバイスとして実施することができる。コンピュータ可読記憶媒体はまた、大容量記憶媒体デバイスを含むことができる。したがって、コンピュータ可読記憶媒体は、媒体の規定された形態を参照するように意図されている。したがって、コンピュータ可読記憶媒体は、搬送波または信号それ自体を記述することはない。
[0032] 概して、本明細書で述べる機能のいずれも、ソフトウェア、ファームウェア、ハードウェア(例えば、固定論理回路)、手動の処理、またはこれらの実装形態の組合せを用いて実施することができる。本明細書で使用される用語「モジュール」、「機能」、および「論理」は、概して、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せを表す。ソフトウェア実装形態の場合、モジュール、機能、または論理は、プロセッサ(例えば、1つまたは複数のCPU)上で、またはプロセッサにより実行されたとき、指定されたタスクを実施するプログラムコードを表す。プログラムコードは、1つまたは複数のコンピュータ可読メモリ媒体に記憶することができる。
[0033] 図2に進むと、図2は、カメラデバイス100に取り付けられた任意選択の締結デバイス120を示している。カメラデバイス100が、方形または矩形のもので示されているとしても、カメラデバイス100は、形状およびサイズが、その上記で述べた構成要素を収納するのに適切であり、かつ十分なものである限り、任意の形状で製作できることに留意されたい。カメラデバイス100の外側の筐体は、金属成形、合成材料成形、またはそれらの組合せから作ることができる。他の実施形態では、材料が、典型的な可搬型デバイス用途に対して耐久性があり、強度のある外殻を提供できる限り、任意の他のタイプの材料を使用することができる。一実施形態では、カメラデバイス100は、カメラデバイス100の本体の一方の側部に取り付けられた任意選択の締結デバイス120を含むことができる。締結デバイス120は、簡単なスリップオン(slip-on)クリップ、ワニ口クリップ、フック、ベルクロ、または磁石もしくは磁石を受ける金属片とすることができる。カメラデバイス100は、締結デバイス120を用いて、他の物体に恒久的に、または半恒久的に固定することができる。他の実施形態では、カメラデバイス100は、いずれかの締結デバイスを含むことはない。さらに他の実施形態では、上記で述べたカメラデバイス100の構成要素を受け入れるための受入れ物体に、ハウジングを製作することができる。他の実施形態では、カメラデバイス100は、それ自体のハウジングを含まず、それに代えて、内部の構成要素(例えば、レンズ102、センサ104など)は、他の物体(例えば、移動電話またはタブレットコンピュータ)にカプセル化される。
[0034] 図3は、水平に位置合わせされたピクチャを生成するプロセスを示している。それによると、カメラデバイス100は、地面に対して平行な水平線からある角度で保持され、シーン130に向けられている。その結果、水平に位置合わせされた平面を基準にして見ると、取り込まれた画像132は、その角度に比例して傾いている。カメラデバイス100で実施されるプロセッサ106、または画像プロセッサ112は、加速度計108から重力方向を取得して、回転角(すなわち、カメラデバイス100の傾斜角)を求める。画像プロセッサ112は、次いで、画像132における水平に位置合わせされた矩形領域を計算し、矩形領域外のピクセルをトリミングして水平に位置合わせされた画像134を生成する。画像は、必要に応じて縮小され得る。
[0035] 図4は、カメラデバイス100で実施され、かつプロセッサ106に結合された加速度計108の動作を示す。カメラデバイス100は、地面に対して平行に保持された(例えば、例としてカメラデバイス100の側部136が地面または水平面に対して平行である)とき、地面に対して直角な仮想面が重力方向と一致するように校正される。カメラデバイス100が傾斜したとき、プロセッサ106は、加速度計108を用いて、重力方向に対する傾斜角を求める。加速度計108は、アナログの加速度計、デジタルの加速度計、微小電気機械システム(MEMS)加速度計、もしくは圧電気センサ、または物体の加速度または回転を測定できる任意の他のデバイスとすることができる。通常、加速度計は、自由落下からの偏差を感知し、この情報を近似的に重力方向へと変換することができる。通常、加速度計は、並進加速度または加速力により生じた電気的特性の変化を検出する回路を含む。
[0036] 図5は、図3で示されたプロセスをさらに示している。プロセッサ106(または画像プロセッサ112)が、センサ104から画像132を受け取ったとき、プロセッサ106は、加速度計108を用いて回転角を求める。プロセッサ106は、次いで、受け取った画像132における矩形領域134を求める。一実施形態では、矩形領域134は、選択された矩形領域134の中心が、画像132の中心と一致するか、または画像132の中心に可能な限り近接するように選択される。他の実施形態では、矩形領域のサイズは、将来の画像を様々な角度で回転させるが、同じ画像サイズで出力できるように選択される。矩形領域134は、反対方向への回転角だけ回転される。代替的には、プロセッサ106は、側線が、実質的に回転角と同じ角度だけ傾斜される最適なサイズの矩形領域(例えば、矩形134が、完全に、または実質的に、受け取った画像132の境界に含まれる、矩形134の可能な最大領域)を特定する。
[0037] 一実施形態では、トリミングプロセスが使用されて、矩形領域134の外のすべてのピクセルが破棄され、次いで、矩形画像134を、カメラデバイス100の回転の反対方向への回転角だけ回転させて戻すことができる。最終的な画像134は、記憶装置110に記憶される。代替的には、記憶工程を飛ばすことができ、最終的な画像134は、送信機116を介してプロセッサ106により外部デバイスへと送信することができる。いくつかの実施形態では、最終的な画像134は、例えば、JPEG、PNGなどの選択されたデータ形式へと符号化され、または複数の画像と組み合わされて、例えば、H.264、MP4など標準のビデオフォーマットへと符号化される。符号化は、プロセッサ106により実行可能な符号器モジュール(図示せず)により実施することができる。符号化は、最終的な画像のサイズを低減するのを助けることができ、さらに、最終的な画像を、一般に利用可能な画像/ビデオプレーヤで読み取ることができるようにする。
[0038] 図6は、水平に位置合わせされた画像およびビデオを生成する例示的なプロセス200を示している。それによれば、工程202で、カメラデバイス100が、画像またはビデオを取り込むために使用される。取込みは、外部デバイスから制御信号を送ることにより開始することができる。代替的には、カメラデバイス100は、例えば、運動センサからの入力に基づいて、自動的に、画像を取り込むように構成することができる。他の実施形態では、カメラデバイス100は、カメラデバイス100をオンすると直ちに、一連の画像を連続的に取り込むように構成することができる。カメラデバイス100は、画像またはビデオの取込み中に、重力方向に対してある角度で保持され得る。取込みは、センサ104により実施され、また取り込まれた画像は、プロセッサ106に転送される。工程204で、取り込まれた画像またはビデオを安定化させて、カメラデバイス100の振動を除去する、または低減することができる。工程206で、プロセッサ106は、カメラデバイス100の回転角を求める。回転角は、重力方向からのカメラデバイス100の傾斜角に相当する。工程208で、画像プロセッサ112は、取り込まれた画像における矩形領域を決定する。矩形領域は、カメラデバイス100の傾斜の反対方向に、前に求められた回転角に実質的に等しく傾斜している。画像プロセッサ112は、次いで、矩形領域内のピクセルを選択する。工程210で、画像プロセッサ112は、矩形領域外のピクセルを破棄し、残りの画像を回転角だけ回転させて、矩形領域を水平に位置合わせさせる。選択されたピクセル(矩形領域内)は、次いで、記憶装置110に記憶されるか、または送信機116により、またはI/Oポート114を介して、外部デバイスに送信される。任意選択により、選択されたピクセルは符号化されて、選択されたデータ形式の画像ファイルを形成することができる。
[0039] 様々な実施形態が、構造的特徴および/または方法論的行為に特有の文言で述べられてきたが、添付の特許請求の範囲で定義される諸実施形態は、必ずしも、述べられた特有の特徴または行為に限定されないことを理解されたい。そうではなくて、特有の特徴および行為は、様々な特許請求される実施形態を実施する例示的な形態として開示されている。

Claims (10)

  1. 画像を取り込むための画像センサと、
    重力方向を検出するための方向センサと、
    前記重力方向を用いて前記画像を回転させて、水平に位置合わせされた画像を生成するように構成されたプロセッサと
    を備えるデバイス。
  2. 前記生成された画像を、選択されたデータフォーマットに符号化するための符号器モジュールをさらに含む、請求項1に記載のデバイス。
  3. 前記プロセッサが、前記回転させた画像のコーナ部をトリミングするように構成される、請求項1に記載のデバイス。
  4. 前記プロセッサに結合された送信機/受信機をさらに含み、前記送信機/受信機が、前記水平に位置合わせされた画像を外部デバイスに送信するように構成される、請求項1に記載のデバイス。
  5. 前記デバイスが移動電話を含む、請求項1に記載のデバイス。
  6. カメラデバイスを用いて画像を取り込むことと、
    前記画像を前記取り込むことの間に、前記カメラデバイスの振動の影響を除去する、または低減させるように前記画像を安定化させることと、
    センサを用いて重力方向を検出することと、
    前記画像を規定する画像データのデータストリーム、および前記重力方向を外部デバイスに送信することと
    を含む方法。
  7. 前記取り込むことが、前記外部デバイスから制御信号を受け取ると活動化される、請求項6に記載の方法。
  8. 前記カメラデバイスが、選択された間隔で、一連の画像の取込みを開始するように構成される、請求項6に記載の方法。
  9. 前記カメラデバイスが、前記画像の中心周りに矩形領域を特定することにより、前記画像の一部を水平に位置合わせするように構成され、前記矩形領域が、実質的に、前記カメラデバイスと同じ回転角だけ前記回転角から傾斜される、請求項6に記載の方法。
  10. 前記カメラデバイスは移動電話に含まれる、請求項6に記載の方法。
JP2015555432A 2013-01-30 2014-01-29 自動ピクチャ位置合わせ補正 Pending JP2016515312A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/754,719 2013-01-30
US13/754,719 US20140211031A1 (en) 2013-01-30 2013-01-30 Auto picture alignment correction
PCT/US2014/013648 WO2014120805A1 (en) 2013-01-30 2014-01-29 Auto picture alignment correction

Publications (1)

Publication Number Publication Date
JP2016515312A true JP2016515312A (ja) 2016-05-26

Family

ID=50231497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015555432A Pending JP2016515312A (ja) 2013-01-30 2014-01-29 自動ピクチャ位置合わせ補正

Country Status (11)

Country Link
US (1) US20140211031A1 (ja)
EP (1) EP2936797A1 (ja)
JP (1) JP2016515312A (ja)
KR (1) KR20150114972A (ja)
CN (1) CN105027556A (ja)
AU (1) AU2014212506A1 (ja)
BR (1) BR112015017459A2 (ja)
CA (1) CA2896650A1 (ja)
MX (1) MX2015009823A (ja)
RU (1) RU2015131620A (ja)
WO (1) WO2014120805A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276456B1 (ja) * 2017-07-10 2018-02-07 株式会社FiNC ユーザの姿勢を評価するための方法およびシステム
JP2021530002A (ja) * 2018-07-17 2021-11-04 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 画像表示のためのデバイスおよび方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US9648283B2 (en) * 2013-05-16 2017-05-09 Verint Americas Inc. Distributed sensing and video capture system and apparatus
CN105247574B (zh) * 2013-05-29 2018-09-21 五大洋有限公司 电子装置、电子装置的控制方法以及电脑可读取记录媒体
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
JP6380787B2 (ja) * 2014-04-16 2018-08-29 カシオ計算機株式会社 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
CN108432222A (zh) * 2015-12-22 2018-08-21 深圳市大疆创新科技有限公司 支持包围式成像的系统、方法和移动平台
WO2018071747A1 (en) * 2016-10-13 2018-04-19 Life Technologies Holdings Pte Limited Systems, methods, and apparatuses for optimizing field of view
CN107809594B (zh) * 2017-11-10 2019-09-27 维沃移动通信有限公司 一种拍摄方法及移动终端
CN110611787B (zh) * 2019-06-10 2021-05-28 海信视像科技股份有限公司 一种显示器及图像处理方法
CN110460769B (zh) * 2019-07-05 2021-08-17 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
US11356600B2 (en) * 2020-03-16 2022-06-07 Microsoft Technology Licensing, Llc Machine learning operations on different location targets using camera orientation
CN113873148A (zh) * 2021-09-14 2021-12-31 维沃移动通信(杭州)有限公司 录像方法、装置、电子设备和可读存储介质
CN114143462A (zh) * 2021-11-30 2022-03-04 维沃移动通信有限公司 拍摄方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
JP2006129391A (ja) * 2004-11-01 2006-05-18 Sony Corp 撮像装置
DE602005004496T2 (de) * 2004-12-28 2009-02-19 Seiko Epson Corp. Abbildungsgerät und tragbare Vorrichtung sowie tragbares Telefon damit
JP2006245726A (ja) * 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
US20070291177A1 (en) * 2006-06-20 2007-12-20 Nokia Corporation System, method and computer program product for providing reference lines on a viewfinder
ATE501594T1 (de) * 2007-06-27 2011-03-15 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
JP5868618B2 (ja) * 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
US9065967B2 (en) * 2011-09-13 2015-06-23 Verizon Patent And Licensing Inc. Method and apparatus for providing device angle image correction
US8907927B2 (en) * 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276456B1 (ja) * 2017-07-10 2018-02-07 株式会社FiNC ユーザの姿勢を評価するための方法およびシステム
JP2019016254A (ja) * 2017-07-10 2019-01-31 株式会社FiNC ユーザの姿勢を評価するための方法およびシステム
JP2021530002A (ja) * 2018-07-17 2021-11-04 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 画像表示のためのデバイスおよび方法

Also Published As

Publication number Publication date
CN105027556A (zh) 2015-11-04
MX2015009823A (es) 2015-10-05
KR20150114972A (ko) 2015-10-13
CA2896650A1 (en) 2014-08-07
WO2014120805A1 (en) 2014-08-07
EP2936797A1 (en) 2015-10-28
AU2014212506A1 (en) 2015-07-16
RU2015131620A (ru) 2017-02-03
US20140211031A1 (en) 2014-07-31
BR112015017459A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
JP2016515312A (ja) 自動ピクチャ位置合わせ補正
US9538083B2 (en) Motion blur avoidance
US20140354880A1 (en) Camera with Hall Effect Switch
US20140270688A1 (en) Personal Video Replay
WO2017054704A1 (zh) 生成视频图片的方法及装置
JP5888348B2 (ja) 撮像装置、撮像制御方法、及びプログラム
CN111670573B (zh) 一种电子装置及用于操作被配置为录制视频的电子装置的方法
US9398230B2 (en) Imaging device and imaging method
WO2011013562A9 (ja) 制御装置、制御方法、プログラム
AU2015331251B2 (en) Imaging apparatus and imaging method
JP6011569B2 (ja) 撮像装置、被写体追尾方法及びプログラム
CN111480176B (zh) 图像处理设备,图像处理系统,图像处理方法和记录介质
JP5896181B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
KR20170129537A (ko) 사진 자동 정렬 보정장치 및 보정방법
JP6237201B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
US10911676B2 (en) Memory card and moving image reproduction device
JP4613829B2 (ja) 撮影装置、その制御方法及び制御プログラム
WO2020110710A1 (ja) 撮像装置、撮像方法、及びプログラム
JP6354377B2 (ja) 撮像装置およびその制御方法とプログラム