JP2020520603A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020520603A5 JP2020520603A5 JP2019562259A JP2019562259A JP2020520603A5 JP 2020520603 A5 JP2020520603 A5 JP 2020520603A5 JP 2019562259 A JP2019562259 A JP 2019562259A JP 2019562259 A JP2019562259 A JP 2019562259A JP 2020520603 A5 JP2020520603 A5 JP 2020520603A5
- Authority
- JP
- Japan
- Prior art keywords
- particular frame
- frame
- frames
- determined
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 4
- 238000011105 stabilization Methods 0.000 claims 23
- 230000001131 transforming Effects 0.000 claims 13
- 238000006243 chemical reaction Methods 0.000 claims 8
- 230000000875 corresponding Effects 0.000 claims 4
- 238000001914 filtration Methods 0.000 claims 4
- 238000004590 computer program Methods 0.000 claims 3
- 230000003287 optical Effects 0.000 claims 3
- 238000004458 analytical method Methods 0.000 claims 1
- 230000026969 oncogene-induced senescence Effects 0.000 description 9
- 238000004091 panning Methods 0.000 description 3
Description
EISモジュール155は、デバイス位置センサ120およびOISモジュール115の両方からの位置データを使用して、記録デバイスによってキャプチャされたビデオを安定化させる。例えば、OISモジュール115からの位置データを使用して、デバイス位置データから推測される予想されるカメラビューに関して、OIS移動の効果を表すオフセットを決定することができる。これにより、OISモジュール115がデバイス位置に対してシーンのカメラのビューを変化させても、EISモジュール155は画像センサの実際のビューを反映する有効なカメラ位置を推定することが可能となる。本明細書で説明する他の特徴とともに、これらの技術により、記録デバイス102がOISおよびEIS処理を同時に効果的に使用し、両方の技術の利点を実現することが可能となる。
場合によっては、記録デバイス102の別個の位置センサ120を使用することに加えて、またはその代わりに、OISモジュール115のジャイロスコープセンサからの位置データをキャプチャして格納してもよい。それでもなお、記録デバイス102がOISセンサとは異なる特性を有するジャイロスコープセンサを使用することは有益である。例えば、記録デバイス102用のジャイロスコープセンサは、毎秒100度を超える感知可能な回転範囲で約400Hzの速度で測定値を提供し得る。デバイスのレベルセンサと比較して、OISモジュールの典型的なジャイロスコープセンサは、異なる速度および異なる範囲、例えば、毎秒5000個の測定速度以上で、毎秒約10度の感知可能な回転範囲で測定値を提供し得る。いくつかの実施形態では、(例えば、小さな変化または高周波パターンを検出するための)OISモジュールセンサのより頻繁な測定と同様に、(例えば、大きな動きを記述するための)デバイスのレベルセンサのより大きな回転範囲を有することは、有益である。従って、両方のタイプのデータを共に使用して、記録デバイス102の位置を決定してもよい。
デバイス位置センサ120は、ビデオキャプチャ中の記録デバイス102の回転および/または他の移動を示すデバイス位置データ150を提供する。デバイスの位置は、例えば、200Hz以上の高周波数で測定することができる。従って、多くの場合、各ビデオフレームのキャプチャ中に複数の異なる時間に関して測定値を取得することができる。
EISモジュール155は、更新されたデバイス位置データ150をデバイス位置センサ(単数または複数)120から定期的または連続的に取得する動きデータハンドラ156を含む。動きデータハンドラは、デバイス位置データ150から現在のカメラの姿勢を推定する。例えば、ジャイロスコープ信号を取得し、使用して、例えば、200Hzなどの高周波数で記録デバイス102のデバイス位置を推定することができる。任意の時間tにおけるこのデバイスの位置は、以下にR(t)として参照される。このデバイス位置は、例えば、1軸、2軸、または3軸に対する記録デバイス102の回転位置を示し得る。デバイスの位置は、回転行列として、または座標系に関して、または他の形式で表され得る。各計算されたデバイスの位置は、記録デバイス102の位置が発生した時期を示す時間によってラベル付けすることができる。
コンピューティングシステムは、第5の仮想カメラ位置V4(T)を決定する(328)。この位置は、第3の仮想カメラ位置V2(T)と第4の仮想カメラ位置V3(T)とをブレンドすることによって生成することができる(329)。例えば、ブレンディングは、一貫した動きの決定された確率に基づいて位置V2(T)と位置V3(T)との間を補間することによって達成することができる(330)。パンニングの可能性が高いと判断された場合、V4(T)は、推定されたパンニング位置V3(T)に近いものとなる。パンニングの可能性が低いと判断された場合、V4(T)は位置V2(T)に近いものとなる。
Claims (22)
- ビデオ安定化のための方法であって、
コンピューティングシステムが、光学式画像安定化(OIS)システムを使用して記録デバイスによってキャプチャされたビデオの一連のフレームを受信すること、
前記コンピューティングシステムが、(i)一連のフレームのキャプチャ中のOISシステムの位置を示すOIS位置データ、および(ii)一連のフレームのキャプチャ中の前記記録デバイスの位置を示すデバイス位置データを受信すること、
前記コンピューティングシステムが、一連のフレームにおける特定のフレームに関する第1の変換を決定すること
を含み、前記第1の変換は、特定のフレームに関する前記OIS位置データおよび特定のフレームに関する前記デバイス位置データに基づいて決定され、
前記方法は、さらに、
前記コンピューティングシステムが、特定のフレームの後にキャプチャされた一連のフレームにおける1つまたは複数のフレームについて、前記第1の変換と、前記デバイス位置データに基づいて決定された前記記録デバイスの位置とに基づいて、特定のフレームに関する第2の変換を決定すること、
前記コンピューティングシステムが、前記第2の変換を使用して特定のフレームの安定化バージョンを生成すること
を含む、ビデオ安定化のための方法。 - 前記OIS位置データを受信することは、前記OISシステムの可動レンズの位置を示すレンズのシフトデータを受信することを含み、前記デバイス位置データを受信することは、前記記録デバイスのジャイロスコープまたは加速度計から方位または移動データを受信することを含む、請求項1に記載のビデオ安定化のための方法。
- 前記OIS位置データは、一連のフレーム内の各フレームに関する複数のOIS位置読み取り値を示し、前記デバイス位置データは、一連のフレーム内の各フレームに関する複数のデバイス位置測定値を示す、請求項1または2に記載のビデオ安定化のための方法。
- 特定のフレームに対応するレンズ焦点位置を決定することをさらに含み、特定のフレームに関する前記第1の変換は、前記レンズ焦点位置を使用して決定される、請求項1乃至3のいずれか1項に記載のビデオ安定化のための方法。
- 前記OIS位置データによって示される前記OISシステムの可動要素の位置に基づいて特定のフレームの画像オフセットを決定することをさらに含み、特定のフレームに関する前記第1の変換が前記画像オフセットを使用して決定される、請求項1乃至4のいずれか1項に記載のビデオ安定化のための方法。
- 前記方法は、前記OIS位置データおよびデバイス位置データに基づいて、一組の複数のフレームに亘って発生する一組のカメラ位置を決定することをさらに含み、前記一組の複数のフレームは、特定のフレームの前の1つまたは複数のフレームと、特定のフレームの後の1つまたは複数のフレームを含み、
前記方法は、前記一組のカメラ位置にフィルタリングを適用することをさらに含み、前記第2の変換は、前記一組のカメラ位置にフィルタリングを適用することに基づいて決定されたカメラ位置に基づいて決定される、請求項1乃至5のいずれか1項に記載のビデオ安定化のための方法。 - 前記一組のカメラ位置にフィルタリングを適用した出力から特定のフレームに関する中間カメラ位置を決定すること、
前記中間カメラ位置と特定のフレームの直前のフレームに関する仮想カメラ位置とを比較すること
をさらに含み、前記第2の変換は、前記中間カメラ位置と特定のフレームの直前のフレームに関する前記仮想カメラ位置との比較に基づいて決定されたカメラ位置に基づいて決定される、請求項6に記載のビデオ安定化のための方法。 - 特定のフレームにおけるモーションブラーの量を特徴付けるデータを生成することをさらに含み、前記第2の変換は、特定のフレームにおけるモーションブラーの量を特徴付ける前記データを使用して決定されたカメラ位置に基づいて決定される、請求項1乃至7のいずれか1項に記載のビデオ安定化のための方法。
- 特定のフレームにおけるモーションブラーを特徴付ける前記データを生成することは、特定のフレームの露光の開始に対して決定された射影行列と、特定のフレームの露光の終了に対する射影行列とに基づいてモーションブラーカーネルを推定することを含む、請求項8に記載のビデオ安定化のための方法。
- 一組の複数のフレームに亘る記録デバイスの一貫した移動中に発生する位置を表すカメラ位置を決定することをさらに含み、前記第2の変換は、カメラの一貫した移動中に発生する位置を表すカメラ位置に基づいて決定される、請求項1乃至9のいずれか1項に記載のビデオ安定化のための方法。
- 前記カメラ位置は、特定のフレームの前の1つまたは複数のフレームと、特定のフレームの後の1つまたは複数のフレームとを含む一組のフレームに対応するデータに対して安定したフィルタリングを適用することによって生成される、請求項10に記載のビデオ安定化のための方法。
- 特定のフレームの前の1つまたは複数のフレームと、特定のフレームの後の1つまたは複数のフレームとを含む一組のフレームに亘るカメラ位置の分析に基づいて、前記記録デバイスの一貫した移動の確率を決定すること、
(i)カメラの一貫した移動中に発生する位置を表すカメラ位置と、(ii)特定のフレームに関する第2のカメラ位置とをブレンドすること
をさらに含み、前記カメラ位置は、決定された前記確率に従ってブレンドされ、前記第2の変換は、前記カメラ位置および前記第2のカメラ位置をブレンドした結果に基づいて決定される、請求項10または11に記載のビデオ安定化のための方法。 - 前記一貫した移動の確率は、一連のフレームに対応するカメラ位置からサブサンプリングされた一組のカメラ位置に対する線形回帰を使用して決定され、
前記第2のカメラ位置は、特定のフレームにおけるブラーの量を示すデータを使用して決定される、請求項12に記載のビデオ安定化のための方法。 - 特定のフレームに関する前記第2の変換を決定することは、
特定のフレームおよび特定のフレームの後に発生する1つまたは複数のフレームを含む参照セット内の各参照フレームについて、フレームに対応する前記デバイス位置データおよび前記OIS位置データに基づいてフレームの画像データの射影を決定すること、
特定のフレームの射影画像データを出力フレームにマッピングする特定のフレームに関する変換を決定すること、
前記参照セット内の各参照フレームについて、特定のフレームに関して決定された前記変換が、前記参照フレームに適用されたときに、出力フレームのピクセルの各々を定義しているかどうかを判定すること、
決定された前記変換を前記射影画像データに適用しても出力フレームのピクセルの各々が定義されない少なくとも1つの参照フレームを特定すること、
特定のフレームに対して決定されたカメラ位置と、前記少なくとも1つの参照フレームに対して決定されたカメラ位置との間の最小遷移量を特定すること、
特定された前記最小遷移量を使用して決定されたカメラ位置に関する第2の変換を決定すること
を含み、前記第2の変換は、前記参照セット内の参照フレームの各々の射影に適用されたときに、前記第2の変換が画像データを出力フレームのピクセルの各々にマッピングするように決定される、請求項1乃至13のいずれか1項に記載のビデオ安定化のための方法。 - 前記方法は、特定のフレームに関する現在の遷移量を決定することをさらに含み、前記現在の遷移量は、特定のフレームの直前のフレームに対して決定されたカメラ位置と、特定のフレームに対して決定されたカメラ位置との間の差を示しており、
前記方法は、特定のフレームの後に発生する1つまたは複数の将来のフレームの各々に関する将来の遷移量を決定することをさらに含み、各将来の遷移量は、特定のフレームに対して決定されたカメラ位置と、将来のフレームの1つに対して決定されたカメラ位置との間の差を示しており、
前記方法は、前記現在の遷移量と前記将来の遷移量の中から、カメラ位置における最大の差を示す最大の遷移量を特定すること、
特定された前記最大の遷移量に基づいてカメラ位置を決定すること
をさらに含み、
前記第2の変換は、決定された前記カメラ位置を使用して決定される、請求項1乃至14のいずれか1項に記載のビデオ安定化のための方法。 - 特定された前記最大の遷移量に基づいて前記カメラ位置を決定することは、
前記最大の遷移量が、1つまたは複数の将来のフレームの特定の将来のフレームに対応していると判断すること、
特定のフレームに関するカメラ位置を、前記特定の将来のフレームに関するカメラ位置に向けて調整すること
を含み、特定のフレームに関するカメラ位置は、特定のフレームのキャプチャと、特定の将来のフレームのキャプチャとの間の時間量に応じてスケーリングされる量で調整される、請求項15に記載のビデオ安定化のための方法。 - 特定のフレームのスキャンラインの適切なサブセットの各々について、出力フレームに関するスキャンラインのマッピングまたはスキャンラインに関する仮想カメラ位置を決定すること、
スキャンラインの適切なサブセットに関して決定されたマッピング間で補間することにより、またはスキャンラインの適切なサブセットに関して決定された仮想カメラ位置間で補間することにより、特定のフレームの各スキャンラインに関するマッピングを決定すること
をさらに含む、請求項1乃至16のいずれか1項に記載のビデオ安定化のための方法。 - 前記第1の変換は、特定のフレームを画像にマッピングする第1の射影行列であり、
前記第2の変換は、中間空間内の画像を特定のフレームの安定化バージョンに射影するための第2の射影行列である、請求項1乃至17のいずれか1項に記載のビデオ安定化のための方法。 - 記録デバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによる実行時に、処理を行わせる命令を含む1つまたは複数の非一時的なコンピュータ可読デバイスと
を備え、前記処理は、
前記記録デバイスの1つまたは複数のプロセッサが、光学式画像安定化(OIS)システムを使用して記録デバイスによってキャプチャされたビデオの一連のフレームを受信すること、
前記記録デバイスの前記1つまたは複数のプロセッサが、(i)一連のフレームのキャプチャ中のOISシステムの位置を示すOIS位置データ、および(ii)一連のフレームのキャプチャ中の前記記録デバイスの位置を示すデバイス位置データを受信すること、
前記記録デバイスの前記1つまたは複数のプロセッサが、一連のフレームにおける特定のフレームに関する第1の変換を決定すること
を含み、前記第1の変換は、特定のフレームに関するOIS位置データおよび特定のフレームに関するデバイス位置データに基づいて決定され、
前記処理は、さらに、
前記記録デバイスの前記1つまたは複数のプロセッサが、特定のフレームの後にキャプチャされた一連のフレームにおける1つまたは複数のフレームについて、前記第1の変換と、前記デバイス位置データに基づいて決定された前記記録デバイスの位置とに基づいて特定のフレームに関する第2の変換を決定すること、
前記記録デバイスの前記1つまたは複数のプロセッサが、前記第2の変換を使用して特定のフレームの安定化バージョンを生成すること
を含む、記録デバイス。 - 1つまたは複数のプロセッサによる実行時に、処理を行わせる命令を含むコンピュータプログラムであって、前記処理は、
前記1つまたは複数のプロセッサが、光学式画像安定化(OIS)システムを使用して記録デバイスによってキャプチャされたビデオの一連のフレームを受信すること、
前記1つまたは複数のプロセッサが、(i)一連のフレームのキャプチャ中のOISシステムの位置を示すOIS位置データ、および(ii)一連のフレームのキャプチャ中の前記記録デバイスの位置を示すデバイス位置データを受信すること、
前記1つまたは複数のプロセッサが、一連のフレームにおける特定のフレームに関する第1の変換を決定すること
を含み、前記第1の変換は、特定のフレームに関するOIS位置データおよび特定のフレームに関するデバイス位置データに基づいて決定され、
前記処理は、さらに、
前記1つまたは複数のプロセッサが、特定のフレームの後にキャプチャされる一連のフレームにおける1つまたは複数のフレームについて、前記第1の変換と、前記デバイス位置データに基づいて決定された前記記録デバイスの位置とに基づいて特定のフレームに関する第2の変換を決定すること、
前記1つまたは複数のプロセッサが、前記第2の変換を使用して特定のフレームの安定化バージョンを生成すること
を含む、コンピュータプログラム。 - ビデオ安定化のための装置であって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによる実行時に、前記装置に請求項1乃至18のいずれか1項に記載の方法を実行させるコンピュータ可読命令を含むメモリと
を備える装置。 - コンピュータによる実行時に、前記コンピュータに請求項1乃至18のいずれか1項に記載の方法を実行させるコンピュータ可読命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/724,241 US10462370B2 (en) | 2017-10-03 | 2017-10-03 | Video stabilization |
US15/724,241 | 2017-10-03 | ||
PCT/US2018/044524 WO2019070333A1 (en) | 2017-10-03 | 2018-07-31 | VIDEO STABILIZATION |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020520603A JP2020520603A (ja) | 2020-07-09 |
JP2020520603A5 true JP2020520603A5 (ja) | 2020-08-27 |
JP6818912B2 JP6818912B2 (ja) | 2021-01-27 |
Family
ID=63407513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019562259A Active JP6818912B2 (ja) | 2017-10-03 | 2018-07-31 | ビデオの安定化 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10462370B2 (ja) |
EP (1) | EP3603049A1 (ja) |
JP (1) | JP6818912B2 (ja) |
CN (2) | CN111133747B (ja) |
WO (1) | WO2019070333A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10462370B2 (en) * | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
US10171738B1 (en) * | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
JP2020031264A (ja) * | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
JP7091473B2 (ja) * | 2018-11-29 | 2022-06-27 | 富士フイルム株式会社 | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 |
JP7152588B2 (ja) * | 2019-02-20 | 2022-10-12 | 富士フイルム株式会社 | ぶれ補正装置、撮像装置、監視システム、及びプログラム |
US11470254B1 (en) | 2019-06-21 | 2022-10-11 | Gopro, Inc. | Systems and methods for assessing stabilization of videos |
US12052497B2 (en) * | 2019-06-25 | 2024-07-30 | Qualcomm Incorporated | Combined electronic image stabilization and optical image stabilization |
CN110536064B (zh) * | 2019-07-22 | 2021-04-06 | 杭州电子科技大学 | 一种固定场景的像素级精度视频图像去抖动方法 |
CN113875220B (zh) * | 2019-08-26 | 2023-08-18 | Oppo广东移动通信有限公司 | 拍摄防抖方法、装置、终端及存储介质 |
WO2021085247A1 (ja) * | 2019-10-29 | 2021-05-06 | 富士フイルム株式会社 | 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム |
US11580621B2 (en) * | 2019-12-06 | 2023-02-14 | Mediatek Inc. | AI frame engine for mobile edge |
CN111212224A (zh) * | 2020-01-10 | 2020-05-29 | 上海摩象网络科技有限公司 | 应用于图像拍摄设备的防抖处理方法及其装置、电子设备 |
US11694311B2 (en) * | 2020-03-04 | 2023-07-04 | Nec Corporation | Joint rolling shutter image stitching and rectification |
EP3883234B1 (en) * | 2020-03-17 | 2022-02-02 | Axis AB | Wearable camera and a method for power consumption optimization in the wearable camera |
US11265469B1 (en) * | 2020-04-10 | 2022-03-01 | Amazon Technologies, Inc. | System to mitigate image jitter by an actuator driven camera |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
CN112153282B (zh) * | 2020-09-18 | 2022-03-01 | Oppo广东移动通信有限公司 | 图像处理芯片、方法、存储介质及电子设备 |
JP2023553153A (ja) * | 2020-12-10 | 2023-12-20 | グーグル エルエルシー | 機械学習モデルに基づく映像安定化の向上 |
CN112734653B (zh) * | 2020-12-23 | 2024-09-06 | 影石创新科技股份有限公司 | 一种视频图像的运动平滑处理方法、装置、设备及存储介质 |
CN113452919B (zh) * | 2021-07-21 | 2022-04-19 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
WO2023003556A1 (en) * | 2021-07-22 | 2023-01-26 | Google Llc | Joint video stabilization and motion deblurring |
CN115546043B (zh) * | 2022-03-31 | 2023-08-18 | 荣耀终端有限公司 | 视频处理方法及其相关设备 |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4637571A (en) | 1985-09-03 | 1987-01-20 | The United States Of America As Represented By The Secretary Of The Army | Electronic image stabilization |
GB2220319B (en) | 1988-07-01 | 1992-11-04 | Plessey Co Plc | Improvements in or relating to image stabilisation |
US6466686B2 (en) | 1998-01-07 | 2002-10-15 | International Business Machines Corporation | System and method for transforming fingerprints to improve recognition |
US20030038927A1 (en) | 2001-08-27 | 2003-02-27 | Alden Ray M. | Image projector with integrated image stabilization for handheld devices and portable hardware |
US6877863B2 (en) | 2002-06-12 | 2005-04-12 | Silicon Optix Inc. | Automatic keystone correction system and method |
KR20040077240A (ko) | 2003-02-28 | 2004-09-04 | 주식회사 대우일렉트로닉스 | 타임랩스 영상 녹화/재생장치에서 움직임 검출에 따른녹화 속도 제어방법 |
US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US7643062B2 (en) | 2005-06-08 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Method and system for deblurring an image based on motion tracking |
JP4340915B2 (ja) | 2006-02-01 | 2009-10-07 | ソニー株式会社 | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 |
US7697725B2 (en) | 2006-04-03 | 2010-04-13 | Sri International | Method and apparatus for autonomous object tracking |
US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
US8781162B2 (en) | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
JP4702233B2 (ja) | 2006-09-11 | 2011-06-15 | ソニー株式会社 | 画像データ処理装置および画像データ処理方法 |
KR100819301B1 (ko) | 2006-12-20 | 2008-04-03 | 삼성전자주식회사 | 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치 |
US7559017B2 (en) | 2006-12-22 | 2009-07-07 | Google Inc. | Annotation framework for video |
CA2674830A1 (en) | 2007-01-05 | 2008-07-17 | Nestor, Inc. | Video speed detection system |
US7796872B2 (en) | 2007-01-05 | 2010-09-14 | Invensense, Inc. | Method and apparatus for producing a sharp image from a handheld device containing a gyroscope |
WO2008114264A2 (en) | 2007-03-21 | 2008-09-25 | Mantis Vision Ltd | A method and apparatus for video image stabilization |
JP5111088B2 (ja) | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP4539729B2 (ja) | 2008-02-15 | 2010-09-08 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
JP5075757B2 (ja) | 2008-08-05 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
JP5144487B2 (ja) | 2008-12-15 | 2013-02-13 | キヤノン株式会社 | 主顔選択装置、その制御方法、撮像装置及びプログラム |
KR101547556B1 (ko) | 2009-02-06 | 2015-08-26 | 삼성전자주식회사 | 이미지 표시 방법 및 장치 |
US8970690B2 (en) | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
CN102656876A (zh) | 2009-10-14 | 2012-09-05 | Csr技术公司 | 用于图像稳定的方法和装置 |
US8599238B2 (en) | 2009-10-16 | 2013-12-03 | Apple Inc. | Facial pose improvement with perspective distortion correction |
US8553275B2 (en) | 2009-11-09 | 2013-10-08 | Xerox Corporation | Architecture for controlling placement and minimizing distortion of images |
US8416277B2 (en) | 2009-12-10 | 2013-04-09 | Apple Inc. | Face detection as a metric to stabilize video during video chat session |
US8558903B2 (en) | 2010-03-25 | 2013-10-15 | Apple Inc. | Accelerometer / gyro-facilitated video stabilization |
US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
US20120050570A1 (en) | 2010-08-26 | 2012-03-01 | Jasinski David W | Audio processing based on scene type |
CN103201765B (zh) | 2010-09-28 | 2016-04-06 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
WO2012064106A2 (en) | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
US9077890B2 (en) | 2011-02-24 | 2015-07-07 | Qualcomm Incorporated | Auto-focus tracking |
GB2492529B (en) | 2011-05-31 | 2018-01-10 | Skype | Video stabilisation |
US8913140B2 (en) | 2011-08-15 | 2014-12-16 | Apple Inc. | Rolling shutter reduction based on motion sensors |
US8493459B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of distorted images |
US9070002B2 (en) | 2011-10-18 | 2015-06-30 | King Fahd University Of Petroleum And Minerals | Method of performing fingerprint matching |
TWI469062B (zh) | 2011-11-11 | 2015-01-11 | Ind Tech Res Inst | 影像穩定方法及影像穩定裝置 |
FR2982678B1 (fr) * | 2011-11-14 | 2014-01-03 | Dxo Labs | Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement |
US9246543B2 (en) | 2011-12-12 | 2016-01-26 | Futurewei Technologies, Inc. | Smart audio and video capture systems for data processing systems |
US8743222B2 (en) | 2012-02-14 | 2014-06-03 | Nokia Corporation | Method and apparatus for cropping and stabilization of video images |
EP2820593B1 (en) | 2012-03-01 | 2019-11-13 | Geo Semiconductor Inc. | Method and system for adaptive perspective correction of ultra wide-angle lens images |
EP2680615B1 (en) | 2012-06-25 | 2018-08-08 | LG Electronics Inc. | Mobile terminal and audio zooming method thereof |
US9280810B2 (en) | 2012-07-03 | 2016-03-08 | Fotonation Limited | Method and system for correcting a distorted input image |
US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
JP5984574B2 (ja) * | 2012-08-14 | 2016-09-06 | キヤノン株式会社 | 撮像システム及びその制御方法、撮像装置 |
JP6097522B2 (ja) * | 2012-10-22 | 2017-03-15 | キヤノン株式会社 | 像ブレ補正装置及び像ブレ補正方法、撮像装置 |
US9288395B2 (en) * | 2012-11-08 | 2016-03-15 | Apple Inc. | Super-resolution based on optical image stabilization |
CN113259565B (zh) | 2012-11-28 | 2023-05-19 | 核心光电有限公司 | 多孔径成像系统 |
CN103853908B (zh) * | 2012-12-04 | 2017-11-14 | 中国科学院沈阳自动化研究所 | 一种自适应交互式多模型的机动目标跟踪方法 |
US9071756B2 (en) | 2012-12-11 | 2015-06-30 | Facebook, Inc. | Systems and methods for digital video stabilization via constraint-based rotation smoothing |
JP5997645B2 (ja) * | 2013-03-26 | 2016-09-28 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
US9232138B1 (en) | 2013-06-03 | 2016-01-05 | Amazon Technologies, Inc. | Image stabilization techniques |
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
US10474921B2 (en) | 2013-06-14 | 2019-11-12 | Qualcomm Incorporated | Tracker assisted image capture |
EP3779564B1 (en) | 2013-07-04 | 2024-04-10 | Corephotonics Ltd. | Miniature telephoto lens assembly |
US9857568B2 (en) | 2013-07-04 | 2018-01-02 | Corephotonics Ltd. | Miniature telephoto lens assembly |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9952756B2 (en) | 2014-01-17 | 2018-04-24 | Intel Corporation | Dynamic adjustment of a user interface |
CN103984929B (zh) | 2014-05-20 | 2017-04-19 | 清华大学 | 扭曲指纹的校正方法及系统 |
US10133351B2 (en) | 2014-05-21 | 2018-11-20 | Apple Inc. | Providing haptic output based on a determined orientation of an electronic device |
US9357132B2 (en) * | 2014-05-30 | 2016-05-31 | Apple Inc. | Video rolling shutter correction for lens movement in optical image stabilization cameras |
US9413963B2 (en) * | 2014-05-30 | 2016-08-09 | Apple Inc. | Video image stabilization |
US20150362989A1 (en) | 2014-06-17 | 2015-12-17 | Amazon Technologies, Inc. | Dynamic template selection for object detection and tracking |
WO2015198478A1 (ja) | 2014-06-27 | 2015-12-30 | 株式会社 市川ソフトラボラトリー | 画像歪み補正装置、情報処理装置および画像歪み補正方法 |
US9674438B2 (en) * | 2014-07-06 | 2017-06-06 | Apple Inc. | Low light video image stabilization strength modulation |
WO2016007934A1 (en) | 2014-07-11 | 2016-01-14 | Google Inc. | Hands-free offline communications |
CN105306804B (zh) * | 2014-07-31 | 2018-08-21 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像方法及装置 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US9596411B2 (en) * | 2014-08-25 | 2017-03-14 | Apple Inc. | Combined optical and electronic image stabilization |
WO2016061565A1 (en) | 2014-10-17 | 2016-04-21 | The Lightco Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
EP3234908A4 (en) | 2014-12-19 | 2018-05-23 | Nokia Technologies OY | Method, apparatus and computer program product for blur estimation |
JP6530602B2 (ja) * | 2014-12-22 | 2019-06-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
WO2016107635A1 (en) | 2014-12-29 | 2016-07-07 | Metaio Gmbh | Method and system for generating at least one image of a real environment |
GB2533788A (en) | 2014-12-30 | 2016-07-06 | Nokia Technologies Oy | Method for determining the position of a portable device |
CN107209404B (zh) | 2015-01-03 | 2021-01-15 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
CN107431825A (zh) | 2015-01-27 | 2017-12-01 | 汤姆逊许可公司 | 用于图像和视频的电光和光电转换的方法、系统和装置 |
EP3988984A3 (en) | 2015-04-02 | 2022-07-13 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
WO2016168415A1 (en) | 2015-04-15 | 2016-10-20 | Lytro, Inc. | Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition |
KR20230007523A (ko) | 2015-04-16 | 2023-01-12 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
EP3722860B1 (en) | 2015-05-28 | 2023-04-19 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera |
CN107533272B (zh) | 2015-06-24 | 2020-09-11 | 核心光电有限公司 | 折叠式镜头相机的低剖面三轴致动器 |
US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
WO2017037688A1 (en) | 2015-09-06 | 2017-03-09 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
KR102457617B1 (ko) | 2015-09-16 | 2022-10-21 | 한화테크윈 주식회사 | 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체 |
US9967461B2 (en) * | 2015-10-14 | 2018-05-08 | Google Inc. | Stabilizing video using transformation matrices |
CN106709932B (zh) | 2015-11-12 | 2020-12-04 | 创新先进技术有限公司 | 一种人脸位置跟踪方法、装置和电子设备 |
US9953217B2 (en) | 2015-11-30 | 2018-04-24 | International Business Machines Corporation | System and method for pose-aware feature learning |
US9674439B1 (en) | 2015-12-02 | 2017-06-06 | Intel Corporation | Video stabilization using content-aware camera motion estimation |
CN109946832B (zh) | 2015-12-29 | 2021-01-19 | 核心光电有限公司 | 具有自动可调节长焦视场的双孔径变焦数字摄影机 |
US9773196B2 (en) | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
US10194089B2 (en) | 2016-02-08 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for implementing seamless zoom function using multiple cameras |
US9743001B1 (en) | 2016-02-19 | 2017-08-22 | Fotonation Limited | Method of stabilizing a sequence of images |
JP6640620B2 (ja) * | 2016-03-17 | 2020-02-05 | ソニーモバイルコミュニケーションズ株式会社 | 画像安定化装置、画像安定化方法及び電子機器 |
US10482663B2 (en) | 2016-03-29 | 2019-11-19 | Microsoft Technology Licensing, Llc | Virtual cues for augmented-reality pose alignment |
CN105741789B (zh) | 2016-05-06 | 2018-06-01 | 京东方科技集团股份有限公司 | 一种高动态对比度显示屏的驱动方法及驱动装置 |
US10027893B2 (en) | 2016-05-10 | 2018-07-17 | Nvidia Corporation | Real-time video stabilization for mobile devices based on on-board motion sensing |
WO2017208090A1 (en) | 2016-05-30 | 2017-12-07 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
KR102521406B1 (ko) | 2016-06-19 | 2023-04-12 | 코어포토닉스 리미티드 | 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 |
US9774798B1 (en) | 2016-06-29 | 2017-09-26 | Essential Products, Inc. | Apparatus and method for a wide field of view image sensor |
CN107770433B (zh) | 2016-08-15 | 2020-08-04 | 广州立景创新科技有限公司 | 影像获取装置及其影像平顺缩放方法 |
US9888179B1 (en) | 2016-09-19 | 2018-02-06 | Google Llc | Video stabilization for mobile devices |
KR102697559B1 (ko) | 2016-12-22 | 2024-08-23 | 삼성전자주식회사 | 영상 표시 방법, 저장 매체 및 전자 장치 |
US10104334B2 (en) | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
WO2018154421A1 (en) | 2017-02-23 | 2018-08-30 | Corephotonics Ltd. | Folded camera lens designs |
KR20230066140A (ko) | 2017-03-15 | 2023-05-12 | 코어포토닉스 리미티드 | 파노라마 스캐닝 범위를 갖는 카메라 |
CN106954024B (zh) * | 2017-03-28 | 2020-11-06 | 成都通甲优博科技有限责任公司 | 一种无人机及其电子稳像方法、系统 |
US10222862B2 (en) | 2017-06-05 | 2019-03-05 | Lenovo (Singapore) Pte. Ltd. | Method to sense force exertion on handheld device for behavior setting and input for quick response |
WO2019006473A1 (en) | 2017-06-30 | 2019-01-03 | The Johns Hopkins University | ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS |
US10957297B2 (en) | 2017-07-25 | 2021-03-23 | Louis Yoelin | Self-produced music apparatus and method |
US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
US10979814B2 (en) | 2018-01-17 | 2021-04-13 | Beijing Xiaoniao Tingling Technology Co., LTD | Adaptive audio control device and method based on scenario identification |
US10310079B1 (en) | 2018-03-02 | 2019-06-04 | Amazon Technologies, Inc. | Presence detection using wireless signals confirmed with ultrasound and/or audio |
US10171738B1 (en) | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
US10665250B2 (en) | 2018-09-28 | 2020-05-26 | Apple Inc. | Real-time feedback during audio recording, and related devices and systems |
US20200265211A1 (en) | 2019-02-14 | 2020-08-20 | West Virginia University | Fingerprint distortion rectification using deep convolutional neural networks |
US10665204B1 (en) | 2019-10-08 | 2020-05-26 | Capital One Services, Llc | Automatically adjusting screen brightness based on screen content |
US10726579B1 (en) | 2019-11-13 | 2020-07-28 | Honda Motor Co., Ltd. | LiDAR-camera calibration |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
CN111738230B (zh) | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
US11380181B2 (en) | 2020-12-09 | 2022-07-05 | MS Technologies | Doppler radar system with machine learning applications for fall prediction and detection |
-
2017
- 2017-10-03 US US15/724,241 patent/US10462370B2/en active Active
-
2018
- 2018-07-31 CN CN201880030074.6A patent/CN111133747B/zh active Active
- 2018-07-31 CN CN202110599340.0A patent/CN113194260B/zh active Active
- 2018-07-31 EP EP18762179.2A patent/EP3603049A1/en active Pending
- 2018-07-31 JP JP2019562259A patent/JP6818912B2/ja active Active
- 2018-07-31 WO PCT/US2018/044524 patent/WO2019070333A1/en unknown
-
2019
- 2019-09-12 US US16/568,931 patent/US11064119B2/en active Active
-
2021
- 2021-06-01 US US17/336,194 patent/US11683586B2/en active Active
-
2023
- 2023-06-16 US US18/210,812 patent/US20230336873A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020520603A5 (ja) | ||
JP6734940B2 (ja) | 三次元計測装置 | |
Karpenko et al. | Digital video stabilization and rolling shutter correction using gyroscopes | |
US8648918B2 (en) | Method and system for obtaining a point spread function using motion information | |
JP6629454B2 (ja) | 画像フュージョン方法と装置、および端末装置 | |
US9467623B2 (en) | Image correcting apparatus and method for imaging device | |
EP3603049A1 (en) | Video stabilization | |
KR102397343B1 (ko) | 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스 | |
JP2018522348A (ja) | センサーの3次元姿勢を推定する方法及びシステム | |
US20110109755A1 (en) | Hardware assisted image deblurring | |
JP2017187861A5 (ja) | ||
JPH1124122A (ja) | 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2017098776A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
CN108827341A (zh) | 用于确定图像采集装置的惯性测量单元中的偏差的方法 | |
JP2016116008A (ja) | 撮影装置、撮影方向の制御方法及びプログラム | |
US20220174217A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
CN110691228A (zh) | 基于三维变换的深度图像噪声标记方法、装置和存储介质 | |
JP2007104516A (ja) | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 | |
JP6969739B2 (ja) | 位置情報取得システム、位置情報取得方法及びプログラム | |
JP2020031264A (ja) | 信号処理装置、撮像装置、信号処理方法 | |
JP2017060091A (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
US10529084B2 (en) | Image processing method, electronic device, and non-transitory computer readable storage medium | |
Sindelar et al. | Space-variant image deblurring on smartphones using inertial sensors | |
JP7240241B2 (ja) | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 | |
JP6641525B2 (ja) | 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム |