JP2023100754A - シーンの超解像画像を生成するための光学画像の安定化動作 - Google Patents
シーンの超解像画像を生成するための光学画像の安定化動作 Download PDFInfo
- Publication number
- JP2023100754A JP2023100754A JP2023072234A JP2023072234A JP2023100754A JP 2023100754 A JP2023100754 A JP 2023100754A JP 2023072234 A JP2023072234 A JP 2023072234A JP 2023072234 A JP2023072234 A JP 2023072234A JP 2023100754 A JP2023100754 A JP 2023100754A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- super
- user device
- resolution
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 162
- 230000003287 optical effect Effects 0.000 title claims abstract description 30
- 230000006641 stabilisation Effects 0.000 title claims abstract description 30
- 238000011105 stabilization Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】シーンの超解像画像を生成する光学画像安定化動作に向けられたシステム、方法及びデバイスを提供する。【解決手段】ユーザデバイス及びOISカメラモジュール110は、ビューファインダモードに入ったことを検出することに基づいて、光学画像安定化システムを通して、カメラシステムの1つまたは複数の構成要素に移動を導入する。OISカメラモジュールは、シーンの画像の複数のフレーム306をキャプチャする。シーンの画像の複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットを有する。OISカメラモジュールはさらに、複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算を実行し、超解像計算に基づいて、シーンの超解像画像を生成する。【選択図】図3
Description
背景
デジタルレンズ一眼レフレックス(DLSR)カメラまたはイメージセンサを有するスマートフォンなどのユーザデバイスに関連付けられるカメラ技術は、今日、いくつかの最前線で進展している。一例として、ユーザデバイスは、イメージセンサを有するカメラシステムをOISシステムと組み合わせて、ユーザデバイスが画像をキャプチャしている間、当該ユーザデバイスの動きを補償する光学画像安定化(OIS)カメラモジュールを含み得る。別の例として、ユーザデバイスは、シーンの複数の低解像度画像から超解像画像を生成する超解像機能を含むことができ、ここで、当該シーンの複数の低解像度画像は、カメラシステムのネイティブ解像度機能を使用してキャプチャされた複数の画像であり、当該超解像画像は、カメラシステムのネイティブ解像度機能より高い解像度である。
デジタルレンズ一眼レフレックス(DLSR)カメラまたはイメージセンサを有するスマートフォンなどのユーザデバイスに関連付けられるカメラ技術は、今日、いくつかの最前線で進展している。一例として、ユーザデバイスは、イメージセンサを有するカメラシステムをOISシステムと組み合わせて、ユーザデバイスが画像をキャプチャしている間、当該ユーザデバイスの動きを補償する光学画像安定化(OIS)カメラモジュールを含み得る。別の例として、ユーザデバイスは、シーンの複数の低解像度画像から超解像画像を生成する超解像機能を含むことができ、ここで、当該シーンの複数の低解像度画像は、カメラシステムのネイティブ解像度機能を使用してキャプチャされた複数の画像であり、当該超解像画像は、カメラシステムのネイティブ解像度機能より高い解像度である。
ある例では、OISシステムの使用は、ユーザデバイスの超解像機能と互換性がないか、または競合する。例えば、シーンの複数の低解像画像が、超解像アルゴリズムが機能するためにシーンの画像の位置オフセット(または画素位置の差)を反映する必要がある場合、当該シーンの複数の低解像画像のキャプチャの間にOISシステムによって導入される安定性は、必要な位置オフセットを妨害し得る。別の例として、ユーザデバイスが、動きがない安定状態にある(そして、OISシステムは、複数の低解像度画像のキャプチャ中に、機能しておらず、または、動きを補償していない)場合、複数の低解像度画像は、同一であり、必要な位置オフセットを有しなくてもよい。
さらに、ユーザデバイスは、シャッタボタンの押下とほぼ同時に発生するゼロシャッタラグモードの間と同様に、シャッタボタンの押下前および押下後に発生するバーストシーケンスモードを含む、様々なモードでシーンの複数の画像をキャプチャすることができる。OISシステムとユーザデバイスの超解像能力との間の上述の不適合性は、このような事例においてさらに悪化する。
概要
本開示は、シーンの超解像画像を生成するために光学画像安定化動作に向けられたシステムおよび技術を説明する。本システムおよび技術は、光学画像安定化システムを使用して、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入するユーザデバイスを含む。次いで、ユーザデバイスは、シーンの画像のそれぞれの複数のフレームをキャプチャし、当該シーンの画像のそれぞれの複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたってシーンの画像のそれぞれのサブピクセルオフセットを有する。ユーザデバイスは、複数のフレームのそれぞれにわたる当該シーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算を実行し、超解像計算に基づいて当該シーンの超解像画像を生成する。
本開示は、シーンの超解像画像を生成するために光学画像安定化動作に向けられたシステムおよび技術を説明する。本システムおよび技術は、光学画像安定化システムを使用して、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入するユーザデバイスを含む。次いで、ユーザデバイスは、シーンの画像のそれぞれの複数のフレームをキャプチャし、当該シーンの画像のそれぞれの複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたってシーンの画像のそれぞれのサブピクセルオフセットを有する。ユーザデバイスは、複数のフレームのそれぞれにわたる当該シーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算を実行し、超解像計算に基づいて当該シーンの超解像画像を生成する。
したがって、本システムおよび技術は、光学画像安定化(OIS)システム性能に影響を及ぼすことなく、超解像画像を生成できる。さらに、本システムおよび技術は、ユーザを乱すことなく、カメラシステムの1つまたは複数の構成要素を安定させることができ、「ゼロシャッタラグ」モードで動作し、ユーザがシャッタの動きを押すのを待つ必要がなく、高品質画像を得ることにおよびユーザの経験に有害であり得る入力ラグおよび待ち時間を最小化する。
いくつかの態様では、シーンの超解像画像を生成するために使用される方法が説明される。本方法は、ユーザデバイスが、当該ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入することを含む。この方法の一部として、ユーザデバイスは、シーンの画像のそれぞれの複数のフレームをキャプチャし、当該シーンの画像のそれぞれの複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたってシーンの画像のそれぞれのサブピクセルオフセットを有する。この方法は継続し、当該それぞれの複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて、ユーザデバイスは、超解像計算を実行し、超解像計算に基づいて当該シーンの超解像画像を生成する。
さらに他の態様では、ユーザデバイスが説明される。当該ユーザデバイスは、イメージセンサを有するカメラシステムと、OISシステムと、プロセッサと、ディスプレイとを含む。ユーザデバイスはまた、プロセッサによって実行されると、当該ユーザデバイスに一連の動作を実行するように指示する相補的機能を実行する、光学画像安定化システムドライブマネジャーアプリケーションおよび超解像マネジャーアプリケーションの命令を記憶する、コンピュータ可読記憶媒体を含む。
当該一連の動作は、1つまたは複数のプロセッサによって、シーンの画像をキャプチャするようにユーザデバイスに指示するコマンドを受信することを含む。当該一連の動作はまた、当該シーンの画像をキャプチャする間にカメラシステムの1つまたは複数の構成要素に移動を導入することを含み、当該導入された動きは、複数のフレームにわたって当該画像のそれぞれのサブピクセルオフセットを有するシーンの画像のそれぞれの複数のフレームのキャプチャと、1つまたは複数のプロセッサによって当該複数のフレームにわたって当該シーンの画像のサブピクセルオフセットに基づいて、超解像計算を実行することと、をもたらす。当該一連の動作は、超解像計算に基づいて1つまたは複数のプロセッサによって当該シーンの超解像画像を生成することと、ディスプレイによって当該シーンの超解像画像をレンダリングすることと、をさらに含む。
1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載される。他の特徴および利点は、当該説明および図面ならびに特許請求の範囲から明らかとなるであろう。この概要は、詳細な説明および図面においてさらに説明される主題を紹介するために提供される。したがって、読者は、本概要が本質的な特徴を説明し、また、請求される主題の範囲を制限すると、考えるべきではない。
本開示は、シーンの超解像画像を生成するために光学画像安定化動作に関連付けられる1つまたは複数の態様の詳細を説明する。
詳細な説明
本開示は、シーンの超解像画像を生成するための光学画像安定化動作に向けられたシステムおよび技術を説明する。
本開示は、シーンの超解像画像を生成するための光学画像安定化動作に向けられたシステムおよび技術を説明する。
シーンの超解像画像を生成する光学画像安定化動作のために説明されるシステムおよび技術の特徴および概念は、任意の数の異なる環境、システム、デバイス、および/または様々な構成において実施され得るが、態様は、以下の例示的なデバイス、システム、および構成の文脈において説明される。
動作環境の例
図1は、シーンの超解像画像を生成するための光学画像安定化動作の様々な態様が実行される動作環境例100を示す。例示されるように、ユーザデバイス102は三脚104に固定され、それがキャプチャしているシーンの超解像画像106をレンダリングしている。スマートフォンとして例示されているが、ユーザデバイス102は、DLSRカメラまたはタブレットなど、画像キャプチャ機能を有する別のタイプのデバイスであり得る。ユーザデバイス102の三脚104への固定は、ユーザデバイス102が動きなく静止しているようにユーザデバイス102を制約する。
図1は、シーンの超解像画像を生成するための光学画像安定化動作の様々な態様が実行される動作環境例100を示す。例示されるように、ユーザデバイス102は三脚104に固定され、それがキャプチャしているシーンの超解像画像106をレンダリングしている。スマートフォンとして例示されているが、ユーザデバイス102は、DLSRカメラまたはタブレットなど、画像キャプチャ機能を有する別のタイプのデバイスであり得る。ユーザデバイス102の三脚104への固定は、ユーザデバイス102が動きなく静止しているようにユーザデバイス102を制約する。
ユーザデバイス102は、ユーザデバイス102の動き状態を検出する1つまたは複数のモーションセンサ108(例えば、ジャイロスコープ、加速度計)の組み合わせを含む。ユーザデバイス102が三脚104に固定されている場合のように、いくつかの例では、検出された動き状態は、静的な動き状態(すなわち、ユーザデバイス102は移動しない)であり得る。ユーザデバイス102が三脚104から取り外される場合のように、他の事例では、検出された動き状態は、動的な動き状態(すなわち、静的な動き状態ではない任意の動き状態)であり得る。
ユーザデバイスはまた、カメラシステム112およびOISシステム114を含む光学画像安定化(OIS)カメラモジュール110を含む。カメラシステム112は、レンズ、アパーチャ、および1つまたは複数のイメージセンサ(例えば、40メガピクセル(MP)、32MP、16MP、8MP)などの複数の構成要素を含み得る。当該イメージセンサは、相補型金属酸化膜半導体(CMOS)イメージセンサまたは電荷結合素子(CCD)イメージセンサを含み得る。ある例では、イメージセンサは、イメージセンサの画素をオーバーレイし、画素を通して記録された光の、色波長に関連付けられる強度を制限するカラーフィルタアレイ(CFA)を含み得る。このようなCFAの例は、赤色波長、青色波長、および緑色波長に従って光をフィルタリングするバイエル CFAである。
OISシステム114は、一般に、カメラシステム112の1つまたは複数の構成要素の物理的位置または向きを修正するための機構を提供する。OISシステム114は、カメラシステム112の1つまたは複数の構成要素の面外移動内位置、面外移動外位置、ピッチ、ヨー、または傾きを変化させることができるマイクロスケールモータおよび磁気誘導位置決め機構を含み得る。面外移動内位置は、2つの軸によって規定される面外移動内にある位置であり得、面外移動外位置は、2つの軸によって規定される面外移動の外側にある別の位置であり得る。
ユーザデバイス102はまた、1つまたは複数のプロセッサ116の組み合わせを含む。プロセッサ116は、シリコン、ポリシリコン、高k誘電体、銅などの様々な材料で構成されたシングルコアプロセッサまたはマルチコアプロセッサであり得る。複数のプロセッサ116(例えば、2つ以上のプロセッサの組み合わせ)の例では、複数のプロセッサ116は、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、デジタ
ル信号プロセッサ(DSP)、または画像処理ユニット(IPU)を含み得る。さらに、そのような例では、複数のプロセッサ116は、パイプライン処理を使用して2つ以上の計算動作を実行することができる。
ル信号プロセッサ(DSP)、または画像処理ユニット(IPU)を含み得る。さらに、そのような例では、複数のプロセッサ116は、パイプライン処理を使用して2つ以上の計算動作を実行することができる。
ユーザデバイス102はまた、OISドライブマネジャー120および超解像マネジャー122の形での実行可能な命令を含むコンピュータ可読記憶媒体(CRM)118を含む。本明細書で説明するCRM118は、伝搬信号を除外する。CRM118は、OISドライブマネジャー120および超解像マネジャー122を記憶するために使用可能な、ランダムアクセスメモリ(RAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、不揮発性RAM(NVRAM)、読み取り専用メモリ(ROM)、またはフラッシュメモリなどの任意の適切なメモリまたは記憶装置を含み得る。
ある例では、OISドライブマネジャー120および超解像マネジャー122は、OIS動き(例えば、カメラシステム112の1つまたは複数の要素の位置への物理的移動または変更)を生成し、サブピクセルオフセットを有するシーンの画像の複数のフレームをキャプチャし、シーンの超解像画像(106)を計算するのに有効な補完的機能をユーザデバイス102に実行させるように、プロセッサ116によって実行され得る。ある例では、OIS移動は、ユーザデバイスを操作するユーザの自然なハンドヘルドの動き(例えば、当該ユーザの手の震えまたは他の自然な生体力学)を通じて現れるであろう、カメラシステム112に対する位置の変化に対応し得る。
OISドライブマネジャー120のコードまたは命令は、プロセッサ116を使用して、OIS移動を行なうようにOISシステム114に指示するために、実行され得る。ある例では、OIS移動は、非同期移動(例えば、所定の範囲の位置変位内での、かつ時間的同期を有さない移動)であり得る。そのような非同期移動は、静的な動き状態に適用可能であり得る。
他の事例では、OIS移動は、同期移動(例えば、ユーザデバイス102の検出された動きに依存し、かつ、時間的に同期された位置変位の範囲に対応する移動)であり得る。そのような同期移動は、動的な動き状態に適用可能であり、OISシステム114に導入された別のOIS動きに重畳され得る。
超解像マネジャー122のコードまたは命令は、プロセッサ116によって実行されると、OISドライブマネジャー120の指示の下で実行される動作に相補的な複数の動作を実行するように、ユーザデバイス102に指示することができる。そのような動作は、シーンの画像の複数のフレームをバーストシーケンスでキャプチャし、超解像計算を実行し、当該ユーザデバイスのディスプレイ124を使用して当該シーンの超解像画像106をレンダリングするように、カメラシステム112に命令することを含み得る。
OIS移動(例えば、OISシステム114によって、OISドライブマネジャー120の指示の下でカメラシステム112に導入された動き)のために、カメラシステム112は、シーンの画像の複数の変化例126,128および130をキャプチャすることができ、当該複数の変化例126~130は、複数のフレームにわたる画像のそれぞれのサブピクセルオフセットを有するシーンの画像の複数のフレームに対応する。
OIS移動中、OISドライブマネジャー120は、シーンの画像の複数のフレームの一様なサンプリングを通じて、カバレッジスコアを分析的に又は数値的に計算することができる。計算されたカバレッジスコアは、ある例では、追加の又は補助的なOIS移動に、キャプチャされた複数の変化例126~130の画像コンテンツを定義させることができる。この移動は、当該シーンの画像の全カバレッジを保証し、より高品質の画像を生成
する。
する。
超解像計算は、例えば、シーンの超解像画像106を生成するロバスト性モデル計算と組み合わされるガウス半径基底関数(RBF)計算を含み得る。当該超解像計算は、シーンの画像の変化例126~130(例えば、複数のフレームにわたる画像のそれぞれのサブピクセルオフセットを有するシーンの画像の複数のフレーム)を使用して、シーンの超解像画像106を作成する。
図2は、OISシステムによって導入される移動の例示的態様200を示す。態様200は、図1のユーザデバイス102のカメラシステム112およびOISシステム114を含む。
図示のように、OISシステム114は、カメラシステム112に移動を導入することができる。「面内」移動は、x軸202およびy軸204によって規定される面外移動内に含まれる移動であり得る。x軸202およびy軸204によって規定される面外移動は、シーンの超解像画像106を有する別の面外移動に対応する(例えば、平行である)。「面外」移動は、x軸202およびy軸204によって規定される面外移動の外側にある移動であり得、z軸206に沿った移動、またはピッチ、ヨー、もしくはロールを含む別の移動であり得る。
OISシステム114によって導入される移動は、1つまたは複数の因子によってトリガされ得る。例えば、OISシステム114に導入される移動は、ユーザデバイス102がファインダモードに入ったことに応答し、ユーザデバイス102がキャプチャコマンドを受信したことに応答し、または、ユーザデバイス102がモーションセンサ108を通じて動き状態を検出したことに応答し得る。OISシステム114によって導入される移動はまた、そのような因子の1つまたは複数の組み合わせによってトリガされ得る。
図3は、動き状態を検出し、移動をOISシステムに導入することに関連付けられる例示的な態様300を示す。例示的態様300は、図1のユーザデバイス102および図2のOISカメラモジュール110によって実行され得る。(プロセッサ116によって実行される)OISドライブマネジャー120は、OISシステム114を介してカメラシステム112に移動を導入することができる。ある例では、OISシステム114を通じてカメラシステム112に導入された移動は、シーンの画像のキャプチャ中に単にカメラシステム112を安定化させ得るが、他の例では、OISシステム114を通じてカメラシステム112に導入された移動は、当該シーンの複数の画像のキャプチャ中にシーンの複数の画像にサブピクセルオフセットを導入することができる。さらに他の事例では、OISシステム114を通してカメラシステム112に導入される移動は、シーンの画像の一部のフレームのキャプチャを安定させ(例えば、明確にするためにサブピクセルオフセットはない)、当該シーンの画像の他のフレームのキャプチャ中にオフセットを導入する(例えば、超解像のためにサブピクセルオフセットを保存する)移動の組み合わせであり得る。
例示的態様300は、動き状態302の検出、移動の導入304、およびサブピクセルオフセットを有する複数のフレーム306(図1の変化例126~128に対応するフレーム308~312)のキャプチャを含む。ユーザデバイス102は、バーストシーケンス中に、シーンの超解像画像106の別の解像度より低い解像度を使用して、複数のフレーム306をキャプチャすることができる。
動き状態302の検出は、静的な動き状態314または動的な動き状態318を検出することを含み得る。カメラシステム112への移動の導入304は、バーストシーケンス
中に、OISドライブマネジャー120が非同期のOIS動き316または同期されたOIS移動320を導入することを含み得る。
中に、OISドライブマネジャー120が非同期のOIS動き316または同期されたOIS移動320を導入することを含み得る。
同期されたOIS移動320の場合、OISシステム114は、検出された動的な動き状態318からカメラシステム112を安定させる(例えば、カメラシステム112を安定化させて、シーンの画像のフレームを明瞭かつサブピクセルオフセットなしにキャプチャする)ように意図された第1の移動を導入することができる。同期された移動320は、シーンの画像のフレームにわたるサブピクセルオフセットを生成または維持することを目的として、第1の移動(例えば、検出された動的な動き状態318に関連付けられる反対の移動である移動)と同期され、かつ、重畳される第2の移動とすることができる。第1の移動の大きさに依存して、第2の移動の重ね合わせは、本質的に建設的または破壊的であり得る(例えば、第1の移動に「加算する」または「減算する」)。さらに、第2の移動のいくつかの部分は、画素より大きくてもよく、第2の移動の他の部分は、画素より小さくてもよい。
バーストシーケンスは、たとえば、1ミリ秒~3ミリ秒、1ミリ秒~5ミリ秒、または1/2ミリ秒~10ミリ秒の範囲であり得る設定された時間間隔で、複数のフレーム306をキャプチャすることを含み得る。さらに、いくつかの例では、バーストシーケンスの時間間隔は、ユーザデバイスの動きに基づいて可変であり得る(例えば、ユーザデバイス102の高速動作中の時間間隔は、ユーザデバイス102の低速動作中の別の時間間隔よりも「短く」、オフセットを1画素未満に保つことができる)。
バーストシーケンス中の移動の導入304は、複数のフレーム306がそれぞれ相対的なサブピクセルオフセットを有するように、ユーザデバイス102が複数のフレーム306をキャプチャすることをもたらす。図示されるように、フレーム310の画像は、フレーム308の画像に対して、水平に1/2画素、垂直に1/2画素、それぞれオフセットされる。さらに、図示されるように、フレーム312の画像は、フレーム308の画像に対して水平に1/4ピクセル、オフセットされる。それぞれの相対的なサブピクセルオフセットは、サブピクセルオフセットの異なる大きさ及び組み合わせを含み得る(例えば、1つのフレームに関連付けられる1つのサブピクセルのオフセットは、水平に1/4ピクセル、垂直に3/4ピクセルであり得、別のフレームに関連付けられる別のサブピクセルオフセットは、水平に0ピクセル、垂直に1/2ピクセルであり得る)。一般に、本開示によって説明される技術およびシステムは、不均一なサブピクセルオフセットを含む、フレーム308~312の図示および説明よりもランダムなサブピクセルオフセットに対応することができる。
図4は、OIS移動によって導入されたサブピクセルオフセットを有する複数のフレーム306を使用して、超解像計算を実施し、シーンの超解像画像を生成する例示的態様400を示す。例示的な態様400は、図1~3の要素を使用することができ、超解像計算を実行することは、図1のユーザデバイス102によって実行され、サブピクセルオフセットは、図2のOIS移動の結果であり、サブピクセルオフセットを有する複数のフレームは、図3の複数のフレーム306である。
図4に示されるように、複数のフレーム306は、ユーザデバイス102によって実行される超解像計算402に入力される。超解像計算402をサポートするアルゴリズムは、ユーザデバイス102の超解像マネジャー122内に存在することができる。ある例では、ユーザデバイス102(たとえば、複数のプロセッサ116)は、パイプライン処理を使用して超解像計算402の一部分を実行することができる。一般に、超解像計算402は、様々なアルゴリズムおよび技術を使用することができる。
超解像計算402の第1の例は、ガウス半径基底関数(RBF)カーネル計算を含む。ガウスRBFカーネル計算を実行するために、ユーザデバイス102は、色チャネルに対応するそれぞれの色固有画像面外移動を生成するために、複数のフレーム306の各フレームからの画素信号をフィルタリングする。次いで、ユーザデバイス102は、それぞれの色固有画像面外移動を、選択された参照フレームに位置合わせする。
超解像計算402の第1の例を続けると、ガウスRBFカーネル計算は、共分散行列を計算するためにユーザデバイス102が局所勾配構造テンソルを分析することを含み得る。共分散行列を計算することは、以下の数学的関係に依存し得る:
数学的関係(1)において、Ωはカーネル共分散行列を表し、e1およびe2は直交方向ベクトルおよび関連付けられる2つの固有値λ1およびλ2を表し、k1およびk2は所望のカーネル分散を制御する。
局所勾配構造テンソルを計算することは、以下の数学的関係に依存し得る:
数学的関係(2)において、IxおよびIyは、それぞれ水平方向および垂直方向の局所画像勾配を表す。
また、超解像計算402の第1の例の一部として、ユーザデバイス102は、色平均および空間標準偏差計算を含む統計的近隣モデルを使用してロバスト性モデルを計算することができる。ロバスト性モデル計算は、ある例では、色差を補償するためにノイズ除去計算を含み得る。
超解像画像計算402は、複数のフレーム306の各々について(たとえば、フレーム308,310および312について)、それぞれの色面外移動に関連付けられる色チャネルへのピクセルの寄与を推定するのに有効である。
超解像計算402の第1の例を続けると、色面外移動は、正規化計算のための以下の数学的関係を使用して累積され得る:
数学的関係(3)において、xおよびyはピクセル座標を表し、和Σnは寄与フレーム
上(またはそれらの和である)で動作し、和Σiは局所近傍内のサンプルの和であり、cn,iは所与のフレームnおよびサンプルiにおけるバイエルピクセルの値を表し、wn,iは局所サンプル重みを表し、
上(またはそれらの和である)で動作し、和Σiは局所近傍内のサンプルの和であり、cn,iは所与のフレームnおよびサンプルiにおけるバイエルピクセルの値を表し、wn,iは局所サンプル重みを表し、
は局所ロバスト性を表す。累積された色面外移動は、シーンの超解像画像106を作成するために組み合わされてもよい。
超解像計算402の第2の例は、モーションブラーの影響を分析することを含み得る。そのような超解像計算は、量子化誤差に起因するピクセル測定における不確実性に対処する「解のボリューム」計算手法を使用して、複数の画像(たとえば、複数のフレーム306)の被写体ぶれ(motion blur)の影響を分析することができる。
超解像計算402の第3の例は、フレーム再帰手法を使用する計算を含み得る。そのような手法は、以前の低解像度フレームと、以前に計算された高解像度画像と、現在の低解像度フレームとを繰り返し使用して、現在の超解像画像を作成することができる(たとえば、前の低解像度フレームおよび現在の低解像度フレームは、それぞれフレーム308およびフレーム310であり得る)。再帰的手法は、正規化された低解像度フローマップを推定するためのフロー推定と、高解像度フローマップを生成するためにスケーリング係数で低解像度フローマップをアップスケーリングすることと、高解像度フローマップを使用して前の高解像度画像をワープすることと、ワープされた前の高解像度画像を低解像度空間にマッピングすることと、低解像度空間のマッピングを現在の超解像画像に連結することとを含み得る。
図4の超解像計算402はまた、前の例で説明されるもの以外の又は追加の、アルゴリズムおよび技術を使用してもよい。そのようなアルゴリズムおよび技術は、機械学習アルゴリズムおよび技術を含み得る。それにもかかわらず、本開示によれば、カメラシステム112の1つまたは複数の構成要素に移動を導入することは、他のアルゴリズムおよび技術に適用可能である。
例示的な方法
例示的な方法500は、図5を参照して、シーンの超解像画像を生成するための光学画像安定化動作に関連付けられる1つまたは複数の態様に従って説明される。一般に、本明細書で説明される構成要素、モジュール、方法、および動作はいずれも、ソフトウェア、ファームウェア、ハードウェア(例えば、固定論理回路)、手動処理、または、それらの任意の組み合わせを使用して実施され得る。例示的な方法のいくつかの動作は、コンピュータ処理システムに対してローカルおよび/またはリモートであるコンピュータ可読記憶メモリに記憶された実行可能な命令の一般的な文脈で説明され得、また、実施形態は、ソフトウェアアプリケーション、プログラム、関数などを含み得る。代替的にまたは追加的に、本明細書で説明される機能性のいずれかは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SoC)またはCPLD(Complex Programmable Logic
Device)などの、かつ、これらに限定されない、1つまたは複数のハードウェア論理構
成要素によって少なくとも部分的に実行され得る。
例示的な方法500は、図5を参照して、シーンの超解像画像を生成するための光学画像安定化動作に関連付けられる1つまたは複数の態様に従って説明される。一般に、本明細書で説明される構成要素、モジュール、方法、および動作はいずれも、ソフトウェア、ファームウェア、ハードウェア(例えば、固定論理回路)、手動処理、または、それらの任意の組み合わせを使用して実施され得る。例示的な方法のいくつかの動作は、コンピュータ処理システムに対してローカルおよび/またはリモートであるコンピュータ可読記憶メモリに記憶された実行可能な命令の一般的な文脈で説明され得、また、実施形態は、ソフトウェアアプリケーション、プログラム、関数などを含み得る。代替的にまたは追加的に、本明細書で説明される機能性のいずれかは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SoC)またはCPLD(Complex Programmable Logic
Device)などの、かつ、これらに限定されない、1つまたは複数のハードウェア論理構
成要素によって少なくとも部分的に実行され得る。
図5は、シーンの超解像画像を作成することの一部として使用される方法500の例示的な態様を示す。方法500は、実行され得る動作を指定する一組のブロック502~508の形態で説明される。しかしながら、動作が、代替の順序で、完全に若しくは部分的に重複する方法で、又は反復的な方法で、実施され得るように、当該動作は、必ずしも、図5に示される又は本明細書で説明される順序に限定されない。さらに、方法500によって表される動作は、図2~4の要素を使用して図1のユーザデバイス102によって実行されるという文脈において説明されるが、動作(または動作の一部)は、超解像マネジャー122の命令(または命令の一部)を含むサーバまたはクラウドコンピューティングデバイス等のように、計算能力を有する1つまたは複数の他のデバイスによって実行され得る。
ブロック502において、ユーザデバイス102(例えば、OISドライブマネジャー120のコードを実行するプロセッサ116)は、カメラシステム112の1つまたは複数の構成要素に移動を導入する(例えば、OISシステム114は、カメラシステム112に移動を導入する)。ある例では、ユーザデバイス102は、ファインダモードに入ることに応答して移動を導入することができ、他の例では、ユーザデバイス102は、キャプチャコマンドを受信することに応答して移動を導入することができる。移動を導入することは、カメラシステム112の1つまたは複数の構成要素に面内移動を導入すること、又は、面外移動を導入することを含み得る。
ブロック504で、ユーザデバイス102は、カメラシステム112の1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたってシーン306の画像のそれぞれのサブピクセルオフセットを有するシーンの画像のそれぞれの複数のフレーム306をキャプチャする。
ブロック506において、ユーザデバイス102(例えば、超解像マネジャー122の命令を実行するプロセッサ116)は、複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算402を実行する。超解像計算402の例は、(i)ガウス半径基底関数カーネルを計算すること、および、ロバスト性モデルを計算すること、(ii)複数のフレームにわたるモーションブラーの影響を分析すること、および(iii)複数のフレームから、以前の低解像度フレームおよび現在の低解像度フレームを使用して現在の超解像画像を生成するフレーム再帰手法を使用することを含む。
ブロック508において、超解像計算402に基づいて、ユーザデバイス102(例えば、超解像マネジャー122の命令を実行するプロセッサ116)は、シーンの超解像画像106を作成する。
例示的な方法500はまた、シーンの画像の複数のフレームのサンプリングを通じて計算されるカバレッジスコアに基づいて、移動を変更することを含み得る。
本開示は、シーンの超解像画像を生成する光学画像安定化動作を対象とするシステムおよび技術を説明するが、添付の特許請求の範囲の主題は、記載される特定の特徴または方法に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および方法は、シーンの超解像画像を生成する光学画像安定化動作の使用が実施され得る例示的な方法として開示される。
上記の説明に加えて、本明細書で説明されるシステム、プログラム、または特徴がユーザ情報(例えば、ユーザによってキャプチャされた画像、システムによって計算された超解像画像、ユーザのソーシャルネットワーク、社会活動もしくはアクティビティに関する
情報、職業、ユーザの嗜好、またはユーザの現在位置)の収集を可能にし得る場合及び時と、ユーザがサーバからコンテンツまたは通信を送信された場合と、の両方に関して、ユーザが選択することを可能にする制御をユーザに提供することができる。加えて、特定のデータは、個人的に識別可能な情報が取り除かれるように、記憶または使用される前に1つまたは複数の方法で処理されてもよい。例えば、ユーザのアイデンティティは、ユーザのために個人的に識別可能な情報が判別できないように扱われてもよく、または、ユーザの地理的位置は、当該ユーザの特定の位置が判別され得ないように、位置情報が得られた場所(例えば、市、郵便番号、または州のレベル)で一般化されてもよい。したがって、ユーザは、当該ユーザに関してどの情報が収集されるか、その情報がどのように使用されるか、および、どの情報がユーザに提供されるかについて制御することができる。
情報、職業、ユーザの嗜好、またはユーザの現在位置)の収集を可能にし得る場合及び時と、ユーザがサーバからコンテンツまたは通信を送信された場合と、の両方に関して、ユーザが選択することを可能にする制御をユーザに提供することができる。加えて、特定のデータは、個人的に識別可能な情報が取り除かれるように、記憶または使用される前に1つまたは複数の方法で処理されてもよい。例えば、ユーザのアイデンティティは、ユーザのために個人的に識別可能な情報が判別できないように扱われてもよく、または、ユーザの地理的位置は、当該ユーザの特定の位置が判別され得ないように、位置情報が得られた場所(例えば、市、郵便番号、または州のレベル)で一般化されてもよい。したがって、ユーザは、当該ユーザに関してどの情報が収集されるか、その情報がどのように使用されるか、および、どの情報がユーザに提供されるかについて制御することができる。
以下に、いくつかの例が記載される。
例1:シーンの超解像画像を生成するための方法であって、当該方法はユーザデバイスによって実行され、光学画像安定化システムを通して、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入することと、シーンの画像のそれぞれの複数のフレームをキャプチャすることとを備え、当該シーンの画像のそれぞれの複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたって当該シーンの画像のそれぞれのサブピクセルオフセットを有し、複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算を実行することと、超解像計算に基づいてシーンの超解像画像を生成することとを備える。
例1:シーンの超解像画像を生成するための方法であって、当該方法はユーザデバイスによって実行され、光学画像安定化システムを通して、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入することと、シーンの画像のそれぞれの複数のフレームをキャプチャすることとを備え、当該シーンの画像のそれぞれの複数のフレームは、カメラシステムの1つまたは複数の構成要素に導入された移動の結果として、複数のフレームにわたって当該シーンの画像のそれぞれのサブピクセルオフセットを有し、複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて、超解像計算を実行することと、超解像計算に基づいてシーンの超解像画像を生成することとを備える。
例2:例1に記載の方法であって、カメラシステムの1つまたは複数の構成要素に当該移動を導入することは、ファインダモードに入ることに応答して行われる。
例3:例1に記載の方法であって、カメラシステムの1つまたは複数の構成要素に当該移動を導入することは、キャプチャコマンドの受信に応答して行われる。
例4:例1~3のいずれか1つに記載の方法であって、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入することは、カメラシステムの1つまたは複数の構成要素に面内移動を導入することを含み、当該面内移動は、2つの軸によって規定される面外移動に含まれる移動である。
例5:例1~4のいずれかに記載の方法であって、ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入することは、カメラシステムの1つまたは複数の構成要素に面外移動を導入することを含み、当該面外移動は、2つの軸によって規定される面外移動の外側の移動である。
例6:例1~5のいずれかに記載の方法であって、超解像計算を実行することは、ガウス半径基底関数カーネルを計算することと、ロバスト性モデルを計算することとを含む。
例7:例1~6のいずれか1つに記載の方法であって、超解像計算を実行することは、複数のフレームにわたる被写体ぶれの影響を分析することを含む。
例8:例1~7のいずれか1つに記載の方法であって、超解像を実行することは、現在の超解像画像を生成するために、複数のフレームから前の低解像度フレームおよび現在の低解像度フレームを使用するフレーム再帰手法を使用する。
例9:実施例1~8のいずれか1つに記載の方法であって、追加のまたは補助的な移動は、当該シーンの画像の複数のフレームのサンプリングを通じて計算されるカバレッジス
コアに基づいて、カメラシステムの1つまたは複数の構成要素に導入される。
コアに基づいて、カメラシステムの1つまたは複数の構成要素に導入される。
例10:ユーザデバイスであって、カメラシステムと、光学画像安定化システムと、1つまたは複数のプロセッサと、ディスプレイと、光学画像安定化システムドライブマネジャーアプリケーションおよび超解像マネジャーアプリケーションの命令を記憶するコンピュータ可読記憶媒体とを備え、当該命令は、当該1つまたは複数のプロセッサによって実行されると、補助的機能を実行して、当該ユーザデバイスに、当該1つまたは複数のプロセッサがコマンドを受信するように指示し、当該コマンドは当該ユーザデバイスに、シーンの画像を取り込むことと、受信されたコマンドに基づいて、かつ、光学画像安定化システムを通して、当該シーンの画像のキャプチャ中にカメラシステムの1つまたは複数の構成要素に移動を導入することとを指示し、当該導入された動きは、複数のフレームにわたる画像のそれぞれのサブピクセルオフセットを有するシーンの画像のそれぞれの複数のフレームのキャプチャをもたらし、当該コマンドは当該ユーザデバイスに、当該1つまたは複数のプロセッサが複数のフレームにわたるシーンの画像のそれぞれのサブピクセルオフセットに基づいて超解像計算を実行することと、当該1つまたは複数のプロセッサが超解像計算に基づいてシーンの超解像画像を生成することと、シーンの超解像画像をディスプレイでレンダリングることとを指示する。
例11:例10に記載のユーザデバイスであって、当該ユーザデバイスは、静的な動き状態を検出する1つまたは複数のモーションセンサをさらに含む。
例12:例11に記載のユーザデバイスであって、当該静的な動き状態を検出することは、当該ユーザデバイスに、当該光学画像安定化システムを介して、当該カメラシステムの1つまたは複数の構成要素に、同期されていない移動を導入させる。
例13:例10に記載のユーザデバイスであって、当該ユーザデバイスは、動的な動き状態を検出する1つまたは複数のモーションセンサをさらに含む。
例14:例13に記載のユーザデバイスであって、動的な動き状態を検出することは、当該ユーザデバイスに、光学画像安定化システムを介して、カメラシステムの1つまたは複数の構成要素に、同期された移動を導入させる。
例15:例1~9のいずれかに記載の方法を実行するための手段を提供するシステム。
例16:例1~9のいずれかに記載の方法を実行するように構成されたユーザデバイス。
例16:例1~9のいずれかに記載の方法を実行するように構成されたユーザデバイス。
例17:命令を含むコンピュータ可読記憶媒体であって、当該命令は実行されると、例1~9のいずれかに記載の方法を実行するようにプロセッサを構成する。
Claims (15)
- シーンの超解像画像を生成するための方法であって、前記方法はユーザデバイスによって実行され、
光学画像安定化システムを通して、前記ユーザデバイスのカメラシステムの1つまたは複数の構成要素に移動を導入するステップと、
前記シーンの画像のそれぞれの複数のフレームをキャプチャするステップとを備え、前記シーンの前記画像の前記それぞれの複数のフレームは、前記カメラシステムの前記1つまたは複数の構成要素に導入された移動の結果として、前記複数のフレームにわたる前記シーンの前記画像のそれぞれのサブピクセルオフセットを有し、前記方法は、
前記複数のフレームにわたる前記シーンの前記画像の前記それぞれのサブピクセルオフセットに基づいて、超解像計算を実行するステップと、
前記超解像計算に基づいて、前記シーンの前記超解像画像を生成するステップとをさらに含む、方法。 - 前記カメラシステムの前記1つまたは複数の構成要素に移動を導入することは、ファインダモードに入ることに応答して行われる、請求項1に記載の方法。
- 前記カメラシステムの前記1つまたは複数の構成要素に移動を導入することは、キャプチャコマンドの受信に応答して行われる、請求項1に記載の方法。
- 前記ユーザデバイスの前記カメラシステムの前記1つまたは複数の構成要素に移動を導入することは、前記カメラシステムの前記1つまたは複数の構成要素に面内移動を導入することを含み、前記面内移動は、2つの軸によって規定される面外移動に含まれる移動である、請求項1~3のいずれかに記載の方法。
- 前記ユーザデバイスの前記カメラシステムの前記1つまたは複数の構成要素に移動を導入することは、前記カメラシステムの前記1つまたは複数の構成要素に面外移動を導入することを含み、前記面外移動は、2つの軸によって規定される面外移動の外側の移動である、請求項1~4のいずれかに記載の方法。
- 前記超解像計算を実行するステップは、
ガウス半径基底関数カーネルを計算することと、
ロバスト性モデルを計算することとを含む、請求項1~5のいずれかに記載の方法。 - 前記超解像計算を実行することは、前記複数のフレームにわたる被写体ぶれの影響を解析することを含む、請求項1~6のいずれかに記載の方法。
- 前記超解像計算を実行することは、前記複数のフレームから、以前の低解像度フレームおよび現在の低解像度フレームを使用して現在の超解像画像を生成するフレーム再帰手法を使用する、請求項1~7のいずれかに記載の方法。
- 前記シーンの前記画像の前記複数のフレームのサンプリングを通じて計算されるカバレッジスコアに基づいて、追加のまたは補助的な移動は、前記カメラシステムの前記1つまたは複数の構成要素に導入される、請求項1~8のいずれかに記載の方法。
- ユーザデバイスであって、
カメラシステムと、
光学画像安定化システムと、
1つまたは複数のプロセッサと、
ディスプレイと、
光学画像安定化システムドライブマネジャーアプリケーションおよび超解像マネジャーアプリケーションの命令を記憶するコンピュータ可読記憶媒体とを備え、前記命令は、前記1つまたは複数のプロセッサによって実行されると、補助的機能を実行して、前記ユーザデバイスに、
前記1つまたは複数のプロセッサが、シーンの画像をキャプチャするように前記ユーザデバイスに指示するコマンドを受信することと、
前記受信されたコマンドに基づいて、前記光学画像安定化システムを通して、前記シーンの前記画像の前記キャプチャ中に前記カメラシステムの1つまたは複数の構成要素に移動を導入することとを指示し、前記導入された動きは、複数のフレームにわたる前記画像のそれぞれのサブピクセルオフセットを有する前記シーンの前記画像のそれぞれの前記複数のフレームのキャプチャをもたらし、前記命令は前記ユーザデバイスに、
前記1つまたは複数のプロセッサが、前記複数のフレームにわたる前記シーンの前記画像の前記それぞれのサブピクセルオフセットに基づいて、超解像計算を実行することと、
前記1つまたは複数のプロセッサが、前記超解像計算に基づいて、前記シーンの超解像画像を生成することと、
前記ディスプレイが、前記シーンの前記超解像画像をレンダリングすることとをさらに指示する、ユーザデバイス。 - 前記ユーザデバイスは、静的な動き状態を検出する1つまたは複数のモーションセンサをさらに含む、請求項10に記載のユーザデバイス。
- 前記静的な動き状態を検出することは、前記ユーザデバイスに、前記光学画像安定化システムを介して前記カメラシステムの1つまたは複数の構成要素に、同期していない移動を導入させる、請求項11に記載のユーザデバイス。
- 前記ユーザデバイスは、動的な動き状態を検出する1つまたは複数のモーションセンサをさらに備える、請求項10に記載のユーザデバイス。
- 前記動的な動き状態の検出は、前記ユーザデバイスに、前記光学画像安定化システムを介して前記カメラシステムの1つまたは複数の構成要素に、同期された移動を導入させる、請求項13に記載のユーザデバイス。
- 請求項1~9のいずれかに記載の方法を実行するための手段を提供するシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862716346P | 2018-08-08 | 2018-08-08 | |
US62/716,346 | 2018-08-08 | ||
JP2021506479A JP7271653B2 (ja) | 2018-08-08 | 2019-08-06 | シーンの超解像画像を生成するための光学画像の安定化動作 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506479A Division JP7271653B2 (ja) | 2018-08-08 | 2019-08-06 | シーンの超解像画像を生成するための光学画像の安定化動作 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023100754A true JP2023100754A (ja) | 2023-07-19 |
Family
ID=67688834
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506479A Active JP7271653B2 (ja) | 2018-08-08 | 2019-08-06 | シーンの超解像画像を生成するための光学画像の安定化動作 |
JP2023072234A Pending JP2023100754A (ja) | 2018-08-08 | 2023-04-26 | シーンの超解像画像を生成するための光学画像の安定化動作 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506479A Active JP7271653B2 (ja) | 2018-08-08 | 2019-08-06 | シーンの超解像画像を生成するための光学画像の安定化動作 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11611697B2 (ja) |
JP (2) | JP7271653B2 (ja) |
KR (3) | KR102612530B1 (ja) |
CN (2) | CN115018701A (ja) |
DE (1) | DE112019003972T5 (ja) |
WO (1) | WO2020033427A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102612530B1 (ko) | 2018-08-08 | 2023-12-11 | 구글 엘엘씨 | 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 |
WO2021180294A1 (en) * | 2020-03-09 | 2021-09-16 | Huawei Technologies Co., Ltd. | Imaging device and method for efficient capture of stationary objects |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
CN112634160A (zh) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | 拍照方法及装置、终端、存储介质 |
US11880902B2 (en) | 2020-12-30 | 2024-01-23 | Waymo Llc | Systems, apparatus, and methods for enhanced image capture |
GB2614448A (en) * | 2021-12-31 | 2023-07-05 | Cambridge Mechatronics Ltd | Actuator arrangement |
US11605153B1 (en) * | 2022-01-03 | 2023-03-14 | Microsoft Technology Licensing, Llc | Generate super-resolution images from sparse color information |
US11676250B1 (en) * | 2022-01-03 | 2023-06-13 | Microsoft Technology Licensing, Llc | Use motion data to generate higher resolution images |
CN115396596B (zh) * | 2022-08-15 | 2023-06-30 | 上海交通大学 | 一种超分辨率图像成像方法、装置及存储介质 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771304B1 (en) * | 1999-12-31 | 2004-08-03 | Stmicroelectronics, Inc. | Perspective correction device for panoramic digital camera |
US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
KR100630557B1 (ko) | 2004-12-28 | 2006-09-29 | 주식회사 팬택 | 큐카메라를 이용하는 이동 통신 단말기에서의 오에스디제공 방법 |
JP2007057998A (ja) * | 2005-08-26 | 2007-03-08 | Fujifilm Corp | 撮影装置 |
US8306121B2 (en) * | 2008-03-17 | 2012-11-06 | Ati Technologies Ulc | Method and apparatus for super-resolution of images |
US7941004B2 (en) | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
US8477217B2 (en) | 2008-06-30 | 2013-07-02 | Sony Corporation | Super-resolution digital zoom |
US20100102606A1 (en) | 2008-10-24 | 2010-04-29 | Chih Chiang Wang | Chair Structure |
US8111300B2 (en) | 2009-04-22 | 2012-02-07 | Qualcomm Incorporated | System and method to selectively combine video frame image data |
JP5523017B2 (ja) * | 2009-08-20 | 2014-06-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US8390724B2 (en) * | 2009-11-05 | 2013-03-05 | Panasonic Corporation | Image capturing device and network camera system |
US20120069238A1 (en) * | 2010-09-16 | 2012-03-22 | Panasonic Corporation | Image capturing device |
US8594464B2 (en) * | 2011-05-26 | 2013-11-26 | Microsoft Corporation | Adaptive super resolution for video enhancement |
US9124797B2 (en) * | 2011-06-28 | 2015-09-01 | Microsoft Technology Licensing, Llc | Image enhancement via lens simulation |
BR112014028274A2 (pt) | 2012-05-14 | 2017-07-18 | Guido Meardi | decomposição de dados residuais durante a codificação, decodificação e reconstrução do sinal em uma hierarquia em níveis |
JP5901781B2 (ja) * | 2012-09-19 | 2016-04-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US9288395B2 (en) * | 2012-11-08 | 2016-03-15 | Apple Inc. | Super-resolution based on optical image stabilization |
US9635246B2 (en) * | 2013-06-21 | 2017-04-25 | Qualcomm Incorporated | Systems and methods to super resolve a user-selected region of interest |
US9478010B2 (en) | 2013-12-12 | 2016-10-25 | Google Technology Holdings LLC | Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined |
US9654693B2 (en) * | 2014-10-29 | 2017-05-16 | Gvbb Holdings S.A.R.L. | Degradation control of display pixels for a high definition display |
US9426362B2 (en) * | 2015-01-16 | 2016-08-23 | Mems Drive, Inc. | Three-axis OIS for super-resolution imaging |
JP5914716B1 (ja) * | 2015-02-19 | 2016-05-11 | オリンパス株式会社 | 撮像装置 |
US20170171456A1 (en) | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
KR102449354B1 (ko) * | 2016-02-04 | 2022-09-30 | 삼성전기주식회사 | 이미지 안정화 모듈 및 카메라 모듈 |
US10038849B2 (en) * | 2016-03-16 | 2018-07-31 | Panasonic Intellectual Property Mangement Co., Ltd. | Imaging device with controlled timing of images to be synthesized based on shake residual |
CN106357957A (zh) * | 2016-10-20 | 2017-01-25 | 西安应用光学研究所 | 基于亚像素相位相关检测的快速反射镜稳像装置及方法 |
KR102523762B1 (ko) * | 2018-06-20 | 2023-04-20 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 이용하는 카메라 모듈 |
KR102612530B1 (ko) | 2018-08-08 | 2023-12-11 | 구글 엘엘씨 | 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 |
US20210304359A1 (en) | 2018-08-09 | 2021-09-30 | Google Llc | Super-Resolution Using Natural Handheld-Motion Applied to a User Device |
-
2019
- 2019-08-06 KR KR1020237008081A patent/KR102612530B1/ko active IP Right Grant
- 2019-08-06 DE DE112019003972.5T patent/DE112019003972T5/de active Pending
- 2019-08-06 KR KR1020217003928A patent/KR102471595B1/ko active IP Right Grant
- 2019-08-06 WO PCT/US2019/045334 patent/WO2020033427A1/en active Application Filing
- 2019-08-06 CN CN202210535222.8A patent/CN115018701A/zh active Pending
- 2019-08-06 CN CN201980045299.3A patent/CN112369009B/zh active Active
- 2019-08-06 US US17/263,743 patent/US11611697B2/en active Active
- 2019-08-06 KR KR1020227041057A patent/KR102509466B1/ko active IP Right Grant
- 2019-08-06 JP JP2021506479A patent/JP7271653B2/ja active Active
-
2023
- 2023-03-15 US US18/184,179 patent/US12010440B2/en active Active
- 2023-04-26 JP JP2023072234A patent/JP2023100754A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230224596A1 (en) | 2023-07-13 |
US12010440B2 (en) | 2024-06-11 |
DE112019003972T5 (de) | 2021-05-20 |
US11611697B2 (en) | 2023-03-21 |
CN112369009B (zh) | 2022-06-07 |
KR20220162861A (ko) | 2022-12-08 |
KR20230038316A (ko) | 2023-03-17 |
US20210374909A1 (en) | 2021-12-02 |
CN115018701A (zh) | 2022-09-06 |
KR102612530B1 (ko) | 2023-12-11 |
JP2021533660A (ja) | 2021-12-02 |
CN112369009A (zh) | 2021-02-12 |
WO2020033427A1 (en) | 2020-02-13 |
KR102471595B1 (ko) | 2022-11-28 |
JP7271653B2 (ja) | 2023-05-11 |
KR20210027479A (ko) | 2021-03-10 |
KR102509466B1 (ko) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7271653B2 (ja) | シーンの超解像画像を生成するための光学画像の安定化動作 | |
US10911680B2 (en) | Method and system of geolocation and attitude correction for mobile rolling shutter cameras | |
WO2020253618A1 (zh) | 一种视频抖动的检测方法及装置 | |
US20170054895A1 (en) | Smart image sensor having integrated memory and processor | |
CN113556464B (zh) | 拍摄方法、装置及电子设备 | |
KR20210051242A (ko) | 멀티 렌즈 영상 복원 장치 및 방법 | |
JP7490100B2 (ja) | ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像 | |
WO2023005355A1 (zh) | 图像防抖方法与电子设备 | |
WO2018066705A1 (ja) | スマートフォン | |
WO2018219274A1 (zh) | 降噪处理方法、装置、存储介质及终端 | |
JP2020136774A (ja) | 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム | |
CN112384945B (zh) | 使用应用于用户设备的自然手持运动的超分辨率 | |
JP7164873B2 (ja) | 画像処理装置及びプログラム | |
JP2018072941A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
KR102209908B1 (ko) | 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법 | |
CN116342992A (zh) | 图像处理方法和电子设备 | |
CN115423873A (zh) | 图像生成方法、装置、设备及介质 | |
JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
TW201424366A (zh) | 滾動快門的校正方法與影像處理裝置 | |
CN117745528A (zh) | 图像处理方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |