JP2016533105A - オートフォーカスフィードバックを使用するステレオヨー補正 - Google Patents
オートフォーカスフィードバックを使用するステレオヨー補正 Download PDFInfo
- Publication number
- JP2016533105A JP2016533105A JP2016534606A JP2016534606A JP2016533105A JP 2016533105 A JP2016533105 A JP 2016533105A JP 2016534606 A JP2016534606 A JP 2016534606A JP 2016534606 A JP2016534606 A JP 2016534606A JP 2016533105 A JP2016533105 A JP 2016533105A
- Authority
- JP
- Japan
- Prior art keywords
- autofocus
- depth
- image data
- imaging sensor
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
オートフォーカスフィードバックを使用して立体視画像センサーペアのステレオヨーを補正するためのシステムおよび方法が開示される。画像センサーペアの各センサーによってキャプチャされた画像間の物体のディスパリティから画像中の物体のステレオ深度が推定される。オートフォーカスレンズ位置から、物体までのオートフォーカス深度が見つけられる。ステレオ深度とオートフォーカス深度との間の差が非０である場合、ステレオ深度と物体までのオートフォーカス深度とが実質的に同じになるまで、画像のうちの１つがワープされ、ディスパリティが再計算される。【選択図】 図３
Description
[0001]本実施形態は、イメージングデバイスに関し、詳細には、立体視（stereoscopic）画像センサーの不整合を補正するためのシステム、方法、および装置に関する。
[0002]デジタルイメージング能力は、現在、デジタルカメラおよびモバイルフォンを含む、広範囲のデバイスに組み込まれている。そのようなデバイスは、立体視「３Ｄ」画像をキャプチャするための機能を含み得る。デバイス製造業者は、単一または複数のデジタルイメージングセンサーを利用して立体視画像をキャプチャすることをサポートするためにデジタル画像処理を組み込んだデバイスを導入することによって消費者に応えてきた。モバイルワイヤレス通信デバイス、携帯情報端末（ＰＤＡ）、パーソナル音楽システム、デジタルカメラ、デジタル記録デバイス、ビデオ会議システムなどを含む、広範囲の電子デバイスは、それらのユーザに様々な能力および特徴を提供するために立体視イメージング能力を利用し得る。これらは、３Ｄ写真およびビデオなどの立体視イメージングアプリケーションを含む。
[0003]立体視データ再生を閲覧者にとって快適にするために、イメージングセンサーが完全に整合されたまたはほぼ整合された、デジタルシステムを提供することが望ましい。これは、そのような画像を閲覧することに伴う眼精疲労および他の問題を低減する立体視画像を提供するために、各イメージングセンサーによってキャプチャされた個々の画像がより完全に整合されることを可能にする。しかしながら、立体視画像ペアのこの「完全な」画像整合は、重力、熱、機械的アセンブリ、および使用中の損傷により時間とともにドリフトし得る。これらのセンサー整合不完全は、存在するとき、特に補正されない限り、閲覧者に視覚不快感をもたらし得る非整合画像のキャプチャにつながり得る。ある場合には、ヨー（yaw）におけるドリフトが深度測定誤差を生じる。他の場合には、オートフォーカス精度が経年的にドリフトし始める。どちらの場合も、正確な深度測定値と改善された立体視画像品質とを与えるために不整合の補正が望まれる。
[0004]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。本明細書で説明する革新、態様および特徴の組合せは、システム、方法、およびデバイスの様々な実施形態に組み込まれ得、そのような組合せは、本明細書で説明する実施形態の例によって制限されない。
[0005]実施形態のいくつかは、立体視画像センサーのペアを備えるイメージングデバイスと制御モジュールとを含む、立体視画像センサーペアのヨー補正を実行するためのシステムを含み得る。制御モジュールは、センサーペアを用いて物体の１つまたは複数の画像をキャプチャすることと、１つまたは複数の画像から物体のディスパリティ（disparity）を決定することと、１つまたは複数の画像から物体の立体視深度を推定することと、立体視画像センサーペアのオートフォーカスレンズ位置を設定することと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行することと、高周波オートフォーカス位置からオートフォーカス深度を推定することと、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正することとを行うように構成され得る。
[0006]いくつかの実施形態は、オートフォーカスフィードバックを使用する立体視画像センサーペアのヨー補正のための方法を含み得る。一態様では、本方法は、立体視画像センサーペアを与えるステップと、センサーペアを用いて物体の１つまたは複数の画像をキャプチャするステップとを含み得る。本方法は、１つまたは複数の画像から物体のディスパリティを決定することと、１つまたは複数の画像から物体の立体視深度を推定することと、立体視画像センサーペアのオートフォーカスレンズ位置を設定することと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行することと、高周波オートフォーカス位置からオートフォーカス深度を推定することと、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正することとをさらに含む。
[0007]別の実施形態では、オートフォーカスフィードバックを使用する立体視画像センサーペアのオートフォーカスレンズ位置補正のための方法は、立体視画像センサーペアを与えるステップと、センサーペアを用いて物体の１つまたは複数の画像をキャプチャするステップと、１つまたは複数の画像から物体のディスパリティを決定するステップと、１つまたは複数の画像から物体の立体視深度を推定するステップと、立体視画像センサーペアのオートフォーカスレンズ位置を設定するステップと、高周波オートフォーカス位置を決定するために物体に関してオートフォーカス機能を実行するステップと、高周波オートフォーカス位置からオートフォーカス深度を推定するステップと、オートフォーカス深度と立体視深度との間の差を使用してオートフォーカスレンズ位置を補正するステップとを含み得る。
[0008]一態様は、第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと制御モジュールとを含む、イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムに関する。制御モジュールは、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、第１の画像データと第２の画像データとを使用して物体の第１の深度を推定することと、イメージングデバイスのオートフォーカスレンズ位置から物体の第２の深度を推定することと、第１の深度と第２の深度とを比較することと、第１の深度と第２の深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正することとを行うように構成され得る。制御モジュールは、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定するようにさらに構成され得る。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の第１の深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することによって立体視深度推定値を決定することを含む。いくつかの態様では、制御モジュールは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行するようにさらに構成され得る。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体の第２の深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、制御モジュールは、第１の深度と第２の深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワープ（warp）するようにさらに構成され得る。
[0009]別の態様では、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するステップとを含む。いくつかの態様では、本方法は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定することをさらに含む。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の立体視深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することを含む。いくつかの態様では、本方法は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、本方法は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピング（warping）することをさらに含む。
[0010]また別の態様では、オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するステップとを含む。いくつかの態様では、物体の立体視深度を推定することは、第１の画像データおよび第２の画像データから物体のディスパリティを決定することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置を設定することは、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置を補正することは、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することをさらに含む。
[0011]いくつかの態様では、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための装置は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするための手段と、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することによって、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するための手段と、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとによって、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するための手段と、立体視深度とオートフォーカス深度とを比較するための手段と、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するための手段とを含む。
[0012]別の態様では、オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするための手段と、第１の画像データおよび第２の画像データから物体のディスパリティを決定することによって、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するための手段と、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することによってイメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するための手段と、立体視深度とオートフォーカス深度とを比較するための手段と、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するための手段とを含む。いくつかの態様では、本装置は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定するための手段をさらに含む。いくつかの態様では、本装置は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行するための手段をさらに含む。いくつかの態様では、本装置は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピングするための手段をさらに含む。いくつかの態様では、本装置は、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに含む。
[0013]また別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する。本方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、立体視深度とオートフォーカス深度との間の差を使用して、第１のイメージングセンサーと第２のイメージングセンサーとの間の不整合を推定し、補正するステップとを含む。いくつかの態様では、本方法は、第１の画像データと第２の画像データとを比較することによって物体のディスパリティを決定することをさらに含む。いくつかの態様では、第１の画像データと第２の画像デートとを使用して物体の立体視深度を推定することは、第１の画像データと第２の画像データの両方中にある物体のキーポイントを比較することを含む。ある態様では、本方法は、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、イメージングデバイスが物体に合焦している間にオートフォーカス機能を実行することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を設定するために、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することと、オートフォーカスレンズ位置からオートフォーカス深度を推定することとを含む。いくつかの態様では、本方法は、立体視深度とオートフォーカス深度との間の差が０でない場合、物体のディスパリティを低減するために第１の画像データおよび第２の画像データのうちの１つをワーピングすることをさらに含む。
[0014]また別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正する方法を実行させる命令を記憶する。本方法は、第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするステップと、第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャするステップと、第１の画像データと第２の画像データとを使用して物体の立体視深度を推定するステップと、イメージングデバイスのオートフォーカスレンズ位置から物体のオートフォーカス深度を推定するステップと、立体視深度とオートフォーカス深度とを比較するステップと、オートフォーカス深度と立体視深度との間の差を使用してイメージングデバイスのオートフォーカスレンズ位置を補正するステップとを含む。いくつかの態様では、物体の立体視深度を推定することは、第１の画像データおよび第２の画像データから物体のディスパリティを決定することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置から物体のオートフォーカス深度を推定することは、第１のイメージングセンサーおよび第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、物体に関してオートフォーカス機能を実行することをさらに含む。いくつかの態様では、オートフォーカスレンズ位置を設定することは、高周波マップを使用して第１のイメージングセンサーおよび第２のイメージングセンサーの焦点位置を決定することをさらに含む。いくつかの態様では、イメージングデバイスのオートフォーカスレンズ位置を補正することは、オートフォーカス深度と立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することをさらに含む。
[0015]開示する態様について、開示する態様を限定するためにではなく、例示するために与える、添付の図面とともに以下で説明し、同様の表示は同様の要素を示す。
[0025]いくつかの視覚実験は、最小の不快感または負担とともに（本明細書では「ステレオ画像」、「立体視画像」または「立体視画像ペア」と呼ぶことがある）立体視像に基づく３次元（３Ｄ）プレゼンテーションを見るために、ステレオ画像をキャプチャするために使用される「左」デジタルセンサーと「右」デジタルセンサーとが互いと適切に整合されるべきであることを示している。たとえば、２つのデジタルセンサーの光（または検知）軸は、平行または実質的に平行であるように光学的に整合され得、たとえば、それらは、キャプチャされた画像のデジタル編集によってより容易に補正される、知られているまたは容易に決定される水平または垂直方向シフトだけ異なるにすぎない。画像の望ましい立体視効果および可溶性のために、立体視センサーペア中のイメージングセンサー間の水平距離は、いくつかの例では、約３．２５ｃｍである。さらに、好ましくは、ペア中のセンサー間に比較的小さい水平または垂直方向シフトのみがある。しかしながら、実際には、整合された平行イメージングセンサーを取得することは、機械的取付制限、整合測定デバイス、重力および／またはセンサーへの熱影響により、しばしば達成不可能である。したがって、本明細書で説明するいくつかの実施形態は、ヨー方向におけるセンサードリフトに主に起因する立体視イメージングセンサーの深度測定誤差を補正するためのシステムおよび方法を提供する。
[0026]デジタル画像処理を通した立体視画像の較正は、画像のペアがキャプチャされた後にそれらを整合させることを必要とし得る。いくつかの方法は、整合された画像を生成するために立体視画像ペアをデジタル的に処理し得る。立体視画像を整合させることは、たとえば、立体視画像ペアの画像間の水平（ｘ軸）または垂直（ｙ軸）方向シフトを補正するために一方または両方の画像をクロップすることを含み得る。立体視画像ペアの２つの画像は「ｚ」軸の周りで不整合されることもあり、これは、一方のイメージングセンサーが他方のイメージングセンサーよりも画像化されているシーンにわずかに近いときに起こる。クロッピングは、ｘ、ｙ、またはｚ軸の周りの画像の回転による不整合を補正するためにも必要とされ得る。最後に、クロッピングは、立体視画像ペア中の２つの画像の収束ポイントを調整するためにも必要とされ得る。
[0027]上記で説明した２次元ｘ、ｙおよびｚオフセットに加えて、イメージングセンサーのペアの相対位置はまた、角運動の３つの軸とシフトの３つの軸とを測定することによって表され得る。本開示では、ｘ、ｙ、およびｚ軸上の位置は相対シフトを表す。角回転は、「ピッチ」とも呼ばれる水平（ｘ）軸の周りの回転と、「ロール」として知られる垂直（ｙ）軸の周りの回転と、（ｚ）軸の周りの回転または「ヨー」とによって表され得る。
[0028]立体視カメラのいくつかの構成は、一方のセンサーが低解像度画像センサーであり、他方のセンサーが高解像度画像センサーである、非対称センサーを有し得る。製造中に、センサーは、センサー画像が平行になるように較正される。しかしながら、高品質オートフォーカスシステムをもつカメラなど、いくつかの構成では、カメラレンズ位置は、重力、熱、機械的アセンブリ問題、または損傷により緩やかにドリフトする。特にヨー位置におけるレンズ位置ドリフトは深度測定誤差を生じることがある。いくつかの構成では、２つのイメージングセンサー間のヨー角差の推定が、深度測定値を補正するために使用され得る。
[0029]低品質オートフォーカスシステムをもつカメラなど、他の構成では、オートフォーカス精度は、構成要素の損傷、または構成要素を形成するために使用された経年変化材料により、時間とともにドリフトすることがある。いくつかの構成では、ステレオイメージングセンサーを使用して推定されたシーン中の物体の距離または深度測定値は、デバイス中のオートフォーカスシステムを使用することによって決定されたオートフォーカス深度推定値よりも良好である。したがって、いくつかの構成では、ステレオイメージングセンサーを使用して推定された深度が、オートフォーカスレンズ位置を補正するために使用され得る。深度誤差測定値を補正し、イメージングセンサーのオートフォーカスレンズ位置を調整するために、特殊チャートまたはターゲットは必要とされないことがある。多くの場合、補正を実行するためにユーザ入力は必要とされない。さらに、いくつかの実施形態では、キーポイント検出およびマッチングなど、ステレオ画像の画像処理は必要とされないことがある。さらに、オートフォーカス探索空間は概して小さく、ヨードリフトは概して小さいので、以下で説明するプロセスは、高速であり、リアルタイムで動作する。
システム概観
[0030]図１Ａに、イメージングデバイス１５０によって実行される深度誤差測定値を補正するために使用され得るシステム１００の一実施形態の概略図を示す。図示されたシステム１００は、２つのイメージングセンサー１０５および１１０を含むイメージングデバイス１５０を含む。２つのイメージンセンサー１１０および１０５は、本明細書ではセンサーの「ペア」、または「左」および「右」センサーと呼ぶことがある。イメージングセンサー１０５および１１０は、光をキャプチャし、その光を電気信号に変換することができる任意のタイプのセンサーであり得る。いくつかの構成では、イメージングセンサー１０５および１１０は電荷結合デバイス（ＣＣＤ：charge-coupled device）またはＣＭＯＳセンサーであり得る。図示の実施形態では、イメージングセンサー１０５および１１０は、それらが物体（またはシーン）の立体視画像をキャプチャすることができるように、イメージングデバイス１５０上に互いに隣接して取り付けられている。イメージングセンサー１１０および１０５は、同じ解像度または異なる解像度の画像をキャプチャするように構成され得る。
システム概観
[0030]図１Ａに、イメージングデバイス１５０によって実行される深度誤差測定値を補正するために使用され得るシステム１００の一実施形態の概略図を示す。図示されたシステム１００は、２つのイメージングセンサー１０５および１１０を含むイメージングデバイス１５０を含む。２つのイメージンセンサー１１０および１０５は、本明細書ではセンサーの「ペア」、または「左」および「右」センサーと呼ぶことがある。イメージングセンサー１０５および１１０は、光をキャプチャし、その光を電気信号に変換することができる任意のタイプのセンサーであり得る。いくつかの構成では、イメージングセンサー１０５および１１０は電荷結合デバイス（ＣＣＤ：charge-coupled device）またはＣＭＯＳセンサーであり得る。図示の実施形態では、イメージングセンサー１０５および１１０は、それらが物体（またはシーン）の立体視画像をキャプチャすることができるように、イメージングデバイス１５０上に互いに隣接して取り付けられている。イメージングセンサー１１０および１０５は、同じ解像度または異なる解像度の画像をキャプチャするように構成され得る。
[0031]図１Ａは、イメージングデバイス１５０に結合され、イメージングデバイス１５０とデータ通信している、画像解析システム１１５をも示している。画像解析システム１１５の一例について図２に関してさらに説明する。いくつかの実装形態では、画像解析システム１１５は、イメージングデバイス１５０とともに格納され得るが、他の実装形態では、イメージングデバイス１５０と画像解析システム１１５とは別々に格納される。たとえば、画像解析システム１１５は、イメージングデバイス１５０に組み込まれ得るか、または別個のシステムであり得る。画像解析システム１１５は、イメージングデバイス１５０上に取り付けられたイメージングセンサー１０５および１１０の相対位置を決定することと、画像補正情報、たとえば、深度測定誤差補正ならびにヨーによるイメージングセンサー１０５および１１０のディスパリティドリフトによって引き起こされた水平および垂直方向ディスパリティの補正を決定しおよび／または与えることとを行うように構成され、動作可能であり得る。いくつかの実施形態では、画像解析システムは、画像解析システムとイメージングデバイスとの間で情報を通信するためにイメージングデバイスに結合される。結合は、たとえば、ワイヤードまたはワイヤレス接続を介して行われ得る。
[0032]図１Ｂおよび図１Ｃに、イメージングデバイス１５０の一部として取り付けられたイメージングセンサー１０５および１１０を示す。図１Ｂは、ヨー軸の周りのセンサー１０５のヨー角回転を示している。図１Ｃは、（角度Ａによって示されるように）ヨー角ドリフトを受けており、したがってイメージングセンサー１１０とはわずかに異なる方向を向いた、イメージングセンサー１０５を示している。角度Ａは、イメージングセンサー１１０とイメージングセンサー１０５との間のヨー角ディスパリティを示している。図１Ｂおよび図１Ｃは、隣り合わせに配置されたイメージングセンサー１０５および１１０のセットを示している。しかしながら、イメージングセンサー１０５および１１０は、左右、上下、または斜めを含む、任意の向きにあり得る。さらに、一方のイメージングセンサー１０５は、角度Ａによって示されるようにイメージングセンサー１１０からのヨーディスパリティを有することが示されている。他の実施形態では、イメージングセンサー１１０がイメージングセンサー１０５からのヨーディスパリティを有し得る。
[0033]図２に、イメージングセンサー１０５および１１０と通信しているプロセッサ１２２を含む構成要素のセットを有する画像解析システム１１５の一実施形態のブロック図を示す。画像解析システム１１５は、たとえば、図示された構成要素の明快のために図２に示されていない追加の構成要素を含み得る。画像解析システム１１５はまた、プロセッサ１２２と同じく通信しているワーキングメモリ１３０と、ストレージ１３５と、電子ディスプレイ１２５と、メモリ１２０とを含む。
[0034]画像解析システム１１５は、デスクトップパーソナルコンピュータなどの固定デバイスであり得、またはそれはモバイルデバイスであり得る。画像解析システム１１５上で、複数のアプリケーションがユーザにとって利用可能であり得る。これらのアプリケーションは、旧来の写真アプリケーション、高ダイナミックレンジイメージング、パノラマビデオ、あるいは３Ｄ画像または３Ｄビデオなどの立体視イメージングを含み得る。
[0035]プロセッサ１２２は、汎用処理ユニット、またはイメージングアプリケーションのために特別に設計されたプロセッサであり得る。図示のように、プロセッサ１２２はメモリ１２０とワーキングメモリ１３０とに接続される。図示の実施形態では、メモリ１２０は、画像キャプチャ制御モジュール１４０と、ステレオ深度計算モジュール１４５と、オートフォーカス制御モジュール１５５と、オートフォーカス深度計算モジュール１６０と、ヨー角補正モジュール１６２と、オペレーティングシステム１６５と、ユーザインターフェースモジュール１７０とを含む、いくつかのモジュールを記憶する。これらのモジュールは、様々な画像処理タスクとデバイス管理タスクとを実行するようにプロセッサ１２２を構成する命令を含み得る。ワーキングメモリ１３０は、メモリ１２０のモジュール中に含まれているプロセッサ命令のワーキングセットを記憶するためにプロセッサ１２２によって使用され得る。代替的に、ワーキングメモリ１３０はまた、画像解析システム１１５の動作中に作成された動的データを記憶するためにプロセッサ１２２によって使用され得る。
[0036]まだ図２を参照すると、上述のように、プロセッサ１２２は、メモリ１２０に記憶されたいくつかのモジュールによって構成され得る。画像キャプチャ制御モジュール１４０は、シーンの画像をキャプチャするためにイメージングセンサー１０５および１１０を制御するようにプロセッサ１２２を構成する命令を含み得る。したがって、画像キャプチャ制御モジュール１４０、イメージングセンサー１０５または１１０、およびワーキングメモリ１３０とともに、プロセッサ１２２は、立体視画像センサーのペアを用いて物体の１つまたは複数の画像をキャプチャするための１つの手段を表す。ステレオ深度計算モジュール１４５は、物体のキャプチャされた画像のうちの２つまたはそれ以上内の物体のディスパリティを決定することと、画像センサー１０５、１１０のペアによって収集された画像データから幾何学的に決定されるセンサーからの物体の距離として定義される、物体のステレオまたは立体視深度を推定することとを行うようにプロセッサ１２２を構成する命令を与える。したがって、ステレオ深度計算モジュール１４５およびワーキングメモリ１３０とともに、プロセッサ１２２は、立体視画像センサーペア１０５および１１０によって収集された１つまたは複数の画像から物体の立体視深度を推定するための手段の実施形態の一例を表す。
[0037]オートフォーカス制御モジュール１５５は、たとえば、画像シーンの最良高周波マップを探索するために、画像センサー１０５、１１０を使用してオートフォーカス機能を実行するようにプロセッサ１２２を構成する命令を与える。オートフォーカス深度計算モジュール１６０は、オートフォーカスシステムの１つまたは複数の特性、たとえば、オートフォーカス機能を使用して物体に合焦していると決定されたときの画像センサー１０５、１１０の各々の位置に基づいてシーン中の物体の深度を計算するようにプロセス１２２を構成する命令を与える。たとえば、オートフォーカス機能中の画像センサー１０５、１１０のオートフォーカス位置に基づいて、シーン中の物体の等価な「真の（true）」深度または等価な推定深度が決定され得る。オートフォーカス特性は、たとえば、オートフォーカス動作中に測位された、イメージングセンサー１０５、１１０の各々の、またはそれらのうちの１つの、１つまたは複数の構成要素の物理的または光学的位置であり得る。オートフォーカス位置は、たとえば、物体またはシーンの高周波情報（たとえば、雑音）を使用して物体に合焦するようにイメージングセンサー１０５および１１０の位置を決定することに基づき得る。したがって、オートフォーカス制御モジュール１５５、オートフォーカス深度計算モジュール１６０、およびワーキングメモリ１３０とともにプロセッサ１２２は、オートフォーカス特性（たとえば、イメージングセンサーの位置）を決定するために物体に関してオートフォーカス機能を実行し、高周波オートフォーカス位置から物体のオートフォーカス深度を推定するための手段の実施形態の一例を表す。
[0038]ヨー角補正モジュール１６２は、オートフォーカス機能によって測定された深度と、立体視イメージングセンサー１０５および１１０によって収集された立体視画像によって示される物体のディスパリティに基づくシーン中の物体の「深度」との間の差を計算するようにプロセッサ１２２を構成する命令を与える。この差は、立体視イメージングセンサー１０５および１１０のヨー角を推定し、補正するためにヨー角補正モジュール１６２によって使用され得る。したがって、ヨー角補正モジュール１６２およびワーキングメモリ１３０とともに、プロセッサ１２２は、オートフォーカス深度と立体視深度との間の差を使用してヨー角補正を推定し、補正するための手段の実施形態の一例を表す。
[0039]ユーザインターフェースモジュール１７０は、画像解析システム１１５を実行しながらユーザにとってアクセス可能な電子ディスプレイ上に情報を表示するようにプロセッサ１２２を構成する命令を含むことができる。オペレーティングシステムモジュール１６５は、システム１１５のメモリと処理リソースとを管理するようにプロセッサ１２２を構成し得る。たとえば、オペレーティングシステムモジュール１６５は、電子ディスプレイ１２５またはイメージングセンサー１０５および１１０などのハードウェアリソースを管理するためのデバイスドライバを含み得る。いくつかの実施形態では、上記で説明した画像処理モジュール中に含まれている命令は、これらのハードウェアリソースと直接対話しないことがあるが、代わりに、オペレーティングシステム構成要素１６５中にある標準サブルーチンまたはＡＰＩを通して対話し得る。オペレーティングシステム１６５内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。
[0040]プロセッサ１２２はストレージモジュール１３０にデータを書き込み得る。ストレージモジュール１３０は旧来のディスクドライブとして図式的に表されているが、複数の実施形態は、ディスクベースストレージデバイス、またはメモリディスク、ＵＳＢドライブ、フラッシュドライブ、リモート接続された記憶媒体、仮想ディスクドライバなどを含むいくつかの他のタイプの記憶媒体のうちの１つのいずれかを含み得ることを、当業者は理解されよう。
[0041]図２は、プロセッサと、２つのイメージングセンサーと、電子ディスプレイと、メモリとを含むように別々の構成要素を有するデバイスの例示的な実施形態を示しているが、これらの別々の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを、当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
[0042]さらに、図２は、いくつかのモジュールを備えるメモリ構成要素１２０と、ワーキングメモリを備える別個のメモリ１３０とを含む２つのメモリ構成要素を示しているが、異なるメモリアーキテクチャを利用するいくつかの実施形態が様々な実施形態において実装され得ることを、当業者は認識されよう。たとえば、メモリ１２０中に含まれているモジュールを実装するプロセッサ命令の記憶のための設計はＲＯＭまたは静的ＲＡＭメモリを利用し得る。いくつかの実施形態では、プロセッサ命令は、画像解析システム１１５に組み込まれたまたは外部デバイスポートを介して接続された、ディスクストレージデバイスからシステム起動時に読み取られ得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。たとえば、ワーキングメモリ１３０はＲＡＭメモリであり得、命令は、プロセッサ１２２による実行の前にワーキングメモリ１３０にロードされる。
方法概観
[0043]本発明の実施形態は、図１Ｂおよび図１Ｃに関して上記で説明したように、立体視イメージングセンサー、たとえば、イメージングセンサー１０５および１１０の不整合による深度測定ディスパリティを補正するための方法に関する。オートフォーカスフィードバックを組み込んだ方法の２つの実施形態について以下で説明する。方法の選択は、電子デバイスのオートフォーカスシステムの品質によって影響を及ぼされ得る。たとえば、高品質オートフォーカスシステムをもつデバイスの場合、イメージングデバイス１５０のレンズ位置は、重力および熱影響、ならびに機械的アセンブリ不正確さおよび使用中の損傷により緩やかにドリフトすることがある。したがって、高品質オートフォーカスシステムを使用してヨー角が推定され得る。別の例では、低品質オートフォーカスシステムをもつデバイスの場合、デバイスのオートフォーカス精度は経年的にドリフトし始めることがある。したがって、ステレオイメージングを使用して推定された深度はオートフォーカス深度推定値よりも良好である可能性があり、したがって、イメージングデバイス１５０のオートフォーカスレンズ位置を補正するためにステレオイメージング深度が使用され得る。
方法概観
[0043]本発明の実施形態は、図１Ｂおよび図１Ｃに関して上記で説明したように、立体視イメージングセンサー、たとえば、イメージングセンサー１０５および１１０の不整合による深度測定ディスパリティを補正するための方法に関する。オートフォーカスフィードバックを組み込んだ方法の２つの実施形態について以下で説明する。方法の選択は、電子デバイスのオートフォーカスシステムの品質によって影響を及ぼされ得る。たとえば、高品質オートフォーカスシステムをもつデバイスの場合、イメージングデバイス１５０のレンズ位置は、重力および熱影響、ならびに機械的アセンブリ不正確さおよび使用中の損傷により緩やかにドリフトすることがある。したがって、高品質オートフォーカスシステムを使用してヨー角が推定され得る。別の例では、低品質オートフォーカスシステムをもつデバイスの場合、デバイスのオートフォーカス精度は経年的にドリフトし始めることがある。したがって、ステレオイメージングを使用して推定された深度はオートフォーカス深度推定値よりも良好である可能性があり、したがって、イメージングデバイス１５０のオートフォーカスレンズ位置を補正するためにステレオイメージング深度が使用され得る。
[0044]図３に、図２に示されたいくつかのモジュールにおいて実装され得る、ステレオヨーを補正するためのプロセス３００の一実施形態を示す。様々な実施形態は、図３に示されていない追加の行為、および／または図３に示された行為のうちのいくつかだけを含み得る。プロセス３００は、高品質オートフォーカスシステムを有するデバイスのための立体視画像ペアのヨー角整合を推定し、補正するために、いくつかの実施形態において使用され得る。いくつかの例では、プロセス３００は、プロセッサ、たとえば、プロセッサ１２２（図２）上で、およびメモリ１２０に記憶されたあるいは他のハードウェアまたはソフトウェアに組み込まれた、図２に示された他の構成要素上で実行され得る。プロセス３００は開始ブロック３０２から始まり、ブロック３０４に遷移し、ここにおいて立体視画像センサーペアが与えられる。画像センサーペアは、たとえば、ハンドヘルド通信デバイス、たとえば、セルラーフォンまたは「スマートフォン」、あるいはタブレットコンピュータを含むモバイル個人情報端末（ＰＤＡ）に組み込まれた、カメラ中に与えられ得る。
[0045]プロセス３００は次いでブロック３０６に遷移し、ここにおいて、（図２に示されたイメージングセンサー１０５などの）一方のイメージングセンサーの焦点は固定され、（図２に示されたイメージングセンサー１１０などの）他方のイメージングセンサー焦点は、必要に応じて変動することを可能にされる。しかしながら、他の実施形態では、イメージングセンサー１１０の焦点が固定され得、他方のイメージングセンサー１０５の焦点が必要に応じて変動し得る。イメージングセンサー１０５またはイメージングセンサー１１０のいずれかの焦点は固定または可動であり得る。プロセス３００は次いでブロック３０８に遷移し、ここにおいて、センターフォーカスが使用可能にされたイメージングセンサー１０５、１１０の視野の中心に物体が導入される。プロセス３００は次にブロック３１０に遷移し、ここにおいて、イメージングセンサー１０５、１１０によって収集された画像データから物体のディスパリティが見つけられる。いくつかの実施形態では、ディスパリティは、物体の１つまたは複数のキーポイントを決定することと、イメージングセンサーペアの各センサーによって収集された画像中のキーポイントロケーションをマッチさせることとによって見つけられ得る。キーポイントは、特に一意の特性を呈する、物体の特徴的な領域であり得る。たとえば、特定のパターンまたはエッジを呈する領域がキーポイントとして定義され得る。キーポイントマッチは、第１の画像中で識別された１つのポイントと、第２の画像中で識別された第２のポイントとをもつ、ポイントのペアを含み得る。
[0046]ヨーによるディスパリティドリフトの一例を図４にグラフによって示す。図４のｘ軸は画像センサー１０５および１１０の視野の一部分を示す。図４のｙ軸はヨーディスパリティ角Ａを示す。整合された画像センサー１０５および１１０を用いて平面物体を閲覧するとき、平面物体は、線４１０などの単一の直線のように見えるはずである。言い換えれば、平面物体がカメラに対してまっすぐであり、画像センサー１０５と画像センサー１１０とが整合されている場合、ディスパリティは一定であるはずである。画像センサー１０５と画像センサー１１０との間に何らかのディスパリティ角Ａがある場合、平面物体は、線４０５などの曲線のように見えるはずである。線４０５は、１１度に等しいヨー角による、固定深度における平面物体のディスパリティドリフトを表す。線４１０は、２つのイメージングセンサー間のヨー角差なしでの予想される一定のディスパリティを示す。画像センサー間のディスパリティドリフトは、画像を閲覧するユーザに不快感をもたらすことがある。
[0047]図５に、２つのイメージングセンサー間にヨーディスパリティが存在するときの得られた立体視画像を示す。ヨー角ディスパリティの存在下で、矩形は、水平方向ディスパリティを伸張または圧縮し、コーナーにおいて垂直方向ディスパリティを変更する、不等辺四辺形になる。
[0048]イメージングセンサー１０５、１１０などのイメージングセンサーペアの各センサーによって収集された画像間の物体のディスパリティを決定した後に、プロセス３００はブロック３１２に遷移し、ここにおいて、ディスパリティを使用して物体のステレオ深度が推定される。いくつかの実施形態では、ステレオ深度は以下のように計算され得る。
上式で、ベースラインは、立体視イメージングセンサーペアの２つのイメージングセンサー間の距離である。
[0049]再び図３を参照すると、物体のステレオ深度を決定した後に、プロセス３００はブロック３１４に遷移し、ここにおいて、プロセッサ１２２は、イメージングセンサー１０５、１１０のオートフォーカスレンズ位置を設定するために、イメージングデバイス１５０のオートフォーカス特徴に動作するように命令する。プロセス３００は次いでブロック３１６に遷移し、ここにおいて、プロセッサ１２２は、たとえば、最大高周波マップを生成する、イメージングセンサー１０５、１１０のうちの１つまたは複数の位置（または設定）を決定するために、オートフォーカス位置を通ってスイープするようにイメージングデバイス１５０に命令する。プロセス３００は次いでブロック３１８に遷移し、ここにおいて、オートフォーカス情報（たとえば、オートフォーカスプロセス中に計算された（１つまたは複数の）統計値）を使用して、オートフォーカス特徴によって計算された物体のオートフォーカス「深度」が見つけられ得る。
[0050]オートフォーカス統計値の一例を図６に示す。図６に示されたグラフのｙ軸によって示される、最高周波数オートフォーカススコアを有する焦点位置は、画像が最もシャープである位置を示す。最高周波数スコアを有するオートフォーカス深度位置を決定するために、オートフォーカス機能は、異なる焦点値にわたってスイープするように指示される。シャープネス検出器を使用して、画像のシャープネスが示され、オートフォーカス統計値は、どんなオートフォーカス位置において画像が最もシャープであるかを示す。高周波スコアの最大数によって示される最良オートフォーカス位置に基づいて、物体の等価な「真の」深度またはオートフォーカス深度（Ｄｅｐｔｈ＿ＡＦ）が見つけられる。
[0051]図３に示されたプロセス３００の次のブロック３２０において、物体のＤｅｐｔｈ＿ＡＦは物体のＤｅｐｔｈ＿ｓｔｅｒｅｏと比較される。２つの深度が等しくない場合、ヨー角ディスパリティが存在し、プロセス３００はブロック３２２に遷移し、ここにおいてヨー角補正が推定される。プロセス３００は次にブロック３２４に遷移し、ここにおいて、イメージングセンサー１０５、１１０のうちの一方のセンサーによって収集された画像が、ヨー角差を補正するために、２つのイメージングセンサー１０５、１１０間の推定ヨー角差に基づいて投影またはワーピングされる。プロセス３００は、オートフォーカス統計値によって計算された物体のＤｅｐｔｈ＿ＡＦと物体のＤｅｐｔｈ＿ｓｔｅｒｅｏとが等しくなるまで、ディスパリティを決定し、物体の深度を推定することによって、ブロック３１０から始めて繰り返す。物体のオートフォーカス深度とステレオ深度とが等しいとき、ヨーディスパリティは補正されており、プロセス３００は、ブロック３２６に遷移し、終了する。
[0052]不十分なまたは低品質オートフォーカスシステムを有するイメージングデバイスのために特に有用であり得る別の実施形態では、オートフォーカス精度は経年的にドリフトすることがある。いくつかの実施形態では、画像化されたシーン中の物体までの推定深度測定値は、オートフォーカス深度推定ではなくステレオ深度推定を使用したほうがより正確である。これらの実施形態では、イメージングデバイス１５０のオートフォーカスレンズ位置を補正するためにステレオ深度測定値が使用され得る。推定ステレオ深度測定値を使用してオートフォーカスレンズ位置を補正するためのプロセスの一実施形態を図７に示す。
[0053]図７は、図２に示されたいくつかのモジュールにおいて実装され得る、オートフォーカスレンズ位置を補正するためのプロセス７００の一実施形態を示している。プロセス７００は、立体視イメージングセンサーペアを有する低品質オートフォーカスシステムを用いてイメージングデバイスのオートフォーカス位置を推定し、補正するために、いくつかの実施形態において使用され得る。いくつかの例では、プロセス７００は、プロセッサ、たとえば、プロセッサ１２２（図２）上で、およびメモリ１２０に記憶されたあるいは他のハードウェアまたはソフトウェアに組み込まれた、図２に示された他の構成要素上で実行され得る。プロセス７００は、開始ブロック７０２から始まり、ブロック７０４に遷移し、ここにおいて、イメージングセンサーペア１０５、１１０を有するイメージングデバイス１５０などのイメージングデバイスが与えられる。プロセス７００は次いでブロック７０６に遷移し、ここにおいて、一方のイメージングセンサー１０５、１１０の焦点は固定され、他方のイメージングセンサー焦点は、変動することを可能にされる。イメージングセンサー１０５またはイメージングセンサー１１０のいずれかの焦点は固定または可動であり得る。プロセス７００は次いでブロック７０８に遷移し、ここにおいて、センターフォーカスが使用可能にされたイメージングセンサー１０５、１１０の視野の中心に物体が導入される。プロセス７００は次にブロック７１０に遷移し、ここにおいて、イメージングセンサーペアによって収集された画像データから物体のディスパリティが見つけられる。いくつかの実施形態では、ディスパリティは、物体の１つまたは複数のキーポイントを決定することと、イメージングセンサーペアの各センサーによって収集された画像データ中のキーポイントロケーションをマッチさせることとによって見つけられ得る。キーポイントは、特に一意の特性を呈する、物体の特徴的な領域であり得る。たとえば、特定のパターンまたはエッジを呈する領域がキーポイントとして定義され得る。キーポイントマッチは、第１の画像中で識別された１つのポイントと、第２の画像中で識別された第２のポイントとをもつ、ポイントのペアを含み得る。
[0054]イメージングセンサーペアの各センサーによって収集された画像データ間の物体のディスパリティを決定した後に、プロセス７００はブロック７１２に遷移し、ここにおいて、ディスパリティを使用して物体のステレオ深度が推定される。いくつかの実施形態では、ステレオ深度は以下のように計算され得る。
上式で、ベースラインは、立体視イメージングセンサーペアの２つのイメージングセンサー間の距離である。
[0055]物体のステレオ深度を決定した後に、プロセス７００はブロック７１４に遷移し、ここで、オートフォーカスレンズ位置を決定するためにイメージングデバイスのオートフォーカス特徴がアクティブにされ得る。プロセス７００は次いでブロック７１６に遷移し、ここにおいて、イメージングデバイスは、最良高周波マップを探索するために、イメージングセンサーの２つまたはそれ以上のオートフォーカス位置を通ってスイープし得る。プロセス７００は次いでブロック７１８に遷移し、ここにおいて、オートフォーカス統計値から、オートフォーカス特徴によって計算された物体のオートフォーカス深度が見つけられ得る。上記で説明したように、オートフォーカス統計値の一例が図６に示されている。高周波スコアの最大数によって示される最良オートフォーカス位置に基づいて、物体の等価な「真の」深度またはＤｅｐｔｈ＿ＡＦが見つけられる。
[0056]図７に示されたプロセス７００の次のブロック７２０において、Ｄｅｐｔｈ＿ＡＦはＤｅｐｔｈ＿ｓｔｅｒｅｏと比較される。２つの深度が等しくない場合、オートフォーカスレンズ位置は補正され得、プロセス７００はブロック７１４に遷移し、ここで、プロセス７００は、イメージングセンサーの新しいオートフォーカス位置を設定することによって続き、プロセス７００は、オートフォーカス統計値によって決定された最良オートフォーカス位置を使用して計算された物体のＤｅｐｔｈ＿ＡＦと、イメージングセンサーの画像データ間のディスパリティから計算された物体のＤｅｐｔｈ＿ｓｔｅｒｅｏとが等しくなるまで繰り返す。オートフォーカス深度とステレオ深度とが等しい（または実質的に等しい）とき、プロセス７００はブロック７２６に遷移し、終了する。
用語に関する明確化
[0057]それの文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、または他の伝送媒体上に表されたメモリロケーション（またはメモリロケーションのセット）の状態を含む、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「生成（generating）」という用語は、本明細書では、計算（computing）または別様の生成（producing）など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「計算（calculating）」という用語は、本明細書では、複数の値からの計算（computing）、評価、平滑化、および／または選択など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「取得（obtaining）」という用語は、計算（calculating）、導出、（たとえば、外部デバイスからの）受信、および／または（たとえば、記憶要素のアレイからの）検索など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「選択（selecting）」という用語は、２つ以上のセットのうちの少なくとも１つ、およびすべてよりも少数を識別、指示、適用、および／または使用することなど、それの通常の意味のいずれをも示すのに使用される。「備える（comprising）」という用語は、本明細書および特許請求の範囲において使用される場合、他の要素または動作を除外しない。「に基づく」（「ＡはＢに基づく」など）という用語は、（ｉ）「から導出される」（たとえば、「ＢはＡのプリカーサー（precursor）である」）、（ｉｉ）「少なくとも〜に基づく」（たとえば、「Ａは少なくともＢに基づく」）、および特定の文脈で適当な場合に、（ｉｉｉ）「に等しい」（たとえば、「ＡはＢに等しい」）という場合を含む、それの通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、それの通常の意味のいずれをも示すのに使用される。
用語に関する明確化
[0057]それの文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、または他の伝送媒体上に表されたメモリロケーション（またはメモリロケーションのセット）の状態を含む、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「生成（generating）」という用語は、本明細書では、計算（computing）または別様の生成（producing）など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「計算（calculating）」という用語は、本明細書では、複数の値からの計算（computing）、評価、平滑化、および／または選択など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「取得（obtaining）」という用語は、計算（calculating）、導出、（たとえば、外部デバイスからの）受信、および／または（たとえば、記憶要素のアレイからの）検索など、それの通常の意味のいずれをも示すのに使用される。それの文脈によって明確に限定されない限り、「選択（selecting）」という用語は、２つ以上のセットのうちの少なくとも１つ、およびすべてよりも少数を識別、指示、適用、および／または使用することなど、それの通常の意味のいずれをも示すのに使用される。「備える（comprising）」という用語は、本明細書および特許請求の範囲において使用される場合、他の要素または動作を除外しない。「に基づく」（「ＡはＢに基づく」など）という用語は、（ｉ）「から導出される」（たとえば、「ＢはＡのプリカーサー（precursor）である」）、（ｉｉ）「少なくとも〜に基づく」（たとえば、「Ａは少なくともＢに基づく」）、および特定の文脈で適当な場合に、（ｉｉｉ）「に等しい」（たとえば、「ＡはＢに等しい」）という場合を含む、それの通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、それの通常の意味のいずれをも示すのに使用される。
[0058]別段に規定されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する（その逆も同様）ことをも明確に意図し、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する（その逆も同様）ことをも明確に意図する。「構成」という用語は、それの特定の文脈によって示されるように、方法、装置、および／またはシステムに関して使用され得る。「方法」、「プロセス」、「プロシージャ」、および「技法」という用語は、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に規定されていない限り、一般的、互換的に使用される。「要素」および「モジュール」という用語は、一般に、より大きい構成の一部分を示すのに使用される。それの文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、それの通常の意味のいずれをも示すのに使用される。また、文書の一部分の参照によるいかなる組込みも、その部分内で参照される用語または変数の定義が、その文書中の他の場所、ならびに組み込まれた部分中で参照される図に現れた場合、そのような定義を組み込んでいることを理解されたい。
[0059]さらに、本明細書で開示する実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。当業者は、ある一部分または一部が、全体よりも少ないかまたはそれに等しいものを備え得ることを認識されよう。たとえば、ピクセルの集合の一部分は、それらのピクセルの部分集合を指すことがある。
[0060]本明細書で開示する実装形態に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、計算デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0061]本明細書で開示する実装形態に関して説明した方法またはプロセスのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の非一時的記憶媒体中に常駐し得る。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はＡＳＩＣ中に常駐し得る。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス中に常駐し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス中に個別構成要素として常駐し得る。
[0062]本明細書には、参照のための、および様々なセクションを見つけるのを助けるための見出しが含まれる。これらの見出しは、見出しに関連して説明した概念の範囲を限定するものではない。そのような概念は、本明細書全体にわたって適用性を有し得る。
[0063]開示した実装形態の以上の説明は、当業者が本発明を製作または使用することができるようにするために提供したものである。これらの実装形態への様々な修正は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与られるべきである。
[0063]開示した実装形態の以上の説明は、当業者が本発明を製作または使用することができるようにするために提供したものである。これらの実装形態への様々な修正は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与られるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することとを行うように構成された制御モジュールとを備える、システム。
[Ｃ２] 前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ３] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、Ｃ１に記載のシステム。
[Ｃ４] 前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ５] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、Ｃ１に記載のシステム。
[Ｃ６] 前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ７] オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、方法。
[Ｃ８] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ７に記載の方法。
[Ｃ９] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ７に記載の方法。
[Ｃ１０] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ７に記載の方法。
[Ｃ１１] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ７に記載の方法。
[Ｃ１２] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ７に記載の方法。
[Ｃ１３] オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することとを備える、方法。
[Ｃ１４] 前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１５] オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１６] 前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、Ｃ１５に記載の方法。
[Ｃ１７] 前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１８] オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段とを備える、装置。
[Ｃ１９] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２０] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２１] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２２] 前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２３] 実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、非一時的コンピュータ可読媒体。
[Ｃ２４] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２５] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２６] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２７] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２８] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することとを行うように構成された制御モジュールとを備える、システム。
[Ｃ２] 前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ３] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、Ｃ１に記載のシステム。
[Ｃ４] 前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ５] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、Ｃ１に記載のシステム。
[Ｃ６] 前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、Ｃ１に記載のシステム。
[Ｃ７] オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、方法。
[Ｃ８] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ７に記載の方法。
[Ｃ９] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ７に記載の方法。
[Ｃ１０] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ７に記載の方法。
[Ｃ１１] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ７に記載の方法。
[Ｃ１２] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ７に記載の方法。
[Ｃ１３] オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することとを備える、方法。
[Ｃ１４] 前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１５] オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１６] 前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、Ｃ１５に記載の方法。
[Ｃ１７] 前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、Ｃ１３に記載の方法。
[Ｃ１８] オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段とを備える、装置。
[Ｃ１９] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２０] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２１] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２２] 前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、Ｃ１８に記載の装置。
[Ｃ２３] 実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することとを備える、非一時的コンピュータ可読媒体。
[Ｃ２４] 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２５] 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２６] 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２７] 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
[Ｃ２８] 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
Claims (28)
- イメージングセンサーのペアの物理的不整合をデジタル的に補正するためのシステムであって、
第１のイメージングセンサーと第２のイメージングセンサーとを備えるイメージングデバイスと、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の第１の深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の第２の深度を推定することと、
前記第１の深度と前記第２の深度とを比較することと、
前記第１の深度と前記第２の深度との間の差に基づいて、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の前記不整合を推定し、補正することと
を行うように構成された制御モジュールと
を備える、システム。 - 前記制御モジュールが、前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するようにさらに構成された、請求項１に記載のシステム。
- 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記第１の深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することによって立体視深度推定値を決定することを備える、請求項１に記載のシステム。
- 前記制御モジュールは、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するようにさらに構成された、請求項１に記載のシステム。
- 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記第２の深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置からオートフォーカス深度を推定することとを備える、請求項１に記載のシステム。
- 前記制御モジュールは、前記第１の深度と前記第２の深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワープするようにさらに構成された、請求項１に記載のシステム。
- オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正するための方法であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することと
を備える、方法。 - 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項７に記載の方法。
- 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項７に記載の方法。
- 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項７に記載の方法。
- 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項７に記載の方法。
- 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項７に記載の方法。
- オートフォーカスフィードバックを使用して、第１のイメージングセンサーと第２のイメージングセンサーとを有するイメージングデバイスのオートフォーカスレンズ位置を補正するための方法であって、
前記第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
前記第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記オートフォーカス深度と前記立体視深度との間の差を使用して前記イメージングデバイスのオートフォーカスレンズ位置を補正することと
を備える、方法。 - 前記物体の立体視深度を推定することが、前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することをさらに備える、請求項１３に記載の方法。
- オートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することをさらに備える、請求項１３に記載の方法。
- 前記オートフォーカスレンズ位置を設定することが、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することをさらに備える、請求項１５に記載の方法。
- 前記イメージングデバイスのオートフォーカスレンズ位置を補正することは、前記オートフォーカス深度と前記立体視深度との間の前記差が０でない場合、前記オートフォーカスレンズ位置の距離推定値を補正することをさらに備える、請求項１３に記載の方法。
- オートフォーカスフィードバックを使用して、イメージングデバイスのオートフォーカスレンズ位置を補正し、イメージングセンサーのペアの物理的不整合を補正するための装置であって、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャするための手段と、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャするための手段と、
前記第１の画像データおよび前記第２の画像データから前記物体のディスパリティを決定することによって、前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定するための手段と、
高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記物体に関してオートフォーカス機能を実行することによって前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定するための手段と、
前記立体視深度と前記オートフォーカス深度とを比較するための手段と、
前記オートフォーカス深度と前記立体視深度との間の差が０でない場合、オートフォーカスレンズ位置の距離推定値を補正することによって、前記オートフォーカス深度と前記立体視深度との間の前記差を使用して前記イメージングデバイスの前記オートフォーカスレンズ位置を補正するための手段と
を備える、装置。 - 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定するための手段をさらに備える、請求項１８に記載の装置。
- 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行するための手段をさらに備える、請求項１８に記載の装置。
- 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングするための手段をさらに備える、請求項１８に記載の装置。
- 前記立体視深度と前記オートフォーカス深度との間の前記差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正するための手段をさらに備える、請求項１８に記載の装置。
- 実行されたとき、少なくとも１つの物理的コンピュータプロセッサに、オートフォーカスフィードバックを使用してイメージングセンサーのペアの物理的不整合をデジタル的に補正する方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法が、
第１のイメージングセンサーを用いて物体の第１の画像データをキャプチャすることと、
第２のイメージングセンサーを用いて前記物体の第２の画像データをキャプチャすることと、
前記第１の画像データと前記第２の画像データとを使用して前記物体の立体視深度を推定することと、
前記イメージングデバイスのオートフォーカスレンズ位置から前記物体のオートフォーカス深度を推定することと、
前記立体視深度と前記オートフォーカス深度とを比較することと、
前記立体視深度と前記オートフォーカス深度との間の差を使用して、前記第１のイメージングセンサーと前記第２のイメージングセンサーとの間の不整合を推定し、補正することと
を備える、非一時的コンピュータ可読媒体。 - 前記第１の画像データと前記第２の画像データとを比較することによって前記物体のディスパリティを決定することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
- 前記第１の画像データと前記第２の画像デートとを使用して前記物体の前記立体視深度を推定することが、前記第１の画像データと前記第２の画像データの両方中にある前記物体のキーポイントを比較することを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
- 前記第１のイメージングセンサーおよび前記第２のイメージングセンサーのオートフォーカスレンズ位置を決定し、設定するために、前記イメージングデバイスが前記物体に合焦している間にオートフォーカス機能を実行することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
- 前記イメージングデバイスのオートフォーカスレンズ位置から前記物体の前記オートフォーカス深度を推定することが、前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの前記オートフォーカスレンズ位置を設定するために、高周波マップを使用して前記第１のイメージングセンサーおよび前記第２のイメージングセンサーの焦点位置を決定することと、前記オートフォーカスレンズ位置から前記オートフォーカス深度を推定することとを備える、請求項２３に記載の非一時的コンピュータ可読媒体。
- 前記立体視深度と前記オートフォーカス深度との間の前記差が０でない場合、前記物体の前記ディスパリティを低減するために前記第１の画像データおよび前記第２の画像データのうちの１つをワーピングすることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361866950P | 2013-08-16 | 2013-08-16 | |
| US61/866,950 | 2013-08-16 | ||
| US14/250,798 US10178373B2 (en) | 2013-08-16 | 2014-04-11 | Stereo yaw correction using autofocus feedback |
| US14/250,798 | 2014-04-11 | ||
| PCT/US2014/049776 WO2015023475A1 (en) | 2013-08-16 | 2014-08-05 | Stereo yaw correction using autofocus feedback |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016533105A true JP2016533105A (ja) | 2016-10-20 |
| JP2016533105A5 JP2016533105A5 (ja) | 2017-08-17 |
Family
ID=52466554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016534606A Pending JP2016533105A (ja) | 2013-08-16 | 2014-08-05 | オートフォーカスフィードバックを使用するステレオヨー補正 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10178373B2 (ja) |
| EP (1) | EP3033733B1 (ja) |
| JP (1) | JP2016533105A (ja) |
| KR (1) | KR20160043995A (ja) |
| CN (1) | CN105453136B (ja) |
| WO (1) | WO2015023475A1 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| TWI554098B (zh) * | 2014-10-07 | 2016-10-11 | 緯創資通股份有限公司 | 錄影裝置與錄影方法 |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| US20160295097A1 (en) * | 2015-03-31 | 2016-10-06 | Qualcomm Incorporated | Dual camera autofocus |
| US9609242B2 (en) * | 2015-06-25 | 2017-03-28 | Intel Corporation | Auto-correction of depth-sensing camera data for planar target surfaces |
| WO2017197630A1 (en) * | 2016-05-19 | 2017-11-23 | SZ DJI Technology Co., Ltd. | Autofocus initialization based on target detection |
| US10321114B2 (en) * | 2016-08-04 | 2019-06-11 | Google Llc | Testing 3D imaging systems |
| KR102529928B1 (ko) | 2016-09-22 | 2023-05-09 | 삼성전자주식회사 | 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치 |
| US10382665B2 (en) | 2016-12-30 | 2019-08-13 | Samsung Electronics Co., Ltd. | Auto focus method and electronic device for performing the same |
| US11463677B2 (en) | 2017-07-13 | 2022-10-04 | Samsung Electronics Co., Ltd. | Image signal processor, image processing system and method of binning pixels in an image sensor |
| US10412362B2 (en) | 2017-07-27 | 2019-09-10 | Qualcomm Incorporated | Active alignment correction for optical systems |
| JP6970577B2 (ja) * | 2017-09-29 | 2021-11-24 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
| CN108057645B (zh) * | 2018-02-07 | 2024-01-23 | 合肥美亚光电技术股份有限公司 | 色选机的相机调准装置及其控制方法 |
| US10715725B2 (en) * | 2018-04-02 | 2020-07-14 | Samsung Electronics Co., Ltd | Method and system for handling 360 degree image content |
| US10410368B1 (en) * | 2018-09-27 | 2019-09-10 | Qualcomm Incorporated | Hybrid depth processing |
| US11818462B2 (en) * | 2019-08-30 | 2023-11-14 | Qualcomm Incorporated | Phase detection autofocus sensor apparatus and method for depth sensing |
| US11284018B1 (en) * | 2020-09-15 | 2022-03-22 | Applied Materials, Inc. | Smart camera substrate |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0946729A (ja) * | 1995-08-01 | 1997-02-14 | Olympus Optical Co Ltd | 立体撮像装置 |
| WO2011108276A1 (ja) * | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置、および立体撮像方法 |
| JP2012085102A (ja) * | 2010-10-12 | 2012-04-26 | Sharp Corp | 立体映像変換装置及び立体映像表示装置 |
Family Cites Families (314)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA927646A (en) | 1970-09-09 | 1973-06-05 | Watanuki Toshio | Camera for taking hemispherical motion picture |
| US4114171A (en) | 1976-04-06 | 1978-09-12 | Vivitar Corporation | Reflex camera with internal zoom lens |
| US4437745A (en) | 1982-09-30 | 1984-03-20 | Stephen Hajnal | Three dimensional camera system |
| JPS60213178A (ja) | 1984-04-06 | 1985-10-25 | Olympus Optical Co Ltd | 撮像装置 |
| GB8430980D0 (en) | 1984-12-07 | 1985-01-16 | Robinson M | Generation of apparently three-dimensional images |
| US4639586A (en) | 1985-02-06 | 1987-01-27 | The United States Of America As Represented By The Secretary Of The Air Force | Optically phased laser transmitter |
| US4740780A (en) | 1985-06-24 | 1988-04-26 | Gec Avionics, Inc. | Head-up display for automobile |
| US5214462A (en) | 1986-05-12 | 1993-05-25 | Asahi Kogaku Kogyo Kabushiki Kaisha | Lens shutter camera including zoom lens and barrier mechanisms |
| US4890314A (en) | 1988-08-26 | 1989-12-26 | Bell Communications Research, Inc. | Teleconference facility with high resolution video display |
| US6031892A (en) | 1989-12-05 | 2000-02-29 | University Of Massachusetts Medical Center | System for quantitative radiographic imaging |
| US5194959A (en) | 1989-12-21 | 1993-03-16 | Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation | Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts |
| US5016109A (en) | 1990-07-02 | 1991-05-14 | Bell South Corporation | Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields |
| US5142357A (en) | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
| US5063441A (en) | 1990-10-11 | 1991-11-05 | Stereographics Corporation | Stereoscopic video cameras with image sensors having variable effective position |
| US5207000A (en) | 1991-06-14 | 1993-05-04 | Industrial Technology Research Institute | Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface |
| US5231461A (en) | 1991-12-09 | 1993-07-27 | Hughes Danbury Optical Systems, Inc. | Solar monochromator for filter calibration |
| US5926411A (en) | 1991-12-30 | 1999-07-20 | Ioptics Incorporated | Optical random access memory |
| US5686960A (en) | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
| DE4212271C1 (ja) | 1992-04-11 | 1993-07-08 | Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De | |
| US5243413A (en) | 1992-09-02 | 1993-09-07 | At&T Bell Laboratories | Color parallax-free camera and display |
| US5313542A (en) | 1992-11-30 | 1994-05-17 | Breault Research Organization, Inc. | Apparatus and method of rapidly measuring hemispherical scattered or radiated light |
| JP2888713B2 (ja) | 1993-01-14 | 1999-05-10 | キヤノン株式会社 | 複眼撮像装置 |
| EP0610605B1 (en) | 1993-02-11 | 1997-07-16 | Agfa-Gevaert N.V. | Method of recognising an irradiation field |
| US5586063A (en) | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
| US5614941A (en) | 1993-11-24 | 1997-03-25 | Hines; Stephen P. | Multi-image autostereoscopic imaging system |
| GB2284273B (en) | 1993-11-29 | 1997-01-08 | Hadland Photonics Limited | Electronic high speed camera incorporating a beam splitter |
| JPH089424A (ja) | 1994-06-20 | 1996-01-12 | Sanyo Electric Co Ltd | 立体画像撮像制御装置 |
| JP3186448B2 (ja) | 1994-08-01 | 2001-07-11 | ミノルタ株式会社 | 立体テレビカメラ |
| JP3458486B2 (ja) | 1994-10-25 | 2003-10-20 | 松下電器産業株式会社 | 全方位撮影装置及び全方位画像合成装置 |
| KR100235343B1 (ko) | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
| JPH08194274A (ja) | 1995-01-13 | 1996-07-30 | Olympus Optical Co Ltd | 立体撮像装置 |
| US5606627A (en) | 1995-01-24 | 1997-02-25 | Eotek Inc. | Automated analytic stereo comparator |
| US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
| US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
| US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
| US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
| US5903306A (en) | 1995-08-16 | 1999-05-11 | Westinghouse Savannah River Company | Constrained space camera assembly |
| US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
| US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
| US6141034A (en) | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
| JPH09214992A (ja) | 1996-02-06 | 1997-08-15 | Asahi Optical Co Ltd | 撮像装置 |
| US5640222A (en) | 1996-03-15 | 1997-06-17 | Paul; Eddie | Method and apparatus for producing stereoscopic images |
| US6850279B1 (en) | 1996-06-18 | 2005-02-01 | Sony Corporation | Optical image recording system, and associated processing system |
| US5721585A (en) | 1996-08-08 | 1998-02-24 | Keast; Jeffrey D. | Digital video panoramic image capture and display system |
| JPH10142490A (ja) | 1996-11-15 | 1998-05-29 | Canon Inc | 環境認識装置及びカメラ |
| AU6515798A (en) | 1997-04-16 | 1998-11-11 | Isight Ltd. | Video teleconferencing |
| US7028899B2 (en) | 1999-06-07 | 2006-04-18 | Metrologic Instruments, Inc. | Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target |
| DE19903807A1 (de) | 1998-05-05 | 1999-11-11 | Zeiss Carl Fa | Beleuchtungssystem insbesondere für die EUV-Lithographie |
| JP3745117B2 (ja) | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
| US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
| US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
| US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
| US6285365B1 (en) | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
| DE19942900B4 (de) | 1998-09-08 | 2004-01-22 | Ricoh Company, Ltd. | Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden |
| US7271803B2 (en) | 1999-01-08 | 2007-09-18 | Ricoh Company, Ltd. | Method and system for simulating stereographic vision |
| US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
| US6870680B2 (en) | 2001-08-17 | 2005-03-22 | Sony Corporation | Imaging device |
| US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| JP3587506B2 (ja) | 1999-08-30 | 2004-11-10 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| GB2354389A (en) | 1999-09-15 | 2001-03-21 | Sharp Kk | Stereo images with comfortable perceived depth |
| GB2354390A (en) | 1999-09-16 | 2001-03-21 | Ibm | Wide-angle image capture apparatus |
| US6650774B1 (en) | 1999-10-01 | 2003-11-18 | Microsoft Corporation | Locally adapted histogram equalization |
| US6862364B1 (en) | 1999-10-27 | 2005-03-01 | Canon Kabushiki Kaisha | Stereo image processing for radiography |
| US6782137B1 (en) | 1999-11-24 | 2004-08-24 | General Electric Company | Digital image display improvement system and method |
| JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
| JP2001209037A (ja) | 2000-01-26 | 2001-08-03 | Olympus Optical Co Ltd | 可変ホログラム素子及びそれらを用いた光学装置 |
| US6823021B1 (en) | 2000-10-27 | 2004-11-23 | Greenwich Technologies Associates | Method and apparatus for space division multiple access receiver |
| US6701081B1 (en) | 2000-06-06 | 2004-03-02 | Air Controls, Inc. | Dual camera mount for stereo imaging |
| US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
| AU2002226873A1 (en) | 2000-07-14 | 2002-04-08 | Applied Wdm, Inc. | Optical waveguide transmission devices |
| JP2002040584A (ja) | 2000-07-28 | 2002-02-06 | Hamamatsu Photonics Kk | 高速撮像カメラ |
| JP2002158913A (ja) | 2000-11-16 | 2002-05-31 | Canon Inc | 撮像装置及び撮像方法 |
| IL139995A (en) | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
| EP1231780A3 (en) | 2001-02-07 | 2004-01-14 | Sony Corporation | Image pickup apparatus |
| GB2372659A (en) | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
| JP2002277736A (ja) | 2001-03-21 | 2002-09-25 | Olympus Optical Co Ltd | 撮像装置 |
| US6421185B1 (en) | 2001-04-16 | 2002-07-16 | The United States Of America As Represented By The Secretary Of The Air Force | Wide field-of-view imaging system using a spatial light modulator |
| EP1383420A2 (en) | 2001-05-03 | 2004-01-28 | Masimo Corporation | Flex circuit shielded optical sensor |
| US6628897B2 (en) | 2001-06-20 | 2003-09-30 | Sony Corporation | Camera system |
| US20030038814A1 (en) | 2001-08-27 | 2003-02-27 | Blume Leo R. | Virtual camera system for environment capture |
| US7116351B2 (en) | 2001-10-29 | 2006-10-03 | Sony Corporation | Imaging device |
| JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
| JP2003260025A (ja) | 2002-03-08 | 2003-09-16 | Olympus Optical Co Ltd | カプセル型内視鏡 |
| US6768598B2 (en) | 2002-04-02 | 2004-07-27 | Sony Corporation | Image pickup system |
| US6861633B2 (en) | 2002-06-20 | 2005-03-01 | The Aerospace Corporation | Microelectromechanical system optical sensor providing bit image data of a viewed image |
| US7298392B2 (en) | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
| US7209161B2 (en) | 2002-07-15 | 2007-04-24 | The Boeing Company | Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras |
| US7602969B2 (en) | 2002-07-18 | 2009-10-13 | Sony Corporation | Imaging data processing method, imaging data processing device, and computer program |
| JP2004072349A (ja) | 2002-08-05 | 2004-03-04 | Canon Inc | 撮像装置、及びその制御方法 |
| US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
| JP2004260787A (ja) | 2002-09-09 | 2004-09-16 | Rohm Co Ltd | イメージセンサモジュール |
| US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
| AU2003302166A1 (en) | 2003-01-02 | 2004-07-29 | Covi Technologies, Inc. | Optical block assembly |
| US6933493B2 (en) | 2003-04-07 | 2005-08-23 | Kingpak Technology Inc. | Image sensor having a photosensitive chip mounted to a metal sheet |
| IL155525A0 (en) | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
| JP3709879B2 (ja) | 2003-05-01 | 2005-10-26 | 日産自動車株式会社 | ステレオ画像処理装置 |
| US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
| CN1802583A (zh) | 2003-06-09 | 2006-07-12 | 奥林巴斯株式会社 | 可变镜 |
| US6809887B1 (en) | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
| US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
| US20050117015A1 (en) | 2003-06-26 | 2005-06-02 | Microsoft Corp. | Foveated panoramic camera system |
| US7336299B2 (en) | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
| KR100541028B1 (ko) | 2003-07-21 | 2006-01-11 | 주식회사 옵토메카 | 이미지 센서 및 그 제조 방법 |
| US20050057659A1 (en) | 2003-09-16 | 2005-03-17 | Takami Hasegawa | Camera image shake correcting device |
| US7028546B2 (en) | 2003-10-21 | 2006-04-18 | Instrumented Sensor Technology, Inc. | Data recorder |
| US20050111106A1 (en) | 2003-10-31 | 2005-05-26 | Kazuhiro Matsumoto | Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section |
| JPWO2005081020A1 (ja) | 2004-02-19 | 2008-05-15 | キヤノン株式会社 | 光学機器およびビームスプリッター |
| US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
| GB0406730D0 (en) | 2004-03-25 | 2004-04-28 | 1 Ltd | Focussing method |
| US7593057B2 (en) | 2004-07-28 | 2009-09-22 | Microsoft Corp. | Multi-view integrated camera system with housing |
| EP1784988A1 (en) | 2004-08-06 | 2007-05-16 | University of Washington | Variable fixation viewing distance scanned light displays |
| WO2006026354A2 (en) | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
| US7039292B1 (en) | 2004-09-09 | 2006-05-02 | Rockwell Collins, Inc. | Optical system for vehicle flight control |
| DE102004045430A1 (de) | 2004-09-18 | 2006-05-18 | Deutsche Telekom Ag | Vorrichtung zur Bildstabilisierung |
| CN100556076C (zh) | 2004-10-01 | 2009-10-28 | 利兰·斯坦福青年大学托管委员会 | 成像装置及其方法 |
| JP3791847B1 (ja) | 2005-08-10 | 2006-06-28 | 京セラ株式会社 | カメラモジュールおよび該カメラモジュールを搭載した情報端末 |
| EP1816514B1 (en) | 2004-11-15 | 2012-06-20 | Hitachi, Ltd. | Stereo camera |
| US7372996B2 (en) | 2004-12-27 | 2008-05-13 | Trw Automotive U.S. Llc | Method and apparatus for determining the position of a vehicle seat |
| WO2006075528A1 (ja) | 2005-01-13 | 2006-07-20 | National University Corporation NARA Institute of Science and Technology | ３次元オブジェクト計測装置 |
| US7512262B2 (en) | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
| US20060215054A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Wide angle camera with prism array |
| JP4177826B2 (ja) | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| JP2006279538A (ja) | 2005-03-29 | 2006-10-12 | Sony Corp | 撮像装置 |
| US20060238441A1 (en) | 2005-04-25 | 2006-10-26 | The Boeing Company | Method and apparatus for displaying a stereoscopic image |
| US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
| US20090268983A1 (en) | 2005-07-25 | 2009-10-29 | The Regents Of The University Of California | Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images |
| JP5364965B2 (ja) | 2005-07-26 | 2013-12-11 | コニカミノルタ株式会社 | 撮像光学系、撮像レンズ装置及びデジタル機器 |
| JP2007081473A (ja) | 2005-09-09 | 2007-03-29 | Eastman Kodak Co | 複数光学系を有する撮像装置 |
| US20070085903A1 (en) | 2005-10-17 | 2007-04-19 | Via Technologies, Inc. | 3-d stereoscopic image display system |
| US20070164202A1 (en) | 2005-11-16 | 2007-07-19 | Wurz David A | Large depth of field line scan camera |
| JP4979928B2 (ja) | 2005-11-28 | 2012-07-18 | 株式会社トプコン | 三次元形状演算装置及び三次元形状演算方法 |
| US8059185B2 (en) | 2005-12-28 | 2011-11-15 | Canon Kabushiki Kaisha | Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range |
| US7215479B1 (en) | 2006-02-10 | 2007-05-08 | Micron Technology, Inc. | Integrated lens system for image sensor and method for manufacturing the same |
| GB2435360B (en) | 2006-02-16 | 2009-09-23 | Imagination Tech Ltd | Method and apparatus for determining motion between video images |
| JP4844177B2 (ja) | 2006-03-07 | 2011-12-28 | 株式会社ニコン | ブレ補正装置及びカメラ |
| JP2007274542A (ja) | 2006-03-31 | 2007-10-18 | Sony Corp | 撮像装置および携帯電話機 |
| CN101055342A (zh) | 2006-04-12 | 2007-10-17 | 鸿富锦精密工业（深圳）有限公司 | 自动对焦镜头模组 |
| US8433157B2 (en) | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
| CN101433077B (zh) | 2006-05-05 | 2011-03-23 | 诺基亚公司 | 具有小高度和高分辨率的光学图像记录设备 |
| EP2023298A4 (en) | 2006-05-09 | 2010-07-21 | Sega Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM |
| US20080007617A1 (en) | 2006-05-11 | 2008-01-10 | Ritchey Kurtis J | Volumetric panoramic sensor systems |
| JP4972779B2 (ja) | 2006-05-30 | 2012-07-11 | コニカミノルタアドバンストレイヤー株式会社 | 光学ユニットおよび撮像装置 |
| JP5067021B2 (ja) | 2006-06-01 | 2012-11-07 | 富士ゼロックス株式会社 | 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材 |
| JP4851239B2 (ja) | 2006-06-05 | 2012-01-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP2008048293A (ja) | 2006-08-18 | 2008-02-28 | Kyocera Corp | 撮像装置、およびその製造方法 |
| US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
| DE102006044786A1 (de) | 2006-09-14 | 2008-03-27 | Schefenacker Vision Systems Germany Gmbh | Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems |
| EP1912098B1 (en) | 2006-10-12 | 2012-04-25 | Carl Zeiss SMT GmbH | Unit magnification projection objective |
| US7817354B2 (en) | 2006-10-25 | 2010-10-19 | Capsovision Inc. | Panoramic imaging system |
| JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
| KR100866491B1 (ko) | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| JP4917060B2 (ja) | 2007-02-26 | 2012-04-18 | Ｈｏｙａ株式会社 | 撮像ユニット及び携帯用電子機器 |
| US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
| US8356035B1 (en) | 2007-04-10 | 2013-01-15 | Google Inc. | Association of terms with images using image similarity |
| JP4582423B2 (ja) | 2007-04-20 | 2010-11-17 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
| JP5013078B2 (ja) | 2007-04-24 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | レンズ鏡胴及び撮像装置 |
| US20080290435A1 (en) | 2007-05-21 | 2008-11-27 | Micron Technology, Inc. | Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods |
| JP2008294819A (ja) | 2007-05-25 | 2008-12-04 | Sony Corp | 撮像装置 |
| US7860214B1 (en) | 2007-06-13 | 2010-12-28 | The United States Of America As Represented By Secretary Of Agriculture | Correction of x-ray images |
| US20090005112A1 (en) | 2007-06-29 | 2009-01-01 | Samsung Electronics Co., Ltd. | Optical imaging system configurations for handheld devices |
| US20090003646A1 (en) | 2007-06-29 | 2009-01-01 | The Hong Kong University Of Science And Technology | Lossless visible watermarking |
| JPWO2009011153A1 (ja) | 2007-07-13 | 2010-09-16 | 三菱電機株式会社 | 画像読取装置 |
| JP4900118B2 (ja) | 2007-07-31 | 2012-03-21 | コニカミノルタオプト株式会社 | カメラモジュールおよび電子機器 |
| TWI383666B (zh) | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
| JP5000428B2 (ja) | 2007-08-22 | 2012-08-15 | Ｈｏｙａ株式会社 | 撮像装置 |
| US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
| KR20090032261A (ko) | 2007-09-27 | 2009-04-01 | 삼성전자주식회사 | 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법 |
| JP5152483B2 (ja) | 2007-10-05 | 2013-02-27 | ソニー株式会社 | 撮像装置 |
| EP3836539B1 (en) | 2007-10-10 | 2024-03-13 | Gerard Dirk Smits | Image projector with reflected light tracking |
| CN101822068B (zh) | 2007-10-11 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于处理深度图的方法和设备 |
| US20100259655A1 (en) | 2007-11-01 | 2010-10-14 | Konica Minolta Holdings, Inc. | Imaging device |
| JP4831514B2 (ja) | 2007-11-13 | 2011-12-07 | 独立行政法人情報通信研究機構 | 設定パラメータ最適化装置およびそのプログラム |
| KR100927347B1 (ko) | 2007-11-13 | 2009-11-24 | 파워옵틱스 주식회사 | 줌렌즈 광학계 |
| US8791984B2 (en) | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
| US9118850B2 (en) | 2007-11-27 | 2015-08-25 | Capso Vision, Inc. | Camera system with multiple pixel arrays on a chip |
| CN100465699C (zh) | 2007-12-05 | 2009-03-04 | 浙江大学 | 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统 |
| KR101349589B1 (ko) | 2007-12-13 | 2014-01-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
| US8300086B2 (en) | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
| US20090185067A1 (en) | 2007-12-21 | 2009-07-23 | Stereo Display, Inc. | Compact automatic focusing camera |
| CN101952762B (zh) | 2008-01-02 | 2012-11-28 | 加利福尼亚大学董事会 | 高数值孔径远程显微镜设备 |
| US7978222B2 (en) | 2008-03-01 | 2011-07-12 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for image stabilization |
| US7961398B2 (en) | 2008-03-05 | 2011-06-14 | Contrast Optical Design & Engineering, Inc. | Multiple image camera and lens system |
| WO2009119370A1 (ja) | 2008-03-26 | 2009-10-01 | コニカミノルタオプト株式会社 | 撮像装置 |
| EP2263373B1 (en) | 2008-03-28 | 2014-08-13 | The Trustees of Columbia University in the City of New York | Generalized assorted pixel camera systems and methods |
| CN101571666A (zh) | 2008-04-28 | 2009-11-04 | 鸿富锦精密工业（深圳）有限公司 | 成像设备 |
| US7864336B2 (en) | 2008-04-28 | 2011-01-04 | Agilent Technologies, Inc. | Compact Littrow encoder |
| US8280194B2 (en) * | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
| US9001187B2 (en) | 2009-05-11 | 2015-04-07 | CapsoVision, Inc. | Capsule imaging system having a folded optical axis |
| US9171221B2 (en) | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
| CN102047651B (zh) | 2008-06-02 | 2013-03-13 | 松下电器产业株式会社 | 生成法线信息的图像处理装置、方法及视点变换图像生成装置 |
| JP5223486B2 (ja) | 2008-06-18 | 2013-06-26 | ソニー株式会社 | 電子双眼鏡 |
| WO2010010712A1 (ja) | 2008-07-24 | 2010-01-28 | パナソニック株式会社 | カメラ駆動装置 |
| JP2010041381A (ja) | 2008-08-05 | 2010-02-18 | Nikon Corp | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
| KR100942925B1 (ko) | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
| EP2316054A1 (en) | 2008-08-14 | 2011-05-04 | Remotereality Corporation | Three-mirror panoramic camera |
| US8305425B2 (en) | 2008-08-22 | 2012-11-06 | Promos Technologies, Inc. | Solid-state panoramic image capture apparatus |
| JP2010067014A (ja) | 2008-09-11 | 2010-03-25 | Ricoh Co Ltd | 画像分類装置及び画像分類方法 |
| US10043304B2 (en) * | 2008-09-25 | 2018-08-07 | Koninklijke Philips N.V. | Three dimensional image data processing |
| US8571399B2 (en) | 2008-10-14 | 2013-10-29 | Nidec Sankyo Corporation | Photographic optical device |
| US8267601B2 (en) | 2008-11-04 | 2012-09-18 | James Cameron | Platform for stereoscopy for hand-held film/video camera stabilizers |
| JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
| CN101770059B (zh) | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业（深圳）有限公司 | 相机模组 |
| US9395617B2 (en) | 2009-01-05 | 2016-07-19 | Applied Quantum Technologies, Inc. | Panoramic multi-scale imager and method therefor |
| US8326036B2 (en) | 2009-02-20 | 2012-12-04 | Qylur Security Systems, Inc. | Automated image separation method |
| GB0903689D0 (en) | 2009-03-03 | 2009-04-15 | Sigmavision Ltd | Vehicle tyre measurement |
| JP5316118B2 (ja) | 2009-03-12 | 2013-10-16 | オムロン株式会社 | ３次元視覚センサ |
| US20100265313A1 (en) | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
| US20100278423A1 (en) | 2009-04-30 | 2010-11-04 | Yuji Itoh | Methods and systems for contrast enhancement |
| US8503778B2 (en) | 2009-05-14 | 2013-08-06 | National University Of Singapore | Enhancing photograph visual quality using texture and contrast data from near infra-red images |
| US8170408B2 (en) | 2009-05-18 | 2012-05-01 | Invensense, Inc. | Optical image stabilization in a digital still camera or handset |
| US8194170B2 (en) | 2009-06-02 | 2012-06-05 | Algonquin College | Axicon lens array |
| US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
| US8405750B2 (en) | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
| CN101581828B (zh) | 2009-06-09 | 2011-06-22 | 苏州大学 | 环形孔径超薄光学成像系统 |
| US9479768B2 (en) | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
| JP5293463B2 (ja) | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US8228417B1 (en) | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
| JP5450200B2 (ja) | 2009-07-17 | 2014-03-26 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
| TWI389559B (zh) | 2009-08-14 | 2013-03-11 | Ind Tech Res Inst | 前景影像分離方法 |
| US8294073B1 (en) | 2009-10-01 | 2012-10-23 | Raytheon Company | High angular rate imaging system and related techniques |
| US9063345B2 (en) | 2009-10-19 | 2015-06-23 | Pixar | Super light-field lens with doublet lenslet array element |
| TWM399332U (en) | 2009-10-20 | 2011-03-01 | Fujifilm Corp | Photographic lens and photographic device |
| JP5539818B2 (ja) | 2009-10-20 | 2014-07-02 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
| US8325187B2 (en) | 2009-10-22 | 2012-12-04 | Samsung Electronics Co., Ltd. | Method and device for real time 3D navigation in panoramic images and cylindrical spaces |
| US8457398B2 (en) | 2009-10-27 | 2013-06-04 | Himax Media Solutions, Inc. | Image enhancement method and apparatuses utilizing the same |
| EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
| WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
| US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
| WO2011081646A1 (en) | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
| US8442392B2 (en) | 2009-12-22 | 2013-05-14 | Nokia Corporation | Method and apparatus for operating the automatic focus or the optical imaging stabilizing system |
| US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| JP5683025B2 (ja) | 2010-04-19 | 2015-03-11 | パナソニックＩｐマネジメント株式会社 | 立体画像撮影装置および立体画像撮影方法 |
| JP5593118B2 (ja) | 2010-04-30 | 2014-09-17 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
| JP5622443B2 (ja) | 2010-06-08 | 2014-11-12 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
| WO2011155318A1 (ja) | 2010-06-08 | 2011-12-15 | 日本電産サンキョー株式会社 | 振れ補正装置、撮影用光学装置およびレンズ駆動装置 |
| JP5138734B2 (ja) | 2010-06-15 | 2013-02-06 | シャープ株式会社 | 撮像レンズ、および撮像モジュール |
| CN101902657B (zh) | 2010-07-16 | 2011-12-21 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| TWI409577B (zh) | 2010-08-20 | 2013-09-21 | Primax Electronics Ltd | 光學影像系統 |
| US20120056987A1 (en) | 2010-09-03 | 2012-03-08 | Luke Fedoroff | 3d camera system and method |
| JP5392415B2 (ja) | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
| CN103339918B (zh) | 2010-10-01 | 2016-05-04 | 康泰克斯有限公司 | 图像传感器的信号强度匹配 |
| TW201222288A (en) | 2010-11-22 | 2012-06-01 | Inst Information Industry | Image retrieving system and method and computer program product thereof |
| US9317761B2 (en) | 2010-12-09 | 2016-04-19 | Nanyang Technological University | Method and an apparatus for determining vein patterns from a colour image |
| JP5716465B2 (ja) | 2011-03-09 | 2015-05-13 | ソニー株式会社 | 撮像装置 |
| US9030550B2 (en) | 2011-03-25 | 2015-05-12 | Adobe Systems Incorporated | Thin plenoptic cameras using solid immersion lenses |
| US9087375B2 (en) | 2011-03-28 | 2015-07-21 | Sony Corporation | Image processing device, image processing method, and program |
| US9172856B2 (en) | 2011-03-29 | 2015-10-27 | Microsoft Technology Licensing, Llc | Folded imaging path camera |
| US8928988B1 (en) | 2011-04-01 | 2015-01-06 | The Regents Of The University Of California | Monocentric imaging |
| WO2012136388A1 (en) | 2011-04-08 | 2012-10-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
| JP5778260B2 (ja) | 2011-04-28 | 2015-09-16 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
| JP5889880B2 (ja) | 2011-04-28 | 2016-03-22 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
| CN203519911U (zh) | 2011-04-28 | 2014-04-02 | 富士胶片株式会社 | 成像镜头和成像设备 |
| US9057871B2 (en) | 2011-05-16 | 2015-06-16 | Panasonic Intellectual Property Management Co., Ltd. | Set of compound lenses and imaging apparatus |
| US20120293607A1 (en) | 2011-05-17 | 2012-11-22 | Apple Inc. | Panorama Processing |
| US9390530B2 (en) | 2011-05-27 | 2016-07-12 | Nokia Technologies Oy | Image stitching |
| CN103609102B (zh) | 2011-06-15 | 2016-09-28 | 微软技术许可有限责任公司 | 高分辨率多光谱图像捕捉 |
| TWI507807B (zh) * | 2011-06-24 | 2015-11-11 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US8896890B2 (en) | 2011-06-30 | 2014-11-25 | Lexmark International, Inc. | Image capture system having a folded optical path |
| JP5848052B2 (ja) | 2011-07-21 | 2016-01-27 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
| US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
| US20130057655A1 (en) | 2011-09-02 | 2013-03-07 | Wen-Yueh Su | Image processing system and automatic focusing method |
| US8988564B2 (en) | 2011-09-09 | 2015-03-24 | Apple Inc. | Digital camera with light splitter |
| WO2013039035A1 (ja) | 2011-09-14 | 2013-03-21 | コニカミノルタアドバンストレイヤー株式会社 | 撮像レンズ、撮像装置及び携帯端末並びにデジタル機器 |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US8855476B2 (en) | 2011-09-28 | 2014-10-07 | DigitalOptics Corporation MEMS | MEMS-based optical image stabilization |
| US9495597B2 (en) | 2011-10-20 | 2016-11-15 | Monsanto Technology Llc | Plant stand counter |
| US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
| JP2013117568A (ja) | 2011-12-01 | 2013-06-13 | Olympus Corp | 視差画像取得装置、携帯情報端末及び視差画像取得方法 |
| US8582220B2 (en) | 2011-12-05 | 2013-11-12 | Himax Technologies Limited | Lens module |
| CN202405984U (zh) | 2011-12-10 | 2012-08-29 | 东莞市旭业光电科技有限公司 | 一种用于音圈马达的垫片 |
| KR101975893B1 (ko) | 2012-03-21 | 2019-09-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
| US9210405B2 (en) * | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
| KR101818778B1 (ko) | 2012-03-23 | 2018-01-16 | 한국전자통신연구원 | 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 |
| US20130260823A1 (en) | 2012-03-31 | 2013-10-03 | Ashutosh Y. Shukla | Compact Portable Electronic Device Having Augmented Back Volume for Speaker |
| NL2008639C2 (en) | 2012-04-13 | 2013-10-16 | Cyclomedia Technology B V | Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof. |
| JP2013238848A (ja) | 2012-04-20 | 2013-11-28 | Hoya Corp | 撮像装置 |
| US9571818B2 (en) * | 2012-06-07 | 2017-02-14 | Nvidia Corporation | Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device |
| EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
| EP2677733A3 (en) | 2012-06-18 | 2015-12-09 | Sony Mobile Communications AB | Array camera imaging system and method |
| US9134503B2 (en) | 2012-07-06 | 2015-09-15 | Apple Inc. | VCM OIS actuator module |
| WO2014012603A1 (en) | 2012-07-17 | 2014-01-23 | Heptagon Micro Optics Pte. Ltd. | Optical devices, in particular computational cameras, and methods for manufacturing the same |
| CN105787909B (zh) | 2012-08-08 | 2018-07-20 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理 |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
| US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| US9270876B2 (en) | 2013-01-05 | 2016-02-23 | The Lightco Inc. | Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times |
| US9171355B2 (en) | 2013-04-12 | 2015-10-27 | Qualcomm Incorporated | Near infrared guided image denoising |
| US9602806B1 (en) * | 2013-06-10 | 2017-03-21 | Amazon Technologies, Inc. | Stereo camera calibration using proximity data |
| JP2015036716A (ja) | 2013-08-12 | 2015-02-23 | ソニー株式会社 | 像ぶれ補正装置及び撮像装置 |
| EP2860699A1 (en) | 2013-10-11 | 2015-04-15 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for view synthesis |
| US9223118B2 (en) | 2013-10-31 | 2015-12-29 | Apple Inc. | Small form factor telephoto camera |
| CN203745777U (zh) | 2014-01-10 | 2014-07-30 | 瑞声声学科技(深圳)有限公司 | 阵列式镜头装置 |
| WO2015121707A1 (en) | 2014-02-13 | 2015-08-20 | Sony Corporation | Method and system for adjusting camera settings using corneal reflection |
| US9316810B2 (en) | 2014-03-07 | 2016-04-19 | Apple Inc. | Folded telephoto camera lens system |
| US9557627B2 (en) | 2014-03-07 | 2017-01-31 | Apple Inc. | Folded camera lens systems |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US20150373269A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Parallax free thin multi-camera system capable of capturing full wide field of view images |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| US10334158B2 (en) | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
| US10070055B2 (en) | 2015-03-25 | 2018-09-04 | Massachusetts Institute Of Technology | Devices and methods for optically multiplexed imaging |
| US10142113B2 (en) | 2015-06-18 | 2018-11-27 | Bank Of America Corporation | Identifying and maintaining secure communications |
| US20170038502A1 (en) | 2015-08-06 | 2017-02-09 | Qualcomm Incorporated | Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras |
| WO2017039718A1 (en) | 2015-09-03 | 2017-03-09 | 3M Innovative Properties Company | Magnifying device |
-
2014
- 2014-04-11 US US14/250,798 patent/US10178373B2/en active Active
- 2014-08-05 CN CN201480042872.2A patent/CN105453136B/zh active Active
- 2014-08-05 JP JP2016534606A patent/JP2016533105A/ja active Pending
- 2014-08-05 EP EP14761438.2A patent/EP3033733B1/en active Active
- 2014-08-05 WO PCT/US2014/049776 patent/WO2015023475A1/en active Application Filing
- 2014-08-05 KR KR1020167006681A patent/KR20160043995A/ko not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0946729A (ja) * | 1995-08-01 | 1997-02-14 | Olympus Optical Co Ltd | 立体撮像装置 |
| WO2011108276A1 (ja) * | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置、および立体撮像方法 |
| JP2012085102A (ja) * | 2010-10-12 | 2012-04-26 | Sharp Corp | 立体映像変換装置及び立体映像表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160043995A (ko) | 2016-04-22 |
| US10178373B2 (en) | 2019-01-08 |
| CN105453136A (zh) | 2016-03-30 |
| EP3033733A1 (en) | 2016-06-22 |
| US20150049172A1 (en) | 2015-02-19 |
| CN105453136B (zh) | 2019-08-09 |
| WO2015023475A1 (en) | 2015-02-19 |
| EP3033733B1 (en) | 2018-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10178373B2 (en) | Stereo yaw correction using autofocus feedback | |
| CA2969482C (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
| JP6022577B2 (ja) | 立体画像ペアの改善された切り取りのための方法および装置 | |
| US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
| TWI433530B (zh) | 具有立體影像攝影引導的攝影系統與方法及自動調整方法 | |
| JP5932045B2 (ja) | 立体視画像ペアの条件付き表示のための方法及び装置 | |
| JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
| WO2022007500A1 (zh) | 图像的处理方法、装置、电子设备、可读介质及移动终端 | |
| WO2016184131A1 (zh) | 基于双摄像头拍摄图像的方法、装置及计算机存储介质 | |
| WO2018076529A1 (zh) | 场景深度计算方法、装置及终端 | |
| JP2016217944A (ja) | 計測装置、および計測方法 | |
| JP5996233B2 (ja) | 画像撮像装置 | |
| WO2013069279A1 (ja) | 撮像装置 | |
| JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
| US10084950B2 (en) | Image capturing apparatus | |
| JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| WO2017215153A1 (zh) | 一种大视角照片的快速获取方法及装置 | |
| WO2018030386A1 (ja) | 位置指定装置および位置指定方法 | |
| KR101283825B1 (ko) | 3-ｄ 오토-컨버전스 카메라 | |
| JP6206127B2 (ja) | 撮像装置および調整方法 | |
| CN104977795A (zh) | 立体摄影系统及其方法 | |
| JP2012022716A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 | |
| JP2020010213A (ja) | 情報処理装置、撮像装置の姿勢の設定方法及びプログラム | |
| WO2019041905A1 (zh) | 一种拍照方法、拍照装置及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170710 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190326 |