JP2019512194A - モバイルデバイスを用いたhdrビデオキャプチャのためのシステムおよび方法 - Google Patents

モバイルデバイスを用いたhdrビデオキャプチャのためのシステムおよび方法 Download PDF

Info

Publication number
JP2019512194A
JP2019512194A JP2018561190A JP2018561190A JP2019512194A JP 2019512194 A JP2019512194 A JP 2019512194A JP 2018561190 A JP2018561190 A JP 2018561190A JP 2018561190 A JP2018561190 A JP 2018561190A JP 2019512194 A JP2019512194 A JP 2019512194A
Authority
JP
Japan
Prior art keywords
image
image sensor
incident light
beam splitter
reflect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561190A
Other languages
English (en)
Other versions
JP6987391B2 (ja
Inventor
ウィリー シー. カイザー,
ウィリー シー. カイザー,
ノラ トッチ,
ノラ トッチ,
マイケル ディー. トッチ,
マイケル ディー. トッチ,
Original Assignee
コントラスト オプティカル デザイン アンド エンジニアリング, インコーポレイテッド
コントラスト オプティカル デザイン アンド エンジニアリング, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/169,006 external-priority patent/US10257393B2/en
Application filed by コントラスト オプティカル デザイン アンド エンジニアリング, インコーポレイテッド, コントラスト オプティカル デザイン アンド エンジニアリング, インコーポレイテッド filed Critical コントラスト オプティカル デザイン アンド エンジニアリング, インコーポレイテッド
Publication of JP2019512194A publication Critical patent/JP2019512194A/ja
Application granted granted Critical
Publication of JP6987391B2 publication Critical patent/JP6987391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/108Beam splitting or combining systems for sampling a portion of a beam or combining a small beam in a larger one, e.g. wherein the area ratio or power ratio of the divided beams significantly differs from unity, without spectral selectivity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/145Beam splitting or combining systems operating by reflection only having sequential partially reflecting surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details

Abstract

本発明は、モバイルデバイスにおける高ダイナミックレンジ(HDR)画像捕捉およびビデオ処理のためのシステムならびに方法に関する。本発明の側面は、スマートフォンまたはデジタルモバイルカメラ等のモバイルデバイスを含み、基板に同一平面状配列で固定される、少なくとも2つのセンサと、モバイルデバイスの開口を通して受信される入射光の少なくとも約90%を同一平面上の画像センサ上に反射し、それによって、HDR画像を捕捉するよう構成される、光学分割システムとを含む。いくつかの実施形態では、デバイスの開口を通して受信される入射光の約95%を超えるものが、画像センサ上に反射される。

Description

(関連出願の相互参照)
本願は、2016年6月9日に出願された米国特許出願第15/178,451号の利益および優先権を主張するものであり、これは、2016年5月31日に出願された米国特許出願第15/169,006号の一部継続出願であり、2016年5月31日に出願された米国特許出願第15/169,012号の一部継続出願であり、これらの両方は、2016年2月12日に出願された米国特許出願第62/294,820の利益および優先権を主張するものであり、これらの各々は、全体が参照により本明細書中に援用される。
本発明は、概して、画像捕捉および処理に関し、より具体的には、モバイルデバイス内の高ダイナミックレンジ(HDR)画像捕捉およびビデオ処理のためのシステムおよび方法に関する。
人間の視覚系は、高度のダイナミックレンジを伴う視覚特徴の識別および処理を行うことができる。ダイナミックレンジは、概して、最も暗い影から最も明るいハイライトまでの光強度の範囲を指す。例えば、1,000,000:1またはそれを上回るコントラスト比率を有する実世界場面は、人間の視覚野によって正確に処理されることができる。人間の眼は、虹彩の適合および他の方法を通して、我々の環境に遍在する幅広く動的な変化に絶えず順応する。脳は、見る人が、光の条件の広い範囲において見ることができるように、この情報を連続的に解釈する。
しかしながら、たいていの画像取得装置は、限定された高ダイナミックレンジ(HDR)撮像能力を有する。いくつかのカメラは、低ダイナミックレンジ(LDR)の再現または捕捉のみ実施でき、人間の眼でそれを見るであろうような画像正確度の欠如および画像捕捉の不成功をもたらす。例えば、伝統的写真術は、撮像デバイス内の単一露光レベルでの場面内画像捕捉を含み、限定されるコントラストレンジを伴う画像をもたらす。限定されるコントラスト(またはダイナミック)レンジは、写真の明るい面内の詳細欠如(撮像デバイスが1つの露光設定を使用した場合)、および/または暗い面の詳細欠如(撮像デバイスが異なる露光設定を使用した場合)をもたらす。この効果の一般的実施例は、地上の物体が、それらの物体の詳細が見られることを可能にするように、十分に露光される一方で、空が殆ど白く見える写真である。言い換えると、高コントラスト環境の中で写真を撮影するとき、実場面内に出現するオリジナルの色、オリジナルのトーン、およびオリジナルの詳細は、高照度面または低照度面内で殆ど消滅し得る。
上記で説明される欠点を克服する試みにおいて、いくつかの画像取得デバイスは、フレーム毎に露光を変え、次いで、HDR画像を生成する試みにおいて、捕捉されたフレームをともに融合するための後処理技術を利用しながら、同じ場面の数フレームを捕捉するように設計されている。しかしながら、カメラ、被写体、または背景の物体は、画像取得の間、移動しており、捕捉されるフレームは相互に異なるため、HDR融合処理の間、悪化が、そのような運動によって引き起こされ得る。したがって、従来方法を伴う重大な問題は、HDR画像を、リアルタイムまたは近リアルタイムに生成できないことであり、さらに、HDRビデオ画像を提供するための画像取得デバイスの能力を限定する。さらに、現在のHDR撮像システムは、かさばり得、したがって、より小さく、より小型の画像取得デバイス内での使用に適し得ない。
本発明は、モバイルデバイス内に高ダイナミックレンジ(HDR)画像捕捉およびビデオ処理を提供するように構成される光学システムを提供する。高ダイナミックレンジは、単一の画像センサを使用して入手されることができる範囲、典型的には、深度8ビットより大きなダイナミックレンジを有することを意味する。特に、光学システムは、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、またはデジタルモバイルカメラ等の小さなモバイルデバイスにおける最適な使用を提供するために、相対的に小型の設計を含む。
光学システムは、少なくとも2つの画像センサを介して画像を捕捉するように構成される、画像捕捉サブシステムと、画像データをディスプレイまたは他のデバイスに記憶または出力されるHDRビデオデータに処理するように構成される、画像処理サブシステムとを含む。光学システムの小型の設計は、画像捕捉サブシステムの構成要素の特定の配列の結果である。特に、画像捕捉サブシステムは、基板に同一平面状配列で固定される、少なくとも2つの画像センサと、モバイルデバイスのカメラの開口を通して受信される入射光の少なくとも約95%を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割モジュールとを含む。光学分割モジュールは、具体的には、入射光の第1の部分を第1の反射部材に伝送し、かつ入射光の第2の部分を第2の反射部材に反射させるように構成される、ビーム分割器を含み、第1および第2の反射部材は、入射光の少なくとも約95%を2つの画像センサ上に伝送する。ビーム分割器は、2つの同一平面画像センサに、略同じ長さの光路を提供するために配列され、それによって、画像センサの相互の共位置合わせを維持している。
2つまたはそれを上回る画像センサの使用は、同一の画像のための異なる光レベルが2つの異なるセンサを介して同時に捕捉され得るという点で有利であり、単一の画像センサを使用して、連続的な方式で、異なるレベルを捕捉する従来システムと対照的である。故に、2つの画像センサのそれぞれからの画像データは、同時に処理され、それによって、リアルタイムまたは近リアルタイムの改善されるHDR画像およびビデオ処理をもたらし、さらに、フレーム毎の移動を考慮することができる。さらに、同一平面に沿った画像センサの設置は、画像センサが同一基板上で相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または性能に影響を与え得る、カメラの内部構成要素の移動をもたらす相当量の衝撃に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。さらに、画像捕捉および画像処理サブシステムは、同一の集積回路(IC)を共有し得、それによって、さらにシステムの小型設計全体に適し、製造コストを低減し、かつ従来モバイルデバイスの中に相対的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。
本発明の側面は、高ダイナミックレンジ(HDR)画像捕捉のためのデバイスを含む。本デバイスは、基板に同一平面状配列で固定される、少なくとも2つの画像センサと、デバイスの開口を通して受信される入射光の少なくとも約90%を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される、光学分割システムとを含む。例えば、いくつかの実施形態では、デバイスの開口を通して受信される入射光の約95%を超えるものが、画像センサ上に反射される。
いくつかの実施形態では、光学分割システムは、入射光の第1の部分を第1の反射部材に伝送し、かつ入射光の第2の部分を第2の反射部材に反射させるように構成されるビーム分割器を含み、第1および第2の反射部材は、入射光の少なくとも約90%を画像センサ上に反射させる。
いくつかの実施形態では、画像センサは、可視光のスペクトルの異なる部分を検出するように構成される。いくつかの実施形態は、入射光の第1の部分は、デバイスの開口に入る光の約96%を含み、入射光の第2の部分は、デバイスの開口に入る光の約4%を含む。ビーム分割器は、入射光の第2の部分の96%を第2の反射部材から画像センサ上に伝送するように位置付けられてもよい。いくつかの実施形態では、伝送される第2の部分は、デバイスの開口に入る光の約3.84%を含む。第1および第2の反射部材はそれぞれ、反射被膜を有する基板を含む。いくつかの実施形態では、第1および第2の反射部材は、鏡である。
画像センサは、少なくとも部分的に、光学分割システムから受信される光に基づいて画像データを生成するよう構成される。本システムはさらに、HDR画像および/またはビデオデータを生成するように画像センサからの画像データを処理するように構成される、HDR処理システムを備える。
いくつかの実施形態では、画像センサは、集積回路(IC)の基板上に固定される。いくつかの実施形態では、画像センサは、基板の一部に沿ってモノリシックに形成される。画像センサは、任意の公知のプロセスを介する同一の材料から形成されてもよく、限定ではないが、リソグラフィまたはエッチングを含む。いくつかの実施形態では、基板は、集積回路(IC)の一部に接合される。画像センサは、電荷接合素子(CCD)画像センサまたは相補型金属酸化膜半導体(CMOS)画像センサを含んでもよい。
いくつかの実施形態では、画像センサおよび光学分割システムは、モバイルデバイス内に融合される。モバイルデバイスは、限定ではないが、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの2つの組み合わせを含む、携帯型コンピューティングデバイスを含んでもよい。
請求される主題の特徴および利点は、それと一貫した実施形態の以下の発明を実施するための形態から明白となり、その説明は、付随の図面を参照して検討されるべきである。
図1は、本開示と一貫した、モバイルデバイスのための、HDR画像捕捉およびビデオ処理を提供するためのシステムのブロック図である。 図2は、図1の画像捕捉システムをさらに詳細に図示しているブロック図である。 図3は、同一平面状配列で固定される少なくとも2つの画像センサに向けて入射光を指向するビーム分割器の実施形態の概略図である。 図4Aおよび4Bは、画像センサを基板の表面内にモノリシックに形成するプロセスを図示する、基板の断面図である。 図5は、画像データの、画像捕捉サブシステムから画像処理サブシステムへの流れを含む、画像処理サブシステムをさらに詳細に例証するブロック図である。
本開示の完全な理解のために、前述の図面と併せて、添付の請求項を含む、以下の発明を実施するための形態を参照されたい。本開示は、例示的実施形態に関連して説明されるが、本開示は、本明細書に記載される特定の形態に限定されないことが意図される。種々の省略および均等物の代用が、状況が示唆または好都合と見なし得る場合、検討されることを理解されたい。
大要として、本開示は、概して、モバイルデバイス内に高ダイナミックレンジ(HDR)画像捕捉およびビデオ処理を提供するように構成される、光学システムに関する。光学システムは、少なくとも2つの画像センサを介して画像を捕捉するように構成される、画像捕捉サブシステムと、画像データをディスプレイまたは他のデバイスに記憶または出力されるHDRビデオデータに処理するように構成される、画像処理サブシステムとを含む。
光学システムは、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、またはデジタルモバイルカメラ等の小さなモバイルデバイスにおける使用のために最適な、小型の設計のものである。小型の設計は、画像捕捉サブシステムの構成要素の特定の配列の結果である。特に、画像捕捉サブシステムは、基板に同一平面状配列で固定される、少なくとも2つの画像センサと、モバイルデバイスのカメラの開口を通して受信される入射光の少なくとも約90%を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割モジュールとを含む。ビーム分割器は、2つの同一平面画像センサに、略同じ長さの光路を提供するために配列され、それによって、画像センサの相互の共位置合わせを維持している。
2つまたはそれを上回る画像センサの使用は、同一の画像のための異なる光レベルが2つの異なるセンサを介して同時に捕捉され得るという点で有利であり、単一の画像センサを使用して、連続的な方式で、異なるレベルを捕捉する従来システムと対照的である。故に、2つの画像センサのそれぞれからの画像データは、同時に処理され、それによって、リアルタイムまたは近リアルタイムの改善されるHDR画像およびビデオ処理をもたらし、さらに、フレーム毎の移動を考慮することができる。さらに、同一平面に沿った画像センサの設置は、画像センサが同一基板上で相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または、カメラの内部構成要素の移動をもたらし、かつ性能に影響を与え得る、相当量の衝撃に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。さらに、画像捕捉および画像処理サブシステムは、同一の集積回路(IC)を共有し得、それによって、さらにシステムの小型設計全体に適し、製造コストを低減し、かつ従来モバイルデバイスの中に相対的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。
図1は、モバイルデバイス10にHDR画像捕捉およびビデオ処理を提供するための、光学システム12のブロック図である。示されるように、システム12は、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラを含み得る、携帯型コンピューティングデバイス等の、カメラを有するモバイルデバイス10内に含まれてもよい。光学システム12は、概して、画像を捕捉するよう構成される、画像捕捉サブシステム14と、画像捕捉サブシステム14からの画像データをHDR画像およびビデオデータに処理するように構成される、画像処理サブシステム16とを含む。光学システム12はさらに、1つまたはそれを上回るプロセッサ18と、メモリ20と、画像捕捉サブシステム14によって捕捉される画像データをさらなる記憶情報(長期的または一時的)のために、収集かつ分析するためのアプリケーションプログラム22(ソフトウェア)とを含む。画像データの処理に応じて、画像処理サブシステム16はさらに、処理されたHDR画像またはビデオデータを、光学システム12、記憶装置26、またはディスプレイ28(例えば、モバイルデバイス10上のファインダまたはディスプレイ、モバイルデバイス10に結合される(有線または無線伝送を介して)別個のディスプレイ、または同等物)に結合されるI/Oデバイス24に出力してもよい。
図2は、図1の画像捕捉サブシステム14をさらに詳しく図示するブロック図である。示されるように、画像捕捉サブシステム14は、概して、光学分割モジュール32と、画像センサ34とを含んでもよい。光学分割モジュール32は、モバイルデバイス10のカメラの開口40を通して受信される入射光を受信するように構成され、入射光の一部を画像センサ34に提供する。画像センサ34は、入射光の一部に暴露されることに応じて、画像データを、その後のHDR画像およびビデオデータへの処理のために、画像処理サブシステム16に提供するように構成される。
例えば、図3に示されるように、光学分割モジュール32は、入射光を少なくとも2つの画像センサ34(1)および34(2)に向けて指向するように構成されるビーム分割器36を含む。2つの画像センサを伴って示されているが、本開示と一貫したシステムは、2つを上回る(すなわち、3、4、5、6...10、またはそれを上回る)画像センサを含んでもよいことに留意されたい。全体を通して使用されるように、用語「ビーム分割器」は、概して、限定ではないが、部分的反射鏡、プリズム、薄膜、および/または1つまたはそれを上回る光学被膜または層を含む、入射光の伝送および反射の両方が可能である、部分的反射光学要素を指す。故に、図3に示されるように、ビーム分割器36は、部分的に反射する広帯域被膜を用いて第1表面37a上に被膜されてもよく、また、反射防止被膜を用いて第2表面37b上に被膜されてもよい。光学分割モジュール32はさらに、本明細書においてさらに詳細に説明されるであろうように、光の一部を画像センサ34(1)および34(2)に向けて反射するように構成される、第1および第2の反射部材38、40を含む。
示されるように、第1および第2の画像センサ34(1)、34(2)は、基板42に同一平面状配列で固定されてもよい。いくつかの実施形態では、基板42は、集積回路(IC)に固定されてもよい(例えば、モノリシック接合技術を用いて)。本明細書においてさらに詳細に説明されるであろうように、第1および第2の画像センサ34(1)、34(2)は、基板42の一部に沿ってモノリシックに形成される等(図4Aおよび4Bに示される)、同一材料から、かつ同一基板上に形成されてもよい。全体を通して使用されるように、用語「画像センサ」は、概して、検出器、光学検出器、センサ、CMOSセンサ、CCDセンサ、線形検出器アレイ、フィルム、セルロイド、または任意の他の感光性媒体もしくはデバイスを指してもよい。故に、本明細書において説明される実施形態では、第1および第2の画像センサ34(1)、34(2)は、光検出要素(例えば、ピクセル)のアレイを含む、電荷接合素子(CCD)画像センサまたは相補型金属酸化膜半導体(CMOS)画像センサを含んでもよい。光学分割モジュール32によって反射される入射光に暴露されることに応じて、第1および第2のセンサ34(1)、34(2)は、画像データを、少なくとも部分的に、そこに暴露される光の強度に基づいて生成するように構成される。ひいては、画像データは、次いで、処理されたHDR画像および/またはビデオデータに処理および変換するために、画像処理サブシステム16に伝達される。
図3に示されるように、入射光46は、ビーム分割器36に向けて光路に沿って進む。ビーム分割器36は、入射光の第1の部分48を第1の反射部材38に伝送するように構成される。ひいては、第1の反射部材38は、光路50によって示されるように、反射表面を用いて、入射光の第1の部分48を、画像センサの少なくとも1つ(第2の画像センサ34(2)として示される)に向けて反射するように構成される。
ビーム分割器36はさらに、第1の表面37a上の部分的反射被膜に起因して、入射光の第2の部分52を第2の反射部材40にさらに反射するように構成される。第2の反射部材40は、光路54によって示されるように、反射表面を用いて、入射光の第2の部分52をビーム分割器36に向けて反射し返すように構成される。ひいては、ビーム分割器36は、光路56によって示されるように、反射される入射光の第2の部分(54によって示される)の大部分を少なくとも1つの画像センサ(第1の画像センサ34(1)として示される)上に伝送する。
故に、本発明のビーム分割器36は、最初にそこから反射された光を受信するような方式で構成される。例えば、本明細書の前述で説明されたように、ビーム分割器3は、入射光46の少なくとも一部(部分52)を反射部材(第2の反射部材40)に反射させるように構成され、ひいては、光のその部分を、ビーム分割器36を通して画像センサ34(1)および34(2)に伝送されるように、ビーム分割器36に反射し返す。
ビーム分割器36は、部分的には本発明のHDR捕捉スキームにおけるその使用に起因して、低反射率表面の結果として、光の同一部分を反射し、かつその後受信するように構成される。本構成は、捕捉スキームが、色分離、または、例えば、50/50のビーム分割設定でさえ含む場合、可能ではないであろう。ビーム分割器36は、概して、少なくとも90%の透過率と、10%の反射率とを含み得る。したがって、画像センサ(センサ34(2))が、光の第1の部分48(例えば、入射光46全体の90%)の全体に暴露され得るように、ビーム分割器36を通した入射光の第1の部分48の透過およびその後のその反射(第1の反射部材38を介した)は、妨害され得ない。入射光の第2の部分52は、ビーム分割器36に向けてかつそれを通して指向され返されるとき、画像センサ(センサ34(1))が光52の第2の部分のほぼ全体に暴露され得るように、僅かに低下し得る(例えば、光52の第2の部分は、入射光46全体の10%から9%に低下し得る)。したがって、光学分割モジュール32の構成は、特に、同一平面状画像センサ34(1)および34(2)に対するビーム分割器36の設計は、モバイルデバイス10上のカメラの開口30を通して受信される入射光46の大部分(例えば、少なくとも98%)が、画像センサ34(1)および34(2)に提供されることを可能にする。
50/50ビーム分割器構成は、本発明の設計と比較されるとき、そのような高率の光捕捉を提供することはできないであろう。例えば、50/50ビーム分割器設計を用いると、最初は、光の50%が伝送される一方、50%が反射されるであろう。光の反射される部分は、ビーム分割器を通してその中に再指向されるとき、入射光全体の約25%に低下して終了し、それによって、入射光の25%の損失を引き起こすであろう。
本発明の光学分割モジュール32の構成は、いくつかの現行のスキームに提供されるように、光の反射される部分をビ−ム分割器を迂回させる代わりに、光の反射される部分をビーム分割器を通して直線的に指向することによって、本発明が、著しい空間節約(例えば、撮像レンズからセンサまでの全光路長の削減)を成し遂げることができるという点で、光捕捉の相当量の改善を提供する。故に、本発明のシステム12は、より低いf数(より大きな光採集能力)を有するレンズと互換性がある。さらに、光学分割モジュール32の設計は、現行の光捕捉システムおよび設計がそうであるように(例えば、いくつかの設計は、センサに向けて提供されるための反射される光を、ビーム分割器を迂回させる結果になる)、入射光46の最初のビームが「細く」あることを必要としない。したがって、本発明のシステム12は、現行システムが直面する、撮像レンズの射出瞳サイズおよび場所をさらに制限する、ビーム幅に関する制限を受けない。
さらに、光学分割モジュール32および同一平面状画像センサ34(1)、34(2)の特定の構成は、本発明のシステム12が、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの2つの組み合わせ等の、モバイルデバイス内に融合されることを可能にする。例えば、モバイル用途では、撮像レンズは、多くの場合、最も外側のレンズ要素の要求されるサイズを減少させるためにレンズの前面において等、レンズの背面から比較的に遠く離れて位置される開口絞り(すなわち、瞳)を伴って設計される。しかしながら、上述で説明されるように、現行の撮像システムは、撮像レンズの開口絞りが、レンズの前面に位置される環境内で機能できないので、現行の画像捕捉システムは、十分な設計を欠き、かつモバイル使用と互換性がない。光学分割モジュール32および同一平面状画像センサ34(1)、34(2)の特定の構成は、システム12が、そのような配列内で機能することを可能にし、したがって、システム12が、モバイルデバイスカメラ内で撮像する等、より小さいシステム用途とより互換性があるようになることを可能にする。
上述で説明されるように、入射光の第1および第2の部分48、52は、異なる強度レベルを有し得る。例えば、いくつかの実施形態では、第1の部分48は、入射光46の96%を含み得る一方、第2の部分52は、入射光46の約4%を含み得る。第2の画像センサ34(2)が入射光の96%に暴露され得るように、入射光の第1の部分の反射は、妨害され得ない。ビーム分割器36を介した伝送に起因して、第1の画像センサ34(1)に暴露される、伝送される入射光の第2の部分は、4%より僅かに小さくあってもよい(例えば、オリジナルの4%の96%、すなわち、3.84%)。したがって、全体で、モバイルデバイス10上のカメラの開口30を通して受信される入射光46の約99%を超えるものが、画像センサ34(1)および34(2)上に反射される。反射部材38、40等の鏡の反射率値は、100%より低くあり得、画像センサ34(1)および34(2)上に反射される光全体を、本実施例では、99%から減少させ得ることに留意されたい。ビーム分割器36は、最初に伝送および反射される光の部分を調節するために、調整される、または別様に、異なる透過率/反射率物性を有するビーム分割器に取って代わられるように構成されることに留意されたい。例えば、ビーム分割器は、入射光の90%を第1の反射器38に向けて伝送し、入射光の10%を第2の反射器40に向けて反射してもよい。
第1および第2の画像センサ34(1)、34(2)は、同一平面状配列で固定されるため、両者は、略同一量の光露光時間、但し、異なる強度で受けるように構成される。例えば、ビーム分割器36と、第1および第2の反射器部材38、40との配列に起因して、画像センサ34(1)は、概して、入射光の約3.84%を含む、入射光の第2の部分に暴露される一方、画像センサ34(2)は、入射光の約96%である、入射光の第1の部分に暴露される。したがって、画像センサ34(1)および34(2)は実質的に異なる光レベルを伴う、実質的に等しい画像を同時に捕捉するように構成される。ビーム分割器36と、第1および第2の反射部材38、40との特定の配列は、入射光路50および56が略同一の長さを有することをもたらし、それによって、画像センサ34(1)および34(2)の相互に等しい焦点を維持する。等しい焦点は、いくつかの理由のために、重要である。例えば、画像センサ34(1)および34(2)のそれぞれによって受信される光ビームの同一の長さを維持することによって、画像センサ34(1)および34(2)のそれぞれの画像データ間の唯一の違いは、光強度であるため、画像センサ34(1)および34(2)によって捕捉される画像データは、構造において空間的および時間的に等しい。
故に、画像センサ34(1)および34(2)のそれぞれからの画像データは、次いで、同時に処理されるために画像処理サブシステムに伝送されることができる。連続的な方式とは対照的に、画像データを同時に処理することによって、現行のシステムは、画像センサからの画像データのセットのそれぞれが、関連付けられる光強度のレベルがなければ等しいため、リアルタイムまたは近リアルタイムの改善されるHDR画像およびビデオ処理を可能にする。したがって、各セットは、比較的高い光レベル(例えば、画像センサ34(2)からの96%)を伴う画像データと、比較的低い光レベル(例えば、画像センサ34(1)からの3.84%)を伴う画像データとを含み、処理は、単一のフレームの捕捉の間、直ちに実施されることができる。これは、代替の方法(例えば、高光レベルを伴うフレームを捕捉し、次いで、低光レベルを伴うフレームを捕捉し、その後、高光レベルを伴うフレームを捕捉する等)で異なる光強度で単一フレームを捕捉するための単一の画像センサに依拠し、処理が、少なくとも2つの異なるフレームが捕捉されるまで発生することができなかった、いくつかの現行のシステムよりも大幅に改善される。
図4Aおよび4Bは、画像センサ34(1)および34(2)を基板42の表面内に形成するプロセスを図示する基板42の断面図である。前述で説明されたように、画像センサ34(1)および34(2)は、基板42上に同一平面状配列で固定されてもよい。いくつかの実施形態では、画像センサは、任意の公知の技術を介して基板上に形成されてもよい。例えば、画像センサが相補型金属酸化膜半導体(CMOS)デバイスである場合は、画像センサは、画像センサが基板42の一部としてモノリシックに形成される、任意の公知のアディティブ法、エッチング、またはリソグラフィ技術によって形成されてもよい。画像センサを基板の一部として形成することは、画像センサを相互に同一平面状配列で正確に設置することを可能にする。
画像センサを、基板上の同一平面に沿って設置することは、画像センサが同一基板上に相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または相当量の衝撃(例えば、スマートフォンを地上に落下させる、そのような移動または衝撃がカメラの内部構造要素の移動をもたらし、かつ性能に影響を与える運動活動または同等物の間の、モバイルカメラおよび物体間の衝撃)に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。
基板42はさらに、ICに接合されてもよく、例えば、光学システム12の1つまたはそれを上回る他の構成要素は、その上に設置されてもよい。例えば、いくつかの実施形態では、画像捕捉および画像処理サブシステム14および16の両方は、同一の集積回路(IC)を共有してもよく、それによって、さらに、システムの小型設計全体に適し、製造コストを低減し、かつ既存のモバイルデバイスの中に比較的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。
図5は、画像処理サブシステム16をさらに詳細に図示するブロック図であり、画像捕捉サブシステム14から画像処理サブシステム16への画像データの流れを含む。示されるように、画像処理サブシステム16は、複数の画像センサ34(1)−34(n)からの画像データを受信するように構成されてもよい。画像処理サブシステム16は、HDRビデオデータを生成するように、画像データ(例えば、HDR融合、H.264またはJPEG圧縮、トーンマッピング、残留HDRピクセル値等)の処理および圧縮技術を提供するように構成される構成要素を含んでもよい。本実施例では、画像センサ34(1)−34(n)からの画像データは、同期モジュール58に伝送される。画像データは、検出される色強度を指示する1つまたはそれを上回るピクセルからのピクセル値等の、捕捉される画像および光強度に関連する情報を含んでもよい。同期モジュール58は、ピクセル信号を相互に同期させるように構成され、ピクセル信号は、その時点で、次いで、色処理モジュール60に送信される。色処理モジュール60は、限定ではないが、線形化モジュール、色を整合させるプロセスを実行する色整合モジュール、色を補正させるプロセスを実行する色補正モジュールを含む、追加処理ステップを実施するために構成される、1つまたはそれを上回るサブモジュールを含んでもよい。色整合プロセスの目的は、2016年2月12日に出願された出願第62/294,820号(その内容は、参照することによって本明細書に組み込まれる)で議論される構成要素および処理を含む、1つのセンサから次のセンサへの色情報を保存する方法で、複数のセンサからの画像を、一度に2つの画像を融合する段階を経て、ともに融合することである。色補正情報は、次いで、例えば、トーンマッピングオペレータ(TMO)モジュール62によって、HDRビデオデータが次いでI/Oデバイス24、記憶装置26、および/またはディスプレイ28に伝送され得る時点で、追加処理を随意に受けることができる。
本明細書の任意の実施形態において使用されるように、用語「モジュール」は、前述の動作のいずれかを行うように構成される、ソフトウェア、ファームウェア、および/または回路を指し得る。ソフトウェアは、非一過性コンピュータ可読記憶媒体上に記録される、ソフトウェアパッケージ、コード、命令、命令セット、および/またはデータとして具現化されてもよい。ファームウェアは、メモリデバイス内でハードコード化される(例えば、不揮発性)、コード、命令もしくは命令セット、および/またはデータとして具現化されてもよい。「回路」は、本明細書の任意の実施形態において使用されるように、例えば、単独で、または任意の組み合わせにおいて、有線回路、1つまたはそれを上回る個々の命令処理コアを備えるコンピュータプロセッサ等のプログラマブル回路、状態機械回路、および/またはプログラマブル回路によって実行される命令を記憶するファームウェアを備えてもよい。モジュールは、集合的に、または個々に、例えば、集積回路(IC)、システムオンチップ(SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォン等、より大きいシステムの一部を形成する、回路として具現化されてもよい。
本明細書に説明される動作のいずれも、その上に記憶される、個々に、または組み合わせて、1つまたはそれを上回るプロセッサによって実行されると方法を行う命令を有する、1つまたはそれを上回る記憶媒体を含む、システム内に実装されてもよい。ここでは、プロセッサは、例えば、サーバCPU、モバイルデバイスCPU、および/または他のプログラマブル回路を含んでもよい。
また、本明細書に説明される動作は、1つを上回る異なる物理的場所において、処理構造等の複数の物理的デバイスを横断して分散されてもよいことが意図される。記憶媒体は、任意のタイプの有形媒体、例えば、ハードディスク、フロッピー(登録商標)ディスク、光ディスク、コンパクトディスク読取専用メモリ(CD−ROM)、書換可能コンパクトディスク(CD−RW)、ならびに磁気光ディスク、読取専用メモリ(ROM)等の半導体デバイス、動的および静的RAM等のランダムアクセスメモリ(RAM)、消去可能プログラマブル読取専用メモリ(EPROM)、電気的に消去可能なプログラマブル読取専用メモリ(EEPROM)、フラッシュメモリ、固体ディスク(SSD)、磁気もしくは光学カード、または電子命令を記憶するために好適な任意のタイプの媒体を含む、任意のタイプのディスクを含んでもよい。他の実施形態は、プログラマブル制御デバイスによって実行される、ソフトウェアモジュールとして実装されてもよい。記憶媒体は、非一過性であってもよい。
本明細書に説明されるように、種々の実施形態は、ハードウェア要素、ソフトウェア要素、または任意のそれらの組み合わせを使用して実装されてもよい。ハードウェア要素の実施例は、プロセッサ、マイクロプロセッサ、回路、回路要素(例えば、トランジスタ、レジスタ、コンデンサ、インダクタ等)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等を含んでもよい。
本明細書全体を通して、「一実施形態」または「ある実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも、一実施形態に含まれることを意味する。したがって、本明細書全体を通した種々の場所における語句「一実施形態では」または「ある実施形態では」の表出は、必ずしも、同一の実施形態を参照するわけではない。さらに、特定の特徴、構造、または特性は、1つまたはそれを上回る実施形態において任意の好適な様式で組み合わせられてもよい。
本明細書で採用される用語および表現は、限定ではなく、説明の観点において使用され、そのような用語ならびに表現の使用において、図示および説明される特徴(またはその一部)のいかなる均等物も除外することを意図するものではなく、種々の修正が、請求項の範囲内で可能性として考えられることが認識される。故に、請求項は、全てのそのような均等物を網羅するものと意図される。
参照による引用
特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
均等物
本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。

Claims (19)

  1. 高ダイナミックレンジ(HDR)画像捕捉のためのデバイスであって、前記デバイスは、
    基板に同一平面状配列で固定される、少なくとも2つの画像センサと、
    前記デバイスの開口を通して受信される入射光の少なくとも約90%を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割システムと
    を備える、デバイス。
  2. 前記光学分割システムは、入射光の第1の部分を第1の反射部材に伝送し、かつ入射光の第2の部分を第2の反射部材に反射するように構成されるビーム分割器を備え、前記第1および第2の反射部材は、入射光を前記画像センサ上に反射させる、請求項1に記載のデバイス。
  3. 入射光の前記第1の部分は、前記デバイスの前記開口に入る光の約96%を含む、請求項2に記載のデバイス。
  4. 入射光の前記第2の部分は、前記デバイスの前記開口に入る光の約4%を含む、請求項2に記載のデバイス。
  5. 前記ビーム分割器は、前記第2の反射部材からの入射光の前記第2の部分を前記画像センサに伝送するように位置付けられる、請求項2に記載のデバイス。
  6. 前記第1および第2の反射部材のそれぞれは、反射被膜を有する基板を備える、請求項2に記載のデバイス。
  7. 前記第1および第2の反射部材は、鏡である、請求項6に記載のデバイス。
  8. 前記画像センサは、可視光のスペクトルの異なる部分を検出するように構成される、請求項1に記載のデバイス。
  9. 前記デバイスの前記開口を通して受信される前記入射光の約95%を超えるものが、前記画像センサ上に反射される、請求項1に記載のデバイス。
  10. 前記画像センサは、少なくとも部分的に、前記光学分割システムから受信する光に基づいて画像データを生成するように構成される、請求項1に記載のデバイス。
  11. 前記画像センサからの前記画像データを処理するように構成されるHDR処理システムをさらに備える、請求項10に記載のデバイス。
  12. 前記画像センサは、集積回路の基板に固定される、請求項1に記載のデバイス。
  13. 前記画像センサは、前記基板の一部に沿ってモノリシックに形成される、請求項1に記載のデバイス。
  14. 前記基板は、集積回路の一部に接合される、請求項13に記載のデバイス。
  15. 前記画像センサは、電荷接合素子(CCD)画像センサまたは相補型金属酸化膜半導体(CMOS)画像センサである、請求項1に記載のデバイス。
  16. 前記画像センサおよび前記光学分割システムは、カメラを有するモバイルデバイス内に融合される、請求項1に記載のデバイス。
  17. 前記モバイルデバイスは、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの少なくとも2つのものの組み合わせから成る群から選択される、携帯型コンピューティングデバイスを含む、請求項16に記載のデバイス。
  18. 高ダイナミックレンジ(HDR)画像捕捉のためのデバイスであって、前記デバイスは、
    基板に同一平面状配列で固定される少なくとも2つの画像センサと、
    前記デバイスの開口を通して受信される入射光の少なくとも約90%を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される光学分割システムであって、前記光学分割システムは、入射光の一部が前記ビーム分割器を通して前記画像センサ上に伝送されるように、前記入射光の少なくとも一部を前記ビーム分割器に向けて反射し返すように構成される反射部材に反射させるように構成されるビーム分割器を備える、光学分割システムと
    を備える、デバイス。
  19. 高ダイナミックレンジ(HDR)画像捕捉のためのデバイスであって、前記デバイスは、
    基板に同一平面状配列で固定される少なくとも2つの画像センサと、
    前記デバイスの開口を通して受信される入射光の少なくとも約90%を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される、光学分割システムであって、前記光学分割システムは、ビーム分割器を備え、前記ビーム分割器は、前記入射光の第1の部分を前記画像センサ上に反射させるために、前記入射光の第1の部分を第1の反射部材に伝送するよう構成され、かつ前記入射光の前記第2の部分を前記ビーム分割器に反射し返し、それを通して、前記画像センサ上に伝送されるようにするために、前記入射光の第2の部分を第2の反射部材に反射するようさらに構成されている、前記光学分割システムと
    を備える、デバイス。
JP2018561190A 2016-02-12 2017-02-10 モバイルデバイスを用いたhdrビデオキャプチャのためのシステムおよび方法 Active JP6987391B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662294820P 2016-02-12 2016-02-12
US62/294,820 2016-02-12
US15/169,006 2016-05-31
US15/169,006 US10257393B2 (en) 2016-02-12 2016-05-31 Devices and methods for high dynamic range video
US15/169,012 US10257394B2 (en) 2016-02-12 2016-05-31 Combined HDR/LDR video streaming
US15/169,012 2016-05-31
US15/178,451 2016-06-09
US15/178,451 US10264196B2 (en) 2016-02-12 2016-06-09 Systems and methods for HDR video capture with a mobile device
PCT/US2017/017405 WO2017139600A1 (en) 2016-02-12 2017-02-10 Systems and methods for hdr video capture with a mobile device

Publications (2)

Publication Number Publication Date
JP2019512194A true JP2019512194A (ja) 2019-05-09
JP6987391B2 JP6987391B2 (ja) 2021-12-22

Family

ID=59560463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561190A Active JP6987391B2 (ja) 2016-02-12 2017-02-10 モバイルデバイスを用いたhdrビデオキャプチャのためのシステムおよび方法

Country Status (6)

Country Link
US (4) US10264196B2 (ja)
EP (1) EP3414763B1 (ja)
JP (1) JP6987391B2 (ja)
AU (1) AU2017217930B2 (ja)
CA (1) CA3016431A1 (ja)
WO (1) WO2017139600A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022540061A (ja) * 2019-07-03 2022-09-14 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
US11924528B2 (en) 2021-05-26 2024-03-05 Samsung Electronics Co., Ltd. Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same
JP7482170B2 (ja) 2021-05-26 2024-05-13 三星電子株式会社 映像獲得装置及び電子装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9618746B2 (en) 2010-11-19 2017-04-11 SA Photonics, Inc. High resolution wide field of view digital night vision system
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US11378801B1 (en) * 2017-05-25 2022-07-05 Vision Products, Llc Wide field of view night vision system
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
CN109672808A (zh) * 2018-05-23 2019-04-23 李芝宏 光分流式多传感器摄像系统及方法
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
JP7137544B2 (ja) * 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN111045218B (zh) * 2019-12-31 2022-02-22 上海禾赛科技有限公司 一种感光元件
US11341621B2 (en) * 2020-03-04 2022-05-24 GM Global Technology Operations LLC Enhanced imaging system for a motor vehicle
US11425402B2 (en) * 2020-07-20 2022-08-23 Meta Platforms, Inc. Cross-codec encoding optimizations for video transcoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 外科手術器具の画像取込み装置

Family Cites Families (320)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR956025A (ja) 1946-12-14 1950-01-23
US2642487A (en) 1947-02-28 1953-06-16 Rca Corp Component color separator
US2971051A (en) 1958-12-08 1961-02-07 Frank G Back Varifocal, long back-focal lens for color television
NL254460A (ja) 1960-08-02
US3381084A (en) 1964-06-01 1968-04-30 Mannie Feigenbaum Color television camera optical system
US3474451A (en) 1967-04-10 1969-10-21 William E Abel Loop antenna circuit coupling multiple transmitters
US3601480A (en) 1968-07-10 1971-08-24 Physics Int Co Optical tunnel high-speed camera system
US3653748A (en) 1968-12-26 1972-04-04 Int Video Corp Color divider for color video cameras
US3659918A (en) 1970-03-24 1972-05-02 Philips Corp Color separating prism system
US3668304A (en) 1970-06-29 1972-06-06 Bell Telephone Labor Inc Single pickup tube color television camera
GB1377627A (en) 1971-09-01 1974-12-18 Rank Organisation Ltd Beam splitting prisms
US3720146A (en) 1972-03-15 1973-03-13 Spectral Data Corp Multispectral camera
US3945034A (en) 1973-04-26 1976-03-16 Canon Kabushiki Kaisha Optical system for a color television camera
NL7400148A (nl) 1974-01-07 1975-07-09 Philips Nv Kleurensplitsend prismastelsel met enige opper- en die aan dichroitische lagen grenzen.
US4072405A (en) 1974-06-13 1978-02-07 Tokina Optical Co., Ltd. Prism system for use in tricolor separation
NL7511838A (nl) 1975-10-09 1977-04-13 Philips Nv Kleurscheidende prismacombinatie.
US4134683A (en) 1976-03-05 1979-01-16 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multispectral imaging and analysis system
JPS599888B2 (ja) 1977-01-27 1984-03-06 ソニー株式会社 色分解光学装置
JPS53124028A (en) 1977-04-05 1978-10-30 Sony Corp Solid state image pickup device
US4395234A (en) 1977-09-16 1983-07-26 Farrand Optical Co., Inc. Optical scanning probe with multiple outputs
US4268119A (en) 1979-01-22 1981-05-19 Bell & Howell Company Color-separating optical system
SE457754B (sv) 1981-07-01 1989-01-23 Barr & Stroud Ltd Icke fokuserande teleskop
US4396188A (en) 1981-07-15 1983-08-02 Dreissigacker Peter D Stationary rowing unit
US4584606A (en) 1983-09-01 1986-04-22 Olympus Optical Co., Ltd. Image pickup means
US4555163A (en) 1983-09-22 1985-11-26 Rca Corporation Complementary color splitting filters used in a color camera
JPS60213178A (ja) 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
SE455646B (sv) 1984-10-22 1988-07-25 Radians Innova Ab Fluorescensanordning
US4743011A (en) 1986-07-07 1988-05-10 Calvin Coffey Exercise rowing machine
US4916529A (en) 1986-11-14 1990-04-10 Canon Kabushiki Kaisha Imaging device utilizing solid-state image sensors combined with a beam-splitting prism
JPS63160489A (ja) 1986-12-24 1988-07-04 Mitsubishi Electric Corp 固体撮像装置
US5093563A (en) 1987-02-05 1992-03-03 Hughes Aircraft Company Electronically phased detector arrays for optical imaging
JPS6468190A (en) 1987-09-09 1989-03-14 Victor Company Of Japan Three-color separation optical system
US4805037A (en) 1987-10-15 1989-02-14 Eastman Kodak Company Image recording system
US5155623A (en) 1988-09-23 1992-10-13 At&T Bell Laboratories Arrangement for imaging multiple arrays of light beams
US5134468A (en) 1989-02-21 1992-07-28 Canon Kabushiki Kaisha Optical apparatus for varying the lengths of optical path of color component light beams
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5024530A (en) 1989-12-26 1991-06-18 Lockheed Missiles & Space Company, Inc. Multichannel telecentric filtered imager
US5646265A (en) 1990-01-11 1997-07-08 Isis Pharmceuticals, Inc. Process for the preparation of 2'-O-alkyl purine phosphoramidites
US5092581A (en) 1990-07-02 1992-03-03 Michael Koz Rowing exercise apparatus
JP2510768B2 (ja) 1990-07-05 1996-06-26 学校法人近畿大学 高速流速場測定用ビデオ撮影装置
DE4035145A1 (de) 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches system zur aufteilung einer reellen abbildung
DE4035144A1 (de) 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches strahlenteilersystem zur erzeugung einer mehrzahl von reellen abbildungen
US5272518A (en) 1990-12-17 1993-12-21 Hewlett-Packard Company Colorimeter and calibration system
JPH05134192A (ja) 1991-05-02 1993-05-28 Hughes Aircraft Co 多数の同時機能を有する光学系
JP2777847B2 (ja) 1991-08-30 1998-07-23 富士写真フイルム株式会社 撮像装置および方法ならびに画像処理装置および方法
US5153621A (en) 1991-10-31 1992-10-06 Nview Corporation Optical system for projecting multiple images in adjoining relation without illuminance discontinuities
US5355165A (en) 1992-08-06 1994-10-11 Princeton Scientific Instruments, Inc. Very high frame rate CCD imager
US5275518A (en) 1993-01-29 1994-01-04 C. D. Sparling Company Hand rail fastener
JPH06335006A (ja) 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3385432B2 (ja) 1993-09-29 2003-03-10 株式会社ニュークリエイション 検査装置
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
GB2284273B (en) * 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
US5707322A (en) 1994-02-28 1998-01-13 Concept Ii, Inc. Exercise machine
US5644432A (en) 1995-01-17 1997-07-01 Ibm Corporation Three prism color separator
US5929908A (en) 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JPH08220585A (ja) 1995-02-13 1996-08-30 Nikon Corp 電子カメラ
JPH08233658A (ja) 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7426437B2 (en) 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
US5642191A (en) 1995-07-20 1997-06-24 Lockheed Missiles & Space Company, Inc. Multi-channel imaging spectrophotometer
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US5881180A (en) 1996-02-08 1999-03-09 Sony Corporation Method and apparatus for the reduction of blocking effects in images
US5905490A (en) 1996-02-26 1999-05-18 Seiko Epson Corporation Generating color-correction look-up-table addresses by multi-level half-toning
US6011876A (en) 1997-02-26 2000-01-04 Raytheon Company System and method for converting an incoming image into electronic form
JPH10269616A (ja) 1997-03-19 1998-10-09 Fujitsu Ltd 光ピックアップ
US6058215A (en) 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
EP1019686B1 (en) 1997-07-12 2009-08-26 Roper Industries, Inc. Multi-spectral two-dimensional imaging spectrometer
US5900942A (en) 1997-09-26 1999-05-04 The United States Of America As Represented By Administrator Of National Aeronautics And Space Administration Multi spectral imaging system
JP3808610B2 (ja) 1997-10-21 2006-08-16 東芝テリー株式会社 撮像装置
JP2000019407A (ja) 1998-07-06 2000-01-21 Olympus Optical Co Ltd 結像光学系
AU4975399A (en) 1998-07-08 2000-02-01 Lennard H. Bieman Machine vision and semiconductor handling
US6614478B1 (en) 1999-04-30 2003-09-02 Foveon, Inc. Color separation prisms having solid-state imagers mounted thereon and camera employing same
JP2000338313A (ja) 1999-05-26 2000-12-08 Sony Corp 色分解プリズム
KR100363826B1 (ko) 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
US6429016B1 (en) 1999-10-01 2002-08-06 Isis Pharmaceuticals, Inc. System and method for sample positioning in a robotic system
JP2001136434A (ja) 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
US6215597B1 (en) 1999-11-17 2001-04-10 Duncan Technologies, Inc. Apparatus for forming a plurality of subimages having different characteristics
JP2003521748A (ja) 2000-02-02 2003-07-15 クビス・インク ピクセル化画像形成デバイスを用いて画像解像度を最適化するシステム及び方法
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6674487B1 (en) 2000-03-31 2004-01-06 Intel Corporation Controlling hue using a saturation control circuit
US6633683B1 (en) 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
US6646716B1 (en) 2000-07-27 2003-11-11 Eastman Kodak Company Method and apparatus for printing multiple simultaneous images onto a photosensitive media
US8719326B2 (en) 2003-08-18 2014-05-06 S.F. Ip Properties 14 Llc Adaptive data transformation engine
JP2002165108A (ja) 2000-11-28 2002-06-07 Fuji Photo Film Co Ltd 画像取得装置
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
WO2002085000A1 (en) 2001-04-13 2002-10-24 The Trustees Of Columbia University In The City Of New York Method and apparatus for recording a sequence of images using a moving optical element
JP4734768B2 (ja) 2001-06-04 2011-07-27 ソニー株式会社 撮影装置および方法、記録媒体、並びにプログラム
US6609795B2 (en) 2001-06-11 2003-08-26 3M Innovative Properties Company Polarizing beam splitter
US6856466B2 (en) 2001-07-05 2005-02-15 Science & Engineering Associates, Inc. Multiple imaging system
JP2003035881A (ja) 2001-07-25 2003-02-07 Minolta Co Ltd 画像表示装置
US20040125228A1 (en) 2001-07-25 2004-07-01 Robert Dougherty Apparatus and method for determining the range of remote objects
US20030048493A1 (en) 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US20030072011A1 (en) 2001-10-09 2003-04-17 Shirley Lyle G. Method and apparatus for combining views in three-dimensional surface profiling
US7049597B2 (en) 2001-12-21 2006-05-23 Andrew Bodkin Multi-mode optical imager
US7302104B2 (en) 2001-12-28 2007-11-27 Ricoh Co., Ltd. Smoothing tile boundaries of images encoded and decoded by JPEG 2000
US6954580B2 (en) 2002-03-01 2005-10-11 Jds Uniphase Corporation Optical receiver with high dynamic range
WO2003079093A2 (en) 2002-03-14 2003-09-25 Science & Engineering Associates, Inc. Multiple imaging system and method for designing same
US9428186B2 (en) 2002-04-09 2016-08-30 Intelligent Technologies International, Inc. Exterior monitoring for vehicles
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
MXPA05001880A (es) 2002-08-21 2005-06-03 Gentex Corp Metodos de adquisicion y procesamiento de imagen para control automatico de iluminacion exterior vehicular.
EP1395062A1 (en) 2002-09-02 2004-03-03 Thomson Licensing S.A. Color image pickup device
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US7307787B2 (en) * 2002-12-20 2007-12-11 Fuji Xerox Co., Ltd. Beam splitting prism, method of manufacturing beam splitting prism, and all-optical switching device
US20070182844A1 (en) * 2003-03-09 2007-08-09 Latia Imaging Pty Ltd Optical system for producing differently focused images
US6801719B1 (en) 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7535647B1 (en) * 2003-08-29 2009-05-19 Otten Iii Leonard John Beam splitters for, for instance, high efficiency spectral imagers
EP1697009A4 (en) 2003-09-15 2009-03-04 Matthew Duncan Roach SIMULATION RAMEUR
JP2005117524A (ja) 2003-10-10 2005-04-28 Canon Inc 画像処理システム
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US20060001761A1 (en) 2003-12-23 2006-01-05 Tessera, Inc. Hermetically sealed image sensor module and method of fabricating same
US20050151860A1 (en) 2004-01-08 2005-07-14 Silverstein D. A. Image sensing device and method
US7308159B2 (en) 2004-01-16 2007-12-11 Enuclia Semiconductor, Inc. Image processing system and method with dynamically controlled pixel processing
US8872914B2 (en) 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
US20050198482A1 (en) 2004-03-02 2005-09-08 Altek Corporation Central processing unit having a micro-code engine
JP4223420B2 (ja) * 2004-03-05 2009-02-12 メガビジョン株式会社 撮影装置
US20050219659A1 (en) 2004-03-31 2005-10-06 Shuxue Quan Reproduction of alternative forms of light from an object using digital imaging system
JP4594688B2 (ja) 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化/復号化システム、拡張画像圧縮伸張処理システム
US7483486B2 (en) 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
US7283307B2 (en) 2004-07-07 2007-10-16 Oasys Technology, Llc Common aperture vision system
JP4059233B2 (ja) 2004-07-23 2008-03-12 セイコーエプソン株式会社 画像表示装置およびプロジェクタ
US7397509B2 (en) 2004-08-27 2008-07-08 Micron Technology, Inc. High dynamic range imager with a rolling shutter
US7777199B2 (en) 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
US7138619B1 (en) 2004-09-28 2006-11-21 Rockwell Collins, Inc. Method and apparatus for coincident viewing at a plurality of wavelengths
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
WO2006062987A2 (en) 2004-12-09 2006-06-15 Inneroptic Technology, Inc. Apparatus, system and method for optically analyzing substrate
JP4985394B2 (ja) 2005-03-15 2012-07-25 オムロン株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CA2511220C (en) 2005-03-21 2012-08-14 Sunnybrook Technologies Inc. Multiple exposure methods and apparatus for electronic cameras
JP4766302B2 (ja) 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20060221209A1 (en) 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
US20060249652A1 (en) 2005-05-03 2006-11-09 Kyle Schleifer Methods and systems for pixilation processing of precision, high-speed scanning
US7387391B2 (en) 2005-05-20 2008-06-17 3M Innovative Properties Company Apparatus and method for mounting imagers on stress-sensitive polarizing beam splitters
US7454136B2 (en) 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
US7471451B2 (en) 2005-10-14 2008-12-30 Flir Systems, Inc. Multiple field of view optical system
JP4687492B2 (ja) 2006-02-14 2011-05-25 株式会社ニコン カメラ、撮像方法、露出演算装置およびプログラム
US20070189750A1 (en) 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP2007281816A (ja) 2006-04-05 2007-10-25 Shimadzu Corp カメラ装置
JP4469956B2 (ja) 2006-04-26 2010-06-02 独立行政法人産業技術総合研究所 多焦点撮像装置
US8880571B2 (en) 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US20080013051A1 (en) 2006-07-14 2008-01-17 3M Innovative Properties Company Polarizing beam splitters incorporating reflective and absorptive polarizers and image display systems thereof
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7903888B2 (en) 2006-08-08 2011-03-08 Canon Kabushiki Kaisha Image encoding apparatus and image decoding apparatus
KR100843087B1 (ko) 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US7551359B2 (en) * 2006-09-14 2009-06-23 3M Innovative Properties Company Beam splitter apparatus and system
TW200820123A (en) 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
KR20080038929A (ko) 2006-10-31 2008-05-07 삼성전기주식회사 적외선 차단막 일체형 렌즈 및 이를 이용한 카메라 모듈
KR100834763B1 (ko) 2006-11-14 2008-06-05 삼성전자주식회사 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
US7719674B2 (en) 2006-11-28 2010-05-18 Applied Materials South East Asia Pte. Ltd. Image splitting in optical inspection systems
US7714998B2 (en) 2006-11-28 2010-05-11 Applied Materials South East Asia Pte. Ltd. Image splitting in optical inspection systems
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US20080198235A1 (en) 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US20080198266A1 (en) 2007-02-20 2008-08-21 Seiko Epson Corporation Video output device, video output method, video output program, video processing system, video processing device, video processing method, and video processing program
US8323047B2 (en) * 2007-03-16 2012-12-04 Allied Precision Industries, Inc. Cordset assembly
US7731637B2 (en) 2007-05-11 2010-06-08 D Eredita Michael Simulated rowing machine
US8207931B2 (en) 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
JP5547632B2 (ja) * 2007-06-22 2014-07-16 アドバンスド テクノロジー マテリアルズ,インコーポレイテッド 太陽光吸着冷凍システムの構成要素およびそのような構成要素の作製方法
CN101344706B (zh) 2007-07-11 2010-09-15 宏达国际电子股份有限公司 可携式电子装置及可携式电子装置的照相模块
US8073647B2 (en) * 2007-07-25 2011-12-06 Redmere Technology Ltd. Self calibrating cable for high definition digital video interface
US8022994B2 (en) 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
DE102007046210A1 (de) * 2007-09-27 2009-04-02 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Erzeugung von Bildern mit erweiterter Dynamik
KR101385961B1 (ko) 2007-12-21 2014-04-16 삼성전자주식회사 영상신호의 색 노이즈 제거 장치 및 방법
US8723961B2 (en) 2008-02-26 2014-05-13 Aptina Imaging Corporation Apparatus and method for forming and displaying high dynamic range (HDR) images
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
US8441732B2 (en) 2008-03-28 2013-05-14 Michael D. Tocci Whole beam image splitting system
JP5631299B2 (ja) 2008-03-28 2014-11-26 コントラスト オプティカル デザイン アンド エンジニアリング,インク. 全ビーム画像スプリッタシステム
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8035711B2 (en) 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
JP5102374B2 (ja) 2008-06-19 2012-12-19 パナソニック株式会社 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
US8843938B2 (en) 2008-07-02 2014-09-23 International Business Machines Corporation Methods, systems, and computer program products for asynchronous resumption of a dataflow
JP5132517B2 (ja) 2008-10-22 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法
US7973940B2 (en) 2008-12-11 2011-07-05 Kowa Company Ltd. Optical object measurement apparatus
US20100172409A1 (en) 2009-01-06 2010-07-08 Qualcom Incorporated Low-complexity transforms for data compression and decompression
WO2010102135A1 (en) 2009-03-04 2010-09-10 Wagner Paul A Temporally aligned exposure bracketing for high dynamic range imaging
KR101346008B1 (ko) 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US8237813B2 (en) 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US20110028278A1 (en) 2009-06-09 2011-02-03 Roach Matthew D Dynamic Rowing Machine
WO2011014207A1 (en) * 2009-07-31 2011-02-03 University Of Utah Research Foundation Beam splitter module
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8340442B1 (en) 2010-02-12 2012-12-25 Pacific Data Images Llc Lossy compression of high-dynamic range image files
EP2539197B1 (en) 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8659683B1 (en) 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
US8622876B2 (en) 2010-04-01 2014-01-07 Rowing Innovations Inc. Rowing simulator
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
EP2577489A4 (en) 2010-06-02 2014-09-10 Onmobile Global Ltd METHOD AND APPARATUS FOR ADAPTING MULTIMEDIA CONTENT
US8947410B2 (en) 2010-06-07 2015-02-03 Prysm, Inc. Power calibration of multiple light sources in a display screen
US20130093805A1 (en) 2010-06-21 2013-04-18 Imax Corporation Double stacked projection
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8357899B2 (en) 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
JP6042814B2 (ja) 2010-10-01 2016-12-14 コンテックス・エー/エス イメージセンサの信号輝度マッチング法
US8699801B2 (en) 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
GB2501402B (en) 2010-12-21 2015-06-24 Syndiant Inc Spatial light modulator with storage reducer
EP2469295A1 (en) 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
CN102651442B (zh) 2011-02-23 2015-01-07 展晶科技(深圳)有限公司 发光二极管光源
JP2012204384A (ja) 2011-03-23 2012-10-22 Toshiba Corp 不揮発性半導体記憶装置およびその製造方法
US8593565B2 (en) 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP2012222550A (ja) 2011-04-07 2012-11-12 Sony Corp 再生装置および映像制作システム
US9013352B2 (en) 2011-04-25 2015-04-21 Saudi Arabian Oil Company Method, system, and machine to track and anticipate the movement of fluid spills when moving with water flow
US20140085422A1 (en) 2011-05-30 2014-03-27 Sony Ericsson Mobile Communications Ab Image processing method and device
US20120307893A1 (en) 2011-06-02 2012-12-06 Qualcomm Incorporated Fast computing of discrete cosine and sine transforms of types vi and vii
US8553109B2 (en) 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US8730330B2 (en) 2011-07-25 2014-05-20 Aptina Imaging Corporation Image sensors with dark pixels for real-time verification of imaging systems
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
JP5220172B2 (ja) * 2011-08-22 2013-06-26 キヤノン株式会社 画像取得装置、画像取得システム、および対物光学系
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR20130025137A (ko) 2011-09-01 2013-03-11 삼성전자주식회사 파노라마 촬상 렌즈 및 이를 이용한 파노라마 촬상 시스템
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
JP6407717B2 (ja) 2011-09-27 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
WO2013056016A1 (en) 2011-10-14 2013-04-18 Omron Corporation A method and apparatus for projective volume monitoring
JP5832855B2 (ja) 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
US9491372B2 (en) * 2011-11-23 2016-11-08 Nokia Technologies Oy Apparatus and method comprising a beam splitter
JP6019573B2 (ja) 2011-12-07 2016-11-02 セイコーエプソン株式会社 記録装置および画像処理方法
US9177988B2 (en) 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light
EP2620050B1 (en) 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
US9258468B2 (en) * 2012-02-15 2016-02-09 Fluxdata, Inc. Method and apparatus for separate spectral imaging and sensing
US9185307B2 (en) 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
US20130242138A1 (en) * 2012-03-15 2013-09-19 Canon Kabushiki Kaisha Enhanced resolution image capture
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
WO2013173669A1 (en) * 2012-05-18 2013-11-21 Thomson Licensing Native three-color images and high dynamic range images
JP5781978B2 (ja) 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
US8964040B2 (en) 2012-06-06 2015-02-24 Apple Inc. High dynamic range image registration using motion sensor data
US9489706B2 (en) 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
RU2652465C2 (ru) 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
JP6019964B2 (ja) 2012-09-10 2016-11-02 株式会社リコー 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
US9720231B2 (en) 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
US8975594B2 (en) 2012-11-09 2015-03-10 Ge Aviation Systems Llc Mixed-material multispectral staring array sensor
AU2012394396B2 (en) 2012-11-16 2019-01-17 Interdigital Vc Holdings, Inc. Processing high dynamic range images
KR101932587B1 (ko) 2012-11-20 2018-12-26 삼성전자주식회사 컬러-깊이 디모자이킹 영상 처리 장치 및 방법
US10255888B2 (en) 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9071765B2 (en) 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
US10271038B2 (en) 2013-01-15 2019-04-23 Disney Enterprise, Inc. Camera with plenoptic lens
CN104995911B (zh) 2013-02-15 2017-02-22 富士胶片株式会社 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
US9106851B2 (en) 2013-03-12 2015-08-11 Tower Semiconductor Ltd. Single-exposure high dynamic range CMOS image sensor pixel with internal charge amplifier
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN104125408B (zh) 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
JP2014220639A (ja) * 2013-05-08 2014-11-20 ソニー株式会社 撮像装置および撮像方法
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
TWI632810B (zh) 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
RU2654049C2 (ru) 2013-07-19 2018-05-16 Конинклейке Филипс Н.В. Транспортировка hdr метаданных
CN105593407B (zh) 2013-07-31 2019-01-08 奥克海德莱克斯控股有限公司 模块化电化学电池
US9654738B1 (en) 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
WO2015025309A1 (en) 2013-08-20 2015-02-26 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
US9712781B2 (en) 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
JP2016541140A (ja) 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
EP2873314B1 (en) 2013-11-19 2017-05-24 Honda Research Institute Europe GmbH Control system for an autonomous garden tool, method and apparatus
CN110920609B (zh) 2013-12-04 2023-08-22 移动眼视力科技有限公司 用于模仿前车的系统和方法
GB2521408B (en) 2013-12-18 2015-12-16 Imagination Tech Ltd Defective pixel fixing
KR102033882B1 (ko) 2014-01-07 2019-10-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들을 인코딩하고, 디코딩하고, 표현하기 위한 기법들
DE202015009982U1 (de) 2014-02-07 2022-08-02 Sony Group Corporation Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
CN106031172B (zh) 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
GB2526047B (en) 2014-02-27 2021-04-07 British Broadcasting Corp Method and apparatus for improved signal processing for high dynamic range
US9368535B2 (en) * 2014-02-28 2016-06-14 Semiconductor Components Industries, Llc Imaging systems with flip chip ball grid arrays
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9677840B2 (en) 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US20150296140A1 (en) 2014-04-11 2015-10-15 Grey Matter Fusion, Inc. Panoramic view blind spot eliminator system and method
DE102014207315A1 (de) * 2014-04-16 2015-10-22 Spheronvr Ag Kameraanordnung
JP2015210702A (ja) 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
GB201408618D0 (en) 2014-05-15 2014-06-25 Univ Warwick Compressing high dynamic range images
US9131150B1 (en) 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
WO2015199911A1 (en) * 2014-06-23 2015-12-30 Exxonmobil Upstream Research Company Methods and systems for detecting a chemical species
US20160007052A1 (en) 2014-07-03 2016-01-07 Anthem Digital Media, Inc. Live streaming broadcast service with artist and fan competitive reward system
US9344639B2 (en) 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
CN107148780B (zh) 2014-11-07 2020-06-16 索尼公司 发送装置、发送方法、接收装置和接收方法
KR101629825B1 (ko) 2014-12-04 2016-06-22 현대모비스 주식회사 Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
US10163195B2 (en) 2014-12-12 2018-12-25 Andrew Berlin Spatio-temporal differential synthesis ofdetail images for high dynamic range imaging
US20160191795A1 (en) 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
EP3043289B1 (en) 2015-01-07 2023-04-19 Honda Research Institute Europe GmbH Control system for an autonomous vehicle and a method for generating a control signal and autonomous vehicle equipped with such control system
US9560330B2 (en) 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
WO2016138428A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
JP6390512B2 (ja) 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US10880557B2 (en) 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US9974996B2 (en) 2015-06-23 2018-05-22 Contrast, Inc. Adaptor for an indoor rowing machine
US9998692B1 (en) * 2015-06-26 2018-06-12 The United States Of America As Represented By The Secretary Of The Navy Motion picture high dynamic range imaging
GB2539917B (en) 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
JP2017028490A (ja) 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9979895B2 (en) 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
US10839487B2 (en) 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US9826171B2 (en) 2015-10-29 2017-11-21 Novatek Microelectronics Corp. Apparatus and method for reconstructing high dynamic range video
US20170155873A1 (en) * 2015-11-30 2017-06-01 Sensors Unlimited, Inc. Sensor systems and methods
CN105472265B (zh) 2015-12-04 2018-12-14 中国神华能源股份有限公司 一种获取高动态范围图像的装置和方法
US9984446B2 (en) 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP6997461B2 (ja) 2016-02-12 2022-01-17 コントラスト, インコーポレイテッド 高ダイナミックレンジビデオのためのデバイスおよび方法
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10478720B2 (en) 2016-03-15 2019-11-19 Unity IPR ApS Dynamic assets for creating game experiences
US9488984B1 (en) 2016-03-17 2016-11-08 Jeff Williams Method, device and system for navigation of an autonomous supply chain node vehicle in a storage center using virtual image-code tape
EP3220645A1 (en) 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
US9459692B1 (en) 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
CN109076148B (zh) * 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
GB2549696A (en) 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
US9979906B2 (en) * 2016-08-03 2018-05-22 Waymo Llc Beam split extended dynamic range image capture system
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6726060B2 (ja) 2016-08-16 2020-07-22 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US10979729B2 (en) 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
US10165182B1 (en) 2016-12-29 2018-12-25 Scott Zhihao Chen Panoramic imaging systems based on two laterally-offset and vertically-overlap camera modules
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US10616512B2 (en) 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors
WO2020036957A1 (en) 2018-08-14 2020-02-20 Contrast, Inc. Image compression
CA3109667A1 (en) 2018-08-14 2020-02-20 Contrast, Inc. Image processing noise reduction
US20200320955A1 (en) 2019-04-03 2020-10-08 Contrast, Inc. Augmented reality systems
US11561776B2 (en) 2019-08-02 2023-01-24 Contrast, Inc. Code-independent graph technology

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 外科手術器具の画像取込み装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022540061A (ja) * 2019-07-03 2022-09-14 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
JP7356183B2 (ja) 2019-07-03 2023-10-04 レティノル カンパニー リミテッド 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
US11924528B2 (en) 2021-05-26 2024-03-05 Samsung Electronics Co., Ltd. Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same
JP7482170B2 (ja) 2021-05-26 2024-05-13 三星電子株式会社 映像獲得装置及び電子装置

Also Published As

Publication number Publication date
US20210044765A1 (en) 2021-02-11
US20170237913A1 (en) 2017-08-17
AU2017217930B2 (en) 2022-02-10
EP3414763A4 (en) 2019-09-18
CA3016431A1 (en) 2017-08-17
US10819925B2 (en) 2020-10-27
JP6987391B2 (ja) 2021-12-22
US20190238766A1 (en) 2019-08-01
US11637974B2 (en) 2023-04-25
US10264196B2 (en) 2019-04-16
EP3414763A1 (en) 2018-12-19
US20230262352A1 (en) 2023-08-17
EP3414763B1 (en) 2021-09-15
AU2017217930A1 (en) 2018-09-06
WO2017139600A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
US11637974B2 (en) Systems and methods for HDR video capture with a mobile device
US10311298B2 (en) Biometric camera
US11516391B2 (en) Multiple camera system for wide angle imaging
US11641524B2 (en) Electronic device and method for displaying image in electronic device
US20220232153A1 (en) Auto exposure for spherical images
EP4302476A1 (en) Dual image sensor package
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
KR102506363B1 (ko) 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법
US11330204B1 (en) Exposure timing control for multiple image sensors
US20220414847A1 (en) High dynamic range image processing
US11792505B2 (en) Enhanced object detection
US11877041B2 (en) Sensor with multiple focal zones
US11825207B1 (en) Methods and systems for shift estimation for one or more output frames
WO2023282963A1 (en) Enhanced object detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R150 Certificate of patent or registration of utility model

Ref document number: 6987391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150