JP2022008508A - ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 - Google Patents
ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 Download PDFInfo
- Publication number
- JP2022008508A JP2022008508A JP2021154653A JP2021154653A JP2022008508A JP 2022008508 A JP2022008508 A JP 2022008508A JP 2021154653 A JP2021154653 A JP 2021154653A JP 2021154653 A JP2021154653 A JP 2021154653A JP 2022008508 A JP2022008508 A JP 2022008508A
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital
- gain
- analog
- analog signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 16
- 206010034960 Photophobia Diseases 0.000 claims description 9
- 208000013469 light sensitivity Diseases 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 45
- 238000012545 processing Methods 0.000 description 39
- 238000003860 storage Methods 0.000 description 29
- 238000005286 illumination Methods 0.000 description 19
- 238000005070 sampling Methods 0.000 description 16
- 238000002156 mixing Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 239000000203 mixture Substances 0.000 description 9
- 239000003990 capacitor Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000009429 electrical wiring Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】システム100において、信号増幅器は、使用時、画像センサの少なくとも1つの画素から、画像と関連付けられている第1のアナログ信号104を受信する。次に、第1のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第1の増幅アナログ信号106を生成する。さらに、第2のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第2の増幅アナログ信号108を生成する。最後に、第1の増幅アナログ信号及び第2の増幅アナログ信号を送信する。
【選択図】図1
Description
本発明は写真撮影システムに関し、より特定的には、ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法に関する。
旧来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する1つの解決策は、高ダイナミックレンジ(HDR)写真撮影の使用である。HDR写真撮影は、同じシーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該多数の捕捉を併合してより大きいダイナミックレンジを有する画像を作成することを伴う。
ゼロのフレーム間時間で多重露光を得るためのシステム、方法、およびコンピュータプログラム製品が提供される。使用時、画像センサの少なくとも1つの画素から、画像と関連付けられている第1のアナログ信号が受信される。次に、第1のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第1の増幅アナログ信号が生成される。さらに、第2のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第2の増幅アナログ信号が生成される。最後に、第1の増幅アナログ信号および第2の増幅アナログ信号が送信される。
信号とがブレンドされる。
図1は、1つの可能な実施形態に従うゼロのフレーム間時間で多重露光を得るためのシステム100を示す。選択肢として、システム100は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム100は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
形態において、2つの異なるデジタル画像の各々は異なる露光レベルを表し得る。
含み得る光学シーン情報352が、カメラモジュール330内の画像センサ332上に光学画像として合焦される。画像センサ332は光学画像の電子表現を生成する。電子表現は空間色強度情報を含み、当該情報は異なる色強度サンプル(たとえば赤色、緑色および青色光等)を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線334を介してプロセッサ複合体310に送信される。
センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス314の一例であり得る。
グされた強度値の完全な範囲よりも狭い画像強度値のダイナミックレンジを表示することが可能であり得る。一実施形態において、画像スタックを含む画像は、任意の技術的に実行可能なHDRブレンド技術に従って併合されて、表示ユニット312のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の8ビット/カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、8ビットよりも多いビット(たとえば10ビット、12ビット、または14ビット等)/カラーチャネルバイナリ表現を指定してもよい。
:MCM)を含んでいてもよい。
00などのデジタル写真撮影システムを含むように構成されてもよい。示されるように、デジタルカメラ302はカメラモジュール330を含み、当該カメラモジュールは、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。
ット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール330はストロボユニット336が有効であることを検知し、次いで、ストロボユニット336が有効である間に、画像センサ332にストロボ照明を必要とする1つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ332は、ストロボユニット336宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待機するように構成されてもよい。
、色統計は、捕捉した画像についての画素データを伝送するのと共に伝送されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス386内で計算、記憶、またはキャッシュされてもよい。
な機能のタイミング、およびアプリケーションプロセッサ335と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ333は、露光、シャッタリング、ホワイトバランス、およびゲイン調整の1つ以上を制御するための回路を提供してもよい。コントローラ333の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ-デジタル変換の1つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ333は対応するデジタル画素データをアプリケーションプロセッサ335などに送信してもよい。
クリンク475がデータネットワーク474とデータセンタ480との間でデータを伝送するように構成されてもよい。
む行選択信号がアサートされたことに応答して、画素540(0)は、少なくとも1つのアナログ値を、画素540(0)のセル542~545から列信号532(0)を含む1つ以上の信号経路を通って列読出回路520送信することによって応答してもよく、同時に、画素540(a)も、少なくとも1つのアナログ値を、画素540(a)のセル542~545から列信号532(c)を含む1つ以上の信号経路を通って列読出回路520に送信することになる。当然、画素540(0)から少なくとも1つのアナログ値を受信するのと並行して、かつ画素540(a)から少なくとも1つのアナログ値を受信するのと並行して、1つ以上のアナログ値が1つ以上の他の画素540から列読出回路520において受信されてもよい。行534(0)を含む画素540から受信した1組のアナログ値は合わせてアナログ信号と称され得、このアナログ信号は画素アレイ510上に合焦される光学画像に基づいていてもよい。
て、シアン光強度を測定するための第1のセル(C)、マゼンタ光強度を測定するための第2のセル(M)、黄色光強度を測定するための第3のセル(Y)、および白色光強度を測定するための第4のセル(W)を含むとして示されている。
けられているフィルタに依存して、1つ以上の予め定められた光の波長を受信する。一実施形態において、各フォトダイオード562は、フィルタリングされた光の赤色、青色または緑色波長のみを受信する。図5B~図5Dに関して示されるように、フォトダイオードは赤色、緑色または青色以外の光の波長を検出するように構成されてもよいと考えられる。たとえば、具体的には図5C~図5Dの文脈において、フォトダイオードは、白色、シアン、マゼンタ、黄色、または赤外光もしくは紫外光などの不可視光を検出するように構成されてもよい。
グ画素データ623をデジタル画素データ625に変換してもよい。
に変換するためのシステム700を示す。選択肢として、システム700は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム700は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
じアナログ画素データ704に適用する。他の実施形態では、アナログ-デジタルユニット722は少なくとも2つのゲインをアナログ値に並列的に適用してもよい。たとえば、アナログ-デジタルユニット722は、第2のゲイン752をアナログ画素データ704に適用するのと並列的に、第1のゲイン652をアナログ画素データ704に適用してもよい。この目的で、少なくとも2つのゲインを適用する結果として、アナログ画素データ704は少なくとも第1のゲイン652および第2のゲイン752を利用して増幅される。
である。一実施形態において、2ストップ(stop)のゲインをアナログ画素データに適用すると、写真撮影シーンの暗い部分について視覚的に認識可能なノイズが、および写真撮影シーンの明るい部分について視覚的に認識不可能なノイズが付与され得る。別の実施形
態において、デジタル写真撮影デバイスは、捕捉された写真撮影シーンについてアナログ画素データのアナログ記憶面を提供し、次いでアナログ-デジタルユニット722を用いて同じアナログ画素データの少なくとも2つのアナログ-デジタルサンプリングを実行するように構成されてもよい。この目的で、デジタル画像が少なくとも2つのサンプリングのサンプリングごとに生成されてもよく、各デジタル画像は、すべてのデジタル画像が画像センサ上に合焦される単一の光学画像の同じアナログサンプリングから生成されているにもかかわらず、異なる露光で得られる。
ISO100と関連付けられているゲインを利用して生成されるデジタル画像は露光値-2(EV-2)で得られる露光または画像と称され得、ISO1600と関連付けられているゲインを利用して生成されるデジタル画像は露光値+2(EV+2)で得られる露光または画像と称され得る。
アナログ画素値がアナログ信号内で特定されて選択されてもよい。第2の画素は第1の画素の隣接画素であってもよい。たとえば、第2の画素は第1の画素と同じ行内にあり、画像センサの画素アレイ上で第1の画素に隣接して位置していてもよい。次に、第1のゲイン803、第2のゲイン805および第3のゲイン807の各々が、同じ第2のアナログ画素値に連続してまたは並行して適用されてもよい。この目的で、画素ごとのタイミング構成801において、複数の連続したアナログ画素値がアナログ信号内で特定されてもよく、1組の少なくとも2つのゲインが画素単位で当該アナログ信号内の各画素に適用される。
組の予め定められたゲインを、アナログ画素値の第1のラインに続いて増幅器に到着するアナログ画素値の第2のラインに適用する前に、当該1組の各ゲインを用いてアナログ画素値の第1のラインが増幅されるように、当該1組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図8の文脈において示されるように、これは、第1のゲインを選択すること、第1のゲインをアナログ画素値の受信した第1のラインに適用すること、第2のゲインを選択すること、第2のゲインをアナログ画素値の受信した第1のラインに適用すること、第3のゲインを選択すること、選択した第3のゲインをアナログ画素値の受信した第1のラインに適用すること、そして次いで、アナログ画素値の第2のラインを受信し、選択した3つのゲインを、アナログ画素値の第1のラインに適用したのと同じ順序でアナログ画素値の第2のラインに適用することを含んでいてもよい。一実施形態において、アナログ画素値の各ラインは複数回読出されてもよい。別の実施形態において、アナログ記憶面は、1本以上のラインのアナログ画素データ値を読出のために保持するように利用され得る。
に適用することを含んでいてもよい。別の実施形態において、第1のフレームと関連付けられているアナログ画素値に選択したすべての3つのゲインを適用したのに引き続いて、第2のフレームと関連付けられているアナログ画素値が受信されてもよく、次いで、選択した3つのゲインは、第1のフレームに適用されたのと同じ順序で第2のフレームと関連付けられているアナログ画素値に適用されてもよい。
てもよく、アナログ-デジタルユニット622(1)が2.0のゲインを適用するように構成されてもよく、アナログ-デジタルユニット622(n)が4.0のゲインを適用するように構成されてもよい上述の実施形態において、デジタル画素データ625(0)は最小露光の対応するデジタル画像を提供し得る。逆に、デジタル画素データ625(n)は最大露光のデジタル画像を提供し得る。別の実施形態において、デジタル画素データ625(0)はEV-1デジタル画像を生成するために利用されてもよく、デジタル画素データ625(1)はEV0デジタル画像を生成するために利用されてもよく、デジタル画素データ625(n)はEV+2画像を生成するために利用されてもよい。別の実施形態において、システム900は2:1:4の比で電流i1、i2およびi3を生成するように構成され、各アナログ-デジタルユニット622は1.0のゲインを適用するように構成されてもよく、この結果、対応するデジタル画像はそれぞれEV-1、EV-0およびEV+1の露光値を有する。そのような実施形態では、露光値のさらなる差は、1つ以上のアナログ-デジタルユニット622内に非ユニットゲイン(non-unit gain)を適用す
ることによって達成され得る。
18、メモリサブシステム362またはそれらのいずれかの組合せの内部に存在してもよい。別の実施形態において、UIシステム1000は、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピュータシステム内で実行される調整ツールによって生成される。少なくとも2つのデジタル画像はコンピュータシステムに送信されてもよく、または取付けられたカメラデバイスによって生成されてもよい。さらに別の実施形態において、UIシステム1000はクラウドベースのサーバコンピュータシステムによって生成されてもよく、当該サーバコンピュータシステムは少なくとも2つのデジタル画像をクライアントブラウザにダウンロードしてもよく、当該ブラウザは以下に説明する結合動作を実行してもよい。別の実施形態において、UIシステム1000はクラウドベースのサーバコンピュータシステムによって生成され、当該サーバコンピュータシステムは、モバイルデバイス内のデジタル写真撮影システムから少なくとも2つのデジタル画像を受信し、結合画像1020を生成するのと共に、以下に説明する結合動作を実行してもよい。
は、スライダコントロール1030が表示点1040-Aと表示点1040-Cとの間に位置決めされると、第1のデジタル画像および第2のデジタル画像について混合(たとえばブレンド)重みが計算されてもよい。第1のデジタル画像について、混合重みは、スライダコントロール1030が表示点1040-Cにあるときに0.0の値を有し、スライダコントロール1030が表示点1040-Aにあるときに1.0の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点1040-Cと1040-Aとの間に位置する0.0から1.0である。代わりに第2のデジタル画像の混合動作に関して、混合重みは、スライダコントロール1030が表示点1040-Aにあるときに0.0の値を有し、スライダコントロール1030が表示点1040-Cにあるときに1.0の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点1040-Aと1040-Cとの間に位置する0.0から1.0である。
ング標識を操作したことに応答して第1のデジタル信号および第2のデジタル信号がブレンドされてもよい。
もよい。さらに、上述の定義は以下の説明に等しく適用され得る。
イルデバイス376(0)は次いで、受信したHDR画像を表示してもよい。したがって、ワイヤレスモバイルデバイス376(0)のユーザは、データセンタ480によって計算されたHDR画像をワイヤレスモバイルデバイス376(0)のディスプレイ上で見ることができる。ゆえに、ワイヤレスモバイルデバイス376(0)がHDR画像処理をまったく実行しない場合でも、ユーザは、新たに計算されたHDR画像を、写真撮影シーンを捕捉して当該HDR画像が基づく少なくとも2つのデジタル画像を生成したほぼ直後に、ワイヤレスモバイルデバイス376(0)上で見ることができる。
に送信することは、他のワイヤレスモバイルデバイス376(1)が第2の計算画像にアクセス可能となるURLを送信することを含んでいてもよい。
計算画像へのアクセスを有する任意のユーザまたはデバイスには、少なくとも2つのデジタル画像に適用される処理を後で調整し、それによって新たな計算画像を生成する機会も与えられ得る。
Claims (20)
- 画像センサの少なくとも1つの画素から画像と関連付けられているアナログ信号を受信し、
第1のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第1の増幅アナログ信号を生成し、
第2のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第2の増幅アナログ信号を生成し、かつ、
前記第1の増幅アナログ信号および前記第2の増幅アナログ信号を送信する
ための回路を備える、装置。 - 前記装置は、前記アナログ信号が、前記第2のゲインを利用する前記アナログ信号の増幅と同時に前記第1のゲインを利用して増幅されるように動作可能である、請求項1に記載の装置。
- 前記装置は、前記アナログ信号が、前記第2のゲインを利用する前記アナログ信号の増幅と直列的に前記第1のゲインを利用して増幅されるように動作可能である、請求項1に記載の装置。
- 前記装置は、前記第1の増幅アナログ信号が前記画像と関連付けられている第1のデジタル信号に変換され、前記第2の増幅アナログ信号が前記画像と関連付けられている第2のデジタル信号に変換されるように動作可能である、請求項1に記載の装置。
- 前記第1の増幅アナログ信号は、前記第2の増幅アナログ信号の前記第2のデジタル信号への変換と並行して前記第1のデジタル信号に変換される、請求項4に記載の装置。
- 前記装置は、前記第1のデジタル信号に第1の光感度値が関連付けられており、前記第2のデジタル信号に第2の光感度値が関連付けられているように動作可能である、請求項4に記載の装置。
- 前記装置は、前記第1のデジタル信号および前記第2のデジタル信号がブレンドされるように動作可能である、請求項4に記載の装置。
- 前記装置は、前記第1のデジタル信号および前記第2のデジタル信号がユーザ入力に応答してブレンドされるように動作可能である、請求項4に記載の装置。
- 前記装置は、スライディング標識が表示され、ユーザが前記スライディング標識を操作したことに応答して前記第1のデジタル信号と前記第2のデジタル信号とがブレンドされるように動作可能である、請求項4に記載の装置。
- 前記装置は、前記第1のデジタル信号と前記第2のデジタル信号とが結合されることによって、高ダイナミックレンジ(HDR)画像の少なくとも一部が得られるように動作可能である、請求項4に記載の装置。
- 前記装置は、前記画像と関連付けられている前記第1のデジタル信号または前記第2のデジタル信号の少なくとも一方が別の画像の少なくとも一部とさらに結合されるように動作可能である、請求項4に記載の装置。
- 第1のデジタル値が前記第1のゲインを指定し、第2のデジタル値が前記第2のゲインを指定する、請求項1に記載の装置。
- 前記第1のデジタル値および前記第2のデジタル値の少なくとも一方は、前記第1のデジタル値および前記第2のデジタル値の前記少なくとも一方からISO値へのマッピングに基づいて選択され、前記ISO値は、前記装置上で実行されるソフトウェアおよびユーザの少なくとも一方によって選択される、請求項12に記載の装置。
- 前記装置は、前記別の画像が高ダイナミックレンジ(HDR)画像であるように動作可能である、請求項11に記載の装置。
- 前記第1の増幅アナログ信号および前記第2の増幅アナログ信号の各々は、前記画像センサの前記少なくとも1つの画素からの共通のアナログ値を表すゲイン調整されたアナログ画素データを含む、請求項1に記載の装置。
- 前記装置は、前記第1のデジタル信号または前記第2のデジタル信号の少なくとも一方をネットワーク上で転送するように動作可能である、請求項1に記載の装置。
- 前記装置は、前記第1のデジタル信号または前記第2のデジタル信号の少なくとも一方を遠隔で結合されるようにネットワークで転送することによって、高ダイナミックレンジ(HDR)画像の少なくとも一部が得られるように動作可能である、請求項1に記載の装置。
- 前記装置は、前記第1のデジタル信号または前記第2のデジタル信号の少なくとも一方を遠隔で結合されるようにネットワーク上で転送し、前記結合によって得られる高ダイナミックレンジ(HDR)画像の少なくとも一部を受信するように動作可能である、請求項1に記載の装置。
- 非一時的なコンピュータ読取可能媒体上で具体化されたコンピュータプログラム製品であって、
画像センサの少なくとも1つの画素からの画像と関連付けられているアナログ信号の受信を可能にするためのコードと、
第1のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第1の増幅アナログ信号を生成するためのコードと、
第2のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第2の増幅アナログ信号を生成するためのコードと、
前記第1の増幅アナログ信号および前記第2の増幅アナログ信号を送信するためコードとを備える、コンピュータプログラム製品。 - 画像センサの少なくとも1つの画素から画像と関連付けられているアナログ信号を受信することと、
第1のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第1の増幅アナログ信号を得ることと、
第2のゲインを利用して前記アナログ信号を増幅することによって、前記画像と関連付けられている第2の増幅アナログ信号を得ることと、
前記第1の増幅アナログ信号および前記第2の増幅アナログ信号を送信することとを備える、方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/534,079 US9137455B1 (en) | 2014-11-05 | 2014-11-05 | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
US14/534,079 | 2014-11-05 | ||
PCT/US2015/058895 WO2016073527A1 (en) | 2014-11-05 | 2015-11-03 | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
JP2017544280A JP7000157B2 (ja) | 2014-11-05 | 2015-11-03 | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544280A Division JP7000157B2 (ja) | 2014-11-05 | 2015-11-03 | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022008508A true JP2022008508A (ja) | 2022-01-13 |
Family
ID=54063678
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544280A Active JP7000157B2 (ja) | 2014-11-05 | 2015-11-03 | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
JP2021154653A Pending JP2022008508A (ja) | 2014-11-05 | 2021-09-22 | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544280A Active JP7000157B2 (ja) | 2014-11-05 | 2015-11-03 | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9137455B1 (ja) |
EP (2) | EP3216210A4 (ja) |
JP (2) | JP7000157B2 (ja) |
WO (1) | WO2016073527A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
US8976264B2 (en) | 2012-09-04 | 2015-03-10 | Duelight Llc | Color balance in digital photography |
US9807322B2 (en) | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
US10477087B2 (en) | 2017-11-16 | 2019-11-12 | Duelight Llc | System, method, and computer program for capturing a flash image based on ambient and flash metering |
US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
US9654699B2 (en) | 2015-07-02 | 2017-05-16 | Omnivision Technologies, Inc. | High dynamic range imaging with reduced frame buffer |
US9743025B2 (en) | 2015-12-30 | 2017-08-22 | Omnivision Technologies, Inc. | Method and system of implementing an uneven timing gap between each image capture in an image sensor |
CN106023929B (zh) * | 2016-07-20 | 2018-08-24 | 深圳市华星光电技术有限公司 | 显示装置的白平衡调整方法及其系统 |
EP3507765A4 (en) | 2016-09-01 | 2020-01-01 | Duelight LLC | SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION |
US10616516B2 (en) * | 2016-09-30 | 2020-04-07 | Planet Labs Inc. | Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor |
US10636362B2 (en) * | 2018-04-09 | 2020-04-28 | Apple Inc. | Radio frequency signal emission induced display artifact mitigation systems and methods |
JP7378951B2 (ja) * | 2018-06-19 | 2023-11-14 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
CN116249026B (zh) * | 2023-05-12 | 2023-08-08 | 深圳深浦电气有限公司 | 图像传感器的信号处理装置和方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
JP2001245213A (ja) * | 2000-02-28 | 2001-09-07 | Nikon Corp | 撮像装置 |
JP2004328532A (ja) * | 2003-04-25 | 2004-11-18 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置及び画像記録装置 |
US20060177150A1 (en) * | 2005-02-01 | 2006-08-10 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
US20080218611A1 (en) * | 2007-03-09 | 2008-09-11 | Parulski Kenneth A | Method and apparatus for operating a dual lens camera to augment an image |
JP2009303010A (ja) * | 2008-06-16 | 2009-12-24 | Mitsubishi Electric Corp | 撮像装置及び撮像方法 |
JP2010016416A (ja) * | 2008-06-30 | 2010-01-21 | Canon Inc | 撮像システムおよび撮像システムの駆動方法 |
US20100265079A1 (en) * | 2009-04-16 | 2010-10-21 | Ping-Hung Yin | Readout System and Method for an Image Sensor |
JP2011120094A (ja) * | 2009-12-04 | 2011-06-16 | Canon Inc | 撮像装置及びその駆動方法 |
JP2012080196A (ja) * | 2010-09-30 | 2012-04-19 | Canon Inc | 固体撮像装置 |
US20120224788A1 (en) * | 2011-03-03 | 2012-09-06 | Dolby Laboratories Licensing Corporation | Merging Multiple Exposed Images in Transform Domain |
US20130021447A1 (en) * | 2011-07-20 | 2013-01-24 | Broadcom Corporation | Dual image capture processing |
JP2013026734A (ja) * | 2011-07-19 | 2013-02-04 | Canon Inc | 撮像装置 |
JP2013258444A (ja) * | 2012-06-11 | 2013-12-26 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
JP2014140247A (ja) * | 2014-04-16 | 2014-07-31 | Canon Inc | 固体撮像装置及び固体撮像装置の駆動方法 |
JP2014140246A (ja) * | 2014-04-16 | 2014-07-31 | Canon Inc | 固体撮像装置及び固体撮像装置の駆動方法 |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2171574C (en) | 1996-03-12 | 2000-10-03 | Brian W. Tansley | Photometric measurement apparatus |
US6498926B1 (en) * | 1997-12-09 | 2002-12-24 | Qualcomm Incorporated | Programmable linear receiver having a variable IIP3 point |
US6243430B1 (en) * | 1998-01-09 | 2001-06-05 | Qualcomm Incorporated | Noise cancellation circuit in a quadrature downconverter |
US6734905B2 (en) * | 2000-10-20 | 2004-05-11 | Micron Technology, Inc. | Dynamic range extension for CMOS image sensors |
US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
US20030015645A1 (en) | 2001-07-17 | 2003-01-23 | Brickell Christopher Gavin | Optical imager circuit with tolerance of differential ambient illumination |
US7296286B2 (en) | 2002-01-31 | 2007-11-13 | Hitachi Kokusai Electric Inc. | Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof |
JP3969190B2 (ja) * | 2002-05-30 | 2007-09-05 | ソニー株式会社 | 撮像信号処理方法、撮像信号処理装置、撮像装置 |
JP3933095B2 (ja) | 2003-05-30 | 2007-06-20 | ソニー株式会社 | 撮像装置及び撮像方法 |
KR100871688B1 (ko) | 2004-02-27 | 2008-12-08 | 삼성전자주식회사 | 고체 촬상 장치 및 그 구동 방법 |
US7760246B2 (en) | 2004-07-19 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Method and device for adjusting white balance |
JP2006311240A (ja) | 2005-04-28 | 2006-11-09 | Olympus Corp | 撮像装置 |
JP2007043248A (ja) * | 2005-07-29 | 2007-02-15 | Eastman Kodak Co | 撮像装置 |
US8237801B2 (en) * | 2005-08-05 | 2012-08-07 | The Innovation Science Fund I, LLC | Image processing system and communication method |
US7623683B2 (en) | 2006-04-13 | 2009-11-24 | Hewlett-Packard Development Company, L.P. | Combining multiple exposure images to increase dynamic range |
US8013919B2 (en) | 2006-06-27 | 2011-09-06 | Samsung Electronics Co., Ltd. | CMOS image sensor with increased dynamic range based on multiple exposure periods of varying lengths |
US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
US7889207B2 (en) | 2007-02-08 | 2011-02-15 | Nikon Corporation | Image apparatus with image noise compensation |
US8089522B2 (en) | 2007-09-07 | 2012-01-03 | Regents Of The University Of Minnesota | Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest |
US7688144B2 (en) * | 2007-12-14 | 2010-03-30 | Industrial Technology Research Institute | Variable-gain wide-dynamic-range amplifier |
US8115825B2 (en) | 2008-02-20 | 2012-02-14 | Apple Inc. | Electronic device with two image sensors |
JP5083046B2 (ja) | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
WO2009147862A1 (ja) | 2008-06-04 | 2009-12-10 | 本田技研工業株式会社 | 撮像装置 |
JP2010045773A (ja) * | 2008-07-18 | 2010-02-25 | Panasonic Corp | 撮像装置 |
US8436914B2 (en) * | 2008-11-07 | 2013-05-07 | Cisco Technology, Inc. | Method for automatic exposure control within a video capture device |
US20100194851A1 (en) | 2009-02-03 | 2010-08-05 | Aricent Inc. | Panorama image stitching |
JP5187241B2 (ja) | 2009-02-16 | 2013-04-24 | 株式会社リコー | 撮像装置及び撮像方法 |
KR101346008B1 (ko) | 2009-03-13 | 2013-12-31 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축 |
KR101094246B1 (ko) | 2009-03-16 | 2011-12-19 | 이재웅 | 넓은 동적범위를 갖는 씨모스 이미지 센서 |
US8537241B2 (en) * | 2009-05-28 | 2013-09-17 | Pixim, Inc. | Image sensor with sensitivity control and sensitivity based wide dynamic range |
US8130304B2 (en) | 2009-07-24 | 2012-03-06 | Aptina Imaging Corporation | Image sensors with pixel charge summing |
JP5419659B2 (ja) | 2009-12-04 | 2014-02-19 | キヤノン株式会社 | 撮像装置 |
GB2477083A (en) | 2010-01-13 | 2011-07-27 | Cmosis Nv | Pixel structure with multiple transfer gates to improve dynamic range |
US8606042B2 (en) | 2010-02-26 | 2013-12-10 | Adobe Systems Incorporated | Blending of exposure-bracketed images using weight distribution functions |
US9100581B2 (en) | 2010-04-02 | 2015-08-04 | Microsoft Technology Licensing, Llc | Time interleaved exposures and multiplexed illumination |
US20130147979A1 (en) * | 2010-05-12 | 2013-06-13 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
KR101052207B1 (ko) * | 2010-05-12 | 2011-07-27 | 엠텍비젼 주식회사 | 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치 |
US8625013B2 (en) * | 2010-08-23 | 2014-01-07 | Red.Com, Inc. | Multi-exposure imaging |
US8761245B2 (en) * | 2010-12-21 | 2014-06-24 | Intel Corporation | Content adaptive motion compensation filtering for high efficiency video coding |
US8947555B2 (en) | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
US9077917B2 (en) | 2011-06-09 | 2015-07-07 | Apple Inc. | Image sensor having HDR capture capability |
JP2013110738A (ja) * | 2011-10-27 | 2013-06-06 | Panasonic Corp | 画像通信装置および撮像装置 |
US9491372B2 (en) * | 2011-11-23 | 2016-11-08 | Nokia Technologies Oy | Apparatus and method comprising a beam splitter |
JP5967912B2 (ja) * | 2011-12-02 | 2016-08-10 | キヤノン株式会社 | 固体撮像装置 |
US20130176458A1 (en) * | 2012-01-11 | 2013-07-11 | Edwin Van Dalen | Flexible Burst Image Capture System |
JPWO2013118487A1 (ja) * | 2012-02-08 | 2015-05-11 | パナソニックIpマネジメント株式会社 | 通信装置 |
JPWO2013132828A1 (ja) * | 2012-03-05 | 2015-07-30 | パナソニックIpマネジメント株式会社 | 通信システムおよび中継装置 |
JP2013223043A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 受光装置および伝送システム |
US9083935B2 (en) | 2012-06-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Combining multiple images in bracketed photography |
US8976264B2 (en) | 2012-09-04 | 2015-03-10 | Duelight Llc | Color balance in digital photography |
JP5597243B2 (ja) * | 2012-12-21 | 2014-10-01 | キヤノン株式会社 | 撮像装置 |
FR3002824A1 (fr) * | 2013-03-04 | 2014-09-05 | St Microelectronics Grenoble 2 | Procede et dispositif de generation d'images a grande gamme dynamique |
US20150005637A1 (en) * | 2013-06-28 | 2015-01-01 | Uvic Industry Partnerships Inc. | Tissue displacement estimation by ultrasound speckle tracking |
-
2014
- 2014-11-05 US US14/534,079 patent/US9137455B1/en active Active
-
2015
- 2015-11-03 EP EP15856814.7A patent/EP3216210A4/en not_active Ceased
- 2015-11-03 JP JP2017544280A patent/JP7000157B2/ja active Active
- 2015-11-03 EP EP21169039.1A patent/EP3869789A1/en not_active Withdrawn
- 2015-11-03 WO PCT/US2015/058895 patent/WO2016073527A1/en active Application Filing
-
2021
- 2021-09-22 JP JP2021154653A patent/JP2022008508A/ja active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200617A (ja) * | 1996-01-12 | 1997-07-31 | Nikon Corp | 撮像装置 |
JP2001245213A (ja) * | 2000-02-28 | 2001-09-07 | Nikon Corp | 撮像装置 |
JP2004328532A (ja) * | 2003-04-25 | 2004-11-18 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置及び画像記録装置 |
US20060177150A1 (en) * | 2005-02-01 | 2006-08-10 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
US20080218611A1 (en) * | 2007-03-09 | 2008-09-11 | Parulski Kenneth A | Method and apparatus for operating a dual lens camera to augment an image |
JP2009303010A (ja) * | 2008-06-16 | 2009-12-24 | Mitsubishi Electric Corp | 撮像装置及び撮像方法 |
JP2010016416A (ja) * | 2008-06-30 | 2010-01-21 | Canon Inc | 撮像システムおよび撮像システムの駆動方法 |
US20100265079A1 (en) * | 2009-04-16 | 2010-10-21 | Ping-Hung Yin | Readout System and Method for an Image Sensor |
JP2011120094A (ja) * | 2009-12-04 | 2011-06-16 | Canon Inc | 撮像装置及びその駆動方法 |
JP2012080196A (ja) * | 2010-09-30 | 2012-04-19 | Canon Inc | 固体撮像装置 |
US20120224788A1 (en) * | 2011-03-03 | 2012-09-06 | Dolby Laboratories Licensing Corporation | Merging Multiple Exposed Images in Transform Domain |
JP2013026734A (ja) * | 2011-07-19 | 2013-02-04 | Canon Inc | 撮像装置 |
US20130021447A1 (en) * | 2011-07-20 | 2013-01-24 | Broadcom Corporation | Dual image capture processing |
JP2013258444A (ja) * | 2012-06-11 | 2013-12-26 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
JP2014140247A (ja) * | 2014-04-16 | 2014-07-31 | Canon Inc | 固体撮像装置及び固体撮像装置の駆動方法 |
JP2014140246A (ja) * | 2014-04-16 | 2014-07-31 | Canon Inc | 固体撮像装置及び固体撮像装置の駆動方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2016073527A1 (en) | 2016-05-12 |
EP3216210A4 (en) | 2018-01-17 |
JP2017534229A (ja) | 2017-11-16 |
JP7000157B2 (ja) | 2022-01-19 |
EP3216210A1 (en) | 2017-09-13 |
EP3869789A1 (en) | 2021-08-25 |
US9137455B1 (en) | 2015-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7000157B2 (ja) | ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 | |
US12003864B2 (en) | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time | |
JP6896638B2 (ja) | 同時に複数の画像を捕捉するための画像センサ装置および方法 | |
JP7253586B2 (ja) | 写真撮影シーンの低ノイズ高速捕捉を得るための画像センサ装置および方法 | |
JP2021119701A (ja) | フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法 | |
US11356647B2 (en) | Systems and methods for generating a digital image | |
JP7141428B2 (ja) | 高ダイナミックレンジ(hdr)画素ストリームを生成するための装置、コンピュータプログラムおよび方法 | |
US11394894B2 (en) | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230523 |