JP2019510395A - ワイドダイナミックレンジ（ｗｄｒ）センサデータのための画像処理 - Google Patents
ワイドダイナミックレンジ（ｗｄｒ）センサデータのための画像処理 Download PDFInfo
- Publication number
- JP2019510395A JP2019510395A JP2018540765A JP2018540765A JP2019510395A JP 2019510395 A JP2019510395 A JP 2019510395A JP 2018540765 A JP2018540765 A JP 2018540765A JP 2018540765 A JP2018540765 A JP 2018540765A JP 2019510395 A JP2019510395 A JP 2019510395A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- wdr
- pixel
- statistics
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000012805 post-processing Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 11
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000003705 background correction Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 10
- 230000006837 decompression Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
記載の例では、信号処理チェーン（１００）が、第１の露光時間画素データを含む第１のフレームと第２の露光時間画素データを含む第２のフレームとを含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信することを含み、ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理を実装する。第１の画素データ用の第１の統計及び第２の画素データ用の第２の統計を含むカメラ制御のための統計（１２１）が生成される。第１及び第２の画素データは、ローの一層高いビット幅の単一フレーム画像を生成するため、第１及び第２の統計を用いるＷＤＲマージブロック（１４０）でＷＤＲマージアルゴリズムを用いてマージされる。単一フレーム画像は少なくとも欠陥画素補正アルゴリズムを用いて事後処理ブロック（１５０）で事後処理される。出力トーンマッピングされた画像を提供するための事後処理後、トーンマッピングの少なくとも一部が単一フレーム画像に対し実施される。
Description
本願は、ワイドダイナミックレンジ（ＷＤＲ）画像処理に関連する。
カメラ及び画像センサは、監視、動き制御、及びその他の応用例のために幅広く用いられている。ＷＤＲセンサは、自然のシーンのフルダイナミックレンジを保つために、オートモーティブ及び監視応用例のためにますます一般的になってきている。例えば、オートモーティブ用途には、後退する間に運転手をアシストするためのリアビューカメラ、並びに、障害物を回避するため、及び、制動、操縦、及び加速を制御するためにシステムを制御するための入力を提供するカメラ、が含まれる。
次世代の光検出器にはＷＤＲ出力を提供するものがあり、そのため、これらはＷＤＲ画像センサであると考えられる。ＷＤＲ画像センサなどからの、写真に撮られた画像が、そのシーンの照度の著しい差に起因して、明るい領域を有する画素の一部と、暗い領域を有する幾つかの他の画素とを含む場合、たとえ露光時間及びアパーチャが適切に調整されても、明るい領域及び暗い領域両方における特徴を明確に示すシーンの画像を得ることはできない。高ダイナミックレンジ（ＨＤＲ）イメージングは、全フレームセットの輝度レンジを包含するために用いられている各フレームからの幾つかの画素を有する同じピクチャ（シーン）の、異なる露光時間、アパーチャ、シャッター速度及び／又は感度を有する複数のフレーム（又は露光）からの画素を組み合わせるイメージング手法であり、そのため、概して、得られたピクチャは、人間の目と同じダイナミックレンジをカバーする。ＷＤＲイメージングは、ＨＤＲイメージングを指すために監視カメラ業界において用いられる用語であり、本明細書において用いられるようにＷＤＲイメージングはＨＤＲイメージングも指す。
従来のＷＤＲイメージングにおいて、ロー（raw）画素データの画像処理（画像事前処理）が第１の処理工程であり、その後、ＷＤＲマージ（又はフュージョン）アルゴリズム、及びその後、トーンマッピングが続く。ＷＤＲセンサからの入力ロー画素データは、Ｂａｙｅｒ、ＲＣＣＣ、ＲＧＢＣの形式、又はより一般的には任意の２×２カラーフォーマットであり得る。画像事前処理は、欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、ノイズフィルタリング（ＮＦ）、ＷＤＲ処理、ホワイトバランス（ＷＢ）、及び統計収集を含む、複数のアルゴリズムを適用することを含む。統計収集には、長い露光時間フレーム、短い露光時間フレーム、及び最短露光時間フレームのための統計など、用いられる全てのフレームのための統計が含まれる。ロー画素データは、ＷＤＲセンサ（例えば、カラーカメラ）から直接、又は、メモリ（例えば、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ ＤＤＲ）から到来し得る。
画像事前処理の後に、画素データのＷＤＲフュージョンが続く。ＷＤＲフュージョンの後に、トーンマッピングが続き、これは、トーンマッピングされた画像を提供するために局地化されたコントラストを保持したまま、フルカラー画像の、ダイナミックレンジ（即ち、より少ないビット）又はコントラスト比を低減するためのものである。トーンマッピングの後には概して、フルカラー画像を再構築するデジタル画像プロセスであるモザイク解除（又はデモサイキング（de-mosaicing））アルゴリズムが続く。
記載される例において、ＷＤＲマルチフレーム処理の方法が、各々が複数の画素を含む複数のフレームを含むＷＤＲセンサから（例えば、シーンの）ロー画像信号を受信することを含む。複数のフレームは、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含む。第１及び第２の画素データは、各々、強度値を有する。カメラ制御のために、第１の画素データのための統計及び第２の画素データのための第２の統計を含む統計が生成される。第１の画素データ及び第２の画素データは、ＷＤ
Ｒマージアルゴリズムを用いてマージされ、ＷＤＲマージアルゴリズムは、ローの一層高いビット幅の単一フレーム画像を生成するために第１の統計及び第２の統計を用いる。単一フレーム画像の事後処理が、少なくとも欠陥画素補正アルゴリズム（例えば、欠陥画素補正、ノイズフィルタリング、レンズシェーディング補正）を用いて実施される。出力トーンマッピングされた画像を提供するための事後処理の後、トーンマッピングの少なくとも一部が単一フレーム画像に実施される。
Ｒマージアルゴリズムを用いてマージされ、ＷＤＲマージアルゴリズムは、ローの一層高いビット幅の単一フレーム画像を生成するために第１の統計及び第２の統計を用いる。単一フレーム画像の事後処理が、少なくとも欠陥画素補正アルゴリズム（例えば、欠陥画素補正、ノイズフィルタリング、レンズシェーディング補正）を用いて実施される。出力トーンマッピングされた画像を提供するための事後処理の後、トーンマッピングの少なくとも一部が単一フレーム画像に実施される。
図面は必ずしも一定の縮尺で描いてはいない。図面において、同様の参照番号は、同様の又は同等の要素を指す。幾つかの例示の動作又は事象は、異なる順で、及び／又は、他の動作又は事象と同時に生じ得る。また、幾つかの例示の動作又は事象は、任意選択であり得る。
また、本明細書において用いられる「に結合される」又は「と結合する」という用語（及びそれらに類するもの）は、更なる限定がない場合、間接的又は直接的な電気的接続のいずれかを述べている。そのため、第１のデバイスが第２のデバイスに「結合する」場合、その接続は、その経路に寄生成分のみ存在する直接的電気的接続を介し得、又は他のデバイス又は接続を含む介在要素を介する間接的電気的接続を介し得る。間接的結合では、介在要素は、概して、信号の情報を変更しないが、その電流レベル、電圧レベル、及び／又はパワーレベルを調整し得る。
従来のワイドドラマチックレンジ（ＷＤＲ）イメージング処理（例えば、欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、ノイズフィルタリング（ＮＦ）、ＷＤＲ処理、及び統計収集）は、それがＷＤＲマージアルゴリズム前に生じるため、ローの事前処理を含み、その結果、全てが異なる露光時間（例えば、長い、短い、最短）を有する３つのフレームなど、処理されているフレームの数に比例する事前処理負荷となる。これに対し、マルチ露光ＷＤＲセンサでは、本明細書に記載されるＷＤＲ画像処理が、ＷＤＲマージアルゴリズムを適用した後の統計収集（例えば、ＤＰＣ、ＬＳＣ、ＮＮＦ、ＷＤＲ処理）以外の画像処理アルゴリズムを実施し、そのため、それが、ポストマージデータ処理アルゴリズムを実装する。これらのポストマージ処理アルゴリズムは、従来の事前処理アルゴリズムと同様であるが、早期のマージ信号処理チェーンにより実装される信号処理の順の変更を各々サポートする、適応ＤＰＣ及び時間多重化（ｍｕｘｅｄ）Ｈ３Ａなどの拡張を備える。全てのフレームのための統計は、一例において、種々のフレームにわたって時分割多重化（ＴＤＭ）を用いる事後処理アルゴリズムの前に収集される。
図１は、ＷＤＲマージ後のＤＰＣ及びＬＳＣなどの処理アルゴリズムを実行することによるＷＤＲ画像処理のための既知の信号チェーンに比して早期のＷＤＲマージを実装する、ＷＤＲロー画像処理のための簡略化した信号処理チェーン１００のブロック図表現である。信号処理チェーン１００は、２Ｄ ＷＤＲ画像センサ（例えば、Ｂａｙｅｒパターンなどのロー画像信号を含むＷＤＲカメラ）から受信されるなどの、ロー画像画素データのオンザフライ（ＯＴＦ）処理をサポートする。信号処理チェーン１００は、ロー画像画素データを、統計生成ブロック１２０に、及びＷＤＲマージアルゴリズム１４５を実装するＷＤＲマージブロック１４０に提供するように示されている。統計生成ブロック１２０は、図２においてＨ３Ａ １７４として記され、一方、図２におけるＭＵＸ１７１、シフトブロック１７２、及びＬＵＴ逆トーンマップブロック１７３は、時間多重化を可能にし、異なるデータフォーマットを統計生成ブロック１２０に提供する。
ロー画像画素データは、長い、短い、及び最短の露光時間フレームとして図２に示される、第１の露光時間と少なくとも第２の露光時間とを含む、複数の異なる露光時間を有する複数のフレームにある。本明細書において用いられる各フレームとは、特定の利得及び特定の露光時間で捕捉される画像を指す。統計生成ブロック１２０は、任意選択で、Ｈ３Ａブロック（図２におけるＨ３Ａブロック１７４参照）の複数のインスタンスのチップ（例えば、シリコン）コストオーバーヘッドを低減する時分割多重化（ＴＤＭ）を用いて、第１のフレーム及び少なくとも第２のフレームにわたるカメラ制御（例えば、自動露光、自動ホワイトバランス（ＷＢ）、及びオートフォーカス）のための統計を生成するためである。
Ｈ３Ａは、自動ＷＢ補正、自動露光、及びオートフォーカスに対して各１つの、３セットの統計を生成するためのハードウェア統計エンジンである。信号処理チェーン１００においてＷＤＲマージブロック１４０により提供されるマージオペレーションは、統計（例えば、ＤＰＣ、ＬＳＣ、ＷＢ利得）を用いて画素データをロー事前処理する既知の信号チェーンに比して著しく早期に成され、その後、ＷＤＲマージオペレーションを実施する。Ｈ３Ａブロック１７４は、トーンマップ及びＭＵＸ１７１を用いる事後処理の後、露光の又は付加的にデータに対する統計を収集し得、図２は、この経路（ＭＵＸ１７１における一番下のライン）を示す。このＬＵＴ逆トーンマップブロック１７３は、トーンマップの影響を反転させ、そのため、より品質のよい結果を提供し得る線形ドメインで統計を生成するために用いることができる。
ＷＤＲマージブロック１４０は、ローの一層高い画素ビット幅の（例えば、３フレームマージが、画素ビット幅を１２ビットから２０ビットまで増大させ得る）単一フレーム画像を生成するためにマージブロック１４０に任意選択でフィードバックされ得るＷＤＲ利得を演算するためになど、各フレームに対して統計１２１を用いるプロセッサにより実装されるＷＤＲマージアルゴリズム１４５を用いてマージを実施する。マージアルゴリズム１４５は、著しい面積節約を提供する一方で、それでも画像品質における向上を提供する、図示される非線形（ＮＬ）ＬＵＴ１４２を最適に用い得る。ＮＬ ＬＵＴ１４２は、一層低いコストで従来のＬＵＴよりも良好な精度を提供し、ＷＢ利得の利用に起因するアーティファクトを取り除くことを含みマージアルゴリズム１４５を向上させ得る。ＮＬ ＬＵＴ１４２により提供されるこのＬＵＴ改善は、画像の一層低い強度レンジにおいて更に一層細かいステップを用いることによって達成される。一層低い強度レンジは、より一層有用な情報を含み、曲線はこの領域において急勾配になり、より細かい／一層低いステップサイズが有用である。コストを低減するため、画像の上側強度レンジにおいてステップサイズが増大される（又は一層高く保たれる）。異なるレンジにおけるステップサイズの差は、本明細書においてＮＬ ＬＵＴ１４２と称するＬＵＴとなる。
マージブロック１４０におけるＮＬ ＬＵＴ１４２は、本明細書においてグローバルトーンマッピングと称する、トーンマッピングの初期部分を提供することにより、トーンマッピングの改善を助ける。信号処理チェーン１００におけるトーンマッピングは概して２つのフェーズに分けられる。グローバルトーンマッピングがＮＬ ＬＵＴ１４２により実装され、これは、図２に示すように２０ビットから１６ビットまでなど、画素ビット幅を低減する。その後、これ以降に記載されるダウンストリームロジックにおいてトーンマッピングブロック１６０により提供される、ローカルトーンマッピングが続く。ＮＬ ＬＵＴ１４２は、それがグラフにおける誤差を低減するので、第１のグローバルトーンマッピング結果において助けとなる。
通常、トーンマップは、入力‐出力グラフをプログラムすることによって実施されるが、グラフには固定数のエントリのみしかない。例えば、２０ビット画素画像は、フルにポピュレートされたグラフ（入力‐出力）を有するために２２０＝１百万エントリを必要とし得る。しかし、これは、半導体（例えば、シリコン）コストにおいて非常に高く、そのため、例示の実施例は、ステップサイズ（例えば、全ての２０４８ロケーションに対して１エントリ）を有する入力‐出力グラフを実装し、その後、間のロケーションのため線形補間を実施する。従来の標準のＬＵＴは、２０４８のステップサイズを有するが、これは、画像品質に関連する問題を生じさせることが認識されている。これは、入力‐出力グラフが、画像の一層低いセクション（低強度部分）においてはるかに速く変化するためであり、また、画像の一層低いセクションは、はるかにより一層意味があり及び重要な内容を有するためである。記載されるＮＬ ＬＵＴ１４２の手法において、画像の一層低い強度セクションにおいてより小さいステップサイズ（例えば、３２のステップサイズ）が用いられ、画像の一層高い強度セクションにおいて一層高いステップサイズ（例えば、２０４８）が用いられる。この配置は、より小さい（例えば、３２）ステップサイズであるが、ＬＵＴのサイズの小さな一部（fraction）で、及びそのため実装のコストの小さな一部（fraction）で、フルＬＵＴを置くこととほぼ同じ利点を提供する。
事後処理ブロック１５０は、画像フィルタリングアルゴリズムのセット（例えば、ＤＰＣ、ノイズフィルタリング、及びＬＳＣ）を用いてＷＤＲマージブロック１４０により出力された、単一フレーム組み合わせ画像におけるローの高ビット幅画素データのポストマージ処理を実施する。上述したように、ポストマージ処理は、信号チェーン１００により実装される早期のＷＤＲマージを各々サポートする、適応ＤＰＣ及び時間多重化されたＨ３Ａを用いるためなど、既知の事前処理アルゴリズムを改変する。時間多重化されたＨ３Ａは、フレームにわたって時間多重化することによって動作する。適応ＤＰＣは、適応閾値アルゴリズムを用いて、トーンマッピングされた画素を扱う。トーンマッピングブロック１６０は、低減されたビットカウントを有するトーンマッピングされた画像を提供するため、付加的なトーンマッピングを提供することによって、処理された単一フレーム画像を事後処理ブロック１５０から受け取る。この付加的なトーンマッピングは、トーンマッピングが２つのオペレーションに分けられる、本明細書において上記したようなトーンマッピングの第２の部分であり得る。このトーンマッピング分割は、通常、ビット幅を１６ビットから１２ビットまで低減する一方で、それでも影及び明るい部分における詳細を保ち得る。
信号チェーン１００は低レイテンシー信号チェーンである。これは、それが完全なＯＴＦ処理を提供し、そのため、画素データの到来フレームが、外部又はローカルメモリへの如何なる中間経路なしに信号処理チェーン１００に直接結合され得るためである。また、提供される設計は、異なる露光時間を有する最大３つのフレームを、これら３フレームをフレームがマージされ得る前に事前処理ブロックを介して順次（一つずつ）通過させる必要がある既知の処理とは対照的に、同時に処理するように構成される。また、低レイテンシー及び低遅延は、陰が付けられ、次のフレームのためプログラムするために現在のフレームが継続中である間にいつでも更新され得る、レジスタ（又は他のメモリ）の構成セットを有することによって可能にされる。これは、現在のフレームを完了させ、パラメータを変え、その後次のフレームを処理する必要があり、それにより再プログラムするための時間遅延が生じる、既知の設計とは対照的である。
図２は、ＷＤＲマージブロック１４０’により提供されるＷＤＲマージの後、ＤＰＣ、ＬＳＣ、及びＷＢ（これらは事後処理ブロック１５０’にある）として示される処理アルゴリズムを実行するＷＤＲセンサデータを処理するための、例示のＷＤＲ画像処理システム１００’のブロック図表現である。フィードバックを提供するためＤＤＲ１７５からＷＤＲマージブロック１４０’への接続が存在する。例示の実装において、このフィードバックは、処理ブロック１７７により実装されるソフトウェアアルゴリズムに関与し、処理ブロック１７７は、ＷＤＲマージブロック１４０’において必要とされるＷＢ利得を計算するためにＤＤＲ１７５からのＨ３Ａデータを用いる。また、動作するための時間多重化のため、これが適用される前に、複数のフレーム遅延が通常生じる。例えば、フレームＮのＤＤＲ１７５からのデータは、フレームＮ＋３にのみ適用され得る。
ＷＢは、ＷＤＲマージブロック１４０’に含む複数のインスタンスにおいて扱われ得る。ＷＤＲマージブロック１４０’がイネーブルされるとき、このブロック内のロジックは、各露光におけるＷＢに対して補正し得る。ＷＤＲマージブロック１４０’が概してディセーブルされる場合に伸張された（decompanded）センサを用いるとき、事後処理ブロック１５０におけるＷＢ２ブロック１５３が主として用いられる。
ＷＤＲ画像処理システム１００’は、プロセッサ１８０（例えば、中央処理（ＣＰＵ））を含んで示されており、プロセッサ１８０は、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、又は、複数のアルゴリズム１８５ａをストアする関連するメモリ１８５を有するマイクロコントローラユニット（ＭＣＵ））を含む。プロセッサ１８０により実装される複数のアルゴリズム１８５ａは、図２に示すＷＤＲマージブロック１４０’にあるマージアルゴリズムと称されるブロック１４５として示されるＷＤＲマージアルゴリズム、並びに、事後処理ブロック１５０’におけるＤＰＣ１５１、ＬＳＣ１５２、及びデジタル利得／ＷＢ１５３として示されるような画像フィルタリング処理アルゴリズムを含む、その他のアルゴリズムを含む。
異なる露光時間を有する３つの異なるフレームからの画素データが、最短の露光時間を有するフレーム（最低輝度／強度に対応する）、短い露光時間を有するフレーム（中間輝度強度に対応する）、及び長い露光時間を有するフレーム（最高輝度強度に対応する）としてＷＤＲセンサから受信されて示され、これらは全て、伸張ブロック１３０に入力されて示される。ロー画素データは、ＷＤＲセンサから直接、又は、メモリ（例えば、ＤＤＲ）におけるロー画素データから、到来し得る。伸張ブロック１３０は、単に、センサ上のデータをマージしそれを圧縮する圧縮（companding）ＷＤＲセンサから受信した画素データを処理するためであり、ここで、ＰＷＬは、伸張手法の一種であるＰＷＬ（Piece Wise Linear）を表す。ＤＣ又はＤＣ−ｓｕｂとして通常知られるものが、各画素の強度値から一定値を減じる。
伸張ブロック１３０は、ＰＷＬブロック１３１ａ〜ｃ、ＤＣブロック１３２ａ〜ｃ、及びルックアップテーブル（ＬＵＴ）１３３ａ〜ｃを含む、長い、短い、及び最短の露光時間フレームの各々に対する処理チャネルを含む。ＰＷＬブロック１３１ａ〜ｃ及びＤＣブロック１３２ａ〜ｃは、受け取った１６ビットデータを２４ビットに変換するように示されている。ＬＵＴ１３３ａ〜ｃは、２４ビットを１６ビットに変換し、これらはＷＤＲマージブロック１４０’に提供される。このダブルビット変換は、センサが、データを処理には実現不能とする圧縮機能を用いるときに用いられる。
図２に示す伸張ブロック１３０により提供される伸張機能は、（上述のように）圧縮されたセンサのみのために用いられ、別個の露光（マルチ露光センサ）を提供するセンサを用いる場合には、用いられないか又はバイパスされる。圧縮されたセンサと共に用いる場合、圧縮されたセンサはデータの一つの露光のみを提供するので、ＷＤＲマージブロック１４０’は用いられない。別個の露光センサの場合、伸張ブロック１３０はそれでも、別個の露光センサ用途においても用いられるその他のＤＣ機能（ＤＣ１３２ａ〜１３２ｃ）を提供する。この場合、ＤＣのみを提供するため、如何なる影響も有さないようにＰＷＬ（１３１ａ〜１３ｌｃ）及びＬＵＴ１３３ａ〜１３３ｃをバイパスとしてプログラムする。また、幾つかの特殊なセンサデバイスは、それらが別個の露光を送るときでもデータを圧縮し、そのため、ＰＷＬ（１３１ａ〜１３１ｃ）又はＬＵＴ１３３ａ〜１３３ｃは伸張ブロック１３０において有用なままとなり得る。
図示されるＮＬ ＬＵＴ１４２を用いるＷＤＲマージブロック１４０’を実装されるマージアルゴリズム１４５は、著しい面積の節約を提供する一方で、それでも画像品質における向上を提供する。ＷＤＲマージブロック１４０’は、如何なる画素の出力も画素の現在のラインの上又は下のラインにおける他の画素に依存しないように、画素データの入来ラインを処理することによって、ラインレベルにおいて単一パスＷＤＲマージを提供する。従来の、他の解決策における現在のラインの上又は下の画素ラインへの依存は、信号チェーン実装において遅延及び増大されたレイテンシーを生じさせると認識されている。ＷＤＲマージブロック１４０は、マージブロック１４１ａ及び１４１ｂを含み、ここで、マージブロック１４１ａは、短い及び長い露光時間フレームから画素データを受け取り、また、マージブロック１４１ｂに入力される２０ビットマージされた画素データ出力を出力するように示されており、マージブロック１４１ｂは、最短露光時間フレームからも画素データを受け取る。ＮＬ ＬＵＴ１４２は、一層高い強度でのステップサイズに比して、一層低い強度で一層細かいステップサイズを有する。ＷＤＲマージブロック１４０’は、ＷＢを説明する（accounts for）、フレームを異なる露光時間でマージするための、比較的洗練された重み計算を用いる高品質ＷＤＲ画像処理を実装する。
ＷＢアルゴリズムは、初期利得及び処理工程が実施された後、最終マージされた画素値を生成することにより重みを生成するための２つの別個の経路を組み込む。重み生成ロジックは、ＷＢに対して補正されていない画素データに依存する。その理由は、マージ曲線が変化する判定閾値近くに画素値があるとき、ＷＢ補正がアーティファクトを生じさせ得るためである。ＷＢ利得を最終的な画素出力につながる経路上にのみ保つことにより、色補正されたデータを得るが、画素値がマージ閾値に近いときアーティファクトが表れない利点が得られる。
図３は、出力強度対入力強度をプロットするトーンマッピング曲線を示し、これは、一層高い強度でのステップサイズ（ＮＬ ＬＵＴ１４２における近接配置されるデータに対応する）に比して、一層低い強度で示される一層細かいステップサイズ（ＬＵＴ１４２における近接配置されるデータに対応する）を有する。例えば、一層高い強度でのステップサイズは２０４８であり得、一方、一層低い強度ではステップサイズは３２であり得る。
事後処理ブロック１５０’は、ＤＰＣ１５１、ＬＳＣ１５２、及びデジタル利得／ＷＢ１５３として示される、画像フィルタリング処理アルゴリズムのセットを用いてポストマージ処理を実施する。これ以降に記載するように、ＤＰＣ１５１は適応ＤＰＣであり得る。ローカルメモリ１５４は、サブサンプリングされた利得テーブルを提供し、これは、レンズシェーディング補正のためＬＳＣ１５２により用いられる。これらのテーブルは、ブートアップの間に一度初期化される。ローカルメモリ１５４にこれらのテーブルをストアするほかに、それらは、ＤＤＲ１７５などの別のメモリにストアされ得る。ＬＳＣ１５２からの出力、及び伸張ブロック１３０からの出力も、ＭＵＸ１７１、シフトブロック１７２、逆トーンマップＬＵＴ１７３、Ｈ３Ａブロック１７４、及び、ＤＤＲ１７５として示されるＨ３Ａブロック１７４からの出力をストアするためのメモリ、の直列の組み合わせに結合されて示されている。ＤＤＲ１７５にストアされたＨ３Ａの結果は、ＷＤＲマージブロックにおいて用いられるＷＢ利得を演算するため、ホストプロセッサにより用いられる。この結果はまた、概して、センサなどの露光を制御するために用いられる。
事後処理ブロック１５０’からの出力は、トーンマッピングブロック１６０の入力に結合されて示され、トーンマッピングブロック１６０は、上述のように、マルチ露光センサのためのＮＬ ＬＵＴ１４２により、又は圧縮されたセンサと共に用いるためのＬＵＴ１３３ａ〜１３３ｃにおいて、提供されるグローバルトーンマッピングの後、第２のトーンマッピングオペレーションとしてローカルトーンマッピングを提供し得る。グローバルトーンマッピングは、同じ強度を有する各画素に同じ曲線（利得）を適用する。ローカルトーンマッピングプロセス１６０は、近傍の画素の強度にも応じて利得を適合的に改変する。トーンマッピングブロック１６０は、フルカラー画像のダイナミックレンジ（又はコントラスト比）を低減する一方で、トーンマッピングされた画像を提供するための局地化されたコントラストを保持する。
ＮＬ ＬＵＴ１４２により、又は伸張ブロック１３０におけるＬＵＴ１３３ａ〜１３３ｃにより提供されるトーンマッピングは、変化する照度レベルに対する照度レベルに基づいてトーンマッピング曲線の高速スイッチングを実装し得る。これは、ソフトウェアが、別のＬＵＴが用いられている間に一つのＬＵＴの内容を更新し得るように、それぞれのＬＵＴメモリに対してピンポン手法を用いることによって達成され得る。
図４Ａ及び図４Ｂは、ＷＤＲ及びトーンマッピングされた画素データをサポートすることを助けるために、強度適応閾値を用いる適応（ＯＴＦ）ＤＰＣアルゴリズムの仕組みを一例により説明する。（３×３画素ウィンドウにおける）ローカル強度は、画素ｄｌ〜ｄ８から、２番目に大きい画素値（ｄｍａｘ２として示される）及び２番目に小さい画素値（ｄｍｉｎ２として示される）の平均を用いることによって、近似されて効率的に得られる。独立したレジスタが、０、５１２、１ｋ、２ｋ、４ｋ、８ｋ、１６ｋ、及び３２ｋに対応する画素強度に対して値をストアし得るので、別のＬＵＴ（図２には示していない）は、概して実装される小さなＬＵＴである。その後、中間閾値強度値を生成するために線形補間が用いられ得る。
検出閾値及び置換プロセスに関し、ローカル強度が演算された後、閾値は、（小さなＬＵＴにストアされるような）８つの異なる閾値から選択することにより、又は、特定された強度ストップ間に強度がある場合にテーブルからの２つの値の線形補間により生成される。その後、中央画素が、ｄｍａｘ／ｄｍｉｎ画素値に対して比較され、中央画素及びｄｍａｘ／ｄｍｉｎ画素の強度の差が閾値より大きい場合、画素が、欠陥であると考えられ、近隣の一つにより又は近隣の平均により置換される。置換手法は、ソフトウェアプログラム可能である。中央画素が明るい欠陥であるか又は暗い欠陥であるかに起因して欠陥が生じ得、その場合、その値は、本来あるべき値よりもはるかに低いので、ｄｍａｘ／ｄｍｉｎの比較が提供される。
例示の実施例は、種々の異なるＷＤＲイメージング関連応用例に有用である。例示の応用例は、これらに限らないが、オートモーティブ、ＡＤＡＳ、産業、高性能コンピューティング、ロボット工学、及びドローンを含む。
例
図１及び図２に示すＮＬ ＬＵＴ１４２などの記載されるＮＬ ＬＵＴに関して、２０ビット画素画像において５１２エントリを有する従来のＬＵＴは、２ｋのステップサイズを生じさせ、これにより、画像の視覚的に感受性のある一層低い強度レンジにおいてカラーシフト及びアーティファクトがつくられる。許容可能な従来のステップサイズは、２ｋに対して３２である。３２の例示の一定ステップサイズを単に維持することは、メモリサイズ及びＬＵＴの面積における６４倍の増大を生じさせる。これに対し、ＮＬ ＬＵＴ１４２は、一層低い強度臨界レンジにおいて一層高い精度（ステップサイズ=３２）を維持し、一層高い（より感受性がない）強度レンジにおいて２ｋの標準ステップサイズを用いることができる。これにより、従来の設計において必要とされる面積の６４倍の増大に比して、２０％のみの面積の増大などで、所望の画像品質目標を達成することが可能となる。
図１及び図２に示すＮＬ ＬＵＴ１４２などの記載されるＮＬ ＬＵＴに関して、２０ビット画素画像において５１２エントリを有する従来のＬＵＴは、２ｋのステップサイズを生じさせ、これにより、画像の視覚的に感受性のある一層低い強度レンジにおいてカラーシフト及びアーティファクトがつくられる。許容可能な従来のステップサイズは、２ｋに対して３２である。３２の例示の一定ステップサイズを単に維持することは、メモリサイズ及びＬＵＴの面積における６４倍の増大を生じさせる。これに対し、ＮＬ ＬＵＴ１４２は、一層低い強度臨界レンジにおいて一層高い精度（ステップサイズ=３２）を維持し、一層高い（より感受性がない）強度レンジにおいて２ｋの標準ステップサイズを用いることができる。これにより、従来の設計において必要とされる面積の６４倍の増大に比して、２０％のみの面積の増大などで、所望の画像品質目標を達成することが可能となる。
記載されるマージアルゴリズムに関して、ＷＢ利得は、通常、線形ドメインの独立した露光に対してＷＤＲマージブロック１４０’により適用される。ＷＢ利得用途は、従来の重み生成においてアーティファクトを生じさせ得る。記載されるマージアルゴリズムは、画素処理のため別個のデータ経路、及びカラーチャネルにわたる重みの変動に起因するアーティファクトを避ける重み計算ロジックを備えて設計される。記載されるマルチフレームマージに関して、マージアルゴリズム１４５は、各々ビット幅を１６未満に変えるためのサポートを備えて、最大１６ビットの２フレームのマージをサポートするように拡張させられ得る。ＷＤＲマージブロック１４０の複数のインスタンスが、最大３フレームマージＯＴＦ、マルチパスモードで３フレームより大きいものをサポートし、及び、非対称のＷＤＲセンサ（例えば、１２ビット及び１６ビット露光のセンサ）をサポートするために用いられ得る。
本発明の特許請求の範囲内で、説明した例示の実施例に改変が成され得、他の実施例が可能である。
Claims (16)
- ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理の方法であって、前記方法が、
各々が複数の画素を含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信することであって、前記複数のフレームが、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含み、前記第１及び前記第２の画素データが強度値を有する、前記ロー画像信号を受信すること、
前記第１の画素データのための第１の統計と前記第２の画素データのための第２の統計とを含む、カメラ制御のための統計を生成すること、
ローの一層高いビット幅の単一フレーム画像を生成するため、前記第１の統計及び前記第２の統計を用いるＷＤＲマージアルゴリズムを用いて前記第１の画素データ及び前記第２の画素データをマージすること、
少なくとも欠陥画素補正アルゴリズムを用いて前記ローの一層高いビット幅の単一フレーム画像を事後処理すること、及び
出力トーンマッピングされた画像を提供するため、前記事後処理の後、前記ローの一層高いビット幅の単一フレーム画像へのトーンマッピングの少なくとも一部を実施すること、
を含む、方法。 - 請求項１に記載の方法であって、前記第１の統計及び前記第２の統計が、前記第１のフレームにおける前記第１の画素データ及び前記第２のフレームにおける前記第２の画素データにわたって時分割多重化（ＴＤＭ）を用いて生成される、方法。
- 請求項１に記載の方法であって、更に、前記事後処理の前に、前記ローの一層高いビット幅の単一フレーム画像における画素ビット幅から画素ビット幅を低減するため、一層高い画素強度でのステップサイズに比して一層低い画素強度で一層細かいステップサイズを有する非線形（ＮＬ）ＬＵＴを用いて初期グローバルトーンマッピングを実施することを含む、方法。
- 請求項１に記載の方法であって、前記事後処理することが更に、適応欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、及び時間多重化Ｈ３Ａを含む、方法。
- 請求項１に記載の方法であって、前記複数のフレームが更に、第３の露光時間画素データ（第３の画素データ）を有する第３のフレームを含み、カメラ制御のため前記統計を前記生成することが更に、前記第３の画素データのため第３の統計を生成することを含み、前記マージすることが、前記第１の画素データ、前記第２の画素データ、及び前記第３の画素データをマージする、方法。
- 請求項１に記載の方法であって、前記マージすることが、ビット幅を少なくとも２５％増大させる、方法。
- 請求項１に記載の方法であって、更に、ホワイトバランス（ＷＢ）を演算するために前記統計を用いることを含み、前記ＷＢが、前記マージを実施するＷＤＲマージブロックにフィードバックされる、方法。
- 請求項３に記載の方法であって、前記ＮＬ ＬＵＴが、前記強度の異なるレベルをカバーする異なるトーンマッピング曲線を有する複数のＮＬ ＬＵＴを含み、前記方法が更に、前記複数のＮＬ ＬＵＴのそれぞれの間でスイッチングすることを含み、ソフトウェアが、前記複数のＮＬ ＬＵＴのうちの別のＮＬ ＬＵＴが用いられている間に前記ＮＬ ＬＵＴの一つのＮＬ ＬＵＴの内容を更新する、方法。
- ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理のための信号処理チェーンであって、
統計生成ブロック、
ＷＤＲマージアルゴリズムを有するＷＤＲマージブロックであって、いずれも、前記統計生成ブロックが、各々複数の画素を含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信するために結合され、前記複数のフレームが、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含み、前記第１及び前記第２の画素データが強度値を有する、前記ＷＤＲマージブロックであって、
前記統計生成ブロックが、前記第１の画素データのための第１の統計と、前記第２の画素データのための第２の統計とを含む、カメラ制御のための統計を生成するためであり、
前記ＷＤＲマージブロックが、ローの一層高いビット幅の単一フレーム画像を生成するため、前記第１の統計及び前記第２の統計を用いる前記ＷＤＲマージアルゴリズムを用いて前記第１の画素データ及び前記第２の画素データをマージするためである、前記ＷＤＲマージブロック、
少なくとも欠陥画素補正アルゴリズムを用いて前記ローの一層高いビット幅の単一フレーム画像を事後処理するための事後処理ブロック、及び
出力トーンマッピングされた画像を提供するため前記信号処理チェーンによって実施されるトーンマッピングの少なくとも一部を実施するためのトーンマッピングブロック、
を含む、信号処理チェーン。 - 請求項９に記載の信号処理チェーンであって、前記第１の統計及び前記第２の統計が、前記第１のフレームにおける前記第１の画素データ及び前記第２のフレームにおける前記第２の画素データにわたって時分割多重化（ＴＤＭ）を用いて前記統計生成ブロックによって生成される、信号処理チェーン。
- 請求項９に記載の信号処理チェーンであって、更に、前記ローの一層高いビット幅の単一フレーム画像における画素ビット幅から画素ビット幅を低減するため、一層高い画素強度でのステップサイズに比して一層低い画素強度で一層細かいステップサイズを有する非線形（ＮＬ）ＬＵＴを含む、信号処理チェーン。
- 請求項９に記載の信号処理チェーンであって、前記事後処理することが更に、適応欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、及び時間多重化Ｈ３Ａを含む、信号処理チェーン。
- 請求項９に記載の信号処理チェーンであって、前記複数のフレームが更に、第３の露光時間画素データ（第３の画素データ）を有する第３のフレームを含み、カメラ制御のために前記統計を前記生成することが更に、前記第３の画素データのため第３の統計を生成することを含み、前記マージすることが、前記第１の画素データ、前記第２の画素データ、及び前記第３の画素データをマージする、信号処理チェーン。
- 請求項９に記載の信号処理チェーンであって、前記マージすることが、ビット幅を少なくとも２５％増大させる、信号処理チェーン。
- 請求項９に記載の信号処理チェーンであって、更に、前記ＷＤＲマージブロックにフィードバックされるホワイトバランス（ＷＢ）を演算するため、前記統計を用いる処理ブロックを含む、信号処理チェーン。
- 請求項１１に記載の信号処理チェーンであって、前記ＮＬ ＬＵＴが、前記強度の異なるレベルを有する複数のＮＬ ＬＵＴを含み、前記信号処理チェーンが更に、前記複数のＮＬ ＬＵＴのそれぞれの間でスイッチングすることを含み、ソフトウェアが、前記複数のＮＬ ＬＵＴのうちの別のＮＬ ＬＵＴが用いられている間に、前記ＮＬ ＬＵＴの一つのＮＬ ＬＵＴの内容を更新する、信号処理チェーン。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662290786P | 2016-02-03 | 2016-02-03 | |
| US62/290,786 | 2016-02-03 | ||
| US15/183,495 | 2016-06-15 | ||
| US15/183,495 US9871965B2 (en) | 2016-02-03 | 2016-06-15 | Image processing for wide dynamic range (WDR) sensor data |
| PCT/US2017/016586 WO2017136777A1 (en) | 2016-02-03 | 2017-02-03 | lMAGE PROCESSING FOR WIDE DYNAMIC RANGE (WDR) SENSOR DATA |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019510395A true JP2019510395A (ja) | 2019-04-11 |
| JP2019510395A5 JP2019510395A5 (ja) | 2020-03-05 |
| JP6955177B2 JP6955177B2 (ja) | 2021-10-27 |
Family
ID=59387715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018540765A Active JP6955177B2 (ja) | 2016-02-03 | 2017-02-03 | ワイドダイナミックレンジ（ｗｄｒ）センサデータのための画像処理 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9871965B2 (ja) |
| EP (1) | EP3412025A4 (ja) |
| JP (1) | JP6955177B2 (ja) |
| CN (1) | CN108605104B (ja) |
| WO (1) | WO2017136777A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643358B2 (en) | 2017-04-24 | 2020-05-05 | Intel Corporation | HDR enhancement with temporal multiplex |
| CN109698910A (zh) * | 2017-10-23 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 高动态范围图片的生成方法及装置、电子设备、存储介质 |
| KR20190114332A (ko) * | 2018-03-29 | 2019-10-10 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
| US11363221B2 (en) | 2018-06-08 | 2022-06-14 | Facebook Technologies, Llc | Image sensor post processing |
| US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
| US11330153B2 (en) * | 2019-06-14 | 2022-05-10 | Texas Instmments Incorporated | Noise estimation using user-configurable information |
| CN111713095A (zh) * | 2019-08-14 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、图像拍摄设备及移动终端 |
| US11483547B2 (en) * | 2019-12-04 | 2022-10-25 | Nxp Usa, Inc. | System and method for adaptive correction factor subsampling for geometric correction in an image processing system |
| US11276134B2 (en) | 2020-01-02 | 2022-03-15 | Texas Instruments Incorporated | Reconfigurable image processing hardware pipeline |
| CN113873178B (zh) * | 2020-06-30 | 2024-03-22 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备和图像处理方法 |
| US11653105B2 (en) * | 2020-12-02 | 2023-05-16 | Texas Instmments Incorporated | Intensity separated local white balance correction |
| US20230252611A1 (en) * | 2022-02-09 | 2023-08-10 | Samsung Electronics Co., Ltd. | Generation of three-dimensional (3d) lookup table for tone mapping or other image processing functions |
| CN116672707B (zh) * | 2023-08-04 | 2023-10-20 | 荣耀终端有限公司 | 生成游戏预测帧的方法和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257516A (ja) * | 1997-03-14 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2007020224A (ja) * | 2001-09-07 | 2007-01-25 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2011147008A (ja) * | 2010-01-15 | 2011-07-28 | Olympus Imaging Corp | 撮像装置、撮像方法、および、撮像プログラム |
| JP2013013111A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP2013021490A (ja) * | 2011-07-11 | 2013-01-31 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
| JP2014519218A (ja) * | 2011-04-18 | 2014-08-07 | クゥアルコム・インコーポレイテッド | ハイダイナミックレンジ画像についてのホワイトバランス最適化 |
| JP2015080180A (ja) * | 2013-10-18 | 2015-04-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050094B2 (en) | 2000-10-26 | 2006-05-23 | Micron Technology, Inc. | Wide dynamic range operation for CMOS sensor with freeze-frame shutter |
| US7146052B2 (en) * | 2001-10-15 | 2006-12-05 | Sanyo Electric Co., Ltd. | Image processing apparatus and surveillance camera system utilizing the same |
| JP2003259234A (ja) | 2002-02-26 | 2003-09-12 | Tohoku Techno Arch Co Ltd | Ｃｍｏｓイメージセンサ |
| US7508421B2 (en) * | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
| US20060164345A1 (en) | 2005-01-26 | 2006-07-27 | Honeywell International Inc. | Active matrix organic light emitting diode display |
| JP2007259344A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
| KR101437196B1 (ko) * | 2007-02-01 | 2014-09-03 | 소니 주식회사 | 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법 |
| JP4941285B2 (ja) * | 2007-02-20 | 2012-05-30 | セイコーエプソン株式会社 | 撮像装置、撮像システム、撮像方法及び画像処理装置 |
| JP4127411B1 (ja) * | 2007-04-13 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及び方法 |
| US7925113B2 (en) * | 2007-04-27 | 2011-04-12 | Hewlett-Packard Development Company, L.P. | Generating compound images having increased sharpness and reduced noise |
| JP2009060342A (ja) | 2007-08-31 | 2009-03-19 | Fujifilm Corp | 撮像装置及びｃｃｄ型固体撮像素子の駆動方法 |
| US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| CN101394487B (zh) * | 2008-10-27 | 2011-09-14 | 华为技术有限公司 | 一种合成图像的方法与系统 |
| US8766999B2 (en) * | 2010-05-20 | 2014-07-01 | Aptina Imaging Corporation | Systems and methods for local tone mapping of high dynamic range images |
| JP2012019337A (ja) * | 2010-07-07 | 2012-01-26 | Olympus Corp | 画像処理装置及び方法並びにプログラム |
| JP5649927B2 (ja) * | 2010-11-22 | 2015-01-07 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| JP2013085040A (ja) * | 2011-10-06 | 2013-05-09 | Sanyo Electric Co Ltd | 画像処理装置 |
| JP5316625B2 (ja) * | 2011-11-11 | 2013-10-16 | カシオ計算機株式会社 | 画像合成装置、及びプログラム |
| BR112015001381A8 (pt) | 2012-07-26 | 2019-07-30 | Olive Medical Corp | sistema e método para imageamento digital em um ambiente com iluminação deficiente |
| CN103810742B (zh) * | 2012-11-05 | 2018-09-14 | 正谓有限公司 | 图像渲染方法和系统 |
| US9437171B2 (en) * | 2012-12-05 | 2016-09-06 | Texas Instruments Incorporated | Local tone mapping for high dynamic range images |
| US20150116525A1 (en) * | 2013-10-31 | 2015-04-30 | Himax Imaging Limited | Method for generating high dynamic range images |
| US9852499B2 (en) * | 2013-12-13 | 2017-12-26 | Konica Minolta Laboratory U.S.A., Inc. | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification |
| US9538092B2 (en) * | 2014-01-17 | 2017-01-03 | Texas Instruments Incorporated | Methods and apparatus to generate wide dynamic range images |
| JP6278713B2 (ja) * | 2014-01-20 | 2018-02-14 | オリンパス株式会社 | 撮像装置および撮像方法 |
| KR20150102209A (ko) * | 2014-02-28 | 2015-09-07 | 삼성전자주식회사 | 이미지 처리 장치 및 이미지 처리 방법 |
| US9479695B2 (en) * | 2014-07-31 | 2016-10-25 | Apple Inc. | Generating a high dynamic range image using a temporal filter |
| TWI498848B (zh) * | 2014-10-13 | 2015-09-01 | Quanta Comp Inc | 多重曝光成像系統及其白平衡方法 |
| US10944911B2 (en) | 2014-10-24 | 2021-03-09 | Texas Instruments Incorporated | Image data processing for digital overlap wide dynamic range sensors |
| US9704269B2 (en) * | 2014-11-21 | 2017-07-11 | Texas Instruments Incorporated | Efficient methodology to process wide dynamic range images |
| JP2016163052A (ja) * | 2015-02-26 | 2016-09-05 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム |
| GB2536904B (en) * | 2015-03-30 | 2017-12-27 | Imagination Tech Ltd | Image filtering based on image gradients |
| JP6628497B2 (ja) * | 2015-05-19 | 2020-01-08 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
| JP6569176B2 (ja) * | 2015-08-26 | 2019-09-04 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法 |
| US10257394B2 (en) * | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Combined HDR/LDR video streaming |
-
2016
- 2016-06-15 US US15/183,495 patent/US9871965B2/en active Active
-
2017
- 2017-02-03 CN CN201780009195.8A patent/CN108605104B/zh active Active
- 2017-02-03 EP EP17748309.6A patent/EP3412025A4/en active Pending
- 2017-02-03 WO PCT/US2017/016586 patent/WO2017136777A1/en active Application Filing
- 2017-02-03 JP JP2018540765A patent/JP6955177B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257516A (ja) * | 1997-03-14 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2007020224A (ja) * | 2001-09-07 | 2007-01-25 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2011147008A (ja) * | 2010-01-15 | 2011-07-28 | Olympus Imaging Corp | 撮像装置、撮像方法、および、撮像プログラム |
| JP2014519218A (ja) * | 2011-04-18 | 2014-08-07 | クゥアルコム・インコーポレイテッド | ハイダイナミックレンジ画像についてのホワイトバランス最適化 |
| JP2013021490A (ja) * | 2011-07-11 | 2013-01-31 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
| JP2013013111A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP2015080180A (ja) * | 2013-10-18 | 2015-04-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3412025A1 (en) | 2018-12-12 |
| WO2017136777A1 (en) | 2017-08-10 |
| EP3412025A4 (en) | 2019-02-20 |
| JP6955177B2 (ja) | 2021-10-27 |
| US20170223267A1 (en) | 2017-08-03 |
| CN108605104B (zh) | 2021-10-29 |
| US9871965B2 (en) | 2018-01-16 |
| CN108605104A (zh) | 2018-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6955177B2 (ja) | ワイドダイナミックレンジ（ｗｄｒ）センサデータのための画像処理 | |
| US9538092B2 (en) | Methods and apparatus to generate wide dynamic range images | |
| US9219870B1 (en) | Sensor data rescaler for image signal processing | |
| US9646397B2 (en) | Image processing apparatus and image processing method | |
| JP5019543B2 (ja) | 撮像装置 | |
| KR101727285B1 (ko) | 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 | |
| KR20200054320A (ko) | 이미징 제어 방법 및 이미징 디바이스 | |
| JP4715853B2 (ja) | 固体撮像装置および撮像方法 | |
| CN113228094A (zh) | 图像处理器 | |
| WO2019104047A1 (en) | Global tone mapping | |
| JP2015186247A (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
| JP2023106486A (ja) | 撮像装置及びその制御方法並びにプログラム | |
| JP7443639B2 (ja) | ダイナミックレンジを維持する方法及びプロセッサ、画像処理システム、非一時的コンピュータ可読ストレージ媒体 | |
| JP6887853B2 (ja) | 撮像装置、その制御方法、プログラム | |
| US20150334295A1 (en) | Dynamic Configured Video Camera | |
| US20120301048A1 (en) | Image processing apparatus and method | |
| US9013605B2 (en) | Apparatus and method for processing intensity of image in digital camera | |
| JP4103129B2 (ja) | 固体撮像装置および撮像方法 | |
| JPH10262182A (ja) | 画像合成装置 | |
| Adams Jr et al. | Digital camera image processing chain design | |
| JP2013106151A (ja) | 画像処理装置及び画像処理方法 | |
| JP5814610B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| US9374526B2 (en) | Providing frame delay using a temporal filter | |
| JP6563646B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2009017336A (ja) | 撮像装置及び撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200916 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201214 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210215 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6955177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |