JP2023026343A - 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い - Google Patents
画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い Download PDFInfo
- Publication number
- JP2023026343A JP2023026343A JP2022120920A JP2022120920A JP2023026343A JP 2023026343 A JP2023026343 A JP 2023026343A JP 2022120920 A JP2022120920 A JP 2022120920A JP 2022120920 A JP2022120920 A JP 2022120920A JP 2023026343 A JP2023026343 A JP 2023026343A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- raw image
- output
- input
- noise model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract 2
- 238000012937 correction Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003705 background correction Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 6
- 230000036211 photosensitivity Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003278 mimic effect Effects 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 8
- 238000003672 processing method Methods 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Abstract
【課題】画像全体にわたって整合性のあるノイズモデルを維持する画像処理方法を提供する。【解決手段】方法は、処理すべき入力生画像データ１１０を含む入力データ１００を、格納および／または送信するために取得するステップを含む。入力生画像データ１１０が、画像データの取得に使用されるイメージセンサの画素の値ｙを含む。方法はまた、入力生画像データ１１０を処理するステップ１３０と、出力データ１４０を提供することによって処理された画像データを出力するステップと、を含む。入力データ１００を取得するステップは、入力データ１００から入力ノイズモデル１２０を取得するステップを含む。入力生画像データ１１０を処理するステップ１３０は、少なくとも１つの前処理動作又は画像合成動作を含む。【選択図】図1
Description
本発明は、画像処理の分野に関し、詳細には、ノイズおよび情報を含む画像データを処理するための方法であって、処理すべき入力生画像データを含む入力データを、格納および／または送信するために取得するステップであって、前記入力生画像データが、画像データの取得に使用されるイメージセンサの画素の値を含む、ステップと、前記入力生画像データを処理するステップと、処理された画像データを、出力データを提供することによって出力するステップとを含む、方法に関する。
一般に、本発明は、ますます多くの装置に搭載されつつあるイメージセンサの文脈に位置する。画像データはこれにより容易かつ安価に大量生成が可能であり、洗練された処理アルゴリズムが広範な応用を可能にしている。
処理アルゴリズムの全体性能は、概して、画像データの質に大きく依存する。生画像データ、すなわち取得装置からの変更されていない画像データから開始して、任意の種類の処理および解析を実施することが、しばしば最良である。カラーフィルタアレイからRGBデータへの画像データの変換または標準的な不可逆的圧縮の適用を含むがそれらに限定されない動作が、重大な情報および質の損失を招くことがあり、そうした動作は回避すべきである。この理由から、出願人は、欧州特許出願EP 3 820 150に開示した、復元された画像データが非圧縮の生センサデータと統計的に等価になる画像圧縮技法を、これまでに開発している。
生画像データにはしばしば、例えば、イメージセンサの不均一な応答もしくは不良画素、不完全な照度、または歪みおよび周辺減光(vignetting)を招く不完全な光学素子によって生じる、不完全性がある。画像の処理および解析からより良好な結果を得るために、加えて、主観的により良好な見た目の画像を得るために、そのような問題に対処しようと従来技術において数多くの方法が開発されてきた。これらの方法は、個々の画像の外観の改善にかなり成功しているが、一般に認識されているように、生画像データのノイズが非線形の振る舞いをする信号依存成分を含んでいることにより、画像データの統計的性質を維持し損なっている。この理由から、画素値のスケーリングや画素値を近傍の平均と置換することなどの線形補正を適用すると、ノイズの局所的特性が修正され、ノイズが画像全体にわたって不整合になる。
例えば、米国特許第7,683,948号は、画像処理における不良画素交換のための方法について開示しており、この方法では、壊れた画素が検出され、選択された周辺画素の平均、平均値、最大値、または他の統計的関数と交換される。平均、平均値、または中央値を適用すると、ノイズレベルが期待値に満たない、交換後の画素値がもたらされ、これは、連続したいくつかの画像を同時処理する際に明らかとなる。
Seibertらによる「Flat-field correction technique for digital detectors」というタイトルの文献は、センサの不均一な応答を補正するための方法について明らかにしている。この方法は、個々の画素ごとに応答曲線を測定することに基づいている。次いで、曲線を線形モデルによって近似し、画素ごとに2つのパラメータを生成する。次いで、画素固有の応答曲線に対する正規化を使用して、フラットフィールド補正を達成する。この手法は、画像の外観を改善するのに役立つが、画像データの統計的特性をほぼ確実に悪化させる。より最近では、米国特許第9,143,709号が、この方法を、非線形応答を有するイメージセンサに適したものになるように適合させているが、不整合なノイズに関する上述した問題は残っている。
Adobe Inc.によるデジタルネガティブ(DNG)仕様でも、不良画素および周辺減光を補正する必要性が認識されている。これは、それらの特定の目的のために特別にパラメータ化された、いわゆるオペコードによって表現される動作を提供することにより、対処されている。当該のオペコードは、FixVignetteRadial、FixBadPixelsConstant、およびFixBadPixelsListである。しかし、上記の従来技術と同様に、これらの実装も、上記した意味での整合性のあるノイズを保全しようとしない。具体的には、FixVignetteRadialは、径方向に変化する正規化を適用することによって機能し、上記の従来技術の方法に等価であり、FixBadPixelsConstantおよびFixBadPixelsListは、補間を使用した不良画素の補正を目的としており、これは、画素値を局所平均と交換することと等価である。
一部の従来技術も、画像処理にノイズモデルを使用する。例えば、前記DNG仕様は、ノイズプロファイルについての情報をDNGファイル形式に格納することを許している。この場合、主要な目的は、ノイズプロファイルをノイズ除去に使用することである。しかし、大多数の画像データには、ノイズ特性についてのどんな情報も付属しておらず、さまざまな量の補正および前処理のため、適切なノイズモデルが存在すらしないことがある。例えばAzzariおよびFoiによる「Variance Stabilization for Noisy+Estimate Combination in Iterative Poisson Denoising」という文献において提案されているような、画像データから直接的にノイズパラメータを推定するノイズ除去方法が開発されてきた。しかし、画像データからの直接的なノイズモデルの推定は、しばしば不十分であり、そのような技法は、一般的な画像処理目的に高信頼に使用することができない。
ノイズモデルは、ノイズ除去以外の応用例、例えばx線を用いる医療イメージングの分野にも恩恵をもたらし、その場合、さまざまな画像診断法についての患者の放射線被ばくの低減の可能性を、シミュレーションを通じて調査することが可能である。ここで、少ないx線量には、信号対雑音比(SNR)の減少という犠牲が伴い、SNRは、その結果として、ノイズモデルを使用することでしか現実的にシミュレーションすることができない。スケーリングとノイズ注入の組み合わせを通じて線量低減をシミュレーションするための方法が、Veldkampらによる「A Technique for Simulating the Effect of Dose Reduction on Image Quality in Digital Chest Radiography」という文献に開示されており、同文献では、前記ノイズ注入にノイズモデルが使用されている。しかし、上述した応用例と同様に、ノイズモデルの使用は、この従来技術応用例においても依然として極めて限定されたままである。
最後に、ますます多くの応用が、画像データの処理および／または解釈を機械学習技法に頼っている。より古典的な画像処理において、中心的な課題は一般に、適切なアルゴリズムの発明および開発であったが、機械学習の文脈におけるさらなる課題は、質の高い大量のトレーニングデータの入手である。
機械学習を用いて高信頼の結果を得るために、トレーニング画像セットは、ターゲット環境において期待される全てのバリエーションのサンプルを収容していなければならず、トレーニングデータ量は、パラメータ空間とともに指数関数的に増える。この問題は、データ拡張の導入によって、すなわち、既存のデータの修正版である合成画像をトレーニングセットに追加することによって、一部軽減されてきた。そのような修正の例には、幾何学的変換(回転、並進、スケーリング、および反転)、ならびにコントラストおよび色の操作、またはノイズの注入が含まれる。従来技術によるそのような種類のデータ拡張は、ノイズモデルの使用を含まない。
要約すると、従来技術による撮像の不完全さの補正および合成画像の生成には、それらにおいて、画像の外観に焦点が当てられることによって、生画像データの主要な特性のうちの1つ、すなわち、信号と基本的な物理的原理および取得装置の技術的性質から生じるノイズとの間の非常に特殊な関係が無視される、という欠点がある。この関係を断つと、処理アルゴリズムにおける、画像生データ内に含まれたノイズおよび／または測定上の不確実さの高信頼の使用が妨げられ、機械学習用のトレーニングセットに、混乱させる要素が導入され、さまざまなセンサから生じる画像データの適切かつ整合性のある正規化を見いだすことが事実上不可能になる。
上述した欠点を克服することが、本発明の目的である。一般に、画像全体にわたって整合性のあるノイズモデルを維持する画像処理方法を提供することが、本発明の一目的である。画像データのユーザが、明確に定義された統計的性質を有する画像データを得られるようにすること、およびこの統計的性質を、これらの画像データに基づくユーザ自身の計算および解析に利用できるようにすることが、本発明のさらなる目的である。
取得ハードウェアまたは取得状況において存在するさまざまな不完全性を補正する画像前処理方法を提供することが、本発明のさらなる目的である。
生成された合成画像データが、機械学習アルゴリズムのトレーニング、困難な状況下での画像処理の検証、および他の類似の目的に十分に適したものになるように既存の画像データから合成画像データを生成するための方法を提供することが、本発明の別の目的である。
この趣旨で、本発明は、請求項1に列挙された特徴によって特徴付けられるとともに上記で特定した目的の達成を可能にする方法を提案する。具体的には、本発明による方法は、入力データを取得するステップが、
°前記入力データから入力ノイズモデルを取得するステップであって、前記入力ノイズモデルが、前記入力生画像データ内に存在するノイズを反映するように適合されており、前記入力生画像データと前記入力ノイズモデルが一緒に、入力生画像データを入力ノイズモデルにリンクさせる様式で前記入力データを形成する、ステップ
を含むことによって従来技術とは区別され、
前記入力生画像データを処理するステップが、
°前記入力生画像データの画素値を補正する処理動作、
°前記入力生画像データにフラットフィールド補正を適用する処理動作、
°前記入力生画像データに光感度不均一性の補正を適用する処理動作、
°前記入力生画像データにビニング動作および／または平均化動作を適用する処理動作、
°前記入力生画像データの正規化を実行する処理動作、
°前記入力生画像データに、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用する処理動作、
°特に、前記入力生画像データに基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データを変調することによって、画像合成を実行する処理動作
のうちの少なくとも1つを含み、
前記処理ステップが、
°前記入力ノイズモデルに基づいて、かつ入力生画像データに適用された前記処理動作に応じて、前記出力データ内に存在するノイズを反映するように適合された出力ノイズモデルを決定するステップと、
°入力生画像データに適用された前記処理動作、ならびに前記入力ノイズモデルおよび／または前記出力ノイズモデルに基づいて、前記出力ノイズモデルと統計的に整合性のある出力生画像データを生成するステップと
をさらに含むことによって従来技術とは区別され、
また、処理された画像データを出力するステップが、
°前記出力生画像データおよび前記出力ノイズモデルを格納および／または送信するステップであって、前記出力生画像データと前記出力ノイズモデルが一緒に、出力生画像データを出力ノイズモデルにリンクさせる様式で前記出力データを形成する、ステップ
を含み、
前記処理がパイプライン処理のために適合されるように、前記出力データを入力データとして、前記処理動作のうちのいずれか1つによって単独で、または前記処理動作の任意の組み合わせによって処理を可能にする
ことによって従来技術とは区別される。
°前記入力データから入力ノイズモデルを取得するステップであって、前記入力ノイズモデルが、前記入力生画像データ内に存在するノイズを反映するように適合されており、前記入力生画像データと前記入力ノイズモデルが一緒に、入力生画像データを入力ノイズモデルにリンクさせる様式で前記入力データを形成する、ステップ
を含むことによって従来技術とは区別され、
前記入力生画像データを処理するステップが、
°前記入力生画像データの画素値を補正する処理動作、
°前記入力生画像データにフラットフィールド補正を適用する処理動作、
°前記入力生画像データに光感度不均一性の補正を適用する処理動作、
°前記入力生画像データにビニング動作および／または平均化動作を適用する処理動作、
°前記入力生画像データの正規化を実行する処理動作、
°前記入力生画像データに、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用する処理動作、
°特に、前記入力生画像データに基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データを変調することによって、画像合成を実行する処理動作
のうちの少なくとも1つを含み、
前記処理ステップが、
°前記入力ノイズモデルに基づいて、かつ入力生画像データに適用された前記処理動作に応じて、前記出力データ内に存在するノイズを反映するように適合された出力ノイズモデルを決定するステップと、
°入力生画像データに適用された前記処理動作、ならびに前記入力ノイズモデルおよび／または前記出力ノイズモデルに基づいて、前記出力ノイズモデルと統計的に整合性のある出力生画像データを生成するステップと
をさらに含むことによって従来技術とは区別され、
また、処理された画像データを出力するステップが、
°前記出力生画像データおよび前記出力ノイズモデルを格納および／または送信するステップであって、前記出力生画像データと前記出力ノイズモデルが一緒に、出力生画像データを出力ノイズモデルにリンクさせる様式で前記出力データを形成する、ステップ
を含み、
前記処理がパイプライン処理のために適合されるように、前記出力データを入力データとして、前記処理動作のうちのいずれか1つによって単独で、または前記処理動作の任意の組み合わせによって処理を可能にする
ことによって従来技術とは区別される。
このようにして、画像データとノイズモデルは、画像処理パイプラインを一緒に通過する不可分のエンティティとして見なされる。パイプライン内の個々の処理ステップは、画像データとノイズモデルのどちらか一方、または両方を修正することができる。したがって、処理された画像データは、いかなる場合にも、出力ノイズモデルと整合性のある統計的特性を有する。ノイズモデルにより、さらに、画像データのユーザが、個々の画素値についての不確実さを得られるようになり、したがって、これらの画素値に基づくユーザ自身の計算および解析をすることができるようになる。
さらに、本発明は、前記処理動作のうちの少なくともいくつかによって、デッドピクセル値の交換、光感度不均一性の補正、ならびに不均一な照度および周辺減光の補正を含むフラットフィールド補正のための方法を提供する。そのような画像前処理は、入力データのノイズモデルが前処理後に有効なままである、すなわち出力データに適用可能なままであることを可能にする様式で実行される。
本発明は、合成画像データの生成、特に、入力データと同じノイズモデルに従う合成画像データの生成を可能にする方法も提供する。具体的には、露光時間または光収集の低減を模倣した合成画像を生成するための方法が提供される。
本発明による方法は、さまざまな実施形態において実現することができる。
特に好ましい一実施形態では、前記入力ノイズモデルおよび／または前記出力ノイズモデルが、画像データの取得に使用されるイメージセンサの所与の画素の値の平均画素値の、画素値標準偏差に対するマッピング、平均画素値の、画素値分散に対するマッピング、または平均画素値の、信号対雑音比に対するマッピングによって表現される。
さらにより好ましくは、前記入力ノイズモデルおよび／または前記出力ノイズモデルは、前記入力生画像データおよび／または前記出力生画像データ内の、ポアソン-ガウス分布に従うノイズを表現するように適合される。
別の特に好ましい実施形態では、前記入力生画像データに比べて統計的に等価であるとともに前記出力ノイズモデルと整合性のある出力生画像データを生成することは、ノイズ整合的スケーリング動作を表す変換を、画像データの取得に使用されるイメージセンサの所与の画素の値に適用することによって確実にされ、前記変換は、画素値低減を実施することができる。
本発明の他の特徴および利点については、従属請求項において、ならびに以下に図を参照して本発明をより詳細に開示する説明の中で、言及される。
添付の図は、本発明の原理ならびにいくつかの実施形態を例示的かつ概略的に示す。
以下では、本発明について、上述した図を参照して詳細に説明する。
本発明の概念を図1に示す。本発明は、生画像データ110の処理に関するが、確立された方法とは対照的に、生画像データ110は、処理アルゴリズム130に対する入力データ100の一部でしかない。処理アルゴリズム130は、第2の入力としてノイズモデル120を必要とする。一緒になって入力データ100を形成する生画像データ110とノイズモデル120は、次いで、一緒に処理されて、出力生画像データ150および出力ノイズモデル160からなる出力データ140が生成する。処理130は、その出力のあらゆる画素が出力ノイズモデル160と整合性のある出力生画像データ150を生成する。ノイズ整合的処理130の例を以下に示す。一部の処理アルゴリズムでは、出力ノイズモデル160は入力ノイズモデル120と同一である。出力画像データ150が生と表記されている理由は、それが、センサからもたらされる実際の生画像データと統計的に等価であり、この出力画像データ150に対して出力ノイズモデル160が適用されるためである。したがって、出力データ140は、ノイズ整合的処理130の別のステップの入力データ100としての働きをするように適合されており、したがって、処理パイプライン全体をそれに基づいて構築することができる。
ノイズモデル
ノイズモデルは、本発明の不可欠な構成ブロックである。例えば、EMVA1288規格に従って、以下では、ノイズモデルとして、所与の画素の値yの標準偏差σyをその平均値μyに関連付けるマッピングσy(μy)を考慮する。一般に、平均値μyは、画素に衝突する光子の束および波長に応じて決まるが、標準偏差σyは、平均値μyのみに応じて決まる。以下では、上記で導入したマッピングσy(μy)に焦点を当てるが、画素分散
ノイズモデルは、本発明の不可欠な構成ブロックである。例えば、EMVA1288規格に従って、以下では、ノイズモデルとして、所与の画素の値yの標準偏差σyをその平均値μyに関連付けるマッピングσy(μy)を考慮する。一般に、平均値μyは、画素に衝突する光子の束および波長に応じて決まるが、標準偏差σyは、平均値μyのみに応じて決まる。以下では、上記で導入したマッピングσy(μy)に焦点を当てるが、画素分散
の平均値μy依存性や、信号対雑音比
、ただしμy.darkは黒レベル、すなわち照明がない状態での平均画素値である、など、σy(μy)をそれを使用して抽出することのできる等価マッピングが存在する。
上述したマッピング／モデルは、同一条件下で取得を反復した場合の画素値変動を定量化する、いわゆる時間ノイズに関係する。原理的に、所与のイメージセンサの各画素はそれ自体の特性マッピングσy(μy)を有することができるが、最近のイメージセンサは極めて良好な均一性に到達しており、したがって、多くの場合、センサの全ての画素に同じモデルを使用すると、良好な近似値が形成される。しかし、イメージセンサは、同一照度で露光された異なる画素の平均値の差を定量化する空間ノイズを呈することがある。空間ノイズはしばしば、前処理を用いて低減させるか、または除去することさえできる。不良画素は、空間ノイズの極端な形態と見なすことができる。
処理すべき画像データのタイプに応じて、マッピングσy(μy)を適切にパラメータ化したものは、ノイズモデルのデジタル表現となることができる。入力ノイズモデル120または出力ノイズモデル160として使用可能なこの例は、
・有限点集合{(μi,σi)}、そこから、線形補間もしくは非線形補間によって、または前記点集合の他の任意の適切な近似によって、連続モデルσy(μy)が得られる、あるいは
・σy(μy)を近似する多項式を構築するために使用される係数セット、あるいは
・自由パラメータがそれらのパラメータに特有の値と組み合わされた任意の種類の関数
である。
・有限点集合{(μi,σi)}、そこから、線形補間もしくは非線形補間によって、または前記点集合の他の任意の適切な近似によって、連続モデルσy(μy)が得られる、あるいは
・σy(μy)を近似する多項式を構築するために使用される係数セット、あるいは
・自由パラメータがそれらのパラメータに特有の値と組み合わされた任意の種類の関数
である。
ノイズ整合的処理130の目的において、入力生画像データ110は、入力ノイズモデル120のデジタル表現と結合されて、入力データ100を形成する。以下に説明する本発明のさまざまな実施形態では、この結合は、
・生画像データをノイズモデルと一緒に、適切な(単一の)コンテナファイル、例えばタグドイメージファイルフォーマット(TIFF)のファイル内に格納すること、または
・ノイズモデルを、いわゆるサイドカーファイル、すなわち(第2の)ファイル内に格納し、それが、生画像データがその中に格納されている(第1の)ファイルに結合され、前記サイドカーファイルは、生画像データファイルによってサポートされていない追加の(メタ)データを格納するように適合されていること、または
・ノイズモデルを、対応する(単一の)生画像データファイル内に格納された特定の生画像データをその関連するノイズモデルにリンクさせるデータベース内に格納すること
などのさまざまな方途またはその組み合わせのいずれかにおいて達成することができる。
・生画像データをノイズモデルと一緒に、適切な(単一の)コンテナファイル、例えばタグドイメージファイルフォーマット(TIFF)のファイル内に格納すること、または
・ノイズモデルを、いわゆるサイドカーファイル、すなわち(第2の)ファイル内に格納し、それが、生画像データがその中に格納されている(第1の)ファイルに結合され、前記サイドカーファイルは、生画像データファイルによってサポートされていない追加の(メタ)データを格納するように適合されていること、または
・ノイズモデルを、対応する(単一の)生画像データファイル内に格納された特定の生画像データをその関連するノイズモデルにリンクさせるデータベース内に格納すること
などのさまざまな方途またはその組み合わせのいずれかにおいて達成することができる。
いずれにせよ、本発明によれば、ノイズモデルを格納することが、モデルのパラメータのデジタル表現を格納することを意味する。本発明のいくつかの実施形態では、これらのパラメータは、固定の定義を有する関数に渡される。他の実施形態では、実装が関数のカタログからなり、使用される特定の関数が、追加の識別パラメータによって選択される。本発明のいくつかの実施形態は、これまでに論じたように、ごく一般的な意味でのノイズモデルを利用しているが、他の実施形態は、センサ出力が入射光量に正比例する線形イメージセンサに一般に使用される、ポアソン-ガウスノイズモデルに特化する。ポアソン-ガウスノイズモデルは、
によって与えられ、
ただしσy.darkは、光がない状態での画素値の標準偏差を表し、しばしば読み出しノイズと呼ばれ、μy.darkは、光がない状態での画素値の平均値であり、Kはゲイン係数である。したがって、ポアソン-ガウスノイズモデルは、3つのパラメータ{K,μy.dark,σy.dark}によって表される。
ただしσy.darkは、光がない状態での画素値の標準偏差を表し、しばしば読み出しノイズと呼ばれ、μy.darkは、光がない状態での画素値の平均値であり、Kはゲイン係数である。したがって、ポアソン-ガウスノイズモデルは、3つのパラメータ{K,μy.dark,σy.dark}によって表される。
ポアソン-ガウスノイズモデルは、大多数のイメージセンサによって出力される生画像データに適用可能であることに留意されたい。ポアソン-ガウスノイズモデルは、線形センサを用いた画像取得の際に自然発生する画素値の変動の統計量の正式な表現である。ポアソン-ガウスノイズモデルは、遍在しているにもかかわらず、その重要性は画像データの補正および処理に関する従来技術において一般に無視されている。
ノイズ整合的処理
本発明の主題である画像データ処理は、2つのカテゴリに分割することができる。第1のカテゴリは、主として取得ハードウェアまたは取得状況における不完全性を補正するという、または画像データを特定の方途で標準化するという目的をもった、画像前処理である。第2のカテゴリは、次いでそれを使用して画像処理アルゴリズムの信頼性をテストし改善することのできる、または機械学習の文脈においてトレーニングデータセットを豊富にすることのできる、画像データの合成に関する。
本発明の主題である画像データ処理は、2つのカテゴリに分割することができる。第1のカテゴリは、主として取得ハードウェアまたは取得状況における不完全性を補正するという、または画像データを特定の方途で標準化するという目的をもった、画像前処理である。第2のカテゴリは、次いでそれを使用して画像処理アルゴリズムの信頼性をテストし改善することのできる、または機械学習の文脈においてトレーニングデータセットを豊富にすることのできる、画像データの合成に関する。
従来技術にはどちらの処理カテゴリも存在するが、従来技術では、基礎をなすノイズモデルに注目されておらず、またノイズモデルと整合性のある出力データを生成しようとする、または処理が画像統計量に、したがってノイズモデルにどのように影響を及ぼすかを考慮しようとする努力が行われていない。従来技術では、ノイズ除去やデコンボリューションのような、ノイズに特に関係する処理アルゴリズムのみが、場合によっては、導入部において述べたような特定的かつ限定的な形でノイズモデルを使用している。これらの場合でさえ、従来技術の焦点は常に、方法を処理パイプライン全体に一般化しようと試みることなく、また何らかのノイズモデルと引き続き整合性のある出力データを生成することなく、関係する単一の動作に当てられてきた。
しかし、画像全体にわたって整合性のある正確なノイズモデルを有する画像は、特に処理アルゴリズムにおいてノイズモデルが考慮に入れられる場合、はるかにより高信頼の処理を可能にする。反対に、整合性のあるどんなノイズモデルにも従わない画像は、それらの予期せぬ統計量でアルゴリズムを混乱させる傾向がある。これが特に当てはまるのは、ノイズおよびノイズ相関を含めて画像データの全ての側面をそれらの解析の際に考慮する、深層学習およびニューラルネットワークに基づくアルゴリズムの場合である。
この文脈における2つの重要な特記事項は、a)入力が単に、単一の画素値およびそのノイズモデルである場合、どの動作も、その画素についての信号対雑音比を確実に増大させることができるとは限らず、低減が起こり得ること、およびb)信号対雑音比は一般に、照度が高いほど(したがって画素値が大きいほど)増大するが、その向上は線形でも比例でもない、ということである。これに基づいて、初期平均画素値に係数q、ただし0<q<1である、を乗算した積に対応する照度の低減を模倣することができ、それぞれ達成することができる。そうするためには、初期画素値yを、補正済み画素値y'=q・y+δ(y,q)と交換し、ただしδは、正規分布からサンプリングされた(疑似)乱数であり、この正規分布は、平均値0および分散
を有し、ただし
は、出力生画像データ150のノイズの標準偏差σy(qy)を係数qという実際の画素値低減の分だけ低減させる係数である。q<q'<1であることに留意されたい。この変換は、ノイズ整合的スケーリング動作を表し、それは記号S(y,q)によって表され、すなわちS(y,q)=q・y+δ(y,q)であり、本発明の文脈におけるその用法は、以下においてより明らかになる。実際のところ、この変換は、正しく適用されるとき、画像補正の文脈においてそれを使用してより洗練された動作を実施することができる。
ポアソン-ガウスノイズモデルの特定のケースでは、疑似乱数δ(y,q)に使用される分散は、
によって与えられる。
不良画素補正
従来技術では、不良画素は一般に、イメージング装置のハードウェアにおいて、または処理パイプラインの一部としてのソフトウェアにおいて、正しく機能している近傍画素を用いた補間によって補正される。補間の結果、結果として得られる画素値は、機能している画素の場合ほどは変動せず、補間された画素は、異なる光感度曲線によって明確に識別することができる。
従来技術では、不良画素は一般に、イメージング装置のハードウェアにおいて、または処理パイプラインの一部としてのソフトウェアにおいて、正しく機能している近傍画素を用いた補間によって補正される。補間の結果、結果として得られる画素値は、機能している画素の場合ほどは変動せず、補間された画素は、異なる光感度曲線によって明確に識別することができる。
不良画素のノイズは期待値未満であるので、それらの統計量は、ノイズを加算することによって、ノイズモデルと整合性があるようにすることができる。これは、ノイズ整合的スケーリングを用いて達成される。例えば、その値yCを、値yLおよびyRを有する左右の近傍を使用することによって交換すべき不良画素を考慮されたい。この値yCに、式
y'C=S(yL+yR-μy.dark,q=1/2)
を代入することができ、上式は、概して、補間を使用することによるものと同じ値を再現し、それに加えて、ノイズモデルと整合性のあるyCの標準偏差も再現する。
y'C=S(yL+yR-μy.dark,q=1/2)
を代入することができ、上式は、概して、補間を使用することによるものと同じ値を再現し、それに加えて、ノイズモデルと整合性のあるyCの標準偏差も再現する。
フラットフィールド補正
アパーチャ、レンズ、およびフィルタはしばしば、例えば周辺減光、すなわち均一に照明されたシーンが撮像されると縁部に向かうにつれて暗く見えること、において見られるような、入射光子の空間的に不均一な「捕捉」という結果を招く。従来技術では、これを補正する標準的な方途は、参照フラットフィールド画像N(i,j)、ただしiおよびjは画素座標を表す、に対して、
y'(i,j)=y(i,j)/N(i,j)
を通じて正規化することによるものである。
アパーチャ、レンズ、およびフィルタはしばしば、例えば周辺減光、すなわち均一に照明されたシーンが撮像されると縁部に向かうにつれて暗く見えること、において見られるような、入射光子の空間的に不均一な「捕捉」という結果を招く。従来技術では、これを補正する標準的な方途は、参照フラットフィールド画像N(i,j)、ただしiおよびjは画素座標を表す、に対して、
y'(i,j)=y(i,j)/N(i,j)
を通じて正規化することによるものである。
この場合、フラットフィールド画像は可能な限りノイズフリーとすべきであり、それは、数学的に平滑な関数を参照画像に当てはめることによって、または多数の参照画像を平均化することによって、達成することができる。加えて、通常はオリジナル画像の中で比較的明るい部分(通常は中心)を保全したいと思うので、N(i,j)は、範囲0<N(i,j)≦1に対して正規化すべきである。
この方法は、画像の輝度を正規化するために使用することができるが、同じノイズモデルを画像全体に使用することはもはや不可能となり、というのも、以前に比較的暗かった部分は、この時点で、画像の以前に比較的明るかった部分と同じ輝度を有するが、画像の以前に比較的明るかった部分よりも大きな相対ノイズを有するためである。
本発明では、ノイズ整合的フラットフィールド補正は、画像の比較的明るい部分を暗くするための画素依存係数q(i,j)を用いたノイズ依存スケーリングを使用することによって達成される。ノイズ整合的スケーリングの全ての考慮事項、すなわち、補正済み画素値を決定するための式y'=q・y+δ(y,q)の使用に関する、は引き続き該当し、ノイズ整合的フラットフィールド補正を確実なものにするなどのためのq(i,j)の値は、
である。
光感度不均一性の補正
光感度不均一性は、個々の画素の変化する検出効率によって生じる、特別な種類の不均一な照度である。その差は、通常は1%から2%程度であり、数ある中でもとりわけ、画素のアクティブエリア内での吸収の差によって生じ得る。
光感度不均一性は、個々の画素の変化する検出効率によって生じる、特別な種類の不均一な照度である。その差は、通常は1%から2%程度であり、数ある中でもとりわけ、画素のアクティブエリア内での吸収の差によって生じ得る。
変化する検出効率は、不均一な照度または露光に等価であり、N(i,j)として、画像データの取得に使用されるイメージセンサの慎重な較正を通じて決定される空間的に変化する相対検出効率を使用することによって、フラットフィールド補正と同じ方途で補正することができる。
ビニングおよび平均化
上に提示したノイズ整合的処理方法は、出力生画像データ150が確実に入力ノイズモデル120と引き続き整合性があるようにするものである。多くのユースケースでは、修正されてはいるものの出力生画像データ150の全体に引き続き適用可能な出力ノイズモデル160をもたらす処理を実施することが求められ、またはそれを実施することに関心がもたれている。例えば、ビニング動作を用いて空間分解能を犠牲にし、その結果として、信号対雑音比を増加させる場合がある。ここで重要なのは、整合的に修正されたノイズモデルを有するビニングしたデータと、ノイズモデルが同じままであり、したがってビニングしたデータとはノイズモデルが不整合であるクロップしたデータ(cropped data)とを、その次の処理ステップが区別することができるように、ノイズモデルを更新することである。
上に提示したノイズ整合的処理方法は、出力生画像データ150が確実に入力ノイズモデル120と引き続き整合性があるようにするものである。多くのユースケースでは、修正されてはいるものの出力生画像データ150の全体に引き続き適用可能な出力ノイズモデル160をもたらす処理を実施することが求められ、またはそれを実施することに関心がもたれている。例えば、ビニング動作を用いて空間分解能を犠牲にし、その結果として、信号対雑音比を増加させる場合がある。ここで重要なのは、整合的に修正されたノイズモデルを有するビニングしたデータと、ノイズモデルが同じままであり、したがってビニングしたデータとはノイズモデルが不整合であるクロップしたデータ(cropped data)とを、その次の処理ステップが区別することができるように、ノイズモデルを更新することである。
ビニング動作の一実現形態は、N=n・m個の画素からなるグループの和をとり、それによって、各グループについて、値
、ただし添え字iはビニングされるブロック内の空間位置をラベル付けしたものである、を有する出力画素があるようにすることからなる。
出力ノイズモデルσY(μY)は、新たな暗条件を考慮に入れるように更新されなければならない。具体的には、Yは、黒レベルのN倍の寄与を有し、すなわちμY.dark=Nμy.darkであり、出力モデル内の読み出しノイズは、
である。
ビニング動作の別の実現形態では、出力画素値が
として計算される。
これには、出力ノイズモデルの黒レベルが、入力ノイズモデルの黒レベルと同一であり、したがって、0からμy.darkの間のほとんど使用されない画素値の範囲が必要以上に拡大されない、という利点がある。
以下に説明する、平均に基づくビニング動作とは対照的に、上記の2つのビニング動作では整数を整数に対してマッピングしており、したがって、小数部を丸めるかまたは切り捨てることに関連する精度の損失のリスクがない。
ビニング動作の別のバージョンでは、入力画素値の平均
をとることによって、出力画素値が得られる。
これは、出力生画像データ150のデジタル表現が、固定のビット深度を有する整数値などの有界データタイプであるときに特に有用であり、というのも、それにより、大きな値の和のクリッピングが回避されるためである。平均化の場合、データの黒レベルは変更されないままであるが、出力ノイズは入力ノイズよりも小さく、
である。具体的には、
であり、ポアソン-ガウスノイズモデルの場合、出力モデルのゲインパラメータはK/Nに等しい。
同様に、同じ位置にあるが別々に露光したものである画素を合計または平均化することができる。この場合、出力生画像データ150は、入力生画像データ110と同じ次元を有するが、出力ノイズモデル160は、空間和または空間平均の場合と同様に修正しなければならない。例えば、N回の露光を平均化して、画素値
、ただし添え字iはこの場合は露光番号をラベル付けしたものであり、値yiは、画像データ内の、出力画素値
と同じ位置を表す、を有する出力画像を得ることができる。露光平均の出力ノイズモデルにおいて、
であり、ポアソン-ガウスノイズモデルの場合、出力ゲインパラメータはK/Nに等しい。
正規化
ノイズ整合的処理のいくつかの実施形態は、入力生画像データ110として、異なるパラメータ
ノイズ整合的処理のいくつかの実施形態は、入力生画像データ110として、異なるパラメータ
を有するポアソン-ガウスノイズモデルをもつ数M個の異なる装置からもたらされる画像の系列を有し、処理のゴールは、単一の出力ノイズモデル160に従う、出力画像の系列によって形成された出力生画像データ150を生成することである。これは、どのノイズモデルが、正規化された最大の読み出しノイズ
を有するかを決定すること、および入力画像iの各画素値yiについて、
、ただしδiは、平均値0および分散
を有する正規分布からサンプリングされた(疑似)乱数である、としての出力画素値εiを代入することによって、達成することができる。その場合、共通の出力ノイズモデル160のパラメータは、{K=1,με.dark=0,σε.dark=σε}となる。
整数量子化
上述した動作のいくつかでは、補正に浮動小数点演算または浮動小数点乱数を使用しており、入力画素値に対する変化は小さい場合がある。補正全体は、実際のところ1(unity)よりも小さい場合があり、例えば画素値10に2%の低減が適用されるべき場合、実効的な補正済み画素値は9.8となり得る。一般に、そのような小さな補正は、補正済み値を非整数表現(例えば固定小数点、浮動小数点、または有理数)として保存することによって、適用することができる。しかし、多くのユースケースでは、整数表現の出力を有することが望ましい。切り捨てや丸めなどの単純な(naive)実装では、所望の補正係数と適用された実効的な補正との間の差が生じることがある。例えば、切り捨てまたは丸めは、画像データの統計的平均値の、バイアスとしても知られる意図せぬシフトを導入することがある。これを回避するために、本発明による方法の好ましい一実施形態は、実際の丸め動作の前のディザリング、すなわち画素ごとに異なる適切に選択された乱数Δの加算が関与する、ノイズ整合的丸め動作、すなわち
y'=round(y+Δ)
を提供する。
上述した動作のいくつかでは、補正に浮動小数点演算または浮動小数点乱数を使用しており、入力画素値に対する変化は小さい場合がある。補正全体は、実際のところ1(unity)よりも小さい場合があり、例えば画素値10に2%の低減が適用されるべき場合、実効的な補正済み画素値は9.8となり得る。一般に、そのような小さな補正は、補正済み値を非整数表現(例えば固定小数点、浮動小数点、または有理数)として保存することによって、適用することができる。しかし、多くのユースケースでは、整数表現の出力を有することが望ましい。切り捨てや丸めなどの単純な(naive)実装では、所望の補正係数と適用された実効的な補正との間の差が生じることがある。例えば、切り捨てまたは丸めは、画像データの統計的平均値の、バイアスとしても知られる意図せぬシフトを導入することがある。これを回避するために、本発明による方法の好ましい一実施形態は、実際の丸め動作の前のディザリング、すなわち画素ごとに異なる適切に選択された乱数Δの加算が関与する、ノイズ整合的丸め動作、すなわち
y'=round(y+Δ)
を提供する。
特に関心があるのは、-1/2から+1/2の間の一様分布に従う乱数、および-1から+1の間の三角分布、すなわち前記一様分布の2つの独立したサンプルを加算することにより形成される分布に従う乱数であり、というのも、どちらの分布もゼロバイアスを導入するためである。さらに、後者は、Δとは相関関係のない量子化雑音をもたらす。一部の応用では、Δに他のランダム分布を使用することから恩恵を受ける場合がある。
量子化動作は、わずかな量の余分なノイズを導入し、それにより、出力ノイズモデルの読み出しノイズを、
、ただし
は乱数Δの分布の分散である、に従って適合させる必要がある。この追加のノイズのため、また処理過程の誤差(processing error)の導入を最小限に抑えるために、本発明による処理パイプラインの好ましい実装形態は、量子化を一度だけ、パイプラインの最終動作として実施する。
露光スケーリングおよびゲインスケーリングによる画像合成
上に提示した正規化手順は、機械学習およびアルゴリズムテストに十分適しており、というのも、この正規化手順により、アルゴリズムが取り扱えなければならない、または耐性をもたねばならないノイズモデルの数を増大させることなく、多数のソースからデータを収集することが可能になるためである。
上に提示した正規化手順は、機械学習およびアルゴリズムテストに十分適しており、というのも、この正規化手順により、アルゴリズムが取り扱えなければならない、または耐性をもたねばならないノイズモデルの数を増大させることなく、多数のソースからデータを収集することが可能になるためである。
トレーニングデータまたはテストデータの量をさらに増大させるためには、同じノイズモデル内で、低減された信号対雑音比を有する画像を模倣することができる。このノイズモデルは、オリジナルの入力データ100の単一セットの、モデルとすることもでき、または、上記した手順に従うことによって生成された、正規化された入力データのセットの、モデルとすることもできる。次いで、露光時間または検出効率の、係数qによる低減に等価な性質を有する合成画像を、入力生画像データ110の値yを有する各画素に、上でより詳細に定義したようなノイズ整合的スケーリングS(y,q)を適用することによって、生成することができる。
他の状況では、信号を一定に維持しながらノイズレベルを増大させることが望ましい。ポアソン-ガウス入力ノイズモデルの場合、これは2つの方途において達成することができる。自明な方途は、0平均値および所望の標準偏差σδを有する(疑似)乱数値δを、入力画像データ110の全ての画素値に加算するというものである。これは、読み出しノイズパラメータを増大させることに実質的に対応し、読み出しノイズパラメータは、出力ノイズモデル内で、
に変更されるべきである。別の手法は、正規化と、係数qによる露光スケーリングとを組み合わせ、それに続いて、新たなゲイン係数K'=K/qを適用し、入力黒レベルμy.darkを再び加算すること、すなわち
からなる。この変換によって、出力生画像データ150は、統計的に入力生画像データ110と同じ平均値を有し、出力ノイズモデルは、新たなパラメータ{K'=K/q,μy.dark,σy.dark'=σy.dark/q}を有する。
上記の説明から明らかなのは、本発明による方法の前記処理ステップ130が、一般に、すなわち全てのケースにおいて、一方では、前記入力ノイズモデル120に基づいて、かつ入力生画像データ110に適用された前記処理動作に応じて、前記出力データ140内に存在するノイズを反映するように適合された出力ノイズモデル160を決定するステップを含むとともに、他方では、入力生画像データ110に適用された前記処理動作、ならびに前記入力ノイズモデル120および／または前記出力ノイズモデル160に基づいて、前記出力ノイズモデル160と統計的に整合性のある出力生画像データ150を生成するステップを含み、これら2つのステップは言うまでもなく相互に依存している、ということである。
実際のところ、処理が、ノイズ整合的である動作(もしくは一連の動作)であり、したがって、入力ノイズモデル内で、すなわち入力ノイズモデルを出力ノイズモデルとして使用することによって生じるか、または処理が、ノイズ整合的でない動作(もしくは一連の動作)であり、したがって、処理された画像データと整合性のある出力ノイズモデルを生成するように入力ノイズモデルを同時に修正する、のどちらか一方である。
上述した第1の解決策の場合、前記処理ステップ130は、好ましくは、画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ整合的動作を表す変換S(y,q)を適用するステップを含み、ただしqは画素値低減係数であり、0<q<1であり、前記処理ステップ130は、入力ノイズモデル120と同一である出力ノイズモデル160を使用する。
上述した第2の解決策の場合、前記処理ステップ130は、好ましくは、画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ不整合的動作を適用するステップを含み、前記処理ステップ130は、入力ノイズモデル120に比べて異なっているとともに出力データ140の出力生画像データ150のノイズと統計的に整合性のある出力ノイズモデル160を使用する。
取得した画像データが、関連するノイズモデルと整合性があることを検証する一方途は、画像のセットを、個々の画像の対間の差をいずれもノイズによるものとすることができるように同一条件下で取得するというものである。好ましくは、単一画像の画素値は、可能な全ての画素値の大部分を網羅すべきである。次いで、各画素位置iについて、セット内の全ての画像を使用して、平均値μiおよび標準偏差σiを計算する。セット内の画像の数が多いほど、平均値μiおよび標準偏差σiの推定が良好になる。最後に、点(μi,σi)が、ノイズモデルの関数σy(μy)によってうまく近似されるかどうかをチェックする。同様に、処理動作の出力ノイズモデルが、出力ノイズモデルと整合性があることを、前記セットの各個々の画像を、処理動作を通過させて、出力画像データ内の各画素位置について平均値および標準偏差(μ'i,σ'i)を抽出することによって、検証することができる。全ての点(μ'i,σ'i)が出力ノイズモデルの関数σ'y(μ'y)によってうまく近似される場合、出力ノイズモデルは出力画像データと整合性があると見なされる。
図2は、入力生画像データ110および入力ノイズモデル120からなる初期の入力データ100から開始する画像処理パイプラインの全体性能を最適化するようにいくつかの特徴を組み合わせた、本発明によるノイズ整合的画像処理方法の一実施形態の図である。本発明の文脈では入力データ100が入力生画像データ110とノイズモデル120の両方からなる必要があるので、処理動作をそれぞれが概略的に表す後続のブロック310、320、330、340、350、360、370を接続する2つの矢印311、312はそれぞれ、生画像データとノイズモデル情報がどちらも、各処理動作を通じて伝搬されることを記号表示したものである。この入力データは、1つまたは複数の動作310、320、330、340、350、360、370を通じて処理される。これらの動作は、入力データ(画像データおよびノイズモデル)を取り扱い、処理された出力生画像データ150、およびこの処理された出力生画像データに関連する出力ノイズモデル160を供給し、これら2つの部分は、一緒になって出力データ140を形成する。動作310、320、330、340、350、360、370においてノイズモデルが利用可能であることにより、動作の性能が高まる。オプションで、特定の処理動作385、すなわち処理パイプラインの特定の要素は、画像データとノイズデータの両方を利用することができるが、図2にただ1つの矢印311がこの特定の処理動作385に対応するブロックから出ていることによって概略的に示すような、画像データのみの出力が可能であり、この特定の処理動作385は、処理パイプラインの終わりに追加されてよく、またこの特定の処理動作385は、例えばデコンボリューションとすることができる。しかし、この特定の処理動作385より前は、各中間ステップにおいて生画像データとノイズモデルデータがどちらも利用可能であり、したがって、先行の処理動作からの出力データ365が、次の処理動作のための入力データ365となる。オプションで、やはり処理パイプラインの終わりに追加されてもよく、また分類またはセグメンテーションとすることのできる、いくつかの追加処理動作390は、ノイズモデルデータを必要としないかつ／または出力しないことがあるが、それでもなお、本発明によるノイズ整合的画像処理方法におけるその地点まで、質の高い処理パイプラインからの恩恵を受けることができ、それによって、最終結果395がより精密になり、より十分適格となり、より高信頼になる。
図3は、本発明によるノイズ整合的画像処理方法のいくつかの実施形態について、図3にブロック520、521、522によって記号表示し、入力データ100に作用する、2つ以上の処理動作を組み合わせて、出力生画像データ150と出力ノイズモデル160の両方からなる出力データ140を生成するなどのために各個々の処理動作520、521、522の組み合わされた機能を実施する単一処理動作510にできることを、概略的に示す。一例として、画素線形化(pixel linearization)と周辺減光補正を組み合わせて、1つの単一処理動作510にすることができる。図3において連続するブロック100、510、140を接続する2つの矢印はそれぞれ、この場合も、生画像データとノイズモデル情報がどちらも、単一処理動作に組み合わされた各処理動作を通じて伝搬されることを記号表示したものである。
最後に、本発明は、上記した方法を実装するように適合された、コンピュータ可読媒体内に格納されたコンピュータプログラム手段、ならびにそのようなコンピュータプログラム手段を装備した装置にも関する。例えば、そのような装置は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、イメージセンサ、携帯電話、特にデジタルカメラを装備したスマートフォン、デジタル写真装置、デジタルビデオカメラ、スキャン装置、タブレット、パーソナルコンピュータ、サーバ、顕微鏡、望遠鏡、または衛星とすることができる。
本発明による方法のさまざまな実施形態の上記の説明に照らして、その利点は明らかである。
第1に、本発明による整合性のあるノイズモデルが利用できることにより、多様な画像処理応用に強力な恩恵がもたらされる。実際のところ、ノイズモデルは、画像データの統計的不確実さを表すので、特に科学的および計測学的な応用の許容限界および再現性の点で価値ある見識をもたらす。これは、本発明による方法によって可能になる。反対に、整合性のあるノイズモデルがないと、画像の処理および解析の信頼性が低下し、その場合、結果は、画像データに適用された補正または前処理の程度に応じて決まり得る。これは、本発明による方法の使用によって回避することができる。
第2に、本発明による整合性のあるノイズモデルが利用できることにより、画像データの処理および／または解釈を機械学習技法に頼る応用にも強力な恩恵がもたらされ、というのも、これにより、ノイズモデルを使用してアルゴリズムの効率を高めるとともにアルゴリズムの潜在的な混乱ポイントをなくすことができるので、質の高い大量のトレーニングデータの入手が可能になるためである。機械学習の文脈では、これはさらにいっそう重要であり、というのも、機械学習アルゴリズムは、ノイズやノイズ相関などの統計的性質を無視する人間の観察者よりもはるかに強力にデータの(統計的)性質を利用するためである。
100 入力データ、ブロック
110 入力生画像データ、入力画像データ
120 入力ノイズモデル
130 処理アルゴリズム、ノイズ整合的処理、処理ステップ
140 出力データ、ブロック
150 出力生画像データ、出力画像データ
160 出力ノイズモデル
310 ブロック、動作
311 矢印
312 矢印
320 ブロック、動作
330 ブロック、動作
340 ブロック、動作
350 ブロック、動作
360 ブロック、動作
365 出力データ、入力データ
370 ブロック、動作
385 特定の処理動作
390 追加処理動作
395 最終結果
510 単一処理動作、ブロック
520 ブロック、処理動作
521 ブロック、処理動作
522 ブロック、処理動作
110 入力生画像データ、入力画像データ
120 入力ノイズモデル
130 処理アルゴリズム、ノイズ整合的処理、処理ステップ
140 出力データ、ブロック
150 出力生画像データ、出力画像データ
160 出力ノイズモデル
310 ブロック、動作
311 矢印
312 矢印
320 ブロック、動作
330 ブロック、動作
340 ブロック、動作
350 ブロック、動作
360 ブロック、動作
365 出力データ、入力データ
370 ブロック、動作
385 特定の処理動作
390 追加処理動作
395 最終結果
510 単一処理動作、ブロック
520 ブロック、処理動作
521 ブロック、処理動作
522 ブロック、処理動作
Claims (16)
- ノイズおよび情報を含む画像データを処理するための方法であって、
- 処理すべき入力生画像データ(110)を含む入力データ(100)を、格納および／または送信するために取得するステップであって、前記入力生画像データ(110)が、前記画像データの取得に使用されるイメージセンサの画素の値yを含む、ステップと、
- 前記入力生画像データ(110)を処理するステップ(130)と、
- 出力データ(140)を提供することによって前記処理された画像データを出力するステップと
を含み、
入力データ(100)を取得する前記ステップが、
°前記入力データ(100)から入力ノイズモデル(120)を取得するステップであって、前記入力ノイズモデル(120)が、前記入力生画像データ(110)内に存在するノイズを反映するように適合されており、前記入力生画像データ(110)と前記入力ノイズモデル(120)が一緒に、前記入力生画像データ(110)を前記入力ノイズモデル(120)にリンクさせる様式で前記入力データ(100)を形成する、ステップ
を含み、
前記入力生画像データ(110)を処理するステップ(130)が、
°前記入力生画像データ(110)の画素値を補正する処理動作、
°前記入力生画像データ(110)にフラットフィールド補正を適用する処理動作、
°前記入力生画像データ(110)に光感度不均一性の補正を適用する処理動作、
°前記入力生画像データ(110)にビニング動作および／または平均化動作を適用する処理動作、
°前記入力生画像データ(110)の正規化を実行する処理動作、
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用する処理動作、
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行する処理動作
のうちの少なくとも1つを含み、
前記処理するステップ(130)が、
°前記入力ノイズモデル(120)に基づいて、かつ前記入力生画像データ(110)に適用された前記処理動作に応じて、前記出力データ(140)内に存在するノイズを反映するように適合された出力ノイズモデル(160)を決定するステップと、
°前記入力生画像データ(110)に適用された前記処理動作、ならびに前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)に基づいて、前記出力ノイズモデル(160)と統計的に整合性のある出力生画像データ(150)を生成するステップと
をさらに含み、
前記処理された画像データを出力する前記ステップが、
°前記出力生画像データ(150)および前記出力ノイズモデル(160)を格納および／または送信するステップであって、前記出力生画像データ(150)と前記出力ノイズモデル(160)が一緒に、前記出力生画像データ(150)を前記出力ノイズモデル(160)にリンクさせる様式で前記出力データ(140)を形成する、ステップ
を含み、
処理(130)がパイプライン処理のために適合されるように、前記出力データ(140)を入力データ(100)として、前記処理動作のうちのいずれか1つによって単独で、または前記処理動作の任意の組み合わせによって前記処理(130)を可能にすることを特徴とする方法。 - 前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、前記画像データの取得に使用される前記イメージセンサの所与の画素の値yの平均画素値μyの、画素値標準偏差σyに対するマッピングσy(μy)、平均画素値μyの、画素値分散
- 前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、
- 線形もしくは非線形補間によって連続モデルσy(μy)を得るように適合された有限点集合、
- 連続モデルσy(μy)を近似する多項式関数を構築するように適合された係数セット、または
- 連続モデルσy(μy)に関する自由パラメータが前記自由パラメータに特有の値と組み合わされた関数
によって表現され、
ただしσyは、前記画像データの取得に使用されるイメージセンサの所与の画素の値yの、その平均値μyに対する標準偏差であることを特徴とする、請求項1または2に記載の方法。 - 前記入力ノイズモデル(120)および／または前記出力ノイズモデル(160)が、前記入力生画像データ(110)および／または前記出力生画像データ(150)内の、
ただしσyは、前記画像データの取得に使用される前記イメージセンサの所与の画素の値yの、その平均値μyに対する標準偏差であり、σy.darkは、光がない状態での画素値の標準偏差であり、μy.darkは、光がない状態での画素値の平均値であり、Kはゲイン係数であることを特徴とする、請求項1から3のいずれか一項に記載の方法。 - 前記処理するステップ(130)が、前記画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ整合的動作を表現する変換S(y,q)を適用するステップを含み、ただしqは画素値低減係数であり、0<q<1であり、前記処理ステップ(130)が、前記入力ノイズモデル(120)と同一である出力ノイズモデル(160)を使用することを特徴とする、請求項1から4のいずれか一項に記載の方法。
- ノイズ整合的スケーリング動作を表現する前記変換S(y,q)が、y'=q・y+δ(y,q)によって表され、ただしy'は、前記変換を適用した後の補正済み画素値であり、δは、正規分布からサンプリングされた(疑似)乱数であり、前記正規分布は、平均値0および分散
- ノイズ整合的スケーリング動作を表現する前記変換S(y,q)の前記(疑似)乱数δの分布の分散が、
- 前記処理するステップ(130)が、前記画像データの取得に使用されるイメージセンサの所与の画素の値yにノイズ不整合的動作を適用するステップを含み、前記処理ステップ(130)が、前記入力ノイズモデル(120)に比べて異なっているとともに前記出力データ(140)の前記出力生画像データ(150)の前記ノイズと整合性のある出力ノイズモデル(160)を使用することを特徴とする、請求項1から4のいずれか一項に記載の方法。
- 前記入力生画像データ(110)を処理するステップ(130)中に適用される前記少なくとも1つの処理動作が、
°前記入力生画像データ(110)の画素値を補正すること、
°前記入力生画像データ(110)にフラットフィールド補正を適用すること、
°前記入力生画像データ(110)に光感度不均一性の補正を適用すること
を含む処理動作の群から選択され、
前記入力ノイズモデル(120)が前記出力生画像データ(150)の全ての画素値に対して有効なままであることを確実にすることによって、前記出力ノイズモデル(160)が前記入力ノイズモデル(120)と同一である様式で、前記処理動作の各々が前記入力生画像データ(110)に適用されることを特徴とする、請求項5から7のいずれか一項と組み合わせた請求項1から4のいずれか一項に記載の方法。 - °前記入力生画像データ(110)の画素値を補正することが、補正済み画素値y'C=S(yL+yR-μy.dark,q=1/2)を代入するために近傍画素値yLおよびyRを使用することによって不良画素値yCを交換することによって実行され、ただしqは前記画素値低減係数であり、μy.darkは、光がない状態での画素値の平均値であり、かつ／または
°前記入力生画像データ(110)にフラットフィールド補正を適用することが、N(i,j)が参照フラットフィールド画像を表現し、iおよびjが画素座標を表す、
°前記入力生画像データ(110)に光感度不均一性の補正を適用することが、N(i,j)が前記画像データの取得に使用されるイメージセンサの較正によって決定される空間的に変化する相対検出効率を表現し、iおよびjが画素座標を表す、
- 前記入力生画像データ(110)を処理するステップ(130)中に適用される少なくとも1つの処理動作が、
°前記入力生画像データ(110)にビニング動作および／または平均化動作を適用すること、
°前記入力生画像データ(110)の正規化を実行すること、
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用すること、
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行すること
を含む処理動作の群から選択され、
処理(130)する前記ステップ中に決定された前記出力ノイズモデル(160)が前記出力生画像データ(150)の全ての画素値に対して有効であることを確実にすることによって、前記出力ノイズモデル(160)が前記入力ノイズモデル(120)に比べて異なっている様式で、前記処理動作の各々が前記入力生画像データ(110)に適用されることを特徴とする、請求項8と組み合わせた請求項1から4のいずれか一項に記載の方法。 - °前記入力生画像データ(110)にビニング動作を適用することが、N=n・m個の画素の、もしくはN回の露光のグループを形成すること、各グループに、iが画素座標を表す出力画素値
°前記入力生画像データ(110)にビニング動作を適用することが、N=n・m個の画素のグループを形成すること、各グループに、iが画素座標を表す出力画素値
°前記入力生画像データ(110)に平均化動作を適用することが、N=n・m個の画素のグループを形成すること、各グループに出力画素値
°前記入力生画像データ(110)の正規化を実施することが、異なるパラメータ
°前記入力生画像データ(110)に、丸め動作および／もしくは切り捨て動作、ならびに／または整数量子化を適用することが、前記丸め／切り捨て／量子化動作の前に、画素ごとに異なる乱数Δを、y'=round(y+Δ)に従って加算し、同時に、前記出力ノイズモデルの読み出しノイズを、
°特に、前記入力生画像データ(110)に基づいて合成画像を作成および／もしくは追加することによって、かつ／または前記入力生画像データ(110)を変調することによって、画像合成を実行することが、前記入力生画像データ(110)に比べて低減された信号対雑音比を有するとともに同じ出力ノイズモデル(160)を有する画像を模倣することによって行われるか、または前記入力生画像データ(110)に比べて増大された信号対雑音比を有する画像を模倣することによって行われ、前記出力ノイズモデル(160)が、入力生画像データ(110)の単一セットのノイズモデルによって、もしくは正規化された入力生画像データ(110)のセットのノイズモデルによって実現されることを特徴とする、請求項11に記載の方法。 - 前記出力生画像データ(150)および前記出力ノイズモデル(160)を格納および／または送信するステップであって、前記出力生画像データ(150)と前記出力ノイズモデル(160)が一緒に、前記出力生画像データ(150)を前記出力ノイズモデル(160)にリンクさせる様式で前記出力データ(140)を形成する、ステップが、
- 前記出力生画像データ(150)を前記出力ノイズモデル(160)と一緒に、コンテナファイル内、好ましくはタグドイメージファイルフォーマット(TIFF)のファイル内に格納すること、または
- 前記出力生画像データ(150)を第1のファイル内に格納し、前記出力ノイズモデル(160)を第2の、別個のサイドカーファイル内に格納することであって、前記サイドカーファイルが、前記出力生画像データ(150)を含む前記第1のファイルに結合され、前記サイドカーファイルが、前記第1のファイルによってサポートされていない追加の(メタ)データを格納するように適合されている、前記格納すること、または
- 前記出力ノイズモデル(160)を、特定の出力生画像データ(150)をその関連する出力ノイズモデル(160)にリンクさせるように適合されたデータベース内に格納すること
によって実行されることを特徴とする、請求項1から12のいずれか一項に記載の方法。 - 前記出力ノイズモデル(160)を格納および／または送信するステップが、前記出力ノイズモデルのパラメータのデジタル表現を格納および／または送信することによって実行され、前記パラメータが、固定の定義を有する関数または関数のカタログに渡され、後者の場合に使用される特定の関数が、追加の識別パラメータによって選択されることを特徴とする、請求項13に記載の方法。
- 請求項1から14のいずれか一項に記載の方法を実行するように適合された、コンピュータ可読媒体内に格納されたコンピュータプログラム手段。
- 請求項15に記載のコンピュータプログラム手段が装備された装置であって、前記装置が、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、イメージセンサ、携帯電話、特にデジタルカメラを装備したスマートフォン、デジタル写真装置、デジタルビデオカメラ、スキャン装置、タブレット、パーソナルコンピュータ、サーバ、顕微鏡、望遠鏡、衛星を含む群から選択されることを特徴とする、装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21191349 | 2021-08-13 | ||
| EP21191349.6A EP4134906A1 (en) | 2021-08-13 | 2021-08-13 | Simultaneous and consistent handling of image data and associated noise model in image processing and image synthesis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023026343A true JP2023026343A (ja) | 2023-02-24 |
Family
ID=77338596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022120920A Pending JP2023026343A (ja) | 2021-08-13 | 2022-07-28 | 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11736828B2 (ja) |
| EP (1) | EP4134906A1 (ja) |
| JP (1) | JP2023026343A (ja) |
| KR (1) | KR20230025340A (ja) |
| CN (1) | CN115706874A (ja) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6737625B2 (en) | 2001-06-28 | 2004-05-18 | Agilent Technologies, Inc. | Bad pixel detection and correction in an image sensing device |
| US7683948B2 (en) | 2005-03-31 | 2010-03-23 | Freescale Semiconductor, Inc. | System and method for bad pixel replacement in image processing |
| WO2007026266A2 (en) * | 2005-06-15 | 2007-03-08 | Koninklijke Philips Electronics N.V. | Noise model selection for emission tomography |
| US8063957B2 (en) | 2006-03-24 | 2011-11-22 | Qualcomm Incorporated | Method and apparatus for processing bad pixels |
| US9143709B1 (en) | 2011-05-09 | 2015-09-22 | Exelis, Inc. | Non-uniformity correction (NUC) gain damping |
| US9525804B2 (en) * | 2014-08-30 | 2016-12-20 | Apple Inc. | Multi-band YCbCr noise modeling and noise reduction based on scene metadata |
| US9667842B2 (en) * | 2014-08-30 | 2017-05-30 | Apple Inc. | Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata |
| CN104796583B (zh) * | 2015-05-14 | 2017-11-21 | 上海兆芯集成电路有限公司 | 相机噪声模型产生及使用方法以及使用该方法的装置 |
| US9626745B2 (en) * | 2015-09-04 | 2017-04-18 | Apple Inc. | Temporal multi-band noise reduction |
| US11200641B1 (en) * | 2018-09-27 | 2021-12-14 | Apple Inc. | Noise reduction with classification-based contrast preservation |
| US10679385B1 (en) * | 2018-12-17 | 2020-06-09 | General Electric Company | System and method for statistical iterative reconstruction and material decomposition |
| US11536790B2 (en) * | 2018-12-25 | 2022-12-27 | Canon Medical Systems Corporation | Medical information processing apparatus, medical information processing method, and storage medium |
| EP3820150B1 (en) | 2019-11-07 | 2024-01-03 | Dotphoton AG | Method and device for steganographic processing and compression of image data |
| US11593391B2 (en) * | 2020-12-14 | 2023-02-28 | Microsoft Technology Licensing, Llc | Determination of result data for small multiples based on subsets of a data set |
-
2021
- 2021-08-13 EP EP21191349.6A patent/EP4134906A1/en active Pending
-
2022
- 2022-07-27 KR KR1020220093217A patent/KR20230025340A/ko unknown
- 2022-07-28 JP JP2022120920A patent/JP2023026343A/ja active Pending
- 2022-07-29 US US17/815,978 patent/US11736828B2/en active Active
- 2022-07-29 CN CN202210903045.4A patent/CN115706874A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230048097A1 (en) | 2023-02-16 |
| US11736828B2 (en) | 2023-08-22 |
| KR20230025340A (ko) | 2023-02-21 |
| EP4134906A1 (en) | 2023-02-15 |
| CN115706874A (zh) | 2023-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| Likar et al. | Retrospective shading correction based on entropy minimization | |
| Jiang et al. | Learning the image processing pipeline | |
| Laparra et al. | Perceptually optimized image rendering | |
| Punnappurath et al. | Learning raw image reconstruction-aware deep image compressors | |
| CN113170028B (zh) | 生成基于机器学习的成像算法的图像数据的方法 | |
| Chakrabarti et al. | Modeling radiometric uncertainty for vision with tone-mapped color images | |
| JP2006351017A (ja) | 電気光学画像システムのエンドツーエンド設計 | |
| Colom et al. | Nonparametric noise estimation method for raw images | |
| CN106570862B (zh) | 一种超分辨率重建质量的评价方法及装置 | |
| JP2004534490A (ja) | デジタル画像から変換された画像を計算するための方法およびシステム | |
| Karađuzović-Hadžiabdić et al. | Assessment of multi-exposure HDR image deghosting methods | |
| Mantiuk | Practicalities of predicting quality of high dynamic range images and video | |
| JP2018527667A (ja) | 異なる点像分布関数での一連の画像内の様々な発光強度をもつ点光源の検出 | |
| JP2021165944A (ja) | 学習方法、プログラム及び画像処理装置 | |
| WO2019188573A1 (ja) | 演算装置、演算方法およびプログラム | |
| Lin et al. | Non-blind optical degradation correction via frequency self-adaptive and finetune tactics | |
| EP1963970A2 (fr) | Procede pour fournir des donnees a un moyen de traitement numerique | |
| CN112085684A (zh) | 一种遥感图像融合的方法及装置 | |
| JP2023026343A (ja) | 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い | |
| WO2023211742A1 (en) | Image processing method, electronic system and a non-transitory computer-readable medium | |
| JP2021082118A (ja) | 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法 | |
| Fry et al. | Validation of modulation transfer functions and noise power spectra from natural scenes | |
| CN114494080A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| US11443414B2 (en) | Image signal processing |