JP2021082211A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021082211A JP2021082211A JP2019211709A JP2019211709A JP2021082211A JP 2021082211 A JP2021082211 A JP 2021082211A JP 2019211709 A JP2019211709 A JP 2019211709A JP 2019211709 A JP2019211709 A JP 2019211709A JP 2021082211 A JP2021082211 A JP 2021082211A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- demosaic
- frequency
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 162
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000009467 reduction Effects 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 18
- 239000000203 mixture Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 230000002411 adverse Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
互いに異なる種類の色情報を表す複数の種類の画素が1つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ1種類の色情報を表す複数のプレーンを有するデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する生成手段と、
を備える。
実施形態1に係る画像処理装置は、入力画像に対してノイズ低減処理を行い、さらにデモザイク処理を行うことにより得られた画像に対して、入力画像の高周波成分が強調された高周波強調画像を用いた補正を行う。このような構成により、鮮鋭性の低下を抑制しながら画像のノイズを低減することができる。
Y = 0.2126×R + 0.7152×G + 0.0722×B ……(1)
U = −0.114572×R − 0.385428×G + 0.5×B ……(2)
V = 0.5×R − 0.454153×G − 0.045847×B ……(3)
実施形態2では、高周波強調画像を生成する際にさらなる補正処理が行われる。例えば、実施形態1では差分画像に対して画素ごとのゲイン値を乗じることにより高周波成分画像が得られた。一方、エッジの有無などに依存して差分画像の画素値の振幅は異なってくるため、同一の明るさの被写体についても差分画像の振幅が大きく異なることがある。また、センサを用いて撮像を行う場合、撮像画像には光量に依存したノイズが重畳する。このため、ノイズ量が大きくなる明部において、差分画像に振幅の大きなノイズが混入する可能性がある。さらには、自然画像においては、暗い被写体の像はコントラストが低くなる傾向がある。コントラストの低い像に対するノイズ低減処理は容易ではなく、十分にノイズ低減処理を行うと画像の鮮鋭性が大きく低下する傾向がある。実施形態2では、高周波強調画像を生成する際に、画素ごとに適した補正処理を行うことにより、ノイズ低減処理により得られる画像の鮮鋭性又は審美性を向上させる。
σ = √(K×(I−I0)) …(5)
ClipValue = R×σ …(6)
上述の実施形態では、図2等に示される画像処理装置の各機能はコンピュータによって実現された。しかしながら、画像処理装置が有する一部又は全部の機能が専用のハードウェア又は画像処理回路によって実現されてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。
Claims (18)
- 互いに異なる種類の色情報を表す複数の種類の画素が1つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ1種類の色情報を表す複数のプレーンを有するデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記生成手段は、前記デモザイク画像の各プレーンに対し、プレーンごとに設定された混合比率で、前記高周波強調画像を混合することを特徴とする、請求項1に記載の画像処理装置。
- 前記生成手段は、前記デモザイク画像が有する前記複数のプレーンから選択された一部のプレーンに対し、選択的に前記高周波強調画像を加算することを特徴とする、請求項1又は2に記載の画像処理装置。
- 前記生成手段は、前記デモザイク画像が有する、輝度情報を表すプレーンに対し、選択的に前記高周波強調画像を加算することを特徴とする、請求項1又は2に記載の画像処理装置。
- 前記入力画像はRaw形式の画像であることを特徴とする、請求項1から4のいずれか1項に記載の画像処理装置。
- 前記入力画像はBayer画像であることを特徴とする、請求項1から5のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記入力画像と前記ノイズ低減画像との差分画像から前記高周波強調画像を生成することを特徴とする、請求項1から6のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対するフィルタ処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする、請求項1から6のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対する高周波成分を減弱させる非線形処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする、請求項1から6のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記差分画像の高周波成分を抽出することにより、前記高周波強調画像を生成することを特徴とする、請求項7から9のいずれか1項に記載の画像処理装置。
- 前記複数の種類の画素の画素値は、互いに異なる分光感度特性を有する撮像画素によって得られ、
前記抽出手段は、前記高周波強調画像の各画素について、前記画素の種類に応じた補正を行うことを特徴とする、請求項1から10のいずれか1項に記載の画像処理装置。 - 前記複数の種類の画素は、R画素、G画素、及びB画素を含み、
前記抽出手段は、前記高周波強調画像の各画素の画素値に、前記画素の種類に応じたホワイトバランス係数を乗算する補正を行うことを特徴とする、請求項11に記載の画像処理装置。 - 前記抽出手段は、前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた補正を行うことを特徴とする、請求項1から12のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行うことを特徴とする、請求項1から13のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記高周波強調画像の各画素について、前記入力画像又は前記ノイズ低減画像の対応する画素値に基づいて、前記画素に対応する被写体の明るさに応じた範囲を設定することを特徴とする、請求項14に記載の画像処理装置。
- 前記抽出手段は、前記高周波強調画像の、対応する被写体がより暗い画素の画素値に対して、より大きなゲインを適用する補正を行うことを特徴とする、請求項1から15のいずれか1項に記載の画像処理装置。
- 互いに異なる種類の色情報を表す複数の種類の画素が1つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成する工程と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する工程と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ1種類の色情報を表す複数のプレーンを有するデモザイク画像を生成する工程と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019211709A JP7437921B2 (ja) | 2019-11-22 | 2019-11-22 | 画像処理装置、画像処理方法、及びプログラム |
US17/092,367 US11580620B2 (en) | 2019-11-22 | 2020-11-09 | Image processing apparatus, image processing method, and non-transitory computer-readable medium |
EP20206863.1A EP3826301B1 (en) | 2019-11-22 | 2020-11-11 | Image processing apparatus, image processing method, and computer program |
CN202011300280.XA CN112837230B (zh) | 2019-11-22 | 2020-11-19 | 图像处理装置、图像处理方法和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019211709A JP7437921B2 (ja) | 2019-11-22 | 2019-11-22 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082211A true JP2021082211A (ja) | 2021-05-27 |
JP7437921B2 JP7437921B2 (ja) | 2024-02-26 |
Family
ID=73448781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019211709A Active JP7437921B2 (ja) | 2019-11-22 | 2019-11-22 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11580620B2 (ja) |
EP (1) | EP3826301B1 (ja) |
JP (1) | JP7437921B2 (ja) |
CN (1) | CN112837230B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020056567A1 (zh) * | 2018-09-18 | 2020-03-26 | 浙江宇视科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2408888B (en) | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
US6937775B2 (en) * | 2002-05-15 | 2005-08-30 | Eastman Kodak Company | Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise |
FR2919943B1 (fr) | 2007-08-07 | 2010-02-26 | Dxo Labs | Procede de traitement d'objet numerique et systeme associe |
US8638342B2 (en) * | 2009-10-20 | 2014-01-28 | Apple Inc. | System and method for demosaicing image data using weighted gradients |
JP5822157B2 (ja) | 2011-07-15 | 2015-11-24 | 国立大学法人東京工業大学 | ノイズ低減装置、ノイズ低減方法及びプログラム |
CN106161875B (zh) * | 2015-03-25 | 2019-02-15 | 瑞昱半导体股份有限公司 | 图像处理装置与方法 |
WO2016152414A1 (ja) * | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US10559073B2 (en) * | 2016-03-23 | 2020-02-11 | Intel Corporation | Motion adaptive stream processing for temporal noise reduction |
CN109889800B (zh) * | 2019-02-28 | 2021-09-10 | 深圳市商汤科技有限公司 | 图像增强方法和装置、电子设备、存储介质 |
US11423515B2 (en) | 2019-11-06 | 2022-08-23 | Canon Kabushiki Kaisha | Image processing apparatus |
-
2019
- 2019-11-22 JP JP2019211709A patent/JP7437921B2/ja active Active
-
2020
- 2020-11-09 US US17/092,367 patent/US11580620B2/en active Active
- 2020-11-11 EP EP20206863.1A patent/EP3826301B1/en active Active
- 2020-11-19 CN CN202011300280.XA patent/CN112837230B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP7437921B2 (ja) | 2024-02-26 |
US11580620B2 (en) | 2023-02-14 |
EP3826301A1 (en) | 2021-05-26 |
US20210158487A1 (en) | 2021-05-27 |
CN112837230B (zh) | 2024-02-06 |
CN112837230A (zh) | 2021-05-25 |
EP3826301B1 (en) | 2023-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5251637B2 (ja) | ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体 | |
US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
JP2008060760A (ja) | 画像処理プログラムおよび画像処理装置 | |
JP2006114005A (ja) | 階調変換装置、プログラム、電子カメラ、およびその方法 | |
Tsai | A fast dynamic range compression with local contrast preservation algorithm and its application to real-time video enhancement | |
US8942477B2 (en) | Image processing apparatus, image processing method, and program | |
US20200118250A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6737108B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
JP7437921B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7365206B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5234127B2 (ja) | 階調変換装置、プログラム、電子カメラ、及びその方法 | |
JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP4992379B2 (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
WO2005059833A1 (ja) | 輝度補正装置および輝度補正方法 | |
JP4274426B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP5596948B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5832095B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5178933B1 (ja) | 画像処理装置 | |
JP5863236B2 (ja) | 画像処理装置、画像処理方法 | |
JP4632100B2 (ja) | 画像処理装置、画像処理方法、記録媒体、およびプログラム | |
JP4793166B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
JP2005094452A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
KR20160103213A (ko) | 레티넥스 기법을 이용한 고속의 영상처리방법 | |
JP2021077037A (ja) | 画像処理装置、画像処理方法、及びプログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7437921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |