JP2018067868A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2018067868A JP2018067868A JP2016206729A JP2016206729A JP2018067868A JP 2018067868 A JP2018067868 A JP 2018067868A JP 2016206729 A JP2016206729 A JP 2016206729A JP 2016206729 A JP2016206729 A JP 2016206729A JP 2018067868 A JP2018067868 A JP 2018067868A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction data
- unit
- imaging device
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
すなわち、光学レンズの光学特性による画像の劣化に係る点広がり関数と、拡大処理による画像の劣化に係るボケ関数との両方に対応する補正データを用いてデジタルズームされた画像を効率的に補正することができる。
前記演算処理手段は、前記エッジ検出手段で検出された前記画像の各位置のエッジ強度に応じて、前記演算処理による補正の強さを調整することが好ましい。
前記記憶手段は、各撮影ユニットに対応する前記補正データを記憶し、
前記演算処理手段は、各撮影ユニットに対応する前記補正データを用いて前記撮影ユニットから出力される前記画像を補正する演算処理を行うことが好ましい。
(第1の実施の形態)
まず、本発明の第1の実施の形態を説明する。
図1に示すように、本発明の第1の実施の形態に係る撮像装置は、被写体からの光を結像させるための光学レンズ1と、光学レンズ1により被写体の像が受光面に結像された際に、光を信号電荷に変換し、画像データを生成してこの画像データを示す画像信号を出力する固体撮像素子2と、固体撮像素子2から出力された画像信号にデモザイク処理(内挿処理)を行うデモザイク部3と、デモザイク処理された画像データをズームとして拡大する拡大処理部4と、画像データを示すRGB信号を輝度信号と色差信号に変換するYC分離部5と、画像データを復元するための補正データを保持するための記憶回路(メモリ)である補正データ保持部6とを備える。
YC分離部5は、拡大処理部4から出力される画像データとしてのRGBデータを輝度、色差のデータに変換するもので、人間の目が輝度に敏感であることを利用して輝度(Y)のみに後述する補正処理を行うためのものである。
タイミング調整部8はYC分離部5から出力された色差信号のタイミングを画像補正演算部7と合わせるために遅延処理を行う。
合成部10は、ノイズ低減部9から出力される復元された輝度信号と、タイミング調整部8から出力される色差信号とを合成し、RGB、YUV、RAWなど必要に応じた画像フォーマットに変換して、画像装置からの最終的な出力として画像データを出力する。
デコンボリューション演算部12は、画像データ保持部11から入力されるN×Nの輝度信号と補正データ保持部6から読み出された補正データを要素毎に掛け合わせ、さらに加算することによって上述のN×Nの画像データにおける中心位置での画素値(デコンボリューション演算部12の出力値d)を得る。本実施の形態ではN=9とした。
デコンボリューション演算部12、エッジ検出部13の出力値とから加算部15で次のアルゴリズムによって注目画素の画素値を計算する。
d:デコンボリューション演算部12の出力値(補正後の画素値)
e:エッジ検出部13の出力値
I:注目画素値(補正前の画素値)
th_H、th_L:エッジ強度閾値
α:デコンボリューション演算結果と元画像との混合比率
前記th_H、th_L、αなどのパラメータは適宜決定することが可能であり、設計時や試作時や製品の製造時等において、画像を見ながら適宜決定され、場合によっては撮影シーンによって適応的に変更可能に設定しても良い。
この加算部15での処理は、後述するデコンボリューション演算部12での画像の補正処理後に行われるものであり、エッジ検出部13の出力値eによって、補正の強さを変更するためのものである。エッジ検出部13の出力値eには、上述のように上下2点の閾値th_H、th_Lが設定されている。エッジ強度の出力値eが下側の閾値th_L以下の場合は、加算部15からの出力値を補正前の画像データの注目画素の画素値Iとする。すなわち、画像データの各画素におけるエッジ強度の出力値eが下側の閾値th_L以下となる画素においては、画像データの画素値を補正しない。
エッジ強度の出力値eが上側の閾値th_H以上の場合は、加算部15からの出力値を補正後の画像データの注目画素の画素値、すなわち、デコンボリューション演算部12の出力値dとする。すなわち、画像データの各画素におけるエッジ強度の出力値eが上側の閾値th_H以上となる画素においては、画素値を補正する。
エッジ強度の出力値eが上側の閾値th_Hと下側の閾値th_Lとの間の場合は、加算部15からの出力値dを補正前の画像データの注目画素の画素値Iと、補正後となるデコンボリューション演算部12の出力値dとを合成した値とする。すなわち、画像データの各画素におけるエッジ強度の出力値eが下側の閾値th_Lと上側の閾値th_Hとの間となる画素においては、画素値を補正前の画素値Iと補正後の画素値の間となる値とする。
図3Aは被写体となる解像度チャートの一部を拡大した被写体であり、言い換えれば、被写体を撮影した劣化の無い理想的な画像(A)である。図3Bは撮像装置で同じ部分を撮影し何ら処理をしていないが劣化がある画像(B)である。図3Cは、図3A、図3Bの矢印に示すように画像(A)、(B)をスキャンした場合に対応するもので、元の被写体を撮影した際の理想的な画像(A)における光の強度(輝度)の矢印上の位置による変化と、拡大した画像(B)における光の強度(輝度)の矢印上の位置による変化を画素毎に1次元で示したものである。なお、横軸は画素単位で矢印上の各画素を示し、縦軸は輝度(強度)であるが、強度は、同一スケールになるよう規格化してある。図3Dは図3Aの画像(A)に対する図3Bの画像(B)の輝度変化を微分したもので、レンズの点広がり関数に相当し、固体撮像素子2の受光面上では、広がって分布する。すなわち、図3(A)の輝度変化に図3Dを実空間上で畳み込み積分(コンボリューション)されたものに相当し、これが実際に撮影された画像である図3Bの画像(B)となる。
得られた画像(B)から理想的な画像(A)に復元するには図3Dおよび図3Cに示した画像Bの輝度変化をフーリエ変換して空間周波数領域に展開し、図3Dに示す値で除した後にフーリエ逆変換すればよいことは一般に知られている。
このように元画像に対して拡大画像の画素サイズが相対的に小さくなることにより図4に示すように空間周波数を高くする必要があるが、一般的に用いられる単純な補間処理では元のサンプリング周波数が下がったことになり、解像度が劣化して見える。
ここで、図4Aおよび図4Bは解像度チャートの一部となる画像を示すものであり、図4Aは、拡大前の理想的な元画像である画像(A)を示し、図4Bは、拡大後の画像である画像(B)を示している。図4(C)は、図4A、図4Bの矢印に示すように画像(A)、(B)をスキャンした場合の輝度(光の強度)の変化を示すものであり、横軸が画像(A)、(B)の矢印上の各位置の画素を示し、縦軸が輝度を示している。
G:被写体の輝度分布、I:撮影された画像の輝度分布、P:点広がり関数
I=G*P (1)
F(I)=F(G*P)=F(G)×F(P) (2)
G=F-1(F(I)/F(P))=I*F-1(1/F(P)) (3)
なお、記号*は畳み込み積分を、F()、F-1()はそれぞれフーリエ変換、およびフーリエ逆変換を表すものとする。一般的にF-1(1/F(P))はデコンボリューションフィルタと呼ばれる。
I’=I*B=G*P*B (4)
なおI’:拡大画像、B:拡大によるボケ関数
I‘からGを復元するためには下記のようにすればよい。
G=I*F-1(1/F(P))*F-1(1/F(B)) (5)
デコンボリューションフィルタは通常(2N+1)×(2N+1)のマトリックスで表現されるので1画素の演算処理は(2N+1)×(2N+1)回の乗算処理と加算処理が必要となる。
=I*F-1(1/(F(P)×1/F(B)))=I*F-1(1/(F(P)×F(B))) (6)
次に、本発明の第2の実施の形態を説明する。
図5に示すように、本発明の第2の実施の形態に係る撮像装置は、図1に示す第1の実施の形態の撮像装置に、光学レンズ1および固体撮像素子2とは別に、さらに光学レンズ1’および固体撮像素子2’を加えるとともに、固体撮像素子2からの出力信号と、固体撮像素子2’からの出力信号を切り替える切り替え回路17が追加されている。光学レンズ1および固体撮像素子2と、光学レンズ1’および固体撮像素子2’とからそれぞれ撮影ユニットが構成されている。
光学レンズ1および光学レンズ1’は、視野角または焦点距離の異なったものを用いており、光学的に倍率が異なっている。たとえば光学レンズ1に対して光学レンズ1’の焦点距離が1:2になっていれば光学的に2倍ズームに相当し、撮像装置全体のズーム比Zが1≧Z>2の場合は光学レンズ1を備える固体撮像素子2から信号を出力させ、Z≧2の場合は光学レンズ1’を備える固体撮像素子2’からの信号が出力されるように、切り替え回路17で切り替える。その他の構成は第1の実施の形態の撮像装置と同様である。
第2の実施の形態においても、各撮影ユニットで撮影された画像データに対して第1の実施の形態で行われた上述の処理を行うようになっている。したがって、第2の実施の形態の撮像装置では、例えば、画像を出力する撮影ユニットを切り替えるか、二つの撮影ユニットからそれぞれ出力される画像の信号を切り替えることにより、撮影ユニットの数だけ段階的に画像拡大率を光学的に変更可能で、さらにデジタルズームを用いて連続的に拡大率を変更する際に、上述のように、光学特性に基づく点広がり関数と、拡大処理によるボケ関数とに基づく補正データを作成して記憶しておくことにより、この補正データを用いて効率的に光学特性と拡大処理とによる画像の劣化を復元することができる。
図6Aは、光学レンズ1と固体撮像素子2の組合せによる通常画像、図6Bは第1の実施の形態における補正方法により通常画像を補正した補正画像、図6C、図6Dは、ズーム比を2とした場合の光学レンズ1’側の画像であり、同様に通常画像と補正画像を示している。
いずれの場合も本発明により良好な画質が得られていることが分かる。
2 固体撮像素子
6 補正データ保持部(記憶手段)
7 画像補正演算部(演算処理手段)
13 エッジ検出部(エッジ検出手段)
17 切り替え回路(切替手段)
Claims (4)
- 光学レンズおよび固体撮像素子を備える撮像装置において、前記固体撮像素子により出力されるとともに複数の領域に分けられる画像の各領域の前記光学レンズによる点広がり関数と、前記画像のデジタルズームによる画像拡大時のぼけ関数との両方に基づいて算出される補正データを記憶する記憶手段と、撮影される前記画像毎に前記記憶手段から前記補正データを抽出し、抽出された前記補正データを用いて撮影された前記画像毎に前記点広がり関数および前記ぼけ関数に基づく前記画像の劣化を補正するための演算処理を施す演算処理手段とを備えることを特徴とする撮像装置。
- 前記補正データは、前記点広がり関数と前記ぼけ関数とをそれぞれフーリエ変換によって周波数領域に変換してから互いに乗算し、乗算結果の逆数を求め、求めた逆数に逆フーリエ変換を行って実空間領域のデコンボリューションフィルタに変換して前記記憶手段に記憶されていることを特徴とする請求項1に 記載の撮像装置。
- 撮影された前記画像中のエッジ強度を検出するエッジ検出手段を備え、
前記演算処理手段は、前記エッジ検出手段で検出された前記画像の各位置のエッジ強度に応じて、前記演算処理による補正の強さを調整することを特徴とする請求項1または2に記載の撮像装置。 - 焦点距離の異なる前記レンズおよび前記固体撮像素子を備える複数の撮影ユニットと、撮影時のズーム倍率によって複数の前記撮影ユニットからの前記画像の出力を切り替える切替手段とを備え、
前記記憶手段は、各撮影ユニットに対応する前記補正データを記憶し、
前記演算処理手段は、各撮影ユニットに対応する前記補正データを用いて前記撮影ユニットから出力される前記画像を補正する演算処理を行うことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206729A JP6857006B2 (ja) | 2016-10-21 | 2016-10-21 | 撮像装置 |
CN201710318575.1A CN107979715B (zh) | 2016-10-21 | 2017-05-08 | 摄像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206729A JP6857006B2 (ja) | 2016-10-21 | 2016-10-21 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067868A true JP2018067868A (ja) | 2018-04-26 |
JP6857006B2 JP6857006B2 (ja) | 2021-04-14 |
Family
ID=62012188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016206729A Active JP6857006B2 (ja) | 2016-10-21 | 2016-10-21 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6857006B2 (ja) |
CN (1) | CN107979715B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410152A (zh) * | 2018-11-26 | 2019-03-01 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
CN114630008B (zh) * | 2020-12-10 | 2023-09-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261238A (ja) * | 1993-03-05 | 1994-09-16 | Canon Inc | 撮像装置 |
JP2005198155A (ja) * | 2004-01-09 | 2005-07-21 | Casio Comput Co Ltd | 撮像装置及びその撮像方法 |
JP2010141661A (ja) * | 2008-12-12 | 2010-06-24 | Toshiba Corp | 画像処理装置 |
JP2010263619A (ja) * | 2009-05-04 | 2010-11-18 | Flextronics Ap Llc | デュアルレンズ方式デジタルズーム |
JP2013021509A (ja) * | 2011-07-11 | 2013-01-31 | Canon Inc | 画像処理装置およびその方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
JP2008172321A (ja) * | 2007-01-09 | 2008-07-24 | Olympus Imaging Corp | 電気的画像回復処理を行う撮像装置 |
EP2574216B1 (en) * | 2010-09-28 | 2015-11-25 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for recovering a digital image from a sequence of observed digital images |
JP5414752B2 (ja) * | 2011-08-08 | 2014-02-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム |
JP5992633B2 (ja) * | 2013-10-31 | 2016-09-14 | 富士フイルム株式会社 | 画像処理装置及び撮像装置 |
-
2016
- 2016-10-21 JP JP2016206729A patent/JP6857006B2/ja active Active
-
2017
- 2017-05-08 CN CN201710318575.1A patent/CN107979715B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261238A (ja) * | 1993-03-05 | 1994-09-16 | Canon Inc | 撮像装置 |
JP2005198155A (ja) * | 2004-01-09 | 2005-07-21 | Casio Comput Co Ltd | 撮像装置及びその撮像方法 |
JP2010141661A (ja) * | 2008-12-12 | 2010-06-24 | Toshiba Corp | 画像処理装置 |
JP2010263619A (ja) * | 2009-05-04 | 2010-11-18 | Flextronics Ap Llc | デュアルレンズ方式デジタルズーム |
JP2013021509A (ja) * | 2011-07-11 | 2013-01-31 | Canon Inc | 画像処理装置およびその方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107979715B (zh) | 2021-04-13 |
JP6857006B2 (ja) | 2021-04-14 |
CN107979715A (zh) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
US7529424B2 (en) | Correction of optical distortion by image processing | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2009260620A (ja) | 画像処理装置及び画像処理方法 | |
US20130162780A1 (en) | Stereoscopic imaging device and shading correction method | |
KR20130033304A (ko) | 화상처리장치 및 방법 | |
JP2011159159A (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
KR20070004202A (ko) | 디지털카메라에서 렌즈에 의한 화면왜곡 보정 방법 | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2011166588A (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2012065187A (ja) | 撮像装置及び復元ゲインデータ生成方法 | |
JP2009055471A (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
JP5159715B2 (ja) | 画像処理装置 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6857006B2 (ja) | 撮像装置 | |
US10235742B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal | |
CN109672810B (zh) | 图像处理设备、图像处理方法和存储介质 | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2015091072A (ja) | 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法 | |
JP2019176302A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010239493A (ja) | 撮像装置および映像信号の補正処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170601 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190820 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191030 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |