JP2015076754A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2015076754A JP2015076754A JP2013212284A JP2013212284A JP2015076754A JP 2015076754 A JP2015076754 A JP 2015076754A JP 2013212284 A JP2013212284 A JP 2013212284A JP 2013212284 A JP2013212284 A JP 2013212284A JP 2015076754 A JP2015076754 A JP 2015076754A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- phase difference
- difference detection
- mixed
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 123
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 199
- 238000003384 imaging method Methods 0.000 claims abstract description 77
- 230000006866 deterioration Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 57
- 230000015556 catabolic process Effects 0.000 claims 3
- 238000006731 degradation reaction Methods 0.000 claims 3
- 230000009467 reduction Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000000903 blocking effect Effects 0.000 description 12
- 230000004907 flux Effects 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
Abstract
【解決手段】撮像装置1は、撮像画素及び位相差検出画素を有する撮像素子21からの複数の画素出力を混合して読みだす撮像制御回路23と、混合された画素出力の毎の位相差検出画素の開口向き毎の画素出力の混入数及び撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、位相差検出画素による画質劣化がないように画素出力を補正する画像処理部31とを備える。
【選択図】図1
Description
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、単にカメラと言う)の構成を示すブロック図である。ここで、図1において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
Dif_pi=N/r (式1)
画素rの遮光率=N/r (式2)
まず、混合後の画素の画素出力に開口向きの異なる位相差検出画素の画素出力が混入されていない画素である画素r2、l2については、(式2)と同様にして2個分の位相差検出画素の画素出力が混入された状態の遮光率が計算された後で、位相差検出画素の混入数が1個だったとしたときの遮光率に換算する計算が行われる。例えば、図8(b)の画素l2の混合に用いられた個々の位相差検出画素lの遮光率は、画素l2の画素出力をl2とし、画素l2の周辺の同色画素N1の画素出力をN1としたとき、以下のように算出される。画素r2についても同様にして遮光率を算出することができる。
画素l2の遮光率=l2/N1 (式3)
ここで、(1−遮光率)で計算される値を採光率と定義すると、画素l2の採光率は、以下の(式4)で示すように算出される。
画素l2の採光率=1−2個分の画素lの遮光率 (式4)
光束の入射のし難さを示す遮光率に対し、採光率は光束の入射のし易さを示す。ところで、(式4)は2個の位相差検出画素が混入された状態の採光率である。これから位相差検出画素の混入数が1個だったとしたときの採光率は、2個の位相差検出画素が混入された状態の採光率の平均値として算出される。したがって、1個の画素lの採光率は、以下の(式5)で示すように算出される。
画素lの採光率=画素l2の採光率/2 (式5)
したがって、前述の採光率の定義から、1個の画素lの遮光率は、以下の(式6)で示すように算出される。
画素lの遮光率=1−画素lの採光率 (式6)
(式2)から画素r2l1及び画素r1l2の遮光率は、それぞれ以下の(式7)で示すように算出される。
画素r2l1の遮光率=r2l1/N3
画素r1l2の遮光率=r1l2/N3 (式7)
ここで、画素r2l1の遮光率は2個の画素rの遮光率と1個の画素lの遮光率の和であり、画素r1l2の遮光率は1個の画素rの遮光率と2個の画素lの遮光率の和であると考えることができる。したがって、以下の(式8)で示す連立方程式が成り立つ。
Claims (14)
- 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置であって、
複数の前記画素出力を混合する画素混合部と、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように画素出力を補正する画像処理部と、
を具備することを特徴とする画像処理装置。 - 前記画像処理部は、前記画素出力の補正として前記位相差検出画素の画素出力をゲイン補正するゲイン補正部を有することを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理部は、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように前記ゲイン補正部における前記ゲイン補正の際のゲイン補正量を推定するゲイン推定部を有することを特徴とする請求項2に記載の画像処理装置。
- 前記位相差検出画素の開口向き毎の画素出力の混入数の情報及び前記撮像画素の画素出力の混入数の情報は、前記位相差検出画素の配置周期と前記画素混合部による前記画素出力の混合手法とによって定まることを特徴とする請求項1に記載の画像処理装置。
- 前記画素出力の混合手法は、前記画素出力の表示形態又は記録形態によって定まることを特徴とする請求項4に記載の画像処理装置。
- 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、該開口向きの異なる前記位相差検出画素の画素出力を用いずに前記ゲイン補正量を推定することを特徴とする請求項3に記載の画像処理装置。
- 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、連立方程式を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項3に記載の画像処理装置。
- 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、四則演算を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項3に記載の画像処理装置。
- 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理方法であって、
複数の前記画素出力を混合し、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように画素出力を補正する、
ことを特徴とする画像処理方法。 - 前記画素出力の補正は、ゲイン補正であることを特徴とする請求項9に記載の画像処理方法。
- 前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定することを特徴とする請求項10に記載の画像処理方法。
- 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理プログラムであって、
複数の前記画素出力を混合する機能と、
前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように画素出力を補正する機能と、
をコンピュータに実現させるための画像処理プログラム。 - 前記画素出力の補正は、ゲイン補正であることを特徴とする請求項12に記載の画像処理プログラム。
- 前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか1つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定する機能をさらにコンピュータに実現させるための請求項13に記載の画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212284A JP6270400B2 (ja) | 2013-10-09 | 2013-10-09 | 画像処理装置、画像処理方法及び画像処理プログラム |
US14/507,178 US9467629B2 (en) | 2013-10-09 | 2014-10-06 | Image processing apparatus and image processing method |
CN201410528304.5A CN104580949B (zh) | 2013-10-09 | 2014-10-09 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212284A JP6270400B2 (ja) | 2013-10-09 | 2013-10-09 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015076754A true JP2015076754A (ja) | 2015-04-20 |
JP2015076754A5 JP2015076754A5 (ja) | 2016-11-17 |
JP6270400B2 JP6270400B2 (ja) | 2018-01-31 |
Family
ID=52776664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013212284A Active JP6270400B2 (ja) | 2013-10-09 | 2013-10-09 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9467629B2 (ja) |
JP (1) | JP6270400B2 (ja) |
CN (1) | CN104580949B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102346622B1 (ko) * | 2014-08-04 | 2022-01-04 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
TWI558211B (zh) * | 2015-11-19 | 2016-11-11 | 晶相光電股份有限公司 | 影像處理方法與裝置 |
CN107370959B (zh) * | 2017-09-19 | 2019-11-29 | 德淮半导体有限公司 | 图像传感器、成像装置及对焦方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015566A (ja) * | 2011-06-30 | 2013-01-24 | Olympus Imaging Corp | 撮像装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
CN101821657B (zh) * | 2007-08-06 | 2013-08-07 | 佳能株式会社 | 摄像设备 |
US8203645B2 (en) * | 2007-08-10 | 2012-06-19 | Canon Kabushiki Kaisha | Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency |
JP5264131B2 (ja) * | 2007-09-14 | 2013-08-14 | キヤノン株式会社 | 撮像装置 |
JP5225151B2 (ja) * | 2008-03-11 | 2013-07-03 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
JP5197083B2 (ja) * | 2008-03-21 | 2013-05-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5207853B2 (ja) * | 2008-07-02 | 2013-06-12 | パナソニック株式会社 | 静止画像及び動画像撮像装置 |
JP5371331B2 (ja) | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP5424679B2 (ja) * | 2009-03-18 | 2014-02-26 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
JP5589760B2 (ja) * | 2010-10-27 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
JP5655543B2 (ja) * | 2010-12-20 | 2015-01-21 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
JP5433109B2 (ja) * | 2011-03-31 | 2014-03-05 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
CN103403599B (zh) * | 2011-03-31 | 2015-09-02 | 富士胶片株式会社 | 摄像装置及其对焦控制方法 |
US9769370B2 (en) * | 2011-05-31 | 2017-09-19 | Nikon Corporation | Exchangeable lens having a settable aperture and camera body that captures an image by an optical system which has a settable aperture |
KR20130038035A (ko) * | 2011-10-07 | 2013-04-17 | 삼성전자주식회사 | 촬상소자 |
JP5853594B2 (ja) * | 2011-10-31 | 2016-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2014026062A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 撮像装置および撮像方法 |
JP2014056002A (ja) * | 2012-09-11 | 2014-03-27 | Sony Corp | 焦点検出装置、撮像装置、および、焦点検出装置の制御方法 |
-
2013
- 2013-10-09 JP JP2013212284A patent/JP6270400B2/ja active Active
-
2014
- 2014-10-06 US US14/507,178 patent/US9467629B2/en active Active
- 2014-10-09 CN CN201410528304.5A patent/CN104580949B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015566A (ja) * | 2011-06-30 | 2013-01-24 | Olympus Imaging Corp | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104580949B (zh) | 2018-03-27 |
US20150097992A1 (en) | 2015-04-09 |
CN104580949A (zh) | 2015-04-29 |
US9467629B2 (en) | 2016-10-11 |
JP6270400B2 (ja) | 2018-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529928B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6104049B2 (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP6460653B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP6099536B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6124720B2 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP6021622B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5826901B2 (ja) | 撮像装置及び光軸位置算出方法 | |
JP5701942B2 (ja) | 撮像装置、カメラシステム及び画像処理方法 | |
US9503661B2 (en) | Imaging apparatus and image processing method | |
JP6270400B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6364259B2 (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP5792349B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6741549B2 (ja) | 撮像装置及びその制御方法 | |
US20170155882A1 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
JP2020048135A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6270400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |