JP2014116724A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2014116724A JP2014116724A JP2012268097A JP2012268097A JP2014116724A JP 2014116724 A JP2014116724 A JP 2014116724A JP 2012268097 A JP2012268097 A JP 2012268097A JP 2012268097 A JP2012268097 A JP 2012268097A JP 2014116724 A JP2014116724 A JP 2014116724A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- phase difference
- difference detection
- imaging
- pixel output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 374
- 230000008859 change Effects 0.000 claims abstract description 191
- 238000003384 imaging method Methods 0.000 claims abstract description 120
- 238000012937 correction Methods 0.000 claims abstract description 29
- 230000009467 reduction Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 118
- 230000008569 process Effects 0.000 description 98
- 230000004907 flux Effects 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
【解決手段】レベル変化検出部312は、位相差検出画素とその位相差検出画素による位相差の検出方向とは異なる方向に位置する撮像画素との画素出力の変化を検出する。また、絵柄変化検出部314は、レベル変化検出処理において用いられた位相差検出画素と撮像画素のそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出する。画素補正部315は、レベル変化検出部及び絵柄変化検出部の結果から、各位相差検出画素の画素出力を補正する。
【選択図】図2
Description
図1は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラ(以下、単にカメラと言う)の構成を示すブロック図である。ここで、図1において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
Dif_B=B2/B3 (式2)
なお、前述の例では、重み係数Wを、ガウス関数を用いて算出しているが、垂直方向同列の2つの同色の撮像画素の画素データの値の比が1に近いほど1に近づく係数を算出できるような手法であれば必ずしもガウス関数を用いて算出する必要はない。
(式4)のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の2つの撮像画素間の画素データの値の比である。例えば、右開口位相差検出画素Gr2の例を示すと、Dif_Gは、以下の(式5)で与えられる。
Dif_G=1−Gb1/Gb3 (式5)
(式4)において、撮像画素Gr1の画素データの値をGr1、位相差検出画素Gr2の画素データの値をGr2としている。(式4)は、レベル変化検出処理によって得られたレベル変化量から絵柄変化検出処理によって得られたレベル変化量を差し引いたものである。したがって、(式4)で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。
以下、前述した実施形態の変形例について説明する。前述した実施形態は、位相差の検出方向が水平方向の場合の適用例である。これに対し、本実施形態は、位相差の検出方向が水平方向以外であっても適用可能である。ここでは、位相差の検出方向が垂直方向の場合、即ち位相差検出画素が上開口位相差検出画素と下開口位相差検出画素との対によって構成されている場合のレベル変化検出処理、周波数変化検出処理、絵柄検出処理について説明する。
Dif_R=R2/R3 (式7)
また、最終的なレベル変化量を前述の実施形態と同様にx=ay+bの形で表すとすると、このような1次式の傾きa及び切片bは、例えば最小二乗法により、以下の(式8)で示すようにして与えられる。
(式9)のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の2つの撮像画素間の画素データの値の比である。例えば、上開口位相差検出画素Gr2の例を示すと、Dif_Gは、以下の(式10)で与えられる。
Dif_G=1−Gb1/Gb3 (式10)
(式4)と同様、(式10)で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。
前述した例では、重み係数Wをガウス関数としているが、この他に例えば閾値を用いた近似により求めることができる。また、レベル変化量を表す1次式を最小二乗法ではなく、折れ点近似によって求めることもできる。変形例2は、このような他の手法によって重み係数Wとレベル変化量を表す1次式の傾きa及び切片bとを求める例である。
Dif_G=abs(1−Gb1/Gb3) (式12)
また、(式11)のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の2つの同色の撮像画素の画素データの値の比の絶対値である。例えば、撮像画素B2の画素データの値をB2、撮像画素B3の画素データの値をB3とすると、Dif_Bは、以下の(式13)で与えられる。
Dif_B=abs(1-B2/B3) (式13)
また、レベル変化量を表す1次式y=ax+bの傾きa及び切片bは、以下の(式14)で示すようにして与えられる。
また、前述の例では、各アイランド領域における位相差検出画素の水平方向の開始x座標をstart_xと定義しているが、変形例においては各折れ点のx座標をstart_xと定義し、折れ点間にn個の画素が配列されるものとする。
Claims (9)
- 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、
前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出する第1の画素出力変化検出部と、
前記第1の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出する第2の画素出力変化検出部と、
前記第1の画素出力変化検出部及び第2の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する画素補正部と、
を具備することを特徴とする画像処理装置。 - 前記第2の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は、同色であることを特徴とする請求項1に記載の画像処理装置。
- 前記第2の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素のうちの一方は前記第1の画素出力変化検出部が画素出力の変化を検出した位相差検出画素に隣接し、他方は前記第1の画素出力変化検出部が画素出力の変化を検出した撮像画素に隣接していることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記第1の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と前記一方の撮像画素との距離と前記第1の画素出力変化検出部が画素出力の変化を検出した撮像画素と前記他方の撮像画素との距離とが等しいか又はそれよりも長いことを特徴とする請求項3に記載の画像処理装置。
- 前記位相差の検出方向と異なる方向に位置して前記位相差検出画素と異なる色の複数の撮像画素間の画素出力の変化を検出する第3の画素出力変化検出部をさらに具備し、
前記画素補正部は、前記第1の画素出力変化検出部及び第2の画素出力変化検出部の結果に加えて、前記第3の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記第3の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は何れも前記位相差検出画素に隣接していることを特徴とする請求項5に記載の画像処理装置。
- 前記第3の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は、前記位相差検出画素を挟んで対向する位置にあるか又は前記位相差検出画素を挟んで等距離か又はそれよりも長距離の位置にあることを特徴とする請求項6に記載の画像処理装置。
- 前記位相差の検出方向と異なる方向は、前記位相差の検出方向と直交する方向であることを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理方法であって、
第1の画素出力変化検出部が、前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出し、
第2の画素出力変化検出部が、前記第1の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出し、
画素補正部が、前記第1の画素出力変化検出部及び第2の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する、
ことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012268097A JP6021622B2 (ja) | 2012-12-07 | 2012-12-07 | 画像処理装置及び画像処理方法 |
US14/099,026 US9088710B2 (en) | 2012-12-07 | 2013-12-06 | Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012268097A JP6021622B2 (ja) | 2012-12-07 | 2012-12-07 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014116724A true JP2014116724A (ja) | 2014-06-26 |
JP6021622B2 JP6021622B2 (ja) | 2016-11-09 |
Family
ID=50930452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012268097A Expired - Fee Related JP6021622B2 (ja) | 2012-12-07 | 2012-12-07 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9088710B2 (ja) |
JP (1) | JP6021622B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10491840B2 (en) | 2015-07-13 | 2019-11-26 | Olympus Corporation | Image pickup apparatus, signal processing method, and signal processing program |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014006783A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
WO2014109334A1 (ja) * | 2013-01-10 | 2014-07-17 | オリンパスイメージング株式会社 | 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 |
JP6405243B2 (ja) * | 2014-03-26 | 2018-10-17 | キヤノン株式会社 | 焦点検出装置及びその制御方法 |
JP6600458B2 (ja) * | 2014-12-25 | 2019-10-30 | オリンパス株式会社 | 撮像素子、焦点検出装置及び焦点検出方法 |
JP6765875B2 (ja) | 2016-07-01 | 2020-10-07 | オリンパス株式会社 | 焦点調節装置及び焦点調節方法 |
US11442281B2 (en) * | 2019-11-18 | 2022-09-13 | Google Llc | Systems and devices for controlling camera privacy in wearable devices |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228931A (ja) * | 2003-01-23 | 2004-08-12 | Sony Corp | 画素補正回路及び画素補正方法 |
JP2007282109A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 撮像装置、カメラおよび画像処理方法 |
JP2011197080A (ja) * | 2010-03-17 | 2011-10-06 | Olympus Corp | 撮像装置及びカメラ |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP5371331B2 (ja) | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP5652157B2 (ja) * | 2010-11-25 | 2015-01-14 | ソニー株式会社 | 撮像装置、画像処理方法、並びにコンピューター・プログラム |
JP5655543B2 (ja) * | 2010-12-20 | 2015-01-21 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
JP5664270B2 (ja) * | 2011-01-21 | 2015-02-04 | ソニー株式会社 | 撮像素子および撮像装置 |
JP2014026062A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 撮像装置および撮像方法 |
-
2012
- 2012-12-07 JP JP2012268097A patent/JP6021622B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-06 US US14/099,026 patent/US9088710B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228931A (ja) * | 2003-01-23 | 2004-08-12 | Sony Corp | 画素補正回路及び画素補正方法 |
JP2007282109A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 撮像装置、カメラおよび画像処理方法 |
JP2011197080A (ja) * | 2010-03-17 | 2011-10-06 | Olympus Corp | 撮像装置及びカメラ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10491840B2 (en) | 2015-07-13 | 2019-11-26 | Olympus Corporation | Image pickup apparatus, signal processing method, and signal processing program |
Also Published As
Publication number | Publication date |
---|---|
US9088710B2 (en) | 2015-07-21 |
US20140168480A1 (en) | 2014-06-19 |
JP6021622B2 (ja) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529928B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6021622B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6460653B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP6116301B2 (ja) | 撮像装置及びその制御方法 | |
JP6124720B2 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP5826901B2 (ja) | 撮像装置及び光軸位置算出方法 | |
JP6099536B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2012213137A (ja) | 撮像装置及び欠陥画素の検出方法 | |
JP6230760B1 (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
JP5701942B2 (ja) | 撮像装置、カメラシステム及び画像処理方法 | |
US9503661B2 (en) | Imaging apparatus and image processing method | |
JP6270400B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6364259B2 (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP6017641B1 (ja) | 撮像装置,信号処理方法,信号処理プログラム | |
JP5792349B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6741549B2 (ja) | 撮像装置及びその制御方法 | |
WO2015182021A1 (ja) | 撮像制御装置、撮像装置および撮像制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6021622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |