JP2017085393A - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents
画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP2017085393A JP2017085393A JP2015212650A JP2015212650A JP2017085393A JP 2017085393 A JP2017085393 A JP 2017085393A JP 2015212650 A JP2015212650 A JP 2015212650A JP 2015212650 A JP2015212650 A JP 2015212650A JP 2017085393 A JP2017085393 A JP 2017085393A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- motion vector
- parallax image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 59
- 238000003672 processing method Methods 0.000 title description 13
- 239000013598 vector Substances 0.000 claims abstract description 120
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 210000001747 pupil Anatomy 0.000 claims description 130
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 abstract description 26
- 230000002776 aggregation Effects 0.000 abstract 3
- 238000004220 aggregation Methods 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000003705 background correction Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置(107)は、第1の視差画像、第2の視差画像、および、第1の視差画像と第2の視差画像との合算画像を取得する画像取得手段(800)と、第1の視差画像または第2の視差画像を用いて動きベクトルを算出する動きベクトル算出手段(803)と、動きベクトルに基づいて合算画像の位置合わせを行う位置合わせ手段(805)と、位置合わせ後の合算画像を合成する画像合成手段(806)とを有する。
【選択図】図8
Description
まず、図1を参照して、本発明の第1の実施形態における撮像装置について説明する。図1は、本実施形態における撮像装置100(デジタルカメラ)のブロック図である。なお本実施形態は、デジタルカメラの動き(手ぶれ)に起因して生じる撮影画像の構図のずれを補正可能な画像処理装置について説明するが、これに限定されるものではない。
以下、瞳分割画素203Aから出力された信号Aから形成される画像または瞳分割画素204Bから出力された信号Bから形成される画像を、それぞれ、瞳分割画像(第1の瞳分割画像、第2の瞳分割画像)という。瞳分割画像は、視差画像(第1の視差画像、第2の視差画像)ということもできる。また、全開口信号gから形成される画像を全開口画像(合算画像または加算画像)という。
式(2)において、Σ演算はnについて行われる。Σ演算において、n、n+kの取る範囲は1〜mの範囲に限定される。また、ずらし量kは整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。式(2)の演算結果においては、一対のデータ列の相関が高いシフト量に対する相関量C(k)が最小になる。
D={C(kj−1)−C(kj+1)}/2 … (4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)} … (5)
式(3)により算出されたシフト量xを一対の瞳分割画像における視差量とする。本実施形態は、図10(a−1)の瞳分割画像と図10(a−2)の瞳分割画像とから(時刻Tにて撮影された複数の瞳分割画像から)視差量を算出するものとして説明するが、これに限定されるものではない。例えば、図10(b−1)の瞳分割画像と図10(b−2)の瞳分割画像とから(時刻T+1にて撮影された複数の瞳分割画像から)視差量を算出するように構成してもよい。
次に、本発明の第2の実施形態について説明する。第1の実施形態では、動きベクトル算出用の画像として、背景などの非合焦領域に関しては瞳分割画像を用い、合焦領域ではS/N比の向上を目的として全開口画像を用いている。一方、本実施形態では、全開口画像に対してバンドパスフィルタを適用し、合焦領域の周波数帯域を有する被写体の領域を抽出する。そして、抽出された領域において動きベクトルを算出する際には、全開口画像を用いる。このような構成により、全開口画像でボケている領域に限定して瞳分割画像を用いた動きベクトルの算出を行うことができ、S/N比の劣化による動きベクトルの算出精度の低下を抑制し、より高精度に構図ずれを補正することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
800 画像取得部(画像取得手段)
803 動きベクトル算出部(動きベクトル算出手段)
805 構図ずれ補正部(位置合わせ手段)
806 合成画像生成部(画像合成手段)
Claims (17)
- 第1の視差画像、第2の視差画像、および、該第1の視差画像と該第2の視差画像との合算画像を取得する画像取得手段と、
前記第1の視差画像または前記第2の視差画像を用いて動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて前記合算画像の位置合わせを行う位置合わせ手段と、
位置合わせ後の前記合算画像を合成する画像合成手段と、を有することを特徴とする画像処理装置。 - 前記動きベクトル算出手段は、前記第1の視差画像または前記第2の視差画像として、第1の時刻に撮影された第1の画像と該第1の時刻とは異なる第2の時刻に撮影された第2の画像とを用いて、前記動きベクトルを算出し、
前記画像取得手段は、前記合算画像として、
前記第1の時刻に撮影された前記第1の視差画像と前記第2の視差画像とを合算して第1の合算画像を生成し、
前記第2の時刻に撮影された前記第1の視差画像と前記第2の視差画像とを合算して第2の合算画像を生成し、
前記位置合わせ手段は、前記第1の合算画像と前記第2の合算画像との関係を修正するように前記位置合わせを行い、
前記画像合成手段は、位置合わせ後の前記第1の合算画像と前記第2の合算画像とを合成する、ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像取得手段は、
前記第1の視差画像と前記合算画像とを取得し、
前記合算画像から前記第1の視差画像を減算することにより前記第2の視差画像を取得する、ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記動きベクトル算出手段は、
第1の領域において、前記合算画像を用いて前記動きベクトルを算出し、
第2の領域において、前記第1の視差画像または前記第2の視差画像を用いて動きベクトルを算出する、ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記第1の領域は、合焦領域であり、
前記第2の領域は、非合焦領域であることを特徴とする請求項4に記載の画像処理装置。 - 前記合算画像に対して所定の周波数帯域の領域を抽出するフィルタを適用するフィルタ処理手段を更に有し、
前記第1の領域は、前記所定の周波数帯域の前記領域を含み、
前記第2の領域は、前記所定の周波数帯域の前記領域を含まない、ことを特徴とする請求項4に記載の画像処理装置。 - 前記合算画像に対してローパスフィルタを適用するフィルタ処理手段を更に有し、
前記ローパスフィルタは、前記合算画像から、第1の周波数帯域よりも低い周波数帯域の領域を抽出し、
前記第1の領域は、前記周波数帯域の前記領域を含まず、
前記第2の領域は、前記周波数帯域の前記領域を含む、ことを特徴とする請求項4に記載の画像処理装置。 - 前記第1の視差画像と第2の視差画像との間の第1の視差量を算出する視差量算出手段を更に有し、
前記視差量算出手段は、前記第1の視差量を用いて、前記第1の視差画像または前記第2の視差画像と前記合算画像との間の第2の視差量を算出し、
前記動きベクトル算出手段は、前記第2の視差量を用いて、前記合算画像の動きベクトルを算出することを特徴とする請求項4乃至7のいずれか1項に記載の画像処理装置。 - 前記動きベクトル算出手段は、輝度に応じて選択された第1の視差画像または第2の視差画像を用いて前記動きベクトルを算出することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記動きベクトル算出手段は、画像領域ごとに、前記輝度に応じて選択された前記第1の視差画像または前記第2の視差画像を用いて前記動きベクトルを算出することを特徴とする請求項9に記載の画像処理装置。
- 人物領域を検出する人物検出手段を更に有し、
前記動きベクトル算出手段は、前記人物領域に関して、前記動きベクトルを算出しないことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。 - 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
前記画像データに基づいて、第1の視差画像、第2の視差画像、および、該第1の視差画像と該第2の視差画像との合算画像を取得する画像取得手段と、
前記第1の視差画像または前記第2の視差画像を用いて動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて前記合算画像の位置合わせを行う位置合わせ手段と、
位置合わせ後の前記合算画像を合成する画像合成手段と、を有することを特徴とする撮像装置。 - 前記撮像素子は、1つのマイクロレンズに関して第1の光電変換部および第2の光電変換部を有し、該マイクロレンズが2次元状に配列されている、ことを特徴とする請求項12に記載の撮像装置。
- 前記第1の光電変換部は、前記撮像光学系の第1の瞳部分領域を通過する光束を受光し、
前記第2の光電変換部は、前記撮像光学系の第2の瞳部分領域を通過する光束を受光し、
前記第1の視差画像は、前記第1の光電変換部からの画像データに基づいて取得され、
前記第2の視差画像は、前記第2の光電変換部からの画像データに基づいて取得される、ことを特徴とする請求項13に記載の撮像装置。 - 第1の視差画像、第2の視差画像、および、該第1の視差画像と該第2の視差画像との合算画像を取得するステップと、
前記第1の視差画像または前記第2の視差画像を用いて動きベクトルを算出するステップと、
前記動きベクトルに基づいて前記合算画像の位置合わせを行うステップと、
位置合わせ後の前記合算画像を合成するステップと、を有することを特徴とする画像処理方法。 - 第1の視差画像、第2の視差画像、および、該第1の視差画像と該第2の視差画像との合算画像を取得するステップと、
前記第1の視差画像または前記第2の視差画像を用いて動きベクトルを算出するステップと、
前記動きベクトルに基づいて前記合算画像の位置合わせを行うステップと、
位置合わせ後の前記合算画像を合成するステップと、をコンピュータに実行させることを特徴とするプログラム。 - 請求項16に記載のプログラムを記憶していることを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212650A JP6652294B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212650A JP6652294B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017085393A true JP2017085393A (ja) | 2017-05-18 |
JP6652294B2 JP6652294B2 (ja) | 2020-02-19 |
Family
ID=58713327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212650A Active JP6652294B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6652294B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110709920A (zh) * | 2017-06-08 | 2020-01-17 | 佳能株式会社 | 图像处理设备及其控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009088628A (ja) * | 2007-09-27 | 2009-04-23 | Canon Inc | 画像処理装置 |
JP2013175898A (ja) * | 2012-02-24 | 2013-09-05 | Canon Inc | 撮像装置 |
JP2014048962A (ja) * | 2012-08-31 | 2014-03-17 | Fujitsu Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2015186247A (ja) * | 2014-03-26 | 2015-10-22 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、プログラム |
-
2015
- 2015-10-29 JP JP2015212650A patent/JP6652294B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009088628A (ja) * | 2007-09-27 | 2009-04-23 | Canon Inc | 画像処理装置 |
JP2013175898A (ja) * | 2012-02-24 | 2013-09-05 | Canon Inc | 撮像装置 |
JP2014048962A (ja) * | 2012-08-31 | 2014-03-17 | Fujitsu Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2015186247A (ja) * | 2014-03-26 | 2015-10-22 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110709920A (zh) * | 2017-06-08 | 2020-01-17 | 佳能株式会社 | 图像处理设备及其控制方法 |
US11263999B2 (en) | 2017-06-08 | 2022-03-01 | Canon Kabushiki Kaisha | Image processing device and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6652294B2 (ja) | 2020-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
KR101233013B1 (ko) | 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법 | |
JP6489932B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US9167168B2 (en) | Image processing method, image processing apparatus, non-transitory computer-readable medium, and image-pickup apparatus | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
US8947585B2 (en) | Image capturing apparatus, image processing method, and storage medium | |
CN108886581B (zh) | 图像处理装置、摄像装置及其控制方法 | |
JP2017138198A (ja) | 距離画像装置、撮像装置、および距離画像補正方法 | |
JP6516510B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US20160344952A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP6748477B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
US9143762B2 (en) | Camera module and image recording method | |
JP6362070B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6652294B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
US10062150B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium | |
JP6746738B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6570230B2 (ja) | 撮像装置および撮像方法 | |
US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
JP2020136697A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US20220358667A1 (en) | Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium | |
WO2024053522A1 (ja) | 画像処理装置および画像処理方法 | |
JP2018050245A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018022984A (ja) | 画像処理装置及びその制御方法、プログラム並びに撮像装置 | |
JP6608238B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6652294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |