JP5832211B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5832211B2 JP5832211B2 JP2011203484A JP2011203484A JP5832211B2 JP 5832211 B2 JP5832211 B2 JP 5832211B2 JP 2011203484 A JP2011203484 A JP 2011203484A JP 2011203484 A JP2011203484 A JP 2011203484A JP 5832211 B2 JP5832211 B2 JP 5832211B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- images
- acquired
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本実施形態では、複数のカメラユニットを備えた多眼方式の撮像装置から得られた複数枚の撮像画像から、画像処理によって任意の仮想フォーカス距離にピントを合わせた画像を生成するリフォーカス処理を行う。この際に、ピントを合わせたい領域に対して、リフォーカス処理を優先的に行う。
図1において、CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス112を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインターフェース(I/F)104は、HDD105や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルATA(SATA)等のインターフェースである。
ステップS909では、画像補間処理部411は、前のステップで取得した撮像画像301〜309及び撮像装置情報403に基づき画像補間処理を行い、補間画像412を生成する。ステップS905における画像補間処理との差分は、処理対象領域が画像全体となり、結果として得られる補間画像も画像全体を補間した画像となっていることである。その他の処理内容はステップS905と同様である。
ここでは、図9に示すフローチャートのステップS902で行う距離推定処理の詳細について説明する。距離推定処理では、位置の異なる複数の撮像画像301〜309を基に、撮像したシーンの距離を推定することでデプスマップ408を生成する。この距離推定方法には公知の方法を用いればよい。例えば、ステレオ法、マルチベースラインステレオ法などが適用可能である。本実施形態では、ステレオ法によって距離推定を行う。以下、図10に示すフローチャートを用い、距離推定処理の詳細を説明する。
ここでは、図9に示すフローチャートのステップS904で行う注目領域決定処理の詳細について説明する。注目領域決定処理では、仮想ピントパラメータ405と撮像装置情報403とに基づき、各カメラユニットで撮像された撮像画像301〜309のそれぞれに対して注目領域の設定処理を行う。そして、注目領域情報410と、注目領域情報410の生成に使用したカメラIDを記述したカメラリスト417とを生成する。以下、図11に示すフローチャートと図5に示す注目領域決定処理部の処理概要を用い、注目領域決定処理の詳細を説明する。
次に、ステップS905及びステップS909で行う画像補間処理の詳細について説明する。ステップS909で行う画像補間処理では、まず、撮像装置情報403に基づいて撮像画像301〜309の撮像位置を内挿するように仮想視点位置413を設定する。次に、視差補間処理を用いて撮像画像301〜309を基に各仮想視点位置413に対応する補間画像412を生成する。
次に、ステップS906及びステップS910で行う画像合成処理について説明する。画像合成処理では、まず、仮想絞りパラメータ406を基に、各画像に対する重み係数を設定する。そして、撮像装置情報403および仮想視点位置413を基に、各画像をシフトし領域毎に異なる重み係数を用いて重み付け加算を行い、リフォーカス画像415を生成する。以下、図13に示すフローチャートを用い、ステップS910における画像合成処理の詳細を説明する。
第1の実施形態では、仮想ピント位置の座標(Xf,Yf)を中心として、任意のサイズの領域を注目領域として設定する方法について説明した。これに対し、本実施形態では、仮想ピント位置の座標(Xf,Yf)を含み、さらに仮想ピント位置の座標の被写体と等距離にある被写体を包含する領域を注目領域として設定する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
404 パラメータ入力部
407 距離推定処理部
409 注目領域決定部
411 画像補間処理部
414 画像合成処理部
416 画像出力部
Claims (9)
- 同一の被写体を複数の異なる視点から見た場合の複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した画像の各画素における被写体の距離情報を示す距離マップを取得する距離取得手段と、
前記画像取得手段が取得した画像のうちの基準画像上での仮想的なピント位置の座標を示すパラメータを入力する入力手段と、
前記距離マップと前記パラメータとに基づいて、前記画像取得手段が取得した画像において前記被写体と等距離にあり前記被写体を包含する領域を注目領域として決定する決定手段と、
前記画像取得手段が取得した画像において前記注目領域内のみをリフォーカスした画像を表示画像として生成する生成手段とを有することを特徴とする画像処理装置。 - 前記生成手段は、前記注目領域を枠で囲んだ画像を前記表示画像として生成することを特徴とする請求項1に記載の画像処理装置。
- 前記画像取得手段が取得した画像が示すシーンは、前記複数の画像のうちの少なくとも1枚が示すシーンであることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記距離取得手段は、前記複数の画像を用いて、前記複数の画像のうちの少なくとも1枚について距離マップを推定することで、前記距離マップを取得することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記注目領域について、前記複数の画像に対応する視点とは異なる視点に対応する第一の補間画像を生成する補間手段を更に有し、
前記生成手段は、前記複数の画像と前記第一の補間画像とを用いて、前記注目領域にリフォーカス処理を施すことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。 - 前記複数の画像が前記注目領域に対応する画像領域を含むかどうかを判定する判定手段を更に有し、
前記補間手段は、前記判定手段により、前記注目領域に対応する画像領域を含むとして判定された画像に対応する視点の間の視点について、前記第一の補間画像を生成することを特徴とする請求項5に記載の画像処理装置。 - 前記表示画像に対して入力されたユーザ指示に基づいて、
前記補間手段は、前記注目領域以外の領域について、前記複数の画像に対応する視点とは異なる視点に対応する第二の補間画像を生成し、
前記生成手段は、前記複数の画像と前記第二の補間画像とを用いて、前記注目領域以外の領域にリフォーカス処理を施した画像を更に生成することを特徴とする請求項5又は6に記載の画像処理装置。 - 同一の被写体を複数の異なる視点から見た場合の複数の画像を取得する画像取得工程と、
前記画像取得工程で取得した画像の各画素における被写体の距離情報を示す距離マップを取得する距離取得工程と、
前記画像取得工程で取得した画像のうちの基準画像上での仮想的なピント位置の座標を示すパラメータを入力する入力工程と、
前記距離マップと前記パラメータとに基づいて、前記画像取得工程で取得した画像において前記被写体と等距離にあり前記被写体を包含する領域を注目領域として決定する決定工程と、
前記画像取得工程で取得した画像において前記注目領域内のみをリフォーカスした画像を表示画像として生成する生成工程とを有することを特徴とする画像処理方法。 - コンピュータを請求項1乃至7のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011203484A JP5832211B2 (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011203484A JP5832211B2 (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013066058A JP2013066058A (ja) | 2013-04-11 |
JP2013066058A5 JP2013066058A5 (ja) | 2014-10-23 |
JP5832211B2 true JP5832211B2 (ja) | 2015-12-16 |
Family
ID=48189162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011203484A Expired - Fee Related JP5832211B2 (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5832211B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015139019A (ja) * | 2014-01-21 | 2015-07-30 | 株式会社ニコン | 画像合成装置及び画像合成プログラム |
WO2016002578A1 (ja) * | 2014-07-04 | 2016-01-07 | ソニー株式会社 | 画像処理装置および方法 |
JP6659942B2 (ja) * | 2015-09-11 | 2020-03-04 | フリュー株式会社 | 写真シール作成装置および表示方法 |
JP6800648B2 (ja) * | 2016-08-02 | 2020-12-16 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム並びに撮像装置 |
JP6868288B2 (ja) * | 2018-09-11 | 2021-05-12 | 株式会社アクセル | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP7442029B2 (ja) | 2019-10-17 | 2024-03-04 | 株式会社東海理化電機製作所 | 画像処理装置、画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3054312B2 (ja) * | 1994-04-22 | 2000-06-19 | キヤノン株式会社 | 画像処理装置及び方法 |
JP2000207549A (ja) * | 1999-01-11 | 2000-07-28 | Olympus Optical Co Ltd | 画像処理装置 |
JP4996221B2 (ja) * | 2006-12-06 | 2012-08-08 | 株式会社シグマ | 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置 |
JP4900723B2 (ja) * | 2008-03-14 | 2012-03-21 | ソニー株式会社 | 画像処理装置、画像処理プログラムおよび表示装置 |
JP5493789B2 (ja) * | 2009-12-07 | 2014-05-14 | 株式会社リコー | 撮像装置および撮像方法 |
-
2011
- 2011-09-16 JP JP2011203484A patent/JP5832211B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013066058A (ja) | 2013-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5818514B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5822613B2 (ja) | 画像処理装置および画像処理方法 | |
JP5832211B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5762142B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
TWI387935B (zh) | 影像生成方法、及其程式與記錄有程式的記錄媒體 | |
CN104980651A (zh) | 图像处理设备及控制方法 | |
JP2014197824A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5370606B2 (ja) | 撮像装置、画像表示方法、及びプログラム | |
JP2016122444A (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
CN112291550A (zh) | 自由视点图像生成方法、装置、系统及可读存储介质 | |
JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
US11250640B2 (en) | Measurement method, measurement device, and recording medium | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2017228874A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2020028114A (ja) | 立体画像生成装置及びそのプログラム | |
JP5817300B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151027 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5832211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |