JP2013030848A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2013030848A JP2013030848A JP2011163690A JP2011163690A JP2013030848A JP 2013030848 A JP2013030848 A JP 2013030848A JP 2011163690 A JP2011163690 A JP 2011163690A JP 2011163690 A JP2011163690 A JP 2011163690A JP 2013030848 A JP2013030848 A JP 2013030848A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- viewpoint
- image processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】S302で、被写体空間を示す基準座標系においてピント面の位置を示すピント面情報を取得する。S303で、視差画像用の複数の対象視点のそれぞれについて、基準座標系における位置情報および視線方向を示す視点情報を取得する。S304で、ピント面情報および視点情報に基づき、対象視点のそれぞれを基準としてピント面の位置を示すピント調節パラメータを算出する。そしてS305で対象視点を含む複数視点から被写体を撮影した複数の撮像画像を取得し、S306で対象視点ごとに、ピント調節パラメータを用いて複数の撮像画像をピント面へ合焦するように合成し、視差画像を生成する。
【選択図】図3
Description
●処理概要
本実施形態では、立体像を提示するための視差画像を、以下のように生成する画像処理装置について説明する。まず、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得する(ピント面情報取得処理)。そして、視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、基準座標系における位置情報および視線方向を示す視点情報を取得する(視点情報取得処理)。そして特徴的には、ピント面情報および前記視点情報に基づき、対象視点のそれぞれを基準とするピント面の位置を示すピント調節パラメータを算出する(パラメータ算出処理)。そして、対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する(撮像画像取得処理)。そして最後に、対象視点のそれぞれについて、ピント調節パラメータを用いて複数の撮像画像の合焦位置がピント面に合うように合成して、視差画像を生成する(画像生成処理)。これにより、複数の対象視点のそれぞれについて個別にピント面を指定することなく、同一被写体に関するぼけの程度が同等である視差画像を一括して生成することを可能とする。
まず、本実施形態における画像処理装置のシステム構成例について、図1を用いて説明する。同図において、CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス106を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインタフェイス(I/F)104は、HDD105や光ディスクドライブ等の二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェイスである。CPU101は、HDDI/F104を介したHDD105からのデータ読み出し、およびHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そしてCPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。
以下、本実施形態における視差画像の生成処理について説明する。該処理は、図3のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ROM103あるいはHDD105からRAM102上に読み込んだ後に、CPU101が該プログラムを実行することによって実施される。以下、図3に示す各処理について説明する。
dm=z0+im/tanθm …(2)
対象視点Cmごとに式(1),(2)に従って算出されたピント調節パラメータθm,dmは、それぞれの対象視点Cmと対応付けられてRAM102等に記憶される。
d'm(u)=dm/(1-t(u)tan(π/2-θm)) …(4)
t(u)=((2(u-uc))/W)・tan(α/2) …(5)
このシフト量Δuは、対象視点Cmから遠い撮像部ほど大きな値となり、対象視点Cmについてのシフト量Δuはもちろん0となる。
本実施形態では、以上のような処理制御を行うことで、同一被写体に関するぼけの程度が同等である、複数毎の視差画像を一括生成することが可能となる。以下、本実施形態において生成される視差画像について、図5,図6を用いて説明する。図5は、本実施形態において対象視点ごとに異なるピント調節パラメータを用いて生成された視差画像の例を示す。これに対し図6は、全ての対象視点において同一のピント調節パラメータを用いた場合に生成される視差画像の例を示す。なお、図5(a),(b)および図6(a),(b)はそれぞれ、対象視点CL,CRについて得られる視差画像の例を示し、それぞれにおいて黒塗りされた被写体が、合焦している被写体を示している。
対象視点CRにおける視差画像は図6(b)に示すように、被写体401のみにピントが合った状態となる。そのため、これらの2つの視差画像を用いて立体像を提示ししても、それぞれのぼけの程度が異なるため視野闘争が生じ、立体像を知覚することが困難となる。
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態では、基準座標系におけるピント面の位置として、該ピント面上の座標と法線ベクトルをユーザが直接指定する例を示した。第2実施形態においては、任意の1視点に対するピント調節パラメータ(傾きθ,距離d)を指定することで、基準座標系におけるピント面の位置を間接的に設定する例を示す。このようにピント面の位置を間接的に設定することにより、ユーザは基準座標系と被写体空間の対応関係を意識することなく、より直観的にピント面の位置を設定することが可能となる。第2実施形態ではさらに、設定されたピント面に合焦可能であるか否かを視差画像の生成前に判定し、該判定結果を報知することで、操作性を向上させる。なお、第2実施形態における画像処理装置の構成は上述した第1実施形態の図1および図2と同様であるため、説明を省略する。
以下、第2実施形態における視差画像の生成処理について、図7のフローチャートを用いて説明する。なお、図7において、上述した第1実施形態における図3のフローチャートと同様の処理については同一ステップ番号を付してある。
(nx,ny,nz)=(sin(π/2-θO),0,-cos(π/2-θO)) …(7)
そして、S303〜S304では第1実施形態と同様に、上記S703で算出したピント面情報に基づき、基準カメラC0とは異なる、視差画像の作成対象である対象視点CL,CRのそれぞれについて、ピント調節パラメータを算出する。続いてS305で第1実施形態と同様に撮像部ごとの撮像画像を取得した後、S704において、全ての撮像部に対応する全視点について、ピント面に合焦可能であるか否かを判定する。ここで、一般にリフォーカス処理においては、撮像画像の全体にピントが合っていること、すなわち撮像画像が、被写界深度の深いパンフォーカスによって撮影されたものであることが望ましい。撮像画像中にピントの合っていない被写体領域が存在した場合、リフォーカス処理を適用してもその被写体に対する合焦を得ることは困難である。しかしながら、撮像部の特性や撮影するシーンによっては、全ての撮像画像をパンフォーカスで得ることは難しい場合がある。一方、立体像を提示するための視差画像では、構成する全ての画像において所望のピント面に合焦できなければ、上述したように視野闘争が生じるため、適切な立体像を提示できない。そこで第2実施形態では、適切な立体像を確実に提示できるように、リフォーカス処理による視差画像の生成(S306)を実行するに先立ち、該生成に用いられる全ての撮像画像が適切であるか否かを判定する。すなわち、全ての撮像画像に対応する視点が、設定されたピント面に対して合焦可能であるか否かを判定する。具体的には、全ての撮像画像について鮮鋭度を算出し、その全てが所定の閾値よりも高ければ合焦可能であると判定する。一方、全ての撮影画像のうち、鮮鋭度が該閾値以下となる非鮮鋭画像が1枚でも存在した場合には、合焦不可能と判定する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (11)
- 立体像を提示するための視差画像を生成する画像処理装置であって、
被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得するピント面情報取得手段と、
前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得する視点情報取得手段と、
前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出するパラメータ算出手段と、
前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する撮像画像取得手段と、
前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。 - 前記ピント調節パラメータは、前記対象視点のそれぞれにおける、前記視線方向に対する前記ピント面の傾き、および該対象視点から該ピント面までの前記視線方向の距離、を示すパラメータであることを特徴とする請求項1に記載の画像処理装置。
- 前記ピント面情報は、前記基準座標系における前記ピント面上の点の座標および該ピント面の法線ベクトルであることを特徴とする請求項1または2に記載の画像処理装置。
- 前記画像生成手段は、前記複数の撮像画像のそれぞれを、前記被写体の位置が一致するように前記ピント調節パラメータを用いて変形させた後に重みづけ加算することで、前記視差画像を生成することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記ピント面情報取得手段は、ユーザ指示によって示された前記ピント面情報を取得することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記ピント面情報取得手段は、
前記基準座標系における少なくとも1つの基準視点を設定する設定手段と、
該基準視点についての前記視点情報である基準視点情報を取得する基準視点情報の取得手段と、
前記基準視点に対する前記ピント調節パラメータを基準パラメータとして取得する基準パラメータ取得手段と、
前記基準視点情報および前記基準パラメータに基づいて前記ピント面情報を算出するピント面算出手段と、
を有すること特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記基準パラメータ取得手段は、ユーザ指示によって示された前記基準パラメータを取得することを特徴とする請求項6に記載の画像処理装置。
- さらに、前記撮像画像取得手段で取得された撮像画像の全てについて鮮鋭度を算出し、該鮮鋭度が所定の閾値以下である非鮮鋭画像が存在するか否かを判定する判定手段と、
前記判定手段において前記非鮮鋭画像が存在すると判定された場合に、前記視差画像の生成が不可能である旨を報知する報知手段と、を有し、
前記画像生成手段は、前記判定手段において前記非鮮鋭画像が存在しない場合に、前記視差画像の生成を行うことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記撮像画像取得手段は、複数の撮像部を備えた多眼方式のカメラによって前記被写体が撮像されることで得られる、前記複数の撮像画像を取得することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- ピント面情報取得手段、視点情報取得手段、パラメータ算出手段、撮像画像取得手段、および画像生成手段、を有し、立体像を提示するための視差画像を生成する画像処理装置における画像処理方法であって、
前記ピント面情報取得手段が、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得し、
前記視点情報取得手段が、前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得し、
前記パラメータ算出手段が、前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出し、
前記撮像画像取得手段が、前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得し、
前記画像生成手段が、前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する、
ことを特徴とする画像処理方法。 - コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163690A JP5868055B2 (ja) | 2011-07-26 | 2011-07-26 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163690A JP5868055B2 (ja) | 2011-07-26 | 2011-07-26 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013030848A true JP2013030848A (ja) | 2013-02-07 |
JP2013030848A5 JP2013030848A5 (ja) | 2014-09-04 |
JP5868055B2 JP5868055B2 (ja) | 2016-02-24 |
Family
ID=47787509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011163690A Expired - Fee Related JP5868055B2 (ja) | 2011-07-26 | 2011-07-26 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5868055B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014196374A1 (ja) * | 2013-06-05 | 2014-12-11 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2015126261A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08242468A (ja) * | 1995-03-01 | 1996-09-17 | Olympus Optical Co Ltd | 立体撮影装置 |
JP2009518877A (ja) * | 2006-04-04 | 2009-05-07 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 3次元ライトフィールドを取得し、表示するための方法およびシステム |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
-
2011
- 2011-07-26 JP JP2011163690A patent/JP5868055B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08242468A (ja) * | 1995-03-01 | 1996-09-17 | Olympus Optical Co Ltd | 立体撮影装置 |
JP2009518877A (ja) * | 2006-04-04 | 2009-05-07 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 3次元ライトフィールドを取得し、表示するための方法およびシステム |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014196374A1 (ja) * | 2013-06-05 | 2014-12-11 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JPWO2014196374A1 (ja) * | 2013-06-05 | 2017-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US10027947B2 (en) | 2013-06-05 | 2018-07-17 | Sony Corporation | Image processing apparatus and image processing method |
JP2015126261A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5868055B2 (ja) | 2016-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2357838B1 (en) | Method and apparatus for processing three-dimensional images | |
US8768043B2 (en) | Image display apparatus, image display method, and program | |
US20200265633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP3749227B2 (ja) | 立体画像処理方法および装置 | |
US9210407B2 (en) | Image processing apparatus and method, and program | |
JP3857988B2 (ja) | 立体画像処理方法および装置 | |
EP2787735A1 (en) | Image processing device, image processing method and program | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
TW201921318A (zh) | 用於產生場景之舖磚式三維影像表示之設備及方法 | |
JP2011164781A (ja) | 立体画像生成プログラム、情報記憶媒体、立体画像生成装置、及び立体画像生成方法 | |
KR20190027079A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
US20120242791A1 (en) | 3-d video processing device and 3-d video processing method | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017028510A (ja) | 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム | |
JP5868055B2 (ja) | 画像処理装置および画像処理方法 | |
EP3599539B1 (en) | Rendering objects in virtual views | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
JP6004354B2 (ja) | 画像データ処理装置及び画像データ処理方法 | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
KR101192121B1 (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
JP2019114822A (ja) | 画像処理装置 | |
JP2020043467A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5868055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |