JP2013031154A - 画像処理装置、画像処理方法、撮像装置およびプログラム - Google Patents
画像処理装置、画像処理方法、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP2013031154A JP2013031154A JP2012107581A JP2012107581A JP2013031154A JP 2013031154 A JP2013031154 A JP 2013031154A JP 2012107581 A JP2012107581 A JP 2012107581A JP 2012107581 A JP2012107581 A JP 2012107581A JP 2013031154 A JP2013031154 A JP 2013031154A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- image data
- color
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000002131 composite material Substances 0.000 claims abstract description 65
- 239000000203 mixture Substances 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000009795 derivation Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 44
- 239000003086 colorant Substances 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】多眼方式の撮像装置によって撮像された色補間前の多視点画像データを用いて合成画像を生成する画像処理装置であって、前記多視点画像データにおける画素値と画素位置の情報を取得する手段と、任意のフォーカス位置に応じた前記多視点画像データの各画素の画素位置の合成画像における画素位置を、前記撮像時の光学パラメータに基づいて決定する画素位置決定手段と、前記多視点画像データの各画素の色を導出する色導出手段と、前記決定された合成画像における画素位置及び前記導出された画素の色に対応する前記多視点画像データの画素値を用いて、前記合成画像の各画素の画素値を算出する画素値算出手段とを備えることを特徴とする。
【選択図】図8
Description
図1は、本実施例に係る多眼方式の撮像装置(カメラ)の主要な構成要素を示す図である。
図3は、通常の撮像光学系の構成を示す図であり、ピントがずれてしまった状態を表している。なお、図3では、IRカットフィルタ、ズームレンズ、絞りなどの構成については省略してある。また、レンズ構成についても、メインレンズ303でレンズ群を代表して表している。
次に、画像処理部103内の画像合成部201の詳細について説明する。
(1/σfocus)+(1/σvirtual)=(1/fmain) ・・・式(1)
X1 = l + (σvirtual/σreal)*(x+s/2-l) ・・・式(2)
X2 = l + (σvirtual/σreal)*(x-s/2-l) ・・・式(3)
実施例1では、順次取得した入力画素に対して、算出された合成画像の画素位置と導出された色が相互に同一である範囲をインデックスの単位として合成画像の画素値の算出を行っていた。次に、合成画像の画素位置が同一の範囲をインデックスの単位とする態様について、実施例2として説明する。なお、実施例1との違いは、インデックスの1単位の範囲だけであるので、その余の共通する部分(図8のフローチャートのステップ801〜804、807)については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
Rm’ = C1*Rm + C2*Gm + C3*Bm ・・・式(4)
Gm’ = C4*Rm + C5*Gm + C6*Bm ・・・式(5)
Bm’ = C7*Rm + C8*Gm + C9*Bm ・・・式(6)
Rm’=(0.8×25)+(0.1×33)+(0.1×22)=25.5
Gm’=(0.1×25)+(0.8×33)+(0.1×22)=31.1
Bm’=(0.1×25)+(0.1×33)+(0.8×22)=23.4
合成画像の端の領域では、多視点画像の画素値が割り当てられていない画素が発生し得る。例えば、図13の(a)において、仮想センサ1302上の△の画素位置では画素値が割り当てられていない。これは、図11のテーブルでいえば、合成画像の画素位置と色で指定されるインデックスに対して、画素値が1つも割り当てられていないことを意味する。そこで、次に、合成画像において欠落した画素の発生を防ぐべく、合成画像の画素値の補間を行う態様について、実施例3として説明する。なお、実施例1と共通する部分(図8のフローチャートのステップ801〜804、807)については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
次に、縮小画像の生成を行う態様について、実施例4として説明する。なお、他の実施例と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
z = (σvirtual/σreal)*x ・・・式(7)
さらに、zとyの間には次の式(8)の関係が成り立つ。
z = (σvirtual/σreal)*(y-l)+l ・・・式(8)
ここで、lは隣り合うマイクロレンズ(図19では1900及び1904)のそれぞれの中心(光学中心)間の距離を表す。
そして、式(7)及び式(8)からzを消去すると、以下の式(9)のようになる。
y = l + x - (σreal/σvirtual)*l ・・・式(9)
このようにして、xとyの関係式が得られる。
上記式(9)を一般化して、n個隣のサブ画像における対応点の座標ynを式で表すと、式(10)のようになる。
yn = n*l + x - (σreal/σvirtual)*n*l ・・・式(10)
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
Claims (9)
- 多眼方式の撮像装置によって撮像された色補間前の多視点画像データを用いて合成画像を生成する画像処理装置であって、
前記多視点画像データにおける画素値と画素位置の情報を取得する手段と、
任意のフォーカス位置に応じた前記多視点画像データの各画素の画素位置の合成画像における画素位置を、前記撮像時の光学パラメータに基づいて決定する画素位置決定手段と、
前記多視点画像データの各画素の色を導出する色導出手段と、
前記決定された合成画像における画素位置及び前記導出された画素の色に対応する前記多視点画像データの画素値を用いて、前記合成画像の各画素の画素値を算出する画素値算出手段と
を備えることを特徴とする画像処理装置。 - 前記画素値算出手段は、前記導出された画素の色が相互に同一である前記多視点画像データの画素値の平均値を求めることにより、前記合成画像の各画素の画素値を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記画素値算出手段は、前記導出された画素の色が相互に同一である前記多視点画像データの画素値の平均値を色毎に求め、該求められた色毎の平均値にさらに加重平均を行って、前記合成画像の各画素の画素値を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記画素値算出手段は、
前記合成画像の予め定められた一定領域における、合成に用いられる画素の数を取得する手段と、
取得した前記合成に用いられる画素の数が0であるかどうかを判定する手段と、
前記判定手段において画素の数が0であると判定された場合に、当該画素の数が0と判定された画素の画素値を、当該画素の近傍の画素の画素値を用いた補間演算によって算出する手段と
をさらに備えたことを特徴とする請求項1に記載の画像処理装置。 - 多眼方式の撮像装置によって撮像された色補間前の多視点画像データを用いて合成画像を生成する画像処理方法であって、
前記多視点画像データにおける画素値と画素位置の情報を取得するステップと、
任意のフォーカス位置に応じた前記多視点画像データの各画素の画素位置の合成画像における画素位置を、前記撮像時の光学パラメータに基づいて決定する画素位置決定ステップと、
前記多視点画像データの各画素の色を導出する色導出ステップと、
前記決定された合成画像における画素位置及び前記導出された画素の色に対応する前記多視点画像データの画素値を用いて、前記合成画像の各画素の画素値を算出する画素値算出ステップと
を含むことを特徴とする画像処理方法。 - コンピュータを請求項1乃至4のいずれかに記載されている画像処理装置として機能させるためのプログラム。
- 請求項1乃至4のいずれかに記載されている画像処理装置を含む多眼方式の撮像装置。
- 複数の視点位置から撮像することにより得られる多視点画像データから合成画像データを生成する画像処理装置であって、
前記合成画像データにおけるリフォーカス位置に基づいて、前記合成画像データの各画素の画素値を生成する際に用いる、前記多視点画像データにおける各画像の画素位置を決定する手段と、
前記決定された画素位置の画素値に基づいて、前記合成画像データの各画素の画素値を得る手段と、
を備えることを特徴とする画像処理装置。 - 前記決定する手段は、前記リフォーカス位置において、所定の視点の画像中の欠落した画素に対応する、当該所定の視点の画像とは異なる視点の画像における画素位置を決定することを特徴とする請求項8に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012107581A JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
US13/525,155 US8988546B2 (en) | 2011-06-24 | 2012-06-15 | Image processing device, image processing method, image capturing device, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011140741 | 2011-06-24 | ||
JP2011140741 | 2011-06-24 | ||
JP2012107581A JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013031154A true JP2013031154A (ja) | 2013-02-07 |
JP2013031154A5 JP2013031154A5 (ja) | 2015-06-25 |
JP5984493B2 JP5984493B2 (ja) | 2016-09-06 |
Family
ID=47361494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012107581A Active JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8988546B2 (ja) |
JP (1) | JP5984493B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101567668B1 (ko) | 2014-01-28 | 2015-11-20 | 조선대학교산학협력단 | 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법 |
JP2016072893A (ja) * | 2014-09-30 | 2016-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
US10868957B2 (en) | 2018-10-18 | 2020-12-15 | Samsung Electronics Co., Ltd. | Apparatus and method for processing image to reconstruct image |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5310837B2 (ja) * | 2011-12-28 | 2013-10-09 | カシオ計算機株式会社 | 画像生成装置、デジタルカメラ、方法、及びプログラム |
JP5631935B2 (ja) * | 2012-07-11 | 2014-11-26 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 |
EP2835613B1 (de) * | 2013-08-08 | 2019-01-16 | Hexagon Technology Center GmbH | Geodätisches Vermessungsgerät mit Mikrolinsenarray |
US9807372B2 (en) * | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
JP6463900B2 (ja) * | 2014-04-17 | 2019-02-06 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
CN106157356B (zh) * | 2016-07-05 | 2018-12-28 | 北京邮电大学 | 一种图像处理方法及装置 |
JP6904684B2 (ja) * | 2016-11-04 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR102565277B1 (ko) | 2017-11-24 | 2023-08-09 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009021683A (ja) * | 2007-07-10 | 2009-01-29 | Sony Corp | 撮像装置 |
JP2009124213A (ja) * | 2007-11-12 | 2009-06-04 | Sony Corp | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7113634B2 (en) * | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
US20100103175A1 (en) | 2006-10-25 | 2010-04-29 | Tokyo Institute Of Technology | Method for generating a high-resolution virtual-focal-plane image |
JP2008294741A (ja) | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP4483951B2 (ja) | 2008-01-28 | 2010-06-16 | ソニー株式会社 | 撮像装置 |
JP4706882B2 (ja) * | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
KR20120063984A (ko) * | 2010-12-08 | 2012-06-18 | 한국전자통신연구원 | 다시점 영상 생성 방법 및 장치 |
JP5687608B2 (ja) * | 2011-11-28 | 2015-03-18 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2012
- 2012-05-09 JP JP2012107581A patent/JP5984493B2/ja active Active
- 2012-06-15 US US13/525,155 patent/US8988546B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009021683A (ja) * | 2007-07-10 | 2009-01-29 | Sony Corp | 撮像装置 |
JP2009124213A (ja) * | 2007-11-12 | 2009-06-04 | Sony Corp | 撮像装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101567668B1 (ko) | 2014-01-28 | 2015-11-20 | 조선대학교산학협력단 | 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법 |
JP2016072893A (ja) * | 2014-09-30 | 2016-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
US10868957B2 (en) | 2018-10-18 | 2020-12-15 | Samsung Electronics Co., Ltd. | Apparatus and method for processing image to reconstruct image |
Also Published As
Publication number | Publication date |
---|---|
US20120327259A1 (en) | 2012-12-27 |
US8988546B2 (en) | 2015-03-24 |
JP5984493B2 (ja) | 2016-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP6168794B2 (ja) | 情報処理方法および装置、プログラム。 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP6029380B2 (ja) | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2010034964A (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP5455728B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP6012396B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP6415330B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014049895A (ja) | 画像処理方法 | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160802 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5984493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |