JP2012075079A - シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 - Google Patents
シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 Download PDFInfo
- Publication number
- JP2012075079A JP2012075079A JP2011097221A JP2011097221A JP2012075079A JP 2012075079 A JP2012075079 A JP 2012075079A JP 2011097221 A JP2011097221 A JP 2011097221A JP 2011097221 A JP2011097221 A JP 2011097221A JP 2012075079 A JP2012075079 A JP 2012075079A
- Authority
- JP
- Japan
- Prior art keywords
- shading correction
- correction
- parallax images
- optical system
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Abstract
【課題】左右の視差画像間の輝度差を軽減するのに好適なシェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置を提供する。
【解決手段】シェーディング補正装置を、単一の撮影光学系を用いて撮影された左右の視差画像に対して、左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることにより、左右一対のシャッタ開口を小径化する構成や大型なレンズ構成を採用することなく、視差画像間の輝度差を良好に軽減する。
【選択図】図6
【解決手段】シェーディング補正装置を、単一の撮影光学系を用いて撮影された左右の視差画像に対して、左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることにより、左右一対のシャッタ開口を小径化する構成や大型なレンズ構成を採用することなく、視差画像間の輝度差を良好に軽減する。
【選択図】図6
Description
本発明は、立体視用の画像に対してシェーディング補正をかけるシェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置に関する。
人は、視差のある画像を左右の眼で交互に視認すると、その画像を立体として知覚する。この生理的現象を利用することによって二次元画像を立体画像に知覚させる立体画像撮影装置が知られている。この種の立体画像撮影装置の具体的構成例は、特許文献1〜3に記載されている。
特許文献1〜3に記載の立体画像撮影装置は、単一の撮影光学系によって立体画像を撮影する。具体的には、特許文献1又は2に記載の立体画像撮影装置は、撮影光学系の光軸を中心に所定の間隔を空けて配置された左右一対のシャッタを有する。左右一対のシャッタは、撮像素子のフレームレートに同期して時分割で交互に開閉する。各シャッタ開口を通過した被写体からの散乱光が撮像素子の撮像面上に結像すると、左右にずれのある視差画像が交互に得られる。特許文献3に記載の立体画像撮影装置は、対物レンズ系の後方にリレーレンズ系、瞳形成レンズ系、光軸を対称に異なる方向を向くように配置された左右一対のミラー(光軸上に頂角が位置するプリズム)を順に配置した立体視内視鏡である。被写体からの散乱光は、対物レンズ系、リレーレンズ系、瞳形成レンズ系からなる単一の光学系を透過してプリズムの各ミラー面で反射し異なる方向に分割され、左右一対の撮像素子の撮像面上に同時に結像する。これにより、左右にずれのある視差画像が同時に得られる。
図1は、特許文献1や2に記載された撮影方式の立体画像撮影装置に設置された瞳分割用液晶シャッタDSを被写体側から撮影光学系の光軸AX方向に臨んだときの概略図である。図1(a)に示されるように、瞳分割用液晶シャッタDSは、撮像素子のフレームレートに同期して時分割で交互に開閉する左眼用シャッタS1、右眼用シャッタS2を有している。左眼用シャッタS1、右眼用シャッタS2の開口は、同一形状・同一サイズに設計されている。この種の立体画像撮影装置では、既述の通り、撮影光学系も左右で共通である。そのため、左眼用画像と右眼用画像の露光量及び輝度分布は実質的に等しいというのが一般的な認識であった。輝度分布については、口径食やコサイン4乗則によって周辺光量が画面全周に亘って均等に低下していると考えられ、詳しくは議論されていなかった。しかし、本出願人は、次に説明する理由により、左眼用画像と右眼用画像の輝度分布が同じでないことを発見した。なお、本明細書中、輝度分布は、撮影範囲全体に亘って一様な明るさを持つ被写体を撮影したときの輝度分布を指す。
図2及び図3は、特許文献1や2に記載された撮影方式の立体画像撮影装置において輝度分布が左右の画像で相違する主原因を説明するための図である。図2、図3はそれぞれ、左眼用シャッタS1、右眼用シャッタS2を通過した被写体像の輝度分布を示す。図2(a)、図3(a)は、撮像面上の輝度分布を三次元的に示す。図2(b)、図3(b)は、撮像面上の輝度分布を二次元的に示す。各図中、撮像面上の位置は、XY座標で定義される。図2(a)、図3(a)中のZ軸は、輝度値を示す。図2(b)、図3(b)では、輝度値を等高線で示している。
図1(b)は、頂点P1に入射する軸外光束BMとシャッタ開口との関係を示す図である。軸外光束BMは、シャッタの前後にあるレンズの縁や保持枠等によって一部が遮断される。そのため、シャッタ面上の軸外光束BMの断面は、図1(b)に示されるように、真円を円弧でカットしたような形状である。左眼用シャッタS1の開放時は、軸外光束BMのうち斜線領域R1の光束が左眼用シャッタS1を通過して、頂点P1に入射する。右眼用シャッタS2の開放時は、軸外光束BMのうち斜線領域R2の光束が右眼用シャッタS2を通過して、頂点P1に入射する。
斜線領域R1は、斜線領域R2と比べて小さい。そのため、左眼用シャッタS1の開放時に頂点P1に入射する軸外光束BMの光量は、右眼用シャッタS2開放時の頂点P1への入射光量と比べて少ない。図2(a)と図3(a)又は図2(b)と図3(b)とを比較すると、左眼用画像中の頂点P1が、右眼用画像中の頂点P1よりも暗いことが分かる。このように、軸外光束が受ける口径食の影響が左右の画像で異なる。従って、図2、図3に示されるように、左眼用画像と右眼用画像の輝度分布が同じにならない。視差画像間の輝度差は、観察者に違和感を与えて正常な立体視を阻害する虞があるため、改善することが望まれる。
例えば撮影光学系中の可変絞り面の中央付近では、画角の大きい軸外光束であってもレンズや固定絞りの開口制限を受けない。視差画像間の輝度差を軽減する具体的手段の一例として、左眼用シャッタS1、右眼用シャッタS2の各開口を開口制限の影響を無視できる程度に小径化しつつ互いを近接配置することが考えられる。しかし、左右の開口の主光線間隔を狭めた代償として、画像の立体感が損なわれる。また、小径化による光量不足を補填するために露光時間を長くする必要がある。そのため、手振れが生じやすくなるという不都合や、動体撮影が困難になるという問題が生じる。更に、小径化したことによって被写界深度が深くなるため、ボケを利用した撮影が難しくなる。
図8は、特許文献3に記載の立体画像撮影装置における瞳面を被写体側から光軸AX方向に臨んだときの概略図である。図8(a)、(b)はそれぞれ、瞳面上の軸上光束BM’、軸外光束BMを示す。ここでいう瞳面は、光軸AXと直交しかつプリズムの頂角を通る面と定義する。図8(a)、(b)の各図の右半分が入射光束を右側の撮像素子に導くプリズムのミラー面に対応し、左半分が入射光束を左側の撮像素子に導くプリズムのミラー面に対応する。特許文献3においても、図8(b)に示されるように、軸外光束BMが受ける口径食の影響が左右の画像で異なるため、左眼用画像と右眼用画像の輝度分布が同じにならない(図中、斜線領域R1、R2参照)。
視差画像間の輝度差を軽減する具体的手段の一例として、レンズや固定絞りによる開口制限を受けない光学系を採用することが考えられる。しかし、この場合は、レンズを大型化する必要があるため、重量が増加して使い勝手が損なわれる。また、製造単価が増加するという問題もあるため、安易には採用できない。
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、左右の視差画像間の輝度差を軽減するのに好適なシェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置を提供することである。
上記の課題を解決する本発明の一形態に係るシェーディング補正装置は、単一の撮影光学系を用いて撮影された左右の視差画像に対して、左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることを特徴としている。
左右の視差画像に対して異なるシェーディング補正をかけることにより、左右一対のシャッタ開口を小径化する構成や大型なレンズ構成を採用することなく、視差画像間の輝度差を良好に軽減することができる。
本発明に係るシェーディング補正装置は、視差画像を構成する各画素の出力値に左右の視差画像でそれぞれ異なる分布の所定の補正係数をかける構成としてもよい。
各画素に対応する補正係数を視差画像の画素配置に対応して配列したときの、左右の視差画像に対応する2つの補正係数分布は、例えば各視差画像を左右に二等分する線分を基準に互いに反転した分布である。
本発明に係るシェーディング補正装置は、各種撮影光学系又は該撮影光学系の各ズーム位置に対応する補正係数を保持する係数保持手段と、撮影光学系又はズーム位置を認識する認識手段と、認識結果に対応する補正係数を係数保持手段から選択する係数選択手段と
を有し、選択された補正係数を用いてシェーディング補正をかける構成であってもよい。
を有し、選択された補正係数を用いてシェーディング補正をかける構成であってもよい。
上記の課題を解決する本発明の一形態に係るシェーディング補正方法は、単一の撮影光学系を用いて撮影された左右の視差画像に対して、該左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることを特徴としている。
上記の課題を解決する本発明の一形態に係るシェーディング補正プログラムは、上記シェーディング補正方法をコンピュータに実行させるためのプログラムである。
上記の課題を解決する本発明の一形態に係る撮影装置は、撮影光学系と、撮影光学系内に光軸を挟んで所定の間隔を空けて配置された左右一対のシャッタと、左右一対のシャッタをそれぞれ所定のレートで開閉する開閉駆動手段と、所定のレートと同期して駆動し、各シャッタを通過した被写体像が結像する撮像素子と、各シャッタを介して撮影された画像に対して輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけるシェーディング補正手段とを有することを特徴としている。
本発明によれば、左右の視差画像間の輝度差を軽減するのに好適なシェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置が提供される。
以下、図面を参照して、本発明の実施形態のシェーディング補正装置について説明する。
図4は、本実施形態のシェーディング補正装置を有する撮影装置1の構成を模式的に示す図である。本実施形態において、撮影装置1は、デジタル一眼レフカメラを想定しているが、コンパクトデジタルカメラ、カムコーダ、内視鏡、眼底カメラ、携帯電話端末、PHS(Personal Handy phone System)、携帯ゲーム機等の撮影機能を有する別形態の撮影装置に置き換えてもよい。
撮影装置1は、図4に示されるように、カメラ本体部10と撮影レンズ50を有している。カメラ本体部10には、各種回路の動作やタイミングを統括的に制御するCPU12が搭載されている。被写体からの散乱光は、撮影光学系L、ミラーMを介して、ファインダ光学系Fに入射する。撮影者は、ファインダ光学系Fの接眼レンズを覗くことにより被写体像を観察することができる。なお、図4においては、図面を明瞭にするため、各種電子部品の結線を省略している。
レリーズスイッチが押されると、ミラーMが図4の破線位置にアップすると共にフォーカルプレーンシャッタFPがシャッタ速度に応じた時間だけ開放する。これにより、被写体からの散乱光は、撮影光学系L、フォーカルプレーンシャッタFPを通過して固体撮像素子14により受光される。
固体撮像素子14は、例えばベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子14は、撮像面14a上の各画素で結像した光学像を光量に応じた電荷として蓄積して、撮像信号に変換する。変換された撮像信号は、図示省略された回路によるAD変換、信号増幅等の処理後、DSP(Digital Signal Processor)16に入力する。なお、固体撮像素子14は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとしてもよい。以下、説明の便宜上、撮影光学系Lの光軸AX方向と直交しかつ互いに直交する二方向をX軸方向、Y軸方向と定義する。X軸方向、Y軸方向はそれぞれ、撮像面14aの横方向、縦方向である。
DSP16は、入力した撮像信号に対して色補間、マトリクス演算、Y/C分離等の所定の信号処理を施して輝度信号Y、色差信号Cb、Crを生成し、JPEG(Joint Photographic Experts Group)等のフォーマットで圧縮する。圧縮画像信号(つまり、撮影画像データ)は、カメラ本体部10のカードスロットに差し込まれたメモリカードに保存される。また、DSP16は、マトリクス演算後の各色信号を別個のフレームメモリにフレーム単位でバッファリングする。DSP16は、バッファリングされた各色信号を所定のタイミングで各フレームメモリから掃き出して画像信号に変換して画像を生成し、LCD(Liquid Crystal Display)モニタ18上に表示させる。撮影者は、LCDモニタ18を通じて撮影画像を視認することができる。
図5は、撮影光学系Lの構成を示すレンズ配置図である。撮影光学系Lは、物体側から順に、負の第1レンズ群10、正の第2レンズ群20、負の第3レンズ群30、正の第4レンズ群40を有する。第1レンズ群10は、物体側から順に、物体側に凸の負メニスカスレンズ11、負メニスカスレンズ12、負メニスカスレンズ13、正メニスカスレンズ14を有する。第2レンズ群20は、物体側から順に、両凸正レンズ21、両凸正レンズ22と負メニスカスレンズ23とを貼り合わせた貼合せレンズを有する。第3レンズ群30は、物体側から順に、像側に凸の正メニスカスレンズ31と両凹負レンズ32とを貼り合わせた貼合せレンズを有する。第4レンズ群40は、物体側から順に、両凸正レンズ41と、両凸正レンズ42と像側に凸の負メニスカスレンズ43とを貼り合わせた貼合せレンズを有する。第9面(第2レンズ群20)の極から前方0.3mmの位置には、口径が固定(一定)の固定絞りFSが配置されている。第14面(第3レンズ群30)の極から前方0.36mmの位置には、口径が可変の可変絞りSが配置されている。可変絞りSの近傍には、瞳分割用液晶シャッタDSが配置されている。
表1に、撮影光学系Lの具体的数値構成を示す。表1中、FNO.は、Fナンバーを、fは、全系の焦点距離(単位:mm)を、Wは、半画角(単位:deg)を、fBは、バックフォーカス(単位:mm)を、それぞれ示す。rは、光学部材の各面の曲率半径(単位:mm)を、dは、光学部材厚又は光学部材間隔(単位:mm)を、Nd、νは、光学部材のd線の屈折率、d線に対するアッベ数を、それぞれ示す。ズーミングに際し変化する値は、短焦点距離端の値−長焦点距離端の値の順に記載している。
第6面(第1レンズ群10)は、回転対称非球面である。回転対称非球面は、曲率(1/r)をcと定義し、光軸からの高さをy(単位:mm)と定義し、円錐係数をκと定義し、4次以上の偶数次の非球面係数をA4、A6、・・・と定義した場合に、次式で表される。なお、非球面式におけるrは、光軸上での曲率半径(近軸曲率半径)を示す。
x=cy2/[1+[1-(1+K)c2y2]1/2]+A4y4+A6y6+A8y8+A10y10+A12y12・・・
x=cy2/[1+[1-(1+K)c2y2]1/2]+A4y4+A6y6+A8y8+A10y10+A12y12・・・
(表1)
FNO. = 1: 3.5 - 5.7
f = 19.10 - 55.16
W = 37.9 - 14.3
fB = 37.71 - 58.13
面NO. r d Nd ν
1 106.359 1.30 1.60311 60.7
2 18.599 5.46 − −
3 46.313 1.20 1.62299 58.2
4 20.485 0.55 − −
5 21.692 2.20 1.52538 56.3
6* 19.048 2.60 − −
7 30.674 2.75 1.84666 23.8
8 49.739 26.08 - 3.00 − −
9 86.921 3.01 1.51601 49.9
10 -36.585 0.20 − −
11 19.624 3.72 1.48749 70.2
12 -32.878 1.00 1.84333 24.2
13 -176.955 3.36 - 16.26 − −
14 -42.791 2.13 1.84700 24.0
15 -16.494 1.00 1.77249 49.4
16 37.235 15.40 - 2.50 − −
17 268.822 3.03 1.64118 58.9
18 -23.286 0.10 − −
19 59.669 4.46 1.51601 50.6
20 -16.653 1.00 1.75589 28.8
21 -129.497 − − −
*は回転対称非球面
非球面データ(表示していない非球面係数は0.00である。);
面NO κ A4 A6 A8 A10
6 0.00000 -0.32236×10-4 -0.71389×10-7 0.88889×10-10 -0.72416×10-12
FNO. = 1: 3.5 - 5.7
f = 19.10 - 55.16
W = 37.9 - 14.3
fB = 37.71 - 58.13
面NO. r d Nd ν
1 106.359 1.30 1.60311 60.7
2 18.599 5.46 − −
3 46.313 1.20 1.62299 58.2
4 20.485 0.55 − −
5 21.692 2.20 1.52538 56.3
6* 19.048 2.60 − −
7 30.674 2.75 1.84666 23.8
8 49.739 26.08 - 3.00 − −
9 86.921 3.01 1.51601 49.9
10 -36.585 0.20 − −
11 19.624 3.72 1.48749 70.2
12 -32.878 1.00 1.84333 24.2
13 -176.955 3.36 - 16.26 − −
14 -42.791 2.13 1.84700 24.0
15 -16.494 1.00 1.77249 49.4
16 37.235 15.40 - 2.50 − −
17 268.822 3.03 1.64118 58.9
18 -23.286 0.10 − −
19 59.669 4.46 1.51601 50.6
20 -16.653 1.00 1.75589 28.8
21 -129.497 − − −
*は回転対称非球面
非球面データ(表示していない非球面係数は0.00である。);
面NO κ A4 A6 A8 A10
6 0.00000 -0.32236×10-4 -0.71389×10-7 0.88889×10-10 -0.72416×10-12
本実施形態の瞳分割用液晶シャッタDSは、周知の液晶シャッタであり、図1に示されるシャッタと同一の概略構成を有する。すなわち、瞳分割用液晶シャッタDSは、光軸AXを中心に所定の間隔を空けて配置された左右一対のシャッタ(左眼用シャッタS1、右眼用シャッタS2)を有する。左眼用シャッタS1、右眼用シャッタS2は、同一形状・同一サイズを有する。左眼用シャッタS1、右眼用シャッタS2は、CPU12から出力されるドライブ信号により固体撮像素子14のフレームレートに同期して時分割で交互に開閉する。なお、瞳分割用液晶シャッタDSの構成は、図1を援用して図示を省略する。
瞳分割用液晶シャッタDS面上での軸上光束BM’の断面は、図1(a)に示されるように、左眼用シャッタS1と右眼用シャッタS2の両開口を等しく覆う円形状である。そのため、軸上光束BM’は、左眼用シャッタS1と右眼用シャッタS2を通過する光量が等しい。軸上光束BM’の場合、撮像面14a上での輝度が同じである。これに対して軸外光束BMは、図1(b)に示されるように、左眼用シャッタS1と右眼用シャッタS2を通過する光量が相違する。そのため、既述したように、撮像面14a上での輝度が同じにならない。
撮像面14a上の左右の各画像の輝度分布は、図2、図3を援用して示す。撮像面14aは、頂点P1〜P4で規定される矩形状を有する。撮像面14a上の位置は、説明の便宜上、撮像面14aの中心を原点としたXY座標で示す。頂点P1〜P4の座標は、順に、(−7.9mm、−11.85mm)、(−7.9mm、11.85mm)、(7.9mm、−11.85mm)、(7.9mm、11.85mm)である。図2(b)又は図3(b)に示された線分XDは、座標の原点を通るY方向の直線であり、撮像面14aを二等分している。
図2、図3に示されるように、左眼用画像と右眼用画像は、輝度分布が相違する。具体的には、左眼用画像と右眼用画像は、線分XDを基準に互いに反転した輝度分布を持つ。
観察者に立体視を良好に行わせるためには、視差画像間の輝度差を軽減する必要がある。そこで、本実施形態においては、視差画像間の輝度差を軽減するシェーディング補正装置をDSP16に実装している。
観察者に立体視を良好に行わせるためには、視差画像間の輝度差を軽減する必要がある。そこで、本実施形態においては、視差画像間の輝度差を軽減するシェーディング補正装置をDSP16に実装している。
なお、本実施形態の撮影光学系Lにおいては、左右の画像共に、口径食による減光がコサイン4乗則による減光に対して支配的である。そのため、コサイン4乗則による減光の説明は、便宜上省略している。但し、撮影光学系Lの諸元によっては、コサイン4乗則による減光が支配的になるケースも想定される。その場合も、左眼用画像と右眼用画像の輝度分布は同じにならないことを言い添えておく。
DSP16は、補正ゲイン演算係数Fを保持している。DSP16は、次式(1)に示されるように、Y/C分離で生成された左右の各画像の各座標(より正確には画素)の輝度信号Yに補正ゲイン演算係数Fを乗算して輝度信号Oを得る。
補正ゲイン演算係数Fは、次式(2)により定義される。次式(2)中、係数ai、定数項F0の具体的数値例は、表2に示される。左眼用画像の輝度信号Yを補正する際のパラメータはx0=4.2mmである。右眼用画像の輝度信号Yを補正する際のパラメータはx0=−4.2mmである。別の表現によれば、左右の各画像に対するパラメータx0は、線分XDを基準に互いに反転した位置にある。このように、DSP16は、交互に撮影される左右の画像に対して別個のシェーディング補正をかける。なお、DSP16は、CPU12からの信号をモニタリングすることにより、シェーディング補正する信号が左右何れの画像に対応するかを把握している。
図6(a)、(b)は、式(2)を用いて計算された左眼用画像の補正ゲイン演算係数Fの分布を示す図である。図6(a)、(b)はそれぞれ、図2(a)、(b)と同様の図であって、係数分布を三次元的、二次元的に示している。図6(a)、(b)の係数分布と図2(a)、(b)の輝度分布とを乗算した結果、すなわち輝度信号Oの出力値分布は、図7(a)、(b)に示される通りである。図7に示されるように、左眼用画像は、補正ゲイン演算係数Fを用いたシェーディング補正によってほぼ一様な輝度分布を持つこととなる。
DSP16は、次フレームで生成される右眼用画像に対しても式(1)を用いたシェーディング補正を行う。但し、前フレームと同一のシェーディング補正では右眼用画像の輝度分布を一様にすることができない。右眼用画像に対するシェーディング補正の際には、パラメータx0の値を−4.2mmに変更する。右眼用画像の補正ゲイン演算係数Fは、左眼用画像の補正ゲイン演算係数Fに対して線分XDを基準に反転した分布を持つ。右眼用画像に対しても輝度信号Yに補正ゲイン演算係数Fを乗算すると、左眼用画像と同レベルでかつ一様な輝度分布が得られる。すなわち、左眼用画像と右眼用画像が共に同様の輝度分布を持つこととなる。
本実施形態によれば、左眼用シャッタS1、右眼用シャッタS2の各開口を小径化することなく視差画像間の輝度差を軽減することができる。また、視差画像間の輝度差を軽減するに際して撮像光学系Lの有効光束径を大きくする必要もない。
このように、本出願人は、全てのフレームに対して同一のシェーディング補正を施すという本発明に係る技術分野の技術常識に囚われることなく、左右の各画像に対して異なるシェーディング補正を施すという具体的手段を発明した。これにより、左右の視差画像を撮影する立体画像撮影装置において立体視を行うのに適した視差画像を得るという技術的課題を解決している。
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば各画素のシェーディング補正値は、関数を用いて画素ごとに計算してもよく、又は、画素ごとに予め計算されたものであってもよい。
シェーディング補正値は、撮影光学系の種類(光学設計、鏡枠設計、厳密には組立て誤差も考慮する)によって異なる。また、単一種類の撮影光学系においてもFナンバー(口径可変絞りの開閉度)、フォーカス位置、左右シャッタの開口パターン(位置、大きさ、形状)等に応じて異なる。ズームレンズの場合は、ズーム位置(焦点距離)によっても変化する。そのため、DSP16は、例えば交換レンズ(撮影光学系)ごと、ズーム位置ごと等に対応する補正ゲイン演算係数Fを保持した構成としてもよい。DSP16は、撮影レンズ50側から出力される製品IDやズーム位置情報等に基づき、対応する補正ゲイン演算係数Fを選択してシェーディング補正を行う。
シェーディング補正装置は、カメラ本体部10側でなく撮影レンズ50側に実装されてもよい。又は、ハードウェア資源との協働によってシェーディング補正装置と同一の処理を実行するソフトウェアとして提供されてもよい。このソフトウェアは、例えばPC端末等にインストールされる。ユーザは、左眼用画像と右眼用画像とが交互に記録されたメモリカード内の動画(又は左右一枚ずつの静止画)に対して当該ソフトウェアによるシェーディング補正を行うことにより、輝度差が軽減された視差画像を作成することができる。
シェーディング補正は、本実施形態の補正ゲイン演算係数Fを用いた処理に限定されず、種々の形態が想定される。例えば補正ゲイン演算係数Fの代替として、2次元多項式を用いて近似的に計算される演算係数を使用してシェーディング補正を行う変形例が考えられる。
本実施形態ではパラメータx0以外は左右で共通の計算式を用いているが、別の実施形態では、視差画像間の輝度差をより一層軽減するため、左右の画像に対して全く別の計算式を用いてもよい。
本実施形態では全画素に対して共通の関数を用いているが、別の実施形態では、視差画像間の輝度差をより一層軽減するため、複数に分割された撮像面14a上の領域ごとに別個の関数を用いてもよい。
本実施形態では単一の撮影光学系と液晶シャッタを用いて左右の視差画像を交互に撮影する方式を採用しているが、別の実施形態では、単一の撮影光学系と瞳分割用ミラーと例えば左右一対の個体撮像素子を用いて左右の視差画像を同時に撮影する特許文献3に記載の方式を採用してもよい。
1 撮影装置
10 カメラ本体部
12 CPU
14 固体撮像素子
16 DSP
DS 瞳分割用液晶シャッタ
L 撮影光学系
10 カメラ本体部
12 CPU
14 固体撮像素子
16 DSP
DS 瞳分割用液晶シャッタ
L 撮影光学系
Claims (10)
- 単一の撮影光学系を用いて撮影された左右の視差画像に対して、該左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることを特徴とするシェーディング補正装置。
- 前記視差画像を構成する各画素の出力値に前記左右の視差画像でそれぞれ異なる分布の所定の補正係数をかけることを特徴とする、請求項1に記載のシェーディング補正装置。
- 各前記画素に対応する前記補正係数を前記視差画像の画素配置に対応して配列したときの、前記左右の視差画像に対応する2つの補正係数分布は、各該視差画像を左右に二等分する線分を基準に互いに反転した分布であることを特徴とする、請求項2に記載のシェーディング補正装置。
- 各種前記撮影光学系又は該撮影光学系の各ズーム位置に対応する前記補正係数を保持する係数保持手段と、
前記撮影光学系又は前記ズーム位置を認識する認識手段と、
前記認識結果に対応する前記補正係数を前記係数保持手段から選択する係数選択手段と、
を有し、
前記選択された補正係数を用いて前記シェーディング補正をかけることを特徴とする、請求項2又は請求項3に記載のシェーディング補正装置。 - 単一の撮影光学系を用いて撮影された左右の視差画像に対して、該左右の視差画像間の輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけることを特徴とするシェーディング補正方法。
- 前記視差画像を構成する各画素の出力値に前記左右の視差画像でそれぞれ異なる分布の所定の補正係数をかけることを特徴とする、請求項5に記載のシェーディング補正方法。
- 各前記画素に対応する前記補正係数を前記視差画像の画素配置に対応して配列したときの、前記左右の視差画像に対応する2つの補正係数分布は、各該視差画像を左右に二等分する線分を基準に互いに反転した分布であることを特徴とする、請求項6に記載のシェーディング補正方法。
- 各種前記撮影光学系又は該撮影光学系の各ズーム位置を認識する認識ステップと、
所定の保持手段に保持された前記各種撮影光学系又は前記各ズーム位置に対応する前記補正係数の中から、前記認識結果に対応する前記補正係数を前記係数保持手段から選択する係数選択ステップと、
前記選択された補正係数を用いて前記シェーディング補正をかける補正ステップと、
を有することを特徴とする、請求項6又は請求項7に記載のシェーディング補正方法。 - 請求項5から請求項8の何れか一項に記載のシェーディング補正方法をコンピュータに実行させるためのシェーディング補正プログラム。
- 撮影光学系と、
前記撮影光学系内に光軸を挟んで所定の間隔を空けて配置された左右一対のシャッタと、
前記左右一対のシャッタをそれぞれ所定のレートで開閉する開閉駆動手段と、
前記レートと同期して駆動し、各前記シャッタを通過した被写体像が結像する撮像素子と、
各前記シャッタを介して撮影された画像に対して輝度差が軽減するようにそれぞれ異なるシェーディング補正をかけるシェーディング補正手段と、
を有することを特徴とする撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011097221A JP2012075079A (ja) | 2010-08-30 | 2011-04-25 | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010191699 | 2010-08-30 | ||
JP2010191699 | 2010-08-30 | ||
JP2011097221A JP2012075079A (ja) | 2010-08-30 | 2011-04-25 | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012075079A true JP2012075079A (ja) | 2012-04-12 |
Family
ID=45696709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011097221A Withdrawn JP2012075079A (ja) | 2010-08-30 | 2011-04-25 | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120050497A1 (ja) |
JP (1) | JP2012075079A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9432570B2 (en) | 2013-01-04 | 2016-08-30 | Fujifilm Corporation | Image processing device, imaging device, image processing method and computer readable medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9432647B2 (en) * | 2013-09-09 | 2016-08-30 | Apple Inc. | Adaptive auto exposure and dynamic range compensation |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0829725A (ja) * | 1994-05-10 | 1996-02-02 | Canon Inc | 複眼式画像表示装置 |
-
2011
- 2011-04-25 JP JP2011097221A patent/JP2012075079A/ja not_active Withdrawn
- 2011-08-29 US US13/220,007 patent/US20120050497A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9432570B2 (en) | 2013-01-04 | 2016-08-30 | Fujifilm Corporation | Image processing device, imaging device, image processing method and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
US20120050497A1 (en) | 2012-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI594011B (zh) | 取像光學鏡片系統、取像裝置及電子裝置 | |
JP5789793B2 (ja) | 3次元撮像装置、レンズ制御装置、およびプログラム | |
JP5745183B2 (ja) | 撮像装置及び撮像方法 | |
JP6031545B2 (ja) | 撮像装置及び撮影支援方法 | |
JP2009054130A (ja) | 画像処理装置、画像処理方法およびデジタルスチルカメラ | |
JP2012113281A (ja) | 立体撮像光学系、撮像装置及びカメラ | |
JP2010021753A (ja) | 画像処理装置、画像処理方法およびデジタルスチルカメラ | |
JP2007214964A (ja) | 映像表示装置 | |
US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
WO2013146066A1 (ja) | 画像処理装置及び方法並びに撮像装置 | |
US9635242B2 (en) | Imaging apparatus | |
JP2017134399A (ja) | 眼幅の調整を必要としないメガネなし3dディスプレイ装置 | |
US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
JP2012075079A (ja) | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 | |
JP2002218506A (ja) | 撮像装置 | |
JP2013085239A (ja) | 撮像装置 | |
JP4588439B2 (ja) | 立体視画像撮影装置および方法 | |
JP2003134534A (ja) | 撮像装置 | |
JP6147081B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP5872874B2 (ja) | 撮影機器および撮影機器の制御方法 | |
WO2012001958A1 (ja) | 画像処理装置および方法並びにプログラム | |
JP2013109079A (ja) | 複眼撮像装置、複眼撮像装置の焦点合わせ方法、および電子情報機器 | |
JP2012054919A (ja) | 撮像装置 | |
JP6086666B2 (ja) | 撮像装置 | |
JP2016178632A (ja) | 撮像装置、画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130510 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |