JP2007181193A - 撮像装置およびその方法 - Google Patents
撮像装置およびその方法 Download PDFInfo
- Publication number
- JP2007181193A JP2007181193A JP2006321756A JP2006321756A JP2007181193A JP 2007181193 A JP2007181193 A JP 2007181193A JP 2006321756 A JP2006321756 A JP 2006321756A JP 2006321756 A JP2006321756 A JP 2006321756A JP 2007181193 A JP2007181193 A JP 2007181193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- optical system
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 209
- 230000003287 optical effect Effects 0.000 claims abstract description 191
- 230000008569 process Effects 0.000 claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 claims description 100
- 238000004364 calculation method Methods 0.000 claims description 76
- 230000004075 alteration Effects 0.000 claims description 32
- 239000006185 dispersion Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 39
- 238000012937 correction Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 23
- 238000012806 monitoring device Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 230000009467 reduction Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P20/00—Technologies relating to chemical industry
- Y02P20/50—Improvements relating to the production of bulk chemicals
- Y02P20/52—Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】スルー画の時は画像処理装置150のボケ復元処理を切替部140でパスしてカメラ信号処理部160のカメラ信号処理を行い、キャプチャ時のみ画像処理装置150でボケ復元処理を行った後、カメラ信号処理部160でカメラ信号処理を行って画像を表示する。
【選択図】図1
Description
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
図36(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
したがって、単焦点でのレンズではともかく、ズーム系やAF系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド(Wide)時やテレ(Tele)時のスポット(SPOT)像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
本実施形態の光学系110は、後述するように、光波面変調素子を含み、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。
この焦点のボケ量は画像モニタリング装置180の分解能を上限として設定されている。
また、光学系110は、可変絞り110aが配置されている。この可変絞り110aは、たとえばスルー画表示の際に絞るように制御される。より具体的には、露出制御装置200の制御の下、スルー画表示の際に、光学系110に含まれる光波面変調素子の変調面の変調作用の影響を排除し得る部分まで絞るようにされる。
なお、本実施形態では、可変絞り110aを光学系110内に配置したが、光学系110の被写体側の近傍に配置しても良い。
図1においては、撮像素子120を一例としてCCDとして記載している。
タイミングジェネレータ131では、撮像素子120のCCDの駆動タイミングを生成しており、A/Dコンバータ132は、CCDから入力されるアナログ信号をデジタル信号に変換し、切替部140に出力する。
切替部140において、固定接点aがAFE130のA/Dコンバータ132の出力ラインに接続され、作動接点bが画像処理装置150の入力ラインに接続され、作動接点cがカメラ信号処理部160の信号入力ラインに接続されている。
切替部140は、たとえばスルー画を画像モニタリング装置180に表示しているときは、スルー画中として固定接点aが作動接点cに接続するように制御される。一方、画像をキャプチャしてメモリ170に画像を記録するときは、固定接点aが作動接点bに接続されるように制御される。
画像処理装置150、露出制御装置200の露出情報に応じて、光学的伝達関数(OTF)に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置150は、撮像素子120からの画像の焦点のボケを補正して復元した画像信号を生成する。より具体的には、画像処理装置150は、撮像素子120からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像処理装置150は、最初のステップ(処理)でノイズ低減フィルタリングを施す機能を有する。
画像処理装置150の処理については後でさらに詳述する。
画像モニタリング装置180の分解能は、たとえば画像モニタリング装置180の画素ピッチの2倍以下に設定されている。
操作部190は、たとえばユーザによりシャッタボタンあるいはレリーズボタンが操作されると、所望のスルー画部分をキャプチャし、メモリ170に記録することを指示するトリガ信号を生成し露出制御装置200に出力するトリガ信号生成機能を有する。
露出制御装置200は、スルー画中は、切替制御信号CTLにより切替部140の固定接点aと作動接点cとを接続させて、復元処理がされていない撮像素子120の撮像画像信号をカメラ信号処理部160の直接入力させる。
一方、露出制御装置200は、操作部190によりトリガ信号を受けると、画像をキャプチャしてメモリ170に画像を記録するモードであると判断し、切替制御信号SCTLにより切替部140の固定接点aと作動接点bとを接続させて、復元処理を施すべく画像処理装置150に入力させる。
すなわち、露出制御装置200は、トリガ信号を受けてキャプチャした画像に対しては、画像処理装置150で復元処理した後、カメラ信号処理部160で所定の画像処理を施した後の画像を画像モニタリング装置180に表示させる。
また、露出制御装置200は、たとえばカメラ信号処理部160を通して、画像モニタリング装置180にスルー画を表示中は画像モニタリング装置180の分解能で必要十分な分可能をもった画像を撮像素子120から出力させるようにタイミングジェネレータ131に指示を出す。
このように、露出制御装置200が、スルー画表示の際には、制御信号S200により絞り110aを絞るように制御することにより、スルー画表示時に位相面の影響を受けないため、ある程度はボケないような画像を表示できるようになる。
なお、絞り110aを絞ると画面表示が暗くなるが、画像モニタリング装置180の画面表示用の信号のゲインを上げることで、明るさの問題は解消することが可能である。
図2は、一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
また、図3は、本実施形態の光学系の結像付近の光学特性を示す図である。
これに対し、本実施形態の光学系110は、図3に示すように、一般的な結像系光学系と異なり、ベストフォーカスの位置で光線が集中しないため、ベストフォーカス位置であってもボケている。しかしながら、本実施形態の光学系110は、このベストフォーカス近傍では、デフォーカス量に対してボケの形(PSF)の変化が鈍感になるように設計されている。
したがって、ベストフォーカス位置のPSFに応じたボケ復元処理を行えば、ベストフォーカス点はもちろんその前後もボケを除去し鮮明な画像を得ることができる。
これが本実施形態で採用している深度拡大の原理である。
図4は、一般的な光学系のベストフォーカス(BestForcus)位置でのMTF(Modulation Transfer Function:振幅伝達関数)特性図である。
図5は、本実施形態の光学系のMTF特性を示す図である。
ボケ画像を発生させるPSFの周波数特性がMTFであるので、これから所望のSFR特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。
また、Aは元画像、Bはフィルタリングされた画像(ボケ復元画像)を示している。
この式から分かる通り、fを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
図6(A)の復元フィルタ(既に180度回転済み)を図6(B)に示すボケ画像のA(i,j)上にフィルタの中心f(0,0)を重ね、各タップ同士の積をとりこの9個の総和値を図6(C)に示すボケ復元画像のB(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなB画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。
しかしながら、このコンボリューション演算を、たとえば30fpsなどの高いレートを維持したままリアルタイムで処理しようとすれば、フィルタサイズに応じたラインバッファや非常にたくさんの乗算器が必要となり、高コストで大きな消費電力が発生しあまり現実的でない。
そこで、本実施形態においては、スルー画中など必要でない期間はコンボリューション演算を実行せず、キャプチャ実行のトリガが入力された時のみコンボリューション演算を施すようにしている。
そして、スルー画中は、撮像素子120による画像信号は、切替部140により画像処理装置150のボケ画像復元処理をパスしてカメラ信号処理部160に送られる。
カメラ信号処理部160においては、たとえばBayerカラーの場合、デモザイク処理、ホワイトバランス処理、ガンマ変換、YUV変換等を行いモニタにリアルタイムで画像を出力する。
次に、たとえば操作部190のレリーズボタン等が操作されてトリガ信号が露出制御装置200に入力されると、撮像素子120、AFE130からのデジタルデータを切替部140により画像処理装置150に入力して前述のボケ画像復元処理にかけてその出力をカメラ信号処理部160でカメラ信号処理を施す。カメラ信号処理が施されたが像は、メモリ170に記録されたり、画像モニタリング装置180に表示されたりする。
ここで拡大ボタンが押下されればキャプチャ画を拡大してモニタに映し出したり、その状態で移動キーの操作によって拡大部分の位置を変えることもできる。
図7(A)〜(D)に示すように、画素の配列には、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタリング配列といった複数の手法があるが、いずれの手法も最低でも正方が画素の2×2のサイズを最小ユニットとして構成されている。
よって、モニタ表示画像の分解能としては画素ピッチの2倍以下であれば実質的に問題のないレベルであるといえる。
また、図9は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図10は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図11は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
たとえば、本実施形態においては、可変絞りが設けられ、露出制御(装置)において可変絞りの絞り度(開口度)を制御する。
図で示された位相板113aは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子120上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板113aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分散した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical system)といい、この処理を画像処理装置150において行う。
図12に示すように、被写体の画像fがDEOS光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表される。
g=H*f
ただし、*はコンボリューションを表す。
f=H-1*g
ズームポジションをZPn,ZPn−1・・・とする。また、それぞれのH関数をHn,Hn−1、・・・・とする。
各々のスポット像が異なるため、各々のH関数は、次のようになる。
ここで、各々のH関数はメモリに格納しておいても構わないし、PSFを物体距離の関数としておき、物体距離によって計算し、H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、H関数を物体距離の関数として、物体距離によってH関数を直接求めても構わない。
図14は、前記波面収差の形状と0.5λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
なお、露出情報には、絞り情報が含まれる。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板113aが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
まず、露出情報(RP)が検出されコンボリューション制御部154に供給される(ST101)。
コンボリューション制御部154においては、露出情報RPから、カーネルサイズ、数値演算係数がレジスタにセットされる(ST102)。
そして、撮像素子120で撮像され、AFE130を介して二次元コンボリューション演算部152に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部160に転送される(ST103)。
図18の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
図19の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ST1を予め用意した場合のブロック図である。
2次元コンボリューション演算部152においては、前記ノイズ低減フィルタST1を施した後、カラーコンバージョン処理ST2によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST3を施す。
再度ノイズ処理ST4を行い、カラーコンバージョン処理ST5によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ST4は省略することも可能である。
図20の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
2次元コンボリューション演算部152は、ノイズ低減処理ST11、カラーコンバージョン処理ST12の後に、前記OTF復元フィルタを用いてコンボリューション処理ST13を施す。
再度ノイズ処理ST14を行い、カラーコンバージョン処理ST15によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ST11、ST14は、いずれか一方のみでもよい。
図21の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ST24は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部154を通じてカーネルデータを選択制御する。
2次元コンボリューション演算部152においては、ノイズ低減フィルタ処理ST21を施した後、カラーコンバージョン処理ST22によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST23を施す。
再度、露出情報に応じたノイズ処理ST24を行い、カラーコンバージョン処理ST25によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ST21は省略することも可能である。
図22は、撮像素子120からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置300の構成例を示している。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置400により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
この構成の他にも、以下の構成を採用することが可能である。
そして、変換手段としてのコンボリューション装置301が、係数選択手段としての画像処理演算プロセッサ303で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置301が、変換係数演算手段としての画像処理演算プロセッサ303で得られレジスタ302に格納された変換係数によって、画像信号の変換を行う。
第2変換係数記憶手段としても機能するレジスタ302に、位相板113aに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ303が、補正値記憶手段としてのレジスタ302から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置301が、第2変換係数記憶手段としてのレジスタ302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ303により選択された補正値とに基づいて画像信号の変換を行う。
図23は、撮像素子120からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置300Aの構成例を示している。
そこで、本実施形態においては、ズーム情報検出装置500を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
この構成の他にも、以下の構成を採用することが可能である。
そして、変換手段としてのコンボリューション装置301が、係数選択手段としての画像処理演算プロセッサ303で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置301が、変換係数演算手段としての画像処理演算プロセッサ303で得られレジスタ302に格納された変換係数によって、画像信号の変換を行う。
第2変換係数記憶手段としても機能するレジスタ302に、位相板113aに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置500により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ303が、補正値記憶手段としてのレジスタ302からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置301が、第2変換係数記憶手段としてのレジスタ302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ303により選択された補正値とに基づいて画像信号の変換を行う。
この例では、物体距離情報とズーム情報で2次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
図25は、撮像素子120からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置300Bの構成例を示している。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置600により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
画像処理演算プロセッサ303が、撮影モード設定部700の操作スイッチ701により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置600により生成された情報に基づき、変換係数記憶手段としてのレジスタ302から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ303が変換係数抽出手段として機能する。
そして、変換手段としてのコンボリューション装置301が、レジスタ302に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
また、図15および図16のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。
図23のように3次元、さらには4次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報、撮像モード情報等であればよい。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
以下、この特徴について説明する。
図26(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図26(B)が合焦点の場合(Best focus)、図26(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示している。
図26(A)〜(C)からもわかるように、本実施形態に係る撮像装置100においては、位相板113aを含む波面形成用光学素子群113によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置150の補正処理に任せるため、図27(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
図28中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
たとえば、図28のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図29に示すようになる。
本実施形態では、撮像素子120による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置150で行う。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系110を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図26(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置150でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
図31は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図32は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
構図を決めるスルー画中は高いフレームレートを維持しつつ、キャプチャ時はボケ復元処理にある程度の時間をかけられるので、高価なハードウェアの必要がない。またキャプチャ画を拡大や拡大場所移動の操作を行ってもキャプチャ画についてはフル画像をボケ復元しているので、きめ細かく細部に渡って確認することができ、操作と見栄えに不自然さは発生しない。
また、トリガ信号を受けてキャプチャした画像に対してはボケ復元処理を行う画像処理装置150の中で前記PSFに応じたボケ復元処理の終了後カメラ処理を行った後にモニタに画像を出力するようにしたので、ボケ復元処理にある程度時間がかかってもユーザは画像が自動的に現れるので待てばよく、操作しても画が出ないと不満を解消できる。
また、スルー画中はモニタで必要な画像サイズレベルの小さい画像を撮像素子120から出力するようにしたので、スルー画中は高いフレームレートを実現でき、リソースに余裕が生まれるので消費電力を低減できる。
また、スルー画表示の際には、絞り110aを絞るように制御することにより、スルー画表示時に光波面変調素子の変調面の変調作用の影響を受けないため、ある程度はボケないような画像を表示できるようになる。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部190等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのDEOSに使用することが可能である。
また、光学系110の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
また、図15および図16のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。
各光学系110−1,110−2は、光学倍率が異なり、撮像対象物体(被写体)OBJの映像を光学的に取り込む。
まず、光学系を確認し(ST111)、カーネルデータをセットする(ST112)。
そして、操作部190の操作により光学系の切り替え指示がなされると(ST113)、光学系切替制御部201により光学ユニット110Aの光学系の出力を切り替え、ステップST111の処理を行う(ST114)。
すなわち、図33の撮像装置においては、1次画像を形成する倍率の異なる複数の光学系110−1,2を含む光学ユニット110Aおよび撮像素子120と、1次画像を高精細な最終画像に形成する画像処理装置150とを含み、画像処理装置150において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部190等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置100Aは、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのDEOSに使用することが可能である。
Claims (14)
- 合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成された光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記撮像素子からの画像の焦点のボケを補正して復元した画像信号を生成する変換手段と、
画像信号に所定の画像処理を行う信号処理手段と、
前記撮像素子による画像信号または前記変換手段による画像信号を選択的に前記信号処理手段に入力する切替手段と、
前記信号処理手段の処理画像を記録する記録手段と、
画像記録を指示するトリガ信号を生成するトリガ信号生成手段と、
前記信号処理手段の処理画像を表示する画像モニタ手段と、
スルー画中は前記切替手段を通して前記撮像素子による画像信号を前記信号処理手段に入力させ、前記トリガ信号生成手段によるトリガ信号を受けると前記変換手段による画像信号を前記信号処理手段に入力させる制御手段と
を有する撮像装置。 - 前記焦点のボケ量は前記画像モニタ手段の分解能を上限として設定されている
請求項1記載の撮像装置。 - 前記画像モニタ手段の分解能は、当該画像モニタ手段の画素ピッチの2倍以下に設定されている
請求項1または2記載の撮像装置。 - 前記制御手段は、前記トリガ信号を受けてキャプチャした画像に対しては、前記変換手段で復元した後、前記信号処理手段で処理した後の画像を前記画像モニタ手段に表示させる
請求項1から3のいずれか一に記載の撮像装置。 - 前記制御手段は、前記スルー画表示中は前記画像モニタ手段の分解能で必要十分な分解能をもった画像を前記撮像素子から出力させる
請求項1から4のいずれか一に記載の撮像装置。 - 前記光学系またはその近傍に絞りを有し、
前記制御手段は、スルー画表示の際に前記絞りを絞るように制御する
請求項1から5のいずれか一に記載の撮像装置。 - 前記光学系に光波面変調素子を含み、
前記制御手段は、光波面変調素子の変調面の影響を排除し得る部分まで前記絞りを絞るように制御する
請求項6記載の撮像装置。 - 前記光学系は、光波面変調素子およびズーム光学系を含み、
前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段を有し、
前記変換手段は、前記ズーム情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する
請求項1から7のいずれか一に記載の撮像装置。 - 被写体までの距離に相当する情報を生成する被写体距離情報生成手段を有し、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する
請求項1から7のいずれか一に記載の撮像装置。 - 被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を有し、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項1から7のいずれか一に記載の撮像装置。 - 撮影する被写体の撮影モードを設定する撮影モード設定手段を有し、
前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う
請求項1から10のいずれか一に記載の撮像装置。 - 前記撮像装置は、複数のレンズを交換可能であって、
前記撮像素子は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、
前記一のレンズに応じた変換係数を取得する変換係数取得手段を有し、
前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う
請求項1から11のいずれか一に記載の撮像装置。 - 露出制御を行う露出制御手段を有し、
前記信号処理手段は、前記露出制御手段からの露出情報に応じて光学的伝達関数(OTF)に対してフィルタ処理を行う
請求項1から12のいずれか一に記載の撮像装置。 - 合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成された光学系を通過した被写体像を撮像素子により撮像し、
スルー画中は、前記撮像素子による画像信号に対して所定の画像処理を行い、
画像記録を指示するトリガ信号を受けると、前記撮像素子からの画像の焦点のボケを補正して復元し、復元した画像信号に対して前記所定の画像処理を行う
撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006321756A JP4916853B2 (ja) | 2005-11-29 | 2006-11-29 | 撮像装置およびその方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344305 | 2005-11-29 | ||
JP2005344305 | 2005-11-29 | ||
JP2006321756A JP4916853B2 (ja) | 2005-11-29 | 2006-11-29 | 撮像装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007181193A true JP2007181193A (ja) | 2007-07-12 |
JP4916853B2 JP4916853B2 (ja) | 2012-04-18 |
Family
ID=38305810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006321756A Expired - Fee Related JP4916853B2 (ja) | 2005-11-29 | 2006-11-29 | 撮像装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4916853B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012065187A (ja) * | 2010-09-16 | 2012-03-29 | Fujifilm Corp | 撮像装置及び復元ゲインデータ生成方法 |
WO2015015966A1 (ja) * | 2013-08-01 | 2015-02-05 | 富士フイルム株式会社 | 撮像装置、撮像方法及び画像処理装置 |
KR101534588B1 (ko) * | 2007-11-09 | 2015-07-07 | 가부시키가이샤 재팬 디스프레이 | 표시 촬상장치, 및 물체의 검출 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07193766A (ja) * | 1993-12-27 | 1995-07-28 | Toshiba Corp | 画像情報処理装置 |
JP2000005127A (ja) * | 1998-01-23 | 2000-01-11 | Olympus Optical Co Ltd | 内視鏡システム |
JP2002171442A (ja) * | 2000-12-04 | 2002-06-14 | Olympus Optical Co Ltd | 電子カメラおよび光量制御方法 |
JP2002199410A (ja) * | 2000-12-25 | 2002-07-12 | Canon Inc | 撮像装置、画像劣化補正処理方法及び記憶媒体 |
JP2003235794A (ja) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
JP2004007304A (ja) * | 2002-06-03 | 2004-01-08 | Fuji Photo Film Co Ltd | デジタル撮影装置 |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
-
2006
- 2006-11-29 JP JP2006321756A patent/JP4916853B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07193766A (ja) * | 1993-12-27 | 1995-07-28 | Toshiba Corp | 画像情報処理装置 |
JP2000005127A (ja) * | 1998-01-23 | 2000-01-11 | Olympus Optical Co Ltd | 内視鏡システム |
JP2002171442A (ja) * | 2000-12-04 | 2002-06-14 | Olympus Optical Co Ltd | 電子カメラおよび光量制御方法 |
JP2002199410A (ja) * | 2000-12-25 | 2002-07-12 | Canon Inc | 撮像装置、画像劣化補正処理方法及び記憶媒体 |
JP2003235794A (ja) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
JP2004007304A (ja) * | 2002-06-03 | 2004-01-08 | Fuji Photo Film Co Ltd | デジタル撮影装置 |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101534588B1 (ko) * | 2007-11-09 | 2015-07-07 | 가부시키가이샤 재팬 디스프레이 | 표시 촬상장치, 및 물체의 검출 방법 |
JP2012065187A (ja) * | 2010-09-16 | 2012-03-29 | Fujifilm Corp | 撮像装置及び復元ゲインデータ生成方法 |
WO2015015966A1 (ja) * | 2013-08-01 | 2015-02-05 | 富士フイルム株式会社 | 撮像装置、撮像方法及び画像処理装置 |
JP5944055B2 (ja) * | 2013-08-01 | 2016-07-05 | 富士フイルム株式会社 | 撮像装置、撮像方法及び画像処理装置 |
JPWO2015015966A1 (ja) * | 2013-08-01 | 2017-03-02 | 富士フイルム株式会社 | 撮像装置、撮像方法及び画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4916853B2 (ja) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4916862B2 (ja) | 撮像装置およびその方法 | |
JP4712631B2 (ja) | 撮像装置 | |
US8350948B2 (en) | Image device which bypasses blurring restoration during a through image | |
JP4663737B2 (ja) | 撮像装置およびその画像処理方法 | |
JP4749959B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP4818957B2 (ja) | 撮像装置およびその方法 | |
JP2008268937A (ja) | 撮像装置および撮像方法 | |
JP2008085387A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP2007322560A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
JP2007300208A (ja) | 撮像装置 | |
JP4693720B2 (ja) | 撮像装置 | |
JP2007206738A (ja) | 撮像装置およびその方法 | |
WO2007046205A1 (ja) | 撮像装置および画像処理方法 | |
JP2008033060A (ja) | 撮像装置および撮像方法、並びに画像処理装置 | |
JP4364847B2 (ja) | 撮像装置および画像変換方法 | |
JP2008245266A (ja) | 撮像装置および撮像方法 | |
JP2009086017A (ja) | 撮像装置および撮像方法 | |
JP4812541B2 (ja) | 撮像装置 | |
JP4916853B2 (ja) | 撮像装置およびその方法 | |
JP4813147B2 (ja) | 撮像装置および撮像方法 | |
JP4818956B2 (ja) | 撮像装置およびその方法 | |
JP2008011491A (ja) | カメラシステム、監視カメラ、および撮像方法 | |
JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP2009033607A (ja) | 撮像装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4916853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |