JP2002094999A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JP2002094999A JP2002094999A JP2000282434A JP2000282434A JP2002094999A JP 2002094999 A JP2002094999 A JP 2002094999A JP 2000282434 A JP2000282434 A JP 2000282434A JP 2000282434 A JP2000282434 A JP 2000282434A JP 2002094999 A JP2002094999 A JP 2002094999A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- imaging
- color
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims description 99
- 238000007906 compression Methods 0.000 claims description 49
- 230000006835 compression Effects 0.000 claims description 49
- 239000004973 liquid crystal related substance Substances 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 230000005684 electric field Effects 0.000 claims description 14
- 230000006837 decompression Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 82
- 238000010586 diagram Methods 0.000 description 56
- 238000000034 method Methods 0.000 description 41
- 230000000694 effects Effects 0.000 description 22
- 230000010287 polarization Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000013139 quantization Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 1
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- -1 ST21 Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005685 electric field effect Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000005355 lead glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Liquid Crystal (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
材103を2つのモータにより機械的に駆動制御する必
要がある。そのため精度の高い画素ずらし量を実現する
ことが困難である課題があった。 【解決手段】 変位前後の撮像素子の撮像画像を構成す
る撮像色信号のうち、参照色である撮像色信号が形成す
る三角形と補間色である非撮像色信号が形成する三角形
の相似比を考慮して色補間を実施し、変位前後の撮像素
子の撮像画像を合成する。
Description
像を実現することができる撮像装置に関するものであ
る。
装置においては、画像と撮像素子との相対位置を微小に
変化させ、変化前後の画像を入力して各画像を合成し、
見かけ上の画素数を増加させて解像度を上昇させるもの
が知られている。このような方法による解像度の向上に
当たっては、特開平7−236086号公報に記載され
ているように、撮影光学系と二次元撮像素子との間に透
明平板部材を平行に配置し、その透明平板部材上に配置
される直線上にない3点の傾斜手段の1点を支持部と
し、他の2点を透明平板部材を作動させる作動部として
用い、撮影光学系からの入射光を変位させることで撮像
素子上の画像を微小変位させるものである。
公報に示された従来の撮像装置を示すブロック図であ
り、図45は撮像装置の機構を示す斜視図である。図4
4及び図45において、1は画像を結像させる撮像レン
ズ、2は画像を光電変換するため二次元に配列されたC
CD等の撮像素子、103は撮像レンズ1と撮像素子2
の間にほぼ平行に配置され、撮像レンズ1から撮像素子
2への入射光の入射角度に微小変位をもたらす透明平板
部材、104は撮像レンズ1及び透明平板部材103を
支持するベースユニットである。
部材103をベースユニット104に固定すると共に、
2点を選択的に作動させて透明平板部材103を傾斜さ
せる圧縮ばね、106a,106b,106cは対応す
る圧縮ばね105a,105b,105cを各々押さえ
るばね押さえ板、107aは透明平板部材103と圧縮
ばね105aを貫通するねじと共に設けられ、駆動によ
り透明平板部材103の近傍部位を光軸方向に変位させ
て透明平板部材103に傾斜をもたらすモータである。
なお、図45には明示されていないが、モータ107a
と同様のモータが透明平板部材103と圧縮ばね105
bを貫通するねじと共に設けられている。
材103、圧縮ばね105a及びばね押さえ板106a
を含む作動部、108bは透明平板部材103、圧縮ば
ね105b及びばね押さえ板106bを含む作動部、1
09は透明平板部材103、圧縮ばね105c及びばね
押さえ板106cを含む支持部であり、支持部109は
作動部108a,108bの作動時に透明平板部材10
3を支持する。これらは図示しない匡体に一体的に固定
されると共に、図44に示すように後段には光電変換さ
れた画像信号を処理するための所定の画像処理回路,画
像合成メモリ110及び画像メモリ7等が接続されてい
る。
作動部108a,108bのいずれも作動させない状態
で撮像を行い、後段の画像メモリ7に画像を記憶する。
次に、2つの作動部108a,108bのうち、ひとつ
の作動部108aを作動させることにより、他の作動部
108bと支持部109を結ぶ線を回転軸として透明平
板部材103を回転させる。これにより、透明平板部材
103を透過した画像は、透明平板部材103の傾斜に
よって移動されて撮像素子2上に結像され、画像メモリ
7にわずかにずれた画像を記憶する。
れば同一方向に順次画像が移動し、順次画像が撮像素子
2に結像され記憶される。また、作動部108bを駆動
させると、作動部108aと支持部109を結ぶ線を回
転軸として透明平板部材103が傾斜し、前述とは異な
る方向に画像の移動が行われる。これら2方向の移動を
適宜組み合わせることにより、任意の位置への2次元の
画素ずらしを実施する。その後、画像メモリ7に蓄積さ
れた複数の撮影画像を画素ずらしの実施方向を考慮して
各対応画素毎に内挿することで、光学的に画素数を増加
させた画像が画像合成メモリ110に得られる。
画像から高精細画像を生成するための信号処理方式につ
いて説明する。図2に示す信号配列は単板撮像装置にお
いて最もよく使われているBayer型配列をした撮像
素子であり、図中のR信号,G信号またはB信号は撮像
素子の配置上その画素位置にてサンプリングされる色信
号である。図12は図2に示す撮像素子を斜め1/2画
素右下にずらして撮像した画像の色信号と先の色信号と
を重ねて表示した説明図である。図において、R1,G
1,B1が1枚目の撮影画像の色信号であり、R2,G
2,B3は画素ずらしを行なわれた2枚目の撮影画像か
ら得られた色信号である。
生成する場合、図2と比較して水平垂直とも2倍になっ
ているため4倍の画素数のフルカラー信号を生成する必
要があり、図中撮像画素における非撮影色信号を周辺画
素信号から生成するとともに、空白画素の全色信号を同
様に内挿する必要がある。
示す位置にだけ撮像によって得られたG信号(G1,G
2)が存在する。従来の技術では、前後左右の信号の平
均値からG1’,G2’を補間し、次に図47に示すよ
うに補間して得られたG信号から更に内挿することによ
り、全画素分のG信号を得ることができる。
ように左右のB1信号からB1’信号を内挿し、さらに
補間したB1’信号からB1”信号を内挿する。B2信
号についても同様である。次に図49に示すように補間
したB1’,B1”,B2’,B2”から残りの画素の
内挿を行う。R信号においてもB信号と同様の方法にて
全画素分の信号を補間することができる。上記の方法に
よって全画素における画素分だけのR,G,B信号を得
ることができる。
のように構成されているので、光路を二次元的に変更す
るために透明平板部材103を2つのモータにより機械
的に駆動制御する必要がある。そのため精度の高い画素
ずらし量を実現することが困難である課題があった。特
に、近年の固体撮像素子の画素ピッチは、数ミクロンも
のが主流となっており、機械的にその数分の一の精度を
得る為には、複雑な制御系が必要となる。また、機械的
な振動を用いて制御するため、振動や繰り返し寿命など
を十分に考慮した設計を必要とした。
高解像度画像を生成する従来の信号処理では、単なる線
形補間であるため、画素ずらしを行うことによって得ら
れる画素数分だけの解像度を得ることができない。これ
はまず、単板撮像素子における図2における画像が各画
素上に1色の色フィルタを配置しているため画素数分だ
けのR,G,B信号が得られず、画素数分だけの解像度
が得られていないことが第1の原因であり、次に2枚の
画像から高解像度画像を得る際に線形補間法では解像度
の向上が見込めないという点に問題があった。
めになされたもので、撮像光学系を機械的に振動させる
ことなく微小画素ずらしを実施して、解像度の高い画像
を実現することができる撮像装置を得ることを目的とす
る。
は、画像記憶手段に記憶されている変位前後の撮像素子
の撮像画像を構成する撮像色信号のうち、参照色である
撮像色信号が形成する三角形と補間色である非撮像色信
号が形成する三角形の相似比を考慮して色補間を実施
し、変位前後の撮像素子の撮像画像を合成するようにし
たものである。
在しない位置の空白画素を色補間する場合、画像中のエ
ッジにあたる部分が空白画素を通過するか否かを判定
し、その空白画素を通過するときはエッジ線分の稜線方
向に当該空白画素を色補間するようにしたものである。
像画像を圧縮して、その圧縮画像を圧縮画像メモリに格
納し、その圧縮画像を伸長して画像記憶手段に出力する
圧縮・伸長手段を設けたものである。
に記憶されている変位前後の撮像素子の撮像画像を構成
する撮像色信号の信号レベルを補正する信号レベル補正
手段を設けたものである。
像素子の撮像画像における所定領域の撮像色信号の平均
信号レベルを計算し、双方の平均信号レベルが一致する
ように撮像色信号の信号レベルを補正するようにしたも
のである。
素子に導く光路に配置された磁気光学素子に与える磁界
の強度を制御して、その撮像素子に対する入射光の位置
を変位させるようにしたものである。
撮像素子の間に画素ずらし手段を配置するようにしたも
のである。
前段に画素ずらし手段を配置するようにしたものであ
る。
素子に導く光路に配置された電気光学素子に与える電界
の強度を制御して、その撮像素子に対する入射光の位置
を変位させるようにしたものである。
素子に導く光路に配置された液晶板に与える電圧の強度
を制御して、その撮像素子に対する入射光の位置を変位
させるようにしたものである。
説明する。 実施の形態1.図1はこの発明の実施の形態1による撮
像装置を示す構成図であり、図において、61は撮像レ
ンズ1(図3を参照)に入射する被写体像の光路を変調
する画素ずらし光学系(画素ずらし手段)、2はRGB
の原色フィルタがBayer型配列(図2を参照)を為
して表面上に配置された正方形の電荷結合素子(以下、
CCDと称す)を面状に備え光学像を光電変換する撮像
素子、3は撮像素子2から出力されるアナログ信号をデ
ジタル変換するA/D変換回路、4は画素ずらし光学系
61及び撮像素子2を制御する撮像部制御回路、5は画
素ずらし光学系61、撮像素子2、A/D変換回路3及
び撮像部制御回路4から構成された撮像部である。
装置全体の制御を行うCPUなどのカメラ制御部、7は
デジタル画像信号を受信して一時記憶する画像メモリ
(画像記憶手段)、8はA/D変換回路3からのデジタ
ル画像信号を画像メモリ7に書き込むダイレクトメモリ
アクセスコントローラ(以下、DMAコントローラと称
す)等のメモリ制御手段、9は画像メモリ7に蓄積され
た撮像データに対してデジタル画像処理を施すソフトウ
ェアあるいは電子回路により構成される画像処理部であ
る。
黒レベル補正あるいはガンマ補正等を施す信号レベル補
正処理部(信号レベル補正手段)、11は撮影画像をデ
ジタル画像処理で高解像度に補間・合成する画素補間・
合成処理部(補間・合成手段)、12は画素補間・合成
処理部11で得られる1枚の高解像度化された画像に対
して、光学系あるいは回路系で発生するノイズ除去を行
うノイズ除去フィルタ等を含む画像補正処理部、13は
最終的に得られるフルカラー画像を国際標準化方式であ
るJPEG(Joint Photographic
ExpertsGroup)方式等の画像圧縮方式で符
号化する画像圧縮処理部、14は撮像部5及び画像処理
部9を経て最終的に得られる画像を液晶画面表示あるい
はフラッシュメモリ等の2次記憶手段に蓄積あるいはシ
リアルインタフェースや赤外線通信等の伝送路とのデー
タインタフェースあるいはシャッタスイッチ等のマンマ
シンインタフェースを行うインタフェース部である。
示す構成図であり、図において、1は撮像レンズ(撮像
光学系)、15は磁界発生回路、16は磁界発生回路1
5により印加される電圧に応じて内部に磁界を発生させ
るコイル、17はコイル16内に発生した磁場により磁
気光学効果を生じるファラデー素子、18は偏光板、1
9は複屈折板である。なお、図3の例では撮像レンズ1
を偏向板18の前段に配置しているが、これに限るもの
ではなく、例えば、複屈折板19と撮像素子2の間に撮
像レンズ1を配置してもよい。
止画像を撮影可能なディジタルスチルカメラとして実現
した場合について説明する。始めに撮像装置全体の概略
動作を説明し、各部の詳細な動作を後述する。ここで
は、画素ずらし光学系61を用いて45度方向に半画素
ずらした画像を2枚撮影し、CCDの実際の画素数に対
して2×2倍の画素密度を有する高精細画像を得る手順
について説明する。
14より撮影者によって設定され、図示しないレリーズ
スイッチの押し下げがインタフェース部14からカメラ
制御部6に伝達されると、撮像部5では磁界発生回路1
5における第一の磁界印加条件(例えば、印加磁界な
し)での撮像動作を行う。これにより撮影された画像は
デジタル化され、撮像部5からメモリ制御手段8へ伝送
される。
像メモリ7に後述する規則に従って記憶させる。次に、
撮像部制御回路4における第二の印加磁界条件により、
1枚目の撮影画像に比べて−45度方向に1/2画素ず
らして撮影された画像は、伝送路を経て撮像部5から画
像処理部9へ伝送され、同様に画像メモリ7に記憶され
る。次に、画像処理部9では、第二の撮影画像の入力終
了に伴い、画像メモリ7上に記憶されている第一及び第
二の撮影画像の読出しを行い、信号レベル補正処理部1
0にて両画像のRGB各色の信号レベル値に強度補正係
数を乗じて、白バランス補正処理を実施する。
一及び第二の撮影画像に対して、後述する高解像度化処
理を施し、2枚の撮影画像を1枚の高解像度画像に合成
する。さらに、後段の画像補正処理部12及び画像圧縮
処理部13を経て図示しない液晶ディスプレイへの表
示、あるいは、コンパクトフラッシュ(登録商標)メモ
リカード等の二次記憶媒体への記憶を行うためにインタ
フェース部14へ転送される。
系61、メモリ制御手段8による画像メモリ7への画像
記憶方法、及び画素補間・合成処理部11の詳細な説明
を行う。まず、図3及び図4を参照して、画素ずらし光
学系61の動作を説明する。なお、図4は図3の動作原
理図であり、図5は図4のA−A線から見た説明図、図
6は図4のB−B線から見た説明図、図7は図4のC−
C線から見た説明図である。
の光が偏光板18に入射すると、図5に示す振幅方向W
aの直線偏光が得られる。図4に示すHaはファラデー
素子17に印加されている磁界の方向である。図5に示
されている振動方向Waの直線偏光が、例えば鉛ガラス
のようなファラデー素子17に入射すると、上記磁界の
方向Haの印加磁界により、上記直線偏光の偏光面が回
転する。なお、磁界の方向Haに進む直線偏光をファラ
デー素子17に入射させると、その透過光の偏光面が回
転するが、その回転角θは次式により得られる。 θ=R×l×H (1) ここで、lはファラデー素子17の厚さ、Hは磁界の強
さ、Rはベルデ(Verdet)定数である。なお、上
記の式(1)に関しては、例えば、株式会社朝倉書店発
行の「光学的測定ハンドブック」等に記載されている。
の強さをHθ0とすると、H=Hθのときには振動方向
Waの直線偏光が得られ、H=Hθ0のときには、図6
に示す振動方向Wθ0の直線偏光が得られる。図7に示
すQは複屈折板19の光学軸である。振動方向Waの直
線偏光が複屈折板19に入射すると、図7に示す常光線
Loが得られる。また、振動方向Wθ 0の直線偏光が複
屈折板19に入射すると、図7に示す異常光線LEが得
られる。常光線Loと異常光線LEの距離をPとし、図
4に示す複屈折板19における上記Pを、P=PH/2
(PHは撮像素子2の水平画素ピッチ)に選ぶ。
さHの変化の位相は、図8(1)に示すフィールドシフ
トパルスに一致させる。上述した動作により、この発明
による撮像装置では、A、Bフィールドでの信号電荷蓄
積を入射画像と撮像素子2の画素との相対的な位置に関
して、PH/2だけ離れた位置で行うことができる。即
ち、ファラデー素子17に印加される磁界の強さHを時
間的に変化させ、入射光学像と撮像素子2との相対的な
位置関係を時間的に変化させることにより、空間サンプ
リング領域を増加できる。これに対応して図8(3)に
示す信号読み出しパルスのタイミングも、上記PH/2
に相当する時間Tだけずらしてある。その結果、図8
(5)に示すように、この発明による撮像装置は、A、
Bフィールドを1フレームとした1周期で高画素密度化
画像を得ることが可能になる。
め画素ずらし方向として水平方向、即ち、一次元空間に
対する座標について説明したが、同様な原理で画素ずら
し位置を二次元的に行える。その際には、偏光板18、
磁気光学効果を有する第一の光学素子、複屈折板19か
らなるn組の光学素子群を撮像系に配置し、それぞれの
光学素子群の間に、例えば、直線偏光を円偏光に変換す
る1/4波長板をn−1個挿入すればよい。上記n組の
光学素子群におけるn個の磁気光学効果を有する光学素
子に印加する2値的な電圧をそれぞれ設定することによ
り、2のn乗枚の画素ずらし画像を得ることができる。
板カラー撮像素子を用いて図9に示す●印で表される第
一の印加磁界条件による重心を持つ画素位置に対し、−
45度方向に1/2画素ずらした○印で表される第二の
印加磁界条件による画素ずらし画像を撮影することがで
きる。この場合の画像メモリ7への記憶方法及び画素補
間・合成処理部11における高解像度化処理について、
図を用いて詳細に説明する。
掛けした点(以下、空白画素と称す)を補間すること
で、撮像素子2に対して主走査方向及び副走査方向に各
々2倍の都合4倍の画素数を持つ画像を生成することを
示す模式図である。各撮影画像はメモリ制御手段8によ
り、画像メモリ7において2×2画素からなるマトリク
スの対応する位置、例えば1枚目の撮影画像の各画素は
各マトリクスの左上の画素位置に、2枚目の撮影画像の
各画素は各マトリクスの右下の画素位置(1枚目の対応
する画素に比べて−45度方向にずらした位置)に一時
記憶される。
れるDMAコントローラは、メモリの連続領域に対して
高速にデータ転送を行うことが可能であるため、実際の
メモリの物理アドレスとして図10のように配列するこ
とが必ずしも得策ではない。この場合、各撮影画像を画
像メモリ7の連続する領域に各々格納しておき、以下の
画素補間・合成処理部11において図9の相対位置関係
を保持するようにアドレッシングすることで同等の意味
を持たせて処理を行うことができる。
レベル補正処理部10によって補正処理が施される。補
正処理は、例えば、撮像素子2におけるRGB各色に対
応した色フィルタの感度特性を補正し、白色を正しい信
号レベルに補正する白バランス補正処理や、低感度域あ
るいは高感度域の信号のダイナミックレンジを補正する
ガンマ補正処理等が必要に応じて選択される。
手順を示すフローチャートである。画素補間・合成処理
部11では、撮影画素における非撮像色の生成と空白画
素における全色成分の生成を行うことで色補間と高解像
度化を実現する。始めに撮影画素が図2におけるR色フ
ィルタあるいはB色フィルタを透過したR成分またはB
成分である画素(以下、R/B画素位置と称す)におけ
るG成分生成処理を行い(ステップST101)、次に
図10における空白画素位置におけるG成分生成処理を
行うことにより(ステップST102)、図10の全画
素におけるG成分を生成する。
はR成分の生成処理を行い(ステップST103)、G
画素位置におけるR色成分及びB色成分の生成処理を行
い(ステップST104)、次に図10における空白画
素位置におけるR色成分及びB色成分の生成処理を行う
ことにより(ステップST105)、図10の全画素に
おけるR成分及びB成分を生成する。各処理は、色成分
生成を行う対象画素(以下、注目画素と称す)を画像メ
モリ7に蓄積される画素位置に対して順次x方向(主走
査)にラスタスキャンを行い、1ラインの処理が終了し
た場合、y方向に1画素進んだラスタスキャンを繰り返
し行う。
ついて説明する。図12には、図10で重心の位置関係
を示した、画素補間・合成処理部11の実行前の既存画
像信号成分とその位置関係について示している。図中、
1の添え字がついた色信号は1枚目の撮影画像から得ら
れ、2の添え字がついた色信号は2枚目の撮影画像から
得られる。画素補間・合成処理部11では1枚目及び2
枚目の撮影色信号を用いて他の色信号を生成する。
成処理(ステップST101)では、画素ずらし光学系
61における画素ずらし方向と垂直方向に存在するG成
分及びR成分(またはB成分)を用いることで、相似的
に注目画素におけるG成分を算出する。例えば、撮像色
信号がR色である画素の位置(以下、R画素位置と称
す)の非撮像色信号のうちG色信号を補間生成する場
合、図13に示すR画素位置を中心とした画素ウィンド
ウに存在する画素のうち、注目するR色信号の他に画素
ずらし方向と垂直方向に存在する2つのR色信号(R
1、R2)及び2つのG色信号(G2、G3)の座標に
位置する4つの撮像色信号レベル値を用いる。図16に
は各色信号毎の参照方向及び信号レベル値の軸を加えた
2次元空間上で、これらの点が形成する三角形の形状を
破線で示している。
色信号Rが形成する三角形と補間色である非撮像色信号
Gが形成する三角形を、相似図形にした場合の相似比か
らG色信号の補間信号gRを算出する。
1、R2を平均値RAVEで置き換えた点R1H、R2
H及びRで形成される三角形(R・R1H・R2H)
は、幾何学的に同一の面積を持つことが明らかである。
画像信号では、信号分布から求まる積分値(幾何学図形
の面積)が画像エネルギーに相当し、同一面積の積分値
が同じであれば、その領域における平均輝度が保存され
視覚的に問題がないため、図16の破線による三角形は
実線による二等辺三角形(R・R1H・R2H)で置き
換えることが可能である。
る三角形(gR・G2・G3)を二等辺三角形(gR・
G2H・G3H)で置き換え、二等辺三角形(R・R1
H・R2H)と二等辺三角形(gR・G2H・G3H)
が相似図形になるように補間信号値gRを決定すること
により、微小領域における画像エネルギーの比に応じた
色補間が可能である。
合、再現されるgRは(G2+G3)/2の点となり、
R色成分が凸形状であるにも拘わらず、G色成分は平坦
な推移を示すため、G色成分の解像度が十分でなくR色
信号の突出による偽色が発生する。これに対して、本手
法を用いた場合、G色信号の推移が良好に再現されるた
め、高解像度かつ偽色の少ない色補間が実現できる。ま
た、この場合の演算は式(2)を用いることで行う。 gR(m,n)=GAVE(m,n) +(R(m,n)−RAVE(m,n))/4 (2) ただし、式(2)において、補間しようとするR画素位
置の(x、y)座標を(m、n)とし、GAVE(m、
n)はG2とG3の平均値を、RAVE(m、n)はR
1とR2の平均値を示し、2つの二等辺三角形の線分相
似比として1/4を乗じている。
成分を補間する例を示したが、RをBに置き換えること
で、B画素位置におけるG色信号成分の補間を行うこと
が同様に可能である。
補間する場合を示したが、任意のJ画素位置におけるK
色の色補間に同様の考え方を当てはめることが可能であ
る。図14及び図15は、他の画素位置における他の色
成分補間を行う際の参照色の参照画素位置と補間色の参
照画素位置の関係を示したものである。図14は、R画
素位置におけるB成分補間の場合であり、各色成分につ
いて、図17に示す三角形について上記モデルを適用す
る。即ち、これらの3点は三角形を形成するため注目画
素以外の2点を、それらの平均値で置きかえることによ
り二等辺三角形を作成し、これと補間色が相似二等辺三
角形を構成するように線分相似比である1/2を乗ず
る。さらに、RとBの関係を入れ換えることによって、
B画素位置におけるR成分補間を行うことが同様に可能
である。
参照画素位置の様子を図15に示している。この場合
は、注目画素となるG画素位置から見た参照方向のR画
素位置までの距離がG画素位置を中心とした対象を為し
ていないが、図18に示すこれまでのステップで生成済
みのB画素位置におけるR成分を補間色用三角形を形成
する点として用い、R及びB画素位置におけるG成分を
参照色用三角形を形成する点として用い、各二等辺三角
形の線分相似比を1/1とすることで、これまでの例と
同様の扱いをすることができる。
と式(3)のように記述することができる。 K(m,n)=KAVE(m,n) +(J(m,n)−JAVE(m,n))×Cd (3) ただし、式(3)におけるK(m,n)は座標(m,
n)における補間すべき非撮像色信号、Jは座標(m,
n)における参照色としての撮像色信号を示し、Cdは
J色がなす二等辺三角形に対するK色がなす二等辺三角
形の線分相似比を示している。
水平及び垂直方向に順次走査しながら各画素における全
色成分補間を繰返し行うことにより、1画面分の撮影画
素における色補間処理を実行することができる。
(ステップST102)について詳細に説明する。図1
9の網掛け部分は、この段階で画像中に存在するG成分
の位置関係を示したものである。空白画素位置のG成分
を補間する場合、周辺画素を参照して画像中のエッジに
あたる部分が注目画素を通過するか否かを判定し、その
場合はエッジ線分の稜線方向に画素補間を実行すること
でシャープなエッジ再現が可能である。図19における
矢印の示す方向は注目画素を中心とする7×7画素から
なる参照画素ウィンドウを元に検出可能な線分方向を示
している。
る。注目画素及び8近傍画素に存在するG成分に対して
信号レベル平均値Davを算出する。次に、算出した信
号レベル平均値Davをしきい値として7×7画素ウィ
ンドウ内の各G画素の信号値を1または0に2値化す
る。2値化されたウィンドウ内のG画素は予め定められ
ている複数のパターンと比較され、パターンの一致によ
り中心画素を通る線分角度及び線分のどちら側に明ある
いは暗があるかという線分角度情報が認識される。これ
らの線分角度情報に基づいて、線分の稜線方向に存在す
る複数の画素値を線形補間して注目画素のG成分が算出
される。
図20の斜線部(0)及びたす部(1)に2値化された
場合、パターンマッチングにより図の矢印方向に画像の
エッジが通っていることが検出され、図の太枠で示され
る4つの画素値を単純平均あるいは、注目画素からの距
離に対する重み付け平均等により注目画素のG成分を補
間する。
とで、一般的な8近傍画素の単純平均値により成分補間
する場合と比べ、エッジをシャープかつ線分を滑らかに
補間することが可能となる。これにより、画像の観察者
に対して高い解像感を与えることが可能となる。以上の
方法で、全画素のG成分が高い解像度で生成され、この
結果を参照することでR/B成分に関しても高解像度に
補間生成することができる。
テップST105)に関しては、前記空白画素位置にお
けるG成分補間と同様のパターンマッチングを用いた線
分に対する稜線ベクトル検出により補間を行う。この
時、R/G/B成分のパターンマッチング結果の相違か
ら生じる誤補間を防止するために、G成分補間時に検出
した線分角度結果に基づきR/B成分補間を行うように
構成してもよい。
素数を持つ4画素分の高解像度画像が画素補間・合成処
理部11により生成され、生成されたフルカラー画像は
画像補正処理部12において、光学系及び撮像系の画像
歪を補正するノイズ除去フィルタ等の処理が施され、画
像圧縮処理部13によりJPEG方式の画像符号化の
後、インタフェース部14に送られる。このようにし
て、2枚の画素ずらし画像から撮像素子2のナイキスト
周波数を超える高解像度の画像が形成される。
61を用いて−45度方向に1/2画素ずらして撮影し
た2枚の画像を用いて高解像度化処理する例を示した
が、この限りではない。即ち、撮像素子2の各受光素子
は有限数が面状に配置されており、受光素子面における
入射光を積分値として信号出力するため、これにより撮
影画像の空間周波数は制約(ナイキスト周波数)を受け
ていることが標本化定理より説明できる。これに対し、
「2台のカメラを用いる超高精細画像取得法」(小松、
相澤、斎藤:テレビジョン学会誌 Vol.45,No
10,pp.1256〜1262)によると、開口率1
00%の撮像素子を用いて画素ずらし画像を統合した場
合、2倍以内の解像度まで改善可能であることが明示さ
れている。本方式を用いて実際の撮像素子の開口率や受
光素子の形状等を考慮してずらし方向、ずらし量及び撮
影枚数を最適化することで合成画像における解像度を最
適化することができる。
ッチングの際、7×7画素からなるウィンドウを用いて
8方向の線分検出を行っているが、この限りではなく、
実行するソフトウェアの高速化あるいは回路規模の低減
を図る場合は、ウィンドウサイズを小型化し、45度刻
みの4方向あるいは水平及び垂直のみの2方向の画素間
のエッジ線分の相関を用いるように構成してもよい。
光学系61の撮像条件を変化させた2枚の画像を撮影
し、画像メモリ7に記憶し終えた後に、後段の画像処理
部9における処理を開始する構成としたがこの限りでは
ない。即ち、画像処理部9における信号レベル補正処理
部10は2枚の撮影画像に対して同じ白補正係数あるい
はガンマ補正テーブルを用いて一括して実施することも
可能であるが、各画像に対して個別に実行してもよく、
この場合、2枚目の撮影動作を行っている間に1枚目の
信号レベル補正処理を行うように構成することで全工程
の高速化に繋がる。
影画像に対して2枚目の撮影画像を−45度方向に画素
ずらしする例を示したが、この限りではなく、45度方
向、135度方向あるいは−135度方向にずらしても
同一の処理が適用可能であることは言うまでもない。
形態2による撮像装置を示す構成図であり、図におい
て、図1と同一符号は同一または相当部分を示すので説
明を省略する。20は撮影した各画像データを固定長圧
縮方式にて符号化する固定長圧縮回路、21は撮像部5
から出力される撮像デジタル信号のうち、固定長圧縮回
路20での圧縮時に使用するライン数分を遅延蓄積する
ラインバッファ、22は固定長圧縮回路20で圧縮され
た画像データを蓄積する圧縮画像メモリ、23は圧縮画
像メモリ22に蓄積された画像データを伸長する固定長
伸長処理部である。なお、固定長圧縮回路20,ライン
バッファ21,圧縮画像メモリ22及び固定長伸長処理
部23から圧縮・伸長手段が構成されている。
構を含む撮像部5の動作については上記実施の形態1と
同様である。画素ずらし光学系61を用いて撮像部5か
ら入力された撮影画像は固定長圧縮回路20で画像圧縮
するためにラインバッファ21に一時記憶される。以下
に、固定長圧縮回路20における圧縮動作について詳細
に説明する。
アルゴリズムとしては例えば4×4画素を1単位とする
ブロック毎に隣接画素情報の冗長性を排除する符号化法
を行うものを用いる。この場合、図2の画素配列では、
隣接する画素位置には同じ色の画素が存在しないため、
固定長圧縮回路20内において同色画素をブロック化す
る。
の画素配列が並べ換えられる様子を示した説明図であ
る。撮影画像データは撮像部5から順次ラインバッファ
21に蓄積され、未処理のデータが8ライン分揃った段
階で画素配列の並べ換えを始めて、固定長圧縮回路20
における符号化が実施される。画素並べ換えは8×8画
素単位に行い、各色4×4画素を単位ブロックとしてブ
ロック化する。並べ換え後の画像信号は、ブロックの左
上方向のアドレスと右下方向のアドレスにG成分が集め
られて配列され、左下方向のアドレスにB成分、右上方
向のアドレスにR成分が集められて配列される。
法について説明する。図23は前記並べ換えられた単位
ブロック内のカラー画像信号を固定長圧縮回路20で符
号化する場合のアドレスを示す説明図である。即ち、図
23は縦横4画素分ずつの同一カラーの画像信号の塊で
ある単位ブロックのうち、縦方向m行横方向n列(m、
nは0<m、n≦4の自然数)のアドレスの画像信号に
後述する量子化レベルを付すことを表している。
(量子化)する量子化レベルを表している。図におい
て、Lminは図23に示した16画素の画像信号強度
中の最小値、Lmaxは同じ16画素の画像信号強度中
の最大値、P1は最大値Lmaxと最小値Lminとの
間を8等分した下から8分の1の値、P2は上から8分
の1の値、Q1はLmin以上P1以下の信号強度を有
する画素の平均値、Q8はLmax以下P2より大きい
信号強度の画素の平均値である。
で、Q8−Q1に等しい。L1〜L7は階調幅指標LD
を8等分した値を小さい方から並べたものである。LA
は単位ブロック内の画像データ平均値レベルで(Q1+
Q8)/2に等しい。φijkは画素毎の量子化レベル
を表している。
る符号化手順を示すフローチャートである。以下、この
フローチャートを参照しながら符号化手順を説明する。
まず、固定長圧縮回路20は図22(2)のように並べ
換えられた単位ブロック内の画像データを読み込む(ス
テップST1)。次に、読み込んだ4×4画素分の画像
データの信号強度を演算し、以下の各式に従って順次P
1、P2、Q1、Q2、LA、LD、L1〜L7の値を
求める(ステップST2〜ステップST13)。
信号強度を持つ画素の平均値を求めることを意味し、Q
2の式はLmax以下P2より大きい信号強度を持つ画
素の平均値を求めることを意味する。
Q2、LA、LD、L1〜L7の値を求めた後、固定長
圧縮回路20はn=1、m=1とおいて(ステップST
14、ST15)、この時のアドレス(m,n)の画素
の信号強度Xmnである画素値(すなわち画素値X1
1)がL1以下であるか否かを判断する(ステップST
16)。
この画素値の量子化レベルφijkを2進数の000と
設定する(ステップST17)。次に、mを1だけイン
クリメントし(ステップST31)、mが4以下である
か否かを判別する(ステップST32)。mが4以下で
ある場合は、その画素の画素値を再びL1と比較する
(ステップST16)。
ンクリメントし(ステップST33)、インクリメント
したnが4以下であるか否かを判別する(ステップST
34)。nが4以下である場合は、その画素の画素値を
再びL1と比較する(ステップST16)。
L2以下であるか否かを判別し(ステップST18)、
XmnがL2以下である場合は、この画素の量子化レベ
ルφijkを2進数の001と設定する(ステップST
19)。次に、mを1だけインクリメントし(ステップ
ST31)、mが4以下であるか否かを判別する(ステ
ップST32)。mが4以下である場合は、その画素の
画素値を再びL1と比較する(ステップST16)。m
が4より大きい場合には、nを1だけインクリメントし
(ステップST33)、インクリメントしたnが4以下
であるか否かを判別する(ステップST34)。nが4
以下である場合には、その画素の画素値を再びL1と比
較する(ステップST16)。
2〜L3間、L3〜LA間、LA〜L5間、L5〜L6
間、L6〜L7間のいずれの値を有するかを判別し(ス
テップST16、ST18、ST20、ST22、ST
24、ST26、ST28)、その値に応じてそれぞれ
量子化レベルφijk=000、001、010、01
1、100、101、110、111を当該画素に割り
振る(ステップST17、ST19、ST21、ST2
3、ST25、ST27、ST29、ST30)。
画素に量子化レベルを割り振って符号化を終了する。単
位ブロックの符号化データはLA、LD、各画素毎のφ
ijkである。
ロック数分繰り返す。A/D変換回路3からのデジタル
信号が1画素あたり10ビットである場合(ビット詰め
しない場合、2バイト相当)、固定長符号化による画像
圧縮率は10/32である。このように各撮影画像デー
タは、逐次同色画素の画素のみで構成されたブロック毎
に固定長圧縮回路20において固定長符号化が行われ、
画像データ量の低減が施された上でメモリ制御手段8を
介して圧縮画像メモリ22に蓄積される。
メモリ22に蓄積された後に、画像処理部9における画
像処理が施される。始めに、固定長圧縮回路20におい
て符号化されている画像データの復号化処理を行う。固
定長伸長処理部23における画像復号化方法について図
について説明する。図27は固定長伸長処理部23の動
作を示すフローチャートである。以下、このフローチャ
ートを参照しながら固定長伸長処理部23の固定長復号
化動作を説明する。
縦方向座標値nを1に設定し(ステップST40)、横
方向座標値mを1に設定する(ステップST41)。即
ち、ステップST40及びステップST41の動作によ
って、ある単位ブロック中の座標値(1,1)のアドレ
スが指定される。
ijkがいくつであるか判定し(ステップST42、S
T44、ST46、ST48、ST50、ST52、S
T54)、判定した各量子化レベルΦijkに応じて平
均値レベルLAと階調幅指標LDとに基づいて、その画
素の信号強度Ymn(座標値(1,1)の画素であるな
らばY11)を求める(ステップST43、ST45、
ST47、ST49、ST51、ST53、ST55、
ST56)。
階調幅指標値LDとから信号強度Ymnを求めるには、
それぞれ次の演算式に従う。 Ymn=LA−LD/2 (ステップST43) Ymn=LA−5LD/14 (ステップST45) Ymn=LA−3LD/14 (ステップST47) Ymn=LA−LD/14 (ステップST49) Ymn=LA+LD/14 (ステップST51) Ymn=LA+3LD/14 (ステップST53) Ymn=LA+5LD/14 (ステップST55) Ymn=LA+LD/2 (ステップST56) 画素(1,1)の信号強度を求めたら、次に横方向に画
素を1つ移動し(ステップST57、ST58)、同一
の手順で画素(2,1)の信号強度を復号化する(ステ
ップST42〜ST56)。
画素について信号強度を復号化した後(ステップST5
8)、縦方向の座標値を1だけインクリメントし(ステ
ップST59)、次の段の画素について同様にして信号
強度を復号化する(ステップST42〜ST58)。こ
のようにして単位ブロック内の全画素について信号強度
を復号化して(ステップST41〜ST60)、復号化
動作を終了する。
すように固定長圧縮回路20で並べ換えたデータの逆の
並べ換え処理を施して、画素信号を走査線方向に読み出
したときと同一の順序で並べ換え、画像メモリ7に記憶
される。
縮前の画像データと等価な画像データが蓄積されている
ことになり、上記実施の形態1と同様の画像処理が画像
処理部9の他のブロックにおいて施され、インタフェー
ス部14に出力される。
に、各々の画像データを固定長圧縮回路20を用いてデ
ータ圧縮することにより、撮像部5のA/D変換回路3
から出力される画像信号を画像メモリ7に蓄積する際、
より少ないデータ量をデータバスに供給して記憶手段に
蓄積することが可能となり、連写間隔を短縮するための
高速なメモリ制御回路あるいは最低2フレーム分の高速
書込みが可能な半導体メモリを使用する必要がなくな
り、装置を低価格に構成することが可能となる。
像メモリ22を使用することで記憶手段への撮影したデ
ータ蓄積速度を見かけ上高速化することが可能であり、
1枚目の撮影シーケンスが短時間に終了することで2枚
目の撮影動作を短時間の間合いで開始することができる
ことになる。そのために、2枚の撮影画像間に生じる被
写体の時間的な変化あるいは撮影者の手ぶれ等を最小限
に抑えることが可能となり、同一被写体を高精度に1/
2画素ずらした撮影が実現できるという効果がある。
縮画像メモリ22は別個に設ける構成としたが、この限
りではなく、同一の記憶領域を有する半導体メモリ上に
併設する構成としてもよい。また、この実施の形態2で
は固定長圧縮回路20とラインバッファ21と圧縮画像
メモリ22を別個に設ける構成としたが、この限りでは
なく、これらの構成要素の2つ以上をLSI等の集積回
路1石に包含する構成としてもよい。
ついて説明する。画素ずらし光学系61を含む撮像部5
の構成や動作に関しては上記実施の形態1,2と同様で
ある。この実施の形態3で特徴的である画像処理部9の
信号レベル補正処理部10の動作について詳細な説明を
行う。
A/D変換回路3を経て画像処理部9の画像メモリ7に
蓄積される。蓄積された画像データは、各々信号レベル
補正処理部10で白バランス補正処理やガンマ補正処理
等の個別に適用可能な信号補正処理を施される。この
時、1枚目の画像と2枚目の画像は時系列的に撮影され
ているため、例えば50〜60MHzの比較的低周波で
発光を繰り返す蛍光灯を光源として撮影した場合、光源
の発光タイミングとシャッタ時間の関係で2枚の画像の
入射光量に差異が生じる場合がある。即ち、撮影した2
枚の画像の平均明度に差が生じ、後段の画素補間・合成
処理部11で画像合成を行う際に画質劣化の原因と為り
得る。
2枚目の撮像条件における照明光量が30%程度低下し
た場合の同一被写体を撮影した際の明度特性を示してい
る。定照明下で撮影した際の各信号レベルは、照明条件
が変化した場合に平均明度の低下とダイナミックレンジ
の縮小が発生する。図中、Max及びMin値は各画像
における最大信号レベル及び最小信号レベルである。こ
の実施の形態3における信号レベル補正処理部10で
は、各画像内の信号レベル補正処理の他、2枚の画像の
信号レベル補正処理を行う。
び最小信号レベル値を検出し、いずれか一方の信号レベ
ル特性に他方を合せ込む処理を行う。通常は、1枚目の
画像撮影時に自動露出補正あるいはシャッタ速度補正を
行い最適条件下で撮影を行うため、2枚目の画像を1枚
目の明度分布特性に合わせるようにする。補正前後の2
枚目の画像における各信号レベルをそれぞれD(j)
(jは定照明下での各明度レベル値)及びD’(j)と
すると、始めに式(4)に従って補正を行う(図29
(b)を参照)。 D’(j)=D(j)+(Min1−Min2) (4)
び式(4)にて補正した2枚目の画像のダイナミックレ
ンジを補正し、最終的な2枚目の補正信号レベルD”
(j)を算出する(図29(c)を参照)。 D”(j)=D’(j)(Max1−Min1) /(Max2’−Min2’) (5)
構成することにより、撮影した2枚の画像の照明条件が
異なる場合においても明度特性を良好に一致させること
が可能であり、高精度の画素補間・合成処理が実現可能
である。また、撮像装置を図21(実施の形態2)に示
す構成にし、撮影画像を固定長圧縮回路20を用いて符
号化する場合、各符号におけるLAは16画素からなる
ブロック内の平均信号レベルを代表する値であることか
ら、上記手順を全てLAを対象に実施しても等価的に同
等の効果を実現可能であることは容易に説明できる。こ
のように構成した場合、上記全画素を対象に行っていた
最大・最小信号レベル検出及び信号レベル補正に関する
演算規模を1/16に抑制することが可能であり、処理
の高速化を実現できるという格別の効果がある。
に対して式(4)及び式(5)を順次適用するように構
成したが、この限りではなく、これらを1回の画像デー
タ走査で行えることは言うまでもない。
ついて説明する。実施の形態4における全体構成は実施
の形態1における図1あるいは実施の形態2における図
21と同様である。この実施の形態4では、画素ずらし
光学系61として電界の強さに応じて透過光の屈折現象
が変化する電気光学素子を用いる点が上記実施の形態
1,2と異なる。図30はこの実施の形態4における画
素ずらし光学系61を示す構成図である。図において、
30は電圧印加により電界を発生する電界発生回路、3
1は電気光学素子である。
原理図である図31中の電気光学素子31及び偏光板1
8をA−A、B−B、C−Cの方向から見たものをそれ
ぞれ図32、図33、図34に示す。図31において、
画像を結像するための撮像レンズ1から電気光学素子3
1に入射する自然光は図32に示すように互いに直交す
る2つの偏光成分LX,L Yで表すことができる。
い場合は、図33のLX0,LY0に示す偏光成分がL
X,LYが直進した位置に観測される。電気光学素子3
1に所定の電界E1が印加されると電気光学素子31は
複屈折現象を呈し、図33のLX1,LY1に示す偏光
成分が観測される。ここで、LX1は複屈折現象におけ
る常光線としてLXが直進した位置に観測され、LY1
は複屈折現象の異常光線としてLYが距離Pだけずれた
位置に観測される。ただし、この場合、図34に示すよ
うなP=PH/2(PHは撮像素子2の水平画素ピッ
チ)となるような電界E1を電界発生回路30が電気光
学素子31に印加する。
グ図である。図8(1)はフィールドシフトパルス、図
8(2)は電気光学素子31に印加される電界Eの強
さ、図8(3)は信号読み出しパルス、図8(4)は撮
像素子2の出力信号、図8(5)はA、Bフィールドを
1フレームとして見た場合の図である。電界Eの強さの
変化の位相を図8(1)のフィールドシフトパルスに一
致させる。
像装置は、A、Bフィールドでの信号電荷蓄積を入射画
像と撮像素子2の画素との相対的な位置に関してPH/
2だけ離れた位置で行うことができる。これに対応して
図8(3)に示す信号読み出しパルスのタイミングもP
H/2に相当する時間Tだけずらしてある。その結果、
図8(5)に示すように、この撮像装置はA、Bフィー
ルドを1フレームとした1周期で高画素密度化した画像
を得ることができる。
構成及び動作は、これまでの実施の形態で説明したいず
れを用いても構成できる。
ついて説明する。実施の形態5における全体構成は実施
の形態1における図1あるいは実施の形態2における図
21と同様である。この実施の形態5では、画素ずらし
光学系61として直線偏光を作る偏光板及び入射光の方
位角を変更する液晶板を用いた場合を例にとって説明す
る。図35はこの実施の形態5における画素ずらし光学
系61を示す構成図であり、図において、91は液晶板
92への印加電圧を制御する駆動電圧発生回路、92は
偏光板18で生成された直線偏光を電圧の印加条件で方
位角を変更可能な液晶板である。
5の動作原理図である。図36において、A−Aは偏光
板18の入射側、B−Bは偏光板18の出射側、C−C
は液晶板92の出射側、D−Dは複屈折板19の出射側
の垂直方向の位置を示している。図37〜図40には図
36に示したA−AからD−Dまでの各位置における光
の偏光方向を示す。
る光は無偏光であるため、図37のように垂直方向の偏
光成分と水平方向の偏光成分とで示すことができる。偏
光板18は入射された光から直線偏光した光を出射す
る。また、その方位角は図38に示すように、撮像素子
2の水平方向の画素配列を基準角とすると、基準角に対
して45°の角度となるように、偏光板18の偏光方向
の偏光軸を傾けて配置する。
電極基板で液晶を挟んだ板であり、外部から電圧(電
界)が加わることにより、内部の液晶の分子配列変化に
伴う電気光学効果を引き起こす。この実施の形態5にて
用いる液晶板92は入射される直線偏光の光の偏光方向
を、液晶板92に電圧を加える、または加えている電圧
を切ることにより、その偏光方向を変化させるものであ
る。液晶板92を実現させるための一例として電気光学
効果の内、代表的な電界効果型である、ねじれネマチッ
ク(TN)型液晶による旋光効果などが挙げられる。そ
の動作を図41および図42に示す。
電異方性をもち、素子の分子配列を図41,図42に示
す。図41,図42中、93は液晶分子である。基板に
電圧が印加されたときは図41に示すように分子長軸方
向が両基板面で直行しているように配列するため、偏光
板18を介して入射された直線偏光はそのまま出射され
る。電圧が無印加の時は素子内の液晶分子の配列は連続
的に90°ねじれており、光学的には90°旋光効果を
起こすため、偏光板18から入射された直線偏光は90
°ねじれて、出射光は入射光に対して90°偏光方向が
異なるようになる。
9に示す。図39において、c1は液晶板92において
電圧が印加された状態であり、電圧無印加時にはc2の
ように基準角度に対して135°の方位角を有した直線
偏光となる。今、c1の直線偏光を第1の偏位方向、c
2の直線偏光を第2の偏位方向とする。液晶板92から
出射された光は次に複屈折板19に入射される。
均一でない、いわゆる複屈折を有する材質であり、撮像
装置では被写体の空間周波数が撮像素子2の画素ピッチ
から求められるサンプリング周波数を超えている場合、
追い返しノイズ(エイリアジングノイズ)として画像に
現れるため、光学的ローパスフィルタとして水晶板など
が良く用いられている。水晶板すなわち複屈折板19は
入射する光を常光線と異常光線とに分離し、その分離の
距離間は複屈折板19の厚みによって調整することが可
能である。
偏位方向の入射光を異常光線とするように複屈折板を設
けると、異常光線は点線で示されるように(図40を参
照)、その光軸は常光線と異とし、それぞれの偏位方向
を有する入射光は、図40においてd1,d2に示すよ
うに撮像素子2上の異なった位置に結像する。また、複
屈折板19の厚みを図40に示すように水平方向の撮像
素子の画素ピッチwxの半分であるwx/2、垂直方向
の撮像素子の画素ピッチwyの半分であるwy/2だけ
異常光線が常光線に対して異なるように設ける。
子2上に結像した像を撮像した第1の画像と、第2の偏
位方向の時に撮像した第2の画像の2枚の画像は互いに
水平垂直とも1/2画素分、相対的にずれている。
路4からの制御により撮像素子2を駆動させる際に駆動
電圧発生回路91から液晶板92へ駆動電圧を出力す
る。液晶板92は電圧が加わることにより、図43に示
す液晶分子配列となり、第1の偏位方向の入射光は撮像
素子2上に結像される。撮像素子2は撮像部制御回路4
の制御により駆動電圧発生回路91からの駆動信号によ
り撮像を行い第1の画像を得る。
発生回路91は液晶板92への印加電圧を0とする。液
晶板92の液晶分子配列は図42に示したようになり、
第2の偏位方向の入射光は撮像素子2上に結像される。
撮像素子2は駆動電圧発生回路91からの駆動信号によ
り撮像を行い第2の画像を得る。
示す。撮像部制御回路4は図43における状態1の間に
第1の画像の撮像を終了させ、同図状態2の間に第2の
画像の撮像を終了させる。上記のように動作させること
により、水平垂直とも1/2画素ずれた第1の画像およ
び第2の画像を得ることができる。
1/2画素ずらして撮影された2枚目の画像は逐次A/
D変換回路3においてデジタル信号に変換された後、画
像処理部9に送信される。
対して2枚目の撮影画像を1/2画素ずらす方向として
45度方向にずらすものを例に説明したが、この限りで
はなく、液晶板92及び複屈折板18の配置あるいは液
晶板92への印加電圧を適宜組み合わせることにより、
135度方向、−45度方向、−135度方向など実現
可能である。
線偏光の偏光方向を変化させる液晶板92として、TN
型液晶を一例として挙げたが、光電効果により旋光効果
を有する液晶板92であれば、同様の効果を有すること
ができる。また、この実施の形態5では、図35に示し
た画素ずらし光学系61では撮像レンズ1を液晶板92
と複屈折板18との間に配置しているが、撮像レンズ1
は画素ずらし光学系61内のいずれの位置に配置しても
よい。
は、静止画像を連続的に取り込み可能なディジタルスチ
ルカメラでの構成例を示したが、動画像を取り込み可能
なディジタルカムコーダにおける高精細静止画撮影モー
ドとして構成可能であることは言うまでもない。
は、撮像装置の内部で画素補間・合成処理を実行可能な
構成例を示したが、この限りではなく、パーソナルコン
ピュータやカラープリンタ等、撮像装置に直接あるいは
記憶媒体を間接的に経由して接続可能な機器上で構成し
てもよい。
記憶手段に記憶されている変位前後の撮像素子の撮像画
像を構成する撮像色信号のうち、参照色である撮像色信
号が形成する三角形と補間色である非撮像色信号が形成
する三角形の相似比を考慮して色補間を実施し、変位前
後の撮像素子の撮像画像を合成するように構成したの
で、解像度の高い画像を実現することができる効果があ
る。
位置の空白画素を色補間する場合、画像中のエッジにあ
たる部分が空白画素を通過するか否かを判定し、その空
白画素を通過するときはエッジ線分の稜線方向に当該空
白画素を色補間するように構成したので、画像の解像度
を高めることができる効果がある。
圧縮して、その圧縮画像を圧縮画像メモリに格納し、そ
の圧縮画像を伸長して画像記憶手段に出力する圧縮・伸
長手段を設けるように構成したので、連写間隔を短縮す
ることができる効果がある。
れている変位前後の撮像素子の撮像画像を構成する撮像
色信号の信号レベルを補正する信号レベル補正手段を設
けるように構成したので、画像の解像度を高めることが
できる効果がある。
撮像画像における所定領域の撮像色信号の平均信号レベ
ルを計算し、双方の平均信号レベルが一致するように撮
像色信号の信号レベルを補正するように構成したので、
精度よく信号レベルを補正することができる効果があ
る。
く光路に配置された磁気光学素子に与える磁界の強度を
制御して、その撮像素子に対する入射光の位置を変位さ
せるように構成したので、撮像光学系を機械的に振動さ
せることなく微小画素ずらしを実施することができる効
果がある。
の間に画素ずらし手段を配置するように構成したので、
撮像素子に対する入射光の位置を変位させることができ
る効果がある。
素ずらし手段を配置するように構成したので、画素ずら
し手段を外付けにすることができる効果がある。
く光路に配置された電気光学素子に与える電界の強度を
制御して、その撮像素子に対する入射光の位置を変位さ
せるように構成したので、撮像光学系を機械的に振動さ
せることなく微小画素ずらしを実施することができる効
果がある。
く光路に配置された液晶板に与える電圧の強度を制御し
て、その撮像素子に対する入射光の位置を変位させるよ
うに構成したので、撮像光学系を機械的に振動させるこ
となく微小画素ずらしを実施することができる効果があ
る。
す構成図である。
図である。
図である。
すフローチャートである。
にずらして撮像した画像の色信号と先の色信号とを重ね
て表示した説明図である。
位置の関係を示す説明図である。
である。
である。
である。
説明図である。
である。
示す構成図である。
明図である。
圧縮回路20で符号化する場合のアドレスを示す説明図
である。
化)する量子化レベルを表す説明図である。
フローチャートである。
フローチャートである。
チャートである。
逆の並べ換え処理を示す説明図である。
図である。
系61を示す構成図である。
系61を示す構成図である。
向を示す説明図である。
向を示す説明図である。
向を示す説明図である。
向を示す説明図である。
2)を示す説明図である。
す説明図である。
の画素の内挿を示す説明図である。
/D変換回路、4 撮像部制御回路、5 撮像部、6
カメラ制御部、7 画像メモリ(画像記憶手段)、8
メモリ制御手段、9 画像処理部、10 信号レベル補
正処理部(信号レベル補正手段)、11 画素補間・合
成処理部(補間・合成手段)、12 画像補正処理部、
13 画像圧縮処理部、14 インタフェース部、15
磁界発生回路、16 コイル、17 ファラデー素
子、18 偏光板、19 複屈折板、20 固定長圧縮
回路(圧縮・伸長手段)、21 ラインバッファ(圧縮
・伸長手段)、22 圧縮画像メモリ(圧縮・伸長手
段)、23 固定長伸長処理部(圧縮・伸長手段)、3
0 電界発生回路、31 電気光学素子、61 画素ず
らし光学系(画素ずらし手段)、91 駆動電圧発生回
路、92 液晶板、93液晶分子。
Claims (10)
- 【請求項1】 撮像素子に対する入射光の位置を半画素
分だけ光学的に変位させる画素ずらし手段と、上記画素
ずらし手段による変位前後の撮像素子の撮像画像を記憶
する画像記憶手段と、上記画像記憶手段に記憶されてい
る変位前後の撮像素子の撮像画像を構成する撮像色信号
のうち、参照色である撮像色信号が形成する三角形と補
間色である非撮像色信号が形成する三角形の相似比を考
慮して色補間を実施し、変位前後の撮像素子の撮像画像
を合成する補間・合成手段とを備えた撮像装置。 - 【請求項2】 補間・合成手段は、撮像画素が存在しな
い位置の空白画素を色補間する場合、画像中のエッジに
あたる部分が空白画素を通過するか否かを判定し、その
空白画素を通過するときはエッジ線分の稜線方向に当該
空白画素を色補間することを特徴とする請求項1記載の
撮像装置。 - 【請求項3】 撮像素子の撮像画像を圧縮して、その圧
縮画像を圧縮画像メモリに格納し、その圧縮画像を伸長
して画像記憶手段に出力する圧縮・伸長手段を設けたこ
とを特徴とする請求項1または請求項2記載の撮像装
置。 - 【請求項4】 画像記憶手段に記憶されている変位前後
の撮像素子の撮像画像を構成する撮像色信号の信号レベ
ルを補正する信号レベル補正手段を設けたことを特徴と
する請求項1から請求項3のうちのいずれか1項記載の
撮像装置。 - 【請求項5】 信号レベル補正手段は、変位前後の撮像
素子の撮像画像における所定領域の撮像色信号の平均信
号レベルを計算し、双方の平均信号レベルが一致するよ
うに撮像色信号の信号レベルを補正することを特徴とす
る請求項4記載の撮像装置。 - 【請求項6】 画素ずらし手段は、入射光を撮像素子に
導く光路に配置された磁気光学素子に与える磁界の強度
を制御して、その撮像素子に対する入射光の位置を変位
させることを特徴とする請求項1から請求項5のうちの
いずれか1項記載の撮像装置。 - 【請求項7】 撮像光学系と撮像素子の間に画素ずらし
手段を配置することを特徴とする請求項6記載の撮像装
置。 - 【請求項8】 撮像光学系の前段に画素ずらし手段を配
置することを特徴とする請求項6記載の撮像装置。 - 【請求項9】 画素ずらし手段は、入射光を撮像素子に
導く光路に配置された電気光学素子に与える電界の強度
を制御して、その撮像素子に対する入射光の位置を変位
させることを特徴とする請求項1から請求項5のうちの
いずれか1項記載の撮像装置。 - 【請求項10】 画素ずらし手段は、入射光を撮像素子
に導く光路に配置された液晶板に与える電圧の強度を制
御して、その撮像素子に対する入射光の位置を変位させ
ることを特徴とする請求項1から請求項5のうちのいず
れか1項記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000282434A JP4531231B2 (ja) | 2000-09-18 | 2000-09-18 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000282434A JP4531231B2 (ja) | 2000-09-18 | 2000-09-18 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002094999A true JP2002094999A (ja) | 2002-03-29 |
JP4531231B2 JP4531231B2 (ja) | 2010-08-25 |
Family
ID=18766955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000282434A Expired - Fee Related JP4531231B2 (ja) | 2000-09-18 | 2000-09-18 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4531231B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068862A1 (ja) * | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
US7411619B2 (en) | 2003-02-05 | 2008-08-12 | Fujifilm Corporation | Signal processing method, a signal processor circuit, and imaging apparatus |
CN100418102C (zh) * | 2003-08-15 | 2008-09-10 | 虹光精密工业(苏州)有限公司 | 影像校正方法 |
JP2009169597A (ja) * | 2008-01-15 | 2009-07-30 | Nikon Corp | 画像処理装置 |
US8564700B2 (en) | 2007-12-07 | 2013-10-22 | Panasonic Corporation | Image processing device, image processing method, and imaging device using a patterned polarizer |
WO2014084022A1 (ja) * | 2012-11-30 | 2014-06-05 | 富士フイルム株式会社 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
-
2000
- 2000-09-18 JP JP2000282434A patent/JP4531231B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068862A1 (ja) * | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
US7515747B2 (en) | 2003-01-31 | 2009-04-07 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
US7411619B2 (en) | 2003-02-05 | 2008-08-12 | Fujifilm Corporation | Signal processing method, a signal processor circuit, and imaging apparatus |
CN100418102C (zh) * | 2003-08-15 | 2008-09-10 | 虹光精密工业(苏州)有限公司 | 影像校正方法 |
US8564700B2 (en) | 2007-12-07 | 2013-10-22 | Panasonic Corporation | Image processing device, image processing method, and imaging device using a patterned polarizer |
JP2009169597A (ja) * | 2008-01-15 | 2009-07-30 | Nikon Corp | 画像処理装置 |
WO2014084022A1 (ja) * | 2012-11-30 | 2014-06-05 | 富士フイルム株式会社 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
JP5798696B2 (ja) * | 2012-11-30 | 2015-10-21 | 富士フイルム株式会社 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4531231B2 (ja) | 2010-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8031232B2 (en) | Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus | |
EP0573997A1 (en) | Solid-state image pick-up device with optical path shifting | |
JPH1118097A (ja) | 撮像装置及び撮像方法及びその撮像方法を記録した記録媒体 | |
JPH08275063A (ja) | 撮像装置 | |
KR20030004143A (ko) | 전자 줌기능을 갖는 디지털 카메라 | |
JP4531231B2 (ja) | 撮像装置 | |
JP3926575B2 (ja) | 撮像装置 | |
JP2000224604A (ja) | 画像処理装置 | |
JP3546853B2 (ja) | 撮像装置及び画像再生システム | |
JP2001275028A (ja) | デジタルカメラ | |
JP3839180B2 (ja) | 撮像装置及び撮像方法 | |
US7236194B2 (en) | Image signal processing apparatus | |
JP2001109422A (ja) | 動き検出画像制御機能を有するccd書画カメラ付き液晶プロジェクタ | |
JP2001078210A (ja) | 固体撮像装置および信号読出し方法 | |
US6348950B1 (en) | Video signal processing circuit and image pickup apparatus using the circuit | |
JPH11331857A (ja) | 撮像装置 | |
JP3774983B2 (ja) | 撮像装置 | |
JPH07283999A (ja) | 画像合成装置及び画像撮影装置 | |
JP3770737B2 (ja) | 撮像装置 | |
JP2002314870A (ja) | 撮像装置、方法、プログラム、及びコンピュータ読み取り可能な記憶媒体 | |
JP2000308071A (ja) | カラー撮像素子及びカラー撮像装置 | |
JP2001145009A (ja) | 撮像装置及び表示装置 | |
JPH0715732A (ja) | カラー撮像装置 | |
JP2824255B2 (ja) | 画像信号の直交変換符号化装置 | |
JPH07288825A (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070518 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070605 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070629 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071109 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100609 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |