JP2002281514A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 画素数の増加量に対して十分に解像度が向上
した画像を実現することが可能な撮像装置を得る。 【解決手段】 撮像素子に対する入射光の位置を半画素
分だけ光学的に変位させる画素ずらし光学系１と、画素
ずらし光学系による変位前後の撮像素子の撮像画像を記
憶する第一の画像メモリ７と、第一の画像メモリ７に記
憶されている撮像画像を構成する撮像色信号のうち、参
照色である撮像色信号が形成する三角形と補間色である
非撮像色信号が形成する三角形の相似比を考慮して色補
間を行う補間処理部１１と、変位前後の撮像画像を補間
処理部で各々色補間した結果を記憶する第二の画像メモ
リ１２７と、変位前後の撮像素子の撮像画像を合成する
合成処理部１２８とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、解像度の高い画
像を実現するための撮像装置に関するものである。

【０００２】

【従来の技術】ＣＣＤ等の二次元撮像素子を用いた画像
入力装置においては、画像と撮像素子との相対位置を微
小に変化させ変化させた毎に画像を入力後各画像を合成
し、見かけ上の画素数を増加させて解像度を上昇させる
ものが知られている。このような方法による解像度の向
上に当たっては、従来特開平７−２３６０８６号公報に
記載されるように、撮影光学系と二次元撮像素子との間
に平板透明部材を平行に配置し、前記透明部材上に配置
される直線上にない３点の傾斜手段の１点を支持部とし
他の２点を該透明部材を作動させる作動部として用い撮
影光学系からの入射光を変位させることで撮像素子上の
画像を微小変位させるものである。

【０００３】図４０は、例えば特開平７−２３６０８６
号公報に示された光学的に画素数を増加させる従来の画
像入力装置のブロック図であり、また、図４１は、撮像
部の機構を示す斜視図である。

【０００４】図４０及び図４１において、６１は画像を
結像させるための撮像光学系であるレンズ、２は画像を
光電変換するための二次元に配列されたＣＣＤ等の撮像
素子、１０３は撮像レンズ６１と撮像素子２の間にほぼ
平行に配置され撮像レンズ６１から撮像素子２への入射
光の入射角度に微小変位をもたらす透明平板部材であ
る。

【０００５】また、１０４はレンズ６１及び透明平板部
材１０３を支持するベースユニット、１０５ａ、１０５
ｂ、１０５ｃは透明平板部材１０３をベースユニット１
０４に固定すると共に２点を選択的に作動させて透明平
板ユニットを傾斜させる圧縮ばね、１０６ａ、１０６
ｂ、１０６ｃは対応する圧縮ばね１０５を各々押さえる
ばね押さえ板、１０７ａ、１０７ｂは透明平板部材１０
３と圧縮ばね１０５ａ、１０５ｂを貫通するねじと共に
設けられ駆動により透明平板部材１０３の近傍部位を光
軸方向に変位させ透明平板部材１０３に傾斜をもたらす
モータである。

【０００６】さらに、１０８ａ、１０８ｂは透明平板部
材１０３及び圧縮ばね１０５ａ、１０５ｂ、ばね押さえ
板１０６ａ、１０６ｂを含む第一及び第二作動部であ
る。また、１０９は透明平板部材１０３及び圧縮ばね１
０４ｃ、ばね押さえ板１０６ｃを含む支持部であり、作
動部１０６ａ、１０６ｂの作動時に透明平板部材１０３
を支持する。これらは図示しない匡体に一体的に固定さ
れると共に、図４０に示されるように、後段には光電変
換された画像信号を処理するための所定の画像処理回路
及び画像合成メモリ１１０、画像バッファメモリ７等が
接続されている。

【０００７】次に、動作について説明する。

【０００８】まず、２つの作動部１０６ａ、１０６ｂの
いずれも作動させない状態で撮像を行い、後段の画像メ
モリ７に画像を記憶する。次に、２つの作動部のうちひ
とつ１０６ａを作動させると他の作動部１０６ｂと支持
部を結ぶ線を回転軸として透明平板部材１０３が回転す
る。したがって、透明平板部材１０３を透過した画像は
かかる透明平板部材１０３の傾斜によって移動されて撮
像素子２上に結像し、画像バッファメモリにわずかにず
れた画像を記憶する。

【０００９】さらに、同じひとつの作動部１０６ａを作
動させれば同一方向に順次画像が移動し、順次画像が撮
像素子２に結像され記憶される。また、作動部１０６ｂ
を駆動させると、作動部１０６ａと支持部１０９を結ぶ
線を回転軸として透明平板部材１０３が傾斜し、前述と
は異なる方向に画像の移動が行われる。

【００１０】これら２方向の移動を適宜組み合わせるこ
とにより、任意の位置への２次元の画素ずらしを実施の
後、画像バッファメモリ７に蓄積された複数の撮影画像
を画素ずらしの実施方向を考慮して各対応画素毎に内挿
することで光学的に画素数を増加させた画像が画像合成
メモリ１０９に得られる。

【００１１】次に、従来の画素ずらしによって得られた
画像から高精細画像を生成する従来の信号処理方式につ
いて説明する。

【００１２】図２に示す信号配列は、単板撮像蔵置にお
いて最もよく使われているBayer配列をした撮像素子で
あり、図中のＲまたはＧまたはＢ信号は、撮像素子の配
置上その画素位置にてサンプリングされる色信号であ
る。

【００１３】図１２は、図２に示す撮像素子を斜め１／
２画素右下にずらして撮像した画像の色信号と先の色信
号とを重ねて表示した図である。

【００１４】図１２において、Ｒ１，Ｇ１，Ｂ１が１枚
目の撮影画像の色信号であり、Ｒ２，Ｇ２，Ｂ３は画素
ずらしを行い２枚目の撮影画像から得られた色信号であ
る。

【００１５】図１２に示した画像を高解像度画像として
生成する場合、図２と比較して水平垂直とも２倍になっ
ているため、４倍の画素数のフルカラー信号を生成する
必要があり、図中撮像画素における非撮影色信号を周辺
画素信号から生成するとともに、空白画素の全色信号を
同様に内挿する必要がある。

【００１６】例えば、今、Ｇの信号だけ着目すると、図
４２に示す位置にだけ撮像によって得られたＧ信号Ｇ
１，Ｇ２が存在する。従来の技術では、前後左右の信号
の平均値からＧ１’，Ｇ２’を補間し、次に、図４３に
示すように補間して得られたＧ信号からさらに内挿する
ことにより全画素分のＧ信号を得ることができる。

【００１７】また、Ｂ信号に着目すると、図４４に示す
ように、左右のＢ１信号からＢ１’信号を内挿し、さら
に、補間したＢ１’信号からＢ１”信号を内挿する。Ｂ
２信号についても同様である。次に、図４５に示すよう
に補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの
画素の内挿を行う。Ｒ信号においてもＢ信号と同様の方
法にて全画素分の信号を補間することが出来る。上記の
方法によって全画素における画素分だけのＲ，Ｇ，Ｂ信
号を得ることが出来る。

【００１８】

【発明が解決しようとする課題】しかしながら、上述し
た特開平７−２３６０８６号公報に示される技術は、光
路を二次元的に変更するために、透明平板部材を２つの
モータにより機械的に駆動制御するため精度の高い画素
ずらし量を実現することが困難であった。特に、近年の
固体撮像素子の画素ピッチは、数ミクロンものが主流と
なっており、機械的にその数分の一の精度を得る為に
は、複雑な制御系が必要となる。また、機械的な振動を
用いて制御するため振動や繰り返し寿命などを十分に考
慮した設計を必要とした。

【００１９】さらにまた、上記方法により撮像した画像
から高解像度画像を生成する従来の信号処理では、単な
る線形補間であるため画素ずらしを行うことによって得
られる画素数分だけの解像度を得ることが出来ない。こ
れは、まず、単板撮像素子における図２に示す画像が各
画素上に１色の色フィルタを配置しているため画素数分
だけのＲ，Ｇ，Ｂ信号が得られず、画素数分だけの解像
度が得られていないことが第１の原因であり、次に、２
枚の画像から高解像度画像を得る際に線形補間法では解
像度の向上が見込めないという点に問題があった。

【００２０】かかる問題を解決するために、本出願人
は、特開昭６２−２６９８４号公報等において、撮像光
学系を機械的に振動させることなく微小画素ずらしを行
う方法を出願している。

【００２１】この発明は上述した点に鑑みてなされたも
ので、画素数の増加量に対して十分に解像度が向上した
画像を実現することが可能な撮像装置を得ることを目的
とする。

【００２２】

【課題を解決するための手段】この発明に係る撮像装置
は、撮像素子に対する入射光の位置を半画素分だけ光学
的に変位させる画素ずらし手段と、上記画素ずらし手段
による変位前後の撮像素子の撮像画像を記憶する第一の
画像記憶手段と、上記第一の画像記憶手段に記憶されて
いる撮像画像を構成する撮像色信号のうち、参照色であ
る撮像色信号が形成する三角形と補間色である非撮像色
信号が形成する三角形の相似比を考慮して色補間を行う
補間手段と、変位前後の撮像画像を上記補間手段で各々
色補間した結果を記憶する第二の画像記憶手段と、変位
前後の撮像素子の撮像画像を合成する合成手段とを備え
たものである。

【００２３】また、上記合成手段は、撮像画素が存在し
ない位置の空白画素を画素補間する場合、画像中のエッ
ジに当たる部分が空白画素を通過するか否かを判定し、
その空白画素を通過する時にはエッジ成分の稜線方向に
当該空白画素を画素補間することを特徴とするものであ
る。

【００２４】また、撮像素子の撮像画像を圧縮して、そ
の圧縮画像を圧縮画像メモリに格納し、その圧縮画像を
伸張して上記第一の画像記憶手段に出力する圧縮・伸張
手段を設けたことを特徴とするものである。

【００２５】また、上記第一の画像記憶手段に記憶され
ている変位前後の撮像素子の撮像画像を構成する撮像色
信号の信号レベルを補正する信号レベル補正手段を設け
たことを特徴とするものである。

【００２６】また、上記信号レベル補正手段は、変位前
後の撮像素子の撮像画像における所定領域の撮像色信号
の平均信号レベルを計算し、双方の平均信号レベルが一
致するように撮像色信号の信号レベルを補正することを
特徴とするものである。

【００２７】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された磁気光学素子を備え、当
該磁気光学素子に与える磁界の強度を制御して、撮像素
子に対する入射光の位置を変位させることを特徴とする
ものである。

【００２８】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された電気光学素子を備え、当
該電気光学素子に与える電界の強度を制御して、撮像素
子に対する入射光の位置を変位させることを特徴とする
ものである。

【００２９】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された液晶板を備え、当該液晶
板に与える電圧の強度を制御して、撮像素子に対する入
射光の位置を変位させることを特徴とするものである。

【００３０】また、撮像光学系と撮像素子の間に上記画
素ずらし手段を配置することを特徴とするものである。

【００３１】さらに、撮像光学系の前段に上記画素ずら
し手段を配置することを特徴とするものである。

【００３２】

【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態１を図について説明する。

【００３３】図１は、この発明の実施の形態１を示す全
体ブロック図であり、静止画像を撮影可能なディジタル
スチルカメラとして実現した場合について説明してい
る。

【００３４】また、図３は、図１における撮像部５の詳
細構成を示したものであり、画素ずらし手段として、例
えば本出願人により出願済みの特開昭６１−２６７４６
２号公報に示される如く磁場によって異方性を示す磁気
光学素子を用いた場合を例にとって説明する。

【００３５】図１及び図３において、６１はレンズ、１
はレンズ６１に入射する被写体像の光路を変調する画素
ずらし光学系、２はＲＧＢの原色フィルタが図２に示す
ようにBayer型配列をなして表面上に配置された正方形
の電荷結合素子（以下、ＣＣＤと称す）を面状に備え光
学像を光電変換する撮像素子、３は撮像素子２からのア
ナログ信号出力をデジタル変換するアナログ／デジタル
変換回路（以下、Ａ／Ｄ変換回路と称す）、４は画素ず
らし手段１及び撮像素子２を制御する撮像部制御回路、
５はレンズ６１、画素ずらし光学系１、撮像素子２、Ａ
／Ｄ変換回路３、撮像部制御回路４を含む撮像部であ
る。

【００３６】また、６は撮像部５と通信しながら撮像装
置全体の制御を行うＣＰＵなどのカメラ制御部、７はデ
ジタル画像信号を受信し一時記憶する第一の画像メモ
リ、８はＡ／Ｄ変換回路３からのデジタル画像信号を画
像メモリ７に書込むダイレクトメモリアクセスコントロ
ーラ（以下、ＤＭＡコントローラと称す）等のメモリ制
御部、９は第一の画像メモリ７に蓄積された撮像データ
に対してデジタル画像処理を施すソフトウェアあるいは
電子回路により構成される画像処理部、１２７は画像処
理部９における画像処理用に使用される第二の画像メモ
リである。

【００３７】また、１０は画像信号に対して白バランス
補正や黒レベル補正あるいはガンマ補正等を施す信号レ
ベル補正処理部、１１は撮影画像をデジタル画像処理で
色補間する補間処理部、１２８は色補間された２枚の画
像を合成し高解像度の１枚の画像を生成する合成処理
部、１２は合成処理部１２８で得られる１枚の高解像度
化された画像に対し光学系あるいは回路系で発生するノ
イズ除去を行うノイズ除去フィルタ等を含む画像補正処
理部、１３は最終的に得られるフルカラー画像を国際標
準化方式であるＪＰＥＧ（Joint Ｐhotoｇraphic Ｅxpe
rts Group）方式等の画像圧縮方式で符号化する画像圧
縮処理部である。

【００３８】さらに、１４は撮像部５及び画像処理部９
を経て最終的に得られる画像を液晶画面表示あるいはフ
ラッシュメモリ等の２次記憶手段に蓄積あるいはシリア
ルインタフェースや赤外線通信等の伝送路とのデータイ
ンタフェースあるいはシャッタスイッチ等のマンマシン
インタフェースを行うインタフェース部である。

【００３９】次に、動作について説明する。

【００４０】始めに、撮像装置全体の概略動作を説明
し、各部の詳細な動作を後述する。

【００４１】ここでは、画素ずらし光学系１を用いて４
５度方向に半画素ずらした画像を２枚撮影し、ＣＣＤの
実際の画素数に対して２×２倍の画素密度を有する高精
細画像を得る手順について説明する。

【００４２】高精細モードでの撮影がインタフェース部
１４より撮影者によって設定され、図示しないレリーズ
スイッチの押し下げがマンマシンインタフェースからカ
メラ制御部６に伝達されると、撮像部５では、撮像部制
御回路４における第一の磁界印加条件（例えば、印加磁
界なし）での撮像動作を行う。これにより、撮影された
画像はデジタル化され撮像部５からメモリ制御部８へ伝
送される。

【００４３】メモリ制御部８では、入力画像信号を第一
の画像メモリ７に後述する規則に従って記憶させ、信号
レベル補正処理部１０にて画像のＲＧＢ各色の信号レベ
ル値に強度補正係数を乗じ白バランス補正処理を施し、
補間処理部１１で色補間され第二の画像メモリ１２７に
蓄積される。

【００４４】次に、撮像部制御回路４における第二の印
加磁界条件により１枚目の撮影画像に比べて−４５度方
向に１／２画素ずらして撮影された画像は、伝送路を経
て撮像部５から画像処理部９へ伝送され、同様に、第一
の画像メモリ７に記憶され、信号レベル補正処理部１０
を経て補間処理部１１で色補間され第二の画像メモリ１
２７に蓄積される。次に、画像処理部９では、第二の撮
影画像の補間処理部１１の処理終了に伴い、第二の画像
メモリ１２７上に記憶されている第一及び第二の補間画
像の読み出しを行う。

【００４５】次に、合成処理部１２８では、第一及び第
二の補間画像に対し高解像度化処理を施し２枚の撮影画
像を１枚の高解像度画像に合成する。さらに、後段の画
像補正処理部１２、画像圧縮処理部１３を経て図示しな
い液晶ディスプレイへの表示あるいはコンパクトフラッ
シュ（登録商標）メモリカード等の二次記憶媒体への記
憶を行うためにインタフェース部１４へ転送される。

【００４６】以下に、撮像部５における画素ずらし光学
系１、メモリ制御部８による第一の画像メモリ７への画
像記憶、及び補間処理部１１及び合成処理部１２８の詳
細な説明を行う。

【００４７】撮像部５の構成及び動作について図３及び
図４をもとに詳細に説明する。

【００４８】図３及び図４において、１５は磁界発生回
路、１６は磁界発生回路１５に印加する電圧に応じて内
部に磁界を発生させるコイル、１７は磁界発生回路１５
によってコイル１６内に発生した磁場により磁気光学効
果を生じる磁気光学素子としてのファラデー素子、１８
は偏光板、１９は複屈折板である。

【００４９】各偏光板１８、ファラデー素子１７、複屈
折板１９を、それぞれ図４のＡ−Ａ線、Ｂ−Ｂ線、Ｃ−
Ｃ線から見た図を図５、図６、図７にそれぞれ示してい
る。図４において、画像を結像させるためのレンズ６１
からの光が偏光板１８に入射すると、図５に示す振幅方
向Ｗａの直線偏光が得られる。図４に示すＨａはファラ
デー素子１７に印加されている磁界の方向である。図５
に示されている振動方向Ｗａの直線偏光が、例えば鉛ガ
ラスのようなファラデー素子１７に入射すると、上記磁
界の方向Ｈａの印加磁界により上記直線偏光の偏光面が
回転する。

【００５０】なお、ファラデー素子１７に磁界の方向Ｈ
ａに進む直線偏光を入射させると、その透過光の偏光面
が回転するが、その回転角θは次式（１）により得られ
る。

【００５１】 θ＝Ｒ×ｌ×Ｈ （１） ここで、ｌはファラデー素子の厚さ、Ｈは磁界の強さ、
Ｒはベルデ（Verdet）定数である。なお、上記式（１）
に関しては、例えば株式会社朝倉書店発行の「光学的測
定ハンドブック」等に記載されている。

【００５２】図４において、回転角θが０度となる磁界
の強さをＨ_{θ 0}とすると、Ｈ＝Ｈ_θの時には図５に示す
振動方向Ｗａの直線偏光が得られ、Ｈ＝Ｈ_{θ 0}の時に
は、図６に示す振動方向Ｗ_{θ 0}の直線偏光が得られる。
振動方向Ｗａの直線偏光が複屈折板１９に入射すると、
図７に示す常光線Ｌoが得られる。なお、図７に示すＱ
は複屈折板１９の光学軸である。また、振動方向Ｗ_{θ 0}
の直線偏光が複屈折板１９に入射すると、図７に示す異
常光線Ｌ_Eが得られる。常光線Ｌoと異常光線Ｌ_Eの距離
をＰとし、図３及び図４に示す複屈折板１９における上
記距離Ｐを、Ｐ＝ＰＨ／２（ＰＨは撮像素子２の水平画
素ピッチを示す）に選ぶ。ファラデー素子１７に印加さ
れる磁界の強さＨの変化の位相は、図８（ａ）に示すフ
ィールドシフトパルスに一致させる（図８（ａ）、
（ｂ）参照）。

【００５３】上述した動作により、この発明による撮像
装置では、各Ａ、Ｂフィールドでの信号電荷蓄積を入射
画像と撮像素子２の画素との相対的な位置に関して、Ｐ
Ｈ／２だけ離れた位置で行うことができる。すなわち、
ファラデー素子１７に印加される磁界の強さＨを時間的
に変化させ、入射光学像と撮像素子２との相対的な位置
関係を時間的に変化させることにより、空間サンプリン
グ領域を増加できる。これに対応して図８（ｃ）に示す
信号読み出しパルスのタイミングも、上記ＰＨ／２に相
当する時間Ｔだけずらしてある（図８（ｃ）、（ｄ）参
照）。その結果、図８（ｅ）に示すように、この発明に
よる撮像装置は、各Ａ、Ｂフィールドを１フレームとし
た１周期で高画素密度化画像を得ることが可能になる。

【００５４】本実施の形態１では、説明の簡易化のた
め、画素ずらし方向として水平方向すなわち一次元空間
に対する座標について説明したが、同様な原理で画素ず
らし位置を二次元的に行える。その際には、偏光板１
８、磁気光学効果を有する第一の光学素子、複屈折板１
９からなるｎ組の光学素子群を撮像系に配置し、それぞ
れの光学素子群の間に、例えば直線偏光を円偏光に変換
する１／４波長板をｎ−１個挿入すればよい。上記ｎ組
の光学素子群におけるｎ個の磁気光学効果を有する光学
素子に印加する２値的な電圧をそれぞれ設定することに
より、２のｎ乗枚の画素ずらしした画像を得ることがで
きる。

【００５５】上記撮像原理により、図２のBayer型単板
カラー撮像素子を用いて、図９に示す黒丸印で表される
第一の印加磁界条件による重心を持つ画素位置に対し、
−４５度方向に１／２画素ずらした白丸印で表される第
二の印加磁界条件による画素ずらし画像を撮影すること
ができる。以降に、この場合の補間処理部１１及び合成
処理部１２８における高解像度化処理について、図を用
いて詳細に説明する。

【００５６】図１０は、補間処理部１１及び合成処理部
１２８の処理手順を示したフローチャートである。この
うち、補間処理部１１では、図２に示す配列の撮影画像
における各画素で欠落している色成分（例えば、撮影成
分がＧならばＢ及びＲ成分）を色補間し、撮像素子２と
同等の画素数からなるフルカラー画像を生成し（ＳＴ１
０１、ＳＴ１０２）、合成処理部１２８では、補間処理
部１１で生成された２枚のフルカラー画像を図９の画素
ずらし方向に対応する位置に挿入して、画像信号が存在
しない画素（以下、空白画素と称す）の全色成分を画素
補間して（ＳＴ１０３）、撮像素子２の画素数に対して
縦横とも２倍の画素数を持つ１枚の画像を生成する。

【００５７】各処理は、色補間または画素補間を行う対
象画素（以下、注目画素と称す）を第一の画像メモリ７
または第二の画像メモリ１２７に蓄積される画像に対し
て順次ｘ方向（主走査）にラスタスキャンを行い、１ラ
インの処理が終了した場合ｙ方向に１画素進んだラスタ
スキャンを繰り返し行う。

【００５８】次に、各ステップにおける具体的な動作に
ついて説明する。

【００５９】第一の印加磁界条件による撮影画像は、図
２のような画素配列で第一の画像メモリ７に記憶され、
信号レベル補正処理部１０によって補正処理が施され
る。補正処理は、例えば撮像素子２におけるＲＧＢ各色
に対応した色フィルタの感度特性を補正し白色を正しい
信号レベルに補正する白バランス補正処理や、低感度域
あるいは高感度域の信号のダイナミックレンジを補正す
るガンマ補正処理等が必要に応じて選択される。

【００６０】信号レベル補正処理部１０による処理が行
われた第一の撮影画像は、第二の画像メモリ１２７に一
旦蓄積された後、補間処理部１１による処理が施され、
ＲＧＢの全色成分を持つフルカラー画像として再度第二
の画像メモリ１２７に蓄積される。

【００６１】次に、第二の印加磁界条件による撮影が行
われ、第一の印加磁界条件での撮影画像と同様に、信号
レベル補正処理部１０及び補間処理部１１の処理によっ
て、撮像素子２と同数の画素数で持つＲＧＢの全色成分
を持つフルカラー画像として第二の画像メモリ１２７に
蓄積される。この時、第二の画像メモリ１２７では、第
一の印加磁界条件で撮影後補間された画像と第二の印加
磁界条件で撮影後補間された画像は、図１１のように画
素数が縦横とも２倍である１枚の合成画像を構成する画
素の一部として配置される。図１１において、それぞれ
の丸印は、図９における１枚目と２枚目の撮像時の画素
ずらし位置に対応した合成後の画像における画素の重心
位置を示しており、黒丸印は第一の印加磁界条件で撮影
して色補間された画像、白丸印は第二の印加磁界条件で
撮影して色補間された画像、斜線を施した丸印はこれら
のいずれにも該当しない空白画素を示している。

【００６２】図１２には、図１１で重心の位置関係に対
応した、補間処理部１１の処理実行前の既存画像信号成
分とその位置関係について示している。図１２より、１
の添え字がついた色信号は１枚目の撮影画像から得ら
れ、２の添え字がついた色信号は２枚目の撮影画像から
得られる。補間処理部１１の処理により、図１２に表記
される色成分以外のＲＧＢ全ての色信号を補間生成する
ことになる。

【００６３】補間処理部１１において、第一の撮影画像
の色補間（図１０のＳＴ１０１）及び第二の撮影画像の
色補間（図１０のＳＴ１０２）を行う際には、補間対象
の注目画素近傍における補間しようとする色と同色の信
号（以下、補間色と称す）及び補間色以外の色で参照用
に使用する色信号（以下、参照色と称す）を用いること
で相似的に注目画素における色信号レベルを算出する。

【００６４】例えば、撮像色信号がＲ色である画素の位
置（以下、Ｒ画素位置と称す）の非撮像色信号のうちＧ
色信号を補間生成する場合、図１３（ａ）に示すＲ画素
位置を中心とした画素ウィンドウに存在する画素のう
ち、注目するＲ色信号の他に垂直方向または水平方向に
存在する２つのＲ色信号（Ｒ１、Ｒ２）または（Ｒ３、
Ｒ４）の組、及びＲ色信号と同方向の２つのＧ色信号
（Ｇ１、Ｇ２）または（Ｇ３、Ｇ４）の組の同方向の組
合せのいずれかを用いる。

【００６５】垂直方向または水平方向のいずれか一方を
選択する方法としては、参照色または補間色のそれぞれ
の方向の２画素の信号レベルの差分の絶対値を求めるな
どして、算出する方法が知られている。即ち、これらの
差分値が小さいほど、その方向に対する局所的な画像の
類似性が高いと判断できる。図１４（ａ）には、図１３
（ａ）の場合で例えば水平方向の類似性が高いと判断さ
れて水平方向成分の参照色信号を用いて補間色信号の色
補間を行う場合について、その考え方を示している。図
１４（ａ）において、各色信号毎の参照方向及び信号レ
ベル値の軸を加えた２次元空間上でこれらの点が形成す
る三角形の形状を破線で示す。

【００６６】本実施の形態１では、補間処理部１１によ
り、参照色である撮像色信号Ｒが形成する三角形と補間
色である非撮像色信号Ｇが形成する三角形を、相似図形
にした場合の相似比からＧ色信号の補間信号ｇＲを算出
する。

【００６７】ここで、三角形（Ｒ・Ｒ１・Ｒ２）と、Ｒ
１、Ｒ２をこれらの平均値ＲＡＶＥで置き換えた点Ｒ１
Ｈ、Ｒ２Ｈ及びＲで形成される三角形（Ｒ・Ｒ１Ｈ・Ｒ
２Ｈ）は、幾何学的に同一の面積を持つことが明らかで
ある。画像信号では、信号分布から求まる積分値（即ち
幾何学図形の面積）が画像エネルギーに相当し、同一面
積を持つ即ち積分値が同じであればその領域における平
均輝度が保存され視覚的に問題がないため、図１４
（ａ）の破線による三角形は実線による二等辺三角形
（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）で置き換えることが可能であ
る。

【００６８】同様にして、補間色であるＧ色信号が形成
する三角形（ｇＲ・Ｇ１・Ｇ２）を二等辺三角形（ｇＲ
・Ｇ１Ｈ・Ｇ２Ｈ）で置き換え、二等辺三角形（Ｒ・Ｒ
１Ｈ・Ｒ２Ｈ）と二等辺三角形（ｇＲ・Ｇ１Ｈ・Ｇ２
Ｈ）が相似図形になるように補間信号値ｇＲを決定する
ことにより、微小領域における画像エネルギーの比に応
じた色補間が可能である。従来の線形補間法による色補
間を行った場合、再現されるｇＲは（Ｇ１＋Ｇ２）／２
の点となり、Ｒ色成分が凸形状であるにもかかわらずＧ
色成分は平坦な推移を示すため、Ｇ色成分の解像度が十
分でなくＲ色信号の突出による偽色が発生する。これに
対して、本手法を用いた場合、Ｇ色信号の推移が局所的
な画像エネルギーに応じて良好に再現されるため、高解
像度かつ偽色の少ない色補間が実現できる。

【００６９】また、この場合の演算は式（２）を用いる
ことで行う。

【００７０】また、この場合の演算は式（２）を用いる
ことで行う。

【数１】 但し、式（２）において、補間しようとするＲ画素位置
の（ｘ、ｙ）座標を（ｍ、ｎ）とし、Ｇ_AVE（ｍ、ｎ）
はＧ１とＧ２の平均値を、Ｒ_AVE（ｍ、ｎ）はＲ１とＲ
２の平均値を示し、２つの二等辺三角形の線分相似比と
して１/２を乗じている。

【００７１】上記例では、Ｒ画素位置においてＧ色信号
成分を補間する例を示したが、ＲをＢに置き換えること
でＢ画素位置におけるＧ色信号成分の補間を行うことが
同様に可能である。

【００７２】また、上記例は、Ｒ画素位置のＧ成分を色
補間する場合を示したが、任意のＪ画素位置におけるＫ
色の色補間に同様の考え方を当てはめることが可能であ
る。図１３（ｂ）及び図１３（ｃ）は、他の画素位置に
おける他の色成分補間を行う際の参照色の参照画素位置
と補間色の参照画素位置の関係を示したものである。図
１３（ｂ）は、Ｇ画素位置におけるＲ成分及びＢ成分補
間の場合であり、各色成分について、図１４（ｂ）に示
す三角形について上記モデルを適用する。

【００７３】即ち、これらの３点は三角形を形成するた
め注目画素以外の２点をそれらの平均値で置きかえるこ
とにより二等辺三角形を作成し、これと補間色が相似二
等辺三角形を構成するように線分相似比である１/２を
乗ずる。さらに、ＲとＢが入れ替わった配置のＧ画素位
置におけるＲ成分及びＢ成分の補間も同様に行うことが
可能である。

【００７４】また、Ｂ画素位置におけるＲ成分補間時の
参照画素位置の様子を図１３（ｃ）に示す。この場合
は、図１４（ｃ）に示すＧ画素位置における撮像Ｇ成分
及び注目画素のＢ画素位置における補間済みＧ成分を参
照色用三角形を形成する点として用い、Ｇ画素位置にお
ける生成済みＲ成分を補間色用三角形を形成する点とし
て用い、各二等辺三角形の線分相似比を１/１とするこ
とで、これまでの例と同様の扱いをすることができる。
さらに、ＲとＢを入れ替えて考えることで、Ｒ画素位置
におけるＢ成分の補間が可能である。

【００７５】以上の説明を元に、式（２）を一般化する
と、式（３）のように記述することができる。

【数２】 尚、式（３）におけるＫ（ｍ，ｎ）は座標（ｍ，ｎ）に
おける補間すべき非撮像色信号、Ｊは座標（ｍ，ｎ）に
おける参照色としての撮像色信号を示し、ＣｄはＪ色が
なす二等辺三角形に対するＫ色がなす二等辺三角形の線
分相似比を示している。

【００７６】このようにして、色補間対象の画素位置を
水平及び垂直方向に順次走査しながら各画素における全
色成分補間を繰返し行うことにより、１画面分の撮影画
素における色補間処理を実行することができる。

【００７７】このようにして、第一の印加磁界条件下で
撮影した第一の撮影画像に対する色補間を補間処理部１
１で実行し、第二の画像メモリ１２７に一時記憶する。
続いて、第二の印加磁界条件下で撮影した第二の撮影画
像を同様に信号レベル補正処理部１０を施した後補間処
理部１１において色補間処理を実施し、第二の画像メモ
リ１２７に一時記憶する。

【００７８】ここで、第二の画像メモリ１２７に記憶す
る第一の補間画像と第二の補間画像は、後述する合成処
理部１２８における空白画素での画素補間処理のため
に、図１１のように、１枚の合成画像内の所定の位置を
示す物理アドレスに従って格納してもよいが、物理的に
は個別の画像記憶領域に記憶しておき、次の合成処理部
１２８において、図１１の各画素の位置関係を念頭に適
宜読み出しを行うようにしてもよい。

【００７９】次に、２枚の補間画像の１枚の画像への合
成処理について説明する。

【００８０】始めに、空白画素位置におけるＧ成分生成
について詳細に説明する。

【００８１】図１５の網掛け部分は、この段階で画像中
に存在するＧ成分の位置関係を示したものである。空白
画素位置のＧ成分を補間する場合、周辺画素を参照して
画像中のエッジにあたる部分が注目画素を通過するか否
かを判定し、その場合はエッジ線分の稜線方向に画素補
間を実行することでシャープなエッジ再現が可能であ
る。図１５における矢印の示す方向は、注目画素を中心
とする７×７画素からなる参照画素ウィンドウを元に検
出可能な線分方向を示している。

【００８２】線分角度検出は以下の手順に従って実行す
る。

【００８３】注目画素及び８近傍画素に存在するＧ成分
に対して信号レベル平均値Ｄａｖを算出する。次に、算
出した信号レベル平均値Ｄａｖをしきい値として７×７
画素ウィンドウ内の各Ｇ画素の信号値を１または０に２
値化する。２値化されたウィンドウ内のＧ画素は予め定
められている複数のパターンと比較され、パターンの一
致により中心画素を通る線分角度及び線分のどちら側に
明あるいは暗があるかという線分角度情報が認識され
る。これらの線分角度情報に基づいて、線分の稜線方向
に存在する複数の画素値を線形補間して注目画素のＧ成
分が算出される。

【００８４】例えば、７×７画素ウィンドウ内の画素が
図１６の斜線部画素（２値化データ：０）及びたすき線
部画素（２値化データ：１）に２値化された場合、パタ
ーンマッチングにより図の矢印方向に画像のエッジが通
っていることが検出され、図の太枠で示された画素の上
下左右の４つの画素値を単純平均あるいは、注目画素か
らの距離に対する重み付け平均等により注目画素のＧ成
分を補間する。

【００８５】線分の角度を検出し稜線方向に補間するこ
とで、一般的な８近傍画素の単純平均値により成分補間
する場合に比べ、エッジをシャープかつ線分を滑らかに
補間することが可能となる。これにより、画像の観察者
に対して高い解像感を与えることが可能となる。

【００８６】以上の方法で、全画素のＧ成分が高い解像
度で生成され、この結果を参照することでＲ及びＢ成分
に関しても高解像度に補間生成することができる。

【００８７】また、空白画素位置におけるＲ及びＢ成分
補間に関しては、前記空白画素位置におけるＧ成分補間
と同様のパターンマッチングを用いた線分に対する稜線
ベクトル検出により補間を行う。この時、ＲＧＢ成分の
個別のパターンマッチング結果の相違から生じる誤補間
を防止するために、Ｇ成分補間時に検出した線分角度結
果に基づきＲ及びＢ成分補間を行うように構成してもよ
い。

【００８８】以上のように、撮像素子の２×２倍の画素
数を持つ４画素分の高解像度画像が合成処理部１２８に
より生成され、生成されたフルカラー画像は画像補正処
理部１２において光学系及び撮像系の画像歪を補正する
ノイズ除去フィルタ等の処理が施され、画像圧縮処理部
１３によりＪＰＥＧ方式の画像符号化の後、インタフェ
ース部１４に送られる。このようにして、２枚の画素ず
らし画像から撮像素子２のナイキスト周波数を超える高
解像度の画像が形成される。

【００８９】本実施の形態１では、画素ずらし手段を用
いて−４５度方向に１／２画素ずらして撮影した２枚の
画像を用いて高解像度化処理する例を示したが、この限
りでない。すなわち、撮像素子２の各受光素子は有限数
が面状に配置されており受光素子面における入射光を積
分値として信号出力するため、これにより撮影画像の空
間周波数は制約（ナイキスト周波数）を受けていること
が標本化定理より説明できる。これに対し、「２台のカ
メラを用いる超高精細画像取得法」（小松、相澤、斎
藤：テレビジョン学会誌 Voｌ.４５, Nｏ.１０, pp.１
２５６〜１２６２）によると、開口率１００％の撮像素
子を用いて画素ずらし画像を統合した場合２倍以内の解
像度まで改善可能であることが明示されている。本方式
を用いて実際の撮像素子の開口率や受光素子の形状等を
考慮してずらし方向、ずらし量及び撮影枚数を最適化す
ることで合成画像における解像度を最適化することがで
きる。

【００９０】また、本実施の形態１では、合成処理部１
２８におけるパターンマッチングの際、７×７画素から
なるウィンドウを用いて８方向の線分検出を行っている
が、この限りでなく、実行するソフトウェアの高速化あ
るいは回路規模の低減を図る場合は、ウィンドウサイズ
を小型化し４５度刻みの４方向あるいは水平及び垂直の
みの２方向の画素間のエッジ線分の相関を用いるように
構成してもよい。

【００９１】また、本実施の形態１では、画素ずらし光
学系１の撮像条件を変化させた１枚目の画像を撮影し、
第一の画像メモリ７に記憶し信号レベル補正処理部１０
及び補間処理部１１の処理を終えた後に、第二の印加磁
界条件下での２枚目の撮影を開始する構成としたが、こ
の限りでない。即ち、第一の画像メモリ７に２枚分の撮
影画像を記憶させる容量を確保しておき、２枚の撮影画
像が揃った時点で画像処理部９における画像処理を開始
する構成にしても同様な効果を得ることができる。こら
れは、実際の装置の設計思想によって柔軟に変更するこ
とができる。

【００９２】また、本実施の形態１では、１枚目の撮影
画像に対して２枚目の撮影画像を−４５度方向に画素ず
らしする例を示したが、この限りでなく、４５度方向、
１３５度方向あるいは−１３５度方向にずらしても同一
の処理が適用可能であることは言うまでもない。

【００９３】実施の形態２．以下、実施の形態２を図に
ついて説明する。

【００９４】図１７は、実施の形態２の全体構成を表す
ブロック図である。図２において、図１に示す実施の形
態１と同一部分は同一符号を付してその説明は省略す
る。新たな符号として、２０は撮影した各画像データを
固定長圧縮方式にて符号化する固定長圧縮回路、２１は
撮像部５から出力される撮像デジタル信号のうち固定長
圧縮回路２０での圧縮時に使用するライン数分を遅延蓄
積するラインバッファ、２２は固定長圧縮回路２０で圧
縮された画像データを蓄積する圧縮画像メモリ、２３は
固定長伸張処理部である。

【００９５】次に、動作について説明する。画素ずらし
機構を含む撮像部５の動作については実施の形態１と同
様である。画素ずらし光学系１を用いて撮像部５から入
力された撮影画像は、固定長圧縮回路２０で画像圧縮す
るためにラインバッファ２１に一時記憶される。以下
に、固定長圧縮回路２０における圧縮動作について詳細
に説明する。

【００９６】固定長符号化手段２０における固定長符号
化アルゴリズムとしては、例えば４×４画素を１単位と
するブロック毎に隣接画素情報の冗長性を排除する符号
化法を行うものを用いる。この場合、図２の画素配列で
は隣接する画素位置に同じ色の画素が存在しないため、
固定長圧縮回路２０内において同色画素をブロック化す
る。

【００９７】図１８は、固定長圧縮回路２０により図２
の画素配列が並べ替えられる様子を示した図である。撮
影画像データは撮像部５から順次ラインバッファ２１に
蓄積され、未処理のデータが８ライン分揃った段階で画
素配列の並べ替えを始めに、固定長圧縮回路２０におけ
る符号化が実施される。画素並べ替えは、８×８画素単
位に行い各色４×４画素を単位ブロックとしてブロック
化する。並べ替え後の画像信号は、ブロックの左上方向
のアドレスと右下方向のアドレスにＧ成分が集められて
配列され、左下方向のアドレスにＢ成分、右上方向のア
ドレスにＲ成分が集められて配列される。

【００９８】また、固定長圧縮回路２０における画像符
号化方法について説明する。

【００９９】図１９は、前記並べ替えられた単位ブロッ
ク内のカラー画像信号を固定長圧縮回路２０で符号化す
る場合のアドレスを示す図である。すなわち、図１９
は、縦横４画素分ずつの同一カラーの画像信号の塊であ
る単位ブロックのうち縦方向ｍ行横方向ｎ列（ｍ、ｎは
０＜ｍ、ｎ≦４の自然数）のアドレスの画像信号に後述
する量子化レベルを付すことを表している。

【０１００】図２０は、各画素の画像信号の強度を階層
化（量子化）する量子化レベルを表す。図２０におい
て、Ｌｍｉｎは図１９に示した１６画素の画像信号強度
中の最小値、Ｌｍａｘは同じ１６画素の画像信号強度中
の最大値、Ｐ１は最大値Ｌｍａｘと最小値Ｌｍｉｎとの
間を８等分した下から８分の１の値、Ｐ２は上から８分
の１の値、Ｑ１はＬｍｉｎ以上Ｐ１以下の信号強度を有
する画素の平均値、Ｑ８はＬｍａｘ以下Ｐ２より大きい
信号強度の画素の平均値である。

【０１０１】また、ＬＤは単位ブロック内の階調幅指標
で、Ｑ８−Ｑ１に等しい。Ｌ１〜Ｌ７は階調幅指標ＬＤ
を８等分した値を小さいほうから並べたものである。Ｌ
Ａは単位ブロック内の画像データ平均値レベルで（Ｑ１
＋Ｑ８）／２に等しい。φｉｊｋは画素毎の量子化レベ
ルを表す。

【０１０２】図２１及び図２２は、この実施の形態によ
る符号化手順を示すフローチャートである。以下、この
フローチャートを参照しながら符号化手順を説明する。

【０１０３】まず、固定長圧縮回路２０は、図１８の
（ｂ）のように並べ替えられた単位ブロック内の画像デ
ータを読み込む（ステップＳＴ１）。次に、読み込んだ
４×４画素分の画像データの信号強度を演算し、以下の
各式に従って順次Ｐ１、Ｐ２、Ｑ１、Ｑ８、ＬＡ、Ｌ
Ｄ、Ｌ１〜Ｌ７の値を求める（ステップＳＴ２〜ステッ
プＳＴ１３）。

【０１０４】Ｐ１＝（Ｌｍａｘ＋７Ｌｍｉｎ）／８ Ｐ２＝（７Ｌｍａｘ＋Ｌｍｉｎ）／８ Ｑ１＝Ａｖｅ（Ｘｍｎ≦Ｐ１） Ｑ２＝Ａｖｅ（Ｘｍｎ＞Ｐ２） ＬＡ＝（Ｑ１＋Ｑ８）／２ ＬＤ＝Ｑ８−Ｑ１ Ｌ１＝ＬＡ−３ＬＤ／８ Ｌ２＝ＬＡ−ＬＤ／４ Ｌ３＝ＬＡ−ＬＤ／８ Ｌ５＝ＬＡ＋ＬＤ／８ Ｌ６＝ＬＡ＋ＬＤ／４ Ｌ７＝ＬＡ＋３ＬＤ／８

【０１０５】なお、Ｑ１の式はＬｍｉｎ以上Ｐ１以下の
信号強度を持つ画素の平均値を求めることを意味し、Ｑ
８の式はＬｍａｘ以下Ｐ２より大きい信号強度を持つ画
素の平均値を求めることを意味する。

【０１０６】このようにして、順次Ｐ１、Ｐ２、Ｑ１、
Ｑ８、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求めた後、固定長
圧縮回路２０はｎ＝１、ｍ＝１とおいて（ステップＳＴ
１４、１５）、この時のアドレス（ｍ，ｎ）の画素の信
号強度（以後、画素値と称する）Ｘｍｎ（すなわち画素
値Ｘ１１）がＬ１以下であるか否かを判断する（ステッ
プＳＴ１６）。

【０１０７】画素値Ｘ１１がＬ１以下である場合には、
この画素値の量子化レベルφｉｊｋを２進数の０００と
設定する（ステップＳＴ１７）。次に、ｍを１だけイン
クリメントし（ステップＳＴ３１）、ｍが４以下である
か否かを判別する（ステップＳＴ３２）。ｍが４以下で
ある場合は、その画素の画素値を再びＬ１と比較する
（ステップＳＴ１６）。

【０１０８】ｍが４より大きい場合には、ｎを１だけイ
ンクリメントし（ステップＳＴ３３）、インクリメント
したｎが４以下であるか否かを判別する（ステップＳＴ
３４）。ｎが４以下である場合は、その画素の画素値を
再びＬ１と比較する（ステップＳＴ１６）。

【０１０９】画素値ＸｍｎがＬ１より大きい場合には、
Ｌ２以下であるか否かを判別し（ステップＳＴ１８）、
が措置ＸｍｎがＬ２以下である場合は、この画素の量子
化レベルφｉｊｋを２進数の００１と設定する（ステッ
プＳＴ１９）。次に、ｍを１だけインクリメントし（ス
テップＳＴ３１）、ｍが４以下であるか否かを判別する
（ステップＳＴ３２）。ｍが４以下である場合は、その
画素の画素値を再びＬ１と比較する（ステップＳＴ１
６）。ｍが４より大きい場合には、ｎを１だけインクリ
メントし（ステップＳＴ３３）、インクリメントしたｎ
が４以下であるか否かを判別する（ステップＳＴ３
４）。ｎが４以下である場合には、その画素の画素値を
再びＬ１と比較する（ステップＳＴ１６）。

【０１１０】以下、同様に、画素値がＬ１〜Ｌ２間、Ｌ
２〜Ｌ３間、Ｌ３〜ＬＡ間、ＬＡ〜Ｌ５間、Ｌ５〜Ｌ６
間、Ｌ６〜Ｌ７間のいずれの値を有するかを判別し（ス
テップＳＴ１６、ＳＴ１８、ＳＴ２０、ＳＴ２２、ＳＴ
２４、ＳＴ２６、ＳＴ２８）、その値に応じてそれぞれ
量子化レベルφｉｊｋ＝０００、００１、０１０、０１
１、１００、１０１、１１０、１１１を当該画素に割り
振る（ステップＳＴ１７、ＳＴ１９、ＳＴ２１、ＳＴ２
３、ＳＴ２５、ＳＴ２７、ＳＴ２９）。

【０１１１】このようにして、同一単位ブロック内の全
画素に量子化レベルを割り振って符号化を終了する。単
位ブロックの符号化データはＬＡ、ＬＤ、各画素毎のφ
ｉｊｋである。

【０１１２】これらの処理は、画面全体に対して単位ブ
ロック数分繰り返す。Ａ／Ｄ変換回路４からのデジタル
信号が１画素あたり１０ビットである場合（ビット詰め
しない場合２バイト相当）、固定長符号化による画像圧
縮率は１０／３２である。このように各撮影画像データ
は、逐次同色画素の画素のみで構成されたブロック毎に
固定長圧縮回路２０において固定長符号化が行われ、画
像データ量の低減が施された上でメモリ制御部８を介し
て圧縮画像メモリ２２に蓄積される。

【０１１３】こうして２枚の撮影画像データが圧縮画像
メモリ２２に蓄積された後に、画像処理部９における画
像処理が施される。始めに、固定長圧縮回路２０におい
て符号化されている画像データの復号化処理を行う。固
定長伸長処理部２３における画像復号化方法について図
について説明する。図２３は、固定長伸長処理部２３の
動作を示すフローチャートである。以下、このフローチ
ャートを参照しながら固定長伸長処理部２３の固定長復
号化動作を説明する。

【０１１４】固定長復号化動作が開始されると、まず、
縦方向座標値ｎを１に設定し（ステップＳＴ４０）、に
横方向座標値ｍを１に設定する（ステップＳＴ４１）。
すなわち、ステップＳＴ４０及びステップＳＴ４１の動
作によってある単位ブロック中の座標値（１，１）のア
ドレスが指定される。

【０１１５】次に、指定したアドレスの量子化レベルΦ
ｉｊｋがいくつであるか判定し（ステップＳＴ４２、Ｓ
Ｔ４４、ＳＴ４６、ＳＴ４８、ＳＴ５０、ＳＴ５２、Ｓ
Ｔ５４）、判定した各量子化レベルΦｉｊｋに応じて平
均値レベルＬＡと階調幅指標ＬＤとに基づいてその画素
の信号強度Ｙｍｎ（座標値（１，１）の画素であるなら
ばＹ１１）を求める（ステップＳＴ４３、ＳＴ４５、Ｓ
Ｔ４７、ＳＴ４９、ＳＴ５１、ＳＴ５３、ＳＴ５５、Ｓ
Ｔ５６）。

【０１１６】各ステップにおいて平均値レベルＬＡと階
調幅指標値ＬＤとから信号強度Ｙｍｎを求めるには、そ
れぞれ次の演算式に従う。

【０１１７】 Ｙｍｎ＝ＬＡ−ＬＤ／２ （ステップＳＴ４３） Ｙｍｎ＝ＬＡ−５ＬＤ／１４ （ステップＳＴ４５） Ｙｍｎ＝ＬＡ−３ＬＤ／１４ （ステップＳＴ４７） Ｙｍｎ＝ＬＡ−ＬＤ／１４ （ステップＳＴ４９） Ｙｍｎ＝ＬＡ＋ＬＤ／１４ （ステップＳＴ５１） Ｙｍｎ＝ＬＡ＋３ＬＤ／１４ （ステップＳＴ５３） Ｙｍｎ＝ＬＡ＋５ＬＤ／１４ （ステップＳＴ５５） Ｙｍｎ＝ＬＡ＋ＬＤ／２ （ステップＳＴ５６） 画素（１，１）の信号強度を求めたら、次に横方向に画
素を１つ移動し（ステップＳＴ５７、ＳＴ５８）、同一
の手順で画素（２，１）の信号強度を復号化する（ステ
ップＳＴ４２〜ＳＴ５６）。

【０１１８】このようにして、単位ブロック内の最上段
の画素について信号強度を復号化した後（ステップＳＴ
５８）、縦方向の座標値を１だけインクリメントし（ス
テップＳＴ５９）、次の段の画素について同様にして信
号強度を復号化する（ステップＳＴ４２〜ＳＴ５８）。

【０１１９】このようにして単位ブロック内の全画素に
ついて信号強度を復号化して（ステップＳＴ４１〜ＳＴ
６０）復号化動作を終了する。

【０１２０】次に、復号化されたデータに、図２４に示
すように固定長圧縮回路２０で並べ替えたデータの逆の
並べ替え処理を施して画素信号を走査線方向に読み出し
たときと同一の順序で並べ替え、第一の画像メモリ７に
記憶される。

【０１２１】以上のように、第一の画像メモリ７上には
固定長圧縮前の画像データと等価な画像データが蓄積さ
れていることになり、実施の形態１と同様の画像処理が
画像処理部９の他のブロックにおいて施され、インタフ
ェース部１４に出力される。

【０１２２】以上のように、複数枚の画像を撮影する際
に、各々の画像データを固定長圧縮回路２０を用いてデ
ータ圧縮することにより、撮像部５のＡ／Ｄ変換手段３
から出力される画像信号を第一の画像メモリ７に蓄積す
る際、より少ないデータ量をデータバスに供給し記憶手
段に蓄積することが可能となり、連写間隔を短縮するた
めの高速なメモリ制御回路あるいは最低１フレーム分の
高速書込みが可能な半導体メモリを使用する必要がなく
なり、装置を低価格に構成することが可能となる。

【０１２３】これは言い換えれば、少量の高速な圧縮画
像メモリ２２を使用することで記憶手段への撮影したデ
ータ蓄積速度を見かけ上高速化することが可能であり、
１枚目の撮影シーケンスが短時間に終了することで２枚
目の撮影動作を短時間の間合いで開始することができる
ことになる。そのために、２枚の撮影画像間に生じる被
写体の時間的な変化あるいは撮影者の手ぶれ等を最小限
に抑えることが可能となり、同一被写体を高精度に１／
２画素ずらした撮影が実現できるという効果がある。

【０１２４】実施の形態２では、第一の画像メモリ７と
圧縮画像メモリ２１は別個に設ける構成としたが、この
限りでなく、共通の物理アドレス領域を有する半導体メ
モリ上に併設する構成としてもよい。また、これらのメ
モリと第二の画像メモリ１２７についても同一の半導体
メモリ上に併設可能であることは言うまでもない。

【０１２５】また、実施の形態２では、固定長圧縮回路
２０と固定長圧縮回路２０に用いるラインバッファ２２
及び圧縮画像メモリ２１を別個に設ける構成としたが、
この限りでなく、これらの構成要素の２つ以上をＬＳＩ
等の集積回路１石に包含する構成としてもよい。

【０１２６】実施の形態３．以下、実施の形態３を図に
ついて説明する。画素ずらし手段を含む撮像部５の構成
及び動作、画像処理部９の構成に関しては、実施の形態
１及び２と同様に、図１あるいは図１７のように構成さ
れる。実施の形態３で特徴的である画像処理部９の信号
レベル補正処理部１０の動作について詳細な説明を行
う。

【０１２７】撮像部５で撮影された２枚の画像信号は、
Ａ／Ｄ変換回路３を経て画像処理部９の第一の画像メモ
リ７に蓄積される。蓄積された画像データは、各々信号
レベル補正処理部１０で白バランス補正処理やガンマ補
正処理等の個別に適用可能な信号補正処理を施される。
この時、１枚目の画像と２枚目の画像は時系列的に撮影
されているため、例えば５０〜６０ＭＨｚの比較的低周
波で発光を繰り返す蛍光灯を光源として撮影した場合、
光源の発光タイミングとシャッタ時間の関係で２枚の画
像の入射光量に差異が生じる場合がある。即ち、撮影し
た２枚の画像の平均明度に差が生じ、後段の合成処理部
１２８で補間画像の合成処理を行う際に画質劣化の原因
となりうる。

【０１２８】図２５（ａ）は１枚目の撮像条件に比して
２枚目の撮像条件における照明光量が３０％程度低下し
た場合の同一被写体を撮影した際の明度特性を示してい
る。定照明下で撮影した際の各信号レベルは、照明条件
が変化した場合に平均明度の低下とダイナミックレンジ
の縮小が発生する。図中、Ｍａｘ及びＭｉｎ値は各画像
における最大信号レベル及び最小信号レベルである。実
施の形態３における信号レベル補正処理部１０では、各
画像内の信号レベル補正処理の他、２枚の画像の信号レ
ベル補正処理を行う。

【０１２９】即ち、各画像における最大信号レベル値及
び最小信号レベル値を検出し、いずれか一方の信号レベ
ル特性に他方を合せ込む処理を行う。通常は、１枚目の
画像撮影時に自動露出補正あるいはシャッタ速度最適化
を行い最適条件下で撮影を行うため、２枚目の画像を１
枚目の明度分布特性に合わせるようにする。

【０１３０】補正前後の２枚目の画像における各信号レ
ベルをそれぞれＤ（ｊ）（ｊは定照明下での各明度レベ
ル値）及びＤ’（ｊ）とすると、始めに式（４）に従っ
て補正を行う（図２５（ｂ）参照）。

【０１３１】 Ｄ’（ｊ）＝Ｄ（ｊ）＋（Ｍｉｎ１−Ｍｉｎ２） （４）

【０１３２】続いて、式（５）に従って１枚目の画像及
び式（４）にて補正した２枚目の画像のダイナミックレ
ンジを補正し最終的な２枚目の補正信号レベルＤ’’
（ｊ）を算出する（図２５（ｃ）参照）。

【数３】 以上の手順で信号レベル補正処理部１０を構成すること
により、撮影した２枚の画像の照明条件が異なる場合に
おいても明度特性を良好に一致させることが可能であ
り、高精度の画素補間・合成処理が実現可能である。

【０１３３】また、撮像装置を図１７（実施の形態２）
に示す構成にし、撮影画像を固定長圧縮回路２０を用い
て符号化する場合、各符号におけるＬＡは１６画素から
なるブロック内の平均信号レベルを代表する値であるこ
とから、上記手順を全てＬＡを対象に実施しても等価的
に同等の効果を実現可能であることは容易に説明でき
る。このように構成した場合、上記全画素を対象に行っ
ていた最大・最小信号レベル検出及び信号レベル補正に
関する演算規模を１／１６に抑制することが可能であ
り、処理の高速化を実現できるという格別の効果があ
る。

【０１３４】実施の形態３では、２枚目の撮影画像に対
して式（４）及び式（５）を順次適用するように構成し
たが、この限りでなく、これらを１回の画像データ走査
で行えることは言うまでもない。

【０１３５】実施の形態４．以下、実施の形態４を図に
ついて説明する。実施の形態４における全体構成は実施
の形態１における図１あるいは実施の形態２における図
１７の構成と同様である。本実施の形態４では、画素ず
らし光学系１として、電界の強さに応じて透過光の屈折
現象が変化する電気光学素子を用いる点が、実施の形態
１及び実施の形態２と異なる。

【０１３６】図２６及び図２７は、本実施の形態４にお
ける撮像部５の構成を示したものである。これら図にお
いて、３０は電圧印加により電界を発生する電界発生回
路、３１は電気光学素子である。

【０１３７】次に動作について説明する。図２６の撮像
部５について構成及び動作を説明する。図２６の動作原
理図である図２７中の電気光学素子３１及び偏光板１８
をＡ−Ａ、Ｂ−Ｂ、Ｃ−Ｃの方向から見たものをそれぞ
れ図２８、図２９、図３０に示す。

【０１３８】図２７において、画像を結像するためのレ
ンズ６１から電気光学素子３１に入射する自然光は、図
２８に示すように、互いに直交する２つの偏光成分
Ｌ_X、Ｌ_Yで表すことができる。電気光学素子３１に電界
が印加されていない場合は、図２９のＬ_X0、Ｌ_Y0に示す
偏光成分が前記Ｌ_X、Ｌ_Yが直進した位置に観測される。
電気光学素子３１に所定の電界Ｅ１が印加されると、該
電気光学素子３１は複屈折現象を呈し、図２９のＬ_X1、
Ｌ_Y1に示す偏光成分が観測される。

【０１３９】ここで、Ｌ_X1は複屈折現象における常光線
としてＬXが直進した位置に、Ｌ_Y1は複屈折現象の異常
光線としてＬ_Yが距離Ｐだけずれ対置に観測される。た
だし、この場合、図３０に示すようなＰ＝ＰＨ／２（Ｐ
Ｈは撮像素子２の水平画素ピッチを示す）となるような
電界Ｅ１を電界発生回路３０により電気光学素子３１に
印加する。

【０１４０】上記撮像装置における動作タイミングを図
８により説明すると、図８（ａ）はフィールドシフトパ
ルス、図８（ｂ）は電気光学素子３１に印加される電界
Ｅ１の強さを示す図、図８（ｃ）は信号読み出しパル
ス、図８（ｄ）は撮像素子２の出力信号を示す図、図８
（ｅ）はＡ、Ｂフィールドを１フレームとして見た場合
の図である。電界Ｅ１の強さの変化の位相を図８（ａ）
のフィールドシフトパルスに一致させる。

【０１４１】上述の動作により、この実施の形態４の撮
像装置は、 Ａ、Ｂフィールドでの信号電荷蓄積を入射
画像と撮像素子２の画素との相対的な位置に関してＰＨ
／２だけ離れた位置で行うことができる。これに対応し
て図８（ｃ）に示す信号読み出しパルスのタイミングも
ＰＨ／２に相当する時間Ｔだけずらしてある。その結
果、図８（ｅ）に示すように、この撮像装置はＡ、Ｂフ
ィールドを１フレームとした１周期で高画素密度化した
画像を得ることができる。

【０１４２】実施の形態４における画像処理部９の構成
及び動作はこれまでの実施の形態で説明したいずれを用
いても構成できる。

【０１４３】実施の形態５．以下、実施の形態５を図に
ついて説明する。実施の形態５における全体構成は実施
の形態１における図１あるいは実施の形態２における図
１９と同様である。本実施の形態５では、画素ずらし光
学系１として直線偏光を作る偏光板及び入射光の方位角
を変更する液晶板を用いた場合を例にとって説明する。

【０１４４】図３１は、本実施の形態５における撮像部
５の構成を示したものである。

【０１４５】図３１において、１８は入射光に対して直
線偏光を生成する偏光板、９２は偏光板１８で生成され
た直線偏光を電圧の印加条件で方位角が変更可能な液晶
板、９１は液晶板９２への印加電圧を制御する駆動電圧
制御回路である。

【０１４６】次に、動作について説明する。画素ずらし
光学系１および撮像素子２の拡大図を図３２に示す。図
３２において、Ａ−Ａは偏光板１８の入射側、Ｂ−Ｂは
偏光板１８の出射側、Ｃ−Ｃは液晶板９２の出射側、Ｄ
−Ｄは複屈折板１９の出射側の垂直方向の位置を示して
いる。図３３〜図３６には図３２に示した前記Ａ−Ａか
らＤ−Ｄまでの各位置における光の偏光方向を示す。

【０１４７】被写体を撮像する場合、光学系に入射され
る光は無偏光であるため、図３３のように、垂直方向の
偏光成分と水平方向の偏光成分とで示すことができる。
偏光板１８は入射された光から直線偏光した光を出射す
る。また、その方位角は、図３４に示すように、撮像素
子２の水平方向の画素配列を基準角とすると、基準角に
対して４５°の角度となるように、偏光板１８の偏光方
向の偏光軸を傾けて配置する。

【０１４８】液晶板９２は、内部に液晶層を有し、２枚
の電極基板で液晶を挟んだ板であり、外部から電圧すな
わち電界が加わることにより、内部の液晶の分子配列変
化に伴う電気光学効果を引き起こす。この発明にて用い
る液晶板９２は、入射される直線偏光の光の偏光方向
を、液晶板９２に電圧を加える、または加えている電圧
を切ることにより、変化させるものである。上記液晶板
９２を実現させるための一例として前記電気光学効果の
内、代表的な電界効果型である、ねじれネマチック（Ｔ
Ｎ）型液晶による旋光効果などが挙げられる。その動作
を図３７および図３８に示す。

【０１４９】ＴＮモードを示すネマチック液晶は正の誘
電異方性をもち、素子の分子配列を図３７、３８に示
す。図３７，３８中、９３が液晶分子である。基板に電
圧が印加されたときは、図３７に示すように分子長軸方
向が両基板面で直行しているように配列するため、偏光
板１９を介して入射された直線偏光はそのまま出射され
る。電圧が無印加の時は素子内の液晶分子の配列は連続
的に９０°ねじれており、光学的には９０°旋光効果を
起こすため、偏光板１９から入射された直線偏光は９０
°ねじれて、出射光は入射光に対して９０°偏光方向が
異なるようになる。

【０１５０】液晶板９２から出射された光の偏光を図３
５に示す。図３５において、ｃ１は前記液晶板９２にお
いて電圧が印加された状態であり、電圧無印加時にはｃ
２のように基準角度に対して１３５°の方位角を有した
直線偏光となる。今、ｃ１の直線偏光を第１の偏位方
向、ｃ２の直線偏光を第２の偏位方向とする。液晶板９
２から出射された光は次に複屈折板１９に入射される。

【０１５１】複屈折板１９は屈折率が偏光方向によって
均一でない、いわゆる複屈折を有する材質であり、撮像
装置では被写体の空間周波数が撮像素子２の画素ピッチ
から求められるサンプリング周波数を超えている場合、
追い返しノイズ（エイリアジングノイズ）として画像に
現れるため、光学的ローパスフィルタとして水晶板など
が良く用いられている。水晶板すなわち複屈折板１９は
入射する光を常光線と異常光線とに分離し、その分離の
距離間は複屈折板１９の厚みによって調整することが可
能である。

【０１５２】第１の偏位方向の入射光を常光線、第２の
偏位方向の入射光を異常光線とするように複屈折板を設
けると、図４に示すように、異常光線は点線で示される
ように、その光軸は常光線と異とし、それぞれの偏位方
向を有する入射光は図３６中ｄ１，ｄ２に示すように撮
像素子２上の異なった位置に結像する。また、前記複屈
折板１９の厚みを図３６に示すように水平方向の撮像素
子の画素ピッチｗｘの半分であるｗｘ／２、垂直方向の
撮像素子の画素ピッチｗｙの半分であるｗｙ／２だけ異
常光線が常光線に対して異なるように設ける。

【０１５３】よって、前記第１の偏位方向の時に撮像素
子２上に結像した像を撮像した第１の画像と、第２の偏
位方向の時に撮像した第２の画像の２枚の画像は互いに
水平垂直とも１／２画素分、相対的にずれている。

【０１５４】以上のことから、撮像装置は、撮像部制御
回路４からの制御により撮像素子２を駆動させる際に駆
動電圧制御回路９１から液晶板９２へ駆動電圧を出力す
る。液晶板９２は電圧が加わることにより図３９に示す
液晶分子配列となり、第１の偏位方向の入射光は撮像素
子２上に結像される。撮像素子２は撮像部制御回路４の
制御により駆動電圧制御回路９１からの駆動信号により
撮像を行い第１の画像を得る。

【０１５５】次に、第１の画像を撮像した後、駆動電圧
制御回路９１は液晶板９２への印加電圧を０とする。液
晶板９２の液晶分子配列は、図３８に示したようにな
り、第２の偏位方向の入射光は撮像素子２上に結像され
る。撮像素子２は駆動電圧制御回路９１からの駆動信号
により撮像を行い第２の画像を得る。

【０１５６】液晶板９２への印加電圧パルスを図３９に
示す。撮像部制御回路４は図３９における状態１の間に
第１の画像の撮像を終了させ、同図状態２の間に第２の
画像の撮像を終了させる。

【０１５７】上記のように動作させることにより、水平
垂直とも１／２画素ずれた第１の画像および第２の画像
を得ることができる。

【０１５８】以上のように得られた１枚目の撮影画像と
１／２画素ずらして撮影された２枚目の画像は、逐次Ａ
／Ｄ変換手段３においてデジタル信号に変換された後、
画像処理部９に送信される。

【０１５９】実施の形態５では、１枚目の画像に対して
２枚目の撮影画像を１／２画素ずらす方向として４５度
方向にずらすものを例に説明したがこの限りでなく、液
晶９２及び複屈折板１９の配置あるいは液晶９２への印
加電圧を適宜組み合わせることにより１３５度方向、−
４５度方向、−１３５度方向など実現可能である。

【０１６０】また、実施の形態５では、入射する直線偏
光の偏光方向を変化させる液晶板９２として、ＴＮ型液
晶を一例として挙げたが、光電効果により旋光効果を有
する液晶板９２であれば、同様の効果を有することがで
きる。

【０１６１】なお、実施の形態１において、図３に示し
た画素ずらし光学系１では、レンズ６１は、偏光板１
８、磁気光学素子１７、複屈折板１９からなる画素ずら
しを行うための手段よりも被写体寄りの位置に配置され
ているが、この限りでない。即ち、レンズ６１をこれら
の手段の後段に配置することで同様の画素ずらし効果が
得られると共に、画素ずらしのための手段を着脱可能な
構成にすることにより、通常の撮像装置でありながら画
素ずらしのための手段を装着することで高精細な画像を
撮像可能な撮像装置として実現できるという格別な効果
が生じる。

【０１６２】また、実施の形態４では、図２６に示した
画素ずらし光学系１では、レンズ６１は、偏光板１８と
電気光学素子３１からなる画素ずらしを行うための手段
よりも被写体寄りの位置に配置されているが、この限り
でない。即ち、レンズ６１をこれらの手段の後段に配置
することで同様の画素ずらし効果が得られると共に、画
素ずらしのための手段を着脱可能な構成にすることによ
り、通常の撮像装置でありながら画素ずらしのための手
段を装着することで高精細な画像を撮像可能な撮像装置
として実現できるという格別な効果が生じる。

【０１６３】また、以上の全ての実施の形態において
は、静止画像を連続的に取り込み可能なディジタルスチ
ルカメラでの構成例を示したが、動画像を取り込み可能
なディジタルビデオレコーダにおける高精細静止画撮影
モードなどとして構成可能であることは言うまでもな
い。

【０１６４】また、以上の全ての実施の形態において
は、撮像装置の内部で色補間処理及び合成処理を実行可
能な構成例を示したがこの限りでなく、パーソナルコン
ピュータやカラープリンタ等、撮像装置に直接あるいは
記憶媒体を間接的に経由して接続可能な機器上で構成し
てもよい。

【０１６５】

【発明の効果】以上のように、この発明によれば、撮像
素子に対する入射光の位置を半画素分だけ光学的に変位
させる画素ずらし手段と、上記画素ずらし手段による変
位前後の撮像素子の撮像画像を記憶する第一の画像記憶
手段と、上記第一の画像記憶手段に記憶されている撮像
画像を構成する撮像色信号のうち、参照色である撮像色
信号が形成する三角形と補間色である非撮像色信号が形
成する三角形の相似比を考慮して色補間を行う補間手段
と、変位前後の撮像画像を上記補間手段で各々色補間し
た結果を記憶する第二の画像記憶手段と、変位前後の撮
像素子の撮像画像を合成する合成手段とを備えたので、
画素数の増加量に対して十分に解像度が向上した画像を
実現することが可能な撮像装置を得ることができる。

【０１６６】また、上記合成手段は、撮像画素が存在し
ない位置の空白画素を画素補間する場合、画像中のエッ
ジに当たる部分が空白画素を通過するか否かを判定し、
その空白画素を通過する時にはエッジ成分の稜線方向に
当該空白画素を画素補間するようにしたので、エッジ線
分の稜線方向に画素補間を実行することでシャープなエ
ッジ再現が可能となる。

【０１６７】また、撮像素子の撮像画像を圧縮して、そ
の圧縮画像を圧縮画像メモリに格納し、その圧縮画像を
伸張して上記第一の画像記憶手段に出力する圧縮・伸張
手段を設けたので、複数枚の画像を撮影する際に、各々
の画像データを圧縮することにより、撮像部の画像信号
を第一の画像メモリに蓄積する際、より少ないデータ量
をデータバスに供給し記憶手段に蓄積することが可能と
なり、連写間隔を短縮するための高速なメモリ制御回路
あるいは最低１フレーム分の高速書込みが可能な半導体
メモリを使用する必要がなくなり、装置を低価格に構成
することが可能となる。

【０１６８】また、上記第一の画像記憶手段に記憶され
ている変位前後の撮像素子の撮像画像を構成する撮像色
信号の信号レベルを補正する信号レベル補正手段を設け
たので、ＲＧＢ各色に対応して色フィルタの感度特性を
良好なものにすることができる。

【０１６９】また、上記信号レベル補正手段は、変位前
後の撮像素子の撮像画像における所定領域の撮像色信号
の平均信号レベルを計算し、双方の平均信号レベルが一
致するように撮像色信号の信号レベルを補正するように
したので、撮像した２枚の画素の照明条件が異なる場合
においても明度特性を良好に一致させることが可能であ
り、高精度の画素補間・合成処理が実現できる。

【０１７０】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された磁気光学素子を備え、当
該磁気光学素子に与える磁界の強度を制御して、撮像素
子に対する入射光の位置を変位させるので、高画素密度
化画像を得ることができる。

【０１７１】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された電気光学素子を備え、当
該電気光学素子に与える電界の強度を制御して、撮像素
子に対する入射光の位置を変位させるので、高画素密度
化画像を得ることができる。

【０１７２】また、上記画素ずらし手段は、入射光を撮
像素子に導く光路に配置された液晶板を備え、当該液晶
板に与える電圧の強度を制御して、撮像素子に対する入
射光の位置を変位させるので、高画素密度化画像を得る
ことができる。

【０１７３】また、撮像光学系と撮像素子の間に上記画
素ずらし手段を配置することで、画素ずらし手段を着脱
可能な構成にすることにより通常の撮像装置でありなが
ら画素ずらし手段を装着することで高精細度な画像を撮
像可能な撮像装置として実現できる。を特徴とするもの
である。

【０１７４】さらに、撮像光学系の前段に上記画素ずら
し手段を配置することで、画素ずらし手段を着脱可能な
構成にすることにより通常の撮像装置でありながら画素
ずらし手段を装着することで高精細度な画像を撮像可能
な撮像装置として実現できる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１を示す全体ブロック
図である。

【図２】 Bayer配列をした撮像素子の説明図である。

【図３】 図１における撮像部５の詳細構成を示した図
である。

【図４】 図１における撮像部５の構成及び動作説明の
ための図である。

【図５】 偏光板１８、ファラデー素子１７、複屈折板
１９を、図４のＡ−Ａ線から見た図である。

【図６】 偏光板１８、ファラデー素子１７、複屈折板
１９を、図４のＢ−Ｂ線から見た図である。

【図７】 偏光板１８、ファラデー素子１７、複屈折板
１９を、図４のＣ−Ｃ線から見た図である。

【図８】 撮像装置における動作タイミングの説明図で
ある。

【図９】 撮像原理により、図２のBayer型単板カラー
撮像素子を用いて、画素ずらし画像を撮影する説明図で
ある。

【図１０】 補間処理部１１及び合成処理部１２８の処
理手順を示したフローチャートである。

【図１１】 画素数が縦横とも２倍である１枚の合成画
像を構成する画素の配置説明図である。

【図１２】 図１１で重心の位置関係に対応した、補間
処理部１１の処理実行前の既存画像信号成分とその位置
関係についての説明図である。

【図１３】 撮像色信号がＲ色である画素の位置（以
下、Ｒ画素位置と称す）の非撮像色信号のうちＧ色信号
を補間生成する場合の説明図である。

【図１４】 図１３の場合で水平方向の類似性が高いと
判断されて水平方向成分の参照色信号を用いて補間色信
号の色補間を行う場合の説明図である。

【図１５】 画像中に存在するＧ成分の位置関係を示ス
説明図である。

【図１６】 線分角度情報に基づいて線分の稜線方向に
存在する複数の画素値を線形補間して注目画素のＧ成分
が算出される場合の説明図である。

【図１７】 この発明の実施の形態２の全体構成を表す
ブロック図である。

【図１８】 固定長圧縮回路２０により図２の画素配列
が並べ替えられる様子を示した図である。

【図１９】 並べ替えられた単位ブロック内のカラー画
像信号を固定長圧縮回路２０で符号化する場合のアドレ
スを示す図である。

【図２０】 各画素の画像信号の強度を階層化（量子
化）する量子化レベルを表す図である。

【図２１】 実施の形態２による符号化手順を示すフロ
ーチャートである。

【図２２】 実施の形態２による符号化手順を示すフロ
ーチャートである。

【図２３】 固定長伸長処理部２３の動作を示すフロー
チャートである。

【図２４】 固定長圧縮回路２０で並べ替えたデータの
逆の並べ替え処理を施して画素信号を走査線方向に読み
出したときと同一の順序で並べ替え、第一の画像メモリ
７に記憶される場合の説明図である。

【図２５】 定照明下での被写体明度の説明図である。

【図２６】 この発明の実施の形態４における撮像部５
の構成を示した図である。

【図２７】 図２６の動作原理図である。

【図２８】 図２７中の電気光学素子３１及び偏光板１
８をＡ−Ａの方向から見た図である。

【図２９】 図２７中の電気光学素子３１及び偏光板１
８をＢ−Ｂの方向から見た図である。

【図３０】 図２７中の電気光学素子３１及び偏光板１
８をＣ−Ｃの方向から見た図である。

【図３１】 この発明の本実施の形態５における撮像部
５の構成を示した図である。

【図３２】 画素ずらし光学系１および撮像素子２の拡
大図である。

【図３３】 図３２に示したＡ−Ａの各位置における光
の偏光方向を示す図である。

【図３４】 図３２に示したＢ−Ｂの各位置における光
の偏光方向を示す図である。

【図３５】 図３２に示したＣ−Ｃの各位置における光
の偏光方向を示す図である。

【図３６】 図３２に示したＤ−Ｄの各位置における光
の偏光方向を示す図である。

【図３７】 液晶板９２を実現させるための一例として
前記電気光学効果の内、代表的な電界効果型である、ね
じれネマチック（ＴＮ）型液晶による旋光効果の説明図
である。

【図３８】 図３７と関連する旋光効果の説明図であ
る。

【図３９】 図液晶分子配列の説明図である。

【図４０】 特開平７−２３６０８６号公報に示された
光学的に画素数を増加させる従来の画像入力装置のブロ
ック図である。

【図４１】 撮像部の機構を示す斜視図である。

【図４２】 撮像によって得られた前後左右の信号の平
均値からＧ１’，Ｇ２’を補間する際の説明図である。

【図４３】 補間して得られたＧ信号からさらに内挿す
ることにより全画素分のＧ信号を得る場合の説明図であ
る。

【図４４】 左右のＢ１信号からＢ１’信号を内挿し、
さらに、補間したＢ１’信号からＢ１”信号を内挿する
場合の説明図である。

【図４５】 補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”
から残りの画素の内挿を行う説明図である。

【符号の説明】

１ 画素ずらし光学系、２ 撮像素子、３ Ａ／Ｄ変換
回路、４ 撮像部制御回路、５ 撮像部、６ カメラ制
御部、７ 第一の画像メモリ、８ メモリ制御部、９
画像処理部、１０ 信号レベル補正処理部、１１ 補間
処理部、１２画像補正処理部、１３ 画像圧縮処理部、
１４ インタフェース部、１５ 磁界発生回路、１６
コイル、１７ ファラデー素子、１８ 偏光板、１９
複屈折板、２０ 固定長圧縮回路、２１ ラインバッフ
ァ、２２ 圧縮画像メモリ、２３ 固定長伸張処理部、
３０ 電界発生回路、３１ 電気光学素子、６１ レン
ズ、９１ 駆動電圧発生回路、９２ 液晶板、１２７
第二の画像メモリ、１２８ 合成処理部。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 ５Ｃ０７７ 1/60 5/225 Ｚ ５Ｃ０７９ 1/46 101:00 5/225 1/40 Ｄ // Ｈ０４Ｎ 101:00 1/46 Ｚ Ｆターム(参考） 5B057 AA01 BA15 CA01 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CD06 CE08 CE16 CH01 CH11 CH16 DA08 DB02 DB06 DB09 DC16 5C022 AA13 AB46 AC42 AC51 AC74 CA07 5C065 BB30 CC02 CC03 CC07 CC08 CC09 DD02 EE01 EE05 EE06 EE12 GG13 GG18 GG30 5C073 AA03 BB02 BC04 CE01 CE04 CE06 5C076 AA01 AA12 AA19 BA03 BA04 BA06 BB04 BB13 5C077 LL19 MM03 MM30 PP10 PP23 PP32 PQ12 PQ22 RR01 RR19 RR21 SS03 TT09 5C079 HB01 JA11 LA11 LA17 LA26 LA28 LA40 MA02 MA11 NA04 PA00

Claims (10)

【特許請求の範囲】
1. 【請求項１】 撮像素子に対する入射光の位置を半画素
   分だけ光学的に変位させる画素ずらし手段と、 上記画素ずらし手段による変位前後の撮像素子の撮像画
   像を記憶する第一の画像記憶手段と、 上記第一の画像記憶手段に記憶されている撮像画像を構
   成する撮像色信号のうち、参照色である撮像色信号が形
   成する三角形と補間色である非撮像色信号が形成する三
   角形の相似比を考慮して色補間を行う補間手段と、 変位前後の撮像画像を上記補間手段で各々色補間した結
   果を記憶する第二の画像記憶手段と、 変位前後の撮像素子の撮像画像を合成する合成手段とを
   備えた撮像装置。
2. 【請求項２】 請求項１に記載の撮像装置において、 上記合成手段は、撮像画素が存在しない位置の空白画素
   を画素補間する場合、画像中のエッジに当たる部分が空
   白画素を通過するか否かを判定し、その空白画素を通過
   する時にはエッジ成分の稜線方向に当該空白画素を画素
   補間することを特徴とする撮像装置。
3. 【請求項３】 請求項１または２に記載の撮像装置にお
   いて、 撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画
   像メモリに格納し、その圧縮画像を伸張して上記第一の
   画像記憶手段に出力する圧縮・伸張手段を設けたことを
   特徴とする撮像装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の撮
   像装置において、 上記第一の画像記憶手段に記憶されている変位前後の撮
   像素子の撮像画像を構成する撮像色信号の信号レベルを
   補正する信号レベル補正手段を設けたことを特徴とする
   撮像装置。
5. 【請求項５】 請求項４記載の撮像装置において、 上記信号レベル補正手段は、変位前後の撮像素子の撮像
   画像における所定領域の撮像色信号の平均信号レベルを
   計算し、双方の平均信号レベルが一致するように撮像色
   信号の信号レベルを補正することを特徴とする撮像装
   置。
6. 【請求項６】 請求項１ないし５のいずれかに項記載の
   撮像装置において、 上記画素ずらし手段は、入射光を撮像素子に導く光路に
   配置された磁気光学素子を備え、当該磁気光学素子に与
   える磁界の強度を制御して、撮像素子に対する入射光の
   位置を変位させることを特徴とする撮像装置。
7. 【請求項７】 請求項１ないし５のいずれかに項記載の
   撮像装置において、 上記画素ずらし手段は、入射光を撮像素子に導く光路に
   配置された電気光学素子を備え、当該電気光学素子に与
   える電界の強度を制御して、撮像素子に対する入射光の
   位置を変位させる ことを特徴とする撮像装置。
8. 【請求項８】 請求項１ないし５のいずれかに項記載の
   撮像装置において、 上記画素ずらし手段は、入射光を撮像素子に導く光路に
   配置された液晶板を備え、当該液晶板に与える電圧の強
   度を制御して、撮像素子に対する入射光の位置を変位さ
   せることを特徴とする撮像装置。
9. 【請求項９】 請求項６ないし８のいずれかに項記載の
   撮像装置において、 撮像光学系と撮像素子の間に画素ずらし手段を配置する
   ことを特徴とする撮像装置。
10. 【請求項１０】 請求項６ないし８のいずれかに項記載
    の撮像装置において、 撮像光学系の前段に画素ずらし手段を配置することを特
    徴とする撮像装置。