JP2001218099A - 多板式撮像装置および画像データ処理用記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】２つの撮像素子間の位置ずれ、およびゲイン差
によるノイズを抑制する。 【解決手段】被写体光Ｌがレンズ３および絞り４を通過
して分割光学系５に入射される。分割光学系５は被写体
光Ｌを１：１に分離して撮像素子１、２に入射させる。
タイミング発生回路７４はＣＰＵ７３の指令により撮像
素子１、２をそれぞれ駆動する。Ａ／Ｄ変換回路２１、
２２は撮像素子１、２による撮像信号をそれぞれデジタ
ル信号に変換する。合成回路６は、撮像素子１によるＧ
色の画像データＧ(図５)、および撮像素子２によるＧ色
の画像データｇ(図５)を画素位置に応じて配置して画像
データＰ(図５)を作る。合成回路６はさらに、画像デー
タＰを用いてデータの方向類似度を算出し、方向類似度
に応じて撮像素子１による画像データＧと撮像素子２に
よる画像データｇとを合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の被写体像を
複数の撮像装置で撮像し、各々の撮像装置から出力され
た画像データを合成する多板式撮像装置および画像デー
タの合成処理プログラムが格納された記録媒体に関す
る。

【０００２】

【従来の技術】ＣＣＤのような撮像素子を用いて被写体
像を撮像する撮像装置において、画素ならびが互いに相
補的になるように配設された２枚の撮像素子で同一の被
写体を撮像して、各々の撮像素子から出力された２枚の
画像データを合成することにより、画像データの解像度
を向上する撮像方法が知られている。２枚の画像データ
を用いて１枚の画像データに合成する合成処理は、一方
の画像データにおける空白画素位置に対して、その画素
位置に対応する他方の画像データで埋めることにより行
われる。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た合成には次のような問題があった。すなわち、２枚の
撮像素子の位置合わせを完全に行わないと、合成された
被写体像のエッジ部分がギザギザになってしまう。ま
た、２枚の撮像素子間のゲイン調整を完全に一致させな
いと、合成後の画像において一方の撮像素子による画像
データと他方の撮像素子による画像データ間のレベル差
により格子状のノイズが発生してしまう。

【０００４】本発明の目的は、２枚の撮像素子の位置ず
れに起因するジャギーおよび２枚の撮像素子間のゲイン
の不一致に起因するノイズを十分抑制するようにした多
板式撮像装置を提供することにある。また、本発明の他
の目的は、２枚の撮像素子の位置ずれに起因するジャギ
ーおよび２枚の撮像素子間のゲインの不一致に起因する
ノイズを十分抑制するプログラムを格納した記録媒体を
提供することにある。

【０００５】

【課題を解決するための手段】一実施の形態を示す図１
〜２、図４、図７〜９、図１６、図１９に対応づけて本
発明を説明する。 （１）請求項１に記載の発明は、複数の撮像装置で同一
の被写体像を撮像し、少なくとも２つの撮像装置1,2か
ら出力された撮像データを合成して被写体像を得る多板
式撮像装置に適用される。そして、２つの撮像装置1,2
のいずれか一方から出力された撮像データ、および２つ
の撮像装置1,2の双方から出力された撮像データのいず
れかを用いて類似の方向性を検出する方向性検出手段6
と、方向性検出手段6により検出された方向性を用いて
２つの撮像装置1,2による２つの撮像データに基づいた
合成画像を作成する合成手段6とを備えることにより、
上述した目的を達成する。 （２）請求項２に記載の発明は、複数の撮像装置で同一
の被写体像を撮像し、少なくとも２つの撮像装置1,2か
ら出力された撮像データを合成して被写体像を得る多板
式撮像装置に適用される。そして、２つの撮像装置1,2
にそれぞれ設けられ、少なくとも第１の色を透過する色
フィルタ101,102と、２つの撮像装置1,2の一方による第
１の色成分(G色)の画素データを二次元に配列して第１
の画像データＧを作成する第１のデータ配列手段6と、
第１の画像データＧと異なる画素位置に関して、２つの
撮像装置1,2の他方による第１の色成分(G色)の画素デー
タｇを二次元に配列して第２の画像データを作成する第
２のデータ配列手段6と、第１の画像データＧおよび第
２の画像データｇの少なくとも一方を用いてデータの類
似の方向性を検出する方向性検出手段6と、注目する画
素位置に関して、第１の画像データＧが存在する位置に
対しては、第１の画像データＧの値とし、第１の画像デ
ータＧが空白となる位置に対しては、方向性検出手段6
で検出された方向性に応じて、(1)空白位置近傍の第１
の画像データＧの値および第１の画像データＧの値を用
いて算出された値のいずれか一方の値、(2)空白位置近
傍の第２の画像データｇの値および第２の画像データｇ
の値を用いて算出された値のいずれか一方の値、(3)空
白画素位置近傍の第１の画像データＧの値と第２の画像
データｇの値の双方を用いて算出された値のいずれかの
値とするように第１および第２の画像データＧ、ｇを合
成する合成手段6とを備えることにより、上述した目的
を達成する。 （３）請求項３に記載の発明は、複数の撮像装置で同一
の被写体像を撮像し、少なくとも２つの撮像装置1,2か
ら出力された撮像データを合成して被写体像を得る多板
式撮像装置に適用される。そして、２つの撮像装置1,2
にそれぞれ設けられ、少なくとも第１の色を透過する色
フィルタ101,102と、２つの撮像装置1,2の一方による第
１の色成分(G色)の画素データを二次元に配列して第１
の画像データＧを作成する第１のデータ配列手段6と、
第１の画像データＧと異なる画素位置に関して、２つの
撮像装置1,2の他方による第１の色成分(G色)の画素デー
タを二次元に配列して第２の画像データｇを作成する第
２のデータ配列手段6と、第１の画像データＧおよび第
２の画像データｇの少なくとも一方を用いてデータの類
似の方向性を検出する方向性検出手段6と、注目する画
素位置に関して、第１の画像データＧが存在する位置に
対しては、第１の画像データＧの値とし、第１の画像デ
ータＧが空白となる位置に対しては、方向性検出手段6
で検出された方向性に応じて、(1)空白位置近傍の第１
の画像データＧの値および第１の画像データＧの値を用
いて算出された値のいずれか一方の値、(2)空白位置近
傍の第２の画像データｇの値および第２の画像データｇ
の値を用いて算出された値のいずれか一方の値、(3)空
白画素位置近傍の第１の画像データＧの値と第２の画像
データｇの値の双方を用いて算出された値の少なくとも
２つの値を用いた加重平均値とするように第１および第
２の画像データＧ，ｇを合成する合成手段6とを備える
ことにより、上述した目的を達成する。

【０００６】（４）請求項４に記載の発明は、複数の撮
像装置で同一の被写体像を撮像し、少なくとも２つの撮
像装置1,2から出力された撮像データを合成して被写体
像を得る多板式撮像装置に適用される。そして、２つの
撮像装置1,2にそれぞれ設けられ、少なくとも第１の色
および第２の色を透過する色フィルタ101,102と、２つ
の撮像装置1,2の少なくとも一方による第１の色成分(G
色)の画素データを二次元に配列して第１の画像データ
(Ｐ)を作成する第１の画像データ配列手段6と、２つの
撮像装置1,2の一方による第１の色成分(G色)の画素デー
タより低密度な第２の色成分(R色)の画素データを二次
元に配列して第２の画像データＲを作成する第２のデー
タ配列手段6と、第２の画像データＲと異なる画素位置
に関して、２つの撮像装置1,2の他方による第２の色成
分(R色)の画素データを二次元に配列して第３の画像デ
ータｒを作成する第３のデータ配列手段6と、第１の画
像データ(Ｐ)を用いてデータの類似の方向性を検出する
方向性検出手段6と、注目する画素位置に関して、第２
の画像データＲが存在する位置に対しては、第２の画像
データＲの値とし、第２の画像データＲが空白となる位
置に対しては、方向性検出手段6で検出された方向性に
応じて、(1)空白位置近傍の第２の画像データＲの値お
よび第２の画像データＲの値を用いて算出された値のい
ずれか一方の値、(2)空白位置近傍の第３の画像データ
ｒの値および第３の画像データｒの値を用いて算出され
た値のいずれか一方の値、(3)空白画素位置近傍の第２
の画像データＲの値と第３の画像データｒの値の双方を
用いて算出された値のいずれかの値とするように第２お
よび第３の画像データＲ、ｒを合成する合成手段6とを
備えることにより、上述した目的を達成する。 （５）請求項５に記載の発明は、複数の撮像装置で同一
の被写体像を撮像し、少なくとも２つの撮像装置1,2か
ら出力された撮像データを合成して被写体像を得る多板
式撮像装置に適用される。そして、２つの撮像装置1,2
にそれぞれ設けられ、少なくとも第１の色および第２の
色を透過する色フィルタ101,102と、２つの撮像装置1,2
の少なくとも一方による第１の色成分(G色)の画素デー
タを二次元に配列して第１の画像データ(Ｐ)を作成する
第１の画像データ配列手段6と、２つの撮像装置1,2の一
方による第１の色成分(G色)の画素データより低密度な
第２の色成分(R色)の画素データを二次元に配列して第
２の画像データＲを作成する第２のデータ配列手段6
と、第２の画像データＲと異なる画素位置に関して、２
つの撮像装置1,2の他方による第２の色成分(R色)の画素
データを二次元に配列して第３の画像データｒを作成す
る第３のデータ配列手段6と、第１の画像データ(Ｐ)を
用いてデータの類似の方向性を検出する方向性検出手段
6と、注目する画素位置に関して、第２の画像データＲ
が存在する位置に対しては、第２の画像データＲの値と
し、第２の画像データＲが空白となる位置に対しては、
方向性検出手段6で検出された方向性に応じて、(1)空白
位置近傍の第２の画像データＲの値および第２の画像デ
ータＲの値を用いて算出された値のいずれか一方の値、
(2)空白位置近傍の第３の画像データｒの値および第３
の画像データｒの値を用いて算出された値のいずれか一
方の値、(3)空白画素位置近傍の第２の画像データＲの
値と第３の画像データｒの値の双方を用いて算出された
値の少なくとも２つの値を用いた加重平均値とするよう
に第２および第３の画像データＲ、ｒを合成する合成手
段6とを備えることにより、上述した目的を達成する。

【０００７】（６）請求項６に記載の発明では、第１お
よび第２の撮像装置1,2を有する複数の撮像装置で同一
の被写体像を撮像し、第１および第２の撮像装置1,2か
ら出力された撮像データを合成して被写体像を得る多板
式撮像装置に適用される。そして、第１および第２の撮
像装置1,2にそれぞれ設けられ、少なくとも第１の色お
よび第２の色を透過する色フィルタ101,102と、第２の
撮像装置2に設けられ、１画素分の像ぼかし効果を与え
るぼかし手段52と、第１の撮像装置1による第１の色成
分(G色)の画素データおよび第２の撮像装置2による第１
の色成分(G色)の画素データを二次元に配列して第１の
画像データ(Ｑ)を作成する第１の画像データ配列手段6
と、第１の撮像装置１による第１の色成分(G色)の画素
データより低密度な第２の色成分(R色)の画素データを
二次元に配列して第２の画像データＲを作成する第２の
データ配列手段6と、第２の画像データＲと異なる画素
位置に関して、第２の撮像装置2による第２の色成分(R
色)の画素データを二次元に配列して第３の画像データ
ｒを作成する第３のデータ配列手段6と、第１の画像デ
ータ(Ｑ)を用いて少なくとも３方向についてデータの類
似の方向性を検出する方向性検出手段6と、注目する画
素位置に関して、第２の画像データＲが存在する位置に
対しては、第２の画像データＲの値とし、第２の画像デ
ータＲが空白となる位置に対しては、方向性検出手段6
で検出された方向性に応じて、(1)空白位置近傍の第２
の画像データＲの値および第２の画像データＲの値を用
いて算出された値のいずれか一方の値、(2)空白位置近
傍の第３の画像データｒの値および第３の画像データｒ
の値を用いて算出された値のいずれか一方の値、(3)空
白画素位置近傍の第２の画像データＲの値と第３の画像
データｒの値の双方を用いて算出された値のいずれかの
値とするように第２および第３の画像データＲ、ｒを合
成する合成手段6とを備えることにより、上述した目的
を達成する。 （７）請求項７に記載の発明は、第１および第２の撮像
装置1,2を有する複数の撮像装置で同一の被写体像を撮
像し、第１および第２の撮像装置1,2から出力された撮
像データを合成して被写体像を得る多板式撮像装置に適
用される。そして、第１および第２の撮像装置1,2にそ
れぞれ設けられ、少なくとも第１の色および第２の色を
透過する色フィルタと101,102、第２の撮像装置2に設け
られ、１画素分の像ぼかし効果を与えるぼかし手段52
と、第１の撮像装置1による第１の色成分(G色)の画素デ
ータおよび第２の撮像装置2による第１の色成分(G色)の
画素データを二次元に配列して第１の画像データ(Ｑ)を
作成する第１の画像データ配列手段6と、第１の撮像装
置1による第１の色成分(G色)の画素データより低密度な
第２の色成分(R色)の画素データを二次元に配列して第
２の画像データＲを作成する第２のデータ配列手段6
と、第２の画像データＲと異なる画素位置に関して、第
２の撮像装置2による第２の色成分(R色)の画素データを
二次元に配列して第３の画像データｒを作成する第３の
データ配列手段6と、第１の画像データ(Ｑ)を用いて少
なくとも３方向についてデータの類似の方向性を検出す
る方向性検出手段6と、注目する画素位置に関して、第
２の画像データＲが存在する位置に対しては、第２の画
像データＲの値とし、第２の画像データＲが空白となる
位置に対しては、方向性検出手段6で検出された方向性
に応じて、(1)空白位置近傍の第２の画像データＲの値
および第２の画像データＲの値を用いて算出された値の
いずれか一方の値、(2)空白位置近傍の第３の画像デー
タｒの値および第３の画像データｒの値を用いて算出さ
れた値のいずれか一方の値、(3)空白画素位置近傍の第
２の画像データＲの値と第３の画像データｒの値の双方
を用いて算出された値の少なくとも２つの値を用いた加
重平均値とするように第２および第３の画像データＲ、
ｒを合成する合成手段6とを備えることにより、上述し
た目的を達成する。

【０００８】（８）請求項８に記載の発明は、第１およ
び第２の撮像装置1,2を有する複数の撮像装置で同一の
被写体像を撮像し、第１および第２の撮像装置1,2から
出力された撮像データを合成して被写体像を得る多板式
撮像装置に適用される。そして、第１および第２の撮像
装置1,2にそれぞれ設けられ、少なくとも第１の色およ
び第２の色を透過する色フィルタ101,102と、第２の撮
像装置2に設けられ、１画素分の像ぼかし効果を与える
ぼかし手段52と、第１の撮像装置1による第１の色成分
(G色)の画素データを二次元に配列して第１の画像デー
タＧを作成する第１のデータ配列手段6と、第１の画像
データＧと異なる画素位置に関して、第２の撮像装置2
による第１の色成分(G色)の画素データを二次元に配列
して第２の画像データｇを作成する第２のデータ配列手
段6と、第１の画像データＧおよび第２の画像データｇ
の少なくとも一方を用いて少なくとも３方向についてデ
ータの類似の方向性を検出する方向性検出手段6と、注
目する画素位置に関して、第１の画像データＧが存在す
る位置に対しては、第１の画像データＧの値とし、第１
の画像データＧが空白となる位置に対しては、方向性検
出手段6で検出された方向性に応じて、(1)空白位置近傍
の第１の画像データＧの値および第１の画像データＧの
値を用いて算出された値のいずれか一方の値、(2)空白
位置近傍の第２の画像データｇの値および第２の画像デ
ータｇの値を用いて算出された値のいずれか一方の値、
(3)空白画素位置近傍の第１の画像データＧの値と第２
の画像データｇの値の双方を用いて算出された値のいず
れかの値とするように第１および第２の画像データＧ，
ｇを合成する合成手段6とを備えることにより、上述し
た目的を達成する。 （９）請求項９に記載の発明は、第１および第２の撮像
装置1,2を有する複数の撮像装置で同一の被写体像を撮
像し、第１のおよび第２の撮像装置1,2から出力された
撮像データを合成して被写体像を得る多板式撮像装置に
適用される。そして、第１および第２の撮像装置1,2に
それぞれ設けられ、少なくとも第１の色および第２の色
を透過する色フィルタ101,102と、第２の撮像装置2に設
けられ、１画素分の像ぼかし効果を与えるぼかし手段52
と、第１の撮像装置1による第１の色成分(G色)の画素デ
ータを二次元に配列して第１の画像データＧを作成する
第１のデータ配列手段6と、第１の画像データＧと異な
る画素位置に関して、第２の撮像装置2による第１の色
成分(G色)の画素データを二次元に配列して第２の画像
データｇを作成する第２のデータ配列手段6と、第１の
画像データＧおよび第２の画像データｇの少なくとも一
方を用いて少なくとも３方向についてデータの類似の方
向性を検出する方向性検出手段6と、注目する画素位置
に関して、第１の画像データＧが存在する位置に対して
は、第１の画像データＧの値とし、第１の画像データＧ
が空白となる位置に対しては、方向性検出手段6で検出
された方向性に応じて、(1)空白位置近傍の第１の画像
データＧの値および第１の画像データＧの値を用いて算
出された値のいずれか一方の値、(2)空白位置近傍の第
２の画像データｇの値および第２の画像データｇの値を
用いて算出された値のいずれか一方の値、(3)空白画素
位置近傍の第１の画像データＧの値と第２の画像データ
ｇの値の双方を用いて算出された値の少なくとも２つの
値を用いた加重平均値とするように第１および第２の画
像データＧ、ｇを合成する合成手段とを備えることによ
り、上述した目的を達成する。

【０００９】（１０）請求項１０に記載の発明は、第１
および第２の撮像装置1,2を有する複数の撮像装置で同
一の被写体像を撮像し、第１および第２の撮像装置1,2
から出力された撮像データを合成して被写体像を得る多
板式撮像装置に適用される。そして、第１の撮像装置1
に設けられ、少なくとも第１の色(G色)を透過する第１
の色フィルタ101Bと、第２の撮像装置2に設けられ、少
なくとも第２の色(s色)、第３の色(t色)および第２の色
と第３の色とを所定の比率で透過する第２の色フィルタ
102Bと、第１の色フィルタ101Bを通して撮像された第１
の色成分の画素データを二次元に配列して第１の画像デ
ータＧを作成する第１のデータ配列手段6と、第２の色
フィルタ102Bを通して撮像された第２の色成分(s色)、
第３の色成分(t色)および第２の色と第３の色との混色
成分(n'色、m'色)の画素データを二次元に配列して第２
の画像データを作成する第２のデータ配列手段6と、第
１の画像データＧを用いて少なくとも３方向についてデ
ータの類似の方向性を検出する方向性検出手段6と、注
目する画素位置に関して、方向性検出手段6で検出され
た方向性に応じて、注目画素位置近傍の第２の画像デー
タの第２の色成分(s色)の値、第３の色成分(t色)の値お
よび混色成分(n'色,m'色)の値のうち少なくとも２つの
値を用いて、第２の画像データを所定の比率に応じて第
２の色成分(s色)の画像データＦと第３の色成分(t色)の
画像データＨとに分解および補間する合成手段6とを備
えることにより、上述した目的を達成する。 （１１）請求項１１に記載の発明による画像データ処理
用記録媒体は、複数の撮像装置で同一の被写体像を撮像
した少なくとも２つの画像データに対し、２つの画像デ
ータのいずれか一方、および２つの画像データの双方の
いずれかを用いて類似の方向性を検出する方向性検出処
理と、方向性検出処理により検出された方向性を用いて
２つの画像データに基づいた合成画像を作成する合成処
理と行うプログラムを格納し、このプログラムを実行す
ることにより、上述した目的を達成する。

【００１０】なお、本発明の構成を説明する上記課題を
解決するための手段の項では、本発明を分かり易くする
ために実施の形態の図を用いたが、これにより本発明が
実施の形態に限定されるものではない。

【００１１】

【発明の実施の形態】−第一の実施の形態− 図１は、本発明の第一の実施の形態による電子スチルカ
メラの概要を説明するブロック図である。図１におい
て、レンズ３を通過した被写体光Ｌが絞り４を通過し、
分割光学系５に入射される。分割光学系５は被写体光Ｌ
を透過光Ｌ１および反射光Ｌ２に分割し、分割された被
写体光Ｌ１およびＬ２が第１の撮像素子１および第２の
撮像素子２にそれぞれ入射される。撮像素子１および撮
像素子２は、たとえば、原色系フィルタがベイヤー配列
されたカラーフィルタ１０１，１０２がオンチップされ
たＣＣＤであり、カラーフィルタ１０１，１０２を通し
て入射された被写体光Ｌ１およびＬ２を電気的な撮像信
号に光電変換する。また、撮像素子１および撮像素子２
は、レンズ３に対して互いに共役な位置に配設されてお
り、両撮像素子による撮像信号の出力ならびが互いに鏡
像関係にある。なお、撮像素子１および撮像素子２は、
各々の画素位置が互いに１：１に対応する位置に配設さ
れ、いわゆる「画素ずらし」は行われない。Ａ／Ｄ変換
回路２１および２２は、撮像素子１および撮像素子２か
ら出力される撮像信号をアナログ信号からデジタル信号
に変換する。

【００１２】合成回路６は、ＣＰＵ７３の指令によりＡ
／Ｄ変換回路２１および２２から出力される２つの撮像
信号を合成し、合成出力Ｙを出力する。画像処理回路８
は、ＣＰＵ７３の指令により合成出力Ｙに対して所定の
処理を施して、記録用のデータに変換する。記憶回路９
は、ＣＰＵ７３の指令により記録用のデータをメモリや
ディスク装置などに記憶する。制御部７は、ＣＰＵ７３
およびタイミング発生器７４で構成される。タイミング
発生器７４は、撮像素子１および撮像素子２に対して、
それぞれ露光時間をＴ１およびＴ２とするようにタイミ
ング信号を発生して出力する。ＣＰＵ７３は、上記のタ
イミング発生器７４、合成回路６，画像処理回路８およ
び記憶回路９に対する動作指令を出力する。

【００１３】図２は分割光学系５および撮像素子１，２
の拡大図である。被写体光Ｌは１／４波長板５ａを通し
て分割光学系５に入射される。分割光学系５において被
写体光Ｌを分割するために、たとえば、透過率ｒ１およ
び反射率ｒ２の比を１：１とするハーフミラー５１が用
いられる。透過光が入射される撮像素子１に対して、撮
像素子２へ反射光が入射されるため、両撮像素子による
撮像信号の出力ならびは図３に示すような鏡像関係にな
る。合成回路６は、両撮像素子１，２による撮像信号に
ついて、対応する画素位置がそろうようにならべ替えて
図４に示す画像データに変換する。図４において、(a)
は撮像素子１による画像データＧ、Ｒ、Ｂを表す図、
(b)は撮像素子２による画像データｇ、ｂ、ｒを表す図
である。行方向をj、列方向をiで表す。撮像素子１によ
る画像データＧおよび撮像素子２による画像データｇは
互いに補間し合う位置関係にある。本実施の形態では、
図４(a)の画像データからＧ色成分の画像データＧ、図
４(b)の画像データからＧ色成分の画像データｇをそれ
ぞれ抽出して合成することにより、図４(c)に表す合成
後のＧ色の画像データＡ[i,j]を得る。

【００１４】−画像データの合成− 合成回路６で行われる画像データの合成について説明す
る。画像データの合成手順は、I：撮像素子１および２
による画像データを組合わせて仮の画像データＰ[i,j]
を作る、II：仮の画像データＰ[i,j]を用いて方向類似
度を算出する、III：方向類似度を用いて合成画像デー
タＡ[i,j]を算出することにより行われる。

【００１５】仮の画像データＰ[i,j]は、図４(a)の撮像
素子１によるＧ色の画像データＧおよび図４(b)の撮像
素子２によるＧ色の画像データｇを用いて、両撮像素子
における画素位置に対応して図５のように組合わせるこ
とにより作られる。この配列は、データが存在する格子
位置を座標(j,i)で表すと次式(１)および(２)で表され
る。

【数１】 すなわち、(i+j)が偶数になる格子位置に撮像素子１に
よる画像データＧｊ，ｉが配置され、(i+j)が奇数にな
る格子位置に撮像素子２による画像データｇｊ，ｉが配
置される。

【００１６】図５のように配列された仮の画像データＰ
[i,j]に関して、座標(j,i)の位置に存在する画素を注目
画素として、注目画素および注目画素に近接する画素の
データに縦方向、横方向、斜め右上方向および斜め右下
方向に類似性があるか否かが調べられる。座標(j,i)に
関して縦方向の相関量ttが次式(３)で算出され、座標
(j,i)に関する横方向の相関量yyが次式(４)で算出され
る。また、座標(j,i)に関する斜め右上方向の相関量nu
が次式(５)で算出され、座標(j,i)に関する斜め右下方
向の相関量nsが次式(６)で算出される。

【数２】 すなわち、上式(３)〜(６)で算出される相関量tt〜ns
は、各方向におけるデータの類似性が悪いほど算出され
る値が大きくなる。

【００１７】各方向における相関量tt〜nsの平均mmを次
式(７)で算出し、算出された相関量の平均mmと縦方向の
相関量ttとの差を次式(８)により算出して縦方向の加重
係数tt1を得る。

【数３】

【００１８】同様にして相関量の平均mmと横方向の相関
量yyとの差を次式(９)により算出して横方向の加重係数
yy1を得る。さらに、相関量の平均mmと斜め右上方向の
相関量nu、および相関量の平均mmと斜め右下方向の相関
量nsとの差をそれぞれ次式(１０)、(１１)により算出し
て、斜め右上方向の加重係数nu1および斜め右下方向の
加重係数ns1を得る。

【数４】 上式(７)〜(１１)によれば、各加重係数tt1、yy1、nu1
およびns1は、相関量の平均mmよりデータの類似性が悪
い方向の加重係数を０にするように算出される。各方向
の加重係数tt1〜ns1を用いて各加重係数の和mm1が次式
(１２)により算出される。

【００１９】合成画像データＡ[i,j]は、上述した仮の
画像データＰ[i,j]および各加重係数tt1〜ns1を用い
て、両撮像素子における画素位置に対応して図４(c)に
示すように組合わせて合成される。合成される画像デー
タは、データが存在する格子位置を座標(j,i)で表すと
次式(１３)および(１４)で表される。

【数５】 上式(１３)および(１４)の結果、(i+j)が偶数になる格
子位置に撮像素子１による画像データＧｊ，ｉが配置さ
れる。また、(i+j)が奇数になる格子位置には、データ
の類似方向に応じて、格子位置に隣接する撮像素子１に
よる画像データＧから算出されたデータ、あるいは撮像
素子２による画像データｇｊ，ｉが配置される。すなわ
ち、縦方向にデータの類似性が高い場合は、縦方向に
隣接するＧｊ−１，ｉおよびＧｊ＋１，ｉの平均が配置
され、横方向にデータの類似性が高い場合は、横方向
に隣接するＧｊ，ｉ−１およびＧｊ，ｉ＋１の平均が配
置される。また、斜め右上方向にデータの類似性が高
い場合および斜め右下方向に類似性が高い場合は、撮
像素子２による画像データｇｊ，ｉが配置される。

【００２０】合成回路６は、撮像素子１および撮像素子
２上の画素から読出される撮像信号について、両撮像素
子上で互いに対応する画素位置から読出された撮像信号
ごとに上述した合成を行い、合成結果Ｙを出力する。

【００２１】このような画像合成を行う電子スチルカメ
ラのより具体的な動作を説明する。図１において、被写
体光Ｌがレンズ３および絞り４を通過して分割光学系５
に入射される。ハーフミラー５１は、被写体光Ｌを透過
光Ｌ１および反射光Ｌ２に分離する。分離後の被写体光
Ｌ１およびＬ２の分離比率ｒ１：ｒ２は１：１である。
分離された被写体光Ｌ１およびＬ２は、一対の撮像素子
１および撮像素子２にそれぞれ入射される。

【００２２】タイミング発生回路７４は、ＣＰＵ７３の
指令により撮像素子１の露光時間Ｔ１および撮像素子２
の露光時間Ｔ２の比を露光量比Ｒ＝Ｔ１／Ｔ２＝１にす
るようにタイミング信号を発生し、発生したタイミング
信号を撮像素子１および撮像素子２へ出力して両撮像素
子を駆動する。撮像素子１により撮像された撮像信号が
素子出力Ａから、撮像素子２により撮像された撮像信号
が素子出力Ｂからそれぞれ出力される。素子出力Ａおよ
び素子出力Ｂは、Ａ／Ｄ変換回路２１および２２にそれ
ぞれ入力されて、アナログ信号からデジタル信号に変換
される。デジタル信号に変換された両撮像信号は、合成
回路６へ出力される。

【００２３】合成回路６において、入力された両撮像信
号に対して上述したような合成処理が行われ、合成出力
Ｙが出力される。合成回路６から出力された合成出力Ｙ
に対し、画像処理回路８で画像処理が施される。画像処
理回路８は、ガンマ・ニー変換などの階調処理、空格子
点補間、ホワイトバランス調整、画像圧縮などの画像処
理を行う。画像処理後の画像データが画像処理回路８か
ら記憶回路９へ出力される。記憶回路９において、画像
データがメモリなどの記録媒体に所定の形式で記録され
る。

【００２４】以上説明した第一の実施の形態では次のよ
うな作用効果が得られる。 （１）２枚の撮像素子１および２による画像データの合
成において、撮像素子１にオンチップされるカラーフィ
ルタ１０１および撮像素子２にオンチップされるカラー
フィルタ１０２をともにベイヤー構造とした。したがっ
て、撮像素子１によるＧ色成分の画像データＧおよび撮
像素子２によるＧ色成分の画像データｇが互いに補間し
合う関係となる。この結果、全ての画素位置においてＧ
色成分の画像データＰ[i,j]が得られるので、一方の撮
像素子による画像データに比べて画像の解像度が向上す
る。 （２）上記(１)に加えて、Ｇ色成分の画像データＰ[i,
j]を用いて注目画素および注目画素に隣接する画素位置
のデータの類似の方向性を検出し、検出された方向に応
じて注目画素の画像データを合成するようにした。注目
画素位置、すなわち格子位置の座標(j,i)に撮像素子１
による画像データＧがある場合は画像データＧｊ，ｉを
合成値とし、格子位置の座標(j,i)に撮像素子２による
画像データｇｊ，ｉがある場合は、類似方向が縦および
横のとき、格子位置(j,i)に隣接する２つの画像データ
Ｇの平均値を合成値とする。また、類似方向が斜めのと
き、撮像素子２による画像データｇｊ，ｉを合成値とす
る。この結果、撮像素子１および２の位置ずれによるジ
ャギー、および画像データＧと画像データｇとの間に生
じている撮像素子１，２のゲイン差に起因するノイズが
上記画像データＰ[i,j]に生じている場合でも、合成時
に行われる平均によりこれらジャギーおよびノイズが低
減される。

【００２５】以上の説明ではＧ色の仮の画像データＰ
[i,j]を作り、この仮の画像データＰ[i,j]を用いて方向
類似度を算出するようにしたが、仮の画像データＰ[i,
j]の代わりに、撮像素子１による画像データＧおよび撮
像素子２による画像データｇのいずれか一方を用いて方
向類似度を算出するようにしてもよい。

【００２６】以上の説明では、カラーフィルタ１０１，
１０２がそれぞれ設けられた撮像素子１および撮像素子
２による２板の撮像データからＧ色成分を合成する処理
について説明したが、カラーフィルタを備えない２板の
撮像素子による画像データを合成する場合にも本発明を
適用することができる。この場合には、上述した画像デ
ータＧに相当する撮像信号を撮像素子１から読出し、画
像データｇに相当する撮像信号を撮像素子２から読出し
て合成するようにする。

【００２７】また、カラーフィルタ１０１，１０２がそ
れぞれ設けられた撮像素子１および撮像素子２による２
板の撮像データからＧ色成分を合成する代わりに、ベイ
ヤー配列によるカラーフィルタが設けられた単板の撮像
素子から読出された画像データに対してゲインの補正を
行う場合に適用することもできる。一般に、単板の撮像
素子において奇数列および偶数列から読出されて増幅さ
れるＧ色成分の撮像信号のゲインは、奇数列および偶数
列でアンプの利得に差が生じていたり、Ｒ色、Ｂ色との
位置関係に起因する混色の影響によりわずかに異なるこ
とがある。

【００２８】図６はこの場合の画像データを表した図で
あり、Ｇ色データのうち奇数列をＧ、偶数列をｇで表し
ている。上述したＧ色成分の合成処理を奇数列のＧデー
タおよび偶数列のｇデータの合成に適用すると、Ｇおよ
びｇのレベル差を補正するように合成することができ
る。すなわち、図６を左右いずれかへ４５度傾けること
により、図５におけるＧデータおよびｇデータの配列と
同じになるので、上述した説明と同様の合成処理を行え
ばよい。この結果、撮像素子の奇数列および偶数列でゲ
インが異なることに起因して、画像データの列ごとに強
弱が繰り返されるようなギザギザなノイズが存在する場
合に、このノイズの影響を低減する効果が得られる。

【００２９】−第二の実施の形態− 第二の実施の形態は、第一の実施の形態に比べて、分割
光学系５と撮像素子２との間に光学ローパスフィルタ
(以後ＯＬＰＦ)が挿入される点が異なる。図７は第二の
実施の形態における分割光学系５および撮像素子１，２
の拡大図である。ＯＬＰＦ５２は、通常光成分から成る
元画像およびその元画像の１方向に１画素分ずれた異常
光成分から成る画像とを加算平均した画像を撮像素子２
上に結像させる。元画像および１画素分ずれた画像との
光量を１：１にするようにＯＬＰＦ５２の前に１／４波
長板５３が挿入される。１／４波長板５３は、分割光学
系５で分割された被写体光Ｌ２がＯＬＰＦ５２を通過す
ることで分離される通常光と異常光成分との比を１：１
にする。また、撮像素子２側の被写体光Ｌ２と、撮像素
子１側の被写体光Ｌ１との光路長を合わせるために、分
割光学系５と撮像素子１との間にダミーガラス板５４が
挿入される。

【００３０】−画像データの合成− 合成回路６で行われる第二の実施の形態による画像デー
タの合成について説明する。画像データの合成手順は、
I:撮像素子１および２による画像データを組合わせて仮
の画像データＱ[i,j]を作る、II:仮の画像データＱ[i,
j]を用いて方向類似度を算出する、III:方向類似度を用
いて合成画像データＢ[i,j]を算出することにより行わ
れる。

【００３１】仮の画像データＱ[i,j]は、図８(a)の撮像
素子１によるＧ色の画像データＧおよび図８(b)の撮像
素子２によるＧ色の画像データｇを用いて、両撮像素子
における画素位置に対応して図５のように組合わせて配
列される。図８において、破線は各々の画像データに対
して感度を有する部分の広がりを表したものである。つ
まり、撮像素子２における各画素データは、２画素相当
の広がりの平均値を出力する。したがって、仮の画像デ
ータＱ[i,j]の配列は、データが存在する格子位置を座
標(j,i)で表すと次式(１５)および(１６)で表される。

【数６】 すなわち、(i+j)が偶数になる格子位置に撮像素子１に
よる画像データＧｊ，ｉが配置され、(i+j)が奇数にな
る格子位置に撮像素子２による画像データｇｊ，ｉを２
倍した値から撮像素子１による画像データＧｊ＋１，ｉ
の値を減算した画像データが配置される。

【００３２】図５のように組合わせて配列された仮の画
像データＱ[i,j]に関して、第一の実施の形態と同様
に、座標(j,i)の位置に存在する画素を注目画素とし
て、注目画素および注目画素に近接する画素のデータに
縦方向、横方向、斜め右上方向および斜め右下方向に類
似性があるか否かが調べられる。座標(j,i)に関して縦
方向の相関量ttが上式(３)で算出され、座標(j,i)に関
する横方向の相関量yyが上式(４)で算出される。また、
座標(j,i)に関する斜め右上方向の相関量nuが上式(５)
で算出され、座標(j,i)に関する斜め右下方向の相関量n
sが上式(６)で算出される。なお、第二の実施の形態で
は、上式(３)〜(６)におけるＰをＱと置換えて行う。

【００３３】各方向における相関量tt〜nsの平均mmを上
式(７)で算出し、算出された相関量の平均mmと上式(３)
〜(６)で算出された各方向の相関量tt〜nsとの差を上式
(８)〜(１１)で算出して、それぞれの方向の加重係数tt
1〜ns1を得る。また、各方向の加重係数tt1〜ns1の和mm
1を上式(１２)により算出する。

【００３４】合成画像データＢ[i,j]は、上述した仮の
画像データＱ[i,j]および各加重係数を用いて、次式(１
７)および(１８)で表される。

【数７】 上式(１７)および(１８)の結果、(i+j)が偶数になる格
子位置に撮像素子１による画像データＧｊ，ｉが配置さ
れる。また、(i+j)が奇数になる格子位置には、データ
の類似方向に応じて撮像素子１による画像データＧから
算出されたデータ、あるいは上式(１６)により算出され
た仮の画像データＱ[i,j]によるデータが配置される。
すなわち、縦方向にデータの類似性が高い場合は、縦
方向に隣接するＧｊ−１，ｉおよびＧｊ＋１，ｉの平均
が配置され、横方向にデータの類似性が高い場合は、
横方向に隣接するＧｊ，ｉ−１およびＧｊ，ｉ＋１の平
均が配置される。また、斜め右上方向にデータの類似
性が高い場合および斜め右下方向に類似性が高い場合
は、撮像素子１および撮像素子２による画像データを用
いて上式(１６)により算出された画像データＱ[i,j]が
配置される。

【００３５】合成回路６は、撮像素子１および撮像素子
２上の画素から読出される撮像信号について、両撮像素
子上で互いに対応する画素位置から読出された撮像信号
ごとに上述した合成を行い、合成結果Ｙを出力する。

【００３６】上記の説明では、注目する画素に関して各
方向に対する相関量tt,yy,nuおよびnsを算出するために
上式(３)〜(６)を用いたが、相関量の算出式は上式(３)
〜(６)に限定されるものではない。

【００３７】以上説明した第二の実施の形態では、ま
ず、撮像素子１によるＧ色成分の画像データＧおよび撮
像素子２によるＧ色成分の画像データｇを組合わせて、
全ての画素位置においてＧ色成分の画像データＱ[i,j]
を得る。そして、この画像データＱ[i,j]を用いて注目
画素および注目画素に隣接する画素位置のデータの類似
の方向性を検出し、検出された方向に応じて注目画素の
画像データを合成するようにした。この結果、撮像素子
１および２の位置ずれによるジャギー、および撮像素子
１，２間のゲイン差に起因するノイズが上記画像データ
Ｑ[i,j]に生じている場合でも、合成時の平均によりこ
れらジャギーおよびノイズが低減される。

【００３８】−第三の実施の形態− 第三の実施の形態は、第二の実施の形態で行われたＧ色
成分の合成に加えて、Ｒ色成分の合成を行う点が異な
る。Ｒ色成分の合成画像データＣ[i,j]は、図４(a)の撮
像素子１によるＲ色の画像データＲおよび図４(b)の撮
像素子２によるＲ色の画像データｒを用いて、両撮像素
子における画素位置に対応して図９のように組合わせて
作られる。図９において、(a)は撮像素子１からＲ色の
部分の画像データＲを抽出した図、(b)は撮像素子２か
らＲ色の部分の画像データｒを抽出した図である。

【００３９】図９(a)および図９(b)を画素位置に対応し
て組合わせると、Ｇ色成分の画像データのように全ての
画素位置において画像データを得ることができない。す
なわち、１行目と３行目に１行おきにＲ色成分の画像デ
ータがならぶ。この場合に、もし、画像の横方向に類似
性があると、２行目および４行目においてＲ色成分の正
しい画像データを合成することが難しい。そこで、第三
の実施の形態では、ＯＬＰＦ５２により２行目および４
行目に対して撮像素子２によるＲ色成分の画像データｒ
が得られるようにして、この画像データｒを用いてＲ色
成分の画像データを補間算出する。図９(c)は補間算出
により合成されたＲ色の画像データＣ[i,j]である。ま
た、図９における破線は、各々の画像データに対して感
度を有する部分の広がりを表している。

【００４０】画像データの合成手順は、I:Ｇ色の合成画
像データＢ[i,j]を作る、II:Ｇ色の合成画像データＢ
[i,j]を用いて方向類似度を算出する、III:方向類似度
を用いてＲ色の合成画像データＣ[i,j]を算出すること
により行われる。

【００４１】Ｇ色の合成画像データＢ[i,j]は、上述し
た第二の実施の形態で得られた合成結果が用いられる。
Ｇ色の合成画像データＢ[i,j]に関して、縦横それぞれ
２画素ずつ２×２＝４画素が注目するブロックとみなさ
れる。図９(a)において、たとえば、Ｒ色のデータＲ
１，４の画素位置を(1)で表し、(1)の左隣の位置を(3)
とし、(3)の下の画素位置を(2)、(2)の右隣の位置を(4)
で表す。Ｇ色の合成画像データＢ[i,j]に関して、上記
の(1)〜(4)で表される注目ブロックに相当する４画素
が、周囲の画素に対して縦方向、横方向、斜め右上方向
および斜め右下方向に共通の類似性を有するか否かが調
べられる。注目するブロックを構成する(1)〜(4)の画素
位置を図１０のような座標(j,i)で表すと、注目するブ
ロックに関して縦方向の相関量ttが次式(１９)で算出さ
れ、注目するブロックに関する横方向の相関量yyが次式
(２０)で算出される。また、注目するブロックに関する
斜め右上方向の相関量nuが次式(２１)で算出され、注目
するブロックに関する斜め右下方向の相関量nsが次式
(２２)で算出される。なお、図１０において、破線は各
々の画像データに対して感度を有する部分の広がりを表
したものである。

【数８】

【００４２】各方向における相関量の平均mmを第二の実
施の形態の説明で用いられた上式(７)により算出し、算
出された相関量の平均mmと上式(１９)〜(２２)で算出さ
れた各方向の相関量tt〜nsとの差を第二の実施の形態で
用いられた上式(８)〜(１１)により算出して、それぞれ
の方向の加重係数tt1〜ns1を得る。また、各方向の加重
係数tt1〜ns1の和mm1を上式(１２)により算出する。

【００４３】Ｒ色の合成画像データＣ[i,j]は、撮像素
子１によるＲ色の画像データＲ、撮像素子２によるＲ色
の画像データｒ、および上述した各加重係数tt1〜ns1を
用いて、次式(２３)〜(２６)で表される。

【数９】

【００４４】上式(２３)〜(２６)によるＲ色成分の合成
画像データＣ[i,j]は、撮像素子１によるＲ色成分の画
像データを有する上記(1)の画素位置に対し、撮像素子
１による画像データが配置される。また、撮像素子１に
よる画像データがない(2)〜(3)の画素位置、すなわち、
空白画素(空格子)に対しては、この空白画素から所定方
向に対して色が均一であると仮定し、この所定方向に存
在する撮像素子１による画像データＲ、撮像素子２によ
る画像データｒ、および画像データｒの受光領域が広が
りを有する隣接列の画像データＲを用いて補間量が算出
される。上記説明において所定の方向とは、縦方向、横
方向、４５度(右斜め上)方向、１３５度(左斜め上)方向
であり、各々の方向の相関量がtt,yy,nuおよびnsとして
算出される。

【００４５】合成回路６は、撮像素子１および撮像素子
２上の画素から読出される撮像信号について、両撮像素
子上で互いに対応するブロックの画素位置から読出され
た撮像信号ごとに上述した合成を行い、合成結果Ｙを出
力する。

【００４６】上述した４５度方向は空白画素から見て右
斜め上方向とし、１３５度方向は空白画素から見て左斜
め上方向としたが、上記各方向の代わりに、４５度方向
を空白画素から見て左斜め下方向に、１３５度方向を空
白画素から見て右斜め下方向に定めてもよい。

【００４７】また、注目するブロックごとに各方向に対
する相関量tt,yy,nuおよびnsを算出するために上式(１
９)〜(２２)を用いたが、相関量の算出式は上式(１９)
〜(２２)に限定されるものではない。

【００４８】さらにまた、上式(２６)において、右上類
似の場合の補間量Ru11を算出する方法として、次式(２
７)または次式(２８)を用いることもできる。

【数１０】

【００４９】以上説明した第三の実施の形態では次のよ
うな作用効果が得られる。撮像素子２側にＯＬＰＦ５２
を挿入したので、通常光成分による元画像および元画像
の１方向に１画素分ずれた異常光成分による画像とが加
算平均されて撮像素子２で撮像される。したがって、本
来はＲ色成分のデータが得られない図９における２行目
および４行目に対して、ＯＬＰＦ５２の作用により撮像
素子２によるＲ色成分の画像データｒが得られる。この
画像データｒを用いてＲ色成分の画像データＣ[i,j]を
補間算出するので、より精度が高いＲ色成分の合成が可
能になり、高品位の画像が得られる。

【００５０】上記の説明では、Ｒ色成分の合成画像デー
タＣ[i,j]を求める場合について説明したが、Ｂ色成分
の合成画像データを求めることもできる。この場合に
は、図４(a)の撮像素子１による画像データからＢ色の
画像データＢを抽出し、図４(b)の撮像素子２による画
像データからＢ色の画像データｂを抽出して、抽出され
た画像データを合成すればよい。この結果、より精度が
高いＢ色成分の合成が可能になり、高品位の画像が得ら
れる。

【００５１】以上の説明では、Ｒ色成分の合成画像デー
タＣ[i,j]を直接求める場合について説明したが、Ｒ色
成分とＧ色成分との色差成分(Ｒ−Ｇ)に対して同様の計
算を行い、合成処理後の画像データ(Ｒ−Ｇ)に対して、
その位置に対応するＧ色成分の画像データＧを加えてＲ
色成分の画像データを得るようにすることもできる。こ
の場合には、上式(２３)〜(２６)のＲｊ，ｉに代えて
(Ｒｊ，ｉ−Ｇｊ，ｉ)を、ｒｊ，ｉに代えて(ｒｊ，ｉ
−(Ｇｊ，ｉ＋Ｇｊ＋１，ｉ)／２)を代入すればよい。

【００５２】また、以上の説明ではＧ色の合成画像デー
タＢ[i,j]を作り、この合成画像データＢ[i,j]を用いて
方向類似度を算出するようにしたが、合成画像データＢ
[i,j]の代わりに、上述した仮の画像データＰ[i,j]を用
いて方向類似度を算出するようにしてもよい。この場合
には、上式(１９)〜(２２)のＢ[i,j]に代えてＰ[i,j]を
代入する。

【００５３】−第四の実施の形態− 第四の実施の形態は、第三の実施の形態で行われたＲ色
成分の画像データの合成と比較して、撮像素子２側のＯ
ＰＬＦ５２を省略し、カラーフィルタ１０２と異なる分
光感度を有するカラーフィルタ１０２Ａが設けられる点
が異なる。図１１は第四の実施の形態における分割光学
系５および撮像素子１，２の拡大図である。

【００５４】図１２はカラーフィルタを構成する分光フ
ィルタの分光特性を表す図である。(a)は撮像素子１側
に設けられているカラーフィルタ１０１を構成する分光
フィルタの特性図、(b)は撮像素子２側に設けられてい
るカラーフィルタ１０２Ａを構成する分光フィルタの特
性図である。図１２(a)において、カラーフィルタ１０
１は、Ｂ色、Ｇ色およびＲ色に対してそれぞれ高い透過
率を有する３種の分光フィルタb(λ)、g(λ)、r(λ)が
組合わされている。また、図１２(b)において、カラー
フィルタ１０２Ａは、Ｒ色に対する透過率より低い透過
率をＢ色に対して有する分光フィルタn(λ)と、Ｂ色に
対する透過率より低い透過率をＲ色に対して有する分光
フィルタm(λ)とを有する。分光フィルタn(λ)およびm
(λ)の分光特性は、分光フィルタb(λ)およびr(λ)の加
重を変えた線形結合で表すことができる。なお、カラー
フィルタ１０２Ａは、上記分光フィルタn(λ)およびm
(λ)に加えてＧ色に対して高い透過率を有する分光フィ
ルタg(λ)が組合わされるが、図１２(b)では分光フィル
タg(λ)の特性を省略してある。

【００５５】上述した各分光フィルタは、カラーフィル
タ１０１および１０２Ａ上でそれぞれベイヤー配置され
る。したがって、撮像素子１および撮像素子２による撮
像信号の出力ならびが図１３に示すような関係になる。
合成回路６は、両撮像素子１，２による撮像信号につい
て、対応する画素位置がそろうようにならべ替えて図１
４に示す画像データに変換する。図１４において、(a)
は撮像素子１による画像データＧ、Ｒ、Ｂを表す図、
(b)は撮像素子２による画像データｇ、ｎ、ｍを表す図
である。本実施の形態では、図１４(a)の画像データか
らＲ色成分の画像データＲを、図１４(b)の画像データ
からｎ色およびｍ色成分の画像データｎおよびｍをそれ
ぞれ抽出して合成することにより、図１４(c)に示す合
成後のＲ色の画像データＤ[i,j]、図１４(d)に示す合成
後のＢ色の画像データＥ[i,j]を得る。

【００５６】画像データの合成手順は、I:Ｇ色の合成画
像データＡ[i,j]を作る、II:Ｇ色の合成画像データＡ
[i,j]を用いて方向類似度を算出する、III:方向類似度
を用いてＲ色の合成画像データＤ[i,j]、およびＢ色の
合成画像データＥ[i,j]を算出することにより行われ
る。

【００５７】Ｇ色の合成画像データＡ[i,j]の作成およ
び合成画像データＡ[i,j]を用いた方向類似度の算出
は、第一の実施の形態において説明した通りである。方
向類似度の算出は上式(３)〜(１１)により行われる。Ｇ
色の仮の画像データＰ[i,j]に関して、座標(j,i)の位置
に存在する画素を注目画素として、注目画素および注目
画素に近接する画素のデータに縦方向、横方向、斜め右
上方向および斜め右下方向に類似性があるか否かが調べ
られる。座標(j,i)に関して縦方向の相関量ttが上式
(３)で算出され、座標(j,i)に関する横方向の相関量yy
が上式(４)で算出される。また、座標(j,i)に関する斜
め右上方向の相関量nuが上式(５)で算出され、座標(j,
i)に関する斜め右下方向の相関量nsが上式(６)で算出さ
れる。上式(３)〜(６)で算出される相関量tt〜nsは、各
方向におけるデータの類似性が悪いほど算出される値が
大きくなる。

【００５８】各方向における相関量tt〜nsの平均mmが上
式(７)で算出され、算出された相関量の平均mmと各方向
の相関量tt〜nsとの差を上式(８)〜(１１)により算出し
て各々の方向の加重係数tt1〜ns1が得られる。各方向の
加重係数tt1〜ns1を用いて各加重係数の和mm1が上式(１
２)により算出される。

【００５９】上記の各加重係数tt1〜ns1および加重係数
の和mm1を用いて、Ｒ色の画像データＤ[i,j]およびＢ色
の画像データＥ[i,j]が以下のように合成される。上述
した分光特性を有するカラーフィルタ１０２Ａが設けら
れた撮像素子２の出力値は、次式(２９)、(３０)で表す
ことができる。式中のＲは、分光フィルタｒ(λ)が設け
られた場合に画素から出力される値である。式中のＢ
は、分光フィルタｂ(λ)が設けられた場合に画素から出
力される値である。

【数１１】 ただし、Knr,Knb,Kmr,Kmbは分光フィルタn(λ)およびm
(λ)の分光特性により決定される係数である。

【００６０】Ｒ色の合成画像データＤ[i,j]およびＢ色
の合成画像データＥ[i,j]は、撮像素子２によるｎ色の
画像データｎ、ｍ色の画像データｍ、およびＧ色の仮の
画像データＰ[i,j]から算出された各加重係数tt1〜ns1
を用いて、次式(３１)、(３２)で表される。

【数１２】 ただし、Rt,Ry,Ru,Rs,Bt,Ry,Bu,Bsは以下のように算出
される。

【００６１】図１５はｎ色の画像データｎにおいて、注
目画素の座標(j,i)およびその周囲を表した図である。
縦方向類似に対するRtおよびBtは、図１５において、座
標(j,i)の画像データｎｊ，ｉ、座標(j,i)の上下の座標
(j-1,i)および座標(j+1,i)における画像データＢｊ−
１，ｉおよびＢｊ＋１，ｉの平均を用いて表された次式
(３３)、(３４)の連立方程式を解くことにより得られ
る。

【数１３】

【００６２】横方向類似に対するRyおよびByは、図１５
において、座標(j,i)の画像データｎｊ，ｉ、座標(j,i)
の左右の座標(j,i-1)および座標(j,i+1)における画像デ
ータＲｊ，ｉ−１およびＲｊ，ｉ＋１の平均を用いて表
された次式(３５)、(３６)の連立方程式を解くことによ
り得られる。

【数１４】

【００６３】右上方向類似に対するRuおよびBuは、図１
５において、座標(j,i)の画像データｎｊ，ｉ、座標(j,
i)の右上の座標(j-1,i+1)および左下の座標(j+1,i-1)に
おける画像データｍｊ−１，ｉ＋１およびｍｊ＋１，ｉ
−１の平均を用いて表された次式(３７)、(３８)の連立
方程式を解くことにより得られる。

【数１５】

【００６４】右下方向類似に対するRsおよびBsは、図１
５において、座標(j,i)の画像データｎｊ，ｉ、座標(j,
i)の右下の座標(j+1,i+1)および左上の座標(j-1,i-1)に
おける画像データｍｊ＋１，ｉ＋１およびｍｊ−１，ｉ
−１の平均を用いて表された次式(３９)、(４０)の連立
方程式を解くことにより得られる。

【数１６】

【００６５】合成回路６は、撮像素子１および撮像素子
２上の画素から読出される撮像信号について、両撮像素
子上で互いに対応する注目画素位置から読出された撮像
信号ごとに上述した合成を行い、合成結果Ｙを出力す
る。

【００６６】上式(３４)、(３６)、(３８)、(４０)にお
いて、注目画素を挟む２つの画像データの平均値を式の
左辺においたが、平均値の代わりに注目画素を挟む２つ
の画像データの一方の画像データの値を左辺においても
よい。

【００６７】以上説明した第四の実施の形態では、Ｒ色
およびＢ色をそれぞれ所定の比率で混色して透過する分
光フィルタn(λ)および分光フィルタm(λ)と、Ｇ色を透
過する分光フィルタg(λ)とをベイヤ配置したカラーフ
ィルタ１０２Ａを撮像素子２に設けるようにした。分光
フィルタn(λ)およびm(λ)の分光特性は、それぞれＢ色
を透過する分光フィルタb(λ)、およびＲ色を透過する
分光フィルタr(λ)の加重を変えた線形結合で表され
る。したがって、カラーフィルタ１０２Ａの作用によ
り、ＯＰＬＦを用いずにＢ色成分およびＲ色成分のデー
タを同じ画素位置から得ることが可能になる。

【００６８】たとえば、図１５において、Ｂ色成分のデ
ータを有する１行目および３行目に対して撮像素子２に
よるＲ色成分を含んだ画像データｍが得られる。画像の
横方向に類似性がある場合に、この画像データｍを用い
て注目画素位置におけるＲ色成分の画像データＤ[i,j]
を補間算出するので、より精度が高いＲ色成分の合成が
可能になり、高品位の画像が得られる。同様に、図１５
における２行目および４行目に対して撮像素子２による
Ｂ色成分を含んだ画像データｎが得られる。この画像デ
ータｎを用いて注目画素位置におけるＢ色成分の画像デ
ータＥ[i,j]を補間算出するので、より精度が高いＢ色
成分の合成が可能になり、高品位の画像が得られる。

【００６９】以上の説明ではＧ色の仮の画像データＰ
[i,j]を用いて方向類似度を算出するようにしたが、画
像データＰ[i,j]の代わりに、上述した第一の実施の形
態による合成画像データＡ[i,j]を用いて方向類似度を
算出するようにしてもよい。この場合には、上式(３)〜
(６)のＰ[i,j]に代えてＡ[i,j]を代入する。

【００７０】−第五の実施の形態− 第五の実施の形態は、第四の実施の形態で行われた画像
データの合成と比較して、撮像素子１側に分光フィルタ
g(λ)を有するカラーフィルタ１０１Ｂが設けられ、撮
像素子２側に次のカラーフィルタ１０２Ｂが設けられる
点が異なる。カラーフィルタ１０２Ｂは、ｔ色成分に高
い透過率を有する分光フィルタt(λ)、ｓ色成分に高い
透過率を有する分光フィルタs(λ)、ｔ色に対する透過
率より低い透過率をｓ色に対して有する分光フィルタn'
(λ)、およびｓ色に対する透過率より低い透過率をｔ色
に対して有する分光フィルタm'(λ)が配置されたカラー
フィルタである。図１６は第五の実施の形態における分
割光学系５および撮像素子１，２の拡大図である。

【００７１】図１７はカラーフィルタを構成する分光フ
ィルタの分光特性を表す図である。図１７において、分
光フィルタt(λ)はＧ色より短い波長域で透過率が高く
なり、分光フィルタs(λ)はＧ色より長い波長域で透過
率が高くなる。なお、不図示の分光フィルタn'(λ)およ
びm'(λ)の分光特性は、それぞれ分光フィルタt(λ)お
よびs(λ)の加重を変えた線形結合で表すことができ
る。

【００７２】カラーフィルタ１０１Ｂは、撮像素子１の
画素位置に対応して分光フィルタg(λ)が配置されてい
る。カラーフィルタ１０２Ｂは、撮像素子２の画素位置
に対応して上述した４種の分光フィルタn'(λ)、m'
(λ)、t(λ)およびs(λ)が組み合わせて配置されてい
る。このようなカラーフィルタ１０１Ｂ、１０２Ｂを通
して撮像された撮像素子１、撮像素子２による撮像信号
の出力ならびは、図１８に示すような関係になる。合成
回路６は、両撮像素子１，２による撮像信号について、
対応する画素位置がそろうようにならべ替えて図１９に
示す画像データに変換する。図１９において、(a)は撮
像素子１による画像データＧを表す図、(b)は撮像素子
２による画像データｎ'、ｍ'、ｔ、ｓを表す図である。
本実施の形態では、図１９(a)の画像データＧから方向
類似度を算出し、図１９(b)の画像データからｎ'色、
ｍ'色、ｔ色およびｓ色成分の画像データをそれぞれ抽
出して合成することにより、図１９(c)に示す合成後の
ｓ色の画像データＦ[i,j]、および図１９(d)に示す合成
後のｔ色の画像データＨ[i,j]を得る。

【００７３】画像データの合成手順は、I:Ｇ色のデータ
Ｇ[i,j]を用いて方向類似度を算出する、II:方向類似度
を用いてｓ色の合成画像データＦ[i,j]およびｔ色の合
成画像データＨ[i,j]を算出することにより行われる。

【００７４】Ｇ色の画像データＧ[i,j]を用いた方向類
似度の算出は、第一の実施の形態および第四の実施の形
態と同様に、上式(３)〜(１１)により行われる。また、
算出された各方向の加重係数tt1〜ns1を用いて各加重係
数の和mm1が上式(１２)により算出される。

【００７５】上記の各加重係数tt1〜ns1および加重係数
の和mm1を用いて、ｓ色の画像データＦ[i,j]およびｔ色
の画像データＨ[i,j]が以下のように合成される。上述
した分光特性を有するカラーフィルタ１０２Ｂが設けら
れた撮像素子２の出力値は、次式(４１)〜(４４)で表す
ことができる。式中のＲは、分光フィルタｓ(λ)が設け
られた場合に画素から出力される値である。式中のＢ
は、分光フィルタｔ(λ)が設けられた場合に画素から出
力される値である。

【数１７】 ただし、Ksr,Ksb,Ktr,Ktb,Knr,Knb,Kmr,Kmbは分光フィ
ルタs(λ)、t(λ)、n'(λ)およびm'(λ)の分光特性によ
り決定される係数である。

【００７６】ｓ色の合成画像データＦ[i,j]およびｔ色
の合成画像データＨ[i,j]は、撮像素子２によるｎ'色の
画像データｎ'、ｍ'色の画像データｍ'、ｓ色の画像デ
ータｓ、ｔ色の画像データｔ、および撮像素子１による
Ｇ色の画像データＧから算出された各加重係数tt1〜ns1
を用いて、次式(４５)、(４６)で表される。

【数１８】 ただし、Rt,Ry,Ru,Rs,Bt,Ry,Bu,Bsは以下のように算出
される。

【００７７】図２０はｎ'色の画像データｎ'において、
注目画素の座標(j,i)およびその周囲を表した図であ
る。縦方向類似に対するRtおよびBtは、図２０におい
て、座標(j,i)の画像データｎ'ｊ，ｉ、座標(j,i)の上
下の座標(j-1,i)および座標(j+1,i)における画像データ
ｔｊ−１，ｉおよびｔｊ＋１，ｉの平均を用いて表され
た次式(４７)、(４８)の連立方程式を解くことにより得
られる。

【数１９】

【００７８】横方向類似に対するRyおよびByは、図２０
において、座標(j,i)の画像データｎ'ｊ，ｉ、座標(j,
i)の左右の座標(j,i-1)および座標(j,i+1)における画像
データｓｊ，ｉ−１およびｓｊ，ｉ＋１の平均を用いて
表された次式(４９)、(５０)の連立方程式を解くことに
より得られる。

【数２０】

【００７９】右上方向類似に対するRuおよびBuは、図２
０において、座標(j,i)の画像データｎ'ｊ，ｉ、座標
(j,i)の右上の座標(j-1,i+1)および左下の座標(j+1,i-
1)における画像データｍ'ｊ−１，ｉ＋１およびｍ'ｊ＋
１，ｉ−１の平均を用いて算出される。この場合の方程
式は、上述した式(３７)、(３８)と同じである。ただ
し、ｎをｎ'、ｍをｍ'と読み替えて用いる。

【００８０】右下方向類似に対するRsおよびBsは、図２
０において、座標(j,i)の画像データｎ'ｊ，ｉ、座標
(j,i)の右下の座標(j+1,i+1)および左上の座標(j-1,i-
1)における画像データｍ'ｊ＋１，ｉ＋１およびｍ'ｊ−
１，ｉ−１の平均を用いて算出される。この場合の方程
式は、上述した式(３９)、(４０)と同じである。ただ
し、ｎをｎ'、ｍをｍ'と読み替えて用いる。

【００８１】合成回路６は、撮像素子１および撮像素子
２上の画素から読出される撮像信号について、両撮像素
子上で互いに対応する注目画素位置から読出された撮像
信号ごとに上述した合成を行い、合成結果Ｙを出力す
る。

【００８２】上式(４８)、(５０)において、注目画素を
挟む２つの画像データの平均値を式の左辺においたが、
平均値の代わりに注目画素を挟む２つの画像データの一
方の画像データの値を左辺においてもよい。

【００８３】以上説明した第五の実施の形態では、Ｇ色
を透過する分光フィルタg(λ)を有するカラーフィルタ
１０１Ｂを撮像素子１に設けるとともに、ｓ色およびｔ
色をそれぞれ所定の比率で混色して透過する分光フィル
タn'(λ)および分光フィルタm'(λ)と、ｓ色およびｔ色
をそれぞれ透過する分光フィルタs(λ)および分光フィ
ルタt(λ)とを組合わせたカラーフィルタ１０２Ｂを撮
像素子２に設けるようにした。分光フィルタn'(λ)およ
びm'(λ)の分光特性は、それぞれ分光フィルタs(λ)お
よびt(λ)の加重を変えた線形結合で表される。したが
って、カラーフィルタ１０２Ｂの作用により、ＯＰＬＦ
を用いずに異なる所定の色成分を同じ画素位置から得る
ことが可能になる。また、カラーフィルタ１０１Ｂの作
用により、撮像素子１の全ての画素位置でＧ色成分のデ
ータが得られるから、撮像素子１による出力を用いて方
向類似度を算出することができる。この結果、第四の実
施の形態と同様に、より精度が高い色成分の合成が可能
になり、高品位の画像が得られる。

【００８４】−第六の実施の形態− 第六の実施の形態は、第五の実施の形態と比較して、撮
像素子２側に設けられるカラーフィルタが異なる。撮像
素子２側に設けられるカラーフィルタ１０２Ｃは、Ｂ色
を透過する分光フィルタb(λ)と、Ｒ色を透過する分光
フィルタr(λ)と、Ｒ色およびＢ色を所定の比率で混色
して透過する分光フィルタp(λ)とが配置されている。
図２１は、分光フィルタp(λ)の分光特性を表す図であ
る。また、図２２の(a)は、撮像素子１による画像デー
タＧを表す図、(b)はカラーフィルタ１０２Ｃを通して
撮像素子２で撮像され、合成回路６により撮像素子１お
よび２の対応する画素位置がそろうようにならべ替えら
れた画像データＲ、Ｂ、Ｍを表す図である。ＲはＲ色の
データ、ＢはＢ色のデータ、ＭはＲ色およびＢ色の混色
データである。

【００８５】第六の実施の形態では、撮像素子１による
図２２(a)の画像データＧから方向類似度を算出し、図
２２(b)の画像データからＲ色、Ｂ色、混色されたＭ色
成分の画像データをそれぞれ抽出して合成することによ
り、図２２(c)に示す合成後のＲ色の画像データＫ[i,
j]、および図２２(d)に示す合成後のＢ色の画像データ
Ｌ[i,j]を得る。

【００８６】画像データの合成手順は、I:Ｇ色のデータ
Ｇ[i,j]を用いて方向類似度を算出する、II:方向類似度
を用いてＲ色の合成画像データＫ[i,j]、およびＢ色の
合成画像データＬ[i,j]を算出することにより行われ
る。

【００８７】図２２(b)において、注目画素に対して縦
方向、横方向、右上左下方向および右下左上方向のいず
れの方向についても、隣接する２画素のうち少なくとも
１画素は注目画素の色成分と異なる色成分である。した
がって、ＲとＢデータ、ＲとＭデータおよびＭとＢデー
タのいずれかの組合わせを得ることができる。得られた
組合わせを色情報として、方向類似度が高い場合のＲ色
の画像データ、Ｂ色の画像データを得ることができる。
第五の実施の形態における上式(４１)にKsb＝０、上式
(４２)にKtr＝０を代入すればよい。

【００８８】以上の第一〜第六の実施の形態ではデジタ
ルスチルカメラについて説明したが、上述した合成処理
をソフトウエアの形態でＣＤ−ＲＯＭやフロッピデイス
クなどの記録媒体に画像処理プログラムとして格納し、
パソコンで画像処理する際に使用することもできる。こ
の場合、撮像素子１および２から出力された画像信号に
基づいて、デジタル化された両画像データを大容量の画
像データ用記録媒体にそれぞれ記録し、この記録媒体を
パソコンにセットして両画像データを取込んだ上で、上
記画像処理プログラムにより上述のような合成処理を行
うようにする。

【００８９】上述した画像処理プログラムが記録された
記録媒体から画像処理プログラムをパソコンで読み込む
代わりに、インターネットなどの伝送媒体を利用して上
述した画像処理プログラムを伝送してもよい。この場合
には、伝送された画像処理プログラムをパソコンで読み
込んだ上で上述のような合成処理をパソコンで行うよう
にする。

【００９０】特許請求の範囲における各構成要素と、発
明の実施の形態における各構成要素との対応について説
明すると、撮像素子１および２が撮像装置に、合成回路
６が方向性検出手段、合成手段、第１のデータ配列手
段、第２のデータ配列手段および第３のデータ配列手段
に、カラーフィルタ１０１，１０２が色フィルタに、Ｇ
色が第１の色に、Ｒ色およびｓ色が第２の色に、撮像素
子１によるＧ色の画像データＧ、仮の画像データＰおよ
び仮の画像データＱが第１の画像データに、撮像素子２
によるＧ色の画像データｇおよび撮像素子１によるＲ色
の画像データＲが第２の画像データに、撮像素子２によ
るＲ色の画像データｒが第３の画像データに、ｔ色およ
びＢ色が第３の色に、ＯＬＰＦ５２がぼかし手段に、カ
ラーフィルタ１０１および１０１Ｂが第１の色フィルタ
に、カラーフィルタ１０２Ａおよび１０２Ｂが第２の色
フィルタに、ｎ、ｎ'、ｍ、ｍ'色が混色に、それぞれ対
応する。

【００９１】

【発明の効果】以上詳細に説明したように請求項１〜１
１の発明では、同一の被写体像を撮像した少なくとも２
つの撮像装置による撮像データを合成する場合に、少な
くとも一方の撮像データを用いてデータの類似の方向性
を検出し、検出された方向性を用いて上記２つの撮像デ
ータを合成するようにした。したがって、たとえば、２
つの撮像装置間の位置ずれ、および２つの撮像装置間の
ゲインの相違に起因して合成画像に生じる格子状のノイ
ズの発生を防止することができる。この結果、高品位の
合成画像を得ることが可能になる。

【００９２】とくに、請求項６〜７の発明では、一方の
撮像装置に１画素分の像ぼかし効果を与えるようにした
ので、たとえば、ベイヤー配列による原色系の色フィル
タを用いてカラー画像を撮像する場合に、像ぼかし効果
がないと本来空白となる画素位置に対して色データを得
ることが可能になる。この結果、Ｇ色に比べて低密度の
Ｒ色およびＢ色成分の画像を高品位に合成することがで
きる。

【００９３】また、請求項１０の発明では、混色成分を
透過する色フィルタを用いてカラー撮像を行うようにし
た。たとえば、Ｒ色およびＢ色の混色を例にとれば、混
色成分を透過しない色フィルタを用いるとＲ色およびＢ
色のいずれか一方が空白となる画素位置に対して混色デ
ータを得ることが可能になる。この結果、Ｇ色に比べて
低密度のＲ色およびＢ色成分の画像を高品位に合成する
ことができる。

【図面の簡単な説明】

【図１】第一の実施の形態による電子スチルカメラの概
要を説明するブロック図である。

【図２】図１の分割光学系および撮像素子の拡大図であ
る。

【図３】撮像信号の鏡像関係を説明する図である。

【図４】第一の実施の形態による(a)撮像素子１による
画像データＧを表す図、(b)撮像素子２による画像デー
タｇを表す図、(c)合成後のＧ色成分の画像データＡ[i,
j]を表す図である。

【図５】仮の画像データＰ[i,j]を表す図である。

【図６】撮像素子の奇数列および偶数列を説明する図で
ある。

【図７】第二の実施の形態による分割光学系および撮像
素子の拡大図である。

【図８】第二の実施の形態による(a)撮像素子１による
画像データＧを表す図、(b)撮像素子２による画像デー
タｇを表す図である。

【図９】第三の実施の形態による(a)撮像素子１からＲ
色の画像データＲを抽出した図、(b)撮像素子２からＲ
色の画像データｒを抽出した図、(c)補間算出されたＲ
色の画像データＣ[i,j]を表す図である。

【図１０】注目するブロックを構成する画素位置を説明
する図である。

【図１１】第四の実施の形態による分割光学系および撮
像素子の拡大図である。

【図１２】第四の実施の形態による(a)カラーフィルタ
１０１の分光フィルタの分光特性を表す図、(b)カラー
フィルタ１０２Ａの分光フィルタの分光特性を表す図で
ある。

【図１３】撮像信号の出力ならびを説明する図である。

【図１４】第四の実施の形態による(a)撮像素子１によ
る画像データを表す図、(b)撮像素子２による画像デー
タを表す図、(c)合成後のＲ色の画像データＤ[i,j]を表
す図、(d)合成後のＢ色の画像データＥ[i,j]を表す図で
ある。

【図１５】注目画素の座標およびその周囲を表す図であ
る。

【図１６】第五の実施の形態による分割光学系および撮
像素子の拡大図である。

【図１７】第五の実施の形態によるカラーフィルタを構
成する分光フィルタの分光特性を表す図である。

【図１８】撮像信号の出力ならびを説明する図である。

【図１９】第五の実施の形態による(a)撮像素子１によ
る画像データを表す図、(b)撮像素子２による画像デー
タを表す図、(c)合成後のｓ色の画像データＦ[i,j]を表
す図、(d)合成後のｔ色の画像データＨ[i,j]を表す図で
ある。

【図２０】注目画素の座標およびその周囲を表す図であ
る。

【図２１】第六の実施の形態によるカラーフィルタを構
成する分光フィルタの分光特性を表す図である。

【図２２】第六の実施の形態による(a)撮像素子１によ
る画像データを表す図、(b)撮像素子２による画像デー
タを表す図、(c)合成後のＲ色の画像データＫ[i,j]を表
す図、(d)合成後のＢ色の画像データＬ[i,j]を表す図で
ある。

【符号の説明】

１,２…撮像素子、 ３…レンズ、４…
絞り、 ５…分割光学系、６…
合成回路、 ７…制御部、８…画像
処理回路、 ９…記憶回路、５２…ＯＬ
ＰＦ、１０１,１０１Ｂ,１０２,１０２Ａ,１０２Ｂ…カ
ラーフィルタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA11 BA29 CA01 CA12 CA16 CB01 CB12 CB16 CD06 CE02 CE04 CE06 CE08 CE11 CH09 CH11 DB02 DB06 DC08 5C022 AA13 AB37 AB68 AC42 AC69 CA02 5C065 AA03 BB22 BB26 BB48 CC01 CC08 DD01 EE06 GG13 GG18 GG21 GG27 GG32 GG35 5C076 AA19 AA21 AA32 BA01 BA06 BB04 5C079 HB01 JA13 JA23 LA24 LA28 LA40 MA11 NA02

Claims (11)

【特許請求の範囲】
1. 【請求項１】複数の撮像装置で同一の被写体像を撮像
   し、少なくとも２つの前記撮像装置から出力された撮像
   データを合成して被写体像を得る多板式撮像装置におい
   て、 前記２つの撮像装置のいずれか一方から出力された撮像
   データ、および前記２つの撮像装置の双方から出力され
   た撮像データのいずれかを用いて類似の方向性を検出す
   る方向性検出手段と、 前記方向性検出手段により検出された方向性を用いて前
   記２つの撮像装置による２つの撮像データに基づいた合
   成画像を作成する合成手段とを備えることを特徴とする
   多板式撮像装置。
2. 【請求項２】複数の撮像装置で同一の被写体像を撮像
   し、少なくとも２つの前記撮像装置から出力された撮像
   データを合成して被写体像を得る多板式撮像装置におい
   て、 前記２つの撮像装置にそれぞれ設けられ、少なくとも第
   １の色を透過する色フィルタと、 前記２つの撮像装置の一方による第１の色成分の画素デ
   ータを二次元に配列して第１の画像データを作成する第
   １のデータ配列手段と、 前記第１の画像データと異なる画素位置に関して、前記
   ２つの撮像装置の他方による前記第１の色成分の画素デ
   ータを二次元に配列して第２の画像データを作成する第
   ２のデータ配列手段と、 前記第１の画像データおよび前記第２の画像データの少
   なくとも一方を用いてデータの類似の方向性を検出する
   方向性検出手段と、 注目する画素位置に関して、前記第１の画像データが存
   在する位置に対しては、前記第１の画像データの値と
   し、前記第１の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第１の画像データの値およ
   び前記第１の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第２の画像デ
   ータの値および前記第２の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第１の画像データの値と前記第２の画像データ
   の値の双方を用いて算出された値のいずれかの値とする
   ように前記第１および第２の画像データを合成する合成
   手段とを備えることを特徴とする多板式撮像装置。
3. 【請求項３】複数の撮像装置で同一の被写体像を撮像
   し、少なくとも２つの前記撮像装置から出力された撮像
   データを合成して被写体像を得る多板式撮像装置におい
   て、 前記２つの撮像装置にそれぞれ設けられ、少なくとも第
   １の色を透過する色フィルタと、 前記２つの撮像装置の一方による第１の色成分の画素デ
   ータを二次元に配列して第１の画像データを作成する第
   １のデータ配列手段と、 前記第１の画像データと異なる画素位置に関して、前記
   ２つの撮像装置の他方による前記第１の色成分の画素デ
   ータを二次元に配列して第２の画像データを作成する第
   ２のデータ配列手段と、 前記第１の画像データおよび前記第２の画像データの少
   なくとも一方を用いてデータの類似の方向性を検出する
   方向性検出手段と、 注目する画素位置に関して、前記第１の画像データが存
   在する位置に対しては、前記第１の画像データの値と
   し、前記第１の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第１の画像データの値およ
   び前記第１の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第２の画像デ
   ータの値および前記第２の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第１の画像データの値と前記第２の画像データ
   の値の双方を用いて算出された値の少なくとも２つの値
   を用いた加重平均値とするように前記第１および第２の
   画像データを合成する合成手段とを備えることを特徴と
   する多板式撮像装置。
4. 【請求項４】複数の撮像装置で同一の被写体像を撮像
   し、少なくとも２つの前記撮像装置から出力された撮像
   データを合成して被写体像を得る多板式撮像装置におい
   て、 前記２つの撮像装置にそれぞれ設けられ、少なくとも第
   １の色および第２の色を透過する色フィルタと、 前記２つの撮像装置の少なくとも一方による第１の色成
   分の画素データを二次元に配列して第１の画像データを
   作成する第１の画像データ配列手段と、 前記２つの撮像装置の一方による第１の色成分の画素デ
   ータより低密度な第２の色成分の画素データを二次元に
   配列して第２の画像データを作成する第２のデータ配列
   手段と、 前記第２の画像データと異なる画素位置に関して、前記
   ２つの撮像装置の他方による前記第２の色成分の画素デ
   ータを二次元に配列して第３の画像データを作成する第
   ３のデータ配列手段と、 前記第１の画像データを用いてデータの類似の方向性を
   検出する方向性検出手段と、 注目する画素位置に関して、前記第２の画像データが存
   在する位置に対しては、前記第２の画像データの値と
   し、前記第２の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第２の画像データの値およ
   び前記第２の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第３の画像デ
   ータの値および前記第３の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第２の画像データの値と前記第３の画像データ
   の値の双方を用いて算出された値のいずれかの値とする
   ように前記第２および第３の画像データを合成する合成
   手段とを備えることを特徴とする多板式撮像装置。
5. 【請求項５】複数の撮像装置で同一の被写体像を撮像
   し、少なくとも２つの前記撮像装置から出力された撮像
   データを合成して被写体像を得る多板式撮像装置におい
   て、 前記２つの撮像装置にそれぞれ設けられ、少なくとも第
   １の色および第２の色を透過する色フィルタと、 前記２つの撮像装置の少なくとも一方による第１の色成
   分の画素データを二次元に配列して第１の画像データを
   作成する第１の画像データ配列手段と、 前記２つの撮像装置の一方による前記第１の色成分の画
   素データより低密度な第２の色成分の画素データを二次
   元に配列して第２の画像データを作成する第２のデータ
   配列手段と、 前記第２の画像データと異なる画素位置に関して、前記
   ２つの撮像装置の他方による前記第２の色成分の画素デ
   ータを二次元に配列して第３の画像データを作成する第
   ３のデータ配列手段と、 前記第１の画像データを用いてデータの類似の方向性を
   検出する方向性検出手段と、 注目する画素位置に関して、前記第２の画像データが存
   在する位置に対しては、前記第２の画像データの値と
   し、前記第２の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第２の画像データの値およ
   び前記第２の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第３の画像デ
   ータの値および前記第３の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第２の画像データの値と前記第３の画像データ
   の値の双方を用いて算出された値の少なくとも２つの値
   を用いた加重平均値とするように前記第２および第３の
   画像データを合成する合成手段とを備えることを特徴と
   する多板式撮像装置。
6. 【請求項６】第１および第２の撮像装置を有する複数の
   撮像装置で同一の被写体像を撮像し、前記第１および第
   ２の撮像装置から出力された撮像データを合成して被写
   体像を得る多板式撮像装置において、 前記第１および第２の撮像装置にそれぞれ設けられ、少
   なくとも第１の色および第２の色を透過する色フィルタ
   と、 前記第２の撮像装置に設けられ、１画素分の像ぼかし効
   果を与えるぼかし手段と、 前記第１の撮像装置による第１の色成分の画素データお
   よび前記第２の撮像装置による第１の色成分の画素デー
   タを二次元に配列して第１の画像データを作成する第１
   の画像データ配列手段と、 前記第１の撮像装置による前記第１の色成分の画素デー
   タより低密度な第２の色成分の画素データを二次元に配
   列して第２の画像データを作成する第２のデータ配列手
   段と、 前記第２の画像データと異なる画素位置に関して、前記
   第２の撮像装置による前記第２の色成分の画素データを
   二次元に配列して第３の画像データを作成する第３のデ
   ータ配列手段と、 前記第１の画像データを用いて少なくとも３方向につい
   てデータの類似の方向性を検出する方向性検出手段と、 注目する画素位置に関して、前記第２の画像データが存
   在する位置に対しては、前記第２の画像データの値と
   し、前記第２の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第２の画像データの値およ
   び前記第２の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第３の画像デ
   ータの値および前記第３の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第２の画像データの値と前記第３の画像データ
   の値の双方を用いて算出された値のいずれかの値とする
   ように前記第２および第３の画像データを合成する合成
   手段とを備えることを特徴とする多板式撮像装置。
7. 【請求項７】第１および第２の撮像装置を有する複数の
   撮像装置で同一の被写体像を撮像し、前記第１および第
   ２の撮像装置から出力された撮像データを合成して被写
   体像を得る多板式撮像装置において、 前記第１および第２の撮像装置にそれぞれ設けられ、少
   なくとも第１の色および第２の色を透過する色フィルタ
   と、 前記第２の撮像装置に設けられ、１画素分の像ぼかし効
   果を与えるぼかし手段と、 前記第１の撮像装置による第１の色成分の画素データお
   よび前記第２の撮像装置による第１の色成分の画素デー
   タを二次元に配列して第１の画像データを作成する第１
   の画像データ配列手段と、 前記第１の撮像装置による前記第１の色成分の画素デー
   タより低密度な第２の色成分の画素データを二次元に配
   列して第２の画像データを作成する第２のデータ配列手
   段と、 前記第２の画像データと異なる画素位置に関して、前記
   第２の撮像装置による前記第２の色成分の画素データを
   二次元に配列して第３の画像データを作成する第３のデ
   ータ配列手段と、 前記第１の画像データを用いて少なくとも３方向につい
   てデータの類似の方向性を検出する方向性検出手段と、 注目する画素位置に関して、前記第２の画像データが存
   在する位置に対しては、前記第２の画像データの値と
   し、前記第２の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第２の画像データの値およ
   び前記第２の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第３の画像デ
   ータの値および前記第３の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第２の画像データの値と前記第３の画像データ
   の値の双方を用いて算出された値の少なくとも２つの値
   を用いた加重平均値とするように前記第２および第３の
   画像データを合成する合成手段とを備えることを特徴と
   する多板式撮像装置。
8. 【請求項８】第１および第２の撮像装置を有する複数の
   撮像装置で同一の被写体像を撮像し、前記第１および第
   ２の撮像装置から出力された撮像データを合成して被写
   体像を得る多板式撮像装置において、 前記第１および第２の撮像装置にそれぞれ設けられ、少
   なくとも第１の色および第２の色を透過する色フィルタ
   と、 前記第２の撮像装置に設けられ、１画素分の像ぼかし効
   果を与えるぼかし手段と、 前記第１の撮像装置による第１の色成分の画素データを
   二次元に配列して第１の画像データを作成する第１のデ
   ータ配列手段と、 前記第１の画像データと異なる画素位置に関して、前記
   第２の撮像装置による前記第１の色成分の画素データを
   二次元に配列して第２の画像データを作成する第２のデ
   ータ配列手段と、 前記第１の画像データおよび前記第２の画像データの少
   なくとも一方を用いて少なくとも３方向についてデータ
   の類似の方向性を検出する方向性検出手段と、 注目する画素位置に関して、前記第１の画像データが存
   在する位置に対しては、前記第１の画像データの値と
   し、前記第１の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第１の画像データの値およ
   び前記第１の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第２の画像デ
   ータの値および前記第２の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第１の画像データの値と前記第２の画像データ
   の値の双方を用いて算出された値のいずれかの値とする
   ように前記第１および第２の画像データを合成する合成
   手段とを備えることを特徴とする多板式撮像装置。
9. 【請求項９】第１および第２の撮像装置を有する複数の
   撮像装置で同一の被写体像を撮像し、前記第１のおよび
   第２の撮像装置から出力された撮像データを合成して被
   写体像を得る多板式撮像装置において、 前記第１および第２の撮像装置にそれぞれ設けられ、少
   なくとも第１の色および第２の色を透過する色フィルタ
   と、 前記第２の撮像装置に設けられ、１画素分の像ぼかし効
   果を与えるぼかし手段と、 前記第１の撮像装置による第１の色成分の画素データを
   二次元に配列して第１の画像データを作成する第１のデ
   ータ配列手段と、 前記第１の画像データと異なる画素位置に関して、前記
   第２の撮像装置による前記第１の色成分の画素データを
   二次元に配列して第２の画像データを作成する第２のデ
   ータ配列手段と、 前記第１の画像データおよび前記第２の画像データの少
   なくとも一方を用いて少なくとも３方向についてデータ
   の類似の方向性を検出する方向性検出手段と、 注目する画素位置に関して、前記第１の画像データが存
   在する位置に対しては、前記第１の画像データの値と
   し、前記第１の画像データが空白となる位置に対して
   は、前記方向性検出手段で検出された方向性に応じて、
   (1)前記空白位置近傍の前記第１の画像データの値およ
   び前記第１の画像データの値を用いて算出された値のい
   ずれか一方の値、(2)前記空白位置近傍の第２の画像デ
   ータの値および前記第２の画像データの値を用いて算出
   された値のいずれか一方の値、(3)前記空白画素位置近
   傍の前記第１の画像データの値と前記第２の画像データ
   の値の双方を用いて算出された値の少なくとも２つの値
   を用いた加重平均値とするように前記第１および第２の
   画像データを合成する合成手段とを備えることを特徴と
   する多板式撮像装置。
10. 【請求項１０】第１および第２の撮像装置を有する複数
    の撮像装置で同一の被写体像を撮像し、前記第１および
    第２の撮像装置から出力された撮像データを合成して被
    写体像を得る多板式撮像装置において、 前記第１の撮像装置に設けられ、少なくとも第１の色を
    透過する第１の色フィルタと、 前記第２の撮像装置に設けられ、少なくとも第２の色、
    第３の色および前記第２の色と前記第３の色とを所定の
    比率で透過する第２の色フィルタと、 前記第１の色フィルタを通して撮像された第１の色成分
    の画素データを二次元に配列して第１の画像データを作
    成する第１のデータ配列手段と、 前記第２の色フィルタを通して撮像された前記第２の色
    成分、前記第３の色成分および前記第２の色と前記第３
    の色との混色成分の画素データを二次元に配列して第２
    の画像データを作成する第２のデータ配列手段と、 前記第１の画像データを用いて少なくとも３方向につい
    てデータの類似の方向性を検出する方向性検出手段と、 注目する画素位置に関して、前記方向性検出手段で検出
    された方向性に応じて、前記注目画素位置近傍の前記第
    ２の画像データの前記第２の色成分の値、前記第３の色
    成分の値および前記混色成分の値のうち少なくとも２つ
    の値を用いて、前記第２の画像データを前記所定の比率
    に応じて前記第２の色成分の画像データと前記第３の色
    成分の画像データとに分解および補間する合成手段とを
    備えることを特徴とする多板式撮像装置。
11. 【請求項１１】複数の撮像装置で同一の被写体像を撮像
    した少なくとも２つの画像データに対し、前記２つの画
    像データのいずれか一方、および前記２つの画像データ
    の双方のいずれかを用いて類似の方向性を検出する方向
    性検出処理と、 前記方向性検出処理により検出された方向性を用いて前
    記２つの画像データに基づいた合成画像を作成する合成
    処理と行うプログラムが格納されていることを特徴とす
    る画像データ処理用記録媒体。