JP2003023643A

JP2003023643A - 撮影装置、並びに色分解光学系

Info

Publication number: JP2003023643A
Application number: JP2001206991A
Authority: JP
Inventors: Hideto Motomura; 秀人本村
Original assignee: Telecommunications Advancement Organization; Matsushita Electric Industrial Co Ltd
Current assignee: Telecommunications Advancement Organization; Panasonic Holdings Corp
Priority date: 2001-07-06
Filing date: 2001-07-06
Publication date: 2003-01-24
Anticipated expiration: 2021-07-06
Also published as: JP3826174B2

Abstract

(57)【要約】【課題】被写体の分光情報を推定するに必要な
バンド数よりも少ない数の撮像素子で、必要なバンド数
のマルチバンド画像を同時に撮影すること。【解決手段】本発明は、撮像レンズから入力した光
をハーフミラーで２つの光路に分割し、一方の光から輝
度画像を生成し、他方の光を短波長成分と長波長成分に
分割し、短波長成分の光および長波長成分の光からそれ
ぞれ被写体の分光情報を推定し、推定した被写体の分光
情報から算出した測色値の明度情報を明度信号変換部の
変換した明度信号にセル単位で置換することで、高精細
性と高色忠実性を同時に実現した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は被写体の分光情報を
正確に推定できる撮像装置、並びに色分解光学系に関す
る技術である。

【０００２】

【従来の技術】ディジタル化と集積技術の進歩によっ
て、高精細画像を取得できるビデオカメラ、デジタルカ
メラ、スチルカメラ、スキャナなどの撮像装置の開発が
盛んである。カラーマネジメントの観点から見ると、撮
像装置は被写体の測色値、あるいは分光情報を正確に取
り込む必要があり、撮像素子の出力信号から被写体の測
色値、あるいは分光情報を推定する推定精度の向上が鍵
となる。円滑な色情報交換のために、近年のデジタルカ
メラではｓＲＧＢ信号を標準信号として出力することが
主流となっている。

【０００３】しかし、Ｒ、Ｇ、Ｂの３つの色フィルタを
持つ撮像素子の出力信号を線形変換して被写体の測色値
を正確に求めるには、色フィルタの分光透過率分布が等
色関数の線形結合で表現できる、いわゆるルーター条件
を満たす必要がある。ルーター条件が満たせない場合に
は、撮像素子の出力信号に非線形変換を施す必要があ
る。これは、正確な測色的推定が困難な場合が多く、ｓ
ＲＧＢ信号への変換誤差が生じやすい。仮に測色的推定
が正確に実現できても、条件等色の問題が残り、被写体
の分光反射率を正確に推定することが望まれる。

【０００４】しかし、被写体の分光反射率を４００ｎｍ
から７００ｎｍの可視域で１０ｎｍおきに離散的に推定
する場合、分光反射率ベクトルは３１次元ベクトルとな
る。よって、分光反射率ベクトルの次元数（つまり３
１）と撮像素子のチャネル（つまり３）の違いから、３
バンドカメラでの分光反射率推定が容易でないことが理
解できる。

【０００５】以上のように、Ｒ、Ｇ、Ｂの３つの色フィ
ルタを用いた３バンド撮像装置では、正確な色情報推定
が困難であるため、バンド数を増やしたマルチバンド撮
像装置が有効な手段となる。

【０００６】たとえば杉浦らは、「分光画像の入力系シ
ステム（カラーフォーラムＪＡＰＡＮ‘９９、Ｐ６５−
Ｐ７２）」で、５枚のバンドパスフィルタと１つの撮像
素子を用いて時分割方式でマルチバンド画像を撮影する
マルチバンドカメラの技術を開示している。このように
バンド数を増やせば、分光推定の精度は向上するが、子
の方法は時分割撮影方式のため、撮影回数が増加する問
題が発生する。

【０００７】そこで、近年、バンド数と色推定精度のト
レードオフに関連した研究（たとえば、村上ら「正確な
色再現が可能なカラー画像システムの開発（カラーフォ
ーラムＪＡＰＡＮ‘９９、Ｐ５−Ｐ８）」など）が盛ん
に行われ、５バンドから１０バンド程度が適当とする研
究報告がなされている。

【０００８】しかし、時分割方式はバンド数の分だけ撮
影時間が長くなり、動く被写体を撮影することが困難に
なる。そこで、特開平４−３２９３２２号公報には、バ
ンドパスフィルタごとに撮像素子を設け、マルチバンド
画像を同時撮影する技術が開示されている。

【０００９】

【発明が解決しようとする課題】しかしながら上記の従
来の同時撮影方式マルチバンド撮像装置においては、以
下のような課題を残す。

【００１０】近年の学会への研究報告では、上述したよ
うに、正確な被写体の分光反射率推定には少なくとも５
バンド以上は必要であるとしている。そこで、バンドパ
スフィルタごとに撮像素子を設ける方式では、最低でも
５つの撮像素子が必要である。さらに、撮像レンズから
入力した光を５つの光路に分ける色分解光学系が必要に
なり、装置サイズと重量の増大を招く。また、色分解光
学系のサイズが大きくなると、撮像レンズから撮像素子
までの距離が長くなり、その結果、撮像レンズの口径の
増大をも併発し、撮像装置のコストアップを引き起こ
す。

【００１１】本発明は、かかる点に鑑みてなされたもの
で、被写体の分光情報を推定するに必要なバンド数より
も少ない数の撮像素子で、必要なバンド数のマルチバン
ド画像を同時に撮影することを目的とする。

【００１２】

【課題を解決するための手段】この目的を達成するため
に本発明は、撮像レンズから入力した光をハーフミラー
で２つの光路に分割し、一方の光から輝度画像を生成
し、他方の光を短波長成分と長波長成分に分割し、短波
長成分の光および長波長成分の光からそれぞれ被写体の
分光情報を推定し、推定した被写体の分光情報から算出
した測色値の明度情報を明度信号変換部の変換した明度
信号にセル単位で置換するようにした。

【００１３】これにより、視覚系の解像力の高い輝度成
分情報を高精細に保ちつつ、分光推定に必要なバンド数
より少ない数の撮像素子で複数バンド画像を同時に撮影
でき、動きの速い被写体のスチル画像撮影や動画撮影が
可能となる。

【００１４】

【発明の実施の形態】本発明の第１の態様にかかる撮像
装置は、撮像レンズからの光を２つの光路に分割するハ
ーフミラーと、前記ハーフミラーで分割された一方の光
を受光して前記被写体の輝度情報を取得する輝度撮像素
子と、前記輝度情報から輝度信号を生成し出力する輝度
信号生成部と、前記輝度信号を明度信号に変換する明度
信号変換部と、前記ハーフミラーで分割された他方の光
を短波長成分と長波長成分に分割するダイクロイックミ
ラーと、前記短波長成分の光を異なる複数の色フィルタ
を通して異なる複数の受光セルで受光し、受光した光に
対応する色信号を出力する短波長成分撮像素子と、前記
長波長成分の光を異なる複数の色フィルタを通して異な
る複数の受光セルで受光し、受光した光に対応する色信
号を出力する長波長成分撮像素子と、前記短波長成分撮
像素子と前記長波長成分撮像素子の出力する前記色信号
から被写体の分光情報を推定する被写体分光情報推定部
と、前記分光情報から算出した測色値の明度情報を前記
明度信号変換部の変換した明度信号に前記受光セル単位
で置換するセル単位明度信号置換部と、を具備する構成
を採る。

【００１５】このように、視覚系の解像力の高い明度成
分情報を前記輝度撮像素子で高精細に取得し、同時に前
記短波長成分撮像素子と前記長波長成分撮像素子から取
得された測色値の明度成分のみを前記輝度撮像素子から
の明度成分情報で撮像素子の受光セル単位に置換するこ
とによって、前記短波長成分撮像素子と前記長波長成分
撮像素子の受光セルに具備された色フィルタの種類より
少ない２つの撮像素子でマルチバンド画像を同時に撮影
でき、動きの速い被写体のスチル画像撮影や動画撮影が
可能になる作用を有する。

【００１６】本発明の第２の態様にかかる撮像装置は、
撮像レンズからの光を２つの光路に分割するハーフミラ
ーと、前記ハーフミラーで分割された一方の光を受光し
て前記被写体の輝度情報を取得する輝度撮像素子と、前
記輝度情報から輝度信号を生成し出力する輝度信号生成
部と、前記輝度信号を明度信号に変換する明度信号変換
部と、前記ハーフミラーで分割された他方の光を短波長
成分と長波長成分に分割するダイクロイックミラーと、
前記短波長成分の光を異なる複数の色フィルタを通して
異なる複数の受光セルで受光し、受光した光に対応する
色信号を出力する短波長成分撮像素子と、前記長波長成
分の光を異なる複数の色フィルタを通して異なる複数の
受光セルで受光し、受光した光に対応する色信号を出力
する長波長成分撮像素子と、前記短波長成分撮像素子と
前記長波長成分撮像素子の出力する前記色信号から被写
体の分光情報を推定する被写体分光情報推定部と、前記
分光情報から算出した測色値を前記輝度信号により前記
受光セル単位でスケーリングするセル単位測色値スケー
リング部と、を具備する構成を採る。

【００１７】このように、視覚系の解像力の高い輝度成
分情報を前記輝度撮像素子で高精細に取得し、同時に前
記短波長成分撮像素子と前記長波長成分撮像素子から取
得された測色値を前記輝度撮像素子からの輝度成分情報
で撮像素子の受光セル単位にスケーリングすることによ
って、前記短波長成分撮像素子と前記長波長成分撮像素
子の受光セルに具備された色フィルタの種類より少ない
２つの撮像素子でマルチバンド画像を同時に撮影でき、
動きの速い被写体のスチル画像撮影や動画撮影が可能に
なる作用を有する。

【００１８】本発明の第３の態様は、第１の態様または
第２に態様にかかる撮像装置において、前記短波長成分
撮像素子全体の前記色フィルタの配置は隣接する複数の
前記セルからなる単位ブロックの繰り返しパターンとな
っていて、前記短波長成分撮像素子の前記色フィルタは
前記単位ブロック内で互いに異なる分光透過率分布を持
ち、かつ前記単位ブロック内におけるすべての前記色フ
ィルタの分光透過率分布を組み合わせると前記短波長成
分の光の波長帯域をカバーする。

【００１９】このように、ダイクロイックミラーが分割
した短波長成分の光を無駄なく受光し、視覚系の解像力
の低い色成分情報を単位ブロックごとで取得することに
より、１つに撮像素子で複数のマルチバンド画像を撮影
できる作用を有する。

【００２０】本発明の第４の態様は、第１の態様または
第２の態様にかかる撮像装置において、前記長波長成分
撮像素子全体の前記色フィルタの配置は隣接する複数の
前記セルからなる単位ブロックの繰り返しパターンとな
っていて、前記長波長成分撮像素子の前記色フィルタは
前記単位ブロック内で互いに異なる分光透過率分布を持
ち、かつ前記単位ブロック内におけるすべての前記色フ
ィルタの分光透過率分布を組み合わせると前記長波長成
分の光の波長帯域をカバーする。

【００２１】このように、ダイクロイックミラーが分割
した長波長成分の光を無駄なく受光し、視覚系の解像力
の低い色成分情報を単位ブロックごとで取得することに
より、１つに撮像素子で複数のマルチバンド画像を撮影
できる作用を有する。

【００２２】本発明の第５の態様にかかる撮像装置は、
撮像レンズからの光を２つの光路に分割するハーフミラ
ーと、前記ハーフミラーで分割された一方の光を受光し
て前記被写体の輝度情報を取得する輝度撮像素子と、前
記輝度情報から輝度信号を生成し出力する輝度信号生成
部と、前記輝度信号を明度信号に変換する明度信号変換
部と、前記ハーフミラーで分割された他方の光を異なる
複数の色フィルタを通して異なる複数の受光セルで受光
し、受光した光に対応する色信号を出力する色撮像素子
と、前記色信号から被写体の分光情報を推定する被写体
分光情報推定部と、前記分光情報から算出した測色値の
うち、明度情報だけを前記明度信号変換部の変換した明
度情報に前記受光セル単位で置換するセル単位明度信号
置換部と、を具備する構成を採る。

【００２３】このように、視覚系の解像力の高い明度成
分情報を前記輝度撮像素子で高精細に取得し、同時に前
記短波長成分撮像素子と前記長波長成分撮像素子から取
得された測色値の明度成分のみを前記輝度撮像素子から
の明度成分情報で撮像素子の受光セル単位に置換するこ
とによって、前記短波長成分撮像素子と前記長波長成分
撮像素子の受光セルに具備された色フィルタの種類より
少ない１つの撮像素子でマルチバンド画像を同時に撮影
でき、動きの速い被写体のスチル画像撮影や動画撮影が
可能になる作用を有する。

【００２４】本発明の第６の態様にかかる撮像装置は、
撮像レンズからの光を２つの光路に分割するハーフミラ
ーと、前記ハーフミラーで分割された一方の光を受光し
て前記被写体の輝度情報を取得する輝度撮像素子と、前
記輝度情報から輝度信号を生成し出力する輝度信号生成
部と、前記輝度信号を明度信号に変換する明度信号変換
部と、前記ハーフミラーで分割された他方の光を異なる
複数の色フィルタを通して異なる複数の受光セルで受光
し、受光した光に対応する色信号を出力する色撮像素子
と、前記色信号から被写体の分光情報を推定する被写体
分光情報推定部と、前記分光情報から算出した測色値を
前記輝度信号により前記受光セル単位でスケーリングす
るセル単位測色値スケーリング部と、を具備する構成を
採る。

【００２５】このように、視覚系の解像力の高い輝度成
分情報を前記輝度撮像素子で高精細に取得し、同時に前
記短波長成分撮像素子と前記長波長成分撮像素子から取
得された測色値を前記輝度撮像素子からの輝度成分情報
で撮像素子の受光セル単位にスケーリングすることによ
って、前記短波長成分撮像素子と前記長波長成分撮像素
子の受光セルに具備された色フィルタの種類より少ない
１つの撮像素子でマルチバンド画像を同時に撮影でき、
動きの速い被写体のスチル画像撮影や動画撮影が可能に
なる作用を有する。

【００２６】本発明の第７の態様は、第５の態様または
第６の態様にかかる撮像装置において、前記色撮像素子
は、撮像素子の受光セルごとに色フィルタを通して光を
受光し、前記色フィルタは隣接する複数の受光セルを単
位ブロックとして、前記単位ブロック内で互いに異なる
分光透過率分布を持ち、かつ前記単位ブロック内のすべ
ての色フィルタを組み合わせると撮像レンズから入射し
た波長帯域をカバーする分光透過率分布を持ち、色撮像
素子全体の色フィルタの配置は、前記単位ブロックの繰
り返しパターンとなっている。

【００２７】このように、ハーフミラーが分割した光を
無駄なく受光し、視覚系の解像力の低い色成分情報を単
位ブロック単位で取得することにより、１つに撮像素子
で複数のマルチバンド画像を撮影できる。

【００２８】本発明の第８の態様は、第１の態様から第
７の態様のいずれかにかかる撮像装置において、前記単
位ブロックは、縦２セル、横２セルからなり、前記被写
体分光情報推定部は、前記単位ブロックごとに被写体の
分光情報を推定する。

【００２９】これにより、１つの撮像素子で単位ブロッ
クごとに４つのマルチバンド画像が同時に撮影できる作
用を有する。

【００３０】本発明の第９の態様は、第１の態様から第
７の態様のいずれかにかかる撮像装置において、前記単
位ブロックの縦方向の位置は、前記単位ブロックの１ラ
イン目が画像走査の走査ラインと一致するように決定さ
れる。

【００３１】これにより、撮像装置の出力信号をライン
メモリへ一時的に保持することなくストリーム形式で出
力でき、かつ被写体の分光情報を走査ラインごとに緻密
の推定できる作用を有する。

【００３２】本発明の第１０の態様は、第１の態様から
第７の態様のいずれかにかかる撮像装置において、前記
単位ブロックは縦ｎセルから構成されており、前記単位
ブロック内の（ｎ−１）ラインに相当する外部出力信号
をラインメモリに記憶し、前記単位ブロック内の第２ラ
イン以降の前記外部出力信号を前記ラインメモリから出
力する。

【００３３】これにより、受光セル単位でｎライン分同
時に生成されるマルチバンド画像のうち、第１ラインは
ラインメモリを介さず出力し、第２ライン以降の（ｎ−
１）ラインは画像走査の同期に合わせてラインメモリか
ら出力して、様々な走査方式に対応できる作用を有す
る。

【００３４】本発明の第１１の態様は、第１の態様、第
２の態様、第５の態様または第６の態様のいずれかにか
かる撮像装置において、照明の分光情報を記憶した照明
分光情報記憶部と、前記照明分光情報記憶部に保持した
前記照明の分光情報を用いて被写体の測色値を算出する
測色値変換部と、を具備し、前記セル単位明度信号置換
部あるいは前記セル単位測色値スケーリング部は、前記
被写体分光情報推定部が推定した被写体の分光情報と、
前記測色値変換部から測色値情報を入手する。

【００３５】これにより、撮像素子の受光セル単位で置
換される明度を持つ測色値、あるいはスケーリングされ
る測色値を被写体の分光情報と照明の分光情報から算出
できる作用を有する。

【００３６】本発明の第１２の態様は、第１の態様、第
２の態様、第５の態様または第６の態様のいずれかにか
かる撮像装置において、前記セル単位明度信号置換部あ
るいはセル単位測色値スケーリング部が前記受光セルご
とに算出した測色値を表示デバイスの輝度リニアドライ
ブレベルに変換する原色変換部と、前記原色変換部の出
力から前記表示デバイスのガンマ特性を補正するガンマ
補正部と、前記ガンマ補正部の出力から輝度・色差信号
を算出する輝度・色差信号変換部と、を具備した構成を
採る。

【００３７】これにより、撮像素子の受光セル単位で明
度が置換された測色値、あるいはスケーリングされた測
色値を表示デバイスのガンマ補正処理を含んだ輝度・色
差信号に変換できる作用を有する。

【００３８】本発明の第１３の態様は、第１の態様、第
２の態様、第５の態様または第６の態様のいずれかにか
かる撮像装置において、前記セル単位明度信号置換部あ
るいはセル単位測色値スケーリング部が前記受光セルご
とに算出した測色値を表示デバイスの輝度リニアドライ
ブレベルに変換する原色変換部と、前記原色変換部の出
力から輝度・色差信号を算出する輝度・色差信号変換部
と、を具備した構成を採る。

【００３９】これにより、撮像素子の受光セル単位で明
度が置換された測色値、あるいはスケーリングされた測
色値を、輝度・色差信号に輝度線形性を保ったまま変換
できる作用を有する。

【００４０】本発明の第１４の態様は、第１の態様、第
２の態様、第５の態様または第６の態様のいずれかにか
かる撮像装置において、セル単位明度信号置換部あるい
はセル単位測色値スケーリング部が前記受光セルごとに
算出した測色値を明度成分と色差成分に変換する明度・
色差信号変換部を具備した構成を採る。

【００４１】これにより、撮像素子の受光セル単位で明
度が置換された測色値、あるいはスケーリングされた測
色値を明度・色差信号に明度線形性を保ったまま変換で
きる作用を有する。

【００４２】本発明の第１５の態様は、第１２の態様ま
たは第１３の態様にかかる撮像装置において、前記輝度
・色差信号変換部は、映像表示デバイスのガンマ特性を
相殺するデバイスドライブ信号あるいは輝度リニアデバ
イスドライブ信号の線形和で輝度信号を生成し、前記デ
バイスドライブ信号あるいは前記輝度リニアデバイスド
ライブ信号の構成要素のうち、前記線形和において輝度
信号生成への寄与率の最も大きい要素を除いた全ての要
素のそれぞれから前記輝度信号を差し引いた差分値を色
差信号とし、前記輝度信号と色差信号を出力する。

【００４３】これにより、表示デバイスに特別な処理部
を設けることになくデバイスドライブ信号と発光色の輝
度の線形性を確保し、かつデバイスドライブ信号よりも
帯域の小さい輝度・色差信号での信号伝送を可能にする
作用を有する。

【００４４】本発明の第１６の態様は、第１４の態様に
かかる撮像装置において、前記明度・色差信号変換部
は、映像表示デバイスのガンマ特性を相殺するデバイス
ドライブ信号あるいは輝度リニアデバイスドライブ信号
の線形和で輝度信号を生成し、前記デバイスドライブ信
号あるいは前記輝度リニアデバイスドライブ信号の構成
要素のうち、前記線形和において輝度信号生成への寄与
率の最も大きい要素を除いた全ての要素のそれぞれから
前記輝度信号を差し引いた差分値を色差信号とし、前記
輝度信号を指数関数によって明度信号に変換し、前記明
度信号と前記色差信号を出力する。

【００４５】これにより、映像表示デバイスに特別な処
理部を設けることになくデバイスドライブ信号と発光色
の明度の線形性を確保し、かつデバイスドライブ信号よ
りも帯域の小さい明度・色差信号での信号伝送を可能に
する作用を有する。

【００４６】本発明の第１７の態様は、第１５の態様ま
たは第１６の態様にかかる撮像装置において、映像表示
デバイスのガンマ特性を相殺するデバイスドライブ信号
がＲ、Ｇ、Ｂの３バンドからなるか、あるいは輝度リニ
アデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドからな
るとき、Ｒバンドの寄与率を０．３０、Ｇバンドの寄与
率を０．５９、Ｂバンドの寄与率を０．１１とした線形
和で輝度信号を算出する。

【００４７】これにより、ＥＩＡ−ＲＳ１７０Ａ方式
のデコーダを有する映像表示デバイスで正確な色再現を
可能にする作用を有する。

【００４８】本発明の第１８の態様は、第１５の態様ま
たは第１６の態様にかかる撮像装置において、映像表示
デバイスのガンマ特性を相殺するデバイスドライブ信号
がＲ、Ｇ、Ｂの３バンドからなるか、あるいは輝度リニ
アデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドからな
るとき、Ｒバンドの寄与率を０．２９９、Ｇバンドの寄
与率を０．５８７、Ｂバンドの寄与率を０．１１４とし
た線形和で輝度信号を算出する。

【００４９】これにより、ＳＭＰＴＥ１７０Ｍ方式の
デコーダを有する映像表示デバイスで正確な色再現を可
能にする作用を有する。

【００５０】本発明の第１９の態様は、第１５の態様ま
たは第１６の態様にかかる撮像装置において、映像表示
デバイスのガンマ特性を相殺するデバイスドライブ信号
がＲ、Ｇ、Ｂの３バンドからなるか、あるいは輝度リニ
アデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドからな
るとき、Ｒバンドの寄与率を０．２１２６、Ｇバンドの
寄与率を０．７１５２、Ｂバンドの寄与率を０．０７２
２とした線形和で輝度信号を算出する。

【００５１】これにより、ＩＴＵ−ＲＲｅｃ．ＢＴ．
７０９−３方式のデコーダを有する映像表示デバイスで
正確な色再現を可能にする作用を有する。

【００５２】本発明の第２０の態様にかかる色分解光学
系は、入射光を２つの光路に分割するハーフミラーを備
えた第一の光学プリズムと、前記第一の光学プリズムで
分割された一方の光を短波長成分のみ反射するダイクロ
イックミラーを備えた第二の光学プリズムと、前記第二
の光学プリズムで透過した長波長成分を透過する第三の
光学プリズムと、前記第一の光学プリズムと前記第二の
光学プリズムとの間にエアギャップと、を具備する構成
を採る。

【００５３】この構成により、被写体からの光を輝度成
分と短波長、長波長の２つの色成分に分割する色分解光
学系を３つの光学プリズムの容積分だけに小型化できる
作用を有する。

【００５４】本発明の第２１の態様は、第２０の態様に
かかる色分解光学系において、前記第三の光学プリズム
は、長波長成分がプリズム内部からプリズム外部へ出力
される境界面に赤外吸収フィルタを具備する構成を採
る。

【００５５】この構成により、赤外光に感度を持つ撮像
素子からのノイズを簡単な構成で抑制できる作用を有す
る。

【００５６】本発明の第２２の態様にかかる色分解光学
系は、入射光を２つの光路に分割するハーフミラーを備
えた第一の光学プリズムと、前記第一の光学プリズムで
分割された一方の光を長波長成分のみ反射するダイクロ
イックミラーを備えた第二の光学プリズムと、前記第二
の光学プリズムで透過した短波長成分を透過する第三の
光学プリズムと、前記第一の光学プリズムと前記第二の
光学プリズムの間にエアギャップと、を具備する構成を
採る。

【００５７】この構成により、被写体からの光を輝度成
分と色成分に分割する色分解光学系を２つの光学プリズ
ムの容積分だけに小型化できる作用を有する。

【００５８】本発明の第２３の態様は、第２２の態様に
かかる色分解光学系において、前記第二の光学プリズム
は、反射された長波長成分がプリズム内部からプリズム
外部へ出力される境界面に赤外吸収フィルタを具備する
構成を採る。

【００５９】この構成により、赤外光に感度を持つ撮像
素子からのノイズを簡単な構成で抑制できる作用を有す
る。

【００６０】（実施の形態１）以下、本発明の実施の形
態１にかかる撮像装置であるマルチバンドビデオカメラ
について説明する。まず、実施の形態１における３つの
撮像素子でマルチバンド画像を同時に撮影するマルチバ
ンドビデオカメラのシステムについて図１を用いて説明
する。図１は、本発明の実施の形態１における３つの撮
像素子でマルチバンド画像を同時に撮影するマルチバン
ドビデオカメラのシステム構成図である。

【００６１】被写体からの光は、撮像レンズ１０１を通
して色分解光学系１０２に入る。そして、色分解光学系
１０２が、入射された光を第一の光路、第二の光路、お
よび第三の光路の、３光路に分割する。

【００６２】第一の光路には、分光特性として撮像レン
ズ１０１を通過した光と同一の光が供給される。第一の
光路上には、輝度撮像素子１０３が配置されていて、第
一の光路の光は輝度撮像素子１０３に入射される。輝度
撮像素子１０３は、受光セルごとに入射された光に対応
する信号を明度信号変換部１０５に出力する。輝度撮像
素子１０３の受光セルごとに出力される信号値は、輝度
信号生成部１０４で輝度信号として調整されて、明度信
号変換部１０５に出力される。そして、明度信号変換部
１０５は、入力された輝度信号を、指数関数を用いて明
度信号に変換し、出力する。

【００６３】第二の光路には、分光特性として撮像レン
ズ１０１を通過した光の短波長成分が供給される。そし
て、第二の光路上には、短波長成分撮像素子１０６が配
置されていて、第二の光路の光は短波長成分撮像素子１
０６に入射される。第三の光路には、分光特性として撮
像レンズ１０１を通過した光の長波長成分が供給され
る。そして、第三の光路上には長波長成分撮像素子１０
７が配置されていて、第三の光路の光は長波長成分撮像
素子１０７に入射される。ただし、第二の光路の光と第
三の光路の光は、色分解光学系１０２で撮像レンズ１０
１を通過した光をもとに分光的に分割したもので、これ
ら２つの光の、波長帯域の和は、撮像レンズ１０１を通
過した光の波長帯域に一致する。

【００６４】短波長成分撮像素子１０６は、受光セルに
密接した分光透過率分布の互いに異なる複数の色フィル
タを介して光を受光する。そして、短波長成分撮像素子
１０６は、受光セルごとに入射された光に対応する色信
号を短波長成分色信号処理部１０８に出力する。短波長
成分色信号処理部１０８は、入力された色信号値から色
フィルタの種類の数だけのマルチバンド画像を同時に生
成する。同様に長波長成分撮像素子１０７は受光セルに
密接した分光透過率分布の互いに異なる複数に色フィル
タを介して光を受光し、長波長成分色信号処理部１０９
で色フィルタの種類の数だけのマルチバンド画像を同時
に生成する。

【００６５】短波長成分色信号処理部１０８と長波長成
分色信号処理部１０９で生成されたマルチバンド画像は
ともに被写体分光情報推定部１１０へ供給され、被写体
の分光情報が推定される。被写体の分光情報とは、被写
体が自発光体である場合は、発光スペクトルの推定であ
り、被写体が照明の光を反射する反射物体である場合は
分光反射率となる。また、被写体分光情報推定部１１０
による推定結果の分光情報は、分光情報出力端子１１１
を介してカメラ外部へ出力できる。被写体分光情報推定
部１１０が推定した被写体の分光情報は、測色値変換部
１１２に与えられる。

【００６６】測色値変換部１１２は、入力された分光情
報を、ＣＩＥＸＹＺ三刺激値を経てたとえばＣＩＥＬＡ
Ｂ値のような明度成分（つまりＬ^*）と色味成分（つま
りａ^*、ｂ^*）に分離された測色値に変換する。ただし、
測色値の算出に必要な照明の分光情報は予め、照明分光
情報記憶部１１３に格納されていて、照明分光情報記憶
部１１３から測色値変換部１１２へ与えられる。測色値
変換部１１２で算出された測色値は、セル単位明度信号
置換部１１４へ入力される。

【００６７】セル単位明度信号置換部１１４は、測色値
変換部１１２から出力された測色値のうち、明度成分の
み、明度信号変換部１０５において受光セル単位で生成
された明度信号と置き換える。

【００６８】また、撮像した被写体の色情報を測色値と
して取り出したい場合は、測色値出力端子１１５を介し
てカメラ外部へ出力できる。セル単位明度信号置換部１
１４から出力された受光セル単位の測色値は、原色変換
部１１６で映像表示デバイスが持つ原色系の信号へ変換
される。また、原色変換部１１６の出力である輝度リニ
アデバイスドライブ信号はガンマ補正部１１７におい
て、映像表示デバイスのガンマ特性を相殺するような逆
ガンマ特性を施し、デバイスドライブ信号としてデバイ
スドライブ信号用ラインメモリ１１８と輝度・色差信号
変換部１１９へ供給される。輝度・色差信号変換部１１
９はデバイスドライブ信号を輝度信号と色差信号に変換
して輝度・色差信号用ラインメモリ１２０に出力され
る。

【００６９】デバイスドライブ信号用ラインメモリ１１
８と輝度・色差信号用ラインメモリ１２０の２種類のラ
インメモリは、走査方式の違いに対応するために設けら
れており、短波長成分撮像素子１０６と、長波長成分撮
像素子１０７の持つ色フィルタの配列に応じて動作が決
まる。そこで、撮像素子の持つ色フィルタの説明の後、
詳細に説明を行う。さらに、デバイスドライブ信号用送
信機１２１と輝度・色差信号用送信機１２２は様々な通
信プロトコルに対応するために設けられていて、マルチ
バンドビデオカメラの撮影映像信号をディスプレイ等の
受信デバイスへ定められたプロトコルに則って出力す
る。

【００７０】次に、色分解光学系１０２、輝度撮像素子
１０３、短波長成分撮像素子１０６、長波長成分撮像素
子１０７、被写体分光情報推定部１１０、測色値変換部
１１２、セル単位明度信号置換部１１４、原色変換部１
１６、ガンマ補正部１１７、輝度・色差信号変換部１１
９、デバイスドライブ信号用ラインメモリ１１８、輝度
・色差信号信号用ラインメモリ１２０について順を追っ
て詳細に説明する。

【００７１】第一に、色分解光学系１０２について、図
２を用いて詳細に説明する。図２は、実施の形態１にか
かる色分解光学系の内部構造を説明する図である。

【００７２】色分解光学系１０２は、被写体からの光を
３つの光学プリズムを用いて、輝度成分、短波長成分、
超波長成分の３つの成分に分解する。

【００７３】色分解光学系１０２は、三角プリズムであ
る第１光学プリズム２０２と、三角プリズムである第２
光学プリズム２０９と、台形プリズムである第３光学プ
リズム２１６とから構成される。

【００７４】第１光学プリズム２０２は、撮像レンズ１
０１からの入射光２０１に垂直に配置され、入射光２０
１が入射される入射面である第１面２０６と、第１面２
０６の長波長成分撮像素子１０７側と接続され面の法線
が輝度撮像素子１０３側に所定の角度傾いた入射光２０
１の半透過面（第２面）であるハーフミラー２０３と、
第１面２０６の輝度撮像素子１０３側と接続され、面法
線が輝度撮像素子１０３の方向に垂直な透過面である第
３面２０７と、から構成される。

【００７５】ハーフミラー２０３は、入射光２０１を、
反射光である第１反射光２０４と、透過光である第１透
過光２０５の、２つの光に分割する。また、ハーフミラ
ー２０３には波長選択性はなく、分割された２つの光、
第１反射光２０４と第１透過光２０５は同じ分光分布を
持つ。

【００７６】第１反射光２０４は、ハーフミラー２０３
の法線が輝度撮像素子１０３側に傾いているため、入射
光２０１に対して輝度撮像素子１０３側に傾いて進む。
そして、第１反射光２０４は、第１光学プリズム２０２
の第１面２０６に臨界角以上で入射し、すべての第１反
射光２０４が第１面２０６で反射されて、第３面２０７
の方向に進む。そして、第１反射光２０４は、第３面２
０７を透過し輝度撮像素子１０３へ入射する。

【００７７】一方、第１透過光２０５は、第１光学プリ
ズム２０２と、エアギャップ２０８を介して配置された
第２光学プリズム２０９へ入射される。

【００７８】第２光学プリズム２０９は、第１透過光２
０５の入射される透過面であり、エアギャップ２０８を
介して第１光学プリズム２０２のハーフミラー２０３と
平行に配置された第１面２１３と、第１面２１３の輝度
撮像素子１０３側と接続され面の法線が長波長成分撮像
素子１０７側に所定の角度傾いた第１透過光２０５の半
透過面（第２面）である長波長成分反射ダイクロイック
ミラー２１０と、第１面２１３の長波長成分撮像素子１
０７側と接続され、面法線が長波長成分撮像素子１０７
側に垂直な透過面である第３面２１４と、から構成され
る。

【００７９】長波長成分反射ダイクロイックミラー２１
０は、第１透過光２０５を、光を短波長成分と長波長成
分の２つの光に分割し、長波長成分の光である第２反射
光２１１を反射し、短波長成分の光である第２透過光２
１２を透過する。

【００８０】第２反射光２１１は、第２光学プリズム２
０９の第１面２１３に臨界角以上で入射する。第１面２
１３と第１光学プリズム２０２との間にはエアギャップ
２０８があるので、第２反射光２１１のすべての光が第
１面２１３で反射されて、第３面２１４を介して長波長
成分撮像素子１０７へ入射する。また、第２面２１４に
は、赤外吸収フィルタ２１５が蒸着されており、赤外域
に感度を持つ撮像素子のノイズを抑制する。

【００８１】また、第２透過光２１２は、第３光学プリ
ズム２１６に入射される。第３光学プリズム２１６は、
第２光学プリズム２０９の長波長成分反射ダイクロイッ
クミラー２１０と接触した透過面である第１面２１７
と、第１面２１７と所定間隔あけて、短波長成分撮像素
子１０６と水平に配置された第２面２１８と、第２面２
１８と垂直にかつ第１面２１７と接触する第３面２１９
および第４面２２０と、から構成されている。

【００８２】長波長成分反射ダイクロイックミラー２１
０の反射と透過の境界の波長、いわゆるカットオフ波長
は、光の損失を最小限にするために、長波長成分撮像素
子１０７の受光セルが持つ色フィルタの透過域のみを反
射するように設定する。以上の構成により、被写体から
の光を３つの光学プリズムを用いて、輝度成分と短波
長、長波長の２つの色成分に分解でき、３つの光学プリ
ズムの容積分だけに小型化できる。

【００８３】第２透過光２１２は、第３光学プリズム２
１６の第１面から入射し、第３光学プリズム２１６によ
り結像し、第２面２１７を透過して短波長成分撮像素子
１０６へ入射する。

【００８４】なお、ハーフミラー２０３で２つに分割さ
れる第１反射光２０４と第１透過光２０５の光量の割合
は、３つの撮像素子、輝度撮像素子１０３、短波長成分
撮像素子１０６、長波長成分撮像素子１０７の感度特性
に応じて最適化することが望ましい。また、長波長成分
反射ダイクロイックミラー２１０は長波長成分透過ダイ
クロイックミラーであっても構わない。ただし、この場
合、短波長成分撮像素子１０６と長波長成分撮像素子１
０７の位置が入れ替わり、同時に赤外吸収フィルタも第
３光学プリズムに設置される。

【００８５】第二に、輝度撮像素子１０３、短波長成分
撮像素子１０６、長波長成分撮像素子１０７について、
図３を用いて詳細に説明する。図３は、実施の形態１に
かかる、輝度撮像素子、短波長成分撮像素子、および長
波長成分撮像素子の受光セルと色フィルタの構造を説明
する概念図である。

【００８６】図３（ａ）は、撮像素子を側面から見た模
式的構造図であり、輝度撮像素子１０３、短波長成分撮
像素子１０６、長波長成分撮像素子１０７に共通する図
である。基板３０１の上に、複数の受光セル３０２が並
んで配置されている。複数の受光セル３０２上には、そ
れぞれ分光透過率分布の互いに異なる複数の色フィルタ
３０３が密接して配置されている。

【００８７】短波長成分撮像素子１０６、長波長成分撮
像素子１０７は、色フィルタ３０３を通して、受光セル
３０２で光を受ける。ただし、輝度撮像素子１０３は、
色フィルタ３０２を持たず、波長選択性なしに受光す
る。

【００８８】図３（ｂ）は、輝度撮像素子、短波長成分
撮像素子、および長波長成分撮像素子の色フィルタの配
列を示す概念図である。

【００８９】輝度撮像素子１０３は、色フィルタを持た
ないため、仮にＬと示した。短波長成分撮像素子１０６
はｆ₁からｆ₄で示される４種類の色フィルタを縦２セ
ル、横２セルのブロック単位で具備する。同様に、長波
長成分撮像素子１０７はｆ₅からｆ₈で示される４種類の
色フィルタを縦２セル、横２セルのブロック単位で具備
する。

【００９０】短波長成分撮像素子１０６と長波長成分撮
像素子１０７を合わせた８種類の色フィルタｆ₁からｆ₈
は互いに異なる分光透過率分布を持ち、たとえば図４に
示すように８つで可視域（図４では３８０ｎｍから７８
０ｎｍ）をカバーする関係を持つ。つまり可視域全体の
光を８つの色フィルタで分担して受光する。

【００９１】このように可視域全体の光を８つの色フィ
ルタで分担して受光することにより、従来の３バンド系
カメラに比べて各バンドが狭帯域であり、かつバンド数
が多くなる。このため、被写体の分光推定を行うに際
し、８バンドカメラは３バンドカメラより自由度が高
く、構造的に分光推定精度向上の可能性を持つ。

【００９２】被写体分光情報推定部１１０は、色フィル
タｆ₁からｆ₈の８つの信号をもとに被写体の分光情報を
推定する。従って、被写体分光情報推定部１１０は、分
光情報を縦２セル、横２セルのブロック単位で推定し、
算出する。

【００９３】図３（ｃ）は、実施の形態１にかかる輝度
撮像素子、短波長成分撮像素子、および長波長成分撮像
素子の画素単位で見た色信号の配列と輝度変換部の動作
と被写体分光情報推定部の動作を説明する概念図であ
る。

【００９４】輝度信号生成部１０４は、受光セルごとに
輝度信号Ｙ_ij（ｉ＝１，２，…，ｍ，ｊ＝１，２，…，
ｎ）を生成する。一方、被写体分光情報推定部１１０
は、縦２セル、横２セルのブロック単位ごとに分光情報
信号Ｒ_kl（（ｋ＝１，２，…，ｍ／２，ｌ＝１，２，
…，ｎ／２）を生成する。よって、色成分である分光情
報信号は、輝度信号に対し、縦１／２、横１／２の解像
度となる。

【００９５】ところで、坂田らの「視覚系における色度
の空間周波数特性（色差弁別閾）、テレビジョン第３１
巻第１号（１９９７年）」によると、視覚系は輝度変調
に対して感度が高く、逆に色味変調に対して感度が低
い。反対色対の空間的正弦波（輝度一定）を用いた弁別
能は０．３ｃｙｃｌｅｓ／ｄｅｇに感度ピークを持つ。
一方、無彩色成分のみで作成した空間的正弦波（色度一
定）を用いた弁別能は３ｃｙｃｌｅｓ／ｄｅｇでピーク
を持つ。

【００９６】以上の結果に基づくと、カメラで取り込む
被写体の色情報は、視覚系の空間的解像能から見ると、
輝度成分を高精細に取り込むことが重要になる。言い換
えると、視覚系に対して同じ空間的解像性をカメラ取り
込み画像に持たせるには、色味成分は輝度成分の半分未
満のサンプリング間隔で構わないことになる。

【００９７】本発明は、上記のような視覚系が持つ輝度
成分と色味成分への空間的弁別能の違いに着目し、積極
的に利用したものである。つまり、色味成分のサンプリ
ング間隔を広くすることで、マルチバンド画像を同時に
撮影でき、かつ分光推定精度を落とさない効果を有する
ようにしている。

【００９８】なお、図３では、縦２セル、横２セルを単
位ブロックとしたが、単位ブロックを形成する受光セル
数は任意であり、本発明はこれらを限定しない。受光セ
ル数の増加は、分光推定精度の向上につながるが、反
面、解像度の低下を導く。このため、単位ブロックを構
成する受光セル数は、分光推定精度と空間解像度のバラ
ンスで決まり、各システムの色再現目標に応じて最適化
されるべきである。

【００９９】また、図４に示した８つの色フィルタの分
光透過率は互いに同じ形状を持ち、ピーク波長が等間隔
で異なるが、本発明が言及するのは短波長成分撮像素子
１０６と長波長成分撮像素子１０７の色フィルタすべて
の組み合わせで可視域（たとえば３８０ｎｍから７８０
ｎｍ）全体をカバーするところにあり、分光的形状やピ
ーク波長に関して制限を与えるものではない。ただし、
信号処理の複雑化を避けるために、短波長成分撮像素子
１０６と長波長成分撮像素子１０７の色フィルタの配列
は同一であることが望ましい。

【０１００】第三に、被写体分光情報推定部１１０につ
いて詳細に説明する。ここでは、被写体の分光情報とし
て分光反射率を取り上げて説明する。マルチバンド信号
から被写体の分光反射率を推定する方法は様々提案され
ている。本発明は、分光推定方法を制限するものではな
いため、任意の方法を適応可能である。そこで、ここで
はウィナー推定による方法を説明する。短波長成分色信
号処理部１０８からの出力を列ベクトルＶ_short＝
［ｖ₁，ｖ₂，ｖ₃，ｖ₄］^t、長波長成分色信号処理部１
０９からの出力を列ベクトルＶ_long＝［ｖ₅，ｖ₆，
ｖ₇，ｖ₈］^t、カメラ特性を行列Ｓ、被写体の分光反射
率を列ベクトルＲ＝［ｒ₁，ｒ₂，…，ｒ_q］^tとするとこ
れらは以下の関係を持つ。

【０１０１】

【数１】ただしセンサー応答を表わす列ベクトルＶは

【０１０２】

【数２】で与えられる。またカメラ特性を表わす行列Ｓは

【０１０３】

【数３】で与えられる。ここで、行列Ｆは受光セルに配置された
色フィルタの分光透過率を表わし、８つの色フィルタを
用いるとして８行ｑ列からなる。たとえば３８０ｎｍか
ら７８０ｎｍを１０ｎｍおきに取った場合、ｑ＝４１と
なる。また、行列Ｅは照明の分光分布を表わす対角行列
であり、対角成分にｑ個の成分が並ぶ。

【０１０４】さて、式（１）において、センサー応答Ｖ
の次元（ここでは８）と波長の次元ｑが同一であれば、
カメラ特性行列Ｓは正則であり、逆行列Ｓ^-1によって

【０１０５】

【数４】から被写体の分光反射率が求まる。

【０１０６】しかし、本実施の形態のように、８種類の
色フィルタを用いて３８０ｎｍから７８０ｎｍの帯域を
１０ｎｍおきに量子化するとｑ＝４１となり、行列Ｓは
正則とならない。このような場合はウィナー推定法が用
いられる。今、被写体の真の分光反射率を行列Ｒ_real、
推定された分光反射率を行列Ｒ_est、行列Ｓに対応する
擬似逆行列をＧとすると、式（１）は

【０１０７】

【数５】と表わされ、式（４）は

【０１０８】

【数６】と表わされる。従って以下で与えられる行列Ｒ_realと行
列Ｒ_estの最小自乗誤差εを最小化する推定行列Ｇを求
めれば良い。

【０１０９】

【数７】ここでｔは転置、＜＞はアンサンブル平均を表わす。ε
を最小にする推定行列はウィナー推定から次式で与えら
れる。

【０１１０】

【数８】ここで、行列ρは相関行列を表わす。行列Ｒ_samplesと
行列Ｖ_samplesは相関行列ρを算出するためのサンプル
データで、行列Ｒ_samplesはサンプルの分光反射率行
列、Ｖ_samplesはＲ_samplesに対する信号値を表わし、短
波長成分色信号処理部１０８と長波長成分色信号処理部
１０９の出力信号に対応する。

【０１１１】第四に、測色値変換部１１２とセル単位明
度信号置換部１１４について、図５を用いて詳細に説明
する。図５は、実施の形態１にかかる、測色変換部、照
明分光情報記憶部、明度信号変換部、セル単位明度置換
部の動作を説明する図である。

【０１１２】図５に示すように、測色値変換部１１２
は、被写体分光情報推定部１１０が縦２セル、横２セル
のブロック単位で推定した被写体の分光情報と照明分光
情報記憶部１１３から供給される照明の分光情報から次
式に用いてブロック単位でＣＩＥＸＹＺ三刺激値を算出
する。

【０１１３】

【数９】ここで、ｒ_hは波長ｈ番目の被写体の分光反射率を表わ
す。測色値変換部１１２は、ＣＩＥＸＹＺ三刺激値をさ
らに輝度成分と色味成分に分離された測色値、たとえ
ば、式（１０）を用いてＣＩＥＬＡＢ値などに変換す
る。

【０１１４】

【数１０】ここで、Ｘ_n、Ｙ_n、Ｚ_nは基準白色のＣＩＥＸＹＺ三刺
激値を表わす。ただし、輝度成分は式（１０）にあるよ
うな視覚系の明るさ間隔に対して比例的な関係を持つ明
度信号に変換する。一般に、式（９）で与えられる輝度
値は視覚系の明るさ間隔に対して線形関係が成り立た
ず、式（１０）に示すような１／３乗程度の指数関数で
輝度値を変換すると視覚系の明るさ間隔と線形関係が成
立すると言われている。

【０１１５】一方、明度信号変換部１０５は輝度信号生
成部１０４で受光セル単位に算出された輝度信号Ｙを式
（１０）を用いて明度信号Ｌ^*に変換する。測色値変換
部１１２が縦２セル、横２セルのブロック単位で測色値
を算出するのに対し、明度信号変換部１０５はセル単位
で明度信号Ｌ^*を算出する。

【０１１６】そこで、セル単位明度信号置換部１１４
は、測色値変換部１１２から出力される測色値のうち、
明度成分Ｌ^*のみ、明度信号変換部１０５からの出力に
置き換える。

【０１１７】前述したように、視覚系は輝度変調に対す
る解像力が高いため、縦２セル、横２セルのブロック単
位で算出されたＣＩＥＬＡＢ値の明度成分Ｌ^*のみを色
成分ａ^*とｂ^*に対して縦方向、横方向それぞれで２倍の
解像度に変換する。

【０１１８】ところで、照明分光情報記憶部１１３に格
納する照明の分光分布を、被写体が撮影された環境の照
明と別の分光分布に入れ替えれば、照明変換が容易に行
える。

【０１１９】たとえば、再現画像はプリンタで紙に印刷
されるとして、被写体は色温度４０００Ｋ程度のタング
ステンランプで照明されていて、再現画像は６５００Ｋ
程度の昼光ランプで観察する場合を考える。被写体の撮
影の視環境下（つまり４０００Ｋタングステンランプ）
で定義されるＣＩＥＸＹＺ三刺激値で出力したい場合
は、式（９）のｅ_hに４０００Ｋタングステンランプの
分光分布を代入すればいい。プリントを観察する視環境
下（つまり６５００Ｋ昼光ランプ）で定義されるＣＩＥ
ＸＹＺ三刺激値で出力したい場合は、式（９）のｅ_hに
６５００Ｋ昼光ランプの分光分布を代入すればいい。上
記のような照明変換は、マルチバンドカメラ特有の機能
であり、マルチバンドカメラは被写体の分光反射率を算
出できるためである。測色値情報をＣＩＥＸＹＺ三刺激
値ベースで持ち、分光情報を持たない３バンドカメラと
大きく差別化される特徴である。

【０１２０】このように、測色値変換部１１２が照明分
光情報記憶部１１３に保持した照明の分光情報を用いて
被写体の測色値を算出することで、測色値を被写体の分
光情報と照明の分光情報から算出できる。

【０１２１】第五に、原色変換部１１６について詳細に
説明する。原色変換部１１６は測色値を映像表示デバイ
スに依存した信号に変換する。測色値とデバイス依存信
号の関係は、ディスプレイの原色点の測色値で決まる。
たとえばＩＴＵ−ＲＲｅｃ．ＢＴ．７０９−３では測
色パラメータとして３原色の色度値を定めている。すな
わち、Ｒ原色は（ｘ，ｙ）＝（０．６４，０．３３）、
Ｇ原色は（ｘ，ｙ）＝（０．３０，０．６０）、Ｂ原色
は（ｘ，ｙ）＝（０．１５，０．０６）であり、表示色
の輝度値と比例関係にある輝度リニアデバイスドライブ
信号Ｒ、Ｇ、ＢとＣＩＥＸＹＺ三刺激値との関係は以下
で与えられる。

【０１２２】

【数１１】ここで、Ｘ_R、Ｙ_R、Ｚ_RはＲ原色のＣＩＥＸＹＺ三刺激
値を表わし、同様にＸ_G、Ｙ_G、Ｚ_GはＧ原色のＣＩＥＸ
ＹＺ三刺激値を、Ｘ_B、Ｙ_B、Ｚ_BはＢ原色のＣＩＥＸＹ
Ｚ三刺激値を表わす。ＣＩＥＸＹＺ三刺激値とｘｙ色度
座標の関係は

【０１２３】

【数１２】で与えられるために、式（１１）はＲ原色の色度座標
（ｘ_R，ｙ_R）、Ｇ原色の色度座標（ｘ_G，ｙ_G）、Ｂ原色
の色度座標（ｘ_B，ｙ_B）を用いて以下のように書き換え
られる。

【０１２４】

【数１３】以上、原色変換部１１６は、式（１３）によってＣＩＥ
ＸＹＺ三刺激値を輝度リニアデバイスドライブ信号Ｒ、
Ｇ、Ｂに変換する。

【０１２５】なお、本発明は映像表示デバイスの原色数
を限定するものではなく、式（１１）と式（１３）の３
原色は任意数に拡張可能である。

【０１２６】第六に、ガンマ補正部１１７について詳細
に説明する。現在、流通しているデバイス依存のＲＧＢ
信号は、ＮＴＳＣ方式の概念を周到するＣＲＴディスプ
レイのガンマ補正処理が施されている。ＣＲＴディスプ
レイは、表示管や信号処理系などの総合的入出力特性と
して、デバイスドライブ信号と発光輝度の関係が２．２
乗の指数関数で表わされる。これがいわゆるガンマ特性
である。そこで、デバイスドライブ信号と発光輝度の関
係が線形になるように、予め送信側で１／２．２乗の指
数関数変換を施し、ＣＲＴディスプレイのガンマ特性を
相殺するように、いわゆるガンマ補正を施してＲ信号、
Ｇ信号、Ｂ信号を送出する。ガンマ補正部１１７は、式
（１４）で輝度リニアデバイスドライブ信号Ｒ、Ｇ、Ｂ
をガンマ補正済のデバイスドライブ信号Ｒ'、Ｇ'、Ｂ'
に変換する。

【０１２７】

【数１４】なお、本発明は映像表示デバイスの原色数を限定するも
のではなく、式（１４）の３原色は任意数に拡張可能で
ある。

【０１２８】このように、ガンマ補正部１１７を具備す
ることで、撮像素子の受光セル単位で明度が置換された
測色値を表示デバイスのガンマ補正処理を含んだ輝度・
色差信号に変換できる。

【０１２９】第七に、輝度・色差信号変換部１１９につ
いて詳細に説明する。デバイスドライブ信号Ｒ'、Ｇ'、
Ｂ'は、輝度・色差信号変換部１１９において様々な伝
送フォーマットに対応させるために輝度・色差信号に変
換される。たとえばＩＴＵ−ＲＲｅｃ．ＢＴ．７０９
−３に従う場合は、式（１５）によってデバイスドライ
ブ信号Ｒ'、Ｇ'、Ｂ'が輝度・色差信号に変換される。

【０１３０】

【数１５】このように、輝度・色差信号変換部１１９を具備するこ
とで、撮像素子の受光セル単位で明度が置換された測色
値の輝度線形性を保ったまま、輝度・色差信号に変換で
きる作用を有する。

【０１３１】なお、本発明は、デバイスドライブ信号
Ｒ'、Ｇ'、Ｂ'を輝度・色差信号へ変換する方式に対し
て制限を与えるものではなく、伝送フォーマットに応じ
て自由に設定できることを特筆しておく。

【０１３２】たとえば、Ｒバンドの寄与率を０．３０、
Ｇバンドの寄与率を０．５９、Ｂバンドの寄与率を０．
１１とした線形和で輝度信号を算出することで、ＥＩＡ
−ＲＳ１７０Ａ方式に従わせることができ、ＥＩＡ−
ＲＳ１７０Ａ方式のデコーダを有する映像表示デバイ
スで正確な色再現を可能にする。

【０１３３】また、Ｒバンドの寄与率を０．２９９、Ｇ
バンドの寄与率を０．５８７、Ｂバンドの寄与率を０．
１１４とした線形和で輝度信号を算出することで、ＳＭ
ＰＴＥ１７０Ｍ方式のデコーダを有する映像表示デバ
イスで正確な色再現を可能にする。

【０１３４】最後に、走査方式の違いに対応する方法と
デバイスドライブ信号用ラインメモリ１１８、輝度・色
差信号用ラインメモリ１２０について詳細に説明する。
一般に映像方式には１走査ラインおきに飛び越し走査を
行うインタレース方式と飛び越しなしに走査ライン順に
走査を行うプログレッシブ方式がある。本発明では、短
波長成分色信号処理部１０８と長波長成分色信号処理部
１０９が受光セル単位で縦２セル、横２セルを単位ブロ
ックとしたブロック単位で測色値を算出する。従って、
走査ライン方向に見た場合、２ライン分の測色値が１回
の動作で求められる。そこで、プログレッシブ方式の場
合は、２ライン目の測色値データを保持しておいて、走
査タイミングに合わせて、保持しておいた２ライン目の
測色データを送出する必要がある。

【０１３５】図１におけるデバイスドライブ信号用ライ
ンメモリ１１８は、取り込んだ被写体の色情報をデバイ
スドライブ信号形式で保持し、デバイスドライブ信号用
送信機１２１からの走査タイミングに合わせた読み出し
指示に従って保持したデバイスドライブ信号を出力す
る。

【０１３６】同様に、輝度・色差信号用ラインメモリ１
２０は、取り込んだ被写体の色情報を輝度・色差信号形
式で保持し、輝度・色差信号用送信機１２２からの走査
タイミングに合わせた読み出し指示に従って保持した輝
度・色差信号を出力する。

【０１３７】またインタレース方式の場合は、ラインメ
モリに保持することなく取得された被写体の分光情報を
そのまま出力すればいい。すなわち、図３に示すよう
に、被写体の分光反射率は縦２セルずつ取得される。そ
こで、インタレース走査が奇数ラインを走査中でも偶数
ラインを走査中でも、被写体分光情報推定部１１０は同
一の分光反射率を出力する。このため、測色値変換部１
１２は奇数ラインでも偶数ラインでも同じ測色値を出力
し、ラインメモリにデータを保持しておく必要はない。

【０１３８】ただし、被写体の分光反射率を推定する単
位ブロックの縦方向のセル数が３以上の場合は、プログ
レッシブ方式とインタレース方式の両走査方式におい
て、データを保持しておく必要がある。プログレッシブ
方式の場合は、単位ブロックの縦方向のセル数をｎとす
ると（ｎ−１）ライン分のラインメモリを必要とする。
インタレース方式の場合は、（ｎ−１）／２の商にあた
るライン分のラインメモリを必要とする。ラインメモリ
に保持された信号値は、送信機から指示された読み出し
タイミングに応じて出力される。

【０１３９】このように、単位ブロックが縦ｎセルから
構成されている際には、単位ブロック内の（ｎ−１）ラ
インに相当する外部出力信号をラインメモリに記憶し、
単位ブロック内の第２ライン以降の出力はラインメモリ
から撮像装置の外部へ出力することで、受光セル単位で
ｎライン分同時に生成されるマルチバンド画像のうち、
第１ラインはラインメモリを介さず出力し、第２ライン
以降の（ｎ−１）ラインは画像走査の同期に合わせてラ
インメモリから出力して、様々な走査方式に対応でき
る。

【０１４０】一方、被写体の分光情報を推定する単位ブ
ロックが走査ラインごとに移動する場合は最小限の構成
でプログレッシブ方式とインタレース方式に対応でき
る。図６は、実施の形態１にかかるデバイスドライブ信
号用ラインメモリと、輝度・色差信号用ラインメモリの
動作を説明する図である。図６は、図３と同様に縦２セ
ル、横２セルを単位ブロックとして被写体の分光情報を
推定するケースである。図６（ａ）は、実施の形態１に
かかるデバイスドライブ信号用ラインメモリと、輝度・
色差信号用ラインメモリの画像の第１走査ライン走査時
における動作を表わした図であり、図６（ｂ）は、実施
の形態１にかかるデバイスドライブ信号用ラインメモリ
と、輝度・色差信号用ラインメモリ画像の、第２走査ラ
イン走査時の動作を表わした図である。

【０１４１】撮影装置が画像の第１走査ラインを走査し
ている場合、図６（ａ）に示すように、短波長成分撮像
素子１０６と長波長成分撮像素子１０７は、素子の第１
走査ラインと第２走査ラインがアクティブとなり、２ラ
イン分の信号が同時に被写体分光情報推定部１１０に出
力されて、被写体の分光情報を２ライン単位で推定す
る。そこで、撮影装置は、第２走査ラインの出力信号
を、画像の走査が第２走査ラインに入るまで保持する必
要があり、分光情報は測色値に変換された後、１ライン
分のラインメモリ６０１（図１中のデバイスドライブ信
号用ラインメモリ１１８および輝度・色差信号用ライン
メモリ１２０に相当）に第２走査ラインの測色値が保存
される。画像の走査が第２走査ラインに移ったら、図６
（ｂ）に示すように、短波長成分撮像素子１０６、長波
長成分撮像素子１０７、被写体分光情報推定部１１０と
は関係なく、ラインメモリ６０２（実体はラインメモリ
６０１と同一。）から、すでに計算済の出力信号を外部
出力する。

【０１４２】図７は、被写体の分光情報推定における単
位ブロックの位置を画像の走査位置に合わせて、１ライ
ンずつ移動する場合である。図７（ａ）は、実施の形態
１にかかるデバイスドライブ信号用ラインメモリと、輝
度・色差信号用ラインメモリの画像の、第１走査ライン
走査時の動作を表わした図であり、図７（ｂ）は、実施
の形態１にかかるデバイスドライブ信号用ラインメモリ
と、輝度・色差信号用ラインメモリ画像の、第２走査ラ
イン走査時の動作を表わした図である。

【０１４３】画像の第１走査ライン走査時は、図６
（ａ）と同様に、短波長成分撮像素子１０６と長波長成
分撮像素子１０７の第１走査ラインと第２走査ラインが
アクティブとなり、２ライン分の信号が同時に被写体分
光情報推定部１１０に出力されて、被写体の分光情報を
２ライン単位で推定する。分光情報は測色値に変換され
て、そのまま外部へ出力される。画像の走査が第２走査
ラインに移ると、図７（ｂ）に示すように、短波長成分
撮像素子１０６と長波長成分撮像素子１０７は、素子の
第２走査ラインと第３走査ラインがアクティブとなり、
２ライン分の信号が同時に被写体分光情報推定部１１０
に出力されて、被写体の分光情報を２ライン単位で推定
する。引き続き、分光情報は測色値に変換されて、その
まま外部へ出力される。

【０１４４】図７に示すように、分光推定を行う撮像素
子上の単位ブロックの第１ラインが、画像走査の走査ラ
インと一致するように移動すれば、図６に示すようなラ
インメモリが必要なくなる。また、図７で推定される分
光情報は、撮像素子を１ラインずつ移動していくため、
２ラインごとに分光推定を行う図６より、推定精度が高
くなる利点がある。

【０１４５】つまり、図６の場合、奇数走査ライン、偶
数走査ラインの順で隣接する２ラインは同一の分光情報
を持ち、たとえば図６の隣接するセル６０３とセル６０
４は同一の分光情報Ｒ₁₁を持つ。

【０１４６】一方、図７の場合、セル６０４と同一位置
にあるセル７０１は、画像の第１走査ラインを走査時図
７（ａ）には、分光情報Ｒ₁₁を持つが、画像の第２走査
ラインを走査時図７（ｂ）には、分光情報Ｒ₂₁に書き換
えられる。分光情報Ｒ₂₁は撮像素子の第２ライン、第３
ラインで取得した被写体情報であり、撮像素子の第１ラ
イン、第２ラインから取得された被写体情報Ｒ₁₁とは異
なる。

【０１４７】以上、分光推定を行う撮像素子上の単位ブ
ロックの第１ラインが、画像走査の走査ラインと一致す
るように移動することで、単位ブロック固定の場合より
も正確な分光推定が可能になるが、図５において、すで
に詳細に説明を行ったセル単位明度信号置換部１１４と
の組み合わせで、色推定精度がさらに向上することを追
記しておく。

【０１４８】なお、図６と図７では分光推定を行う単位
ブロックを縦２セル、横２セルを例にとって説明した
が、本発明は単位ブロックのセル数に制限されるもので
はなく、任意サイズの単位ブロックで実施可能であるこ
とを特筆しておく。

【０１４９】また、デバイスドライブ信号用送信機１２
１と輝度・色差信号用送信機１２２は任意の伝送フォー
マットを適応可能であり、ＩＴＵ−ＲやＳＭＰＴＥのテ
レビジョン、ＶＴＲ、ディスク記録フォーマット等の標
準規格や、多くのデジタルカメラで採用されているｓＲ
ＧＢ信号など、任意に対応できる。

【０１５０】以上、実施の形態１によって、視覚系の解
像力の高い明度成分情報を前記輝度撮像素子で高精細に
取得し、同時に短波長成分撮像素子と長波長成分撮像素
子から取得された測色値の明度成分のみを輝度撮像素子
からの明度成分情報で撮像素子の受光セル単位に置換す
ることによって、短波長成分撮像素子と長波長成分撮像
素子の受光セルに具備された色フィルタの種類より少な
い２つの撮像素子でマルチバンド画像を同時に撮影で
き、動きの速い被写体のスチル画像撮影や動画撮影が可
能になる。

【０１５１】また、実施の形態１は、短波長成分撮像素
子１０６および長波長成分撮像素子１０７が、互いに異
なり、かつ単位ブロック内のすべての色フィルタを組み
合わせるとダイクロイックミラー２１０が分割した短波
長側および長波長側の光の波長帯域をカバーする分光透
過率分布を持つ受光セルからなる単位ブロックを持つの
で、ダイクロイックミラー２１０が分割した短波長成分
および長波長成分の光を無駄なく受光し、視覚系の解像
力の低い色成分情報を単位ブロックごとで取得すること
により、１つに撮像素子で複数のマルチバンド画像を撮
影できる。

【０１５２】さらに、実施の形態１は、単位ブロック
が、縦２セル、横２セルからなるので、縦２セル、横２
セルの単位ブロックごとに被写体の分光情報を推定でき
る。この結果、１つの撮像素子で単位ブロックごとに４
つのマルチバンド画像が同時に撮影できる作用を有す
る。よって、短波長成分撮像素子１０６および長波長成
分撮像素子１０７の２つの撮像素子を使用することで、
４×２の８バンドの画像が同じに撮影できる。

【０１５３】また、実施の形態１は、単位ブロックの縦
方向の位置が、単位ブロックの１ライン目が画像走査の
走査ラインと一致するように決定されているので、撮像
装置の出力信号をラインメモリへ一時的に保持すること
なくストリーム形式で出力でき、かつ被写体の分光情報
を走査ラインごとに緻密の推定できる。

【０１５４】また、実施の形態１は、色分解光学系１０
２を、入射光を２つの光路に分割するハーフミラー２０
３を備えた第１光学プリズム２０２と、第１光学プリズ
ム２０２で分割された一方の光の短波長成分のみ反射す
るダイクロイックミラー２１０を備えた第２光学プリズ
ム２０９と、第２光学プリズム２０９で透過した長波長
成分を透過する第３光学プリズム２１６と、エアギャッ
プ２０８と、から構成した。これにより、輝度成分と短
波長、長波長の２つの色成分に分割する色分解光学系１
０２を３つの光学プリズムの容積分だけに小型化でき
る。また、ここで着目すべき点に、色分解光学系１０２
が、従来のＲＧＢからなる色分解光学系等と同様に３つ
の光学プリズムから構成されている点がある。つまり、
本実施の形態の色分解光学系１０２は、従来の色分解光
学系を少し改良するだけで作成できる。よって、本実施
の形態の色分解光学系１０２は、既存の材料から作成で
きるので、既存の撮像装置に適用することが容易であ
る。

【０１５５】また、実施の形態１は、第２光学プリズム
２０９は、長波長成分がプリズム内部からプリズム外部
へ出力される境界面に赤外吸収フィルタ２１５を具備す
ることで、赤外光に感度を持つ撮像素子からのノイズを
簡単な構成で抑制できる。

【０１５６】（実施の形態２）以下、本発明の実施の形
態２にかかる撮像装置であるマルチバンドビデオカメラ
について説明する。まず、実施の形態２における３つの
撮像素子でマルチバンド画像を同時に撮影するマルチバ
ンドビデオカメラのシステムについて図８を用いて説明
する。図８は、実施の形態２における３つの撮像素子で
マルチバンド画像を同時に撮影するマルチバンドビデオ
カメラのシステム構成図である。図８と図１の相違点は
以下の２点で、その他は同一の構成を持ち、かつ同一の
動作、機能を有する。

【０１５７】第一の相違点は、図８には図１の明度信号
変換部１０５がない点である。第二の相違点は、図１の
セル単位明度信号置換部１１４がセル単位測色値スケー
リング部８０１に変更されている点である。

【０１５８】図１のセル単位明度信号置換部１１４は、
図５で詳細に説明したように、撮像素子の受光セル単位
で、測色値変換部１１２からの測色値の明度のみを明度
信号変換部１０５からの明度信号で置換した。一方、図
８のセル単位測色値スケーリング部８０１は、図８の測
色値変換部８０２から供給された測色値を、輝度信号生
成部８０３の輝度信号を用いてスケーリングする。

【０１５９】次に、図９を用いてセル単位測色値スケー
リング部８０１の動作を詳細に説明する。図９は図５と
同様に、被写体の分光推定の単位ブロックを、縦２セ
ル、横２セルとした場合である。測色値変換部８０２
は、図８の被写体分光情報推定部８０４が供給する被写
体の分光反射率ｒ_hと図８の照明分光情報記憶部８０５
が供給する照明の分光分布ｅ_hから式（９）を用いてＣ
ＩＥＸＹＺ三刺激値を算出する。測色値変換部８０２の
出力（Ｘ'Ｙ'Ｚ'）は、セル単位測色値スケーリング部
８０１に与えられ、輝度生成部８０３で生成されたセル
単位の輝度信号Ｙを用いて式（１６）のスケーリング処
理が施される。

【０１６０】

【数１６】従って、セル単位測色値スケーリング部８０１は、分光
情報推定の単位ブロックごとに算出された相対的な測色
値情報（Ｘ'Ｙ'Ｚ'）を、セル単位のスケーリング処理
を用いて、セル単位で絶対的測色値情報（ＸＹＺ）に変
換する機能を有する。

【０１６１】図８の原色変換部８０６は、セル単位測色
値スケーリング部８０１の出力であるＣＩＥＸＹＺ三刺
激値を式（１３）を用いて、輝度リニアデバイスドライ
ブ信号Ｒ、Ｇ、Ｂに変換する。

【０１６２】以上、実施の形態２によって、視覚系の解
像力の高い輝度成分情報を高精細に保ちつつ、短波長成
分撮像素子と長波長成分撮像素子の受光セルに具備され
た色フィルタの種類より少ない２つの撮像素子でマルチ
バンド画像を同時に撮影でき、動きの速い被写体のスチ
ル画像撮影や動画撮影が可能になる。

【０１６３】（実施の形態３）次に、本発明の実施の形
態３にかかる撮像装置であるマルチバンドビデオカメラ
について説明する。

【０１６４】図１０は、本発明の実施の形態３における
３つの撮像素子でマルチバンド画像を同時に撮影するマ
ルチバンドビデオカメラのシステム構成を示し、図１と
比較しながら、以下に説明する。図１と図１０の相違点
は以下の１点で、その他は同一の構成を持ち、かつ同一
の動作、機能を有する。図１０と図１との相違点は、図
１０には図１のガンマ補正部１１７がない点である。

【０１６５】ガンマ補正は、図１で詳細に説明したよう
に、表示デバイスが持つデバイスドライブ信号と表示色
の輝度との非線形特性を線形化するものである。表示デ
バイスに特別な処理回路を搭載することなく、送信側の
処理のみで対応できるため、受信側の端末機器の簡素
化、廉価化に有効である。

【０１６６】しかし、近年、半導体部品を中心とする電
子機器の高性能化とコストダウンが大幅に達成され、受
信端末機に様々な処理機能を持たせることが可能になっ
てきた。特に、計算機端末としての表示デバイスは、ビ
ジネスグラフィックスやコンピュータグラフィックスを
作成する映像表示装置として活用され、表示デバイス自
身で輝度リニア信号を発生する機能を有するものが増え
てきた。インターネットを中心とする放送と通信の融合
は、逆ガンマ特性を持った信号で映像を表示するテレビ
ジョンと輝度リニア信号で映像を表示する計算機ビジュ
アル端末の２つの機能を持つ映像表示装置の需要を作り
上げた。

【０１６７】このため、受信端末が自身でガンマ補正機
能を持っている場合、送信側はガンマ補正を施す必要が
なくなる。実施の形態３は、ガンマ補正を加えずに映像
信号を出力する撮像装置であり、表示デバイス自身でガ
ンマ補正を実行する計算機ビジュアル端末等に、正確な
色情報を供給できる。

【０１６８】以上、実施の形態３によって、視覚系の解
像力の高い輝度成分情報を高精細に保ちつつ、短波長成
分撮像素子と長波長成分撮像素子の受光セルに具備され
た色フィルタの種類より少ない２つの撮像素子でマルチ
バンド画像を同時に撮影でき、動きの速い被写体のスチ
ル画像撮影や動画撮影が可能になり、かつガンマ補正の
必要がない画像デバイスにガンマ補正なしの色信号を供
給できる。

【０１６９】（実施の形態４）以下、本発明の実施の形
態４にかかる撮像装置であるマルチバンドビデオカメラ
について説明する。図１１は、本発明の実施の形態４に
おける２つの撮像素子でマルチバンド画像を同時に撮影
するマルチバンドビデオカメラのシステム構成を示し、
図１と比較しながら、以下に説明する。図１と図１１の
相違点は以下の３点で、その他は同一の構成を持ち、か
つ同一の動作、機能を有する。

【０１７０】第一の相違点は、色分解光学系にあり、図
１の色分解光学系１０２は撮像レンズ１０１から入射し
た被写体からの光を３つの光路に分けるのに対し、図１
１の色分解光学系１１０１は撮像レンズ１１０２から入
射した被写体からの光を２つの光路に分け、輝度撮像素
子１１０３と後述する色成分撮像素子１１０４に光を分
配する点である。

【０１７１】第二の相違点は、被写体の分光情報を撮像
する撮像素子で、図１では短波長成分撮像素子１０６と
長波長成分撮像素子１０７の２つの撮像素子で被写体の
分光情報を推定するのに対し、図１１では色成分撮像素
子１１０４の１つの撮像素子で被写体の分光情報を推定
する点である。

【０１７２】第三の相違点は、撮像素子が１つになった
ことに伴う信号処理部の違いで、色成分撮像素子１１０
４からの信号は色成分色信号処理部１１０５へ入力し、
被写体分光情報推定部１１０６での分光推定は、色成分
色信号処理部１１０５からの出力のみで実行される点で
ある。

【０１７３】次に、図１２を用いて、色分解光学系１１
０１について詳細に説明する。色分解光学系１１０１内
部には、撮像レンズ１１０２からの入射光１２０３を２
つの光路に分割するハーフミラー１２０１が設けられて
いる。ハーフミラー１２０１により分割された第１の光
路の光は、ハーフミラー１２０１の反射光１２０５であ
る。ハーフミラー１２０１は、反射光１２０５が輝度撮
像素子１１０３に垂直に入射されるように配置されてい
る。ハーフミラー１２０１により分割された第２の光路
の光は、ハーフミラー１２０１の透過光１２０４であ
る。ハーフミラー１２０１は、透過光１２０４が色成分
撮像素子１１０４に垂直に入射されるように配置されて
いる。

【０１７４】このようにハーフミラー１２０１により、
入射光１２０３は、透過光１２０４と反射光１２０５に
分割され、透過光１２０４は色成分撮像素子１１０４に
入射し、反射光１２０５は輝度撮像素子１１０３に入射
する。

【０１７５】また、ハーフミラー１２０１には波長選択
性はなく、ハーフミラー１２０１によって分割された光
１２０４と光１２０５とは同一の分光分布を持つ。

【０１７６】また、色分解光学系１１０１の内部の、ハ
ーフミラー１２０４に対して色成分撮像素子１１０４
側、つまり、透過光１２０４の進む方向には、赤外吸収
フィルタ１２０２が色成分撮像素子１１０４と平行に設
けられている。これにより、透過光１２０４は、色成分
撮像素子１１０４に入射される前に、赤外吸収フィルタ
１２０２によりノイズを除去される。

【０１７７】次に色成分撮像素子１１０４と被写体分光
情報推定部１１０６について詳細に説明する。図１３
（ａ）は色フィルタの配列を説明する図、図１３（ｂ）
は画素単位で見た色信号の配列を説明する図である。

【０１７８】色成分撮像素子１１０４はｆ₁からｆ₉で示
される９種類の色フィルタを縦３セル、横３セルのブロ
ック単位で具備する。９種類の色フィルタｆ₁からｆ₉は
互いに異なる分光透過率分布を持ち、たとえば図１４に
示すように９つで可視域（図１４では３８０ｎｍから７
８０ｎｍ）をカバーする関係を持つ。つまり可視域全体
の光を９つの色フィルタで分担して受光する。

【０１７９】上述したように、被写体の分光推定には、
少なくとも５バンド分の情報が必要である。このため、
縦横同じ数の正方形の単位ブロックで、５バンド分以上
のバンドを形成するには、図１３に示すような、縦３セ
ル、横３セルが最小構成となる。

【０１８０】そして、被写体分光情報推定部１１０６
は、色フィルタｆ₁からｆ₉の９つの信号をもとに被写体
の分光情報を推定する。従って、被写体分光推定部１１
０６は、分光情報を縦３セル、横３セルのブロック単位
で推定し、算出する。

【０１８１】図１の２つの撮像素子で分光推定を行う構
成に比べて、色成分の空間解像度は１／３に落ちるが、
撮像素子が１つであり、かつ図１２に示したように、色
分解光学系の構成も簡素化されるため、サイズやコスト
面で大きな利点を持つ。また、図７ですでに説明した
ように分光推定の単位ブロックを画像走査に合わせて移
動すれば、解像度低下の影響を抑えられる。

【０１８２】以上、実施の形態４によって、視覚系の解
像力の高い輝度成分情報を高精細に保ちつつ、色撮像素
子の受光セルに具備された色フィルタの種類より少ない
１つの撮像素子でマルチバンド画像を同時に撮影でき、
動きの速い被写体のスチル画像撮影や動画撮影が可能に
なる作用を有する。

【０１８３】なお、実施の形態４の明度信号変換部１０
５を無くし、セル単位明度信号置換部１１４をセル単位
測色値スケーリング部８０１に置き換えた形態であって
も良い。この構成により、視覚系の解像力の高い輝度成
分情報を輝度撮像素子１１０３で高精細に取得し、同時
に色成分撮像素子１１０４から取得した測色値を輝度撮
像素子１１０３からの輝度成分情報で撮像素子の受光セ
ル単位にスケーリングできる。この結果、色成分撮像素
子１１０４の受光セルに具備された色フィルタの種類よ
り少ない１つの撮像素子でマルチバンド画像を同時に撮
影でき、動きの速い被写体のスチル画像撮影や動画撮影
が可能になる。

【０１８４】（実施の形態５）以下、本発明の実施の形
態５にかかる撮像装置であるマルチバンドビデオカメラ
について図１５を用いて説明する。図１５は、実施の形
態５における３つの撮像素子でマルチバンド画像を同時
に撮影するマルチバンドビデオカメラのシステム構成図
である。すでに、説明した部分と同一の部分について
は、同一の符番を付与し説明を省略する。

【０１８５】実施の形態５と実施の形態１との相違点
は、輝度・色差信号変換部１１９が明度・色差信号変換
部１５０１に、輝度・色差信号用ラインメモリ１２０が
明度・色差信号用ラインメモリ１５０２に、輝度・色差
信号用送信機１２２が明度・色差信号用送信機１５０３
になっている点である。

【０１８６】明度・色差信号変換部１５０１は、セル単
位明度信号置換部１１４が、撮像素子の受光セルごとに
算出した測色値を明度成分と色差成分に変換する。具体
的には、明度・色差信号変換部１５０１は、まず、映像
表示デバイスのガンマ特性を相殺するデバイスドライブ
信号あるいは輝度リニアデバイスドライブ信号の線形和
で輝度信号を生成する。次に、明度・色差信号変換部１
５０１は、デバイスドライブ信号あるいは輝度リニアデ
バイスドライブ信号の構成要素のうち、線形和において
輝度信号生成への寄与率の最も大きい要素を除いた全て
の要素のそれぞれから輝度信号を差し引いた差分値を色
差信号とし、輝度信号を指数関数によって明度信号に変
換し、明度信号と色差信号を出力する。

【０１８７】また、明度・色差信号用ラインメモリ１５
０２および明度・色差信号用送信機１５０３は、実施の
形態１の輝度・色差信号用ラインメモリ１２０および輝
度・色差信号用送信機１２２が輝度信号を扱うのに対
し、明度信号を扱うようにしたものであり、その他の動
作については同一である。

【０１８８】以上説明したように、実施の形態５によれ
ば、撮像素子の受光セル単位で明度が置換された測色値
を、明度線形性を保ったまま、明度・色差信号に変換で
きる作用を有する。また、映像表示デバイスに特別な処
理部を設けることになくデバイスドライブ信号と発光色
の明度の線形性を確保し、かつデバイスドライブ信号よ
りも帯域の小さい明度・色差信号での信号伝送を可能に
する作用を有する。

【０１８９】なお、実施の形態５では、実施の形態１を
変形した形態で説明したが、実施の形態２〜４の輝度・
色差信号変換部１１９を明度・色差信号変換部１５０１
に、輝度・色差信号用ラインメモリ１２０を明度・色差
信号用ラインメモリ１５０２に、輝度・色差信号用送信
機１２２を明度・色差信号用送信機１５０３に変形した
形態であっても良い。

【０１９０】

【発明の効果】以上のように本発明は、互いに分光透過
率の異なる複数の色フィルタを受光セル単位で並置させ
た１つ、あるいは２つの撮像素子から被写体の分光情報
を推定し、受光セル単位で取得した被写体の輝度情報
で、前記被写体の分光情報から得た測色値の輝度情報を
受光セル単位で置換して、あるいはスケーリングして高
精細でかつ高色忠実な映像を出力できる優れた撮像装置
を提供する。また、ハーフミラーとダイクロイックミラ
ーを組み合わせて、被写体からの光を光量の損失を抑え
て１つの輝度撮像素子と２つの色成分撮像素子へ入射さ
せることができ、かつ３つのプリズムの組み合わせで省
スペースを実現できる優れた色分解光学系を提供する。

【図面の簡単な説明】

【図１】本発明の実施の形態１におけるマルチバンドビ
デオカメラの構成を示す図

【図２】実施の形態１にかかる色分解光学系の内部構造
を説明する図

【図３】（ａ）実施の形態１にかかる、輝度撮像素
子、短波長成分撮像素子、および長波長成分撮像素子を
側面から見た模式的構造図（ｂ）実施の形態１にかかる、輝度撮像素子、短波長
成分撮像素子、および長波長成分撮像素子の色フィルタ
の配列を説明する概念図（ｃ）実施の形態１にかかる、輝度撮像素子、短波長
成分撮像素子、および長波長成分撮像素子の画素単位で
見た色信号の配列と輝度変換部の動作と被写体分光情報
推定部の動作を説明する概念図

【図４】実施の形態１にかかる色フィルタの分光透過率
の一例を示す図

【図５】実施の形態１にかかる測色変換部、照明分光情
報記憶部、明度信号変換部、およびセル単位明度置換部
の動作を説明する図

【図６】（ａ）実施の形態１にかかるデバイスドライ
ブ信号用ラインメモリと、輝度・色差信号用ラインメモ
リの画像の第１走査ライン走査時における動作を表わし
た図（単位ブロックが固定された場合）（ｂ）実施の形態１にかかるデバイスドライブ信号用
ラインメモリと、輝度・色差信号用ラインメモリ画像の
第２走査ライン走査時における動作を表わした図（単位
ブロックが固定された場合）

【図７】（ａ）実施の形態１にかかるデバイスドライ
ブ信号用ラインメモリと、輝度・色差信号用ラインメモ
リの画像の第１走査ライン走査時における動作を表わし
た図（単位ブロックが画像走査に対応して移動する場
合）（ｂ）実施の形態１にかかるデバイスドライブ信号用
ラインメモリと、輝度・色差信号用ラインメモリ画像の
第２走査ライン走査時における動作を表わした図（単位
ブロックが画像走査に対応して移動する場合）

【図８】本発明の実施の形態２におけるマルチバンドビ
デオカメラの構成を示す図

【図９】実施の形態２にかかるセル単位測色値スケーリ
ング部の動作を説明する図

【図１０】本発明の実施の形態３におけるマルチバンド
ビデオカメラの構成を示す図

【図１１】本発明の実施の形態４におけるマルチバンド
ビデオカメラの構成を示す図

【図１２】実施の形態４にかかる色分解光学系の内部構
成を示す図

【図１３】（ａ）実施の形態４にかかる色成分撮像素
子の色フィルタ配列を説明する図（ｂ）実施の形態４にかかる画素単位の色信号の配列
と被写体分光情報推定部の動作を示す図

【図１４】実施の形態４にかかる９種類の色フィルタｆ
₁からｆ₉の分光透過率の一例を示す図

【図１５】本発明の実施の形態５におけるマルチバンド
ビデオカメラの構成を示す図

【符号の説明】

１０１、１１０２撮像レンズ１０２、１１０１色分解光学系１０３、１１０３輝度撮像素子１０４、８０３、１１０７輝度信号生成部１０５明度信号変換部１０６短波長成分撮像素子１０７長波長成分撮像素子１０８短波長成分色信号処理部１０９長波長成分色信号処理部１１０、８０４被写体分光情報推定部１１１分光情報出力端子１１２、８０２測色値変換部１１３、８０５照明分光情報記憶部１１４セル単位明度信号置換部１１５測色値出力端子１１６、８０６原色変換部１１７ガンマ補正部１１８デバイスドライブ信号用ラインメモリ１１９輝度・色差信号変換部１２０輝度・色差信号用ラインメモリ１２１デバイスドライブ信号用送信機１２２輝度・色差信号用送信機２０１、１２０３撮像レンズからの入射光２０２第１光学プリズム２０３、１２０１ハーフミラー２０４第１反射光２０５第１透過光２０６第１光学プリズムの面２０７第１光学プリズムの面２０８エアギャップ２０９第２光学プリズム２１０長波長成分反射ダイクロイックミラー２１１第２反射光２１２第２透過光２１３第２光学プリズムの面２１４第２光学プリズムの面２１５、１２０２赤外吸収フィルタ２１６第３光学プリズム３０１基板３０２受光セル３０３色フィルタ６０１、６０２ラインメモリ６０３、６０４、７０１セル８０１セル単位測色値スケーリング部１１０４色成分撮像素子１１０５色成分信号処理部１１０６被写体分光情報推定部１２０４透過光１２０５反射光１５０１明度・色差信号変換部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C065 AA07 BB12 BB48 CC01 EE01 EE02 EE03 GG26 5C066 AA01 CA21 GA01 GA02 GA05 KE01 KE07 KM01 KM05

Claims

【特許請求の範囲】

【請求項１】撮像レンズからの光を２つの光路に分割
するハーフミラーと、前記ハーフミラーで分割された一
方の光を受光して前記被写体の輝度情報を取得する輝度
撮像素子と、前記輝度情報から輝度信号を生成し出力す
る輝度信号生成部と、前記輝度信号を明度信号に変換す
る明度信号変換部と、前記ハーフミラーで分割された他
方の光を短波長成分と長波長成分に分割するダイクロイ
ックミラーと、前記短波長成分の光を異なる複数の色フ
ィルタを通して異なる複数の受光セルで受光し、受光し
た光に対応する色信号を出力する短波長成分撮像素子
と、前記長波長成分の光を異なる複数の色フィルタを通
して異なる複数の受光セルで受光し、受光した光に対応
する色信号を出力する長波長成分撮像素子と、前記短波
長成分撮像素子と前記長波長成分撮像素子の出力する前
記色信号から被写体の分光情報を推定する被写体分光情
報推定部と、前記分光情報から算出した測色値の明度情
報を前記明度信号変換部の変換した明度信号に前記受光
セル単位で置換するセル単位明度信号置換部と、を具備
することを特徴とする撮像装置。
【請求項２】撮像レンズからの光を２つの光路に分割
するハーフミラーと、前記ハーフミラーで分割された一
方の光を受光して前記被写体の輝度情報を取得する輝度
撮像素子と、前記輝度情報から輝度信号を生成し出力す
る輝度信号生成部と、前記輝度信号を明度信号に変換す
る明度信号変換部と、前記ハーフミラーで分割された他
方の光を短波長成分と長波長成分に分割するダイクロイ
ックミラーと、前記短波長成分の光を異なる複数の色フ
ィルタを通して異なる複数の受光セルで受光し、受光し
た光に対応する色信号を出力する短波長成分撮像素子
と、前記長波長成分の光を異なる複数の色フィルタを通
して異なる複数の受光セルで受光し、受光した光に対応
する色信号を出力する長波長成分撮像素子と、前記短波
長成分撮像素子と前記長波長成分撮像素子の出力する前
記色信号から被写体の分光情報を推定する被写体分光情
報推定部と、前記分光情報から算出した測色値を前記輝
度信号により前記受光セル単位でスケーリングするセル
単位測色値スケーリング部と、を具備することを特徴と
する撮像装置。
【請求項３】前記短波長成分撮像素子全体の前記色フ
ィルタの配置は隣接する複数の前記セルからなる単位ブ
ロックの繰り返しパターンとなっていて、前記短波長成
分撮像素子の前記色フィルタは前記単位ブロック内で互
いに異なる分光透過率分布を持ち、かつ前記単位ブロッ
ク内におけるすべての前記色フィルタの分光透過率分布
を組み合わせると前記短波長成分の光の波長帯域をカバ
ーすることを特徴とする請求項１または請求項２記載の
撮像装置。
【請求項４】前記長波長成分撮像素子全体の前記色フ
ィルタの配置は隣接する複数の前記セルからなる単位ブ
ロックの繰り返しパターンとなっていて、前記長波長成
分撮像素子の前記色フィルタは前記単位ブロック内で互
いに異なる分光透過率分布を持ち、かつ前記単位ブロッ
ク内におけるすべての前記色フィルタの分光透過率分布
を組み合わせると前記長波長成分の光の波長帯域をカバ
ーすることを特徴とする請求項１または請求項２記載の
撮像装置。
【請求項５】撮像レンズからの光を２つの光路に分割
するハーフミラーと、前記ハーフミラーで分割された一
方の光を受光して前記被写体の輝度情報を取得する輝度
撮像素子と、前記輝度情報から輝度信号を生成し出力す
る輝度信号生成部と、前記輝度信号を明度信号に変換す
る明度信号変換部と、前記ハーフミラーで分割された他
方の光を異なる複数の色フィルタを通して異なる複数の
受光セルで受光し、受光した光に対応する色信号を出力
する色撮像素子と、前記色信号から被写体の分光情報を
推定する被写体分光情報推定部と、前記分光情報から算
出した測色値のうち、明度情報だけを前記明度信号変換
部の変換した明度情報に前記受光セル単位で置換するセ
ル単位明度信号置換部と、を具備することを特徴とする
撮像装置。
【請求項６】撮像レンズからの光を２つの光路に分割
するハーフミラーと、前記ハーフミラーで分割された一
方の光を受光して前記被写体の輝度情報を取得する輝度
撮像素子と、前記輝度情報から輝度信号を生成し出力す
る輝度信号生成部と、前記輝度信号を明度信号に変換す
る明度信号変換部と、前記ハーフミラーで分割された他
方の光を異なる複数の色フィルタを通して異なる複数の
受光セルで受光し、受光した光に対応する色信号を出力
する色撮像素子と、前記色信号から被写体の分光情報を
推定する被写体分光情報推定部と、前記分光情報から算
出した測色値を前記輝度信号をもって前記受光セル単位
でスケーリングするセル単位測色値スケーリング部と、
を具備することを特徴とする撮像装置。
【請求項７】前記色撮像素子は、撮像素子の受光セル
ごとに色フィルタを通して光を受光し、前記色フィルタ
は隣接する複数の受光セルを単位ブロックとして、前記
単位ブロック内で互いに異なる分光透過率分布を持ち、
かつ前記単位ブロック内のすべての色フィルタを組み合
わせると撮像レンズから入射した波長帯域をカバーする
分光透過率分布を持ち、色撮像素子全体の色フィルタの
配置は、前記単位ブロックの繰り返しパターンとなって
いることを特徴とする請求項５または請求項６記載の撮
像装置。
【請求項８】前記単位ブロックは、縦２セル、横２セ
ルからなり、前記被写体分光情報推定部は、前記単位ブ
ロックごとに被写体の分光情報を推定することを特徴と
する請求項１から請求項７のいずれかに記載の撮像装
置。
【請求項９】前記単位ブロックの縦方向の位置は、前
記単位ブロックの１ライン目が画像走査の走査ラインと
一致するように決定されることを特徴とする請求項１か
ら請求項７のいずれかに記載の撮像装置。
【請求項１０】前記単位ブロックは縦ｎセルから構成
されており、前記単位ブロック内の（ｎ−１）ラインに
相当する外部出力信号をラインメモリに記憶し、前記単
位ブロック内の第２ライン以降の前記外部出力信号を前
記ラインメモリから出力することを特徴とする請求項１
から請求項７のいずれかに記載の撮像装置。
【請求項１１】照明の分光情報を記憶した照明分光情
報記憶部と、前記照明分光情報記憶部に保持した前記照
明の分光情報を用いて被写体の測色値を算出する測色値
変換部と、を具備し、前記セル単位明度信号置換部ある
いは前記セル単位測色値スケーリング部は、前記被写体
分光情報推定部が推定した被写体の分光情報と、前記測
色値変換部から測色値情報を入手することを特徴とする
請求項１、請求項２、請求項５および請求項６のいずれ
かに記載の撮像装置。
【請求項１２】前記セル単位明度信号置換部あるいは
セル単位測色値スケーリング部が前記受光セルごとに算
出した測色値を表示デバイスの輝度リニアドライブレベ
ルに変換する原色変換部と、前記原色変換部の出力から
前記表示デバイスのガンマ特性を補正するガンマ補正部
と、前記ガンマ補正部の出力から輝度・色差信号を算出
する輝度・色差信号変換部と、を具備したことを特徴と
する請求項１、請求項２、請求項５および請求項６のい
ずれかに記載の撮像装置。
【請求項１３】前記セル単位明度信号置換部あるいは
セル単位測色値スケーリング部が前記受光セルごとに算
出した測色値を表示デバイスの輝度リニアドライブレベ
ルに変換する原色変換部と、前記原色変換部の出力から
輝度・色差信号を算出する輝度・色差信号変換部と、を
具備したことを特徴とする請求項１、請求項２、請求項
５および請求項６のいずれかに記載の撮像装置。
【請求項１４】セル単位明度信号置換部あるいはセル
単位測色値スケーリング部が前記受光セルごとに算出し
た測色値を明度成分と色差成分に変換する明度・色差信
号変換部を具備したことを特徴とする請求項１、請求項
２、請求項５および請求項６のいずれかに記載の撮像装
置。
【請求項１５】前記輝度・色差信号変換部は、映像表
示デバイスのガンマ特性を相殺するデバイスドライブ信
号あるいは輝度リニアデバイスドライブ信号の線形和で
輝度信号を生成し、前記デバイスドライブ信号あるいは
前記輝度リニアデバイスドライブ信号の構成要素のう
ち、前記線形和において輝度信号生成への寄与率の最も
大きい要素を除いた全ての要素のそれぞれから前記輝度
信号を差し引いた差分値を色差信号とし、前記輝度信号
と色差信号を出力することを特徴とする請求項１２また
は請求項１３に記載の撮像装置。
【請求項１６】前記明度・色差信号変換部は、映像表
示デバイスのガンマ特性を相殺するデバイスドライブ信
号あるいは輝度リニアデバイスドライブ信号の線形和で
輝度信号を生成し、前記デバイスドライブ信号あるいは
前記輝度リニアデバイスドライブ信号の構成要素のう
ち、前記線形和において輝度信号生成への寄与率の最も
大きい要素を除いた全ての要素のそれぞれから前記輝度
信号を差し引いた差分値を色差信号とし、前記輝度信号
を指数関数によって明度信号に変換し、前記明度信号と
前記色差信号を出力することを特徴とする請求項１４記
載の撮像装置。
【請求項１７】映像表示デバイスのガンマ特性を相殺
するデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドから
なるか、あるいは輝度リニアデバイスドライブ信号が
Ｒ、Ｇ、Ｂの３バンドからなるとき、Ｒバンドの寄与率
を０．３０、Ｇバンドの寄与率を０．５９、Ｂバンドの
寄与率を０．１１とした線形和で輝度信号を算出するこ
とを特徴とする請求項１５または請求項１６記載の撮像
装置。
【請求項１８】映像表示デバイスのガンマ特性を相殺
するデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドから
なるか、あるいは輝度リニアデバイスドライブ信号が
Ｒ、Ｇ、Ｂの３バンドからなるとき、Ｒバンドの寄与率
を０．２９９、Ｇバンドの寄与率を０．５８７、Ｂバン
ドの寄与率を０．１１４とした線形和で輝度信号を算出
することを特徴とする請求項１５または請求項１６記載
の撮像装置。
【請求項１９】映像表示デバイスのガンマ特性を相殺
するデバイスドライブ信号がＲ、Ｇ、Ｂの３バンドから
なるか、あるいは輝度リニアデバイスドライブ信号が
Ｒ、Ｇ、Ｂの３バンドからなるとき、Ｒバンドの寄与率
を０．２１２６、Ｇバンドの寄与率を０．７１５２、Ｂ
バンドの寄与率を０．０７２２とした線形和で輝度信号
を算出することを特徴とする請求項１５または請求項１
６記載の撮像装置。
【請求項２０】入射光を２つの光路に分割するハーフ
ミラーを備えた第一の光学プリズムと、前記第一の光学
プリズムで分割された一方の光を短波長成分のみ反射す
るダイクロイックミラーを備えた第二の光学プリズム
と、前記第二の光学プリズムで透過した長波長成分を透
過する第三の光学プリズムと、前記第一の光学プリズム
と前記第二の光学プリズムとの間にエアギャップと、を
具備することを特徴とする色分解光学系。
【請求項２１】前記第三の光学プリズムは、長波長成
分がプリズム内部からプリズム外部へ出力される境界面
に赤外吸収フィルタを具備することを特徴とする請求項
２０記載の色分解光学系。
【請求項２２】入射光を２つの光路に分割するハーフ
ミラーを備えた第一の光学プリズムと、前記第一の光学
プリズムで分割された一方の光を長波長成分のみ反射す
るダイクロイックミラーを備えた第二の光学プリズム
と、前記第二の光学プリズムで透過した短波長成分を透
過する第三の光学プリズムと、前記第一の光学プリズム
と前記第二の光学プリズムの間にエアギャップと、を具
備することを特徴とする色分解光学系。
【請求項２３】前記第二の光学プリズムは、反射され
た長波長成分がプリズム内部からプリズム外部へ出力さ
れる境界面に赤外吸収フィルタを具備することを特徴と
する請求項２２記載の色分解光学系。