JP2021158510A - 撮像装置 - Google Patents

Abstract

【課題】撮影画像を正確に補正できる撮像装置を提供する。【解決手段】撮像装置１は、被写体からの光を取得するレンズ２と、赤外光を透過し、かつ、可視光を遮断する赤外透過材料で羽根３０が形成された絞り３と、絞り３からの入射光を可視光と赤外光とに分光するプリズム４と、プリズム４で分光された可視光画像を撮像する可視光撮像素子５と、プリズム４で分光された赤外光画像を撮像する赤外光撮像素子６と、可視光画像及び赤外光画像を用いて、小絞りボケを補間する画像補正手段７と、を備える。【選択図】図１

Description

本発明は、撮像装置に関する。

カメラの機能として、複数の撮影画像を用いて、撮影画像の画質を改善する技術が開発されている。例えば、複数のフォーカス位置で撮影した画像を信号処理で合成することにより、撮影後にフォーカス位置を補正できる。このうち、異なる絞り開口で撮影した画像を信号処理することで、「小絞りボケ」を絞り値（Ｆ値）が小さい状態で撮影した画像で補間（補正）し、高画質化を実現する手法が提案されている（特許文献１）。
なお、小絞りボケとは、絞り値が大きすぎるときに生じるボケのことであり、回折現象と呼ばれることもある。

ここで、絞り開口が異なる撮影画像を撮像するためには、複数のカメラを用いればよい（非特許文献１）。例えば、非特許文献１には、焦点距離が異なる３台のカメラを内蔵したスマートフォンが提案されている。

国際公開第２０１７／１４６０６１号

iphone11 Pro（登録商標）、[online］、［令和２年２月１７日検索］、インターネット〈URL：https://www.apple.com/jp/iphone-11-pro/〉

しかし、複数のカメラを用いた場合、各カメラの位置（正確には、各カメラが備える撮影レンズの光学主点の位置）が異なることから、各カメラへの入射光が同一にならず、撮影画像を正確に補正することが困難であった。撮影画像を正確に補正するためには、同一のレンズを通過した入射光に対して、絞り開口が異なる撮影画像を撮像する必要がある。

本発明は、前記課題を解決し、撮影画像を正確に補正できる撮像装置を提供することを課題とする。

前記課題を解決するため、本発明に係る撮像装置は、レンズと、レンズを通過した入射光の光路上に配置された絞りと、絞りからの入射光を可視光と赤外光とに分光する分光素子と、分光素子で分光された可視光画像を撮像する可視光撮像素子と、分光素子で分光された赤外光画像を撮像する赤外光撮像素子と、を備える撮像装置であって、絞りは、可視光又は赤外光の一方を透過させ、他方を遮断する材料で形成されている構成とした。

かかる撮像装置によれば、絞りが可視光又は赤外光の一方を透過させ、かつ、他方を遮断する材料で形成されているので、同一のレンズを通過した入射光に対して、可視光画像と赤外光画像とを異なる絞り開口で撮像できる。これら可視光画像及び赤外光画像を用いれば、撮影画像を正確に補正できる。

本発明によれば、撮影画像を正確に補正できる。

（ａ）は各実施形態に係る撮像装置の構成を示すブロック図であり、（ｂ）は絞りを説明する説明図である。 各実施形態において、絞りの開口状態を説明する説明図であり、（ａ）は開放状態、（ｂ）は絞りがある程度開いた状態、（ｃ）は小絞り状態を示す。

以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。

（第1実施形態）
［撮像装置の構成］
図１を参照し、第１実施形態に係る撮像装置１の構成について説明する。
撮像装置１は、被写体（不図示）の画像を撮像するカメラであり、レンズ２と、絞り３と、プリズム（分光素子）４と、可視光撮像素子５と、赤外光撮像素子６と、画像補正手段７とを備える。ここで、撮像装置１は、静止画及び動画の何れを撮像してもよい。

レンズ２は、被写体からの入射光（破線で図示）を取得する一般的なレンズである。このレンズ２を透過した入射光は、絞り３に到達する。なお、図１では、レンズ２が一枚の両凸レンズとなっているが、レンズ２の構成（群数枚数）、種類及び画角は、特に制限されない。

絞り３は、レンズ２を通過した入射光の光量を調整するものである。この絞り３は、レンズ２の後段、レンズ２を通過した入射光の光路上に配置されている。また、絞り３は、一般的な絞りと同様、複数枚の羽根３０を備えており、羽根３０を駆動して開口３１のサイズ（口径Ｄ）を変化させることで、入射光の光量を調整できる。また、絞り３は、一般的な手法で制御可能であり、例えば、カメラマンが指定した絞り値に応じた口径Ｄとなるように羽根３０を駆動する。なお、図１（ｂ）では、絞り３が８枚の羽根３０を備えているが、絞り３の構造（羽根３０の枚数や形状）は、特に制限されない。

また、絞り３は、可視光又は赤外光の一方を透過させ、他方を遮断する材料で形成されている。本実施形態では、絞り３は、赤外光（赤外光波長領域）を透過し、可視光（可視光波長領域）を遮断する赤外透過材料で形成されていることとする。なお、赤外透過材料の一例は、以下の参考文献１に記載されている。
参考文献１：赤外透過フィルター、［online］、ＨＯＹＡ株式会社、［令和２年２月1７日検索］、インターネット〈URL：https://www.hoyacandeo.co.jp/japanese/products/eo/color/03.html〉

つまり、絞り３は、全ての羽根３０が赤外透過材料で形成されている。従って、レンズ２からの入射光に含まれる可視光成分は、開口３１のみを通過し、羽根３０で遮断される。一方、レンズ２からの入射光に含まれる赤外光成分は、開口３１だけでなく、羽根３０も通過する。このように、絞り３は、開口３１の口径Ｄに応じて可視光を絞る一方、開口３１の口径Ｄに関わらず赤外光を全て通過させる。
なお、絞り３の詳細は、後記する。

プリズム４は、絞り３からの入射光を可視光と赤外光とに分光するものであり、例えば、赤外光を反射し、かつ、可視光を透過する反射面（ダイクロック面）４０を有する。このプリズム４は、絞り３の後段、絞り３を通過した入射光の光路上に配置されている。そして、プリズム４は、可視光を図面左側の可視光撮像素子５に透過させる一方、赤外光を図面上側の赤外光撮像素子６に向けて反射する。

可視光撮像素子５は、プリズム４で分光された可視光画像を撮像するものである。この可視光撮像素子５は、プリズム４からの可視光の光路上に配置されている。例えば、可視光撮像素子５は、プリズム４を透過した可視光に対して感度を有し、可視光画像を生成する一般的な可視光受光センサである。そして、可視光撮像素子５は、撮像した可視光画像を画像補正手段７に出力する。

赤外光撮像素子６は、プリズム４で分光された赤外光画像を撮像するものである。この赤外光撮像素子６は、プリズム４からの赤外光の光路上に配置されている。例えば、赤外光撮像素子６は、プリズム４で反射された赤外光に対して感度を有し、赤外光画像を生成する一般的な赤外光受光センサである。そして、赤外光撮像素子６は、撮像した赤外光画像を画像補正手段７に出力する。

画像補正手段７は、可視光撮像素子５から入力された可視光画像と、赤外光撮像素子６から入力された赤外光画像とに対して、所望の画像補正処理（例えば、小絞りボケの補間処理）を施すものである。そして、画像補正手段７は、小絞りボケが補間された撮影画像（可視光画像）を外部に出力する。

以後、画像補正手段７が小絞りボケを補間することとして説明する。この画像補正手段７は、任意の手法で小絞りボケを補間できる。例えば、画像補正手段７は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等のディープラーニングを用いて、小絞りボケを補間できる。具体的には、画像補正手段７は、絞りボケが補間されている教師データ（可視光画像、赤外光画像）を学習させた識別器を予め生成する。そして、画像補正手段７は、この識別器に可視光画像及び赤外光画像を入力することで、小絞りボケを補間できる。

また、画像補正手段７は、信号処理により小絞りボケを補間してもよい。この場合、画像補正手段７は、赤外光撮像素子６から入力された赤外光画像を可視光画像に変換すると、絞り開口が異なる状態の可視光画像が２枚得られる。従って、画像補正手段７は、これら２枚の可視光画像に既知の信号処理を施すことで、小絞りボケを補間できる。この信号処理としては、点拡がり関数（ＰＳＦ）を畳込むことで、小絞りボケを補間する手法があげられる（国際公開第２０１７／１４６０６１号）。

なお、画像補正手段７は、補間後の撮影画像として、可視光画像又は赤外光画像の何れを外部に出力してもよい。例えば、画像補正手段７は、解像度が高い赤外光画像を用いて可視光画像の小絞りボケを補間し、この可視光画像を外部に出力すればよい。
また、画像補正手段７は、画像処理エンジンの一機能として実装してもよい。

以上のように、撮像装置１では、被写体からの光がレンズ２に入射し、その入射光がレンズ２を通過して絞り３に到達する。絞り３に到達した入射光は、絞り３により可視光成分が絞られる一方、赤外光成分は絞り３をそのまま通過する。そして、プリズム４に到達した入射光は、プリズム４によって可視光と赤外光とに分光され、可視光撮像素子５と赤外光撮像素子６とにそれぞれ入射する。従って、撮像装置１では、異なる絞り開口で撮像された可視光画像と赤外光画像とを取得し、小絞りボケを補間できる。

＜絞り：赤外透過材料＞
図２を参照し、絞り３について詳細に説明する。
前記したように、絞り３は、羽根３０のそれぞれが赤外透過材料で形成されているので、レンズ２を通過した入射光の赤外光成分が羽根３０を通過する。

図２（ａ）に示すように、絞り３が開放状態のとき、開口３１の口径Ｄ＝最大口径Ｄ_ＭＡＸとなる。このとき、可視光及び赤外光は、絞り３の全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。なお、絞り３が開放状態の場合、可視光画像と赤外光画像が同一の絞り開口で撮像されることになるが、小絞りボケが殆ど発生しないため問題ないと考えられる。

図２（ｂ）に示すように、絞り３がある程度開いた状態のとき、開口３１の口径Ｄ＝口径Ｄ_ＭＩＤとなる。このとき、可視光は、絞り３の中心部（口径Ｄ_ＭＩＤの範囲内）を通過するが、羽根３０がある周辺部で遮断される。その一方、赤外光は、羽根３０がある周辺部も含め、絞り３の全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。

図２（ｃ）に示すように、絞り３が小絞り状態とき、開口３１の口径Ｄ＝最小口径Ｄ_ＭＩＮとなる。このとき、可視光は、絞り３の僅かな中心部（最小口径Ｄ_ＭＩＮの範囲内）のみを通過するが、大分部を覆う羽根３０で遮断される。その一方、赤外光は、羽根３０がある部分も含め、絞り３の全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。

このように、絞り３を赤外透過材料で形成した場合、赤外光撮像素子６は、常に、開放状態の絞り３を通過した赤外光が入射するので、絞り３の中心部に加えて周辺部の赤外光も受光できる。その一方、可視光撮像素子５は、開口３１の口径Ｄに応じて絞られた可視光が入射することになる。

［作用・効果］
以上のように、第１実施形態に係る撮像装置１は、絞り３が赤外光を透過させ、かつ、可視光を遮断する赤外透過材料で形成されているので、同一のレンズ２を通過した入射光に対して、可視光画像と赤外光画像とを異なる絞り開口で撮像できる。そして、撮像装置１は、同一のレンズ２を通過し、かつ、異なる絞り開口で撮像された可視光画像と赤外光画像とを用いて、小絞りボケを正確に補間できる。

（第２実施形態）
［撮像装置の構成］
図１及び図２を参照し、第２実施形態に係る撮像装置１Ｂの構成について、第１実施形態と異なる点を説明する。
図１に示すように、撮像装置１Ｂは、赤外透過材料で形成された絞り３の代わりに、赤外遮断材料で形成された絞り３Ｂを備える点が、第１実施形態と異なる。すなわち、撮像装置１Ｂは、レンズ２と、絞り３Ｂと、プリズム４と、可視光撮像素子５と、赤外光撮像素子６と、画像補正手段７とを備える。
なお、絞り３Ｂ以外の各手段は、第１実施形態と同様のため、説明を省略する。

絞り３Ｂは、赤外光（赤外光波長領域）を遮断し、可視光（可視光波長領域）を透過する赤外遮断材料で形成されている。なお、赤外遮断材料の一例は、以下の参考文献２に記載されている。
参考文献２：ＩＲカットフィルター、［online］、株式会社ケンコー・トキナー、［令和２年２月1７日検索］、インターネット〈URL：http://www.tokina.co.jp/io-filters/filters/ir-cut-filter.html〉

つまり、絞り３Ｂは、全ての羽根３０Ｂが赤外遮断材料で形成されている。従って、レンズ２からの入射光に含まれる赤外光成分は、開口３１のみを通過し、羽根３０Ｂで遮断される。その一方、レンズ２からの入射光に含まれる可視光成分は、開口３１だけでなく、羽根３０Ｂも通過する。このように、絞り３Ｂは、開口３１の口径Ｄに応じて赤外光を絞る一方、開口３１の口径Ｄに関わらず可視光を全て通過させる。

＜絞り：赤外遮断材料＞
図２を参照し、絞り３Ｂについて詳細に説明する。
図２（ａ）に示すように、絞り３Ｂが開放状態のとき、開口３１の口径Ｄ＝最大口径Ｄ_ＭＡＸとなる。このとき、可視光及び赤外光は、絞り３Ｂの全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。

図２（ｂ）に示すように、絞り３Ｂがある程度開いた状態のとき、開口３１の口径Ｄ＝口径Ｄ_ＭＩＤとなる。このとき、赤外光は、絞り３Ｂの中心部（口径Ｄ_ＭＩＤの範囲内）を通過できるが、羽根３０Ｂがある絞り３Ｂの周辺部で遮断される。その一方、可視光は、羽根３０Ｂがある周辺部も含め、絞り３Ｂの全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。

図２（ｃ）に示すように、絞り３Ｂが小絞り状態のとき、開口３１の口径Ｄ＝最小口径Ｄ_ＭＩＮとなる。このとき、赤外光は、絞り３Ｂの僅かな中心部（最小口径Ｄ_ＭＩＮの範囲内）のみを通過するが、大分部を覆う羽根３０Ｂで遮断される。その一方、可視光は、羽根３０Ｂがある部分も含め、絞り３Ｂの全部分（最大口径Ｄ_ＭＡＸの範囲内）を通過する。

このように、絞り３Ｂを赤外遮断材料で形成した場合、可視光撮像素子５は、絞り３Ｂの中心部に加えて周辺部の可視光も受光できるため、常に、開放状態の絞り３Ｂを通過した可視光が入射することになる。一方、赤外光撮像素子６は、開口３１の口径Ｄに応じて絞られた赤外光が入射することになる。

［作用・効果］
以上のように、第２実施形態に係る撮像装置１Ｂは、絞り３Ｂが赤外光を遮断し、かつ、可視光を透過させる赤外遮断材料で形成されているので、同一のレンズ２を通過した入射光に対して、可視光画像と赤外光画像とを異なる絞り開口で撮像できる。そして、撮像装置１Ｂは、同一のレンズ２を通過し、かつ、異なる絞り開口で撮像された可視光画像と赤外光画像とを用いて、小絞りボケを正確に補間できる。

以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
なお、プリズムは、赤外光を反射する反射面を有すれば、それ以降の分光特性については制限されない。例えば、撮像装置は、可視光を３原色の光にさらに分光し、赤外光及び３原色分光という分光特性を有してもよい。この場合、可視光撮像素子は、３板式の撮像素子となる。
前記した各実施形態では、分光素子がプリズムであることとして説明したが、これに限定されない。

前記した各実施形態では、撮像装置が画像補正手段を備えることとして説明したが、これ限定されない。例えば、撮像装置は、画像補正手段を備えずに、外部の画像処理装置（例えば、クラウドサーバ）に可視光画像と赤外光画像とを出力してもよい。この場合、画像処理装置において、小絞りボケを補間することになる。

前記した各実施形態では、画像補正手段が撮影画像の小絞りボケを補正することとして説明したが、これに限定されない。つまり、画像補正処理は、異なる絞り開口で撮像された可視光画像と赤外光画像とに対して適用できれば、小絞りボケの補間にだけに制限されない。このような画像補正処理としては、被写界深度の拡張があげられる。

１，１Ｂ 撮像装置
２ レンズ
３，３Ｂ 絞り
４ プリズム（分光素子）
５ 可視光撮像素子
６ 赤外光撮像素子
７ 画像補正手段
３０，３０Ｂ 羽根
３１，３１Ｂ 開口

Claims (4)

1. レンズと、前記レンズを通過した入射光の光路上に配置された絞りと、前記絞りからの入射光を可視光と赤外光とに分光する分光素子と、前記分光素子で分光された可視光画像を撮像する可視光撮像素子と、前記分光素子で分光された赤外光画像を撮像する赤外光撮像素子と、を備える撮像装置であって、
   前記絞りは、前記可視光又は前記赤外光の一方を透過させ、他方を遮断する材料で形成されていることを特徴とする撮像装置。
2. 前記絞りは、前記赤外光を透過し、前記可視光を遮断する赤外透過材料で形成されていることを特徴とする請求項１に記載の撮像装置。
3. 前記絞りは、前記赤外光を遮断し、前記可視光を透過する赤外遮断材料で形成されていることを特徴とする請求項１に記載の撮像装置。
4. 前記可視光撮像素子が撮像した可視光画像と、前記赤外光撮像素子が撮像した赤外光画像とに対して、所望の画像補正処理を施す画像補正手段、
   をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の撮像装置。

Images