JP2019068378A - 高解像度撮像装置 - Google Patents

Abstract

【課題】微細画素のイメージセンサで高画質の映像の撮影が可能な撮像装置を提供する。【解決手段】集光レンズの光路を２つに分離し、それぞれまたはいずれかの光路上に拡大縮小部を設置し、その後方に画素サイズの異なる２つの撮像素子を設置することにより、小さな画素サイズによって対象の全体を撮像した学習用入力画像と、その部分または全体を大きな画素サイズにより高い分解能で撮像した学習用教師画像を同時に取得する。これらを用いて機械学習によりぼやけ修正関数を得て、それを学習用入力画像の全領域に適用し、出力画像を生成する。【選択図】図５

Description

本発明は、高画質の映像の撮影が可能な撮像装置に関する。

近年、映像技術分野では、イメージセンサ画素の微細化に伴い、画素サイズ１μｍ程度の微細画素で十分な映像性能を確保することが重要な課題となっている。

例えば、１．１μｍの画素サイズで水平に８０００画素を並べた場合の８．８ｍｍは２／３インチクラスと呼ばれるイメージセンサの大きさであり、これは、撮像装置の小型軽量化、従来普及してきたレンズとの互換性、被写界深度の深さの面で、性能を確保して達成すべき重要な画素サイズの目標である。

他方で、撮影画像の画質を改善するために、機械学習を応用した技術が種々提案されている。

例えば、撮影画像のノイズ量があらかじめ設定された目標ノイズ量と一致するように学習することにより現像パラメータを取得し、撮影画像のノイズ量を低減する技術がある（特許文献１）。

また、教師画像とそれより低画質の生徒画像とを用いて学習することにより予測係数を取得し、高画質の画像に変換する技術がある（特許文献２）。

特開２０１６−０４６６１０号公報 特開２００７−２０１５７２号公報

レンズの性能はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を指標として解像限界を知ることができる。図１に示すように、例えばＦ値が４以上のレンズの場合、画素サイズを１μｍとするとＭＴＦは０以下となり、解像が不可能となる。

こうしたレンズの解像限界は、エアリーディスクと呼ばれる光の性質に起因する。ここで、エアリーディスクとは、集光レンズの対物側にごく微細な１つの点光源があった場合にその結像が一定の広がりをもった像となるその像のことである。

２つの点光源の像において、エアリーディスクにより解像限界となる間隔ｘは、光の波長をλ、レンズの焦点距離をｆ、円形開口の直径をｄとすると、次の式で表される。

また、ｆ／ｄはレンズのＦ値を表すことから、上式は次のように表すこともできる。

上式によれば、例えばＦ値が２、波長λが青い光の４５０ｎｍの場合、解像限界となる間隔ｘはおよそ１μｍとなる。すなわち、イメージセンサの画素サイズを１μｍより小さくしても通常の方法では解像度を向上させることはできない。

図２は、撮影パターンの理想の光強度分布を示したグラフである。横軸は位置、縦軸は光強度分布を表す。以下、同様とする。図２では、撮影パターンとして、黒地に２本の白い縦線を想定している。サイズは、撮像面上で換算すると、線の幅が１μｍ、２本の線の間隔が１μｍである。この撮影パターンを集光レンズを経て撮像面上に結像させた場合、通常、焦点を最良の状態に合わせたとしても一定のぼやけの含まれた像となる。

図３は、この撮影パターンを集光レンズを経て撮像面上で結像した像の光強度分布を示すグラフである。図３に示す光強度分布は滑らかな分布となっている。これは、集光レンズを経て結像した像には、ベッセル関数型のぼやけ成分が含まれるためであり、この関数は近似として簡単のためガウシアン関数型と仮定することができる。

図４は、この撮影パターンを画素サイズ１μｍのイメージセンサで撮影して得られた光強度分布を示すグラフである。図４では、２本の白線を分離できず、十分に解像できないことがわかる。

このように、解像限界近傍の、画素サイズ１μｍのイメージセンサでは、十分な解像性能を得られないという問題があった。

しかしながら、特許文献１及び２に開示されている技術は、あらかじめ撮像画像と画素サイズが同じ画像を蓄積しておき、その画像から抽出される特徴量を学習用の教師情報として学習を行うか、その画像や合成画像を学習用の教師画像として学習を行う必要があるため、上述のような解像限界近傍の微細画素イメージセンサの解像性能を超えるほどの高画質の画像を得ることはできなかった。

また、特許文献１及び２に開示されている技術では、その都度、学習用の教師データを準備しなければならないため、学習の頻度を高めることが困難で、十分に適切な学習を行うことができず、画質改善の効果に限界があった。

本発明は、このような状況に鑑みてなされたものであり、解像限界近傍の微細画素のイメージセンサで高画質の映像の撮影が可能な撮像装置を提供することを目的とする。

本発明は、上記課題を解決するためになされたものであり、
集光レンズと、
前記集光レンズで集光された光を第１の経路と第２の経路とに分離する分離部と、
前記分離部において第１の経路に分離された光の結像の像を拡大又は縮小する第１の拡大縮小部と、
解像の限界となる微細な画素サイズを有し、前記第１の拡大縮小部を通過した光の結像の像を撮像する第１の撮像素子と、
前記分離部において第２の経路に分離された光の結像の像を拡大又は縮小する第２の拡大縮小部と、
解像可能な範囲内の画素サイズを有し、前記第２の拡大縮小部を通過した光の結像の像を撮像する第２の撮像素子と、
前記第１の撮像素子で撮像された撮像画素が配置される撮像画素領域を全画素領域の一部とする学習用入力画像と、前記第２の撮像素子で撮像され、前記学習用入力画像の撮像画素領域と同サイズの撮像画素領域からなる学習用教師画像とを用いてぼやけ修正関数の重み係数を学習する機械学習部と、
前記学習用入力画像に対して前記ぼやけ修正関数を適用して、画像を生成する画像生成部と、
を備えることを特徴とする。

本発明によれば、撮影画像の解像が向上するとともに、微細画素のイメージセンサで撮像する際に画質を劣化させる原因であったぼやけが除去されるので、微細画素のイメージセンサで高画質の映像を撮影することが可能となる。

解像度の理論的な限界を示すグラフである。 撮影パターンの理想的な光強度分布を示すグラフである。 撮影パターンを撮像面上で結像した像の光強度分布を示すグラフである。 撮影パターンをイメージセンサで撮影して得られた光強度分布を示すグラフである。 本発明の実施形態の機能的構成を示すブロック図である 本発明のレンズ、分離部、拡大縮小部及び撮像素子の配置を示す構成図である。 本発明の第１の撮像素子の画素領域を説明するための説明図である。 本発明の第２の撮像素子の画素領域を説明するための説明図である。 本発明の画像生成部の処理を説明するための説明図である。 本発明の機械学習部の処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、本発明は以下の記述のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

図５は、本発明に係る撮像装置１００の実施形態の機能的構成を示すブロック図である。

図５に示すように、本発明に係る撮像装置１００は、少なくともレンズ１、分離部２、拡大縮小部３、タイミング制御部６、第１の撮像素子４、第１の記憶部７、第１の信号処理部９、第２の撮像素子５、第２の記憶部８，第２の信号処理部１０、機械学習部１１、画像生成部１２、画像出力部１３等を備えている。図６は、レンズ１、分離部２、拡大縮小部３及び撮像素子４、５の配置を示す構成図である。レンズ１で集光された光は、分離部２で第１の経路と第２の経路に分離され、それぞれ拡大縮小部３を経て第１の撮像素子４、第２の撮像素子５の撮像面上で結像する。

レンズ１は、被写体からの入射光を集光するためのレンズである。レンズ１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等も含まれる。

分離部２は、レンズ１で集光された光を第１の経路と第２の経路に分離させるためのスプリッタであり、入射光の一部を反射し、残りを透過するハーフミラー等で実現することができる。分離部２で第１の経路に分離された光は第１の拡大縮小部３を経て、第１の撮像素子４の撮像面上で結像し、第２の経路に分離された光は第２の拡大縮小部３を経て、第２の撮像素子５の撮像面上で結像する。

拡大縮小部３は、分離部２で分離された光の結像の像を拡大又縮小するためのレンズである。拡大縮小部３は、単一のレンズのもの以外に、２以上のレンズを設置したものであってもよい。

制御部６は、タイミング信号等の制御信号を生成することにより、第１の撮像素子４、第１の記憶部７、第１の信号処理部９、第２の撮像素子５、第２の記憶部８、第２の信号処理部１０及び画像生成部１１を制御する。

制御部６は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、本発明の動作に必要な各種制御プログラムを実行可能である。

第１の撮像素子４は、学習用入力画像を取得するためのイメージセンサである。第１の撮像素子４は、解像の限界となる微細な画素サイズを有する。本実施形態では、画素サイズが１μｍの８Ｋ×４Ｋ画素のイメージセンサであり、その大きさは２/３インチクラスのものである。

学習用入力画像は、例えば第１の撮像素子４の解像の限界となる微細な画素サイズからなる画像であり、その画素領域の一部を、第１の撮像素子４で撮像された撮像画素が配置される撮像画素領域２１とする。

図７は、第１の撮像素子４の画素領域を説明するための説明図である。第１の撮像素子４の画素領域は、図７に示すように８Ｋ×４Ｋ画素からなり、その中央部に位置する４Ｋ×２Ｋ画素の領域に、第１の撮像素子４で撮像された撮像画素が配置される撮像画素領域２１を有する。第１の撮像素子４の画素サイズは１μｍであるので、撮像画素領域２１に配置される撮像画素は、この画素サイズに起因した回折ぼやけを含み、結像において１画素を弁別することが困難となる。

第１の記憶部７は、第１の撮像素子４で取得された学習用入力画像を一時的に記憶するためのものである。

第１の信号処理部９は、第１の撮像素子４で取得された学習用入力画像に対し、カラーデモザイク等の画像処理を行なうためのものである。

第２の撮像素子５は、学習用教師画像を取得するためのイメージセンサであり、解像可能な範囲内の画素サイズを有するイメージセンサである。本実施形態では、画素サイズが１．５μｍの４Ｋ×２Ｋ画素のイメージセンサであり、その大きさは１/２インチクラスのものである。

学習用教師画像は、例えば第２の撮像素子５の解像可能な範囲内の画素サイズからなる画像であり、学習用入力画像の撮像画素領域２１と同サイズの撮像画素領域２２からなる。学習用教師画像は、学習用入力画像の一部又は全体について、それより画素サイズが大きく、分解能が高い画像となる。

図８は、第２の撮像素子５の画素領域を説明するための説明図である。第２の撮像素子５の全画素領域は、図８に示すように４Ｋ×２Ｋ画素の撮像画素領域２２からなる。第２の撮像素子５の画素領域は、画素サイズが１．５μｍであるので、撮像画素２２は、回折による解像限界に至らず十分な解像度が保たれている。

第２の記憶部８は、第２の撮像素子５で取得された学習用教師画像を一時的に記憶するためのものである。

第２の信号処理部１０は、第２の撮像素子５で取得された学習用教師画像に対し、カラーデモザイク等の画像処理を行なうためのものである。

機械学習部１１は、第１の信号処理部９で画像処理された学習用入力画像と、第２の信号処理部１０で画像処理された学習用教師画像とを用いて、学習用入力画像の撮像領域２１に含まれる回折ぼやけを修正するためのぼやけ修正関数（デコンボリューションカーネル）の重み係数（ｗｉｇｈｔｓ）を最急降下法等により学習する（ぼやけ修正関数については、以下で詳述する）。なお、本実施形態では、ユーザーが使用時に学習用のスイッチ（以下、「学習ＳＷ」という。）によって学習の実施の有無を選択することができる。

画像生成部１２は、機械学習部１１で得られた重み係数（ｗｉｇｈｔｓ）に基づいてコンボリューショナルニューラルネットワーク（以下、「ＣＮＮ」という。）の処理を実行することにより、第１の信号処理部９において画像処理済みの学習用入力画像の全領域に対してコンボリューション（畳み込み演算）を行い、高精細画像を生成する。

画像出力部１３は、画像生成部１２で生成された画像に対して各種出力制御処理を行う画像出力回路を備える。画像出力部１３は、画像情報を所定の信号方式により伝送装置やディスプレイ装置等の表示装置に出力する。

図９は、画像生成部１２のＣＮＮの処理を説明するための説明図である。なお、ＣＮＮは、ディープニューラルネットワーク（ＤＮＮ）と呼ばれることもある、人工知能（ＡＩ）分野における代表的な計算手法の一つである。

図９に示すように、ＣＮＮの処理は下り方向と上り方向からなるＶ字型の流れとなっている。下り方向の処理では、コンボリューション（畳み込み演算）を実行するステップ、正規化線形ユニットを実行するステップ、最大プーリングを実行するステップを含んでおり、上り方向の処理では、コンボリューション（畳み込み演算）を実行するステップ、正規化線形ユニットを実行するステップ、アップコンボリューションを実行するステップ、結合演算を実行するステップを含んでいる。入力画像として学習用教師画像のＲＧＢ３ｃｈと学習用入力画像のＲＧＢ３ｃｈを重ねた６ｃｈのテンソルすなわちデータの構造体が入力されると、出力画像として８Ｋ×４Ｋ画素からなる高精細画像が得られる。

次に、回折ぼやけの修正関数について、数式を用いて説明する。

本発明に係る撮像装置１００で撮影された画像には、レンズを含めた光学系全体の静的特性に起因する回折ぼやけ成分が含まれている。このぼやけの特性は伝達関数マトリックス（以下、「回折ぼやけカーネル」という。）で表すことができると仮定すると、撮像画像は、ぼやけ成分を含まない理想画像に対して回折ぼやけカーネルのコンボリューション（畳み込み演算）を適用したものとして表すことができる。すなわち、次式のように表すことができる。

ここで、Ｃｉは撮影画像データ、Ｏｉは理想画像データ、Ｄｂは回折ぼやけカーネルである。また、記号は、コンボリューション（畳み込み演算）を表す。

上式において、回折ぼやけカーネルの逆マトリックスをコンボリューション演算すると、次式のようになる。ここで、上付きの−１の文字は、逆マトリックスであることを表す。以下、コンボリューションを元に戻す意味を有するこの演算をデコンボリューション演算という。

上式によれば、回折ぼやけ成分を含んだ撮影画像から、回折ぼやけカーネルの逆マトリックスをコンボリューション演算（デコンボリューション演算）することにより、ぼやけ成分を含まない理想画像を得ることができる。

したがって、回折ぼやけカーネルの逆マトリックス（デコンボリューションカーネル）をぼやけ修正関数とすることができる。

なお、上述したぼやけ修正関数は、回折ぼやけカーネルのデコンボリューション関数として機械学習によって求めているが、単に回折ぼやけカーネルの逆マトリックスとして求めることも可能である。

図１０は、機械学習部１１の処理の流れを示すフローチャートである。

まずステップＳ１では、初期値として、ぼやけ修正関数（デコンボリューションカーネル）の重み係数（ｗｉｇｈｔｓ）や、学習の結果が適切でない度合いを表す評価関数の値(ｌｏｓｓ＿ｓａｖｅ)が設定される。なお、重み係数（ｗｉｇｈｔｓ）や評価関数の値(ｌｏｓｓ＿ｓａｖｅ)は、既に学習され、更新されたものを適宜設定することもできる。

ステップＳ２では、学習ＳＷがＯＮであるか否かを判別する。学習ＳＷがＯＮの場合、ステップＳ３へ進む。それ以外の場合には、ステップＳ２を繰り返す。

ステップＳ３では、ぼやけ修正関数（デコンボリューションカーネル）の重み係数（ｗｅｉｇｈｔｓ）を算出する。

ステップＳ４では、ステップＳ３で重み係数（ｗｅｉｇｈｔｓ）を算出したのち、学習用教師画像と学習用入力画像を入力画像として、ＣＮＮの損失関数（ｌｏｓｓ）を計算する。

ステップＳ５では、適切な重み係数（ｗｅｉｇｈｔｓ）が得られたかどうかを、ＣＮＮの損失関数（ｌｏｓｓ）の値が評価関数の値(ｌｏｓｓ＿ｓａｖｅ)より小さいか否かにより判別する。ＣＮＮの損失関数（ｌｏｓｓ）の値が評価関数の値(ｌｏｓｓ＿ｓａｖｅ)より小さい場合には、ステップＳ６へ進む。それ以外の場合には、ステップＳ２へ戻る。

ステップＳ６では、評価関数の値(ｌｏｓｓ＿ｓａｖｅ)を損失関数（ｌｏｓｓ）の値に更新し、また、重み係数（ｗｅｉｇｈｔｓ）も最新の値に更新する。

ステップＳ７では、更新された重み係数（ｗｅｉｇｈｔｓ）を画像生成部１２に出力し、ステップＳ２へ戻る。

なお、上述の処理によれば、経験的におよそ１０万枚の画像を対象に実施することでほぼ実用的な重み係数（ｗｅｉｇｈｔｓ）を得ることができる。１学習に１秒程度の時間を要する場合には、１日でおよそ８６４００枚の画像を処理できることから、２日程度で実用的にほぼ良好な重み係数（ｗｅｉｇｈｔｓ）を得ことができる。

既に学習された重み係数は、量産の製品として製造する場合でも全ての製品に適用することができ、また、ユーザーが入手した後も使用するレンズの特徴や主な被写体の特徴に合わせてさらに適応的に画質を向上させることができる。

以上詳述した発明の実施形態によれば、単一のレンズで捕らえた撮影対象を画素サイズの異なる２つのイメージセンサ４，５のそれぞれで撮像し、回折による解像度低下をほとんど含まない粗画素からなる学習用教師画像と、回折による解像度低下を含む微細画素からなる学習用入力画像とを用いてひずみ修正関数の重み係数を学習し、これを学習用入力画像全体に適用することにより、解像限界近傍の微細画素イメージセンサであっても。高精細度で被写界深度の深い高画質の画像を取得することができる。

また、本実施形態によれば、撮像装置１００を従来よりも小型化、軽量化、低コスト化することもできる。

また、本実施形態によれば、画質性能を保ったまま市場に普及している２／３インチクラスのレンズが使用可能となるので、８Ｋ映像関連産業の活性化にも寄与することができる。加えて、２／３インチクラスの効果として、画質性能を保ったまま被写界深度の深い画像を取得することもできる。

なお、本実施形態において、静止画像の撮影だけでなく、連続的に動きのある映像を撮影することを考慮すると、撮像素子４、５は、眼の積分時間とされる１／６０ｓで少なくとも１フレーム以上撮影可能なもの、すなわちフレーム周波数では６０Ｈｚ、１２０Ｈｚ、２４０Ｈｚ、４８０Ｈｚ、１０００Ｈｚ等が望ましい。また、画像生成部１２も、眼の積分時間とされる１／６０ｓで少なくとも１フレーム以上の画像を生成できることが望ましい。

本発明は、放送、テレビ、映画、医療、広告、セキュリティ等の用途で広く利用することができる。

本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施例、変形例を含むことは、本明細書の記載の実施形態や思想から本発明の属する分野における当業者にとって明らかである。

１００ 撮像装置
１ レンズ
２ 分離部
３ 拡大縮小部
４ 第１の撮像素子
５ 第２の撮像素子
６ 制御部
７ 第１の記憶部
８ 第２の記憶部
９ 第１の信号処理部
１０ 第２の信号処理部
１１ 機械学習部
１２ 画像生成部
１３ 画像出力部
２１ 第１の撮像素子の撮像画素領域
２２ 第２の撮像素子の撮像画素領域

Claims (2)

1. 集光レンズと、
   前記集光レンズで集光された光を第１の経路と第２の経路とに分離する分離部と、
   前記分離部において第１の経路に分離された光の結像の像を拡大又は縮小する第１の拡大縮小部と、
   解像の限界となる微細な画素サイズを有し、前記第１の拡大縮小部を通過した光の結像の像を撮像する第１の撮像素子と、
   前記分離部において第２の経路に分離された光の結像の像を拡大又は縮小する第２の拡大縮小部と、
   解像可能な範囲内の画素サイズを有し、前記第２の拡大縮小部を通過した光の結像の像を撮像する第２の撮像素子と、
   前記第１の撮像素子で撮像された撮像画素が配置される撮像画素領域を全画素領域の一部とする学習用入力画像と、前記第２の撮像素子で撮像され、前記学習用入力画像の撮像画素領域と同サイズの撮像画素領域からなる学習用教師画像とを用いてぼやけ修正関数の重み係数を学習する機械学習部と、
   前記学習用入力画像に対して前記ぼやけ修正関数を適用して、画像を生成する画像生成部と、
   を備えることを特徴とする撮像装置。
2. 集光レンズで集光された光を第１の経路と第２の経路とに分離する分離ステップと、
   前記分離工程において第１の経路に分離された光の結像の像を拡大又は縮小する第１の拡大縮小ステップと、
   解像の限界となる微細な画素サイズを有する第１の撮像素子で、前記第１の拡大縮小ステップで拡大又は縮小された光の結像の像を撮像する第１の撮像ステップと、
   前記分離ステップにおいて第２の経路に分離された光の結像の像を拡大又は縮小する第２の拡大縮小ステップと、
   解像可能な範囲内の画素サイズを有する第２の撮像素子で、前記第２の拡大縮小ステップで拡大又は縮小された光の結像の像を撮像する第２の撮像ステップと、
   前記第１の撮像ステップで撮像された撮像画素が配置される撮像画素領域を全画素領域の一部とする学習用入力画像と、前記第２の撮像ステップで撮像され、前記学習用入力画像の撮像画素領域と同サイズの撮像画素領域からなる学習用教師画像とを用いてぼやけ修正関数の重み係数を学習する機械学習ステップと、
   前記学習用入力画像に対して前記ぼやけ修正関数を適用して、画像を生成する画像生成ステップと、
   を含むことを特徴とする撮像方法。