JP2017055386A - 撮像装置、撮像システム、画像生成装置およびカラーフィルタ - Google Patents

撮像装置、撮像システム、画像生成装置およびカラーフィルタ Download PDF

Info

Publication number
JP2017055386A
JP2017055386A JP2016119550A JP2016119550A JP2017055386A JP 2017055386 A JP2017055386 A JP 2017055386A JP 2016119550 A JP2016119550 A JP 2016119550A JP 2016119550 A JP2016119550 A JP 2016119550A JP 2017055386 A JP2017055386 A JP 2017055386A
Authority
JP
Japan
Prior art keywords
image
color filter
wavelength
transmittance
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016119550A
Other languages
English (en)
Other versions
JP6653460B2 (ja
Inventor
佐藤　智
Satoshi Sato
智 佐藤
登　一生
Kazuo Nobori
一生 登
貴真 安藤
Takamasa Ando
貴真 安藤
吾妻　健夫
Takeo Azuma
健夫 吾妻
信彦 若井
Nobuhiko Wakai
信彦 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017055386A publication Critical patent/JP2017055386A/ja
Application granted granted Critical
Publication of JP6653460B2 publication Critical patent/JP6653460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

【課題】解像度の低下やアーチファクトの発生を抑制する撮像装置等を提供する。【解決手段】撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、複数の画素で結像された光信号を受け付け、電気信号に変換する撮像素子と、結像光学系及び撮像素子の間に配置され、複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタとを備えている。【選択図】図３

Description

本開示は、圧縮センシング技術を用いたカラー撮像装置に関する。
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの異なる波長情報を取得する必要がある。多くのカラー撮像装置では、小型化・低コスト化のためにイメージセンサは一つしか搭載されていないため、一つのイメージセンサでＲ／Ｇ／Ｂ３つの波長情報を取得する必要がある。
従来から、Ｒ／Ｇ／Ｂ３つの波長情報を異なる位置の画素で取得し、デモザイキングと呼ばれる処理を行うことですべての画素のＲ／Ｇ／Ｂ３つの波長情報を取得する手法が知られている。
図１５は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧ画素を全体の画素の１／２、ＲとＢ画素をそれぞれ１／４ずつ取得し、デモザイキング処理によって、すべての画素のＲ／Ｇ／Ｂ３つの波長情報を取得する。
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングをする技術が開示されている。
Ｕ．Ｓ． Ｐａｔｅｎｔ Ｎｏ． ５６２９７３４ 特表２０１３−５１１９２４
Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ． ６０， ｐｐ． ２５９−２６８， １９９２ Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４ Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ． ６０， ｎｏ． １， ｐｐ． １２６−１３６， ２０１１ Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． ４３１１−４３２２， ２００６ Ｄ．Ｋｉｋｕ， Ｙ．Ｍｏｎｎｏ， Ｍ．Ｔａｎａｋａ ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ， "Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ ｒｅｓｉｄｕａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ ｃｏｌｏｒ ｉｍａｇｅ ｄｅｍｏｓａｉｃｋｉｎｇ"， ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ （ＥＩ）， ２０１４． Ｍａｎｙａ Ｖ．Ａｆｏｎｓｏ，Ｊｏｓe Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ａｎｄ Ｍaｒｉｏ Ａ．Ｔ． Ｆｉｇｕｅｉｒｅｄｏ，"Ｆａｓｔ ＩｍａｇｅＲｅｃｏｖｅｒｙ Ｕｓｉｎｇ Ｖａｒｉａｂｌｅ Ｓｐｌｉｔｔｉｎｇ ａｎｄＣｏｎｓｔｒａｉｎｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ"，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｒｒｏｃｅｓｓｉｎｇ， ＶＯＬ．１９， ＮＯ．９，ｐｐ．２３４５−２３５６，２０１０．
しかしながら、従来の手法は、イメージセンサの各画素において、Ｒ／Ｇ／Ｂのいずれかの波長情報しか取得できないため、デモザイキング後のカラー画像の解像度が低下し、偽色とよばれるアーチファクトが発生し得る。
本開示の非限定的ではない例示的な一形態は、一つのイメージセンサを利用してカラー画像を取得することにより、解像度の低下やアーチファクトの発生を抑制することが可能な撮像装置である。
本開示の一態様に係る撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタとを備える。
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
本開示によれば、Ｒ画像、Ｇ画像、Ｂ画像を画素内で加算しながら取得し、圧縮センシング技術で画像復元することにより、一つのイメージセンサしか利用せずに、３板イメージセンサ並みの解像度でカラー画像を取得することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
図１は、本開示の一実施形態にかかる撮像システム１０の構成を示す模式図である。 図２は、空間及び波長変調部１０１および変調画像取得部１０２の構成の詳細を示す図である。 図３は、カラーフィルタ２０２を含む撮像システム１０を模式的に示す。 図４は、フィルタ１〜３の各波長特性の一部である透過率を示す図である。 図５は、各フィルタの各画素における厚さを一様分布に従って設定した例を示す図である。 図６は、各フィルタの各画素における厚さを正規分布に従って設定した例を示す図である。 図７は、空間光変調器２０４を利用して画素ごとの透過率を変化させる撮像システム１０の変形例を示す図である。 図８は、フィルタの厚さによって透過率が変化する複数のフィルタと空間光変調器２０４とを組み合わせて画素ごとの透過率を変化させる撮像システム１０のさらなる変形例を示す図である。 図９は、画像生成装置１２の主要な処理の手順を示すフローチャートである。 図１０は、画素数Ｎ＝１６の変調画像と生成画像を示した模式図である。 図１１はＲ画像を示す図である。 図１２はＧ画像を示す図である。 図１３はＢ画像を示す図である。 図１４は、全ての色を含むカラー画像の一例を示す図である。 図１５は、ベイヤー配列を示した模式図である。 図１６は、本実施形態におけるカラー画像生成回路１０５が生成したカラー画像におけるＧ画像の一例である。 図１７は、図１６の（ａ）〜（ｃ）の画像の一部の領域を拡大した画像の一例である。
本開示の一態様に係る撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタとを備える。
前記複数の波長域は、３つの波長域であってもよい。
前記カラーフィルタにおける前記複数の画素に対応する各位置において、前記複数の波長域毎に、異なる光透過率を有してもよい。
前記カラーフィルタにおける前記複数の波長域の各々に関し、各位置に関する透過率の相関係数は１未満であってもよい。
前記カラーフィルタにおける前記複数の波長域の各々に関し、ｎ個の各位置の透過率と、他のｎ個の各位置の透過率との間には相関はなくてもよい。
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、一様乱数に従ってもよい。
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、ガウス乱数に従ってもよい。
前記カラーフィルタは、前記複数の画素に対応する位置毎に、前記複数の波長域に対して異なる光透過率を有する空間光変調器を有してもよい。
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、前記カットフィルムは、前記複数の画素に対応する位置毎に、異なる厚さを有してもよい。
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、前記カットフィルムは、前記複数の画素のうち一部の画素に対応する位置のみに配置されていてもよい。
前記カットフィルムは、前記複数の波長域のうち少なくとも一部の波長域において、光透過率が１であってもよい。
前記カラーフィルタの透過率の情報を送信する送信回路をさらに備えてもよい。
本開示の他の一態様に係る撮像システムは、撮像装置と画像生成装置とを備える撮像システムであって、前記撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路とを備え、前記画像生成装置は、前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する画像生成回路とを備える。
本開示の他の一態様に係る画像生成装置は、撮像装置を備える撮像システムにおいて用いられる画像生成装置であって、前記撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路とを備え、前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する画像生成回路とを備える。
前記画像生成回路は、透過率の情報と前記電気信号とを用いて、圧縮センシング技術を用いて前記画像を生成してもよい。
前記電気信号に対応する変調画像をｙと表し、前記複数の波長域毎の前記画像をｘと表し、予め求められているサンプリング行列をＡと表したとき、ｙ＝Ａｘが成立し、前記画像生成回路は、変調画像ｙと復元した信号Ａｘの二乗和誤差｜Ａｘ−ｙ｜2を含む項と、 最小値を演算するための前記画像ｘの画素値の拘束項と、前記画像の輝度成分と色差成分の勾配を分離したトータル・バリエーション項とを含む評価式を最小化するｘを、前記画像として生成してもよい。
本開示の他の一態様に係るカラーフィルタは、複数の波長域の光をフィルタリングするカラーフィルタであって、前記複数の波長域の光が透過する任意の位置において、各波長域の透過率の組み合わせが異なる。
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満であってもよい。
前記第１波長域、第２波長域および第３波長域の各々について、位置毎の透過率の分布は一様乱数およびガウス乱数のいずれかに従ってもよい。
前記画像生成回路は、前記電気信号に対応する変調画像が飽和していた場合、処理を切り替えてもよい。
前記画像生成回路は、評価関数を最小化する画像ｘを生成するものであり、前記評価関数は、前記変調画像が飽和している画素において、画像ｘにサンプリング行列を乗算した値が飽和値を超えている場合は０、そうでない場合は∞を与える拘束を含んでもよい。
以下、添付の図面を参照しながら、撮像装置および画像生成装置を有する、本開示による撮像システムの実施形態を説明する。
（実施の形態１）
図１は、本開示の一実施形態にかかる撮像システム１０の構成を示す模式図である。本実施形態の撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
撮像装置１１は、空間及び波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有している。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力インタフェース装置１０６とを有している。
まず、図２を参照しながら撮像装置１１を説明する。
図２は、空間及び波長変調部１０１および変調画像取得部１０２の構成の詳細を示す。
図２に示されるように、空間及び波長変調部１０１は結像光学系２０１およびカラーフィルタ２０２に対応する。また変調画像取得部１０２は撮像素子２０３に対応する。
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚または複数枚のレンズと、レンズ位置調整機構とを有する（いずれ図示せず）。１枚または複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は「被写体の像」とも表記しうる。レンズ位置調整機構は、たとえば、レンズによる結像位置を調整するためのアクチュエータおよびアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚または複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。
（撮像素子２０３）
撮像素子２０３は、複数の画素を有し、複数の各画素により結像光学系２０１が結像した光信号を受け付け、電気信号に変換する。電気信号は画素毎の変調画像を有する。撮像素子２０３は、レンズの焦点距離に配置される。
（カラーフィルタ２０２）
カラーフィルタ２０２は、結像光学系２０１から入射した光が撮像素子２０３に至るまでの光路上に配置される。典型的には、カラーフィルタ２０２は、撮像素子２０３の前面に接して配置される。撮像素子２０３の「前面」とは、撮像素子２０３の上面、または撮像素子２０３の受光面としても規定されうる。
カラーフィルタ２０２は、撮像素子２０３に入射する複数の波長域の光をフィルタリングするために用いられる。カラーフィルタ２０２は、複数の波長域の光が透過する任意の位置において、異なる光透過率を有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。各微小領域の面積は、たとえば撮像素子２０３の各画素の受光面積と等しい。光透過率は透過する波長域によっても異なっている。本明細書では、カラーフィルタ２０２の「位置」は、上述の通り、撮像素子２０３の画素に対応付けられた領域の位置であるとする。例えば、撮像素子２０３の複数の画素は、第１の画素および第２の画素を含む。複数の波長域は、第１の波長域、第２の波長域、および第３の波長域を含む。第１の波長域、第２の波長域、および第３の波長域のそれぞれに対して、第１の画素に対応するカラーフィルタ２０２の一部は、第２の画素に対応するカラーフィルタ２０２の一部と異なる光透過率を有する。
カラーフィルタ２０２の更なる詳細は後に説明する。
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、カラーフィルタ２０２で設定されたフィルタ情報である変調情報とを、画像生成装置１２に送信する。送信は有線および無線のいずれでもよい。
なお、本実施の形態では、送信回路１０３および受信回路１０４を設け、概ねリアルタイムで変調画像および変調情報が送受信されて処理が行われていることを想定している。しかしながら、変調画像および変調情報を保存する記憶装置（たとえばハードディスクドライブ）を設け、非リアルタイムで処理を行っていてもよい。
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５および出力インタフェース装置１０６をそれぞれ説明する。
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線でも無線でも構わない。なお、送信回路１０３が変調画像および変調情報を有線で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、変調画像および変調情報を利用してカラー画像を生成する。カラー画像を生成処理の詳細は後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子である。出力インタフェース装置１０６は、カラー画像を、デジタル信号としてまたはアナログ信号として画像生成装置１２の外部に出力する。
次に、図３〜６を参照しながらカラーフィルタ２０２をより詳細に説明する。
図３は、カラーフィルタ２０２を含む撮像システム１０を模式的に示す。以下、カラーフィルタ２０２に注目する。
上述したように、カラーフィルタ２０２は、位置ごとに、かつ波長域に応じて異なる光透過率を有している。つまり、複数の波長域の光が透過する任意の位置において 、各波長域の透過率の組み合わせが異なっている。このような光学特性を実現するために、本実施の形態のカラーフィルタ２０２は、光の透過波長帯域を規定する複数種類のフィルタ１〜３を有し、かつ各フィルタの厚さを位置毎に変えている。「厚さ」は、透過光の光軸に平行な方向に沿う、フィルタのカットフィルム（後述）の長さに対応する。
なお、図３では３つのフィルタ（フィルタ１、フィルタ２、フィルタ３）を組み合わせて記載しているが、これは一例である。組み合わせるフィルタの数は３に限られない。
フィルタ１はカットフィルム２０２ａを有し、フィルタ２はカットフィルム２０２ｂを有し、フィルタ３はカットフィルム２０２ｃを有している。カットフィルム２０２ａ〜２０２ｃの各々は、１層あたり所定の吸収率を有するフィルムを０枚から複数枚積層して構成されている。
図４は、フィルタ１〜３の各波長特性の一部である透過率を示す。
波長特性は、入射した光の各波長がどの程度、反射、透過、吸収するかを示す。反射光、透過光、および吸収光の総和は入射光に等しくなる。透過光と入射光との比率は「透過率」と呼ばれ、吸収光と入射光との比率は「吸収率」とよばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量を減算し、さらに入射光の光量で除算しても求められる。図４はこれらのうちの透過率と波長との関係を示している。
後述するように、カラーフィルタ２０２を構成する３つのフィルタの波長特性はいずれも、いずれかの波長において、厚さが変化しても透過率が変わらない、つまり吸収率が０％であるとしている。
例えば、フィルタ１においては波長４５０ｎｍ前後で、フィルタ２においては波長５８０ｎｍ前後で、フィルタ３においては波長６４０ｎｍ前後で吸収率は０％になる。図４では、フィルタ１の透過率は波長４５０ｎｍ前後で、フィルタ２の透過率は波長５８０ｎｍ前後で、フィルタ３の透過率は波長６４０ｎｍ前後で透過率が非常に大きくなっており、それぞれ１００％である。
本明細書において、吸収率が「０％」であることは理想的であり、０％以外を排除するものではない。吸収率が数％程度であっても本実施の形態のカットフィルム２０２ａ〜２０２ｃとして機能し得る。たとえば現実に吸収率が０〜２％の範囲内であれば、吸収率は０％であるとして取り扱うことができる。同様に、透過率が「１００％」であることは理想的である。９８％以上１００％以下の範囲内であれば、透過率は１００％であるとして取り扱うことができる。
なお、図３に示すように、フィルタ１〜３は順に積層して構成されている。たとえばフィルタ３を例に説明すると、フィルタ２を積層する際の支持のため、カットフィルム２０２ｃが存在しない箇所に、透過波長の透過率または吸収率に実質的に影響を与えない光学部材を充填してもよい。他のフィルタ１および２についても同様である。よって各カットフィルムの２０２ａ〜２０２ｃの光学特性が、フィルタ１〜３の各々の光学特性を決定する。
ここで、波長λに関する、フィルタ１のカットフィルム２０２ａの透過率をＣ１（λ）、フィルタ２のカットフィルム２０２ｂの透過率をＣ２（λ）、フィルタ３のカットフィルム２０２ｃの透過率をＣ３（λ）とする。また、位置（ｕ，ｖ）のカットフィルム２０２ａの厚さをＴ１（ｕ，ｖ）、カットフィルム２０２ｂの厚さをＴ２（ｕ，ｖ）、カットフィルム２０２ｃの厚さをＴ３（ｕ，ｖ）とすると、位置（ｕ，ｖ）における波長特性は、次式で表現される。なお、記載の簡潔化のため、カットフィルムの厚さを、便宜的に「フィルタの厚さ」と記述する。
ただし、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））はフィルタの波長特性Ｃ（λ）およびフィルタの厚さＴ（ｕ，ｖ）から決まる、波長λの光の透過率を示す関数である。また、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、Ｃ（λ）に含まれる吸収率が０、または、Ｔ（ｕ，ｖ）が０のときに固定値をとる関数である。通常、フィルタの厚さが増えると、透過率は低下するが、フィルタの吸収率が０の場合はフィルタの厚さにかかわらず透過率が固定値となる。また、フィルタを配置しない（Ｔ（ｕ，ｖ）＝０）の場合も透過率が固定値になる。このように、フィルタの厚さを位置ごとに変更することで、撮像素子２０３の画素ごとに、波長帯域の透過率が異なるカラーフィルタを得ることができる。このとき、カラーフィルタ２０２の各カットフィルム上では、ｎ個の位置の透過率の集合ｘi（ｉ：１〜ｎの整数）と、他のｎ個の位置の透過率の集合ｙi（ｉ：１〜ｎの整数）の相関係数は０〜０．２程度である。つまり、両集合の間には相関はないと言える。
なお、相関係数は、集合ｘiおよび集合ｙiの共分散を、それぞれの標準偏差で除算することによって求められる。具体的には、相関係数ρは下記の式により求められる。
カラーフィルタ２０２とベイヤー配列のフィルタ（図１５）とを比較することにより、両者の差異を明らかにする。いま、一例として、ベイヤー配列の赤色の波長を透過する画素（Ｒ画素）に注目する。ベイヤー配列では、全てのＲ画素の波長特性は等しい。よって、Ｒ画素に関する透過率の相関係数を求めると常に１である。
次に、カラーフィルタ２０２の、主として赤色の波長を透過するフィルタ３に注目する。フィルタ３のカットフィルム上では、上述の通り位置に応じてカットフィルムの厚さが異なっており、波長特性が異なる。ある位置の近傍であっても位置が異なれば波長特性が異なる。そのため、フィルタ３に関する位置ごとの透過率の相関係数を求めると常に１未満である。この点において、カラーフィルタ２０２の各カットフィルムと、ベイヤー配列のフィルタとは大きく異なっている。
なお、ベイヤー配列のフィルタの全ての色の画素を含むよう、一定の範囲を設定してその中に入る画素群の透過率の相関係数を求めると１未満になる。しかしながら、そのときの相関係数は一定である。一方、全てのカットフィルムを含むカラーフィルタ２０２に同様の範囲を設定し、その中に入るカラーフィルタ２０２上の位置における透過率の相関係数を求めると、その値は一定ではない。
ここで、各フィルタの厚さは、厚さ０％（フィルタを配置しない）から最大厚さ１００％まで、一様分布となるように設定する。
図５は、各フィルタの各画素における厚さを一様分布に従って設定した例を示す。図５では、フィルタ１〜３の各々を、最大厚さを１００としたときのフィルタの厚さの割合の数値によって示している。このようなカラーフィルタ２０２を採用することにより、画素ごとに各フィルタの厚さが異なるため、数１にしたがって波長ごと、画素ごとに異なる透過率を実現することができる。また、特許文献１に記載のベイヤー配列や、特許文献２に記載のランダムなフィルタ配置の場合、画素ごとの波長特性はＲ画素、Ｇ画素、Ｂ画素の違いはあるが、それぞれの透過率は一定である。つまり、特許文献２に記載のランダムなフィルタ配置であっても、波長ごとには透過率は一定である。上述のようにカラーフィルタ２０２を構成することで、画素ごとでなく、波長ごとにも一様乱数によるランダムサンプリングを実現することができる。
もちろん、各フィルタの厚さは一様乱数に限られない。たとえば、厚さ５０％を平均とした正規分布（ガウス分布）で設定してもかまわない。
図６は、各フィルタの各画素における厚さを正規分布に従って設定した例を示す。図６でも、フィルタ１〜３の各々を、最大厚さを１００としたときのフィルタの厚さの割合の数値によって示している。このようにすることで、波長ごとに正規乱数によるランダムサンプリングを実現することができる。
また、カラーフィルタ２０２は、画素ごとにフィルタの厚さを変更するのではなくてもよい。たとえば、液晶を用いたカラーフィルタや、空間光変調器を利用して実現してもかまわない。空間光変調器とは、空間的・時間的に透過率を変調させる光学素子であり、画素ごとに透過率を変化させることが可能である。
図７は、空間光変調器２０４を利用して画素ごとの透過率を変化させる撮像システム１０の変形例を示す。カラーフィルタ２０２は、フィルタ１、フィルタ２、フィルタ３、空間光変調器２０４から成り立っている。ここで、フィルタ１，２，３の各々には、フィルタが設置されている画素と設置されていない画素が存在する。フィルタ１において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ１（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ１（ｕ，ｖ）＝０とする。同様に、フィルタ２において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ２（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ２（ｕ，ｖ）＝０、フィルタ３において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ３（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ３（ｕ，ｖ）＝０とする。また、画素（ｕ，ｖ）における空間光変調器２０４の透過率をＳ（ｕ，ｖ）とする。このとき、画素位置（ｕ，ｖ）における波長特性は、次式で表現される。
ただし、Ｐは、各フィルタが設置されているかどうかによって透過率を決定する関数であり、次式で表現される。
このように、複数のフィルタと空間光変調器２０４とを組み合わせることで、撮像素子２０３の画素ごとに、波長帯域の透過率が異なるカラーフィルタを実現できる。
もちろん、図３に示すカラーフィルタ２０２と空間光変調器２０４とを組み合わせることも可能である。
図８は、フィルタの厚さによって透過率が変化する複数のフィルタと空間光変調器２０４とを組み合わせて画素ごとの透過率を変化させる撮像システム１０のさらなる変形例を示す。このとき、画素位置（ｕ，ｖ）における波長特性は、次式で表現される。
次に、画像生成装置１２（図１）を説明する。
図９は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（たとえば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
以下、この処理をより詳しく説明する。カラー画像の生成処理は、撮像された変調画像をｙ、生成される生成画像をｘとした場合、以下のように定式化できる。
ここで、行列Ａは、変調情報によって決まるサンプリング行列である。サンプリング行列Ａは、撮像された変調画像ｙと、生成されるカラーＲＧＢ画像ｘの関係を示している。
以下、サンプリング行列Ａの取得方法を説明する。ここでは、マクベスカラーチェッカーによるカラーキャリブレーションを利用する手法を説明する。マクベスカラーチェッカーは、マンセルカラーシステムに基づいた、２４色の色見本であり、各色見本のＸＹＺ値やｓＲＧＢ値が既定されている。
ここで、この２４色の色見本ｊを本実施形態のカラー撮像装置で撮影した、ある画素ｉ （ｉ＝１，２，３，…，Ｎ）での変調輝度値をＩ（ｊ， ｉ） （ｊ＝１，２，３，…，２４）とし、各色見本のｓＲＧＢ値をＲ’（ｊ）， Ｇ’（ｊ）， Ｂ’（ｊ）とする。すると、以下の関係式が成り立つ。
（数７）
ｃ（１，ｉ）・Ｒ（ｊ） ＋ ｃ（２，ｉ）・Ｇ（ｊ） ＋ ｃ（３，ｉ）・Ｂ（ｊ） ＝ Ｉ（ｊ，ｉ）， ｊ＝１，２，…，２４．
ただし、ｃ（ｘ，ｉ） （ｘ＝１，２，３）はサンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列の要素である。サンプリング行列Ａ のｉ行（３（ｉ−１）＋ｘ）列（ｉ＝１，２，３，…，Ｎ、ｊ＝１，２，３，…，２４）以外の要素は０である。また、Ｒ（ｊ）， Ｇ（ｊ）， Ｂ（ｊ）は、Ｒ’（ｊ）， Ｇ’（ｊ）， Ｂ’（ｊ）をリニアに変換することによって得られる。具体的には以下のような計算によって得られる。
数７は、ある画素ｉに対して、未知数（ｃ（１，ｉ））は３、方程式が２４なので、最小二乗法により解くことができる。この処理を、すべての画素ｉに対して行うことにより、サンプリング行列Ａを取得することが可能である。
説明を簡略化するために、撮像素子２０３の画素数はＮ＝１６であるとする。図１０は、画素数Ｎ＝１６の変調画像と生成画像を示した模式図である。この図において、（ａ）は変調画像、（ｂ）は生成画像されたカラー画像の赤（Ｒ）チャネルである生成Ｒ画像、（ｃ）は生成画像されたカラー画像の緑（Ｇ）チャネルである生成Ｇ画像、（ｄ）は生成画像されたカラー画像の青（Ｂ）チャネルである生成Ｂ画像を示している。数６において、ｙおよびｘは以下のようになる。
この式から明らかなように、数６は、未知数であるｘの要素数４８に対して、観測数であるｙの要素数が１６と少なく、不良設定問題となっている。
この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して後で復元処理を行うことで元の信号を復号化する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識を利用する。自然画像に対する事前知識としては、画像上における近傍との輝度変化の絶対値和であるトータル・バリエーション（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）（例えば、非特許文献１、非特許文献２）や、ウェーブレット（Ｗａｖｅｌｅｔ）変換やＤＣＴ変換、カーブレット（Ｃｕｒｖｅｌｅｔ）変換などの線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ）（例えば、非特許文献４）などを利用すればよい。
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配を分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制するものである。これは、以下の評価関数を最小化することで実現する。
この評価関数は、以下の３つの項から成り立っている。
１．Ｄａｔａ Ｆｉｄｅｌｉｔｙ項||Ax-y||2 2：数６を満たすための拘束項
２．Ｄｙｎａｍｉｃ Ｒａｎｇｅ項：最小値ｍｉｎを演算するためのｘの範囲（ｘが［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
３．Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ項Ｊ（ｘ）：カラー画像の輝度成分と色差成分の勾配を分離したＴｏｔａｌ Ｖａｒｉａｔｉｏｎ項。
ここで、以下の式が成り立つ。
Ｒは実数、Ｒ＋は非負の実数である。
図１１〜図１３は、本実施形態におけるカラー画像生成回路１０５が生成した色ごとのカラー画像の一例である。図１１はＲ画像を示し、図１２はＧ画像を示し、図１３はＢ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、本出願では各画像の輝度値を利用して図示している。
これらの図において、（ａ）は３板式カメラで撮影した正解カラー画像、（ｂ）は一般的なデモザイキング手法である特許文献１に記載のＡｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｐｌａｎｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＡＣＰＩ法）によるデモザイキング画像、（ｃ）は非特許文献５に記載のＭｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ Ｒｅｓｉｄｕａｌ
Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＭＬＲＩ法）によるデモザイキング画像、（ｄ）は本実施形態におけるカラー画像生成回路１０５による復元画像を示している。
以下では例として図１１を参照して説明するが、図１２および図１３にも同様の説明が適用され得る。
図１１の（ａ）の中央部には、格子状のパターンを有する窓が示されている。
図１１の（ｂ）、（ｃ）は、図１５に示した従来のベイヤー配列によって撮影した画像を利用している。本願発明者らは検証を行い、図１１の（ｂ）に示すＡＣＰＩによるデモザイキング画像では、エッジ近傍に偽色とよばれるアーチファクトが存在することを確認した。具体的には、窓のエッジ部分に実際に偽色の存在を確認した。本願発明者らは、このような偽色は図１１の（ｄ）に示す本実施形態による復元画像には存在していないことも確認した。
図１１の（ｃ）に示すＭＬＲＩ法によるデモザイキング画像では、窓の格子状のパターンなどの、高周波成分が復元できていない。一方、本実施形態におけるカラー画像生成回路１０５は、従来技術に比べ、アーチファクトもなく、高周波領域まで復元できていることがわかる。
図１４は、全ての色を含むカラー画像の一例である。図１４は、当該カラー画像の輝度値を利用して示されている。窓の格子状のパターンを一見すると明らかなように、本実施の形態による復元画像が正解画像に最も近いと言える。
出力インタフェース（Ｉ／Ｆ）装置１０６は、カラー画像生成回路１０５が生成したカラー画像をディスプレイに表示したり、人検出などの画像処理に利用したりするために出力する（ステップＳ１０３）。
なお、撮像素子２０３で受光した信号が飽和している場合、数６は成り立たず、数１０におけるData Fidelity項は復元画質を低下させる原因となってしまう。そこで、カラー画像生成回路１０５は、飽和している画素に対しては、数１０におけるData Fidelity項を変更することで、復元画質を向上させる。これは、数１０における第２項を以下のように変更すればよい。
ここで、上記第２項は、飽和した画素に対するData Fidelity項であり、飽和拘束と呼ぶ。ここで、

は、撮像された変調画像ｙの飽和していない画素を、

は、撮像された変調画像ｙの飽和している画素を、

は、サンプリング行列Ａのi行目を転置したベクトル示している。また、

である。これは、推定値xにサンプリング行列Aを乗算した値が飽和している、すなわちyi以上の場合には０、そうでない場合には∞の値を返す関数である。ここで、数１６の近接作用素は

で表現される。そのため、Alternating Direction Method of Multipliers (ADMM)などの凸最適化の手法を利用することで、解くことができる。（非特許文献６参照）
図１６〜図１７は、本実施形態におけるカラー画像生成回路１０５が生成したカラー画像の一例である。ここでは、Ｇ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、本出願ではＧ画像の輝度値を利用して図示している。
これらの図において、図１６の（ａ）は３板式カメラで撮影した正解画像、図１６の（ｂ）は数１０の評価関数で復元した画像、つまり飽和拘束なしの復元画像、図１６の（ｃ）は数１０の評価関数における第２項を数１２に変更して復元した画像、つまり飽和拘束ありの復元画像を示している。また、図１７の（ａ）〜（ｃ）は、それぞれ、図１６の（ａ）〜（ｃ）の画像において、図１６の（ｄ）において「拡大対象の領域」と示された領域を拡大した画像である。
図１６の（ａ）の一部の画素は、輝度値が高く、観測した変調画像の一部の画素は飽和している。そのため、図１６の（ｂ）および図１７の（ｂ）に示すように、飽和拘束を利用していない復元画像では、Data Fidelity項が正確に機能せず、ごま塩ノイズのようなアーチファクトが生じている。一方、図１６の（ｃ）に示す、飽和拘束を利用した本実施形態による復元画像には、このようなアーチファクトが生じていないことを確認した。
以上のように、本実施形態の撮像システム１０は、カラーフィルタ２０２を利用して撮像を行い、圧縮センシング技術に飽和画素による拘束を導入によってカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。
以上のように、本実施形態の撮像システム１０は、カラーフィルタ２０２を利用して撮像を行い、圧縮センシング技術によってカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。
本開示にかかる撮像システムは、一つのイメージセンサでＲ／Ｇ／Ｂ３つの波長情報を取得するカラー撮像装置において、解像度の低下やアーチファクトの発生を抑制した画像を取得するために有用である。
１０ 撮像システム
１１ 撮像装置
１２ 画像生成装置
１０１ 空間及び波長変調部
１０２ 変調画像取得部
１０３ 送信回路
１０４ 受信回路
１０５ カラー画像生成回路
１０６ 出力インタフェース（Ｉ／Ｆ）装置
２０１ 結像光学系
２０２ カラーフィルタ
２０３ 撮像素子
２０４ 空間光変調器

Claims (21)

  1. 光信号を結像する結像光学系と、
    複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと
    を備える撮像装置。
  2. 前記複数の波長域は、３つの波長域である、
    請求項１に記載の撮像装置。
  3. 前記カラーフィルタにおける前記複数の画素に対応する各位置において、前記複数の波長域毎に、異なる光透過率を有する、
    請求項１に記載の撮像装置。
  4. 前記カラーフィルタにおける前記複数の波長域の各々に関し、各位置に関する透過率の相関係数は１未満である、
    請求項１に記載の撮像装置。
  5. 前記カラーフィルタにおける前記複数の波長域の各々に関し、ｎ個の各位置の透過率と、他のｎ個の各位置の透過率との間には相関はない、
    請求項１に記載の撮像装置。
  6. 前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、一様乱数に従う、
    請求項１に記載の撮像装置。
  7. 前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、ガウス乱数に従う、
    請求項１に記載の撮像装置。
  8. 前記カラーフィルタは、前記複数の画素に対応する位置毎に、前記複数の波長域に対して異なる光透過率を有する空間光変調器を有する、
    請求項１に記載の撮像装置。
  9. 前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、
    前記カットフィルムは、前記複数の画素に対応する位置毎に、異なる厚さを有する、
    請求項１に記載の撮像装置。
  10. 前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、
    前記カットフィルムは、前記複数の画素のうち一部の画素に対応する位置のみに配置されている、
    請求項１に記載の撮像装置。
  11. 前記カットフィルムは、前記複数の波長域のうち少なくとも一部の波長域において、光透過率が１である、
    請求項９または１０に記載の撮像装置。
  12. 前記カラーフィルタの透過率の情報を送信する送信回路をさらに備える、
    請求項１に記載の撮像装置。
  13. 撮像装置と画像生成装置とを備える撮像システムであって、
    前記撮像装置は、
    光信号を結像する結像光学系と、
    複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、
    前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路と
    を備え、
    前記画像生成装置は、
    前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、
    前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する、
    画像生成回路とを
    備える、
    撮像システム。
  14. 撮像装置を備える撮像システムにおいて用いられる画像生成装置であって、
    前記撮像装置は、
    光信号を結像する結像光学系と、
    複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
    前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、
    前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路と
    を備え、
    前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、
    前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する、
    画像生成回路とを
    備える、
    画像生成装置。
  15. 前記画像生成回路は、透過率の情報と前記電気信号とを用いて、圧縮センシング技術を用いて前記画像を生成する、請求項１４に記載の画像生成装置。
  16. 前記電気信号に対応する変調画像をｙと表し、前記複数の波長域毎の前記画像をｘと表し、予め求められているサンプリング行列をＡと表したとき、ｙ＝Ａｘが成立し、
    前記画像生成回路は、
    変調画像ｙと復元した信号Axの二乗和誤差｜Ａｘ−ｙ｜2を含む項と、
    最小値を演算するための前記画像ｘの画素値の拘束項と、
    前記画像の輝度成分と色差成分の勾配を分離したトータル・バリエーション項と
    を含む評価式を最小化するｘを、前記画像として生成する、請求項１５に記載の画像生成装置。
  17. 複数の波長域の光をフィルタリングするカラーフィルタであって、
    前記複数の波長域の光が透過する任意の位置において、各波長域の透過率の組み合わせが異なるカラーフィルタ。
  18. 前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、
    第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、
    前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、
    前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満である、請求項１７に記載のカラーフィルタ。
  19. 前記第１波長域、第２波長域および第３波長域の各々について、
    位置毎の透過率の分布は一様乱数およびガウス乱数のいずれかに従う、請求項１８に記載のカラーフィルタ。
  20. 前記画像生成回路は、前記電気信号に対応する変調画像が飽和していた場合、処理を切り替える、
    請求項１４に記載の画像生成装置。
  21. 前記画像生成回路は、評価関数を最小化する画像ｘを生成するものであり、
    前記評価関数は、前記変調画像が飽和している画素において、画像ｘにサンプリング行列を乗算した値が飽和値を超えている場合は０、そうでない場合は∞を与える拘束を含む、
    請求項２０に記載の画像生成装置。
JP2016119550A 2015-09-08 2016-06-16 撮像装置、撮像システム、画像生成装置およびカラーフィルタ Active JP6653460B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015176361 2015-09-08
JP2015176361 2015-09-08

Publications (2)

Publication Number Publication Date
JP2017055386A true JP2017055386A (ja) 2017-03-16
JP6653460B2 JP6653460B2 (ja) 2020-02-26

Family

ID=58190749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016119550A Active JP6653460B2 (ja) 2015-09-08 2016-06-16 撮像装置、撮像システム、画像生成装置およびカラーフィルタ

Country Status (3)

Country Link
US (1) US10237519B2 (ja)
JP (1) JP6653460B2 (ja)
CN (1) CN106507065B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181969A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 撮像装置及び撮像方法
WO2020241427A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 撮像装置、電子機器、情報処理方法及びプログラム
WO2023106143A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6966934B2 (ja) 2017-03-29 2021-11-17 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
EP3450938B1 (en) 2017-08-30 2022-10-12 IMEC vzw An image sensor and an imaging apparatus
US11490027B2 (en) * 2020-10-23 2022-11-01 Black Sesame Technologies Inc. Extended dynamic range image capture device based on a coded spatial light transmittance modulator

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217979A (ja) * 2004-01-30 2005-08-11 Canon Inc 撮像装置、その制御方法および制御プログラム
JP2008219346A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 撮像素子、撮像装置及び撮像素子の駆動方法
JP2011114576A (ja) * 2009-11-26 2011-06-09 Canon Inc 撮像装置、撮像方法、及びプログラム
JP2012043268A (ja) * 2010-08-20 2012-03-01 Canon Inc 画像処理装置、及び画像処理装置の制御方法
JP2013511924A (ja) * 2009-11-20 2013-04-04 シン，ムリトゥンジェイ 圧縮カラー画像サンプリングおよび再構成のための方法およびシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP4556273B2 (ja) 2000-03-21 2010-10-06 ソニー株式会社 固体撮像素子およびこれを用いたカメラシステム
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5612894B2 (ja) * 2010-04-12 2014-10-22 オリンパス株式会社 撮像装置
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012244495A (ja) 2011-05-20 2012-12-10 Olympus Corp 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置
JP6194592B2 (ja) * 2013-02-22 2017-09-13 セイコーエプソン株式会社 分光カメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217979A (ja) * 2004-01-30 2005-08-11 Canon Inc 撮像装置、その制御方法および制御プログラム
JP2008219346A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 撮像素子、撮像装置及び撮像素子の駆動方法
JP2013511924A (ja) * 2009-11-20 2013-04-04 シン，ムリトゥンジェイ 圧縮カラー画像サンプリングおよび再構成のための方法およびシステム
JP2011114576A (ja) * 2009-11-26 2011-06-09 Canon Inc 撮像装置、撮像方法、及びプログラム
JP2012043268A (ja) * 2010-08-20 2012-03-01 Canon Inc 画像処理装置、及び画像処理装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ONO,SHUNSUKE YAMADA,ISAO: "Decorrelated Vectorial Total Variation", 2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN7019003381, 23 June 2014 (2014-06-23), pages 4090 - 4097, XP032649539, ISSN: 0004135399, DOI: 10.1109/CVPR.2014.521 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181969A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 撮像装置及び撮像方法
JPWO2019181969A1 (ja) * 2018-03-20 2021-02-12 日本電気株式会社 撮像装置及び撮像方法
JP7063378B2 (ja) 2018-03-20 2022-05-09 日本電気株式会社 撮像装置及び撮像方法
US12067650B2 (en) 2018-03-20 2024-08-20 Nec Corporation Imaging apparatus and imaging method
WO2020241427A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 撮像装置、電子機器、情報処理方法及びプログラム
US11863883B2 (en) 2019-05-31 2024-01-02 Sony Group Corporation Imaging device, electronic device, and information processing method
JP7513023B2 (ja) 2019-05-31 2024-07-09 ソニーグループ株式会社 撮像装置、電子機器、情報処理方法及びプログラム
WO2023106143A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法

Also Published As

Publication number Publication date
US10237519B2 (en) 2019-03-19
CN106507065A (zh) 2017-03-15
CN106507065B (zh) 2020-07-28
US20170070709A1 (en) 2017-03-09
JP6653460B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
EP3582494B1 (en) Multi-spectrum-based image fusion apparatus and method, and image sensor
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
EP2642757B1 (en) Imaging systems with clear filter pixels
Mihoubi et al. Multispectral demosaicing using intensity-based spectral correlation
US8508618B2 (en) Image pickup apparatus and restoration gain data generation method
WO2009120928A2 (en) Generalized assorted pixel camera systems and methods
CN114189665B (zh) 图像生成装置及拍摄装置
US8934732B2 (en) Image processing method, image processing apparatus and image pickup apparatus
EP3900327B1 (en) An image processing apparatus and method
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2018107731A (ja) 画像生成装置及び撮像装置
JP2018170757A (ja) 画像生成装置及び撮像装置
JP7415464B2 (ja) 映像処理装置、映像処理方法およびプログラム
US10032253B2 (en) Imaging apparatus, imaging system, imaging method, and recording medium
JP6655790B2 (ja) 撮像装置及び撮像システム
US9894336B2 (en) Color imaging using a monochromatic digital camera
Pillman et al. Image quality in consumer digital cameras
Ma Adaptive Image Acquisition with Consideration of Camera Optics
Kumar et al. A New Approach of Improving CFA Image for Digital Camera's
JP2015005918A (ja) 撮像システムおよび結像光学系および画像処理部および撮像システムの製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R151 Written notification of patent or utility model registration

Ref document number: 6653460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151