JP2008244833A - 撮像装置、色収差補正方法およびプログラム - Google Patents
撮像装置、色収差補正方法およびプログラム Download PDFInfo
- Publication number
- JP2008244833A JP2008244833A JP2007082383A JP2007082383A JP2008244833A JP 2008244833 A JP2008244833 A JP 2008244833A JP 2007082383 A JP2007082383 A JP 2007082383A JP 2007082383 A JP2007082383 A JP 2007082383A JP 2008244833 A JP2008244833 A JP 2008244833A
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- filter
- image
- chromatic aberration
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】高解像度を維持しつつ、撮影レンズに起因する色収差を適切に補正して高画質の撮影画像を得る。
【解決手段】撮影レンズ１４の前に分光フィルタ１５を設け、連続撮影によって分光フィルタ１５の透過特性を順次切り替え、撮像素子１２を通じて各波長帯毎の分光画像を得る。ＤＳＰ部１３では、これらの分光画像を各波長帯に応じて拡大／縮小して色収差を補正した後、合成して１枚の撮影画像を生成する。これにより、高解像度を維持しつつ、撮影レンズに起因する色収差を適切に補正して高画質の撮影画像を得ることができる。
【選択図】 図１
【解決手段】撮影レンズ１４の前に分光フィルタ１５を設け、連続撮影によって分光フィルタ１５の透過特性を順次切り替え、撮像素子１２を通じて各波長帯毎の分光画像を得る。ＤＳＰ部１３では、これらの分光画像を各波長帯に応じて拡大／縮小して色収差を補正した後、合成して１枚の撮影画像を生成する。これにより、高解像度を維持しつつ、撮影レンズに起因する色収差を適切に補正して高画質の撮影画像を得ることができる。
【選択図】 図１
Description
本発明は、デジタルカメラ等の撮像装置に係り、特に画像処理によって色収差を補正する撮像装置、色収差補正方法およびプログラムに関する。
通常、デジタルカメラ等の撮像装置に用いられるレンズには色収差があり、それが撮影画像の品質に大きな影響を及ぼす。色収差とは、レンズを通したときに起きる色ずれのことである。
すなわち、レンズの屈折率が光の色によって異なるために、レンズに白色光を通すと、焦点は一点に結ばすに、屈折率の高い青はレンズ側に焦点を結び、屈折率の低い赤はレンズから遠くに焦点を結ぶ。これは、光の波長によって屈折率と分散率が異なるために起きる現象であり、この波長の違いに起因する収差のことを色収差という。
従来、このような色収差を画像処理によって補正する方法が知られている。例えば、特許文献１には、ＣＣＤ(charge coupled device)等の撮像素子を通じて得られた画像をＲＧＢの各色の画像に分解した後、Ｇ（緑）画像を基準にして、Ｂ（青）画像を拡大処理すると共に、Ｒ（赤）画像を縮小処理して、これらを合成して、色収差を補正することが開示されている。
なお、Ｂ（青）画像を拡大処理するのは、Ｂの色はＧに比べて屈折率が高く、画像が小さくなるためである。また、Ｒ（赤）画像を縮小処理するのは、Ｒの色は屈折率が低く、画像が大きくなるからである。
また、特許文献２には、ビームスプリッタ（分光部材）によって入射光をＲＧＢの３色に分光し、これらの光を３つの撮像素子にてそれぞれ受光して各色の画像を作り出すことで色収差を補正することが開示されている。
特開２００４−３３６１０６号公報
特開２００６−１６６３３６号公報
しかしながら、前記特許文献１のように、撮像素子にカラーフィルタを設けて、Ｒ，Ｇ，Ｂの各色の画像を作り出す方法では、各色の画像の解像度が低下するため、それが色収差の補正に影響して画質を低下させるなどの問題がある。一方、前記特許文献２のように分光色に対応させて多数の撮像素子を用いる構成では、高価となり、また、実装面積も大きくなるなどの問題がある。
本発明は前記のような点に鑑みなされたもので、高解像度を維持しつつ、撮影レンズに起因する色収差を適切に補正して高画質の撮影画像を得ることのできる撮像装置、色収差補正方法およびプログラムを提供することを目的とする。
本発明の請求項１に係る撮像装置は、撮影レンズを介して入射する光を電気信号に変換する撮像素子と、前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタと、連続撮影によって前記分光フィルタの透過特性を順次切替えるフィルタ駆動手段と、このフィルタ駆動手段による前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する撮影制御手段と、この撮影制御手段によって順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す補正処理手段と、この補正処理手段によって補正処理された各分光画像を合成して１つの撮影画像を生成する合成処理手段とを具備したことを特徴とする。
また、本発明の請求項２は、請求項１記載の撮像装置において、前記撮影レンズの焦点距離に対応した色収差の特性データを各波長領域毎に記憶したテーブル手段を備え、前記補正処理手段は、前記テーブル手段から撮影時の焦点距離に対応した各波長領域の色収差の特性データを読み出し、その特性データに基づいて各分光画像の色収差を補正することを特徴とする。
本発明の請求項３に係る色収差補正方法は、撮影レンズを介して入射する光を電気信号に変換する撮像素子と、前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタとを備えた撮像装置の色収差補正方法において、連続撮影によって前記分光フィルタの透過特性を順次切替える第１のステップと、この第１のステップによる前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する第２のステップと、この第２のステップにて順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す第３のステップと、この第３のステップによって補正処理された各分光画像を合成して１つの撮影画像を生成する第４のステップを有することを特徴とする。
本発明の請求項４に係るプログラムは、撮影レンズを介して入射する光を電気信号に変換する撮像素子と、前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタとを備えた撮像装置を制御するコンピュータによって実行されるプログラムであって、前記コンピュータに、連続撮影によって前記分光フィルタの透過特性を順次切替える第１の機能と、この第１の機能による前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する第２の機能と、この第２の機能にて順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す第３の機能と、この第３の機能によって補正処理された各分光画像を合成して１つの撮影画像を生成する第４の機能とを実行させることを特徴とする。
本発明によれば、連続撮影による分光フィルタの切替えによって得られる各波長帯の分光画像を用いて、高解像度を維持しつつ、色収差を適切に補正して高画質の撮影画像を得ることができる。
以下、図面を参照して本発明の実施形態を説明する。
図１は本発明の一実施形態に係る撮像装置として高速撮影可能なデジタルカメラを例にした場合の構成を示す図である。
デジタルカメラ１１は、撮像素子１２と、ＤＳＰ（digital signal processor）部１３と、撮影レンズ１４と、分光フィルタ１５とを備える。撮像素子１２は、例えば６百万画素以上の高解像度で、秒６０枚以上の高速で連続撮影可能なＣＭＯＳ(complementary metal oxide semiconductor)などのイメージセンサで構成される。なお、この撮像素子１２の表面には、一般的なベイヤー配列のＲＧＢカラーフィルタなどの物理的な色生成部材は設けられていない。
ＤＳＰ部１３は、撮像素子１２から連続的に出力される画像信号を高速受信して処理する。撮影レンズ１４は、焦点レンズ、ズームレンズなどからなり、撮像素子１２の前に光軸方向に移動自在に設けられている。なお、実際には、撮像素子１２と撮影レンズ１４との間に、例えばブレ補正機構や絞り機構、シャッター機構などが設けられているが、本発明とは直接関係しないため、図示を省略する。
分光フィルタ１５は、撮影レンズ１４の前に配置され、狭帯域の透過特性を有する。この分光フィルタ１５としては、ＬＣＴＦ（Liquid Crystal Tunable Filter）と呼ばれる液晶同調フィルタや、ＬＣＦＰ（Liquid Crystal Fabry-Perot etalo）と呼ばれる液晶ファブリ・ペロー・エタロン・フィルタなどが用いられる。なお、これらのフィルタ構成については、後に詳しく説明する。
また、このデジタルカメラ１１には、制御部１６が設けられている。制御部１６は、カメラ全体の制御を行うものであり、主としてＣＰＵから構成される。なお、本実施形態では、ＤＳＰ部１３と制御部１６とを分け、ＤＳＰ部１３側にて画像処理を高速に行う構成としているが、当然のことながら、制御部１６側ですべての処理を行う構成であっても良い。
図１に示すように、この制御部１６には、レンズ駆動部１７とフィルタ駆動部１８が接続されている。レンズ駆動部１７は、制御部１６から出力されるレンズ駆動信号に従って撮影レンズ１４を光軸方向に移動させる。この撮影レンズ１４には、ズームレンズを含み、ズーム操作が指示された場合には、そのズームレンズが光軸の前後に移動することになる。フィルタ駆動部１８は、制御部１６から出力されるフィルタ駆動信号に従って分光フィルタ１５を駆動し、分光フィルタ１５の透過特性を順次切替えて各波長帯の光を取り込む。
その他、このデジタルカメラ１１には、ストロボ１９とストロボ駆動回路２０、ＬＥＤ２１とＬＥＤ駆動回路２２、垂直／水平方向の振動を検出する角速度センサ２２ａ，２２ｂとこれらのセンサ信号によってブレ検出を行うブレ検出回路２３ａ，２３ｂ、表示部２４と表示駆動回路２５、操作入力部２６、プログラム・メモリ２７、データ・メモリ２８、メモリカード２９、ＵＳＢ端子３０などが設けられている。
表示部２４は、例えばバックライト付きのカラー液晶装置からなり、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。表示駆動回路２５は、制御部１６からの駆動信号を受けて表示部２４を表示駆動する。
操作入力部２６は、ユーザが撮影操作や再生操作を行うときに用いられる。この操作入力部２６は、例えば「電源」キー、「シャッター」キー、「撮影」キー、「再生」キー、「ストロボ」キー、「ズーム」キー、「メニュー」キー、「カーソル」キーなど、各種操作キーを有する。
プログラム・メモリ２７には、デジタルカメラ１１を動作させるための各種プログラムが記憶されている。その中には本発明を実現するためのプログラムも含まれる。データ・メモリ２８は、後述するフィルタ制御テーブル２８ａを含む各種データを記憶する。メモリカード２９は、デジタルカメラ１１の本体に着脱自在であり、外部記録媒体として使用される。
また、このデジタルカメラ１１は、電池３１と電源制御部３２が設けられており、電池３１を駆動源として、電源制御部３２から各部に対して電力供給がなされる。
次に、デジタルカメラ１１の各部の構成について説明する。
（ａ）分光フィルタ
本実施形態におけるデジタルカメラ１１では、撮影レンズ１４の前に設けた分光フィルタ１５の透過特性を切替え制御することにより、複数の波長領域毎の分光画像を取得し、これらの分光画像を合成することで、１枚のカラー画像を生成するように構成されている。なお、実際には、各分光画像を合成する際に、色収差を補正するための拡大・縮小処理を施すが、それについては後に詳しく説明する。
本実施形態におけるデジタルカメラ１１では、撮影レンズ１４の前に設けた分光フィルタ１５の透過特性を切替え制御することにより、複数の波長領域毎の分光画像を取得し、これらの分光画像を合成することで、１枚のカラー画像を生成するように構成されている。なお、実際には、各分光画像を合成する際に、色収差を補正するための拡大・縮小処理を施すが、それについては後に詳しく説明する。
ここで、分光フィルタ１５として、液晶同調フィルタ（ＬＣＴＦ）や、液晶ファブリ・ペロー・エタロン・フィルタ（ＬＣＦＰ）などが用いられる。これらのフィルタの構成を説明する前に、これらのフィルタの原理の元であるリオ（Ｌｙｏｔ）フィルタとファブリ・ペロー・エタロン・フィルタの構成について説明しておく。
（リオ・フィルタ）
図２はリオ・フィルタの構成を示す図であり、Ａ〜Ｃの３層構造の例が示されている。図中の４１ａ，４１ｂ，４１ｃ，４１ｄは偏光板、４２ａ，４２ｂ，４２ｃは結晶板を示す。図３はリオ・フィルタの透過特性を示す図である。波形（Ａ）、（Ｂ）、（Ｃ）は、図２のＡ層、Ｂ層、Ｃ層における光の透過波長を示している。波形（Ａ＋Ｂ）、（Ａ＋Ｂ＋Ｃ）は、図２のＡ層＋Ｂ層、Ａ層＋Ｂ層＋Ｃ層における光の透過波長を示している。
図２はリオ・フィルタの構成を示す図であり、Ａ〜Ｃの３層構造の例が示されている。図中の４１ａ，４１ｂ，４１ｃ，４１ｄは偏光板、４２ａ，４２ｂ，４２ｃは結晶板を示す。図３はリオ・フィルタの透過特性を示す図である。波形（Ａ）、（Ｂ）、（Ｃ）は、図２のＡ層、Ｂ層、Ｃ層における光の透過波長を示している。波形（Ａ＋Ｂ）、（Ａ＋Ｂ＋Ｃ）は、図２のＡ層＋Ｂ層、Ａ層＋Ｂ層＋Ｃ層における光の透過波長を示している。
図２に示すように、リオ・フィルタは、平行な偏光板４１ａ，４１ｂ，４１ｃ，４１ｄの間に、方解石や水晶などの複屈折性（birefringence）を有する結晶板４２ａ，４２ｂ，４２ｃを配した構造を有する。
今、１層だけで説明すると、偏光板４１ａから入射して結晶板４２ａを透過した光は、互いに垂直な振動方向の通常光と異常光の２光線に分離し、それぞれ異なる屈折率と位相速度を持つ。
ここで、結晶板４２ａの厚さをｄとすると、結晶板４２ａのＸ軸方向に直線偏光した光に対して屈折率Ｎe 、Ｙ軸方向に直線偏光した光に対して屈折率Ｎo の場合、位相差δと透過率Ｔは以下のように表される。
δ＝（２π／λ）（Ｎe −Ｎo ）ｄ …（１）
Ｔ＝ｃｏｓ2(δ／２) …（２）
分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが結晶板４２ａから出射される。平行な２枚の偏光板４１ａと４１ｂの間に、結晶板４２ｂを４５度回転させて配すると、全体の波長特性は、図３の波形（Ａ）のように、周期的に多数の透過ピークがある櫛歯状の透過特性となる。結晶板４２ａの角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングすることができる。
Ｔ＝ｃｏｓ2(δ／２) …（２）
分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが結晶板４２ａから出射される。平行な２枚の偏光板４１ａと４１ｂの間に、結晶板４２ｂを４５度回転させて配すると、全体の波長特性は、図３の波形（Ａ）のように、周期的に多数の透過ピークがある櫛歯状の透過特性となる。結晶板４２ａの角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングすることができる。
また、図２の例のように、Ｎ枚（ここでは３枚）の結晶板４２ａ，４２ｂ，４２ｃを用い、順に前の結晶板の厚さｄが２倍となるように、ｄｋ＝２k-1 ×ｄ（ｋ：１，２，…，Ｎ−１）として積層すると、最終的に図３の波形（Ａ＋Ｂ＋Ｃ）に示すような狭帯域の特性を得ることができる。これにより、透過波長の多数のピークから所望波長の光だけを選択できる。なお、多層フィルタによる全体の透過率Ｔは、ｘ＝δ／２とおくと、次式のようになる。
Ｔ＝Ｔ1・Ｔ2・Ｔ3・…ＴN-1
＝cos2(ｘ)・cos2(２ｘ)・cos2(４ｘ)・…cos2(２N-1ｘ) …（３）
（ファブリ・ペロー・エタロン・フィルタ）
図４はファブリ・ペロー・エタロン・フィルタの原理を示す図であり、図中の４３ａ，４３ｂは半透鏡（高反射、低定吸収ミラー）、４４はレンズ系、４５は焦点面（撮像素子）を示す。図５はファブリ・ペロー・エタロン・フィルタの透過特性パターンを示す図である。
＝cos2(ｘ)・cos2(２ｘ)・cos2(４ｘ)・…cos2(２N-1ｘ) …（３）
（ファブリ・ペロー・エタロン・フィルタ）
図４はファブリ・ペロー・エタロン・フィルタの原理を示す図であり、図中の４３ａ，４３ｂは半透鏡（高反射、低定吸収ミラー）、４４はレンズ系、４５は焦点面（撮像素子）を示す。図５はファブリ・ペロー・エタロン・フィルタの透過特性パターンを示す図である。
ファブリ・ペロー・エタロン・フィルタは、多重反射光線の干渉効果を利用して、狭い波長域の光だけを透過する。水晶の平行平板の両面、もしくは、２枚のガラス板の内面に、金属薄膜や誘電体多層薄膜などの反射膜をコートした単純な構造で、各種光学機器に広く利用されている。
図４に示すように、半透鏡４２ａを透過して内部に入射された光線は、半透鏡４２ａと半透鏡４２ｂとの間を多重反射する。透過光の波面は、偶数回の反射を受けた後に透過する各成分波面の重畳となる。位相差をδとすると、次式で表される。
δ＝（２π／λ）２ｎｄ cosθ
＝４πｎｄ cosθ／λ …（４）
また、入射光Ｉinに対し、透過光Ｉt は、
Ｉt ＝Ｉin×（１−Ｒ）2 ／｛（１−Ｒ）2 ＋４Ｒsin2(δ)｝であるので、透過率Ｔは、次式のようになる。
＝４πｎｄ cosθ／λ …（４）
また、入射光Ｉinに対し、透過光Ｉt は、
Ｉt ＝Ｉin×（１−Ｒ）2 ／｛（１−Ｒ）2 ＋４Ｒsin2(δ)｝であるので、透過率Ｔは、次式のようになる。
Ｔ＝（１−Ｒ）2 ／｛（１−Ｒ）2 ＋４Ｒsin2(δ)｝ …（５）
ここで、δ：位相差、λ：波長、θ：入射角、ｄ：ミラー間の物理的間隔、ｎ：媒質の屈折率（空気の場合ｎ＝１）、Ｒ：ミラーの反射率である。
ここで、δ：位相差、λ：波長、θ：入射角、ｄ：ミラー間の物理的間隔、ｎ：媒質の屈折率（空気の場合ｎ＝１）、Ｒ：ミラーの反射率である。
各成分波面間に位相差がないときに透過光が最大になり、このとき光学距離の差は、以下のように波長λの整数倍になる。
ｍλ＝２ｎｄ cosθ （ｍ＝１，２，３，…） …（６）
このとき、他の波長では、各透過成分波面間で打消し合いの干渉が起こり、透過光がゼロ近くまで減少する。
このとき、他の波長では、各透過成分波面間で打消し合いの干渉が起こり、透過光がゼロ近くまで減少する。
半透鏡４２ａ，４２ｂは、可視光ではＡｇ、Ａｕ、Ａｌ、Ｃｒ、Ｒｈなどを蒸着した金属膜コーティングでも可能だが、吸収ロスが大きいために、主に、多層の誘電体薄膜等が用いられる。可視光域では、高屈折率のＨ膜（ＺｎＳ等）と低屈折率のＬ膜（ＭｇＦ2 等）を、λ／４厚ずつ交互に１３層重ねた誘電体多層膜で、９９．５％程度の反射率が得られる。
半透鏡４２ａ，４２ｂの間隔ｄは、数ミクロン（μｍ）〜数センチ（ｃｍ）まで様々に設計できる。この間隔ｄ、もしくは、媒質の屈折率ｎを変えることで、透過する波長を選択できる。また、フィルタの傾きを調整することで、波長特性を微調整することができる。
ファブリ・ペロー・エタロン・フィルタは、プリズムや回折格子に比べ、分解能が非常に高く、偏光板を使用するリオ・フィルタ等に比べ、透過率が高く、吸収が少ない。隣のピーク波長との間隔ＦＳＲ（Free Spectral Range）を、最小帯域幅となる透過ピークの半値全幅ＦＷＨＭ（Full Windth at Half Maximum）で割った値は、フィネス（Finesse）と呼ばれ、フィルタ性能を表わす。フィネスをＦとすると、以下のように表せる。
Ｆ＝ＦＳＲ／ＦＷＨＭ
＝Δλ／δλ
＝π√Ｒ／（１−Ｒ） …（７）
ここで、間隔ＦＳＲは以下のように表させる。
＝Δλ／δλ
＝π√Ｒ／（１−Ｒ） …（７）
ここで、間隔ＦＳＲは以下のように表させる。
ＦＳＲ＝Δλ
＝λ0 2／（２ｎｄ） …（８）
また、ピーク波長の半値全幅ＦＷＨＭは以下のように表させる。
＝λ0 2／（２ｎｄ） …（８）
また、ピーク波長の半値全幅ＦＷＨＭは以下のように表させる。
ＦＷＨＭ＝δλ
＝ＦＳＲ／Ｆ …（９）
図５の透過率特性に示すように、鏡面の反射率Ｒを上げるほど、フィネスＦが高くなり、波長分解能であるＦＷＨＭ＝δλを狭くし、透過ピークを鋭くすることができる。また、入射角θで入射する波長λの透過光の強度Ｉt(θ，λ)は、次式で表される。
＝ＦＳＲ／Ｆ …（９）
図５の透過率特性に示すように、鏡面の反射率Ｒを上げるほど、フィネスＦが高くなり、波長分解能であるＦＷＨＭ＝δλを狭くし、透過ピークを鋭くすることができる。また、入射角θで入射する波長λの透過光の強度Ｉt(θ，λ)は、次式で表される。
Ｉt(θ，λ)＝Ｉ0(λ)／［１＋｛４Ｒ／（１−Ｒ）2｝sin2(２πnd・cosθ／λ)］
＝Ｉ0(λ)／｛１＋（Ｆ／π）2 sin2(δ／２)｝ …（１０）
ここで、Ｉ0(λ)は、同心円状の干渉パターン（Hadinger fringe）の中心での透過光強度を示す。
＝Ｉ0(λ)／｛１＋（Ｆ／π）2 sin2(δ／２)｝ …（１０）
ここで、Ｉ0(λ)は、同心円状の干渉パターン（Hadinger fringe）の中心での透過光強度を示す。
光源が単色性（単一波長）ならば、エタロンは特定の条件を満たす入射角でのみ、光を透過させる。このため単色球面波を入射させると、同心円状の円環（干渉パターン）を生成する。
なお、ファブリ・ペロー・エタロン（固定間隔のものはエタロン板と呼ばれる）を分光フィルタとして用いる際には、入射角θが最も内側の干渉リング（円環）に相当する入射角よりも小さくなるように、次式の視野角ＦＯＶ（Field of View）を制限する必要がある。
ＦＯＶ＝√｛（８／λ）×δλ｝ …（１１）
上述したリオ・フィルタやファブリ・ペロー・エタロン・フィルタに、液晶分子を平行に配向して密封した液晶素子や電気光学結晶などの複屈折性要素を挿入して組合わせると、透過特性を可変可能な狭帯域フィルタを構成でき、所望の波長で分光撮影を行うことができる。
上述したリオ・フィルタやファブリ・ペロー・エタロン・フィルタに、液晶分子を平行に配向して密封した液晶素子や電気光学結晶などの複屈折性要素を挿入して組合わせると、透過特性を可変可能な狭帯域フィルタを構成でき、所望の波長で分光撮影を行うことができる。
以下に、電子制御可能な分光フィルタ１５として用いられる液晶同調フィルタ（ＬＣＴＦ）と液晶ファブリ・ペロー・エタロン・フィルタ（ＬＣＦＰ）について説明する。
（液晶同調フィルタ）
図６は液晶同調フィルタの原理を示す図である。図中の５１，５２は偏光子（偏光板）、５３は液晶素子、５４は透明電極、５５は液晶分子、５６は交流電圧を示している。図７は液晶同調フィルタの構成例を示す図である。図中の６１，６２は偏光板、６３は固定の結晶板、６４は液晶パネル、６５は交流電圧を示している。
図６は液晶同調フィルタの原理を示す図である。図中の５１，５２は偏光子（偏光板）、５３は液晶素子、５４は透明電極、５５は液晶分子、５６は交流電圧を示している。図７は液晶同調フィルタの構成例を示す図である。図中の６１，６２は偏光板、６３は固定の結晶板、６４は液晶パネル、６５は交流電圧を示している。
図７に示すように、液晶同調フィルタは、２枚の偏光板６１と偏光板６２との間に水晶などの複屈折性を有する結晶板６４と液晶パネル６４を挟んでサンドイッチ構造としたものである。図７の例では、これを複数段積層して多段型としものを示している。これは、図２に示したリオ・フィルタの各層に液晶素子を挿入した構造と同じである。ただし、リオ・フィルタでは、結晶板をモータ等で回転させることでフィルタ特性を調整していたのに対し、液晶同調フィルタでは、結晶板は固定であり、液晶素子を電圧で動かしてフィルタ特性を調整する点で異なる。
すなわち、液晶同調フィルタの原理を簡単に説明すると、図６に示すように、入力側の偏光子５１を介して入射された光は、偏光板５１の偏光軸に対し結晶軸が４５度に設置された図示せぬ複屈折の結晶板により、それぞれ位相速度の異なった常光、異常光の２成分に等量に分割される。
ここで、液晶分子５５の長軸方向と短軸方向での屈折率の違いにより、長軸方向に偏光している光と、直交する偏光方向の光との間には、光路長差（Δφ＝２πΔｚ／λ）が生じる。一対の透明電極５４間にかける電圧を変化させると、液晶分子５５の長軸方向が傾くので光路長差が小さくなる。透明電極５４間に印加する電圧（Ｖ）の値によって、液晶分子５５の結晶軸の一方の屈折係数が変化するので、一方の光は他方の光に比べて遅延する。
このように、液晶素子５３は遅相器として働き、液晶素子５３を出た２つの成分は出力側の偏光子板５２で合成されるが、干渉により波長に関して周期的な透過特性となる。
図７の点線枠で示した部分を１段として、次々に、結晶板６３の厚さｔが前段の２倍になるようにして複数段重ねることで、入射光の最終的な透過特性を狭帯域にすることができる。この場合、１段だけであれば、図３の波形（Ａ）のようなブロードな特性となるが、多段構造とすることで、図３の波形（Ａ＋Ｂ＋Ｃ）のように狭帯域な特性を得ることができる。
このように、液晶同調フィルタでは、リオ・フィルタのように結晶板を回転させる代りに、各層に挿入した液晶素子の透明電極間に印加する電圧を制御するだけで、各層の波長を連続して高速で可変でき、その組合せにより、全ての層を透過する所望の狭帯域の波長の光だけを選択的に透過させることが可能となる。
なお、１段の液晶同調フィルタであっても、電圧を印加してから所定の電圧値に達するまでの間の信号変化をサンプリングすることにより、液晶による屈性率の変化を利用して波長の異なる信号を取り出すことが可能である。ただし、１段では、図３の波形（Ａ）のようなブロードな特性となるため、多段型として狭帯域の特性を得るような構成の方が好ましい。
（液晶同調フィルタの波長特性と波長の選択制御）
図８は液晶同調フィルタの各層における分光透過率と、これらを組合せた総合的な分光透過率の特性例を示す図である。また、図９はその液晶同調フィルタによって得られる各狭帯域の透過特性の組合せの例を重ねて表わした図である。
図８は液晶同調フィルタの各層における分光透過率と、これらを組合せた総合的な分光透過率の特性例を示す図である。また、図９はその液晶同調フィルタによって得られる各狭帯域の透過特性の組合せの例を重ねて表わした図である。
図８の例のように、所望の波長において、全フィルタにおける透過率のピークを揃えるためには、液晶にかけるＡＣ（交流）もしくは直流（ＤＣ）の矩形波の電圧を調整して、所望の狭帯域波長に透過率ピークを合わせる必要がある。
図１０は液晶同調フィルタの液晶の両端に加える電圧と液晶層の屈折率の変化特性の例を示す図である。また、図１１は液晶同調フィルタの電圧変化による分光透過率特性の変化の一例を示す図であり、ある層の液晶の両端にかける電圧を変化させた場合に分光透過率が変化する様子が示されている。
図１１の例では、電圧Ｖ＝０のとき、λa で透過率のピークとなり、λb で透過率が０となる。液晶層の両端に、Ｖ＝Ｖ１をかけたとき、λa では透過率が減少し、λb で透過率がピークとなる。このように、電圧を上げていくと、透過率がピークや０になる帯域を順次調整することができる。
そこで、分光フィルタ１５として積層型の液晶同調フィルタを用いた場合に、上述した各層の各電圧における分光透過率の特性データ、または、各波長（λi ）に調整するために各層の液晶素子にかける電圧値のデータをテーブル化し、これをフィルタ制御テーブル２８ａとして予めデータ・メモリ２８（図１参照）に記憶しておく。制御部１６では、このフィルタ制御テーブル２８ａを参照して、各波長帯毎に所定の電圧を分光フィルタ１５に印加してフィルタ特性（光の透過特性）を調整制御する。
なお、図７に示したような液晶同調フィルタでは、不要な方向の偏光を遮断するために、液晶と結晶板の両側に偏光板が必要である。また、選択波長の帯域を５〜１０ｎｍ程度の狭帯域だけの光で撮像して分光画像を得るためには、フィルタ層の数、すなわち、結晶板と液晶層の数を増やして、同時に透過する波長を分離する必要があり、偏光板の数が増えるので透過率が落ちる。この場合、図９の透過特性図に見られるように、特に短波長側では透過率がかなり低下する（暗くなる）難点がある。中心部と周辺部とでも透過率が変わり、一様ではない。
また、液晶同調フィルタでは、液晶の立上り時間や、波長帯の切替え処理や調整処理に時間がかかると、高速撮影が制限される。例えば、可視光領域４００〜７００ｎｍを１０ｎｍの波長間隔毎に撮影する場合、３１枚撮影する必要があり、液晶の立上り時間や波長の切替えに約５０ｍｓ以上かかるとすると、露出条件などが満たされたとしても、秒当り２０枚（帯域）程度しか撮影できないので、全帯域の撮影に１秒以上かかってしまう等の制約がある。
（液晶ファブリ・ペロー・エタロン・フィルタ）
図１２は液晶ファブリ・ペロー・エタロン・フィルタの構成例を示す図である。図中の７１はガラス板、石英板などの基板、７２はスペーサ・封止材、７３は液晶、７４は誘電体反射膜、７５は透明ＩＴＯ（indium tin oxyde）膜、７６は交流電圧を示す。また、図１３および図１４は液晶ファブリ・ペロー・エタロン・フィルタの特性を示す図であり、図１３は各種ギャップ寸法におけるＦＳＲを示し、図１４は各層の透過率特性を示している。
図１２は液晶ファブリ・ペロー・エタロン・フィルタの構成例を示す図である。図中の７１はガラス板、石英板などの基板、７２はスペーサ・封止材、７３は液晶、７４は誘電体反射膜、７５は透明ＩＴＯ（indium tin oxyde）膜、７６は交流電圧を示す。また、図１３および図１４は液晶ファブリ・ペロー・エタロン・フィルタの特性を示す図であり、図１３は各種ギャップ寸法におけるＦＳＲを示し、図１４は各層の透過率特性を示している。
液晶ファブリ・ペロー・エタロン。フィルタは、図４の多重反射を利用するファブリ・ペロー・エタロン・フィルタにおける薄膜ミラーが形成された２枚のガラス板等の間に、液晶層を封入し、両側に透明電極を形成したものである。図１２の例では、多層構造とした構成が示されている。
所定の波長特性となるようにミラー間隔（ギャップ）を最適に設計するのに加え、エタロンのギャップ幅を埋める液晶層の両側電極に印加する電圧を変えることで、前述の図１０と同様に、液晶層の屈折率ｎを変化させて、それまでピークではなかった波長に透過率ピークを与えるように変化させ、所望の透過波長にチューニングする。
また、異なるミラー間隔のエタロンを多層に積層し、各層に設けた液晶層の両端に印加する電圧を変えることで、複数層のフィルタ全てを透過する所望の狭帯域の波長の光だけを撮像して、分光撮影に利用できる。
ただし、液晶の特性として、この屈折率変化は偏光の直交２成分のうち、１成分のみにしか機能しないため、他の成分はチューニングには寄与できず、この不要成分をブロックするためにＬＣＦＰと直列に偏光板を挿入する必要がある。
（液晶ファブリ・ペロー・エタロンの設計）
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長４００ｎｍ〜７００ｎｍの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長４００ｎｍ〜７００ｎｍの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。
また、コーティングの反射率と透過率との相反や、エタロン面の平坦度や間隔の平行精度などから、実用的に無理なく実現できるフィネスＦには、例えば、波長４００ｎｍでＦ≦８、波長６００ｎｍでＦ≦１０、波長８００ｎｍでＦ≦１２、波長１２００ｎｍでＦ≦１５、波長１５００ｎｍでＦ≦２０などと、ある程度の限界がある。
所望の帯域における波長分解能（最小帯域幅）を、ＦＷＨＭ＝δλ＝５０ｎｍ、あるいは、１０ｎｍに設定したい場合、例えば、４００〜７００ｎｍの可視光域では、実現できるフィネスＦ＝８〜１０程度と考えると、前述の式（６）から、フィネスＦ＝Δλ／δλである。
したがって、δλ＝５０ｎｍの場合には、ピーク波長の間隔ＦＳＲ＝Δλ＝δλ×Ｆ＝５０ｎｍ×８＝４００ｎｍとなり、単一のエタロンでも可視光全域で利用できるが、δλ＝１０ｎｍの場合、ＦＳＲ＝δλ×Ｆ＝１０ｎｍ×８＝８０ｎｍとなり、帯域内で３〜４個のピーク波長が同時に透過されてしまうことになり、３〜４個の次数分離フィルタを必要とする。
また、図１３に示すように、フィネスの点からは所望のＦＳＲが可能であっても、種々のギャップ幅（ミラー間隔）に対するＦＳＲと波長λの関係から、例えば、実現できるエタロンの最小ギャップ幅が３μｍの場合、単一エタロンでは、可視光全域ではＦＳＲは３０〜８０ｎｍ程度しか得られないので、次数分離フィルタが４〜１０個程度必要になることがわかる。このような場合、複数のエタロンを組合せた多層のＬＣＦＰを利用する。
（多層のＬＣＦＰの組合せ）
複数のエタロンを直列に組合せて使う場合、ギャップ幅の大きな方の第１エタロン（波長分解エタロン）が、系全体の透過幅を規定し、ギャップ幅の小さな方の第２エタロン（次数抑制エタロン）がＦＳＲを規定する。系全体のＦＳＲは、両方のエタロンのＦＳＲの比に依存する。
複数のエタロンを直列に組合せて使う場合、ギャップ幅の大きな方の第１エタロン（波長分解エタロン）が、系全体の透過幅を規定し、ギャップ幅の小さな方の第２エタロン（次数抑制エタロン）がＦＳＲを規定する。系全体のＦＳＲは、両方のエタロンのＦＳＲの比に依存する。
第１エタロンのＦＳＲ1 と、第２エタロンのＦＳＲ2 との整数比が、Ｂ／Ａで表現できるとすると、以下のような式で表される。
ＦＳＲ＝Ａ×ＦＳＲ1 ＝Ｂ×ＦＳＲ2 …（１２）
Ｂ＝１の場合は、第２エタロンのＦＳＲ2 そのものが全体系のＦＳＲになる。それ以外なら、全体系のＦＳＲは次数抑制エタロンのＦＳＲ2 よりもＢ倍だけ大きくなる。
Ｂ＝１の場合は、第２エタロンのＦＳＲ2 そのものが全体系のＦＳＲになる。それ以外なら、全体系のＦＳＲは次数抑制エタロンのＦＳＲ2 よりもＢ倍だけ大きくなる。
前記式（１２）から、２台のエタロンを組合せた系では、波長分解エタロンのＦＳＲはＡ倍に拡大し、全体系のＦＳＲの中に存在できる透過帯の総数も、Ａ倍（ＦＳＲ拡大係数）に拡大することができる。次数分離フィルタの数を最少にするためには、液晶のチューナブルレンジ（屈折率の変化範囲）よりも大きくならない範囲で、エタロンのＦＳＲを最大化することが必要である。
例えば、ギャップ幅３μｍのエタロンでは、可視光域（４００ｎｍ〜７００ｎｍ）が１０個の次数で満たされるが、図１４に示すように、ギャップ幅６μｍと、７．５μｍのエタロンを組合せると、得られるＦＳＲは、ギャップ幅３μｍの単体エタロンの２倍、ギャップ幅１．５μｍの単体エタロンに相当するものが実現できる。
（ｂ）撮像素子
本実施形態では、撮像素子１２としてＣＭＯＳイメージセンサを用いる。撮像素子１２をＣＣＤイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Floating Diffusion）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ（Correlated Double Sampling：相関二重サンプル）回路でノイズ除去およびサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ（信号処理回路）に出力される。
本実施形態では、撮像素子１２としてＣＭＯＳイメージセンサを用いる。撮像素子１２をＣＣＤイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Floating Diffusion）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ（Correlated Double Sampling：相関二重サンプル）回路でノイズ除去およびサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ（信号処理回路）に出力される。
一方、撮像素子１２をＣＭＯＳイメージセンサで構成した場合には、一般的なＡＰＳ（Active Pixel Sensor：増幅型画素センサ）型のＣＭＯＳイメージセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されている。フォトダイオードで光電変換された信号電荷は、画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号を順次取り出すことができる。
ここで、ＣＭＯＳでは、ＣＣＤのように順番に取り出さなくとも、任意の画素や領域の撮像信号だけを任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合などに高速で読み出せる。
また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、また同じＣＭＯＳ製造プロセスにてイメージセンサの周辺に、加算演算回路など論理回路や信号処理回路を高集積化して一緒に作りこめる利点がある。
反面、ＣＭＯＳでは、画素毎のアンプの閾値など、個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ｋＴＣ雑音が大きい難点があったが、最近では、埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流とＫＴＣ雑音を低減できるようになった。
また、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型ＣＤＳ／ＡＤＣ回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ（ＦＰＮ）を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力もできるようになった。
ここで、撮像素子１２を高速分光カメラに用いる場合には、任意のサイズの画像領域を選択して、領域内の画素の撮像信号の読み出しができるように構成する。
また、図示せぬＣＤＳ／ＡＤＣ回路の後段や水平走査回路に、複数の画素の撮像信号同士をデジタル信号で加算する加算回路や演算回路を設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読み出しできるように構成する。これにより、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間でも露出が良好な撮影ができ、高速レートの動画撮影や連続撮影でも、画像データ量の小さい撮像信号に変換して出力できるようにするのが望ましい。
なお、撮像素子１２の撮像信号は、ＣＤＳ／ＡＤＣ回路から水平走査回路の列選択信号により選択された列信号として順次出力される。このとき、高速クロックに同期させて並列デジタル信号として出力するか、もしくは、並列のデジタル信号を符号化し、図示せぬ並列／直列変換回路により変換して直列のデジタル撮像信号として出力する。これにより、高解像度の撮像信号を、高速レートでＤＳＰ部１３に転送出力できる。
上述したように、撮像素子１２から読み出された撮像信号のデジタル信号は、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換され、ＤＳＰ部１３に転送される。高解像度、高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でＤＳＰ部１３に転送する必要がある。
ここで、一般のＣＭＯＳ入出力回路では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなり、転送できる速度も遅くなってしまう。そこで、例えば、ＣＭＬ系（Current Mode Logic：電流モードロジック）またはＬＶＤＳ系（Low-Voltage Differential Signaling：小振幅差動信号方式）の入出力回路を用いるものとする。
ＣＭＬ系の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をｏｎ／ｏｆｆさせる方法を用いる。したがって、浮遊容量を充・放電する量を減らして高速動作できる。
また、ＬＶＤＳ系の入出力回路は、２本の信号線を使って情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせる。ＬＶＤＳでは、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
（ｃ）ＤＳＰ
撮像素子１２から読み出されたデジタルの撮像信号は、ＤＳＰ部１３に与えられる。ＤＳＰ部１３では、まず、シェーディング補正や黒レベル補正、欠陥画素補正などを行った後、デジタルＡＧＣで増幅するとともに、ホワイトバランス調整やカラーバランス調整などを行う。
撮像素子１２から読み出されたデジタルの撮像信号は、ＤＳＰ部１３に与えられる。ＤＳＰ部１３では、まず、シェーディング補正や黒レベル補正、欠陥画素補正などを行った後、デジタルＡＧＣで増幅するとともに、ホワイトバランス調整やカラーバランス調整などを行う。
ここで、通常のＲＧＢ３色カラーの撮像素子では、撮像素子の前面に設けられたモザイク状のＲＧＢカラーフィルタの配列に従って、各画素毎にＲＧＢの各色差成分毎の階調値を持つデジタル画像データに変換する処理（カラー補間処理）などを行う。これに対し、本実施形態では、撮像素子１２にカラーフィルタを設けずに、高速で連続撮影により分光フィルタ１５の透過特性を順次切替えながら、各波長帯域毎の分光画像を取得するように構成されている。
図１５は同実施形態におけるデジタルカメラ１１のＤＳＰ部１３の機能構成を示すブロック図であり、連続撮影によって得られた複数の分光画像を処理するための構成が示されている。
ＤＳＰ部１３には、バッファメモリ８１、補正処理部８２、合成処理部８３、補正テーブル８４が設けられている。バッファメモリ８１には、図１６に示すように、連続撮影によって得られた各波長帯域毎の分光画像が格納される。
補正処理部８２は、バッファメモリ８１に格納された各分光画像に対し、それぞれの波長帯域に応じて拡大／縮小処理を施すことにより、色収差を補正する。その際、撮影レンズ１４がズームレンズの場合には、ズーム倍率によって変化する焦点距離を検出し、その焦点距離に対応した各波長帯の色収差の特性データを補正テーブル８４から読み出し、その色収差の特性データに基づいて各波長帯域の色収差を補正することになる。合成処理部８３は、補正処理部８２による補正後の各分光画像を合成して１枚の撮影画像を生成する。
補正テーブル８４には、予め撮影レンズ１４における波長帯域別の色収差特性データΔＸ（λi ）、ΔＹ（λi ）が焦点距離毎に記憶されている。
図１７に、デジタルカメラ１１の撮影レンズ１４における波長帯域別の色収差特性の一例を示す。横軸が波長λ、縦軸が焦点距離ｆ＝ｆ１におけるＹ方向の色収差量ΔＹを示している。
なお、実際には、ＤＳＰ部１３が各分光画像を取得した際に、これらの分光画像から１枚の広帯域の撮影影画像へ変換するために、以下のような処理を行う。
（撮像系の分光特性の補正処理）
各波長帯域（λi ）毎に分光フィルタ１５の透過率Ｔや撮像素子１２の分光感度Ｓ（λi ）を予め図１８に示すような分光特性テーブル８５に記憶しておく。ＤＳＰ部１３は、各波長帯域λi における分光画像の輝度信号Ｖ（ｘ，ｙ；λi ）を、これらの逆数等に応じた所定の比率で乗算して、波長帯域別の感度特性バラツキを補正した分光画像Ｖ’（ｘ，ｙ；λi ）を得る。
各波長帯域（λi ）毎に分光フィルタ１５の透過率Ｔや撮像素子１２の分光感度Ｓ（λi ）を予め図１８に示すような分光特性テーブル８５に記憶しておく。ＤＳＰ部１３は、各波長帯域λi における分光画像の輝度信号Ｖ（ｘ，ｙ；λi ）を、これらの逆数等に応じた所定の比率で乗算して、波長帯域別の感度特性バラツキを補正した分光画像Ｖ’（ｘ，ｙ；λi ）を得る。
Ｖ’（ｘ，ｙ；λi ）＝Ｖ（ｘ，ｙ；λi ）／Ｔ（λi ）・Ｓ（λi ） …（１３）
（３刺激値算出処理）
また、ＤＳＰ部１３は、図１９に示すような等色関数テーブル８６を参照して、各分光画像の波長帯域（λi ）におけるｒ￣（λi ）、ｇ￣（λi ）、ｂ￣（λi ）など等色関数を乗算して、各画素（ｘ，ｙ）毎の３刺激値Ｒi ，を求める。
（３刺激値算出処理）
また、ＤＳＰ部１３は、図１９に示すような等色関数テーブル８６を参照して、各分光画像の波長帯域（λi ）におけるｒ￣（λi ）、ｇ￣（λi ）、ｂ￣（λi ）など等色関数を乗算して、各画素（ｘ，ｙ）毎の３刺激値Ｒi ，を求める。
Ｒi（ｘ，ｙ）＝Ｖ’（ｘ，ｙ；λi ）×ｒ￣（λi ）
Ｇi（ｘ，ｙ）＝Ｖ’（ｘ，ｙ；λi ）×ｇ￣（λi ）
Ｂi（ｘ，ｙ）＝Ｖ’（ｘ，ｙ；λi ）×ｂ￣（λi ） …（１４）
（マルチプレーン加算処理）
また、ＤＳＰ部１３は、各波長帯域（λi ）毎の各画素（ｘ，ｙ）のＲＧＢ値をそれぞれ加算合成して、広帯域の１枚の画像データに変換する。
Ｇi（ｘ，ｙ）＝Ｖ’（ｘ，ｙ；λi ）×ｇ￣（λi ）
Ｂi（ｘ，ｙ）＝Ｖ’（ｘ，ｙ；λi ）×ｂ￣（λi ） …（１４）
（マルチプレーン加算処理）
また、ＤＳＰ部１３は、各波長帯域（λi ）毎の各画素（ｘ，ｙ）のＲＧＢ値をそれぞれ加算合成して、広帯域の１枚の画像データに変換する。
Ｒ（ｘ，ｙ）＝ΣiＲi（ｘ，ｙ）
Ｇ（ｘ，ｙ）＝ΣiＧi（ｘ，ｙ）
Ｂ（ｘ，ｙ）＝ΣiＢi（ｘ，ｙ） …（１５）
なお、標準モニタ等のガンマ特性に合わせて、階調補正やガンマ補正を行ったり、各画素（ｘ，ｙ）毎のｒｇｂ色度値やＹＵＶ（ＹＣｒＣｂ）信号など、他の色空間座標に変換して出力してもよい。
Ｇ（ｘ，ｙ）＝ΣiＧi（ｘ，ｙ）
Ｂ（ｘ，ｙ）＝ΣiＢi（ｘ，ｙ） …（１５）
なお、標準モニタ等のガンマ特性に合わせて、階調補正やガンマ補正を行ったり、各画素（ｘ，ｙ）毎のｒｇｂ色度値やＹＵＶ（ＹＣｒＣｂ）信号など、他の色空間座標に変換して出力してもよい。
このようにして、複数の波長帯域毎に略同じタイミングとなる微小時間内で高速連写された分光画像を高速に読み出し、これらを加算合成して、色再現性の高い高解像度の１枚の広帯域画像データを生成し、出力または記録できるようにする。
次に、同実施形態の動作について説明する。
図２０および図２１は同実施形態におけるデジタルカメラ１１の撮影時の処理動作を示すフローチャートであり、図２０は全体の処理の流れを示し、図２１は分光撮影に関する処理を示している。
図２０および図２１は同実施形態におけるデジタルカメラ１１の撮影時の処理動作を示すフローチャートであり、図２０は全体の処理の流れを示し、図２１は分光撮影に関する処理を示している。
なお、このフローチャートで示される各処理は、プログラムコードの形態で図１に示すプログラム・メモリ２７に予め記憶されている。コンピュータである制御部１６は、このプログラムを読み込むことにより、デジタルカメラ１１の各部を駆動制御して以下のような処理を実行する。
すなわち、図２０に示すように、操作入力部２６を通じて撮影モードが設定されると（ステップＳ１０１のＹｅｓ）、制御部１６は、まず、初期設定として、シャッター速度などの撮影条件を設定すると共に、分光フィルタ１５に所定の電圧を印加して、スルー画像用の透過波長帯域を設定する（ステップＳ１０２）。
続いて、制御部１６は、操作入力部２６に設けられたズームキーの操作に伴い、撮影レンズ１４を移動させてズーム処理およびＡＦ(automatic focusing)処理を行う（ステップＳ１０３）。また、制御部１６は、所定帯域の被写体のスルー画像をＤＳＰ部１３から得て、これを表示部２４に表示する（ステップＳ１０４）。
ここで、操作入力部２６に設けられたシャッターキー操作により撮影が指示されると（ステップＳ１０５のＹｅｓ）、制御部１６は、測光処理およびＷＢ（white balance）処理などを行った後（ステップＳ１０６）、所定の時間間隔で分光撮影処理を実行する（ステップＳ１０７）。なお、この分光撮影処理については、後に図２１を参照して詳しく説明する。
前記分光撮影処理によって１枚の撮影画像が得られると、制御部１６は、この撮影画像をＪＰＥＧ(Joint Photographic Experts Group)等の所定の方式で圧縮処理した後（ステップＳ１０８）、データ・メモリ２８あるいはメモリカード２９に記録保持する（ステップＳ１０９）。また、制御部１６は、当該撮影画像を表示部２４にレビュー表示して（ステップＳ１１０）、ここでの一連の処理を終える。
次に、前記ステップＳ１０７で実行される分光撮影処理について説明する。
図２１に示すように、制御部１６は、まず、測光値と撮影条件に応じて、波長帯域の数（ｎ）と露出時間（Ｔ／ｎ）を設定する（ステップＳ２０１）。続いて、制御部１６は、最初の波長帯λi（λ1 ）を選択し（ステップＳ２０２）、分光フィルタ１５に所定の電圧を印加して、透過波長帯域をλi に設定する（ステップＳ２０３）。
図２１に示すように、制御部１６は、まず、測光値と撮影条件に応じて、波長帯域の数（ｎ）と露出時間（Ｔ／ｎ）を設定する（ステップＳ２０１）。続いて、制御部１６は、最初の波長帯λi（λ1 ）を選択し（ステップＳ２０２）、分光フィルタ１５に所定の電圧を印加して、透過波長帯域をλi に設定する（ステップＳ２０３）。
制御部１６は、前記設定された露出時間に従って図示せぬ絞り機構を駆動制御すると共に撮像素子１２を駆動制御して被写体の撮影を行うことにより（ステップＳ２０４，Ｓ２０５）、撮像素子１２から波長帯λiの分光画像を読み出してＤＳＰ部１３に与える（ステップＳ２０６）。
ここで、図１５に示したように、ＤＳＰ部１３では、波長帯λiの分光画像をバッファメモリ８１に一時格納した後、補正処理部８２を通じて色収差の補正処理を行う。詳しくは、まず、ズームレンズを含む撮影レンズ１４の焦点距離ｆを検出した後（ステップＳ２０７）、その焦点距離ｆと波長帯λi に基づいて、撮影レンズ１４のＸ方向とＹ方向の色収差特性データΔＸ（λi ）、ΔＹ（λi ）を補正テーブル８４から読み出す（ステップＳ２０８）。
次に、波長帯λi の分光画像Ｖ（ｘ，ｙ；λi ）を、当該波長帯λi での色収差（倍率色収差）と基準値Ｘ，Ｙとの比である｛Ｘ＋ΔＸf（λi ）｝／Ｘ、｛Ｙ＋ΔＹf（λi ）｝／Ｙに応じて、その逆数分、すなわち、原画像に対して、Ｘ方向にＸ／｛Ｘ＋ΔＸf（λi ）｝、Ｙ方向にＹ／｛Ｙ＋ΔＹf（λi ）｝だけ拡大または縮小処理して、当該波長帯λiに応じた色収差を補正する（ステップＳ２０９）。
以後同様にして、連続撮影のタイミングに同期させて分光フィルタ１５の透過特性を順次切り替えながら、帯域数ｎ枚の分光画像を取得し、これらの分光画像に対して、それぞれの波長帯λiに応じた色収差の補正処理を施していく（ステップＳ２１０，Ｓ２１１）。
なお、詳しくは、各波長帯域毎の色収差を補正した後に、各画素の３刺激値Ｒi ，Ｇi ，Ｂi を算出してから全波長帯域で加算集計し、通常のＲＧＢなど色空間座標の画像信号に変換する処理が含まれる。
ｎ枚すべての分光画像の撮影が終了すると（ステップＳ２１０のＹｅｓ）、ＤＳＰ部１３では、合成処理部８３を通じて前記各分光画像を合成して１枚の撮影画像を生成し、これを色収差補正後の撮影画像として制御部１６に渡す（ステップＳ２１２）。制御部１６では、この撮影画像を所定の方式で圧縮した後、データ・メモリ２８やメモリカード２９に記録保存する。
以上のように、分光フィルタの透過特性を切替えながら、高速度で連続撮影することにより、波長帯域が異なる複数枚の分光画像を得て、これらを波長帯域に応じて拡大／縮小してから合成することで、各分光画像の解像度を維持しながら色収差を補正して、高画質の撮影画像を得ることができる。
また、一般的なカラーフィルタを用いたＲＧＢの撮像信号は、それぞれ広帯域の波長帯における光エネルギー分布の累計なので、実際には多数の波長の（したがって屈折率の異なる）光が混合されている。このため、ピント点が合っている場合でも、結像点はある幅をもって分布することになり、特に高画素高精細な撮像素子になるほど、偽色やフリンジが目立ったり、ＲＧＢそれぞれの平均の波長に対して色収差補正するか、輪郭強調フィルタ処理などで鮮鋭化処理を施す必要がある。
これに対し、本方式では、Ｒ，Ｇ，Ｂの３波長分の画像だけでなく、狭帯域の透過特性を有する分光フィルタを用いて各波長帯の分光画像を作り出すことで、各波長帯での色収差を適切に補正することができるため、このような問題を解消して、より高品質な画像を得ることができる。
さらに、ズームレンズのように焦点距離が変化する撮影レンズの場合には、色収差の特性も焦点距離に応じて変化する。そこで、予め焦点距離に応じた色収差の特性データを各波長帯毎にテーブル化してメモリに記憶しておくことで、焦点距離が変化した場合でも、各波長帯での色収差を正しく補正して高品質の撮影画像を得ることができる。
なお、前記実施形態では、電子制御可能な分光フィルタとして、液晶同調フィルタ（ＬＣＴＦ）と液晶ファブリ・ペロー・エタロン・フィルタ（ＬＣＦＰ）を例に挙げたが、その他のフィルタであっても良い。要は、各波長帯の分光画像を作り出すことのできる狭帯域の透過特性を有するフィルタであれば、その構造や精度に関係なく適用することができる。
また、前記実施形態では、分光フィルタを撮影レンズの前に配置した構成について説明したが、分光フィルタは、撮影レンズの後に配置する構成としても良い。何れにしても、分光された撮影光が、撮像素子に入射される構造となっていれば良い。
また、前記実施形態では、デジタルカメラを例にして説明したが、例えばムービカメラや、カメラ付きの電子機器なと、撮像機能を備えた装置であれば、すべてに適用可能である。
要するに、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
１１…デジタルカメラ、１２…撮像素子、１３…ＤＳＰ部、１４…撮影レンズ、１５…分光フィルタ、１６…制御部、１７…レンズ駆動部、１８…フィルタ駆動部、１９…ストロボ、２０…ストロボ駆動回路、２１…ＬＥＤ、２２…ＬＥＤ駆動回路、２３ａ，２３ｂ…ブレ検出回路、２４…表示部、２５…表示駆動回路、２６…操作入力部、２７…プログラム・メモリ、２８…データ・メモリ、２８ａ…フィルタ制御テーブル、２９…メモリカード、３０…ＵＳＢ端子、３１…電池、３２…電源制御部、４１ａ，４１ｂ，４１ｃ，４１ｄ…偏光板、４２ａ，４２ｂ，４２ｃ…結晶板、４３ａ，４３ｂ…半透鏡、５１，５２…偏光子（偏光板）、５３…液晶素子、５４…透明電極、５５…液晶分子、５６…交流電圧、６１，６２…偏光板、６３…固定の結晶板、６４…液晶パネル、６５…交流電圧、７１…基板、７２…スペーサ・封止材、７３…液晶、７４…誘電体反射膜、７５…透明ＩＴＯ膜、７６…交流電圧、８１…バッファメモリ、８２…補正処理部、８３…合成処理部、８４…補正テーブル、８５…分光特性テーブル、８６…等色関数テーブル。
Claims (4)
- 撮影レンズを介して入射する光を電気信号に変換する撮像素子と、
前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタと、
連続撮影によって前記分光フィルタの透過特性を順次切替えるフィルタ駆動手段と、
このフィルタ駆動手段による前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する撮影制御手段と、
この撮影制御手段によって順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す補正処理手段と、
この補正処理手段によって補正処理された各分光画像を合成して１つの撮影画像を生成する合成処理手段と
を具備したことを特徴とする撮像装置。 - 前記撮影レンズの焦点距離に対応した色収差の特性データを各波長領域毎に記憶したテーブル手段を備え、
前記補正処理手段は、前記テーブル手段から撮影時の焦点距離に対応した各波長領域の色収差の特性データを読み出し、その特性データに基づいて各分光画像の色収差を補正することを特徴とする請求項１記載の撮像装置。 - 撮影レンズを介して入射する光を電気信号に変換する撮像素子と、前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタとを備えた撮像装置の色収差補正方法において、
連続撮影によって前記分光フィルタの透過特性を順次切替える第１のステップと、
この第１のステップによる前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する第２のステップと、
この第２のステップにて順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す第３のステップと、
この第３のステップによって補正処理された各分光画像を合成して１つの撮影画像を生成する第４のステップと
を有することを特徴とする色収差補正方法。 - 撮影レンズを介して入射する光を電気信号に変換する撮像素子と、前記撮影レンズの前に配置され、狭帯域の透過特性を有する分光フィルタとを備えた撮像装置を制御するコンピュータによって実行されるプログラムであって、
前記コンピュータに、
連続撮影によって前記分光フィルタの透過特性を順次切替える第１の機能と、
この第１の機能による前記分光フィルタの切替え動作に連動して前記撮像素子から複数の波長領域毎の分光画像を時分割で取得する第２の機能と、
この第２の機能にて順次得られる複数の分光画像のそれぞれに当該波長領域に応じた色収差の補正処理を施す第３の機能と、
この第３の機能によって補正処理された各分光画像を合成して１つの撮影画像を生成する第４の機能と
を実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007082383A JP4952329B2 (ja) | 2007-03-27 | 2007-03-27 | 撮像装置、色収差補正方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007082383A JP4952329B2 (ja) | 2007-03-27 | 2007-03-27 | 撮像装置、色収差補正方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008244833A true JP2008244833A (ja) | 2008-10-09 |
| JP4952329B2 JP4952329B2 (ja) | 2012-06-13 |
Family
ID=39915621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007082383A Expired - Fee Related JP4952329B2 (ja) | 2007-03-27 | 2007-03-27 | 撮像装置、色収差補正方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4952329B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013051477A1 (ja) * | 2011-10-06 | 2013-04-11 | ソニー株式会社 | 撮像装置および電子機器 |
| JP2014190963A (ja) * | 2013-03-28 | 2014-10-06 | Anritsu Corp | ミリ波帯スペクトラム解析装置および解析方法 |
| WO2018062303A1 (ja) * | 2016-09-29 | 2018-04-05 | 株式会社ニコン | 撮像素子および電子カメラ |
| CN107995400A (zh) * | 2017-12-19 | 2018-05-04 | 杨松 | 图像采集装置、摄影装置及图像采集方法 |
| US10089768B2 (en) | 2014-07-22 | 2018-10-02 | Olympus Corporation | Image processing device, image processing method, image processing program, and imaging system |
| JP2019102990A (ja) * | 2017-12-04 | 2019-06-24 | 株式会社ニコン | 撮像装置および撮像装置の制御プログラム |
| JP2020159862A (ja) * | 2019-03-26 | 2020-10-01 | セイコーエプソン株式会社 | 分光カメラおよび検査システム |
| CN114175615A (zh) * | 2019-09-18 | 2022-03-11 | 索尼半导体解决方案公司 | 摄像器件、摄像系统和摄像方法 |
| WO2024004606A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | キャリブレーション方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678314A (ja) * | 1992-08-27 | 1994-03-18 | Hitachi Denshi Ltd | 顕微鏡用テレビジョンカメラシステム |
| JP2001084360A (ja) * | 1999-09-17 | 2001-03-30 | Fuji Photo Film Co Ltd | マルチバンド画像の画像処理方法および画像処理システム |
| JP2001251646A (ja) * | 2000-03-06 | 2001-09-14 | Fuji Photo Film Co Ltd | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
| JP2004157059A (ja) * | 2002-11-08 | 2004-06-03 | Minolta Co Ltd | 撮像装置およびレンズ光学系 |
| JP2005260480A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | マルチスペクトル画像撮影装置及びアダプタレンズ |
-
2007
- 2007-03-27 JP JP2007082383A patent/JP4952329B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678314A (ja) * | 1992-08-27 | 1994-03-18 | Hitachi Denshi Ltd | 顕微鏡用テレビジョンカメラシステム |
| JP2001084360A (ja) * | 1999-09-17 | 2001-03-30 | Fuji Photo Film Co Ltd | マルチバンド画像の画像処理方法および画像処理システム |
| JP2001251646A (ja) * | 2000-03-06 | 2001-09-14 | Fuji Photo Film Co Ltd | マルチスペクトル画像の画像圧縮方法および画像圧縮装置 |
| JP2004157059A (ja) * | 2002-11-08 | 2004-06-03 | Minolta Co Ltd | 撮像装置およびレンズ光学系 |
| JP2005260480A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | マルチスペクトル画像撮影装置及びアダプタレンズ |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10044993B2 (en) | 2011-10-06 | 2018-08-07 | Sony Corporation | Imaging system and electronic apparatus |
| US9172877B2 (en) | 2011-10-06 | 2015-10-27 | Sony Corporation | Image pickup unit and electronic apparatus |
| CN103843328A (zh) * | 2011-10-06 | 2014-06-04 | 索尼公司 | 图像拾取单元和电子装置 |
| WO2013051477A1 (ja) * | 2011-10-06 | 2013-04-11 | ソニー株式会社 | 撮像装置および電子機器 |
| US9491421B2 (en) | 2011-10-06 | 2016-11-08 | Sony Corporation | Image pickup unit and electronic apparatus |
| JP2013085028A (ja) * | 2011-10-06 | 2013-05-09 | Sony Corp | 撮像装置および電子機器 |
| JP2014190963A (ja) * | 2013-03-28 | 2014-10-06 | Anritsu Corp | ミリ波帯スペクトラム解析装置および解析方法 |
| US10089768B2 (en) | 2014-07-22 | 2018-10-02 | Olympus Corporation | Image processing device, image processing method, image processing program, and imaging system |
| WO2018062303A1 (ja) * | 2016-09-29 | 2018-04-05 | 株式会社ニコン | 撮像素子および電子カメラ |
| JP2019102990A (ja) * | 2017-12-04 | 2019-06-24 | 株式会社ニコン | 撮像装置および撮像装置の制御プログラム |
| JP7047354B2 (ja) | 2017-12-04 | 2022-04-05 | 株式会社ニコン | 撮像装置および撮像装置の制御プログラム |
| CN107995400A (zh) * | 2017-12-19 | 2018-05-04 | 杨松 | 图像采集装置、摄影装置及图像采集方法 |
| JP2020159862A (ja) * | 2019-03-26 | 2020-10-01 | セイコーエプソン株式会社 | 分光カメラおよび検査システム |
| JP7247700B2 (ja) | 2019-03-26 | 2023-03-29 | セイコーエプソン株式会社 | 分光カメラ装置および検査システム |
| CN114175615A (zh) * | 2019-09-18 | 2022-03-11 | 索尼半导体解决方案公司 | 摄像器件、摄像系统和摄像方法 |
| WO2024004606A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | キャリブレーション方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4952329B2 (ja) | 2012-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4952329B2 (ja) | 撮像装置、色収差補正方法およびプログラム | |
| JP5082648B2 (ja) | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 | |
| US8063976B2 (en) | Image pick-up apparatus and method of controlling the image pick-up apparatus | |
| US7110034B2 (en) | Image pickup apparatus containing light adjustment portion with reflection of a portion of light onto adjacent pixels | |
| JP5040600B2 (ja) | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 | |
| JP4717363B2 (ja) | マルチスペクトル画像撮影装置及びアダプタレンズ | |
| US7112779B2 (en) | Optical apparatus and beam splitter | |
| US20030103150A1 (en) | Integrated color pixel ( ICP ) | |
| JP2007074635A (ja) | 画像入力装置および固体撮像素子 | |
| JP5698875B2 (ja) | カラー撮像素子および撮像装置 | |
| US20230045724A1 (en) | Camera Module, Imaging Method, and Imaging Apparatus | |
| JP2010206678A (ja) | 固体撮像装置、撮像モジュール、及び撮像システム | |
| WO2011063063A1 (en) | Sparse color pixel array with pixel substitutes | |
| JP2009124373A (ja) | 撮像装置及び撮像方法 | |
| JP2007006061A (ja) | カラーフィルター及びそれを有する撮像装置 | |
| JP2003258220A (ja) | 撮像素子及び撮像装置 | |
| JP3397758B2 (ja) | 撮像装置 | |
| US20060132641A1 (en) | Optical filter and image pickup apparatus having the same | |
| WO2019188396A1 (ja) | 撮像装置および方法、画像処理装置および方法、並びに、撮像素子 | |
| JP5040628B2 (ja) | 撮像装置、印刷システム、撮像装置制御プログラム及び撮像装置制御方法 | |
| JP2007028224A (ja) | 撮像装置 | |
| JP3397757B2 (ja) | 撮像装置 | |
| US7474349B2 (en) | Image-taking apparatus | |
| WO2017154367A1 (ja) | 画像処理装置、および画像処理方法、撮像装置ならびにプログラム | |
| JP3397756B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |