JP2005260480A - マルチスペクトル画像撮影装置及びアダプタレンズ - Google Patents

マルチスペクトル画像撮影装置及びアダプタレンズ Download PDF

Info

Publication number
JP2005260480A
JP2005260480A JP2004067577A JP2004067577A JP2005260480A JP 2005260480 A JP2005260480 A JP 2005260480A JP 2004067577 A JP2004067577 A JP 2004067577A JP 2004067577 A JP2004067577 A JP 2004067577A JP 2005260480 A JP2005260480 A JP 2005260480A
Authority
JP
Japan
Prior art keywords
optical system
filter
image capturing
unit
capturing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004067577A
Other languages
English (en)
Other versions
JP2005260480A5 (ja
JP4717363B2 (ja
Inventor
Toru Wada
徹 和田
Yasuhiro Komiya
康宏 小宮
Takeyuki Ajito
剛幸 味戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004067577A priority Critical patent/JP4717363B2/ja
Priority to DE112005000537T priority patent/DE112005000537T5/de
Priority to KR1020067018212A priority patent/KR100848763B1/ko
Priority to PCT/JP2005/004130 priority patent/WO2005088984A1/ja
Publication of JP2005260480A publication Critical patent/JP2005260480A/ja
Priority to US11/509,537 priority patent/US20060279647A1/en
Publication of JP2005260480A5 publication Critical patent/JP2005260480A5/ja
Application granted granted Critical
Publication of JP4717363B2 publication Critical patent/JP4717363B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

【課題】従来のRGBによるカラー画像システムを用いて容易にマルチバンド撮影装置を構成すること。
【解決手段】4バンド以上の異なる分光感度特性を有するマルチスペクトル画像撮影装置を、結像光学系10と、上記結像光学系10による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面402a,402bに再び結像させる分岐光学系20と、上記分割結像面402a,402bに結像位置を持つ単板カラー撮像素子301を含むカメラ部30とにより構成する。
【選択図】 図1

Description

本発明は、4バンド以上の異なる分光感度特性を有するマルチスペクトル画像撮影装置に、及び、そのようなマルチスペクトル画像撮影装置を構成するために結像光学系とカラー画像を撮影できる撮像系を備えるカメラ部との中間に挿入して用いられるアダプタレンズに関する。
近年、被写体の忠実な色再現を行なうために、4バンド以上の画像撮影が可能なマルチスペクトル画像撮影装置を用いて被写体のより詳細な分光情報を画像として取得・記録する方法が提案されている。
4バンド以上の画像撮影装置は、例えば特許文献1乃至4などに開示されている。
特許文献1には、複数の光学バンドパスフィルタを円周上に並べた回転フィルタを用いて時分割でマルチバンド撮影する装置が開示されている。
また、特許文献2には、分光波長帯域を多分割するフィルタを用いて簡易にマルチバンド撮影する装置が開示されている。
そして、特許文献3や特許文献4には、同時に多バンドの撮影が可能なマルチスペクトルカメラの構成が開示されている。
特開平9−172649号公報 特開2002−296114号公報 特開2003−23643号公報 特開2003−87806号公報
上記特許文献1に開示されている方式では、フィルタの回転に同期して面順次で各バンドの撮影を行うため、1枚のマルチバンド画像を撮影するためには、一定時間を要し、動きのある被写体の撮影には不向きである。
また、上記特許文献2に開示されている方式においては、フィルタを交換するという作業が必要であり、これを自動化するためには、マルチスペクトル撮影専用のシステムが必要である。
そして、上記特許文献3や上記特許文献4においては、マルチバンド撮影専用のカメラであり、従来のRGBの3バンドカメラと比較すると感度や解像度を犠牲にした撮影しか行うことができないという課題がある。
本発明は、上記の点に鑑みてなされたもので、従来のRGBによるカラー画像システムを用いて容易に構成することができるマルチバンド撮影装置及びそのためのアダプタレンズを提供することを目的とする。
本発明のマルチスペクトル画像撮影装置の一態様は、4バンド以上の異なる分光感度特性を有するマルチスペクトル画像撮影装置において、
結像光学系と、
上記結像光学系による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面に再び結像させる分岐光学系と、
上記分割結像面に結像位置を持つカラー画像撮像手段を含むカメラ部と、
を具備することを特徴とする。
また、本発明のアダプタレンズの一態様は、結像光学系と、カラー画像を撮影できる撮像系を備えるカメラ部との中間に挿入して用いるアダプタレンズにおいて、
上記結像光学系による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面に再び結像させる分岐光学系を持ち、
分岐した複数の光束に対して光学フィルタが装着されており、
該光学フィルタのうち少なくとも1つの特性は上記カメラ部に備えられたカラー画像を撮影できる撮像系の各原色の分光感度特性を波長領域において分割するような櫛形特性であることを特徴とする。
本発明によれば、通常のRGBカメラの撮影光学系の光路中に着脱可能な光路分岐部を挿入しマルチバンド撮影を可能としたマルチスペクトル画像撮影装置及びそのためのアダプタレンズを提供することができる。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
[第1実施形態]
図1(A)は、本発明の第1実施形態に係るマルチスペクトル画像撮影装置の構成を示す図である。
本実施形態に係るマルチスペクトル画像撮影装置は、結像光学系10と、この結像光学系10による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面に再び結像させる分岐光学系20と、上記分割結像面に結像位置を持つ単板カラー撮像素子301を含むカメラ部30と、から構成されている。即ち、図示しない被写体からの光が結像光学系10及び分岐光学系20を通してカメラ部30の単板カラー撮像素子301に結像される。
ここで、上記分岐光学系20の一例を図1(B)に示し、その働きを説明する。即ち、上記分岐光学系20は、コリメートレンズ201、ミラー202a,202b、折り返しミラー203a,203b、結像レンズ204から構成される。同図に図示しない結像光学系10によって一次結像面401に被写体像が結像していると、その像はコリメートレンズ201により平行光となり、ミラー202a,ミラー202bによって2つの平行光束に分割される。この分割された光束はそれぞれ折り返しミラー203a、折り返しミラー203bによって折り返され、フィルタ装着部205a,205bを通り結像レンズ204によって分割結像面402a、分割結像面402bに結像する。フィルタ装着部205a,205bに何もなければ、分割結像面402a、分割結像面402bには同じ像が結像することになる。マスク206a,206bは、分岐した光路のそれぞれの像が結像面において重なり合うことを防ぐために用いられる。
本実施の形態においては、図1(A)に示した単板カラー撮像素子301が、図1(B)の分割結像面402a,402bに位置するよう構成されている。
また、図1(A)に示すように、フィルタ装着部205a,205bにはそれぞれフィルタ207a,フィルタ207bが装着されている。従って、単板カラー撮像素子301の上半分には、フィルタ207aを通過した像が結像し、下半分にはフィルタ207bを通過した像が結像する。
このとき用いるフィルタ207a,207bは、図2(A)及び(B)に示すような櫛型形状の分光透過率を有するバンドパスフィルタである。ここで、カラー撮像素子として、各画素にRGBのカラーフィルタがベイヤ配列状に配置された単板カラー撮像素子301を使用しており、各々のRGBフィルタにおける分光透過率は、図3に示すような分光形状を持つ。これに対して、フィルタ207a,207bとしてのバンドパスフィルタは、前述のような櫛型形状の分光透過率を有しており、図3に示すRGBの波長帯域のそれぞれ約半分の帯域の光を通すようなものとなっている。従って、図4に示すように、単板カラー撮像素子301から読み出された画像信号を上下半分に分け、合成することで、6バンドのカラー画像撮影が実現できる。図1(C)に、上記6バンドの分光感度特性を示す。6バンドの合成は、カメラ部30の内部の図示しないプロセッサで行っても良いし、撮影された画像データをパーソナルコンピュータ等に転送してソフトウェア処理で行うようにしても良い。
これにより、図5に示すようなレンズマウント302により結像光学系10とカメラ部30とが分離できるタイプの一般的なカラーカメラシステム、例えば一眼レフレックスカメラや、レンズ交換式のTVカメラ、デジタルカメラ等において、フィルタ207a,フィルタ207bを搭載した分岐光学系20を、アダプタレンズとして、結像光学系10とカメラ部30との間に結合することで、容易に6バンド化することができる。
なお、本実施形態では、赤外カットフィルタを用いていないが、これにより赤のより長波長の画像データを取得することができる。この波長は、種々の観察において有効な波長領域である。しかしながら、可視光のみで十分な用途に応じて、赤外カットフィルタを用いる等の処置を講ずることはことは、本発明の意図を逸脱するものではない。
また、本実施形態においては、単板カラー撮像素子301として、RGBの3色のカラーフィルタアレイを持つ単板カラー撮像素子を例に取ったが、3色に限定されるものではなく、4色あるいはそれ以上の色のカラーフィルタアレイを持つ撮像素子でも良い。ここで、4色のカラーフィルタアレイの場合のマルチバンド撮影の原理について、図6(A)乃至(F)を用いて説明する。図6(A)は4色カラーフィルタアレイの各色に対応した画素の分光感度を示した図である。このようなカラー撮像素子を用いる場合のフィルタ207a及びフィルタ207bの波長透過特性を図6(B)及び(C)に示す。これらの特性を図6(A)の分光感度特性と掛け合わせたものを図6(D)及び(E)に示す。各4バンドずつの画像データを取得することができ、合わせて図6(F)に示すような8バンドの画像データを取得することが可能なマルチスペクトル撮像装置を構成することができる。
また、カラー化のための撮像素子の構造はカラーフィルタアレイに限定されるものではなく、3板式あるいは4板式のカラー撮像ユニットを用いても良いことは勿論である。
[第1実施形態の変形例1]
図7及び図8を参照して、第1実施形態の変形例を説明する。
レンズマウント302を持つカメラシステムにおいては、図7に示すように、結像光学系10’内部に絞りやフォーカス等を制御するためのレンズ制御部101を持ち、カメラ部30’側と該レンズ制御部101との通信を行うための端子(レンズ側端子102、カメラ側端子303)を備えるものがある。これらは、結像光学系10’とカメラ部30’との間に分岐光学系20を装着すると、カメラ部30’側でレンズ未装着と判定されてしまい、正常動作しなかったり、場合によっては全く動作しないことがある。
そこで、図8に示すように、そのようなカメラシステムに対応できるように、分岐光学系も、同様の端子(レンズ側中継端子208、カメラ側中継端子209)を設けた分岐光学系20’とする。このような構成の分岐光学系20’であれば、結像光学系10’とカメラ部30’との間に装着することによりカメラ側端子303とレンズ側端子102とを電気的に接続することができ、カメラ部30’を正常に動作させることができる。
また、分岐光学系20’内部に、カメラ側中継端子209に電気的に接続可能な情報記憶部210を更に設けても良い。これにより、カメラ部30’側のプロセッサ304に、分岐光学系20’が装着されていることを認識させ、単板カラー撮像素子301からの信号処理を、通常撮影のための処理からマルチバンド撮影のための処理に切り替えることができる。ここで、情報記憶部210に記録される情報としては、分岐光学系20’の型番、装着されているフィルタ207a,207bの種類や特性、接続されるカメラ部30’の単板カラー撮像素子301の分光感度特性、絞り及びフォーカス位置に関する情報が含まれる。なお、この情報記憶部210は、電気的なスイッチや半導体メモリによって構成される。
また、カメラ部30’は、プロセッサ304で処理された画像出力、情報記憶部210に記憶されている諸情報等を外部に出力する外部出力端子を有していても良い。
[第1実施形態の変形例2]
次に、図9を参照して、第1実施形態の別の変形例を説明する。
図9に示すように、分岐光学系20’内部にて分岐された一方のフィルタ装着部(例えばフィルタ装着部205b)にはフィルタを入れずに、もう一方のフィルタ装着部(例えばフィルタ装着部205a)にのみフィルタ(この場合はフィルタ207a)を装着する。ここで用いるフィルタ207aは、図2(A)に示す特性を持つフィルタとする。これにより、同じ6バンドであっても、狭帯域のR1,G1,B1と広帯域のR2,G2,B2という構成になり、光の利用効率が良くなるので合成される再現画像のSNRが向上する。
また、カメラ部30”は、液晶画面305を備え、単板カラー撮像素子301からの信号をプロセッサ304を通して表示可能な信号に変換し、リアルタイムで表示することができる。これにより、単板カラー撮像素子301が現在捉えている被写体の画像を確認できるので、フォーカスや画角、露出等の調整を行うことができる。
即ち、カメラ部30”のプロセッサ304は、分岐光学系20’が接続されていない場合には、通常のカメラモードで動作して、単板カラー撮像素子301から得られる画像データ全体をそのままカラー画像として出力画像を形成し、液晶画面305に表示できるデータ形式に変換して、液晶画面305に出力する。
これに対して、分岐光学系20’が接続されている場合には、プロセッサ304は、その情報記憶部210に記録されている情報を読み出して、フィルタ装着部205bにフィルタが装着されていないことを認識し、単板カラー撮像素子301の対応する分割された結像位置(この場合は分割結像面402b)のみから画像データを読み出して出力画像を形成し、液晶画面305に表示できるデータ形式に変換して、液晶画面305に出力する。これにより、通常のカメラモードと同じように位置決め等を行うことができる。
また、液晶画面305には、現在、分岐光学系20’が接続されていることを表示する。これは、文字として表示しても良いし、分かり易い図形を用いて表示を行っても良い。図10(A)及び(B)に、これらの情報表示の様子を図示する。即ち、図10(A)は文字表示とした場合であり、接続されている分岐光学系種類の表示部305Aに「2分岐」を表示している。図10(B)は、これらを図形表示した場合である。これらの情報は、単板カラー撮像素子301で捉えた被写体の画像に相当する出力画像データにスーパーインポーズ表示することで実現する。
さらに、分岐光学系20’に装着されているフィルタ種類についても、液晶画面305上に表示を行うようにしても良い。即ち、図10(A)は、フィルタ1に装着されているフィルタ種類の表示部305Bに「1無」を表示し、フィルタ2に装着されているフィルタ種類の表示部305Cに「2BPF」を表示している。図10(B)は、これらを図形表示した場合である。
なお、ここでは、フィルタ装着部205bにはフィルタを入れない例を示したが、分岐された他方の光路と光路長を合わせるためのガラス板等を装着しても良い。
[第2実施形態]
上記第1実施形態は2分岐であるが、同様の構成で4分岐光学系20’を構成することが可能である。本発明の第2実施形態として、4分岐光学系20’を使用する例を説明する。
図11(A)は、4分岐光学系20”を用いた本実施形態に係るマルチスペクトル画像撮影装置の構成を示す図である。また、図11(B)は、フィルタ装着部205をやや光軸寄りから見た場合の概略図である。破線の楕円で示したフィルタ装着部205の部分は、図11(B)に示すように、4分岐した光路のそれぞれに対応する位置にフィルタが装着できるような構成である。分岐された光路をそれぞれa,b,c,dとし、対応するフィルタをフィルタ207a,フィルタ207b,フィルタ207c,フィルタ207dと、また、対応する単板カラー撮像素子301上の結像位置をそれぞれ結像面a,結像面b,結像面c,結像面dとする。
フィルタ207a及びフィルタ207bは、図1(A)で用いた物と同じ物を用いる。フィルタ207cは素通しのガラス板、フィルタ207dは透過率5%のNDフィルタを用いる。結像光学系10’を通った光束は、分岐光学系20”で4つに分岐され、フィルタ207a,フィルタ207b,フィルタ207c,フィルタ207dをそれぞれ通って、結像面a,結像面b,結像面c,結像面dにそれぞれ結像する。
カメラ部30”は、液晶画面305を備え、単板カラー撮像素子301からの信号をプロセッサ304を通して表示可能な信号に変換し、リアルタイムで表示することができる。これにより、単板カラー撮像素子301が現在捉えている被写体の画像を確認できるので、フォーカスや画角、露出等の調整を行うことができる。即ち、カメラ部30”のプロセッサ304は、分岐光学系20”が接続されている場合、その情報記憶部210に記録されている情報を読み出して、フィルタ207cが素通しのフィルタであることを認識し、単板カラー撮像素子301のフィルタ207cに対応する分割された結像位置である結像面cの画像データを読み出して、液晶画面305に表示する。これにより、通常のカメラモードと同じように位置決め等を行うことができる。
図12は、単板カラー撮像素子301から得られる各結像面の画像の様子を表す図である。上記第1実施形態と同様に、結像面aの画像と結像面bの画像とを合成することにより、図1(C)に示した6バンドのマルチスペクトル画像を得ることができる。
また、結像面cには、フィルタ207c(素通しのガラス板)を通過した画像が得られるため、先の6バンドと図3に示した3バンドの特性とを合わせた9バンドの画像データとして扱うことができる。
さらに、結像面dでは、透過率5%のNDフィルタを通過した光が結像するため、結像面cでハレーションを起こしてしまうような非常に明るい部分が画面中に含まれる場合でも、白飛びしない画像データが得られる。これを、先の9バンドを合成処理して得られた再現画像における白飛びした部分を補うように合成することで、画面中に明るい部分が有っても白飛びしないカラー画像を得ることができる。
なお、ここではNDフィルタのみを使用したが、先のフィルタ207a,207bに用いた櫛形バンドパスフィルタとNDフィルタとを組み合わせて用いても良い。例えば、フィルタ207a,207bは同じ構成として、フィルタ207cとして、フィルタ207aに用いた櫛形フィルタとNDフィルタを併用、フィルタ207dとしてフィルタ207bに用いた櫛形バンドパスフィルタとNDフィルタを併用するという構成にして、フィルタ207aとフィルタ207cの画像を合成、フィルタ207bとフィルタ207dの画像を合成することで、白飛びの無い6バンドのマルチスペクトル画像を得ることができる。
なお、NDフィルタの入った画像とNDフィルタの入っていない画像の合成手法については、NDフィルタの入っていない画像のハレーション部分にNDフィルタの入った画像を合成したり、NDフィルタの透過率に対応して信号値に係数を掛けて足し合わせることによって合成するといったような、一般的な合成手法を用いることができる。NDフィルタの透過率については5%に限定されるものではなく、用途に最適な透過率のものを用いて構成しても良い。
また、本実施形態では、フィルタ207cとして素通しのガラス板を用いているが、これは波長のフィルタリング特性を持たないということを意味しており、ここに何も挿入しない構成としても同様の効果を得ることができる。
[第2実施形態の変形例]
本第2実施形態の変形例を、引き続き図11(A)及び(B)を参照して説明する。
本変形例では、フィルタ装着部205に装着する各フィルタ207a〜207dを、撮影対象や用途に応じてユーザが交換可能であることを特徴とする。交換したフィルタの情報は、情報記憶部210にユーザがフィルタのモードとして記録することができる。カメラのプロセッサ304では、このモード情報を基に、色再現処理を行う。これにより、用途毎に、より正確な色再現処理を行うことが可能となる。
なお、図11(A)では、情報記憶部210は分岐光学系20”内部に構成しているが、カメラ部30”あるいは結像光学系10’内部に持つように構成しても良い。
[第3実施形態]
図13(A)は、4分岐光学系20'''を用いた本発明の第3実施形態に係るマルチスペクトル画像撮影装置の構成を示す図である。
破線の楕円で示したフィルタ装着部205の部分は、図11(A)及び(B)と同様に、図13(B)のように4分岐した光路のそれぞれに対応する位置にフィルタが装着できるような構成である。分岐された光路をそれぞれa,b,c,dとし、対応するフィルタをフィルタ207a,フィルタ207b,フィルタ207c,フィルタ207dと、また、対応する単板カラー撮像素子301上の結像位置をそれぞれ結像面a,結像面b,結像面c,結像面dとする。なお、本実施形態では、フィルタ207a及びフィルタ207bには何も装着しないものとし、フィルタ207cには図2(A)に示すような特性を持つ櫛形バンドパスフィルタを用い、フィルタ207dには透過率5%のNDフィルタを用いる。
また、本実施形態に用いる4分岐光学系20'''は、図13(A)に示すように、ミラーの角度を微調整して固定することができるミラー調整部211を持つ。本実施形態では、このミラー調整部211として、フィルタ207bを通過する光束の角度を微調整可能なミラー調整部211を持つものとする。これにより、結像面b上におけるフィルタ207bを通過した画像の位置を微調整することができる。このミラー調整部211を用いて、被写体の像の位置と単板カラー撮像素子301の画素の相対的な位置が、フィルタ207bを通過したものに対して1/2画素ピッチ分だけ上下左右にずれた位置となるようミラーの角度を微調整しておく。
図14に、各結像面の画素位置と被写体像の位置の相対関係を示す。結像面bの被写体像は、結像面aの被写体像に対して、上に1/2画素ピッチ、左に1/2画素ピッチずれた位置にある。
カメラ部30”のプロセッサ304に構成した画像処理部306は、図15に示すように、幾何変換部306A、信号値補正部306B、広Dレンジ信号処理部306C、色変換処理部306D、解像度変換処理部306E、出力画像合成部306Fとから成り、必要に応じてこれらの処理を組み合わせて所望の出力画像データを得るように予め設定しておくことができるものである。
即ち、単板カラー撮像素子301からの画像データは、結像光学系10’及び分岐光学系20'''によって発生した被写体の歪みとシェーディングを、画像処理部306の幾何変換部306A及び信号値補正部306Bにおいて各結像面毎に補正処理される。これにより、歪みとシェーディングの無い被写体像のデータが得られる。フィルタ207b及びフィルタ207cを通過した画像データからは、6バンドのマルチスペクトル画像データを得ることができる。これを、画像処理部306の色変換処理部306Dにて所定アルゴリズムによる色変換処理を行うことで、被写体の正確な色情報を得ることができる。さらに、フィルタ207dを通過した画像データと先の6バンド画像データとを組み合わせて処理することで、白飛びの無い画像データが得られる。フィルタ207aを通過した画像データとフィルタ207bを通過した画像データとは、図14に示すように、互いに1/2画素ピッチずれているので、これを画像処理部306の解像度変換処理部306Eにて合成することで、高解像度の画像データに変換処理する。このようにすることにより、高解像度で白飛びのない正確な色再現がなされた画像データを得ることができる。
なお、色変換を行う際の情報、例えば分岐光学系20'''の分光特性データや再現照明光データ、等色関数データ、被写体の特性データ等は、情報記憶部210に記憶させておき、必要に応じて情報記憶部210から読み出して演算に用いるようにしても良い。
また、本実施形態では、画像処理部306をカメラ部30”内部に搭載したが、カメラ部30”の図示しない外部出力端子から出力された画像信号をパーソナルコンピュータ等の電子計算機に取り込み、電子計算機上のプログラムによってこれらの処理を行わせるシステムとして構成しても良い。
[第4実施形態]
図16(A)は、4分岐光学系20''''を用いた本発明の第4実施形態に係るマルチスペクトル画像撮影装置の構成を示す図である。
破線の楕円で示したフィルタ装着部205の部分は、図11(A)及び(B)と同様に、図16(B)のように4分岐した光路のそれぞれに対応する位置にフィルタが挿入できるような構成である。分岐された光路をそれぞれa,b,c,dとし、対応するフィルタをフィルタ207a,フィルタ207b,フィルタ207c,フィルタ207dと、また、対応する単板カラー撮像素子301上の結像位置をそれぞれ結像面a,結像面b,結像面c,結像面dとする。
なお、本実施形態では、フィルタ207a〜207dとして、それぞれ電気信号により異なる複数の透過波長特性を切り替ることが可能な波長チューナブルフィルタa〜dを装着する。これらの波長チューナブルフィルタは、電気信号により、図2(A)及び(B)に示すような特性や、透過率5%のNDフィルタの特性に切り替えることができる。これら4つのチューナブルフィルタは、フィルタ制御部212に接続され、該フィルタ制御部212は、分岐光学系20''''のカメラ側中継端子209とカメラ部30”のカメラ側端子303とを介して、カメラ部30”のプロセッサ304に接続されている。
さらに、本実施形態では、フィルタ特性の設定とプロセッサ304での処理モードとを、ユーザが選択して設定できるモード選択部213が設けられている。このモード選択部213も、分岐光学系20''''のカメラ側中継端子209とカメラ部30”のカメラ側端子303とを介して、カメラ部30”のプロセッサ304に接続されている。
そしてさらに、分岐光学系20''''の折り返しミラーには、電気信号により当該折り返しミラーの角度を微調整できるミラー駆動制御部214が設けられている。このミラー駆動制御部214も、分岐光学系20''''のカメラ側中継端子209とカメラ部30”のカメラ側端子303とを介して、カメラ部30”のプロセッサ304に接続されている。なお、図16(A)では、紙面の都合上、ミラー駆動制御部214が1つしか示されていないが、ミラー駆動制御部214はフィルタ207a〜207dに対応して4つ設けられている。これらをミラー駆動制御部a、ミラー駆動制御部b、ミラー駆動制御部c、ミラー駆動制御部dと記す。
またさらに、分岐光学系20''''には、外部センサを接続可能な外部センサ端子215が設けられている。この外部センサ端子215も、分岐光学系20''''のカメラ側中継端子209とカメラ部30”のカメラ側端子303とを介して、カメラ部30”のプロセッサ304に接続されている。
また、液晶画面305は、4色のLEDを光源とする面順次方式のLCDパネルを使用した高色域液晶画面としている。この高色域液晶画面は、3原色のものよりも色の再現範囲が広いもので、3原色ディスプレイで正確に表示できない鮮やかな色を表示することができる。
このような構成の本実施形態に係るマルチスペクトル画像撮影装置は、ユーザの設定する動作モードによって異なる動作をする。動作モードとしては、解像度優先モード、ダイナミックレンジ優先モード、色再現性優先モードの3つがあり、ユーザはこれらのモードをモード選択部213を操作することで選択することができる。以下、各モード毎に動作を説明する。
まず、解像度優先モードについて説明する。カメラ部30”のプロセッサ304は、モード選択部213で解像度優先モードが選択されたことを認識すると、液晶画面305上に「解像度優先モード」であることを表示する。これは、文字として表示しても、分かり易い図形を用いて表示を行っても良い。この様子を図17(A)及び(B)に示す。図17(A)は、撮影モードを文字として表示した場合であり、撮影モードの表示部305Dに「解像度優先」という文字を表示している。図17(B)は図形あるいは簡略化した記号で表示した場合の例を示してある。
この解像度優先モードでは、プロセッサ304は、まず、フィルタ制御部212に制御信号を送り、波長チューナブルフィルタa,波長チューナブルフィルタb,波長チューナブルフィルタc,及び波長チューナブルフィルタdをそれぞれNDフィルタの透過率最大に設定する。
次に、ミラー駆動制御部214(ミラー駆動制御部a,ミラー駆動制御部b,及びミラー駆動制御部c)に制御信号を送り、折り返しミラーの角度を調整させる。即ち、ミラー駆動制御部aには、フィルタ207dを通過した被写体像と画素の位置関係に対して右に1/2画素ピッチ、上に1/2画素ピッチずれた位置に結像するよう、折り返しミラー203aの角度を調整させる。ミラー駆動制御部bには、フィルタ207dを通過した被写体像と画素の位置関係に対して左に1/2画素ピッチ、上に1/2画素ピッチずれた位置に結像するよう、折り返しミラー203bの角度を調整させる。ミラー駆動制御部cには、フィルタ207dを通過した被写体像と画素の位置関係に対して上に1画素ピッチずれた位置に結像するよう、折り返しミラーc(図示せず)の角度を調整させる。
この様子を、図18(A)乃至(D)を用いて説明する。RGBのカラーフィルタアレイの配列を図18(A)に示す。このうち、解像度に大きく寄与するのがG画素であるので、ここではG画素について注目する。図18(B)にG画素のみ取り出した配置を示す。被写体の画像と各画素の相対的な位置関係を先に述べたように折り返しミラーを調整したため、被写体像位置を合わせるためには先に述べたずれの方向と逆向きに画素位置を動かして合成すれば良い。フィルタ207aとフィルタ207dの画素の位置関係は、被写体が右上に1/2画素ピッチずらしてあるので、図18(C)に示すように、フィルタ207aの画素をフィルタ207dの画素に対して1/2画素ピッチ左下に移動する。同様に、フィルタ207bの画素はフィルタ207dの画素に対して1/2画素ピッチ右下に、フィルタ207cの画素はフィルタ207dの画素に対して1画素ピッチ下に移動する。このようにして画素をそれぞれ移動して合成することにより、図18(D)に示すような画素ピッチでの解像度を得ることができる。
なお、この解像度優先モードから他のモードに切り替えられた時には、プロセッサ304は、ミラー駆動制御部214に各折り返しミラーを元の位置に戻すよう制御信号を送る。
このようにして、解像度優先モードの場合は、解像度を大幅に改善することができる。
次に、ダイナミックレンジ優先モードでの動作を説明する。カメラ部30”のプロセッサ304は、モード選択部213でダイナミックレンジ優先モードが選択されたことを認識すると、液晶画面305上に「ダイナミックレンジ優先モード」であることを表示する。これは文字として表示しても良いし、分かり易い図形を用いて表示を行っても良い。この様子を図17(C)及び(D)に示す。図17(C)は撮影モードを文字として表示した場合であり、撮影モードの表示部305Dに「DR優先」という文字を表示している。図17(D)は、図形あるいは簡略化した記号で表示した場合の例を示してある。
このダイナミックレンジ優先モードでは、プロセッサ304は、まず、フィルタ制御部212に制御信号を送り、フィルタ207a(波長チューナブルフィルタa)を透過率100%(最大透過率)のNDフィルタに、フィルタ207b(波長チューナブルフィルタb)を透過率10%のNDフィルタに、フィルタ207c(波長チューナブルフィルタc)を透過率1%のNDフィルタに、フィルタ207d(波長チューナブルフィルタd)を透過率0.1%のNDフィルタにそれぞれ設定する。そして、該プロセッサ304内の画像処理部306により、フィルタ207bを通過した画像データに対しては係数を掛けて信号値を10倍に、フィルタ207cを通過した画像データに対しては係数を掛けて信号値を100倍に、フィルタ207dを通過した画像データに対しては係数を掛けて信号値を1000倍にして、それぞれを合成するというような処理を行うことで、ダイナミックレンジを大幅に改善することができる。
次に、色再現性優先モードについて説明する。カメラ部30”のプロセッサ304は、モード選択部213で色再現性優先モードが選択されたことを認識すると、液晶画面305上に「色再現性優先モード」であることを表示する。これは文字として表示しても、分かり易い図形を用いて表示を行っても良い。この様子を図17(E)及び(F)に示す。図17(E)は、撮影モードを文字として表示した場合であり、撮影モードの表示部305Dに「色再現優先」という文字を表示している。図17(F)は図形あるいは簡略化した記号で表示した場合の例を示してある。
この色再現性優先モードでは、プロセッサ304は、まず、フィルタ制御部212に制御信号を送り、フィルタ207a(波長チューナブルフィルタa)を図19(A)に示すような櫛形の波長特性に、フィルタ207b(波長チューナブルフィルタb)は図19(B)、フィルタ207c(波長チューナブルフィルタc)は図19(C)、フィルタ207d(波長チューナブルフィルタd)は図19(D)にそれぞれ示した波長透過特性に設定する。
また、外部センサ端子215には照明検出センサ50が電気的に接続される。用いる照明検出センサ50は、照明光の照度、色温度、スペクトルなどの検出を行うことができる物である。
プロセッサ304内の画像処理部306は、図15に示すように色変換処理部306Dを含み、該色変換処理部306Dは特に図示はしていないが、上記照明検出センサ50からのデータを記憶する照明データ記憶部を持っている。また、該色変換処理部306Dは、表示系のデバイスプロファイルを複数記憶する表示デバイス特性記憶部(図示せず)を持ち、色再現画像を表示する外部モニタのプロファイルやカメラ部30”に装着されている液晶画面305としての高色域液晶画面のプロファイルが記憶されている。
この色再現性優先モードでは、フィルタ207a〜207dの各フィルタは、前述のような波長透過特性に設定されているので、図19(E)に示す単板カラー撮像素子301の元の感度特性に各フィルタの特性がかかり、フィルタ207a〜207dの各フィルタを通過した画像データの各バンドに対応する分光感度は、図19(F)乃至(I)に示す分光感度を持つ。そして、これらの特性で同時に撮影が行われるので、図19(J)に示す分光感度を持つ12バンドのマルチスペクトル画像撮影装置を構成できる。
これら12バンドのデータと、色変換処理部306D内の図示しない照明データ記憶部に記憶されている撮影時の照明光のデータと、同じく色変換処理部306D内の図示しない表示デバイス特性記憶部に記憶されている広色域液晶画面のプロファイルとを基に、色変換処理部306D内では色変換処理を行い、高色域液晶画面である液晶画面305に表示することで、実物の色を正確に液晶画面305上に表示することができる。
なお、色変換処理としては、上記特許文献1に開示されているような方法を用いることにより正確な色再現画像を得ることができる。また、4原色の高色域液晶画面へ出力する信号への変換処理は、特開2000−253263号公報に記載されている手法を用いることができる。
なお、図16(A)では、外部センサ端子215は分岐光学系20''''に備えられているが、カメラ部30”あるいは結像光学系10’に設けるように構成しても良い。また、照明検出センサ50が接続されていない場合は、色変換処理部306Dに予め設定されている照明条件を照明検出センサ50からの情報と同様に扱うことで色再現処理を行うことができる。また、外部モニタに表示するための色変換処理の際には、色変換処理部306D内の図示しない表示デバイス特性記憶部に記憶されている外部モニタのプロファイルのうちから該当するモニタのプロファイルを選択して色変換処理を行うことで、より正確な色再現画像の表示が可能である。ここでは、色域のうちのより広い範囲の色を表示できるように4原色のLEDを用いた高色域液晶画面を用いたが、撮影対象となる被写体の色が色域の中の比較的狭い範囲に分布しているような場合は3原色の液晶画面を用いても正確な色を再現することができる。
以上、3つのモードについて動作を説明したが、動作モードについては上記3つに限定されるものではなく、解像度とダイナミックレンジを優先するとか、解像度とダイナミックレンジと色再現性のそれぞれに重み係数を設定して処理を複合的に行うようにしても良い。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、分岐光学系20,20’,20”,20''',20''''を、結像光学系10,10’とカメラ部30,30’,30”との間に装脱可能なものとして説明したが、分岐光学系20,20’,20”,20''',20''''と結像光学系10,10’とを一体的に構成し、カメラ部30,30’,30”に対して装脱可能な形態としても良いし、分岐光学系20,20’,20”,20''',20''''とカメラ部30,30’,30”とを一体的に構成し、結像光学系10,10’に対して装脱可能な形態としても良い。また、結像光学系10,10’、分岐光学系20,20’,20”,20''',20''''、及びカメラ部30,30’,30”を一体的な構成としても良い。
(A)は本発明の第1実施形態に係るマルチスペクトル画像撮影装置の構成を示す図、(B)は第1実施形態に係るマルチスペクトル画像撮影装置に使用する分岐光学系の一例を示す図であり、(C)は第1実施形態に係るマルチスペクトル画像撮影装置において得られる各バンドの分光感度特性を示す図である。 (A)及び(B)はそれぞれ第1実施形態に係るマルチスペクトル画像撮影装置に使用するバンドパスフィルタの分光透過率特性を示す図である。 第1実施形態に係るマルチスペクトル画像撮影装置に使用する単板カラー撮像素子の分光感度特性を示す図である。 第1実施形態における画像合成の原理を示す図である。 本発明の実施形態を実施することができるカメラシステムを示す図である。 第1実施形態において4色撮像素子を用いた場合の撮影原理を説明するための図である。 第1実施形態の変形例1を実施することができるカメラシステムの一例を示す図である。 第1実施形態の変形例1に係るマルチスペクトル画像撮影装置の構成を示す図である。 第1実施形態の変形例2に係るマルチスペクトル画像撮影装置の構成を示す図である。 (A)及び(B)はそれぞれ第1実施形態の変形例2における液晶画面の表示例を示す図である。 (A)は本発明の第2実施形態に係るマルチスペクトル画像撮影装置の構成を示す図であり、(B)はフィルタ装着部をやや光軸寄りから見た場合の概略図である。 第2実施形態における画像合成の原理を説明するための図である。 (A)は本発明の第3実施形態に係るマルチスペクトル画像撮影装置の構成を示す図であり、(B)はフィルタ装着部をやや光軸寄りから見た場合の概略図である。 第3実施形態における解像度処理の原理を説明するための図である。 第3実施形態における画像処理部の構成例を示す図である。 (A)は本発明の第4実施形態に係るマルチスペクトル画像撮影装置の構成を示す図であり、(B)はフィルタ装着部をやや光軸寄りから見た場合の概略図である。 (A)乃至(F)はそれぞれ第4実施形態における液晶画面の表示例を示す図である。 第4実施形態の解像度優先モードにおける処理の原理を説明するための図である。 第4実施形態の色再現優先モードにおける撮影の原理を説明するための図である。
符号の説明
10,10’…結像光学系、 20,20’,20”,20''',20''''…分岐光学系、 30,30’,30”…カメラ部、 50…照明検出センサ、 101…レンズ制御部、 102…レンズ側端子、 201…コリメートレンズ、 202a,202b…ミラー、 203a,203b…折り返しミラー、 204…結像レンズ、 205,205a,205b…フィルタ装着部、 206a,206b…マスク、 207a〜207d…各フィルタ、 208…レンズ側中継端子、 209…カメラ側中継端子、 210…情報記憶部、 211…ミラー調整部、 212…フィルタ制御部、 213…モード選択部、 214…ミラー駆動制御部、 215…外部センサ端子、 301…単板カラー撮像素子、 302…レンズマウント、 303…カメラ側端子、 304…プロセッサ、 305…液晶画面、 305A…接続されている分岐光学系種類の表示部、 305B…フィルタ1に装着されているフィルタ種類の表示部、 305C…フィルタ2に装着されているフィルタ種類の表示部、 305D…撮影モードの表示部、 306…画像処理部、 306A…幾何変換部、 306B…信号値補正部、 306C…広Dレンジ信号処理部、 306D…色変換処理部、 306E…解像度変換処理部、 401…一次結像面、 402a,402b…分割結像面。

Claims (41)

  1. 4バンド以上の異なる分光感度特性を有するマルチスペクトル画像撮影装置において、
    結像光学系と、
    上記結像光学系による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面に再び結像させる分岐光学系と、
    上記分割結像面に結像位置を持つカラー画像撮像手段を含むカメラ部と、
    を具備することを特徴とするマルチスペクトル画像撮影装置。
  2. 上記分岐光学系は、分岐した複数の光束に対して光学フィルタが装着されていることを特徴とする請求項1に記載のマルチスペクトル画像撮影装置。
  3. 上記カラー画像撮像手段は、単板カラー撮像素子を持つことを特徴とする請求項1に記載のマルチスペクトル画像撮影装置。
  4. 上記カラー画像撮像手段は、複数のモノクロ撮像素子と光学フィルタとを組み合わせた撮像部を持つことを特徴とする請求項1に記載のマルチスペクトル画像撮影装置。
  5. 上記結像光学系は、上記カメラ部に取り付けるためのレンズマウント部を備え、
    上記カメラ部は、上記結像光学系を直接装着することができる第1のマウント固定部を備え、
    上記分岐光学系は、上記レンズマウント部と同形状の分岐光学系マウント部と、上記第1のマウント固定部と同形状の第2のマウント固定部とを備え、
    上記結像光学系のレンズマウント部を上記分岐光学系の第2のマウント固定部に、上記分岐光学系の分岐光学系マウント部を上記カメラ部の第1のマウント固定部にそれぞれ装着して用いることができることを特徴とする請求項1に記載のマルチスペクトル画像撮影装置。
  6. 上記結像光学系のレンズマウント部は、上記結像光学系に関する情報を上記カメラ部へ通信するための第1の通信端子を持ち、
    上記カメラ部の第1のマウント固定部は、通信端子に電気的に結像する第2の通信端子を持ち、
    上記分岐光学系の上記第2のマウント固定部及び分岐光学系マウント部はそれぞれ上記第1の通信端子及び上記第2の通信端子に対応した第1の通信中継端子及び第2の通信中継端子を備え、
    上記結像光学系のレンズマウント部を上記分岐光学系の第2のマウント固定部に、上記分岐光学系の分岐光学系マウント部を上記カメラ部の第1のマウント固定部にそれぞれ装着したときに、上記結像光学系と上記カメラ部との間で上記結像光学系に関する情報及び制御信号の通信ができることを特徴とする請求項5に記載のマルチスペクトル画像撮影装置。
  7. 上記光学フィルタとして、櫛形の波長透過特性を持つ光学バンドパスフィルタを用いることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  8. 上記光学フィルタとして、NDフィルタを用いることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  9. 上記光学フィルタとして、透過波長特性を電気的に制御可能な波長チューナブルフィルタを用いることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  10. 上記光学フィルタとして、櫛形の波長透過特性を持つ光学バンドパスフィルタ、NDフィルタ、透過波長特性を電気的に制御可能な波長チューナブルフィルタのうちの1つ以上を用いることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  11. 上記光学フィルタは、ユーザが交換可能であることを特徴とする請求項10に記載のマルチスペクトル画像撮影装置。
  12. 上記光学フィルタの情報を記憶する情報記憶部を更に具備することを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  13. 上記情報記憶部は、上記カラー画像撮像手段の分光感度特性、上記結像光学系及び分岐光学系の絞り及びフォーカス位置に関する情報をも記憶することを特徴とする請求項12に記載のマルチスペクトル画像撮影装置。
  14. 上記分岐光学系は、分岐した光束を反射するミラーと、上記ミラーの角度を調整可能な反射角度調整部とを持ち、
    上記反射角度調整部によって上記ミラーの角度を調整することにより、上記分割結像面上での像の位置を調整可能なことを特徴とする請求項1に記載のマルチスペクトル画像撮影装置。
  15. 上記反射角度調整部は、電気的信号によって制御可能であることを特徴とする請求項14に記載のマルチスペクトル画像撮影装置。
  16. 上記分岐光学系は、分岐した複数の光束に対して光学フィルタが装着されており、
    上記複数の光学フィルタの情報を記憶すると共に、上記反射角度調整部の状態を記憶する情報記憶部を更に具備することを特徴とする請求項15に記載のマルチスペクトル画像撮影装置。
  17. 上記分岐光学系は、撮影時の照明条件を検出するセンサを接続することのできる端子を備えることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  18. 上記カラー画像撮像手段は、上記撮像素子からの信号値を演算処理する画像処理部を持つことを特徴とする請求項3または4に記載のマルチスペクトル画像撮影装置。
  19. 上記画像処理部は、入力された画像データに対して、幾何変換、シェーディング補正、広ダイナミックレンジ信号処理、色変換処理、解像度変換処理、のうちの1つあるいは複数の処理を組み合わせて施し、出力画像データとして出力することを特徴とする請求項18に記載のマルチスペクトル画像撮影装置。
  20. 上記分岐光学系は、ユーザが操作できる撮影モード設定部を持ち、
    上記画像処理部は、上記撮影モード設定部に設定された撮影モードに基づき、広ダイナミックレンジ信号処理、色変換処理、解像度変換処理、のうちの1つあるいは複数の処理を組み合わせて施し、出力画像データとして出力することを特徴とする請求項19に記載のマルチスペクトル画像撮影装置。
  21. 上記カメラ部は、ファインダとしてカラー液晶モニタを搭載していることを特徴とする請求項2に記載のマルチスペクトル画像撮影装置。
  22. 上記カラー液晶モニタは、3原色のLEDを光源とする面順次式液晶モニタであることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  23. 上記カラー液晶モニタは、4原色以上の複数の色のLEDを光源とする面順次式液晶モニタであることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  24. 上記カラー液晶モニタは、4原色以上の複数の色のLEDを光源とする液晶モニタであることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  25. 上記分岐光学系は、上記複数の光学フィルタの特性と上記反射角度調整部とを個別に制御することができるプロセッサを搭載していることを特徴とする請求項16に記載のマルチスペクトル画像撮影装置。
  26. 上記光学フィルタの情報を記憶する情報記憶部を更に具備し、
    上記カメラ部は、上記情報記憶部の情報を基に上記ファインダとしてのカラー液晶モニタへ表示する画像として、所定の上記光学フィルタを通過した画像データを基に出力画像を形成し、上記カラー液晶モニタに表示することを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  27. 上記カラー液晶モニタには、上記分岐光学系の接続有無及び接続されている分岐光学系種類が表示されることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  28. 上記カラー液晶モニタに、撮影時に用いられるフィルタの情報が表示されることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  29. 上記分岐光学系は、ユーザが操作できる撮影モード設定部を持ち、
    上記カラー液晶モニタに、上記撮影モード設定部によって設定されたモードが表示されることを特徴とする請求項21に記載のマルチスペクトル画像撮影装置。
  30. 結像光学系と、カラー画像を撮影できる撮像系を備えるカメラ部との中間に挿入して用いるアダプタレンズにおいて、
    上記結像光学系による像の光束を複数に分岐し、分岐したそれぞれの光束をそれぞれの分割結像面に再び結像させる分岐光学系を持ち、
    分岐した複数の光束に対して光学フィルタが装着されており、
    該光学フィルタのうち少なくとも1つの特性は上記カメラ部に備えられたカラー画像を撮影できる撮像系の各原色の分光感度特性を波長領域において分割するような櫛形特性であることを特徴とするアダプタレンズ。
  31. 上記カメラ部に取り付けるためのレンズマウント部と、
    上記結像光学系を直接装着することができるマウント固定部と、
    上記カメラ部と上記結像光学系の電気的結合を可能とする中継端子と、
    を備え、
    上記カメラ部と上記結像光学系との間に装着したときに、上記結像光学系と上記カメラ部との間で上記結像光学系に関する情報及び制御信号の通信ができることを特徴とする請求項30に記載のアダプタレンズ。
  32. 上記光学フィルタとして、少なくとも1つのNDフィルタを用いることを特徴とする請求項30に記載のアダプタレンズ。
  33. 上記光学フィルタとして、少なくとも1つの透過波長特性を電気的に制御可能な波長チューナブルフィルタを用いることを特徴とする請求項30に記載のアダプタレンズ。
  34. 上記光学フィルタは、ユーザが交換可能であることを特徴とする請求項30に記載のアダプタレンズ。
  35. 上記光学フィルタの情報を記憶する情報記憶部を持つことを特徴とする請求項30に記載のアダプタレンズ。
  36. 上記情報記憶部は、上記撮像系の分光感度特性、上記結像光学系及び分岐光学系の絞り及びフォーカス位置に関する情報をも記憶することを特徴とする請求項35に記載のアダプタレンズ。
  37. 上記分岐光学系は、分岐した光束を反射するミラーと、上記ミラーの角度を調整可能な反射角度調整部とを持ち、
    上記反射角度調整部によって上記ミラーの角度を調整することにより、上記分割結像面上での像の位置を調整可能なことを特徴とする請求項30に記載のアダプタレンズ。
  38. 上記反射角度調整部は、電気的信号によって制御可能であることを特徴とする請求項37に記載のアダプタレンズ。
  39. 上記光学フィルタの情報と、上記反射角度調整部の状態とを記憶する情報記憶部を持つことを特徴とする請求項38に記載のアダプタレンズ。
  40. 撮影時の照明条件を検出するセンサを接続することのできる端子を備えることを特徴とする請求項30に記載のアダプタレンズ。
  41. 上記光学フィルタとして、少なくとも1つの透過波長特性を電気的に制御可能な波長チューナブルフィルタを用い、
    上記分岐光学系は、分岐した光束を反射するミラーと、上記ミラーの角度を調整可能な反射角度調整部とを持ち、上記反射角度調整部によって上記ミラーの角度を調整することにより、上記分割結像面上での像の位置を調整可能であり、
    ユーザが操作できる撮影モード設定部を更に持ち、
    上記撮影モード設定部によりユーザが設定した撮影モードに基づき、上記反射角度調整部及び上記チューナブルフィルタを所定の設定に制御することを特徴とする請求項30に記載のアダプタレンズ。
JP2004067577A 2004-03-10 2004-03-10 マルチスペクトル画像撮影装置及びアダプタレンズ Expired - Fee Related JP4717363B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004067577A JP4717363B2 (ja) 2004-03-10 2004-03-10 マルチスペクトル画像撮影装置及びアダプタレンズ
DE112005000537T DE112005000537T5 (de) 2004-03-10 2005-03-09 Multispektrale Bildaufnahmevorrichtung und Adapterlinse hierfür
KR1020067018212A KR100848763B1 (ko) 2004-03-10 2005-03-09 멀티 스펙트럼 화상 촬영 장치 및 어댑터 렌즈
PCT/JP2005/004130 WO2005088984A1 (ja) 2004-03-10 2005-03-09 マルチスペクトル画像撮影装置及びアダプタレンズ
US11/509,537 US20060279647A1 (en) 2004-03-10 2006-08-24 Multi-spectral image capturing apparatus and adapter lens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004067577A JP4717363B2 (ja) 2004-03-10 2004-03-10 マルチスペクトル画像撮影装置及びアダプタレンズ

Publications (3)

Publication Number Publication Date
JP2005260480A true JP2005260480A (ja) 2005-09-22
JP2005260480A5 JP2005260480A5 (ja) 2007-04-19
JP4717363B2 JP4717363B2 (ja) 2011-07-06

Family

ID=34975979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004067577A Expired - Fee Related JP4717363B2 (ja) 2004-03-10 2004-03-10 マルチスペクトル画像撮影装置及びアダプタレンズ

Country Status (5)

Country Link
US (1) US20060279647A1 (ja)
JP (1) JP4717363B2 (ja)
KR (1) KR100848763B1 (ja)
DE (1) DE112005000537T5 (ja)
WO (1) WO2005088984A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195000A (ja) * 2006-01-20 2007-08-02 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2008244833A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム
JP2009033222A (ja) * 2007-07-24 2009-02-12 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009118359A (ja) * 2007-11-09 2009-05-28 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009258618A (ja) * 2008-03-27 2009-11-05 Olympus Corp フィルタ切替装置、撮影レンズ、カメラ、および撮影システム
US8149294B2 (en) 2008-06-03 2012-04-03 Olympus Corporation Image capturing device which sets color conversion parameters based on an image sensor and separate light sensor
US8269824B2 (en) 2006-07-21 2012-09-18 Fujifilm Corporation Electronic endoscope system for estimating and producing spectral image of arbitrary wavelength band from image signals captured under general illumination light and those captured under specific illumination light
WO2012157419A1 (ja) * 2011-05-17 2012-11-22 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
WO2013125398A1 (ja) * 2012-02-20 2013-08-29 オリンパス株式会社 撮像装置及びフォーカス制御方法
JP2014075669A (ja) * 2012-10-03 2014-04-24 Nikon Corp マルチバンドカメラ
JP2014161014A (ja) * 2011-03-07 2014-09-04 Panasonic Corp 撮像装置および測距装置
JP2014179857A (ja) * 2013-03-15 2014-09-25 Toppan Printing Co Ltd 画像取得装置及び画像取得方法及び画像取得プログラム
JP2016082325A (ja) * 2014-10-14 2016-05-16 株式会社ニコン 撮像装置、画像処理装置および画像処理プログラム
WO2018180808A1 (ja) * 2017-03-30 2018-10-04 国立大学法人奈良先端科学技術大学院大学 撮像装置及び画像処理装置
US10775704B2 (en) 2016-02-19 2020-09-15 Asml Netherlands B.V. Method of measuring a structure, inspection apparatus, lithographic system, device manufacturing method and wavelength-selective filter for use therein
WO2021060434A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 光学素子、光学装置、撮像装置、及び光学素子の製造方法
WO2021171905A1 (ja) * 2020-02-28 2021-09-02 パナソニックIpマネジメント株式会社 撮像装置
JP7570014B2 (ja) 2020-02-28 2024-10-21 パナソニックIpマネジメント株式会社 撮像装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046248A1 (ja) * 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
JP2008295034A (ja) * 2007-04-26 2008-12-04 Sharp Corp 画像処理装置及び画像処理方法
US20090102939A1 (en) * 2007-10-18 2009-04-23 Narendra Ahuja Apparatus and method for simultaneously acquiring multiple images with a given camera
WO2013114889A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 撮像装置
US9173570B2 (en) 2012-04-12 2015-11-03 Thomas Nathan Millikan Viewing and processing multispectral images
JP2014095688A (ja) * 2012-10-09 2014-05-22 Ricoh Co Ltd 撮像装置及び撮像システム
US8975594B2 (en) * 2012-11-09 2015-03-10 Ge Aviation Systems Llc Mixed-material multispectral staring array sensor
JP6173065B2 (ja) * 2013-06-21 2017-08-02 オリンパス株式会社 撮像装置、画像処理装置、撮像方法及び画像処理方法
KR20160144006A (ko) 2015-06-07 2016-12-15 김택 복수의 반도체 광원을 이용한 휴대용 고분광 카메라 장치
JP6690519B2 (ja) * 2016-12-22 2020-04-28 Jfeスチール株式会社 金属帯表面欠陥の検査装置および検査方法
DE112020002614T5 (de) * 2019-05-28 2022-02-17 ams Sensors Germany GmbH Spektrale Rekonstruktion mit mehrkanaligen Farbsensoren
CN112087559B (zh) * 2019-06-13 2021-11-30 华为技术有限公司 图像传感器、图像拍摄装置和方法
WO2023164271A1 (en) * 2022-02-28 2023-08-31 Arizona Board Of Regents On Behalf Of The University Of Arizona Hyperspectral recovery from two images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116915A (ja) * 1995-10-20 1997-05-02 Nikon Corp 分光光学系
JP2004172832A (ja) * 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2005223700A (ja) * 2004-02-06 2005-08-18 Kurabo Ind Ltd 撮影装置及び色分解光学系

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2831995B2 (ja) * 1987-01-14 1998-12-02 キヤノン株式会社 カメラシステム及び交換レンズ
JP3296837B2 (ja) * 1991-10-22 2002-07-02 オリンパス光学工業株式会社 内視鏡用撮像装置
JP3713321B2 (ja) * 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
US6249311B1 (en) * 1998-02-24 2001-06-19 Inframetrics Inc. Lens assembly with incorporated memory module
US5982497A (en) * 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
JP2001275029A (ja) * 2000-03-28 2001-10-05 Minolta Co Ltd デジタルカメラ、その画像信号処理方法及び記録媒体
JP2001309395A (ja) * 2000-04-21 2001-11-02 Sony Corp 固体撮像素子及びその製造方法
US6441972B1 (en) * 2000-06-13 2002-08-27 Jon R. Lesniak Optical image separator
JP2002296114A (ja) * 2001-03-30 2002-10-09 Fuji Photo Film Co Ltd 分光反射率画像の取得方法、撮影装置および分光反射率画像取得システム
JP2003087806A (ja) * 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
JP2003101825A (ja) * 2001-09-20 2003-04-04 Fuji Photo Optical Co Ltd レンズ情報表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116915A (ja) * 1995-10-20 1997-05-02 Nikon Corp 分光光学系
JP2004172832A (ja) * 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2005223700A (ja) * 2004-02-06 2005-08-18 Kurabo Ind Ltd 撮影装置及び色分解光学系

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195000A (ja) * 2006-01-20 2007-08-02 Hitachi Kokusai Electric Inc テレビジョンカメラ
US8269824B2 (en) 2006-07-21 2012-09-18 Fujifilm Corporation Electronic endoscope system for estimating and producing spectral image of arbitrary wavelength band from image signals captured under general illumination light and those captured under specific illumination light
JP2008244833A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム
JP2009033222A (ja) * 2007-07-24 2009-02-12 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009118359A (ja) * 2007-11-09 2009-05-28 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2009258618A (ja) * 2008-03-27 2009-11-05 Olympus Corp フィルタ切替装置、撮影レンズ、カメラ、および撮影システム
US8149294B2 (en) 2008-06-03 2012-04-03 Olympus Corporation Image capturing device which sets color conversion parameters based on an image sensor and separate light sensor
JP2014161014A (ja) * 2011-03-07 2014-09-04 Panasonic Corp 撮像装置および測距装置
WO2012157419A1 (ja) * 2011-05-17 2012-11-22 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
JP2012244277A (ja) * 2011-05-17 2012-12-10 Olympus Corp 撮像装置およびこれを備える顕微鏡システム
US9528878B2 (en) 2011-05-17 2016-12-27 Olympus Corporation Imaging apparatus and microscope system having the same
WO2013125398A1 (ja) * 2012-02-20 2013-08-29 オリンパス株式会社 撮像装置及びフォーカス制御方法
JP2014075669A (ja) * 2012-10-03 2014-04-24 Nikon Corp マルチバンドカメラ
JP2014179857A (ja) * 2013-03-15 2014-09-25 Toppan Printing Co Ltd 画像取得装置及び画像取得方法及び画像取得プログラム
JP2016082325A (ja) * 2014-10-14 2016-05-16 株式会社ニコン 撮像装置、画像処理装置および画像処理プログラム
US10775704B2 (en) 2016-02-19 2020-09-15 Asml Netherlands B.V. Method of measuring a structure, inspection apparatus, lithographic system, device manufacturing method and wavelength-selective filter for use therein
JP7058881B2 (ja) 2017-03-30 2022-04-25 国立大学法人 奈良先端科学技術大学院大学 撮像装置及び画像処理装置
WO2018180808A1 (ja) * 2017-03-30 2018-10-04 国立大学法人奈良先端科学技術大学院大学 撮像装置及び画像処理装置
JPWO2018180808A1 (ja) * 2017-03-30 2020-02-06 国立大学法人 奈良先端科学技術大学院大学 撮像装置及び画像処理装置
JP7335969B2 (ja) 2019-09-27 2023-08-30 富士フイルム株式会社 光学素子、光学装置、撮像装置、及び光学素子の製造方法
JPWO2021060434A1 (ja) * 2019-09-27 2021-04-01
CN114514447A (zh) * 2019-09-27 2022-05-17 富士胶片株式会社 光学元件、光学装置、摄像装置及光学元件的制造方法
WO2021060434A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 光学素子、光学装置、撮像装置、及び光学素子の製造方法
US11968437B2 (en) 2019-09-27 2024-04-23 Fujifilm Corporation Optical element, optical device, imaging apparatus, and manufacturing method of optical element
CN114514447B (zh) * 2019-09-27 2024-07-16 富士胶片株式会社 光学元件、光学装置、摄像装置及光学元件的制造方法
WO2021171905A1 (ja) * 2020-02-28 2021-09-02 パナソニックIpマネジメント株式会社 撮像装置
JP7570014B2 (ja) 2020-02-28 2024-10-21 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
KR20070029141A (ko) 2007-03-13
US20060279647A1 (en) 2006-12-14
KR100848763B1 (ko) 2008-07-28
JP4717363B2 (ja) 2011-07-06
DE112005000537T5 (de) 2007-03-22
WO2005088984A1 (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
JP4717363B2 (ja) マルチスペクトル画像撮影装置及びアダプタレンズ
TWI383672B (zh) Image capturing apparatus and image processing method
JP5124003B2 (ja) マルチスペクトル画像撮影装置
US9386228B2 (en) Image processing device, imaging device, image processing method, and non-transitory computer-readable medium
JP2013534083A (ja) 2センサー撮像システム
WO2021139401A1 (zh) 摄像头模组、成像方法和成像装置
JP4826507B2 (ja) 焦点検出装置および撮像装置
JP2009260411A (ja) 撮像装置
JP2005260480A5 (ja)
JP2008136251A (ja) マルチスペクトル画像撮影装置
JP2008244833A (ja) 撮像装置、色収差補正方法およびプログラム
JP2002271657A (ja) 多画面分光撮影装置
CN113132597B (zh) 图像采集系统及终端
US9019405B2 (en) Method and apparatus for wavelength specific correction of distortion in digital images
JP2007158700A (ja) 色忠実カメラ
JP2011232615A (ja) 撮像装置
JP2008085774A (ja) 収差補正撮像装置及び収差補正方法
JP2008085773A (ja) 色収差補正撮像装置及び色収差補正方法
JP2007006318A (ja) 撮像光学系および撮像装置
JP4533261B2 (ja) 撮像装置
JP2004157059A (ja) 撮像装置およびレンズ光学系
JP3819018B2 (ja) 画像合成装置
JP5589799B2 (ja) 撮像装置
JP2006259078A (ja) 一眼レフカメラのファインダー内表示装置
JP5691440B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R151 Written notification of patent or utility model registration

Ref document number: 4717363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees