JP2008268868A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2008268868A
JP2008268868A JP2007338185A JP2007338185A JP2008268868A JP 2008268868 A JP2008268868 A JP 2008268868A JP 2007338185 A JP2007338185 A JP 2007338185A JP 2007338185 A JP2007338185 A JP 2007338185A JP 2008268868 A JP2008268868 A JP 2008268868A
Authority
JP
Japan
Prior art keywords
light
unit
wavelength region
image
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007338185A
Other languages
English (en)
Other versions
JP5315574B2 (ja
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007338185A priority Critical patent/JP5315574B2/ja
Priority to US12/050,500 priority patent/US7579577B2/en
Publication of JP2008268868A publication Critical patent/JP2008268868A/ja
Application granted granted Critical
Publication of JP5315574B2 publication Critical patent/JP5315574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/14Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G02B13/146Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation with corrections for use in multiple wavelength bands, such as infrared and visible light, e.g. FLIR systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/26Reflecting filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses

Abstract

【課題】同一の被写体にピントが合った可視光画像と赤外光画像とを同時に撮像する。
【解決手段】本発明に係る撮像装置は、被写体からの光を受光する受光部と、第1波長領域の光および第2波長領域の光の双方を通過させる光通過部、および光通過部の周辺に設けられ、第1波長領域の光を透過させるが第2波長領域の光を透過させないフィルタ部を有し、被写体と受光部との間に設けられる部分波長領域絞り部と、光通過部およびフィルタ部を介して受光部が受光した第1波長領域の光から第1画像を生成し、光通過部を介して受光部が受光した第2波長領域の光から第2画像を生成する画像生成部とを備える。
【選択図】図1

Description

本発明は、撮像装置に関する。特に、本発明は、被写体の画像を撮像する撮像装置に関する。
特許文献1には、近赤外光での撮像と可視光での撮像とに同一の撮像レンズを使用する撮像装置が提案されている。また、特許文献2には、赤外光の波長領域を波長のより長い赤外光領域から順に、赤色領域、緑色領域、および青色領域とみなして、原色信号を取得することにより、赤外光領域における波長の相違を色の相違として表示する赤外線撮像装置について提案されている。
特開2001−275021号公報 特開2000−278701号公報
しかしながら、特許文献1および特許文献2のいずれの発明においても、可視光および赤外光(近赤外光)の色収差を考慮していないので、撮像領域内に含まれる被写体を可視光で撮像した撮像画像と赤外光で撮像した撮像画像とで、ピントが合わない場合がある。
そこで本発明は、上記課題を解決することができる撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、撮像装置であって、被写体からの光を受光する受光部と、第1波長領域の光および第2波長領域の光の双方を通過させる光通過部、および光通過部の周辺に設けられ、第1波長領域の光を透過させるが第2波長領域の光を透過させないフィルタ部を有し、被写体と受光部との間に設けられる部分波長領域絞り部と、光通過部およびフィルタ部を介して受光部が受光した第1波長領域の光から第1画像を生成し、光通過部を介して受光部が受光した第2波長領域の光から第2画像を生成する画像生成部とを備える。
また、受光部は、第1波長領域の光を受光する第1受光部と、被写体からの光の光軸方向に関して第1受光部と略同一の位置に設けられ、第2波長領域の光を受光する第2受光部とを有し、画像生成部は、光通過部およびフィルタ部を介して第1受光部が受光した第1波長領域の光から第1画像を生成し、光通過部を介して第2受光部が受光した第2波長領域の光から第2画像を生成してもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、同一の被写体にピントが合った可視光画像と赤外光画像とを同時に撮像することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る撮像装置10の機能構成の一例を示す。撮像装置10は、撮像部100、画像取得部110、画像生成部120、出力部130、画像格納部140、位置特定部160、画像処理部180、および撮像制御部170を備える。そして、撮像部100は、全波長領域絞り部101、部分波長領域絞り部102、レンズ部103、受光部104、および色フィルタ部105を有する。また、部分波長領域絞り部102は、光通過部106およびフィルタ部107を含む。更に、受光部104は、複数の受光素子を含む。撮像制御部170は、露光量制御部150を有する。本実施形態に係る撮像装置10は、同一の被写体にピントが合った可視光画像と赤外光画像とを同時に撮像することを目的とする。
全波長領域絞り部101は、レンズ部103を透過する被写体からの光の光量を調節する。全波長領域絞り部101は、レンズ部103の開口部の大小を調節することにより、レンズ部103を透過する光量を調節する。全波長領域絞り部101は、撮像部100の光学系においてレンズ部103を透過する光量を調節する絞りであってよい。全波長領域絞り部101は、例えば、可視光および赤外光を吸収および/または反射する一方で、可視光および赤外光を通過させる通過部を有する。なお、通過部の形状は、円形または多角形であってよい。
部分波長領域絞り部102は、被写体と受光部104との間に設けられる。そして、光通過部106は、第1波長領域の光および第2波長領域の光の双方を通過させる。例えば、光通過部106は、予め定められた半径を有する、部分波長領域絞り部102の中心から外縁に向かって設けられた開口部であってよい。また、フィルタ部107は、光通過部106の周辺に設けられ、第1波長領域の光を透過させるが第2波長領域の光を透過させない。ここで、第2波長領域は、第1波長領域より長波長領域にある。具体的には、第2波長領域は赤外光(Ir)領域(例えば、波長750nmから1000nmの範囲)であり、第1波長領域は可視光領域(例えば、波長400nmから750nmの範囲)であってよい。
例えば、フィルタ部107は、第2波長領域の光を吸収する一方で、第1波長領域の光を透過する光吸収フィルタであってよい。すなわち、フィルタ部107は、赤外線吸収フィルタであってよい。また、フィルタ部107は、第2波長領域の光を反射する一方で、第1波長領域の光を透過する光反射フィルタであってよい。すなわち、フィルタ部107は、赤外線反射フィルタであってよい。また、フィルタ部107は、第1波長領域の光を透過させるが第2波長領域の光を透過させない赤外線吸収材料(例えば、アゾ系、アミニウム系、アンスラキノン系、シアニン系、ジイモニウム系、ジチオール金属錯体系、スクアリリウム系、ナフタロシアニン系、またはフタロシアニン系色素等)を含んでいてよい。そして、フィルタ部107は、レンズ部103の周縁部分に赤外線吸収材料を含む材料がコーティングされることにより形成されてもよい。
なお、本実施形態においては、第2波長領域が第1波長領域よりも長波長領域である例を説明するが、他の実施形態においては、第1波長領域が第2波長領域よりも長波長領域であってもよい。すなわち、フィルタ部107は、光通過部106の周辺に設けられ、第2波長領域の光を透過させるが第1波長領域の光を透過させなくてもよい。更に他の実施形態においては、フィルタ部107は、可視光に含まれるR成分(例えば、波長610nmから波長750nmの範囲における光)、B成分(例えば、波長435nmから波長480nmの範囲における光)、およびG成分(例えば、波長490nmから波長600nmの範囲における光)、並びに赤外光成分の少なくとも1つの成分を透過させ、その他の成分を透過させなくてもよい。
また、撮像装置10は、撮像範囲における光量を測定する測光センサを更に備え、フィルタ部107は、測光センサが検出した光量に応じて透過させる光の波長を変更すべく、光通過部106の周辺に、第1波長領域の光を透過させない第1フィルタと第2波長領域の光を透過させない第2フィルタとを入れ替え可能に有していてよい。そして、フィルタ部107は、測光センサが検出した光量に応じて第1フィルタと第2フィルタとを入れ替える。例えば、測光センサが検出した光量が予め定められた光量以上である場合、フィルタ部107は可視光領域の光を透過させずに、赤外光領域の光を透過させるべく第1フィルタを用いる。一方、測光センサが検出した光量が予め定められた光量未満である場合、フィルタ部107は、可視光領域の光を透過させ、赤外光領域の光を透過させるべく第2フィルタを用いる。
撮像装置10が部分波長領域絞り部102を備えることにより、第1波長領域の光の被写界深度と、第2波長領域の光の被写界深度とを重ねることができる。すなわち、部分波長領域絞り部102のフィルタ部107がない場合において、第1波長領域の光の被写界深度と、第2波長領域の光の被写界深度とが重ならない場合であっても、本実施形態においてはフィルタ部107を設けることにより、フィルタ部107を透過できない波長領域の光は絞りをかけられた状態となる。従って、フィルタ部107を透過できない波長範囲の光の被写界深度は深くなる。係る場合において、フィルタ部107を透過した光の被写界深度とフィルタ部107を透過しない光の被写界深度とが重なるべく、フィルタ部107の配置を設計することにより、第1波長範囲の光と第2波長範囲の光とのピントがあった領域を生成できる。
レンズ部103は、被写体からの光を受光部104に結像させる。レンズ部103は、複数のレンズを含むレンズ系であってもよい。受光部104は、被写体からの光を受光する。受光部104は、第1波長領域の光と第2波長領域の光とのピントがあった領域に配置される。なお、(Charge Coupled Device)CCDまたは複数の(Complementary Metal−Oxide Semiconductor)CMOSセンサは、受光部104の一例である。
受光部104は、第1波長領域の光を受光する第1受光部と、被写体からの光の光軸方向に関して第1受光部と略同一の位置に設けられ、第2波長領域の光を受光する第2受光部とを有していてよい。係る場合において、CCDの1画素は、第1受光部または第2受光部の一例である。そして、第1受光部は、被写体からの光、すなわち第1波長領域の光を受光する複数の受光素子を含んでいてよい。同様にして、第2受光部は、被写体からの第2波長領域の光を受光する複数の受光素子を含んでいてよい。なお、受光部104は、第1受光部および第2受光部のみならず、他に複数の受光部を更に有していてもよい。
第1受光部は、可視光領域の光に含まれる複数の色成分の光を複数の受光素子にそれぞれ受光させる色フィルタ部105を有する。すなわち、第1受光部は、例えば、4つの受光素子を有していてよく、4つの受光素子のそれぞれは、4つの受光素子に対応させてそれぞれ設けられた色フィルタ部105を透過した光を受光する。例えば、第1受光部は、第1受光素子、第2受光素子、第3受光素子、および第4受光素子を有する。そして、第1受光素子の光を受光する領域の略上にはR成分、第2受光素子および第4受光素子の光を受光する領域の略上にはG成分、第3受光素子の光を受光する領域の略上にはB成分の光を透過する色フィルタ部105が設けられる。なお、第1受光部が有する色フィルタ部105は赤外光領域の光を透過させない赤外カットフィルタを更に有する。一方、第2受光部は、可視光領域の光を透過させない可視光カットフィルタを有する。
撮像部100は、撮像範囲から入射する光を、全波長領域絞り部101、部分波長領域絞り部102、およびレンズ部103を通して受光部104に受光させる。そして、受光部104は、複数の受光素子において光を受光して、撮像範囲に含まれる被写体の撮像画像を撮像する。そして、受光部104は、色フィルタ部105を通過した光を複数の受光素子において受光して、撮像領域に含まれる被写体の撮像画像を撮像する。露光量制御部150は、第1受光部および第2受光部に、被写体からの光を所定の期間(露光期間)受光させる。
なお、露光量制御部150は、自動露出(Automatic Exposure)機能を有していてもよく、係る場合において、露光期間の長さは自動露出機能が決定した露光期間であってもよい。例えば、自動露出部は、撮像範囲の明るさに応じて露光期間および/または全波長領域絞り部101の絞り量の大きさを変化させる。そして、露光量制御部150は、撮像部100の露光量を、撮像範囲に含まれる被写体を明瞭に把握できる画像を撮像可能な露光量に自動調整する。
ここで、本実施形態における撮像画像は、静止画および/または複数の動画構成画像を含む動画を意味する。ここで、動画構成画像とは、フレーム画像、フィールド画像、およびその他の動画を構成する様々な形式の撮像画像のいずれを含んでもよい。撮像部100が有する受光部104は、複数の受光素子が受光した光によって発生した電荷からなるアナログ電気信号を、画像取得部110に供給する。
画像取得部110は、受光部104が含む複数の受光素子からアナログ電気信号を読み出す。そして、画像取得部110は、読み出したアナログ電気信号をデジタル信号に変換して、撮像領域の撮像画像を撮像画像データとして取得する。具体的には、画像取得部110は、受光部104において発生するノイズを軽減する処理を受光部104から読み出したアナログ電気信号に施すことにより、撮像部100が撮像した撮像範囲の撮像画像を示すアナログ電気信号を抽出する。そして、画像取得部110は、抽出した電気信号の高低部分を予め定められたレベルまでに補正する。続いて、画像取得部110は、補正後のアナログ電気信号をデジタル信号に変換することにより撮像画像データを取得する。画像取得部110は、取得した撮像画像データを、画像生成部120に供給する。
なお、画像取得部110は、アナログ電気信号のデジタル信号への変換処理をガンマ変換後に実行してもよい。そして、画像取得部110は、アナログ電気信号からRGB各色のアナログ電気信号だけを取り出してデジタル信号へ変換してもよい。また、画像取得部110は、デジタル信号のデータ量を低減すべくデータ圧縮処理を実行する場合、撮像画像における白の基準値を決定すべくホワイトバランス処理を実行してもよい。
続いて、画像取得部110は、RGB信号から輝度成分および色差信号の画像を生成する。そして、画像取得部110は、信号変化が予め定められた基準値よりも大きい部分を生成した撮像画像から抽出して、シャープネス処理(アパチャー補正)を実行する。そして、画像取得部110は、シャープネス処理を施した後の撮像画像に対してデータ圧縮処理を実行してもよい。
画像生成部120は、光通過部106およびフィルタ部107を介して受光部104が受光した第1波長領域の光から第1画像を生成する。また、画像生成部120は、光通過部106を介して受光部104が受光した第2波長領域の光から第2画像を生成する。具体的には、画像生成部120は、光通過部106およびフィルタ部107を介して第1受光部が受光した第1波長領域の光から第1画像を生成する。そして、画像生成部120は、光通過部106を介して第2受光部が受光した第2波長領域の光から第2画像を生成する。
より具体的には、画像生成部120は、光通過部106およびフィルタ部107を介して、露光量制御部150が決定した所定の期間に第1受光部が第1波長領域の光を受光した受光量に基づいて第1画像を生成する。そして、画像生成部120は、光通過部106を介して、露光量制御部150が決定した所定の期間に第2受光部が第2波長領域の光を受光した受光量に基づいて第2画像を生成する。画像生成部120は、生成した第1画像および第2画像を、画像処理部180に供給する。画像処理部180は、第1画像および第2画像に画像処理を施して、出力部130に供給する。
出力部130は、画像処理部180により画像処理が施された第1画像および第2画像を、外部の画像表示装置(例えば、モニタ、および液晶ディスプレイ等)、およびプリンタ等に出力する。なお、撮像装置10が画像を表示する表示部を更に有している場合には、当該表示部は出力部130に一例である。出力部130は、外部の画像表示装置に、インターネット等のネットワークを介して第1画像および第2画像を送信して出力してもよい。また、出力部130は、第1画像および第2画像を画像格納部140に供給する。画像格納部140は、画像生成部120が生成した第1画像および第2画像を格納する。
位置特定部160は、第1画像のボケ量と第2画像のボケ量との比較結果に基づいて、被写体の位置を特定する。具体的には、位置特定部160は、第1画像のボケ量と第2画像のボケ量との間の差がより小さい場合に、受光部104の位置に結像する光を発する物体の位置のより近くに、被写体の位置を特定する。なお、被写体の位置としては、被写体までの光軸方向の距離を例示することができる。
なお、撮像制御部170は、位置特定部160が特定した被写体の位置に応じて、撮像部100による撮像を制御してよい。例えば、撮像制御部170は、位置特定部160が特定した被写体の位置に応じたフォーカシング制御、露光制御等を行ってよい。また、画像処理部180は、位置特定部160が特定した被写体の位置に応じて、エッジ強調等の強調処理、ぼけ補正等の像復元処理等を含む画像処理を、第1画像および第2画像に施してもよい。例えば、画像処理部180は、被写体の位置に応じて予め定められた画像処理を、第1画像および第2画像に施してよい。また、画像処理部180は、位置特定部160が特定した被写体の位置に基づいて、オブジェクト抽出および動き解析等の画像解析処理をしてもよい。例えば、画像処理部180は、予め定められた距離に位置する被写体が撮像されている画像領域において、オブジェクト抽出および動き解析をしてよい。また、出力部130は、位置特定部160が特定した被写体の位置を第1画像および第2画像の少なくとも一方に付帯してよい。また、出力部130は、画像処理部180による画像解析結果を第1画像および第2画像の少なくとも一方に付帯してもよい。
本実施形態に係る撮像装置10によれば、被写体からの光に含まれる複数の波長のうち少なくとも一つの波長の光をカットして、複数の受光素子に受光させることができる。これにより、複数の波長の光の被写界深度を相互に重ね合わせることができるので、複数の波長領域の光についてピントを容易に合わせた画像を同時に撮像することができる。
図2は、本実施形態に係る部分波長領域絞り部102の機能の一例を示す。図2における説明では、フィルタ部107は、被写体からの光のうち赤外光領域の光を透過させずに可視光領域の光を透過させる。すなわち、可視光は光路200の実線で示すべく、フィルタ部107およびレンズ部103を通過して、焦点位置220で焦点を結ぶ。そして、可視光領域の光のピントの合う距離範囲は、撮像装置10の製造者又は使用者によって許容された許容ボケ限界215に光学像のボケが収まるような被写界深度240で表される。
ここで、フィルタ部107が存在しない場合、赤外光領域の光は光路205の点線で示すべく、レンズ部103を通過して焦点位置230で焦点を結ぶ。係る場合における赤外光領域の光のピントの合う距離範囲は、許容ボケ限界215に光学像のボケが収まるような被写界深度242で表される。従って、フィルタ部107がない場合には、可視光領域の光のピントの合う被写界深度240と、赤外光領域の光のピントの合う被写界深度242とは重なり合わない。よって、被写界深度240の範囲と被写界深度242の範囲との双方に受光部104を移動させて、それぞれの配置において撮像領域の撮像画像を撮像しない限り、同一の被写体にピントが合った可視光画像と赤外光画像とを同時に撮像することができない。
一方、フィルタ部107を設けると、赤外光領域の光はフィルタ部107を透過しないので、光路210の一点鎖線に示す経路で進行して、焦点位置230で焦点を結ぶ。この場合、光路210で示す赤外光領域の光は、フィルタ部107において絞りがかけられた状態となり、赤外光領域の光のピントの合う距離範囲は、許容ボケ限界215に光学像のボケが収まるように定められても、被写界深度242から被写界深度244に拡大する。これにより、被写界深度240と被写界深度244とが重なり合う範囲250に受光部104を配置すれば、被写体からの可視光領域の光にピントが合った可視光画像と、同一の被写体からの赤外光領域の光にピントが合った赤外光画像とを同時に撮像できる。
なお、本実施形態においてフィルタ部107は、赤外光領域の光を透過させないが、他の実施形態においては、フィルタ部107は、可視光領域の所定の波長範囲の光を透過させずに、赤外光領域の光を透過させてもよい。係る場合においては、フィルタ部107を透過しない波長範囲の光についての被写界深度が、フィルタ部107を透過する場合における当該波長範囲の光についての被写界深度よりも深くなる。そして、当該被写界深度と赤外光領域の光の被写界深度とが重なる領域に受光部104を配置することにより、被写体からの可視光領域の光にピントが合った可視光画像と、同一の被写体からの赤外光領域の光にピントが合った赤外光画像とを同時に撮像できる。
例えば、フィルタ部107は、視感度が最大のG成分の光を透過させずに、R成分の光およびB成分の光、並びに赤外光成分の光を透過させてもよい。そして、G成分の光で決定される被写界深度と、赤外光成分の光で決定される被写界深度とが重なる範囲に受光部104を配置してもよい。
本実施形態に係る撮像装置10は、可視光領域の光と赤外光領域の光の被写界深度を重ね合わせることができるので、複数のレンズを複雑に組み合わせたレンズ系を設計せずとも、容易に色収差の影響を打ち消した撮像画像、すなわち可視光画像と赤外光画像とを同時に撮像することができる。これにより、コストが低く、更に構造が簡単な撮像装置10を製造できる。
図3は、本実施形態に係る部分波長領域絞り部102の一例を示す。部分波長領域絞り部102は、第1波長領域の光を透過させるが第2波長領域の光を透過させないフィルタ部107を有する。そして、部分波長領域絞り部102は、中心から外周部に向かって予め定められた範囲まで、第1波長領域の光および第2波長領域の光の双方を通過させる光通過部106を有する。例えば、部分波長領域絞り部102は、略リング形状であってよい。また、部分波長領域絞り部102の外縁は多角形であってもよい。更に、光通過部106は、開孔であってよく、あるいは第1波長領域の光および第2波長領域の光の双方を通過させる材料が用いられていてもよい。
なお、本実施形態において光通過部106の形状は略円形であるが、光通過部106は多角形の形状であってもよい。また、フィルタ部107は、第2波長領域の光を透過させるとともに、第1波長領域に含まれる複数の波長範囲のうち少なくとも1つの波長範囲の光を透過させ、第1波長領域に含まれるその他の波長範囲の光を透過させなくてもよい。更に、フィルタ部107は、予め定められた波長範囲の光を透過させない複数のフィルタ部を有していてよく、測光センサの測定結果に応じてフィルタ部を入れ替えてもよい。
図4は、本実施形態に係る受光部104の一例を示す。受光部104は複数の受光素子を含む。具体的には、受光部104は、受光素子1041、受光素子1042、受光素子1043、および受光素子1044を一組の受光素子ユニットとして、複数の受光素子ユニットを含む。例えば、受光素子1041の受光面の上には、R成分の光を透過する色フィルタ部105が配置される。また、受光素子1042の受光面の上には、G成分の光を透過する色フィルタ部105が配置される。そして、受光素子1044の受光面の上には、B成分の光を透過する色フィルタ部105が配置される。更に、受光素子1043の受光面の上には、Ir成分の光を透過する色フィルタ部105が配置される。なお、受光素子1041、受光素子1042、および受光素子1044にはそれぞれ、Ir成分の光を吸収または反射する色フィルタ部105が更に配置される。
そして、受光素子1041、受光素子1042、受光素子1043、および受光素子1044のそれぞれは、それぞれが受光した光によって発生した電荷からなるアナログ電気信号を画像取得部110に供給する。これにより、例えば、受光素子1041、受光素子1042、および受光素子1044がそれぞれ受光した光によって発生した電荷からなるアナログ電気信号から可視光画像が生成され、受光素子1043が受光した光によって発生した電荷からなるアナログ電気信号から赤外光画像が、可視光画像の生成と同時に生成される。
図5は、本実施形態に係るフィルタ部107の一例を示す。本実施形態において、フィルタ部107は、レンズ部103の周縁部にコーティングされることによって形成される。係る場合において、レンズ部103の光入射面側上のフィルタ部107がコーティングされていない領域が、図1から図4の上記説明における光通過部106に該当する。フィルタ部107は、例えば、赤外光領域の光を吸収、または反射するコーティング部材であってよい。レンズ部103の周辺部に赤外光領域の光を吸収する赤外光吸収膜、または赤外光領域の光を反射する赤外反射膜がコーティングされているので、赤外光の被写界深度が深くなり、赤外光と可視光との双方のピントを合わせることができる。
図6は、物体位置の違いによるボケ量の違いを示す。図2に関連して説明したように、物点650からの可視光は、光路200の線で示されるように焦点位置220で焦点を結ぶ。一方、物点650からの赤外光は、光路210の線で示される経路で進行して、焦点位置230で焦点を結ぶ。図示されるように、受光部104が符号690で示される光軸上の位置に設けられているとするとすれば、光軸上の物点650の近傍に位置する被写体の被写体像については、赤外光画像と可視光画像との間でボケ量の大きさは略等しくなることが期待される。
一方、物点650から離れた物点660からの可視光は、光路600の線で示されるように焦点位置620で焦点を結ぶ。また、物点660からの赤外光は、光路610の線で示される経路で進行して、焦点位置630で焦点を結ぶ。図示された光線の軌跡から明らかなように、物点660付近に存在する被写体の被写体像のボケ量は、赤外光画像より可視光画像において、より大きい。したがって、位置特定部160は、可視光画像における被写体像に含まれるボケ量と赤外光画像における被写体像に含まれるボケ量との間の差が小さいほど、受光部104が設けられた位置に実質的に焦点を結ぶ光を発することができる光軸上の位置(例えば、物点650の位置)のより近くに、被写体の位置を特定することができる。
図7は、本実施形態に係る受光部104の他の一例を示す。ここでは、青色および赤色の光の波長領域を第1波長領域の一例として、緑色の光の波長領域を第2波長領域の一例として、撮像装置10の機能および動作を説明する。なお、フィルタ部107は、赤色および青色の波長領域の光を通過させるが、緑色の波長領域の光を通過させない。このように、本構成におけるフィルタ部107の機能および動作は、通過することができる光の波長領域が異なる点を除いて、図3および図5に関連して説明したフィルタ部107の機能および動作と略同一であるので、その詳細な説明を省略する。
受光部104は、複数の受光素子601aおよび受光素子601b(以下、受光素子601と総称する。)、受光素子602、および受光素子603を一組の受光素子ユニットとして、複数の受光素子ユニットを含む。例えば、受光素子601の受光面の上には、G成分の光を透過する色フィルタ部105が配置される。また、受光素子602の受光面の上には、R成分の光を透過する色フィルタ部105が配置される。そして、受光素子603の受光面の上には、B成分の光を透過する色フィルタ部105が配置される。なお、色フィルタ部105は、Ir成分の光を通過させない透過特性を有してもよい。このように、受光部104が有する受光素子601の密度は、受光部104が有する受光素子602の密度より大きい。また、受光部104が有する受光素子601の密度は、受光部104が有する受光素子603の密度より大きい。
なお、受光素子601、受光素子602、および受光素子603のそれぞれは、それぞれが受光した光によって発生した電荷によるアナログ電気信号を画像取得部110に供給する。画像生成部120は、受光素子601、受光素子602、および受光素子603がそれぞれ受光した光によるアナログ電気信号から、一の可視光画像を生成する。このように、本図に関連して説明した撮像装置10の構成によると、視感度が最大であるG成分光について焦点深度を拡大することができる。したがって、本構成の撮像装置10によると、実質的に被写界深度を深くして撮像された可視光画像を提供することができる。
また、本構成の撮像装置10によると、R成分の光を受光する受光素子602の密度およびB成分の光を受光する受光素子603の密度は、G成分の光を受光する受光素子601の密度に比べて低い。しかしながら、R成分の光およびB成分の光は、G成分の光に比べると、受光部104の位置における点拡がりは大きい。したがって、受光素子602および受光素子603の密度を受光素子601の密度より低くすることによる解像力の低下は実質的に小さくなる。一方で、点拡がりがより小さいG成分の光を受光する受光素子601を受光素子602および受光素子603の密度より高密度で配置することによって、解像力の高いG成分の光を効果的に受光することができる。このように、本構成の撮像装置10によると、点拡がりに応じて受光面を有効に活用することができる。したがって、本構成の撮像装置10によると、解像力および焦点深度を実質的に犠牲にすることのない小型の撮像装置を提供することができる。
なお、レンズ部103の周縁部の領域に、赤外光吸収ガラスを用いてもよい。すなわち、係る場合において撮像装置10は、図1に示す部分波長領域絞り部102を備えずに、レンズ部103の周縁部の領域に設けられた赤外光吸収ガラスの存在により、赤外光領域の光の被写界深度を深くする。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
撮像装置10の機能構成を示すブロック図である。 部分波長領域絞り部102の機能を示す図である。 部分波長領域絞り部102を示す図である。 受光部104を示す図である。 フィルタ部107を示す図である。 物体位置の違いによるボケ量の違いを示す図である。 受光部104の他の一例を示す図である。
符号の説明
10 撮像装置
100 撮像部
101 全波長領域絞り部
102 部分波長領域絞り部
103 レンズ部
104 受光部
105 色フィルタ部
106 光通過部
107 フィルタ部
110 画像取得部
120 画像生成部
130 出力部
140 画像格納部
150 露光量制御部
160 位置特定部
170 撮像制御部
180 画像処理部
200、205、210、600、610 光路
215 許容ボケ限界
220、230、620、630 焦点位置
240、242、244 被写界深度
250 範囲
1041、1042、1043、1044 受光素子
601、602、603 受光素子

Claims (13)

  1. 被写体からの光を受光する受光部と、
    第1波長領域の光および第2波長領域の光の双方を通過させる光通過部、および前記光通過部の周辺に設けられ、前記第1波長領域の光を透過させるが前記第2波長領域の光を透過させないフィルタ部を有し、前記被写体と前記受光部との間に設けられる部分波長領域絞り部と、
    前記光通過部および前記フィルタ部を介して前記受光部が受光した前記第1波長領域の光から第1画像を生成し、前記光通過部を介して前記受光部が受光した前記第2波長領域の光から第2画像を生成する画像生成部と
    を備える撮像装置。
  2. 前記受光部は、
    前記第1波長領域の光を受光する第1受光部と、
    前記被写体からの光の光軸方向に関して前記第1受光部と略同一の位置に設けられ、前記第2波長領域の光を受光する第2受光部と
    を有し、
    前記画像生成部は、前記光通過部および前記フィルタ部を介して前記第1受光部が受光した前記第1波長領域の光から第1画像を生成し、前記光通過部を介して前記第2受光部が受光した前記第2波長領域の光から第2画像を生成する
    請求項1に記載の撮像装置。
  3. 前記第1受光部および前記第2受光部に前記被写体からの光を所定の期間受光させる露光制御部
    を更に備え、
    前記画像生成部は、前記光通過部および前記フィルタ部を介して前記第1受光部が前記所定の期間に前記第1波長領域の光を受光した受光量に基づいて第1画像を生成し、前記光通過部を介して前記第2受光部が前記所定の期間に前記第2波長領域の光を受光した受光量に基づいて第2画像を生成する
    請求項2に記載の撮像装置。
  4. 前記第2波長領域は、前記第1波長領域より長波長領域にある
    請求項1に記載の撮像装置。
  5. 前記第2波長領域は赤外光領域であり、前記第1波長領域は可視光領域である
    請求項4に記載の撮像装置。
  6. 前記第1受光部は、
    前記被写体からの光を受光する複数の受光素子と、
    可視光領域の光に含まれる複数の色成分の光を前記複数の受光素子にそれぞれ受光させる色フィルタ部と
    を有する請求項2に記載の撮像装置。
  7. 前記フィルタ部は、前記第2波長領域の光を吸収し、前記第1波長領域の光を透過する光吸収フィルタである
    請求項1に記載の撮像装置。
  8. 前記フィルタ部は、前記第2波長領域の光を反射し、前記第1波長領域の光を透過する光反射フィルタである
    請求項1に記載の撮像装置。
  9. 被写体からの光を前記受光部に結像させるレンズ部
    を更に備え、
    前記フィルタ部は、前記第1波長領域の光を透過させるが前記第2波長領域の光を透過させない材料であり、前記レンズ部にコーティングされる
    請求項1に記載の撮像装置。
  10. 前記第1画像のボケ量と前記第2画像のボケ量との比較結果に基づいて、被写体の位置を特定する位置特定部
    をさらに備える請求項2に記載の撮像装置。
  11. 前記位置特定部は、前記第1画像のボケ量と前記第2画像のボケ量との間の差がより小さい場合に、前記受光部の位置に結像する光を発する物体の位置のより近くに、被写体の位置を特定する
    請求項10に記載の撮像装置。
  12. 前記受光部は、
    前記第1波長領域の光を受光する複数の第1受光素子と、
    前記第2波長領域の光を受光する複数の第2受光素子と
    を有し、
    前記第2受光素子の密度は、前記第1受光素子の密度より大きい
    請求項1に記載の撮像装置。
  13. 前記第1波長領域は緑色の波長領域であり、前記第2波長領域は青色の波長領域または赤色の波長領域である
    請求項12に記載の撮像装置。
JP2007338185A 2007-03-22 2007-12-27 撮像装置 Active JP5315574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007338185A JP5315574B2 (ja) 2007-03-22 2007-12-27 撮像装置
US12/050,500 US7579577B2 (en) 2007-03-22 2008-03-18 Image capturing apparatus having a filter section disposed on periphery of a light passing section of a partial wavelength spectrum diaphragm section

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007075605 2007-03-22
JP2007075605 2007-03-22
JP2007338185A JP5315574B2 (ja) 2007-03-22 2007-12-27 撮像装置

Publications (2)

Publication Number Publication Date
JP2008268868A true JP2008268868A (ja) 2008-11-06
JP5315574B2 JP5315574B2 (ja) 2013-10-16

Family

ID=40048393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007338185A Active JP5315574B2 (ja) 2007-03-22 2007-12-27 撮像装置

Country Status (2)

Country Link
US (1) US7579577B2 (ja)
JP (1) JP5315574B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012515480A (ja) * 2009-01-16 2012-07-05 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JPWO2011007461A1 (ja) * 2009-07-16 2012-12-20 株式会社山野光学 開口絞り
JP2013520854A (ja) * 2010-02-19 2013-06-06 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
JP2013172967A (ja) * 2009-07-16 2013-09-05 Yamano Kogaku:Kk 開口絞り
JP2013538479A (ja) * 2010-07-16 2013-10-10 デュアル・アパーチャー・インコーポレーテッド 多開口撮像のためのフラッシュシステム
US9495751B2 (en) 2010-02-19 2016-11-15 Dual Aperture International Co. Ltd. Processing multi-aperture image data
JP2017003749A (ja) * 2015-06-09 2017-01-05 キヤノン株式会社 撮像装置
US9721344B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co., Ltd. Multi-aperture depth map using partial blurring
JP2017181290A (ja) * 2016-03-30 2017-10-05 パイオニア株式会社 撮像装置
JP2019074899A (ja) * 2017-10-16 2019-05-16 カンタツ株式会社 画像撮像装置
US10366475B2 (en) 2015-03-31 2019-07-30 Fujifilm Corporation Imaging device, and image processing method and program for imaging device
WO2020241326A1 (ja) * 2019-05-31 2020-12-03 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152069B2 (en) * 2007-12-28 2012-04-10 Metrologic Instruments, Inc. Dual focus imaging based symbology reading system
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
KR20110140010A (ko) * 2010-06-24 2011-12-30 삼성전자주식회사 근적외광 신호를 이용한 이미지 센서
CN103109158B (zh) * 2010-10-05 2015-03-04 英派尔科技开发有限公司 一种生成深度数据的方法、装置及系统
US9055248B2 (en) * 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
JP6112862B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 撮像装置
BR112017015375A2 (pt) * 2015-01-20 2018-01-16 Eyelock Llc sistema de lentes para aquisição de imagem visível e aquisição de imagem de íris infravermelha de alta qualidade
KR102374116B1 (ko) 2015-09-30 2022-03-11 삼성전자주식회사 전자 장치
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
US20170111557A1 (en) * 2015-10-20 2017-04-20 Google Inc. Camera assembly with filter providing different effective entrance pupil sizes based on light type
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
CN109856754A (zh) * 2019-03-29 2019-06-07 姜志清 一种镜头
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
WO2022054273A1 (ja) * 2020-09-14 2022-03-17 オリンパス株式会社 対物光学系、撮像装置、及び内視鏡

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2005198295A (ja) * 2003-12-31 2005-07-21 Hewlett-Packard Development Co Lp カメラおよび撮像方法
JP2007086434A (ja) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd 撮像装置及び撮像装置の合焦方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4172227A (en) * 1978-07-21 1979-10-23 Becton, Dickinson And Company Flow microfluorometer
JP2000278701A (ja) 1999-03-24 2000-10-06 Sony Corp 赤外線撮像装置
JP2001275021A (ja) 2000-03-28 2001-10-05 Canon Inc 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2005198295A (ja) * 2003-12-31 2005-07-21 Hewlett-Packard Development Co Lp カメラおよび撮像方法
JP2007086434A (ja) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd 撮像装置及び撮像装置の合焦方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012515480A (ja) * 2009-01-16 2012-07-05 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JPWO2011007461A1 (ja) * 2009-07-16 2012-12-20 株式会社山野光学 開口絞り
JP5224078B2 (ja) * 2009-07-16 2013-07-03 株式会社山野光学 開口絞り
JP2013172967A (ja) * 2009-07-16 2013-09-05 Yamano Kogaku:Kk 開口絞り
JP2013520854A (ja) * 2010-02-19 2013-06-06 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
US9495751B2 (en) 2010-02-19 2016-11-15 Dual Aperture International Co. Ltd. Processing multi-aperture image data
JP2013538479A (ja) * 2010-07-16 2013-10-10 デュアル・アパーチャー・インコーポレーテッド 多開口撮像のためのフラッシュシステム
US9721344B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co., Ltd. Multi-aperture depth map using partial blurring
US9721357B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co. Ltd. Multi-aperture depth map using blur kernels and edges
US10366475B2 (en) 2015-03-31 2019-07-30 Fujifilm Corporation Imaging device, and image processing method and program for imaging device
JP2017003749A (ja) * 2015-06-09 2017-01-05 キヤノン株式会社 撮像装置
JP2017181290A (ja) * 2016-03-30 2017-10-05 パイオニア株式会社 撮像装置
JP2021184632A (ja) * 2016-03-30 2021-12-02 パイオニア株式会社 撮像装置
JP2019074899A (ja) * 2017-10-16 2019-05-16 カンタツ株式会社 画像撮像装置
JP7173727B2 (ja) 2017-10-16 2022-11-16 東京晨美光学電子株式会社 画像撮像装置
WO2020241326A1 (ja) * 2019-05-31 2020-12-03 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
JP5315574B2 (ja) 2013-10-16
US7579577B2 (en) 2009-08-25
US20080308712A1 (en) 2008-12-18

Similar Documents

Publication Publication Date Title
JP5315574B2 (ja) 撮像装置
KR101655742B1 (ko) 다중 조리개 촬영용 플래시 시스템
EP3133646A2 (en) Sensor assembly with selective infrared filter array
US9456119B2 (en) Focusing apparatus capable of changing a driving amount of a focus lens based on focus detection results acquired at different focus positions
WO2014065056A1 (ja) 撮像装置、および画像処理方法、並びにプログラム
US11140311B2 (en) Detecting apparatus and detecting method
WO2011141975A1 (ja) 撮像装置
JP2008035282A (ja) 撮像装置と該撮像装置を備えた携帯機器
KR20170110581A (ko) 촬상 소자, 및 전자 장치
CN107960120B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
US10659669B2 (en) Projection display unit
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP2008177903A (ja) 撮像装置
WO2018150925A1 (ja) 焦点検出装置、焦点検出方法、および焦点検出プログラム
WO2018143340A1 (ja) 分光カメラ、撮像方法、プログラム及び記録媒体
JP2011091513A (ja) 撮像システムおよび補正方法
JP2011232615A (ja) 撮像装置
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
WO2015008383A1 (ja) 撮像装置
JP2016218285A (ja) レンズユニットおよび撮像装置
US9906705B2 (en) Image pickup apparatus
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus
US9857663B1 (en) Phase detection autofocus system and method
JP2012168429A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130621

R150 Certificate of patent or registration of utility model

Ref document number: 5315574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250