JP2015133594A - 撮像モジュール及び撮像装置 - Google Patents

撮像モジュール及び撮像装置 Download PDF

Info

Publication number
JP2015133594A
JP2015133594A JP2014003637A JP2014003637A JP2015133594A JP 2015133594 A JP2015133594 A JP 2015133594A JP 2014003637 A JP2014003637 A JP 2014003637A JP 2014003637 A JP2014003637 A JP 2014003637A JP 2015133594 A JP2015133594 A JP 2015133594A
Authority
JP
Japan
Prior art keywords
imaging
spatial light
image
light modulation
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014003637A
Other languages
English (en)
Inventor
俊 三宮
Takashi Sannomiya
俊 三宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014003637A priority Critical patent/JP2015133594A/ja
Priority to US15/101,766 priority patent/US10110811B2/en
Priority to EP15735477.0A priority patent/EP3092788B1/en
Priority to CN201580008026.3A priority patent/CN105981363B/zh
Priority to KR1020167018402A priority patent/KR20160097299A/ko
Priority to PCT/JP2015/050993 priority patent/WO2015105199A1/en
Publication of JP2015133594A publication Critical patent/JP2015133594A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2/00Demodulating light; Transferring the modulation of modulated light; Frequency-changing of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129Coded aperture imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Liquid Crystal (AREA)

Abstract

【課題】撮像素子と、符号化開口パターンによって画像に空間的な変調を付与する空間光変調素子とを一体化した撮像モジュールを用いることにより、撮像素子と空間光変調素子との距離を短く、かつ高精度に配置する撮像装置の提供を目的とする。
【解決手段】入射した光束に空間的な変調を付与して出射する空間光変調素子21と、空間光変調素子21によって空間的な変調を付与された光束を画像情報として取得する撮像素子22と、空間光変調素子21と撮像素子22とを一体化して固定する固定部23とを有し、固定部23は、空間光変調素子21と撮像素子22との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材24を有する撮像装置1。
【選択図】図1

Description

本発明は、符号化開口イメージングを用いた撮像モジュール及び撮像装置に関する。
カメラに代表される撮像装置は、写真撮影などの観賞用の他、産業用計測・物体認識システム、車両の危険検知、防犯用の監視システムなど、幅広く利用されている。これらの利用形態においては、被写体の画像のみならず、距離や視野方向などの空間情報の取得がしばしば要求される。
こうした空間情報の取得が可能な技術としては、撮像素子と符号化開口パターンとを用いて、フーリエ変換に基づく復号処理を施すことにより撮像素子に入射した光束の空間及び入射角度に関する情報を取得する技術が既に知られている(例えば、特許文献1参照)。
また、この符号化開口パターンに再構成可能な、言い換えるとアクティブな空間光変調素子を用いることで、複数種類の符号化開口パターンによる撮影画像から復号処理を行って画質を向上する技術が既に知られている(例えば、特許文献2参照)。
また、このような空間光変調素子に用いられる素子として、液晶素子やその代替技術などが提案されている(例えば、特許文献3、4、非特許文献1参照)。
しかしながら、従来の符号化開口イメージング技術及び符号化開口パターンを用いた撮像装置は、撮像素子と符号化開口パターンが個別に設置されており、光路中に符号化開口パターンを設ける必要がある。また、その他、撮像装置のサイズが大きくなる、可動ミラーなどの光学部品との実装位置の競合が生じる、符号化開口パターンと撮像素子との設置位置に高い精度が要求される、レンズ交換等の光学系の変更に対応できない等の実装上の問題が生じていた。
本発明は、以上のような問題点に鑑みてなされたものであり、撮像素子と、符号化開口パターンによって画像に空間的な変調を付与する空間光変調素子とを一体化した撮像モジュールを用いることにより、撮像素子と符号化開口パターンとの距離を短く、かつ高精度に配置する撮像装置の提供を目的とする。
上述した課題を解決するため、本発明においては、入射した光束に空間的な変調を付与して出射する空間光変調素子と、前記空間光変調素子によって空間的な変調を付与された光束を画像情報として取得する撮像素子と、前記空間光変調素子と前記撮像素子とを一体化して固定する固定部とを有し、前記固定部は、前記空間光変調素子と前記撮像素子との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材を有する。
本発明によれば、撮像素子と符号化開口パターンとの距離を短く、かつ高精度に配置する撮像装置を提供することができる。
本発明の実施形態における撮像装置及び撮像モジュールの全体構成の一例を示す図である。 本発明の実施形態における撮像モジュールの構成の一例を示す図である。 本発明の実施形態における撮像装置の最適化手段の動作の一例を示す図である。 本発明の実施形態における撮像装置の素子駆動部の動作の一例を示す図である。 本発明の実施形態における撮像モジュールの構成の第1の変形例を示す図である。 本発明の実施形態における導光路素子を有する撮像モジュール及び撮像装置の構成の一例を示す図である。 本発明の実施形態における撮像モジュールの構成の第2の変形例を示す図である。 本発明の実施形態における撮像モジュールの構成の第3の変形例を示す図である。 本発明の実施形態における撮像モジュールの構成の第4の変形例を示す図である。 本発明の実施形態における撮像モジュールの構成の第5の変形例を示す図である。
本実施形態における図1に示された撮像装置1は、画像を取得するための撮像モジュール2と、入射した光束を結像して撮像モジュール2に向けて出射する結像光学系3と、結像光学系3からの光路を選択するためのミラー4とを有している。
撮像装置1はまた、視野を確認するためのファインダー6と、ミラー4からファインダー6へと光を偏向させる偏向素子5と、露光時間を決定するシャッター8と、これらの部材を制御するための制御部9とを有している。
撮像モジュール2以外の上述の構成は一般的な一眼レフカメラと同等であるが、ファインダー6とミラー4とを外し、変わりに液晶モニタを備えた所謂ミラーレス一眼レフの構成であっても良い。
図2を用いて、撮像モジュール2の構成を説明する。
撮像モジュール2は、入射した光速に空間的な変調を付与して出射する空間光変調素子21と、空間的な変調を付与された光束を画像情報として取得する撮像素子22と、空間光変調素子21と撮像素子22とを一体化して固定する固定部23とを有している。
撮像モジュール2はまた、空間光変調素子21と撮像素子22とを電気的に接続する配線25と、制御部9からの信号を処理するためのロジック回路13とを有している。
空間光変調素子21は、透過型の液晶デバイスであり、それぞれの位置における透過率を制御部9によって変化させることにより、符号化開口パターン、言い換えるとモザイクパターンを形成することで、入射した光束に空間的な変調を付与する。
撮像素子22は、空間光変調素子21によって空間的な変調を付与された光束を画像情報として取得する撮像面たる光検出器アレイとしてのCCD(Charge Coupled Device)を用いたイメージセンサである。撮像素子22上には複数の光検出器である受光素子たるフォトダイオードが並べて配設された光検出器アレイ28が配置されており、撮像面に入射した光束の強度等の情報を電気信号に変換する。ここではCCDを用いることとしたが、画像情報を取得可能なイメージセンサであれば、CMOS(Complementary Metal-Oxide Semiconductor)センサ等を用いるものであっても良い。
固定部23は、空間光変調素子21と撮像素子22との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材24を有している。
固定部23は、空間光変調素子21と撮像素子22とを一定の間隔で、かつ平行に固定する。ここで固定部23は、ネジなどの固定部材を用いるものであっても、あるいは接着剤等を用いても、あるいは空間光変調素子21と撮像素子22とを一体成型するものであっても良い。
本実施形態においては、ギャップ規定部材24は、開口を設けたSi基板であり、ギャップ規定部材24が固定部23としての機能を有している。ギャップ規定部材24は、空間光変調素子21と撮像素子22との少なくとも一方に接触し、上記開口とSi基板の厚みによって、空間光変調素子21と撮像素子22との間に数mm以下、望ましくは1mm以下の空隙構造、言い換えるとギャップ構造を形成している。
ギャップ規定部材24は、ここでは開口を設けたSi基板としたが、ガラス材料のような透明部材や、ビーズを分散させたガラスフリット材料のような接合部材を用いても良い。
ギャップ規定部材24に透明な部材を用いた場合には、光束の通過を妨げることがないので、ギャップ構造は空隙構造でなくてもよく、空間光変調素子21と撮像素子22との間の距離であるギャップ距離を透明部材の厚みで制御する。
配線25は、ワイヤーボンディングを用いて形成されている。配線25は、空間光変調素子21と、撮像素子22との少なくとも一方を貫いて電気的に接続する貫通配線26であっても良い。この貫通配線26については、後に詳しく説明する。
ロジック回路13は、制御部9からの電気信号に従って動作する、空間光変調パターン生成補助手段あるいは制御補助手段として機能する。
結像光学系3は、撮像素子22上に画像を形成するよう配設された、少なくとも1つ以上のレンズを備えた結像用レンズ群30と、入射光量を調整するための絞り7とを有している。
結像光学系3は、撮像装置1に入射した光束を撮像素子22上に画像を形成するように配設されている。言い換えると、撮像モジュール2よりも光軸方向上流側に、撮像素子22上に焦点が位置するように配置される。
撮像装置1に入射してきた光束は、結像用レンズ群30によって、撮像素子22上に像を結ぶように偏向され、絞り7を通過することで光量が調整される。
結像光学系3を通過した光束は、非撮影時にはミラー4に反射して、偏向素子5を経てファインダー6へと導かれる。撮影時には、ミラー4は結像光学系3からの光束を通過させるよう動作する。このように、ミラー4は光路選択手段たる可動ミラーとして動作する。
ミラー4を通過し、空間光変調素子21に入射した光束は、空間光変調素子21によって空間的な変調を付与される。
素子駆動部たる制御部9は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて空間光変調素子21の透過率分布を制御する。
以下、この透過率分布を制御可能な最小単位をセルと呼ぶ。
空間光変調素子21は、素子駆動部たる制御部9からの電気信号、言い換えると周期的な変調信号に従って、素子上それぞれのセルにおける透過率を変化させることで符号化開口パターンを形成する。
すなわち、空間光変調素子21は、素子上の各セルの透過率を周期的に変化させることで、空間光変調素子21を通過する光束に対して空間的な変調を付与する。
このとき、素子駆動部たる制御部9は、空間光変調パターン生成手段として機能する。
こうした空間透過率分布を用いて、符号化開口パターンを形成する際には、その正弦波の周期に対応する空間周波数位置、すなわちフーリエ変換を行った場合の横軸に、画像自身の持つ有限の空間周波数帯域のスペクトル分布が畳み込み積分の形で複製される。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる(例えば非特許文献1)。
ここで、被写体の空間周波数帯域よりも、隣接する正弦波形の周期に対応する空間周波数の間隔が狭い場合、空間周波数の高周波成分が低周波成分と干渉するエイリアシングが発生する。その結果、画角分離した画像の劣化や、復元した画像へのノイズの重畳などが生じる。これを回避するためには、得られた画像情報の持つ空間周波数の帯域と、空間光変調素子21に与える正弦波形の周期を、エイリアシングが生じない程度まで異ならせる必要がある。
このようにエイリアシングを回避するための処理フローを図3を用いて説明する。
ここで画像特性解析手段、空間光変調パターン生成手段、画質判定手段、復号処理手段12は、本実施形態においてはいずれも制御部9の機能である。
まず、制御部9は、空間的な変調なし、もしくは一定の空間的な変調を行った場合についての初期画像を取得する(ステップS1)。
この初期画像の空間周波数帯域を、画像特性解析手段としての制御部9によって解析する。制御部9は、初期画像の空間周波数帯域を解析することで、空間光変調素子21に印加するのに必要な正弦波の周波数を決定する(ステップS2)。
ついで、空間光変調パターン算出手段あるいは空間光変調パターン生成手段たる制御部9は、かかる処理で得られた正弦波形の周波数に基づいた空間光変調パターンを算出して生成する(ステップS3)。このとき制御部9は符号化開口パターン算出手段あるいは符号化開口パターン生成手段としての機能を有する。ステップS3で得られた空間光変調パターンに基づいて、素子駆動部たる制御部9は空間光変調素子21の透過率を変化させ、再度画像情報を取得する(ステップS4)。
さらに、画質判定手段としての制御部9は、取得された画像情報の画質が十分良好であるかどうか、言い換えると得られた画像情報の空間周波数が、エイリアシングを生じない条件に収まるか否かを判定する(ステップS5)。不十分と判定された場合には、ステップS2に戻って空間周波数の解析に戻って同様の処理を繰り返す、すなわちフィードバック機構によってエイリアシングを生じない条件に画質を最適化する。画質の最適化が終了した時点で、所望の空間情報、この場合には画角分離した画像情報を取得する(ステップS6)。
空間的な変調を付与された光束は、撮像素子22に検出されることで、画像情報として認識される。この画像情報には、周期的な変調信号に従って空間的な変調を付与されたことにより、空間光変調素子21上のどのセルを、どの時間に通過したのかという情報が含まれている。
つまり、画像情報と、当該画像情報が検出された撮像素子22の位置から、撮像素子22に検出された光束の角度情報、言い換えると光束の方向成分の情報が得られる。
このようにして得られた画像情報から、復号処理手段12を用いて空間的な変調を取り除いて画像を再構成することにより、撮像装置を複数台設ける等の特殊な装置構成を必要とせず、距離や方向などの空間情報を含んだ画像を得る。
本実施形態においては、画像内に含まれた特定の被写体をターゲットとして、距離分解能を最適化することで被写体までの距離情報を取得することができる。
こうした空間情報の取得方法を、距離情報の取得を例に図4を用いて説明する。
ただし、複数の画角分離画像から視差情報を算出する手法についてその詳細な説明は適宜省略する。
まず、空間光変調パターン生成手段としての制御部9が、任意の空間光変調パターンを生成する(ステップS21)。制御部9は、ステップS21で生成した任意の空間光変調パターンを用いて画像取得を行い(ステップS22)、複数の画角分離情報を抽出する(ステップS23)。
次に、画像特性解析手段たる距離分解能判定手段としての制御部9は、かかる画角分離された画像情報を解析し、画像内の特定のターゲットたる被写体の局所位置について、距離情報を算出する(ステップS24)。ステップS24で算出された距離情報を用いて、距離分解能判定手段としての制御部9は、得られた画像に所望の分解能が得られているか否かを判定する(ステップS25)。
得られた画像の分解能が不十分である場合には、空間光変調パターン生成手段としての制御部9は、空間光変調パターンを構成する正弦波の周期を再度算出する(ステップS26)。
制御部9は、ステップS26で算出された空間光変調パターンを基に画角分離分解能を変化させることで、再度空間光変調パターンの生成を行って新たな画像を取得する(ステップS27)。
このようなフィードバックループを形成する距離分解能最適化機構によって距離分解能が最適化され、最終的にターゲットとする被写体に適した距離画像を取得する(ステップS28)。
このとき、撮像モジュール2によって得られる光束の角度情報の分解能及び得られる画像情報の視野角は、撮像素子22の大きさと、空間光変調素子21の各セルの大きさと、撮像素子22と空間光変調素子21との間の距離、すなわちギャップ距離とで決定される。
しかしながら、従来の技術では、符号化開口パターンと光検出アレイはそれぞれ独自に設置・制御されており、両者を近接して設置することは困難であった。また、符号化開口パターンとして液晶素子などの能動的にパターンを変えられる構成を用いた場合には、液晶素子に電気的な接続が必須であるが、ワイヤーボンディング等の既知の手法では破損などの恐れがあり、実装上の問題が解決されていない。
このような問題点は、ギャップ距離が比較的大きい場合には問題とされていなかった。
そこで本発明では、空間光変調素子21と撮像素子22とを一体化して固定する固定部と、空間光変調素子21と撮像素子22との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材24とを有している。
このような構成により、空間光変調素子21と撮像素子22とが一体化され、モジュール化されるから、ギャップ距離を短く、撮像素子22と空間光変調素子21との位置を高精度に合わせて、角度分解能が高い高精度な画像情報が得られる。
本実施形態における空間光変調素子21は、周期的にその透過率を変化させる、再構成可能な符号化開口パターンを形成しているが、このような制御には高周波信号がよく用いられる。一般に高周波信号を用いる回路においては、ノイズや信号のロスの抑制のために配線の長さを短くすることが望ましい。
空間光変調素子21を、透過型の液晶デバイスとすることにより、市場流通するデバイスや制御部材がそのまま利用可能であり、上述のような効果に加えて、コストを抑えて空間情報を含んだ画像情報が得られる。
また、空間光変調素子21は、液晶デバイスの他、ウェット毛細管型の空間光変調素子21であっても良い(例えば特許文献3、4、非特許文献1参照)。
ウェット毛細管型の空間光変調素子21は、液体を収容可能な微細空孔構造体と、電気的な信号により微細空孔構造体内部の当該液体の量を調整して光の透過率を制御する透過率制御手段とを有する。
このような構成にすることで、入射する光束の照射領域全てが透明材料によって構成されるから、空間光変調素子21の下層に位置する撮像素子22上の受光素子が全て利用可能となり、画像あるいは空間情報を含んだ画像情報がより高い解像度で取得される。
さらに、高精度を求められる計測においては、空間光変調素子21と撮像素子22との水平位置、回転、平行度等の位置合わせが画素オーダーの精度で行えることが望ましい。
ウェット毛細管型の空間光変調素子21を用いるとすれば、空間光変調素子21と撮像素子22とギャップ規定部材24とが何れも半導体プロセスで製造可能になるから、接着剤等を用いずに撮像モジュール2を一体形成することが容易になる。このような構成により、画素サイズ程度の精度での位置合わせが可能であるから、接着剤等を用いて空間光変調素子21と撮像素子22とを一体化する場合よりも、より高精度かつ高解像度の画像情報を得られる。
空間光変調素子21と撮像素子22とを一定の間隔を維持しながら一体化して固定し、配線25によって電気的な配線を行うから、撮像モジュール2は、実装形態による制約を受けずに空間情報を含んだ画像情報を更に高解像度および/または高精度に取得する。
また本実施形態における撮像装置1は、変調を周期的に変化させるために空間光変調素子を駆動する素子駆動部たる制御部9と、画像情報から該変調を取り除いて画像を再構成する復号処理手段12とを有する。かかる構成により、撮像装置1は、被写体の特性または撮影シーンに応じた最適な符号化開口パターンを形成して、画像ないし空間情報を含んだ画像情報を取得する。
また本実施形態において、素子駆動部たる制御部9は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて、空間光変調素子21を透過した光束に空間的な変調を付与している。
かかる構成により、撮像装置1は、空間光変調素子21に画像から取得される画像特性情報を利用した最適な符号化開口パターンを形成して、被写体の特性や撮像シーンに依存した画像劣化要因を排除された高画質の画像情報を取得する。
また本実施形態において、素子駆動部たる制御部9は、画像情報を解析する画像特性解析手段たる制御部9による解析結果に基づいて空間光変調素子21に付与する変調を周期的に変化させる。
かかる構成により、撮像装置1は被写体の特性または撮像シーンに応じた最適な符号化開口パターンを形成するから、より高精度な画像ないし空間情報を含んだ画像情報を取得する。
一般に、容易に入手可能でコスト低減に効果のある液晶デバイスは、液晶素子のセルあたりのサイズが、光検出器であるフォトダイオードのサイズと比較して非常に大きい。従って、液晶デバイスの透過率を制御して符号化開口パターンとして用いるのみでは、符号化開口パターンと撮像面の解像度が異なるために、光検出器を効率よく利用できないという懸念がある。
このような懸念を解消するための撮像モジュール2の第1の変形例について説明する。
図5に示す撮像モジュール2は、既に説明した図2の撮像モジュール2の構成と比較して、固定部23の構成が異なっている。
固定部23は、空間光変調素子側の面から入射した光束を撮像素子側の面へ誘導するための導光路素子27と、導光路素子27を支持するための支持構造体29と、空間光変調素子21と導光路素子27との間に配置されるギャップ規定部材24とを有している。
導光路素子27は、撮像素子22と空間光変調素子21との間に、空間光変調素子21との間に一定の間隔を持つよう固定して配置され、空間光変調素子21側の面の開口面積と撮像素子22側の面の開口面積とが異なるテイパー形状である。
導光路素子27は、光ファイバーを束ねて作成するファイバープレートを加熱・延伸した後、切断・研磨されたファイバーテイパープレートであり、空間光変調素子21側の面の解像度と撮像素子22側の面の解像度とが異なる。
導光路素子27は、開口面積が狭い面を撮像面たる撮像素子22に接触して固定され、空間光変調素子21に対して数mm以下、望ましくは1mm以下のギャップ構造を形成するギャップ規定部材24を介して空間光変調素子21と一体化して固定されている。
導光路素子27は、このような構成により、撮像面を擬似的に導光路素子27の空間光変調素子21側の面に拡大して、解像度を変える。
従って、空間光変調素子21の画素ピッチが、撮像素子22の画素ピッチより大きく、解像度が異なるような場合であっても、拡大された撮像面によって、空間光変調素子21を擬似的に高解像度化して、より空間分解能の高い画像を得られる。
空間光変調素子21は、電気的な配線25により制御部9と接続されている。
本実施形態においては、導光路素子27は、空間光変調素子21と導光路素子27との間に配置されるギャップ規定部材24によって空間光変調素子21と接続されている。
撮像素子22と導光路素子27とは接触して配置されているが、接触面に境界面での光反射を抑えるためのマッチングオイルを塗布することで、光束の利用効率が向上してより良好な画質での撮像が可能となる。
なお、一般に空間光変調素子21の画素ピッチは、撮像素子22の画素ピッチより大きいため、導光路素子27の開口面積が狭い面を撮像素子22側に向けて配置したが、導光路素子27の開口面積が狭い面を空間光変調素子21側に向けても構わない。
この場合には、導光路素子27は、撮像面を擬似的に導光路素子27の空間光変調素子21側の面に縮小して、撮像素子22を擬似的に高解像度化するため、特に撮像素子22の解像度が粗い場合には、より高解像度の画像を得る。
以上、図5に沿って説明した以外の構成および動作については、図2に示したような撮像モジュール2の構成および動作と同様であるため説明を省略する。
図6に、図5に示した撮像モジュール2を有する撮像装置1の構成例を示す。
図1に示した撮像装置1との差異について説明する。第1の変形例における撮像モジュール2を有する構成においては、擬似的な撮像面が導光路素子27の入射面、すなわち導光路素子27の空間光変調素子21側の面に位置しており、実際の撮像面よりも画素ピッチが拡大されている。
したがって、結像光学系3は、その結像面たる画像形成領域であるイメージサークルを、擬似的な撮像面よりも大きく設定する必要がある。この結像光学系3にかかる制約を満たせば、その他の撮像装置1の構成は図1に示すものと同様であり、様々なカメラ、レンズ交換型のカメラに利用してもよい。
その他、例えば、撮像モジュール2は、図7に示す第2の変形例のように、ウェット毛細管型の空間光変調素子21と固定部23とを同一基板上に一体形成した構成であっても良い。このとき固定部23は、ギャップ規定部材24としての機能を有して空隙構造を形成している。図7のような構成とすることで、空間光変調素子21と撮像素子22との接合に、半導体プロセスでのウェハ接合技術を用いることにより、空間光変調素子21と撮像素子22との間の平行度や位置決め精度が向上する。
ウェハ接合技術としては、ガラスフリット接合や金属による共晶接合などを用いても良い。
さらにこの構成例において、空間光変調素子21はSi熱酸化によるガラス化を用いて作成してもよい。このような構成とすることで、撮像モジュール2をシリコンプロセスのみで製作し、量産コストを低減しながらも、精度が向上する。
なお、空間光変調素子21と撮像素子22との接合に、半導体プロセスでのウェハ接合技術を用いる構成においては、積層した部分での十分な配線スペースの確保が難しい。
従って、空間光変調素子21と撮像素子22との間の電気的な接続は、例えばシリコン貫通ビア(TSV、Through-Silicon via)等の貫通配線26とすることが望ましい。
貫通配線26により、配線実装時の破損等の可能性を低減するとともに、空間光変調素子21や撮像素子22と、これらを制御する基板と、配線との干渉を防止ないしは低減し、実装形態による制約を受けずに空間情報を含んだ画像情報を得られる。
空間光変調素子21と撮像素子22とを一体化することに併せて、貫通配線26によって最短経路で電気的な接続を行うことにより、周期的に空間光変調素子21の透過率を変化させる際のノイズを低減ないしは抑止して、より高精度な画像情報を得られる。
また、図8に示す第3の変形例のように、撮像モジュール2の空間光変調素子21と、撮像素子22と、が固定部23と一体に配置され、ガラス材料等の透明部材で構成されたギャップ規定部材24が内部に配置された構成としても良い。
このような構成によれば、透明部材に接合した状態で空間光変調素子21を加工することで、空間光変調素子21の厚みを薄くして、撮像モジュール2の小型化が図れる。
なお、図8に示すようにギャップ規定部材24と撮像素子22の間に、ガラスフリット材料で構成された接合部材241を配設するとしても良い。
また、図9に示す第4の変形例のように、制御部9を空間光変調素子21上に設けた構成とすれば、透明部材を用いたギャップ規定部材24によってギャップ構造を確保しながらも、回路形成に十分な面積を持たせることができる。
このような構成により、撮像装置1が小型化可能になる。
また、図10に示す第5の変形例のように、撮像素子22を裏面照射型として、裏面側を深堀することで、撮像素子22と空間光変調素子21の間のギャップ距離を維持しながらも、撮像素子22の厚みを薄くできるから、撮像モジュール2の小型化が可能になる。
以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。
例えば、上記実施形態において、撮像装置1は、コンパクトデジタルカメラや、携帯機器搭載の小型カメラのような種々の形態の撮像装置であっても良い。
上述した実施形態によれば、入射した光束に空間的な変調を付与して出射する空間光変調素子と、前記空間光変調素子によって空間的な変調を付与された光束を画像情報として取得する撮像素子と、前記空間光変調素子と前記撮像素子とを一体化して固定する固定部とを有し、前記固定部は、前記空間光変調素子と前記撮像素子との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材を有するから、撮像素子と符号化開口パターンとの距離を短く、かつ高精度に配置して、エイリアシング等の画像の劣化を防ぎながらも、光の空間情報を高解像度且つ高精度に取得可能であることを特徴とする。
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。
1 撮像装置
2 撮像モジュール
3 結像光学系
4 ミラー
6 ファインダー
7 絞り
8 シャッター
9 制御部(素子駆動部)(画像特性解析手段)
12 復号処理手段
13 ロジック回路
21 空間光変調素子
22 撮像素子
23 固定部
24 ギャップ規定部材
25 配線
26 貫通配線
27 導光路素子
28 光検出器アレイ
29 支持構造体
30 結像用レンズ群
241 接合部材
特開2008−191661号公報 特開2008−542863号公報 特開2005−316321号公報 特開2005−316316号公報 ジェラルド・ベニ、ハックウッド(G.Beni,S.Hackwood)著、「アプライドフィジクス、レターズ(Appl.Phys.Lett. Vol.38,Issue4)」(米国)、1981年、p.207−209

Claims (9)

  1. 入射した光束に空間的な変調を付与して出射する空間光変調素子と、
    前記空間光変調素子によって空間的な変調を付与された光束を画像情報として取得する撮像素子と、
    前記空間光変調素子と前記撮像素子とを一体化して固定する固定部とを有し、
    前記固定部は、前記空間光変調素子と前記撮像素子との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材を有する撮像モジュール。
  2. 請求項1に記載の撮像モジュールにおいて、
    前記固定部は、一方の面から入射した光束を他方の面へ誘導するための導光路素子を有し、
    前記導光路素子は、前記撮像素子と前記空間光変調素子との間に、前記空間光変調素子との間に一定の間隔を持つよう固定して配置され、前記一方の面の開口面積と前記他方の面の開口面積とが異なることを特徴とする撮像モジュール。
  3. 請求項1又は2に記載の撮像モジュールにおいて、
    前記空間光変調素子と、前記撮像素子との少なくとも一方を貫いて電気的に接続する貫通配線を有することを特徴とする撮像モジュール。
  4. 請求項1乃至3の何れか1つに記載の撮像モジュールにおいて、
    前記空間光変調素子は、液体を収容可能な微細空孔構造体と、電気的な信号により前記微細空孔構造体内部の前記液体の量を調整して光の透過率を制御する透過率制御手段とを有することを特徴とする撮像モジュール。
  5. 請求項1乃至3の何れか1つに記載の撮像モジュールにおいて、
    前記空間光変調素子は、透過型の液晶デバイスであることを特徴とする撮像モジュール。
  6. 請求項1乃至5の何れか1つに記載の撮像モジュールと、前記撮像素子上に画像を形成する結像光学系とを有する撮像装置。
  7. 請求項6に記載の撮像装置において、
    前記変調を周期的に変化させるために前記空間光変調素子を駆動する素子駆動部と、
    前記画像情報から、前記変調を取り除いて画像を再構成する復号処理手段と、を有することを特徴とする撮像装置。
  8. 請求項7に記載の撮像装置において、
    前記素子駆動部は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて前記変調を付与することを特徴とする撮像装置。
  9. 請求項7又は8に記載の撮像装置において、
    前記素子駆動部は、前記画像情報を解析する画像特性解析手段による解析結果に基づいて前記変調を周期的に変化させることを特徴とする撮像装置。
JP2014003637A 2014-01-10 2014-01-10 撮像モジュール及び撮像装置 Pending JP2015133594A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014003637A JP2015133594A (ja) 2014-01-10 2014-01-10 撮像モジュール及び撮像装置
US15/101,766 US10110811B2 (en) 2014-01-10 2015-01-08 Imaging module and imaging device
EP15735477.0A EP3092788B1 (en) 2014-01-10 2015-01-08 Imaging device
CN201580008026.3A CN105981363B (zh) 2014-01-10 2015-01-08 成像模块以及成像装置
KR1020167018402A KR20160097299A (ko) 2014-01-10 2015-01-08 이미징 모듈 및 이미징 디바이스
PCT/JP2015/050993 WO2015105199A1 (en) 2014-01-10 2015-01-08 Imaging module and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014003637A JP2015133594A (ja) 2014-01-10 2014-01-10 撮像モジュール及び撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018240973A Division JP6737325B2 (ja) 2018-12-25 2018-12-25 撮像モジュール及び撮像装置

Publications (1)

Publication Number Publication Date
JP2015133594A true JP2015133594A (ja) 2015-07-23

Family

ID=53524019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014003637A Pending JP2015133594A (ja) 2014-01-10 2014-01-10 撮像モジュール及び撮像装置

Country Status (6)

Country Link
US (1) US10110811B2 (ja)
EP (1) EP3092788B1 (ja)
JP (1) JP2015133594A (ja)
KR (1) KR20160097299A (ja)
CN (1) CN105981363B (ja)
WO (1) WO2015105199A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912854B2 (en) 2014-06-05 2018-03-06 Ricoh Company, Ltd. Imaging module and imaging apparatus
WO2019131191A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 ワイドコンバージョンレンズ及び撮像装置
WO2019131382A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 撮像装置
WO2022153692A1 (ja) * 2021-01-12 2022-07-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御装置及び制御方法
WO2024090099A1 (ja) * 2022-10-27 2024-05-02 株式会社ジャパンディスプレイ カメラモジュール

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818461B2 (ja) * 2016-08-01 2021-01-20 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法および画像処理プログラム
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序
US11490027B2 (en) * 2020-10-23 2022-11-01 Black Sesame Technologies Inc. Extended dynamic range image capture device based on a coded spatial light transmittance modulator

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0461379A (ja) * 1990-06-29 1992-02-27 Kuraray Co Ltd 撮像素子の製造方法
JP2004184447A (ja) * 2002-11-29 2004-07-02 Olympus Corp 光アドレス型空間光変調器及びそれを用いた顕微鏡装置
JP2008107826A (ja) * 2006-09-29 2008-05-08 Sony Corp エレクトロウエッティング装置とこれを用いた可変焦点レンズ、光ピックアップ装置、光記録再生装置、液滴操作装置、光学素子、ズームレンズ、撮像装置、光変調装置及び表示装置
JP2008542863A (ja) * 2005-05-23 2008-11-27 キネテイツク・リミテツド 符号化開口画像システム
JP2010025927A (ja) * 2008-07-18 2010-02-04 Mitsubishi Electric Research Laboratories Inc 物体の3d形状を求める装置および方法
JP2013535931A (ja) * 2010-08-11 2013-09-12 インビュー・テクノロジー・コーポレイション 圧縮撮像装置の画像取得時間の減少

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4521673B2 (ja) 2003-06-19 2010-08-11 株式会社国際電気通信基礎技術研究所 発話区間検出装置、コンピュータプログラム及びコンピュータ
JP2005316321A (ja) 2004-04-30 2005-11-10 Sharp Corp 表示装置
JP2005316316A (ja) 2004-04-30 2005-11-10 Sharp Corp 表示装置
US7767949B2 (en) 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
WO2006088218A1 (en) 2005-02-21 2006-08-24 Ricoh Company, Ltd. Optical recording medium and recording and reproducing method using the same
US7830561B2 (en) * 2005-03-16 2010-11-09 The Trustees Of Columbia University In The City Of New York Lensless imaging with controllable apertures
US7630132B2 (en) 2005-05-23 2009-12-08 Ricoh Company, Ltd. Polarization control device
US7724347B2 (en) * 2006-09-05 2010-05-25 Tunable Optix Corporation Tunable liquid crystal lens module
US7697187B2 (en) 2006-09-29 2010-04-13 Sony Corporation Electrowetting device and varifocal lens, optical pickup device, optical recording/reproduction device, droplet operation device, optical element, zoom lens, imaging device, light modulating device, and display device using the same
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP2009134243A (ja) 2007-10-30 2009-06-18 Canon Inc 揺動体装置の製造方法、該製造方法により製造された揺動体装置によって構成される光偏向器及び光学機器
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8760542B2 (en) 2010-08-11 2014-06-24 Inview Technology Corporation Compensation of compressive imaging measurements based on measurements from power meter
US8570406B2 (en) 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation
US8717463B2 (en) 2010-08-11 2014-05-06 Inview Technology Corporation Adaptively filtering compressive imaging measurements to attenuate noise
US8717484B2 (en) 2010-08-11 2014-05-06 Inview Technology Corporation TIR prism to separate incident light and modulated light in compressive imaging device
JP6111517B2 (ja) 2011-03-18 2017-04-12 株式会社リコー 光学素子及び光検出デバイス並びに物体検知システム
CN102438102B (zh) * 2011-10-26 2014-06-18 西安电子科技大学 基于压缩编码孔径的超分辨率成像方法
JP2013106217A (ja) * 2011-11-15 2013-05-30 Panasonic Corp 奥行き推定撮像装置
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0461379A (ja) * 1990-06-29 1992-02-27 Kuraray Co Ltd 撮像素子の製造方法
JP2004184447A (ja) * 2002-11-29 2004-07-02 Olympus Corp 光アドレス型空間光変調器及びそれを用いた顕微鏡装置
JP2008542863A (ja) * 2005-05-23 2008-11-27 キネテイツク・リミテツド 符号化開口画像システム
JP2008107826A (ja) * 2006-09-29 2008-05-08 Sony Corp エレクトロウエッティング装置とこれを用いた可変焦点レンズ、光ピックアップ装置、光記録再生装置、液滴操作装置、光学素子、ズームレンズ、撮像装置、光変調装置及び表示装置
JP2010025927A (ja) * 2008-07-18 2010-02-04 Mitsubishi Electric Research Laboratories Inc 物体の3d形状を求める装置および方法
JP2013535931A (ja) * 2010-08-11 2013-09-12 インビュー・テクノロジー・コーポレイション 圧縮撮像装置の画像取得時間の減少

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912854B2 (en) 2014-06-05 2018-03-06 Ricoh Company, Ltd. Imaging module and imaging apparatus
WO2019131191A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 ワイドコンバージョンレンズ及び撮像装置
WO2019131382A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 撮像装置
JPWO2019131382A1 (ja) * 2017-12-26 2021-01-07 富士フイルム株式会社 撮像装置
US11288780B2 (en) 2017-12-26 2022-03-29 Fujifilm Corporation Imaging apparatus
WO2022153692A1 (ja) * 2021-01-12 2022-07-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御装置及び制御方法
WO2024090099A1 (ja) * 2022-10-27 2024-05-02 株式会社ジャパンディスプレイ カメラモジュール

Also Published As

Publication number Publication date
EP3092788B1 (en) 2019-07-31
CN105981363B (zh) 2019-07-19
KR20160097299A (ko) 2016-08-17
US20160316142A1 (en) 2016-10-27
WO2015105199A1 (en) 2015-07-16
EP3092788A1 (en) 2016-11-16
EP3092788A4 (en) 2016-11-16
CN105981363A (zh) 2016-09-28
US10110811B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
JP2015133594A (ja) 撮像モジュール及び撮像装置
US11282882B2 (en) Focus detecting device and electronic device
JP5842146B2 (ja) 固体撮像装置、撮像装置、及び分光素子
JP5923755B2 (ja) 奥行き推定撮像装置および撮像素子
KR102119289B1 (ko) 샘플 검사 및 검수 시스템 및 방법
JP2013124985A (ja) 複眼式撮像装置および測距装置
US11297271B2 (en) Image sensor and image capture apparatus
JP6004280B2 (ja) ライトフィールド撮像装置および撮像素子
JP6729960B2 (ja) カメラモジュール調整装置及びカメラモジュール調整方法
JP2008046163A (ja) 撮像装置
CN107026992A (zh) 图像传感器和摄像设备
JP6737325B2 (ja) 撮像モジュール及び撮像装置
US9588260B2 (en) Microlens substrate and imaging apparatus
JP2019164325A (ja) 光源システム、光学回折素子製造方法、および測距システム、ならびに光学回折素子
JP2009086144A (ja) 撮像装置及びそれを有する撮像機器
JP6238548B2 (ja) 撮像装置及びその制御方法、交換レンズ及びその制御方法、及び、撮像システム及びその制御方法
US9912854B2 (en) Imaging module and imaging apparatus
KR101133653B1 (ko) 기판 검사장치 및 이를 이용한 기판 검사방법
JP2016046564A (ja) 撮像装置
JP2015161904A (ja) 光学素子、撮像素子および撮像装置
JP2010139787A (ja) 撮像装置
JP2016157025A (ja) 焦点検出装置
JP2008233587A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180925