JP2017009793A - 撮像装置および撮像システム - Google Patents

撮像装置および撮像システム Download PDF

Info

Publication number
JP2017009793A
JP2017009793A JP2015124769A JP2015124769A JP2017009793A JP 2017009793 A JP2017009793 A JP 2017009793A JP 2015124769 A JP2015124769 A JP 2015124769A JP 2015124769 A JP2015124769 A JP 2015124769A JP 2017009793 A JP2017009793 A JP 2017009793A
Authority
JP
Japan
Prior art keywords
polarization
imaging
axis
transmission axis
variable element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015124769A
Other languages
English (en)
Other versions
JP2017009793A5 (ja
JP6671872B2 (ja
Inventor
理絵 石松
Rie Ishimatsu
理絵 石松
和彦 桃木
Kazuhiko Momoki
和彦 桃木
山口 裕
Yutaka Yamaguchi
裕 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015124769A priority Critical patent/JP6671872B2/ja
Priority to US15/189,037 priority patent/US10712636B2/en
Publication of JP2017009793A publication Critical patent/JP2017009793A/ja
Publication of JP2017009793A5 publication Critical patent/JP2017009793A5/ja
Application granted granted Critical
Publication of JP6671872B2 publication Critical patent/JP6671872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/281Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288Filters employing polarising elements, e.g. Lyot or Solc filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3025Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Accessories Of Cameras (AREA)

Abstract

【課題】被写体や撮像条件が制限されることなく、撮像後に撮像画像の偏光情報を取得可能とする偏光取得装置を提供する。【解決手段】偏光取得装置10は、交換レンズ20と撮像装置30を含む撮像システムに偏光を用いた撮像を行わせる。偏光取得装置10は、偏光透過軸の方位が可変である偏光軸可変素子11と、偏光透過軸の方位が変化するように偏光軸可変素子を動作させる駆動手段12,13とを有する。駆動手段は、撮像装置による複数の撮像において偏光透過軸の方位として少なくとも3つの方位が含まれるように偏光軸可変素子を動作させる。【選択図】図7

Description

本発明は、撮像画像から偏光情報を取得するために用いられる偏光取得装置に関する。
撮像光路上に偏光フィルタを設けてこれを回転させることで被写体からの反射光量を調整することができる。例えば、水面下の被写体を撮像する際に偏光フィルタによって水面での反射光を除去することで、被写体がクリアに写った画像を取得することができる。また、樹木を撮像する際に偏光フィルタによって葉からの反射光を抑制することで、色鮮やかな画像を取得することができる。
特許文献1には、カメラと交換レンズとの間に装着され、偏光フィルタとこれを手動で回転させる機構とを備えた中間鏡筒が開示されている。また、特許文献2には、偏光フィルタを回転または光路に対して挿抜することで偏光フィルタ効果の度合いを変えながら複数の撮像画像を取得するカメラが開示されている。
一方、特許文献3には、撮像画像から取得した偏光情報を利用して該撮像画像から鏡面反射成分を除去することが可能なカメラが開示されている。さらに、特許文献4には、複数の画素に互いに異なる偏光方向の偏光を入射させるワイヤーグリッド偏光子を設けることで、互いに異なる複数の偏光情報を抽出できるようにした撮像素子が開示されている。
特開2011−191469号公報 特開2009−232347号公報 特開平11−41514号公報 特開2012−80065号公報
しかしながら、特許文献1,2にて開示された偏光フィルタでは、1つの撮像画像に対する偏光フィルタ効果を一様にしか調節することしかできず、画像中の異なる領域に対して異なる偏光フィルタ効果を得ることができない。また、撮像後に撮像画像に対する偏光フィルタ効果を調整することは不可能である。
また、特許文献3,4にて開示されたカメラでは、偏光情報を取得するための専用のカメラや照明光を用いる必要がある。この結果、被写体や撮像条件が制限される。
本発明は、被写体や撮像条件が制限されることなく、撮像後に撮像画像の偏光情報を取得可能とする偏光取得装置およびこれを用いて撮像画像とは異なる画像を生成可能な撮像装置等を提供する。
本発明の一側面としての偏光取得装置は、交換レンズと撮像装置を含む撮像システムに偏光を用いた撮像を行わせる。偏光取得装置は、偏光透過軸の方位が可変である偏光軸可変素子と、偏光透過軸の方位が変化するように偏光軸可変素子を動作させる駆動手段とを有する。駆動手段は、撮像装置による複数の撮像において偏光透過軸の方位として少なくとも3つの方位が含まれるように偏光軸可変素子を動作させることを特徴とする。
なお、上記偏光取得装置を用いて撮像を行う撮像装置であって、偏光軸可変素子の偏光透過軸の方位を少なくとも3つの方位にして複数の撮像を行うことで複数の撮像画像を生成する撮像装置も、本発明の他の一側面を構成する。
本発明によれば、被写体や撮像条件が制限されることなく、撮像後に撮像画像の偏光情報を取得可能とする偏光取得装置を実現することができる。そして、この偏光取得装置を用いて取得した偏光情報を用いれば、撮像画像とは異なる画像を生成することも可能となる。
本発明の実施例1である偏光情報取得装置の撮像システムへの装着例を示す図。 実施例1の偏光情報取得装置に用いられる偏光軸可変素子の例を示す図。 図2の偏光軸可変素子の軸方位を示す図。 図2の偏光軸可変素子を透過する光の強度を示す図。 入射偏光状態と角度に対する光強度を示す図。 測定例を示す図。 本発明の実施例2である撮像装置の構成を示す図。 取得画像の例を示す図。 偏光情報bを用いて生成した画像の例を示す図。 偏光情報a−bを用いて生成した画像の例を示す図。 偏光情報aを用いて生成した画像の例を示す図。 α,a,bを用いてθを異ならせて生成した画像の例を示す図。
以下、本発明の実施例について図面を参照しながら説明する。
図1(a),(b)には、本発明の基本的な実施形態である実施例1としての偏光取得装置10のレンズ交換型撮像システム(以下、カメラシステムという)100での使用例を示している。カメラシステム100は、撮像装置としてのデジタルカメラボディ30と交換レンズ20とを有する。偏光取得装置10は、例えば図1(a)に示すように、カメラボディ30と交換レンズ20との間に装着される。また、例えば図1(b)に示すように、交換レンズ20の前端(物体側の端部)に装着される。
また、偏光取得装置10は、カメラボディ30および交換レンズ20のうち少なくとも一方に対する着脱を可能とするマウントを備えることが望ましい。このようなマウントを備えることにより、ユーザは、必要に応じて、様々な機種のカメラボディ30や交換レンズ20に対して偏光取得装置10を装着することができる。すなわち、被写体や撮像条件の制限を受けることなく、カメラボディ30と交換レンズ20を用いた撮像により取得可能なすべての撮像画像における偏光情報を取得することができる。さらに、取得した偏光情報を利用して撮像画像とは異なる質感を有する画像を生成することもできる。
偏光取得装置10は、1または複数の後述する偏光軸可変素子とその状態を変化させる駆動部と、該駆動部を制御する制御部とを有する。駆動部と制御部とによって、偏光軸可変素子を動作させる駆動手段が構成される。
偏光軸可変素子は、その偏光透過軸(以下、単に透過軸ともいう)の方向に平行な偏光方向、すなわち偏光軸を有する偏光を透過し、他の偏光軸を有する偏光の透過を阻止する。また、駆動部は、偏光軸可変素子の状態を変化させることによって透過軸の方位(つまりは透過する偏光の偏光軸)を交換レンズ20の光軸回りにおいて、言い換えれば該光軸に直交する面内(図1の紙面に垂直な面内)において変更することができる。
偏光軸可変素子の構成は特に限定されないが、最も簡単には、透過軸の方向に平行な偏光軸を有する直線偏光を透過する偏光板を用いる構成がある。偏光板を用いる場合には、駆動部によって偏光板を交換レンズ20の光軸回りで回転動作させることにより、該偏光板の透過軸の方位を変えることができる。
また、図2に示す構成を有する偏光軸可変素子11を用いてもよい。この偏光軸可変素子11は、位相差量を変えられる波長板(可変位相板)2を用いている。図2中のz軸は交換レンズ20の光軸が延びる方向(光軸方向)を示している。xy平面はz軸に直交する面であり、x軸およびy軸は互いに直交している。また、図2において、左側が偏光軸可変素子に対する光入射側(被写体側)を示し、右側が光射出側(像側)を示す。
図2の偏光軸可変素子11は、光入射側(被写体側)から順に配置された、1/4λ板1と可変位相板2と偏光板3とにより構成される。1/4λ板1と偏光板3は、1/4λ板1の遅相軸または進相軸(以下、これらをまとめて主軸という)が偏光板3の偏光透過軸と平行になるように配置される。なお、ここにいう「平行」とは、厳密な平行だけではなく、平行とみなせる程度に厳密な平行からずれた関係も含む。また、1/4λ板1と可変位相板2は、1/4λ板1の主軸が可変位相板2の主軸(遅相軸または進相軸)に対して傾くように(45度をなすように)配置される。ここにいう「45°」についても、厳密な45°だけではなく、45°とみなせる程度に厳密な45°からずれた関係も含む。
図3には、1/4λ板1、可変位相板2および偏光板3の配置例を示している。この配置例では、1/4λ板1の主軸(破線で示す)と偏光板3の偏光透過軸(点線で示す)とが90度方位(y軸方位)に延び、1/4λ板1の主軸と可変波長板2の主軸(一点鎖線で示す)が互いに45度をなしている。
このとき、可変位相板2の位相差Δλと偏光軸可変素子の透過軸の方位θは、
θ=90−Δ×180(度)
なる関係を満たす。例えば、位相差が0λ、1/4λ、1/2λおよび3/4λのときにはそれぞれ、透過軸は90度、45度、0度および−45度となる。このため、可変位相板2の位相差を変える(つまりは偏光軸可変素子の状態を変化させる)ことで偏光軸可変素子の透過軸の方位を変えることができる。
以下、位相差と透過軸の方位との関係について説明する。ここでは例として、可変位相板2の位相差が1/4λの場合(透過軸の方位が45度の場合に相当する)を示す。図4には、偏光方位が90度、45度、0度および−45度の直線偏光が偏光軸可変素子に入射した際の透過光の強度を示している。なお、図4において、可変位相板2の位相差は1/4λであり、入射光の偏光方位は図4(a),(b),(c)および(d)でそれぞれ、90度、45度、0度および−45度(135度)である。また、図4では、図の紙面下側が光入射側を、紙面上側が光射出側をそれぞれ示し、図中の破線矢印は、1/4λ板1の主軸方向、可変位相板2の主軸方向、偏光板3の透過軸方向をそれぞれ示す。
図4(a)に示す入射光の偏光方位が90度である場合は、入射光の偏光方位と1/4λ板1の主軸方向とが一致しているため、入射光は位相差による影響を受けずに1/4λ板1を透過する。可変位相板2の主軸と1/4λ板1を通過した光の偏光方位とは45度の角度をなすため、1/4λ板1を透過した光は可変位相板2を通過する際に位相差が付与されて円偏光に変換される。円偏光に変換された光のうち偏光板3の透過軸に一致する偏光成分のみが該偏光板3を透過する。このため、表面反射や吸収による損失を無視すると、偏光軸可変素子に入射した偏光の50%が該偏光軸可変素子を透過する。同様に、入射偏光方位を45度、0度および−45度(135度)に変えた状態を示す図4(b),(c)および(d)の場合はそれぞれ、理想的には100%、50%および0%の光が透過する。これにより、可変位相板2の位相差が1/4λのときには、透過軸が45度の方位にある偏光板3を透過する際と同等の強度で入射光が通過することがわかる。つまり、位相差が1/4λのときは、この偏光軸可変素子の透過軸の方位を45度とみなすことができる。
可変位相板2の位相差を0λ、1/2λおよび3/4λに変えると、同様に、偏光軸可変素子の透過軸の方位は、90度、0度および−45度(135度)と変化する。つまり、可変位相板2の位相差Δλ(nm)と透過偏光方位θ(deg)は、先に示した、
θ=90−Δ×180(deg)
なる関係を満たす。
偏光軸可変素子に可変位相板を用いる場合には、駆動部は、偏光軸可変素子の透過軸の方位を変えるために、該偏光軸可変素子に含まれる光学素子の状態を変える機能を有する。例えば、可変位相板2として液晶素子を用いる場合には、駆動部は電圧によって液晶の配向方向を制御して位相差を変えることによって透過軸の方位を変えることができる。
なお、駆動部を制御するための構成は特に限定されない。例えば、カメラボディ30からの制御信号に応じて駆動部を制御することができる。このためには、カメラボディ30からの制御信号を受信する通信部と、制御信号に応じて駆動部を制御する制御部とを偏光取得装置10が備えることが必要になる。通常は、カメラボディ30と交換レンズ20とは、マウントに設けられた電子接点を通じて交換レンズ20を制御する制御信号や交換レンズ20の状態に関する情報等を通信している。このため、偏光取得装置10にも通信部として電子接点を設け、カメラボディ30や交換レンズ20と通信を行えるようにすればよい。また、電子接点を設けなくても、Wi−Fi等の無線LAN用の送受信部としての通信部を偏光取得装置10とカメラボディ30に設けることで、これらの間で通信ができるようにしてもよい。
カメラボディ30からの制御信号は、例えばユーザによる撮像指示ボタンの操作(レリーズ操作)により発生する撮像開始信号としてのレリーズ信号を利用することができる。レリーズ信号を受信するごとに偏光軸可変素子の透過軸の方位を変化させて撮像を行ったり、1つのレリーズ信号に応じて透過軸を予め決められた複数の方位に変化させながら複数回の撮像を行ったりしてもよい。この際、偏光取得装置10から透過軸の方位(透過する偏光の偏光方位)の情報をカメラボディ30に送信し、取得される撮像画像と透過軸の方位の情報とを関連付けて保存することが好ましい。また、透過軸の方位を変えながら行った複数回の撮像により取得された複数の撮影画像をひとまとまりとして、透過軸の方位の情報と関連付けて保存してもよい。
本実施例では、少なくとも異なる3つ以上の透過軸の方位で撮像を行い、取得した3つ以上の撮像画像(画像データ)から偏光情報を取得する。以下、本実施例における偏光情報の取得の原理について説明する。
例として、被写体からの反射光が図5(a),(b)に示すように表現できる場合を考える。図5(a)中の楕円は偏光の振幅の方位依存性を示す。また、図5(b)はx軸からの角度θに対する偏光の光強度I(θ)を示す。図5(a)中の破線は楕円の長軸および短軸を示しており、αは長軸とx軸とのなす角度(方位)である。また、矢印は、長軸方向および短軸方向での振幅を表している。さらに、矢印で表された振幅の2乗が偏光の光強度であり、図5(b)中のa(最大偏光強度),b(最小偏光強度)に対応している。方位α(最大偏光強度を与える偏光方位)および偏光強度a,bが偏光情報に相当する。
この例では、x軸に対してα=30度の方位に振動する偏光の光強度が最も強い状態を示す。ここで、光強度I(θ)は、θに対して、以下の式(1)を満たす。
このため、偏光軸可変素子の透過軸の方位を3つ以上変えて光強度を測定すれば(つまり撮像画像を取得すれば)、α,aおよびbを求めることができる。例えば、図6には偏光軸可変素子の透過軸の方位がθ=0度、45度および90度であるときにそれぞれ測定される光強度I(θ)を示す。なお、I(θ)は、式(1)から分かるように180度周期で変化する。このため、α,a,bを取得するためには、0度以上180未満の角度θで表現したときに、互いに異なる少なくとも3つの透過軸の方位で画像データを取得する必要がある。
一方、この条件を満たせば、取得するθには特に制限はない。このため、撮像前の画像を確認しながら透過軸の方位(偏光方位)を調整する作業は必要なく、予め決められた条件で自動的に上記3つ以上の画像データを取得するための撮像を行うことができる。なお、一般に偏光は光強度と振幅の情報を有するが、本実施例では、方位αと光強度a,bの情報を偏光情報として取得する。また、取得した偏光情報α,a,bは、単独で保存してもよいが、それを算出するために使用した画像データと関連付けて保存するのがより好ましい。
このように、本実施例の偏光取得装置10を用いることで、被写体や撮像条件が制限されることなく、撮像後に撮像画像の偏光情報を取得することができる。
また、取得した偏光情報α,a,bを用いて撮像画像とは質感が異なる画像(以下、質感変更画像ともいう)を生成することができる。ここでの質感とは、被写体からの反射光を意味する。以下、質感変更画像の生成にあたっての偏光情報と反射光との関係について説明する。
物体からの反射光は、物体の表面にて直接反射する鏡面反射成分と、物体の内部や表面で散乱して反射する散乱成分とに分けられる。鏡面反射成分は、被写体の表面にてフレネル反射の条件を満たして反射する。フレネル反射では、一部の条件を除いてS偏光の強度がP偏光の強度よりも強くなる。このため、鏡面反射成分は、偏光の強度が方位によって変化する、つまり方位依存性を持つ。一方、拡散成分は、被写体に入射した光がさまざまな方向に反射するため、方位依存性はない。そこで、本実施例では、取得した偏光情報のうち方位θに対して変化する成分「a−b」を鏡面反射成分とみなし、強度が変化しない成分「b」を散乱成分とみなして、鏡面反射成分や散乱成分を目的に応じて演算して質感変更画像を生成する。これにより、専用の照明光を用いることなく、撮像画像とは反射光(つまりは質感)が異なる画像を生成することができる。
なお、撮像画像から偏光情報α,a,bを求める処理や偏光情報を利用して質感変更画像を生成する処理は、カメラボディ30内に設けられた画像処理部で行ってもよいし、PC等のカメラボディ30とは別の画像処理装置が行ってもよい。
次に、実施例1で説明した実施形態をより具体的に実施例2として説明する。図7(a)には、実施例1で説明した(後により詳細に説明する)偏光取得装置10が用いられる撮像装置を構成するカメラボディ30と交換レンズ20の内部構成を示している。
交換レンズ20とカメラボディ30は、交換レンズ20をカメラボディ30に対して着脱可能に装着するためのマウント42,43を備えている。交換レンズ20は、撮像光学系としての撮像レンズ21と、レンズ駆動部22と、レンズ制御部23とを備えている。撮像レンズ21は、被写体からの光(反射光)を結像させて被写体像を形成する。レンズ駆動部22は、撮像レンズ21のフォーカシング駆動や絞り駆動等を行う。レンズ制御部23は、レンズ駆動部22の動作を制御する。
一方、カメラボディ30は、撮像素子35と、カメラ制御部31と、情報記録部32とを備えている。撮像素子35は、撮像レンズ21により形成された被写体像を撮像(光電変換)するCCDセンサやCMOSセンサ等の光電変換素子である。カメラ制御部31は、撮像素子35に撮像動作を行わせたり、撮像素子35の出力信号から撮像画像を生成したりする。情報記録部32は、カメラ制御部31にて生成された撮像画像(画像データ)を記録する。
また、レンズ制御部23とカメラ制御部31は、マウント42,43に設けられた通信接点52,53を介してレンズ情報や制御信号を相互に通信する。
図7(b)には、カメラボディ30と交換レンズ20との間に偏光取得装置10が装着されたときのレンズ交換型システムの内部構成を示している。偏光取得装置10に設けられたマウント41aが交換レンズ20のマウント42に着脱可能に装着され、偏光取得装置10に設けられたマウント41bがカメラボディ30のマウント43に着脱可能に装着されている。
偏光取得装置10は、偏光軸可変素子11と、駆動部12と、制御部13とを有する。実施例1でも述べたように、駆動部12と制御部13は駆動手段に相当する。駆動部12は、偏光軸可変素子11の透過軸の方位を変化させるように該偏光軸可変素子11を動作させる。制御部13は、この駆動部12の動作、つまりは偏光軸可変素子11の動作を制御する。また、制御部13は、マウント41a,41bに設けられた通信接点51a,51bと交換レンズ20およびカメラボディ30の通信接点52,53とを介してレンズ制御部23およびカメラ制御部31と各種情報を通信する。さらに、制御部13は、レンズ制御部23とカメラ制御部31との間の通信を中継する。これにより、図7(a)のように偏光取得装置10を装着することなく撮像を行ったり、図7(b)に示すように偏光取得装置10を装着して撮像を行ったりすることができる。
偏光軸可変素子11は、図2に示したように、1/4λ板1と、可変位相板2と、偏光板3とにより構成されている。可変位相板2は、VA(Vertical Alignment)タイプの液晶素子により構成されている。駆動部12により可変位相板2に印加する電圧を制御することで、液晶分子の配向方向を変化させるように可変位相板2を動作させることができ、可変位相板2の位相差を0λ、1/4λおよび2/λに変えることができる。これにより、透過軸の方位を90度(第1の方位)、45度(第2の方位)および0度(第3の方位)に変えることができる。さらに、本実施例のカメラボディ30は、撮像モードとして、1回のレリーズ操作に対して1回の撮像を行う第1の撮像モードと、1回のレリーズ操作に対して3回(複数)の撮像を行う第2の撮像モードとを有する。
第1および第2の撮像モードでの偏光取得装置10の動作について説明する。ここでは偏光情報の取得に必要な偏光取得装置10の動作についてのみ説明し、偏光情報の取得とは関係がない動作、すなわち交換レンズ20とカメラボディ30間での通信やカメラボディ30による交換レンズ20の制御等を中継する動作については説明を省略する。
まず、第2の撮像モードについて説明する。第2の撮像モードでは、1回のレリーズ操作に応じて、偏光情報を取得するのに必要な3つの撮像画像を取得する。カメラ制御部31からレリーズ操作により発生するレリーズ信号を受信した制御部13は、透過軸の方位を初期方位(第1の方位)に設定する。なお、初期方位は、偏光軸可変素子11の駆動のために必要なエネルギーが最も小さく済む方位が好ましい。本実施例では、位相差が0λとなる透過軸の方位90度を初期方位とする。初期方位の設定が完了すると、制御部13は、透過軸の初期方位とその設定の完了を示す情報をカメラ制御部31に送信する。この情報を受け取ったカメラ制御部31は1回目の撮像動作を行う。
レリーズ信号は、2段階操作が可能な撮像指示ボタンが全押し操作されたときに発生する信号を示す。撮像指示ボタンが半押し操作された場合は、制御部13は、透過軸の方位を初期方位に設定し、該初期方位とその設定完了を示す情報をカメラ制御部31に送信するが、撮像動作は開始せずにその状態を一定時間保持する。この半押し操作に応じて初期方位が設定された後の一定時間内に撮像指示ボタンが全押し操作されるとカメラ制御部31は撮像動作を開始する。一方、一定時間内に全押し操作がされなかった場合には、制御部13は、再度、透過軸を初期方位に設定することから動作を行う。これにより、撮像指示ボタンが半押し操作された後の一定時間内に撮影指示ボタンの全押し操作がなされない場合に偏光取得装置10に対する通電が停止された場合でも、偏光情報の取得が可能となる。
1回目の撮像動作が終了すると、カメラ制御部31は、制御部13に対して撮像動作の終了を示す情報を送信する。撮像動作が終了した情報を受信した制御部13は、透過軸の方位を第2の方位に設定し、該第2の方位とその設定の完了を示す情報をカメラ制御部31に送信する。この情報を受け取ったカメラ制御部31は2回目の撮像動作を行い、これが終了するとその情報を制御部13に送信する。2回目の撮像動作が終了した情報を受信した制御部13は、透過軸の方位を第3の方位に設定し、該第3の方位とその設定の完了を示す情報をカメラ制御部31に送信する。この情報を受け取ったカメラ制御部31は3回目の撮像動作を行う。
そして、カメラ制御部31は、3回の撮像動作により取得した3つの撮像画像と、制御部13から受信した第1から第3の方位を示す情報とを互いに関連付けて情報記録部32に保存する。
次に、第1の撮像モードについて説明する。第1の撮像モードでは、第2の撮像モードでの動作を分割して実行する。偏光取得装置10は、その内部のメモリ(図示せず)に透過軸の方位の情報を保持する。カメラボディ30においてユーザにより第1の撮像モードが選択されると、カメラ制御部31はその情報を制御部13に送信する。この情報を受信した制御部13は、メモリに初期方位(第1の方位)の情報を保存し、偏光軸可変素子11の透過軸の方位をメモリに保存された初期方位に一致するように(つまり初期方位となるように)設定して、一定時間保持する。
一定時間内に撮像指示ボタンの全押し操作がなされると、カメラ制御部31は撮像動作を行い、撮像動作が終了すると、撮像画像とメモリに保存された初期方位の情報とを関連付けて保存する。また、カメラ制御部31は、制御部13に対して撮像動作の終了を通知する。この通知を受けた制御部13は、次の撮像に備えて、偏光軸可変素子11の透過軸の方位を第2の方位に変更し、その状態を一定時間維持するとともに、メモリに第2の方位の情報を保存する。
上記一定時間内に撮像指示ボタンの全押し操作がなされた場合は、カメラ制御部31は撮像動作を行い、撮像動作が終了すると、撮像画像とメモリに保存された第2の方位の情報とを関連付けて保存する。また、カメラ制御部31は、制御部13に対して撮像動作の終了を通知する。この通知を受けた制御部13は、次の撮像に備えて、偏光軸可変素子11の透過軸の方位を第3の方位に変更し、その状態を一定時間維持するとともに、メモリに第3の方位の情報を保存する。そして、一定時間内にレリーズ信号を検知したカメラ制御部31は撮像動作を行い、撮像動作が終了すると、撮像画像とメモリに保存された第3の方位の情報とを関連付けて保存する。また、制御部13は、透過軸の方位を初期条件に変更する。
一方、上記一定時間内に撮像指示ボタンの全押し操作がなされなかった場合は、カメラ制御部31は、偏光取得装置10への通電を停止させる。第1の撮像モードのまま一定時間経過後に撮像指示ボタンの全押し操作がなされた場合には、第1の撮像モードが新たに選択された際と同様にメモリに初期方位を保存するとともに偏光軸可変素子11の透過軸の方位を初期方位に設定する。これにより、上記一定時間内に撮像指示ボタンの全押し操作がなされなかった場合には、次の撮像は初期方位が設定された状態から行われる。
このように、第1および第2の撮像モードのいずれにおいても、偏光情報を取得するためには3回の撮像が必要となる。3回の撮像により取得された3つの撮像画像は、偏光情報を取得するのに利用されるほか、そのまま記録用画像として利用することもできる。
図8(a),(b)および(c)には、上記3回の撮像により取得された3つの撮像画像の例を示す。図8(a),(b)および(c)はそれぞれ、可変位相板2の位相差がそれぞれ0λ、1/4λおよび1/2λである場合、つまりは透過軸の方位が90度、45度および0度のときの撮像画像である。また、これら撮像画像は実際にはカラー画像であるが、図8(a)〜(c)では該カラー画像を白黒画像に変換して示している。このことは、後述する図9〜図12に示す画質偏変更画像についても同じである。
図8(a)〜(c)に示した撮像画像から偏光情報α,a,bを算出し、この偏光情報を利用して生成した画質変更画像を図9から図12に示す。図9は散乱成分bを利用して生成した画質変更画像を示す。また、図10は鏡面反射成分a−bを利用して生成した画質変更画像を示す。図11(a),(b)および(c)はそれぞれ、散乱成分bに対して鏡面反射成分a−bの50%、100%および150%を加えた画質変更画像を示す。つまり、画質変更画像の画素値IをI=x・(a−b)+bとして、x=0.5、1.0および1.5として算出した画像である。
図8に示した撮像画像と図9〜図11に示した画質変更画像とを比較すると分かるように、画質変更画像は被写体の表面の光沢感が撮像画像とは異なる画像となる。
また、図12(a)〜(f)には、式(1)のθを0度、30度、60度、90度、120度および150度に変えて得られた偏光情報を用いて生成した画質変更画像を示す。θを変えて得られた偏光情報を用いて画質変更画像を生成することで、撮像画像の取得時とは異なる任意の透過軸の方位での画質変更画像を生成することができる。
なお、図10〜図12では、画像全体で同じ処理を行って生成した画質変更画像を示しているが、画像内の領域によって処理を変えることも可能である。例えば、1つの画像内に複数の被写体が存在する場合に、被写体ごとに処理を変えてもよい。
また、本実施例では可変位相板2としてVAタイプの液晶素子を用いた場合について説明したが、可変位相板2に求められる特性に応じて異なるタイプの液晶素子を用いてもよい。例えば、TNタイプやOCBタイプの液晶素子を用いてもよい。
また、本実施例では、撮像画像の取得において偏光軸可変素子11の透過軸の方位を90度、45度および0度の3つに設定する場合について説明したが、他の方位や3つ以上の方位を設定して撮像画像を取得してもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
1 1/4λ板
2 可変位相板
3 偏光板
10 偏光取得装置
11 偏光軸可変素子
12 駆動部
13 制御部
20 交換レンズ
30 カメラボディ

Claims (12)

  1. 交換レンズと撮像装置を含む撮像システムに偏光を用いた撮像を行わせる偏光取得装置であって、
    偏光透過軸の方位が可変である偏光軸可変素子と
    前記偏光透過軸の方位が変化するように前記偏光軸可変素子を動作させる駆動手段とを有し、
    前記駆動手段は、前記撮像装置による複数の撮像において前記偏光透過軸の方位として少なくとも3つの方位が含まれるように前記偏光軸可変素子を動作させることを特徴とする偏光取得装置。
  2. 前記撮像装置および該撮像装置に装着される前記交換レンズのうち少なくとも一方に対して着脱可能とするマウントを有することを特徴とする請求項1に記載の偏光取得装置。
  3. 前記撮像装置と前記交換レンズとの間に配置され、
    前記撮像装置に対して着脱可能とする第1のマウントと前記交換レンズに対して着脱可能とする第2のマウントとを有することを特徴とする請求項2に記載の偏光取得装置。
  4. 前記撮像装置との間で情報を通信するための通信部を有することを特徴とする請求項1から3のいずれか一項に記載の偏光取得装置。
  5. 前記駆動手段は、前記撮像装置から受信した撮像開始信号に応じて前記偏光軸可変素子を動作させることを特徴とする請求項4に記載の偏光取得装置。
  6. 前記撮影における前記偏光透過軸の方位に関する情報を前記撮像装置に送信して該撮像により生成された撮像画像と関連付けて保存させることを特徴とする請求項4または5に記載の偏光取得装置。
  7. 前記偏光軸可変素子は、光入射側から順に配置された、
    1/4λ板と、
    位相差を可変とする可変位相板と、
    偏光板とを含み、
    前記可変位相板の主軸の方向が、前記1/4λ板の主軸および前記偏光板の偏光透過軸の方向に対して傾いており、
    前記駆動手段は、前記可変位相板の位相差が変化するように該可変位相板を動作させることによって前記偏光透過軸の方位を変化させることを特徴とする請求項1から6のいずれか一項に記載の偏光取得装置。
  8. 前記可変位相板は、液晶を用いた位相板であることを特徴とする請求項7に記載の偏光取得装置。
  9. 前記偏光軸可変素子は、光入射側から順に配置された、
    偏光板と、
    1/4λ板とを含み、
    前記偏光板の偏光透過軸の方向が前記1/4λ板の主軸の方向に対して傾いており、
    前記駆動手段は、前記偏光軸可変素子を回転動作させることによって前記偏光透過軸の方位を変化させることを特徴とする請求項1から6のいずれか一項に記載の偏光取得装置。
  10. 請求項1から9のいずれか一項に記載の偏光取得装置を用いて撮像を行う撮像装置であって、
    前記偏光軸可変素子の前記偏光透過軸の方位を少なくとも3つの方位として複数の撮像を行うことにより複数の撮像画像を生成することを特徴とする撮像装置。
  11. 前記複数の撮像画像から、最大偏光強度と、最小偏光強度と、前記最大偏光強度を与える偏光方位とを含む偏光情報を取得することを特徴とする請求項10に記載の撮像装置。
  12. 前記偏光情報を用いて、前記撮影画像とは異なる画像を生成することを特徴とする請求項11に記載の撮像装置。
JP2015124769A 2015-06-22 2015-06-22 アダプタ装置、撮像装置および撮像システム Active JP6671872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015124769A JP6671872B2 (ja) 2015-06-22 2015-06-22 アダプタ装置、撮像装置および撮像システム
US15/189,037 US10712636B2 (en) 2015-06-22 2016-06-22 Polarization acquisition apparatus, image capturing apparatus and image capturing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015124769A JP6671872B2 (ja) 2015-06-22 2015-06-22 アダプタ装置、撮像装置および撮像システム

Publications (3)

Publication Number Publication Date
JP2017009793A true JP2017009793A (ja) 2017-01-12
JP2017009793A5 JP2017009793A5 (ja) 2018-08-02
JP6671872B2 JP6671872B2 (ja) 2020-03-25

Family

ID=57587906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015124769A Active JP6671872B2 (ja) 2015-06-22 2015-06-22 アダプタ装置、撮像装置および撮像システム

Country Status (2)

Country Link
US (1) US10712636B2 (ja)
JP (1) JP6671872B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020139859A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 処理装置、撮像装置および撮像システム
JP2020204539A (ja) * 2019-06-18 2020-12-24 国立大学法人長岡技術科学大学 偏光撮像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3429182A1 (de) * 2017-07-14 2019-01-16 Siemens Aktiengesellschaft Optische objekterfassungsvorrichtung und aufsatz
US11303811B2 (en) * 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera
IL279275A (en) * 2020-12-06 2022-07-01 Elbit Systems C4I And Cyber Ltd Devices, systems and methods for acquiring an image of a scene
CN113031366A (zh) * 2021-04-12 2021-06-25 维沃移动通信有限公司 拍摄组件及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160940A (ja) * 1991-05-30 1994-06-07 Haruto Tamura 可動式偏光フィルター内蔵リアコンバーター
JP2003167267A (ja) * 2001-12-03 2003-06-13 Stanley Electric Co Ltd 偏光制御装置
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2011029903A (ja) * 2009-07-24 2011-02-10 Artray Co Ltd 偏光子を付設したデジタルカメラシステム
JP2011040839A (ja) * 2009-08-07 2011-02-24 Nikon Corp 光学装置及びデジタルカメラ
US8004675B2 (en) * 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
JP2014042126A (ja) * 2012-08-22 2014-03-06 Hoya Corp 撮影装置及び撮影装置の自動連続撮影方法
JP2014182328A (ja) * 2013-03-21 2014-09-29 Nikon Corp カメラ
WO2014165698A1 (en) * 2013-04-05 2014-10-09 Red.Com, Inc. Optical filtering for cameras
JP2014236243A (ja) * 2013-05-30 2014-12-15 株式会社ニコン アダプタ
JP2015035735A (ja) * 2013-08-09 2015-02-19 パナソニック株式会社 カメラ装置およびフィルタユニット

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244237A (ja) 1994-03-04 1995-09-19 Sony Corp コンバージョンレンズ
JP3727758B2 (ja) 1997-07-17 2005-12-14 日本放送協会 映り込み防止形撮像装置
US7420542B2 (en) * 2004-05-25 2008-09-02 Avago Technologies Ecbu Ip Pte Ltd Apparatus for capturing and analyzing light and method embodied therein
JP2010121935A (ja) 2007-11-05 2010-06-03 Nippon Sheet Glass Co Ltd 偏光画像撮像装置および画像処理装置
JP2010124011A (ja) 2007-02-23 2010-06-03 Nippon Sheet Glass Co Ltd 偏光画像撮像装置、画像処理装置、偏光画像撮像方法および画像処理方法
JP2009232347A (ja) 2008-03-25 2009-10-08 Nikon Corp 撮像装置
US8508646B2 (en) 2008-12-22 2013-08-13 Apple Inc. Camera with internal polarizing filter
JP2011191469A (ja) * 2010-03-15 2011-09-29 Panasonic Corp 中間鏡筒
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
CN103037752B (zh) * 2010-09-24 2015-05-13 松下电器产业株式会社 图像处理装置
US20140055664A1 (en) * 2012-02-02 2014-02-27 Panasonic Corporation Imaging device
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160940A (ja) * 1991-05-30 1994-06-07 Haruto Tamura 可動式偏光フィルター内蔵リアコンバーター
JP2003167267A (ja) * 2001-12-03 2003-06-13 Stanley Electric Co Ltd 偏光制御装置
US8004675B2 (en) * 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2011029903A (ja) * 2009-07-24 2011-02-10 Artray Co Ltd 偏光子を付設したデジタルカメラシステム
JP2011040839A (ja) * 2009-08-07 2011-02-24 Nikon Corp 光学装置及びデジタルカメラ
JP2014042126A (ja) * 2012-08-22 2014-03-06 Hoya Corp 撮影装置及び撮影装置の自動連続撮影方法
JP2014182328A (ja) * 2013-03-21 2014-09-29 Nikon Corp カメラ
WO2014165698A1 (en) * 2013-04-05 2014-10-09 Red.Com, Inc. Optical filtering for cameras
JP2016520859A (ja) * 2013-04-05 2016-07-14 レッド.コム,インコーポレイテッド カメラ用光学的フィルタリング
JP2014236243A (ja) * 2013-05-30 2014-12-15 株式会社ニコン アダプタ
JP2015035735A (ja) * 2013-08-09 2015-02-19 パナソニック株式会社 カメラ装置およびフィルタユニット

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020139859A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 処理装置、撮像装置および撮像システム
JP2020204539A (ja) * 2019-06-18 2020-12-24 国立大学法人長岡技術科学大学 偏光撮像装置
JP7440845B2 (ja) 2019-06-18 2024-02-29 国立大学法人長岡技術科学大学 偏光撮像装置

Also Published As

Publication number Publication date
JP6671872B2 (ja) 2020-03-25
US10712636B2 (en) 2020-07-14
US20160370688A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
JP6671872B2 (ja) アダプタ装置、撮像装置および撮像システム
JP6482308B2 (ja) 光学装置および撮像装置
JP2012513607A (ja) 回転偏光フィルタを備えるカメラ
JPWO2019012858A1 (ja) 撮像装置、画像生成方法、撮像システム
JP2021141446A (ja) 撮像装置及びその制御方法
JP2008026353A (ja) 偏光方向検出装置とこれを有する撮像装置
WO2013171840A1 (ja) 撮像装置及び撮像装置の制御方法
JP6746404B2 (ja) 偏光情報取得装置、偏光情報取得方法、プログラムおよび記録媒体
JP2009069170A (ja) 撮影装置および撮影装置の制御方法
JP6112862B2 (ja) 撮像装置
CN110132853B (zh) 基于像素偏振相机的旋光色散测量系统及方法
JP2015046777A (ja) 撮像装置および撮像装置の制御方法
JP2017118342A (ja) 撮影装置
JP2021019260A (ja) 撮像素子、およびこれを備える撮像装置
JP2017058559A (ja) 光学装置および撮像装置
JP5478677B2 (ja) 撮像装置および撮像装置の制御方法
JP6672049B2 (ja) 撮像装置、制御装置、制御方法、制御プログラムおよび記録媒体
JP2017207431A (ja) 偏光センサ、偏光情報取得装置および撮像装置
JP2018117282A (ja) 撮像装置、その制御方法、および制御プログラム
JP2010226395A (ja) 撮像装置、その制御方法及びプログラム
JP2010243346A (ja) 測定装置、測定方法、測定プログラム及び表示システム
JP2014063099A (ja) 撮像装置
JP2016122912A (ja) 画像取得装置
JP2005106820A5 (ja)
US20200280676A1 (en) Processing apparatus, imaging apparatus, and imaging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R151 Written notification of patent or utility model registration

Ref document number: 6671872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151