JP6699005B2 - ボケ補償システム - Google Patents

ボケ補償システム Download PDF

Info

Publication number
JP6699005B2
JP6699005B2 JP2017022271A JP2017022271A JP6699005B2 JP 6699005 B2 JP6699005 B2 JP 6699005B2 JP 2017022271 A JP2017022271 A JP 2017022271A JP 2017022271 A JP2017022271 A JP 2017022271A JP 6699005 B2 JP6699005 B2 JP 6699005B2
Authority
JP
Japan
Prior art keywords
light
mirror
image
optical element
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017022271A
Other languages
English (en)
Other versions
JP2018128603A (ja
Inventor
真治 木村
真治 木村
▲高▼橋 和彦
和彦 ▲高▼橋
油川 雄司
雄司 油川
山口 雅浩
雅浩 山口
友哉 中村
友哉 中村
俊亮 五十嵐
俊亮 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Tokyo Institute of Technology NUC
Original Assignee
NTT Docomo Inc
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc, Tokyo Institute of Technology NUC filed Critical NTT Docomo Inc
Priority to JP2017022271A priority Critical patent/JP6699005B2/ja
Priority to EP17896243.7A priority patent/EP3499290A4/en
Priority to PCT/JP2017/046741 priority patent/WO2018146970A1/ja
Priority to US16/464,337 priority patent/US11428948B2/en
Publication of JP2018128603A publication Critical patent/JP2018128603A/ja
Application granted granted Critical
Publication of JP6699005B2 publication Critical patent/JP6699005B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/0808Mirrors having a single reflecting layer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1842Gratings for image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/0038Movement of one or more optical elements for control of motion blur by displacing the image plane with respect to the optical axis

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Lenses (AREA)

Description

本発明は、ボケ補償システムに関する。
非特許文献1は、ハーフミラーを用いた映像提示システムを開示する。このシステムでは、ユーザの前方に、床面スクリーンおよびハーフミラーが配置される。床面スクリーンは、床の上に水平に配置される。ハーフミラーは、床面スクリーン上方のユーザの正面に配置される。ハーフミラーの背面側は、ユーザがいる場所に比べて照明が暗く設定され得る。ハーフミラーは、ユーザに近づくにつれて床面スクリーンからの距離が大きくなるように、床面スクリーンに対して45度傾くように配置される。
上記の構成において、プロジェクタから像の光を床面スクリーンに投影すると、床面スクリーンに投影された像がハーフミラーに入射し、入射角度と同じ大きさの反射角度で反射して、ユーザに提示される。上述のようにハーフミラーが45度傾斜しているので、ユーザからすると、ハーフミラーを挟んでユーザとは反対側に位置する前方空間に像が浮かび上がるように見える。このようにして、その像がユーザの前方に存在しているような映像を、ユーザに提示することができる。
村瀬香緒里、小木哲朗、齋藤康太、小山尚英「大画面ハーフミラーによる没入型拡張現実環境の構築とオクルージョン表現」、[online]、日本バーチャルリアリティ学会論文誌、Vol.13、No.2、pp.141-150、2008.6、[平成29年1月23日検索]、インターネット〈URL: http://lab.sdm.keio.ac.jp/ogi/papers/TVRSJ2008-murase.pdf〉
非特許文献1のシステムに用いられるハーフミラーは、入射角と反射角が同じ正反射特性を有するため、配置角度が限定される。ハーフミラーの配置角度が限定されると、たとえばシステム設計の自由度が損なわれる。このような問題は、入射角と反射角の異なる反射型の光学素子、または、入射角と出射角が異なる透過型の光学素子を用いることによって解決されると考えられる。なお、本明細書における「出射」および「出射角」は、反射型の光学素子における「反射」および「反射角」を含む意味として用いられる。
入射角と出射角の異なる光学素子としては、たとえば、回折光学素子(DOE:Diffractive Optical Element)、ホログラム光学素子(HOE:HolographicOptical Element)がある。これらの光学素子は、回折に起因する光路変更によって、入射角と反射角とを異ならせることが可能である。DOE、HOE等の光学素子を、特定波長の光が入射した場合の入射角と出射角とが異なるように設計すると、特定波長の周辺波長の光も特定波長の光の出射角からずれた出射角で出射される。このような光学素子を上記ハーフミラーの代わり用いると、回折に起因する光路変更によって、ユーザに提示される像にボケが生じる。
本願発明は、上記課題に鑑みてなされたものであり、入射角と出射角の異なる光学素子を用いた場合に生じるボケを抑制することが可能なボケ補償システムを提供することを目的とする。
本発明の一態様に係るボケ補償システムは、所定の位置からの像の光が入射するとともに、特定波長の光の入射角と出射角とが互いに異なるように特定波長の光を反射または透過させる第1の光学素子と、第1の光学素子によって反射または透過される像の光が入射する位置に配置され、特定波長の光の入射角と出射角とが互いに異なるように特定波長の光を反射または透過させる第2の光学素子と、第1の光学素子と第2の光学素子との間の像の光の光軸上に配置されるとともに、第1の光学素子によって反射または透過される像の光のうち特定波長以外の波長の光が、第2の光学素子での特定波長の光の出射位置から特定波長の光と同じ方向に出射されるように、第1の光学素子によって反射または透過される像の光の方向を変更させる第3の光学素子と、を備える。
上記のボケ補償システムでは、第1の光学素子は、特定波長の光を入射角と出射角とが互いに異なるように反射または透過させる。このように設計された第1の光学素子は、特定波長の周辺波長の光も特定波長の光の出射角からずれた出射角で出射させる。したがって、第1の光学素子において反射された像の光または第1の光学素子を透過した像の光によって構成される像に、ボケが生じる。ここで、上記のボケ補償システムでは、第3の光学素子が、第1の光学素子によって反射または透過される像の光のうち特定波長以外の光が、第2の光学素子での特定波長の光の出射位置から、特定波長の光と同じ方向に出射されるように、第1の光学素子によって反射または透過される像の光の方向を変更させる。すなわち、第1の光学素子によって生じたボケが、第2の光学素子および第3の光学素子によって補償される。同様の原理により、第2の光学素子によって生じるであろうボケは、第1の光学素子および第3の光学素子によって補償される。したがって、入射角と出射角の異なる光学素子を用いた場合に生じるボケを抑制することができる。
本発明によれば、入射角と出射角の異なる光学素子を用いた場合に生じるボケを抑制することができる。
ボケ補償システムの概略構成を示す図である。 ボケを定量的に説明するための図である。 ボケ補償システムの概略構成を示す図である。 ボケ補償システムの各要素の寸法等の設計例を説明するための図である。 ボケ補償による効果の例を示す図である。 ボケ補償システムを応用した映像提示システムの概略構成を示す図である。 映像提示システムの機能ブロックの例を示す図である。 変形例に係る映像提示システムの概略構成を示す図である。 変形例に係るボケ補償システムの概略構成を示す図である。 変形例に係るボケ補償システムの概略構成を示す図である。 変形例に係るボケ補償システムの概略構成を示す図である。
はじめに、実施形態に係るボケ補償システムの基本的な構成について説明し、その後、図面を参照して具体的な構成の例を説明する。実施形態に係るボケ補償システムは、第1〜第3の光学素子を含む。第1および第2の光学素子は、特定波長の光の入射角と出射角とが互いに異なるように、特定波長の光を反射または透過させる、反射型の光学素子または透過型の光学素子である。
具体的に、第1の光学素子および第2の光学素子は、DOE、HOE等と呼ばれる光学素子であり、特定波長の光の入射角と出射角とが異なるように設計されている。たとえば光学素子がHOEの場合では、反射型HOE、透過型HOEのいずれもが、特定波長以外の波長の光を透過、吸収等させるように設計される。このような効果(レンズ・ミラー効果等)は、光学素子がDOEの場合、格子定数等の選択によって、入射角と出射角とが異なる光学素子が得られる。光学素子がHOEの場合、露光条件および露光波長等の選択によって、入射角と出射角とが異なる光学素子が得られる。ただし、光学素子の波長選択性は、一定の幅を有する。波長選択性の幅は、たとえばHOEの場合、特定波長(中心波長)±10nm程度である。このような特定波長の近傍の波長(周辺波長)光は、上述のレンズ・ミラー効果等の影響を受ける。具体的に、光学素子は、特定波長の周辺の波長(周辺波長)の光を、特定波長の光の出射角からずれた角度で出射させる。周辺波長の光に対するレンズ・ミラー効果等の影響が、特定波長の光の回折角度の近傍角度への回折効果として現れる。DOE、HOE等の光学素子の波長分散に伴う回折ボケが表れるとも言える。
第1の光学素子および第2の光学素子は、実質的に同じ光学特性を有してよい。実質的に同じ光学特性とは、第1の光学素子における特定波長の光の入射角および出射角の関係と、第2の光学素子における特定波長の光の入射角および出射角の関係とが実質的に等しい関係をいう。入射角および出射角の関係は、たとえば入射角および出射角の比率を用いて表されてよい。第3の光学素子は、第1の光学素子と第2の光学素子との間に配置され、第1の光学素子から第2の光学素子に向かって進む光の光路および/または第2の光学素子から第1の光学素子に向かって進む光の光路を変更させる光学素子である。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
図1は、実施形態に係るボケ補償システムの構成例を示す図である。ボケ補償システム1は、たとえば上述のDOE、HOE等の光学素子を介してユーザに像を提示する際に、像に生じるボケを補償するために用いられる。像をユーザに直接提示するのではなく、光学素子を介してユーザに提示するのは、たとえば非特許文献1のように像がユーザの前方に存在しているような映像をユーザUに提示するためである。
ボケ補償システム1は、ミラー10と、ミラー20と、レンズ30とを含む。すなわち、図1においては、ボケ補償システム1に含まれる第1〜第3の光学素子として、ミラー10、ミラー20およびレンズ30が例示される。この例では、ミラー20によって反射された像がユーザUに提示されるようになっており、ミラー20は、ユーザUに対向するよう鉛直に配置される。ボケ補償システム1は、ユーザUに提示される像の光を出力する要素として、所定の位置に設けられたディスプレイ40をさらに含んでもよい。この例では、ディスプレイ40は、ミラー20の下方に鉛直に配置され、像を表示する。
ミラー10は、特定波長の光の入射角と反射角が異なるように設計されている。そのため、ミラー10は、特定波長の光を入射角と反射角とが互いに異なるように反射させる。特定波長は、ディスプレイ40によって表示される像を構成する光の波長を含むように設定される。特定波長の光は、一つの波長の光(単色光)であってもよいし複数の波長の光(複色光)であってもよい。第1の光学素子であるミラー10は、上述のようなDOE、HOE等の光学素子であるので、周辺波長の光を、特定波長の光の反射角からずれた反射角で反射させる。特定波長の光の反射角に対する周辺波長の光の反射角のずれは、波長が特定波長から離れるにつれて大きくなる。
たとえば、ミラー10によって反射された光のうち−1次反射光では、入射光路と反射光路とのなす角度(光路変更角度)は、正反射した場合の光(0次反射光)の光路変更角度よりも小さい。波長が特定波長よりも短くなるにつれて、当該波長の光の光路変更角度は大きくなる。波長が特定波長よりも長くなるにつれて、当該波長の光の光路変更角度は小さくなる。ミラー10によって反射された光のうち+1次反射光では、光路変更角度は、0次反射光の光路変更角度よりも大きい。波長が特定波長よりも短くなるにつれて、当該波長の光の光路変更角度は小さくなる。波長が特定波長よりも長くなるにつれて、当該波長の光の光路変更角度は大きくなる。図1に示される例では、ミラー10およびミラー20によって反射される光として、−1次反射光が用いられることを想定している。
ボケ補償システム1において、ミラー10は、ディスプレイ40によって表示される像Fの光が入射するとともに、像Fの光をミラー20に向かって反射させるように位置決めされる。図1に示される例では、ミラー10は、上下方向において鉛直に配置されたミラー20およびディスプレイ40に対して、45度傾くように配置される。なお、ディスプレイ40によって表示される像Fの向きは、ミラー10およびミラー20によって反射された後の像FがユーザUによって観察されたときに適切な向きとなるよう調整される。ディスプレイ40の例は、液晶ディスプレイ、プロジェクタで映像を投影された拡散スクリーン等である。
一実施形態において、ミラー20は、ミラー10と実質的に同じ光学特性を有するように設計されている。この場合、ミラー20は、ミラー10と同様に、特定波長の光を入射角と反射角とが互いに異なるように反射させる。また、ミラー20は、ミラー10と同様に、周辺波長の光を、特定波長の光の反射角からずれた反射角で反射させる。
レンズ30は、ミラー10とミラー20との間の像Fの光の光軸上に配置され、ミラー10によって反射される像Fの光の方向を変更させる。レンズ30は、レンズ30の光軸方向と、ミラー10およびミラー20間の像Fの光の光軸方向とが一致するように位置決めされる。図1に示される例では、レンズ30は、凸レンズのような集光レンズであり、ミラー10に対向するように配置される。レンズ30による像Fの光の方向の変更について、以下、具体的に説明する。
図1において、像Fの光の光路が光路Lとして示される。実際にディスプレイ40によって表示される像Fは、無数の光点によって構成され、かつ、各光点から複数の方向に光が拡散して進む。理解を容易にするために、ここでは、ディスプレイ40において像Fを構成する一つの光点から、ミラー10に向かって進む複数の方向のうち一つの方向に進む光の光路について説明する。他の光点および他の方向に進む光の光路についても、同様の説明が可能である。
ディスプレイ40からミラー10までの像Fの光の光路が光路Lとして図示される。上述のように、ミラー10は、特定波長の光を反射させるだけでなく周辺波長の光も特定波長の光の反射角からずれた反射角で反射させるので、ミラー10によって反射された特定波長および周辺波長の光路が異なる。図1において、特定波長の光の光路が、光路L2として示される。周辺波長のうち特定波長よりも短い波長(短波長側波長)の光の光路が、光路L1として例示される。周辺波長のうち特定波長よりも長い波長(長波長側波長)の光の光路が、光路L3として例示される。ミラー10での特定波長の光の入射位置において、特定波長の光の反射角と短波長側波長の光の反射角との差が、角度α12として図示される。特定波長の光の反射角と長波長側波長の光の反射角との差が、角度α32として図示される。
ミラー10によって反射された像Fの各光の光路L1〜L3がそれぞれ異なるので、ミラー10によって作られる像Fの虚像F10iにボケが生じる。具体的に、図1に示されるように、ミラー10によって作られる虚像F10iでは、特定波長の光に基づく虚像F12iの位置と、短波長側波長の光に基づく虚像F11iの位置と、長波長側波長の光に基づく虚像F13iの位置とがずれる。虚像F12iは、特定波長の光が結像されることによって作られる。虚像F11iは、短波長側波長の光が結像されることによって作られる。虚像F13iは、長波長側波長の光が結像されることによって作られる。前述のように、光学素子がHOEの場合は周辺波長が特定波長±10nm程度であるので、ユーザUが視認する場合には明確に虚像F11i、F12i、F13iを分離して視認することはできず、虚像のボケとして視認される。
ミラー10によって反射された周辺波長(短波長側波長および長波長側波長)の光は、それらの方向(つまり光路L1、光路L3)がレンズ30によって変更された後、ミラー20の同じ位置に入射する。ミラー20での特定波長の光の入射位置において、特定波長の光の入射角と短波長側波長の光の入射角との差が、角度β12として図示される。特定波長の光の入射角と長波長側波長の光の入射角との差が、角度β32として図示される。
本実施形態では、レンズ30は、ミラー10によって反射される像Fの光のうち周辺波長の光が、ミラー20での特定波長の光の出射位置から特定波長の光と同じ方向に出射されるように、ミラー10によって反射される像Fの光の方向を変更させる。
ミラー10およびミラー20が実質的に同じ光学特性を有するように設計されている場合、レンズ30は、角度β12および角度β32が角度α12および角度α32とそれぞれ一致するように、ミラー10によって反射される像Fの光の方向(つまり光路L1および光路L3)を変更させる。ここでの一致は、角度β12の大きさと角度α12の大きさとが等しいこと、および、角度β32の大きさと角度α32の大きさとが等しいことを意味する。
仮に、短波長側波長の光のミラー20への入射角度が特定波長の光のミラー20への入射角度と同じであるとすると、ミラー20によって反射される短波長側波長の光の方向は、特定波長の光の方向から角度α12だけずれることになる。短波長側波長の光が、角度α12と同じ大きさの角度β12だけ特定波長の光とは異なる角度でミラー20に入射することによってそのずれ(ミラー20の波長分散)が打ち消されるので、ミラー20によって反射される短波長側波長の光の方向(つまり光路L1)が特定波長の光の方向(つまり光路L2)と一致するようになる。
仮に、長波長側波長の光のミラー20への入射角度が特定波長の光のミラー20への入射角度と同じであるとすると、ミラー20によって反射される長波長側波長の光の方向は、特定波長の光の方向から角度α32だけずれることになる。長波長側波長の光が、角度α32と同じ大きさの角度β32だけ特定波長の光とは異なる角度でミラー20に入射することによってそのずれ(ミラー20の波長分散)が打ち消されるので、ミラー20によって反射される長波長側波長の光の方向(つまり光路L3)が特定波長の光の方向(つまり光路L2)と一致するようになる。
したがって、ミラー20によって作られる(結像される)像Fの虚像F20iでは、特定波長の光に基づく虚像F22iの位置と、短波長側波長の光に基づく虚像F21iの位置と、長波長側波長の光に基づく虚像F23iの位置とが揃う。虚像F22iは、特定波長の光が結像されることによって作られる。虚像F21iは、短波長側波長の光が結像されることによって作られる。虚像F23iは、長波長側波長の光が結像されることによって作られる。結果として、ミラー10を用いた場合に生じるボケが補償される。換言すれば、ミラー10およびミラー20の分散補償がなされる。
ミラー20によって像Fの光が反射されると、ミラー20の正面からミラー20を観察するユーザUに、像Fが提示される。たとえばミラー20が特定波長以外の光を透過させるように構成されていれば、ユーザUは、ミラー20を挟んでユーザUと反対側に位置する前方空間も視認できる。この場合、前方空間に特定波長およびその近傍の波長の光による像Fが浮かび上がるような映像がユーザUに提示される。ボケ補償システム1は、像FがユーザUの前方に存在しているような映像をユーザUに提示する映像提示システムとして用いることができる。ユーザUに提示される映像では、像のボケが補償されている。
なお、レンズ30の倍率、ユーザUに提示される虚像距離(ミラー20の出射面を基準とした虚像F20の奥行を示す距離)等によっては、ミラー10とミラー20とで異なるDOE、HOE等の光学素子を用いる場合もある。この場合は、ミラー10およびミラー20が異なる光学特性を有し得るので、角度β12および角度β32が角度α12および角度α32とそれぞれ一致しない場合もあり得るが、ミラー10、ミラー20、レンズ30を用いて像Fのボケを補償する構成においては本出願の範囲である。
ここで、図2を参照して、入射角と出射角の異なる光学素子を用いた場合に生じるボケを定量的に説明する。図2に示される例では、光学素子は、HOEと呼ばれる反射型の光学素子である。以下の図2の説明では、この光学素子を単に「HOE」と言う。DOE等の他の光学素子についても同様の説明が可能である。
図2の(a)には、HOEの分散波長と虚像の空間ボケとの関係が概念的に示される。ここでは、XY平面に延在する反射面を有するHOEによって反射される光のうち−1次反射光の分散(Diffracted (-1st order))の様子が示される。対像物(object)からの像の光がHOEによって反射されると、特定波長の光の反射角と周辺波長の光の反射角が異なるため、光が分散する。したがって、HOEによって虚像が作られる領域には、各波長の光に基づくそれぞれの虚像(virtual image)がHOEの面方向で互いに異なる位置に現れる。図4の(a)には、各波長の光がX方向において異なる位置に到達する様子が示される。HOEによって作られる虚像の位置において、最も長波長側の波長の光と、最も短波長側の波長の光との間の距離を、ボケ量bとして定義する。この場合、ボケ量bは、以下の式(1)を用いて表される。

上記式(1)において、Zvirmingは、HOEの出射面を基準とした虚像(Virtual image)の奥行を示す距離(虚像距離)であり、HOEとObjectとの間の距離に相当する。ΔλHOEは、HOEによって分散される光の波長の範囲の大きさを示し、上述の周辺波長の範囲の大きさに相当する。λは、入射光の波長であり、上述の特定波長に相当する。θHOEは、HOEの−1次反射光の回折に起因する光路変更によってもたらされる−1次反射光の光路変更角度である。この例では、−1次反射光がHOEの法線方向に反射されるので、θHOEは、入射角に相当する(または0次反射光の反射角に相当するとも言える)。
図2の(b)には、ボケ量bと、虚像距離(Zvirimg)との関係の例がグラフで示される。グラフの横軸は、虚像距離(Distance of a virtual image)を示す。グラフの縦軸は、ボケ量b(Size of blur)を示す。ここでのボケ量bは、λ=532nm、ΔλHOE=7nm(すなわち周辺波長において最も長い波長=(532+7/2)nm、周辺波長において最も短い波長=(532−7/2)nm)とし、θHOE=45度とした場合の計算値である。図4の(b)のグラフに示されるように、虚像距離が大きくなるにつれて、ボケ量bも大きくなる。たとえば虚像距離が1500mmの場合、ボケ量bは約20mmにも及ぶことになる。
以上のようにボケ量bを定義することによって、回折に起因する光路変更によって生じるボケの見積もりが可能となる。本実施形態に係るボケ補償システム1によれば、上述のボケ量bが小さくなるので、DOE、HOE等の射角と出射角の異なる光学素子を用いた場合に生じるボケを抑制することができる。上記式(1)から理解されるように、虚像距離が大きくなるほどボケ量bが大きくなるので、虚像距離が大きいほど、本実施形態に係るボケ補償システム1によるボケ補償のメリットが大きくなる。たとえば図1に示される例では、ミラー10とミラー20との間の距離が大きくなるほど(大型系であるほど)、ボケ補償のメリットが大きくなる。
一方、ボケ補償システム1を、撮影システムとして用いることもできる。図3に示される例では、ボケ補償システム1は、ディスプレイ40(図1)に代えてカメラ50を含み得る。この例では、ミラー20の正面に、カメラ50による撮影の対像物Pが位置しているものとする。図3において、対像物Pの像が、図1と同様に、像Fとして図示される。
図3において、像Fの光の光路が光路Lとして図示される。図1の説明と同様に、ここでは、像Fを構成する一つの光点から、ミラー20に向かって進む複数の方向のうち一つの方向に進む光の光路について説明する。
対像物Pからミラー20までの像Fの光の光路が光路Lとして図示される。ミラー20は、特定波長の光を反射させるだけでなく周辺波長の光も特定波長の光の反射角からずれた反射角で反射させるので、ミラー20によって反射された特定波長および周辺波長の光が異なる。図3において、図1と同様に、特定波長の光の光路が光路L2として示される。短波長側波長の光の光路が、光路L1として例示される。長波長側波長の光の光路が、光路L3として例示される。ミラー20での特定波長の光の入射位置において、特定波長の光の反射角と短波長側波長の光の反射角との差が、角度β12として図示される。ミラー20における、特定波長の光の反射角と長波長側波長の光の反射角との差が、角度β32として図示される。
ミラー20によって反射された像Fの各光の光路が光路L1、L2およびL3で異なるので、ミラー20によって作られる像Fの虚像F20iにボケが生じる。具体的に、図3に示されるように、ミラー20によって作られる虚像F20iでは、特定波長の光に基づく虚像F22iの位置と、短波長側波長の光に基づく虚像F21iの位置と、長波長側波長の光に基づく虚像F23iの位置とがずれる。
ミラー20によって反射された周辺波長(短波長側波長および長波長側波長)の光は、それらの方向(つまり光路L1、光路L3)がレンズ30によって変更された後、ミラー10に入射する。ミラー10の特定波長の光が入射する位置において、特定波長の光の入射角と短波長側波長の光の入射角との差が、α12として図示される。ミラー10における、特定波長の光の入射角と長波長側波長の光の入射角との差が、角度α32として図示される。
レンズ30は、角度α12及び角度α32が角度β12および角度β32とそれぞれ一致するように、ミラー20によって反射される像Fの光の方向(つまり光路L1および光路L3)を変更させる。ここでの一致は、角度α12の大きさと角度β12の大きさとが等しいこと、および、角度α32の大きさと角度β32の大きさとが等しいことを意味する。
仮に、短波長側波長の光のミラー10への入射角度が特定波長の光のミラー10への入射角度と同じであるとすると、ミラー10によって反射される短波長側波長の光の方向は、特定波長の光の方向から角度β12だけずれることになる。短波長側波長の光が、角度β12と同じ大きさの角度α12だけ特定波長の光とは異なる角度でミラー10に入射することによってそのずれ(ミラー10の波長分散)が打ち消されるので、ミラー10によって反射される短波長側波長の光の方向(つまり光路L1)が特定波長の光の方向(つまり光路L2)と一致するようになる。
仮に、長波長側波長の光のミラー10への入射角度が特定波長の光のミラー10への入射角度と同じであるとすると、ミラー10によって反射される長波長側波長の光の方向は、特定波長の光の方向から角度β32だけずれることになる。長波長側波長の光が、角度β32と同じ大きさの角度α32だけ特定波長の光とは異なる角度でミラー20に入射することによってそのずれ(ミラー10の波長分散)が打ち消されるので、ミラー20によって反射される長波長側波長の光の方向(つまり光路L3)が特定波長の光の方向(つまり光路L2)と一致するようになる。
したがって、ミラー10によって作られる(結像される)像Fの虚像F10iでは、特定波長の光に基づく虚像F12iの位置と、短波長側波長の光に基づく虚像F11iの位置と、長波長側波長の光に基づく虚像F13iの位置が揃う。結果として、ミラー20を用いた場合に生じるボケが補償される。換言すれば、ミラー10およびミラー20の分散補償がなされる。
ミラー10によって像Fの光が反射されると、たとえばミラー10から見たときに像Fの反射方向に位置するカメラ50を用いて、対像物Pの像Fを撮影することができる。すなわち、ボケ補償システム1は、カメラ50を用いて対像物Pを撮影する撮影システムとして用いることができる。カメラ50によって撮影される映像では、像のボケが補償されている。
図4を参照して、上述のボケ補償システム1の各要素の寸法等の設計の例について説明する。図4において、各要素の寸法および配置角度を示す符号が示される。各符号の内容は以下のとおりである。
a:ミラー20によって作られる虚像の大きさを表すために用いられる値である。整理の便宜上、図4では、ミラー20によって作られる虚像を側面から見たときの長さを、a(1+tanθtanφ)として定義する。ディスプレイ40によって表示される像を側方から見たときの長さが、awとして定められる。wはレンズ30の倍率である。
:ミラー20の反射面を基準とした、ミラー20によって作られる虚像の奥行を示す距離(虚像距離)である。
:ミラー20からレンズ30に向かって距離lだけ離れた位置にレンズ30によって集光されている像と、レンズ30との間の距離である。
:ミラー20とレンズ30との間の距離であり、上述の距離lおよび距離lの合計距離に相当する。レンズ30とミラー10との間の距離でもある。
:ディスプレイ40とミラー10との間の距離である。ミラー10の反射面を基準とした、ミラー10によって作られる虚像の奥行を示す距離(虚像距離)でもある。
θ:ミラー10およびミラー20における特定波長の光の光路変更角度(入射光と反射光との間の角度)である。格子定数、露光条件および露光波長等によって決定され得る。
Δθ:周辺波長における最も長い波長の光または最も短い波長の光と、特定波長の光との光路変更角度の差である。HOEのブラッグ条件もしくは光源のスペクトルにより制限され得る。
φ:ミラー10の鉛直方向に対する配置角度である。
D1:ミラー10を側方から見たときのミラー10の長さである。
D11:ミラー10によって作られる各虚像を側方から見たときの一つの虚像の長さである。
D12:ミラー10によって作られる各虚像を側方から見たときの各虚像の全体の長さである。
D2:ミラー20を側方から見たときのミラー20の長さである。
D3:レンズ30を側方から見たときのレンズ30の長さである。
D31:ミラー20からレンズ30に向かって距離lだけ離れた位置にレンズ30によって集光されている各像を側方から見たときの一つの像の長さである。
D32:ミラー20からレンズ30に向かって距離lだけ離れた位置にレンズ30によって集光されている各像を側方から見たときの各像の全体の長さである。
D4:ディスプレイ40を側方から見たときのディスプレイ40の長さである。
先に説明したように、ボケ補償システム1は、一例としてミラー20によって反射された像がユーザUに提示されるという利用態様を想定している。この場合、たとえば次のような手順でボケ補償システム1の各要素の寸法等の設計が行われる。
まず、ミラー20を、ユーザUと対向するように鉛直に配置する。ディスプレイ40は、ミラー20の下方のスペースに鉛直に配置する。ミラー10は、ディスプレイ40からの像をミラー20に向かって反射させる。ミラー10の配置角度φは、たとえば45度に設定する。ディスプレイ40から正面方向に進みミラー10によって反射される特定波長の光がミラー20に向かって進むように、ミラー10の光路変更角度θは45度に設定する。Δθは、ミラー10の光学特性に応じて定まる値であり、ミラー10の設計データ、実験データ等に基づいて特定される。ディスプレイ40とミラー10との距離lの大きさは、ボケ補償システム1のサイズにあわせて適宜設定してよい。ミラー10およびミラー20が実質的に同じ光学特性を有する場合、レンズ30は、ミラー10とミラー20との中間の位置に配置する。ミラー10とレンズ30との間の距離、および、ミラー20とレンズ30との間の距離は、いずれも距離lである。距離lの大きさは、ボケ補償システム1のサイズにあわせて適宜設定してよい。
次に、ユーザUに提示される像の大きさ、すなわちa(1+tanθtanφ)を設定する。上述のようにミラー10の配置角度φおよびミラー10の光路変更角度θがすでに設定されているので、寸法aを決めることによって、像の大きさを所望の大きさに設定することができる。これとともに、ユーザUに提示される像の奥行、すなわち距離lの値も設定する。以下、ユーザUに提示される像の大きさおよび奥行を実現するために、各要素の寸法等を設定していく。
ミラー20の長さD2は、ミラー20によって作られる虚像の長さよりも長くするため、以下の式(2)を満たすように設定する。
ミラー20からレンズ30に向かって距離lだけ離れた位置にレンズ30によって集光されている各像のうちの一の像の長さD31は、以下の式(3)で表される。
ミラー20からレンズ30に向かって距離lだけ離れた位置にレンズ30によって集光されている各像の全体の長さD32は、以下の式(4)で表される。
ミラー20からレンズ30に向かって距離lだけ離れた位置は、レンズ30からミラー20に向かって距離l(l=l−l)だけ離れた位置でもある。当該位置に、上記の式(3)および式(4)に示される長さD31および長さD32を有する像を集光させることが、レンズ30の役割である。
一方、ディスプレイ40には、側方から見たときの長さがawとなるように、像を表示させる。ディスプレイ40とミラー10との間の距離がlであるので、ミラー10の反射面を基準とした、ミラー10によって作られる虚像の奥行を示す距離も、距離lである。
ミラー10の長さD1は、ディスプレイ40によって表示される像全体をミラー10に入射させるために、以下の式(5)を満たすように設定する。
ミラー10によって作られる各虚像を側方から見たときの一つの虚像の長さD11は、以下の式(6)で表される。
ミラー10によって作られる各虚像を側方から見たときの各虚像の全体の長さD12は、以下の式(7)で表される。
レンズ30は、上記の式(6)および(7)で表される長さの虚像を、上述のレンズ30からミラー20に向かって距離lだけ離れた位置に、上記の式(3)および式(4)に示される長さの像として集光させる。ミラー10によって作られる虚像とレンズ30との距離がl+lであるので、レンズ30の倍率wを、以下の式(8)のように設定する。
レンズ30の大きさD3は、ミラー10によって反射される像全体を入射させるために、以下の式(9)を満たすように設定する。
たとえば上述のようにして、ボケ補償システム1を構成する各要素の寸法等が設計される。
図5は、ボケ補償システム1によるボケ補償の効果の例(実験結果)を示す図である。図5の(a1)には、ボケ補償が実施されない場合の映像の一場面を構成する像の例が示される。この像は、たとえば、図1に示されるボケ補償システム1において、ミラー10およびレンズ30を用いずにディスプレイ40からの像Fの光を直接ミラー20によって反射させた場合にユーザUが視認する像に相当し得る。あるいは、図2に示されるボケ補償システム1において、ミラー20によって反射された像Fの光をレンズ30およびミラー10を介さずにカメラ50が直接撮影した場合の像に相当し得る。これに対し、図5の(a2)には、ボケ補償システム1によるボケ補償が実施された場合の映像の一場面を構成する像の例が示される。図5の(a2)に示されるように、ボケ補償システム1によるボケ補償が実施されることにより、ボケが抑制されることが理解できる。なお、図5に示される像のサイズは実際のサイズとは必ずしも一致していないが、実験では、図5の(a1)においてはボケ量bが約1mmあり視認できるのに対し、図5の(a2)においてはボケが視認できない程度まで小さくなっていることが確認された。
同様に、図5の(b1)および(b2)にも、ボケ補償が実施されない場合および実施される場合の映像の一場面の例がそれぞれ示される。これら図5の(b1)および(b2)からも、ボケ補償システム1によるボケ補償が実施されることにより、ボケが抑制されることが理解できる。実験では、図5の(b1)においてはボケ量bが約1mmあり視認できるのに対し、図5の(b2)においてはボケが視認できない程度まで小さくなっていることが確認された。
以上説明したボケ補償システム1では、ミラー10は、特定波長の光を入射角と反射角とが互いに異なるように反射させる。このように設計されたミラー10は、特定波長の周辺波長の光も特定波長の光の反射角からずれた反射角で反射させる。したがって、ミラー10で反射された像Fの光によって構成される像に、ボケが生じる。このことは、たとえば図1に示されるように、ミラー10によって作られる像Fの虚像F10iにおいて、各波長の光に基づく虚像F11i、F12iおよびF13iの位置がずれていることから理解される。ここで、ボケ補償システム1では、レンズ30が、ミラー10によって反射される像の光のうち周辺波長の光が、ミラー20での特定波長の光の反射位置から、特定波長の光と同じ方向に反射されるように、ミラー10によって反射される像の光の方向を変更させる。すなわち、先に図1を参照して説明したように、ミラー10によって生じたボケが、ミラー20およびレンズ30によって補償される。また、先に図2を参照して説明したように、ミラー20によって生じるであろうボケが、ミラー10およびレンズ30によって補償される。したがって、ミラー10および/またはミラー20のような入射角と反射角の異なる光学素子を用いた場合に生じるボケを抑制することができる。
ミラー10およびミラー20は、ミラー10における特定波長の光の入射角および反射角の関係と、ミラー20における特定波長の光の入射角および反射角の関係とが実質的に等しくなるという光学特性を有してよい。その場合、レンズ30は、ミラー10によって反射される像Fの光のうち特定波長の光のミラー20での入射位置における特定波長の光の入射角および周辺波長の光の入射角の差(角度β12、β32)が、特定波長の光のミラー10での出射位置における特定波長の光の反射角および周辺波長の光の反射角の差(角度α12、α32)と一致するように、ミラー10によって反射される像Fの光の方向を変更させてもよい。この場合、実質的に同じ光学特性を有するミラー10およびミラー20を用いて、ボケ補償システム1を容易に実現することができる。
ミラー10には、所定の位置に設けられたディスプレイ40によって表示される像Fの光が入射し、レンズ30は集光レンズであってよい。この場合、ディスプレイ40によってすでに実像が作られているので、ミラー10以降の光軸上に、像Fの光に基づく実像を作るための要素を設ける必要がない。また、像Fの光がレンズ30によって集光される分、ミラー20における像Fの光が入射する部分の面積を小さくすることもできる。したがって、ミラー20を小型化することもできる。
反射型の光学素子であるミラー10およびミラー20を用いることで、たとえば透過型の光学素子を用いる場合よりも、像Fの光の光路Lを大きく変更させることもできる。結果として、たとえば、ミラー10、ミラー20、レンズ30の各光学素子の配置の自由度を向上させることができる。ボケ補償システム1全体の構成をコンパクトにすることもできる。
ミラー10およびミラー20の反射光としてさまざまな次数の反射光を組み合わせて用いることもできる。たとえば、上記では、ミラー10およびミラー20の反射光として同じ次数の−1次反射光を用いる例について説明した。ただし、−1次反射光に代えて+1次反射光を用いることもできる。
上記のボケ補償システム1は、第1の光学素子および第2の光学素子として反射型のミラー10およびミラー20という反射型の光学素子を用いた場合の一実施形態を説明したに過ぎない。第1の光学素子および第2の光学素子として透過型の光学素子が用いられる場合でも、同様の原理によりボケを抑制できることを、当業者は理解するであろう。したがって、本実施形態に係るボケ補償システムによれば、入射角と出射角の異なる光学素子を用いた場合に生じるボケを抑制することができる。
ボケ補償システム1の応用例について、図6〜図8を参照して説明する。
図6は、ボケ補償システムの応用例を示す図である。この例では、ボケ補償システムは、映像提示システム1Aとして用いられる。映像提示システム1Aは、たとえば対話コミュニケーションに用いられる。対話コミュニケーションの例は、テレビ電話である。図6には、ユーザUが映像提示システム1Aを利用して、ユーザUの対話相手であるユーザT(図6にはユーザTの虚像Tiが示される)と対話を行う様子が示される。ユーザUには、ユーザTがユーザUの前方に存在しているかのような映像が提示される。ユーザTは、ユーザUとは別の場所で、ユーザUが利用している映像提示システム1Aとは別の映像提示システム1Aを利用する。ユーザTには、カメラ50によって撮影されたユーザUの像(ユーザUの虚像Ui)が提示される。ユーザTには、ユーザUがユーザTの前方に存在しているかのような映像が提示される。
映像提示システム1Aは、ミラー10と、ミラー20と、レンズ30と、ディスプレイ40と、カメラ50と、マイク60と、スピーカ70と、制御装置80とを含む。ミラー10、ミラー20およびレンズ30の詳細構成およびボケ補償の原理については先に図1、2等を参照して説明したので、ここでは説明を繰り返さない。
映像提示システム1Aでは、ディスプレイ40は、ユーザTの像をミラー10に向かって映像表示する。すなわち、ディスプレイ40からは、ユーザTの像の光が出力される。ディスプレイ40による映像表示のフレーム数は、たとえば60フレーム/秒である。ディスプレイ40は、像を表示する状態(ON)と、像を表示しない状態(OFF)とが交互に切り替わるように、後述の制御装置80によって制御され得る。
カメラ50は、ミラー10を撮影する。カメラ50による撮影のフレーム数は、たとえば60フレーム/秒である。カメラ50は、撮影を実行する状態(ON)と、撮影を実行しない状態(OFF)とが交互に切り替わるように、後述の制御装置80によって制御され得る。
マイク60は、ユーザUの音声を含む周囲の音を集音する。スピーカ70は、ユーザTの音声を含む音を出力する。制御装置80は、ボケ補償システム1に含まれるディスプレイ40、カメラ50、マイク60およびスピーカ70等の各要素を制御する。制御装置80の機能については後に図7を参照して説明する。
ボケ補償システム1は、たとえば室内で利用される。図6に示される例では、ミラー20、ディスプレイ40およびカメラ50が、壁Wに設けられる。この例では壁Wが床Gに対して垂直に設けられており、壁Wに設けられるミラー20およびディスプレイ40も床Gに対して垂直に設けられる。ミラー10から見たときに、カメラ50は、ディスプレイ40とほぼ同じ方向に位置するように配置され得る。たとえば、ミラー10から見たときに、ディスプレイ40およびカメラ50が並設(たとえば隣接して配置)されていてよい。壁Wに設けられたミラー20、ディスプレイ40およびカメラ50以外の要素、つまりミラー10、レンズ30、マイク60、スピーカ70および制御装置80は、壁WよりもユーザU側に配置される。マイク60、スピーカ70および制御装置80は、床Gのうち壁WよりもユーザU側の部分に配置される。ユーザUは、ミラー20と対向する位置において映像提示システム1Aを利用する。
映像提示システム1Aでは、先に図1および図2を参照して説明した原理により、ディスプレイ40からのユーザTの像は、ミラー10によって反射されレンズ30を通った後、ミラー20によってユーザUに向かって反射される(矢印AR1)。すなわち、ユーザTの像がユーザUに提示される。ミラー20が特定波長以外の光を透過させるように構成されていれば、ミラー20を挟んでユーザUとは反対側に位置する前方空間にユーザTが浮かび上がるような像が、ユーザUに提示される。また、ユーザUの像は、ミラー20によって反射されレンズ30を通った後、ミラー10によってカメラ50に向かって反射される(矢印AR2)。これにより、ユーザUの像が、カメラ50によって撮影される。上述のようにミラー10から見たときにカメラ50がディスプレイ40とほぼ同じ方向に位置するように配置されるのであれば、カメラ50は、ユーザUの姿をほぼ正面から撮影することができる。
図7は、図6の映像提示システム1Aのブロック図の例を示す。図6には、互いに通信が可能な2つの映像提示システム1Aのブロック図が示される。一方の映像提示システム1AはユーザUが利用し、他方のボケ補償システム1はユーザTが利用する。
映像提示システム1Aに含まれるミラー10、ミラー20、レンズ30、ディスプレイ40、カメラ50、マイク60およびスピーカ70については、先に図6を参照して説明したとおりである。図7には、制御装置80のブロック図の例も示される。制御装置80は、物理的には、プロセッサ、メモリ、ストレージ、通信装置、入力装置、出力装置などを含むコンピュータ装置として構成され得る。制御装置80は、ディスプレイ40、カメラ50、マイク60およびスピーカ70の各要素とたとえば電気的に接続されており、それら各要素を制御することが可能である。制御装置80は、その機能ブロックとして、時分割処理部82と、制御部84と、記憶部86と、通信部88とを含む。
時分割処理部82によって実行される以下の処理は、ディスプレイ40によって表示されるユーザTの像がカメラ50によって撮影されることを防ぐために用いられる。たとえば図6に示されるディスプレイ40およびカメラ50の配置構成であれば、カメラ50の撮影範囲内にディスプレイ40が位置していないので、時分割処理部82による処理は不要である。逆に、後述の図8に示されるようなディスプレイ40およびカメラ50の配置構成においては、カメラ50の撮影範囲内にディスプレイ40が位置する可能性があり、その場合に時分割処理部82が用いられてよい。
具体的に、時分割処理部82は、ディスプレイ40によって像を表示するモード(表示モード)と、カメラ50によって撮影された像を取り込むモード(取込モード)とを順に切り替えて実行する処理(時分割処理)を行う。表示モードでは、ディスプレイ40によるユーザTの像の表示が行われる。取込モードでは、ディスプレイ40による像の表示が停止(中断)され、カメラ50によって撮影された像が取り込まれる。
時分割処理部82は、たとえば、1秒間を120フレームに分割し、1フレームごとに取込モードと表示モードとを交互に実行する。この場合、時分割処理部82は、120フレームのうち表示モードが実行される60フレームにおいて像を表示するようにディスプレイ40を制御する。時分割処理部82は、120フレームのうち取込モードが実行される60フレームにおいて撮影を行うようにカメラ50を制御してもよいし、全120フレームで撮影を行うようにカメラ50を制御してもよい。後者の場合には、たとえば、カメラ50が撮影した120フレーム分の像のうち取込モードが実行される60フレーム分の像が間引いて取り込まれる。
なお、上述の時分割処理部82による時分割処理を採用しない場合には、カメラ50によって撮影された像がそのまま60フレーム/秒で取り込まれ、また、通信部88によって受信されたユーザTの像がそのまま60フレーム/秒でディスプレイ40によって映像表示されてよい。
制御部84は、制御装置80に含まれる各要素を制御することによって、制御装置80の全体制御を行う部分である。記憶部86は、制御装置80によって実行される処理に必要な種々の情報を記憶する部分である。たとえば、記憶部86は、制御装置80の各機能を実現するためのプログラムを記憶しており、制御部84は、記憶部86から読み出されたプログラムを実行する。通信部88は、映像提示システム1Aの外部と通信を行う部分である。図6に示される例では、ユーザUが利用する映像提示システム1Aと、ユーザTが利用する映像提示システム1Aとが、それぞれの通信部88を介して通信を行うようになっている。
図7とともに図6も参照して、映像提示システム1Aの動作概要について説明する。
ユーザUが利用する映像提示システム1Aにおいて、ミラー20によって反射され、レンズ30を通り、ミラー10で反射されたユーザUの像(虚像Ui)を、カメラ50が撮影する。カメラ50によって撮影されたユーザUの像は、通信部88を介して、ユーザTが利用する映像提示システム1Aの通信部88に送信される。ユーザTが利用する映像提示システム1Aでは、通信部88によって受信されたユーザUの像を、ディスプレイ40がミラー10に向かって表示する。ユーザUの像は、ミラー10によって反射され、レンズ30を通った後、ミラー20によってユーザTに向かって反射される。すなわち、ユーザUの像がユーザTに提示される。
同じくユーザUが利用する映像提示システム1Aにおいて、マイク60が、ユーザUの音声を集音する。カメラ50によって集音された音は、通信部88を介して、ユーザTが利用する映像提示システム1Aの通信部88に送信される。ユーザTが利用する映像提示システム1Aでは、通信部88によって受信された音を、マイク60が出力する。ユーザTは、ユーザUの音声を聞くことができる。
ユーザTが利用する映像提示システム1Aにおいて、ミラー20で反射され、レンズ30を通り、ミラー10で反射されたユーザTの像(虚像Ti)を、カメラ50が撮影する。カメラ50によって撮影されたユーザTの像は、通信部88を介して、ユーザUが利用する映像提示システム1Aの通信部88に送信される。ユーザUが利用する映像提示システム1Aでは、通信部88によって受信されたユーザTの像を、ディスプレイ40がミラー10に向かって表示する。ユーザTの像は、ミラー10によって反射され、レンズ30を通った後、ミラー20によってユーザUに向かって反射される。すなわち、ユーザTの像がユーザUに提示される。
同じくユーザTが利用する映像提示システム1Aにおいて、マイク60が、ユーザTの音声を集音する。マイク60によって集音された音は、通信部88を介して、ユーザUが利用する映像提示システム1Aの通信部88に送信される。ユーザUが利用する映像提示システム1Aでは、通信部88によって受信された音を、マイク60が出力する。ユーザUは、ユーザTの音声を聞くことができる。
以上のように、ユーザUおよびユーザTがそれぞれ利用する映像提示システム1A間で、両者の映像および音声が送受信されることによって、ユーザUとユーザTとの対話コミュニケーションが実現される。映像提示システム1Aは、ボケ補償システム1(図1および図2参照)を応用したものであるので、ユーザUに提示されるユーザTの像では、ボケが補償されている。同様に、カメラ50によって撮影されるユーザUの像でも、ボケが補償されている。
映像提示システム1Aでは、入射角と反射角の異なるミラー20が用いられるので、たとえば非特許文献1のように正反射特性を有するハーフミラーを用いた場合と比較して、ミラー20の配置角度を含むシステムの設計の自由度を向上させることもできる。たとえば、ミラー20を鉛直に配置することによって、映像提示システム1Aにおける水平方向のスペースを削減することができる。これは、一般的なミラーが面対称の位置に虚像を結像するのに対し、DOE、HOE等の光学素子が面対称でない位置に虚像を結像できるためである。なお、上述のようにミラー10、レンズ30、マイク60、スピーカ70および制御装置80を壁Wよりも(つまりミラー20よりも)ユーザU側に配置することによって、ミラー20よりも後方において他の要素を配置するためのスペースを不要とすることもできる。
映像提示システム1Aでは、カメラ50が、ユーザUの姿をほぼ正面から撮影することができる。この場合、ユーザTに提示されるユーザUの像におけるユーザUの目線が、ユーザTと正面で向かい合っているときとほぼ同じような目線になる。ユーザUに提示される像におけるユーザTの目線についても同様である。結果として、ユーザUとユーザTとの間で、アイコンタクトも含めたコミュニケーションも可能になる。
なお、上記では、ユーザUおよびユーザTの双方が映像提示システム1Aを利用する例について説明したが、ユーザUおよびユーザTの一方のみが映像提示システム1Aを利用し、他方が従来のテレビ電話システムを利用するといった態様も考えられる。
また、上記では、映像提示システム1Aが、ユーザUに映像を提示する映像提示、および、カメラ50によるユーザUの姿の撮影の両方の機能を備える例について説明した。ただし、映像提示システム1Aは、映像提示および撮影の少なくとも一方の機能を備えていればよい。
映像提示システム1Aが撮影の機能を備えない場合には、映像提示システム1Aは、カメラ50を含まない構成とすることができる。この場合でも、ユーザUの像がユーザTに提示されない態様で、ユーザUとユーザTとの対話コミュニケーションを実現することができる。対話コミュニケーションに限らず、単にユーザUに何らかの像を提示するために用いられてもよい。
映像提示システム1Aが映像提示の機能を備えない場合には、映像提示システム1Aは、ディスプレイ40を含まない構成とすることができる。この場合でも、ユーザTの像がユーザUに提示されない態様で、ユーザUとユーザTとの対話コミュニケーションを実現することができる。対話コミュニケーションに限らず、単にユーザUを撮影するために用いられてもよい。
図8は、変形例に係る映像提示システムの概略構成を示す図である。図8に示される映像提示システム1Bは、映像提示システム1A(図7)と比較して、ハーフミラー15をさらに含む点、およびカメラ50の配置が異なる点において相違する。
ハーフミラー15は、ディスプレイ40とミラー10との間の光路上に配置される。カメラ50は、ハーフミラー15によって反射されたミラー10からのユーザUの像の光が入射する位置に配置される。この例では、カメラ50は、ハーフミラー15の下方の床G上に配置される。ミラー20によって反射され、レンズ30を通り、ミラー10で反射されたユーザUの像の光は、たとえばその50%の光量の光がハーフミラー15によってカメラ50に向かって反射される(矢印AR3)。したがって、ユーザUの像(虚像Ui)がカメラ50によって撮影される。ディスプレイ40からのユーザTの像の光は、たとえば残りの50%の光量がハーフミラー15を透過し、ミラー10によって反射され、レンズ30を通り、ミラー20によってユーザUに向かって反射される(矢印AR1)。したがって、ユーザTの像(虚像Ti)が、ユーザUに提示される。
先に図6を参照して説明した映像提示システム1Aでは、カメラ50が、ユーザUの姿をほぼ正面から撮影することができるのに対し、映像提示システム1Bでは、ハーフミラー15を用いることによって、カメラ50がユーザUの姿を完全に正面から撮影することができる。この場合、ユーザTに提示されるユーザUの像におけるユーザUの目線が、ユーザTと正面で向かい合っているときとまったく同じ目線になる。ユーザUに提示される像におけるユーザTの目線についても同様である。したがって、ユーザUとユーザTとの間のアイコンタクトを含めたコミュニケーションをさらにリアルなものにすることができる。
映像提示システム1Bでは、ディスプレイ40およびカメラ50の位置関係、視野角の大きさ等によっては、カメラ50の撮影範囲内にディスプレイ40が位置し得る可能性がある。その場合には、先に説明した制御装置80の時分割処理部82による時分割処理を実行することによって、ディスプレイ40によって表示されるユーザTの像がカメラ50によって撮影されることを防ぎ、ユーザTの像のユーザUへ提示と、ユーザUの撮影とを両立することができる。ディスプレイ40によって表示される像がカメラ50に映らないように、ディスプレイ40およびカメラ50の位置関係、視野角の大きさ等を調節し、時分割処理を不要とすることもできる。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば上記実施形態では、ボケ補償システムにおける第3の光学素子としてレンズを用いた構成について説明したが、第3の光学素子として拡散スクリーンを用いることもできる。
図9に示されるボケ補償システム1Cは、ボケ補償システム1(図1)と比較して、映像提示システム1A(図7)と比較して、レンズ30に代えてスクリーン35を含む点において相違する。ボケ補償システム1Cは、プロジェクタ45をさらに含んでもよい。
プロジェクタ45は、像の光をミラー10に向かって出力(投影)する。プロジェクタ45からの像の光は、拡散スクリーン等の光を拡散させる要素に投影されてはじめて像を結ぶものである点で、ディスプレイ40からの像の光と相違する。
スクリーン35は、ミラー10とミラー20との間の光の光軸上に配置され、ミラー10によって反射される光の方向を変更させる。図9に示される例では、スクリーン35は、スクリーン35の背面がミラー10に対向するように配置される。この例では、スクリーン35は、背面でミラー10からの光を受け、前面に像を表示する背面型の拡散スクリーンであり、透過型の光学素子である。
スクリーン35による像の光の方向の変更については、ボケ補償システム1(図1)におけるレンズ30と同様の原理によって説明される。実際にスクリーン35によって表示される像は、無数の光点によって構成され、かつ、各光点から複数の方向に光が拡散して進む。先に図1および図2を参照して説明した場合と同様、理解を容易にするため、図9においては、スクリーン35において構成する一つの光点を通る光の光路が示される。さらに理解を容易にするため、図9において、図1と同様に、像の光の光路には光路Lの符号を付している。特定波長の光の光路には光路L2の符号を付し、短波長側波長の光の光路および長波長側波長の光の波長の光路には、光路L1および光路L3の符号をそれぞれ付している。ミラー10での特定波長の光の入射位置において、特定波長の光の反射角と短波長側の光の反射角との差が、角度α12として図示される。特定波長の光の反射角と短波長側波長の光の反射角との差が、角度α12として図示される。ミラー20での特定波長の光の入射位置において、特定波長の光の入射角と短波長側波長の光の入射角との差が、角度β12として図示される。特定波長の光の入射角と長波長側波長の光の入射角との差が、角度β32として図示される。
スクリーン35は、ミラー10によって反射される像の光のうち周辺波長の光が、ミラー20での特定波長の光の出射位置から特定波長の光と同じ方向に出射されるように、ミラー10によって反射される像の光の方向を変更させる。ミラー10およびミラー20が実質的に同じ光学特性を有する場合、スクリーン35は、ミラー10とミラー20との間の中間の位置に配置される。
具体的に、スクリーン35は、角度β12および角度β32が角度α12および角度α32とそれぞれ一致するように、ミラー10によって反射される像の光の方向(つまり光路L1および光路L3)を変更させる。
このように、スクリーン35によっても、先に図1等を参照して説明したレンズ30と同様に、ミラー10によって反射される像の光の方向が変更される。したがって、ミラー10によって生じたボケがスクリーン35およびミラー20によって補償される。ユーザUに提示される像では、ボケが補償されている。
ボケ補償システム1Cでは、ミラー10には、所定の位置に設けられたプロジェクタ45によって出力される像の光が入射し、第3の光学素子は、スクリーン35(拡散スクリーン)である。この場合、スクリーン35によって像の光に基づく実像を作ることができるので、スクリーン35からプロジェクタ45側の光軸上に、たとえば上述のディスプレイ40のような像の光に基づく実像を作るための要素を設ける必要がない。
以上では、第1の光学素子として反射型の光学素子であるミラー10が用いられる例について説明したが、第1の光学素子として透過型の光学素子が用いられてもよい。
図10に示されるボケ補償システム1Dは、ボケ補償システム1C(図9)と比較して、ミラー10に代えて透過型回折格子10Dを含む点、およびプロジェクタ45の配置が異なる点において相違する。
透過型回折格子10Dは、プロジェクタ45からの像の光を背面で受け、前面から像の光を出射させる。透過型回折格子10Dは、特定波長の光を入射角と出射角とが異なるように透過させる。透過型回折格子10Dは、DOE、HOE等の光学素子であり、周辺波長の光も、特定波長の光の出射角からずれた出射角で出射する。ボケ補償システム1Dでは、透過型回折格子10Dおよびミラー20は、透過型回折格子10Dにおける特定波長の光の入射角および出射角の関係と、ミラー20における特定波長の光の入射角および出射角の関係とが実質的に等しくなる光学特性を有する。
プロジェクタ45は、ユーザTの像の光を、透過型回折格子10Dの背面に向かって出力する。
ボケ補償システム1Dによれば、たとえば透過型回折格子10Dの後方にプロジェクタ45を配置することができるという点において、システム設計の自由度が向上する。
上述のような透過型回折格子10Dを用いたシステム構成においても、カメラ50を用いてユーザUを撮影することができる。たとえば図11に示されるボケ補償システム1Eは、ボケ補償システム1D(図10)と比較して、ミラー20に代えてミラー20Eを含む点、およびさらにレンズ30、カメラ50、ミラー90を含む点において相違する。
ミラー20Eは、プロジェクタ45からの像の光をユーザUに向かって反射させるとともに、ユーザUの像をレンズ30に向かって反射させるという2通りの反射特性を有する。ミラー20Eは、たとえば、HOEを二重露光させたり、異なる反射特性を有する2枚のミラーを重ね合わせたりすることによって作られる。図11に示される例では、ミラー20Eは、重ね合された2枚のミラー21およびミラー22を含む。
たとえば、ミラー21は、プロジェクタ45によって出力される像の光を反射させる一方で、その像の光の波長以外の波長の光を透過させるように設計される。この場合、ミラー21は、ミラー10と実質的に同じ光学特性を有するように設計される。ミラー21は、プロジェクタ45からの像の光をユーザUに向かって反射させる。これまでに説明したボケ補償の原理により、ミラー10によって生じるボケが補償されるので、ユーザUに提示される像では、ボケが補償されている。
一方で、ミラー22は、プロジェクタ45によって出力される像の光の波長以外の少なくとも一部の波長の光を反射させるように設計される。ミラー22によって反射される光の波長には、ユーザUの像を構成する光の波長の少なくとも一部が含まれる。したがって、ミラー22は、ユーザUの像をレンズ30に向かって反射させる。
レンズ30は、スクリーン35とは異なる位置に配置される。たとえば、レンズ30は、レンズ30およびスクリーン35がミラー20の法線に対して軸対象に配置されるように、スクリーン35の上方に配置される。レンズ30は、ミラー22によって反射された光を、ミラー90に入射させる。
ミラー90は、DOE、HOE等の光学素子である。ミラー22およびミラー90は、実質的に同じ光学特性を有するように設計される。ミラー90は、レンズ30からの光をカメラ50に向かって反射させる。ミラー22によって反射され、レンズ30を通り、ミラー90に至る光の光路のうち、特定波長の光の光路を光路L2´、短波長側波長の光の光路をL1´、長波長側波長の光の光路を光路L3´とすると、これまでに説明したボケ補償の原理により、各光路L1´〜L3´は、ミラー90とカメラ50との間で一致するので、ミラー22によって生じるボケが補償される。したがって、カメラ50によって撮影される像では、ボケが補償されている。
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
1、1C、1D、1E…ボケ補償システム、1A、1B…映像提示システム、10、20、21、22、90…ミラー、15…ハーフミラー、30…レンズ、35…スクリーン、40…ディスプレイ、45…プロジェクタ、50…カメラ、60…マイク、70…スピーカ、80…制御装置。

Claims (5)

  1. 所定の位置からの像の光が入射するとともに、特定波長の光の入射角と出射角とが互いに異なるように前記特定波長の光を反射または透過させる第1の光学素子と、
    前記第1の光学素子によって反射または透過される前記像の光が入射する位置に配置され、前記特定波長の光の入射角と出射角とが互いに異なるように前記特定波長の光を反射または透過させる第2の光学素子と、
    前記第1の光学素子と前記第2の光学素子との間の前記像の光の光軸上に配置されるとともに、前記第1の光学素子によって反射または透過される前記像の光のうち前記特定波長以外の波長の光が、前記第2の光学素子での前記特定波長の光の出射位置から、前記特定波長の光と同じ方向に出射されるように、前記第1の光学素子によって反射または透過される前記像の光の方向を変更させる第3の光学素子と、
    前記第2の光学素子の正面に位置する対象物を第1の光学素子を介して撮影するカメラと、
    を備える、ボケ補償システム。
  2. 前記第1の光学素子および前記第2の光学素子は、前記第1の光学素子における前記特定波長の光の入射角および出射角の関係と、前記第2の光学素子における前記特定波長の光の入射角および出射角の関係とが等しくなるような光学特性を有し、
    前記第3の光学素子は、前記第1の光学素子の特定位置で前記第1の光学素子によって反射または透過される前記像の光のうち前記特定波長の光の前記第2の光学素子の特定位置での入射位置における前記特定波長の光の入射角および前記特定波長以外の波長の光の入射角の差が、前記特定波長の光の前記第1の光学素子の特定位置での出射位置における前記特定波長の光の出射角および前記特定波長以外の波長の光の出射角の差と一致するように、前記第1の光学素子によって反射または透過される前記像の光の方向を変更させる、請求項1に記載のボケ補償システム。
  3. 前記第1の光学素子には、前記所定の位置に設けられたディスプレイによって表示される像の光が入射し、前記第3の光学素子は、集光レンズである、請求項1または2に記載のボケ補償システム。
  4. 前記第1の光学素子には、前記所定の位置に設けられたプロジェクタによって出力される像の光が入射し、
    前記第3の光学素子は、拡散スクリーンである、請求項1または2に記載のボケ補償システム。
  5. 前記第1の光学素子は、特定波長の光の入射角と反射角とが互いに異なるように前記特定波長の光を反射させるミラーであり、
    前記第2の光学素子は、前記ミラーにおける前記特定波長の光の入射角および出射角の関係と等しくなるような入射角および出射角の関係を有するミラーである、請求項1〜4のいずれか1項に記載のボケ補償システム。
JP2017022271A 2017-02-09 2017-02-09 ボケ補償システム Expired - Fee Related JP6699005B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017022271A JP6699005B2 (ja) 2017-02-09 2017-02-09 ボケ補償システム
EP17896243.7A EP3499290A4 (en) 2017-02-09 2017-12-26 BLUR COMPENSATION SYSTEM
PCT/JP2017/046741 WO2018146970A1 (ja) 2017-02-09 2017-12-26 ボケ補償システム
US16/464,337 US11428948B2 (en) 2017-02-09 2017-12-26 Blur compensation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017022271A JP6699005B2 (ja) 2017-02-09 2017-02-09 ボケ補償システム

Publications (2)

Publication Number Publication Date
JP2018128603A JP2018128603A (ja) 2018-08-16
JP6699005B2 true JP6699005B2 (ja) 2020-05-27

Family

ID=63107452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017022271A Expired - Fee Related JP6699005B2 (ja) 2017-02-09 2017-02-09 ボケ補償システム

Country Status (4)

Country Link
US (1) US11428948B2 (ja)
EP (1) EP3499290A4 (ja)
JP (1) JP6699005B2 (ja)
WO (1) WO2018146970A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368668B (zh) * 2018-07-03 2024-03-22 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2705245B2 (ja) 1989-09-27 1998-01-28 キヤノン株式会社 ヘッドアップディスプレイ装置
JPH06167671A (ja) * 1992-11-27 1994-06-14 Asahi Glass Co Ltd ホログラムを用いた表示システム
US6332689B1 (en) 1999-12-14 2001-12-25 Fujitsu Limited Optical apparatus which uses a virtually imaged phased array to produce chromatic dispersion
US7210784B2 (en) * 2002-02-06 2007-05-01 Brother Kogyo Kabushiki Kaisha Image projecting device
US6906836B2 (en) 2002-10-04 2005-06-14 William Parker Full color holographic image combiner system
DE102007011561B4 (de) 2007-03-02 2016-03-17 Seereal Technologies S.A. Einrichtung zur Korrektur der Wellenlängenabhängigkeit in beugungsbasierten optischen Systemen
US8654799B2 (en) 2010-12-14 2014-02-18 Coherent, Inc. Short-pulse fiber-laser
US9341850B1 (en) * 2013-04-30 2016-05-17 Google Inc. Diffractive see-through display with hybrid-optical aberration compensation
CN107107759B (zh) * 2014-12-24 2019-03-19 富士胶片株式会社 投影型显示装置、安全驾驶辅助方法以及记录介质

Also Published As

Publication number Publication date
JP2018128603A (ja) 2018-08-16
US20210109366A1 (en) 2021-04-15
EP3499290A4 (en) 2019-10-09
EP3499290A1 (en) 2019-06-19
US11428948B2 (en) 2022-08-30
WO2018146970A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
CN110651236B (zh) 经由眼睛跟踪扩大有效眼动范围的近眼显示器
KR101325292B1 (ko) 핸드헬드 디바이스의 카메라 응용
US7144113B2 (en) Virtual image display apparatus
JP3845060B2 (ja) 反射型立体ディスプレイシステム
KR20210100175A (ko) 하이퍼보컬 뷰포트(hvp) 디스플레이를 위한 적응형 뷰포트
JP2019179242A (ja) 光学システムおよび光学システムを有する装置
JP2017135605A (ja) 画像表示装置
JP5213998B2 (ja) 立体撮影装置、およびそれを備えた電子機器
JP6699005B2 (ja) ボケ補償システム
CN116802544A (zh) 位于波导显示器上的相位结构
JP7432339B2 (ja) ヘッドマウントディスプレイ
JPWO2016080114A1 (ja) 投影装置
CN114690532B (zh) 显示系统
JP7420081B2 (ja) 表示装置
JP5939718B2 (ja) 映像投影システム及び映像投影方法
JP4349067B2 (ja) 撮像装置とこれを有するカメラ
JP6997854B2 (ja) 光学ユニット及び投影装置
JP2018007110A (ja) 表示装置およびスクリーン
JP2005176284A (ja) ステレオカメラ付き携帯情報端末
JP2015049263A (ja) 立体映像表示装置
JP2007281765A (ja) 撮像装置
JP2020022006A (ja) 表示撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200331

R150 Certificate of patent or registration of utility model

Ref document number: 6699005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees