JP2020501171A - ディスプレイデバイス及び表示方法 - Google Patents

ディスプレイデバイス及び表示方法 Download PDF

Info

Publication number
JP2020501171A
JP2020501171A JP2018557084A JP2018557084A JP2020501171A JP 2020501171 A JP2020501171 A JP 2020501171A JP 2018557084 A JP2018557084 A JP 2018557084A JP 2018557084 A JP2018557084 A JP 2018557084A JP 2020501171 A JP2020501171 A JP 2020501171A
Authority
JP
Japan
Prior art keywords
display screen
image
distant
display
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018557084A
Other languages
English (en)
Other versions
JP6947753B2 (ja
Inventor
翔 陳
翔 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Publication of JP2020501171A publication Critical patent/JP2020501171A/ja
Application granted granted Critical
Publication of JP6947753B2 publication Critical patent/JP6947753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/144Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/023Display panel composed of stacked panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】ディスプレイデバイスで表示される画像が現実感に欠けるという従来技術の問題を解決可能なディスプレイデバイス及び表示方法を提供する。【解決手段】本願発明のディスプレイデバイスは、処理装置と、ディスプレイスクリーンアセンブリと、半透明鏡とを含む。上記ディスプレイスクリーンアセンブリは、近景ディスプレイスクリーンと、遠景ディスプレイスクリーンとを含み、上記近景ディスプレイスクリーンから上記半透明鏡までの距離は上記遠景ディスプレイスクリーンから上記半透明鏡までの距離より短い。上記処理装置は、画像における近景画像を上記近景ディスプレイスクリーンに送信して表示させ、画像における遠景画像を上記遠景ディスプレイスクリーンに送信して表示させる。上記半透明鏡は、上記近景ディスプレイスクリーンから発せられる光と、上記遠景ディスプレイスクリーンから発せられる光とを反射または透過する。本願発明により、表示される画像の現実感を高めることができる。【選択図】図1(a)

Description

「関連出願の相互参照」
本願発明は、2017年9月26日に提出した「ディスプレイデバイス及び方法」と題する中国特許出願(出願番号2017108824554)の優先権を主張し、その内容全体をここに援用する。
本願発明は、バーチャルリアリティの技術分野に関し、詳しく言えば、ディスプレイデバイス及び表示方法に関する。
バーチャルリアリティ技術はすでにゲーム、医療、軍事など多くの分野に用いられている。ユーザは、頭部に装着するバーチャルリアリティディスプレイデバイスを利用することにより、没入型の視聴体験を実現できる。
人間の目は、近くにある物体を見るときには、遠くの物体がぼやけ(ぼけ)て見え、遠くにある物体を見るときには、近くの物体がぼやけて見える構成となっている。従来のバーチャルリアリティディスプレイデバイスでは、こうしたぼやけを実現できないため、表示される画像が実感に欠けるという課題があった。
本願発明は、上記の実情に鑑みてなされるもので、従来のディスプレイデバイスにおける表示される画像が実感に欠けるという課題を解決するために、複数の態様のディスプレイデバイス及び表示方法を提供するものである。
本願発明の第1の態様では、以下のディスプレイデバイスを提供する。すなわち、本願発明のディスプレイデバイスは、処理装置と、ディスプレイスクリーンアセンブリと、半透明鏡とを含み、
上記ディスプレイスクリーンアセンブリは、近景ディスプレイスクリーンと、遠景ディスプレイスクリーンとを含み、上記近景ディスプレイスクリーンから上記半透明鏡までの距離は、上記遠景ディスプレイスクリーンから上記半透明鏡までの距離より短く、
上記処理装置は、画像の近景画像を上記近景ディスプレイスクリーンに送信して表示させ、画像の遠景画像を上記遠景ディスプレイスクリーンに送信して表示させ、
上記半透明鏡は、上記近景ディスプレイスクリーンから発する光と、上記遠景ディスプレイスクリーンから発する光を反射または透過する。
本願発明の第2の態様では、以下の表示方法を提供する。すなわち、本願発明の表示方法は、処理装置に用いて、
仮想シーンの表示対象画像を取得するステップと、
ユーザの上記仮想シーンにおける位置と上記表示対象画像における物体との間の距離に基づき、上記表示対象画像を近景画像と、遠景画像に区画するステップと、
上記近景画像を近景ディスプレイスクリーンに送信して表示させ、上記遠景画像を遠景ディスプレイスクリーンに送信して表示させるステップと、を含む。ここで、上記近景ディスプレイスクリーンからユーザの目までの距離は、上記遠景ディスプレイスクリーンからユーザの目までの距離より短い。
本願発明に係るディスプレイデバイス及び表示方法では、近景ディスプレイスクリーン及び遠景ディスプレイスクリーンによりそれぞれ対応する画像を表示する。そして、近景ディスプレイスクリーンと遠景ディスプレイスクリーンの位置関係を利用して半透明鏡により、近景ディスプレイスクリーンにおける近景画像をユーザの近くの場所に表示させ、遠景ディスプレイスクリーンにおける遠景画像を同じ方向でユーザから遠い場所に表示させる。すなわち遠景画像を近景画像の後ろに表示する。人の目には被写界深度があるため、ユーザが近くにある近景画像を観察するときは、遠景画像がぼやけて見え、逆の場合には、近景画像がぼやけて見える。この結果、画像に被写界深度が付加され、画像がより真実(現実的)に見えるようになる。
以下の図面は、本発明の理解を深めるためのものであって、本発明を構成する。次に示す実施例とその説明は、本発明を理解させるためのものに過ぎず、本発明に限定を加えるものではない。
本願発明の一実施形態によるディスプレイデバイスの例を示す概略構造図である。 本願発明の一実施形態によるディスプレイデバイスの他の例を示す概略構造図である。 本願発明の一実施形態によるディスプレイデバイスにおける遠景画像の虚像及び近景画像の虚像の位置を示す図である。 本願発明の一実施例形態によるディスプレイデバイスのさらに他の例を示す概略構造図である。 本願発明の一実施例による表示方法を示すフローチャートである。 本願発明の一実施による表示方法における近景領域の形状を示す図である。 本願発明の一実施形態による表示方法における近景領域の他の形状を示す図である。 本願発明の一実施形態による近景ディスプレイスクリーンの虚像である。 本願発明の一実施例による遠景ディスプレイスクリーンの虚像である。
本願発明の目的、技術的解決手段及び利点をより明瞭にするために、以下に、図面を参照しながら、本願発明の技術的解決手段を明瞭かつ詳細に説明する。なお、以下に記載されているのは本願発明の実施例の全てではなく、その一部に過ぎない。これらの実施例を踏まえ、当業者が進歩性のある作業によらず得られる全ての構成は、いずれも本願発明の技術的範囲に包含されるものである。
本願発明は、表示される画像の現実感を高めるためのディスプレイデバイスを提供する。
本願発明に係るディスプレイデバイスは、ヘッドマウントディスプレイデバイス、立体映画用ディスプレイデバイスなどであってもよい。
図1(a)に示すように、本願発明に係るディスプレイデバイスは、処理装置10と、ディスプレイスクリーンアセンブリ20と、半透明鏡30を含む。
なお、ディスプレイスクリーンアセンブリ20は、近景ディスプレイスクリーン21と、遠景ディスプレイスクリーン22を含む。近景ディスプレイスクリーン21から半透明鏡30までの距離は遠景ディスプレイスクリーン22から半透明鏡30までの距離より短い。本明細書において、近景ディスプレイスクリーン21から半透明鏡30までの距離とは、近景ディスプレイスクリーン21の中心点から半透明鏡30の中心点までの距離を指し、遠景ディスプレイスクリーン22から半透明鏡30までの距離は遠景ディスプレイスクリーン22の中心点から半透明鏡30の中心点までの距離を指す。
処理装置10は、画像における近景画像を近景ディスプレイスクリーン21に送信して表示させ、画像における遠景画像を遠景ディスプレイスクリーン22に送信して表示させる。
半透明鏡30は、近景ディスプレイスクリーン21から発せられる光と、遠景ディスプレイスクリーン22から発せられる光を反射または透過する。
実際に利用するときには、処理装置10が作動し、近景画像が近景ディスプレイスクリーン21に表示され、遠景画像が遠景ディスプレイスクリーン22に表示されると、半透明鏡30が近景ディスプレイスクリーン21から発せられる光と、遠景ディスプレイスクリーン22から発せられる光を反射及び透過することにより、近景ディスプレイスクリーン21に表示される近景画像の虚像と、遠景ディスプレイスクリーン22に表示される遠景画像の虚像が、ユーザに視覚できるようになる(図2参照)。近景ディスプレイスクリーン21から半透明鏡30までの距離が遠景ディスプレイスクリーン22から半透明鏡30までの距離より短い。このため、ユーザの目に見える近景画像の虚像のユーザの目との距離が短く、ユーザの目に見える遠景画像の虚像のユーザの目との距離が長い。このようにして、遠景画像と、近景画像をユーザの目から異なる距離で表示する機能が実現される。ユーザが距離の短い像、すなわち近景画像の虚像を観察するときには、距離の長い遠景画像の虚像がぼやけて見え、ユーザが距離の長い像、すなわち遠景画像の虚像を観察するときには、距離の短い近景画像の虚像がぼやけて見え、画像の現実感が向上する。
なお、本願発明では、ディスプレイスクリーンアセンブリ20における各スクリーンのサイズ、解像度などのパラメータは限定されない。ディスプレイスクリーンアセンブリ20における近景ディスプレイスクリーン21と遠景ディスプレイスクリーン22の解像度は同じであっても異なっていてもよい。近景ディスプレイスクリーン21のサイズは遠景ディスプレイスクリーン22のサイズより小さいことが好まし。このようにすることにより、光路において透過と反射を経たディスプレイスクリーンの虚像がユーザの目に形成する像のサイズが一致する(図6(a)及び図6(b)参照)。その結果、表示される遠景画像と、近景画像は、ユーザの目には同じ大きさで見えるようになる。
処理装置10は、画像抽出機能を備えればどのような型番の処理装置であってもよく、本願発明ではそれらを限定しない。
図3に示すように、本願発明に係るディスプレイデバイスは、第1のレンズ40をさらに含んでもよい。第1のレンズ40は半透明鏡30と、ユーザの目との間に位置し、凸レンズであってもよい。もちろん、第1のレンズ40は、単独の1つの凸レンズでもよいし、複数のレンズからなり、凸レンズの効果を有するレンズ群であってもよい。
近景ディスプレイスクリーン21と半透明鏡30との間、さらには遠景ディスプレイスクリーン22と半透明鏡30との間に、レンズを設けない、または1つもしくは複数の凸レンズか凹レンズかを設けることにより、近景ディスプレイスクリーン21及び遠景ディスプレイスクリーン22の結像距離を変えてもよい。近景ディスプレイスクリーン21と半透明鏡30との間のレンズを、第2のレンズとして、遠景ディスプレイスクリーン22と半透明鏡30との間のレンズを、第3のレンズとしてもよい。上記第2のレンズ及び第3のレンズは、凸レンズ、凹レンズ、または凸レンズもしくは凹レンズの効果を有するレンズ群であってもよい。具体的には、近景ディスプレイスクリーン21と半透明鏡30との間に凸レンズ(または凸レンズの効果を有するレンズ群)を設けた場合には、近景ディスプレイスクリーン21の結像距離がユーザの目により近くなる。一方、近景ディスプレイスクリーン21と半透明鏡30との間に凹レンズ(または凹レンズの効果を有するレンズ群)を設けた場合には、近景ディスプレイスクリーン21の結像距離がユーザの目からより遠くなる。遠景ディスプレイスクリーン22と半透明鏡30との間に凸レンズ(または凸レンズの效果を有するレンズ群)を設けた場合には、遠景ディスプレイスクリーン22の結像距離がユーザの目により近くなる。一方、遠景ディスプレイスクリーン22と半透明鏡30との間に凹レンズ(または凹レンズの効果を有するレンズ群)を設けた場合には、遠景ディスプレイスクリーン22の結像距離がユーザの目からより遠くなる。
近景ディスプレイスクリーン21が遠景ディスプレイスクリーン22に対して垂直に設けられる形態とすることもできる。なお、本実施形態では、近景ディスプレイスクリーン21と遠景ディスプレイスクリーン22との相対的位置関係のみについて限定する。すなわち、近景ディスプレイスクリーン21を遠景ディスプレイスクリーン22に対して垂直とする。近景ディスプレイスクリーン21及び遠景ディスプレイスクリーン22が具体的にどのような状態で配置されるかは、特に限定されない。
上記実施形態を踏まえれば、近景ディスプレイスクリーン21は水平、鉛直、または水平もしくは鉛直方向と一定の夾角をなすように配置してもよい。近景ディスプレイスクリーン21の配置状態に応じて、近景ディスプレイスクリーン21と垂直となるようにして、遠景ディスプレイスクリーン22を鉛直、水平、または水平もしくは鉛直方向と一定の夾角をなして配置してもよい。
本願発明では、半透明鏡30の透過と反射の両方の特性により、近景ディスプレイスクリーン21から発せられる光と、遠景ディスプレイスクリーン22から発せられる光を反射または透過させる。さらに近景画像の虚像と、遠景画像の虚像が同一の方向に表示される。すなわち2つの画像の虚像がユーザの目の観察する方向に表示される。このため、半透明鏡30は近景ディスプレイスクリーン21または遠景ディスプレイスクリーン22と一定の角度で配置する必要がある。その角度は、遠景画像の虚像と、近景画像の虚像がユーザの目の観察する方向に表示されさえすれば、本願発明はでは特に限定されるものではない。例えば、半透明鏡30は近景ディスプレイスクリーン21と45°の角度をなして斜めに配置されてもよい。
近景ディスプレイスクリーン21と、遠景ディスプレイスクリーン22と、半透明鏡30との配置としては、例えば、図1(a)に示すように、近景ディスプレイスクリーン21を半透明鏡30の正面側に水平に配置し、遠景ディスプレイスクリーン22を半透明鏡30の裏面側に鉛直に配置し、半透明鏡30を近景ディスプレイスクリーン21と45°の角度をなして斜めに配置してもよい。この構成では、近景ディスプレイスクリーン21から発せられる光を半透明鏡30が反射し、遠景ディスプレイスクリーン22から発せられる光を透過する。本願発明では、半透明鏡30の正面側を半透明鏡30のユーザの目に面する側とし、同裏面側を半透明鏡30のユーザの目と背中合わせとなる側とする。
また、近景ディスプレイスクリーン21と、遠景ディスプレイスクリーン22と、半透明鏡30との配置としては、図1(b)に示すように、遠景ディスプレイスクリーン22を半透明鏡30の正面側に水平に配置し、近景ディスプレイスクリーン21を半透明鏡30の裏面側に鉛直に配置し、半透明鏡30を遠景ディスプレイスクリーン22と45°の角度をなして斜めに配置してもよい。この構成では、近景ディスプレイスクリーン21から発せられる光を半透明鏡30が透過し、遠景ディスプレイスクリーン22から発せられる光を反射する。
本願発明では、さらに、処理装置に用いる表示方法を提供する。上記処理装置は、ディスプレイデバイスの処理装置であってもよい。当該ディスプレイデバイスは、少なくとも処理装置と、ディスプレイスクリーンアセンブリと、半透明鏡とを含む。上記ディスプレイスクリーンアセンブリは、近景ディスプレイスクリーンと、遠景ディスプレイスクリーンとを含む。上記近景ディスプレイスクリーンから半透明鏡までの距離は遠景ディスプレイスクリーンから半透明鏡までの距離より短い。半透明鏡は、近景ディスプレイスクリーンから発せられる光と、遠景ディスプレイスクリーンから発せられる光を反射または透過する。処理装置は、本願発明に係る表示方法を実行する。
図4に示すように、本願発明に係る表示方法は、ステップS401〜ステップS403を含む。
ステップS401では、仮想シーンにおける表示対象画像を取得する。
ステップS402では、ユーザの仮想シーンにおける位置と表示対象画像における物体との距離に基づき、表示対象画像を近景画像と、遠景画像に区画する。
ステップS403では、近景画像を近景ディスプレイスクリーンに送信して表示させ、遠景画像を遠景ディスプレイスクリーンに送信して表示させる。ここで、近景ディスプレイスクリーンからユーザの目までの距離は、遠景ディスプレイスクリーンからユーザの目までの距離より短い。
なお、本明細書において、近景ディスプレイスクリーンからユーザの目までの距離は、近景ディスプレイスクリーンの中心点からユーザの目までの距離を指し、遠景ディスプレイスクリーンからユーザの目までの距離は、遠景ディスプレイスクリーンの中心点からユーザの目までの距離を指す。
本願発明では、近景ディスプレイスクリーンにおける近景画像がディスプレイデバイスの半透明鏡により反射し、遠景ディスプレイスクリーンにおける遠景画像がディスプレイデバイスの半透明鏡により透過する、または近景ディスプレイスクリーンにおける近景画像がディスプレイデバイスの半透明鏡により透過し、遠景ディスプレイスクリーンにおける遠景画像がディスプレイデバイスの半透明鏡により反射する。
本願発明に係る表示方法は、ディスプレイデバイスの処理装置に用いる。処理装置が近景画像と、遠景画像をそれぞれ向きの異なる2枚のディスプレイスクリーンに表示する。そしてディスプレイデバイスの半透明鏡が近景画像の虚像と、遠景画像の虚像をユーザに対して表示する。上記ディスプレイデバイスの近景ディスプレイスクリーンから半透明鏡までの距離は遠景ディスプレイスクリーンから半透明鏡までの距離より短いため、近景ディスプレイスクリーンに対応する近景画像の虚像からユーザの目までの距離が遠景ディスプレイスクリーンに対応する遠景画像の虚像からユーザの目までの距離より短い。このため、ユーザの目が距離の短い近景画像の虚像を見るときは、遠景画像の虚像がぼやけて見え、逆の場合には、近景画像の虚像がぼやけて見える。
本願発明では、ユーザの仮想シーンにおける位置と、表示対象画像の各物体の仮想シーンにおける位置を取得して、この2つの位置から、ユーザの仮想シーンにおける位置と表示対象画像における各物体との距離を求めることにより、上記表示対象画像を近景画像と、遠景画像に区画することができる。
近景画像と、遠景画像の区画を実現するには、以下のプロセスを用いてもよい。表示対象画像における近景領域を抽出し、近景領域以外のその他の領域を所定のカラーで充填することにより、上記近景画像を得る。表示対象画像における遠景領域を抽出し、遠景領域以外のその他の領域を所定のカラーで充填することにより、上記遠景画像を得る。近景領域は、近景物体からなる領域で、遠景領域は、遠景物体からなる領域である。所定のカラーは黒色とするのが好ましい。
次のステップで近景物体と、遠景物体とを確定してもよい。ある物体とユーザの仮想シーンにおける位置との距離が所定値より短い場合、当該物体を近景物体として確定し、逆の場合、当該物体を遠景物体として確定する。
なお、近景物体の表示対象画像における分布状況により、近景領域は連続する領域であっても、不連続な領域であってもよい。同様に、遠景物体の表示対象画像における分布状況により、遠景領域は連続する領域であっても、不連続な領域であってもよい。
例えば、図5(a)に示すように、1枚の画像で隣接する物体Aと、物体Bを近景物体として確定する場合、画像における物体Aと、物体Bからなる連続する領域が近景領域となる。また、図5(b)に示すように、隣接しない物体Cと、物体Dを近景物体として確定する場合、画像における物体Cと、物体Dからなる不連続な領域が近景領域となる。
当業者であれば、本願発明の実施形態を方法、システム、またはコンピュータプログラム製品として応用できることは明らかである。このように、本願発明では、完全にハードウェアからなる実施形態、完全にソフトウェアからなる実施形態、またはソフトウェアとハードウェアとを組み合わせた実施形態を採用できる。なお、本願発明は、コンピュータにおいて動作可能なプログラムコードを含む1つまたは複数のコンピュータ用記憶媒体(磁気ディスク、CD−ROM、光学的記憶装置などを含みこれらだけに限定されない)において実行されるコンピュータプログラム製品の形態としてもよい。
本明細書では、本願発明の実施形態による方法、デバィス(システム)、及びコンピュータプログラム製品のフローチャート及び/またはブロック図を参照しながら説明している。コンピュータプログラム指令により、フローチャート及び/またはブロック図における各プロセス及び/またはブロック、ならびにフローチャート及び/またはブロック図におけるプロセス及び/またはブロックの組み合わせを実現できることは明らかである。これらのコンピュータプログラム指令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサまたはその他のプログラマブルなデータ処理デバイスのプロセッサに組み込んだ機器を提供する。これにより、コンピュータまたはその他のプログラマブルなデータ処理デバィスのプロセッサにより実行される指令により、フローチャートにおける1つまたは複数のプロセス、及び/またはブロック図における1つまたは複数のブロックにて指定される機能を実現するための装置を提供することができる。
これらのコンピュータプログラム指令は、コンピュータまたはその他のプログラマブルなデータ処理デバィスをガイドして特定の方式で動作させるコンピュータ読み取り可能な記憶装置に記憶させることにより、当該コンピュータ読み取り可能な記憶装置に記憶されている指令を指令装置を含む製品により実現することができる。当該指令装置は、フローチャートにおける1つまたは複数のプロセス及び/またはブロック図における1つまたは複数のブロックにて指定される機能を実現する。
これらのコンピュータプログラム指令は、コンピュータまたはその他のプログラマブルなデータ処理デバィスにロードすることにより、コンピュータまたはその他のプログラマブルなデバィスにおいて一連の操作ステップを実行してコンピュータにおいて実現される処理を行うことができる。これにより、コンピュータまたはその他のプログラマブルなデバィスにおいて実行される指令により、フローチャートにおける1つまたは複数のプロセス及び/またはブロック図における1つまたは複数のブロックに指定される機能を実現するためのステップを提供する。
代表的な構成として、コンピュータデバィスは、1つまたは複数の処理装置(CPU)と、入力/出力インタフェースと、ネットワークインタフェースと、メモリとを含む。
メモリは、コンピュータ読み取り可能な媒体のうち非永続的メモリ、ランダムアクセスメモリ(RAM)及び/または不揮発性メモリなどの形態、例えば、リードオンリーメモリ(ROM)やフラッシュメモリ(flash RAM)などを含んでもよい。メモリがコンピュータ読み取り可能な媒体の一例である。
コンピュータ読み取り可能な媒体は、あらゆる方法または技術により情報を記憶可能な永続的もしくは非永続的媒体、携帯型もしくは非携帯型の媒体を含む。上記情報は、コンピュータ読み取り可能な指令、データ構造、プログラムのモジュールまたはその他のデータであってもよい。コンピュータの記憶媒体としては、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、その他のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリやその他のメモリ技術、コンパクトディスクリードオンリーメモリ(CD−ROM)、デジタル多機能ディスク(DVD)やその他の光学的記憶手段、カセットテープ、テープ磁気ディスクメモリやその他の磁気記憶デバィス、またはその他のあらゆる非伝送媒体を含むが、これらに限定されず、コンピュータデバィスのアクセス可能な情報の記憶に用いることができる。本明細書において、コンピュータ読み取り可能な媒体は、非一過性の媒体(transitory media)、例えば、変調されたデータ信号やキャリアなどは含まない。
なお、「含む」、またはこれに類する他の用語は、非除外的に包含することを意図することにより、一連の要素を含むプロセス、方法、製品またはデバィスは、それらの要素だけでなく、明記しないその他の要素も含み、あるいはこのようなプロセス、方法、商品またはデバィスに固有の要素も含むものである。このため、特記がない限り、「一つの……を含む」という文言で限定された要素は、上記要素を含むプロセス、方法、製品またはデバィスにはさらに同一の要素が存在する場合を除外しない。
当業者であれば、本願発明の実施形態に基づいて、方法、システム、またはコンピュータプログラム製品として提供できることは明らかである。したがって、本願発明では、完全にハードウェアからなる実施形態、完全にソフトウェアからなる実施形態、またはソフトウェアとハードウェアとを組み合わせた実施形態を採用できる。なお、本願発明は、コンピュータにおいて動作可能なプログラムコードを含む1つまたは複数のコンピュータ用記憶媒体(磁気ディスク、CD−ROM、光学的記憶装置などを含みこれらだけに限定されない)において実行されるコンピュータプログラム製品の形態としてもよい。
上記の内容は、本願発明の実施例に過ぎず、本願発明に限定を加えるものではない。当業者であれば、本願発明に様々な変更や変形などを加えることができる。本願発明の趣旨に矛盾しないあらゆる変更、均等な置き換え、改善などは、いずれも本願発明の特許請求の範囲に含まれるものとする。
10…処理装置、20…ディスプレイスクリーンアセンブリ、21…近景ディスプレイスクリーン、22…遠景ディスプレイスクリーン、30…半透明鏡、40…第1のレンズ。

Claims (10)

  1. 処理装置と、ディスプレイスクリーンアセンブリと、半透明鏡とを含むディスプレイデバイスであって、
    前記ディスプレイスクリーンアセンブリは、近景ディスプレイスクリーンと、遠景ディスプレイスクリーンとを含み、前記近景ディスプレイスクリーンから前記半透明鏡までの距離は、前記遠景ディスプレイスクリーンから前記半透明鏡までの距離より短く、
    前記処理装置は、画像における近景画像を前記近景ディスプレイスクリーンに送信して表示し、前記画像における遠景画像を前記遠景ディスプレイスクリーンに送信して表示し、
    前記半透明鏡は、前記近景ディスプレイスクリーンから発せられる光と、前記遠景ディスプレイスクリーンから発せられる光を反射または透過することを特徴とするディスプレイデバイス。
  2. 前記ディスプレイデバイスは、前記半透明鏡と、ユーザの目との間に位置する第1のレンズをさらに含むことを特徴とする請求項1に記載のディスプレイデバイス。
  3. 前記第1のレンズが凸レンズであることを特徴とする請求項2に記載のディスプレイデバイス。
  4. 前記近景ディスプレイスクリーンは、前記遠景ディスプレイスクリーンに対して垂直に設けられることを特徴とする請求項1に記載のディスプレイデバイス。
  5. 前記近景ディスプレイスクリーンは、前記半透明鏡の正面側に水平に配置され、前記遠景ディスプレイスクリーンは、前記半透明鏡の裏面側に鉛直に配置され、前記半透明鏡は、前記近景ディスプレイスクリーンと45°の角度をなして斜めに配置されることを特徴とする請求項4に記載のディスプレイデバイス。
  6. 前記遠景ディスプレイスクリーンは、前記半透明鏡の正面側に水平に配置され、前記近景ディスプレイスクリーンは、前記半透明鏡の裏面側に鉛直に配置され、前記半透明鏡は、前記遠景ディスプレイスクリーンと45°の角度をなして斜めに配置されることを特徴とする請求項4に記載のディスプレイデバイス。
  7. 前記ディスプレイデバイスは、前記近景ディスプレイスクリーンと前記半透明鏡との間に位置する第2のレンズをさらに含むことを特徴とする請求項1ないし請求項6のいずれか一項に記載のディスプレイデバイス。
  8. 前記ディスプレイデバイスは、前記遠景ディスプレイスクリーンと前記半透明鏡との間に位置する第3のレンズをさらに含むことを特徴とする請求項1ないし請求項6のいずれか一項に記載のディスプレイデバイス。
  9. 処理装置を用いた表示方法であって、
    仮想シーンにおける表示対象画像を取得するステップと、
    ユーザの前記仮想シーンにおける位置と前記表示対象画像における物体との距離に基づき、前記表示対象画像を近景画像と、遠景画像に区画するステップと、
    前記近景画像を近景ディスプレイスクリーンに送信して表示し、前記遠景画像を遠景ディスプレイスクリーンに送信して表示するステップと、を含み、
    前記近景ディスプレイスクリーンからユーザの目までの距離は。前記遠景ディスプレイスクリーンからユーザの目までの距離より短いことを特徴とする表示方法。
  10. 前記表示対象画像を近景画像と、遠景画像に区画するステップは、
    前記表示対象画像における近景領域を抽出し、前記近景領域以外のその他の領域を所定のカラーで充填することにより、前記近景画像を得るステップと、
    前記表示対象画像における遠景領域を抽出し、前記遠景領域以外のその他の領域を所定のカラーで充填することにより、前記遠景画像を得るステップと、を含むことを特徴とする請求項9に記載の表示方法。
JP2018557084A 2017-09-26 2017-12-21 ディスプレイデバイス及び表示方法 Active JP6947753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710882455.4A CN109557677A (zh) 2017-09-26 2017-09-26 显示设备和方法
CN201710882455.4 2017-09-26
PCT/CN2017/117708 WO2019061884A1 (zh) 2017-09-26 2017-12-21 显示设备和方法

Publications (2)

Publication Number Publication Date
JP2020501171A true JP2020501171A (ja) 2020-01-16
JP6947753B2 JP6947753B2 (ja) 2021-10-13

Family

ID=65862252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557084A Active JP6947753B2 (ja) 2017-09-26 2017-12-21 ディスプレイデバイス及び表示方法

Country Status (6)

Country Link
US (1) US10852561B2 (ja)
EP (1) EP3690518A4 (ja)
JP (1) JP6947753B2 (ja)
KR (1) KR20190050737A (ja)
CN (1) CN109557677A (ja)
WO (1) WO2019061884A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683240B (zh) * 2020-06-08 2022-06-10 深圳市洲明科技股份有限公司 一种立体显示装置及立体显示方法
CN113419350B (zh) 2021-06-18 2023-05-23 深圳市腾讯计算机系统有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54500070A (ja) * 1977-11-21 1979-11-22
JPH08501397A (ja) * 1989-02-27 1996-02-13 バス,ロバート,イー. 三次元光学観察装置
JPH10500276A (ja) * 1995-03-08 1998-01-06 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 3次元画像表示システム
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2004219484A (ja) * 2003-01-09 2004-08-05 Pioneer Electronic Corp 表示装置
JP2004229082A (ja) * 2003-01-24 2004-08-12 Pioneer Electronic Corp 表示装置及び方法
JP2010160362A (ja) * 2009-01-09 2010-07-22 Nippon Telegr & Teleph Corp <Ntt> 3次元表示装置、3次元表示方法、3次元表示物体、3次元画像作成装置、3次元画像作成方法、プログラムおよび記録媒体
JP2011034086A (ja) * 2007-05-23 2011-02-17 Kwangwoon Univ Research Inst For Industry Cooperation 立体映像ディスプレイ方法及びシステム並びに立体映像ディスプレイプログラムが記録された記録媒体
US20140002447A1 (en) * 2012-06-29 2014-01-02 Samsung Display Co., Ltd. 3d image display device and driving method thereof
WO2017070121A1 (en) * 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331552A (ja) 1996-06-10 1997-12-22 Atr Tsushin Syst Kenkyusho:Kk 多焦点式頭部搭載型ディスプレイ
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP4112410B2 (ja) 2003-03-26 2008-07-02 株式会社小松製作所 異物捕獲フィルタ
CN1621890A (zh) * 2003-11-26 2005-06-01 王小光 一种全景虚拟光学成像系统
CN100573231C (zh) * 2004-09-08 2009-12-23 日本电信电话株式会社 三维显示方法、装置
CN2784963Y (zh) * 2004-12-28 2006-05-31 深圳市迪山实业有限公司 分层式立体动感风景画箱
FR2907122B1 (fr) 2006-10-11 2008-12-05 Saint Gobain Isover Sa Resine phenolique, procede de preparation, composition d'encollage pour fibres minerales et produits resultants
CN201134086Y (zh) 2007-01-22 2008-10-15 冯瑞春 一种鼠标纸
KR20110029948A (ko) * 2009-09-17 2011-03-23 삼성전자주식회사 입체 영상 표시 방법 및 이를 수행하기 위한 입체 영상 표시 장치
CN101750747B (zh) * 2010-02-01 2013-04-24 刘武强 三维立体成像方法、系统和成像设备
CN201637936U (zh) 2010-06-21 2010-11-17 刘武强 三维立体成像系统和成像设备
CN101980068A (zh) 2010-10-08 2011-02-23 刘武强 一种三维立体成像方法和系统
US8817810B2 (en) 2012-06-27 2014-08-26 Nxp B.V. Communications apparatus, system and method with error mitigation
CN203149211U (zh) * 2013-04-15 2013-08-21 嘉兴市硅兴电子科技有限公司 一种立体显示装置
CN203433199U (zh) * 2013-06-21 2014-02-12 北京百维联合文化传播有限公司 立体成像设备
CN103700686B (zh) * 2013-12-16 2016-02-24 深圳市华星光电技术有限公司 具有景深效果的3d显示面板及其显示方法
US20150195502A1 (en) * 2014-01-06 2015-07-09 Innolux Corporation Display device and controlling method thereof
CN103941410B (zh) * 2014-04-29 2017-01-18 深圳创锐思科技有限公司 显示装置及其显示方法
CN106405836A (zh) * 2015-07-28 2017-02-15 本田技研工业株式会社 车辆显示装置以及车辆显示方法
CN205880368U (zh) 2016-05-12 2017-01-11 深圳鼎界科技有限公司 一种基于光场成像的头戴式虚拟现实立体显示设备
KR102651591B1 (ko) * 2016-06-30 2024-03-27 삼성디스플레이 주식회사 두부 장착 표시 장치 및 이의 구동 방법
CN106371222A (zh) * 2016-11-30 2017-02-01 苏州苏大维格光电科技股份有限公司 一种纳米透镜波导镜片和多景深三维显示装置
CN106483664B (zh) * 2016-12-22 2023-08-04 深圳点石创新科技有限公司 抬头显示装置及装有该抬头显示装置的车辆
JP2018197844A (ja) * 2017-05-23 2018-12-13 ヘ−ヨン・チョイ 空間分離映像装置
KR102411661B1 (ko) * 2017-07-31 2022-06-21 삼성전자주식회사 영상 처리 방법 및 디바이스

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54500070A (ja) * 1977-11-21 1979-11-22
JPH08501397A (ja) * 1989-02-27 1996-02-13 バス,ロバート,イー. 三次元光学観察装置
JPH10500276A (ja) * 1995-03-08 1998-01-06 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 3次元画像表示システム
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2004219484A (ja) * 2003-01-09 2004-08-05 Pioneer Electronic Corp 表示装置
JP2004229082A (ja) * 2003-01-24 2004-08-12 Pioneer Electronic Corp 表示装置及び方法
JP2011034086A (ja) * 2007-05-23 2011-02-17 Kwangwoon Univ Research Inst For Industry Cooperation 立体映像ディスプレイ方法及びシステム並びに立体映像ディスプレイプログラムが記録された記録媒体
JP2010160362A (ja) * 2009-01-09 2010-07-22 Nippon Telegr & Teleph Corp <Ntt> 3次元表示装置、3次元表示方法、3次元表示物体、3次元画像作成装置、3次元画像作成方法、プログラムおよび記録媒体
US20140002447A1 (en) * 2012-06-29 2014-01-02 Samsung Display Co., Ltd. 3d image display device and driving method thereof
WO2017070121A1 (en) * 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space

Also Published As

Publication number Publication date
KR20190050737A (ko) 2019-05-13
EP3690518A4 (en) 2020-12-23
JP6947753B2 (ja) 2021-10-13
US10852561B2 (en) 2020-12-01
WO2019061884A1 (zh) 2019-04-04
US20190285903A1 (en) 2019-09-19
CN109557677A (zh) 2019-04-02
EP3690518A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
CN107850779B (zh) 虚拟位置定位锚
US9274676B2 (en) Controlling three-dimensional views of selected portions of content
US9746675B2 (en) Alignment based view matrix tuning
KR102257255B1 (ko) 혼합 현실 스포트라이트
US20180365897A1 (en) Virtually representing spaces and objects while maintaining physical properties
US11683470B2 (en) Determining inter-pupillary distance
US9530179B2 (en) Two-dimensional (2D)/three-dimensional (3D) image processing method and system
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
CN110673340A (zh) 增强现实设备的控制方法及增强现实设备
JP6947753B2 (ja) ディスプレイデバイス及び表示方法
CN111095348A (zh) 基于摄像头的透明显示器
US11938817B2 (en) Method and apparatus for controlling head-up display based on eye tracking status
JP2018151459A (ja) ステレオ立体視装置
JP5620202B2 (ja) プログラム、情報記憶媒体及び画像生成システム
CN114746903A (zh) 虚拟、增强和混合现实系统和方法
US11150470B2 (en) Inertial measurement unit signal based image reprojection
JP2013168781A (ja) 表示装置
CA3022835A1 (en) Display device and method
US20230308631A1 (en) Perspective-dependent display of surrounding environment
US11682162B1 (en) Nested stereoscopic projections
JP2012059009A (ja) プログラム、情報記憶媒体及び画像生成システム
KR20210064006A (ko) 홀로그램 광학 요소를 사용한 3차원 이미지 출력 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210916

R150 Certificate of patent or registration of utility model

Ref document number: 6947753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150