JP2020098291A - 表示装置、表示方法およびプログラム - Google Patents

表示装置、表示方法およびプログラム Download PDF

Info

Publication number
JP2020098291A
JP2020098291A JP2018236969A JP2018236969A JP2020098291A JP 2020098291 A JP2020098291 A JP 2020098291A JP 2018236969 A JP2018236969 A JP 2018236969A JP 2018236969 A JP2018236969 A JP 2018236969A JP 2020098291 A JP2020098291 A JP 2020098291A
Authority
JP
Japan
Prior art keywords
image
eye
display
display panel
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018236969A
Other languages
English (en)
Inventor
高弘 冨田
Takahiro Tomita
高弘 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018236969A priority Critical patent/JP2020098291A/ja
Priority to US16/712,295 priority patent/US11074757B2/en
Priority to CN201911307348.4A priority patent/CN111343448A/zh
Publication of JP2020098291A publication Critical patent/JP2020098291A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】鏡像に表示画像を重畳表示したとしても、視認性に優れた表示を可能とする表示装置、表示方法およびプログラムを提供する。【解決手段】表示装置100は、表示パネル120と、光反射透過部材と、画像取得部113と、表示制御部114と、を備える。表示パネル120は、画像を表示する。光反射透過部材は、表示パネル120に重ねて配置され、入射光の一部を反射し、他の一部を透過する。画像取得部113は、表示パネル120を視認するユーザから見て、表示画像を右にずらした右目用画像と、表示画像を左にずらした左目用画像と、を含む3次元画像データを取得する。表示制御部114は、画像取得部113で取得した3次元画像データが示す右目用画像と左目用画像とを表示パネル120に表示させる。表示パネル120における右目用画像と左目用画像との間のズレ量は、目の間隔の略2分の1である。【選択図】図3

Description

本発明は、表示装置、表示方法およびプログラムに関する。
ハーフミラーと、ハーフミラーの背面側に配置されているディスプレイ装置を有するディスプレイ内蔵ミラー装置が特許文献1に開示されている。
特許文献1に開示されたディスプレイ内蔵ミラー装置は、ハーフミラーを鏡として利用するとともに、ディスプレイ装置により表示画像を表示する。
特開2013−132029号公報
特許文献1に開示されたディスプレイ内蔵ミラー装置では、ハーフミラーに写る鏡像とディスプレイ装置により表示された表示画像とを重ねて見ると、鏡像に着目しているとき、両眼視差により鏡像に対する右目で見た表示画像の位置と左目で見た表示画像の位置とがずれて見える現象が生じる。一方、表示画像に着目しているとき、両眼視差により表示画像に対する右目で見た鏡像の位置と左目で見た鏡像の位置とがずれて見える現象が生じる。このため、両目で鏡に映る鏡像を見ると、ディスプレイ装置により鏡像に重畳表示された表示画像が2重に見える。従って、このディスプレイ内蔵ミラー装置は、鏡像に表示画像を重畳表示するときに視認性に劣るという問題がある。
本発明は、上記のような課題を解決するためになされたものであり、鏡像に表示画像を重畳表示したとしても、視認性に優れた表示を可能とする表示装置、表示方法およびプログラムを提供することを目的とする。
本発明の目的を達成するため、本発明に係る表示装置の一様態は、
画像を表示する表示パネルと、
前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得手段と、
前記画像取得手段で取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御手段と、を備え、
前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
ことを特徴とする。
本発明によれば、鏡像に表示画像を重畳表示したとしても、視認性に優れた表示を可能とする表示装置、表示方法およびプログラムを提供することができる。
本発明の実施の形態に係る表示装置を示す図である。 本発明の実施の形態に係る表示装置を示す断面図である。 本発明の実施の形態に係る表示装置の構成を示すブロック図である。 本発明の実施の形態に係る表示装置をユーザが視認したときの視線を示す図である。 本発明の実施の形態に係る表示装置が実行する表示処理を示すフローチャートである。 本発明の実施の形態に係る表示装置が実行する表示処理を説明する図である。 本発明の実施の形態に係る表示装置が実行する表示処理を説明する図である。 本発明の実施の形態に係る表示装置が実行する表示処理を説明する図である。 比較例に係る表示装置が実行する表示処理を説明する図である。
以下、本発明を実施するための形態に係る表示装置を図面を参照しながら説明する。
本実施の形態に係る表示装置100は、図1に示すように、表示パネル120と、表示パネル120に重ねて配置されたハーフミラー(光反射透過部材)130と、撮像部140と、距離センサ(距離測定手段)150と、表示パネル120に重ねて配置された操作部160と、を備える。表示装置100は、視認するユーザUに対して、ユーザUの鏡像MIに重畳して、小顔エステ、笑顔マッサージ、メイク(化粧)等をガイダンスする表示画像DIを表示パネル120に表示する。ユーザUが、ハーフミラー130に写る鏡像MIと表示パネル120に表示された表示画像DIとを見たとき、鏡像MIと表示画像DIとを重畳してずれなく見ることができる。なお、表示パネル120の縦方向をX軸方向、横方向をY軸方向、厚み方向をZ軸方向とする。
表示パネル120は、画像を表示するものであり、図2に示すように、バックライト121と、LCD(Liquid Crystal Display)122と、レンチキュラーシート123と、を有する裸眼式の3次元ディスプレイである。バックライト121は、LED(Light Emitting Diode)と導光板とを有する。LCD122は、X軸方向に延びる複数の左目用画素ライン122Lと、X軸方向に延びる複数の右目用画素ライン122Rと、を有する。左目用画素ライン122Lは、X軸方向に並んで設けられている複数の画素群を有し、この画素群は、1つの赤色画素と1つの青色画素と2つの緑色画素とを含む。右目用画素ライン122Rは、X軸方向に並んで設けられている複数の画素群を有し、この画素群は、1つの赤色画素と1つの青色画素と2つの緑色画素とを含む。後述する制御部110の制御により、左目用画素ライン122Lは、左目用画像DLIを表示し、右目用画素ライン122Rは、右目用画像DRIを表示する。レンチキュラーシート123は、2画素ライン毎にX軸方向に延びる断面D状の凸レンズが無数に並んだシートであり、バックライト121から放出され、左目用画素ライン122Lを通過した光を左目LEに導き、右目用画素ライン122Rを通過した光を右目REに導くものである。これにより、左目用画素ライン122Lに表示された左目用画像DLIをユーザUの左目LEで、右目用画素ライン122Rに表示された右目用画像DRIを右目REで見ることができる。
ハーフミラー130は、表示パネル120に重ねて配置され、入射光の一部を反射し、他の一部を透過するものである。ハーフミラー130は、ガラス板、樹脂板などの透明板と、透明板の片面に配置された反射膜と、を有する。反射膜は、アルミニウム膜などの金属膜であり、入射光の一部を反射し、他の一部を透過する厚さに形成されたものである。ハーフミラー130は、入射光の一部を反射し、表示パネル120から放出された光を透過するため、ユーザUがハーフミラー130を見ると、表示パネル120に表示された表示画像DIと、自身の鏡像MIを重畳して見ることができる。
図1に示す撮像部140は、カメラを有し、ユーザUの画像を撮像し、撮像した画像を示す画像データを後述する制御部110に出力する。
距離センサ150は、ユーザUまでの距離を測定し、測定した距離データを後述する制御部110に出力する。距離センサ150は、赤外線距離センサ、超音波距離センサなどから構成される。
操作部160は、ユーザUの入力に基づいて、表示する表示画像DIの選択情報、表示処理の開始、終了の指示などを受け付けるものである。なお、操作部160と表示パネル120とは、タッチパネルディスプレイ装置を構成する。
表示装置100は、電気的構成として、図3に示すように、上述した表示パネル120と、撮像部140と、距離センサ150と、操作部160と、に加えて、制御部110と、を備える。
制御部110は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成される。ROMは、フラッシュメモリ等の不揮発性メモリから構成され、制御部110が各種機能を実現するためのプログラム、ガイダンス情報に関するデータ等を記憶する。RAMは、揮発性メモリから構成され、制御部110が各種処理を行うためのプログラムを実行するための作業領域として用いられる。制御部110は、ROMに記憶されたプログラムを実行することにより、設定処理部111と、目の間隔取得部112と、画像取得部113と、表示制御部114として機能する。
設定処理部111は、表示制御部114を介して表示パネル120にガイダンスの内容を選択するための選択肢を含んだメニュー画像を表示する。また、設定処理部111は、メニューを参照したユーザUから、操作部160を介して、ガイダンス情報の選択を受け付ける。ガイダンスの内容は、小顔エステ、笑顔マッサージ、メイク(化粧)等を含む。例えば、小顔エステの選択を受け付けると、小顔エステに関するガイダンスのために、表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザUがユーザU自身の顔等に対して行うことをいう。
目の間隔取得部112は、撮像部140により撮像されたユーザUの画像と、距離センサ150により測定されたユーザUまでの距離と、に基づいて、ユーザUの目の間隔を取得する。目の間隔取得部112は、撮像部140により撮像された画像からユーザUの目を抽出し、画像での目の間の距離を検出する。目の間隔取得部112は、検出された画像での目の間の距離と、距離センサ150により測定されたユーザUまでの距離と、に基づいて、ユーザUの目の間隔を示すデータを取得する。
画像取得部113は、設定処理部111で選択されたガイダンス情報を含む表示画像DIを示すデータを取得し、表示画像DIを基準量左にずらした左目用画像DLIと、表示画像DIを基準量右にずらした右目用画像DRIと、を含む3次元画像データを取得する。基準量は、表示パネル120において、目の間隔取得部112により取得された目の間隔の略4分の1である。例えば、画像取得部113は、設定処理部111で小顔エステの選択を受け付けると、図1に示す小顔エステに関するガイダンスのための表示画像DIを取得する。画像取得部113は、この表示画像DIを基準量左にずらした左目用画像DLIと、表示画像DIを基準量右にずらした右目用画像DRIと、を含む3次元画像データを取得する。
ユーザUが、表示装置100のハーフミラー130に写る自身の鏡像MIを見たとき、左目LEと右目REとの視線は、図4に示すように、鏡像MIが見える位置Aで交わる。ここで、ユーザUから表示装置100に垂直に交わる線を垂線MLとし、垂線MLと表示装置100が交わる位置を位置Cとし、左目LEと位置Aを結んだ線と表示装置100が交わる位置を位置Bとし、左目LEの位置を位置Dとし、左目LEと右目REとの中心を位置Eとする。∠BAC=∠DAEであり、∠BCA=∠DEA=90°であるので、三角形ABCは、三角形ADEと相似形である。また、ユーザUと表示装置100の間の距離を、距離L1とし、ユーザUと鏡像MIとの間の視認距離を、距離L2とする。鏡像MIはハーフミラー130で反射されたものであるので、距離L2=2×距離L1となる。線分AC=L2−L1=2×L1−L1=L1であり、線分AE=L2=2×L1であるので、線分AB=1/2×線分ADであり、三角形ABCの大きさは、三角形ADEの大きさの2分の1である。従って、線分CBの長さは、線分EDの長さの2分の1である。同様に、右目REと位置Aを結んだ線と表示装置100が交わる位置を位置B’とし、右目REの位置を位置D’とすると、線分CB’の長さは、線分ED’の長さの2分の1である。位置Eと左目LEとの距離の2分の1(目の間隔の略4分の1)だけずらした左目用画像DLIと、位置Eと右目REとの距離の2分の1(目の間隔の略4分の1)だけずらした右目用画像DRIと、から構成される3次元画像を表示すると、左目LEから位置Aに延びる視線と表示装置100が交わる位置Bと、右目REから位置Aに延びる視線と表示装置100が交わる位置B’と、に同じ表示画像DIが表示されるため、ユーザUが鏡像MIを見たとき左目LEで見た表示画像DIと右目REで見た表示画像DIのずれを無くすことができる。なお、目の間隔の略4分の1は、ユーザUにより視認されたとき、左目用画像DLIと右目用画像DRIとがずれないように見える範囲を含む。
表示制御部114は、ガイダンスの内容を選択するための選択肢を含んだメニュー画像、および撮像部140により撮像された撮像画像に関する情報に基づいて画像取得部113で取得された左目用画像DLIと右目用画像DRIとを表示パネル120に表示させる。具体的には、表示制御部114は、撮像部140により撮像されたユーザUの顔の位置に基づいて、左目用画像DLIと右目用画像DRIとを表示する位置を調整して表示させる。
つぎに、以上の構成を有する表示装置100が実行する表示処理について説明する。
表示装置100は、ユーザUによる処理を開始させる指示に応答し、図5に示す表示処理を開始する。以下、表示装置100が実行する表示処理を、フローチャートを用いて説明する。
表示処理が開始すると、設定処理部111は、表示制御部114を介して表示パネル120にガイダンスの内容を選択するための選択肢を含んだメニュー画像を表示する(ステップS101)。ガイダンスの内容は、小顔エステ、笑顔マッサージ、メイク(化粧)等を含む。つぎに、設定処理部111は、メニューを参照したユーザUから、操作部160を介して、ガイダンス情報の選択を受け付ける(ステップS102)。例えば、小顔エステの選択を受け付けると、小顔エステに関するガイダンスのために、表示処理が行われる。
つぎに、目の間隔取得部112は、撮像部140によりユーザUの画像を撮像する(ステップS103)。つぎに、目の間隔取得部112は、距離センサ150により測定されたユーザUまでの距離を取得する(ステップS104)。つぎに、目の間隔取得部112は、撮像された画像からユーザUの目を抽出し、画像での目の間の距離を検出し、画像での目の間の距離と、距離センサ150により測定されたユーザUまでの距離と、に基づいて、ユーザUの目の間隔を取得する(ステップS105)。
つぎに、画像取得部113は、設定処理部111で選択されたガイダンス情報を含む表示画像DIを示すデータを取得する(ステップS106)。例えば、画像取得部113は、設定処理部111で小顔エステの選択を受け付けると、小顔エステに関するガイダンスのための表示画像DIを取得する。つぎに、表示制御部114は、撮像部140により撮像されたユーザUの画像を取得し、取得した画像に写るユーザUの顔の位置応じて、表示画像DIの表示位置を調整する(ステップS107)。つぎに、画像取得部113は、ステップS105で取得した目の間隔に基づいて、表示画像DIを左にずらした左目用画像DLIと、表示画像DIを右にずらした右目用画像DRIと、を含む3次元画像データを取得する(ステップS108)。
つぎに、表示制御部114は、ステップS108で取得した左目用画像DLIと右目用画像DRIとを表示パネル120に表示させる(ステップS109)。つぎに、設定処理部111は、終了指示を受け付けたか否かを判定する(ステップS110)。終了指示を受け付けていないと判定すると(ステップS110;No)、ステップS101〜ステップS110を繰り返す。終了指示を受け付けたと判定されると(ステップS110;Yes)、表示処理を終了する。
つぎに、本実施の形態に係る表示装置100が実行する表示処理を具体例に基づいて図6から図8を参照しながら説明する。
ユーザUが表示処理を開始させると、設定処理部111は、表示パネル120にガイダンスの内容を選択するための選択肢を含んだメニュー画像を表示する(ステップS101;図5)。ガイダンスの内容は、小顔エステ、笑顔マッサージ、メイク(化粧)等を含む。メニューを参照したユーザUが、小顔エステを選択すると(ステップS102;図5)、小顔エステに関するガイダンスのために、表示処理が行われる。
つぎに、目の間隔取得部112は、撮像部140によりユーザUの画像を撮像し(ステップS103;図5)、距離センサ150により測定されたユーザUまでの距離を取得する(ステップS104;図5)。つぎに、目の間隔取得部112は、撮像された画像からユーザUの目を抽出し、画像での目の間の距離を検出し、画像での目の間の距離と、ユーザUまでの距離と、に基づいて、ユーザUの目の間隔を取得する(ステップS105;図5)。
つぎに、画像取得部113は、設定処理部111で選択された小顔エステに関するガイダンス情報を含む図6に示す表示画像DIを示すデータを取得する(ステップS106;図5)。この表示画像DIは、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージをガイダンスする画像である。つぎに、表示制御部114は、図7に示すように、撮像部140により撮像されたユーザUの画像を取得し、取得した画像に写るユーザUの顔の位置応じて、表示画像DIの表示位置を調整する(ステップS107;図5)。つぎに、画像取得部113は、図8に示すように、ステップS105で取得した目の間隔に基づいて、表示画像DIを左にずらした左目用画像DLIと、表示画像DIを右にずらした右目用画像DRIと、を含む3次元画像データを取得する(ステップS108;図5)。
つぎに、表示制御部114は、ステップS108で取得した左目用画像DLIと右目用画像DRIとを表示パネル120に表示させる(ステップS109;図5)。このとき、図1に示すように、ユーザUが鏡像MIと同時に表示画像DIを見たとしても、表示画像DIをずれなく視認することができる。
以上のように、本実施の形態の表示装置100によれば、目の間隔の略4分の1だけ左にずらした左目用画像DLIと、目の間隔の略4分の1だけ右ずらした右目用画像DRIと、から構成される3次元画像を表示する。これにより、左目LEから位置Aに延びる視線と表示装置100が交わる位置Bと、右目REから位置Aに延びる視線と表示装置100が交わる位置B’と、に同じ表示画像DIが表示されるため、鏡像MIに表示画像DIを重畳表示したとき、ユーザUが鏡像MIを見たとき左目LEで見た表示画像DIと右目REで見た表示画像DIのずれを無くすことができる。従って本実施形態の表示装置100は、視認性に優れる。
これに対し、左目LRと右目REとに同じ画像を表示する表示装置では、図9に示すように、ハーフミラーで反射した鏡像MIとディスプレイ装置により表示された画像とを重ねて見ると、鏡像MIに着目しているとき、両眼視差により鏡像MIに対する右目REで見た画像の位置RIと左目LEで見た画像の位置LIとがずれて見える現象が生じる。このため、この表示装置は、鏡像MIに表示画像を重畳表示するときに視認性に劣る。
(変形例)
上述の実施の形態の表示装置100では、表示パネル120がレンチキュラーシート123を有する裸眼式の3次元ディスプレイである例について説明したが、右目REと左目LRにそれぞれ異なる画像を表示できる3次元ディスプレイであれば特に限定されない。例えば、パララックスバリアを有する裸眼式の3次元ディスプレイであってもよく、その他の裸眼式の3次元ディスプレイであってもよい。また、偏光眼鏡や液晶シャッタ眼鏡などの眼鏡を併用して右目REと左目LRにそれぞれ異なる画像を表示できるものであってもよい。
上述の実施の形態の表示装置100では、ハーフミラー130が、ガラス板、樹脂板などの透明板と、透明板の片面に配置された反射膜と、を有する例について説明した。ハーフミラー130は、入射光の一部を反射し、他の一部を透過するものであれば特に限定されない。
上述の実施の形態の表示装置100では、ユーザUの鏡像MIに重畳して、小顔エステ、笑顔マッサージ、メイク(化粧)等をガイダンスする表示画像DIを表示する例について説明した。表示装置100は、鏡像MIに重畳して表示画像DIを表示するものであればよく、ユーザUの鏡像MIに洋服、眼鏡、帽子などの被服および装飾品を示す表示画像DIを表示してもよい。また、エアロビクスやダンスなどの体の動きをガイダンスする表示画像DIを表示してもよい。この場合、表示装置100の大きさをユーザUの全身を写すことができる大きさにするとよい。
上述の実施の形態の表示装置100では、目の間隔取得部112がユーザUの目の間隔を取得した。表示装置100は、左目用画像DLIと右目用画像DRIとをずれないように表示できればよく、表示パネル120に目の間隔を入力する入力画像を表示し、操作部160を介してユーザUの目の間隔を示す情報を受け付けてもよい。なお、目の間隔を入力する入力画像は、左目用画像DLIと右目用画像DRIとのズレ量を入力する入力画面を含む。この場合、ユーザUは、鏡像MIを視認しながら、左目用画像DLIと右目用画像DRIとがずれないように目の間隔またはズレ量を調整する。また、表示装置100が目の間隔取得部112を有さず、左目用画像DLIと右目用画像DRIの取得に用いる目の間隔として、表示装置100のユーザ層の目の間隔の平均値を用いてもよい。ユーザ層には、子供、大人の男性、大人の女性などを含む。この場合、ユーザ層の目の間隔の平均値は、ROMに予め格納する。例えば、子供用の表示装置100には、子供の目の間隔の平均値をROMに予め格納する。また、子供、大人の男性、大人の女性などの目の間隔をそれぞれROMに予め格納し、使用するユーザUに合わせて切り替えて用いるようにしてもよい。
上述の実施の形態の表示装置100では、目の間隔の略4分の1だけ左にずらした左目用画像DLIと、目の間隔の略4分の1だけ右ずらした右目用画像DRIと、を含む3次元画像を表示する例について説明した。表示装置100は、左目用画像DLIと、右目用画像DRIと、のずれを無くすことができればよく、表示パネル120における左目用画像DLIと右目用画像DRIとの間のズレ量が、目の間隔の略2分の1であればよい。この場合、左目用画像DLIを固定して、右目用画像DRIを左目用画像DLIから目の間隔の略2分の1ずらして表示してもよく、右目用画像DRIを固定して、左目用画像DLIを右目用画像DRIから目の間隔の略2分の1ずらして表示してもよい。なお、略2分の1は、ユーザUにより視認されたとき、左目用画像DLIと右目用画像DRIとがずれないように見える範囲を含む。
上述の実施の形態の表示装置100では、左目用画像DLIと右目用画像DRIとを表示することにより、鏡像MIと表示画像DIとをずれなく表示する例について説明した。表示装置100は、鏡像MIと表示画像DIとをずれなく表示できればよく、画像取得部113は、図4で示す、ハーフミラー130で生成された鏡像MIからユーザUまでの距離L2(ユーザUに知覚される距離)に対応した距離に結像する画像を有する3次元画像を取得してもよい。すなわち、ハーフミラー130で生成され、当該ハーフミラー130の奥行方向において見える鏡像MIが存在する仮想位置からユーザUまでの距離L2に対応した距離に結像する画像を有する3次元画像を取得してもよい。また、さらには、図4で示す、ハーフミラー130で生成され、ユーザにより知覚される鏡像MIの位置に結像する画像を有する3次元画像データを取得してもよい。例えば、表示パネル120からユーザUの網膜にレーザ光を照射して、鏡像MIからユーザUまでの距離L2に対応した距離に結像する画像を表示してもよい。また、レーザ光を収束させた焦点において空気がプラズマ化し発光する現象を利用して3次元画像を表示することにより、鏡像MIと表示画像DIとをずれなく表示してもよい。
上述の実施の形態の表示装置100では、撮像部140により撮像されたユーザUの画像と、距離センサ150により測定されたユーザUまでの距離L1と、に基づいて、ユーザUの目の間隔を取得するようにしていたが、撮像部140がユーザUの画像を撮像した際の焦点距離に基づいてユーザUまでの距離L1を特定してもよい。つまり撮像部140が、撮像手段と距離測定手段との機能を備えてもよく、その場合には上述の実施形態における距離センサ150の構成を省略することもできる。
また、CPU、RAM、ROM等から構成される表示装置100が実行する送信処理、印刷処理を行う中心となる部分は、専用のシステムによらず、通常の情報携帯端末(スマートフォン、タブレットPC(Personal Computer))、パーソナルコンピュータなどを用いて実行可能である。たとえば、上述の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)等)に格納して配布し、このコンピュータプログラムを情報携帯端末などにインストールすることにより、上述の処理を実行する情報端末を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置にこのコンピュータプログラムを格納しておき、通常の情報処理端末などがダウンロード等することで情報処理装置を構成してもよい。
また、表示装置100の機能を、OS(Operating System)とアプリケーションプログラムとの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にこのコンピュータプログラムを掲示し、ネットワークを介してこのコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
画像を表示する表示パネルと、
前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得手段と、
前記画像取得手段で取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御手段と、を備え、
前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
ことを特徴とする表示装置。
(付記2)
前記画像取得手段は、前記表示パネルにおける表示画像を目の間隔の略4分の1右にずらした前記右目用画像と、前記表示パネルにおける前記表示画像を目の間隔の略4分の1左にずらした前記左目用画像と、を含む3次元画像データを取得する、
ことを特徴とする付記1に記載の表示装置。
(付記3)
ユーザの画像を撮像する撮像手段を有し、
前記表示制御手段は、前記撮像手段により撮像された撮像画像に関する情報に基づいて前記画像取得手段で取得した前記3次元画像データを表示する、
ことを特徴とする付記1又は2に記載の表示装置。
(付記4)
ユーザの画像を撮像する撮像手段と、
ユーザまでの距離を測定する距離測定手段と、
前記撮像手段で撮像したユーザの画像と、距離測定手段で測定したユーザまでの距離と、に基づいて、ユーザの目の間隔を取得する目の間隔取得手段と、
を備えることを特徴とする付記1乃至3の何れか1つに記載の表示装置。
(付記5)
ユーザの目の間隔を示す情報を受け付ける操作手段を備える、
ことを特徴とする付記1乃至3の何れか1つに記載の表示装置。
(付記6)
前記画像取得手段は、前記光反射透過部材に写る鏡像に重畳して表示するガイダンス情報を含む表示画像を取得する、
ことを特徴とする付記1乃至5の何れか1つに記載の表示装置。
(付記7)
画像を表示する表示パネルと、
前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
3次元画像データを取得する画像取得手段と、
前記画像取得手段で取得した前記3次元画像データが示す3次元画像を前記表示パネルに表示させる表示制御手段と、を備え、
前記画像取得手段は、前記光反射透過部材で生成され、ユーザにより知覚される鏡像の位置に結像する画像を有する3次元画像データを取得する、
ことを特徴とする表示装置。
(付記8)
画像を表示する表示パネルと、
前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
を備える表示装置において、
右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得ステップと、
前記画像取得ステップで取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御ステップと、を備え、
前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
ことを特徴とする表示方法。
(付記9)
画像を表示する表示パネルと、
前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
を備える表示装置を制御するコンピュータを、
右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得手段、
前記画像取得手段で取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御手段、として機能させ、
前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
ことを特徴とするプログラム。
100…表示装置、110…制御部、111…設定処理部、112…目の間隔取得部、113…画像取得部、114…表示制御部、120…表示パネル、121…バックライト、122…LCD、122L…左目用画素ライン、122R…右目用画素ライン、123…レンチキュラーシート、130…ハーフミラー、140…撮像部、150…距離センサ、160…操作部、MI…鏡像、DI…表示画像、U…ユーザ、LE…左目、RE…右目、DLI…左目用画像、DRI…右目用画像

Claims (9)

  1. 画像を表示する表示パネルと、
    前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
    右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得手段と、
    前記画像取得手段で取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御手段と、を備え、
    前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
    ことを特徴とする表示装置。
  2. 前記画像取得手段は、前記表示パネルにおける表示画像を目の間隔の略4分の1右にずらした前記右目用画像と、前記表示パネルにおける前記表示画像を目の間隔の略4分の1左にずらした前記左目用画像と、を含む3次元画像データを取得する、
    ことを特徴とする請求項1に記載の表示装置。
  3. ユーザの画像を撮像する撮像手段を有し、
    前記表示制御手段は、前記撮像手段により撮像された撮像画像に関する情報に基づいて前記画像取得手段で取得した前記3次元画像データを表示する、
    ことを特徴とする請求項1又は2に記載の表示装置。
  4. ユーザの画像を撮像する撮像手段と、
    ユーザまでの距離を測定する距離測定手段と、
    前記撮像手段で撮像したユーザの画像と、距離測定手段で測定したユーザまでの距離と、に基づいて、ユーザの目の間隔を取得する目の間隔取得手段と、
    を備えることを特徴とする請求項1乃至3の何れか1項に記載の表示装置。
  5. ユーザの目の間隔を示す情報を受け付ける操作手段を備える、
    ことを特徴とする請求項1乃至3の何れか1項に記載の表示装置。
  6. 前記画像取得手段は、前記光反射透過部材に写る鏡像に重畳して表示するガイダンス情報を含む表示画像を取得する、
    ことを特徴とする請求項1乃至5の何れか1項に記載の表示装置。
  7. 画像を表示する表示パネルと、
    前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
    3次元画像データを取得する画像取得手段と、
    前記画像取得手段で取得した前記3次元画像データが示す3次元画像を前記表示パネルに表示させる表示制御手段と、を備え、
    前記画像取得手段は、前記光反射透過部材で生成され、ユーザにより知覚される鏡像の位置に結像する画像を有する3次元画像データを取得する、
    ことを特徴とする表示装置。
  8. 画像を表示する表示パネルと、
    前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
    を備える表示装置において、
    右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御ステップと、を備え、
    前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
    ことを特徴とする表示方法。
  9. 画像を表示する表示パネルと、
    前記表示パネルに重ねて配置され、入射光の一部を反射し、他の一部を透過する光反射透過部材と、
    を備える表示装置を制御するコンピュータを、
    右目用画像と、左目用画像と、を含む3次元画像データを取得する画像取得手段、
    前記画像取得手段で取得した前記3次元画像データが示す前記右目用画像と前記左目用画像とを前記表示パネルに表示させる表示制御手段、として機能させ、
    前記表示パネルにおける前記右目用画像と前記左目用画像との間のズレ量は、目の間隔の略2分の1である、
    ことを特徴とするプログラム。
JP2018236969A 2018-12-19 2018-12-19 表示装置、表示方法およびプログラム Pending JP2020098291A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018236969A JP2020098291A (ja) 2018-12-19 2018-12-19 表示装置、表示方法およびプログラム
US16/712,295 US11074757B2 (en) 2018-12-19 2019-12-12 Display device, display method, and recording medium
CN201911307348.4A CN111343448A (zh) 2018-12-19 2019-12-17 显示装置、显示方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236969A JP2020098291A (ja) 2018-12-19 2018-12-19 表示装置、表示方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2020098291A true JP2020098291A (ja) 2020-06-25

Family

ID=71098720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236969A Pending JP2020098291A (ja) 2018-12-19 2018-12-19 表示装置、表示方法およびプログラム

Country Status (3)

Country Link
US (1) US11074757B2 (ja)
JP (1) JP2020098291A (ja)
CN (1) CN111343448A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220022380A (ko) * 2020-08-18 2022-02-25 현대자동차주식회사 차량 및 그의 제어방법
CN114979613A (zh) * 2021-02-25 2022-08-30 吴松阳 立体图像显示方法及用于显示立体图像的携带式设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2015204033A (ja) * 2014-04-15 2015-11-16 株式会社東芝 健康情報サービスシステム
WO2015186735A1 (ja) * 2014-06-05 2015-12-10 シャープ株式会社 ミラーディスプレイシステム
WO2017143933A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 拍摄对象的识别方法、装置、移动终端和照相机

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3229824B2 (ja) * 1995-11-15 2001-11-19 三洋電機株式会社 立体映像表示装置
JPH1115392A (ja) * 1997-06-26 1999-01-22 Sony Corp バックライト式画像表示装置、画像表示部材及びハーフミラー部材
US6980363B1 (en) * 1999-11-08 2005-12-27 Canon Kabushiki Kaisha Image observation apparatus and system
JP2003241175A (ja) * 2002-02-18 2003-08-27 Matsushita Electric Ind Co Ltd 液晶表示素子
JP3726900B2 (ja) * 2002-06-24 2005-12-14 セイコーエプソン株式会社 表示装置及びこれを備えた電子機器
JP3969252B2 (ja) * 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
JP4211344B2 (ja) * 2002-09-30 2009-01-21 セイコーエプソン株式会社 表示装置及びこれを備えた電子機器
JP2010171573A (ja) 2009-01-21 2010-08-05 Epson Imaging Devices Corp 3次元画像表示・撮像装置、通信システム、および表示装置
CN201431445Y (zh) * 2009-06-26 2010-03-31 夏来德 非接触式瞳距仪
JP5631329B2 (ja) * 2010-04-21 2014-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 立体映像表示装置、立体映像表示方法
WO2012002106A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体
JP2013007855A (ja) * 2011-06-23 2013-01-10 Kyocera Corp 表示装置
CN102278978A (zh) * 2011-07-25 2011-12-14 张仕郎 一种瞳距的测量方法
US9414049B2 (en) * 2011-09-19 2016-08-09 Écrans Polaires Inc./Polar Screens Inc. Method and display for showing a stereoscopic image
JP5879562B2 (ja) 2011-12-22 2016-03-08 パナソニックIpマネジメント株式会社 カメラ付きミラー装置、ミラー付き什器
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
KR20130134816A (ko) * 2012-05-31 2013-12-10 삼성디스플레이 주식회사 입체영상 표시장치
KR101931085B1 (ko) * 2012-09-03 2018-12-21 삼성디스플레이 주식회사 입체 영상 표시 장치
JP2014052512A (ja) 2012-09-07 2014-03-20 Panasonic Corp ミラーディスプレイ装置
JP6036209B2 (ja) * 2012-11-19 2016-11-30 セイコーエプソン株式会社 虚像表示装置
CN105191300B (zh) * 2013-03-21 2017-08-08 松下知识产权经营株式会社 图像处理方法以及图像处理装置
KR20230060544A (ko) * 2014-03-21 2023-05-04 리얼디 스파크, 엘엘씨 지향성 백라이트
US9412169B2 (en) * 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
US10445895B2 (en) * 2014-11-21 2019-10-15 Apple Inc. Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
KR102284841B1 (ko) * 2014-12-26 2021-08-03 엘지디스플레이 주식회사 무안경 입체영상표시장치
CN105704479B (zh) * 2016-02-01 2019-03-01 欧洲电子有限公司 3d显示系统用的测量人眼瞳距的方法及系统和显示设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP2015204033A (ja) * 2014-04-15 2015-11-16 株式会社東芝 健康情報サービスシステム
WO2015186735A1 (ja) * 2014-06-05 2015-12-10 シャープ株式会社 ミラーディスプレイシステム
WO2017143933A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 拍摄对象的识别方法、装置、移动终端和照相机

Also Published As

Publication number Publication date
CN111343448A (zh) 2020-06-26
US11074757B2 (en) 2021-07-27
US20200202631A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
US9191661B2 (en) Virtual image display device
US20200201038A1 (en) System with multiple displays and methods of use
US20190035364A1 (en) Display apparatus, method of driving display apparatus, and electronic apparatus
TW201236441A (en) Apparatus and method for displaying stereoscopic images
US20140333532A1 (en) Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
Eldes et al. Multi-view autostereoscopic projection display using rotating screen
KR20140067575A (ko) 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치
JP5857082B2 (ja) 表示装置及び電子機器
US9791707B2 (en) Auto-stereoscopic display apparatus and non-transitory computer readable storage device
JP5478357B2 (ja) 表示装置および表示方法
JPH09238369A (ja) 3次元像表示装置
JP2020098291A (ja) 表示装置、表示方法およびプログラム
JP2013145323A (ja) カメラ付きミラー装置、ミラー付き什器
JP2007017635A (ja) 立体画像表示装置及び立体画像表示方法
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014103670A (ja) 三次元画像表示システム及びその調整方法
JP2006267767A (ja) 画像表示装置
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP2002303821A (ja) 立体ディスプレイ装置及び立体ディスプレイ装置における画面制御方法
Soomro et al. Integrated 3D display and imaging using dual purpose passive screen and head-mounted projectors and camera
JP2013168781A (ja) 表示装置
Hsu et al. HoloTube: a low-cost portable 360-degree interactive autostereoscopic display
US20240184133A1 (en) Air floating video display apparatus
KR101153120B1 (ko) 입체영상의 깊이감 조정 방법 및 이를 위한 사용자 기기
WO2013146385A1 (ja) 表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230926