JP2022546053A - 仮想ミラーシステム及び方法 - Google Patents
仮想ミラーシステム及び方法 Download PDFInfo
- Publication number
- JP2022546053A JP2022546053A JP2022513233A JP2022513233A JP2022546053A JP 2022546053 A JP2022546053 A JP 2022546053A JP 2022513233 A JP2022513233 A JP 2022513233A JP 2022513233 A JP2022513233 A JP 2022513233A JP 2022546053 A JP2022546053 A JP 2022546053A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- subject
- virtual mirror
- projector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000005670 electromagnetic radiation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 3
- 239000000758 substrate Substances 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 239000000118 hair dye Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
仮想ミラーシステムは、フレームと、第1のカメラと、プロジェクタと、メモリと、制御システムとを含む。第1のカメラは、フレームに結合され、第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成するように構成される。プロジェクタは、垂直面に画像を表示するように構成される。メモリは、機械可読命令を格納する。制御システムは、機械可読命令を実行して、プロジェクタに第1の画像データに基づいた被写体の仮想ミラー像を垂直面上に表示させるように構成された1つ以上のプロセッサを含む。【選択図】図5
Description
関連出願の相互参照
本出願は、2019年8月27日に出願された米国仮特許出願第62/892,367号の利益及び優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2019年8月27日に出願された米国仮特許出願第62/892,367号の利益及び優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
本開示はミラーに関し、より具体的には、本開示は仮想ミラーシステム及びそれを使用する方法に関する。
日常生活において、人々はミラーの前で歯を磨く、髭を剃る、化粧をする、及び一般に身支度を整えるなどの多くの作業を行う。通常では、ミラーは家の浴室又は寝室の垂直面(例えば、壁)に固定される。つまり、ミラーは通常静止しているため、ユーザが自身を見て例えば前述の作業を行うためにはミラーの真正面に立つ必要がある。
本開示はこれらの問題を解決し、かつ他の必要性に対処することを目的とする。
本開示の実装によれば、システムは、フレームと、第1のカメラと、プロジェクタと、メモリと、制御システムとを含む。第1のカメラは、フレームに結合され、第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成するように構成される。プロジェクタは、垂直面に画像を表示するように構成される。メモリは、機械可読命令を格納する。制御システムは、機械可読命令を実行して、第1の画像データに基づいて被写体の仮想ミラー像をプロジェクタに垂直面上に表示させるように構成された1つ以上のプロセッサを含み、仮想ミラーが、被写体の少なくとも一部のミラー像として被写体には見える。
本開示のいくつかの実装によれば、方法は、フレームに結合された第1のカメラから、第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを受け取ることを含む。また、方法は、第1のカメラからの第1の画像データに基づいて、被写体の一部の仮想ミラー像を生成することも含む。また、方法は、フレームに結合されたプロジェクタに、被写体の一部の仮想ミラー像を垂直面に表示させることも含む。
本開示のいくつかの実装によれば、仮想ミラーシステムは、第1のカメラと、第2のカメラと、プロジェクトと、メモリと、制御システムとを含む。第1のカメラは、被写体が第1のカメラの第1の視野(FOV)内に配置されたときに、被写体に関連付けられた第1の画像データを生成するように構成され、第1のFOVの中心軸が第1の垂直平面に対して第1の角度をなし、かつ、第1の水平平面に対して第2の角度をなすように第1のカメラが搭載される。第2のカメラは、被写体が第2のカメラの第2の視野(FOV)内に配置されたときに、被写体に関連付けられた第2の画像データを生成するように構成され、第2のFOVの中心軸が第2の垂直平面に対して第3の角度をなし、かつ、第2の水平平面に対して第4の角度をなすように第2のカメラが搭載され、第1のFOVの一部が第2のFOVの一部と重なるように第1のカメラに対して第2のカメラが配置される。プロジェクタは、仮想ミラー面に電磁放射を放出するように構成され、プロジェクタの中心軸が第3の垂直平面に対して第5の角度をなし、かつ、第3の水平平面に対して第6の角度をなすようにプロジェクタが搭載される。機械可読命令を格納するメモリ。機械可読命令を実行して、少なくとも第1の画像データと第2の画像データとに基づいて被写体の少なくとも一部のリアルタイム動画フィードを生成し、プロジェクタを用いて仮想ミラー面上に被写体の一部の生成されたリアルタイム動画フィードの少なくとも一部を表示させるように構成された1つ以上のプロセッサを含む制御システム。
本開示のいくつかの実装によれば、仮想ミラーシステムは、フレームと、第1のカメラと、第2のカメラと、ミラーと、プロジェクタと、メモリと、制御システムとを含む。第1のカメラは、フレームに結合され、第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成する。第2のカメラは、第2のカメラの第2の視野内に配置された被写体の少なくとも一部の1つ以上の第2の画像として再現可能な第2の画像データを生成する。フレームに結合され、第1のカメラと第2のカメラとの間に配置されたミラー。プロジェクタはフレームに結合される。機械可読命令を格納するメモリ。制御システムは、機械可読命令を実行して、第1の画像データと第2の画像データとに基づいて被写体の少なくとも一部のリアルタイム動画フィードを生成し、プロジェクタに、被写体の一部のリアルタイム動画フィードをミラーの少なくとも一部に継続的に表示させるように構成された1つ以上のプロセッサを含む。
本開示の前述及び追加の態様及び実装は、次にその簡単な説明が提供される図面を参照してなされる様々な実施形態及び/又は実装の詳細な説明に照らして、当業者には明らかになるであろう。
本開示の前述の、及び、他の利点は、以下の詳細な説明を読み、図面を参照することで明らかになるであろう。
本開示は、様々な変更及び代替的な形態が可能であるが、特定の実装及び実施形態を例示として図面に示し、本明細書で詳細に説明する。しかしながら、本開示は、開示された特定の形態に限定されることを意図されないことに理解するべきである。むしろ、本開示は、添付の特許請求の範囲によって定義されるような、本開示の趣旨及び範囲内に入るすべての変更物、均等物、及び代替物を包含するものである。
図1を参照すると、仮想ミラーシステム100は、フレーム102と、1つ以上のカメラ104と、1つ以上のプロセッサ106と、1つ以上のメモリデバイス108と、プロジェクタ110とを含む。仮想ミラーシステム100は、プロジェクタ110を使用して、1つ以上のカメラ104から生成された画像データに基づいて、垂直面上に被写体の仮想ミラー像(図5を参照)を表示する。いくつかの実装では、被写体の前にミラーが存在していなくても、仮想ミラー像は、被写体がミラーの前方に立っているかのように被写体には見える。
フレーム102は、壁、カウンター(例えば、浴室の洗面化粧台)、家具、又は任意の他の構造物に(例えば、直接的又は間接的に)結合され、かつ/又は搭載されるように構成される。1つ以上のカメラ104は、フレーム102に(例えば、直接的又は間接的に)結合され、かつ/又は搭載される。1つ以上のカメラ104は、デジタルカメラ、赤外線(IR)カメラ、三次元カメラ(例えば、深度カメラ)、又は任意の他の種類のカメラであり得る。1つ以上のカメラ104が複数のカメラを含む実装では、複数のカメラは、同一種類のカメラ(例えば、2つのデジタルカメラ)又は異なる種類のカメラであり得る。1つ以上のカメラ104は、1つ以上の画像(例えば、静止画像、動画像、又はその双方)として再現可能な画像データを生成するように構成される。仮想ミラーシステム100は、フレーム102の異なる位置(例えば、フレーム102の対向する側)に結合され、かつ/又は搭載された1つのカメラ104、2つのカメラ104、3つのカメラ104、5つのカメラ104などを含むことができる。
メモリデバイス108は、一般に、プロセッサ実行可能命令を含む。このプロセッサ実行可能命令が1つ以上のプロセッサ106によって実行されると、プロセッサ実行可能命令は1つ以上のプロセッサ106に仮想ミラーシステム100の様々な構成要素を作動させ、かつ/又は制御させる(例えば、カメラ104を作動させ、カメラ104に画像データを生成させる、プロジェクタに画像又は動画フィードを表示させるなど)。また、メモリデバイス108は1つ以上のカメラ104によって生成された画像データを格納することができる。
また、仮想ミラーシステム100は、1つ以上のプロセッサ106、メモリデバイス108、及び仮想ミラーシステム100の他の様々な構成要素に電力を提供するための電源120を含む。電源120は、AC電源、電池(例えば、充電式電池)、又はその双方を含むことができる。
プロジェクタ110は、(例えば、一般に、1つ以上のカメラ104の第1のカメラと第2のカメラとの間の)フレーム102に結合され、一般に、画像(例えば、静止画像、動画像、又は双方)を表面に表示するように構成される。より具体的には、プロジェクタ110は、表面に電磁放射を放出して、その表面に画像を表示させるように構成される。特に、1つ以上のプロセッサ106は、プロジェクタ110に、1つ以上のカメラ102によって生成された画像を表示させるように構成される。いくつかの実装では、表示される画像は、仮想ミラーシステム100に隣接して(例えば、その前方に)立っている被写体を表すリアルタイム動画フィードである。
いくつかの実装では、プロジェクタ110は、短焦点プロジェクタ及び/又は超短焦点プロジェクタである。「焦点」という用語は、プロジェクタ110と、プロジェクタ110によって投影される表面との間の距離を指す。短焦点及び超短焦点プロジェクタは、広角を有する1つ以上のレンズを含み、それによって、プロジェクタ110が鮮明な画像を維持した状態で投影される表面の近くに配置されることが可能になる。例えば、短焦点プロジェクタ又は超短焦点プロジェクタは、投影する面から約1インチ~約36インチ、約3インチ~約30インチ、約6インチ~約24インチなどに配置することができる。「焦点比」という用語は、焦点距離と投影された表示の寸法との比率を指す(例えば、プロジェクタが画面から1フィート離れ、かつ、表示が1フィートの場合は、焦点比は1である)。プロジェクタ110は、約0.4~約1、約0.6~約0.8、約0.3~約0.5などの焦点比を有することができる。例えば、焦点比が0.4で、かつ、プロジェクタ110が投影される表面から6インチ離れて配置される場合は、表示は24インチである(通常は対角線で測定される)。いくつかの実装において、プロジェクタ110は、例えば、表面がプロジェクタ110のレンズの直接の視線内にない場合、表面への画像の投影を補助するように構成された1つ以上の微小電気機械システム(MEM)及び/又は1つ以上のミラーを含む。
いくつかの実装では、仮想ミラーシステム100は任意選択的に、1つ以上のセンサ112、1つ以上の光源114、ミラー116、電子ディスプレイ118、又はそれらの任意の組み合わせも含む。1つ以上のセンサ112は、フレーム102に結合され、複数の異なる種類のセンサを含むことができる。例えば、センサ112は、(例えば、プロセッサ106にカメラ104を作動させることができる)仮想ミラーシステム100の前方の物体又は人の存在を検出するように構成された(例えば、電磁放射を用いた)運動又は近接センサ、及び/又は、フレーム102からの物体又は人の間の距離を求めるように構成された奥行センサを含むことができる。
任意選択の1つ以上の光源114は、フレーム102に結合され、一般に、仮想ミラーシステム100に隣接する被写体の照明に使用される。光源114は、プロセッサ106によって制御することができる可変の色及び強度値を有する発光ダイオード(LED)であり得る。代替的に、光源114は、白熱電球、ハロゲン電球、蛍光電球、ブラックライト、放電ランプ、又は任意の他の好適な光源であり得る。また、光源114は、光源114がユーザによって物理的に調整され、異なる方向に光を放出することができるように、フレーム102又は仮想ミラーシステム100の他の部分に回転又は並進結合され得る。また、光源114は、フレーム102から物理的に分離された個々のハウジングに配置され得るであろう。光源114は、一般に、フレーム102から外側から仮想ミラーシステム100に隣接する物体又はユーザ又は被写体に向けられる光を生成するように構成される。したがって、1つ以上の光源114によって生成された光を使用して、ユーザ(又は任意の他の物体)を照明することができる。それらは色及び強度が可変であるため、光源114を使用して、ユーザを取り囲む周囲光条件を調整することができる。
任意選択のミラー116は、一般に、ワンウェイミラーと称される種類であるが、ツーウェイミラーと称されることもある。ミラー116は、その表面に入射する光の第1の部分をミラーの反対側に透過させ、その表面に入射する光の第2の部分を反射するように構成され得る。これは、部分的に反射するコーティングの薄層を概ね透明な基材に塗布し、入射光のすべてが部分反射コーティングによって反射されないようにすることで達成されてよい。残りの光は、ミラー116を通って反対側に透過される。同様に、ユーザが立っている側の反対側でミラー116に当たる光の一部はミラー116を透過し、ユーザはその透過光を見ることができる。この部分反射コーティングは、一般に、基板材料の表示側、基板材料のユーザ側、又はその双方の基板材料の表面に塗布され得る。基板のユーザ側は、ユーザに対向するミラーの側面又は表面である。基板の表示側はユーザ側とは反対の側で、ミラーが結合された面に対向する。したがって、部分反射コーティングは、ミラー116の表示側及びユーザ側の一方又は双方の表面に存在し得る。いくつかの実装では、部分反射コーティングは銀で作成される。概ね透明な材料は、ガラス、アクリル、又は任意の他の好適な材料であり得る。ミラー116は、長方形形状、楕円形形状、円形形状、正方形形状、三角形形状、又は任意の他の形状及び/又はそれらの組み合わせを有することができる。
ディスプレイ118は、フレームに結合又は搭載される。電子ディスプレイ118は、LCDスクリーン、LEDスクリーン、プラズマディスプレイ、OLEDディスプレイ、CRTディスプレイなどの任意の好適なデバイスであり得る。本明細書で説明するように、いくつかの実装では、仮想ミラーシステム100は、任意選択的にミラー116を含む。そのような実装では、ディスプレイ118は、ミラー116に近接して配置され得る。ミラー116の部分反射性により、ディスプレイ118が作動された(例えば、オンにされ、画像を表示するために光を放出する)とき、ミラー116のユーザ側に立っているユーザは、ミラー116を通して光を放出しているディスプレイ118の任意の部分を見ることができる。ディスプレイ118がオフにされると、ミラー116のユーザ側に周囲から入射する光は、部分的に反射され、かつ、部分的に透過する。ディスプレイ118がオフであるため、ミラー116を通して表示側からミラー116のユーザ側に光が透過することはない。したがって、ミラー116の前方に立っているユーザは、ミラー116のユーザ側に入射し、ミラー116で反射されてユーザに戻る光による自分の映像を見ることができる。ディスプレイ118が作動されると、ディスプレイ118によって生成された光のうち、表示側からミラー116に入射する一部がミラー116を通ってユーザ側に透過する。ミラー116及びディスプレイ118は、一般に、任意の所与の点でディスプレイ118からミラー116を透過する光の強度が、ユーザ側からミラー116のその点で反射される任意の光の強度よりも大きくなるように構成される。したがって、ミラー116を見るユーザは、ディスプレイ118の光を放出している部分を見ることができるが、それらのミラー116の表示光が透過している部分内の反射を見ることはないであろう。
図2Aを参照すると、仮想ミラーシステム100(図1)と同一又は類似の仮想ミラーシステム200は、フレーム202と、第1のカメラ204Aと、第2のカメラ204Bと、プロジェクタ210とを含む。示されるように、フレーム202は、垂直面220に結合されるか、又は搭載される。フレーム202は、概ね矩形形状を有し、左垂直部分202Aと、上水平部分202Bと、右垂直部分202Cと、下水平部分202Dとを含む。フレーム202は、概ね矩形であるように示されているが、フレーム202は、他の任意の形状(例えば、円形、楕円形、三角形、多角形、又はそれらの任意の組み合わせ)を有することができる。
垂直面220は、例えば、壁(例えば、乾式壁、コンクリート、木材など)であり得る。本明細書で説明するように、いくつかの実装では、仮想ミラーシステム200は、任意選択的に、ミラー116と同一又は類似のミラー(図示せず)を含む。そのような実装では、ミラーは、垂直面220に結合され、かつ/又は搭載され得る。
仮想ミラーシステム200の第1のカメラ204A及び第2のカメラ204Bは、本明細書に記載の仮想ミラーシステム100(図1)の1つ以上のカメラ104と同一であるか、又は類似している。示されるように、第1のカメラ204Aは、フレーム202の左垂直部分202Aに結合され、第2のカメラ204Bは、フレーム202の右垂直部分202Bに結合される。第1のカメラ204A及び/又は第2のカメラ204Bは、フレーム202の外面に結合され得る。代替的に、第1のカメラ204A及び/又は第2のカメラ204Bは、フレーム202の一部内に部分的又は完全に一体化され、かつ/又は埋め込まれるように、第1のカメラ204A及び/又は第2のカメラ204Bがフレーム202に結合され得る。より一般的には、第1のカメラ204A及び/又は第2のカメラ204Bは、フレーム202上の任意の位置に配置され得る。例えば、いくつかの実装では、第1のカメラ204A及び第2のカメラ204Bの双方を、上水平部分202B又は下水平部分202Dに結合され得る。
第1のカメラ204A及び第2のカメラ204Bは、水平軸に沿って概ね整列されるように図2Aに示されているが、いくつかの実装では、第1のカメラ204A及び第2のカメラ204Bは、第1のカメラ204A及び第2のカメラ204Bが垂直軸に沿って整列されるように配置され得る(例えば、第1のカメラ204A及び第2のカメラ204Bの双方が、フレーム202の左垂直部分202Aに配置される)。代替的に、いくつかの実装では、第1のカメラ204A及び第2のカメラ204Bは、水平軸又は垂直軸のいずれにも沿って整列されない。例えば、そのような実装では、第1のカメラ204Aは、フレーム202の左上隅(例えば、左垂直部分202Aが上水平部分202Bと交差する概ね領域内)に配置され得る。第2のカメラ204Bは、フレーム202の右下隅(例えば、右垂直部分202Cが下水平部分202Dと交わる略領域内)に配置され得る。さらに、仮想ミラーシステム200は2台のカメラ(第1のカメラ204A及び第2のカメラ204B)を有すように示さていれるが、より一般には、仮想ミラーシステム200は任意の好適な数のカメラ(例えば、1台のカメラ、3台のカメラ、4台のカメラなど)を有することができる。
第1のカメラ204A及び第2のカメラ204Bは、好ましくは、仮想ミラーシステム200の前方に立っている被写体のほぼ目の高さに配置されるように、フレーム202に結合される。すなわち、第1のカメラ204A及び第2のカメラ204Bは、被写体が立っている床又は他の表面に対して被写体のほぼ目の高さになる高さに配置されることが好ましい。高さは、例えば、約4フィート~約6フィート、約4.5フィート~約5.5フィート、約5フィート(平均的な目の高さに近い)などであり得る。いくつかの実装では、第1のカメラ204A及び第2のカメラ204Bは、フレーム202に対して移動可能であり、特定の被写体の目の高さに対して第1のカメラ204A及び第2のカメラ204Bの高さが調整される(例えば、被写体が第1のカメラ204A及び/又は第2のカメラ204Bを目の高さになるようにそれらを手動で動かすことができる)。いくつかの実装では、仮想ミラーシステム200は、(例えば、顔認識アルゴリズムを第1の画像データ及び/又は第2の画像データに適用することによって)被写体の目を検出し、異なる身長を有する被写体を考慮して第1のカメラ202A及び/又は第2のカメラ202Bの垂直位置を自動的に調整する。代替的に、いくつかの実装では、第1のカメラ204A及び第2のカメラ204Bを被写体のほぼ目の高さに配置するために、フレーム202又はフレーム202の一部は垂直面220に対して移動可能である。第1のカメラ204A及び第2のカメラ204Bをほぼ目の高さに配置することによって、生成された画像データを処理し、本明細書でさらに詳細に説明される被写体の仮想ミラー像を生成することが助長される。例えば、図5に示されるように、第1のカメラ204A及び第2のカメラ504Bは、仮想ミラー像500内の被写体400と概ね同一の高さである。
プロジェクタ210は、本明細書で説明する仮想ミラーシステム100(図1)のプロジェクタ110と同一か、又は類似している。より具体的には、図2Bに最もよく示されるように、プロジェクタ210は、電磁放射を放出して垂直面220上に1つ以上の画像を表示するように構成された短焦点及び/又は超短焦点プロジェクタである。プロジェクタ210は、プロジェクタ210のレンズと垂直面220との間の距離が、例えば、約6インチ~約24インチであるように、フレーム202に結合される。プロジェクタ210と垂直面220とが近接していることにより、被写体又は他の物体が投影された画像を遮ったり影を落としたりすることなく、画像を垂直面220に投影することができる。例えば、被写体が垂直面220とプロジェクタ210との間に立つことができるようにプロジェクタ210が(例えば、天井に)搭載された場合、被写体は、投影された画像を覆い隠すか又は遮る可能性がある。しかしながら、プロジェクタ210は垂直面220に近接しているので、被写体がプロジェクタ210のレンズと垂直面220との間に立っている可能性は非常に低いであろう。
プロジェクタ210は、フレーム202の上水平部分202Bに結合又は搭載されるように図2A及び2Bに示されているが、より一般には、プロジェクタ210は、フレーム202上の任意の位置(例えば、左垂直部分202A、右垂直部分202C、又は下水平部分202D)に結合又は搭載され得る。いくつかの実装では、仮想ミラーシステム200は、例えば、浴室又は寝室の洗面化粧台又はキャビネットの上に配置される。そのような実施において、(フレーム202から突出する)プロジェクタ210が調理台又は流し台へのアクセスを干渉又は妨害しないように、プロジェクタ210が上部水平部分202に結合又は搭載されることが有利である。代替的に、いくつかの実装では、プロジェクタ210は、垂直面220の近傍(例えば、約6インチ~24インチ)内の天井又は他の構造に結合又は搭載され得る。
いくつかの実装では、仮想ミラーシステム200は、ミラー、1つ以上のセンサ、1つ以上の光源、ディスプレイ、又はそれらの任意の組み合わせも含み、これらは、本明細書に記載された仮想ミラーシステム100(図1)の1つ以上のセンサ112、1つ以上の光源114、ミラー116、及びディスプレイ118と同一又は類似している。例えば、そのような実装では、部分202A~202Dがミラーの周囲に境界又は縁を形成するように、ミラー面をフレーム202に結合され得る。本明細書で記載されるように、ミラーは、プロジェクタ210によって投影された画像がミラーの前方に立っている被写体に見えるように、部分的にのみ反射することができる。
仮想ミラーシステム200が1つ以上のセンサを含む実装では、これらのセンサを使用して、ユーザ(例えば、被写体400)が表示された画像と相互作用することを可能にすることができる。センサは、ユーザがフレーム202及び/又は垂直面220から閾値の距離内にいるときに、ユーザの手、指、顔、又は他の身体部分の存在を検出するように構成され得る。センサが閾値の距離に位置合わせされたユーザの存在を検出すると、プロセッサは、ユーザが垂直面220上のタッチスクリーンディスプレイ及び/又はフレーム202にタッチした、又はクリックしたかのようにシステム200を反応させるように構成される。したがって、センサは、フレーム202及び/又は垂直面220を仮想タッチセンスディスプレイに変換することができ、ユーザは、フレーム202及び/又はフレーム202内に位置する垂直面220にタッチすることによって、あるいは、指、手、顔、他の身体部分をそこに近づけることによって、(プロジェクタ210によって投影された)仮想表示と対話し、かつ操作することができる。センサ(IR送信器/受信器ペア、及び/又は近接センサかどうか)を用いて、ユーザとシステム200との間の異なる種類の対話を判定することができる。例えば、システム200は、使用が水平方向(左/右)、垂直方向(上/下)、斜め方向(左/右及び上/下の組み合わせ)、又はこれらの任意の組み合わせでスワイプしているかどうかを判定することができる。また、システム200は、ユーザがスワイプする代わりにどこかを単にタップしたときを検出することもできる。例えば、ユーザ選択可能アイコンは、プロジェクタ210を介して垂直面220に投影され、又は表示され得る。ユーザは、ジェスチャを介してユーザ選択可能アイコンを選択することができる。携帯電話アプリケーションなどのタッチスクリーンで使用するために設計されたタッチに基づいたアプリケーションを含む、様々な異なるアプリケーション及びプログラムは、プロセッサによって実行され、プロジェクタ210を介して垂直面220に表示され得る。
図3を参照すると、第1のカメラ204Aは、中心軸306Aを有する第1の視野304Aを有する。同様に、第2のカメラ204Bは、中心軸306Bを有する第2の視野304Bを有する。第1の視野304Aの中心軸306Aは、(フレーム202の中心軸310に平行である)第1の垂直軸308Aに対して第1の角度θ1をなす。同様に、第2の視野304Bの中心軸306Bは、(フレーム202の中心軸310に平行である)第2の垂直軸308Bに対して第2の角度θ2をなす。第1の角度θ1は、第2の角度θ2と同一、又は異なり得る。第1の角度θ1及び第2の角度θ2は、約0度~約45度、約-30度~約75度、約-10度~約10度、約30度~約60度、又は約0度~30度であり得る。図3に示すように、第1の視野304A及び第2の視野304Bは、領域320(影付きの領域)で互いに重なり合う。代替的に、第1の角度θ1及び/又は第2の角度θ2、並びに/あるいは、第1のカメラ204A及び第2のカメラ204Bの視野304a、304bの範囲/サイズの値によっては、第1の視野304Aと第2の視野304Bとは互いに重ならなくともよい。さらに、中心軸306A及び中心軸306Bは、図3において交差するように示されているが、いくつかの実装では、中心軸306A及び中心軸306Bは交差しない(例えば、第1の角度θ1及び第2の角度θ2は双方とも0度以下である)。
被写体(例えば、人間)が仮想ミラーシステム200の前方に配置され、被写体の少なくとも一部が第1のカメラ204の第1の視野304A及び第2のカメラ204Bの第2の視野304B内にあるとき、第1のカメラ204Aは被写体の第1の視点を有し、第1の視点は第2のカメラ204Bの第2の視点とは異なる。カメラの視点におけるこの違いは、被写体に対する第1のカメラ204A及び第2のカメラ204Bの異なる位置によって引き起こされる。
例えば、図4Aを参照すると、第1のカメラ204Aによって生成された被写体400の例示的な画像402Aが示される。画像402Aでは、被写体400の顔は、第1のカメラ204Bの中心軸306A(図3)からわずかに離れるように向けられている。すなわち、画像402Aは、第1のカメラ204Aの中心軸306A(図3)に対する被写体400の位置及び向きに基づく被写体400の第1の視点を有する。図4Bを参照すると、第2のカメラ204Bによって生成された被写体400の例示的な画像402Bが示される(被写体400は画像402Aが生成されたときと同一位置及び向きに配置されていた)。画像402Bにおいて、被写体400は、第1のカメラ204Aに対する向きとは異なる、第2のカメラ204Bに対する向きで示される。すなわち、図4Aと4Bの比較によって示されるように、第1のカメラ204Aは、第2のカメラ204Bとは異なる被写体400の視点を有する。
図5を参照すると、被写体400(図4A及び4B)の例示的な仮想ミラー像500は、プロジェクタ210によって、フレーム202内の垂直面220上に表示(投影)される。本明細書でさらに詳細に記載するように、仮想ミラー像500は、第1のカメラ204Aからの第1の画像データ及び第2のカメラ204Bからの第2の画像データに基づいて生成される。示されるように、被写体400は、まるで被写体400がフレーム202の真正面に立っているかのように仮想ミラー像500に現れる。換言すると、被写体の視点からは、(例えば、本実施形態では)フレーム202内にミラーが存在しないにもかかわらず、仮想ミラー像500は、まるで被写体400がミラーの前に立っている場合と同一か実質的に同一であるように見える。被写体が第1のカメラ204A又は第2のカメラ204Bの一方の視野内のみにいる場合、仮想ミラー像500は、そのカメラからの画像データに基づいて生成される(例えば、被写体が第1の視野内のみにいる場合304A(図3)、仮想ミラー像500は、第1の画像データのみに基づいて生成される)。いくつかの実装では、仮想ミラー像500は、第1のカメラ204A及び/又は第2のカメラ204Bから連続的に生成された画像データに基づいて、実質的にリアルタイムで(例えば、ほとんど待ち時間なく)連続的に更新され、被写体400の実質的にリアルタイムの仮想ミラー動画像を生成する。待ち時間は、約20ミリ秒未満、約10ミリ秒未満、約5ミリ秒未満、約2ミリ秒未満、約10マイクロ秒~約50マイクロ秒などであり得る。本明細書において、少なくとも仮想ミラー像500に関連して使用される「リアルタイム」という用語は、システム200が第1の画像データ及び/又は第2の画像データを処理し、本明細書において考察される時間フレーム又は期間内に仮想ミラー像500を表示する実装を指す。
仮想ミラー像500は、(例えば、被写体400がミラーを直接正面から見ているように)被写体400の正面図として示されるが、いくつかの実装では、仮想ミラー像500は、被写体400の側面図又は部分側面図であり得る。他の実装では、仮想ミラーシステム200は、被写体400の背後に配置された第3のカメラ(図示せず)を含む。そのような実装では、第3のカメラは、被写体400の少なくとも一部の1つ以上の画像として再現可能な第3の画像データを生成するように構成される。被写体400の背後にある第3のカメラの相対的な位置を考えると、第3のカメラの第3の視野は、一般に、第1のカメラ204Aの第1の視野304A及び第2のカメラ204Bの第2の視野304B(図3)と反対の方向を向いている。したがって、例えば、被写体400の第1の側(例えば、顔)が第1及び第2のカメラ204A及び204Bに対向している一方で、被写体400の第2の反対側(例えば、後頭部)は第3のカメラに対向している。そのような実装では、プロジェクタ210は、仮想ミラー像500と同様に、被写体400の逆仮想ミラー像を投影することができる。しかしながら、被写体400の逆仮想ミラー像は、被写体400が、ミラーに対向側とは反対側の身体を直接見ているように見える。これは、被写体400がミラーに対向していない身体の側面又は部分を見ることができなかった従来のミラーと比較して有利となる。仮想ミラーシステム200は、仮想ミラー像500と逆仮想ミラー像とを切り替えるように構成することができ、その結果、ユーザは、垂直面220に表示された身体のすべての側面又は部分を見ることができる。
図6を参照すると、被写体(例えば、人間)の仮想ミラー像を生成するための方法600のプロセスフロー図が示される。方法600は、仮想ミラーシステム200(図2A~5)を使用して実装されるものとして本明細書で記載されるが、より一般には、方法600は、仮想ミラーシステム100(図1)及び/又は仮想ミラーシステム200(図2A~5)と同一又は類似のシステムを使用して実施され得る。
方法600の第1のステップ601は、第1のカメラ204Aを使用して、被写体400の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成することを含む。第1の画像データは、方法600のステップ603の間に仮想ミラーシステム200の1つ以上のプロセッサによって後で処理するために、仮想ミラーシステム200の1つ以上のメモリデバイスに格納され得る。第1のステップ601の間の第1の画像データの生成は、仮想ミラーシステム200の1つ以上のプロセッサによって自動的にトリガーされ得る。例えば、仮想ミラーシステム200が1つ以上のセンサ(例えば、近接センサ又は運動センサ)を含む実装では、プロセッサは、フレーム202から所定の距離又は近傍(例えば、1フィート、2フィート、6フィート、10フィートなど)内における被写体の検出に応答して第1のカメラ204Aを作動させることができる。代替的に、第1のステップ601の間の第1の画像データの生成は、例えば、被写体によって手動で作動又はトリガーされ得る。代替的に、第1の画像データの生成は連続的で、決してオフになり得ず、その結果、仮想ミラーシステム200は常にオンであり、動きがその近くで検出されるかどうかにかかわらず仮想ミラー面として機能する。
方法600の第2のステップ602は、方法600の第1のステップ601と同様であり、第2のカメラ204Bを使用して被写体(例えば、被写体400)の少なくとも一部の1つ以上の第2の画像として再現可能な第2の画像データを生成することを含む。ステップ602は、ステップ601と実質的に同時で、かつ/又は同期し得る。すなわち、第1のカメラ204A及び第2のカメラ204Bは、それぞれ、第1の画像データ及び第2の画像データを、同時に、かつ/又はほぼ同時に生成することができる。いくつかの実装では、被写体が第1のカメラ204A及び第2のカメラ204Bのうちの1つの視野内のみに配置される場合、ステップ601及び602のうちの1つのみが実行される。
方法600の第3のステップ603は、第1の画像データ、第2の画像データ、又は双方に基づいて、被写体400(図5)の仮想ミラー像500を生成することを含む。本明細書で記載するように、第1のカメラ204A及び/又は第2のカメラ204Bがそのような被写体400の視点を有していなくても、仮想ミラー像500は被写体400がミラーの真正面に立っているかのように被写体400には見える。この視点を有する仮想ミラー像500を生成するために、様々なアルゴリズム(例えば、機械学習アルゴリズム)が第1の画像データ及び/又は第2の画像データに適用され得る。一例として、敵対的生成ネットワーク(GAN)を使用して、仮想ミラー像500が生成され得る。GANは通常、生成ネットワークと識別ネットワークの2つのニューラルネットワークを使用する。第1の画像データ及び第2の画像データの双方を用いて仮想ミラー像500を生成する場合、ヒューリスティック又は他のアルゴリズムを用いて第1の画像データと第2の画像データとを合成することで、オクルージョンを補正でき、一般に、第1の画像データ又は第2の画像データのみの使用よりも正確な仮想ミラー像500を得ることができる。いくつかの実装では、ステップ603の間に仮想ミラー像500を生成することが、第1の画像データ及び/又は第2の画像データを使用して、被写体の少なくとも一部(例えば、顔又は頭部)の三次元モデルを生成することを含む。次に、被写体400の様々な視点(例えば、正面、側面、部分側面)を、被写体400の三次元モデルに基づいて生成され得る。
方法600の第4のステップ604は、プロジェクタ210を使用して、第3のステップ603の間に生成された被写体400の仮想ミラー像500を垂直面220上に表示することを含む。図5に示すように、プロジェクタ210は、仮想ミラー像500で被写体400がミラーの真正面に立っているかのように見えるように、仮想ミラー像500を垂直面220に投影する。仮想ミラー像500は、連続的に、又は所定の時間周期(例えば、5秒、10秒、30秒、1分、10分など)の間に表示され得る。
いくつかの実装では、方法600は、任意選択的に、第5のステップ605を含み、これは、第4のステップ604の間に表示される仮想ミラー像500を拡張することを含む。例えば、いくつかの実装では、ユーザ(例えば、被写体400)は、仮想ミラー像500(例えば、被写体400の一部の側面図)内の被写体400の視点を選択して、被写体400の最大360°映像化を提供することができる。これにより、被写体400は、被写体400が単にミラーを見ている場合には見えないであろう被写体400の多くの異なる視点を見ることができる。いくつかの実装では、仮想ミラー像500の拡張は、(例えば、本明細書で記載されるユーザ入力の1つに応答して)仮想ミラー像500内の関心領域のズームイン(例えば、拡大)又はズームアウトすることを含む。関心領域は、被写体400の目、鼻、耳、口、歯など、又は任意の他の特徴部であり得るであろう。そのような実装では、プロジェクタ210は、(例えば、ピンチ及び/又はスワイプによって)仮想ミラー像400の倍率を操作する方法を被写体400に示す命令を表示することができる。
別の例として、いくつかの実装では、ステップ605の間に仮想ミラー像500を拡張することは、製品を適用する必要がある被写体400の顔の部分を強調することによって、被写体400が活動(例えば、化粧をする、歯を磨く、髪にブラシをかける、髭を剃るなど)を行うことを支援することができる。例えば、(例えば、ユーザが生産を適用する必要がある場所を示すために)しるしが仮想ミラー像500の一部に表示されて、被写体400に活動を実施する場所が示され得る。しるしは、ドット、円、正方形、三角形、曲線、円弧、アーチ、線、これらの任意の組み合わせ、又は任意の他の好適な形状など、任意の好適な形状又は形態を有することができる。代替的に、プロジェクタ210は、被写体400が活動を完了するのを支援するために、仮想ミラー像500を用いたステップ(例えば、チュートリアル)を示す画像又は一連の画像を表示することができる。一実装では、プロジェクタ210は、被写体にステップを示すアニメーション図形交換形式(GIF)を表示する。
さらに別の例として、いくつかの実装では、仮想ミラー像500を拡張することは、例えば、異なる染毛剤を塗布するか、又は異なるヘアスタイルにするなど、異なる種類の製品又は手順を適用した後に、それらがどのように見えるかを被写体400が見ることができるようにすることを含む。プロジェクタ210は、複数のユーザ選択可能オプションを表示することができ、それらの各々は、被写体400に関連する第1の特徴の固有の変更に関連付けられている。ユーザが選択可能オプションの1つを選択することに応答して、仮想ミラー像500は、特徴(例えば、髪の色)の選択された変更を伴う被写体400を示すように変更され得る。
仮想ミラーシステム200の他の実装は、本開示に従って想到される。例えば、システム200は、携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、オンラインサーバ、フィットネストラッカー、インターネット接続型体重計、クラウドサービス、インターネット接続型水筒、インターネット接続型サーモスタット、又は他のデバイスに接続することができる。いくつかのそのような実装では、被写体のスマートフォン及び/又はタブレットは、スマートフォン及び/又はタブレットのディスプレイ上に仮想ミラー像500をミラーリングし、ユーザがスマートフォン及び/又はタブレットを直接タッチ及び/又はタップすることによってシステム200を制御する入力デバイスとして使用され得る。
いくつかの実装では、センサは、ユーザの声を検出及び/又は記録するマイクロフォンを含む。マイクロフォンからのデータをプロセッサに送信して、ユーザがそれらの声を使用してシステムと対話することができる。また、システム200は音楽、ポッドキャスト、ラジオ、又は他の音声を再生するための1つ以上のスピーカーも含むこともできる。また、1つ以上のスピーカーは、特定のアクション又は判定のユーザフィードバック又は確認を提供することもできる。
いくつかの実装では、仮想ミラーシステム200は、コンピュータビジョンの原理を利用した物体認識(OR)アルゴリズムを使用して、第1のカメラ204A及び/又は第2のカメラ204Bによって撮影された静止画像又は動画像に基づいて様々な物体を検出し、かつ識別する。仮想ミラーシステム200のプロセッサは、カメラ及びプロセッサによって検出及び識別された物体に基づいて、新しいアプリケーションを自動的に起動するか、又は既存のアプリケーションで特定のアクションをとるなど、プロセッサによって実行されるアプリケーションの実行を変更するように構成され得る。例えば、ユーザの手の中の物体を検出し、その物体を歯ブラシして識別した後に、プロセッサは、歯磨きアプリケーションを自動的に起動して、実行し、かつプロジェクタ210を使用して表示されるように構成され得る。プロセッサは、かみそりを検出及び識別するとユーザの髭剃りを支援するアプリケーションを自動的に起動し、又は、口紅、アイシャドウなどの任意の種類の化粧道具を検出及び識別するとユーザが化粧を施すのを支援するアプリケーションを自動的に起動するように構成され得る。また、カメラ204A及び204Bは、ユーザの顔を認識して複数のユーザを区別することもできる。例えば、カメラ20は、フレーム202の前方に立っている人を認識し、そのユーザに固有のアプリケーションを実行してよい。例えば、アプリケーションは、そのユーザのために記憶されたデータを表示したり、ユーザに関連するリアルタイムデータを表示したりすることができるであろう。
以下の請求項1~42のいずれかの1項以上からの1つ以上の要素又は態様又はステップ、あるいはその任意の部分を、他の請求項1~42のいずれかの1項以上からの1つ以上の要素又は態様又はステップ、あるいはその任意の部分、又はそれらの組み合わせと組み合わせて、本開示の1つ以上の追加の実装及び/又は請求項を形成することができる。
本開示を、1つ以上の特定の実装を参照して記載したが、当業者であれば本開示の趣旨及び範囲から逸脱することなく、多くの変更が行われ得ることを認識するであろう。これらの実装及びそれらの明らかな変形例の各々は、本開示の趣旨及び範囲内に入るものとして想到される。また、本開示の態様による追加の実装が、本明細書に記載された実装のいずれかからの任意の数の特徴を組み合わせ得ることも想到される。
Claims (42)
- 仮想ミラーシステムであって、
フレームと、
前記フレームに結合された第1のカメラであって、前記第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成するように構成された第1のカメラと、
垂直面に画像を表示するように構成されたプロジェクタと、
機械可読命令を格納するメモリと、
前記機械可読命令を実行して、前記第1の画像データに基づいて前記被写体の仮想ミラー像を前記プロジェクタに前記垂直面上に表示させるように構成された1つ以上のプロセッサを含む制御システムと、
を備え、
前記仮想ミラーが、前記被写体の前記少なくとも一部のミラー像として前記被写体には見える、
ことを特徴とする仮想ミラーシステム。 - 前記プロジェクタが前記フレームに結合される、
ことを特徴とする請求項1に記載の仮想ミラーシステム。 - 垂直面が壁である、
ことを特徴とする請求項1又は2に記載の仮想ミラーシステム。 - 前記垂直面が前記フレームに結合されたミラーである、
ことを特徴とする請求項1又は2に記載の仮想ミラーシステム。 - 前記被写体の前記仮想ミラー像が静止画像又は動画像である、
ことを特徴とする請求項1から4のいずれか1項に記載の仮想ミラーシステム。 - 前記第1の視野内の前記被写体の前記少なくとも一部の前記1つ以上の第1の画像が、前記被写体に対する前記第1のカメラの位置に基づいた第1の視点を有する、
ことを特徴とする請求項1から5のいずれか1項に記載の仮想ミラーシステム。 - 前記生成された仮想ミラー像が、前記第1の視点とは異なる、前記被写体の第2の視点を有する、
ことを特徴とする請求項6に記載の仮想ミラーシステム。 - 前記フレームに結合された第2のカメラであって、前記第2のカメラの第2の視野内に配置された前記被写体の少なくとも一部の1つ以上の第2の画像として再現可能な第2の画像データを生成するように構成された第2のカメラ、
をさらに備え、
前記第1の視野の一部が前記第2の視野の一部と重なって仮想ミラー領域を画定するように前記第2のカメラが前記第1のカメラに対して配置される、
ことを特徴とする請求項1から7のいずれか1項に記載の仮想ミラーシステム。 - 前記1つ以上のプロセッサが1つ以上のメモリデバイスに格納された命令を実行するように構成され、それにより前記システムが、
前記第1の画像データ及び前記第2の画像データに基づいて、前記仮想ミラー領域内に配置された前記被写体の少なくとも一部の仮想ミラー像を生成し、
前記プロジェクタを使用して、前記垂直面に前記仮想ミラー像を実質的にリアルタイムで表示する、
ことを特徴とする請求項8に記載の仮想ミラーシステム。 - 前記仮想ミラー像が動画像である、
ことを特徴とする請求項9に記載の仮想ミラーシステム。 - 前記第2のカメラが前記第1のカメラから離間され、かつ、平行になるように、前記第2のカメラが前記フレームに結合される、
ことを特徴とする請求項8に記載の仮想ミラーシステム。 - 前記プロジェクタが1つ以上のMEMデバイスを含む、
ことを特徴とする請求項1から11のいずれか1項に記載の仮想ミラーシステム。 - 前記プロジェクタが、前記垂直面に概ね垂直である天井に結合される、
ことを特徴とする請求項1又は3から12のいずれか1項に記載の仮想ミラーシステム。 - 前記プロジェクタのレンズと前記垂直面との間の距離が、約6インチ~約24インチである、
ことを特徴とする請求項1から13のいずれか1項に記載の仮想ミラーシステム。 - 前記仮想ミラー領域内に配置された前記被写体の前記一部が、前記被写体の顔、前記被写体の髪、前記被写体の片腕、前記被写体の片脚、前記被写体の頭部、又はそれらの任意の組み合わせを含む、
ことを特徴とする請求項1から14のいずれか1項に記載の仮想ミラーシステム。 - 前記フレームに結合された奥行センサをさらに備える、
ことを特徴とする請求項1から15のいずれか1項に記載の仮想ミラーシステム。 - 前記フレームに結合された1つ以上の光源をさらに備える、
ことを特徴とする請求項1から16のいずれか1項に記載の仮想ミラーシステム。 - 方法であって、
フレームに結合された第1のカメラから、前記第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを受け取るステップと、
前記第1のカメラからの前記第1の画像データに基づいて、前記被写体の前記一部の仮想ミラー像を生成するステップと、
前記フレームに結合されたプロジェクタに、前記被写体の前記一部の前記仮想ミラー像を垂直面に表示させるステップと、
を含むことを特徴とする方法。 - 前記1つ以上の第1の画像が、前記被写体に対する前記第1のカメラの位置に基づいた前記被写体の第1の視点を有する、
ことを特徴とする請求項18に記載の方法。 - 前記仮想ミラー像が、前記被写体の前記第1の視点とは異なる前記被写体の第2の視点を有する、
ことを特徴とする請求項19に記載の方法。 - 前記第2の視点が、前記被写体の正面図、前記被写体の側面図、又は前記被写体の部分側面図である、
ことを特徴とする請求項20に記載の方法。 - 前記第1の視点が前記被写体の部分側面図であり、
前記第2の視点が前記被写体の正面図である、
ことを特徴とする請求項20に記載の方法。 - 前記仮想ミラー像を前記生成することが、敵対的生成ネットワーク(GAN)を使用することを含む、
ことを特徴とする請求項20から22のいずれか1項に記載の方法。 - 第2のカメラを使用して、前記第2のカメラの第2の視野内に配置された前記被写体の少なくとも一部の1つ以上の第2の画像として再現可能な第2の画像データを取得することをさらに含む、
ことを特徴とする請求項18から23のいずれか1項に記載の方法。 - (i)前記被写体の前記一部の前記1つ以上の第1の画像が、前記被写体に対する前記第1のカメラの位置に基づいた前記被写体の第1の視点を有し、
(ii)前記被写体の前記一部の前記1つ以上の第2の画像が、前記被写体に対する前記第2のカメラの位置に基づいた前記被写体の第2の視点を有し、前記第2の視点は前記第1の視点とは異なる、
ことを特徴とする請求項24に記載の方法。 - 前記仮想ミラー像を前記生成することが、前記第1の画像データと前記第2の画像データとに基づいている、
ことを特徴とする請求項25に記載の方法。 - 前記仮想ミラー像が、前記第1の視点及び前記第2の視点とは異なる、前記被写体の第3の視点を有する、
ことを特徴とする請求項26に記載の方法。 - システムであって、
1つ以上のプロセッサを備える制御システムと、
メモリであって、前記メモリに格納された機械可読命令を有するメモリと、
を備え、
前記制御システムが前記メモリに結合され、
前記メモリ内の前記機械可読命令が前記制御システムの前記1つ以上のプロセッサのうちの少なくとも1つによって実行されたときに、請求項18から27のいずれか1項に記載の方法が実装される、
ことを特徴とするシステム。 - 1つ以上の指示をユーザに伝達するためのシステムであって、請求項18から27のいずれか1項に記載の方法を実装するように構成された制御システムを備える、
ことを特徴とするシステム。 - コンピュータによる実行時に、前記コンピュータに請求項18から27のいずれか1項に記載の方法を実施させる命令を含む、
ことを特徴とするコンピュータプログラム製品。 - 前記コンピュータプログラム製品が、非一時的なコンピュータ可読媒体である、
ことを特徴とする請求項30に記載のコンピュータプログラム製品。 - 仮想ミラーシステムであって、
第1のカメラであって、被写体が前記第1のカメラの第1の視野(FOV)内に配置されたときに、前記被写体に関連付けられた第1の画像データを生成するように構成され、前記第1のFOVの中心軸が第1の垂直平面に対して第1の角度をなし、かつ、第1の水平平面に対して第2の角度をなすように前記第1のカメラが搭載される、第1のカメラと、
第2のカメラであって、前記被写体が前記第2のカメラの第2の視野(FOV)内に配置されたときに、前記被写体に関連付けられた第2の画像データを生成するように構成され、前記第2のFOVの中心軸が第2の垂直平面に対して第3の角度をなし、かつ、第2の水平平面に対して第4の角度をなすように第2のカメラが搭載され、前記第1のFOVの一部が前記第2のFOVの一部と重なるように前記第1のカメラに対して第2のカメラが配置される、第2のカメラと、
仮想ミラー面に電磁放射を放出するように構成されたプロジェクタであって、前記プロジェクタの中心軸が第3の垂直平面に対して第5の角度をなし、かつ、第3の水平平面に対して第6の角度をなすように前記プロジェクタが搭載される、プロジェクタと、
機械可読命令を格納するメモリと、
前記機械可読命令を実行して、少なくとも前記第1の画像データと前記第2の画像データとに基づいて、前記被写体の少なくとも一部のリアルタイム動画フィードを生成し、前記プロジェクタを使用して、前記被写体の前記一部の前記生成されたリアルタイム動画フィードの少なくとも一部を前記仮想ミラー面に表示するように構成された1つ以上のプロセッサを含む制御システムと、
を備えることを特徴とする仮想ミラーシステム。 - 前記仮想ミラー面上の前記表示が、前記被写体の前記少なくとも一部のミラー像として前記被写体には見える、
ことを特徴とする請求項32に記載の仮想ミラーシステム。 - 前記第1の垂直平面と、前記第2の垂直平面と、前記第3の垂直平面とが平行である、
ことを特徴とする請求項32又は33に記載の仮想ミラーシステム。 - 前記第1の水平平面と前記第2の水平平面とが同一平面上にあり、かつ、前記第3の水平平面に平行である、
ことを特徴とする請求項32~34のいずれか1項に記載の仮想ミラーシステム。 - 前記第1の角度が約0度~約45度であり、
前記第3の角度が約0度~約45度である、
ことを特徴とする請求項35に記載の仮想ミラーシステム。 - 前記第2の角度が約0度であり、
前記第4の角度が約0度である、
ことを特徴とする請求項36に記載の仮想ミラーシステム。 - 前記第5の角度が、約-10度~約10度であり、
前記第6の角度が、約0度~約60度である、
ことを特徴とする請求項37に記載の仮想ミラーシステム。 - 前記仮想ミラー面は、前記第1の垂直平面と、前記第2の垂直平面と、前記第3の垂直平面と、前記第1の水平平面と、前記第2の水平平面と、前記第3の水平平面とに概ね垂直である、
ことを特徴とする請求項32から38のいずれか1項に記載の仮想ミラーシステム。 - 仮想ミラーシステムであって、
フレームと、
前記フレームに結合された第1のカメラであって、前記第1のカメラが前記第1のカメラの第1の視野内に配置された被写体の少なくとも一部の1つ以上の第1の画像として再現可能な第1の画像データを生成するように構成された第1のカメラと、
第2のカメラであって、前記第2のカメラの第2の視野内に配置された前記被写体の少なくとも一部の1つ以上の第2の画像として再現可能な第2の画像データを生成するように構成された第2のカメラと、
前記フレームに結合され、前記第1のカメラと前記第2のカメラとの間に配置されたミラーと、
前記フレームに結合されたプロジェクタと、
機械可読命令を格納するメモリと、
前記機械可読命令を実行して、前記第1の画像データと前記第2の画像データとに基づいて、前記被写体の少なくとも一部のリアルタイム動画フィードを生成し、前記プロジェクタに、前記被写体の前記一部の前記リアルタイム動画フィードを前記ミラーの少なくとも一部に継続的に表示させるように構成された1つ以上のプロセッサを含む制御システムと、
を備えることを特徴とする仮想ミラーシステム。 - 前記プロジェクタが前記ミラーの上に配置されるように前記プロジェクタが前記フレームに結合される、
ことを特徴とする請求項40に記載の仮想ミラーシステム。 - 前記プロジェクタのレンズと前記ミラーとの間の距離が、約6インチ~約24インチである、
ことを特徴とする請求項40又は41に記載の仮想ミラーシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962892367P | 2019-08-27 | 2019-08-27 | |
US62/892,367 | 2019-08-27 | ||
PCT/IB2020/057996 WO2021038478A1 (en) | 2019-08-27 | 2020-08-27 | Virtual mirror system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022546053A true JP2022546053A (ja) | 2022-11-02 |
JPWO2021038478A5 JPWO2021038478A5 (ja) | 2023-08-24 |
Family
ID=72521665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022513233A Pending JP2022546053A (ja) | 2019-08-27 | 2020-08-27 | 仮想ミラーシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11818511B2 (ja) |
EP (1) | EP4022894A1 (ja) |
JP (1) | JP2022546053A (ja) |
CN (1) | CN114402587A (ja) |
WO (1) | WO2021038478A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT202100021908A1 (it) | 2021-08-16 | 2023-02-16 | Smartlook Ug | Postazione di lavoro da parrucchiere |
DE202021104352U1 (de) | 2021-08-16 | 2022-11-17 | Smartlook UG (haftungsbeschränkt) | Friseur-Arbeitsplatz |
US20230200519A1 (en) * | 2021-12-29 | 2023-06-29 | Ann Marie Benison | Virtual Wig Display Assembly |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6179426B1 (en) * | 1999-03-03 | 2001-01-30 | 3M Innovative Properties Company | Integrated front projection system |
US10109315B2 (en) * | 2005-03-01 | 2018-10-23 | Eyesmatch Ltd | Devices, systems and methods for auto-delay video presentation |
US20070285554A1 (en) * | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
US20070040033A1 (en) | 2005-11-18 | 2007-02-22 | Outland Research | Digital mirror system with advanced imaging features and hands-free control |
US20130145272A1 (en) * | 2011-11-18 | 2013-06-06 | The New York Times Company | System and method for providing an interactive data-bearing mirror interface |
US8994780B2 (en) * | 2012-10-04 | 2015-03-31 | Mcci Corporation | Video conferencing enhanced with 3-D perspective control |
US9325943B2 (en) * | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
JP2015005823A (ja) * | 2013-06-19 | 2015-01-08 | パナソニック株式会社 | 画像処理装置およびデジタルミラーシステム |
EP2849442B1 (en) * | 2013-09-16 | 2017-03-29 | ameria GmbH | Gesture-controlled rear-projection system |
CN104575129A (zh) * | 2013-10-27 | 2015-04-29 | 西安天动数字科技有限公司 | 一种舞步带领教学系统 |
JP6349838B2 (ja) * | 2014-01-21 | 2018-07-04 | セイコーエプソン株式会社 | 位置検出装置、位置検出システム、及び、位置検出装置の制御方法 |
US9858719B2 (en) * | 2015-03-30 | 2018-01-02 | Amazon Technologies, Inc. | Blended reality systems and methods |
KR102471447B1 (ko) * | 2016-02-03 | 2022-11-28 | 엘지전자 주식회사 | 미러형 디스플레이 장치 및 그 제어방법 |
FR3053509B1 (fr) * | 2016-06-30 | 2019-08-16 | Fittingbox | Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe |
US10052026B1 (en) * | 2017-03-06 | 2018-08-21 | Bao Tran | Smart mirror |
-
2020
- 2020-08-27 JP JP2022513233A patent/JP2022546053A/ja active Pending
- 2020-08-27 EP EP20772425.3A patent/EP4022894A1/en not_active Withdrawn
- 2020-08-27 US US17/753,163 patent/US11818511B2/en active Active
- 2020-08-27 CN CN202080063390.0A patent/CN114402587A/zh active Pending
- 2020-08-27 WO PCT/IB2020/057996 patent/WO2021038478A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
CN114402587A (zh) | 2022-04-26 |
WO2021038478A1 (en) | 2021-03-04 |
EP4022894A1 (en) | 2022-07-06 |
US20220286652A1 (en) | 2022-09-08 |
US11818511B2 (en) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10921949B2 (en) | User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments | |
US9292089B1 (en) | Gestural object selection | |
US9880619B2 (en) | Virtual reality system with a finger-wearable control | |
JP6090140B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10325407B2 (en) | Attribute detection tools for mixed reality | |
CN107430278B (zh) | 基于用户的上下文敏感全息图反应 | |
US9728010B2 (en) | Virtual representations of real-world objects | |
JP2022546053A (ja) | 仮想ミラーシステム及び方法 | |
RU2455676C2 (ru) | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления | |
US20170123510A1 (en) | System for projecting content to a display surface having user- controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith | |
CN116438505A (zh) | 用于操纵环境中的对象的方法 | |
US20130328925A1 (en) | Object focus in a mixed reality environment | |
US20130335405A1 (en) | Virtual object generation within a virtual environment | |
US20130326364A1 (en) | Position relative hologram interactions | |
EP4217838A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
US11284047B2 (en) | Information processing device and information processing method | |
KR20230029885A (ko) | 말 풍선들 및 번역을 갖는 증강 현실 안경류 | |
US20230171484A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
US9329679B1 (en) | Projection system with multi-surface projection screen | |
US11803234B2 (en) | Augmented reality with eyewear triggered IoT | |
US20240103606A1 (en) | Systems and methods for object interactions | |
US20230384860A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
WO2021075118A1 (ja) | 画像表示装置 | |
WO2023230088A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
Lane | Using catadioptrics for multidimensional interaction in computer graphics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240514 |