JP2019513310A5 - - Google Patents

Download PDF

Info

Publication number
JP2019513310A5
JP2019513310A5 JP2018537819A JP2018537819A JP2019513310A5 JP 2019513310 A5 JP2019513310 A5 JP 2019513310A5 JP 2018537819 A JP2018537819 A JP 2018537819A JP 2018537819 A JP2018537819 A JP 2018537819A JP 2019513310 A5 JP2019513310 A5 JP 2019513310A5
Authority
JP
Japan
Prior art keywords
user
face
curved screen
server computer
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537819A
Other languages
Japanese (ja)
Other versions
JP6855493B2 (en
JP2019513310A (en
Filing date
Publication date
Priority claimed from US15/411,959 external-priority patent/US9813673B2/en
Application filed filed Critical
Publication of JP2019513310A publication Critical patent/JP2019513310A/en
Publication of JP2019513310A5 publication Critical patent/JP2019513310A5/ja
Application granted granted Critical
Publication of JP6855493B2 publication Critical patent/JP6855493B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

ユーザのビデオ画像を捕捉するためのシステムであって、
湾曲スクリーンと、
ユーザの頭部の一部分の周りを包むようになったフレーム、
前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、前記湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する1又は2以上のセンサを各々が含む2又は3以上の画像捕捉モジュール、及び
前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータ、
を含むヘッドマウント投影表示装置と、
前記複数の全体像視界に基づいて前記ユーザの前記顔面の実時間3次元ビデオ画像を発生させるのに使用される前記サーバコンピュータであって、該3次元ビデオ画像が、1又は2以上の遠隔に位置付けられたユーザに表示のために提供される前記サーバコンピュータと、
を含むことを特徴とするシステム。
A system for capturing a video image of a user, the system comprising:
Curved screen,
A frame that wraps around a portion of the user's head,
One or more sensors positioned separately at opposite ends of the frame adjacent to the left and right eyes of the user and detecting invisible light reflected from the curved screen as it is positioned in front of the user's face Two or more image capture modules, each comprising: and a non-visible light coupled to the frame and used to provide a plurality of real-time panoramic views of the user's face to a server computer. A client computer arranged to capture the detected reflection;
A head mounted projection display device including:
The server computer used to generate a real-time three-dimensional video image of the user's face based on the plurality of perspective views, wherein the three-dimensional video image is one or more remotely located. Said server computer provided for display to a positioned user;
A system comprising:
各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に非可視光を向けるように配置された1又は2以上の光スキャナを含むことを特徴とする請求項1に記載のシステム。   The image capture module of claim 1, wherein each image capture module includes one or more light scanners positioned to direct invisible light onto a curved screen positioned in front of the user's face. System. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に可視光を向ける1又は2以上の光スキャナを含むことを特徴とする請求項1に記載のシステム。   The system of claim 1, wherein each image capture module includes one or more light scanners that direct visible light onto a curved screen positioned in front of the user's face. 前記湾曲スクリーンから反射された可視光を検出し、前記2又は3以上の画像捕捉モジュールのうちの1又は2以上に含まれる1又は2以上の他のセンサを更に含むことを特徴とする請求項1に記載のシステム。   The apparatus of claim 2, further comprising one or more other sensors for detecting visible light reflected from the curved screen and included in one or more of the two or more image capture modules. 2. The system according to 1. 前記湾曲スクリーンは、再帰反射性であることを特徴とする請求項1に記載のシステム。   The system of claim 1, wherein the curved screen is retroreflective. 前記クライアントコンピュータは、
前記ユーザの前記顔面が前記湾曲スクリーンの前の会話集中ゾーン内に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する段階と、
前記ユーザの前記顔面が前記湾曲スクリーンの前の前記会話集中ゾーンの外側に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する前記段階を休止する段階と、
を含む更に別のアクションを実行する、
ことを特徴とする請求項1に記載のシステム。
The client computer,
Providing the plurality of real-time overall views of the user's face to the server computer when the user's face is located within a conversational focus zone in front of the curved screen;
Pausing the step of providing the plurality of real-time panoramic views of the user's face to the server computer when the user's face is located outside the conversational focus zone in front of the curved screen. When,
Perform yet another action, including
The system of claim 1, wherein:
前記湾曲スクリーンは、凹面、楕円放物面、ドーナツ形、又は三連式のうちの1つである形状を更に含むことを特徴とする請求項1に記載のシステム。   The system of claim 1, wherein the curved screen further comprises a shape that is one of concave, elliptical paraboloid, donut, or triple. ユーザのビデオ画像を捕捉するためのヘッドマウント投影表示装置であって、
ユーザの頭部の一部分の周りを包むようになったフレームと、
前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する1又は2以上のセンサを各々が含む2又は3以上の画像捕捉モジュールと、
前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータであって、該サーバコンピュータが、該複数の全体像視界に基づいて該ユーザの該顔面の実時間3次元ビデオ画像を発生させるのに使用され、該3次元ビデオ画像が、1又は2以上の遠隔に位置付けられたユーザに表示のために提供される前記クライアントコンピュータと、
を含むことを特徴とする装置。
A head-mounted projection display for capturing a video image of a user, comprising:
A frame adapted to wrap around a portion of the user's head;
One or more sensors positioned separately at opposite ends of the frame adjacent to the left and right eyes of the user and detecting invisible light reflected from the curved screen as it is positioned in front of the user's face; Two or more image capture modules each including:
A client coupled to the frame and arranged to capture the detected reflection of the invisible light used to provide a plurality of real-time panoramic views of the user's face to a server computer. A computer, wherein the server computer is used to generate a real-time three-dimensional video image of the user's face based on the plurality of perspective views, wherein the three-dimensional video image is one or more. Said client computer provided for display to a remotely located user of:
An apparatus comprising:
各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に非可視光を向けるように配置された1又は2以上の光スキャナを含むことを特徴とする請求項8に記載の装置。   9. The image capture module of claim 8, wherein each image capture module includes one or more light scanners positioned to direct invisible light onto a curved screen positioned in front of the user's face. Equipment. 各画像捕捉モジュールが、前記ユーザの顔面の前に位置付けられた湾曲スクリーンの上に可視光を向ける1又は2以上の光スキャナを含むことを特徴とする請求項8に記載の装置。   The apparatus of claim 8, wherein each image capture module includes one or more light scanners that direct visible light onto a curved screen positioned in front of the user's face. 前記湾曲スクリーンから反射された可視光を検出し、前記2又は3以上の画像捕捉モジュールのうちの1又は2以上に含まれる1又は2以上の他のセンサを更に含むことを特徴とする請求項8に記載の装置。   The apparatus of claim 2, further comprising one or more other sensors for detecting visible light reflected from the curved screen and included in one or more of the two or more image capture modules. An apparatus according to claim 8. 前記湾曲スクリーンは、再帰反射性であることを特徴とする請求項8に記載の装置。   The apparatus of claim 8, wherein the curved screen is retroreflective. 前記クライアントコンピュータは、
前記ユーザの前記顔面が前記湾曲スクリーンの前の会話集中ゾーン内に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する段階と、
前記ユーザの前記顔面が前記湾曲スクリーンの前の前記会話集中ゾーンの外側に位置する時に、該ユーザの該顔面の前記複数の実時間全体像視界を前記サーバコンピュータに提供する前記段階を休止する段階と、
を含む更に別のアクションを実行する、
ことを特徴とする請求項8に記載の装置。
The client computer,
Providing the plurality of real-time panoramic views of the user's face to the server computer when the user's face is located in a conversational focus zone in front of the curved screen;
Pausing the step of providing the plurality of real-time global views of the user's face to the server computer when the user's face is located outside the conversational focus zone in front of the curved screen. When,
Perform yet another action, including
9. The device according to claim 8, wherein:
前記湾曲スクリーンは、凹面、楕円放物面、ドーナツ形、又は三連式のうちの1つである形状を更に含むことを特徴とする請求項8に記載の装置。   The apparatus of claim 8, wherein the curved screen further comprises a shape that is one of concave, elliptical paraboloid, donut, or triple. ユーザのビデオ画像を捕捉する方法であって、
ユーザの頭部の一部分の周りを包むようになったフレーム、及び
前記ユーザの左目及び右目に隣接する前記フレームの両端に別々に位置付けられ、湾曲スクリーンからそれが該ユーザの顔面の前に位置する時に反射される非可視光を検出する1又は2以上のセンサを各々が含む2又は3以上の画像捕捉モジュール、
を含むヘッドマウント投影表示装置を使用して前記ビデオ画像を捕捉する段階と、
前記フレームに結合され、かつ前記ユーザの前記顔面の複数の実時間全体像視界をサーバコンピュータに提供するのに使用される前記非可視光の前記検出された反射を捕捉するように配置されたクライアントコンピュータを使用する段階と、
前記サーバコンピュータを使用して前記複数の全体像視界に基づいて前記ユーザの前記顔面の実時間3次元ビデオ画像を発生させる段階であって、該3次元ビデオ画像が、1又は2以上の遠隔に位置付けられたユーザに表示のために提供される前記発生させる段階と、
を含むことを特徴とする方法。
A method for capturing a video image of a user, the method comprising:
A frame adapted to wrap around a portion of the user's head; and separately positioned at opposite ends of the frame adjacent to the user's left and right eyes, when a curved screen is positioned in front of the user's face. Two or more image capture modules each including one or more sensors for detecting reflected invisible light;
Capturing the video image using a head mounted projection display device comprising:
A client coupled to the frame and arranged to capture the detected reflection of the non-visible light used to provide a plurality of real-time panoramic views of the face of the user to a server computer. Using a computer,
Generating a real-time three-dimensional video image of the user's face based on the plurality of perspective views using the server computer, wherein the three-dimensional video image comprises one or more remote Said generating step provided for display to a located user;
A method comprising:
JP2018537819A 2016-02-23 2017-01-23 Holographic video capture and telepresence system Active JP6855493B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662389372P 2016-02-23 2016-02-23
US62/389,372 2016-02-23
US15/411,959 2017-01-20
US15/411,959 US9813673B2 (en) 2016-01-20 2017-01-20 Holographic video capture and telepresence system
PCT/US2017/014616 WO2017127832A1 (en) 2016-01-20 2017-01-23 Holographic video capture and telepresence system

Publications (3)

Publication Number Publication Date
JP2019513310A JP2019513310A (en) 2019-05-23
JP2019513310A5 true JP2019513310A5 (en) 2020-02-20
JP6855493B2 JP6855493B2 (en) 2021-04-07

Family

ID=66628256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537819A Active JP6855493B2 (en) 2016-02-23 2017-01-23 Holographic video capture and telepresence system

Country Status (1)

Country Link
JP (1) JP6855493B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134514B (en) * 2021-03-29 2024-05-14 北京小米移动软件有限公司 Image acquisition method, device and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6543899B2 (en) * 2000-12-05 2003-04-08 Eastman Kodak Company Auto-stereoscopic viewing system using mounted projection
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
EP1368705B1 (en) * 2001-02-16 2015-01-28 Imatte, Inc. Interactive teleconferencing display system
JP4438343B2 (en) * 2003-07-17 2010-03-24 ソニー株式会社 Imaging display device and video conference system
KR20090038843A (en) * 2008-11-25 2009-04-21 스비아토슬라브 이바노비치 아르세니치 A stereo projection system

Similar Documents

Publication Publication Date Title
US10341611B2 (en) System and method for video conferencing
US9791924B2 (en) Eye tracking with mobile device in a head-mounted display
US10691934B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
JP6860488B2 (en) Mixed reality system
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
WO2014197109A3 (en) Infrared video display eyewear
JP2017516140A5 (en)
JP2016521480A5 (en) Wearable display device
TWI610571B (en) Display method, system and computer-readable recording medium thereof
CA3019786A1 (en) Three-dimensional, 360-degree virtual reality camera system
NZ736758A (en) Privacy-sensitive consumer cameras coupled to augmented reality systems
WO2019041795A1 (en) Dynamic object projection display system and method thereof
JP2016541008A5 (en)
US20150304530A1 (en) Automatic scanner and method for 3d digitisation of a human peripheral cephalic portion
CN106325511A (en) Virtual reality realizing system
WO2016154026A3 (en) Retroreflective light field display
TWI687720B (en) Head mounted display apparatus, augmented reality system and contorl method for augmented reality
TW201921028A (en) Video display system, video display method, and video display program
CN109963136B (en) Working method and device of light depth camera with smart phone structure
JP2017175579A5 (en)
TW201622406A (en) System and method for automatically keeping images displayed stabilizer on a display screen
JP2019513310A5 (en)
TWI415028B (en) A method and apparatus for instantiating a 3D display hairstyle using photography
JP2017046233A5 (en)
EP3229073A1 (en) Three-dimensional, 360-degree virtual reality camera system