JP2019533324A - 3dテレプレゼンスシステム - Google Patents
3dテレプレゼンスシステム Download PDFInfo
- Publication number
- JP2019533324A JP2019533324A JP2019505022A JP2019505022A JP2019533324A JP 2019533324 A JP2019533324 A JP 2019533324A JP 2019505022 A JP2019505022 A JP 2019505022A JP 2019505022 A JP2019505022 A JP 2019505022A JP 2019533324 A JP2019533324 A JP 2019533324A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- infrared
- remote
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 3
- 238000002366 time-of-flight method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
- G02F1/291—Two-dimensional analogue deflection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4113—PC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本願は、2016年9月9日に出願され、「3Dテレプレゼンスシステム」と題された米国特許仮出願第62/385685号の優先権を主張し、当該出願の全ての内容は、参照により本明細書に組み込まれる。
テレビ会議システムなどの会議システムは、様々な環境に使用され、参加者が同一の場所にいる必要がなく、仮想会議を行う可能性を与える。テレビ会議システムは、例えば、ディスプレイ、通信リンク、スピーカおよびマイクロホンを備えるため、参加者は、リモート参加者を見ることができ、リモート参加者と通信することができる。参加者が話す相手を見ることができるため、テレビ会議システムは、書面または口頭による通信よりも、議論されている話題をより良く理解することができる。また、テレビ会議システムの場合、全ての参加者が同一の場所にいる必要がないため、会議の予定をより簡単に行うことができる。さらに、テレビ会議システムの場合、移動する必要がないため、資源(例えば、時間および金銭)の浪費を減らすことができる。従来のテレビ会議システムは、通常、通信システム(例えば、電話、VoIPシステムなど)、標準のビデオモニタ(例えば、CRTディスプレイ、プラズマディスプレイ、HDディスプレイ、LEDディスプレイ、またはLCDディスプレイ)、カメラ、マイクロホン、およびスピーカを含む。
以下の本開示の実施形態は、テレビ会議システムおよびテレプレゼンスシステムに関する。少なくともいくつかの実装形態は、ヘッドマウントディスプレイ、ヘッドフォン、および/または他の任意種類の物理的な部材を使用しない3Dテレプレゼンスを提供する。
従来のテレビ会議システムは、(例えば、ビデオを有しない)リモート会議よりも対面会議に近い体験を提供するが、「実在の」会議体験を損なう制限を有する。例えば、伝統的なテレビ会議のディスプレイは、2D画像を提示し、実在の深度を表現する能力が限られている。その結果、テレビ会議の参加者は、他の参加者との共存感を有しない。さらに、従来のテレビ会議システムのカメラの配置によって、参加者は、直接なアイコンタクトを取ることができない。すなわち、各参加者が各々のディスプレイを直視しているが、カメラは、ディスプレイを通って参加者の画像を取得していない。一部のテレビ会議システムは、仮想現実に近いテレビ会議体験を提供するが、この場合、3D画像の表現を体験するために、参加者は、ヘッドマウントディスプレイ、ゴーグルまたは3Dメガネを着用する必要がある。
Claims (34)
- テレプレゼンス端末であって、
画素グリッドの前方に配置されたマイクロレンズアレイを含むディスプレイと、
画像センサと、
赤外線エミッタと、
赤外線深度センサと、
処理装置と、
命令を格納するメモリとを備え、これらの命令は、実行されると、前記処理装置に、
前記画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記赤外線エミッタによって出射され、前記赤外線深度センサによって捕捉された赤外線に基づいて、深度データを決定することと、
前記深度データおよび前記画像データをリモートテレプレゼンス端末に伝達することと、
リモートテレプレゼンス端末から送信されたリモート画像データおよびリモート深度データを受信することと、
前記リモート画像データに基づいて、前記画素グリッドの第1画素サブセットを用いて、第1視点から前記マイクロレンズアレイを通って見える第1表示画像を生成することと、
前記リモート画像データおよび前記リモート深度データに基づいて、前記画素グリッドの第2画素サブセットを用いて、第2視点から前記マイクロレンズアレイを通って見える第2表示画像を生成することとを含む動作を実行させる、テレプレゼンス端末。 - 前記第1表示画像および前記第2表示画像は、視差をシミュレートする差異を有するように、前記受信された深度データに基づいて生成される、請求項1に記載のテレプレゼンス端末。
- 前記命令は、前記テレプレゼンス端末のユーザの位置を決定することを含む動作をさらに前記処理装置に実行させる、請求項2に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末の前記ユーザの前記位置は、前記深度データに基づいて決定される、請求項3に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末の前記ユーザの前記位置は、前記画像データに基づいて決定される、請求項3に記載のテレプレゼンス端末。
- 前記第1表示画像および前記第2表示画像は、視差をシミュレートする差異を有するように、前記ユーザの前記決定された位置に基づいて生成される、請求項3に記載のテレプレゼンス端末。
- 前記命令は、前記リモート画像データおよび前記リモート深度データ並びに前記テレプレゼンス端末の前記ユーザの前記決定された位置を用いて、前記ディスプレイ上で3D立体画像を生成することを含む動作をさらに前記処理装置に実行させる、請求項3〜6のいずれか1項に記載のテレプレゼンス端末。
- 前記命令は、第1方向において、前記第1表示画像の第1部分を生成することと、第2方向において、前記第2表示画像の第2部分を生成することとを含む動作をさらに前記処理装置に実行させる、請求項1に記載のテレプレゼンス端末。
- 前記マイクロレンズアレイのマイクロレンズは、1つ以上の角度に光を出射しおよび/または1つ以上の異なる方向に異なる色の画素値を表示するように構成される、請求項8に記載のテレプレゼンス端末。
- 前記第1方向は、前記第1表示画像の一部を表示するように、複数の画素から第1画素を選択することによって決定され、
前記第2方向は、前記第2表示画像の一部を表示するように、前記複数の画素から第2画素を選択することによって決定される、請求項8または9に記載のテレプレゼンス端末。 - 前記命令は、前記赤外線エミッタによって出射された第1赤外線と、前記第1赤外線の出射光路に位置する物体によって反射され、前記赤外線深度センサによって捕捉された第2赤外線との間の位相オフセットを測定するためのタイムオブフライト法に基づいて、前記深度データを決定することを含む動作をさらに前記処理装置に実行させる、請求項1に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末は、
前記ディスプレイの第1側に配置された第1マイクロホンおよび前記ディスプレイの第2側に配置された第2マイクロホンを含むマイクロホンアセンブリと、
前記ディスプレイの前記第1側に配置された第1スピーカおよび前記ディスプレイの前記第2側に配置された第2スピーカを含むスピーカアセンブリとをさらに備え、
前記命令は、前記処理装置に、
前記マイクロホンアセンブリを用いて、指向性音声データを捕捉することと、
前記指向性音声データを前記リモート端末に伝達することと、
前記リモート端末からリモート指向性音声データを受信することと、
前記リモート指向性音声データに基づいて、前記スピーカアセンブリを用いて音声を出力することとを含む動作をさらに実行させる、請求項1に記載のテレプレゼンス端末。 - 前記マイクロホンアセンブリは、3つ以上のマイクロホンを含む、請求項12に記載のテレプレゼンス端末。
- 前記テレプレゼンス端末は、前記画像センサと前記赤外線エミッタと前記赤外線深度センサとを含む少なくとも1つのカメラユニットを含むカメラアセンブリを備える、請求項1に記載のテレプレゼンス端末。
- 前記カメラユニットは、前記ディスプレイの後方に配置され、
前記ディスプレイは、透明である、請求項14に記載のテレプレゼンス端末。 - 前記ディスプレイは、オフ状態と点灯状態との間で切替可能であり、
前記命令は、可視光および赤外線の捕捉を前記ディスプレイの前記オフ状態と同期させることを含む動作をさらに前記処理装置に実行させる、請求項15に記載のテレプレゼンス端末。 - 前記マイクロレンズアレイのマイクロレンズの少なくとも一部は、第1材料から作られ、前記マイクロレンズアレイの前記マイクロレンズの少なくとも一部は、第2材料から作られ、
前記第1材料は、実質的に電流に影響されない材料であり、前記第2材料は、実質的に電流に影響される材料であり、
前記第1材料および前記第2材料に電流を印加していないときに、前記第1材料と前記第2材料とは、異なる屈折率を有する、請求項16に記載のテレプレゼンス端末。 - 入射光を分割し、前記分割された入射光を前記画像センサおよび前記赤外線深度センサに伝送するビームスプリッタをさらに備える、請求項1に記載のテレプレゼンス端末。
- 請求項1に記載のテレプレゼンス端末と、前記リモートテレプレゼンス端末とを備えるテレプレゼンスシステム。
- 赤外線エミッタを用いて、第1赤外線を生成することと、
赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、取得された深度データを決定することと、
画像センサに捕捉よってされた可視光に基づいて、取得された画像データを決定することと、
前記取得された深度データおよび前記取得された画像データをリモート端末に伝達することと、
画素グリッドの第1サブセットを用いて、前記リモート端末から受信された画像データに基づいて、第1位置からマイクロレンズアレイを通って見える第1表示画像を生成することと、
画素グリッドの第2サブセットを用いて、前記リモート端末から受信された前記画像データおよび深度データに基づいて、第2位置からマイクロレンズアレイを通って見える第2表示画像を生成することとを含む、方法。 - 前記第2表示画像は、視差効果を形成するように、前記受信された深度データに基づいて、前記第1表示画像とは異なるように生成される、請求項20に記載の方法。
- 前記命令は、前記テレプレゼンス端末のユーザの位置を決定することを含む動作をさらに前記処理装置に実行させる、請求項20に記載の方法。
- 前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置に基づいて、前記第1表示画像とは異なるように生成される、請求項22に記載の方法。
- 前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成される、請求項23に記載の方法。
- マイクロホンアセンブリを用いて、指向性音声データを捕捉することと、
前記指向性音声データを前記リモート端末に伝達することと、
前記リモート端末からリモート指向性音声データを受信することと、
前記リモート指向性音声データに基づいて、スピーカアセンブリを用いて音声を出力することとをさらに含む、請求項20記載の方法。 - 赤外線深度センサを用いて、第2赤外線を受光することは、
前記マイクロレンズアレイおよび前記画素グリッドをオフにすることと、
前記マイクロレンズアレイおよび前記画素グリッドを通った前記第2赤外線を捕捉することと、
前記マイクロレンズアレイおよび前記画素グリッドをオンにすることとを含む、請求項20に記載の方法。 - 命令を格納する非一時的コンピュータ可読記憶媒体であって、これらの命令は、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに、少なくとも以下のこと、すなわち、
赤外線エミッタを用いて、第1赤外線を生成することと、
赤外線深度センサを用いて、第2赤外線を受光することと、
前記第1赤外線および前記第2赤外線に基づいて、深度データを決定することと、
画像センサによって捕捉された可視光に基づいて、画像データを決定することと、
前記深度データおよび前記画像データをリモートテレプレゼンス端末に送信することと、
レンチキュラディスプレイを用いて、前記リモート端末から受信された画像データに基づいて、第1位置から見える第1表示画像を生成することと、
レンチキュラディスプレイを用いて、前記リモート端末から受信された画像データおよび深度データに基づいて、第2位置から見える第2表示画像を生成することとを実行させるように構成される、非一時的コンピュータ可読記憶媒体。 - 前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成される、請求項27に記載の非一時的コンピュータ可読記憶媒体。
- 前記テレプレゼンス端末のユーザの位置を決定することを前記コンピューティングシステムに実行させる命令をさらに含む、請求項27に記載の非一時的コンピュータ可読記憶媒体。
- 前記第2表示画像は、視差効果を形成するように、前記ユーザの前記決定された位置および前記受信された深度データの組み合わせに基づいて、前記第1表示画像とは異なるように生成される、請求項29に記載の非一時的コンピュータ可読記憶媒体。
- 前記第2表示画像は、前記リモートテレプレゼンス端末のリモートユーザの肖像を前記ディスプレイ装置の後方のオフセット距離に表示させる視差効果を前記ユーザに形成するように、前記第1表示画像とは異なるように生成される、請求項29に記載の非一時的コンピュータ可読記憶媒体。
- 前記オフセット距離は、所定の深度サンプル間隔に基づいて決定される、請求項29に記載の非一時的コンピュータ可読記憶媒体。
- 前記深度データは、前記ディスプレイから前記ユーザまでの所定距離(L)、前記オフセット距離(O)、前記ディスプレイの幅(W)および前記ディスプレイの水平有効解像度(R)に基づいて計算された水平深度サンプル間隔(d)で収集される、請求項32に記載の非一時的コンピュータ可読記憶媒体。
- 前記水平深度サンプル間隔dは、d=(L+O)/L×W/Rとして計算される、請求項33に記載の非一時的コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021170889A JP7443314B2 (ja) | 2016-09-09 | 2021-10-19 | 3dテレプレゼンスシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662385685P | 2016-09-09 | 2016-09-09 | |
US62/385,685 | 2016-09-09 | ||
PCT/US2017/050739 WO2018049201A1 (en) | 2016-09-09 | 2017-09-08 | Three-dimensional telepresence system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021170889A Division JP7443314B2 (ja) | 2016-09-09 | 2021-10-19 | 3dテレプレゼンスシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019533324A true JP2019533324A (ja) | 2019-11-14 |
JP7001675B2 JP7001675B2 (ja) | 2022-01-19 |
Family
ID=59930787
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505022A Active JP7001675B2 (ja) | 2016-09-09 | 2017-09-08 | 3dテレプレゼンスシステム |
JP2021170889A Active JP7443314B2 (ja) | 2016-09-09 | 2021-10-19 | 3dテレプレゼンスシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021170889A Active JP7443314B2 (ja) | 2016-09-09 | 2021-10-19 | 3dテレプレゼンスシステム |
Country Status (7)
Country | Link |
---|---|
US (5) | US20180077430A1 (ja) |
EP (1) | EP3510768B1 (ja) |
JP (2) | JP7001675B2 (ja) |
KR (3) | KR102256707B1 (ja) |
CN (2) | CN112584080B (ja) |
DE (1) | DE202017105484U1 (ja) |
WO (1) | WO2018049201A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023513980A (ja) * | 2020-10-08 | 2023-04-05 | グーグル エルエルシー | 画面上の話者のフューショット合成 |
US12026833B2 (en) | 2020-10-28 | 2024-07-02 | Google Llc | Few-shot synthesis of talking heads |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD778941S1 (en) | 2016-01-08 | 2017-02-14 | Apple Inc. | Display screen or portion thereof with graphical user interface |
US20180077430A1 (en) | 2016-09-09 | 2018-03-15 | Barrie Hansen | Cloned Video Streaming |
GB201621879D0 (en) * | 2016-12-21 | 2017-02-01 | Branston Ltd | A crop monitoring system and method |
US10958951B2 (en) * | 2017-03-10 | 2021-03-23 | Sling Media Pvt. Ltd. | Media session management |
US11064226B2 (en) * | 2017-03-16 | 2021-07-13 | Echo-Sense, Inc. | System and method for concurrent data streams from a singular sensor with remotely selectable parameters |
US11140455B1 (en) * | 2017-06-09 | 2021-10-05 | Amazon Technologies, Inc. | Video encoder network sandboxing |
TWI665649B (zh) * | 2018-02-27 | 2019-07-11 | 鴻海精密工業股份有限公司 | 微型led陣列、顯示幕及電子裝置 |
US10785422B2 (en) * | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
WO2020030989A1 (en) * | 2018-08-09 | 2020-02-13 | Corephotonics Ltd. | Multi-cameras with shared camera apertures |
US10764533B2 (en) | 2018-11-09 | 2020-09-01 | Google Llc | Computerworkstation with curved lenticular display |
CN210093396U (zh) | 2019-01-17 | 2020-02-18 | 深圳市光鉴科技有限公司 | 用于屏下的3d摄像头模组及电子设备 |
WO2020210937A1 (en) * | 2019-04-15 | 2020-10-22 | Shanghai New York University | Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display |
US11516374B2 (en) * | 2019-06-05 | 2022-11-29 | Synaptics Incorporated | Under-display image sensor |
US11057549B2 (en) * | 2019-08-16 | 2021-07-06 | Lenovo (Singapore) Pte. Ltd. | Techniques for presenting video stream next to camera |
CN110850599A (zh) * | 2019-08-19 | 2020-02-28 | 上海鲲游光电科技有限公司 | 红外泛光照明组件 |
US11153513B2 (en) * | 2019-08-19 | 2021-10-19 | Synaptics Incorporated | Light source for camera |
EP4035409A1 (en) * | 2019-09-27 | 2022-08-03 | Apple Inc. | Method and device for operating a lenticular display |
US11076080B2 (en) | 2019-12-05 | 2021-07-27 | Synaptics Incorporated | Under-display image sensor for eye tracking |
US20210409893A1 (en) * | 2020-06-25 | 2021-12-30 | Microsoft Technology Licensing, Llc | Audio configuration for displayed features |
JP2023543443A (ja) * | 2020-09-18 | 2023-10-16 | イル ムン,ミョン | 3次元画像取得装置 |
US20230316810A1 (en) * | 2020-11-30 | 2023-10-05 | Google Llc | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems |
US11818637B2 (en) * | 2021-06-10 | 2023-11-14 | Getac Technology Corporation | Providing alternate communication proxies for media collection devices |
CN114567767B (zh) * | 2022-02-23 | 2024-06-18 | 京东方科技集团股份有限公司 | 显示装置、光场采集方法、图像数据传输方法及相关设备 |
CN114827465A (zh) * | 2022-04-19 | 2022-07-29 | 京东方科技集团股份有限公司 | 图像采集方法、装置及电子设备 |
IL296044B1 (en) * | 2022-08-29 | 2024-04-01 | Abu Freh Ismael | A system and method for streaming video in real time through virtual reality glasses using a network of cameras |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08505745A (ja) * | 1993-01-12 | 1996-06-18 | ベル コミュニケーションズ リサーチ インコーポレーテッド | 自己ステアリングマイクロフォンアレイを使用したテレビ会議のための音声ローカリゼーション |
JP2005303683A (ja) * | 2004-04-12 | 2005-10-27 | Sony Corp | 画像送受信装置 |
JP2010171573A (ja) * | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | 3次元画像表示・撮像装置、通信システム、および表示装置 |
CN101866056A (zh) * | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
JP2013009111A (ja) * | 2011-06-23 | 2013-01-10 | Oki Electric Ind Co Ltd | コミュニケーションシステム及びコミュニケーション装置 |
JP2013511075A (ja) * | 2009-11-17 | 2013-03-28 | エーテーハー チューリヒ | 透明裸眼立体画像表示装置及び方法 |
JP2013125985A (ja) * | 2011-12-13 | 2013-06-24 | Sharp Corp | 表示システム |
US20150097925A1 (en) * | 2013-10-04 | 2015-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for displaying hologram based on pupil tracking using hybrid camera |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1172267A (zh) * | 1996-07-29 | 1998-02-04 | 冯有纲 | 新型立体视觉图象技术及装置 |
US6208373B1 (en) * | 1999-08-02 | 2001-03-27 | Timothy Lo Fong | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users |
CN1197372C (zh) * | 1999-08-10 | 2005-04-13 | 彼得·麦克达菲·怀特 | 通信系统 |
CA2391410A1 (en) * | 1999-12-03 | 2001-06-07 | Ourworld Live, Inc. | Consumer access systems and methods for providing same |
GB2411735A (en) * | 2004-03-06 | 2005-09-07 | Sharp Kk | Control of liquid crystal alignment in an optical device |
US7535468B2 (en) * | 2004-06-21 | 2009-05-19 | Apple Inc. | Integrated sensing display |
JP5090337B2 (ja) * | 2005-04-08 | 2012-12-05 | リアルディー インコーポレイテッド | 平面パススルーを有する自動立体ディスプレイ |
WO2008132724A1 (en) * | 2007-04-26 | 2008-11-06 | Mantisvision Ltd. | A method and apparatus for three dimensional interaction with autosteroscopic displays |
US20090146915A1 (en) * | 2007-12-05 | 2009-06-11 | Marathe Madhav V | Multiple view display device |
CN101472133B (zh) * | 2007-12-28 | 2010-12-08 | 鸿富锦精密工业(深圳)有限公司 | 影像校正装置及影像校正方法 |
US9684380B2 (en) * | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US8570423B2 (en) * | 2009-01-28 | 2013-10-29 | Hewlett-Packard Development Company, L.P. | Systems for performing visual collaboration between remotely situated participants |
US8549571B2 (en) * | 2009-09-15 | 2013-10-01 | Envysion, Inc. | Video streaming method and system |
US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
KR101725044B1 (ko) * | 2010-05-27 | 2017-04-11 | 삼성전자주식회사 | 촬영이 가능한 디스플레이 장치 |
JP5494283B2 (ja) | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
US8576271B2 (en) * | 2010-06-25 | 2013-11-05 | Microsoft Corporation | Combining direct and routed communication in a video conference |
KR101280636B1 (ko) * | 2010-07-29 | 2013-07-01 | 주식회사 팬택 | 능동형 입체영상 디스플레이 장치 및 그의 구동 방법 |
US8624960B2 (en) * | 2010-07-30 | 2014-01-07 | Silicon Image, Inc. | Multi-view display system |
KR101732135B1 (ko) * | 2010-11-05 | 2017-05-11 | 삼성전자주식회사 | 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 |
US20120139906A1 (en) * | 2010-12-03 | 2012-06-07 | Qualcomm Incorporated | Hybrid reality for 3d human-machine interface |
US8823769B2 (en) * | 2011-01-05 | 2014-09-02 | Ricoh Company, Ltd. | Three-dimensional video conferencing system with eye contact |
EP2668640A4 (en) * | 2011-01-30 | 2014-10-29 | Nokia Corp | METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR THREE-DIMENSIONAL STEREO DISPLAY |
JP2012169822A (ja) | 2011-02-14 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
US20120223885A1 (en) * | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Immersive display experience |
US20120254933A1 (en) * | 2011-03-31 | 2012-10-04 | Hunt Electronic Co., Ltd. | Network video server and video control method thereof |
US20120257004A1 (en) * | 2011-04-05 | 2012-10-11 | Polycom, Inc. | Direct Eye-Contact Enhancing Videoconferencing Unit |
JP2013128181A (ja) | 2011-12-16 | 2013-06-27 | Fujitsu Ltd | 表示装置、表示方法および表示プログラム |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
US20140341285A1 (en) * | 2012-01-31 | 2014-11-20 | Sony Corporation | Image processing device and image processing method |
EP2837211B1 (en) * | 2012-04-13 | 2017-08-30 | Nokia Technologies Oy | Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input |
CA2869322C (en) * | 2012-04-20 | 2021-04-13 | Affirmation, Llc | Systems and methods for real-time conversion of video into three-dimensions |
US20130321564A1 (en) * | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
KR101350996B1 (ko) * | 2012-06-11 | 2014-01-13 | 재단법인 실감교류인체감응솔루션연구단 | 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 |
US20140063198A1 (en) * | 2012-08-30 | 2014-03-06 | Microsoft Corporation | Changing perspectives of a microscopic-image device based on a viewer' s perspective |
US8976224B2 (en) * | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
KR101977711B1 (ko) * | 2012-10-12 | 2019-05-13 | 삼성전자주식회사 | 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템 |
US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
BR112015014629A2 (pt) * | 2012-12-18 | 2020-09-15 | Eyesmatch Ltd | método para operar um sistema que possui um monitor, uma câmera e um processador |
US20140176684A1 (en) * | 2012-12-24 | 2014-06-26 | Alejandro Varela | Techniques for multiple viewer three-dimensional display |
US9307217B1 (en) * | 2013-06-12 | 2016-04-05 | Ambarella, Inc. | Portable video camera/recorder having video security feature |
JP6199619B2 (ja) * | 2013-06-13 | 2017-09-20 | 株式会社ニューフレアテクノロジー | 気相成長装置 |
KR20140147376A (ko) * | 2013-06-19 | 2014-12-30 | 삼성전자주식회사 | 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치 |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
CN104427049A (zh) * | 2013-08-30 | 2015-03-18 | 深圳富泰宏精密工业有限公司 | 便携式电子装置 |
US20150128174A1 (en) * | 2013-11-04 | 2015-05-07 | Broadcom Corporation | Selecting audio-video (av) streams associated with an event |
US20150235408A1 (en) * | 2014-02-14 | 2015-08-20 | Apple Inc. | Parallax Depth Rendering |
CN104866261B (zh) * | 2014-02-24 | 2018-08-10 | 联想(北京)有限公司 | 一种信息处理方法和装置 |
US9414100B2 (en) * | 2014-03-31 | 2016-08-09 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
US20150324646A1 (en) * | 2014-05-08 | 2015-11-12 | Brown University | Navigation methods and apparatus for the visually impaired |
WO2016025962A1 (en) * | 2014-08-15 | 2016-02-18 | The University Of Akron | Device and method for three-dimensional video communication |
KR102269318B1 (ko) * | 2014-09-15 | 2021-06-28 | 삼성디스플레이 주식회사 | 디스플레이 장치 및 이를 포함하는 디스플레이 시스템 |
US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
KR102396289B1 (ko) * | 2015-04-28 | 2022-05-10 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
JP6509027B2 (ja) * | 2015-05-12 | 2019-05-08 | キヤノン株式会社 | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム |
US9609275B2 (en) * | 2015-07-08 | 2017-03-28 | Google Inc. | Single-stream transmission method for multi-user video conferencing |
US20170070804A1 (en) * | 2015-09-03 | 2017-03-09 | Monster, Llc | Multifunction Wireless Adapter |
KR20170035608A (ko) * | 2015-09-23 | 2017-03-31 | 삼성전자주식회사 | 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체 |
US10203566B2 (en) * | 2015-12-21 | 2019-02-12 | Facebook Technologies, Llc | Enhanced spatial resolution using a segmented electrode array |
US20180077430A1 (en) | 2016-09-09 | 2018-03-15 | Barrie Hansen | Cloned Video Streaming |
-
2017
- 2017-02-15 US US15/433,984 patent/US20180077430A1/en not_active Abandoned
- 2017-02-15 US US15/434,003 patent/US20180077437A1/en not_active Abandoned
- 2017-09-08 KR KR1020207022334A patent/KR102256707B1/ko active IP Right Grant
- 2017-09-08 EP EP17771946.5A patent/EP3510768B1/en active Active
- 2017-09-08 US US15/699,651 patent/US10327014B2/en active Active
- 2017-09-08 KR KR1020197002996A patent/KR20190026804A/ko active Application Filing
- 2017-09-08 CN CN202011392706.9A patent/CN112584080B/zh active Active
- 2017-09-08 CN CN201780047564.2A patent/CN109565567B/zh active Active
- 2017-09-08 WO PCT/US2017/050739 patent/WO2018049201A1/en unknown
- 2017-09-08 KR KR1020207018261A patent/KR102142643B1/ko active IP Right Grant
- 2017-09-08 JP JP2019505022A patent/JP7001675B2/ja active Active
- 2017-09-11 DE DE202017105484.5U patent/DE202017105484U1/de active Active
-
2019
- 2019-06-17 US US16/443,481 patent/US10750210B2/en active Active
-
2020
- 2020-07-08 US US16/946,826 patent/US10880582B2/en active Active
-
2021
- 2021-10-19 JP JP2021170889A patent/JP7443314B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08505745A (ja) * | 1993-01-12 | 1996-06-18 | ベル コミュニケーションズ リサーチ インコーポレーテッド | 自己ステアリングマイクロフォンアレイを使用したテレビ会議のための音声ローカリゼーション |
JP2005303683A (ja) * | 2004-04-12 | 2005-10-27 | Sony Corp | 画像送受信装置 |
JP2010171573A (ja) * | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | 3次元画像表示・撮像装置、通信システム、および表示装置 |
JP2013511075A (ja) * | 2009-11-17 | 2013-03-28 | エーテーハー チューリヒ | 透明裸眼立体画像表示装置及び方法 |
CN101866056A (zh) * | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
JP2013009111A (ja) * | 2011-06-23 | 2013-01-10 | Oki Electric Ind Co Ltd | コミュニケーションシステム及びコミュニケーション装置 |
JP2013125985A (ja) * | 2011-12-13 | 2013-06-24 | Sharp Corp | 表示システム |
US20150097925A1 (en) * | 2013-10-04 | 2015-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for displaying hologram based on pupil tracking using hybrid camera |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023513980A (ja) * | 2020-10-08 | 2023-04-05 | グーグル エルエルシー | 画面上の話者のフューショット合成 |
JP7386888B2 (ja) | 2020-10-08 | 2023-11-27 | グーグル エルエルシー | 画面上の話者のフューショット合成 |
US12026833B2 (en) | 2020-10-28 | 2024-07-02 | Google Llc | Few-shot synthesis of talking heads |
Also Published As
Publication number | Publication date |
---|---|
KR102142643B1 (ko) | 2020-08-07 |
KR102256707B1 (ko) | 2021-05-26 |
US20180077384A1 (en) | 2018-03-15 |
WO2018049201A1 (en) | 2018-03-15 |
CN112584080B (zh) | 2023-10-24 |
US10327014B2 (en) | 2019-06-18 |
US20190306541A1 (en) | 2019-10-03 |
DE202017105484U1 (de) | 2018-01-09 |
EP3510768A1 (en) | 2019-07-17 |
US20180077437A1 (en) | 2018-03-15 |
CN112584080A (zh) | 2021-03-30 |
US20180077430A1 (en) | 2018-03-15 |
US20200344500A1 (en) | 2020-10-29 |
JP7443314B2 (ja) | 2024-03-05 |
KR20200078703A (ko) | 2020-07-01 |
CN109565567B (zh) | 2020-12-08 |
US10750210B2 (en) | 2020-08-18 |
KR20190026804A (ko) | 2019-03-13 |
CN109565567A (zh) | 2019-04-02 |
KR20200096322A (ko) | 2020-08-11 |
JP2022009242A (ja) | 2022-01-14 |
EP3510768B1 (en) | 2023-05-24 |
JP7001675B2 (ja) | 2022-01-19 |
US10880582B2 (en) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443314B2 (ja) | 3dテレプレゼンスシステム | |
US10535181B2 (en) | Virtual viewpoint for a participant in an online communication | |
EP2383995B1 (en) | Display system, method and computer program for capturing images using multiple integrated image sensors | |
JP6285941B2 (ja) | 制御された三次元通信エンドポイント | |
Gotsch et al. | TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence. | |
US20130120521A1 (en) | Systems for Facilitating Virtual presence | |
US9641800B2 (en) | Method and apparatus to present three-dimensional video on a two-dimensional display driven by user interaction | |
ES2902979T3 (es) | Experiencias de entretenimiento aumentadas estratificadas | |
JP2023543975A (ja) | 画像パン、チルト、及びズーム機能を提供するためのマルチセンサカメラシステム、デバイス、及び方法 | |
US20190306456A1 (en) | Window system based on video communication | |
US20190306461A1 (en) | Video communication device and method for video communication | |
Plüss et al. | An immersive bidirectional system for life-size 3d communication | |
US10972699B2 (en) | Video communication device and method for video communication | |
US20190306457A1 (en) | Video communication device and method for video communication | |
US20200252585A1 (en) | Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras | |
JP6855493B2 (ja) | ホログラフィックビデオキャプチャー及びテレプレゼンスシステム | |
US20190306460A1 (en) | Video communication device and method for video communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191003 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211019 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211019 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211028 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7001675 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |