CN109565567B - 三维遥现终端及方法 - Google Patents

三维遥现终端及方法 Download PDF

Info

Publication number
CN109565567B
CN109565567B CN201780047564.2A CN201780047564A CN109565567B CN 109565567 B CN109565567 B CN 109565567B CN 201780047564 A CN201780047564 A CN 201780047564A CN 109565567 B CN109565567 B CN 109565567B
Authority
CN
China
Prior art keywords
display
remote
terminal
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780047564.2A
Other languages
English (en)
Other versions
CN109565567A (zh
Inventor
丹尼尔·戈德曼
杰森·劳伦斯
安德鲁·胡伊博斯
安德鲁·伊安·拉塞尔
史蒂文·M·塞茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202011392706.9A priority Critical patent/CN112584080B/zh
Publication of CN109565567A publication Critical patent/CN109565567A/zh
Application granted granted Critical
Publication of CN109565567B publication Critical patent/CN109565567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/291—Two-dimensional analogue deflection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4113—PC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种示例遥现终端包括透镜显示器、图像传感器、红外发射器和红外深度传感器。所述终端可以使用由红外发射器发射并由图像传感器捕获的可见光来确定图像数据，并且使用由红外深度传感器捕获的红外光来确定深度数据。所述终端还可以将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据。所述终端还可以基于能够从第一观看位置观看的远程图像数据使用透镜显示器生成第一显示图像，并且基于能够从第二观看位置看到的远程图像数据和远程深度数据使用透镜显示器生成第二显示图像。

Description

三维遥现终端及方法
相关申请的交叉引用
本申请要求在2016年9月9日提交的名称为 THREE-DIMENSIONAL TELEPRESENCESYSTEM(三维遥现系统) 的美国临时申请No.62/385,685的优先权，其全部内容通过引用合并于此。
背景技术
诸如视频会议系统之类的会议系统被用于各种设置中，以便为参与者提供进行虚拟会议而无需共处的机会。例如，视频会议系统可以提供显示器、通信链路、扬声器和麦克风，它们允许参与者查看远程参与者并与之通信。因为参与者可以在他们说话时看到彼此，所以视频会议系统可以提供比单独的书面或口头交流更好的对于所讨论的主题的理解。这样的视频会议系统还可以提供更容易的会议安排，因为并非所有参与者都需要共处。此外，视频会议系统可以通过消除旅行的需要来减少资源(例如，时间和金钱)浪费。传统的视频会议系统通常包括通信系统(例如，电话或VoIP系统等)、标准视频监视器(例如，CRT、等离子、HD、LED或LCD显示器)、相机、麦克风和扬声器。
发明内容
以下公开的实施方式涉及视频会议和遥现系统。至少一些实施方式提供三维遥现，而不使用头戴式显示器、耳机和/或任何其他类型的物理累赘。
在一个方面，一种遥现终端包括显示器，该显示器具有设置在像素网格前面的微透镜阵列。所述终端还可以包括图像传感器、红外发射器和红外深度传感器。所述终端还可以包括处理设备和存储指令的存储器。所述指令在被执行时可以使处理设备执行操作，所述操作包括：基于由图像传感器捕获的可见光确定图像数据，并且基于由红外发射器发出并由红外深度传感器捕获的红外光确定深度数据。所述操作还可以包括将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据，所述远程图像数据和远程深度数据源自远程的遥现终端。所述操作还可以包括：使用可从第一观看位置通过微透镜阵列观看的像素网格的第一像素子集基于远程图像数据生成第一显示图像；并且，使用可从第二观看位置通过微透镜阵列观看的像素网格的第二像素子集基于远程图像数据和远程深度数据生成第二显示图像。
在一些实施方式中，可以生成第一显示图像和第二显示图像以具有基于所接收的深度数据来模拟视差的差异。在这方面，所述指令还可以使处理设备执行包括确定遥现终端的用户的位置的操作。可以例如基于深度数据和/或基于图像数据来确定遥现终端的用户的位置。例如，可以生成第一显示图像和第二显示图像以具有基于所确定的用户位置来模拟视差的差异。
在一些实施方式中，所述指令还可以使处理设备执行操作，所述操作包括：使用远程图像数据和远程深度数据以及遥现终端的用户的确定的位置在显示器上生成三维立体图像。
在可以与上述实施方式组合的一些实施方式中，所述指令还可以使处理设备执行包括在第一方向上生成第一显示图像的第一部分并且在第二方向上生成第二显示图像的第二部分的操作。例如，微透镜阵列中的微透镜可以被配置为跨一个或多个角度发出光和/或在一个或多个不同方向上显示不同的像素值。可以基于第一位置确定第一方向，并且可以基于第二位置确定第二方向。
在一些实施方式中，所述指令还可以使处理设备执行包括基于飞行时间方法确定深度数据的操作，该飞行时间方法测量在由红外发射器发出的第一红外光和在所发出的第一红外光的路径中的对象反射并由红外深度传感器捕获的第二红外光之间的相位偏移。
在一些实施方式中，遥现终端还可包括麦克风组件，该麦克风组件包括位于显示器的第一侧上的第一麦克风和位于显示器的第二侧上的第二麦克风；扬声器组件，其包括位于显示器第一侧的第一扬声器和位于显示器第二侧的第二扬声器。在这样的实施方式中，所述指令还可以使处理设备执行包括下述步骤的操作：使用麦克风组件捕获定向音频数据；将定向音频数据传送到远程终端；从远程终端接收远程定向音频数据；并基于远程定向音频数据使用扬声器组件输出音频。
所述遥现终端可以包括相机组件，该相机组件包括至少一个相机单元，该相机单元包括图像传感器、红外发射器和红外深度传感器。当显示器是透明的时，至少一个相机单元可以位于显示器后面。在透明显示器的情况下，显示器可以在关闭状态和照明状态之间切换，其中，所述指令还使处理设备执行包括使可见光和红外光的捕获与显示器的关闭状态同步的操作。在这样的实施方式中，微透镜阵列中的微透镜可以由第一材料和第二材料制成，其中，第一材料是实质上不受电流影响的材料，而第二材料是实质上受电流影响的材料，并且其中，当没有电流施加到第一和第二材料时，第一材料和第二材料具有不同的折射率。
在一些实施方式中，遥现终端可以包括分束器，其分离入射光并将其发送到图像传感器和红外深度传感器。因此，分束器可以分离入射光，使得图像传感器和红外深度传感器接收相同的光。
在另一方面，一种方法包括使用红外发射器生成第一红外光。该方法还包括使用红外深度传感器接收第二红外光。第二红外光可以由发射的第一红外光的反射引起。该方法还可以包括：基于第一红外光和第二红外光确定捕获的深度数据，并基于由图像传感器捕获的可见光确定捕获的图像数据。该方法还可以包括将捕获的深度数据和捕获的图像数据传达到远程终端。该方法还可以包括：使用像素网格的第一子集，基于源自远程终端的接收的图像数据生成第一显示图像，可从第一位置通过微透镜阵列观看第一显示图像；并使用像素网格的第二子集，基于源自远程终端的接收的图像数据和接收的深度数据生成第二显示图像，可从第二位置通过微透镜阵列观看第二显示图像。
在另一方面，一种非暂时性计算机可读存储介质包括存储在其上的指令，所述指令当由至少一个处理器执行时，被配置为使计算系统至少使用红外发射器生成第一红外光；使用红外深度传感器接收第二红外光；基于第一红外光和第二红外光确定深度数据；基于图像传感器捕获的可见光确定图像数据；将深度数据和图像数据传达到远程的遥现终端；使用透镜显示器基于源自远程终端的接收的图像数据生成第一显示图像，可从第一位置观看第一显示图像；并使用透镜显示器基于源自远程终端的接收的图像数据和接收的深度数据生成第二显示图像，可从第二位置观看第二显示图像。接收的深度数据可以源自远程终端。
该方面的其他实施方式包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机系统、装置和计算机程序被配置为执行上述方法的操作。
在一个方面，遥现系统中的本地终端包括显示器。所述显示器包括在像素网格前面的微透镜阵列。所述本地终端还包括一个或多个相机单元。所述相机单元可包括镜头、图像传感器、红外发射器和红外深度传感器。所述本地终端还包括处理设备和存储指令的存储器，所述指令在被执行时使处理设备执行操作。所述操作可以包括：基于由本地终端处的图像传感器捕获的可见光来确定本地图像数据；以及，基于由本地终端处的红外深度传感器捕获的红外光来确定本地深度数据。所述本地深度数据可以基于观看者相对于本地终端的位置。所述操作还可以包括将本地深度数据和本地图像数据传达到远程视频会议终端。所述操作还可以包括：基于远程图像数据和本地位置数据(例如，本地深度数据)，通过微透镜阵列中的微透镜在第一方向上生成第一图像的第一部分。所述位置数据可以称为位置定位数据。远程图像数据可以源自远程视频会议终端并且可以基于远程深度数据。所述操作还可以包括：基于远程图像数据和本地位置数据，通过微透镜阵列中的微透镜在第二方向上生成第二图像。本地位置数据可以源自本地视频会议终端。第一和第二方向可以根据本地位置数据而不同。例如，第一方向可以是可从第一位置(例如，用户的第一只眼睛)观看的方向，第二方向可以是可从第二位置(例如，用户的第二只眼睛) 观看的方向。在一些实施方式中，终端可以包括多个相机单元，每个相机单元可以包括一个或多个镜头。在一些实施方式中，可在微透镜阵列中的每一微透镜上生成一个或多个图像的部分。在一些实施方式中，可通过从多个像素中选择用于显示第一图像的一部分的第一像素来确定第一方向，并且可通过从多个像素中选择用于显示第二图像的一部分的第二像素来确定第二方向。
在该方面的一些实施方式中，本地位置数据包括与本地终端的用户相对应的位置数据。在一些实施方式中，位置数据可以包括深度数据。
该方面的其他实施方式包括被配置为根据存储在视频会议系统的存储器中的指令来执行处理设备的操作的相应方法。
在另一方面，一种用于提供三维遥现的方法包括：使用红外发射器生成第一红外光，并使用红外深度传感器接收第二红外光。可以基于第一红外光和第二红外光确定捕获的深度数据，并且可以基于由图像传感器捕获的可见光来确定捕获的图像数据。捕获的深度数据和捕获的图像数据可以被传达到远程视频会议终端。基于源自远程视频会议终端的接收的图像数据，通过本地终端的微透镜阵列中的微透镜在第一方向上生成第一图像，并且基于源自远程视频会议终端的接收的图像数据，并基于与本地终端的用户相对应的位置数据，通过本地终端的微透镜阵列中的微透镜生成第二图像。第一图像和第二图像根据位置数据而不同。
在该方面的一些实施方式中，通过微透镜阵列中的微透镜生成第一图像和/或第二图像还基于与其图像被图像传感器捕获的用户相对应的位置数据。
在附图和以下描述中阐述了一个或多个实施方式的细节。根据说明书和附图以及权利要求，其他特征将是显而易见的。
附图说明
图1示出了与所公开的实施方式一致的示例视频会议系统。
图2示出了与所公开的实施方式一致的示例视频会议系统。
图3A和3B示出了与所公开的实施方式一致的视频会议终端的示例。
图4示出了与所公开的实施方式一致的示例相机单元。
图5示出了与所公开的实施方式一致的用于在视频会议终端上生成三维图像的过程的流程图。
图6示出了可用于实现与所公开的实施方式一致的技术的示例计算机设备。
图7A至7G是根据实施方式的深度和投影示例。
图8是根据实施方式的三维遥现系统的示意图。
各附图中的相同参考符号表示相同元件。
具体实施方式
虽然传统的视频会议系统提供比电话会议(例如，没有视频)更接近面对面会议的体验，但传统的视频会议系统具有减损“现实生活”会议体验的限制。例如，传统视频会议中的显示器以二维呈现图像并且具有有限的呈现真实深度的能力。结果，视频会议的参与者没有与其他参与者共存的感觉。另外，以使得参与者不能直接进行眼神接触的方式设置传统视频会议系统中的相机——每个参与者可以直接看他们的显示器，而相机不通过显示器捕获参与者图像。虽然一些视频会议系统为视频会议提供类似虚拟现实的体验，但是这种视频会议系统要求参与者佩戴头戴式显示器、护目镜或3D眼镜以体验三维图像的呈现。
因此，这里公开的实施方式涉及三维遥现系统，其提供比传统视频会议系统更真实的面对面体验，而不使用头戴式显示器和3D眼镜。视频会议和图像会议系统是遥现系统的一些示例。与所公开的实施方式一致，三维遥现系统可包括无眼镜的透镜状三维显示器，其包括微透镜阵列中的多个微透镜。根据一些实施方式，微透镜阵列可包括多个微透镜组(或子阵列)，多个组(或子阵列)中的每一个包括若干微透镜，每个微透镜配置成跨一个或多个角度发出光和/或每个可以被配置为在一个或多个不同方向上显示不同颜色的像素值(例如，RGB 像素值)。微透镜组/子阵列的使用可以包括在显示器中以显示不同视角的不同图像(即，可以从不同的观看位置观看)。在三维遥现系统的一些实施方式中，多个微透镜组中的每一个包括至少两个微透镜，并且可以通过下述方式来产生三维图像：经由所述至少一个微透镜沿第一方向投影第一图像的一部分(例如，第一像素)，并且通过所述至少一个其他微透镜沿第二方向投射第二图像的一部分(例如，第二像素)。第二图像可以类似于第一图像，但是第二图像可以被移位以模拟视差，从而为观看者创建三维立体图像。
这里公开的三维遥现系统还可以包括具有一个或多个相机单元的相机组件。每个相机单元可包括：用于捕获可见光(例如，颜色)的图像传感器；红外发射器；以及，用于捕获源自红外发射器并被观察者和观察者周围的对象反射的红外光的红外深度传感器。在一些实施方式中，相机单元的一个或多个组件(例如，图像传感器、红外发射器和红外深度传感器)可以不定位在一起。在一些实施方式中，三维遥现系统的第一终端可以使用捕获的可见光和捕获的红外光的组合来生成第一终端图像数据和第一终端深度数据，其被传达到三维遥现系统的第二终端。在一些实施方式中，三维遥现系统的第一终端可以从三维遥现系统的第二终端接收第二终端图像数据和第二终端深度数据，并使用第二终端图像数据和第二终端深度数据以及与用户相对于第一终端的位置有关的位置数据(例如，基于第一终端深度数据确定)，以在第一终端的显示器上生成三维立体图像。
图1中示出了三维遥现系统100的一个示例实施方式。两个用户 105a和105b可以使用三维遥现系统100远程但仍然面对面进行通信。第一用户105a位于远离第二用户105b的位置。第二用户105b在显示器125上看到第一用户105a的三维图形图像。在一些实施方式中，显示器125与第二用户105b相距一定距离并且具有适当大小以模拟第一用户105a和第二用户105b的共存。例如，显示器125可以位于桌子上距离第二用户105b的1米处，并且显示器125可以是1米的显示器。相机组件180可被配置为捕获可由三维遥现系统100(例如，由第二用户105b使用的终端)使用的可见光和红外光，以在第一用户105a可以看到的显示器(图1中未示出)上显示第二用户105b的三维立体图像。在一些实施方式中，一个或多个麦克风和/或扬声器(例如，扬声器阵列)可包含在系统100中。在此类系统100中，麦克风和/或扬声器可用于模拟空间音频(例如，根据原点的位置在空间上产生声音)。
图2以框图形式示出了用于在两个用户之间进行三维视频会议的三维遥现系统100。在图2所示的实施方式中，对应于各个用户(例如，第一参与者和第二参与者)的每个终端120可以使用网络190进行通信。
图2中所示的三维遥现系统100可以是计算机化的，其中，每个所示组件包括计算设备或计算设备的一部分，其被配置为经由网络190 与其他计算设备通信。例如，每个终端120可以包括一个或多个计算设备，例如，台式、笔记本或手持计算设备，其被配置为经由网络190 向其他计算设备传送数据/从其他计算设备接收数据。在一些实施方式中，每个终端120可以是专用电话会议设备，其中，终端120的每个组件被置于同一住房内。在一些实施方式中，可以由管理会议建立、取消和/或调度的一个或多个服务器或计算集群(未示出)来促进每个终端120之间的通信。在诸如图2中所示的实施方式的一些实施方式中，终端120可以使用点对点通信协议进行通信。
在图2中所示的实施方式中，终端120可以由视频会议中的参与者使用。在一些实施方式中，参与者使用相同的终端。例如，每个参与者可以使用具有相同配置或规格的相同型号的终端120，或者以类似方式配置的终端120以促进视频会议期间的通信。在一些实施方式中，参与者使用的终端可以不同，但是每个终端被配置为发送和接收图像和深度数据并且在不使用头戴式显示器或三维眼镜的情况下生成三维立体图像。为了便于讨论，图2的实施方式包括呈现了三维遥现系统 100两端的相同终端120。
在一些实施方式中，终端120包括显示器125。在一些实施方式中，显示器125可包含无眼镜的透镜三维显示器。显示器125可包括微透镜阵列，其包括多个微透镜。在一些实施方式中，微透镜阵列的微透镜可用于生成可从第一位置观看的第一显示图像和可从第二位置观看的第二显示图像。可以由显示器125通过下述方式产生立体三维图像：在像素网格的一部分上呈现第一显示图像以便从与用户的第一只眼睛的位置对应的第一位置通过微透镜阵列观看，并且在像素网格的一部分上呈现第二显示图像，以便从对应于用户的第二只眼睛的位置的第二位置通过微透镜阵列观看，使得第二显示图像表示相对于第一显示图像的深度偏移以模拟视差。例如，像素网格可以显示意图通过参与者的左眼通过微透镜阵列看到的第一显示图像，并且像素网格可以显示意图通过参与者的右眼通过微透镜阵列看到的第二显示图像。第一和第二位置可以基于观看者相对于显示器的位置(例如，横向/垂直位置、位置、深度、左眼或右眼的位置)。在一些实施方式中，可通过从与微透镜阵列相关联的像素阵列中选择某些像素来确定用于生成第一和第二显示图像的第一和第二方向。
在一些实施方式中，微透镜阵列可包括多个微透镜对，微透镜对包括两个微透镜，且显示器125可使用至少两个微透镜来显示图像。在一些实施方式中，处理设备130可以选择出射光线集合，通过该出射光线可以通过微透镜观看图像，以基于与参与者相对于显示器125 的位置相对应的位置信息来显示左眼图像和右眼图像(该位置可以由与所公开的实施方式一致的相机组件180捕获)。在一些实施方式中，多个微透镜中的每一个可以覆盖(例如，可以布置在或与关联于)一些像素，使得从显示器125前面的一些有限的方向子集可见每个像素。如果已知观察者位置，则可以识别从一只眼睛可见的每个透镜下的像素子集(在整个显示器125上)和从另一只眼睛可见的显示器125上的像素子集。通过为每个像素选择对应于将从用户的眼睛位置看到的虚拟视图的适当的呈现图像，每只眼睛可以观看正确的图像。
处理设备130可以包括一个或多个中央处理单元、图形处理单元、其他类型的处理单元或其组合。
在一些实施方式中，可以使用各种机制来确定用户相对于终端的位置，以确定经由微透镜将至少两个图像同时投影到终端的用户的方向。例如，红外跟踪系统可以使用耦合到用户的一个或多个标记(例如，附着到用户的眼镜或头饰上的反射标记)。作为另一个例子，可以使用红外相机。红外相机可配置有相对快速的面部检测器，其可用于在至少两个图像中定位用户的眼睛并在3D中三角测量位置。作为又一示例，可以使用彩色像素(例如，RGB像素)和深度传感器来确定 (例如，直接确定)用户的位置信息。在一些实施方式中，使用这种系统进行精确跟踪的帧速率可以是至少60Hz(例如，120Hz或更高)。
在一些实施方式中，显示器125可包括可切换透明透镜三维显示器。在这样的实施方式中，显示器125可以允许将相机组件180放置在显示器125后面，以在视频会议期间模拟眼神接触。在一些实施方式中，显示器125可以包括有机发光二极管(OLED)，其足够小以至于不易被人眼或相机镜头检测到，从而使显示器125有效地透明。这样的OLED也可以具有足够的亮度，使得当它们被照射时，它们发射的光的区域明显大于它们各自的区域。结果，OLED虽然不易被人眼或相机镜头看到，但是足够明亮以用呈现的图像照射显示器125而没有显示图像中的间隙。在可切换的透明透镜三维显示器中，OLED可以嵌入玻璃基板中，使得玻璃设置在连续的OLED行之间。这种布置导致显示器125在OLED未被照射时是透明的，但在照明时是不透明的(由于显示器125上显示的图像)。
在相机组件180位于显示器125后面的实施方式中，当OLED被照射时，相机组件180可能无法捕获可见光和红外光。在显示器125 包括可切换透明透镜三维显示器的实施方式中，处理设备130可使显示器125的OLED的照射与相机组件180同步，使得当OLED被照射时，相机组件180不捕获可见光或红外光，但是当OLED未被照射时，相机组件180捕获可见光和红外光，以确定与所公开的实施方式一致的图像数据、深度数据和/或位置数据。处理设备130可以使显示器125 的OLED的照射与相机组件180的图像捕获同步，其速率比人眼可检测的速率快，例如每秒90帧。
由于显示器125是透镜显示器，如果相机组件180位于不可切换的透明透镜三维显示器后面，则显示器125的透镜性质可能在由相机组件180捕获的可见光和红外光中产生扭曲。因此，在一些实施方式中，显示器125可以是可切换的透明透镜三维显示器。在可切换的透明透镜三维显示器实施方式中，微透镜阵列的微透镜可以由第一材料和第二材料制成。例如，至少一些微透镜可以由第一材料制成，并且至少一些微透镜可以由第二材料制成。第一材料可以是不受电流影响 (例如，实质上不受影响)的材料，而第二材料可能受到电流的影响 (例如，实质上受到影响)。当没有电流施加到第二材料时，第一材料和第二材料可以具有不同的折射率。这可导致第一材料与第二材料的微透镜之间的边界处的折射，从而产生透镜显示。当电流施加到第二材料时，电流可以使第二材料的折射率变为与第一材料的折射率相同，从而中和显示器125的透镜性质，使得两种材料形成一个均匀折射的矩形平板，允许显示器上的图像不失真地通过。在一些实施方式中，电流被施加到第一材料和第二材料两者，其中电流对第二材料具有上述影响并且对第一材料没有影响。因此，当显示器125投影图像 (例如，其OLED被照射)时，处理设备130可以不向微透镜阵列施加电流，并且显示器125可以用作透镜阵列(例如，当接通时)。当显示器125的OLED未被照射并且处理设备130命令相机组件180捕获可见光和红外光时，处理设备130可以使电流施加到显示器125，从而影响由第二材料制成的微透镜。电流的施加可以改变由第二材料制成的微透镜的折射率，并且显示器125可以不用作透镜阵列(例如，显示器125可以是透明的或用作没有透镜效应的透明玻璃板)。
在一些实施方式中，终端120可以包括处理设备130。处理设备 130可以执行命令(例如，触发)显示器125以显示图像的功能和操作。在一些实施方式中，处理设备130可以与相机组件180通信以接收表示终端120的用户的位置和地点的原始数据。处理设备130还可以与网络适配器160通信以从参与视频会议的其他终端120接收图像数据和深度数据。与所公开的实施方式一致，处理设备130可以使用从相机组件180接收的位置和地点数据以及来自网络适配器160的图像数据和深度数据来在显示器125上呈现三维立体图像。
在一些实施方式中，处理设备130可以执行以下功能和操作：将从相机组件180接收的原始数据转换为图像数据、深度数据和/或位置数据，其可以经由网络适配器160传达到在视频会议中的其他终端120。例如，在视频会议期间，相机组件180可以捕获由终端120的用户反射的可见光和/或红外光。相机组件180可以将与捕获的可见光和/或红外光相对应的电子信号发送到处理设备130。处理设备130可以分析捕获的可见光和/或红外光并确定图像数据(例如，对应于可以被呈现为图像的像素集合的RGB值的数据)和/或深度数据(例如，对应于呈现的图像中的像素集合的每个RGB值的深度的数据)。在一些实施方式中，处理设备130可压缩或编码图像数据和/或深度数据，使得其在通过网络190传达图像数据或深度数据之前需要较少的存储器或带宽。同样，处理设备130可在处理设备130呈现立体三维图像之前解压缩或解码接收的图像数据或深度数据。
根据一些实施方式，终端120可以包括扬声器组件140和麦克风组件150。扬声器组件140可以投射与从在视频会议中其他终端120接收的音频数据相对应的音频。扬声器组件140可包括一个或多个扬声器，其可定位在多个位置以例如投射定向音频。麦克风组件150可以捕获对应于终端120的用户的音频。麦克风组件150可以包括一个或多个扬声器，其可以定位在多个位置以例如投射定向音频。在一些实施方式中，处理单元(例如，处理设备130)可以压缩或编码由麦克风组件150捕获并且经由网络适配器160和网络190传达到参与视频会议的其他终端120的音频。
终端120还可以包括I/O设备170。I/O设备170可以包括用于控制终端120参与的视频会议的输入和/或输出设备。例如，I/O设备170 可以包括按钮或触摸屏，其可以用于调整显示器125的对比度、亮度或缩放。I/O设备170还可以包括键盘接口，其可以用于注释在显示器 125上呈现的图像或要传达到参与视频会议的其他终端120的注解。
根据一些实施方式，终端120包括相机组件180。相机组件180 可包括一个或多个相机单元。在一些实施方式中，相机组件180包括位于显示器125后面的一些相机单元和邻近显示器125的周边定位的一个或多个相机单元(即，不位于相机组件180后面的相机单元)。例如，相机组件180可包括一个相机单元、三个相机单元或六个相机单元。相机组件180的每个相机单元可包括图像传感器、红外传感器和/或红外发射器。下面讨论的图4更详细地描述了相机单元182的一种实施方式。
在一些实施方式中，终端120可以包括存储器185。取决于实施方式，存储器185可以是一个或多个易失性存储器单元或一个或多个非易失性存储器单元。存储器185可以是任何形式的计算机可读介质，例如磁盘或光盘或固态存储器。根据一些实施方式，存储器185可以存储使得处理设备130执行与所公开的实施方式一致的功能和操作的指令。
在一些实施方式中，三维遥现系统100的终端120在彼此之间传达各种形式的数据以促进视频会议。在一些实施方式中，终端120可以传达与终端120的每个相应用户相对应的图像数据、深度数据、音频数据和/或位置数据。每个终端120的处理设备130可以使用所接收的图像数据、深度数据和/或位置数据在显示器125上呈现立体三维图像。处理设备130可以解释音频数据以命令扬声器组件140投射对应于音频数据的音频。在一些实施方式中，图像数据、深度数据、音频数据和/或位置数据可以被压缩或编码，并且处理设备130可以执行用于对数据进行解压缩或解码的功能和操作。在一些实施方式中，图像数据可以是标准图像格式，例如JPEG或MPEG。在一些实施方式中，深度数据可以是例如以一对一的对应关系指定图像数据的每个像素的深度值的矩阵。同样地，音频数据可以是本领域已知的标准音频流格式，并且可以在一些实施方式中采用网际协议语音(VoIP)技术。
根据实施方式，网络190可以包括任何类型的网络中的一个或多个，例如一个或多个局域网、广域网、个域网、电话网和/或因特网，其可以通过任何可用的有线和/或无线通信协议访问。例如，网络190 可以包括每个终端120通过其进行通信的因特网连接。预期包括安全和不安全网络通信链路的任何其他网络组合用于本文描述的系统。
图3A示出了终端120的一种实施方式，其中，相机组件180包括沿显示器125的周边设置的三个相机单元182。图3A的实施方式包括三个相机单元182，第一个设置在显示器125的顶部，第二个设置在显示器125的左侧，并且第三个设置在显示器125的右侧。在图3A的实施方式中，显示器125可以是无眼镜的透镜三维显示器。根据一些实施方式，相机组件180的每个相机单元182可包括镜头310和红外发射器320。相机单元182使用镜头310来捕获对应于终端120的用户的可见光和红外光。在一些实施方式中，红外发射器320可以发射红外光，其从终端120的用户和用户的周围环境反射并由镜头310捕获(如下面参考图4更详细地讨论的)。
图3B示出了终端120的另一实施方式。在此实施方式中，显示器 125为与所公开的实施方式一致的无眼镜可切换透明透镜三维显示器。同样在该实施方式中，相机组件180可以布置在显示器125后面。在显示器125后面布置相机组件180可以增加在视频会议期间直接-的可能性，因为相机组件180的相机单元182被放置在终端120的用户最有可能看的位置。在传统的视频会议系统中，单个相机通常设置在视频会议中的参与者正在观看的显示器的周边。结果，可以禁止视频会议中的参与者之间的眼神接触。通过使用无眼镜的可切换透明透镜三维显示器，可以将相机组件180放置在屏幕后面，并且可以增加视频会议期间的眼神接触。
虽然图3A和3B示出了具有设置在靠近显示器125的各个位置处的多个相机单元182的相机组件180的一些示例性实施方式，相机组件180，但是相机单元182可以设置在靠近显示器125的其他位置处，而不脱离本公开的精神和范围。例如，尽管图3A和3B中所示的实施方式示出了靠近显示器125设置的三个相机单元182，但是其他实施方式可以包括更多或更少的相机单元182。另外，虽然图3A和3B中所示的实施方式描绘了在固定位置处的相机组件180的相机单元182，但是根据一些实施方式，相机单元182可以是可调节的或可移动的。例如，一个或多个相机单元182可以连接到可移动致动器，该可移动致动器根据与终端120的用户相关联的位置数据来调整相机单元182的位置和/或旋转。
图4示出了在一些实施方式中的相机组件180的示例相机单元 182、从相机组件180的红外发射器320发送的红外光的发送光路410 以及由相机组件180接收的可见光和红外光的接收光路420。相机单元 182可包括红外发射器320、镜头310、分束器440、图像传感器450 和红外深度传感器460。根据一些实施方式，红外发射器320发射红外光波作为发送光路410。发送光路410可以从用户105反射并且是由相机单元182经由镜头310捕获的接收光路420的一部分。此外，接收光路420还可以包括经由镜头310的可见光(例如，可见光色谱内的光)。分束器440可以分离捕获的光并将其发送到图像传感器450和红外深度传感器460。在一些实施方式中，图像传感器450和红外深度传感器460可以将与捕获的光的频率和相位相对应的原始数据发送到处理设备130。
在一些实施方式中，图像传感器450可为能够捕获可见光并将其与红-绿-蓝(RGB)值、CMYK颜色值和/或YUV颜色值相关联的图像传感器。在一些实施方式中，图像传感器450可为高清(HD)或4K 分辨率图像传感器。
在一些实施方式中，红外发射器320和红外深度传感器460可以分别是飞行时间发射器和传感器。在这样的实施方式中，红外发射器 320发送红外光的正弦波脉冲。红外光可以从在其路径内对象反射，并且返回到相机组件180并由红外深度传感器460捕获。在一些实施方式中，红外深度传感器460(或其他实施方式中的处理设备130)可以确定由红外发射器320发射的红外光正弦波脉冲和由红外深度传感器 460检测的红外光正弦波脉冲之间的相位偏移。相位偏移可用于确定例如深度。在一些实施方式中，红外发射器320和红外深度传感器460 可以是有源立体、非结构化光立体或辅助投射纹理(仅为了便于容易讨论的目的，统称为有源立体)发射器和传感器。在这样的实施方式中，红外发射器320发射非结构化的高频纹理的红外光，其可以从其路径内的对象反射并返回到相机组件180。在有源立体实施方式中，可能需要来自多个相机单元的红外深度传感器460计算对象的深度。在一些实施方式中，红外发射器320和红外深度传感器460可以是编码光立体发射器和传感器。在编码光立体实施方式中，红外发射器320 产生特定的光图案，其可用于执行立体三角测量以确定其捕获图像内的点的深度。
根据一些实施方式，分束器440分离入射光，使得图像传感器450 和红外深度传感器460接收相同的光。在一些实施方式中，图像传感器450和红外深度传感器460具有相同或基本相同的几何形状，使得对应于图像传感器450的几何形状内的点的可见光频率直接对应于与红外深度传感器460的几何形状内的点对应的红外光频率。结果，由图像传感器450捕获的图像内的像素的RGB值与由红外深度传感器 460捕获的图像内的相同位置处的对应像素的深度值具有一一对应关系。在一些实施方式中，由图像传感器450和红外深度传感器460捕获的图像可以用于为由图像传感器450捕获的RGB图像创建深度网格。并且，因为图像传感器450和红外深度传感器460的几何形状相同，所以可以在没有任何校准或具有有限校准的情况下创建深度网格。
图5示出了表示与所公开的实施方式一致的用于在视频会议终端上生成三维立体图像的示例图像显示过程500的流程图。根据一些实施方式，可以由诸如终端120的视频会议终端的一个或多个组件来执行图像显示过程500。尽管以下讨论将图像显示过程500描述为由视频会议终端执行，但是被配置来在视频会议终端上生成三维图像的计算机系统的其他组件在不脱离本公开的精神和范围的情况下可以执行图像显示过程500。
在步骤510，本地终端的相机单元的红外发射器生成第一红外光。第一红外光可以从其路径内的对象反射。在步骤520，本地终端的相机单元可以接收反射的红外光。在步骤530，相机单元内的红外深度传感器可以捕获所接收的第二红外光并将原始数据提供给本地终端的处理单元，该处理单元基于第一红外光和第二红外光之间的差异确定深度数据。在一些实施方式中，可以由红外深度传感器或终端120的一些其他组件执行步骤530。在一些实施方式中，基于测量第一红外光和第二红外光之间的相位偏移的飞行时间方法确定深度数据，而在一些其它实施方式中，可以使用诸如有源立体或编码光立体的不同技术。
在步骤540，本地终端从捕获的可见光中确定图像数据。在一些实施方式中，作为本地终端的相机单元的一部分的图像传感器可捕获可见光并从其确定图像数据。在一些实施方式中，图像传感器可以确定与捕获的可见光相对应的原始数据，该原始数据被传达到本地终端的处理单元(例如，图形处理单元130)以确定图像数据。在一些实施方式中，与步骤510、520和530中的一个或多个同时执行步骤540。
在步骤550，本地终端可以将捕获的深度数据和捕获的图像数据传达到远程终端。本地终端可以从远程终端接收深度数据和图像数据，并且它可以使用它来生成包括第一图像(其例如可以对应于左眼)和第二图像(其例如可以对应于右眼)的三维立体图像。在步骤560，终端可以通过构成本地终端的显示器的微透镜阵列的微透镜生成第一图像。第一图像可以基于接收的图像数据和本地位置数据。在步骤570，本地终端还可以通过构成本地终端的显示器的微透镜阵列的微透镜生成第二图像。第二图像可以基于接收的图像数据和本地位置数据。本地位置数据可以指示观看者(例如，观看者的眼睛)相对于本地终端的位置。在至少一些实施方式中，可以至少部分地基于从远程终端接收的深度数据来生成第一图像和第二图像。在一些实施方式中，以不同的顺序或同时执行步骤560和570。
在一些实施方式中，终端120可以包括硬连线到显示器125的专用计算设备。在这样的实施方式中，处理设备130、扬声器组件140、麦克风组件150、网络适配器160、I/O设备170和存储器185可以设置在与显示器125相同的外壳内，或连接到显示器125使得它们不能被用户容易地移除(例如，连接被焊接在一起或者在不打开显示器125 的外壳的情况下不能断开连接)。在一些实施方式中，由处理设备130、扬声器组件140、麦克风组件150、网络适配器160、I/O设备170和存储器185执行的功能可以由连接到显示器125和相机组件180的外部通用计算设备执行。在这样的实施方式中，通用计算设备可以执行与所公开的三维遥现系统的实施方式一致的操作，并且可以向显示器125 发送电子信号以“驱动”显示器以生成三维图像。
尽管以特定顺序示出和讨论了过程500，但是该过程不限于该特定顺序，并且一些实施方式以不同顺序执行过程500的至少一些步骤。另外，在一些实施方式中，同时执行过程500的各个步骤。
图6示出了可以用于这里描述的技术的通用计算机设备600的示例。计算设备600旨在表示各种形式的数字计算机，例如膝上型计算机、台式机、平板电脑、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其他适当的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅仅意味着是示例性的，并不意味着限制所公开的实施方式的实现。
计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608以及连接到低速总线614和存储设备606的低速接口612。处理器602可以是基于半导体的处理器。存储器604可以是基于半导体的存储器。组件602、604、606、608、610和612中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储设备606 上的指令，以在外部输入/输出设备(例如，耦合到高速接口608的显示器616)上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多条总线以及多个存储器和多个类型的存储器。而且，可以连接多个计算设备600，每个设备提供必要操作的部分(例如，作为服务器库、一组刀片服务器或多处理器系统)。
存储器604存储在计算设备600内的信息。在一种实施方式中，存储器604是一个或多个易失性存储器单元。在另一实施方式中，存储器604是一个或多个非易失性存储器单元。存储器604还可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储设备606能够为计算设备600提供大容量存储。在一种实施方式中，存储设备606可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或者磁带设备、闪存或其他类似的固态存储设备或设备阵列，包括存储区域网络中或其他配置的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，这些指令在被执行时执行一个或多个方法，例如上面描述的那些方法。信息载体是计算机或机器可读介质，例如存储器604、存储设备606或处理器602上的存储器。
高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器608耦合到存储器604、显示器616(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口610，高速扩展端口610可以容纳各种扩展卡(未示出)。在该实施方式中，低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，例如键盘、指示设备、扫描仪或诸如交换机或路由器的网络设备。
计算设备600可以以多种不同的形式实现，如图中所示。例如，它可以实现为标准服务器620，或者在一组这样的服务器中实现多次。它还可以实现为机架服务器系统624的一部分。此外，它可以在诸如膝上型计算机622的个人计算机中实现。或者，来自计算设备600的组件可以与移动设备(没有显示)中的其他组件组合。每个这样的设备可以包含计算设备600中的一个或多个，并且整个系统可以由彼此通信的多个计算设备600组成。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，其可以是特殊的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其传送数据和指令。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如这里所使用的，术语“机器可读介质”、“计算机可读介质”是指用于以下部分的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))：向可编程处理器提供机器指令和/或数据，可编程处理器包括将机器指令作为机器可读信号接收的机器可读介质。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和/或数据的任何信号。
这里描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web 浏览器的客户端计算机，用户可以通过该浏览器与这里描述的系统和技术的实施方式进行交互)，或者包括这种后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系由于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
图7A至图7G是三维遥现系统700的示例实施方式的示意图。三维遥现系统700是三维遥现系统100的示例。图7A-7F是系统700的顶视图并且图7G是侧视图。
三维遥现系统700包括显示器725和包括相机单元782a、782b和782c的相机组件。本地参与者705a和远程参与者使用三维遥现系统700 参与视频会议。由显示器725生成远程参与者的表示705b。显示器725 的三维能力可以生成表示705b，使得远程参与者看起来至少对于本地参与者705a而言位于相对于本地参与者705a而言的显示器725的背面。
在一些实施方式中，显示器725可以包括4K透镜显示屏，其提供大约1920×1080的有效分辨率。其他实际和有效的分辨率也是可能的。显示器725可以具有1.3米的宽度W。在一些实施方式中，显示器725 具有1-1.5米的宽度W。在一些实施方式中，显示器725具有介于0.5 和2米之间的宽度W。在一些实施方式中，显示器725可以具有小于 0.5米或大于2米的宽度。
显示器725可以被配置为接收和显示包括颜色和深度值(例如， RGB+D)的图形数据。在一些实施方式中，显示器725被配置以在位于距显示器725的距离L处的点周围的窗口中捕获本地参与者。例如，在一些实施方式中，L为1米、约1米、1.2米或另一距离。显示器725还可以被配置为生成远程参与者的表示，以便看起来在显示器725后面的偏移距离O。在一些实施方式中，偏移距离O是0.2米、大约0.2 米、0.3米或者另一个距离。
如图所示，相机单元782a、782b和782c具有相应的视场784a、 784b和784c。视场784a、784b和784c可以是与相机单元的焦距相对应的水平视角(以Θhoriz表示)和水平范围(以rhoriz表示)。水平范围可以对应于距离相机的距离，本地参与者705a应该位于该距离内，以允许相机单元进行适当的图像和深度捕获。在一些实施方式中，相机单元782a、782b和782c被配置为具有相同的水平视角和水平范围。在一些实施方式中，水平视角为57度。在一些实施方式中，水平视角在 55度与60度之间。另外，水平视角可以在45到70度之间。其他实施方式也可以包括配置有不同水平视角的相机单元。在一些实施方式中，水平范围等于或约等于1.2米。在一些实施方式中，水平范围在1米到 1.5米之间。水平范围可以大于0.5米且小于2米。其他水平范围也是可能的。
系统700的各种配置可以支持各种水平深度样本间隔(在d处指示)。水平深度样本间隔对应于用于在显示器725上生成3-D图像的深度值之间的在远程侧的水平距离。例如，系统700的实施方式的各个方面可以影响水平深度样本间隔。一些实施方式具有0.8毫米的水平深度样本间隔；然而，其他实施方式具有其他水平深度样本间隔。在一些实施方式中，可使用以下等式计算水平深度样本间隔：
Figure BDA0001963397970000241
其中：
L＝从本地参与者705a的眼睛到显示器825的距离；
O＝从显示器725到远程参与者的表示的投影偏移距离；
W＝显示器725的宽度；以及
R＝显示器725的有效水平分辨率。
例如，在一些实施方式中，系统700可以被配置为在透镜显示器上生成第一图像和第二图像，其中，生成第二显示图像以与第一图像不同以为用户创建视差效果，该视差效果使得远程参与者的表示出现在显示设备后面的偏移距离处。在一些实施方式中，基于目标深度样本间隔确定偏移距离。在一些实施方式中，一个或多个红外深度传感器(例如，相机单元782a、782b或782c的)可以被配置为以深度采样率收集深度样本以支持目标偏移距离。例如，可以利用水平深度样本间隔来收集深度数据，该水平深度样本间隔是基于从显示器到用户的目标距离、到远程参与者的表示的偏移距离、显示器的宽度和显示器的有效水平分辨率来计算的(例如，根据上面所示的等式)。
在一些实施方式中，系统700可以定义头箱(headbox)790，其中，本地参与者705a的头部应该是位置。头箱790例如可以是物理空间的区域，其中，可以观看显示器725并且相机单元782a、782b和782c 的视场重叠以允许本地参与者705a的图像和/或深度捕获。在一些实施方式中，头箱790可具有0.6m的高度(以h表示)和0.6m的宽度(以 w表示)。其他实施方式可以具有具有不同高度和/或宽度的头箱790。通常，头箱790的边界不是物理上定义的，而是可以使用各种技术在显示器725上向本地参与者705a指示的(例如，当本地参与者705a 的头部离开头箱790时显示警告)。
在一些实施方式中，当从头箱790的中心测量时，本地参与者705a 的视场792具有大约66度的视角。在其他实施方式中，视场792的视角在50-80度之间。其他视角也是可能的。在一些实施方式中，基于本地参与者705a的视场不同于头箱790内的不同位置来扩展本地参与者 705a的有效视场794。例如，在一些实施方式中，有效视场794是大约107度。在一些实施方式中，显示器725具有更高的分辨率，因此在有效视场794的较大水平宽度(在K处表示)上支持最小水平深度样本间隔。例如，系统的一些实施方式包括具有至少约为2270像素的有效水平分辨率的显示器725。
如图7G所示，显示器725具有高度H。在一些实施方式中，高度 H等于0.8米，或者大约等于0.8米。在一些实施方式中，高度H在 0.5-1.5米之间。在其他实施方式中，高度H可小于0.5米或大于1.5 米。
相机单元782a、782b和782c具有相应的视场784a、784b和784c。视场784a、784b和784c可以具有对应于相机单元的焦距的垂直视角(以Θvert表示)和垂直范围(以rvert表示)。垂直范围可以对应于距离相机的垂直距离，本地参与者705a应该位于该垂直距离内，以允许相机单元进行适当的图像和深度捕获。在一些实施方式中，相机单元782a、 782b和782c被配置为具有相同的垂直视角和垂直范围。在一些实施方式现中，垂直视角为68度。在一些实施方式中，垂直视角在65度与 75度之间。另外，垂直视角可以在50到80度之间。其他实施方式也可以包括配置有不同垂直视角的相机单元。在一些实施方式中，垂直范围等于或约等于1米。在一些实施方式中，垂直范围在0.5到1.5米之间。垂直范围可小于0.5米或大于1.5米。其他垂直范围也是可能的。
图8是三维遥现系统800的示例实施方式的示意图。三维遥现系统800是三维遥现系统100的示例。
在一些实施方式中，系统800包括：显示器825；相机组件，其具有相机单元882a、882b、882c、882d和882e；扬声器组件，其包括扬声器842a和842b；麦克风组件，其包括麦克风852a和852b；以及，眼睛跟踪模块890。例如，相机单元可以设置在显示器825周围的不同位置处。在所示的示例中，相机单元882a和882b位于显示器825上方，相机单元882c位于显示器825的一侧，相机单元882位于显示器 825的另一侧，并且相机单元882e位于显示器825的下方。在一些实施方式中，扬声器和麦克风位于各种位置以允许记录和生成方向或空间音频。例如，扬声器842a和麦克风852a位于显示器825的一侧，扬声器842b和麦克风852b位于显示器825的另一侧。在一些实施方式中，麦克风组件包括超过两个的麦克风(例如，四个麦克风)。类似地，在一些实施方式中，扬声器组件包括超过两个的扬声器(例如，四个扬声器)。
眼睛跟踪模块890可以位于显示器825周围的各种位置。眼睛跟踪模块890可以包括一个或多个相机或一个或多个其他类型的成像设备，其被配置为识别本地参与者的眼睛位置/地点(未示出)和/或本地参与者的凝视方向或目标。眼睛跟踪模块890还可以跟踪用户的其他特征，例如嘴巴或其他面部特征。另外，在一些实施方式中，眼睛跟踪模块包括相机，其相对于相机组件的相机单元882a、882b、882c、 882d和882e以更高的帧速率操作。附加地或替代地，相机组件的相机单元可以执行眼睛跟踪。
已经描述了许多实施方式。然而，应该理解，在不脱离本发明的精神和范围的情况下，可以进行各种修改。
另外，图中描绘的逻辑流程不要求所示的特定顺序或依序次序来实现期望的结果。另外，相对于所述流程，可以提供其他步骤，或可以消除步骤，并且可以将其他组件添加到所述系统或从所述系统中移除。

Claims (16)

1.一种遥现终端，包括：
显示器，所述显示器包括设置在像素网格前面的微透镜阵列；
图像传感器；
红外发射器；
红外深度传感器；
处理设备；以及
存储器，所述存储器存储指令，所述指令在被执行时使所述处理设备执行操作，所述操作包括：
基于所述图像传感器捕获的可见光确定图像数据；
基于由所述红外发射器发出并由所述红外深度传感器捕获的红外光确定深度数据；
确定所述遥现终端的用户的位置；
将所述深度数据和所述图像数据传达到远程的遥现终端；
接收远程图像数据和远程深度数据，所述远程图像数据和远程深度数据源自远程的遥现终端；
使用能够从第一观看位置通过所述微透镜阵列观看的所述像素网格的第一像素子集，基于所述远程图像数据生成第一显示图像；以及
使用能够从第二观看位置通过所述微透镜阵列观看的所述像素网格的第二像素子集，基于所述远程图像数据和所述远程深度数据生成第二显示图像，所述第一显示图像和所述第二显示图像被生成以基于所述用户的所确定的位置来模拟视差，所模拟的视差使所述远程的遥现终端处的远程用户的表示出现在所述微透镜阵列后面的偏移距离处。
2.根据权利要求1所述的遥现终端，其中，所述遥现终端的所述用户的所述位置是基于所述深度数据确定的。
3.根据权利要求1所述的遥现终端，其中，所述遥现终端的所述用户的所述位置是基于所述图像数据确定的。
4.根据权利要求1所述的遥现终端，还包括：
麦克风组件，所述麦克风组件包括位于所述显示器的第一侧的第一麦克风和位于所述显示器的第二侧的第二麦克风；以及
扬声器组件，所述扬声器组件包括位于所述显示器的所述第一侧的第一扬声器和位于所述显示器的所述第二侧的第二扬声器；
其中，所述指令还使所述处理设备执行包括以下的操作：
使用所述麦克风组件捕获定向音频数据；
将所述定向音频数据传送到所述远程终端；
从所述远程终端接收远程定向音频数据；以及
基于所述远程定向音频数据使用所述扬声器组件输出音频。
5.根据权利要求4所述的遥现终端，其中，所述麦克风组件包括超过两个的麦克风。
6.根据权利要求1所述的遥现终端，其中，所述遥现终端包括相机组件，所述相机组件包括至少一个位于所述显示器后面的相机单元，其中，所述相机单元包括所述图像传感器、所述红外发射器和所述红外深度传感器。
7.根据权利要求6所述的遥现终端，其中，所述显示器是透明的并且能够在关闭状态和照明状态之间切换，并且其中，所述指令还使所述处理设备执行包括以下的操作：使可见光和红外光的捕获与所述显示器的所述关闭状态同步。
8.根据权利要求7所述的遥现终端，其中，所述微透镜阵列中的至少一些微透镜由第一材料制成，并且所述微透镜阵列中的所述微透镜中的至少一些微透镜由第二材料制成，所述第一材料是实质上不受电流影响的材料，并且所述第二材料是实质上受电流影响的材料，并且所述第一材料和所述第二材料在没有电流施加到所述第一材料和所述第二材料时具有不同的折射率。
9.根据权利要求1所述的遥现终端，还包括分束器，所述分束器分离入射光并将所述分离的入射光发送到所述图像传感器和所述红外深度传感器。
10.一种方法，包括：
使用遥现终端的红外发射器生成第一红外光；
使用所述遥现终端的红外深度传感器接收第二红外光；
基于所述第一红外光和所述第二红外光确定捕获的深度数据；
基于图像传感器捕获的可见光确定捕获的图像数据；
确定所述遥现终端的用户的位置；
将所述捕获的深度数据和所述捕获的图像数据传达到远程终端；
使用像素网格的第一子集基于源自所述远程终端的所接收的图像数据生成第一显示图像，所述第一显示图像能够从第一位置通过微透镜阵列观看；以及
使用像素网格的第二子集基于源自所述远程终端的所接收的图像数据和所接收的深度数据生成第二显示图像，所述第二显示图像能够从第二位置通过所述微透镜阵列观看，所述第二显示图像被生成为与所述第一显示图像不同，以基于所述用户的所确定的位置与所接收的深度数据的组合来创建视差效果，所述视差效果使所述远程终端处的远程用户的表示出现在所述微透镜阵列后面的偏移距离处。
11.根据权利要求10所述的方法，还包括：
使用麦克风组件捕获定向音频数据；
将所述定向音频数据传送到所述远程终端；
从所述远程终端接收远程定向音频数据；以及
基于所述远程定向音频数据使用扬声器组件输出音频。
12.根据权利要求10所述的方法，其中，使用红外深度传感器接收第二红外光包括：
关闭所述微透镜阵列和像素网格；
通过所述微透镜阵列和像素网格捕获所述第二红外光；以及
接通所述微透镜阵列和像素网格。
13.一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时被配置为使计算系统至少：
使用遥现终端的红外发射器生成第一红外光；
使用所述遥现终端的红外深度传感器接收第二红外光；
基于所述第一红外光和所述第二红外光确定深度数据；
基于图像传感器捕获的可见光确定图像数据；
确定所述遥现终端的用户的位置；
将所述深度数据和所述图像数据传达到远程的遥现终端；
使用所述遥现终端的透镜显示器基于源自所述远程终端的所接收的图像数据生成第一显示图像，所述第一显示图像能够从第一位置观看；以及
使用所述透镜显示器基于源自所述远程终端的所接收的图像数据和所接收的深度数据生成第二显示图像，所述第二显示图像能够从第二位置观看并且被生成为与所述第一显示图像不同，以基于所述用户的所确定的位置与所接收的深度数据的组合来创建视差效果，所述视差效果使所述远程的遥现终端处的远程用户的表示出现在所述透镜显示器后面的偏移距离处。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述偏移距离是基于目标深度样本间隔确定的。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述深度数据是利用水平深度样本间隔(d)收集的，所述水平深度样本间隔是基于从所述显示器到所述用户的目标距离(L)、所述偏移距离(O)、所述显示器的宽度(W)和所述显示器的有效水平分辨率(R)计算的。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述水平深度样本间隔d被计算为
Figure FDA0002658094870000051
CN201780047564.2A 2016-09-09 2017-09-08 三维遥现终端及方法 Active CN109565567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011392706.9A CN112584080B (zh) 2016-09-09 2017-09-08 三维遥现终端及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662385685P 2016-09-09 2016-09-09
US62/385,685 2016-09-09
PCT/US2017/050739 WO2018049201A1 (en) 2016-09-09 2017-09-08 Three-dimensional telepresence system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011392706.9A Division CN112584080B (zh) 2016-09-09 2017-09-08 三维遥现终端及方法

Publications (2)

Publication Number Publication Date
CN109565567A CN109565567A (zh) 2019-04-02
CN109565567B true CN109565567B (zh) 2020-12-08

Family

ID=59930787

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780047564.2A Active CN109565567B (zh) 2016-09-09 2017-09-08 三维遥现终端及方法
CN202011392706.9A Active CN112584080B (zh) 2016-09-09 2017-09-08 三维遥现终端及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011392706.9A Active CN112584080B (zh) 2016-09-09 2017-09-08 三维遥现终端及方法

Country Status (7)

Country Link
US (5) US20180077437A1 (zh)
EP (1) EP3510768B1 (zh)
JP (2) JP7001675B2 (zh)
KR (3) KR20190026804A (zh)
CN (2) CN109565567B (zh)
DE (1) DE202017105484U1 (zh)
WO (1) WO2018049201A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD778941S1 (en) 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
GB201621879D0 (en) * 2016-12-21 2017-02-01 Branston Ltd A crop monitoring system and method
EP3593525A1 (en) * 2017-03-10 2020-01-15 Sling Media PVT Ltd Media session management
US11064226B2 (en) * 2017-03-16 2021-07-13 Echo-Sense, Inc. System and method for concurrent data streams from a singular sensor with remotely selectable parameters
US11140455B1 (en) * 2017-06-09 2021-10-05 Amazon Technologies, Inc. Video encoder network sandboxing
TWI665649B (zh) * 2018-02-27 2019-07-11 鴻海精密工業股份有限公司 微型led陣列、顯示幕及電子裝置
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
WO2020030989A1 (en) * 2018-08-09 2020-02-13 Corephotonics Ltd. Multi-cameras with shared camera apertures
US10764533B2 (en) 2018-11-09 2020-09-01 Google Llc Computerworkstation with curved lenticular display
CN210168142U (zh) * 2019-01-17 2020-03-20 深圳市光鉴科技有限公司 一种具有3d摄像头模组的显示装置和电子设备
WO2020210937A1 (en) * 2019-04-15 2020-10-22 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11057549B2 (en) * 2019-08-16 2021-07-06 Lenovo (Singapore) Pte. Ltd. Techniques for presenting video stream next to camera
US11153513B2 (en) * 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN112394527A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
CN116506715A (zh) * 2019-09-27 2023-07-28 苹果公司 用于操作透镜显示器的方法和设备
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US20210409893A1 (en) * 2020-06-25 2021-12-30 Microsoft Technology Licensing, Llc Audio configuration for displayed features
US20230341557A1 (en) * 2020-09-18 2023-10-26 Myung Il MOON Three-dimensional image obtainment device
JP7386888B2 (ja) * 2020-10-08 2023-11-27 グーグル エルエルシー 画面上の話者のフューショット合成
WO2022115119A1 (en) * 2020-11-30 2022-06-02 Google Llc Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US11818637B2 (en) * 2021-06-10 2023-11-14 Getac Technology Corporation Providing alternate communication proxies for media collection devices
SE545897C2 (en) * 2022-02-04 2024-03-05 Livearena Tech Ab System and method for producing a shared video stream
CN114567767B (zh) * 2022-02-23 2024-06-18 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备
CN114827465B (zh) * 2022-04-19 2024-09-27 京东方科技集团股份有限公司 图像采集方法、装置及电子设备
US12039140B2 (en) 2022-04-25 2024-07-16 Zoom Video Communications, Inc. Configuring a graphical user interface for display at an output interface during a video conference
IL296044B2 (en) * 2022-08-29 2024-08-01 Abu Freh Ismael A system and method for streaming video in real time through virtual reality glasses using a network of cameras
WO2024210419A1 (ko) * 2023-04-04 2024-10-10 엘지이노텍 주식회사 정보 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
AU6171200A (en) * 1999-08-10 2001-03-05 Peter Mcduffie White Communications system
WO2001041437A2 (en) * 1999-12-03 2001-06-07 Ourworld Live, Inc. Consumer access systems and methods for providing same
GB2411735A (en) * 2004-03-06 2005-09-07 Sharp Kk Control of liquid crystal alignment in an optical device
JP2005303683A (ja) 2004-04-12 2005-10-27 Sony Corp 画像送受信装置
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
JP5090337B2 (ja) * 2005-04-08 2012-12-05 リアルディー インコーポレイテッド 平面パススルーを有する自動立体ディスプレイ
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
US20090146915A1 (en) 2007-12-05 2009-06-11 Marathe Madhav V Multiple view display device
CN101472133B (zh) * 2007-12-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010171573A (ja) 2009-01-21 2010-08-05 Epson Imaging Devices Corp ３次元画像表示・撮像装置、通信システム、および表示装置
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
WO2011034924A1 (en) * 2009-09-15 2011-03-24 Envysion, Inc. Video streaming method and system
JP5732064B2 (ja) 2009-11-17 2015-06-10 エーテーハー チューリヒ 透明裸眼立体画像表示装置及び方法
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
CN101866056A (zh) 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
JP5494283B2 (ja) 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8576271B2 (en) * 2010-06-25 2013-11-05 Microsoft Corporation Combining direct and routed communication in a video conference
KR101280636B1 (ko) * 2010-07-29 2013-07-01 주식회사 팬택 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
US8624960B2 (en) * 2010-07-30 2014-01-07 Silicon Image, Inc. Multi-view display system
KR101732135B1 (ko) 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
WO2012100434A1 (en) * 2011-01-30 2012-08-02 Nokia Corporation Method, apparatus and computer program product for three-dimensional stereo display
JP2012169822A (ja) 2011-02-14 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20120254933A1 (en) * 2011-03-31 2012-10-04 Hunt Electronic Co., Ltd. Network video server and video control method thereof
US20120257004A1 (en) * 2011-04-05 2012-10-11 Polycom, Inc. Direct Eye-Contact Enhancing Videoconferencing Unit
JP5834533B2 (ja) * 2011-06-23 2015-12-24 沖電気工業株式会社 コミュニケーションシステム及びコミュニケーション装置
JP2013125985A (ja) 2011-12-13 2013-06-24 Sharp Corp 表示システム
JP2013128181A (ja) 2011-12-16 2013-06-27 Fujitsu Ltd 表示装置、表示方法および表示プログラム
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
CN104081780A (zh) * 2012-01-31 2014-10-01 索尼公司 图像处理装置和图像处理方法
US9591418B2 (en) * 2012-04-13 2017-03-07 Nokia Technologies Oy Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
HUE045628T2 (hu) 2012-04-20 2020-01-28 Affirmation Llc Videó három dimenzióba történõ valós idejû konvertálására szolgáló rendszerek és módszerek
US20130321564A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
KR101350996B1 (ko) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
CN109288333B (zh) * 2012-12-18 2021-11-30 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
US20140176684A1 (en) * 2012-12-24 2014-06-26 Alejandro Varela Techniques for multiple viewer three-dimensional display
US9307217B1 (en) * 2013-06-12 2016-04-05 Ambarella, Inc. Portable video camera/recorder having video security feature
JP6199619B2 (ja) * 2013-06-13 2017-09-20 株式会社ニューフレアテクノロジー 気相成長装置
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
US20150097925A1 (en) 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
US20150128174A1 (en) * 2013-11-04 2015-05-07 Broadcom Corporation Selecting audio-video (av) streams associated with an event
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
CN104866261B (zh) * 2014-02-24 2018-08-10 联想(北京)有限公司 一种信息处理方法和装置
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
US10171792B2 (en) * 2014-08-15 2019-01-01 The University Of Akron Device and method for three-dimensional video communication
KR102269318B1 (ko) * 2014-09-15 2021-06-28 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
KR102396289B1 (ko) * 2015-04-28 2022-05-10 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US20170070804A1 (en) * 2015-09-03 2017-03-09 Monster, Llc Multifunction Wireless Adapter
KR20170035608A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三维集成成像相机阵列获取的元素图像校正;焦小雪;《中国激光》;20120310;第39卷(第3期);全文 *
用于集成成像3D显示的曲面微透镜阵列设计与仿真;彭玉颜;《光子学报》;20160112;第45卷(第3期);全文 *

Also Published As

Publication number Publication date
US20180077384A1 (en) 2018-03-15
JP7001675B2 (ja) 2022-01-19
KR20190026804A (ko) 2019-03-13
US20180077430A1 (en) 2018-03-15
EP3510768B1 (en) 2023-05-24
EP3510768A1 (en) 2019-07-17
KR20200078703A (ko) 2020-07-01
JP2022009242A (ja) 2022-01-14
WO2018049201A1 (en) 2018-03-15
US10880582B2 (en) 2020-12-29
DE202017105484U1 (de) 2018-01-09
US20180077437A1 (en) 2018-03-15
JP7443314B2 (ja) 2024-03-05
US20200344500A1 (en) 2020-10-29
US10750210B2 (en) 2020-08-18
US20190306541A1 (en) 2019-10-03
KR102142643B1 (ko) 2020-08-07
US10327014B2 (en) 2019-06-18
CN109565567A (zh) 2019-04-02
JP2019533324A (ja) 2019-11-14
KR20200096322A (ko) 2020-08-11
CN112584080B (zh) 2023-10-24
CN112584080A (zh) 2021-03-30
KR102256707B1 (ko) 2021-05-26

Similar Documents

Publication Publication Date Title
CN109565567B (zh) 三维遥现终端及方法
EP2383995B1 (en) Display system, method and computer program for capturing images using multiple integrated image sensors
Jones et al. Achieving eye contact in a one-to-many 3D video teleconferencing system
JP6285941B2 (ja) 制御された三次元通信エンドポイント
US9330589B2 (en) Systems for facilitating virtual presence
Gotsch et al. TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence.
US20110164188A1 (en) Remote control with integrated position, viewer identification and optical and audio test
US11006072B2 (en) Window system based on video communication
US10623698B2 (en) Video communication device and method for video communication
US10645340B2 (en) Video communication device and method for video communication
US10972699B2 (en) Video communication device and method for video communication
Balogh et al. Natural 3D content on glasses-free light-field 3D cinema
US10701313B2 (en) Video communication device and method for video communication
Seifert et al. 360-degree multi-viewer autostereoscopic tabletop display with omnidirectional dynamic parallax barrier and novel time-multiplexed directional backlight
Nashel Rendering and display for multi-viewer tele-immersion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Daniel Goldman

Inventor after: Jason Lawrence

Inventor after: Andrew Huibos

Inventor after: Andrew Ian Russell

Inventor after: Steven M. Setz

Inventor before: Daniel Goldman

Inventor before: Jason Lawrence

Inventor before: Andrew Huibos

Inventor before: Andrew Ian Russell

GR01 Patent grant
GR01 Patent grant