CN110583013B - 远程呈现系统 - Google Patents

远程呈现系统 Download PDF

Info

Publication number
CN110583013B
CN110583013B CN201780069694.6A CN201780069694A CN110583013B CN 110583013 B CN110583013 B CN 110583013B CN 201780069694 A CN201780069694 A CN 201780069694A CN 110583013 B CN110583013 B CN 110583013B
Authority
CN
China
Prior art keywords
telepresence
local object
gaze
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780069694.6A
Other languages
English (en)
Other versions
CN110583013A (zh
Inventor
R·图利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
R Tuli
Original Assignee
R Tuli
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by R Tuli filed Critical R Tuli
Publication of CN110583013A publication Critical patent/CN110583013A/zh
Application granted granted Critical
Publication of CN110583013B publication Critical patent/CN110583013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/655Construction or mounting of chassis, e.g. for varying the elevation of the tube
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于远程呈现的系统提供有远程用户位置处的用户站和位于本地对象位置处的远程呈现装置。感测本地对象周围的物体的距离,使得保持远程呈现装置与本地对象之间的选定距离。感测本地对象与远程用户的眼睛特征和注视。自动调整远程呈现装置的显示器的高度,使得本地对象的视线水平与显示器中用户图像的视线水平匹配。当感测到预期的目光接触时,调整远程呈现装置、其显示器和容纳摄像机和其他传感器的传感器中心的位置,并且可以以不同的视角重新创建面部图像以类似于本地对象与远程用户之间的目光接触,同时保留所有其他面部表情。

Description

远程呈现系统
相关申请的交叉引用
不适用
关于联邦政府资助研究的声明或开发
不适用
联合研究协议各方的名称
不适用
通过办公室电子申请系统(EFS-WEB)在紧凑型光盘上提交或作为文本文件提交的材料的通过参考并入
不适用
关于发明人或联合发明人的先前披露的声明
不适用
技术领域
本发明一般涉及视频会议,更具体地涉及具有特定特征的远程呈现系统,例如将远程呈现装置的显示器的高度自动匹配到本地对象,与本地对象保持选定的距离,识别注视方向和匹配远程用户与本地对象之间的目光接触。
背景技术
由于商业组织的全球化和劳动力的分散化,视频会议服务和装置的需求在跨国公司企业中迅速扩展。近年来,视频会议已被公共部门和医疗保健部门广泛采用,作为远程用户之间的有效通信形式。然而,通过视频会议传递的信息不像在面对面交谈中那样有效,特别是在诸如目光接触、眼睛注视和人际距离等微妙的非言语交流线索往往被忽视或不可能在视频会议中复制的意义上。相比之下,进行面对面交谈的人往往会在人际距离内与他人保持目光接触。
在大多数视频会议系统和远程呈现系统中,捕获交互对象的图像的摄像机或图像传感器通常位于监视器的上方或周边,其显示远程用户的图像。显而易见的是,即使用户想要在监视器中看到交互对象的图像的眼睛,当摄像机放置在监视器顶部时,看起来也会是在交互对象的视角中向下看。同样,当摄像机放在监视器侧面时,用户看起来正在注视一侧,或者当摄像机放在监视器下方时,用户看起来正在向上看。由于此摄像机取向问题,对象的监视器中显示的用户注视方向将与其实际意图不同。但是,在这些系统中经常忽略对图像的调整。因此,这些系统不足以保持注视方向或维持用户之间的目光接触。
远程呈现机器人系统仍然是迄今为止市场上可用的最现实的双向交互式视频会议之一,因为它克服了物理距离,同时有助于创建远程用户的存在感以实现社交通信。已经进行了改进以改善用户之间的交互,特别是允许经由远程呈现装置在用户与交互对象之间进行目光接触。这些改进中提出的方法包括操纵远程呈现装置的头部以面向用户的声音方向,并使用半镀银镜或分束器面板,其允许将摄像机直接安装在后面以在用户的图像与交互对象之间提供明显的目光接触。另一个教学揭示了一种远程呈现系统,它依赖于代理位置的预计实物大小图像来保持用户视角和垂直注视。另一种教导使用3D重新创建技术来重新定位用户图像在远程呈现装置显示器中的头部和眼睛位置。
然而,这些远程呈现系统在易用性、可负担性和整体用户体验方面具有其局限性。例如,需要大量的计算和网络资源来渲染和传输高分辨率的实物大小的背景图像,用户的预期注视方向没有真正保留,并且存在分束器的固有问题,例如环境光降低的图像质量以及设置的庞大性,将用户的移动性限制在预先安装分束器的特定物理位置。、
最近,已经开发了远程呈现机器人(E-Travel)系统,其复制代理机器人中的远程用户的高度并且保留远程用户的视角和垂直注视。在另一种方法中,配备有触觉反馈的远程呈现装置被配置为响应于由本地对象施加的力而移动。然而,这些系统中没有一个显示出能够自动地将机器人的高度与本地对象匹配,或者响应于对象的实时移动而持续保持机器人与本地对象之间的选定距离。
行为科学家已经表明,根据各种情况具有普遍接受的人际距离并且保持持续的目光接触对社交交互具有重大影响。缺乏这些交互可能会产生一种不感兴趣或专注的感觉,使人感到与对话脱节,或者可能降低参与者之间的注意力,并且可能使远程用户难以保持在与交互对象相同的物理位置的存在感。此外,研究表明,由于摄像机视差错误,正在参加视频会议和呈现为目光接触避免的人将被认为是消极的。结果还表明,人们更喜欢与他们相似高度的装置进行交互,并且当他们有大约相同的高度时,他们倾向于更靠近远程呈现装置。
因此,为了具有更好的个人接触感并加强远程用户的存在,本领域需要这样的方法或系统:能够在能够专门保留两个用户的预期眼睛注视,同时能够实时响应对象的物理运动,使得远程呈现装置自动保持与本地对象的选定距离并与对象的高度匹配。
发明概述
本发明涉及一种系统,该系统提高分开一定距离的一个人和其他人个之间的交互质量和通信有效性。具体地,本发明公开了一种远程呈现系统,其具有以下特征:在最小的人为干预下,将远程呈现装置中显示的远程用户图像的视线水平与本地对象的视线水平自动匹配,维持远程呈现装置与本地对象之间的选定距离,识别注视方向,并且当检测到保持目光接触的意图时,保持交互的本地对象与远程用户之间的目光接触。
在附图和以下描述中阐述了本公开的一个或多个实施方式的细节。通过阅读以下描述和附图以及从权利要求,其他方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
通过考虑下面参考附图给出的非限制性实施方案的详细描述,将更好地理解本发明,其中:
图1是本发明中的远程呈现系统的优选实施方案的图示。
图2是远程呈现装置中的传感器中心的图示。
图3是根据本发明的用于远程呈现的方法。
发明详述
参考图1,其中示出了根据本发明的远程呈现系统100,其可用于进行远程访问。在优选实施方案中,远程呈现系统具有在有远程用户102的第一地理位置处的配备有摄像机、扬声器和麦克风的计算机或头戴式显示器(HMD)形式的用户站101,以及在具有本地对象104的第二地理位置处的远程呈现装置103。
这里描述的远程呈现装置103包括液晶显示器(LCD)面板106,用于显示用户102的完整正面图像。显示器106由一系列机动部件107安装和支撑,使得它能够上下移动以覆盖从坐着的矮个子人到站立的高个子人的宽范围高度,以及将显示器106平移,倾斜和旋转到直接面向本地对象104的期望空间位置。
支撑和安装部件107连接到机动移动平台108,机动移动平台108包括一系列轮子和马达,以允许远程呈现装置103在没有倾斜的情况下操纵通过现场。机动移动平台108还容纳电池和具有计算机网络连接的控制计算机。机动移动平台108可以是电子控制的,使得远程呈现装置103响应于对象的位置和来自经由无线通信网络105远程连接的用户站101的命令。或者,机动移动平台108可以手动地可操作使得远程呈现装置103可以由人在对象的位置处手动地四处移动。在任何情况下,远程呈现装置103自动保持与对象104的选定距离以再现通常的社交距离(例如1.5m-3m),就像远程用户102和本地对象104在相同位置一样。
一个或多个扬声器109位于显示器106的左侧和右侧,以提供用户语音的定向音频。同时,随着分别经由位于显示器106的顶部的传感器中心110中的以及配备在用户站101中的麦克风和摄像机连续获取图像和声音,音频和视频信号经由高速通信网络105在用户站101与远程呈现装置103之间传输。
现在参考图2,其中示出了根据本发明的远程呈现装置103的传感器中心110。传感器中心110包括红外传感器201、红外发射器202、一个或多个高分辨率3D摄像机203和位于中心底部前角处来接收对象104的音频的两个麦克风204。本领域的其他传感器、检测器或装置在需要时结合到该传感器中心中。传感器中心110可以通过机动方向控制装置205独立于显示器106倾斜,伸出并旋转,机动方向控制装置205可以被电子控制,使得传感器的位置响应于对象104的眼睛位置或者物理运动。
为了识别对象的注视,将一个或多个红外传感器201与红外发射器202组合以跟踪本地对象104的眼睛运动。红外发射器202在对象的眼睛上投射红外图案,在这种情况下,红外传感器201可以是红外摄像机,捕获用户眼睛的高帧率图像,显示这些反射。通过计算机实现的算法处理图像以计算对象的眼睛位置和显示器106上的注视点。应当注意,该实施方案仅仅是眼睛跟踪和注视识别的可行方式的示例。同时,本领域存在许多其他方式来获得相同的信息。
当红外传感器201中的一个是深度感测摄像机时,捕获深度图像。与3D摄像机203捕获的3D彩色图像一起,可以通过计算机实现的算法提取落入摄像机视野内的对象104周围的物体与远程呈现装置103的几何关系。经处理的信息可以用于控制远程呈现装置103与对象104之间的距离,并且当远程用户102命令远程呈现装置103在该地点周围操纵时避免潜在的障碍。同样,应该注意,本领域中存在其他可行的实施方案来获取相同的信息。
尽管图2中的组件示出为作为整体单元附接在显示器106的顶部上,这仅仅是实施例,因此每个部件可以与其他部件分开安装并且安装在远程呈现装置103的各个位置上。
本发明的关键部件包括匹配目光接触并保持在远程呈现装置显示器106上显示的用户的面部图像与交互对象104之间的注视方向。注视方向涉及人在看哪里并且目光接触与直视另一个人的眼睛的行为有关。这两个特征提供了超出口语单词的微妙和必要信息,增强了虚拟会议的整体用户体验。
为了在对象位置中实现自然的目光接触体验,必须在整个虚拟会议期间将本地对象104的高度与远程呈现装置103相匹配。更确切地说,这是为了使对象104的视线水平与在远程呈现装置103的显示器106中显示的用户图像的视线水平相匹配。
在本领域中许多可行替代方案中的一个实施方案中,摄像机203捕获对象面部的实时3D图像,以使对象104的高度与远程呈现装置103匹配。来自图像的区别性的面部特征(例如眼睛虹膜和瞳孔)的信息由远程呈现装置的控制计算机中的模式识别软件提取和分析。然后识别眼睛特征,并且还根据红外传感器201或红外摄像机获取的信息确定它们的位置。然后,远程呈现装置103中的控制计算机自动升高或降低支撑部件107,使得在远程呈现装置的显示器106中显示的用户面部的视线水平与对象104的视线水平精确地匹配。通过红外传感器201或红外摄像机连续监视对象104的高度,然后通过模式识别软件分析所接收的信息,以即时调整远程呈现装置103的高度。因此,在对象的视线水平在会议期间改变的情况下,例如从坐到站的位置变化或反之亦然,显示器106的高度将自动调节以与新的高度匹配,同时人为干预最小。
在用户侧,用户站102的高度自然地由用户102调整,因为如果用户站101为笔记本电脑或台式电脑的形式,则用户站101中的监视器将被定位到对用户102而言舒适的观看水平。如果用户站101采用HMD的形式,则将用户站101的高度与用户的视线水平相匹配甚至更方便。
受到前一部分中讨论的摄像机和监视器的一般配置的限制并且受系统中所有光学设备累积的视差失真影响,在远程呈现装置103上和在用户站101上显示的面部图像的注视方向将需要微小的调整以便保持用户102与对象104之间的预期注视方向。因此,用户站101和远程呈现装置103都配备有本领域的系统和其他装置以协助3D图像映射、眼睛跟踪和注视识别,以在必要时确保他们的眼睛注视匹配。
显然,当用户102和对象104中的一个无意与另一个目光接触时,系统100不应尝试匹配用户102与对象104之间的眼睛注视。例如,当两者相互交谈时,保持目光接触是自然的并且是优选的。然而,在会议期间,人们可能偶尔会在短时间内注视其他地方,例如当一个人在思考,写作或阅读时,或者当没有人临时说话时,等等。在这些情况下,当注视远离显示器中的图像的眼睛时远程呈现系统100将不会执行任何匹配眼睛注视的动作,但是将保留注视意图以及用户102和对象104的所有其他面部表情。一旦注视回落到表示预期目光接触的图像眼睛周围的合理的区域范围内,系统101将激活注视匹配算法以类似用户102与对象104之间的目光接触,同时保留所有其他面部表情。因此,在一个实施方案中,系统101被配置为通过例如音频增益、手势或注视位置等的一个或多个预定义指示器激活注视匹配算法。换句话说,注视匹配系统将在以下情况下激活:当用户102或对象104正在讲话(音频增益指示器),或者当一个人密切注视着图像的眼睛(注视位置指示器)时,或者当一个人正在挥手(手势指示器)时,等等。
当用户102和对象104意图保持目光接触时,他们的注视点已经接近显示器中图像的眼睛区域。仅需要轻微调整以使用户102与对象104之间的注视匹配以类似目光接触,同时保留所有其他面部表情。这些轻微的调整可以通过执行注视匹配算法来实现,该注视匹配算法包括可以单独地或组合地采取的五个计算机控制的动作,它们是:远程呈现装置103位置的精细调整;平移,倾斜或旋转远程呈现装置显示器106;平移,倾斜或旋转远程呈现装置中的摄像机203和传感器201,水平或垂直地平移在远程呈现装置显示器106中显示的图像;以及重新创建面部图像。下面举例说明细节。
在用户站101的优选实施方案中,摄像机位于监视器中心的顶部。因此,即使用户102直接面对监视器和摄像机,并且打算通过观察监视器中的对象104图像的眼睛来保持目光接触,在对象的视角中他的注视看起来是在向下看。在这种情况下,重新创建用户的面部图像以便保持用户102的真实注视,即保持与对象104的目光接触。由用户摄像机捕获的3D实时图像由模式识别软件处理,模式识别软件隔离面部图像,倾斜或旋转到正确的角度,使其看起来好像与对象104进行了目光接触,同时保留了所有其他面部表情。可以提取面部图像周围的边界区域以将处理后的面部图像混合到其原始背景中以用于增强现实体验。该方法不是渲染包括用户102的背景的整个图像,而是最小化了广泛的计算能力,并且在实时图像传输期间不太容易在图像之间产生大的间隙。在摄像机在短时间内看不到用户的面部的情况下,最后的图像保持原样,直到用户102或新用户的面部图像被摄像机捕获并由模式识别软件识别。类似地,从3D摄像机203捕获的3D实时图像重新创建对象104的面部图像,以解决远程呈现装置103中的相同配置问题,使得即使对象104没有直视摄像机203,对象的眼睛也看起来像是在直视着用户102。因此,对象104和用户102的注视点可以匹配以类似于目光接触,同时保留所有其他面部表情。
在另一种情况下,当用户102没有沿着摄像机的中心线坐着或站立但仍然在用户站101中的摄像机的视野内时,用户102面部可以在远程呈现装置103的显示器106中被对象104看到时向一侧显示。为了促进自然对话,无论用户102与对象104之间的目光接触的意图如何,都需要重新定位偏心图像。由用户站101中的3D摄像机捕获的用户102的实时图像由模式识别软件处理,以仅隔离用户的面部图像,然后水平和/或垂直平移,使得保持注视意图和所有其他面部表情并且在远程呈现装置显示器106中基本上居中的用户102的完整的正面图像被显示。
在另一种情况下,当对象104改变姿势时,例如,从坐着到站立或坐直到懒散地坐在椅子上,远程呈现装置103将通过基于从红外传感器201接收的信息延伸或缩回支撑部件107的长度来响应于对象104的物理运动而自动调整显示器106的高度和位置,使得对象104的视线水平与显示器106中的用户图像的视线水平完全匹配,在这种情况下红外传感器201可以是红外摄像机。这样的信息也被用于控制显示器106的安装部件107和传感器中心110的机动臂205,使得显示器106、摄像机203和传感器201以其最佳角度面向对象104,以便于眼睛跟踪和高度跟踪。在这种情况下,因为摄像机203和红外传感器201处于其最佳空间位置并且远程呈现装置103的高度与对象104匹配,所以获得对象104的完整正面图像,其保持注视意图和所有其他面部表情并且在远程呈现装置显示器106中基本上居中。
在另一种情况下,当对象104在地点周围移动时,远程呈现装置103将自动且即时地调整其位置,使得其保持与对象104的选定距离,同时自动保持显示器106和传感器中心110面向对象104。通过计算机实现的算法分析从3D摄像机203和红外传感器201(在这种情况下可以是深度感测摄像机)接收的信息,以控制移动平台108的方向、位移和速度。假设远程呈现装置的高度与对象精确匹配并且传感器和摄像机处于其最佳空间位置,捕获基本上在用户站101的显示器中居中的对象104的完整正面图像。
捕获用户102和对象104的实时完整正面图像是必要的,因为当一个人的注视落在另一个人的图像上时将发生自然的目光接触。更确切地说,用户102的注视力旨在在用户站101的监视器中显示的对象图像的眼睛上,并且对象104的注视旨在在远程呈现装置103的显示器106中显示的用户图像的眼睛上。
现在参考图3,其中示出了说明与本发明有关的用于远程呈现的操作模式300的框图。作为示例而非通过限制的方式,如图3所示的序列可以根据远程呈现系统的实施方案按照不同的顺序。在一个实施方案中,系统首先显示用户的实时面部图像以及由用户站301中的摄像机和麦克风捕获的音频,并提供对象的实时面部图像以及由远程呈现装置302中的摄像机和麦克风捕获的音频。然后,连续地感测对象的视线水平、注视方向和周围物体的距离303。系统然后调整远程呈现装置显示器106的高度,使得对象的视线水平与用户图像304的视线水平匹配。然后,它调整远程呈现装置的位置以与对象305保持选定的距离。
当对象104在远程呈现装置显示器106中直视用户图像的眼睛或朝向用户图像的眼睛周围区域时,或反之亦然,注视匹配将由用户站101中的控制单元和远程呈现装置103执行。如果用户102或对象104没有表现出目光接触的强度,其可以是语音、手势或注视方向等的信号,则远程呈现系统100将不会尝试匹配眼睛注视,除非呈现出一个或者更多这些预先定义的指示器。因此,注视意图得以保留。
在系统确定需要匹配用户与对象之间的眼睛注视的情况下,将执行由步骤306到310组成的注视匹配算法。具体地说,远程呈现装置首先稍微调整其位置,使得对象的注视尽可能接近用户图像306的眼睛。然后,远程呈现装置显示器和/或摄像机和/或传感器被平移,倾斜或者旋转到它们的最佳位置以使对象的注视与在显示器307和308中的用户的眼睛大致匹配。最后,如果注视仍然不完全匹配,则垂直和/或水平地平移用户或对象的实时面部图像309,或者以不同的视角310重新创建实时面部图像309,或者进行远程呈现装置中的控制单元和/或用户站中的控制单元处理的步骤309和310的组合。
虽然已经呈现了本发明的具体实施方案是监视高度,识别面部特征,匹配眼睛注视并检测物体之间的距离,但是应该理解,本领域中有许多能够获得相同信息的替代方案。这些替代方案或变化对于本领域技术人员而言将变得显而易见。
根据以上公开内容,对于本领域普通技术人员来说显而易见的是,本发明能够以最小的人为干预同时且自动地使远程呈现装置的高度与对象匹配,从而保持远程呈现装置与对象之间的选定距离,识别注视方向,保持注视意图以及匹配远程用户与对象之间的目光接触。

Claims (20)

1.远程呈现系统,包括远程呈现装置和用户站,用于在远程用户与本地对象之间进行视频会议,其中,所述远程呈现装置位于本地对象的位置,包括:
显示器,用于向所述本地对象显示所述远程用户的面部;
至少一个传感器,用于感测本地对象的视线水平;以及
用于远程呈现装置的机动装置,用于自动调节其显示器的高度,以使所述显示器中远程用户的视线水平与所述本地对象的视线水平相匹配。
2.如权利要求1所述的远程呈现系统,被配置为将远程呈现装置的显示器中的远程用户的视线水平与本地对象的视线水平相匹配,同时所述本地对象的视线水平改变。
3.如权利要求1所述的远程呈现系统,其中,响应于所述本地对象的物理运动,所述远程呈现装置的显示器被自动平移,倾斜和旋转,使得所述显示器面向所述本地对象。
4.如权利要求1所述的远程呈现系统,其中,耦合到所述远程呈现装置的显示器的所述机动装置适于覆盖从就座的矮个子人到站立的高个子人的宽范围的高度。
5.如权利要求1所述的远程呈现系统,其中,耦合到所述远程呈现装置的显示器的所述机动装置被电子控制,使得响应于所述对象的眼睛位置而自动调节所述显示器的高度和位置。
6.如权利要求1所述的远程呈现系统,其中,所述传感器耦合到机动方向控制装置,所述机动方向控制装置被电子控制,使得所述传感器的位置响应于所述本地对象的眼睛位置或所述本地对象的物理运动。
7.如权利要求1所述的远程呈现系统,其中,所述用户站是所述远程用户的位置,包括多个传感器以辅助所述远程用户的3D图像映射、眼睛跟踪和注视识别。
8.如权利要求1所述的远程呈现系统,其中,所述远程呈现装置还包括:
至少一个传感器,用于获取所述本地对象周围或所述远程呈现装置周围的物体的地理信息;以及
计算单元,用于控制设置在所述远程呈现装置底部的机动装置的移动速度、位移和方向,使得基于所述地理信息在所述远程呈现装置与所述本地对象之间自动保持选定距离。
9.如权利要求8所述的远程呈现系统,被配置为在所述本地对象的位置改变的同时保持所述远程呈现装置与所述本地对象之间的选定距离。
10.如权利要求8所述的远程呈现系统,还包括:
当远程用户命令所述远程呈现装置在本地对象的地点周围操纵时避免潜在障碍的装置。
11.如权利要求8所述的远程呈现系统,其中,设置在所述远程呈现装置的底部的机动装置被电子控制,使得所述远程呈现装置响应来自远程用户的命令或所述本地对象的位置。
12.如权利要求8所述的远程呈现系统,其中,设置在所述远程呈现装置的底部的所述机动装置是可手动操作的,使得所述远程呈现装置被人手动移动到所述对象的地点处的期望位置。
13.如权利要求8所述的远程呈现系统,其中,传感器中心通过机动方向控制装置独立于显示器倾斜,伸出并旋转,所述机动方向控制装置被电子控制,使得所述传感器的位置响应于所述本地对象的眼睛位置或所述本地对象的物理运动。
14.如权利要求1所述的远程呈现系统,其中,所述远程呈现装置还包括:至少一个传感器,用于感测眼睛运动;
至少一个传感器,用于感测音频增益、注视位置、人类手势或其组合;
处理来自所述传感器的信息从而感测眼睛运动以识别注视点的装置;
处理来自所述传感器的信息从而感测音频增益、注视位置、人类手势或其组合以识别远程用户与本地对象之间的预期目光接触的存在的装置;以及
计算单元,用于在检测到远程用户与本地对象之间的预期目光接触时执行注视匹配。
15.如权利要求14所述的远程呈现系统,其中,所述传感器耦合到机动方向控制装置,所述机动方向控制装置被电子控制,使得所述传感器的位置响应于所述本地对象的眼睛位置或所述本地对象的物理运动。
16.如权利要求14所述的远程呈现系统,还包括:
在远程用户与本地对象之间没有表示目光接触的意图时保留注视意图和所有其他面部表情的同时提供在显示器中居中的面部图像的装置。
17.如权利要求14所述的远程呈现系统,还包括:
面部图像提供装置,用于在检测到远程用户与本地对象之间的目光接触的意图时提供在显示器中居中的面部图像,同时类似于目光接触并保留所有其他面部表情。
18.如权利要求14所述的远程呈现系统,其中,所述注视匹配使所述远程用户与所述本地对象的注视点匹配,以类似于目光接触,同时保留所有其他面部表情。
19.如权利要求14所述的远程呈现系统,其中,在下述装置的辅助下实现当检测到远程用户与本地对象之间的预期目光接触时由所述计算单元执行的注视匹配:
用于调整所述远程呈现装置的位置的机动装置;
用于平移,倾斜和旋转远程呈现装置的显示器的机动装置;
用于平移,倾斜和旋转远程呈现装置中的传感器的机动装置;
垂直和水平平移偏心图像的装置;以及
重新创建在显示器中居中的面部图像的装置。
20.如权利要求19所述的远程呈现系统,其中,所有机动装置都是基于来自传感器的信息进行电子控制的。
CN201780069694.6A 2016-11-16 2017-11-15 远程呈现系统 Active CN110583013B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/352,783 US9794516B1 (en) 2016-11-16 2016-11-16 Telepresence system
US15/352,783 2016-11-16
PCT/CA2017/051363 WO2018090134A1 (en) 2016-11-16 2017-11-15 Telepresence system

Publications (2)

Publication Number Publication Date
CN110583013A CN110583013A (zh) 2019-12-17
CN110583013B true CN110583013B (zh) 2022-04-19

Family

ID=60022403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069694.6A Active CN110583013B (zh) 2016-11-16 2017-11-15 远程呈现系统

Country Status (5)

Country Link
US (1) US9794516B1 (zh)
CN (1) CN110583013B (zh)
DE (1) DE112017005766T5 (zh)
GB (1) GB2571868B (zh)
WO (1) WO2018090134A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333396B2 (ja) * 2015-06-26 2018-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォームの変位を計測する方法及び装置
GB2570877A (en) * 2018-02-06 2019-08-14 Oxti Corp Adjustable support device for screen
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US11543857B2 (en) * 2018-12-29 2023-01-03 Intel Corporation Display adjustment
CN110719392B (zh) * 2019-11-08 2021-10-29 广州酷狗计算机科技有限公司 可移动摄像设备、拍摄控制方法、控制设备及存储介质
JP7415529B2 (ja) * 2019-12-16 2024-01-17 コニカミノルタ株式会社 テレプレゼンスシステム、ならびに飛行体制御プログラム、および移動走行体制御プログラム
US11826115B2 (en) * 2020-09-14 2023-11-28 Verb Surgical Inc. Adjustable user console for a surgical robotic system
TWI748771B (zh) * 2020-11-30 2021-12-01 優派國際股份有限公司 顯示器高度調整裝置、調整顯示器高度的方法、內儲電腦程式之電腦可讀取記錄媒體以及電腦程式產品
US20220286641A1 (en) * 2021-03-02 2022-09-08 Lenovo (Singapore) Pte. Ltd. Background image adjustment in virtual meeting
US20230131217A1 (en) * 2021-10-21 2023-04-27 Blue Ocean Robotics Aps Methods of adjusting a position of images, video, and/or text on a display screen of a mobile robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
JP2014049797A (ja) * 2012-08-29 2014-03-17 Canon Inc カメラ付き表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784916B2 (en) 2002-02-11 2004-08-31 Telbotics Inc. Video conferencing apparatus
US6879879B2 (en) 2002-10-31 2005-04-12 Hewlett-Packard Development Company, L.P. Telepresence system with automatic user-surrogate height matching
US6889120B2 (en) 2002-12-14 2005-05-03 Hewlett-Packard Development Company, L.P. Mutually-immersive mobile telepresence with gaze and eye contact preservation
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US10474875B2 (en) * 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US8717447B2 (en) 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
CA2720886A1 (en) 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US20140362170A1 (en) 2012-02-15 2014-12-11 Thomson Licensing Video conference system and method for maintaining participant eye contact
CN102761732B (zh) * 2012-07-25 2018-04-27 鲁懿齐 一种视频会议目光对视交流系统
CN103634560A (zh) * 2012-08-21 2014-03-12 鸿富锦精密工业(深圳)有限公司 视频会议系统及其视频图像控制方法
KR101444858B1 (ko) 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
JP6436430B2 (ja) * 2014-05-16 2018-12-12 パナソニックIpマネジメント株式会社 画像撮影表示装置および画像撮影表示装置の動作方法
US10176798B2 (en) * 2015-08-28 2019-01-08 Intel Corporation Facilitating dynamic and intelligent conversion of text into real user speech

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
JP2014049797A (ja) * 2012-08-29 2014-03-17 Canon Inc カメラ付き表示装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eye Gaze Correction for Video Conferencing Using Kinect v2;Ko, Eunsang等;《ADVANCES IN MULTIMEDIA INFORMATION PROCESSING - PCM 2015, PT II》;20150918;全文 *
虚拟会议空间的研究与实现;张茂军等;《计算机工程》;20010120;全文 *

Also Published As

Publication number Publication date
GB2571868B (en) 2022-04-13
CN110583013A (zh) 2019-12-17
WO2018090134A1 (en) 2018-05-24
US9794516B1 (en) 2017-10-17
GB2571868A (en) 2019-09-11
DE112017005766T5 (de) 2019-08-29
GB201908333D0 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
CN110583013B (zh) 远程呈现系统
US11323656B2 (en) Eye contact enabling device for video conferencing
US11803055B2 (en) Sedentary virtual reality method and systems
US20220006973A1 (en) Placement of virtual content in environments with a plurality of physical participants
US11800059B2 (en) Environment for remote communication
US6889120B2 (en) Mutually-immersive mobile telepresence with gaze and eye contact preservation
CN110968188B (zh) 基于头部位置的应用程序放置
US8581956B2 (en) Methods and systems for communicating focus of attention in a video conference
US7388981B2 (en) Telepresence system with automatic preservation of user head size
US20100039380A1 (en) Movable Audio/Video Communication Interface System
TR201702966A2 (tr) Kafaya takilan görüntüleme ci̇hazi (hmd&#8217#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem
WO2014190221A1 (en) Object display with visual verisimilitude
US20240061497A1 (en) Method and Device for Surfacing Physical Environment Interactions During Simulated Reality Sessions
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
US20230215079A1 (en) Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting
EP3040893A1 (en) Display of private content
US11947733B2 (en) Muting mode for a virtual object representing one or more physical elements
CN108427195A (zh) 一种基于增强现实的信息处理方法及设备
US20200252585A1 (en) Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras
US12003890B2 (en) Environment for remote communication
Zhang et al. Think Fast: Rapid Localization of Teleoperator Gaze in 360° Hosted Telepresence
JP2022132896A (ja) 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム
JP2018056907A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant