CN108632563A - 动态可视电话系统及其使用方法 - Google Patents

动态可视电话系统及其使用方法 Download PDF

Info

Publication number
CN108632563A
CN108632563A CN201711004077.6A CN201711004077A CN108632563A CN 108632563 A CN108632563 A CN 108632563A CN 201711004077 A CN201711004077 A CN 201711004077A CN 108632563 A CN108632563 A CN 108632563A
Authority
CN
China
Prior art keywords
dynamic
visual telephone
telephone plant
dynamic visual
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711004077.6A
Other languages
English (en)
Inventor
杰瑞·L·康威
蒋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN108632563A publication Critical patent/CN108632563A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)

Abstract

本发明涉及一个带有至少两台动态可视电话设备的动态可视电话系统。一个网络将两台动态可视电话设备相连接。两台动态可视电话设备各包括:动态视频显示器,摄像机组,和凝视检测器件组。动态视频显示器显示对方场景。摄像机组摄取本地场景,通过网络将本地场景的动态视频信号传送给对方由对方的动态视频显示器显示。凝视检测器件组检测和跟踪本地用户组在本地动态视频显示器上的一个主要凝视位置,并将这个主要凝视位置的坐标传送给对方以控制对方动态可视电话设备的相应摄像机组。对方将摄取的动态视频信号传送给本地并由本地动态视频显示器显示。所显示的动态视频信号聚焦在与本地主要凝视位置相对应的使用者,并显示在动态视频显示器中心位置。

Description

动态可视电话系统及其使用方法
技术领域
本发明一般涉及可视电话系统,具体的涉及到多种可视电话或视频会议系统,以及这些可视电话或视频会议系统的使用方法。
背景技术
Skype、FaceTime和许多其他应用程序可用于视频会议。这些视频会议系统的前置摄像头通常是固定,因此,这类视频会议中使用的视频会议系统在对方视频显示器上显示的图像的视觉画面和视角通常受到本地前置摄像机的视角和景深的限制。本地的观众很难控制他们所看到对方传过来的视频或图像的画面的聚焦点,画面的大小和画面景深,要想控制所看到的画面的视角的话,那就难上加难了。因此,需要有一个这样能够由本地观众眼睛所看的对方传送过来的视频或图像的位置来调节所看的画面的聚焦点,画面的大小,画面的景深,以及画面的视角的视频会议系统。
发明内容
在一方面,本发明涉及一种动态可视电话设备。在某些实施例中,一个动态可视电话会议包含一个第一用户组使用的第一动态可视电话设备,一个第二用户组使用的第二动态可视电话设备,和一个将第一动态可视电话设备和第二动态可视电话设备连接在一起的网络。其中第一动态可视电话设备和第二动态可视电话设备各自包括:一个动态视频显示器,一个摄像机组,和一个凝视检测器件组。所述第一动态可视电话设备的动态视频显示器向第一用户组显示第二用户组的一个第二场景,所述第二动态可视电话设备的动态视频显示器向第二用户组显示第一用户组的一个第一场景。
在某些实施例中,第一摄像机组摄取第一用户组的动态视频信号,通过一个网络将摄取的动态视频信号传送给第二动态可视电话设备由第二动态可视电话设备上的第二动态视频显示器显示。所述凝视检测器件组检测和跟踪第一用户组在第一动态视频显示器上的一个主要凝视位置,并将检测和跟踪到的第一用户组在第一动态视频显示器上的主要凝视位置的坐标传送给第二动态可视电话设备,用于控制第二动态可视电话设备的第二摄像机组。第二动态可视电话设备将第二用户组的第二场景的部分动态视频信号传送给第一动态可视电话设备由第一动态可视电话设备的第一动态视频显示器显示。第二用户组的第二场景的部分动态视频信号是选自第二动态可视电话设备上的第二摄像机组摄取的动态视频信号,而且选出的部分视频聚焦在一个与第一用户组在第一动态视频显示器上主要凝视位置相对应的使用者,而且所述使用者显示在动态可视电话设备的第一动态视频显示器的中心位置。
在某些实施例中,所述动态可视电话设备包含平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。所述摄像机组包括一个或多个复合多景深聚焦摄像机.。所述凝视检测器件组包括一个或多个凝视检测器件。第一用户组和第二用户组各包含一个或多个使用者。第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置。
在某些实施例中,第一动态可视电话设备还包括:一个动态可视电话设备控制器。所述动态可视电话设备控制器包含:一个将动态可视电话设备与网络相连接的网络接口控制器,一个处理器,和一个非临时性储存器。其中非临时性储存器存有计算机可执行指令,当被处理器执行时,这些计算机可执行指令导致处理器去完成各种动态可视电话设备的控制功能。这些计算机可执行指令包含:一个网络接口模块,一个摄像机接口模块,一个凝视检测接口模块,和一个动态显示接口模块。
在某些实施例中,网络接口模块通过所述的网络接口控制器和网络将控制指令传送给第二动态可视电话设备和接收第二动态可视电话设备所摄取的动态视频信号。摄像机接口模块接收发送给摄像机组用于对第一场景中的一个或多个使用者聚焦的指令,使用摄像机组摄取第一场景的动态视频信号,并将摄取的第一场景的动态视频信号传送给第二动态可视电话设备。凝视检测接口模块检测和跟踪第一用户组在第一动态视频显示器上的主要凝视位置,并将含有第一用户组在第一动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备用以控制第二动态可视电话设备的第二摄像机组。动态显示接口模块接收由第二动态可视电话设备摄取的动态视频信号,根据接收到的控制指令处理这些接收的动态视频信号以决定这些动态视频信号中的哪些部分显示在第一动态视频显示器上,使得与在第一动态视频显示器上的主要凝视位置相对应的使用者聚焦并显示在第一动态视频显示器的中间位置。
在某些实施例中,第一动态视频显示器还包含一个音频信号播放器用于播放来自第二动态可视电话设备的动态视频信号的音频信号。所述的网络包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
在另一方面,本发明涉及一个动态可视电话系统。在某些实施例中,所述动态可视电话系统包括:至少一台第一动态可视电话设备用于第一用户组主持的一个动态可视电话会议,至少一台第二动态可视电话设备用于第二用户组参与所述的动态可视电话会议,和一个网络。所述网络将第一动态可视电话设备与的第二动态可视电话设备相连接以便在第一用户组和第二用户组之间进行动态可视电话会议。第一动态可视电话设备和第二动态可视电话设备各均包括:一个动态视频显示器,一个摄像机组,和一个凝视检测器件组。动态视频显示器用于显示对方用户组的场景。摄像机组用于摄取本地用户组的场景,通过网络将摄取的本地场景的动态视频信号传送给对方的动态可视电话设备由对方的动态可视电话设备的动态视频显示器显示。所述的凝视检测器件组,用于检测和跟踪本地用户组在本地动态视频显示器上的一个主要凝视位置,并将检测和跟踪到的本地用户组在本地动态视频显示器上的主要凝视位置的坐标传送给对方的动态可视电话设备,用于控制对方动态可视电话设备的相应摄像机组。对方动态可视电话设备将对方用户组的场景的动态视频信号传送给本地动态可视电话设备,并将对方用户组的场景的部分动态视频信号由本地动态可视电话设备的动态视频显示器显示,所显示的对方用户组的场景的部分动态视频信号聚焦在一个与本地用户组在相应动态视频显示器上主要凝视位置相对应的使用者,而且所述使用者显示在本地动态可视电话设备的动态视频显示器的中心位置。
在某些实施例中,第一动态可视电话设备和第二动态可视电话设备各包括平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。第一动态可视电话设备和第二动态可视电话设备的相应摄像机组各包括一个或多个复合多景深聚焦摄像机。第一动态可视电话设备和第二动态可视电话设备的凝视检测器件组各包括一个或多个凝视检测器件。第一用户组和第二用户组各包含一个或多个使用者。
在某些实施例中,第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置。第二用户组在第二动态视频显示器上的主要凝视位置是第二用户组的第二场景中居中的那个使用者在第二动态视频显示器上的主要凝视位置。第一动态可视电话设备和第二动态可视电话设备各包括:一个相应的动态可视电话设备控制器。所述动态可视电话设备控制器包含:一个将本地动态可视电话设备与对方动态可视电话设备通过网络相连接的相应的网络接口控制器,一个相应的处理器,和一个相应的非临时性储存器,其中相应的非临时性储存器含有计算机可执行指令,当被相应的处理器执行时,所述计算机可执行指令导致相应的处理器去完成相应动态可视电话设备的控制功能。
在某些实施例中,所述的计算机可执行指令包含:一个相应的网络接口模块,一个相应的摄像机接口模块,一个相应的凝视检测接口模块,和一个相应的动态显示接口模块。所述网络接口模块通过相应的网络接口控制器和网络将控制指令传送给对方动态可视电话设备和接收对方动态可视电话设备所摄取的动态视频信号。摄像机接口模块接收发送给本地摄像机组用于对本地场景中的一个或多个使用者聚焦的指令,使用本地摄像机组摄取本地场景的动态视频信号,并将摄取的本地场景的动态视频信号传送给对方动态可视电话设备。凝视检测接口模块检测和跟踪本地用户组在本地动态视频显示器上的主要凝视位置,并将含有本地用户组在本地动态视频显示器上的主要凝视位置坐标信息的控制指令传送给对方的动态可视电话设备用以控制对方动态可视电话设备的相应的摄像机组。动态显示接口模块接收由对方动态可视电话设备摄取的动态视频信号,根据接收到的控制指令处理收到动态视频信号以决定这些动态视频信号中的哪些部分由本地动态视频显示器显示,使得与在本地动态视频显示器上的主要凝视位置相对应的使用者聚焦并显示在本地动态视频显示器的中间位置。
在又一方面,本发明涉及一种在第一动态可视电话设备和第二动态可视电话设备之间进行动态可视电话会议的方法。在某些实施例中,所述的方法包括:将第一动态可视电话设备通过一个网络连接到第二动态可视电话设备,第一动态可视电话设备包含第一摄像机组,第一凝视检测器件组和第一动态视频显示器。第二动态可视电话设备包含第二摄像机组,第二凝视检测器件组和第二动态视频显示器。第一动态可视电话设备接收由第二动态可视电话设备的第二摄像机组摄取的第二用户组的一个场景的动态视频信号,并将收到的动态视频信号显示在第一动态可视电话设备的第一动态视频显示器上。第二动态可视电话设备接收由第一动态可视电话设备的第一摄像机组摄取的第一用户组的一个场景的动态视频信号,并将收到的动态视频信号显示在第二动态可视电话设备的第二动态视频显示器上。
在某些实施例中,所述的方法包括:由第一动态可视电话设备的第一凝视检测器件组检测和跟踪第一用户组在第一动态视频显示器上的一个主要凝视位置,并取得相应的坐标信息,第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置。第一动态可视电话设备将含有第一用户组在第一动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备用以控制第二动态可视电话设备的第二摄像机组。当第二动态可视电话设备接收到的控制指令在第二动态可视电话设备的一个处理器上执行的时候,这些控制指令导致第二动态可视电话设备的第二摄像机组聚焦于第一用户组在第一动态视频显示器上的主要凝视位置坐标信息所相应的使用者,通过第二动态可视电话设备的第二摄像机组摄取动态视频信号,将摄取动态视频信号传送给第一动态可视电话设备的第一动态视频显示器显示,所述摄取动态视频信号聚焦于第二用户组的第二场景中居中的那个使用者,并在第一动态视频显示器的中部显示这个使用者。
在某些实施例中,所述的方法包括:由第二动态可视电话设备的第二凝视检测器件组检测和跟踪第二用户组在第二动态视频显示器上的主要凝视位置,并取得相应的坐标信息,所述第二用户组在第二动态视频显示器上的主要凝视位置是第二用户组的第二场景中居中的那个使用者在第二动态视频显示器上的主要凝视位置。第二动态可视电话设备将含有第二用户组在第二动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第一动态可视电话设备用以控制第一动态可视电话设备的第一摄像机组,当第一动态可视电话设备接收到的控制指令在第一动态可视电话设备的一个处理器上执行的时候,这些控制指令导致第一动态可视电话设备的第一摄像机组聚焦于第二用户组在第二动态视频显示器上的主要凝视位置坐标信息所相应的使用者,通过第一动态可视电话设备的第一摄像机组摄取动态视频信号,将摄取动态视频信号传送给第二动态可视电话设备的第二动态视频显示器显示,所述摄取动态视频信号聚焦于第一用户组的第一场景中居中的那个使用者,并在第二动态视频显示器的中部显示这个使用者。
在某些实施例中,网络包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。第一动态可视电话设备和第二动态可视电话设备各包括平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。第一动态可视电话设备和第二动态可视电话设备的相应摄像机组均包括一个或多个复合多景深聚焦摄像机,相应的凝视检测器件组均包括一个或多个凝视检测器件。第一用户组和第二用户组各包含一个或多个使用者。在某些实施例中,第一动态视频显示器和第二动态视频显示器各包含一个音频信号播放器用于播放来自相应的动态视频信号中的音频信号。
本发明的这些和其它方面将通过结合以下图式获得的优选实施例的以下描述而变得清楚,但可以在不脱离本发明的新颖概念的精神和范围的情况下实现这些和其它方面的变化和修改。
附图说明
附图说明本发明的一个或多个实施例,且与书面描述一起用以解释本发明的原理。在可能的情况下,相同的参考标号在所有图式中尽量用于指代实施例的相同或相似元件。附图并不能将本发明限于本文中所揭示和描述的具体实施例。附图不一定按适当的比例绘制,而是将重点放在清晰地说明本发明的原理上,并且其中:
图1根据本发明的某些实施例,显示了一种动态可视电话设备的方框图。
图2根据本发明的某些实施例,显示了一种动态可视电话设备;
图3根据本发明的某些实施例,显示了又一种动态可视电话设备;
图4根据本发明的某些实施例,显示第一用户组面对第一动态可视电话设备的第一场景;
图5根据本发明的某些实施例,显示了面对第一动态可视电话设备的第一用户组与第二动态可视电话设备的第二用户组通过网络进行动态可视电话会议的示意图;
图6根据本发明的图5所示的某些实施例,显示了第一动态可视电话设备的第一动态视频显示器上显示的第二用户组的第二场景的示意图,其中第二场景包含第二用户组的第一使用者,第二使用者和第三使用者;
图7A根据本发明的图5所示的某些实施例,当第一用户组的用户的目光注视到第二场景中的第二使用者时,第一动态可视电话设备的第一动态视频显示器上显示的画面;图7B根据本发明的图5所示的某些实施例,当第一用户组的用户的目光注视到第二场景中的第一使用者时,第一动态可视电话设备的第一动态视频显示器上显示的画面;图7C根据本发明的图5所示的某些实施例,当第一用户组的用户的目光注视到第二场景中的第三使用者时,第一动态可视电话设备的第一动态视频显示器上显示的画面;和
图8根据本发明的某些实施例,显示了一种使用动态可视电话系统的方法的流程图。
具体实施方式
现将参考附图在下文中更加全面地描述本发明,在这些附图中示出了本发明的示例性实施例。然而,本发明可以用许多不同形式实施,并且不应被解释为限于本文所阐述的实施例。确切地说,提供这些实施例是为了使得本发明将为透彻且完整的,并且这些实施例将向所属领域的技术人员充分传达本发明的范围。类似参考标号通篇指代类似元件。
应理解,当元件被称作“在”另一元件“上”时,其可以直接在所述另一元件上或可在其之间存在中间元件。相比之下,当元件被称作“直接在”另一元件“上”时,不存在插入元件。如本文中所使用,术语“和/或”包含相关联的所列项中的一个或多个的任何以及所有组合。
应理解,虽然本文中可以使用术语第一、第二、第三等来描述各种元件、装置、区域、层和/或部分,但是这些元件、装置、区域、层和/或部分不应受到这些术语的限制。这些术语仅用于区分一个元件、装置、区域、层或部分与另一元件、装置、区域、层或部分。因此,在不脱离本发明的教示内容的情况下,下文所论述的第一元件、装置、区域、层或部分可以称为第二元件、装置、区域、层或部分。
本文中所使用的术语仅出于描述具体实施例的目的,且并不意图限制本发明。如本文中所使用,除非上下文另外明确指示,否则单数形式“一”和“所述”也既定包含复数形式。应进一步理解,当在本文中使用时,术语“包括”或“包含”或“具有”指明存在所陈述的特征、区域、整数、步骤、操作、元件和/或装置,但不排除存在或添加一个或多个其它特征、区域、整数、步骤、操作、元件、装置和/或其群组。
此外,本文中可以使用例如“下部”或“底部”、“上部”或“顶部”和“前部”或“后部”等相关术语来描述如图式中所示的一个元件与另一元件的关系。应理解,相关术语既定涵盖除图式中所描绘的定向以外的装置的不同定向。例如,如果一个图式中的装置翻转,那么描述成位于其它元件的“下部”侧面上的元件将定向在所述其它元件的“上部”侧面上。因此,示例性术语“下部”可取决于图式的具体定向而涵盖“下部”和“上部”的定向。类似地,如果一个图式中的装置翻转,那么描述成位于其它元件“之下”或“下方”的元件将定向在所述其它元件“上方”。因此,示例性术语“之下”或“下方”可涵盖上方和下方两种定向。
除非另外定义,否则本文中所用的所有术语(包含技术和科技术语)具有与本发明所属领域的技术人员的通常所理解相同的意义。将进一步理解,术语(如在常用词典中所定义的那些术语)应解释为具有与其在相关技术和本发明的上下文中的含义一致的含义,并且除非本文中明确地定义,否则将不会以理想化或过分正式意义进行解释。
在以下描述中提供许多具体细节以使本发明得到全面理解,但本发明还可以通过使用与本文中所描述的方式不同的其它方式来实施,因此本发明并不限于在下文中揭示的具体实施例。
在参考附图后,本发明在这里会被描述的更完整,因为附图中所示了本发明的实施例。但本发明可能用不同的形式被具体化,而且不能被理解为局限于这里阐述的这些实施例。相反地,提供这些实施例,本发明可以更加全面和完整,并且会充分传达本发明的范围给该领域的技术人员。相同的数字通常指的是相同的元件。
Skype、FaceTime和许多其他应用程序可用于视频会议。这些视频会议系统的前置摄像头通常是固定,因此,这类视频会议中使用的视频会议系统在对方视频显示器上显示的图像的视觉画面和视角通常受到本地前置摄像机的视角和景深的限制。本地的观众很难控制他们所看到对方传过来的视频或图像的画面的聚焦点,画面的大小和画面景深,要想控制所看到的画面的视角的话,那就难上加难了。因此,本专利涉及一种能够由本地观众眼睛所看的对方传送过来的视频或图像的位置来调节所看的画面的聚焦点,画面的大小,画面的景深,以及画面的视角的视频会议系统。
下面将结合图1至图8来对本发明的某些实施例进行详细的描述。
在一方面,如图1所示,本发明涉及一种动态可视电话设备100。在某些实施例中,一个动态可视电话会议通常包含一个第一用户组210使用的第一动态可视电话设备100,一个第二用户组220使用的第二动态可视电话设备102,和一个将第一动态可视电话设备100和第二动态可视电话设备102连接在一起的网络140,如图5所示。其中第一动态可视电话设备100包括:一个第一动态视频显示器1501,一个第一摄像机组1101,和一个第一凝视检测器件组1201,第二动态可视电话设备102包括:一个第二动态视频显示器1502,一个第二摄像机组1102,和一个第二凝视检测器件组1202。所述第一动态可视电话设备100的动态视频显示器1501向第一用户组210显示第二用户组220的第二场景,所述第二动态可视电话设备102的第二动态视频显示器1502向第二用户组220显示第一用户组210的第一场景。
在某些实施例中,第一摄像机组1101摄取第一用户组210的动态视频信号,通过所述网络140将摄取的动态视频信号传送给第二动态可视电话设备102由第二动态可视电话设备102上的第二动态视频显示器1502显示。第一凝视检测器件组1202检测和跟踪第一用户组210在第一动态视频显示器1501上的一个主要凝视位置,并将检测和跟踪到的第一用户组210在第一动态视频显示器1501上的主要凝视位置的坐标传送给第二动态可视电话设备102,用于控制第二动态可视电话设备102的第二摄像机组1102。第二动态可视电话设备102将第二用户组220的第二场景的部分动态视频信号传送给第一动态可视电话设备100由第一动态可视电话设备100的第一动态视频显示器1501显示。第二用户组220的第二场景的部分动态视频信号是选自第二动态可视电话设备102上的第二摄像机组1102摄取的动态视频信号,而且选出的部分视频聚焦在一个与第一用户组210在第一动态视频显示器1501上主要凝视位置相对应的使用者,而且所述使用者显示在动态可视电话设备100的第一动态视频显示器1501的中心位置。
在某些实施例中,所述动态可视电话设备100包含平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。动态可视电话设备100包含一个或多个复合多景深聚焦摄像机。所述的复合多景深聚焦摄像机包括多个摄像头,每个摄像头可以根据一个聚焦的指令的控制去聚焦所述聚焦指令所指定的物体或人体,而且多台摄像头可以同时聚焦并摄取多个物体或人体。当多台摄像头摄取的视频或图像在一个动态视频显示器上显示时,这些在不同距离的物体或人体能够在最终的动态视频显示器上根据观察者的目光所在点,显示该目光所在点所相应的物体或人体,而且所显示的视频或图像聚焦在这个目光所在点所相应的物体或人体。
所述凝视检测器件组包括一个或多个凝视检测器件。第一用户组210在第一动态视频显示器1501上的主要凝视位置是第一用户组210的第一场景中居中的那个使用者在第一动态视频显示器1501上的主要凝视位置。第二用户组220在第二动态视频显示器1502上的主要凝视位置是第二用户组220的第二场景中居中的那个使用者在第二动态视频显示器1502上的主要凝视位置。
在某些实施例中,动态视频显示器还包含一个音频信号播放器用于播放来自对方动态可视电话设备的动态视频信号的单声道或立体声音频信号。
在某个实施例中,如图2所示,动态可视电话设备104是一台平板电脑。动态可视电话设备104首先包含一个动态视频显示屏1504,用于显示对方动态可视电话设备传送过来对方摄像机组摄取的动态视频或动态图像。动态可视电话设备104还包含一个复合多景深聚焦摄像机1104,第一凝视检测器件12041,第二凝视检测器件12042。多景深聚焦摄像机1104用于摄取本地用户组的本地场景。第一凝视检测器件12041和第二凝视检测器件12042是用于检测和跟踪本地用户组在本地动态视频显示器1504上的一个主要凝视位置,并将检测和跟踪到的本地用户组在本地动态视频显示器1504上的主要凝视位置的坐标传送给对方动态可视电话设备,用于控制对方动态可视电话设备的摄像机组。动态可视电话设备104还包含两个扬声器:第一扬声器16041和第二扬声器16042。这两个扬声器是相应的音频信号播放器的一部分,用于播放来自对方动态可视电话设备的动态视频信号中的单声道或立体声音频信号。
在某个实施例中,如图3所示,动态可视电话设备106是一台平板电脑。动态可视电话设备106首先包含一个动态视频显示屏1506,用于显示对方动态可视电话设备传送过来对方摄像机组摄取的动态视频或动态图像。动态可视电话设备106的摄像机组包含两个复合多景深聚焦摄像机,第一复合多景深聚焦摄像机11061和第二复合多景深聚焦摄像机11062,相应的凝视检测器件组包含分布在动态可视电话设备106四角的四个凝视检测器件:第一凝视检测器件12061,第二凝视检测器件12062,第三凝视检测器件12063,和第四凝视检测器件12064。第一复合多景深聚焦摄像机11061和第二复合多景深聚焦摄像机11062用于摄取本地用户组的本地场景的立体视频或立体图像。为了提高凝视检测的精确度,凝视检测器件组采用了四个凝视检测器件:第一凝视检测器件12061,第二凝视检测器件12062,第三凝视检测器件12063,和第四凝视检测器件12064是用于检测和跟踪本地用户组在本地动态视频显示器1506上的一个主要凝视位置,并将检测和跟踪到的本地用户组在本地动态视频显示器1506上的主要凝视位置的坐标传送给对方动态可视电话设备,用于控制对方动态可视电话设备的对方摄像机组。动态可视电话设备106还包含两个扬声器:第一扬声器16061和第二扬声器16062。这两个扬声器是相应的音频信号播放器用于播放来自对方动态可视电话设备的动态视频信号中的单声道或立体声音频信号。
在某个实施例中,图4是一个可视电话会议的现场示意图。在这个实施例中,可视电话会议的现场有一台第一动态可视电话设备100。在这个第一动态可视电话设备100中间的上方有一个复合多景深聚焦摄像机1101。该复合多景深聚焦摄像机1101的视角如图中的线条41和线条42所示。该复合多景深聚焦摄像机1101摄取的动态视频或动态图像包含第一用户组210中的三个使用者:第一使用者211,第二使用者212,和第三使用者213。图6显示了该复合多景深聚焦摄像机1101摄取的一幅动态图像。其中第一使用者211到复合多景深聚焦摄像机1101的距离由d1表示,第二使用者212到复合多景深聚焦摄像机1101的距离由d2表示,和第三使用者213到复合多景深聚焦摄像机1101的距离由d3表示。
在某些实施例中,图5是一个包含两个参会的用户组进行动态可视电话会议的示意图。其中参会的用户组包含第一用户组210和第二用户组220。第一用户组210包含一个使用者211。使用者211面对第一动态可视电话设备100。使用者211与第一摄像机组1101的距离由d11表示。第二用户组220包含三个使用者:从左到右,第一使用者221,第二使用者222和第三使用者223。第二用户组220的第一使用者221,第二使用者222和第三使用者223面对第二动态可视电话设备102。第一使用者221与第二摄像机组1102的距离由d21表示。第二使用者222与第二摄像机组1102的距离由d22表示。第三使用者223与第二摄像机组1102的距离由d23表示。所述第一动态可视电话设备100的动态视频显示器向第一用户组210显示第二用户组220的第二场景,所述第二动态可视电话设备102的第二动态视频显示器向第二用户组220显示第一用户组210的第一场景。第一动态可视电话设备100和第二动态可视电话设备102由一个网络140进行连接。所述的网络140包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
在某些实施例中,如图1所示,第一动态可视电话设备100还包括:一个动态可视电话设备控制器130。所述动态可视电话设备控制器130包含:一个将动态可视电话设备100与网络140相连接的网络接口控制器132,一个处理器131,和一个非临时性储存器133。其中非临时性储存器133存有计算机可执行指令134,当被处理器131执行时,这些计算机可执行指令134导致处理器131去完成各种动态可视电话设备100的控制功能。这些计算机可执行指令134包含:一个网络接口模块136,一个摄像机接口模块135,一个凝视检测接口模块137,和一个动态显示接口模块138。
在某些实施例中,网络接口模块136通过所述的网络接口控制器132和网络140将控制指令传送给第二动态可视电话设备102和接收第二动态可视电话设备102所摄取的动态视频信号。摄像机接口模块135接收发送给摄像机组110用于对第一场景中的一个或多个使用者聚焦的指令,使用摄像机组110摄取第一场景的动态视频信号,并将摄取的第一场景的动态视频信号传送给第二动态可视电话设备102。凝视检测接口模块137检测和跟踪第一用户组210在第一动态视频显示器1501上的主要凝视位置,并将含有第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备102用以控制第二动态可视电话设备102的第二摄像机组1102。动态显示接口模块138接收由第二动态可视电话设备102摄取的动态视频信号,根据接收到的控制指令处理这些接收的动态视频信号以决定这些动态视频信号中的哪些部分显示在第一动态视频显示器1501上,使得与在第一动态视频显示器1501上的主要凝视位置相对应的使用者聚焦并显示在第一动态视频显示器1501的中间位置。
在某些实施例中,第一动态视频显示器1501还包含一个音频信号播放器用于播放来自第二动态可视电话设备102的动态视频信号的音频信号。所述的网络140包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
在另一方面,如图5所示,本发明涉及一个动态可视电话系统1000。在某些实施例中,所述动态可视电话系统1000包括:至少一台第一动态可视电话设备100用于第一用户组210主持的一个动态可视电话会议,至少一台第二动态可视电话设备102用于第二用户组220参与所述的动态可视电话会议,和一个网络140。所述网络140将第一动态可视电话设备101与的第二动态可视电话设备102相连接以便在第一用户组210和第二用户组220之间进行动态可视电话会议。第一动态可视电话设备101和第二动态可视电话设备102均包括:一个动态视频显示器,一个摄像机组,和一个凝视检测器件组。动态视频显示器用于显示对方用户组的场景。摄像机组用于摄取本地用户组的场景,通过网络140将摄取的本地场景的动态视频信号传送给对方的动态可视电话设备由对方的动态可视电话设备的动态视频显示器显示。所述的凝视检测器件组,用于检测和跟踪本地用户组在本地动态视频显示器上的一个主要凝视位置,并将检测和跟踪到的本地用户组在本地动态视频显示器上的主要凝视位置的坐标传送给对方的动态可视电话设备,用于控制对方动态可视电话设备的相应摄像机组。对方动态可视电话设备将对方用户组的场景的动态视频信号传送给本地动态可视电话设备,并将对方用户组的场景的部分动态视频信号由本地动态可视电话设备的动态视频显示器显示,所显示的对方用户组的场景的部分动态视频信号聚焦在一个与本地用户组在相应动态视频显示器上主要凝视位置相对应的使用者,而且所述使用者显示在本地动态可视电话设备的动态视频显示器的中心位置。
在某些实施例中,第一动态可视电话设备101和第二动态可视电话设备102各包括平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。第一动态可视电话设备101和第二动态可视电话设备102的相应摄像机组各包括一个或多个复合多景深聚焦摄像机。第一动态可视电话设备101和第二动态可视电话设备102的凝视检测器件组各包括一个或多个凝视检测器件。第一用户组210和第二用户组220各包含一个或多个使用者。
在某些实施例中,第一用户组210在第一动态视频显示器1501上的主要凝视位置是第一用户组210的第一场景中居中的那个使用者(图5中的使用者211)在第一动态视频显示器1501上的主要凝视位置。第二用户组220在第二动态视频显示器1502上的主要凝视位置是第二用户组220的第二场景中居中的那个使用者(图5中的使用者222)在第二动态视频显示器1502上的主要凝视位置。第一动态可视电话设备101和第二动态可视电话设备102各包括:一个相应的动态可视电话设备控制器。所述动态可视电话设备控制器包含:一个将本地动态可视电话设备与对方动态可视电话设备通过网络140相连接的相应的网络接口控制器,一个相应的处理器,和一个相应的非临时性储存器,其中相应的非临时性储存器含有计算机可执行指令,当被相应的处理器执行时,所述计算机可执行指令导致相应的处理器去完成相应动态可视电话设备的控制功能。
在某些实施例中,所述的计算机可执行指令包含:一个相应的网络接口模块,一个相应的摄像机接口模块,一个相应的凝视检测接口模块,和一个相应的动态显示接口模块。所述网络接口模块通过相应的网络接口控制器和网络140将控制指令传送给对方动态可视电话设备和接收对方动态可视电话设备所摄取的动态视频信号。摄像机接口模块接收发送给本地摄像机组用于对本地场景中的一个或多个使用者聚焦的指令,使用本地摄像机组摄取本地场景的动态视频信号,并将摄取的本地场景的动态视频信号传送给对方动态可视电话设备。凝视检测接口模块检测和跟踪本地用户组在本地动态视频显示器上的主要凝视位置,并将含有本地用户组在本地动态视频显示器上的主要凝视位置坐标信息的控制指令传送给对方的动态可视电话设备用以控制对方动态可视电话设备的相应的摄像机组。动态显示接口模块接收由对方动态可视电话设备摄取的动态视频信号,根据接收到的控制指令处理收到动态视频信号以决定这些动态视频信号中的哪些部分由本地动态视频显示器显示,使得与在本地动态视频显示器上的主要凝视位置相对应的使用者聚焦并显示在本地动态视频显示器的中间位置。
在图5所示的实施例中,图7A,图7B和图7C所示,显示了当第一用户组210的第一使用者211的目光注视在第二用户组220的三个不同的使用者时,第一动态视频显示器1501所显示的画面。当第一用户组210的第一使用者211的目光注视在第二用户组220的第二使用者222时,第二动态可视电话设备102的第二摄像机组1102接收到第一用户组210的第一使用者211的主要凝视位置是第二动态视频显示器1502上相对于第二用户组220的第二使用者222的坐标信息,这时第二摄像机组的复合多景深聚焦摄像机将焦距调整到第二用户组220的第二使用者222,d22,摄取第二用户组220的第二使用者222的动态视频或动态图像的信号,并选择摄取的动态视频或动态图像的信号中一个以第二用户组220的第二使用者222为中心的动态视频或动态图像的信号传送回第一动态可视电话设备100。这样第一动态可视电话设备100通过第一动态视频显示器1501显示出聚焦于第二用户组220的第二使用者222,并以第二用户组220的第二使用者222为中心的动态视频或动态图像,如图7A所示。
当第一用户组210的第一使用者211的目光注视在第二用户组220的第一使用者221时,第二动态可视电话设备102的第二摄像机组1102接收到第一用户组210的第一使用者211的主要凝视位置是第二动态视频显示器1502上相对于第二用户组220的第一使用者221的坐标信息,这时第二摄像机组的复合多景深聚焦摄像机将焦距调整到第二用户组220的第一使用者221,d21,摄取第二用户组220的第一使用者221的动态视频或动态图像的信号,并选择摄取的动态视频或动态图像的信号中一个以第二用户组220的第一使用者221为中心的动态视频或动态图像的信号传送回第一动态可视电话设备100。这样第一动态可视电话设备100通过第一动态视频显示器1501显示出聚焦于第二用户组220的第一使用者221,并以第二用户组220的第一使用者221为中心的动态视频或动态图像,如图7B所示。
当第一用户组210的第一使用者211的目光注视在第二用户组220的第三使用者223时,第二动态可视电话设备102的第二摄像机组1102接收到第一用户组210的第一使用者211的主要凝视位置是第二动态视频显示器1502上相对于第二用户组220的第三使用者223的坐标信息,这时第二摄像机组的复合多景深聚焦摄像机将焦距调整到第二用户组220的第三使用者223,d23,摄取第二用户组220的第三使用者223的动态视频或动态图像的信号,并选择摄取的动态视频或动态图像的信号中一个以第二用户组220的第三使用者223为中心的动态视频或动态图像的信号传送回第一动态可视电话设备100。这样第一动态可视电话设备100通过第一动态视频显示器1501显示出聚焦于第二用户组220的第三使用者223,并以第二用户组220的第三使用者223为中心的动态视频或动态图像,如图7B所示。
在又一方面,本发明涉及一种在第一动态可视电话设备101和第二动态可视电话设备102之间进行动态可视电话会议的方法。图8根据本发明的某些实施例,显示了一种使用动态可视电话系统的方法800的流程图。
在某些实施例中,如图5所示,首先需要安装一套动态可视电话1000。其中参会的用户组包含第一用户组210和第二用户组220。第一用户组210包含一个使用者211。使用者211面对第一动态可视电话设备100。使用者211与第一摄像机组1101的距离由d11表示。第二用户组220包含三个使用者:从左到右,第一使用者221,第二使用者222和第三使用者223。第二用户组220的第一使用者221,第二使用者222和第三使用者223面对第二动态可视电话设备102。第一使用者221与第二摄像机组1102的距离由d21表示。第二使用者222与第二摄像机组1102的距离由d22表示。第三使用者223与第二摄像机组1102的距离由d23表示。所述第一动态可视电话设备100的动态视频显示器向第一用户组210显示第二用户组220的第二场景,所述第二动态可视电话设备102的第二动态视频显示器向第二用户组220显示第一用户组210的第一场景。第一动态可视电话设备100和第二动态可视电话设备102由一个网络140进行连接。所述的网络140包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
在方框802,由第一动态可视电话设备101的第一凝视检测器件组1201检测和跟踪第一用户组210在第一动态视频显示器1501上的一个主要凝视位置,并取得相应的坐标信息,第一用户组210在第一动态视频显示器1501上的主要凝视位置是第一用户组210的第一场景中居中的那个使用者在第一动态视频显示器1501上的主要凝视位置。
在方框804,第一动态可视电话设备101将含有第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备102,。
在方框806,当第二动态可视电话设备102接收到的控制指令在第二动态可视电话设备102的一个处理器上执行的时候,含有第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标信息的控制指令导致第二动态可视电话设备102的第二摄像机组1102对该坐标相应的物体或使用者进行取景和聚焦。
在方框806,通过第二动态可视电话设备102的第二摄像机组1102摄取动态视频信号或动态图像信号,并选择摄取的动态视频或动态图像的信号中一个以第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标相应的物体或使用者为中心的动态视频或动态图像的信号。
在方框810,第二动态可视电话设备102将选出的摄取动态视频信号或动态图像信号的一部分传送回第一动态可视电话设备100。
在方框812,第一动态可视电话设备100通过第一动态视频显示器1501显示出聚焦于以第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标相应的物体或使用者,并以第一用户组210在第一动态视频显示器1501上的主要凝视位置坐标相应的物体或使用者为中心的动态视频或动态图像。
在决策方框814,第一动态可视电话设备100通过第一凝视检测器件组1201监视第一用户组210的使用者211在第一动态视频显示器1501上的主要凝视位置是否有变化,如果没有变化,该方法继续进入到决策方框816。如果有变化,该方法将汇到方框802重新按照第一用户组210的使用者211在第一动态视频显示器1501上的主要凝视位置摄取动态视频信号。
在决策方框816,如果接到第一用户组210的使用者211或第一用户组210的第一使用者221,第二使用者222,或第三使用者223的指令结束本次动态可视电话会议的话,所述动态可视电话系统1000就关机结束本次动态可视电话会议。如果没有接到任何结束本次动态可视电话会议的指令,由于方框814中第一用户组210的使用者211在第一动态视频显示器1501上的主要凝视位置没有发生变化,所以,该方法回到方框808,继续进行本次动态可视电话会议。

Claims (20)

1.一种动态可视电话设备,包括:
第一动态视频显示器,所述第一动态视频显示器向第一用户组显示第二用户组的第二场景,其中第二用户组使用第二动态可视电话设备与第一用户组进行动态可视电话会议;第一摄像机组,所述第一摄像机组摄取第一用户组的动态视频信号,通过一个网络将摄取的动态视频信号传送给第二动态可视电话设备由第二动态可视电话设备上的第二动态视频显示器上显示;以及
第一凝视检测器件组,所述凝视检测器件组检测和跟踪第一用户组在第一动态视频显示器上的一个主要凝视位置,并将检测和跟踪到的第一用户组在第一动态视频显示器上的主要凝视位置的坐标传送给第二动态可视电话设备,用于控制第二动态可视电话设备上的第二摄像机组,
其中第二动态可视电话设备将第二用户组的第二场景的部分动态视频信号传送给所述动态可视电话设备,并在所述动态可视电话设备的第一动态视频显示器上显示,所述的第二用户组的第二场景的部分动态视频信号是选自第二动态可视电话设备上的第二摄像机组摄取的动态视频信号,而且选出的部分视频聚焦在一个与第一用户组在第一动态视频显示器上主要凝视位置相对应的使用者,而且所述使用者出现在动态可视电话设备的第一动态视频显示器的中心位置。
2.根据权利要求1所述的动态可视电话设备,所述的动态可视电话设备包含平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。
3.根据权利要求1所述的动态可视电话设备,所述第一摄像机组包括一个或多个复合多景深聚焦摄像机,所述凝视检测器件组包括一个或多个凝视检测器件;第一用户组和第二用户组各包含一个或多个使用者。
4.根据权利要求1所述的动态可视电话设备,所述第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置。
5.根据权利要求1所述的动态可视电话设备,还包括:一个动态可视电话设备控制器,所述动态可视电话设备控制器包含:一个将动态可视电话设备与网络相连接的网络接口控制器,一个处理器,和一个非临时性储存器133,其中非临时性储存器133存有计算机可执行指令,当被处理器执行时,计算机可执行指令导致处理器去完成各种动态可视电话设备的控制功能。
6.根据权利要求5所述的动态可视电话设备,所述计算机可执行指令包含:
一个网络接口模块,所述的网络接口模块通过所述的网络接口控制器和网络将控制指令传送给第二动态可视电话设备和接收第二动态可视电话设备所摄取的动态视频信号;
一个摄像机接口模块,所述的摄像机接口模块接收发送给摄像机组用于对第一场景中的一个或多个使用者聚焦的指令,使用摄像机组摄取第一场景的动态视频信号,并将摄取的第一场景的动态视频信号传送给第二动态可视电话设备;
一个凝视检测接口模块,所述的凝视检测接口模块检测和跟踪第一用户组在第一动态视频显示器上的主要凝视位置,并将含有第一用户组在第一动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备用以控制第二动态可视电话设备的第二摄像机组;以及
一个动态显示接口模块,所述的动态显示接口模块接收由第二动态可视电话设备摄取的动态视频信号,根据接收到的控制指令处理这些接收的动态视频信号以决定这些动态视频信号中的哪些部分显示在第一动态视频显示器上,使得与在第一动态视频显示器上的主要凝视位置相对应的使用者聚焦并显示在第一动态视频显示器的中间位置。
7.根据权利要求1所述的动态可视电话设备,所述的第一动态视频显示器包含一个音频信号播放器用于播放来自第二动态可视电话设备的动态视频信号的音频信号。
8.根据权利要求1所述的动态可视电话设备,所述的网络包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
9.一个动态可视电话系统,包括:
至少一台第一动态可视电话设备用于第一用户组主持的一个动态可视电话会议;
至少一台第二动态可视电话设备用于第二用户组参与所述的动态可视电话会议;以及
一个网络,所述网络将第一动态可视电话设备与的第二动态可视电话设备相连接以便在第一用户组和第二用户组之间进行动态可视电话会议,
其中第一动态可视电话设备和第二动态可视电话设备各包括:
一个动态视频显示器,用于显示对方用户组的场景;
一个摄像机组,用于摄取本地用户组的场景,通过网络将摄取的本地场景的动态视频信号传送给对方的动态可视电话设备并显示在对方的动态可视电话设备的动态视频显示器上;以及
一个凝视检测器件组,用于检测和跟踪本地用户组在本地动态视频显示器上的一个主要凝视位置,并将检测和跟踪到的本地用户组在本地动态视频显示器上的主要凝视位置的坐标传送给对方的动态可视电话设备,用于控制对方动态可视电话设备的相应摄像机组,
其中对方动态可视电话设备将对方用户组的场景的动态视频信号传送给本地动态可视电话设备,并将对方用户组的场景的部分动态视频信号在本地动态可视电话设备的动态视频显示器上显示,所显示的对方用户组的场景的部分动态视频信号聚焦在一个与本地用户组在相应动态视频显示器上主要凝视位置相对应的使用者,而且所述使用者显示在本地动态可视电话设备的动态视频显示器的中心位置。
10.根据权利要求9所述的动态可视电话系统,所述的第一动态可视电话设备和第二动态可视电话设备各包括平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。
11.根据权利要求9所述的动态可视电话系统,所述的第一动态可视电话设备和第二动态可视电话设备的相应摄像机组均包括一个或多个复合多景深聚焦摄像机,相应的凝视检测器件组均包括一个或多个凝视检测器件;第一用户组和第二用户组各包含一个或多个使用者。
12.根据权利要求9所述的动态可视电话系统,所述第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置,所述第二用户组在第二动态视频显示器上的主要凝视位置是第二用户组的第二场景中居中的那个使用者在第二动态视频显示器上的主要凝视位置。
13.根据权利要求9所述的动态可视电话系统,所述的第一动态可视电话设备和第二动态可视电话设备各包括:一个相应的动态可视电话设备控制器,所述动态可视电话设备控制器包含:一个将本地动态可视电话设备与对方动态可视电话设备通过网络相连接的相应的网络接口控制器,一个相应的处理器,和一个相应的非临时性储存器,其中相应的非临时性储存器存有计算机可执行指令,当被相应的处理器执行时,所述计算机可执行指令导致相应的处理器去完成相应动态可视电话设备的控制功能。
14.根据权利要求13所述的动态可视电话系统,所述计算机可执行指令包含:
一个相应的网络接口模块,所述相应的网络接口模块通过相应的网络接口控制器和网络将控制指令传送给对方动态可视电话设备和接收对方动态可视电话设备所摄取的动态视频信号;
一个相应的摄像机接口模块,所述的摄像机接口模块接收发送给本地摄像机组用于对本地场景中的一个或多个使用者聚焦的指令,使用本地摄像机组摄取本地场景的动态视频信号,并将摄取的本地场景的动态视频信号传送给对方动态可视电话设备;
一个相应的凝视检测接口模块,所述的凝视检测接口模块检测和跟踪本地用户组在本地动态视频显示器上的主要凝视位置,并将含有本地用户组在本地动态视频显示器上的主要凝视位置坐标信息的控制指令传送给对方的动态可视电话设备用以控制对方动态可视电话设备的相应的摄像机组;以及
一个相应的动态显示接口模块,所述的动态显示接口模块接收由对方动态可视电话设备摄取的动态视频信号,根据接收到的控制指令处理这些接收的动态视频信号以决定这些动态视频信号中的哪些部分显示在本地动态视频显示器上,使得与在本地动态视频显示器上的主要凝视位置相对应的使用者聚焦并显示在本地动态视频显示器的中间位置。
15.一种在第一动态可视电话设备和第二动态可视电话设备之间进行动态可视电话会议的方法,包括:
将带有第一摄像机组,第一凝视检测器件组和第一动态视频显示器的第一动态可视电话设备通过一个网络连接到带有第二摄像机组,第二凝视检测器件组和第二动态视频显示器的第二动态可视电话设备;
由第一动态可视电话设备接收由第二动态可视电话设备的第二摄像机组摄取的第二用户组的一个场景的动态视频信号,并将接收到的动态视频信号显示在第一动态可视电话设备的第一动态视频显示器上,由第二动态可视电话设备接收由第一动态可视电话设备的第一摄像机组摄取的第一用户组的一个场景的动态视频信号,并将接收到的动态视频信号显示在第二动态可视电话设备的第二动态视频显示器上;
由第一动态可视电话设备的第一凝视检测器件组检测和跟踪第一用户组在第一动态视频显示器上的一个主要凝视位置,并取得相应的坐标信息,所述第一用户组在第一动态视频显示器上的主要凝视位置是第一用户组的第一场景中居中的那个使用者在第一动态视频显示器上的主要凝视位置;和
第一动态可视电话设备将含有第一用户组在第一动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第二动态可视电话设备用以控制第二动态可视电话设备的第二摄像机组,当第二动态可视电话设备接收到的控制指令在第二动态可视电话设备的一个处理器上执行的时候,这些控制指令导致第二动态可视电话设备的第二摄像机组聚焦于第一用户组在第一动态视频显示器上的主要凝视位置坐标信息所相应的使用者,通过第二动态可视电话设备的第二摄像机组摄取动态视频信号,将摄取动态视频信号传送给第一动态可视电话设备的第一动态视频显示器显示,所述摄取动态视频信号聚焦于第二用户组的第二场景中居中的那个使用者,并在第一动态视频显示器的中部显示这个使用者。
16.根据权利要求15所述的方法,进一步包括:
由第二动态可视电话设备的第二凝视检测器件组检测和跟踪第二用户组在第二动态视频显示器上的主要凝视位置,并取得相应的坐标信息,所述第二用户组在第二动态视频显示器上的主要凝视位置是第二用户组的第二场景中居中的那个使用者在第二动态视频显示器上的主要凝视位置;和
第二动态可视电话设备将含有第二用户组在第二动态视频显示器上的主要凝视位置坐标信息的控制指令传送给第一动态可视电话设备用以控制第一动态可视电话设备的第一摄像机组,当第一动态可视电话设备接收到的控制指令在第一动态可视电话设备的一个处理器上执行的时候,这些控制指令导致第一动态可视电话设备的第一摄像机组聚焦于第二用户组在第二动态视频显示器上的主要凝视位置坐标信息所相应的使用者,通过第一动态可视电话设备的第一摄像机组摄取动态视频信号,将摄取动态视频信号传送给第二动态可视电话设备的第二动态视频显示器显示,所述摄取动态视频信号聚焦于第一用户组的第一场景中居中的那个使用者,并在第二动态视频显示器的中部显示这个使用者。
17.根据权利要求15所述的方法,所述的网络包括:互联网,内部网络,无线网络,企业网络,局域网(LAN)、广域网(WAN),城域网(MAN),校园局域网(CAN),虚拟专用网络(VPN),电信网络和一种无线通信网络。
18.根据权利要求15所述的方法,所述的第一动态可视电话设备和第二动态可视电话设备各包括平板电脑,智能手机,电子游戏机,笔记本电脑,手提电脑,公用可视电话亭,计算机显示屏以及电视显示器等。
19.根据权利要求15所述的方法,所述的第一动态可视电话设备和第二动态可视电话设备的相应摄像机组均包括一个或多个复合多景深聚焦摄像机,相应的凝视检测器件组均包括一个或多个凝视检测器件,所述的第一用户组和第二用户组各包含一个或多个使用者。
20.根据权利要求15所述的方法,第一动态视频显示器和第二动态视频显示器各包含一个音频信号播放器用于播放来自相应的动态视频信号中的音频信号。
CN201711004077.6A 2017-03-18 2017-10-24 动态可视电话系统及其使用方法 Pending CN108632563A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/462,801 US9832372B1 (en) 2017-03-18 2017-03-18 Dynamic vediotelphony systems and methods of using the same
US15/462,801 2017-03-18

Publications (1)

Publication Number Publication Date
CN108632563A true CN108632563A (zh) 2018-10-09

Family

ID=60407708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711004077.6A Pending CN108632563A (zh) 2017-03-18 2017-10-24 动态可视电话系统及其使用方法

Country Status (3)

Country Link
US (1) US9832372B1 (zh)
EP (1) EP3376758A1 (zh)
CN (1) CN108632563A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566601B1 (ja) * 2019-02-04 2019-08-28 Necネッツエスアイ株式会社 コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
US11798204B2 (en) * 2022-03-02 2023-10-24 Qualcomm Incorporated Systems and methods of image processing based on gaze detection
US11789525B1 (en) * 2022-06-28 2023-10-17 Amazon Technologies, Inc. Multi-modal interactive apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20140104392A1 (en) * 2012-10-11 2014-04-17 Sony Mobile Communications Ab Generating image information
US20140111601A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
US20150237079A1 (en) * 2012-10-29 2015-08-20 Kyocera Corporation Device with tv phone function, non-transitory computer readable storage medium, and control method of device with tv phone function
US20150288923A1 (en) * 2014-04-02 2015-10-08 Nebulys Technologies, Inc. Systems and methods for video communication
CN105900415A (zh) * 2014-01-09 2016-08-24 微软技术许可有限责任公司 使用注视跟踪的增强照片和视频拍摄

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333029A (en) * 1990-10-12 1994-07-26 Nikon Corporation Camera capable of detecting eye-gaze
US7460150B1 (en) * 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US20070070177A1 (en) * 2005-07-01 2007-03-29 Christensen Dennis G Visual and aural perspective management for enhanced interactive video telepresence
US20070291108A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
DE102006043172A1 (de) * 2006-09-14 2008-03-27 Siemens Ag Verfahren zur Auswertung des Verhaltens von Nutzern eines digitalen Bildinformationssysstems
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
US20100208078A1 (en) * 2009-02-17 2010-08-19 Cisco Technology, Inc. Horizontal gaze estimation for video conferencing
CN102934458B (zh) * 2011-02-04 2016-06-29 松下电器(美国)知识产权公司 兴趣度估计装置以及兴趣度估计方法
US20140160340A1 (en) * 2012-12-11 2014-06-12 Rochester Institute Of Technology Methods for Enhancing Perception of Image Quality at Capture Using Gaze Detection and Devices Thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20140104392A1 (en) * 2012-10-11 2014-04-17 Sony Mobile Communications Ab Generating image information
US20140111601A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
US20150237079A1 (en) * 2012-10-29 2015-08-20 Kyocera Corporation Device with tv phone function, non-transitory computer readable storage medium, and control method of device with tv phone function
CN105900415A (zh) * 2014-01-09 2016-08-24 微软技术许可有限责任公司 使用注视跟踪的增强照片和视频拍摄
US20150288923A1 (en) * 2014-04-02 2015-10-08 Nebulys Technologies, Inc. Systems and methods for video communication

Also Published As

Publication number Publication date
US9832372B1 (en) 2017-11-28
EP3376758A1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
US9774896B2 (en) Network synchronized camera settings
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
US8237771B2 (en) Automated videography based communications
US8896655B2 (en) System and method for providing depth adaptive video conferencing
US8274544B2 (en) Automated videography systems
US6889120B2 (en) Mutually-immersive mobile telepresence with gaze and eye contact preservation
TWI479452B (zh) 修正數位影像的裝置及方法
US20100118112A1 (en) Group table top videoconferencing device
CN107980221A (zh) 合成并缩放角度分离的子场景
US20160269685A1 (en) Video interaction between physical locations
US7643064B1 (en) Predictive video device system
JP2003506927A (ja) ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置
CN103141086A (zh) 沉浸式视频会议系统
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
Roberts et al. Communicating eye-gaze across a distance: Comparing an eye-gaze enabled immersive collaborative virtual environment, aligned video conferencing, and being together
CN102572217A (zh) 基于视觉关注的多媒体处理方法及装置
CN108632563A (zh) 动态可视电话系统及其使用方法
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US9088693B2 (en) Providing direct eye contact videoconferencing
JP6157077B2 (ja) カメラ付き表示装置
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
WO2015139562A1 (zh) 实现视频会议的方法、合成设备和系统
US20080122919A1 (en) Image capture apparatus with indicator
CN107659786A (zh) 一种全景视频监控装置及处理方法
CN108427195A (zh) 一种基于增强现实的信息处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181009

WD01 Invention patent application deemed withdrawn after publication